1.
10G.보통 G를 중력(Gravity)으로 씁니다. 그렇지만 오늘 G는 Gigabit의 G입니다. 솔직히 네트워크장비는 제 전공(?)은 아닙니다. 그렇지만 Low Latency라는 말이 나오고 HPC가 등장하면서 하드웨어와 네트워크를 이해하지 못하고 Latency를 말하는 것이 힘들다는 생각이 들었습니다. 또한 너무 슈퍼메뚜기와 관련된 글을 쓰다 보니 외도를 할 필요도 있고 제안서도 써야해서 자료소개 수준으로 정리합니다.
처음 10G를 들었을 때 남의 나라일 인 줄 알았습니다. 최소 호가데이타만 보더라도 1G는 가뿐히 넘는 미국이나 유럽의 증권시장에서 10G를 본격적으로 검토한다고 생각했습니다. 증권사가 10G를 도입하려면 한두해 더 걸릴 줄 알았습니다. 최근 들리는 소식을 보면 10G가 이제 증권사의 화두가 된 듯 합니다.? 사실 10G를 취급하는 해외 벤더들의 영업사원이 자주 방문하는 것을 보면 시장이 열리긴 열린 듯 합니다.
10G 제품이 관심을 받은 이유는 아마도 DMA와 관련된 레이턴시 경쟁 때문이 아닐까 합니다. 파생상품 DMA의 주된 고객인 해외트레이더들은 오직 레이턴시값만 관심을 두고 증권사와 협의하지 않을까요?? 앞으로 어떻게 될지 모르지만 우선 전용 FEP를 협의할 듯 합니다. 이를 빼더라도 시세와 주문체결데이타를 송수신하는 네트워크인프라가 10G로 구성되어 있는지도 중요한 관심사라고 생각합니다. 대부분 해외에서 사용하던 시스템을 그대로 가져온다는 전제를 하면 당연히 10G 혹은 그 이상을 요구합니다. 물론 거래소 레이턴시가 밀리초 단위인 한 10G를 넘는 40G등은 시기상조가 아닐까 합니다.
10G 제품은 크게 스위칭장비와 네트워크 카드로 나눌 수 있습니다. 스위칭장비는 전통의 강자인 시스코, TSE등에서 실적을 쌓은 쥬니퍼, HFT와 더불어 성장하고 있는 아리스타 등이 경쟁을 벌이고 있는 듯 합니다. 어떤 증권사는 BMT를 거쳐서 한 곳, 다른 증권사는 다른 곳을 선택하였다고 합니다. 상대적으로 성능이 좋은 곳이 있지만 가격이 빠진 성능은 무의미하므로 같이 검토할 듯 합니다. 1G에서 10G로 전화할 준비를 하는 곳을 위하여 10G 이야기를 해볼까 합니다.
2.
먼저 10G로 전환하고자 할 때 가장 먼저 검토하는 스위치장비입니다. 보통 스위치장비는 두가지 방식이 있다고 합니다.
Cut-through 와 store-and-forward입니다. Store and forward 방식은 처음부터 끝까지데이터를 받아 검사를 한 후 이상이없으면 forward하는 방식입니다. 가장 느리지만 신뢰성 높습니다.? 반면Cut-Through (Real Time)방식은 목적지 IP만 검사하고 Forward해준다.가장 빠르지만 신뢰성낮습니다.(아래의 그림으로 이해하면 쉽습니다.) 그래서 Low Latency가 강조되는 트레이딩업무에 Cut-Through를지원하는 스위치들을 사용합니다.
그렇지만 Cut Through방식이 반드시 좋은 결과만을 주는 것은 아니라고 합니다. Trade-Off입니다.
Cut-through designs typically deliver lower latency, but there are tradeoffs. The biggest issue is that cut-through switches will forward corrupted frames, since they don’t wait to see if the checksum at the end of each frame is valid. A router or other store-and-forward device will keep corrupted frames from leaving the data center, but such traffic could be a problem inside the data center, especially in large broadcast domains.
Another possible concern is that relatively low latency often means relatively small buffers. This isn’t a problem when moving traffic between pairs of ports operating at the same speed, but speed mismatches between ports (say, gigabit and 10G Ethernet) or congestion from many-to-one traffic patterns could cause frame loss earlier than with store-and-forward devices.
Latency and jitter: Cut-through design pays off for Arista, Blade중에서
Cut Through든 Store And Forward방식이든 어떤 방식으로 시험을 하든간에 장비를? 도입하려면 BMT를 할 듯 합니다. 특히 Low Latency환경 구축이라고 하면 더욱더 필요할 듯 합니다. 스위치를 평가하는 방법이 많겠지만 위의 기사중 Latency, Jitter 및 Throughput과? 관련된 방법론은 아래와 같습니다.
To measure unicast throughput, latency and jitter, we configured Spirent TestCenter to offer traffic to all ports in a fully meshed pattern. For each test, we conducted separate 60-second runs with 64-, 65-, 108-, 256-, 1,518- and 9,216-byte frames, using a binary search to determine the throughput rate. For each frame length, we measured throughput, average and maximum latency and average and maximum jitter.
The multicast throughput, latency and jitter tests used the same frame lengths as in the unicast tests. Here, we configured a single Spirent TestCenter port to transmit multicast traffic, and the remaining 23 ports to join the same 989 multicast groups.
How We Tested 10Gigabit Ethernet switches중에서
현재 국내 증권사가 실시하고 있는 방법론도 대략 위와 비슷한 듯 합니다. 특히 Arista, Cisco, Juniper의 결과값은 1마이크로초 이내라고 합니다. 어떤 스위치장비를 쓰더라도 핵심인 Switch CHip의 경우 Fulcrum사의 것이 많다고 합니다. 이 회사의 칩으로 시험한 레이턴시가 200ns이니까 스위치장비로 시험하면 이보다 많이 나오겠죠.
마지막으로 스위칭 레이턴시를 측정하는 표준적인 방법론을 소개합니다. 앞서 소개한 Fulcrum사의 자료입니다.
만약 Store And Forward와 관련된 방법론을 자세히 알고 싶으면 아래 자료를 읽어보시길 바랍니다.
Calculating Latency on a Switched Ethernet Network
3.
10G환경을 말할 때 스위칭만이 아니라 10GE Adaptor도 무척 중요합니다. 10G 환경으로 전환하기 전에 10Gigabit Ethernet에 사전지식이 필요합니다. 2005년도 자료이지만 네트워크기술에서 유명한 기술분석회사인 Linley Group의 자료를 살펴보셨으면 합니다.
위의 글을 보면 세가지를 점검하라고 합니다. 프로토콜 프로세싱, Interface 및 케이블링입니다. 구매할 때 참고로 하시면 될 듯 합니다. 그렇지만 증권사나 트레이딩회사의 IT부서는 소프트웨어 영향이 가장 중요하지 않을까 합니다. 현재 판매되는 대부분의 10G RNIC은 TOE와 RDMA를 지원합니다.이런 기능을 사용하고자 할 경우 OS 변경이 필요한지 혹은 현재 운영중인 어플리케이션을 변경할 투자가 가능한지등을 따져보아야 합니다. 어플리케이션은 차지하더라도 OS의 수정없이 네트워크 드라이버만 설치하면 TOE기능을 사용할 수 있다고 하면 적극적으로 검토할 가치가 있다고 생각합니다. 아울러 스위칭의 Trade-Off에서 나왔던 Cut-Through모드에서 서로 다른 대역폭일 경우 발생한 오버헤드에 대한 고려도 필요할 듯 합니다.
하여튼 어떤 10G Adaptor를 선택하느냐도 매우 중요합니다. 이전에 네트워크카드를 비교한 글에서 썼듯이 PHY의 성능에 따라 작지 않은 마이크로초의 차이가 발생합니다. 1G보다 10G환경일 경우 그 차이는 더욱더 커집니다.
국내는 네트워크장비와 관련된 기술 및 제품분석을 해주는 곳이 없지만 앞서 소개하였던 Linley Group은 10GE Adaptor에 대한 기술 및 제품분석을 해주고 있습니다. 관련된 자료를 보고서로 판매하고 있습니다.300만원이 넘으니 국내에서 구매할 곳이 거의 없을 듯 합니다.(^^)
A Guide to 10G Ethernet Controllers and Adapters
이중 요약부분을 소개합니다.
The market for 10G Ethernet (10GbE) adapters and controllers is growing rapidly, expanding from tens of thousands of ports in 2007 to millions of ports in 2010. In 2007, Dell, HP, and IBM began offering standard 10GbE NICs for high-volume x86 servers. HP and IBM also introduced bladeserver mezzanine cards for BladeSystemc and BladeCenter H,respectively. A long-term transition from board-level products to chips began during 2008 as Intel and Broadcom ramped 10GbE controller shipments.In 2008, HP introduced the first blade server to include 10GbE LAN on motherboard (LOM),making 10GbE a standard feature.?Thanks to this widening adoption, 10GbE shipments exceeded 10% of overall server-NIC/LOM ports for the first time in 2010. In rack and tower servers, however, 10GbE shipments remained below this threshold, held back in part by slow adoption of 10GbE over UTP (10GBase-T). Looking ahead to 2011, both Intel and AMD will launch major new server platforms, providing new LOM design-win opportunities for 10GbE vendors.Aside from the generic trends of falling prices and growing bandwidth demands, we see three major drivers for 10GbE adoption in servers: blade servers, server virtualization, and storage-network (SAN) convergence. Because of these positive trends, we expect 10GbE NIC/LOM shipments to grow rapidly through 2014, surpassing 16 million ports in that year.? The newest 10GbE controllers implement advanced technologies for server virtualization and storage networking. For virtualization,?new designs implement virtual-NIC functions and support the PCIe single-root I/O virtualization (SR-IOV) standard.?For storage networking, some products support an iSCSI host-bus adapter?(HBA) function, whereas others support the emerging Fibre Channel over Ethernet (FCoE) protocol.Most 10GbE controllers also include advanced TCP-offload techniques,such as MicrosoftTCP Chimney,to reduce the burden on server processors.
The technology discontinuity created by 10GbE has attracted a massive cumulative investment by a combination of public companies and venture-funded startups. The newest entrants are Fibre Channel (FC) HBA vendors that are fielding 10GbE converged network adapters (CNAs) for FCoE.
Already a leader in GbE controllers and NICs, Intel introduced the industry’s first 10GbE NIC. Starting with a relatively simple controller design, Intel has added advanced offloads for virtualization as well as TCP and FCoE processing. The company’s shipping 10GbE controller chip offers excellent integration and low power dissipation. Although not formally announced in 2010,?Intel is sampling a new controller that integrates 10GBase-T PHYs for LOM designs. Intel offers a broad line of NICs based on its standard chips as well as a separate design for clustering(iWARP) obtained through its acquisition of NetEffect.
Broadcom is the leading vendor of GbE controllers, and it grabbed the volume lead in 10GbE controllers in 2008. The company offers what it calls converged-NIC?(CNIC) controllers for GbE and 10GbE. These chips are designed for TCP Chimney and IP storage using the iSCSI protocol. In 2010, Broadcom introduced a new 10GbE controller that adds support for FCoE. The company is the only 10GbE vendor to offer OEMs a complete solution for blade-server fabrics including switch and PHY chips.
Chelsio became the first company to offer a 10GbE NIC with TCP offload, which is attractive for IP storage. The startup later added iWARP support for high-performance computing (HPC) applications. Thanks to design wins across the storage, HPC, and server segments, Chelsio’s NIC shipments are growing. During 2010, the company sampled its nextgeneration controller that adds support for FCoE as well as PCIe Gen2 and SR-IOV.
QLogic,the leading FC HBA vendor, was first to market with a singlechip 10GbE CNA design that uses existing FC drivers. In 2010, QLogic introduced a next-generation CNA that adds support for iSCSI and TCP Chimney using technology from its acquisition of 10GbE-startup NetXen.
Emulex,the other leading vendor of FC HBAs, teamed with chip-vendor ServerEngines to produce CNAs and then acquired this partner in 2010.?Like QLogic’s new CNA, the Emulex design supports TCP Chimney and iSCSI HBA drivers in addition to FCoE. Brocade, a newer entrant in FC HBAs, is shipping a single-chip CNA that fully offloads FCoE but lacks iSCSI and TCP offloads.
Mellanox, the leading vendor of InfiniBand chips and host adapters, offers 10GbE NICs and controller chips that share a common architecture with the company’s InfiniBand products. Mellanox’s unique design enables OEMs to offer products that support both protocols with a single hardware design. A legacy vendor for HPC,
Myricom is applying its lowlatency 10GbE NICs along with software to specialized vertical applications.
Startup Solarflare entered the 10GbE NIC market in 2010, focusing on financial applications, after previously offering only controllers and 10GBase-T PHYs.Exar entered the 10GbE NIC market in 2010 by acquiring startup Neterion, which was an early 10GbE leader that had fallen behind in the transition from PCI-X to PCI Express.
In 2010, ten vendors are shipping 10GbE controllers or NICs/CNAs, but no single product yet satisfies all applications. Some vendors are focused on high-volume server applications, whereas others are addressing the unique needs of storage, HPC, or vertical markets. The Holy Grail of a universal 10GbE product is in sight, but delivering complete software for such a product is a daunting challenge.
4.
마지막으로 저는 제안을 할 때 10G 네트워크도 제안을 하고 있습니다. 현재 파트너인 회사가 취급하는 제품은 Juniper사 및 Force10사의 스위치와 Chelsio사의 어댑터입니다. 파트너가 저를 도와주는 만큼 저도 파트너를 도와주어야 함이 도리라 소개합니다.? 혹 관련된 BMT자료가 필요하시면 연락을 주세요. 자료를 제공해드리록 하겠습니다.
