RDMA 및 iWARP 교육에 대한 의견을 받습니다

향후 자본시장IT가 나아가야 할 방향중 두가지 키워드를 선택하라고 한다면 두가지를 들고 싶습니다.

첫째는 Latency 둘째는 Standard입니다. 이천대 후반부터 시작한 Latency경쟁은 DMA와 Exture+를 타고 한국자본시장까지 삼켰습니다. 2014년 초로 예정된 Exture+는 전사적인 관점에서 Latency를 중요한 화두로 다룰 수 밖에 없도록 합니다.

Exture+가 가져올 네트워크 기술의 변화

Latency와 관련한 기술중 대부분은 제품화한 것을 구매하면 됩니다. 구매전략으로 해결가능합니다. 그렇지만 구매뿐 아니라 구현 및 운용까지 영향을 미치는 부분이 있습니다. RDMA입니다. RDMA와 다르지만 TCP/IP영역에서 저지연을 실현한 기술이 TOE입니다. TOE기술은 소프트웨어를 개발할 때 새롭게 고려할 부분이 없습니다. TCP/IP로 개발한 소프트웨어를 그대로 사용하면 그만입니다.

그렇지만 RDMA는 다릅니다. RoCE, iWARP, InfiniBand중 무엇을 선택할지도 결정하여야 합니다. 결정을 하면 그에 따라 개발환경을 정비하여야 합니다. 한국의 감독규정은 반드시 방화벽과 같은 장치를 통하여 전산시설을 보호하도록 의무화하고 있습니다. 방화벽은 RDMA기술을 도입할 때 주요한 기준입니다.

iWARP는 오래전에 탄생한 프로토콜이지만 Infiniband에 비해 홀대를 받았습니다. Infiniband에 비해 iWARP는 TCP/IP를 기반으로 동작하기때문에 상대적으로 과부하가 걸립니다. 그렇지만 TCP/IP기술은 사실상 표준입니다.호환성이 탁월합니다. 그동안 TCP/IP를 기반으로 한 기술은 일취월장 발전하였습니다. 때문에 iWARP가?데이타센터에서 각광을 받고 있다고 합니다.

The demands placed on data center networks are changing as the amount of server-to-server (east-west) traffic grows and as new data center services emerge that require or can benefit from low-latency Remote Direct Memory Access (RDMA)-enhanced Ethernet. Some of the changes in data centers that are driving this trend include:

Web applications that can spawn hundreds of server-to-server workflows, with each workflow requiring a consistently rapid, customized response for each unique client.
Low-latency server-to-server transactions are a requirement in financial trading. Other applications such as Hadoop* and Memcached* require similar accelerations.
New storage protocols are emerging, such as Microsoft Windows* 8 SMB Direct* 2.2, that can exploit an RDMA-enabled network for significantly accelerated storage performance.
Virtual machine migration can be dramatically accelerated in a low-latency, RDMA-capable data center.
These changes are driving network OEMs and designers to re-consider Internet Wide-Area RDMA Protocol (iWARP) product offerings as it provides the right combination of processor offload and low latency to deliver the performance needed for the emerging east-west traffic in the emerging data center.

iWARP is the leading implementation of RDMA over Ethernet technology in these high-performance data center applications. iWARP runs over TCP/IP and delivers improved latency and performance compared to conventional Ethernet adapters, while retaining TCP/IP benefits such as routability and guaranteed delivery. Adapters with iWARP implement these performance features that are key for today’s data center networks:

Kernel-Bypass: Applications interface directly to the Ethernet adapter, removing the latency of the OS and the expensive CPU context switches between kernel space and user space.
Direct Data Placement: The data is written directly into user space, eliminating the need for wasteful, intermediate buffer copies, thus reducing processing latency and improving memory bandwidth.
Transport Acceleration: The TCP/IP and iWARP protocols are accelerated in silicon versus host software stacks, thereby freeing up valuable CPU cycles for application compute processing.
Design low latency iWARP network systems중에서

이런 조건때문에 저는 iWARP이 향후 중요한 역할을 하는 프로토콜이라고 생각합니다. 그래서 iWARP 및 TOE전문업체인 Chelsio와 협력하여 iWARP을 위한 교육프로그램을 만들려고 합니다. 몇 일전 Chelsio의 CEO와 만나서 도움을 주기로 약속을 받았습니다.(^^)

RDMA 및 iWARP 프로그램과 관련한 의견을 댓글로 달아주시길 바랍니다. 의견을 종합하여 한국트레이딩알고리즘포럼(KATF)의 세미나와 별도 교육프로그램을 기획할 때 참고로 할 예정입니다. 현재 9월 중순으로 예정하고 있습니다. 중요한 것을 잊었네요. 무료로 합니다.(^^)

프로그램은 OpenFabrics이 만든 훈련과정을 참고할 계획입니다.

Part One – Introduction to RDMA(이론)

I/O Architecture and RDMA Architecture
Address translation and network operations
Verbs Introduction and the OFED Stack
Introduction to wire protocols

Part Two – Programming with RDMA and iWARP(실기)

Hardware resources: HCAs, RNICs, etc
Protection Domains and Memory Registration keys
Connection Management
Explicit Queue Manipulation & Event Handling
Explicit Asynchronous Operation
Explicit Manipulation of System Data Structures