1.
어떤 변화를 이해하고자 할 때 시간의 흐름으로 보면 명확해지는 것이 많습니다. 보통 역사적 시각이라고 하지만 공학에서는 시계열(Time-series) 분석입니다. 여기에 흐름을 시각화하여 직관적인 이해가 가능합니다. 미국 자본시장이 HFT에 의해 지배받고 있다고 합니다. 이를 아주 명확히 시각화하여 보여준 그래프가 있습니다. 예전에 소개하였던 nanex가 만든 그래프입니다.
최근 HFT와 알고리즘을 규제하고자 하는 시도가 늘어나고 있지만 자본시장이 속도와 알고리즘을 경쟁하고 있다는 사실이 바뀌지 않습니다. 한동안 주춤한 듯이 보였던 레이턴시 경쟁도 한단계 질적인 변화를 하고 있습니다. 거리는 물리적입니다. 변화시킬 수 없습니다. 그래서 DMA나 Co-Location과 같은 거리단축서비스가 등장하였습니다. 그렇지만 거리를 변화시킬 수 없을 때 시간을 줄어야 합니다. 1G에서 10G 혹은 40G로 전송대역폭을 확대하거나 RDMA와 같은 네트워크 프로세싱방법을 변화시킵니다. 그래도 뿌리는 광케이블과 같은 유선기술이었습니다. 이것을 변화시키려는 시도가 Microwave기술입니다. 부산 AP 논란을 잠재우는 기술적 방안(^^)에서 소개하였던 기술입니다. 본격적인 서비스를 미국에서 시작하였습니다.
또다른 방향도 있습니다. 임베디드기술을 자본시장에 적용하는 시도입니다. 몇 주전 한국을 방문하였을 때 만났던 Mcobject사의 Steve Graves가 관련 동향을 소개하고 있습니다.
Graves: Wall Street gets small to handle big processing projects
새로운 흐름은 ARM기술, FPGA기술 그리고 Embeded IMDB 입니다. 이중 Embeded IMDB와 관련한 내용중 이런 부분이 있습니다.
The same kind of specialisation is happening in the way data is sorted, stored and retrieved. Today, demanding financial applications are likely to rely on in-memory database systems, which store records directly in main memory to eliminate disk and file I/O, caching and other sources of latency.
Newer to the financial sphere are embedded IMDSs, in which database functions operate within the application process, eliminating separate client and server modules and their inter-process communication (IPC) overhead. In-process is a simpler design, resulting in a shorter IMDS execution path, meaning that fewer CPU instructions are required to carry out a given operation. In isolation, of course, such an instruction requires almost no time.
But in aggregate ? e.g., in data-intensive applications that loop as they sort and filter records ? the savings in CPU operations can shave milliseconds (or more) from the trade cycle.
This type of solution is used in high-frequency trading systems, ticker plants, order books, matching engines, and more. To handle time series data such as trades and quotes, some IMDSs have integrated support for common statistical functions, as well as columnar data layout.
Other features to look for include support for ACID properties, transaction logging, database replication, and a C/C++ language application programming interface, which further shortens execution path by eliminating the parsing and cost-based optimization steps of the popular SQL API.
A word of caution: some IMDSs replicate disk-based DBMS features, but deploy in RAM and are recast as in-memory databases. They are not optimised for in-memory execution and have very different data flows. For example, a “real” IMDS will optimize CPU usage by not wasting cycles caching what is already in memory.
디스크기반으로 기술철학을 단순히 메모리로 저장매체를 바꾼 것을 IMDB라고 하면 아니 된다(^^)는 이야기입니다. 제가 DB와 관련한 기술을 잘 몰라서 이해가 어렵네요. 나중에 전문가에게 문의를 해봐야 할 듯 합니다.
2.
위의 기사중 관심은 ARM서버입니다. 평소 관심을 갖지 않았던 분야입니다. ARM의 장점은 낮은 전력소모량과 높은 집적도라고 하네요. ARM을 채용한 고성능 서버가 대중화하려고 합니다. Boston Viridis Server는 192 Core를 가진 ARM서버입니다.
Server vendor (OK, they sell workstations too) Boston has begun shipping its Viridis server, which leverages low power ARM chips – most popularly found in mobile devices – from Calxeda. The rack mountable 2U server comprises 192 processing cores and is being pitched at high throughput applications, such as big data processing. Each server draws less than 300 watts of power.
Each 2U chassis contains a total of 12 Calxeda EnergyCards connected to a common mainboard sharing power and fabric connectivity. The Calxeda EnergyCard is a single PCB module containing 4 Calxeda EnergyCore chips, each with 4GB RAM, 4 x SATA connectors and management interfaces.
Internally each Calxeda chip has dual 10gE links available to the host for provisioning by the application. Ethernet switching is handled internally by 80gps bandwidth on the chip’s fabric switch, thereby negating the need for additional switches that consume unnecessary power and add unwanted latency.
X.86계열의 서버와 경쟁하여 시장의 주류를 이룰지 모르겠습니다. 다만 SoC와 Trading에서 소개하였던 것처럼?비슷한 방향을 비즈니스모델로 하는 국내업체가 있는 것으로 보아 시장의 한축을 형성하지 않을까 합니다. 다만 소프트웨어 엔지니어들이 뒷받침을 해줄지 의문이네요.
3.
조금 더 조사해서 한번 정리할 계획이지만 부산라우터 개통이후 재미있는 현상이 있습니다. 부산으로 내려갔던 트레이더들중 일부가 다시 서울로 올라오고 있다고 합니다. 기대한 것만큼 주문속도 단축이 효과를 보지 못하고 있다는 이야기입니다. 추세매매형 전략을 사용하는 분들인지 시세 지연이 결정적인 영향을 주었다고 합니다. 서울과 부산사이 시세나 주문의 속도를 개선할 방법은 많습니다. 가장 손 쉽고 부산지역이 계속 요구했던 방법은 부산에서 시세분배서비스를 제공하는 것입니다. 이는 차별에 대한 본격적인 논란을 불러일으킬 방법입니다. 다른 방법은 부산 AP 논란을 잠재우는 기술적 방안(^^)에서도 다루었던 microwave입니다. 그런데 이 기술을 도입할 만큼 한국자본시장의 규모는 크지 않습니다. 가장 앞선 기술이 시장의 중심에 서는 것은 아닙니다. 비용을 고려하지 않을 수 없습니다. 앞서 소개한 기술중 한국자본시장에서 사용가능한 기술이 무엇일까요? 개인적으로??Embeded IMDB -> ARM Server -> FPGA -> Microwave순일 듯 합니다.
