HFT 이후는 Big Data Trading?

1.
얼마전 HFT시대는 저무는가라는 글을 올렸습니다. HFT로 많은 수익을 냈던 회사들이 전략을 변경하고 있다고 소개하였습니다. 그러면 의문이 듭니다.

“HFT가 서서히 막을 내리면 다음은 무엇일까?”

사실 위의 질문이 한국자본시장에 의미를 가지려면 전제가 있습니다. “HFT를 무엇이라고 정의하는가”라는 공감대가 있어야 토론이 가능합니다. 또하나 미국과 한국의 자본시장이 동조화한다고 하더라도 전략도 동조화한다고 말할 수 없기때문입니다. 그래서 HFT는 알고리즘과 정보기술이 결합하여 많은 주문빈도를 통하여 수익을 얻고자 하는 흐름이라고 정의하고 한국자본시장의 전략은 미국시장에 후행한다는 가정을 하고 시작합니다.

지금부터 2년전입니다. 유명한 Tabb Group이 보고서를 발간하였습니다. 제목은 “Quantitative Research:The World After High-Speed Saturation” 입니다.

Quantitative Research:The World After High-Speed Saturation

원문은 고가라 구할 수 없고 요약만 살펴보면 이렇습니다.

“Like a good mystery novel, evidence is mounting that an era overly focused on high frequency trading is coming to an end. It might be enough to draw this line in the sand based on prop shop closings, increasing incremental costs of speed, and regulatory efforts to manufacture friction through rulemaking and fees – in an otherwise frictionless playing field. But, on top of this, there is both direct and indirect evidence that much of the high-turnover world is actively seeking new forms of alpha around which to deploy new strategies.

With these drivers as a backdrop, TABB Group believes that we are embarking upon a new era of quantitative research, strategy development and other targets of trade workflow automation that will usher in a period less focused on speed and more focused on hunting for patterns in a much larger and diverse sea of financial instruments, market-related data and use cases. Though speed will remain important, particularly for electronic trade execution and as regions such as Asia-Pacific catch up with the West in terms of market infrastructure, it will no longer represent the dramatic competitive advantage of the recent past.

The trade strategies of this new era will undoubtedly be much more multi-dimensional. By default, quants will need to don their best Captain Kirk impressions and “go where no [person] has gone before”. And like any journey into uncharted territory, old boundaries will need to be tested. Among these will be a greater emphasis on cross-asset, cross-regional, and multi-temporal strategies; a new category of trade strategies that we call “multi-dimensional arbitrage”. Success in this new era will be more difficult to achieve than ever before. New data sources, upgraded tools and, perhaps most importantly, a new level of creativity will be required going forward. Fortunately, the challenges that lie ahead are no mystery after all, and the tools to identify ever more complex market clues are already being developed.”

Low Latency를 향한 경쟁이 한계에 다다르면서 속도를 이용한 전략으로 시장에서 수익을 낼 수 없기때문에 새로운 전략을 찾아 나섰다고 합니다. “다양한 종목간(cross-asset), 다양한 지역의 시간차(cross-regional multi-temporal), 비대칭 및 대칭거래(asymmetric versus symmetric trades), 심지어 매매에서 정산까지 자동화된 방식(front-to-back automation)”이라고 소개하였습니다. 위의 보고서는 25명의 기관 및 증권사 퀀트매매담당 임원을 인터뷰한 결과라서 신뢰할 수 있을 듯 합니다.

Tabb Group의 전망은 2011년 Xignite의 자료에서 확인할 수 있습니다.

Perhaps nowhere more in the diverse world of hedge fund strategies is the prospect of alpha decay more unsettling than at high-frequency trading firms. In many ways high-frequency trading firms are now facing a reality that other hedge funds with more esoteric strategies may one day face too much money chasing a finite amount of alpha.

The End of the Hardware Arms Race

The latest figures indicate that high-frequency trading now accounts for somewhere between 60-70% of trading volume in the US. This is up from around 35% just five short years ago. High-frequency trading firms, that in the past have been among the most profitable on Wall Street, are now seeing that increased competition has crowded out many of their traditional strategies. High-frequency trading firms have responded by co-locating their black boxes and by throwing ever more expensive hardware at the problem. This approach has worked for some of the larger, better-funded firms, but only postpones the inevitable.
What will happen when this hardware arms race meets the laws of physics? The answer is that many of these firms will need to develop high-frequency trading strategies where alpha is still relatively abundant and competition less fierce.

New High-Frequency Trading Alpha Opportunities

The two most common opportunities that high-frequency trading are now exploring are as follows:
Alpha outside the US – The US was the first to develop electronic trading, other regions are still in the process of building out their electronic trading infrastructure. A recent Credit Suisse study estimated that high-frequency trading activity accounts for 35% in Europe and only 10% in Asia (excluding Japan). Many high-frequency trading firms are now seeking to port the strategies that worked so well in the US over to these less developed markets.
Multi-Dimensional Strategies – The traditional strategies of high-frequency trading have typically been one-dimensional involving the high-frequency trading in and out of a single large, liquid name. The newer high-frequency trading strategies are much more complex and multi-dimensional in nature searching for arbitrage opportunities across asset-classes, geographies etc.
High-Frequency Trading: Alpha Discovery and the New Arms Race중에서

다시 1년이 지났습니다. 2012년 봄 Sybase가 발표한 보고서는 Big Data 기술에 기초한 전략이 대체하고 있다고 주장합니다. 그리고 새로운 조류를 Smart Trading이라고 부릅니다.

The rise of big data technologies and techniques happens to coincide with changes in electronic trading, namely High Frequency Trading (HFT). According to a recent article in July 2011 in the Financial Times, HFT profitability peaked in 2009 and has been in decline since. A February 2012 IBSIWorld report titled “Growth in High Frequency Trading Slowing Down” indicates that the growth of HFT in 2012 will be approximately half of the previous five years.

There is no doubt that HFT has left a clear and irrevocable mark on the electronic securities markets and technology. And historically, the more successful trading strategies routinely rely on low-latency market access. However, low latency trading is heading toward commoditization, therefore there are diminishing returns with using low latency as sole strategic differentiator. Assuredly, some low latency traders will continue to push the state of the art and prosper, assuming public backlash and looming regulations don’t shut down their boxes. However, the majority of trading organizations will need to augment a low latency approach for sustained profitability. This trend is documented in the June 2011 Tabb Group report “Quantitative Research: Life After High Speed Saturation” and the September 2010 A-Team report “Data Management For New Trading Opportunities”. In their search for new profitable trading strategies, organizations are evolving toward ”Smart Trading”. Smart Trading entails extracting and analyzing information from a variety of big and complex sources and data types to create a holistic view of market state. Smart trading’s goal is to extract and exploit unique trading signals, particularly those persistent in time. And, while Smart Trading exploits low-latency market access, the persistence of signals is a key differentiator from HFT.
Big Data And Smart Trading중에서

저는 Smart Trading보다는 BDT=Big Data Trading라고 하면 어떨까 합니다. 무엇이라고 하든 Big Data Trading이 등장한 배경을 이해할 수 있습니다.

초기 HFT가 고수익을 낼 수 있었던 것은 남들과 차별화한 Naked Access 혹은 Sponsored Access때문입니다. 그렇지만 DMA서비스가 상품화하면서 조건이 되면 누구나 사용할 수 있는 서비스가 되었습니다. 그렇다고 남들과 다른 기술을 적용하여 압도적인 속도차이를 낼 수도 없습니다. Latency경쟁의 한계입니다. 그러면 어디에 눈을 돌려야 할까요? 지난 10년간 트레이딩을 보면 알고리즘과 IT기술이 결합한 결과입니다. IT기술의 극단을 보여준 것이 Low Latency입니다. 반면 알고리즘은 데이타를 기초로 합니다. 데이타를 분석하고 패턴을 찾아 새로운 전략을 구성합니다. 여기서 남과 다른 길을 찾은 것이 아닐까 추측합니다.

남들보다 데이타를 더 많이 이용하고 남들보다 데이타를 더 빨리 처리하면 새로운 기회를 얻을 수 있지않을까?

저는 Big Data Trading을 이런 관점으로 이해합니다. 이와 관련한 사례가 있습니다. 알고리즘전쟁에서 문명사적인 변환을 추적하여 전략을 구축하려는 시도가 있다고 소개하였습니다.그렇지만 가장 대표적인 경우는 트윗을 이용한 전략일 듯 합니다. 자주 소개하였던 전략입니다.

우리 주변에 가장 대표적인 빅 데이터로서 트위터 데이터가 있다. 최근 트위터 데이터는 소비자 불만사항 예측, 여론 조사, 선거 결과 예측, 마케팅 성능 평가, 영화 수익 예측 등 다양한 방면에서 창조적으로 활용되고 있다. 그중에서도 가장 흥미로운 사례로 트위터 데이터를 활용한 주가 지수 예측이 있다.

가정 자체는 단순하다. 트위터에서 특정 회사에 대해 부정적으로 거론되는 빈도가 늘어나면 얼마 후 주가도 떨어질 것이라는 가정이다. 이러한 가정하에 인디애나대학과 맨체스터대학의 연구진은 10개월치 1000만개의 트윗을 분석해 트위터상의 분위기와 다우지수 변화 추이 사이의 상관관계를 분석했다. 그 결과 87.6% 정확도로 2~6일 후의 주가지수의 방향을 예측해냈다. 이 연구결과를 기반으로 영국의 DCM 캐피털이라는 투자회사는 트위터 데이터 분석에 의해 투자 방향을 결정하는 헤지펀드를 설립하기도 했다.
[휴넷MBA와 함께하는 경영 뉴 트렌드] 10개월치 트윗 빅 데이터로 주가 예측… 87% 적중중에서

2.
이상의 흐름을 한국자본시장에 적용해 보죠.

첫째 속도를 무기로 시장에서 운용하였던 전략들이 늘어나면서 수익률이 떨어진다는 미국의 흐름은 한국도 동일합니다. 단적인 사례가 ELW스캘핑입니다. 미국처럼 DMA서비스를 너도나도 상품화하면서 수익율을 계속 떨어졌고 Latency경쟁은 더 치열해졌습니다. 치열해지면 치열해지는 만큼 투입 대비 수익은 낮아졌습니다. 4월 주문수탁제도를 시행한 이후 DMA는 완전히 상품화하였습니다.

둘째 Latency경쟁이 물리학적인 한계까지 도달했고 하드웨어적인 경쟁은 너무 많은 비용이 발생하기때문 새로운 방향을 찾아야 한다는 흐름은 약간 다릅니다. 앞서 Xiginite의 글도 지적하였지만 여전히 한국은 기회가 있습니다. 하드웨어에 의한 레이턴시 경쟁이 아직도 진행중입니다. KRX가 정해놓은 규정때문에 경쟁이 제한적이지만 그래도 가능합니다. 아직 10G환경을 도입하지 않은 곳이 많습니다. 미니원장이나 FEP도 속도개선할 여지가 많습니다. FPGA와 같은 기술은 아직 본격화하지 않았습니다. Exture+를 시작하면 또다른 변화를 맞습니다.

셋째 대용량데이타에 기초한 다차원적인 전략으로 전화한다는 흐름으로 한국자본시장이 나아가려면 아직 멀었습니다.다차원전략을 논하기 이전에 전일종가를 기초로 한 전략들이 틱데이타를 기초로 한 전략으로 변화하여야 하고, 하고 있습니다. 시장의 분절화(Fragmentation)가 없기때문에 차익전략을 운용하기도 쉽지 않습니다. 파생상품도 다양하지 않습니다. 해외시장까지 고려한 차익전략을 운용하기엔 규제장벽이 높습니다. 그렇지만 서울과 부산라우터간의 차이를 이용할 방법을 찾을 수 있습니다. ATS가 본격화하면 거래소간 차익거래도 가능합니다. 본격적으로 틱데이타를 이용한 전략들이 나올 수 있습니다. 틱데이타를 다른 말로 하면 High Frequency Data입니다. 이를 양으로 표현하면 Big Data이죠.

앞서 Big Data Trading을 “남들보다 데이타를 더 많이 이용하고 남들보다 데이타를 더 빨리 처리하여 새로운 기회를 얻고자 하는 것”으로 이해한다고 했습니다. 그렇다고 하면 한국자본시장은 Low Latency를 둘러싼 흐름과 Big Data(High Frequency)를 둘러싼 흐름이 함께 가는 형국이 아닐까 생각합니다. 한국자본시장의 구조가 어떻게 변화할지 – ATS가 본격화할지, 새로운 파생상품이 등장할지 혹은 직접적인 해외거래가 가능할지 – 모르지만 Big Data를 처리할 수 있는 공학적 기술=금융공학적 기술과 정보공학적 기술을 확보하는 것이 미래를 대비하는 것이라는 생각입니다.

다만 자본시장의 Big Data를 말할 때 다른 도메인과 차이가 나는 점이 있습니다.

Big Data is about lots of data
Big Data is real time.

Real Time입니다. 대용량데이타 처리와 실시간 데이타처리가 함께 가야합니다.

3.
또하나 Latency을 향한 경쟁이 끝나지 않았다는 점을 잊으면 안됩니다. Latency로 차별화를 하기엔 너무나 많은 비용이 들어가기때문에 경쟁이 정체된 것일 뿐입니다.

Latency Development of trading technology tools does not come cheaply. Fixnetix, a UK trading technology company, spent ￡1.1m on developing what it called the world’s fastest chip for executing trades, which it unveiled a year ago.

그렇지만 시장엔 항상 새로운 도전을 하는 집단이 있습니다. 예를 들어 Arista와 같은 제품을 능가하는 새로운 스위치를 내놓은 Zeptonics의 사례가 있기때문입니다.

It is expected to be the first of many new trading technology innovations from Zeptonics, aimed at cutting the time it takes to execute trades on the market.
The company’s emergence could spark renewed competition between investors such as high-frequency trading groups, whose businesses are built on having the fastest and most efficient systems, able to execute trades automatically in microseconds. Many place their trading equipment next to exchange servers in data centres, a process known in the industry as co-location.
Zeptonics poised to rearm HFT battle중에서

Microwave를 이용한 시장정보서비스도 아직 Latency 경쟁이 끝나지 않았음을 보여줍니다.

Low Latency Market Data Moves from Fiber to Microwave
부산라우터 논란을 잠재울 수 있는 기술적 방안

여전히 알고리즘전쟁중에 있습니다. 기계트레이딩의 시대도 이어집니다. 다만 속도 경쟁만이 아니라 데이타 경쟁도 해야 하는 시대가 다가오고 있습니다. 데이타가 곧 전략이기때문입니다.