Old HFT, New HFT

1.
어제 저녁 트위터로 글을 남겼습니다.

코스콤이 빅데이타기술을 내놓았네요. 멋집니다. asiae.co.kr/news/view.htm?… 그런데 “증권매매시스템을 개발·운영하며 축적한 내부데이터”가 무엇을 말하는지 궁금하네요. 설마 호가 원데이타? 그러면 심각한 문제입니다.
— smith Kim (@smallake) May 22, 2013

위와 같은 트윗을 날린 이유는 ‘증권매매시스템을 개발·운영하며 축적한 내부데이터’가 무엇을 말하는지 궁금했기때문입니다.

트윗으로 소개한 기사 원문은 아래입니다. Big Data라는 단어를 사용하려면 지금까지 해왔던 것과 양적으로 다른 데이타를 처리하여야 합니다. 증권매매시스템과 관련한 다른 데이타는 호가 원데이타뿐입니다. 그런데 호가 원데이타는 현재 누구도 이용할 수 없습니다. 또한 비정형데이타도 마찬가지입니다. 기술적으로 Hadoop을 이용했다고 모든 시스템들이 빅데이타시스템은 아닙니다. 빅데이타솔류션은 데이타가 아니라 빅데이타를 처리하여야 합니다.

코스콤 관계자는 “빅데이터 플랫폼의 핵심은 주가 예측 모델을 개발하는 것”이라며 “결과적으로 시스템이 만족할만한 수준의 지수 및 개별종목의 주가 예측 정확도를 보였다”고 설명했다.코스콤은 우선 증권매매시스템을 개발·운영하며 축적한 내부데이터와 정부의 거시경제 데이터, 뉴스, 소셜네트워크서비스(SNS) 등 외부데이터를 수집·분석했다. 이어 내부데이터와 정부의 통계자료 등 정형데이터는 데이터베이스(RDBMS)에, 소셜미디어 데이터 등 비정형데이터는 분산병렬처리 플랫폼인 하둡(Hadoop)에 각각 저장하고, 오픈소스 통계분석 도구 R의 상용버전인 레볼루션 R을 활용해 분석했다.특히 소셜미디어 데이터의 경우 코스콤이 독자적으로 구현한 감성사전을 통해 분석됐으며, 이는 코스피200지수, 코스피 40종목, 코스닥 10종목 등의 주가 예측에 활용됐다
코스콤, 금융투자업계 최초 빅데이터 구축중에서

2.
빅데이타와 관련한 의미있는 글을 하나 읽었습니다.

Financial markets are at risk of a ‘big data’ crash

이 글은 Old HFT와 New HFT를 제시합니다. Old HFT는 단순히 속도=Latency에 촛점을 둔 HFT입니다. New HFT는 Latency를 기초로 하여 Big Data를 기반으로 한 HFT입니다. Old HFT를 상징하는 사건은 Flash Crash입니다. 2010년에 있었던 일입니다. Flash라는 단어가 속도를 의미합니다. New HFT를 상징하는 사건은 지난 4월에 있었던 Hash Crash입니다. 트위터로 인하여 주가가 큰 변동을 일으켰습니다. Hash Crash는 Naming the New Twitter-Induced Flash Crash을 통해 의견을 모아서 결정한 이름입니다. 미국의 경우 트윗이 주가에 미치는 영향이 작지 않은 듯 합니다. 주가에 큰 영향을 미쳤던 트윗사례들입니다.

Famous Tweets That Moved Markets

Old HFT가 아닌 New HFT가 등장한 배경은 무엇일까요? 속도에 의한 차별화가 힘들고 비슷한 전략(속도위주의 매매전략)을 사용하는 경쟁자들이 늘어나면서 수익률이 급격히 떨어졌기때문입니다. 그래서 “Being fast is not enough.”라고 합니다. 이런 판단은 글쓴이만 아닙니다. HFT Review에 실린 인터뷰기사를 보더라도 동일한 진단을 내리고 있습니다.

HFTR: Over the course of your career you’ve seen some dramatic changes in the quantitative trading space. Originally there must have been a lot of focus on speed – you mentioned that you were the first firm to execute in under a second – but to what extent do you think speed still gives an advantage in today’s market?

JL: Five years ago speed was probably 90% of the alpha, whereas today it’s probably less than 50%. First of all, everything is now a lot faster and secondly, there are many HFT strategies that are a little bit more complex and don’t necessarily depend on being first. In the last five years most of the very successful HFT firms have moved beyond equities and futures into cross-asset strategies. The FX World is a good case in point, but we’re seeing them in other places like fixed income and commodities. Clearly speed can’t be the only thing there; it also has a lot to do with quality of data, quality of services, the service model around the business, the ability to clear the business, the ability to appropriately model the business. All those things become very important; without them speed is irrelevant.

그러면 어떤 전략들이 New HFT일까요? 글쓴이가 든 사례입니다.

For example, if a mutual fund tends to execute large orders in the first second of every minute before the market closes, algorithms able to detect that pattern will anticipate what the fund is going to do for the rest of the session, and make the same trade. The fund will keep making the trade, with higher prices, and the “algo” traders cash in.

이상을 학술적으로 뒷받침하는 논문과 글도 소개합니다.HFT를 바라보는 이런저런 시각에서 Low-Frequency Traders in a High-Frequency World: A Survival Guide으로 소개했던 자료이기도 합니다.

Advances in High Frequency Strategies

3.
그러면 글쓴이가 정의하는 Big Data란? ‘so large or complex (or both)’라는 수식어가 붙습니다. 이점이 중요합니다.

The term describes data sets that are so large or complex (or both) that they cannot be efficiently managed with standard software. Financial markets are significant producers of big data: trades, quotes, earnings statements, consumer research reports, official statistical releases, polls, news articles, etc.

빅데이타에서 중요한 것은 기술이 아니라 빅데이타 그 자체입니다. 그래서 이런 권고를 합니다.

IT needs to spend more time on the “I” and less on the “T.”

또한 데이타가 많다고 유용하지 않습니다. 의사결정을 할 수 있도록 하는 분석이 있어야 합니다. 이제 퀀트 트레이더가 되고자 하면 스스로 데이타 과학자(Data Scientist)가 되어야 합니다. 미국 자본시장만큼 한국자본시장도 속도가 핵심적인 경쟁력이었습니다. 그렇지만 속도만으로 수익을 올리던 시대가 저물고 있습니다. 남과 다른 전략을 찾아야 합니다. 출구는 데이타입니다. 남과 다른 속도가 아니라 양과 질에서 남과 다른 데이타입니다.