Old HFT, New HFT

1.
어제 저녁 트위터로 글을 남겼습니다.

 

위와 같은 트윗을 날린 이유는 ‘증권매매시스템을 개발·운영하며 축적한 내부데이터’가 무엇을 말하는지 궁금했기때문입니다.

트윗으로 소개한 기사 원문은 아래입니다. Big Data라는 단어를 사용하려면 지금까지 해왔던 것과 양적으로 다른 데이타를 처리하여야 합니다. 증권매매시스템과 관련한 다른 데이타는 호가 원데이타뿐입니다. 그런데 호가 원데이타는 현재 누구도 이용할 수 없습니다. 또한 비정형데이타도 마찬가지입니다. 기술적으로 Hadoop을 이용했다고 모든 시스템들이 빅데이타시스템은 아닙니다. 빅데이타솔류션은 데이타가 아니라 빅데이타를 처리하여야 합니다.

코스콤 관계자는 “빅데이터 플랫폼의 핵심은 주가 예측 모델을 개발하는 것”이라며 “결과적으로 시스템이 만족할만한 수준의 지수 및 개별종목의 주가 예측 정확도를 보였다”고 설명했다.코스콤은 우선 증권매매시스템을 개발·운영하며 축적한 내부데이터와 정부의 거시경제 데이터, 뉴스, 소셜네트워크서비스(SNS) 등 외부데이터를 수집·분석했다. 이어 내부데이터와 정부의 통계자료 등 정형데이터는 데이터베이스(RDBMS)에, 소셜미디어 데이터 등 비정형데이터는 분산병렬처리 플랫폼인 하둡(Hadoop)에 각각 저장하고, 오픈소스 통계분석 도구 R의 상용버전인 레볼루션 R을 활용해 분석했다.특히 소셜미디어 데이터의 경우 코스콤이 독자적으로 구현한 감성사전을 통해 분석됐으며, 이는 코스피200지수, 코스피 40종목, 코스닥 10종목 등의 주가 예측에 활용됐다
코스콤, 금융투자업계 최초 빅데이터 구축중에서

2.
빅데이타와 관련한 의미있는 글을 하나 읽었습니다.

Financial markets are at risk of a ‘big data’ crash

이 글은 Old HFT와 New HFT를 제시합니다. Old HFT는 단순히 속도=Latency에 촛점을 둔 HFT입니다. New HFT는 Latency를 기초로 하여 Big Data를 기반으로 한 HFT입니다. Old HFT를 상징하는 사건은 Flash Crash입니다. 2010년에 있었던 일입니다. Flash라는 단어가 속도를 의미합니다. New HFT를 상징하는 사건은 지난 4월에 있었던 Hash Crash입니다. 트위터로 인하여 주가가 큰 변동을 일으켰습니다. Hash Crash는 Naming the New Twitter-Induced Flash Crash을 통해 의견을 모아서 결정한 이름입니다. 미국의 경우 트윗이 주가에 미치는 영향이 작지 않은 듯 합니다. 주가에 큰 영향을 미쳤던 트윗사례들입니다.

Famous Tweets That Moved Markets

Old HFT가 아닌 New HFT가 등장한 배경은 무엇일까요? 속도에 의한 차별화가 힘들고 비슷한 전략(속도위주의 매매전략)을 사용하는 경쟁자들이 늘어나면서 수익률이 급격히 떨어졌기때문입니다. 그래서 “Being fast is not enough.”라고 합니다. 이런 판단은 글쓴이만 아닙니다. HFT Review에 실린 인터뷰기사를 보더라도 동일한 진단을 내리고 있습니다.

HFTR: Over the course of your career you’ve seen some dramatic changes in the quantitative trading space. Originally there must have been a lot of focus on speed – you mentioned that you were the first firm to execute in under a second – but to what extent do you think speed still gives an advantage in today’s market?

JL: Five years ago speed was probably 90% of the alpha, whereas today it’s probably less than 50%. First of all, everything is now a lot faster and secondly, there are many HFT strategies that are a little bit more complex and don’t necessarily depend on being first. In the last five years most of the very successful HFT firms have moved beyond equities and futures into cross-asset strategies. The FX World is a good case in point, but we’re seeing them in other places like fixed income and commodities. Clearly speed can’t be the only thing there; it also has a lot to do with quality of data, quality of services, the service model around the business, the ability to clear the business, the ability to appropriately model the business. All those things become very important; without them speed is irrelevant.

그러면 어떤 전략들이 New HFT일까요? 글쓴이가 든 사례입니다.

For example, if a mutual fund tends to execute large orders in the first second of every minute before the market closes, algorithms able to detect that pattern will anticipate what the fund is going to do for the rest of the session, and make the same trade. The fund will keep making the trade, with higher prices, and the “algo” traders cash in.

이상을 학술적으로 뒷받침하는 논문과 글도 소개합니다.HFT를 바라보는 이런저런 시각에서 Low-Frequency Traders in a High-Frequency World: A Survival Guide으로 소개했던 자료이기도 합니다.

Advances in High Frequency Strategies

3.
그러면 글쓴이가 정의하는 Big Data란? ‘so large or complex (or both)’라는 수식어가 붙습니다. 이점이 중요합니다.

The term describes data sets that are so large or complex (or both) that they cannot be efficiently managed with standard software. Financial markets are significant producers of big data: trades, quotes, earnings statements, consumer research reports, official statistical releases, polls, news articles, etc.

빅데이타에서 중요한 것은 기술이 아니라 빅데이타 그 자체입니다. 그래서 이런 권고를 합니다.

IT needs to spend more time on the “I” and less on the “T.”

또한 데이타가 많다고 유용하지 않습니다. 의사결정을 할 수 있도록 하는 분석이 있어야 합니다. 이제 퀀트 트레이더가 되고자 하면 스스로 데이타 과학자(Data Scientist)가 되어야 합니다. 미국 자본시장만큼 한국자본시장도 속도가 핵심적인 경쟁력이었습니다. 그렇지만 속도만으로 수익을 올리던 시대가 저물고 있습니다. 남과 다른 전략을 찾아야 합니다. 출구는 데이타입니다. 남과 다른 속도가 아니라 양과 질에서 남과 다른 데이타입니다.

8 Comments

  1. 마수걸이

    그래도 속도가 받쳐줘야 남 다른 양과 질의 데이타를 얻을 수 있지않을까요..

    Reply
    1. smallake (Post author)

      새로움이 낡은 것을 부정하지는 않습니다. 대부분 새로운 것은 낡은 것을 기반으로 합니다. Low Latency는 기본이 아닐까요? 다만 몇 나노초를 줄이기 위해 몇 억을 투자할 필요는 없죠.

      Reply
      1. 마수걸이

        그런데… Low Latency가 어느정도까지가 기본인지 가늠할 수 가 없습니다

        Latency와 수익성의 상관관계

        만족 못한다면 나노초도 아쉽지않을까요..

        가늠 할 수 없는 Latency 세계라면 굳이 HFT를 할 필요도 없을지도 모릅니다.

        Reply
        1. smallake (Post author)

          한국거래소의 회원시스템접속규정이 바뀌지 않는 이상 10마이크로초전후의 레이턴시품질은 가지고 있어야 하지않을까 합니다. 이 숫자가 다른 증권사 고객과 경쟁하여 이길 수 있다는 뜻이 아니라 같은 증권사내부 고객간의 경쟁에서 지지않을 숫자라는 생각입니다.

          Reply
  2. 김흥재

    한국 금융투자회사들이 현실적으로 하기 힘든 것을 코스콤이 했다고 생각해 주세요. 가능성을 본 것이지 저희도 그것으로 뭔가 돈을 뽑아내겠다고 한 것은 아니라고 봅니다.

    Reply
    1. smallake (Post author)

      코스콤이 보도자료를 낼 때 느끼는 것중 하나가 ‘과장’입니다. 제품이나 솔류션에 대한 정보는 적습니다. 코스콤 홈페이지를 보러다도 얻을 수 있는 정보는 거의 없습니다. 그런데 기사화한 제품을 보면 무척이나 대단합니다. 소위 유행하는 단어들이 등장합니다. 그래서 보도자료만 놓고 제품에 끼인 거품을 제거할 필요를 무척이나 많이 느낍니다. 경쟁은 기술이나 서비스로 하여야 한다는 생각입니다.

      Reply
      1. 김흥재

        ^^ 제품과 솔루션을 판매하는 곳에서는 거의 그렇지 않나요? 홍보지 논문이 아니니까요. 받아들이는 분들의 몫이죠 뭐..

        Reply
        1. smallake (Post author)

          가능한, 최대한 많은 정보를 주는 것이 좀더 좋은 홍보가 아닐까 합니다. 신문 기사로 접하는 정보보다는 홈페이지에서 좀더 상세히 접하는 정보였으면 합니다.

          Reply

Leave a Comment

이메일 주소는 공개되지 않습니다. 필수 필드는 *로 표시됩니다

이 사이트는 스팸을 줄이는 아키스밋을 사용합니다. 댓글이 어떻게 처리되는지 알아보십시오.