인간 VS 기계 – 알고리즘 혁명

1.
이번 기사는 와이어드에 실린 글입니다.

Algorithms Take Control of Wall Street

앞서 소개한 기사와 달리 와이어드 기사는 알고리즘이 트레이딩에 어떤 이유로 도입되었고 어떻게 발전했는지를 재미있게 소개합니다. 저처럼 전략과 거리가 먼 사람이 흥미를 가질 수 있는 글이라 소개합니다.

2.
앞서와 마찬가지로 의역과 오역이 포함되어 있습니다. 문맥을 이해하신 다음 원문을 참조하시면 어떨까 합니다.

작년 봄 다우존스는 Lexicon이라는 뉴스서비스를 시작했습니다. Lexicon은 실시간으로 금융뉴스를 전문적인 투자자들에게 제공하는 서비스라고 생각하면 별로 놀라운 것이 아닐 수 있습니다. Lexicon을 받아보는 구독자가 사람이 아니라고 하면 다릅니다. 구독자는 알고리즘입니다. 알고리즘은 기사가 전달하는 이야기나 문장이 필요하지 않습니다. 오직 의사결정을 내릴 수 있는 의미를 가진 단어(Data)만 필요합니다.

Lexicon은 알고리즘=로봇클라이언트가 이해할 수 있는 방식으로 뉴스를 보냅니다. Lexicon은 모든 다우존스의 뉴스를 실시간으로 홇어서 투자자들이 의미있다고 느낄 단어를 찾아서 기계가 인식할 수 있는 정보로 전환하여 전송합니다. 그러면 알고리즘은 뉴스를 쪼개서(Parse) 의사결정에 도움이 되는 정보를 추출하여 의사결정=트레이딩을 합니다. 알고리즘이라는 이름의 기계는 단순히 정보처리를 하는 것이 아니라 의사결정을 합니다.

위와 관련한 또다른 기사는 아래를 참조하시길 바랍니다.

컴퓨터 트레이딩의 진화…분위기까지 판단해 주식투자

차세대트레이딩이라고 NYTimes는 명명하였습니다.

지난 십년동안 알고리즘트레이딩이 증권산업을 지배하여 왔습니다. 스타트업 헤지턴드의 단말부터 골드만삭스와 같은 거대은행의 딜링룸에 이르기까지 알고리즘을 담은 컴퓨터소스코드가 월스트리트의 대부분 거래를 맡고 있습니다. (어떤 조사에 따르면 HFT로 이루어지는 거래가 전체거래량의 70%라고 합니다.) 아울러 시장의 변동은 트레이더의 판단이 아니라 잠재적인 이익을 줄 수 있는 희미한 신호(Signal)이라도 찾으려는 알고리즘에 의해 이루어집니다.

이제 알고리즘없이 시장은 유지될 수 없을 정도로 알고리즘은 금융시스템 깊숙히 뿌리박혀 있습니다. Flash Trader라고도 하는 HFT는 초당 수천 주의 주식을 사거나 팝니다. 빠른 시간에 이루어지는 대량 거래에서알고리즘은 몇 센트를 따거나 잃습니다. 다른 알고리즘은 좀 느리지만 좀더 복잡한 데이타를 처리합니다. 사업실적보고서를 분석하고 수익률도 따지고 뉴스도 확인하면서 다른 투자자가 놓친 기회를 찾아냅니다. 트레이더나 펀드매니저보다 훨씬 실적이 좋고 효율적인 시스템입니다.

반면 알고리즘은 이해하고 예상하고 감독하기 어려운 시스템입니다. 보통 알고리즘도 트레이더처럼 아주 명확하지만 단순한 규칙에 따라 동작합니다. 아울러 시시각각 변화하는 시장상황에 따라 즉각적으로 반응합니다. 알고리즘이 정상적으로 동작하면 오류투성이고 감정에 휘둘리지 않고 정교한 논리와 수학에 의해 규정된 시장을 만듭니다. 반면 최악의 경우 해석하기 힘들고 통제도 되지 않는 순환구조에 빠집니다. 각각의 알고리즘을 놓고 보면 통제하기 쉬운 구조입니다. 그렇지만 서로가 서로의 의사결정에 반응하기 시작하면 예상치 못한 의사결정을 합니다. 결국 알고리즘을 시험할 때의 예상을 벗어나 버립니다. 지난 5월의 Flash Crash,몇 달후 Progress Energy의 주가폭락, 9월의 애플사 주식 폭락 – 30초사이에 4% 가까이 폭락하고 몇분후 다시 회복 -등이 그런 예입니다.

이제 이런 급락현상이 일상적입지만 왜 그랬는지를 명확히 알 수 없는 상황입니다. 그렇지만 대다수 분석가들은 인간은 이해하기 힘들고 예측도 불가능한 시장을 만들도록 상홍관계를 맺고 있는 알고리즘이 원인이라고 생각합니다.

알고리즘트레이딩이 증시불안정의 요인이라는 논리를 워낙 많이 알려져 있습니다. Flash Crash를 분석한 보고서도 비슷한 결론을 내립니다. 알고리즘의 지배한 미국시장을 부정적으로 묘사한 기사입니다.

“월가야,카지노야? ” … 거래 70%가 초단타

최선이든 최악이든 컴퓨터는 통제하에 있어야 합니다.

아이러니하게도 처음 트레이더의 능력을 최대화하기 위한 방법으로 알고리즘을 도입하였습니다. 전자거래를 도입하기 이전, 대형 기관투자가들은 매도 및 매수주문을 받아서 체결시켜주는 역할을 한 중개인들로부터 더 좋은 조건을 얻어내려고 거래선이나 매매물량으로 흥정을 하였습니다.American Century Ventures의 Harold Bradley는 “매번 같은 수준으로 거래할 수 없었습니다. 그래서 규칙을 바꾸어야 했습니다.”라고 말합니다.
Bradley는 90년대말 알고리즘의 가능성을 발견한 일세대 트레이더입니다. 3년에 걸쳐 stock-scoring program을 개발하였습니다. 처음 그는 Neural Network를 만들었습니다.지겹도록 훈련을 하여 자신의 본능적 감각과 경험으로 만드어진 자신의 생각을 따라할 수 있도록 하였습니다.

Bradley는 단순히 자신의 사고와 유사하게 움직이는 기계(시스템)을 만들고 싶지 않았습니다. 인간이 할 수있는 것보다 다르면서도 멋진 방법=알고리즘으로 주식거래를 할 수 있는 시스템을 원했습니다. 드디어 2000년 Bradley는 주식거래에서 최고의 성과를 낼 수 있는 방법을 찾기 위한 팀을 구성하였습니다. 우선수적표뿐 아니라 실적등과 같은 전통적인 측정값으로 구성된 변수등을 정의하였습니다. 덧붙여 Neural Network이 최고의 성과를 예측할 수 있도록 일곱가지의 새로운 변수들은 설정했습니다.

그리고 각 변수별로 적절한 가중치를 부여했습니다.UC Berkeley에서 개발한 differential evolution optimizer를 이용하였습니다. 우선 Bradley는 무작위로 가중치를 부여했습니다. 예를 들면 매출성장에 비해 순익성장은 두배를 더 주는 식이었습니다. 이렇게 해서 특정한 시점에서 가장 높은 수익이 예상되는 주식을 선정ㅇ하였습니다. 이렇게 해서 열종목을 선택한 다음 가중치가 실제로 예상한 성과를 냈는지 알아보기 위하여 누적데이타를 이용하였습니다. 이런 과정을 반복하고 또 반복하였습니다. 시작일을 달리 하거나 아니면 주식종목을 달리 하는 방법을 반복 시험을 하였습니다. 변수들의 가중치를 검증하기 위하여 예측한 성과가 유의미한 결과일 때까지 수천 번씩 시험을 했습니다. 가중치를 바꾸고 시험.시험.시험. 결국 각각 변수들별로 수천개의 경우를 가진 가중치를 만들었습니다.

한번의 프로세스를 마무리하면 Bradely는 실적이 좋은 가중치 조합 상위 10개를 다시 differential evolution optimizer로 시험을 했습니다. optimizer는 100 혹은 그 이상의 가중치 조합을 만듭니다. 같은 프로세스를 또한번더 반복합니다.(100 or so offspring weightings) 이렇게 수십번 같은 프로세스를 반복한 다음 Bradley’는 최상의 조합을 발견합니다. (2007년 Bradley는 Kauffman Foundation의 $18억 달러를 운용하기 위한 자리를 옮기면서 더이상 프로그램의 성과를 이야기할 수 없었습니다.)

Bradley의 도전은 시작일뿐이었습니다. 오래지 않아 투자자와 포트폴리오 매니저들은 세상에서 가장 뛰어난 수학,자연과학,공학기술로 무장한 팀을 꾸리기 시작했습니다. 이상의 과학적 지식은 트레이딩 데스크에 컴퓨터공학 및 통계학으로 도출된 복잡하지만 인공지능적인 요소를 가진 지식을 제공하였습니다.

이제 금융산업 전반에 위의 방법을 적용하기 시작하였습니다.Prop Trading으로 알려진 어떤 곳은 개별종목을 찾아서 매매하는 기능을 수행하는 알고리즘을 도입하였습니다. 다른 곳은 브로커가 대량주문을 체결할 수 있도록 도와주는 알고리즘을 적용하였습니다. 이런 알고리즘들은 시장의 다른 투자자로부터 주문을 들키지않도록 잘게 나눠서 최적화했습니다. (흔히들 이를 알고리즘 트레이딩이라고 합니다.) 어떤 곳은 숨기고자 하는 대량매매 신호를 찾아내서 반대매매를 하는 알고리즘을 사용하고 있습니다.(predatory trading이라고 합니다.)

알고리즘이 시장에서 보편화한 결과 세상은 소스코드의 세상이 되었습니다. 그중 어떤 것은 뛰어난 성과를 보여줍니다. Dan Mathisson, head of Advanced Execution Services at Credit Suisse는 “우리는 잠수함과 싸우는 The Hunt for Red October에 빗대어 토론을 합니다. 어두컴컴한 바닷속에서 거대한 잠수함의 흔적을 찾기 위하여 predatory traders는 전쟁을 벌입니다. 이런 전쟁에서 이기기 위해 스텔스기능으로 무장한 알고리즘으로 대항합니다.”

사실 이런 알고리즘은 기계적인 시각으로 시장을 바라봅니다.당연히 인간의 시각과 다릅니다. Prop 알고리즘은 개별종목의 변동성에 촛점을 두기보다는 날씨예보시스템처럼 시장을 바라봅니다. 어떤 흐름을 보이고 어디가 움직일지 예상하고 매매합니다. 이런 패턴은 인간의 눈에는 보이지않습니다.반면 대량의 데이타를 빛의 속도로 분석할 수 있는 컴퓨터는 느낍니다.

Voleon Capital Management는 이런 접근법을 취합니다. Voleon은 통계적인 차익전략을 사용합니다. 서로 상관관계가 있는 주식들 사이에 변화를 수많은 데이타를 통해 찾아내는 방식입니다.

Voleon이 일하는 모습을 보면 웹 스타트업과 비슷합니다. 전문 기술자들이 편한 복장으로 모여서 일합니다. 창업자인 McAuliffe 와 CEO인 Michael Kharitonov는 각각 컴퓨터 전문가였습니다. 이들의 취하는 전략은 전통적인 투자모델보다는 데이타분석프로젝트와 훨신 유사합니다. 사실 McAuliffe와 Kharitonov 는 자신들의 알고리즘이 어떤 종목을 찾을지, 어떤 성과를 도출할지 알지 못한다고 말합니다. “우리가 말할 수 잇는 것은 ‘여기 아주 많은 데이타가 있습니다. 데이타라는 소음으로부터 중요한 신호를 찾아냅니다.그렇지만 그 신호가 무엇인지 우리는 모릅니다.”

우리 시스템이 사용하는 매매전략은 보통 사람들이 사용하는 전략과 다릅니다.우리는 트레이더의 감각으로 경쟁하지 않습니다. 아주 짧은 시간에 수천건의 데이타속에서 기회를 찾아내는 일은 인간의 머리가 할 수 있는 일이 아니기때문입니다. 인간의 머리론 아주 복잡한 결과를 찾아내기 위한 다른 차원으로 매매를 합니다. 한순간 수천 수만의 거래내역을 보면서 기회를 찾아 바로 종목별로 매매를 합니다. 인간은 도저히 할 수 없습니다.”

이 기사를 번역할 생각을 들게한 부분입니다. 알고리즘이 어떻게 시작해서 어떻게 적용되어왔는지 조금은 사실적으로 묘사하고 있습니다. 저같은 금융공학을 배우지 않은 사람도 그림을 그릴 수 있도록 합니다.

이제 알고리즘이 낳은 부정적 현상을 Flash Crash로부터 묘사하고 있습니다. 하도 반복된 이야기라 생략하였습니다.

사실 알고리즘은 수 분내에 천천히 동작하도록 하거나 멈추도록 하는 통제할 수 있는 방법은 없습니다.알고리즘을 만든 인간을 넘어서는 시스템이 가지는 운명이라고 할 수 있습니다. 오늘날 한 종목당 초당 만건이상의 매매주문을 받은 상황에서 단순히 원인과 결과라는 관계로 분석하는 단계를 넘어섰습니다.
“우리의 금융시스템은 아주 거대한 자동화되었고 피드백에 반응할 수 있는 역동적인 시스템입니다. 현재의 과학으로 이런 현상을 이해할 수 없습니다.”

개인투자자도 알고리즘트레이딩으로 이익을 봅니다. 오늘날 개인들도 보다 빨리, 보다 낮은 가격으로 , 보다 쉽게 매매를 합니다. 그러나 시스템적 관점에서 보면 주식시장은 이미 통제를 벗어난 위험수준을 보이고 있습니다. 비록 각각의 알고리즘이 완전하다고 하더라도, 시장에서 운용될 때 서로 영향을 미치고 그 결과 각각의 알고리즘은 인간이 예상치 못한 새로운 논리에 따릅니다.(emergent logic artificial intelligence, but not artificial human intelligence.) 그저 실리콘덩어리로 구성된 이질적인 지능일 뿐 인간의 뉴런과 시냅시스로 이루어진 인간과 같은 지능은 아닙니다. 우리는 거래를 늦출 수 있지만 통제하거나 이해할 수 없습니다. 기계가 만든 시장(machines’ market now)이며 인간은 그속에서 매매를 할 뿐입니다.

(*)위의 문장중 @barto3님이 오역을 지적해주셨습니다. 수정하였습니다.감사합니다.

틈틈히 글을 잘 보고 있습니다. 그런데 emergent logic은 긴급논리가 아니라 단순한 규칙을 가진 개체들을 모아놨을때 예상치 못한 새로운 창발성(emergence)을 가진 논리가 생겨나는 것을 의미합니다^^

필자는 마지막을 메트릭스와 같은 세계로 묘사하고 있습니다. 알고리즘트레이딩이 지배하는 자본시장에 대한 아주 부정적인 평가를 하고 있습니다.

3.
이상을 보면서 알고리즘트레이딩을 하고 있는 미국이나 유럽의 능력이 넘어설 수 없는 경지가 아닐까 생각을 해봅니다. 미국시장을 잘 아는 어떤 분은 “경쟁상대가 아니다”라는 말을 자주 하였는데 읽는 동안 느낌을 받았습니다.

그렇지만 한국시장과 미국시장은 다른 면이 있다고 생각합니다. 시장이기때문에 복잡계이긴 하지만 미국보다는 변수가 적은, 좀더 단순한 시장이 아닐까 합니다.

읽다보니 국내에서 알고리즘이라는 것이 이제 시작이라는 생각도 듭니다. 아직 수학적 모델이라기 보다는 트레이더의 감각을 단순히 기계언어화한 것은 아닌가 하는 생각도 납니다. 무엇이든 갈 길이 머네요.외국인과 경쟁을 하여야 한다면 좀더 노력해서 경쟁력을 발휘할 수 있었으면 합니다.

필자의 마지막 말인 ‘기계가 만든 시장”인지 아닌지는 각자 판단할 몫이 아닐까 합니다.

(*)댓글을 다신 박우재님의 추천으로 TED영상도 소개합니다.