JPMorgan과 Deep Reinforcement Learning

1.
모래내미래 4로 소개할까 하다가 그냥 블로그에 올립니다. JPmorgan의 ‘J.P.Morgan’s massive guide to machine learning and big data jobs in finance’은 Vol.3에 담았습니다. 참고하시길 바랍니다.

고빈도매매, 로보어드바이저. 알고리즘이 자본시장과 만나서 만들어 낸 새로운 금융흐름입니다. 다음은 무엇일까요? 알파고가 한국사회에 큰 영향을 주었을 때 금융알파고를 기대하는 목소리가 많았습니다. 아니면 로보어드바이저가 금융알파고가 아닐까 하는 사람도 있었습니다. 그렇지만 로보어드바이저와 금융AI는 다릅니다.

복잡한 수학적 공식들이 얽혀있는 금융공학 분야에서도 AI와의 결합을 자연스럽게 여기는 분위기가 형성되고 있다. 일반인들 사이에서도 컴퓨터가 투자할 종목을 발굴하고 자산관리 전반까지 알아서 해주는 이른바 로보어드바이저에 대한 관심이 눈에 띄게 증가하고 있다. 지금까지 미국, 영국 등 금융선진국들은 물론 한국에서의 대부분 로보어드바이저는 기본적으로 ETF 투자에 기반하고 있다. ETF는 소액 투자로도 분산투자가 가능해 변동성이 적은데다 유동성도 풍부해 다른 자산들보다 리스크 회피가 훨씬 수월한 편이기 때문이다. 미국시장에 상장된 ETF, ETN만 해도 2000개가 넘어 대부분의 지수와 상품가격을 추종하는 자산에 손쉽게 투자할 수 있다는 장점도 있다. 로보어드바이저의 효시로 알려진 미국의 웰스프론트, 베터먼트나 영국의 넛맥 등이 모두 ETF를 가지고 포트폴리오를 짠다. 지금까지 국내에 선보인 대부분의 로보어드바이저 역시 마찬가지다. 이 로보어드바이저들은 분산투자를 하면서 투자자산의 시장가치를 고려해 투자 비율을 책정하는 블랙-리터만(Black-Litterman) 모델을 따르고 있다.

그러나 블랙-리터만 모델에 기대고 있는 현수준의 로보어드바이저는 알파고처럼 머신러닝을 통해 자가학습을 하는 AI가 아니라는 게 전문가들의 공통된 견해다. 사람들은 마치 로보어드바이저가 AI에 의한 철저한 분석으로 수익률을 예측하는 것으로 생각하지만, 실상은 단지 인덱스에 투자하는 방식으로 변동성을 극히 낮춘 블랙-리터만 모델에 기초해 있다고 보는게 맞다.

김경수 데이터앤애널리틱스 이사는 “웰스프론트의 모델포트폴리오(MP)를 보면 위험성향이 가장 낮은 MP는 US본드 ETF를 95% 담도록 설계돼 있고 위험성향이 가장 높은 MP는 US스톡 ETF에 대부분 투자하도록 설계돼 있는 것이 전부”라면서 “이렇게 설계된 MP들은 모두 펀드매니저의 손을 거친 것으로 AI가 접목돼 있다고 보기 어렵다”고 말했다.

그는 또 “지금까지 선보인 한국형 로보어드바이저들 역시 대부분 웰스프론트 모델을 따르고 있기 때문에 AI의 머신러닝 기능이 없다고 봐도 무방할 것”이라며 “로보어드바이저의 수수료가 싼 이유는 이처럼 단순한 ETF 전략이 전부이기 때문”이라고 말했다.
‘금융 알파고’ 출현 가능할까중에서

그런데 진정한 의미의 금융AI가 시장에 처음으로 등장하였다고 합니다. 이를 보도한 신문이 로봇신문입니다. 역시 로봇에 대한 지속적인 관심이 기사로 이어집니다. 최초 보도는 FT의 JPMorgan develops robot to execute trades 입니다.

파이낸셜타임즈에 따르면 JP모건은 최근 유럽에서 LOXM을 주식거래 알고리즘에 적용한 결과 사람이 처리하는 것에 비해 훨씬 효율성이 높았다며 올해 4분기에는 아시아 및 미국 전역에서도 출시할 계획이라고 밝혔다.

LOXM은 어떤 주식을 살 것인지를 결정하는 기능은 없지만 어떻게 사고 팔지를 심층 강화학습(DRL)이라는 기법을 통해 효과적으로 판단한다. JP모건의 글로벌 주식거래 전자상거래 책임자인 다니엘 시멘트(Daniel Ciment)는 “LOXM은 대규모 지분 매각 시점을 찾는데 탁월하며 많은 지분을 한꺼번에 팔 때 투자자가 손실을 최소화하고 최적의 이익을 취할 수 있는 가격대를 찾아준다”고 강조한다.

실물과 시뮬레이션 거래를 모두 포함해 과거 거래에서 얻은 교훈을 반영해 최적의 가격으로 최대 속도의 고객 주문을 실행하는 것이다. 시멘트는 유럽의 테스트에서 LOXM에 의해 달성된 가격이 벤치마크에 비해 ‘현저하게 우수함’을 보여줬다고 전했다.

JP모건의 유럽 에퀴티 퀀트 연구(Equity Quant Research)팀의 데이비드 펠라(David Fellah)는 “이같은 커스터마이징은 과거 인간에 의해 구현되었지만 이제는 AI 시스템이 훨씬 더 효율적으로 처리할 수 있으며 처리 규모도 매우 크다”고 말한다.

LOXM은 수백만 개의 케이스에 달하는 과거 시나리오로부터 DRL 기법을 통해 훈련받았다. 펠라는 “DRL은 자동 헷징 및 시장 창출과 같은 은행 업무에서 많은 다른 잠재적인 용도를 갖고 있다”고 말한다. 특히 LOXM은 개별 고객 인식을 통해 거래 방법을 결정할 때 고객 행동과 반응을 고려하는 부분까지 진화가 가능한 것으로 알려진다. 물론 이는 고객이 동의하는 경우에만 가능하다.

JP모건, 주식 거래 인공지능시스템 실거래에 도입중에서

LOXM은 로보어드바이저와 어떻게 다를가요? JPM Develops A.I. Robot To Execute High Speed Trades, Put Humans Out Of Work중 일부입니다. Deep Reinforcement Learning방식으로 스스로 학습하여 매매와 관련한 의사결정을 합니다.

In the latest victory for robot kind over humans, LOXM’s job will be to execute client orders with maximum speed at the best price, “using lessons it has learnt from billions of past trades — both real and simulated — to tackle problems such as how best to offload big equity stakes without moving market prices.”

In other words, one giant “big data” aggregator, using historical precedent to guide future decisions, which coming in a time when “this time it’s certainly different” for the broader stock market, could be a big mistake.

“Such customisation was previously implemented by humans, but now the AI machine is able to do it on a much larger and more efficient scale,” said David Fellah, of JPMorgan’s European Equity Quant Research team. Mr Ciment said that, so far, the European trials showed that the pricing achieved by LOXM was “significantly better” than its benchmark.

The development guarantees another round of downsizing among bank front offices as increasingly inefficient human traders are removes from the equation… and payroll. As the FT notes, investment banks have been increasingly using AI, automation and robotics to help cut costs and eliminate time-consuming routine work. “For example, UBS’s recent deployment of AI to deal with client post-trade allocation requests, which saves as much as 45 minutes of human labour per task. UBS has also brought in AI to help clients trade volatility.”

Commenting on the launch, Ciment said that “best execution is becoming more and more important to clients,” adding that it could become part of the marketing pitch the bank makes to clients. The AI was developed using “Deep Reinforcement Learning” methods, which are able to learn from millions of historic scenarios. Mr Fellah said DRL had “many other potential uses in banking, such as in automatic hedging and market making”.

One possible evolution of LOXM is teaching the machine how to get to know individual clients, so that it could consider their behaviour and reaction as it decides how to trade. “Any customisation would only be if the client agrees to that,” Mr Ciment added.

Unlike similar robotic advancements on the buyside, especially at Blackrock which is increasingly automating stock-picking using “big data” and robots in a wholesale push for passive investing, JPMorgan’s AI has no decision-making capabilities around what is bought and sold – a differentiation from existing robo advisors – as its role is solely to decide how things are bought and sold.

그러면 좀더 구체적으로 알아볼까요? 어떻게 시스템이 구성되어 있을까요? 발표한 자료는 없지만 프로젝트를 총괄한 David Fellah가 발표한 자료에 단초가 있습니다. QuantCon Singapore 2016에서 발표한 자료입니다. 아래 시스템을 보시면 RL Trading이라는 기능이 있습니다. 이 부분이 학습을 담당합니다. 자료를 보면 HFT에서 다루었던 미시시장구조, 빅데이타, 기계학습을 총 망라한 시스템입니다. 기사를 읽어보면 기관투자자를 위한 Sell-Side OMS로 개발되었습니다.

Download (PDF, 5.07MB)

2.
Deep Reinforcement Learning을 이해할 시간입니다. 잘 모르는 제가 구구절절 설명하기 보다 관련한 자료만 소개하도록 하겠습니다.

입문이라고 할까요? Deep Reinforcement Learning: An Overview입니다.

Download (PDF, 1.01MB)

DRL과 관련한 논문들을 공부하고 싶으면 Deep Reinforcement Learning Papers가 잘 정리해놓고 있습니다.

마지막으로 자료를 찾아보니까 Tensorflow를 통하여 구현하는 방법를 쉽게 설명한 강의도 있더군요. 홍콩과학기술대 김성훈 교수의 강의를 담은 모두를 위한 딥러닝 – Deep Reinforcement Learning입니다.