Hadoop을 이용한 LOG 데이타관리

1.
몇 일전 MONITORGO를 이야기했습니다. MONITORGO와 연관된 구체적인 방안으로 NFA의 규정을 소개한 적이 있었습니다.

미국 NFA Rule2-48와 한국감독기관의 공문

하루 단위로 거래와 관련된 로그를 제출하라는 내용입니다. 이를 KRX에 적용하면 최초 주문을 접수(발생)하는 서버의 로그, 미니원장의 로그 및 회원사의 FEP의 로그를 제출한다는 내용입니다.

제출받은 로그를 모으면 어마어마하겠죠. 자료를 무작정 쌓아놓는다고 데이타가 정보가 되지 않습니다. 가공을 하여야 하고 분석을 하여야 합니다. 요즘 유행하는 단어를 사용하면 Big Data와 Business Intelligence입니다. 어떤 기술을 사용하면 효율적일까요?

아래는 Hadoop을 이용하여 시스템의 LOG데이타를 관리하는 방법에 대한 자료입니다.

2.
트레이더 혹은 투자자의 모든 거래는 흔적을 남깁니다. 언제 어디서 무엇을 했는지가 기록으로 남습니다. LOG입니다. ?제가 시스템을 개발할 때 LOG는 장애를 추적할 때 프로그램을 디버깅할 때를 제외하면 거의 사용하지 않습니다. 개발자의 입장으로 보면 그렇지만 서비스개발이나 마켓팅을 담당하는 입장이라면 다릅니다. 다양한 시스템이 만드는 로그를 이용하여 부가가치가 있는 정보를 만들 수 있습니다.

아래는 NHN(네이버)가 Hadoop을 이용하여 로그분석시스템을 구축한 사례입니다.

Log Analysis System Using Hadoop and MongoDB

이제 증권사도 Hadoop과 친해질 필요가 있지않을까요?

(*)금융에서 Hadoop을 사용하는 다양한 사례를 소개합니다.

IT log consolidation and analysis (for use in provisioning, forensics, etc.)
Collection and analysis of enterprise service bus messages
Identifying transaction fraud: creating a large data set for model building and backtesting
Consolidating consumer product data warehouses and transaction logs to build a unified risk score across consumer products (retail banking, home loans, auto loans, student loans, credit cards, etc.)
Daily transformation of loan-level data delivered from a service provider in a custom format into a consolidated format suitable for loading into a database
Collection and analysis of simulation logs from a multi-thousand node compute grid
Tiered time series tick database (recent data stored in an in-memory column store, older data stored on Hadoop)
Check image storage and retrieval
Daily processing of equity markets data for compliance purposes
Creation of a equity market historical data repository for model fitting and back testing