Tag Archive: 빅데이타

빅데이타는 어떤 세상을 만들까?

1. 빅 데이타, 빅 데이타 합니다. 저도 빅데이타를 말합니다. 다른 시장에 비해 자본시장은 빅데이타가 미래가 현재의 일이기때문입니다. 출발은 대용량시세데이타입니다. ?얼마전 KBS 시사기획 창이 ‘빅데이타’를 주제로 다큐멘터리를 방송하였습니다. 위의 시사프로그램에서도 소개했고 인간을 이긴 컴퓨터로 유명한 IBN 슈퍼컴퓨터 왓슨이 시티은행에 취직했습니다. IBM 왓슨, 씨티은행에 취직중 일부입니다. IBM과 씨티은행은 왓슨 기술을 소비자 뱅킹 솔루션과 통합을 추진하기로 했다. 왓슨은 씨티은행 고객들의 거래내역과, 블로그, SNS…
Read more

시카고선물거래소의 Hadoop 이용사례

1. 어느 날부터 자본시장과 관련한 뉴스들이 Hadoop을 다룹니다. NoSQL이라는 말도 우연히 들었지만 Hadoop는 진짜로 모르겠더군요. 사실 더 깊숙히 파고들어갈 시간도 없습니다. 당장 제가 먹고살 식량이 아니기때문입니다. 또 시간이 흐릅니다. 어떤 블로그를 보니 CME를 다루고 있습니다. 주제는 Hadoop입니다. Big Data시대 데이타, 특히 마켓데이타의 관리는 관심사이기때문에 재미있게 살폈습니다. 2010년 Hadoop기반의 마켓데이타서비스를 준비할 때의 상황입니다. CME Group has data dating back to 1982…
Read more

Market Data와 HDF5

1. HDF5에 익숙치 않았습니다. 우연히 @dolppi님의 글에서 HDF5를 알았습니다. high frequency data analysis 대량데이타를 이용하여 백테스팅을 할 때 많이 사용하는 듯 합니다. 그렇지만 저같은 경우 백테스팅을 해본 경우이 없어 익숙치 않았습니다. 구굴링을 통하여 확인해보니 HDF는? 아리랑 1호 인공위성에서 사용하고 있습니다. HDF를 아주 자세하게 한글로 정리해놓고 있습니다. HDF(Hierarchical Data Format)는 이러한 분산환경에서 과학용 데이터를 공유하기 위한 다중객체 파일형식이다.HDF는 여러 분야에서 진행되고…
Read more