1.
2013년 8월 28일! 자본시장IT 사랑방 8월 세미나를 가졌습니다. 발표는 MOS Asia 이승훈이사님입니다. 빅데이타와 관련한 기술영업을 5년째 하고 계시더군요. 발표는 Splunk제품과 Splunk를 이용하여 POC를 실시한 증권사 사례를 소개하는 순으로 진행하였습니다.
세미나를 진행하면서 시카고선물거래소의 Hadoop 이용사례에서 소개하였던 CME사례가 떠올랐습니다. CME는 Hadoop을 이용하여 전사적 로그관리시스템을 구축하였는데 Splunk는 이를 직관적으로 실시간으로 해주는 제품이더군요. 발표하신 내용은 자본시장IT 사랑방 – Splunk을 참고하시길 바랍니다.
개인적으로 가장 기억에 남는 말을 두가지입니다. “데이타가 권력이다.”, “데이타가 아니라 데이타를 분석할 수 있는 사람을 키워라, 통계를 배워라”입니다. 빅데이타 솔류션 보다 더 중요한 것이 데이타분석가=Data Scientist입니다. 빅데이타와 관련하여 읽은 글중 Big Data Answers, But Are You Asking the Right Questions?라는 제목이 너무 마음에 들었습니다. “올바른 질문을 해야 원하는 답을 얻는다” 빅데이타 프로젝트를 할 때 명심하여야 할 글입니다. 어제 발표한 자료중 증권사를 위한 POC사례도 있었습니다. 특정한 회사와 관련이 있는 자료라 올리지 않았습니다. Splunk를 소개하신 이승훈이사님에게 직접 문의를 하시면 좀더 깊은 사례를 얻을 수 있습니다.
어제 세미나에 참석하신 강대성님이 페이브북에 남기신 후기입니다.
1. 일단 많이 쌓아라.
2. 해당 업무를 담당할 전담 직원이 있어야 한다. (통계 전공자면 더 좋음)
3. 무엇을 할지 미리 생각하면 좋다. 무엇을 해야할지 몰라도 데이터만 잘 쌓아두면 활용할 수는 있다.
4. Big Data에서 정확한 정보보단 트렌드를 파악해라.
5. 데이터는 권력이다. 데이터를 잘 가공하여 회사에 기여하면 승진이 따라온다.
6. 나의 데이터는 이미 여러 기업의 Big Data 안에 들어가서 그들의 돈벌이 전략에 활용되고 있다.
아침에 사랑방을 하고 난 단상을 올렸더니 @SilverSurfre님이 리트윗을 주셨네요.
10년전 CRM에서 기술적 진보는 있었을지 몰라도 근본적인 문제는 여전합니다. '돈'이 되었느냐… 그것도 눈에 보이게… RT @smallake: 자본시장IT 사랑방 '빅데이타'를 주제로 가졌습니다…. http://t.co/GeLTqI9rii
— Silver Surfer (@SilverSurfre) August 29, 2013
@smallake 네 맞습니다. 그런데 빅데이터가 뜨면 빅데이터 기술을 연구하던 분이 컨설팅 명목으로 마케팅을 하시더라구요. 빅데이터 기술로 '무엇'을 할 것이냐가 더 중요하다는 생각입니다.
— Silver Surfer (@SilverSurfre) August 29, 2013
(*)아래는 8월 세미나 공고문입니다.
안녕하세요. 트레이딩컨설팅그룹 이음 김형준입니다.
지루하던 장마가 끝나고 열대야가 이어지고 있습니다. 그래도 가끔 새벽이면 귀뚜라미 소리가 드립니다. 안도현시인은 가을이 오는 소리를 이렇게 이야기했습니다.
매미 울음소리가 왠지 녹슬었다고 생각될 때 가을은 온다. 벚나무가 그 어떤 나무보다 먼저 이파리를 땅으로 내려놓을 때 가을은 온다. 배롱나무가 더 이상 꽃을 밀어올리지 않을 때 가을은 온다. 팽나무 열매가 갈색으로 익어가고 산딸나무 열매가 붉어질 때 가을은 온다. 도라지꽃의 보랏빛을 손으로 쓰다듬어주고 싶을 때 가을은 온다. 여치의 젖은 무릎과 방아깨비의 팔꿈치와 귀뚜라미의 수염을 생각할 때 가을은 온다. 담배밭에서 담뱃잎을 더 딸 일이 없을 때 가을은 온다. 수수밭이 우수 어린 표정으로 과묵해질 때 가을은 온다. 냇물 소리가 귓가에서 차가워질 때 가을은 온다. 무심코 바라보던 저수지의 물빛이 문득 눈에 시리게 들어올 때 가을은 온다. 하늘을 올려다보는 시간이 많아질 때 가을은 온다. 비행기가 늘어뜨리고 간 비행운을 따라가고 싶을 때 가을은 온다. 텅 비어 있는 우편함을 괜히 기웃거릴 때 가을은 온다. 라디오에서 듣는 이소라의 노래 ‘바람이 분다’를 혼자 배워보고 싶을 때 가을은 온다. 버스의 금간 유리창이 예사롭지 않게 보일 때 가을은 온다. 거리에서 연탄 실은 트럭을 자주 만나게 될 때 가을은 온다. 밤마다 다리에 감고 자던 죽부인과 이별하고 싶을 때 가을은 온다. 넥타이를 매고 싶어지고 옷장을 정리하고 싶을 때 가을은 온다. 대학 다니는 아이의 2학기 등록금을 어떻게 마련할까 고심할 때 가을은 온다. 아버지, 라는 말이 울컥해질 때 가을은 온다.
보통 여의도의 가을은 추석때문에 프로젝트를 마무리하고 서비스를 시작하는 때입니다. 한 여름 흘린 땀이 탐스러운 열매로 이어지길 바랍니다.
자본시장IT 사랑방 8월 세미나를 아래와 같이 알립니다.
1.주제 : 증권사를 위한 빅데이터 분석 사례
2.일시 및 장소: 2013년 8월 28일 늦은 7시 프라임비즈니스센터 대회의실
3.발표자: MOS Asia 이승훈 실장
4.내용
– 빅데이터 동향 소개
– 스플렁크(Splunk) 소개 및 구축 사례
– 마크로직 소개 및 구축 사례Splunk는 들어본 적이없는 가장 큰 소프트웨어 회사 중 하나가 될 수 있습니다.지금은 6 개월 이상의 일곱 살의 기업을 다음과 최근 두번째 연례 사용자 컨퍼런스에 참석 했어요. Splunk은 응용 프로그램 및 시스템 로그, 네트워크 트래픽, 센서 데이터, 클릭 스트림 및 기타 느슨하게 구조화된 정보 소스를 포함하고 기본 애플 리케이션과 시스템에서 기계로 생성된 데이터의 대량 분석에 초점을 맞추고 있습니다. 이 ‘큰 데이터를 “소스의 대부분은 우리가 최근에 출판된 벤치 마크 조사에 따르면 Hadoop과 분석 같은 소스입니다. 그러나, Splunk 실시간으로 오히려 우리가 Hadoop에 대한 가장 일반적인 사용으로 볼 수있는 배치 기반의 고급 분석보다는 이러한 데이터에 대한 간단한 분석을 수행에 초점을 맞춘 다른 접근 방식을 걸립니다.
Splunk 큰 – 데이터 시장의 특정 세그먼트에 초점을 맞추고 있습니다 : 기계 생성된 데이터입니다. 데이터의이 유형은 조직 전체 및 대량으로 여러 소스로부터 지속적으로 유래. 기계 생성된 데이터를 다른 일반적인 특성은 일반적으로 그것이 일반적인 관계형 데이터베이스의 데이터에보다 구조 때문입니다. 종종 정보가 여러 레코드 길이와 레코드 구조를 포함하는 텍스트 파일 구성 로그로 캡처합니다. 효과적으로 실시간으로이 느슨하게 구조화된 정보를 활용하는 두 개의 과제가 극복되어야합니다 빠르고 쉽게 데이터를로드를 통해 탐색하고이로드되면 정보를 분석.
Splunk는 원시 형태로 정보를로드하여 첫 번째 도전을 태클. 아무 전처리가 필요하지 않습니다 그러므로 더 지연이 도입되지 않으며 데이터가 ‘잃어버린 없습니다. “입니다 모든 원시 데이터뿐만 아니라 비즈니스 가치를 가지고 보유. 나중에 당신이 이전에 생각하지 않았는 중요 정보의 새로운 조각을 조사하고자 결정한다면, 그것은 분석을 위해 사용할 수 있습니다.
검색 기반 메커니즘은 두 번째 도전에 대한 솔루션을 제공합니다. 우리 정보 응용 연구가 전반적인 매우 중요한 분석 기능의 목록에 3 순위 검색의 중요성을 보여주는, 그리고 최종 사용자를 위해 특별히 그것은 미리로 이동하고 정보를 검색할의 매우 중요한 기능 (46 %)의 목록을 얹은. 분석하는 검색 기반 액세스 성장에 큰 드라이버를되었으며 2009 년 제 동료에 의해 강조되었다. 검색 기계 생성된 데이터의 “구조”의 부족에 의해 만들어진 문제를 극복. 실제로 데이터 구조도 많이 가지고 – 이벤트 특정 유형의 발생을 나타내는 문자열을위한 사용자 검색.집계 시간 – 기간 비교 및 기타 일반적인 분석을 작성하는 데 사용할 수있는 분석 기능을 가진 Splunk 보충은 쿼리 메커니즘. 또한, 쿼리 재사용 및 보고서, 대시보드 및 경고의 근거로 저장할 수 있습니다. 난 그들의 여름 인턴십의 일환으로, 주요 금융 서비스 소프트웨어 회사의 시스템을 모니터링 보고서와 분석을 신속하게 Splunk 쿼리 기법을 배우고 달지 두 학부 학생에서 Splunk 사용자 컨퍼런스에서 검색의 가치 일화 증거를 들어 .
구조적으로, Splunk 개별 서버의 숫자를 통해 데이터 및 처리를 확산하기 위해 대규모 병렬 처리를 고용합니다. 검색어 당시 독점적인 MapReduce 메커니즘 – 하나가 Hadoop을 기반으로하지 않는 – 사용자의 요구를 충족하기 위해 각각의 노드에서 데이터를 수집합니다. 사용자는 MapReduce 메커니즘에 대해 알 필요가 없습니다. 적절한 실행 전략 쿼리의 번역이 자동으로 이루어집니다. 단, 분산 데이터 시스템과 마찬가지로, 데이터가 노드에 걸쳐 분산된 도착 방법에 대한 몇 가지 지식은 성능 병목 현상을 식별 도움이 될 수 있으며 특정 천천히 실행 쿼리를 튜닝 수 있습니다.
현재 릴리스 버전, Splunk 4.2 이전 2011 년에 도입과 실시간 데이터 스트림에 대한 경고를 포함했다. 또한 작업을 쉽게하고 여러 끝점 또는 장치에서 데이터를 수집하면 더 많은 안정성을 제공하는 새로운 에이전트 기반의 데이터 수집 메커니즘, 보편적인 전달자라는 포함되어 있습니다. Splunk는 데이터 로딩 및 쿼리를 실행 검색 헤드를 수행 indexers 사이의 작업 부하를 분리합니다. 버전 4.2 검색이 검색 헤드의 사람에게 지시 수 있도록 검색 머리가로드 균형 조정을위한 풀링을 도입, 그것은 또한 검색 과정 중 높은 가용성을 제공합니다.
장소가 작은 관계로 선착순으로 접수를 받습니다. 참가비는 따로 없습니다. 사전신청을 한 후 본 행사 때 사전 연락이 없이 불참을 하실 경우 이후 행사에 불이익을 드립니다. 100% 참가하실 분만 신청을 해주시길 바랍니다.
