빅데이터 - Popit

[추억의 글]빅데이터란 무엇이고, 어떻게 해야 할까

필자는 popit.kr을 운영하기 이전에 지금은 삭제된 개인 블로그에 글을 게재를 했었습니다. 대부분의 글을 popit으로 옮겼다고 생각했는데 지인이 블로터에 있는 이글 링크를 보내왔습니다. 2012년초 빅데이터라는 용어가 막 나타나던 시기에 쓴 글인데 기록할 가치가 있어 다시 게재해 봅니다. 지금에 보는 빅데이터와는 지금 다른 개념도 있기 때문에 읽으시는 분들은 그 시대의 상황을

빅데이터

알리페이에서 데이터 분석은 어떻게 할까요? 핀테크 관련 CIO 초청 모임

중국의 가장 큰 온라인 지불 회사로 알려져 있는 알리페이의 데이터분석 조직의 Technical director의 발표를 들을 수 있는 모임이 있어 소개하려고 합니다. 작은 소모임이다 보니 특별한 홍보는 하지 않고 있는것 같은데 관심있으신 분이 있을 것 같아 공유 합니다. 다음은 관련 행사 내용 영문 버전 입니다. Invitation from CIO Salon Seoul (March

빅데이터

Spark2.0 New Features(2) Structured Streaming - 1편

Structured Streaming Structured Streaming은 Spark2.X에서 새롭게 나온 Spark SQL엔진 위에 구축된 Stream Processing Framework이다. Structured Streaming은 기존에 Spark APIs(DataFrames, Datasets, SQL)등의 Structured API를 이용하여 End-to-End Streaming Application을 손쉽게 만들 수 있다. 또한 input data에 대한 Streaming데이터 처리 후 checkpointing과 write-ahead logs를 통한 exactly-once하고

[개요] 아파치 하둡 3.1.0

여는 글 최근 아파치 하둡 3.1.0의 출시로 HDFS 의 Erasuere Coding 외에 분산 자원 관리자인 YARN에 특히 실용적인 기능들이 적용되었는데, 어떠한 기능들인지 차근차근 소개하겠습니다. 먼저, 공식 사이트에 게시 된 개요로부터 시작 하겠습니다. 개요 이 글에서는 주요 변경 사항에 대한 간략한 개요를 제공합니다. * YARN 기반에서 장기 실행 서비스들을 native와

빅데이터

보안과 빅데이터

전에 빅데이터가 네트워크 보안 분야에는 별로 도움이 안 된다는 얘기를 했었는데, 그 이유를 알아보자. 다음은 엘라스틱서치로 구현한 Snort 로그 대시보드. 전세계에서 다양한 공격(?)이 시도되고 있음을 보여준다. 뭔가 있어 보이고, 보안이 통합 관리되는 듯한 느낌은 덤. 그런데 그 느낌을 과연 믿어도 되는 걸까? 사실 해당 로그가 전부 진짜 공격이라면 이런

우버 (Uber), 도대체 무엇이 특별할까? - 우버 분석

우버 (Uber) 의 데이터를 활용한 특장점 공유경제의 대표적인 기업 '우버 (Uber)', 그리고 데이터 분석에 대해 간략하게 알아보도록 하겠습니다. 공유경제 (Sharing Economy)는 기존의 소비 패턴을 완전히 바꾸고 있으며 기존 물건을 구매하여 소유하는 '소유 경제'에서 불필요한 소비자원의 낭비를 줄이고 사회 공동의 이익이 기여한다는 점에서 매우 긍정적인

멜론 빅데이터 이야기

멜론의 빅데이터 도입 시 고려했던 점과 시스템을 소개하는 글로 데이터를 수집, 분석 그리고 결과를 서비스하기까지의 과정에서 사용되는 오픈 소스도 소개합니다. 조금이나마 빅데이터 시스템 도입 시, 도움이 되었으면 좋겠습니다. 소개 2011년 10월 가을, 멜론은 MLCP(Music Life Connected Platform) 프로젝트를 시작했습니다. 프로젝트 핵심은 사용자의 10년간의 소비 이력을 분석하여 아티스트와 기획사 등의

SK텔레콤, Hadoop DW 와 데이터 분석환경 구축사례

최근 하둡(Hadoop)을 중심으로한 오픈소스 빅데이터 플랫폼들의 동향을 살펴보면, Lamda Architecture 로 대변되는 실시간 데이터수집, 처리, 저장, 저장된 데이터의 배치처리, 처리된 데이터의 조회(분산 데이터베이스)의 각 영역에 기술적으로 성숙했다고 볼 수 있는 굵직굵직한 플랫폼들이 이미 자리를 잡은 모습입니다. (이미지:http://www.mapr.com/sites/default/files/otherpageimages/lambda-