Pop your eXperience. Share It.
Java
예전엔 정말로 통계/생물과에서는 R, 공대생은 Matlab, 공장이나 은행은 SAS, 경영학과는 Excel, 수학 관련은 Mathmatica라는 선입견이 있었습니다. 물론 Stata나 SPSS등 다른 툴을 선호하시는 분도 많았고 linux와 같이 소개된 Octave가 점차 널리 쓰이기도 하면서 실제로는 더 많은 종류의 툴들이 공존하고 있었는데, 어찌보면 비효율적일 수도 있고 어찌보면 하나의 범용적인 툴보다 각자 더
Druid - 새로운 희망 서투른 장인은 항상 연장 나무란다. A bad workman always blame his tools. (속담) 앞선 시리즈에서 자주 언급되었던 Druid의 저장 단위인 Segment와 Druid에서 지원하는 Query에 대해 다루려고 한다. Segment는 Druid의 time기준으로 저장되는 indexing 파일 단위를 의미하며 저장 단위는 사용자 쿼리에 따라 최적화가 가능하다. 저장하려고 하는 데이터의 수집시 indexing
R
최근 빅데이터와 인공지능에 대한 관심이 증가하면서, 국내에도 Enterprise레벨에서 R을 사용하여 머신러닝 기법을 적용하려는 시도가 늘고 있습니다. 연구 분야에서는 말할 것도 없고 '데이터 사이언스' 분야에서는 이미 가장 중요한 툴이 된 R이지만, 수 많은 마이닝과 머신러닝 관련 프로젝트에서 지금까지의 SAS나 Matlab의 위상을 고려하면 이런 전폭적인 관심이 조금 갑작스러운 듯 싶은
Druid - 보이지 않는 위험 위험을 피하려면 최악의 사태를 항상 대비해 두어야 한다. - 그라시안 필자의 경우 Batch Ingestion에서 많은 고통을 느꼈다 ㅠㅠ Druid를 적용하는 케이스가 실시간쪽보다는 배치쪽인 경우가 다수였으며 Batch 의 경우, Druid와의 싸움(?)보다는 MR job에 의존도가 크기에 문제 해결에 상당히 많은 시간이 소요되었다. 혹시나 같은 고통을 겪으실 누군가에게 이
Druid 의 불꽃 전쟁의 서막을 못보셨다면 1편부터 시작 ^^ ::: Druid 입문 당신은 지체할 수도 있지만 시간은 그러지 않을 것이다. - 벤자민 프랭클린 Druid에서 실시간 처리 방식에는 Stream Push방식과 Stream Pull방식이 있다. [참고 : http://druid.io/docs/latest/ingestion/stream-ingestion.html] 실시간 처리 소개 전에 Indexing service에 대해 잠깐 짚고 넘어가자면 다음과
Druid - 전쟁의 서막 때는 찬바람 불어 호빵을 호호 불며 우물거리던 작년 겨울 Business Problems 쉴틈도 없이 마구마구 뿜어내는 time series 데이터를 어떻게 효율적으로 처리할까라는 고민에서 시작되었다. 빅데이터에는 수많은 오픈소스 기술셋이 존재한다. 적합한 오픈소스는? [참고 : http://xyz.insightdataengineering.com/blog/pipeline_map.html ] Solution 비지니스 요건중에 time series 데이터에 대한 통계를