Popit (Page 4)

Logstash 필터 geoip

ElasticSearch는 내부에 maxmind 에서 제공하는 geoip에 대한 정보를 가지고 있습니다. 이 정보를 이용하여 쉽게 IP와 지역을 매핑하여 위치와 관련된 다양한 분석을 할 수 있습니다. 이번 글에서는 ElasticSearch와 Kibaba에서 maxmind 를 어떻게 사용하는지 간단하게 살펴봅니다.

Coursera Machine Learning으로 기계학습 배우기 : week7

개요 지난 시간에 이어 Coursera Machine Learning으로 기계학습 배우기 : week7 정리를 진행한다. 목차 해당 포스팅은 연재글로써 지난 연재는 아래의 링크를 참고한다. * Coursera Machine Learning으로 기계학습 배우기 : week1 * Coursera Machine Learning으로 기계학습 배우기 : week2 * Coursera Machine Learning으로 기계학습 배우기 : week3 * Coursera Machine Learning으로 기계학습 배우기 : week4 * Coursera Machine Learning으로 기계학습 배우기

timelion 필드 집계 오류

ELK 스택 삼대장 중 키바나를 개발한 '라쉬드 칸(Rashid Khan)'이 비행기 타고 가다 뚝딱 만들었다는 timelion. 이름에서 알 수 있듯이 timelion은 시계열 데이터 분석에 특화되어 있으며, 함수 형식의 표현식을 사용한다. 자동완성을 지원하기 때문에, 학습도 그리 어렵지 않은 편. 웹서버 접속자의 국가별 발생 추이를 그려보자. 다음은 상위 5개의

Coursera Machine Learning으로 기계학습 배우기 : week6

개요 지난 시간에 이어 Coursera Machine Learning으로 기계학습 배우기 : week6 정리를 진행한다. 목차 해당 포스팅은 연재글로써 지난 연재는 아래의 링크를 참고한다. * Coursera Machine Learning으로 기계학습 배우기 : week1 * Coursera Machine Learning으로 기계학습 배우기 : week2 * Coursera Machine Learning으로 기계학습 배우기 : week3 * Coursera Machine Learning으로 기계학습 배우기 : week4 * Coursera Machine Learning으로 기계학습 배우기

대량살상 수학무기

수학자, 금융공학자, 데이터 과학자라는 무시무시한 타이틀을 가진 캐시 오닐이 자본주의 부역자(?) 신세로 전락하고 있는 데이터 과학의 이면을 고발한 책. (데이터 과학자의 본격 데이터 과학 디스) '월가점거 운동의 하위 조직인 대안금융그룹을 이끌고 있다'는 저자 소개가 심상치 않다. 좌파의 냄새가 솔솔(..) 좋은 면이 있으면 안 좋은 면도 존재하는 게

Coursera Machine Learning으로 기계학습 배우기 : week5

개요 지난 시간에 이어 Coursera Machine Learning으로 기계학습 배우기 : week5 정리를 진행한다. 목차 해당 포스팅은 연재글로써 지난 연재는 아래의 링크를 참고한다. * Coursera Machine Learning으로 기계학습 배우기 : week1 * Coursera Machine Learning으로 기계학습 배우기 : week2 * Coursera Machine Learning으로 기계학습 배우기 : week3 * Coursera Machine Learning으로 기계학습 배우기 : week4 글을 읽기에 앞서… * 본글은 필자가

druid

Hive에서 Druid로 주저 없이 데이터 적재하기[번외:airflow]

Hive에 있는 데이터 Druid에 적재하려면? 다음과 같은 다양한 삽질 방법이 존재한다. 1. Hive에 metastore로부터 hdfs location을 파악한 후 orc format이나 parquet format이냐에 따라 그에 맞는 hadoop ingestion spec을 작성해야함. orc인 경우 struct type정보를 잘 파악해야하며, parquet인 경우에는 avro schema를 읽기 때문에 orc에 비해 덜 번거롭다. 자세한 내용은 요기를 참고: ORC

이상징후 분석의 한계

일반로그의 이상징후 분석은 쉽다고 얘기했었는데, 그렇다고 로그에서 이상징후가 알아서 툭 튀어나오지는 않는다. 저번에 응답코드 404 발생 건수 변화 추적을 통해 이상징후를 포착하는 과정을 살펴봤었는데, 그때 파일 확장자 발생 개수 조건을 참고하면 판단이 조금은 쉬워진다는 사실을 알 수 있었다. 흔한 상관분석 시나리오.사례를 하나만 더 살펴보자. 응답코드 500은 웹서버가 사용자 요청

bigdata

윈도우즈기반 도커에 Postgres-XL 설치하기

빅데이터용 RDBMS가 필요해! 인터파크 사내에 추천시스템을 제공하기위해서 수많은 상품과 사용자 데이터를 마이닝하고 모델링을 거친 추천 상품들을 핸들링하기 위한 RDBMS가 필요했습니다. (그러나,,, RDBMS가 꼭 필요한 경우가 아니라면, 오픈소스 MPP 보단 가급적 Parquet 또는 다른 하둡 에코를 이용하시는게 정신건강에 이롭습니다.) 후보 솔루션 및 솔루션 선정 찾아본 솔루션은 다음과 같습니다. * Cockroach DB : Raft

TF-Slim 시작하기

TF-Slim은 저수준의 텐서플로우 API를 간편하게 사용할 수 있는 고수준 경량 API로써, 텐서플로우 저수준 API를 사용하여 모델을 정의, 학습, 평가하는 과정을 간소화한다. 특히 이미지를 분류하는 작업의 경우, 성능이 검증된 다양한 이미지 모델(VGG, Inception, ResNet 등)에 대해 이미지넷 데이터셋을 기반으로pre-trained된 모델을 기반으로 fine-tuning하는 과정이 단순화되어 있다. 이

엘라스틱서치에서 원본 데이터 추출하기

엘라스틱서치에서 원본 데이터를 추출해보자. 그런데 원본 추출 관련 메뉴가 안 보이네? 이리저리 찾아보다 포기(..) 엘라스틱서치는 집계된 데이터의 추출만을 지원하는 듯 하다. 결국 구글신께 문의. 요즘 구글신은 한국말도 잘해서 너무 좋다. 다음은 원본 추출을 위한 Logstash 설정. input { elasticsearch { hosts => "localhost:9200" index => "logstash-weblog"

빅데이터

보안과 빅데이터

전에 빅데이터가 네트워크 보안 분야에는 별로 도움이 안 된다는 얘기를 했었는데, 그 이유를 알아보자. 다음은 엘라스틱서치로 구현한 Snort 로그 대시보드. 전세계에서 다양한 공격(?)이 시도되고 있음을 보여준다. 뭔가 있어 보이고, 보안이 통합 관리되는 듯한 느낌은 덤. 그런데 그 느낌을 과연 믿어도 되는 걸까? 사실 해당 로그가 전부 진짜 공격이라면 이런

Latest