강 명훈

데이터 분석 관점의 로그 분석 분야에 관심 많습니다.

엘라스틱서치에서 원본 데이터 추출하기

엘라스틱서치에서 원본 데이터 추출하기

엘라스틱서치에서 원본 데이터를 추출해보자. 그런데 원본 추출 관련 메뉴가 안 보이네? 이리저리 찾아보다 포기(..) 엘라스틱서치는 집계된 데이터의 추출만을 지원하는 듯 하다. 결국 구글신께 문의. 요즘 구글신은 한국말도 잘해서 너무 좋다. 다음은 원본 추출을 위한 Logstash 설정. input {  elasticsearch {   hosts => "localhost:9200"   index => "logstash-weblog"

By 강 명훈
보안과 빅데이터

빅데이터

보안과 빅데이터

전에 빅데이터가 네트워크 보안 분야에는 별로 도움이 안 된다는 얘기를 했었는데, 그 이유를 알아보자. 다음은 엘라스틱서치로 구현한 Snort 로그 대시보드. 전세계에서 다양한 공격(?)이 시도되고 있음을 보여준다. 뭔가 있어 보이고, 보안이 통합 관리되는 듯한 느낌은 덤. 그런데 그 느낌을 과연 믿어도 되는 걸까? 사실 해당 로그가 전부 진짜 공격이라면 이런

By 강 명훈
Logstash 필터 grok 특징 하나

Logstash 필터 grok 특징 하나

윈도우 이벤트 로그의 Elasticsearch 연동 시, winlogbeat를 이용하면 한글 인코딩같은 거 신경 안 써도 되고 정말 편하다. 특히 로그 필드 정규화는 이래도 되나 싶을 정도로 알아서 다 해준다. 이래저래 이벤트 로그는 다루기 참 편한 것 같다. Logparser만 있어도 거의 RDB처럼 분석할 수 있으니까. 그런데 nxlog 등을 통해 이미 이벤트 로그를

By 강 명훈
보안이 허술해 보이는 이유

보안이 허술해 보이는 이유

내 사회 생활의 시작은 2000년 4월이었다. 당시 한풀 꺾인 벤처 열풍에도 불구하고 꽤 많은 IT 벤처들이 있었는데, 그중에서도 확실한 수익 모델을 자랑하던 것이 IJ(인터넷 자키)란 신종 직업으로 이슈가 됐던 인터넷 성인방송국. * 인터넷 성인방송국에서는 지금 어떤 일들이 당시 나는 공짜 성인 만화 보는 재미에 빠져 있었다. 무슨 대단한 해킹씩이나

By 강 명훈
See all