강 명훈

보안

인공지능 VS 보안

네트워크 보안 분야에서 인공지능 도입이 수월한, 효과가 가장 잘 나올만한 분야는 사실관계가 그대로 기록된 웹로그 등에 대한 이상징후 분석 분야라고 생각한다. 다음은 엘라스틱서치 사례. https://www.youtube.com/watch?v=mqEqBN0_Lnc 다음은 스플렁크. 모두 이상징후 분석에 촛점이 잡혀있다. 물론 이상징후 분석 시장이 제일 크기 때문이기도 하다. 보안을 포함한 모든

성능과 정확도 사이에서

대부분의 IT 분야에서 소프트웨어 완성도는 기능이 동작하느냐, 마느냐의 문제다. 그래서 기능이 동작하면 모두가 해피엔딩. 그러고 나면 더 빨리, 많이 할 수 있느냐, 없느냐의 문제로 확장되겠지만 결론은 마찬가지. 페이스북은 전세계 수억 명 사용자의 좋아요 개수를 잽싸게 수집해서 보여준다. 정확할 필요도 없다. 1K나 1.1K 식으로 두리뭉실 넘어가도 모두가 만족하며, '진짜

grok 필터 성능 테스트

로그 분석을 데이터 분석 수준으로 끌어올리려면 원시로그 덩어리를 필드별 고유성이 확보된 테이블 구조로 바꿔야 하는데, 이때 grok 필터의 역할은 독보적이다. 한가지 단점이라면 정규표현식을 이용하기 때문에 성능이 저하될 수 있다는 것. grok 필터는 로그스태시 필터링 성능에 얼마나 영향을 끼칠까? 윈도우8, i5(CPU), 8GB(Memory), SSD(mSATA) 사용 환경에서 아파치 웹로그 백만

elasticsearch

엘라스틱서치가 쉬웠던 이유

제목이 너무 도발적인가? 지금 이순간에도 대규모, 대용량 환경에서 성능 등의 문제로 골머리 썩는 분들에겐 죄송(..) 하지만 엘라스틱을 데이터 분석툴로 활용하는 입장에서는 쉬우니 쉽다고 할 수 밖에. 처음 접한 건 작년 여름, 데이터 분석 서비스를 제공하는 logz.io를 통해서였다. 사실 데이터 분석 분야에서 엘라스틱이라는 오픈소스가 유행이라는 얘기는 들어왔지만, IDS 등 사실

Elasticsearch에서 특수문자 검색

가끔 엘라스틱서치에서 특수문자를 검색하고 싶을 때가 있는데 잘 안 된다. 다음은 var 필드에서 특수문자 '='을 포함한 모든 문자열을 검사하는 '*=*'의 검색 결과. 검색 결과가 없는 이유는 엘라스틱서치가 인덱스 색인을 만드는 과정에서 특수문자를 '공백' 취급해버리기 때문. 다음은 문자열 'a=d'의 인덱싱 결과.

xpath를 이용한 이벤트 로그 필터링

강의하다 보면 공개하기 껄끄러운 정보가 포함된 이벤트 로그를 사용해야 할 때가 있는데, 윈도우 이벤트 로그는 텍스트가 아니라서 편집도 안 되고, 시스템 해킹이라도 하지 않는 이상 건드릴 방법이 없어서 난감해진다. 원하는 정보만 골라서 쏙 빼버릴 수는 없을까? 로그 필터링 기능을 이용해보자. 그러나 기본 제공되는 기능은 헤더 영역에 대한 필터링만 가능하기 때문에

Logstash 필터 geoip

ElasticSearch는 내부에 maxmind 에서 제공하는 geoip에 대한 정보를 가지고 있습니다. 이 정보를 이용하여 쉽게 IP와 지역을 매핑하여 위치와 관련된 다양한 분석을 할 수 있습니다. 이번 글에서는 ElasticSearch와 Kibaba에서 maxmind 를 어떻게 사용하는지 간단하게 살펴봅니다.

네트워크 보안 정확도에 대한 관심 추이

이번 프로젝트에서 대구시가 가장 주안점을 둔 것은 보안 데이터 분석의 정탐률과 이벤트 처리 효율성을 높일 수 있는 AI 알고리즘 적용이었다. 대구시가 AI 기반 보안관제 시스템을 구축했다는 기사 한토막. 물 들어올 때 노 젓는다고, 요새 AI 키워드 안 들어간 마케팅이 없는지라, 그런가보다 하려는 찰나, '정탐률'이란 단어가 눈에 들어왔다.

회고

어느 인도네시아인의 질문

새해가 밝았다. 작년 한해동안 무슨 일이 있었나 생각해봤는데 딱히 기억나는 게 없음. 대통령 탄핵과 장미 대선으로 전반기는 어수선했고, 후반기는 기아 우승 정도? 그래도 굳이 찾자면 동시통역 당했던(?) 기억이 남달랐던 듯하다. 인도네시아 공무원 대상으로 동시통역사를 끼고 강의할 기회가 있었는데, 처음 경험하는 거라 그런지 많이 색달랐다. 뭐가 색달랐냐면, 내가 얘기를 하고 있는데

timelion 필드 집계 오류

ELK 스택 삼대장 중 키바나를 개발한 '라쉬드 칸(Rashid Khan)'이 비행기 타고 가다 뚝딱 만들었다는 timelion. 이름에서 알 수 있듯이 timelion은 시계열 데이터 분석에 특화되어 있으며, 함수 형식의 표현식을 사용한다. 자동완성을 지원하기 때문에, 학습도 그리 어렵지 않은 편. 웹서버 접속자의 국가별 발생 추이를 그려보자. 다음은 상위 5개의

대량살상 수학무기

수학자, 금융공학자, 데이터 과학자라는 무시무시한 타이틀을 가진 캐시 오닐이 자본주의 부역자(?) 신세로 전락하고 있는 데이터 과학의 이면을 고발한 책. (데이터 과학자의 본격 데이터 과학 디스) '월가점거 운동의 하위 조직인 대안금융그룹을 이끌고 있다'는 저자 소개가 심상치 않다. 좌파의 냄새가 솔솔(..) 좋은 면이 있으면 안 좋은 면도 존재하는 게

이상징후 분석의 한계

일반로그의 이상징후 분석은 쉽다고 얘기했었는데, 그렇다고 로그에서 이상징후가 알아서 툭 튀어나오지는 않는다.  저번에 응답코드 404 발생 건수 변화 추적을 통해 이상징후를 포착하는 과정을 살펴봤었는데, 그때 파일 확장자 발생 개수 조건을 참고하면 판단이 조금은 쉬워진다는 사실을 알 수 있었다. 흔한 상관분석 시나리오.사례를 하나만 더 살펴보자. 응답코드 500은 웹서버가 사용자 요청