Logstash 필터 grok 특징 하나

2017-08-14

윈도우 이벤트 로그의 Elasticsearch 연동 시, winlogbeat를 이용하면 한글 인코딩같은 거 신경 안 써도 되고 정말 편하다. 특히 로그 필드 정규화는 이래도 되나 싶을 정도로 알아서 다 해준다. 이래저래 이벤트 로그는 다루기 참 편한 것 같다. Logparser만 있어도 거의 RDB처럼 분석할 수 있으니까.

그런데 nxlog 등을 통해 이미 이벤트 로그를 수집하고 있다면, winlogbeat를 이용한 재구축은 번거로울 것이다. 이렇게 이미 텍스트 형식으로 수집된 이벤트 로그의 필드 정규화가 필요하다면 grok 필터가 최선. 다음은 Logstash 설정.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
input {
        file {
               path => "d:/event.log"
               start_position => "beginning"
               sincedb_path => "/dev/null"        #마지막으로 읽은 로그 무시, 반복 테스트 시 필수
               codec => plain {
                       charset => "CP949"         #한글 인코딩
               } 
        }
}
filter {
         grok { 
                match => { "message" => ".EventTime\W+(?<EventTime>\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}).+?Hostname\W+(?<HostName>\w+).+?EventID\W+(?<EventID>\d+).+?Message\W+(?<MSG>[^"]+).+" }
         }
         date {
                match => [ "EventTime", "YYYY-MM-dd HH:mm:ss" ]        #로그 수집 시간을 실제 로그 발생 시간으로 지정
         } 
}
output {
         elasticsearch { hosts => [ "localhost:9200" ] 
         index => "event_log"
         }
         stdout { codec => rubydebug }        #로그 전송 과정 디버깅
}