elasticsearch

엘라스틱서치에서 원본 데이터 추출하기

엘라스틱서치에서 원본 데이터 추출하기

엘라스틱서치에서 원본 데이터를 추출해보자. 그런데 원본 추출 관련 메뉴가 안 보이네? 이리저리 찾아보다 포기(..) 엘라스틱서치는 집계된 데이터의 추출만을 지원하는 듯 하다. 결국 구글신께 문의. 요즘 구글신은 한국말도 잘해서 너무 좋다. 다음은 원본 추출을 위한 Logstash 설정. input {  elasticsearch {   hosts => "localhost:9200"   index => "logstash-weblog"

By 강 명훈
은전한닢 설치 완전정복

은전한닢 설치 완전정복

개요 멜론에서는 최근 5.2.0 버전에서 ES 5.4.3 버전으로 검색 클러스터와 분석 클러스터를 업그레이드 하였습니다. 꼭 최신버전을 반드시 써야겠다라는 것 보다는 특별히 필요한 feature 패치나 bug 패치가 없는한 이 버전으로 운영 및 경험치를 쌓으려고 노력하고 있습니다. (다만, 최근 키바나 쪽 에서 새로운 feature들이 빠르게 증가되고 있어 분석

By 광식 이
Search Guard로 ES, 키바나 인증 구축

Search Guard로 ES, 키바나 인증 구축

개요 멜론에서 ES, Kibana를 통한 통계시스템을 구축하고 있습니다. 다양한 내부사용자가 키바나를 사용할 예정이라 인증 및 권한 컨트롤에 대해 고민하고 찾아보게 되었습니다. 따라서 ES의 데이터를 및 키바나 사용권한을 컨트롤 할 수 있는 무료 오픈소스 플러그인 살펴보았습니다. Search Guard란? x-pack이 모니터링을 제외하고 유료 라이센스 이기 때문에 ELK 스택을 사용하는 사용자들 사이에서

By 광식 이
엘라스틱서치에서 x-pack을 이용하여 ldap 연동하기

엘라스틱서치에서 x-pack을 이용하여 ldap 연동하기

개요 키바나를 사용하면 권한을 달리 하여 조회해야 할 필요성이 있습니다.결국 키바나 및 ES에 "인증"에 대한 authentication과 authorization 기능이 필요합니다. 이때 authentication을 매 시스템마다 늘리면 나중에 관리 포인트가 늘어나므로 기존에 존재하는 LDAP과 연동하는 기능을 알아보고 내용 정리하여 공유 합니다. x-pack을 이용하여 자체인증 붙이기에 이어 LDAP 연동

By 광식 이

엘라스틱서치(ES) 클러스터 재시작 혹은 업그레이드 Tip

개요 ES를 운영하다보면 버전 업그레이드나 플러그인 설치 혹은 elasticsearch.yml 변경으로 인해 노드들을 재시작 할 필요성이 있다. 상용환경에서 ES를 운영하면 클러스터에 속한 노드가 2대 이상일 가능성이 있고 이 클러스터가 상용 트래픽을 받으며 재시작을 하려면 순차적 재시작(Rolling Restart)를 수행해야 한다. 이때 유의할 점을 TODO 리스트로 정리하여 포스팅 한다. 아래

By 광식 이
x-pack을 이용하여 엘라스틱서치와 키바나에 인증 적용하기

x-pack을 이용하여 엘라스틱서치와 키바나에 인증 적용하기

개요 엘라스틱서치/키바나를 사용하며 인증(authentication)을 적용해야 하는 필요성을 느꼈습니다. 그래서 방법을 모색 후 ES 5.x 이상 버전에서 적용 가능한 인증 적용 방법을 정리하여 공유합니다. 아래의 방법은 개인목적이나 소규모의 ES 사용환경에서는 사용할만 할듯 합니다. 중대규모 클러스터나 상용 환경은 관리 측면이나 성능 저하가 없는지 등을 고려해봐야 할듯 합니다. 결론

By 광식 이
엘라스틱서치(ES) 구동과정 소스코드 살펴보기

엘라스틱서치(ES) 구동과정 소스코드 살펴보기

개요 해당 글은 엘라스틱서치(이하 ES)가 어떻게 구동이 되는지 소스코드 레벨에서 따라가 보는것을 목적으로 합니다. ES 소스에 대한 궁금증을 해결하고 오픈소스 코드를 분석을 하여 실력을 늘리는데 목적이 있습니다. 아래 포스팅을 * 오픈소스 코드분석 Tip은 김형준님이 쓰신 오픈소스: 코드 분석 어떻게 하나? 포스팅 참고 부탁 드립니다. * 해당 포스팅은 엘라스틱서치(ES)를

By 광식 이
엘라스틱서치(ES)를 IDE에서 띄어보자!

엘라스틱서치(ES)를 IDE에서 띄어보자!

엘라스틱서치(이하 ES)를 회사에서 사용하고 공부하며 조금 더 심도있게 소스를 들여다 보고 싶다는 생각이 들었습니다. 이 생각이 확장되어 오픈소스를 분석하면서 실제로 동작이 맞는지 확인해보고자 로컬에서 ES를 띄워야겠다고 이어졌습니다. (오픈소스 분석방법에도 나와있는 내용을 동감합니다.) 이 과정에서 ES를 로컬에서 효율적으로 띄우는 방법을 정리하여 포스팅 합니다. Gradle 2.13 설치 ES 공식

By 광식 이