Popit (Page 41)

제일 쉬운 로그 분석

popit에 처음 글 올립니다. 저는 주로 IDS 등 네트워크 보안장비 로그 분석하는 일을 해왔구요. 앞으로 로그 분석이나 보안 관련된 개인적인 경험을 풀어볼까 합니다. 첫번째 주제는 '보안 분야의 로그 분석에 대한 인식'입니다. 지적 많이 해주시구요. 편의상 경어는 생략합니다. 어느 기관 강의하러 갔다가 생긴 일 좀 높으신 듯한 분과

kubernetes wc[defunct] 프로세스 버그 관련

현재 운영하는 서비스가 kubernetes 기반으로 운영되고 있는데 최근 예상하지 못한 장애 상황이 발생하여 조치한 내용을 공유해 드립니다. 장애 상황 * docker container가 운영되고 있는 서버에서 모든 명령(top 등) 수행시 다음과 같은 에러 메시지가 출력됨 "resource temporarily unavailable" * /var/log/syslogs 에도 동일한 메시지가 많이 나타남 * 각 docker container는

Kafka 운영자가 말하는 Topic Replication

이번 글에서는 kafka에서 사용하는 replication에 대해 알아보도록 하겠습니다. 예전부터 해당 내용에 대해 정리해서 글을 올리려고 했었는데, 생각보다 많이 늦어졌습니다. kafka에 대한 예전 글들도 있으니 참고하시면 좋을 것 같습니다. Kafka 운영자가 말하는 처음 접하는 Kafka Kafka 운영자가 말하는 Kafka Consumer Group Kafka 운영자가 말하는 Producer ACKS Kafka 운영자가 말하는 Kafka 서버

Coursera Machine Learning으로 기계학습 배우기 : week2

개요 지난 시간에 이어 Coursera Machine Learning으로 기계학습 배우기 : week2 정리를 진행한다. 목차 해당 포스팅은 연재글로써 지난 연재는 아래의 링크를 참고한다. * Coursera Machine Learning으로 기계학습 배우기 : week1 글을 읽기에 앞서… * 본글은 필자가 코세라 기계학습을 공부를 하는 과정에서 개념을 확고히 정리하기 위하는데 목적이 있다. (필자가 나중에 내용을 다시 찾아보기 위한 목적이

[딮러닝/영상처리] Convolution & Correlation 이해하기

CNN과 영상처리에 대해서 공부하면서, Convolution에 대한 내용을 정리한 내용입니다. 제가 잘못 이해하고 있는 부분에 대해서는 언제든지 지적해주시면 감사하겠습니다. 1. Convolution & Correlation 1-1. Convolution, 합성곱 위키피디아에서 Convolution(영문)을 찾아보면 보면 정의는 다음과 같이 되어있습니다. - 1D Convolution - 2D Convolution 1-2. Correlation, 상관분석 수식 정의는 다음과 같습니다. - 1D Correlation

은전한닢 설치 완전정복

개요 멜론에서는 최근 5.2.0 버전에서 ES 5.4.3 버전으로 검색 클러스터와 분석 클러스터를 업그레이드 하였습니다. 꼭 최신버전을 반드시 써야겠다라는 것 보다는 특별히 필요한 feature 패치나 bug 패치가 없는한 이 버전으로 운영 및 경험치를 쌓으려고 노력하고 있습니다. (다만, 최근 키바나 쪽 에서 새로운 feature들이 빠르게 증가되고 있어 분석

Search Guard로 ES, 키바나 인증 구축

개요 멜론에서 ES, Kibana를 통한 통계시스템을 구축하고 있습니다. 다양한 내부사용자가 키바나를 사용할 예정이라 인증 및 권한 컨트롤에 대해 고민하고 찾아보게 되었습니다. 따라서 ES의 데이터를 및 키바나 사용권한을 컨트롤 할 수 있는 무료 오픈소스 플러그인 살펴보았습니다. Search Guard란? x-pack이 모니터링을 제외하고 유료 라이센스 이기 때문에 ELK 스택을 사용하는 사용자들 사이에서

쇼미더머니: 실리콘밸리 에디션

올해에도 쇼미더머니가 돌아왔다. 어김없이 쇼미더머니가 불러온 왜곡된 힙합문화에 대한 우려와 비판이 제기되면서도 역대 최고급 프로듀서진을 앞세워 또한번 흥행몰이를 예고하고 있다. 돈과 명예를 위해 아티스트들을 경쟁 앞에 줄세우는 가혹한 프로그렘이라고 비판하면서도 몰래 출연을 결심한 래퍼들의 사연을 볼 때마다 우리의 모습이 아른거리는 건 나뿐인가? 게임의 법칙: 돈과 명예 미국 실리콘밸리는 엔지니어들의 쇼미더머니

Corsera Machine Learning으로 기계학습 배우기 : week1

개요 알파고 등장 이후 시점으로 거의 대부분의 IT 기업에서 AI 그중에서도 머신러닝에 관심을 보이는 것을 어렵지않게 확인 할 수 있습니다. 그러나 이러한 트렌드에 맞추어 공부를 하기에는 막막하기도 하고 수학공식들에 압도당하기도 합니다. 2년 전쯤 인터넷에 유행했던 수학을 포기한 직업 프로그래머가 머신러닝 학습을 시작하기위한 학습법 글을 보면 Andrew. NG 교수의 코세라 머신러닝

엘라스틱서치에서 x-pack을 이용하여 ldap 연동하기

개요 키바나를 사용하면 권한을 달리 하여 조회해야 할 필요성이 있습니다.결국 키바나 및 ES에 "인증"에 대한 authentication과 authorization 기능이 필요합니다. 이때 authentication을 매 시스템마다 늘리면 나중에 관리 포인트가 늘어나므로 기존에 존재하는 LDAP과 연동하는 기능을 알아보고 내용 정리하여 공유 합니다. x-pack을 이용하여 자체인증 붙이기에 이어 LDAP 연동

[삽질기] MySQL 밀리세컨드 저장 및 Go ORM에서 처리

중국내 1위 쇼핑몰인 TMall API를 이용하여 매출 데이터를 정산하는 서비스를 만들고 있습니다. 이 API를 호출하기 위해 시간 범위를 입력하게 되는데 이때 이전 작업 시간 이후 부터 처리하기 위해 이전 처리 시간을 DB에 저장하고 이를 이용하여 다음번 호출하는 형태로 만들고 있습니다. 이 서비스 개발중에 밀리세컨드 처리와 관련하여 삽질한 내용을 공유합니다. MySQL의

4th Druid Meetup 참석 후기

6/8일(목) 19시부터 늦은 밤까지 4th Druid Meetup 이 강남역 근처에서 열렸습니다(게으름병으로 이제서야 후기를...^^;). 당초 토즈 강남점에서 행사가 진행될 예정이었으나, 예상보다 많은 참가 신청자 분들로 인해 좀더 넓은 장소로 옴겨서 행사가 개최되었습니다. 빈자리 없이 꽉 매워진 자리와 함께 진행된 행사 모습 입니다. Session 1. SQL on Druid (정유선

Latest