엑셀

엑셀에서 Distinct Count 구하기

이리저리 조립과 해체를 반복하면서 데이터랑 친해지는 데 엑셀만한 게 없지. 그래서 웬만한 분석은 여전히 엑셀로 한다. 다음은 피벗 테이블을 이용한 사용자 접속 발생 추이. 시간당 최대 접속치는 9000을 넘는다. 이 수치로 알 수 있는 건 무엇일까? 한 명이 9000번 접속? 아니면 9000명이 한 번씩 접속? 해당 그래프는 접속자 ip 개수를

생산성

메일과 두레이를 이용한 협업 파이프라인 구축

같은 제목의 기사가 HBR 한글판에 올라왔다. 유료 매체이니 관심있는 분들은 찾아서 읽어 보시길 바란다. 필자는 이 글에 매우 공감하는 입장이지만, 이미 오랜시간 스스로의 방법으로 이메일로 소비하는 시간을 줄여 왔다. 그래서, 기사 제목과 저자가 말하는 핵심 메시지만 빌리고, 평소 나의 활용법을 저자가 주장하는 방식에 대한 구체적인 한 가지 실천 방법으로 공유하려고

ShedLock을 이용한 Master - Slave (primary - secondary, leader - follower) 구분 없는 스케줄러 만들기

스케줄을 처리하는 인스턴스 A와 B가 떠 있을때, 별도의 Master - Slave 구분 없이 둘 중 하나의 인스턴스가 처리하도록 하려면 어떻게 해야 할까요? 어쩔때는 A 가 돌고, 어쩔때는 B 가 돌고... A 가 죽어도 알아서 B 가 돌고 하는 구성을 만들고 싶을때 말이죠. 이런 고민을 하다가 얼마전 발견한 라이브러리 입니다. https://github.

mysql

(경) MySQL 전방탐색 지원 (축)

MySQL은 POSIX 기반 정규표현식을 지원한다. 전방탐색 등의 고오급 기능을 지원하지 않는다는 얘기. 그래서 문제 발생. 다음은 SNORT DB에서 특정 탐지로그를 발생시킨 패킷 페이로드 조회 결과. 해당 로그를 텍스트로 옮기면 빈 줄 포함, 총 5개의 줄로 구성되어 있다. 줄바꿈 문자(0D0A)가 반영된 결과. 이게 왜 문제냐면 한 줄 단위가 아니기

VIM 스크립트 사용기

'|' 기호를 이용해서 발생시간, 출발지, 목적지, 출발지포트, 목적지포트, 공격명, 원본로그 필드를 구분하는 로그가 있다. 자고로 로그는 테이블 구조에 우겨 넣어서 분석해야 제 맛. 그런데 원본로그 필드가 3개로 나눠졌네? 로그를 다시 보니 OR 연산자로 사용된 '||' 기호가 확인된다. 결과적으로 원본로그가 3개 필드로 쪼개짐. 옛날 생각이 난다 처음 로그를 필드별로

Qt 입문자 및 Qt for Python을 위한 작은 소개

안녕하세요. 반갑습니다. j2doll(aka Jay Two) 입니다.   이 글에서는 Qt 입문자 및 Qt for Python을 위한 작은 소개를 적을 예정입니다. 또한 첫 글에 대한 운영자님의 촌철 리뷰를 반영하여 글을 약간 자세히 적어보도록 하겠습니다. ^^;   제가 Qt를 상업용 프로젝트에 적용한지는 십여년 정도 된 것 같습니다. 그동안 반추해 보면 개발자들이 Qt를 개발 프레임워크(

IntelliJ 사용팁

그동안 개인 블로그에만 포스팅을 해왔던 인텔리제이의 기능 중에서 가장 많이 사용하는 기능들을 한 번 더 정리했습니다. 이전 포스팅 내용은 GitHub에서 확인할 수 있습니다. 인텔리제이 리팩토링 기능 인텔리제이의 리팩토링 기능을 이용해서 비교적 쉽게 리팩토링을 할 수 있습니다. 대표적인 리팩토링 기능들을 하나 하나 천천히 살펴 보도록 하겠습니다. 해당 기능의 단축키는 스크린샷 하단

URL, HEX, BASE64 디코딩

트래픽을 분석하다 보면 종종 URL, HEX, BASE64 디코딩이 필요할 때가 있는데, 인터넷에는 관련 서비스를 제공해주는 고마운 분들이 정말 많다. 그런데 인터넷이 안 된다면? 이럴 때 LogParser를 사용하면 매우 편하다. 간단히 소개하자면 텍스트 기반 로그 및 윈도우 이벤트 로그 등을 별도의 전처리를 하지 않고도 SQL로 분석할 수 있게 해주는 정말 기똥찬

golang

Go언어에서 Context 사용하기

Go에는 다른 대중적인 언어와 다른 개념들이 좀 있다. 1. 클래스를 과감히 빼버렸고 (그래서 상속이 없다) 2. Exception이란 것도 없다 (예외 상황 자체를 허용하지 않겠다는 의지인가? 멋있어 보일진 몰라도 솔직히 불편하다. ㅠㅠ 궁시렁 궁시렁…) 3. 고루틴과 채널을 이용한 병행처리 모델도 친숙한 개념은 아니다 여기에 한 가지 더 보태자면, Context란 녀석이다. 처음

grok 필터 성능 테스트

로그 분석을 데이터 분석 수준으로 끌어올리려면 원시로그 덩어리를 필드별 고유성이 확보된 테이블 구조로 바꿔야 하는데, 이때 grok 필터의 역할은 독보적이다. 한가지 단점이라면 정규표현식을 이용하기 때문에 성능이 저하될 수 있다는 것. grok 필터는 로그스태시 필터링 성능에 얼마나 영향을 끼칠까? 윈도우8, i5(CPU), 8GB(Memory), SSD(mSATA) 사용 환경에서 아파치 웹로그 백만

IntelliJ 의 JShell Console 을 활용하자

최근에 Java 를 실무에 사용하면서 JShell 이 있어서 참 다행이라고 생각하고 있다. IntelliJ 가 JShell Console 이라는 기능으로 툴 안에서 JShell 을 연동해주고 있어서 더 편리하게 사용하고 있는데 이번 글에서는 JShell 에 대한 간단한 소개와 유용함을 알아보자. 이 글은 macOS 를 기준으로 하며 다음의 내용을 다룬다. 1. JShell 에 대한

[개요] 아파치 하둡 3.1.0

여는 글 최근 아파치 하둡 3.1.0의 출시로 HDFS 의 Erasuere Coding 외에 분산 자원 관리자인 YARN에 특히 실용적인 기능들이 적용되었는데, 어떠한 기능들인지 차근차근 소개하겠습니다. 먼저, 공식 사이트에 게시 된 개요로부터 시작 하겠습니다. 개요 이 글에서는 주요 변경 사항에 대한 간략한 개요를 제공합니다. * YARN 기반에서 장기 실행 서비스들을 native와