데이터 분석에 필요한 자질은 뭘까?

빅데이터가 대세 키워드였던 몇 년 전까지만 해도 하둡 등의 인프라가 모든 것을 해결해줄 듯한 분위기였다면, 알파고 이후엔 수학 및 통계학, 그리고 그런 지식에 기반한 모델링 능력이 필수 자질로 꼽히는 세상이 되었다.

광고, 추천, 번역, 금융 등 많은 분야에서 그런 자질을 요구한다. 열거한 분야들의 공통점은 최종 목적이 결국 돈이라는 것. 돈을 벌기 위해서는 사람의 심리나 행동을 예측해야 한다. 절대 쉽지 않은 작업. 아마 작두 타는 수준의 분석 능력이 필요할 것이다. 복잡한 수학/통계 지식의 필요성에 수긍이 가는 대목.­불행히도 돈 버는 데 큰 도움이 안 되는컴퓨터의 상태를 보안 관점에서 분석하는 분야에서 수학/통계 지식은 별로 필요 없다. 컴퓨터에 기록된 데이터 개수를 세는 정도의 산수 실력으로도 분석이 됨. 불행 중 다행?

이 날 무슨 일 생긴 것 같은데?

기업이 겪고 있는 문제 가운데 머신러닝이 최고의 해결책이 되는 경우는 극히 일부다. 대부분은 좋은 데이터와 그 데이터가 의미하는 바만 이해하면 해결된다... SQL 쿼리로 데이터를 얻고, 백분위나 차이점 계산과 같은 기본적인 연산, 결과 그래프화, 결과 해석 혹은 개선사항 작성 등 간단한 방법을 추천한다

이런 분야에서는 그저 좋은 데이터를 얻으려는 노력, 그 데이터를 이해하려는 노력이면 충분하다. 그때 필요한 게 데이터에 대한 호기심과 도전 정신.

아주 똑똑한 학생이나 엔지니어도 자신이 만지는 데이터에 대해 놀라울 정도로 호기심을 보이지 않는 경우가 많다. 대부분 뭘 궁금해해야 하는지를 모른다. 데이터를 그냥 가로 세로 줄 맞춘 다음 블랙박스 모델에 집어넣으면 첨단 알고리즘이 알아서 해줄 것이라 기대한다. 당연히 실패한다!

상대에 대한 호기심이 결여된 연애는 성공하기 어려우며, 나아가 상대를 귀찮아하거나 두려워한다면 그 연애는 아예 시작조차 할 수 없다. ­데이터도 마찬가지궁금하지도 않고, 심지어 귀찮거나 마주하기 두려운 데이터를 잘 분석할 수 있는 방법은 없다. 강의 현장에서 수강생이 데이터에 대한 근본적 호기심이나 도전 정신을 지녔는지 짐작해볼 수 있는 방법이 하나 있다. 바로 에러 로그를 바라보는 태도.대부분의 에러 로그는 에러 발생 원인을 알려준다. 로그를 읽으면 에러를 해결할 수 있다는 얘기. 읽어봐도 모르겠으면 구글신에게 물어봐도 된다. 그런데 아예 읽어보려는 시도를 하지 않는다면?에러 로그 역시 컴퓨터에서 발생한 데이터. 평소 주변의 데이터에 관심을 준 적은 없지만, 어느 날 갑자기 데이터 분석을 잘 하게 되는 매직이 일어날 수 있을까?

한글 에러조차 보기 싫다면? 분명 적성에 맞는 다른 분야가 있을 거에요...

나 역시 에러 로그는 외면하고 싶다. 모든 에러가 해결된 시스템과 데이터로 작업하고 싶다. 하지만 (내 밑에 아무도 없음) 데이터가 궁금하기 때문에 꾸역꾸역 에러를 읽고 해결 방법을 찾는다. 그리고 그 과정은 데이터 노가다에 익숙해지는 훈련이 되어준다. ­나가며전문가처럼 보이는 가장 쉬운 방법은 새로운 용어를 쓰는 것이란 말이 있다. 과거 어느 보안 전문 출판사 임원은 IDS가 주제인 내 책에 DPI나 UTM 등의 용어가 등장하지 않는 구식 기술책이란 평을 하더라. 이상과 현실은 다를 수 있다는 얘기. SQL보다 텐서플로우, 데이터보다 모델링의 보상이 더 나은 이유는 새로운 기술이기 때문이다.

모두 모델링을 하고 싶어하고 데이터 작업은 피해요

컴퓨팅 비용이 얼마가 증가하든 나쁜 룰을 방치한 채 IDS를 흉내내는 AI나 도메인 지식이 반영된 구체적 상태 정의 등의 전처리 과정이 빠진 이상징후 분석에 문제를 제기하기도 어렵다.

Doc2Vec을 사용한 사용자 행동패턴 표현과 이상탐지

개인적으로는 '닭 잡는 데 소 잡는 칼을 쓴다'는 느낌을 지우기 힘들지만, 뭘 잡아도 돈이 안 된다면 칼춤이라도 춰야 돈 쓰는 사람이 만족할테니까. 이런 상황에서도 좋은 데이터를 얻고 싶다면, 그 과정에서 발생하는 온갖 실패 과정을 즐겁게 버텨내고 싶다면 방법은 결국 궁금한 데이터를 만나는 것뿐 아닐까?