은전한닢 설치 완전정복

개요 멜론에서는 최근 5.2.0 버전에서 ES 5.4.3 버전으로 검색 클러스터와 분석 클러스터를 업그레이드 하였습니다. 꼭 최신버전을 반드시 써야겠다라는 것 보다는 특별히 필요한 feature 패치나 bug 패치가 없는한 이 버전으로 운영 및 경험치를 쌓으려고 노력하고 있습니다. (다만, 최근 키바나 쪽 에서 새로운 feature들이 빠르게 증가되고 있어 분석

Search Guard로 ES, 키바나 인증 구축

개요 멜론에서 ES, Kibana를 통한 통계시스템을 구축하고 있습니다. 다양한 내부사용자가 키바나를 사용할 예정이라 인증 및 권한 컨트롤에 대해 고민하고 찾아보게 되었습니다. 따라서 ES의 데이터를 및 키바나 사용권한을 컨트롤 할 수 있는 무료 오픈소스 플러그인 살펴보았습니다. Search Guard란? x-pack이 모니터링을 제외하고 유료 라이센스 이기 때문에 ELK 스택을 사용하는 사용자들 사이에서

Corsera Machine Learning으로 기계학습 배우기 : week1

개요 알파고 등장 이후 시점으로 거의 대부분의 IT 기업에서 AI 그중에서도 머신러닝에 관심을 보이는 것을 어렵지않게 확인 할 수 있습니다. 그러나 이러한 트렌드에 맞추어 공부를 하기에는 막막하기도 하고 수학공식들에 압도당하기도 합니다. 2년 전쯤 인터넷에 유행했던 수학을 포기한 직업 프로그래머가 머신러닝 학습을 시작하기위한 학습법 글을 보면 Andrew. NG 교수의 코세라 머신러닝

엘라스틱서치에서 x-pack을 이용하여 ldap 연동하기

개요 키바나를 사용하면 권한을 달리 하여 조회해야 할 필요성이 있습니다.결국 키바나 및 ES에 "인증"에 대한 authentication과 authorization 기능이 필요합니다. 이때 authentication을 매 시스템마다 늘리면 나중에 관리 포인트가 늘어나므로 기존에 존재하는 LDAP과 연동하는 기능을 알아보고 내용 정리하여 공유 합니다. x-pack을 이용하여 자체인증 붙이기에 이어 LDAP 연동

[삽질기] MySQL 밀리세컨드 저장 및 Go ORM에서 처리

중국내 1위 쇼핑몰인 TMall API를 이용하여 매출 데이터를 정산하는 서비스를 만들고 있습니다. 이 API를 호출하기 위해 시간 범위를 입력하게 되는데 이때 이전 작업 시간 이후 부터 처리하기 위해 이전 처리 시간을 DB에 저장하고 이를 이용하여 다음번 호출하는 형태로 만들고 있습니다. 이 서비스 개발중에 밀리세컨드 처리와 관련하여 삽질한 내용을 공유합니다. MySQL의

[개발 바보들]엑셀의 분석도구를 이용한 간단한 선형 회귀분석 실습

안녕하세요. 개발바보들의 alex가 선형회귀 분석을 엑셀로 실습한 예를 올린 글을 공유 합니다. 원본글 : 엑셀의 분석도구를 이용한 간단한 선형 회귀분석 실습 선형 회귀분석(Linear Regression)은 머신러닝을 공부할때 가장 첫번째 배우는 예측분석 모델입니다. 머신러닝 또는 딥러닝을 배우는 입장에서는 처음에 Python, Tensorflow, Keras, R, Matlab 등의 낯선 학습환경을 본인의 PC에 구성해서 하게

애자일이 중요한 것이 아니다!

간만에 네트워크 환경이 쾌적한 한국에 들른 김에 쓴 글이다. 흥행을 바라는 마음에 다소 자극적인 제목을 썼다. 요즘 애자일Agile은 한물간 키워드이긴 하지만, 그래도 실제로 겪은 바를 토대로 내 이야기를 하면 노력하는 실천가들에게는 조금이나마 도움이 되지 않을까 싶다.   2008년 첫 경험 PM프로젝트 관리자는 2008년 첫 경험을 했다. 그전까지 컨설턴트로 조언을 하거나 감시자

Beego (Go application framework) 초간단 사용 소감

최근 개발하고 있는 서비스에서는 .NET, Java, Rails 등 다양한 개발 언어와 플랫폼을 사용하고 있지만 그 중에 가장 많이 사용하고 있는 언어는 Go  입니다. Go로 주로 API 서버를 개발하고 화면은 React 를 사용하고 있는 구성입니다. 이런 구성에서 아쉬운 점은 서비스 운영을 위한 관리화면을 쉽게 만들지 못해 대부분 개발자들이 직접 DB Workbench를

[YOLO DARKNET] 구성 및 설치, 사용방법

이번 포스팅에서는 딥러닝 프레임워크 중, Real Time Detection & Recognition으로 유명한 YOLO Darknet(번역) (논문 원본)의 구성, 설치 및 사용방법에 대해서 포스팅하겠습니다. YOLO Darknet 페이지(https://pjreddie.com/darknet/yolo/) 를 확인하시면, 조금 더 자세한 정보를 확인할 수 있습니다. Pre - requirement 1. OpenCV 2.4.XX 2. CUDA Install

[Tip] git commit 메시지에 #이슈번호 형태로 쓰기

git 사용시 commit 메시지에 "#<이슈번호>" 형태와 같이 사용하면 웹 화면 등에서 커밋로그 목록에서 자동으로 이슈에 링크를 걸어주는 서비스들이 많이 있습니다. 하지만 commit 로그를 vi 에디터를 이용하여 작성하는 경우 다음 화면과 같이 나타납니다. 여기서 #123 과 같이 입력하면 첫글자가 #(주석문자)로 시작하기 때문에 작성한 commit 로그가 저장되지

[개발바보]챗봇 프로젝트를 하면서 알게 된 사실들

프로젝트에 치여 오랜만에 글을 올립니다. 원본글은 다음에 있습니다. 개발바보들 - 챗봇 프로젝트를 하면서 알게 된 사실들 최근 급하게 프로젝트에 두달간 투입이 되면서 블로그 포스팅을 할 여유가 전혀 없었다. 좀 반성하는 차에 진행한 프로젝트에서 얻은 인사이트를 공유하고자 한다. 1. 챗봇을 위한 디자인 원칙들이 속속 나오고 있다. 어떤 절대적인 가이드라인은 사실 없기 때문에

Spark2.0 New Features(1) DataSet

Spark 2.0 New Feature 중심으로 살펴보기 Spark2.0으로 업그레이드 되면서 이전 버전보다 좀 더 단순해지고 성능 개선을 위해 노력한 부분이 많이 있다. 이번 시리즈에서는 DataFrame API의 확장형인 type-safe한 Dataset에 대해 살펴 보려고 한다.  이미 Spark1.6에서 alpha버전이 소개된바 있다. Spark 데이터 구조 파악하기 * RDD * DataFrame(Spark 1.X