Hadoop-3.0과 Erasure Coding 편집증

안녕하세요. 오늘은 하둡3.0과 Erasure Coding에 대하여 얘기를 하고자 합니다. 저희 회사에서도 시스템 로그 및 유저 액티비티 로그들을 적재 할 공용 저장소 시스템을 구축 할 필요가 있게 되어서, 하둡을 사용하게 되었습니다. 아직 하둡 알파버전이지만, 3.0 버전에 대한 내용을 접한 곳은 홍태희님의  "업그레이드를 부르는 Hadoop 3.0 신규 기능

[개발 바보들]엑셀의 분석도구를 이용한 간단한 선형 회귀분석 실습

안녕하세요. 개발바보들의 alex가 선형회귀 분석을 엑셀로 실습한 예를 올린 글을 공유 합니다. 원본글 : 엑셀의 분석도구를 이용한 간단한 선형 회귀분석 실습 선형 회귀분석(Linear Regression)은 머신러닝을 공부할때 가장 첫번째 배우는 예측분석 모델입니다. 머신러닝 또는 딥러닝을 배우는 입장에서는 처음에 Python, Tensorflow, Keras, R, Matlab 등의 낯선 학습환경을 본인의 PC에 구성해서 하게

애자일이 중요한 것이 아니다!

간만에 네트워크 환경이 쾌적한 한국에 들른 김에 쓴 글이다. 흥행을 바라는 마음에 다소 자극적인 제목을 썼다. 요즘 애자일Agile은 한물간 키워드이긴 하지만, 그래도 실제로 겪은 바를 토대로 내 이야기를 하면 노력하는 실천가들에게는 조금이나마 도움이 되지 않을까 싶다.   2008년 첫 경험 PM프로젝트 관리자는 2008년 첫 경험을 했다. 그전까지 컨설턴트로 조언을 하거나 감시자

Beego (Go application framework) 초간단 사용 소감

최근 개발하고 있는 서비스에서는 .NET, Java, Rails 등 다양한 개발 언어와 플랫폼을 사용하고 있지만 그 중에 가장 많이 사용하고 있는 언어는 Go  입니다. Go로 주로 API 서버를 개발하고 화면은 React 를 사용하고 있는 구성입니다. 이런 구성에서 아쉬운 점은 서비스 운영을 위한 관리화면을 쉽게 만들지 못해 대부분 개발자들이 직접 DB Workbench를

[YOLO DARKNET] 구성 및 설치, 사용방법

이번 포스팅에서는 딥러닝 프레임워크 중, Real Time Detection & Recognition으로 유명한 YOLO Darknet(번역) (논문 원본)의 구성, 설치 및 사용방법에 대해서 포스팅하겠습니다. YOLO Darknet 페이지(https://pjreddie.com/darknet/yolo/) 를 확인하시면, 조금 더 자세한 정보를 확인할 수 있습니다. Pre - requirement 1. OpenCV 2.4.XX 2. CUDA Install

[Tip] git commit 메시지에 #이슈번호 형태로 쓰기

git 사용시 commit 메시지에 "#<이슈번호>" 형태와 같이 사용하면 웹 화면 등에서 커밋로그 목록에서 자동으로 이슈에 링크를 걸어주는 서비스들이 많이 있습니다. 하지만 commit 로그를 vi 에디터를 이용하여 작성하는 경우 다음 화면과 같이 나타납니다. 여기서 #123 과 같이 입력하면 첫글자가 #(주석문자)로 시작하기 때문에 작성한 commit 로그가 저장되지

[개발바보]챗봇 프로젝트를 하면서 알게 된 사실들

프로젝트에 치여 오랜만에 글을 올립니다. 원본글은 다음에 있습니다. 개발바보들 - 챗봇 프로젝트를 하면서 알게 된 사실들 최근 급하게 프로젝트에 두달간 투입이 되면서 블로그 포스팅을 할 여유가 전혀 없었다. 좀 반성하는 차에 진행한 프로젝트에서 얻은 인사이트를 공유하고자 한다. 1. 챗봇을 위한 디자인 원칙들이 속속 나오고 있다. 어떤 절대적인 가이드라인은 사실 없기 때문에

Spark2.0 New Features(1) DataSet

Spark 2.0 New Feature 중심으로 살펴보기 Spark2.0으로 업그레이드 되면서 이전 버전보다 좀 더 단순해지고 성능 개선을 위해 노력한 부분이 많이 있다. 이번 시리즈에서는 DataFrame API의 확장형인 type-safe한 Dataset에 대해 살펴 보려고 한다.  이미 Spark1.6에서 alpha버전이 소개된바 있다. Spark 데이터 구조 파악하기 * RDD * DataFrame(Spark 1.X

4th Druid Meetup 안내

6/8일 4번째 드루이드(Druid) 밋업 일정이 잡혀서 공유드립니다. 드루이드는 컬럼형 분산 데이터베이스 중 하나로 뛰어난 성능을 바탕으로 최근 활용사례가 늘어나고 있는 상황입니다. SKT 에서 드루이드를 기반으로 많은 프로젝트가 진행되고 있으며, 이에 대한 기술 소개 및 적용 사례 등이 공유될 예정입니다. 4th Druid Meetup * Schedule (순서 및 내용은 변경 될

[혀로그래머 charsyam은 구라쟁이 #2] 캐시 멤캐시나 레디스 쓰세요. 쉬워요

안녕하세요. 혀로그래머이자 구라쟁이 charsyam 입니다. 오늘은 지난 1편 [혀로그래머 charsyam은 구라쟁이 #1] 샤딩은 쉬워요 샤딩하세요. 의 뒤를 이은 2편 "캐시 멤캐시나 레디스 쓰세요. 쉬워요" 편입니다. 일단 캐시를 왜 쓰는걸까요? 캐시라는 의미는 원래는 연산이 오래 걸리는 작업이나, 레이턴시가 긴곳에서 뭔가 가져와야 할때, 그 시간을 위해서 보다 빠른 저장 장치나,

[혀로그래머 charsyam은 구라쟁이 #1] 샤딩은 쉬워요 샤딩하세요.

안녕하세요. 혀로그래머!!! charsyam 입니다.  민방위 훈련을 받다가, 나처럼 실력 없는 개발자는 스스로 갈궈야 한다라는 생각이 들어서, 스스로를 비판하고 까기 위한 글을 쓰기로 했습니다. 원래 제가 발표하는 주 대상이 주로 개발 경험이 많이 없는 학생, 주니어들을 대상으로 하다보니, 많은 구라를 포함하고 있습니다.(제가 발표때 마다 호구(?) 조사를 빙자해서 학력/경력을 물어보는

벤치마크 Apache Hive와 Druid를 통한 sub-second 분석 -2편

지난 Ultra-빠른 OLAP분석 시리즈 2편이 블로깅 되어 Ultra-빠르게 요약해 보았다. 이번 글에서는 Apache Hive와 연동된 Druid를 이용하여 초 단위 미만 분석을 수행한 결과를 리포팅하고 있다. 1TB의 OLAP데이터에 대한 벤치마크 결과는 다음과 같다. 평균 쿼리 응답 시간은 1초 미만이다. Star-schema Benchmark또는 SSB Benchmark는 기존의 데이터웨어 하우스의 응용 프로그램을