하루에 한권씩 무료 e-Book 다운로드를 받자

오늘은 하루에 한번씩 무료 e-Book 을 다운로드 받을 수 있는 사이트를 소개해 드리려 합니다. 바로 Packt 이라는 사이트 인데요, 아래 주소에서 무료  e-Book 을 하루에 하나씩 다운로드 하실 수 있습니다. https://www.packtpub.com/packt/offers/free-learning 다운로드를 받기 위해서 회원가입이 필요하며, 위 그림에서 처럼 그날 받을

InfluxDB, Telegraf, Grafana 를 활용한 Monitoring System 만들기(1)

모니터링 관련하여 많은 오픈소스 솔루션이 있지만 만족스러운 솔루션을 찾기 어려운 것도 사실입니다.개인적으로는 다음과 같은 점을 기대했는데... * 보고 싶은 지표만 모아볼 수 있도록 커스터마이징이 유연할 것 * 다양한 지표 수집이 가능할 것 (system, database, network..) * 수집, 저장, 조회 성능이 좋을 것 (실시간 모니터링이 가능 할 것) * 설정이 간편할 것 * 이쁠 것

멜론 빅데이터 이야기

멜론의 빅데이터 도입 시 고려했던 점과 시스템을 소개하는 글로 데이터를 수집, 분석 그리고 결과를 서비스하기까지의 과정에서 사용되는 오픈 소스도 소개합니다. 조금이나마 빅데이터 시스템 도입 시, 도움이 되었으면 좋겠습니다. 소개 2011년 10월 가을, 멜론은 MLCP(Music Life Connected Platform) 프로젝트를 시작했습니다. 프로젝트 핵심은 사용자의 10년간의 소비 이력을 분석하여 아티스트와 기획사 등의

호주 개발자 생활기 2편

이전글: 호주 개발자 생활기 1편 필자는 현재 호주 뉴캐슬이란 도시에서 시니어 소프트웨어 엔지니어로 일하고 있습니다. 이전 글에서는 제가 경험한 호주 라이프 스타일과 문화에 대한 이야기를 다뤄보았고 이번 글에서는 제가 경험한 호주의 소프트웨어 개발 문화와 환경에 대해 이야기해 보려고 합니다. 호주 라이프 스타일 글과 마찬가지로 제가 설명하는 호주 개발 문화와 환경은

뭐 필요한거 없수 - 두레와 품앗이가 애자일이다

소프트웨어 개발자로 살아오면서 애자일에게 두들겨 맞기도 또 배신당하기도 했습니다. 하지만 아직 살아서 "애자일 숨어서 하는" 단계에는 이르지 않았습니다. 그래서 정리해 봤습니다. 뭐가 애자일이고 어떻게 해야 잘하는 것일까? 별거 없습니다. 정설이라기보다는 어느 소프트웨어 개발자의 세계관이고 철학으로 보아주시길 부탁드립니다. ( 사진 : MBC 귀곡산장 ) 척도 애자일 성공 여부의 측정은 간단합니다. 바로 조직에서

아파치 실시간 처리 프레임워크 비교분석 (1)

최근 실시간 처리를 위한 다양한 프레임워크가 오픈되어 있는데, 각 프레웜워크의 특성과 장단점을 비교해 보려고 합니다(원문 : cakesolution.net ). 실시간 분산 처리 프레임워크는, DAGs(Directed Acyclic Graphs)라 불리우는 데이터 처리 모델을 바탕으로, 수초(혹은 ms) 이내에 무한한 데이터의 처리, 집계, 분석을 할 수 있습니다. DAG는 아래 그림에서 볼 수 있듯이

Hadoop NameNode 이중화 시 fencing의 역할

Bigdata 시스템을 구축한 대부분의 회사나 조직에서는 Hadoop 중 파일 시스템에 해당하는 HDFS(Hadoop Distributed File System) 를 기본 데이터 저장소로 활용하고 있습니다. HDFS는 Bigdata 시스템의 가장 기초부분이라고 할 수 있습니다. 이런 시스템이 장애라도 발생하면 모든 분석 업무가 중단될 가능성이 많습니다. HDFS에 저장된 데이터의 규모도 엄청 크기 때문에 HDFS 클러스터 자체를

WordPress Plugin 살펴보기 : Crayon Syntax Highlighter

기술 블로그를 쓸 때 가장 중요한 부분 중에 하나가 Code Highliter 가 아닐까 싶습니다. 아직 WordPress 에 있는 많은 플러그인들을 다 보지는 못했지만, 시간이 나는대로 유용한 플러그인 들을 좀 살펴보려 하는데, 먼저 현재 사용중인 Crayon Syntax Highliter 를 살펴보겠습니다. . 글을 작성하는 시점에 50,000+ 활성 설치에 평가도 별5개로 매우 우수합니다.

Presto, Zeppelin을 이용한 초간단 BI 시스템 구축 사례(2)

이번 글은  "Presto, Zeppelin을 이용한 초간단 BI 시스템 구축 사례(1)" 에 대한 세부 기술적인 내용에 대한 글입니다. 지난 글에서는 사용자들의 요청사항을 기반으로 Presto, Zeppelin을 이용하여 대용량 데이터를 분석할 때 사용자가 직접 SQL을 사용할 수 있는 시스템을 만든 이유와 솔루션 선정에 대해 설명하였습니다. 첫번째 글와 이번 글은 다음

Kafka 0.9 Consumer 클라이언트 소개

다음 기사는 Kafka 0.9 Consumer 클라이언트 소개 글이다. 0.9 버전의 변경사항과 Kafka Consumer의 기본 개념을 학습할 수 있다. 원본: http://www.confluent.io/blog/tutorial-getting-started-with-the-new-apache-kafka-0.9-consumer-client 번역: http://free-strings.blogspot.kr/2016/05/09.html 주요 변경

Rspec, SQLite3와 Fixture를 이용한 Rails API 테스트

어떤 산업군에서든지 퀄리티가 좋은 제품을 생산한다는 것은 어쩌면 얼마나 견고한 테스트를 거쳤냐는 것을 뜻하는 것일 수 있습니다. 시간과 인력이 부족하다는 이유로 테스트를 경미하게 생각하거나, 이를 무시하고 출시하고 나서 나중에 예상치 못한 결함으로 오히려 더 큰 시간적 재무적인 손실을 보게 되는 경우를 종종 접하게 됩니다 . 웹/앱, API등의 소프트웨어를 만드는 일도

Time series OLAP – Druid Batch Ingestion(3)

Druid - 보이지 않는 위험 위험을 피하려면 최악의 사태를 항상 대비해 두어야 한다. - 그라시안 필자의 경우 Batch Ingestion에서 많은 고통을 느꼈다 ㅠㅠ Druid를 적용하는 케이스가 실시간쪽보다는 배치쪽인 경우가 다수였으며 Batch 의 경우, Druid와의 싸움(?)보다는 MR job에 의존도가 크기에 문제 해결에 상당히 많은 시간이 소요되었다. 혹시나 같은 고통을 겪으실 누군가에게 이