개발자 장난감 시리즈, 시놀로지 NAS로 EC2 만들기

[개요] 신년을 맞아 어떤 포스팅을 할까 생각을 해보았습니다. "진지한 글로 한해를 가열차게 시작할까?" 아니면 "조금 가벼운 글로 워밍업을 할까?" 그러다가 가볍게 읽을수 있는 글을 하나 포스팅 합니다. 제 주위 개발자 분들을 보면 전자제품을 일반인 보다는 많이 좋아합니다. 필자도 전자제품을 굉장히 좋아합니다. 노트북, 태블릿, e북, 구글홈 등

Kafka 운영자가 말하는 Producer ACKS

지금까지 컨슈머 관련 설명과 컨슈머가 메시지를 가져오는 내용에 대한 설명을 이어왔습니다. 이번에는 메시지를 보내는 프로듀서에 대해  설명하도록 하겠습니다. 프로듀서가 메시지를  보낼때, 몇가지의 옵션들을 선택하여 보낼 수 있습니다. 프로듀서의 여러가지 옵션들중에서, 저는 가장 중요하고 꼭 이해를 해야 하는 옵션이 acks라고 생각합니다. 그래서, 이번 글에서는 acks에 대해 몇가지 예제와 같이 상세히 살펴보도록

Apache 프로젝트 만들기(2)

지난 글에서는 Apache 프로젝트의 조직과 Apache에 프로젝트를 만드는데 있어 주의해야 할 사항들이 대해 이야기 했습니다. 이번 글에서는 본격적으로 Apache에 프로젝트를 만드는 과정에 대해 자세하게 살펴보겠습니다. * 지난글: Apache 프로젝트 만들기(1) 프로젝트 Cycle Apache 프로젝트는 다음과 같은 사이클로 생성 및 운영이 됩니다. 이전에는 바로 Top Level 프로젝트로 등록되는 경우가 간혹 있었지만

shell script에서 #!를 뭐라고 부를까?

이번에 Docker 관련 공부하면서 몇시간 동안 삽질하면서 시간을 낭비했는데 Shell Script의 첫라인에 #! 관련 라인을 넣지 않아서 발생하는 문제였습니다. Bourne shell (sh)과 Bourne Again shell (bash)의 "==", "=" 에 대한 미묘한 차이 때문에 발생하는 문제였습니다. 예를 들어 if 절에 문자열 비교 시 bash에서는 "==", "="

인텔리J 활용 꿀팁 42가지 정리

개요 최근 몇년간 SNS 등을 돌아다니면 인텔리J를 사용하시는 분들이 꽤 늘었고 기업 구인광고시도 언급이 있을 정도로 예전에 비해서는 사용자가 늘어난듯 합니다. 저는 2012년 부터 이클립스 대신 인텔리J를 이용하여 개발을 해왔고 인텔리J를 좋아하는 개발자입니다. 또한 여러 개발관련 TOOL을 다루어 보고 최적화 하기를 좋아합니다. ("돈 받고 파는 IDE에는 이유가 있구나"

Kong으로 시작하는 마이크로 서비스 아키텍처  - 1

안녕하세요.  devpools의 도경태입니다. medium에 먼저 간단하게 글을 올렸구요.  시리즈 물이 될 거 같은 예감입니다. 바로 그냥 들어가겠습니다. 프로젝트를 진행하며 MSA 를 적용하게 되었습니다. MSA를 적용하면서 맞닥들이는 실제 사례를 들어 시작해 볼까합니다. MSA를 왜 적용하게 되었는지, 어떻게 적용하는지 이것을 하기 위해서 팀은 어떤일을 해야 하는지, 기술적인 검증은 어떻게 진행되는지 진지하게 살펴보도록

RNN(Recurrent Neural Network)과 Torch로 발라드곡 작사하기

최근 RNN(Recurrent Neural Network) 관련 자료를 찾다가 안드레이 카패시(Andrej Karpathy)가 쓴 The Unreasonable Effectiveness of Recurrent Neural Networks라는 글을 보게 되었다. 복잡한 수식 때문에 딥러닝 in Torch 책을 쓸 때도 잠깐 포기했었는데, 이 글에서는 RNN에 대해 개념적으로 쉽게 풀이했으며 무엇보다 학습 및 샘플링 코드를 모두 자신의 깃허브

Kafka 운영자가 말하는 Kafka Consumer Group

지난 글에 이어서 이번에는 Consumer Group이라는 주제를 가지고 설명하려고 합니다. 이 내용 역시 제가 처음 카프카를 접했을때, 정말 이해가 안되고 어려웠던 부분이었습니다. 컨슈머 그룹에 대해 국내 자료들을 검색했었는데, 안타깝게도 제가 이해하는데 도움이 될만한 글을 찾지 못하였습니다. 그래서, 제가 카프카를 처음 접하시는 분들이 컨슈머 그룹에 대한 개념을 잘 이해하실 수 있도록

[2016]올해를 마치며.. 회고!

아래는 제 개인 블로그에서 옮겨온 글입니다. * 원본 : [2016]올해를 마치며.. 회고! 2016 올해도 하루밖에 남지 않았다. 예전에 어른들이 나이가 들면 들수록 시간이 화살처럼 쏜살같이 지나간다는 말을 했었는데 마흔줄로 들어가고 있는 요즘 그걸 조금씩 실감하고 있다. 정신없이 지나갔지만 나름 열심히 달려왔던 2016 병신년 한해를 회고해본다. * [2015]올해를 마치며.. 회고! * [2014]올해를

Popit 시작과 2016 정리

안녕하세요. Popit 운영진입니다. 이제 2016도 마지막으로 달려가고 있습니다. 2016은 Popit 서비스를 오픈하여 처음 운영한 해였습니다. 지난 2016.08에 오픈하여 5개월 정도 운영했는데 Popit 서비스의 탄생과 기획, 운영 과정을 정리해보려고 합니다. 서비스 기획 2016년 5월 경에 지인과 만난 자리에서 지인이 지금의 "Popit 추천 뉴스" 기능을 만들면 어떨까 하는 의견이

엘라스틱서치(ES) 구동과정 소스코드 살펴보기

개요 해당 글은 엘라스틱서치(이하 ES)가 어떻게 구동이 되는지 소스코드 레벨에서 따라가 보는것을 목적으로 합니다. ES 소스에 대한 궁금증을 해결하고 오픈소스 코드를 분석을 하여 실력을 늘리는데 목적이 있습니다. 아래 포스팅을 * 오픈소스 코드분석 Tip은 김형준님이 쓰신 오픈소스: 코드 분석 어떻게 하나? 포스팅 참고 부탁 드립니다. * 해당 포스팅은 엘라스틱서치(ES)를

코드 한줄 없이 서비스 Dashboard 만들기(2)

지난 글에서는 전체 시스템 구성과 Kafka에 저장된 로그 데이터를 몇가지 처리를 한 다음에 hdfs에 저장하는 구성을 NiFi를 이용하여 처리하였습니다. * 지난글: 코드 한줄 없이 서비스 Dashboard 만들기(1) 이번 글에서는 hdfs에 저장된 데이터를 이용하여 분당 또는 10분당 PV, UV 또는 다른 정보를 조회할 수 있는 Dashboard를 구성해보도록 하겠습니다. 주제가 "코드