[혀로그래머 charsyam은 구라쟁이 #2] 캐시 멤캐시나 레디스 쓰세요. 쉬워요

안녕하세요. 혀로그래머이자 구라쟁이 charsyam 입니다. 오늘은 지난 1편 [혀로그래머 charsyam은 구라쟁이 #1] 샤딩은 쉬워요 샤딩하세요. 의 뒤를 이은 2편 "캐시 멤캐시나 레디스 쓰세요. 쉬워요" 편입니다. 일단 캐시를 왜 쓰는걸까요? 캐시라는 의미는 원래는 연산이 오래 걸리는 작업이나, 레이턴시가 긴곳에서 뭔가 가져와야 할때, 그 시간을 위해서 보다 빠른 저장 장치나,

[혀로그래머 charsyam은 구라쟁이 #1] 샤딩은 쉬워요 샤딩하세요.

안녕하세요. 혀로그래머!!! charsyam 입니다.  민방위 훈련을 받다가, 나처럼 실력 없는 개발자는 스스로 갈궈야 한다라는 생각이 들어서, 스스로를 비판하고 까기 위한 글을 쓰기로 했습니다. 원래 제가 발표하는 주 대상이 주로 개발 경험이 많이 없는 학생, 주니어들을 대상으로 하다보니, 많은 구라를 포함하고 있습니다.(제가 발표때 마다 호구(?) 조사를 빙자해서 학력/경력을 물어보는

MySQL NULL 처리 삽질

최근에는 계속 삽질의 연속입니다. 이번 글은 MySQL에서 Null 처리 관련 삽질에 대한 내용입니다. MySQL Document에서 NULL에 대한 정의는 다음과 같습니다. Conceptually, NULL means “a missing unknown value” and it is treated somewhat differently from other values. 마지막에 있는 "일반적인 값과는 다르게 처리된다" 이 부분에 주의해야 합니다. Not equals

InteliiJ 디버깅하기

안녕하세요? 이번 시간엔 intellij의 debugging 을 간단하게 진행해보려고 합니다. 모든 코드는 Github에 있기 때문에 함께 보시면 더 이해하기 쉬우실 것 같습니다.굉장히 기초적인 수준이지만, System.out.println으로 디버깅 하셨던 분들에게 도움이 될것 같아 정리하였습니다. 주요 단축키 꼭 디버깅이 아니더라도 아래 단축키 정도는 익혀두면 여러모로 쓸 곳이 많다. * shift + shift : 전체

DB 데이터를 Hadoop에 저장 시 삽질 두가지.

최근 SQLServer에 저장된 데이터를 HDFS로 저장하는 작업을 하고 있습니다. 최근까지 잘 동작하는 프로그램에 다음 두가지 문제가 발생하여 삽질한 내역을 공유합니다. 1. 데이터 건수가 맞지 않는 문제 2. 잘못된 일자가 저장되는 문제 DB to HDFS DB에 저장되고 있는 데이터를  HDFS에 저장할 때 많이 사용하는 방법이 DB의 레코드 중에 생성 일자 또는

개발자가 배우는 R : 7강, 가설, 그래프 배워보기

개요 이번 포스팅에는 앞으로 배울 회귀분석 등에 필요한 가설에 대한 통계학의 기본 이론과 그래프(plot)를 그리는 방법을 알아본다. 코드중심의 설명이기 때문에 본문 보다는 코드의 주석이 집중적으로 추가되어 있으니 참고 바란다. 가설검증 통계 데이터에서 인사이트르 얻기 위해 가설을 세우는 방법을 잠깐 알아보자. 이때, 검증자가 주장하고 싶은 가설을 H1, 반대되는 가설을

딥러닝 프레임워크 조사와 몇가지 홍보

지난 4월 18일, 페이스북은 새로운 오픈소스 딥러닝 프레임워크인 Caffe2를 발표했다. 이로써 익혀야 할 도구가 하나 더 늘어난 듯 하다. 2015년부터 쏟아지기 시작한 딥러닝 프레임워크 전쟁에서 텐서플로우가 우위에 섰지만, 최근 주목을 받고 있는 Chainer, MXNet와 PyTorch 등도 조금씩 사용자층을 확대하고 있다. 이 글에서는 범람하고 있는 딥러닝 도구들을 간략히 비교하고, 관련 책과

Hadoop에서 FileSystem 객체에 대한 Tip 몇가지

징검다리 연휴이기는 하지만 그래도 오늘은 평일이기 때문에 출근하신 분들을 위해  Hadoop에서 파일 처리시 간단한 팁 하나 공유합니다. 문제 정의 Hadoop 파일 처리하는 Application 개발 시 Hadoop File System의 동작 원리를 제대로 이해하지 못하면 데이터가 제대로 저장되지 않는 경우가 많습니다. Hadoop File API를 이용하여 파일에 데이터를 저장하는 경우 Hadoop이 일반적인 파일시스템과

2017 NDC 참관 후기

위의 사진은 날도 조코 푸르른 넥슨코리아의 전경(..) 말로만 듣던 NDC를 처음으로 참관해봤다. 작년에는 표를 구했는데 개인사정으로 못 보게 되어 리플레이로만 봤었는데, 실제로 참관해보니 재밌었다. 그리고 넥슨에서 일하게 된 지 이제 4개월 쯤 되었는데, 같은 팀원분들이 발표를 준비하는 과정에서부터 발표하기까지를 가까이에서 관찰해볼 수 있었던 것도 좋았다. 그리고 팀원분들이 다 존잘이셔서 '

4대 클라우드 콘퍼런스를 마트로 비유하기

참고: 읽는 흐름과 호흡을 위해 PC 모니터에 최적화하여 개행되어 있습니다. 모바일 폰으로 볼 경우 어색한 개행에 읽기 불편할 수 있습니다. 4대 클라우드 콘퍼런스를 마트로 비유하기 당부말씀 본 후기는 지극히 개인적인 경험으로 작성된 것이라 공정한 기준으로 비교 분석되지 않았고 지극히 노출 빈도에 따라 편파적일 수 있습니다. 제가 경험하지 못한, 혹은 간과하고

[좌충우돌 개발기] 플랫폼별 QR, 바코드 스캐너 구현기

최근 모바일 카메라가 발달함에 따라 많은 서비스들이 현금지불, 쿠폰 등의 기능에 스캐너를 이용하고 있습니다. 결제분야를 예로 들면 최근 중국내 1위 사업자로 올라선 위챗의 경우 작년 9월 기준 QR 코드 스캔을 이용한 1일 결제량이 10억건에 달한다고 합니다.  최근 중국에서 선풍적인 인기를 얻고 있는 자전거 공유 서비스의 경우 QR 코드를 이용하여 자전거의

SQLServer JDBC의 이상한 동작

DB -> HDFS 작업  관련 삽질 중인데 SQLServer의 JDBC 드라이버 동작이 생각과 다르게 동작하는 부분이 있어 공유해보려고 합니다. 공유의 목적은 이런 사항이 있으니 DB 선정 시 신중해야 할 것 같다는 것과 제가 잘못 사용하고 있는 부분이 있는지 원래 그런 것인지 독자들의 의견을 들어 보려는 것입니다. 참고로 SQLServer는 거의 사용해보지 않았고