김형준

김형준
코드 한줄 없이 서비스 Dashboard 만들기(2)

코드 한줄 없이 서비스 Dashboard 만들기(2)

지난 글에서는 전체 시스템 구성과 Kafka에 저장된 로그 데이터를 몇가지 처리를 한 다음에 hdfs에 저장하는 구성을 NiFi를 이용하여 처리하였습니다. * 지난글: 코드 한줄 없이 서비스 Dashboard 만들기(1) 이번 글에서는 hdfs에 저장된 데이터를 이용하여 분당 또는 10분당 PV, UV 또는 다른 정보를 조회할 수 있는 Dashboard를 구성해보도록 하겠습니다. 주제가 "코드

By 김형준
코드 한줄 없이 서비스 Dashboard 만들기(1)

코드 한줄 없이 서비스 Dashboard 만들기(1)

서비스를 운영하는 조직에서는 PV, UV 등과 같은 지표를 꾸준하게 관리하고 있습니다. 각종 지표를 꾸준하게 관리하는 이유는 서비스가 기획 의도했던 방향대로 사용자가 사용하고 있는지, 서비스의 문제는 없는지 등을 파악하기 위함입니다. 간단하게 이런 지표는 엑셀 등으로 관리할 수 있지만 많은 사람들이 공유하기 어렵고, 실시간 데이터를 바로 반영하기 어렵습니다.  또한, 새로운 기능을 출시하고

By 김형준
Apache 프로젝트 만들기(1)

Apache 프로젝트 만들기(1)

모대학에서 오픈소스 관련 특강 요청이 와서 어떤 주제로 할 것인가 고민하다가 특정 오픈소스에 대한 이야기보다는 "오픈소스 프로젝트 따라잡기" 라는 주제로 진행하였습니다. 이번 글에서는 강의 내용 중 Apache Software Foundation(이하 ASF)에 프로젝트를 만드는 방법 및 절차에 대해 정리해보았습니다. 발표자료는 다음 링크를 참고하세요. http://www.slideshare.net/babokim/

By 김형준

Spring Security + Ajax 호출 시 CSRF 관련 403 Forbidden 에러

Spring Security를 이용할 경우 Ajax의 POST 호출 시 403 Forbidden 에러가 발생합니다. 처음에는 Ajax 문제가 아니라 특정 URL(특히, REST로 만들어진 URL)에 대해 Path 권한 설정이 잘못되었나 생각하고 Path의 권한 설정 부분을 확인하였습니다. @Override protected void configure(HttpSecurity http) throws Exception { http .csrf() .and() .addFilterAfter(new CsrfCookieGeneratorFilter(), CsrfFilter.class)

By 김형준
[아재글] SI 구축 사업자와 클라우드 서비스

[아재글] SI 구축 사업자와 클라우드 서비스

이 글은 2012년  "삼성, 야심찼던 S클라우드 없던일로…" 라는 기사를 읽고 SI 사업자와 클라우드 서비스를 만드는 것이 얼마나 어려운가에 대해 생각해본 글입니다. 주변에서 아직도 SI 사업자가 클라우드 서비스 개발을 진행한다는 소식을 간간이 듣고 있어서 지금도 이 상황에는 변함이 없는 것 같아서 다시 올려 봅니다. * 관련 기사: http://media.daum.

By 김형준
Presto JDBC 사용시 TimeZone 주의

Presto JDBC 사용시 TimeZone 주의

Presto의 native library나 jdbc 등과 같은 Client 모듈을 이용하여 데이터를 조회하는 경우 TimeZone 설정에 주의해야 합니다. 이것때문에 반나절 삽질했습니다. (이 문서는 Presto 0.155 기준으로 작성되었습니다.) TimeZone 문제 Presto Client에서 Presto 서버와의 접속을 유지하는 클래스가 ClientSession 인데 이 클래스의 생성자는 다음과 같이 정의되어 있습니다. public ClientSession(URI server, String user,

By 김형준
Thymeleaf에서 newline characters를 br tag로 교체

Thymeleaf에서 newline characters를 br tag로 교체

이전에 자바로 웹 화면 개발할 때에는 무조건 jsp를 이용했는데 최근 Spring boot 을 살펴보고 있는데 여기는 Thymeleaf 를 기본 뷰 렌더링 엔진으로 사용한다길래 무턱대고 보고 있습니다.또 다른 문법을 익혀야 하는 것 빼고는 나름 나쁘지는 않은데 textarea에 입력된 내용에서 newline을 br로 바꿔주는 방법이 애매해서 관련 글을 찾아본 내용을 정리해봤습니다. 자세한

By 김형준
SQL on Hadoop benchmark 관련 기사를 읽고

SQL on Hadoop benchmark 관련 기사를 읽고

최근 Hadoop 관련 메이저 두 회사에서 SQL on Hadoop 관련해서 벤치마킹 자료를 잇따라 공개하였습니다. * Cloudera: Apache Impala (incubating) vs. Amazon Redshift * Hortonworks: APACHE HIVE VS APACHE IMPALA QUERY PERFORMANCE COMPARISON 이 벤치마킹 자료에 대해 필자도 뭔가 이야기를 하고 싶었지만 검증해 볼 환경이 없어 다른 곳에서 리뷰가 올라오기를 기다렸는데 마침 ZDNet에서

By 김형준
mysql에서 Index column size too large. 에러 메시지에 대한 처리

mysql에서 Index column size too large. 에러 메시지에 대한 처리

이번글에서는 MySQL 관련 테이블 생성 시 많이 발생하는 에러에 대한 간단한 팁을 소개합니다. MySQL에 테이블을 innodb로 생성할 경우 다음과 같은 에러 메시지가 나타납니다. 특히 charset 을 utf-8로 설정한 경우에 많이 발생합니다. ERROR 1709 (HY000): Index column size too large. The maximum column size is 767 bytes. 이것은 innodb 스토리지

By 김형준
견고한 서비스를 만들기 위한 팁

견고한 서비스를 만들기 위한 팁

새로운 개발팀에 합류하여 서비스 개발, 운영을 한지 벌써 1년이 넘었습니다. 이 번글에서는 그동안 빅데이터 플랫폼 엔지니어로 활동을 하다가 서비스 개발/운영 업무를 하면서 느꼈던 내용을 정리해보려고 합니다. 이 글은 초기 몇 개월 지났을 때 대충 윤곽을 잡았던 글인데 그 동안 미루다가 시간이 내어 다시 정리합니다. 그러다 보니 초기에 느낀 내용하고,

By 김형준