DB 데이터를 Hadoop에 저장 시 삽질 두가지.

DB 데이터를 Hadoop에 저장 시 삽질 두가지.

최근 SQLServer에 저장된 데이터를 HDFS로 저장하는 작업을 하고 있습니다. 최근까지 잘 동작하는 프로그램에 다음 두가지 문제가 발생하여 삽질한 내역을 공유합니다. 데이터 건수가 맞지 않는 문제 잘못된 일자가 저장되는 문제 DB to HDFS DB에 저장되고 있는 데이터를  HDFS에 저장할 때 많이 사용하는 방법이 DB의 레코드 중에 생성 일자 또는 수정 일자를 기준으로 데이터를 조회하여 결과를 HDFS에 […]