DT

https://www.popit.kr/2-데이터-엔지니어와-마이크로-서비스-구축-si-프로젝트/ 이전 포스팅에서 데이터 엔지니어링에 대해 알아보았습니다만, 이 글의 주제는 어디까지나 데이터 마이그레이션에 대한 것이지 데이터 엔지니어링에 대한 것이 아닙니다. 디지털 트랜스포메이션 절차에서 데이터 엔지니어 투입 타이밍 웹 로그 수집을 통해 구글의 빅쿼리(BigQuery), 구글 애널리틱스 를 활용하여 개인화 추천 콘텐츠를 제공하는 등의 데이터 엔지니어링은 이미 대부분의 커머셜 기업에서 이미 수행중인 작업이고, SI 프로젝트의 영역이 아닙니다. 현재 행해지는 데이터 엔지니어링은 웹 로그 분석을 통한 것이 대부분으로, 핵심 비즈니스 프로세스를 건드리지 않고 아우터 아키텍트 (로그 데이터 중앙 수집기 등) 영역에서 비교적 쉽게 수집할 수 있는 것이기 때문에 데이터 분석 부서에서 독립적으로 수행할 수 있는 영역입니다. 따라서 이 글의 본래 목적인 ERP 등과 같은 정규화 된 비즈니스 데이터로부터 디지털 트랜스포메이션을 작업을 수행하기 위한 use case 를 살펴보도록 하겠습니다. 다음은 클라우드 사업자가 말하는 디지털 트랜스포메이션 작업 절차입니다....

https://www.popit.kr/1-데이터-엔지니어와-마이크로-서비스-구축-si-프로젝트/ 많은 경험있는 프로젝트 리더들은 이전 포스팅 된 글에서 나온 실시간성 데이터 이관 문제를 해결하기 위해 ETL(Extract, Transform, Load) 과정을 떠올릴 수 있습니다. 그리고 ETL 을 수행하기 위해 어떠한 유형의 솔루션을 선택해야 할 지 선택하게 됩니다. 그리고 앞선 상황에서 "TB 단위의 데이터", "새로운 데이터베이스" 등의 키워드 때문에 데이터 분석 전문가를 찾게 되고, 실시간 스트리밍 분석 엔진 또는 데이터웨어 하우스, 또는 둘 다 필요하다는 답변을 들을 것입니다. 이 개념들의 이해를 돕도록, 대표적 솔루션인 Apache Spark(실시간 스트리밍 분석 엔진) 와 AWS Redshift(데이터웨어 하우스) 를 비교하여 설명드리겠습니다....

본 글은 ** 이커머스 업체의 ERP 정산 시스템 노후화 개선 ** 에 대한 해결 가능성을 문의받고, 문제를 해결하기 위해 여러 자료를 분석 후 개인적인 경험과 함께 정리하여 남기는 글 입니다. 파일럿의 함정 디지털 변혁은 현재 피할 수 없는 유행어지만, SI 프로젝트를 통해 기업의 핵심 비즈니스를 변혁시키는 미션에서 성공한 케이스는 거의 없는 것으로 파악되고 있습니다. 이노베이션은 기존 방식을 유지한 채 기술만 덧붙이는 것 입니다. 트랜스포메이션은 조직운영의 모든 과정을 완전히 바꾸고 디지털화한다는 점에서 더 총체적 입니다. 비즈니스의 핵심기술과 시장 접근방식, 고객과의 관계 등을 근본적으로 바꾸는 것 입니다. 보통 기업들은 일부 사업부에서 SI 업체를 통한 파일럿 프로젝트를 통해 트랜스포메이션을 시도 합니다. 그런데 이 파일럿 프로젝트가 끝날 때쯤 경영진이 착각합니다. 한 번 해본 것으로 기업의 트랜스포메이션이 끝났다고 보고 멈춰버립니다. 그 수준을 뛰어넘지 못하고 방향을 잃어버리는 상태를 파일럿의 함정이라고 말합니다. 해외보다 국내 기업들 사이에서 소규모 파일럿 형태로 트랜스포메이션하려는 선호가 더 많은 것 같습니다....