Kafka

카프카 커넥트와 오프셋 관리(2)

카프카 커넥트와 오프셋 관리(2)

지난 글에 이어 이번에는 카프카 커넥트 오프셋 관리 기능에 대해 설명하겠습니다. 혹시라도 1부 글을 읽지 않으신 분들은 1부 글과 이어지는 내용이 있으니, 1부 글을 먼저 읽고 오시는 편이 좋을 것 같습니다. 지난 글에서 소스 커넥터는 프로듀서와 유사하고, 싱크 커넥터는 컨슈머와 유사하다는 말씀을 드린 적이 있습니다. 이번에 주로 다룰 내용은 싱크

By 고승범
카프카 커넥트와 오프셋 관리(1)

카프카 커넥트와 오프셋 관리(1)

이번 글에서는 먼저 카프카 커넥트에 대해 간략한 소개를 하고, 3.5 버전부터 새롭게 추가된 카프카 커넥트 오프셋 관리 기능에 대해 소개하고자 합니다. 글은 총 2부로 나누어 작성하며, 먼저 1부에서는 카프카 커넥트 소개와 동작 방식에 대해 간략하게 소개하고, 다음으로 이어지는 2부에서 카프카 커넥트 오프셋 관리 기능에 대해 소개하겠습니다. 카프카 커넥트(Kafka

By 고승범
아파치 카프카(Apache Kafka)의 새로운 협의 프로토콜인 KRaft에 대해(2)

아파치 카프카(Apache Kafka)의 새로운 협의 프로토콜인 KRaft에 대해(2)

이번 글에서는 이전 글에 이어 KRaft의 구성 방법, 마이그레이션 전략, 릴리스 노트와 향후 계획에 대해 살펴보겠습니다. 아직 이전 글을 읽어보지 못한 분들은 이전 글을 먼저 읽어보시기를 추천드립니다. KRaft의 구성 전통적인 주키퍼 모드를 사용하면서 많은 사용자들이 느꼈던 불편함 중 하나는 바로 주키퍼와 카프카 서버를 별도로 운영해야 한다는 점이었습니다. 이는 단순히 별도의

By 고승범
아파치 카프카(Apache Kafka)의 새로운 협의 프로토콜인 KRaft에 대해(1)

아파치 카프카(Apache Kafka)의 새로운 협의 프로토콜인 KRaft에 대해(1)

이번 글에서는 아파치 카프카(Apache Kafka)의 새로운 협의 프로토콜인 KRaft에 대해 다룰 예정입니다. 카프카를 사용하면서 초기에는 최신 버전의 릴리스를 추구했지만, 카프카가 점점 데이터 파이프라인의 중심이 되면서 보다 보수적으로 접근하게 되었습니다. 지금까지 KRaft에 대해 크게 고려하지 않았으나 이제는 KRaft에 대한 준비와 주키퍼 모드로 운영 중인 카프카를 마이그레이션 하는 방법 등에

By 고승범
Golang에서 카프카 컨슈머 그룹과 재시도로 결과적 일관성 구현하기

Golang에서 카프카 컨슈머 그룹과 재시도로 결과적 일관성 구현하기

필자는 마이크로서비스 아키텍처Microservice Architecture(이하 MSA) 기반으로 커머스 시스템을 만들고 있다. MSA에서 어려운 점 중 하나는 데이터 일관성을 유지하는 일이다. 예를 들어 주문 프로세스(결제, 주문 원장 기록, 재고 차감 등등)는 모두 성공하거나 하나라도 실패한다면 이전 상태로 되돌아가야 한다. 모놀리틱 아키텍처Monolithic Architecture와 관계형 데이터베이스를 사용하는 전통적인 시스템은 데이터베이스 트랜잭션을

By 유 영모
카프카 서버 디스크 최적화

카프카 서버 디스크 최적화

이번 주제는 디스크와 관련된 주제로 글을 작성해보겠습니다. 디스크 구성과 관련된 질문들을 여러 차례 받은 경험도 있고, 이러한 주제를 가지고 정리된 글은 없다고 생각되어 적게 되었습니다. 디스크 구성에 대해 이러한 방식이 표준이다라는 정답은 없지만, 향후 규모가 큰 카프카 클러스터를 구성하거나 IO 때문에 고민이신 분들에게 조금이나마 도움이 되었으면 합니다. 사실 예전부터 쓰려고

By 고승범
카프카 설치 시 가장 중요한 설정 4가지

카프카 설치 시 가장 중요한 설정 4가지

카프카 보안과 커버로스(Kerberos)를 이용해 구성하는 방법에 대해 다루는 글을 쓰려다가, 현재 제가 구성한 보안 클러스터 구성환경에 접속할 수도 없고 새로 구성하기도 어려운 상황이라, 평소 주위 분들에게 많은 질문을 받은 “빠르게 카프카 사용하기”라는 주제로 먼저 글을 써봐야겠다는 생각이 들었습니다. 이 내용은 생각보다는 매우 단순하고 쉽습니다. 이 글이 필요한

By 고승범
REST 기반의 간단한 분산 트랜잭션 구현 - 3편 TCC Confirm(Eventual Consistency)

REST 기반의 간단한 분산 트랜잭션 구현 - 3편 TCC Confirm(Eventual Consistency)

* REST 기반의 간단한 분산 트랜잭션 구현 -1편 TCC 개관 * REST 기반의 간단한 분산 트랜잭션 구현 - 2편 TCC Cancel, Timeout * REST 기반의 간단한 분산 트랜잭션 구현 - 3편 TCC Confirm(Eventual Consistency) * REST 기반의 간단한 분산 트랜잭션 구현 - 4편 REST Retry 지난 글에서는 TCCTry-Confirm/Cancel에서 'Confirm 하기 전에 실패하는 경우&

By 유 영모
Time Series OLAP - Druid Trouble Shooting(6)

Time Series OLAP - Druid Trouble Shooting(6)

Druid - 오른손이 하는 일을 왼손이 모르게 하라 길고 길었던 Druid 시리즈 연재의 마무의리...이렇게 오래 걸릴줄은..... 그사이 Druid는 2018년 2월에 Apache Incubator Project가 되었다. 실시간 Index Task 1. tranquility를 사용해야 하냐?  supervisor(kafka-index-service)를 사용해야 하나? tranquility의 경우 실시간 데이터에 대한 push 방식, supervisor의 경우 input source로 부터

By jerryjung
작정하고 책 홍보하기: 카프카 데이터 플랫폼의 최강자

작정하고 책 홍보하기: 카프카 데이터 플랫폼의 최강자

오늘은 특별한 책 소개를 하려고 합니다. Popit 서비스를 만들고 운영하면서 처음 서비스 기획 의도 중의 하나를 만족하는 의미 있는 결과물이 나왔습니다. Popit 서비스를 운영하는 여러 이유 중에 가장 중요한 게 생각하는 것이 바로 개발자들의 글쓰기였습니다. 왜 이것이 중요한지는 여러번 걸쳐 강조하였습니다. * 글쓰는 개발자가 되자. * 어떻게 하면 개발을 잘 할 수

By 김형준
Kafka 운영자가 말하는 카프카 매니저 소개

Kafka 운영자가 말하는 카프카 매니저 소개

최근 운영하고 있던 카프카 매니저를 최신 버전으로 업그레이드를 진행하였고, 이번 글에는 카프카 매니저에 대해 공유하고자 합니다. 카프카에 대한 예전 글들도 있으니 필요하신 분들은 참고하시면 좋을 것 같습니다. Kafka 운영자가 말하는 처음 접하는 Kafka Kafka 운영자가 말하는 Kafka Consumer Group Kafka 운영자가 말하는 Producer ACKS Kafka 운영자가 말하는 Kafka 서버 실전

By 고승범