Kafka

Kafka 운영자가 말하는 Replication Factor 변경

Kafka 운영자가 말하는 Replication Factor 변경

이번 글에서는 kafka에서 사용하는 토픽의 Replication Factor(이하 RF)를 변경하는 방법에 대해 설명하겠습니다. kafka에 대한 예전 글들도 있으니 필요하신 분들은 참고하시면 좋을 것 같습니다. Kafka 운영자가 말하는 처음 접하는 Kafka Kafka 운영자가 말하는 Kafka Consumer Group Kafka 운영자가 말하는 Producer ACKS Kafka 운영자가 말하는 Kafka 서버 실전 로그 분석

By 고승범
Kafka 운영자가 말하는 Topic Replication

Kafka 운영자가 말하는 Topic Replication

이번 글에서는 kafka에서 사용하는 replication에 대해 알아보도록 하겠습니다. 예전부터 해당 내용에 대해 정리해서 글을 올리려고 했었는데, 생각보다 많이 늦어졌습니다. kafka에 대한 예전 글들도 있으니 참고하시면 좋을 것 같습니다. Kafka 운영자가 말하는 처음 접하는 Kafka Kafka 운영자가 말하는 Kafka Consumer Group Kafka 운영자가 말하는 Producer ACKS Kafka 운영자가 말하는 Kafka 서버

By 고승범
Kafka 운영자가 말하는 TIP

Kafka 운영자가 말하는 TIP

이번에는 kafka 파티션 재배치에 대해 알아보고, log 디렉토리 사용이 균등하지 않을 때 조치할 수 있는 방법에 대해 말씀드리도록 하겠습니다. 해당 내용을 모를 경우 kafka 운영하시면서 난감한 상황에 마주칠 수 있다고 생각됩니다. 잘 읽어보시고 도움이 되셨으면 합니다. 이 글을 처음 보시는 분들은 이전 글도 보시면 좋을 것 같습니다. Kafka 운영자가 말하는

By 고승범

kubernetes 어디까지 써봤니? 삽질기(2)

Kubernetes 삽질하다 일어난일 kubernetes 삽질의 시작은 이전글을 참조하기 바란다. 이번 글에서는 나의 작은 실수로 인해 분석가를 식겁하게 한 에피소드에 대해 이야기 해 보려 한다. 그전에 k8s에 deploy하기 위한 기본 개념에 대해 살펴볼 예정이다. pod로 띄우기 pod는 한개 이상의 컨테이너로 구성되는 k8s에서 가장작은 deploy를 위한 단위이다. 이는 자신의 어플리케이션 스택에 서로

By jerryjung
Kafka 운영자가 말하는 Kafka 서버 실전 로그 분석

Kafka 운영자가 말하는 Kafka 서버 실전 로그 분석

이번 글은 지난번 연재 글 내용과 이어지는 내용으로 producer acks 옵션과 관련이 있는 내용입니다. 제가 kafka를 운영하면서 실제 일어났던 이슈에 대해 kafka의 로그와 같이 한번 설명드리도록 하겠습니다. 지난 연재 글을 읽지 못하신 분이나 또는 읽었는데 기억이 잘 나지 않으신다면, 다시 한번 읽어보시는 편이 좋을 것 같습니다. Kafka 운영자가 말하는 처음

By 고승범
Kafka 운영자가 말하는 Producer ACKS

Kafka 운영자가 말하는 Producer ACKS

지금까지 컨슈머 관련 설명과 컨슈머가 메시지를 가져오는 내용에 대한 설명을 이어왔습니다. 이번에는 메시지를 보내는 프로듀서에 대해  설명하도록 하겠습니다. 프로듀서가 메시지를  보낼때, 몇가지의 옵션들을 선택하여 보낼 수 있습니다. 프로듀서의 여러가지 옵션들중에서, 저는 가장 중요하고 꼭 이해를 해야 하는 옵션이 acks라고 생각합니다. 그래서, 이번 글에서는 acks에 대해 몇가지 예제와 같이 상세히 살펴보도록

By 고승범
Kafka 운영자가 말하는 Kafka Consumer Group

Kafka 운영자가 말하는 Kafka Consumer Group

지난 글에 이어서 이번에는 Consumer Group이라는 주제를 가지고 설명하려고 합니다. 이 내용 역시 제가 처음 카프카를 접했을때, 정말 이해가 안되고 어려웠던 부분이었습니다. 컨슈머 그룹에 대해 국내 자료들을 검색했었는데, 안타깝게도 제가 이해하는데 도움이 될만한 글을 찾지 못하였습니다. 그래서, 제가 카프카를 처음 접하시는 분들이 컨슈머 그룹에 대한 개념을 잘 이해하실 수 있도록

By 고승범
Kafka 운영자가 말하는 처음 접하는 Kafka

Kafka 운영자가 말하는 처음 접하는 Kafka

저는 국내 메신저 회사에서 우연한 기회로 전사 공용 카프카를 운영하고 있습니다. 현재 기준으로 제가 관리하는 카프카 클러스터는 용도와 종류에 따라  5종류로 구분되고, 전체 서버는 약 50여대 됩니다. 이 수치는 지금도 계속 증가하고 있어 나중에는 더 늘어날 것 같습니다. 제가 글을 적는 이유는 카프카에 대해서 스터디하고 운영하면서 겪었던 일들중에서, 쉽게 이해가

By 고승범
코드 한줄 없이 서비스 Dashboard 만들기(1)

코드 한줄 없이 서비스 Dashboard 만들기(1)

서비스를 운영하는 조직에서는 PV, UV 등과 같은 지표를 꾸준하게 관리하고 있습니다. 각종 지표를 꾸준하게 관리하는 이유는 서비스가 기획 의도했던 방향대로 사용자가 사용하고 있는지, 서비스의 문제는 없는지 등을 파악하기 위함입니다. 간단하게 이런 지표는 엑셀 등으로 관리할 수 있지만 많은 사람들이 공유하기 어렵고, 실시간 데이터를 바로 반영하기 어렵습니다.  또한, 새로운 기능을 출시하고

By 김형준
[TIP] 개발자는 막일 하는 사람이 아닙니다. 막일을 줄이기 위한 유용한 팁 1

[TIP] 개발자는 막일 하는 사람이 아닙니다. 막일을 줄이기 위한 유용한 팁 1

매일매일 짜는 스크립트는 이제 그만 NO PAINS, NO GAINS 고급진 개발자가 갖춰야 할 덕목(?) 중 하나는 좋은 툴을 발견하여 반복적이고 시간을 까먹는 작업을 효율화 하거나 필요시에는 툴을 직접 개발 하는 일이다.  필자의 경우 구현한 실시간 처리 시스템의 성능 테스트(throughput) 측정을 위해 반복적으로 가짜 데이터를 생성 해야 했다. 나름 자동화

By jerryjung
Kafka Python client 성능 테스트

Kafka Python client 성능 테스트

Kafka는 최근 비동기 시스템 구축이나 대용량 데이터 수집을 위해 반드시 필요한 시스템이 되었다. Python은 빅데이터 처리를 위해 많이 사용되는 언어이기 때문에 Kafka의 데이터를 처리하기 위해 Kafka Python 클라이언트도 많이 사용한다. 다음 기사는 여러 종류의 Kafka Python client 성능 테스트에 대한 결과이다. Python 사용자라면 결과에 관심을 가져볼만 하다. http://activisiongamescience.github.

By 김형준
Presto Kafka connector 개선 실패기

Presto Kafka connector 개선 실패기

이 글은 Presto 관련해서 계속 연재되는 글 중 하나입니다. 이전글을 못보신 분들은 다음 글을 참고하세요. Presto SQL을 이용하여 Kafka topic 데이터 조회하기 Presto, Zeppelin을 이용한 초간단 BI 시스템 구축 사례(1) Presto, Zeppelin을 이용한 초간단 BI 시스템 구축 사례(2)   다 읽고 실망하실 분들을 위해 미리 밝히지만 이글은 실패한 삽질기

By 김형준