본문 바로가기

server/kafka

 (7)
Kafka producer/consumer 튜닝 (acks, batch.size, linger.ms 등) resources: requests: cpu: 500m memory: 512Mi top - 05:43:42 up 1 day, 10:29, 0 users, load average: 0.64, 0.88, 1.29Tasks: 5 total, 1 running, 4 sleeping, 0 stopped, 0 zombie%Cpu(s): 6.8 us, 1.0 sy, 0.0 ni, 91.4 id, 0.2 wa, 0.0 hi, 0.6 si, 0.0 stMiB Mem : 7945.9 total, 805.2 free, 3249.5 used, 3891.1 buff/cacheMiB Swap: 0.0 total, 0.0 free, ..
kafka-reassign-partitions 2번 서버의 디스크가 85% 알람 UI에서 확인 용량이 가장 큰 토픽 확인 뉴레릭에서 확인, 5번서버 널널함2 -> 5번으로 옮기는 작업 필요 ## kafka-reassign-partitions**Apache Kafka에서 파티션의 리더와 복제본을 브로커 간에 재분배(reassignment)** 하기 위한 **관리 도구**Kafka 클러스터는 토픽을 **파티션** 단위로 나누고, 각 파티션은 하나 이상의 **브로커**에 분산 저장됩니다. 하지만 다음과 같은 상황에서 **불균형**이 생길 수 있습니다:* 브로커를 추가했을 때 새 브로커에 파티션이 할당되지 않음* 일부 브로커에 너무 많은 파티션이 몰림 (리더 파티션 포함)* 특정 브로커를 제거하거나 정비하려고 할 때⠀이런 경우에 **파티션을 재배치**해서 ..
fluentd grpc ruby 버전 에러 booted, phase: 0","timestamp":"2025-07-27T04:09:02.32159913Z"}[BUG] Segmentation fault at 0x0000000000000029ruby 3.1.3p185 (2022-11-24 revision 1a6b16756e) [x86_64-linux]-- Control frame information -----------------------------------------------c:0001 p:---- s:0003 e:000002 (none) [FINISH]-- Machine register context ------------------------------------------------ RIP: 0x00007f20478d905f RBP: 0..
ksqldb 1. ksqlDB?ksqlDB는 Apache Kafka®를 위해 특별히 제작된 이벤트 스트리밍 데이터베이스, Kafka 토픽에 저장된 실시간 데이터 스트림을 대상으로, 마치 관계형 데이터베이스(RDB)의 테이블을 다루듯 SQL을 사용하여 데이터를 처리하고 분석할 수 있게 해준다. Java나 Scala 같은 프로그래밍 언어로 복잡한 코드를 작성하는 대신, 선언적인 SQL 구문으로 스트림 처리 애플리케이션을 만들 수 있도록 지원하는 것이 핵심이다. 전통적으로 Kafka의 데이터를 처리하기 위해서는 Kafka Streams나 다른 스트림 처리 프레임워크를 사용하여 복잡한 애플리케이션을 개발해야 했다. 이는 상당한 학습 비용과 개발 시간을 요구했으며, 데이터 분석가나 SQL에 익숙한 개발자들이 스트림 데이터에..
kafka reset offset 먼저 해당 group_id가 존재하는지 확인 ./kafka-consumer-groups --bootstrap-server=localhost:9092 --describe --group my-group offset이 665로 되어 있어, 이전 데이터는 읽을수 없는 상태offset을 0(to-earliest)으로 셋팅하려고 하려 한다. kafka-consumer-groups.sh --bootstrap-server --group --topic --reset-offsets --execute$ kafka-consumer-groups --bootstrap-server localhost:29092 --group my-group --topic my-topic --reset-offsets --to-earliest..
ELK 실습 1. ELK ELK 스택(Elasticsearch, Logstash, Kibana)은 로그 데이터를 모아 저장하고 분석하는 데 아주 유용한 도구다. 시스템 모니터링, 문제 진단, 성능 최적화까지 다양한 상황에서 로그를 효과적으로 다룰 수 있게 도와준다. 로그 분석이 중요한 이유로그 분석은 시스템이 정상적으로 동작하고 있는지 확인하는 기본적인 방법이다. 예상치 못한 장애나 성능 저하가 생겼을 때 빠르게 원인을 찾고 대응할 수 있는 근거도 로그에서 나온다. ELK 스택을 사용하면 로그를 단순히 모으는 데서 끝나지 않고, 실시간으로 분석하고 다양한 시각화까지 할 수 있다. ELK Stack 구성 요소Elasticsearch: 데이터를 저장하고 검색하는 엔진이다. 빠른 검색 속도와 대용량 데이터 처리에 강하다...
kafka -> fluentd -> kafka 로 데이터 전송하기 (local) 이번에 받은 업무가 kafka에 로그 데이터가 있는 것을 fluentd로 consumer 하고 kafka로 다시 전송하는 작업을 진행하기 전에 local에서 테스트 한 코드를 여기에 적는다. (실제 적용은 pub/sub -> fluentd -> kafka 로 되어 있다.)  1. kafka docker-compose로 실행하기 $docker-compose up으로 바로 실행version: '3.8'services: zookeeper: image: confluentinc/cp-zookeeper:7.5.0 container_name: zookeeper environment: ZOOKEEPER_CLIENT_PORT: 2181 ZOOKEEPER_TICK_TIME: 2000 ..

티스토리툴바