kafka-reassign-partitions

 

 

 

2번 서버의 디스크가 85% 알람 
UI에서 확인 용량이 가장 큰 토픽 확인 

뉴레릭에서 확인, 5번서버 널널함

2 -> 5번으로 옮기는 작업 필요 

## kafka-reassign-partitions
**Apache Kafka에서 파티션의 리더와 복제본을 브로커 간에 재분배(reassignment)** 하기 위한 **관리 도구**
Kafka 클러스터는 토픽을 **파티션** 단위로 나누고, 각 파티션은 하나 이상의 **브로커**에 분산 저장됩니다. 하지만 다음과 같은 상황에서 **불균형**이 생길 수 있습니다:
* 브로커를 추가했을 때 새 브로커에 파티션이 할당되지 않음
* 일부 브로커에 너무 많은 파티션이 몰림 (리더 파티션 포함)
* 특정 브로커를 제거하거나 정비하려고 할 때

⠀이런 경우에 **파티션을 재배치**해서 부하를 분산시키는 데 사용합니다.

# 주의사항
* 실행 중인 파티션 이동은 **네트워크 및 디스크 I/O**를 유발하므로 **부하가 적을 때** 수행하는 것이 좋습니다.
* 이동 중에는 해당 파티션의 **리더가 전환**될 수 있으며, 일부 성능 저하가 발생할 수 있습니다.



json 설정 파일
‘’’
{
"version" : 1,
"partitions" : [
  {"topic" : "cashslide", "partition" : 0, "replicas" : [1,4]},
  {"topic" : "cashslide", "partition" : 1, "replicas" : [4,5]},
  {"topic" : "cashslide", "partition" : 2, "replicas" : [2,3]}
]
}
‘’’

실행
kafka-reassign-partitions --reassignment-json-file /home/devops/cashslide_reassign.json --bootstrap-server data-prd-gce-kafka-01:9092, data-prd-gce-kafka-02:9092,data-prd-gce-kafka-03:9092, data-prd-gce-kafka-04:9092, data-prd-gce-kafka-05:9092 --execute



진행 확인
kafka-reassign-partitions --bootstrap-server data-prd-gce-kafka-01:9092, data-prd-gce-kafka-02:9092,data-prd-gce-kafka-03:9092, data-prd-gce-kafka-04:9092, data-prd-gce-kafka-05:9092 --reassignment-json-file cashslide_reassign.json  --verify

 

 

완료 확인 (혹은 ui에서도 확인 가능)
kafka-topics --bootstrap-server data-prd-gce-kafka-01:9092, data-prd-gce-kafka-02:9092,data-prd-gce-kafka-03:9092, data-prd-gce-kafka-04:9092, data-prd-gce-kafka-05:9092 --topic cashslide --describe

 

 

 

용량 확인