server/kafka (2) 썸네일형 리스트형 ELK 실습 1. ELK ELK 스택(Elasticsearch, Logstash, Kibana)은 로그 데이터를 모아 저장하고 분석하는 데 아주 유용한 도구다. 시스템 모니터링, 문제 진단, 성능 최적화까지 다양한 상황에서 로그를 효과적으로 다룰 수 있게 도와준다. 로그 분석이 중요한 이유로그 분석은 시스템이 정상적으로 동작하고 있는지 확인하는 기본적인 방법이다. 예상치 못한 장애나 성능 저하가 생겼을 때 빠르게 원인을 찾고 대응할 수 있는 근거도 로그에서 나온다. ELK 스택을 사용하면 로그를 단순히 모으는 데서 끝나지 않고, 실시간으로 분석하고 다양한 시각화까지 할 수 있다. ELK Stack 구성 요소Elasticsearch: 데이터를 저장하고 검색하는 엔진이다. 빠른 검색 속도와 대용량 데이터 처리에 강하다... kafka -> fluentd -> kafka 로 데이터 전송하기 (local) 이번에 받은 업무가 kafka에 로그 데이터가 있는 것을 fluentd로 consumer 하고 kafka로 다시 전송하는 작업을 진행하기 전에 local에서 테스트 한 코드를 여기에 적는다. (실제 적용은 pub/sub -> fluentd -> kafka 로 되어 있다.) 1. kafka docker-compose로 실행하기 $docker-compose up으로 바로 실행version: '3.8'services: zookeeper: image: confluentinc/cp-zookeeper:7.5.0 container_name: zookeeper environment: ZOOKEEPER_CLIENT_PORT: 2181 ZOOKEEPER_TICK_TIME: 2000 .. 이전 1 다음
