세계정복의주인장 (1241) 썸네일형 리스트형 [python] zookeeper 를 구현해보자 - 대표 선출 (1) 지금부터는 이전에 만든 start_server() 함수 안에 들어갈 리더 선출 로직과 메시지 처리 (handle_message()) 중심으로 설계하고 코드를 작성하겠습니다.✅ 전체 구조 요약각 서버는 고유 ID를 가지고 실행모든 서버는 socket으로 수신 대기 (accept() loop)선거가 시작되면 ELECTION 메시지를 자기보다 높은 ID 서버에 보냄응답(OK)이 오면 대기, 안 오면 자신이 리더자신이 리더가 되면 모든 서버에 COORDINATOR 전송 # server.pyimport socketimport threadingimport timeHOST = '127.0.0.1'class Server: def __init__(self, server_id, all_ports): se.. 나의 마지막 여행 - 아이슬란드 11/20태어나서 처음 비행기표를 샀다. 물론 친구가 이거 사라고 링크까지 줬지만... 어려웠다.좌석 옮기고, 수화물 따로 선택하고처음 발을 디뎠다 11/25여행계획나는 이번에 절대 계획에 관여 안하기로 했다. (했다면 J의 특성상 하드한 여행이 될것이야!!!)시키는 대로 흘러가는대로 가만히 있었다. 근데 아이슬란드 종주가 되어버렸다..ㅜㅡㅜ 1일차 https://www.google.com/maps/dir/Keflavik+International+Airport,+Iceland/Gullfoss,+Iceland/Reykjavik,+Iceland2일차 https://www.google.com/maps/dir/Reykjavik,+Iceland/Skogafoss,+Iceland/Dyrholaey,+Icelan.. elastic search heap memory 확보하기 1. 원인 파악하기 GET _cluster/health?prettyGET _cat/shards?v................"current_state" : "unassigned",................"details" : "... nested: CircuitBreakingException[[parent] Data too large, data for [internal:index/shard/recovery/start_recovery] would be [16763448606/15.6gb], which is larger than the limit of [16320875724/15.1gb] ..." CircuitBreakingException: 메모리 차단기 발동! ES가 OOM(Out Of Memor.. Elasticsearch 노드 간 디스크 불균형 문제 최근 운영 중인 Elasticsearch 클러스터에서 아침에 계속 알림이 울려됬다. 디스크 용량을 85% 이상치로 잡았는데, 계속 알림이 오고 있었다. Duration0 minimpacted entity (Target)data-prd-es-09-dataconditionDISK USAGES - 85%policyDataPlatform System PolicyIssue name (Threshold)Disk Used % > 85.0 for at least 2 minutes on 'data-prd-es-09-data' 해당 es는 데이터 서버가 4대로 구성되어 있다. 그중에서 9번에만 남은 용량이 없는것 샤드 수는 절반인데, 디스크는 다른 노드와 비슷하거나 더 높다.노드샤드수디스크 사용률디스크 남은 용량g-.. [kafka] KIP-98 Exactly Once Delivery and Transactional Messaging https://cwiki.apache.org/confluence/display/KAFKA/KIP-98+-+Exactly+Once+Delivery+and+Transactional+Messaging KIP-98 - Exactly Once Delivery and Transactional Messaging - Apache Kafka - Apache Software Foundation[This KIP proposal is a joint work between Jason Gustafson, Flavio Paiva Junqueira, Apurva Mehta, Sriram, and Guozhang Wang] Status Current state: Adopted Discussion thread: http://searc.. [kafka] kafka connect to es mac(OS X, 특히 Apple Silicon) 환경에서 minikube 위에 Kafka 클러스터를 올려보려고 했는데,이미지 아키텍처 문제로 실행이 안되었다. docker-compose로 진행한다. Kafka 3노드(KRaft) 클러스터 구성먼저 Kafka 3대와 Connect 컨테이너를 올리는 compose 설정이다.version: '3.8'services: kafka-1: image: confluentinc/cp-kafka:7.5.1 platform: linux/arm64 container_name: kafka-1 ports: - "9092:9092" environment: CLUSTER_ID: "HhJtYRlRR5ujD1e5KuBL9Q" .. ClickHouse - Lightning Fast Analytics for Everyone https://www.vldb.org/pvldb/vol17/p3731-schulze.pdf 1 서론 (INTRODUCTION)ClickHouse는 수조 행·수백 개 컬럼 테이블에 고성능 분석 쿼리를 실행하기 위해 설계된 컬럼 지향 OLAP 데이터베이스다.1. 거대한 데이터와 높은 유입 속도로, 최신 데이터는 빠르게 적재하면서 과거 데이터는 백그라운드에서 집계·아카이브해 부담을 줄이는 것이다.2 많은 동시 쿼리와 낮은 지연 시간으로, 프루닝 등으로 자주 쓰는 쿼리를 최적화하면서 CPU·메모리·디스크·네트워크 I/O를 공정하거나 우선순위 기반으로 나누는 것이다.3 다양한 저장소·위치·포맷과의 통합으로, 어떤 시스템·위치·포맷이든 외부 데이터를 읽고 쓸 수 있을 만큼 개방적인 구조를 갖는 것이다.4 쓰기 편.. [airflow] OpenTelemetry+clickhouse Apache Airflow 모니터링 이번글은 로컬에서 docker-compose 로 진행하였습니다. airflow environment에 다음 설정 추가 # Metrics -> OTLP/HTTP(4318) AIRFLOW__METRICS__OTEL_ON: "True" AIRFLOW__METRICS__OTEL_HOST: "otelcol" AIRFLOW__METRICS__OTEL_PORT: "4318" AIRFLOW__METRICS__OTEL_PREFIX: "airflow" AIRFLOW__METRICS__OTEL_SSL_ACTIVE: "False" # Traces -> OTLP/HTTP(4318) AIRFLOW__TRACES__OTEL_ON: "True" AIRFLOW__TRACES__OTEL.. 이전 1 2 3 4 ··· 156 다음