전체 글 (1239) 썸네일형 리스트형 elastic search heap memory 확보하기 1. 원인 파악하기 GET _cluster/health?prettyGET _cat/shards?v................"current_state" : "unassigned",................"details" : "... nested: CircuitBreakingException[[parent] Data too large, data for [internal:index/shard/recovery/start_recovery] would be [16763448606/15.6gb], which is larger than the limit of [16320875724/15.1gb] ..." CircuitBreakingException: 메모리 차단기 발동! ES가 OOM(Out Of Memor.. Elasticsearch 노드 간 디스크 불균형 문제 최근 운영 중인 Elasticsearch 클러스터에서 아침에 계속 알림이 울려됬다. 디스크 용량을 85% 이상치로 잡았는데, 계속 알림이 오고 있었다. Duration0 minimpacted entity (Target)data-prd-es-09-dataconditionDISK USAGES - 85%policyDataPlatform System PolicyIssue name (Threshold)Disk Used % > 85.0 for at least 2 minutes on 'data-prd-es-09-data' 해당 es는 데이터 서버가 4대로 구성되어 있다. 그중에서 9번에만 남은 용량이 없는것 샤드 수는 절반인데, 디스크는 다른 노드와 비슷하거나 더 높다.노드샤드수디스크 사용률디스크 남은 용량g-.. [kafka] KIP-98 Exactly Once Delivery and Transactional Messaging https://cwiki.apache.org/confluence/display/KAFKA/KIP-98+-+Exactly+Once+Delivery+and+Transactional+Messaging KIP-98 - Exactly Once Delivery and Transactional Messaging - Apache Kafka - Apache Software Foundation[This KIP proposal is a joint work between Jason Gustafson, Flavio Paiva Junqueira, Apurva Mehta, Sriram, and Guozhang Wang] Status Current state: Adopted Discussion thread: http://searc.. [kafka] kafka connect to es mac(OS X, 특히 Apple Silicon) 환경에서 minikube 위에 Kafka 클러스터를 올려보려고 했는데,이미지 아키텍처 문제로 실행이 안되었다. docker-compose로 진행한다. Kafka 3노드(KRaft) 클러스터 구성먼저 Kafka 3대와 Connect 컨테이너를 올리는 compose 설정이다.version: '3.8'services: kafka-1: image: confluentinc/cp-kafka:7.5.1 platform: linux/arm64 container_name: kafka-1 ports: - "9092:9092" environment: CLUSTER_ID: "HhJtYRlRR5ujD1e5KuBL9Q" .. ClickHouse - Lightning Fast Analytics for Everyone https://www.vldb.org/pvldb/vol17/p3731-schulze.pdf 1 서론 (INTRODUCTION)ClickHouse는 수조 행·수백 개 컬럼 테이블에 고성능 분석 쿼리를 실행하기 위해 설계된 컬럼 지향 OLAP 데이터베이스다.1. 거대한 데이터와 높은 유입 속도로, 최신 데이터는 빠르게 적재하면서 과거 데이터는 백그라운드에서 집계·아카이브해 부담을 줄이는 것이다.2 많은 동시 쿼리와 낮은 지연 시간으로, 프루닝 등으로 자주 쓰는 쿼리를 최적화하면서 CPU·메모리·디스크·네트워크 I/O를 공정하거나 우선순위 기반으로 나누는 것이다.3 다양한 저장소·위치·포맷과의 통합으로, 어떤 시스템·위치·포맷이든 외부 데이터를 읽고 쓸 수 있을 만큼 개방적인 구조를 갖는 것이다.4 쓰기 편.. [airflow] OpenTelemetry+clickhouse Apache Airflow 모니터링 이번글은 로컬에서 docker-compose 로 진행하였습니다. airflow environment에 다음 설정 추가 # Metrics -> OTLP/HTTP(4318) AIRFLOW__METRICS__OTEL_ON: "True" AIRFLOW__METRICS__OTEL_HOST: "otelcol" AIRFLOW__METRICS__OTEL_PORT: "4318" AIRFLOW__METRICS__OTEL_PREFIX: "airflow" AIRFLOW__METRICS__OTEL_SSL_ACTIVE: "False" # Traces -> OTLP/HTTP(4318) AIRFLOW__TRACES__OTEL_ON: "True" AIRFLOW__TRACES__OTEL.. [redash] 주말마다 죽는 서비스 관찰하기 매주 토/일요일마다 redash가 죽어서 airflow로 쿼리가 실행되는지 확인하는 만들었었다. (healthcheck로는 정상으로 나와서 쿼리 실행으로 확인했다)저번주말에도 서버가 다운되어 pod도 두배로 늘려줬었다. 하지만이번주말에도 사망..대체 왜?! 스케쥴과 큐에는 별다른 로그가 없어서, 또 알수 없는건가.. 하는 찰나redis 에 로그가 남아 있었다. 2025-11-08T18:52:39Z : k8s.node.name : gke-devops-prd-clust-devops-prd-node--c1f89cf3-uh422025-11-08T19:00:04Z : k8s.node.name : gke-devops-prd-clust-devops-prd-node--67b71628-y4z9??????? 노드의 .. [es] monitoring 설정 GET _cluster/settings?include_defaults=true&filter_path=**.xpack.monitoring.exporters** 결과가 {}(비어 있음)이면,→ Elasticsearch가 모니터링 데이터를 “어디로 보낼지(exporter)” 설정이 전혀 없는 상태입니다.즉, 수집은 켜져 있어도 (collection.enabled: true),데이터를 저장할 대상이 없어서 .monitoring-es-* 인덱스를 만들지 못하고 버리는 상황이에요. GET _cluster/settings?include_defaults=true&filter_path=**.xpack.monitoring.exporters**응답값{} xpack(X-Pack)은 Elasticsearch에 내장된 “부가.. 이전 1 2 3 4 ··· 155 다음
