본문 바로가기

전체 글

 (1236)
[kafka] kafka connect to es mac(OS X, 특히 Apple Silicon) 환경에서 minikube 위에 Kafka 클러스터를 올려보려고 했는데,이미지 아키텍처 문제로 실행이 안되었다. docker-compose로 진행한다. Kafka 3노드(KRaft) 클러스터 구성먼저 Kafka 3대와 Connect 컨테이너를 올리는 compose 설정이다.version: '3.8'services: kafka-1: image: confluentinc/cp-kafka:7.5.1 platform: linux/arm64 container_name: kafka-1 ports: - "9092:9092" environment: CLUSTER_ID: "HhJtYRlRR5ujD1e5KuBL9Q" ..
ClickHouse - Lightning Fast Analytics for Everyone https://www.vldb.org/pvldb/vol17/p3731-schulze.pdf 1 서론 (INTRODUCTION)ClickHouse는 수조 행·수백 개 컬럼 테이블에 고성능 분석 쿼리를 실행하기 위해 설계된 컬럼 지향 OLAP 데이터베이스다.1. 거대한 데이터와 높은 유입 속도로, 최신 데이터는 빠르게 적재하면서 과거 데이터는 백그라운드에서 집계·아카이브해 부담을 줄이는 것이다.2 많은 동시 쿼리와 낮은 지연 시간으로, 프루닝 등으로 자주 쓰는 쿼리를 최적화하면서 CPU·메모리·디스크·네트워크 I/O를 공정하거나 우선순위 기반으로 나누는 것이다.3 다양한 저장소·위치·포맷과의 통합으로, 어떤 시스템·위치·포맷이든 외부 데이터를 읽고 쓸 수 있을 만큼 개방적인 구조를 갖는 것이다.4 쓰기 편..
[airflow] OpenTelemetry+clickhouse Apache Airflow 모니터링 이번글은 로컬에서 docker-compose 로 진행하였습니다. airflow environment에 다음 설정 추가 # Metrics -> OTLP/HTTP(4318) AIRFLOW__METRICS__OTEL_ON: "True" AIRFLOW__METRICS__OTEL_HOST: "otelcol" AIRFLOW__METRICS__OTEL_PORT: "4318" AIRFLOW__METRICS__OTEL_PREFIX: "airflow" AIRFLOW__METRICS__OTEL_SSL_ACTIVE: "False" # Traces -> OTLP/HTTP(4318) AIRFLOW__TRACES__OTEL_ON: "True" AIRFLOW__TRACES__OTEL..
[redash] 주말마다 죽는 서비스 관찰하기 매주 토/일요일마다 redash가 죽어서 airflow로 쿼리가 실행되는지 확인하는 만들었었다. (healthcheck로는 정상으로 나와서 쿼리 실행으로 확인했다)저번주말에도 서버가 다운되어 pod도 두배로 늘려줬었다. 하지만이번주말에도 사망..대체 왜?! 스케쥴과 큐에는 별다른 로그가 없어서, 또 알수 없는건가.. 하는 찰나redis 에 로그가 남아 있었다. 2025-11-08T18:52:39Z : k8s.node.name : gke-devops-prd-clust-devops-prd-node--c1f89cf3-uh422025-11-08T19:00:04Z : k8s.node.name : gke-devops-prd-clust-devops-prd-node--67b71628-y4z9??????? 노드의 ..
[es] monitoring 설정 GET _cluster/settings?include_defaults=true&filter_path=**.xpack.monitoring.exporters** 결과가 {}(비어 있음)이면,→ Elasticsearch가 모니터링 데이터를 “어디로 보낼지(exporter)” 설정이 전혀 없는 상태입니다.즉, 수집은 켜져 있어도 (collection.enabled: true),데이터를 저장할 대상이 없어서 .monitoring-es-* 인덱스를 만들지 못하고 버리는 상황이에요. GET _cluster/settings?include_defaults=true&filter_path=**.xpack.monitoring.exporters**응답값{} xpack(X-Pack)은 Elasticsearch에 내장된 “부가..
[es] ILM + rollover 설정 1. 하루에 대략 20기가의 메트릭 정보가 쌓이고 있다. 그런데~~ ILM이 설정되어 있지 않았다.[깨끗한 설정값을 보라..]GET metricbeat-*/_settings?filter_path=**.index.lifecycle*응답{} 현재 ES 버전을 확인해보면GET /응답{ "name" : "data-es-coordination", "cluster_name" : "data-es-cluster", ........................... "version" : { "number" : "7.10.2", .................. }, "tagline" : "You Know, for Search"}지금 ES 버전이 7.10.2이기 때문에, ILM(라이프사이클 정책) 과..
[airflow] certified https://academy.astronomer.io/certification-exam-apache-airflow-3-fundamentalshttps://academy.astronomer.io/certification-exam-dag-authoring-airflow-3 airflow 관련 두개의 인증 시험을 봤다. 뭐.. fundamentals는 정말 기초여서 쉬웠고 (공부 안하고 봤더니, 10개나 틀렸다),dag authoring은 airflow3을 기준으로 해서, 강좌와 문서를 보면 쉽게 합격할 수 있다. (하나 틀렷따..ㅋ) 가끔씩 무료로 볼수 있도록 코드가 배포되니, airflow 관련 커뮤니티 잘보고 있으면 코드도 쉽게 얻을수 잇다. (1..
[airflow] Branching 브랜칭은 런타임 조건에 따라 실행 경로를 선택하는 기능쓰임새: 데이터 유효성 검증(있으면 진행/없으면 스킵), 환경별 처리(dev/prod), 시간대별로 다른 경로, 리소스 절감 등.브랜치에 **선택되지 않은 태스크는 실패가 아닌 skipped**로 표시1. @task.branch Decorator해당 테스크의 리턴값으로 다음 task의 분기를 결정. (airflow의 설계 사상에서는 task 내에 if 문으로 처리하기 보다는 각각의 독립된 task를 사용하도록 권장하고 있다. 그래서 branch를 통해서 다음에 어느 task를 실행할지를 결정해야 한다. from airflow import DAGfrom airflow.decorators import taskfrom airflow.operators.emp..

티스토리툴바