본문 바로가기

server

 (71)
[paper] Beyond Semantic Similarity: Rethinking Retrieval for Agentic Search via Direct Corpus Interaction 이번주 아무거나 논문 Beyond Semantic Similarity: Rethinking Retrieval for Agentic Search via Direct Corpus Interactionhttps://arxiv.org/pdf/2605.052421. 요약- Agentic Search에서 검색 품질의 병목은 단순히 embedding/retriever 성능이 아니라, 에이전트가 코퍼스에 접근하는 인터페이스의 해상도에 있다고 주장- 기존 RAG처럼 top-k 문서를 받아오는 방식 대신, 에이전트가 grep, find, bash, 파일 읽기 같은 터미널 도구로 원본 코퍼스를 직접 탐색하는 Direct Corpus Interaction, DCI를 제안 2. 기존 문제점 - 기존 RAG 흐름 문서 chun..
[paper] Workload Insights From The Snowflake Data Cloud: What DoProduction Analytic Queries Really Look Like? 심심해서 본 논문 요약 Workload Insights From The Snowflake Data Cloud: What DoProduction Analytic Queries Really Look Like?https://vldb.org/pvldb/vol18/p5126-bress.pdf논문은 Snowflake에서 실행된 실제 BI 쿼리 6억 6,700만 개를 분석해, SELECT, JOIN, WHERE, GROUP BY, ORDER BY, LIMIT 같은 SQL 패턴이 실제로 어떻게 사용되는지 확인 1. 분석시 SELECT만 하지 않는다.- 전체 쿼리 유형에서 SELECT가 47%, SHOW가 31% 전체의 78%가 읽기 중심.- 실제 데이터를 조회하기 전에 대시보드 구성, 필드 목록 확인, 권한 확인, 테..
[kafka] KIP-98 Exactly Once Delivery and Transactional Messaging https://cwiki.apache.org/confluence/display/KAFKA/KIP-98+-+Exactly+Once+Delivery+and+Transactional+Messaging KIP-98 - Exactly Once Delivery and Transactional Messaging - Apache Kafka - Apache Software Foundation[This KIP proposal is a joint work between Jason Gustafson, Flavio Paiva Junqueira, Apurva Mehta, Sriram, and Guozhang Wang] Status Current state: Adopted Discussion thread: http://searc..
[kafka] kafka connect to es mac(OS X, 특히 Apple Silicon) 환경에서 minikube 위에 Kafka 클러스터를 올려보려고 했는데,이미지 아키텍처 문제로 실행이 안되었다. docker-compose로 진행한다. Kafka 3노드(KRaft) 클러스터 구성먼저 Kafka 3대와 Connect 컨테이너를 올리는 compose 설정이다.version: '3.8'services: kafka-1: image: confluentinc/cp-kafka:7.5.1 platform: linux/arm64 container_name: kafka-1 ports: - "9092:9092" environment: CLUSTER_ID: "HhJtYRlRR5ujD1e5KuBL9Q" ..
[airflow] OpenTelemetry+clickhouse Apache Airflow 모니터링 이번글은 로컬에서 docker-compose 로 진행하였습니다. airflow environment에 다음 설정 추가 # Metrics -> OTLP/HTTP(4318) AIRFLOW__METRICS__OTEL_ON: "True" AIRFLOW__METRICS__OTEL_HOST: "otelcol" AIRFLOW__METRICS__OTEL_PORT: "4318" AIRFLOW__METRICS__OTEL_PREFIX: "airflow" AIRFLOW__METRICS__OTEL_SSL_ACTIVE: "False" # Traces -> OTLP/HTTP(4318) AIRFLOW__TRACES__OTEL_ON: "True" AIRFLOW__TRACES__OTEL..
[redash] 주말마다 죽는 서비스 관찰하기 매주 토/일요일마다 redash가 죽어서 airflow로 쿼리가 실행되는지 확인하는 만들었었다. (healthcheck로는 정상으로 나와서 쿼리 실행으로 확인했다)저번주말에도 서버가 다운되어 pod도 두배로 늘려줬었다. 하지만이번주말에도 사망..대체 왜?! 스케쥴과 큐에는 별다른 로그가 없어서, 또 알수 없는건가.. 하는 찰나redis 에 로그가 남아 있었다. 2025-11-08T18:52:39Z : k8s.node.name : gke-devops-prd-clust-devops-prd-node--c1f89cf3-uh422025-11-08T19:00:04Z : k8s.node.name : gke-devops-prd-clust-devops-prd-node--67b71628-y4z9??????? 노드의 ..
2. airflow + dbt 이 예제는 개발(로컬/경량)–운영(클라우드/규모) 분리를 전제로 한다.개발/속도: DuckDB 어댑터로 빠르게 모델을 검증하고, seed·단위테스트 중심으로 피드백 루프를 짧게 한다.운영/확장: BigQuery를 타깃으로 외부 테이블(원천: GCS) → staging → mart의 표준 3계층을 구축한다. 스토리지-컴퓨트 분리를 활용해 대용량에도 비용/성능 균형을 맞춘다. 디렉토리 구조 airflow-dbt-demo/├─ docker-compose.yml├─ .env ├─ airflow/│ ├─ Dockerfile│ ├─ requirements.txt│ ├─ dags/│ └─ dbt_duckdb_demo.py└─ dbt/ └─ demo_dbt/ ..
1. dbt tutorial 왜 dbt인가, 그리고 언제 써야 하나데이터 팀은 보통 원천 데이터를 웨어하우스로 옮긴 뒤 SQL로 정제하고, 지표를 만들어 대시보드·분석에 제공합니다. 이 과정이 커질수록 SQL 스크립트가 여기저기 흩어지고, 의존성·버전관리·테스트가 어려워집니다. dbt(Data Build Tool) 는 이 문제를 해결하기 위한 표준 도구입니다.SQL 변환을 코드로 관리하고, ref()로 의존 그래프를 안전하게 만들며, 테스트·문서화·라인리지를 자동화합니다. PR 기반 협업과 CI/CD도 용이합니다.다음을 기준으로 사용하면 좋습니다.웨어하우스(BigQuery/Snowflake/Redshift/DuckDB 등) 안에서 SQL 기반 변환을 할 때모델 수가 늘어나 의존성/품질 관리가 중요할 때대시보드 지표 정의를 코드로 명..

티스토리툴바