server/system design (29) 썸네일형 리스트형 [airflow] OpenTelemetry+clickhouse Apache Airflow 모니터링 이번글은 로컬에서 docker-compose 로 진행하였습니다. airflow environment에 다음 설정 추가 # Metrics -> OTLP/HTTP(4318) AIRFLOW__METRICS__OTEL_ON: "True" AIRFLOW__METRICS__OTEL_HOST: "otelcol" AIRFLOW__METRICS__OTEL_PORT: "4318" AIRFLOW__METRICS__OTEL_PREFIX: "airflow" AIRFLOW__METRICS__OTEL_SSL_ACTIVE: "False" # Traces -> OTLP/HTTP(4318) AIRFLOW__TRACES__OTEL_ON: "True" AIRFLOW__TRACES__OTEL.. [redash] 주말마다 죽는 서비스 관찰하기 매주 토/일요일마다 redash가 죽어서 airflow로 쿼리가 실행되는지 확인하는 만들었었다. (healthcheck로는 정상으로 나와서 쿼리 실행으로 확인했다)저번주말에도 서버가 다운되어 pod도 두배로 늘려줬었다. 하지만이번주말에도 사망..대체 왜?! 스케쥴과 큐에는 별다른 로그가 없어서, 또 알수 없는건가.. 하는 찰나redis 에 로그가 남아 있었다. 2025-11-08T18:52:39Z : k8s.node.name : gke-devops-prd-clust-devops-prd-node--c1f89cf3-uh422025-11-08T19:00:04Z : k8s.node.name : gke-devops-prd-clust-devops-prd-node--67b71628-y4z9??????? 노드의 .. [논문] Lakehouse: A New Generation of Open Platforms that Unify Data Warehousing and Advanced Analytics https://www.cidrdb.org/cidr2021/papers/cidr2021_paper17.pdf 본 문서는 기존의 데이터 웨어하우스와 데이터 레이크의 한계를 극복하고자 레이크하우스(Lakehouse)라는 새로운 데이터 아키텍처를 제안합니다. 데이터 웨어하우스가 데이터 사일로, 높은 비용, 제한된 확장성 등의 문제를 겪는 반면, 데이터 레이크는 데이터 품질 및 거버넌스 부족, 분석 성능 저하와 같은 단점을 가진다고 지적합니다. 레이크하우스는 오픈 데이터 형식을 기반으로 하여 기계 학습 및 데이터 과학 워크로드를 지원하며, 데이터 웨어하우스의 성능 및 관리 기능을 통합하여 이러한 문제를 해결하며 복잡성을 줄이고, 데이터의 신뢰성, 최신성, 그리고 고급 분석 지원을 향상시키는 것을 목표로 합니다... Elasticsearch k-NN 알고리즘 자연어 처리(NLP) 시스템, 추천 엔진, 검색 기반 시스템과 같은 머신 러닝(ML) 애플리케이션을 구축할 때, 일정 수준 이상의 규모가 되면 k-Nearest Neighbor(k-NN) 검색을 활용된다. 데이터가 수억 개에서 수십억 개까지 늘어나면, k-NN 검색을 확장하는 것이 큰 도전 과제가 된다.이러한 문제를 해결하기 위해 Approximate k-Nearest Neighbor (ANN) 검색이 등장했다. ANN은 k-NN 문제의 일부 제약을 완화함으로써 검색 속도를 획기적으로 줄일 수 있는 방법을 제공한다. 벡터 검색을 이해하는 쉬운 방법은 전통적인 어휘 검색(Lexical Search) 과 비교해보자. 우리가 익숙한 엘라스틱서치의 어휘 검색은 사용자가 입력한 단어나 그 변형(어간, 동의어 등).. 인터넷 연결이 안되었는데 youtube 페이지는 어떻게 나오는걸까? 1. 인터넷을 연결해주세요나는 항상 모뎀을 끄고 다닌다. 굳이 내가 없는 집에 전기세가 아까우니까. 집에 와서 컴퓨터를 키면 몇 초 정도 인터넷이 되지 않아, 유투브에 들어가면 위와 같은 화면이 나를 반긴다. 근데...인터넷이 연결되지 않았는데 어떻게 화면이 그려지지??? 답은 캐싱이다. 더 정확히는 서비스 워커를 이용한 캐싱이다. 서비스 워커는 웹사이트의 리소스(HTML, CSS, JavaScript, 이미지 등)를 브라우저의 캐시에 저장하고, 오프라인 상태에서도 이 캐시된 리소스를 사용할 수 있게 한다. 유투브 이름으로 된 저장소를 보면 offline상태에서 실행되는 js를 확인할수 있다. 2. 서비스 워커(Service Worker)서비스 워커는 웹 애플리케이션의 성능을 향상시키고, 오프라인 기능.. [3] 이력서 챗봇 만들기 - postgreSQL pg_vector LLM에서 출력되는 벡터를 저장하고 검색하기 위해서 postgreSQL을 사용하여 벡터 검색을 하려 한다.먼저 postgreSQL은 RDS를 사용할것이다! (1년간 무료!)접속은 ec2에서만 접근가능하도록 퍼블릭 연결은 차단한다.1. 설치 ec2에서 먼서 postgreSQL 패키지 설치를 해야 한다.pgvector extension를 ec2에 설치 후 해당 설치 파일을 postgreSQL에 설치하는 방식이다.$ sudo apt update$ sudo apt install postgresql postgresql-contrib### pgvector 직접 설치$ sudo apt install postgresql-server-dev-16$ cd /tmp$ git clone --branch v0.8.0 https.. fastapi로 server sent event 구현 실습 실시간 주식 데이터를 제공하는 서비스를 생각해보자. 해당 데이터는 주식 시작과 함께 끊임없이 데이터가 변경된다. 그리고 해당 화면을 보는 유저는 계속해서 데이터를 제공받아야 한다.클아이언트와 서버 개발자는 이걸 어떻게 개발해야 할까? (1초마다 데이터를 갱신한다고 가정하겠다.) 아마도 아래의 두가지를 생각할수 있다.1. 1초마다 서버에 get 요청을 받은 후 화면 갱신2. 스트림 데이터를 통해 1초마다 데이터를 받은 후 화면 갱신 1번 "1초마다 서버에 get 요청을 받은 후 화면 갱신" 일 경우 http 커넥션이 계속해서 발생하게 된다. 통신은 기본적으로 steless이므로 서버는 어떤 사용자가 어떤 데이터를 원하는지 계속해서 탐색해야 하는 상황이 된다. 2번 "스트림 데이터를 통해 1초마다 데이터.. [2] 챗봇 프론트 화면을 만들어보자. 이번에는 리액트로 간단한 채팅 창을 만들어보고 배포하려고 합니다.간단하게 챗GPT의 화면과 비슷하게 만들었습니다. 1. 리액트 코드 먼저, 프로젝트를 설정하기 위해 다음 명령어를 사용하여 새로운 리액트 애플리케이션을 생성npx create-react-app chat-appcd chat-app src/App.jsimport React, { useState, useEffect, useRef } from "react";import "./App.css";function App() { const [messages, setMessages] = useState([]); const [inputValue, setInputValue] = useState(""); const messagesEndRef = useRef(.. 이전 1 2 3 4 다음
