세계정복의주인장 (1194) 썸네일형 리스트형 The Power of Ten - Rules for Developing Safety Critical Code The Power of Ten – Rules for Developing Safety Critical Code 대부분의 소프트웨어 개발 프로젝트는 코딩 가이드라인을 사용합니다. 이러한 가이드라인은 소프트웨어가 어떻게 구성되어야 하는지, 어떤 언어 기능을 사용해야 하고 사용하지 말아야 하는지 등 소프트웨어 작성에 대한 기본 규칙을 명시하기 위한 것입니다. 흥미롭게도 좋은 코딩 표준이 무엇인지에 대한 합의가 거의 없습니다. 지금까지 작성된 많은 문서들 중에서 식별할 수 있는 패턴은 거의 없지만, 새로운 문서가 이전 문서보다 길어지는 경향이 있다는 점을 제외하면 현저히 적습니다. 그 결과 대부분의 기존 가이드라인에는 100개가 훨씬 넘는 규칙이 포함되어 있으며, 때로는 정당성이 의심스러운 규칙도 있습니다. 특.. jenkins pipeline이 사라졌다!! 갑자기 잘 돈던 jenkins의 pipeline들이 사라져버렸다. 다행히 기존 freestyle은 살아있어서, 중요한 배치들은 돌아갔지만, 신규로 만든 pipeline의 배치 30개가 말끔하게 사라진상태..뭐지? 하는 마음에 새로운 아이템을 추가를 눌러봤더니 모든 플러그인들을 쓸수 없는 상태였다. jenkins 관리 로 들어가보면 모든 플러그인들의 load에서 Fail이 난 상태.. 시스템 로그에서 보니 workflow-cps, workflow-api 등을 로드 못하면서 관련된 모든 플러그인들이 로드가 안된 상태였다. + 무리하게 job을 돌리면서 OOM이났고, 리부팅 되는 과정에서 기존에 업데이트 되었던 플러그인들의 충동 + jenkins 버전 충돌 콜라보로 기본 플러그인 제외하고 모두 멈춘상태였다... ELK 실습 1. ELK ELK 스택(Elasticsearch, Logstash, Kibana)은 로그 데이터를 모아 저장하고 분석하는 데 아주 유용한 도구다. 시스템 모니터링, 문제 진단, 성능 최적화까지 다양한 상황에서 로그를 효과적으로 다룰 수 있게 도와준다. 로그 분석이 중요한 이유로그 분석은 시스템이 정상적으로 동작하고 있는지 확인하는 기본적인 방법이다. 예상치 못한 장애나 성능 저하가 생겼을 때 빠르게 원인을 찾고 대응할 수 있는 근거도 로그에서 나온다. ELK 스택을 사용하면 로그를 단순히 모으는 데서 끝나지 않고, 실시간으로 분석하고 다양한 시각화까지 할 수 있다. ELK Stack 구성 요소Elasticsearch: 데이터를 저장하고 검색하는 엔진이다. 빠른 검색 속도와 대용량 데이터 처리에 강하다... 백엔드 개발자 + 데이터 엔지니어 면접 질문들 (2025) 저의 이력때문인지, 백엔드로 지원한 회사에서도 AI를 질문한 곳이 많았다.이번엔 mlops / 데이터 엔지니어에 지원을 많이 해서 그쪽으로 질문이 편향되어 있다. + 여러 회사들의 면접에서 받은 질문들에 대한 종합입니다. 손코딩 문제1. arr에서 특정 숫자를 찾는 문제 + 특정 숫자가 여러개 있을 경우에 범위로 리턴하는 문제 2. 특정 arr에서 + 두 수의 합이 target 인 수 찾기 (모두) + 연속된 합이 target인 범위 찾기 (모두) + 수 - index == target인 수 찾기 (모두) --------------------------------------------------------------------------시스템 문제 20G의 이미지가 주어졌을때, .. 이직에 대해서 1. 퇴사(라쓰고 layoff 라 읽는다)솔직히 회사에 실망감이 너무나 컸다.방관하는 상사, 무조건 안된다는 회사, 의미 없는 일, 전혀 성장하지 않는 시간들일하는척하면 돈은 들어오지만 이 회사에 오래 다니고 싶은 생각은 1도 없었다더 정확히는 성장 할 수 없다는 걸 회사 첫날 알았을때부터 이직을 준비 했다.(이렇게 빨리 이직을 준비한 회사는 아마 없을것이다. 회사 출근한지 1시간 30분 만에 이직을 준비했다. - 특히 HR이 최악이였다.) 사람이 많고, 대기업이라고 해도 좋은게 아닌건 알고는 있었다. 대기업이 처음도 아니였고.회바회 / 팀바팀 / 사바사 이니까하지만 무의미한 시간들이 내 인생을 채워질때마다 새로운걸 갈망하는 마음은 언제가 커진다. 백엔드개발자에게 기획과 AI를 시키면서 "자신감을 가지고.. kafka -> fluentd -> kafka 로 데이터 전송하기 (local) 이번에 받은 업무가 kafka에 로그 데이터가 있는 것을 fluentd로 consumer 하고 kafka로 다시 전송하는 작업을 진행하기 전에 local에서 테스트 한 코드를 여기에 적는다. (실제 적용은 pub/sub -> fluentd -> kafka 로 되어 있다.) 1. kafka docker-compose로 실행하기 $docker-compose up으로 바로 실행version: '3.8'services: zookeeper: image: confluentinc/cp-zookeeper:7.5.0 container_name: zookeeper environment: ZOOKEEPER_CLIENT_PORT: 2181 ZOOKEEPER_TICK_TIME: 2000 .. Elasticsearch k-NN 알고리즘 자연어 처리(NLP) 시스템, 추천 엔진, 검색 기반 시스템과 같은 머신 러닝(ML) 애플리케이션을 구축할 때, 일정 수준 이상의 규모가 되면 k-Nearest Neighbor(k-NN) 검색을 활용된다. 데이터가 수억 개에서 수십억 개까지 늘어나면, k-NN 검색을 확장하는 것이 큰 도전 과제가 된다.이러한 문제를 해결하기 위해 Approximate k-Nearest Neighbor (ANN) 검색이 등장했다. ANN은 k-NN 문제의 일부 제약을 완화함으로써 검색 속도를 획기적으로 줄일 수 있는 방법을 제공한다. 벡터 검색을 이해하는 쉬운 방법은 전통적인 어휘 검색(Lexical Search) 과 비교해보자. 우리가 익숙한 엘라스틱서치의 어휘 검색은 사용자가 입력한 단어나 그 변형(어간, 동의어 등).. airflow + dbt 를 활용한 데이터 파이프라인 데이터 웨어하우스에서 데이터를 변환하고 모델링하는 작업은 SQL을 작성하고, 파이프라인을 구축하고, 테스트하는 모든 과정하나하나 코드로 작성해야 했다. 나의 경우엔 예전에 포스팅했던 NES(notebook 환경)를 통해서 데이터 파이프 라인 작업을 하지만 가장 큰 문제가 정합성과 테스트가 문제였다. (+데이터 카탈로그의 부재도 한몫한다)파이썬 + sql + numpy로 동작하는 작업에서 저장되는 데이터가 한곳이 아닌 여러곳이였으며(심지어 외부 저장소도 있었다.. ) 데이터 정합성과 실패에 대한 대책을 코드로 하다보니, 데이터 칼럼이 변경되거나, 로직이 변경되면 난리도 아니였다. (변경되는 해당 칼럼이 적용된 파이프라인만 찾는것도 하루가 걸린적이..)그래서 찾아보다가 dbt를 사용해서 transform을.. 이전 1 2 3 4 ··· 150 다음
