본문 바로가기

전체 글

 (1181)
[k8s] nginx pod * 200개를 띄울수 있나요? k8s (minikube) 에서 과연 몇개의 pod까지 띄울수 있을까?나는 순진하게 무한대라고 생각했다. 정확히는 서버의 자원이 허락하는한 무한히 띄울수 있다고 생각했다.일단 테스트 시작 apiVersion: apps/v1kind: Deploymentmetadata: name: smallest-web-serverspec: replicas: 2 # 두 개의 Pod를 생성합니다. selector: matchLabels: app: web-server template: metadata: labels: app: web-server spec: containers: - name: web-server image: nginx:alpin..
[AWS] 1. IAM 참고사항https://www.udemy.com/course/aws-certified-developer-associate-dva-c01   1. IAM (Identify and Access Management)사용자와 그룹을 통해 최소한의 권한만을 할당하여 서비스 이용 - 기본 계정은 root로 사용하면 안됨 (오직 관리용)- users :  사용자들이 사용하는 계정, 해당 계정마다 권한을 할당- groups : user를 group에 포함하여 group마다 권한 할당 (단, gorup안에 group은 포함 불가 / 오직 user만 포함) 2. IAM policyAWS에서는 최소 권한의 원칙(least privilege principle)을 권고. 사용자가 꼭 필요로 하는 것 이상의 권한을 주지 않을것{ ..
aws 로드밸런서에 대해서 설명하세요. - aws alb에 연결할수 있는 최대 갯수는 1000개이다.- aws lb는 총 4가지가 있다alb : L7NLB : L4GLB : L3CLB: L4 & L7 을 제공한다.  네트워크의 OSI (Open Systems Interconnection) 모델은 일곱 개의 계층으로 구성되어 있다. 각 계층은 특정한 역할과 기능을 담당하고 있으며, 데이터 통신 과정을 단계적으로 처리한다.Application Layer (응용 계층):사용자와 응용 프로그램 간의 통신을 담당사용자 인터페이스 및 데이터 전송을 지원HTTP, HTTPS, FTP, SMTP, DNS 등Presentation Layer (표현 계층):데이터를 응용 계층에 적합한 형식으로 변환하고, 암호화 및 복호화를 처리데이터의 인코딩, 압축, 형식 변..
[논문 리뷰] RoBERTa: A Robustly Optimized BERT Pretraining Approach https://arxiv.org/pdf/1907.11692 결론기존 BERT 성능을 다음을 통해 향상 시킬 수 있었음• 더 많은 데이터에 대한 더 큰 배치 사이즈를 사용해 더 오래 학습• NSP 삭제• Dynamic Masking• 더 많은 sequence로 학습을 통해성능 향상    요약언어 모델 사전 학습은 상당한 성능 향상을 가져왔지만 다양한 접근 방식을 신중하게 비교하기는 어렵습니다. 훈련은 계산 비용이 많이 들고, 종종 다양한 크기의 비공개 데이터 세트에서 수행되며, 많은 주요 하이퍼파라미터와 학습 데이터 크기의 영향을 측정합니다. 그 결과, BERT는 훈련이 상당히 부족했으며, 그 이후에 발표된 모든 모델의 성능과 일치하거나 능가할 수 있는 것으로 나타났습니다.이전에 간과되었던 설계 선택의 중..
rabbitmq 심화 (persistent / cluster) rabbitmq persistentdelivery_mode는 RabbitMQ에서 메시지의 배달 모드를 지정하는 데 사용되는 옵션. 이 옵션은 메시지를 메모리에만 저장할지 아니면 디스크에 영구적으로 저장할지를 결정Transient메시지를 메모리에만 저장. RabbitMQ가 종료되면 메모리에 있는 메시지는 모두 삭제됨메시지는 RabbitMQ 서버의 메모리에서만 보관되므로 메모리가 부족한 경우 메시지 손실이 발생할 수 있음메시지를 가장 빠르게 처리하고자 할 때 사용Persistent메시지를 디스크에 저장. RabbitMQ가 종료되어도 메시지는 디스크에 보존됨.메시지를 디스크에 영구적으로 저장하여 메시지 손실을 방지할 수 있으며 재부팅 후에도 메시지가 유지되므로 안정성을 높일 수 있다.메시지의 지속성이 중요하고..
rabbitmq start docker-compose.yamlversion: "3"services: rabbitmq: image: rabbitmq:3-management-alpine container_name: rabbitmq-stream volumes: - ./etc/:/etc/rabbitmq/ - ./data/:/var/lib/rabbitmq/ - ./logs/:/var/log/rabbitmq/ ports: - "5672:5672" - "15672:15672" environment: RABBITMQ_ERLANG_COOKIE: "RabbitMQ-test" RABBITMQ_DEFAULT_USER: "admin" RABBITMQ_DE..
ml를 쉽게 쓰기 위한 프론트 작업 몇주전 위의 영상을 보고 충격을 받았었다.내가 원하는건 "신기술을 통한 제품"을 만드는게 아니라 "사용자가 사용하기 쉬운 서비스"가 목표였었는데 말이다."너무 기술에만 매몰되어 있었을까?"하는 생각과 함께 누구나 접근하기 쉽게 하자는 생각이 들었다. 현재 팀에서는 LLM에 대한걸 내가 주도적으로 만들고, 기획자나 라벨러분들의 의견을 코딩하고, 결과값만 보여주는 형식으로 진행되고 있었다.결국 요청한 결과값을 보기위해서는 "내가 코딩하고 결과값까지 시간이 걸린다.""기획자와 라벨러가 바로 볼수 있게 만들면 되지 않아?" 이 쉬운 작업을 왜 안하고 있었을까? 하는 생각과 함께 오랜만에 프론트를 들여다 보았다. 지금 팀에서는 react를 프론트로 하고 있어서, react+zustand 조합으로 공부했다. (대충..
[논문 리뷰] SPLADE: Sparse Lexical and Expansion Modelfor First Stage Ranking 3줄 요약 SPLADE를 사용하면 fine-tuning 필요 없이 더 빠르고 정확한 검색이 가능합니다. 하지만 기존 성능에 비해 크게 향상은 되지 않고 잘못된 semantic 검색도 야기됩니다. Abstract 문서와 쿼리에 대한 희소 표현을 학습하는 것에 대한 관심이 높아지고 있다. 명시적 희소성 정규화와 용어 가중치에 대한 새로운 랭커를 제시하여 고도로 희소한 표현과 비교하여 경쟁력 있는 결과를 이끌어낼수 있다. introduction SPLADE는 효율적인 문서 확장을 수행하며, 고밀도 모델을 위한 복잡한 훈련 파이프라인에 대해 경쟁력 있는 결과를 보여준다. 희소 정규화를 제어하여 효율성(부동 소수점 연산 횟수)과 효과 사이의 균형에 영향을 줄 수 있는 방법을 보여줍니다. RELATED WORKS ..

티스토리툴바