본문 바로가기

세계정복의주인장

(1161)
[MLOps] Triton을 활용한 모델 배포 스마일게이트에서 제공한 데이터를 기반으로 욕설분류 bert 모델을 만들었다. 기본 소스는 다음과 같다.https://colab.research.google.com/drive/1NKYYVSex__vde-lnYCmsRmyHjJhV6cKt?usp=sharing#scrollTo=Wi1qd6i8__Jl[위의 설명은 이전 포스팅인 https://uiandwe.tistory.com/1395 에 있다]  1.Triton Inference Server  Triton Inference Server는 GPU 장비를 효과적으로 사용하면서 리소스 비용을 절약하기 위해 일종의 GPU전용 서버를 하나 만들어서 다양한 모델들을 서빙할수 있도록 돕는 추론 서버 역활을 맡은 고성능 추론에 최적화된 오픈소스 소프트웨어입니다. 다양한 모델..
Failed to initialize NVML: Driver/library version mismatch nvidia-smi 실행시  오류 발생Failed to initialize NVML: Driver/library version mismatch 해결책 먼저 현재 nvidia 실행중인 프로세서를 모두 kill 한다.sudo lsof /dev/nvidia* kill -9  다시 lsof 로 검색시 나오는게 없으면 다음으로 진행sudo lsof /dev/nvidia*  nvidia 관련 모듈 재시작sudo rmmod nvidia_drmsudo rmmod nvidia_modesetsudo rmmod nvidia_uvmsudo rmmod nvidiasudo modprobe nvidia  정상 동작 확인$ nvidia-smi  끝
docker 빌드 실패한 이미지 지우기 (많이!) 어... 빌드 실패 이미지가 이렇게나 쌓여있었다..하나하나 삭제하려 하니 귀찬아서 전체 삭제가 가능한지 찾아보았다 다음 명령어로 none으로 되어 있는 image id만 출력된다.$ docker images -f "dangling=true" -q   $ docker rmi $(docker images -f "dangling=true" -q)  끝
[논문리뷰] KNOWLEDGE SOLVER: TEACHING LLMS TO SEARCH FORDOMAIN KNOWLEDGE FROM KNOWLEDGE GRAPHS https://arxiv.org/pdf/2309.03118 나의 결론 : graph search를 통해 LLM의 성능을 향상 시킬수 있다 (파인튜닝시에도 유용하게 사용할 수 있다) AbstractChatGPT 및 GPT-4와 같은 대규모 언어 모델(LLM)은 다양한 작업을 해결할 수 있습니다. 그러나 LLM은 때때로 작업을 수행하기 위한 도메인별 지식이 부족하여 추론 중 환각을 유발하기도 합니다. 이전 연구에서는 도메인별 지식 부족 문제를 완화하기 위해 외부 지식 기반에서 검색된 지식에 대해 그래프 신경망(GNN)과 같은 추가 모듈을 학습시켜 도메인별 지식 부족 문제를 완화했습니다.하지만 추가 모듈을 통합하려면1) 새로운 도메인을 접할 때 추가 모듈을 재학습2) LLM의 강력한 능력을 충분히 활용하지 못..
파이썬 버전별 특징 (간단 version) 3.2 futures3.3 yield, venv3.4 asynio, enum3.5 async, await3.6 f-string3.7 contextvars, dataclass3.8 := 월러스 연산자3.9 timezone, dict 연산자(chainmap / 집합연산)3.10 match3.11 cpython 최적화3.12 버퍼프로토콜 / GIL in GIL3.13 (2024년도 베타) GIL 해제가능 → pymalloc 사용 불가 → mimalloc 테스트 중
[k8s] nginx pod * 200개를 띄울수 있나요? k8s (minikube) 에서 과연 몇개의 pod까지 띄울수 있을까?나는 순진하게 무한대라고 생각했다. 정확히는 서버의 자원이 허락하는한 무한히 띄울수 있다고 생각했다.일단 테스트 시작 apiVersion: apps/v1kind: Deploymentmetadata: name: smallest-web-serverspec: replicas: 2 # 두 개의 Pod를 생성합니다. selector: matchLabels: app: web-server template: metadata: labels: app: web-server spec: containers: - name: web-server image: nginx:alpin..
[AWS] 1. IAM 참고사항https://www.udemy.com/course/aws-certified-developer-associate-dva-c01   1. IAM (Identify and Access Management)사용자와 그룹을 통해 최소한의 권한만을 할당하여 서비스 이용 - 기본 계정은 root로 사용하면 안됨 (오직 관리용)- users :  사용자들이 사용하는 계정, 해당 계정마다 권한을 할당- groups : user를 group에 포함하여 group마다 권한 할당 (단, gorup안에 group은 포함 불가 / 오직 user만 포함) 2. IAM policyAWS에서는 최소 권한의 원칙(least privilege principle)을 권고. 사용자가 꼭 필요로 하는 것 이상의 권한을 주지 않을것{ ..
aws 로드밸런서에 대해서 설명하세요. - aws alb에 연결할수 있는 최대 갯수는 1000개이다.- aws lb는 총 4가지가 있다alb : L7NLB : L4GLB : L3CLB: L4 & L7 을 제공한다.  네트워크의 OSI (Open Systems Interconnection) 모델은 일곱 개의 계층으로 구성되어 있다. 각 계층은 특정한 역할과 기능을 담당하고 있으며, 데이터 통신 과정을 단계적으로 처리한다.Application Layer (응용 계층):사용자와 응용 프로그램 간의 통신을 담당사용자 인터페이스 및 데이터 전송을 지원HTTP, HTTPS, FTP, SMTP, DNS 등Presentation Layer (표현 계층):데이터를 응용 계층에 적합한 형식으로 변환하고, 암호화 및 복호화를 처리데이터의 인코딩, 압축, 형식 변..