ML (60) 썸네일형 리스트형 Failed to initialize NVML: Driver/library version mismatch nvidia-smi 실행시 오류 발생Failed to initialize NVML: Driver/library version mismatch 해결책 먼저 현재 nvidia 실행중인 프로세서를 모두 kill 한다.sudo lsof /dev/nvidia* kill -9 다시 lsof 로 검색시 나오는게 없으면 다음으로 진행sudo lsof /dev/nvidia* nvidia 관련 모듈 재시작sudo rmmod nvidia_drmsudo rmmod nvidia_modesetsudo rmmod nvidia_uvmsudo rmmod nvidiasudo modprobe nvidia 정상 동작 확인$ nvidia-smi 끝 [논문리뷰] KNOWLEDGE SOLVER: TEACHING LLMS TO SEARCH FORDOMAIN KNOWLEDGE FROM KNOWLEDGE GRAPHS https://arxiv.org/pdf/2309.03118 나의 결론 : graph search를 통해 LLM의 성능을 향상 시킬수 있다 (파인튜닝시에도 유용하게 사용할 수 있다) AbstractChatGPT 및 GPT-4와 같은 대규모 언어 모델(LLM)은 다양한 작업을 해결할 수 있습니다. 그러나 LLM은 때때로 작업을 수행하기 위한 도메인별 지식이 부족하여 추론 중 환각을 유발하기도 합니다. 이전 연구에서는 도메인별 지식 부족 문제를 완화하기 위해 외부 지식 기반에서 검색된 지식에 대해 그래프 신경망(GNN)과 같은 추가 모듈을 학습시켜 도메인별 지식 부족 문제를 완화했습니다.하지만 추가 모듈을 통합하려면1) 새로운 도메인을 접할 때 추가 모듈을 재학습2) LLM의 강력한 능력을 충분히 활용하지 못.. [논문 리뷰] RoBERTa: A Robustly Optimized BERT Pretraining Approach https://arxiv.org/pdf/1907.11692 결론기존 BERT 성능을 다음을 통해 향상 시킬 수 있었음• 더 많은 데이터에 대한 더 큰 배치 사이즈를 사용해 더 오래 학습• NSP 삭제• Dynamic Masking• 더 많은 sequence로 학습을 통해성능 향상 요약언어 모델 사전 학습은 상당한 성능 향상을 가져왔지만 다양한 접근 방식을 신중하게 비교하기는 어렵습니다. 훈련은 계산 비용이 많이 들고, 종종 다양한 크기의 비공개 데이터 세트에서 수행되며, 많은 주요 하이퍼파라미터와 학습 데이터 크기의 영향을 측정합니다. 그 결과, BERT는 훈련이 상당히 부족했으며, 그 이후에 발표된 모든 모델의 성능과 일치하거나 능가할 수 있는 것으로 나타났습니다.이전에 간과되었던 설계 선택의 중.. ml를 쉽게 쓰기 위한 프론트 작업 몇주전 위의 영상을 보고 충격을 받았었다.내가 원하는건 "신기술을 통한 제품"을 만드는게 아니라 "사용자가 사용하기 쉬운 서비스"가 목표였었는데 말이다."너무 기술에만 매몰되어 있었을까?"하는 생각과 함께 누구나 접근하기 쉽게 하자는 생각이 들었다. 현재 팀에서는 LLM에 대한걸 내가 주도적으로 만들고, 기획자나 라벨러분들의 의견을 코딩하고, 결과값만 보여주는 형식으로 진행되고 있었다.결국 요청한 결과값을 보기위해서는 "내가 코딩하고 결과값까지 시간이 걸린다.""기획자와 라벨러가 바로 볼수 있게 만들면 되지 않아?" 이 쉬운 작업을 왜 안하고 있었을까? 하는 생각과 함께 오랜만에 프론트를 들여다 보았다. 지금 팀에서는 react를 프론트로 하고 있어서, react+zustand 조합으로 공부했다. (대충.. [논문 리뷰] SPLADE: Sparse Lexical and Expansion Modelfor First Stage Ranking 3줄 요약 SPLADE를 사용하면 fine-tuning 필요 없이 더 빠르고 정확한 검색이 가능합니다. 하지만 기존 성능에 비해 크게 향상은 되지 않고 잘못된 semantic 검색도 야기됩니다. Abstract 문서와 쿼리에 대한 희소 표현을 학습하는 것에 대한 관심이 높아지고 있다. 명시적 희소성 정규화와 용어 가중치에 대한 새로운 랭커를 제시하여 고도로 희소한 표현과 비교하여 경쟁력 있는 결과를 이끌어낼수 있다. introduction SPLADE는 효율적인 문서 확장을 수행하며, 고밀도 모델을 위한 복잡한 훈련 파이프라인에 대해 경쟁력 있는 결과를 보여준다. 희소 정규화를 제어하여 효율성(부동 소수점 연산 횟수)과 효과 사이의 균형에 영향을 줄 수 있는 방법을 보여줍니다. RELATED WORKS .. [논문 리뷰]ColBERT: Efficient and Effective Passage Search via Contextualized Late Interaction over BERT 요약 re-ranking은 colbert를 사용하자. ABSTRACT 정보검색(IR)에서 문서 랭킹을 위한 언어 모델(LM)은 fine-tuning을 통해 빠르게 성장하고 있다. 더욱 효율적인 검색을 위해 LM(특히, BERT)을 적용하는 새로운 랭킹 모델인 ColBERT를 소개한다. introduction ELMo 및 BERT는 사전 학습된 심층 언어 모델(LM)을 미세 조정하여 관련성을 추정하는 접근 방식이 최근에 등장했다. 하지만 BERT 기반 모델은 이전 모델보다 100-1000배 더 계산 비용이 많이 들며, 일부 모델 또한 저렴하지도 않다 BERT는 검색 정밀도를 크게 개선했지만, GPU를 사용하더라도 지연 시간을 최대 수만 밀리초까지 증가시킨다. 쿼리 응답 시간이 100밀리초만 증가해도 사용자.. [논문 리뷰] T-RAG: LESSONS FROM THE LLM TRENCHES https://arxiv.org/pdf/2402.07483.pdf 요약 해당 문서에는 전반적인 RAG설명과 함께 Tree를 이용한 계층적 엔티티를 사용하면 기존 RAG보자 성능을 향상 시킬수 있습니다. 단 기존 RAG와 마찬가지로 리트리버 쿼리의 질문이 중요하며, Tree 구조를 쓸 수 있을때에만 효과를 발휘할수 있습니다. ( 엔티티의 데이터가 필요 없는 질문에 사용하면 오히려 데이터의 정답율이 하락합니다) Abstract 대규모 언어 모델(LLM)은 놀라운 언어 기능을 보여주며 다양한 영역의 애플리케이션에 통합하려 시도하고 있습니다. 검색 증강 세대(RAG)는 LLM 기반 애플리케이션을 구축하기 접합한 프레임워크로 부상했습니다. RAG를 구축하는 것은 비교적 간단하지만, 견고하고 안정적인 애플리케이션을.. [사내 해커톤] ocr + gpt를 이용한 식품 성분 분석 및 추천 * 상품 점보를 사진을 업로드 하면 자동으로 텍스트로 변환하여 상품에 대한 정보 요약 * 제품명 / 제조회사 / 제품유형 / 맛 / 용량 / 원료 / 칼로리 / 영양정보 로 추려서 보여줌 * 사용자의 상태를 선택하여 입력하면 섭취 권장 여부 및 이유를 고객에게 요약 후 보여줌 팀으로 이뤄서 한 해커톤 결과물 - 역시 프롬프트는 영어로 하니까 잘된다. - OCR은 네이버 클로바를 썼다. 정말 잘된다!! (하지만 하루 100건 무료를 넘어서면 엄청난 과금이 기다리고 있다) - streamlit은 이번에 처음 써봤는데, 다시는 쓰기 싫을 정도로 너무 제한적이다. (공식 문서도 부족하고, 버전마다 기능이 너무 다르다. html이 쉽고 좋다) 향후 발전해야 할 부분들 - 상황에 맞는 프롬프트가 많이 있어야 한다... 이전 1 2 3 4 5 ··· 8 다음 목록 더보기
