본문 바로가기

세계정복의주인장

 (1148)
파이프라인 구축 (with NES / notebook exceute system) 해당 글은 아래의 시스템 구조를 참고하여 만든 예제 입니다. https://devocean.sk.com/vlog/seminar/20220728_Data_Engineering_in_SKT.pdf https://netflixtechblog.com/scheduling-notebooks-348e6c14cfd6 Part 2: Scheduling Notebooks at Netflix by Matthew Seal, Kyle Kelley, and Michelle Ufford netflixtechblog.com 완성 코드 (gihtub 링크) https://github.com/uiandwe/nes/tree/main GitHub - uiandwe/nes Contribute to uiandwe/nes development ..
1. 비속어 탐지 모델 만들기 (with bert) 해당 글은 스마일게이트의 비속어 데이터셋을 바탕으로 비속어 탐지 모델을 개발한 내용입니다. 데이터에 대한 자세한 사항은 아래의 링크들을 확인하시면 됩니다. 욕설 모델 + 배포하기 [GitHub - smilegate-ai/korean_unsmile_dataset](https://github.com/smilegate-ai/korean_unsmile_dataset) https://colab.research.google.com/drive/1NKYYVSex__vde-lnYCmsRmyHjJhV6cKt?usp=sharing#scrollTo=Wi1qd6i8__Jl Smilegate-AI UnSmile dataset fine-tuning tutorial.ipynb Colaboratory notebook colab.res..
2. vector embedding 구현하기 (with elastic search) 1. vector embedding 소개 글에서 이어집니다. [https://uiandwe.tistory.com/1397] 앞썬 포스팅에서는 vector embedding에 대한 기술적인 설명과 함께 함께 사용되는 벡터 디비에 대해서 설명하였습니다. 이번 포스팅에서는 LLM모델을 사용해서 embedding을 구현하고 간단한 Faq가 할수 있도록 초안 코드를 작성해보도록 하겠습니다. 해당 포스팅의 전체 코드는 다음과 같습니다. (벡터디비가 필요하므로, colab에서 하실경우 따로 saas형태의 디비를 구축하셔야 합니다.) 다음의 라이브러리를 설치해야 합니다. !pip install transformers !pip install elasticsearch 1. 모델 선언 및 임베딩 함수 작성 해당 코드는 mu..
1. vector embedding 이란? Abstract: 자연어 처리 분야에서 많은 관심을 받고 있는 Vector Embedding 기술이 챗봇 개발에 어떻게 적용되고 있는지에 대해 탐구합니다. 이 글에서는 챗봇이 대화 상대와의 의미 있는 상호 작용을 달성하기 위해 텍스트를 벡터 공간으로 변환하는 방법과 그것이 어떻게 챗봇의 성능 향상에 기여하는지에 대해 다룰 것입니다. 또한, 다양한 벡터 임베딩 기술과 그 활용 사례들을 살펴보며, 이를 통해 챗봇의 자연스러운 대화 능력 향상에 어떻게 기여할 수 있는지를 분석합니다. 1.1 벡터 임베딩이란? 챗봇의 가장 중요한 기능은 바로 사용자가 입력한 문장의 의미를 알아야 하는것입니다. 검색이라면 단순히 검색어가 일치한 것을 찾아내면 되지만 채팅이기 때문에 사용자의 문맥의 의미를 알아야 합니다. 사용자가 ..
llama2 / mistral fine tuning (with autotrain) llama2과 mistral 모델의 가장 큰 특징은 오픈소스라는 점이다. 누구나 모델을 자유롭게 사용할 수 있으며 상업용으로도 사용할 수 있다. 먼저 fine tuning의 가장 큰 목적은 자신만의 도메인을 답하게 하기 위함이 크다. 물론 RAG를 통해서도 가능 하겠지만, 정확한 답변을 요구하는 RAG와 다르게 fine tuning을 통해서는 답변을 원하는 형태로 바꾼다는 표현이 더 정확할꺼 같다. ex : 다음 문장을 사투리로 바꿔줘 물론 둘다 하는 방법도 있지만, 보통 RAG / fine tuning 하나만을 추천한다. (둘다 사용해도 드라마틱하게 성능이 향상되진 않는다고 한다.) 파인튜닝은 다음의 단계를 고려해야 합니다. 1. Fine-tuning 선택 초기에는 어떤 부분을 개선하거나 변경할지 결정..
3. 각 회사별 MLops 각 회사들의 블로그에서 발췌한 내용들 입니다. 국내외 주요 기업들의 MLOps 사례를 통해 효과적으로 MLOps를 구현하는 방법을 생각해보셨으면 합니다. MLops구현시 다음을 중점적으로 구현해보면 됩니다. 목표: MLOps를 통해 달성하고자 하는 목표는 무엇입니까? 전략: MLOps를 어떻게 구현하고 있습니까? 성과: MLOps는 어떤 성과를 거두었습니까? 와디즈 (추천시스템) https://blog.wadiz.kr/prophet%ec%9d%84-%ec%9d%b4%ec%9a%a9%ed%95%98%ec%97%ac-%ec%9b%94%ea%b0%84-%ed%8e%80%eb%94%a9-%ea%b8%88%ec%95%a1-%ec%98%88%ec%b8%a1%ed%95%98%ea%b8%b0/ 라인 https://te..
2. MLops 아키텍처 CI/CD는 소프트웨어 개발의 효율성과 안정성을 향상시키는 데 중요한 역할을 합니다. CI를 통해 개발자는 코드를 작성하자마자 즉시 통합하여, 버그를 조기에 발견하고, 품질을 높이는 데 도움이 됩니다. CD를 통해 개발자는 통합된 코드를 테스트 및 배포하여, 소프트웨어를 안정적으로 제공할 수 있습니다. MLOps와 DevOps는 모두 소프트웨어 개발과 운영의 효율성과 안정성을 향상시키는 것을 목표로 하지만, 그 초점은 다릅니다. DevOps는 소프트웨어의 개발, 배포, 운영 전반에 걸쳐 협업과 자동화를 강조한다면, MLOps는 머신러닝 모델의 데이터, 개발, 배포, 운영에 초점을 맞춥니다. 데이터 관리: 머신러닝 모델을 학습시키기 위해서는 고품질의 데이터가 필요합니다. MLOps는 데이터 관리를 통해 데..
1. MLops 이란? 머신러닝(ML)은 다양한 분야에서 빠르게 확산되고 있습니다. 하지만 ML 모델을 개발하고 프로덕션 환경에 배포하는 것은 쉽지 않은 일입니다. MLOps는 이러한 문제를 해결하기 위한 일련의 방법론과 도구를 제공합니다. 1. MLOps란? MLOps는 머신러닝(ML)과 운영(Ops)의 합성어로, ML 모델을 개발하고 프로덕션 환경에 배포하는 모든 프로세스를 포괄하는 개념입니다. MLOps는 ML 모델의 개발, 배포, 운영의 전 과정을 자동화하고 통합함으로써 ML 모델의 효율성과 안정성을 향상시키는 것을 목표로 합니다. 2. MLOps의 필요성 ML 모델을 개발하는 것은 데이터 수집, 데이터 준비, 모델 학습, 모델 평가 등의 복잡한 과정을 거쳐야 합니다. 또한, 개발된 모델을 프로덕션 환경에 배포하고 운영..

티스토리툴바