본문 바로가기

ML

 (48)
2. MLops 아키텍처 CI/CD는 소프트웨어 개발의 효율성과 안정성을 향상시키는 데 중요한 역할을 합니다. CI를 통해 개발자는 코드를 작성하자마자 즉시 통합하여, 버그를 조기에 발견하고, 품질을 높이는 데 도움이 됩니다. CD를 통해 개발자는 통합된 코드를 테스트 및 배포하여, 소프트웨어를 안정적으로 제공할 수 있습니다. MLOps와 DevOps는 모두 소프트웨어 개발과 운영의 효율성과 안정성을 향상시키는 것을 목표로 하지만, 그 초점은 다릅니다. DevOps는 소프트웨어의 개발, 배포, 운영 전반에 걸쳐 협업과 자동화를 강조한다면, MLOps는 머신러닝 모델의 데이터, 개발, 배포, 운영에 초점을 맞춥니다. 데이터 관리: 머신러닝 모델을 학습시키기 위해서는 고품질의 데이터가 필요합니다. MLOps는 데이터 관리를 통해 데..
1. MLops 이란? 머신러닝(ML)은 다양한 분야에서 빠르게 확산되고 있습니다. 하지만 ML 모델을 개발하고 프로덕션 환경에 배포하는 것은 쉽지 않은 일입니다. MLOps는 이러한 문제를 해결하기 위한 일련의 방법론과 도구를 제공합니다. 1. MLOps란? MLOps는 머신러닝(ML)과 운영(Ops)의 합성어로, ML 모델을 개발하고 프로덕션 환경에 배포하는 모든 프로세스를 포괄하는 개념입니다. MLOps는 ML 모델의 개발, 배포, 운영의 전 과정을 자동화하고 통합함으로써 ML 모델의 효율성과 안정성을 향상시키는 것을 목표로 합니다. 2. MLOps의 필요성 ML 모델을 개발하는 것은 데이터 수집, 데이터 준비, 모델 학습, 모델 평가 등의 복잡한 과정을 거쳐야 합니다. 또한, 개발된 모델을 프로덕션 환경에 배포하고 운영..
나의 ML 수학 + 기초 공부 (계속 진행중) 회사에서의 업무가 데이터 관리 + MLops + 모델 학습까지 하기 때문에 ML 공부도 꾸준히 하고 있었다. 여기에는 그동안 수학 + ML 공부를 한 유툽을 기록한다. (MLops관련은 따로 포스팅 하도록 하겠다) 수학 (선형대수학) https://www.youtube.com/playlist?list=PLZHQObOWTQDPD3MizzM2xVFitgF8hE_ab Essence of linear algebra A free course offering the core concept of linear algebra with a visuals-first approach. www.youtube.com 논문 읽기 https://www.youtube.com/@dsba2979/videos 고려대학교 산업경영공학부 DS..
NLP 기초 자연어 representation ML 흐름 1. 단어 임베딩 단어를 숫자로 표현하는것 == 단어의 벡터값를 보면 그 단어를 안다 단어와 단어의 의미를 수치화 했지만, 문장의 의미는 알수가 없음 2. RNN & seq2seq RNN == 데이터를 순서대로 넣으면(입력값) 값이 잘 나오네? *인코더 -> 압축 / 디코더 -> 확대 seq2seq == 문장(질문)의 단어를 순서대로 넣으면 문장(답변)을 순서대로 나오게끔! 순서대로 넣는건 입력값이 많아질수록 연산량이 폭팔적으로 증가 (무조건 순서대로 연상하므로 병렬 불가 ) -> 문장이 길어지면 앞에 값에 대한 의미가 사라짐 -> 순서가 들어간건 좋은데, 너무 많은 양은 어떻게 처리하지?? 3. 트랜스퍼머 트랜스포머 == 순서대로 넣긴하는데, 위치정보도 같이..
ubuntu 크롬드라이버 && 크롬 브라우저 설치 링크 사이트 맨날 버전 않맞아서 찾다가 여기에 기록...제발 그만 찾기를...ㅜㅡㅜ https://chrome-versions.com/ Index of / chrome-versions.com https://chromedriver.chromium.org/downloads ChromeDriver - WebDriver for Chrome - Downloads Current Releases If you are using Chrome version 110, please download ChromeDriver 110.0.5481.77 If you are using Chrome version 109, please download ChromeDriver 109.0.5414.74 If you are using Chrome versi..
mecab 설치 후 libmecab.so.2 파일 에러 mecab 이 아래와 같이 에러가 났다면!! Python 3.6.6 |Anaconda, Inc.| (default, Oct 9 2018, 12:34:16) [GCC 7.3.0] on linux Type "help", "copyright", "credits" or "license" for more information. >>> import MeCab Traceback (most recent call last): File "/tmp/mecab-python-0.996/MeCab.py", line 18, in swig_import_helper fp, pathname, description = imp.find_module('_MeCab', [dirname(__file__)]) File "/root/minicond..
openapi chatGPT 사용기 https://openai.com/api/pricing/ Pricing OpenAI is an AI research and deployment company. Our mission is to ensure that artificial general intelligence benefits all of humanity. openai.com Ada 는 가장 빠른 모델이고 Davinci 는 가장 강력한 모델 가격은 1,000 토큰당 사용량이된다. 토큰은 답변으로 나온 단어 조각으로 생각할 수 있다. 여기서 1,000개의 토큰은 약 750개의 단어입니다. 처음 가입하면 $18달러를 준다. 이정도면 3개월 내내써도 문제 없을꺼 같다. 바로 사용 가능하도록 에디터창이 있다. https://beta.openai.com/..
1. CNN ? DNN(Deep Neural Network) → CNN(Convolutional Neural Networks) 전환기 DNN(Deep Neural Network)은 다양한 사례를 해결해주는 머신러닝으로 급부상했었다. 일반 수치형, 범주형 변수로 이루어져 있는 데이터는 모든 파라미터를 다 고려하여 모델링을 하는 것이 좋을 수도 있겠지만, 문제는 이미지와 같이 고차원의 데이터에서는 DNN의 모델링이 제대로 작동하지 않는다는 것이다. 여기서 등장한 것이 CNN이다. CNN은 어떤 점이 특별하기에 DNN의 문제점을 해결했을까? 1. CNN( Convolutional Neural Networks 합성곱 신경망 ) 딥러닝에서 주로 이미지나 영상 데이터를 처리할 때 쓰이며 이름에서 알 수 있다 시피 Convoluti..

티스토리툴바