본문 바로가기

ML/MLops

 (13)
ONNX ONNX는 Open Neural Network Exchange의 줄인 말로 다른 DNN 프레임워크 환경(ex Tensorflow, PyTorch, etc..)에서 만들어진 모델들을 서로 호환되게 사용할 수 있도록 만들어진 공유 플랫폼입니다. ONNX를 사용하는 이유는 다음과 같습니다. 모델의 호환성을 높일 수 있습니다. 예를 들어, PyTorch로 학습한 모델을 TensorFlow Serving에서 서빙할 수 있습니다. 모델의 개발과 유지보수를 쉽게 할 수 있습니다. ONNX는 모델의 구조와 파라미터를 명시적으로 저장하기 때문에, 모델의 개발과 유지보수를 쉽게 할 수 있습니다. 모델의 성능을 향상시킬 수 있습니다. ONNX 모델을 TensorFlow Serving에서 실행하면, TensorFlow Ser..
파이프라인 구축 (with NES / notebook exceute system) 해당 글은 아래의 시스템 구조를 참고하여 만든 예제 입니다.https://devocean.sk.com/vlog/seminar/20220728_Data_Engineering_in_SKT.pdfhttps://netflixtechblog.com/scheduling-notebooks-348e6c14cfd6 Part 2: Scheduling Notebooks at Netflixby Matthew Seal, Kyle Kelley, and Michelle Uffordnetflixtechblog.com 완성 코드  (gihtub 링크)https://github.com/uiandwe/nes/tree/main GitHub - uiandwe/nesContribute to uiandwe/nes development by cr..
3. 각 회사별 MLops 각 회사들의 블로그에서 발췌한 내용들 입니다. 국내외 주요 기업들의 MLOps 사례를 통해 효과적으로 MLOps를 구현하는 방법을 생각해보셨으면 합니다. MLops구현시 다음을 중점적으로 구현해보면 됩니다. 목표: MLOps를 통해 달성하고자 하는 목표는 무엇입니까? 전략: MLOps를 어떻게 구현하고 있습니까? 성과: MLOps는 어떤 성과를 거두었습니까? 와디즈 (추천시스템) https://blog.wadiz.kr/prophet%ec%9d%84-%ec%9d%b4%ec%9a%a9%ed%95%98%ec%97%ac-%ec%9b%94%ea%b0%84-%ed%8e%80%eb%94%a9-%ea%b8%88%ec%95%a1-%ec%98%88%ec%b8%a1%ed%95%98%ea%b8%b0/ 라인 https://te..
2. MLops 아키텍처 CI/CD는 소프트웨어 개발의 효율성과 안정성을 향상시키는 데 중요한 역할을 합니다. CI를 통해 개발자는 코드를 작성하자마자 즉시 통합하여, 버그를 조기에 발견하고, 품질을 높이는 데 도움이 됩니다. CD를 통해 개발자는 통합된 코드를 테스트 및 배포하여, 소프트웨어를 안정적으로 제공할 수 있습니다. MLOps와 DevOps는 모두 소프트웨어 개발과 운영의 효율성과 안정성을 향상시키는 것을 목표로 하지만, 그 초점은 다릅니다. DevOps는 소프트웨어의 개발, 배포, 운영 전반에 걸쳐 협업과 자동화를 강조한다면, MLOps는 머신러닝 모델의 데이터, 개발, 배포, 운영에 초점을 맞춥니다. 데이터 관리: 머신러닝 모델을 학습시키기 위해서는 고품질의 데이터가 필요합니다. MLOps는 데이터 관리를 통해 데..
1. MLops 이란? 머신러닝(ML)은 다양한 분야에서 빠르게 확산되고 있습니다. 하지만 ML 모델을 개발하고 프로덕션 환경에 배포하는 것은 쉽지 않은 일입니다. MLOps는 이러한 문제를 해결하기 위한 일련의 방법론과 도구를 제공합니다. 1. MLOps란? MLOps는 머신러닝(ML)과 운영(Ops)의 합성어로, ML 모델을 개발하고 프로덕션 환경에 배포하는 모든 프로세스를 포괄하는 개념입니다. MLOps는 ML 모델의 개발, 배포, 운영의 전 과정을 자동화하고 통합함으로써 ML 모델의 효율성과 안정성을 향상시키는 것을 목표로 합니다. 2. MLOps의 필요성 ML 모델을 개발하는 것은 데이터 수집, 데이터 준비, 모델 학습, 모델 평가 등의 복잡한 과정을 거쳐야 합니다. 또한, 개발된 모델을 프로덕션 환경에 배포하고 운영..

티스토리툴바