[MLOps] MLOps의 구성 요소 및 상용 도구들

MLOps란?

Machine Learning + DevOps = MLOps
ML 시스템 개발(Dev)과 ML운영(Ops)을 통합하는 것을 목표로 하는 ML엔지니어링 문화 및 방식

 

MLOps 구성 요소

1. 데이터

데이터 수집 / 파이프라인

- 데이터 수집, 전처리, 로깅

- Sqoop, Flume, Kafka, Flink, Spark Streaming, Airflow

 

데이터 저장

- RDBMS, 분산 저장, 오브젝트 스토리지 등등

- RDBMS, Hadoop, Amazon S3, MinIO

 

데이터 관리

- 데이터 Validation Check, 데이터 버전 관리, Feature Store

- TFDV(TensorFlow), DVC(Data Version Control), Feast, Amundsen

 

2. 모델

모델 개발

- 모델 개발 환경 격리

- Jupyter Hub, Docker, Kubeflow

- 병렬학습을 클라우드 환경에서 쉽게할 수 있게 해주는 툴

- Optuna, Ray, katib

 

모델 버전 관리

- 소스 코드 형상관리

- Git, MLflow, Github Action, Jenkins, TravisCI

 

모델 학습 스케줄링 관리

- GPU 인프라 관리, 모델 학습 스케줄링

- Grafana, Kubernetes

 

3. 서빙

모델 패키징 

- 원격 환경에서 모델을 실행할 수 있게하는 API serving

- Docker, Flask, FastAPI, BentoML, kubeflow, TFServing, seldon-core

 

서빙 모니터링

- 서빙 후에 환경이 제대로 돌아가는지, 모델의 성능이 떨어지고 있지 않는지의 메트릭을 모니터링

- Prometheus, Grafana, Thanos

 

파이프라인 매니징

- 모델 롤백,  AB 테스팅, 이전 학습 과정 롤백

- Kubeflow, argo workflows, Airflow

 

그 외 SaaS

- AWS SageMaker, GCP Vertex AI, Azure Machine Learning