DevOps & MLOps 7

2023 오픈소스 컨트리뷰션 DevOps & MLOps (7) MLOps편 (Azure MLOps 템플릿 + Github Actions로 파이프라인 만들기)

MLOps 구현하기 2: Azure MLOps (v2) Solution Accelerator 템플릿 사용하기 (Github Actions로 솔루션 엑셀러레이터 배포하기) 참고: Azure/mlops-v2: Azure MLOps (v2) solution accelerators. Enterprise ready templates to deploy your machine learning models on the Azure Platform. (Github.com) mlops-v2/documentation/deployguides/README.md at main · Azure/mlops-v2 (Github.com) 들어가기 전에 솔루션 엑셀러레이터라는 것을 사용해 머신러닝 프로젝트를 Github Actions으로 자..

DevOps & MLOps 2023.08.19

2023 오픈소스 컨트리뷰션 DevOps & MLOps (6) MLOps편 (컴포넌트 생성하고 머신러닝 파이프라인 만들기)

MLOps 구현하기 1: Azureml examples 튜토리얼 따라하기 (파이프라인 만들기) 들어가기 전에 MLOps 첫 편에서 파이썬 코드만을 이용해 모델을 클라우드 환경에서 훈련시키고 결과를 확인할 수 있도록 했다. 다음으로 모델을 배포시키는 과정을 밟았다. 이번 편에서는 Azure 머신러닝과 Azure 머신러닝 Python SDK v2를 이용해 프로덕션 환경에서 사용할 머신러닝 프로젝트를 만들어보려고 한다. 동일한 저장소의 pipeline.ipynb 파일을 실행한다. 즉, 다음을 할 수 있다. Azure 머신러닝 워크스페이스에 대한 핸들링 생성하기 Azure 머신러닝 데이터 에셋 생성하기 재사용 가능한 Azure 머신러닝 컴포넌트 만들기 Azure 머신러닝 파이프라인을 만들고, 검증하고, 실행시키..

DevOps & MLOps 2023.08.16

2023 오픈소스 컨트리뷰션 DevOps & MLOps (5) MLOps편 (Azure 클라우드에 머신러닝 모델 카나리 배포 적용하기)

MLOps 구현하기 1: Azureml examples 튜토리얼 따라하기 (모델 배포하기) 들어가기 전에 이전 편에서는 모델을 클라우드 환경에서 훈련시키고 해당 모델을 훈련한 결과를 클라우드 대시보드에서 확인하는 과정을 수행했다. 이제는 이 모델을 실제로 배포하는 과정을 수행한다. 이를 위해 Azure 머신러닝 Python SDK v2 라는 것을 사용할 것이다. 이전 편에서 clone한 동일한 저장소에서 tutorials/get-started-notebooks/deploy-model.ipynb 노트북을 실행한다. 워크 스페이스 핸들 생성하기 이전 편에서 모델을 훈련시키기 위해서 ml_client를 생성하였다. 이번에도 모델을 클라우드 환경에서 지지고 볶고 하기 위해서 ml_client가 필요하다. fro..

DevOps & MLOps 2023.08.16

2023 오픈소스 컨트리뷰션 DevOps & MLOps (4) MLOps편 (클라우드 환경에서 모델 훈련시키고 결과 한 눈에 보기)

들어가기 전에 (나의 이야기) "개발자가 되어야 겠다"고 생각하게 된 가장 첫 계기를 거슬러 올라가면 인공지능이었다. AI가 가져올 미래에 매료되었고 부스트코스 강의를 통해서 파이썬을 배우고 수학을 배우고 머신러닝 예제를 따라하며 시작했다. 재미있고 흥미진진한(?) 경험이었다. 커리어적인 무언가를 구체적으로 구상하며 그랬던 것은 아니고 오로지 재밌어보이고 관심이 있어서 시작했다. 지금 MLOps 주제를 다루게 된 것도 마찬가지로 순전히 흥미와 알고싶다는 마음으로 시작되었다. 이전에 머신러닝/딥러닝 예제들을 진행하면서 학습에 필요한 이 데이터들은 어떻게 관리하는지, 하다못해 간단한 예제 모델을 돌리는 데에도 여러번 실험해야 했는데 현업에서는 더 많은 실험을 하고 모델 훈련이 필요할텐데 그 수많은 실험의 결..

DevOps & MLOps 2023.08.09

2023 오픈소스 컨트리뷰션 DevOps & MLOps (3) DevOps편 (ACI, AKS 두 개 소 동시 배포 자동화)

전 편에서 ACI에 배포 자동화를 구축했다. 이제 더 나아가서 ACI, AKS 두 서비스에 동시에 배포할 수 있도록 구성할 것이다! ACI 배포 구성은 마쳤으므로, AKS 배포 자동화를 알아본다. ACI, AKS 두 타겟에 deploy하기 [!NOTE] AKS란 cluster를 빠르게 배포하고 관리할 수 있는 관리형 쿠버네티스 서비스. CLI로 AKS 클러스터 만들기 여기를 참고한다 ☞ Quickstart: Deploy an Azure Kubernetes Service (AKS) cluster using Azure CLI - Azure Kubernetes Service | Microsoft Learn 아래 명령어를 통해 AKS 클러스터를 생성한다. 나는 OsscaDevops-Cluster라는 클러스터를 ..

DevOps & MLOps 2023.08.06

2023 오픈소스 컨트리뷰션 DevOps & MLOps (2) DevOps편 (지속적 배포, Azure Container Instances)

클라우드 서비스에 github workflow 구성하기 w/ Azure CLI (1)편에 이어 Azure 서비스에 본격적으로 배포 자동화를 구축한다. Azure에 컨테이너 인스턴스를 생성하도록 github action을 구성한다. 진행하기 위해서 두 가지 필요조건이 있다. azure CLI azure container registry azure CLI를 이용할 것이다. azure CLI를 설치하려면 여기를 참고한다 ☞ Install the Azure CLI on Linux | Microsoft Learn Azure 리소스 그룹 생성하기 리소스 그룹을 꼭 사용해야 하는 것인가? 찾아본 설명에 따르면, azure 리소스 그룹은 리소스 관리의 기본 단위이므로 리소스를 생성할 때마다 리소스 그룹을 지정해야 한다..

DevOps & MLOps 2023.08.06

2023 오픈소스 컨트리뷰션 DevOps & MLOps (1) DevOps편 (지속적 통합, 컨테이너화)

들어가기 전에 운이 좋게도 2023 오픈소스 컨트리뷰션 아카데미에 지원하여 참가 중이다. (자세한 프로그램 소개 ☞ 2023 오픈소스 컨트리뷰션 아카데미 (contribution.ac)) 클라우드 서비스와 DevOps에 대해 배우고 싶다는 동기가 있었기 때문에, 김대우 멘토님이 진행하시는 "Git 활용 및 DevOps / MLOps"이라는 프로젝트에 참여하게 되었다. 본 과정에서는 파이썬(웹 서버, 머신러닝), Github Actions과 Azure 서비스를 이용한 CI/CD를 경험할 수 있다. 단계별로 진행되었는데 나는 파이썬과 Git, 머신러닝도 일부 (튜토리얼 정도) 다뤄본 경험이 있어서 바로 DevOps 과정으로 넘어갈 수 있었다. 기본적으로 스스로 도전 과제를 진행하되 모르는 부분이 있으면 팀원..

DevOps & MLOps 2023.08.05