AZURE 7

2023 ์˜คํ”ˆ์†Œ์Šค ์ปจํŠธ๋ฆฌ๋ทฐ์…˜ DevOps & MLOps (7) MLOpsํŽธ (Azure MLOps ํ…œํ”Œ๋ฆฟ + Github Actions๋กœ ํŒŒ์ดํ”„๋ผ์ธ ๋งŒ๋“ค๊ธฐ)

MLOps ๊ตฌํ˜„ํ•˜๊ธฐ 2: Azure MLOps (v2) Solution Accelerator ํ…œํ”Œ๋ฆฟ ์‚ฌ์šฉํ•˜๊ธฐ (Github Actions๋กœ ์†”๋ฃจ์…˜ ์—‘์…€๋Ÿฌ๋ ˆ์ดํ„ฐ ๋ฐฐํฌํ•˜๊ธฐ) ์ฐธ๊ณ : Azure/mlops-v2: Azure MLOps (v2) solution accelerators. Enterprise ready templates to deploy your machine learning models on the Azure Platform. (Github.com) mlops-v2/documentation/deployguides/README.md at main · Azure/mlops-v2 (Github.com) ๋“ค์–ด๊ฐ€๊ธฐ ์ „์— ์†”๋ฃจ์…˜ ์—‘์…€๋Ÿฌ๋ ˆ์ดํ„ฐ๋ผ๋Š” ๊ฒƒ์„ ์‚ฌ์šฉํ•ด ๋จธ์‹ ๋Ÿฌ๋‹ ํ”„๋กœ์ ํŠธ๋ฅผ Github Actions์œผ๋กœ ์ž..

DevOps & MLOps 2023.08.19

2023 ์˜คํ”ˆ์†Œ์Šค ์ปจํŠธ๋ฆฌ๋ทฐ์…˜ DevOps & MLOps (6) MLOpsํŽธ (์ปดํฌ๋„ŒํŠธ ์ƒ์„ฑํ•˜๊ณ  ๋จธ์‹ ๋Ÿฌ๋‹ ํŒŒ์ดํ”„๋ผ์ธ ๋งŒ๋“ค๊ธฐ)

MLOps ๊ตฌํ˜„ํ•˜๊ธฐ 1: Azureml examples ํŠœํ† ๋ฆฌ์–ผ ๋”ฐ๋ผํ•˜๊ธฐ (ํŒŒ์ดํ”„๋ผ์ธ ๋งŒ๋“ค๊ธฐ) ๋“ค์–ด๊ฐ€๊ธฐ ์ „์— MLOps ์ฒซ ํŽธ์—์„œ ํŒŒ์ด์ฌ ์ฝ”๋“œ๋งŒ์„ ์ด์šฉํ•ด ๋ชจ๋ธ์„ ํด๋ผ์šฐ๋“œ ํ™˜๊ฒฝ์—์„œ ํ›ˆ๋ จ์‹œํ‚ค๊ณ  ๊ฒฐ๊ณผ๋ฅผ ํ™•์ธํ•  ์ˆ˜ ์žˆ๋„๋ก ํ–ˆ๋‹ค. ๋‹ค์Œ์œผ๋กœ ๋ชจ๋ธ์„ ๋ฐฐํฌ์‹œํ‚ค๋Š” ๊ณผ์ •์„ ๋ฐŸ์•˜๋‹ค. ์ด๋ฒˆ ํŽธ์—์„œ๋Š” Azure ๋จธ์‹ ๋Ÿฌ๋‹๊ณผ Azure ๋จธ์‹ ๋Ÿฌ๋‹ Python SDK v2๋ฅผ ์ด์šฉํ•ด ํ”„๋กœ๋•์…˜ ํ™˜๊ฒฝ์—์„œ ์‚ฌ์šฉํ•  ๋จธ์‹ ๋Ÿฌ๋‹ ํ”„๋กœ์ ํŠธ๋ฅผ ๋งŒ๋“ค์–ด๋ณด๋ ค๊ณ  ํ•œ๋‹ค. ๋™์ผํ•œ ์ €์žฅ์†Œ์˜ pipeline.ipynb ํŒŒ์ผ์„ ์‹คํ–‰ํ•œ๋‹ค. ์ฆ‰, ๋‹ค์Œ์„ ํ•  ์ˆ˜ ์žˆ๋‹ค. Azure ๋จธ์‹ ๋Ÿฌ๋‹ ์›Œํฌ์ŠคํŽ˜์ด์Šค์— ๋Œ€ํ•œ ํ•ธ๋“ค๋ง ์ƒ์„ฑํ•˜๊ธฐ Azure ๋จธ์‹ ๋Ÿฌ๋‹ ๋ฐ์ดํ„ฐ ์—์…‹ ์ƒ์„ฑํ•˜๊ธฐ ์žฌ์‚ฌ์šฉ ๊ฐ€๋Šฅํ•œ Azure ๋จธ์‹ ๋Ÿฌ๋‹ ์ปดํฌ๋„ŒํŠธ ๋งŒ๋“ค๊ธฐ Azure ๋จธ์‹ ๋Ÿฌ๋‹ ํŒŒ์ดํ”„๋ผ์ธ์„ ๋งŒ๋“ค๊ณ , ๊ฒ€์ฆํ•˜๊ณ , ์‹คํ–‰์‹œํ‚ค..

DevOps & MLOps 2023.08.16

2023 ์˜คํ”ˆ์†Œ์Šค ์ปจํŠธ๋ฆฌ๋ทฐ์…˜ DevOps & MLOps (5) MLOpsํŽธ (Azure ํด๋ผ์šฐ๋“œ์— ๋จธ์‹ ๋Ÿฌ๋‹ ๋ชจ๋ธ ์นด๋‚˜๋ฆฌ ๋ฐฐํฌ ์ ์šฉํ•˜๊ธฐ)

MLOps ๊ตฌํ˜„ํ•˜๊ธฐ 1: Azureml examples ํŠœํ† ๋ฆฌ์–ผ ๋”ฐ๋ผํ•˜๊ธฐ (๋ชจ๋ธ ๋ฐฐํฌํ•˜๊ธฐ) ๋“ค์–ด๊ฐ€๊ธฐ ์ „์— ์ด์ „ ํŽธ์—์„œ๋Š” ๋ชจ๋ธ์„ ํด๋ผ์šฐ๋“œ ํ™˜๊ฒฝ์—์„œ ํ›ˆ๋ จ์‹œํ‚ค๊ณ  ํ•ด๋‹น ๋ชจ๋ธ์„ ํ›ˆ๋ จํ•œ ๊ฒฐ๊ณผ๋ฅผ ํด๋ผ์šฐ๋“œ ๋Œ€์‹œ๋ณด๋“œ์—์„œ ํ™•์ธํ•˜๋Š” ๊ณผ์ •์„ ์ˆ˜ํ–‰ํ–ˆ๋‹ค. ์ด์ œ๋Š” ์ด ๋ชจ๋ธ์„ ์‹ค์ œ๋กœ ๋ฐฐํฌํ•˜๋Š” ๊ณผ์ •์„ ์ˆ˜ํ–‰ํ•œ๋‹ค. ์ด๋ฅผ ์œ„ํ•ด Azure ๋จธ์‹ ๋Ÿฌ๋‹ Python SDK v2 ๋ผ๋Š” ๊ฒƒ์„ ์‚ฌ์šฉํ•  ๊ฒƒ์ด๋‹ค. ์ด์ „ ํŽธ์—์„œ cloneํ•œ ๋™์ผํ•œ ์ €์žฅ์†Œ์—์„œ tutorials/get-started-notebooks/deploy-model.ipynb ๋…ธํŠธ๋ถ์„ ์‹คํ–‰ํ•œ๋‹ค. ์›Œํฌ ์ŠคํŽ˜์ด์Šค ํ•ธ๋“ค ์ƒ์„ฑํ•˜๊ธฐ ์ด์ „ ํŽธ์—์„œ ๋ชจ๋ธ์„ ํ›ˆ๋ จ์‹œํ‚ค๊ธฐ ์œ„ํ•ด์„œ ml_client๋ฅผ ์ƒ์„ฑํ•˜์˜€๋‹ค. ์ด๋ฒˆ์—๋„ ๋ชจ๋ธ์„ ํด๋ผ์šฐ๋“œ ํ™˜๊ฒฝ์—์„œ ์ง€์ง€๊ณ  ๋ณถ๊ณ  ํ•˜๊ธฐ ์œ„ํ•ด์„œ ml_client๊ฐ€ ํ•„์š”ํ•˜๋‹ค. fro..

DevOps & MLOps 2023.08.16

2023 ์˜คํ”ˆ์†Œ์Šค ์ปจํŠธ๋ฆฌ๋ทฐ์…˜ DevOps & MLOps (4) MLOpsํŽธ (ํด๋ผ์šฐ๋“œ ํ™˜๊ฒฝ์—์„œ ๋ชจ๋ธ ํ›ˆ๋ จ์‹œํ‚ค๊ณ  ๊ฒฐ๊ณผ ํ•œ ๋ˆˆ์— ๋ณด๊ธฐ)

๋“ค์–ด๊ฐ€๊ธฐ ์ „์— (๋‚˜์˜ ์ด์•ผ๊ธฐ) "๊ฐœ๋ฐœ์ž๊ฐ€ ๋˜์–ด์•ผ ๊ฒ ๋‹ค"๊ณ  ์ƒ๊ฐํ•˜๊ฒŒ ๋œ ๊ฐ€์žฅ ์ฒซ ๊ณ„๊ธฐ๋ฅผ ๊ฑฐ์Šฌ๋Ÿฌ ์˜ฌ๋ผ๊ฐ€๋ฉด ์ธ๊ณต์ง€๋Šฅ์ด์—ˆ๋‹ค. AI๊ฐ€ ๊ฐ€์ ธ์˜ฌ ๋ฏธ๋ž˜์— ๋งค๋ฃŒ๋˜์—ˆ๊ณ  ๋ถ€์ŠคํŠธ์ฝ”์Šค ๊ฐ•์˜๋ฅผ ํ†ตํ•ด์„œ ํŒŒ์ด์ฌ์„ ๋ฐฐ์šฐ๊ณ  ์ˆ˜ํ•™์„ ๋ฐฐ์šฐ๊ณ  ๋จธ์‹ ๋Ÿฌ๋‹ ์˜ˆ์ œ๋ฅผ ๋”ฐ๋ผํ•˜๋ฉฐ ์‹œ์ž‘ํ–ˆ๋‹ค. ์žฌ๋ฏธ์žˆ๊ณ  ํฅ๋ฏธ์ง„์ง„ํ•œ(?) ๊ฒฝํ—˜์ด์—ˆ๋‹ค. ์ปค๋ฆฌ์–ด์ ์ธ ๋ฌด์–ธ๊ฐ€๋ฅผ ๊ตฌ์ฒด์ ์œผ๋กœ ๊ตฌ์ƒํ•˜๋ฉฐ ๊ทธ๋žฌ๋˜ ๊ฒƒ์€ ์•„๋‹ˆ๊ณ  ์˜ค๋กœ์ง€ ์žฌ๋ฐŒ์–ด๋ณด์ด๊ณ  ๊ด€์‹ฌ์ด ์žˆ์–ด์„œ ์‹œ์ž‘ํ–ˆ๋‹ค. ์ง€๊ธˆ MLOps ์ฃผ์ œ๋ฅผ ๋‹ค๋ฃจ๊ฒŒ ๋œ ๊ฒƒ๋„ ๋งˆ์ฐฌ๊ฐ€์ง€๋กœ ์ˆœ์ „ํžˆ ํฅ๋ฏธ์™€ ์•Œ๊ณ ์‹ถ๋‹ค๋Š” ๋งˆ์Œ์œผ๋กœ ์‹œ์ž‘๋˜์—ˆ๋‹ค. ์ด์ „์— ๋จธ์‹ ๋Ÿฌ๋‹/๋”ฅ๋Ÿฌ๋‹ ์˜ˆ์ œ๋“ค์„ ์ง„ํ–‰ํ•˜๋ฉด์„œ ํ•™์Šต์— ํ•„์š”ํ•œ ์ด ๋ฐ์ดํ„ฐ๋“ค์€ ์–ด๋–ป๊ฒŒ ๊ด€๋ฆฌํ•˜๋Š”์ง€, ํ•˜๋‹ค๋ชปํ•ด ๊ฐ„๋‹จํ•œ ์˜ˆ์ œ ๋ชจ๋ธ์„ ๋Œ๋ฆฌ๋Š” ๋ฐ์—๋„ ์—ฌ๋Ÿฌ๋ฒˆ ์‹คํ—˜ํ•ด์•ผ ํ–ˆ๋Š”๋ฐ ํ˜„์—…์—์„œ๋Š” ๋” ๋งŽ์€ ์‹คํ—˜์„ ํ•˜๊ณ  ๋ชจ๋ธ ํ›ˆ๋ จ์ด ํ•„์š”ํ• ํ…๋ฐ ๊ทธ ์ˆ˜๋งŽ์€ ์‹คํ—˜์˜ ๊ฒฐ..

DevOps & MLOps 2023.08.09

2023 ์˜คํ”ˆ์†Œ์Šค ์ปจํŠธ๋ฆฌ๋ทฐ์…˜ DevOps & MLOps (3) DevOpsํŽธ (ACI, AKS ๋‘ ๊ฐœ ์†Œ ๋™์‹œ ๋ฐฐํฌ ์ž๋™ํ™”)

์ „ ํŽธ์—์„œ ACI์— ๋ฐฐํฌ ์ž๋™ํ™”๋ฅผ ๊ตฌ์ถ•ํ–ˆ๋‹ค. ์ด์ œ ๋” ๋‚˜์•„๊ฐ€์„œ ACI, AKS ๋‘ ์„œ๋น„์Šค์— ๋™์‹œ์— ๋ฐฐํฌํ•  ์ˆ˜ ์žˆ๋„๋ก ๊ตฌ์„ฑํ•  ๊ฒƒ์ด๋‹ค! ACI ๋ฐฐํฌ ๊ตฌ์„ฑ์€ ๋งˆ์ณค์œผ๋ฏ€๋กœ, AKS ๋ฐฐํฌ ์ž๋™ํ™”๋ฅผ ์•Œ์•„๋ณธ๋‹ค. ACI, AKS ๋‘ ํƒ€๊ฒŸ์— deployํ•˜๊ธฐ [!NOTE] AKS๋ž€ cluster๋ฅผ ๋น ๋ฅด๊ฒŒ ๋ฐฐํฌํ•˜๊ณ  ๊ด€๋ฆฌํ•  ์ˆ˜ ์žˆ๋Š” ๊ด€๋ฆฌํ˜• ์ฟ ๋ฒ„๋„คํ‹ฐ์Šค ์„œ๋น„์Šค. CLI๋กœ AKS ํด๋Ÿฌ์Šคํ„ฐ ๋งŒ๋“ค๊ธฐ ์—ฌ๊ธฐ๋ฅผ ์ฐธ๊ณ ํ•œ๋‹ค โ˜ž Quickstart: Deploy an Azure Kubernetes Service (AKS) cluster using Azure CLI - Azure Kubernetes Service | Microsoft Learn ์•„๋ž˜ ๋ช…๋ น์–ด๋ฅผ ํ†ตํ•ด AKS ํด๋Ÿฌ์Šคํ„ฐ๋ฅผ ์ƒ์„ฑํ•œ๋‹ค. ๋‚˜๋Š” OsscaDevops-Cluster๋ผ๋Š” ํด๋Ÿฌ์Šคํ„ฐ๋ฅผ ..

DevOps & MLOps 2023.08.06

2023 ์˜คํ”ˆ์†Œ์Šค ์ปจํŠธ๋ฆฌ๋ทฐ์…˜ DevOps & MLOps (2) DevOpsํŽธ (์ง€์†์  ๋ฐฐํฌ, Azure Container Instances)

ํด๋ผ์šฐ๋“œ ์„œ๋น„์Šค์— github workflow ๊ตฌ์„ฑํ•˜๊ธฐ w/ Azure CLI (1)ํŽธ์— ์ด์–ด Azure ์„œ๋น„์Šค์— ๋ณธ๊ฒฉ์ ์œผ๋กœ ๋ฐฐํฌ ์ž๋™ํ™”๋ฅผ ๊ตฌ์ถ•ํ•œ๋‹ค. Azure์— ์ปจํ…Œ์ด๋„ˆ ์ธ์Šคํ„ด์Šค๋ฅผ ์ƒ์„ฑํ•˜๋„๋ก github action์„ ๊ตฌ์„ฑํ•œ๋‹ค. ์ง„ํ–‰ํ•˜๊ธฐ ์œ„ํ•ด์„œ ๋‘ ๊ฐ€์ง€ ํ•„์š”์กฐ๊ฑด์ด ์žˆ๋‹ค. azure CLI azure container registry azure CLI๋ฅผ ์ด์šฉํ•  ๊ฒƒ์ด๋‹ค. azure CLI๋ฅผ ์„ค์น˜ํ•˜๋ ค๋ฉด ์—ฌ๊ธฐ๋ฅผ ์ฐธ๊ณ ํ•œ๋‹ค โ˜ž Install the Azure CLI on Linux | Microsoft Learn Azure ๋ฆฌ์†Œ์Šค ๊ทธ๋ฃน ์ƒ์„ฑํ•˜๊ธฐ ๋ฆฌ์†Œ์Šค ๊ทธ๋ฃน์„ ๊ผญ ์‚ฌ์šฉํ•ด์•ผ ํ•˜๋Š” ๊ฒƒ์ธ๊ฐ€? ์ฐพ์•„๋ณธ ์„ค๋ช…์— ๋”ฐ๋ฅด๋ฉด, azure ๋ฆฌ์†Œ์Šค ๊ทธ๋ฃน์€ ๋ฆฌ์†Œ์Šค ๊ด€๋ฆฌ์˜ ๊ธฐ๋ณธ ๋‹จ์œ„์ด๋ฏ€๋กœ ๋ฆฌ์†Œ์Šค๋ฅผ ์ƒ์„ฑํ•  ๋•Œ๋งˆ๋‹ค ๋ฆฌ์†Œ์Šค ๊ทธ๋ฃน์„ ์ง€์ •ํ•ด์•ผ ํ•œ๋‹ค..

DevOps & MLOps 2023.08.06

2023 ์˜คํ”ˆ์†Œ์Šค ์ปจํŠธ๋ฆฌ๋ทฐ์…˜ DevOps & MLOps (1) DevOpsํŽธ (์ง€์†์  ํ†ตํ•ฉ, ์ปจํ…Œ์ด๋„ˆํ™”)

๋“ค์–ด๊ฐ€๊ธฐ ์ „์— ์šด์ด ์ข‹๊ฒŒ๋„ 2023 ์˜คํ”ˆ์†Œ์Šค ์ปจํŠธ๋ฆฌ๋ทฐ์…˜ ์•„์นด๋ฐ๋ฏธ์— ์ง€์›ํ•˜์—ฌ ์ฐธ๊ฐ€ ์ค‘์ด๋‹ค. (์ž์„ธํ•œ ํ”„๋กœ๊ทธ๋žจ ์†Œ๊ฐœ โ˜ž 2023 ์˜คํ”ˆ์†Œ์Šค ์ปจํŠธ๋ฆฌ๋ทฐ์…˜ ์•„์นด๋ฐ๋ฏธ (contribution.ac)) ํด๋ผ์šฐ๋“œ ์„œ๋น„์Šค์™€ DevOps์— ๋Œ€ํ•ด ๋ฐฐ์šฐ๊ณ  ์‹ถ๋‹ค๋Š” ๋™๊ธฐ๊ฐ€ ์žˆ์—ˆ๊ธฐ ๋•Œ๋ฌธ์—, ๊น€๋Œ€์šฐ ๋ฉ˜ํ† ๋‹˜์ด ์ง„ํ–‰ํ•˜์‹œ๋Š” "Git ํ™œ์šฉ ๋ฐ DevOps / MLOps"์ด๋ผ๋Š” ํ”„๋กœ์ ํŠธ์— ์ฐธ์—ฌํ•˜๊ฒŒ ๋˜์—ˆ๋‹ค. ๋ณธ ๊ณผ์ •์—์„œ๋Š” ํŒŒ์ด์ฌ(์›น ์„œ๋ฒ„, ๋จธ์‹ ๋Ÿฌ๋‹), Github Actions๊ณผ Azure ์„œ๋น„์Šค๋ฅผ ์ด์šฉํ•œ CI/CD๋ฅผ ๊ฒฝํ—˜ํ•  ์ˆ˜ ์žˆ๋‹ค. ๋‹จ๊ณ„๋ณ„๋กœ ์ง„ํ–‰๋˜์—ˆ๋Š”๋ฐ ๋‚˜๋Š” ํŒŒ์ด์ฌ๊ณผ Git, ๋จธ์‹ ๋Ÿฌ๋‹๋„ ์ผ๋ถ€ (ํŠœํ† ๋ฆฌ์–ผ ์ •๋„) ๋‹ค๋ค„๋ณธ ๊ฒฝํ—˜์ด ์žˆ์–ด์„œ ๋ฐ”๋กœ DevOps ๊ณผ์ •์œผ๋กœ ๋„˜์–ด๊ฐˆ ์ˆ˜ ์žˆ์—ˆ๋‹ค. ๊ธฐ๋ณธ์ ์œผ๋กœ ์Šค์Šค๋กœ ๋„์ „ ๊ณผ์ œ๋ฅผ ์ง„ํ–‰ํ•˜๋˜ ๋ชจ๋ฅด๋Š” ๋ถ€๋ถ„์ด ์žˆ์œผ๋ฉด ํŒ€์›..

DevOps & MLOps 2023.08.05