Azure Machine Learning の推論のベースラインとは|Dev・Stage・Prod とレジストリでモデルを昇格し AKS で推論する構成と、ブルー/グリーンの切り替えを実機で検証(アーキテクチャ解説シリーズ 25)

アーキテクチャ

この記事でわかること

  • Dev・Stage・Prod を分け、共有のレジストリを昇格のゲートにして AKS でオンライン推論する Azure Machine Learning のベースライン
  • マネージド VNet と自分の VNet の 2 つのネットワーク、Application Gateway と API Management の受信の流れ
  • Kubernetes オンライン エンドポイントの認証(トークンの交換)、ブルー/グリーンのロールアウトなど運用のポイント

はじめに

Azure アーキテクチャ センターのアーキテクチャを 1 つずつ読む 25 回目。
今回は「ベースライン Azure Machine Learning 推論参照アーキテクチャ」を読む。
一般的な企業の環境での、Azure Machine Learning のオンライン推論の基準になる構成で、プライベートなネットワーク、環境の分離、モデルの制御された昇格、チームの責任の分離を重視している。

前回:基本の Foundry チャットとランディング ゾーン版(アーキテクチャ解説シリーズ 24)

基本の Foundry チャットとランディング ゾーン版とは|POC 向けの構成と本番でのチームの持ち分、エージェントに要るロールを実機で検証(アーキテクチャ解説シリーズ 24)
基本の Foundry チャットとランディング ゾーン版を解説。実機では AI 検索のツールを付けたエージェントで、アプリとプロジェクトのマネージド ID に要るロールを確かめた。

Azure Machine Learning 推論のベースラインとは

Dev、Stage、Prod の 3 つの環境を、それぞれ別のサブスクリプションに置く。
トレーニングは Dev で行い、バージョン管理したモデルと環境を共有の Azure Machine Learning レジストリに公開して、推論の環境である Stage と Prod に昇格させる。
推論のホストは AKS で、Azure Machine Learning 拡張機能が Kubernetes オンライン エンドポイントを提供し、ブルー/グリーンのロールアウトとトラフィックの移動を管理する。

ベースライン Azure Machine Learning 推論

このアーキテクチャはオンライン推論に重点を置き、ストリーミング推論は範囲外。1 つのリージョンの構成。

面内容
データと特徴量Data Lake Storage がデータ ソースとオフラインの特徴量ストア。
待ち時間の短いオンライン ストアで要求時に参照する
機械学習Azure Machine Learning のワークスペース、トレーニングのコンピューティング、モデルの登録、環境、エンドポイントとデプロイの定義
推論AKS が Kubernetes オンライン エンドポイントの後ろで推論する。
ブルー/グリーンのトラフィックは Azure Machine Learning が制御
アクセスと運用Application Gateway(WAF)、API Management、Azure Firewall、プライベート エンドポイント、ハイブリッド DNS、セルフホステッドのランナー、ジャンプ ボックス

構成要素がどういうものかは、次のとおり。

構成要素どういうもの役割
Azure Machine Learning のワークスペース機械学習の作業の入れ物。環境ごとに 1 つ各ワークスペースは自分の Key Vault、Storage、Container Registry、Application Insights を持ち、プライベート エンドポイントからだけ届く
Azure Machine Learning レジストリモデルと環境のバージョンを、ワークスペースをまたいで共有する場所昇格のゲート。
共有プラットフォームのサブスクリプションに 1 つ置く(Prod に置くと Dev が本番に依存する)
AKS と Azure Machine Learning 拡張機能Kubernetes のマネージド サービスと、その上で推論のエンドポイントを動かす拡張機能。
AKS はAKS のベースライン アーキテクチャ。
環境ごとに 1 つのクラスター(ワークスペースと同じサブスクリプション)。
推論ルーターを内部ロード バランサーで公開する
Azure Container Registry(Premium)推論のイメージを置くレジストリ環境ごとにプライベート エンドポイントの後ろに置く。
Stage と Prod には、ダイジェストで取り込んだイメージ
構成要素どういうもの役割
API ManagementAPI のゲートウェイ。Stage と Prod に内部モードで置く利用者の Entra のトークンを検証し、Azure Machine Learning のトークンに交換してエンドポイントに転送する
Application Gateway と WAFレイヤー 7 のロード バランサーと WAF。
詳しくはAzure WAF(Application Gateway)とは。
インターネットに面する唯一の部品で、Prod だけに置く
Azure Key Vaultシークレット、キー、証明書の保管庫。
詳しくはAzure Key Vault とは。
ワークスペースのシークレット、推論ルーターの TLS 証明書。
トークン交換ができない場合はエンドポイントのキー
Azure DNS Private Resolverハイブリッドの名前解決。
詳しくはAzure DNS Private Resolver とは。
プライベート エンドポイント、推論ルーターの FQDN を、Azure とオンプレミスから同じように解決する

公式ドキュメント:ベースライン Azure Machine Learning推論参照アーキテクチャ | Microsoft Learn

環境の昇格

引き継ぎ条件
Dev → レジストリ候補のモデルが Dev の AKS でスモーク テストに通り、トレーニング ジョブとイメージのダイジェストへの系列が記録され、デプロイ定義がバージョン管理されている。
レジストリに書けるのは Dev の昇格パイプラインの ID だけ
レジストリ → Stage公開されると自動で引き継ぐ。
イメージはダイジェストで取り込み、0% のトラフィックで新しいデプロイとして置く
Stage → ProdApplication Gateway からの受信の流れ全体で機能・非機能のチェックに通り、ロールバックを試し、セキュリティの対策を確かめた。
リリースの承認者が証拠を見て承認する
Prod → Devインシデント、ドリフト、パフォーマンスの観察を、次の繰り返しの計画に戻す

Stage では、API Management のテスト用の操作で、候補のデプロイ名に向けて azureml-model-deployment ヘッダーを上書きし、ふつうの利用者にデプロイの選択を見せずに候補を検証する。

公式ドキュメント:ベースライン Azure Machine Learning推論参照アーキテクチャ | Microsoft Learn

ネットワークと認証

項目ポイント
2 つのネットワークAzure Machine Learning のマネージド VNet は、コンピューティング インスタンス、クラスター、サーバーレス Spark の送信を分離する。
それ以外(AKS、Container Registry、API Management、Application Gateway、Firewall、プライベート エンドポイント、ランナー、ジャンプ ボックス)は自分で作る VNet に置く
サブネットサブネットごとに NSG を当て、必要な通信だけを明示的に許可する
推論ルーター拡張機能は推論を有効にし、内部ロード バランサーで公開し、安全でない接続を許さず、CA 発行の証明書とプライベートのスコアリング FQDN を設定する。
高可用性を保ち、システム ノード プールを可用性ゾーンに分ける
エンドポイントの認証Kubernetes オンライン エンドポイントは Entra のトークン(aad_token)に対応せず、キーか Azure Machine Learning のトークン(aml_token)。
API Management だけを呼び出し元にし、マネージド ID で特定のエンドポイントのトークン取得だけを許すカスタム ロールで交換する

公式ドキュメント:ベースライン Azure Machine Learning推論参照アーキテクチャ | Microsoft Learn

構成のポイント

柱ポイント
信頼性推論ルーターの高可用性を保ち、システム ノード プールを可用性ゾーンに分ける。
Prod はブルー/グリーンで段階的にトラフィックを移し、しきい値でロールバックする
セキュリティインターネットに面するのは Prod の Application Gateway だけ。
ワークスペースや関連リソースはプライベート エンドポイント。
API Management に、デプロイやキーの一覧、ワークスペース全体の権限を与えない。
Azure Machine Learning のトークンを名前付き値や Key Vault、ソース管理に置かない
オペレーショナル エクセレンスエンドポイントの定義、デプロイの設定、トラフィックの構成をソース管理でバージョン管理する。
レジストリのネットワークを分離すると、スタジオではレジストリの操作が見えないので、ランナーやジャンプ ボックスから CLI か SDK を使う

公式ドキュメント:ベースライン Azure Machine Learning推論参照アーキテクチャ | Microsoft Learn

構築手順

今回の構成と実施すること

今回の構成(マネージド オンライン エンドポイントで blue と green を切り替える)

記事の構成のうち、Prod の「0% から始めるブルー/グリーン」の部分を、1 つのワークスペースとマネージド オンライン エンドポイントで試した。
AKS(Kubernetes オンライン エンドポイント)、レジストリ、Application Gateway と API Management は使っていない。
モデルは、架空のデータ(広さと駅からの分数から家賃を出す)で作った小さな回帰モデルで、v1 と v2 で答えが少し違うようにした。

手順実施すること確かめること
①ポータルで Machine Learning ワークスペースを作る一緒に作られる関連リソース
②MLflow 形式のモデルを登録し、スタジオでエンドポイントと blue のデプロイを作るキーなしの要求は拒否され、キーを付けると推論の結果が返る
③green のデプロイを 0% で足すヘッダーでデプロイを指定すれば、割合が 0% でも呼べる
④トラフィックを 50/50 → 0/100 にし、blue を消す割合どおりに振り分けられ、切り替えや削除の間も要求が止まらない

デプロイの VM は Standard_F2s_v2(2 コア、4 GiB)で、Linux の VM と同じ 16.9306 円/時がかかる。
blue と green の 2 台を合わせて、作り直しの時間も含め約 2 時間動かした。
ほかに、デプロイのときに自動で作られるコンテナー レジストリ(Basic、26.3611 円/日)と、ストレージなどの少額がかかる。

公式ドキュメント:リアルタイム推論のためのオンライン エンドポイントのデプロイ | Microsoft Learn

① ポータルで Machine Learning ワークスペースを作る

ポータルの「Azure Machine Learning」⇒「作成」で作る。
名前を入れると、ストレージ アカウント、キー コンテナー、Application Insights が新規で埋まる。

Machine Learning ワークスペースを作成する(基本)
番号項目説明
1リソース グループrg-ar25-ml
2名前、リージョンmlw-ar25、Japan East
3ストレージ アカウント、キー コンテナー、Application Insights関連リソース。
既定で新しく作られる
4コンテナー レジストリ既定は「なし」。
今回は、最初のデプロイのときに Basic のレジストリが自動で作られた

受信(Inbound Access)は「All networks」、送信(Outbound Access)は「パブリック」のままにした。
記事の構成のように、ワークスペースをプライベート エンドポイントやマネージド VNet で閉じるのは、ここで選ぶ。

Inbound Access
番号項目説明
1Public network accessAll networks(インターネットからワークスペースにアクセスできる)。
Disabled にすると、下の欄でプライベート エンドポイントを足す
Outbound Access
番号項目説明
1パブリックマネージド VNet を使わない。
Allow Internet Outbound か Allow Only Approved Outbound を選ぶと、Machine Learning が管理する VNet でコンピューティングを分離する

作成後のリソース グループには、ワークスペース、ストレージ、キー コンテナー、Application Insights、Log Analytics ワークスペースができた。

② モデルを登録し、エンドポイントと blue を作る

モデルは手元の scikit-learn で作り、MLflow 形式(MLmodel、model.pkl、conda.yaml)のフォルダーにした。
MLflow 形式なら、スコアリング スクリプトと環境を用意しなくてもデプロイできる(コードなしのデプロイ)。
conda.yaml に推論用のパッケージが要ることでつまずいた(後述)。
最終的に使った conda.yaml は次のとおり。

channels:
- conda-forge
dependencies:
- python=3.10
- pip
- pip:
- mlflow-skinny
- cloudpickle
- psutil
- pandas
- scikit-learn==1.0.2
- numpy<2
- azureml-inference-server-http
- azureml-ai-monitoring
name: mlflow-env

モデルの登録は、画面のない操作なので CLI で行った。

az ml model create -g rg-ar25-ml -w mlw-ar25 -n rent -v 5 --type mlflow_model --path ./rent-v1
az ml model create -g rg-ar25-ml -w mlw-ar25 -n rent -v 6 --type mlflow_model --path ./rent-v2

登録したモデルを Machine Learning スタジオで開き、「このモデルを使用する」⇒「リアルタイム エンドポイント」を選ぶ。

スタジオのモデルの詳細
番号項目説明
1種類MLFLOW。
MLflow 形式として登録されている
2このモデルを使用するリアルタイム エンドポイント、バッチ エンドポイントなどへのデプロイを始める

デプロイの画面は、既定でインスタンス数が 3、仮想マシンが Standard_D2as_v4 になっていた。
1 台の Standard_F2s_v2 に変え、エンドポイント名とデプロイ名を入れた。

rent のデプロイ(スタジオ)
番号項目説明
1インスタンス数1。
既定の 3 のままだと、3 台分の料金がかかる
2仮想マシンStandard_F2s_v2。
大きなモデルには小さすぎることがある、という注意が出る(今回のモデルは数 KB)
3エンドポイント名ep-ar25-rent。
URL は https://ep-ar25-rent.japaneast.inference.ml.azure.com/score になる
4デプロイ名blue

マネージド オンライン エンドポイントでは、Azure Machine Learning が OS の更新などのために 20% 分の余分なクォータを確保する。
F2s_v2 を 1 台デプロイするには、ceil(1.2 × 1) × 2 コア = 4 コアの空きが要る。
blue と green の 2 つで 8 コアになり、東日本の Machine Learning の standardFSv2Family のクォータ(16 コア)に収まった。

エンドポイント ep-ar25-rent の詳細
番号項目説明
1ライブ トラフィックの割り当てblue に 100%。
green は作成中で 0%
2認証の種類Key。
スタジオから作るとキー認証になった
3SKUStandard_F2s_v2

キーを付けずに要求を送ると、403 Forbidden で拒否された。
キーを付けると、v1 のモデルの答えが返った。
応答ヘッダー azureml-model-deployment に、答えたデプロイの名前が入る。

要求の本文は {"input_data": {"columns": ["area_m2", "walk_min"], "index": [0], "data": [[40, 5]]}}(40 ㎡、徒歩 5 分)で、スコアリング URI に POST した。
キーは「Authorization: Bearer <キー>」のヘッダーで渡す(キーは az ml online-endpoint get-credentials で取れる)。
v1 の答えは [96.00000000000001]、v2 は [100.76669425164522] だった。

公式ドキュメント:
MLflow モデルのオンライン エンドポイントへのデプロイ | Microsoft Learn
Azure Machine Learning を使用するリソースのクォータと制限の管理と引き上げ | Microsoft Learn
オンライン エンドポイントの認証と承認 | Microsoft Learn

③ green を 0% で足す

green のデプロイは、YAML を書いて CLI で作った。
エンドポイントに後から足したデプロイは、トラフィックが 0% で始まる。

$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineDeployment.schema.json
name: green
endpoint_name: ep-ar25-rent
model: azureml:rent:6
instance_type: Standard_F2s_v2
instance_count: 1
az ml online-deployment create -g rg-ar25-ml -w mlw-ar25 -f green.yml

green ができたあとも、割合どおり(blue 100、green 0)に 20 回送ると、20 回とも blue(96.0)が答えた。
要求にヘッダー azureml-model-deployment: green を付けると、割合を無視して green(100.77)に届いた。
本番のトラフィックを流す前に、新しいデプロイだけを試せる。

なお、blue の割合が 0% で、ほかに割合を持つデプロイがない状態では、キーを付けても 404 Not Found になった。

公式ドキュメント:
リアルタイム推論のためのオンライン エンドポイントのデプロイ | Microsoft Learn
リアルタイム推論のために新しいデプロイの安全なロールアウトを実行する | Microsoft Learn

④ トラフィックを 50/50 → 0/100 にし、blue を消す

スタジオのエンドポイントの「トラフィックを更新する」で割合を変える。
割合の合計は 0% か 100% にする。

トラフィックの割り当てを更新する
番号項目説明
1blue、green50 と 50 にした
2ミラー化されたトラフィックを有効にするライブ トラフィックの一部(1〜50%)を、応答に使わずに別のデプロイへ複製する。
今回は使っていない
更新後の展開の概要
番号項目説明
1ライブ トラフィックの割り当てblue(50%)、green(50%)

50/50 にしたあと 40 回送ると、blue が 21 回、green が 19 回答えた。
続けて 0/100 にし、更新を押した直後から 75 秒間、0.5 秒おきに要求を送った。
140 回のうちエラーは 0 件で、最初の 1 回だけ blue、そのあとはすべて green が答えた。

割合(blue / green)送った回数blue が答えたgreen が答えた
100 / 020200
50 / 50402119
0 / 100 に更新中〜更新後1401139

最後に、使わなくなった blue を CLI で消した。
削除を始めてから 4 分間に送った 400 回は、すべて green が答え、エラーはなかった。
個々のデプロイを消しても、エンドポイントのほかのデプロイには影響しない。

az ml online-deployment delete -g rg-ar25-ml -w mlw-ar25 -e ep-ar25-rent -n blue --yes --no-wait
blue の削除中のエンドポイント
番号項目説明
1ライブ トラフィックの割り当てgreen(100%)、blue(0%)
2プロビジョニングの状態blue は削除中

公式ドキュメント:リアルタイム推論のために新しいデプロイの安全なロールアウトを実行する | Microsoft Learn

実機でつまずいた点

Liveness probe failed: HTTP probe failed with statuscode: 502.

エンドポイントの ARM エラー ログ
番号項目説明
1ARM エラー ログUser container has crashed or terminated: Liveness probe failed: HTTP probe failed with statuscode: 502.

最初の blue は、約 35 分「作成中」のあと失敗した。
作成中は、CLI でログを取ろうとしても Deployment is in deleting or creating state so logs can’t be retrieved. と出て、中が見えない。
失敗したあとにデプロイのログを見ると、推論サーバーの起動で pandas が見つからずに止まっていた。

$ az ml online-deployment get-logs -g rg-ar25-ml -w mlw-ar25 -e ep-ar25-rent -n blue
...
File ".../site-packages/mlflow/pyfunc/__init__.py", line 417, in <module>
ModuleNotFoundError: No module named 'pandas'
azureml_inference_server_http.server.user_script.UserScriptImportException: Failed to import user script because it raised an unhandled exception
...
Reason: Worker failed to boot.

コードなしのデプロイでは、モデルの conda.yaml に書いたパッケージで環境が作られる。
最初の conda.yaml は mlflow-skinny と scikit-learn だけで、pandas が入っていなかった。
pandas を足すと、次は自動で用意されるスコアリング スクリプト(mlflow_score_script.py)の from azureml.ai.monitoring import Collector で、No module named ‘azureml’ になった。

公式の「MLflow モデルのオンライン エンドポイントへのデプロイ」には、環境に azureml-inference-server-http と azureml-ai-monitoring を含める必要があると書かれている。
例の conda.yaml に合わせて cloudpickle、psutil、pandas、azureml-inference-server-http、azureml-ai-monitoring を足し、新しいバージョンとして登録し直すと、約 15 分で成功した。
直すたびに、新しいバージョンとして登録した(今回は 1 → 3 → 5)。
MLflow 形式のフォルダーを手で書くときは、この 2 つのパッケージを忘れない。

公式ドキュメント:MLflow モデルのオンライン エンドポイントへのデプロイ | Microsoft Learn

推奨構成

項目推奨
環境Dev、Stage、Prod を別のサブスクリプション。
ワークスペースと AKS は環境ごと
昇格共有プラットフォームのサブスクリプションに 1 つのレジストリ。
書き込みは Dev の昇格パイプラインだけ
受信Application Gateway(WAF)→ API Management(内部モード、トークン交換)→ 推論ルーター(内部ロード バランサー)
ネットワークマネージド VNet と自分の VNet。
ハイブリッド DNS は DNS Private Resolver
リリース0% から始めるブルー/グリーンと、監視のしきい値でのロールバック

注意事項

項目内容
AKS のサブスクリプションAzure Machine Learning は、別のサブスクリプションの AKS クラスターのアタッチに対応していない
レジストリのリソースレジストリの裏の Storage と Container Registry は、azureml-rg-<レジストリ名>_ というマネージド リソース グループに作られる。
プライベート エンドポイント、ポリシー、コストで考慮する
レジストリでの環境の作成レジストリの Container Registry がパブリック アクセスを無効にしていると、レジストリで環境を直接作れない。
Dev のワークスペースで作って共有する
ワークスペースのロール2024 年 11 月 19 日より前に作ったワークスペースは、マネージド ID に共同作成者が付いている。
Azure AI 管理者に置き換える
範囲ストリーミング推論は範囲外。1 つのリージョンの構成

公式ドキュメント:ベースライン Azure Machine Learning推論参照アーキテクチャ | Microsoft Learn

関連するアーキテクチャとの違い

記事このアーキテクチャとの関係
基本の Foundry チャットとランディング ゾーン版生成 AI のチャット。今回は自分で学習させたモデルのオンライン推論
Azure Machine Learning のセキュリティとは(AI 編 A7)Azure Machine Learning のワークスペースとネットワークを扱った
AKS のベースライン アーキテクチャ推論のホストになる AKS の基盤

まとめ

・Azure Machine Learning 推論のベースラインは、Dev・Stage・Prod を別のサブスクリプションに分け、共有のレジストリを昇格のゲートにする。
・推論は AKS の Kubernetes オンライン エンドポイントで、ブルー/グリーンで段階的にトラフィックを移す。
・受信は Application Gateway(WAF)と内部モードの API Management で、API Management が Azure Machine Learning のトークンに交換する。
・ネットワークは、マネージド コンピューティング用のマネージド VNet と、それ以外の自分の VNet の 2 つ。

次回:ドキュメントの分類の自動化(アーキテクチャ解説シリーズ 26)

ドキュメントの分類の自動化とは|Durable Functions と Document Intelligence で分けて分類し、エージェントで検索する構成を実機で検証(アーキテクチャ解説シリーズ 26)
Durable Functions と Document Intelligence で PDF の中の文書を分けて分類し、埋め込みと AI 検索、エージェントで答える構成を解説。分類器の学習から引用つきの回答まで実機で確かめた。

コメント

タイトルとURLをコピーしました