Azure Container Apps のマイクロサービスとは|AKS から載せ替える構成と、リビジョン・ゼロへのスケール・シークレットの動きを実機で検証(アーキテクチャ解説シリーズ 18)

アーキテクチャ

この記事でわかること

  • AKS 向けのマイクロサービスを、コードの変更を最小限にして Azure Container Apps に載せ替える構成
  • AKS と Container Apps で、デプロイ、イングレス、スケール、リリース、セキュリティの監視がどう変わるか
  • 移行のあとに行う最適化(マネージド ID、ジョブ、WAF、Dapr、組み込みの認証)とコストの考え方

はじめに

Azure アーキテクチャ センターのアーキテクチャを 1 つずつ読む 18 回目。
今回は「Azure Container Apps へのマイクロサービスのデプロイ」を読む。
16 回目で読んだ AKS のドローン配送のワークロードを、そのまま Container Apps に載せ替える(再プラットフォーム化)シナリオ。

前回:AKS の保護(アーキテクチャ解説シリーズ 17)

AKS の保護とは|Azure Firewall Basic で送信を絞ったプライベート AKS で、許可した宛先にだけ出られるかを実機で検証(アーキテクチャ解説シリーズ 17)
AKS の保護を図で解説。実機では、Azure Firewall Basic で送信を絞ったプライベート AKS を作り、FQDN タグだけでノードが動き、規則を足した宛先にだけ Pod から出られることを確かめた。

Container Apps へのマイクロサービスのデプロイとは

Azure Container Apps は、コンテナーのオーケストレーションと管理を簡単にするサーバーレスのコンテナー プラットフォーム。
このアーキテクチャは、AKS からの移行で、アプリのコードの変更を最小限にすることを重視する。
既存のやり方をできるだけ再現し、移行を妨げる最適化は後回しにする。

Azure Container Apps へのマイクロサービスのデプロイ(AKS からの移行)
サービス役割状態の置き場所
インジェストクライアントの要求を受けてバッファーし、Service Bus に発行する。
ワークロードの唯一の入口
―
ワークフローService Bus のメッセージを取り込み、後ろのマイクロサービスに振り分ける―
パッケージパッケージを管理するAzure DocumentDB(MongoDB 互換)
ドローン スケジューラドローンを割り当て、飛行中のドローンを監視するAzure Cosmos DB for NoSQL
配信予定の配送と輸送中の配送を管理するAzure Managed Redis

同じ環境を共有するサービスは、内部イングレスとサービス検出、ランタイムのログの 1 つの Log Analytics ワークスペース、シークレットと証明書の管理を共有できる。

構成要素がどういうものかは、次のとおり。

構成要素どういうもの役割
Azure Container Appsサーバーレスのコンテナー プラットフォームすべてのマイクロサービスを動かす。
サービス検出、HTTP/HTTP2 のエンドポイント、負荷分散、KEDA の自動スケール、リビジョンが組み込み
Azure Container Registryプライベートなコンテナー イメージを置くレジストリAKS で使っていたものをそのまま使う
Azure Service Bus非同期の通信を提供するメッセージング サービスインジェストとワークフローの間をつなぐ。ほかのサービスは HTTP で呼ばれる
Azure Cosmos DB / Azure DocumentDB / Azure Managed RedisNoSQL、MongoDB 互換、インメモリ キャッシュのデータ サービス各マイクロサービスが自分の状態を置く
構成要素どういうもの役割
Azure Key Vaultシークレット、キー、証明書の保管庫。
詳しくはAzure Key Vault とは。
ドローン スケジューラと配信が、ユーザー割り当てマネージド ID で認証してシークレットを読む
Application Insightsアプリのパフォーマンス管理各サービスを Azure Monitor OpenTelemetry Distro で計測する
Log Analytics ワークスペースログを集めて分析する場所。
詳しくはAzure Log Analytics ワークスペースとは。
すべてのコンポーネントのメトリックとログを集め、アラートやダッシュボード、原因分析に使う

公式ドキュメント:Azure Container Apps へのマイクロサービスのデプロイ | Microsoft Learn

AKS から移すと何が変わるか

AKS から Container Apps に移すと何が変わるか

移行で変えたコードは、Kubernetes のノードの情報をログやメトリックに付ける可観測性のライブラリの部分だけだった。
Kubernetes の YAML マニフェストは要らなくなり、Bicep でインフラとワークロードの両方をデプロイする。
大きな違いは、Kubernetes の Deployment のように成功か失敗かをまとめて扱えないこと。
Container Apps では各マイクロサービスを個別にデプロイするので、順序とロールバックはデプロイのパイプラインが担う。

公式ドキュメント:Azure Container Apps へのマイクロサービスのデプロイ | Microsoft Learn

移行のあとに行う最適化

最適化内容
シークレットの管理いまはマネージド ID と環境のシークレットを併用している。
すべてのコードをマネージド ID に対応させ、環境のシークレットをやめる
単一リビジョン モードワークフローはメッセージのスキーマに前方互換がないので、2 つのバージョンを同時に動かせない(変更時はキューを空にしてからデプロイ)。
前方互換にして、複数リビジョン モードにする
ジョブワークフローを、キューの作業に応じて起動して終わる Container Apps ジョブにする。
常時動くレプリカより経済的
イングレスの制御組み込みの外部イングレスは、WAF の後ろに置いたり DDoS Protection プランに含めたりできない。
公開イングレスを無効にし、Application Gateway か Azure Front Door を前に置く(ゼロにスケールしないよう正常性プローブを用意)
Dapr状態ストア、メッセージング、サービス検出とコードの間に抽象化を入れる
ユーザーの認証インジェストでの認証をやめ、組み込みの認証と承認(Easy Auth)で資格情報のない要求を拒否する。
ロールごとの認可はインジェストに残す

公式ドキュメント:Azure Container Apps へのマイクロサービスのデプロイ | Microsoft Learn

構成のポイント

柱ポイント
信頼性リビジョンでゼロ ダウンタイムの更新。
正常性プローブと準備プローブ、回復性ポリシー(タイムアウト、サーキット ブレーカー)、自動スケール。
環境のサブネットは将来のレプリカとジョブのために IP に余裕を持たせる。
状態は環境に置かず外部のストアへ。
マルチゾーンで作り、常時動くアプリの最小レプリカは可用性ゾーンごとに 1 つ以上
セキュリティ外部イングレスはインジェストだけで、ほかは内部モード。
カスタム VNet にすると NSG と UDR(Azure Firewall 経由)を使える(自動生成の VNet では使えない)。
Service Bus と Key Vault はネットワーク セキュリティ境界で、パブリックのエンドポイントを開けたままにしない
柱ポイント
コスト最適化主なコストは Azure Cosmos DB、Azure Managed Redis、Service Bus Premium。
まず従量課金のワークロード プロファイルを評価し、安定して予測できるものは専用プロファイル(3 ノードの倍数)。
ゼロまで縮小し、すべてを同じリージョンに置いてリージョン間のネットワーク料金を避ける
オペレーショナル エクセレンスIaC(Bicep や Terraform)で、コンテナー アプリ以外のインフラを宣言的にデプロイする。
コンテナー アプリの作成・更新・削除は、パイプラインから命令型で行う。
イメージをレジストリに入れてからデプロイする
パフォーマンス効率メトリックよりイベントでのスケールを優先する(例:Service Bus のキューの深さ)。
再プラットフォーム化の間は HTTP 要求での既定のスケールから始め、あとで最適化する

公式ドキュメント:Azure Container Apps へのマイクロサービスのデプロイ | Microsoft Learn

ワークロードの ID

推奨内容
マネージド IDシステム割り当て、ユーザー割り当て、または両方を使える。
Entra ID 認証に対応しないサービスは、シークレットを Key Vault に置いてマネージド ID で読む
レジストリ用の IDContainer Registry のアクセスには専用のユーザー割り当てマネージド ID を使い、ワークロードの操作には使い回さない
ID を分けるコンテナー アプリとジョブで ID を分け、複数の環境の間で共有しない
ライフサイクルワークロードにはシステム割り当てマネージド ID を使い、ID の寿命をコンポーネントの寿命に合わせる

公式ドキュメント:Azure Container Apps へのマイクロサービスのデプロイ | Microsoft Learn

構築手順

今回の構成と実施すること

今回の構成(Container Apps のリビジョン、内部イングレス、ゼロへのスケール)

東日本に従量課金の Container Apps 環境を作り、外部イングレスのアプリ(インジェスト役)と内部イングレスのアプリ(ワークフロー役)を置く。
記事の「移行のあとに行う最適化」と「注意事項」のうち、リビジョン、イングレス、ゼロへのスケール、シークレットを動きで確かめる。
データ ストア(Cosmos DB、Redis など)、Service Bus、Application Gateway や Front Door は組まない。

手順実施すること確かめること
①環境と 2 つのアプリを作る外部のアプリはインターネットから届き、内部のアプリは届かない。
同じ環境からは名前で呼べる
②複数リビジョン モードで 2 つのリビジョンに 80/20 で分ける100 回呼んで、ほぼ 8 対 2 に分かれる
③最小レプリカを 0 にして、しばらく呼ばないレプリカが 0 になり、次の呼び出しで起動する
④シークレットの値を変える新しいリビジョンは作られず、再起動するまで古い値のまま

アプリのイメージは Docker Hub の busybox で、起動するときにアプリ名、リビジョン名、環境変数、シークレットの値を書いた小さな Web ページを作る。
費用は、従量課金の毎月の無料枠(18 万 vCPU 秒、36 万 GiB 秒、200 万 HTTP 要求)の範囲で、0 円の見込み。

公式ドキュメント:Azure Container Apps での課金 | Microsoft Learn

① 環境とアプリを作る

ポータルの「コンテナー アプリの作成」で、名前、リージョン(Japan East)、Container Apps 環境(新規)を指定する。

コンテナー アプリの作成(基本情報)
番号項目説明
1コンテナー アプリ名アプリの名前。
同じ環境の中では、この名前で呼べる
2デプロイ元コンテナー イメージか、ソース コード
3リージョンと Container Apps 環境リージョンの既定は West US 2 だったので Japan East にした。
環境は新しく作る(このあと名前を cae-ar18 にした)
Container Apps 環境の作成(基本)
番号項目説明
1ゾーン冗長作成のときだけ選べ、あとから変えられない。
有効にするには VNet の統合が要る
Container Apps 環境の作成(ワークロード プロファイル)
番号項目説明
1Consumption環境には必ず従量課金のワークロード プロファイルがある。
ゼロへのスケールができ、使った分だけ課金される
Container Apps 環境の作成(ネットワーク)
番号項目説明
1パブリック ネットワーク アクセス有効だと、インターネットからの受信を受け付ける
2自分の仮想ネットワークを使用する「いいえ」だと自動で作られる VNet になる。
記事の注意事項のとおり、この VNet には NSG の追加や Firewall への強制トンネリングができない
コンテナー(クイックスタート イメージ)
番号項目説明
1コンテナー リソースの割り当て従量課金で 0.25 vCPU、0.5 Gi
2イングレスどこからでもトラフィックを受け入れる(外部)、ターゲット ポート 80
確認と作成
番号項目説明
1Container Apps 環境仮想ネットワークは「既定値」、ゾーン冗長は無効
2コンテナークイックスタート イメージで作り、あとで検証用のイメージに切り替えた

作成は約 2 分半で終わった。
そのあと CLI で、インジェスト役を検証用のイメージ(複数リビジョン モード、最小レプリカ 0、シークレット demo-secret)に更新し、ワークフロー役を内部イングレスで作った。

確かめたこと結果
インジェスト役(外部)をインターネットから呼ぶ200 で返った
ワークフロー役の内部 FQDN(ca-workflow.internal.~)をインターネットから呼ぶ名前は環境の公開 IP に解決されるが、404 で届かない
インジェスト役から http://ca-workflow で呼ぶ最初は 404(次の「実機でつまずいた点」)。
HTTP を許可すると、ワークフロー役の応答が返った
app=ca-ingest revision=ca-ingest--blue message=blue secret=secret-v1 started=11:09:26
workflow -> app=ca-workflow revision=ca-workflow--v1 message=workflow-v1 secret=secret-v1 started=11:10:12

公式ドキュメント:
Azure Container Apps でのイングレス | Microsoft Learn
Azure Container Apps内のコンテナー アプリ間で通信する | Microsoft Learn

② リビジョンでトラフィックを分ける

blue のリビジョンにトラフィックを 100% 固定してから、環境変数 MESSAGE=green の新しいリビジョン green を作った(green は 0%)。
CLI で blue に 80、green に 20 を割り当て、インジェスト役を 100 回呼んだ。

az containerapp ingress traffic set -g <リソース グループ> -n ca-ingest --revision-weight ca-ingest--blue=80 ca-ingest--green=20
     80 revision=ca-ingest--blue
20 revision=ca-ingest--green
リビジョンとレプリカ
番号項目説明
1トラフィックgreen 20%、blue 80%。
最初のクイックスタートのリビジョンは 0%
20 にスケーリング済みトラフィックのないリビジョンは、有効のままレプリカが 0 になっていた

※ポータルのトラフィックの欄は、新しいリビジョンが「アクティブ化しています」の間、入力が別の行に入るなどうまく入らなかったので、CLI で設定して画面で確かめた。

公式ドキュメント:
Azure Container Apps の変更を更新してデプロイする | Microsoft Learn
Azure Container Apps でのトラフィック分割 | Microsoft Learn

③ ゼロにスケールし、呼ばれたら起動する

インジェスト役を呼ばずに置き、blue と green のレプリカ数を 30 秒ごとに確かめた。

時刻(UTC)できごと
11:15 ごろ最後の呼び出し
11:21:34blue、green とも、レプリカが 0 になった(約 6 分後)
11:22:010 の状態から呼ぶと、green の応答まで 26.85 秒(11:21:51 に起動)
11:22:26続けて blue に振られた呼び出しも 25.37 秒(11:22:19 に起動)
11:22:26起動したあとの呼び出しは 0.03 秒

ゼロにスケールしている間は利用料金がかからない。
その代わり、0 からの最初の呼び出しはレプリカの起動を待つ。
今回のイメージ(Docker Hub の busybox)では 25 秒前後かかった。
応答の遅さが困るアプリは、最小レプリカを 1 以上にする。

公式ドキュメント:Azure Container Appsでスケーリング ルールを設定する | Microsoft Learn

④ シークレットを変える

シークレット demo-secret の値を secret-v1 から secret-v2 に変えた。

シークレット
番号項目説明
1画面の説明シークレットはすべてのリビジョンで有効で、変更しても新しいリビジョンは作られない、と書かれている
2demo-secret環境変数 SECRET_VAL から参照しているシークレット
確かめたこと結果
値を変えたあとのリビジョン3 つのまま(増えない)
値を変えた直後の応答blue も green も secret-v1 のまま
blue のリビジョンだけ再起動約 30 秒後から、blue は secret-v2、green は secret-v1
③ でゼロから起動した greensecret-v2(新しく起動したレプリカは新しい値を読む)

記事の注意事項のとおり、シークレットを変えたら、使っているリビジョンを再起動する手順を忘れないようにする。

公式ドキュメント:Azure Container Appsでシークレットを管理する | Microsoft Learn

実機でつまずいた点

wget: server returned error: HTTP/1.1 404 Not Found

内部のアプリを HTTP で呼ぶと 404

同じ環境の内部イングレスのアプリを、アプリ名で http://ca-workflow と呼ぶと 404 になった。
イングレスの既定(allowInsecure = false)では、ポート 80 への HTTP 要求は 443 の HTTPS に自動でリダイレクトされる。
今回の busybox の wget では、その呼び出しが 404 で終わった。
ワークフロー役で HTTP を許可すると(–allow-insecure true)、200 で返った。
環境の中の通信でも、HTTPS で呼べるクライアントなら、HTTP を許可せずに HTTPS で呼ぶ方がよい。

公式ドキュメント:
Azure Container Apps でアプリのイングレスを構成する | Microsoft Learn
Azure Container Apps でのイングレス | Microsoft Learn

推奨構成

項目推奨
入口組み込みの公開イングレスをやめ、Application Gateway か Front Door の WAF を前に置く。
後ろのサービスは内部イングレス
ネットワークカスタム VNet にして NSG と UDR を使う。
PaaS はネットワーク セキュリティ境界
IDすべてのサービスをマネージド ID に。レジストリ用の ID は分ける
リリース複数リビジョン モードとトラフィック分割。ワークフローはジョブを検討
監視Application Insights と、ほかのコンポーネントと同じ Log Analytics ワークスペース
環境ほかのワークロードと共有しない専用の Container Apps 環境

注意事項

項目内容
WAF と DDoS組み込みの外部イングレスは、WAF の後ろにも DDoS Protection プランにも入れられない
自動生成の VNetMicrosoft が管理する VNet には、NSG の追加や Firewall への強制トンネリングができない
Defender for ContainersContainer Apps では、レジストリのイメージの脆弱性評価だけで、実行時の保護はない
環境の共有同じ環境のアプリとジョブは、内部イングレスのサービスを見つけて届くことができる。
ほかのワークロードとは環境を分ける
シークレットの更新シークレットの値を変えても新しいリビジョンは作られない。
実行中のリビジョンで読み込むには再起動が要る
コストの削減このワークロードでは AKS よりコストが下がったが、すべてのワークロードで下がるわけではない

公式ドキュメント:Azure Container Apps へのマイクロサービスのデプロイ | Microsoft Learn

関連するアーキテクチャとの違い

記事このアーキテクチャとの関係
AKS のマイクロサービス アーキテクチャ同じドローン配送のワークロードを AKS で動かす元の構成
AKS の保護AKS で WAF、Firewall、プライベートな API サーバーを組み合わせる構成。
Container Apps でも WAF を前に置く考え方は同じ

まとめ

・AKS 向けのマイクロサービスを、コードの変更を最小限にして Container Apps に載せ替える構成。
・Container Apps には、サービス検出、イングレス、KEDA の自動スケール、リビジョンが組み込まれていて、Kubernetes のマニフェストが要らない。
・各マイクロサービスは個別にデプロイされるので、順序とロールバックはパイプラインで管理する。
・移行のあとに、マネージド ID、ジョブ、WAF の前置き、Dapr、組み込みの認証で最適化する。
・実機では、リビジョンで 80/20 にトラフィックが分かれ、呼ばれないとレプリカが 0 になり、シークレットの変更は再起動するまで反映されなかった。

次回:エンタープライズ統合(アーキテクチャ解説シリーズ 19)

エンタープライズ統合とは|API Management、Logic Apps、Service Bus でバックエンドをつなぎ、キューでの非同期化を実機で検証(アーキテクチャ解説シリーズ 19)
API Management と Logic Apps の統合と、Service Bus での非同期化を解説。実機ではキューで処理の停止を吸収する動きと、従量課金レベルでのレート制限のつまずきを確かめた。

コメント

タイトルとURLをコピーしました