この記事でわかること
- AKS の送信を Azure Firewall に通して FQDN で絞る構成(userDefinedRouting と AzureKubernetesService タグ)
- Azure Front Door Premium と Private Link で、AKS のワークロードをインターネットに直接さらさずに公開する構成
- プライベートな API サーバーへの管理アクセスの経路(Bastion、VPN、command invoke など)と選び方
はじめに
Azure アーキテクチャ センターのアーキテクチャを 1 つずつ読む 17 回目。
今回は、AKS を守るための 3 つのガイドをまとめて読む。
送信を Azure Firewall で絞る、受信を Azure Front Door で守る、管理のための API サーバーへのアクセスを限る、の 3 つ。
前回:AKS のマイクロサービス アーキテクチャ(アーキテクチャ解説シリーズ 16)

AKS を守る 3 つの経路
AKS は既定では、ノードやサービスが外部のリソースに届くように、送信のインターネット アクセスが無制限になっている。
また、AKS には、クラスターと外部ネットワークの間の受信と送信を守る組み込みのしくみがない。
そこで、送信・受信・管理の 3 つの経路を、それぞれ Azure のサービスで守る。

| 経路 | 主なサービス | ねらい |
|---|---|---|
| 送信 | Azure Firewall(Azure Firewall とは) | 送信を FQDN、プロトコル、ポートで絞り、データの持ち出しなど不要な通信を防ぐ |
| 受信 | Azure Front Door Premium、WAF、Private Link サービス | エッジで TLS を終端して WAF で検査し、AKS へはプライベートな接続で届ける |
| 管理 | Azure Bastion(Azure Bastion とは)、VPN、ExpressRoute など | プライベートな API サーバーに、必要な人だけが届くようにする |
公式ドキュメント:
Azure Firewall を使用して AKS クラスターを保護する | Microsoft Learn
Azure Front Doorを使用して AKS ワークロードをセキュリティで保護する | Microsoft Learn
Azure Kubernetes Service (AKS) API サーバーにアクセスする | Microsoft Learn
① 送信を Azure Firewall で絞る
AKS のノードは、API サーバー、クラスターのコンポーネントのダウンロード、Microsoft Container Registry からのイメージの取得など、特定の FQDN とポートに届く必要がある。
これらの宛先は FQDN で決まっていて静的な IP がないので、NSG では送信を絞れない。
FQDN で送信を制御できる Azure Firewall を、ハブの VNet に置く。
| 設定 | 内容 |
|---|---|
| 送信の種類 | クラスターの作成時に userDefinedRouting にする。 AKS はエグレス用のパブリック ロード バランサーと SNAT 用のパブリック IP を作らず、ノードのサブネットの送信はすべて UDR に従って Firewall に行く |
| ルート テーブル | ワーカー ノードのサブネットごとにルート テーブルを作って関連付け、次ホップを Firewall のプライベート IP にする |
| 許可の一覧 | AKS が必要とする FQDN は長く、よく変わる。 自分で管理せず、Firewall のアプリケーション規則で FQDN タグ AzureKubernetesService を使う(Firewall が最新に保つ) |
| SNAT | Firewall が送信元の Pod の IP をパブリック IP に置き換える。 これがクラスターの送信の ID になり、相手先の許可リストに登録できる |
| SNAT ポート | 本番は Firewall にフロントエンドのパブリック IP を 20 個以上(AKS のガイダンス)。 同時接続が多いなら NAT ゲートウェイも推奨 |
| SKU | 勧められる場面 |
|---|---|
| Premium | 支払い処理など機密性の高いアプリ。 マルウェア関連の脅威検出や TLS 検査などの高度な脅威保護 |
| Standard | レイヤー 3〜7 の機能と自動スケール(ピーク 30 Gbps まで)。 脅威インテリジェンス、DNS プロキシ、Web カテゴリなど |
| Basic | スループットが 250 Mbps 未満 |
受信を Firewall で受けるなら、Firewall の DNAT 規則で、Firewall のパブリック IP とポートを、イングレスの内部ロード バランサーのプライベート IP とポートに変換する。
AKS のイングレスに推奨されるのは、アプリケーション ルーティングの Gateway API 実装か Application Gateway for Containers。
公式ドキュメント:Azure Firewall を使用して AKS クラスターを保護する | Microsoft Learn
② 受信を Azure Front Door と Private Link で守る
Azure Front Door Premium が、エッジでクライアントの TLS 接続を終端し、AKS の配信元へ別の TLS 接続を張る。
Front Door から AKS へは、Private Link サービスを通したプライベートな接続で、Gateway API の実装は AKS の内部ロード バランサーのプライベート IP を使う。
| 順番 | 流れ |
|---|---|
| 1 | クライアントがカスタム ドメインに要求を送る。 DNS ゾーンの CNAME で Front Door のエンドポイントに向く |
| 2 | 要求は Front Door のプレゼンス ポイント(POP)に届き、WAF、ルーティング規則、ルール エンジン、キャッシュの構成で宛先が決まる |
| 3 | Front Door が、Private Link サービスにつながるプライベート エンドポイントに要求を転送する |
| 4 | Private Link サービスから、AKS の内部ロード バランサー(kubernetes-internal)に転送される |
| 5 | Gateway API の実装の Pod が要求を受け、ワークロードの Pod に転送する |
| 項目 | ポイント |
|---|---|
| 証明書 | カスタム ドメインの証明書を Key Vault に置く。 Front Door はユーザー割り当てマネージド ID で、クラスター側はシークレット ストア CSI ドライバーで取り出す |
| 接続の承認 | デプロイの最後に、Front Door が作るプライベート エンドポイント接続を承認しないと、配信元にプライベートに送れない |
| Gateway API | マネージドのアプリケーション ルーティング実装か、Envoy Gateway などの自分で入れる実装。 どちらも内部ロード バランサーのプライベート IP を使う |
| Private Link サービス | 参照実装は手動で作るが、AKS の Private Link service 機能で、注釈からマネージドに作ることもできる |
公式ドキュメント:Azure Front Doorを使用して AKS ワークロードをセキュリティで保護する | Microsoft Learn
③ 管理アクセスを限る
プライベートな AKS クラスターの API サーバーには、クラスターへのネットワーク アクセスを持つデバイスからしか接続できない。
API サーバーへのアクセスの計画は、構築の前(0 日目)に行う。
新しいプライベート クラスターには、API サーバーの VNet 統合(API サーバーのエンドポイントを VNet の委任されたサブネットに置く)が推奨されている。
| 方法 | 内容 |
|---|---|
| ジャンプ ボックス+Bastion | ハブなどのジャンプ ボックスに Bastion で入り、kubectl を使う。 可用性セットや少数のスケール セットで冗長にする |
| Bastion のネイティブ クライアント トンネリング | ジャンプ ボックスなしで、手元のツールから直接つなぐ。 Bastion は Standard か Premium で、ネイティブ クライアントのサポートを有効にする |
| VPN / ExpressRoute | オンプレミスやリモートのネットワークから、プライベート クラスターにつなぐ。 詳しくはオンプレミスと Azure の接続(VPN・ExpressRoute)とは。 |
| az aks command invoke | Azure CLI から、クラスターでコマンドを直接実行する |
| そのほか | API サーバーにつながるサブネットに置いた Cloud Shell、SSH サーバーのコンテナー インスタンス、Azure Virtual Desktop |
API サーバーへの通信はすべて HTTPS(TCP 443)なので、NSG やファイアウォールで、送信元から API サーバーの FQDN への 443 を許可する。
公式ドキュメント:Azure Kubernetes Service (AKS) API サーバーにアクセスする | Microsoft Learn
構成のポイント
| 柱 | ポイント |
|---|---|
| 信頼性 | 本番の AKS は Standard か Premium のレベル。 管理用のジャンプ ボックスは、可用性セットなどで冗長にする |
| セキュリティ | 送信は userDefinedRouting と Firewall、受信は Front Door Premium の WAF と Private Link、管理はプライベートな API サーバー。 API サーバーへのアクセスは必要なユーザーだけに絞る |
| コスト最適化 | Firewall の SKU はスループットと必要な機能で選ぶ(250 Mbps 未満なら Basic) |
| オペレーショナル エクセレンス | Azure DevOps の Microsoft ホステッド エージェントでは、プライベート クラスターにデプロイできない。 同じ VNet かピアリングした VNet にセルフホステッド エージェント(Managed DevOps Pools なども)を置き、ツールのダウンロード先を Firewall で許可する |
| パフォーマンス効率 | Firewall の SNAT ポートが足りなくならないよう、パブリック IP を増やすか NAT ゲートウェイを使う。 少数のワークロードが送信の大半を占めるなら、静的エグレス ゲートウェイで経路を分ける |
公式ドキュメント:
Azure Firewall を使用して AKS クラスターを保護する | Microsoft Learn
Azure Front Doorを使用して AKS ワークロードをセキュリティで保護する | Microsoft Learn
Azure Kubernetes Service (AKS) API サーバーにアクセスする | Microsoft Learn
構築手順
今回の構成と実施すること

記事の 3 つの経路のうち、「① 送信を Azure Firewall で絞る」と「③ 管理アクセスを限る」を試した。
② の Front Door Premium と Private Link は、基本料が大きいので組んでいない。
ハブとスポークに分けず、1 つの VNet に Firewall 用のサブネットと AKS 用のサブネットを置いた。
| 手順 | 実施すること | 確かめること |
|---|---|---|
| ① | Azure Firewall Basic とファイアウォール ポリシーを作る | Basic で必要になるもの |
| ② | FQDN タグ AzureKubernetesService だけを許可する規則を作る | ポータルで指定できるプロトコル |
| ③ | 送信を Firewall に向けるルート テーブルと、プライベートの AKS を作る | タグだけの許可でクラスターが動く |
| ④ | az aks command invoke で API サーバーを操作する | API サーバーがプライベートでも kubectl を使える |
| ⑤ | Pod から外に出て、規則を 1 つ足す | 許可していない宛先には出られず、足した宛先にだけ出られる |
Firewall Basic は 62.5009 円/時(Deployment)で、ほかにデータ処理が 10.285 円/GB かかる。
ノードは Standard_D2als_v7(16.6142 円/時)を 1 台にした。
B シリーズはシステム ノード プールに使えない。
Firewall と AKS は約 1 時間動かした。
公式ドキュメント:
Azure Kubernetes Service (AKS) で Azure Firewall を使用してネットワーク トラフィックを制限する | Microsoft Learn
SKU 別の Azure Firewall 機能 | Microsoft Learn
① Azure Firewall Basic を作る
先に CLI で VNet を作り、サブネットを 3 つ切った。
Firewall 用の AzureFirewallSubnet と、Basic で必要な管理用の AzureFirewallManagementSubnet は、名前が決まっている。
az group create -n rg-ar17-aks -l japaneast
az network vnet create -g rg-ar17-aks -n vnet-ar17 --address-prefixes 10.17.0.0/16 ``
--subnet-name AzureFirewallSubnet --subnet-prefixes 10.17.0.0/26
az network vnet subnet create -g rg-ar17-aks --vnet-name vnet-ar17 -n AzureFirewallManagementSubnet --address-prefixes 10.17.0.64/26
az network vnet subnet create -g rg-ar17-aks --vnet-name vnet-ar17 -n snet-aks --address-prefixes 10.17.1.0/24
Firewall はポータルの「ファイアウォール」⇒「作成」で作った。
SKU の既定は Premium なので、Basic に変えた。

| 番号 | 項目 | 説明 |
|---|---|---|
| 1 | リソース グループ | rg-ar17-aks |
| 2 | 名前 | afw-ar17 |
| 3 | ファイアウォール SKU | Basic(既定は Premium) |

| 番号 | 項目 | 説明 |
|---|---|---|
| 1 | Firewall policy | 「Add new」で afwp-ar17 を作った。 ポリシー レベルは Basic しか選べない |
| 2 | 仮想ネットワーク | 既存の vnet-ar17(AzureFirewallSubnet があるもの) |
| 3 | パブリック IP アドレス | 送信に使う公開 IP(pip-afw-ar17) |
| 4 | ファイアウォール管理 NIC | Basic では既定で管理 NIC がデプロイされ、管理用の公開 IP が必須 |
作成は 15:15 に始まり、15:24 に終わった(約 10 分)。
Firewall のプライベート IP は 10.17.0.4 になった。
公式の SKU 別の機能のページによると、Basic はスループットが 250 Mbps までで、DNS プロキシは使えず、FQDN でのフィルタリングはアプリケーション規則だけ。
公式ドキュメント:SKU 別の Azure Firewall 機能 | Microsoft Learn
② FQDN タグ AzureKubernetesService を許可する
ポリシーの「アプリケーション規則」⇒「規則コレクションの追加」で、AKS のサブネットから、FQDN タグ AzureKubernetesService への HTTPS を許可した。
公式の AKS の手順の CLI の例は、http=80 と https=443 の両方を指定しているが、ポータルでは HTTPS しか指定できなかった(「実機でつまずいた点」に書いた)。

| 番号 | 項目 | 説明 |
|---|---|---|
| 1 | ソース | 10.17.1.0/24(AKS のサブネット) |
| 2 | プロトコル | https:443 |
| 3 | Destination Type、ターゲット | FQDN タグ、AzureKubernetesService |
ネットワーク規則は作っていない。
公式の AKS の送信規則のページによると、konnectivity を使うクラスターやプライベート クラスターでは TCP 9000 と UDP 1194 は要らず、2021 年 3 月以降のノードでは NTP(UDP 123)も要らない。
公式ドキュメント:
FQDN タグの概要 | Microsoft Learn
Azure Kubernetes Service (AKS) クラスターの送信ネットワークと FQDN 規則 | Microsoft Learn
③ ルート テーブルとプライベートの AKS を作る
AKS のサブネットの既定のルート(0.0.0.0/0)を、Firewall のプライベート IP に向けた。
az network route-table create -g rg-ar17-aks -n rt-ar17-aks
az network route-table route create -g rg-ar17-aks --route-table-name rt-ar17-aks -n default-to-fw ``
--address-prefix 0.0.0.0/0 --next-hop-type VirtualAppliance --next-hop-ip-address 10.17.0.4
az network vnet subnet update -g rg-ar17-aks --vnet-name vnet-ar17 -n snet-aks --route-table rt-ar17-aks
AKS は、プライベート クラスターで、送信の種類を userDefinedRouting にして作った。
公式によると、userDefinedRouting では送信用のロード バランサーの公開 IP は作られない。
$sub = az network vnet subnet show -g rg-ar17-aks --vnet-name vnet-ar17 -n snet-aks --query id -o tsv
az aks create -g rg-ar17-aks -n aks-ar17 -l japaneast --tier free --enable-private-cluster ``
--outbound-type userDefinedRouting --vnet-subnet-id $sub --network-plugin azure --network-plugin-mode overlay ``
--node-count 1 --node-vm-size Standard_D2als_v7 --node-osdisk-size 32 --generate-ssh-keys
最初の作成は、ノードが外に出られずに失敗した(「実機でつまずいた点」に書いた)。
原因を直してクラスターを調整し直すと、ノード 1 台が Ready になった。
API サーバーの名前(*.hcp.japaneast.azmk8s.io)は、VNet の中のプライベート IP(10.17.1.4)に解決された。
公式ドキュメント:
Azure Kubernetes Service (AKS) で Azure Firewall を使用してネットワーク トラフィックを制限する | Microsoft Learn
プライベート Azure Kubernetes Service (AKS) クラスターを作成する | Microsoft Learn
④ az aks command invoke で API サーバーを操作する
API サーバーがプライベートなので、手元の PC の kubectl は API サーバーに届かない。
公式によると、az aks command invoke を使うと、Azure の API を経由して、クラスターの中で kubectl を動かせる。
コマンドはクラスターの中に作られる Pod で実行される。
az aks command invoke -g rg-ar17-aks -n aks-ar17 --command "kubectl get nodes -o wide"
ポータルの AKS の「実行コマンド」も、同じ仕組みで動く。

| 番号 | 項目 | 説明 |
|---|---|---|
| 1 | ノード | 1 台が Ready。 INTERNAL-IP は 10.17.1.5 で、EXTERNAL-IP はない |
| 2 | Pod | ⑤ で使う egress-test |
公式ドキュメント:コマンド呼び出し機能またはコマンド実行機能を使用してプライベート Azure Kubernetes Service (AKS) クラスターにアクセスする | Microsoft Learn
⑤ Pod から外に出て、規則を 1 つ足す
MCR のイメージで Pod を作り、command invoke から curl を流した。
az aks command invoke -g rg-ar17-aks -n aks-ar17 --command "kubectl run egress-test --image=mcr.microsoft.com/azurelinux/base/core:3.0 --restart=Never --command -- sleep 3600"
az aks command invoke -g rg-ar17-aks -n aks-ar17 --command "kubectl exec egress-test -- curl -sS -m 10 -o /dev/null -w %{http_code} https://www.bing.com"
| 宛先 | 結果 |
|---|---|
| https://www.bing.com | curl: (35) TLS connect error(許可していない) |
| https://mcr.microsoft.com/v2/ | 200(FQDN タグに含まれる) |
| http://www.bing.com | HTTP 470。 本文は「Action: Deny. Reason: No rule matched. Proceeding with default action.」 |
次に、www.bing.com への HTTPS を許可する規則コレクション(rc-allow-bing、優先度 210)を足した。
ポリシーへの変更が Firewall に反映されるまで、約 4 分 16 秒かかった。
そのあと https://www.bing.com は 200 になり、規則に入れていない https://www.google.com は引き続き TLS の段階で切られた。

| 番号 | 項目 | 説明 |
|---|---|---|
| 1 | rc-allow-bing | 優先度 210、www.bing.com、Https:443、Allow |
Firewall の診断設定で、アプリケーション規則のログを Log Analytics に送っておいた。
ログには、どの規則で許可・拒否されたかが残る。
送信元は Pod の IP(10.244.0.187)ではなく、ノードの IP(10.17.1.5)として記録された。

| 番号 | 項目 | 説明 |
|---|---|---|
| 1 | mcr.microsoft.com | Allow。 規則は rc-aks-egress / allow-aks-tag |
| 2 | www.bing.com:443 | Deny。 No rule matched. Proceeding with default action |
| 3 | www.bing.com:80 | Deny。 HTTP の要求の URL まで記録される |
| 4 | www.bing.com:443(規則を足したあと) | Allow。 規則は rc-allow-bing / allow-bing |
| 5 | www.google.com:443 | Deny |
公式ドキュメント:Azure Kubernetes Service (AKS) で Azure Firewall を使用してネットワーク トラフィックを制限する | Microsoft Learn
実機でつまずいた点
プロトコル Http は許可されていません。FQDN タグ適用規則では HTTPS のみを使用できます。

| 番号 | 項目 | 説明 |
|---|---|---|
| 1 | プロトコル | http:80,https:443 |
| 2 | エラー | プロトコル Http は許可されていません。 FQDN タグ適用規則では HTTPS のみを使用できます。 |
| 3 | ターゲット | FQDN タグ AzureKubernetesService |
公式の AKS の手順の CLI の例にならって、FQDN タグの規則のプロトコルに http:80 と https:443 を入れたら、ポータルでこのエラーになった。
公式の FQDN タグのページには、ポータルでは FQDN タグに HTTPS が必要とある。
同じページには、https:443 だけを指定しても、タグの先のサービスに必要な HTTP(80)は許可される場合があるともある。
ポータルでは https:443 だけにして作った。
公式ドキュメント:FQDN タグの概要 | Microsoft Learn
CSE failed with ‘VMExtensionError_OutboundConnFail’

| 番号 | 項目 | 説明 |
|---|---|---|
| 1 | クラスター操作の状態 | 失敗 |
| 2 | ノード プール | 1 個のノード プール – 1 が失敗しました |
最初の az aks create は、約 8 分後に次のエラーで失敗した。
VMExtensionProvisioningError: CSE failed with ‘VMExtensionError_OutboundConnFail’. AKS Node provisioning failed due to inability to establish outbound connectivity to obtain packages with exit status 50.
ノードの初期化(CSE)が、外からパッケージを取れなかったというエラー。
エラー文には Connection to aka.ms failed. ともあったが、Firewall のログに aka.ms は出ていなかった。

| 番号 | 項目 | 説明 |
|---|---|---|
| 1 | 拒否された宛先 | packages.aks.azure.com、md-….blob.storage.azure.net、mcr.microsoft.com。 どれも No rule matched で拒否されていた |
Firewall のログを見ると、AzureKubernetesService のタグに含まれるはずの mcr.microsoft.com まで拒否されていた。
ポリシーの規則コレクション グループの状態(provisioningState)を API で見ると、Failed になっていた。
ポータルの規則の一覧には規則が表示されていたが、Firewall には適用されていなかった。
この規則は、Firewall の作成中に追加しようとして「Put on Firewall Policy afwp-ar17 Failed with 1 faulted referenced firewalls」で失敗し、作成後に追加し直したもの。
規則コレクション グループを同じ内容で PUT し直すと、約 4 分で Succeeded になった。
そのあと、失敗したクラスターを同じ設定のまま更新して調整すると、約 7 分でクラスターとノード プールが Succeeded になった。
az resource update -g rg-ar17-aks -n aks-ar17 --resource-type Microsoft.ContainerService/managedClusters
Firewall の作成中にポリシーの規則を変えないこと、規則を変えたら規則コレクション グループの状態が Succeeded になったかを確かめてから AKS を作ることが大事だった。
公式ドキュメント:Azure Kubernetes Service (AKS) で Azure Firewall を使用してネットワーク トラフィックを制限する | Microsoft Learn
推奨構成
| 項目 | 推奨 |
|---|---|
| 送信 | outboundType を userDefinedRouting にし、UDR でハブの Azure Firewall へ。 許可は FQDN タグ AzureKubernetesService |
| 受信 | Azure Front Door Premium(WAF)→ Private Link サービス → 内部ロード バランサー → Gateway API |
| 管理 | API サーバーの VNet 統合のプライベート クラスター。 Bastion(ジャンプ ボックスかネイティブ クライアント トンネリング)や VPN でつなぐ |
| シークレット | TLS 証明書とシークレットは Key Vault に置き、Private Link でつなぐ |
| デプロイ | セルフホステッド エージェントを VNet の中に置く |
注意事項
| 項目 | 内容 |
|---|---|
| 既定の送信 | AKS は既定で送信のインターネット アクセスが無制限。 絞るときは、クラスターの保守に要る宛先を必ず許可する |
| NSG では絞れない | AKS の送信先は FQDN で定義され静的な IP がないので、NSG だけでは送信を絞れない |
| Front Door の接続の承認 | プライベート エンドポイント接続を承認するまで、Front Door から配信元に送れない |
| Bastion のトンネリング | ネイティブ クライアント トンネリングは、AKS Automatic のクラスターや、ネットワーク リソース グループ(NRG)のロックダウンがあるクラスターでは使えない |
| ホステッド エージェント | Microsoft ホステッド エージェントからは、プライベート クラスターにデプロイできない |
公式ドキュメント:
Azure Firewall を使用して AKS クラスターを保護する | Microsoft Learn
Azure Kubernetes Service (AKS) API サーバーにアクセスする | Microsoft Learn
関連するアーキテクチャとの違い
| 記事 | このアーキテクチャとの関係 |
|---|---|
| AKS のベースライン アーキテクチャ | 受信は Application Gateway(WAF)、送信は Firewall。 今回は受信に Front Door Premium と Private Link を使う構成も扱う |
| AKS のマルチリージョン構成 | Front Door から各リージョンの Application Gateway へインターネット経由で送る。 今回は Private Link でプライベートに送る |
| Azure WAF(Application Gateway)とは | リージョンの入口に WAF を置く場合の部品 |
まとめ
・AKS を守るには、送信・受信・管理の 3 つの経路を分けて考える。
・送信は userDefinedRouting と UDR でハブの Azure Firewall に通し、FQDN タグ AzureKubernetesService で必要な宛先だけ許可する。
・受信は Azure Front Door Premium の WAF で検査し、Private Link サービスで内部ロード バランサーにプライベートに届ける。
・管理は、API サーバーの VNet 統合のプライベート クラスターに、Bastion や VPN などの限られた経路から入る。
・実機では、FQDN タグだけの許可でプライベートの AKS が動き、規則を足した宛先にだけ Pod から出られた。
・規則を変えたら、ポリシーの規則コレクション グループが Succeeded になったかを確かめる。
次回:Azure Container Apps のマイクロサービス(アーキテクチャ解説シリーズ 18)




コメント