AKS の保護とは|Azure Firewall Basic で送信を絞ったプライベート AKS で、許可した宛先にだけ出られるかを実機で検証(アーキテクチャ解説シリーズ 17)

アーキテクチャ

この記事でわかること

  • AKS の送信を Azure Firewall に通して FQDN で絞る構成(userDefinedRouting と AzureKubernetesService タグ)
  • Azure Front Door Premium と Private Link で、AKS のワークロードをインターネットに直接さらさずに公開する構成
  • プライベートな API サーバーへの管理アクセスの経路(Bastion、VPN、command invoke など)と選び方

はじめに

Azure アーキテクチャ センターのアーキテクチャを 1 つずつ読む 17 回目。
今回は、AKS を守るための 3 つのガイドをまとめて読む。
送信を Azure Firewall で絞る、受信を Azure Front Door で守る、管理のための API サーバーへのアクセスを限る、の 3 つ。

前回:AKS のマイクロサービス アーキテクチャ(アーキテクチャ解説シリーズ 16)

AKS のマイクロサービス アーキテクチャとは|Cilium、Gateway API、Service Bus でサービスを疎結合にする(アーキテクチャ解説シリーズ 16)
AKS のマイクロサービス構成を実機で検証。Cilium、Gateway API でのパスの振り分け、ワークロード ID での Service Bus への接続、受信をすべて拒否する NetworkPolicy の効き方を確かめる。

AKS を守る 3 つの経路

AKS は既定では、ノードやサービスが外部のリソースに届くように、送信のインターネット アクセスが無制限になっている。
また、AKS には、クラスターと外部ネットワークの間の受信と送信を守る組み込みのしくみがない。
そこで、送信・受信・管理の 3 つの経路を、それぞれ Azure のサービスで守る。

AKS を守る 3 つの経路(送信・受信・管理)
経路主なサービスねらい
送信Azure Firewall(Azure Firewall とは)送信を FQDN、プロトコル、ポートで絞り、データの持ち出しなど不要な通信を防ぐ
受信Azure Front Door Premium、WAF、Private Link サービスエッジで TLS を終端して WAF で検査し、AKS へはプライベートな接続で届ける
管理Azure Bastion(Azure Bastion とは)、VPN、ExpressRoute などプライベートな API サーバーに、必要な人だけが届くようにする

公式ドキュメント:
Azure Firewall を使用して AKS クラスターを保護する | Microsoft Learn
Azure Front Doorを使用して AKS ワークロードをセキュリティで保護する | Microsoft Learn
Azure Kubernetes Service (AKS) API サーバーにアクセスする | Microsoft Learn

① 送信を Azure Firewall で絞る

AKS のノードは、API サーバー、クラスターのコンポーネントのダウンロード、Microsoft Container Registry からのイメージの取得など、特定の FQDN とポートに届く必要がある。
これらの宛先は FQDN で決まっていて静的な IP がないので、NSG では送信を絞れない。
FQDN で送信を制御できる Azure Firewall を、ハブの VNet に置く。

設定内容
送信の種類クラスターの作成時に userDefinedRouting にする。
AKS はエグレス用のパブリック ロード バランサーと SNAT 用のパブリック IP を作らず、ノードのサブネットの送信はすべて UDR に従って Firewall に行く
ルート テーブルワーカー ノードのサブネットごとにルート テーブルを作って関連付け、次ホップを Firewall のプライベート IP にする
許可の一覧AKS が必要とする FQDN は長く、よく変わる。
自分で管理せず、Firewall のアプリケーション規則で FQDN タグ AzureKubernetesService を使う(Firewall が最新に保つ)
SNATFirewall が送信元の Pod の IP をパブリック IP に置き換える。
これがクラスターの送信の ID になり、相手先の許可リストに登録できる
SNAT ポート本番は Firewall にフロントエンドのパブリック IP を 20 個以上(AKS のガイダンス)。
同時接続が多いなら NAT ゲートウェイも推奨
SKU勧められる場面
Premium支払い処理など機密性の高いアプリ。
マルウェア関連の脅威検出や TLS 検査などの高度な脅威保護
Standardレイヤー 3〜7 の機能と自動スケール(ピーク 30 Gbps まで)。
脅威インテリジェンス、DNS プロキシ、Web カテゴリなど
Basicスループットが 250 Mbps 未満

受信を Firewall で受けるなら、Firewall の DNAT 規則で、Firewall のパブリック IP とポートを、イングレスの内部ロード バランサーのプライベート IP とポートに変換する。
AKS のイングレスに推奨されるのは、アプリケーション ルーティングの Gateway API 実装か Application Gateway for Containers。

公式ドキュメント:Azure Firewall を使用して AKS クラスターを保護する | Microsoft Learn

② 受信を Azure Front Door と Private Link で守る

Azure Front Door Premium が、エッジでクライアントの TLS 接続を終端し、AKS の配信元へ別の TLS 接続を張る。
Front Door から AKS へは、Private Link サービスを通したプライベートな接続で、Gateway API の実装は AKS の内部ロード バランサーのプライベート IP を使う。

順番流れ
1クライアントがカスタム ドメインに要求を送る。
DNS ゾーンの CNAME で Front Door のエンドポイントに向く
2要求は Front Door のプレゼンス ポイント(POP)に届き、WAF、ルーティング規則、ルール エンジン、キャッシュの構成で宛先が決まる
3Front Door が、Private Link サービスにつながるプライベート エンドポイントに要求を転送する
4Private Link サービスから、AKS の内部ロード バランサー(kubernetes-internal)に転送される
5Gateway API の実装の Pod が要求を受け、ワークロードの Pod に転送する
項目ポイント
証明書カスタム ドメインの証明書を Key Vault に置く。
Front Door はユーザー割り当てマネージド ID で、クラスター側はシークレット ストア CSI ドライバーで取り出す
接続の承認デプロイの最後に、Front Door が作るプライベート エンドポイント接続を承認しないと、配信元にプライベートに送れない
Gateway APIマネージドのアプリケーション ルーティング実装か、Envoy Gateway などの自分で入れる実装。
どちらも内部ロード バランサーのプライベート IP を使う
Private Link サービス参照実装は手動で作るが、AKS の Private Link service 機能で、注釈からマネージドに作ることもできる

公式ドキュメント:Azure Front Doorを使用して AKS ワークロードをセキュリティで保護する | Microsoft Learn

③ 管理アクセスを限る

プライベートな AKS クラスターの API サーバーには、クラスターへのネットワーク アクセスを持つデバイスからしか接続できない。
API サーバーへのアクセスの計画は、構築の前(0 日目)に行う。
新しいプライベート クラスターには、API サーバーの VNet 統合(API サーバーのエンドポイントを VNet の委任されたサブネットに置く)が推奨されている。

方法内容
ジャンプ ボックス+Bastionハブなどのジャンプ ボックスに Bastion で入り、kubectl を使う。
可用性セットや少数のスケール セットで冗長にする
Bastion のネイティブ クライアント トンネリングジャンプ ボックスなしで、手元のツールから直接つなぐ。
Bastion は Standard か Premium で、ネイティブ クライアントのサポートを有効にする
VPN / ExpressRouteオンプレミスやリモートのネットワークから、プライベート クラスターにつなぐ。
詳しくはオンプレミスと Azure の接続(VPN・ExpressRoute)とは。
az aks command invokeAzure CLI から、クラスターでコマンドを直接実行する
そのほかAPI サーバーにつながるサブネットに置いた Cloud Shell、SSH サーバーのコンテナー インスタンス、Azure Virtual Desktop

API サーバーへの通信はすべて HTTPS(TCP 443)なので、NSG やファイアウォールで、送信元から API サーバーの FQDN への 443 を許可する。

公式ドキュメント:Azure Kubernetes Service (AKS) API サーバーにアクセスする | Microsoft Learn

構成のポイント

柱ポイント
信頼性本番の AKS は Standard か Premium のレベル。
管理用のジャンプ ボックスは、可用性セットなどで冗長にする
セキュリティ送信は userDefinedRouting と Firewall、受信は Front Door Premium の WAF と Private Link、管理はプライベートな API サーバー。
API サーバーへのアクセスは必要なユーザーだけに絞る
コスト最適化Firewall の SKU はスループットと必要な機能で選ぶ(250 Mbps 未満なら Basic)
オペレーショナル エクセレンスAzure DevOps の Microsoft ホステッド エージェントでは、プライベート クラスターにデプロイできない。
同じ VNet かピアリングした VNet にセルフホステッド エージェント(Managed DevOps Pools なども)を置き、ツールのダウンロード先を Firewall で許可する
パフォーマンス効率Firewall の SNAT ポートが足りなくならないよう、パブリック IP を増やすか NAT ゲートウェイを使う。
少数のワークロードが送信の大半を占めるなら、静的エグレス ゲートウェイで経路を分ける

公式ドキュメント:
Azure Firewall を使用して AKS クラスターを保護する | Microsoft Learn
Azure Front Doorを使用して AKS ワークロードをセキュリティで保護する | Microsoft Learn
Azure Kubernetes Service (AKS) API サーバーにアクセスする | Microsoft Learn

構築手順

今回の構成と実施すること

今回の構成(プライベートの AKS の送信を Azure Firewall Basic で絞る)

記事の 3 つの経路のうち、「① 送信を Azure Firewall で絞る」と「③ 管理アクセスを限る」を試した。
② の Front Door Premium と Private Link は、基本料が大きいので組んでいない。
ハブとスポークに分けず、1 つの VNet に Firewall 用のサブネットと AKS 用のサブネットを置いた。

手順実施すること確かめること
①Azure Firewall Basic とファイアウォール ポリシーを作るBasic で必要になるもの
②FQDN タグ AzureKubernetesService だけを許可する規則を作るポータルで指定できるプロトコル
③送信を Firewall に向けるルート テーブルと、プライベートの AKS を作るタグだけの許可でクラスターが動く
④az aks command invoke で API サーバーを操作するAPI サーバーがプライベートでも kubectl を使える
⑤Pod から外に出て、規則を 1 つ足す許可していない宛先には出られず、足した宛先にだけ出られる

Firewall Basic は 62.5009 円/時(Deployment)で、ほかにデータ処理が 10.285 円/GB かかる。
ノードは Standard_D2als_v7(16.6142 円/時)を 1 台にした。
B シリーズはシステム ノード プールに使えない。
Firewall と AKS は約 1 時間動かした。

公式ドキュメント:
Azure Kubernetes Service (AKS) で Azure Firewall を使用してネットワーク トラフィックを制限する | Microsoft Learn
SKU 別の Azure Firewall 機能 | Microsoft Learn

① Azure Firewall Basic を作る

先に CLI で VNet を作り、サブネットを 3 つ切った。
Firewall 用の AzureFirewallSubnet と、Basic で必要な管理用の AzureFirewallManagementSubnet は、名前が決まっている。

az group create -n rg-ar17-aks -l japaneast
az network vnet create -g rg-ar17-aks -n vnet-ar17 --address-prefixes 10.17.0.0/16 ``
  --subnet-name AzureFirewallSubnet --subnet-prefixes 10.17.0.0/26
az network vnet subnet create -g rg-ar17-aks --vnet-name vnet-ar17 -n AzureFirewallManagementSubnet --address-prefixes 10.17.0.64/26
az network vnet subnet create -g rg-ar17-aks --vnet-name vnet-ar17 -n snet-aks --address-prefixes 10.17.1.0/24

Firewall はポータルの「ファイアウォール」⇒「作成」で作った。
SKU の既定は Premium なので、Basic に変えた。

ファイアウォールの作成(基本の上半分)
番号項目説明
1リソース グループrg-ar17-aks
2名前afw-ar17
3ファイアウォール SKUBasic(既定は Premium)
ファイアウォールの作成(基本の下半分)
番号項目説明
1Firewall policy「Add new」で afwp-ar17 を作った。
ポリシー レベルは Basic しか選べない
2仮想ネットワーク既存の vnet-ar17(AzureFirewallSubnet があるもの)
3パブリック IP アドレス送信に使う公開 IP(pip-afw-ar17)
4ファイアウォール管理 NICBasic では既定で管理 NIC がデプロイされ、管理用の公開 IP が必須

作成は 15:15 に始まり、15:24 に終わった(約 10 分)。
Firewall のプライベート IP は 10.17.0.4 になった。
公式の SKU 別の機能のページによると、Basic はスループットが 250 Mbps までで、DNS プロキシは使えず、FQDN でのフィルタリングはアプリケーション規則だけ。

公式ドキュメント:SKU 別の Azure Firewall 機能 | Microsoft Learn

② FQDN タグ AzureKubernetesService を許可する

ポリシーの「アプリケーション規則」⇒「規則コレクションの追加」で、AKS のサブネットから、FQDN タグ AzureKubernetesService への HTTPS を許可した。
公式の AKS の手順の CLI の例は、http=80 と https=443 の両方を指定しているが、ポータルでは HTTPS しか指定できなかった(「実機でつまずいた点」に書いた)。

規則コレクションの追加
番号項目説明
1ソース10.17.1.0/24(AKS のサブネット)
2プロトコルhttps:443
3Destination Type、ターゲットFQDN タグ、AzureKubernetesService

ネットワーク規則は作っていない。
公式の AKS の送信規則のページによると、konnectivity を使うクラスターやプライベート クラスターでは TCP 9000 と UDP 1194 は要らず、2021 年 3 月以降のノードでは NTP(UDP 123)も要らない。

公式ドキュメント:
FQDN タグの概要 | Microsoft Learn
Azure Kubernetes Service (AKS) クラスターの送信ネットワークと FQDN 規則 | Microsoft Learn

③ ルート テーブルとプライベートの AKS を作る

AKS のサブネットの既定のルート(0.0.0.0/0)を、Firewall のプライベート IP に向けた。

az network route-table create -g rg-ar17-aks -n rt-ar17-aks
az network route-table route create -g rg-ar17-aks --route-table-name rt-ar17-aks -n default-to-fw ``
  --address-prefix 0.0.0.0/0 --next-hop-type VirtualAppliance --next-hop-ip-address 10.17.0.4
az network vnet subnet update -g rg-ar17-aks --vnet-name vnet-ar17 -n snet-aks --route-table rt-ar17-aks

AKS は、プライベート クラスターで、送信の種類を userDefinedRouting にして作った。
公式によると、userDefinedRouting では送信用のロード バランサーの公開 IP は作られない。

$sub = az network vnet subnet show -g rg-ar17-aks --vnet-name vnet-ar17 -n snet-aks --query id -o tsv
az aks create -g rg-ar17-aks -n aks-ar17 -l japaneast --tier free --enable-private-cluster ``
  --outbound-type userDefinedRouting --vnet-subnet-id $sub --network-plugin azure --network-plugin-mode overlay ``
  --node-count 1 --node-vm-size Standard_D2als_v7 --node-osdisk-size 32 --generate-ssh-keys

最初の作成は、ノードが外に出られずに失敗した(「実機でつまずいた点」に書いた)。
原因を直してクラスターを調整し直すと、ノード 1 台が Ready になった。
API サーバーの名前(*.hcp.japaneast.azmk8s.io)は、VNet の中のプライベート IP(10.17.1.4)に解決された。

公式ドキュメント:
Azure Kubernetes Service (AKS) で Azure Firewall を使用してネットワーク トラフィックを制限する | Microsoft Learn
プライベート Azure Kubernetes Service (AKS) クラスターを作成する | Microsoft Learn

④ az aks command invoke で API サーバーを操作する

API サーバーがプライベートなので、手元の PC の kubectl は API サーバーに届かない。
公式によると、az aks command invoke を使うと、Azure の API を経由して、クラスターの中で kubectl を動かせる。
コマンドはクラスターの中に作られる Pod で実行される。

az aks command invoke -g rg-ar17-aks -n aks-ar17 --command "kubectl get nodes -o wide"

ポータルの AKS の「実行コマンド」も、同じ仕組みで動く。

AKS の実行コマンド
番号項目説明
1ノード1 台が Ready。
INTERNAL-IP は 10.17.1.5 で、EXTERNAL-IP はない
2Pod⑤ で使う egress-test

公式ドキュメント:コマンド呼び出し機能またはコマンド実行機能を使用してプライベート Azure Kubernetes Service (AKS) クラスターにアクセスする | Microsoft Learn

⑤ Pod から外に出て、規則を 1 つ足す

MCR のイメージで Pod を作り、command invoke から curl を流した。

az aks command invoke -g rg-ar17-aks -n aks-ar17 --command "kubectl run egress-test --image=mcr.microsoft.com/azurelinux/base/core:3.0 --restart=Never --command -- sleep 3600"
az aks command invoke -g rg-ar17-aks -n aks-ar17 --command "kubectl exec egress-test -- curl -sS -m 10 -o /dev/null -w %{http_code} https://www.bing.com"
宛先結果
https://www.bing.comcurl: (35) TLS connect error(許可していない)
https://mcr.microsoft.com/v2/200(FQDN タグに含まれる)
http://www.bing.comHTTP 470。
本文は「Action: Deny. Reason: No rule matched. Proceeding with default action.」

次に、www.bing.com への HTTPS を許可する規則コレクション(rc-allow-bing、優先度 210)を足した。
ポリシーへの変更が Firewall に反映されるまで、約 4 分 16 秒かかった。
そのあと https://www.bing.com は 200 になり、規則に入れていない https://www.google.com は引き続き TLS の段階で切られた。

アプリケーション規則(足したあと)
番号項目説明
1rc-allow-bing優先度 210、www.bing.com、Https:443、Allow

Firewall の診断設定で、アプリケーション規則のログを Log Analytics に送っておいた。
ログには、どの規則で許可・拒否されたかが残る。
送信元は Pod の IP(10.244.0.187)ではなく、ノードの IP(10.17.1.5)として記録された。

Firewall のログ(AZFWApplicationRule)
番号項目説明
1mcr.microsoft.comAllow。
規則は rc-aks-egress / allow-aks-tag
2www.bing.com:443Deny。
No rule matched. Proceeding with default action
3www.bing.com:80Deny。
HTTP の要求の URL まで記録される
4www.bing.com:443(規則を足したあと)Allow。
規則は rc-allow-bing / allow-bing
5www.google.com:443Deny

公式ドキュメント:Azure Kubernetes Service (AKS) で Azure Firewall を使用してネットワーク トラフィックを制限する | Microsoft Learn

実機でつまずいた点

プロトコル Http は許可されていません。FQDN タグ適用規則では HTTPS のみを使用できます。

規則コレクションの追加(http:80 を入れたとき)
番号項目説明
1プロトコルhttp:80,https:443
2エラープロトコル Http は許可されていません。
FQDN タグ適用規則では HTTPS のみを使用できます。
3ターゲットFQDN タグ AzureKubernetesService

公式の AKS の手順の CLI の例にならって、FQDN タグの規則のプロトコルに http:80 と https:443 を入れたら、ポータルでこのエラーになった。
公式の FQDN タグのページには、ポータルでは FQDN タグに HTTPS が必要とある。
同じページには、https:443 だけを指定しても、タグの先のサービスに必要な HTTP(80)は許可される場合があるともある。
ポータルでは https:443 だけにして作った。

公式ドキュメント:FQDN タグの概要 | Microsoft Learn

CSE failed with ‘VMExtensionError_OutboundConnFail’

AKS の概要(作成の失敗)
番号項目説明
1クラスター操作の状態失敗
2ノード プール1 個のノード プール – 1 が失敗しました

最初の az aks create は、約 8 分後に次のエラーで失敗した。
VMExtensionProvisioningError: CSE failed with ‘VMExtensionError_OutboundConnFail’. AKS Node provisioning failed due to inability to establish outbound connectivity to obtain packages with exit status 50.
ノードの初期化(CSE)が、外からパッケージを取れなかったというエラー。
エラー文には Connection to aka.ms failed. ともあったが、Firewall のログに aka.ms は出ていなかった。

Firewall のログ(作成中の拒否)
番号項目説明
1拒否された宛先packages.aks.azure.com、md-….blob.storage.azure.net、mcr.microsoft.com。
どれも No rule matched で拒否されていた

Firewall のログを見ると、AzureKubernetesService のタグに含まれるはずの mcr.microsoft.com まで拒否されていた。
ポリシーの規則コレクション グループの状態(provisioningState)を API で見ると、Failed になっていた。
ポータルの規則の一覧には規則が表示されていたが、Firewall には適用されていなかった。
この規則は、Firewall の作成中に追加しようとして「Put on Firewall Policy afwp-ar17 Failed with 1 faulted referenced firewalls」で失敗し、作成後に追加し直したもの。

規則コレクション グループを同じ内容で PUT し直すと、約 4 分で Succeeded になった。
そのあと、失敗したクラスターを同じ設定のまま更新して調整すると、約 7 分でクラスターとノード プールが Succeeded になった。

az resource update -g rg-ar17-aks -n aks-ar17 --resource-type Microsoft.ContainerService/managedClusters

Firewall の作成中にポリシーの規則を変えないこと、規則を変えたら規則コレクション グループの状態が Succeeded になったかを確かめてから AKS を作ることが大事だった。

公式ドキュメント:Azure Kubernetes Service (AKS) で Azure Firewall を使用してネットワーク トラフィックを制限する | Microsoft Learn

推奨構成

項目推奨
送信outboundType を userDefinedRouting にし、UDR でハブの Azure Firewall へ。
許可は FQDN タグ AzureKubernetesService
受信Azure Front Door Premium(WAF)→ Private Link サービス → 内部ロード バランサー → Gateway API
管理API サーバーの VNet 統合のプライベート クラスター。
Bastion(ジャンプ ボックスかネイティブ クライアント トンネリング)や VPN でつなぐ
シークレットTLS 証明書とシークレットは Key Vault に置き、Private Link でつなぐ
デプロイセルフホステッド エージェントを VNet の中に置く

注意事項

項目内容
既定の送信AKS は既定で送信のインターネット アクセスが無制限。
絞るときは、クラスターの保守に要る宛先を必ず許可する
NSG では絞れないAKS の送信先は FQDN で定義され静的な IP がないので、NSG だけでは送信を絞れない
Front Door の接続の承認プライベート エンドポイント接続を承認するまで、Front Door から配信元に送れない
Bastion のトンネリングネイティブ クライアント トンネリングは、AKS Automatic のクラスターや、ネットワーク リソース グループ(NRG)のロックダウンがあるクラスターでは使えない
ホステッド エージェントMicrosoft ホステッド エージェントからは、プライベート クラスターにデプロイできない

公式ドキュメント:
Azure Firewall を使用して AKS クラスターを保護する | Microsoft Learn
Azure Kubernetes Service (AKS) API サーバーにアクセスする | Microsoft Learn

関連するアーキテクチャとの違い

記事このアーキテクチャとの関係
AKS のベースライン アーキテクチャ受信は Application Gateway(WAF)、送信は Firewall。
今回は受信に Front Door Premium と Private Link を使う構成も扱う
AKS のマルチリージョン構成Front Door から各リージョンの Application Gateway へインターネット経由で送る。
今回は Private Link でプライベートに送る
Azure WAF(Application Gateway)とはリージョンの入口に WAF を置く場合の部品

まとめ

・AKS を守るには、送信・受信・管理の 3 つの経路を分けて考える。
・送信は userDefinedRouting と UDR でハブの Azure Firewall に通し、FQDN タグ AzureKubernetesService で必要な宛先だけ許可する。
・受信は Azure Front Door Premium の WAF で検査し、Private Link サービスで内部ロード バランサーにプライベートに届ける。
・管理は、API サーバーの VNet 統合のプライベート クラスターに、Bastion や VPN などの限られた経路から入る。
・実機では、FQDN タグだけの許可でプライベートの AKS が動き、規則を足した宛先にだけ Pod から出られた。
・規則を変えたら、ポリシーの規則コレクション グループが Succeeded になったかを確かめる。

次回:Azure Container Apps のマイクロサービス(アーキテクチャ解説シリーズ 18)

Azure Container Apps のマイクロサービスとは|AKS から載せ替える構成と、リビジョン・ゼロへのスケール・シークレットの動きを実機で検証(アーキテクチャ解説シリーズ 18)
AKS から Container Apps への載せ替えを解説。実機ではリビジョンでのトラフィック分割、内部イングレス、ゼロへのスケール、シークレットの反映を確かめた。

コメント

タイトルとURLをコピーしました