AKS のベースライン アーキテクチャとは|ハブの Firewall、WAF、プライベート クラスター、ノード プールの設計(アーキテクチャ解説シリーズ 14)

アーキテクチャ

はじめに

Azure アーキテクチャ センターのアーキテクチャを 1 つずつ読む 14 回目。
今回から、コンテナーの分野に入る。
最初は「AKS(Azure Kubernetes Service)クラスターのベースライン アーキテクチャ」で、ほとんどの AKS クラスターに勧められる最小の出発点。
ネットワーク、セキュリティ、ID の各チームが共通の基盤を作るときの指針になる。

前回:Azure のマルチリージョン負荷分散と多層アプリの DR とは|Traffic Manager の切り替えと Site Recovery を実機で検証

Azure のマルチリージョン負荷分散と多層アプリの DR とは|Traffic Manager の切り替えと Site Recovery を実機で検証(アーキテクチャ解説シリーズ 13)
Azure のマルチリージョン負荷分散と多層アプリの DR を図で解説。東日本と西日本で Traffic Manager の切り替え時間を測り、Site Recovery の複製とテスト フェールオーバーを実機で確かめた。

AKS ベースライン アーキテクチャとは

AKS は、Kubernetes のコントロール プレーン(API サーバーなど)を Azure が管理する、マネージドの Kubernetes。
このベースラインは、ワークロードそのものではなく、AKS クラスターの基盤に重点を置く。
ハブスポークのネットワークに、受信の入口(WAF 付きの Application Gateway)、送信の出口(Azure Firewall)、プライベートな API サーバー、Private Link でつないだコンテナー レジストリと Key Vault、監視を組み合わせる。

AKS Automatic を使うと、システム ノード プールの管理など多くの設計判断を Azure が引き受ける。
それでも、ワークロードの変化に合わせて正しく判断するには、自分で管理する AKS クラスターの基盤を知っておくとよい、とされている。

AKS のベースライン アーキテクチャ

構成要素がどういうものかは、次のとおり。

構成要素どういうもの役割
Azure Kubernetes Service(AKS)コントロール プレーンを Azure が管理する Kubernetes。
ノードは VM(スケール セット)
システム ノード プールでコアのサービスとゲートウェイ プロキシ、ユーザー ノード プールでワークロードを動かす
Application Gatewayレイヤー 7 のロード バランサー。
WAF を載せられる。
詳しくはAzure WAF(Application Gateway)とは。
受信の入口。TLS を終端して WAF で検査し、内部ロード バランサーへ送る
内部ロード バランサーパブリック IP を持たないレイヤー 4 のロード バランサーイングレス用の専用サブネットに置き、ノードのゲートウェイ プロキシへ振り分ける
Azure Firewallマネージドのファイアウォール。詳しくはAzure Firewall とは。ハブに置き、クラスターからの送信をすべて通して検査する
構成要素どういうもの役割
Azure Bastionパブリック IP なしで安全に接続するマネージド サービス。
詳しくはAzure Bastion とは。
プライベートな API サーバーへの運用のトンネル
VPN / ExpressRoute ゲートウェイオンプレミスとの接続。
詳しくはオンプレミスと Azure の接続(VPN・ExpressRoute)とは。
ハブの GatewaySubnet に置く
Azure Container Registryコンテナー イメージを置くプライベート レジストリPremium にしてプライベート エンドポイントでつなぐ。
パブリックのイメージも取り込んで置く
Azure Key Vaultシークレット、キー、証明書の保管庫。
詳しくはAzure Key Vault とは。
TLS 証明書とアプリのシークレット。ワークロード ID で読む
プライベート エンドポイントAzure のサービスに VNet のプライベート IP でつなぐしくみ。
詳しくはAzure プライベート エンドポイントとは。
Container Registry と Key Vault への通信をインターネットに出さない
構成要素どういうもの役割
Microsoft Entra ID と Azure RBACID の基盤と、Azure のアクセス制御。
詳しくはAzure RBAC とは。
kubectl の認証を Entra ID で、クラスターの認可を Azure RBAC で行う
ワークロード IDPod がマネージド ID としてトークンを得るしくみ。
マネージド ID はマネージド ID とは。
サービス アカウントとユーザー割り当てマネージド ID をフェデレーション資格情報で結び、Key Vault などにアクセスする
Azure Policyリソースの構成を評価・強制するサービス。
詳しくはAzure Policy とは。
AKS では OPA Gatekeeper でクラスターの中にポリシーを適用する
Azure Monitorメトリックとログの基盤。
Log Analytics はAzure Log Analytics ワークスペースとは。
コンテナーのログは Log Analytics(ContainerLogV2)、Prometheus のメトリックは Azure Monitor ワークスペース

公式ドキュメント:Azure Kubernetes Service (AKS) クラスターのベースライン アーキテクチャ | Microsoft Learn

通信の流れ

AKS ベースラインの通信の流れ

受信では、Application Gateway が TLS の終端になる。
WAF が平文の要求と応答を検査する必要があるので、ここで一度復号し、別のワイルドカード証明書で暗号化し直して内部ロード バランサーへ送る。
ゲートウェイ プロキシ(Envoy)が TLS を終端し、HTTP でワークロードの Pod に転送する。

送信は、UDR で次ホップを Firewall のプライベート IP にして、すべてハブの Azure Firewall を通す。
受信の入口を内部ロード バランサーにしているので、パブリック ロード バランサーと UDR の組み合わせで起きる非対称ルーティングも避けられる。
パブリック ロード バランサーが作られないように、内部ロード バランサーを必須にする Azure Policy を拒否モードで割り当てる。

公式ドキュメント:
Azure Kubernetes Service (AKS) クラスターのベースライン アーキテクチャ | Microsoft Learn
Azure Kubernetes Service (AKS) で Azure Firewall を使用してネットワーク トラフィックを制限する | Microsoft Learn

クラスターの設計で押さえること

項目ポイント
ノード プールシステムとユーザーを必ず分ける。
システムは 3 ノード(参照実装は D2dv5、エフェメラル OS ディスク 64 GB)で、テイント CriticalAddonsOnly を付けてアプリの Pod を載せない。
ユーザーは 2 ノード以上(参照実装は D4dv5)
容量ワークロードが各ノードの最大 80% を使うと見て、残りの 20% を AKS のサービス用に残す。
ノードあたりの最大 Pod 数は 30 から始めて調整する
OS既定は Azure Linux。
不変性が必要なノード プールには Azure Container Linux(/usr が読み取り専用、トラステッド起動の VM が必要)
IP アドレスAzure CNI オーバーレイで、Pod には VNet とは別のアドレス空間から IP を割り当てる。
VNet にはノード、アップグレード中の一時ノード、API サーバーの VNet 統合、プライベート エンドポイントの分を確保する
イングレスアプリケーション ルーティング アドオンと Kubernetes Gateway API。
ゲートウェイ プロキシは Envoy で、アドオンのバージョンはクラスターのアップグレードと一緒に上がる
項目ポイント
イメージ使うイメージはプライベートな Container Registry に置き、パブリックのものも取り込む。
許可したレジストリ以外からの取得は Azure Policy で止める
スケールユーザー ノード プールごとにクラスター オートスケーラーを付け、最小・最大のノード数を決める
管理アクセス本番はプライベート クラスター(API サーバーの VNet 統合)。
オペレーターは Bastion のトンネルやジャンプ ボックスから入る
更新Kubernetes は最新の 2 つ(N-2)の中に保つ。
ノード イメージは NodeImage チャネル、より積極的にするなら SecurityPatch チャネル。
None と Unmanaged は避ける
バックアップ参照実装はバックアップを持たず、GitOps とステートレスなワークロードで戻す。
状態を持つなら AKS バックアップ拡張機能(マネージドの Velero)などを検討する

公式ドキュメント:
Azure Kubernetes Service (AKS) クラスターのベースライン アーキテクチャ | Microsoft Learn
Azure Kubernetes Service (AKS) で Azure CNI オーバーレイ ネットワークを構成する | Microsoft Learn
プライベート Azure Kubernetes Service (AKS) クラスターを作成する | Microsoft Learn

構成のポイント

柱ポイント
信頼性システム ノードは 3、ユーザー ノードは 2 以上。
可用性ゾーンに分ける。
本番は Standard レベルで API サーバーのアップタイム SLA(可用性ゾーンありで 99.95%)。
Chaos Studio などで障害を試す
セキュリティ受信は WAF、送信は Firewall、Azure のサービスは Private Link、API サーバーはプライベート。
Entra ID と Azure RBAC、ワークロード ID、ネットワーク ポリシー、Azure Policy(イメージの取得元の制限など)
コスト最適化本番前は Free レベル、本番は Standard、ミッション クリティカルは Premium。
システム ノード プールは小さめの VM。
オートスケーラーで使わないノードを減らす
柱ポイント
オペレーショナル エクセレンスIaC と GitOps でクラスターと構成を管理する。
ContainerLogV2 でログ、Managed Prometheus でメトリック、Kubernetes 向けの推奨 Prometheus アラート ルールを有効にする
パフォーマンス効率ユーザー ノードは大きめのサイズで Pod を詰め、各ノードで動く監視などの負担を薄める。
ワークロードに合う VM の種類(メモリ最適化、GPU など)を選ぶ

公式ドキュメント:
Azure Kubernetes Service (AKS) クラスターのベースライン アーキテクチャ | Microsoft Learn
Azure Kubernetes Service (AKS)のクラスター管理価格レベル | Microsoft Learn

推奨構成

項目推奨
トポロジハブスポーク。
ハブに Firewall、Bastion、ゲートウェイ。
スポークに Application Gateway、イングレス、ノード、プライベート エンドポイント
クラスター本番は Standard レベルのプライベート クラスター、Azure CNI オーバーレイ、システム 3 ノードとユーザー 2 ノード以上
受信WAF 付きの Application Gateway → 内部ロード バランサー → ゲートウェイ プロキシ。
TLS 1.2 以上
送信UDR でハブの Azure Firewall に通し、AKS に必要な FQDN とアドオンの宛先だけを許可
ID とシークレットEntra ID と Azure RBAC、ワークロード ID、Key Vault(Private Link)
監視Container insights(ContainerLogV2)と Managed Prometheus、推奨アラート ルール

注意事項

項目内容
Free レベル金銭的保証のあるアップタイム SLA がない。
開発やテスト、ノード数が 10 未満の小さなクラスター向け
Firewall の規則AKS とアドオンに必要な送信先を許可しないと、ノードの起動やアドオンが動かない。
AKS バックアップ拡張機能なども宛先が増える
ACR のイメージの取得Private Link 経由なので、Firewall の検査経路を通らない
ID の共有1 つのマネージド ID を複数のワークロードで共有すると、そのすべてがその ID のロールを使える。
分けたいときはサービス アカウントと ID を分ける
CalicoCalico のネットワーク ポリシーは、標準の Azure サポートの対象外
ポリシーの反映Azure Policy の変更はクラスターにすぐには反映されず、少し遅れることがある

公式ドキュメント:
Azure Kubernetes Service (AKS) クラスターのベースライン アーキテクチャ | Microsoft Learn
Azure Kubernetes Service (AKS)のクラスター管理価格レベル | Microsoft Learn

関連するアーキテクチャとの違い

記事このアーキテクチャとの関係
Azure ハブスポーク ネットワークとはこのベースラインが前提にするトポロジ。
ハブの Firewall にスポークの送信を通す考え方は同じ
Azure の VM ベースライン アーキテクチャとはWAF 付きの Application Gateway を入口にし、Firewall を出口にする形は同じ。
後ろが VM のスケール セットではなく AKS
Azure Arc とはAzure の外の Kubernetes を Azure から管理する。
AKS は Azure の中で動くマネージドの Kubernetes

まとめ

・AKS ベースラインは、ハブスポークに WAF 付きの Application Gateway、Azure Firewall、プライベートな API サーバー、Private Link の ACR と Key Vault を組み合わせた、AKS クラスターの最小の出発点。
・ノード プールはシステム(3 ノード、テイント)とユーザー(2 ノード以上)に分け、Pod の IP は CNI オーバーレイで VNet と別にする。
・受信は WAF で検査して TLS を 2 段で暗号化し、送信は UDR で Firewall に通す。
・ID は Entra ID と Azure RBAC、Pod はワークロード ID。
ポリシーは Azure Policy(OPA Gatekeeper)。
・本番は Standard レベル、本番前は Free レベル。

次回:次回:AKS のマルチリージョン構成(アーキテクチャ解説シリーズ 15)

AKS のマルチリージョン構成とは|Front Door、geo レプリケーション、Fleet Manager でアクティブ/アクティブにする(アーキテクチャ解説シリーズ 15)
AKS のマルチリージョン構成を、公式の参照アーキテクチャで整理。2 つのリージョンの AKS を Front Door で振り分け、片側を止めたときの切り替わりと戻り、Fleet Manager でステージ順に進む更新を実機で確かめた。

コメント

タイトルとURLをコピーしました