AKS のマイクロサービス アーキテクチャとは|Cilium、Gateway API、Service Bus でサービスを疎結合にする(アーキテクチャ解説シリーズ 16)

アーキテクチャ

この記事でわかること

  • AKS でマイクロサービスを動かす基本の構成(イングレス、Service Bus、サービスごとのデータ ストア)
  • Azure CNI powered by Cilium、Gateway API、ネットワーク ポリシー、正常性プローブなど設計のポイント
  • シークレットの置き場所、コンテナーのセキュリティ、CI/CD とコストの考え方

はじめに

Azure アーキテクチャ センターのアーキテクチャを 1 つずつ読む 16 回目。
今回は「Azure Kubernetes Service でのマイクロサービス アーキテクチャ」を読む。
架空のドローン配送の会社を例に、AKS にマイクロサービスを載せるときの基本の構成と、インフラと DevOps の考え方を扱う。

前回:AKS のマルチリージョン構成(アーキテクチャ解説シリーズ 15)

AKS のマルチリージョン構成とは|Front Door、geo レプリケーション、Fleet Manager でアクティブ/アクティブにする(アーキテクチャ解説シリーズ 15)
AKS のマルチリージョン構成を、公式の参照アーキテクチャで整理。2 つのリージョンの AKS を Front Door で振り分け、片側を止めたときの切り替わりと戻り、Fleet Manager でステージ順に進む更新を実機で確かめた。

AKS のマイクロサービス アーキテクチャとは

複数のマイクロサービスでできたアプリケーションを AKS にデプロイする構成で、ほとんどのデプロイの出発点になる基本の AKS 構成を示している。
本番のネットワークには、eBPF ベースのデータ プレーンを使う Azure CNI powered by Cilium を勧めている。
要求の流れには、パブリッシャー/サブスクライバー、競合コンシューマー、ゲートウェイ ルーティングの設計パターンを使う。

AKS のマイクロサービス アーキテクチャ(ドローン配送の例)
順番流れ
1クライアントが、HTTPS で JSON をマネージド イングレス コントローラーの FQDN に送り、ドローンの集荷を予約する
2イングレス コントローラーが、要求をインジェストのマイクロサービスに送る
3インジェストが要求を処理し、配信の要求を Service Bus のキューに入れる
4ワークフローがキューのメッセージを使い、配信、ドローン スケジューラ、パッケージの各マイクロサービスに HTTPS で要求を送る。
配信は Azure Managed Redis に、パッケージは MongoDB にデータを置く
5配信の状態の取得(HTTPS GET)は、イングレス コントローラーから配信のマイクロサービスに渡り、Azure Managed Redis から読む

構成要素がどういうものかは、次のとおり。

構成要素どういうもの役割
AKSコントロール プレーンを Azure が管理する Kubernetes。
基盤はAKS のベースライン アーキテクチャも参照。
マイクロサービスのコンテナーをデプロイ、スケール、管理する
Azure CNI powered by CiliumPod を Azure の VNet に直接つなぐネットワーク。
eBPF ベースのデータ プレーン
VNet から Pod に IP を割り当て、ネットワーク ポリシーとトラフィックの可視化を提供する
イングレス(アプリケーション ルーティングの Gateway API 実装)クラスター内のサービスに HTTP と HTTPS のルートを公開するしくみマイクロサービスの API ゲートウェイ パターンを実装する
外部のデータ ストアAzure Cosmos DB、Azure Managed Redis、Azure DocumentDB、Service Busステートレスなマイクロサービスが、データや状態を書く場所
構成要素どういうもの役割
Microsoft Entra ID とワークロード IDID とアクセス管理のサービス。マネージド ID はマネージド ID とは。クラスターとワークロードの認証・認可。
Pod に ID を与えて Key Vault などに安全にアクセスする
Azure Container Registryプライベートなコンテナー イメージを置くマネージド サービスビルドしたマイクロサービスのイメージを置く。
AKS は Entra ID で認証する
Azure Pipelines と HelmAzure DevOps の CI/CD と、Kubernetes のパッケージ マネージャーチームごとにマイクロサービスを個別にビルドし、Helm でまとめて AKS にデプロイする
Azure Monitor と Application Insightsメトリックとログの基盤と、アプリのパフォーマンス監視。
Log Analytics はAzure Log Analytics ワークスペースとは。
コントローラー、ノード、コンテナーのメトリック。
マイクロサービスの正常性と関係をアプリケーション マップに出す

公式ドキュメント:Azure Kubernetes Serviceでのマイクロサービス アーキテクチャ | Microsoft Learn

代わりの選択肢

項目代わりの選択肢
ホストKubernetes の API やクラスターの管理が要らなければ、Azure Container Apps がより簡単な選択肢
イングレスApplication Gateway for Containers、Istio サービス メッシュ アドオン、Microsoft 以外の製品
ネットワーク特定のシナリオでは Azure CNI オーバーレイなど。
Windows ノードが要るときは、Cilium が Linux だけである制限を確かめる
状態の管理Dapr で、マイクロサービスの状態の管理を抽象化する
CI/CD と可観測性GitHub Actions や Jenkins。
可観測性には Kiali なども使える

公式ドキュメント:Azure Kubernetes Serviceでのマイクロサービス アーキテクチャ | Microsoft Learn

設計のポイント

マイクロサービスを AKS で動かすときの設計のポイント
項目ポイント
データ ストアサービス同士でデータ ストアを共有しない。
各サービスが自分のデータを管理し、要件に合うストアを選ぶ。
永続データはクラスターのローカル ストレージに置かず、SQL Database や Cosmos DB などの外部サービスを使う
ネットワーク本番は Azure CNI powered by Cilium。
別のポリシー エンジンなしで NetworkPolicy を適用でき、DNS クエリや Pod 間のフローも見える
API ゲートウェイKubernetes では主にイングレス コントローラーが担う。
ルーティング、要求の集約、SSL 終端・認証・レート制限などのオフロード。
リバース プロキシはボトルネックや単一障害点になるので、レプリカを 2 つ以上置く
Ingress と Gateway API小さく単純な構成や、既存のイングレスで足りているなら Ingress のままでよい。
複雑なルーティング、トラフィック分割、独自の拡張が要るなら Gateway API
項目ポイント
名前空間境界付けられたコンテキストごとやチームごとに名前空間を作り、リソース クォータと RBAC を名前空間に適用する
正常性プローブ起動が遅いならスタートアップ プローブか initialDelaySeconds。
liveness は再起動で直る場合だけに使う。
準備プローブで依存先を確かめると、障害が連鎖することがあるので、サービス内に再試行を実装する
リソースの制約コンテナーにリソースの制約を付け、名前空間にリソース クォータを設ける。
スレッドや接続などは Bulkhead パターンで分ける

公式ドキュメント:Azure Kubernetes Serviceでのマイクロサービス アーキテクチャ | Microsoft Learn

構成のポイント

柱ポイント
信頼性名前空間、正常性プローブ、リソースの制約で、1 つのサービスの問題がほかに広がらないようにする。
Istio などのサービス メッシュで、再試行やサーキット ブレーカーも実装できる
セキュリティTLS 証明書は本番では信頼された CA から取得し、Key Vault でローテーションする。
NetworkPolicy で最小限の通信だけ許可し、RBAC、Entra ID の OAuth 2.0 トークン、マネージド ID を使う。
Service Bus と Key Vault はネットワーク セキュリティ境界で既定のパブリックを拒否する(プライベート エンドポイントでもよい)
コスト最適化AKS の Free レベルでは、クラスターの管理の料金はかからず、VM、ストレージ、ネットワークだけ課金。
HPA とクラスター オートスケーラーでスケールし、重要でないサービスはスポット ノードを検討する
柱ポイント
オペレーショナル エクセレンス参照実装の Bicep を Azure Pipelines でデプロイし、必要なときだけ負荷テストの環境を作る。
ワークロードごとに Bicep を分け、チームごとに CI/CD を回す
デプロイチームが互いに影響せずに独立してデプロイでき、各段階で品質ゲートをかけ、新旧のバージョンを並べて動かせるようにする。
Istio などで、カナリアや A/B テスト、割合でのトラフィック分割もできる

公式ドキュメント:Azure Kubernetes Serviceでのマイクロサービス アーキテクチャ | Microsoft Learn

コンテナーのセキュリティ

項目内容
脅威と脆弱性Microsoft Defender for Containers で、脅威とイメージ・実行中のコンテナーの脆弱性を監視する
イメージの修正Container Registry タスクで、ベース イメージの更新に合わせたイメージの再ビルドを自動化する
レジストリ信頼されたプライベート レジストリに置き、検証アドミッション Webhook で信頼したレジストリからだけ取得させる
最小特権コンテナーを特権モードで動かさない。
できるだけ root でなく、特権のないユーザーで動かす
シークレットKey Vault をシークレット ストア CSI ドライバーでマウントする。
Kubernetes シークレットは最も簡単だが最も安全性が低い

公式ドキュメント:Azure Kubernetes Serviceでのマイクロサービス アーキテクチャ | Microsoft Learn

構築手順

今回の構成と実施すること

今回の構成(AKS の 2 つのマイクロサービスを Gateway API と Service Bus でつなぐ)

東日本に AKS のクラスターを 1 つ作り、2 つのマイクロサービスを別の名前空間に置く。
ingest は HTTP の要求を受けて Service Bus のキューに入れ、workflow はキューからメッセージを受け取って処理する。
入口は、アプリケーション ルーティングの Gateway API 実装にした。

手順実施すること確かめること
①ポータルで AKS を作るAzure CNI オーバーレイと Cilium のデータ プレーン、ワークロード ID が有効になる
②Gateway API の実装を有効にし、Gateway と HTTPRoute を作るパスで 2 つのサービスに振り分けられる
③Service Bus とマネージド ID を用意し、2 つのサービスをデプロイする要求が ingest → キュー → workflow と流れる。
接続文字列は使わない
④受信をすべて拒否する NetworkPolicy を入れ、Gateway からだけ許可するGateway 経由は通り、別の名前空間の Pod から直接つなぐと止まる

ノードは D2as v7(2 vCPU、8 GiB、18.6711 円/時)を 2 台にした。
ノード 2 台、ロード バランサー、パブリック IP 2 つ、OS ディスク 2 本で約 45 円/時かかる。
AKS の Free レベルは、クラスターの管理の料金がかからない。
Service Bus Basic は操作の数で課金され、今回の数十件ではほぼ 0 円。

公式ドキュメント:
Azure Kubernetes Service (AKS)Azure Cilium を搭載した CNI を構成する | Microsoft Learn
Azure Kubernetes Service (AKS)のアプリケーション ルーティング アドオンを使用して Kubernetes Gateway API を使用してイングレスを構成する | Microsoft Learn

① ポータルで AKS を作る

ポータルの「Kubernetes サービス」⇒「作成」⇒「Kubernetes クラスター」で作る。
プリセット構成は Dev/Test のままにした。

Kubernetes クラスターを作成(Basic)
番号項目説明
1クラスター名とリージョンaks-ar16、Japan East
2AKS 価格レベル無料(Free)。
クラスターの管理の料金がかからない
3Kubernetes バージョン1.36.5(既定)

「ノード プール」タブで agentpool を開き、サイズと台数を変えた。
このノード プールはシステム ノード プールで、B シリーズは選べない(つまずいた点を参照)。

ノード プールの更新
番号項目説明
1Availability Zonesゾーン 2, 3。
D2as v7 は東日本ではゾーン 2 と 3 だけで使えるので、ゾーン 1 を外した
2ノード サイズStandard D2as v7(2 vCPU、8 GiB)
3OS ディスク サイズ32 GiB。
既定は 128 GiB
4スケーリング方法とノード数手動で 2 台

「ネットワーク」タブでは、ネットワーク構成を「Azure CNI オーバーレイ」(既定)のままにし、「Cilium データプレーンとネットワーク ポリシー エンジンを有効にする」にチェックを入れた。
Cilium のデータ プレーンを有効にすると、ネットワーク ポリシーにも Cilium が使われる。
「監視中」タブでは、Prometheus メトリックと推奨されるアラート ルールのチェックを外した。
Prometheus を有効にすると、Azure Monitor ワークスペースが作られる。

Kubernetes クラスターを作成(セキュリティ)
番号項目説明
1Microsoft Defender for Cloudサブスクリプションの Defender for Containers プランの状態が表示される
2OIDC を有効にする既定でオン。
ワークロード ID には OIDC 発行者が必要
3ワークロード ID を有効にする既定でオン。
Pod に Microsoft Entra のトークンを渡すしくみ(③で使う)

作成後、クラスターの「設定」⇒「ネットワーク」で、ネットワークの構成を確かめた。

クラスターのネットワーク(概要)
番号項目説明
1ネットワーク構成Azure CNI オーバーレイ
2ポッド CIDR10.244.0.0/16。
ノードの IP は VNet の 10.224.0.4 と 10.224.0.5、Pod の IP は 10.244.x.x で、別の範囲から割り当てられた
3Cilium データプレーン、ネットワーク ポリシー エンジン有効、Cilium
4アドバンスト コンテナー ネットワークサービス (ACNS)有効でない。
FQDN のフィルターなどは ACNS の機能で、今回は使わない

公式ドキュメント:Azure Kubernetes Service (AKS)Azure Cilium を搭載した CNI を構成する | Microsoft Learn

② Gateway API の実装を有効にし、パスで振り分ける

Gateway API の実装は CLI で有効にした(Azure CLI 2.86.0 以降が必要)。
完了まで 186 秒かかった。

az aks update -g rg-ar16-aks -n aks-ar16 --enable-gateway-api --enable-app-routing-istio

有効にすると、GatewayClass の approuting-istio ができ、aks-istio-system の名前空間に Istio のコントロール プレーン(istiod)が 2 つ動いた。
istiod は Gateway のインフラを管理するだけで、ワークロードにサイドカーは入らない。

$ kubectl get gatewayclass
NAME CONTROLLER ACCEPTED
approuting-istio istio.aks.azure.com/gateway-controller True
istio-remote istio.io/unmanaged-gateway True

$ kubectl get pods -n aks-istio-system
NAME READY STATUS RESTARTS AGE
istiod-84f846497-jdnl7 1/1 Running 0 52s
istiod-84f846497-xx4sx 1/1 Running 0 67s
クラスターのネットワーク(イングレス プロファイル)
番号項目説明
1Gateway API を使用したアプリケーション ルーティング有効。
ポータルの「管理」からも有効にできる

次に、gateway の名前空間に Gateway を、ingest と workflow の名前空間にそれぞれ HTTPRoute を作った。
Gateway は 80 番で受け、ほかの名前空間の HTTPRoute も受け付ける(allowedRoutes を All)。
/ingest は ingest に、/status は workflow に振り分ける。

apiVersion: gateway.networking.k8s.io/v1
kind: Gateway
metadata:
  name: api-gateway
  namespace: gateway
spec:
  gatewayClassName: approuting-istio
  listeners:
  - name: http
    port: 80
    protocol: HTTP
    allowedRoutes:
      namespaces:
        from: All
---
apiVersion: gateway.networking.k8s.io/v1
kind: HTTPRoute
metadata:
  name: ingest
  namespace: ingest
spec:
  parentRefs:
  - {name: api-gateway, namespace: gateway}
  rules:
  - matches: [{path: {type: PathPrefix, value: /ingest}}]
    backendRefs: [{name: ingest, port: 80}]

workflow の HTTPRoute も同じ形で、パスを /status、送り先を workflow にした。
Gateway は数秒で準備完了になり、パブリック IP が付いた。

サービス、ゲートウェイ、イングレス(ゲートウェイ)
番号項目説明
1api-gatewayゲートウェイ クラスは approuting-istio、状態は準備完了。
アドレスはロード バランサーのパブリック IP
サービス、ゲートウェイ、イングレス(HTTP ルート)
番号項目説明
1ingest、workflowどちらも親リファレンスは gateway/api-gateway で、準備完了

Gateway を作ると、Gateway のプロキシの Deployment と、LoadBalancer の Service、HPA、PodDisruptionBudget が自動で作られた。
HPA の最小レプリカは 2 で、作成時に 1 つだったプロキシは、約 1 分後に 2 つになった。

$ kubectl get hpa,pdb -n gateway
NAME REFERENCE TARGETS MINPODS MAXPODS REPLICAS
api-gateway-approuting-istio Deployment/api-gateway-approuting-istio cpu: 1%/80% 2 5 2

NAME MIN AVAILABLE MAX UNAVAILABLE ALLOWED DISRUPTIONS
api-gateway-approuting-istio 1 N/A 0
サービス、ゲートウェイ、イングレス(サービス)
番号項目説明
1ingest、workflowマイクロサービスの Service。
ClusterIP なので、クラスターの外からは直接つながらない
2api-gateway-approuting-istioGateway のプロキシの Service。
LoadBalancer で、外部 IP を持つ

公式ドキュメント:Azure Kubernetes Service (AKS)のアプリケーション ルーティング アドオンを使用して Kubernetes Gateway API を使用してイングレスを構成する | Microsoft Learn

③ Service Bus でつなぎ、ワークロード ID で認証する

Service Bus は、名前空間(Basic)とキュー deliveries を CLI で作った。
マネージド ID を 2 つ作り、キューのロールを分けて付けた。
ingest の id-ingest には「Azure Service Bus Data Sender」、workflow の id-workflow には「Azure Service Bus Data Receiver」を付けた。

az servicebus namespace create -g rg-ar16-aks -n <名前空間> -l japaneast --sku Basic
az servicebus queue create -g rg-ar16-aks --namespace-name <名前空間> -n deliveries
az identity create -g rg-ar16-aks -n id-ingest
az role assignment create --assignee-object-id <id-ingest のプリンシパル ID> --assignee-principal-type ServicePrincipal --role "Azure Service Bus Data Sender" --scope <キューのリソース ID>
キューのアクセス制御 (IAM)
番号項目説明
1id-workflowAzure Service Bus のデータ受信者。
スコープはこのキューだけ
2id-ingestAzure Service Bus のデータ送信者。
送るだけで、受け取れない

マネージド ID ごとに、クラスターの OIDC 発行者 URL とサービス アカウントを結ぶフェデレーション資格情報を作った。
サブジェクトは system:serviceaccount:<名前空間>:<サービス アカウント> の形になる。

az identity federated-credential create -g rg-ar16-aks --identity-name id-ingest -n fc-ingest --issuer <OIDC 発行者 URL> --subject system:serviceaccount:ingest:ingest-sa --audiences api://AzureADTokenExchange
マネージド ID のフェデレーション資格情報
番号項目説明
1fc-ingest発行者はクラスターの OIDC 発行者 URL、サブジェクト識別子は ingest の名前空間の ingest-sa

Kubernetes 側では、サービス アカウントにマネージド ID のクライアント ID を注釈で付け、Pod に azure.workload.identity/use のラベルを付ける。

apiVersion: v1
kind: ServiceAccount
metadata:
  name: ingest-sa
  namespace: ingest
  annotations:
    azure.workload.identity/client-id: "<id-ingest のクライアント ID>"
---
# Deployment の Pod のテンプレート(抜粋)
    metadata:
      labels: {app: ingest, azure.workload.identity/use: "true"}
    spec:
      serviceAccountName: ingest-sa

アプリは Python で、Azure SDK の DefaultAzureCredential と azure-servicebus を使い、接続文字列を持たせていない。
デプロイした Pod には、AZURE_CLIENT_ID、AZURE_TENANT_ID、AZURE_FEDERATED_TOKEN_FILE、AZURE_AUTHORITY_HOST の環境変数が自動で入っていた。
Pod には、リソースの要求と制限、スタートアップ プローブ、準備プローブも付けた。

手元の PC から Gateway の IP に、集荷の要求を 3 件送った。

$ curl -X POST -H "Content-Type: application/json" -d '{"item":"pkg-1","to":"tokyo"}' http://<Gateway の IP>/ingest
{"queued": {"item": "pkg-1", "to": "tokyo", "deliveryId": "ec85aab2"}, "pod": "ingest-856b6896f8-x2xrl"}

$ curl http://<Gateway の IP>/status
{"service": "workflow", "pod": "workflow-6c7854fff7-vwfjq", "processed": [{"item": "pkg-1", ...}, {"item": "pkg-2", ...}, {"item": "pkg-3", ...}]}

$ curl -o /dev/null -w "%{http_code}" http://<Gateway の IP>/other
404

ingest は 202 を返し、workflow はキューから受け取った 3 件を処理済みとして返した。
どの HTTPRoute にも当たらないパスは 404 になった。

キュー deliveries の概要
番号項目説明
1メッセージ数アクティブは 0。
workflow が受け取って完了にしたので、キューに残っていない
2Incoming Messages、Outgoing Messagesどちらも 4(④で送った 1 件を含む)

公式ドキュメント:Azure Kubernetes Service (AKS) クラスターにMicrosoft Entra ワークロード ID をデプロイして構成する | Microsoft Learn

④ NetworkPolicy で受信をすべて拒否し、Gateway からだけ許可する

比べるために、other という名前空間にテスト用の Pod を置いた。
NetworkPolicy を入れる前は、この Pod から ingest と workflow の Service に直接つながった。

$ kubectl exec -n other tester -- curl -s -m 5 -w " [%{http_code}]" http://ingest.ingest.svc.cluster.local/
{"service": "ingest", "pod": "ingest-856b6896f8-x2xrl"} [200]

ingest と workflow の名前空間に、受信をすべて拒否するポリシーと、gateway の名前空間からの 8080 番だけを許可するポリシーを入れた。

apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: default-deny-ingress
  namespace: ingest
spec:
  podSelector: {}
  policyTypes: [Ingress]
---
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: allow-from-gateway
  namespace: ingest
spec:
  podSelector:
    matchLabels: {app: ingest}
  policyTypes: [Ingress]
  ingress:
  - from:
    - namespaceSelector:
        matchLabels: {kubernetes.io/metadata.name: gateway}
    ports: [{port: 8080, protocol: TCP}]
ネットワーク ポリシー
番号項目説明
1allow-from-gateway、default-deny-ingressingest と workflow に 2 つずつ。
種類はどちらも Ingress

入れたあとは、other の Pod からの通信が 5 秒でタイムアウトした(curl の終了コード 28)。
Gateway を通る要求は通り、4 件目もキューを経て処理された。
準備プローブ(kubelet から)は止まらず、Pod は Ready のままだった。

$ kubectl exec -n other tester -- curl -s -m 5 -w " [%{http_code}]" http://ingest.ingest.svc.cluster.local/
[000]command terminated with exit code 28

$ curl -X POST -H "Content-Type: application/json" -d '{"item":"pkg-4","to":"osaka"}' http://<Gateway の IP>/ingest
{"queued": {"item": "pkg-4", "to": "osaka", "deliveryId": "095f7058"}, "pod": "ingest-856b6896f8-x2xrl"}

今回は受信だけを絞った。
送信も絞るなら、DNS と Service Bus への通信を許可する必要があり、宛先の FQDN で絞るのは ACNS の機能になる。

公式ドキュメント:Azure Kubernetes Service (AKS)Azure Cilium を搭載した CNI を構成する | Microsoft Learn

実機でつまずいた点

B シリーズのノード サイズはスケジュールできません。別のノード サイズを選択してください。

ノード プールのタブに出たエラー

費用を抑えるために、ノード プールのサイズを B2s(2 vCPU、4 GiB)にすると、「ノード プール」タブに×が付き、このエラーが出て作成に進めなかった。
作成画面の既定のノード プールは、システム ノード プールになる。
公式の「システム ノード プールを管理する」にも、B シリーズの VM はシステム ノード プールではサポートされない、と書かれている。
B シリーズ以外の 2 vCPU のサイズにすると、作成に進めた。

また、Gateway API の実装で動く istiod は、1 つあたり CPU 500m とメモリー 2 GiB を要求していて、それが 2 つ動く。
メモリーが 4 GiB のノードでは余裕がないので、8 GiB のサイズにした。
D2as v7 は東日本ではゾーン 2 と 3 だけで使え、ゾーン 1, 2, 3 のままだとサイズの一覧に「サポートされていない可用性ゾーン」と出た。

公式ドキュメント:Azure Kubernetes Service (AKS)でシステム ノード プールを管理する | Microsoft Learn

推奨構成

項目推奨
ネットワークAzure CNI powered by Cilium と、名前空間ごとのすべて拒否から始める NetworkPolicy
入口アプリケーション ルーティング アドオンの Gateway API 実装を API ゲートウェイにし、レプリカは 2 つ以上
データサービスごとに別のデータ ストア(Cosmos DB、Managed Redis など)。
サービス間は Service Bus で疎結合に
ID とシークレットワークロード ID と Key Vault(CSI ドライバー)。
PaaS はネットワーク セキュリティ境界かプライベート エンドポイント
デプロイサービスごとの CI/CD と Helm。
イメージは Container Registry に置き、Container Registry タスクで修正を自動化
監視Azure Monitor と Application Insights のアプリケーション マップ。
Cilium のネットワーク監視も使う

注意事項

項目内容
Windows ノードAzure CNI powered by Cilium は Linux だけ。
Windows ノードが要るなら、OS の混在を計画する
自己署名証明書開発とテストだけに使う。本番は信頼された CA の証明書
静的な送信 IPこの構成では送信が NAT ゲートウェイや Firewall を通らないので、送信 IP は固定されない。
境界のアクセス規則は IP ではなくサブスクリプション単位にする
準備プローブ依存先の確認を入れると、依存先の一時的な障害で全 Pod が負荷分散から外れることがある
Kubernetes シークレットetcd に保存される(AKS は保存時に暗号化、キーは Microsoft が管理)。
一元管理や監査が要るなら Key Vault

公式ドキュメント:Azure Kubernetes Serviceでのマイクロサービス アーキテクチャ | Microsoft Learn

関連するアーキテクチャとの違い

記事このアーキテクチャとの関係
AKS のベースライン アーキテクチャクラスターの基盤(WAF、Firewall、プライベート API サーバー)に重点を置く。
今回はその上で動かすマイクロサービスに重点を置く
AKS のマルチリージョン構成クラスターを複数のリージョンに広げる構成
高度な Azure Kubernetes Service (AKS) マイクロサービス アーキテクチャ | Microsoft LearnAKS ベースラインの上に作る、より高度なマイクロサービスの例

まとめ

・AKS のマイクロサービス アーキテクチャは、マネージドのイングレスを API ゲートウェイにし、Service Bus でつないだマイクロサービスがそれぞれ自分のデータ ストアを持つ。
・ネットワークは Azure CNI powered by Cilium で、NetworkPolicy をすべて拒否から始める。
・名前空間、正常性プローブ、リソースの制約で、サービスの問題が広がらないようにする。
・シークレットは Key Vault(CSI ドライバー)とワークロード ID、イメージは信頼したレジストリと Defender for Containers。
・実機では、Gateway API の実装で 2 つのサービスにパスで振り分け、ワークロード ID で Service Bus につないだ。受信をすべて拒否する NetworkPolicy で、Gateway 以外からの通信が止まった。

次回:AKS の保護(アーキテクチャ解説シリーズ 17)

AKS の保護とは|Azure Firewall Basic で送信を絞ったプライベート AKS で、許可した宛先にだけ出られるかを実機で検証(アーキテクチャ解説シリーズ 17)
AKS の保護を図で解説。実機では、Azure Firewall Basic で送信を絞ったプライベート AKS を作り、FQDN タグだけでノードが動き、規則を足した宛先にだけ Pod から出られることを確かめた。

コメント

タイトルとURLをコピーしました