エンタープライズ統合とは|API Management、Logic Apps、Service Bus でバックエンドをつなぎ、キューでの非同期化を実機で検証(アーキテクチャ解説シリーズ 19)

アーキテクチャ

この記事でわかること

  • API Management と Logic Apps で、SaaS や社内システムなどのバックエンドを統合する基本の構成
  • Service Bus と Event Grid を足して非同期にし、信頼性とスケールを高める構成と、プル・プロキシ プッシュの違い
  • API Management のレベルの選び方、バックアップと DR、シークレットとネットワークの守り方

はじめに

Azure アーキテクチャ センターのアーキテクチャを 1 つずつ読む 19 回目。
今回から統合の分野に入り、「Azure での基本的なエンタープライズ統合」と、それを発展させた「メッセージ ブローカーとイベントを使用してエンタープライズ システムを統合する」をまとめて読む。

前回:Azure Container Apps のマイクロサービス(アーキテクチャ解説シリーズ 18)

Azure Container Apps のマイクロサービスとは|AKS から載せ替える構成と、リビジョン・ゼロへのスケール・シークレットの動きを実機で検証(アーキテクチャ解説シリーズ 18)
AKS から Container Apps への載せ替えを解説。実機ではリビジョンでのトラフィック分割、内部イングレス、ゼロへのスケール、シークレットの反映を確かめた。

エンタープライズ統合とは

Azure Integration Services は、アプリ、データ、プロセスを統合するサービスの集まりで、Logic Apps、API Management、Service Bus、Event Grid、Functions、Data Factory が含まれる。
基本のアーキテクチャは、このうち Logic Apps と API Management だけを使い、バックエンドへの同期の呼び出しでワークフローを動かす。
より高い信頼性とスケールが要るときは、Service Bus と Event Grid を足して、バックエンドを非同期に切り離す。

Azure でのエンタープライズ統合(基本形とキュー・イベントの追加)
順番流れ(基本形)
1アプリケーション(Web、モバイルなど)が Microsoft Entra ID で認証し、アクセス トークンを取る
2アプリケーションが、トークンを付けて API Management の API ゲートウェイを呼ぶ
3API ゲートウェイがトークンを検証し、要求を Logic Apps に転送する。
要求と応答の変換やキャッシュもできる
4Logic Apps がコネクタでバックエンド(データベース、Web サービス、SaaS、基幹業務アプリ)を呼び、呼び出しを調整する

構成要素がどういうものかは、次のとおり。

構成要素どういうもの役割
Azure API ManagementHTTP API のカタログを公開するマネージド サービス。
API ゲートウェイと開発者ポータルでできている
バックエンドのファサードになり、レート制限、認証、キャッシュを担う。
Logic Apps を API としてインポートして複合 API を作る
Azure Logic Appsアプリ、データ、サービスを統合するワークフローを作るサーバーレスの基盤バックエンドへの呼び出しを調整し、コネクタで接続してカスタム コードを減らす
Microsoft Entra IDクラウドの ID とアクセス管理のサービスOAuth 2.0 でクライアントを認証し、API Management を守る
Azure DNSDNS ドメインのホスティング サービスAPI Management のパブリック DNS レコードをホストする
Azure Key Vaultシークレット、キー、証明書の保管庫。
詳しくはAzure Key Vault とは。
Logic Apps と API Management のシークレットを一元管理する
構成要素どういうもの役割
Azure Service Bus安全で信頼性の高いメッセージ ブローカーキューで負荷の急増を平準化し、トピックで複数のコンシューマーに配る。
バックエンドが止まっていてもメッセージを保持する
Azure Event Grid発行とサブスクライブのモデルを使うイベント ルーティング サービスポーリングやスケジュールに頼らず、イベントが起きたときに反応する。
送信側を変えずにサブスクライバーを足せる

公式ドキュメント:
Azureでの基本的なエンタープライズ統合 | Microsoft Learn
メッセージ ブローカーとイベントを使用してエンタープライズ システムを統合する | Microsoft Learn

同期と非同期の使い分け

基本形は、バックエンドへの同期の呼び出しでワークフローが動く、基本的な統合シナリオ向け。
キューとイベントを足した構成では、直接の同期呼び出しの代わりに、メッセージ ブローカー経由の非同期の通信を使う。

非同期にする利点内容
負荷の平準化キュー ベースの負荷平準化パターンで、ワークロードの急増を吸収する
複数への配信パブリッシャー/サブスクライバー パターンで、複数のコンシューマーにメッセージを配る
長いワークフロー複数のステップやアプリにまたがる長いワークフローの進み具合を、確実に追える
疎結合と既存システムアプリを切り離し、既存のメッセージ ベースのシステムとも統合できる
バックエンドの停止バックエンドが使えないときも、メッセージをキューに入れておける
Service Bus の受け取り方内容
プル受信側が新しいメッセージを問い合わせ続ける。
部品が少なく構成は簡単だが、キューが多いとポーリングが非効率になりうる
プロキシ プッシュ受信側が Event Grid のトピックをサブスクライブし、新しいメッセージがあると Service Bus が Event Grid 経由で知らせ、受信側がまとめて取りに行く。
ほぼリアルタイムだが、管理する部品が増える

Logic Apps Standard で Service Bus のメッセージを使うなら、Service Bus の組み込みコネクタのトリガーを使う。
プルの構成の大部分を、追加のコストなしで隠してくれる。
PeekLock モードで、メッセージを完了・中止する前に検証し、誤ってメッセージを失わないようにする。

公式ドキュメント:
Azureでの基本的なエンタープライズ統合 | Microsoft Learn
メッセージ ブローカーとイベントを使用してエンタープライズ システムを統合する | Microsoft Learn

サービスの選び方

項目ポイント
API Management のレベルこの構成では、開発者ポータルと Entra 統合が要るので、従量課金レベルは勧められない。
Developer レベルは運用以外の環境専用。
機能と必要なスループットで選び、Premium は複数のリージョンへのスケールアウトに対応する
ドメイン既定のドメイン(contoso.azure-api.net など)ではなく、組織のカスタム ドメインを検討する
Logic Apps非同期の呼び出しや中程度の実行時間の API など、応答を急がない場面に向く。
UI をブロックするような低遅延が要るなら、Functions や App Service の Web API を使う
リージョンAPI Management と Logic Apps は同じリージョンに置き、利用者かバックエンドに近いリージョンを選ぶ

公式ドキュメント:Azureでの基本的なエンタープライズ統合 | Microsoft Learn

構成のポイント

柱ポイント
信頼性API Management の構成を定期的にバックアップする(組み込みのバックアップは従来の Developer、Basic、Standard、Premium だけで、従量課金と v2 は IaC で)。
別のリージョンにパッシブなインスタンスを置けば、DR では DNS を向け直すだけで済む。
Logic Apps は IaC のテンプレートから作り直す。
Event Grid の定義は可用性ゾーン間で自動複製され、Service Bus はすべてのレベルで可用性ゾーンに対応
セキュリティLogic Apps のエンドポイントは API Management の IP からだけ受ける(v2 レベルには静的 IP がない)。
API Management の公開 API は OAuth か OIDC と JWT 検証ポリシーで守り、HTTPS を強制し、バックエンドへは相互証明書。
シークレットはソース管理に入れず、Key Vault(API Management の名前付き値から直接参照)。
Service Bus は Entra 認証とマネージド ID
柱ポイント
コスト最適化API Management は動いている間課金されるので、要らなくなったらスケールダウンか自動スケール。
Service Bus のプルでは、すべてのポーリングがアクションとして数えられるので、リアルタイムが要らなければプロキシ プッシュを検討する。
Event Grid は操作数の課金で、10 万操作まで無料
オペレーショナル エクセレンス運用と開発/テストでリソース グループを分ける。
ARM テンプレートなどの IaC と CI/CD でデプロイし、段階的に検証する。
API Management と各ロジック アプリは別のテンプレートに分ける。
API Management のバージョンとリビジョン、Logic Apps のバージョン履歴を使う
パフォーマンス効率API Management にキャッシュ ポリシーを足す。
容量が 66% を超え続けるならスケールアップ、20% 未満が続くならスケールダウンを検討(反映に 15〜45 分)。
Service Bus Premium はメッセージング ユニットでスケールアウトできる

公式ドキュメント:
Azureでの基本的なエンタープライズ統合 | Microsoft Learn
メッセージ ブローカーとイベントを使用してエンタープライズ システムを統合する | Microsoft Learn

構築手順

今回の構成と実施すること

今回の構成(API Management → Logic Apps → Service Bus → Logic Apps)

東日本に、API Management、Logic Apps 2 つ、Service Bus を置き、基本形の入口とキューによる非同期化を 1 本の流れでつなぐ。
API Management は検証の費用を抑えるために従量課金レベルを使う(この構成の本番には勧められないレベル)。
Service Bus は Basic(キューは全レベルで使える)。
Event Grid によるプロキシ プッシュは Service Bus の Premium が要るので、今回は組まない。

手順実施すること確かめること
①Service Bus の名前空間とキュー orders を作るキューのメッセージ数が見える
②受付と処理の 2 つの Logic App を作る受付を呼ぶと、キュー経由で処理の Logic App まで届く
③API Management に受付の Logic App を API として取り込むAPI Management の URL から呼べる
④レート制限のポリシーを付けるキーなしは 401、上限を超えると 429
⑤処理の Logic App を止めてから送り、あとで戻す止めている間もキューにたまり、戻すと処理される

費用は、API Management の従量課金と Logic Apps、Service Bus の使った分だけで、数円の見込み。

公式ドキュメント:Azure Service Bus から Event Grid への統合の概要 | Microsoft Learn

①② Service Bus と Logic Apps を作る

Service Bus は Basic の名前空間にキュー orders を作った。
Logic Apps は従量課金で 2 つ作り、どちらも Service Bus のコネクタでキュー orders につなぐ。

受付の Logic App(HTTP で受けてキューに送る)
番号項目説明
1manual(HTTP 要求のトリガー)POST で JSON(orderId、item、quantity)を受ける
2Send messageService Bus のコネクタで、受けた本文をキューに送る
3Responseキューに入れたら、すぐに 202 を返す。
バックエンドの処理を待たない
4キュー/トピック名送り先のキュー orders
5内容受けた本文(トリガーの本文を文字列にしたもの)
処理の Logic App(ピーク ロックで受けて完了にする)
番号項目説明
1When a message is received in a queue (peek-lock)キューにメッセージが届くのを、ピーク ロックで受け取るトリガー。
今回は 1 分ごとに確認する
2Complete the message in a queue処理が終わったら、メッセージを完了にしてキューから消す
3キュー名受け取るキュー orders

ピーク ロックでは受信が 2 段階になる。
Service Bus は次のメッセージを見つけてロックし、ほかのコンシューマーが受け取れないようにしてから返す。
処理できなかったときに破棄するか、ロックの期限が切れると、メッセージは再び受け取れるようになる。

受付の Logic App を直接呼ぶと 202 が返り、約 30 秒後に処理の Logic App が成功して、キューは 0 件になった。

公式ドキュメント:
Azure Logic Apps のワークフローから Azure Service Bus に接続する | Microsoft Learn
Service Bus のキュー、トピック、サブスクリプション | Microsoft Learn

③ API Management に Logic App を取り込む

API Management の「API」⇒「Logic App」を選ぶ。
「Browse」には、HTTP トリガーのある Logic App だけが出る(処理の Logic App は出ない)。

インポートする Logic App の選択
番号項目説明
1la-ar19-intakeHTTP トリガーのある受付の Logic App。
API Management は、この Logic App の Swagger を取得して API を作る
Create from Logic App
番号項目説明
1Logic App選んだ Logic App。
表示名と名前は自動で入る
2API URL suffixAPI Management の URL の後ろに付くパス。
今回は orders にした
取り込んだ API の設計画面
番号項目説明
1POST manual-invokeLogic App の HTTP トリガーが、API の操作として取り込まれた
2set-backend-service要求を Logic App に向けるポリシーが、受信処理に自動で入った
3Backendバックエンドは Azure LogicApp(la-ar19-intake)

公式ドキュメント:ロジック アプリを API としてインポートする | Microsoft Learn

④ レート制限のポリシーを付ける

受信処理の「Add policy」⇒「Limit call rate」で、60 秒に 3 回までにした。
ただし、このフォームが作る rate-limit-by-key は従量課金レベルでは使えず、保存でエラーになった(次の「実機でつまずいた点」)。
コードの画面で rate-limit に書き換えて保存した。

Limit call rate のフォーム
番号項目説明
1Number of calls / Renewal period / Counter key期間(秒)あたりの呼び出し回数と、数える単位(API のサブスクリプション)
rate-limit で保存できた受信処理
番号項目説明
1rate-limit<rate-limit calls="3" renewal-period="60" />。
サブスクリプションごとに、60 秒に 3 回まで

PowerShell から API Management の URL を呼んで確かめた。
キーは、組み込みのすべてのアクセスのサブスクリプションのものを Ocp-Apim-Subscription-Key ヘッダーで渡した。

POST https://apim-ar19-xxxxx.azure-api.net/orders/manual/paths/invoke

(キーなし)
HTTP/1.1 401 Access Denied
{ "statusCode": 401, "message": "Access denied due to missing subscription key. Make sure to include subscription key when making requests to an API." }

(キー付きで続けて呼ぶ)
HTTP/1.1 202 Accepted
{"status":"accepted","orderId":"C001"}
HTTP/1.1 429 Too Many Requests
Retry-After: 40
{ "statusCode": 429, "message": "Rate limit is exceeded. Try again in 40 seconds." }
確かめたこと結果
キーなしで呼ぶ401(サブスクリプション キーがない)
キー付きで 5 回続けて呼ぶ202、202、429、429、429。
上限は 3 回にしたが、3 回目で 429 になった
429 の応答Retry-After ヘッダーと、あと何秒で呼べるかが返る

※公式でも、調整の仕組みが分散しているため、レート制限が完全に正確になることはないとされている。

公式ドキュメント:
呼び出しレートをサブスクリプション別に制限する | Microsoft Learn
Azure API Management のサブスクリプション | Microsoft Learn

⑤ 処理を止めて、キューにたまることを確かめる

処理の Logic App の概要で「Disable」を選び、Status を Disabled にした。
この状態で受付に 5 件送ると、すべて 202 が返った。

処理の Logic App を無効にした
番号項目説明
1Enable無効にすると、ボタンが Enable(有効にする)に変わる
2StatusDisabled。
トリガーが動かないので、キューからは取り出されない
キューにたまったメッセージ
番号項目説明
1アクティブ処理されずにキューに残っているメッセージ。
送った 5 件がたまっている
2メッセージのロック期間ピーク ロックで受けたメッセージをロックしておく時間(今回は 1 分)

「Enable」で有効に戻すと、すぐにトリガーが動き、たまっていた 5 件がまとめて処理された。

有効に戻したあとの実行履歴
番号項目説明
1StatusEnabled に戻った
2実行履歴有効に戻した直後に、たまっていた 5 件が 1 秒ほどで処理された
処理された実行の中身
番号項目説明
1実行止めている間に送ったメッセージの 1 件
2Compose order の入力と出力キューに入っていた注文の内容(orderId、item、quantity)

バックエンドが止まっていても、受付は 202 を返し続け、メッセージはキューに残る。
バックエンドが戻れば、たまった分から処理される。

公式ドキュメント:Service Bus のキュー、トピック、サブスクリプション | Microsoft Learn

実機でつまずいた点

Error in element ‘rate-limit-by-key’ on line 5, column 10: Policy is not allowed in ‘Consumption’ sku

従量課金レベルで rate-limit-by-key を保存したときのエラー
番号項目説明
1rate-limit-by-key「Limit call rate」のフォームで作られたポリシー
2エラー従量課金の SKU では使えないポリシーとして、保存できなかった

受信処理の「Add policy」から「Limit call rate」を選ぶと、フォームは rate-limit-by-key のポリシーを作る(フォームの説明にも rate-limit-by-key と出る)。
公式では、rate-limit-by-key を使えるゲートウェイはクラシック、v2、セルフホステッド、ワークスペースで、従量課金は含まれない。
一方、rate-limit(サブスクリプション別)は従量課金でも使える。
コードの画面で rate-limit に書き換えると保存できた。
IP アドレスなど、サブスクリプション以外の単位で数えたいときは、従量課金以外のレベルにする。

公式ドキュメント:
呼び出しレートをキー別に制限する | Microsoft Learn
呼び出しレートをサブスクリプション別に制限する | Microsoft Learn

推奨構成

項目推奨
入口API Management(従量課金以外のレベル)とカスタム ドメイン。
OAuth 2.0 と JWT 検証
ワークフローLogic Apps。API Management と同じリージョン
非同期化Service Bus(PeekLock、組み込みコネクタのトリガー)と Event Grid
シークレットKey Vault。
API Management は名前付き値、Logic Apps はマネージド ID か Key Vault コネクタ
ネットワークPaaS はネットワーク セキュリティ境界かプライベート エンドポイント。
Logic Apps Standard はプライベート エンドポイントと VNet 統合
DRAPI Management のバックアップか別リージョンのパッシブ インスタンス。
Logic Apps は IaC で再作成

注意事項

項目内容
従量課金レベルAPI Management の従量課金レベルは、開発者ポータルと Entra 統合に対応しないので、この構成には勧められない
v2 レベルAPI Management の v2 レベルは、組み込みのバックアップと静的な IP がない
Event Grid のトリガートリガーが起動したら、少なくとも 1 つのイベントが起きたという意味。
処理できるメッセージが複数あることがある
トピックのレベルService Bus のトピックとサブスクリプションは Standard と Premium だけ(キューは全レベル)
リビジョンでのテストAPI Management のリビジョンを負荷テストや統合テストに使うのは勧められない。
別のテスト環境を使う

公式ドキュメント:
Azureでの基本的なエンタープライズ統合 | Microsoft Learn
メッセージ ブローカーとイベントを使用してエンタープライズ システムを統合する | Microsoft Learn

関連するアーキテクチャとの違い

記事このアーキテクチャとの関係
AKS のマイクロサービス アーキテクチャService Bus のキューでマイクロサービスをつなぐ考え方は同じ。
今回はバックエンドの統合に Logic Apps を使う
Azure Container Apps のマイクロサービスService Bus での非同期の通信を、コンテナー アプリの間で使う

まとめ

・基本のエンタープライズ統合は、API Management を入口にし、Logic Apps がコネクタでバックエンドへの呼び出しを調整する。
・信頼性とスケールを高めるには、Service Bus と Event Grid で非同期にする。
・Service Bus の受け取り方は、構成が簡単なプルと、ほぼリアルタイムのプロキシ プッシュから選ぶ。
・API Management は従量課金以外のレベルにし、バックアップか別リージョンのパッシブ インスタンスで DR に備える。
・実機では、処理の Logic App を止めている間もメッセージはキューにたまり、戻すとまとめて処理された。従量課金レベルでは rate-limit-by-key が使えず、rate-limit を使った。

次回:Microsoft Fabric のエンタープライズ BI(アーキテクチャ解説シリーズ 20)

Microsoft Fabric のエンタープライズ BI とは|SQL Database をミラーリングし、Direct Lake のレポートに変更が届くまでを実機で検証(アーキテクチャ解説シリーズ 20)
Fabric のエンタープライズ BI を図で解説。実機では、無料の SQL Database を試用版の Fabric にミラーリングし、Direct Lake のレポートまで作って、元の値の変更が約 1 分で届くことを確かめた。

コメント

タイトルとURLをコピーしました