Azure Stream Analytics のストリーム処理とは|Event Hubs の 2 つのストリームの一時的な結合と移動平均を実機で検証(アーキテクチャ解説シリーズ 21)

アーキテクチャ

この記事でわかること

  • Event Hubs で 2 つのデータ ストリームを取り込み、Stream Analytics で関連付けて集計するストリーム処理の構成
  • パーティション キーの決め方、一時的な結合、ホッピング ウィンドウでの移動平均のしくみ
  • スケールアウトのサイン(スロットリング、SU 使用率)と、ネットワークの制限、運用のポイント

はじめに

Azure アーキテクチャ センターのアーキテクチャを 1 つずつ読む 21 回目。
今回は「Azure Stream Analytics によるストリーム処理」を読む。
タクシー会社の乗車と料金のデータをリアルタイムで処理する例で、エンド ツー エンドのストリーム処理のパイプラインを示している。

前回:Microsoft Fabric のエンタープライズ BI(アーキテクチャ解説シリーズ 20)

Microsoft Fabric のエンタープライズ BI とは|SQL Database をミラーリングし、Direct Lake のレポートに変更が届くまでを実機で検証(アーキテクチャ解説シリーズ 20)
Fabric のエンタープライズ BI を図で解説。実機では、無料の SQL Database を試用版の Fabric にミラーリングし、Direct Lake のレポートまで作って、元の値の変更が約 1 分で届くことを確かめた。

Stream Analytics によるストリーム処理とは

2 つのソースからデータを取り込み、2 つのストリームのレコードを関連付けて、時間の枠ごとの移動平均を計算し、結果を保存してさらに分析する構成。
例では、タクシーのメーターが乗車の情報を、支払いの端末が料金の情報を送り、走行 1 マイルあたりの平均チップをリアルタイムで出す。

Azure Stream Analytics によるストリーム処理

構成要素がどういうものかは、次のとおり。

構成要素どういうもの役割
Azure Event Hubsイベントを取り込むサービス。
パーティションでデータを分け、コンシューマーが並列で読める
データ ソースごとに 1 つのイベント ハブで、ストリームを受け取る
Azure Stream Analyticsイベントを処理するエンジン。処理は SQL のクエリで書く2 つのイベント ハブからストリームを読み、結合と集計をする
Azure Cosmos DBドキュメント データベースジョブの出力を JSON ドキュメントとして保存する
Power BIビジネス分析のツール群Cosmos DB から読み込み、集めた過去のデータ全体を分析する
Azure Monitorメトリックとログの基盤。ログ・監視の全体像はAzure のログ・監視。各サービスのパフォーマンス メトリックを集め、ダッシュボードで正常性を見る

公式ドキュメント:Azure Stream Analytics によるストリーム処理 | Microsoft Learn

処理のしくみ

段階内容
パーティション キーEvent Hubs に送るときに、Medallion、HackLicense、VendorId をつないだ値をパーティション キーにする。
同じタクシーの乗車と料金が同じパーティション ID になり、Stream Analytics が 2 つのストリームを関連付けるときに並列で処理できる
入力の選択最初の 2 つのステップで、乗車と料金のストリームからレコードをパーティションごとに選ぶ
一時的な結合PartitionId と PickupTime で 2 つのストリームを結合する。
Stream Analytics の結合は一時的で、DATEDIFF で決めた時間の範囲(ここでは 0〜15 分)だけ一致を待つ
ウィンドウ集計ホッピング ウィンドウ(長さ 5 分、1 分ごとに進む)で、SUM(チップ)÷SUM(距離) を計算し、過去 5 分の移動平均を出す

この構成では、ジョブの結果だけを Cosmos DB に保存する。
ビッグ データのシナリオでは、Event Hubs Capture で生のイベントを Blob Storage に保存しておくと、あとで過去のデータにバッチ クエリをかけて新しい分析ができる。

公式ドキュメント:Azure Stream Analytics によるストリーム処理 | Microsoft Learn

構成のポイント

柱ポイント
セキュリティEvent Hubs をネットワーク セキュリティ境界に入れ、既定でパブリックを拒否する。
受信規則はサブスクリプション ベースか IP ベース。
Stream Analytics ジョブはカスタム VNet にないので送信 IP が固定されない。
ジョブからの受信は、IP ではなくジョブのあるサブスクリプション単位で許可する(プライベート エンドポイントでもよい)
コスト最適化Stream Analytics は、処理に要るストリーミング ユニット(SU)の数で課金される。
リアルタイムでない、または少量のデータなら、Functions や Logic Apps で Event Hubs からデータ ストアに移すことを検討する
オペレーショナル エクセレンス運用、開発、テストでリソース グループを分け、ARM テンプレートと CI/CD でデプロイする。
Event Hubs、Log Analytics、Cosmos DB を 1 つのワークロードとして 1 つのテンプレートにまとめる。
ステージごとに検証してから進める
スケールアウトのサイン対処
Event Hubs が要求を調整している、または 1 日のメッセージ クォータに近いスループット ユニットを増やす。
自動インフレで、必要に応じて自動でスケールアウトできる
Stream Analytics が割り当てた SU の 80% 以上を常に使っているSU を追加する
Cosmos DB が要求を調整し始めているCosmos DB のスループットを見直す

たまに起きる調整は、Event Hubs のクライアント SDK が自動で再試行するので問題ない。
公式の例では、Event Hubs の調整を自動インフレで解消すると、取り込みが増えて Stream Analytics の SU の使用率が上がった。
1 つのボトルネックを解消すると、別のボトルネックが見えてくることはよくある。

公式ドキュメント:Azure Stream Analytics によるストリーム処理 | Microsoft Learn

構築手順

今回の構成と実施すること

今回の構成(2 つのストリームの結合と移動平均)

東日本に Event Hubs(Standard)と Stream Analytics ジョブ(Standard V2、1/3 SU)を作り、記事の流れ(2 つのストリームの一時的な結合と、ホッピング ウィンドウでの移動平均)を小さく動かす。
タクシーの乗車と料金を模したイベントは、手元の Python スクリプトから送る。
出力は記事の Cosmos DB ではなく Blob Storage にして、結果をファイルで確かめる。

手順実施すること確かめること
①ポータルで Event Hubs、Stream Analytics ジョブ、入力、出力を作る1/3 SU のジョブを作り、入力と出力をマネージド ID で接続できる
②乗車と料金を一時的に結合するクエリでジョブを動かす15 分以内に届いた料金だけが乗車と結合され、16 分遅れの料金は結合されない
③ホッピング ウィンドウで移動平均を出す1 分ごとに、直近 5 分の平均が出力される
④メトリックを見るSU の使用率、透かしの遅延、入出力のイベント数

費用は、ジョブ(Standard V2 は 68.7351 円/SU 時、1/3 SU の割合で約 22.9 円/時)を約 23 分、Event Hubs(Standard は 4.7469 円/TU 時)を約 1 時間で、合わせて約 15 円の見込み。
ストリーミング ユニットはジョブが実行されている間だけ課金されるので、クエリができてから開始し、確かめたらすぐ停止した。

公式ドキュメント:Stream Analytics ストリーミング ユニットの理解と調整 | Microsoft Learn

① Event Hubs とジョブを作る

ポータルの「Event Hubs」⇒「作成」で名前空間を作る。

名前空間の作成(基本)
番号項目説明
1価格レベルStandard(標準)にした。
Basic はコンシューマー グループが既定の 1 つだけなので、Stream Analytics の入力ごとにコンシューマー グループを分けるなら Standard 以上にする
2スループット ユニット1。
自動インフレは無効のまま

名前空間の「Event Hubs」⇒「+イベント ハブ」で、乗車用の rides を作った。
料金用の fares は同じ設定なので CLI で作った(az eventhubs eventhub create)。

イベント ハブの作成
番号項目説明
1パーティション数2。
送る側は、同じタクシーの乗車と料金が同じパーティション ID に入るよう、Medallion、HackLicense、VendorId をつないだ値をパーティション キーにした(2 つのイベント ハブのパーティション数をそろえる)
2保持時間1 時間(検証用の最小値)

次に、ポータルの「Stream Analytics ジョブ」⇒「作成」でジョブを作る。

新しい Stream Analytics ジョブ(基本情報)
番号項目説明
1ホスティング環境クラウド
2価格の説明ポータルで作るジョブは Standard V2 の価格になる、と書かれている
3ストリーミング ユニットスライダーを左端にすると 1/3 になる。
1/3 と 2/3 は 1 つのストリーミング ノードの一部のリソースを使う、小規模向けの選択肢
新しい Stream Analytics ジョブ(マネージド ID)
番号項目説明
1マネージド ID の有効化既定でオンで、システム割り当て ID が作られる

ジョブのマネージド ID には、名前空間に「Azure Event Hubs Data Receiver」、ストレージ アカウントに「Storage Blob Data Contributor」のロールを付けた(CLI)。

ジョブの「入力」⇒「入力の追加」⇒「イベント ハブ」で、rides と fares の 2 つの入力を作る。

入力(イベント ハブ)
番号項目説明
1イベント ハブ コンシューマー グループ新規作成にすると、ジョブ用のコンシューマー グループが作られる
2認証モードマネージド ID: システム割り当て。
接続文字列(共有アクセス ポリシーのキー)を使わずに読める

「出力」⇒「出力の追加」⇒「Blob Storage または ADLS Gen2」で、結合した乗車を書く joined と、移動平均を書く avgtip の 2 つの出力を作る。

出力(Blob Storage)
番号項目説明
1認証モードマネージド ID: システム割り当て
2パス パターンavgtip/{date}/{time}。
日付と時刻(時)ごとにフォルダーが分かれる

公式ドキュメント:クイック スタート: Azure Portal を使用して Stream Analytics ジョブを作成する | Microsoft Learn

② 乗車と料金を一時的に結合する

クエリは次のとおり。
TIMESTAMP BY を付けていないので、イベントの時刻は Event Hubs に届いた時刻になる。

WITH Trips AS (
    SELECT r.Medallion, r.HackLicense, r.VendorId, r.PickupTime, r.TripDistance,
           f.TipAmount, f.TotalAmount, DATEDIFF(second, r.EventEnqueuedUtcTime, f.EventEnqueuedUtcTime) AS FareDelaySec, r.PartitionId
    FROM rides r PARTITION BY PartitionId
    JOIN fares f PARTITION BY PartitionId
      ON r.Medallion = f.Medallion AND r.HackLicense = f.HackLicense AND r.VendorId = f.VendorId
     AND r.PickupTime = f.PickupTime AND r.PartitionId = f.PartitionId
     AND DATEDIFF(minute, r, f) BETWEEN 0 AND 15
)
SELECT * INTO joined FROM Trips

SELECT System.Timestamp() AS WindowEnd, COUNT(*) AS Trips,
       AVG(TipAmount / TripDistance) AS AvgTipPerMile
INTO avgtip
FROM Trips
GROUP BY HoppingWindow(minute, 5, 1)
クエリ エディター
番号項目説明
1入力rides と fares。
入力を選ぶと、届いているイベントのサンプルが下に出る
2一時的な結合ON 句の DATEDIFF(minute, r, f) BETWEEN 0 AND 15 で、乗車から 15 分以内に届いた料金だけを結合する
3ホッピング ウィンドウ幅 5 分、1 分ずつずらして、1 マイルあたりのチップを平均する
4入力のプレビュー選んだ入力(ここでは fares)に届いているイベントのサンプル。
送った列のほかに、PartitionId や EventEnqueuedUtcTime などの列が付いている

ジョブを約 23 分動かすと、joined に 595 行が出力された。
料金が届くまでの時間(FareDelaySec)は 2〜21 秒で、すべて 15 分の範囲に入っていた。
16 分遅らせて送った料金のうち、ジョブを止めるまでに届いた 26 件は、1 件も結合されなかった。

{"Medallion": "M104", "HackLicense": "H504", "VendorId": "CMT", "PickupTime": "2026-11-17T13:20:12.364Z", "TripDistance": 7.2, "TipAmount": 3.07, "TotalAmount": 20.5, "FareDelaySec": 12, "PartitionId": 0}

公式ドキュメント:
参加する | Microsoft Learn
DATEDIFF | Microsoft Learn
ポータルでAzure Stream Analytics ジョブをテストする | Microsoft Learn

③ ホッピング ウィンドウで移動平均を出す

avgtip には、ジョブを開始した 12:58(UTC)から 1 分ごとに 1 行ずつ出力された。
各行は、その時刻までの 5 分間に結合された乗車の件数と、1 マイルあたりのチップの平均。
最初の行から 5 分ぶんの件数が入っているのは、「今すぐ」で開始したジョブが、ウィンドウや結合に要る分だけ開始時刻より前の入力を読むため。

2026-11-17T12:58:00.0000000Z  Trips=129  AvgTipPerMile=0.373
2026-11-17T12:59:00.0000000Z Trips=128 AvgTipPerMile=0.369
2026-11-17T13:00:00.0000000Z Trips=127 AvgTipPerMile=0.368
(略)
2026-11-17T13:20:00.0000000Z Trips=133 AvgTipPerMile=0.376

公式ドキュメント:ホッピング ウィンドウ | Microsoft Learn

④ メトリックを見る

ジョブの「概要」⇒「監視中」に、主なメトリックが並ぶ。

主なメトリック(過去 30 分)
番号項目説明
1リソース使用率開始直後は CPU が約 50%。
そのあとは CPU 約 3%、SU(メモリ)約 25%
2イベント数開始直後に、開始時刻より前の入力をまとめて読んだ山がある。
そのあとは 1 分に 50 件前後
3ウォーターマークの遅延開始直後は約 34 秒、そのあとは約 3.6 秒
4バックログされた入力イベント開始直後は 162 件、そのあとは 0 件

開始直後の山は、開始時刻より前の入力を読み直した分で、1〜2 分で落ち着いた。
エラーは 0 だった。
公式は、SU(メモリ)使用率が常に 80% を超え、透かしの遅延とバックログされたイベントが増え続けるなら、SU を増やすことを検討する、としている。
今回の量なら、1/3 SU で余裕があった。

公式ドキュメント:
Azure Stream Analytics 監視データ リファレンス | Microsoft Learn
Azure Stream Analytics ジョブを開始する方法 | Microsoft Learn

実機でつまずいた点

使用された入力が存在しません

ジョブの開始で出たエラー
番号項目説明
1エラーが見つかりました使用された入力が存在しません、使用された出力が存在しません
2ストリーミング ユニット1/3

最初のクエリでは、結合した行の SELECT 句に DATEDIFF(second, r, f) と書いて、料金が届くまでの秒数を出そうとした。
するとクエリ エディターの「クエリをテストする」は「入力 ‘yourinputalias’ のデータがありません」、「ジョブの開始」は「使用された入力が存在しません」と出て、入力も出力もあるのに開始できなかった。
REST API の compileQuery でクエリをコンパイルすると、本当の原因が分かった。

Parameter 1 of function 'DATEDIFF' has invalid type 'record'. Expected type: datetime, nvarchar(max), unknown type.

入力の別名(r や f)を渡す特別な DATEDIFF は、JOIN の ON 句の中だけで使える。
SELECT 句では、DATEDIFF(second, r.EventEnqueuedUtcTime, f.EventEnqueuedUtcTime) のように時刻の列を渡すと通った。
直したあとも、ポータルの「ジョブの開始」には同じエラーの表示が残ったので、REST API の start で開始した。

公式ドキュメント:
参加する | Microsoft Learn
DATEDIFF | Microsoft Learn

推奨構成

項目推奨
取り込みソースごとのイベント ハブ。
関連付けたいレコードが同じパーティションに入るようにパーティション キーを決める
処理Stream Analytics の SQL クエリで、一時的な結合とウィンドウ関数を使う
保存と分析結果は Cosmos DB、生データは Event Hubs Capture で Blob Storage。
分析は Power BI
ネットワークEvent Hubs はネットワーク セキュリティ境界かプライベート エンドポイント
監視Azure Monitor のダッシュボードで、調整と SU の使用率を見る

注意事項

項目内容
結合の時間範囲Stream Analytics の結合は一時的。
DATEDIFF で許す時間の範囲を決めないと、一致を待ち続けることになる
パーティションパーティション キーを指定しないと、レコードはラウンド ロビンでパーティションに割り当てられる
少量のデータリアルタイムでない、または少量のデータには、Stream Analytics は割高になることがある
リアルタイムの可視化この構成の Power BI は Cosmos DB の過去データを分析する。
リアルタイムの分析と可視化は Fabric Real-Time Intelligence を参照

公式ドキュメント:Azure Stream Analytics によるストリーム処理 | Microsoft Learn

関連するアーキテクチャとの違い

記事このアーキテクチャとの関係
Microsoft Fabric のエンタープライズ BISQL Server のデータを取り込んで BI で見せる。
Fabric のイベントストリームでもリアルタイムの取り込みができる
エンタープライズ統合Event Grid と Service Bus で、システムの間のイベントやメッセージを扱う

まとめ

・Stream Analytics によるストリーム処理は、Event Hubs で取り込んだ 2 つのストリームを関連付け、ウィンドウで集計して Cosmos DB に保存する。
・関連付けたいレコードが同じパーティションに入るようにパーティション キーを決めると、並列で処理できる。
・結合は一時的で DATEDIFF の範囲だけ。
集計はホッピング ウィンドウで移動平均を出す。
・調整や SU の使用率を監視し、1 つのボトルネックを解消すると次が見えることを前提にスケールする。
・実機では、15 分の範囲の外で届いた料金は結合されず、ホッピング ウィンドウで 1 分ごとに直近 5 分の平均が出た。1/3 SU でもメトリックに余裕があった。

次回:Azure Data Factory ベースライン(アーキテクチャ解説シリーズ 22)

Azure Data Factory ベースラインとは|SHIR でオンプレミスから取り込み、Databricks のメダリオンで gold まで通るかを実機で検証(アーキテクチャ解説シリーズ 22)
Data Factory ベースラインを図で解説。実機では、受信を開けない VM の SHIR から CSV を取り込み、Databricks で bronze から gold の Delta まで 1 回で通した。SHIR の制限も確認。

コメント

タイトルとURLをコピーしました