この記事でわかること
- Event Hubs で 2 つのデータ ストリームを取り込み、Stream Analytics で関連付けて集計するストリーム処理の構成
- パーティション キーの決め方、一時的な結合、ホッピング ウィンドウでの移動平均のしくみ
- スケールアウトのサイン(スロットリング、SU 使用率)と、ネットワークの制限、運用のポイント
はじめに
Azure アーキテクチャ センターのアーキテクチャを 1 つずつ読む 21 回目。
今回は「Azure Stream Analytics によるストリーム処理」を読む。
タクシー会社の乗車と料金のデータをリアルタイムで処理する例で、エンド ツー エンドのストリーム処理のパイプラインを示している。
前回:Microsoft Fabric のエンタープライズ BI(アーキテクチャ解説シリーズ 20)

Stream Analytics によるストリーム処理とは
2 つのソースからデータを取り込み、2 つのストリームのレコードを関連付けて、時間の枠ごとの移動平均を計算し、結果を保存してさらに分析する構成。
例では、タクシーのメーターが乗車の情報を、支払いの端末が料金の情報を送り、走行 1 マイルあたりの平均チップをリアルタイムで出す。

構成要素がどういうものかは、次のとおり。
| 構成要素 | どういうもの | 役割 |
|---|---|---|
| Azure Event Hubs | イベントを取り込むサービス。 パーティションでデータを分け、コンシューマーが並列で読める | データ ソースごとに 1 つのイベント ハブで、ストリームを受け取る |
| Azure Stream Analytics | イベントを処理するエンジン。処理は SQL のクエリで書く | 2 つのイベント ハブからストリームを読み、結合と集計をする |
| Azure Cosmos DB | ドキュメント データベース | ジョブの出力を JSON ドキュメントとして保存する |
| Power BI | ビジネス分析のツール群 | Cosmos DB から読み込み、集めた過去のデータ全体を分析する |
| Azure Monitor | メトリックとログの基盤。ログ・監視の全体像はAzure のログ・監視。 | 各サービスのパフォーマンス メトリックを集め、ダッシュボードで正常性を見る |
公式ドキュメント:Azure Stream Analytics によるストリーム処理 | Microsoft Learn
処理のしくみ
| 段階 | 内容 |
|---|---|
| パーティション キー | Event Hubs に送るときに、Medallion、HackLicense、VendorId をつないだ値をパーティション キーにする。 同じタクシーの乗車と料金が同じパーティション ID になり、Stream Analytics が 2 つのストリームを関連付けるときに並列で処理できる |
| 入力の選択 | 最初の 2 つのステップで、乗車と料金のストリームからレコードをパーティションごとに選ぶ |
| 一時的な結合 | PartitionId と PickupTime で 2 つのストリームを結合する。 Stream Analytics の結合は一時的で、DATEDIFF で決めた時間の範囲(ここでは 0〜15 分)だけ一致を待つ |
| ウィンドウ集計 | ホッピング ウィンドウ(長さ 5 分、1 分ごとに進む)で、SUM(チップ)÷SUM(距離) を計算し、過去 5 分の移動平均を出す |
この構成では、ジョブの結果だけを Cosmos DB に保存する。
ビッグ データのシナリオでは、Event Hubs Capture で生のイベントを Blob Storage に保存しておくと、あとで過去のデータにバッチ クエリをかけて新しい分析ができる。
公式ドキュメント:Azure Stream Analytics によるストリーム処理 | Microsoft Learn
構成のポイント
| 柱 | ポイント |
|---|---|
| セキュリティ | Event Hubs をネットワーク セキュリティ境界に入れ、既定でパブリックを拒否する。 受信規則はサブスクリプション ベースか IP ベース。 Stream Analytics ジョブはカスタム VNet にないので送信 IP が固定されない。 ジョブからの受信は、IP ではなくジョブのあるサブスクリプション単位で許可する(プライベート エンドポイントでもよい) |
| コスト最適化 | Stream Analytics は、処理に要るストリーミング ユニット(SU)の数で課金される。 リアルタイムでない、または少量のデータなら、Functions や Logic Apps で Event Hubs からデータ ストアに移すことを検討する |
| オペレーショナル エクセレンス | 運用、開発、テストでリソース グループを分け、ARM テンプレートと CI/CD でデプロイする。 Event Hubs、Log Analytics、Cosmos DB を 1 つのワークロードとして 1 つのテンプレートにまとめる。 ステージごとに検証してから進める |
| スケールアウトのサイン | 対処 |
|---|---|
| Event Hubs が要求を調整している、または 1 日のメッセージ クォータに近い | スループット ユニットを増やす。 自動インフレで、必要に応じて自動でスケールアウトできる |
| Stream Analytics が割り当てた SU の 80% 以上を常に使っている | SU を追加する |
| Cosmos DB が要求を調整し始めている | Cosmos DB のスループットを見直す |
たまに起きる調整は、Event Hubs のクライアント SDK が自動で再試行するので問題ない。
公式の例では、Event Hubs の調整を自動インフレで解消すると、取り込みが増えて Stream Analytics の SU の使用率が上がった。
1 つのボトルネックを解消すると、別のボトルネックが見えてくることはよくある。
公式ドキュメント:Azure Stream Analytics によるストリーム処理 | Microsoft Learn
構築手順
今回の構成と実施すること

東日本に Event Hubs(Standard)と Stream Analytics ジョブ(Standard V2、1/3 SU)を作り、記事の流れ(2 つのストリームの一時的な結合と、ホッピング ウィンドウでの移動平均)を小さく動かす。
タクシーの乗車と料金を模したイベントは、手元の Python スクリプトから送る。
出力は記事の Cosmos DB ではなく Blob Storage にして、結果をファイルで確かめる。
| 手順 | 実施すること | 確かめること |
|---|---|---|
| ① | ポータルで Event Hubs、Stream Analytics ジョブ、入力、出力を作る | 1/3 SU のジョブを作り、入力と出力をマネージド ID で接続できる |
| ② | 乗車と料金を一時的に結合するクエリでジョブを動かす | 15 分以内に届いた料金だけが乗車と結合され、16 分遅れの料金は結合されない |
| ③ | ホッピング ウィンドウで移動平均を出す | 1 分ごとに、直近 5 分の平均が出力される |
| ④ | メトリックを見る | SU の使用率、透かしの遅延、入出力のイベント数 |
費用は、ジョブ(Standard V2 は 68.7351 円/SU 時、1/3 SU の割合で約 22.9 円/時)を約 23 分、Event Hubs(Standard は 4.7469 円/TU 時)を約 1 時間で、合わせて約 15 円の見込み。
ストリーミング ユニットはジョブが実行されている間だけ課金されるので、クエリができてから開始し、確かめたらすぐ停止した。
公式ドキュメント:Stream Analytics ストリーミング ユニットの理解と調整 | Microsoft Learn
① Event Hubs とジョブを作る
ポータルの「Event Hubs」⇒「作成」で名前空間を作る。

| 番号 | 項目 | 説明 |
|---|---|---|
| 1 | 価格レベル | Standard(標準)にした。 Basic はコンシューマー グループが既定の 1 つだけなので、Stream Analytics の入力ごとにコンシューマー グループを分けるなら Standard 以上にする |
| 2 | スループット ユニット | 1。 自動インフレは無効のまま |
名前空間の「Event Hubs」⇒「+イベント ハブ」で、乗車用の rides を作った。
料金用の fares は同じ設定なので CLI で作った(az eventhubs eventhub create)。

| 番号 | 項目 | 説明 |
|---|---|---|
| 1 | パーティション数 | 2。 送る側は、同じタクシーの乗車と料金が同じパーティション ID に入るよう、Medallion、HackLicense、VendorId をつないだ値をパーティション キーにした(2 つのイベント ハブのパーティション数をそろえる) |
| 2 | 保持時間 | 1 時間(検証用の最小値) |
次に、ポータルの「Stream Analytics ジョブ」⇒「作成」でジョブを作る。

| 番号 | 項目 | 説明 |
|---|---|---|
| 1 | ホスティング環境 | クラウド |
| 2 | 価格の説明 | ポータルで作るジョブは Standard V2 の価格になる、と書かれている |
| 3 | ストリーミング ユニット | スライダーを左端にすると 1/3 になる。 1/3 と 2/3 は 1 つのストリーミング ノードの一部のリソースを使う、小規模向けの選択肢 |

| 番号 | 項目 | 説明 |
|---|---|---|
| 1 | マネージド ID の有効化 | 既定でオンで、システム割り当て ID が作られる |
ジョブのマネージド ID には、名前空間に「Azure Event Hubs Data Receiver」、ストレージ アカウントに「Storage Blob Data Contributor」のロールを付けた(CLI)。
ジョブの「入力」⇒「入力の追加」⇒「イベント ハブ」で、rides と fares の 2 つの入力を作る。

| 番号 | 項目 | 説明 |
|---|---|---|
| 1 | イベント ハブ コンシューマー グループ | 新規作成にすると、ジョブ用のコンシューマー グループが作られる |
| 2 | 認証モード | マネージド ID: システム割り当て。 接続文字列(共有アクセス ポリシーのキー)を使わずに読める |
「出力」⇒「出力の追加」⇒「Blob Storage または ADLS Gen2」で、結合した乗車を書く joined と、移動平均を書く avgtip の 2 つの出力を作る。

| 番号 | 項目 | 説明 |
|---|---|---|
| 1 | 認証モード | マネージド ID: システム割り当て |
| 2 | パス パターン | avgtip/{date}/{time}。 日付と時刻(時)ごとにフォルダーが分かれる |
公式ドキュメント:クイック スタート: Azure Portal を使用して Stream Analytics ジョブを作成する | Microsoft Learn
② 乗車と料金を一時的に結合する
クエリは次のとおり。
TIMESTAMP BY を付けていないので、イベントの時刻は Event Hubs に届いた時刻になる。
WITH Trips AS (
SELECT r.Medallion, r.HackLicense, r.VendorId, r.PickupTime, r.TripDistance,
f.TipAmount, f.TotalAmount, DATEDIFF(second, r.EventEnqueuedUtcTime, f.EventEnqueuedUtcTime) AS FareDelaySec, r.PartitionId
FROM rides r PARTITION BY PartitionId
JOIN fares f PARTITION BY PartitionId
ON r.Medallion = f.Medallion AND r.HackLicense = f.HackLicense AND r.VendorId = f.VendorId
AND r.PickupTime = f.PickupTime AND r.PartitionId = f.PartitionId
AND DATEDIFF(minute, r, f) BETWEEN 0 AND 15
)
SELECT * INTO joined FROM Trips
SELECT System.Timestamp() AS WindowEnd, COUNT(*) AS Trips,
AVG(TipAmount / TripDistance) AS AvgTipPerMile
INTO avgtip
FROM Trips
GROUP BY HoppingWindow(minute, 5, 1)

| 番号 | 項目 | 説明 |
|---|---|---|
| 1 | 入力 | rides と fares。 入力を選ぶと、届いているイベントのサンプルが下に出る |
| 2 | 一時的な結合 | ON 句の DATEDIFF(minute, r, f) BETWEEN 0 AND 15 で、乗車から 15 分以内に届いた料金だけを結合する |
| 3 | ホッピング ウィンドウ | 幅 5 分、1 分ずつずらして、1 マイルあたりのチップを平均する |
| 4 | 入力のプレビュー | 選んだ入力(ここでは fares)に届いているイベントのサンプル。 送った列のほかに、PartitionId や EventEnqueuedUtcTime などの列が付いている |
ジョブを約 23 分動かすと、joined に 595 行が出力された。
料金が届くまでの時間(FareDelaySec)は 2〜21 秒で、すべて 15 分の範囲に入っていた。
16 分遅らせて送った料金のうち、ジョブを止めるまでに届いた 26 件は、1 件も結合されなかった。
{"Medallion": "M104", "HackLicense": "H504", "VendorId": "CMT", "PickupTime": "2026-11-17T13:20:12.364Z", "TripDistance": 7.2, "TipAmount": 3.07, "TotalAmount": 20.5, "FareDelaySec": 12, "PartitionId": 0}
公式ドキュメント:
参加する | Microsoft Learn
DATEDIFF | Microsoft Learn
ポータルでAzure Stream Analytics ジョブをテストする | Microsoft Learn
③ ホッピング ウィンドウで移動平均を出す
avgtip には、ジョブを開始した 12:58(UTC)から 1 分ごとに 1 行ずつ出力された。
各行は、その時刻までの 5 分間に結合された乗車の件数と、1 マイルあたりのチップの平均。
最初の行から 5 分ぶんの件数が入っているのは、「今すぐ」で開始したジョブが、ウィンドウや結合に要る分だけ開始時刻より前の入力を読むため。
2026-11-17T12:58:00.0000000Z Trips=129 AvgTipPerMile=0.373
2026-11-17T12:59:00.0000000Z Trips=128 AvgTipPerMile=0.369
2026-11-17T13:00:00.0000000Z Trips=127 AvgTipPerMile=0.368
(略)
2026-11-17T13:20:00.0000000Z Trips=133 AvgTipPerMile=0.376
公式ドキュメント:ホッピング ウィンドウ | Microsoft Learn
④ メトリックを見る
ジョブの「概要」⇒「監視中」に、主なメトリックが並ぶ。

| 番号 | 項目 | 説明 |
|---|---|---|
| 1 | リソース使用率 | 開始直後は CPU が約 50%。 そのあとは CPU 約 3%、SU(メモリ)約 25% |
| 2 | イベント数 | 開始直後に、開始時刻より前の入力をまとめて読んだ山がある。 そのあとは 1 分に 50 件前後 |
| 3 | ウォーターマークの遅延 | 開始直後は約 34 秒、そのあとは約 3.6 秒 |
| 4 | バックログされた入力イベント | 開始直後は 162 件、そのあとは 0 件 |
開始直後の山は、開始時刻より前の入力を読み直した分で、1〜2 分で落ち着いた。
エラーは 0 だった。
公式は、SU(メモリ)使用率が常に 80% を超え、透かしの遅延とバックログされたイベントが増え続けるなら、SU を増やすことを検討する、としている。
今回の量なら、1/3 SU で余裕があった。
公式ドキュメント:
Azure Stream Analytics 監視データ リファレンス | Microsoft Learn
Azure Stream Analytics ジョブを開始する方法 | Microsoft Learn
実機でつまずいた点
使用された入力が存在しません

| 番号 | 項目 | 説明 |
|---|---|---|
| 1 | エラーが見つかりました | 使用された入力が存在しません、使用された出力が存在しません |
| 2 | ストリーミング ユニット | 1/3 |
最初のクエリでは、結合した行の SELECT 句に DATEDIFF(second, r, f) と書いて、料金が届くまでの秒数を出そうとした。
するとクエリ エディターの「クエリをテストする」は「入力 ‘yourinputalias’ のデータがありません」、「ジョブの開始」は「使用された入力が存在しません」と出て、入力も出力もあるのに開始できなかった。
REST API の compileQuery でクエリをコンパイルすると、本当の原因が分かった。
Parameter 1 of function 'DATEDIFF' has invalid type 'record'. Expected type: datetime, nvarchar(max), unknown type.
入力の別名(r や f)を渡す特別な DATEDIFF は、JOIN の ON 句の中だけで使える。
SELECT 句では、DATEDIFF(second, r.EventEnqueuedUtcTime, f.EventEnqueuedUtcTime) のように時刻の列を渡すと通った。
直したあとも、ポータルの「ジョブの開始」には同じエラーの表示が残ったので、REST API の start で開始した。
公式ドキュメント:
参加する | Microsoft Learn
DATEDIFF | Microsoft Learn
推奨構成
| 項目 | 推奨 |
|---|---|
| 取り込み | ソースごとのイベント ハブ。 関連付けたいレコードが同じパーティションに入るようにパーティション キーを決める |
| 処理 | Stream Analytics の SQL クエリで、一時的な結合とウィンドウ関数を使う |
| 保存と分析 | 結果は Cosmos DB、生データは Event Hubs Capture で Blob Storage。 分析は Power BI |
| ネットワーク | Event Hubs はネットワーク セキュリティ境界かプライベート エンドポイント |
| 監視 | Azure Monitor のダッシュボードで、調整と SU の使用率を見る |
注意事項
| 項目 | 内容 |
|---|---|
| 結合の時間範囲 | Stream Analytics の結合は一時的。 DATEDIFF で許す時間の範囲を決めないと、一致を待ち続けることになる |
| パーティション | パーティション キーを指定しないと、レコードはラウンド ロビンでパーティションに割り当てられる |
| 少量のデータ | リアルタイムでない、または少量のデータには、Stream Analytics は割高になることがある |
| リアルタイムの可視化 | この構成の Power BI は Cosmos DB の過去データを分析する。 リアルタイムの分析と可視化は Fabric Real-Time Intelligence を参照 |
公式ドキュメント:Azure Stream Analytics によるストリーム処理 | Microsoft Learn
関連するアーキテクチャとの違い
| 記事 | このアーキテクチャとの関係 |
|---|---|
| Microsoft Fabric のエンタープライズ BI | SQL Server のデータを取り込んで BI で見せる。 Fabric のイベントストリームでもリアルタイムの取り込みができる |
| エンタープライズ統合 | Event Grid と Service Bus で、システムの間のイベントやメッセージを扱う |
まとめ
・Stream Analytics によるストリーム処理は、Event Hubs で取り込んだ 2 つのストリームを関連付け、ウィンドウで集計して Cosmos DB に保存する。
・関連付けたいレコードが同じパーティションに入るようにパーティション キーを決めると、並列で処理できる。
・結合は一時的で DATEDIFF の範囲だけ。
集計はホッピング ウィンドウで移動平均を出す。
・調整や SU の使用率を監視し、1 つのボトルネックを解消すると次が見えることを前提にスケールする。
・実機では、15 分の範囲の外で届いた料金は結合されず、ホッピング ウィンドウで 1 分ごとに直近 5 分の平均が出た。1/3 SU でもメトリックに余裕があった。
次回:Azure Data Factory ベースライン(アーキテクチャ解説シリーズ 22)




コメント