ドキュメントの分類の自動化とは|Durable Functions と Document Intelligence で分けて分類し、エージェントで検索する構成を実機で検証(アーキテクチャ解説シリーズ 26)

アーキテクチャ

この記事でわかること

  • Durable Functions のパイプラインで、ファイルの中の複数のドキュメントを Document Intelligence で分けて分類する構成
  • 埋め込みを作って AI 検索のインデックスに入れ、Agent Service のエージェントが引用付きで答えるしくみ
  • 統合ベクター化などの代わりの選択肢と、モデルのデプロイの種類の選び方

はじめに

Azure アーキテクチャ センターのアーキテクチャを 1 つずつ読む 26 回目。
今回は、AI を使うドキュメント処理として「Azure でドキュメントの分類を自動化する」を読む。
一括でスキャンした PDF や複数ページの TIFF など、形式がばらばらのドキュメントを処理する場面を想定している。

前回:Azure Machine Learning の推論のベースライン(アーキテクチャ解説シリーズ 25)

Azure Machine Learning の推論のベースラインとは|Dev・Stage・Prod とレジストリでモデルを昇格し AKS で推論する構成と、ブルー/グリーンの切り替えを実機で検証(アーキテクチャ解説シリーズ 25)
Azure Machine Learning の推論のベースラインを図で解説。マネージド オンライン エンドポイントの blue と green を、0% から 50/50、0/100 へ止めずに切り替える流れを実機で確かめた。

ドキュメントの分類の自動化とは

Azure Functions の Durable Functions でパイプラインを組み、Azure Document Intelligence でファイルの中のドキュメントを分けて分類し、内容を取り出す。
取り出した内容は埋め込みにして Azure AI 検索のインデックスに入れ、Foundry Agent Service のプロンプト エージェントが、それをもとに引用付きで答える。
1 日に数百万のドキュメントを処理でき、パイプラインの成功と失敗を監視できる。

Azure でドキュメントの分類を自動化する
順番流れ
1利用者が Web アプリにファイルをアップロードする。
Blob Storage にファイルを置き(1a)、Service Bus のキューにコマンド メッセージを入れる(1b)
2メッセージで Durable Functions のオーケストレーションが起動する。
1 つのインスタンスが 1 つのファイルだけを処理する
3分析のアクティビティが Document Intelligence を呼び、ファイルの中の各ドキュメントの名前、種類、ページ範囲、内容を返す
4メタデータのアクティビティが、各ドキュメントの種類、場所、ページ範囲を Cosmos DB に保存する
5埋め込みのアクティビティが、ドキュメントをチャンクに分け、Foundry の text-embedding-3-large でベクターにし、相関 ID を付けて AI 検索のインデックスに書く
6Web アプリが AI Projects SDK でエージェントを呼ぶ。
エージェントは AI 検索ツールでハイブリッド検索し、インラインの引用付きで答える。
Web アプリは相関 ID で Cosmos DB を引き、元のファイルへのリンクを出す

構成要素がどういうものかは、次のとおり。

構成要素どういうもの役割
Durable Functionsサーバーレスの環境で状態を持つ関数を書ける Azure Functions の機能Service Bus のメッセージで起動し、ドキュメント処理のパイプラインを調整する
Azure Document Intelligenceドキュメント、フォーム、画像から情報を取り出すサービスファイルを分析し、中のドキュメントを内容とメタデータ付きで取り出す
Azure Cosmos DBグローバルに分散した複数モデルのデータベースドキュメントの分類のメタデータ ストア
Blob Storage と Service Busオブジェクト ストレージと、メッセージ ブローカーアップロードしたファイルの置き場所と、パイプラインのきっかけ
構成要素どういうもの役割
Azure AI 検索全文・ベクター・ハイブリッドの検索サービス。
詳しくはAzure AI 検索のセキュリティとは(AI 編 A5)。
取り出した内容とメタデータの埋め込みインデックス
Microsoft Foundry と Agent ServiceAI の構築とモデルのホスト、エージェントのホスト。
詳しくはFoundry Agent Service のセキュリティとは(AI 編 A3)。
埋め込みモデルとチャットのモデル(Global Standard)をホストし、プロンプト エージェントが答える
Azure App ServiceWeb アプリのホスト利用者がアップロードとチャットに使う Web アプリ

公式ドキュメント:Azure でドキュメントの分類を自動化する | Microsoft Learn

代わりの選択肢

項目代わりの選択肢
メタデータAzure SQL Database にも保存できる(この構成はグローバルな配布のために Cosmos DB)
起動のきっかけEvent Grid など。
Blob のトリガーは BlobTriggerSource.EventGrid にすると、既定のポーリングより待ち時間が短い
統合ベクター化AI 検索のインデクサーとスキルセットが埋め込みモデルを呼ぶ方法。
ソースがインデクサーで読め、抽出と埋め込みの間にドキュメントごとの処理が要らないなら向く。
この構成は相関 ID やチャンクのメタデータを独自に付けるので、関数から直接呼ぶ
エージェントカスタムの多段のオーケストレーションが要るなら、Agent Framework でホステッド エージェント(プレビュー)を作る
モデルチャットのモデルは既定で gpt-4.1。
品質、待ち時間、コストで、Mistral、Meta、Cohere、Hugging Face のモデルも選べる

チャンクの分割には Semantic Kernel の TextChunker を使っている(Agent Framework には分割の機能がないため)。
将来は別の分割の部品に置き換える計画を立てる。

公式ドキュメント:Azure でドキュメントの分類を自動化する | Microsoft Learn

構成のポイント

柱ポイント
信頼性モデルの呼び出しの高可用性には、API Management などの生成 AI ゲートウェイで、複数のデプロイやエンドポイントにラウンド ロビン、重み付け、優先度で振り分ける
データの場所推論がどのリージョンでもよければ Global、データ ゾーン内なら Data Zone、1 つのリージョンなら Standard かリージョンのプロビジョニング。
保存データ(Blob、Cosmos DB、インデックス)は、どの種類でも選んだリージョンに残る
コスト最適化主なコストはモデルの推論、Document Intelligence、AI 検索。
予測できる量なら、トークン課金ではなくプロビジョニング済みスループット(PTU)や予約を検討する
デプロイの種類向く場面
Global Standard学習と初期の POC。従量課金で既定のクォータが最も大きい
Standard 系少〜中量、バースト、探索的なワークロード(トークン課金、予約容量なし)
プロビジョニング済み予測できる大量のワークロード。
予約したスループットと、待ち時間のばらつきの少なさ

公式ドキュメント:Azure でドキュメントの分類を自動化する | Microsoft Learn

構築手順

今回の構成と実施すること

今回の構成(Durable Functions と Document Intelligence の分類器で文書を分ける)

東日本に Document Intelligence(S0)、Service Bus(Basic)、Functions(Flex 従量課金、Python)、Storage アカウントを作り、記事の前半(ファイルの中の文書を分けて分類し、保存するまで)を動かす。
メタデータは Cosmos DB ではなく Blob に JSON で保存する。
④ で、後半の埋め込み、AI 検索、エージェントまで組む。

手順実施すること確かめること
①請求書・注文書・納品書の見本(各 5 件)で、カスタム分類器を学習させる3 種類を見分ける分類器ができる
②4 文書・5 ページを 1 つにした PDF を、分類器にかける(splitMode = auto)文書ごとに、種類、信頼度、ページが返る
③Service Bus のキューにコマンド メッセージを入れるDurable Functions のオーケストレーションが起動し、文書ごとの PDF とメタデータが種類別のフォルダーに保存される
④分けた文書を埋め込んで AI 検索に入れ、エージェントに質問する根拠の文書の保存先を添えて答える。
文書にないことは「見つかりません」と答える

見本の PDF は、架空の会社名と品目で作った 1 ページの文書。
費用は、レイアウト分析(1,582.3 円/1,000 ページ)が 34 ページで約 54 円、分類(474.69 円/1,000 ページ)が約 10 ページで約 5 円、Functions と Service Bus はほぼ 0 円で、合わせて約 60 円の見込み。
④ の埋め込み、AI 検索(Free)、エージェントの質問は、数円の見込み。
レイアウト分析のページ数には、学習データを作り直した分も入っている。

公式ドキュメント:サービス クォータと制限 | Microsoft Learn

① Document Intelligence を作り、分類器を学習させる

ポータルの「Document Intelligence」⇒「作成」で作る。

Document Intelligence の作成(基本情報)
番号項目説明
1リージョンと名前Japan East。
名前はエンドポイント(https://名前.cognitiveservices.azure.com/)にも使われる
2価格レベルStandard S0。
Free(F0)は、1 回の要求で分析されるのが最初の 2 ページだけなので、複数ページのファイルを分ける今回の用途には向かない
Document Intelligence の作成(Identity)
番号項目説明
1システム割り当てマネージド IDオンにした。
この ID にストレージの「Storage Blob Data Reader」を付けて、学習データを読ませる

学習データは、train コンテナーに種類ごとのフォルダー(invoice/、purchase-order/、delivery-note/)で置いた。
分類器を学習させるには、少なくとも 2 つのクラスと、クラスごとに 5 件以上の見本が要る。
フォルダー別に置いた場合は、REST API(または SDK)の azureBlobSource で、フォルダー(prefix)ごとにクラスを指定する。

admin.begin_build_classifier(BuildDocumentClassifierRequest(
    classifier_id="docclass-v1",
    doc_types={k: ClassifierDocumentTypeDetails(azure_blob_source=AzureBlobContentSource(
        container_url="https://<ストレージ>.blob.core.windows.net/train", prefix=f"{k}/"))
        for k in ["invoice", "purchase-order", "delivery-note"]}))

最初は学習が「学習データがない」というエラーで失敗した(次の「実機でつまずいた点」)。
各 PDF のレイアウト分析の結果を同じフォルダーに置くと、学習は約 14 秒で終わった。
カスタム モデルの学習そのものは無料で、費用がかかったのはレイアウト分析の分だけだった。

公式ドキュメント:
Document Intelligence のカスタム分類モデル | Microsoft Learn
サービス クォータと制限 | Microsoft Learn

② 1 つの PDF の中の文書を分けて分類する

請求書(2 ページ)、注文書、納品書、請求書の 4 文書・5 ページを 1 つにした PDF を、splitMode = auto で分類器にかけた。
splitMode の既定は none(ファイル全体を 1 つの文書として扱う)なので、複数の文書を分けるには auto を指定する。

返った文書種類(docType)信頼度ページ
1invoice0.9111
2invoice0.8122
3purchase-order0.8863
4delivery-note0.6924
5invoice0.9175

種類はすべて正しく見分けられた。
一方で、2 ページの請求書(1~2 ページ)は、1 ページずつ 2 つの請求書に分かれた。
2 ページの請求書の見本を 2 件足して学習し直しても分かれたままで、1~2 ページの信頼度は 0.564、0.515 に下がった。
続きのページを 1 つの文書にまとめたい場合は、ページ番号などを見てあとから結合する処理を入れるか、1 ファイル 1 文書で送れるなら splitMode を none にする。

公式ドキュメント:Document Intelligence のカスタム分類モデル | Microsoft Learn

③ Service Bus のメッセージで Durable Functions を動かす

関数アプリは Flex 従量課金(Python 3.11)で作り(CLI)、システム割り当てマネージド ID に、Storage Blob Data Contributor(ストレージ)、Cognitive Services User(Document Intelligence)、Azure Service Bus Data Receiver(Service Bus)を付けた。
接続文字列やキーはアプリ設定に入れていない。

関数アプリの概要
番号項目説明
1プランの種類フレックス従量課金、インスタンス メモリ 2048 MB
2関数start(Service Bus トリガー)、pipeline(オーケストレーション)、classify と split_and_save(アクティビティ)

オーケストレーターは、2 つのアクティビティを順に呼ぶだけにした。
1 つのメッセージで 1 つのファイルを処理する。

@app.orchestration_trigger(context_name='context')
def pipeline(context):
    cmd = context.get_input()
    docs = yield context.call_activity('classify', cmd['blob'])
    saved = yield context.call_activity('split_and_save', {'blob': cmd['blob'], 'docs': docs})
    return saved

incoming コンテナーに PDF を置いてから、Service Bus の「Service Bus エクスプローラー」⇒「メッセージの送信」で、コマンド メッセージを送った。

Service Bus エクスプローラー(メッセージの送信)
番号項目説明
1メッセージ本文{“blob”: “incoming/scan-batch-001.pdf”}
2送信キュー doc-commands にメッセージが入り、関数 start が受け取る
時刻(UTC)できごと
14:06:05start がメッセージを受け取り、オーケストレーションを開始(559 ミリ秒)
14:06:14pipeline が実行され、classify を呼ぶ
14:06:21classify が終了(6,300 ミリ秒)。
pipeline が再び実行され、split_and_save を呼ぶ
14:06:21split_and_save が終了(182 ミリ秒)。
pipeline が 3 回目の実行で完了

pipeline は 3 回実行されている。
オーケストレーターはアクティビティの結果を受け取るたびに関数全体を最初から再実行し、実行履歴から結果を再生して続きを進める。
このため、オーケストレーターのコードは決定論的にし、時刻の取得や外部の呼び出しはアクティビティに置く。

output コンテナー
番号項目説明
1種類ごとのフォルダーdelivery-note、invoice、purchase-order と、メタデータの metadata
output/invoice
番号項目説明
1請求書1 ページ目、2 ページ目、5 ページ目が、それぞれ別の PDF として保存された(②の分かれ方のとおり)
{"source": "incoming/scan-batch-001.pdf", "documents": [
{"docType": "invoice", "confidence": 0.911, "pages": [1], "saved": "output/invoice/scan-batch-001-1.pdf"},
{"docType": "invoice", "confidence": 0.812, "pages": [2], "saved": "output/invoice/scan-batch-001-2.pdf"},
{"docType": "purchase-order", "confidence": 0.886, "pages": [3], "saved": "output/purchase-order/scan-batch-001-3.pdf"},
{"docType": "delivery-note", "confidence": 0.692, "pages": [4], "saved": "output/delivery-note/scan-batch-001-4.pdf"},
{"docType": "invoice", "confidence": 0.917, "pages": [5], "saved": "output/invoice/scan-batch-001-5.pdf"}]}

公式ドキュメント:
持続的オーケストレーション | Microsoft Learn
オーケストレーター関数のコード制約 | Microsoft Learn
Azure Functions の Flex 従量課金プラン ホスティング | Microsoft Learn

④ 埋め込みを AI 検索に入れ、エージェントで答える

今回の構成(後半:埋め込み、AI 検索、エージェント)

前半で分けた 5 つの文書を、Foundry の text-embedding-3-small で埋め込み、AI 検索(Free)のインデックスに入れた。
記事の「埋め込みのアクティビティ」に当たる処理で、今回は手元の Python スクリプトで実行した。
Foundry と gpt-5.4-mini は Bicep、埋め込みモデルのデプロイ(GlobalStandard)と AI 検索は CLI で作った。

インデックスの項目内容
content文書の本文(約 400 文字ごとのチャンク)
contentVector埋め込み(1,536 次元)
docType、sourceFile、pages、savedPath種類、元のファイル、ページ、分けた PDF の保存先。
答えから元のファイルと分けた文書にたどるための情報

インデックスには、ベクター化(vectorizer)として埋め込みモデルを設定した。
AI 検索のシステム割り当てマネージド ID に Foundry の「Cognitive Services OpenAI User」を付けると、検索のときに AI 検索が質問の文を埋め込みに変えて、ベクター検索できた。
5 文書の埋め込みは 1,127 トークンで、費用は 1 円未満。

次に、Foundry の新しいポータルで、エージェント doc-agent(gpt-5.4-mini)を作り、ツールに Azure AI Search を追加した。

新しい接続の作成(Azure AI Search)
番号項目説明
1Azure AI Search作った検索サービスを選ぶ
2認証の種類プロジェクト マネージド ID。
API キーを使わずに接続する
Azure AI Search インデックスに接続する
番号項目説明
1説明ツールの用途。
エージェントがツールを使うかどうかを決めるときに使われる
2インデックスdocs

プロジェクトのマネージド ID には、先に検索サービスの「Search Index Data Reader」と「Search Service Contributor」を付けておいた(AR24 の実機で、読み取りのロールだけでは失敗したため)。
公式のツールのページは、キーレス認証のロールとして「検索インデックス データ共同作成者」と「Search Service 共同作成者」を挙げている。

エージェントの手順とツール
番号項目説明
1手順AI 検索の文書だけを根拠に答え、根拠の文書の種類と保存先(savedPath)を書く。
文書にないことは「文書には見つかりません」と答える
2ツールAzure AI Search だけ。
既定で入る Web 検索は外した
プレイグラウンドでの質問
番号項目説明
1注文書の希望納期と納品場所「2026年11月18日」「本社 3階 総務部」。
根拠の保存先は output/purchase-order/scan-batch-001-3.pdf で正しい
2請求書の合計金額(1 回目)too_many_requests で止まった(次の「実機でつまずいた点」)
3文書にない質問サンプル商事あての請求書はないので「文書には見つかりません」。
ただし根拠に関係のない請求書を挙げていた
4請求書の合計金額(1 分後)合計金額 498,212 円とお支払期限は正しい。
合計金額は 2 ページ目(-2.pdf)にあるが、根拠には 1 ページ目(-1.pdf)だけを挙げた

2 ページの請求書が 1 ページずつ別の文書に分かれたため、答えの値は正しくても、引用の保存先がずれた。
分類と分割の結果は、そのまま検索と引用の質に響く。
続きのページを 1 つの文書にまとめてからインデックスに入れる、相関 ID で元のファイル全体をたどれるようにする、といった設計が要る。

公式ドキュメント:
Azure AI 検索 インデックスを Foundry エージェントに接続する | Microsoft Learn
検索インデックスにベクトル化を構成する | Microsoft Learn

実機でつまずいた点

Training data is missing: Could not find any training data at the given path.

分類器の学習で「学習データがない」

train コンテナーに種類ごとのフォルダーで PDF を置き、azureBlobSource でフォルダーを指定して学習させると、1 秒ほどで TrainingContentMissing のエラーになった。
マネージド ID でも SAS 付きの URL でも、prefix の末尾のスラッシュを外しても同じだった。
一覧の取得はできていたので、権限やパスの問題ではなかった。
Microsoft Q&A の回答を手がかりに、各 PDF をレイアウト モデル(prebuilt-layout)で分析し、その結果を「ファイル名.pdf.ocr.json」として同じフォルダーに置くと、学習できた。
公式の「サービス クォータと制限」には、ラベル ファイルがなければサービスがレイアウト モデルで生成し、その分が課金される、とある。
今回の REST API での学習では生成されなかったので、レイアウトの結果をあらかじめ用意した。
レイアウト分析はページ数で課金されるので、学習データの量に応じた費用を見込んでおく。

公式ドキュメント:
サービス クォータと制限 | Microsoft Learn
ドキュメント インテリジェンス レイアウト モデルとは | Microsoft Learn
Document Intelligence のカスタム分類モデル | Microsoft Learn

too_many_requests: Model deployment rate limit exceeded.

プレイグラウンドで出たレート制限のエラー

プレイグラウンドで続けて質問すると、2 問目が「Your requests to gpt-5.4-mini for gpt-5.4-mini in japaneast have exceeded token rate limit.」で止まった。
gpt-5.4-mini のデプロイの容量は 10(1 分あたり 10,000 トークン)にしていた。
1 回の質問で、AI 検索の結果や手順を含めて約 5,300 トークンを使っていたので、1 分に 2 回の質問で上限を超えた。
1 分おいて聞き直すと答えが返った。
検索の結果をモデルに渡すエージェントは、質問の文よりずっと多くのトークンを使うので、デプロイの容量は利用者数と質問の頻度から見積もる。

公式ドキュメント:Microsoft Foundry Models のクォータと制限内での Azure OpenAI | Microsoft Learn

推奨構成

項目推奨
パイプラインService Bus で起動する Durable Functions。
1 インスタンス 1 ファイル
抽出と保存Document Intelligence で分けて分類し、メタデータは Cosmos DB、ファイルは Blob Storage
検索とチャット相関 ID 付きのベクター インデックス(AI 検索)と、引用を返す Agent Service のプロンプト エージェント
モデル開発は Global Standard、量と要件が固まったら重要な経路をプロビジョニング済みへ
可用性生成 AI ゲートウェイで複数のデプロイに振り分ける

注意事項

項目内容
エージェントの作り方Web アプリが利用者ごとにエージェントを作るのではなく、リリース パイプラインでデプロイしてバージョン管理したエージェントを呼ぶ
データの場所Global や Data Zone のデプロイでは、推論の要求と応答がリージョンをまたぐことがある
統合ベクター化の制限組み込みのスキルセットに従うので、チャンクごとのカスタマイズが限られる
部品の置き換えチャンクの分割だけ Semantic Kernel に依存している

公式ドキュメント:Azure でドキュメントの分類を自動化する | Microsoft Learn

関連するアーキテクチャとの違い

記事このアーキテクチャとの関係
基本の Foundry チャットとランディング ゾーン版Agent Service のプロンプト エージェントで答える形は同じ。
今回は取り込みのパイプラインが主役
エンタープライズ統合Service Bus でパイプラインを非同期に起動する考え方

まとめ

・ドキュメントの分類の自動化は、Service Bus で起動する Durable Functions が、Document Intelligence でファイルの中のドキュメントを分けて分類する。
・メタデータは Cosmos DB、埋め込みは AI 検索のインデックスに入れ、相関 ID で元のファイルにたどれるようにする。
・利用者は Agent Service のプロンプト エージェントにチャットで聞き、引用付きの答えを受け取る。
・モデルのデプロイの種類は、データの場所とスループットで選ぶ。
・実機では、分類器は 1 つの PDF の中の文書を種類どおりに見分けたが、2 ページの文書は 1 ページずつに分かれた。続きのページをまとめる処理は自前で考える。
・エージェントは保存先を添えて答えたが、分かれた文書では引用の保存先がずれた。

次回:ランサムウェアに強いバックアップ(アーキテクチャ解説シリーズ 27)

ランサムウェアに強いバックアップとは|Azure Backup の不変コンテナーと Resource Guard で守り、クリーンな環境に戻すまでを実機で検証(アーキテクチャ解説シリーズ 27)
Azure Backup の不変コンテナーと Resource Guard を実機で検証。バックアップ管理者の不変性の無効化は MUA で、所有者のデータ削除は不変性で止まり、侵害前の復旧ポイントを別の VNet に復元した。

コメント

タイトルとURLをコピーしました