📚 Azure セキュリティの記事一覧(全体像のシリーズと深掘りシリーズ)
はじめに
AI 編の 10 回目。
今回は、Microsoft Foundry のモデルの監視とログを扱う。
実機では、成功、レート制限(429)、コンテンツ フィルターでの拒否(400)、権限なし(401)の呼び出しをして、メトリック、リソース ログ、アクティビティ ログ、トレースにどう残るかを比べ、アラートで通知が届くところまで確かめた。
※2026年11月時点の情報です。
前回:API Management の AI ゲートウェイとは

AI の監視データは 4 種類
Foundry のモデルを呼ぶと、種類の違うデータが別々の場所に残る。
自動で集まるものと、設定しないと残らないものがある。

| 種類 | 中身 | 集め方 | 保存先 |
|---|---|---|---|
| メトリック | 要求の数、トークン数、待ち時間などの数値 | 自動で収集される。設定はいらない | Azure Monitor のメトリック |
| リソース ログ | 要求 1 件ごとの記録 | 診断設定を作って送り先を決める。作るまで収集も保存もされない | Log Analytics ワークスペースなど |
| アクティビティ ログ | デプロイの変更などの管理操作 | 自動で収集される | アクティビティ ログ |
| トレース | アプリの処理の流れ。設定すればプロンプトと応答 | アプリを OpenTelemetry で計測して送る | Application Insights |
リソース ログの基本はAzure リソース ログと診断設定とは、アクティビティ ログはAzure アクティビティ ログとはで扱った。
公式ドキュメント:
Microsoft Foundry モデルでのモデルのデプロイの監視 | Microsoft Learn
Microsoft Foundry でトレースを設定する | Microsoft Learn
メトリック
メトリックは軽く、ほぼリアルタイムのアラートに使える。
メトリックを見るには、リソースの監視閲覧者ロールがあれば足りる。
| メトリック | 内部名 | 内容 | 主なディメンション |
|---|---|---|---|
| モデル要求 | ModelRequests | 一定期間にモデル推論 API に対して行われた呼び出しの数 | ModelDeploymentName、ModelName、StatusCode |
| 入力トークン | InputTokens | モデルで処理(入力)されたプロンプト トークンの数 | ModelDeploymentName、ModelName |
| 出力トークン | OutputTokens | モデルから生成(出力)されたトークンの数 | ModelDeploymentName、ModelName |
| 合計トークン数 | TotalTokens | 入力と出力のトークン数の合計 | ModelDeploymentName、ModelName |
| モデルの可用性率 | ModelAvailabilityRate | (合計呼び出し数 − サーバー エラー数)÷ 呼び出しの合計数。 サーバー エラーは HTTP 応答が 500 以上のもの | ModelDeploymentName、ModelName |
メトリックには「Azure OpenAI」と「Models」の 2 つのカテゴリがある。
Models のほうは、Azure OpenAI 以外のモデルも含む新しいメトリックで、公式はこちらへの切り替えを勧めている。
公式ドキュメント:
Microsoft Foundry モデルでのモデルのデプロイの監視 | Microsoft Learn
Azure OpenAI 監視データのリファレンス | Microsoft Learn
リソース ログ
リソース ログは、診断設定を作って送り先を決めるまで、収集も保存もされない。
Log Analytics に送ると、AzureDiagnostics テーブルに入る。
| カテゴリ | 内容 |
|---|---|
| RequestResponse | 状態コードや待機時間など、すべての推論要求と応答のログ |
| Trace | モデル推論呼び出しをデバッグするための詳細なトレース ログ |
| Audit | 展開、構成の変更、アクセス制御イベントなどの管理操作 |
| AzureOpenAIRequestUsage | 今回の検証では、成功した要求ごとのトークン数(入力、キャッシュ、出力)と、最初のトークンまでの時間が入った |
| ManagedNetworkEvent | 今回の検証では記録なし |
公式には、診断設定を作ってからデータが表示されるまで「最大 15 分待つ」とある。
Foundry Tools の診断ログのページには「最大 2 時間かかることがある」とある。
Log Analytics に集めるとコストがかかるので、必要なカテゴリだけ集める。
公式ドキュメント:
Microsoft Foundry モデルでのモデルのデプロイの監視 | Microsoft Learn
Azure OpenAI 監視データのリファレンス | Microsoft Learn
Foundry Tools の診断ログを有効にする | Microsoft Learn
プロンプトと応答の本文は、どこに残るか
監視で先に決めておきたいのは、プロンプトと応答の本文をどこに残すか。
本文が残る場所は、その場所を読める人なら誰でも本文を読める。

トレースは、ユーザーの入力、モデルの出力、ツールの引数や結果といった機密情報を含むことがある。
公式は次のことを勧めている。
| 項目 | 内容 |
|---|---|
| 入れない | シークレット、資格情報、トークンを、プロンプトやスパンの属性に入れない |
| 減らす | 個人データなどの機密は、テレメトリに入る前に編集するか、最小限にする |
| 守る | トレースを運用のテレメトリとして扱い、ログやメトリックと同じアクセス制御と保持ポリシーを適用する |
トレースを Foundry で使うには、Application Insights をプロジェクトに接続する。
トレースを読むには、接続した Application Insights の Log Analytics 閲覧者ロールが必要になる。
公式ドキュメント:
Microsoft Foundry でトレースを設定する | Microsoft Learn
エージェント トレースの概要 | Microsoft Learn
アラートの種類と料金
| 種類 | 見るもの | 向いている使い方 |
|---|---|---|
| メトリック アラート | メトリックの条件を定期的に評価する | 429 の多発、トークン数の急増など、数値のしきい値 |
| ログ検索アラート | Log Analytics のクエリを決めた間隔で評価する | 特定の状態コードや呼び出し元など、ログの中身で絞る条件 |
| アクティビティ ログ アラート | 条件に一致する管理操作が起きたときに発生する | デプロイの変更、ロールの割り当てなどの管理操作 |
ログ検索アラートは、クエリを評価する間隔で課金され、間隔が短いほど高い。
東日本の料金(Azure Retail Prices API、2026-11-11 時点)は次のとおり。
| アラート | 料金(1 か月) |
|---|---|
| メトリック アラート(監視するシグナル 1 つ) | 15.82 円。最初の 10 個は 0 円 |
| ログ検索アラート(15 分ごと) | 79.12 円 |
| ログ検索アラート(5 分ごと) | 237.35 円 |
| ログ検索アラート(1 分ごと) | 474.69 円 |
公式ドキュメント:適切な種類のアラート ルールを選択する | Microsoft Learn
東日本・西日本の最新の単価は「Azure 料金一覧(Azure Monitor のアラート)」で確認できる(毎日更新)。
構築手順
今回の構成と実施すること

| 手順 | 実施すること | 確かめること |
|---|---|---|
| ① | Foundry(キー認証は無効)とモデル、Log Analytics、Application Insights を作る | |
| ② | 診断設定を作り、すべてのログとメトリックを Log Analytics に送る | ログが届き始めるまでの時間 |
| ③ | 成功、429、コンテンツ フィルターでの拒否、401 の呼び出しをする | アプリに返る状態コード |
| ④ | メトリックを状態コードで分けて見る | 429 と拒否が数字に出るか |
| ⑤ | リソース ログを KQL で調べる | 呼び出した ID、IP アドレス、結果が残るか。本文が残るか |
| ⑥ | アクティビティ ログを見る | 管理操作とキーの取得が残るか |
| ⑦ | Application Insights を接続し、Python からトレースを送る | 本文を記録する設定の有無で、プロンプトが残るか |
| ⑧ | メトリック アラートとログ検索アラートを作る | 実際にアラートが発生し、メールが届くか |
| ⑨ | 同じ構成を Bicep で作る | |
| ⑩ | 片付け |
① Foundry とモデル、保存先を作る
Foundry リソース(キー認証は無効)、プロジェクト、gpt-5-mini のデプロイ(GlobalStandard)を東日本に作った。
あわせて、Log Analytics ワークスペースと、そのワークスペースを使う Application Insights を同じリソース グループに作った。
Foundry の作り方とキー認証の無効化はMicrosoft Foundry の認証と RBAC とはと同じ。
モデルを呼ぶために、自分に Cognitive Services OpenAI ユーザーを Foundry リソースの範囲で付けた。
所有者ロールだけでは、モデルは呼べない。
② 診断設定を作る
Azure portal で Foundry リソースを開き、「監視」⇒「診断設定」⇒「診断設定を追加する」を選ぶ。

| 番号 | 項目 | 説明 |
|---|---|---|
| 1 | 診断設定の名前 | diag-a9 にした |
| 2 | ログ | カテゴリ グループの allLogs を選ぶと、5 つのカテゴリがすべて選ばれる |
| 3 | メトリック | AllMetrics を選ぶと、メトリックも AzureMetrics テーブルに入り、KQL で調べられる |
| 4 | 宛先の詳細 | 「Log Analytics ワークスペースへの送信」を選び、①のワークスペースを選んだ |
保存は 19:24 だった。
このあとの結果では、メトリックは 2 分後のデータから Log Analytics に届いたが、リソース ログが出始めるまでには時間がかかった(実機でつまずいた点を参照)。
③ モデルを呼ぶ
手元の PC の PowerShell から、Entra ID のトークンでモデルを呼んだ。
$t = az account get-access-token --scope https://cognitiveservices.azure.com/.default --query accessToken -o tsv
$u = 'https://<Foundry 名>.cognitiveservices.azure.com/openai/deployments/gpt-5-mini/chat/completions?api-version=2025-04-01-preview'
$body = @{ messages = @(@{ role = 'user'; content = 'こんにちは' }); max_completion_tokens = 200; reasoning_effort = 'minimal' } | ConvertTo-Json -Depth 5
Invoke-WebRequest -Method Post -Uri $u -Headers @{ Authorization = "Bearer $t"; 'Content-Type' = 'application/json' } -Body ([Text.Encoding]::UTF8.GetBytes($body)) -UseBasicParsing
次の 5 種類の呼び出しをした。
| 呼び出し | やり方 | アプリに返った結果 |
|---|---|---|
| 成功 | 普通の質問を送る | 200 |
| レート制限 | 短い間隔で何十回も続けて送る | 429 rate_limit_exceeded。 Retry-After ヘッダーが付く |
| コンテンツ フィルターでの拒否 | 公式の例にある脱獄の文を送る | 400 content_filter。 jailbreak が detected: true、filtered: true |
| 権限なし | ロールを付ける前のトークン、または宛先(audience)が違うトークンで送る | 401 PermissionDenied、または 401 Unauthorized |
| 認証なし | トークンもキーも付けない。または、でたらめなキーを付ける | 401 Access denied due to invalid subscription key or wrong API endpoint. |
容量 1 のデプロイは、1 分あたり 1,000 トークン、要求は 1 分に 1 回までだった(応答の x-ratelimit-limit-requests と x-ratelimit-limit-tokens ヘッダー)。
コンテンツ フィルターの仕組みはFoundry のガードレールとはで扱った。
④ メトリックを状態コードで分けて見る
Foundry リソースの「監視」⇒「メトリック」で、メトリックに Model Requests を選び、「分割を適用する」で StatusCode を選ぶ。

| 番号 | 項目 | 説明 |
|---|---|---|
| 1 | メトリックと分割 | Model Requests の合計を、StatusCode で分けた |
| 2 | 系列 | 429 が 39 件、200 が 12 件。ほかの状態コードの系列は出なかった |
この時点で成功した呼び出しは 9 件、コンテンツ フィルターで拒否された呼び出しは 3 件だった。
200 の 12 件は、この 2 つを足した数と同じ。
拒否された 3 件は、メトリックでは 200 に数えられていた。
401 の呼び出しは、このメトリックには出なかった。
コンテンツ フィルターの件数を出すメトリック(Blocked Volume など)も定義されている。
ただ、今回は拒否から 30 分たっても値が 0 のままだった。
⑤ リソース ログを KQL で調べる
Foundry リソースの「監視」⇒「ログ」を開き、右上のモードを「KQL モード」にしてクエリを実行する。
まず、要求の記録を状態コードごとに数えた。
AzureDiagnostics
| where Category == "RequestResponse"
| summarize Count = count() by ResultSignature

| 番号 | 項目 | 説明 |
|---|---|---|
| 1 | 件数 | 429 が 39 件、200 が 12 件、401 が 2 件。400 はない |
次に、429 以外の記録を 1 件ずつ並べた。
AzureDiagnostics
| where Category == "RequestResponse" and ResultSignature != "429"
| extend p = parse_json(properties_s)
| project TimeGenerated, ResultSignature, DurationMs, CallerIPAddress, CallerObjectId = tostring(p.callerObjectId), PromptTokens = toint(p.promptTokens), CompletionTokens = toint(p.completionTokens)
| order by TimeGenerated asc

| 番号 | 項目 | 説明 |
|---|---|---|
| 1 | 401 の 2 件 | 権限のないトークンで呼んだもの。 CallerObjectId は空だが、properties_s の objectId には呼び出した ID が入っていた |
| 2 | 200 の 3 件 | 脱獄の文を送り、アプリには 400 が返った要求。 ログでは 200 で、トークン数も入っている |
1 件の記録の properties_s には、次の項目が入っていた。
プロンプトと応答の本文は入っていなかった。
{"apiName":"AIServices","requestLength":380,"responseLength":1517,"objectId":"<呼び出した ID>","callerObjectId":"<呼び出した ID>","streamType":"Non-Streaming","promptTokens":42,"completionTokens":95,"modelDeploymentName":"gpt-5-mini","modelName":"gpt-5-mini","modelVersion":"2025-08-07"}
ここまでの結果をまとめると、次のようになる。

| 確かめたこと | 結果 |
|---|---|
| 誰が呼んだか | 呼び出した ID(Entra ID のオブジェクト ID)が残る |
| どこから呼んだか | CallerIPAddress が残る。末尾は *** に置き換えられていた |
| 本文 | 残らない |
| コンテンツ フィルターでの拒否 | 200 として記録され、状態コードでは見分けられなかった |
| 認証なし、でたらめなキー | 記録されなかった。Entra ID のトークンを付けた 401 は記録された |
公式ドキュメント:
Microsoft Foundry モデルでのモデルのデプロイの監視 | Microsoft Learn
Azure OpenAI 監視データのリファレンス | Microsoft Learn
⑥ アクティビティ ログを見る
Foundry リソースの「アクティビティ ログ」には、管理操作が残る。

| 番号 | 項目 | 説明 |
|---|---|---|
| 1 | 成功した操作 | デプロイの変更(Write Deployment)、プロジェクトの変更、接続の作成(Write connections)、接続のシークレットの取得(List secrets) |
| 2 | 失敗した List Keys | キーの一覧を取ろうとした操作。 Foundry ポータルでプロジェクトを開いた時刻に 20 件記録されていた |
List Keys が失敗した理由は「Failed to list key. disableLocalAuth is set to be true」。
キー認証を無効にしているので、キーを取ろうとする操作は失敗し、その記録がアクティビティ ログに残る。
ロールの割り当てと診断設定の作成も、同じログに記録されていた。
⑦ トレースを送る
Foundry ポータル(新しい Foundry)でプロジェクトを開き、右上の「管理」⇒「プロジェクトの詳細」⇒「Connections」⇒「接続の追加」で、Application Insights を選ぶ。

| 番号 | 項目 | 説明 |
|---|---|---|
| 1 | Application Insights | Other の中にある。選んで「続行」を押す |

| 番号 | 項目 | 説明 |
|---|---|---|
| 1 | リソースと認証の種類 | ①の Application Insights を選んだ。 認証の種類は、既定の API キーと、プロジェクト マネージド ID から選べる |
| 2 | トレースのプライバシーに関する通知 | Log Analytics 閲覧者ロールを持つプロジェクト メンバーはトレース データを見ることができ、個人データやカスタマー コンテンツが含まれる場合がある、という注意 |
手元の PC の Python から、OpenAI SDK の呼び出しを OpenTelemetry で計測して、Application Insights に送った。
使ったパッケージは、openai、azure-identity、azure-monitor-opentelemetry、opentelemetry-instrumentation-openai-v2(2.4b0)、opentelemetry-util-genai(1.1b0)。
Application Insights の接続文字列は、環境変数 APPLICATIONINSIGHTS_CONNECTION_STRING に入れた。
import os
from azure.identity import AzureCliCredential, get_bearer_token_provider
from azure.monitor.opentelemetry import configure_azure_monitor
from openai import AzureOpenAI
from opentelemetry import trace
from opentelemetry.instrumentation.openai_v2 import OpenAIInstrumentor
configure_azure_monitor() # APPLICATIONINSIGHTS_CONNECTION_STRING を読む
OpenAIInstrumentor().instrument()
client = AzureOpenAI(
azure_endpoint=os.environ["FOUNDRY_ENDPOINT"],
azure_ad_token_provider=get_bearer_token_provider(
AzureCliCredential(), "https://cognitiveservices.azure.com/.default"),
api_version="2025-04-01-preview",
)
with trace.get_tracer("a9-demo").start_as_current_span("a9-chat"):
r = client.chat.completions.create(
model="gpt-5-mini",
messages=[{"role": "user", "content": "<プロンプト>"}],
max_completion_tokens=200,
reasoning_effort="minimal",
)
trace.get_tracer_provider().force_flush()
本文を記録するかどうかは、環境変数 OTEL_INSTRUMENTATION_GENAI_CAPTURE_MESSAGE_CONTENT で決まる。
値を変えて 4 回送り、Application Insights の「ログ」で比べた。
dependencies
| where name == "chat gpt-5-mini"
| extend i = parse_json(tostring(customDimensions["gen_ai.input.messages"])), o = parse_json(tostring(customDimensions["gen_ai.output.messages"]))
| project timestamp, success, InputTokens = tostring(customDimensions["gen_ai.usage.input_tokens"]), Prompt = tostring(i[0].parts[0].content), Response = tostring(o[0].parts[0].content)
| order by timestamp asc

| 番号 | 項目 | 説明 |
|---|---|---|
| 1 | 環境変数なし、true | トークン数は入るが、プロンプトと応答は入らない |
| 2 | SPAN_AND_EVENT | プロンプトと応答の全文が入った |
| 3 | 脱獄の文(本文の記録なし) | success が False。 HTTP の記録では結果コードが 400 だった |
トレースでは、コンテンツ フィルターで拒否された要求が、失敗(400)として記録された。
リソース ログとメトリックで 200 になっていた要求を、ここでは見分けられる。
公式ドキュメント:
Microsoft Foundry でトレースを設定する | Microsoft Learn
OpenAI SDK (クラシック) を使用して AI アプリケーションのトレース結果を表示する | Microsoft Learn
⑧ アラートを作る
通知先として、アクション グループを 1 つ作った(CLI)。
受信者は「Azure Resource Manager のロールへのメール」で、所有者ロールを持つユーザーに届く。
az monitor action-group create -g <リソース グループ> -n ag-a9-owner --short-name aga9 --action armrole owner 8e3af657-a8ff-443c-a75c-2fe8c4bcb635 usecommonalertschema
メトリック アラートはポータルで作った。
Foundry リソースの「監視」⇒「警告」⇒「アラート ルールの作成」を選び、「すべてのシグナルを表示」から Model Requests を選ぶ。

| 番号 | 項目 | 説明 |
|---|---|---|
| 1 | シグナル名 | Model Requests |
| 2 | アラート ロジック | 合計が 5 より大きい。評価は 1 分ごと、見る期間は 5 分(既定) |
| 3 | ディメンションで分割する | StatusCode = 429 だけを選び、「今後のすべての値を含める」は外した |
| 4 | 料金の見積もり | 1 条件で月 0.10 米国ドルと表示された |

| 番号 | 項目 | 説明 |
|---|---|---|
| 1 | 条件 | ModelRequests、StatusCode Include 429、しきい値 5、ルックバック期間 5 分、確認する間隔 1 分 |
| 2 | アクション | ag-a9-owner(Azure Resource Manager のロールへのメール) |
ログ検索アラートは REST で作った(内容は ⑨ の Bicep と同じ)。
| 項目 | 設定 |
|---|---|
| 範囲 | Log Analytics ワークスペース |
| クエリ | AzureDiagnostics | where Category == “RequestResponse” and ResultSignature == “401” |
| 条件 | 件数が 0 より大きい |
| 評価の間隔と期間 | 5 分ごとに、直近 5 分を見る |
| アクション | ag-a9-owner |
ルールを作ったあと、429 になる呼び出しと、宛先が違うトークンでの呼び出し(401)をした。
| 時刻 | 出来事 |
|---|---|
| 20:51:12 | メトリック アラートのルールを作成 |
| 20:51:40 | ログ検索アラートのルールを作成 |
| 20:51:44 | 宛先が違うトークンで呼ぶ(401) |
| 20:52:20 | 45 回続けて呼ぶ(429 が 41 件) |
| 20:55:00 | 40 回続けて呼ぶ(429 が 26 件) |
| 20:55:07 | メトリック アラートが発生。20:55 にメールが届いた |
| 20:55:24 | 宛先が違うトークンで呼ぶ(401) |
| 20:58:24 | ログ検索アラートが発生。20:58 にメールが届いた |

| 番号 | 項目 | 説明 |
|---|---|---|
| 1 | 発生したアラート | alert-a9-401(ログ検索、対象はワークスペース)と alert-a9-429(メトリック、対象は Foundry リソース) |

| 番号 | 項目 | 説明 |
|---|---|---|
| 1 | 件名 | アラートの名前、対象のリソース、発生した時刻(UTC)が入る |
公式ドキュメント:適切な種類のアラート ルールを選択する | Microsoft Learn
⑨ 同じ構成を Bicep で作る
同じ構成(キー認証を無効にした Foundry とモデル、Log Analytics、Application Insights、診断設定、アクション グループ、メトリック アラート、ログ検索アラート)を Bicep で作った。
デプロイは約 40 秒で終わり、診断設定とアラート ルールが入っていること、ロールを付けたあとにモデルを呼べることを確かめた。
Bicep:azure-bicep-samples / a9-ai-monitoring
⑩ 片付け
| 順番 | 操作 |
|---|---|
| 1 | リソース グループを削除する(Foundry、Log Analytics、Application Insights、アクション グループ、アラート ルール) |
| 2 | Foundry を purge する(論理的な削除の状態で残るため) |
実機でつまずいた点
コンテンツ フィルターの 400 が、ログとメトリックでは 200

脱獄の文を送ると、アプリには 400(content_filter)が返った。
ところが、リソース ログ(RequestResponse)では同じ要求が 200 として記録され、トークン数も入っていた。
メトリック(Model Requests)を StatusCode で分けても、200 に数えられ、400 の系列は出なかった。
3 回試して、3 回とも同じだった。
そのため、状態コードで「400 が増えたら通知」というアラートを作っても、コンテンツ フィルターでの拒否は拾えない。
拒否を追うには、アプリのトレース(400 で失敗と記録された)や、前回の API Management のログのように、別の場所で記録する。
true is not a valid option for `OTEL_INSTRUMENTATION_GENAI_CAPTURE_MESSAGE_CONTENT`

公式の手順には、メッセージの内容を記録するには環境変数 OTEL_INSTRUMENTATION_GENAI_CAPTURE_MESSAGE_CONTENT に true を入れる、とある。
そのとおりに true を入れて送ると、エラーにはならなかったが、トレースにプロンプトと応答が入らなかった。
Application Insights の traces テーブルには、次の警告が残っていた。
true is not a valid option for `OTEL_INSTRUMENTATION_GENAI_CAPTURE_MESSAGE_CONTENT` environment variable. Must be one of NO_CONTENT, SPAN_ONLY, EVENT_ONLY, SPAN_AND_EVENT. Defaulting to `NO_CONTENT`.
値を SPAN_AND_EVENT にすると、プロンプトと応答の全文が入った。
本文を残したつもりで残っていない、ということが起きるので、設定したあとは実際のトレースを確かめる。
逆に、本文を残さない方針なら、この環境変数を設定しないか、NO_CONTENT にしておく。
Principal does not have access to API/Operation.

自分に Cognitive Services OpenAI ユーザーを付けたあと、az account get-access-token で取ったトークンで呼び続けたが、1 時間たっても 401 のままだった。
az は、有効期限が切れるまで同じトークンを返す。
使っていたのは、ロールを付ける直前に取ったトークンだった。
トークンを取り直すと、すぐ 200 になった。
取り直すには、スコープの形(–scope https://cognitiveservices.azure.com/.default)で指定すると、別のトークンが発行された。
ロールを付けたのに 401 が続くときは、待つ前に、新しいトークンで試す。
診断設定の直後の呼び出しがログに出ない

診断設定を保存した 1〜16 分後の呼び出し(権限のない 401)は、あとになっても Log Analytics に出なかった。
最初に記録されたのは、保存から 64 分後の呼び出しだった。
同じ種類の 401 は、そのあとは記録されている。
記録が始まってからは、呼び出しの 1〜7 分後に Log Analytics に届いた。
監査に使うなら、問題が起きてから診断設定を入れるのでは間に合わない。
Foundry リソースを作るときに、診断設定もあわせて入れておく。
発展
| 項目 | 内容 |
|---|---|
| エージェントのトレース | Foundry でホストされるエージェントは、Application Insights を接続するとサーバー側のトレースが自動で有効になる。 コードの変更はいらない |
| エージェント監視ダッシュボード | Foundry ポータルで、エージェントのトークンの使用量、待ち時間、成功率などを見る |
| 機密性の高いコンテンツの分離 | プロンプトなどの機密性の高いコンテンツを専用のテーブルに送り、読める人を絞る |
| コスト | Foundry ポータルのデプロイのメトリックから、Azure Cost Management のコスト分析に移れる。 課金のイベントから表示までは約 5 時間の遅れがある |
| ゲートウェイでの記録 | API Management の AI ゲートウェイを前に置くと、プロンプトと応答、止めた理由をゲートウェイ側で記録できる |
公式ドキュメント:
Microsoft Foundry でトレースを設定する | Microsoft Learn
エージェント トレースの概要 | Microsoft Learn
エージェント監視ダッシュボードを使用してエージェントを監視する | Microsoft Learn
Microsoft Foundry モデルでのモデルのデプロイの監視 | Microsoft Learn
推奨構成
| 項目 | 推奨 | 理由 |
|---|---|---|
| 診断設定 | Foundry リソースを作るときに、あわせて入れる | 診断設定を作るまでリソース ログは残らない。作った直後の呼び出しも残らなかった |
| 集めるカテゴリ | RequestResponse と Audit を基本に、必要なものを足す | Log Analytics に集める量で料金が決まる |
| 誰が呼んだかの記録 | キー認証を無効にして、Entra ID で呼ばせる | リソース ログに、呼び出した ID が残る |
| レート制限の監視 | Model Requests の StatusCode 429 にメトリック アラート | 数分で通知が届いた。メトリック アラートは安い |
| 権限のない呼び出しの監視 | RequestResponse の 401 にログ検索アラート | ロールのない ID や、宛先の違うトークンでの呼び出しに気づける |
| コンテンツ フィルターでの拒否 | アプリのトレースか、API Management のログで記録する | リソース ログとメトリックでは 200 として記録された |
| 本文の記録 | 残すかどうかを決め、残すなら読める人と保持期間を決める | Application Insights を読める人は、本文も読める |
注意事項
| 項目 | 内容 |
|---|---|
| 届くまでの時間 | 記録が始まったあとは、リソース ログは 1〜7 分で届いた。 公式には、設定後は最大 15 分、Foundry Tools では最大 2 時間かかることがあるとある |
| 認証なしの呼び出し | トークンもキーもない呼び出しと、でたらめなキーの呼び出しは、リソース ログに出なかった |
| アラートの料金 | ログ検索アラートは、評価の間隔が短いほど高い。 1 分ごとは 5 分ごとの 2 倍 |
| トレースの設定値 | 本文を記録する環境変数は、使うパッケージの版で受け付ける値が違う。 設定後に実際のトレースを確かめる |
| IP アドレス | 今回のログでは末尾が *** だった。 ポータルには、12 月から要求の IP アドレス全体を保存するという案内が出ていた |

まとめ
・AI の監視データは、メトリック、リソース ログ、アクティビティ ログ、トレースの 4 種類。
リソース ログは診断設定、トレースはアプリの計測がないと残らない。
・リソース ログには、呼び出した ID、IP アドレス、状態コード、トークン数が残り、プロンプトと応答の本文は残らなかった。
・コンテンツ フィルターで拒否された要求は、リソース ログとメトリックでは 200 として記録された。
トレースでは 400 の失敗として記録された。
・トレースは、設定すればプロンプトと応答の全文が残る。
残すなら、読める人と保持期間を決める。
・429 はメトリック アラート、権限のない 401 はログ検索アラートで、どちらも数分でメールが届いた。
次回:Defender for Cloud の AI 脅威保護とは




コメント