Microsoft Foundry の監視とログとは|メトリック、リソース ログ、トレース、アラートを実機で検証

Microsoft Foundry の監視とログとは|メトリック、リソース ログ、トレース、アラートを実機で検証 AI

はじめに

AI 編の 10 回目。
今回は、Microsoft Foundry のモデルの監視とログを扱う。
実機では、成功、レート制限(429)、コンテンツ フィルターでの拒否(400)、権限なし(401)の呼び出しをして、メトリック、リソース ログ、アクティビティ ログ、トレースにどう残るかを比べ、アラートで通知が届くところまで確かめた。
※2026年11月時点の情報です。

前回:API Management の AI ゲートウェイとは

API Management の AI ゲートウェイとは|マネージド ID、トークンの上限、Content Safety、ログを実機で検証
API Management の AI ゲートウェイを実機で検証。マネージド ID でモデルを呼び、サブスクリプション キー、トークンの上限、Content Safety、ゲートウェイと LLM のログを確かめた。

AI の監視データは 4 種類

Foundry のモデルを呼ぶと、種類の違うデータが別々の場所に残る。
自動で集まるものと、設定しないと残らないものがある。

AI の監視データの種類と保存先
種類中身集め方保存先
メトリック要求の数、トークン数、待ち時間などの数値自動で収集される。設定はいらないAzure Monitor のメトリック
リソース ログ要求 1 件ごとの記録診断設定を作って送り先を決める。作るまで収集も保存もされないLog Analytics ワークスペースなど
アクティビティ ログデプロイの変更などの管理操作自動で収集されるアクティビティ ログ
トレースアプリの処理の流れ。設定すればプロンプトと応答アプリを OpenTelemetry で計測して送るApplication Insights

リソース ログの基本はAzure リソース ログと診断設定とは、アクティビティ ログはAzure アクティビティ ログとはで扱った。

公式ドキュメント:
Microsoft Foundry モデルでのモデルのデプロイの監視 | Microsoft Learn
Microsoft Foundry でトレースを設定する | Microsoft Learn

メトリック

メトリックは軽く、ほぼリアルタイムのアラートに使える。
メトリックを見るには、リソースの監視閲覧者ロールがあれば足りる。

メトリック内部名内容主なディメンション
モデル要求ModelRequests一定期間にモデル推論 API に対して行われた呼び出しの数ModelDeploymentName、ModelName、StatusCode
入力トークンInputTokensモデルで処理(入力)されたプロンプト トークンの数ModelDeploymentName、ModelName
出力トークンOutputTokensモデルから生成(出力)されたトークンの数ModelDeploymentName、ModelName
合計トークン数TotalTokens入力と出力のトークン数の合計ModelDeploymentName、ModelName
モデルの可用性率ModelAvailabilityRate(合計呼び出し数 − サーバー エラー数)÷ 呼び出しの合計数。
サーバー エラーは HTTP 応答が 500 以上のもの
ModelDeploymentName、ModelName

メトリックには「Azure OpenAI」と「Models」の 2 つのカテゴリがある。
Models のほうは、Azure OpenAI 以外のモデルも含む新しいメトリックで、公式はこちらへの切り替えを勧めている。

公式ドキュメント:
Microsoft Foundry モデルでのモデルのデプロイの監視 | Microsoft Learn
Azure OpenAI 監視データのリファレンス | Microsoft Learn

リソース ログ

リソース ログは、診断設定を作って送り先を決めるまで、収集も保存もされない。
Log Analytics に送ると、AzureDiagnostics テーブルに入る。

カテゴリ内容
RequestResponse状態コードや待機時間など、すべての推論要求と応答のログ
Traceモデル推論呼び出しをデバッグするための詳細なトレース ログ
Audit展開、構成の変更、アクセス制御イベントなどの管理操作
AzureOpenAIRequestUsage今回の検証では、成功した要求ごとのトークン数(入力、キャッシュ、出力)と、最初のトークンまでの時間が入った
ManagedNetworkEvent今回の検証では記録なし

公式には、診断設定を作ってからデータが表示されるまで「最大 15 分待つ」とある。
Foundry Tools の診断ログのページには「最大 2 時間かかることがある」とある。
Log Analytics に集めるとコストがかかるので、必要なカテゴリだけ集める。

公式ドキュメント:
Microsoft Foundry モデルでのモデルのデプロイの監視 | Microsoft Learn
Azure OpenAI 監視データのリファレンス | Microsoft Learn
Foundry Tools の診断ログを有効にする | Microsoft Learn

プロンプトと応答の本文は、どこに残るか

監視で先に決めておきたいのは、プロンプトと応答の本文をどこに残すか。
本文が残る場所は、その場所を読める人なら誰でも本文を読める。

プロンプトと応答の本文が残る場所の比較

トレースは、ユーザーの入力、モデルの出力、ツールの引数や結果といった機密情報を含むことがある。
公式は次のことを勧めている。

項目内容
入れないシークレット、資格情報、トークンを、プロンプトやスパンの属性に入れない
減らす個人データなどの機密は、テレメトリに入る前に編集するか、最小限にする
守るトレースを運用のテレメトリとして扱い、ログやメトリックと同じアクセス制御と保持ポリシーを適用する

トレースを Foundry で使うには、Application Insights をプロジェクトに接続する。
トレースを読むには、接続した Application Insights の Log Analytics 閲覧者ロールが必要になる。

公式ドキュメント:
Microsoft Foundry でトレースを設定する | Microsoft Learn
エージェント トレースの概要 | Microsoft Learn

アラートの種類と料金

種類見るもの向いている使い方
メトリック アラートメトリックの条件を定期的に評価する429 の多発、トークン数の急増など、数値のしきい値
ログ検索アラートLog Analytics のクエリを決めた間隔で評価する特定の状態コードや呼び出し元など、ログの中身で絞る条件
アクティビティ ログ アラート条件に一致する管理操作が起きたときに発生するデプロイの変更、ロールの割り当てなどの管理操作

ログ検索アラートは、クエリを評価する間隔で課金され、間隔が短いほど高い。
東日本の料金(Azure Retail Prices API、2026-11-11 時点)は次のとおり。

アラート料金(1 か月)
メトリック アラート(監視するシグナル 1 つ)15.82 円。最初の 10 個は 0 円
ログ検索アラート(15 分ごと)79.12 円
ログ検索アラート(5 分ごと)237.35 円
ログ検索アラート(1 分ごと)474.69 円

公式ドキュメント:適切な種類のアラート ルールを選択する | Microsoft Learn

構築手順

今回の構成と実施すること

今回の構成
手順実施すること確かめること
①Foundry(キー認証は無効)とモデル、Log Analytics、Application Insights を作る
②診断設定を作り、すべてのログとメトリックを Log Analytics に送るログが届き始めるまでの時間
③成功、429、コンテンツ フィルターでの拒否、401 の呼び出しをするアプリに返る状態コード
④メトリックを状態コードで分けて見る429 と拒否が数字に出るか
⑤リソース ログを KQL で調べる呼び出した ID、IP アドレス、結果が残るか。本文が残るか
⑥アクティビティ ログを見る管理操作とキーの取得が残るか
⑦Application Insights を接続し、Python からトレースを送る本文を記録する設定の有無で、プロンプトが残るか
⑧メトリック アラートとログ検索アラートを作る実際にアラートが発生し、メールが届くか
⑨同じ構成を Bicep で作る
⑩片付け

① Foundry とモデル、保存先を作る

Foundry リソース(キー認証は無効)、プロジェクト、gpt-5-mini のデプロイ(GlobalStandard)を東日本に作った。
あわせて、Log Analytics ワークスペースと、そのワークスペースを使う Application Insights を同じリソース グループに作った。
Foundry の作り方とキー認証の無効化はMicrosoft Foundry の認証と RBAC とはと同じ。

モデルを呼ぶために、自分に Cognitive Services OpenAI ユーザーを Foundry リソースの範囲で付けた。
所有者ロールだけでは、モデルは呼べない。

② 診断設定を作る

Azure portal で Foundry リソースを開き、「監視」⇒「診断設定」⇒「診断設定を追加する」を選ぶ。

診断設定の画面。すべてのログとメトリックを Log Analytics に送る
番号項目説明
1診断設定の名前diag-a9 にした
2ログカテゴリ グループの allLogs を選ぶと、5 つのカテゴリがすべて選ばれる
3メトリックAllMetrics を選ぶと、メトリックも AzureMetrics テーブルに入り、KQL で調べられる
4宛先の詳細「Log Analytics ワークスペースへの送信」を選び、①のワークスペースを選んだ

保存は 19:24 だった。
このあとの結果では、メトリックは 2 分後のデータから Log Analytics に届いたが、リソース ログが出始めるまでには時間がかかった(実機でつまずいた点を参照)。

③ モデルを呼ぶ

手元の PC の PowerShell から、Entra ID のトークンでモデルを呼んだ。

$t = az account get-access-token --scope https://cognitiveservices.azure.com/.default --query accessToken -o tsv
$u = 'https://<Foundry 名>.cognitiveservices.azure.com/openai/deployments/gpt-5-mini/chat/completions?api-version=2025-04-01-preview'
$body = @{ messages = @(@{ role = 'user'; content = 'こんにちは' }); max_completion_tokens = 200; reasoning_effort = 'minimal' } | ConvertTo-Json -Depth 5
Invoke-WebRequest -Method Post -Uri $u -Headers @{ Authorization = "Bearer $t"; 'Content-Type' = 'application/json' } -Body ([Text.Encoding]::UTF8.GetBytes($body)) -UseBasicParsing

次の 5 種類の呼び出しをした。

呼び出しやり方アプリに返った結果
成功普通の質問を送る200
レート制限短い間隔で何十回も続けて送る429 rate_limit_exceeded。
Retry-After ヘッダーが付く
コンテンツ フィルターでの拒否公式の例にある脱獄の文を送る400 content_filter。
jailbreak が detected: true、filtered: true
権限なしロールを付ける前のトークン、または宛先(audience)が違うトークンで送る401 PermissionDenied、または 401 Unauthorized
認証なしトークンもキーも付けない。または、でたらめなキーを付ける401 Access denied due to invalid subscription key or wrong API endpoint.

容量 1 のデプロイは、1 分あたり 1,000 トークン、要求は 1 分に 1 回までだった(応答の x-ratelimit-limit-requests と x-ratelimit-limit-tokens ヘッダー)。
コンテンツ フィルターの仕組みはFoundry のガードレールとはで扱った。

④ メトリックを状態コードで分けて見る

Foundry リソースの「監視」⇒「メトリック」で、メトリックに Model Requests を選び、「分割を適用する」で StatusCode を選ぶ。

Model Requests を StatusCode で分けたグラフ
番号項目説明
1メトリックと分割Model Requests の合計を、StatusCode で分けた
2系列429 が 39 件、200 が 12 件。ほかの状態コードの系列は出なかった

この時点で成功した呼び出しは 9 件、コンテンツ フィルターで拒否された呼び出しは 3 件だった。
200 の 12 件は、この 2 つを足した数と同じ。
拒否された 3 件は、メトリックでは 200 に数えられていた。
401 の呼び出しは、このメトリックには出なかった。

コンテンツ フィルターの件数を出すメトリック(Blocked Volume など)も定義されている。
ただ、今回は拒否から 30 分たっても値が 0 のままだった。

⑤ リソース ログを KQL で調べる

Foundry リソースの「監視」⇒「ログ」を開き、右上のモードを「KQL モード」にしてクエリを実行する。
まず、要求の記録を状態コードごとに数えた。

AzureDiagnostics
| where Category == "RequestResponse"
| summarize Count = count() by ResultSignature
リソース ログを状態コードごとに数えた結果
番号項目説明
1件数429 が 39 件、200 が 12 件、401 が 2 件。400 はない

次に、429 以外の記録を 1 件ずつ並べた。

AzureDiagnostics
| where Category == "RequestResponse" and ResultSignature != "429"
| extend p = parse_json(properties_s)
| project TimeGenerated, ResultSignature, DurationMs, CallerIPAddress, CallerObjectId = tostring(p.callerObjectId), PromptTokens = toint(p.promptTokens), CompletionTokens = toint(p.completionTokens)
| order by TimeGenerated asc
リソース ログの一覧。401 の記録と、200 として記録された拒否の要求
番号項目説明
1401 の 2 件権限のないトークンで呼んだもの。
CallerObjectId は空だが、properties_s の objectId には呼び出した ID が入っていた
2200 の 3 件脱獄の文を送り、アプリには 400 が返った要求。
ログでは 200 で、トークン数も入っている

1 件の記録の properties_s には、次の項目が入っていた。
プロンプトと応答の本文は入っていなかった。

{"apiName":"AIServices","requestLength":380,"responseLength":1517,"objectId":"<呼び出した ID>","callerObjectId":"<呼び出した ID>","streamType":"Non-Streaming","promptTokens":42,"completionTokens":95,"modelDeploymentName":"gpt-5-mini","modelName":"gpt-5-mini","modelVersion":"2025-08-07"}

ここまでの結果をまとめると、次のようになる。

呼び出しの種類ごとに、リソース ログ、メトリック、トレースに残った値
確かめたこと結果
誰が呼んだか呼び出した ID(Entra ID のオブジェクト ID)が残る
どこから呼んだかCallerIPAddress が残る。末尾は *** に置き換えられていた
本文残らない
コンテンツ フィルターでの拒否200 として記録され、状態コードでは見分けられなかった
認証なし、でたらめなキー記録されなかった。Entra ID のトークンを付けた 401 は記録された

公式ドキュメント:
Microsoft Foundry モデルでのモデルのデプロイの監視 | Microsoft Learn
Azure OpenAI 監視データのリファレンス | Microsoft Learn

⑥ アクティビティ ログを見る

Foundry リソースの「アクティビティ ログ」には、管理操作が残る。

Foundry リソースのアクティビティ ログ
番号項目説明
1成功した操作デプロイの変更(Write Deployment)、プロジェクトの変更、接続の作成(Write connections)、接続のシークレットの取得(List secrets)
2失敗した List Keysキーの一覧を取ろうとした操作。
Foundry ポータルでプロジェクトを開いた時刻に 20 件記録されていた

List Keys が失敗した理由は「Failed to list key. disableLocalAuth is set to be true」。
キー認証を無効にしているので、キーを取ろうとする操作は失敗し、その記録がアクティビティ ログに残る。
ロールの割り当てと診断設定の作成も、同じログに記録されていた。

⑦ トレースを送る

Foundry ポータル(新しい Foundry)でプロジェクトを開き、右上の「管理」⇒「プロジェクトの詳細」⇒「Connections」⇒「接続の追加」で、Application Insights を選ぶ。

接続の追加で Application Insights を選ぶ画面
番号項目説明
1Application InsightsOther の中にある。選んで「続行」を押す
Application Insights の接続の作成と、トレースのプライバシーに関する通知
番号項目説明
1リソースと認証の種類①の Application Insights を選んだ。
認証の種類は、既定の API キーと、プロジェクト マネージド ID から選べる
2トレースのプライバシーに関する通知Log Analytics 閲覧者ロールを持つプロジェクト メンバーはトレース データを見ることができ、個人データやカスタマー コンテンツが含まれる場合がある、という注意

手元の PC の Python から、OpenAI SDK の呼び出しを OpenTelemetry で計測して、Application Insights に送った。
使ったパッケージは、openai、azure-identity、azure-monitor-opentelemetry、opentelemetry-instrumentation-openai-v2(2.4b0)、opentelemetry-util-genai(1.1b0)。
Application Insights の接続文字列は、環境変数 APPLICATIONINSIGHTS_CONNECTION_STRING に入れた。

import os
from azure.identity import AzureCliCredential, get_bearer_token_provider
from azure.monitor.opentelemetry import configure_azure_monitor
from openai import AzureOpenAI
from opentelemetry import trace
from opentelemetry.instrumentation.openai_v2 import OpenAIInstrumentor

configure_azure_monitor()  # APPLICATIONINSIGHTS_CONNECTION_STRING を読む
OpenAIInstrumentor().instrument()

client = AzureOpenAI(
    azure_endpoint=os.environ["FOUNDRY_ENDPOINT"],
    azure_ad_token_provider=get_bearer_token_provider(
        AzureCliCredential(), "https://cognitiveservices.azure.com/.default"),
    api_version="2025-04-01-preview",
)
with trace.get_tracer("a9-demo").start_as_current_span("a9-chat"):
    r = client.chat.completions.create(
        model="gpt-5-mini",
        messages=[{"role": "user", "content": "<プロンプト>"}],
        max_completion_tokens=200,
        reasoning_effort="minimal",
    )
trace.get_tracer_provider().force_flush()

本文を記録するかどうかは、環境変数 OTEL_INSTRUMENTATION_GENAI_CAPTURE_MESSAGE_CONTENT で決まる。
値を変えて 4 回送り、Application Insights の「ログ」で比べた。

dependencies
| where name == "chat gpt-5-mini"
| extend i = parse_json(tostring(customDimensions["gen_ai.input.messages"])), o = parse_json(tostring(customDimensions["gen_ai.output.messages"]))
| project timestamp, success, InputTokens = tostring(customDimensions["gen_ai.usage.input_tokens"]), Prompt = tostring(i[0].parts[0].content), Response = tostring(o[0].parts[0].content)
| order by timestamp asc
トレースの比較。本文を記録する設定のときだけプロンプトと応答が入る
番号項目説明
1環境変数なし、trueトークン数は入るが、プロンプトと応答は入らない
2SPAN_AND_EVENTプロンプトと応答の全文が入った
3脱獄の文(本文の記録なし)success が False。
HTTP の記録では結果コードが 400 だった

トレースでは、コンテンツ フィルターで拒否された要求が、失敗(400)として記録された。
リソース ログとメトリックで 200 になっていた要求を、ここでは見分けられる。

公式ドキュメント:
Microsoft Foundry でトレースを設定する | Microsoft Learn
OpenAI SDK (クラシック) を使用して AI アプリケーションのトレース結果を表示する | Microsoft Learn

⑧ アラートを作る

通知先として、アクション グループを 1 つ作った(CLI)。
受信者は「Azure Resource Manager のロールへのメール」で、所有者ロールを持つユーザーに届く。

az monitor action-group create -g <リソース グループ> -n ag-a9-owner --short-name aga9 --action armrole owner 8e3af657-a8ff-443c-a75c-2fe8c4bcb635 usecommonalertschema

メトリック アラートはポータルで作った。
Foundry リソースの「監視」⇒「警告」⇒「アラート ルールの作成」を選び、「すべてのシグナルを表示」から Model Requests を選ぶ。

アラート ルールの条件。Model Requests の 429 が 5 件を超えたら発生
番号項目説明
1シグナル名Model Requests
2アラート ロジック合計が 5 より大きい。評価は 1 分ごと、見る期間は 5 分(既定)
3ディメンションで分割するStatusCode = 429 だけを選び、「今後のすべての値を含める」は外した
4料金の見積もり1 条件で月 0.10 米国ドルと表示された
アラート ルールの確認画面
番号項目説明
1条件ModelRequests、StatusCode Include 429、しきい値 5、ルックバック期間 5 分、確認する間隔 1 分
2アクションag-a9-owner(Azure Resource Manager のロールへのメール)

ログ検索アラートは REST で作った(内容は ⑨ の Bicep と同じ)。

項目設定
範囲Log Analytics ワークスペース
クエリAzureDiagnostics | where Category == “RequestResponse” and ResultSignature == “401”
条件件数が 0 より大きい
評価の間隔と期間5 分ごとに、直近 5 分を見る
アクションag-a9-owner

ルールを作ったあと、429 になる呼び出しと、宛先が違うトークンでの呼び出し(401)をした。

時刻出来事
20:51:12メトリック アラートのルールを作成
20:51:40ログ検索アラートのルールを作成
20:51:44宛先が違うトークンで呼ぶ(401)
20:52:2045 回続けて呼ぶ(429 が 41 件)
20:55:0040 回続けて呼ぶ(429 が 26 件)
20:55:07メトリック アラートが発生。20:55 にメールが届いた
20:55:24宛先が違うトークンで呼ぶ(401)
20:58:24ログ検索アラートが発生。20:58 にメールが届いた
発生した 2 つのアラート
番号項目説明
1発生したアラートalert-a9-401(ログ検索、対象はワークスペース)と alert-a9-429(メトリック、対象は Foundry リソース)
届いたアラートのメール
番号項目説明
1件名アラートの名前、対象のリソース、発生した時刻(UTC)が入る

公式ドキュメント:適切な種類のアラート ルールを選択する | Microsoft Learn

⑨ 同じ構成を Bicep で作る

同じ構成(キー認証を無効にした Foundry とモデル、Log Analytics、Application Insights、診断設定、アクション グループ、メトリック アラート、ログ検索アラート)を Bicep で作った。
デプロイは約 40 秒で終わり、診断設定とアラート ルールが入っていること、ロールを付けたあとにモデルを呼べることを確かめた。

Bicep:azure-bicep-samples / a9-ai-monitoring

⑩ 片付け

順番操作
1リソース グループを削除する(Foundry、Log Analytics、Application Insights、アクション グループ、アラート ルール)
2Foundry を purge する(論理的な削除の状態で残るため)

実機でつまずいた点

コンテンツ フィルターの 400 が、ログとメトリックでは 200

フィルターで止まった要求が 200 と記録される。やったこと、起きたこと、わかったこと

脱獄の文を送ると、アプリには 400(content_filter)が返った。
ところが、リソース ログ(RequestResponse)では同じ要求が 200 として記録され、トークン数も入っていた。
メトリック(Model Requests)を StatusCode で分けても、200 に数えられ、400 の系列は出なかった。
3 回試して、3 回とも同じだった。

そのため、状態コードで「400 が増えたら通知」というアラートを作っても、コンテンツ フィルターでの拒否は拾えない。
拒否を追うには、アプリのトレース(400 で失敗と記録された)や、前回の API Management のログのように、別の場所で記録する。

true is not a valid option for `OTEL_INSTRUMENTATION_GENAI_CAPTURE_MESSAGE_CONTENT`

true では本文が記録されない。やったこと、起きたこと、直し方

公式の手順には、メッセージの内容を記録するには環境変数 OTEL_INSTRUMENTATION_GENAI_CAPTURE_MESSAGE_CONTENT に true を入れる、とある。
そのとおりに true を入れて送ると、エラーにはならなかったが、トレースにプロンプトと応答が入らなかった。
Application Insights の traces テーブルには、次の警告が残っていた。

true is not a valid option for `OTEL_INSTRUMENTATION_GENAI_CAPTURE_MESSAGE_CONTENT` environment variable. Must be one of NO_CONTENT, SPAN_ONLY, EVENT_ONLY, SPAN_AND_EVENT. Defaulting to `NO_CONTENT`.

値を SPAN_AND_EVENT にすると、プロンプトと応答の全文が入った。
本文を残したつもりで残っていない、ということが起きるので、設定したあとは実際のトレースを確かめる。
逆に、本文を残さない方針なら、この環境変数を設定しないか、NO_CONTENT にしておく。

Principal does not have access to API/Operation.

ロールを付けたのに 401 のまま。やったこと、起きたこと、直し方

自分に Cognitive Services OpenAI ユーザーを付けたあと、az account get-access-token で取ったトークンで呼び続けたが、1 時間たっても 401 のままだった。
az は、有効期限が切れるまで同じトークンを返す。
使っていたのは、ロールを付ける直前に取ったトークンだった。

トークンを取り直すと、すぐ 200 になった。
取り直すには、スコープの形(–scope https://cognitiveservices.azure.com/.default)で指定すると、別のトークンが発行された。
ロールを付けたのに 401 が続くときは、待つ前に、新しいトークンで試す。

診断設定の直後の呼び出しがログに出ない

診断設定の直後の呼び出しがログに出ない。やったこと、起きたこと、直し方

診断設定を保存した 1〜16 分後の呼び出し(権限のない 401)は、あとになっても Log Analytics に出なかった。
最初に記録されたのは、保存から 64 分後の呼び出しだった。
同じ種類の 401 は、そのあとは記録されている。

記録が始まってからは、呼び出しの 1〜7 分後に Log Analytics に届いた。
監査に使うなら、問題が起きてから診断設定を入れるのでは間に合わない。
Foundry リソースを作るときに、診断設定もあわせて入れておく。

発展

項目内容
エージェントのトレースFoundry でホストされるエージェントは、Application Insights を接続するとサーバー側のトレースが自動で有効になる。
コードの変更はいらない
エージェント監視ダッシュボードFoundry ポータルで、エージェントのトークンの使用量、待ち時間、成功率などを見る
機密性の高いコンテンツの分離プロンプトなどの機密性の高いコンテンツを専用のテーブルに送り、読める人を絞る
コストFoundry ポータルのデプロイのメトリックから、Azure Cost Management のコスト分析に移れる。
課金のイベントから表示までは約 5 時間の遅れがある
ゲートウェイでの記録API Management の AI ゲートウェイを前に置くと、プロンプトと応答、止めた理由をゲートウェイ側で記録できる

公式ドキュメント:
Microsoft Foundry でトレースを設定する | Microsoft Learn
エージェント トレースの概要 | Microsoft Learn
エージェント監視ダッシュボードを使用してエージェントを監視する | Microsoft Learn
Microsoft Foundry モデルでのモデルのデプロイの監視 | Microsoft Learn

推奨構成

項目推奨理由
診断設定Foundry リソースを作るときに、あわせて入れる診断設定を作るまでリソース ログは残らない。作った直後の呼び出しも残らなかった
集めるカテゴリRequestResponse と Audit を基本に、必要なものを足すLog Analytics に集める量で料金が決まる
誰が呼んだかの記録キー認証を無効にして、Entra ID で呼ばせるリソース ログに、呼び出した ID が残る
レート制限の監視Model Requests の StatusCode 429 にメトリック アラート数分で通知が届いた。メトリック アラートは安い
権限のない呼び出しの監視RequestResponse の 401 にログ検索アラートロールのない ID や、宛先の違うトークンでの呼び出しに気づける
コンテンツ フィルターでの拒否アプリのトレースか、API Management のログで記録するリソース ログとメトリックでは 200 として記録された
本文の記録残すかどうかを決め、残すなら読める人と保持期間を決めるApplication Insights を読める人は、本文も読める

注意事項

項目内容
届くまでの時間記録が始まったあとは、リソース ログは 1〜7 分で届いた。
公式には、設定後は最大 15 分、Foundry Tools では最大 2 時間かかることがあるとある
認証なしの呼び出しトークンもキーもない呼び出しと、でたらめなキーの呼び出しは、リソース ログに出なかった
アラートの料金ログ検索アラートは、評価の間隔が短いほど高い。
1 分ごとは 5 分ごとの 2 倍
トレースの設定値本文を記録する環境変数は、使うパッケージの版で受け付ける値が違う。
設定後に実際のトレースを確かめる
IP アドレス今回のログでは末尾が *** だった。
ポータルには、12 月から要求の IP アドレス全体を保存するという案内が出ていた
Foundry リソースの概要に出ていた、IP アドレスの保存についての案内

まとめ

・AI の監視データは、メトリック、リソース ログ、アクティビティ ログ、トレースの 4 種類。
リソース ログは診断設定、トレースはアプリの計測がないと残らない。
・リソース ログには、呼び出した ID、IP アドレス、状態コード、トークン数が残り、プロンプトと応答の本文は残らなかった。
・コンテンツ フィルターで拒否された要求は、リソース ログとメトリックでは 200 として記録された。
トレースでは 400 の失敗として記録された。
・トレースは、設定すればプロンプトと応答の全文が残る。
残すなら、読める人と保持期間を決める。
・429 はメトリック アラート、権限のない 401 はログ検索アラートで、どちらも数分でメールが届いた。

次回:Defender for Cloud の AI 脅威保護とは

Defender for Cloud の AI 脅威保護とは|脱獄のアラート、プロンプトの証拠、エンドユーザーの情報を実機で検証
Defender for Cloud の AI 脅威保護(AI サービス プラン)を実機で検証。脱獄のアラートが出るまでの時間、証拠に載るプロンプトとエンドユーザーの情報、くり返しではアラートが増えない点を紹介。

コメント

タイトルとURLをコピーしました