分享AI实践与思考
入门
上手
教程
基础
概念解释
Microsoft Foundry
开发工具
操作指南
参考
治理与网络
工具与知识
概念解释
操作指南
Agent Service
总览
概念解释
Azure OpenAI
API 与开发
总览
Azure AI Search
权限与安全
参考
检索概念
概念解释
快速上手
教程
Foundry Tools
其他与已退役
总览
概念解释
RAG 与知识工程
智能体与工具
MCP 与 Skills
操作指南
基础
评测、观测与安全
安全
评测
概念解释
参考
企业架构与成本
解决方案场景
样例与学习资源
附录
追踪与监控
本页说明如何为 Foundry agent 连接 Application Insights、开启追踪、查看 trace 与监控仪表板,并排查常见的“没有数据”问题。概念背景见“可观测性概览”。
适用场景
- 需要查看某次 agent 运行的输入、输出、工具调用和延迟,定位错误或慢的步骤。
- 需要在上线后看到 token 消耗、延迟、运行成功率等运行指标。
- 需要对生产流量做持续评测,并在 Foundry 中看到评测分数趋势。
前提
项目 | 要求 | 状态 |
Foundry 项目 | 已创建,并至少有一个 agent | 页面要求 |
Application Insights 资源 | 新建或连接已有资源,用于存储 trace | 页面要求 |
查询权限 | 对连接的 Application Insights 有访问权;查询日志需 Log Analytics Reader 角色;若日志表设为受保护,还需 Privileged Monitoring Data Reader 角色 | 页面要求 |
客户端 SDK 运行环境 | Python 3.10 或更高;Node.js 22 或更高;.NET 8 或更高(以 SDK 页面为准) | 待核实(2026-11-05 获取) |
数据保留 | trace 数据保留时间与计费随 Application Insights 配置 | 待核实(2026-11-05 获取) |
步骤
- 连接 Application Insights:在 Foundry(new)门户打开项目,进入 Agents 页面的 Traces 标签,选择 Connect;也可在 Manage > Project details > Connected resources 中添加 Application Insights 连接。
- 选择插桩方式:
- 服务端追踪(推荐起点):连接后自动启用,不需改代码,适用于 Foundry 中托管的 agent。
- 客户端追踪:在自有应用中安装 OpenTelemetry 与 Azure SDK 追踪插件,并在创建项目客户端之前开启 GenAI 追踪。C# 示例需要设置运行时开关,属于实验性功能,待核实。
- VS Code 本地追踪:通过本地 OTLP 兼容收集器接收 span,适合开发调试,不需要 Application Insights。
- 运行 agent 至少一次(门户或应用中均可)。
- 在 Traces 中确认出现新 trace,并逐个 span 查看输入、输出和工具调用。
- 查看监控仪表板:在 Build 中选择 agent,打开 Monitor 标签,查看运行指标与评测图表。
- 如需持续评测:在 Monitor 设置中创建循环评测(定期或持续采样),或用 SDK 创建评测与评测规则。若用 SDK 配置持续评测,需要给项目的托管身份分配 Foundry User 角色(页面说明)。
参数表
设置或指标 | 作用 | 页面说明 | 状态 |
服务端追踪 | 无代码改动记录托管 agent 的运行 | 可在 Traces 中查看近期 trace | 保留期限待核实(2026-11-05 获取) |
客户端追踪 | 记录自有应用中围绕 agent 调用的逻辑 | 需要额外安装 OpenTelemetry 相关包 | 包名见 SDK 页面 |
Token 用量 | 查看输入输出 token 消耗 | 高用量可能提示 prompt 或回复过长 | 无 |
延迟(Latency) | 运行响应时间 | 页面以超过 10 秒作为排查提示 | 阈值待核实(2026-11-05 获取) |
运行成功率 | 完成运行的比例 | 页面以低于 95% 作为排查提示 | 阈值待核实(2026-11-05 获取) |
持续评测每小时运行上限 | 限制评测规则的触发次数 | 页面称默认每小时 100 次 | 待核实(2026-11-05 获取) |
定期评测、红队扫描、告警 | 按计划评测、安全扫描、阈值告警 | 页面标注为预览 | 预览状态待核实 |
验证
- Traces 列表中出现与刚才运行对应的新记录,并显示时间、耗时与状态。
- Monitor 标签中运行指标与评测图表在所选时间范围内有数据。
- 持续评测规则为启用状态,评测运行列表中的状态为已完成(Completed)。
排错
现象 | 可能原因 | 处理 |
看不到任何 trace | 未连接 Application Insights;没有近期流量;摄取有延迟 | 确认连接,产生新的 agent 调用,等待数分钟后刷新 |
查询或查看时报授权错误 | 缺少 Log Analytics Reader;受保护表缺少 Privileged Monitoring Data Reader | 在连接资源的 Access control (IAM) 中分配角色 |
自有应用的 trace 不出现 | 插桩包未安装或未正确配置 | 检查包安装,并按 SDK 页面的客户端追踪说明核对 |
敏感内容出现在 trace 中 | prompt、工具参数或输出含个人或敏感数据 | 写入 telemetry 前脱敏;页面建议对敏感内容使用单独表并限制访问(页面引用,未读,待核实) |
仪表板图表为空 | 时间范围不含数据;流量为零;摄取延迟 | 扩大时间范围,产生流量后刷新 |
持续评测无结果 | 规则未启用;托管身份缺少 Foundry User;达到每小时上限 | 检查规则状态与角色分配,必要时调整上限 |
限制与待核实
- trace 可能包含用户输入、模型输出与工具参数,应视为生产遥测,套用相同的访问控制与保留策略。
- 追踪的 GA 状态:页面称 prompt agent 与 hosted agent 已正式可用,workflow 与外部 agent 为预览(待核实)。
- 仪表板的“定期评测”“红队扫描”“告警”标注为预览,功能与配额待核实。
- 自定义 agent 若在 Foundry 外运行,需先注册到控制平面,再将 trace 发送到同一个 Application Insights 实例,具体步骤未读取,待核实。
来源与核对
- sources:见页头 sources 列表(追踪设置页、监控仪表板页、追踪概念页、观测概念页)。
- read_scope:正文已读。以上四页正文已通读;页面中引用的角色说明与 SDK 示例仅记录要点,未逐一核对。
上一篇
运行评测
下一篇
可观测性概览
Loading...