月明的文档中心 分享AI实践与思考
入门
上手
教程
基础
概念解释
Microsoft Foundry
开发工具
操作指南
参考
治理与网络
工具与知识
概念解释
操作指南
Agent Service
总览
概念解释
Azure OpenAI
API 与开发
总览
Azure AI Search
权限与安全
参考
检索概念
概念解释
快速上手
教程
Foundry Tools
其他与已退役
总览
概念解释
RAG 与知识工程
智能体与工具
MCP 与 Skills
操作指南
基础
评测、观测与安全
安全
评测
概念解释
参考
企业架构与成本
解决方案场景
样例与学习资源
附录
可观测性概览
Microsoft Foundry 的可观测性（observability）指在 AI 应用全生命周期中，用评测、监控和追踪三类能力度量并改进输出的质量、安全性与运行状况。本页只解释概念，不含操作步骤。
为什么需要
- 生成式 AI 的输出可能不准确、缺少依据或包含有害内容，上线前后都需要系统化的度量，而不是只靠人工抽查。
- 一次 agent 运行往往包含多次模型调用和工具调用，出错位置难以从最终输出反推，需要按步骤查看执行过程。
- 上线后的质量会随流量、数据和模型版本变化，需要持续采样评测和告警，发现漂移。
核心概念
概念 | 解决的问题 | 产出的数据 | 页面中的要点 |
评测（Evaluation） | 输出的质量、安全与可靠性是否达标 | evaluator 评分与解释 | 内置 evaluator 覆盖连贯性、流畅性、基于依据性、相关性、安全性以及 agent 工具调用等；也可自定义 evaluator |
监控（Monitoring） | 上线后的运行与质量趋势 | 延迟、token 消耗、错误率、质量分数 | 与 Azure Monitor Application Insights 集成，可对质量阈值或有害内容设置告警 |
追踪（Tracing） | 一次运行中每一步发生了什么 | trace、span、工具调用记录 | 基于 OpenTelemetry；页面列出的支持框架包括 LangChain、LangGraph、OpenAI Agents SDK 与 Microsoft Agent Framework |
Evaluator | 具体的评分方法 | 分数，部分附带说明 | 确定性计算与 AI 辅助（由判分模型打分）两类 |
生命周期中的三个阶段
阶段 | 关注点 | 页面列出的工具或做法 |
基础模型选择 | 比较模型的任务表现、安全画像 | Foundry 模型基准测试；用 Azure AI Evaluation SDK 测试特定模型端点 |
上线前评测 | 数据集测试、边界场景、稳健性 | 评测向导或 Foundry SDK 对自有数据评测；AI 红队代理（AI red teaming agent）模拟攻击 |
上线后监控 | 运行指标、生产流量抽样评测、漂移 | Agent 监控仪表板；持续评测与定期评测；Azure Monitor 告警 |
与相邻能力的关系
对比对象 | 关注点 | 与可观测性的关系 |
Azure Monitor Application Insights | 通用遥测存储、查询与告警 | Foundry 的 trace 与监控数据存放于连接的 Application Insights 资源中 |
Foundry 评测 | 输出质量与安全评分 | 评测可针对数据集、会话或 trace 进行，结果可与 trace 关联 |
Foundry 控制平面（Control Plane） | 跨项目的 agent 车队治理视图 | 在控制平面中可汇总评测、监控与合规信号，并深链到对应页面 |
限制与待核实
- 评测与追踪的计费：页面说明按消耗计费，单价与免费额度待核实（2026-11-05 获取）。
- Agent playground 中的评测默认开启并计入消耗计费（页面说明），对具体订阅的影响待核实。
- AI 辅助 evaluator 的区域支持与评测运行的速率限制，待核实（2026-11-05 获取），详见评测相关页面。
- 追踪的敏感数据：trace 可能包含用户输入、模型输出和工具参数，需脱敏并按生产遥测管理权限与保留策略。
- 追踪的功能成熟度不一：页面称 prompt agent 与 hosted agent 的追踪已正式可用，workflow 与外部 agent 为预览（待核实）。
- OpenTelemetry GenAI 语义约定页面标注为开发中（Development），字段名可能变化。
- 多 agent 语义约定为联合贡献的扩展，实际 span 嵌套取决于所用框架，待核实。
来源与核对
- sources：见页头 sources 列表（观测概念页、追踪概念页、控制平面概览页）。
- read_scope：正文已读。观测概念页与追踪概念页已通读；控制平面概览页仅用于“可观测性与治理”的能力描述。
上一篇
追踪与监控
下一篇
为 agent 添加工具
Loading...