月明的文档中心 分享AI实践与思考
入门
上手
教程
基础
概念解释
Microsoft Foundry
开发工具
操作指南
参考
治理与网络
工具与知识
概念解释
操作指南
Agent Service
总览
概念解释
Azure OpenAI
API 与开发
总览
Azure AI Search
权限与安全
参考
检索概念
概念解释
快速上手
教程
Foundry Tools
其他与已退役
总览
概念解释
RAG 与知识工程
智能体与工具
MCP 与 Skills
操作指南
基础
评测、观测与安全
安全
评测
概念解释
参考
企业架构与成本
解决方案场景
样例与学习资源
附录
Agent 评测方法
本页解释如何为 AI agent 设计评测：在模型选型、上线前测试和上线后监控三个阶段，分别关注什么、用什么工具和指标。
为什么需要
agent 不只生成文本，还会规划步骤、调用工具、跨多轮对话。只看最终回答的质量，无法发现工具选错、参数错误、步骤绕远路、任务偏离或越权动作。Microsoft Foundry 的可观测性（observability）概念把评测、监控、追踪三类能力放在同一条生命周期里看待。
核心概念
概念 | 含义 | 要点 |
Evaluator（评估器） | 评分方法 | 有的是确定性计算，有的由 judge 模型打分并给出解释；可用内置或自定义 |
Evaluation level（评测层级） | 按单轮或整段对话打分 | turn 为默认值；conversation 需要 messages 格式数据 |
Tracing（追踪） | 记录 LLM 调用、工具调用、agent 决策与服务依赖 | 基于 OpenTelemetry；页面列出支持 LangChain、LangGraph、OpenAI Agents SDK、Microsoft Agent Framework |
Red teaming（红队测试） | 用模拟攻击探测安全与安全性漏洞 | 页面提到 AI red teaming agent 基于 PyRIT 框架，最好配合人工参与 |
Continuous evaluation（持续评测） | 对生产流量按采样率评测 | 上线后使用 |
Scheduled evaluation（定期评测） | 用固定测试集定期评测，发现系统漂移 | 上线后使用 |
Guardrail（护栏） | 在运行时对输入、工具调用、工具返回、输出做控制 | 与评测不同：护栏是拦截，评测是度量 |
三个阶段
阶段 | 目标 | 常用手段 |
基础模型选择 | 比较模型的质量、任务表现、伦理与安全画像 | Foundry 模型基准（model benchmark）；Azure AI Evaluation SDK 测试指定模型端点 |
上线前评测 | 确认 agent 是否可以上线，找出边缘案例 | 自带数据评测（bring your own data）；内置或自定义 evaluator；AI red teaming agent |
上线后监控 | 发现真实流量中的质量与安全问题 | 运营指标；持续评测；定期评测；定期红队测试；Azure Monitor 告警 |
图注说明：该图展示 AI 应用生命周期的三个阶段（模型选择、构建应用、运营化）。来源：Observability in Generative AI - Microsoft Foundry
Agent 相关 evaluator
下表列出官方参考页中的 agent evaluator。预览状态只记录页面标注的内容，并以 2026-11-05 获取为准，待核实。
Evaluator | 衡量什么 | 预览状态（待核实，2026-11-05 获取） |
Task Adherence | agent 是否按系统指令跟进已识别的任务 | 预览 |
Task Completion | 是否端到端完成用户请求的任务 | 预览 |
Intent Resolution | 是否准确识别并响应用户意图 | 预览 |
Customer Satisfaction | 整段对话的满意度（页面列出六个维度） | 预览 |
Task Navigation Efficiency | 步骤序列是否接近预期或最优路径 | 页面未标注预览 |
Tool Call Accuracy | 工具调用的整体质量：选择、参数、效率 | 页面未标注预览 |
Tool Selection | 是否选择了最合适、最高效的工具 | 页面未标注预览 |
Tool Input Accuracy | 工具参数是否正确（如类型、格式、完整性） | 页面未标注预览 |
Tool Output Utilization | 是否正确理解并使用工具返回结果 | 页面未标注预览 |
Tool Call Success | 工具调用是否在技术层面成功执行 | 页面未标注预览 |
批量组合型 evaluator 把多项判断合并为一次 judge 调用：Output Quality（预览）合并流畅度、连贯性、意图解析、任务遵循、有据性（groundedness）与任务完成；Tool Use Quality（预览）合并五个工具类 evaluator。
按应用类型组合 evaluator
应用类型 | 页面给出的组合 | 说明 |
Agent 应用 | Output Quality + Tool Use Quality + Rubric + Content Safety | Rubric 为预览，待核实 |
RAG 应用 | Retrieval + Groundedness + Relevance + Content Safety | 检索与回答两端都覆盖 |
所有应用 | 增加风险与安全 evaluator（Hate and Unfairness、Sexual、Violence、Self-Harm） | 负责任 AI 的基本覆盖 |
与相邻概念的区别
对比项 | 关注点 | 典型问题 |
模型基准 | 不同模型之间横向比较 | 该选哪个模型 |
Agent 评测 | 单个 agent 的规划、工具调用与输出 | agent 是否把事情做对了 |
运行时护栏 | 实时拦截输入、工具调用、工具返回与输出 | 这一次请求是否要阻止 |
运营监控 | 生产环境中的延迟、错误、token 与质量趋势 | 系统是否在退化 |
限制与待核实
- 计费：页面说明风险与安全评测、agent playground 中的评测按消费计费。具体价格待核实，请以 Azure 定价页为准，本页不列价格。
- 区域、速率限制与虚拟网络支持：页面指向单独的参考页，本页未读取，待核实。
- 默认开关：页面说明 agent playground 中的评测默认开启，关闭需要取消所有 evaluator 的勾选。
- judge 模型类 evaluator 会给出解释，但评分结果仍需与人工抽检对照。这是编写者的建议，未在来源中逐条核实。
- 各 evaluator 的具体评分范围与阈值，本页未逐一核实，待核实。
- 追踪的具体配置步骤未在本页展开。
来源与核对
- 来源 URL：
- https://learn.microsoft.com/en-us/azure/foundry/concepts/observability
- https://learn.microsoft.com/en-us/azure/foundry/concepts/built-in-evaluators
- https://learn.microsoft.com/en-us/azure/foundry/guardrails/guardrails-overview
- 核对范围：正文已读（Observability 概念页与 Built-in Evaluators 参考页均已读取正文；护栏概览页用于区分护栏与评测）。
- 获取日期：2026-11-05。预览状态、区域、计费与数字均以该日期的页面为准，待核实。
上一篇
评测指标与方法
下一篇
单 Agent 与多 Agent 选型
Loading...