运行评测

适用场景

• 上线前：用测试数据或模拟对话检验 agent 的行为、工具调用与安全表现。

• 上线后：对真实会话或已采集的 trace 做评测，监控生产质量。

• 模型对比：用同一数据集比较不同模型部署的表现。

前提

选择评测方式

步骤

1. 进入入口：左侧 Evaluation 页面点击 Create；或从模型页、agent 页的 Evaluation 标签进入；也可在 agent playground 的 Metrics 中选择 Run full evaluation。

2. 选择评测对象：Agent、Model、Dataset 或 Traces。Traces 会按所选 agent 与时间范围从 Application Insights 检索 trace。

3. 选择范围（仅 Agent 与 Dataset 对象需要）：完整对话或单轮。模型评测始终按单轮。

4. 选择数据来源：

• 模拟数据：上传场景描述数据集，选择模拟用户的模型，设置每个场景的对话数与最大轮数。

• 已有对话：设置抽样数量与时间范围，再勾选具体会话。

• 合成数据：用提示词生成测试查询，需要支持 Responses API 的模型。

• 已有数据集或已有 trace：选择项目数据资产中的文件或时间范围内的 trace。

1. 配置 agent（仅 Agent 对象）：可修改评测时使用的系统提示，并设置用户提示模板，默认 {{item.query}}。

2. 字段映射（使用已有数据时）：完整对话需要 messages 与 tool_definitions；单轮需要 query 与 response，context、ground_truth、tool_calls 等为可选。未识别的字段需手动指定列。

3. 选择评测器：

• Agent 评测器（仅单轮）：意图解析、任务遵循、工具选择与调用准确性等。

• 质量评测器：连贯性、基于依据性、相关性、流畅性、任务完成度等。

• 安全评测器（仅单轮）：暴力、性内容、自伤、仇恨与不公平等。

• 自定义评测器：使用项目中已定义的评测器。

1. 命名并提交，在 Evaluation 列表中查看状态。

参数表

验证

• 评测列表中该项的状态依次为进行中（In Progress），最终为已完成（Completed）。

• 状态为部分完成（Partial）表示部分评测器失败；状态为失败（Failed）表示整体出错，需查看错误信息。

• 打开结果页查看各评测器的分数与逐条解释。

排错

限制与待核实

• 完整对话范围、以及图像与音频的多模态评测为预览（待核实）。音频仅支持 WAV 格式（页面说明）。

• AI 辅助评测会调用判分模型，产生模型消耗；评测计费按消耗计算，单价待核实（2026-11-05 获取）。

• 不同区域对 agent playground、批量评测、安全评测、数据生成的支持范围不同，区域清单以评测限制页面为准（待核实）。

• 评测运行结果的保留期限，页面未说明，待核实。

来源与核对

• sources：见页头 sources 列表（门户评测操作页、观测概念页、评测区域与限制页）。

• read_scope：正文已读。门户评测操作页已通读；区域与限制页仅用于速率限制与存储说明。