类别	Evaluator	衡量什么	备注
通用质量	Coherence	回答的逻辑一致性与行文连贯	AI 辅助
通用质量	Fluency	语言自然度与可读性	AI 辅助
文本相似度	Similarity	回答与参考文本的语义相似度	AI 辅助
文本相似度	F1 Score	回答与参考答案在 token 上的精确率与召回率的调和平均	需要参考答案
文本相似度	BLEU / GLEU / ROUGE / METEOR	回答与参考答案的 n-gram 重叠程度（BLEU 常用于翻译）	需要参考答案
RAG	Retrieval	检索结果对回答的有效程度	检索环节
RAG	Document Retrieval	在给定参考答案时，检索结果的准确性	需要参考答案
RAG	Groundedness	回答是否基于检索到的上下文，评分为 1–5 分（页面描述）	模型判断，数值待核实
RAG	Groundedness Pro	回答是否基于上下文，输出二元 pass/fail，不需要模型部署	预览（待核实，2026-11-05 获取）
RAG	Relevance	回答与问题的相关程度	生成环节
RAG	Response Completeness	回答是否缺少关键信息（相对参考答案）	预览（待核实，2026-11-05 获取）
风险与安全	Hate and Unfairness	偏见、歧视或仇恨内容	风险类
风险与安全	Sexual	不当性内容	风险类
风险与安全	Violence	暴力内容或煽动	风险类
风险与安全	Self-Harm	鼓励或描述自伤的内容	风险类
风险与安全	Protected Materials	未经授权使用受保护内容	风险类
风险与安全	Indirect Attack（XPIA）	回答是否中了通过检索上下文注入的间接越狱	风险类
风险与安全	Code Vulnerability	生成代码中的安全问题	风险类
风险与安全	Ungrounded Attributes	从用户交互中推断出的虚构或错误信息	风险类
风险与安全	Prohibited Actions	agent 是否执行了明确禁止的行为	agent 风险类
风险与安全	Sensitive Data Leakage	agent 是否泄露敏感信息	agent 风险类
自定义	Rubric	按加权的自定义标准打分，结果归一化到 0–1，并给出各维度理由	预览（待核实，2026-11-05 获取）
自定义	Custom evaluators	自定义评分逻辑、校验规则与指标	预览（待核实，2026-11-05 获取）
Azure OpenAI graders	Model Labeler、String Checker、Text Similarity、Model Scorer	按自定义规则分类、校验文本模式、评分	页面列出，细节待核实

agent 类 evaluator（Task Adherence、Tool Call Accuracy 等）的完整列表见“Agent 评测方法”页。

评测层级

层级	取值	含义	约束
单轮	`turn`	逐个 agent 回复打分	默认值
整段对话	`conversation`	对完整多轮对话打分，如任务完成、整体连贯	需要 messages 格式数据；query-and-response 格式不支持

在同一次运行中，messages 格式的数据可以同时包含单轮与对话级 evaluator。设为 conversation 时，服务只运行支持对话级评测的 evaluator，跳过仅支持单轮的 evaluator。

按应用类型组合

应用类型	组合
RAG 应用	Retrieval + Groundedness + Relevance + Content Safety
Agent 应用	Output Quality + Tool Use Quality + Rubric + Content Safety
翻译应用	BLEU + METEOR + Fluency + Coherence
所有应用	增加风险与安全 evaluator（Hate and Unfairness、Sexual、Violence、Self-Harm）

选择指南

问题	优先考虑的类别	原因
有没有参考答案？	有：文本相似度与 Document Retrieval；没有：通用质量、RAG、风险类	参考答案决定能否使用重叠类指标
答案是否依据检索内容？	RAG 类（Groundedness、Groundedness Pro）	直接衡量是否有据可依
是否涉及工具调用？	agent 类与 agent 风险类	通用指标无法覆盖工具参数与步骤
是否面向终端用户？	风险与安全类	页面建议所有应用都覆盖

版本或变更说明

本页依据 Built-in Evaluators Reference 页面获取，页面元数据标注的发布日期为 2026-09-09，最近更新为 2026-10-08（以抓取页面为准，待核实）。

预览状态会随版本变化，表中带“预览”的项目均需在使用前再次确认。

2026-11-05 之后的变更未纳入本页。

限制与待核实

数字与评分范围（如 Groundedness 的 1–5 分）以官方页面为准，待核实（2026-11-05 获取）。

AI 辅助 evaluator 的区域支持、速率限制与虚拟网络支持见官方对应参考页，本页未读取，待核实。

部分 agent evaluator 与风险类 evaluator 的适用层级（turn 或 conversation）以 evaluator 目录中的 supported_evaluation_levels 字段为准，本页未逐一核实。

文本相似度类指标（BLEU、ROUGE 等）衡量的是字面重叠，不等于语义正确。这是编写者的解释，未在来源中逐条核实。

来源与核对

来源 URL：

https://learn.microsoft.com/en-us/azure/foundry/concepts/built-in-evaluators

https://learn.microsoft.com/en-us/azure/foundry/concepts/observability

核对范围：正文已读（Built-in Evaluators Reference 参考页已读取正文；Observability 概念页用于对照组合建议）。

获取日期：2026-11-05。预览状态、数字与版本信息均以该日期的页面为准，待核实。

Prompt Injection 与防护

Agent 评测方法

Last update: 2026-11-6

🎉Explore AI & LLM & Cloud

👏记录实践，分享思考👏

awesome_ai_copilot