月明的文档中心 分享AI实践与思考
入门
上手
教程
基础
概念解释
Microsoft Foundry
开发工具
操作指南
参考
治理与网络
工具与知识
概念解释
操作指南
Agent Service
总览
概念解释
Azure OpenAI
API 与开发
总览
Azure AI Search
权限与安全
参考
检索概念
概念解释
快速上手
教程
Foundry Tools
其他与已退役
总览
概念解释
RAG 与知识工程
智能体与工具
MCP 与 Skills
操作指南
基础
评测、观测与安全
安全
评测
概念解释
参考
企业架构与成本
解决方案场景
样例与学习资源
附录
内容安全概览
Azure AI Content Safety（属于 Foundry Tools）是检测有害内容的 AI 服务，既可用于用户生成内容，也可用于 AI 生成内容，提供文本与图像 API。
为什么需要
页面列出的典型场景包括：
- 提交给生成式 AI 服务的用户提示（prompt）。
- 生成式模型输出的内容。
- 电商、游戏、社交与媒体平台的用户生成内容审核。
- K-12 教育场景中的不当内容过滤。
内容过滤有助于应用满足合规要求，或维持预期的使用环境。
能力地图
类别 | 能力 | 用途 | 页面标注状态 |
有害内容分析 | Analyze text、Analyze image | 检测性内容、暴力、仇恨与公平、自伤，并给出多级严重度 | 未标注预览 |
AI 安全与提示防护 | Prompt Shields | 检测用户输入中针对大语言模型的越狱攻击 | 未标注预览 |
AI 安全与提示防护 | Groundedness detection | 检测模型回复是否基于提供的源材料 | 预览 |
AI 安全与提示防护 | Protected material text detection | 检测 AI 生成文本中的受保护内容（如歌词、文章） | 未标注预览 |
AI 安全与提示防护 | Task adherence API | 检测智能体的工具调用是否偏离用户意图 | 待核实 |
自定义检测 | Custom categories（standard） | 训练自定义内容类别，检测文本匹配 | 预览 |
自定义检测 | Custom categories（rapid） | 快速定义新出现的有害内容模式，检测文本与图像 | 预览 |
与相邻能力的关系
- 内容安全检测能力也以护栏（guardrails）形式用于 Foundry 模型部署；护栏的阻止级别说明见“检测与阻止策略”。
- 与内容理解相比，内容安全聚焦于判定内容是否有害，不做字段抽取。
管理工具
工具 | 说明 |
Content Safety Studio | 在线工具，可测试文本与图像审核、配置内容过滤与黑名单、监控调用指标 |
内置术语黑名单 | 页面称 Studio 包含 Microsoft 内置的术语黑名单，也可上传自定义黑名单 |
审核工作流 | 页面描述 Studio 可建立持续监控与改进的审核流程 |
安全与身份
- 托管标识在创建资源时自动启用。
- 支持 Microsoft Entra ID；可为用户分配 Cognitive Services User 与 Reader 角色。
- 支持静态数据加密，并可使用客户管理密钥（CMK）。
语言与模型支持
- 受保护材料检测、基础性（groundedness）检测与自定义类别（standard）仅支持英文。
- 其他模型页面称已针对中文、英文、法语、德语、西班牙语、意大利语、日语与葡萄牙语进行训练与测试，其他语言效果可能有差异。
定价与配额
- 定价层为 F0 与 S0。
- 页面速率表（待核实，2026-11-05 获取）：F0 下文本与图像审核为 5 RPS；S0 下文本与图像审核为 1000 RP10S，基础性检测为 50 RPS。具体数值以定价与配额页面为准。
限制与待核实
- 不能用于检测非法儿童性剥削图像（页面明确说明）。
- 页面称以下公开预览能力将于 2027-04-30 退役：Analyze Multimodal、Custom categories（rapid，含文本与图像）、连接式与断开式 Content Safety 容器、嵌入式 Content Safety SDK、Groundedness detection。迁移建议见各功能页面，本页未核对。
- API 版本弃用策略：预览版本在新预览版本发布后 90 天弃用；GA 版本在新 GA 版本发布后 90 天弃用（前提是兼容）。具体版本待核实。
- 支持的区域与输入长度上限：待核实（2026-11-05 获取）。
来源与核对
- 来源：What is Azure AI Content Safety?（Microsoft Learn，https://learn.microsoft.com/en-us/azure/ai-services/content-safety/overview）
- 核对范围：正文已读。本页核对了概述、功能表、适用场景、Studio、安全、语言、速率与退役提示；各功能的概念页与 API 细节未读。
- 获取日期：2026-11-05。
上一篇
内容安全快速开始
下一篇
内容理解快速开始
Loading...