语音 agent

适用场景

• 需要实时口语交互，例如客服、呼叫中心或语音助手。

• 不想自己托管语音识别、回合检测与语音合成的编排服务。

前提

• 一个 Foundry 项目，并且对项目具有 Foundry User 角色。

• 项目可用的语音模型（官方示例为 gpt-realtime），在项目的“模型”页面确认。

• 订阅已获得语音提示词智能体的预览访问权限，并确认项目所在区域支持该预览。

• 门户路径：支持麦克风与扬声器的浏览器。SDK 路径：Python 3.10 或更高版本，并已 az login。

步骤（门户）

1. 登录 Microsoft Foundry 门户，打开目标项目的“智能体”页面。

2. 选择“构建智能体”（Build an agent），输入唯一的智能体名称。

3. 在“交互模式”中选择“语音”。注意：创建后不能更改交互模式。

4. 选择一个用例，用于生成默认指令。

5. 选择“创建智能体并打开 playground”。

6. 在 playground 中审阅并修改指令，检查模型、音频与工具设置。

7. 保存并启动会话，用麦克风完成一轮对话，确认能听到语音回复。

步骤（SDK，Python）

1. 安装 azure-ai-projects（官方示例要求 2.8.0 或更高版本）。

2. 创建 AIProjectClient 时设置 allow_preview=True。

3. 通过 beta.voice_agents 管理语音会话与会话记录；标准的 agents 接口创建语音定义时同样需要 allow_preview=True。

4. 按需选择示例：自然语言生成定义、显式定义，或使用自带模型的部署。

配置项

预期结果

• 门户 playground 中能完成语音对话。

• 对话结束后，可在追踪或监控中看到语音会话的记录（需已连接 Application Insights）。

常见问题

渠道与限制

• 电话渠道：官方支持 Teams Phone 可扩展性与 Twilio 电话号码；官方说明目前不把直接 SIP 作为受支持的客户流程。

• 头像：通过 WebRTC 在浏览器中输出画面，电话呼叫者只能听到音频。

• 评测：目前支持对已有完整会话进行评测；单轮评测与模拟会话评测不支持。

• 预览：语音智能体为预览功能，官方称不提供 SLA，不建议用于生产负载。

• 区域、模型、语音、定价与电话渠道的可用性：待核实（2026-11-05 获取）。

来源与核对

• 来源：Quickstart: Create a voice-based prompt agent（https://learn.microsoft.com/en-us/azure/foundry/agents/quickstarts/prompt-voice-agent）

• 来源：What is Microsoft Foundry Agent Service?（https://learn.microsoft.com/en-us/azure/foundry/agents/overview）

• 核对范围：正文已读（快速入门的前置条件、门户步骤与排错表已读，SDK 示例已读其结构；概述页的语音章节已读）。定价与各语言的完整代码未逐条核对。