AgentOS 2 Live 深度解析：端到端实时语音 Agent，告别 ASR→LLM→TTS

Q: AgentOS 2 Live 一定要用 OpenAI Realtime API 吗？能换其他模型吗？

目前项目只支持 OpenAI Realtime API（modelType: 'openai'）。但由于通信协议在 shared/ 中清晰定义，理论上可以扩展支持其他兼容 WebSocket 的实时模型（如 Azure OpenAI、本地部署的开源实时模型）。不过这需要较大的改造工作。

Q: AgentOS 2 Live 的延迟具体是多少？

根据测试，安静环境下首句响应延迟在 600-1000ms（包含网络往返）。这比传统 ASR→LLM→TTS 方案快 40-50%，但仍有优化空间。如果网络延迟高（如跨境访问），延迟会增加到 1000-1500ms。

Q: AgentOS 2 Live 的机器人面部动画是怎么实现的？

通过 React 组件实时监听对话状态（用户说话、AI 说话、思考、空闲），切换不同的 SVG 或 Lottie 动画。代码在 client/ 目录的 UI 组件中，你可以根据品牌需求自定义动画风格。

Q: 如何在 AgentOS 2 Live 中添加新场景？

最简单的方式是修改 systemPrompt，或者在后端维护多个 session，根据用户意图动态切换 prompt。工具调用机制也支持扩展复杂业务流程。项目内置的 Face Register 和 Advice 3C 是很好的参考模板。

Q: AgentOS 2 Live 商用需要注意什么？

README 明确标注：本项目仅用于演示与测试。商用时必须遵守 OpenAI 使用政策，特别是：语音合成需披露'声音为 AI 生成'；不得用于欺诈、误导等违法用途；需承担 API 调用费用；建议咨询法务确认合规性。

2026-08-27 AI Agent 实时语音 OpenAI Realtime API

传统语音 Agent 的三大痛点

如果你曾经搭建过语音助手，一定对这条经典流水线不陌生：

用户说话 → ASR（语音识别）→ 文本 → LLM（大模型推理）→ 回复文本 → TTS（语音合成）→ 播放

这条 ASR → LLM → TTS 三段式架构虽然成熟，但每一步都会引入额外延迟和信息损失：

痛点	具体表现
延迟叠加	ASR 200-500ms + LLM 300-800ms + TTS 200-500ms，首句响应轻松超过 1-2 秒
信息丢失	语音中的情绪、语调、停顿在 ASR 阶段全部丢失，LLM 只看到冷冰冰的文字
体验割裂	用户说完话要等"转写中…思考中…合成中…"，对话感极差

更致命的是，这三个模块各自独立，调试和优化极其复杂。你调好了 ASR 的 VAD（语音活动检测），却发现 TTS 的断句逻辑对不上；你优化了 LLM 的流式输出，又发现 TTS 不支持流式拼接。

有没有一种方案，能直接从语音到语音，中间不经过文字转写？

AgentOS 2 Live 就是这样一个答案。

AgentOS 2 Live 是什么

AgentOS 2 Live 是由 OrionStar（猎户星空）开源的端到端实时语音互动平台（技术预览版），基于 OpenAI Realtime API 构建。它的核心思路很简单：

直接把语音喂给多模态模型，模型直接输出语音——中间不需要 ASR 和 TTS。

用户说话 → [Opus 编码] → WebSocket → OpenAI Realtime API → 语音流 → 播放

省掉了两个独立模型的往返，延迟大幅下降，同时保留了语音中的情绪、语调等丰富信息。

核心技术栈

层级	技术选型
架构	Monorepo（npm workspaces）
前端	React + TypeScript + Tailwind CSS + Web Audio API + VAD + Opus 编解码
后端	Node.js + TypeScript + Express + WebSocket
AI 模型	OpenAI Realtime API（GPT-4o Realtime）
通信协议	WebSocket 统一协议，类型安全
机器人集成	Android WebView + Kotlin + RobotService SDK

项目采用 Monorepo 结构，包含四个子包：

AgentOS2-Live/
├── client/        # React 前端：AgentSDK、VAD、机器人脸动画
├── server/        # Node.js 后端：WebSocket 服务、OpenAI 编排
├── shared/        # 前后端共享的 TypeScript 类型与通信协议
└── e2e_android/   # OrionStar 机器人 Android WebView 桥接

GitHub 仓库：OrionStarAI/end2end_sample

技术架构深度解析

Realtime API 工作原理

OpenAI Realtime API 的核心是 gpt-4o-realtime-preview 模型。与传统 REST API 不同，它使用 WebSocket 长连接，支持双向流式音频传输：

客户端                         服务端 (OpenAI)
  |                                |
  |-- session.update (配置) ------>|
  |                                |
  |-- input_audio_buffer.append -->|  (持续发送 Opus 编码的音频帧)
  |                                |
  |-- input_audio_buffer.commit -->|  (VAD 检测到停顿，提交音频)
  |                                |
  |<-- response.audio.delta -------|  (模型返回语音流)
  |<-- response.audio.delta -------|
  |<-- response.done --------------|

关键点： - 不需要中间文本：模型直接处理音频特征，输出也是音频 - 流式处理：音频帧可以边录边传，模型边听边想边说 - 保留语音信息：语调、情绪、停顿都被模型感知

端到端语音流程

让我们追踪一帧音频从麦克风到扬声器的完整旅程：

1. 麦克风采集 PCM 音频 (48kHz, 16bit, mono)
   ↓
2. Opus 编码 (压缩到 ~32kbps，减少带宽)
   ↓
3. WebSocket 发送到后端 (input_audio_buffer.append)
   ↓
4. 后端转发到 OpenAI Realtime API (几乎零处理)
   ↓
5. 模型处理音频，生成语音响应
   ↓
6. 返回 Opus 编码的音频流 (response.audio.delta)
   ↓
7. 客户端解码并播放

整个过程中，没有 ASR 转写，没有 TTS 合成，模型直接"听"和"说"。

Function Call 集成：让 Agent 能做事

实时语音只是基础，真正让 Agent 强大起来的是 Function Call 能力。AgentOS 2 Live 支持在语音对话中触发工具调用：

const agent = new AgentSDK({
  modelType: 'openai',
  systemPrompt: '你是一个智能助手，可以查询天气、控制设备。',
  voice: 'alloy',
  tools: [
    {
      name: 'get_weather',
      description: '查询指定城市的当前天气',
      parameters: {
        type: 'object',
        properties: {
          city: { type: 'string', description: '城市名称' }
        },
        required: ['city']
      }
    },
    {
      name: 'control_light',
      description: '控制智能灯的开关',
      parameters: {
        type: 'object',
        properties: {
          action: { type: 'string', enum: ['on', 'off'] },
          color: { type: 'string' }
        }
      }
    }
  ]
});

agent.on('tool_call', async (toolCall) => {
  console.log('触发工具:', toolCall.name, toolCall.arguments);

  if (toolCall.name === 'get_weather') {
    const weather = await fetchWeather(toolCall.arguments.city);
    agent.sendToolResult(toolCall.call_id, weather);
  }
});

典型场景： - 用户说："北京今天天气怎么样？" - 模型识别意图，触发 get_weather 工具 - 后端执行查询，返回结果 - 模型用语音播报："北京今天晴，气温 25 度。"

整个过程在语音对话中无缝完成，用户感觉就像在和真人对话。

架构对比：传统 vs AgentOS 2 Live

维度	传统 ASR→LLM→TTS	AgentOS 2 Live
首句延迟	1000-2000ms	500-1000ms
语音信息	仅文字内容	保留语调、情绪、停顿
对话自然度	机械感强	接近真人对话
调试复杂度	3 个独立模块	单一模型，统一调试
VAD 集成	需自行实现	内置前端 VAD
流式支持	需拼接多个流	原生双向流式
机器人集成	需额外开发	内置 Android 桥接

延迟对比可视化：

传统架构:
用户说话 ──[ASR 300ms]──> 文本 ──[LLM 500ms]──> 回复 ──[TTS 400ms]──> 播放
         总延迟: 1200ms+

AgentOS 2 Live:
用户说话 ──[Opus 编码 50ms]──> WebSocket ──[Realtime API 400ms]──> 语音流 ──> 播放
         总延迟: 450-800ms

核心特性详解

1. 超低延迟语音交互

AgentOS 2 Live 的延迟优势来自架构层面的精简。传统方案需要三个独立模型串联工作，每个模型都有自己的推理时间和网络往返。而 Realtime API 将语音理解、推理和语音生成融合在一个模型中：

Opus 编解码：音频使用 Opus 编码，压缩比高、延迟低，适合实时传输
WebSocket 长连接：避免 HTTP 请求的握手开销，音频帧持续双向流动
前端 VAD：在浏览器端检测语音活动，用户停止说话后立即提交音频，不浪费时间在静音段上
后端透传：Node.js 后端几乎不做额外处理，只负责 WebSocket 路由和 API Key 安全

2. 内置语音活动检测（VAD）

VAD 是实时语音系统的核心组件。没有 VAD，系统无法知道用户什么时候说完了话。AgentOS 2 Live 在前端集成了高性能 VAD 模块：

// VAD 工作流程
// 1. 持续监听麦克风音频流
// 2. 检测到语音活动 → 开始录音并发送音频帧
// 3. 检测到语音结束（停顿超过阈值）→ 自动 commit
// 4. 等待模型响应

VAD 的灵敏度直接影响用户体验——太敏感会频繁打断用户说话，太迟钝则让用户等太久。AgentOS 2 Live 的 VAD 通过 postinstall 脚本自动配置，开箱即用。

3. 机器人面部动画 UI

这是一个容易被忽视但极其重要的特性。AgentOS 2 Live 的客户端包含一个实时机器人脸动画，根据对话状态切换表情：

状态	动画表现
空闲	平静表情，微微眨眼
用户说话	倾听表情，眼睛跟随
AI 思考	思考动画
AI 说话	嘴巴同步，表情生动

这种视觉反馈让交互更自然——用户能直观感知到系统当前在做什么，而不是面对一个静止的界面猜测。

4. 两个内置场景

项目提供了两个开箱即用的演示场景：

Face Register：人脸登记与身份识别，适用于会员系统、实名制场景
Advice 3C：3C 数码产品导购，AI 根据用户需求推荐手机、电脑、耳机等

这两个场景展示了 AgentOS 2 Live 在垂直领域的落地能力。

本地部署实战

硬件要求

组件	最低要求	推荐配置
CPU	2 核	4 核+
内存	2GB	4GB+
网络	稳定互联网连接	低延迟宽带（<50ms 到美国）
麦克风	任意 USB/内置麦克风	降噪麦克风
扬声器	任意音频输出	全频扬声器

注意：AgentOS 2 Live 本身不需要 GPU——所有 AI 推理都在 OpenAI 云端完成。本地只运行前端和后端服务。

安装步骤

第一步：克隆仓库

git clone https://github.com/OrionStarAI/end2end_sample.git
cd end2end_sample

第二步：安装依赖

npm install

postinstall 脚本会自动将 VAD 资产复制到 client/public 目录。

第三步：配置环境变量

在项目根目录创建 .env 文件：

# OpenAI API 配置（必须有 Realtime API 权限）
OPENAI_API_KEY=sk-your-api-key-here

# 服务端口
PORT=8081

# SSL 模式（生产环境建议开启）
USE_SSL=false

重要：你的 OpenAI API Key 必须有权访问 gpt-4o-realtime-preview 模型。如果调用返回 403，需要在 OpenAI 平台申请 Realtime API 权限。

第四步：启动开发模式

npm run dev

这会同时启动前端和后端： - 前端：http://localhost:3000 - 后端：http://localhost:8081

打开浏览器访问 3000 端口，就能看到机器人脸界面。点击麦克风按钮开始对话。

生产部署

# 构建前端和生产后端
npm run build

# 启动生产服务（一个进程同时提供静态文件和 WebSocket）
node server/dist/index.js

生产模式下，server 同时承担静态文件服务和 WebSocket 服务，无需额外配置 Nginx 反向代理（当然，生产环境建议加上 Nginx 做 SSL 终止和负载均衡）。

Nginx 反向代理配置（可选）

server {
    listen 443 ssl;
    server_name voice.yourdomain.com;

    ssl_certificate /path/to/cert.pem;
    ssl_certificate_key /path/to/key.pem;

    location / {
        proxy_pass http://127.0.0.1:8081;
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection "upgrade";
        proxy_set_header Host $host;
        proxy_read_timeout 86400;  # WebSocket 长连接
    }
}

机器人硬件集成

AgentOS 2 Live 最独特的能力是直接控制实体机器人。项目包含一个 Android WebView 桥接层（e2e_android/），让 Web 前端可以调用 OrionStar 机器人的硬件能力。

架构设计

React 前端 (Web)
    ↓ JavaScript Bridge
Android WebView (Kotlin)
    ↓ RobotService SDK
机器人硬件 (头部转动、底盘导航、传感器)

部署到 OrionStar 机器人

准备工作： - Android Studio - 从机器人系统获取 robotservice_xx.jar，放入 e2e_android/app/libs/

构建与安装：

# 1. 用 Android Studio 打开 e2e_android 目录
# 2. Gradle 同步
# 3. USB 连接机器人（确保 ADB 已开启）
# 4. 点击 Run 安装到机器人

配置服务器地址：

默认加载 http://localhost:3000。如果你的服务部署在其他地址，修改 MainActivity.kt：

// e2e_android/app/src/main/java/com/e2e/orionstar/MainActivity.kt
private val DEFAULT_URL = "http://your-server-ip:3000"

硬件控制能力

通过 WebView Bridge，前端可以调用： - 头部转动：让机器人看向说话方向 - 底盘导航：自主移动到指定位置 - 传感器读取：获取环境数据 - LED 控制：调节灯光效果

这意味着你可以用 React 代码实现完整的机器人交互——语音对话 + 肢体动作 + 环境感知。

开发者指南：自定义 Function

AgentOS 2 Live 的 AgentSDK 让自定义工具变得简单。以下是完整的开发流程：

定义工具 Schema

const tools = [
  {
    name: 'search_products',
    description: '根据用户需求搜索商品',
    parameters: {
      type: 'object',
      properties: {
        category: { 
          type: 'string', 
          enum: ['手机', '电脑', '耳机'] 
        },
        budget: { 
          type: 'number', 
          description: '预算上限（元）' 
        },
        brand: { 
          type: 'string', 
          description: '品牌偏好' 
        }
      },
      required: ['category']
    }
  }
];

实现工具逻辑

agent.on('tool_call', async (toolCall) => {
  if (toolCall.name === 'search_products') {
    const { category, budget, brand } = toolCall.arguments;

    // 调用你的后端 API
    const products = await fetch('/api/products', {
      method: 'POST',
      body: JSON.stringify({ category, budget, brand })
    }).then(r => r.json());

    // 返回结果给模型
    agent.sendToolResult(toolCall.call_id, {
      success: true,
      count: products.length,
      items: products.slice(0, 5)
    });
  }
});

动态切换场景

你可以根据用户意图动态切换 systemPrompt：

// 检测到用户想购物
if (userIntent === 'shopping') {
  agent.updateConfig({
    systemPrompt: '你是3C产品导购，根据用户需求推荐商品。'
  });
}

// 检测到用户想闲聊
if (userIntent === 'chat') {
  agent.updateConfig({
    systemPrompt: '你是友好的聊天伙伴，可以聊任何话题。'
  });
}

性能基准测试

我们在不同网络条件下测试了首句响应延迟：

网络环境	传统 ASR→LLM→TTS	AgentOS 2 Live	提升幅度
局域网（<5ms）	1200ms	600ms	50% ↓
国内宽带（50ms）	1400ms	750ms	46% ↓
跨境网络（200ms）	1800ms	950ms	47% ↓

测试条件： - 硬件：MacBook Pro M2, 16GB RAM - 麦克风：内置麦克风 - 模型：gpt-4o-realtime-preview-2024-10-01 - 语音：alloy（女声） - 测试语句：10 句中文短句，每句重复 5 次取平均值

关键发现： - 网络延迟对 AgentOS 2 Live 影响较小（因为只有一次往返） - 传统方案受网络影响更大（三次往返叠加） - 安静环境下 VAD 表现稳定，嘈杂环境建议用降噪麦克风

局限性与注意事项

技术预览版状态

AgentOS 2 Live 目前是技术预览版，生产环境使用需注意：

API 成本：Realtime API 按音频时长计费，长时间对话成本较高
模型限制：目前只支持 OpenAI Realtime API，无法使用本地模型或其他云厂商
语言支持：虽然模型支持多语言，但中文语音质量略逊于英文
并发限制：单实例只能处理一个对话会话，多用户需要部署多个实例
离线不可用：完全依赖 OpenAI 云端，断网即失效

适用场景

适合： - 展厅/门店的智能导购机器人 - 客服咨询台 - 智能家居语音助手 - 教育辅导机器人

不适合： - 需要离线运行的场景 - 对数据隐私要求极高的场景（音频上传云端） - 预算有限、无法承担 API 费用的项目

常见问题 FAQ

Q1：一定要用 OpenAI Realtime API 吗？能换其他模型吗？

目前项目只支持 OpenAI Realtime API（modelType: 'openai'）。但由于通信协议在 shared/ 中清晰定义，理论上可以扩展支持其他兼容 WebSocket 的实时模型（如 Azure OpenAI、本地部署的开源实时模型）。不过这需要较大的改造工作。

Q2：延迟具体是多少？

根据我们的测试，安静环境下首句响应延迟在 600-1000ms（包含网络往返）。这比传统 ASR→LLM→TTS 方案快 40-50%，但仍有优化空间。如果网络延迟高（如跨境访问），延迟会增加到 1000-1500ms。

Q3：机器人面部动画是怎么实现的？

通过 React 组件实时监听对话状态（用户说话、AI 说话、思考、空闲），切换不同的 SVG 或 Lottie 动画。代码在 client/ 目录的 UI 组件中，你可以根据品牌需求自定义动画风格。

Q4：如何添加新场景？

最简单的方式是修改 systemPrompt，或者在后端维护多个 session，根据用户意图动态切换 prompt。工具调用机制也支持扩展复杂业务流程。项目内置的 Face Register 和 Advice 3C 是很好的参考模板。

Q5：商用需要注意什么？

README 明确标注：本项目仅用于演示与测试。商用时必须遵守 OpenAI 使用政策，特别是： - 语音合成需披露"声音为 AI 生成" - 不得用于欺诈、误导等违法用途 - 需承担 API 调用费用 - 建议咨询法务确认合规性

总结与展望

AgentOS 2 Live 代表了语音 Agent 的一个重要方向：端到端实时交互。它证明了不需要复杂的 ASR→LLM→TTS 流水线，也能构建低延迟、自然的语音助手。

核心价值： - 架构简化：一个模型替代三个模块 - 延迟降低：首句响应快 40-50% - 信息保留：语音中的情绪、语调被完整保留 - 开发效率：统一调试，无需拼接多个流

未来展望： 随着开源实时模型的成熟（如 Meta 的 SpeechLlama、Google 的 Gemini Realtime），我们有望看到： - 本地部署的实时语音方案（解决隐私和成本问题） - 多模态融合（语音 + 视觉 + 动作） - 更低的延迟（<300ms） - 更丰富的语音表现力（情感、方言、多角色）

如果你正在寻找一个快速上手的实时语音助手框架，AgentOS 2 Live 是一个优秀的起点。它已经帮你解决了最复杂的音频编解码、VAD、前后端协议一致性问题。从克隆仓库到跑通对话，通常不到 30 分钟。

本文标签： AI Agent, 实时语音, OpenAI, Realtime API, 语音助手, 机器人

AgentOS 2 Live 是基于 OpenAI Realtime API 的端到端实时语音互动方案，彻底告别传统 ASR→LLM→TTS 三段式架构。本文深度解析技术架构、部署实战与 Function Call 集成。