OmniRoute 完全指南：免费 AI 网关，一个端点接入 268+ 大模型

TL;DR — OmniRoute 是一个 MIT 协议的开源 AI 网关，把 268+ 个 AI 提供商（含 50+ 免费）聚合成一个本地端点。支持自动降级、RTK 压缩节省 15-95% token、18 种路由策略，可直接对接 Claude Code、Cursor、Codex 等编程工具。GitHub 23k+ stars，500+ 贡献者。

为什么需要 OmniRoute？

如果你同时使用多个 AI 服务——OpenAI、Claude、Gemini、DeepSeek、Kimi——你一定遇到过这些痛点：

  • 每个工具都要单独配 API Key：Claude Code 一个 .env，Cursor 一个设置，Codex 又一个配置
  • 免费额度分散在各处：每家都有免费 tier，但手动管理太累
  • 某个服务挂了，整个工作流中断：没有自动降级，只能手动切换
  • Token 费用不可控：不知道哪个请求花了多少钱

OmniRoute 就是为了解决这些问题而生的。它在你本地跑一个网关，所有 AI 工具只需连接 http://localhost:11411/v1，OmniRoute 在背后帮你路由到最优的模型和提供商。

核心特性一览

特性 说明
268+ 提供商 OpenAI、Anthropic、Google、DeepSeek、Kimi、GLM、MiniMax 等，含 50+ 永久免费
500+ 模型 GPT-4o、Claude 4、Gemini 2.5、DeepSeek V4、Qwen 3 等主流模型全覆盖
18 种路由策略 优先级、加权、成本优化、上下文接力、融合评判等
RTK + Caveman 压缩 叠加式 token 压缩，节省 15-95% token 费用
自动降级 (Auto-fallback) 配额耗尽或服务故障时自动切换到下一个可用模型
104 个 MCP 工具 内置 MCP 服务器，支持 3 种传输方式
A2A 协议 Agent-to-Agent 通信，支持 6 种技能
多平台 Web、Desktop (Electron)、Termux、PWA
43 种语言 完整国际化支持

安装

方式一：Docker（推荐）

# 拉取镜像
docker pull ghcr.io/diegosouzapw/omniroute:latest

# 启动（默认端口 11411）
docker run -d \
  --name omniroute \
  -p 11411:11411 \
  -v omniroute-data:/app/data \
  ghcr.io/diegosouzapw/omniroute:latest

方式二：Node.js 直接运行

# 需要 Node.js 20+
git clone https://github.com/diegosouzapw/OmniRoute.git
cd OmniRoute
npm install
npm start

方式三：桌面客户端

从 GitHub Releases 下载对应平台的安装包： - Windows: OmniRoute-Setup.exe - macOS: OmniRoute-x.x.x.dmg - Linux: OmniRoute-x.x.x.AppImage

启动后访问 http://localhost:11411/dashboard 即可看到管理面板。

快速上手：5 分钟配置第一个 Provider

Step 1: 添加 API Key

打开 Dashboard → Providers 页面，点击 Add Provider：

Provider: OpenAI
API Key:  sk-xxxxx（你的 OpenAI Key）

重复此步骤添加更多提供商。OmniRoute 支持的所有免费提供商包括：

提供商 免费额度 模型
Google Gemini 60 req/min gemini-2.5-pro, gemini-2.5-flash
DeepSeek 注册赠送余额 deepseek-chat, deepseek-coder
Groq 30 req/min llama-3.3-70b, gemma-2
Mistral 注册赠送余额 mistral-large, codestral
Kimi (Moonshot) 注册赠送余额 moonshot-v1-auto

Step 2: 测试连接

在 Dashboard 的 Playground 页面发送一条测试消息：

# 或者用 curl 测试
curl http://localhost:11411/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "auto",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

如果返回正常响应，说明配置成功。

Step 3: 连接你的编程工具

以 Claude Code 为例，只需设置环境变量：

export ANTHROPIC_BASE_URL=http://localhost:11411/v1
export ANTHROPIC_API_KEY=any  # OmniRoute 本地不需要真实 key

Cursor 用户：Settings → Models → Base URL 填入 http://localhost:11411/v1，API Key 填任意值。

进阶功能

18 种路由策略详解

OmniRoute 的核心竞争力在于其丰富的路由策略，可以针对不同场景选择最优方案：

自动组合模式（推荐入门）

设置 model 为 auto 系列，OmniRoute 会根据 12 个因素（健康度、配额、成本、延迟、成功率…）自动评分选择：

Model ID 优化目标
auto 🎯 均衡默认（LKGP — 锁定上次成功的提供商）
auto/coding 🧑💻 代码生成质量优先
auto/fast ⚡ 最低延迟优先
auto/cheap 💰 最便宜 per token 优先
auto/offline 🔋 剩余配额最多优先
auto/smart 🔭 质量优先 + 10% 探索新模型

使用示例：

curl http://localhost:11411/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "auto/coding",
    "messages": [
      {"role": "system", "content": "你是一个 Python 编程助手"},
      {"role": "user", "content": "用 Python 写一个快速排序"}
    ]
  }'

高级路由策略

除自动模式外，OmniRoute 还支持手动编排的高级策略：

# OmniRoute 配置示例
combos:
  - name: "生产环境"
    strategy: "cost-optimized"  # 成本优化
    targets:
      - provider: "openai"
        model: "gpt-4o-mini"
      - provider: "deepseek"
        model: "deepseek-chat"
      - provider: "groq"
        model: "llama-3.3-70b"

  - name: "高质量创作"
    strategy: "fusion"  # 多模型融合 + 评判
    targets:
      - provider: "anthropic"
        model: "claude-4-sonnet"
      - provider: "google"
        model: "gemini-2.5-pro"
      - provider: "openai"
        model: "gpt-4o"

策略说明：

  • priority — 按顺序排空，一个用完切下一个
  • fill-first — 先填满每个目标的配额再切
  • weighted — 按权重随机分配
  • cost-optimized — 从实时价格目录中选择最便宜的
  • context-relay — 跨目标传递上下文，适合长对话
  • fusion — 同时发给多个模型，由评判模型合成最佳答案
  • pipeline — 链式处理，每个目标输出作为下一个的输入

Token 压缩：RTK + Caveman

OmniRoute 内置双引擎 token 压缩，可以显著降低 API 费用：

  • RTK（Relevant Token Keeper） — 过滤冗余 token，保留关键上下文
  • Caveman — 结构化压缩，对中文（文言文模式）、德语、法语、日语有专门优化

两者叠加使用，在实际场景中可节省 15-95% 的 token 费用：

# 在请求中启用压缩
curl http://localhost:11411/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "auto",
    "compression": {
      "engines": ["rtk", "caveman"],
      "mode": "aggressive"  # balanced | aggressive | conservative
    },
    "messages": [...]
  }'

压缩模式对比：

模式 压缩率 质量影响 适用场景
conservative 15-30% 几乎无影响 精确代码生成
balanced 30-60% 轻微影响 日常对话
aggressive 60-95% 明显影响 快速头脑风暴

配额共享 (Quota-Share)

如果你有多个 API Key 属于同一个提供商（比如两个 OpenAI 账号），Quota-Share 可以在它们之间公平分配配额：

quota_share:
  provider: "openai"
  policy: "soft"  # hard | soft | burst
  keys:
    - key: "sk-xxx1"
      weight: 50
    - key: "sk-xxx2"
      weight: 30
    - key: "sk-xxx3"
      weight: 20
  • hard — 严格限制，超出配额则拒绝
  • soft — 超出后降优先级，不拒绝
  • burst — 可以使用空闲份额

实战案例：Claude Code + OmniRoute

场景一：免费编程工作流（零成本）

完全使用免费提供商搭建编程环境：

# 1. 配置 OmniRoute，添加以下免费提供商
#    - Google Gemini (60 req/min)
#    - DeepSeek (注册赠送)
#    - Groq (30 req/min)
#    - Mistral (注册赠送)

# 2. 设置 auto/cheap 模式
export ANTHROPIC_BASE_URL=http://localhost:11411/v1
export ANTHROPIC_API_KEY=any

# 3. 运行 Claude Code，自动路由到免费模型
claude '帮我重构这个 Python 项目的目录结构'

场景二：高可用编程环境（自动降级）

# 配置 fallback 链：Claude → GPT-4o → Gemini → DeepSeek
# OmniRoute 会在任意环节自动降级

export ANTHROPIC_BASE_URL=http://localhost:11411/v1
export ANTHROPIC_API_KEY=any

# 即使 Claude 服务挂了，你的工作流不会中断
claude '帮我分析这段 Rust 代码的内存安全问题'

场景三：多模型对比（Fusion 模式）

curl http://localhost:11411/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "auto",
    "strategy": "fusion",
    "messages": [
      {"role": "user", "content": "解释 Rust 的所有权模型，并用代码示例说明"}
    ]
  }'

Fusion 模式会同时请求多个模型，然后由评判模型（如 GPT-4o-mini）综合生成最佳答案，适合对代码质量要求极高的场景。

与其他 AI 网关的对比

特性 OmniRoute LiteLLM OpenRouter Portkey
提供商数量 268+ ~100 ~30 ~20
免费提供商 50+ 极少 少 少
路由策略 18 种 3 种 1 种 2 种
Token 压缩 RTK + Caveman 无 无 无
MCP 支持 104 工具 基础 无 有限
开源协议 MIT MIT 商业 商业
桌面客户端 有 无 无 无

总结

OmniRoute 是目前功能最全面的开源 AI 网关之一。它解决了多提供商管理的三大痛点：

  1. 统一接入 — 一个端点搞定所有 AI 工具的配置
  2. 智能路由 — 18 种策略 + 自动降级，永远在线
  3. 成本优化 — 免费 tier 聚合 + token 压缩，立竿见影省钱

对于日常使用 AI 编程工具的开发者来说，OmniRoute 是一个值得加入技术栈的项目。它 MIT 协议、社区活跃（500+ 贡献者）、更新频繁（v3.8.20 → v3.8.49），值得持续关注。

项目地址： github.com/diegosouzapw/OmniRoute ⭐ 23k+ stars

觉得有用？ 给 OmniRoute 点个 Star，或者在评论区分享你的配置方案！如果你对 AI 网关、LLM 路由等话题感兴趣，欢迎持续关注 dashen-tech.com。