OmniRoute 完整指南：免費 AI 閘道，一個端點接入 268+ 大模型

TL;DR — OmniRoute 是一個 MIT 授權的開源 AI 閘道，將 268+ 個 AI 供應商（含 50+ 免費）聚合成一個本機端點。支援自動降級、RTK 壓縮節省 15-95% token、18 種路由策略，可直接對接 Claude Code、Cursor、Codex 等程式設計工具。GitHub 23k+ stars，500+ 貢獻者。

為什麼需要 OmniRoute？

如果你同時使用多個 AI 服務——OpenAI、Claude、Gemini、DeepSeek、Kimi——你一定遇到過這些痛點：

  • 每個工具都要單獨設定 API Key：Claude Code 一個 .env，Cursor 一個設定，Codex 又一個設定
  • 免費額度分散在各處：每家都有免費方案，但手動管理太費力
  • 某個服務掛了，整個工作流程中斷：沒有自動降級，只能手動切換
  • Token 費用不可控：不知道哪個請求花了多少錢

OmniRoute 就是為了解決這些問題而生的。它在本機運行一個閘道，所有 AI 工具只需連接 http://localhost:11411/v1，OmniRoute 在背後幫你路由到最佳的模型和供應商。

核心特性一覽

特性 說明
268+ 供應商 OpenAI、Anthropic、Google、DeepSeek、Kimi、GLM、MiniMax 等，含 50+ 永久免費
500+ 模型 GPT-4o、Claude 4、Gemini 2.5、DeepSeek V4、Qwen 3 等主流模型全覆蓋
18 種路由策略 優先順序、加權、成本最佳化、上下文接力、融合評判等
RTK + Caveman 壓縮 疊加式 token 壓縮，節省 15-95% token 費用
自動降級 (Auto-fallback) 配額耗盡或服務故障時自動切換到下一個可用模型
104 個 MCP 工具 內建 MCP 伺服器，支援 3 種傳輸方式
A2A 協議 Agent-to-Agent 通訊，支援 6 種技能
多平台 Web、Desktop (Electron)、Termux、PWA
43 種語言 完整國際化支援

安裝

方式一：Docker（推薦）

# 拉取映像檔
docker pull ghcr.io/diegosouzapw/omniroute:latest

# 啟動（預設連接埠 11411）
docker run -d \
  --name omniroute \
  -p 11411:11411 \
  -v omniroute-data:/app/data \
  ghcr.io/diegosouzapw/omniroute:latest

方式二：Node.js 直接運行

# 需要 Node.js 20+
git clone https://github.com/diegosouzapw/OmniRoute.git
cd OmniRoute
npm install
npm start

方式三：桌面客戶端

從 GitHub Releases 下載對應平台的安裝包： - Windows: OmniRoute-Setup.exe - macOS: OmniRoute-x.x.x.dmg - Linux: OmniRoute-x.x.x.AppImage

啟動後存取 http://localhost:11411/dashboard 即可看到管理面板。

快速上手：5 分鐘設定第一個 Provider

Step 1: 新增 API Key

開啟 Dashboard → Providers 頁面，點擊 Add Provider：

Provider: OpenAI
API Key:  sk-xxxxx（你的 OpenAI Key）

重複此步驟新增更多供應商。OmniRoute 支援的所有免費供應商包括：

供應商 免費額度 模型
Google Gemini 60 req/min gemini-2.5-pro, gemini-2.5-flash
DeepSeek 註冊贈送餘額 deepseek-chat, deepseek-coder
Groq 30 req/min llama-3.3-70b, gemma-2
Mistral 註冊贈送餘額 mistral-large, codestral
Kimi (Moonshot) 註冊贈送餘額 moonshot-v1-auto

Step 2: 測試連線

在 Dashboard 的 Playground 頁面發送一條測試訊息：

# 或者用 curl 測試
curl http://localhost:11411/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "auto",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

如果返回正常回應，說明設定成功。

Step 3: 連接你的程式設計工具

以 Claude Code 為例，只需設定環境變數：

export ANTHROPIC_BASE_URL=http://localhost:11411/v1
export ANTHROPIC_API_KEY=any  # OmniRoute 本機不需要真實 key

Cursor 使用者：Settings → Models → Base URL 填入 http://localhost:11411/v1，API Key 填任意值。

進階功能

18 種路由策略詳解

OmniRoute 的核心競爭力在於其豐富的路由策略，可以針對不同場景選擇最佳方案：

自動組合模式（推薦入門）

設定 model 為 auto 系列，OmniRoute 會根據 12 個因素（健康度、配額、成本、延遲、成功率…）自動評分選擇：

Model ID 最佳化目標
auto 🎯 均衡預設（LKGP — 鎖定上次成功的供應商）
auto/coding 🧑‍💻 程式碼生成品質優先
auto/fast ⚡ 最低延遲優先
auto/cheap 💰 最便宜 per token 優先
auto/offline 🔋 剩餘配額最多優先
auto/smart 🔭 品質優先 + 10% 探索新模型

使用範例：

curl http://localhost:11411/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "auto/coding",
    "messages": [
      {"role": "system", "content": "你是一個 Python 程式設計助手"},
      {"role": "user", "content": "用 Python 寫一個快速排序"}
    ]
  }'

進階路由策略

除自動模式外，OmniRoute 還支援手動編排的進階策略：

# OmniRoute 設定範例
combos:
  - name: "生產環境"
    strategy: "cost-optimized"  # 成本最佳化
    targets:
      - provider: "openai"
        model: "gpt-4o-mini"
      - provider: "deepseek"
        model: "deepseek-chat"
      - provider: "groq"
        model: "llama-3.3-70b"

  - name: "高品質創作"
    strategy: "fusion"  # 多模型融合 + 評判
    targets:
      - provider: "anthropic"
        model: "claude-4-sonnet"
      - provider: "google"
        model: "gemini-2.5-pro"
      - provider: "openai"
        model: "gpt-4o"

策略說明：

  • priority — 按順序排空，一個用完切下一個
  • fill-first — 先填滿每個目標的配額再切
  • weighted — 按權重隨機分配
  • cost-optimized — 從即時價格目錄中選擇最便宜的
  • context-relay — 跨目標傳遞上下文，適合長對話
  • fusion — 同時發送給多個模型，由評判模型合成最佳答案
  • pipeline — 鏈式處理，每個目標輸出作為下一個的輸入

Token 壓縮：RTK + Caveman

OmniRoute 內建雙引擎 token 壓縮，可以顯著降低 API 費用：

  • RTK（Relevant Token Keeper） — 過濾冗餘 token，保留關鍵上下文
  • Caveman — 結構化壓縮，對中文（文言文模式）、德語、法語、日語有專門最佳化

兩者疊加使用，在實際場景中可節省 15-95% 的 token 費用：

# 在請求中啟用壓縮
curl http://localhost:11411/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "auto",
    "compression": {
      "engines": ["rtk", "caveman"],
      "mode": "aggressive"  # balanced | aggressive | conservative
    },
    "messages": [...]
  }'

壓縮模式對比：

模式 壓縮率 品質影響 適用場景
conservative 15-30% 幾乎無影響 精確程式碼生成
balanced 30-60% 輕微影響 日常對話
aggressive 60-95% 明顯影響 快速腦力激盪

配額共享 (Quota-Share)

如果你有多個 API Key 屬於同一個供應商（比如兩個 OpenAI 帳號），Quota-Share 可以在它們之間公平分配配額：

quota_share:
  provider: "openai"
  policy: "soft"  # hard | soft | burst
  keys:
    - key: "sk-xxx1"
      weight: 50
    - key: "sk-xxx2"
      weight: 30
    - key: "sk-xxx3"
      weight: 20
  • hard — 嚴格限制，超出配額則拒絕
  • soft — 超出後降優先順序，不拒絕
  • burst — 可以使用空閒份額

實戰案例：Claude Code + OmniRoute

場景一：免費程式設計工作流程（零成本）

完全使用免費供應商搭建程式設計環境：

# 1. 設定 OmniRoute，新增以下免費供應商
#    - Google Gemini (60 req/min)
#    - DeepSeek (註冊贈送)
#    - Groq (30 req/min)
#    - Mistral (註冊贈送)

# 2. 設定 auto/cheap 模式
export ANTHROPIC_BASE_URL=http://localhost:11411/v1
export ANTHROPIC_API_KEY=any

# 3. 運行 Claude Code，自動路由到免費模型
claude '幫我重構這個 Python 專案的目錄結構'

場景二：高可用程式設計環境（自動降級）

# 設定 fallback 鏈：Claude → GPT-4o → Gemini → DeepSeek
# OmniRoute 會在任意環節自動降級

export ANTHROPIC_BASE_URL=http://localhost:11411/v1
export ANTHROPIC_API_KEY=any

# 即使 Claude 服務掛了，你的工作流程不會中斷
claude '幫我分析這段 Rust 程式碼的記憶體安全問題'

場景三：多模型對比（Fusion 模式）

curl http://localhost:11411/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "auto",
    "strategy": "fusion",
    "messages": [
      {"role": "user", "content": "解釋 Rust 的所有權模型，並用程式碼範例說明"}
    ]
  }'

Fusion 模式會同時請求多個模型，然後由評判模型（如 GPT-4o-mini）綜合成生最佳答案，適合對程式碼品質要求極高的場景。

與其他 AI 閘道的對比

特性 OmniRoute LiteLLM OpenRouter Portkey
供應商數量 268+ ~100 ~30 ~20
免費供應商 50+ 極少 少 少
路由策略 18 種 3 種 1 種 2 種
Token 壓縮 RTK + Caveman 無 無 無
MCP 支援 104 工具 基礎 無 有限
開源授權 MIT MIT 商業 商業
桌面客戶端 有 無 無 無

總結

OmniRoute 是目前功能最全面的開源 AI 閘道之一。它解決了多供應商管理的三大痛點：

  1. 統一接入 — 一個端點搞定所有 AI 工具的設定
  2. 智慧路由 — 18 種策略 + 自動降級，永遠在線
  3. 成本最佳化 — 免費方案聚合 + token 壓縮，立竿見影省錢

對於日常使用 AI 程式設計工具的開發者來說，OmniRoute 是一個值得加入技術棧的專案。它 MIT 授權、社群活躍（500+ 貢獻者）、更新頻繁（v3.8.20 → v3.8.49），值得持續關注。

專案位址： github.com/diegosouzapw/OmniRoute ⭐ 23k+ stars

覺得有用？ 給 OmniRoute 點個 Star，或者在評論區分享你的設定方案！如果你對 AI 閘道、LLM 路由等話題感興趣，歡迎持續關注 dashen-tech.com。