OmniRoute Vollständiger Leitfaden: Kostenloses KI-Gateway, ein Endpunkt für 268+ Large Language Models

TL;DR — OmniRoute ist ein quelloffenes KI-Gateway unter MIT-Lizenz, das 268+ KI-Anbieter (davon 50+ komplett kostenlos) über einen einzigen lokalen Endpunkt bündelt. Mit Auto-Fallback, RTK-Kompression (15–95 % Token-Einsparung), 18 Routing-Strategien und direkter Anbindung an Claude Code, Cursor, Codex und andere Dev-Tools. Auf GitHub 23k+ Sterne, 500+ Mitwirkende.

Warum OmniRoute?

Wenn du gleichzeitig mehrere KI-Dienste nutzt – OpenAI, Claude, Gemini, DeepSeek, Kimi – kennst du bestimmt diese Probleme:

• Jedes Tool braucht seinen eigenen API-Key: Claude Code eine .env, Cursor eine Einstellung, Codex noch eine andere Konfiguration
• Freikontingente sind überall verstreut: Jeder Anbieter hat ein Free Tier, aber das manuell zu verwalten ist nervig
• Ein Dienst fällt aus, der ganze Workflow stockt: Ohne automatisches Fallback musst du manuell wechseln
• Token-Kosten außer Kontrolle: Du weißt nicht, welche Anfrage wie viel kostet

Genau dafür wurde OmniRoute gebaut. Es läuft lokal als Gateway auf deinem Rechner. Alle KI-Tools verbinden sich einfach mit http://localhost:11411/v1 – OmniRoute übernimmt im Hintergrund das Routing zum besten Modell und Anbieter.

Kernfunktionen im Überblick

Installation

Methode 1: Docker (empfohlen)

# Image ziehen
docker pull ghcr.io/diegosouzapw/omniroute:latest

# Starten (Standard-Port 11411)
docker run -d \
  --name omniroute \
  -p 11411:11411 \
  -v omniroute-data:/app/data \
  ghcr.io/diegosouzapw/omniroute:latest

Methode 2: Direkt mit Node.js

# Node.js 20+ erforderlich
git clone https://github.com/diegosouzapw/OmniRoute.git
cd OmniRoute
npm install
npm start

Methode 3: Desktop-Client

Lade das Installationsprogramm für deine Plattform von GitHub Releases herunter: - Windows: OmniRoute-Setup.exe - macOS: OmniRoute-x.x.x.dmg - Linux: OmniRoute-x.x.x.AppImage

Nach dem Start rufe http://localhost:11411/dashboard auf, um das Admin-Panel zu öffnen.

Schnellstart: Erster Provider in 5 Minuten

Schritt 1: API-Key hinzufügen

Öffne das Dashboard → Providers und klicke auf Add Provider:

Provider: OpenAI
API Key:  sk-xxxxx（dein OpenAI-Key）

Wiederhole den Schritt für weitere Anbieter. Die kostenlosen Provider in OmniRoute:

Schritt 2: Verbindung testen

Sende im Playground-Bereich des Dashboards eine Testnachricht:

# Oder per curl testen
curl http://localhost:11411/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "auto",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

Wenn eine normale Antwort zurückkommt, ist die Konfiguration erfolgreich.

Schritt 3: Deine Dev-Tools anbinden

Am Beispiel von Claude Code – setze einfach die Umgebungsvariablen:

export ANTHROPIC_BASE_URL=http://localhost:11411/v1
export ANTHROPIC_API_KEY=any  # OmniRoute benötigt lokal keinen echten Key

Für Cursor-Nutzer: Settings → Models → Base URL auf http://localhost:11411/v1 setzen, API Key beliebig.

Fortgeschrittene Funktionen

18 Routing-Strategien im Detail

OmniRoutes Stärke liegt in der Vielfalt der Routing-Strategien – für jedes Szenario die passende:

Auto-Combo-Modi (Empfehlung für Einsteiger)

Setze das Modell auf die auto-Serie – OmniRoute wählt automatisch basierend auf 12 Faktoren (Health, Quota, Kosten, Latenz, Erfolgsquote …):

Beispiel:

curl http://localhost:11411/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "auto/coding",
    "messages": [
      {"role": "system", "content": "Du bist ein Python-Programmierassistent"},
      {"role": "user", "content": "Schreib einen Quicksort in Python"}
    ]
  }'

Erweiterte Routing-Strategien

Neben den Auto-Modi unterstützt OmniRoute auch manuell zusammengestellte Strategien:

# OmniRoute Konfigurationsbeispiel
combos:
  - name: "Produktion"
    strategy: "cost-optimized"  # Kostenoptimierung
    targets:
      - provider: "openai"
        model: "gpt-4o-mini"
      - provider: "deepseek"
        model: "deepseek-chat"
      - provider: "groq"
        model: "llama-3.3-70b"

  - name: "Hochwertige Kreation"
    strategy: "fusion"  # Multi-Modell-Fusion + Jury
    targets:
      - provider: "anthropic"
        model: "claude-4-sonnet"
      - provider: "google"
        model: "gemini-2.5-pro"
      - provider: "openai"
        model: "gpt-4o"

Strategie-Erklärungen:

• priority — Der Reihe nach abarbeiten, wenn einer leer ist, weiter zum nächsten
• fill-first — Erst alle Targets bis zur Quota auffüllen, dann wechseln
• weighted — Zufällige Verteilung nach Gewichtung
• cost-optimized — Wählt das günstigste Modell aus dem Echtzeit-Preiskatalog
• context-relay — Kontextübergabe zwischen Targets, ideal für lange Gespräche
• fusion — Sendet gleichzeitig an mehrere Modelle, ein Jury-Modell synthetisiert die beste Antwort
• pipeline — Kette: Jeder Target-Output wird Input für den nächsten

Token-Kompression: RTK + Caveman

OmniRoute hat zwei Kompressions-Engines eingebaut, die API-Kosten deutlich senken:

• RTK (Relevant Token Keeper) — Filtert redundante Tokens, behält den wichtigen Kontext
• Caveman — Strukturierte Kompression mit speziellen Optimierungen für Chinesisch (Klassisch-Modus), Deutsch, Französisch und Japanisch

Kombiniert lassen sich in der Praxis 15–95 % der Token-Kosten einsparen:

# Kompression in der Anfrage aktivieren
curl http://localhost:11411/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "auto",
    "compression": {
      "engines": ["rtk", "caveman"],
      "mode": "aggressive"  # balanced | aggressive | conservative
    },
    "messages": [...]
  }'

Kompressionsmodi im Vergleich:

Quota-Share (Kontingent-Teilung)

Wenn du mehrere API-Keys desselben Anbieters hast (z. B. zwei OpenAI-Accounts), verteilt Quota-Share das Kontingent fair:

quota_share:
  provider: "openai"
  policy: "soft"  # hard | soft | burst
  keys:
    - key: "sk-xxx1"
      weight: 50
    - key: "sk-xxx2"
      weight: 30
    - key: "sk-xxx3"
      weight: 20

• hard — Strenge Begrenzung, bei Überschreitung wird abgelehnt
• soft — Nach Überschreitung wird die Priorität gesenkt, aber nicht abgelehnt
• burst — Kann ungenutzte Anteile mitverwenden

Praxisbeispiele: Claude Code + OmniRoute

Szenario 1: Kostenloser Coding-Workflow (null Kosten)

Komplett mit Free Providern arbeiten:

# 1. OmniRoute konfigurieren, folgende Free Provider hinzufügen:
#    - Google Gemini (60 Anfr./Min.)
#    - DeepSeek (Registrierungsguthaben)
#    - Groq (30 Anfr./Min.)
#    - Mistral (Registrierungsguthaben)

# 2. auto/cheap Modus setzen
export ANTHROPIC_BASE_URL=http://localhost:11411/v1
export ANTHROPIC_API_KEY=any

# 3. Claude Code ausführen, automatisches Routing zu Free-Modellen
claude 'Hilf mir, die Verzeichnisstruktur dieses Python-Projekts umzubauen'

Szenario 2: Hochverfügbare Coding-Umgebung (Auto-Fallback)

# Fallback-Kette: Claude → GPT-4o → Gemini → DeepSeek
# OmniRoute wechselt automatisch bei jedem Ausfall

export ANTHROPIC_BASE_URL=http://localhost:11411/v1
export ANTHROPIC_API_KEY=any

# Selbst wenn Claude ausfällt, dein Workflow läuft weiter
claude 'Analysiere die Speichersicherheit dieses Rust-Codes'

Szenario 3: Multi-Modell-Vergleich (Fusion-Modus)

curl http://localhost:11411/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "auto",
    "strategy": "fusion",
    "messages": [
      {"role": "user", "content": "Erkläre das Ownership-Modell von Rust mit Code-Beispielen"}
    ]
  }'

Im Fusion-Modus werden mehrere Modelle parallel angefragt und ein Jury-Modell (z. B. GPT-4o-mini) synthetisiert die beste Gesamtantwort. Ideal für Szenarien mit höchsten Qualitätsansprüchen an Code.

Vergleich mit anderen KI-Gateways

Fazit

OmniRoute ist eines der funktionsreichsten Open-Source-KI-Gateways am Markt. Es löst die drei großen Probleme des Multi-Provider-Managements:

1. Einheitlicher Zugang — Ein Endpunkt für alle KI-Tool-Konfigurationen
2. Intelligentes Routing — 18 Strategien + Auto-Fallback, immer erreichbar
3. Kostenoptimierung — Free-Tier-Bündelung + Token-Kompression, sofort spürbare Einsparungen

Für Entwickler, die täglich mit KI-Coding-Tools arbeiten, ist OmniRoute eine klare Empfehlung für den Tech-Stack. MIT-Lizenz, aktive Community (500+ Mitwirkende), häufige Updates (v3.8.20 → v3.8.49) – da lohnt sich ein Blick.

Projektseite: github.com/diegosouzapw/OmniRoute ⭐ 23k+ Sterne

Nützlich gefunden? Gib OmniRoute einen Stern auf GitHub oder teile deine Konfiguration in den Kommentaren! Wenn dich KI-Gateways, LLM-Routing und ähnliche Themen interessieren, bleib dran bei dashen-tech.com.