WhichLLM Komplettanleitung: Finde mit einem Klick das beste lokale LLM für deine Hardware

Dev-Tools 2026-06-10 LLM KI Lokale Modelle Open-Source-Tools Benchmarking

Warum brauchst du WhichLLM?

Lokale Large Language Models (LLMs) auszuführen ist für Entwickler längst zur Normalität geworden. Ob du Qwen mit Ollama laufen lässt, GGUF-Modelle mit llama.cpp nutzt oder LM Studio zum Laden von Modellen einsetzt – Entwickler stehen vor einem gemeinsamen Problem:

Welche Modelle kann meine Hardware überhaupt stemmen? Und welches Modell läuft auf meinem Gerät am besten?

Auf HuggingFace gibt es Hunderttausende von Modellen. Die Größen reichen von 1,5B bis 72B Parametern, und die Quantisierungsmethoden umfassen Q4_K_M, Q5_K_M, Q8_0 und mehr. Wenn du blind ein 70B-Modell herunterlädst und erst nach stundenlangem Warten merkst, dass dein VRAM nicht ausreicht, hast du nur Zeit verschwendet.

WhichLLM wurde genau für dieses Problem entwickelt. Es erkennt automatisch deine Hardware-Konfiguration, vergleicht echte Benchmark-Daten (nicht nur Parameterzahlen) und liefert dir innerhalb einer Sekunde die beste Modell-Empfehlung für deine Hardware.

Kernfunktionen im Überblick

Feature	Beschreibung
Automatische Erkennung	Erkennt NVIDIA/AMD/Apple Silicon/CPU-Konfigurationen automatisch
Intelligentes Ranking	Basiert auf echten Benchmarks (LiveBench, Aider, Open LLM Leaderboard etc.), nicht auf reiner Parameterzahl
Zeitliche Gewichtung	Ältere Modelle rücken nicht vor neuen Modellen, nur weil sie historisch gut abgeschnitten haben
GPU-Simulation	Teste die Performance, bevor du deine Grafikkarte aufrüstest: `whichllm --gpu "RTX 5090"`
One-Click-Chat	Lade das empfohlene Modell herunter und starte direkt einen interaktiven Chat
Code-Snippets	Generiere sofort lauffähigen Python-Inferenzcode
Upgrade-Planung	Vergleiche deinen aktuellen Rechner mit potenziellen Upgrades

Installation

WhichLLM bietet mehrere Installationsmethoden. Empfohlen wird uv oder Homebrew:

Methode 1: uv (empfohlen, keine Installation nötig)

BASH

# Einmalige Ausführung (ohne Installation)
uvx whichllm@latest

# Global installieren
uv tool install whichllm

# Aktualisieren
uv tool upgrade whichllm

Methode 2: Homebrew

BASH

brew install andyyyy64/whichllm/whichllm

Methode 3: pip

BASH

pip install whichllm

Nach der Installation führst du einfach whichllm aus, um loszulegen.

Schnellstart

Automatische Erkennung und Modell-Empfehlung

Du musst nichts konfigurieren. Führe einfach aus:

BASH

whichllm

Beispielausgabe:

#1 Qwen/Qwen3.6-27B 27.8B Q5_K_M  score 92.8  27 t/s
#2 Qwen/Qwen3-32B  32.0B Q4_K_M  score 83.0  31 t/s
#3 Qwen/Qwen3-30B-A3B 30.0B Q5_K_M  score 82.7  102 t/s

WhichLLM hat deine GPU/CPU/RAM automatisch erkannt und die passendsten Modelle empfohlen, sortiert nach Gesamtpunktzahl. Beachte, dass Platz 3 ein MoE-Modell (Mixture of Experts) ist – obwohl die Gesamtparameterzahl hoch ist, sind die aktiven Parameter gering, weshalb es viel schneller läuft.

Hardware-Informationen anzeigen

BASH

whichllm hardware

Beispielausgabe:

GPU: NVIDIA RTX 4090 (24 GB VRAM)
CPU: AMD Ryzen 9 7950X (16 Kerne)
RAM: 64 GB

Das hilft dir, deine Hardware-Konfiguration besser zu verstehen – besonders wenn du dir bei deinem GPU-Modell oder der VRAM-Größe unsicher bist.

Erweiterte Funktionen

GPU-Simulation: Teste neue Grafikkarten vor dem Kauf

Denkst du über ein Upgrade auf eine RTX 5090 nach und möchtest wissen, welche Modelle sie stemmen kann? WhichLLM kann jede GPU simulieren:

BASH

# RTX 5090 simulieren
whichllm --gpu "RTX 5090"

# RTX 4060 simulieren
whichllm --gpu "RTX 4060"

# Benutzerdefiniertes VRAM
whichllm --gpu "RTX 5060 16"

Beispielausgabe:

#1 Qwen/Qwen3.6-27B 27.8B Q6_K    score 94.7  ~40 t/s
#2 Qwen/Qwen3-32B  32.0B Q5_K_M  score 88.0  ~38 t/s

Das ist extrem praktisch, um vor dem Hardware-Kauf fundierte Entscheidungen zu treffen.

Upgrade-Planung: Vergleiche den Upgrade-Nutzen

Du möchtest von einer RTX 4090 auf eine RTX 5090 upgraden und想知道 wie viel Verbesserung dich erwartet?

BASH

whichllm upgrade "RTX 4090" "RTX 5090" "H100"

Die Ausgabe zeigt dir für jede Konfiguration die empfohlenen Modelle, Punktzahlen und Geschwindigkeiten – alles auf einen Blick.

Reverse-Planung: Welche GPU brauchst du für ein bestimmtes Modell?

BASH

# Welche Grafikkarte brauchst du für Llama 3 70B?
whichllm plan "llama 3 70b"

# Qwen2.5-72B in Q8_0-Quantisierung
whichllm plan "Qwen2.5-72B" --quant Q8_0

# Lange Kontext-Fenster
whichllm plan "mistral 7b" --context-length 32768

Die Ausgabe verrät dir, wie viel VRAM du benötigst, welche GPU empfohlen wird und welche Performance du erwarten kannst.

One-Click-Chat: Sofort loslegen

Nach der Modell-Empfehlung kannst du direkt einen Chat starten:

BASH

# Ein bestimmtes Modell herunterladen und chatten
whichllm run "qwen 2.5 1.5b gguf"

# Bestes Modell automatisch auswählen und chatten
whichllm run

WhichLLM erstellt automatisch eine isolierte Umgebung, lädt das Modell herunter und startet einen interaktiven Dialog.

Python-Code-Snippets generieren

Wenn du ein Modell in deiner eigenen Anwendung verwenden möchtest, kann WhichLLM direkt lauffähigen Python-Code generieren:

BASH

whichllm snippet "qwen 7b"

Ausgabe:

PYTHON

from llama_cpp import Llama

llm = Llama.from_pretrained(
    repo_id="Qwen/Qwen2.5-7B-Instruct-GGUF",
    filename="qwen2.5-7b-instruct-q4_k_m.gguf",
    n_ctx=4096,
    n_gpu_layers=-1,
    verbose=False,
)

output = llm.create_chat_completion(
    messages=[{"role": "user", "content": "Hello!"}],
)
print(output["choices"][0]["message"]["content"])

Einfach kopieren und einfügen – kein langes Durchsuchen von Dokumentationen nötig.

Erweiterte Konfigurationsoptionen

Nach Anwendungsfall filtern

WhichLLM unterstützt das Filtern von Modellen nach Aufgabentyp:

BASH

# Bestes Modell für Programmierung auswählen
whichllm --profile code

# Allgemeine Konversation
whichllm --profile general

# Mathematisches Reasoning
whichllm --profile math

# Vision/Multimodal
whichllm --profile vision

Nach Quantisierungspräzision filtern

BASH

# Nur Q4_K_M-Quantisierung empfehlen
whichllm --quant Q4_K_M

# Mehr Ergebnisse anzeigen
whichllm --top 20

# Minimale Geschwindigkeitsanforderung
whichllm --min-speed 30

Evidenz-Level-Kontrolle

WhichLLM kennzeichnet die Evidenzstufe jeder Modell-Punktzahl. Du kannst die Vertrauenswürdigkeit der Empfehlungen steuern:

BASH

# Strenger Modus: Nur Modelle mit direkten Benchmark-Daten
whichllm --evidence strict

# Basis-Modus: Cross-Generation-Matching innerhalb derselben Modellfamilie erlaubt
whichllm --evidence base

JSON-Ausgabe: Skript-Integration

Integriere WhichLLM in automatisierte Workflows:

BASH

# HuggingFace-ID des besten Modells abrufen
whichllm --top 1 --json | jq -r '.models[0].model_id'

# Vollständige Informationen der besten Coding-Modelle
whichllm --profile code --top 3 --json | jq '.models[] | {name: .model_id, score: .score, speed: .estimated_tok_per_sec}'

Beispielausgabe:

JSON

{
  "models": [
    {
      "model_id": "Qwen/Qwen3.6-27B-GGUF",
      "score": 92.8,
      "estimated_tok_per_sec": 27.3,
      "speed_confidence": "high",
      "quant": "Q5_K_M"
    }
  ]
}

Das Scoring-System im Detail

Das Scoring-System ist das Herzstück von WhichLLM und verdient eine eigene Erklärung.

Datenquellen

WhichLLM aggregiert Benchmark-Daten aus folgenden Quellen:

LiveBench – Echtzeit-generierte, aktuellste Evaluierungen
Artificial Analysis – Unabhängige Testplattform von Drittanbietern
Aider – AI-Coding-Assistant-Benchmark
Chatbot Arena ELO – Crowdsourced-Bewertungen von LMSYS
Open LLM Leaderboard – Offizielle HuggingFace-Rangliste
Multimodale/Vision-Benchmarks – Falls zutreffend

Scoring-Regeln

Größer ist nicht immer besser: Ein 27B-Modell mit höherer Punktzahl rangiert vor einem 32B-Modell
Zeitlicher Decay: Modelle aus 2024 verdrängen keine neuen Modelle aus 2026, nur wegen historischer High-Scores
Konfidenz-Klassifizierung: Jede Punktzahl ist mit einer Evidenzstufe gekennzeichnet: - direct – Direkte Benchmark-Daten für dieses Modell und diese Quantisierung - variant – Daten von derselben Modellfamilie, aber anderer Quantisierung - base – Daten des Basismodells (Cross-Generation-Inferenz) - interpolated – Interpolierte Schätzung - self-reported – Vom Entwickler selbst gemeldete Daten
Anti-Fraud-Mechanismus: Unglaubwürdige gefälschte Uploads werden abgelehnt, damit kleine modifizierte Modelle nicht die Scores großer Modelle kapern

Praxis: Die besten Optionen für verschiedene Hardware

Basierend auf den neuesten WhichLLM-Daten (Juni 2026) sehen die Empfehlungen für verschiedene Hardware-Konfigurationen so aus:

Hardware	VRAM	Beste Empfehlung	Geschwindigkeit
RTX 5090	32 GB	Qwen3.6-27B Q6_K (Score 94.7)	~40 t/s
RTX 4090 / 3090	24 GB	Qwen3.6-27B Q5_K_M (Score 92.8)	~27 t/s
RTX 4060	8 GB	Qwen3-14B Q3_K_M (Score 71.0)	~22 t/s
Apple M3 Max	36 GB	Qwen3.6-27B Q5_K_M (Score 89.4)	~9 t/s
Reine CPU	—	gpt-oss-20b (MoE) Q4_K_M (Score 45.2)	~6 t/s

💡 Hinweis: MoE-Modelle (Mixture of Experts) haben deutlich weniger aktive Parameter als ihre Gesamtparameterzahl. Deshalb laufen sie auf derselben Hardware viel schneller. WhichLLMs Scoring-System berücksichtigt dies bereits.

Vergleich mit ähnlichen Tools

Feature	WhichLLM	Ollama	LM Studio	LocalAI
Automatische Empfehlung des besten Modells	✅	❌	❌	❌
GPU-Simulation	✅	❌	❌	❌
Benchmark-basiertes Ranking	✅	❌	❌	❌
Upgrade-Planung	✅	❌	❌	❌
Code-Snippet-Generierung	✅	❌	❌	❌
One-Click-Chat	✅	✅	✅	✅
JSON-Ausgabe	✅	✅	❌	❌
Leichte CLI	✅	✅	❌	✅

Ollama bleibt eine großartige Wahl zum Ausführen von Modellen, aber WhichLLM löst das Problem der Modell-Auswahl. Die beiden Tools ergänzen sich also perfekt: Nutze WhichLLM, um das beste Modell zu finden, und Ollama (oder ein anderes Tool), um es auszuführen.

Praxis-Szenarien

Szenario 1: Kaufentscheidung für eine neue Grafikkarte

Du möchtest von einer RTX 3060 upgraden und hast genug Budget für eine RTX 5070 oder eine gebrauchte RTX 4090:

BASH

# Aktuelle Hardware simulieren
whichllm --gpu "RTX 3060"

# Upgrade-Optionen simulieren
whichllm upgrade "RTX 3060" "RTX 5070" "RTX 4090"

Vergleiche die Ausgaben und sieh, welche Modelle jede Karte stemmen kann und wie schnell sie läuft – so triffst du eine rationale Entscheidung.

Szenario 2: Modell-Empfehlung für dein Projekt

Dein Team entwickelt ein lokales RAG-System und muss ein Inferenzmodell auswählen:

BASH

# Mit CI-Server-Konfiguration testen
whichllm --gpu "RTX 4090" --profile code --json | jq

Nutze die JSON-Ausgabe, um sie direkt in deine Entscheidungs-Dokumentation zu integrieren.

Szenario 3: Deployment auf Edge-Geräten

BASH

# CPU-only-Modus
whichllm --cpu-only --top 10

Finde die besten kleinen Modelle für CPU-Inferenz – ideal für IoT- oder Embedded-Szenarien.

Häufig gestellte Fragen

F: Lädt WhichLLM Modelle lokal herunter?

A: Standardmäßig fragt whichllm nur die HuggingFace-API und lokale Cache-Daten ab – es lädt keine Modelle herunter. Nur der Befehl whichllm run lädt Modelle herunter.

F: Wie aktualisiere ich die Modelldaten?

BASH

whichllm --refresh

Erzwinge einen Cache-Refresh, um die neuesten Modelle von HuggingFace abzurufen.

F: Was tun ohne Internetverbindung?

A: WhichLLM hat einen eingebauten Cache-Mechanismus. Im Offline-Modus verwendet es zuvor gecachte Snapshot-Daten.

F: Unterstützt WhichLLM AMD-Grafikkarten?

A: Ja, WhichLLM unterstützt NVIDIA, AMD, Apple Silicon und reinen CPU-Modus.

Zusammenfassung

WhichLLM löst ein Kernproblem, mit dem lokale LLM-Entwickler konfrontiert sind: In der riesigen Modellauswahl das passendste Modell für die eigene Hardware zu finden. Die Highlights sind:

Evidenz-basiertes intelligentes Ranking – Nicht einfach nach Parametergröße sortiert, sondern kombiniert echte Benchmark-Daten mit zeitlicher Gewichtung
GPU-Simulationsfunktion – Teste die Performance vor dem Hardware-Kauf und vermeide Impulskäufe
One-Click-Integration – Von der Empfehlung über den Chat bis zur Code-Generierung: Ein Tool für alles
Skript-fähig – JSON-Ausgabe ermöglicht einfache Integration in automatisierte Workflows

Egal, ob du gerade erst in lokale LLMs einsteigst oder ein Produktionssystem aufbaust – WhichLLM spart dir stundenlanges Trial-and-Error.

Projekt-Informationen: - GitHub: github.com/Andyyyy64/whichllm - Lizenz: MIT - Installation: pip install whichllm oder brew install andyyyy64/whichllm/whichllm

WhichLLM Tutorial: Automatische GPU/CPU/RAM-Erkennung, präzise Empfehlung des passendsten lokalen LLM aus HuggingFaces riesiger Modellauswahl. Mit GPU-Simulation, One-Click-Chat und Code-Snippet-Generierung – so wählst du ganz einfach das beste lokale KI-Modell.