Ollama Kompletter Leitfaden 2026: Llama/Mistral LLMs lokal ausführen, KI-Entwicklung mit Datenschutz

# Methode 1: One-Click-Installation (empfohlen)
curl -fsSL https://ollama.com/install.sh | sh

# Methode 2: Über Homebrew
brew install ollama

# Installation prüfen
ollama --version

# One-Click-Installation (inklusive systemd-Service)
curl -fsSL https://ollama.com/install.sh | sh

# Manuelle Installation (Binary)
curl -fsSL https://ollama.com/install.sh | OLLAMA_INSTALL=1 sh

# Mit systemd verwalten
sudo systemctl start ollama
sudo systemctl enable ollama

# Prüfen
ollama --version

# Windows-Installer herunterladen
winget install Ollama.Ollama

# Oder von der Website
# https://ollama.com/download/OllamaSetup.exe

# Prüfen
ollama --version

# Offizielles Image pullen
docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

# Prüfen
docker exec ollama ollama list

ollama run llama3.2

# Lokal installierte Modelle anzeigen
ollama list

# Beispielausgabe:
# NAME                    ID              SIZE    MODIFIED
# llama3.2:latest         a1b2c3d4e5f6    2.0 GB  2 hours ago
# mistral:7b              f6e5d4c3b2a1    4.1 GB  1 day ago
# qwen2.5:14b             1a2b3c4d5e6f    8.9 GB  3 days ago

# Bestimmtes Modell herunterladen
ollama pull llama3.2
ollama pull mistral:7b
ollama pull qwen2.5:14b

# Bestimmte Version herunterladen
ollama pull llama3.2:3b

ollama run mistral:7b

# Einzelnes Modell löschen
ollama rm llama3.2

# Speicherbelegung aller Modelle anzeigen
du -sh ~/.ollama/models/*

FROM llama3.2:3b

# System-Prompt setzen
SYSTEM """
Du bist ein professioneller Python-Entwicklungsassistent.
Bitte antworte so:
1. Gib zuerst lauffähige Codebeispiele
2. Erkläre die Schlüssellogik
3. Weise auf Fallstricke und Optimierungen hin
"""

# Generierungsparameter anpassen
PARAMETER temperature 0.7
PARAMETER top_p 0.9
PARAMETER num_ctx 4096

# Modell erstellen
ollama create my-python-assistant -f Modelfile

# Benutzerdefiniertes Modell starten
ollama run my-python-assistant

# Text generieren (nicht-streamend)
curl http://localhost:11434/api/generate -d '{
  "model": "llama3.2",
  "prompt": "Schreibe einen Bubble-Sort in Python",
  "stream": false
}'

# Chat-Format (Multi-Turn-Gespräch)
curl http://localhost:11434/api/chat -d '{
  "model": "llama3.2",
  "messages": [
    {"role": "system", "content": "Du bist ein Code-Experte"},
    {"role": "user", "content": "Erkläre async/await"}
  ],
  "stream": false
}'

# OpenAI-kompatibler /v1/chat/completions Endpunkt
curl http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer ollama" \
  -d '{
    "model": "llama3.2",
    "messages": [{"role": "user", "content": "Hello"}]
  }'

# Installieren
# pip install ollama

import ollama

# Einfache Generierung
response = ollama.generate(
    model='llama3.2',
    prompt='Erkläre Quantencomputing in einem Satz'
)
print(response['response'])

# Chat-Format
response = ollama.chat(
    model='llama3.2',
    messages=[
        {'role': 'system', 'content': 'Du bist ein Code-Review-Experte'},
        {'role': 'user', 'content': 'Was ist an diesem Code problematisch?\n\nfor i in range(len(arr)):\n    if arr[i] == x: return i'}
    ]
)
print(response['message']['content'])

# Stream-Ausgabe
stream = ollama.chat(
    model='llama3.2',
    messages=[{'role': 'user', 'content': 'Schreibe ein Gedicht über Programmieren'}],
    stream=True
)
for chunk in stream:
    print(chunk['message']['content'], end='', flush=True)

from openai import OpenAI

# Auf lokalen Ollama-Endpunkt zeigen
client = OpenAI(
    base_url='http://localhost:11434/v1',
    api_key='ollama'  # Beliebiger Wert
)

response = client.chat.completions.create(
    model='llama3.2',
    messages=[
        {'role': 'user', 'content': 'Erkläre, was RAG ist'}
    ]
)
print(response.choices[0].message.content)

// npm install ollama
import { Ollama } from 'ollama';

const ollama = new Ollama();

// Einfache Generierung
const response = await ollama.generate({
  model: 'llama3.2',
  prompt: 'Was ist Docker?',
});
console.log(response.response);

// Chat-Format
const chat = await ollama.chat({
  model: 'llama3.2',
  messages: [
    { role: 'user', content: 'Empfiehl 5 Ressourcen zum Lernen von Rust' }
  ],
});
console.log(chat.message.content);

import ollama
import sys

def review_code(code: str, language: str = "Python"):
    """Lokales Code-Review"""
    response = ollama.chat(
        model='llama3.2',
        messages=[
            {'role': 'system', 'content': f'''Du bist ein erfahrener {language}-Code-Reviewer.
Bitte prüfe den Code nach folgenden Kriterien:
1. Code-Stil (PEP 8 / Best Practices)
2. Mögliche Bugs und Randfälle
3. Performance-Probleme
4. Sicherheitslücken
5. Verbesserungsvorschläge

Ausgabeformat:
- Schweregrad: 🔴 Kritisch / 🟡 Warnung / 🟢 Empfehlung
- Problembeschreibung
- Codebeispiel zur Behebung'''},
            {'role': 'user', 'content': f'Bitte reviewe diesen Code:\n\n```{language}\n{code}\n```'}
        ]
    )
    return response['message']['content']

if __name__ == '__main__':
    # Code aus Datei lesen
    with open(sys.argv[1], 'r') as f:
        code = f.read()
    print(review_code(code))

python review.py my_script.py

# pip install ollama chromadb sentence-transformers

import ollama
import chromadb
from chromadb.utils import embedding_functions

# Chroma-Client initialisieren
chroma_client = chromadb.Client()

# Lokales Embedding-Modell nutzen
embed_fn = embedding_functions.SentenceTransformerEmbeddingFunction(
    model_name="all-MiniLM-L6-v2"
)

collection = chroma_client.get_or_create_collection(
    name="knowledge_base",
    embedding_function=embed_fn
)

# Dokument hinzufügen
def add_document(text: str, metadata: dict = None):
    collection.add(
        documents=[text],
        metadatas=[metadata or {}],
        ids=[f"doc_{collection.count()}"]
    )

# Relevante Dokumente suchen
def retrieve(query: str, n_results: int = 3):
    results = collection.query(
        query_texts=[query],
        n_results=n_results
    )
    return results['documents'][0]

# Antwort generieren
def rag_answer(question: str) -> str:
    # 1. Relevante Dokumente suchen
    context_docs = retrieve(question)
    context = "\n\n".join(context_docs)

    # 2. Ollama zur Antwortgenerierung aufrufen
    response = ollama.chat(
        model='llama3.2',
        messages=[
            {'role': 'system', 'content': f'Beantworte die Frage basierend auf folgendem Kontext:\n\n{context}'},
            {'role': 'user', 'content': question}
        ]
    )
    return response['message']['content']

# Anwendungsbeispiel
add_document("Ollama unterstützt Llama, Mistral, Qwen und weitere Open-Source-Modelle")
add_document("Ollama bietet eine OpenAI-kompatible REST API")
print(rag_answer("Welche Modelle unterstützt Ollama?"))

import ollama
import json

def extract_entities(text: str) -> dict:
    """Entitäten aus Text extrahieren"""
    response = ollama.chat(
        model='llama3.2',
        messages=[{
            'role': 'user',
            'content': f'''Extrahiere Entitäten aus folgendem Text und gib sie als JSON zurück:
{text}

Format:
{{
  "Personen": [],
  "Organisationen": [],
  "Orte": [],
  "Zeit": [],
  "Ereignisse": []
}}'''
        }]
    )
    try:
        return json.loads(response['message']['content'])
    except json.JSONDecodeError:
        return {}

# Batch-Verarbeitung
texts = [
    "Apple-CEO Tim Cook besucht im Juni 2026 Peking",
    "OpenAI veröffentlicht GPT-5 in San Francisco"
]

for text in texts:
    entities = extract_entities(text)
    print(json.dumps(entities, ensure_ascii=False, indent=2))

# GPU-Status anzeigen
nvidia-smi

# Ollama-Logs prüfen (GPU-Erkennung)
journalctl -u ollama -f

# Mit größerem Kontext starten
ollama run llama3.2 --num-ctx 8192

PARAMETER num_ctx 8192

# Terminal 1
ollama run llama3.2

# Terminal 2
ollama run mistral:7b