Ollama 완벽 가이드 2026: Llama/Mistral 대형 모델을 로컬에서 실행하는 프라이버시 우선 AI 개발 도구

# 방법 1: 원클릭 설치 (추천)
curl -fsSL https://ollama.com/install.sh | sh

# 방법 2: Homebrew 설치
brew install ollama

# 설치 확인
ollama --version

# 원클릭 설치 (systemd 서비스 포함)
curl -fsSL https://ollama.com/install.sh | sh

# 수동 설치 (바이너리 방식)
curl -fsSL https://ollama.com/install.sh | OLLAMA_INSTALL=1 sh

# systemd로 관리
sudo systemctl start ollama
sudo systemctl enable ollama

# 확인
ollama --version

# Windows 설치 프로그램 다운로드
winget install Ollama.Ollama

# 또는 공식 웹사이트에서 설치 패키지 다운로드
# https://ollama.com/download/OllamaSetup.exe

# 확인
ollama --version

# 공식 이미지 Pull
docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

# 확인
docker exec ollama ollama list

ollama run llama3.2

# 로컬에 설치된 모델 확인
ollama list

# 출력 예시:
# NAME                    ID              SIZE    MODIFIED
# llama3.2:latest         a1b2c3d4e5f6    2.0 GB  2 hours ago
# mistral:7b              f6e5d4c3b2a1    4.1 GB  1 day ago
# qwen2.5:14b             1a2b3c4d5e6f    8.9 GB  3 days ago

# 특정 모델 다운로드
ollama pull llama3.2
ollama pull mistral:7b
ollama pull qwen2.5:14b

# 특정 버전 다운로드
ollama pull llama3.2:3b

ollama run mistral:7b

#单个 모델 삭제
ollama rm llama3.2

# 모든 모델의 디스크 사용량 확인
du -sh ~/.ollama/models/*

FROM llama3.2:3b

# 시스템 프롬프트 설정
SYSTEM """
당신은 전문 파이썬 개발 어시스턴트입니다.
답변 시 다음을 지켜주세요:
1. 실행 가능한 코드 예제를 우선 제공
2. 코드의 핵심 로직을 설명
3. 잠재적인 함정과 최적화 포인트를 지적
"""

# 생성 파라미터 조정
PARAMETER temperature 0.7
PARAMETER top_p 0.9
PARAMETER num_ctx 4096

# 모델 생성
ollama create my-python-assistant -f Modelfile

# 커스텀 모델 실행
ollama run my-python-assistant

# 텍스트 생성 (비스트리밍)
curl http://localhost:11434/api/generate -d '{
  "model": "llama3.2",
  "prompt": "파이썬으로 버블 정렬을 작성해 줘",
  "stream": false
}'

# Chat 형식 (멀티턴 대화)
curl http://localhost:11434/api/chat -d '{
  "model": "llama3.2",
  "messages": [
    {"role": "system", "content": "당신은 코드 전문가입니다"},
    {"role": "user", "content": "async/await을 설명해 줘"}
  ],
  "stream": false
}'

# OpenAI 호환 /v1/chat/completions
curl http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer ollama" \
  -d '{
    "model": "llama3.2",
    "messages": [{"role": "user", "content": "Hello"}]
  }'

# 설치
# pip install ollama

import ollama

# 간단한 생성
response = ollama.generate(
    model='llama3.2',
    prompt='양자 컴퓨팅이 무엇인지 한 문장으로 설명해 줘'
)
print(response['response'])

# Chat 형식
response = ollama.chat(
    model='llama3.2',
    messages=[
        {'role': 'system', 'content': '당신은 코드 리뷰 전문가입니다'},
        {'role': 'user', 'content': '이 코드의 문제점은?\n\nfor i in range(len(arr)):\n    if arr[i] == x: return i'}
    ]
)
print(response['message']['content'])

# 스트리밍 출력
stream = ollama.chat(
    model='llama3.2',
    messages=[{'role': 'user', 'content': '프로그래밍에 관한 시를 써 줘'}],
    stream=True
)
for chunk in stream:
    print(chunk['message']['content'], end='', flush=True)

from openai import OpenAI

# Ollama 로컬 엔드포인트를 가리킴
client = OpenAI(
    base_url='http://localhost:11434/v1',
    api_key='ollama'  # 아무 값이나 가능
)

response = client.chat.completions.create(
    model='llama3.2',
    messages=[
        {'role': 'user', 'content': 'RAG가 무엇인지 설명해 줘'}
    ]
)
print(response.choices[0].message.content)

// npm install ollama
import { Ollama } from 'ollama';

const ollama = new Ollama();

// 간단한 생성
const response = await ollama.generate({
  model: 'llama3.2',
  prompt: 'Docker란 무엇인가요?',
});
console.log(response.response);

// Chat 형식
const chat = await ollama.chat({
  model: 'llama3.2',
  messages: [
    { role: 'user', content: 'Rust 학습용 자료 5가지를 추천해 줘' }
  ],
});
console.log(chat.message.content);

import ollama
import sys

def review_code(code: str, language: str = "Python"):
    """로컬 코드 리뷰"""
    response = ollama.chat(
        model='llama3.2',
        messages=[
            {'role': 'system', 'content': f'''당신은 베테랑 {language} 코드 리뷰어입니다.
다음 관점에서 코드를 리뷰해 주세요:
1. 코드 스타일 (PEP 8 / 베스트 프랙티스)
2. 잠재적 버그 및 경계 케이스
3. 성능 문제
4. 보안 취약점
5. 개선 제안

출력 형식:
- 문제 수준: 🔴 심각 / 🟡 경고 / 🟢 제안
- 문제 설명
- 수정 코드 예시'''},
            {'role': 'user', 'content': f'다음 코드를 리뷰해 주세요:\n\n```{language}\n{code}\n```'}
        ]
    )
    return response['message']['content']

if __name__ == '__main__':
    # 파일에서 코드 읽기
    with open(sys.argv[1], 'r') as f:
        code = f.read()
    print(review_code(code))

python review.py my_script.py

# pip install ollama chromadb sentence-transformers

import ollama
import chromadb
from chromadb.utils import embedding_functions

# Chroma 클라이언트 초기화
chroma_client = chromadb.Client()

# 로컬 임베딩 모델 사용
embed_fn = embedding_functions.SentenceTransformerEmbeddingFunction(
    model_name="all-MiniLM-L6-v2"
)

collection = chroma_client.get_or_create_collection(
    name="knowledge_base",
    embedding_function=embed_fn
)

# 문서 추가
def add_document(text: str, metadata: dict = None):
    collection.add(
        documents=[text],
        metadatas=[metadata or {}],
        ids=[f"doc_{collection.count()}"]
    )

# 관련 문서 조회
def retrieve(query: str, n_results: int = 3):
    results = collection.query(
        query_texts=[query],
        n_results=n_results
    )
    return results['documents'][0]

# 답변 생성
def rag_answer(question: str) -> str:
    # 1. 관련 문서 검색
    context_docs = retrieve(question)
    context = "\n\n".join(context_docs)

    # 2. Ollama로 답변 생성
    response = ollama.chat(
        model='llama3.2',
        messages=[
            {'role': 'system', 'content': f'다음 문맥을 바탕으로 답변해 주세요:\n\n{context}'},
            {'role': 'user', 'content': question}
        ]
    )
    return response['message']['content']

# 사용 예시
add_document("Ollama는 Llama, Mistral, Qwen 등 오픈소스 모델을 지원합니다")
add_document("Ollama는 OpenAI 호환 REST API를 제공합니다")
print(rag_answer("Ollama는 어떤 모델을 지원하나요?"))

import ollama
import json

def extract_entities(text: str) -> dict:
    """텍스트에서 엔티티 추출"""
    response = ollama.chat(
        model='llama3.2',
        messages=[{
            'role': 'user',
            'content': f'''다음 텍스트에서 엔티티를 추출하여 JSON 형식으로 반환해 주세요:
{text}

반환 형식:
{{
  "인물": [],
  "조직": [],
  "장소": [],
  "시간": [],
  "이벤트": []
}}'''
        }]
    )
    try:
        return json.loads(response['message']['content'])
    except json.JSONDecodeError:
        return {}

# 대량 처리
texts = [
    "애플 CEO 팀 쿡이 2026년 6월 베이징을 방문",
    "OpenAI가 샌프란시스코에서 GPT-5를 발표"
]

for text in texts:
    entities = extract_entities(text)
    print(json.dumps(entities, ensure_ascii=False, indent=2))

# Ollama 로그에서 GPU 사용 확인
journalctl -u ollama -f | grep -i gpu

# 또는 직접 확인
nvidia-smi  # NVIDIA GPU
rocm-smi    # AMD GPU

# 컨텍스트 윈도우 크기 제한 (기본 4096)
ollama run llama3.2 --num-ctx 2048

# GPU 레이어 수 조절
# Modelfile에서 설정
PARAMETER num_gpu 35

import concurrent.futures
import ollama

def process_text(text: str) -> str:
    response = ollama.generate(
        model='llama3.2',
        prompt=f'다음 텍스트를 요약해 줘: {text}'
    )
    return response['response']

# 동시 처리
texts = ["텍스트1...", "텍스트2...", "텍스트3..."]
with concurrent.futures.ThreadPoolExecutor(max_workers=4) as executor:
    results = list(executor.map(process_text, texts))