AirLLM 完全ガイド：4GB の VRAM で 70B の大規模モデルを動かす推論ツール

# 仮想環境の作成（推奨）
python -m venv airllm-env
source airllm-env/bin/activate

# airllm をインストール
pip install airllm

# 量子化による高速化を使いたい場合は bitsandbytes も入れる
pip install -U bitsandbytes

from airllm import AutoModel
print("AirLLM のインストールに成功しました！")

from airllm import AutoModel

MAX_LENGTH = 128

# 一行でモデルを読み込み（自動ダウンロード＋レイヤー処理）
model = AutoModel.from_pretrained("Qwen/Qwen3-32B")

# 入力を準備
input_text = ["What is the capital of France?"]
input_tokens = model.tokenizer(
    input_text,
    return_tensors="pt",
    return_attention_mask=False,
    truncation=True,
    max_length=MAX_LENGTH,
    padding=False
)

# 推論で生成
generation_output = model.generate(
    input_tokens['input_ids'].cuda(),
    max_new_tokens=50,
    use_cache=True,
    return_dict_in_generate=True
)

# 出力をデコード
output = model.tokenizer.decode(generation_output.sequences[0])
print(output)

from airllm import AutoModel

# 4-bit 量子化（最速・最小 VRAM）
model = AutoModel.from_pretrained(
    "Qwen/Qwen3-32B",
    compression='4bit'  # または '8bit'
)

from airllm import AutoModel

# プリフェッチはデフォルトで有効（AirLLMLlama2 対応）
model = AutoModel.from_pretrained(
    "meta-llama/Llama-2-70b-hf",
    hf_token="your_huggingface_token",  # ゲーテッドモデルへのアクセスに HuggingFace トークンが必要
)

model = AutoModel.from_pretrained(
    "model_name_or_path",

    # 量子化：'4bit' / '8bit' / None
    compression='4bit',

    # プロファイリング：各フェーズの時間を出力
    profiling_mode=True,

    # レイヤー分割モデルの保存パス（任意）
    layer_shards_saving_path='/data/airllm_cache/',

    # HuggingFace トークン（制限付きモデルへのアクセスに必須）
    hf_token="hf_xxxx",

    # プリフェッチ（デフォルトで有効）
    prefetching=True,

    # 変換後に元のモデルファイルを削除（ディスク容量の節約）
    delete_original=True,
)

from airllm import AutoModel

model = AutoModel.from_pretrained("Qwen/Qwen3-32B")

def chat_with_model(prompt, history=None):
    """シンプルな単輪対話"""
    if history:
        full_prompt = history + "\nUser: " + prompt + "\nAssistant: "
    else:
        full_prompt = f"User: {prompt}\nAssistant: "

    input_tokens = model.tokenizer(
        [full_prompt],
        return_tensors="pt",
        return_attention_mask=False,
        truncation=True,
        max_length=512,
        padding=False
    )

    generation_output = model.generate(
        input_tokens['input_ids'].cuda(),
        max_new_tokens=256,
        use_cache=True,
        return_dict_in_generate=True,
        temperature=0.7,
        top_p=0.9,
    )

    response = model.tokenizer.decode(generation_output.sequences[0])
    # Assistant の部分だけを抽出
    if "Assistant:" in response:
        response = response.split("Assistant:")[-1].strip()

    return response

# テスト
print(chat_with_model("量子コンピュータを3文で説明して"))
print(chat_with_model("Python で最もエレガントなソート方法は？"))

from airllm import AutoModel
# LangChain と連携
from langchain.llms import HuggingFacePipeline
from langchain.embeddings import HuggingFaceEmbeddings
from langchain.chains import RetrievalQA

# AirLLM モデルを LLM バックエンドとして読み込む
model = AutoModel.from_pretrained("Qwen/Qwen3-32B", compression='4bit')

# ローカルのベクトルデータベース（FAISS など）と組み合わせ
# オフラインでのドキュメント Q&A、コード検索などを実現

# エッジデバイス上で
pip install airllm
# CPU 推論モード、GPU 不要

from airllm import AutoModel

# CPU で小規模モデルを実行
model = AutoModel.from_pretrained("microsoft/Phi-3-mini-4k-instruct")

# IoT デバイスのローカル AI 推論に利用可能
# スマートホームの音声コントロール、工業検査など

# macOS では mlx のインストールが必要
# pip install mlx

from airllm import AutoModel

# M1/M2/M3 MacBook で実行
model = AutoModel.from_pretrained("Qwen/Qwen3-32B")

# ユニファイドメモリアーキテクチャを活用し、ネイティブに近い推論速度を体験

# delete_original=True で、分割後に元の HuggingFace モデルを削除
model = AutoModel.from_pretrained(
    "Qwen/Qwen3-32B",
    delete_original=True  # 約 50% のディスク容量を節約
)