AirLLM 完全指南：4GB 显存跑 70B 大模型的推理神器

传统推理：  [Layer 1] → [Layer 2] → ... → [Layer 80]   ← 全部加载到 GPU
           需要 ~140GB 显存

AirLLM：    [Layer 1] ← 加载到 GPU → 计算 → 保存到 CPU → 释放
            [Layer 2] ← 加载到 GPU → 计算 → 保存到 CPU → 释放
            ...
            [Layer 80] ← 加载到 GPU → 计算 → 输出结果
            只需 ~4GB 显存（单层大小）

# 创建虚拟环境（推荐）
python -m venv airllm-env
source airllm-env/bin/activate

# 安装 airllm
pip install airllm

# 如果需要使用量化加速，安装 bitsandbytes
pip install -U bitsandbytes

from airllm import AutoModel
print("AirLLM 安装成功！")

from airllm import AutoModel

MAX_LENGTH = 128

# 一行代码加载模型（自动下载 + 分层处理）
model = AutoModel.from_pretrained("Qwen/Qwen3-32B")

# 准备输入
input_text = ["What is the capital of France?"]
input_tokens = model.tokenizer(
    input_text,
    return_tensors="pt",
    return_attention_mask=False,
    truncation=True,
    max_length=MAX_LENGTH,
    padding=False
)

# 推理生成
generation_output = model.generate(
    input_tokens['input_ids'].cuda(),
    max_new_tokens=50,
    use_cache=True,
    return_dict_in_generate=True
)

# 解码输出
output = model.tokenizer.decode(generation_output.sequences[0])
print(output)

What is the capital of France? The capital of France is Paris.

from airllm import AutoModel

# 4-bit 量化（速度最快，显存最小）
model = AutoModel.from_pretrained(
    "Qwen/Qwen3-32B",
    compression='4bit'  # 或 '8bit'
)

from airllm import AutoModel

# 预取默认开启（AirLLMLlama2 支持）
model = AutoModel.from_pretrained(
    "meta-llama/Llama-2-70b-hf",
    hf_token="your_huggingface_token",  # 需要 HuggingFace token 访问 gated model
)

model = AutoModel.from_pretrained(
    "model_name_or_path",

    # 量化：'4bit' / '8bit' / None
    compression='4bit',

    # 性能分析：输出各阶段耗时
    profiling_mode=True,

    # 分层模型保存路径（可选）
    layer_shards_saving_path='/data/airllm_cache/',

    # HuggingFace token（访问受限模型时必需）
    hf_token="hf_xxxx",

    # 预取（默认开启）
    prefetching=True,

    # 转换后删除原始模型文件（节省磁盘空间）
    delete_original=True,
)

from airllm import AutoModel

model = AutoModel.from_pretrained("Qwen/Qwen3-32B")

def chat_with_model(prompt, history=None):
    """简单的单轮对话"""
    if history:
        full_prompt = history + "\nUser: " + prompt + "\nAssistant: "
    else:
        full_prompt = f"User: {prompt}\nAssistant: "

    input_tokens = model.tokenizer(
        [full_prompt],
        return_tensors="pt",
        return_attention_mask=False,
        truncation=True,
        max_length=512,
        padding=False
    )

    generation_output = model.generate(
        input_tokens['input_ids'].cuda(),
        max_new_tokens=256,
        use_cache=True,
        return_dict_in_generate=True,
        temperature=0.7,
        top_p=0.9,
    )

    response = model.tokenizer.decode(generation_output.sequences[0])
    # 提取 Assistant 部分
    if "Assistant:" in response:
        response = response.split("Assistant:")[-1].strip()

    return response

# 测试
print(chat_with_model("用三句话解释量子计算"))
print(chat_with_model("Python 中最优雅的排序方式是什么？"))

from airllm import AutoModel
# 配合 LangChain 使用
from langchain.llms import HuggingFacePipeline
from langchain.embeddings import HuggingFaceEmbeddings
from langchain.chains import RetrievalQA

# 加载 AirLLM 模型作为 LLM 后端
model = AutoModel.from_pretrained("Qwen/Qwen3-32B", compression='4bit')

# 搭配本地向量数据库（如 FAISS）
# 实现完全离线的文档问答、代码检索等

# 在边缘设备上
pip install airllm
# CPU 推理模式，无需 GPU

from airllm import AutoModel

# 在 CPU 上运行小模型
model = AutoModel.from_pretrained("microsoft/Phi-3-mini-4k-instruct")

# 可用于 IoT 设备的本地 AI 推理
# 智能家居语音控制、工业检测等

# macOS 上需要安装 mlx
# pip install mlx

from airllm import AutoModel

# 在 M1/M2/M3 MacBook 上运行
model = AutoModel.from_pretrained("Qwen/Qwen3-32B")

# 利用统一内存架构，体验接近原生的推理速度

# 设置 delete_original=True，拆分后删除原始 HuggingFace 模型
model = AutoModel.from_pretrained(
    "Qwen/Qwen3-32B",
    delete_original=True  # 节省约 50% 磁盘空间
)