AirLLM 완벽 가이드: 4GB VRAM으로 70B 대규모 모델 실행

# 가상 환경 생성 (권장)
python -m venv airllm-env
source airllm-env/bin/activate

# airllm 설치
pip install airllm

# 양자화 가속을 사용하려면 bitsandbytes 설치
pip install -U bitsandbytes

from airllm import AutoModel
print("AirLLM 설치 성공!")

from airllm import AutoModel

MAX_LENGTH = 128

# 한 줄의 코드로 모델 로드 (자동 다운로드 + 레이어별 처리)
model = AutoModel.from_pretrained("Qwen/Qwen3-32B")

# 입력 준비
input_text = ["What is the capital of France?"]
input_tokens = model.tokenizer(
    input_text,
    return_tensors="pt",
    return_attention_mask=False,
    truncation=True,
    max_length=MAX_LENGTH,
    padding=False
)

# 추론 생성
generation_output = model.generate(
    input_tokens['input_ids'].cuda(),
    max_new_tokens=50,
    use_cache=True,
    return_dict_in_generate=True
)

# 출력 디코딩
output = model.tokenizer.decode(generation_output.sequences[0])
print(output)

from airllm import AutoModel

# 4-bit 양자화 (가장 빠른 속도, 최소 VRAM)
model = AutoModel.from_pretrained(
    "Qwen/Qwen3-32B",
    compression='4bit'  # 또는 '8bit'
)

from airllm import AutoModel

# 프리페치는 기본적으로 활성화됨 (AirLLMLlama2 지원)
model = AutoModel.from_pretrained(
    "meta-llama/Llama-2-70b-hf",
    hf_token="your_huggingface_token",  # gated model 접근에 HuggingFace token 필요
)

model = AutoModel.from_pretrained(
    "model_name_or_path",

    # 양자화: '4bit' / '8bit' / None
    compression='4bit',

    # 프로파일링: 각 단계 소요 시간 출력
    profiling_mode=True,

    # 레이어별 모델 저장 경로 (선택 사항)
    layer_shards_saving_path='/data/airllm_cache/',

    # HuggingFace token (제한된 모델 접근 시 필수)
    hf_token="hf_xxxx",

    # 프리페치 (기본적으로 활성화)
    prefetching=True,

    # 변환 후 원본 모델 파일 삭제 (디스크 공간 절약)
    delete_original=True,
)

from airllm import AutoModel

model = AutoModel.from_pretrained("Qwen/Qwen3-32B")

def chat_with_model(prompt, history=None):
    """단순한 단일 턴 대화"""
    if history:
        full_prompt = history + "\nUser: " + prompt + "\nAssistant: "
    else:
        full_prompt = f"User: {prompt}\nAssistant: "

    input_tokens = model.tokenizer(
        [full_prompt],
        return_tensors="pt",
        return_attention_mask=False,
        truncation=True,
        max_length=512,
        padding=False
    )

    generation_output = model.generate(
        input_tokens['input_ids'].cuda(),
        max_new_tokens=256,
        use_cache=True,
        return_dict_in_generate=True,
        temperature=0.7,
        top_p=0.9,
    )

    response = model.tokenizer.decode(generation_output.sequences[0])
    # Assistant 부분 추출
    if "Assistant:" in response:
        response = response.split("Assistant:")[-1].strip()

    return response

# 테스트
print(chat_with_model("양자 컴퓨팅을 세 문장으로 설명해줘"))
print(chat_with_model("Python에서 가장 우아한 정렬 방법은 무엇인가요?"))

from airllm import AutoModel
# LangChain과 함께 사용
from langchain.llms import HuggingFacePipeline
from langchain.embeddings import HuggingFaceEmbeddings
from langchain.chains import RetrievalQA

# AirLLM 모델을 LLM 백엔드로 로드
model = AutoModel.from_pretrained("Qwen/Qwen3-32B", compression='4bit')

# 로컬 벡터 데이터베이스(예: FAISS)와 결합
# 완전 오프라인 문서 QA, 코드 검색 등 구현

# 엣지 장치에서
pip install airllm
# CPU 추론 모드, GPU 불필요

from airllm import AutoModel

# CPU에서 소형 모델 실행
model = AutoModel.from_pretrained("microsoft/Phi-3-mini-4k-instruct")

# IoT 장치의 로컬 AI 추론에 사용 가능
# 스마트 홈 음성 제어, 산업 검사 등

# macOS에서는 mlx 설치 필요
# pip install mlx

from airllm import AutoModel

# M1/M2/M3 MacBook에서 실행
model = AutoModel.from_pretrained("Qwen/Qwen3-32B")

# 통합 메모리 아키텍처를 활용하여 네이티브에 가까운 추론 속도 경험

# delete_original=True 설정, 분할 후 원본 HuggingFace 모델 삭제
model = AutoModel.from_pretrained(
    "Qwen/Qwen3-32B",
    delete_original=True  # 약 50% 디스크 공간 절약
)