Zvec 완전 가이드: 알리바바가 오픈소스로 공개한 경량 벡터 데이터베이스

pip install zvec

npm install @zvec/zvec

go get github.com/zvec-ai/zvec-go

# Cargo.toml
[dependencies]
zvec = "0.5"

import zvec

# 1. 컬렉션 스키마 정의
schema = zvec.CollectionSchema(
    name="my_collection",
    vectors=zvec.VectorSchema("embedding", zvec.DataType.VECTOR_FP32, 4),
)

# 2. 컬렉션 생성 및 열기 (로컬에 자동 저장)
collection = zvec.create_and_open(path="./my_zvec_data", schema=schema)

# 3. 벡터 데이터 삽입
collection.insert([
    zvec.Doc(id="doc_1", vectors={"embedding": [0.1, 0.2, 0.3, 0.4]}),
    zvec.Doc(id="doc_2", vectors={"embedding": [0.2, 0.3, 0.4, 0.1]}),
    zvec.Doc(id="doc_3", vectors={"embedding": [0.9, 0.1, 0.1, 0.2]}),
])

# 4. 벡터 유사도 검색 실행
results = collection.query(
    zvec.VectorQuery("embedding", vector=[0.2, 0.3, 0.3, 0.1]),
    topk=2
)

# 결과 출력
for r in results:
    print(f"ID: {r['id']}, 유사도 점수: {r['score']:.4f}")

import zvec
import openai

# embedding 모델 초기화
client = openai.OpenAI(api_key="your-api-key")

def get_embedding(text: str) -> list[float]:
    response = client.embeddings.create(
        model="text-embedding-3-small",
        input=text
    )
    return response.data[0].embedding

# 컬렉션 생성
schema = zvec.CollectionSchema(
    name="rag_docs",
    vectors=zvec.VectorSchema("embedding", zvec.DataType.VECTOR_FP32, 1536),
    fields=[
        zvec.FieldSchema("content", zvec.DataType.STRING),
        zvec.FieldSchema("source", zvec.DataType.STRING),
    ],
)

collection = zvec.create_and_open(path="./rag_data", schema=schema)

# 문서 인덱싱
documents = [
    ("Zvec는 알리바바가 오픈소스로 공개한 경량 벡터 데이터베이스입니다", "doc1.md"),
    ("벡터 데이터베이스는 고차원 벡터 데이터를 저장하고 검색하는 데 사용됩니다", "doc2.md"),
    ("RAG 기술은 검색과 생성을 결합한 것으로, 현재 LLM 애플리케이션의 주류 방안입니다", "doc3.md"),
]

for content, source in documents:
    embedding = get_embedding(content)
    collection.insert([
        zvec.Doc(
            vectors={"embedding": embedding},
            fields={"content": content, "source": source},
        )
    ])

# 가장 관련성 높은 문서 검색
question = "벡터 데이터베이스가 뭐예요?"
query_embedding = get_embedding(question)

results = collection.query(
    zvec.VectorQuery("embedding", vector=query_embedding),
    topk=2
)

print("관련 문서:")
for r in results:
    print(f"- [{r['fields']['source']}] {r['fields']['content']}")
    print(f"  유사도: {r['score']:.4f}\n")

import zvec

schema = zvec.CollectionSchema(
    name="ft_search",
    vectors=zvec.VectorSchema("embedding", zvec.DataType.VECTOR_FP32, 384),
    fields=[
        zvec.FieldSchema("title", zvec.DataType.STRING),
        zvec.FieldSchema("body", zvec.DataType.STRING),
    ],
)

collection = zvec.create_and_open(path="./fts_data", schema=schema)

# body 필드에 전문 검색 인덱스 생성
collection.create_fts_index("body_fts", field="body")

# 데이터 삽입
collection.insert([
    zvec.Doc(
        id="1",
        vectors={"embedding": [0.1] * 384},
        fields={"title": "Python 튜토리얼", "body": "Python은 AI와 데이터 분석에서 널리 사용되는 강력한 프로그래밍 언어입니다."},
    ),
    zvec.Doc(
        id="2",
        vectors={"embedding": [0.2] * 384},
        fields={"title": "JavaScript 입문", "body": "JavaScript는 프론트엔드 개발의 핵심 언어로, Web, Node.js 등 다양한 환경을 지원합니다."},
    ),
])

# 전문 검색
results = collection.query(
    zvec.FTSQuery("body_fts", "Python 데이터 분석"),
    topk=5
)

for r in results:
    print(f"[{r['fields']['title']}] {r['fields']['body'][:30]}...")

# 하이브리드 검색: 벡터 + 전문 검색 + 스칼라 필터
results = collection.query(
    zvec.MultiQuery([
        # 벡터 유사도
        zvec.VectorQuery("embedding", vector=[0.15] * 384, weight=0.7),
        # 전문 검색
        zvec.FTSQuery("body_fts", "프로그래밍 언어 튜토리얼", weight=0.3),
    ]),
    topk=3
)

for r in results:
    print(f"[{r['id']}] 하이브리드 점수: {r['score']:.4f}")

schema = zvec.CollectionSchema(
    name="large_collection",
    vectors=zvec.VectorSchema("embedding", zvec.DataType.VECTOR_FP32, 768),
)

# DiskANN 인덱스로 컬렉션 생성
collection = zvec.create_and_open(
    path="./diskann_data",
    schema=schema,
    index_options=zvec.IndexOptions(
        index_type=zvec.IndexType.DISKANN,  # 디스크 기반 인덱스
    )
)

# 대량 데이터 삽입 (백만 개도 거뜬)
for i in range(100000):
    collection.insert([zvec.Doc(
        id=f"doc_{i}",
        vectors={"embedding": [0.1 * (i % 768)] * 768},
    )])

results = collection.query(
    zvec.ScalarQuery("category = 'AI' AND published_year >= 2025"),
    topk=10
)

# 프로세스 A: 쓰기
collection_a = zvec.open("./shared_data", mode="write")
collection_a.insert([zvec.Doc(id="new_1", vectors={"embedding": [0.5] * 4})])
collection_a.flush()

# 프로세스 B: 읽기 (프로세스 A와 병렬)
collection_b = zvec.open("./shared_data", mode="read")
results = collection_b.query(
    zvec.VectorQuery("embedding", vector=[0.5] * 4),
    topk=5
)

git clone https://github.com/zvec-ai/zvec-studio
cd zvec-studio
npm install && npm run dev