Voicebox 완전 가이드: 오픈소스 AI 음성 워크스테이션, 로컬 목소리 복제·음성 생성·전역 받아쓰기

한 줄 요약: Voicebox는 완전히 로컬에서 실행되는 오픈소스 AI 음성 워크스테이션입니다. ElevenLabs 수준의 목소리 복제와 WisprFlow의 전역 받아쓰기를 하나의 앱으로 모두 해결할 수 있습니다. 게다가 무료죠.

Voicebox란?

Voicebox는 jamiepine이 개발한 오픈소스 AI 음성 워크스테이션으로, GitHub에서 이미 45,000개 이상의 Star를 받았습니다. 현재 가장 인기 있는 로컬 음성 도구 중 하나입니다.

Voicebox가 해결하는 핵심 문제는 간단합니다. 음성 입력과 출력, 클라우드에 의존할 필요가 없다는 거죠.

• 음성 출력 (TTS): 7개의 TTS 엔진 선택 가능, 23개 언어 지원, 제로샷 목소리 복제는 단 몇 초의 오디오만 있으면 됩니다
• 음성 입력 (STT): 전역 단축키 받아쓰기, Whisper 기반의 로컬 음성-텍스트 변환
• AI 통합: 내장 MCP 서버로 Claude Code, Cursor 같은 AI 코딩 어시스턴트에 "목소리"를 달아줍니다

ElevenLabs(음성 출력만 담당)나 WisprFlow(음성 입력만 담당)와 달리, Voicebox는 양쪽을 모두 처리하고, 그 사이에 로컬 LLM을 다리 삼아 텍스트 다듬기, 페르소나 설정, 어조 조정까지—all 당신 자신의 컴퓨터에서 이루어집니다.

핵심 기능 요약

설치

macOS (권장)

DMG 설치 패키지를 직접 다운로드하세요:

# Apple Silicon (M1/M2/M3/M4)
# https://voicebox.sh/download/mac-arm 에서 다운로드

# Intel Mac
# https://voicebox.sh/download/mac-intel 에서 다운로드

다운로드 후 DMG를 더블클릭하고 Applications 폴더로 드래그하면 됩니다. 처음 실행할 때 macOS가 "개발자를 확인할 수 없습니다"라고 경고할 수 있습니다. 이 경우 시스템 설정 → 개인정보 및 보안에서 "그래도 열기"를 클릭하세요.

Windows

# MSI 설치 패키지 다운로드
# https://voicebox.sh/download/windows 에서 다운로드
# 더블클릭하여 설치, NVIDIA GPU가 있으면 CUDA 자동 구성

Docker (크로스 플랫폼)

# 저장소 클론
git clone https://github.com/jamiepine/voicebox.git
cd voicebox

# 시작
docker compose up -d

# Web UI 접속
open http://localhost:3000

Linux

Linux는 아직 미리 컴파일된 패키지가 없습니다. 소스에서 직접 빌드해야 합니다:

# 의존성 설치
sudo apt install -y build-essential pkg-config libssl-dev \
  libasound2-dev libjack-dev portaudio19-dev

# Rust + Tauri 의존성 설치
curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh
source $HOME/.cargo/env

# 클론 및 빌드
git clone https://github.com/jamiepine/voicebox.git
cd voicebox
cargo tauri build

# 실행
./src-tauri/target/release/voicebox

자세한 Linux 빌드 가이드: voicebox.sh/linux-install

퀵 스타트: 5분 만에 첫 음성 만들기

1단계: TTS 엔진 선택

Voicebox를 실행한 후 상단의 엔진 선택기에서 TTS 엔진을 고르세요. 초보자는 Kokoro부터 시작하는 것을 추천합니다. 파라미터가 82M에 불과해서 CPU만으로도 돌아갑니다. 가장 빠르죠.

2단계: 텍스트 입력, 음성 생성

텍스트 박스에 내용을 입력하고 생성 버튼을 클릭하세요:

Hello, welcome to Voicebox. This is a demo of local AI voice synthesis.

처음 생성할 때는 Voicebox가 자동으로 해당 엔진의 모델 파일을 다운로드합니다 (보통 100MB~2GB). 조금만 기다려 주세요. 이후에는 다시 다운로드할 필요가 없습니다.

3단계: 미리듣기 및 조정

생성이 완료되면: - 재생 버튼을 눌러 미리듣기 - 속도, 음조 조절 - 오디오 이펙트 추가 (리버브, 피치 변경 등) - 다시 생성 (랜덤 시드를 바꿔 다른 연주로)

심화 기능

목소리 복제: 몇 초의 오디오로 어떤 목소리든 복사

Voicebox에서 가장 강력한 기능 중 하나입니다.

1. 5~30초 길이의 명확한 음성 오디오 준비 (WAV/MP3/FLAC 모두 지원)
2. Profiles → Create Profile 진입
3. 오디오 파일을 업로드하거나 앱 내 녹음 기능 사용
4. 목소리에 이름을 붙이고 언어 태그 선택
5. 저장 후 음성 생성 시 이 Profile을 선택하면 됩니다

# 지원되는 복제 엔진:
# - Qwen3-TTS: 고품질 다국어 복제
# - Chatterbox 시리즈: 제로샷 복제
# - Kokoro: 주로 프리셋 보이스, 복제 능력 제한적

# 팁:
# - 참고 오디오가 선명할수록 복제 품질이 좋아집니다
# - 배경음악과 노이즈는 피하세요
# - 여러 개의 참고 오디오를 사용하면 품질이 더욱 향상됩니다

전역 받아쓰기: 모든 앱에서 음성 입력

Voicebox의 전역 받아쓰기 기능으로 어떤 텍스트 입력창에서도 음성으로 입력할 수 있습니다:

macOS 설정: 1. Voicebox → Settings → Dictation 열기 2. Global Hotkey 활성화 (기본값 Option + Space) 3. 손쉬운 사용 및 입력 모니터링 권한 부여 4. Whisper 모델 크기 선택 (Turbo 권장, 빠르고质量好)

사용 방법: - 누르기 모드: 핫키를 누른 채 말하고, 놓으면 자동으로 텍스트 변환 후 붙여넣기 - 토글 모드: 핫키를 클릭하여 녹음 시작/정지

# Whisper 모델 선택 가이드:
# - Turbo: Large보다 약 8배 빠름, 품질 손실 극히 적음 (권장)
# - Base: 최소·최고속, 간단한 용도에 적합
# - Medium: 균형 선택
# - Large: 최고 품질, 좋은 GPU 필요

오디오 이펙트: 8종.post 처리

음성 생성 후 프로페셔널급 오디오 이펙트를 추가할 수 있습니다:

# 내장 프리셋 4개:
# - Robotic: 로봇 효과
# - Radio: 라디오 효과
# - Echo Chamber: 에코 룸
# - Deep Voice: 깊은 저음

# 8종 조절 가능 이펙트:
# 1. Pitch Shift    — 피치 변경 (±12 반음)
# 2. Reverb         — 리버브 (방 크기, 댐핑, 드라이/웻 비율)
# 3. Delay          — 딜레이 메아리
# 4. Chorus/Flanger — 코러스/플랜저 효과
# 5. Compressor     — 다이내믹 컴프레션
# 6. Gain           — 볼륨 조절 (-40 ~ +40 dB)
# 7. High-Pass      — 하이패스 필터
# 8. Low-Pass       — 로패스 필터

이펙트는 프리셋으로 저장할 수 있고, 특정声音 Profile에 기본값으로绑定할 수도 있습니다.

MCP 통합: AI 코딩 어시스턴트에 "목소리" 달기

Voicebox에는 내장 MCP 서버가 있어서 Claude Code, Cursor, Cline 등 AI 도구가 음성 기능을 직접 호출할 수 있습니다.

설정 방법:

// MCP 설정 파일에 추가:
{
  "mcpServers": {
    "voicebox": {
      "command": "voicebox",
      "args": ["--mcp"]
    }
  }
}

설정이 완료되면 AI 어시스턴트가 voicebox.speak 도구를 호출하여 복제한 목소리로 코드 설명, 디버그 정보 등을 읽어줍니다.

고급 활용 — 음성 페르소나:

声音 Profile에 "페르소나 설명"을附加하면, Voicebox가 내장 로컬 LLM으로 텍스트를 스타일링합니다:

페르소나 예시:
"당신은 경험이 풍부한 Linux 시스템 관리자입니다.
말투는 간결하고 직설적이며, 가끔 기술적인 유머를 섞습니다.
문제를 설명할 때 비유를 좋아합니다."

AI 어시스턴트는 MCP를 통해 Compose(창작), Rewrite(개작성), Respond(응답) 같은 모드도 트리거할 수 있습니다.

Stories 에디터: 멀티트랙 음성 내러티브

Stories는 멀티트랙 타임라인 에디터로, 다음 용도에 적합합니다: - 다중 역할 대화 - 팟캐스트 프로그램 - 오디오북 챕터 - 음성 프레젠테이션

# 기본 조작:
# 1. Story 생성 → Track 여러 개 추가 (각 Track은 하나의 목소리에 해당)
# 2. 각 Track에서 음성片段 생성/드래그
# 3. 타임라인에서 드래그하여 순서 배열
# 4. 片段 자르기, 분할 지원
# 5. 자동 재생, 재생 헤드 동기화
# 6. 완성된 오디오 파일로 내보내기

REST API 개발자 인터페이스

Voicebox는 완전한 REST API를 제공하여 자신의 앱에 통합하기 쉽게 합니다:

# 음성 생성
curl -X POST http://localhost:9876/api/generate \
  -H "Content-Type: application/json" \
  -d '{
    "text": "Hello world",
    "engine": "kokoro",
    "voice": "af_heart",
    "speed": 1.0
  }'

# 목소리 복제
curl -X POST http://localhost:9876/api/profiles \
  -F "name=my-clone" \
  -F "audio=@reference.wav"

# 음성을 텍스트로 변환
curl -X POST http://localhost:9876/api/transcribe \
  -F "audio=@recording.wav" \
  -F "model=turbo"

# 모든声音 Profile 조회
curl http://localhost:9876/api/profiles

API는 SSE (Server-Sent Events) 실시간 상태 푸시를 지원합니다. 생성 과정이 논블로킹으로 진행됩니다.

하드웨어 요구사항

플랫폼 가속 지원: - macOS: MLX / Metal (Apple Silicon 네이티브 최적화) - Windows: CUDA (NVIDIA), DirectML (AMD/Intel) - Linux: CUDA, ROCm (AMD), Intel Arc

경쟁 제품 비교

정리

Voicebox는 현재 가장 완성도 높은 오픈소스 로컬 음성 솔루션입니다. 목소리 복제, 음성 합성, 전역 받아쓰기, 오디오 post处理, AI 통합을 하나의 네이티브 앱에 모두 모아놓았으며, 완전 무료이고 데이터가 절대로 기기 밖으로 나가지 않습니다.

누구에게 적합한가: - 개발자: MCP 통합으로 AI 코딩 어시스턴트에 목소리를 - 콘텐츠 크리에이터: 유료 API 없이 로컬에서 내레이션 생성 - 프라이버시에 민감한 사용자: 모든 데이터 로컬 처리 - 팟캐스트/오디오북 제작자: Stories 멀티트랙 편집

프로젝트 주소: github.com/jamiepine/voicebox 공식 웹사이트: voicebox.sh 문서: docs.voicebox.sh License: 오픈소스

이 글이 도움이 되셨다면 더 많은 개발자에게 공유해 주세요. 질문이 있으면 댓글에서 자유롭게 논의해 주세요!