Voicebox:把语音克隆、全局听写与 AI Agent 语音交互搬到本地

开源发现

Voicebox:把语音克隆、全局听写与 AI Agent 语音交互搬到本地

栏目:开源发现

摘要

Voicebox 是一款开源、本地优先的 AI 语音工作室,整合语音克隆、全局听写、多角色音频编辑和 MCP Agent 语音输出。项目支持多种 TTS 引擎及 macOS、Windows、Linux,适合重视隐私与本地工作流的创作者和开发者。

本文目录

Voicebox是一个开源、本地优先的 AI语音工作室,试图把语音克隆、文本转语音、语音听写、多角色音频创作和 AI Agent语音输出整合到同一款桌面应用中。它面向不希望把声音样本上传到云端、又需要持续制作配音或语音内容的用户,所有核心处理都可以运行在自己的电脑上,不依赖 API Key,也减少了订阅费用和隐私顾虑。

Voicebox:把语音克隆、全局听写与 AI Agent 语音交互搬到本地

图片来源:voicebox.sh

不只是语音克隆工具

Voicebox的核心能力是通过少量音频样本创建声音档案,再用该声音生成新的语音内容。项目同时接入多种 TTS引擎,覆盖不同语言、模型体积和硬件条件,用户可以根据质量、速度和显存占用选择更合适的方案。官方目前列出的引擎包括 Qwen3-TTS、Chatterbox、Chatterbox Turbo、Kokoro等,部分模型支持多语言、情绪控制或笑声、叹气等副语言标签。

与只输出单段音频的工具相比,Voicebox更接近一套轻量化语音制作环境。它提供时间线式故事编辑器,可以组织多个声音角色、裁剪片段并编排对话,还能使用音高、混响、延迟、压缩等音频效果处理生成结果。对于播客、有声内容、课程旁白、短视频配音和角色对白制作,这种工作流比反复在不同工具之间导入导出更直接。

全局听写让语音直接进入任何输入框

Voicebox还加入了全局听写功能。用户按住设定的快捷键说话,松开后,识别结果会自动写入当前获得焦点的输入框。这意味着它不仅能用来制作音频,也可以作为日常输入工具,用于写文档、回复消息、记录灵感或给编程助手下达指令。

听写记录会保存为音频与文本配对的历史内容,便于重新转写、修正或再次用某个声音播放。项目还可以使用本地语言模型清理口语化表达,并为不同声音档案配置个性化改写,让最终文本或语音更接近预设角色。

Voicebox:把语音克隆、全局听写与 AI Agent 语音交互搬到本地

图片来源:voicebox.sh

让支持 MCP的 AI Agent开口说话

Voicebox的另一项特色是与 MCP生态连接。支持 MCP的 AI Agent可以调用 Voicebox,把回答转成用户拥有的克隆声音并直接播放。这样一来,Claude Code、Cursor等工具不再只通过文字返回结果,也可以在完成任务、提醒状态或解释内容时使用指定声音进行反馈。

这种能力适合长时间使用 AI编程助手、桌面自动化工具或个人 Agent的用户。相比把文本发送到第三方语音服务,Voicebox可以在本地完成声音生成,并通过本机接口向其他应用开放能力,在隐私和可控性上更有优势。

本地运行与跨平台支持

Voicebox提供 macOS、Windows和 Linux版本。Apple Silicon设备可以使用 MLX和 Metal加速,Windows与 Linux用户则可根据显卡环境选择 CUDA、ROCm、DirectML或远程推理。模型下载后可以离线使用,也可以把计算任务交给另一台性能更强的机器。

普通用户可以直接从项目官网下载对应平台的安装包。开发者也可以从源码构建,项目采用 Tauri桌面壳、React前端和 FastAPI后端,应用通过本机端口完成前后端通信。开发环境准备完成后,可使用项目提供的自动化命令同时启动后端与桌面端。

bash
git clone https://github.com/jamiepine/voicebox.git
cd voicebox
just setup
just dev

不同操作系统的依赖和 GPU配置存在差异,首次运行还需要下载所选语音模型。高质量大模型通常需要更多内存或显存,较轻量的模型虽然速度更快,但声音相似度、情绪表现和多语言效果可能有所取舍。

适合哪些用户

Voicebox适合需要批量配音、制作多角色内容、使用语音输入或搭建本地 AI工作流的创作者和开发者。它把过去分散在语音克隆服务、听写软件、音频编辑器和 Agent插件中的能力集中到一个开源项目中,同时保留了模型选择和本地部署的自由度。

需要注意的是,语音克隆应当获得声音权利人的明确授权,不应被用于冒充、欺诈或未经许可的内容生成。对普通用户来说,硬件性能和模型下载体积也是实际门槛;但对于重视隐私、希望长期控制成本,并愿意在本地维护语音工具链的人,Voicebox已经展现出比单一语音生成器更完整的产品形态。

Voicebox:把语音克隆、全局听写与 AI Agent 语音交互搬到本地

图片来源:voicebox.sh

© 2026 DGNEWLIVE 保留所有权利.