earshot：给 AI 编程助手装上“耳朵”，让它听懂、检查并亲手做出声音
摘要
earshot 是一个以 MIT 协议开源的项目，把声音变成 AI 编程助手能够推理的证据：用文字描述一段音频像什么、判断它是否符合描述、在长录音里找到最合适的片段、区分真实录音与代码合成声音，还能逐秒“听”完一部影片并给出修改建议。它只用 CPU 在本地运行，支持命令行、Python 接口和 MCP 服务。
本文目录
它解决什么问题
如今的 AI编程助手已经能写出渲染影片、产品演示甚至小游戏的代码，但它们有一个明显的短板：听不见自己做出来的东西。它分辨不出一次高级感的按键声和廉价的按键声，察觉不到撞击声比画面切换晚了80毫秒，也听不出音乐在错误的位置突然推高。
earshot想补上的正是这块“听觉”。它把声音转化成 AI可以推理的证据：一段音频用文字说听起来像什么、和某个描述有多吻合、长录音里哪一刻最合适、是真实录音还是代码合成的。项目作者用一部22秒的发布短片来展示效果，片中每一个声音都由代码生成，没有任何录音素材，也没有配乐。
图片来源：GitHub 项目仓库
它能做什么
描述与匹配声音。给它一个音频文件，它会用平实的语言说明这段声音最像什么，并给出几个相近的备选解读和客观测量数据；也可以拿一句描述去比对，得到“强匹配、可能、较弱、不匹配”这样的结论，还能把一批候选文件按描述排序，帮你挑出最合适的下载素材。
在长录音里找片段。比如在一段打字录音里找出“单次机械键盘按键”，它会直接给出起止时间，方便裁剪；也能对两段声音做 A/B对比，用文字说出差别。
判断真实还是合成。它可以评估一段声音是真实录音、专业制作，还是代码合成，并附上依据。
逐秒“听”完一部影片。它能生成一份听觉记录：每个声音事件的时间、响度和类别，段落划分、节拍网格，以及声音和画面切换是否对齐。对于能看图的 AI，它还会输出一张标注好的分析图，把视频帧、声音事件、频谱、波形和同步标记放在一起。
图片来源：GitHub 项目仓库
给发布视频打分。它内置了基于7部专业发布短片的风格档案，可以对你的影片逐项打分，并按时间点列出优先要改的问题；你也可以用自己欣赏的影片建立参考档案。
用代码做声音，并靠“听”来改进。AI可以把一个音效写成物理合成的“配方”，earshot渲染出多个候选，再由评审模块从描述吻合度、真实感、与真实参考录音的接近程度，以及爆音、尾音截断等瑕疵等方面打分，挑出最好的继续迭代。它还能反过来把一段真实录音“翻译”成可以调节的代码配方。新版本还附带了201个以代码形式存储的音效，嗖声、撞击、点击、提示音等都能按时间点对准画面快速渲染，不需要模型，也不需要联网。
有什么好处
AI第一次有了可靠的听觉反馈。过去 AI做声音只能凭感觉，现在可以“做一版、听一遍、改一版”，形成真正的闭环。
本地运行，门槛低。它只用 CPU，不需要显卡；模型下载后即可离线使用，除了可选的外部音频大模型点评（需用户自备密钥并明确同意上传），不会把你的音频传到外面。
接入方式灵活。它同时提供命令行、Python接口和 MCP服务，可以接入 Claude Code等支持 MCP的 AI助手，项目还附带了两个现成的技能说明，教 AI何时用哪种能力、如何解读结论。
数据透明，边界清楚。项目公开了验证方法和数据：例如在125段未参与调参的真实录音上，“强匹配”结论有98% 的情况是对的那类声音；在一段60秒的影片混音中能检出93% 的音效。同时也坦白写明了它判断不了的东西，比如审美、情绪、版权来源和语音内容。
适合谁
- 用代码制作产品演示、发布短片或动态设计视频，想让 AI顺便把声音也做好的开发者和创作者。
- 使用 Claude Code等 AI编程助手，希望它能检查音画同步、响度和音效质量的人。
- 需要从大量音效素材中快速筛选、裁剪合适片段的独立游戏或视频制作者。
- 对程序化音效合成、AI听觉评估感兴趣的研究者和爱好者。
安装方式和详细用法请以官方 GitHub仓库的说明为准。