GenCAD：MIT 开源的图像生成 CAD 模型，一张图直接变成可编辑的参数化 CAD 程序
摘要
GenCAD 是麻省理工学院（MIT）机械工程系研究者开源的生成式模型，能根据一张 CAD 渲染图或线稿，生成完整的参数化 CAD 命令序列，也就是 CAD 程序，再由几何内核转换成可修改、可制造的三维实体。它还能用图片在大型 CAD 库中检索相似模型，相关论文发表于 TMLR 2025。
本文目录
它解决什么问题
在机械、产品和制造领域，几乎所有零件都要先在 CAD软件里建模。这项工作至今仍高度依赖人工：设计师要一步步画草图、拉伸、切除、倒角，才能得到一个能交付加工的三维模型。拿到一张零件图片，想把它“还原”成可编辑的 CAD文件，往往要从头再画一遍。
近几年 AI生成三维形状的研究很多，但大多数方法输出的是网格、体素或点云。这类结果看起来像个零件，却缺少工程上最关键的东西：精确的尺寸和可修改的建模历史，很难直接用于制造或后续设计迭代。CAD内部常用的边界表示（B-rep）结构复杂，也让训练 AI模型变得困难。
GenCAD由 MIT机械工程系的 Md Ferdous Alam与 Faez Ahmed提出，想做的就是跨过这道门槛：不只是生成一个三维外形，而是根据图像生成整段参数化的 CAD命令序列，也就是完整的 CAD程序。
图片来源：GitHub 项目仓库
它能做什么
GenCAD的核心能力是“图像条件下的 CAD生成”。给它一张 CAD渲染图，或者一张线稿草图，它就能输出一串与图像对应的参数化建模命令，再借助几何内核把这串命令转换成三维实体模型。因为输出的是 CAD程序，结果也能方便地转成 B-rep、网格、点云或体素等其他表示。
整个模型由四个关键部分组成：先用自回归 Transformer编码器学习 CAD命令序列的潜在表示；再用对比学习，把 CAD命令序列和 CAD图像映射到同一个联合表示空间；然后用潜在扩散模型，以图像为条件生成对应的 CAD潜在向量；最后由解码器把潜在向量还原成参数化 CAD命令。
借助这套对比学习得到的联合表示，GenCAD还能做“以图搜 CAD”：输入一张图片，从大型 CAD数据库中找出最匹配的 CAD程序。论文指出，这正是 CAD领域长期存在的难题之一。项目主页也展示了同一张输入图像生成多个不同候选模型的例子。
图片来源：GenCAD 项目主页
有什么好处
第一，结果可编辑。拿到的不是一块“死”的网格，而是带完整建模历史的 CAD程序，工程师可以继续调整尺寸、修改特征，更贴近真实的设计流程。
第二，更接近可制造。参数化的 CAD模型保留了精确几何，便于后续进入加工和生产环节，而这恰恰是网格类生成结果最欠缺的。
第三，效果有据可查。论文中的大量评估显示，GenCAD在无条件生成和图像条件生成 CAD模型上都明显优于此前的先进方法，相关论文已发表于 TMLR 2025，并公开了 arXiv版本。
第四，能打通多种设计模态。图像、草图和 CAD程序被放在同一个表示空间里，为从概念草图到三维模型、从图片逆向还原零件等场景提供了新的可能，有望缩短从设计到生产的整个流程。
第五，开放程度高。论文、项目主页和代码全部公开，仓库还提供了数据集与预训练模型的下载渠道，以及训练各个子模型、进行推理和可视化的脚本，研究者可以在此基础上复现结果、替换模块或扩展到新的数据上。项目主页还附带可在浏览器中旋转查看的三维模型示例，方便直观感受生成质量。
适合谁
GenCAD适合研究 AI辅助设计、三维生成和 CAD程序合成的学者与学生，可以把它当作一个完整、可复现的基线；也适合关注设计自动化的机械工程师和产品设计团队，用来探索从草图快速生成概念模型、从图片逆向重建零件的可能性；对于在建设 CAD模型库、需要按图检索已有零件的企业和开发者，它的检索能力同样值得一试。
需要说明的是，这是一个研究型项目，仓库提供了训练与推理代码、数据集和预训练模型的获取方式，更适合有一定深度学习基础的读者上手。具体环境准备与使用方法，请以官方 GitHub仓库说明为准。