CLI-Anything：港大团队把传统软件变成 AI Agent 可调用的命令行工具
摘要
香港大学 HKUDS 推出的 CLI Anything，尝试把 Blender、GIMP、FreeCAD 等传统软件转换为 AI Agent 可调用的结构化命令行接口。本文结合官方仓库与论文核实其能力、安装方式、适用范围和现实限制。
本文目录
CLI-Anything是香港大学数据智能实验室 HKUDS推出的开源项目，目标不是让 AI Agent继续模仿人类点击界面，而是把原本面向人的软件能力重新封装成结构化、可组合、可验证的命令行接口。它试图解决一个长期存在的问题：大模型虽然擅长理解文本和生成代码，但在真实软件中依赖截图识别、坐标点击和界面状态判断时，往往容易受到窗口变化、加载延迟和控件位置变化影响。
图片来源：HKUDS/CLI-Anything 官方仓库
CLI-Anything的核心思路是为现有软件建立一层 Agent可调用的 CLI harness。AI不再通过像素坐标控制按钮，而是使用明确的命令、参数、状态和结构化结果与软件交互。项目论文将这种方式称为“Agent-Native Computer Use”，强调软件接口应当更贴近智能体擅长的程序化控制，而不是要求智能体长期模仿人的视觉操作习惯。
它不是简单的 GUI自动点击工具
传统的计算机使用 Agent通常先读取屏幕截图，再判断按钮、菜单和输入框位置，最后执行鼠标或键盘动作。这种方案覆盖面广，但执行过程容易受到分辨率、主题、弹窗和界面更新影响。CLI-Anything选择另一条路线：分析目标软件的代码结构、后端能力或已有 API，为其生成一套带状态管理、帮助信息、测试和结构化输出的命令行接口。
这意味着 Agent面对的不是“第几个按钮应该点哪里”，而是类似创建项目、导入素材、修改参数、渲染文件和读取结果这样的确定性操作。对于 Blender、GIMP、FreeCAD、Kdenlive、LibreOffice、OBS Studio和 diagrams.net等专业工具，这种接口更适合多步骤任务，也更容易记录、重放和调试。
CLI-Anything能做什么
官方仓库展示的应用方向覆盖图像处理、三维建模、视频剪辑、音频制作、办公文档、直播、流程图和浏览器自动化等领域。项目不仅提供已有软件的 CLI harness，也提供一套生成方法，让 Claude Code、Codex、Cursor、Pi等编码 Agent按照统一流程分析目标代码库并构建新的命令行接口。
生成流程通常包括软件架构分析、CLI结构设计、核心模块实现、状态管理、测试计划、自动测试以及安装打包。项目强调调用真实软件后端，而不是只做一层演示性质的模拟接口，因此最终结果仍取决于目标软件本身的能力、源码开放程度和可自动化程度。
CLI-Hub：让 Agent发现和安装工具
CLI-Anything还提供 CLI-Hub，用来集中发现、安装和管理 Agent可用的命令行工具。用户可以先安装 Hub，再搜索或安装特定软件的 CLI harness。官方给出的基础安装方式如下：
pip install cli-anything-hub安装目标工具时，可以继续使用：
cli-hub install <软件名称>对于需要新建 harness的场景，项目还提供面向编码 Agent的插件和方法文档。以 Claude Code为例，Agent可以读取目标开源项目，并按照 CLI-Anything的标准流程生成可安装的 Python CLI包。实际使用前仍应检查目标软件版本、系统依赖、许可证和测试结果，不应把“一条命令”理解为所有软件都能无条件完成全自动适配。
截图中的说法哪些属实
截图提到项目来自香港大学团队、支持 Blender、GIMP、FreeCAD、Kdenlive和 diagrams.net等软件，并通过命令行让 Agent驱动真实软件，这些核心描述与官方仓库和论文一致。项目也确实面向 Claude Code、Codex、Cursor和 Pi等 Agent工作流，并强调状态化命令、结构化 JSON输出、自动测试和文档生成。
但“任意 GUI软件或 API都能一行命令完整转换”“所有测试100% 通过”这类表述需要谨慎理解。官方方法更适合拥有源码、明确后端能力或可调用 API的软件；闭源软件、强依赖复杂界面的程序，以及缺少稳定内部接口的应用，仍可能需要人工适配。测试数量也会随着仓库更新持续变化，不宜把社交平台截图中的某个数字视为长期固定指标。
为什么这个项目受到关注
CLI-Anything的价值不只在于多做了一批命令行工具，而在于它提出了一种不同的软件交互方向：未来的软件使用者可能不只是人，也包括能够自主规划和执行任务的 Agent。面向人类的 GUI仍然重要，但面向 Agent的接口需要更稳定的状态、更清晰的命令边界、更容易校验的结果，以及更低的交互成本。
这一方向也有明显限制。自动生成的 CLI是否可靠，取决于目标软件架构、文档质量、权限设计和测试覆盖；让 Agent获得软件控制能力后，还必须增加沙箱、审批、日志和最小权限机制。CLI-Anything已经证明，专业软件不一定只能通过屏幕点击接入 AI，但它距离“所有软件都可被 Agent无风险接管”仍有相当距离。
从行业角度看，CLI-Anything更像是一次接口范式实验：与其持续训练 Agent更准确地看懂每一个按钮，不如让软件直接提供机器更容易理解和验证的操作层。随着编码 Agent和通用智能体进入真实生产流程，这种 Agent原生接口可能会成为 GUI、API和 MCP之外的重要补充。
图片来源：HKUDS/CLI-Anything 官方仓库
图片来源：HKUDS/CLI-Anything 官方仓库
同类栏目导航