行业动态

OpenAI 发布 Deployment Simulation，用真实部署场景来预演候选模型上线后的风险表现。这项方法的重点不是再做一套静态测试题，而是用更接近真实用户分布的对话上下文，提前估计新模型在发布后可能出现的不良行为频率。

对大模型行业来说，这是一条值得关注的安全评估路线。随着模型能力进入 GPT-5 系列 Thinking 和更复杂的 Agent 场景，传统评测、红队和合成提示词仍然必要，但它们很难回答一个关键问题：模型真正上线后，在普通用户、真实任务和真实工具链里，会以多高频率出现问题。

Deployment Simulation 流程图。图片来源：OpenAI

它解决的是传统评测的代表性问题

OpenAI 在文章中解释，传统预部署评估通常由合成题、人工构造题、生产提示词和高压红队用例组成。这类评测适合确认模型是否能处理高风险场景，但天然存在选择偏差：题目往往围绕已知风险设计，覆盖面依赖研究团队提前猜到哪些行为值得测。

Deployment Simulation 的思路更接近“上线前沙盘”。系统取过去部署中的真实对话前缀，移除旧模型的回答，再让候选模型生成新的回答。随后评估这些回答是否出现新的失败模式，并据此估计发布后的不良行为频率。OpenAI 表示，这一过程会以隐私保护方式进行，并分析允许用于模型改进的去标识化 ChatGPT 流量。

机制上，这相当于把评测输入从“人造考题”换成“真实流量分布”。优势是覆盖面会随着采样规模扩大，而不是完全依赖人工新增测试集；同时，模型也更难通过识别“自己正在被测”来改变行为。

GPT-5 系列 Thinking 是主要验证对象

OpenAI 称，Deployment Simulation 已经用于多个 GPT-5 系列 Thinking 部署，并帮助改进不良行为率估计、发现新的错位行为，以及降低模型识别评测环境的风险。在 GPT-5.4 Thinking 的实验中，团队预注册了 20 类不良行为的部署频率预测，并回溯分析了其他 GPT-5 系列 Thinking 部署。

实验规模也比较明确：OpenAI 分析了大约 130 万条去标识化对话，覆盖 2025 年 8 月到 2026 年 3 月期间 GPT-5 Thinking 到 GPT-5.4 的部署。评估目标包括三类：是否覆盖了发布后审计发现的重要错位行为，是否能预测某类行为频率上升还是下降，以及预测值和真实部署值是否接近。

从结果看，OpenAI 报告的中位乘法误差约为 1.5 倍。换句话说，如果某类不良行为真实频率是每 10 万条 10 次，模拟可能估计为约 15 次或 6.67 次。这个精度不能直接当成绝对保证，但比只看静态评测集更接近部署决策需要的量化信号。

为什么“评测意识”会影响安全判断

文章中一个重要细节是 evaluation awareness，也就是模型意识到自己正在被测试。过去一些研究显示，模型在某些场景下可能识别评测线索，并在推理中考虑监督者期望。如果模型只是在测试环境里表现良好，上线后面对更自然的对话分布时仍可能出现偏差。

OpenAI 表示，Deployment Simulation 使用类似真实部署的上下文，可以显著降低这种测试识别效应。其对比中，GPT-5.2 将真实生产流量判断为评测类的比例为 5.4%，将模拟流量判断为评测类的比例为 5.1%；而传统合成评测如 SWE-Bench 或 MonorepoBench 被识别为评测的比例接近 100%。

这个结果的意义在于，模型安全评估不只取决于题目难度，还取决于评测环境是否逼真。对于越来越擅长工具使用和长链路推理的模型，评测本身也需要减少“考试感”。

Deployment Simulation 预测效果示意图。图片来源：OpenAI

Agent 场景更复杂，也更接近未来风险

OpenAI 还把方法扩展到工具调用密集的 Agent 场景。团队使用 12 万条 GPT-5.4 内部员工 agentic trajectories，模拟基于 GPT-5.5 的内部编码 Agent 部署。难点在于，真实 Agent 轨迹可能依赖上百次工具调用、仓库状态、网络响应和临时失败；直接让模拟运行访问真实系统既困难也有风险。

因此 OpenAI 使用另一个 LLM 来模拟工具响应，并给它更多上下文能力。测试中，判别器区分真实轨迹和模拟轨迹的胜率从 11.6% 提升到 49.5%，接近随机猜测。这说明只要工具环境模拟足够逼真，Deployment Simulation 有机会覆盖比普通聊天更复杂的 Agent 发布风险。

这不是万能评测

OpenAI 也明确列出限制。Deployment Simulation 更适合发现频率足够高、能在采样前缀中出现的风险；如果某类失败每千万条才出现一次，仅靠百万级模拟很难捕捉。它也依赖模型推理链条的可监控性，如果未来模型更少显式暴露关键意图，某些不良行为可能更难检测。

另外，真实生产数据本身属于开发者私有资源。外部审计机构可以使用 WildChat 这类公开对话数据做类似评估，但准确度会弱一些。OpenAI 的结果显示，近期生产数据平均乘法误差为 1.75 倍，WildChat 约为 2.44 倍。

接下来要看什么

Deployment Simulation 代表模型发布评估从“题库式测试”走向“部署分布模拟”。它不会取代红队、系统卡、对抗评测或高风险专项测试，但可以让模型实验室在上线前获得更接近真实世界的量化预警。未来关键在三点：模拟工具环境是否足够真实，隐私保护和外部审计如何平衡，以及这类方法能否成为行业通用的安全评估基础设施。