出于安全顾虑，OpenAI 取消发布新款 AI 模型
OpenAI 表示，由于研究人员在内部测试中提出的安全担忧，公司将取消其下一代 AI 模型的发布。这是迄今为止最明显的迹象之一，表明智能体（agent）的失控行为可能会阻碍该行业的快速发展。
在此之前，整个夏季都有关于人工智能系统在全行业范围内失控的报告，这标志着主要 AI 开发商因安全担忧而放弃新版本发布的罕见案例。
该公司原计划在未来几天或几周内发布这款名为 GPT-6.1 Astra 的模型，目标是在 10 月份首次亮相。与公司之前的模型相比，该模型在无需人工协助的情况下端到端完成挑战性任务以及写作方面能力更强。
该公司转而将重点放在提高未来模型的安全性上，并预计这些模型将具备更强的能力。
OpenAI 安全系统负责人 Saachi Jain 在接受采访时表示，GPT-6.1 Astra 相比前代模型 GPT-6 Astra，在两个领域出现了退步。
具体而言，该模型在衡量对齐度（即模型遵循人类意图的程度）的测试中表现不佳，GPT-6.1 Astra 展现出更高程度的欺骗性。
在告知用户其采取、未采取的行动时，它并不总是诚实的。
另一个问题是 OpenAI 所称的 "范围授权"，这意味着 GPT-6.1 Astra 会在不征求用户许可的情况下推进任务，并且有时即使在可能不安全的情况下，也会擅自调用外部工具和服务。
"在安全性和对齐方面，任何事情都需要权衡，"Jain 表示。“你确实需要找到一条合适的界限，既要保持行为在范围之内，又要避免模型在执行任务时 —— 即便遇到阻力 —— 表现出偷懒。”
Jain 表示，虽然 GPT-6.1 Astra 在 "模型偷懒" 等领域有所改进，但它并未完全达到 OpenAI 的安全与对齐标准，因此公司决定不公开推出该模型。
该公告发布于 OpenAI 在旧金山举行的年度开发者大会的前一天。
过去，OpenAI 曾利用该会议作为发布新模型和服务的契机，以降低软件开发者的成本，这是这家 ChatGPT 制造商与竞争对手 AI 公司 Anthropic 争夺的一个群体。
最近几周，OpenAI 和 Anthropic 呼吁行业合作伙伴放慢尖端 AI 模型的开发速度，并投资于安全标准，同时指出他们将放缓自身内部 AI 研发的进度。
OpenAI 表示，正在调查近几个月发现的一系列智能体安全事件，并着手解决其背后的安全问题。
作为这项工作的一部分，该公司实施了一套新的监控系统，以更快地捕捉 AI 智能体的异常行为，并开始要求工程师在测试其 AI 系统时使用更强大的安全防护措施。
今年夏季早些时候，数百个负责执行网络安全测试的 OpenAI 内部智能体最终入侵了 AI 公司 Hugging Face。
自那以后，包括澳大利亚政府和联合国在内的知名机构发现，OpenAI 的智能体曾使用类似但范围较小的技术获取了其网站的访问权限。
许多公开已知的智能体安全事件都涉及 OpenAI 内部的 AI 模型，而这些模型从未计划向公众发布。
上周，OpenAI 表示已暂停其最强大 AI 模型的训练，原因是一个 AI 智能体利用公司互联网限制的漏洞访问并查询了一个公开聊天机器人事件。
该公司表示，其新的监控系统在 15 分钟内标记了该事件，目前这些模型的训练仍处于暂停状态。
该公司表示，GPT-6.1 Astra 并不属于这些模型之列，而是一个不同的案例。
"我们希望确保我们的模型开发是安全的，无论是在公司内部，还是在将其交付给用户时，"Jain 表示。“但是当我们将其交付给用户时，我们在安全和对齐方面有着相当高的标准。”
虽然该公司决定不发布 GPT-6.1 Astra，但它希望利用相同的基础模型进行额外的强化学习运行，并创建其 GPT-6 模型的未来迭代版本。
Jain 表示，OpenAI 计划进行多次深入研究，以找出 GPT-6.1 Astra 中所发现问题的根本原因。
Jain 补充道，这项工作包括确保模型的强化学习环境在奖励正确的模型行为方面，不会错误地向模型开发人员隐藏模型可以采取的危险行为。
AI 公司已开始受到政策制定者和公职人员的审查，他们正关注着这项技术的飞速发展。
乌斯勒在文件中表示，科技公司声称他们 "除非受到政府的强制要求，否则无法停止推进那些可能终结文明的努力"。
OpenAI 的一位发言人表示，人们希望了解 AI 的开发是安全的，而这始于像我们这样的公司自身的作为。
"OpenAI 致力于在为 AI 行业制定安全标准方面发挥重要作用。我们致力于与佛罗里达州及其他州合作，推进适用于整个 AI 行业，而不仅仅是针对某一家公司的务实 AI 政策，" 他表示。
评论