OpenAI发布了一套名为Control Room(控制室)的内部系统,用于集中追踪其研究基础设施上的所有模型任务,并在出现安全或安保问题时迅速叫停。公司称,随着模型越来越强大、相关的安全和安保风险越来越大,能够及时发现潜在问题、并在必要时迅速让模型停下来变得越来越关键。

Control Room覆盖所有研究推理任务,包括用于模型训练和评估的智能体采样、数据处理等,并与OpenAI的「错位行为监控系统」配合使用。从作出叫停或暂停某项任务的决定起,系统可在35秒内让模型停止输出。OpenAI称,Control Room已部署在整个研究基础设施上,因为那里最需要;对外提供服务的模型部署本身就更集中,早已具备快速下线的能力。

按OpenAI的说明,每个进行智能体推理的研究任务都必须绑定一份获批的「安全论证」。任务启动时要向Control Room申请一个任务编号;此后每次向推理引擎请求模型输出,引擎都要先拿着这个编号向Control Room确认任务是否仍获授权,被叫停的任务请求会被拒绝,模型不再产生输出。叫停只切断输出,研究进程本身可以继续存在,推理引擎也仍可服务其他获授权的任务。

OpenAI称,其所有前沿强化学习训练任务都配有监控——由另一个模型审查被训练模型的一举一动,发现问题就报警。监控系统可视问题细节和严重程度决定叫停任务,并直接通知Control Room。公司提到,最近一次与DNS相关的事件就是由监控发现的。

35秒的最长延迟来自为支撑庞大流量而设的推理授权缓存层,OpenAI表示正努力把这个数字降到零,做到即时终止。由于研究人员的任务代码经常变动,OpenAI没有把这道关键安全防线放在任务代码里,而是放在全公司为数不多、高度统一的推理代码路径上,确保所有研究推理都要逐次接受授权检查;公司还会持续用智能体和程序扫描,防止有人无意或恶意启动没装Control Room或将其关闭的推理引擎。

此外,系统采用「故障即关闭」设计:如果Control Room服务因系统错误、被关闭或遭坏人篡改而宕机,所有推理请求都会被拒绝,直到其恢复正常。OpenAI称,这一机制已覆盖所有前沿模型研究任务,未来几天将推广到其余全部研究任务,未来几个月还会继续加强和扩展该系统。

下南洋预测市场:https://tonanyang.cc/webapp/