Anthropic于美国时间11月2日(周一)向美国证券交易委员会提交的修订版招股书(S-1/A)中,在风险因素部分新增表述:根据公司内部估计以及对未来模型(而非现有模型)的预期,公司「可能即将」达到其《负责任扩展政策》中关于「AI导致进展急剧加速」的定义。这一门槛通常被视为接近所谓「递归自我改进」——即AI强到足以帮助训练和打造更强的AI,从而让能力提升急剧加快。

Anthropic同时强调,目前尚未把任何现有模型认定为超过这一门槛,仍在继续评估相关数据;公司也在评估达到「AI研发能力门槛」可能带来的影响,并将按照《负责任扩展政策》的规定在未来发布进一步报告。

招股书写道,公司越来越多地使用AI系统加速自身研发,这可能导致模型能力的提升速度快过公司开发、验证和落实相应安全、对齐和安保措施的能力。由于有关AI驱动加速的证据多来自滞后指标,公司预测或衡量能力提升速度的能力有限,「我们过去曾未能识别、未来也可能无法识别研发速度的显著加速,直到它已经发生之后。」

Anthropic在招股书中表示,Claude已参与下一代模型研发的许多环节,包括运行实验、生成和处理训练数据、自动化评估和安全审查、编写和审查代码,公司把这种循环称为「闭环」,并视之为其在前沿AI领域最重要的结构性优势之一。但公司也承认,用AI打造更强的AI可能构成相当大的安全风险,特别是当它急剧加快进展时。

对此,Anthropic表示,即使技术上可行,公司也不认为能够在缺乏有意义的人类监督或理解的情况下,安全地让Claude完全自主地设计和打造下一代前沿模型;因此,公司正在考虑更新《负责任扩展政策》,以确保Anthropic前沿模型的研发始终由人类掌控。

这份修订版招股书同时披露了Anthropic第三季度约170亿美元的收入等最新财务数据,公司正在推进首次公开募股。

下南洋预测市场:https://tonanyang.cc/webapp/