财联社6月5日讯，编辑牛占林报道，美国人工智能公司Anthropic呼吁全球顶级AI实验室审慎放缓开发步伐，原因在于，AI系统正以极快的速度持续进步，这意味着它们可能很快就会在无需人工干预的情况下实现自我改进，进而对社会带来重大风险。

该公司周四在一篇博客文章中披露了其内部关于模型能力提升速度的相关数据，并表示，如果能够放缓全球AI开发的推进速度，那么这可能会是一件有利于全世界的事情。

这篇由Anthropic内部研究所负责人及政策主管撰写的文章指出，当前AI模型的进步似乎正朝着“递归式自我改进”的方向发展，也就是AI系统能够在无需人工干预的情况下自行实现提升。一些AI业内人士将这一门槛视为潜在危险信号开始显现、并可能引发巨大社会动荡的关键节点。

“文章指出，如果世界能够具备放缓或暂时暂停前沿AI开发的选项，从而使社会结构以及一致性研究能够跟上技术进步的步伐，那么这会是一件有益的事情。”文章还提出，应当就如何在潜在层面放缓开发达成全球协议，并建立一套用于核查竞争对手是否遵守该协议的机制。

Anthropic近期完成了一轮融资，估值已接近1万亿美元，同时提交了机密文件，以启动公开上市流程。作为ChatGPT制造商的OpenAI，预计也会很快提交IPO文件。

自成立以来，Anthropic始终把“AI安全”作为核心理念来坚持推进。但在较长一段时间里，也有批评者认为，该公司所提出的政策主张，实质上是在借助监管手段来限制竞争对手的发展速度。

风险投资家、特朗普的非正式顾问David Sacks曾公开指责Anthropic的领导层正在推动所谓的“监管俘获议程”。

还有一些观点认为，Anthropic就其自身工具潜在危险性所发出的警告，同样可以被看作一种营销手段。这些持怀疑态度的人指出，Anthropic决定限制发布其功能强大的Mythos模型，本身就是宣传其产品能力的一种便捷方式。

Anthropic的领导层则表示，其对安全问题始终予以认真对待，并持续致力于推动围绕相关风险展开更多讨论。

宾夕法尼亚大学沃顿商学院教授Ethan Mollick评论称：“Anthropic这篇文章中既包含一定程度的自我反思，也带有部分营销色彩，但更值得重视的是，Anthropic较为真诚地表达了其对未来AI发展走向的判断，而这些判断本身值得持续关注。”

Anthropic的领导层，包括首席执行官Dario Amodei，多年来持续警示AI可能引发的风险后果，并推动更广泛的社会协作，以共同应对相关风险。Amodei曾指出，AI不仅可能加剧不平等，还可能取代多达一半的入门级白领岗位。

Amodei还进一步警告称，在不久的将来，可能会出现更为强大的AI系统，而这类系统可能会以难以预测的方式演化出破坏性倾向。

周四发布的博客文章还指出，Anthropic研究所将与其他机构合作开展相关研究，以“帮助建立实现可信放缓或暂停所需的系统”。

文章指出，暂停或放缓只有在获得广泛遵守的前提下才具备实际意义，而这将需要建立一套核查机制，以确保所有相关方都已停止推进。该公司把这一问题类比为核武器条约，但也承认，防止作弊会更加棘手。

Anthropic计划在未来几个月与政策制定者、研究人员以及其他相关人士组织对话，以帮助回应围绕递归式自我改进和核查系统所提出的问题：“围绕这些问题开展共同研究的窗口期已经到来，AI公司之外的相关人士也应当参与到这一审议过程当中。”

来源：Anthropic呼吁全球放缓前沿AI研发 警告“自我改进”风险 | 财联社