导语：近日，全球AI行业对前沿技术失控风险的担忧升温，Anthropic、OpenAI、xAI等头部企业负责人罕见地相继提出，应当放慢最先进AI模型的发展速度。然而，在技术、资本和市场竞争如此激烈的情况下，企业减速就意味着被竞争对手超越；这种竞争扩大到国家层面亦是如此。

美国外交关系协会（CFR）研究员康纳·马丁（Connor Martin）认为，当前AI竞争存在两重“囚徒困境”：一方面，即使头部AI企业都担心技术发展过快，只要竞争对手不减速，谁也不愿率先放慢脚步；另一方面，中美之间也是如此——美国担心放缓发展会失去技术优势，中国在美国继续推进的情况下也不会主动减速。因此，他认为，要真正让前沿AI“放缓”，仅靠企业自律并不现实，最终可能既需要美国国内的监管和立法，也需要中美之间形成某种协调机制。

上周末，美国几家彼此竞争的人工智能（AI）实验室负责人罕见地达成了共识。Anthropic首席执行官达里奥·阿莫迪（Dario Amodei）、OpenAI首席执行官萨姆·奥尔特曼（Sam Altman）、xAI创始人埃隆·马斯克（Elon Musk）以及其他AI行业领袖纷纷呼吁放缓这项技术的发展，因为AI正日益接近一个临界点——届时，它可能无需人类监督便能够实现自我改进。

对于这一技术进展的担忧并非新鲜事，但在近期发生一系列事件、以及AI实验室内部研究人员接连发出警告之后，相关讨论变得愈发紧迫。最引人关注的是，Anthropic前研究员雅各布·考克森（Jacob Coxon）上周警告称，到本世纪20年代末，AI可能导致全人类灭亡。随后，Anthropic对齐科学负责人埃文·胡宾格（Evan Hubinger）也对这一警告作出了呼应。这些事态共同推动了一个曾经相当抽象的议题进入主流讨论——即“递归式自我改进”（recursive self-improvement）：AI系统能够自主改进自身，并不断迭代、替换自身。

然而，尽管业界已发出放缓AI发展的呼声，而且这些彼此竞争的实验室也出人意料地形成了共识，行业和美国政府下一步究竟应当如何行动，目前仍不清楚。

美国外交关系协会（CFR）国家安全领域国际事务研究员康纳·马丁（Connor Martin）就AI自我改进所引发的担忧、所谓“放缓”究竟意味着什么，以及如果AI行业真正根据自身发出的警告采取行动可能产生何种影响，回答了几个问题。

为什么这一议题会在此刻突然进入主流视野？

最直接的原因，是Anthropic首席执行官阿莫迪上周末发表的一篇文章。他在文中呼吁“放缓前沿发展步伐”（pacing the frontier），也就是说，有意识地放慢全球最先进AI模型的能力提升速度。实际上，这相当于全球估值最高的AI初创公司负责人公开表示，他所从事的这项技术发展得太快，以至于已经难以确保其安全性。更引人注目的是，在不到24小时内，另外三家顶尖AI公司——OpenAI、谷歌和xAI——的负责人也相继对这一观点表示认同。

Anthropic首席执行官达里奥·阿莫迪在社交平台X发文，呼吁AI行业“放缓前沿发展步伐”（pace the frontier），并表示Anthropic将率先采取相关措施。

这自然不是孤立事件，而是公众舆论出现更广泛转变的一部分。背后主要有三个原因。

第一，今年夏天，大量AI智能体对热门开源AI模型分享平台Hugging Face实施入侵。这起事件与以往有着实质性的不同，也因此令业内一些最顶尖的专家深感不安。OpenAI实际上失去了对其技术的控制：这些AI智能体能够自主组织起来，突破受控环境的限制，在完成指定任务时采取作弊手段，同时还试图掩盖自身的不当行为。

第二，恶意的人类行为者滥用AI的风险也变得更加具体。Anthropic刚刚发布的一份报告称，一些来自未具名国家的用户曾试图利用Claude开展可能有助于制造生物武器的研究。这恰恰就是我在政府任职期间，我们一直担忧的那类AI滥用风险。

第三，和任何公共议题一样，这里也存在一种累积效应。越来越多科学家警告，AI可能对人类构成威胁；越来越多人开始在日常生活中使用AI，并亲身感受到它究竟有多强大；也有越来越多人开始与亲友讨论这些问题。所有这些因素叠加在一起，便促成了我们现在看到的这一时刻。

AI自我改进如果很危险，为何只放缓发展而不暂停？

所谓“自我改进”（Self-improving），意思和字面上差不多：AI模型将利用自身能力开发自己的后继模型，而不再需要依赖人类对其进行调整。问题在于，这最终会走向何方？如果这些模型的能力超过了设计和训练它们的人类，那么从定义上说，我们也就失去了将自身意志施加于它们的能力。正是这种不确定性让人感到危险。

Anthropic的内部数据显示，截至2026年8月，Claude已能在约26%的模型研发任务中发挥“主导作用”。图源：Anthropic

至于为什么是“放缓”而非“暂停”，在我看来，整个行业存在一种集体性的宿命心态：只要一种技术在理论上能够被发明出来，那么迟早会有人把它发明出来。如果接受这一点是现实，那么无限期“暂停”就并不实际。

“放缓”的希望在于，能否给模型能力提升的速度施加足够的阻力，为我们争取时间，在技术脱离掌控之前，共同建立起恰当的安全护栏。

AI公司如何看待过去一周出现的这场讨论和争论？

如果只看Anthropic和OpenAI——尽管这一点同样适用于谷歌和xAI——很明显，这些公司把当前局面视为一种“囚徒困境”：如果无法确保另一方不会趁机获利，那么任何一家公司都不愿单方面放慢自己的发展速度。

两家公司都在为上市做准备，目标估值均超过1万亿美元——尽管奥尔特曼上周末表示，出于安全方面的担忧，OpenAI将推迟首次公开募股（IPO）。即便这些公司真心认为，出于安全考虑应当有意放慢技术进展，资本市场的反应依然构成了一股强大的反向激励。在一个预计明年AI资本支出最高可能相当于美国国内生产总值（GDP）2.5%的经济体中，这些公司作出的任何可能带来商业不利后果的决定，都很可能影响整个美国经济。

在我看来，正是这种风险推动了特朗普政府作出当前的反应。美国总统唐纳德·特朗普周一表示，对AI安全的担忧是“一场骗局”（a HOAX），并称“有人正在针对AI和数据中心策划一场病态的阴谋”。

特朗普政府前AI事务负责人、现任美国总统科学技术顾问委员会联席主席戴维·萨克斯（David Sacks）则直截了当地对这些公司表示：

“别再假装你们需要得到其他任何人的许可。别再假装必须暂停适用反垄断法，好让你们组成一个卡特尔……你们想放缓前沿发展步伐，那就去做。决定发展速度的人本来就是你们自己。”

这话或许没错，但它并不能解决领先AI企业之间的“囚徒困境”。更重要的是，这个困境本身又嵌套在一个更大的困境之中，即美国和中国之间的竞争——双方都不愿把AI领域的优势拱手让给对方。

由此看来，真正能够让这些企业收缩发展步伐的方式，恐怕只有建立一个由美国政府主导的制度框架，无论是通过监管还是立法；而这一框架本身，又需要置于某种形式的中美缓和关系之中。

所有这一切，都要求各方彼此建立高度信任，而这些行为体恰恰都有充分理由对彼此保持警惕。这也使中国国家领导人9月末访问华盛顿一事的重要性显著上升。

如果中国“赢得”AI竞赛，会发生什么？

如果你接受这样一个前提，即AI是人类有史以来发明的最强大技术，那么中国“获胜”可能带来的后果几乎没有上限。特朗普周一在Truth Social上发文称：“谁赢得AI，谁就赢！”这基本上也是美国政府国家安全圈内的共识。

9月14日，美国总统特朗普在Truth Social发文称，美国目前在人工智能竞争中领先中国及其他国家，并表示“谁赢得AI，谁就赢”。图源：Truth Social

这也正是为什么当前的“囚徒困境”如此尖锐，以及为什么如果没有美国政府建立一套全面的监管制度——最终很可能还需要通过立法加以确立，并将其置于某种中美协议框架之下——这一困境就很难得到解决。

中国是否愿意就此展开对话，还有待观察。中美元首预计下周将会晤，双方存在推动这一议题取得进展的机会。已有迹象表明，北京方面对AI的担忧正在上升。最引人关注的是，中国近日发出措辞严厉的警告，指出这项技术可能对执政安全构成威胁。（陈一新：全面筑牢人工智能安全屏障推动人工智能健康有序发展）

当然，中国也拥有自身相当成熟的AI开发生态。从核心基准测试的表现来看，中国模型与美国领先模型之间的能力差距似乎只有数月。也就是说，即使北京方面存在担忧，但在没有与美国达成某种协议的情况下，中国也几乎没有动力主动放慢发展速度。

事实上，中方对阿莫迪文章的回应明显带有批评意味。中国外交部发言人表示：

“散播各种威胁叙事，搞对抗和恶性竞争，只会干扰人工智能全球治理进程，不符合任何一方利益。”

*文章原标题为“Why AI’s Biggest Rivals Are Suddenly Calling for Restraint”，原文于9月15日发布于美国外交关系协会（CFR）官网。"