AI 需要暂停键,但谁有权按下?

  • AI治理的真正分歧在于人们对未来的不同判断:AI是受约束的普通技术,还是可能进入能力快速循环导致人类失去控制。
  • 《AI 2040》的减速方案要求全球算力监控,这反而可能形成新的权力中心,使暂停键变成少数人的王座。
  • 可信的暂停机制必须对称约束所有参与者,触发条件公开、证据多源、有明确期限和退出规则,防止权力永久化。
  • 权力集中风险不仅来自公司和政府,超级智能本身可能剥夺人类议价能力,仅靠“让可信者控制”不足以解决问题。
  • d/acc(防御性去中心化技术)是低后悔的长期底座,但难以应对能力骤变,仍需暂停作为极端情况下的保险。
  • 比争论时间表更重要的是提前约定风险信号(如AI独立完成持续研发等),让政策随现实变化而动态调整。
  • 分级干预更合理:从能力披露、限制高风险权限,到暂停前沿训练,避免直接跳转到全球关停,使措施与证据强度匹配。
  • 最终需设计能容错的制度,回答四个问题:依据什么证据、是否约束掌权者、能否外部验证、权力可否撤回,确保暂停键不会沦为权力的工具。
总结

作者:小白

本文为作者原创投稿,观点仅代表作者个人理解,ETHPanda 对内容进行编辑整理。

围绕 AI 的争论,常常被简化成两个阵营:一边主张继续加速,一边主张尽快暂停。

Vitalik 在回应《AI 2040: Plan A》时指出,这场争论真正的分歧,其实不是政策选择,而是人们对未来的基本判断完全不同。

一种判断认为,AI 仍然是一种“普通技术”。它会改变就业、产业和社会结构,但最终仍会受到市场、法律、能源、资本和组织能力的约束。

另一种判断认为,一旦 AI 开始大规模参与 AI 研发,能力增长可能进入快速循环。那时,人类面对的就不只是工作被替代,而是可能逐渐失去科研、经济、军事和制度上的实际控制力。

如果第一种判断成立,建立全球芯片追踪、算力审批和数据中心监控体系,显然可能是严重的过度反应。

但如果第二种判断成立,继续维持默认竞赛,相信市场最后会自动解决一切,也同样是一场高风险赌博。

所以,AI 治理真正需要回答的,不只是“要不要暂停”,而是:

在无法确定未来属于哪一种世界时,怎样保留减速的能力,又不把永久权力交给少数人?

《AI 2040》的核心,不只是“减速”

《AI 2040》提出了一条相对理想化的超级智能过渡路线。

它设想主要国家和 AI 公司通过国际协调,放慢前沿 AI 的发展速度,提高研究透明度,让更多参与者追赶到接近前沿的水平,再在安全和治理问题得到处理后继续推进。

我认为这套方案最大的问题,不在于目标,而在于执行。

只要存在一方秘密训练更强模型,其他参与者就会担心自己被甩开,协议也会迅速失效。因此,要让减速可信,就必须追踪高端芯片、监控大型数据中心、判断算力究竟被用于训练还是其他用途。

这意味着,为了阻止超级智能形成一个新的权力中心,人类可能需要先建立一个全球性的算力控制中心。

这正是 AI 暂停方案中最难解决的矛盾:

防止技术失控的机制,本身也可能成为权力失控的工具。

“AI 风险很大”并不能自动证明某个政府、国际组织或大型实验室应该获得无限权力。

同样,“监管可能被滥用”也不能反过来证明 AI 风险不存在。

真正需要审查的是制度结构:

谁定义危险,谁掌握数据,谁有权启动限制,谁可以获得豁免,谁来监督执行者,以及判断错误后,这套权力能不能被撤回。

如果这些问题没有答案,“AI 安全”很容易变成一张没有期限的技术授权书。

暂停键和王座之间,只差一个豁免权

“暂停 AI”听起来像一个简单动作,实际上可能代表两种完全不同的制度。

第一种是选择性暂停。

掌权者可以决定谁有资格训练模型,谁必须停止;谁属于可信机构,谁被视为危险参与者。别人受到限制,掌权者自己却可以保留模型、芯片和算力。

这种机制并没有真正结束竞赛,只是提前决定了赢家。

它不是暂停键,更像一张王座。

第二种是对称性暂停。

当公开的风险条件被触发时,所有主要参与者都受到限制,包括负责执行暂停的一方。没有秘密豁免,也不能一边要求竞争者停下,一边让自己的实验室继续推进。

这种机制才更接近真正的断路器。

Vitalik 明确肯定了 Plan A 引入“相互确保算力摧毁”这一点。相比让少数参与者有权选择性限制别人、同时豁免自己,这种机制至少更加对称。

但对称性也不能自动解决问题。

一个能够让全球先进算力大规模停摆的系统,本身就是极强的权力工具。它可能被错误情报触发,被政治冲突利用,被内部人员操纵,也可能因为技术故障造成巨大损失。

因此,一个可信的暂停机制,至少需要满足几个条件:

触发条件必须公开,证据不能由单一机构垄断,限制应尽可能对称,暂停必须有明确期限,重新启动的规则也要提前写清楚。

尤其不能只设计“如何进入紧急状态”,却不设计“如何退出紧急状态”。

现实中,机构获得权力以后,往往更容易证明危险仍然存在,而不是主动交还权力。

所以,AI 的暂停机制,本身也需要一个暂停键。

真正的权力集中,不只来自公司和政府

今天讨论 AI 权力,人们通常担心两件事。

一是少数大型公司垄断最强模型。

二是政府借安全之名控制芯片、数据和开发者。

但 Vitalik 提醒了第三种更深的风险:

超级智能本身,也可能成为最大的权力集中器。

人类今天之所以拥有议价能力,是因为人类掌握着一些稀缺资源:劳动、知识、组织能力、资本、政治权力和武力。不同群体之间必须相互协商,是因为任何一方都无法彻底绕开其他人。

如果 AI 在科研、编程、管理、金融、传播、网络攻击甚至军事规划上都比人类更快、更便宜、更有效,这些原本属于人类的稀缺能力就会迅速贬值。

到那时,即使市场上有十家 AI 公司竞争,也不代表人类仍然掌握最终决定权。

市场竞争可以限制一家公司的利润,却未必能保证普通人继续拥有议价能力。

所以,“让可信的人控制最强 AI”并不是完整答案。

它只是把问题从“AI 会不会控制人类”,改写成了“哪一小群人应该先获得控制最强 AI 的权力”。

d/acc 是底座,但不是万能答案

Vitalik 长期推动的 d/acc,可以理解为优先发展防御性、去中心化的技术。

例如更安全的软件、形式化验证、密码学、开放硬件、网络防御、生物安全和信息验证工具。

这些方向的价值在于,它们不依赖某个准确的超级智能时间表。

如果 AI 最终只是普通技术,更安全的软件、更可靠的硬件和更强的公共防御能力依然值得建设。

如果 AI 快速变强,这些技术也能提高社会抵御网络攻击、生物风险、硬件后门和信息操纵的能力。

这是一种低后悔策略:在无法确定未来属于哪一种世界时,先建设无论如何都值得拥有的安全基础设施。

但 d/acc 不是万能药。

如果 AI 能力真的在很短时间内发生跃迁,防御技术可能来不及部署。更安全的系统可以降低风险,却不能证明所有竞赛都应该继续。

因此,d/acc 更适合作为长期底座,而暂停机制则是极端情况下的保险。

底座需要持续建设,保险不应该轻易启动,但也不能等系统已经失控以后才开始设计。

比预测日期更重要的,是提前约定触发条件

Vitalik 这篇长文中最有现实意义的建议,不是立刻暂停 AI,而是提前约定:

出现什么证据以后,各方必须改变判断。

今天,要求所有人同意“超级智能会在 2030 年出现”或者“未来二十年都不会出现”,几乎不可能。

但不同阵营仍然可以提前同意一些风险信号。

例如:

AI 是否已经能够独立完成持续数周的研发任务;

是否能显著加速下一代 AI 的开发;

是否具备大规模发现和利用网络漏洞的能力;

是否开始自主复制、获取资源或绕过监督;

是否被接入武器、金融系统和关键基础设施;

是否已经造成持续的大规模社会损害。

重点不是找到一个完美指标,而是把争论从“你信不信超级智能”,变成“什么现实证据会让你更新判断”。

认为 AI 风险被夸大的人可以接受,因为他们相信这些情况不会发生。

担心超级智能的人也可以接受,因为他们认为这些信号可能很快出现。

双方不需要先统一世界观,只需要提前承诺:

现实变化以后,政策也必须变化。

干预不应该只有继续和关停两个档位

真正可执行的 AI 治理,也不应该在“完全自由发展”和“全球关停”之间直接跳转。

更合理的方式,是建立分级干预。

风险较低时,增加能力披露、事故报告和第三方测试。

风险继续上升时,限制模型接入关键基础设施,限制自主执行、资金调动、武器控制等高风险权限。

如果 AI 已经明显自动化 AI 研发,或者多类严重信号同时出现,再限制新的前沿训练和大型算力扩张。

只有当较低强度措施无法控制风险时,才进入范围更广、时间更短的暂停。

这种分级设计并不是为了削弱监管,而是为了让政策强度和证据强度相匹配。

真正危险的制度,往往不是没有能力采取强硬措施,而是可以跳过所有中间步骤,直接以“紧急状态”为理由获得无限权力。

结语

AI 治理真正困难的地方,不是缺少立场,而是缺少一套能够容纳判断错误的制度。

继续竞赛不是中立选择。

全球暂停也不是中立选择。

开放模型不天然安全,封闭模型也不天然负责。

一套可信的治理机制,至少需要回答四个问题:

它依据什么证据行动?

它是否同样约束掌权者?

它能不能被外部验证?

判断错误以后,权力能不能撤回?

AI 时代,也许确实需要一个暂停键。

但暂停键真正的难题,从来不是能不能造出来。

而是:

谁有权按下它,谁有权重新启动,以及如何确保任何人都不能把这个按钮变成自己的王座。

分享至:

作者:ETHPanda

本文为PANews入驻专栏作者的观点,不代表PANews立场,不承担法律责任。

文章及观点也不构成投资意见

图片来源:ETHPanda如有侵权,请联系作者删除。

关注PANews官方账号,一起穿越牛熊
PANews APP
美股三大指数涨跌不一,COIN涨超3.58%
PANews 快讯