AI 行业的真正变量，很可能不在实验室里

一个挺魔幻的画面，本周在美国上演。

一边是 AI 实验室里最懂技术的那批人，一个接一个站出来喊，这东西可能会把人类搞灭绝。

另一边，特朗普坐在白宫里，记者问他担不担心，他说，不，我一点也不担心。

他担心什么呢。

他的原话是，担心 AI 发展不够快，赢不了这场竞赛。

你品品这个反差。

造核弹的人说这玩意儿可能失控，总统说那就再造快点。

说几个名字。

Anthropic 研究员 Jacob Coxon，周二宣布离职，理由写得明明白白，他认为 Anthropic 和 OpenAI 正在拿全人类的生命安全冒险。

这家公司负责 AI 对齐研究的负责人 Evan Hubinger，在 X 上发了个数字，未来十年内 AI 杀死全人类的概率，超过 10%。

10%。

想想这个数字意味着什么。

坐飞机失事的概率要是 10%，没人敢登机。

俄罗斯轮盘赌，六个弹膛装一发子弹，概率才 16.7%，玩的人都得掂量掂量。现在一位专职研究 AI 安全的负责人告诉你，十年内全人类团灭的概率超过 10%，而白宫的回应是，加速。

OpenAI 的首席科学家 Jakub Pachocki 也没闲着，他说了一句更专业也更瘆人的话。

他预计 AI 会进入“递归式自我改进”阶段，AI 参与开发下一代 AI，更强的系统造出更强的系统，循环往复，能力螺旋上升。

他的原话是，没有人为机器智能持续快速增长的后果做好准备。

首席科学家说没人做好准备。那谁在踩油门呢。总统在踩。

特朗普还给了个具体判断，美国领先对手大约一年，一年已经算很长的时间了。这话本身没毛病，AI 领域一年确实能拉开代差。

问题在于这个参照系，他把整件事定义成一场竞赛，既然是竞赛，那唯一的失败就是跑得慢，至于跑道尽头是悬崖还是领奖台，不在考虑范围。

这就是整件事最核心的分歧了。

两拨人用的根本不是同一把尺子。

技术人员用的是概率尺，灭绝概率 10%，那就该减速，该装刹车，该先想清楚再往前走。政治家用的是输赢尺，美国赢还是对手赢，赢了什么都好说，输了就全完了。

在输赢尺里，灭绝风险排不进前三，排第一的是“对手先搞出来”。

你可能想问，难道对手搞出一个失控的 AI，结局就不一样吗。当然一样，甚至可能更糟。但这个道理说服不了任何人，因为竞赛心态一旦形成，它自己会给自己续命。

我不跑，对手也在跑，那我停下来等于单方面认输。冷战时核武器就是这么一路堆到几万枚的，谁都清楚多了没用，谁都不敢先停。

历史上的剧本，换了个封面又上演了。

再说说那些警告者的处境，这里有个常被忽略的细节。

Hubinger、Coxon 这些人，都在给 AI 公司打工，领着行业里最高的薪水，研究着怎么让 AI 更安全。

可他们的雇主，恰恰在靠 AI 不够安全之前的窗口期拼命往前冲。Coxon 的选择是辞职，用最贵的方式表达反对。

Hubinger 还留在里面，一边研究对齐，一边公开说灭绝概率 10%。

想想看，一个人每天上班的内容，是防止自家产品毁灭人类。这种工作在人类历史上是头一回出现。

蘑菇学家研究怎么识别毒蘑菇，他们研究怎么防止蘑菇自己长腿跑了。

还有个信号值得多看一眼。

共和党议员开始和民主党站在一起推动 AI 监管了。7 月，加州共和党众议员 Jay Obernolte 和马萨诸塞州民主党众议员 Lori Trahan 宣布要提一部《前沿人工智能研究、部署、监管和安全法案》。

Trahan 周三的话说得相当重，AI 安全研究人员正在辞职，强大的 AI 模型正在突破实验室的控制，国会不能再袖手旁观。

美国政坛现在能达成两党共识的事，掰着指头数得过来。

AI 监管居然成了其中一个。这说明什么，说明连政客都嗅到味道不对了。平时共和党对监管两个字过敏，这次主动伸手，大概率是听了自己选区里技术圈人士的汇报，越听越睡不着觉。

但总统的态度摆在那儿。

白宫要速度，国会要刹车，实验室里的人在辞职信里写遗书一样的警告。三股劲儿朝三个方向使，最后会拧成什么样，谁也说不准。

聊聊我的三点想法。

一，警告的分量和警告者的位置，这次不一样。

以往喊 AI 风险的多是外部评论家，这次发声的是亲手造模型的人。厨子说菜里有毒，比美食家说菜里有毒，可信度高得多。

当一家公司负责安全的核心研究员用离职来投票，资本市场可以继续狂欢，旁观者最好多留个心眼。

二，竞赛叙事正在吞掉安全叙事。

一旦把 AI 定义成国与国的输赢，安全问题就自动降级成战术问题。可递归式自我改进这种技术，风险不分国界，失控的 AI 不会先查护照再决定灭谁。

用竞赛的思维管理一种全球共担的风险，方差极大，容错极小。赢了一年的领先，押上的是所有人的十年。

三，那个 10%，不管准不准，都已经产生实际效果了。

它让研究员辞职，让法案立项，让两党议员坐到了一张桌子前。风险的数字本身也许没法验证，但人心里的恐惧是真实的，而恐惧一旦进了国会，就会变成规则。

接下来几年，AI 行业的真正变量，很可能不在实验室里，在听证会上。

踩油门的人不信刹车，造刹车的人纷纷下车。

这辆车还在加速，乘客是全人类，而且，没人问过乘客的意见。