AI会不会有一天把人类全部消灭？这个曾经只属于科幻电影的问题，如今正堂而皇之地出现在科技公司高管访谈和经济学家的专栏里。

硅谷甚至为它发明了一个略带黑色幽默的术语：P(doom)，也就是“末日概率”，专指人工智能导致人类灭亡的可能性。

面对这个话题，人们往往分成两派。一派过于淡定，认定机器永远不会反过来对付我们，就算真有那一天，拔掉电源就行。

另一派则过于悲观，坚称大难临头，把末日概率挂在嘴边。

英国《金融时报》经济评论员索马亚·凯恩斯近日撰文，试图为在两种极端之间摇摆的人们提供几条保持清醒的思路。

先问清楚：你说的“末日”究竟是什么

讨论末日之前，首先要想清楚“末日”对你意味着什么。是数十亿人死亡的浩劫，还是人类这个物种彻底从地球上消失？

如果你最担心的是人类彻底灭绝，那么有一个多少让人宽慰的消息：要把全人类一个不剩地消灭，其实相当困难。

一位预测者指出，杀人机器人受制于电池续航，能携带的弹药也有限，很难像电影里那样无休止地横扫全球。

核武器同样如此。按照目前的核武库规模，核爆产生的烟尘还不足以引发一场让所有人无处可逃的核冬天。

正因如此，严肃的预测者会把“大灾难”和“灭绝”分开计算，两者的概率往往相差好几倍。

美国预测研究所曾在2022年组织过一场存在性风险预测锦标赛，邀请超级预测者与各领域专家共169人参与。

结果显示，超级预测者认为到2100年AI导致人类灭绝的概率仅为0.38%，AI专家的估计则为3%。

如果把门槛降为AI导致至少一成人口死亡的重大灾难，两组的估计分别升至约2%和12%。

可见，同一群人对“灾难”和“灭绝”的判断差距巨大，这提醒我们，任何一个末日概率数字都必须先问清楚它指的是什么。

这就像天气预报里的“有雨”，毛毛细雨和倾盆暴雨显然不是一回事。概念不清，数字再精确也只是空中楼阁。

灭绝与浩劫，差别到底有多大

在很多人看来，一场让数十亿人丧生的灾难，和人类彻底灭绝相比，似乎也没什么本质区别。

凯恩斯调侃说，这种想法相当正常，而且原因不只是幸存者可能主要是躲在地下掩体里的亿万富翁。

但哲学家早就提出过一个耐人寻味的思想实验。英国牛津大学已故哲学家德里克·帕菲特在1984年的著作《理与人》中设想了三种情景：世界和平、核战争杀死99%的人口、核战争杀死全部人类。

帕菲特认为，第二和第三种情景之间的差距，远远大于第一和第二种之间的差距。因为彻底灭绝不仅夺走当下的生命，还抹去了未来所有可能存在的世代。

牛津大学实验心理学系的研究人员斯特凡·舒伯特、卢修斯·卡维奥拉和纳迪拉·法伯把这个思想实验搬进了实验室，研究成果于2019年发表在《科学报告》期刊上。

他们调查了英美两国的2500余名受访者，发现在常规条件下，只有约两成人认为彻底灭绝比“几近灭绝但尚能恢复”显著更糟。

然而，当受访者被告知人类原本会迎来一个在各方面都比今天更好的漫长未来时，认为灭绝尤其糟糕的比例在英国样本中跃升至约77%，美国样本中也达到约67%。

换句话说，我们之所以对灭绝不够敏感，很大程度上是因为只盯着眼前的死亡和苦难，而忘了算上那个可能无比美好的未来。

研究还发现，专门研究存在性风险的学者绝大多数认为灭绝格外糟糕。这种认知落差，在一定程度上解释了公众与专家为何对AI风险的紧迫感迥然不同。

数字之外，更需要冷静的判断

末日概率之争之所以让人困惑，还因为各方给出的数字相差悬殊。

诺贝尔奖得主杰弗里·辛顿曾估计AI导致人类灭绝的概率在10%到20%之间，Anthropic首席执行官达里奥·阿莫迪则表示，他认为AI发展“非常非常糟糕”的概率约为25%。这些数字与超级预测者不到1%的估计相比，差了一个甚至两个数量级。

差异背后，既有对技术进展速度的不同判断，也有对“末日”定义的不同理解，还夹杂着时间跨度的差别。十年内的风险与本世纪末的风险，本就不能直接比较。

值得玩味的是，那场预测锦标赛本意是让双方通过辩论相互说服，结果几个月下来，超级预测者和专家的分歧几乎没有缩小。

对普通人来说，与其被某个耸人听闻的数字牵着走，不如先弄清它的定义、时间范围和估算者的立场。

灭绝或许很难，但这并不意味着可以高枕无忧。真正值得警惕的，是那些虽不至于终结人类、却足以让文明倒退几代人的灾难。

在盲目乐观与末日恐慌之间，保持清醒的思考本身，或许就是人类应对AI风险的第一道防线。