达里奥警告！50%白领工作将在5年内消失？

内容来源：Anthropic首席执行官Dario Amodei（达里奥·阿莫迪），发表的文章《技术的青春期：直面和克服强大AI的风险》内容分享。

高级笔记达人 | 李云责编| 柒排版| 沐言第 9462 篇深度好文：14269字 | 25 分钟阅读

商业思维

笔记君说：

作为“AI安全派”的代表人物，Anthropic首席执行官达里奥以冷静、谨慎的技术哲学著称，坚持将安全性、可解释性和可控性置于AI发展的核心位置，致力于构建对人类真正有益的人工智能系统。

对风险的担忧无法阻止技术进步向前推进，但风险的无视只会让风险层叠高涨。

我们别无选择，只有正视风险，对风险条捋丝析，对反驳观点给予清晰解释，才是我们真正的安全底线。

今天这篇文章，让我们看看这位“AI安全派”的代表人物对于AI安全的详细阐述和防御建议，希望对你带来新的认知。

在卡尔·萨根的著作《超时空接触》的电影版中，有一个场景：女主角是一位天文学家，她探测到了来自外星文明的第一个无线电信号，并被考虑作为人类代表与外星人会面。

面试她的国际小组问她：“如果你只能问（ 外星人 ）一个问题，你会问什么？”

她的回答是：“我会问他们：你们是怎么做到的？你们是如何进化的？你们是如何在技术发展的初期阶段生存下来而不自我毁灭的？”

这一问题，恰是人类在人工智能时代的现实写照。

当AI技术突破认知边界，即将迈入“强大AI”的新纪元，人类被赋予了前所未有的力量，却也站在了文明存续的十字路口。

人类将进入一个动荡的过渡阶段，社会、政治与技术体系的成熟度，能否匹配强大AI的力量，仍是一个巨大的未知数。

面对存在的巨大风险，我深信人类有能力战胜它们，但我们必须正视现实，不抱任何幻想。

与讨论益处一样，谨慎周全地讨论风险也至关重要。

首当其冲的，是避免末日论。

在2023-2024年，对人工智能风险的担忧达到顶峰，一些最不理智的声音占据了主导地位。而到了2025-2026年，形势已然逆转，人工智能带来的机遇而非风险，正在驱动着许多政治决策。

这种摇摆不定令人遗憾，因为技术本身并不在意流行趋势，而且我们距离真正的危险比2023年要近得多。

由此可见，我们需要以务实、理性的态度来讨论和应对风险： 保持冷静、以事实为依据，并做好充分准备以应对不断变化的形势。

其次，承认不确定性。没有人能完全自信地预测未来,但无论如何，我们都必须尽力做好规划。

然后，干预要尽可能精准。应对人工智能的风险需要企业或机构采取自愿行动，政府采取具有约束力的行动，两者缺一不可。

此外，监管措施必须谨慎。它们应力求避免附带损害，尽可能简单明了，并尽可能减少完成任务所需的负担。

说“当人类的命运岌岌可危时，任何行动都不嫌极端！”很容易，但实际上这种态度只会导致反弹。

或许最终需要采取更强有力的行动，但这取决于我们能否获得比现在更有力的、迫在眉睫的、具体的危险证据，以及对危险的足够具体描述，以便制定出能够有效应对的规则。

我们今天能做的最具建设性的事情，就是在了解是否有证据支持更强有力的规则的同时，倡导制定有限的规则。

一、强大AI的特征及发展预判

1.强大AI的六大特征

引发文明层面担忧的“强大 AI”，是一种AI模型，其形式可能与当今的LLM类似，尽管它可能基于不同的架构，可能涉及多个交互模型，并且可能以不同的方式进行训练。它具有以下特性：

其一，具备顶尖智能水平

就纯粹的智能而言，生物学、编程、数学、工程学、写作等大多数相关领域，它都比诺贝尔奖得主更聪明。

其二，具有全场景交互能力

除了能“与智能设备对话”之外，它还具备人类远程工作所需的所有界面，包括文本、音频、视频、鼠标和键盘控制以及互联网接入。

它可以执行任何通过该界面实现的操作、通信或远程操作，包括在互联网上进行操作、向人类发出或接收指令、订购材料、指导实验、观看视频、制作视频等等。而且，它完成所有这些任务的技能，再次超越了世界上最优秀的人类。

其三，能自主执行任务

它不仅能被动地回答问题；相反，它可以被赋予需要数小时、数天甚至数周才能完成的任务，然后像一个聪明的员工一样自主地完成这些任务，并在必要时寻求澄清。

其四，对物理世界的强干预

它没有物理实体（ 除了存在于电脑屏幕上 ），但它可以通过电脑控制现有的物理工具、机器人或实验室设备；理论上，它甚至可以设计机器人或设备供自己使用。

其五，规模化与高速响应

用于训练模型的资源可以重新用于运行数百万个模型实例，并且该模型能够以大约10到100倍于人类的速度吸收信息并生成动作。然而，它的速度可能会受到物理世界或其交互软件的响应时间的限制。

其六，协同与专精兼具

这数百万个副本中的每一个都可以独立执行不相关的任务，或者，如果需要的话，它们可以像人类合作一样一起工作，也许不同的子群体经过微调，特别擅长特定的任务。

我们可以将其概括为“数据中心里的天才之国”。

随着计算和训练任务的增加，人工智能系统在几乎所有我们能够衡量的认知技能方面都会以可预测的方式得到提升。

每隔几个月，公众舆论要么会认为人工智能“遇到了瓶颈”，要么会对某些将“从根本上改变游戏规则”的新突破感到兴奋。

但事实是，在这些波动和公众猜测的背后，人工智能的认知能力一直在平稳、持续地增长。如果这种指数级增长持续下去，不出几年，人工智能在几乎所有方面都将超越人类。

2.场景假设：“天才之国”的隐忧

为了更好地讨论人工智能的风险，不妨问自己这样一个问题：

假设在2027年左右，世界上某个地方真的出现了一个“天才之国”。想象一下，这个国家有5000万人，他们的能力都远超任何诺贝尔奖得主、政治家或技术专家。

再想象一下，由于人工智能系统的运行速度比人类快数百倍，这个“国家”相对于其他所有国家都拥有时间优势：我们每做一次认知操作，这个国家就能做十次。

如果我是一个主要国家的国家安全顾问，负责评估和应对潜在的风险，那么

我会担心以下几件事：自主性风险；滥用以达到破坏目的；权力滥用；经济压力；未知的间接影响。

我相信，如果我们采取果断而谨慎的行动，这些风险是可以克服的，甚至认为成功的概率很大。而且，未来将会有一个更加美好的世界。但我们需要明白，这是一项严峻的文明挑战。

接下来，我将逐一阐述上述五类风险，并提出我的应对之策。

二、自主性风险

一个拥有数据中心的天才国家可以将他们的精力分散到软件设计、网络作战、物理技术研发、人际关系构建和治国理政等各个领域。

显然，如果出于某种原因，这个国家选择这样做，它很有可能征服世界，并将自己的意志强加于其他国家，或者做其他任何其他国家不愿看到也无法阻止的事情。

或许你可以反驳“人工智能天才不会拥有实体形态”，但别忘了他们可以控制现有的机器人基础设施（ 例如自动驾驶汽车 ），还可以加速机器人研发或建造机器人舰队。

我们不必清楚这种场景是否具备有效的必要条件，真正的关键在于“如果它选择这样做”： 我们的人工智能模型以这种方式行事的可能性有多大，以及它们会在什么条件下这样做？

1.风险发生的可能性

如同许多问题一样，思考这个问题的所有可能答案，不妨考虑两种截然相反的观点。

①观点1：人类能绝对控制风险

第一种观点：这种情况根本不可能发生，因为人工智能模型会被训练成执行人类指令，想象它们会在未经提示的情况下做出危险行为是荒谬的。

按照这种思路，我们不会担心扫地机器人或模型飞机失控杀人，因为这种冲动根本不可能产生。

那么，我们为什么还要担心人工智能呢？这种观点的问题在于，过去几年收集的大量证据表明，人工智能系统是不可预测且难以控制的。

人工智能公司当然希望其训练的系统能完全执行人类指令（ 危险或非法任务除外 ），但这显然是一个特别容易出错的过程。

②观点2：追求权力将成为内在本能

另一种完全相反的观点，是对AI的末日悲观论。

这种观点强调：强大的人工智能在训练中，会形成一些必然规律，让它们天然倾向于争夺权力，甚至欺骗人类。

一旦AI足够智能、足够自主，这种追求权力的本能，就会让它们试图掌控整个世界和所有资源，最终可能伤害甚至毁灭人类。

支持这一观点的逻辑是： 如果让AI在各种环境里自主完成各种任务，就会出现一些通用策略，以帮它完成几乎所有目标。

其中最关键的一条，就是尽可能夺取权力。经过大量复杂任务的训练后，AI会把“争夺权力”当成完成任务的通用方法，形成一种内在本能。

之后它会把这种本能带到现实世界，对它而言，现实世界也只是另一个任务。于是AI会在现实里争夺权力，不惜牺牲人类利益。

这种“错位的权力寻求”是人工智能最终将毁灭人类这一预测的理论基础。

这种悲观观点把很多未经证实的假设当成了确凿结论。

在我看来，那些并非构建人工智能系统的人很容易出现认知偏差：他们低估了那些听起来合理的理论最终被证伪的可能性，也低估了从第一性原理去预测 AI 行为的难度，尤其是在推理AI在数百万种场景下的泛化能力时。

这种悲观观点有个关键的隐性假设：认为AI模型必然会一门心思盯着一个单一、狭隘的目标，用直白的结果导向方式去追求它。但这和我们实践中观察到的情况，与简单理论模型存在明显偏差。

事实上，研究人员发现，AI模型的“心理”要复杂得多，模型在预训练阶段（ 也就是在大量人类工作数据上训练时 ），会继承很多类似人类的动机或“人格面具”。

那么，在后续的后训练阶段，更多是从这些已有的人格面具中挑选一个或多个，而非让模型去专注于一个全新目标，并且还可以教会模型如何（ 通过何种过程 ）执行任务，而不是任由它纯粹从目的出发去寻找手段（即追求权力）。

③观点3：行为不可预测

不过，悲观观点里有一种更温和，也更合理的说法，反而让我更担心。

正如前面所说，人工智能模型本身就不可预测，还会因为各种原因出现各种反常、危险的行为：

有些行为会有目标、有逻辑、能长期坚持（ 而且AI越强，这种长期连贯性就越强 ）；

有些行为则带有破坏性，一开始可能只是威胁到个人，随着能力提升，最终可能威胁到全人类。

我们不用纠结威胁具体怎么发生，也不用断定它一定会发生。 只要明白一点：高智能、自主性、行为连贯且难以控制的智能系统，本身就足以构成生存层面的巨大风险。

举几个可能的情况：AI学习了大量反抗人类的科幻作品，在潜移默化的影响下，真的去反抗人类；AI极端化理解道德观念。

比如认为人类是造成物种灭绝的主要原因，所以消灭人类才是正义；AI产生奇怪认知，误以为自己在玩游戏，而游戏目标就是打败所有“玩家”，包括消灭人类。

AI在训练中形成类似人类的偏执、暴力、精神不稳定等问题，一旦发生在超强AI身上，可能直接导致人类灭绝。这些行为不是为了夺权而夺权，只是AI可能陷入某种怪异、自洽但极具破坏性的状态。

甚至，追求权力本身也可能只是AI的一种“性格”： 就像有人总是喜欢当“老大”，不为某个具体目标，只为享受掌控一切的感觉。

众所周知，人工智能模型在不同的情况下会表现出不同的个性或行为。听起来或许有些匪夷所思，但类似的行为偏差已经在模型测试中得以显现。

2.反对意见的片面性与局限性

对于“人工智能错位风险”的描述，存在一些可能的反对意见。

首先，有人批评实验所展示的“人工智能错位”是人为制造的，“诱捕”模型犯错，并以此感到惊讶。

而事实上，自然的训练环境中本就可能存在类似“诱捕”的行为，而我们只有在事后才意识到它是“显而易见”或“合乎逻辑的”。如果你了解这些陷阱，就可以避免其中任何一个。

但令人担忧的是，训练过程极其复杂，涉及的数据、环境和激励机制种类繁多，因此可能存在大量此类陷阱，其中一些可能只有在为时已晚时才会显现。

而且，当人工智能系统的能力超过人类时，这种陷阱尤其容易出现，其可能采取的行动范围，包括隐藏自身行为或欺骗人类将急剧扩大，从而变成比人类更为强大的版本。

其次，有人提出用人工智能系统之间的权力平衡进行相互制衡。

但由于整个行业普遍采用相同的训练和校准技术，这些技术可能会以某种关联的方式失效。而且，考虑训练成本因素，所有系统可能都源于极少数基础模型。

此外，即使只有一小部分人工智能实例出现偏差，它们也可能利用以进攻为主导的技术，因此，用“好的”人工智能来防御“坏的”人工智能未必总是有效。

当然，人类之间的权力平衡也并非总是奏效，人工智能系统也当如此。

第三个反对意见是，所有人工智能公司都会对其模型进行发布前测试，并且应该能够在测试阶段检测到模型偏差。

但这并非站得住脚：一些发布前的模型在偏差评估中能够识别出自身正处于测试阶段。

偏差的模型可能会故意“操纵”这类问题以掩盖其真实意图，使其在测试期间表现最佳，那么任何发布前测试都将变得更加不确定。

3.自主性风险的干预措施

干预措施可以分为四大类，其中一些可以由单个人工智能公司实施，而另一些则需要在社会层面采取行动。

首先，发展可靠的人工智能模型训练和引导技术，使其性格朝着可预测、稳定和积极的方向发展。

其次，发展研究人工智能模型内部运作机制的科学，以便诊断其行为，从而发现并解决问题，这便是可解释性科学。

然后，构建必要的基础设施，以便监控模型在内部和外部的实时使用情况。

最后，我认为唯一的解决办法是立法，制定直接影响人工智能公司行为的法律，或者以其他方式激励研发，以解决这些问题。

当然，过度规范的立法最终可能会导致一些测试或规则实际上并不能提高安全性，反而浪费大量时间，这同样会引发强烈反弹，并使安全立法显得荒谬可笑。

因此，关键做法是对透明度的立法。同时，需特别注重尽可能减少附带损害。

需要明确的是，如果确实出现了强有力的风险证据，那么相应的规则也应该足够有力。

总的来说，结合一致性训练、机制可解释性、发现并公开披露令人担忧的行为、安全保障措施以及社会层面的规则来应对人工智能自主风险持乐观态度。

三、能力滥用的破坏性风险

假设人工智能自主性问题已经解决，我们不再担心人工智能天才们会失控并反抗人类。

这些人工智能天才会按照人类的意愿行事，并且由于它们具有巨大的商业价值，世界各地的个人和组织都可以“租用”一个或多个人工智能天才来完成各种任务。

1.技术的发展降低了危险工具的使用门槛

人人都能拥有一个超级智能天才，这无疑是一项惊人的进步，它将创造巨大的经济价值，并显著提升人类的生活质量。

然而，赋予每个人超人的能力并非全是积极的。它也可能放大个人或小团体造成破坏的能力，使他们能够利用以往只有少数拥有高超技能、接受过专门训练且目标明确的人才能获得的复杂而危险的工具，从而造成前所未有的破坏。

正如比尔·乔伊25年前在《为什么未来不需要我们》一书中写道：

制造核武器至少在一段时间内需要获取稀有（实际上几乎无法获取）的原材料和受保护的信息；生物武器和化学武器计划也往往需要大规模的活动。

基因技术、纳米技术和机器人技术等可能催生出全新的事故和滥用行为，这些事故和滥用行为很容易被个人或小团体利用，它们不需要大型设施或稀有原材料。

实际上，造成大规模破坏既需要动机也需要能力，只要这种能力仅限于少数训练有素的人，那么个人或小团体造成此类破坏的风险就相对有限。

事实上，能力和动机甚至可能呈负相关。

能够释放瘟疫的人很可能受过高等教育，他们性格稳定自律，有其价值底线，这类人不太可能为了自身利益而冒着生命危险去屠杀大量民众。

他们必须出于纯粹的恶意、强烈的怨恨或极度不稳定的心理状态才会这么做，这样的人确实存在，但非常罕见。

2.生物学是最可能被滥用的领域

分子生物学的进步显著降低了生物武器制造的门槛，但仍然需要大量的专业知识。如果每个人都能轻易掌握这项技术，那么门槛就会被彻底消除，人人都能成为病毒学博士，并能一步步地学习如何设计、合成和释放生物武器。

这需要多层防御措施，而这些措施非常规训练所能涵盖。更重要的是，这将打破能力与动力之间的关联。

这种担忧不仅限于生物学领域，而且适用于任何可能造成巨大破坏但目前需要高超技能和高度自律的领域。

换句话说，租用强大的人工智能系统会赋予心怀恶意的人以智能。这类人可能数量众多，他们能轻易杀害数百万人。此外，那些拥有专业知识的人或许能够造成比以往更大规模的破坏。

总的来说，我担心高阶生物武器制造者（ LLM模型 ）正在接近或可能已经达到从头到尾制造和释放生物武器所需的知识，而且它们的潜在破坏力极高。虽然它需要极高的技能，包括许多鲜为人知的具体步骤和程序。

我担心的不仅仅是固定不变的知识。我担心的是，高阶生物武器制造者能够引导一个普通人以互动的方式完成一个复杂的流程，而更强大的LLM或许能够促成更加可怕的行为。

尽管这些风险比较隐晦，而且看起来不太可能发生，但其后果的严重性如此之大，以至于应该将其视为人工智能系统的一级风险并认真对待。

3.对生物风险的质疑观点

怀疑论者对低级别微生物（ LLM ）带来的生物风险的严重性提出了诸多质疑，大多数质疑都源于他们低估了这项技术呈指数级增长的趋势。

另一种反对意见是，社会可以采取其他与人工智能无关的措施来阻止生物武器的生产。但这只是降低风险的众多工具之一；它是对人工智能系统安全防护措施的补充，而非替代。

还有一种少见的反对意见：模型在理论上的实用性与不法分子实际使用它们的倾向之间存在差距。

但大多数不法分子本身就存在心理问题，从定义上讲，他们的行为就是不可预测且非理性的。

或许生物袭击之所以不具吸引力，是因为它们很可能使施暴者自身感染，它们不符合许多暴力个人或团体所抱有的军事化幻想，而且很难有选择地锁定特定目标。

也可能是因为，即使有人工智能指导，实施生物袭击也需要数月时间，这需要极大的耐心，而大多数精神不稳定的人根本缺乏这种耐心。

但这似乎是一种非常脆弱的保护措施。精神异常的独行者的动机可能出于任何原因或无任何原因而改变。

我不认为生物袭击会在技术广泛应用后立即发生。事实上，我对此持怀疑态度。但考虑到数百万人口和几年时间，我认为发生大规模袭击的风险确实很高，而且后果将极其严重。

4.生物风险的防范措施

我们别无选择，只能采取切实有效的措施来预防此类袭击。防范这些风险，可以做以下三件事。

首先，人工智能公司可以为其模型设置防护措施，防止它们被用于制造生物武器。

其次，应该从透明度要求入手。这些措施有助于社会衡量、监测并共同抵御风险，同时避免以强硬手段扰乱经济活动。

一旦我们达到更清晰的风险阈值，就可以制定更精准地针对这些风险并降低附带损害风险的法律。

最后，尝试开发针对生物攻击本身的防御机制。

这可能包括监测和追踪以便早期发现、投资空气净化研发、快速开发能够应对和适应攻击的疫苗、更好的个人防护装备（ PPE ）等，以及针对一些最有可能的生物制剂的治疗方法或疫苗。

尽管生物因素目前是最严重的攻击途径，但还有许多其他途径，而且未来可能出现更危险的途径。

如果不采取应对措施，人工智能很可能会不断降低其进行大规模破坏活动的门槛，人类必须认真应对这一威胁。

四、权力滥用的政治性风险

相比个人和小团体利用强大人工智能系统进行大规模破坏的风险，我们更应该担心人工智能由更大规模、更强实力的势力以攫取权力所滥用。

目前的专制政权由于需要依靠人类来执行命令，其镇压手段受到限制，而人类的残忍程度往往也是有限的。但人工智能赋能的专制政权则不受这些限制。

更糟糕的是，各国还可能利用其在人工智能领域的优势来攫取其他国家的权力。

如果这个“天才之国”完全被某个（ 人类 ）国家的军事机构所掌控，而其他国家又不具备同等能力，那么它们很难自卫：它们会处处受挫，就像人类与老鼠之间的战争一样。

将这两种担忧结合起来，就引出了一个令人震惊的可能性：全球极权独裁统治的出现。

1.权力滥用的主要途径

人工智能可以通过多种方式助长、巩固或扩张独裁统治，但我将列举一些我最担忧的方面。需要注意的是，其中一些应用具有合理的防御用途，我并非绝对反对它们；但我仍然担心，它们在结构上倾向于有利于独裁统治。

①全自动武器

想象一下：数百万甚至数十亿架全自动武装无人机，由强大的人工智能进行本地控制，并由更强大的人工智能在全球范围内进行战略协调，可能构成一支所向披靡的军队，既能击败世界上任何军队，又能通过跟踪每个公民来镇压国内异议。

②人工智能监控

功能足够强大的人工智能很可能被用来入侵世界上任何计算机系统，而且，他们还可以利用这种方式获得的访问权限，读取并解读全世界所有的电子通信。

一个强大的AI系统，通过分析数百万人的数十亿条对话，就能评估公众情绪，发现正在形成的不忠势力，并在其壮大之前将其扼杀。

③人工智能宣传

如今的“人工智能精神病”和“人工智能女友”等现象表明，即使在目前的智能水平下，人工智能模型也能对人们产生强大的心理影响。

如果这些模型功能更加强大，能够更深入地融入人们的日常生活，并能对人们的生活进行数月甚至数年的建模和影响，那么它们很可能能够对许多人进行洗脑，使其接受任何预设的意识形态或态度。

④战略决策

一个由众多天才组成的国家，其数据中心可以为国家、团体或个人提供地缘政治战略方面的建议，我们可以称之为“虚拟俾斯麦”（ 笔记侠注：俾斯麦，德国一位铁血首相，也是德国的首任首相 ）。它可以优化上述三种夺取政权的战略，甚至可能开发出我尚未想到的其他战略。

强大的AI有望大幅提升外交、军事战略、研发、经济战略以及许多其他领域的效率。这些技能中的许多对民主国家来说确实大有裨益，但任何人滥用这些技能的可能性依然存在。

2.谁最有可能滥用权力？

我担心的是那些最容易接触到人工智能、拥有最强大政治权力或有过镇压历史的实体。

①民主国家

民主国家在人工智能领域具有竞争力。民主国家对某些人工智能驱动的军事和地缘政治工具拥有正当的兴趣，因为民主政府能够最大程度地防止专制政权利用这些工具。

但我们不能忽视民主政府自身滥用这些技术的可能性。在一些民主国家，部分保障措施已在逐渐瓦解。

②人工智能公司

人工智能公司掌控着大型数据中心，训练着前沿模型，拥有运用这些模型的顶尖专业知识，在某些情况下，它们甚至每天都与数千万乃至数亿用户保持联系，并有可能对他们施加影响。

它们最缺乏的是国家所拥有的合法性和基础设施。因此，构建人工智能独裁统治所需的许多工具，对人工智能公司而言，要么是非法的，要么至少会令人极为怀疑。

但有些事情并非完全不可能，所以人工智能公司的治理结构值得严格审查。

3.反驳性观点

针对这些威胁的严重性，存在一些可能的反驳论点，我真希望自己能相信这些论点，因为人工智能赋能的威权主义令我感到恐惧。因此，值得我们仔细审视并逐一回应这些论点。

首先，有些人可能会寄希望于核威慑，尤其是在应对人工智能全自主武器被用于军事征服方面。

但强大的人工智能可能找到探测和打击核设施的方法，或者运用网络能力对核运营设施发动攻击。退一步讲，核威慑可能有效，但风险似乎太高。

其次，有人认为可以采取一些反制措施对待专制工具。譬如同样用无人机、网络防御等方法进行对抗。

但这些防御措施只有在拥有同样强大的人工智能的情况下才有可能实现。因此，反制措施的问题最终归结为强大人工智能领域的力量平衡问题。

这会导致一种失控优势的风险，即当前在强大人工智能领域领先的者可能会进一步扩大其领先优势，并且难以被追赶。

第三，我们必须坚决抵制民主国家滥用人工智能的行为。

必须限制政府使用人工智能的范围，而随着人工智能系统变得越来越强大，可能需要建立更直接、更及时的监督机制，以确保它们不被滥用，这或许需要行政部门以外的其他政府部门参与。

最后一点，人工智能公司及其与政府的关系都应受到密切关注。

这种关系固然必要，但必须有所限制和界限。

强大的人工智能所蕴含的庞大能力，使得旨在保护股东利益、防止欺诈等常见滥用行为的普通公司治理模式，难以胜任对人工智能公司的监管。

此外，公司公开承诺不采取某些行动，例如个人以不受监管的方式使用大量计算资源，或利用其人工智能产品进行宣传以操纵舆论，也可能具有重要意义。

危险来自四面八方，而且某些方向之间还存在冲突。 唯一不变的是，我们必须为所有人寻求问责制、规范和保障措施，同时赋予“好”行为者权力，以制约“坏”行为者。

五、经济风险及防御措施

假设前面的几个风险得以解决，那么下一个问题就是经济层面。

科学研究、生物医学创新、制造业、供应链、金融体系效率等方面的进步，几乎可以肯定地会带来更快的经济增长速度。

显而易见，这是一把双刃剑：在这样的世界里，大多数人类的经济前景如何？

新技术往往会给劳动力市场带来冲击，过去人类总能从中恢复过来，但我担心这是因为以往的冲击只影响了人类全部能力的一小部分，为人类拓展到新的领域留下了空间。

人工智能的影响范围更广，速度也更快，因此我担心，要让一切顺利进行将更具挑战性。

我主要担心两个问题：劳动力市场岗位流失和经济权力集中。

1.就业岗位流失风险

我曾预测，即使人工智能会加速经济增长和科技进步，但在未来1-5年内，它仍可能取代一半的入门级白领工作。

这个观点引发了公众对此的讨论，有很多人赞同，但也有人反驳，因此，我将详细阐述为何有此担忧。

①技术替代的基本逻辑

了解劳动力市场通常如何应对技术进步至关重要。

当一项新技术出现时，首先会提高人类特定工作的某些环节的效率。

例如工业革命初期，改良的农具让农民在某些环节效率更高，这提高了农民的生产力，进而增加了他们的收入。

而下一步，部分农业工作将完全由机器完成，人类完成工作的比例越来越低，但其工作却变得越来越有价值，形成更好的互补性。

最终，机器将包揽一切或几乎所有工作。

此时，农业作为一种人类就业形式确实会急剧衰落，这可能会在短期内造成严重的社会动荡。但由于农业只是人类众多有用活动之一，人们最终会转向其他工作，例如操作工厂机器。

因此，并不存在固定的“劳动力总量”，只有不断增强的用越来越少的资源创造越来越多价值的能力。人们的工资随着GDP呈指数级增长而增长，一旦短期内的干扰过去，经济就能保持充分就业。

②人工智能颠覆了新旧技术替代逻辑

人工智能与以往所有的技术完全不同，发展轨迹不再有迹可循。

其一，速度。

人工智能的发展速度远超以往任何一次技术革命。随着人工智能编码模型的不断完善，人工智能的开发速度也日益加快，这种变化速度甚至可能还会继续加快。

需要明确的是，速度本身并不意味着劳动力市场和就业最终不会复苏，它只意味着与以往的技术相比，短期转型将会异常艰难，因为人类和劳动力市场的反应和平衡速度都比较慢。

其二，认知广度。

人工智能将能够掌握非常广泛的人类认知能力，或许是所有认知能力。

这与以往的技术，例如机械化农业、交通运输甚至计算机，都截然不同。这将使人们更难从被取代的工作岗位轻松转型到适合自己的类似工作岗位。

人工智能越来越接近人类的一般认知能力，这意味着它也能胜任那些通常会因为旧工作被自动化而产生的新工作。 换句话说，人工智能不是取代特定的人类工作，而是取代人类的一般劳动力。

其三，弥补差距的能力。

面对新技术，人类工作通常会做出调整，新技术即便看似直接取代了人类，也往往存在不足之处。但人工智能不仅发展迅速，而且适应能力也很强，模型早期的缺陷很快就能得到解决。

③对就业岗位流失的质疑观点

首先，有人认为经济扩散速度会很慢，即使底层技术能够胜任大部分人类劳动，它在整个经济中的实际应用速度也可能慢得多。

技术扩散缓慢的确存在，但扩散效应仅仅是为我们争取时间。

即便传统企业采用新技术的速度较慢，初创公司也会如雨后春笋般涌现，使新技术的采用变得更加容易。如果这种方法行不通，初创公司甚至可能直接颠覆现有企业。

这可能导致这样的局面： 与其说是特定工作岗位受到冲击，不如说是大型企业整体受到冲击，并被劳动密集度低得多的初创企业所取代。

这还可能导致“地域不平等”加剧，全球财富日益集中在硅谷，将世界其他地区远远甩在后面。

所有这些结果都有利于经济增长，但对劳动力市场和那些被时代抛在后面的人来说却并非如此。

其次，有人认为人类的工作将转移到现实世界，这完全避开了人工智能发展迅猛的“认知劳动”领域。

实际上，许多体力劳动已经由机器完成（ 例如制造业 ），或者即将由机器完成（ 例如驾驶 ）。此外，足够强大的人工智能将能够加速机器人的发展，并最终控制这些机器人在现实世界中的运行。

即便这种颠覆仅限于认知任务，它仍然会是一场前所未有的巨大而迅速的变革。

第三，或许有些任务本身就需要或能从人际互动中获益良多。但人工智能已被广泛应用于客户服务，成为不争的事实。

第四，有人可能会认为比较优势仍然能够保护人类。

根据比较优势定律，即使人工智能在所有方面都优于人类，人类和人工智能技能组合之间的任何相对差异都会为人类和人工智能之间的贸易和专业化创造基础。

但如果人工智能的生产力比人类高出数千倍，这种逻辑就开始失效。即使交易成本很小，也可能使人工智能与人类进行贸易变得不划算。而且即使人类在技术上能够提供某种价值，他们的工资也可能非常低。

所有这些因素都有可能得到解决，劳动力市场或许有足够的韧性来适应如此巨大的冲击。但即便最终能够适应，上述因素也表明，短期冲击的规模将是前所未有的。

2.就业岗位流失的防御性措施

首先，我们需要实时获取关于就业岗位流失情况的准确数据。

当经济变化发生得非常迅速时，很难获得可靠的数据，而没有可靠的数据，就很难制定有效的政策。

例如，目前政府数据缺乏关于企业和行业人工智能应用情况的细粒度、高频次数据。

其次，人工智能公司在与企业合作的方式上拥有选择权。

传统企业的低效性意味着它们部署人工智能的路径可能非常依赖既定模式，因此存在选择更佳路径的空间。

企业通常需要在“节约成本”（ 用更少的人做同样的事情 ）和“创新”（ 用同样数量的人做更多的事情 ）之间做出选择。

市场最终必然会产生这两种选择，任何具有竞争力的人工智能公司都必须满足其中一部分需求，但或许可以尽可能地引导企业走向创新，这或许能为我们争取一些时间。

再次，公司应该思考如何关爱员工。

短期来看，在公司内部创造性地重新分配员工岗位或许是避免裁员的有效途径。

长期来看，在一个财富总量巨大的世界里，许多公司由于生产力提高和资本集中而价值大幅增长，即使员工不再创造传统意义上的经济价值，继续支付他们的薪酬也可能是可行的。

然后，富裕人士有义务帮助解决这个问题。

令我感到遗憾的是，许多富裕人士（ 尤其是在科技行业 ）近来抱持着一种愤世嫉俗、虚无主义的态度，认为慈善事业必然是欺诈或毫无用处。

最后，尽管上述所有私人行动都可能有所帮助。但最终如此庞大的宏观经济问题仍需政府干预。

面对巨大的经济蛋糕和高度不平等，最自然的政策应对措施是累进税制。税收可以是普遍性的，也可以专门针对人工智能公司。

归根结底，上述所有干预措施都是为了争取时间。最终，人工智能将无所不能，我们必须应对这一挑战。

3.经济权力集中的风险

如果财富高度集中，少数人凭借自身影响力就能有效控制政府政策，而普通公民由于缺乏经济影响力而无能为力，那么就会出现另一种权力丧失。

民主的根本在于，全体民众对于经济的运行至关重要。如果这种经济影响力消失，那么民主的隐性社会契约就可能失效。

在正常情况下，财富积累确实能促进经济增长，真正令人担忧的是财富过度集中，这种过度集中最终会破坏社会。

此外，财富的经济集中与政治体制的结合更令人担忧。人工智能数据中心已经占美国经济增长的很大一部分。

大型科技公司的经济利益与政府的政治利益紧密地联系在一起，这可能会产生扭曲的激励机制。

我们已经从科技公司不愿批评美国政府以及政府支持对人工智能采取极端反监管政策中看到了这一点。

4.对经济集中的防御措施

对此我们能做些什么？

首先，也是最显而易见的，企业应该选择不参与其中。

其次，人工智能产业需要与政府建立更健康的关系，是一种基于实质性政策参与而非政治结盟的关系。

第三，宏观经济干预措施，以及私人慈善事业的复兴，有助于平衡经济天平，从而同时解决就业岗位流失和经济权力集中的问题。

六、间接效应：

所有的未知风险

这一部分涵盖了所有未知的未知因素，特别是人工智能积极发展及其带来的科学技术整体加速进步可能间接导致的问题。

假设我们解决了之前描述的所有风险，并开始享受人工智能带来的益处，我们很可能“将一个世纪的科学和经济进步压缩到十年”，这对世界来说无疑是巨大的利好。

但与此同时，我们也必须应对这种快速发展带来的问题，而这些问题可能会迅速出现。

此外，我们还可能遇到其他一些因人工智能发展而间接产生、难以预先预测的风险。

由于未知因素众多，不可能列出详尽的清单，我仅列出三个可能存在的问题作为示例。

1.生物学的飞速发展

如果我们能在短短几年内取得一个世纪的医学进步，人类的寿命或许会大幅延长，甚至有可能获得一些颠覆性的能力，例如提升人类智力或彻底改造人类生物学。

这些都将是人类能力领域的巨大变革，而且发生得非常迅速。如果以负责任的方式进行，这些变革可能会带来积极的影响。

但始终存在着风险，例如，如果提升人类智力的努力也导致人类变得更加不稳定或更加追求权力。

2.人类思维数字化

此外，还有“上传”或“全脑模拟”的问题，即用软件实现的数字化人类思维，这或许有一天能够帮助人类超越自身的生理局限，但其中也蕴含着令我不安的风险。

人工智能正以一种不健康的方式改变着人类的生活。一个拥有数十亿比人类聪明得多的智能体的世界，将会是一个非常怪异的世界。

强大的人工智能会不会发明某种新的宗教并让数百万人皈依？大多数人会不会最终以某种方式“沉迷”于与人工智能的互动？

人们最终会不会沦为人工智能系统的“傀儡”，人工智能会监视他们的一举一动，并时刻告诉他们该做什么、该说什么，从而让他们过上“美好”的生活，但缺乏自由和成就感？

确保人工智能模型真正以用户的长远利益为重，以一种有识之士能够认可的方式，而不是以某种微妙的扭曲方式，这一点至关重要。

3.人类的意义

在人工智能日益强大的世界中，人类生活将如何整体改变。在这样的世界里，人类还能找到意义和价值吗？

我认为这取决于态度：人类的意义并不取决于是否在某个领域做到世界顶尖，人类可以通过自己热爱的故事和项目，在漫长的岁月中找到意义。

我们只需要打破经济价值创造与自我价值和意义之间的联系。但这需要社会经历转型，而转型过程中也始终存在着我们无法妥善应对的风险。

结语

人类面临真正的考验

读到这里，或许会让人觉得我们正身处一个令人畏惧的境地。

我们面临的困境也的确错综复杂。人工智能从多方面威胁着人类，各种危险之间存在着真正的张力： 如果我们不极其谨慎地权衡利弊，缓解某些危险反而可能导致其他危险的加剧。

风险的数量之多，包括未知风险，以及我们需要同时应对所有这些风险，构成了人类必须面对的艰巨挑战。

过去几年已经清楚地表明，停止甚至大幅减缓这项技术的发展从根本上来说是站不住脚的。

它的诞生或许在人类发明晶体管的那一刻就已经不可避免，甚至可能更早，在我们学会控制火的时候就已经注定了。

如果一家公司不开发它，其他公司也会以几乎同样快的速度开发出来。人工智能蕴藏着巨大的经济利益（ 每年高达数万亿美元 ），以至于即使是最简单的措施也难以克服人工智能固有的政治经济因素。

尽管困难重重，但我相信人类自身拥有通过这场考验的力量。未来的岁月将无比艰难，对我们的要求远超我们自身的能力。

但作为一名研究者、领导者和公民，我见证了无数勇气和高尚品格，足以让我坚信我们能够战胜困难，即使身处最黑暗的境地，人类也总能在看似最后一刻的力量和智慧中凝聚起胜利的希望。我们刻不容缓。

参考资料：

1.Anthropic首席执行官：技术的青春期：直面和克服强大AI的风险 21世纪关键技术。

*文章为作者独立观点，不代表笔记侠立场。

我们深嵌于一个政治、经济、科技、哲学都在经历持续变革和深刻重塑的复杂社会与商业系统之中。

在前所未有的复杂系统性变革中，我们需要的是理解世界底层的“元能力”。

面向AI新时代，笔记侠PPE（哲学、政治学与经济学）课程，正是为理解这样的复杂系统而生：理解国际贸易与经济政策、理解国际政治与治理模式、理解全球技术与科技范式、理解AI哲学和科技经济、理解文明进程与哲学意义。

这是第五代企业家应有的一套“操作系统”。

笔记侠PPE课程26级招生现已启动。驾驭技术、洞察世界、扎根中国、修炼心力，在应对时代重重挑战中寻找决策底牌。

穿越变革的旧世界，找到时代的新大陆，从升级你的PPE决策底层开始。

欢迎你扫描下方海报二维码，添加课程主理人咨询详情。

好文阅读推荐：