Anthropic CEO 2.5 万字长文：AI 如何让世界变得更美好

Anthropic CEO Dario Amodei 的这篇文章非常值得详细深度阅读，主标题叫《Machines of Loving Grace^1》，副标题《AI 如何让世界变得更美好》。

这是一篇非常有价值的文章，如果有时间后续可以做一个更深度的延展，这里先用 Anthropic 自己的 AI 做了一下简单翻译：

我经常思考和讨论强大人工智能（AI）的风险。我所担任 CEO 的公司——Anthropic——在如何降低这些风险方面进行了大量研究。因此，有时人们得出结论认为我是个悲观主义者，甚至是个“末日论者”，认为 AI 大多是有害或危险的。但我完全不这么认为。事实上，我专注于风险的一个主要原因是，我认为这些风险是我们与一个根本上积极的未来之间的唯一障碍。我认为，大多数人都低估了 AI 带来的积极改变的潜力，同时也低估了其潜在风险的严重程度。

在这篇文章中，我将试图勾画出 AI 的这种积极前景——即在一切顺利的情况下，一个强大的 AI 世界可能会是什么样子。当然，没有人能准确预测未来，强大 AI 的影响可能比以往的技术变革更加不可预测，所以本文不可避免地包含了一些猜测。但我的目标是提出一些经过思考且有用的猜测，即使大部分细节最终被证明是错误的。我会包含许多具体细节，因为我认为一个具体的愿景比那些谨慎且抽象的描述更有助于推动讨论。

然而，在此之前，我想简要解释一下为什么我和 Anthropic 并没有谈论太多关于强大 AI 的好处，并且为什么我们可能仍会主要集中讨论风险。我之所以做出这种选择，主要是出于以下几点考虑：

1. 最大化杠杆效应：AI 技术的基本发展及其许多（虽然不是所有）益处似乎是不可避免的（除非风险让一切脱轨），而其背后是强大的市场力量推动的。然而，风险并非预先注定，我们的行动可以极大地改变其发生的可能性。
2. 避免被认为是在宣传：AI 公司如果只谈论 AI 的所有好处，可能会被视为宣传或试图掩盖其负面影响。此外，从原则上讲，我认为花太多时间“为自己背书”对个人精神也是有害的。
3. 避免自大浮夸：我对许多 AI 风险公共人物（更不用说 AI 公司领导者）谈论后 AGI 时代的方式感到反感，仿佛他们是单枪匹马将人类带向救赎的先知。我认为，将公司视为单方面塑造世界的力量是危险的，将技术目标视为宗教使命同样危险。
4. 避免科幻色彩的包袱：尽管我认为大多数人低估了 AI 的上限，但那些讨论激进 AI 未来的小群体往往会采用过于“科幻”的语气（比如上传意识、太空探索或赛博朋克氛围）。我认为这会让人们不太认真对待这些论点，并将其视为不切实际的幻想。问题不在于这些技术是否可能，而在于这种“氛围”无意中夹带了很多文化包袱和未明确说明的假设，如未来应如何发展以及社会问题将如何解决。这往往让这些愿景像是针对某个小众文化的幻想，却让大多数人感到不适。

尽管有上述顾虑，我确实认为讨论强大 AI 可能带来的美好世界非常重要，同时尽力避免上述问题。事实上，我认为我们不仅需要有计划应对各种危机，还必须有一个真正鼓舞人心的未来愿景。尽管强大 AI 的许多影响是对抗性的或危险的，但最终我们需要有一个目标值得为之奋斗——一个每个人都能受益的正和结果，一个能激励人们超越分歧、应对未来挑战的愿景。恐惧是一种动力，但远远不够：我们还需要希望。

强大 AI 的正向应用非常广泛（包括机器人、制造业、能源等），但我将专注于少数几个我认为最有可能直接改善人类生活质量的领域。这五个领域是：

1. 生物学与身体健康
2. 神经科学与心理健康
3. 经济发展与贫困问题
4. 和平与治理
5. 工作与人生意义

我的预测在大多数标准下可能显得激进（但与“奇点”式的科幻愿景不同^2），但我是认真且真诚地提出这些观点的。虽然这些预测很可能是错误的，但我试图基于各领域的进展速度及其实际意义进行半分析性的评估。我在生物学和神经科学方面有专业经验，在经济发展领域也算是一个有见识的业余爱好者，但我肯定会在很多地方出错。写这篇文章让我意识到，召集一群各领域专家（生物学、经济学、国际关系等）共同撰写一份更好的、信息更丰富的版本会非常有价值。你可以将我的努力视为为这一团队提供的起始提示。

基本假设与框架

为了使这篇文章更加具体，我们需要明确何为强大 AI（即 5-10 年倒计时的起点），并制定一个框架来思考这种 AI 的影响。

关于强大 AI 的形态、何时到来（或是否会到来），这是一个复杂的话题。我认为最早可能在 2026 年实现，但也有可能需要更长时间。然而，本文的重点不是预测 AI 到来的时间，而是假设它即将到来，并讨论其出现后的 5-10 年内会发生什么。我设想的强大 AI 可能是类似于当前大型语言模型（LLM）的系统，但它可能基于不同的架构、由多个相互作用的模型组成，或采用不同的训练方式。

我所说的强大 AI 具备以下特点：

1. 在智力方面^4，它在生物学、编程、数学、工程、写作等大多数相关领域都超过诺贝尔奖获得者的水平。它可以证明未解决的数学定理、撰写优秀小说、从头编写复杂代码。
2. 它不仅是一个可以对话的智能体，还拥有与人类相同的“界面”，如文字、音频、视频、鼠标键盘控制和互联网访问。它可以在虚拟环境中执行各种操作，与人类沟通、下订单、指挥实验、制作视频等，并且其技能水平超过世界上最顶尖的专家。
3. 它不仅被动回答问题，还能像聪明的员工一样独立完成任务，并在必要时寻求澄清。
4. 虽然没有实体形态，但它可以通过计算机控制现有的物理工具、机器人或实验设备，甚至可能自行设计工具。
5. 它所需的训练资源可以支持数百万实例同时运行，并以人类速度的 10 倍到 100 倍吸收信息、生成行动^5。
6. 这些实例既可以独立执行不同任务，也可以像人类团队一样协作。

我们可以将其形象地比作“数据中心中的天才国家”。

显然，这样的实体能够快速解决非常困难的问题，但要弄清楚其速度并非易事。两种“极端”观点在我看来都不成立。第一种认为世界会在几秒或几天内瞬间改变（即“奇点”），因为超级智能可以自我提升，并几乎立即解决所有可能的科学、工程和运营任务。这个观点的问题在于存在一些实际的物理和实践限制，例如硬件制造或生物实验。即使是一群天才组成的国家也会受到这些限制的约束。智能虽然强大，但它并不是魔法粉。

相反的另一种观点认为，技术进步受限于现实世界的数据或社会因素，因此超越人类的智能也无法带来太多提升^6。这同样不合理——我能想到数百个科学或社会问题，如果有一群非常聪明的人参与，不仅分析会更快，而且还能在现实中推动事情进展（就像我们设想的天才国家那样，他们不仅能分析，还能指挥或协助人类团队实现目标）。

我认为，真实情况可能是这两种极端图景的复杂混合体，会因任务和领域的不同而变化，其中细节非常微妙。我们需要新的框架来以有建设性的方式思考这些细节。

经济学家常谈论“生产要素”：如劳动力、土地和资本。“边际回报”指的是在特定情境中，一个生产要素是否是限制因素——例如空军需要飞机和飞行员，如果没有足够的飞机，增加飞行员也无济于事。我认为，在AI时代，我们应该讨论“智能的边际回报”^7，并找出那些与智能互补的要素，以及当智能水平极高时，哪些要素成为限制因素。我们不习惯以这种方式思考——即“在这个任务上，变得更聪明能有多大帮助，以及在什么时间范围内有帮助？”——但这似乎是理解一个拥有强大AI的世界的正确方式。

我猜测，限制智能或与智能互补的因素包括：

1. 外部世界的速度：智能体需要在世界中互动才能完成任务和学习^8。然而，世界的运行速度是有限的。细胞和动物运行在固定的速度下，因此涉及它们的实验需要一定时间，这可能是不可压缩的。硬件、材料科学、人际沟通甚至现有的软件基础设施也是如此。此外，科学研究往往需要连续的实验，每一步都依赖前一步的成果。因此，一些重大项目（如开发癌症治疗方法）即使在智能水平大幅提升的情况下，其完成速度也可能有一个不可降低的最低限度。
2. 数据的需求：有时缺乏原始数据，而在这种情况下，更多的智能也无济于事。今天的粒子物理学家非常聪明，提出了各种理论，但由于粒子加速器数据的有限性，他们无法在理论之间做出选择。如果他们的智能水平大幅提高，唯一的帮助也许是在加速器的建设上提速。
3. 内在的复杂性：某些事物本质上是不可预测或混沌的，即使是最强大的AI也无法比现有的人类或计算机更好地预测或解开它们。例如，在混沌系统（如三体问题）中^9，即使是极其强大的AI也只能比现在的技术稍微更进一步。
4. 人类的约束：很多事情在不违反法律、不伤害人类或不破坏社会的前提下是无法完成的。一个对齐的AI不会做这些事情（而如果我们面对的是不对齐的AI，那就要重新讨论其风险）。许多社会结构效率低下甚至有害，但在尊重法律法规、人们的习惯和政府行为的前提下，很难加以改变。一些技术上的进步（如核能、超音速飞行甚至电梯）虽然在技术上可行，但由于法规或错误的恐惧，其影响被大大削弱。
5. 物理定律：这是第一点的更严苛版本。有些物理定律看起来是不可打破的，比如无法超光速旅行、搅匀的布丁无法复原、芯片的晶体管密度达到一定程度后会变得不可靠，或每位计算所需的最低能量限制了全球计算的密度。

此外，时间尺度也需要区分。短期内的硬性约束，随着时间推移和智能水平的提升，可能会变得更加灵活。例如，智能可以开发新的实验范式，使我们在体外实验中获得过去需要活体实验的数据，或建造所需的工具（如更大的粒子加速器）。在符合伦理的范围内，智能还可以找到绕过人类限制的方法（如改进临床试验系统、在更少官僚限制的地方开展试验，或通过提高科学水平减少对昂贵的临床试验的需求）。

因此，我们应该设想这样一幅图景：智能最初会受到其他生产要素的严重制约，但随着时间推移，智能会逐渐绕过这些限制因素，尽管它们永远不会完全消失（某些如物理定律是绝对的^10）。关键问题是，这一切会以多快的速度发生，以及按照怎样的顺序展开。

带着上述框架，我将尝试回答开篇提到的五个领域中的相关问题。

1.生物学与健康

生物学可能是科学进步最有潜力直接和明确地改善人类生活质量的领域。在过去的一个世纪里,一些最古老的人类疾病(如天花)终于被征服,但还有许多仍然存在,战胜它们将是一项巨大的人道主义成就。除了治愈疾病,生物科学原则上可以通过延长健康的人类寿命、增加对我们自身生物过程的控制和自由度,以及解决我们目前认为是人类状况不可改变部分的日常问题,来改善人类健康的基线质量。

用上一节的"限制因素"语言来说,直接将智能应用于生物学的主要挑战是数据、物理世界的速度和内在复杂性(事实上,这三者都是相互关联的)。人类的限制在后期也起作用,特别是在涉及临床试验时。让我们逐一讨论这些因素。

细胞、动物甚至化学过程的实验受限于物理世界的速度: 许多生物学协议涉及培养细菌或其他细胞, 或者仅仅是等待化学反应发生, 这有时可能需要数天甚至数周, 而且没有明显的方法可以加速。动物实验可能需要数月(或更长时间), 人类实验通常需要数年(对于长期结果研究甚至可能需要数十年)。与此 somewhat 相关的是, 数据常常缺乏 - 不是数量, 而是质量: 总是缺乏清晰、明确的数据, 这些数据能将感兴趣的生物效应与其他 10,000 个混杂因素隔离开来, 或者能在给定过程中进行因果干预, 或者能直接测量某些效应(而不是以某种间接或嘈杂的方式推断其结果)。即使是大规模的定量分子数据, 比如我在研究质谱技术时收集的蛋白质组学数据, 也是嘈杂的且遗漏了很多(这些蛋白质在哪些类型的细胞中? 细胞的哪个部分? 在细胞周期的哪个阶段?)。

部分造成这些数据问题的原因是内在复杂性: 如果你曾经看过展示人类代谢生物化学的图表, 你就会知道, 很难孤立地研究这个复杂系统的任何部分的效果, 更难以精确或可预测的方式干预该系统。最后, 除了在人类身上进行实验所需的固有时间之外, 实际的临床试验还涉及大量的官僚主义和监管要求, 这些 (在包括我在内的许多人看来) 增加了不必要的额外时间并延缓了进展。

鉴于这一切, 许多生物学家长期以来一直对 AI 和更广泛的 "大数据" 在生物学中的价值持怀疑态度。从历史上看, 过去 30 年里将自己的技能应用于生物学的数学家、计算机科学家和物理学家取得了相当大的成功, 但并没有产生最初希望的那种真正的变革性影响。一些怀疑态度已经被像 AlphaFold(刚刚为其创造者赢得了应得的诺贝尔化学奖)和 AlphaProteo ^11这样的重大革命性突破所减少, 但仍然存在一种看法, 认为 AI 只在有限的情况下有用(并将继续如此)。一种常见的表述是 "AI 可以更好地分析你的数据, 但它不能产生更多的数据或改善数据的质量。垃圾进, 垃圾出"。

但我认为这种悲观的观点是以错误的方式看待 AI。如果我们关于 AI 进展的核心假设是正确的, 那么正确看待 AI 的方式不是将其视为一种数据分析方法, 而是将其视为一个虚拟生物学家, 执行生物学家所做的所有任务, 包括在现实世界中设计和进行实验(通过控制实验室机器人或简单地告诉人类要进行哪些实验，就像首席研究员对他们的研究生所做的那样), 发明新的生物学方法或测量技术, 等等。正是通过加速整个研究过程，AI 才能真正加速生物学的发展。我想重复这一点, 因为当我谈论 AI 改变生物学的能力时, 这是最常见的误解: 我说的不仅仅是 AI 作为分析数据的工具。根据本文开头对强大 AI 的定义, 我说的是使用 AI 来执行、指导和改进生物学家所做的几乎所有事情。

要更具体地说明我认为加速可能来自何处, 令人惊讶的是, 生物学进展的很大一部分来自真正微小数量的发现, 这些发现通常与广泛的测量工具或技术有关^12, 这些工具或技术允许对生物系统进行精确但广泛或可编程的干预。每年可能只有约 1 个这样的重大发现, 但它们共同推动了生物学进展的 50% 以上。这些发现如此强大, 正是因为它们突破了内在复杂性和数据限制, 直接增加了我们对生物过程的理解和控制。每十年几个发现既推动了我们对生物学基本科学理解的大部分, 也推动了许多最强大的医疗治疗。

一些例子包括:

• CRISPR:一种允许在活体生物中实时编辑任何基因的技术(用任何其他任意序列替换任何任意基因序列)。自原始技术开发以来, 已经不断有改进来针对特定细胞类型、提高准确性, 并减少错误基因的编辑 - 这些都是在人类中安全使用所需要的。
• 各种用于精确观察正在发生的事情的显微镜技术: 先进的光学显微镜(具有各种荧光技术、特殊光学等), 电子显微镜, 原子力显微镜等。
• 基因组测序和合成, 在过去几十年里成本降低了几个数量级。
• 光遗传学技术, 允许通过照射光线使神经元放电。
• mRNA 疫苗, 原则上允许我们设计针对任何东西的疫苗, 然后快速调整它(mRNA 疫苗当然在 COVID 期间变得著名)。
• 细胞疗法, 如 CAR-T, 允许将免疫细胞从体内取出并 "重新编程" 以攻击, 原则上, 任何东西。
• 概念性见解, 如疾病的细菌理论或认识到免疫系统与癌症之间的联系^13。

我详细列举这些技术是因为我想对它们做出一个关键的声明: 我认为如果有更多有才华、有创造力的研究人员, 这些发现的速度可以提高 10 倍或更多。或者, 换句话说, 我认为对这些发现来说, 智力的回报是很高的, 而生物学和医学中的其他一切大多源于这些发现。

为什么我这么认为? 因为当我们试图确定 "智力回报" 时, 我们应该养成问一些问题的习惯, 而这些问题的答案就是原因。首先, 这些发现通常是由极少数研究人员做出的, 往往是同一批人反复做出, 这表明是技能而不是随机搜索(后者可能表明冗长的实验是限制因素)。其次, 它们通常 "本可以" 比实际早很多年被发现: 例如,CRISPR 是自然存在于细菌免疫系统中的组成部分, 自 80 年代就已知, 但又过了 25 年人们才意识到它可以被重新用于通用基因编辑。它们也常常因为科学界对有前景的方向缺乏支持而延迟多年(参见这篇关于 mRNA 疫苗发明者的简介; 类似的故事比比皆是)。第三, 成功的项目通常是简陋的或最初被认为不太有前景的附带想法, 而不是大规模资金支持的努力。这表明推动发现的不仅仅是大规模的资源集中, 而是创造力。

最后, 虽然这些发现中的一些有 "序列依赖性"(你需要先做出发现 A, 才能有工具或知识来做出发现 B) - 这又可能造成实验延迟 - 但许多, 也许是大多数, 是独立的, 意味着可以同时并行地进行许多工作。这些事实, 以及我作为生物学家的一般经验, 强烈暗示我, 如果科学家更聪明, 更善于在人类拥有的大量生物学知识之间建立联系, 还有数百个这样的发现等待被发现(再次考虑 CRISPR 的例子)。AlphaFold/AlphaProteo 在解决重要问题方面比人类更有效的成功, 尽管经过了数十年精心设计的物理建模, 为我们提供了一个原则证明(尽管是在狭窄领域的狭窄工具), 应该指明前进的方向。

因此, 我猜测强大的 AI 至少可以使这些发现的速度提高 10 倍, 使我们在 5-10 年内获得接下来 50-100 年的生物学进展^14。为什么不是 100 倍? 也许是可能的, 但这里序列依赖性和实验时间都变得重要: 在 1 年内获得 100 年的进展需要很多事情第一次就做对, 包括动物实验和设计显微镜或昂贵的实验室设施等。我实际上对 (也许听起来荒谬的) 想法持开放态度, 即我们可以在 5-10 年内获得 1000 年的进展, 但我非常怀疑我们能在 1 年内获得 100 年的进展。另一种说法是, 我认为有一个不可避免的恒定延迟: 实验和硬件设计有一定的 "延迟", 需要迭代一定 "不可减少" 的次数, 以便学习那些无法通过逻辑推断的东西。但在此基础上可能实现大规模并行^15。

临床试验呢? 虽然与之相关的官僚主义和延缓很多, 但事实是, 它们的缓慢很大程度上 (尽管绝不是全部!) 最终源于需要严格评估那些几乎不起作用或效果不明确的药物。可悲的是, 这适用于当今大多数治疗: 平均癌症药物仅增加几个月的生存期, 同时有显著的副作用需要仔细测量 (阿尔茨海默病药物也有类似的情况)。这导致了巨大的研究(以实现统计学上的效力) 和艰难的权衡, 监管机构通常不擅长做出这些权衡, 同样是因为官僚主义和利益冲突的复杂性。

当某些东西真的很有效时, 进展会快得多: 有一个加速批准通道, 当效果更显著时, 批准的难度就会大大降低。COVID 的 mRNA 疫苗在 9 个月内获得批准 - 比通常的速度快得多。话虽如此, 即使在这些条件下, 临床试验仍然太慢 - mRNA 疫苗 arguably 应该在约 2 个月内获得批准。但这种延迟 (药物从头到尾约 1 年) 加上大规模并行化和需要一些但不太多的迭代 ("几次尝试") 非常符合 5-10 年内的彻底转变。更乐观地说,AI 支持的生物科学可能会通过开发更好的动物和细胞实验模型 (甚至是模拟) 来减少临床试验中迭代的需求, 这些模型在预测人类中会发生什么方面更准确。这在开发针对衰老过程的药物时将特别重要, 因为衰老过程持续数十年, 我们需要更快的迭代循环。

最后, 关于临床试验和社会障碍的话题, 值得明确指出的是, 在某些方面, 生物医学创新在成功部署方面有着异常强大的记录^16, 这与其他一些技术形成对比。正如在引言中提到的, 许多技术尽管在技术上运作良好, 但受到社会因素的阻碍。这可能会对 AI 能够实现的成果持悲观态度。但生物医学是独特的, 因为尽管开发药物的过程过于繁琐, 但一旦开发出来, 它们通常都能成功部署和使用。

总结上述内容, 我的基本预测是,AI 支持的生物学和医学将允许我们在 5-10 年内压缩人类生物学家在未来 50-100 年内将取得的进展。我将把这称为 "压缩的 21 世纪": 即在强大的 AI 开发出来后, 我们将在几年内取得整个 21 世纪在生物学和医学方面的所有进展。

尽管预测强大的 AI 在几年内能做什么仍然本质上是困难和投机性的, 但询问 "人类在未来 100 年内无助能做什么?" 有一些具体性。简单地看看我们在 20 世纪取得的成就, 或从 21 世纪的前 20 年推断, 或询问 "10 个 CRISPR 和 50 个 CAR-T" 会给我们带来什么, 都提供了实际的、有根据的方法来估计我们可能期望从强大的 AI 那里得到的一般进展水平。

下面我试图列出我们可能期望的内容。这并不基于任何严谨的方法论, 在细节上几乎肯定会被证明是错误的, 但它试图传达我们应该期待的总体激进水平:

• 可靠地预防和治疗几乎所有自然传染病^17。考虑到 20 世纪在对抗传染病方面取得的巨大进展, 想象我们可以在压缩的 21 世纪中 "完成工作" 并不激进。mRNA 疫苗和类似技术已经指明了 "针对任何事物的疫苗" 的方向。传染病是否从世界上完全根除 (而不仅仅是在某些地方) 取决于贫困和不平等的问题, 这些在第 3 节中讨论。
• 消除大多数癌症。过去几十年来, 癌症死亡率每年下降约 2%; 因此, 按照当前人类科学的步伐, 我们有望在 21 世纪消除大多数癌症。一些亚型已经基本被治愈(例如, 使用 CAR-T 疗法治疗某些类型的白血病), 我可能对非常选择性的药物更加兴奋, 这些药物可以在癌症早期阶段就进行针对性治疗, 防止其发展。AI 还将使得非常精细地适应癌症个体化基因组的治疗方案成为可能 - 这些在今天是可能的, 但在时间和人类专业知识方面非常昂贵,AI 应该允许我们扩大规模。死亡率和发病率都有可能减少 95% 或更多。话虽如此, 癌症是极其多样和适应性强的, 可能是这些疾病中最难完全消灭的。如果一系列罕见、难治的恶性肿瘤持续存在, 也不会令人惊讶。
• 非常有效地预防和有效治愈遗传疾病。大大改进的胚胎筛查可能使预防大多数遗传疾病成为可能, 而 CRISPR 的某些更安全、更可靠的后代可能治愈现有人群中的大多数遗传疾病。然而, 影响大部分细胞的全身性疾病可能是最后的堡垒。
• 预防阿尔茨海默病。我们很难弄清楚是什么导致了阿尔茨海默病(它 somehow 与β- 淀粉样蛋白有关, 但实际细节似乎非常复杂)。这似乎正是可以通过更好的测量工具来解决的问题类型, 这些工具可以分离生物效应; 因此我对 AI 解决它的能力持乐观态度。一旦我们真正了解发生了什么, 很有可能最终可以通过相对简单的干预来预防它。话虽如此, 已经存在的阿尔茨海默病造成的损害可能很难逆转。
• 改善大多数其他疾病的治疗。这是一个包括糖尿病、肥胖、心脏病、自身免疫疾病等其他疾病的总括类别。这些中的大多数似乎比癌症和阿尔茨海默病 "更容易" 解决, 而且在许多情况下已经在急剧下降。例如, 心脏病死亡率已经下降超过 50%, 像 GLP-1 激动剂这样的简单干预已经在对抗肥胖和糖尿病方面取得了巨大进展。
• 生物自由。过去 70 年里在避孕、生育、体重管理等方面取得了进展。但我怀疑 AI 加速的生物学将大大扩展可能性: 体重、外貌、生殖和其他生物过程将完全由人们控制。我们将这些统称为生物自由: 每个人都应该有权选择他们想成为什么样的人, 以最吸引他们的方式生活。当然, 全球平等获取这些技术的问题很重要; 请参见第 3 节。
• 人类寿命翻倍^18。这可能看起来很激进, 但 20 世纪生命期望值几乎增加了 2 倍 (从约 40 岁到约 75 岁), 所以 "压缩的 21 世纪" 再次将其翻倍至 150 岁是 "符合趋势的"。显然, 减缓实际衰老过程所涉及的干预措施将与上个世纪防止(主要是儿童) 过早死于疾病所需的措施不同, 但变化的幅度并非前所未有^19。具体来说, 已经存在一些药物可以将老鼠的最大寿命增加 25-50%, 而且几乎没有副作用。而且一些动物 (例如某些种类的乌龟) 已经活了 200 年, 所以人类显然没有达到某个理论上的上限。猜测一下, 最重要的可能是可靠的、不会导致古德哈特效应的人类衰老生物标记, 因为这将允许快速迭代实验和临床试验。一旦人类寿命达到 150 岁, 我们可能能够达到 "逃逸速度", 为当前活着的大多数人赢得足够的时间, 使他们能够活多久就活多久, 尽管当然不能保证这在生物学上是可能的。

值得看看这个列表并思考一下, 如果所有这些在 7-12 年内实现(这将符合激进的 AI 时间表), 世界会有多大的不同。不用说, 这将是一个难以想象的人道主义胜利, 一下子消除了困扰人类数千年的大多数祸患。我的许多朋友和同事正在抚养孩子, 当这些孩子长大后, 我希望任何对疾病的提及对他们来说都会像坏血病、天花或黑死病对我们来说的那样。那一代人还将受益于增加的生物自由和自我表达, 并有幸可能能够想活多久就活多久。

很难高估这些变化对除了那些期待强大 AI 的小社区以外的每个人来说会有多么令人惊讶。例如, 目前美国有数千名经济学家和政策专家在辩论如何保持社会保障和医疗保险的偿付能力, 更广泛地说, 如何控制医疗保健的成本(主要由 70 岁以上的人消费, 尤其是那些患有诸如癌症等绝症的人)。如果所有这些都实现了^20, 这些项目的情况可能会得到根本性的改善, 因为工作年龄人口与退休人口的比例将发生巨大变化。毫无疑问, 这些挑战将被其他挑战所取代, 比如如何确保新技术的广泛使用, 但值得思考的是, 即使生物学是唯一被 AI 成功加速的领域, 世界将发生多大的变化。

2.神经科学与心智

在上一节中, 我专注于身体疾病和一般生物学, 没有涉及神经科学或心理健康。但神经科学是生物学的一个分支学科, 心理健康与身体健康同等重要。事实上, 如果说有什么不同, 心理健康对人类福祉的影响甚至比身体健康更直接。数亿人由于成瘾、抑郁、精神分裂症、低功能自闭症、创伤后应激障碍、精神病态^21或智力障碍等问题而生活质量极低。更多数十亿人在日常生活中挣扎于可以解释为这些严重临床障碍的轻微版本的问题。与一般生物学一样, 也许有可能不仅解决问题, 还能提高人类体验的基线质量。

我为生物学概述的基本框架同样适用于神经科学。该领域由少数发现推动前进, 这些发现通常与测量或精确干预的工具有关 - 在上面列出的发现中, 光遗传学是一项神经科学发现, 最近的 CLARITY 和扩展显微镜技术也是同类的进展, 此外许多通用的细胞生物学方法也直接应用于神经科学。我认为, 这些进展的速度将同样被人工智能加速, 因此 "5-10 年内完成 100 年的进展" 的框架以同样的方式适用于神经科学, 原因也相同。与生物学一样,20 世纪神经科学的进展是巨大的 - 例如, 直到 20 世纪 50 年代我们才了解神经元如何以及为什么会发放。因此, 我们有理由期待人工智能加速的神经科学在几年内产生快速进展。

我们应该在这个基本图景中添加一点: 过去几年我们学到的 (或正在学习的) 一些关于人工智能本身的知识, 可能有助于推进神经科学, 即使神经科学继续仅由人类进行研究。可解释性是一个明显的例子: 尽管生物神经元表面上以完全不同于人工神经元的方式运作(它们通过峰值和峰值频率进行通信, 因此存在人工神经元中不存在的时间元素, 而且与细胞生理和神经递质相关的许多细节大大改变了它们的运作), 但基本问题 "简单单元的分布式、经过训练的网络如何进行线性 / 非线性运算并协同工作以执行重要计算" 是相同的, 我强烈怀疑在大多数有关计算和电路的有趣问题中, 单个神经元通信的细节将被抽象化^22。作为一个例子, 人工智能系统中可解释性研究人员发现的一种计算机制最近在小鼠大脑中被重新发现。

对人工神经网络进行实验要比对真实神经网络进行实验容易得多(后者通常需要切开动物大脑), 因此可解释性可能成为提高我们对神经科学理解的工具。此外, 强大的人工智能本身可能比人类更能开发和应用这种工具。

除了可解释性之外, 我们从人工智能中学到的关于智能系统如何训练的知识应该 (尽管我不确定是否已经) 引发神经科学的革命。当我在神经科学领域工作时, 很多人关注我现在认为是错误的学习问题, 因为 scaling hypothesis / bitter lesson 的概念还不存在。简单的目标函数加上大量数据可以驱动极其复杂的行为这一想法, 使得理解目标函数和架构偏差变得更有趣, 而理解紧急计算的细节变得不那么有趣。虽然近年来我没有密切关注这个领域, 但我隐约感觉到计算神经科学家还没有完全吸收这一教训。我对 scaling hypothesis 的态度一直是 "啊哈 - 这在高层次上解释了智能如何运作以及它如何如此容易地进化", 但我认为这不是普通神经科学家的观点, 部分原因是 scaling hypothesis 作为 "智能的秘密" 甚至在人工智能领域内也未被完全接受。

我认为神经科学家应该尝试将这一基本洞见与人脑的特殊性 (生物物理限制、进化历史、拓扑结构、运动和感官输入 / 输出的细节) 结合起来, 以尝试解决神经科学的一些关键难题。可能有一些人正在这么做, 但我怀疑还不够多, 而人工智能神经科学家将能够更有效地利用这一角度来加速进展。

我预计人工智能将通过四种不同的途径加速神经科学进展, 所有这些途径都有望协同工作以治愈精神疾病并改善功能:

1. 传统的分子生物学、化学和遗传学。这基本上与第 1 节中的一般生物学相同, 人工智能可能通过相同的机制加速它。有许多药物可以调节神经递质以改变大脑功能、影响警觉性或感知、改变情绪等, 人工智能可以帮助我们发明更多。人工智能可能还能加速研究精神疾病的遗传基础。
2. 精细的神经测量和干预。这是指能够测量大量个别神经元或神经元电路的活动, 并干预以改变它们的行为。光遗传学和神经探针是能够在活体生物中进行测量和干预的技术, 一些非常先进的方法 (如分子计时器带, 用于读取大量个别神经元的发放模式) 也已被提出, 并在原则上似乎是可能的。
3. 先进的计算神经科学。如上所述, 现代人工智能的具体见解和整体思路可能可以有效地应用于系统神经科学的问题, 包括可能揭示精神病或情绪障碍等复杂疾病的真正原因和动态。
4. 行为干预。鉴于我们关注神经科学的生物学方面, 我没有过多提及, 但精神病学和心理学当然在 20 世纪发展了广泛的行为干预 repertoire; 理所当然, 人工智能也可以加速这些方法, 包括开发新方法和帮助患者坚持现有方法。更广泛地说, 一个 "人工智能教练" 的概念, 它总是帮助你成为最好的自己, 研究你的互动并帮助你学会更有效率, 似乎非常有前景。

我的猜测是, 即使不涉及人工智能, 这四种进展途径共同作用, 也将像对付身体疾病一样, 有望在未来 100 年内治愈或预防大多数精神疾病 - 因此可能在 5-10 年的人工智能加速年内完成。具体来说, 我猜测将发生的情况是这样的:

• 大多数精神疾病可能可以被治愈。我不是精神病学疾病的专家 (我在神经科学领域的时间用于开发研究小组神经元的探针), 但我猜测像创伤后应激障碍、抑郁症、精神分裂症、成瘾等疾病可以通过上述四个方向的某种组合来弄清楚并进行非常有效的治疗。答案可能是 "生化上出了问题"(尽管可能非常复杂) 和 "神经网络在高层次上出了问题" 的某种组合。也就是说, 这是一个系统神经科学问题—尽管这并不否认上面讨论的行为干预的影响。测量和干预的工具, 尤其是在活人身上, 似乎可能导致快速迭代和进展。
• 非常 "结构性" 的条件可能更难处理, 但并非不可能。有一些证据表明, 精神病态与明显的神经解剖学差异有关 - 精神病态者的一些脑区域可能只是更小或发育不良。精神病态者也被认为从小就缺乏同理心; 无论他们的大脑有什么不同, 可能一直都是那样。对一些智力障碍和其他条件可能也是如此。重构大脑听起来很难, 但这也似乎是一项对智力回报很高的任务。也许有某种方法可以诱导成年大脑进入更早或更具可塑性的状态, 在那里可以重塑。我很不确定这有多大可能, 但我的直觉是对人工智能在这里能发明的东西持乐观态度。
• 有效预防精神疾病的基因方法似乎是可能的。大多数精神疾病部分是可遗传的, 全基因组关联研究开始在识别相关因素方面取得进展, 这些因素通常数量众多。可能可以通过胚胎筛选预防大多数这些疾病, 类似于身体疾病的情况。一个区别是, 精神疾病更可能是多基因的(许多基因贡献), 因此由于复杂性, 存在无意中选择 against 与疾病相关的积极特征的风险增加。然而奇怪的是, 近年来 GWAS 研究似乎表明这些相关性可能被夸大了。无论如何, 人工智能加速的神经科学可能有助于我们弄清楚这些事情。当然, 对复杂特征进行胚胎筛选会引发一些社会问题并引起争议, 尽管我猜大多数人会支持对严重或致残的精神疾病进行筛选。
• 我们不认为是临床疾病的日常问题也将得到解决。我们大多数人都有日常心理问题, 这些问题通常不被认为达到临床疾病的程度。有些人容易发怒, 有些人难以集中注意力或经常昏昏欲睡, 有些人胆小或焦虑, 或对变化反应不好。今天, 已经存在一些药物可以帮助提高警觉性或集中注意力 (咖啡因、莫达非尼、利他林), 但与许多其他之前的领域一样, 可能还有更多可能。可能还有许多这样的药物尚未被发现, 也可能有全新的干预方式, 如靶向光刺激(见上面的光遗传学) 或磁场。考虑到我们在 20 世纪开发了多少种调节认知功能和情绪状态的药物, 我对 "压缩的 21 世纪" 非常乐观, 在这个时代, 每个人都可以让自己的大脑表现得更好一些, 拥有更充实的日常体验。
• 人类基线体验可以更好。更进一步, 许多人经历过非凡的启示、创造性灵感、同情心、满足感、超越感、爱、美或冥想平静的时刻。这些体验的性质和频率在不同人之间以及同一个人在不同时间都有很大差异, 有时也可以通过各种药物触发(尽管通常有副作用)。所有这些都表明,"可能体验的空间" 非常广阔, 人们生活中可以包含更多这些非凡时刻。可能还可以全面改善各种认知功能。这也许是 "生物自由" 或 "延长寿命" 的神经科学版本。

一个常常出现在科幻描述人工智能的主题, 但我在这里有意没有讨论的是 "心灵上传", 即捕捉人脑的模式和动态并在软件中实现它们的想法。这个主题本身就可以成为一篇文章的主题, 但简单地说, 虽然我认为上传在原则上几乎肯定是可能的, 但在实践中, 即使有强大的人工智能, 它也面临着重大的技术和社会挑战, 这可能使它超出我们讨论的 5-10 年时间窗口。

总之, 人工智能加速的神经科学可能会极大地改善大多数精神疾病的治疗, 甚至治愈它们, 并大大扩展 "认知和心理自由" 以及人类的认知和情感能力。它将与前一节描述的身体健康改善一样彻底。也许从外表上看, 世界不会有明显的不同, 但人类所经历的世界将是一个更美好、更人道的地方, 也是一个提供更多自我实现机会的地方。我还怀疑, 改善心理健康将缓解许多其他社会问题, 包括那些看似政治或经济的问题。

3.经济发展与贫困

前两节讨论的是开发新技术来治愈疾病和改善人类生活质量。然而, 从人道主义角度来看, 一个显而易见的问题是:"所有人都能获得这些技术吗?"

开发出治疗疾病的方法是一回事, 而从世界上根除疾病则是另一回事。更广泛地说, 许多现有的健康干预措施尚未在世界各地得到应用, 事实上, 这同样适用于 (非健康领域的) 技术改进。换句话说, 世界许多地方的生活水平仍然极度贫困: 撒哈拉以南非洲的人均 GDP 约为 2,000 美元, 而美国约为 75,000 美元。如果人工智能进一步提高了发达国家的经济增长和生活质量, 却几乎没有帮助到发展中国家, 我们应该将其视为一个可怕的道德失败, 给前两节中真正的人道主义胜利蒙上了污点。理想情况下, 强大的人工智能应该帮助发展中国家赶上发达国家, 同时也革新后者。

我对人工智能能否解决不平等和经济增长问题的信心不如它能发明基础技术那么强。因为技术对智能有如此明显的高回报 (包括绕过复杂性和数据缺乏的能力), 而经济涉及许多来自人类的约束, 以及大量内在的复杂性。我对人工智能能否解决著名的 "社会主义计算问题"^23 持怀疑态度, 我也不认为政府会(或应该) 将经济政策交给这样一个实体, 即使它能做到。还有一些问题, 比如如何说服人们接受那些有效但他们可能怀疑的治疗方法。

发展中国家面临的挑战因私营和公共部门普遍存在的腐败而变得更加复杂。腐败造成了一个恶性循环: 它加剧了贫困, 而贫困反过来又滋生更多腐败。人工智能驱动的经济发展计划需要解决腐败、制度薄弱和其他非常人性化的挑战。

尽管如此, 我仍然看到了重要的乐观理由。疾病已经被根除, 许多国家已经从贫穷变得富有, 很明显, 这些任务中涉及的决策对智能有很高的回报(尽管存在人类的约束和复杂性)。因此, 人工智能很可能比目前做得更好。可能还有一些针对性的干预措施可以绕过人类的约束, 人工智能可以专注于这些。更重要的是, 我们必须尝试。人工智能公司和发达国家的政策制定者都需要尽自己的一份力, 确保发展中国家不被排斥在外; 道德要求太过重大。因此在本节中, 我将继续提出乐观的论点, 但请记住, 成功并非必然, 取决于我们的共同努力。

以下是我对强大的人工智能发展 5-10 年后发展中国家可能的发展方向的一些猜测:

• 健康干预措施的分配。我最乐观的可能是在全世界范围内分配健康干预措施。疾病实际上已经被自上而下的运动根除: 天花在 20 世纪 70 年代被完全消灭, 脊髓灰质炎和麦地那龙线虫病每年的病例不到 100 例, 几乎被根除。数学上复杂的流行病学建模在疾病根除运动中发挥着积极作用, 似乎很有可能有智能超过人类的人工智能系统能比人类做得更好。分配的物流也可能被大大优化。作为 GiveWell 的早期捐助者, 我了解到一些健康慈善机构比其他机构有效得多; 我们希望人工智能加速的努力会更加有效。此外, 一些生物学进展实际上使分配的物流变得更加容易: 例如, 疟疾一直难以根除, 因为每次患病都需要治疗; 只需要接种一次的疫苗使物流变得更简单 (事实上, 这样的疟疾疫苗目前正在开发中)。甚至还有更简单的分配机制: 原则上, 一些疾病可以通过针对它们的动物载体来根除, 例如释放感染了阻止它们携带疾病的细菌的蚊子(然后感染所有其他蚊子), 或者简单地使用基因驱动来消灭蚊子。这需要一个或几个集中的行动, 而不是必须单独治疗数百万人的协调运动。总的来说, 我认为 5-10 年是一个合理的时间表, 即使在世界上最贫穷的国家, 也可能有相当大比例(可能 50%) 的人工智能驱动的健康益处得到传播。一个好的目标可能是, 在强大的人工智能出现 5-10 年后, 发展中国家至少在健康方面应该大大超过今天的发达国家, 即使它继续落后于发达国家。当然, 实现这一目标将需要在全球健康、慈善事业、政治倡导和许多其他方面做出巨大努力, 人工智能开发者和政策制定者都应该提供帮助。
• 经济增长。发展中国家能否迅速赶上发达国家, 不仅在健康方面, 而且在整体经济上? 这方面有一些先例: 在 20 世纪最后几十年, 几个东亚经济体实现了持续约 10% 的年实际 GDP 增长率, 使它们赶上了发达国家。人类经济规划者做出了导致这一成功的决策, 不是通过直接控制整个经济, 而是通过拉动几个关键杠杆 (如以出口为导向的增长的产业政策, 以及抵制依赖自然资源财富的诱惑);"人工智能财政部长和中央银行家" 有可能复制或超越这 10% 的成就。一个重要的问题是如何让发展中国家政府在尊重自决原则的同时采用它们——一些国家可能会热情接受, 但其他国家可能会持怀疑态度。乐观的一面是, 前一点中提到的许多健康干预措施可能会自然地增加经济增长: 根除艾滋病 / 疟疾 / 寄生虫会对生产力产生变革性影响, 更不用说一些神经科学干预措施(如改善情绪和注意力) 在发达国家和发展中国家都会带来的经济效益。最后, 非健康领域的人工智能加速技术 (如能源技术、运输无人机、改进的建筑材料、更好的物流和分配等) 可能会自然地渗透到世界各地; 例如, 即使是手机也通过市场机制迅速渗透到撒哈拉以南非洲, 而不需要慈善努力。更消极的一面是, 虽然人工智能和自动化有许多潜在好处, 但它们也给经济发展带来挑战, 特别是对那些尚未工业化的国家。找到确保这些国家在日益自动化的时代仍能发展和改善经济的方法, 是经济学家和政策制定者需要解决的一个重要挑战。总的来说, 一个梦想中的情景——也许是一个值得努力的目标——是发展中国家 20% 的年 GDP 增长率, 其中 10% 来自人工智能支持的经济决策,10% 来自人工智能加速技术的自然传播, 包括但不限于健康。如果实现, 这将使撒哈拉以南非洲在 5-10 年内达到中国目前的人均 GDP 水平, 同时将发展中世界的大部分地区提高到高于目前美国 GDP 的水平。再次强调, 这是一个梦想中的情景, 不是默认会发生的: 这需要我们所有人共同努力才能使其更有可能实现。
• 粮食安全^24。20 世纪, 作物技术的进步, 如更好的肥料和农药、更多的自动化和更高效的土地利用, 大幅提高了作物产量, 使数百万人免于饥饿。基因工程目前正在进一步改善许多作物。找到更多方法来做到这一点——以及使农业供应链更加高效——可能会给我们带来人工智能驱动的第二次绿色革命, 帮助缩小发展中国家和发达国家之间的差距。
• 缓解气候变化。气候变化在发展中国家的影响将更加强烈, 阻碍其发展。我们可以预期, 人工智能将带来减缓或防止气候变化的技术改进, 从大气碳去除和清洁能源技术到减少我们对碳密集型工厂化养殖依赖的实验室培育肉类。当然, 如上所述, 技术并不是限制气候变化进展的唯一因素——与本文讨论的所有其他问题一样, 人类社会因素很重要。但有充分理由认为, 人工智能增强的研究将为我们提供使缓解气候变化的成本和干扰大大降低的手段, 使许多反对意见变得无关紧要, 并让发展中国家能够取得更多经济进展。
• 国家内部的不平等。我主要讨论了不平等作为一个全球现象 (我确实认为这是它最重要的表现), 但当然不平等也存在于国家内部。随着先进的健康干预措施, 特别是寿命的大幅延长或认知增强药物, 人们肯定会担心这些技术 "只为富人服务"。我对发达国家内部的不平等更为乐观, 主要有两个原因。首先, 市场在发达国家运作得更好, 而市场通常善于随着时间的推移降低高价值技术的成本^25。其次, 发达国家的政治制度对公民的反应更灵敏, 有更大的国家能力执行普遍获取计划——我预计公民会要求获得这些能如此显著改善生活质量的技术。当然, 这种要求的成功并非是预定的——这又是一个我们集体必须尽一切努力确保公平社会的地方。财富不平等(与获取拯救生命和提高生活质量的技术的不平等相对) 是一个单独的问题, 似乎更难解决, 我在第 5 节中讨论了这个问题。
• 选择退出问题。在发达国家和发展中国家都存在的一个担忧是人们选择退出人工智能带来的益处(类似于反疫苗运动, 或更普遍的卢德派运动)。可能会出现恶性循环, 例如, 最不能做出好决定的人选择退出能改善他们决策能力的技术, 导致差距不断扩大, 甚至创造出一个反乌托邦的底层阶级(一些研究人员认为这将削弱民主, 我在下一节中进一步讨论这个话题)。这将再次给人工智能的积极进步蒙上道德污点。这是一个难以解决的问题, 因为我认为在道德上强制人们是不对的, 但我们至少可以尝试提高人们的科学理解——也许人工智能本身可以帮助我们做到这一点。一个令人希望的迹象是, 历史上反技术运动的声音大于实际影响: 抨击现代技术很流行, 但最终大多数人还是会采用它, 至少在涉及个人选择时是这样。个人倾向于采用大多数健康和消费技术, 而真正受阻的技术, 如核能, 往往是集体政治决策的结果。

总的来说, 我对快速将人工智能的生物学进展带给发展中国家的人们持乐观态度。我希望, 尽管不确定, 人工智能也能实现前所未有的经济增长率, 并让发展中国家至少超过发达国家现在的水平。我担心发达国家和发展中国家都存在的 "选择退出" 问题, 但怀疑这个问题会随时间消退, 而且人工智能可以帮助加速这个过程。这不会是一个完美的世界, 落后的人不会完全赶上, 至少在最初的几年内不会。但通过我们的不懈努力, 我们可能能够让事情朝着正确的方向发展——而且速度很快。如果我们做到了, 我们至少可以为我们欠地球上每个人的尊严和平等的承诺支付一部分。

4.和平与治理

假设前三个部分的一切都进展顺利: 疾病、贫困和不平等显著减少, 人类体验的基线大幅提高。但这并不意味着人类痛苦的所有主要原因都得到解决。人类仍然对彼此构成威胁。尽管技术进步和经济发展导致民主和和平的趋势存在, 但这是一个非常松散的趋势, 经常 (且最近) 出现倒退。20 世纪初, 人们认为他们已经摆脱了战争; 然后两次世界大战爆发了。30 年前, 弗朗西斯·福山写了关于 "历史的终结" 和自由民主的最终胜利; 但这还没有实现。20 年前, 美国决策者认为与中国的自由贸易会随着中国变得更富裕而使其自由化; 这完全没有发生, 我们现在似乎正走向与一个复兴的威权主义集团的第二次冷战。而且有理有据的理论表明, 互联网技术实际上可能有利于威权主义, 而不是最初认为的民主(例如在 "阿拉伯之春" 时期)。试图理解强大的人工智能将如何与这些和平、民主和自由的问题相交叉似乎很重要。

遗憾的是, 我看不到任何强有力的理由相信人工智能会优先或从结构上推进民主和和平, 就像我认为它会从结构上推进人类健康和缓解贫困一样。人类冲突是对抗性的, 人工智能原则上可以帮助 "好人" 和 "坏人"。如果说有什么的话, 一些结构性因素似乎令人担忧: 人工智能似乎可能实现更好的宣传和监视, 这两者都是独裁者工具包中的主要工具。因此, 我们作为个人行动者有责任将事情推向正确的方向: 如果我们希望人工智能有利于民主和个人权利, 我们就必须为这一结果而战。我对此的感受甚至比对国际不平等更强烈: 自由民主的胜利和政治稳定并非必然, 甚至可能不太可能, 这将需要我们所有人做出巨大的牺牲和承诺, 就像过去经常发生的那样。

我认为这个问题有两个部分: 国际冲突和国家的内部结构。在国际方面, 当强大的人工智能被创造出来时, 民主国家在世界舞台上占据上风似乎非常重要。人工智能驱动的威权主义看起来太可怕了, 不容考虑, 所以民主国家需要能够设定强大人工智能被引入世界的条件, 既要避免被威权主义者压倒, 又要防止威权国家内部的人权侵犯。

我目前认为最好的方法是通过 "协约战略"^26, 在这种战略中, 民主国家联盟寻求在强大的人工智能上获得明显优势 (即使只是暂时的), 方法是确保其供应链, 快速扩大规模, 并阻止或延迟对手获得芯片和半导体设备等关键资源。这个联盟一方面会利用人工智能实现强大的军事优势(棍子), 同时提供分享强大人工智能带来的利益(胡萝卜) 给越来越多的国家, 以换取它们支持联盟促进民主的战略(这有点类似于 "和平利用原子能")。联盟的目标是获得世界上越来越多国家的支持, 孤立我们最坏的对手, 最终让他们处于一个与世界其他国家一样接受相同交易的位置: 放弃与民主国家竞争, 以获得所有利益并避免与更强大的对手战斗。

如果我们能做到这一切, 我们将拥有一个民主国家在世界舞台上领先, 并拥有经济和军事实力以避免被专制国家破坏、征服或破坏的世界, 并可能将他们的人工智能优势转化为持久的优势。乐观地说, 这可能导致一个 "永恒的 1991 年"——一个民主国家占据上风、福山的梦想实现的世界。再次强调, 这将非常难以实现, 特别需要私营人工智能公司与民主政府之间的密切合作, 以及关于胡萝卜和棍子之间平衡的极其明智的决策。

即使这一切都进展顺利, 仍然留下了每个国家内部民主与专制之间斗争的问题。显然很难预测这里会发生什么, 但我确实对在民主国家控制最强大人工智能的全球环境中, 人工智能实际上可能在各地从结构上有利于民主这一点持有一些乐观态度。特别是, 在这种环境下, 民主政府可以利用他们优越的人工智能赢得信息战: 他们可以反制威权国家的影响和宣传行动, 甚至可能通过提供信息渠道和人工智能服务的方式创造一个全球自由信息环境, 而威权国家在技术上无法阻止或监控。可能不需要传播宣传, 只需要反制恶意攻击并解除对信息自由流动的阻碍。虽然不会立即见效, 但这样一个公平的竞争环境很有可能逐渐将全球治理倾向于民主, 原因有几个。

首先, 第 1-3 节中生活质量的提高应该在其他条件相同的情况下促进民主: 历史上至少在某种程度上是这样。特别是, 我预计心理健康、福祉和教育的改善将增加民主, 因为这三者都与对威权领导人的支持呈负相关。总的来说, 当人们的其他需求得到满足时, 他们想要更多的自我表达, 而民主除其他外就是一种自我表达的形式。相反, 威权主义靠恐惧和怨恨滋生。

第二, 只要威权主义者无法审查, 自由信息确实有很大机会破坏威权主义。而未经审查的人工智能也可以为个人提供强大的工具来破坏压制性政府。压制性政府通过剥夺人们某种共同知识来生存, 使他们无法意识到 "皇帝没穿衣服"。例如, 帮助推翻塞尔维亚米洛舍维奇政府的 Srđa Popović广泛写过关于心理上剥夺威权主义者权力的技巧, 打破魔咒并集结支持反对独裁者。一个超人般有效的 AI 版 Popović(他的技能似乎对智力有很高的回报)在每个人的口袋里, 而独裁者无力阻止或审查它, 可能会为世界各地的异议人士和改革者创造有利条件。再说一次, 这将是一场漫长而艰难的斗争, 胜利并非必然, 但如果我们以正确的方式设计和构建人工智能, 至少可能是一场让自由的倡导者在各地占优势的斗争。

与神经科学和生物学一样, 我们也可以问事情如何能 "比正常更好"——不仅是如何避免专制, 而且如何使民主国家比今天更好。即使在民主国家内部, 不公正的事情也经常发生。法治社会向公民承诺, 每个人在法律面前都是平等的, 每个人都有权享有基本人权, 但显然人们并不总是在实践中享有这些权利。这一承诺即使只是部分实现也是值得骄傲的, 但人工智能能否帮助我们做得更好呢?

例如, 人工智能能否通过使决策和过程更加公正来改善我们的法律和司法系统? 今天, 人们在法律或司法环境中主要担心人工智能系统会成为歧视的原因, 这些担忧很重要, 需要防范。同时, 民主的活力取决于利用新技术改善民主制度, 而不仅仅是应对风险。一个真正成熟和成功的人工智能实施有潜力减少偏见, 对每个人都更加公平。

几个世纪以来, 法律系统面临着这样一个困境: 法律旨在保持公正, 但本质上是主观的, 因此必须由有偏见的人来解释。试图使法律完全机械化并不奏效, 因为现实世界是混乱的, 不能总是用数学公式捕捉。相反, 法律系统依赖于臭名昭著的不精确标准, 如 "残忍和不寻常的惩罚" 或 "完全没有社会价值", 然后由人来解释——而且经常以显示偏见、偏袒或专断的方式来解释。加密货币中的 "智能合约" 并没有彻底改变法律, 因为普通代码不够聪明, 无法裁决太多有趣的事情。但人工智能可能足够聪明: 它是第一个能够以可重复和机械的方式做出广泛、模糊判断的技术。

我并不是建议我们 literally 用人工智能系统取代法官, 但公正性与理解和处理混乱的现实世界情况的能力相结合, 感觉应该对法律和正义有一些严肃的积极应用。至少, 这样的系统可以作为辅助决策的工具与人类一起工作。在任何此类系统中, 透明度都很重要, 成熟的人工智能科学可以想象提供这种透明度: 此类系统的训练过程可以得到广泛研究, 先进的可解释性技术可以用来查看最终模型内部并评估其隐藏的偏见, 这是对人类 simply 不可能做到的。这种人工智能工具还可以用来监控司法或警察环境中对基本权利的侵犯, 使宪法更具自我执行性。

类似地, 人工智能可以用来汇总意见并推动公民之间达成共识, 解决冲突, 找到共同点, 寻求妥协。计算民主项目已经在这个方向上进行了一些早期的尝试, 包括与 Anthropic 的合作。一个更加明智和深思熟虑的公民群体显然会加强民主制度。

人工智能还有明显的机会用于帮助提供政府服务——如健康福利或社会服务——这些服务原则上对每个人都可用, 但实际上往往严重缺乏, 而且在某些地方比其他地方更糟糕。这包括健康服务、机动车管理局、税收、社会保障、建筑规范执行等。拥有一个非常深思熟虑和知情的人工智能, 其工作是以你能理解的方式给你政府合法提供的一切——同时还帮助你遵守经常令人困惑的政府规则——将是一件大事。提高国家能力既有助于实现法律面前平等的承诺, 又增强了对民主治理的尊重。目前, 服务实施不善是导致对政府产生愤世嫉俗情绪的主要驱动因素^27。

所有这些都是有些模糊的想法, 正如我在本节开头所说, 我对它们的可行性的信心远不如对生物学、神经科学和减贫方面的进展的信心。它们可能不切实际地乌托邦化了。但重要的是要有一个雄心勃勃的愿景, 愿意做大梦并尝试新事物。将人工智能视为自由、个人权利和法律面前平等的保障者的愿景, 是一个太强大而不能不为之奋斗的愿景。21 世纪由人工智能支持的政体可能既是个人自由的更强有力的保护者, 也是一个希望的灯塔, 有助于使自由民主成为全世界都想采用的政府形式。

5.工作与意义

即使前四个部分的一切都进展顺利——我们不仅缓解了疾病、贫困和不平等, 而且自由民主成为主导的政府形式, 现有的自由民主国家也变得更好——至少还有一个重要问题仍然存在。有人可能会反对说:"我们生活在一个技术如此先进、公平和体面的世界固然很好, 但是在人工智能做所有事情的情况下, 人类如何获得意义呢? 更重要的是, 人类如何在经济上生存下去?"

我认为这个问题比其他问题更难回答。我并不是说我对此必然比其他问题更悲观(尽管我确实看到了一些挑战)。我的意思是, 这个问题更模糊, 更难提前预测, 因为它涉及到社会组织方式的宏观问题, 这些问题往往只能随着时间的推移以分散的方式解决。例如, 历史上的狩猎采集社会可能会认为, 没有狩猎和各种与狩猎相关的宗教仪式, 生活就失去了意义, 他们可能会认为我们这个营养充足的技术社会是毫无目的的。他们可能也不理解我们的经济如何能为每个人提供生活所需, 或者人们在一个机械化的社会中能发挥什么有用的功能。

尽管如此, 至少值得说几句话, 同时要记住, 这一部分的简短绝不应被视为我不重视这些问题的标志——恰恰相反, 这是缺乏明确答案的标志。

关于意义的问题, 我认为相信你所从事的任务毫无意义仅仅因为人工智能可以做得更好, 这很可能是一个错误。大多数人并不是世界上任何事情的最佳, 这似乎并不特别困扰他们。当然, 今天他们仍然可以通过比较优势做出贡献, 并可能从他们产生的经济价值中获得意义, 但人们也非常享受那些不产生经济价值的活动。我花了大量时间玩电子游戏、游泳、在外面散步和与朋友交谈, 所有这些都不产生经济价值。我可能会花一天时间试图在一个视频游戏中变得更好, 或者更快地骑自行车上山, 而我并不在乎世界上某个地方有人在这些事情上比我强得多。无论如何, 我认为意义主要来自人际关系和联系, 而不是来自经济劳动。人们确实想要一种成就感, 甚至是一种竞争感, 在后人工智能时代, 人们完全有可能花费数年时间尝试某个非常困难的任务, 并制定复杂的策略, 类似于人们今天开始研究项目、试图成为好莱坞演员或创办公司时所做的事情^28。事实上,(a)某处的人工智能原则上可以更好地完成这项任务, 以及 (b) 这项任务不再是全球经济中获得经济回报的元素, 这些似乎对我来说并不那么重要。

对我来说, 经济问题实际上似乎比意义问题更难解决。在本节中,"经济" 指的是可能出现的问题, 即在一个足够先进的人工智能驱动的经济中, 大多数或所有人类可能无法做出有意义的贡献。这是一个比不平等问题更宏观的问题, 特别是获取新技术的不平等问题, 我在第 3 节中讨论过这个问题。

首先, 就短期而言, 我同意这样的论点: 比较优势将继续使人类保持相关性, 实际上会提高他们的生产力, 甚至可能在某些方面为人类创造一个更公平的竞争环境。只要人工智能只是在 90% 的工作中表现更好, 剩下的 10% 将导致人类变得高度杠杆化, 增加报酬, 实际上创造出大量新的人类工作, 补充和放大人工智能擅长的领域, 使得这 "10%" 扩展到继续雇用几乎所有人。事实上, 即使人工智能在所有方面都比人类做得更好, 但在某些任务上仍然效率低下或昂贵, 或者如果人类和人工智能的资源投入有明显不同, 那么比较优势的逻辑仍然适用。人类可能在相当长一段时间内保持相对 (甚至绝对) 优势的一个领域是物理世界。因此, 我认为即使在我们达到 "数据中心中的天才国度" 之后的一段时间内, 人类经济可能仍然有意义。

然而, 我确实认为从长远来看, 人工智能将变得如此广泛有效且廉价, 以至于这种情况将不再适用。在那时, 我们目前的经济设置将不再有意义, 需要进行更广泛的社会对话, 讨论经济应该如何组织。

虽然这可能听起来很疯狂, 但事实是, 文明在过去已经成功地度过了重大的经济转变: 从狩猎采集到农业, 从农业到封建主义, 从封建主义到工业主义。我怀疑需要一些新的、更奇怪的东西, 这是今天还没有人很好地设想过的。它可能简单到为每个人提供大规模的普遍基本收入, 尽管我怀疑这只是解决方案的一小部分。它可能是一个由人工智能系统组成的资本主义经济, 然后这些系统根据某种次级经济 (基于人工智能系统认为有意义奖励人类的判断, 最终源于人类价值观) 向人类分配资源(巨量资源, 因为整体经济蛋糕将会非常巨大)。也许经济将运行在 Whuffie 点数上。或者也许人类最终将继续具有经济价值, 以某种常规经济模型未预料到的方式。所有这些解决方案都存在大量潜在问题, 没有大量迭代和实验就无法知道它们是否有意义。与其他一些挑战一样, 我们可能必须努力争取才能获得好的结果: 剥削性或反乌托邦的方向显然也是可能的, 必须加以防止。关于这些问题还可以写更多内容, 我希望在以后有机会这样做。

盘点总结

通过上述各种主题, 我试图描绘出一幅世界愿景, 如果人工智能一切顺利, 这个世界既是可能的, 也比今天的世界要好得多。我不知道这个世界是否现实, 即使是现实的, 也需要许多勇敢和 dedicated 的人付出巨大努力和奋斗才能实现。每个人 (包括人工智能公司!) 都需要尽自己的一份力量, 既要防范风险, 又要充分实现利益。

但这是一个值得为之奋斗的世界。如果所有这些真的在 5 到 10 年内发生——大多数疾病被击败, 生物和认知自由的增长, 数十亿人摆脱贫困并分享新技术, 自由民主和人权的复兴——我怀疑每个观察这一切的人都会对它产生的影响感到惊讶。我指的不是亲身受益于所有新技术的体验, 尽管那肯定会很神奇。我指的是看到一套长期持有的理想突然在我们面前实现的体验。我认为许多人会因此感动得流泪。

在写这篇文章的过程中, 我注意到一个有趣的矛盾。从某种意义上说, 这里描绘的愿景是极其激进的: 这不是几乎任何人都期望在未来十年内发生的事情, 很可能会被许多人视为荒谬的幻想。有些人甚至可能不认为这是可取的; 它体现了并非每个人都会同意的价值观和政治选择。但同时, 它又有一种显而易见的特质——仿佛是注定的——似乎许多不同的尝试设想一个美好世界都不可避免地大致指向这里。

在伊恩·M·班克斯的《游戏玩家》^29 中, 主人公——一个名为 "文化" 的社会成员, 该社会基于与我在这里描述的原则不同的原则——前往一个压制性的、军国主义的帝国, 在那里, 领导权是通过在一场复杂的战斗游戏中的竞争来决定的。然而, 这个游戏复杂到玩家在其中的策略往往反映了他们自己的政治和哲学观点。主人公成功地在游戏中击败了皇帝, 表明他的价值观 (文化的价值观) 即使在一个由基于无情竞争和适者生存的社会设计的游戏中也代表了一种制胜策略。斯科特·亚历山大的一篇著名文章也有同样的论点——竞争是自我挫败的, 往往会导致一个基于同情心和合作的社会。"道德宇宙的弧线" 是另一个类似的概念。

我认为文化的价值观是一种制胜策略, 因为它们是数百万个具有明确道德力量的小决定的总和, 这些决定往往把每个人拉到同一边。基本的人类公平、合作、好奇心和自主权的直觉很难反驳, 而且以一种我们更具破坏性的冲动往往不具备的方式累积。很容易论证如果我们能够预防, 儿童就不应该死于疾病, 从那里很容易论证每个人的孩子都平等地享有这个权利。从那里, 不难论证我们都应该团结起来, 运用我们的智慧来实现这个结果。很少有人不同意应该惩罚那些不必要地攻击或伤害他人的人, 从那里到认为惩罚应该在人与人之间保持一致和系统化也不是一个很大的飞跃。同样直观的是, 人们应该对自己的生活和选择拥有自主权和责任。这些简单的直觉, 如果被推到逻辑结论, 最终会导致法治、民主和启蒙价值观。如果不是必然的, 至少作为一种统计趋势, 这就是人类已经在走的方向。人工智能只是提供了一个机会, 让我们更快地到达那里——使逻辑更加清晰, 目的地更加明确。

尽管如此, 这是一件具有超越美的事物。我们有机会在使其成为现实的过程中发挥一些小小的作用。

感谢 Kevin Esvelt、Parag Mallick、Stuart Ritchie、Matt Yglesias、Erik Brynjolfsson、Jim McClave、Allan Dafoe 以及 Anthropic 的许多人审阅了本文的草稿。

致 2024 年诺贝尔化学奖得主, 感谢你们为我们指明了方向。

脚注^1 https://allpoetry.com/All-Watched-Over-By-Machines-Of-Loving-Grace 

^2 我预料到一些少数人的反应会是 "这相当温和"。我认为这些人需要, 用 Twitter 的话说,"接地气"。但更重要的是, 从社会角度来看, 温和是好事。我认为人们一次只能应对有限程度的变化, 我描述的步伐可能接近社会在不发生极端动荡的情况下所能吸收的极限。

^3 我发现 AGI 是一个不精确的术语, 它积累了很多科幻色彩和炒作。我更喜欢 "强大的 AI" 或 "专家级科学和工程", 这些术语能更准确地表达我的意思, 而不带有炒作。

^4 在本文中, 我用 "智能" 指可以应用于各种领域的通用解决问题能力。这包括推理、学习、规划和创造力等能力。虽然我在整篇文章中用 "智能" 作为简写, 但我承认智能的本质在认知科学和人工智能研究中是一个复杂且有争议的话题。一些研究人员认为智能不是一个单一统一的概念, 而是一系列独立的认知能力的集合。另一些人则认为存在一个支撑各种认知技能的通用智能因素(g 因素)。这是另一个时间讨论的话题。

^5 这大致是当前 AI 系统的速度 - 例如, 它们可以在几秒钟内阅读一页文本, 在大约 20 秒内写出一页文本, 这是人类做这些事情速度的 10-100 倍。随着时间的推移, 更大的模型往往会使这个过程变慢, 但更强大的芯片又会使其加快; 到目前为止, 这两种效应大致相互抵消。

^6 这可能看起来像是一个稻草人论点, 但像 Tyler Cowen 和 Matt Yglesias 这样谨慎的思想家已经将其作为一个严肃的担忧提出(尽管我不认为他们完全持有这种观点), 我也不认为这是荒谬的。

^7 我所知道的最接近解决这个问题的经济学工作是关于 "通用目的技术" 和作为通用目的技术补充的 "无形投资" 的研究。

^8 这种学习可以包括临时的、上下文内的学习, 或传统的训练; 两者都将受到物理世界的速率限制。

^9 在一个混沌系统中, 微小的误差会随时间呈指数级增长, 因此即使计算能力有巨大的提升, 也只能略微改善预测的时间跨度, 而且在实践中, 测量误差可能会进一步降低这种改善。

^10 当然, 另一个因素是强大的 AI 本身可能被用来创造更强大的 AI。我的假设是, 这可能 (实际上, 很可能) 会发生, 但其影响可能比你想象的要小, 正是因为这里讨论的 "智能的边际收益递减"。换句话说,AI 将继续快速变得更智能, 但其效果最终将受到非智能因素的限制, 分析这些因素对于理解 AI 之外的科学进步速度最为重要。

^11 这些成就对我来说是一种启发, 也可能是 AI 被用来改变生物学的最有力的现有例子。

^12 "科学的进步取决于新技术、新发现和新思想, 可能就是这个顺序。" - Sydney Brenner 

^13 感谢 Parag Mallick 提出这一观点。

^14 我不想用对 AI 驱动的科学可能做出的具体未来发现的猜测来填满正文, 但这里是一些可能性的头脑风暴:

• 设计更好的计算工具, 如 AlphaFold 和 AlphaProteo - 也就是说, 一个通用 AI 系统加速我们制造专门的 AI 计算生物学工具的能力。
• 更高效和选择性的 CRISPR。
• 更先进的细胞疗法。
• 材料科学和微型化突破导致更好的植入设备。
• 对干细胞、细胞分化和去分化的更好控制, 以及由此产生的重新生长或重塑组织的能力。
• 对免疫系统的更好控制: 有选择地激活它以应对癌症和传染病, 有选择地关闭它以应对自身免疫疾病。

^15 当然,AI 也可能有助于更聪明地选择要进行的实验: 改进实验设计, 从第一轮实验中学到更多, 以便第二轮实验可以集中在关键问题上, 等等。

^16 感谢 Matthew Yglesias 提出这一观点。

^17 快速进化的疾病, 比如那些实质上利用医院作为进化实验室来不断提高其对治疗的抗性的多重耐药菌株, 可能特别难以应对, 可能是阻止我们达到 100% 的因素之一。

^18 注意, 在 5-10 年内可能很难知道我们是否已经将人类寿命翻倍。虽然我们可能已经做到了, 但在研究时间框架内我们可能还不知道。

^19 这是我愿意, 尽管治愈疾病和减缓衰老过程本身之间存在明显的生物学差异, 从更远的角度看统计趋势并说 "即使细节不同, 我认为人类科学可能会找到继续这种趋势的方法; 毕竟, 任何复杂事物的平滑趋势必然是由非常异质的组成部分相加而成的" 的一个地方。

^20 例如, 我被告知, 每年生产力增长 0.5% 甚至 1% 的增加在与这些项目相关的预测中都会产生变革性影响。如果本文设想的想法成为现实, 生产力增长可能会比这大得多。

^21 媒体喜欢描绘高地位的精神病患者, 但平均的精神病患者可能是一个经济前景不佳、缺乏冲动控制的人, 最终在监狱中度过大量时间。

^22 我认为这在某种程度上类似于我们从可解释性研究中学到的许多结果 (尽管可能不是全部) 即使我们当前人工神经网络的一些架构细节 (如注意力机制) 以某种方式改变或替换, 也会继续相关。

^23 我怀疑这有点像一个经典的混沌系统 - 充满了必须以主要去中心化方式管理的不可简化的复杂性。尽管正如我在本节后面所说, 更温和的干预可能是可行的。经济学家 Erik Brynjolfsson 向我提出的一个反论是, 大公司 (如沃尔玛或优步) 开始拥有足够的集中知识来比任何去中心化的过程更好地理解消费者, 这可能迫使我们修改哈耶克关于谁拥有最佳本地知识的见解。

^24 感谢 Kevin Esvelt 提出这一观点。

^25 例如, 手机最初是富人的技术, 但很快变得非常便宜, 年复一年的改进发生得如此之快, 以至于购买 "奢侈" 手机的任何优势都被消除了, 如今大多数人拥有的手机质量相似。

^26 这是 RAND 即将发表的一篇论文的标题, 大致描述了我所描述的策略。

^27 当普通人想到公共机构时, 他们可能会想到他们在车管所、税务局、医疗保险或类似机构的经历。使这些经历比现在更积极似乎是一种强有力的方式来对抗不当的愤世嫉俗情绪。

^28 事实上, 在一个由 AI 驱动的世界里, 这种可能的挑战和项目的范围将比今天要广阔得多。

^29 我正在打破自己不要把这篇文章变成科幻小说的规则, 但我发现很难不至少稍微提及它。事实是, 科幻小说是我们为数不多的关于未来的广泛思想实验的来源之一; 我认为它与一个特定的狭窄亚文化如此纠缠在一起, 这说明了一些不好的事情。