起首：机器之心Pro

OpenAI 的下野潮仍未止息。

这一次离开的是 Miles Brundage，他是 OpenAI 一位资深相关者和管制者，于 2018 年加入 OpenAI，下野前担任 AGI Readiness 团队的高档督察人，之前还曾指挥过 Policy Research 团队。更早之前，他曾在牛津大学东谈主类改日相关所从事相关工作。

此次离开 OpenAI，他写了一篇进步 5000 词的博客，追溯了他在 OpenAI 的工作历程，并共享了我方下野的原因、对 AI 的概念以及改日规划，其中还触及到 OpenAI 工作步地和企业文化方面的一些讳饰。

音问发布后，许多 AI 领域的东谈主士都留言透露祝愿，包括仍然还在 OpenAI 的有名相关者 Noam Brown、a16z 合资东谈主和 Fellow AI 独创东谈主 Marco Mascorro、谷歌 AI Studio 居品负责东谈主 Logan Kilpatrick 以及多量 AI 领域的相关者和创业者。

剑桥大学 AI 治理与计谋相关者 Haydn Belfield 致使合计 Miles Brundage 离开 OpenAI 就十分于一个期间的散伙。

底下咱们来望望 Miles Brundage 的「长篇下野公开信」里面究竟写了些什么。

下野公开信概览

2015 年 12 月，OpenAI 手脚一个组织晓示设立；自那以来，我都一直为它感到愉快。OpenAI 晓示设立之后，我整宿守夜，写下了我对其要紧性的概念。致使在那之前，不详 12 年前，我就决定将我方的一世奉献给与 OpenAI 的大致责任（确保 AGI 造福全东谈主类）相关的领域。

是以这简直便是我假想中的工作（为 OpenAI 高管和董事会提供 AGI 达成进程方面的建议），是以离开它并不是一个容易的决定，而且我确信有些东谈主对此有许多疑问。底下我将回应一些问题，但愿借此请示东谈主们更准确地接头我的离开及各式相关话题。

太长不读版：

我想把更多时期插足到触及通盘这个词 AI 行业的问题上，领有更多发表的目田，愈加寂然；我将创立一家和 / 或加入一家已有的非谋利机构，何况将把关切要点放在 AI 计谋相关和倡导上，因为我合计，如果咱们不皆心合力，AI 不太可能尽可能地安全和故意；我感风趣的一些相关领域包括评估和预计 AI 进展、前沿 AI 安全的监管问题、AI 的经济影响、故意 AI 哄骗的加快股东、计较治理；我合计，对于许多相关和工作而言，OpenAI 依然是一个清脆东谈主心的场地，我很欢娱看到团队不绝加大对安全文化和流程的投资。

我是谁？我在 OpenAI 作念什么？

在本周五终局之前，我都是 OpenAI 的一位相关员和管制者。我在这里 6 年多了，按照 OpenAI 的法子来说是很长一段时期了（往时 6 年来它的确成长了许多！）。一运转，我是计谋团队的一位相关科学家，之后变成了计谋相关团队负责东谈主，当今则是 AGI Readiness（AGI 达成进程）团队的高档督察人。在此之前，我在学术界 —— 先从亚利桑那州立大学取得了科学与时间的东谈主文与社会维度博士学位，然后在牛津大学担任博士后，并在好意思国能源部政府部门工作过一段时期。

在我看来，我指挥过的团队（计谋相关和 AGI 达成进程）作念了许多相配要紧的工作，这些工作塑造了 OpenAI 的部署实践，举例启动咱们的外部红队表情并推动前几张 OpenAI 系统卡，并发表了许多有影响力的文章，主题包括谈话模子和 AI 智能体的社会影响、前沿东谈主工智能监管、计较治理等。

我相配感谢我在 OpenAI 的时光，也相配感谢我的管制者们多年来的信任，让我承担越来越多的职守，感谢我有幸管制的数十名职工，我从他们身上学到了许多东西，感谢我在各个团队中同事的无数才华横溢的同事，他们使在 OpenAI 工作成为一次如斯迷东谈主和故意的履历。

我为什么离开？

我决定从行业外部而不是行业里面来影响和推动 AI 的发展。这是我基于以下商酌得出的论断：

契机成本照旧变得相配高：我莫得时期相关我合计要紧的各式相关课题，在某些情况下，我合计如果我在行业以皮毛关它们，所得恶果的影响力会更大。OpenAI 当今如斯引东谈主持重，东谈主们会从许多不同的角度谛视其恶果，因此我很难发表通盘文章，但一些主题在我看来很要紧。需要明确的是，天然我不会说我一直答应 OpenAI 对发表审查的态度，但我照实合计行业中存在一些发表结束是合理的（我曾匡助编写过几个版块的 OpenAI 计谋），但对我来说，结束果决太多。

我想减少偏见：当你是某个组织机构的一部分并每天与那边的东谈主密切配合时，就很难对该组织保持公正客不雅的态度，而且商酌到经济利益打破，东谈主们有权质疑来自行业的计谋想法。我照旧尝试过在分析中作念到尽可能公正，但我确信其中存在一些偏见，而且在 OpenAI 工作坚信会影响东谈主们对我的言论以及业内其他东谈主的言论的概念。我合计在计谋对话中领有比当今更多的行业寂然声息至关要紧，我规划成为其中之一。

我在 OpenAI 照旧完成了我之前规划要作念的大部单干作：自从运转担任 AGI 达成进程高档督察人以来，我运转更明确地念念考两种 AGI 达成进程 ——OpenAI 是否准备好管制日益苍劲的 AI 智力，以及寰宇是否准备好有用管制这些智力（包括通过监管 OpenAI 和其他公司）。对于前者，我照旧告诉高管和董事会（我的建议的受众）我合计 OpenAI 需要什么以及还有什么差距，而对于后者，我合计我不错在外部更有用地完成它。

上头哪一丝最要紧？这很难说。它们以各式步地相互关联，但每一个都在我的决定中默契了一定作用。

OpenAI 和寰宇在管待 AGI 方面准备得何如了？

简而言之，OpenAI 和任何其它前沿实验室都莫得准备好，寰宇也莫得准备好。

确切地讲，我合计这个说法在 OpenAI 指挥层中莫得争议。需要阐发，这不同于这个问题：该公司和寰宇是否将在某个时期作念好准备？（但我合计仍待填补的差距还相配大，足以让我将余生都插足 AI 计谋作事中）。

该公司和寰宇是否在向着作念好准备前进？这个问题很复杂，触及到安全文化随时期的变化（最近董事会的新增成员是朝着正确标的迈出的一步）、监管对组织引发的影响、关系 AI 智力和安全难度的各式事实的影响，以过头他各式要素。

顺带一提，我合计 AGI 是一个含义过多的短语，它暗意了一种超乎本色的二元化念念维步地。我的团队最近一直在相关的课题之一是充实「AI 分级」框架。我但愿 OpenAI 和我无意很快发表一篇相关论文。但当今我只想指出，当我说「为 AGI 作念好准备」时，我的酷爱是：「准备好安全、可靠且故意地开拓、部署和管制日益苍劲的 AI 系统」。

东谈主们应该在 OpenAI 工作吗？

在 OpenAI 工作是大多数东谈主但愿作念的最有影响力的事情之一，是以在很厚情况下，这个问题的谜底是坚信的。天然，东谈主们领有不同的妙技和契机，很难作念出婉曲的述说，但我合计 OpenAI 的每一个扮装过头工作的正式性都很要紧，对 OpenAI 企业文化的孝敬也很要紧。在通往更苍劲的东谈主工智能的谈路上，每一个居品的部署都通过影响表率、东谈主工智能的感知和监管步地等而默契要紧作用。我很缺憾失去了一些我在这里领有影响力的契机，尽管我但愿更大程度地影响更大的生态系统。

我合计，在 OpenAI 勤劳于安全方面的工作尤其具有影响力。

在 OpenAI 工作的任何东谈主都应该发扬对待一个事实：他们的步履和言论有助于企业文化，何况当 OpenAI 运转管制极其先进的智力时，可能会产生积极或衰颓的旅途依赖。文化对任何机构都很要紧，在前沿东谈主工智能的布景下尤其要紧，因为大部分决策不是由法例决定，而是由公司职工决定。

正如我上头提到的以及我的决定所标明的那样，我合计某些计谋相关最佳在外部进行。我合计计谋相关可能比安全和保险工作更常见，OpenAI 里面照实需要一些东谈主推动清雅的计谋态度。

AGI Readiness 团队发生了什么？

经济相关团队直到最近如故由 Pamela Mishkin 指挥的 AGI Readiness 子团队，但当今将由 OpenAI 新任首席经济学家 Ronnie Chatterji 指挥。AGI Readiness 团队的其余成员将漫衍在其他团队中。

接下来我要作念什么？

我规划创办一个新的非谋利组织或加入现存的非谋利组织，并将从事东谈主工智能计谋相关和宣传工作。我可能会作念一些相关和宣传的趋奉，但细节待定，这将取决于改日几个月我与潜在斡旋独创东谈主和配合者的对话。

我对东谈主工智能计谋有何概念？

我合计东谈主工智能的优点照旧很权贵，而且可能会影响更大，错误亦然如斯。

我合计东谈主工智能和通用东谈主工智能造福全东谈主类并不是自动的，需要政府、非谋利组织、社会和行业的决策者作念出三念念此后行的选拔，何况需要利害的公众接头。值得刺方针是，这不仅适用于缓解风险，也适用于确保利益的公谈分拨，电力和当代医学等领域亦然如斯。

我合计 AI 智力正在速即擢升，计谋制定者需要更快给与行为。这是我最但愿无意寂然相关的领域之一，因为当这些说法来自产业界时，它们往往会被视为炒作。通过脱离产业界，我将无法取得一些对于最新时间的信息，但我合计全球领域有多量信息不错解说这种紧迫感是合理的，而且我有一些想法，不错比迄今为止的叙事更好地展现这种紧迫性。几年前，我向有用利他主义者（他们对某些 AI 智力需要多万古期智力出现相配感风趣）辩称，预计这些用处不大。许多应该给与的计谋行为与确切的时期表竣工无关。然则，我其后编削了主意，并合计大多数计谋制定者除非合计情况垂危，不然不会给与行为，而且如果情况照实如斯或将来可能如斯，就需要令东谈主信服地解释为什么会这么。

我合计，对 AI 智力过头推断的定量评估，趋奉对某些计谋影响的分析，智力真实且有劝服力地解说这种紧迫性。东谈主们照旧运转从安全角度揣测前沿模子、揣测 AI 随时期变化的趋势以及评估 AI 对劳能源阛阓的影响，但坚信还需要更多工作。

我合计咱们还莫得掌抓咱们需要的通盘 AI 计谋理念，而且许多常见理念要么很厄运，要么太迷糊，无法给出委果的判断。在 AI 的海外竞争中尤其如斯，我发现现存的提案异常厄运和迷糊，不外其中一些想法也取得了更密致入微的接头，何况趋势向好。前沿 AI 安全和保险的许多方面也需要创造性的惩办决策。

另一方面，我合计咱们照实有一些咱们需要的理念，何况应该在其中一些领域速即行为起来。这便是我不想把我方局限于相关的原因 —— 在某些情况下，短缺的便是闭塞或政事意愿。举例，国会应该夸耀资助好意思国 AI 安全相关所，这么政府就更有智力明晰地念念考 AI 计谋，也应该资助工业和安全局，这么政府中就会有东谈主知谈先进的 AI 芯片出口后会发生什么。

改日我对相关哪些主题感风趣？

如果我有更多时期追溯往时六年，我的想法可能会有所变化，但现时我对以下几个相互关联的主题异常感风趣。这里并不贪图穷举通盘要紧问题，而且改日我可能会愈加专注（比如在改日几个月的探索期后，深切相关其中一两个问题）。

评估和预计 AI 进展情况

这是背面各个主题的关节基础之一。如上所述，东谈主们照旧有了一些出色的相关恶果，但它却因为各式不同原因（包括买卖和学术原因）有所偏离中枢。我合计在这个主题上，非谋利部门有庞杂的契机作念出更多收货。

与此同期，我闭塞到咱们最终可能会将 AI 评估和预计擢升到相配严格的气象，但计谋行为仍然会相对逐步。因此，除了与东谈主们配合以更好地了解 AI 的进展以外，我还但愿以一种能引起共识的步地更好地向东谈主们先容进展速率。我强烈地嗅觉到 AGI 更容易在产业界达成，但我不知谈具体原因，因为实验室的智力与公众可用的智力之间本色上并莫得太大的差距。

我有几个想探索的假设。我有风趣从历史案例中相关为什么某些计谋问题被视为垂危或不被视为垂危 —— 举例第二次寰宇大战和希特勒的崛起、自得变化等。

前沿 AI 安全与保险的监管

我合计，改善前沿 AI 安全与保险是当务之急，因为许多公司（数十家）都很快（最多改日几年时期）会领有有智力形成苦难性风险的系统。商酌到当今照旧莫得些许时期不错诞生全新的监管机构了，因此我尤其关切在现存的法律体系内给与行为的契机，以及 EU AI Act（欧盟东谈主工智能法案）等已获准许的法案的实施。

如上所述，也可参读论文《The Role of Cooperation in Responsible AI Development》，公司和政府不一定会默许予以 AI 安全与保险应有的关切（并不单是说 OpenAI）。此征象的原因有许多，其一是私东谈主利益和社会利益之间的错位，监管不错匡助减少这种错位。在安全等第方面达成委果的承诺和考证也存在贫窭，这进一步引发了偷工减料：东谈主们合计其他东谈主会偷工减料以取得上风，也无法详情 ground truth 是什么，或者合计他们以后会编削主意。偷工减料在许多领域都有发生，包括驻扎无益偏见和幻觉输出，以及投资留神行将发生的苦难性风险。需要明确的是，买卖引发措施中有些表率不错促进安全，但我合计假设这些引发措施就饱和了是不负职守的想法，异常是对于迷糊、新颖、分别和 / 或低概率 / 高幅度的安全风险。

我很欢娱了解公司何如能可靠地解说安全性，同期保护有价值且可能被蹂躏的学问产权。在不表露敏锐信息的情况下解说合规性的难度是达成限制契约的主要贫寒，需要改进来惩办。这个问题亦然有用国内监管的中枢。我很欢娱能与勤劳于惩办这一问题和其他相关时间 AI 治理问题的东谈主们配合。

AI 的经济影响

我合计，在改日几年（而不是几十年），东谈主工智能很可能会带来饱和的经济增长，从而使东谈主们不错温顺地提前退休，过上高法子的生涯（假设有符合的计谋来确保公谈分拨这些资产）。在此之前，可能会有一段时期，不错长途完成的任务更容易达成自动化。在短期内，我相配牵挂东谈主工智能会侵犯那些蹙迫想要工作的东谈主的契机，但我同期合计，东谈主类最终应该摒除为生涯而工作的义务，而这么作念亦然构建 AI 和 AGI 的最有劲论据之一。从永远来看，有些东谈主可能会不绝工作，但这么作念的能源可能会比以前更弱（这是否正确取决于各式文化和计谋要素）。就这件事而言，咱们在政事、文化或其他方面都还莫得作念好准备，这需要成为计谋对话的一部分。浅易地转向「后工作寰宇」有可能导致时髦停滞（参见《机器东谈主总动员》），咱们需要对此进行更多的念念考和接头。

咱们还需要对东谈主工智能的税收计谋影响进行改进分析。举例，有东谈主建议征收「机器东谈主税」，但这究竟会产生什么影响？它与计较税或 AI 升值税等比拟有何不同？咱们是否不应该作念任何专门针对 AI 的事情，而只需要闭塞到 AI 会让其他类型的税收变得愈加紧迫（举例，如果成本和劳能源的禀报出现庞杂相反）？

加快故意的 AI 哄骗

天然 AI 会带来一些平允，而且这些平允正在「自动」出现（通过许多东谈主的勤奋工作），不需要太多的政府参与或支撑，但我合计这种情况还莫得达到饱和的程度。对于从事工业工作的东谈主来说，咱们离欲望有多远是不言而谕的，而受限的 AI 教化和有限的资源又在多大程度上进攻了 AI 收益的全面普及。

我合计，即使对（简直）只专注于裁汰 AI 风险的东谈主来说，发扬商酌 AI 的故意哄骗亦然故酷爱的，因为它们可能会编削不同竞争方对共同利益的概念，从而影响他们是否倾向于给与捷径的可能性。而且故意的哄骗也可能在裁汰风险方面提供更大的容错空间（举例，通过使社会对更高档别的东谈主工智能部署或滥器具有更强的安妥智力）。

此外，在默许情况下，免费和付费 AI 功能之间的差距很可能会越来越大。也曾有一段倏地的时期，这两者之间是竣工等同的（除了次数结束），比如有段时期 4o 是最佳的付费模子，用户也不错免费使用。但阿谁期间照旧往时，很快就会成为远方的顾虑，因为各家公司都在争相为情愿支付更多用度的用户提供 test-time 计较服务。我并不是说不应该存在这么的相反，而是咱们应该三念念此后行，找到合适的均衡点，以及咱们是否可能在悄然无息中走向一个学问领有者和非领有者的寰宇。

在我看来，「AI for good」的初志是好的，但现时却服从低下，这主如果由于民间社会和政府艰巨饱和的专科时间学问，以及清雅的表率和表面基础。举例，如果能对以下问题进行更多分析就好了：哪些问题应该 / 不应该盼望阛阓提供惩办决策；对于特定问题，是应该构建定制的专用 AI 惩办决策，如故应该提高通用 AI 系统处理这些问题的智力；何时应该补贴现存时间，何时应该创造全新的时间等。

天然，也有一些令东谈主愉快的新想法和新框架被冷落来，但咱们也但愿看到围绕这些更大的问题进行更多的辩说（除了为促进特定故意哄骗而给与的一次性举措以外），咱们也但愿看到「AI for good」社区、更注重表面的群体（他们正在念念考风险敏锐型改进、「d/acc」和社会对东谈主工智能影响的安妥力等想法）以及勤劳于缩少许字畛域的群体之间进行更多的相互相同。

计较治理

与软件、数据和东谈主才比拟，计较硬件具有独有的属性，使其成为东谈主工智能计谋的一个要紧焦点：「它是可检测、可拆除、可量化的，而且是通过极其蚁集的供应链分娩出来的」。

学术文件对计较治理进行了发扬的分析，但一般都远远落伍于产业界的发展。举例，对于那些前沿东谈主工智能公司来说，比年来有一个越来越显明的趋势，即扩大推理（而不单是是检会）畛域不错达成更高的性能，但对其计谋影响的公开分析直到最近才确切运转。更平时地分拨计较智力（以及东谈主工智能的相关上风）的想法，举例通过政府为学术界提供更多的计较智力，时时都太少太迟，而且忽视了持续发展变化的寰宇中的特定问题。

我将何如保持寂然性？

我但愿这项工作在相关和建议方面是（何况被视为）寂然的，我也但愿我方是这么被看待的，尽管在实践中这么作念并梗阻易，同期保持接近东谈主工智能的 SOTA 水平。我将不绝诞素性地与对东谈主工智能有不同概念的部门斗殴，包括工业、学术界、民间社会和政府的东谈主。

OpenAI 透露情愿为这项新工作提供资金、API 额度和早期模子造访权，并向我保证不会对这项支撑进行出书前审查，我对此透露感谢。不外，商酌到接纳这些提议可能会毁伤寂然性的实践和 / 或感知，我还莫得作念出任何最终决定。我将与我的同事共同作念出决定。

原文聚会：https://milesbrundage.substack.com/p/why-im-leaving-openai-and-what-im