Anthropic早期员工正购买偏远土地,以应对"AI末日"

　　“Things will never be chill again.”在 Anthropic，一些员工把这句话贴在电脑上。

　　直译是“一切再也不会平静了”，更准确地理解则是，如果你真的相信 AI 可能失控，人类就很难再像过去一样轻松地看待技术进步。

　　9月27日，《华尔街日报》发表长篇报道，试图追溯 Anthropic 强烈 AI 安全文化背后的历史：它并不是 ChatGPT 爆发之后才突然形成的，而是与一个已经存在十多年的思想网络有关——

　　有效利他主义(Effective Altruism，EA)，以及围绕 AI 生存性风险形成的“末日论”群体。

　　WSJ 报道称，在伯克利一栋办公楼里的 Constellation，长期聚集着一批 AI safety 研究人员。他们讨论的并不是普通意义上的 AI 风险，而是一个更加极端的问题：如果未来出现比人类更强大的 AI，它是否可能最终摆脱人类控制，甚至导致人类灭绝?

　　其中一些人已经讨论了如何应对最坏情况，包括购买偏远土地、储备碘片，以及建设能够躲避电磁脉冲的地下设施。

　　WSJ 还提到，2022 年一次相关活动的酒水菜单上甚至出现过一个名为“Death With Dignity”的鸡尾酒。

　　Anthropic 2021年成立时，就把“更可靠、更可控的 AI”作为核心研究目标。

　　公司当年宣布完成1.24亿美元 A 轮融资，由 Skype 联合创始人 Jaan Tallinn 领投;Anthropic 当时明确表示，将重点研究大型 AI 模型的可靠性、可解释性以及更紧密的人类反馈机制。

　　Tallinn 本身就是有效利他主义和生存性风险研究领域的重要资助者。2018年，他在 Effective Altruism Global 的一次公开访谈中谈到，过去几年 AI safety 已经从一个很难公开讨论的话题，逐渐进入主流讨论范围，但他依然担心“我们到底还有多少时间”这个问题。

　　这也是理解 Anthropic 的一个关键背景。

　　有效利他主义最初讨论的问题并不是 AI，而是一个更宽泛的问题：如果一个人的资源有限，怎样才能用最有效的方式帮助更多人?

　　但当这种思路被延伸到未来，人们开始讨论所谓的“生存性风险”——那些虽然概率可能不高，但一旦发生就会造成文明级甚至人类灭绝级后果的事件。

　　这套思想与后来 Anthropic 的安全文化发生了深度交集。

　　最著名的资金纽带之一，就是 Sam Bankman-Fried，也就是后来倒闭的加密货币交易所 FTX 创始人。

　　Bankman-Fried 是有效利他主义的重要支持者之一。2022年 FTX 破产之前，其相关实体向 Anthropic 投资了约5亿美元。

　　Reuters后来报道，FTX当时持有 Anthropic 约7.84%的股份;这部分股份最终成为 FTX 破产资产的一部分，并被出售用于偿还债权人。

　　但资金关系并不是全部。

　　WSJ 报道称，FTX 当年的慈善和投资网络，与 AI safety 社群之间存在大量人员和思想上的交叉。Bankman-Fried 及其周围的人不仅关注全球贫困、公共卫生等传统 EA 议题，也把“人类文明可能遭遇极端风险”视为需要提前准备的问题。

　　这其中有一个后来颇受关注的案例。

　　FTX 相关文件披露的一份备忘录曾讨论购买太平洋岛国瑙鲁，并在那里建设一个能够应对极端全球灾难的避难设施。这个方案后来随着 FTX 破产相关法律程序进入公众视野。

　　FTX 最终崩溃，Bankman-Fried 被判刑，FTX 持有的 Anthropic 股份也被出售。

　　但一个有意思的地方在于，FTX 消失了，EA 对 AI safety 的影响却没有随之消失。

　　Anthropic 仍然继续把 AI safety 放在公司核心位置;与此同时，围绕 AI 是否可能失控的研究也继续进行。

　　这也是为什么，今年9月 Jacob Coxon 从 Anthropic 离职，会再次把这条已经存在多年的思想链条推到公众面前。

　　9月8日，曾在 OpenAI 和 Anthropic 从事预训练研究的 Coxon 宣布辞职，并公开指责两家公司正在向“自我改进的超级智能”竞速。

　　他说，行业内部很多人真心认为 AI 可能在本世纪20年代结束之前造成灾难。

　　Wired随后采访 Coxon，他表示自己认为未来一两年可能是“人类的关键时期”。

　　更引人注意的是，Anthropic 自己的 alignment 研究人员 Evan Hubinger 随后公开回应称，他个人认为未来十年 AI 导致人类灭绝的概率超过10%。

　　因此，今天围绕 Anthropic 的争论，并不只是“公司内部有人害怕 AI”。

　　更准确地说，过去十多年形成的一套思想——有效利他主义、生存性风险、AI alignment，以及对超级智能失控的担忧——已经深度进入了 Anthropic 的组织文化和研究议程。

　　这也解释了一个看似矛盾的现象，Anthropic 一方面是全球最积极推动前沿 AI 的公司之一，另一方面，它内部又聚集着一批非常认真相信 AI 可能造成文明级灾难的人。

　　所以，“Things will never be chill again”背后，代表的是一条已经持续十多年的思想路线：有人开始相信，AI 最值得担心的不是它今天会不会犯错，而是有一天，它会不会强大到人类再也无法纠正它。

　　而 Anthropic，恰恰是这套思想从小众 AI safety 社群走向主流 AI 工业体系的一个重要载体，也是近来 AI 末日论一系列舆情的关键性内在原因之一。