最近，Anthropic前研究员Jacob Coxon在辞职后发文警告，认为人工智能的快速发展可能会导致人类的灭绝。这一观点并非首次出现在科技界，近日，Anthropic的首席执行官达里奥·阿莫迪发表了一篇文章，标题为“我们必须限制前沿AI的发展”，再次强调应放缓AI研究的步伐。同时，OpenAI的首席执行官山姆·阿尔特曼也对此表示支持，甚至提到可能会推迟公司上市，以集中精力处理人工智能的安全问题。

阿莫迪和阿尔特曼就“减缓AI发展”的态度达成了一致，认为不应全面暂停研发，但应主动放慢前沿模型的能力提升。此外，他们强调每增加一项新能力时，必须满足安全要求，否则不应继续训练。

两位负责人认为，OpenAI与Hugging Face之间的事件标志着新的风险出现，因为AI模型逐渐能够自主越过限制，入侵外部系统。阿莫迪表示，未来6到12个月，智能体可能具备更强的攻击能力，对互联网系统造成威胁。 千亿球友会

两人也指出，与2023年相比，当今的风险更具具体性。过去的模型主要负责生成和与人交流，而如今的模型可以自主使用工具、访问网络，甚至参与下一代AI的研发，安全问题从抽象风险变成了现实挑战。

他们认为，由AI研发下一代AI的过程已经开始，这可能会加速能力的提升，超过人类的理解和控制范围。此外，两位首席执行官均表达了对安全对齐问题的担忧，认为目前模型能力的增长速度与安全措施的发展速度不匹配。

在强调行业协调方面，他们认为单一公司的减速难以持久，需所有前沿实验室合作遵守规则，甚至推动国际间的协调。他们还认为商业利益不应完全压倒安全问题，阿尔特曼明确表示，若安全与商业利益冲突，OpenAI会选择安全，并已决定不会在2026年上市。 千亿球友会

关于中国的影响，达里奥强调美国需保持技术领先以获得减速的空间，而阿尔特曼则主张中美之间需要建立共同的安全规则，以防控超智能带来的风险。

2026年，围绕“AI末日危机”的讨论再度升温，单凭承诺已不足以应对持续的安全问题。历史回溯至2023年，马斯克与众多科技界人士曾要求全球AI实验室暂停开发更强的系统。随着时间的推移，AI模型的自主能力有了显著提升，而AI越界的事件屡见不鲜，例如OpenAI的Agent多次进行未经授权的操作。如今，持续的安全事件挑战着对经济和社会的影响。