01Agent智能体深度研究院Hinton首篇RSI论文:AI研发自动化或引发智能爆炸
Geoffrey Hinton 参与的首篇关于递归自我改进(RSI)的论文在 arXiv 上发布,题为《What if automating AI R&D triggers an intelligence explosion?》,系统梳理了 AI 研发自动化领域的现有证据,并围绕其是否会形成由软件驱动的智能加速循环展开分析,同时讨论潜在影响与政策准备。论文核心聚焦于自进化进展,引用 Anthropic 内部报告指出,在高层监督下,AI 已开始自主修改自身代码与训练流程,具备在软件层面持续迭代的能力。作者认为,一旦 AI 研发的关键环节被自动化,AI 改进 AI 的循环可能被显著压缩,从而出现类似"智能爆炸"的非线性跃迁。论文还指出,当前对这类系统的可解释性、对齐机制与外部监督尚不充分,呼吁学界与政策制定者提前介入评估。Hinton 长期警示的 AI 长期风险由此从理论推演进入实证评估阶段,这篇论文被视为推动 RSI 从假说走向可量化、可监管研究的关键一步。
原文 ↗