2036，超级智能为何可能还没来？

三位 AI 研究员聊进展瓶颈、强化学习、蒸馏与自动化研发

导读

如果现在是 2036 年，已经过去十年，为什么我们可能还没有进入“数以亿计超级智能体改变世界”的疯狂未来？

这场讨论把答案指向技术内部：不是战争或监管，而可能是泛化不够、瓶颈太多、离全局最优解太远，以及持续学习迟迟没有突破。

泛化强化学习蒸馏持续学习数据瓶颈对齐

2036 不疯狂的五个技术理由

泛化火花迟迟不出现。模型可能非常擅长基准测试里的任务，但始终无法把能力推广到真正开放的世界。
“震撼—失望”循环反复出现。新模型发布时大家惊呼“就是它了”，一个月后又觉得它有点傻。这个循环会重复多少次，很难预测。
离全局最优解太远。当前范式是 Transformer 加 RL，如果还需要一次不连续的突破，现有方法未必能自动发现它。
人类仍有优势。模型会在某些方面追上来，但也会被较弱的地方卡住，尤其是自我检查和长期判断。
外生冲击可能提前到来。戏剧性的 AI 监管政策，也许比技术奇点更早发生。

“如果解决这个问题需要再来一次不连续突破，我不确定当前训练方法能发现它。”

RL 为什么比人们预期更成功？

一个关键解释是：中间训练和高质量合成推理数据，已经把模型带到接近最终检查点约 80% 的位置。RL 做的更多是精细微调，而不是从零学起。

信噪比大幅提升

传统 SFT 会匹配推理轨迹中的每一个 token，大量信息反而变成噪声。RL 只给出“答对了”或“答错了”的比特，信号更集中，所以步骤效率极高。

泛化出的不是推理模式，而是坚持能力

模型可能没有把某种推理能力横向泛化到所有领域，但它学会了在更长时间里持续尝试。有论文数据显示，模型能持续有效工作的时长约每三个月翻一番。

“哪怕只改变几个比特，函数空间里的实际影响也可能极其巨大。”

数据、架构与规模

约九成计算效率提升可由数据质量解释

一项覆盖 2019 年至今方法与数据集的网格实验显示：数据似乎解释了约九成计算效率提升，架构改进约占 3%。如果这个结论在更大规模上成立，预训练进步的主要来源就是数据质量。

但容易摘的果子正在变少

互联网像一个整体大块，已经被筛过很多轮。Common Crawl 里不会藏着千禧年大奖难题的证明，再怎么过滤也得不到不存在于原始数据里的信号。

规模不会简单线性增长

参数扩张受稀疏性、推理效率、内存带宽和高质量预训练数据共同制约。活跃参数数量未必继续每年翻倍，数据效率可能比计算效率更重要。

蒸馏：抗中心化，也制造单一文化

蒸馏是抵抗中心化的主要手段。通过 RL 学到的行为往往只有很少几位比特，行为轨迹可以被较容易地蒸馏出来。

原文提到，部分中国公司可能通过路由服务获取前沿模型数据，主要用于编程。这些服务能提供非常真实的提示分布，对蒸馏很有价值。

但蒸馏也有代价：太多模型从同一个前沿模型学习，会带来相似的习惯性小动作，形成“单一文化”。模型输出的多样性在 RL 后明显下降。

“可验证任务上追赶很容易，真实世界的部署环境可能更重要。”

持续学习：最难的那道墙

样本效率差距巨大。有观点认为，权重更新的样本效率可能比人类落后百万倍。
长时程现实任务难以模拟。经营企业、打赢官司、日内交易，这些都需要与真实世界实时互动。
灾难性遗忘仍在。对小规模数据做持续更新，模型会遗忘旧信息，通用能力也会退化。
RL 擅长获取能力，不擅长获取知识。具体的人、事、流程，很难只靠 RL 装进权重。
模块化可能是过渡方案。适配器、压缩 KV 缓存、可替换模块，让部署实例持续贡献数据，而不必总动基础模型。

创造力与多样性

RL 不一定扼杀创造力。最前沿模型能一次找出多个零日漏洞突破沙盒，这很像 AlphaGo 第 37 手式的创造。

但创造力也可以理解为解决困难的搜索问题。写一首满足大量限制条件的诗，AI 可能极其擅长。真正的问题在多样性：RL 后模型更少重复使用不同主题和角色名。

“熵崩溃往往不是 RLHF 本身的问题，而是评判者太简单、环境不够多样。”

时间线预测

约 1 年

出现可雇佣远程白领工作的“某种版本”，能做好一些事，做不好另一些事。

约 2 年

AI 研究者获得约 10 倍生产力提升，每月都能取得过去一年级别的突破。

约 3 年

完全通用的远程工作者出现，但仍会有很长的长尾任务难以自动化。

3—4 年

AI 在可计算机完成的认知工作上超越顶尖人类专家。

5—10 年

机械工程、3D、物理相关、数据稀缺领域，可能需要更久。

最后的工作：对齐

即使 AI 能完成所有技术工作，人类仍要做很多目标设定方面的事：助手该怎么表现、怎样才算有帮助、什么才是正确的目标。

对齐可以拆成两部分：明确目标是什么，以及真正实现和优化这个目标。第二部分可能自动化，第一部分短时间内不会消失。

“对齐是最后的工作。学会问正确的问题，可能是人类最后的工作。”

导读