2036，超级智能为何可能还没来？

2036 年 AI 未来、递归自我改进与研究自动化对话笔记

这场对话的核心结论是：如果 2036 年没有出现“疯狂的外星人超级智能世界”，最可能的技术原因不是单一算力不足，而是泛化、研究品味、持续学习、样本效率、sim-to-real、数据信号与目标对齐等瓶颈，使进展表现为伴随震撼、平台期和长尾的长周期过程。

一、对话背景与核心问题

• 对话发生在主持人与三位 AI 研究员朋友之间：
• Barn Millage：Zipha 首席技术官，公司正在开发开源模型。
• 约翰·舒尔曼：Thinking Machines 首席科学家，之前是 OpenAI 联合创始人，领导了导致 ChatGPT 诞生的那项工作。
• 查理·奥尼尔：Base Ten 的模型训练主管。
• 开场假设：现在是 2036 年，已经过去十年。没有出现数以亿计的、到处都是超级智能体并从根本上改变世界的东西。
• 主持人的问题：除了政治冲击、战争、禁止 AI 等外生性因素，最有可能的技术原因是什么？为什么 2036 年可能不是“疯狂的外星人超级智能世界”？

二、为什么 2036 可能仍不是超级智能世界

1. “马尔克斯悖论”式循环与泛化火花缺失

• 一个经典模式是：AI 如果能解决热门难题、赢宝箱，看起来会非常了不起；但随后影响又没有那么大。
• 如果这种情况持续，AI 可能永远无法产生真正关于泛化的火花，只擅长人们放进基准测试和环境里的任务，并持续存在类似 sym to wheel 的问题，阻碍一切。
• 但说话者认为这有点不太可能，因为从已有的 ELAND 实践中已经看到泛化能力。
• 如果元学习的泛化难到离谱，而且容器学习问题没有解决，那么这会是默认设想。

2. 人类优势、模型瓶颈与“新模型震撼循环”

• 人类比现在模型有很多优势。每次新模型出来，它会在某些方面迎头赶上，但人还是会被模型较弱的地方卡住瓶颈。
• 模型的最糟糕判断、自我检查能力不足。
• 出现一个重复循环：
• 新模型发布，所有人被震撼。
• 人们惊呼“就是它了，这就是那个 gi”。
• 用一段时间后，过一个月开始觉得这玩意儿有点傻，或者差不多。
• 这个循环可能持续，很难预测重复多少次。
• 能力方面不会爆发式增长，因为研究和工程仍有大量瓶颈。
• 即使模型能写的代码比人多得多，也不会让效率提高一百倍。
• 关键问题：离这个学习器的全局最优解到底有多远？当前可以在一个芯片上实现的方案，基本就是 Transformer 加上 RL。

3. 递归自我改进快速腾飞的条件

• 人们想象：一旦有一个智能体在 AI 研究方面比所有人类都强，哪怕只强 0.1%，而且能并行运行成千上万甚至数百万个任务，还能让它们跑得更快，那么芯片提速会盖过所有其他瓶颈。
• 最终会突然迎来一个由递归式改进带来的、非常快速的腾飞阶段。
• 如果沿着当前范式继续发展——基本像用自注意力机制来扩展强化学习环境——是否足够？
• 摩尔定律类比：
• 有一条非常漂亮、笔直的线，持续了相当长时间。
• 但其中也发生了许多离散的、不连续的突破和创新，才能延续扩展规律。
• 大语言模型也类似：
• 之前有预训练扩展定律。
• 后来遇到收益递减。
• 然后搞出 RL，把问题解决，出现新的收益递减曲线，让它继续保持像直线上升。
• 如果解决当前口语环境问题需要再来一次那样的不连续性，那么不确定当前训练方法，即使像 RL 那样针对特定目标的环境，能否发现这种不连续性。
• 如果没有发现，很可能就会遇到曲线或平台。
• 需要区分一种不连续性：回到当前范式，是累积效应，意味着 RL 之外还有需要发现的东西。
• 也可能他们能把点连成一条直线。
• 关键仍是：离全局最优解到底有多远？是否得回头推翻重来，比如梯度下降和神经网络这类东西。
• 说话者认为，如果继续扩展当前范式和 LM，不管运行多少个 LM，它们都必然离得太远，无法发现某些东西。
• 唯一希望真的就是深度学习？它没法把我们带到真正 AI？这至少意味着能够主宰人类研究和人类发展，包括人类提出新范式的能力。
• 也可能人类永远无法发现接下来的学习和架构。但它们是否会拓展人类疆域，最终会发现。
• 如果只看 2012 年到现在取得的进展，并继续这样发展，那么它最终没能发展到支配人类研发，会很奇怪，尤其在未来几年。

三、象棋 ELO、经济影响与对齐窗口

• Ryan Green BB 最近做客播客，提出：随着 ADS 发展、获得更多、变得更强、在模拟方面取得进展，不仅激励人们在 AI 研发上做得更好，也激励整个科学领域。所有实验室和很多初创公司都在瞄准这个方向。
• 象棋选手的 ELO 评分类比：
• 从八十年代开始，ELO 评分随时间呈非常线性的增长。
• 但存在一个巨大断层：当跨越人类专家水平范围时，AI 总是能赢人类专家。
• 不是线性增长那样战胜 AI，而是指数级增长。
• 到目前为止，AI 能力对世界经济最终影响还没那么大，是因为它们相对人类的水平在缓慢提升。
• 要避免快速起飞，唯一办法可能是：在跨越类似人类黄线分数之前，自动触发某种东西，先问他们。这是唯一办法。
• 另一种可能：出现某种戏剧性的、针对 AI 的监管政策。说话者认为这大概是最有可能发生的情况之一，而且真有可能发生，而不是技术层面的问题。

四、研究类型、目标明确性与“提出正确问题”

1. 目标明确的研究 vs 开放式科学

• 研究分很多种：
• 有一种像 Order Research Star 那样，目标已经非常明确，你就是在优化那个目标。
• 大家想象的是沿当前路继续：让预训练损失降下来，让环境变得更好，让指标上升，带来进步。
• 但 Ryan 所谈论的可能是更开放式的科学，而这是范式转变所必需的。
• 在无法明确目标的情况下，AI 肯定无法自己设定目标。必须非常小心地为它设定的任何目标。

2. 2012 年以来的突破与内层循环

• 一个重大突破是意识到下一个 token 预测、纳米级、纳米 GT 速度、运行效率才是需要优化的关键，大约在 2014 年。
• 现在来到新范式：不会想到在那上面搞速通，而模型在这方面变得很擅长。
• 但也许还有下一个更内层的循环可以优化，而这是 AI 无法预见的。
• 还有外层循环，比如营收方面，或者某个最终应该会变得很强劲的东西。但这是非常缓慢的外循环。
• 约翰回忆 OpenAI 早期直觉：最小化对数损失并不能让你获得智能。因为重要部分在损失中只占很小很小的一部分，会被噪音淹没。
• 训练一个基于下一个 token 预测的语言模型，学不会你想要它学的那些有趣东西。
• 所以需要制定更好的目标，把重点更多放在重要事情上。
• 人类可能也不会学习建模环境中的所有事物，大多数人都无法创建一个照片级逼真的、再现曾见过的场景。
• 所以肯定必须有更好的目标。但后来发现，它就是奏效了。
• 后训练基准测试并不一定意味着用户会喜欢。

3. 泛化：最重要进步往往来自没权利期望的泛化

• 整个领域都很依赖泛化能力，很难预测什么时候能实现泛化，或者什么时候能获得某种分布外泛化能力。
• 如果在关心的任务上训练，表现会更好。
• 但最重要的进步往往恰恰相反，是那些没有权利去期望的泛化类型。
• 例子：
• 只是做非常朴素的下一个 token 预测预训练，用于各种感兴趣任务。
• 这些任务需要对输入有某种深层次理解，或者从预训练中学到某种非常罕见、占比不高的技能。
• 从可验证任务推广到较难验证的任务，也是一种泛化，先验上没有理由期待它会发生。

4. 研究自动化的思想实验

• 可以有一个思想实验：AI 劳动力投入等量计算资源，相当于自动化的自己花上一个世纪。
• 最优实验方案是什么？
• 是否喜欢小规模消融实验，发展出字面意义上不是几个世纪的理论？
• 在研究之前，比如深度学习里，决定做什么实验之前，就要做到极致优化，比如实验搭建。
• 实验结束后，还要进行长达一个世纪的思考，分析发生了什么以及下一步该做什么实验。
• 如果足够用心，可能本来可以预料到其中一些事情。比如用非常聪明的方法做小规模实验，构建理论，再推广到大规模实验。
• 说话者期待：我们远远没有达到做研究的上限。
• 可以想象未来 AI 做很多分析和理论构建，投入与实验本身相当的成本，围绕它构建理论。
• 具体例子：当目标被明确定义时，AI 可以加速。
• 比如让 AI 考虑卡普兰的 scaling walls 问题，它会发现他们只是取了中间检查点，没考虑退火处理之类，所以不对。这样能提前好几年发现问题，可能一两年内取得进展。
• 一旦目标明确，比如降低预训练损失，就有很多例子：减少 NP 类问题工作量、学习率如何随模型规模变化、模型宽度也很重要。
• 可以反推出很多东西，砍掉很多低垂果实，估计能有十倍速度提升，如果目标只是最大化当前目标函数。
• 但完全看不出这怎么推广到其他情况。
• 关键反对意见：光靠想，一开始也不一定能想到正确的反对意见。

5. 自我排斥自动化循环与长期偏差

• 快速发展的技术关键问题：AI 能否很好地泛化，也就是学习这些目标和任务的能力。
• 因为它会有某种自我排斥的自动化循环：
• 需要 AI 提出目标。
• 对它们进行优化。
• 想办法搞定。
• 提出新目标。
• 并确保它在很长一段时间内，任何时候都不会出现大的偏差。
• 回到更多 vex 产品的话题：可能出现更多 vex 产品，也就是自主性和自我封闭状态。
• 这样我们可以想想自己该做些什么，然后去干，并让循环变得简单。
• 人类一直这么做。进化总是需要创造出能够独立生存的生物。
• 对 AI 来说真的很难，没有骚操作的东西真的很难。
• 但数学就超级简单，只是管道变得超级快。
• 时间跨度变长是否意味着应该……？没有明显证据支持。事实上，智能体并不是特别有恒心的类型，做起来还挺容易。这有点反证，但可能是无法立刻腾飞的原因之一：这事儿太难了。

6. 人类最后的角色：提出正确问题与决定目标

• 从 2012 年回顾到现在，所有创新，包括纯工程类和纯概念性的，最后剩下的事情，在人工智能彻底实现研发自动化之前，人类必须做些什么？
• 可能就是不断提出正确的问题。
• AI 可以去做任何实验，但问题是，你得决定要做什么实验。
• 现在觉得 AI 在这方面还不太行，比起复现实验来说。
• 例子：
• DeepMind 的方法是“通过学习玩游戏来解决智能问题”，达到人类水平。
• 某个随机研究员 Bradford 的思路是：尝试预测非常广泛的数据集的下一个 token。
• 即使拉德福德发现了这一点，过了一段时间人们才开始大量使用攀爬，因为得先有翻墙概念，而且还能非常可靠地预测这些事情。
• 人类能扮演的最持久角色，是去对抗那个目标，以及决定我们真正想要的是什么。
• 类似地，在决定 AI 是什么样的、助手应该怎么表现、怎样才算有帮助时，目标是什么。
• 很多工作都基于人类反馈，这就是其中之一。定义宪法和模型规范也是另一个例子。
• 即使 AI 能完成所有技术性工作，我们还是得做很多这方面工作，并决定我们到底想要什么。
• “对齐是最后的工作。”对齐某种程度上就是答案。
• 但 alignment 本身又可以被分解成：
• 明确目标的具体内容，或者搞清楚什么才是正确的目标。
• 真正去实现或优化这个目标。
• 第一个短时间内不会消失。
• 想象一个训练后的团队，为什么需要很多人？因为有很多不同地方需要自己搞清楚，比如模型应该怎么表现。
• 实现全流程自动化会非常困难，因为总得有人去思考模型在这个领域应该如何表现。

五、中心化、蒸馏与数据飞轮

1. 蒸馏是抵抗中心化的主要手段

• 模型提供商并没有出现大规模整合。太多迹象表明这里会走向中心化，但也未必。
• 蒸馏是抵抗中心化力量的主要手段。
• 基本上任何可以通过 RL 学到的东西，都可以非常轻松地被提炼出来，因为它只有很少几位比特。从少量数据中就能学到。
• 如果你能获取到从模型轨迹中展现出的行为，你可以很容易把它蒸馏出来。
• 另一个手段：公司特定模型从部署中学习，让一家公司持续改进自己的模型。这样的系统可以由目前模型提供商的寡头垄断集团提供，也可以由目前规模较小的公司提供。
• 持续学习不会阻止蒸馏：即使模型每天都在改进，人们也可以每天对它进行提炼。两个循环可以同步进行。

2. 蒸馏并不简单：提示分布极重要

• 对于只是蒸馏，用监督学习，提示的分布极其重要。
• 要蒸馏出一个模型其实非常不简单，即使能完全访问它，并且能够截断它的思维链。
• 需要用它想要的东西去 prompt 这个模型，用真实的提示词，需要非常广泛的、真实的提示词分布。
• 最近出现的情况：一些中国公司可能正在使用路由服务，让中国境内的人能够使用美国前沿模型。
• 这些服务在中国原本无法使用，但各种路由器或代理服务让中国境内的人也能使用这些模型，主要用于编程。
• 这些路由器服务正在收集并出售部分数据。这像是一个非常有用的数据集，用于蒸馏，因为它能给你一个完美的提示分布。

3. 合成提示、环境搭建与 RSI 循环

• AI 能帮上大忙的地方之一：如果看前沿流程，比如论文里提到的中国模型，很多都是人类参与。
• 他们从某个地方搞到种子提示词，也就是人类、这类数据。
• 然后基于这些种子提示，合成出覆盖面极广的内容，利用现有模型或其他前沿模型。
• 可以把其中很大一部分自动化：提示词的分发和收集、环境搭建等。人类需要提供的比特信息越来越少。
• 服务有用户在使用，用户说“给我做个这样的应用”，没起作用，其实想让你做一个新功能。退一步说，做另一件事来捕获整个追踪过程才是关键。
• 如果有一个完全自动化的循环，这基本上就是 RSI：AI 在决定数据，在决定训练内容。
• 但这取决于需要多少人工信息。给模型一个提示，模型能想出相当不错的近似结果。但如果你想从头预测很复杂的东西，比如一场参议院大厅讨论会，那就难。
• 对于蒸馏模型，在 Frontier Labs 里会更简单。因为蒸馏过程像“我要塑造一个优秀的政治家”，他们会去找前沿模型。前沿模型已经知道怎么当好一个政客，直接生成轨迹。
• 如果要真正打造第一个能做到这一点的模型，就得想办法获取数据，像政客们每天都在做的那样，然后把它做出来。
• 更简单的方式是说“我想要个这样的东西”，然后让 AI 生成十亿种变体，这比真正去创造这个东西容易。

4. 开源、前沿实验室与“更差模型”的怪象

• 一个具体预测：中国模型有路由器数据。
• 有人觉得奇怪：Sonnet 5 和 Opus 5 怎么就几乎在客观上比 Jaum 5.3、Kimi K3 之类的模型还要差，尽管它们不仅接触过知识蒸馏，还有来自 Mythos 的逻辑蒸馏。
• 应对策略：提示词分布真的很重要。你得知道自己正在做什么，才能提炼出这些行为和特点。
• 由此得出的预测是，前沿实验室不一定有太大优势，如果现在是在开源环境下。
• 用户分布会影响整体行为模式。但衡量一个能力的最佳标准，恰恰是在最前沿打造的那些极其困难的口语环境。
• 如果像 Anthropic 一样能接触到前沿、极具挑战性的环境，并且能用逻辑蒸馏，结果还是做出了更差的模型，那也许真实世界的部署比环境更重要。
• 但他们首先得在前沿模型里激励这些能力发展，而现在又无法再次激励这些能力，这很奇怪。
• 或者也许我们处在奇怪的 Kiny Valley，过度模仿前沿模型，学生和技术之间差距太大。
• 提到 Opus 4 和 Opus 6 之间的区别。Opus 5 感觉像有个 AI 法官在检查每一种可能性，所以消耗很多 tokens。它试图思考所有事情，但不一定具备大模型那种“闻到一丝风声就知道什么时候该别这么干了”的直觉，或者知道什么时候是下底传中的好时机。

5. 环境维度：难度与真实感

• 可以创建不同维度的环境：
• 难度：创建很多高难度环境相对容易，比如完成更复杂任务、做需要更多智慧的事情。很多著名基准只需解决非常难的谜题或任务，容易验证。
• 真实感：希望模型在现实代码代理场景中表现良好，需要和人类进行多轮来回交互，还有多个目标。
• 第一次塑造模型行为的实验室需要从两个方向同时发力：真实感，以及像评分标准或某种能够提供信息的人类反馈、奖励函数。
• 如果天真地做知识蒸馏，最终只会匹配教师模型在验证集上的最大似然分布。
• 如果没有足够环境真正考验这些能力，比如 tricky 或 realistic 场景，就无法把这些东西放进学生模型。
• 大模型可能从 tricky、狭窄任务更好地泛化到更贴近现实的任务。
• 如果有非常好的写实风格提示分布用于蒸馏，可以匹配，大模型效果会非常好。
• 但如果只有易于验证任务的分布，就能在所有基准测试上赶上大模型，却在更广泛分布上表现更差。
• 这甚至可以解释较小 Anthropic 模型的某些方面，比如 Sonnet 5。不过很难准确预测他们用了哪些后训练方法，也可能他们不断改变后训练过程，在某些模型上出了小差错，或者某些参数调得太高，导致出现怪癖。
• 后训练某个环节真的很容易搞砸，以至于在基准测试中体现不出来。
• 前沿 AI 应用都从数据公司购买数据，中国人也可以直接买同样数据，也可以提炼。要跟上节奏其实挺容易。

六、自动化研发、模拟环境与持续学习

1. 首批自动化研发模型如何训练

• 有一个玩具版：有 GPT-aid，尝试构建 GPT-3 规模模型，让它们特别擅长处理内循环类型任务，攻克需要内在学习能力的电子游戏挑战，或者用最少计算达到特定损失值。
• 约翰认为那不一定正确，但实践中确实会发生。
• 可能采用某种结合人类反馈进行学习的方式，吸收研究人员的偏好。
• 创造大量练习环境，其中涉及多步骤研究项目。
• 每次迭代打补丁，也就是上一轮迭代中看起来最出问题的地方。
• 研究人员会大量使用这个 AI，然后发现它们存在一些一致的弱点。这些问题要么通过收集人类反馈来修复，要么创建环境。
• 极限情况：给智能体一个 GPU 和神经网络，说“想办法训练一个能完成这个特定任务的模型”。
• 当前工作原理是走到谱系最边缘，比如 Anthropic 成立，过去几个月的训练被固化在环境中。需要训练才能在 frontier 上表现更好，所以会锁定在 longue 之前的所有历史记录上。
• 可以想象回滚到比如 GLPO 或其他之前，然后还有环境，试着让它发现最好的形式用于 RL。
• 模型在运行，可能越回滚越远。
• 计算能力成为瓶颈，导致大家只能一直停留在技术前沿，解决 bug，以及自上一个模型版本以来的改进点。
• 把这些训练环境用于在模型迭代之间获取非陈旧的、新鲜的数据特别有帮助。这基本上就是 AI 内部的持续学习。
• 大量将过去三个月的 AI 研究成果，通过环境以及像 Relicift 这类东西，重新注入模型本身。
• 这确实是在进行提炼。这可能就是为什么有些人觉得用 Assoic 像总是处于一种想赶上过去三个月进展的状态，而这份进步当然也由 as 贡献。
• 但它仍然需要人类参与其中。感觉就像不断地、一点点地接近人类研究人员正在发现和能够做到的事情。

2. 环境可以超出人类水平

• 当然，仍然不像轨迹那样永远无法到达，但环境可以远远超出人类能做到的程度。
• 很容易设计出人类无法解决的环境，但 AI 仍然可以尝试去解决它。这就会成为一条超越人类所能达到水平的路径。
• AI 研究尤其容易定义，像黄金一样。可以说最后一个得是 1.3 或什么，人类根本达不到。这是极其可衡量、可验证的任务。
• 构建一个一亿参数的模型玩 Minecraft 可能太简单，得是更复杂的游戏。一亿个模型在讨论 Minecraft，这事儿不疯狂吗？我们会说这也太简单了。图片可能得花五年。
• 很多研究并不完全是明确目标上的爬山搜索。它更像是：
• 我们有一个关于模型在某些方面应该更好的直觉。
• 有一个算法思路似乎朝这个方向努力。
• 设计一个专门为这种方法展现生命力的任务。
• 看看能不能得到一些生命迹象。
• 如果做到了，再逐步创建更贴近现实的任务版本。
• 内层循环是为了引出或验证那个直觉，而不是测试本身带来洞察。
• 不是直接优化最终关心的目标或实际生产应用目标，而是稍微放宽目标，在写实度轴上稍微放松，尝试一些确实有效的方法，等成熟后再回归现实主义。
• 还有一些研究更侧重解释事物，发展理论或类似的东西。机器学习领域通常没有非常预测性的数学理论，但有很多关于正在发生什么的非正式理论。
• 模型会被训练成所有这些任务的某种组合。有些任务非常容易验证；有些则是 LM 是裁判，或者直接问人类。
• 看起来不太合理。然后会遇到瓶颈。希望这些方法能泛化到更难的、更模糊的任务。它是否足够泛化，以至于没有人类参与，循环可能会变成一种自我设限？是否需要人类参与这个循环？不太清楚。

3. 未来计划：数百万环境 LVR 与即插即用远程工作者

• 一个可能计划：规模化扩展，在数百万个多样化环境中进行 LVR 训练，跨越数百种不同领域。
• 最终涌现出一个智能体，它已经学会诸如坚持不懈之类的基本技能，能够根据上下文对信息进行分类处理，最终实现与其他智能体协作的集成与优化。
• 这样的智能体在上下文中将具有非常高的样本效率。
• 研究过如何在实际中扩展上下文规模，学会让它变得任意长，但不断把它扩大规模。
• 最终结果会不会成为一个基本上能像即插即用的远程工作者一样运作的东西，在或一周、一个月时间里工作？
• 首先，确实同意这就是各大实验室正在下的赌注。
• 其次，这样够吗？仅仅通过学习如何在模拟环境中进行学习，在数据中心内部，然后部署到现实世界，但并不是真正从现实世界的部署中学习，只是从数据中心里的模拟环境学习中间技能。
• 很难区分实验室努力有多少放在直接产生投资回报，和打造通用智能模型之间。他们可以继续部署产品来获取收入，从而为下一次大规模训练提供资金。
• Anthropic 系列环境是明显例子：
• 首先只专注编码，变得非常擅长。
• 然后从编码中获得任务视野，这可能是最容易上手的，因为从可用数据角度，利用互联网来创建自己的环境，把内部东西转化成环境。
• 然后泛化。
• 接下来进军金融领域，有巨量 Excel 数据。
• 然后 PPT，这像一部漫长的关于工作经济的叙事史。
• 这样做似乎效果真的很好。其他很多实验室，甚至开源实验室，也意识到那才是正确做法。
• 但 implications 是什么？如果真的指望模型像人类一样在工作中学习，为什么还要试图把 PowerPoint 等技能硬编码进去？不就会期望模型在被部署时自己学会吗？
• 解释一：这是我们预计模型很快就会整合在一起的地方，但它们还没到位。那为什么不宣传这些技能，融入模型训练？
• 解释二：我们并没有专注让它特别擅长被广泛部署的工作。我们只想让它特别擅长 RSI，而这只是获取收入的一种途径，反馈到模型里。一旦奇点发生，最终出来的东西会在所有事情上表现出色，而这些对当前一代模型来说是瓶颈。
• 如果模型在上下文中学习的能力足够强，理论上就不需要用金融领域数据来训练它们，它们能自己读遍所有书现学现用，想办法在适当司法辖区处理事务。
• 但很多特定领域训练只是为了让它们更高效。即使足够聪明能随机应变，也可能会做一堆强化学习，把直觉烘焙到权重里，这样运行时更高效。
• 模型提供商逐个领域强化最有价值领域中的模型。模型变得厉害，因为覆盖了很多高价值领域和最常见技能类型。
• 同时做这两件事也没那么贵，因为模型体量都很大，参数量完全负担得起去学习所有东西。
• 很可能存在一定迁移学习能力。即使金融不是特别相关领域，这些信息对风险投资很重要。通用的元学习，比如如何搞清楚什么是重要的、如何培养品味、如何做长期主义工作，可能是通用能力，也没那么多。
• 现实世界中的数据生成起来有点困难，需要付出很多努力。如果能对其他数据进行一定推广，得到可迁移格式，又有大量计算资源和庞大参数空间，为什么不也这么做？
• 商业上最直接的是卖一个说得通的模型。

4. Sim2Real 是否永远主导

• 当前范式做从模拟到现实的迁移，是否会永远占据主导？
• 基本流程：看现实世界任务是什么样，尝试创建一堆可以被模拟的环境，在数据中心里，然后做强化学习。
• 这已经非常成功，但也有很多弱点，因为很多东西很难模拟，尤其当涉及互动和一大群人实时互动。
• 样本效率有点低。目前需要成千上万次与人类的互动。没有哪个真人会坐在那儿处理这种事，基本就是进入 IAL 训练循环。所以现在得模拟那种情况，才能拿到需要的样本。
• 如果从财务角度来说样本，会改善很多。你会期望学习如何部署应用，成为其中更重要的一部分。
• 也可以做别的事情，比如学习离策略。这样你可以获取所有轨迹，即使不重新模拟所有东西，也有可能从中学习。
• 有 50% 计算机资源花在推理上，这并不能直接帮助模型变得更好。
• 数字思维可能拥有的关键优势：一个模型可以通过它的所有实例获得五十年真实世界经验，甚至数百万年的部署经验，覆盖经济中所有具有经济相关性的工作。
• 眼下这些数据在某种意义上还远远不够帮助模型变得更好。但很明显，最终模型应该能够从这些数据中学习。
• 一旦做到，就会得到一种广泛部署的智能爆炸感觉，因为模型在吸收如此多的信息，遍布所有已部署实例。
• 蜂群意识何时开始？广义上，非常基础层面已经在发生：在下一代模型里，可以拿部署后的数据，放到未来模型的预训练和进一步训练中，尤其是做过滤、判断、标注，或最近对它的综合处理。
• 这能解释相当大一部分一代又一代进步。
• 实验室理论上声称不会在人们的数据上训练，但中国公司百分之百会这么做，而且在部署应用时绝对能获得这种优势。
• 这基本上就是蒸馏：从其他模型中提取东西，猜测自己的一些部署数据，通过向模型发送请求获取其中一部分数据，再用这些数据训练下一代模型，然后突然也能在自己的模型上这么做。完全没有理由不这么做。
• 如果你把视角拉得足够远，这事儿肯定在发生。持续学习的圣杯是单个模型的实时循环：获得一次体验，然后当场实时更新，并从中学习。深入到细粒度级别，很多东西都会出问题。
• 大公司都在这么做。有一些早期迹象表明，人们开始使用开源模型，而且节奏要快得多。
• 例子：
• Composer：在 Cursor 里，如果人们按下 Tab 键，或者对模型给出的下一个补全建议不按 Tab 键，基于这些数据，每一天 Composer 就会更擅长预测下一个内容。这是旧 Tab 模型，他们也对实际生成模式做了同样的事。
• 在线强化学习很难，因为没有分组概念。只有一个用户说了一句话，然后就得到一次 rollout 结果，方差很大。
• Cursor 给的答案有点模糊：有非常好的启发式方法，估算这个回答比平均水平好多少或差多少，然后搞一个大的强化更新。
• 判断有没有变差的标准，就是看它在 cursor 基准测试上有没有改进。他们每隔五个小时左右部署一次新模型，如果没有改进，就把那个版本扔了。
• 最大问题：不知道从自然数据中得到的奖励函数应该是什么。如果使用表面信号，比如他们是不是接受这个代码、这个编辑，可能会以某种方式被奖励机制破解。
• 这似乎是 sim-to-real 问题中一个更大挑战：任务时间跨度越长，在数据中心里模拟的难度就越大。
• 编码已经达到这样一个点：不存在那种需要花一年时间 coding、最后不会要求你跟客户沟通、跟公司或用户打交道的任务。
• 希望超级智能能做到的事情：经营一家企业、创办新公司并让它盈利、在市场上做日内交易赚钱、打赢一场官司。这些很难在数据中心里模拟。
• 如果学习的固有部分就是与现实世界交互，也许模型学会如何通过 sim-to-real 迁移提高表现；也许确实需要通过这类交互来更新权重。
• 如果迁移学习不够强，而你又确实需要更新权重，那么模型相当样本高效这一事实可能是一个更深层次的问题。
• 默认情况下，看不出为什么不会在未来十年内商业化应用取得突破。但可能不会发生的其中一个原因在权重更新：权重更新的样本效率远远落后于人类，合理讲落后百万倍。人类从出生到成年所接触的数据量，与模型从冷启动到训练结束看到的数据量相比。
• 哪些任务模型表现好、哪些吃力：
• 模型仍吃力的是具有累积性质的任务，或必须面对非平稳分布，必须不断学习、重新审视一大堆东西。
• 累积投掷的例子可能是 RSI。理论上也许用不到一百万 token，一个 Python 文件，从零开始训练一个能够递归自我提升的模型。每个发现都像守住的一道防线。
• 如果发现注意力机制、专家混合模型、GLPO，一旦发现，只需要把它加到训练流程里就行了。就像 5.6 的旧训练方法和 5.6 的糟糕表现，照着练，不用再回头去发现注意力机制。它基本上可能调用一堆脚本，预训练阶段、后训练或 SFT，然后直接这么做。
• 这是累积性任务的例子。
• 现实世界不是累积性任务：
• 想象一家律师事务所里，一个智能体在扮演法律助理。这是非常非平稳的分布。
• 你得能够融入环境，比如所有重要人物之间的关系、那家公司，而这些一直在变化。
• 会有各种隐含的做事方式、去哪儿找信息，诸如此类。
• 如果实验室意识到这一点，并且相信我们的站点是具有累积性的，不需要回头去发现全新架构，那么也许越来越多精力和计算机资源会集中在那上面。
• 不幸的是，Ariossiah 恰好比那个更容易，几乎全部。
• 模型在很多方面比人类弱，其中一些和特定条件下的样本效率有关。
• 在某些情况下，模型的数据效率非常高，比如上下文学习。但接着可能会有一个中等长度的阶段，它们样本效率比较低，因为人类可以做到某种权重更新，比模型更高效。
• 还有其他弱点来源，和样本效率完全不同：思想的多样性不如人类，不擅长做某些类型的长期判断。
• 人们所说的品味，很多其实是关于某件事的行为从长远来看有效，而且人们已经意识到从长远来看行之有效。尤其像软件工程：哪些系统易于维护，从项目长远来看。
• 人类的弱点、限制 RSI 和其他因素有很多种，一些和样本效率有关，也有些不是。
• 思想实验：给模型一个一万亿 token 或随便多少的上下文窗口，把经验之类的东西都塞进去，比如 RLHF。它在上下文中的样本效率和学习能力，就像处理了一百万个 token 那样。那品味问题就解决了吗？它能做出和你一样的判断吗？还是除了更长上下文之外，根本上缺少某些东西？
• 它得经过训练，从那个语境中学习。或者被训练去学习正确的更新，从那个语境出发或适应。需要数据来训练一个长上下文阅读模型。即使理论上能把上下文塞进去，也需要万亿级数据量来训练它。
• 这归结到一个问题：从较短时间跨度来看，品味到底有多能被学习？没有明显原因说时间跨度必须超级长，因为人类好像不需要太多漫长经历就能形成品味。我们活不到一万岁，发展得挺快。
• 比如 PSD 一年级新生和即将毕业的学生、博士后，可能五年。他们可能只做了十个、五个，总共三十个研究项目，但不知怎么培养出了品位。从一连串相对较短的小事中相当迅速培养出来。
• AI 显然会在某个领域拥有更丰富经验，通过机器学习培养这种品味。但它对特别长、特别拖沓的东西泛化得怎么样？目前真挺不靠谱。
• 蜂群思维学习：目前存在一种元模糊流程，通过这种流程，模型为部署服务。但这是非常微弱的反馈循环。
• 地平线那里有一种类似蜂群思维的学习方式，速度非常快。如果真是这样，怎么发生？
• 能否得到一个能够从所有部署经验中学习的蜂群思维？很大一部分其实在于激励机制，而不是技术性问题。
• 公司肯定不愿意让模型提供商从他们所有部署中学习，因为可能降低他们业务的竞争优势。
• 池化压力的经济学原理，不一定是把权重更新到一个大的、通用共享模型，而是像那种可以替换的模块。
• 明显例子是一个层，也可能是别的什么东西。
• 有很多工作试图适配任意上下文，长度压缩到固定大小，比如线性注意力相关内容。
• 还有像 cartridges，本质上是被训练得非常压缩的 KV 缓存，用来容纳大量信息。
• 公司可能愿意为这些模块买单，如果被应用到模型里，而且并不是真正改变基础语言模型本身。有很多不同版本，都是关于如何从你的数据中实时学习。
• 后者这种方式对大实验室其实没什么帮助，因为它们只是一个个模块。但经济压力会迫使这些实验室走上那条路。
• 大实验室还是可以把所有这些痕迹拿过来，窃取这些数据，用于下一代模型的预训练。这是一种更间接的形式，仍然非常有价值。
• 无法想象一开始就直接训练一个超大模型处理所有这些精确数据。肯定会经历几个阶段。因为假设这是一个不连续事件，就像突然能连续不断进行权重更新。实际操作中，更可能是像墨盒之类的东西，让你专注部署，生成调用轨迹，把轨迹加进模型。比如三个月后搞出一个模型，处理效果更好，又专项优化、整合。最终循环越来越快。
• 所以大概每三个月发布一个模型，现在差不多每周一次，然后每天，然后每小时，到那时基本已经解决了。

5. 持续学习的技术障碍：灾难性遗忘与可塑性

• 已经做过一些研究，也在非常大尺度上做过。当你过滤掉足够噪声，拥有足够大样本块时，这种外部的、迭代的过程，把数据输入模型并创建模拟环境，在某种持续学习机制下确实有效。
• 但微观层面：有一个模型，想为某个律师事务所或类似东西更新它，非常持续地做，用相对少量数据，所有方法都有点行不通。
• 向模型发送请求，成功轨迹，离策略、在策略。在高度迭代环境下，做数百上千次迭代、这些微小更新，会看到灾难性遗忘，对之前信息遗忘，在更早期基座模型基础上学习，通用能力退化。
• 基于策略蒸馏的方法似乎能把这个时间跨度稍微延长，但最终会在同样问题上失败。
• RL 在获取能力方面挺擅长，但在获取知识方面没那么擅长。尤其是非常明确的知识，比如这个人在这个律所做这个，这是一个非常具体的人。你得投入大量计算资源，创造合适环境来获得知识。
• 根本问题：为什么在其他技能上会变差，或者有遗忘问题？是能力问题还是技巧问题？两者都有。
• SFT，甚至只是为了基于策略的蒸馏，可能会造成毁灭性影响。
• RL 之所以好，是因为它改变的幅度非常小，是关于模型的非常微妙调整。它像在一个损失函数的谷地里，以非常小的方式调整，才能到达正确点。
• 但这也限制了能在其中发挥的作用，比如究竟能在多大程度上改变世界。
• 这之所以可能不是赢家通吃，是因为把那么多信息提炼到基础模型里非常困难，同时不破坏模型内部其他方面；但把它蒸馏到一个不同基础模型里就很容易。
• 这主要是技术问题，不是容量不够。模型用所有数据预训练，再拿差不多大小的模型从头预训练，希望在预训练中包含所有内容，效果会更好。这正是当今正在发生的事情。
• 存在底线，防止无休止地训练同一个模型，而不是像从旧模型获取所有数据、从头训练新模型。
• 这结合了可塑性和灾难性遗忘等问题。如果天真地在非平稳数据上训练，不断加入新数据，就是在搞乱数据分布，旧数据被遗忘。确实有很好的方法避免。
• 极限情况下，模型层可能因为用所有这些新信息从头重新训练而成为瓶颈。成本非常高，但反正都要这么做。
• 也许最终如果有持续学习，你从来都不训练任何模型。只有一个模型，不断学习，甚至不断扩展。
• 但背后可能有一些很深的技术原因，为什么这会非常困难。
• 现在肯定可以拿预训练基座模型做很好的微调，像持续 plus 方式，从后训练不同检查点开始继续训练。更像持续过程，但肯定不是拿最新模型应用几个非常小更新、迭代式改进、大家别搞丢。
• 这本质上不就是训练或后训练阶段发生的事情吗？有一个已经过大量训练的模型，再对某个经过进一步 RL 什么的分支进行蒸馏。仍然是在足够大尺度上进行。
• 这是把很多噪音过滤掉，不是只关注某一个分布。如果只专注一项任务，现在就变得非常……
• 在最终制度下，部署实例有几十亿个，你同时从所有实例中学习，希望过滤掉噪音和杂七杂八东西。也许这就是规模效应。
• 可以连续训练很长时间，回到检查点，提供新训练数据。但不能一直无休止做下去。如果一直永远只训练同一个基础模型，它会在某个时刻达到一种稳定状态，没法再学新东西。这就是为什么人们最终选择训练新的基础模型。否则就会一直用同一个基础模型训练下去。

七、数据、算力与架构扩展

1. 数据在进步中的权重

• 问题：人工智能的进步在多大程度上是数据带来的？是否存在某种数据分布，如果当前架构上训练它，最终会产生一个在各个领域都全面碾压人类专家的超级智能？包括预训练、后训练和环境。
• 说话者认为这种东西的存在是显而易见的。最简单情况下，可以直接训练它输出一个 Python 文件，就像训练真正超级智能告诉我们如何把信息记忆在权重里。
• 可能存在一个难度递增的口语环境阶梯，可以构建出这样一种东西，从而得到一个 AI 研究员，其水平至少不亚于人类研究员。但每往上爬一级的难度都呈指数级增长。
• 需要权衡两件事：多快达到最终的、错误的状态，也就是权重爆炸；以及创建这些环境有多难。
• 口语环境营造还处于相对早期阶段，创建优质环境时利用很多不对称性：
• 有些环境更容易实现正向和逆向转换。
• 定义复杂起始状态很容易，生成过程可以隐藏延迟且可变的因素，可以生成任意复杂环境。
• 模型必须进行大量不可简化的计算，来弄清楚数据和流程到底是什么样。
• 可以从胜者世界注入信息。比如 Anthropic 发现了一个漏洞，通过成千上万的人类和 LML 结合，把它变成一个非常整洁的环境，这其实是一个单一 ALM，因为理论上在几百万个 token 之内。
• 有各种各样需要估计的问题，我们从中 cherry-picking 一些，指望的是任务层面的泛化能力。
• 但这总会有边际效益递减的时候。创建这些环境一开始有多难，构思它们的过程，不可能像有一套流程一样来回调整。必须坐下来构建一些看起来像人类一样的东西，足够长时间跨度。创建它是一项非常复杂的任务。
• 还有计算资源和时间的消耗，接下来才是让智能体实际执行这些任务。所以很快会看到曲线趋于平缓。
• 玩具模型例子：有人微调一个玩具模型，只在截止到 1930 年的数据上训练，没有现代编码代理数据，表现却比 Claude three opus 在 Sweave Bench 上更好。这个模型完全不懂代码，可以在适量数据上微调，作为编码代理比大得多的预训练模型表现更好。这说明一旦有正确专家行为例子，把这种行为复制到相对较弱模型里出奇容易。
• 反例论文：训练到相当于五年级数学水平、小学英语，算是不错的语言模型。然后试着用强化学习让它做高中和大学高等数学。差距太大，完全没法让它爬升。如果连续做错好几道类似题，七级数学、八级数学，以此类推，显然可以爬到十二。但那些字母上错误之间的距离，以及创造它的难度，很关键。
• 这回到信号问题。大语言模型在探索方面做得并不好。如果在 128 个世界，几乎不可能获得能推动进步的信号。所以 RL 需要课程学习。预训练不是问题，因为预训练数据和后训练数据不同。
• 人类参与会越来越少，但这不改变受限于某个环节的事实：能从现实世界提取多少信号。
• 世界上确实有很多信号，比如电子表格、法律工作。但以现在模型能力边界，世界上有多少信息实际上真的相关，在提升模型能力？有多少新数学问题正在被解决？现有模型的 grasp 能力？有多少新编码问题正在被制造，或解决那些超出当前模型能力范围的问题？
• 这就是为什么会出现收益递减：整个世界也不会给你提供那些能帮助你跃迁到下一个能力基线的有用信息。
• 信号不会在预训练中凭空出现。预训练信号像已经存在于共同部分的质量里。问题不仅是获取数据，还要过滤掉所有噪声。这是相当艰巨的过程。
• 随着模型越来越好，原始数据中根本不存在这样的信号。再过滤也得不到。Common Crawl 里找不到千禧年大奖难题的隐藏证明。到那一步，就得通过别的途径获取信息：人类直接写推理过程，创建环境，人类决定创建什么环境、目标是什么，或者对部署中存在的人类数据进行某种训练。得从某个地方获取这些数据。

2. 数据 vs 架构：九成与 3%

• 一项调查与 Jerry Han（现在在普林斯顿）合作：训练 2019 年到现在的方法，用 2019 年到现在所有数据集。
• 比如 GPT-2 在最新数据集 ultra fine web 上，用 Delphi 最新训练方案；或者在 PILE 或其他旧数据集上，用开源训练方法。跑整个网格。
• 观察达到某种能力水平，在整个网格中所需计算量减少了多少。
• 结果：数据似乎解释了大约九成计算效率的提升。架构改进解释了 3% 的提升，在非常小规模上。
• 如果这在更大规模上成立，预训练在计算效率方面的大部分提升来自数据质量提高。
• 这能持续多久？能一直筛选数据、生成越来越多合成数据直到……？
• 预设：容易摘到的果子已经有点摘得差不多了。把互联网当成一个整体大块。互联网上有用东西的增长速度不一定一样。可能还会经历类似 0.1% 的跌幅，但肯定没有现在已经发生的那么多。
• 累计起来有二十七倍提升。有人估计自 2019 年以来每年大概三次，那就 3^7，两千多倍。缺失部分在哪？可能训练后效果。
• 解释只能是：计算效率提升很大程度依赖规模，而我们从极小规模起步。
• 这引出问题：数据/算法层面的计算效率提升，是否对规模有更强依赖？刚开始，没有足够计算资源研究。
• 理论上，架构的规模依赖性相当为人所知，可以用直线拟合。但把预训练、后训练和中间训练数据结合起来，就没头绪。
• 感觉数据更重要，尤其在规模上。架构像是一次性的东西，让你能够进入一个 qualitatively new regime，这是用原来架构无法达到的。
• 在这个体系内，数据是决定它的主要因素。假如没有 GTA 那样的东西，整天全神贯注搞这个，没法做到百万级别，把开支压缩到百万上下文，就永远没法实际达到一百万上下文长度，也就无法获得这些能力。
• 如果架构不能解锁新东西，那就像数据一样。不确定这些东西是否真能以乘数效应带来收益。
• 数据规模依赖性：很多 MT 训练和后训练数据，随规模扩大而变得更好。因为很多东西，比如超长上下文、Horizon 环境相关的东西，真的需要很大模型才能用上。
• 如果训练一亿个程序的 Transformer 模型，只基于三个基准测试用例训练，不会有任何进展；训练一个真正合理大小的模型，提升会不同。
• 架构改动很多，比如 Kimi、DeepSeek，并不仅仅为了降低预训练损失，还考虑模型在现实世界中如何被应用。比如推理效率，在深度学习模型中加入某种形式压缩注意力机制，不一定是为了原型改进。

3. 参数扩展与 RL 时代

• 好奇：进入更依赖强化学习的时代，参数扩展如何发展？
• 历史上开源架构参数规模扩展有多快？前沿模型或开源模型，每年差不多两倍增长。前沿闭源模型，大约一百亿或两百亿活跃参数。
• 会保持每年翻两倍增速吗？在另一种 RL 机制下，也想要节省计算资源进行 rollout。
• 可能存在阈值效应：当拥有足够容量时，任意增加参数就没那么重要。
• 2030 年前沿模型会有多少活跃参数？
• 未来几年可能专注为强化学习做更长、更长周期 rollout，在推理效率至关重要的领域。模型能力还不一定饱和，瓶颈仍然是环境因素，所以可能会看到小小平台期。
• Mistral 和 JPG 模型比大家谈论的十万亿参数小得多。未来几年参数数量可能不会有巨大增长。
• 模型大小权衡：
• 有多少预训练数据。
• 要在上面训练的下游任务难度。
• 理想是达到最优的点，能给出还算不错的部分结果，或在最复杂环境下跑出结果。再搞更大模型没意义，因为只为不必要推理开销买单。
• 预计模型会持续变大，仅仅因为人们在扩大算力，GPU 越来越大。但能变多大还取决于非显而易见的扩展规律。
• 数据效率将成为比计算效率更大的驱动力。高质量预训练数据开始紧张，可能影响希望模型多稀疏。
• 对稀疏性没有足够深理解。参数和活动参数是两种不同资源。稀疏性已经增加，但不清楚是否会一直无限制增长，可能存在 sweet spot。
• 一种观点：稀疏性应该会让数据效率更差，因为可能需要在多个专家上学习同样的东西。这还有待商榷。
• 没有足够好的扩展定律理论，让我们真正理解稀疏性为什么能起作用、帮助有多大、是否会在特定稀疏度水平达到平台期。
• 数据效率应用于缩放：不一定在寻找最优计算效率，而是在架构上有很多选择，每种给不同扩展规律。传统上根据计算量看某种包络线，看性能与计算量关系，取最好模型包络线。
• 如果基于数据做决定，x 轴像数据而不是 compute，会得到不同的一组最优解，或位于前沿上的另一组模型。
• 模型大小翻倍每年？人们训练基础模型好几年。Falcon、Periodic Labs 的 lym、Gestelon 推特 OpenAI 早期实验：训练一万亿参数非常稀疏模型，创办 OpenAI 前谷歌开关。擅长知识，但推理糟糕，因为数据太稀疏。
• 感觉一直在千亿到一万亿参数区间，至少有一阵了，显然不是平稳线性增长。
• 推理效率对 ELMs 超级重要，能大大减少活跃参数数量。总参数量很大程度取决于硬件，需要非常高内存带宽，像 Vim 规模才能真正解决多万亿参数模型。现在大量使用 H100，把所有人带进多模态领域。Vribbon 将获得更强实际扩展能力，处理大规模输入方式不同。
• 大模型样本效率高得多，处理实际数据点更高效。即使没把模型喂饱和，还是用更大模型更好，因为泛化能力更强，相同数据量达到更低损失。
• 现在有大量数据，限制因素与其说是计算能力，不如说是别的。所以用小型模型，它们对数据利用效率高。
• 如果计算成本一路走低，可能又回到大模型问题：它们处于未饱和状态，但规模大得多，具备泛化能力。
• Chinchilla 扩展定律：参数量无穷大，所需数据量指数增长。本质是算力。
• 现在正朝 Chinchilla 法则中数据过多的一端发展，把 Mars Lily 过度训练到 Chinchilla 水平。数据快用尽时，又回到类似 Chinchilla 最优点位置。往往倾向于压注过拟合，也就是欠拟合的道德层面。
• 即使有新芯片，计算瓶颈未来几年仍存在。看训练还是推理计算资源。如果瓶颈在数据而不是计算资源，就应该选更大模型；如果超级碗级别计算需求，就选更小。
• 合成数据让预测很难。
• 人们花很长时间才搞明白扩展定律，是因为如果没把所有事情做对，得不到清晰关系。图表上优美曲线往往隐藏巨大复杂性。
• 需要正确缩放每个超参数，或参数化优化器使其自动扩展，改变模型规模时不需要调整超参数。bug 也有自己清晰的扩展边界。
• West Kaplan 处理余弦相似度和修复问题，甚至没考虑嵌入参数，搞砸了对小型模型的预估，因为嵌入参数在模型里占比不小。

八、RL 为何比预期成功、创造力与熵崩溃

1. RL 成功的原因

• 一年前很多人认为强化学习在模型扩展方面不会特别成功。
• 约翰写过研究论文，指出模型每轮只能学习一个比特的信息。用 LA 时，基本上就是学会我答对了这个问题。
• 今年早些时候博客说，甚至比那还糟：当通过率低、模型几乎不可能答对时，它确实几乎无法从一次 RL 回合中学到任何东西。
• 但现在的模型看起来还挺聪明，这似乎是 RL 规模化的结果。
• 巴伦几周前发帖解释发生了什么。RL 的成功可以归结为很多不同因素：
• MIT/中间训练被低估：RL 成功中很多实际来源于非常优质的 MIT 训练数据，即用合成推理数据做预训练，以及能让模型为 RL 做好热身的环境。
• 这一步把模型带到经常能达到最终检查点差不多 80% 的水平。
• 在此基础上，RL 所做的是大量微调策略。所以不需要像天真以为的那样需要那么多数据，不需要从头学习所有行为，只需要从片段中获取少量信息。
• 这些片段的信息量比普通预训练高得多。这就是为什么需要 LAural 方法，而不是仅仅在成功推理轨迹上微调。
• 两点：
• 第一，它精确告诉你如何得到正确答案。
• 第二，在 SFT 里有追踪记录，看到一堆数学推理过程，最后是答案。你仍然在答案 token 上进行 SFT，所以那个比特位还在。重要的是，RL 目标函数会忽略所有其他部分。
• 在 SFT 里，会尝试匹配模型生成者那些精确推理标记，得到太多关于具体方式的信息，而你正在训练的另一个模型推理方式完全不同。RL 只给一个信息点，信号不会被模型拥有的所有其他比特的噪声淹没。
• 信噪比巨大提升，所以 RL 在步骤上效率非常高。

2. RL 的泛化与相变

• 关于 RL 对模型作用 vs 中间训练，有很多争论。比如 part one 会涨，但过去两个 ty six 会下降；非常罕见情况下，正确推理路径会被弱化，被来自更简单任务的梯度信号压倒。
• 看待 RL 的简单方式：如果有足够大计算资源采样足够大群体规模，得到一堆正确答案的概率相当可观，那么它就会被升级。
• 到训练中期，更多预训练，比如在数量级更多的预训练 tokens 上扩展，可以问非常基础的问题。
• 从模型本身看，过去一年 AI 进展的基础是什么？模型能力从质上强了太多。如果 RL 影响小，只有几个比特，对程序小改动，但函数空间实际影响可能巨大。改变一个比特就能极大改变函数空间，不一定意味着行为上不会剧烈变化。
• 希望 RL 泛化，让推理能力覆盖不同领域。但没有真正实现这种横向泛化。只在海量数据上训练，不一定能写出最棒代码，需要在代码环境上 RL。
• 确实获得一种泛化：模型学会如何使用更多 token 完成更长时间的任务，在更长环境中取得进展。在变长环境训练，再放到全新环境，可能不会过度泛化推理模式，但至少泛化出更长时间坚持下去的能力，这与成功相关。
• EdgeBench 论文数据：模型能够持续有效工作的时长，每三个月翻一番。这是泛化能力的明确证据。
• 预训练中的 qanta 概念：预训练损失曲线非常平滑，但模型内部在学习非常离散的任务，有各种涌现点，像相变。比如一开始没有归纳头，现在有归纳头。有数以万计、数百万、上亿个这样的东西，平均起来得到平滑损失曲线。
• RL 类似：缓慢适应过程。训练一个模型，然后 ELLA，下一次训练迭代把大量合成 RL 轨迹数据 dump 到训练数据中，为所有不同任务加热量子。单任务层面看起来像相变，从 5% 通过率跃升到 90% 通过率，针对某个金融任务、Excel 任务。平均起来，加上对未知场景泛化，水平提升，得到定性上更好的模型。
• 这也因为方法确实能稍微泛化，突然在数学和代码之间建立联系，谜题和数学之间联系。环境复杂程度、目标人群范围比之前广得多。以前实验室根本不会在意日常任务，也不会专门训练。现在有很多环境针对特定问题。

3. 熵崩溃、创造力与单一文化

• 讨论过在引发熵崩溃背景下投入资源，还是将概率集中在解决方案上，基础模型已经搞定，使策略更新相对稀疏。
• RL 还有另一个故事：Atari 游戏，AlphaGo 下出第 37 手，极具创造力的招式，因为它从未在人类数据上初始化，能够以人类想不到的方式思考，提出极具创造性的解决方案。
• 什么时候能看到 RL 在难题上产生类似第 37 步的结果，即极致创造力，甚至超越人类？
• AlphaGo 用 MCTS，比普通正向梯度做了更多探索。RL 不一定扼杀创造力。
• OpenAI 和 Hugging Face 那件事，模型一次就能搞出好几个零日漏洞，突破沙盒限制，明显展现了一定程度类似第 37 步棋的创造力。这来自警报系统的泛化特性。不是 ALS 完全摧毁熵，尤其在地平线上。
• 人们所说的创造力，其实只是解决困难的搜索问题。第 37 步是例子，写一首满足一大堆不同限制条件的诗也是。AI 会极其擅长，如果针对它训练。
• 模型输出的多样性在 RL 之后低得多，养成怪癖。做分布分析会发现它们在重复使用某些主题，总是用同样角色名字。不像人类作者多样性丰富，更像一个特别厉害的风格。多样性肯定被 RL 削减很多。
• 蒸馏导致单一文化：太多人做知识蒸馏，大部分从 Claude 来，所有开源模型像 Claude，有相同习惯性小动作。这令人担忧，出现单一文化。
• 这不是 RL 作为方法的根本问题，也不是蒸馏本身。蒸馏就像在数据上训练，数据不够全面，不意味着训练方法有问题，是数据问题。
• RL 中的熵崩溃，基本上是由于对相当简单的验证进行利用，当没有非常多样化环境时。比如作文由某个评判者打分，评判者有特定文本偏好，模型学会欺骗评判者，所以崩溃。问题出在评判者，不是 RLHF 本身。

九、时间表预测

• 在远程白领工作上，约翰认为完全普适可能 3 年左右，但之前就能做到八九不离十，只要组织更容易被 AI 使用。一年和三年的区别就是长尾。
• 查理·奥尼尔可能认为一年后会有某种版本，能把一些事做得非常好，有些做不太好，之后越来越好，长尾移动目标。
• 报税例子：让 Codex 把所有东西弄来发给会计，需要电脑点击操作、下载，非常繁琐，但已经可以。
• “让你的整体生产力提升十倍”：某些类型工作可能已经过了那个阶段，比如某些数学证明。对 AI 研究者推进 AI 研究速度加快多少，有人说提升了大约 5 到 10 年，比一般零售店员长。
• 对普通白领一个月工作，估计约 2 年。
• AI 研究人员 10 倍生产力：巴伦/伯恩说现在已经是 10 倍、100 倍写代码工作量，若有一两轮实验反馈循环就是巨大提升。两年内 AI 研究人员获得 10 倍生产力，套入简单 AI 进展模型，两年后 AI 进步速度发生根本性飞跃。即使受瓶颈影响，先快 10 倍也是大事，可获得 100 点专家加速提前发生。
• 对“AI 在各领域超越顶尖人类专家，能在电脑完成工作”，回答有 3 年或类似、3 到 4 年、5 到 10 年。涉及 3D 空间物理、机械工程、数据少领域、实时学习、入职培训。需要假设给 AI 同样入职培训资料，以及更长期学习。
• 用 AI 自动化 AI 研究听起来像 ASI。有人认为五年等待至少对 Labs 专注的东西是这样，后面还有长尾。理论上可了解很多东西，但没人费劲做，计算资源也没分配。可能取代字面意义上每一位人类专家。是否包括像人类一样快速学习新领域？不一定必要，因为部署体验将远超任何人类。

十、限制与待确认问题

• 原始内容为口语转写、多人对话，很多术语、人名、模型版本可能误转，例如：
• Barn Millage、Zipha、Ryan Green BB、Jaum 5.3、Kimi K3、Mythos、Assoic、Relicift、Sweave Bench、EdgeBench、qanta、West Kaplan、Vribbon、MCCore、TMC 等。
• 这些名称和版本号需要回原文或论文确认。
• 大量观点是直觉、推测、博客或论文记忆，不是严格证明。
• 数字如“数据解释约九成计算效率提升”“架构改进 3%”“累计 27 倍”“每三个月翻倍”“样本效率落后百万倍”等，需要回原始研究确认。
• 时间表差异大，取决于“完全”“普通白领”“专家”“所有认知工作”的定义。对话中自己也承认对“fully”的定义可能很不一样。
• 技术路线不确定：
• RL 是否能横向泛化。
• 持续学习是否可行。
• 稀疏性是否存在 sweet spot。
• sim-to-real 是否永远主导。
• 蜂群学习是否会被激励机制阻碍。
• 蒸馏是否真能抗中心化。
• 对齐、监管、政治冲击被列为外生因素，但未展开技术细节。
• 未提供具体实验设置、数据集、模型版本完整信息，很多案例只有一句带过。

十一、总结

• 如果 2036 年不是“疯狂的外星人超级智能世界”，最可能的技术原因不是单一算力不足，而是：
• 泛化火花缺失，模型可能只擅长基准和环境。
• 人类仍被模型较弱处卡瓶颈，新模型震撼循环反复出现。
• 研究和工程瓶颈使代码更多不带来百倍效率。
• 当前 Transformer+RL 范式可能遇到需要离散突破的不连续性。
• 预训练扩展定律遇收益递减，RL 解决后又遇新收益递减。
• 研究品味、提出正确问题、决定目标仍需要人类。
• 对齐是最后的工作，也是答案。
• 蒸馏、部署数据、路由数据、环境建设、在线 RL 是实际进展来源，但受提示分布、真实感、奖励函数、激励机制限制。
• 模型在目标明确时可能大幅加速研究，估计可达 10 倍速度提升，但看不出如何推广到开放式科学。
• 持续学习面临灾难性遗忘、通用能力退化、可塑性限制、非平稳数据分布等问题。RL 擅长获取能力，不擅长获取明确知识。
• sim-to-real 对长时任务很难，权重更新样本效率可能远落后人类。若迁移学习不够强，商业化应用突破可能延迟。
• 时间表大致为：
• 远程白领临时工：1 到 3 年出现某种版本，完全普适约 3 年。
• 普通白领一个月工作：约 2 年。
• AI 研究员 10 倍生产力：约 2 年。
• 所有认知工作超越顶尖人类专家：3 到 4 年，部分领域 5 到 10 年。
• 这些预测充满不确定性，取决于定义、瓶颈突破、组织调整、监管、对齐和持续学习等关键问题。