杨植麟对话·AI雪山攀登笔记

杨植麟对话实录：雪山攀登、技术范式转变与K2模型背后的思考

在AI研发的进程中，问题不可避免，但问题总可以被解决；AI不是某一级台阶，而是一个方向，追求的是持续攀登的过程本身。

核心要点

• 创业心态：杨植麟认为大模型创业如同攀登一座可能没有尽头的雪山，两年间技术已取得巨大进步（从写不好文章到能连续工作数小时完成复杂代码任务），但向上的过程总伴随新的未知技术问题需要解决。
• 技术范式转变：过去一年最重要的行业变化包括基于强思考的强化学习（以o1为代表）、基于多轮交互的Agent强化学习、以及模型公司做一方产品的趋势。
• K2模型的技术路线：月之暗面从以预训练和SFT为重点转向以预训练和强化学习为重点；通过Muon优化器提升token效率，实现“学一份数据等于别人学两份数据”的效果。
• Agent泛化是核心挑战：当前Agent能力提升的最大瓶颈在于泛化性问题——训练任务和评价指标往往单点化，指标提升不必然带来更好的泛化。

详细解析

一、创业状态与技术路线

1.1 “雪山”比喻的内涵

杨植麟将AI创业比喻为攀登雪山。两年前写文章都写不明白的模型，现在不仅能写优质文章，还能连续工作数小时完成复杂代码任务。然而，在解锁新场景的同时，后续仍有大量未知的技术问题需要解决。

“问题不可避免，问题总可以被解决” 是杨植麟反复强调的核心理念，源自他反复阅读的《The Beginning of Infinity》一书。书中提到两句话要刻在石头上：问题是不可避免的，但问题是可以解决的。

研发AI的过程恰好如此：解决了强化学习的问题，就面临评估、衡量、验证的新问题。每次解决问题，技术就再攀登几百米。

1.2 对AGI的理解：方向而非终点

杨植麟认为AGI不是某一级具体台阶，而是一个方向。AI与登月不同——登月站上月球那一刻就标志着到达终点，而AGI无法宣布“此时此刻达到”。即便如翻译领域AI已超越99%的人类，这也不构成AGI的实现。

重要区分在于两个层面：

• 技术层面：技术持续提升
• 社会影响层面：技术对社会的影响是更长周期的事，如同蒸汽机产生后，社会需要几十甚至几百年去消化——有些工作不再必要，但会产生新工作，人可以用AI做更多事情，每个人都成为“超人”

二、行业最重要的变化与技术解析

2.1 强思考推理模型与反思能力

o1作为第一个基于强思考强化学习的代表模型，本质是让模型在解决过程中不断尝试和反思：

• 反思包含两种能力：

1. 提出新猜想（模型在解题中不断提出并验证猜想，虽未显式训练验证模型，但推理过程中隐式完成了验证）
2. 验证猜想的能力

• 效果机制：将原本只能做一次（直接给出答案）的任务，变成不断猜想-验证的循环，等价于多次尝试，将pass@k变成pass@1。这与人类做科研或解题的过程很相似——自由探索，而非线性过程。
• 串行vs并行：串行采样时每次新猜想基于之前被否定猜想的反馈，更接近线性；现在也可搭配并行策略同时采样多个猜想。但近期论文表明串行的上限可能更高，这与月之暗面的实验结论有一定相关。

2.2 缸中之脑与Agent交互

杨植麟用“缸中之脑”类比强思考推理模型：想象一个鱼缸，把脑子放进去，它与外界无联系，只在自己大脑内思考，不需要与外界交互就能解题。

另一重要范式是基于多轮Agent的强化学习：

• 模型边思考边操作，做多轮操作（调用搜索、使用浏览器、写代码），通过多轮方式解决问题
• 与外界有交互，下一步行为根据外部反馈和新状态更新决定
• 不再是缸中之脑

两者共同指向test-time scaling（测试时扩展）：在测试或推理时做更好的规模化。之前的对话模式下token数量很少（写篇文章输出几百个token，润色再输出几百个），而无论是强思考还是Agent，本质都是扩展推理token的方式——通过更多轮次或更多思考token，完成更复杂任务，伴随更长的完成时间（可能花费数小时，无需人工参与）。

2.3 一方产品趋势

从2024年左右开始，产品多基于基础模型加上脚手架（scaffolding）或工具设计搭建，本质是逆向工程模型的训练过程——猜测模型用什么工具效果好、什么system prompt好、什么context engineering好。

而模型公司做一方产品的逻辑完全不同，是正向做法：先设计好工具和context engineering方法，再在这一环境中训练模型，模型天然在环境中表现更好，且可端到端整合工具和模型。后者的上限可能更高。示例包括Claude Code和ChatGPT这类一方产品。

三、L1到L5：能力分级的逻辑与非线性关系

杨植麟认为Anthropic的L1到L5分级对应几个重要技术里程碑，但并非完全串行关系：

非线性关系：

• Agent的上限取决于强推理能力，但Agent并不必然是推理完成后的产物——可以先做Agent再做Reasoning（如Claude的路线，reasoning性能不算最高但Agent性能高）
• 要达到最好的Agent能力，最终需要Reasoning也做到最好
• Innovation不一定严格依赖Agent之后，两者可能并行发生

Innovation的关键标志：模型能参与到模型本身的研发中——比如K2能参与K3的开发，提出新想法、做实验、分析结果、迭代下一版想法、优化infra性能。这需要很强的Agent能力。

Organization的实现：有一个Agent后可以拓展成multi-agent系统，分出不同Agent做不同任务（写测试、写文档、设计软件框架），可串行可并行，现有的雏形已经出现。

四、K2模型的详细技术解析

4.1 研发方式转变

过去一年最重要的两个方向变化：

1. 从以预训练和SFT为重点，转变为以预训练和强化学习为重点
2. 从对话到Agent的范式改变

这需要大量人才储备和研发方式的调整。

4.2 K1.5 vs K2

K1.5：强化学习技术的验证。比较早投入该技术路线，积累了强化学习基建和算法know-how。关键发现是不需要太多process reward或value function（这些在训练中甚至可能有副作用），直接使用端到端的reward也能训练得很好。

K2：目标是成为一个非常好的基础模型（base model）和好的Agentic模型。

关于基础模型设计，核心是token efficiency：

• 背景问题：高质量数据增长缓慢，多模态数据无法很好提升文本智商，高质量数据接近一个常数
• 核心策略：把每一份数据最大化使用——同样的数据，让模型“脑子长得更多”
• 与训练效率的区分：训练速度优化（compute efficiency）不能提升智能上限，因为token数量不变；而token efficiency是把一份数据当好几份用

Muon优化器：

• Muon是由OpenAI提出的优化器，月之暗面在其上做了大量优化以适配大规模语言模型训练
• Adam优化器已用十年，但token efficiency不够好，未独立考虑矩阵参数之间的dependency
• 通过考虑参数间的依赖关系，可获得更好的学习效率
• 在compute-optimal情况下，早期实验基本有2倍提升——学一份数据等于别人学两份数据。假设有30T高质量token，等价变成60T
• 规模化过程中的新问题：max logit可能有爆炸问题，在小规模实验上很难发现，月之暗面提出新的clipping方式解决，使其能在超大规模下稳定训练

数据改写与数据refresh：

• 高质量数据可能只有几十P或几百B，需要让其被更好吸收
• 同一份数据学很多次可能泛化不好，可能产生过拟合问题
• 通过改写让数据有一定程度的泛化
• 具体改写方式有多种，月之暗面找到在实验中效果较好的一种，但该领域空间很大
• 针对“改写没用”观点的回应：理论上看改写是否有新信息的输入，这确实对改写方式有要求；今天不一定是最好方式，仍有探索空间

参数规模与token效率：通过更大系数度加更多参数，token efficiency会更高——参数多了之后，吸收同样数据的效果更好。

4.3 训练过程与实践细节

• 研究团队与训练团队不分开：因为训练中遇到的问题需要前期了解，否则无法解决
• 训练中的主要挑战：Muon训练时max logit会涨得非常高，认为对训练稳定性有影响，训久了各种内测指标不正常，对模型上限有害。这一问题是小规模实验无法复现和预测的，只能在scale过程中临时解决
• 筹备周期：Muon等核心技术从去年开始研究。从早期小实验验证想法潜力，到放进万亿模型训练，需通过不同scaling实验验证有效性，整个研发周期很长。但单纯从按下训练按钮到结束的时间并不长
• 技术积累的周期：大模型相关技术很需要时间积累，“做时间的朋友”。一年前开始积累各种技术，K2的具体立项（决定训练什么样的模型、加入哪些技术）是最近几个月的事

4.4 K2命名的巧合

K2本义是世界第二高峰，也是世界上最难攀登的山峰之一：

• 它不是最高峰，不是终点
• 它是最难的（存在从对话到Agent、base model规模变大等范式转变）
• 结果基本符合预期——训练过程中已经知道模型情况，不会有太多惊喜，重要的是预测能力

五、Agent能力定义与泛化问题

5.1 Agent的定义与特征

Agent最重要的两个特征：

1. 多轮：能做很多次（test-time scaling的一种方式）
2. 工具：连接大脑与外部世界的方式（搜索引擎连接互联网，代码连接数字世界自动化）

Agent更多是general purpose的智能，而非模拟人的行为。其形式化定义本身是通用的——可以完成几乎所有任务。人也是通用智能（universal constructor），设计Agent的目的不是模拟人，而是追求通用性，与人的相似只是一个“刚好的结果”。类比：数据分析是为了当交通工具，不是像鸟一样飞。

5.2 泛化是核心挑战

为什么泛化是最大挑战：

• AI技术当前的局限性在于训练任务和评价指标都是单点的（如训练SWE-bench就提升SWE-bench）
• 指标提升并不意味模型泛化变得更好
• Agent训练中泛化问题比对话模型更严重

Agent泛化的理想状态：

• 不只使用常见工具，还能使用非常个性化的工具（公司内部数据库、个人文档、定制API、退票或下单等业务操作）
• 泛化到未见过的工具上
• 如果泛化做得好，“垂直Agent”可能不再需要——用通用Agent加定制工具即可解决领域问题

泛化风险：陷入benchmark过拟合。benchmark数量不足、失效或不能真实反映能力，导致只刷几个task分数，在更odd场景中用户体验不好。

可能的解法：用更多AI训练AI，一定程度上缓解问题——比如AI能做好的alignment research，理论上能有更好的泛化，而非仅优化单点任务。“用L4的技术解决L3的问题”。

5.3 数学与代码的泛化局限性

强化学习的泛化比SFT好，因为：

• 更多on-policy sample（从模型本身采样）
• 有梯度

但泛化仍有限度：在某一种类型数学竞赛上做到99分，别的数学问题可能只提升5个点，不加入对应任务就不会自动获得高泛化。“种瓜得瓜，种豆得豆”，但希望整体RL或post-training能用更多AI来摆脱这种状况。

5.4 任务设计与课程学习

一般观点认为应设计足够有挑战的任务以催生本质性新方法，但K2使用了一些中等难度任务。理由：

• 爬山过程不能一上来就让模型证明未解数学问题（成功率极低）
• 强化学习搭配好的sampling策略，本质上是隐式的课程学习机制（curriculum learning）——从合适难度开始，逐渐提升难度
• 一上来就学非常难的任务，采样效率极低，算力被浪费

当前挑战：很多任务来自人类存量数据或人工设计的任务，AI-native的部分还很少，这会带来泛化问题。

5.5 Coding的地位：重要子集而非全部

Coding是Agent能力的垂直子集，代表数字世界的自动化：

• 创建新工具本质是写代码
• 上下文管理、context engineering背后也是代码实现的工具

但Coding不是Agent的全部。很多非程序员（律师、产品经理、设计师）也用Claude Code做任务，因为模型有一定程度的泛化，不仅会写代码。月之暗面目标是做通用模型，不是coding模型。Coding相对容易验证（有test case），适合学习，但仍然面临同样的泛化挑战。

5.6 Agent还缺乏的能力

1. 高频工具使用不够好：能力仍有很大空间，且缺少更好的benchmark观测
2. 长尾工具泛化：对未见过的工具、完全out-of-distribution场景的泛化
3. Long context支持：128K/256K context完全不够，需要百万级别甚至更多，同时要求在该级别下智商仍然很高。长context与高智商天然存在冲突（可能需要更大模型和更好架构），需要更好架构平衡

六、开源与闭源策略

6.1 开源是否会落后于闭源

一年前的判断：闭源会领先开源，因为开源贡献不经算力验证（中心化结构），而闭源有人才聚集和资本密集优势。

现在的反思：

• 模型出来后社区确实能贡献一些东西（推理侧优化、更多人免费serve、更多人使用）
• 但把模型本身变得更好，只能原厂自己做
• 新的可能性：基于开源模型（如K2）做特定领域的post-training，特别是Agent post-training，可产生新机会——比如法律Agent创业公司可以在K2上定制工具集合，生成specialized agent

6.2 策略选择

月之暗面希望长期做开源，但不一定只做开源。原因：

• 分享技术know-how可以加速技术推进
• 开源公司形成生态，可把技术推得更好（“雪山爬得更好，race to the top”）
• 但不一定所有东西都开源——选择性开源是更现实的策略

开源既是技术信仰，也是市场博弈策略。最终目标是让技术更安全、更快达到更好水平。

6.3 市场收敛判断

全球大模型公司不会很多，市场会逐渐集中收敛：几百家→几十家→几家。“几家”是最终稳定数量，这是大概率事件。

中国公司为什么普遍开源（字节除外）：有市场博弈因素，开源可互相借鉴，加速到达收塔。

七、产品与商业模式思考

7.1 “模型级产品”依然成立

AI产品与移动互联网产品不同：

• 做Agent产品时，需要把模型与工具和context结合
• 但在训练模型时，已基本把整套系统搭好——模型训完之后，产品已经做完了
• 交互层面的设计是“锦上添花”的一步
• 模型性能在训练过程中已与工具和环境很好适配

7.2 AI时代的“超级系统”

AI系统与搜索引擎系统、推荐引擎系统类似，都是适配特定时代的巨大系统：

AI系统为何更复杂：

• 想让模型通用会带来复杂性——如果希望模型在各种场景下工作（不同工具集、未见过工具、不同定义和实现方式的工具），要求很高
• 不同类型的Agent任务（coding agent、search agent等）放在同一个通用模型中会有冲突——工具定义不同、数据pattern不同
• 步数越多，对通用性要求越高

通用化的好处：概念上更简单，不需要维护多个模型和多套routing策略。

多模态的挑战：加入多模态能力不能损伤文本智能。理想状态是多模态模式与文本模式共用一个脑子，而不是进入另外一部分参数而完全丢掉文本学习的部分。类似MoE中有20个expert全部做多模态可能学出“傻傻的多模态”，希望的是“聪明的多模态”。

7.3 交互方式的演变

交互随能力边界而变化：

• Copilot → Cursor → Claude Code，每一代交互都随模型变化而变化
• 从单个人确认每个修改，到多步执行agent coding任务
• 交互不是终极形态，模型继续提升后交互会持续变化

7.4 数据墙与scale的效率

数据墙确实存在，但模型变好的速度并未减少，甚至加速。原因：

为什么不靠数据飞轮：

1. 基于算力的scaling太强大了——直接scale compute/flops带来的提升非常大，且RLHF的scaling效率比pretraining更高（on-policy带梯度训练），所以会选择这条路
2. 数据飞轮依赖外界反馈，反馈的噪声会影响学习（大模型学习对噪声敏感，与传统推荐系统不同）

何时可能变化：如果通过新交互方式减少信号噪声，平衡可能变化。但交互不能超越模型能力，应在模型能力范围内设计好的交互。当前更确定性强的方法仍是scale flops和提升学习效率。

用户的必要性与价值分层：

• 无法直接使用用户反馈训练模型，但需要一定用户量了解需求分布，把反馈抽象成evaluation再优化模型
• 用户商业价值存在差异：普通闲聊用户价值有限；Agent专业用户可端到端产生价值（如Claude的终端用户贡献了较大应收比例）

7.5 商业模式

• 明确的两个方向：API和一方产品，都会尝试
• 当前首要优先级是把模型做得更好，因为市场规模增长很快（头部公司几十亿到上百亿美元ARR，每1-2个季度翻2-3倍）
• 用户担心KiMi赚不到钱：市场已被验证且在快速增长，专注把技术做好后商业确定性反而更高

八、组织管理与AI哲学

8.1 用RL方式管理团队

杨植麟最近的思考：科研和创造新知识的过程很像是强化学习过程。用RL方式管理团队而非SFT方式，但需要平衡：

核心是掌握RL和SFT的平衡：以RL为主，通过一部分SFT防止飞太远、防止遗忘一些东西。奖励定义很重要——如果只定义“把所有benchmark做得很高”，可能出现很多品的问题。需要建立更多观测指标、尽可能不鼓励游戏指标来避免reward hacking。

8.2 经验主义与知识创造

一个重要认知：经验不能直接给你知识。人类存在地球上很多年，但三四百年前没人知道地球是球体。经验本身不产生知识，需要提出猜想并想方设法验证。训练神经网络也是如此——观察到几十万个内测指标不代表直接获得知识，而是提出问题为什么这样，再设计实验验证。

8.3 心态与决策

• 不以物喜，不以己悲：避免情绪化的决策，具体困难都有预料
• 最大的成长：认识到问题是不可避免的，会一直存在，持续解决新问题是最重要也是最有意思的
• 过去一年情绪如波浪般震荡，高点和低点都有，但“做时间的朋友”，专注把事情做好就不复杂
• 成功概率比一年前增大：只要在往上爬，成功概率就会变大（因为有人会不继续爬了）；恐惧掉下去肯定存在，但关注当前能做什么更重要

九、AI的宏大叙事

9.1 AI是人类文明的放大器

引用Kimmy的观点：AI很重要，它是人类文明的放大器。从启蒙运动至今，人类一直找到新方法突破知识边界，但下一个突破边界的可能要靠AI——因为它是一个巨大的杠杆。任何一个前沿学科需要花二三十年学到最前沿知识，AI可能一夜之间学会，然后继续做新突破。AI会成为一个meta science。

9.2 风险与人类独特价值

风险确实不存在不能说不存在，但可以做很多事（更安全的对齐、更好的社会机制、完成过渡）。放弃AI等于放弃人类文明的上限——不知道上限能做到什么样。但人的独特价值（体验、情感）无法被AI替代。人生的意义可能包括创造、体验和爱——创造中的很大一部分也许AI可做，但生产可以交给AI，人享受生产结果，仍需要社会机制的逐步调整（一二十年渐进过程）。

9.3 世界模型

一种说法是做世界模型是教世界，做AGI是造人。用AI训练AI有点像世界模型的思路——有好的世界模型就能模拟各种情况。这可能是通往更好泛化的可能性。

9.4 next token prediction的本质缺陷

针对张翔宇的观点（模型越大推理能力先升后平缓再下降，倾向跳步不老实）：杨植麟认为确实如果今天不做强化学习，模型很难很聪明，数学题不一定做得非常好。但更大的base模型在强化学习上的上限会更高——因为知识更多，本质是去激活一个推理范式，把知识解锁出来，但需要搭配RL来激活。

方法与步骤

一、K2模型的开发流程

1. 提前一年开始研究候选技术（如Muon优化器），进行早期小实验验证潜力
2. 通过不同规模的scaling实验验证技术有效性
3. 积累数据与环境基建
4. 最近数月决定训练K2，选择要加入的技术组合
5. 按下训练按钮（实际训练时间不长）
6. 训练中处理小规模无法预期的问题（如max logit爆炸）
7. 训练完成后，后续用更多post-training flops压榨性能上限

二、提升token效率的路径

1. 使用Muon优化器（基于矩阵正交化的非Adam优化器），考虑参数间的dependency
2. 通过新提出的clipping方式解决max logit爆炸问题
3. 对高质量数据做改写操作（refresh），提升数据泛化性
4. 通过更大系数度加更多参数，提升token吸收能力

案例与数据

• token效率提升：基于Muon优化器在compute-optimal情况下基本有2倍提升——学一份数据等于别人用Adam学两份数据。假设有30T高质量token，等价变成60T
• 市场规模：头部AI公司ARR达几十亿到上百亿美元，每1-2个季度增长2-3倍
• K1.5 vs K2：K1.5验证了端到端reward而非process reward的价值；K2定位是好的base model加好的Agentic模型
• Claude Code与ChatGPT：作为一方产品的代表案例
• 多模态模型风险案例：MoE中如果20个expert全部做多模态，可能学出“傻傻的多模态”而不是“聪明的多模态”

限制与待确认问题

• 技术细节保密度：部分技术细节（如具体数据改写方式、Agent泛化性的解决路径）未完全公开，写在技术报告中但访谈中没有具体展开
• Agent泛化：仍是一个没有被完全解决的问题，月之暗面解决了一部分，但更多方法仍在探索中
• Long context架构：在保证高智商的前提下支持更长context，仍是需要解决的平衡问题
• Multi-agent系统训练：当端到端reward不够用时，中间的reward如何产生、能否摆脱人工设计，是有待探索的挑战
• 数据飞轮形成时机：基于用户反馈的数据飞轮与基于flops的scaling之间的平衡何时变化，无法确定
• 一方产品与Agent产品公司的边界：最终通用Agent能通用到什么程度不确定，垂直Agent的空间取决于此
• 开闭源策略的具体边界：选择性开源是方向，但哪些开源哪些不开源需要动态观察

总结

杨植麟的创业哲学可归结为“问题不可避免，问题总可以被解决”——AI研发如同攀登无限延伸的雪山，技术范式正从预训练+SFT转向预训练+强化学习，从对话转向Agent。过去一年最重要的进展是强思考推理模型和Agent强化学习的出现，它们共同实现了test-time scaling。

月之暗面通过K2模型验证了非Adam优化器（Muon）在大规模训练中提升token效率的可行性，并正视了Agent泛化这一核心挑战。开源与闭源不是二元对立，选择性开源并持续分享技术是驱动行业共同进步的方式。最终，AI被视为人类文明的放大器，追求的是持续攀登的过程本身，而是不是某一特定终点的抵达。