Kimi K3 技术拆解 | 长图笔记

导读

K3 是有效扩展到 2.8T 总参数、激活参数约 100B 的多专家混合模型，上下文长度达百万级，且已全量开源。

本期内容围绕三条主线展开：嘉宾的线性注意力研究脉络、DeepSeek 系列架构设计的关键决策、训练与推理系统优化的隐性功夫。

核心观点

「模型参数量是智能提升最本质的因素，架构改进带来的性能收益远小于参数增长。」

孙宇涛 · 清华计算机系博士候选人

混合注意力虽是架构上的权衡，但从最终表现看并非权衡——保持一定全注意力比例可获得无损甚至更好的长上下文表现。

纯线性注意力在长上下文中无法匹敌全注意力性能，已是业界共识。

深度学习时代研究导向已从「以性能为导向」转向「以效率为导向」。

大模型可能没有突破性的创新了，后面都是改良式的进步。只要一个能力能被 well-defined，它就能被达到；AGI 最大的问题是它没有被 well-defined。

01嘉宾研究脉络：从线性注意力到 K3

STEP 1 · 线性注意力

提出基于核的线性注意力计算形式，核心创新是块递归计算范式——在并行全注意力与全递归形态间取权衡，整体计算复杂度更低，且内核层面可调用张量核心提升局部密度。

STEP 2 · 混合注意力

发现混合注意力实验上可获得无损甚至更好的长上下文表现，被业界大规模采用。但推理加速比与混合比成正比，上限有限。

STEP 3 · YoCo

KV cache 无法在 token 维度省去，改从层间维度省——所有层共享一份 KV cache，保留多层交叉注意力计算结构，将计算与存储解耦。

STEP 4 · UniCo

将循环单元只放在线性注意力部分，避免 cache 存储随深度增长的问题。约两倍计算强度获得约两倍性能提升，存储与 cache 保持原模型水平。

STEP 5 · Kdelta Attention

从 RetNet → Mamba → Delta Net → Gate Delta Net 演进而来，核心是将衰减项从标量升级为 逐通道，模型能力上限更严格，代价是 kernel 编写更难。

        LoRA 存在的原因： 算法层面防衰减过快；实现层面与 kernel 配合——对 Q/K 做衰减倒数变换，用绝对位置表示相对位置，控制 BF16 动态范围。
      

02DeepSeek 架构设计的关键决策

LATENT MOE · 通信优化

将 dispatch state 缩减（2倍/4倍），同时提升 MFFN 参数量、增加专家与激活来弥补。

        推理收益 > 训练收益：通信开销在训练中可用 overlap 弥补，但在推理 critical path 上无法完全掩盖。
      

训练稳定性

两个矩阵连乘优化上不等价，中间需加 RMSNorm 等 normalization。

FFN 中间激活易 explode，低精度下更严重。Hard clip → Soft clip → H 算子平滑截断。

任何优化器都可能出现 outlier，应从模型架构入手严格限制，而非在优化器层面解决。

负载均衡 · BAL 方案

苏建林博客中的 bal 方案通过 bias 单变量控制，直接推导闭式形式，无需调参、更 principled，也不存在 loss-free 前几层失效的问题。

大 batch 下计算精确分位数不可行，实践中分桶直方图（0~1 切 N 桶）做近似，常数内存、易分布式扩展。

初始化 · from scratch 更优

用已有 VAE 初始化不稳定性更高，直接 from scratch 训练不损最终效果甚至可能更好，梯度 norm 更稳定。V3 未采用已有 VAE 初始化。

不使用 Sparse Attention 的原因

sparse 求 index 开销在 Blackwell 上非常昂贵

hybrid attention 层间稀疏索引共享困难

sparse 几乎无法 from scratch 训练，通常需 post-train 转换

位置编码 · NoPE 的胜利

hybrid attention 下线性注意力已引入位置信息，全注意力部分去掉 RoPE 改为 NoPE，提升长上下文扩展性且无需调参。

        RoPE 带来的是 recent bias，不是长文能力，甚至损害长文效果。推理测试中效果明显、复现有效。
      

03训练与推理系统优化

MTP / DRAFT MODEL

利用大模型中间 hidden state，让小模型更小或在同等参数下提高接受率。N-gram 可替代传统 prediction，使验证时对得更齐，提升接收效率。

DEEPSEEK EP 方案

传统 EP 两个问题：① 各 GPU token 数不均导致互相等待；② 通信前需额外告知接收数量。

DeepSeek 方案：少量冗余专家 + online planning，可数学上证明所有卡 token 数完全对齐。

K3 大规模 OFFLOADING

中间计算 offload 到 CPU，可 offload 的内容用 bf16 存储省一半内存

满足计算通信 overlap 的不等式条件

因使用 latent attention（MLA）通信开销极小，推理 critical path latency 免费

PP 气泡优化 & 多模态

MoE 训练中采用 do 策略缓解 PP 气泡与不均匀问题

K3 将 vision encoder 放在 PP 中间/尾部，利用闲置时间提前计算 vision 步骤

K3 激活规模 100B 级别，比上一代多三倍以上

LINEAR ATTENTION 的 CP 方案

chunk 可任意拆分且数学等价，做层次性双重复用：不同机器间外层 chunk（8K/卡），机器内 kernel 层内层 chunk（16），组成大规模 CP 方案。

关键数据

总参数2.8T（约 V2 的 3 倍）

激活参数100B（V3 为 32.6B→104B）

上下文长度1M 百万级

综合效果约 V2 的 2.5 倍

混合注意力比例约 3:1（全注意力 1/4）

训练精度高精度预训练 + SFT 引入 W6C8

金句时刻

「如果 MQA 不是特别大的问题，能跑的东西就不要动——工程上能跑的东西，暂时就不会动。」

工程务实原则

「优先保证训练结果，低精度量化可在 SFT 阶段引入——from scratch 引入无增益，却有高风险。」

训练精度策略

「科学研究不存在阶跃性提升，只是大家习惯把技术渐进提升的某些节点称为 milestone。」

对当前 AI 研究节奏的判断

「模型 size 不可能无限增大——互联网上可集结的人类信息量有限，从数学理论上，模型没必要无限大。」

关于模型规模的边界

团队文化 · Kimi 风格

「好的人和好的组织文化想达成，是有历史局限性的。Leader 的 taste 和性格会极大影响整个团队氛围。」

Kimi 的特点：所有人都不怕杨植麟，谁有道理谁说了算。它是一个集体的工作，不依赖于个人英雄主义。

行动建议

关注 MoE 架构时，把「推理通信开销」放在首位评估，而非仅看训练效率。

追求长上下文能力，考虑混合注意力而非纯线性注意力。

低精度量化优先在 SFT 阶段引入，确保预训练结果优先。

考察开源模型时，关注激活参数规模——它比总参数更能反映推理成本。

不要迷信单一架构创新，综合效果来自数据策略、训练 recipe 与系统优化的合力。

K3 的意义不仅在于参数规模的领先，更在于它系统性地展示了：当模型架构（MoE + 混合注意力 + MLA）、训练策略（高精度→低精度量化）、系统优化（EP/PP/offloading/CP 全链路）被同时推进时，一个开源模型能走多远。

Kimi K3 技术报告深度拆解