vLLM创始团队深度对话

人物速览

姓名尤凯超

身份inf 联合创始人兼首席科学家

背景清华本科+博士，2019 年清华特奖

方向从算法研究转向机器学习系统工程

角色vLLM 核心成员（第四位）

本科 36 门课程 4.0，大一曾给老师发一百多封邮件请教。2019 年暑期赴 UC Berkeley 研修，在杨老师（Ion Stoica）鼓励下转向系统方向。

关键数字

1.5亿

美元种子轮融资

2000+

GitHub 贡献者

约40

公司团队人数

300+

支持模型结构

治理结构：4 人核心决策层 → 约 10 人日常维护 → 几十名 committer → 2000+ 贡献者。

成长时间线

高中

通过学堂在线学习大学物理和 Python，第一次认真学编程

清华本科

36 门课程 4.0 · 物理竞赛省一等奖 · 2019 清华特奖

2019 暑研

UC Berkeley Michael Jordan 组研修，结识李卓翰，受杨老师鼓励转向系统方向

2020

读博 · 开发开源强化学习系统「天授」，参与 OpenLab / PyTorch 贡献

2024

赴伯克利交流，加入 vLLM 核心，V0→V1 重构 · 年底回国

2025

成立 inf 公司 · 从零搭建中国社区 · 完成种子轮融资

从算法到系统

算法研究阶段，成果多为「锦上添花」——提升 1-2% 准确率，但被更大预训练模型取代

三重驱动转向：① 学术审稿质量下降 ② 算法依赖大规模系统与数据 ③ 旷视张翔宇介绍硬件与软件联合设计挑战

与翁佳艺合作开发「天授」（2020），早期开源社区贡献者

算法能否被系统高效实现，决定它能否留下来——这就是"系统彩票"。

V0 → V1 重构

核心目标：应对模型和硬件快速发展对推理引擎的新挑战

类比：火电→新能源发电。「插头插上去就能用」，但背后工作原理巨变

vLLM 的职责：屏蔽复杂度，提供统一体验

最难点：保持用户兼容性

          PagedAttention 借鉴操作系统虚拟内存管理 KV cache——这是 vLLM 的核心算法起点。
        

DeepSeek 合作

2023-2024 年：DeepSeek 内部使用 vLLM，并做了自研优化变种

2025 年 1 月：R1 发布，推理优化远超 vLLM 团队自身的工作

vLLM 团队经历了「不断学习」的过程

2025 年 7 月：中国开源模型集中爆发，随后有 DeepSeek V4、MiniMax M3

DeepSeek 的 Infra 团队属于全球顶级水平，自建机房的深度控制力是成功关键。

社区治理

治理模式：BDFL（仁慈的独裁者）——少数核心决策者拥有最终拍板权

层级：4 核心 → 10 维护者 → 几十 committer → 2000+ 贡献者

2024 年底捐给 PyTorch 基金会，成为顶级项目。基金会不参与技术治理，但保证始终开源

2025 年 GitHub 活跃度最活跃项目，但出现「垃圾 PR」问题——培训机构用无意义 PR 包装学员简历

编码代理让代码变得极其廉价。未来开源社区会更重视反馈——用户提交 bug 和 feature request，维护者自己写代码。

创业之路

杨植麟持续主张：「必须有公司支持项目才能长远发展」（类比 Linux+Red Hat、Kubernetes+Google）

拒绝顶级大厂「每人年薪 2000 万美元」的挖角，无人犹豫

最摇摆的核心成员（FlashAttention 作者之一）曾被 xAI 邀请，最终被一句话打动

2025 年年中成立公司，投资人「钱已准备好了」

「你如果不跟我们一起创业，你赚到了很多钱，但十年之后为什么项目失败了，你是开心还是不开心？」

— 打动核心成员的一问

四人分工：本人早定（接 Berkeley 博士后 offer）、Simon 早有创业经验、另一位摇摆后加入、访谈者组织中国社区
成立原因：集群优化需稳定人力、NDA/法务主体、算力资源——「没有公司无法继续」

技术洞察

硬件彩票：摩尔定律黄金时代结束，算力进入专用时代，算法不适配硬件就吃不到红利

Transformer 抽中了 GPU 彩票——大量适合并行的矩阵乘法

算法与硬件理想是 codesign，但现实是硬件已定型，算法需主动适配

训练与推理开销已达 1:1，推理开销持续增长

算力供不应求 + 算力特化：模型必须主动适配硬件

DeepSeek 的 DeepSpark 创新点有限，但扎实的推理优化将算法压榨到极致——创新落地为生产力的关键

投机解码：猜测多个 token 再验证，将逐 token 解码变为分段预填充

针对 MoE 三大挑战：细粒度专家、动态 Token 选择、专家并行通信

模型的结构决定了推理效率的上界。上界太低，系统工程师就无力回天。

行业判断

开源模型最终会赢：用户使用模型后，自身数据足以训练新模型，模型无法长期隐藏

护城河来自快速迭代，而非单一技术壁垒

中国顶级模型走开源路线，扛起开源大旗；美元顶级模型（OpenAI、Anthropic）闭源

公司业务重心主要在北美市场

当前行业竞争白热化，并非入行最佳时机；从第一性原理出发想清楚，结局通常不会太差

算力供不应求的时刻，效率与效果不矛盾——提高生产效率是供给侧的义务。

金句墙

「只要你是一个好的软件，总会有人用的。」— 杨老师（Ion Stoica）

「你可以说我不创新，但你不可以说我的东西没有用。」— 系统研究贡献可客观量化

「清华是舞台，但不要只做观众。」— 谈清华特奖与本科生

「你赚多少钱，如果 vLLM 项目失败了都不会开心。」— 劝说核心成员加入创业

「即使创业失败，最坏也不过是少拿几年工资。但不创业，vLLM 无法长期发展。」— 创业决心

「token 是带着模型的烙印的，它不是像电一样的 commodity。」— 谈 token 的特殊性

「AI 可以帮我们走完 90% 的路程，但还有 10% 的关键画龙点睛，需要人提前预判和顶层设计。」— 谈人与 AI 协作

「从文艺复兴以来，人类技术是指数增长。AI 意味着我们第一次可以站在所有人历史经验之上继续增长。」— 展望未来

尾声

从算法研究到机器学习系统工程，从开源社区到创业公司，vLLM 团队踩中了 AI 基础设施的关键节点。

          理想状态下，硅基智能提供大规模执行能力，人类提供灵感与洞察，二者共同让世界更美好。
        

vLLM 创始团队深度对话

vLLM 创始团队
深度对话