英伟达 Cosmos 实验室副总裁刘明玉深度访谈笔记

深度访谈 · 人物笔记

英伟达 Cosmos 实验室副总裁
刘明玉

从 GAN 到世界模型，为物理 AI 铺路

刘明玉，英伟达研究副总裁兼 Cosmos Lab 副总裁，任职近十年，是英伟达首位从研究员成长起来的研究 VP。他带领团队从早期的 GAN 研究出发，逐步构建出物理 AI 基础模型 Cosmos。本次访谈全面回溯了他的职业轨迹、关键决策、技术理念与他对 AI 未来的判断。

人物速写

80~90

直接管理团队（人）

200~300

Cosmos 整体规模（人）

身份｜英伟达研究副总裁、Cosmos Lab 副总裁

经历｜留美约 20 年，英伟达近 10 年

殊途｜首位从研究员成长起来的英伟达研究 VP

职业生涯：关键节点

台湾交大

学无线通讯，大三决定赴美深造

在台湾 Intel 实习一年后，前往美国马里兰大学攻读博士

马里兰大学博士

最初计划研究量子通讯，后转向计算机视觉

毕业那年恰逢 AlexNet 问世，开始自学深度学习与生成模型

2012 - 2016 ｜三菱电机研究院

研究传统视觉与生成模型

每次向 Manager 申请 GPU 经费，Manager 都会用部分资金买入英伟达股票

2016 ｜加入英伟达

研究院当时不足百人，主要从事图形研究

成为最早使用大规模 GPU 做生成式网络的研究员，组建 Deep Imagination Research

2021

评估 GAN 不具可扩展性，转向 Diffusion 路线

2024 年 3 月

Cosmos 世界模型立项（Sora 发布之后）

2024 年 10 月发布第 2 代；第 3 代于 2024 年 10-11 月启动，历时超过半年

2024 年初

Cosmos 脱离 research 体系，向公司 Software 负责人直接汇报

三大关键决策

① 加入英伟达，而非谷歌 / 苹果 / Meta

三菱长线导师离职的契机让他重新思考。核心逻辑是：“既然数据不需要标注，我就去有算力的地方。”加入生产 GPU 的公司是当时最稀缺资源的直接选择。

② 从 GAN 转向 Diffusion

2021 年，团队评估后认定 GAN 不可扩展，果断转向 Diffusion 路线。他早期主导了 GauGAN 等生成式 AI 项目，但认为 GAN 在规模化上难以为继。

③ 从 22 个模型收敛为 1 个

第一版 Cosmos 计划需要 22 个模型，最终收敛为单一模型 Cosmos 3。转折来自黄仁勋用“便利店减少商品陈列反而提升销售”的类比启发——不要用过多模型让用户困惑，维护成本也过高。

Cosmos 世界模型

定位：物理 AI 基础模型（World Foundation Model），同时接受语言、视频、音频与动作输入

团队规模：约 290 多人，论文作者接近 300 人，是英伟达首个将多个独立模型团队合并训练单一模型的项目。

运算成本：每天数百万美元（算力 + 存储）。

技术特点：双塔架构——离散塔处理理解任务，连续塔处理生成任务，便于客户分开使用。action 被视作 first-class citizen，因为物理世界的 agent 会 take action 并改变世界状态。

多模态融合互惠：视频帮助动作训练；声音帮助视频生成确定接触时间点；详实的文字描述有助于生成更好的视频。通过实验设计和 beta 比例调整让信号互补而非互斥。

数据策略：优先收集异构数据，包括第一人称视觉和手部操作数据。机器人操作数据因机械臂形态差异较大而更复杂。

世界模型 → 物理 AI 的三条路径

路径 01

更好的数据

生成真实世界中缺失采集的场景，为训练提供更高质量、更丰富的数据源。

路径 02

更好的起点

预训练世界模型之后，其内部表征可作为策略模型的前置起点，帮助模型更快学会物理世界的规则。

路径 03

更好的环境

构建多个真实无比的可交互虚拟环境，让智能体在仿真中加速学习，跨越 sim-to-real gap。

英伟达文化与组织

不裁员，没有末位淘汰制。核心信念是“信任很重要”——没有末位淘汰，大家才敢讲真话，才愿意团结合作。

mission is the boss：资讯透明，以使命驱动而非管理层级驱动。

造市场而非存量竞争：英伟达的 AI 市场策略是“造市场”（如 CUDA），而非在既有市场份额中搏杀。“我们没有打算把别人杀死，我们的心态是怎么去造市场。”

生态导向：早期是 design house，没有消费产品，依赖生态伙伴合作，坚持 take care of all，帮助客户成功。支持 PyTorch、TensorFlow、MXNet 等多种深度学习框架，形成共赢模式。

CUDA 无末位淘汰 mission is the boss take care of all design house

黄仁勋：六边形战士

老黄被团队称为“六边形战士”——既能深入技术细节（如 register 级的计算机架构），也擅长高级市场营销、定价与客户关系，极具热情。

第一性原理：用第一性原理把事情的本质理清，不受外界讯号干扰。早在深度学习成为共识前就敢 All in deep learning，让公司获得巨大的领先优势。

鼓励式批评：批评时总带着鼓励，目标是让每个人做出伟大（everybody do greatness），强调不找借口。“找理由是没有用的，就应该 give everything you have。”

没有什么是公平的——are you a baby? 黄仁勋（老黄）

金句集锦

如果我不能创造，我就不能理解。刘明玉引费曼名言

既然数据不需要标注，我就去有算力的地方。刘明玉谈加入英伟达的核心逻辑

自己做的有 100 分，但解释只有 10 分，别人看到的就只有 10 分。刘明玉谈研究者表达能力的重要性

策略往往关乎着你决定你可以放弃什么东西。如果你什么都不愿意放弃，就会打得很辛苦。刘明玉谈战略取舍

我们的目标不是去追求 AGI，而是帮助使用者成功；帮助大家赢，而不是自己产生一个可以做很多事情的模型。刘明玉谈 Cosmos 的定位

大家的讯号都描述同一个世界，都含有这个世界怎么运作的资讯，应该有一种方式让它们合在一起，互相帮助更多讯息。刘明玉谈多模态融合

英伟达不裁员，因为信任很重要；没有末位淘汰，大家才敢讲真话，才愿意团结合作。刘明玉谈组织文化

物理 AI 的核心是泛化——从有限信号学到操作并应用于新场景。刘明玉谈技术本质

模型能力会慢慢收敛，大家都会差不多——纯粹靠模型是不够的，要跟公司其他的异构系统结合在一起。刘明玉谈模型竞争终局

具备 number one 的能力，但做出对这个世界贡献最大的事情。刘明玉谈科学家的价值

物理 AI 与未来

下一个重大目标：物理 AI。世界模型是推动其成功的关键。希望五年后能明确说出物理 AI 发生的时间与地点。

2026 年将是巨变之年：大模型公司上市（xAI、OpenAI 等）将创造富翁，但科技会持续创新，技术本身会继续演进。

模型能力统一：模型能力会逐渐统一，区分靠生态和综合能力，关键是你拿它干什么。端侧模型爆发与物理 AI 时期相近。

中国力量：中国模型发展（DeepSeek、千问、豆包、MiniMax、MoE 等）令人印象深刻；中国机器人公司在硬件和软硬整合上有优势，美国缺少本体公司。

AI 与英伟达：从没有人把两者联系到一起，到全世界都把英伟达与 AI 连接在一起——这是巨大的变化，一切都是没有预期到的。

个人习惯：凌晨 4-5 点起床，9-10 点到公司，晚上 10-11 点睡觉。喜欢牛肉面、湾区天气和金庸小说，曾习武术。

给年轻研究员的建议

不要紧张，冷静看待投入方向，物理 AI 是蓝海时机。
迭代速度最重要，好数据和基础设施可加速算法迭代。
能用数据解决就不用算法。
不是每家公司都需要训练自己的大模型——不需要自建电厂。
模型竞争不应是“鱿鱼游戏”，世界问题多样，可提供的价值很多。
研究的茂盛程度，取决于 idea 多快从一个人的脑袋流到另一个人的脑袋。

早年的自己追求“比编得好”；后来的自己理解了：帮助别人、让大家都变好，是另一种更重要的证明价值的方式。重剑无锋，大巧不工——很扎实地一步一步把东西做好。

一点总结

刘明玉的职业生涯展现了一条清晰的路径：看懂趋势、果断转向、放大格局。从 GAN 到 Diffusion，从 22 个模型到 1 个统一模型，从追求个人领先到推动生态成长，他始终在做“下一代”的事。正如他所说，最接近世界模型终极样子的，就是有能力随时做出一个《黑客帝国》式的矩阵。而物理 AI 的未来，或许正在这些扎实的实验中生长出来。