AI 如何理解真实世界 · 四大世界模型路线

AI 世界模型 · 深度科普

AI 如何理解真实世界？

如果给你 100 亿元，让 AI 看懂真实世界，你会怎么做？

有四种截然不同的花法，也对应着今天世界模型赛道上最受关注的四大门派。它们各持利器，却各有难解的死结。

✦ 一个百亿美元的问题 ✦

投资人提问你想让 AI 理解真实世界

如果钱不是问题，四条路选哪条才是“关键先生”？

1把全世界视频都喂给它，学习人类拍过的一切

2在电脑里建上亿个 3D 世界，让它自由探索创造

3不生成画面，只让它抓住世界最关键的变化

4直接装上手和脚，在真实场景中反复练习

四大门派 · 对号入座

🎬 视频生成派 OpenAI Sora · Google DeepMind 等

🏗️ 3D 构建派李飞飞 · World Labs（Marble）

🪄 抽象结构派杨立昆 · Meta V-JEPA 2（JEPA 路线）

🤖 具身行动派机器人公司 · Physical AI 研究者

🎬

电影导演派

视频生成

“视频生万物” OpenAI Sora · Google DeepMind

真实世界就是连续画面，预测“下一秒会变成什么样”

✓表面在预测下一帧，实际在总结世界规律：球踢出会滚、杯子碰倒会掉、人走到墙后还会再出现。

✓能生成连贯动作，并能根据操作实时改变画面。

✗“看起来像真的”不等于能拿去行动。会生成机器人端杯视频，不代表知道机械臂该左移 3cm 还是右移 2cm。

✗光会看不等于会做；而且现实世界不是 2D 平面，而是立体空间。

硬伤：擅长生成“关于世界的想象”，很难变成精确动作指令。

🏗️

3D 建筑师派

3D 世界构建

“生成可进入的世界” 李飞飞 · World Labs（Marble）

从“播放录像”升级成“可进入、可探索的游戏地图”

✓可以往前走、转身、绕到物体背后，空间是持续存在的。

✓桌子不会因镜头转开就消失；房间不会莫名多扇门。

✓对机器人特别重要：得知道门在哪、桌子多远、身体能否穿过。

✗空间稳定不等于物理正确。游戏里椅子可能轻如纸，墙壁永远不倒。

局限：解决“东西在哪里”，不一定解决“碰一下会发生什么”。

🪄

抽象结构派

JEPA 路线

“抓重点，不执着像素” 杨立昆 · Meta V-JEPA 2

最反常识：不执意生成未来画面上的每一个像素

✓案例：踩到香蕉皮身体后仰。视频模型关心头发怎么飘、几条褶皱、影子方向；JEPA 抓住核心：失去平衡，大概率会摔倒。

✓像学生不背课文，但牢牢把握中心思想。

✓用大量普通视频学运动规律，再用少量机器人视频完成“行动迁移”。

✓面对陌生物品，能预测不同动作的结果，再选择抓取和放置。

✗难的是判断“什么是重点”，它会随场景变化。

同一个杯子：想拿起来喝，细纹无足轻重；倒开水时，细纹可能意味着杯子要裂。AI 要动态判断“结构重点”和“无关细节”。

🤖

行动派 · 具身控制

身体真正动起来

“最后的接线员” 机器人公司 · Physical AI

前三派研究“如何表示和预测世界”；这个门派研究“身体到底该怎么动”。内部又分两路：

A. 直接动作流（条件反射式）

✓看到画面、听到指令，输出机械爪或关节控制信号，不需要脑内预演。

✓像人类练投篮：练得足够多，身体直接反应。

✗痛点：机器人身体、关节、摄像头不同，动作很难跨硬件复制。

✗看似会做家务，可能只是在“精心布置的固定场景”里排练了无数遍；桌子、衣服、摄像头一变，成功率大幅下降。

B. 先想再动流（真世界模型派）

✓AI 预测“动作生成的未来状态”，比如伸手会不会碰杯、抓取会不会滑落。

✓多个候选动作先在内部世界试一遍，选风险更小的一种。

✓既能条件反射地快速处理简单动作，又能在复杂或陌生场景里做世界模型推演。

✦ 四大门派各研究什么？ ✦

🎬 视频生成派世界看起来会怎样演变

🏗️ 3D 搭建派世界在空间中怎么存在

🪄 抽象结构派哪些变化才真正重要

🤖 具身控制派把预测变成真实动作

谁会赢？也许不是“四选一”

未来的 AI 很可能这样拼成： 用视频获得动态经验 用 3D建立空间认知 用 JEPA 式抓住重点 再接到机器人的身体上

真正的“理解世界”，不只是生成一段看起来真实的视频；而是机器人伸手抓杯子时，知道杯子在哪、该用多大的力；一旦杯子开始滑落，还知道下一秒该怎么办。

🏁

真正的比赛标准

谁能让现实少犯一次错

记住这几句

“光会看，不等于会做。 “空间稳定，不代表物理正确。 “有些模型不急着生成完美视频，却更会帮机器人做决定。 “谁想象的未来，能让机器人在现实中少犯一次错？