你好,现实世界——世界模型为AI补上物理课
“什么是真实?你如何定义真实?”上映于20多年前的科幻电影《黑客帝国》的这句台词,正成为人们“拷问”世界模型的问题。
与以ChatGPT为代表的大语言模型不同,世界模型预测的并非下一个词,而是现实世界的下一个状态。换言之,它需要为AI补上时间、空间、因果与物理常识。于是,从视频生成、自动驾驶到机器人技术,几乎所有希望将AI带入物理世界的团队,都在此加紧布局。
短短一年内,世界模型已分化出多条并行的技术路线:被誉为“AI教母”的斯坦福大学教授李飞飞押注空间智能,让机器真正理解三维空间与物体之间的关系;图灵奖得主杨立昆(Yannu0026nbsp;LeCun)则追求可做因果推理、能做长期规划的认知架构……
可以确定的是,讨论的重心已由概念层面转向资本与产业层面。世界模型也不再被寄予成为无所不能的“大脑”的期望,而是被置于具体场景中,作为解决具体问题的工具接受检验。那么,下一步,世界模型将走向何方,距离规模化商业应用又有多远?
10月,南京开幕的2026物理AI与世界模型大会上,梵因动力(PHAIN)展台的工作人员佩戴数据手套进行实时动作捕捉演示。
理解现实世界,真正参与其中
“世界模型”并非新概念。早在ChatGPT问世之初,杨立昆就把世界模型置于自主智能架构的核心,判定纯语言路线的AI永远无法触及人类级别的智能。
世界模型的引爆点,一般追溯至人工智能领域企业OpenAI于2024年发布的文生视频大模型Sora。其生成的视频中,两艘海盗船在一杯咖啡里激战,海浪起伏、光影流转,画面连贯、逼真……Sora一度被定位为“物理世界的通用模拟器”,仿佛已习得世界运行的某种规律。
但今年6月,李飞飞在长文《世界模型的功能分类》中将Sora这类大模型归为“渲染器(Renderer)”,认为它优化的是视觉可信度,而非物理准确性:“它们的输出很美,但你无法信任它们去设计一栋建筑或训练一个机器人。”
技术发展至今,行业也已逐渐形成共识:人工智能作为“大脑”,虽已能在虚拟世界胜任诸多任务,但要真正介入物理世界,仍须依靠机器人等物理实体,通过硬件与真实世界发生交互。世界模型不能停留于对物理现实的简单建模,而需理解其运行规律,并真正参与其中。
具身智能的升温,为世界模型的发展再添一把火。
很长一段时间,具身模型的主流训练范式是行为克隆。“但我们不可能让机器人在现实中摔倒1亿次来学走路。”一位从业者透露,行业高度依赖的两类数据——真机采集与仿真合成——已双双显露局限:真机数据训练出的多是动作模仿,而非基于物理规律的推理;仿真数据受限于平台预设规则,而在家庭等非标准场景,机器人便容易失灵。
“世界模型不仅能补上这两个短板,对数据的包容度也更大。”他打了个比方,世界模型不在意结果是否如意,只关注物体状态如何变化,例如“机器人在端水过程中把水洒了”这样的失败轨迹对于传统模型而言是无用数据,对世界模型反倒有效——机器人能从中学到“手一歪,杯子会掉”这一物理规律。
产业界也已有布局。早在2025年初,英伟达发布Cosmos世界基础模型,将仿真场景扩展为可供机器人与自动驾驶后续训练使用的大规模可控合成世界。Agilityu0026nbsp;Robotics、Figureu0026nbsp;AI等是最早应用该世界模型的一批企业。
有研究者以大语言模型的演进作比,称当下世界模型大致处在“GPT-2到GPT-3之间”:概念很热、演示很强,技术路线却极度分散,标准混乱,离真正的通用物理引擎尚远。

10月,上海开幕的2026全球开发者先锋大会暨国际具身智能技能大赛现场,全球首个基于外科世界模型的人形手术机器人亮相展台。
建立类人的“认知结构”
西湖大学工学院助理教授于开丞与世界模型的交集始于2023年。彼时,ChatGPT风头正劲,他离开阿里巴巴达摩院,入职西湖大学,组建自主智能实验室(AutoLab)。团队利用模型生成高度逼真的行车视频,主动构建恶劣天气、突发事故等现实难以采集的场景,从而填补驾驶模型训练链条中一个长期棘手的数据缺口。2024年,团队在计算机视觉三大会议之一ECCV自动驾驶赛道一举夺冠。
但即便模型能生成逼真的现实场景,也不等于它真正理解了世界。
世界模型的运行,可拆分为三个层层递进的步骤:学习环境规律、预测未来状态、推演动作影响。它们最终服务于AI的规划与决策。动作执行后产生的新观测会再回流到视觉模块,由此构成闭环。正是这个闭环,让智能体获得一项关键能力——在真正行动之前,先在模型内部把后果预演一遍。这与人脑的认知方式、工作逻辑几近一致。
“‘以生成逼真像素来模拟物理世界’这类显式路线,某种意义上是在‘教AI画画’。”于开丞说,AI只是画出了看起来像水的东西,本质上仍不知道水会流动、会蒸发、会结冰。“如果路边临时立起一块手写的‘此处禁止右转’,车辆一般识别不出。因为它从未见过这样的数据样本。”世界模型要应对的场景包含大量意外频发的复杂任务:例如抓杯子时,要拦住某个突然砸来的物体,或需要同时关上旁边的门。此时,它必须在概念空间中推演变化,再将其转化为连续动作,而不是机械模仿既有步骤。
基于这一判断,他不再“教AI画画”。团队转向隐式路线,并在2024年底提出“概念世界模型”:不再消耗巨量算力生成像素,而是把复杂的场景拆解为简约的概念,直接在抽象数学的隐空间(也称潜空间、嵌入空间,指模型把图片、文字等高维数据压缩成一组内部坐标后形成的空间)中理解规律、预判变化、自主决策。
隐式路线的设计,来自于开丞对人的观察:“概念世界模型”能够把复杂的物理环境、物体属性、空间关系及动作后果,拆解为空间关系、接触状态等可复用的物理概念;遇到全新场景时,模型无需重新学习整个场景,而是将已有概念在隐空间中重新组合进行推演——就像人遇见新事物,多半是先观察、试探,与心里的“标尺”相比照,对不上再另立一个新的“标尺”。
“这解决的是物理智能学习成本最高的问题:泛化。”于开丞介绍,团队在2025年内部实验中显示,概念拆解与关联机制建立后,模型在复杂任务上的成功率较传统模仿学习与强化学习基线显著提升,预测成本反而更低。团队由此成为国内少数完成隐式世界模型初步验证者之一。2026年初于开丞创办的西湖数智(Awomo),近期完成累计超1亿元的种子轮及天使轮系列融资。

10月,南京开幕的2026物理AI与世界模型大会上,一台白色RealBOT人形机器人通过GLN远程作业网络完成“温杯、投茶、注水、出汤”全套沏茶动作。
投资快起来,研究慢下来
尽管融资升温、路线分化,但世界模型从描述、理解到落地,仍有一段有待跨过的距离。
北京大学计算机学院教授黄铁军用“盲人摸象”描述眼下的状态:现在各类视觉模型,都处在向一个真正的世界模型靠近的过程中,它们可能各自抓住了某一方面的特征,却又没有抓住全部。如盲人摸象一样,大家摸着耳朵说是大象,摸着腿也说是大象。
不过,寓言里的大象确实存在——把各部分拼起来,全貌便有了。世界模型的难处在于:至今没有人真正见过完整的“大象”究竟是什么样子;更没有公认的方法,能验证所触之物是不是这头“大象”。
“物理世界的基础模型,一定不会从某个具体应用场景里长出来。毕竟,人并非生下来就会开车,而是先成为‘人’,再去学开车。”于开丞坚信自己科研路线是正确的,但也承认“概念世界模型还在非常早期的阶段,需要持续优化效率、增加训练数据量、与下游任务更好结合的同时,还要构建一个更靠谱的评测方式”。
其中,数据层面的首要难点在于:尽管有海量视频,但视频中的绝大部分像素属于背景,这些背景像素与物理因果无关。用视频训练世界模型,相当于要求模型从数百万像素里挑出与因果真正相关的那一小部分,“采集成本不低”。
更根本的是,物理理解并非仅靠观察即可习得,而是源于经验。真实世界中的物理规律,显现于人与物体的交互之中:一个孩子之所以知道玻璃杯落地会碎,不仅因为见过,更因为失手摔过——他感受过力的传导,听过碎裂的声响,也见过碎片飞溅的方向。
“所以,我们既要‘快起来’,也要‘慢下来’。‘快起来’,是指资源投入和进展节奏必须加快;‘慢下来’,是指绝不能因短期利益而做损害模型长期演进的事。”在于开丞看来,世界模型“不是一门快速变现的生意”。
他的团队致力于研发一种能像电流一样流淌进汽车、机械臂、人形机器人的智能“大脑”。依托这一通用模型基座,下游开发者不再需要采集百万小时级数据,可能仅需20至30小时后训练即可快速定制特定领域的模型。“目前团队正进一步构建千万级的物理交互轨迹数据集。我们希望概念世界模型并非单一场景的定制化方案,而是可复用、可迁移、可迭代的通用技术底座。”
“看得懂”,是让模型具备基本理解能力;“想得明白”,是让模型具备对未来的推演能力;“做得明白”,则是让模型真正能利用“看”和“想”,帮助智能体最终落地为有效应用——世界模型与现实世界的对接,靠的正是这样的积累。
“站在公众视角,技术是突变的;但在行内人看来,技术永远都不是突变的。它可能只是突破了一个所谓的临界点,突然就从‘不能用’变成‘能用’了。作为积累者,我们不能着急,也没法着急。”面对融资热,于开丞也坦言:“今天的高估值,只能说明这个方向被看见了,说明不了谁做对了。最后的赢家不是故事讲得最好的人,而是要看谁先让模型真正理解物理世界。”

10月,南京开幕的2026物理AI与世界模型大会上,徐工集团(XCMG)展台核心展区展示“虚拟场景验证”驾驶模拟系统,直观呈现通过数字孪生技术在虚拟空间中完成无人装备的算法训练与场景验证。
链接
世界模型分类一览
“世界模型”大概是近年来AI领域里最热也最混乱的概念之一:渲染引擎宣称在构建世界、视频生成模型主打模拟世界、机器人企业强调预测世界。大家似乎都在用同一个词,说着不完全相同的一件事。
6月,李飞飞在个人社交媒体平台Substack发布一篇文章《世界模型的功能分类法》,将当前实际在落地的大部分世界模型技术划分为3个功能类别:
第一类是渲染器(Renderer),输出观测,如像素、视频帧等,回答“我会看到什么”。典型代表是文本转视频模型、Googleu0026nbsp;Genieu0026nbsp;3、Worldu0026nbsp;Labs的RTFM。其追求视觉逼真度,但没有显式3D结构理解,好看不等于物理正确。
第二类是模拟器(Simulator),输出状态,如几何、物理、动力学层面的世界表征等,回答“世界实际上是什么”。典型代表是物理引擎、工业数字孪生、机器人训练场。其追求结构与物理精确度。
第三类是规划器(Planner),输出动作,回答“下一步应该做什么”。典型代表是具身智能中的VLA(视觉-语言-动作模型)、Worldu0026nbsp;Actionu0026nbsp;Models(世界行动模型)。其令人兴奋但也离真实部署最远,目前多局限于受限的实验室环境。
三种分类界限清晰,分类的底层逻辑是同一套关于世界如何运行的几何、物理与动力学知识。理论上,一个能够从任何角度渲染杯子的模型,也应该能够模拟杯子被推倒时会发生什么,并规划出一只手去把它捡起来。越来越多最前沿的研究正在有意模糊这三者之间的界限。
北京智源人工智能研究院由北京大学、清华大学、中国科学院以及百度、小米、字节跳动等高校、科研机构与顶尖科技企业联合共建。2026第八届北京智源大会上,该研究院院长王仲远指出,现有世界模型技术路线分为4类。
第一类是以语言为中心,包括VLM(视觉-语言模型)、VLA(视觉-语言-动作模型)。模型可以在文本空间中预测下一个词,学到的是语言描述的世界,并不能理解背后的物理后果。
第二类是以像素为中心,如视频生成类模型。模型在视频空间中学习视频或图像,学到的是像素描述的世界。
第三类是以三维结构为中心的世界模型,包括3D重建以及李飞飞团队的Worldu0026nbsp;Labsu0026nbsp;Marble模型。不过需要指出的是,模型重建3D空间不等于理解世界,几何结构也不代表物理状态。
第四类是以视觉表征为中心,比如杨立昆团队的JEPA(联合嵌入预测架构)系列模型,预测的是视觉表征的压缩,但视觉嵌入演化不等于物理规律演化。
(记者 谢丹颖 整理)
