东吴证券-4D世界模型深度研究报告

-点击蓝字丨关注我们

智物发展｜简介

AIOT Development

Introduction

////

上海洲铂智能科技发展有限公司（智物发展｜AIOT Development）是基于大数据的产业服务平台。平台围绕区域经济发展需求提供一站式服务，拥有全球合作资源优势，聚焦“创新创业、产城融合”，通过开展区域产业研究与规划、高层次人才引进、产业导入、科创中心建设运营、总部经济和企业服务等业务，致力于打造“人、产业、城市”三位一体、高度融合的全新生态体系。

东吴证券-4D世界模型深度研究报告

文末附有报告全文链接，欢迎大家下载阅读！

1 世界模型定义：同名异义背后的共同问题

从表征、网络结构、训练范式，到 LLM、VLM、VLA 与端到端系统，世界模型正在成为连接数字 AI 与物理 AI 的重要概念。其特殊性在于，不同场景都关注世界模型，但定义口径、技术目标和落地方式并不相同。

1.1 概念溯源：三条相互独立的脉络

1.1.1 认知科学脉络：内部现实模型

英国心理学家Kenneth J. W. Craik 在《The Nature of Explanation》中提出，认知系统可携带一个“小尺度的现实模型”：若有机体在内部表征中携带外部现实及自身可能行动的小尺度模型（small-scale model），就能尝试不同备选方案、判断何者更优，并在未来情境发生之前作出反应。需注意，Craik 使用的术语是small-scale model of reality / mental model，并未使用world model 一词，属于思想源头而非术语源头。

早期实验心理学证据：美国心理学家Edward C. Tolman 在《Cognitive Maps in Rats

and Men》（The Psychological Review, 1948）中提出动物会形成认知地图（cognitive map），这是内部环境表征思想在实验心理学中的早期证据，同样未使用world model 一词。

1.1.2 控制论/系统动力学脉络：全球系统动力学仿真

MIT 系统动力学创始人Jay Wright Forrester 在《World Dynamics》1971 中提出名为World2 的全球系统动力学仿真模型，整合人口、资本投资、自然资源、污染、粮食生产五大反馈部门；后续Donella & Dennis Meadows 在此基础上构建World3，用于罗马俱乐部《增长的极限》（The Limits to Growth, 1972）。这是world model 作为具体计算模型被正式命名、广泛使用的早期节点。需区分的是，Forrester 语境下的world model 指全球尺度社会经济系统仿真，与AI 语境的world model 属于同名不同义。

1.1.3 强化学习/AI脉络：环境动态预测模型

术语在AI 语境的首次明确使用，可追溯至Jürgen Schmidhuber 1990 年技术报告，FKI-126-90，TU München。该系统由控制器controller 与世界模型world model 两个循环神经网络组成：世界模型学习预测控制器动作的后果，控制器据此向前规划若干时间步，即如今所称rollout，并选择能最大化预测累积奖励的动作序列。

David Ha与Jürgen Schmidhuber 2018 年论文《World Models》推动该术语在深度学习领域普及。其认为世界模型可用无监督方式快速训练，学习环境在空间与时间上的压缩表征；智能体甚至可以完全在世界模型生成的虚拟环境中训练，再把策略迁移回真实环境。该论文采用V（视觉，VAE）+ M（记忆，RNN/MDN-RNN）+ C（控制器）架构，并配以可交互网页，使world model 一词在深度学习社区迅速流行。

1.2 口径辨析：“谁第一个提出”与“谁让它流行”

三条脉络的关键辨析在于：其一，认知科学的mental model、控制论的world model、深度学习的world model三者在用简化内部模型表征与预测外部现实这一抽象层面相通，但具体所指不同；其二，在AI语境下，术语首次明确使用应归于Schmidhuber在1990年，使其在当代深度学习界广为人知的是Ha&Schmidhuber在2018年；其三，Schmidhuber近期在2025年11月公开平台多次主张其1990年工作的历史优先权。

2 各方图谱：世界模型在数字AI与物理AI中同时升温

2.1 数字AI领域

国际主体方面：OpenAI Sora 技术报告标题为《Video generation models as world

simulators》，官方用词为world simulator，并将3D 一致性、物体永久性等称为纯粹的规模化涌现现象。Google DeepMind Genie 3 定义为a general purpose world model，可实时以24fps、720p 导航并保持数分钟一致性；DeepMind 官方定位世界模型是通往AGI 的关键基石。

World Labs，李飞飞创业公司，定义为构建能感知、生成、推理并与3D 世界交互的前沿世界模型，定位为空间智能公司，首款产品Marble 生成可漫游3D 世界。

Runway General World Models将世界模型定义为一种构建环境内部表征、并用其模拟未来事件的AI 系统，2025 年12 月落地GWM-1。Meta V-JEPA 2 定义为首个在视频上训练的世界模型，强调理解、预测、规划三能力，主张学习抽象表征而非像素重建。Microsoft Muse/WHAM 可运行于world model mode，成果发表于Nature。Decart、Odyssey 等以实时或可交互3D 世界为主。

中国主体方面：腾讯混元3D 世界模型HunyuanWorld，官方称业界首个开源可沉浸漫游、可交互、可仿真的世界生成模型。昆仑万维Matrix 系列，Matrix-Game 2.0 称业内首个通用场景下实时长序列生成的开源交互式世界模型。生数科技首席科学家朱军称通用世界模型是连接数字世界与物理世界的桥梁，并开源世界模型Motus。爱诗科技/PixVerse R1称全球首个支持1080P 的通用实时世界模型。

2.2 物理AI领域：自动驾驶

国际主体：Wayve，英国，GAIA-1/GAIA-2 官方定名为用于自动驾驶的可控多视角

生成式世界模型，用于合成稀有和安全攸关场景。NVIDIA Cosmos World Foundation Model，黄仁勋称世界基础模型对推进机器人与自动驾驶发展至关重要。Waymo 在 2026 年 2 月发布 Waymo World Model，构建于 DeepMind Genie 3 之上，需要与其端到端模型 EMMA 区分，后者官方称端到端多模态模型，非 world model。Waabi World 为由生成式 AI 驱动的闭环模拟器。Tesla 官方自用词为 neural world simulator，world model 多见于第三方或 LeCun 语境。comma.ai 称世界模型是数据驱动的模拟器，已用于 openpilot。

中国主体：理想 MindVLA“基于自研的重建+生成云端统一世界模型”。小鹏须区分“世界基座模型”（72B，车端规控）与“世界模型”（云端仿真闭环）两个概念。华为乾崑 ADS 4 采用“世界引擎+世界行为模型架构 WEWA”，世界引擎生成难例场景密度达真实世界 1000 倍。蔚来 NWM 称“中国首个智能驾驶世界模型”，可在 0.1 秒内推演 216 种场景。小马智行 PonyWorld 强调“博弈交互能力”。商汤绝影“开悟”称“行业首个已量产、可交互的世界模型”。极佳科技推出 DriveDreamer、GigaWorld 等世界模型相关方案。

2.3 物理AI领域：机器人与具身智能

国际主体：NVIDIA Cosmos 定义为能预测并生成具物理感知未来视频的神经网络，可作为多元宇宙仿真引擎，让策略模型模拟不同未来路径；GR00T 官方定义为机器人基座/VLA，其训练数据由 Cosmos 生成。DeepMind Genie 2 是一个基础世界模型，用于训练与评测具身智能体。Meta V-JEPA 2 用于 zero-shot 机器人规划，通过预测候选动作后果做模型预测控制。1X World Model 首要用途定位为策略的评测和仿真，2026 年1 月宣布 all in on world models。World Labs 将机器人列为下游受益领域。

中国主体：自变量机器人 WALL-B 称全球首个世界统一模型。星动纪元 ERA42/VPP 将世界模型融入原生机器人大模型。宇树开源 UnifoLM-WMA-0 跨机器人世界模型-动作架构。跨维智能以世界模型为空间/具身智能核心理念，DexVerse，Sim2Real。穹彻智能提出实体世界模型（entity world model）。阿里达摩院 RynnVLA-002 称首个 VLA 与世界模型统一架构。字节 GR-2 具备世界建模能力。

2.4 学术界

Model-based RL 脉络：Schmidhuber（1990，控制器+世界模型）、David Ha（2018，《World Models》）、Danijar Hafner（Dreamer/DreamerV3）。Dreamer 学习环境模型并通过模型内部生成的未来场景改进行为；DreamerV3 发表于 Nature 2025，把世界模型定义为可供智能体规划与训练的环境动态模型，通常为生成式。JEPA 脉络：Yann LeCun （2022，《A Path Towards Autonomous Machine Intelligence》），世界模型承担补全缺失状态和预测多个合理未来两项职能，主张以 JEPA 在抽象潜空间做非生成式预测，并批评用生成像素为行动建模世界存在浪费和失败风险。

认知科学/因果脉络：Josh Tenenbaum，MIT，提出心理物理引擎假说；Yejin Choi 强调常识是语言与智能的暗物质；Yoshua Bengio 讨论因果世界模型、System 2 与意识先验。空间智能脉络：Fei-Fei Li 将世界模型定义为一类新型生成式模型，强调 3D 几何与空间智能。中国学术界：北京智源黄铁军，悟界系列、Next-State Prediction 范式；清华朱军，扩散/生成式世界模拟器、Motus；上海 AI Lab，开源 Aether，4D 重建+动作条件视频预测+目标导向视觉规划。

2.5 世界模型四类用法与分歧根源

综合数字 AI、自动驾驶、机器人和学术界各方定义，我们将世界模型的现行用法归纳为四类：第一类，生成式世界模拟器路线，将世界模型理解为能生成可交互虚拟世界或视频的生成式模型，但视频生成本身并不自动等同于可被物理安全闭环依赖的世界模型，代表如 OpenAI Sora、DeepMind Genie、Wayve GAIA、NVIDIA Cosmos；第二类，预测-规划型路线，将世界模型理解为智能体内部用于预测动作到未来状态、服务规划与控制的模型，代表如 Schmidhuber/Ha/Hafner、Meta V-JEPA、华为世界行为模型；第三类，空间智能/3D 持久世界路线，强调几何一致、可漫游的持久 3D/4D 世界，代表如 World Labs、Odyssey；第四类，物理世界基础模型/认知路线，将世界模型上升为与语言模型并列的物理世界基础模型或类人结构化心智模型，代表如自变量 WALL-B、LeCun JEPA、Tenenbaum/Bengio 认知脉络。

分歧根源可归纳为四点：其一，预测在哪个空间进行，是像素/观测空间中的生成式预测，还是抽象潜表示空间中的非生成式预测，这是 LeCun 与生成式阵营最尖锐的分歧；其二，世界模型服务于什么目标，是内容生成与仿真、智能体规划控制，还是感知-表示学习与自主智能；其三，世界模型是系统模块还是基础模型，是服务现有 VLA、驾驶和机器人系统的一个组件，还是被上升为与 LLM 并列的物理世界基础模型；其四，对物理真实和因果一致的要求强度，是仅需视觉逼真一致，还是必须遵循物理规律并可做反事实因果推演。

......

【完整研报免费获取】：关注公众号，发送关键词110402，即可获取！