问题背景：2D 视频世界模型在表征方面所存在的局限

近两年，视频生成模型在具身智能领域受到了持续的关注。从 UniPi、SuSIE 到各类 action-conditioned video generation 变体，其核心思路保持一致：先由模型生成一段未来视频，再从中对动作信号进行提取以供机器人执行。

这一范式存在着一个长期未被解决的问题，即2D 像素预测与 3D 物理世界之间存在着本质性的表征鸿沟。该鸿沟主要体现在三个方面。

其一，2D视频并不包含深度信息。机器人需要对目标物体与末端执行器的确切距离进行判断，例如30厘米或50厘米，而纯像素预测只能给出物体在画面中的大致方位，从而不足以支撑精确操控。

其二，2D模型缺乏显式的运动场。像素预测虽可反映出物体发生了位移，却无法给出每个像素在三维空间中的位移方向与幅度，而末端执行器的关节角则需从这类三维运动之中进行推导。

其三，缺乏几何约束的视频生成容易导致“物理幻觉”的出现。同一物体会在相邻帧间出现尺度变化或形状形变，而本应发生碰撞的物体则会互相穿模。这类瑕疵对人眼的影响有限，但对依赖精确控制的机器人则构成了显著的信号噪声。

阿里巴巴达摩院最新工作 RynnWorld-4D 正是针对这一问题而展开的：世界模型在对视频进行生成的同时对深度以及光流进行生成，从而直接输出带有几何结构以及运动轨迹的 4D 预测。

论文标题：RynnWorld-4D: 4D Embodied World Models for Robotic Manipulation

项目主页：https://alibaba-damo-academy.github.io/RynnWorld-4D.github.io

论文链接：https://arxiv.org/abs/2607.06559

代码链接：https://github.com/alibaba-damo-academy/RynnWorld-4D

表征设计：RGB-DF 构成物理锚定的 4D 表征

图 1：RynnWorld-4D 整体流程。在给定单张 RGB-D 图像以及一条语言指令的情况下，模型能够在同一扩散过程之中同步生成未来的 RGB 视频、深度图序列以及光流场。

RynnWorld-4D 的首要设计选择，是采用 RGB-DF 表征，即 RGB 与 Depth 以及 Flow 的组合，而非 RGB-DN 表征，即 RGB 与 Depth 以及 Normal 的组合，或 3D Gaussian / NeRF。

表面法线（Normal）所描述的是静态几何属性，也就是某一表面的朝向，因而适用于静态重建；而操作任务则更为关注物体上某一点的运动方向以及位移幅度。光流提供了每个像素在相邻帧之间的2D位移；在已知深度图的前提之下，该2D位移可以反投影回3D空间，从而得到三维场景流（3D Scene Flow）。

深度图给出了每个点在三维空间中的位置，光流给出了其在下一帧的去向，将两者结合构成完整的 per-point 三维运动矢量。该表征与机器人的动作空间实现了天然对齐，末端执行器的位移本质上是三维空间中的轨迹。相较于让策略网络从纯像素变化之中隐式地推断三维运动，显式提供运动场显得更为高效。

不选用 NeRF 或 3DGS 的原因在于：这类方法几何精度虽然较高，但需要多视角输入，并且难以继承大规模视频扩散模型的生成先验。RGB-DF 保持了 2D 对齐形态，可以在 Wan 2.2 等强视频模型基础上直接进行扩展，从而复用已有的纹理生成能力。

架构设计：三分支的协同工作以及跨模态之间的对齐

图 2：RynnWorld-4D 架构总览。三分支 Transformer 分别对视觉纹理、空间几何以及运动轨迹进行建模，并借助联合跨模态注意力（JA）与帧级 3D RoPE 来实现跨模态对齐。

RynnWorld-4D 的架构核心在于：三种模态各自保留独立的特征空间，并在关键节点强制实现对齐。

具体实现采用三分支Transformer，并基于包含30层DiT且hidden dim为3072的Wan 2.2-TI2V-5B来进行扩展。每个分支拥有独立的self-attention以及FFN，分别对RGB纹理、深度几何以及光流运动进行处理。消融实验表明，如果三种模态共享FFN，那么性能显著下降，原因在于纹理、几何以及运动的latent space本质异质，共用同一非线性变换会造成表示干扰。

为了保证三条分支之间的相互对齐，模型引入了联合跨模态注意力（Joint Cross-Modal Attention，JA）：每隔3个Transformer block便会插入一个JA模块（共10个），其中每个分支的query会attend到另外两个分支的key/value。

RGB 分支在对纹理进行生成时，会参考深度所提供的几何边界以及光流所提供的运动方向；

深度分支在对几何进行生成的过程之中，会从RGB纹理当中获取物体边缘之类的线索；

光流分支在对运动进行预测的过程之中，会结合深度变化以及纹理位移来对方向进行校准。

JA之中的cross-attention会为query与key施加帧级的3D旋转位置编码（3D RoPE），从而使跨模态注意力仅在同一时间帧的空间对应位置之上生效，而并非对全局语义进行平均。消融实验显示，在去掉3D RoPE之后，深度精度（δ1）由0.610降至0.450，光流误差（AEPE）则由0.170升至0.210，由此表明空间级对齐是必要的。

分阶段训练：模态适配与联合对齐

三个分支无法直接从头进行联合训练：RGB分支成功继承了预训练视频模型所具备的强先验，而深度与光流分支则需要对不同的数据分布进行重新适配。为此，RynnWorld-4D选用三阶段策略。

Stage 1（模态适配）：关闭JA模块，使三个分支独立开展训练。深度以及光流分支从RGB预训练权重出发，适配至各自的目标分布。

Stage 2（冻结主干以及训练JA）：对三个分支的backbone进行冻结操作，仅对新插入的JA模块开展训练工作，从而建立起跨模态对齐路径，同时不破坏已学到的模态内表示。

Stage 3（全参数联合微调）：对全部参数进行解冻操作，并在完整数据集之上开展联合SFT，从而进一步精化三模态协同。

此外，在训练过程之中运用Branch Dropout机制：对深度或光流分支的输入进行随机丢弃（其中Stage 2概率为0.2，Stage 3概率为0.1），从而迫使JA从可见模态对缺失模态进行重建。该机制使得推理阶段在部分帧深度估计存在噪声时，模型仍可借助RGB以及光流实现相互补偿。

数据构建：2.54 亿帧 4D 数据的标注管线

图 3：Rynn4DDataset 1.0 的数据构成。

4D世界模型所面临的核心瓶颈之一在于：同时具备RGB、深度以及光流标注的大规模视频数据几乎不存在。RynnWorld-4D的解决方案在于对Rynn4DDataset 1.0进行自建——对人类第一人称活动视频（Epic-Kitchens、EgoVid）以及多源机器人操作数据（RoboMIND、RDT-1B、Galaxea、RoboCoin、AgiBot）进行融合，从而使其总规模超过2.54亿帧。

在数据规模之外，标注质量则是关键。每一帧均会经过三重标注：由 Qwen3-VL 生成细粒度语言描述，由 Depth Anything 3 对深度图进行估计并统一归一化至 0–5 米，由 DPFlow 对稠密光流进行计算。该标注流水线使任意一段普通视频均能转化为带有 4D 标签的训练样本，从而对真实 4D 标注数据稀缺的问题进行了缓解。

消融实验对数据规模所发挥的作用进行了验证：在去掉大规模预训练之后，光流误差（AEPE）由0.170升至0.729，恶化幅度超过4倍。这表明仅依赖少量任务数据并不足以学习到复杂的时空动态先验，数据规模对4D世界模型具有决定性的影响。

策略学习：单次前向推理生成动作

在策略学习过程之中，世界模型所采用的常见方式在于：首先完整地执行去噪过程以生成未来视频，然后再由inverse dynamics model从所生成的视频之中对动作进行提取。该流程所面临的主要问题在于延迟较高——多步去噪、视频解码以及逆动力学过程相互叠加，从而使得高频闭环控制难以得以实现。

RynnWorld-4D-Policy 并不要求世界模型完成完整的生成过程，而是直接从 RynnWorld-4D 的中间层特征之中对 4D 信息进行提取，具体为第 15 层 Transformer block 在 diffusion timestep t=500 时的 hidden state。此时的中间 latent 已经对未来的几何演化以及运动趋势进行了编码，尚未被解码为可视化视频帧。

随后，一个 Flow Former 会对高维特征进行压缩处理，从而将其转化为固定大小的 token，而一个轻量的 flow matching head 则借助 4 步 ODE 采样来输出 10 步动作（54 维）。整个推理过程仅需一次前向传播即可完成，而无需开展迭代去噪。

在单张RTX 5090（借助FP8量化以及FlashAttention 3）上，完整推理周期约为1.1秒。由于每次输出的10步动作得以并行执行（action chunking），实际有效控制频率约为9 Hz，从而可以覆盖大多数人类尺度的操作任务。

实验结果：4D 预测能力的量化验证

生成质量：几何精度与视觉保真度

表 1：4D 生成质量定量评测以及结构消融。指标涵盖视觉保真度（RGB）、几何结构（Depth）以及运动（Flow）；其中 N/A 表示该基线并不具备对对应模态进行生成的能力。

在50段测试视频之上，RynnWorld-4D的生成质量可以从三个维度来进行评估。

视觉保真度：与纯视频生成模型Wan-14B持平或更优（SSIM 0.754 vs. 0.536），这表明对深度以及光流分支的引入并未降低RGB质量，反而借助相互约束实现了结构一致性的提升。

在几何精度方面，深度δ1的数值达到了0.610，是TesserAct的0.279的2.2倍以及4DNeX的0.327的1.9倍，由此验证了联合跨模态注意力的有效性。

在运动精度方面，AEPE 为 0.170，从而使其成为当前唯一能够同时输出稠密光流场的 4D 世界模型；其他方法或不生成光流，诸如 TesserAct 以及 Free4D，或不具备对运动场进行输出的能力。

图 4：对生成效果进行展示。RynnWorld-4D 对时间连贯的 RGB、深度以及光流序列进行同步生成，其中几何结构清晰、跨模态边界实现精确对齐。

定性结果呈现出三个特征。其一为跨模态一致性：深度图中的几何边界以及光流中的运动边界均与RGB纹理变化精确对齐，模态之间并不存在割裂；例如机械臂拾取苹果时，深度图中苹果轮廓的变化与光流中苹果的运动向量保持同步。其二为物理真实性：无论人手操作还是机械臂轨迹，模型均能对物体位移以及多接触点交互等复杂4D动态进行准确刻画。其三为时序稳定性：生成序列在时间维度上结构稳定，未出现传统视频模型所常见的物体闪烁或形状突变；即使在多物体近距离交互场景下，深度与光流分支的互约束也有效抑制了尺度抖动与形变。上述结果表明，在同一扩散去噪过程之中对RGB、深度以及光流进行联合建模，三者之间形成了较强的物理互约束。

策略表现：双臂灵巧操作任务对比

图 5：对六项真实世界双臂灵巧操作任务所进行的示意展示以及成功率对比。

策略评估在六项真实世界双臂灵巧操作任务之上进行，其中每项任务均包含35次试验。硬件平台为天机 M6 双臂机器人，配备 WUJI HAND 灵巧手，并借助 RealSense D435i 获取第一人称视角图像以作为观测输入。对比基线包括 Diffusion Policy、π0 以及 π0.5。值得关注的对比结果包括：

双手物体传递（Hand-over）：RynnWorld-4D-Policy 的成功率为 28.57%，π0 为 2.86%，π0.5 为 0%。该任务需要对两个高自由度末端执行器之间的相对三维距离以及潜在自遮挡进行推理，2D 策略难以完成，而 RynnWorld-4D 的 4D latent 本身则包含了此类几何信息。

盖子放置（Lid Placement）以及碗具堆叠（Bowl Stacking）均达到了65.71%，相较于次优方法高出了8.5%。两项任务对空间精度要求较高，其中盖子需对准盒口以及碗需平稳叠放，深度以及光流所提供的显式几何信号在此发挥了关键作用。

关于 π0 以及 π0.5 在上述任务之上表现不佳的原因，论文给出了两点分析：其一，其预训练数据以平行夹爪为主，因而缺乏灵巧手先验；其二，在双手协作场景之中，纯 2D 表征无法有效地对两个末端执行器之间的空间关系进行推理。这属于表征空间的根本限制，而非单纯的数据量不足。

论文进一步对模态贡献开展了消融实验。在仅运用 RGB latent 的情况下，多数任务成功率较完整模型低 10–20 个百分点；加入深度后，诸如 Hand-over 以及 Bimanual Lifting 之类的空间精度要求高的任务明显受益；加入光流后，诸如 Block Pushing 之类的运动敏感任务的表现得以提升；三者联合时达到最佳。该结果验证了 RGB-DF 表征所具备的协同价值：纹理提供外观语境，深度提供空间锚定，光流提供运动线索。

展望：4D 世界模型的下一步

回望这条路线，具身世界模型正从二维视频想象走向四维物理推演。RynnWorld-4D 第一次在单一扩散框架之内成功实现了 RGB、深度以及光流的协同生成，并且证明了这种 4D 预测能力可以直接转化为真机闭环控制方面的增益。当然，约 9 Hz 的频率对超高频精密任务仍是瓶颈，单一第一人称视角也尚未覆盖多机协作，这些正是推理加速以及多视角拓展的方向。而随着操作任务对精准三维理解的需求不断加深，能够同时对几何与运动进行预测的 4D 世界模型，或许会成为连接感知与决策越来越关键的一环。

来源：机器人需要「看到三维未来」！RynnWorld-4D重塑4D具身世界模型 | 具身研习社