大规模视频扩散模型生成的画面越来越真实，却总在“物理定律”上栽跟头。几何漂移、摄像机轨迹不稳定以及场景结构不连贯等问题，对于要求稳定摄像机运动和连贯世界几何的下游应用来说，是致命的缺陷。

以往解决这些问题主要有两种思路：一是修改生成器架构，加入额外模块或几何感知对齐；二是采用基于强化学习的后训练对齐。然而，修改架构可能破坏互联网规模预训练模型的泛化能力；现有对齐方法不仅局限于静态场景，还依赖RGB空间的奖励，需要反复进行VAE解码，计算开销昂贵，且无法泛化到高度动态的真实世界场景中。

最近，来自Google、哥本哈根大学、牛津大学等机构的研究者提出了VGGRPO（Visual Geometry GRPO，收录于ECCV 2026）。这项工作聚焦一个核心问题：如何在不牺牲预训练模型泛化能力的前提下，高效提升视频生成的几何一致性，并使其适用于动态场景。其核心思路是在隐空间（latent space）中利用4D几何奖励，进行几何感知的视频后训练。

VGGRPO是一个由隐式几何引导的、基于组的强化学习（GRPO）视频后训练框架，包含两个紧密耦合的核心组件：隐式几何模型（Latent Geometry Model, LGM）和VGGRPO训练流程。首先，VGGRPO构建LGM，通过轻量级连接层将视频扩散模型的隐变量与预训练几何基础模型“缝合”在一起。这意味着模型可以直接从隐空间解码出场景几何信息，而无需先解码回RGB像素空间。更重要的是，通过采用具备4D重建能力的预训练几何模型，LGM让VGGRPO自然扩展到动态场景，突破了以往方法仅限静态场景的瓶颈。

在此基础上，VGGRPO设计了两个关键奖励机制，在隐空间中进行组相对策略优化（GRPO），彻底免去昂贵的VAE解码过程。摄像机运动平滑度奖励（Camera Motion Smoothness Reward）基于隐式几何模型预测的摄像机位姿，计算平移和旋转的加速度，对抖动轨迹进行惩罚，促使模型生成更平滑的镜头运动。几何重投影一致性奖励（Geometry Reprojection Consistency Reward）则利用预测的点云、深度、摄像机参数和场景光流，将预测的3D结构重投影到各个视角，并比较深度图差异来衡量场景一致性；对于动态场景，它还能利用场景光流过滤动态区域，仅聚合静态点以获得稳定场景表示，强有力地保证跨视角几何连贯性。

实验表明，VGGRPO在静态和动态场景基准测试中均取得显著提升，在几何相关指标上领先基线方法；在通用视频质量指标上同样超越基线，表明几何感知后训练没有牺牲预训练模型的生成能力。奖励组件消融实验显示，单独使用摄像机运动奖励（r_motion）可以稳定摄像机轨迹，但几何伪影依然存在；加入几何重投影一致性奖励（r_motion+r_geo）后，场景几何进一步改善，同时保持平滑的摄像机运动，验证了两个奖励的互补性。

VGGRPO的意义在于：现在的视频生成模型不仅要生成视觉真实的画面，还需要“创造一个符合物理规律的一致世界”。VGGRPO给出的答案是，不需要复杂的架构修改，也不需要昂贵的像素级奖励；通过将几何先验直接引入隐空间，并在4D维度上进行强化学习对齐，它让模型在生成视频时既能保持镜头平滑，又能构建跨视角连贯的物理世界，并适用于动态场景。对于世界动作模型、具身智能等领域而言，稳定而一致的世界建模能力是模型进行预测、规划与交互的重要基础，VGGRPO为此提供了一种高效、灵活的几何感知后训练范式。

原文链接：http://www.jushenyanxishe.com/archives/500738

来源：具身智能最缺的“空间常识”，被这套隐空间强化学习一次性补全 | ECCV‘26 | 互联网