近期，围绕「世界模型」的讨论持续升温。机器人、自动驾驶、视频生成、具身智能等多个方向都在频繁运用这一概念，相关系统得以不断出现，演示形式日益丰富，评价指标也越来越多。随着这一趋势，一个基础问题变得格外重要：如果一个模型被称为「世界模型」，那么人们究竟在评价什么？

南京大学人工智能学院团队在近日所发布的综述性立场论文中，围绕这一核心问题给出了系统性的回答。该论文明确指出，对于面向具身智能以及机器人决策的世界模型而言，评价重点应当放在其对行动后果的预测能力、对策略优劣的判断能力，以及对规划和优化所提供的实际支持能力之上。视频是否逼真、画面是否流畅、语义是否贴合指令，这些维度依然重要，但它们更适合作为基础诊断和辅助评估的指标。

论文标题：How Should World Models Be Evaluated for Embodied Decision-Making? A Decision-Making-Centric Position

论文地址：https://arxiv.org/abs/2606.15032

「世界模型」覆盖对象逐渐多样化

在仅仅两年之前的人工智能研究语境当中，世界模型主要还是指那些面向控制以及规划需求的环境模型。系统需要在采取行动之前先进行内部的推演过程，对「如果执行这组动作，接下来究竟会发生什么」进行估计，进而以此为基础来服务于策略评估、路径规划以及决策优化等方面的工作。

近期，随着生成模型、视频模型以及具身大模型的快速发展，「世界模型」这一概念所涵盖的范围得以迅速扩展。如今，这一名称可以用来指向多种不同的技术对象：

在这些工作中，有的侧重于以特定动作为条件来开展环境动力学建模，有的则重点强调对未来视频内容的生成能力，有的会把模型作为可交互的神经模拟器加以运用，有的专注于在隐空间当中进行表征预测，还有一些工作则把世界模型作为数据合成引擎或者可执行规划器来使用。

这些方向相互关联，同时也各自承担着不同的具体任务。概念的扩展不仅注入了研究活力，同时也使得「世界模型」逐渐演变为一个覆盖范围高度宽泛的标签。同一个词汇开始用于涵盖多类模型，不同论文中的「世界模型」所承担的角色以及功能差异显著，相应的评价方式也随之出现分化。对「世界模型」定义的边界亟需开展清晰的澄清工作。

核心问题：「世界模型」

的评估证据如何支撑其能力主张

这篇论文最为重要的工作之一，在于将当前文献中常见的几类「世界模型」能力主张加以拆解分析。研究团队明确指出，当前相关研究通常会提出6类能力主张：

预测未来观测结果；

评估不同策略的表现；

支持策略优化；

帮助生成可执行规划；

生成有价值的训练数据；

提供足以支持决策的隐式表征。

这些主张之间既存在着内在联系，也呈现出较为明显的差异。生成可信视频的能力与支持策略评估的能力，属于不同层面的能力范畴。完成语义对齐的工作，与承受优化器反复搜索所带来的分布偏移的情况，也并非同一个问题。论文强调，评价的关键在于使评估证据与能力主张保持一致。如果模型声称服务具身决策，就需要提供更贴近决策过程的评估证据。

当前评估实践中，

感知指标占据了很大比重

论文在对近期大量代表性工作进行系统梳理之后发现，当前世界模型研究中最常见的评估内容主要集中在以下几个方向：
。

生成视频的真实感与美观度；

与真实未来轨迹之间在像素级或感知级上所具有的相似度；

对语言指令的理解和语义一致性；

对物理规律的表面遵循程度；

最终任务成功率。

这些指标所覆盖的是模型输出结果的多个不同层面，可以帮助研究人员系统了解模型在生成质量、条件控制能力以及基本任务表现等方面的具体情况。论文同时指出，如果研究目标落在具身决策方面，那么仅凭这些指标仍然不足以完整支撑所得结论。

对于决策系统而言，它所需要回答的问题会变得更加具体：在同一段历史条件下，如果动作发生改变，那么任务相关结果究竟会产生怎样的变化；模型对于成功、失败、奖励以及进度的判断是否足够可靠；当模型被运用到策略比较、行动规划甚至优化参与的过程中时，它所给出的结论与真实环境之间会存在多大的偏差。

换句话说，具身决策所关心的是行动所带来的后果，所关心的是闭环系统中的有效性，所关心的是长期回报以及策略排序。与这些问题最接近的评估方式，并不集中在视觉层面。

提出 7 级评估阶梯，

梳理世界模型证据强度

为了把不同评估目标更加清晰地置于同一张图谱当中，论文提出了一种从 L0 到 L7 的「世界模型评估阶梯」。这一框架涵盖了从表面生成质量到真实决策价值的不同层次：

L0：视觉合理性。该层级重点关注生成结果在视觉感知上是否显得足够真实。

L1：已记录未来预测。该层级重点关注模型对日志轨迹未来片段进行预测的能力；
。

L2：语义对齐。该层级重点关注模型输出结果是否能够符合指令要求、任务目标以及场景语义。

L3：物理合理性。该层级重点关注生成结果是否能够满足基本的物理规律以及几何结构的一致性要求；

L4：动作可控性与干预保真。该层级重点关注动作发生变化时能否引起正确的任务相关变化；
。

L5：奖励、价值与结果保真。该层级重点关注模型是否能够对成功率、奖励以及进度进行准确预测；
。

L6：策略评估与排序。该层级重点关注模型对于候选策略优劣所做出的判断，是否能够与真实环境中的实际结果保持一致；
。

L7：规划与优化效用。该层级重点关注当模型进入规划器或强化学习闭环之后，是否能够真正提升决策质量。

这套评估阶梯所具备的意义在于，它把世界模型相关的各类评估证据放置到了可以清晰区分并且便于相互对照的位置之上。其中低层级指标能够为相关研究工作提供重要的诊断依据，而高层级指标则可以更加直接地对应具身决策的价值。对于机器人、自动驾驶以及智能体规划等任务而言，L4 到 L7 所提供的评估证据不仅强度更高，而且也更加接近模型在真实系统中所发挥的作用方式。

生成未来画面与支持行动决策，

属于两类能力

论文反复强调的一个核心观点在于，生成质量与决策价值这两者之间并不存在一种天然的等价关系。一个模型虽然可以生成出非常逼真的未来视频，但在动作干预的情况下却可能表现迟钝，从而无法准确反映动作变化所带来的实际后果；另一个模型即便画面并不华丽，只要它能够较为稳定地预测任务相关变量、成功信号以及策略优劣，依然有可能在规划过程中发挥出更高价值。

这一判断进一步延续了有模型强化学习领域中所形成的经典认识。早期研究早已指出，单步预测精度往往无法稳定代表控制性能。当前生成式世界模型研究在很多场合重新遇到了同样的问题：能够贴近观测分布、生成观感良好的未来，并不等于能够支撑可靠决策。

论文对这一现象开展了概括，把它描述为能力主张与评估证据之间所存在的一种落差，并且指出这正是当今世界模型讨论当中最值得认真正视的一个部分。

更重要的是模型在闭环中的分量

这项研究的意义并不局限于学术讨论的范畴。对于产业界、技术管理者和投资人而言，它提供了一套能够更加贴近真实价值的观察框架。

在众多应用场景当中，世界模型所承载的任务显得十分明确，那就是在机器人采取行动之前为其提供内部的推演过程，为自动驾驶系统开展风险预估的工作，并且为具身智能体提供规划以及策略筛选方面的能力。当此类系统进入真实环境之后，其性能表现会取决于若干关键问题的解决情况：

模型是否真正掌握了动作与其所引发后果之间的内在关系，是否能够在长时程任务的执行过程中维持稳定表现，是否能够在分布发生变化以及策略调整的情况下继续保持有效，是否能够避免被优化过程所逐步带偏。

从这一角度来看，世界模型所面临的技术壁垒更多地体现在对以下这些能力的掌握之上：

对干预动作的敏感性与准确响应；

对任务结果以及回报信号所实现的长期保真；

对不同候选策略的可靠排序；

在优化闭环过程当中所能够维持的稳定性以及抵抗漏洞利用行为的能力；

在分布外场景当中对不确定性进行表达以及对风险进行控制所具备的能力。

这类能力往往会决定模型进入产品以及系统之后所展现出的真实表现，同时也会决定其在工程部署环节中所能达到的可依赖程度。

该论文提出了一套更加贴近具身决策实际需求的评测协议。

在对核心问题进行系统梳理的同时，该论文进一步提出了一套以决策为中心的评估框架以及基准协议。其中其核心思想包括：

首先，研究者需要对模型的「决策契约」进行明确声明，也就是要指明该模型所面向的任务家族类型、所适配的策略类型、所采用的动作接口规范、所设定的时间跨度范围，以及它具体服务于预测方面、评估方面、规划方面还是优化方面。

在这一前提之下，研究团队进一步开展了更具针对性的评估工作。具体而言，该论文建议在评测过程当中重点纳入以下内容：

干预式动作保真测试会固定历史条件，然后改变动作分支，以此观察模型是否可以给出正确的任务相关变化。

闭环策略 rollout 评估：会让策略直接在模型内部开展运行操作，进而检查闭环行为与真实环境所具有的一致性；

奖励与成功率校准：对模型在奖励信号、任务进度以及成功概率方面所做出的预测结果是否可信开展衡量工作；

策略排序一致性是指借助模型内部评估所得出的策略排序结果，与真实环境中实际观察到的策略排序结果开展比较，从而判断二者之间的一致程度；

优化增益评估：在固定优化预算之后，对模型是否能够带来真实且可复现的性能提升进行检验；

可利用性与不确定性评测旨在对模型是否容易被优化器找到虚高方案的情况开展衡量，同时考察模型的不确定性表达是否有助于风险控制。
。

论文特别指出了一个在以往研究中经常被忽视、然而对于工程实际应用而言却至关重要的问题：优化器会主动对模型中的「高估区域」开展搜索。一旦世界模型在这些区域给出错误且过于乐观的判断，系统就可能在模型内部显得性能优异，但当真正落到真实环境当中时却会出现明显落差。对于具身智能而言，这类偏差会直接影响决策可靠性。

作者并未回避现实中所存在的各类约束条件。真实机器人实验不仅成本高昂而且复现过程相当困难，同时环境重置所需付出的代价也很高，因此开展大规模干预测试的工作并不容易完成。基于这一情况，论文提出了一套「最小可行」的报告方案，其中建议从事真实机器人相关的工作至少需要补充3类证据：

开展了少量重置匹配的动作分支实验，用于对动作改变后的结果变化进行检验；

选用几组在强弱程度上存在明显差异的固定策略，以便对成功率校准以及策略排序开展测试工作；

对模型内部的高分轨迹开展执行验证工作，观察其在真实环境当中的实际落地表现。

这组要求在维持现实可行性的同时，也把评估工作从关注生成结果是否足够像真实情况，推进到了考察其在决策过程当中是否足够可信的层面。

近期，围绕“世界模型”的讨论持续升温。机器人、自动驾驶、视频生成、具身智能等多个方向都在频繁运用这一概念，相关系统得以不断出现，演示形式日益丰富，评价指标也越来越多。随着这一趋势，一个基础问题变得格外重要：如果一个模型被称为“世界模型”，那么人们究竟在评价什么？

南京大学人工智能学院团队在近日发布的综述性立场论文中，围绕这一核心问题给出了系统性的回答。该论文明确指出，对于面向具身智能以及机器人决策的世界模型而言，评价重点应当放在其对行动后果的预测能力、对策略优劣的判断能力，以及对规划和优化所提供的实际支持能力之上。视频是否逼真、画面是否流畅、语义是否贴合指令，这些维度依然重要，但它们更适合作为基础诊断和辅助评估的指标。

在仅仅两年之前的人工智能研究语境当中，世界模型主要还是指那些面向控制以及规划需求的环境模型。系统需要在采取行动之前先进行内部的推演过程，对如果执行这组动作接下来究竟会发生什么进行估计，进而以此为基础来服务于策略评估、路径规划以及决策优化等方面的工作。

近期，随着生成模型、视频模型以及具身大模型的快速发展，“世界模型”这一概念所涵盖的范围得以迅速扩展。如今，这一名称可以用来指向多种不同的技术对象。

在这些工作中，有的侧重于以特定动作为条件来开展环境动力学建模，有的则重点强调对未来视频内容的生成能力，有的会把模型作为可交互的神经模拟器加以运用，有的专注于在隐空间当中进行表征预测，还有一些工作则把世界模型作为数据合成引擎或者可执行规划器来使用。这些方向相互关联，同时也各自承担着不同的具体任务。概念的扩展不仅注入了研究活力，同时也使得“世界模型”逐渐演变为一个覆盖范围高度宽泛的标签。同一个词汇开始用于涵盖多类模型，不同论文中的“世界模型”所承担的角色以及功能差异显著，相应的评价方式也随之出现分化。对“世界模型”定义的边界亟需开展清晰的澄清工作。

这篇论文最为重要的工作之一，在于将当前文献中常见的几类“世界模型”能力主张加以拆解分析。研究团队明确指出，当前相关研究通常会提出6类能力主张。

这些主张之间既存在着内在联系，也呈现出较为明显的差异。生成可信视频的能力与支持策略评估的能力，属于不同层面的能力范畴。完成语义对齐的工作，与承受优化器反复搜索所带来的分布偏移的情况，也并非同一个问题。论文强调，评价的关键在于使评估证据与能力主张保持一致。如果模型声称服务具身决策，就需要提供更贴近决策过程的评估证据。

论文在对近期大量代表性工作进行系统梳理之后发现，当前世界模型研究中最常见的评估内容主要集中在以下几个方向。

这些指标所覆盖的是模型输出结果的多个不同层面，可以帮助研究人员系统了解模型在生成质量、条件控制能力以及基本任务表现等方面的具体情况。论文同时指出，如果研究目标落在具身决策方面，那么仅凭这些指标仍然不足以完整支撑所得结论。

对于决策系统而言，它所需要回答的问题会变得更加具体：在同一段历史条件下，如果动作发生改变，那么任务相关结果究竟会产生怎样的变化；模型对于成功、失败、奖励以及进度的判断是否足够可靠；当模型被运用到策略比较、行动规划甚至优化参与的过程中时，它所给出的结论与真实环境之间会存在多大的偏差。

换句话说，具身决策所关心的是行动所带来的后果，所关心的是闭环系统中的有效性，所关心的是长期回报以及策略排序。与这些问题最接近的评估方式，并不集中在视觉层面。

为了把不同评估目标更加清晰地置于同一张图谱当中，论文提出了一种从 L0 到 L7 的“世界模型评估阶梯”。这一框架涵盖了从表面生成质量到真实决策价值的不同层次。

L0：视觉合理性。该层级重点关注生成结果在视觉感知上是否显得足够真实。

L1：已记录未来预测。该层级重点关注模型对日志轨迹未来片段进行预测的能力。

L2：语义对齐。该层级重点关注模型输出结果是否能够符合指令要求、任务目标以及场景语义。

L3：物理合理性。该层级重点关注生成结果是否能够满足基本的物理规律以及几何结构的一致性要求。

L4：动作可控性与干预保真。该层级重点关注动作发生变化时能否引起正确的任务相关变化。

L5：奖励、价值与结果保真。该层级重点关注模型是否能够对成功率、奖励以及进度进行准确预测。

L6：策略评估与排序。该层级重点关注模型对于候选策略优劣所做出的判断，是否能够与真实环境中的实际结果保持一致。

L7：规划与优化效用。该层级重点关注当模型进入规划器或强化学习闭环之后，是否能够真正提升决策质量。

这套评估阶梯所具备的意义在于，它把世界模型相关的各类评估证据放置到了可以清晰区分并且便于相互对照的位置之上。其中低层级指标能够为相关研究工作提供重要的诊断依据，而高层级指标则可以更加直接地对应具身决策的价值。对于机器人、自动驾驶以及智能体规划等任务而言，L4 到 L7 所提供的评估证据不仅强度更高，而且也更加接近模型在真实系统中所发挥的作用方式。

论文反复强调的一个核心观点在于，生成质量与决策价值这两者之间并不存在一种天然的等价关系。一个模型虽然可以生成出非常逼真的未来视频，但在动作干预的情况下却可能表现迟钝，从而无法准确反映动作变化所带来的实际后果；另一个模型即便画面并不华丽，只要它能够较为稳定地预测任务相关变量、成功信号以及策略优劣，依然有可能在规划过程中发挥出更高价值。

这一判断进一步延续了有模型强化学习领域中所形成的经典认识。早期研究早已指出，单步预测精度往往无法稳定代表控制性能。当前生成式世界模型研究在很多场合重新遇到了同样的问题：能够贴近观测分布、生成观感良好的未来，并不等于能够支撑可靠决策。

论文对这一现象开展了概括，把它描述为能力主张与评估证据之间所存在的一种落差，并且指出这正是当今世界模型讨论当中最值得认真正视的一个部分。

这项研究的意义并不局限于学术讨论的范畴。对于产业界、技术管理者和投资人而言，它提供了一套能够更加贴近真实价值的观察框架。

在众多应用场景当中，世界模型所承载的任务显得十分明确，那就是在机器人采取行动之前为其提供内部的推演过程，为自动驾驶系统开展风险预估的工作，并且为具身智能体提供规划以及策略筛选方面的能力。当此类系统进入真实环境之后，其性能表现会取决于若干关键问题的解决情况。

模型是否真正掌握了动作与其所引发后果之间的内在关系，是否能够在长时程任务的执行过程中维持稳定表现，是否能够在分布发生变化以及策略调整的情况下继续保持有效，是否能够避免被优化过程所逐步带偏。

从这一角度来看，世界模型所面临的技术壁垒更多地体现在对以下这些能力的掌握之上。

对任务结果以及回报信号所实现的长期保真。

在优化闭环过程当中所能够维持的稳定性以及抵抗漏洞利用行为的能力。

在分布外场景当中对不确定性进行表达以及对风险进行控制所具备的能力。

这类能力往往会决定模型进入产品以及系统之后所展现出的真实表现，同时也会决定其在工程部署环节中所能达到的可依赖程度。

该论文提出了一套更加贴近具身决策实际需求的评测协议。

在对核心问题进行系统梳理的同时，该论文进一步提出了一套以决策为中心的评估框架以及基准协议。其中其核心思想包括。

首先，研究者需要对模型的“决策契约”进行明确声明，也就是要指明该模型所面向的任务家族类型、所适配的策略类型、所采用的动作接口规范、所设定的时间跨度范围，以及它具体服务于预测方面、评估方面、规划方面还是优化方面。

在这一前提之下，研究团队进一步开展了更具针对性的评估工作。具体而言，该论文建议在评测过程当中重点纳入以下内容。

干预式动作保真测试会固定历史条件，然后改变动作分支，以此观察模型是否可以给出正确的任务相关变化。

闭环策略 rollout 评估：会让策略直接在模型内部开展运行操作，进而检查闭环行为与真实环境所具有的一致性。

奖励与成功率校准：对模型在奖励信号、任务进度以及成功概率方面所做出的预测结果是否可信开展衡量工作。

策略排序一致性是指借助模型内部评估所得出的策略排序结果，与真实环境中实际观察到的策略排序结果开展比较，从而判断二者之间的一致程度。

优化增益评估：在固定优化预算之后，对模型是否能够带来真实且可复现的性能提升进行检验。

可利用性与不确定性评测旨在对模型是否容易被优化器找到虚高方案的情况开展衡量，同时考察模型的不确定性表达是否有助于风险控制。

论文特别指出了一个在以往研究中经常被忽视、然而对于工程实际应用而言却至关重要的问题：优化器会主动对模型中的“高估区域”开展搜索。一旦世界模型在这些区域给出错误且过于乐观的判断，系统就可能在模型内部显得性能优异，但当真正落到真实环境当中时却会出现明显落差。对于具身智能而言，这类偏差会直接影响决策可靠性。

作者并未回避现实中所存在的各类约束条件。真实机器人实验不仅成本高昂而且复现过程相当困难，同时环境重置所需付出的代价也很高，因此开展大规模干预测试的工作并不容易完成。基于这一情况，论文提出了一套“最小可行”的报告方案，其中建议从事真实机器人相关的工作至少需要补充3类证据。

开展了少量重置匹配的动作分支实验，用于对动作改变后的结果变化进行检验。

选用几组在强弱程度上存在明显差异的固定策略，以便对成功率校准以及策略排序开展测试工作。

对模型内部的高分轨迹开展执行验证工作，观察其在真实环境当中的实际落地表现。

这组要求在维持现实可行性的同时，也把评估工作从关注生成结果是否足够像真实情况，推进到了考察其在决策过程当中是否足够可信的层面。

从论文的整体角度来进行考察可以发现，这项研究成功完成了三项主要工作：
。

第一，该论文对当前世界模型文献中实际所测评的内容开展了系统的梳理工作。

第二，该论文明确指出了不同证据究竟能够支撑何种主张的边界所在。

第三，该论文提出了一套具备可执行性的评估框架，从而将具身决策场景中真正重要的问题转化为可报告并且可比较的具体指标。

在世界模型持续成为热点词汇的当下，这篇论文提供了一种更为稳健的技术视角。它借助把关注点重新拉回到行动、后果、策略以及闭环性能这些要素本身的方式，提醒研究和产业界在评价相关系统的时候，要看到生成质量之外更深一层的决策能力。

结语

对于面向具身决策的世界模型来说，真正具备足够分量的证据依赖于模型对行动后果所进行的准确把握，依赖于它对策略优劣所做出的可靠判断，以及它在规划与优化方面所展现的实际效用。

视觉质量、语义一致性以及物理合理性共同构成了重要的基础，并且也构成了系统可解释性与可视化能力的重要组成部分。当进一步走向真实世界的应用场景时，评估的重心自然就会转移到干预、闭环、长时程以及策略优化这些关键环节之上。

南京大学团队撰写的这篇立场论文，为当前世界模型领域的研究工作提供了一套更为清晰的评价尺度。在学术界方面，它能够帮助研究者校准所关注的研究问题以及评估目标；而在产业界和投资人看来，它则提供了判断技术成熟程度与长期价值更为可靠的参照依据。世界模型的真正意义，最终体现在它是否可以协助智能系统构建起对环境演化过程的有效理解，并且在复杂任务执行中持续生成高质量的决策结果。

来源：世界模型应如何评估？南京大学团队发布「世界模型」评估立场论文 | 具身研习社