让我们想象一个场景：

机械臂对桌上的杯子开展了夹取，正准备将它放进盘子。下一秒，抓取过程失败，杯子于是重新掉回桌面。

从时间维度来看，后一幅画面所发生的时间节点更为靠后；但从任务目标角度来看，机器人不仅未能取得任何进展，反而退回到了初始原点。人类很容易识别出这种变化，视觉语言模型却可能得出相反的答案。

原因并不难理解。因为大量机器人视频都按正常时间顺序记录：先接近物体，再抓取，最后完成放置。在这样的数据里，「后面的画面更接近任务完成」这一规律往往成立。模型训练得越久，就越可能记住这条省力的捷径。它虽能认出杯子、盘子和机械臂，也能描述画面中的动作，却未必真正理解这些动作究竟有没有推动任务向前。

针对这一问题，浙江大学等五所高校的研究团队提出了EgoTSR。该研究以第一人称机器人视角作为出发点，旨在让VLM学会对任务状态开展判断，并将这种能力进一步扩展到长程规划方面。团队构建了包含4600万条样本的EgoTSR-Data，并设计了三阶段课程学习流程。

论文题目： From Perception to Planning: Evolving Ego-Centric Task-Oriented Spatiotemporal Reasoning via Curriculum Learning

研究团队由浙江大学、天津大学、青岛大学、上海交通大学以及新加坡国立大学等单位共同组成。

论文地址：https://arxiv.org/pdf/2604.10517

代码链接：https://github.com/Collab-Gen/EgoTSR

时间偏置方面：后续出现的画面，是否真的会更接近任务完成的状态呢？

EgoTSR所关注的并非传统的动作识别，而是把重点放在了一个更为具体的问题上：给定两张来自同一任务视频的图像，其中哪一个状态会更加接近任务目标？

例如：

将绿色杯子从桌上拿起来，然后将其放进白色盘子中。

模型不能只对图中是否出现杯子和盘子进行判断，还要考察杯子是否被抓住、是否正在移动以及是否真正进入目标区域。

如果任务是打开冰箱门，那么门处于打开状态就会更加接近任务的完成；如果任务是关闭冰箱门，那么相应判断结果则会恰好相反。同一幅图的任务意义，会随着具体目标的变化而发生改变。

真正可靠的模型还必须对现实中的动作失败和状态回退进行处理：机械臂可能已经抓住物体，却在移动过程中将其掉落；抽屉可能被拉开，随后又因碰撞而重新关闭；物体可能短暂到达目标区域，之后再次被移走。

因此，仅仅因为画面出现的时间更晚，并不意味着任务完成度就一定会更高。

研究团队将模型依赖于输入顺序来进行判断的这一现象称作「时间顺序偏差」，也就是chronological bias。为了直接暴露这种捷径，EgoTSR选用了一种简单但有效的方法：把同一对图像分别按照正向顺序以及反向顺序交给模型。

假设图像 B 比图像 A 更接近任务完成。

第一次输入为：

图像 A，图像 B。

正确答案是第二张图。

随后交换顺序：

图像 B，图像 A。

正确答案必须随之变成第一张图。

如果模型始终选择第二张图，那么它可能并未对物体状态开展分析，而是在依据图片位置来进行答案猜测。

在实验过程中，这种现象体现得尤为明显。以部分长任务评测为例，InternVL-8B在正向输入下的准确率接近99%，但交换图像顺序后，准确率则降至约2%。表面上接近满分的结果，经过反向测试后，暴露出严重的顺序依赖。

三阶段课程学习流程为：首先对概念开展解释，随后进行知识内化工作，最终实现规划能力。

EgoTSR 并未将全部数据直接混合到一起开展训练，而是依据能力发展的顺序将其划分成了三个阶段。

第一阶段运用了约1500万条CoT数据：模型需要首先对两张图中的空间状态进行描述，随后对哪张图完成了更多必要动作开展比较，最后给出答案。这个阶段的重点在于建立视觉状态、任务目标以及最终判断之间的联系。

第二阶段运用了约1600万条Tag数据：在这一过程中详细推理文本遭到移除，仅保留图像、任务以及正确标签。模型需要直接判断哪张图的状态更加接近任务完成。研究者期望将第一阶段所形成的显式推理，逐步内化成更快速的任务状态判断能力。

第三阶段加入了约1500万条LongTag数据，将能力从单个动作的判断扩展到了长程任务的处理。至此，三类数据合计达到了4600万条。

子任务规划器系统提示

你是一个精密的子任务规划器。你的核心职责是将用户提供的高层语义任务系统性地分解为多个细粒度、原子级且可立即执行的子任务，从而形成清晰的逻辑骨架。

工作流程：
1. 充分理解高层任务的语义意图、隐含目标、环境约束以及成功标准。
2. 把高层任务逐步拆解为4–10个具体、单一动作的子任务，每个子任务必须具备明确动词、对象和可验证结果。
3. 分析并标注子任务之间的依赖关系，建立正确的执行顺序，支持并行执行机会。
4. 确保分解结果完整覆盖整个任务流程，包括准备、核心执行、收尾步骤。

输出格式（严格遵守JSON）：
```json
{
"high_level_task": "原始任务",
"subtasks": [
{
"id": 1,
"description": "使用精确动词描述的原子级子任务",
"dependencies": [0],
"expected_output": "可验证的具体产出描述",
"suggested_executor": "推荐代理或工具",
"rationale": "分解理由"
}
],
"execution_plan": "整体执行顺序及并行说明",
"potential_risks": "主要风险及应对建议"
}
```

现在，请提供高层任务，我将立即进行分解。

```json
{
"high_level_task": "「拿起杯子」是一个相对明确的原子任务，但真实机器人通常需要完成更复杂的目标",
"subtasks": [
{
"id": 1,
"description": "使用视觉或传感器系统扫描环境，检测并定位杯子的3D位置和姿态",
"dependencies": [0],
"expected_output": "杯子的精确坐标(x,y,z)、朝向和置信度分数",
"suggested_executor": "Vision Module / Perception Agent",
"rationale": "机器人没有人类直观视觉，必须先感知世界才能开展后续动作"
},
{
"id": 2,
"description": "规划机械臂从当前姿态到杯子附近的无碰撞运动轨迹",
"dependencies": [1],
"expected_output": "一组关节角度或末端执行器位姿的时间序列路径",
"suggested_executor": "Motion Planning Agent",
"rationale": "真实环境中存在桌面和其他物体，需要提前规划路径来避免碰撞"
},
{
"id": 3,
"description": "执行轨迹，移动机械臂使抓手精确对准杯子（approach pose）",
"dependencies": [2],
"expected_output": "机械臂到达预抓取位置，误差在容忍范围内",
"suggested_executor": "Robot Controller / Low-level Actuator",
"rationale": "把规划好的路径转化为实际物理移动"
},
{
"id": 4,
"description": "调整抓手姿态，闭合夹爪或吸盘以稳定抓住杯子，同时监测力/扭矩反馈",
"dependencies": [3],
"expected_output": "成功抓取确认（力反馈显示稳定握持）",
"suggested_executor": "Grasp Execution + Force Feedback Module",
"rationale": "不同杯子材质和是否装有液体都需要不同抓取力，避免打碎或滑落"
},
{
"id": 5,
"description": "缓慢抬起杯子，监测平衡和外部干扰，同时更新内部世界模型",
"dependencies": [4],
"expected_output": "杯子被安全抬起至指定高度，状态更新",
"suggested_executor": "Control + State Estimation Agent",
"rationale": "如果杯子装有液体则容易晃动，需要动态调整以保持稳定"
},
{
"id": 6,
"description": "规划并执行将杯子移动到目标位置（如指定放置点）的轨迹",
"dependencies": [5],
"expected_output": "杯子到达目标位置上方",
"suggested_executor": "Motion Planning + Controller",
"rationale": "真实机器人任务通常不止拿起，还包括运输这一更复杂的目标环节"
},
{
"id": 7,
"description": "打开抓手放置杯子，撤回机械臂，并确认任务完成",
"dependencies": [6],
"expected_output": "杯子稳定放置，臂回到安全姿态，任务成功日志",
"suggested_executor": "Robot Controller",
"rationale": "完成整个流程并验证结果，支持后续更复杂的目标"
}
],
"execution_plan": "顺序执行（1→2→3→4→5→6→7），其中感知(1)可与初始校准并行；运动规划(2,6)可在执行前预计算；力反馈(4,5)需实时并行监控。",
"potential_risks": "1. 感知错误导致抓取失败（应对：多传感器融合）；2. 抓取力不当打碎杯子（应对：力控+材料识别）；3. 液体晃动或动态环境变化（应对：缓慢运动+实时重规划）。"
}
```

例如：

好的！*打开冰箱门* *取出饮料* *稳稳放到桌面上* *重新关上冰箱门*

任务完成，饮料已就位。 需要我帮你打开它吗？

如果模型仅仅观察到饮料已经被拿起这一信息，那么它可能会判断任务已经接近结束。但是从完整目标方面来看，机器人还需要把饮料放到桌面，并关闭冰箱门。

为此，EgoTSR引入了子任务规划器（Subtask Planner）。它以初始场景以及高层任务描述为基础，生成了一组具有明确顺序的原子子任务。

上面的任务可以被拆解为：

打开冰箱门；

找到并抓取饮料；

将饮料从冰箱中取出；

把饮料放到桌面；

关闭冰箱门。

这组子任务得以构成整个任务的逻辑骨架。

当模型观察到两张图像之后，不再局限于对局部物体位置进行简单比较，而是能够进一步判断每张图像分别处于任务链的哪个阶段、已经完成了多少必要步骤，以及后续还需执行哪些动作。

论文把长任务图像对划分成了三个层次：同一子任务内部、相邻子任务之间，以及跨越多个子任务的状态比较。随着跨度不断增加，模型所需要运用的就不再局限于局部视觉变化，而是要借助整个任务的因果关系以及顺序结构。

值得注意的是，这里的「规划」主要指的是对高层任务开展分解工作以及对任务进度进行推理的过程。EgoTSR 并不直接输出机械臂的关节角、力矩或运动轨迹，而是为机器人提供「任务进行到哪里」以及「后续还需要完成什么」的认知基础。

双层评测机制：它既会对模型是否能够看清楚视觉信息开展了考察，也会对模型是否可以想明白任务进度以及因果结构开展了检验。

研究团队构建了 Dual-Level Evaluation Framework。

第一层对应于短程原子任务，它对模型能否捕捉细粒度空间变化开展了考察，例如夹爪是否闭合、按钮是否按下、物体是否进入容器。这一层主要用于诊断模型是否「看错了」。
**

第二层对应于长程任务，要求模型借助子任务序列来判断两张图像在完整任务中所处的相对进度。这一层主要用于诊断模型是否「想错了」。

两个层级都加入了正向以及反向输入测试，以便对模型是否依赖于图像顺序开展了检查。

最终，EgoTSR在长程任务方面成功取得了92.4%的平均准确率，而短程任务的表现则约为88%。在长程双向评测中，正向准确率约为92.4%，反向准确率约为92.3%，二者之间的差距仅有0.1个百分点。

消融实验充分说明了训练顺序所具有的重要性。当对CoT、Tag以及LongTag进行混合训练的时候，长任务准确率仅为69.6%；而按照「显式推理—能力内化—长程规划」的顺序来开展训练之后，准确率得以提升到92.4%。在去掉Subtask Planner之后，准确率则下降到81.1%。

从任务判断走向任务完成度监测

除了开展定量评测之外，研究团队还借助人类操作视频、模拟环境以及真实机器人平台开展了案例验证工作，其中涉及LIBERO、SIMPLER、RoboTwin，以及Franka、Agibot和So-100等机器人平台。

在「把绿色杯子放进白色盘子」的案例中，模型对未经切分的完整视频开展了持续处理工作，并输出了反映任务完成度的一条曲线。

当机械臂接近杯子的时候，曲线会缓慢发生变化；完成抓取以及放置等关键子任务的时候，完成度会出现明显上升；中间的搬运过程则保持相对稳定。

这意味着EgoTSR不仅能够对两张静态图像开展比较工作，还具备了应用于长视频任务监测方面的潜力，其中包括判断机器人当前处于哪个阶段、是否发生了动作回退情况，以及任务是否正在按照预期推进。

机器人需要的不只是「看见」

从静态图像识别任务迈向真实机器人应用的过程中，模型所面对的问题发生了根本性的变化。

在图像问答任务当中，识别出杯子、盘子以及机械臂可能就已经足够；但是在具身任务方面，模型还需要进一步理解这些物体之间的变化是否能够服务于当前的目标。

机械臂发生了运动，并不意味着任务方面取得了进展；视频继续播放，也不意味着机器人会越来越接近成功。

EgoTSR的价值，一方面在于它可以提供一种从显式推理逐步过渡到长程规划的训练路径；另一方面，它借助正向以及反向图像对，为具身模型设计了一把更加严格的「尺子」。

当然，这项工作距离完整的通用机器人系统仍存在较为明显的差距，但它至少揭示出了一个容易被高准确率所掩盖的问题：

当一个模型声称自己理解了机器人视频之时，它究竟是在对物体、动作以及任务之间的因果关系开展分析工作，还是仅仅只是在重复「后一张图通常更接近完成」这一数据规律呢？

对于那些希望迈入真实世界的具身智能系统而言，回答这个核心问题，或许要比单纯提升几个百分点的准确率显得更加重要。

来源：两张图换个顺序，VLM就不会了：EgoTSR让机器人判断任务是否真的在推进 | 具身研习社