机器人伸出了食指，把它按向喷壶上的扳机。镜头里，指尖已经贴上去了，机器人也认为自己完成了动作，但水却没有喷出来。

从画面上来看，似乎一切都显得正确无误。但问题在于，指尖虽然已经碰到了按钮表面，却并未真正把它压下去。对于摄像头而言，“手指贴在按钮上”和“按钮已经被按下”这两幅画面可能几乎完全相同；而触觉却可以直接告诉机器人：是否建立了接触、具体压在了哪里、以及施加的力道到底是否足够。

针对这类“看起来动作做对了，但在物理上却未能真正完成”的失败。破晓智能（PHANES AI）创始人、哈工大（深圳）长聘教授杨朔及其团队发布了最新论文TouchWorld: A Predictive and Reactive Tactile Foundation Model for Dexterous Manipulation。

TouchWorld让触觉同时承担两种角色：行动前会预测应该碰成的具体状态，接触后可以运用真实反馈快速实现纠错。

在执行浇花、桌面清理、电源插头插入、杯子插入、擦锅以及抽纸巾这六项真实机器任务的过程中，TouchWorld在没有额外干扰的场景下成功取得了65.0%的平均成功率；在加入目标移动、抓握干扰等人为扰动之后，成功率则为57.2%，分别超过了最强基线15.7和16.0个百分点。每项任务采集了200条遥操作训练轨迹，并进行了100次真机评测。

这项工作的背后，杨朔正是其核心推动者，他同时也是破晓智能（PHANES AI）的创始人。

杨朔担任破晓智能（PHANES AI）的创始人，同时在哈工大（深圳）担任长聘教授以及博士生导师。

杨朔曾经获得了Google PhD Fellowship这一奖项，成为当届全球9位获奖者之一；博士阶段所开展的工作成功入选ICLR Best Paper Finalist，他在26岁时回国担任哈工大（深圳）长聘教授以及博导，并且在同一年获得了国家级青年人才的评定。目前，他已经创立破晓智能，并组建起一支数十人规模、覆盖数据、模型、机器人控制以及硬件系统的具身智能团队。

TouchWorld 不是一次偶然的 “论文突袭”。

在其背后，是杨朔团队从人类数据出发运用触觉建模方法一路推演至机器人灵巧操作的整条技术路线；这也是破晓智能首次把这条路线以较为完整的形式摆到台前。

触觉既要 “预判”，

也要 “反应”

TouchWorld标题当中最为关键的两个词汇，是Predictive以及Reactive。其中一个所负责的是预判工作，另一个则负责完成纠错处理。

所谓Predictive方面，是指机器人在真正展开动作之前，会先对子任务完成后的预期状态开展预测：其中包括画面应当呈现出的具体模样，以及手上压力应当达到的水平。

TouchWorld 会多做一步。

当任务推进到“按下喷壶扳机”这一环节时，模型不仅会对未来视觉画面开展预测，而且还会同步预测一张未来触觉图谱，其中明确指出应当由哪根手指来产生压力、该压力应当出现在指尖位置还是掌侧区域、以及接触强度大致需要达到怎样的状态。

这张触觉图相当于为机器人设定了一个在物理世界中所要达成的目标。

即使画面显示动作看似正确，也不能视为任务完成。只有手指真正压下并产生了预期的接触，才算成功完成了该动作。

这就是TouchWorld所具备的预测能力：它让机器人得以提前获知，自己在接触之后应当形成怎样的具体状态。
。

不过，在现实环境当中，仅仅知道目标还是不够的。

杯子放置的位置可能会比训练时的摆放方式偏移几厘米；插头在接触插座之后可能会发生轻微的倾斜状况；灵巧手经过长时间运行之后，其关节部分会由于发热以及松动的原因而产生误差；甚至在机器人执行任务的过程中，人还会突然碰触它的手部，或者直接把目标物体挪动到其他位置。

在这一阶段，如果每发生一点变化，都让上层大模型重新开展观察、重新进行推理以及重新生成一整段动作，速度就会变得太慢。

于是，TouchWorld 增加了 Reactive 路径。当机器人真正接触物体之后，系统会持续读取最近的触觉信号以及关节状态，在原本动作上叠加细小修正：手指往左偏一点，握力再加一点，手腕角度微调一点。

上层策略所负责的是决定机器人应当往哪个方向前进。而触觉反馈则负责保证在真正接触到物体之后，动作不会发生走偏的情况。

这就好比人类去拿起一个表面湿滑的玻璃杯。大脑首先会规划出手应该伸向什么位置、应当采用怎样的姿势来抓住它；然而当手指真正接触到杯壁之后，手指所感受到杯子即将滑落的信号，会促使握力立即进行调整。这个过程并不需要人停下来重新思考一遍应当如何拿取杯子。

TouchWorld 做的，正是把这两种能力分开。

触觉所承担的角色，并非仅仅在失败之后才提醒机器人出现了接触错误，而是同时参与到行动前的目标状态预测当中，并且在实际接触过程中运用真实反馈实现快速的纠错。

TouchWorld借助触觉世界模型对机器人任务子目标进行预测。

为什么一个 VLA “吃不下” 触觉

按照常规思考路径来看，VLA已经将视觉、语言以及动作全部容纳在内，因此再加入一份触觉数据也就显得顺理成章。

但杨朔团队在研究中发现，触觉并非是一块能够直接拼入模型的新积木。它与视觉在信息密度、出现时机以及处理速度这些方面都存在完全不同的特点。如果将其硬塞进同一个模型，那么结果很可能并非让VLA学会触觉，而是触觉被视觉所完全淹没。

触觉信息首先显得过于稀疏：在执行一个两分钟的任务过程中，真正产生接触的时间可能只有十几秒；而图像拥有百万级像素，单手触觉却仅有几百维。如果与视觉以及语言进行同频训练，模型就很容易仅仅依靠视觉部分来“偷懒”。

更重要的是，任务规划、动作生成以及接触纠错这几个环节，本来就不应当共用同一个时钟来运行。因此，TouchWorld 没有继续构建一个什么都管的统一模型，而是把整个系统拆分成三个层级来分别处理。

TouchWorld因此把系统拆分成三个不同时间尺度：其中1Hz的高层所负责的是拆解任务并且预测视觉与触觉目标；10Hz的中层则会根据这些目标来生成主体动作；而30Hz的触觉反应层则根据实时接触以及关节状态对动作开展持续修正。这种慢速规划、中速执行以及快速纠偏的方式，让三层分别处理最适合自己的问题。

慢规划、中速执行以及快速纠偏这三个层面，分别对不同时间尺度的问题进行处理。

TouchWorld构建了三层架构，其中高层负责开展任务规划并且预测后续目标状态，中层生成具体动作，而高频触觉反馈则实时完成纠偏工作。

消融实验也验证了这种分层设计并非多余。完整的TouchWorld在无扰动以及人为扰动场景中所取得的平均成功率分别为65.0%和57.2%。移除触觉输入之后，成功率降至43.3%和30.0%；移除30Hz触觉修正层之后则降至55.3%和40.3%，在目标发生移动或抓握受到扰动时这种下降表现得尤为明显。

在移除Tactile World Model之后，成功率会下降至60.2%以及51.2%；而在去掉子任务规划模块的情况下，成功率则进一步降低到55.5%和46.2%。

论文还呈现出一个值得关注的实验结果：4B规模的子任务规划模型在经过任务阶段监督训练以及记忆增强处理之后，其准确率成功达到了91%，这一表现反而超过了零样本条件下32B模型所取得的84%。

这一结果表明，在层级系统当中，单纯将模型规模做大未必能够取得最优的效果。而让模型清楚掌握任务当前进行到了哪一步、此前已经完成过哪些操作，以及下一步是否能够被下游策略顺利执行，或许会显得更为重要。

65%的成功率当然还谈不上解决灵巧操作，但它至少证明：相比于把触觉简单塞进统一策略，明确分开“预测接触”和“根据接触快速反应”，确实会更为有效。

触觉从哪来，

又怎么真正用起来

TouchWorld 的提出并非是从零基础开始的。在此之前，杨朔团队就已经围绕着同一个核心问题持续向前推进：机器人若要学会运用触觉，首先需要拥有充足的触觉数据；而真实的触觉数据数量太少，又应当如何将它规模化地获取呢？

Touch系列正是由此产生。该团队首先运用EgoTouch把人类操作中的第一人称画面、手部姿态以及双手压力进行同步采集；随后又借助TouchAnything对视觉与触觉之间的对应关系开展学习，从而让模型得以从普通视频中推测接触位置和压力分布。

到了TouchWorld这一模型当中，触觉终于从以往被采集和被预测的状态，发展到了真正被机器人所运用的阶段：行动展开之前，它被用来预测应当形成怎样的接触状态；而行动实施过程之中，它又转变为实时完成纠错的反馈信号。

这条路线的逻辑十分清晰：EgoTouch所负责的是触觉数据的采集工作，TouchAnything所负责的是从视频当中恢复触觉信息，TouchWorld所负责的是让机器人真正运用触觉。

在着手解决“触觉数据究竟从哪里来”这一问题之前，杨朔及其团队就已经意识到，如今互联网上并不缺乏人类操作视频：拧瓶盖、切菜、拿杯子、运用工具，这些动作每天都在被相机所记录下来。
。

但普通视频只能拍摄到手如何移动以及物体如何变化，却无法看到手与物体接触时掌心和指尖究竟承受了多大的压力。

为此，团队搭建了一套穿戴式采集系统：采集者头部佩戴第一人称相机，左右手腕各安装一台近距离相机，同时佩戴双手姿态追踪设备以及密集触觉手套。这样，一次操作会被同步记录成多路RGB视频、双手3D姿态，以及左右手的连续压力分布。

EgoTouch 第一人称视觉 - 触觉数据采集系统。

最终所形成的EgoTouch得以覆盖208项操作任务、1891段交互、超过20小时视频、约210万帧数据以及1000余个物体，场景横跨家庭、办公室、工作台、零售和户外环境这些不同方面。

而TouchAnything所具备的意义，并非在于宣布摄像头从此可以完全替代触觉传感器。当机器人真正执行精细操作的时候，它仍然需要运用实时且可靠的触觉硬件。这一方法更像是在解决一个规模化的问题：首先运用有限的真实触觉数据来教会模型视觉以及触觉的对应关系，进而为大量原本没有触觉标注的人类视频补充触觉监督提供可能。

TouchAnything多视角触觉预测模型架构。模型将头戴第一人称视角、左右腕部视角以及双手3D姿态作为输入，借助多视角视觉特征融合与姿态感知融合，来预测双手压力分布图，从而从纯视觉视频中恢复触觉信息。

然而，仅仅能够猜想到人手可能感受到了什么，这并不等于机器人会运用这些信息。

这也让 TouchWorld 的出现变得顺理成章。

TouchWorld当中的触觉世界模型，首先在20.2小时EgoTouch人类交互数据之上开展预训练，随后运用10小时机器人演示数据来进行微调。前者使得模型得以接触到更为多样的人类操作以及接触模式，而后者则把这些先验知识适配到具体的机器人灵巧手、触觉传感器以及动作空间当中。

至此，整条技术路线才真正闭合：

EgoTouch所回答的是触觉数据应当如何进行采集；TouchAnything所回答的是对于没有传感器标注的视频，能否从中恢复出触觉信息；TouchWorld所回答的则是机器人如何依据触觉预测目标状态、生成动作，并且在真实接触过程中完成纠偏。

从记录人类如何触碰世界的过程，到让机器人学会真正“碰对”，杨朔团队借助两篇论文，把三个环节一步一步地连接了起来。

没有现成答案，

破晓智能要做一项全栈工程

把TouchAnything以及TouchWorld连起来看，破晓智能的定位才会真正清晰起来：它不是一家单纯做触觉手套的公司，也不是一家只提供人类数据的公司。

在杨朔看来，数据采集设备、触觉硬件以及机器人平台这些要素都只是所采用的手段，它们最终都要服务于同一个目标，也就是对能够迁移到真实机器人上的基础模型开展训练和迭代的工作。

破晓智能所采用的技术路线延续了杨朔过去在Data-Centric AI方面所开展的研究思路。在正式进入具身智能领域之前，他长期对数据质量、噪声处理以及训练效率这些方面给予了高度关注；而当转向机器人领域之后，他首先追问的问题依然并非模型还可以如何进行修改，而是究竟什么样的数据路线才能够支撑起能力的持续扩展。

如果说TouchWorld所解决的是机器人应当如何把手碰对的问题，破晓智能进一步瞄准的则是整个身体应当如何移动到位并且把事情做对。

为此，破晓智能也正在推进一套更完整的人类数据采集方案。除了运用第一人称头环以及触觉手套之外，还包括腰带与脚踝柔性绑带：其中头环所记录的是人看见的内容，手套则记录手部如何接触物体，而腰带和脚踝设备则会捕捉移动、转身、弯腰、下蹲以及踮脚等各类全身动作。

真实的人类操作，很少仅仅发生在一张固定的桌子前面。做家务需要在房间当中进行移动，取高处物品需要进行踮脚动作，整理地面物品需要开展下蹲，而搬运过程中还要对平衡、移动以及双手协同这些方面进行处理。破晓智能所希望学习的，并不只是手应当如何进行抓取，而是人类如何在真实空间当中移动到合适的位置，进而完成那些接触密集的操作任务。

但 TouchWorld 并非依托一套现成且稳定的软硬件平台来开展构建。其中触觉数据存在不足，手套会产生噪声、漂移以及批次差异这些问题，而高自由度、全掌触觉并且足够稳定的灵巧手同样很难直接购买。

杨朔团队所展现出的工程化能力，使得TouchWorld得以超越单纯的模型设想阶段，成功推进到构建完整系统并且开展真实机器人验证的工作。市场上缺乏现成可用的方案，团队便自主对硬件进行改造、搭建数据处理管线、开展模型训练以及运行控制闭环；评测体系也需要重新设计各项任务、采集必要数据、设定评价标准以及构建扰动场景，之后再反复开展真机测试工作。

TouchWorld在浇花以及抽纸巾等六项真实机器人任务当中成功完成了测试工作。

这也意味着，破晓智能真正所要搭建的并非一个单点模型，而是要构建起一整套全栈能力：其中从人类数据采集和触觉数据清洗开始，依次经过视觉—触觉对齐、世界模型训练、灵巧手遥操作、真机策略部署，最后再到传感器适配和统一评测环境。
。

目前，团队成员所具备的专业能力已经能够全面覆盖机械设计、嵌入式开发、数据基础设施、世界模型训练以及真机部署等多个关键环节。这正是破晓智能敢于把目标指向全身移动灵巧操作的坚实底气所在，也构成了它相比单一模型方案而言更为完整的技术壁垒。

单个模型架构或许可以被迅速追赶，然而真正难以复制的，乃是数据、硬件、模型以及评测体系这四者相互协同所共同构建而成的完整闭环。

接下来，团队计划逐步对EgoTouch、TouchAnything以及TouchWorld所涉及的数据、代码与模型开展开源工作，并且继续推进五指灵巧手、触觉世界模型以及全身移动操作这些方向的研发进程。

视觉信息使得机器人能够了解到世界呈现出怎样的样貌，而触觉反馈则让机器人得以确认自身是否真正对世界实施了改变。

而破晓智能所希望实现的，是让这种能力不再停留于一组传感器读数当中，而是成为机器人基础模型的组成部分。

来源：98年哈工大教授带队，破晓智能要把触觉写进机器人基础模型 | 具身研习社