在机器人操作任务中，视觉很重要，但仅靠视觉往往还不够。当机器人真正去抓取、按压、滑动、旋转物体时，它还需要一种更细腻的感知能力——触觉。而在众多触觉方案中，视觉式触觉传感器因为分辨率高、抗干扰能力强、结构相对简单，正在被越来越多地应用到机器人接触感知与灵巧操作中。

不过，一个现实问题始终存在：高质量触觉数据很难获取。一方面，真实触觉传感器在频繁接触和摩擦中容易磨损，长期、大规模采集数据的成本很高；另一方面，许多依赖数据驱动的机器人算法都需要海量样本，这让真实数据采集成为制约研究和应用落地的重要瓶颈。正因如此，通过仿真生成触觉数据，成为近年来视触觉研究中的一个重要方向。

为了解决这一问题，方斌教授团队联合张建伟院士团队联合在Sensors and Actuators A: Physical上发表论文：Tacchi 2.0: A low computational cost and comprehensive dynamic contact simulator for vision-based tactile sensors，为高质量的触觉数据生成提供了新的思路。

Tacchi 2.0 的核心思路，是把物质点法（MPM）和针孔相机模型结合起来，构建一条从物理形变到图像生成的完整链路。简单来说，它先通过 MPM 模拟弹性体在接触中的真实变形，再通过相机模型把三维空间中的 marker 运动映射到二维图像平面，从而生成 marker-motion 图像。和前代版本相比，Tacchi 2.0 不再只停留在触觉图像层面，而是进一步补齐了marker-motion image和joint image的生成能力，并且支持pressing、sliding、rotation等典型动态接触形式。也就是说，它不只是“看见压下去”，还要尽可能模拟“怎么滑、怎么转、怎么变”。

为了验证所提出仿真器的可靠性，本文分别进行了基于sim-to-real的分类和滑动检测任务。在物品分类中，本文使用仿真器生成训练数据，完成了基于ResNet的模型训练，最终完成了Zero-shot的Sim-to-Real的验证。

基于仿真数据训练的 ResNet 模型，在 sim-to-sim 测试中达到了 100% 的准确率；而在完全不使用任何真实数据训练或微调的情况下，模型在真实测试集上的 sim-to-real 准确率仍达到 94.67%。这说明，仅依靠 Tacchi 2.0 生成的仿真数据，模型已经能够学到相当一部分可迁移到真实世界的触觉物体类别特征。

在动态触觉任务中，真正关键的是变化本身，而不是某一帧的静态外观，因此该文采用了 TimeSformer 作为滑动检测的模型。为了尽量缩小仿真与真实之间的差距，本文还在仿真数据生成阶段加入了阈随机化，包括对压头初始位姿、平移速度、旋转速度等参数进行随机化，同时配合时间下采样、旋转和平移等数据增强方式，提升模型的泛化能力。

基于仿真数据训练的 TimeSformer 模型，在sim-to-sim 测试中达到了 99.69% 的准确率；而在完全不使用任何真实数据训练或微调的情况下，模型在真实测试集上的sim-to-real 准确率仍达到 88.75%。这说明，仅依靠 Tacchi 2.0 生成的仿真数据，模型已经能够学到相当一部分可迁移到真实世界的触觉动态特征。

Tacchi作为一款可插拔的视触觉仿真器，可以插入现有机器人仿真平台作为视触觉仿真的插件，提供视触觉数据的生成。

来源：CAAI认知系统与信息处理专委会