然而在微纳尺度，具体到细胞培养皿这类应用场景中，由于系统资源受到严苛限制，微型机器人的自主导航长期面临两大底层技术瓶颈。第一方面，在于缺乏直观且高效的观测表征。如果直接运用原始的视觉图像作为输入，则会导致数据维度极高，进而使得控制策略极难收敛。第二方面，面对具有非平稳、随机运动模式的复杂生物障碍物，当前的控制架构并未配备能够从中有效提取时空特征的神经网络，这直接导致了机器人无法建立对环境动态演化趋势的预测能力。

近期，针对上述挑战，浙江大学研究团队提出并构建了一种全新的STTRL-DVO强化学习框架。该框架借助高效的虚拟雷达观测表征，并引入了具备时空建模能力的Transformer架构，从而赋予了微型机器人以预测性避障与动态追踪的“全知大脑”。这一设计使得机器人在极其混乱且拥挤的动态环境中，得以实现高鲁棒性的自主导航。相关研究成果已发表于机器人领域的顶级期刊《IEEE Transactions on Robotics》。

本项研究是由浙江大学智能生物产业装备创新团队机器人微纳操作实验室所主导完成，参与本项研究的合作单位则为德国慕尼黑工业大学。论文的通讯作者为浙江大学“百人计划”研究员周鸣川，机器人微纳操作实验室的博士生王芳豪以及本科生陈炳宏为本论文的第一作者与共同第一作者。相关论文的链接为：https://ieeexplore.ieee.org/document/11554436

01.

给微型机器人装上“虚拟雷达”

既然无法在微型机器人本体上安装物理传感器，那么如何使其感知周围环境呢？研究团队采取了一种创新的解决思路，即设计了一套被称为“虚拟雷达（Virtual LiDAR）”的观测机制。该系统借助设置于顶部的全局视觉传感器，能够实时且精确地捕捉微型机器人、预定目标以及周边障碍物（例如活体生物）的几何位置信息与轮廓形态。随后，系统会在后台执行一系列高效的数学运算，从而将这些宏观的几何关系转化为以该机器人为中心的虚拟LiDAR扫描射线数据。这种设计方案直接从原始图像中剥离了那些维度高且易受干扰的冗余特征，实现了将复杂的环境信息进行降维处理，转化为极为精简的雷达扫描数据。这一处理不仅显著降低了强化学习算法在认知与决策过程中的负荷，同时也使得模型对于视觉检测过程中可能出现的误差具备了更强的容忍度。

02.

然而，在微纳尺度下，例如细胞培养皿这类应用场景中，由于系统资源受到严苛限制，微型机器人在实现自主导航时，长期面临着两大底层技术瓶颈。首先，在获取环境感知信息方面，存在核心挑战，即缺乏一种直观且高效的观测表征方法。如果直接采用原始的视觉图像作为输入，会导致数据维度极高，进而使得控制策略极难收敛。其次，面对具有非平稳与随机运动模式的复杂生物障碍物，当前的控制架构并未配备能够从中有效提取时空特征的神经网络，这直接导致了机器人无法建立对环境动态演化趋势的预测能力。

近期，针对上述挑战，浙江大学的研究团队提出并构建了一种全新的STTRL-DVO强化学习框架。该框架借助高效的虚拟雷达观测表征，并引入了具备时空建模能力的Transformer架构，从而赋予了微型机器人预测性避障与动态追踪的“全知大脑”。这一设计使得机器人能够在极其混乱且拥挤的动态环境中，实现高鲁棒性的自主导航。相关研究成果已发表于机器人领域的顶级期刊《IEEE Transactions on Robotics》。

本项研究由浙江大学智能生物产业装备创新团队机器人微纳操作实验室主导完成，合作单位为德国慕尼黑工业大学。论文的通讯作者是浙江大学“百人计划”研究员周鸣川，机器人微纳操作实验室的博士生王芳豪与本科生陈炳宏分别为本文的第一作者与共同第一作者。相关论文的链接为：https://ieeexplore.ieee.org/document/11554436

如果将虚拟雷达视作微型机器人的"眼睛"，那么核心算法便是其"大脑"。研究团队围绕这两大模块，开发了包含两大核心创新点的智能算法：

与传统的控制策略相比，后者的设计通常专注于对当前时刻环境状态的感知与响应，而团队所引入的Transformer架构则能够有效处理长达数个时间步的历史雷达扫描序列。这意味着机器人得以构建一种“时空记忆”机制，其不仅知晓障碍物在当前瞬间的方位，更可以从中敏锐地辨识出它们的运动轨迹，进而对未来的动态变化做出准确预判，从而实现具有前瞻性的避障决策。

确定性速度障碍（DVO）引导机制：在开展强化学习训练的过程中，由于微型机器人试错的代价极为高昂，如何高效地引导其学习成为了一大挑战。为此，研究团队提出了一种创新性的DVO奖励模块来充当"教练"角色。与传统速度障碍（VO）方法依赖低效的随机采样机制不同，DVO借助严谨的解析几何算法，能够直接计算出一个绝对无碰撞且指向目标的最优确定性方向。实验数据表明，DVO算法的计算速度达到了传统方法的13.45倍，同时显著提升了强化学习策略的收敛速度与整体质量。

03.

Sim2Real跨越现实鸿沟

将仿真环境中训练得到的导航策略直接应用于现实世界时，常常会遭遇环境适应性挑战。为了使机器人能够直接实现零样本部署（Zero-shot deployment），在仿真训练阶段，研究团队采用了课程学习（Curriculum Learning）策略：即先让机器人在存在动态障碍物的环境中，追踪一个静止的目标进行初步训练，待其熟练掌握后再逐步引入移动目标。这种循序渐进的方法，从而有效防止了算法因任务难度过高而崩溃，并显著加速了强化学习（RL）策略的收敛过程。此外，团队在仿真器中精确标定了电磁系统的真实物理参数，并特意引入了各类感知噪声（即域随机化）。这使得机器人能够在虚拟环境中提前适应并应对真实世界中的复杂扰动。

04.

终极测试：与斑马鱼和涡虫“共舞”

评估一项算法的最终性能与实际应用价值，其唯一可靠的标准就是真实环境下的测试。经过系统性评估，该算法表现出显著的优势，其追踪成功率达到了89.8%，相较于目前最优（SOTA）的基线算法实现了7.4%的性能提升。第二项评估则聚焦于活体生物实验。研究人员在液态培养环境中引入了两种具有不规则运动特性的活体生物，作为真实世界的动态障碍物，以此来检验导航策略在复杂生物场景下的智能适应能力。

1. 斑马鱼幼体：具备极高的游动速度，并且会频繁出现不可预测的急转弯行为。

2. 涡虫：其身体结构具有极高的柔韧性，这使得它在游动过程中能够持续产生并适应显著的形变。

面对形态特征、移动速率以及运动轨迹等多个维度均难以建立精确数学模型的动态障碍物，STTRL-DVO算法展现出了卓越的鲁棒性能。无需借助任何真实数据的后训练微调过程，微型机器人便能够在活体生物群落之间灵活穿行，并持续稳定地追踪至处于运动状态的目标位置。

05.

迈向微观世界的自动驾驶

本项研究证实了，借助“关键信息表征，即虚拟雷达”、“时空融合特征提取”以及“先验知识引导，即DVO”这一整套底层逻辑，微型机器人已具备在高度混乱且不可预知的生物流体环境中，成功实现高鲁棒性“自动驾驶”的能力。这一进展不仅克服了未来微型机器人在生物育种、单细胞操作及靶向递送等前沿生命科学应用中所面临的导航层面核心技术障碍，也为光控、声控等所有其他多模态微尺度控制系统提供了一套具有启发意义的通用智能导航范式。

来源：最新进展！浙大团队T-RO研究成果，磁控微型机器人实现复杂环境中的“凌波微步” | 具身研习社