VISTA-Grasp开源发布:轻量级低延迟WebXR双臂机器人遥操作系统

2026年05月18日 17:49
本文共计2145个字,预计阅读时长8分钟。
来源/具身研习社 责编/爱力方

今天,我们正式开源 VISTA-Grasp双臂机器人遥操作系统。

VISTA是Virtual Interface for Spatial Teleoperation and Ambience缩写,VISTA‑Grasp: An Immersive VR Teleoperation System for Robot Grasping(沉浸式 VR 机器人抓取遥操作系统)

具身智能与机器人遥操作领域,低延迟、高沉浸感的交互体验始终是技术落地的核心诉求。 VISTA-Grasp—由穹明智能(QiongMing-Intelligence)自主研发的轻量级WebXR遥操作系统,基于WebXR、WebRTC与ROS生态打造,为双臂机器人提供端到端的沉浸式遥操解决方案,无需复杂配置,开箱即可上手!

为什么打造VISTA-Grasp?

传统机器人遥操作方案往往面临「部署复杂、延迟高、跨平台适配难」三大痛点:依赖专用XR开发套件、视频回传延迟突破秒级、多设备端口映射与ROS适配需大量定制开发。针对这些问题,VISTA-Grasp从底层架构出发,重构了遥操链路,实现「轻量化、低延迟、易部署」的核心目标。

VISTA-Grasp:四大核心特性,重新定义遥操作体验

1. 多模态XR控制:浏览器即入口,适配主流头显

基于WebXR标准构建,无需安装专用APP,在头显浏览器中即可完成高精度头部姿态跟踪、双手控制器位姿采集,完美适配Meta Quest 3等主流XR设备,摆脱封闭生态依赖,降低硬件使用门槛。

2. 超低延迟视频回传:双路WebRTC,沉浸式第一人称视角

集成双路WebRTC视频流,将机器人端视角的 camera0(主视角)与 camera1(辅助视角)画面无延迟推送到VR头显,局域网内端到端延迟在毫秒级,打造「身临其境」的第一人称遥操体验,精准感知机器人作业场景。

3. 高性能双臂运动学:毫秒级IK解算,动作映射更丝滑

开发机端集成Pinocchio与CasADi开源库,实现十毫秒级高频逆运动学解算,将XR手柄的手部动作平滑映射到7自由度机械臂关节,兼顾运动精度与流畅度,适配双臂协同、精细抓取等复杂操作场景。

4. 开箱即用的极简部署:一键启动,无缝对接ROS

采用前后端分离架构,搭配tmux自动化启动脚本,无需手动配置多进程;内置标准ROS桥接层,可直接对接头部、双臂、夹爪及底盘的控制话题,支持「真实机器人+无头模拟」双模式——无硬件也能通过dummy.py完成仿真测试。

5分钟快速上手:从安装到遥操仅三步

第一步:环境搭建(开发机端)

Bash# 克隆项目git clone https://github.com/your-company/yqbz_teleop.gitcd yqbz_teleop# 配置后端环境(AMD64架构,macOS用env_arm64.yaml)conda env create -f env_amd64.yamlconda activate teleop# 安装前端依赖cd frontendnpm installcd ..

第二步:启动服务

Bash# 开发机启动前端+后端核心服务cd run./start.sh# 机器人端启动ROS桥接与摄像头(无机器人则运行python backend/bridge/dummy.py)cd run./rob.sh

第三步:连接VR头显,开始遥操

Bash# 端口映射(以Meta Quest为例)adb connect <VR_IP>:5555adb reverse tcp:5173 tcp:5173adb reverse tcp:5174 tcp:5174

戴上头显,浏览器访问http://localhost:5173,点击「进入AR」,即刻开启双臂机器人遥操!

视频demo:

https://www.bilibili.com/video/BV1ZpLc6gEFz/?share_source=copy_web&vd_source=bc359a953741c0ae464e460eb4116ad3 

https://www.bilibili.com/video/BV1ZpLc6gELk/?share_source=copy_web&vd_source=bc359a953741c0ae464e460eb4116ad3 

企业级进阶能力:可定制、可扩展

为满足工业级定制需求,VISTA-Grasp提供完善的进阶文档体系:

•系统配置与自定义端口指南:灵活调整网络、硬件适配参数;

•ROS话题映射规范:按需对接不同品牌机械臂、传感器;

•WebRTC视频流调试:针对性优化视频延迟、画质;

•贡献者指南:支持企业团队协作开发、功能定制。

写在最后

VISTA-Grasp的开源,旨在降低具身智能遥操作技术的落地门槛,让更多开发者、企业快速上手高质量的XR机器人遥操方案。我们会持续迭代功能、完善文档,期待你的Star与贡献!

项目地址:

https://github.com/qiongming-intelligence/VISTA-Grasp 

https://gitee.com/QiongMing-Intelligent/VISTA-Grasp 

来源:开源官宣|VISTA-Grasp:轻量级低延迟WebXR双臂机器人遥操作系统,开箱即用! | 具身研习社

声明:本文来自具身研习社,版权归作者所有。文章内容仅代表作者独立观点,不代表A³·爱力方立场,转载目的在于传递更多信息。如有侵权,请联系 copyright#agent.ren。

相关图文

热门资讯

推荐专栏

爱力方

爱力方

机器人前沿资讯及信息解读
机器人大讲堂

机器人大讲堂

中国顶尖的机器人专业媒体服务平台
关注爱力方,掌握前沿具身智能动态

© 2025 A³·爱力方

https://www.agentren.cn/