近日,斯坦福大学TWIST(全身遥操作模仿系统)正将人类的全身运动实时转化为机器人行动,开启通用机器人智能的新时代。相较于传统遥操作系统局限于单一任务的训练,虚拟动点OptiTrack系统加持下的TWIST系统则将复杂场景下的机器人全身协调运动变成现实,让机器人展现出前所未有的灵活性。
从人类运动到机器人智能的桥梁
传统遥操作系统难以应对日常生活复杂任务,如双手持物用脚开门或弯腰清理床底,因其缺乏全身协调能力。TWIST通过实时模仿人类运动,遥操作人形机器人完成抬箱子、踢足球、侧身行走及华尔兹舞等任务,需上肢、下肢和躯干同步协作。TWIST将遥操作转化为“实时运动重定向和追踪”任务,利用高精度数据,再通过重定向算法生成机器人关节位置和根速度目标,最后由结合强化学习和行为克隆的神经网络控制器驱动。斯坦福团队强调,高品质实时数据是关键,虚拟动点OptiTrack系统以光学追踪技术提供高精度、低延迟数据,支持从模拟到真实世界的无缝应用。
精准捕获,实时传输
在TWIST项目中,OptiTrack系统凭借高精度、低延迟、高帧率等优势,直接解决了实时遥操作中的两大痛点:延迟和准确性。斯坦福研究团队通过OptiTrack系统捕捉了亚毫米级的人类全身关节高精度数据,并以高帧率重定向转化为机器人目标,同时,OptiTrack系统的鲁棒性确保了即使在遮挡或快速运动下,数据也不会丢失或扭曲,有效避免了根位置漂移问题,确保机器人步态稳定。并且,OptiTrack系统的实时性能成为TWIST低延迟遥操作的关键。
虚拟动点OptiTrack系统为TWIST提供精准数据
从踢球到舞蹈的全身协调
TWIST项目的演示视频展示了虚拟动点OptiTrack系统的实际贡献。以“腿部操纵”为例,机器人能双手持物同时用脚踢开门或大力踢足球。OptiTrack系统的高频追踪捕捉到了踢球瞬间的根速度变化,确保机器人不失衡。斯坦福大学研究团队提到,纯强化学习控制器易出现犹豫行为,但结合OptiTrack系统训练出的控制器更平滑。
在表达性运动中,如与人类共舞华尔兹,OptiTrack系统的精度让机器人捕捉到微妙的手臂摆动和步态同步。无论是Unitree G1还是Booster T1的本体运动都具备更为稳定和精准的表现。
这些实际案例证明,虚拟动点OptiTrack系统不仅提供高精度的数据,更是提升系统鲁棒性的催化剂,实现前所未有的可达性——机器人几乎能用手触及脚趾。
Booster T1与Unitree G1
斯坦福大学的TWIST项目标志着人形机器人全身遥操作的里程碑,而虚拟动点OptiTrack系统不仅解决了数据瓶颈,还赋予机器人人类般的灵巧与协调,推动了从实验室到现实的跨越。我们同样期待,在虚拟动点的数据与训练服务支持下,帮助更多机器人伙伴实现科研成果和本体能力的突破,虚拟动点也将站在AI与空间计算的基础上,持续助力人类与机器的和谐共融。