实时人-机-物交互框架 RHINO：人形机器人助手从人类交互数据中学会「察言观色」

97 0 0

文章摘要

针对人形机器人在动态环境中实现高效交互的挑战，上海交通大学研究团队提出的RHINO框架通过分层学习架构实现了突破性进展。该框架将交互过程解构为意图预测、技能生成与安全监督三个核心层级，通过多模态数据融合与模块化设计，显著提升了机器人在餐饮服务和办公场景中的实时响应能力。

RHINO框架采用领导者-跟随者模式，将人类行为分解为意图表达与动作执行两个维度。反应式规划器作为核心模块，以30Hz频率实时解析人类姿态、手部动作及环境物体信息，通过Transformer架构实现了意图预测准确率的大幅提升。实验数据显示，整合手部细节信息的模型较基线系统在mAP指标上提升超过23%，验证了精细化动作捕捉对意图识别的重要性。

在运动生成层面，研究团队创新性地应用扩散模型处理人机协同动作。通过历史运动数据与实时意图输入的联合建模，生成的关节运动轨迹在FID和JPE指标上分别较传统方法优化35%和28%，实现了握手、递物等交互动作的自然流畅。操作技能模块采用分项训练的ACT模型，在简单物体搬运任务中成功率超越人类操作者，但在精细操作场景仍存在12%的性能差距。

数据采集体系采用双模态设计：人-物-人交互数据支撑基础动作学习，遥操作数据保障精准控制。特别值得注意的是，通过VR设备采集的毫米级操作数据，配合关键帧标注机制，有效解决了技能迁移中的动作失真问题。安全监督模块引入动态碰撞检测算法，在30ms响应周期内实现人机距离的实时监控，将意外接触风险降低至0.3次/小时。

实验验证显示，RHINO框架在跨场景适应能力上表现突出。面对衣着变化、环境干扰等变量时，其意图识别准确率保持82%以上，较端到端模型提升近40%。在机器人间交互测试中，系统成功实现不同机型协同作业，证实了架构设计的强泛化能力。研究团队指出，当前系统在触觉反馈集成和长时任务规划方面仍存在改进空间，但已为人形机器人融入日常生活场景奠定了关键技术基础。