实时人机交互：开启机器人学习的未来

与机器人实时交谈

1960 年代后期的 SHRDLU 实验是机器人学习宏伟愿景的开端。这是一个生活在人类环境中并服从数十种自然语言命令的有用机器人的世界。在过去的几年中，机器学习 (ML)，无论是在模拟还是在现实世界的系统中，都在指令遵循方面取得了重大进展。最近的 Palm-SayCan 研究创造了使用语言模型来规划长期行为和推理抽象目标的机器人。 Code as Policies 表明，预训练的感知系统与代码生成模型相结合，可以为机器人操作生成语言条件策略。与人类的实时交互是当前“语言输入，动作输出”系统所缺乏的机器人学习系统的重要特征。

在理想的世界中，机器人将实时响应人类可以使用自然语言描述的任何任务。在开放的人类环境中，重要的是最终用户可以通过提供快速纠正（停止，将手向上移动一点）或指定约束（“将其缓慢向左轻推”）来实时自定义机器人行为。实时语言还可以更轻松地与机器人协作完成长期、复杂的任务。人们可以通过实时提供反馈来指导机器人操作。