AI模型可以帮助机器人以更透明的方式执行复杂的计划

MIT_CSAIL 开发的 HiP 框架可帮助机器人使用三种不同的基础模型在工厂、家庭和建筑中执行多步骤任务。

Anurag Ajay 是麻省理工学院电气工程与计算机科学系的博士生，也是 CSAIL 成员。 他说，“我们希望采用预先训练的模型，并将它们成功地相互连接。”我们不是推动一个模型能够完成所有工作，而是结合了使用不同类型互联网数据的多个模型。 它们可以一起使用来帮助做出机器人决策，并有可能协助完成家庭、工厂和建筑工地的任务。

模型需要有“眼睛”，能够看到它们运行的环境并正确执行它们的子目标。 该团队使用大型视频传播模型作为法学硕士初始规划的补充。 该法学硕士通过互联网上的镜头收集有关世界的物理和几何信息。 然后，视频模型生成观察轨迹计划，通过结合新的物理知识来完善法学硕士大纲。

HiP 可以使用这个称为迭代精炼的过程来推理想法，在每个阶段结合反馈来创建更现实的轮廓。 这类似于作者将文章发送给编辑时的反馈流程。 编辑合并这些修订后，他们将最终确定并发布。

来源和详细信息：
https://news.mit.edu/2024/multiple-ai-models-help-robots-execute-complex-plans-more-transparently-0108