通过多步骤任务操控 Spot 机器人
Gemini Robotics ER 2驱动波士顿动力公司的Spot机器人，通过观看视频确认如系垃圾袋等任务完成后再继续操作。
- 具体怎么做
- 开发者将波士顿动力公司 Spot 的导航与操作器 API 等底层控制功能视为工具。他们通过 Gemini Live API 将视频、音频或文本内容传输至 Gemini Robotics ER 2。该模型会按顺序执行步骤，观看视频以跟踪进度，确认任务完成后再继续下一步。已发布的 Spot 演示功能可根据语音指令获取物体，如爆米花零食。
- 做到了什么
- 在进度分类任务中，将每个视频帧分为五个进度等级时，准确率达到57.4%。在时刻查找任务中，准确率达到91.3%，平均绝对距离仅为0.96秒。该报告未提供绑定垃圾袋的Spot成功率数据。
- 上手要点
- Spot 演示代码位于 GitHub 上，该模型可通过 Gemini API 和 Google AI Studio 作为预览版本使用。
你可以这样试
使用 Gemini编写一个 Python 程序，将任务 [多步骤任务，例如整理工作台] 分解为多个步骤，供我调用的机器人或模拟器 [机器人或模拟器名称] 执行。每完成一个步骤后，让它从 [来源] 读取相机帧或视频片段来确认该步骤已完成，然后再进行下一步。在实际硬件上运行任何操作之前，先展示计划与代码。当程序在模拟运行中完成所有步骤时，停止运行。