通过生成代码和语音指令控制机器人

Gemini 能够识别物体并编写机器人 API 代码，通过10个上下文演示案例，该机器人能打包箱子、折叠裙子；语音指令则被转化为机器人行动计划。

具体怎么做

Gemini 2.5配备了机器人控制 API（用于检测物体、获取抓取姿态、移动/打开/关闭夹持器），并支持零样本编写 Python 脚本，例如将香蕉放入碗中。对于 ALOHA 盒子包装和褶皱整理任务，在环境中添加了10次混合推理与操作的演示。对于语音功能，相同的 API 调用被定义为实时 API 函数调用工具，同时传输摄像头视频流。

做到了什么

Gemini 提出了两个可行的香蕉设计方案，其中一项是根据手臂操作范围限制重新设计的。ALOHA 在演示中打包物品并折叠衣物。该帖子未提供成功率数据。

上手要点

ALOHA设置已集成在一个开源 Colab 环境中，并附有示例演示。Live API语音控制台位于 GitHub 上，而 Gemini Robotics-ER 的访问则需要等待受信任测试者的名单。