通过屏幕控制在安卓设备上进行一轮手机游戏
作者说明,Gemini的电脑操作功能在Android系统上可以通过读取屏幕并移动角色来玩《火焰英雄》游戏。
- 具体怎么做
- 作者在 AI Studio 中创建了一个 Android 应用,以便在手机上使用 Gemini 工具:该应用能够打开应用、点击和滑动屏幕,并与 XML UI 元素进行交互。通过这种设置,Gemini 3.7 Flash 能够读取《火焰英雄》界面,识别回合制状态,并独自完成角色的移动操作。
- 做到了什么
- 它完成了一轮操作,作者指出,之前的 Gemini 3.6 无法完成这一操作,而是先在菜单间切换,最终放弃。作者表示这种操作方式并不理想,简单任务仍需要一两分钟,且行为也不稳定。
- 上手要点
- 最明显的不足在于速度和稳定性:即使是简单的任务也需要一两分钟,且作者表示使用电脑的行为仍然不稳定。
你可以这样试
使用 Gemini在我的安卓手机上开启电脑操作功能,打开[手机游戏]并玩一局[模式或等级]。每回合阅读屏幕信息,合理调整角色位置以接近[目标,如赢得战斗],不要花钱或进行应用内购买。回合结束时停止,告诉我结果以及最重要的操作步骤。