天度 AI 实战库浏览全部案例 ↗

通过屏幕控制在安卓设备上进行一轮手机游戏

作者说明,Gemini的电脑操作功能在Android系统上可以通过读取屏幕并移动角色来玩《火焰英雄》游戏。

使用工具Gemini
具体怎么做
作者在 AI Studio 中创建了一个 Android 应用,以便在手机上使用 Gemini 工具:该应用能够打开应用、点击和滑动屏幕,并与 XML UI 元素进行交互。通过这种设置,Gemini 3.7 Flash 能够读取《火焰英雄》界面,识别回合制状态,并独自完成角色的移动操作。
做到了什么
它完成了一轮操作,作者指出,之前的 Gemini 3.6 无法完成这一操作,而是先在菜单间切换,最终放弃。作者表示这种操作方式并不理想,简单任务仍需要一两分钟,且行为也不稳定。
上手要点
最明显的不足在于速度和稳定性:即使是简单的任务也需要一两分钟,且作者表示使用电脑的行为仍然不稳定。

你可以这样试

使用 Gemini

在我的安卓手机上开启电脑操作功能,打开[手机游戏]并玩一局[模式或等级]。每回合阅读屏幕信息,合理调整角色位置以接近[目标,如赢得战斗],不要花钱或进行应用内购买。回合结束时停止,告诉我结果以及最重要的操作步骤。