通过浏览器智能体玩按钮点击游戏

一位开发者将 Gemini 的电脑操作功能模型集成到 Playwright 中，并让它运行一个简单的按钮点击游戏，以验证点击坐标的缩放效果。

具体怎么做

Guillaume Laforge 在 Gemini 的计算机预览模型与 Playwright 的无头 Chromium 框架上实现了 Java 循环，并设置了 1000x1000 的视口。每次操作后，该模型都会生成截图，并在标准化的 1000x1000 网格上返回点击坐标。他将这些数据映射到视口中执行点击操作。他构建了一个简单游戏，每次点击后红色按钮会移动，并让智能体点击 10 次以读取得分。

做到了什么

智能体点击了移动按钮，并报告了最终得分为10，这证实了按钮操作与坐标缩放功能正常。原文指出本次测试没有出现任何故障。

上手要点

每次操作后向模型发送新的截图，并等待约一秒，以便页面完全渲染完成。否则模型会看到空白或半绘制的页面。