让智能体游玩《宝可梦蓝》

Gemini Plays Pokémon 智能体读取游戏内存与截图，将决策转成按键操作，并调用寻路和推石块解谜子智能体。

具体怎么做

独立开发者张 Joel 设计了一个装置，将 Game Boy RAM 数据以文本形式呈现给 Gemini 2.5 Pro，并叠加在屏幕截图上。Gemini 会识别出可触发按键的操作。该装置每 100 回合总结一次历史记录，每 25 回合运行一次模拟器实例。此外，它还提供了路径寻找器和岩石谜题子智能体，这些子智能体由 Gemini 实例负责提示。

做到了什么

该智能体在第一次运行中用了813小时就击败了《宝可梦》蓝色版本，在完全自主的第二次运行中则用了406.5小时。它在长对话场景中反复循环，从其他游戏中生成错误内容，对原始像素的处理也十分糟糕。

上手要点

该模型难以读取原始屏幕像素，因此需要通过RAM到文本的翻译方式来处理。当上下文超过10万个词后，性能也会下降。