天度 AI 实战库浏览全部案例 ↗

通过可访问性树控制 Linux 桌面,不用截图

linux-use 用 AT-SPI2 读取 Linux 应用的可访问性树,并直接调用控件动作;Agent 获得带指纹的引用、结构化事件和明确错误,不依赖截图或像素坐标。

使用工具linux-useAT-SPI2
具体怎么做
先用 apps 查看可访问应用,再用 state 读取带 ref 的控件,act 直接调用控件自身动作,watch 等待 UI 事件而不是轮询。ref 带指纹,过期时返回专用错误;读取被截断会明确标注。工具本身不含模型,只提供传感与执行接口。
做到了什么
作者在 Ubuntu 22.04.3、GNOME 42.9、X11 上手工验证了 6 个 GTK 3/4 应用和部分 Qt 菜单。Wayland 下可访问性路径仍可用,但合成点击和按键失效;Electron、Java、Flutter 未测试,且目前没有自动测试套件。
上手要点
这是 v0.x 工具且只在单一配置验证;先运行 doctor,并对目标应用做小范围测试。

你可以这样试

使用 linux-use

在【Linux 发行版/桌面环境】用 linux-use 自动完成【应用和任务】。先运行 doctor、apps 和 state,记录控件 ref 与读取是否完整;使用 act 操作控件,用 watch 等待【期望事件】,不要使用像素坐标。输出每一步、错误码、Wayland/X11 限制和未验证控件;遇到身份不确定的元素时停止。