使用填表工具对图片中的表格进行填写

作者使用 Gemini 构建了一个智能体，该智能体能根据表单图像规划字段，并将这些字段与边界框进行匹配，从而帮助一位希望表单能够自动填写的朋友。

具体怎么做

作者表示一位朋友希望自动填写 JPEG/PNG 格式文件，因此他们复用之前的成果，使用 OmniParser 从 IRS 和 OPM 表格中构建了带有明确字段的标注数据集。他们使用 Gemini 识别文档中的字段，并将这些字段与边界框进行匹配，同时指出 GPT-4o plus YOLO 也能完成相同任务。

做到了什么

该帖子将此方法作为自动化繁琐表单填写的一种途径进行展示，尤其适用于人工供应链工作流。在发布的帖文中并未提供准确性数据、处理速度或失败案例。

上手要点

主要问题在于，他们首先从真实表单中自行整理了带注释的数据集，而非仅依赖提示词。