天度 AI 实战库浏览全部案例 ↗

复用字符集解码器修复 Agent 抓取乱码

贡献者发现 OpenClaw 的 link-understanding 路径强制按 UTF-8 解码,改为复用 web_fetch 已有的字符集解码器,并沿真实生产路径验证。两个旧编码页面的替换字符分别从 208,953 和 13 降到 0。

使用工具OpenClaw
具体怎么做
贡献者定位到 link-understanding 对抓取页面使用普通 UTF-8 解码、忽略声明字符集。代码库的 web_fetch 已有字符集感知解码器,因此将它导出并复用,而不是另写一套;测试经过启用 SSRF guard 的真实生产路径,维护者又用已构建的 Gateway 复跑。
做到了什么
青空文库 Shift_JIS 页面中的替换字符从 208,953 个降到 0,另一个旧站从 13 个降到 0。更早的严格解码方案会拒绝未声明字符集的页面,因此被放弃;复用方案对未知标签回退 UTF-8。
上手要点
测试必须覆盖真实抓取链路和无 charset 声明页面,不能只测解码函数。

你可以这样试

使用 OpenClaw

在【OpenClaw/项目路径】定位【抓取步骤】为何把【Shift_JIS/目标编码】页面解成替换字符。优先复用项目已有的字符集感知解码器,补充【编码样例页面】测试,并经过启用【SSRF guard/真实网关】的生产路径验证。记录修复前后替换字符数量;展示 diff 后再提交。