对清洁公司的场所进行审计，以检查人工智能爬虫的访问情况

该智能体使用MCP工具，为14个AI爬虫读取robots.txt规则，并检查18个清洁公司网站上的8个页面标签；其中9个返回了主页。

具体怎么做

作者从 Tranco top-1M 列表中筛选出名称中包含“cleaning”的网站，最终剩下18家服务公司。针对每家网站，他们使用两个站点检查工具：一个用于读取14个智能爬虫的 robots.txt、头部信息和重定向信息；另一个则用于检查8个页面标签。网站选择和筛选工作则是通过页面标题手动完成的。

做到了什么

18个站点中，有9个能显示主页。其中，9个站点中有1个导致12个爬虫无法访问，7个没有分享图片，只有2个拥有全部8个标签。其余9个站点则出现403错误、CDN故障或无响应情况。

上手要点

被拒绝或失败的抓取操作无法显示人工智能机器人获取了什么内容，而防火墙或CDN规则也可能阻止robots.txt允许的机器人访问。将9个网站视为一个快照，而非调查数据。