将文档转换为干净的 Markdown格式，以便用于智能体
作者为他们的智能体构建了一个文档爬取器，在49秒内提取了60页干净的Markdown文件。
- 具体怎么做
- 作者构建了 pulpie-mcp 这一 MCP 服务器，包含 fetch、save、crawl 和 list 四种工具。该服务器在后台运行本地提取模型，并自动启动。 Claude 被要求爬取一个包含 60 页文档的网站，它通过 robots.txt 和 sitemaps 识别页面，使用四个并发工作线程，并将带有 frontmatter 的 Markdown 文件写入磁盘，而非将其返回到上下文窗口中。
- 做到了什么
- 总耗时约为49秒：其中约10秒用于后端冷启动，37秒用于爬取并保存60页内容。此测试未针对客户端渲染的页面进行，这些页面可能为空。该工具不支持PDF格式。
- 上手要点
- 该模型采用 CC BY-NC 4.0（非商业用途）许可协议，仅在配备 NVIDIA GPU 的 Linux 系统上进行了测试，使用了约 420 MB 的显存。
你可以这样试
使用 Claude Code构建一个爬虫，该爬虫会访问文档网站 [docs URL]，跟随其内部链接，并将每页内容以干净的 Markdown 格式保存至名为 docs-md 的文件夹中，每页对应一个文件。需遵守 robots.txt 规定，并合理设置请求频率限制。当完整爬取了整个网站后，请提供已保存的页面数量以及失败的页面列表。