对 Devin 的集成、迁移及安全审查进行测试
Answer.AI 对 Devin 进行了可观测性集成、nbdev 迁移及漏洞审查测试；它发现了一些真实问题，也产生了一些误判，最终未能完成迁移。
- 具体怎么做
- Answer.AI 通过 Slack 在自己的 Docker 环境中，利用浏览器、编辑器和终端，为 Devin 提供了约 20 项实际任务。这些任务包括生成并上传合成数据到 Braintrust、将 Python 项目迁移到 nbdev，以及对少于 700 行的代码库进行安全审查。人们会检查输出结果，并经常直接开始处理。
- 做到了什么
- BrainTrust集成工作被放弃，并在Cursor中重新实施。nbdev迁移在基础配置阶段失败。安全审查发现了一些真实问题，但也存在误报和幻觉结果。总计14次失败、3次成功以及3次无定论。
- 上手要点
- Devin连续数日致力于难以完成的任务。作者建议通过一次专注的LLM调用来处理类似小型代码库安全审查的工作。
你可以这样试
使用 Devin在我的仓库[仓库名称]中完成三项任务：与[可观测性工具]集成，将[某个模块或工具]迁移到[目标工具或版本]，并审查代码中的安全漏洞。对于每一项任务，请说明验证结果的方式，并明确标注无法确认的问题点。为这些工作分别创建拉取请求，不要进行合并。