试试让 Devin处理研究任务(大多失败)
答案.AI让 Devin 获取作者的最新论文及研究记录摘要,但系统在解析 HTML 时卡住了,最终只给出了泛泛的结果,判定为失败。
- 具体怎么做
- Answer.AI 给 Devin 下达了两项任务,Devin 通过 Slack 在自有的 Docker 环境中使用浏览器、编辑器及终端来完成。第一项任务是用 Playwright 获取作者最近 25 篇 Google Scholar 论文,绕过付费墙。第二项任务是研究带有准确时间戳的文本摘要技术。之后他们对结果进行了评分。
- 做到了什么
- 两者都失败了。在文本提取任务中,Devin因解析HTML遇到困难而睡着了;在研究任务中,它返回了相关但无用的材料和代码,未能解决核心问题。
- 上手要点
- 在20项任务中,Devin有14次失败和3次成功。其中一项研究成果——一个Discord机器人——成功了,因为目标只是宽松的伪代码级指导。
你可以这样试
使用 Devin通过查找[数量]篇最新的论文,并针对每篇撰写一段总结及来源链接,来研究[作者或主题]。然后简要概述这些论文的主要主题。如果某页无法阅读,请告诉我具体是哪页以及原因,不要猜测,一旦得到可引用的总结即可。