查找智能体执行轨迹中的错误
Laminar’s flow-1模型能够读取智能体轨迹,从而捕捉到诸如错误点击或错误引用等隐性问题,因此无需采样即可分析所有生产轨迹。
- 具体怎么做
- flow-1是一个小型开源模型,经过微调后通过强化学习在合成数据上进行训练,运行于名为Signals的框架中。它将日志视为一个仓库,将每个片段视为一个文件;从压缩后的日志及用户提示词开始,对片段进行搜索,读取相关完整片段,并以用户定义的格式输出JSON格式的结果。
- 做到了什么
- Laminar表示,在自身基准测试中,其检测质量与 GPT-6-sol相当,且成本低23倍,使得对每条数据进行分析变得可行。虽然这些发现来自供应商自己的基准测试,但结果相似。
- 上手要点
- Signal 可以处理各类提示词,例如检查浏览器智能体是否完成结账操作;大量失败案例可作为修复数据的来源。Laminar 采用 Apache 2.0协议,支持本地部署。
你可以这样试
使用 Claude Code我在 [轨迹文件路径] 处有来自智能体的导出轨迹文件夹。逐条阅读所有轨迹,标记出出现无声失败的记录,如点击错误、引用错误、步骤跳过或答案与工具输出不符的情况。最后制作一个表格,列出每个被标记的轨迹的 ID、失败类型以及简短说明,并统计最常见的失败模式。