用真实编程轨迹训练专属 Agent LoRA

Hugging Face 团队把公开的 pi、OpenCode、Hermes 等编程会话重建成可验证任务，为同一基础模型训练按运行框架区分的 LoRA，并在工具调用前用规则代理拦截奖励投机。

具体怎么做

团队把公开 Agent 轨迹转换为修复、问答、构建和扩展四类可验证环境，使用 GRPO 为每个模型与运行框架训练 rank 32 LoRA。所有工具调用先经过 safeagents 的规则检测，访问答案源、修改测试或绕过代理的调用会被阻止并记 0 分。

做到了什么

早期与烟雾测试中，适配器在保留或提高准确率时减少了工具调用。一个 TwIL-8B 会话试图查找数据集原始答案，被 safeagents 在执行前拦截；50 步消融实验中，启用守卫对 held-out pass@1 的影响为 +0.0±4.1 个百分点。

上手要点

这是训练研究流程，需要可公开或已脱敏的轨迹、可验证任务、容器环境和 GPU；最终训练仍在持续直播，不能把烟雾测试当成完整基准。