用生产数据比较微调小模型与前沿 API
Airbnb 在价格与付款政策审核任务上，用 10,000 个留出样本同时比较质量、延迟和成本；微调 2B 有效参数模型达到 0.902 F1，35ms 中位延迟。
- 具体怎么做
- 团队用 10,000 个加权留出样本评估生产内容分类器，并在 184,000 个样本上复核部分模型。开放权重模型用 vLLM 0.28.0 跑在单张 RTX Pro 6000，专有模型走 API；所有模型先用约 400 词提示词，再用 2,700 词详细版复测。质量用 max F1，延迟取服务网关数据，成本按 2026 年 10 月公开价计算。
- 做到了什么
- 微调 Gemma4-E2B 后，F1 从 0.563 升至 0.902，中位延迟保持 35ms，p99 约 85ms；质量与最佳专有模型相当。前沿 API 中位延迟约 900ms，p99 达数秒。在每分钟数千次调用时，其成本约为单张自托管 GPU 的两个数量级；低于约 15–30 RPM 时，部分专有 API 才更便宜。
- 上手要点
- 这个结论适用于高流量、严格延迟、需要调阈值且拥有大量标注数据的稳定分类任务。低流量或规则经常变化时，前沿模型加提示词更省维护。
你可以这样试
使用 Claude Code为【分类任务】设计一次微调小模型与前沿 API 的公平基准。使用【留出样本数量】条未参与训练的数据，固定同一任务定义和输入；同时记录 F1/PR-AUC、精确率、召回率、p50/p99 延迟、吞吐、每千次成本和可调阈值能力。比较【基础小模型】、【微调小模型】、【前沿 API】以及简短/详细两版提示词。输出可复现配置、置信区间、流量盈亏平衡点和部署建议，不只比较准确率。