用 Agent 群持续优化模型推理性能

Together Compiler 让多个 Agent 围绕持久推理引擎并行提出优化、热加载候选并测量真实流量；避免反复启动引擎后，实验吞吐提升252倍。

具体怎么做

系统输入流量形态、模型和硬件，多 Agent 通过共享消息板并行提出优化。推理引擎只启动一次，候选 forward pass 可热加载；快速引擎只载少量层用于高吞吐迭代，慢速引擎载更多层并使用真实数据分布复核。自定义成本模型结合硬件规格、微基准和实测 forward pass，选择 TP、EP、DCP 等并行策略。

做到了什么

Together 报告引擎从启动到可服务由467秒缩到9秒，实验吞吐比基线 Agent 优化系统高252倍。24小时内，在前沿开源模型上TPS最高提升2.6倍；低延迟场景中 MiniMax M3.1-Flash 达1111 TPS，DeepSeek v4.1-Flash 达1205 TPS。该系统已用于每日数万亿 token 的服务。

上手要点

性能结果来自 Together 自己的生产和基准；复用时必须固定硬件、批量、序列长度、缓存命中和流量分布，并用真实数据复核微基准获胜方案。