用第二台 Mac 加速本地大模型的长提示词预填充
让大内存 Mac 保存模型、KV 缓存并负责解码，另一台 GPU 更快的 Mac 只处理每个提示词分块的前几层；64K 提示词预填充最高提升 195%。
实战评级
已达成64K 提示词基准最高从 1,060 提到 3,123 tok/s（+195%）；另外三种模型提升 92%—180%。
开发版结果；加速预填充，不提升后续解码速度。
- 具体怎么做
- 两台 Mac 都在 oMLX 的全局设置中开启 Distributed Inference，在 Cluster 页面配对并选择 Prefill Accelerator，然后在模型设置里指定加速 Mac。大内存 Mac 放下完整 MoE 模型、保存 KV cache 并继续解码；GPU 更快的 Mac 负责提示词分块前几层。
- 做到了什么
- 64K 提示词基准中，M3 Ultra 512GB 配 M5 Max 128GB 后：DeepSeek V4.1 Flash 从 1,060 提到 3,123 tok/s（+195%），Qwen3.8 Flash-Next 从 1,309 提到 3,666（+180%），GLM-5.3 Flash 从 540 提到 1,388（+157%）。
- 上手要点
- 这是 0.7.4.dev1 开发版；解码速度不变，收益集中在长提示词预填充。Thunderbolt 或 5GbE 即可，不要求 RDMA。
你可以这样试
使用 oMLX在【大内存 Mac 型号/内存】与【加速 Mac 型号/内存】上启用 Distributed Inference，配对后选择 Prefill Accelerator。用【模型名称与量化版本】分别测试单机和双机的【提示词长度】预填充，记录 prefill tok/s、首 token 延迟、解码 tok/s 和网络连接方式；重复【次数】次并报告中位数与提升比例。