部署本地 Qwen，按显存、答题和耗时比较量化版本

Servasyy 在本地比较多种 Qwen 量化配置，分别记录权重文件大小、运行显存、答题结果和耗时。

具体怎么做

1. 先查专用显存或 Mac 统一内存，为模型和上下文缓存分别留预算。 2. 选择机器能载入的量化版本，先用短任务跑通，再记录实际显存与生成速度。 3. 比质量时尽量给各版本相同题目。另用长文场景测长上下文，把窗口设置、缓存精度和是否开启推测解码一起记下来。

做到了什么

作者报告，Q4_K_M 在所列 32K、q4 KV 配置下用到 16,338 MiB；在作者列出的 72 道短题汇总中得 47 分，Q2_K_XL 得 41 分。作者也注明这组分数来自非同轮配对，另一次严格配对测试未看出差异。

上手要点

按自己的题目和机器复测。生成快慢取决于任务长度、缓存配置和量化方式，权重文件大小也和实际显存占用不同。