让需要 24GB 显存的模型跑在 6GB 显卡上
Henrique Soares 用 lowvram 在 CUDA 分配层接入统一内存,让原本直接 OOM 的模型把不活跃页放进系统内存;YuE2 在 RTX 3060 6GB 上跑到 43.1 tokens/s。
Henrique Soares 用 lowvram 在 CUDA 分配层接入统一内存,让原本直接 OOM 的模型把不活跃页放进系统内存;YuE2 在 RTX 3060 6GB 上跑到 43.1 tokens/s。
已看到全部 1 个案例 · 明天再来发现新用法