M1 Max 跑 Qwen3.8 Flash-Next:从 15 到 31 token/s,再试到 128K
这轮最让我意外的结果,是我的 M1 Max 64GB、24 核 GPU,最后把 Qwen3.8 Flash-Next 跑到了每秒约 31 token。模型加载后,短问题通常半秒左右开始出字,接近 128K 的长输入也完整跑通了,后续追问还能复用缓存。
这是 2021 年那一代芯片。我原本也没指望它到现在还能运行这么大的模型,64GB 统一内存倒是又派上了用场。
我想要的本地模型,主要是拿来随意聊聊、写点东西、试一些表达更自由的内容。认真写代码和跑复杂 Agent,我已经有 Codex、Claude 等工具,不需要本地模型把它们全替掉。只要响应足够快、中文正常、偶尔能看图,就已经值得玩。
最后留下来用过的组合是 SC117 的 GSQ-RCO Abliterated Q2_0,加上针对 M1 优化的 DS4 Metal 引擎。从第一套方案到这个结果,中间换了引擎、量化和输入分块,也纠正了我对内存和上下文的几个判断。







