这个尺寸你说你尴尬不尴尬？？？
量化黄金点位q4/4bit/nvfp4，
一台128GB的设备跑不了，256GB的显存/统一内存不如跑glm 5.3 flash了
那个51B n-gram 真不知道是哪个蠢才想出来的，现在流行的都是统一内存，想把它放到CPU内存，想法很美好，但是，都是统一内存了，没有CPU内存可放了，能把125B放到纯显存里还能再搭配CPU内存使用的设备少之又少。
期待大神们能搞出来1台DGX Spark能运行的nvfp4运行方案，否则这模型就真的是陪太子读书了。
尴尬，我们4张A00/80G，一共320G显存，跑不了！
120B很有可能为了SSD 卸载设计的，51 n 复杂度O1放内存，6B激活放显存，量化14后正好放进32G RAM和8G显存里，等着社区出量化
51Ngram 放SSD就行了
量化黄金点位q4/4bit/nvfp4，
一台128GB的设备跑不了，256GB的显存/统一内存不如跑glm 5.3 flash了
那个51B n-gram 真不知道是哪个蠢才想出来的，现在流行的都是统一内存，想把它放到CPU内存，想法很美好，但是，都是统一内存了，没有CPU内存可放了，能把125B放到纯显存里还能再搭配CPU内存使用的设备少之又少。
期待大神们能搞出来1台DGX Spark能运行的nvfp4运行方案，否则这模型就真的是陪太子读书了。
建议先去学习一下什么是ngram
非常好的尺寸 4bit 100G左右 非常好
支持qwen团队
用空间换时间，next新架构大胆尝试
看到有人单台 DGX Spark 最大 97 tok/s（特定场景）
支持qwen团队
用空间换时间，next新架构大胆尝试
看到有人单台 DGX Spark 最大 97 tok/s.
X上也看到了90多的速度了，但是那是峰值，平均20多，和27B持平，一个a6b的moe完全不应该这个速度，122B a10还能有40/50的速度，按这个激活推算，平均速度正常应该在100左右，还不知道是不是把n-gram放到了硬盘上的影响，如果是的话，无解了。
用这架构，要么参数再小一点，消费级显卡能装的下，要么就非常大，企业级GPU能省下不少显存。125B + 51B n-gram，最的大受益用户就只有PRO 6000，dgx spark和mac系列都废了。
问题是51B n-gram好像完全融合在模型里面的，本来125B，Q5， 90G就够了， 128G总VRAM可以完全跑起来了，现在好，整不会了。
qwen系列的4bit还是算了...又不是dsv4f那样qat出来的原生8+4bit，qwen硬quant到4bit真成弱智了，那些repo说4bit跑分如何如何，实际用起来还是弱智。
这个尺寸就不是给普通个人部署的。spark这种统一内存的机器的prefill和decode吞吐能力本来也只配运行小模型。
qwen系列的4bit还是算了...又不是dsv4f那样qat出来的原生8+4bit，qwen硬quant到4bit真成弱智了，那些repo说4bit跑分如何如何，实际用起来还是弱智。
这个尺寸就不是给普通个人部署的。spark这种统一内存的机器的prefill和decode吞吐能力本来也只配运行小模型。
暂且不说哪个量化更合适，见人见智，只说一个奇观，中文圈子，非常喜欢吹量化，总觉得量化版本高了，就高人一等，抖音上还能见到吹FP16的SB。
X, YOUTUBE, NV开发者论坛，REDDIT/LOCALLLM，最近天天刷几个小时，几乎看不到有人杠量化，一到中文圈子，一说量化，4BIT都成了没法用的垃圾了。
问题是51B n-gram好像完全融合在模型里面的，本来125B，Q5， 90G就够了， 128G总VRAM可以完全跑起来了，现在好，整不会了。
现在，llama.cpp跑GGUF能把n-gram拆出来，NVFP4不行，但是128G统一内存拆出来也只能放硬盘上，还没实测读取量有多大，大的话，速度和寿命都成问题。
这个模型应该对标的是 https://huggingface.co/Qwen/Qwen3.5-122B-A10B ，也就是阿里云托管的 Qwen Flash 系列。如果想要本地部署的小模型，还是等下一代 35B-A3B 或类似定位的更靠谱。
这个模型应该对标的是 https://huggingface.co/Qwen/Qwen3.5-122B-A10B ，也就是阿里云托管的 Qwen Flash 系列。如果想要本地部署的小模型，还是等下一代 35B-A3B 或类似定位的更靠谱。
Qwen3.5-122B-A10B 升级到3.8该多好啊
谁tm告诉你流行的是统一内存了
单卡pro6000不要太开心，nvfp4完美尺寸
我不是统一内存啊，你可以等更新，放ssd上，不过可能会慢一点。这也太主观了吧？
这个模型应该对标的是 https://huggingface.co/Qwen/Qwen3.5-122B-A10B ，也就是阿里云托管的 Qwen Flash 系列。如果想要本地部署的小模型，还是等下一代 35B-A3B 或类似定位的更靠谱。
Qwen3.5-122B-A10B 升级到3.8该多好啊
架构都升级了，没有可比性，现在的是 Qwen4 的架构
这个模型应该对标的是 https://huggingface.co/Qwen/Qwen3.5-122B-A10B ，也就是阿里云托管的 Qwen Flash 系列。如果想要本地部署的小模型，还是等下一代 35B-A3B 或类似定位的更靠谱。
Qwen3.5-122B-A10B 升级到3.8该多好啊
架构都升级了，没有可比性，现在的是 Qwen4 的架构
老模型不动架构用3.8套路重新训练，估计还是当打之年，说不定某些动辄上T的模型的遮羞布都得扯掉。
单卡pro6000不要太开心，nvfp4完美尺寸
没错，pro6000搭配这个模型，完美，但是，十几万的设备投入，不如跑glm 5.3 flash了。
用这架构，要么参数再小一点，消费级显卡能装的下，要么就非常大，企业级GPU能省下不少显存。125B + 51B n-gram，最的大受益用户就只有PRO 6000，dgx spark和mac系列都废了。
51B ngram本來就該ssd裡放著