TonyMFJ/Qwen3.8-Flash-Next-WinVulkan-GGUF

Qwen3.8-Flash-Next (Qwen 3.8 Next Flash) — Windows Vulkan 全适配包 / Windows Vulkan Full Deployment Kit

EN | Complete local deployment kit for the Qwen3.8-Flash-Next 87B MoE (ROCmFP4-FAST-v2-ple16 fork quantization) running on Windows + Vulkan — AMD Ryzen AI MAX+ 395 (ROG Flow Z13, 128GB LPDDR5X, 96GB VRAM carve-out). Includes MTP speculative decoding, PLE n-gram table disk-offload, custom llama.cpp fork binaries, startup scripts and a custom WebUI. This build is original adaptation work — no off-the-shelf guide exists.

中文 | Qwen3.8-Flash-Next 87B MoE（ROCmFP4-FAST-v2-ple16 fork 专用量化）在 Windows + Vulkan 上的完整本地部署方案 — AMD Ryzen AI MAX+ 395（ROG Flow Z13 / 128GB LPDDR5X / 96GB 显存 carve）。含 MTP 投机解码、PLE 表磁盘化、定制 llama.cpp fork 二进制、启动脚本与定制 WebUI。本包为原创适配，网上无现成方案。

🔧 Fork binaries, source patches, scripts & tools → TonyMFJ/Qwen3.8-Flash-Next-WinVulkan 🔧 Fork 二进制、源码补丁、脚本与工具 → TonyMFJ/Qwen3.8-Flash-Next-WinVulkan

---

📦 Files / 文件清单

File / 文件	Size / 大小	Purpose / 用途
Qwen3.8-Flash-Next-ROCmFP4-FAST-v2-ple16.gguf	87.06 GB	Main model, per-head PLE layout (original) / 主模型，per-head PLE 布局（原始版）
ple_sidecar_joined.gguf	20.86 GB	Joined-layout PLE table sidecar for --model-ple — disk-offload, frees ~21 GB VRAM / joined 布局 PLE 表侧车，--model-ple 磁盘化加载，腾出约 21GB 显存
mmproj-Qwen3.8-Flash-Next-f16.gguf	0.84 GB	Vision projector (must stay on GPU) / 视觉投影器（必须驻留 GPU）
mtp-Qwen3.8-Flash-Next-Q4_K_M.gguf	2.59 GB	MTP draft model for speculative decoding (-md) / MTP 草稿模型，投机解码用

💡 Equivalent alternative to the sidecar: convert the main GGUF to joined layout locally with tools/gguf_split_ple_heads.py (join) + --ngram-on-disk. 💡 侧车的等价方案：用 tools/gguf_split_ple_heads.py（join 模式）把主模型本地转成 joined 布局，再配合 --ngram-on-disk。

🚀 Key launch flags / 关键启动参数

llama-server -m <ple16.gguf> --model-ple <ple_sidecar_joined.gguf> \
  --mmproj <mmproj-f16.gguf> -md <mtp-Q4_K_M.gguf> \
  -c 102400 --ubatch-size 2048 -ngl 99 --load-mode auto ...

• EN | --load-mode auto is REQUIRED on this fork/Windows (never none). PLE table on disk ≈ −37% speed but frees ~22 GB VRAM for 100K+ context. Full-VRAM mode reaches ~28 t/s (TG) with MTP acceptance ≈ 67%.
• 中文 | 本 fork 在 Windows 上必须用 --load-mode auto（none 会崩）。PLE 表磁盘化约损失 37% 速度，换来约 22GB 显存用于 100K+ 上下文。全显存模式 TG 约 28 t/s，MTP 接受率约 67%。

📚 Sources / 来源

• Base quant / 基础量化: agentionai/Qwen3.8-Flash-Next-ROCmFP4-FAST-imatrix-GGUF (ple16)
• MTP draft / 草稿模型: quimmedes/Qwen3.8-Flash-Next-MTP-GGUF
• Sidecar / 侧车: generated locally with this fork's tools / 用本 fork 工具本地生成

📜 Restore walkthrough / 换机恢复指南

See GitHub repo README_恢复指南.md and MODELS.md — unzip, drop models, run one script. 见 GitHub 仓库的 README_恢复指南.md 与 MODELS.md —— 解压、放模型、跑一个脚本即可。