jimmy31chen/qwopus38-flash-v2-ninfer

Qwopus3.8-27B-Flash-V2 (NInfer Artifact)

NInfer 專屬格式 artifact，由 Jackrong/Qwopus3.8-27B-Flash-V2 的 BF16 safetensors 轉換而來。

⚠️ 這不是標準 Hugging Face 模型格式。此檔案只能被 NInfer 推理引擎載入，無法用 llama.cpp / vLLM / Ollama / Transformers 直接載入。

硬體需求（嚴格）

項目	需求
GPU	RTX 5090 (32 GB VRAM, sm_120a 架構)
CUDA	≥ 13.1（驅動支援上限 13.2）
作業系統	Linux (Ubuntu 24.04+)
推理引擎	NInfer（上游 CUDA-only）

NInfer 硬鎖 sm_120a 架構檢查，其他 GPU（包括 RTX 5080/4090）無法載入此 artifact。

轉換資訊

• 來源：Jackrong/Qwopus3.8-27B-Flash-V2（Apache 2.0）
• Recipe：官方 qwen3_8_27b groupwise-int（非 NVFP4）
• 轉換時間：39.5 秒（RTX 5090 GPU 加速，--device cuda）
• Artifact 大小：16.96 GiB（18,210,531,328 bytes）
• 量化佈局：439 個大 tensor 進 Q4/Q5/Q6-G64 + W8G32（row-split-k128），BF16 僅剩 norms/biases/embedding

為什麼比 NVFP4 小？

Artifact	大小	量化策略
本檔 groupwise-int	16.96 GiB	激進全面量化：MLP/attention 全進 Q4/Q5
官方 NVFP4 base	22.09 GiB	保守混量化：僅 112 個 MLP tensor 進 FP4，embedding + 完整 output head (~5GB) + attention 留高精度

名字叫 NVFP4 的反而大 5.1 GB，因為 quantization coverage 窄。

效能數據（RTX 5090 實測）

指標	數值
單流 Decode	137–189 tok/s
Context	262,144 tokens
KV Pool	315,712 tokens（int8 KV @ auto capacity）
MTP 接受率	55–79%（agent 流量 55-65%，短 prompt 73-79%）
載入時間	~7.9 秒
VRAM @ 262K ctx	~31 GB
Vision	✅ 支持（end-to-end 驗證通過）

使用方式

# 1. 下載本檔
hf download jimmy31chen/qwopus38-flash-v2-ninfer qwopus38_flash_v2.ninfer --local-dir ./model

# 2. 安裝 NInfer（需 CUDA 13.1+ 工具鏈）
git clone https://github.com/Neroued/ninfer.git
cd ninfer
# 編譯（CMake 硬擋 CUDA < 13.1）
cmake -S . -B build -G Ninja -DCMAKE_BUILD_TYPE=Release \
  -DCMAKE_CUDA_ARCHITECTURES=120a -DCMAKE_CUDA_COMPILER=/usr/local/cuda-13.2/bin/nvcc
cmake --build build -j16

# 3. 啟動服務
./build/apps/ninfer-serve ./model/qwopus38_flash_v2.ninfer \
  --host 0.0.0.0 --port 8000 \
  --max-context 262144 --kv-capacity auto --kv-dtype int8 \
  --max-concurrency 2 --spec mtp --draft-tokens 3 \
  --lm-head-draft --preserve-thinking --vision --seed 0

API 使用

# OpenAI-compatible API
curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model": "qwopus38-flash-v2", "messages": [{"role": "user", "content": "hello"}]}'

特殊參數：

• reasoning_effort: none|low|medium|xhigh（不支援 high/max）
• thinking_budget: 可覆蓋服務端預設

授權

• 基礎模型：Apache 2.0（源自 Jackrong/Qwopus3.8-27B-Flash-V2）
• 本 artifact：Apache 2.0

技術筆記

此 artifact 是 Qwopus3.8-Flash-V2 在 NInfer 引擎上的完整轉換驗證成果：

1. 結構相容性：V2 vs 官方 Qwen3.8-27B — config 零結構差異、1,199 個 tensor 名稱 100% 相同（含 15 個 mtp.*）、tokenizer 248,077 詞零差集
2. MTP 支持：包含完整的 Multi-Token Prediction head（15 個 tensor）
3. Vision 支持：包含完整的 vision tower（end-to-end 驗證通過）

聯絡

• Hugging Face: jimmy31chen
• 轉換工具：NInfer