sq6er4/Step3-VL-10B-Q4_K_M

Step3-VL-10B GGUF

stepfun-ai/Step3-VL-10B 的 GGUF 量化版本，支持 llama.cpp 文本+视觉推理。

模型信息

项目	值
原始模型	stepfun-ai/Step3-VL-10B
语言模型架构	Qwen3 (36层, 4096维)
视觉编码器	ViT-Large (47层, 1536维)
视觉投影器	2层 Conv2d + Linear (stride-2 下采样)
许可证	Apache 2.0

文件说明

文件	大小	说明
Step3-VL-10B-Q4_K_M.gguf	4.7GB	文本模型 (Q4_K_M 量化)
mmproj-Step3-VL-10B-f16.gguf	3.7GB	视觉投影器 (F16, 包含完整 3 层 projector)

使用方法

# 启动服务器
llama-server \
    -m Step3-VL-10B-Q4_K_M.gguf \
    --mmproj mmproj-Step3-VL-10B-f16.gguf \
    --host 0.0.0.0 --port 8080 -ngl 99

# 文本推理
curl http://localhost:8080/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{"model":"step3-vl","messages":[{"role":"user","content":"Hello"}],"max_tokens":50}'

# 视觉推理 (base64 图片)
IMG_B64=$(base64 -i image.png | tr -d '\n')
curl http://localhost:8080/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d "{\"model\":\"step3-vl\",\"messages\":[{\"role\":\"user\",\"content\":[{\"type\":\"image_url\",\"image_url\":{\"url\":\"data:image/png;base64,$IMG_B64\"}},{\"type\":\"text\",\"text\":\"What is this?\"}]}],\"max_tokens\":100}"

mmproj 说明

本仓库的 mmproj 使用最新版 llama.cpp 的 convert_hf_to_gguf.py --mmproj 从原始 safetensors 转换，包含完整的 3 层视觉投影器：

• mm.0 — Conv2d(1536→3072, k=3, s=2)
• mm.1 — Conv2d(3072→6144, k=3, s=2)
• mm.model.fc — Linear(6144→4096)

旧版 mmproj 可能缺少 mm.1 和 mm.model.fc，导致加载报错 unable to find tensor mm.1.weight。

测试环境

• Jetson AGX Xavier 32GB (Volta/Sm_70)
• llama.cpp b1-95b8b8e
• 推理速度: 文本 ~12 t/s, 视觉 ~14.5 t/s