xxzigou/plugin-VL-ncnn

Penguin-VL (ncnn)

腾讯 tencent/Penguin-VL（基于 Qwen3 的视觉语言模型，VLM）的 ncnn 格式推理权重，用于 C++ 端到端推理（图像 + 文字 → 文本），无需 Python 运行时。

模型结构

• 视觉编码器：ViT（hidden=1024，28 层）
• 语言模型：Qwen3（hidden=1024，28 层，16 注意力头 / 8 KV 头 GQA，vocab=151936，RoPE θ=1e6）
• 视觉投影器：2 层 MLP（1024 → 2048 → 1024）

文件清单

文件	说明
decoder.ncnn.{param,bin}	LLM 解码器（28 层，含最终 RMSNorm + out0）
embed.ncnn.{param,bin}	token 嵌入
lm_head.ncnn.{param,bin}	输出投影（与词嵌入共享）
vision_embed_patch.ncnn.*	图像 patch 嵌入
vision_encoder.ncnn.*	ViT 视觉编码器（28 层）
vision_projector.ncnn.*	视觉特征投影器
vocab.txt / merges.txt	BPE 分词器
model.json	模型配置

使用方法

penguin_vl_run.exe --model . --image test.png --prompt "请描述这张图片。" --gen 128

说明

• 权重由 pnnx 从原始 PyTorch 模型导出为 ncnn，经数值校验与 PyTorch 一致（vision encoder 输出 cos≈0.9999，全视觉链路 cos≈0.99998）。
• 本仓库仅含推理权重；导出脚本与 C++ 运行时请参阅源项目。