MiniCPM-V-4.7-1B mmproj F16(AIPot)

官方 openbmb/MiniCPM-V-4.7-1B-gguf(revision 345adbfa02c4a4671e61b7c75502dc9bf24fa93d)的 mmproj-model-f16.gguf 名字是 f16,但其中 170 个张量是 BF16; 没有 BF16 指令的手机 CPU(天玑 1200 的 A78、骁龙 845)和 Mali 的 Vulkan 上视觉编码因此慢约 5 倍。 这里只是把这些 BF16 张量改存为 F16(build/convert-mmproj-f16.py:其他张量和元数据原样复制,转换前检查数值不超出 F16 的范围),供 AIPot 使用。

文件 大小 sha256
mmproj-MiniCPM-V-4_7-1B-F16.gguf 1,110,117,984 B 3f9e0949c44b0b46565086ddcc2bfb062a886994db938e614e7963ac3c19525e
  • 用法:与官方的 MiniCPM-V-4_7-1B-Q4_0.gguf 等配合,llama-server -m MiniCPM-V-4_7-1B-Q4_0.gguf --mmproj mmproj-MiniCPM-V-4_7-1B-F16.gguf --jinja。
  • 模型、提示词、许可证(Apache-2.0)和适用范围以官方 openbmb/MiniCPM-V-4.7-1B-gguf 为准。
Downloads last month
18
GGUF
Model size
0.5B params
Architecture
clip
Hardware compatibility
Log In to add your hardware
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for luweigen/minicpm-v-4.7-1b-android

Quantized
(55)
this model