MiniCPM-V-4.7-1B mmproj F16(AIPot)
官方 openbmb/MiniCPM-V-4.7-1B-gguf(revision 345adbfa02c4a4671e61b7c75502dc9bf24fa93d)的 mmproj-model-f16.gguf 名字是 f16,但其中 170 个张量是 BF16;
没有 BF16 指令的手机 CPU(天玑 1200 的 A78、骁龙 845)和 Mali 的 Vulkan 上视觉编码因此慢约 5 倍。
这里只是把这些 BF16 张量改存为 F16(build/convert-mmproj-f16.py:其他张量和元数据原样复制,转换前检查数值不超出 F16 的范围),供 AIPot 使用。
| 文件 | 大小 | sha256 |
|---|---|---|
mmproj-MiniCPM-V-4_7-1B-F16.gguf |
1,110,117,984 B | 3f9e0949c44b0b46565086ddcc2bfb062a886994db938e614e7963ac3c19525e |
- 用法:与官方的
MiniCPM-V-4_7-1B-Q4_0.gguf等配合,llama-server -m MiniCPM-V-4_7-1B-Q4_0.gguf --mmproj mmproj-MiniCPM-V-4_7-1B-F16.gguf --jinja。 - 模型、提示词、许可证(Apache-2.0)和适用范围以官方 openbmb/MiniCPM-V-4.7-1B-gguf 为准。
- Downloads last month
- 18
Hardware compatibility
Log In to add your hardware
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support
Model tree for luweigen/minicpm-v-4.7-1b-android
Base model
openbmb/MiniCPM-V-4.7-1B