axteam/MiniCPM-V-4.7-35B-A3B-FP8-dynamic

MiniCPM-V-4.7-35B-A3B · FP8 (dynamic)

8-bit quantization of openbmb/MiniCPM-V-4.7-35B-A3B for vLLM serving. Quantized by axteam.

Revision 2026-11-02 (config fix): the earlier config.json excluded the vision tower from quantization with the pattern re:model\.vision_tower\..*, which does not match the names vLLM uses for these modules (vpm.*, vit_merger.*). vLLM 0.32 therefore built the vision layers as FP8 and loaded the BF16 vision weights into them, so image input gave wrong answers; text input was not affected. Only config.json changed (vLLM's names were added to the ignore list as re:vpm\..* and re:vit_merger\..*, and the existing patterns re:model\.visual\..*, re:model\.vision_tower\..* and re:model\.merger\..* were widened to re:(model\.)?visual\..*, re:(model\.)?vision_tower\..* and re:(model\.)?merger\..*); the weights are the same. Checked with vLLM 0.32.0 on 2026-11-02: the vision weights now load as BF16, and a synthetic test image (red circle, blue square, the caption "QWEN TEST 2026") is described correctly (with vLLM 0.32.0 + transformers 5.21 the image preprocessing fails, see Requirements; for this check only, the image processor's missing downsample_mode argument was filled in with its default). If you downloaded this repo before 2026-11-01 23:41:44 UTC (revision a1f77bb), download config.json again.

Base model	openbmb/MiniCPM-V-4.7-35B-A3B
Method	FP8 (dynamic)
Format	compressed-tensors float-quantized (scheme FP8_DYNAMIC)
Weights / activations	W8A8 — FP8 E4M3 weights (per-channel), dynamic per-token FP8 activations
Architecture	MoE (Qwen3.5-MoE backbone) · vision · multimodal
Size on disk	~36.9 GB
Calibration	None (data-free)
License	Apache-2.0

Quantization details

• Scheme — W8A8 — FP8 E4M3 weights (per-channel), dynamic per-token FP8 activations, stored as compressed-tensors float-quantized (scheme FP8_DYNAMIC).
• Kept in BF16 — the vision tower & vision-text merger, token embeddings, the LM head, all RMSNorms, the MoE routers (mlp.gate, shared_expert_gate) — about 5% of all parameters in this build. Quantized: the attention (incl. linear-attention) and MoE/MLP projections.
• Post-training quantization (no retraining). Tokenizer / chat_template identical to the original.

Benchmarks (measured)

Every column was measured with the same harness and settings — lm-evaluation-harness on vLLM, greedy, completion-style prompts without a chat template (0- or 5-shot, as listed in each row). MMLU here is lm-eval's generative variant (mmlu_generative: the model writes the answer letter and only an exact match on the first line counts), so it is not directly comparable with MMLU scores measured another way (e.g. log-likelihood scoring). Percentages are recovery vs. the BF16 original.

Benchmark	BF16 (original)	FP8-dynamic (this repo)	AWQ-8bit	NVFP4A16	NVFP4	AWQ-4bit
MMLU (5-shot, generative)	85.65	85.61 (100.0%)	85.71 (100.1%)	85.76 (100.1%)	85.41 (99.7%)	85.31 (99.6%)
GSM8K (5-shot, strict)	90.14	89.69 (99.5%)	89.23 (99.0%)	90.75 (100.7%)	90.22 (100.1%)	90.52 (100.4%)
ARC-Challenge (0-shot)	60.92	61.01 (100.1%)	61.18 (100.4%)	60.84 (99.9%)	61.09 (100.3%)	62.03 (101.8%)
Winogrande (5-shot)	80.11	79.87 (99.7%)	78.93 (98.5%)	79.32 (99.0%)	77.11 (96.3%)	79.56 (99.3%)
KMMLU (5-shot, direct)	64.95	64.77 (99.7%)	64.78 (99.7%)	64.65 (99.5%)	64.38 (99.1%)	64.67 (99.6%)
HAE-RAE (0-shot)	73.14	73.69 (100.8%)	73.42 (100.4%)	73.51 (100.5%)	74.06 (101.3%)	72.69 (99.4%)
Average	75.82	75.77 (99.9%)	75.54 (99.6%)	75.80 (100.0%)	75.38 (99.4%)	75.80 (100.0%)

Evaluation (measured)

Fidelity to the BF16 original on an internal mixed English/Korean set (100 prompts: the BF16 original's greedy answers, scored under each build with the same prompts and scoring code). This build was measured with vLLM 0.32 on 2026-11-01; the BF16 reference column was measured on 2026-11-01.

Metric	This model	BF16 original
Perplexity (lower = closer)	1.2269	1.2063 (+1.7%)
Top-1 next-token agreement	96.0%	98.1%

These measure fidelity to the base model, not absolute task scores.

Requirements

Runtime	vLLM — the architecture is in vLLM ≥ 0.32.0; tested here with vLLM 0.32.0. vLLM 0.32 needs transformers 5.18.x or 5.19.x for this model (5.17 does not know minicpmv4_7); our runs used transformers 5.21.0 installed with --no-deps, text-only — image input fails in that setup (vLLM's MiniCPM-V image processor vs transformers 5.21); only the 2026-11-02 image check in the revision note above ran images, with the processor's missing downsample_mode argument filled in for the test.
vLLM install	vLLM 0.32 itself needs Python 3.11–3.14, torch 2.13 (CUDA 13.0 build, so an NVIDIA driver with CUDA 13 support), transformers ≥5.16.1,<5.20 and compressed-tensors 0.17.0 (both pinned by vLLM; 0.17.0 reads this checkpoint, which was saved with 0.19.0 — do not upgrade it separately).
GPU	NVIDIA Turing (sm75, e.g. T4) or newer. FP8 math runs on Ada / Hopper / Blackwell (sm89+); on Turing and Ampere vLLM switches to weight-only FP8 automatically. V100 (sm70) is not supported. (Kernel choice per GPU from vLLM 0.32's selection code; only B200 was run here.)
Memory	Weights: 36.9 GB. Add KV cache (grows with context length × concurrent requests) and a few GB for activations / CUDA graphs; use --tensor-parallel-size N when the weights do not fit one GPU.
Transformers (without vLLM)	transformers>=5.18.0 (FP8 checked).
trust_remote_code	not needed

Usage (vLLM)

Compatibility (checked 2026-10-31): with vLLM 0.32.0 and Transformers 5.17.0 the server did not start — Transformers does not recognise model type minicpmv4_7 and this repo ships no custom modeling code. Use a Transformers / vLLM release that supports MiniCPM-V 4.7.

Start an OpenAI-compatible server:

vllm serve axteam/MiniCPM-V-4.7-35B-A3B-FP8-dynamic --max-model-len 32768

Query it:

curl http://localhost:8000/v1/chat/completions -H "Content-Type: application/json" -d '{
  "model": "axteam/MiniCPM-V-4.7-35B-A3B-FP8-dynamic",
  "messages": [{"role": "user", "content": "대한민국의 수도는 어디인가요?"}],
  "temperature": 1.0, "top_p": 0.95, "top_k": 20, "max_tokens": 512
}'

Offline inference in Python:

from vllm import LLM, SamplingParams

llm = LLM(model="axteam/MiniCPM-V-4.7-35B-A3B-FP8-dynamic", max_model_len=32768)
params = SamplingParams(temperature=1.0, top_p=0.95, top_k=20, max_tokens=1024)
out = llm.chat([{"role": "user", "content": "Explain model quantization in two sentences."}], params)
print(out[0].outputs[0].text)

# image input (URL or data: URI)
messages = [{"role": "user", "content": [
    {"type": "image_url", "image_url": {"url": "https://example.com/your-image.png"}},
    {"type": "text", "text": "Describe this image."},
]}]
out = llm.chat(messages, params)
print(out[0].outputs[0].text)

Recommended sampling (from the original generation_config.json): temperature=1.0, top_p=0.95, top_k=20. Thinking mode is off by default in this model's chat template; to turn it on pass chat_template_kwargs={"enable_thinking": True} (Python llm.chat(..., chat_template_kwargs=...), or "chat_template_kwargs": {"enable_thinking": true} in the request body). Text-only serving: add --limit-mm-per-prompt '{"image": 0, "video": 0}' to skip loading the vision encoder's memory budget.

Reducing KV-cache memory (optional, serve-time)

The KV cache is kept in BF16 by default. KV-cache precision is a runtime choice, independent of the weight quantization above. This is a hybrid model: only its 10 full-attention layers keep a KV cache, while its 30 linear-attention (Gated DeltaNet) layers keep a fixed-size state per request, which --kv-cache-dtype does not change. FP8 halves the full-attention KV cache, so the saving grows with context length and is small for many short requests:

vllm serve axteam/MiniCPM-V-4.7-35B-A3B-FP8-dynamic --kv-cache-dtype fp8

License

Quantized derivative of openbmb/MiniCPM-V-4.7-35B-A3B (Apache-2.0). Original weights & tokenizer belong to OpenBMB.

---

한국어 요약

openbmb/MiniCPM-V-4.7-35B-A3B의 FP8 (W8A8) 양자화 빌드 · 제작 axteam

개요

항목	내용
원본 모델	openbmb/MiniCPM-V-4.7-35B-A3B
양자화 방식	FP8 동적 양자화 (W8A8)
저장 형식	compressed-tensors float-quantized (scheme FP8_DYNAMIC)
모델 구조	MoE (Qwen3.5-MoE 백본) · 멀티모달(비전)
용량	약 36.9 GB
보정 데이터	없음 (가중치 스케일은 가중치만으로 계산, 활성화 스케일은 실행 시 계산)

양자화 상세

• 가중치: FP8(E4M3), 출력 채널별 스케일
• 활성화: 실행 시 토큰별 동적 FP8
• 양자화 절차: PTQ(학습 후 양자화, 재학습 없음), 가중치 스케일은 미리 계산하고 활성화 스케일은 실행 시 토큰마다 계산
• BF16 유지: 비전 타워, 비전-텍스트 투영층(merger), 토큰 임베딩, LM 헤드, 모든 RMSNorm, MoE 라우터(mlp.gate)와 공유 전문가 게이트(shared_expert_gate) — 전체 파라미터의 약 5%
• 양자화 대상: 어텐션(선형 어텐션 포함)과 MoE/MLP의 선형층(projection)
• 원본 파일: 토크나이저·chat template은 원본과 동일

품질 (실측)

• 원본 대비 충실도: PPL 1.2269 (원본 1.2063, +1.7%, 낮을수록 원본에 가까움), 다음 토큰 top-1 일치율 96.0% (원본 자체 기준값 98.1%) — 내부 영어·한국어 혼합 프롬프트 100개, 원본(BF16)의 greedy 답변을 기준 텍스트로 측정
• 벤치마크 평균: 75.77 (원본 75.82, 99.9%) — MMLU(생성형)·GSM8K·ARC-Challenge·Winogrande·KMMLU·HAE-RAE 6종 평균, lm-evaluation-harness + vLLM, chat template 없는 완성형 프롬프트(과제별 0·5-shot, 표 참고)·greedy, 모든 빌드를 같은 설정으로 측정
• 한국어 벤치마크: KMMLU 64.77 (원본 64.95, 99.7%) · HAE-RAE 73.69 (원본 73.14, 100.8%)
• MMLU 방식: lm-eval 생성형 변형(mmlu_generative) — 모델이 답 글자를 생성하고 첫 줄이 정확히 일치해야 정답으로 채점하므로, 다른 방식(예: log-likelihood 채점)으로 잰 MMLU 점수와 직접 비교 불가

요구사항

• 실행 엔진: vLLM 0.32.0 이상(이 구조를 지원하는 첫 버전), 이 빌드는 vLLM 0.32.0에서 실행 확인
• Transformers 버전: vLLM 0.32와 함께 쓰려면 transformers 5.18.x 또는 5.19.x 필요 (5.17은 minicpmv4_7 미지원), 실행 확인은 transformers 5.21.0을 --no-deps로 설치해 텍스트 입력으로 진행 — 이 조합에서는 이미지 입력 실패 (vLLM의 MiniCPM-V 이미지 프로세서와 transformers 5.21 비호환), 이미지는 위 수정 이력의 2026-11-02 점검만 처리기에 빠진 downsample_mode 인자를 채워 실행
• vLLM 0.32 설치 조건: Python 3.11~3.14, torch 2.13(CUDA 13.0 빌드, CUDA 13 지원 드라이버 필요), transformers 5.16.1 이상 5.20 미만, compressed-tensors 0.17.0 — transformers·compressed-tensors는 vLLM이 버전을 고정하므로 compressed-tensors를 따로 업그레이드하지 말 것 (이 체크포인트는 0.19.0으로 저장됐지만 0.17.0에서도 로드됨)
• GPU: NVIDIA Turing(sm75, 예: T4) 이상, V100(sm70) 미지원 — FP8 연산은 Ada·Hopper·Blackwell(sm89 이상)에서 수행, Turing·Ampere는 vLLM이 가중치 전용 FP8로 자동 전환 (GPU별 지원 여부는 vLLM 0.32 커널 선택 코드 기준, 실제 실행은 B200에서만 확인)
• 메모리: 가중치 36.9 GB + KV 캐시(컨텍스트 길이 × 동시 요청 수에 비례) + 활성화·CUDA graph용 수 GB — GPU 한 장에 다 들어가지 않으면 --tensor-parallel-size N으로 분산
• Transformers로 직접 사용: transformers 5.18.0 이상 (FP8 빌드로 확인)
• trust_remote_code: 불필요

사용법

• 서버 실행: vllm serve axteam/MiniCPM-V-4.7-35B-A3B-FP8-dynamic --max-model-len 32768 — OpenAI 호환 API
• Python: LLM(model="axteam/MiniCPM-V-4.7-35B-A3B-FP8-dynamic", max_model_len=32768).chat(...) — 전체 예시는 위 영어 본문 'Usage (vLLM)' 절 참고
• 권장 샘플링: temperature=1.0, top_p=0.95, top_k=20 (원본 generation_config.json 기준)
• thinking 모드: 기본 꺼짐 — 켜려면 chat_template_kwargs={"enable_thinking": True} 전달(Python은 llm.chat() 인자, HTTP는 요청 본문의 "chat_template_kwargs": {"enable_thinking": true})
• 이미지 입력: 메시지에 image_url 항목 사용
• 텍스트만 사용할 때: --limit-mm-per-prompt '{"image": 0, "video": 0}' — 비전 타워용 메모리 예약을 생략해 메모리 절약
• KV 캐시 절감(선택): vllm serve에 --kv-cache-dtype fp8 추가 — 하이브리드 구조라 KV 캐시는 풀 어텐션 10개 층에만 있고, 선형 어텐션(Gated DeltaNet) 30개 층의 요청별 고정 크기 상태는 이 옵션으로 바뀌지 않음 → 풀 어텐션 KV 캐시만 절반으로 줄어 긴 컨텍스트에서 효과가 크고 짧은 요청이 많을 때는 작음 (가중치 양자화와 별개인 실행 옵션)

참고

• 호환성 (2026-10-31 확인): vLLM 0.32.0 + transformers 5.17.0은 minicpmv4_7을 인식하지 못해 서버 실행 실패 — transformers 5.18.x·5.19.x 필요 (위 요구사항 참고)
• 수정 이력 (2026-11-02, 설정 수정): 이전 config.json은 비전 타워를 양자화에서 빼는 규칙(re:model\.vision_tower\..*)이 vLLM이 쓰는 모듈 이름(vpm.*, vit_merger.*)과 맞지 않아, vLLM 0.32가 비전 층을 FP8로 만들고 BF16 비전 가중치를 그대로 넣었음 → 이미지 입력 답이 틀림(텍스트 입력은 영향 없음) — config.json만 수정, 무시 목록에 vLLM 이름 규칙(re:vpm\..*, re:vit_merger\..*)을 추가하고 기존 규칙 re:model\.visual\..*·re:model\.vision_tower\..*·re:model\.merger\..*를 re:(model\.)?… 형태로 넓힘(가중치 동일) — vLLM 0.32.0 확인(2026-11-02): 비전 가중치가 BF16으로 로드됨, 모델이 시험 그림(빨간 원·파란 사각형·글자 "QWEN TEST 2026")을 바르게 설명(vLLM 0.32.0 + transformers 5.21에서는 이미지 전처리가 실패하므로 — 요구사항 참고 — 이 점검만 이미지 처리기에 빠진 downsample_mode 인자를 기본값으로 채워 실행) — 2026-11-01 23:41:44 UTC(리비전 a1f77bb) 이전에 받았다면 config.json만 다시 받을 것

라이선스

• 라이선스: Apache-2.0 — 원본 모델의 라이선스를 그대로 따름
• 권리: 원본 가중치·토크나이저는 OpenBMB 소유, 이 리포는 양자화 파생물