GenGuard 1.0 Light
Collection
4 items • Updated • 1
GenGuard 1.0 Light NVFP4
mncai/genguard-1.0-light를 NVFP4(가중치·활성값 FP4)로 양자화한 모델입니다. 사용법은 원본 모델 카드를 따릅니다.
양자화 방법
- 도구: llm-compressor 0.14.0 (
QuantizationModifier, schemeNVFP4) - 대상: 언어 모델의 선형층 343개.
lm_head, 임베딩, vision·audio 부분은 bf16 그대로 둡니다. - 보정 데이터: 원본 모델 학습 데이터 512건(최대 2,048 토큰)
- 크기: 10.2GB (원본 15.9GB)
- Downloads last month
- 23
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support