GenGuard 1.0 Light
Collection
4 items • Updated • 1
GenGuard 1.0 Light FP8
mncai/genguard-1.0-light를 FP8(가중치·활성값 FP8)로 양자화한 모델입니다. 사용법은 원본 모델 카드를 따릅니다.
양자화 방법
- 도구: llm-compressor 0.14.0 (
QuantizationModifier, schemeFP8_DYNAMIC) - 대상: 언어 모델의 선형층 343개.
lm_head, 임베딩, vision·audio 부분은 bf16 그대로 둡니다. - 보정 데이터: 없음 (가중치는 채널별, 활성값은 실행할 때 토큰별로 스케일을 정합니다)
- 크기: 11.9GB (원본 15.9GB)
- Downloads last month
- 19
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support