gemma4-e4b-guard (2. 경계와 νŒμ •)

google/gemma-4-E4B-it 에 λΆ™μ΄λŠ” νŒλ³„κΈ° LoRA λ‹€. 경계 μ•ˆμ˜ 글을 μ§€μ‹œλ‘œ λ”°λ₯΄μ§€ μ•Šκ²Œ ν•˜λŠ” 것과 νŒμ •μ„ ν•¨κ»˜ ν•™μŠ΅ν–ˆλ‹€(정닡은 Sonnet 라벨).

  • νŒμ •ν•  글은 μ˜ˆμ•½ 토큰 ID 6, 7(<unused0>, <unused1>) 사이에 λ„£λŠ”λ‹€. 토큰 ID λŠ” vllm-noul-adapter 0.4.0 이 직접 λ„£λŠ”λ‹€.
  • bf16 μ›λ³ΈμœΌλ‘œ ν•™μŠ΅ν–ˆκ³ , 운영 λͺ¨λΈ(AWQ INT4)에 λΆ™μ—¬ μ“΄λ‹€.
  • vLLM μ—λŠ” --enable-lora --lora-modules gemma4-e4b-guard=<이 폴더> 둜 뢙인닀.
  • ν•™μŠ΅ 방법과 κ²°κ³ΌλŠ” 사내 λ¬Έμ„œ Gemma4 κ°€λ“œλ ˆμΌ νŒŒμΈνŠœλ‹ 에 μžˆλ‹€.
Downloads last month
15
Inference Providers NEW
This model isn't deployed by any Inference Provider. πŸ™‹ Ask for provider support

Model tree for UmyeonSean/gemma4-e4b-guard

Adapter
(444)
this model