Hugging Face's logo

lucianosb
/
boto-9B-GGUF

Transformers
GGUF
Portuguese
gemma2
text-generation-inference
unsloth
Inference Endpoints
Model card Files Community
boto-9B-GGUF / README.md
lucianosb's picture
lucianosb
Update README.md
6f6dcf5 verified
preview code
|
raw
history blame
3.82 kB
metadata
base_model: unsloth/gemma-2-9b-bnb-4bit
language:
  - pt
license: apache-2.0
tags:
  - text-generation-inference
  - transformers
  - unsloth
  - gemma2
  - gguf

Boto 9B - GGUF

Boto-9B é um modelo de linguagem de 9 bilhões de parâmetros, otimizado a partir do Gemma2-9B.

Confira os presets para usar com LM Studio.

Arquivos Incluídos

Nome Método Quant Bits Tamanho Desc
boto9b.Q2_K.gguf q2_K 2 3.81 GB Quantização em 2-bit. Significativa perda de qualidade. Não-recomendado.
boto9b.Q3_K_M.gguf q3_K_M 3 4.76 GB Quantização em 3-bit.
boto9b.Q3_K_S.gguf q3_K_S 3 4.34 GB Quantização em 3-bit.
boto9b.Q4_0.gguf q4_0 4 5.44 GB Quantização em 4-bit. Prefira usar o Q3_K_M
boto9b.Q4_K_S.gguf q4_K_S 4 5.48 GB Quantização em 4-bit.
boto9b.Q3_K_L.gguf q3_K_L 3 5.13 GB Quantização em 3-bit com menor perda de qualidade.
boto9b.Q4_K_M.gguf q4_K_M 4 5.76 GB Quantização em 4-bit.
boto9b.Q4_1.gguf q4_1 4 5.96 GB Quantização em 4-bit. Acurácia maior que q4_0 mas não tão boa quanto q5_0. Inferência mais rápida que os modelos q5.
boto9b.Q5_0.gguf q5_0 5 6.48 GB Quantização em 5-bit. Melhor acurácia, maior uso de recursos, inferência mais lenta.
boto9b.Q5_1.gguf q5_1 5 7 GB Quantização em 5-bit. Ainda Melhor acurácia, maior uso de recursos, inferência mais lenta.
boto9b.Q5_K_M.gguf q5_K_M 5 6.65 GB Quantização em 5-bit. Melhor performance. Recomendado.
boto9b.Q5_K_S.gguf q5_K_S 5 6.48 GB Quantização em 5-bit.
boto9b.Q6_K.gguf q6_K 6 7.59 GB Quantização em 6-bit.
boto9b.Q8_0.gguf q8_0 8 9.83 GB Quantização em 8-bit. Quase indistinguível do float16. Usa muitos recursos e é mais lento.

Observação: os valores de RAM acima não pressupõem descarregamento de GPU. Se as camadas forem descarregadas para a GPU, isso reduzirá o uso de RAM e usará VRAM.

Template 

### Instrução:
{prompt}

### Resposta:

Uploaded model

  • Developed by: lucianosb
  • License: apache-2.0
  • Finetuned from model : unsloth/gemma-2-9b-bnb-4bit

This gemma2 model was trained 2x faster with Unsloth and Huggingface's TRL library.