Boto 9B - GGUF

Boto-9B é um modelo de linguagem de 9 bilhões de parâmetros, otimizado a partir do Gemma2-9B.

Confira os presets para usar com LM Studio.

Arquivos Incluídos

Nome Método Quant Bits Tamanho Desc
boto9b.Q2_K.gguf q2_K 2 3.81 GB Quantização em 2-bit. Significativa perda de qualidade. Não-recomendado.
boto9b.Q3_K_M.gguf q3_K_M 3 4.76 GB Quantização em 3-bit.
boto9b.Q3_K_S.gguf q3_K_S 3 4.34 GB Quantização em 3-bit.
boto9b.Q4_0.gguf q4_0 4 5.44 GB Quantização em 4-bit. Prefira usar o Q3_K_M
boto9b.Q4_K_S.gguf q4_K_S 4 5.48 GB Quantização em 4-bit.
boto9b.Q3_K_L.gguf q3_K_L 3 5.13 GB Quantização em 3-bit com menor perda de qualidade.
boto9b.Q4_K_M.gguf q4_K_M 4 5.76 GB Quantização em 4-bit.
boto9b.Q4_1.gguf q4_1 4 5.96 GB Quantização em 4-bit. Acurácia maior que q4_0 mas não tão boa quanto q5_0. Inferência mais rápida que os modelos q5.
boto9b.Q5_0.gguf q5_0 5 6.48 GB Quantização em 5-bit. Melhor acurácia, maior uso de recursos, inferência mais lenta.
boto9b.Q5_1.gguf q5_1 5 7 GB Quantização em 5-bit. Ainda Melhor acurácia, maior uso de recursos, inferência mais lenta.
boto9b.Q5_K_M.gguf q5_K_M 5 6.65 GB Quantização em 5-bit. Melhor performance. Recomendado.
boto9b.Q5_K_S.gguf q5_K_S 5 6.48 GB Quantização em 5-bit.
boto9b.Q6_K.gguf q6_K 6 7.59 GB Quantização em 6-bit.
boto9b.Q8_0.gguf q8_0 8 9.83 GB Quantização em 8-bit. Quase indistinguível do float16. Usa muitos recursos e é mais lento.

Observação: os valores de RAM acima não pressupõem descarregamento de GPU. Se as camadas forem descarregadas para a GPU, isso reduzirá o uso de RAM e usará VRAM.

Template

### Instrução:
{prompt}

### Resposta:

Uploaded model

  • Developed by: lucianosb
  • License: apache-2.0
  • Finetuned from model : unsloth/gemma-2-9b-bnb-4bit

This gemma2 model was trained 2x faster with Unsloth and Huggingface's TRL library.

Downloads last month
659
GGUF
Model size
9.24B params
Architecture
gemma2

2-bit

3-bit

4-bit

5-bit

6-bit

8-bit

16-bit

Inference API
Unable to determine this model’s pipeline type. Check the docs .

Model tree for lucianosb/boto-9B-GGUF

Base model

google/gemma-2-9b
Quantized
(95)
this model

Space using lucianosb/boto-9B-GGUF 1

Collection including lucianosb/boto-9B-GGUF