lucianosb
/

canarim-7B-GGUF

Text Generation

Model card Files Files and versions Community

lucianosb commited on Nov 17, 2023

Commit

d71f492

•

1 Parent(s): afa96e9

Update README.md

Files changed (1) hide show

README.md +1 -1

README.md CHANGED Viewed

@@ -21,7 +21,7 @@ Estes modelos não foram treinados para seguir instruções (instruction tuning)
 | Nome | Método Quant | Bits | Tamanho  | Desc |
 | ---- | ---- | ---- | ---- | ----- |
-| [canarim7b-q4_0.gguf](https://huggingface.co/lucianosb/canarim-7b-GGUF/blob/main/canarim7b-q2_k.gguf) | q2_K | 2 | 2.83 GB | Quantização em 2-bit. Significativa perda de qualidade. Não-recomendado. |
 | [canarim7b-q3_k_m.gguf](https://huggingface.co/lucianosb/canarim-7b-GGUF/blob/main/canarim7b-q3_k_m.gguf) | q3_K_M| 3 | 3.3 GB | Quantização em 3-bit. |
 | [canarim7b-q3_k_s.gguf](https://huggingface.co/lucianosb/canarim-7b-GGUF/blob/main/canarim7b-q3_k_s.gguf) | q3_K_S | 3 | 2.95 GB | Quantização em 3-bit. |
 | [canarim7b-q4_0.gguf](https://huggingface.co/lucianosb/canarim-7b-GGUF/blob/main/canarim7b-q4_0.gguf) | q4_0 | 4 | 3.83 GB | Quantização em 4-bit. Prefira usar o Q3_K_M|

 | Nome | Método Quant | Bits | Tamanho  | Desc |
 | ---- | ---- | ---- | ---- | ----- |
+| [canarim7b-q2_k.gguf](https://huggingface.co/lucianosb/canarim-7b-GGUF/blob/main/canarim7b-q2_k.gguf) | q2_K | 2 | 2.83 GB | Quantização em 2-bit. Significativa perda de qualidade. Não-recomendado. |
 | [canarim7b-q3_k_m.gguf](https://huggingface.co/lucianosb/canarim-7b-GGUF/blob/main/canarim7b-q3_k_m.gguf) | q3_K_M| 3 | 3.3 GB | Quantização em 3-bit. |
 | [canarim7b-q3_k_s.gguf](https://huggingface.co/lucianosb/canarim-7b-GGUF/blob/main/canarim7b-q3_k_s.gguf) | q3_K_S | 3 | 2.95 GB | Quantização em 3-bit. |
 | [canarim7b-q4_0.gguf](https://huggingface.co/lucianosb/canarim-7b-GGUF/blob/main/canarim7b-q4_0.gguf) | q4_0 | 4 | 3.83 GB | Quantização em 4-bit. Prefira usar o Q3_K_M|