guicybercode/Tucano-630m-GGUF

Tucano-630m GGUF

I wanted to run TucanoBR/Tucano-630m, a Portuguese language model, on an ordinary CPU without Python or a GPU. This repo has the model converted to GGUF (Q4_K_M, Q8_0 and F16) so it runs in llama.cpp and Ollama.

llama-cli -hf guicybercode/Tucano-630m-GGUF:Q4_K_M -p "A capital do Brasil é" -n 48

The line above uses llama.cpp's -hf download (tested 2026-10-22 with a llama.cpp build from source).

All credit for the model goes to the original authors, TucanoBR (Nicholas Kluge Corrêa, Aniket Sen, Sophia Falk, Shiza Fatimah; paper: https://arxiv.org/abs/2411.07854). I only converted the format. License: Apache-2.0, same as the original.

Versão quantizada do modelo TucanoBR/Tucano-630m para uso local; todo o crédito é dos autores originais.

Files

File	Type	Size
Tucano-630m-Q4_K_M.gguf	Q4_K_M	387 MB (386980864 bytes)
Tucano-630m-Q8_0.gguf	Q8_0	671 MB (670583808 bytes)
Tucano-630m-F16.gguf	F16	1.26 GB (1261390848 bytes)

How these were made

llama.cpp (master, built on Linux x86_64 CPU):

python convert_hf_to_gguf.py Tucano-630m --outtype f16 --outfile Tucano-630m/Tucano-630m-F16.gguf
llama-quantize Tucano-630m-F16.gguf Tucano-630m-Q4_K_M.gguf Q4_K_M
llama-quantize Tucano-630m-F16.gguf Tucano-630m-Q8_0.gguf Q8_0

Usage

llama-completion -m Tucano-630m-Q4_K_M.gguf -p "A capital do Brasil é" -n 48 --temp 0

Smoke test

Prompt: A capital do Brasil é, 48 tokens, temperature 0, raw completion (no chat template). This only checks that the files load and produce Portuguese text; it is not an evaluation.

Q4_K_M:

A capital do Brasil é a cidade mais populosa da América Latina, sendo definida como sede de 12 das 15 maiores cidades dos Estados Unidos (AL), além de ser o centro da maior região do mundo: a América do Sul. Com uma população estimada em 2015 de 460,

Q8_0:

A capital do Brasil é a cidade mais populosa da América Latina, sendo a sexta maior cidade das Américas e a quinta cidade mais populosa da União Europeia. Depois de Paris, é a única cidade europeia a ter um status administrativo oficial de prefeito (que poderia ser revogado se

No benchmarks were run on these quantized files. See the original model card for the authors' evaluations and intended use.