Neve-Cascade-5-1B-QAT-GGUF

---

Esse model card é para as novas versões da família Neve Cascade otimizadas com Treinamento Consciente de Quantização (QAT), que permite preservar uma qualidade semelhante à bfloat16 enquanto reduz drasticamente os requisitos de memória para carregar o modelo. Quatro versões dos checkpoints QAT estão disponíveis:

• Checkpoints QAT não quantizados (Q4_0): Pesos de meia precisão extraídos do pipeline QAT, ideais para compilação downstream personalizada e pesquisa.
• GGUF (Q4_0): Formatos prontos para implantação, com ampla compatibilidade no ecossistema.
• Otimizado para dispositivos móveis (wNa8o8): Um esquema personalizado projetado explicitamente para eficiência em hardware móvel. Ele apresenta camadas de decodificação direcionadas de 2 bits, caches KV otimizados e ativações estáticas para maximizar a economia de VRAM.
• Tensores Comprimidos (w4a16): Checkpoints QAT serializados no formato compressed-tensors para inferência nativa e otimizada com vLLM.

---

Introdução

O Neve Cascade 5 é um modelo de linguagem de última geração focado em baixo consumo para hardware limitado. Esta versão em formato GGUF foi otimizada pela NeveAI para oferecer o equilíbrio ideal entre precisão lógica e eficiência computacional.

---

Destaques do Modelo

Este modelo foi desenvolvido para uso geral e execução de tarefas multimodais, focando em:

• Long Context: Suporte a contexto extenso de até 128K tokens, permitindo processamento eficiente de documentos longos e fluxos complexos.
• Arquitetura Leve e Escalável: Projetado para oferecer alto desempenho mesmo em ambientes com recursos limitados, incluindo GPUs de consumidor e infraestrutura local.
• Cobertura Multilíngue Global: Treinado em mais de 140 idiomas, garantindo forte capacidade de generalização internacional.

Benchmark de Performance

O Neve Cascade 5 apresenta desempenho sólido em benchmarks de reasoning, STEM, multimodalidade e multilingual:

Categoria	Benchmark	Neve Cascade 5	Gemma 3 PT 27B	Gemma 3 PT 12B
Reasoning	BIG-Bench Hard	28.4	77.7	72.6
Knowledge	TriviaQA	39.8	85.5	78.2
STEM	GSM8K	38.4	82.6	71.0
Coding	HumanEval	36.0	48.8	45.7
Multilingual	Global-MMLU-Lite	24.9	75.7	69.4
Multimodal	MMMU	39.2	56.1	50.3

---

Detalhes da Arquitetura

• Arquitetura: Transformer multimodal otimizado para texto e visão.
• Contexto: Até 128K tokens de contexto.
• Entrada Multimodal: Suporte nativo para texto e imagens em resolução até 896×896.
• Treinamento: Infraestrutura baseada em TPU + JAX + ML Pathways.

Como utilizar (GGUF)

Este modelo é compatível com llama.cpp, Ollama, LM Studio e outras ferramentas que suportam o formato GGUF. Foco direcionado ao uso do modelo na plataforma autoral da organização NeveAI

Licença

Este repositório e os pesos do modelo estão licenciados sob a Licença Apache 2.0.

Contato

Se tiver qualquer dúvida, por favor, levante um issue ou entre em contato conosco em NeveIA.