CyberPaul/ratio-gemma3-4b-gguf

RATIO Gemma3 4B - GGUF

Modelo Gemma3-4B-IT ajustado para o domínio jurídico brasileiro como parte do projeto RATIO — Ratio Decidendi Engine.

Este repositório contém a versão GGUF quantizada (Q4_K_M) do fine-tune, pronta para uso local em engines compatíveis:

• Ollama
• llama.cpp
• LM Studio
• Jan
• outros runtimes compatíveis com GGUF

Objetivo principal: extrair, sintetizar e explicar a ratio decidendi de acórdãos e textos jurídicos brasileiros, com uso 100% local / offline. É a camada generativa recomendada do RATIO.

---

O que é o RATIO?

O RATIO é um sistema jurídico local-first e offline para escritórios e advogados, com foco em:

• privacidade e confidencialidade
• análise de acórdãos
• recuperação semântica (RAG)
• explicação da fundamentação decisória

Este modelo é a camada generativa (LLM) do RATIO, usado em conjunto com o classificador BERT.

---

O que este modelo faz?

Ajustado para tarefas como:

• extrair a ratio decidendi de acórdãos
• sintetizar teses jurídicas a partir de ementas e decisões
• explicar fundamentos essenciais de forma fundamentada
• responder em português jurídico brasileiro com base em documentos (via RAG)

Exemplo de uso esperado

Entrada:

Analise a seguinte ementa e extraia a ratio decidendi: "É inconstitucional a cobrança de ICMS sobre operações de transferência de mercadorias entre estabelecimentos do mesmo contribuinte, por não configurar fato gerador do imposto."

Saída esperada:

A ratio decidendi consiste no entendimento de que não incide ICMS na mera transferência de mercadorias entre estabelecimentos do mesmo contribuinte, pois não há circulação jurídica de bens e, portanto, não se configura o fato gerador do tributo.

---

Relação com os outros modelos do projeto

O ecossistema RATIO é composto por camadas complementares:

1. Classificador BERT

CyberPaul/ratio-bert-jurisprudencia-pt Modelo discriminativo (BERTimbau) que identifica sentenças contendo ratio decidendi.

• F1 em sentenças: 99,55%
• Uso: filtro de qualidade e pré-processamento

2. Este repositório (recomendado)

CyberPaul/ratio-gemma3-4b-gguf LLM generativo fine-tuned (Gemma3-4B) em GGUF para inferência local.

3. Modelo generativo legado

CyberPaul/ratio-qwen-7b-gguf-v2 Versão Qwen2.5-7B experimental/legacy — veja as limitações documentadas naquele repositório antes de usar.

---

Dados de treinamento

Fine-tune (LoRA) com Unsloth sobre o dataset RATIO v3:

• 8.501 exemplos conversacionais de ratio decidendi e jurisprudência brasileira
• Consolidados a partir de acórdãos do STJ e STF
• Extrações estruturadas do pipeline RATIO
• Sínteses supervisionadas da ratio decidendi

---

Arquivos disponíveis

GGUF

• gemma-3-4b-it.Q4_K_M.gguf — recomendado (boa relação qualidade/memória/velocidade, ~2.5 GB)
• gemma-3-4b-it.F16-mmproj.gguf — projeção multimídia (mmproj)

---

Como usar com Ollama

Este repositório inclui um Modelfile com o template correto para este fine-tune.

1. Baixe o GGUF e o Modelfile

# a partir da raiz do repo (arquivos baixados):
ollama create ratio-gemma3:4b -f Modelfile

2. Rode localmente

ollama run ratio-gemma3:4b

⚠️ IMPORTANTE — template do Modelfile

Este fine-tune foi treinado com o system fundido na mensagem user final com UM ESPAÇO:

<start_of_turn>user
{SYSTEM} {PERGUNTA}<end_of_turn>
<start_of_turn>model
{RESPOSTA}<end_of_turn>

Se você usar o template padrão do Gemma (system em turno separado ou com \n\n), o modelo pode ecoar a pergunta em vez de responder. Use o Modelfile incluído neste repositório. Ele foi validado empiricamente em single-turn e multi-turn (RAG com histórico).

---

Uso com llama.cpp

llama-cli -m gemma-3-4b-it.Q4_K_M.gguf --jinja

---

Requisitos recomendados

• RAM: 8 GB ou mais
• VRAM: 4 GB ou mais (roda bem em CPU com 8 GB+ de RAM)
• Formato: GGUF Q4_K_M

Testado em

• Ollama local (Windows)
• Pipeline RATIO local-first (RAG com histórico multi-turn)
• CPU com 32 GB de RAM

---

Limitações

Este modelo não deve ser tratado como autoridade jurídica final.

Limitações conhecidas

• Pode resumir demais em casos muito complexos
• Pode errar em casos com forte dependência fática
• Pode reproduzir vieses do corpus jurisprudencial
• Artefato conhecido: em prompts de system longos, pode repetir a última linha do system no fim da resposta (inerente à fusão por espaço, não é regressão)
• Exige validação humana em uso profissional

Uso responsável

• sempre valide com o documento-fonte
• sempre confira legislação vigente
• sempre revise citações e precedentes
• não use como substituto de parecer jurídico final sem revisão

---

Licença

Este repositório herda a compatibilidade de uso do modelo base e dos artefatos gerados no processo de fine-tuning. Consulte também o modelo base: google/gemma-3-4b-it.

---

Créditos

• Fine-tuning e pipeline jurídico: CyberPaul / Projeto RATIO
• Modelo base: Gemma3-4B-IT (Google)
• Treino/quantização GGUF: Unsloth
• Runtime local recomendado: Ollama

---

Projeto relacionado

RATIO — Ratio Decidendi Engine — sistema jurídico local-first e offline para:

• RAG jurídico
• análise documental
• extração de ratio decidendi
• uso confidencial em escritórios e departamentos jurídicos

---

Citação

@misc{ratio_gemma3_2026,
  author = {CyberPaul},
  title  = {RATIO Gemma3 4B: modelo GGUF para extracao e sintese de ratio decidendi no direito brasileiro},
  year   = {2026},
  url    = {https://huggingface.co/CyberPaul/ratio-gemma3-4b-gguf}
}