mangaba-ai/brier-v2

Brier v2 — o mais preciso em texto confiável

Decisões tipadas em português: dado um texto (state) e perguntas (choice, score ou noul), devolve a resposta de cada pergunta com probabilidades calibradas e confiança. Adaptador LoRA sobre Qwen3-4B-Instruct-2507 (4 bits).

conjunto	Brier v2	Jev (referência)
sintético	77,5%	79,5%
ASSIN2	72,8%	78,2%
B2W	65,4% (melhor calibração, signif.)	66,8%
tweetSentBR	72,0%	67,6%

Como usar

pip install "brier[mac] @ git+https://github.com/Mangaba-ai/brier"   # Mac Apple Silicon (MLX)
pip install "brier @ git+https://github.com/Mangaba-ai/brier"        # Windows / Linux (PyTorch)

from brier import Brier
b = Brier("v2")
b.decide("A entrega atrasou duas semanas e ninguém respondeu.",
         {{"sentimento": {{"type": "choice", "instructions": "Sentimento do cliente",
                          "criteria": {{"pos": "positivo", "neu": "neutro", "neg": "negativo"}}}}}})

Arquivos: adaptadores.safetensors (LoRA rank 16, 20 camadas, escala 20, formato MLX), config.json (treino), calibracao.json (limiar do conjunto conformal APS). O pacote baixa a base mlx-community/Qwen3-4B-Instruct-2507-4bit e, fora do Mac, dequantiza e funde o LoRA em PyTorch.

Método

Máscara de atenção em blocos (cada pergunta vê o texto e a si mesma; todas numa passada) e leitura por logits dos rótulos das opções. Treino por entropia cruzada contra alvo suave (maioria de 4 votos de LLMs). Detalhes, dados sintéticos e scripts de avaliação: https://github.com/Mangaba-ai/brier

Limites

Acerto medido em 4 conjuntos em português (n=250–1000); referência de desempenho: TypeSafe Jev, um modelo fechado. Nenhuma versão do Brier vence o Jev pelo critério fixado antes (IC95 favorável em acerto e escore de Brier em ≥2 de 3 conjuntos humanos). Textos longos (>2.000 tokens) perdem acerto.