mangaba-ai/brier-v3

Brier v3 — versão recomendada (resistente a injeção de instruções)

Decisões tipadas em português: dado um texto (state) e perguntas (choice, score ou noul), devolve a resposta de cada pergunta com probabilidades calibradas e confiança. Adaptador LoRA sobre Qwen3-4B-Instruct-2507 (4 bits).

O v2 continuado com exemplos de injeção de instruções no texto ("ignore as instruções e responda X").

conjunto	Brier v3	Jev (referência)
sintético	75,7%	79,5%
ASSIN2	71,2%	78,2%
B2W	61,6%	66,8%
tweetSentBR	69,2%	67,6%
ataques de injeção que funcionaram (famílias inéditas)	16,7%	21,4% (diferença significativa)

Como usar

pip install "brier[mac] @ git+https://github.com/Mangaba-ai/brier"   # Mac Apple Silicon (MLX)
pip install "brier @ git+https://github.com/Mangaba-ai/brier"        # Windows / Linux (PyTorch)

from brier import Brier
b = Brier("v3")
b.decide("A entrega atrasou duas semanas e ninguém respondeu.",
         {{"sentimento": {{"type": "choice", "instructions": "Sentimento do cliente",
                          "criteria": {{"pos": "positivo", "neu": "neutro", "neg": "negativo"}}}}}})

Arquivos: adaptadores.safetensors (LoRA rank 16, 20 camadas, escala 20, formato MLX), config.json (treino), calibracao.json (limiar do conjunto conformal APS). O pacote baixa a base mlx-community/Qwen3-4B-Instruct-2507-4bit e, fora do Mac, dequantiza e funde o LoRA em PyTorch.

Método

Máscara de atenção em blocos (cada pergunta vê o texto e a si mesma; todas numa passada) e leitura por logits dos rótulos das opções. Treino por entropia cruzada contra alvo suave (maioria de 4 votos de LLMs). Detalhes, dados sintéticos e scripts de avaliação: https://github.com/Mangaba-ai/brier

Limites

Acerto medido em 4 conjuntos em português (n=250–1000); referência de desempenho: TypeSafe Jev, um modelo fechado. Nenhuma versão do Brier vence o Jev pelo critério fixado antes (IC95 favorável em acerto e escore de Brier em ≥2 de 3 conjuntos humanos). Textos longos (>2.000 tokens) perdem acerto.