Acesso ao Brier-0 (licença comercial da Mangaba AI)
This repository is publicly accessible, but you have to accept the conditions to access its files and content.
O Brier-0 é distribuído sob a licença proprietária da Mangaba AI. O download é liberado para clientes e avaliações autorizadas. Planos e licenciamento: https://brier.mangaba.ia.br/pt#planos
Log in or Sign Up to review the conditions and access this model content.
Brier-0
English: Brier-0 is the Brier v5 decision model (LoRA over Qwen3-4B-Instruct-2507, 4-bit) further distilled from mangaba-titan (Qwen3.5-122B-A10B, served on Mangaba AI's own GPUs). The
brierpackage can also run it as a cascade: when the student is unsure on a choice/yes-no question, it asks the teacher. Proprietary license; access on request. Plans: brier.mangaba.ia.br · Technical report: brier-zero-artigo.
Decisões tipadas em português (choice, score, noul), com probabilidades calibradas. É o v5 continuado com
destilação do mangaba-titan (Qwen3.5-122B-A10B) nos servidores GPU da Mangaba AI (2× NVIDIA L40S):
- professor sem viés de posição: a distribuição do titan sobre os rótulos é a média de duas ordens de opções;
- destilação só onde o professor é forte: escolha e sim/não, e só quando ele concorda com o ouro (em escalas o titan é mais fraco que o aluno);
- ouro contestado: onde os rotuladores discordam, o alvo passa a ser o titan;
- perda: inclui o escore de Brier e a consistência entre duas ordens de opções.
Duas formas de uso no pacote:
zero-local: só estes pesos.zero: cascata. Nas perguntas de escolha e sim/não com confiança abaixo de 0,9, consulta o titan. Isso acontece em ~36% das perguntas. O limiar foi escolhido só na validação.
Resultados (mesmos pedidos do Jev, item a item)
| conjunto | Brier-0 cascata | Brier-0 local | Brier v5 | Jev (referência) |
|---|---|---|---|---|
| sintético, subconjunto limpo (n=590) | 92,0% | 89,3% | 88,6% | 91,5% |
| sintético, inteiro (n=779) | 81,4% | 79,3% | 77,5% | 79,5% |
| ASSIN2 (n=500) | 78,8% | 78,6% | 78,6% | 78,2% |
| B2W (n=500) | 74,8% | 75,8% | 75,8% | 66,8% |
| tweetSentBR (n=250) | 66,0% | 68,8% | 70,8% | 67,6% |
Leia com cuidado:
- Subconjunto limpo: são 590 perguntas onde os rotuladores concordam. Nas outras 189 do sintético, o ouro é contestado e todos os modelos acertam 42–48%.
- Cascata × Jev no limpo: a diferença é +0,5 e não tem significância.
- Onde a cascata piora: no B2W e no tweetSentBR, porque ali o titan é mais fraco que o aluno. Para avaliações e redes sociais, prefira o
zero-local. - Domínio do B2W: a parte de treino do B2W entra no treino desde o v5, então o B2W é do mesmo domínio.
- Ainda não medidos no Brier-0: resistência a injeção e textos longos. Os números conhecidos dessas medições são do v5.
- Calibração: no sintético, o erro de calibração (ECE) caiu de 0,055 (v5) para 0,028.
Como usar
pip install "brier @ git+https://github.com/Mangaba-ai/brier"
huggingface-cli login # conta com acesso aprovado a este repositório
from brier import Brier
b = Brier("zero-local") # só o aluno
b = Brier("zero") # cascata: precisa de BRIER_PROFESSOR_CHAVE (endpoint compatível com OpenAI)
r = b.decide("O pedido chegou quebrado e ninguém responde.",
{"setor": {"type": "choice", "instructions": "Qual time atende?",
"criteria": {"suporte": "Problema técnico", "logistica": "Entrega e avarias"}}})
print(r["answers"]["setor"], r.get("cascata"))
Variáveis da cascata:
| variável | padrão |
|---|---|
BRIER_PROFESSOR_URL |
https://llm-gpu.mangaba.ia.br/v1 |
BRIER_PROFESSOR_MODELO |
mangaba-qwen35-122b |
BRIER_PROFESSOR_CHAVE |
nenhum |
BRIER_LIMIAR_CASCATA |
0.9 |
Sem chave, ou com o professor fora do ar, responde só o aluno. Nesses casos a resposta traz o motivo em cascata.falhas.
- Downloads last month
- 4
Model tree for mangaba-ai/brier-zero
Base model
Qwen/Qwen3-4B-Instruct-2507