artinos/Nadia-1-Small

Nadia-1 Small 140M

Modelo de pesquisa da Artinos para decisões estruturadas.

Autor: Bernardo B. Perobeli. Instituição: Artinos. Encoder de 140.788.993 parâmetros, contexto total de 2.048 tokens, decisões choice/noul/score. Código original sob Apache-2.0, com atribuição da fundação MIT. Os dados mantêm seus termos por fonte.

Disponibilidade

Esta página apresenta o modelo e seus resultados. Os pesos e o código de inferência ainda não estão disponíveis publicamente. A Artinos não oferece um serviço de inferência.

Treinamento

Fine-tuning de mmBERT-small com supervisão pública e sintética, continuação de cobertura, dados operacionais e replay probabilístico. A última etapa combina CE em NLI, perda focal em When2Call e KL para o ancestral congelado. A curadoria combinou exemplos públicos, dados sintéticos e revisão humana diagnóstica.

Avaliação

Typed 40,40%; xSID macro 58,63%; MASSIVE adaptado 31,49%; BFCL seleção por nomes 71,09%; SIB documental 76,15%. Fastino DEV macro exact match 42,45%; no 2048, zero vitórias em 32 novas sementes. Sete tarefas adicionais do Decision Index foram avaliadas: MMLU-Pro 12,33%, BBH 32,78% e When2Call MCQ 25,33% integral. A generalização ao formato novo foi limitada. A suíte pública completa está consolidada abaixo; nenhum ranking oficial é reivindicado.

Limitações

Generalização desigual entre tarefas, sensibilidade ao menu, probabilidades sem garantia de calibração e limite de contexto estrito. Não há demonstração de planejamento confiável. Coortes históricas foram usadas durante o desenvolvimento; não se estabeleceu ausência global de contaminação. O Nadia-1 Base de 308M não está finalizado: recebeu menos ciclos de treino e refinamento do que o Small. Seus números são uma comparação histórica, com receita e dedicação diferentes, não uma versão final equivalente.

Custos e participação humana

A pesquisa durou cerca de 269 horas, segundo estimativa do autor. O orçamento inicial de US$ 50 foi ampliado durante as mudanças de objetivo e a expansão dos testes; o gasto total informado é de aproximadamente US$ 67,13.

Grupo	Custo aproximado, incluindo treinamento e testes
GLiNER 2.5 e Ettin-1B — exploração inicial abandonada	US$ 27,89
Nadia-1 Small — 63% dos US$ 39,24 restantes	US$ 24,72
Nadia-1 Base — 37% dos US$ 39,24 restantes	US$ 14,52
Total da pesquisa	US$ 67,13

O rateio é uma estimativa retrospectiva do autor, incluindo treinamento e testes.

Bernardo B. Perobeli dirigiu a pesquisa, orientou as mudanças de rumo e revisou exemplos e resultados. O autor estima 10% de participação humana e 90% de IA. GPT-6.1 Sol atuou como orquestrador de subagentes GPT-6 Luna Max, usando High nos primeiros 35% do processo e Extra High nos 65% seguintes. A adaptação do freephdlabor, de Li et al., apoiou aproximadamente 60% do processo. Essas proporções são estimativas retrospectivas do autor.

Exposição textual

A triagem local encontrou cinco consultas ToolRet e um enunciado MMLU-Pro coincidentes com texto de treino, além de documentação de ferramentas compartilhada. A avaliação principal foi preservada. Essas coincidências impedem afirmar ausência global de contaminação.

Painel público adicional

A suíte pública 0.3 foi concluída: 140.178 requisições, com 130.316 respostas e 9.862 recusas de contexto. A pontuação pública, corrigida pelo acaso e pela cobertura, foi 3,61/100; o agregado bruto foi 25,67/100. O pontuador oficial confirmou complete: true. Essa pontuação não inclui os testes privados nem constitui posição oficial no leaderboard.

Os artefatos completos da avaliação foram publicados e a submissão foi enviada pelo PR #205. O PR aguarda revisão; a entrada no leaderboard depende da validação dos mantenedores, das avaliações privadas e da medição oficial de latência. O acesso dos mantenedores aos pesos e ao código ainda precisa ser combinado.

A análise de sensibilidade preserva as métricas principais e retira apenas grupos com consultas coincidentes em uma análise posterior.

Dados disponibilizados

Nadia-1-data documenta o conjunto de dados principal de 84.050 exemplos, sua procedência e o vínculo com as seleções efetivamente visitadas. A coleção não contém todo o refinamento posterior. Os termos de cada fonte prevalecem sobre a licença do código do modelo.

Complemento do Decision Index

Após a estimativa retrospectiva de US$ 67,13 informada pelo autor, a conclusão da suíte pública exigiu duas chamadas GPU estimadas em US$ 0,61. Essa despesa posterior é contabilizada separadamente; a divisão histórica de 63%/37% foi preservada.