Leire 500M
Modelo de linguagem conversacional em português brasileiro, treinado from-scratch. Em desenvolvimento.
Arquitetura
- 24 layers, d_model 1024
- GQA 16Q/4KV, head_dim 64
- SwiGLU, RoPE, RMSNorm pre-norm, QK-Norm
- Context 2048, vocab 32k
Treino
- ~17B tokens tokenizados (PT-BR + EN + matemática)
- Optimizer: Muon (hidden) + AdamW (norms/embeds)
- Schedule: WSD
- Mixed precision: fp16 em T4, bf16 em L4+
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support