Seto-Small (490M) — SFT v1
Seto — легкая двуязычная модель (русский + английский, с поддержкой украинского), оптимизированная для мобильных устройств и локального инференса.
Характеристики
- Параметры: 490,108,160 (~490M)
- Словарь (Vocab): 48,000 токенов (BPE)
- Архитектура: Llama-подобная (RoPE, RMSNorm, SwiGLU, Grouped Query Attention)
- Стадия: SFT v1 (3000 шагов на миксе UltraChat, WildChat, OASST1, Russian Dialogues, Hermes Tool Calling)
- Финальный SFT Loss: ~2.32
- Downloads last month
- 179