File size: 910 Bytes
32741ef 9f50e62 32741ef 9f50e62 32741ef a33f5e3 476aa6f 43a459f |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 |
---
language:
- ru
- en
license: apache-2.0
library_name: transformers
datasets:
- IlyaGusev/habr
---
# Vikhr: модель на базе Mistral для русского языка
Введение в Vikhr: представляем Vikhr, основанную на архитектуре Mistral и предварительно обученную на 400 миллионах токенов в течение трех эпох.
Она должна быть лучше чем оригинальный мистраль на русских задачах, а вот с кодом скорее всего будут проблемы.
## Бенчи
| Датасет | Vikhr-7b-0.1 | Mistral-7B-v0.1 |
|--------------|--------------|-----------------|
| mmlu_ru | 0.60 | 0.66 |
| xwinograd | 0.72 | 0.68 |
| xnli | 0.3812 | 0.3691 |
|