Vikhr: модель на базе Mistral для русского языка
Введение в Vikhr: представляем Vikhr, основанную на архитектуре Mistral и предварительно обученную на 400 миллионах токенов в течение трех эпох.
Она должна быть лучше чем оригинальный мистраль на русских задачах, а вот с кодом скорее всего будут проблемы.
Бенчи
| Датасет | Vikhr-7b-0.1 | Mistral-7B-v0.1 |
|---|---|---|
| mmlu_ru | 0.60 | 0.66 |
| xwinograd | 0.72 | 0.68 |
| xnli | 0.3812 | 0.3691 |
- Downloads last month
- 247
This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social
visibility and check back later, or deploy to Inference Endpoints (dedicated)
instead.