Vikhr-7b-0.1 / README.md
AlexWortega's picture
Update README.md
a33f5e3 verified
|
raw
history blame
No virus
910 Bytes
metadata
license: apache-2.0
datasets:
  - IlyaGusev/habr
language:
  - ru
  - en
library_name: transformers

Vikhr: модель на базе Mistral для русского языка

Введение в Vikhr: представляем Vikhr, основанную на архитектуре Mistral и предварительно обученную на 400 миллионах токенов в течение трех эпох.

Она должна быть лучше чем оригинальный мистраль на русских задачах, а вот с кодом скорее всего будут проблемы.

Бенчи

Датасет Vikhr-7b-0.1 Mistral-7B-v0.1
mmlu_ru 0.60 0.66
xwinograd 0.72 0.68
xnli 0.3812 0.3691