--- language: - ru - en license: apache-2.0 library_name: transformers datasets: - IlyaGusev/habr --- # Vikhr: модель на базе Mistral для русского языка Введение в Vikhr: представляем Vikhr, основанную на архитектуре Mistral и предварительно обученную на 400 миллионах токенов в течение трех эпох. Она должна быть лучше чем оригинальный мистраль на русских задачах, а вот с кодом скорее всего будут проблемы. ## Бенчи | Датасет | Vikhr-7b-0.1 | Mistral-7B-v0.1 | |--------------|--------------|-----------------| | mmlu_ru | 0.60 | 0.66 | | xwinograd | 0.72 | 0.68 | | xnli | 0.3812 | 0.3691 |