AlexWortega commited on
Commit
a33f5e3
1 Parent(s): ff38d30

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +17 -6
README.md CHANGED
@@ -8,11 +8,22 @@ language:
8
  library_name: transformers
9
  ---
10
 
11
- # Mistral Based russian language model, pretrained on 400m tokens on 3 epochs over original mistral
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
12
 
13
- | dataset |AlexWortega/Vikhr-7b-0.1|mistralai/Mistral-7B-v0.1|
14
- | --------- | -------- |------ |
15
- | mmlu_ru | 0.51 | 0.49 |
16
- | xwinograd | 0.64 | 0.681 |
17
- | xnli | 0.3812 | 0.3691 |
18
 
 
8
  library_name: transformers
9
  ---
10
 
11
+ # Vikhr: модель на базе Mistral для русского языка
12
+
13
+ Введение в Vikhr: представляем Vikhr, основанную на архитектуре Mistral и предварительно обученную на 400 миллионах токенов в течение трех эпох.
14
+
15
+ Она должна быть лучше чем оригинальный мистраль на русских задачах, а вот с кодом скорее всего будут проблемы.
16
+
17
+ ## Бенчи
18
+
19
+
20
+
21
+ | Датасет | Vikhr-7b-0.1 | Mistral-7B-v0.1 |
22
+ |--------------|--------------|-----------------|
23
+ | mmlu_ru | 0.60 | 0.66 |
24
+ | xwinograd | 0.72 | 0.68 |
25
+ | xnli | 0.3812 | 0.3691 |
26
+
27
+
28
 
 
 
 
 
 
29