RefalMachine commited on
Commit
ec34b94
1 Parent(s): ee1059f

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +14 -4
README.md CHANGED
@@ -10,19 +10,21 @@ base_model:
10
  - RefalMachine/ruadapt_qwen2.5_3B_ext_u48_full_lr5e4_peft_mlp_32_32_bs256
11
  ---
12
 
13
- ### Model description
14
 
15
  Instruction-tuned version of RefalMachine/ruadapt_qwen2.5_3B_ext_u48_full_lr5e4_peft_mlp_32_32_bs256 with extended tokenizer after LEP (Learned Embedding Propagation, paper will be soon) procedure.
16
 
17
  Thanks to the extended tokenizer, the model works more efficiently with the Russian language (up to 60% speed up compared to Qwen-2.5-3B-Instruct in terms of characters)
18
 
19
- ### Метрики и оценка качества
 
 
20
 
21
  #### Результаты на Ru-Arena-General
22
 
23
  В качестве референсых ответов, с которыми сравниваются модели выступают ответы от gpt-3.5-turbo-0125, поэтому она имеет винрейт 50%.
24
 
25
- Здесь приведена лишь часть лидерборда, подробнее смотрите в репозитории бенчмарка.
26
 
27
  | Model Name | Winrate | 95% CI | Average # Tokens |
28
  |--------------------------------------------------|--------|--------------------|------------------|
@@ -41,7 +43,15 @@ Thanks to the extended tokenizer, the model works more efficiently with the Russ
41
  | c4ai-command-r-v01 | 49.0 | (-1.7, 2.2) | 529 |
42
  | meta-llama-3.1-8b-instruct | 43.1 | (-2.8, 2.3) | 628 |
43
 
44
- ### How to cite:
 
 
 
 
 
 
 
 
45
 
46
  Tikhomirov M., Chernyshev D. Facilitating large language model Russian adaptation with Learned Embedding Propagation // 2024 (will be soon)
47
 
 
10
  - RefalMachine/ruadapt_qwen2.5_3B_ext_u48_full_lr5e4_peft_mlp_32_32_bs256
11
  ---
12
 
13
+ ## Model description
14
 
15
  Instruction-tuned version of RefalMachine/ruadapt_qwen2.5_3B_ext_u48_full_lr5e4_peft_mlp_32_32_bs256 with extended tokenizer after LEP (Learned Embedding Propagation, paper will be soon) procedure.
16
 
17
  Thanks to the extended tokenizer, the model works more efficiently with the Russian language (up to 60% speed up compared to Qwen-2.5-3B-Instruct in terms of characters)
18
 
19
+ ## Метрики и оценка качества
20
+
21
+ Модель была оценена на Ru-Arena-General, MERA, llmtf_open
22
 
23
  #### Результаты на Ru-Arena-General
24
 
25
  В качестве референсых ответов, с которыми сравниваются модели выступают ответы от gpt-3.5-turbo-0125, поэтому она имеет винрейт 50%.
26
 
27
+ Приведена лишь часть лидерборда, подробнее смотрите в репозитории бенчмарка (https://huggingface.co/spaces/Vikhrmodels/arenahardlb).
28
 
29
  | Model Name | Winrate | 95% CI | Average # Tokens |
30
  |--------------------------------------------------|--------|--------------------|------------------|
 
43
  | c4ai-command-r-v01 | 49.0 | (-1.7, 2.2) | 529 |
44
  | meta-llama-3.1-8b-instruct | 43.1 | (-2.8, 2.3) | 628 |
45
 
46
+ #### Результаты на MERA
47
+
48
+ TODO
49
+
50
+ #### Результаты на llmtf_open
51
+
52
+ TODO
53
+
54
+ ## How to cite:
55
 
56
  Tikhomirov M., Chernyshev D. Facilitating large language model Russian adaptation with Learned Embedding Propagation // 2024 (will be soon)
57