RefalMachine commited on
Commit
692ac58
1 Parent(s): 5c9147d

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +0 -35
README.md CHANGED
@@ -30,41 +30,6 @@ base_model:
30
 
31
  Модель была оценена на Ru-Arena-General, MERA, llmtf_open
32
 
33
- #### Результаты на Ru-Arena-General
34
-
35
- Замеры были произведены с использованием оффициального кода лидерборда (https://github.com/VikhrModels/ru_llm_arena), **но с repetition_penalty=1.1**.
36
-
37
- Приведена лишь часть лидерборда, подробнее смотрите в репозитории бенчмарка (https://huggingface.co/spaces/Vikhrmodels/arenahardlb).
38
-
39
- ---
40
- datasets:
41
- - IlyaGusev/saiga_scored
42
- - IlyaGusev/saiga_preferences
43
- - dichspace/darulm
44
- language:
45
- - ru
46
- pipeline_tag: text-generation
47
- ---
48
-
49
- ## Model description
50
-
51
- Инструктивная версия адаптированной на русский язык модели Qwen2.5-7B. В модели был заменен токенизатор, затем произведено дообучение (Continued pretraining) на русскоязычном корпусе, после чего была применена техника LEP (Learned Embedding Propagation, paper will be soon).
52
-
53
- Благодаря новому токенизатору (расширенный tiktoken cl100k с помощью униграм токенизатора на 48 т. токенов) скорость генерации* русскоязычных текстов возрасла до 60% по сравнению с исходной моделью Qwen-2.5-7B-Instruct.
54
-
55
- *Под скоростью генерации подразумевается количество русскоязычных символов/слов в секунду на одинаковых текстовых последовательностях.
56
-
57
- ## Токенизация
58
-
59
-
60
- ![image/png](https://cdn-uploads.huggingface.co/production/uploads/652cedbdf120598322ae358a/O4eQEhnowETEatDPcmArB.png)
61
-
62
-
63
- ![image/png](https://cdn-uploads.huggingface.co/production/uploads/652cedbdf120598322ae358a/oW0Q6LzD_Py3GdH0kfqu4.png)
64
-
65
- ## Метрики и оценка качества
66
-
67
- Модель была оценена на Ru-Arena-General, MERA, llmtf_open
68
 
69
  #### Результаты на Ru-Arena-General
70
 
 
30
 
31
  Модель была оценена на Ru-Arena-General, MERA, llmtf_open
32
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
33
 
34
  #### Результаты на Ru-Arena-General
35