RefalMachine
commited on
Commit
•
692ac58
1
Parent(s):
5c9147d
Update README.md
Browse files
README.md
CHANGED
@@ -30,41 +30,6 @@ base_model:
|
|
30 |
|
31 |
Модель была оценена на Ru-Arena-General, MERA, llmtf_open
|
32 |
|
33 |
-
#### Результаты на Ru-Arena-General
|
34 |
-
|
35 |
-
Замеры были произведены с использованием оффициального кода лидерборда (https://github.com/VikhrModels/ru_llm_arena), **но с repetition_penalty=1.1**.
|
36 |
-
|
37 |
-
Приведена лишь часть лидерборда, подробнее смотрите в репозитории бенчмарка (https://huggingface.co/spaces/Vikhrmodels/arenahardlb).
|
38 |
-
|
39 |
-
---
|
40 |
-
datasets:
|
41 |
-
- IlyaGusev/saiga_scored
|
42 |
-
- IlyaGusev/saiga_preferences
|
43 |
-
- dichspace/darulm
|
44 |
-
language:
|
45 |
-
- ru
|
46 |
-
pipeline_tag: text-generation
|
47 |
-
---
|
48 |
-
|
49 |
-
## Model description
|
50 |
-
|
51 |
-
Инструктивная версия адаптированной на русский язык модели Qwen2.5-7B. В модели был заменен токенизатор, затем произведено дообучение (Continued pretraining) на русскоязычном корпусе, после чего была применена техника LEP (Learned Embedding Propagation, paper will be soon).
|
52 |
-
|
53 |
-
Благодаря новому токенизатору (расширенный tiktoken cl100k с помощью униграм токенизатора на 48 т. токенов) скорость генерации* русскоязычных текстов возрасла до 60% по сравнению с исходной моделью Qwen-2.5-7B-Instruct.
|
54 |
-
|
55 |
-
*Под скоростью генерации подразумевается количество русскоязычных символов/слов в секунду на одинаковых текстовых последовательностях.
|
56 |
-
|
57 |
-
## Токенизация
|
58 |
-
|
59 |
-
|
60 |
-
![image/png](https://cdn-uploads.huggingface.co/production/uploads/652cedbdf120598322ae358a/O4eQEhnowETEatDPcmArB.png)
|
61 |
-
|
62 |
-
|
63 |
-
![image/png](https://cdn-uploads.huggingface.co/production/uploads/652cedbdf120598322ae358a/oW0Q6LzD_Py3GdH0kfqu4.png)
|
64 |
-
|
65 |
-
## Метрики и оценка качества
|
66 |
-
|
67 |
-
Модель была оценена на Ru-Arena-General, MERA, llmtf_open
|
68 |
|
69 |
#### Результаты на Ru-Arena-General
|
70 |
|
|
|
30 |
|
31 |
Модель была оценена на Ru-Arena-General, MERA, llmtf_open
|
32 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
33 |
|
34 |
#### Результаты на Ru-Arena-General
|
35 |
|