Update README.md
Browse files
README.md
CHANGED
@@ -2,6 +2,9 @@
|
|
2 |
license: other
|
3 |
license_name: yandexgpt-5-lite-8b-pretrain
|
4 |
license_link: LICENSE
|
|
|
|
|
|
|
5 |
---
|
6 |
# YandexGPT-5-Lite-Pretrain
|
7 |
|
@@ -20,7 +23,7 @@ Pretrain-версия большой языковой модели YandexGPT 5 L
|
|
20 |
## Бенчмарки
|
21 |
В своей категории модель достигает паритета с мировыми SOTA по ряду ключевых бенчмарков для pretrain-моделей, а по многим другим — превосходит их:
|
22 |
|
23 |
-
<img src="https://habrastorage.org/r/w1560/getpro/habr/upload_files/
|
24 |
|
25 |
\* по данным репорта разработчиков модели. <br>
|
26 |
BBH — 3-shot, HUMAN_EVAL и MPBB — 0-shot, все остальные бенчмарки — 5-shot. <br>
|
@@ -112,4 +115,4 @@ tune cp llama3_1/8B_lora training_config.yaml
|
|
112 |
tune run lora_finetune_single_device --config training_config.yaml
|
113 |
```
|
114 |
|
115 |
-
Подробности можно найти в официальной [документации](https://pytorch.org/torchtune/stable/overview.html) torchtune.
|
|
|
2 |
license: other
|
3 |
license_name: yandexgpt-5-lite-8b-pretrain
|
4 |
license_link: LICENSE
|
5 |
+
language:
|
6 |
+
- ru
|
7 |
+
- en
|
8 |
---
|
9 |
# YandexGPT-5-Lite-Pretrain
|
10 |
|
|
|
23 |
## Бенчмарки
|
24 |
В своей категории модель достигает паритета с мировыми SOTA по ряду ключевых бенчмарков для pretrain-моделей, а по многим другим — превосходит их:
|
25 |
|
26 |
+
<img src="https://habrastorage.org/r/w1560/getpro/habr/upload_files/fab/0de/405/fab0de40517e1fd4efc1302eaaf325d8.png" alt="Таблица бенчмарков" width="90%"/>
|
27 |
|
28 |
\* по данным репорта разработчиков модели. <br>
|
29 |
BBH — 3-shot, HUMAN_EVAL и MPBB — 0-shot, все остальные бенчмарки — 5-shot. <br>
|
|
|
115 |
tune run lora_finetune_single_device --config training_config.yaml
|
116 |
```
|
117 |
|
118 |
+
Подробности можно найти в официальной [документации](https://pytorch.org/torchtune/stable/overview.html) torchtune.
|