File size: 1,538 Bytes
ae1f144 1e98ad7 ae1f144 f381974 7fbe181 8632769 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 |
---
license: apache-2.0
datasets:
- oscar-corpus/OSCAR-2301
- wikipedia
metrics:
- perplexity
---
Модель openllama_3b_v2, secondstage pre-trained на датасете OSCAR (4k sequence length) и на вики датасете (8k sequence length). В сумме получилось 10-12B токенов. Достигает 3.2 значения перплексии на вики+оскар датасетах (на той части, которая не была показана модели).
Был осуществлен тест на mmlu-ru. Результаты таковы (справа - моя модель, слева - изначальная версия):
accuracy_total: 26.04 / 27.28
STEM: 25.51699654022026 / 26.910630806469058
humanities: 28.404847276301254 / 24.290275834763932
"other (business, health, misc.)": 25.39168024941998 / 29.81126559385235
social sciences: 24.83523489382067 / 28.101196261261098
Файлы с результатами sub_categories.csv (sub_categories_my.csv) тут.
Результаты показывают, что модель действительно чему-то научилась и лучше понимает русский язык. Будет осуществлено дальнейшее тестирование, а также обучение чатбота на датасетах Ильи Гусева (saiga).
Послеобучение было осуществлено на Google TPU v4-32 (TRC) с использованием EasyLM, на JAX/Flax. |