license: apache-2.0
datasets:
- oscar-corpus/OSCAR-2301
- wikipedia
metrics:
- perplexity
Модель openllama_3b_v2, secondstage pre-trained на датасете OSCAR (4k sequence length) и на вики датасете (8k sequence length). В сумме получилось 10-12B токенов. Достигает 3.2 значения перплексии на вики+оскар датасетах (на той части, которая не была показана модели).
Был осуществлен тест на mmlu-ru. Результаты таковы (справа - моя модель, слева - изначальная версия):
accuracy_total: 26.04 / 27.28 STEM: 25.51699654022026 / 26.910630806469058 humanities: 28.404847276301254 / 24.290275834763932 "other (business, health, misc.)": 25.39168024941998 / 29.81126559385235 social sciences: 24.83523489382067 / 28.101196261261098
Файлы с результатами sub_categories.csv (sub_categories_my.csv) тут.
Результаты показывают, что модель действительно чему-то научилась и лучше понимает русский язык. Будет осуществлено дальнейшее тестирование, а также обучение чатбота на датасетах Ильи Гусева (saiga).
Послеобучение было осуществлено на Google TPU v4-32 (TRC) с использованием EasyLM, на JAX/Flax.