|
--- |
|
language: |
|
- ru |
|
datasets: |
|
- IlyaGusev/ru_turbo_saiga |
|
- IlyaGusev/ru_sharegpt_cleaned |
|
- IlyaGusev/oasst1_ru_main_branch |
|
- IlyaGusev/gpt_roleplay_realm |
|
- lksy/ru_instruct_gpt4 |
|
--- |
|
|
|
|
|
# Saiga/Gemma 9B, Russian Gemma-based chatbot |
|
|
|
Based on [Gemma 7B](https://huggingface.co/google/gemma-7b). |
|
|
|
Training Colab: [link](https://colab.research.google.com/drive/1O7F7Q3IQYh-v7EfsdRwMDMfUnOYZ3DEh). |
|
|
|
ChatML prompt format: |
|
``` |
|
<|im_start|>system |
|
Ты — Сайга, русскоязычный автоматический ассистент. Ты разговариваешь с людьми и помогаешь им.<|im_end|> |
|
<|im_start|>user |
|
Привет!<|im_end|> |
|
<|im_start|>assistant |
|
Отлично, а ты?<|im_end|> |
|
<|im_start|>user |
|
Шикарно. Как пройти в библиотеку?<|im_end|> |
|
<|im_start|>assistant |
|
``` |
|
|
|
Examples: |
|
``` |
|
User: Почему трава зеленая? |
|
Saiga: Зеленый цвет травы обусловлен наличием в её клетках пигмента хлорофилла, который играет важную роль в процессе фотосинтеза – преобразования солнечного света в энергию, используемую для роста и развития растений. |
|
Хлорофилл поглощает свет в определенных диапазонах длин волн, в том числе в зеленой области спектра, и отражает свет в других диапазонах, что и обуславливает зелёный цвет. |
|
``` |
|
|
|
``` |
|
User: Сочини длинный рассказ, обязательно упоминая следующие объекты. Дано: Таня, мяч |
|
Saiga: Однажды, в далекой стране, жила маленькая девочка по имени Таня. Она была очень активной и любила играть в мяч. Вместе со своими друзьями они проводили дни, играя в футбол, баскетбол и волейбол. |
|
Таня была очень талантливой и ловкой, и она часто выигрывала в играх с другими детьми. Но однажды, во время игры в баскетбол, она получила сильную травму. Ей пришлось провести несколько недель в больнице, и она была очень грустной и унылой. |
|
Её друзья не могли понять, как помочь Тане справиться с этой ситуацией. Они пытались поддерживать её, но Таня была слишком подавлена и не хотела играть в мяч. |
|
Однажды, Таня увидела, как её друзья играют в мяч. Она не могла не смотреть, как они ловко передают мяч друг другу и забивают голы. Таня почувствовала, как её сердце разрывается от желания играть вместе с ними. |
|
Она решила, что ей нужно вернуться в игру, чтобы снова почувствовать радость игры. Она начала медленно восстанавливаться и постепенно возвращалась к своему любимому занятию - игре в мяч. |
|
Таня стала играть в мяч снова, но теперь она была более осторожна и внимательна к своему здоровью. Её друзья были очень рады видеть, как Таня возвращается к своей привычной жизни. |
|
С тех пор, Таня стала настоящей звездой на поле. Она стала лучшей игроком в своей команде и помогла им выиграть множество игр. Её друзья были горды, что Таня вернулась к своему любимому занятию и снова стала такой же активной и ловкой, как раньше. |
|
Таня и её друзья продолжали играть в мяч и проводили чудесные дни вместе. Они были счастливы, что Таня вернулась к своему любимому занятию и снова стала частью команды. |
|
Таня и её друзья продолжают играть в мяч и вместе они создают прекрасные воспоминания. |
|
``` |
|
|
|
v1: |
|
- dataset code revision d0d123dd221e10bb2a3383bcb1c6e4efe1b4a28a |
|
- wandb [link](https://wandb.ai/ilyagusev/gemma_test/runs/k7u3uw5i) |
|
- 5 datasets: ru_turbo_saiga, ru_sharegpt_cleaned, oasst1_ru_main_branch, gpt_roleplay_realm, ru_instruct_gpt4 |
|
- Datasets merging script: [create_short_chat_set.py](https://github.com/IlyaGusev/rulm/blob/d0d123dd221e10bb2a3383bcb1c6e4efe1b4a28a/self_instruct/src/data_processing/create_short_chat_set.py) |
