YAML Metadata Warning:empty or missing yaml metadata in repo card
Check out the documentation for more information.
ДЗ 1: BPE и Transformer
Обучил Byte-level BPE и модель nano на русских анекдотах из IgorVolochay/russian_jokes. В train 135497 текстов, в test 15056.
Словарь на 1024 токена, контекст 128. В модели около 0.5 млн параметров, 3 слоя, GQA, ALiBi, RMSNorm и SwiGLU.
Обучение: 10000 шагов, batch size 16, AdamW, максимальный lr = 3e-4. Итоговый validation loss — 3.620.
Примеры генерации с top_k = 10:
При temperature = 1.0:
Заходит в баре:- Доктор, ты сейчас у меня нееешь!!- Ну, это, а в море, какая у вас такие?- Да нет!
При temperature = 0.7, фрагмент:
Штирлиц пришел домой. - А второй - семье? - Маша, а я - да. - А я сегодня в картошку, - сразу вопросовал!
Модель научилась выдавать что-то похожее на диалог, но со смыслом и грамматикой пока плохо. Связного анекдота не получилось.
Веса, конфигурация и токенизатор лежат в этом репозитории.
- Downloads last month
- 80