Veronikyos/llm-course-hw1

Описание задания

Реализованы и обучены Byte-level BPE-токенизатор со словарём 1024 токена и Transformer для генерации русских анекдотов. В репозитории сохранены токенизатор и модель small.

Качество

Validation loss (cross-entropy):

Модель	Loss
nano + ALiBi	3,497
mini + ALiBi	2,645
small + ALiBi	2,388
mini + RoPE	2,623

Лучшей оказалась опубликованная версия small

Примеры генерации

Промпт: «Заходит в бар».

Заходит в бар мужик на бар.
— Здравствуйте, бармен.
— Вы хотели бы купить мне шоколадную рубашку?
Мужик:
— Нет, я бы хотел бы, чтобы вы мне подарили.

Промпт: "Штирлиц пришел домой".

Штирлиц пришел домой в туалет, а там две бабы. Смотрят - на трамвае сидят дед с внуком, пьют и кричат:- Ну и чо, бабка съела?!