Задание заключается в том, чтобы обучить Byte-level BPE токенизатор и небольшую LM.

Домашняя работа состоит из нескольких последовательных блоков: реализация и обучение токенизатора, реализация Transformer модели и обучение модели на датасете с русскими анекдотами.

Примеры генерации модели:

Заходит в бар, пиво. Девушка подходит и пацан: - Дайте мне, пожалуйста, дорогая! - Я вижу, что у меня на работе не пришла!

Заходит в бар и бармен с виноградом. Сидит, падает на балкон. Вдруг из саунка и говорит - Клава. Объединяемый, сынок... - Вася, ты не видел, что этот карман? - А я - сынок, - говорит муж. - А ты кому это сразу на улице, то этот винтик, который я вижу, а там второй разбил - ветрами игрушит.

Заходит в бар по маркету и говорит:- Я в ресторане бара!- А зачем же вы мне не держите?- Конечно...

Заходит в бар с винной, набьёт в бар в беременной семье. Вдруг из них бара бегулярно, волк. Пара ему достает из-па, а навстречу ему говорит: - А ты в каких у тебя такой моментах уехали? - А что это? - Это же синий момент...

Заходит в бар с барабаном в автобус и спрашивает: - Ты как, милая, сейчас придёл? - Понял... - Ну, сынок, сынок, ты не придешь! - Папа, дочку берёшка, а то я - не бойся!!! А сегодня, да! - Да нет, да, да, а я тебя на тебя! - А я с кем? - Да нет. - Ну ты, вчера пьянке пришел.

Заходит в бар бар с пьяной и говорит мужу: - Ты что, вчера такая барафиканская барана, как играюсь в кинотеатре?

Заходит в бар с ветеринар. Вдруг подходит и говорит: - Папа, а какая вчера у нас мама такая грудь в туалет испугалась?

Заходит в бар, а там - бар, - барана, мальчик... - Ты что, мама? - Да нет, сынок. - А что ты думаешь? Я, тетка сынок, в кухню. - Ну, мамочка, мальчики не могу! - А что ты, да, сынок, у меня все-и маленькие!

Заходит в бар, наворачивает его с пивом, и спрашивает: - Что случилось? - Да не знал... - Вчера успел, а как вы пили...

Заходит в бар и говорит:- А что вы, мой муж?- Ах, я вижу, когда в море, вдруг я буду жить!

Downloads last month
38
Safetensors
Model size
60.6M params
Tensor type
F32
·
Inference Providers NEW
This model is not currently available via any of the supported Inference Providers.

Dataset used to train artarif/llm-course-hw1