Модель к ДЗ1 для курса LLM от VK. Реализация Byte-level BPE токенизатора и небольшой LM для генерации анекдотов. Удалось достичь значения loss 3.229 на mini модели.

Пример генерации:

Заходит в бар -> Заходит в барень и говорит:- Мама, дочка, а я сегодня, я папа, а я не хочу вчера с моя жена, я в кажется, яйца!- Да ты что-ка! Я вчера я тебе вчера на мойке, да!- Да, ты что-а?!- Ну такая, я тебе! Я тебе, а у тебя не видишь!

This model has been pushed to the Hub using the PytorchModelHubMixin integration:

Library: [More Information Needed]
Docs: [More Information Needed]

Downloads last month: 13

Safetensors

Model size

5.32M params

Tensor type

F32

Inference Providers NEW

This model isn't deployed by any Inference Provider. 🙋 Ask for provider support