YAML Metadata Warning:empty or missing yaml metadata in repo card
Check out the documentation for more information.
Домашняя работа №1: BPE и Transformer
Описание
В работе реализованы Byte-level BPE-токенизатор и небольшая языковая модель для генерации русских анекдотов. В модели используются ALiBi, GQA и SwiGLU.
Обучение
Использован датасет IgorVolochay/russian_jokes. На обучение выделено 90% текстов, на валидацию — 10%.
- Модель: mini, около 10,52 млн параметров.
- Размер словаря: 1024 токена.
- Длина контекста: 128 токенов.
- Обучение: 30 000 шагов.
- Batch size: 16.
- Learning rate: 3e-4.
Качество
Итоговый validation loss — 2,618.
Модель генерирует отдельные фразы и диалоги, но пока допускает грамматические ошибки и теряет смысл. Связная шутка получается не всегда.
Примеры генерации
Начало: «Заходит в бар». Ниже приведены фрагменты реальных ответов без исправления ошибок.
Temperature = 1.0, top_k = 10:
Заходит в бар в бар и спрашивает:- Ты какого разряда?- А ты не знаешь, какого харя?
Temperature = 0.8, top_k = 10:
Заходит в бар, видит - пьяная пьяная баба. Мужик внимательно смотрит, весь внизу и говорит: - Абрам, ты что такая, а ты не боишься, что я не хочу тебя! - А ты вдруг у меня вдруг видишь? - Да я и не пью и вдруг, я тебе нравлюсь.
- Downloads last month
- 48