Russian Jokes Transformer
Небольшая модель для генерации русских анекдотов. Модель и Byte-Level BPE токенизатор написаны на PyTorch.
Архитектура
- 6 слоев
- hidden size 384
- 6 attention heads и 3 KV heads
- словарь из 1024 токенов
- максимальная длина текста 100 токенов
Обучение
Модель обучалась 50 000 шагов с batch size 16 и learning rate 3e-4.
Итоговые значения:
- train loss: 2.433
- validation loss: 2.613
Пример генерации
Промпт: Мужчина приходит к врачу
Результат:
Мужчина приходит к врачу и говорит: — Доктор, у меня такие большие волосы! — А что же вы делаете? — Слава Богу!
Ограничения
Модель небольшая и обучалась на коротких текстах. Поэтому иногда она повторяет слова, теряет смысл или придумывает не очень удачные концовки.
- Downloads last month
- 302