|
--- |
|
license: mit |
|
language: |
|
- ru |
|
tags: |
|
- natural-language-processing, |
|
- poetry-generation |
|
- torch |
|
- lstm |
|
--- |
|
|
|
This model was trained using [Andrej Karpathy's code](https://github.com/karpathy/char-rnn) on texts by the Russian poet Nikolay Nekrasov. Models of this type well represent individual poetic style. |
|
|
|
Model was trained with size 512 and 3 layers, dropout 0.5. |
|
|
|
There are 2 checkpoints of this model presented in the repository. One after 44 epochs with loss 0.9298, the other after 50 epochs with loss 0.9312. These metrics are in the file name. |
|
|
|
## Usage |
|
|
|
The procedure for installing the required software is described [by Karpathy](https://github.com/karpathy/char-rnn), torch is required, the code is written in lua. Be careful, versions of libraries written many years ago are used. |
|
|
|
```bash |
|
th sample.lua lm_lstm_epoch50.00_0.9312 |
|
``` |
|
|
|
## Train data |
|
|
|
Train data is free and inclded in this repository as `input.txt` file. |
|
|
|
## What for? |
|
|
|
In an era of winning Transformers, ancient RNN models seem archaic. But I see that they still work better than modern architectures with such important categories from the humanities point of view as poetic style. |
|
|
|
## Publication |
|
|
|
The texts that produced this model were used in [an experiment](https://arxiv.org/abs/2306.02771) to define poetic style. |
|
|
|
|
|
## Samples |
|
|
|
### epoch 44, loss 0.9298, temperature 0.3 |
|
|
|
``` |
|
Солнце и молодой невеждой, |
|
Под небо молодой не должна - |
|
Не верит он под головой, |
|
И в ней под небо подобно и полна, |
|
Под ней подводы домой, |
|
Подавленной весь дом, |
|
Под обольщается в ней показалась, |
|
И в дому подзабыл он не свой не порок |
|
И в огорченный мой день, |
|
Но подавно воспевал. |
|
Слышно заперлась на белой доме |
|
И подступит они в доме поднимали, |
|
Добрая лазурные порывой |
|
``` |
|
|
|
### epoch 44,_loss 0.9298,_temperature 0.6 |
|
|
|
``` |
|
Каков был домой на короне, |
|
Вот и демон добрый свободы: |
|
Под небо досталося мальчики, |
|
На слове не спали, |
|
А ты ей старуха не таи... |
|
Да под ним получше любила, |
|
Что покойника к нему не трудно волнуется, |
|
А проснусь за коробейников, |
|
Не ведали в том же вечера, |
|
И насмешит и под полной братом |
|
К такой-то сосну справлялся в семьи, |
|
И дума уж безгласный красной, |
|
Как в покой продавал либерал. |
|
``` |
|
|
|
### epoch 50.0,_loss 0.9312,_temperature 0.5 |
|
|
|
``` |
|
Видит живет и поймет, |
|
Кто было солнце молодых, |
|
Но меж тем не видал до крови, |
|
На обороте дело покойно. |
|
Кто ж ты может быть, наши места! |
|
Не против больной лишь взор их волна, |
|
Не спал в наш могила мне занималась, |
|
Но не погляди над каждой дороги |
|
Проводил до седоков подкосили, |
|
Не найдет в село весь могила, |
|
Которым пропустился с тех пор, |
|
Когда в песенке моей поэта |
|
Словно как подставляющих конь, |
|
Вольготно нет весело, |
|
Весь нас бранит дед на своем |
|
И как достал веселье предо мной |
|
``` |
|
|
|
### epoch 50.0,_loss 0.9312,_temperature 0.7 |
|
|
|
``` |
|
Вздрогнула ты смешно души |
|
Его сон кланяясь: |
|
Не продавал и мужик! |
|
Его не тронули колосья |
|
И каратель держала странно, |
|
Без кашка и подлецитет, |
|
В Никиторах на гроб... Не пожалели светлый, |
|
От барин мой труд и некрасного |
|
Восторг ревностью тебя предела |
|
В домах тел и светских жизни ногам. |
|
В картину подивился. "Воспоминание |
|
Ямщик Омарились!"- |
|
По паратикам, бледность отвечай |
|
И дорога тут избрал: |
|
Как книги не часто одна всё наживал. |
|
У ком и дышат песня облеченной. |
|
``` |
|
|
|
## BibTeX entry and citation info |
|
|
|
``` |
|
@misc{orekhov2023identifying, |
|
title={Identifying the style by a qualified reader on a short fragment of generated poetry}, |
|
author={Boris Orekhov}, |
|
year={2023}, |
|
eprint={2306.02771}, |
|
archivePrefix={arXiv}, |
|
primaryClass={cs.CL} |
|
} |
|
``` |