|
--- |
|
license: mit |
|
language: |
|
- ru |
|
tags: |
|
- natural-language-processing |
|
- poetry-generation |
|
- text-generation |
|
- torch |
|
- lstm |
|
--- |
|
|
|
This model was trained using [Andrej Karpathy's code](https://github.com/karpathy/char-rnn) on texts by the Russian poet Osip Mandelstam. Models of this type well represent individual poetic style. |
|
|
|
Model was trained with size 512 and 7 layers, dropout 0.5. |
|
|
|
There are 2 checkpoints of this model presented in the repository. One after 28 epochs with loss 1.0705, the other after 50 epochs with loss 1.1207. These metrics are in the file name. |
|
|
|
## Usage |
|
|
|
The procedure for installing the required software is described [by Karpathy](https://github.com/karpathy/char-rnn), torch is required, the code is written in lua. Be careful, versions of libraries written many years ago are used. |
|
|
|
```bash |
|
th sample.lua lm_lstm_epoch50.00_1.1207.t7 |
|
``` |
|
|
|
## Train data |
|
|
|
Train data is free and inclded in this repository as `input.txt` file. |
|
|
|
## What for? |
|
|
|
In an era of winning Transformers, ancient RNN models seem archaic. But I see that they still work better than modern architectures with such important categories from the humanities point of view as poetic style. |
|
|
|
## Publication |
|
|
|
The texts that produced this model were used in [an experiment](https://arxiv.org/abs/2306.02771) to define poetic style. |
|
|
|
|
|
## Samples |
|
|
|
### epoch 28.4, loss 1.0705, temperature 0.3 |
|
|
|
``` |
|
Слитко мне поднял в нем, |
|
И в легкий день подобились в облака |
|
И не запахнут в долгом оберений подводка. |
|
|
|
И поднимал в дома и поднимали, |
|
И в крепкой просторной каменный подражник |
|
В нас над небесах и в полной белой колесе |
|
И переставил колоколенной города. |
|
|
|
И в подвождей светлой городов подвитает |
|
И воздух воздуха не полупростить |
|
И как поднимал и воды пробежала, |
|
И весь на полночной домой. |
|
``` |
|
|
|
### epoch 28.4,_loss 1.0705,_temperature 0.6 |
|
|
|
``` |
|
Поднять в еденный воздух над город. |
|
|
|
И потремен от крепкой закони, |
|
Как в небе меня мое осенницы, |
|
И дон на мелькает подворонного кого, |
|
И задыхаешь мы удалой |
|
И светло передуха себя, |
|
И соломинка могла из моряю |
|
Не замечательно ложить, |
|
В себя над ожерады и коленей. |
|
``` |
|
|
|
### epoch 50.0,_loss 1.1207,_temperature 0.5 |
|
|
|
``` |
|
И в небе невой подорогах запорова, |
|
Прополнить без тебе не волна, |
|
Как же бесконечного морщинах, |
|
И слабой солнце полноводная стекла. |
|
|
|
Не ужасные пламенное слово |
|
Слово в советском судия звездами крепкой нам он в муревях облаков, |
|
Сказал твой бедного замереть -- |
|
И не видно морской неловко! |
|
``` |
|
|
|
### epoch 50.0,_loss 1.1207,_temperature 0.7 |
|
|
|
``` |
|
Как в избежал созданий вин. |
|
|
|
В столках небесах от зазнаванья намеженье. |
|
А в бах колесо в извратной сиянье, |
|
Но не слушают горький песок, |
|
Единый под куполом громом, |
|
И под бесполесной полубежают запым. |
|
На мире не мог быстро музыки, |
|
Любовью высокой двойней, |
|
Когда б моей сердце, ни слазах полноводная видать. |
|
Все царственный там -- ее не выпалы |
|
И пророческой крестьянские простороном, |
|
И клена мечта на кротких глаз. |
|
``` |
|
|
|
## BibTeX entry and citation info |
|
|
|
``` |
|
@misc{orekhov2023identifying, |
|
title={Identifying the style by a qualified reader on a short fragment of generated poetry}, |
|
author={Boris Orekhov}, |
|
year={2023}, |
|
eprint={2306.02771}, |
|
archivePrefix={arXiv}, |
|
primaryClass={cs.CL} |
|
} |
|
``` |
