nevmenandr/char-based-lstm-russian-rymbu

This model was trained using Andrej Karpathy's code on texts by the Russian poet Galina Rymbu. Models of this type well represent individual poetic style.

Model was trained with size 512 and 7 layers, dropout 0.5.

There are 2 checkpoints of this model presented in the repository. One after 28 epochs with loss 1.0705, the other after 50 epochs with loss 1.1207. These metrics are in the file name.

Usage

The procedure for installing the required software is described by Karpathy, torch is required, the code is written in lua. Be careful, versions of libraries written many years ago are used.

th sample.lua lm_lstm_epoch50.00_1.2947.t7 -length 10000 -temperature 0.5 -primetext 'some text' 

Train data

Train data is non free due to copyright restrictions.

What for?

In an era of winning Transformers, ancient RNN models seem archaic. But I see that they still work better than modern architectures with such important categories from the humanities point of view as poetic style.

Public demonstration

The performance of the model was demonstrated publicly using a screencast (included in this repository).

Samples

верлибр 1

коровы разрушениями, моровы, всётся в этой позреках водой пессокажалься с подгоровам

прежде воду отсудать
отбрасывая друг к другой завоѴских, с котором увачения, вдерживая становится призрака на шамой по-томо
что ты маламы, так — 
внутри не одно знающие мигантик
в темноте компате. йспоминать меня своего событном противодить прастальность сделали самого удавцироком своими походали тела, пока относили от тот выход места. не ест все знает что-то,
«не будет возмусные кухонный провращивают
последний разворнутых к наместа… 
Нертелось обыслят � омой разрешенный постели, и сауная другой прокажувает хотим
и мое форм наше сознания, состатния не в них, следно и в районных воздовыми ширами, насаживая,
егравляет домой покушают свое тело тела тела, еще вызволиты могильсу, что будущееся в утрубрущиеся прикосновения; ядык, качаются другому пространство. ты говорит: по что-то еще, что не увидила двигаться за прастаясь, и работы для утолка, выпустить поесть то, что располитечный вонь, наполненные площадь в сосуществует за пистым,
и я синят места. лицы позже в ужика под смеховалась на любви;
мой отец  
н

верлибр 2

коровы над дошка, искличенные вываливая камень
-
свод море желания и новье новым движение мельность, на которой раздумающий только войну… мир материи

под деревним внизу, но страны и они девушка  – такие связки мышление


*
на получик мушире места. лет пустыну еще поднимает волосы, и они смоёртва, но и тебя
себя самого сообщения, в стеня
на животных и обнаждения все пореданской ночью которым над нами искал тебя, чтобы пользов и деньги, потому что прибивает любимым мойне, чувствуешь, как межчивами в пространство, что будут недолженный войны,
моловый фигуры мусорным человека, денай и не шами в моей моного
пространство политики, как ты смешанства, в томнате здесь 
встречиться, что прелстает наводельствует получёния, словно заводских сосебятили в коридоре комнаты, приготовленными распаженным светом машины надолжать.

пьённые конеции вспомнила собрать полу и нет
плотишей, несообщение.

верлибр 3

потому что вы мы люди, которые
не смотрит не дымать однима неподалеку от света собративый калебьствают себя нет ничего не может быть,
как смозать себя самого противодействия, облизая нас занем, изреелетний зв

коровы поднимают наверх, только снова соберамите, как бы воздуха, в котором наполненные вода, вида поднимают заборами без просстантивая и собрания, пока прикасаемся


*
в держимая собина в капли воды, делают молодых конадикитованой, и то, что никогда не могу взять тебя за завесшимой отстроинести собака и говорят, что они дрежат в темноте волосы
и она спивает моромы, в котором наша политика, потому что не основания, оставляя закрытые комнаты, приготовленные полицейские, маленький материал на дорогу обрасно рука признаков от материи на заводские передавший свой горячий компальными ракон из костра, обнимает который платям и свои слесовых деревьев и планеты разделают некого не просилу сообщения в кориторе без пространства, пока дышать лишенные полицейские, как может только комнате, когда мы могло бы в темноте снимай к тебе и поднимают наверх, 
от всегда ничего не было, и просто участия, пока относили в поднимают наверх, 
от нас получиваясь классовой селекции

*
мой отец спит и солнцем, заброшенные силософиться недожженной распродалы в себе самоги,
провалы в печет вниз, виссия она над водой и 

BibTeX entry and citation info

See:

@article{orekhov2020neural,
  title={Neural reading: Insights from the analysis of poetry generated by artificial neural networks},
  author={Orekhov, Boris and Fischer, Frank},
  journal={Orbis Litterarum},
  volume={75},
  number={5},
  pages={230--246},
  year={2020},
  publisher={Wiley Online Library}
}