This model was trained using Andrej Karpathy's code on late texts by the Russian poet Boris Pasternak (after 1930). Models of this type well represent individual poetic style.
Model was trained with size 512 and 3 layers, dropout 0.5.
There are 2 checkpoints of this model presented in the repository. One after 11 epochs with loss 1.0234 and the other after 50 epochs with loss 1.1516. These metrics are in the file name.
Usage
The procedure for installing the required software is described by Karpathy, torch is required, the code is written in lua. Be careful, versions of libraries written many years ago are used!
th sample.lua lm_lstm_epoch50.00_1.1516.t7 -length 10000 -temperature 0.5 -primetext 'some text'
Train data
Train data is not free due to copyright restrictions. The poetic texts in the training sample were materials from Pasternak's collected works.
What for?
In an era of winning Transformers, ancient RNN models seem archaic. But I see that they still work better than modern architectures with such important categories from the humanities point of view as poetic style.
Samples
epoch 50, temperature 0.5
и мой посетитель в отдаленье.
И, все время поднялась По пригороде,
И вот он видел родился,
Но ты ведь — не смело на свете.
Как бы их призраки и конец.
Светает, разве мне обожанья,
Все соглашают тоже и подобен И следом перед каждым мирами, Обрушивают тени в город замерзать.
Хозяин выйти с венца выкати,
А волны выразить с ней вдоль забыта.
Так ночью спальну примеров,
И когда воду ворота невзгод, И лежит на облака в поле, в душе вечности и сели, как крест, как мельник, за собственною водой.
В саду следы корабль, и моря в сердце тоски До полета,
И по городе в воздухе крови,
И от слез облаков предвестников.
Пора все теперь за скользом полуночья,
И небо в те мне не отдавать?
Что возможно на половины В местах не ведала на карстку.
И вот проливающего поля,
Так к ней из каменных потомки Последний ламп.
Но слышал городом в горы Водопада,
В потемки им провода И солнце свободно просвета И следы небесного собою.
Присомнившись, над пальцем костра, Не посмотревший к конце и полноты.
Когда в конце ль молодость мои свой полудел в своей селе Время подперевилось по складам.
epoch 50, temperature 0.6
и мой посетитель в ней моей легчем и застой.
В нем жизнь моя вздрагивала на матерья На свете цели,
Как облака писанный хоровод,
Мне твоего не виданья к поселенье.
Нас отвыкши сказал: «Дай мне мы вернувшись, не довершены. Свету нам последний отводим.
Как будто бы шаг не вернуть,
Не спится ему дерево.
Как в облака, как соловьи.
Я знаю, как все, когда за будущим в походке Свист и подошел в тот миг, косой подобен И скоро солнце обидно в зимневном горную кадение Или смерти неслись, как перст предмет.
Я тоже б волны не видала горя, Потому что пожалуть не смей,
Потом пропасть проводы в нем напрасно. Под ним — разговор с меретской водопойных половой.
О, как полночь будет скоро В сердцах трепетом кладбищенский И столбы и покоя.
Как печали спит, в последний каменной колени, Измолкает время наполнились в объятья.
И выси король направив воды, как небо на бунтен, Постигнет, рябок отдается, Перед ними и любовь.
Не подошли, как манекены, Ночь бессонных поток, Мы подошел в рассвете.
И как ворота подобен был невест.
Comparable data
The repository includes texts generated by the ruGPT model pre-trained on Pasternak's texts. See file ruGPT.txt
Here is an exclusion from the one:
Везде им вслед летит земля родная,
Я в жизни своей не встречал такой любви.
Но все ж она есть И что-то значит для меня».
Как бы отзвук ее был мне слышим:
«Ты видишь ли тут какой вред!
У нас и так мало работы!»
Я отвечал ему с досадой
“И только повторял про себя слово свое;
но вот на другой день он пришел со мной к ней домой
В свой первый раз за этот вечер прощальный поговорить наедине
С той самой старой знакомой вдовы его покойной материю
да еще эту книгу о войне — об этой книге моей прежней юности…
Он взял мою руку из их рук дрожащей рукой
Прощаясь таким же странным жестом
Со всеми нами вновь пришедшими вместе
На заре нового века после изгнания Адама
Смутного времени года? Так я думал тогда по пришествии Марии Египетской
Отныне у них обоих Был общий удел вечный житье под небом голубым...
А теперь они стали совсем как люди без роду или племени...» (Священник)
Когда мы были детьми малые Или когда наши отцы рождались младенцами?..
Мы видели перед собой мир взрослых вещей
Природы живой во всех красках
Ее красок цветенье пышное чело!..
Вот ты говоришь это всерьез?»
Не мог ведь поверить глазам своим старик
Тогда сам себе слепой пред нею предстал
Перед своими сверстниками стариком старым
Да вдобавок ко всему стал глядеть свысока
За свою прежнюю жизнь долгую до сих пор
Безутешно тосковать ей всю
Жизнь горькую
По родине далекой сиротке одной
Подруга моя была вся светла лицом
BibTeX entry and citation info
Another model, trained on Pasternak's texts, is used here
@misc{orekhov2023identifying,
title={Identifying the style by a qualified reader on a short fragment of generated poetry},
author={Boris Orekhov},
year={2023},
eprint={2306.02771},
archivePrefix={arXiv},
primaryClass={cs.CL}
}