This model was trained using Andrej Karpathy's code on texts by Russian poets of first third of 20th century.
Model was trained with size 512 and 7 layers, dropout 0.5.
There are 2 checkpoints of this model presented in the repository. One after 2 epochs with loss 0.9125, the other after 9 epochs with loss 0.8772. These metrics are in the file name.
Usage
The procedure for installing the required software is described by Karpathy, torch is required, the code is written in lua. Be careful, versions of libraries written many years ago are used.
th sample.lua lm_lstm_epoch9.10_0.8772.t7 -length 10000 -temperature 0.5 -primetext 'some text'
Train data
Train data is non free due to copyright restrictions. The corpus consisted of texts from 1900 to 1930 that were included in the RNC.
What for?
In an era of winning Transformers, ancient RNN models seem archaic. But I see that they still work better than modern architectures with such important categories from the humanities point of view as poetic style.
Publication
The texts that produced this model were used in an experiment with poetry researcher.
Samples
temperature 0.2
Милый лиц в невзначай дуть
беглоту ладных искуплений!
Тут кто с нами -- мырник,
у кого-то -- дно
красное славы вскрикнет колая...
За столетьем при под гул буржуев.
Под молодостью враги
оно безволиет француз.
Ориалиды -- путь инеек,
убконь зови, а вина -- / стальны,
ну а искры / наспичателя / до белых --
и как Норскты учешься:
«Прекрасная, / монастырь,
что живая, / розовитесь!
Дома подижите? / Полжика, / и в тихой тени -- / хизонок / заб бундара
мешает / Россию / умереть.
Моря пятна, / везде
и, плоха / от голубых / Кочевных жал.
Я не мы увидал предпочитаре
по скелетам стучит, стренит катой!
Лошадь Суда.
Братополового зигзага.
Прокону.
Сквозь птицу-мотор
Даль истащена --
и страшней месятся, что сернится задорно...
Где со всей полным вкусам.
Непостижамина и не скажите!
Да, только их, / с паспистом.
Ты -- вашим / веляв и топот.
Не утлел, опять в нем / цела...
Отинуется / хлыной халдеябогов --
как сизый -- под хваток: --
Как же опутцы
простововоротки!..»
-- «Мечивикикинцов?»
Погудет в раскате,
Второй дют, петомол,
Чем песок светлый...
Да, / Что ж -- деревца, трудный!
temperature 0.6
и не знаю в моей невесте и золоте,
а только здесь, за просим, что они воскресли:
как на небо сказала на плечи,
как молчаливо и мигом летят колоколов
В стакане красном из горних ласков
И нам не вернулась о нем движется все мысли.
Я покорную тебя придет,
И где было замутило небо,
И кричит во мгле и мимо каменистых песок.
Но почему ж над землей не пишать бессильным
Не приходил, как в земном поле
На небе одиноком красота,
И не забудется весь плач печальный.
И не спится ничего и не в разном,
В последний раз не знаю, как мы долю свободны.
И потому -- невеста отличая,
Сомкнуть над предвечною покойной кровью.
Но заметил, не размерен и страшный свет.
Ведь ты полночь была своей волной.
И я спокойно заметить живу
Встречать старых дней проклятых в привет.
Когда отражается опасно,
Печаль не одинокая моя.
И много голосов горячих мира,
Как водный вольный голос тропинки,
И вот я за городом грозным дымам спасен.
И в полустаром дожде полной усладой
Стоит моя полей жизни и полночь.
И теплый полог разглядывает свет.
Слушай, за то, что сколько отражений
Подобно зовет и была ветер,
И вихва она над ней услышала медн
temperature 0.5
в небо медленно великой и грудью безвольной
взор мой воспоминаньем не приметить,
как будто твои лирики сердце возвращалось горая,
и верь мне понятна сталь в поле смертном.
И в темных полях не вернутся просторы,
не были в ночи и на горе и нежность.
Но верит грозы мальчиков виденья,
когда под полей играет венчиком,
ты простишь в такие дни мне вечера.
И буду ли остановился в поле,
в моих портретах огней и миров
не встретить долгие жалобы воскресенья,
а душа весна пронизана в плену
и помнила в лозунгах бесплотных обода,
или благодарить не подают слова.
Проступающий воздух смертный
пред листвой страстной медной славы,
и в темных пространствах простертых и слова
под водой поляной не тот же ветра.
Но в душе волненье томится простором,
блестит над морями колокольчики.
Сегодня взором и медленно восклицанья,
и вот без проклятья в пространствах спешащих.
Все было помнится жизнь и простор
и создам на горе она,
и узнала мне каждый дом,
и солнце нет облаков над раскаленными словами
встретится слезами на синеве.
temperature 0.5
Как волны двери безвольной
Запретные подает полоса.
В поле постели подобный ветер
Приподнял в полусне и в колено,
И ветром долго светлеет,
Ветер полный взмахивал.
И под морями ветра легко поднималась переступая полоса.
И забыла весна в лицо закатные колонны,
И всё равно не слышит под небом,
И она простерла веселый голос,
И вечерами белые полны,
И на поляны закатных крылий
Воздушный огонь в ответ, в поле леса
Вечерние губы и слезы
В ней ответит, как солнце в объятьях,
В поле подняты в пространство обломка,
И вечно все настанут в обет,
Но вот и просто над приветом
Стремится в полночной глубине.
И она погасла она,
И он сказал: «Прости меня,
Все сладостно и смерть подобна,
И легко и нежно, смерть и поля,
И замечает солнце призраком весны.
Под милою смертной волной вольной
Восходит тайной солнцем бездонным,
И женщины вольные волнуют подвески
И странно и день и небосклон.
И солнце не волнуют просторы,
Как в море бесполезное моря,
И долго под раскатом пастуха
Поднималась на площади волна.
Citation info
@article{orehov2018halva,
title={Гальванизация автора, или эксперимент с нейронной поэзией},
author={Орехов, Б.В. and Успенский, П.Ф.},
journal={Новый мир},
number={6},
pages={139--158},
year={2018}
}