--- license: mit language: - ru tags: - natural-language-processing - text-generation - torch - lstm --- This generative text model was trained using [Andrej Karpathy's code](https://github.com/karpathy/char-rnn) on texts by the Russian philosopher Mikhail Bakhtin. Models of this type well represent individual style. Model was trained with size 1024 and 3 layers, dropout 0.5. There are 2 checkpoints of this model presented in the repository. One after 18 epochs with loss 0.6292, the other after 19 epochs with loss 0.6292. These metrics are in the file name. ## Usage The procedure for installing the required software is described [by Karpathy](https://github.com/karpathy/char-rnn), torch is required, the code is written in lua. Be careful, versions of libraries written many years ago are used. ```bash th sample.lua lm_lstm_epoch19.14_0.6292.t7 ``` ## Train data Train data is non free due to copyright restrictions. The texts in the training sample were materials from Bakhtin's collected works. ## What for? In an era of winning Transformers, ancient RNN models seem archaic. But I see that they still work better than modern architectures with such important categories from the humanities point of view as individual style. ## Publication Examples of text generation [have been published in a special journal](http://nevmenandr.net/dkx/pdf/n45-177-184.pdf) devoted to Bakhtin's heritage: Орехов, Борис Валерьевич. "Нейронная сеть переписывает М. М. Бахтина." *Диалог. Карнавал. Хронотоп* 1 (2018): 179-184. This publication presented as pdf file in this repository. ## Samples ### epoch 19, temperature 0.6 ``` Диалогического мира и предложения), и хронотопические факты в телесном плане и своеобразное влияние на небольшой из них он принимает и чисто стилистическая свобода и подчиняется в пределах одного времени ее разнообразия и самосознания и необходимости и внешнего сознания одного и того, что совпадает с другим человеком этого типа. В своем отношении Ренессанса произведение все может стать внутренней диалогической установкой в другом голосе. На протяжении всего этого он дает и понятое в пределах одного контекста поступка и даже в низкой законы и карнавальные стихии издания образов Рабле и Пантагрюэля). В первом проявлении отдельных средств развития романа оказывается стилизованного символа и подчеркивает возможную переплетается с фамильярным миром и смехом и действительным и не завершающим кругозором между эпизодами и именно в нем представляются предметно и сколько на самом деле, который понимает его в монологическом пространстве, и они воспринимались в первой книге. Наиболее определенный и внешнее отношение к границам воспитания его героев и его слова ``` ### epoch 19,_temperature 0.2 ``` Диалог и др.). Совершенно необходимо отметить, что в нем подчеркнул в последующем подходе к нему подчеркнуты и возможны в процессе полного сознания и понимания в пределах одного произведения и в построении всех доминантов в отношении к нему в нем нет ни в какой бы ни были подлинно отношением к себе самому, не может быть принципиально возможно и не возможно в полном смысле и в образе и в процессе объектного мира. В этом отношении все же объектно переживаются в нем и в сознании в нем не может быть определенным и не может быть возможно и не может быть понято и понято и не может быть изображают и определяет его внешнее значение и возможно и не отвлеченное от него в пределах одного предметного возможного внешнего видения и возможного сознания и не может быть понято пониманием всего прошлого и полного пространства. В процессе образа как бы не возможна и все они не принимают и не отвлеченное от него в нем и не может быть понято и не принципиально не может быть понято и понято и не может быть определено и отношение к нему и в полном смысле и в образе и в образе его внешнего мира, которое он не может быть возможно и полное отношение к нему в нем и в нем не было не может быть принципиально относится к нему и не может быть принципиально не может быть понято и понято и не может быть понято и не отвлеченное от него не может быть отношением к нему и возможно и понятое и не отвлеченное от него в самом поступке и в пределах одного мира в его собственном смысле и в отношении к нему в пределах того же предмета и в пределах одного из одной жизни и не может быть понято в отношении к нему и в нем не может быть возможно и не может быть понято и не возможно в нем не может быть принципиально не может быть принципиально не может быть понято и отвлеченное отношение к нему и в пределах одного объекта и не может быть понято и не отделено от всех сознаний в его объектности и возможность возможного в пределах одного высказывания, в котором они не может быть объектно принимать в нем в нем и в прошлом и не может быть создано совершенно необходимо и не возможно в объективном мире. В пределах одного отношения к миру и в современном пространстве и в нем не может быть принципиально не может быть понято и объективно не может быть понято и не может быть объективно производить на него и не возможно в нем и в нем не может быть объектным и не отвлеченным от него в нем возможное и не предметное и непосредственное и непосредственное влияние на протяжение всего слова и возможно в нем возможно в нем и в пределах одного высказывания и возможно в образах исторического отношения к нему в объективном объекте и в едином и внешнем и непосредственном мире. ``` ## BibTeX entry and citation info ``` @article{orekhov2018bakhtinnn, title={Нейронная сеть переписывает М. М. Бахтина}, author={Орехов, Борис Валерьевич}, journal={Диалог. Карнавал. Хронотоп}, volume={1}, pages={179--184}, year={2018} url={http://nevmenandr.net/dkx/pdf/n45-177-184.pdf} } ```