|
--- |
|
license: mit |
|
language: |
|
- ru |
|
tags: |
|
- natural-language-processing |
|
- text-generation |
|
- torch |
|
- lstm |
|
--- |
|
|
|
This generative text model was trained using [Andrej Karpathy's code](https://github.com/karpathy/char-rnn) on texts by the Russian philosopher Mikhail Bakhtin. Models of this type well represent individual style. |
|
|
|
Model was trained with size 1024 and 3 layers, dropout 0.5. |
|
|
|
There are 2 checkpoints of this model presented in the repository. One after 18 epochs with loss 0.6292, the other after 19 epochs with loss 0.6292. These metrics are in the file name. |
|
|
|
## Usage |
|
|
|
The procedure for installing the required software is described [by Karpathy](https://github.com/karpathy/char-rnn), torch is required, the code is written in lua. Be careful, versions of libraries written many years ago are used. |
|
|
|
```bash |
|
th sample.lua lm_lstm_epoch19.14_0.6292.t7 |
|
``` |
|
|
|
## Train data |
|
|
|
Train data is non free due to copyright restrictions. The texts in the training sample were materials from Bakhtin's collected works. |
|
|
|
## What for? |
|
|
|
In an era of winning Transformers, ancient RNN models seem archaic. But I see that they still work better than modern architectures with such important categories from the humanities point of view as individual style. |
|
|
|
## Publication |
|
|
|
Examples of text generation [have been published in a special journal](http://nevmenandr.net/dkx/pdf/n45-177-184.pdf) devoted to Bakhtin's heritage: |
|
|
|
Орехов, Борис Валерьевич. "Нейронная сеть переписывает М. М. Бахтина." *Диалог. Карнавал. Хронотоп* 1 (2018): 179-184. |
|
|
|
This publication presented as pdf file in this repository. |
|
|
|
## Samples |
|
|
|
### epoch 19, temperature 0.6 |
|
|
|
``` |
|
Диалогического мира и предложения), и хронотопические факты в телесном плане и своеобразное влияние на небольшой из них он принимает и чисто стилистическая свобода и подчиняется в пределах одного времени ее разнообразия и самосознания и необходимости и внешнего сознания одного и того, что совпадает с другим человеком этого типа. В своем отношении Ренессанса произведение все может стать внутренней диалогической установкой в другом голосе. На протяжении всего этого он дает и понятое в пределах одного контекста поступка и даже в низкой законы и карнавальные стихии издания образов Рабле и Пантагрюэля). В первом проявлении отдельных средств развития романа оказывается стилизованного символа и подчеркивает возможную переплетается с фамильярным миром и смехом и действительным и не завершающим кругозором между эпизодами и именно в нем представляются предметно и сколько на самом деле, который понимает его в монологическом пространстве, и они воспринимались в первой книге. Наиболее определенный и внешнее отношение к границам воспитания его героев и его слова |
|
``` |
|
|
|
### epoch 19,_temperature 0.2 |
|
|
|
``` |
|
Диалог и др.). Совершенно необходимо отметить, что в нем подчеркнул в последующем подходе к нему подчеркнуты и возможны в процессе полного сознания и понимания в пределах одного произведения и в построении всех доминантов в отношении к нему в нем нет ни в какой бы ни были подлинно отношением к себе самому, не может быть принципиально возможно и не возможно в полном смысле и в образе и в процессе объектного мира. В этом отношении все же объектно переживаются в нем и в сознании в нем не может быть определенным и не может быть возможно и не может быть понято и понято и не может быть изображают и определяет его внешнее значение и возможно и не отвлеченное от него в пределах одного предметного возможного внешнего видения и возможного сознания и не может быть понято пониманием всего прошлого и полного пространства. В процессе образа как бы не возможна и все они не принимают и не отвлеченное от него в нем и не может быть понято и не принципиально не может быть понято и понято и не может быть определено и отношение к нему и в полном смысле и в образе и в образе его внешнего мира, которое он не может быть возможно и полное отношение к нему в нем и в нем не было не может быть принципиально относится к нему и не может быть принципиально не может быть понято и понято и не может быть понято и не отвлеченное от него не может быть отношением к нему и возможно и понятое и не отвлеченное от него в самом поступке и в пределах одного мира в его собственном смысле и в отношении к нему в пределах того же предмета и в пределах одного из одной жизни и не может быть понято в отношении к нему и в нем не может быть возможно и не может быть понято и не возможно в нем не может быть принципиально не может быть принципиально не может быть понято и отвлеченное отношение к нему и в пределах одного объекта и не может быть понято и не отделено от всех сознаний в его объектности и возможность возможного в пределах одного высказывания, в котором они не может быть объектно принимать в нем в нем и в прошлом и не может быть создано совершенно необходимо и не возможно в объективном мире. В пределах одного отношения к миру и в современном пространстве и в нем не может быть принципиально не может быть понято и объективно не может быть понято и не может быть объективно производить на него и не возможно в нем и в нем не может быть объектным и не отвлеченным от него в нем возможное и не предметное и непосредственное и непосредственное влияние на протяжение всего слова и возможно в нем возможно в нем и в пределах одного высказывания и возможно в образах исторического отношения к нему в объективном объекте и в едином и внешнем и непосредственном мире. |
|
``` |
|
|
|
## BibTeX entry and citation info |
|
|
|
``` |
|
@article{orekhov2018bakhtinnn, |
|
title={Нейронная сеть переписывает М. М. Бахтина}, |
|
author={Орехов, Борис Валерьевич}, |
|
journal={Диалог. Карнавал. Хронотоп}, |
|
volume={1}, |
|
pages={179--184}, |
|
year={2018} |
|
url={http://nevmenandr.net/dkx/pdf/n45-177-184.pdf} |
|
} |
|
``` |
|
|
