README.md

---
license: mit
language:
- ru
tags:
  - natural-language-processing
  - text-generation
  - torch
  - lstm
---

This generative text model was trained using [Andrej Karpathy's code](https://github.com/karpathy/char-rnn) on texts by the Russian philosopher Mikhail Bakhtin. Models of this type well represent individual style.

Model was trained with size 1024 and 3 layers, dropout 0.5.

There are 2 checkpoints of this model presented in the repository. One after 18 epochs with loss 0.6292, the other after 19 epochs with loss 0.6292. These metrics are in the file name.

## Usage

The procedure for installing the required software is described [by Karpathy](https://github.com/karpathy/char-rnn), torch is required, the code is written in lua. Be careful, versions of libraries written many years ago are used.

```bash
th sample.lua lm_lstm_epoch19.14_0.6292.t7
```

## Train data

Train data is non free due to copyright restrictions. The texts in the training sample were materials from Bakhtin's collected works. 

## What for?

In an era of winning Transformers, ancient RNN models seem archaic. But I see that they still work better than modern architectures with such important categories from the humanities point of view as individual style.

## Publication

Examples of text generation [have been published in a special journal](http://nevmenandr.net/dkx/pdf/n45-177-184.pdf) devoted to Bakhtin's heritage. 

Орехов, Борис Валерьевич. "Нейронная сеть переписывает М. М. Бахтина." *Диалог. Карнавал. Хронотоп* 1 (2018): 179-184.

## Samples

### epoch 19, temperature 0.6

```
Диалогического мира и предложения), и хронотопические факты в телесном плане и своеобразное влияние на небольшой из них он принимает и  чисто стилистическая свобода и подчиняется в пределах одного времени ее разнообразия и самосознания и необходимости и внешнего сознания одного и того, что совпадает с другим человеком этого типа. В своем отношении Ренессанса произведение все может стать внутренней диалогической установкой в другом голосе. На протяжении всего этого он дает и понятое в пределах одного контекста поступка и даже в низкой  законы и карнавальные стихии издания образов Рабле и Пантагрюэля). В первом проявлении отдельных средств развития романа оказывается стилизованного символа и подчеркивает возможную переплетается с фамильярным миром и смехом и действительным и не завершающим кругозором между эпизодами и именно в нем представляются предметно и сколько на самом деле, который понимает его в монологическом пространстве, и они воспринимались в первой книге. Наиболее определенный и внешнее отношение к границам воспитания его героев и его слова
```

### epoch 19,_temperature 0.2

```
Диалог и др.). Совершенно необходимо отметить, что в нем подчеркнул в последующем подходе к нему подчеркнуты и возможны в процессе полного сознания и понимания в пределах одного произведения и в построении всех доминантов в отношении к нему в нем нет ни в какой бы ни были подлинно отношением к себе самому, не может быть принципиально возможно и не возможно в полном смысле и в образе и в процессе объектного мира. В этом отношении все же объектно переживаются в нем и в сознании в нем не может быть определенным и не может быть возможно и не может быть понято и понято и не может быть изображают и определяет его внешнее значение и возможно и не отвлеченное от него в пределах одного предметного возможного внешнего видения и возможного сознания и не может быть понято пониманием всего прошлого и полного пространства. В процессе образа как бы не возможна и все они не принимают и не отвлеченное от него в нем и не может быть понято и не принципиально не может быть понято и понято и не может быть определено и отношение к нему и в полном смысле и в образе и в образе его внешнего мира, которое он не может быть возможно и полное отношение к нему в нем и в нем не было не может быть принципиально относится к нему и не может быть принципиально не может быть понято и понято и не может быть понято и не отвлеченное от него не может быть отношением к нему и возможно и понятое и не отвлеченное от него в самом поступке и в пределах одного мира в его собственном смысле и в отношении к нему в пределах того же предмета и в пределах одного из одной жизни и не может быть понято в отношении к нему и в нем не может быть возможно и не может быть понято и не возможно в нем не может быть принципиально не может быть принципиально не может быть понято и отвлеченное отношение к нему и в пределах одного объекта и не может быть понято и не отделено от всех сознаний в его объектности и возможность возможного в пределах одного высказывания, в котором они не может быть объектно принимать в нем в нем и в прошлом и не может быть создано совершенно необходимо и не возможно в объективном мире. В пределах одного отношения к миру и в современном пространстве и в нем не может быть принципиально не может быть понято и объективно не может быть понято и не может быть объективно производить на него и не возможно в нем и в нем не может быть объектным и не отвлеченным от него в нем возможное и не предметное и непосредственное и непосредственное влияние на протяжение всего слова и возможно в нем возможно в нем и в пределах одного высказывания и возможно в образах исторического отношения к нему в объективном объекте и в едином и внешнем и непосредственном мире.
```

## BibTeX entry and citation info

```
@article{orekhov2018bakhtinnn,
  title={Нейронная сеть переписывает М. М. Бахтина},
  author={Орехов, Борис Валерьевич},
  journal={Диалог. Карнавал. Хронотоп},
  volume={1},
  pages={179--184},
  year={2018}
  url={http://nevmenandr.net/dkx/pdf/n45-177-184.pdf}
}
```