nevmenandr commited on
Commit
0188a46
1 Parent(s): a3c13f3

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +117 -3
README.md CHANGED
@@ -1,3 +1,117 @@
1
- ---
2
- license: mit
3
- ---
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ license: mit
3
+ language:
4
+ - ru
5
+ tags:
6
+ - natural-language-processing,
7
+ - poetry-generation
8
+ - torch
9
+ - lstm
10
+ ---
11
+
12
+ This model was trained using [Andrej Karpathy's code](https://github.com/karpathy/char-rnn) on texts by the Russian poet Osip Mandelstam. Models of this type well represent individual poetic style.
13
+
14
+ Model was trained with size 512 and 7 layers, dropout 0.5.
15
+
16
+ There are 2 checkpoints of this model presented in the repository. One after 28 epochs with loss 1.0705, the other after 50 epochs with loss 1.1207. These metrics are in the file name.
17
+
18
+ ## Usage
19
+
20
+ The procedure for installing the required software is described [by Karpathy](https://github.com/karpathy/char-rnn), torch is required, the code is written in lua. Be careful, versions of libraries written many years ago are used.
21
+
22
+ ```bash
23
+ th sample.lua lm_lstm_epoch50.00_1.1207.t7
24
+ ```
25
+
26
+ ## Train data
27
+
28
+ Train data is free and inclded in this repository as `input.txt` file.
29
+
30
+ ## What for?
31
+
32
+ In an era of winning Transformers, ancient RNN models seem archaic. But I see that they still work better than modern architectures with such important categories from the humanities point of view as poetic style.
33
+
34
+ ## Publication
35
+
36
+ The texts that produced this model were used in [an experiment](https://arxiv.org/abs/2306.02771) to define poetic style.
37
+
38
+
39
+ ## Samples
40
+
41
+ ### epoch 28.4, loss 1.0705, temperature 0.3
42
+
43
+ ```
44
+ Слитко мне поднял в нем,
45
+ И в легкий день подобились в облака
46
+ И не запахнут в долгом оберений подводка.
47
+
48
+ И поднимал в дома и поднимали,
49
+ И в крепкой просторной каменный подражник
50
+ В нас над небесах и в полной белой колесе
51
+ И переставил колоколенной города.
52
+
53
+ И в подвождей светлой городов подвитает
54
+ И воздух воздуха не полупростить
55
+ И как поднимал и воды пробежала,
56
+ И весь на полночной домой.
57
+ ```
58
+
59
+ ### epoch 28.4,_loss 1.0705,_temperature 0.6
60
+
61
+ ```
62
+ Поднять в еденный воздух над город.
63
+
64
+ И потремен от крепкой закони,
65
+ Как в небе меня мое осенницы,
66
+ И дон на мелькает подворонного кого,
67
+ И задыхаешь мы удалой
68
+ И светло передуха себя,
69
+ И соломинка могла из моряю
70
+ Не замечательно ложить,
71
+ В себя над ожерады и коленей.
72
+ ```
73
+
74
+ ### epoch 50.0,_loss 1.1207,_temperature 0.5
75
+
76
+ ```
77
+ И в небе невой подорогах запорова,
78
+ Прополнить без тебе не волна,
79
+ Как же бесконечного морщинах,
80
+ И слабой солнце полноводная стекла.
81
+
82
+ Не ужасные пламенное слово
83
+ Слово в советском судия звездами крепкой нам он в муревях облаков,
84
+ Сказал твой бедного замереть --
85
+ И не видно морской неловко!
86
+ ```
87
+
88
+ ### epoch 50.0,_loss 1.1207,_temperature 0.7
89
+
90
+ ```
91
+ Как в избежал созданий вин.
92
+
93
+ В столках небесах от зазнаванья намеженье.
94
+ А в бах колесо в извратной сиянье,
95
+ Но не слушают горький песок,
96
+ Единый под куполом громом,
97
+ И под бесполесной полубежают запым.
98
+ На мире не мог быстро музыки,
99
+ Любовью высокой двойней,
100
+ Когда б моей сердце, ни слазах полноводная видать.
101
+ Все царственный там -- ее не выпалы
102
+ И пророческой крестьянские простороном,
103
+ И клена мечта на кротких глаз.
104
+ ```
105
+
106
+ ## BibTeX entry and citation info
107
+
108
+ ```
109
+ @misc{orekhov2023identifying,
110
+ title={Identifying the style by a qualified reader on a short fragment of generated poetry},
111
+ author={Boris Orekhov},
112
+ year={2023},
113
+ eprint={2306.02771},
114
+ archivePrefix={arXiv},
115
+ primaryClass={cs.CL}
116
+ }
117
+ ```