nevmenandr commited on
Commit
72f08a6
1 Parent(s): 9d36bc3

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +111 -3
README.md CHANGED
@@ -1,3 +1,111 @@
1
- ---
2
- license: mit
3
- ---
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ license: mit
3
+ language:
4
+ - ru
5
+ tags:
6
+ - natural-language-processing
7
+ - poetry-generation
8
+ - torch
9
+ - lstm
10
+ ---
11
+
12
+ This model was trained using [Andrej Karpathy's code](https://github.com/karpathy/char-rnn) on early texts by the Russian poet Boris Pasternak. Models of this type well represent individual poetic style.
13
+
14
+ Model was trained with size 512 and 3 layers, dropout 0.5.
15
+
16
+ There are 3 checkpoints of this model presented in the repository. One after 9 epochs with loss 1.3333, the other after 50 epochs with loss 1.1266 and the last after 73 epochs with loss 1.1489. These metrics are in the file name.
17
+
18
+ ## Usage
19
+
20
+ The procedure for installing the required software is described [by Karpathy](https://github.com/karpathy/char-rnn), torch is required, the code is written in lua. Be careful, versions of libraries written many years ago are used.
21
+
22
+ ```bash
23
+ th sample.lua lm_lstm_epoch73.26_1.1489.t7
24
+ ```
25
+
26
+ ## Train data
27
+
28
+ Train data is not free due to copyright restrictions.
29
+
30
+ ## What for?
31
+
32
+ In an era of winning Transformers, ancient RNN models seem archaic. But I see that they still work better than modern architectures with such important categories from the humanities point of view as poetic style.
33
+
34
+ ## Publication
35
+
36
+ The texts that produced this model were used in [an experiment](https://arxiv.org/abs/2306.02771) to define poetic style.
37
+
38
+
39
+ ## Samples
40
+
41
+ ### epoch 50, temperature 0.6
42
+
43
+ ```
44
+ Не оно лет. Как на воздух, как всегда И спорить не воздух, как неслышной от каланя Под перегнуть в нервадом ветер подкосновенья,
45
+ И это было из ливок.
46
+ В засветно и билисточенье,
47
+ И скользит на столе заставлять и воздух,
48
+ Как в опозденьи глубок, Следаясь в перебережье Белого сказанье полусненный,
49
+ И голоженный быль подъезд.
50
+ Она — нахимает семи снега самой и свинцовый, Припомнить меж затуманной Небо, как коньковестий как след Ом велите, как приплодный небывали солнце, пыльные область детской веносился И приимет над перекупами в бордом на бург полночей,
51
+ Случайно этот поздной Небосклян.
52
+ И видит непомой оглика, Подкорно в рассветом, Сонный избегал закатом в болоком.
53
+ И не выправнять сердце глаза, и вихрь по полуснином, как от пути поступали, и свист и ворочи, Подносятся водоброманной трети,
54
+ Но в стоял колышишек когда-никогда На свисте постилы к спиртом по твоей пороса и гальцев, Близности поток Солнце соловой уже В своему жить бессонной.
55
+ Как всегда, не выкатают в подуманьем.
56
+ Не во странцем — крушеной ночи глаза И в полусаде, Примерзанье под понять ее терпий.
57
+ ```
58
+
59
+
60
+ ### epoch 73,_temperature 0.5
61
+
62
+ ```
63
+ Мой долго на ближе лицом, Не весь весенье, как коропок,
64
+ Он валились с ней его мечулись к ноги, как копленный догадок,
65
+ И тем под ним приветственный форм под комнат держит свой светильного перепаданный клин Он забот облака Костяшком.
66
+ И задувает свой небес месяц подалов,
67
+ И случайной ночь и подговорил.
68
+ И вот он не проплыла, Спать в таких задолженье по устами Висла расстанут в степи запородившего бездонным лотком Волненьем вздох над корме, Ползнет в барельник.
69
+ Слепой устала в воду и полуберевье.
70
+ Захлебнувшись в солнце впросьба Волной под стены полузнаю,
71
+ И путь просторов и все долг порывать Пожар набит и красным Полудня Волны, шелохнется марганьем Костра.
72
+ О страшной небо подымаются в мере И мыслится по полуслепаньи Смотрит в поступам.
73
+ И вот и снастя на капель, со мной душей И напоминал и стариков и непометило,
74
+ В полях забираются в постолам.
75
+ И солнце — свет. Про небо ли исчерпали И пролетов и звезд.
76
+ Что простор, и семистальский извозы, как сплошной полдень в городов кормотать и сосенья.
77
+ ```
78
+
79
+ ### epoch 73,_temperature 0.6
80
+
81
+ ```
82
+ Мой души дождь, как конце и кальсе
83
+ Вернутся в лице подборожденье Рождество,
84
+ И кто весь воскользин за полудень
85
+ На смерти подбираемых городов,
86
+ От прядалой звездочно пропел.
87
+ Не жизнь светал он угадал, и объятья
88
+ И городов по ночью в реке,
89
+ Как от колони.
90
+ Небо забывающийся в любви
91
+ Подсыпать дорогой завертившего солнца.
92
+ Сколько утолько мне,
93
+ Под слезы Париж и твой пролитой подкисы
94
+ На желтом, подобно караванье.
95
+ Ты взявшись от стихам в краю
96
+ И непогоду моих и прижель, как сохраннаем в брезженье под конце,
97
+ Без пути под переселенья
98
+ ```
99
+
100
+ ## BibTeX entry and citation info
101
+
102
+ ```
103
+ @misc{orekhov2023identifying,
104
+ title={Identifying the style by a qualified reader on a short fragment of generated poetry},
105
+ author={Boris Orekhov},
106
+ year={2023},
107
+ eprint={2306.02771},
108
+ archivePrefix={arXiv},
109
+ primaryClass={cs.CL}
110
+ }
111
+ ```