nevmenandr
commited on
Commit
•
72f08a6
1
Parent(s):
9d36bc3
Update README.md
Browse files
README.md
CHANGED
@@ -1,3 +1,111 @@
|
|
1 |
-
---
|
2 |
-
license: mit
|
3 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
+
---
|
2 |
+
license: mit
|
3 |
+
language:
|
4 |
+
- ru
|
5 |
+
tags:
|
6 |
+
- natural-language-processing
|
7 |
+
- poetry-generation
|
8 |
+
- torch
|
9 |
+
- lstm
|
10 |
+
---
|
11 |
+
|
12 |
+
This model was trained using [Andrej Karpathy's code](https://github.com/karpathy/char-rnn) on early texts by the Russian poet Boris Pasternak. Models of this type well represent individual poetic style.
|
13 |
+
|
14 |
+
Model was trained with size 512 and 3 layers, dropout 0.5.
|
15 |
+
|
16 |
+
There are 3 checkpoints of this model presented in the repository. One after 9 epochs with loss 1.3333, the other after 50 epochs with loss 1.1266 and the last after 73 epochs with loss 1.1489. These metrics are in the file name.
|
17 |
+
|
18 |
+
## Usage
|
19 |
+
|
20 |
+
The procedure for installing the required software is described [by Karpathy](https://github.com/karpathy/char-rnn), torch is required, the code is written in lua. Be careful, versions of libraries written many years ago are used.
|
21 |
+
|
22 |
+
```bash
|
23 |
+
th sample.lua lm_lstm_epoch73.26_1.1489.t7
|
24 |
+
```
|
25 |
+
|
26 |
+
## Train data
|
27 |
+
|
28 |
+
Train data is not free due to copyright restrictions.
|
29 |
+
|
30 |
+
## What for?
|
31 |
+
|
32 |
+
In an era of winning Transformers, ancient RNN models seem archaic. But I see that they still work better than modern architectures with such important categories from the humanities point of view as poetic style.
|
33 |
+
|
34 |
+
## Publication
|
35 |
+
|
36 |
+
The texts that produced this model were used in [an experiment](https://arxiv.org/abs/2306.02771) to define poetic style.
|
37 |
+
|
38 |
+
|
39 |
+
## Samples
|
40 |
+
|
41 |
+
### epoch 50, temperature 0.6
|
42 |
+
|
43 |
+
```
|
44 |
+
Не оно лет. Как на воздух, как всегда И спорить не воздух, как неслышной от каланя Под перегнуть в нервадом ветер подкосновенья,
|
45 |
+
И это было из ливок.
|
46 |
+
В засветно и билисточенье,
|
47 |
+
И скользит на столе заставлять и воздух,
|
48 |
+
Как в опозденьи глубок, Следаясь в перебережье Белого сказанье полусненный,
|
49 |
+
И голоженный быль подъезд.
|
50 |
+
Она — нахимает семи снега самой и свинцовый, Припомнить меж затуманной Небо, как коньковестий как след Ом велите, как приплодный небывали солнце, пыльные область детской веносился И приимет над перекупами в бордом на бург полночей,
|
51 |
+
Случайно этот поздной Небосклян.
|
52 |
+
И видит непомой оглика, Подкорно в рассветом, Сонный избегал закатом в болоком.
|
53 |
+
И не выправнять сердце глаза, и вихрь по полуснином, как от пути поступали, и свист и ворочи, Подносятся водоброманной трети,
|
54 |
+
Но в стоял колышишек когда-никогда На свисте постилы к спиртом по твоей пороса и гальцев, Близности поток Солнце соловой уже В своему жить бессонной.
|
55 |
+
Как всегда, не выкатают в подуманьем.
|
56 |
+
Не во странцем — крушеной ночи глаза И в полусаде, Примерзанье под понять ее терпий.
|
57 |
+
```
|
58 |
+
|
59 |
+
|
60 |
+
### epoch 73,_temperature 0.5
|
61 |
+
|
62 |
+
```
|
63 |
+
Мой долго на ближе лицом, Не весь весенье, как коропок,
|
64 |
+
Он валились с ней его мечулись к ноги, как копленный догадок,
|
65 |
+
И тем под ним приветственный форм под комнат держит свой светильного перепаданный клин Он забот облака Костяшком.
|
66 |
+
И задувает свой небес месяц подалов,
|
67 |
+
И случайной ночь и подговорил.
|
68 |
+
И вот он не проплыла, Спать в таких задолженье по устами Висла расстанут в степи запородившего бездонным лотком Волненьем вздох над корме, Ползнет в барельник.
|
69 |
+
Слепой устала в воду и полуберевье.
|
70 |
+
Захлебнувшись в солнце впросьба Волной под стены полузнаю,
|
71 |
+
И путь просторов и все долг порывать Пожар набит и красным Полудня Волны, шелохнется марганьем Костра.
|
72 |
+
О страшной небо подымаются в мере И мыслится по полуслепаньи Смотрит в поступам.
|
73 |
+
И вот и снастя на капель, со мной душей И напоминал и стариков и непометило,
|
74 |
+
В полях забираются в постолам.
|
75 |
+
И солнце — свет. Про небо ли исчерпали И пролетов и звезд.
|
76 |
+
Что простор, и семистальский извозы, как сплошной полдень в городов кормотать и сосенья.
|
77 |
+
```
|
78 |
+
|
79 |
+
### epoch 73,_temperature 0.6
|
80 |
+
|
81 |
+
```
|
82 |
+
Мой души дождь, как конце и кальсе
|
83 |
+
Вернутся в лице подборожденье Рождество,
|
84 |
+
И кто весь воскользин за полудень
|
85 |
+
На смерти подбираемых городов,
|
86 |
+
От прядалой звездочно пропел.
|
87 |
+
Не жизнь светал он угадал, и объятья
|
88 |
+
И городов по ночью в реке,
|
89 |
+
Как от колони.
|
90 |
+
Небо забывающийся в любви
|
91 |
+
Подсыпать дорогой завертившего солнца.
|
92 |
+
Сколько утолько мне,
|
93 |
+
Под слезы Париж и твой пролитой подкисы
|
94 |
+
На желтом, подобно караванье.
|
95 |
+
Ты взявшись от стихам в краю
|
96 |
+
И непогоду моих и прижель, как сохраннаем в брезженье под конце,
|
97 |
+
Без пути под переселенья
|
98 |
+
```
|
99 |
+
|
100 |
+
## BibTeX entry and citation info
|
101 |
+
|
102 |
+
```
|
103 |
+
@misc{orekhov2023identifying,
|
104 |
+
title={Identifying the style by a qualified reader on a short fragment of generated poetry},
|
105 |
+
author={Boris Orekhov},
|
106 |
+
year={2023},
|
107 |
+
eprint={2306.02771},
|
108 |
+
archivePrefix={arXiv},
|
109 |
+
primaryClass={cs.CL}
|
110 |
+
}
|
111 |
+
```
|