This generative text model was trained using Andrej Karpathy's code on texts of the Croatian poets. Models of this type well represent poetic style.
Model was trained with size 512 and 3 layers, dropout 0.5.
There are 2 checkpoints of this model presented in the repository. One after 14 epochs with loss 1.7169, the other after 50 epochs with loss 1.8104. These metrics are in the file name.
Usage
The procedure for installing the required software is described by Karpathy, torch is required, the code is written in lua. Be careful, versions of libraries written many years ago are used!
th sample.lua lm_lstm_epoch50.00_1.8104.t7 -length 10000 -temperature 0.5 -primetext 'some text'
Train data
Train data is non free due to copyright restrictions. The texts of Croatian poets served as a train corpus.
What for?
In an era of winning Transformers, ancient RNN models seem archaic. But I see that they still work better than modern architectures with such important categories from the humanities point of view as individual style.
Publication
Poems generated by this model have been published in Croatian literary anthologies:
- Boris Orehov, Rafaela Božić. Što je neuronska mreža htjela reći? Republika. Časopis za književnost, umjetnost i društvo n 1–2 (2019): 10–15
- Boris Orehov i Rafaela Božić. Pjesma neuronske mreže Millenium stih – poetski maraton „Riječi iznad svega“ Zajednička zbirka poezije sudionika Millenium stiha – poetskog maratona. (2018): 95. (included in this repository)
Samples
epoch 50, temperature 0.5
umran po stolu ponekad samo smijeha
I sve njene priče koju sam da se može prema različnom prozoru,
neka se boja svoje slušam.
Da se ne postaje čovjek lažni prijatelji,
a ja sam ih samo samo ne znam da sam ima ovih nego
pred posteljom toplinu u zraku
uspomena zraka do moje ili
tražeći plače i sve muče
na pred postelje prekopasne stare stvari
kao da se ponovim tamnom pod rasprodova
preko žene su se u njima mogla je na tom suncu između pjesmi
i dan iz duboka našem pijesku golemu
kako se prije nego učinili na leđima i smrt je savio na pogled u sati traži ostavljaljenje
Živjela je sve slobodne na povratku
nekada bih je bilo svega u svojem stvaru strance.
Bolest je svetan postoji noćnih poslanja.
Ona koja je sve reći.
Ne spasi ona stanaše svoje progovara.
epoch 50, temperature 0.6
upravda,
nekoć se ogledala spavaju i stijena.
Neka se naše srce ponaslo toče
po mene pred pustim i svijetlim onom moje susrete
da se ne mogu svim prije nego iznenada te ne popušta
i s pleće se otvorene u prazninu.
Kinu pred razlikema tolikog u zagrljaja stala;
izvan bezdna bacala da se pjesme koje
samo jednom, ne bih je potpilo razgovarali uspijenje
Prije noge voli me pomislim.
Tako da ne budem svoju pravo sve ti
i nema mogu riječ – više ne slutim
i kada se ne volim
ali ne možeš tako iz svoje čežnje dolazi
i nekog drugog mora, i od svih pjesma.
Preko živote, promače, opet jednom,
a gore se prepoznati gledati
zapjevajmo, ja sam svoje bolne suze ljubavi.
U ustami se okreću se prolazi poklonu bora.
Jedna nema, od čas se od tebe slatko okrenula,
s pecdanse, na sunce podno i kupeno
I sve ne to ne znam kako će nam to
vječnost se samo nebo podignem.
epoch 50, temperature 0.7
Soba poput našeg grada od mojih noga.
Kada sam bilo kamenje.
Bilo je postojali.
Neka suza pokazala su pomalo izliječu i pokloničku
naderanju i propale utraba kako su mi dobru kosti,
kad je visoko prosjeko teške popodnevnih krajalica.
One su sve svoje dive, ne hladnome plavom
i kriknute noći i upravljanje dugo.
Iz starih sunce velike makove
i premlazati za plavim sudim crvenom sjenu što za stopalnom posteljima
prokovara iz usna mladosti
Da bi ti odgrobljena svijeta
koja se pokret njegovih zavijena
što naše spava, modrice i poljubac o zimske slušali visoke
u kući u krili sjajam kroz prozor koji su druge vjerna protiv
potom za vaših ruka iz moje kozite
i uglavnom tromu što se ne odmjela
slobodna su reklo hrvati stopali su sakrivene na kojem
se ja sam se smijala kosijega i ugaslo porazi na stranici
ali sada usne ništa ne smijeh se ne bude pričala
oko izgubljena dok ne staje od svoga nekog spava
ispod kojega je bolje samo da si malo pustog
onako, i anđelko od mene, isto što vrijedi
znači se u svojem mulju i plamen,
malo svetog kapi: al kada se oči za svoje glave,
i u njemu osu vodu s pravim listom krvavi.
Prema svemu stvarna dolazika. Ona su opet pitaš
počinje u svoju stranu znanje, ustvari u povijest od magle i nešto na štoli
Ludonac i svetac još samo tvoje sunce i čežnje.
Putovanja biti samo trebali ti onaj koji je govorio na postelji,
ni vječni vodu, što se samo uzgubiti,
i ono što se ne zna da je nemoguće,
ne vraćaj se starim vitke od mene,
i prostran svijet moj se krilu,
što te čudiš da sam bio u zastalju,
Kad se namije nemam ni mora
da mu ne bih vido da sam dovila,
prečekati samo i vreli od
kupanje na ruku pruža raspreda.