This model was trained using Andrej Karpathy's code on texts by Icelandic poets. Models of this type well represent poetic style.
Model was trained with size 1024 and 3 layers, dropout 0.5.
There are 2 checkpoints of this model presented in the repository. One after 7 epochs with loss 1.4431, the other after 23 epochs with loss 1.3595. These metrics are in the file name.
Usage
The procedure for installing the required software is described by Karpathy, torch is required, the code is written in lua. Be careful, versions of libraries written many years ago are used.
th sample.lua lm_lstm_epoch23.39_1.3595.t7 -length 10000 -temperature 0.5 -primetext 'some text'
Train data
Train data is non free due to copyright restrictions. It has been collected from the internet.
What for?
In an era of winning Transformers, ancient RNN models seem archaic. But I see that they still work better than modern architectures with such important categories from the humanities point of view as poetic style and meter.
Samples
Til líta steina stranga
stillir stóð í stað leiði
þar leita síðan standa þá
með hræðslu mig hann þrjá.
Hræddur fljótt er hátt í heim
heiðra þó með hlýðir.
Fær þú með firrtum fróðum
færði svo sem þér hefir þeir
þeir geislar eina þá eigi.
Annar mál með öðru stór
sem þó þú með grimmdar stönd
og halda hann með annað sker
og á vill heimsins stóra.
Hjörtun heitir hæsta stríð
hönd við hálfa megna.
Hún skal þér gjörir að glóa
í stundu þar að greina
til himna sauða græna land,
sem til höndum þó með þér.
Blessa þú því næst í dauða
lausnari lítil brjósti
sá líkaminn þó hann sé þér
heimskur þínum fríða.
Heimsins soninn hamla skyldi
hverjum heyrði að forstjórn sprundi,
sú er þeim drottins anda sín
og upp í falli fjöldi.
Sá mun eg það þar þó landi
séð sá að hendi þau beiða.
Þessi skyldi á munni kann,
mest sem þenkti hann eitt þar allt.
Hún birtist kveðið hreysti stór,
hefur hann þar að hverri stór
að hann með vendi að þreyja og tala að staða.
Þá var lýsti með svarta lönd,
sælan þar kom á haldi þá
og þjóð og krafta, sem bölvaði þetta,
sat drottni skalt þér skiljast snart.
Hann bætti það þetta þekki þó
það að augum þeirra góða,
höfði þá samt þar herrans kátt,
hlýðið þeim í ræðu heimi.
Sálin hjá þig sækja trú eg svo smá þér smá,
því eg er svo um sveima Valla
ættar skaparans eilífur að ræða
og því ræðu hér með spörðum stund
og skildar ei þér þrengdur var.
BibTeX entry and citation info
For more insights see:
@article{orekhov2020neural,
title={Neural reading: Insights from the analysis of poetry generated by artificial neural networks},
author={Orekhov, Boris and Fischer, Frank},
journal={Orbis Litterarum},
volume={75},
number={5},
pages={230--246},
year={2020},
publisher={Wiley Online Library}
}