Jezikoslovni viri starejšega
slovenskega jezika IMP:
digitalna knjižnica, korpus, slovarTomaž Erjavec
Odsek za tehnologije znanja
Institut »Jožef Stefan«

Lingvistični krožek
25. 3. 2013

Jezikoslovni viri starejše slovenščine

Pregled1. ozadje
2. digitalna knjižnica IMP
3. korpus goo300k
4. slovar IMP
5. zaključki

2Jezikoslovni viri starejše slovenščine

3

Motivacija
Jezikovne tehnologije:• izboljšanje avtomatskega prepoznavanja besedil (OCR)• iskanje po polnem besedilu digitalnih knjižnic• posodabljanje starejših besedil• (postaranje sodobnih besedil)

Humanistika:• digitalna knjižnica: o čem so včasih pisali• korpus: kako so pisali in kako se je jezik spreminjal• slovar: kaj pomenijo zastarele besede in kako so bile

zapisaneJezikoslovni viri starejše slovenščine

4Faksimile

OCR:

napakestarinske oblike

Poflednjizh je Bog zhloveka ItvariL tStvarnik pogleda vfe, kar je naredil ^ ino vfe je biloprav prav dobro.
Ljubi otrozi! tukaj na nebu ino na semlji
lahko vidimo, kako je Bog mogozhen, dobroti jiv ino moder, ako ravno njega — nafhiga preljubiga Boga —■ fhe ne moremo viditi. Njegoveprelepe ftvari velikokrat P fvetim vefeljem pregledujmo, ino vefelimo fe, de imamo tako dobrotljiviga Boga.

Jezikoslovni viri starejše slovenščine

5Problemi• pomanjkanje ročno pregledanih (in stavljenih) transkripcij• tokenizacija• žnjo → z njo• po noči → ponoči• variabilnost:• pregibanje:

ljubezen ← ljubezni, ljubeznijo• starinske oblike:ljubezen ← lubesen, ljubesen, lubeſn, ljubezin, ljubesin• oboje:ljubezen ← ljubezni, ljubesni, lubesen, ljubesen, lubesni, lubeſn, ljubeznijo,ljubezin, lubeſne, lubeſni, lubesne, ljubesnijo, ljubesin• zastarele besede:• zajhen / cajhen / znamenjeJezikoslovni viri starejše slovenščine

6

1. projekt: AHLib (2004–08)• projekt „Deutsch-slowenische/kroatische Übersetzung 1848–1918“• avstrijska akademija znanosti in Univerza Karl-Franzens v Gradcu

akad. prof. dr. Erich Prunč• izdelava korpusa knjig, prevedenih iz nemščine
• 300+ faksimilov, 91 redigiranih transkripcij, 9 lematiziranih• IJS: spletni vmesnik za redakcijo in lematizacijo• izdelana osnovna metodologija označevanja• dostopnost:• UKF Gradec: konkordančnik GAMS, digitalna knjižnica TRADOK• IJS: http://nl.ijs.si/ahlib/ERJAVEC, Tomaž. An Architecture for Editing Complex Digital Documents. V: Proceedings of INFuture'07"Digital Information and Heritage". Zagreb, Faculty of Arts, Croatia, 2007, str. 105-114.
ERJAVEC, Tomaž. Slovenska prevodna književnost 1848-1918 : digitalna knjižnica in korpus AHLIB. V:
Meddisciplinarnost v slovenistiki, (Obdobja, Simpozij, = Symposium, 30), 2011, str. 113-120

Jezikoslovni viri starejše slovenščine

7

2. in 3.
EU IP IMPACT (razširjeni projekt 2010–2011)• boljši OCR za starejša besedila +boljše iskanje po besedilih digitalnih knjižnic• NUK (Alenka Kavčič Čolić, Ines Vodopivec): 5.000 strani besedil• IJS: izdelava računalniškega leksikona
Nagrada Google (2011 + 2012)• izdelava računalniških jezikoslovnih modelov za starejšo slovenščino
• ZRC SAZU (Matija Ogrin): transkripcije starih besedil• IJS: referenčni korpus starejše slovenščine
• projekt Wikivir „Slovenska leposlovna klasika“ (Miran Hladnik)
podpora za popravke transkripcij, izdelava konverzije Wiki v XML/TEI(Domen Kermc)
ERJAVEC, Tomaž, RINGLSTETTER, Christoph, ŽORGA DULMIN, Maja, GOTSCHAREK, Annette. A lexicon forprocessing archaic language : the case of XIXth century Slovene. V: First International Workshop on Lexical Resources,An ESSLLI 2011 Workshop, Ljubljana, Slovenia - August 1-5, 2011. An ESSLLI 2011 Workshop, str. 24-30.

ERJAVEC, Tomaž, VODOPIVEC, Ines, KODRIČ, Maša. Izdelava korpusa starejših slovenskih besedil v okviru
projekta IMPACT. V: Meddisciplinarnost v slovenistiki, (Obdobja, Simpozij, = Symposium, 30). 2011, str. 121-127

Jezikoslovni viri starejše slovenščine

Vodila zbirke IMPRazviti zbirko jezikovnih virov in orodijza starejšo slovenščino,ki:• vsebuje čistopise in poravnane faksimile• ima vsako besedo označeno z:
1.
2.
3.
4.

sodobno ustreznico
lemo (osnovno sodobno obliko)oblikoskladenjsko oznako
za zastarele besede pa najbližje sodobne ustreznice• je široko in prosto dostopna:• jezikoslovci: analitična orodja na spletu(slovar/konkordančnik/knjižnica)• jezikovni tehnologi: prenos(zapis po mednarodnih priporočilih: XML / TEI / MULTEXT)

8

Jezikoslovni viri starejše slovenščine

9

I. Digitalna knjižnica IMP• osnova:• digitalni faksimili + ročno korigirane transkripcije• ni problemov z uporabo in nadaljnjim razširjanjem• viri:• AHLib: slovenske knjige prevedene iz nemščine
• NUK GTD: slovenske knjige, časopis KRN• ZRC SAZU: 3 vzorci (naj)starejših knjig• WIKIVIR: dokončana dela do 1918
• označevanje:• metapodatki (bibliografski, odgovornosti, dostopnost, oznake, …)• prelom (poravnava faksimila z besedilom)• osnovna struktura (naslovi, odstavki)? kazala (razdelki, tabele, slike)? uredniški posegi (sic, tujejezično)

Jezikoslovni viri starejše slovenščine

Zapis v XML / TEI<body><pb n="[000] " facs="#FPG00396-000" xml:id="pb.001"/><p xml:id="p.1">»LJUDSKI ODER« II ZVEZEK</p><figure xml:id="figure.1"><figDesc>Majhna bordura in dve črti </figDesc></figure><div type="level1" xml:id="div.1"><head type="docTitle" xml:id="head.1">Krivoprisežnik. </head><p xml:id="p.2">Narodna igra s petjem v treh dejanjih (7 slikah ). </p><p xml:id="p.3">Za slovenske ljudske odre priredil: Homunkulus. </p><p xml:id="p.4">Vse pravice pridržane. </p><figure xml:id="figure.2"><figDesc>Majhna bordura </figDesc></figure><p xml:id="p.5">V Ljubljani 1911. </p><p xml:id="p.6">Založil »Ljudski oder«. </p><p xml:id="p.7">Natisnila Katoliška Tiskarna. </p>
<pb n="[1]" facs="#FPG00396-001" xml:id="pb.002"/><p xml:id="p.8">Važno! </p>…

10

Jezikoslovni viri starejše slovenščineNa spletu (HTML)11

Jezikoslovni viri starejše slovenščine

Najstarejša dela

12

Jezikoslovni viri starejše slovenščine

Obseg DK IMP

13Število del / vir

Vir

enot

strani

besed

AHLib

105

12.8542.783.569

KRN

36555

551.599

NUK

14

2.428

338.874

WIKI

500

30.29610.761.913

ZRC

375

20.631∑658

46.20814.456.586

3
AHLib

105
36KRN
14NUK
WIKI

500

ZRC

Besed / leto
800000700000600000500000400000300000200000

0

1584
1768
1773
1784
1789
1792
1799
1810
18301835
1837
1843
1845
1847
1849
1851
1853
1855
1857
1859
1861
1863
1865
1867
1869
1871
1873
1875
1877
1879
1881
1883
1885
1887
1889
1891
1893
1895
1897
1899
1901
1903
1905
1907
1909
1911
1913
1915
1917

100000Jezikoslovni viri starejše slovenščine

14

II. Referenčni korpus goo300k• ročno označeni referenčni korpus starejše slovenščine
• vzorčen iz digitalne knjižnice IMP (iz 2010)• dodatno popravljena transkripcija• vsaka beseda v korpusu jezikoslovno označena• posamezne strani povezane s faksimili in digitalnoknjižnico

ERJAVEC, Tomaž. The goo300k corpus of historical Slovene. V: 8th International
Conference on Language Resources and Evaluation, 21-27 May 2012, Istanbul, Turkey.
LREC 2012: proceedings. Istanbul: ELRA, 2012, str. 2257-2260.

Jezikoslovni viri starejše slovenščine

Obseg goo300k
Vir
AHLib
KRN
NUK
ZRC
∑

enot
65
11
10
3
89

strani
770
106
150
74
1.100

15

Število besed / vir
20,11820,614

AHLib

besed
153.62199.56520.11820.614293.918

KRN
99,565

153,621

NUK
ZRC

Besed / leto
20000
18000
16000
14000
12000
10000
8000
6000
4000

01584
1695
1768
1769
1777
1784
1789
1790
1794
1799
1800
1810
1811
18301836
1841
1843
1844
1845
1846
1847
1848
1849
1850
1851
1852
1853
1854
1855
1856
1857
1861
1862
1863
1864
1866
1867
1869
1871
1872
1875
1880
1881
1883
1884
1885
1886
1887
1891
1896
1897
1898
1899

2000

Jezikoslovni viri starejše slovenščine

16Izdelava korpusa• INL CoBaLT: Corpus Based Lexicon Tool
• skupina anotatorjev• priročnik, „kuharica“, FAQ, dopisni seznam, sestanki…

~ 2.000-4.000 ur

KENTNER, Tom, ERJAVEC, Tomaž, ŽORGA DULMIN, Maja, FIŠER, Darja. Lexicon
construction and corpus annotation of historical language with CoBaLT editor. V:
Proccedings of the 6th Workshop on Language Technology for Cultural Heritage, Social
Sciences, and Humanities (LaTeCH 2012). Avignon: ACL, 2012.

Jezikoslovni viri starejše slovenščine

17<w lemma="povedati" ana="#Vme">povem</w><pc>,</pc><c> </c><choice><orig><w>vy</w></orig><reg><w lemma="ti" ana="#P">vi</w></reg></choice>
povem,
vy
nebote <c> </c>povem
vi
ne+boste <choice><orig>
povedatiti
ne+biti<w>nebote</w></orig>
Vme
P
Q+Va
<reg>
<w lemma="ne" ana="#Q">ne</w><w lemma="biti" ana="#Va">boste</w>zahtevno:</reg>
mejni primeri, dvoumnosti, izjeme, …
</choice>

Jezikoslovne
oznakeJezikoslovni viri starejše slovenščine

18

Starejše / sodobne
oblikeJezikoslovni viri starejše slovenščine

Konkordančnik noSketchEngine

19

Jezikoslovni viri starejše slovenščine

Konkordančnik CUWI

20

Jezikoslovni viri starejše slovenščine

Več kot le konkordance21

Jezikoslovni viri starejše slovenščine

III. Slovar IMP• Vsebuje samo atestirane in ročno pregledane primere iz

korpusa:1.
2.

celotni korpus goo300k (1.100 strani, 300.000 besed)
dodatni korpus (4.700 strani, 3.000.000 besed, < 1900),• po straneh vzorčen iz digitalne knjižnice IMP• tu ročno pregledane in v slovar zajete samo besedne oblike, ki:• jih ni v goo300k• se pojavijo vsaj 2x• Namen slovarja:• za pregledovanje (pretvorba v HTML, postavitev na splet)• kot vir podatkov za jezikovnotehnološka orodja• Struktura:• zaglavje (lema, oznaka, razlaga?)• paradigma sodobnih besednih oblik• atestirane variante s primeri

22

Jezikoslovni viri starejše slovenščineNa spletu23

Jezikoslovni viri starejše slovenščine

Zastarele besede• razlaga / in vir• kuha / jed, hrana (sskj)• četveriti / voditi dvovprežno konjsko vprego (Pleteršnik)• čeznemoč / močnejši kot oni (kontekst)• cartan / dragocen (splet)• cedel / list (nemško-slovenski slovar)• kratka razlaga, po možnosti sinonimi• zastarelih lem: 4.177 (SSKJ 1.600, Pleteršnik 770)
• zastarele besede označene že v korpusu• razrešene dvoumnosti → več gesel z isto lemo
• npr. cveten: „fin, gladek“ (Pleteršnik)• Piſheta s' zvetnim ohravtam• v' en piſker deni dvę shlize zvętne moke24

Jezikoslovni viri starejše slovenščine

Obseg slovarja
Velikost: kaj štejemo lem

sodobnih
oblik

zgodovinskih
oblik

XL: vse28.12158.87081.537

L:

21.70751.15473.093

M: starinske oblike

12.24424.77635.756

S:

4.177

6.175

6.900

892

2.348

5.189

besedezastarele besede

XS: stičnost

25

Jezikoslovni viri starejše slovenščine

26

IV. ToTrTaLe
Orodje za procesiranje starejših besedil:
1. Tokenizacija: razdelitev besedila na besede
2. Transkripcija: posodabljanje besednih oblik
3. Tagiranje: oblikoskladenjsko označevanje
4. Lematizacija: pripis osnovne oblike• uporablja slovar IMP, pravila za transkripcijo (eh#:ih#) inmodela za označevanje in lematizacijo sodobne slovenščine
• DK IMP → korpus IMP (tudi v konkordančnikih)
ERJAVEC, Tomaž. Automatic linguistic annotation of historical language : ToTrTaLe andXIX century Slovene. V: 5th Workshop on Language Technology for Cultural Heritage,
Social Sciences, and Humanities, June 19-24, 2011, Portland, Oregon, USA. LaTeCH
2011. Portland: Association for Computational Linguistics, 2011, str. 33-38

Jezikoslovni viri starejše slovenščine

27

Dva pristopa
k jezikoslovno-infrastrukturnim projektom• „klasičen“ pristop: daljše državno financiranje,načrtovanje, narejen & zaključen, dostopen za branje:SSKJ, TURS

• IMP: mednarodno in postopno financiranje, ciklično-kaotično-celostni pristop, več napak, a večji obseg invečja dostopnost … množicanje?

Jezikoslovni viri starejše slovenščine

28

ZaključkiPredstavljeni trije obsežni, medsebojno povezani in označeni viri
starejše slovenščine:• za jezikoslovce (digitalna knjižnica, konkordančnik,pregledovalnik slovarja)• se uporabljajo na FF, mogoče tudi na kakšni gimnaziji in OŠ• za razvoj jezikovnih tehnologij (licenca CC-BY)• prvo (IMPACT) verzijo slovarja uporabljajo na dLib.si• javno dostopno:• DL: 2013-03-24• goo300k, imp: 2012-06-15 (!)• slovar: 2012-12-26

ERJAVEC, Tomaž. Jezikoslovni viri starejše slovenščine. V: VODOPIVEC, Ines(ur.). Ljubljana v BiTiH - BiTi v Ljubljani : prispevki iz prvega ljubljanskega kongresa
digitalizacije kulturne dediščine: tematska številka, (Knjižnica, 56, 3). Ljubljana:Zveza bibliotekarskih društev Slovenije: NUK, 2012, str. 205-221.

Jezikoslovni viri starejše slovenščine

29Nadaljnje delo• številke v predavanju iz trenutnega stanja• naslednjo izdajo (v1.0) načrtujemo 2013-06• čistimo razširjeni korpus in slovar• dopolnjujemo metapodatke in uvajamo taksonomijo• pišemo uvod v slovar in korpus• ko bosta goo300k in slovar končana,bomo ponovno naučili ToTrTaLe:• na novo označiti korpus IMP → konkordančnik• raziskovalno delo na čim boljših avtomatskih metodah za

normalizacijo in oblikoskladenjsko označevanje starejše
slovenščine (+ tvitov)• izziv: statistično strojno prevajanje med starejšo insodobno slovenščino (besedotvorje, skladnja)• in seveda - jezikoslovne študije!

Jezikoslovni viri starejše slovenščine

30

Pri izdelavi jezikovnih virov IMP so sodelovali:
Kozma Ahačič, Tina Benčina, Katja Cingerle, Metod Čepar, Darja Fišer,
Miran Hladnik, Alenka Jelovšek, Urška Kamenšek, Alenka Kavčič Čolić,Domen Kermc, Maša Kodrič, Simon Krek, Nina Mikulin, Matija Ogrin, DašaPokorn, Zala Šmid, Ines Vodopivec in Maja Žorga Dulmin.

Hvalla Vam na poſornoſti!