Korpuso

Korpuso (aŭ tekstaro) estas ekstreme ampleksa aro da tekstoj aŭ transskribitaj parolregistraĵoj en elektronika versio, kiun oni uzas kiel tuton por studo. Komputiko ne necesas, sed tre faciligas la pretigon kaj uzon de tekstaroj. Ili provizas informojn pri certa lingvo per la uzo de speciala programaro.  

Multaj lingvistoj insistas, ke tekstaro devas esti morfologie markita por ebligi serĉon de gramatikaj formoj en kuntekstoj.

 Celoj 
Sama tekstaro povas taŭgi por pluraj celoj. En la
tekstoj oni eble serĉos ekzemplojn de vortuzo por
vortarfarado por
stilesploro, oni eble atentos oftecon de
esprimoj por lingvevolua, filologia enketo,
aŭ el ne lingvistika vidpunkto, oni
rigardos ĝin materialo por historio aŭ
socioscienco.

 Tipoj 
Preparante korpuson oni laŭ la ebloj kaj celoj elektas
la kvantojn kaj specojn de tekstoj. Kvantojn oni mezuras
per vortnombroj. Tekstospecojn oni prefere variigas, se la
tekstaro estas por ĝenerala lingvesploro: gazetaĵoj,
beletraĵoj, sciencaj artikoloj, kompaniaj raportoj,
leteroj... male oni striktigas la elekton se la celo
specialas: leteroj kaj privataj dokumentoj se oni observas
spontanean parolon, politikaj paroladoj kaj komentoj se oni
havas ian sociologian celon, samspecaj tekstoj el sinsekvaj
epokoj se oni esploras lingvan evoluon...

Simpla kunmeto de dokumentoj ne estas korpuso. Minimume la
tekstoj ricevu unu saman komputan strukturon, iliaj
lingvo, dato, aŭtoro aŭ deveno estu laŭeble klare kaj
unuece indikitaj laŭ bibliografia normo,
kaj bazaj esplorrimedoj estu provizitaj: nombradoj,
indeksoj, serĉiloj...

Pro tio, kaj ankaŭ por faciligi la komparon de rezultoj de
esploroj super pluraj tekstaroj, oni provis normigi la
prezentaĵojn, ordinare surbaze de sgml aŭ
xml. La tekstokoda iniciato, mallonge angle TEI,
estas tia sufiĉe konata normo komencita en la jaro 1988, sed
ĝi ne estas la sola.

La lingvistikaj bezonoj ne limiĝas je haveblo de vortoj.
Ofte lingvistoj bezonas pliajn informojn pri
vortklasoj, vortroloj aŭ aliaj
gramatikaĵoj, kaj ankaŭ aliaj sciencistoj pli facile
studas la temojn de tekstoj se antaŭanalizo estas
provizita. Tial oni distingas inter 

 senmarkaj tekstaroj el nudaj dokumentoj nur formate glatigitaj, kaj 
 markhavaj tekstaroj en kiuj vortojn, frazojn aŭ aliajn erojn akompanas kritikaj informoj. La markojn oni ĵargone nomas etikedoj.

 Problemoj 
Perfekte tipa, kompleta tekstaro ne vere ekzistas, ĉar la kvanto de
diversspecaj tekstoj en la mondo ne estas superrigardebla.
Tekstaro necese entenos 0, 10 aŭ 36 elcentojn da gazetaj
artikoloj, sed aserti ke en iu lingvo ekzistas tia aŭ tia
elcento da gazetaj tekstoj simple sensencas.

Eĉ en tre granda tekstaro, iuj lingvaj fenomenoj maloftas
kaj sekve aperas nur en hazardaj kuntekstoj. La sama
esploro super diversgrandaj tekstaroj ofte rezultas
malsimile. La ĝusta interpreto de tekstaraj esploroj do
komence facilas, sed baldaŭ necesigas almenaŭ prudenton,
kaj pli bone statistikan kompetenton.

Ju pli detala la teksta markado des pli malalta estas la precizo de la etikedoj.Renate Reichardt, Valency sentence patterns and meaning interpretation, https://etheses.bham.ac.uk/id/eprint/4645/

 Ekzemplaj korpusoj 
Danke al la teĥnika progreso komputaj tekstaroj aperis fine de la 1960-aj jaroj kaj iĝis vaste uzataj en la 1990-aj kun
interreta aliro.

Frua epokfara ekzemplo estis la Brown-universitata korpuso de nuntempa usonangla lingvo,
el la fino de la 1960-aj, kiu estis la unua atingi unu milionon da vortoj. Ĝi estas
markhava tekstaro kun propra sortimento de lingvosciencaj vortklasaj markoj.

 Esperantaj korpusoj 
La plej grava tekstaro de Esperanto estas la "Tekstaro de Esperanto", kiu estas pure skriblingva kaj, en novembro 2018, enhavis 5.177.208 da vortoj.Tekstaro de Esperanto, https://tekstaro.com/ Nuntempe ESF financas projekton por krei parollingvan korpuson (EPAK). Pli ampleksa ol la "Tekstaro de Esperanto" estas la tekstaro de Eckhard BickCorpuseye https://corp.hum.sdu.dk kun 18 milionoj da vortoj; ĝiaj tekstoj tamen estas malpli atenteme kolektitaj, kaj ĝi havas multe malpli da serĉfunkcioj ol la "Tekstaro de Esperanto". 

Ankaŭ OSCAR project (Open Super-large Crawled Aggregated coRpus) kiu estas malfermfonta projekto celanta disponigi ret-bazitajn plurlingvajn rimedojn kaj datumarojn por maŝinlernado (ML), haveblas en 166 lingvoj, interalie en Esperanto. Aplikoj de Artefarita Intelekto (AI) kiel ekzemple por EsperBerto, uzas ankaŭ Esperanton por trejni novan lingvan modelon de nulo(en) Julien Chaumond, How to train a new language model from scratch using Transformers and Tokenizers, Hugging Face, la 14-an de februaro 2020..

 Korpuso de revuoj en Esperanto 
Jesper Lykke Jacobsen en artikolo "Pri la utilo krei grandegan korpuson de revuoj en Esperanto", aperinta en Literatura Foiro (aŭgusto 2024), anoncis ke li helpe de Simon Davies sciis fari kolekton de inter 150 kaj 200 milionoj da vortoj alirebla per serĉilo. La kolekto enhavas ĉiujn jarkolektojn de 63 Esperanto-revuoj.

 Referencoj 

 Vidu ankaŭ 

 Korpusa lingvistiko
 Komputila lingvistiko
 Tekstaro de Esperanto
 Tradukscienco

 Eksteraj ligiloj 
 Serĉilo por la Tekstaro de Esperanto
 Tekstaro de Eckhard Bick
 Interreto uzata kiel tekstaro 
 korpuso de la Esperanta Vikipedio - senmarka, sed libere elŝutebla
 (en) Projekto OSCAR

Kategorio:Lingvoscienco
Kategorio:Komputila lingvistiko