Brown Corpusa

Brown University Standard Corpus of Present-Day American English (edo, besterik gabe, Brown Corpus) ingeles amerikarraren testu-laginen bilduma elektronikoa da, hainbat generotako lehenengo corpus egituratu garrantzitsua. Corpus horrek, hizkuntzaren eguneroko erabileran, hitz-kategorien maiztasuna eta banaketa zientifikoki aztertzeko erreferentziazko marra ezarri zuen. Rhode Island-eko Brown Unibertsitatean, Henry Kucun-ek eta W. Nelson Francis-ek konpilatuta, hizkuntza orokorreko corpusa da, eta ingelesezko 500 lagin ditu, guztira milioi bat hitz inguru, 1961ean Estatu Batuetan argitaratutako lanen artetik bilduak.

Historia 
1967an, Kucic enpresak eta Francis-ek Estatu Batuetako egungo ingelesaren analisi konputazionalaz liburu klasiko bat argitaratu zuten. Lan horrek Brown Corpus deritzonari buruzko oinarrizko estatistikak eman zituen.

Brown Corpusa gaur egungo Estatu Batuetako ingelesaren  kontu handiz egindako laginketa izan zen, eta iturri askotatik ateratako milioi bat hitz bildu zituen. Kuderak eta Francisek analisi konputazional ugari egin zizkioten, eta haietatik abiatuta lan aberatsa eta askotarikoa egin zuten, hizkuntzalaritza, psikologia, estatistika eta soziologiako elementuak konbinatuz. Asko erabili izan da hizkuntzalaritza konputazionalean, eta urte askoan izan da baliabide aipatuenen artean.

Lehen analisi lexikostatikoa argitaratu eta gutxira, Bostoneko editore Houghton-Mifflin jo zuen Kudera-gana milioi bat hitz emateko, hiru leroko zitazio-base bat bat Ondare Amerikarraren Hiztegi berrirako. Hiztegi berritzaile berri hori, 1969an lehen aldiz agertu zena, corpusaren hizkuntzalaritzako hitzak eta hitzen erabileraren frekuentzia-informazioa  erabili zituen lehen hiztegia izan zen.

Hasierako Brown Corpusa bere hitzak besterik ez zituen, eta bakoitzari kokapen-identifikatzaile bat. Hurrengo urteetan hitz bakoitzari bere kategoria morfologiko gehitu zitzaion. Greene eta Rubinen etiketatze-programak (ikus etiketatzearen adibidea) asko lagundu zuen horretan, baina akats-tasa handiak esan nahi zuen eskuzko berrikuspen zabala behar zela.

Brown Corpus etiketatuak hizketaren 80 kategoria morfologko inguru erabili zituen, bai eta forma konposatuetarako, laburduretatako, atzerriko hitzetarako eta beste fenomeno batzuetarako adierazle bereziak ere, eta eredu bat osatu zuen ondorengo testu-corpus askorentzat, hala nola Lancaster-Oslo-Bergen Corpus (ingeles britainiarra 90eko hamarkadaren hasieratik) eta Freiborg-Brown Corpus amerikar ingelesa (FROWN). Corpusaren etiketatzeari esker, analisi estatistiko askoz sofistikatuagoak egin ziren, hala nola Andrew Mackiek programatutako lana, eta gramatika ingelesari buruzko liburuetan dokumentatua.

Emaitza interesgarrietako bat da, lagin handi samarretan ere, hiperbola bat azaltzen dela grafiko batean ardatz batean jartzen badira hitz bakoitza corpus osoan zenbatetan azaldu den (maiztasuna) eta beste ardatzean hitzak maiztasunaren araberako ordena beherakorrean. Horrela ikus daiteke n-garren hitzaren maiztasuna 1/n-rekiko proportzionala da, gutxi gorabehera. Hala, "the" Brown Corpusaren  ia %7 da, "to" eta "of" beste %3 baino gehiago; 50.000 hitz inguruko hiztegi osoaren erdia, berriz, hapax legomena dira, hau da, corpus osoan behin bakarrik azaltzen diren hitzak dira. Hitak lista horretan duen posizioa (n) eta maiztasunaren arteko erlazio sinple hori George Kingsley Zipf nabarmendu zuen (adibidez, ikus The Psychobiology of Language (Hizkuntzaren Psikobiologia) ), eta harrezkero Zipf-en legea esaten zaio.

Brown Corpusa corpuseko hizkuntzalaritzaren aitzindari izan zen arren, 2020an erabiltzen diren corpusak (Corpus of Contemporary American English, the British National Corpus or the International Corpus of English) ) askoz handiagoak dira. Milaka milioi hitz inguru batzen dituzten corpusak badira. 

Ingelesa barne hartzen duten corpus paraleloei dagokienez, Googlek 2005ean abiatutako itzulpen automatikoko sistema 200.000 milioi hitzeko corpus baten gainean entrenatu zen.

Laginaren banaketa 
Corpusak 500 lagin ditu, 15 generotan banatuta daudenak, 1961ean genero horietako bakoitzean argitaratutako testu kopuruaren arabera. Lagindutako lan guztiak 1961ean argitaratu ziren, eta amerikar ingeleseko jatorrizko hiztunek idatzi zituzten.

Lagin bakoitza ausazko muga batean hasi zen artikuluan edo aukeratutako beste unitate batean, eta lehenengo esaldira arte jarraitu zuen 2.000 hitzen ondoren. Oso kasu gutxitan, okerreko zenbaketen ondorioz, laginak 2.000 hitz baino zertxobait gutxiagokoak ziren.

Datuak kaxa nagusiko keypunch-makinetan sartu ziren jatorrian; letra larriak aurreko izartxo batek markatzen zituen, eta zenbait elementu berezik, hala nola formulak, kode bereziak zituzten.

Corpusak hasieran (1961), 1.014.312 hitz zituen, 15 testu-kategoriatakoak:

 A. PRENTSA: txostena (44 testu)
 Politika
 Kirolak
 Gizartea
 Albisteen iragarkia
 Finantzak
 Kulturala
 B. PRENTSA: Argitaletxea (27 testu)
 Erakundearen egunkaria
 Langileak
 EDitorearentzako gutunak
 C. PRENTSA: Aipamenak (17 testu)
 antzerkia
 liburuak
 musika
 dantza
 D. ERLIJIOA (17 testu)
 Liburuak
 Aldizkako argitalpenak
 Trakt-ak
 E. GAITASUNAK ETA DENBORA-PASAK (36 testu)
 Liburuak
 Aldizkako argitalpenak
 F. HERRIKOIAK (48 testu)
 Liburuak
 Aldizkako argitalpenak
 G. BELLES-LETTRES - Biografia, memoriak, etab. (75 testu)
 Liburuak
 Aldizkako argitalpenak
 H. BESTELAKOAK: Gobernua eta Estatu Batuetako etxeko organoak (30 testu)
 Gobernuaren dokumentuak
 Fundazioaren txostenak
 Industriaren txostenak
 Unibertsitateen katalogoa
 Industry Houseko organoa
 J. IKASIAK (80 testu)
 Natur Zientziak
 Medikuntza
 Matematika
 Gizarte eta Portaera Zientziak
 Zientzia Politikoa, Zuzenbidea, Hezkuntza
 Giza zientziak
 Teknologia eta Ingeniaritza
 K. FIKZIOA: Orokorra (29 testu)
 Eleberriak
 Istorio laburrak
 L. FIKZIOA: Misterioa eta Detektibezko Fkzioa (24 testu)
 Eleberriak
 Istorio laburrak
 M. FIKZIOA: Zientzia (6 testu)
 Eleberriak
 Istorio laburrak
 N. FIKZIOA: Abentura eta Mendebaldea (29 testu)
 Eleberriak
 Istorio laburrak
 P. FIKZIOA: Maitasun-istorioak (29 testu)
 Eleberriak
 Istorio laburrak
 R. UMOREA (9 testu)
 Eleberriak
 Saiakuntzak, etab.

Kategoria morfologikoen etiketak

Euskarazko lehen testu-corpusak 
Euskarari dagokionez, 2021ean baziren 300 mila milioi hitz dituzten corpusak. Lexikoaren Behatokia Corpusak 98 milioi hitz zituen. Egungo Testuen Corpusak (ETC) guztira 355,4 milioi testu-hitz zituen 2021ean, eta Elhuyarren Web Corpusen Atari elebakarrak 300 milioi.

Euskarazko lehen testu-corpusa (Euskaltzaindiaren Orotariko Euskal Hiztegiaren testu-corpusa) 1984an egin zen eta 4,6 milioi hitz ditu. Euskaltzaindiak berak egindako XX. Mendeko Euskararen Corpus Estatistikoa 2002an amaitu zen, 6 milioi hitzekin. Elhuyar Fundazioak eta EHUko IXA Taldeak Zientzia eta Teknologiaren Corpusa atera zuten 2006an, 9 milioi hitzekoa. EHUk ere urte horretan egin zuen Ereduzko Prosa Gaur deituriko corpusa, gaur egun 25,1 milioi hitzez osatua. Euskaltzaindiaren Lexikoaren Behatokia 2010ean abiarazi zen, eta egun 26,5 milioi hitz ditu. Corpus paraleloei dagokienez, itzulpen-enpresek dituzte ziurrenik horrelako handienak euren itzulpen-memorietan. Baina publikoarentzat eskuragarri eta hizkuntza-teknologietan erabiltzeko moduan oso gutxi daude; erakunde publiko (HAEEren Itzulpen Zerbitzu Ofiziala, Gipuzkoako Foru Aldundia, Bizkaiko Foru Aldundia...) edo bokazio sozialeko elkarte (EIZIE, Librezale) batzuetako itzulpen-zerbitzuen itzulpen-memoriak eta Eroskiren Consumer aldizkariko corpusa dira erreferentzia bakarrak, baina denak 5 milioi hitzen azpitik daude.

Geroago Igor Leturiak 2014an Interneten euskaraz zeuden gune gehienak arakatu eta aztertu zituen. 100 milioi hitz etik gorako kalitatezko corpusak bildu zituen eta testu mardul horiek oinarri izan ziren gero Elhuyarren Web-corpusen Ataria zerbitzua sortzeko (Dabilena izena du 2021etik), Internetetik automatikoki eratutako corpus horiek kontsultagai jartzeko. Atari horretan, Leturiaren bildutako testuaz gain, Iñaki San Vicentek eta Iker Manterolak bildutako corpus paraleloak eta Antton Gurrutxagak bildutako kolokazioak ere integratu ziren. Bestalde, Weba euskarazko corpus gisa kontsultatzeko tresna bat egin eta online jarri zuen, CorpEus izenekoa, eta hainbat domeinutako corpus espezializatu eta konparagarriak ere eskuratu zituen Leturiak bere doktore-tesian, geroago terminologia-erauzketan erabili zirenak.

Erreferentziak

Bibliografia 
 Nerea Areta, Antton Gurrutxaga, Igor Leturia Begiratu bat corpus-baliabideei, BAT 66. 2008 (1)
  Martí Antonín, M.A.(Koord.: Tecnologías del lenguaje, Editorial UOC, Bartzelona, 2003.

Ikus, gainera 
 LOB Corpus, brown Corpusaren antzekoa  baina ingeles britainiarrekoa
 British National Corpus

Kanpo estekak 
  Brown Corpusaren eskuliburua
  Deskargatu Brown Corpusa
  Bilatu, Sketch Engineren bidez, TreTagger v2-ren Brown Corpus Annotated n
  Borwn Corpusaren etiketa multoa xehetasun gehiagorekin
  Python softwarea, Brown corpusera sarbide egokia izateko
  PHP (Kategoria morfologikoen zatia)
 Hizkuntzalaritza konputazionala. Udako Euskal Unibertsitatea 2005 ISBN 84-8438-065-3. PMC 433085530. (Noiz kontsultatua: 2022-02-11).

1961eko lanak
Ikerketa hizkuntzalaritzan
Hizkuntzalaritza aplikatua
Ingelesezko corpusak