Hitzen zerrendak maiztasunaren arabera

**Hitzen zerrendak maiztasunaren arabera**, testu bateko corpus batzuen hitzak bere maiztasunaren arabera multzokatzen eta sailkatzen duten listak dira, mailen arabera edo sailkatutako zerrenda gisa, hiztegia eskuratzeko xedea betetzen dutenak. Hitzen maiztasuna eta hiztegiaren ezagutza garrantzia handia izan dute beti hizkuntza berri bat ikasterako orduan eta testu desberdinak idazteko, honek testu baten berezitasuna neurtzeko balio zaigulako. Zenbat eta hitz desberdin eta sinonimo gehiago erabili, artikuluaren hiztegia eta kalitatea hobetuko da. Nahiz eta testua zuzena izan, beti egokiagoa da hitz desberdin anitz aurkitzea eta ez izatea testu errepikakorra, bai kontzeptuen aldetik, bai hitzen aldetik. Maiztasunen araberako hitz-zerrenda batek ikasleei hiztegia ikasteko ahaleginari etekinik onena ateratzeko balio digu, baina batez ere idazleei zuzenduta egon daiteke ere bai, betidanik idazterako orduan hau erronka bat izan delako, hitzak ez errepikatzea eta sinonimoak bilatzea. Maiztasun zerrendak helburu lexikografikoetarako ere egiten dira, hitz arruntak kanpoan uzten ez direla ziurtatzeko kontrol zerrenda moduko gisa. Ezagutzen da hitzen maiztasunak hainbat efektu dituela.

Akats garrantzitsu batzuk corpusaren edukia, corpus erregistroa eta "hitzaren definizioa dira". Hitzen zenbaketa mila urtekoa bada ere, oraindik eskuz egindako analisi erraldoia egin da XX. Mendearen erdialdean, corpus handien hizkuntza naturalaren prozesamenduak elektronikoki , hala nola filmen azpitituluak (SUBTLEX megastudy) ikerketa eremua azkartu du. Hainbat ikerketa daude gaur egun honen inguruan, eta metodologia batzuk sortu eta garatu dira maiztasuna aztertzeko. Hizkuntzalaritza konputazionalean, **maiztasun-zerrenda** hitzen zerrenda (hitz motak) eta horien maiztasunarekin batera ordenatuta dago, eta maiztasunak hemen corpus jakin bateko agerraldi kopurua esan nahi du normalean, eta hortik sailkapena zerrendako posizio gisa atera daiteke. Maiztasun-zerrenden eraikuntzan eragina duten hainbat gai nagusi hauek dira: corpusaren adierazgarritasuna, hitzen maiztasuna, hitz familien tratamendua, hizkeren eta adierazpen finkoen tratamendua, informazio sorta eta beste hainbat irizpide. 

Aipatu bezala hizkuntza berri bat ikasterako orduan hiztegia ikastea erronka garrantzitsua da, baina benetan zenbat hiztegi jakin behar da hizkuntza berri bat ondo ikasteko? Galdera honi erantzuteko honako puntuak kontuan izan behar dira: ea zenbat hitz dauden xede-hizkuntzan, jatorrizko hiztunek zenbat hitz ezagutzen dituzten edota zenbat hitz behar diren hizkuntza erabiltzaile batek egin behar dituen gauzak egiteko. Hizkuntza baten gaitasunei erreparatzen badiegu, hiztegia ezagutzea askotariko gaitasun bat izango litzateke, baina ez da nahikoa hizkuntza ondo menderatzeko. Hurrengo puntuan maiztasun handiko hitzen baliabideen zerrenda garatzeko kontuan hartu beharko liratekeen hainbat faktore aztertzera pasako gara. 

## Metodologia 
=== Faktoreak  ====
[thumb|[:en:Personal_pronoun|Izenordain pertsonalen maiztasuna hizkeran eta idazkeran]]
Gaur egun eskuragarri dauden testu gehienak idatzizko corpusetan daude oinarrituta, errazagoak  prozesatzeko eta eskuratzeko. Hizkuntzalaritzan eta hizkuntzaren prozesamenduan, corpus edo testu-corpusa nolabait egituratutako testu sorta handi bat da. Hizkuntza deskribatzeko eta ikertzeko baliatzen da, hizkuntza-datu bilduma gisa, lexikoaren, morfosintaxiaren edo semantikaren aldetik.

Corpus mota desberdinak daude:

* **Testu-artxiboak**. Testu osoak, berezko interesa dutenak. Idatzizkoak eta grabaziozkoak izan daitezke, adibidez literatura obrak, errefrau bildumak, bertso txapelketen grabazioak, ipuin kontaketak eta abar.
* **Testu-corpusak**. Helburu linguistiko batekin osatzen diren bildumak. Testu aztertugabeak. Praktikan testu idatziei baino ez dagokie.
* **Corpus monitore**ak. Euskaltzaindiaren Lexikoaren Behatokikoaren modukoak hizkuntzaren erabilera hurbiletik jarraitzeko helburua duena.
* **Corpus etiketatuak**. Linguistikoki markatutako testuak (lemak, etiketa morfosintaktikoak, lokuzioak, informazio morfologikoa, sintaktikoa...)
* **Erreferentzia-corpusak**. Hizkuntzaren erabilerari dagokio.
* **Datu-base linguistiko bereziak**. Hizkuntza atalen arabera egituratuak (lexikoa, morfologia, joskera).
* **Corpus elebidunak**. Bi corpus dira bi hizkuntzatan, bata bestearen itzulpena denean.
* **Corpus konparagarriak**. Bi corpus dira bi hizkuntzatan, baina ez dira esaldiz esaldi edo paragrafoz paragrafo paraleloak. Gai beraren ingurukoak, urte berekoak, iturri antzekoetatik hartutakoak dira, baina ez dago korrelazio zuzena bien arteko zaten artean.
* **Hizketa-corpusak**. Ahozko seinaleekin egindako grabazioak.

#### SUBTLEX mugimendua 
New et al. 2007an lineako azpititulu ugari aprobetxatzea proposatu zen hitzaldi ugari aztertzeko. Brysbaert & New 2009-k testuen analisi tradizionalaren ikuspegiaren ebaluazio kritiko luzea egin zuen, idatzizko corpusaren analisitik ahozko corpusaren analisira eta sarean eskuragarri dauden film irekien azpidatziei esker. Azkenaldian jarraipen azterketa gutxi batzuk egin dira , hizkuntza anitzetarako maiztasun zenbaketa azterketa baliotsua eskaintzen baitute. Izan ere, SUBTLEX mugimenduak bost urtean amaitu zituen frantseserako , ingeles amerikarra, holandarra , txinera, gaztelania, grekoa, vietnamera, portuges brasildarra eta portugesa portugesa, albaniera eta poloniera. SUBTLEX-IT datu gordinak soilik eskaintzen dira.

#### Unitate lexikoa 
Nolanahi ere, oinarrizko "hitza" unitatea definitu beharko litzateke. Idazkera latinezkoetan, hitzak karaktere bat edo gehiago izan ohi dira zuriunez edo puntuazioz bereizita. Baina salbuespenak sor daitezke, hala nola ingelesez 'can't', frantsesez 'aujourd'hui' edo esamoldeak. Nahiago izan liteke hitz familia baten hitzak taldekatzea bere oinarrizko hitzaren irudikapenaren pean. Beraz,  possible, impossible, possibility hitz familia bereko hitzak dira, ** possib ** oinarrizko hitzak adierazten dituenak. Xede estatistikorako, hitz horiek guztiak ** possib ** oinarrizko hitz formarekin laburbiltzen dira, kontzeptuaren eta forma agerraldiaren sailkapena ahalbidetuz. Gainera, beste hizkuntza batzuek zailtasun zehatzak izan ditzakete. Hori da txineraren kasua, hitzen arteko tarteak erabiltzen ez dituena, eta hainbat karaktereko kate zehatz bat karaktere bakarreko hitzen esaldi gisa edo karaktere anitzeko hitz gisa interpretatu daiteke.

#### Estatistikak 
Badirudi Zipf-en legeak edozein hizkuntza naturaletako testu luzeagoetatik ateratako maiztasun zerrendetarako balio duela. Maiztasun-zerrendak tresna erabilgarria dira hiztegi elektronikoa eraikitzeko orduan, eta hori ezinbesteko baldintza da hizkuntzalaritza konputazionalean aplikazio ugarirako.

Hizkuntzalari alemaniarrek zerrendako elementu baten *Häufigkeitsklasse* (maiztasun klasea) N definitzen dute bere maiztasunaren eta maizeneko elementuaren arteko proportzioaren 2 logaritmoa erabiliz. Elementu arruntena 0 maiztasun klasekoa da eta gutxi gorabehera maiztasunaren erdia den edozein elementukoa da 1. klasean. Goiko adibideko zerrendan, gaizki idatzitako outragious hitzak 76/3789654 ratioa du eta 16. klasekoa.

N=[0.5-\log_{2}( \left ( \frac{Maiztasuna \ elementu \ honetan}{Maiztasuna \ elementu \ komunetakoa} \right ) )]

Maiztasun-zerrendak, sare semantikoekin batera, konpresio semantikoko prozesuan beren hiperonimoek ordezkatu beharreko termino espezializatu eta ohikoenak identifikatzeko erabiltzen dira.

#### Pedagogia 
Zerrenda horiek ez daude ikasleei zuzenean emateko asmoz, irakasle eta testu-liburuen egileentzako jarraibide gisa balio dezaten (Nation 1997). Paul Nation-en hizkuntzen irakaskuntza modernoaren laburpenak "maiztasun handiko hiztegitik eta helburu berezietatik [gaikako] hiztegitik maiztasun txikiko hiztegira igarotzera bultzatzen du, ondoren ikasleen hiztegia hedapen autonomoari eusteko estrategiak irakastera" (Nation & 2006la).

## Hitzen maiztasunaren efektuak 
Ezagutzen da hitzen maiztasunak hainbat efektu dituela (Brysbaert et al. 2011 ; Rudell 1993). Memorizazioan positiboki eragiten du hitzen maiztasun handiak izatea, litekeena da ikaslea esposizio gehiagoren mende dagoelako (Laufer 1997). Sarbide lexikoan hitz maiztasun altuak eragin positiboa du, hitzen maiztasun efektua izeneko fenomenoa (Segui et al.). Hitzen maiztasunaren efektua eskuratzeko adinaren efektuarekin lotuta dago, alegia, zein adinekin ikasi hitza.

## Hizkuntzak 
Jarraian eskuragarri dauden baliabideen berrikuspena dago.

### Ingelesa 
Informazio gehiago: *Ingeleseko hitz ohikoenak*

Hitzen kontaketa garai helenistikoa da . Thorndike & Lorge-k, lankideek lagunduta, 18.000.000 hitz zenbatu zituzten 1944an eskala handiko lehen maiztasun zerrenda emateko, ordenagailu modernoek horrelako proiektuak askoz errazago egin aurretik (Nation 1997).

#### Zerrenda tradizionalak 
Horiek guztiek adina pairatzen dute. Bereziki, teknologiarekin lotutako hitzak, esate baterako, "bloga", 2014an # 7665 maiztasunarekin   Corpus of Contemporary American English ,  1999an egiaztatu zen lehenengo aldiz,   70 gramatikako hitzek komunikazio perpausaren% 50 osatzen dutela diote eta 3.680 hitzek estalduraren% 95 ~ 98 inguru osatzen dute. 3.000 hitz maiz osatutako zerrenda dago eskuragarri.

Frantziako Hezkuntza Ministerioak Étienne Brunet lexikologoak emandako 1.500 hitz-familien zerrenda sailkatua ere eskaintzen du.  Jean Baudotek American Brown ikerketaren ereduari buruzko ikerketa bat egin zuen, "Fréquences d'utilisation des mots en français écrit contemporain" izenburupean.

Duela gutxi, Lexique3 proiektuak 142.000 frantses hitz eskaintzen ditu, ortografia, fonetika, silabazioa, hizkera zati bat, generoa, iturri corpuseko agerraldi kopurua, maiztasun maila, lotutako lexemak, etab. CC-by- lizentzia irekiarekin eskuragarri. sa-4.0. 

; Azplexua

Lexique3 hau azterketa jarraitua da eta hortik sortu da goian aipatutako Subtlex mugimendua. 2007 berriak zenbaketa guztiz berria egin zuen lineako filmen azpitituluetan oinarrituta.

### Gaztelania 
Artikulu nagusia: *gaztelaniazko hitz arruntenak*

Gaztelaniazko hitzen maiztasunari buruzko hainbat ikerketa egin dira (Cuetos et al. 2011). 

### Txinera 
Txinako corpusak aspalditik aztertu dira maiztasun zerrenden ikuspegitik. Txinako hiztegia ikasteko modu historikoa karaktereen maiztasunean oinarritzen da (Allanic 2003). John DeFrancis sinologo estatubatuarrak bere garrantzia aipatu zuen txinerarako atzerriko hizkuntzak ikasteko eta irakasteko gisa, ''Why Johnny Can't Read Chinese'' liburuan (DeFrancis 1966). Maiztasunerako tresna-multzo gisa, Da (Da 1998) eta Taiwango Hezkuntza Ministerioak (TME 1997) datu base handiak eskaintzen zituzten karaktere eta hitzen maiztasun mailekin. The HSK 8.848 handiko eta ertain frekuentzia hitz zerrendan Txinako Herri Errepublika, eta Herri Errepublika (Taiwan)k TOP ohikoa txinera tradizionalez hitz 8.600 inguru zerrenda beste bi zerrenda ohikoa Txinako hitz eta karaktere bistaratzen dira. SUBTLEX mugimenduaren ondoren, duela gutxi Cai & Brysbaert 2010- ek txinatar hitz eta karaktere maiztasunen inguruko ikerketa aberatsa egin zuen.

### Beste 
Wikipedia edo corpus konbinatuetan oinarritutako hizkuntza desberdinetan gehien erabiltzen diren hitzak. 

## Ikusi ere 
* Letren maiztasuna
* Hitz arruntenak ingelesez
* Isats luzea
* Google Ngram Viewer - hitzak / esaldien maiztasunean (eta maiztasun erlatiboan) denboran zehar izandako aldaketak erakusten ditu.

## Erreferentziak 
## Kanpo estekak