Literofteco

Literofteco estas la ofteco de la diversaj literoj de la alfabeto en teksto. Tia ofteco ege varias — unue de litero al litero ene de la apliko de specifa alfabeto por specifa lingvo, due la literoftecoj range malsamas de lingvo al lingvo. Ekzemple en Esperantaj tekstoj la plej ofta litero estas A. Tre malofta estas aliflanke la litero Ĥ. Kontraste, en Anglaj kaj FrancajScienca junrevuo Les Débrouillards, aprilo 2005 (2006?), pri libroj tekstoj la plej ofta litero estas E. Do oni devas pritrakti literoftecon por ĉiu lingvo aparte.

 Graveco 
300px|dekstra|eta|Parto de la ĉifraĵo en La dancantoj
Koni la literoftecon de lingvo estas utile, se oni volas malĉifri tre simplan litersubstituan ĉifron. La angla aŭtoro Arthur Conan Doyle lasas sian protagoniston Sherlock Holmes en la rakonto La aventuro de la dancantojThe adventure of the dancing men, Esperanto-versio: La aventuro de la dancantoj fari ĝuste tion.

La saman malĉifradan metodon oni povas apliki por solvi la proverboĉifrojn, kiuj iam kaj iam aperas en kelkaj E-gazetoj, ekz. Monato, La Gazeto. Tie kaŝiĝas konata proverbo malantaŭ simpla litersubstitua kodo. Jen ekzemplo:
Ω▼♀☺♣€₤ €→ †☼♂₤ #₤♫→§@☼Ø♣± €→ ∩ #♣Ω₤

dekstra|eta|150px|Morsa kodo
Aldone estas menciinde, ke la Morsa kodo baziĝas sur la Anglaj literoftecoj. Pro tio la plej mallongdaŭra kodero — unusola punkto — estas uzata por la ege ofta litero E. Post tio venas — unusola streko — por T.

Literofteco rolis ankaŭ en la presado. En la epoko de pure meĥanika relieftipa presado la fakoj de la kompostkesto por la oftaj literoj devis enteni pli da tipoj por ĉiam povi komposti tutan paĝon. Do ĉiu tiama kompostisto tre konsciis pri literofteco.

Plie, literofteco rolas en la stenografio kaj, pli moderne, ĝi rolas — aŭ almenaŭ devus roli — en la aranĝo de klavaro por tajpi. Klavoj por oftaj literoj prefere troviĝu ie meze. La Dvoraka klavaro kaj kelkaj tiel nomataj ergonomiaj klavaroj strebas ĉi-direkte. Ili klopodas, interalie, per pli konvena klavarfasono helpi eviti la trouzan manartikan malsanon, je kiu multskribantoj ofte suferas.

Komputile, ankaŭ programetoj celantaj kunpremi tekstdosierojn atentas pri literofteco – aŭ ĉi-kaze, eble pli trafe – pri signo-ofteco.

150px|dekstra|eta|Ludo Pendigisto
Ankaŭ lude literofteco havas sian lokon. Kiel fabrikanto de la ludo Skrablo oni elektu la nombron da tegetoj laŭ ofteco kaj simile la nombron da poentoj por litertegeto laŭ malofteco. Lastvice, tiu, kiu ludas PendigistonHangman Angla priskribo de Pendigisto kaj parkere scias la oftecrangon de la literoj, povos ĉiam senpene pendigi sian tutan amikaron, mem divenante ĉiun prezentitan vorton.

Por kalkuli la oftecon de ĉiu litero, oni evidente devas nombri la ĉeestojn de ĉiu litero de la alfabeto en tre longa teksto — fakte, prefere en granda aro de tekstoj. Tiuj konsistigas la tekstkorpuson — do la specimenon esplorotan. Hodiaŭ oni faras tion ne plu permane, sed per komputilo.

 Esperanto 
 Literofteco 
Grafikaĵo montranta oftecon de literoj en Esperanto laŭ studoj de Pejno Simono, Ottó Haszpra kaj David G. Simpson, kaj averaĝan oftecon kalkulitan laŭ tiuj tri studoj.

eta|Literofteco de la esplorata tekstkorpuso de Pejno Simono.

La sondaĵo de Pejno Simono efektiviĝis baze de la Esperanta enhavo en liaj tiamaj retejo kaj laborkomputilo ĉirkaŭ la jaro 2000. Jen dekstre troviĝas la ofteco en elcentoj en specimeno de 355 381 literoj. Ĝi entenis ĉefe artikolojn kaj rakontojn por la revuo Monato kaj por la . Pro tio aperis ankaŭ ne-Esperantaj literoj en la specimeno.

Por la matematikistoj inter la legantoj, jen la konfidintervaloj por kelkaj oftecoj.

eta|maldekstra|Konfidintervaloj je 95% por kelkaj diversaj niveloj de verŝajneco.

La interpreto de la maldekstra tabelo pri la konfidintervaloj malsekretas, ke la valoroj por R, S, L kaj T estas tiel proksimaj, ke oni ne povas fidi pri la ekzakta vicordo de la kvar.

Apenaŭ diverĝanta statistiko troviĝas en Informadika Aspekto de Interlingvisto , plume de LIU Haitao baze de specimeno kun 496 196 literoj. La aŭtoro prezentas la sekvan tabelon pruntitan de Ottó Haszpra :

 a 12,59 s 5,91 j 2,71 ĉ 0,67 i 9,36 t 5,50 v 1,87 z 0,52 e 8,99 k 4,22 g 1,28 ŭ 0,51 o 8,80 u 3,36 b 1,15 h 0,50 n 7,79 m 3,06 f 1,09 ŝ 0,35 l 6,24 d 3,04 c 0,85 ĵ 0,15 r 5,97 p 2,82 ĝ 0,69 ĥ 0,01

La plej grandan specimenon — kun ĉirkaŭ 21 647 000 literoj — esploris David G. Simpson en la jaro 2007 baze de granda tekstaro en la retejo de Bertilo Wennergren (Bertilo). La rezultoj kunmontriĝas en la diagramo komence de tiu ĉi artikolo. Ĝi liveris similajn valorojn.

Oni konstatu, ke depende de la specimenoj la precizaj valoroj varias de aŭtoro al aŭtoro.

 Vortkomenca literofteco 
La literofteco de la vortkomencaj literoj normalokaze konsiderinde diverĝas de la ĝenerala literofteco. Por Esperanto en 2012 ĉi-tema statistikaĵo ne estis Interrete trovebla. Oni povas supozi tamen, ke la maloftaj literoj Ĉ kaj Ĝ pli ofte ĉeestas ol ĝenerale pro la ofteco de la vortoj ĉu, ĉiu, ĉi kaj ĝi. Jen rapida esploroEsploro ad hoc fare de Pejno Simono en januaro, 2012, nur por tiu ĉi Vikia artikolo helpe de la montrita Aŭkaĵo. de duone malnoveca beletra kaj duone revua tekstkorpuso.

 Vortkomencaj literoj litero  nombro  probablo K  35256   L  33874   E  22972   P  22799   D  21106   M  19160   S  18658   A  17779   T  14065   N  11884   V  10512   F  8597   I  8058   R  7802   Ĉ  6081   B  5445   Ŝ  4735   O  4633   H  4207   J  3974   G  3153   Ĝ  2586   U  2455   C  1611   Z  333   Ĵ  317   W  268   Ĥ  144   Y  46   X  34   Q  9   Ŭ  8   El 292561 vortoj

 Vortfina literofteco 
La literofteco de la vortfinaj literoj normalokaze konsiderinde diverĝas de la ĝenerala literofteco. Por Esperanto en 2012 ĉi-tema statistikaĵo ne estis Interrete trovebla. Oni povas supozi tamen, ke la literoj A, E, I, J, L, M, N, O, S, U, kaj Ŭ estas plej oftaj. Ekzistas apenaŭ vortoj en teksto, kiuj ne tiel finiĝas. Jen rapida esploro de duone malnoveca kaj duone revua tekstokorpuso.

 Vortfinaj literoj litero  nombro  probablo A  44736   O  41269   N  37089   J  35399   S  33370   E  32608   I  25295   L  9524   R  8766   U  7730   Ŭ  4616   M  4293   D  2250   T  1627   K  838   Ĉ  527   B  472   F  380   P  300   G  259   Y  214   V  210   H  178   W  168   C  154   Z  123   Ĥ  80   X  41   Ŝ  19   Ĝ  13   Ĵ  13   El 292561 vortoj

Evidente okaze de Esperanto kun ĝiaj regulaj gramatikaj finaĵoj vortfina literofteco kaj senfinaĵa radikfina literofteco apenaŭ interrilatas.

 Vortlongo 
Ankaŭ pri la distribuo de vortlongoj estis en la jaro 2012 nenie trovebla Interrete. Mallonga esploro tamen liveras la sekvantan bildon. Tre interesa estas la intermonto ĉe la longo 4.

La longegaj vortoj nombritaj estis de facto ne Esperantaj vortoj. Temis pri Germanaj vortoj, kiuj aperis en iuj adresoj en la revuo Monato, kiu konsistigis parton de la korpuso.

 Vortlongoj longo  nombro  probablo 2  72841   3  48607   4  27408   5  38472   6  28373   7  26217   8  20119   9  13123   10  7978   11  4403   12  2285   13  1352   14  672   15  328   16  132   17  52   18  64   19  39   20  24   21  17   22  2   23  1   24  1   28  1   29  1   El 292561 vortoj, mezuma vortlongo 4.85 literoj

 Korpusoj 
Rilate Esperanton estus eble aserti — kiom da korpusoj, tiom da rezultoj. Alivorte la literoftecoj dependas de la enhavo — do stilo kaj temo — de la esplorata korpuso. En Interreto estas plej ofte nur antikvaj senkopirajtaj tekstoj elŝuteblaj. Ne haveblaj estas tekstoj el modernaj revuoj. Aldone la skalo de temoj pritraktataj ne estas tre vasta.

Elstara ekzemplo de diverĝo estas la Esperanta traduko de Robinsono KrusoLetter ranking. En tiu sufiĉe ampleksa libro la plej ofta litero estas I kaj ne la A, kiun la plej multaj esplorantoj jam trovis baze de aliaj aŭ pli grandaj korpusoj. Unuavide tio estas pro tio, ke la pronomoj mi, li, ni kaj ili ege abundas ĉi-romane. Evidente, romano kun multe da dialogo — do tre oftaj frazoj kiel li diris — devas liveri aliajn rezultojn ol ekzemple scienca studo, kie la vorto mi tute ne okazas.

Surprize estas, ke la facile atingeblaj longegaj tekstoj tiugrade statistike diverĝas, ke tio influas eĉ la ĝeneralan literoftecon.

 Aliaj Latinalfabetaj lingvoj 
 Literoftecoj 
Jen grafikaĵo kaj ordigebla tabelo de la oftecoj de pluraj lingvoj.Fonto: Relative frequencies of letters in the English language kaj in other languages de la anglalingva Vikipedio.

La grafikaĵo montras la oftecon en 12 lingvoj de literoj laŭ la suba tabelo ordigitaj laŭ plej oftaj literoj entute. En unua linio aperas la 26 bazaj latinaj literoj. En dua linio aliaj literoj kun kromsignoj. En la pola literoj kun kromsignoj estas kalkulitaj kun la responda baza litero (ekzemple ł kun l )

Litero Esperanto  hispana Fletcher Pratt, Secret and Urgent: the Story of Codes and Ciphers Blue Ribbon Books, 1939, pp. 254-255. portugala  itala Simon Singh, Codici e Segreti, 1999, RCS, ISBN 88-17-12539-3 franca  angla germana Albrecht Beutelspacher, Kryptologie, 7. Aufl., Wiesbaden: Vieweg Verlagsgesellschaft, 2005, ISBN 3-8348-0014-7, p.10 nederlanda  sveda Simon Singh, Kodboken, 1999, Norstedts, ISBN 91-1-1300708-4 pola Wstęp do kryptologii, counting [space] 17.2%, [dot point] 0.9%, [comma] 0.9% and [semicolon] 0.5% turka finna   a 12.12%  12.53%  14.63%  11.74%  7.636%  8.167%  6.51%  7.49%  9.3%  8.0%  11.68%  11.9% b 0.98%  1.42%  1.04%  0.92%  0.901%  1.492%  1.89%  1.58%  1.3%  1.3%  2.95%  0.06% c 0.78%  4.68%  3.88%  4.5%  3.260%  2.782%  3.06%  1.24%  1.3%  3.8%  0.97%  0.04% d 3.04%  5.86%  4.99%  3.73%  3.669%  4.253%  5.08%  5.93%  4.5%  3.0%  4.87%  0.85% e 8.99%  13.68%  12.57%  11.79%  14.715%  12.702%  17.40%  18.91%  9.9%  6.9%  9.01%  8.21% f 1.03%  0.69%  1.02%  0.95%  1.066%  2.228%  1.66%  0.81%  2.0%  0.1%  0.44%  0.06% g 1.17%  1.01%  1.30%  1.64%  0.866%  2.015%  3.01%  3.40%  3.3%  1.0%  1.34%  0.13% h 0.38%  0.70%  1.28%  1.54%  0.737%  6.094%  4.76%  2.38%  2.1%  1.0%  1.14%  1.83% i 10.01%  6.25%  6.18%  11.28%  7.529%  6.966%  7.55%  6.50%  5.1%  7.0%  8.27%  10.64% j 3.50%  0.44%  0.40%  0.00%  0.545%  0.153%  0.27%  1.46%  0.7%  1.9%  0.01%  1.91% k 4.16%  0.01%  0.02%  0.00%  0.049%  0.772%  1.21%  2.25%  3.2%  2.7%  4.71%  5.34% l 6.14%  4.97%  2.78%  6.51%  5.456%  4.025%  3.44%  3.57%  5.2%  3.1%  5.75%  5.68% m 2.99%  3.15%  4.74%  2.51%  2.968%  2.406%  2.53%  2.21%  3.5%  2.4%  3.74%  3.30% n 7.96%  6.71%  5.05%  6.88%  7.095%  6.749%  9.78%  10.03%  8.8%  4.7%  7.23%  8.67% o 8.78%  8.68%  10.73%  9.83%  5.378%  7.507%  2.51%  6.06%  4.1%  7.1%  2.45%  5.24% p 2.74%  2.51%  2.52%  3.05%  3.021%  1.929%  0.79%  1.57%  1.7%  2.4%  0.79%  1.74% q 0.00%  0.88%  1.20%  0.51%  1.362%  0.095%  0.02%  0.009%  0.007%  -  0  0.00% r 5.91%  6.87%  6.53%  6.37%  6.553%  5.987%  7.00%  6.41%  8.3%  3.5%  6.95%  2.32% s 6.09%  7.98%  7.81%  4.98%  7.948%  6.327%  7.27%  3.73%  6.3%  3.8%  2.95%  7.85% t 5.27%  4.63%  4.74%  5.62%  7.244%  9.056%  6.15%  6.79%  8.7%  2.4%  3.09%  9.77% u 3.18%  3.93%  4.63%  3.01%  6.311%  2.758%  4.35%  1.99%  1.8%  1.8%  3.43%  5.06% v 1.90%  0.90%  1.67%  2.10%  1.628%  0.978%  0.67%  2.85%  2.4%  -  0.98%  2.52% w 0.00%  0.02%  0.01%  0.00%  0.114%  2.360%  1.89%  1.52%  0.03%  3.6%  0  0.01% x 0.00%  0.22%  0.21%  0.00%  0.387%  0.150%  0.03%  0.04%  0.1%  -  0  0 y 0.00%  0.90%  0.01%  0.00%  0.308%  1.974%  0.04%  0.035%  0.6%  3.2%  3.37%  1.79% z 0.50%  0.52%  0.47%  0.49%  0.136%  0.074%  1.13%  1.39%  0.02%  5.1%  1.50%  0 à 0  0  vidu a  vidu a  0.486%  0  0  vidu a  0.0%  0  0  0 å 0  0  0  0  0  0  0  -  1.6%  0  0  0.00% ä 0  0  0  0  0  0  -  vidu a  2.1%  0  0  4.59% ą 0  0  0  0  0  0  -  0  vidu a  0  0  0 œ 0  0  0  0  0.018%  0  0  -  0  0  0  0 ç 0  0  vidu c  0  0.085%  0  0  -  0  0  1.26%  0 ĉ 0.66%  0  0  0  0  0  0  -  0  0  0  0 ć 0  0  0  0  0  0  -  0  vidu c  0  0  0 è 0  0  0  vidu e  0.271%  0  0  vidu e  0.0%  0  0  0 é 0  0  vidu e  vidu e  1.904%  0  0  vidu e  0.0%  0  0  0 ê 0  0  vidu e  0  0.225%  0  0  -  0  0  0  0 ë 0  0  0  0  0.001%  0  0  vidu e  0  0  0  0 ę 0  0  0  0  0  0  -  0  vidu e  0  0  0 ĝ 0.69%  0  0  0  0  0  0  -  0  0  0  0 ğ 0  0  0  0  0  0  0  -  0  0  1.13%  0 ĥ 0.02%  0  0  0  0  0  0  -  0  0  0  0 î 0  0  0  0  0.045%  0  0  -  0  0  0  0 ì 0  0  0  vidu i  0  0  0  vidu i  0  0  0  0 ï 0  0  0  0  0.005%  0  0  vidu i  0  0  0  0 ı 0  0  0  0  0  0  0  -  0  0  5.20%Vidu Turka "i" punkta kaj senpunkta (ı) 0 ĵ 0.12%  0  0  0  0  0  0  -  0  0  0  0 ł 0  0  0  0  0  0  -  0  vidu l  0  0  0 ñ 0  0.31%  0  0  0  0  0  -  0  0  0  0 ń 0  0  0  0  0  0  -  0  vidu n  0  0  0 ò 0  0  0  vidu o  0  0  0  vidu o  0  0  0  0 ö 0  0  0  0  0  0  -  vidu o  1.5%  0  0.87%  0.49% ó 0  0  vidu o  0  0  0  -  vidu o  0  vidu o  0  0 ŝ 0.38%  0  0  0  0  0  0  0  -  0  0  0 ş 0  0  0  0  0  0  0  -  0  0  1.94%  0 ś 0  0  0  0  0  0  -  0  vidu s  0  0  0 ß 0  0  0  0  0  0  0.31%  -  0  0  0  0 ù 0  0  0  vidu u  0.058%  0  0  vidu u  0  0  0  0 ŭ 0.52%  0  0  0  0  0  0  -  0  0  0  0 ü 0  0  0  0  0  0  -  vidu u  0  0  1.99%  0 ź 0  0  0  0  0  0  -  -  0  vidu z  0  0 ż 0  0  0  0  0  0  -  -  0  0.7%  0  0

Pliaj lingvoj estas troveblaj ĉe la Retejo de Stefan Trost Media. Tiuj baziĝas sur esploroj de korpusoj por testi Unikodon.

 Literrangoj 
Jen la literranga vicordo de la unuaj dek plej oftaj literoj en kelkaj lingvoj.

 Lingvo  vicordo  Branĉo  Familio Esperanto aieon lsrtk  Planlingvo  Ĉefe influita de Latinidaj, Ĝermanaj lingvoj angla etaoin shrdlu  Hindeŭropa  Ĝermana franca esait nrulotradicie oni uzas : 'esartinulop', parte pro la prononceblo Perec, Georges; Alphabets; Éditions Galilée, 1976  Latinida hispana eaosr nidlc portugala aeosr indmu itala eaion lrtsc germana enisr atdhu  Ĝermana sveda eantr slido nederlanda  enati rodsl pola aoiez nscwr  Slava turka aeinr lıdkm  Altaja  Tjurka finna aitne sloku  Urala  Finno-ugra

Ĉiuj ĉi lingvoj aplikas similan alfabeton el 25 literoj aŭ iom pli.

 Vortkomencaj literoftecoj 
 La Angla lingvo 
Jen la oftoj de specifa litero vortkomence por la Angla lingvo.Calculated from "Project Gutenberg Selections" available from the NLTK Corpora  Por ordigi alklaku la respektivan titolon de la kolumno.
LiteroProporcia ofteco de la vortkomenca litero de Angla vortoabcdefghijklmnopqrstuvwxyz

Notinda estas la diverĝo inter la vortkomenca literofteco kaj la ĝenerala literofteco.

 Vortfinaj literoftecoj 
 La Angla lingvo 
Denove, nur por la Angla kaj nur proksimume.

Vortfina literofteco en Angla vorto.

 Ofto  Unua litero 17  E 11  T 10  D 9  N, S 8  R, Y 6  F, L 4  G, O 2  H 1  A, K, M, P, U, W 0  B, C, I, J, Q, V, X, Z

La tabelo eldiras, ke ekzemple la litero E 17-oble pli oftas ol ekzemple la litero A en la fina pozicio de vorto. La literoj sur la ŝtupo 0 praktike neniam finvorte ĉeestas.

Notinda estas la diverĝo inter la vortfina literofteco kaj la ĝenerala literofteco.

 Vortlongoj 
La mezumaj vortlongoj de diversaj lingvoj estas troveblaj tie ĉi: .

La aŭtoro donas la valoron 5.10 por la Angla kaj, inter multaj aliaj lingvoj, la valoron 5.23 por Esperanto. Bedaŭrinde ne estas klare, kiel nomiĝas la aŭtoro kaj same ne estas klare, kiel grandaj estis la analizitaj tekstkorpusoj — laŭŝajne temas pri tiamaj testtekstoj por provi Unikodon.LinkedIn Patrick Hall — Laŭŝajne temas aŭtore pri la lingvisto Patrick Hall, kiu multe okupiĝis pri Unikodo.

Temas pri tre interesa komparo inter ĉirkaŭ 300 lingvoj, pluraj kun nelatinbazaj alfabetoj.

 Ne-Latinalfabetaj lingvoj 
 Literoftecoj 
 La Rusa lingvo 
La tabelo sube eniĝis danke al Stefan Trost. La listo kreiĝis per Unikoda Nombrilo, funkcio integrigita en "WordCreator". La esploro baziĝis sur korpuso kun 1.351.370 signoj, (210.844 vortoj), el kiuj 1.086.255 literoj nombriĝis por la tabelo.Retejo Stefan Trost: la Rusa. Baze de aliaj korpusoj evidente la valoroj povos iomete varii.

La tabelo maldekstra ordiĝas laŭ la alfabeto, la tabelo dekstra laŭ la ofteco de la literoj. Do, la literoj O, E kaj A estas la plej oftaj literoj en la Rusa lingvo.
Laŭ alfabeto Laŭ ofto
<tr>LiteroOfto<tr>
А7,50%
Б2,01%
В4,33%
Г1,72%
Д3,09%
Е8,50%
Ё0,20%
Ж1,01%
З1,48%
И7,09%
Й1,21%
К3,30%
Л4,96%
М3,10%
Н6,70%
О11,07%
П2,47%
Р4,33%
С4,97%
Т5,97%
У2,22%
Ф0,21%
Х0,95%
Ц0,39%
Ч1,40%
Ш0,72%
Щ0,30%
Ъ0,02%
Ы2,36%
Ь1,84%
Э0,36%
Ю0,47%
Я1,96% <tr>LiteroOfto<tr>
О11,07%
Е8,50%
А7,50%
И7,09%
Н6,70%
Т5,97%
С4,97%
Л4,96%
В4,33%
Р4,33%
К3,30%
М3,10%
Д3,09%
П2,47%
Ы2,36%
У2,22%
Б2,01%
Я1,96%
Ь1,84%
Г1,72%
З1,48%
Ч1,40%
Й1,21%
Ж1,01%
Х0,95%
Ш0,72%
Ю0,47%
Ц0,39%
Э0,36%
Щ0,30%
Ф0,21%
Ё0,20%
Ъ0,02%

 La Greka lingvo 
La tabelo sube eniĝis danke al Stefan Trost. La listo kreiĝis per Unikoda Nombrilo, funkcio integrigita en "WordCreator". La esploro baziĝis sur korpuso kun 1.442.382 signoj (235.614 vortoj), el kiuj 1.161.745 literoj nombriĝis por la tabelo.Retejo Stefan Trost: la Greka. Baze de aliaj korpusoj evidente la valoroj povos iomete varii.

La tabelo maldekstra ordiĝas laŭ la alfabeto, la tabelo dekstra laŭ la ofteco de la literoj. Do, la literoj A, O kaj E estas la plej oftaj literoj en la Greka lingvo.

Laŭ alfabeto Laŭ ofto
<tr><table width="170" border="0" cellspacing="2" cellpadding="2" bgcolor="#ffffc0">
<tr>Litero<th width="85" align="right">Ofto<tr>
Α12,98%
Β0,74%
Γ1,62%
Δ1,55%
Ε9,48%
Ζ0,31%
Η4,78%
Θ1,16%
Ι9,18%
Κ3,66%
Λ2,54%
Μ3,55%
Ν6,17%
Ξ0,42%
Ο9,48%
Π3,95%
Ρ4,12%
Σ6,67%
Τ7,89%
Υ3,96%
Φ0,72%
Χ1,26%
Ψ0,15%
Ω1,71%
</td> <tr>LiteroOfto<tr>
Α12,95%
Ο9,48%
Ε9,48%
Ι9,18%
Τ7,89%
Σ6,67%
Ν6,17%
Η4,78%
Ρ4,12%
Υ3,96%
Π3,95%
Κ3,66%
Μ3,55%
Λ2,54%
Ω1,71%
Γ1,62%
Δ1,55%
Χ1,26%
Θ1,16%
Β0,74%
Φ0,72%
Ξ0,42%
Ζ0,31%
Ψ0,15%</tr></table>

 La Hebrea lingvo 
La tabelo sube eniĝis danke al Stefan Trost. La listo kreiĝis per Unikoda Nombrilo, funkcio integrigita en "WordCreator". La esploro baziĝis sur korpuso kun 1.230.923 signoj (279.679 vortoj), el kiuj 937.426 literoj nombriĝis por la tabelo.Retejo Stefan Trost: la Hebrea. Baze de aliaj korpusoj evidente la valoroj povos iomete varii.

La tabelo maldekstra ordiĝas laŭ la alfabeto, la tabelo dekstra laŭ la ofteco de la literoj. Do, la literoj י ה kaj ו estas la plej oftaj literoj en la Hebrea lingvo.

Laŭ alfabeto Laŭ ofto
<tr>LiteroOfto<tr>
א6,11%
ב4,57%
ג1,26%
ד2,49%
ה10,48%
ו10,01%
ז1,28%
ח2,39%
ט1,19%
י10,67%
ך0,78%
כ2,60%
ל7,12%
ם2,92%
מ4,43%
ן1,06%
נ2,76%
ס1,43%
ע3,11%
ף0,26%
פ1,63%
ץ0,12%
צ1,20%
ק2,06%
ר5,40%
ש4,25%
ת4,84% <tr>LiteroOfto<tr>
י11,03%
ה10,84%
ו10,35%
ל7,36%
א6,32%
ר5,59%
ת5,00%
ב4,73%
מ4,58%
ש4,39%
ע3,22%
ם3,02%
נ2,85%
כ2,69%
ד2,58%
ח2,47%
ק2,13%
פ1,68%
ס1,48%
ז1,32%
ג1,30%
צ1,24%
ט1,23%
ן1,09%
ך0,81%
ף0,27%
ץ0,12%

 La Hindia lingvo 
La tabelo sube eniĝis danke al Stefan Trost. La listo kreiĝis per Unikoda Nombrilo, funkcio integrigita en "WordCreator". La esploro baziĝis sur korpuso kun 978.430 signoj (238.604 vortoj), el kiuj 736.216 literoj nombriĝis por la tabelo.Retejo Stefan Trost: la Hindia. Baze de aliaj korpusoj evidente la valoroj povos iomete varii.

La tabelo maldekstra ordiĝas laŭ la alfabeto, la tabelo dekstra laŭ la ofteco de la literoj. Do, la literoj ा, क and े estas la plej oftaj literoj en la Hindia lingvo.

Laŭ alfabeto Laŭ ofto
<tr>LiteroOfto<tr>
ँ0,30%
ं3,44%
ः0,01%
अ1,01%
आ0,66%
इ0,31%
ई0,20%
उ0,78%
ऊ0,05%
ऋ0,00%
ए1,34%
ऐ0,03%
ऑ0,03%
ओ0,10%
औ0,94%
क7,14%
ख0,70%
ग1,31%
घ0,20%
च1,16%
छ0,45%
ज1,39%
झ0,19%
ञ0,01%
ट0,57%
ठ0,17%
ड0,75%
ढ0,09%
ण0,13%
त2,89%
थ1,15%
द1,68%
ध0,36%
न3,48%
प2,66%
फ0,35%
ब1,78%
भ0,67%
म3,28%
य2,20%
र5,91%
ल2,45%
व1,62%
श0,76%
ष0,27%
स3,78%
ह4,82%
़0,67%
ा8,22%
ि3,20%
ी3,47%
ु1,45%
ू0,81%
ृ0,10%
ॅ0,00%
े6,85%
ै1,96%
ॉ0,10%
ो2,21%
ौ0,15%
्3,02% <tr>LiteroOfto<tr>
ा8,22%
क7,14%
े6,85%
र5,91%
ह4,82%
स3,78%
न3,48%
ी3,47%
ं3,44%
म3,28%
ि3,20%
्3,02%
त2,89%
प2,66%
ल2,45%
ो2,21%
य2,20%
ै1,96%
ब1,78%
द1,68%
व1,62%
ु1,45%
ज1,39%
ए1,34%
ग1,31%
च1,16%
थ1,15%
अ1,01%
औ0,94%
ू0,81%
उ0,78%
श0,76%
ड0,75%
ख0,70%
़0,67%
भ0,67%
आ0,66%
ट0,57%
छ0,45%
ध0,36%
फ0,35%
इ0,31%
ँ0,30%
ष0,27%
घ0,20%
ई0,20%
झ0,19%
ठ0,17%
ौ0,15%
ण0,13%
ृ0,10%
ओ0,10%
ॉ0,10%
ढ0,09%
ऊ0,05%
ऐ0,03%
ऑ0,03%
ञ0,01%
ः0,01%
ऋ0,00%
ॅ0,00%

 Vortlongoj 
La mezumaj vortlongoj ankaŭ de diversaj ne-Latinalfabetaj lingvoj estas troveblaj tie ĉi: .

Bedaŭrinde ne estas klare, kiel nomiĝas la aŭtoro kaj same ne estas klare, kiel grandaj estis la analizitaj tekstkorpusoj — laŭŝajne temas pri tiamaj testtekstoj por provi Unikodon.

 Parencaj oftecoj 
 Vortoftecoj 
 La leĝo de Zipf 
Alia ĉi-kampe interesa distribuado rilatas al la ofteco, ne de literoj, sed de tutaj vortoj en tekstkorpuso de specifa natura homa lingvo. La oftoj enrangiĝas — tamen nur proksimume — laŭ la Leĝo de ZipfZipf's Law. Laŭ ĝi la plej ofta vorto aperas duoble pli ofte ol la duarange plej ofta vorto.

En specifa korpuso el beletraĵoj montriĝis la sekva distribuo.

la 9864, kaj 4195, mi 3934, de 2819, li 2543, esti 2395, al 1969, ... ktp.Frekvencvortaro de Vjaĉeslav Slavik Ivanov

La Leĝo de Zipf diras, ke, se oni ordigas la elementojn de ensemblo — ekzemple la vortojn de teksto — laŭ iliaj oftecoj kaj laŭe enrangigas ilin, la probablo de ĉeesto de specifa elemento p(n) rilatas proksimume al la inverso de ties rangonumero n. Jen la laŭa matematika formulado.



Do el la rangoj 1, 2, 3, 4, 5 ... iĝas 1, 1/2, 1/3, 1/4, 1/5 ... Do tiel — laŭ Zipf — rilatu la trovitaj porangaj nombroj aŭ porangaj probabloj inter si. La citita vortofteca listo sufiĉe bone obeas al tio.

 Esperanto 
Malmulte surprizas, ke okaze de Esperanto la estas la plej ofta vorto, sekvata eble de kaj. Tamen aliaj fontoj donas iomete aliajn vicordojn. Iam de dualokiĝas ankoraŭ antaŭ kaj.Informadikaj aspektoj de Interlingvistiko  de LIU Haitao

Jen la 30 plej oftaj vortoj laŭ Christopher Gledhill.

 Ordo/vorto 1 la 2 de 3 kaj 4 en 5 al6 mi7 estas8 ne9 por10 li11 ke12 pri13 vi14 ni15 sed  Ofteco255281294910046568544724235380437132925270126332436191819101908 %(8.2%)(4.1%)(3.2%)(1.8%)(1.4%)(1.4%)(1.2%)(1.2%)(0.9%)(0.9%)(0.8%)(0.8%)(0.6%)(0.6%)(0.6%)   Ordo/vorto 16 estis17 ili 18 kun19 kiu20 tiu21 tio 22 el23 pli24 kiel 25 oni26 ankaŭ 27 ĝi28 per29 sur30 se Ofteco16751500139413901330122912071201119311781026986936856843 %(0.5%)(0.5%)(0.4%)(0.4%)(0.4%)(0.4%)(0.4%)(0.4%)(0.4%)(0.4%)(0.3%)(0.3%)(0.3%)(0.3%)(0.3%)

Jen la unuarangaĵoj, do la probabloj de la plej oftaj vortoj, de vortofteca analizo baze de la tekstokorpuso jam enkondukita. La ankoraŭ prezentota programo produktis ĝin. Preciza informo pri la enkondukitaj vortklasoj troviĝas en la akompana priskribo de la programo.

 Vortofteco (nur eltiraĵo) vorto  nombro  probablo la  22800   kaj  11326   de  10218   en  5617   esti  5348   mi  4667   al  4592   ne  3444   kiu  3220   li  2997   ke  2628   por  2625   ŝi  2396   vi  2257   tiu  1938   ĝi  1864   kun  1847   sed  1718   ili  1669   sia  1500   sur  1432   el  1412   diri  1402   pri  1357   pli  1320   per  1316   mia  1297   da  1272   povi  1258   tio  1202   ni  1146   kiel  1102   oni  1036   ĉi  956   ĉiu  947   aŭ  932   via  842   havi  839   El 292561 vortoj

Rilate Esperanton specifa Fenton Stancliff pionire jam en 1932 okupiĝis pri tiu temo. Eĉ antaŭ li en 1927 laŭŝajne Sergej Rublov (Сергей Григорьевич Рублёв)La du plej oftaj vortoj: "la" kaj "kaj" – iom pri oftec-vortaroj laŭ Bernardo en blogo ĉe Iperno jam ĉi-teme esploris.

 La Angla lingvo 
Jen simila listo por la Angla.The OEC: Facts about the language . Notu, ke la vortoj estas la praformoj, do la formoj, kiuj enlistiĝas kapvorte en Angla vortaro. Tiel be entenas ankaŭ is, was, are, were, ktp. Aliflanke, I kaj me estas apartaj, kio de Esperanta vidpunkto ŝajnas esti iomete nekonsekvenca.

Montriĝas nur rangoj, ne probabloj.

 Rango Vorto 1  the 2  be 3  to 4  of 5  and 6  a 7  in 8  that 9  have 10  I Rango Vorto 11  it 12  for 13  not 14  on 15  with 16  he 17  as 18  you 19  do 20  at Rango Vorto 21  this 22  but 23  his 24  by 25  from 26  they 27  we 28  say 29  her 30  she Rango Vorto 31  or 32  an 33  will 34  my 35  one 36  all 37  would 38  there 39  their 40  what Rango Vorto 41  so 42  up 43  out 44  if 45  about 46  who 47  get 48  which 49  go 50  me

Jen troviĝas tre simpla nur rudimenta Aŭka programo por kalkuli vortoftecojn: Calculate word frequencies. Pli profesia programo troviĝas fine de tiu ĉi artikolo.

 Ciferoftecoj 
200px|dekstra|Varoj en superbutiko

 Pomalgrandaj prezoj 
Ĉi-kadre estas ankaŭ menciinde, ke ne nur literoj en tekstoj montras specifan distribuon. Ankaŭ ciferoj en multaj ĉiutagaj aplikoj de numeroj montras kelkajn ekkoneblajn distribuojn. Evidente, la plej ofta lasta, do plej dekstra cifero de la prezoj en superbazaro estas la 9. Ĉio kostas 1,99€ kaj preskaŭ neniam 2,00€. Laŭ studo el 1997 publikigita en Marketing Bulletin:

 ĉirkaŭ 60% de prezoj en reklamoj finiĝis je la cifero 9.The Widespread Use Of Odd Pricing In The Retail Sector, Marketing Bulletin, 1997, 8, Research Note 1, J Holdershaw, P Gendall and R Garland

Verdire, por ekkoni tion ne necesas esti profesia statistikisto aŭ komisii ampleksan sciencan esploron.

 La leĝo de Benford 
Tamen pli malmulte evidenta ekzemplo troviĝas en multaj kontoj de ĝenerala komerca kontado rilate la komencan ciferon de la enkontaĵoj. Ekzemple, tie ne estas tiel, ke ĉiuj ciferoj aperas same ofte en la plej maldekstra ciferloko de numero — normalokaze ili sekvas la tielnomatan Leĝon de BenfordBenford's Law. Laŭ ĝi la cifero 1 aperas 30% ofte sed la cifero 9 nur malpli ol 5% ofte. Do koni la ĝustan atendatan distribuon de la unualokaj ciferoj kaj sekve ekkoni iujn strangajn diverĝojn helpas al revizoroj malkovri falsadon kaj fraŭdadon.

Numere la unualokaj ciferoj distribuiĝas laŭ la Leĝo de Benford kiel montrataj en la suba diagramo. Tie d estas la unualoka cifero kaj P(d) estas ties probablo.

 d  P(d)  Proporcia grando de P(d) 1   2   3   4   5   6   7   8   9  

Bonvolu noti, ke la Leĝo de Benford utildone aplikeblas nur, se la ensemblo de numeroj pritraktota estas sufiĉe granda, transpontas kelkajn grandordojn — do potencigojn de 10 — kaj prefere — sed ne senescepte — devenas de iu realviva praktika uzado.

Malantaŭ tiu ĉi distribuo de komencaj ciferoj de numeroj skribitaj laŭ dekuma numersistemo staras logaritmoj je la bazo 10. Jen la laŭa formulo.



Alivorte, tute ĝenerale, nombroj, kaj ties rilataj numeroj, distribuiĝas trans la tuta ebla skalo de numeraj valoroj, do la numerspaco, ne lineare, sed logaritme. El tio sekvas tiu ĉi iomete surpriza distribuo de numerkomencaj ciferoj.

Simila distribuo estas observebla por la kombino de la unuaj du ciferoj de la numeroj en granda ensemblo. Tamen, ju pli dekstre cifero staras ene de numero, des pli ĝia distribuo foras de Benford-aĵo kaj alproksimiĝas al plene lineara distribuo kun probablo de po 10% por ĉiu cifervaloro.

Tamen, defie al ĉiuj matematikistoj, ne en via loka superbazaro. Tie dekstre egege naŭas!

 Aldonaĵo 
 AWK-programo — Oftecoj 
 Priskribo 
Jen Aŭka programoThe AWK programming language por mezuri ĉiujn la diskutitajn literajn kaj vortajn oftecojn en Esperanta tekstdosiero kodita laŭ la X-sistemo. Ĝi eligas sinsekvajn tabelojn kun histogramoj laŭnecese en la formatoj Askia, HTML-a kaj Vikitabela. por ĉiuj literaj kaj vortaj statistikaĵoj diskutitaj tie ĉi.

Jen:

 ĝenerala literofteco
 vortkomenca literofteco
 vortfina literofteco
 vortlonga distribuo kun averaĝa vortlongo
 vortofteco

En la sekcio BEGIN oni povas laŭplaĉe ŝalti kaj malŝalti la produktotajn statistikaĵojn kaj elekti, kiuj formatoj estu eligotaj. Normalokaze la liternombraj funkcioj de la programo bezonas nur kelkajn deksekundojn por analizi grandan tekstkorpuson. Tamen depende de la rapido de la komputilo kaj la grando de la tekstkorpuso la funkcio vortofteco povos bezoni kelkajn dekminutojn por finiĝi. Por unua testo oni eble lasu ĝin malŝaltita.

Rilate la vortoftecan funkcion, la difinitaj vortklasoj estas O-vortoj, A-vortoj, E-vortoj, verboj (sen participoj), ĉio alia.

Alivorte, pluraloj kaj akuzativoj kondukas al la baza O-a, A-a aŭ E-a formo. Simile pri vortoj kiel vin kaj tiujn, kiuj iĝas vi kaj tiu. La verbaj finaĵoj -as, -is, -os, -us kaj -u kondukas al -i. Verbaj participoj iĝas O-, A- aŭ E-vorto, do amantojn iĝas amanto kaj ne ami.

Por uzi, kopiu la programon per tiraĵo de la muso ene de la rulfenestro kaj tiam — enpoŝigi kaj elpoŝigi rekte de via krozilo en tekstdosieron — ekz oftecoj.awk — kaj eklanĉu per:

awk -f oftecoj.awk teksto.cx >rezultoj.cx

aŭ simile. Evidente, por tio necesas havi Aŭkon jam instalitan sur sia komputilo. Linuksaj kaj Uniksaj sistemoj havas jam Aŭkon ferdeke. Same (supozeble) pri Makintoŝo. Por Vindozaj sistemoj oni povas elŝuti la programon de la Gnu-a retejo. Aŭko estas rultempa interpretilo — alivorte ĝi digestas rekte fontaĵojn.

Notu, ke por konverti tekstojn el ekz. Unikodo al X-sistemo aplikeblas UniRed.

Tiel ĉiu povos kunmeti kaj esplori propran tekstkorpuson kaj produkti analizon de la vortkomenca literofteco, la vortfina literofteco, la ĝenerala literofteo, la distribuiĝo de vortlongoj kun mezuma vortlongo, kaj la vortofteco ene de la programo prezentita tekstkorpuso.

 Programo 

 Vidu ankaŭ 

 Notoj 

 Referencoj 


Kategorio:Komputila lingvistiko
Kategorio:Statistiko