Fréquence d'apparition des lettres

La fréquence d'apparition des lettres est une donnée statistique utilisée en linguistique, en typographie et en cryptographie liée au fait que les utilisateurs de la langue écrite n'utilisent pas les lettres disponibles au hasard, mais selon l'ordonnancement de la langue, du langage et de la parole. 

Bien que l'alphabet ne soit pas hiérarchisé, les lettres écrites ne sont pas utilisées à la même fréquence, en français comme dans les autres langues. Ainsi, si l'on prend un texte en français composé de 100 lettres, on n'aura pas 100 lettres différentes mais environ 12 fois la lettre E, 7 fois la lettre A, 7 fois la lettre I, 7 fois la lettre S, etc., selon une loi de distribution qui n'est pas facile à déterminer.

Base statistique de calcul : le corpus 

Le calcul de la fréquence d'apparition des lettres en français se fait après avoir constitué un corpus de textes (ensemble cohérent et systématique de documents textuels). Le choix des documents est crucial. 

Le dictionnaire est parfois utilisé comme corpus. Or la fréquence des lettres dans la liste des mots d’un dictionnaire diffère de celle dans un texte usuel. En effet, très peu de mots apparaissent au pluriel dans un dictionnaire, ce qui conduit la lettre s à y être moins fréquente. De plus, les lettres accentuées à et ù apparaissent dans un nombre très limité de mots, mais dont certains sont d'usage fréquent (à, où), ce qui contribue à modifier la fréquence relative de ces lettres.

La fréquence d'apparition des lettres en français est souvent calculé sur un corpus de textes littéraires disponible sur le Net, par exemple sur le site de l’Association des bibliophiles universels (ABU). On peut alors faire des analyses de fréquence de lettres chez un auteur en particulier.

De même, on peut calculer la fréquence d'apparition des lettres en français sur le corpus de Wikipédia en français. En 2008, le laboratoire CLLE-ERSS de l'Université de Toulouse en a tiré une table de fréquence.

Dans d'autres langues 

*See Dotted and dotless I.

Diagramme comparatif de la fréquence des lettres dans 11 langues.

Biais dans le calcul de la fréquence d'apparition 
Le calcul de la fréquence des lettres dans une langue est difficile et soumis à interprétation. On compte la fréquence des lettres d’un texte arbitrairement long, mais un certain nombre de paramètres influencent les résultats :

 Le style narratif : s’il y a beaucoup de verbes à la  du pluriel (le vouvoiement, présent dans beaucoup de dialogues), il y aura significativement plus de « Z ».
 Le vocabulaire spécifique du document : si l’on parle de chemins de fer, il y aura beaucoup plus de « W » (wagon) ; si l’un des protagonistes se dénomme Loïc, le nombre d'« Ï » s’en ressentira.
 Le type de document : des petites annonces en France présenteront souvent le symbole Euro (€), qui est absent de la plupart des autres documents.
La langue d'origine du texte : les noms propres restant généralement les mêmes entre leur version originale et leur version traduite, certaines variations de fréquences de lettres rares en français peuvent se faire ressentir. Dans un texte d'un auteur anglais par exemple, les noms propres auront tendance à faire augmenter les fréquences de lettres relativement communes dans cette langue, telles que le H, le W ou le Y.
L'époque à laquelle le texte a été rédigé : un texte français du dix-huitième siècle ne contiendra pas ou peu de W, car cette lettre était à cette époque beaucoup moins utilisée qu'aujourd'hui.
 Les paramètres techniques : on peut facilement calculer des statistiques sur des textes informatisés, mais souvent ceux-ci ne comportent pas de majuscules accentuées (car difficiles à entrer sur certains ordinateurs) et il arrive aux auteurs d'oublier des accents. La graphie de l’e-dans-l’o (œ) est impossible à représenter dans le codage latin-1 qui est souvent utilisé pour les textes en français. C'est un problème parce que « œ » n'est pas une ligature esthétique (optionnelle) mais une ligature linguistique (obligatoire), elle se prononce différemment de la suite de voyelles « oe » . Par exemple, « œ » va se prononcer  dans œsophage alors que « oe » va se prononcer  dans coexistence. 
 La présence de caractères non alphabétiques (symboles de ponctuation, chiffres, parenthèses et accolades, symboles mathématiques courants…) peut ou non être prise en compte ; la virgule, le point ou l’apostrophe sont par exemple plus fréquents que plus de la moitié des lettres.

Si ces paramètres ont un impact spectaculaire sur les symboles les moins fréquents (la fréquence du œ varie entre 0,002 % et 0,09 % pour trois textes pris au hasard), elle est également sensible même pour les lettres les plus fréquentes (l’ordre de fréquence des lettres A, S, I, T et N, qui sont les plus fréquentes à part E, fluctue d’un texte à l’autre).

Histoire et usage 
Le calcul de la fréquence d'apparition des lettres remonte au mathématicien arabe Al-Kindi (vers 801-873 de notre ère), qui l'utilise dans le but de casser des codes secrets, bien qu'on ait parlé du code César utilisé par Jules César au  avant notre ère. L'analyse de la fréquence des lettres prend de l'importance en Europe avec le développement des caractères mobiles en 1450 de notre ère, parce qu'il est nécessaire d'anticiper la quantité de caractères nécessaires pour imprimer les textes. Depuis le , les linguistes utilisent également la fréquence des lettres une première identification des langues perdues : elle est particulièrement efficace pour indiquer si un système d'écriture inconnu est alphabétique, syllabique ou idéographique.

La fréquence d'apparition des lettres joue un rôle fondamental dans les cryptogrammes et dans plusieurs jeux liés à la manipulation des lettres, tels que le pendu, le Scrabble, le Wordle et le jeu télévisé La roue de la fortune. En littérature, Edgar Allan Poe, dans Le Scarabée d'or (1843), se sert de la connaissance de la fréquence des lettres anglaises pour lire un cryptogramme qui contient l'emplacement du trésor caché du capitaine Kidd.

En 1840, quand Alfred Vail crée le code américain pour le télégraphe électrique de Morse, il se fonde sur la base des fréquences des lettres en langue anglaise (selon l'ordre ), et code les lettres les plus fréquentes avec les symboles les plus courts. Le passage au code Morse international a émoussé l'efficacité du procédé.

Notes et références

Annexes

Articles connexes 
 Analyse fréquentielle

Liens externes 
 Fréquence des duets de lettres (digrammes) de l'alphabet
 Fréquence des caractères du français
 Duets de touches et de lettres (digrammes) les plus fréquentes au clavier

Fréquence d’apparition des lettres en français
Fréquence