Loi de Zipf

Laloi de Zipfest une observation empirique concernant la fréquence des mots dans un texte. Elle a pris le nom de son auteur,George Kingsley Zipf(1902-1950). Cette loi a d'abord été formulée parJean-Baptiste Estoupet a été par la suite démontrée à partir de formules deShannonparBenoît Mandelbrot. Elle est parfois utilisée en dehors de ce contexte, par exemple au sujet de la taille et du nombre des villes dans chaque pays, lorsque cette loi semble mieux répondre aux chiffres que ladistribution de Pareto.
Zipf avait entrepris d'analyser une œuvre monumentale deJames Joyce,Ulysse, d'en compter les mots distincts et de les présenter par ordre décroissant du nombre d'occurrences. La légende dit que :
Toutefois ces résultats semblent un peu trop précis pour être parfaitement exacts : le dixième mot dans une étude de ce genre devrait apparaître environ 1 000 fois, en raison d'un effet de coude observé dans ce type de distribution. Il reste que la loi de Zipf prévoit que dans un texte donné, la fréquence d'occurrencef(n) d'un mot est liée à son rangndans l'ordre des fréquences par une loi de la formef(n)=Kn{\displaystyle f(n)={\frac {K}{n}}}oùKest une constante.
Mathématiquement, il est impossible pour la version classique de la loi de Zipf d'affirmer exactement qu'il existe une infinité de mots dans une langue puisque, pour toute constante de proportionnalitéc> 0, la somme de toutes les fréquences relatives est proportionnelle à lasérie harmoniqueet doit être
Des observations citées parLéon Brillouindans son livreScience et théorie de l'informationsuggérèrent qu'en anglais, les fréquences parmi les mille mots les plus fréquemment utilisés étaient approximativement proportionnelles à1ns{\displaystyle {\frac {1}{n^{s}}}\,}avecsjuste légèrement plus grand que 1. On sait toutefois que le nombre de mots d'une langue est limité. Le vocabulaire (passif) d'un enfant de 10 ans tourne autour de 5 000 mots, celui d'un adulte moyennement cultivé de 20 000, et les dictionnaires en plusieurs volumes peuvent contenir de 130 000 à 200 000 mots.
Notons les paramètres de la loi de Zipf parN∈N* pour le nombre d'éléments (de mots),k∈N* leur rang, et le paramètres> 0. Lafonction de massede la loi de Zipf est donnée par :
oùHN,s=∑n=1N1ns{\displaystyle H_{N,s}=\sum _{n=1}^{N}{\frac {1}{n^{s}}}}est leNnombre harmoniquegénéralisé. Cette loi est bien définie pour toutNentier fini.
La loi de Zipf où le paramètreNest infini (loi zêta), n'est définie que pours> 1. En effet, la somme des valeurs de la fonction de masse est alors égale à lafonction zêta de Riemann:
Benoît Mandelbrotdémontra dans les années 1950 qu'une classe de lois dont celle de Zipf est un cas particulier pouvaient se déduire de deux considérations liées à lathéorie de l'informationdeClaude Shannon.
Selon la loi statique, le coût dereprésentationd'une information augmente comme lelogarithmedu nombre des informations à considérer.
Il faut par exemple 5 bits pour représenter les entiers de 0 à 31, mais 16 pour les entiers de 0 à 65 535. De même, on peut former 17 576 sigles de 3 lettres, mais 456 976 de 4 lettres, etc.
La loi dynamique indique comment maximiser l'utilité d'un canal par maximisation de l'entropieen utilisant prioritairement les symboles les moins coûteux à transmettre. Ainsi encode Morselee, lettre fréquente, est codé par un simple point (.) tandis que lex, lettre plus rare, se représente par un trait point point trait (-..-). Lecodage de Huffmanmet en application cette loi dynamique.
Mandelbrot émet l'hypothèse audacieuse que le coût d'utilisation est directement proportionnel au coût de stockage, ce qu'il constate comme étant vrai sur tous les dispositifs qu'il a observés, de l'écriture comptable jusqu'aux ordinateurs.
Il élimine donc le coût entre les deux équations et se retrouve avec une famille d'équations liant nécessairement la fréquence d'un mot à son rang si l'on veut que le canal soit utilisé de façon optimale. C'est la loi de Mandelbrot, dont celle de Zipf ne représente qu'un cas particulier, et qui est exprimée par la formule :f(n)×(a+bn)c=K{\displaystyle f(n)\times (a+bn)^{c}=K}, oùKest une constante,
la loi se ramenant à celle de Zipf dans le cas particulier oùavaudrait 0,betctous deux 1, cas qui ne se rencontre pas dans la pratique. Dans la plupart deslanguesexistantes,cest voisin de 1,1 ou 1,2, et proche de 1,6 dans le langage enfantin.
Les lois de Zipf et de Mandelbrot prennent un aspect spectaculaire si on les trace selon un système de coordonnées log-log : la loi de Zipf correspond alors à une belle droite, et celle de Mandelbrot à la même chose avec un coude caractéristique. Ce coude se retrouve précisément dans les textes littéraires disponibles sur laToile, analysables en quelques minutes sur unordinateur personnel. La courbe fournie ci-contre représente lelogarithme décimaldu nombre d'occurrences des termes d'un forum sur Internet tracé en fonction du logarithme décimal du rang de ces mots. On constate que :
Le rapport entre lois de Zipf et de Mandelbrot d'une part, entre loisde Mariotteet devan der Waalsd'autre part, est similaire : on a dans les premiers cas une loi de type hyperbolique, dans les seconds une légère correction rendant compte de l'écart entre ce qui était prévu et ce qui est observé, et proposant une justification. Dans les deux cas, un élément de correction est l'introduction d'une constante manifestant quelque chose d'« incompressible » (chez Mandelbrot, le terme «a» de la loi).
On peut aussi noter une ressemblance avec laloi de Benfordqui porte sur le premier chiffre de chaque nombre d'un ensemble de données statistiques, et qui se démontre aussi, cette fois-ci par des considérations d'invariance en fonction dusystème d'unitésutilisé.
La distribution des vitesses dans un gaz répond aussi à une exigence d'invariance par rotation des coordonnées. Ce domaine deslois stablesa été largement étudié par lemathématicien Paul Lévy, que Mandelbrot eut précisément àPolytechniquecomme professeur.
Cette analogie avec le comportement des gaz a conduit à définir la notion detempérature de vocabulaire, analogue à la notion de température dans un gaz. On ne peut pas encore à ce stade définir une échelle de ces températures, mais on peut toutefois les comparer deux à deux et en tirer un indicateur de fluidité verbale.
Ces techniques constituent des contributions à laLinguistique quantitative.
Il est tentant de croire que des informations classées par ordre décroissant suivent une loi de Zipf, mais elles ne le sont pas toujours. Prenons par exemple cent entiers aléatoires entre un et dix selon uneloi uniforme discrète, que nous regroupons et que nous trions selon le nombre d'occurrences de chacun, nous obtenons la courbe ci-contre.
Si l'on se fie juste à la première impression visuelle, cette courbe paraît « zipfienne », alors que c'est un modèleuniformequi a engendré la série des données. Or il n'est pas possible de faire commodément unKhisur la loi de Zipf, le tri des valeurs venant faire obstacle à l'usage d'un modèle probabiliste classique (en effet, la répartition des occurrences n'estpascelle des probabilités d'occurrences ; cela peut conduire à beaucoup d'inversions dans les tris).
La famille de distributions de Mandelbrot est certes démontrée adéquate de façon formelle pour un langage humain sous ses hypothèses de départ concernant le coût de stockage et le coût d'utilisation, qui découlent elles-mêmes de la théorie de l'information. En revanche, il n'est pas prouvé qu'utiliser la loi de Zipf comme modèle pour la distribution des populations des agglomérations d'un pays soit un choix pertinent — bien que le contraire ne soit pas prouvé non plus.
En tout état de cause, il ne faut pas non plus s'étonner outre mesure qu'une loi prédisant une décroissance se vérifie sur des données que nous avons nous-mêmes classées au préalable en ordre décroissant
De plus, l'estimation des paramètres de Mandelbrot à partir d'une série de données pose également problème et fait encore en 1989l'objet de débats. Il ne saurait être question par exemple d'utiliser une méthode de moindres carrés sur une courbe en log-logdont de surcroît le poids des points respectifs est loin d'être comparable. Mandelbrot n'a apparemment plus fait de nouvelle communication sur le sujet après la fin des années 1960.
Sur la distribution d'un texte, comme celui d'une traduction française duCoran(164 869 unités lexicales, 1 477 formes fléchies distinctes), le « coude » de la distribution de Mandelbrot apparaît de façon franche (voir ci-contre), et les pentes respectives de deux segments de droite peuvent être estimées visuellement. Des textes de ce type peuvent ainsi être comparés par les seuls termesaetcdes distributions (bs'en déduisant).
(en)Eric W. Weisstein, «Zipf Distribution», surMathWorld