# Federalist Papers : l'étude de Mosteller et Wallace, épilogue statistique de la controversse

Thomas Amossé

<figure><img src="image_1.png" /></figure>

## To cite this version:

Thomas Amossé. Federalist Papers : l'étude de Mosteller et Wallace, épilogue statistique de la controversse. Courrier des Statistiques, 2001, 100, pp.17-22. hal-05441899

HAL Id: hal-05441899

https://insee.hal.science/hal-05441899v1

Submitted on 5 Jan 2026

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_2.png" /></figure>

Distributed under a Creative Commons CC BY 4.0 - Attribution - International License
# L'étude de Mosteller et Wallace, épilogue statistique de la controverse

Née il y a un peu plus de cent ans, la « stylométrie » s'attache à décrire les caractéristiques formelles d'un texte à l'aide d'indicateurs statistiques. Cette discipline entend s'affranchir du contenu des textes, c'est-à-dire de la sémantique, pour en « mesurer » le style. Ses principales applications sont à rechercher dans la datation d'un texte d'époque incertaine, la détermination de ruptures stylistiques au sein d'une même œuvre, mais également dans l'authentification d'un texte dont la paternité est controversée.

T. Mendenhall a été le précurseur de ce type d'analyse. En 1887, il prit la distribution de la longueur des mots comme caractéristique d'un auteur, entendant trancher selon cette approche une controverse déjà ancienne sur la paternité d'un poème attribué par certains à William Shakespeare et par d'autres à Francis Bacon.

D'autres indicateurs furent proposés par la suite, tels que la longueur des phrases (G. Yule, 1938), la richesse du vocabulaire<fnref n="1" /> (de nouveau Yule, 1944) ou encore le nombre moyen de syllabes par mot (W. Fucks, 1952), jusqu'aux travaux pionniers d'A. Ellegard (1962) sur les mots fonctionnels<fnref n="2" />.

C'est précisément en comparant l'emploi de certains mots fonctionnels par Alexander Hamilton et James Madison que Frederick Mosteller et David L. Wallace ont étudié la controverse des *Federalist Papers*. Leur article « Inference in an Autorship Problem » a été publié en juin 1963 dans le *Journal of the American Statistical Association*.

## La controverse des Federalist Papers

Entre l'automne 1787 et le printemps 1788, quatre-vingt-cinq articles anonymes exhortant les habitants de l'État de New York à ratifier la nouvelle Constitution fédérale<fnref n="1" /> sont publiés dans des journaux new-yorkais.

Ces Federalist Papers sont ensuite rassemblés sous forme d'un recueil, The Federalist, dont la première édition attribue l'ensemble des textes à un certain Publius. La controverse dont il est ici question porte sur la paternité des douze textes que se disputèrent Alexander Hamilton et James Madison, deux des trois auteurs<fnref n="2" /> qui se cachaient sous le pseudonyme de Publius.

Cette étude s'inscrit dans le prolongement d'analyses précédemment effectuées à partir de divers indicateurs statistiques tels que la longueur des mots, le nombre de syllabes par mot ou le ratio verbes/adjectifs. Aucune de ces analyses ne s'est révélée concluante. À titre d'exemple, F. Williams et F. Mosteller, qui s'étaient employés à mesurer en 1941 la longueur moyenne des phrases des *Federalist Papers*, avaient trouvé des résultats extrêmement proches pour les textes de Hamilton et de Madison : respectivement 34,55 et 34,59 mots, avec des écarts-types également voisins (19,2 et 20,3 mots).

## Le principe de l'analyse statistique

Dans l'étude statistique de la controverse des *Federalist Papers* que proposent F. Mosteller et D.L. Wallace,

les deux statisticiens entendent déterminer l'identité de l'auteur des douze articles que se disputèrent A. Hamilton et J. Madison – soit les articles numéros 49 à 58, 62 et 63 – en comparant, dans chacun de ces textes, le nombre d'occurrences de mots fonctionnels, appelés « prédicteurs ».

À cette fin, les auteurs ont dû définir dans un premier temps un corpus de mots fonctionnels, les prédicteurs, pour construire ensuite une règle de décision. Cette règle, obtenue à partir du nombre d'occurrences des pré-

<footnote n="1">1. La Constitution avait été adoptée le 17 septembre 1787 par le Congrès continental de la jeune République fédérée des États-Unis, en conclusion de la Convention de Philadelphie.</footnote>

<footnote n="2">2. Le troisième était John Jay qui, pour cause de maladie, ne put contribuer à cette œuvre collective qu'à hauteur de cinq textes.</footnote>

<footnote n="1">1. En référence à la « loi » de Zipf, qui avait établi en 1932 qu'au sein d'un texte contenant *m* mots différents, il existait une relation pseudo-linéaire entre le logarithme du nombre d'occurrences de ces mots et le logarithme de leur rang de classement (de 1 à *m*, du plus utilisé au moins utilisé).</footnote>

<footnote n="2">2. Articles, prépositions, conjonctions, pronoms, adverbes, conjugaisons des verbes « être » et « avoir », etc.</footnote>
dicteurs dans des articles attribués de façon certaine à Hamilton et à Madison, appelés textes de référence, est ensuite appliquée aux *Papers* d'auteur indéterminé.

Prenons l'exemple d'une analyse qui ne s'appuie que sur deux prédicteurs, les termes « *to* » et « *by* » : s'il apparaît dans les textes de référence que le terme « *to* » est significativement plus employé par Hamilton que par Madison et que c'est le contraire pour le terme « *by* », on conclura qu'un article d'origine incertaine a davantage de chances d'avoir été écrit par le second que par le premier si « *to* » est peu présent dans le texte alors que « *by* » revient très régulièrement.

## Le choix des textes de référence et des prédicteurs

Mosteller et Wallace ont constitué un échantillon de 98 textes de référence, 48 de Hamilton et 50 de Madison, le plus homogène possible, en termes de longueur, de mode et de date de publication : ces textes sont en majorité issus du *Federalist*, parmi les articles dont les auteurs sont connus ; tous ont été publiés dans les années 1787 et 1788.

Pour le choix des prédicteurs, les deux statisticiens ont eu recours à différentes procédures de sélection.

Dans un premier temps, ils se sont appuyés sur une liste établie par des spécialistes de la langue anglaise, appelée liste de Miller, Newman et Friedman<fnref n="3" />. Au sein de cette liste, ils ont retenu les 70 mots fonctionnels les plus fréquemment employés, et 20 parmi les moins utilisés.

Dans un deuxième temps, ils ont constitué une liste de mots à partir de l'échantillon de référence : en ne retenant que les termes à fort pouvoir discriminant<fnref n="4" />, fréquemment utilisés et peu contextuels, ils ont conservé 103 termes.

Enfin, une lecture des textes de référence les a conduits à retenir 28 autres termes, d'usage plus rare.

Par la fusion de ces trois échantillons, Mosteller et Wallace ont défini un corpus de 165 prédicteurs.

## Le choix de la méthode : analyse discriminante linéaire ou modèle bayésien ?

Dans leur étude, les deux statisticiens ne se proposent pas uniquement d'apporter une réponse statistique à la controverse qui oppose Hamilton et Madison. Au-delà de la question abordée, Mosteller et Wallace entendent comparer méthodes classique et bayésienne.

La première méthode présentée est celle de l'analyse discriminante linéaire de Ronald A. Fisher.

Après avoir mis en évidence les limites de cette approche, Mosteller et Wallace proposent une modélisation bayésienne de la controverse.

## L'analyse discriminante linéaire

Le principe appliqué est en substance le suivant : dans un espace à *n* dimensions, un axe de coordonnées est associé à chacun des mots prédicteurs (*n* est donc le nombre de prédicteurs retenus dans l'analyse) ; dans cet espace, chaque article du corpus de référence est représenté par un point dont les *n* coordonnées sont les nombres d'occurrences par unité de texte (fixée à 1 000 mots) des *n* prédicteurs ; les corpus de référence de Madison et Hamilton constituent deux nuages de points que l'on sépare à l'aide d'une fonction linéaire.

Un résultat théorique dû à Fisher établit que la fonction linéaire discriminante optimale, au sens de la minimisation de la variance, est la droite passant par les centres de gravité des deux nuages de points. Ce résultat permet de calculer les coefficients de la fonction linéaire discriminante.

Une fois ces coefficients obtenus, on calcule la valeur de la fonction discriminante pour les articles de référence de Madison et de Hamilton ainsi que pour les articles d'auteur indéterminé.

Les articles de référence se distribuent de part et d'autre de la dimension discriminante. La position des articles controversés sur cette dimension permet alors de juger de leur caractère madisonien ou hamiltonien.

L'application de cette méthode exige toutefois de se garder le plus possible des « effets de régression », c'est-à-dire de l'influence propre de l'échantillon de référence sur la règle de décision obtenue.

Afin de contrôler cet effet, Mosteller et Wallace scindent l'échantillon de référence en deux sous-échantillons, d'un côté l'échantillon « d'estimation » composé de 48 textes (23

<figure><img src="image_3.png" /><figcaption>Sir Ronald Aylmer Fisher, 1890-1962</figcaption></figure>

<footnote n="3">3. Liste de 363 mots fonctionnels classés par fréquence d'usage et élaborée à partir de pré-cédents travaux effectués par des historiens de la langue anglaise.</footnote>

<footnote n="4">4. Le pouvoir discriminant de chaque terme témoigne du degré de spécificité de son emploi par un auteur (Hamilton ou Madison) : il est estimé en rapportant la différence des fréquences d'utilisation par chacun des auteurs à la somme de ces fréquences.</footnote>
<figure><img src="image_4.png" /></figure>

Dans cet exemple fictif, l'analyse est réduite à deux prédicteurs. Les articles formant l'échantillon de référence de Mosteller et Wallace (48 articles pour Hamilton et 50 pour Madison) sont représentés dans un espace à deux dimensions, selon le nombre moyen d'occurrences par unité de texte (fixée à 1 000 mots), dans chacun de ces articles, des deux prédicteurs « to » et « by ».

de Hamilton et 25 de Madison), de l'autre l'échantillon « de calibrage » regroupant les 50 textes restants (à parité entre les deux auteurs). Le premier échantillon permet de construire une fonction discriminante comme ci-dessus : d'après le résultat de Fisher, cette fonction est optimale pour l'échantillon d'estimation ; en revanche, son pouvoir discriminant peut être sensiblement moindre sur d'autres textes. C'est en particulier le cas lorsque l'échantillon d'estimation est spécifique au sein de la population de référence. L'échantillon de calibrage a précisément pour objet de tester la robustesse (dans l'acceptation intuitive du terme) des règles de décision construites à partir du premier échantillon.

À l'issue de l'étape de calibrage, les deux statisticiens ont éliminé les prédicteurs à l'origine de forts effets de régression, principalement des termes ayant un contenu sémantique et dont le pouvoir discriminant dépend donc fortement du thème abordé dans l'article. À l'inverse, Mosteller et Wallace ont retenu les mots structurellement discriminants, c'est-à-dire ceux dont l'em-

ploi par un auteur constitue une règle cachée de sa manière d'écrire, principalement des termes qui ont une fonction syntaxique et non sémantique. Afin de limiter les effets de régression, les deux statisticiens ont décidé de ne retenir

que 20 des 165 prédicteurs de leur corpus de départ. Dans l'ordre alphabétique, il s'agit de although, as, at, by, commonly, consequently, considerable, destruction, enough, innovation, language, of, on, there, upon, vigor, voice, while, whilst et would.

La figure ci-dessous montre la façon dont se répartissent les articles de l'échantillon de calibrage et les textes disputés sur la dimension discriminante. S'agissant de l'échantillon de calibrage, on note une nette rupture entre les articles de Madison (en blanc), concentrés sur la gauche de la figure, et ceux de Hamilton (en noir), concentrés sur la droite de la figure. À une seule exception près, en l'occurrence l'article n° 55, tous les articles controversés (en gris) se situent dans la partie madisonienne de la figure.

<figure><img src="image_5.png" /></figure>

Source : F. Mosteller et D.L. Wallace, « Inference in an Autorship Problem », Journal of the American Statistical Association, juin 1963, tableau 3.4, p. 287.

Lecture : Un article de Madison a une valeur inférieure à -0,8 sur la dimension discriminante, quatre prennent des valeurs comprises entre -0,8 et -0,6. Le seuil de 0,2 sépare les articles de Madison de ceux de Hamilton. À l'exception du n° 55 (qui prend pour valeur 0,32), tous les articles disputés se positionnent du côté du corpus de Madison.
## Un modèle bayésien

Après avoir présenté les résultats de l'analyse discriminante linéaire, Mosteller et Wallace en soulignent les limites : l'évidence en faveur de Madison qui se dégage de la figure précédente est à la fois la principale force et la principale faiblesse de cette approche. Essentiellement décritifs, les résultats ne permettent pas d'estimation quantifiée des décisions en faveur de Madison. Comment préciser le degré de certitude de ces décisions ? Les deux statisticiens répondent à cette question par l'utilisation du théorème de Bayes. Dans un premier temps, ils modélisent l'écriture de Hamilton ou de Madison en spécifiant la loi de probabilité associée à la fréquence des prédicteurs dans leurs textes respectifs. Ils estiment ensuite les paramètres des deux modèles sur les corpus de référence. Le théorème de Bayes permet alors de calculer, pour chacun des articles controversés, le « rapport de chances » en faveur de l'un ou l'autre auteur : Mosteller et Wallace concluent que tel article, compte tenu de la façon dont s'y distribuent les mots prédicteurs, a x fois plus de chances d'avoir été écrit par l'un que par l'autre.

Si l'on fait abstraction de la logique de l'écriture, donc de l'ordre des mots, un texte de n mots peut être pensé comme le résultat de n tirages successifs avec remise dans une urne de mots. Le vocabulaire peut être défini en $k + 1$ classes de mots, les k premières se limitant à un unique mot prédicteur et la dernière regroupant l'ensemble des autres mots. La composition de l'urne selon les classes de vocabulaire dépend des fréquences d'occurrence des mots prédicteurs dans l'ensemble des textes de référence. Sous l'hypothèse d'indépendance des tirages successifs, la probabilité qu'un texte

contienne par exemple quatre occurrences de « also », ou bien sept occurrences de « an », ou encore zéro occurrence de « because », peut être estimée au moyen d'une loi binomiale. La probabilité qu'il contienne en même temps 4 also's, 7 an's et 0 because s'obtient par combinaison des probabilités élémentaires attachées à chacun de ces trois événements : cette loi n'est autre que la loi multinomiale. En faisant tendre la fréquence d'occurrence des prédicteurs vers zéro<fnref n="5" />, on obtient une loi de Poisson. Ce même raisonnement a conduit Mosteller et Wallace à modéliser la loi de probabilité associée à l'écriture d'un texte par un produit de distributions poissonniennes indépendantes.

L'utilisation du théorème de Bayes permet d'estimer le « degré de certitude » qu'un article donné ait été écrit par Madison ou par Hamilton. Prenons l'exemple d'un article controversé de 2 000 mots dans lequel le terme « also » apparaît 4 fois. Compte tenu du nombre d'occurrences de ce mot dans les corpus de référence de Hamilton (respectivement de Madison), la probabilité estimée que « also » apparaisse 4 fois dans un texte de 2 000 mots de Hamilton (respectivement de Madison) s'établit à $p_h$ (respectivement $p_m$). En application du théorème de Bayes, si $\pi_h$ (respectivement $\pi_m$) est la probabilité a priori que le texte controversé ait été écrit par Hamilton (respectivement Madison, avec $\pi_h + \pi_m = 1$), la probabilité qu'il ait été écrit par Hamilton (respectivement Madison) sachant qu'il contient 4 fois le terme « also » est égale à

$$ \frac{p_h \pi_h}{p_h \pi_h + p_m \pi_m}, \text{ respectivement } \frac{p_m \pi_m}{p_h \pi_h + p_m \pi_m} $$

Le rapport de ces deux probabilités se décompose en deux facteurs : le « degré de certitude » a priori ($\pi_h / \pi_m$) et le « degré de certitude » issu de l'estimation des données ($p_h / p_m$).

Notre propos n'est pas d'entrer ici dans le détail du modèle bayésien développé par Mosteller et Wallace. Précisons simplement que la spécification

du modèle a pris en compte, sous forme d'une distribution a priori des paramètres, l'information textuelle non directement utilisée dans l'estimation, ce qui a permis de contrôler des effets de régression et de l'hétérogénéité éventuelle du corpus de référence. Afin de s'assurer de la robustesse du modèle, deux spécifications ont par ailleurs été comparées : la loi de Poisson et la loi binomiale négative.

Indépendamment de tout a priori concernant l'identité de l'auteur, c'est-à-dire si l'on pose $\pi_h = \pi_m$, les résultats sont très nettement en faveur de Madison. Les articles pour lesquels la certitude est la moins forte sont les numéros 55 et 56 avec des « rapports de chances » respectifs de 245 contre 1 et de 3 640 contre 1 en faveur de Madison. Le troisième article pour lequel le « degré de certitude » est le « moins favorable » à Madison est le numéro 49 (200 000 contre 1...).

Dans le cadre de ce modèle, on peut donc conclure qu'à moins d'avoir de forts a priori contre Madison, l'ensemble des articles controversés peut lui être attribué. Seul l'auteur de l'article numéro 55 peut éventuellement encore être discuté : si, à la lecture de travaux d'historiens ou de linguistes par exemple, le degré de conviction a priori est en faveur de Hamilton à 1 000 contre 1 ($\pi_h = 0,999$ et $\pi_m = 0,001$), le degré de certitude a posteriori, bien que nettement infléchi par les données, lui demeure favorable à 4 contre 1.

<figure><img src="image_6.png" /><figcaption>Siméon Denis Poisson, 1781-1840</figcaption></figure>

<footnote n="5">5. Cette hypothèse est tout à fait réaliste dans la mesure où les fréquences d'utilisation des mots les plus répandus ne dépassent 1 % qu'en de très rares cas. Selon le linguiste G. Dewey (1923), ce taux n'est supérieur à 0,5 % que pour seulement 25 mots.</footnote>
## Intérêt du modèle bayésien

Le principal apport du modèle déve-
loppé par Mosteller et Wallace tient à
la manière dont ses résultats sont for-
mulés : en estimant les « rapports de
chances » ou « degrés de certitude »
en faveur de l'un ou l'autre des
auteurs envisagés, cette méthode
dépasse le caractère descriptif de
l'analyse discriminante linéaire.

De plus, la possibilité d'intégrer des
convictions a priori permet d'inscrire
les résultats de l'étude statistique
dans l'histoire de la controverse et de
son traitement par les sciences
sociales.

Un autre avantage de cette approche
tient à la modélisation de l'écriture

qu'elle propose. L'écriture répond à
des habitudes prises dans l'emploi
de certains termes, mais également à
une attention particulière portée aux
répétitions. Il peut de ce fait sembler

intuitif que l'occurrence d'un mot ne
soit pas régulière au fil du texte : la
spécification d'un modèle d'écriture,
par une loi de Poisson ou une loi
binomiale, permet de dépasser le
cadre linéaire de l'analyse discrimi-
nante de Fisher.

Un dernier intérêt de la méthode est
de permettre l'utilisation de l'en-
semble de l'information disponible,
ce qui est particulièrement précieux
quand les données sont peu nom-
breuses comme dans le cas des
Federalist Papers. Ainsi, lors de l'es-
timation, la totalité de l'échantillon de
référence a pu être utilisée alors qu'il
avait dû être scindé en un échantillon
« d'estimation » et un échantillon
« de calibrage » dans l'analyse discri-
minante linéaire.

<figure><img src="image_7.png" /><figcaption>Thomas Bayes, 1702-1761</figcaption></figure>

<figure><img src="image_8.png" /></figure>

Source : F. Mosteller et D.L. Wallace, « Inference in an Autorship Problem », Journal of the American Statistical Association, juin 1963, tableau 6.2, p. 301.

Lecture : Les « odds », c'est-à-dire les « rapports de chances » ou « degrés de certitude » (en ordonnée, échelle logarithmique), sont issus des différents modèles estimés par Mosteller et Wallace. Bien que nous ayons retenu les estimateurs qui lui sont les plus « défavorables », les degrés de certitude en faveur de Madison sont d'au moins 1 000 contre 1 pour tous les articles controversés à l'exception du n° 55. Pour celui-ci, il est de 245 contre 1.
Plus qu'une simple étude statistique

Dans son *Histoire de la raison statistique*<fnref n="6" />, Alain Desrosières revient sur la tension qui oppose au sein du langage des probabilités les interprétations subjective et fréquentiste : « La première (...) dominante au XVIIIᵉ siècle, notamment chez Bayes et Laplace, envisage la probabilité comme un état d'esprit, une raison de croire (...) portant aussi bien sur le passé que sur le futur, alors que la seconde (...) voit dans la probabilité un état de la nature, observable seulement par la réitération, répétée un grand nombre de fois, d'un même événement. »

L'unification axiomatique accomplie par Andrey Kolmogorov ne parvient pas deux siècles plus tard à réconcilier ces deux positions. Les interprétations subjective et fréquentiste ont de fait souvent été opposées. Dans l'après-guerre, un regain d'intérêt pour l'approche bayésienne

L'étude de Mosteller et Wallace s'inscrit dans le mouvement interdisciplinaire des « American Studies ». Apparue sur la scène universitaire américaine dans les années 1940, cette discipline a mobilisé l'histoire, les sciences politiques et les lettres, mais également la science statistique.

En témoigne en 1974 l'éditorial du premier numéro annuel hors série de l'American Quarterly, revue archétypale des American Studies. Rappelant tous les bénéfices que l'on peut et doit attendre du rapprochement de différentes disciplines autour d'un thème commun, l'éditorialiste David E. Stannard cite à l'appui de ses propos la convergence d'intérêt qui s'était forgée autour de la controverse des Federalist Papers entre connaissance historique et statistique bayésienne.

a succédé à l'âge d'or de la statistique inférentielle classique de Ronald Fisher et Jerzy Neyman.

L'étude de Mosteller et Wallace était portée par cette dynamique. Comme ils l'ont eux-mêmes souligné, ils entendaient « appliquer un théorème de plus de 200 ans sur un problème vieux de 175 ans, avec pour objectif principal celui de faire progresser les statistiques et non seulement l'histoire ». L'apport majeur de leur travail tient, de fait, à la réelle réflexion exercée quant à l'application du pré-

cepte bayésien en analyse discriminante textuelle, dans le cadre d'une démarche originale. Les résultats qu'ils présentent confirment la démonstration d'Irving Brandt (cf. l'article précédent) qui attribue les *Papers* controversés à James Madison. Depuis la publication de leur article en 1963, aucune étude sur l'identité de l'auteur de ces textes n'a été présentée dans une revue majeure d'histoire ou de sciences politiques.

Thomas AMOSSÉ

<footnote n="6">6. Cf. pages 7 à 9.</footnote>