# Littérature et intelligence artificielle

Étienne Brunet, Ludovic Lebart, Laurent Vanni

► To cite this version:

Étienne Brunet, Ludovic Lebart, Laurent Vanni. Littérature et intelligence artificielle. L'intelligence artificielle des textes, 15, Honoré Champion, pp.73-130, 2021, Lettres numériques, 9782745356406.
hal-04436066

HAL Id: hal-04436066

https://hal.science/hal-04436066v1

Submitted on 3 Feb 2024

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
# Littérature et intelligence artificielle

Étienne Brunet, Ludovic Lebart, Laurent Vanni

BCL(CNRS)

Université de Nice Côte d'Azur

**Abstract.** *Using Deep Learning to attribute authorship of French literary texts*

While problems of attributing authorship or dating a text can be tackled using the usual methods of literary historians, it is equally possible to turn to statistical and computing tools. A range of intertextual measures have been proposed to describe variation within and across authors. To date no single method can claim an uncontested superiority comparable to the use of DNA in paternity suits or criminal investigations. The present study asks whether artificial intelligence may be able to play this role, and seeks the answer in research involving two corpora. The first concerns 20th century French literature: a deep learning algorithm is used on 50 texts by 25 authors (e.g., Roman Gary, Émile Ajar) with the goal of matching the two texts by the same author. Deep learning is perfectly accurate. The second corpus is drawn from French classical drama and here the algorithm also categorically distinguishes and matches plays by Racine, Corneille, and Molière. The only errors concern two plays (the French texts of Molière's *Don Garcia of Navarre* and Racine's *The Litigants*) where the comic genre takes precedence over authorial voice. This paper investigates the mechanisms of deep learning.

**Key words:** artificial intelligence, deep learning, text authentication, literary authorship, intertextual distance, lexicometry, 20th century French novel, French classical drama, Molière authorship question.

**Résumé.** *Littérature et intelligence artificielle*

Les problèmes de paternité ou de datation peuvent être abordés avec les moyens habituels de l'histoire littéraire, mais aussi en recourant aux ressources de la statistique et de l'informatique. Diverses mesures intertextuelles ont été proposées pour tenter de distinguer les distances intra (entre les textes d'un même auteur) et les distances inter (entre les auteurs). Malheureusement aucune jusqu'ici n'a pu prétendre au rang de juge suprême, comparable à l'ADN dans les recherches de paternité ou de criminalité. L'Intelligence artificielle peut-elle jouer ce rôle? C'est l'objet de la présente étude, menée conjointement dans deux corpus. Dans le premier, on aborde le roman au XXᵉ siècle en proposant à l'algorithme du Deep Learning un panel de 50 textes et de 25 écrivains (parmi lesquels Roman Gary et Émile Ajar). Il s'agit de reconnaître les textes qui ont le même auteur. Le Deep Learning réussit l'épreuve sans faillir. Fort de cette réussite, le même algorithme est appliqué au théâtre classique. La conclusion est catégorique : Racine, Corneille et Molière se distinguent parfaitement sauf dans deux cas (*Don Garcia* et *Les Plaideurs*) où le genre vient brouiller la signature. Le présent article s'interroge sur les mécanismes mis en œuvre dans le Deep Learning.

**Mots-clés :** Intelligence artificielle, Deep Learning, authentification des textes, paternité littéraire, distance intertextuelle, lexicométrie, roman au XXᵉ siècle, théâtre classique, affaire Corneille-Molière.
1 – L’authentification des textes c’est l’activité préférée de la recherche littéraire car elle peut mener au plaisir, et parfois à la gloire, de la découverte. Quand le critique s’emploie seulement à exprimer ses goûts, à approfondir son sentiment, à multiplier les rapprochements, il n’atteint jamais le niveau de l’absolu, si brillantes que soient ses analyses. Mais quand le chercheur s’attache aux sources, qu’il trouve la preuve matérielle d’une erreur à redresser, d’une idée reçue à corriger, d’une incertitude à combler, d’une signature à authentifier, il accède au niveau suprême de la vérité, même s’il ne s’agit que d’une virgule. On observe aussi dans les sciences dures un écart entre la théorie et l’observation de terrain, mais dans bien des cas l’expérimentation permet de rapprocher les deux approches et d’accorder l’une à l’autre par d’incessants recoupements, le fin du fin étant la découverte expérimentale (comme celle de la planète Neptune par Le Verrier) vérifiant une prédiction théorique antérieure. Or l’expérimentation n’est guère réalisable dans le domaine littéraire : aucun écrivain n’accepterait de se soumettre à des conditions imposées par quelque théorie et d’écrire un texte qui aurait été prévu et conditionné. Les tentatives des surréalistes et de l’*OuLiPo* ont pu amuser sans parvenir à convaincre. Et c’est aussi le cas des premières expériences où la plume a été confiée à l’ordinateur, après qu’on l’a doté d’un dictionnaire, d’une grammaire sommaire et de quelques relevés statistiques destinés à guider le hasard.

2 – À défaut d’un automate poète et créateur, peut-on imaginer un algorithme imitateur et composant des textes proustiens et crédibles au point que les spécialistes puissent s’y méprendre. Jusqu’ici la machine n’a signé aucun pastiche qui puisse tromper un lecteur un peu attentif. Dans le domaine du son ou de l’image, l’imitation s’approche peut-être plus facilement de la création. Ainsi en analysant 300 tableaux de Rembrandt l’intelligence artificielle a pu proposer un faux portrait de jeune homme que les experts pourraient authentifier, abstraction faite de la matérialité du support et des ingrédients chimiques utilisés (voir le site https://www.nextrembrandt.com/). Les mêmes techniques de *deep learning* appliquées à la composition musicale peuvent proposer une orchestration imitée de Bach sans recourir à la simple copie, ni à la couture des extraits, ni même à l’expertise documentée des musicologues (http://www.mlsalt.eng.cam.ac.uk/foswiki/pub/Main/ClassOf2016/Feynman_Liang_8224771_assignsubmission_file_LiangFeynmanThesis.pdf).

3 – Notre ambition est moindre. Il ne s’agit ici ni d’imitation, ni de création mais seulement de reconnaissance. On devrait préférer le terme plus exact de *prédiction*, qui est celui qu’utilise la discipline. En effet lorsque les techniques de l’intelligence artificielle sont mises en œuvre, la reconnaissance (ou identification) n’est pas absolue. Le processus de classification aboutit à un continuum de valeurs échelonnées de 0 à 100. Cette approximation en pourcentages est assez habituelle dans les conclusions
statistiques, et particulièrement dans les méthodes éprouvées de la lexicométrie. Mais il
faut ici souligner une différence essentielle dans l'approche des faits. L'habitude s'est
imposée dans les études lexicométriques de constituer un corpus en rassemblant des
textes que l'on oppose les uns aux autres en s'aidant de la « norme » interne représentée
par l'ensemble du corpus. Il y a certes des avantages pratiques à procéder de la sorte
mais cela ne va pas sans bousculer la vraie démarche statistique qui exclut radicalement
l'échantillon de la population. Pour savoir si un échantillon (ou un texte) peut ou non
appartenir à la population (ou corpus), les tests autorisés n'admettent pas sa présence,
même proportionnellement faible, dans les données de référence, dites aussi données
d'apprentissage. La procédure que suit en particulier le *deep learning* respecte
intégralement cette distinction, et dénonce immédiatement les forfaitures, en parlant de
façon assez dérogatoire d'apprentissage par cœur (overfitting). Quand le texte à examiner
figure par mégarde ou ignorance dans les données d'apprentissage, un seuil scandaleux
de reconnaissance signale le non-respect du principe de séparation. Dans la même
situation, la lexicométrie traditionnelle enregistre peu de différence dans les résultats,
que le texte à examiner soit extérieur ou non au corpus. On peut en conclure a priori
que l'approche du *deep learning*, étant plus exigeante et plus sévère dans les conditions de
traitement, laisse espérer une sensibilité plus grande et plus exacte à la spécificité des
textes.

# I – Le roman au XXe siècle

## Reconnaître que deux textes sont d'un même auteur

### I.1 – Une expérience en double aveugle

Nous nous proposons d'en apporter la confirmation avec une expérience en
double aveugle mettant en jeu deux chercheurs dont les compétences et les parcours
sont si éloignés, que les travaux de l'un sont presque opaques à l'intelligence de l'autre.
Le premier, qui est d'origine littéraire et qui tient momentanément la plume, a
cinquante ans de statistique linguistique derrière lui. Le second, qui est né cinquante ans
plus tard et qui a vécu dans l'informatique depuis le berceau, s'est spécialisé dans
l'intelligence artificielle. L'idée leur est venue de s'associer et de résoudre les problèmes
de l'un avec les ressources de l'autre<fnref n="1" />. En réalité le mot problème est impropre quand la
solution de l'authentification est apportée par l'histoire. Il s'agit en effet, dans un
premier temps, de vérifier par la seule analyse textuelle si Romain Gary et Emile Ajar,
tous les deux lauréats du prix Goncourt, ne font qu'un seul et même auteur. Ce qui fut

<footnote n="1">¹ En cours de route le besoin s'est fait sentir d'une garantie supplémentaire pour couvrir le champ mathématique. Ludovic Lebart s'est alors associé à l'équipe en y apportant sa compétence statistique et le renfort précieux de son logiciel DtmVic, dont certaines fonctions ont été étendues pour le présent projet.</footnote>
quelque temps un mystère, une rumeur, un soupçon, a fait l'objet d'une révélation explicite qui ne permet plus aucun doute<fnref n="2" />. Mettons-nous cependant à la place d'un membre du jury, plus méfiant que les autres et doté des moyens lexicométriques de vérification. À l'époque, c'est-à-dire en 1975, certaines méthodes existaient déjà pour mesurer la distance intertextuelle, ou, à l'inverse, la proximité, à travers la terminologie de Charles Muller (connexion lexicale) ou de Etienne Evrard (affinités)<fnref n="3" />. Mais on aurait eu du mal à cette date à trouver sur un support informatique le texte des romans de Gary et des autres écrivains invités à la comparaison. Les moyens actuels, même embarrassés par le copyright, nous ont permis d'incorporer 50 romans dans un corpus où 25 auteurs du XXème siècle sont représentés, chacun fournissant deux titres. En réalité, le problème étant centré sur Romain Gary, la part de cet écrivain est plus avantageuse, puisque deux titres sont alloués à Ajar, deux autres à Gary jeune, et deux autres à Gary vieillissant. Le choix des auteurs n'a rien d'un palmarès rigoureux : l'expérience n'aurait guère changé avec une sélection différente, l'essentiel étant de s'en tenir au roman, pour écarter l'influence dangereuse du genre.

Le dispositif adopté ressemble un peu au protocole familier à la recherche médicale qui aime à étudier le cas des jumeaux. Il s'agit en effet de vérifier si les deux textes qui ont le même père ont des caractéristiques qui les distinguent des autres familles et qui en font des frères, sinon des jumeaux<fnref n="4" />. On s'attend que le sujet, l'époque de la rédaction ou le désir de renouvellement puissent brouiller les ressemblances et qu'inversement des auteurs différents puissent se rencontrer s'ils partagent un thème voisin ou la même école littéraire. Si l'ADN arrive à dissiper le brassage physiologique et à établir sans conteste les vraies paternités, les analyses lexicométriques n'offrent pas jusqu'ici la même garantie en matière de création littéraire, lorsqu'il faut distinguer la distance intra (entre les textes d'un même auteur) et la distance inter (entre les auteurs).

Gide : La symphonie pastorale et L'immoraliste;

Giraudoux : Simon le pathétique et Bella;

Montherlant : Les Célibataires et Les Bestiaires;

Saint-Exupéry : Courrier Sud et Terre des hommes;

Colette : Sido et La Vagabonde;

Queneau : Le Chiendent et Zazie dans le métro;

Camus : L'étranger et La chute;

Duras : Un barrage contre le Pacifique et L'Amant;

Yourcenar : Mémoires d'Hadrien et L'Œuvre au noir;

Gary1 : La promesse de l'ube et Les racines du ciel;

Tournier : Vendredi ou les limbes du Pacifique et Éléazar;

Gary2 : Clair de femme et Au-delà de cette limite;

Ernaux : La honte et Les années;

Proust : Du côté de chez Swann et Le Temps retrouvé;

Mauriac : Le Baiser au lépreux et Le Mystère Frontenac;

Malraux : L'Espoir et Les Conquérants;

Breton : Nadja et L'Amour fou;

Giono : Le grand troupeau et Le bussard sur le toit;

Aragon : Les Beaux Quartiers et Blanche ou l'oubli;

Vian : L'Écume des jours et L'Automne à Pékin;

Gracq : Le Rivage des Syrtes et Un balcon en forêt;

Mammeri : La colline oubliée et La traversée;

Pérec : W ou le souvenir d'enfance et Un homme qui dort;

Ajar : Gros-Cálin et La vie devant soi;

Le Clézio : Hasard et Désert.

<footnote n="2">² On n'a pas retrouvé à la bibliothèque universitaire de Nice le mémoire d'une certaine Hélène dont parle Didier Van Cauwelaert dans le *Père adopté* (Le Livre de Poche, 2009, p. 241-245) et qui aurait soupçonné la collusion des deux noms à partir d'indices stylistiques et de clins d'œil à demi transparents : *Ajar* veut dire « braise » en russe et *Gary* « brûle », à rapprocher d'un autre pseudonyme de Gary : *Brûlard*.</footnote>

<footnote n="3">³ Si la terminologie de ces deux pionniers a un peu vieilli (ils parlent plus volontiers de statistique linguistique plutôt que de lexicométrie, de stylométrie, de textométrie ou de logométrie), on verra dans la suite de cette étude que les algorithmes qu'ils ont mis au point il y a cinquante ans sont assez puissants pour rivaliser avec bonheur avec ceux de l'intelligence artificielle.</footnote>

<footnote n="4">⁴ Voici la liste des 50 textes retenus :</footnote>
## I.2 – Les mesures classiques de la distance intertextuelle

La matrice des distances peut être établie non seulement sur les formes graphiques, mais aussi sur les lemmes, les codes grammaticaux, les structures (c'est-à-dire des combinaisons de codes entre deux ponctuations), sur les bicodes ou tricodes (combinaisons limitées à deux ou trois codes) ou encore sur les classes de fréquences, la longueur des mots, les segments répétés, etc. Les effectifs obtenus peuvent aussi varier selon qu'on considère la présence/absence (méthodes Jaccard et Évrard) ou la fréquence de l'élément retenu (méthodes Muller et Labbé). Or, si les analyses convergent, aucune n'arrive à surpasser celle d'É. Évrard consignée dans la figure 1.

<figure><img src="image_2.png" /><figcaption>Graphique 1. Analyse arborée appliquée aux graphies de 50 romans.</figcaption></figure>

Le calcul s'appuie ici sur les mêmes éléments que celui de Jaccard : pour deux textes en présence on désigne
* par A l'effectif des mots communs aux deux textes,
* par B l'effectif des mots présents dans le premier texte mais non dans le deuxième,
* par C l'effectif des mots absents dans le premier texte et présents dans le second,
* par D l'effectif des mots du corpus qui manquent dans les deux textes,
* par N le total général (A+B+C+D),
* par α le total marginal A+B,
* par β le total marginal C+D,
* par γ le total marginal A+C,
* par δ le total marginal B+D.
La formule peut prendre la forme d'un coefficient de corrélation ou celle d'un Chi2, l'une se dérivant de l'autre<fnref n="5" /> :

$$r = \frac{AD-BC}{\sqrt{\alpha\beta\gamma\delta}}$$

$$X^2 = N \frac{(AD-BC)^2}{\alpha\beta\gamma\delta}$$

$$\frac{X^2}{N} = r^2$$

Le tableau des distances intertextuelles, ainsi réalisé en confrontant chaque roman aux 49 autres, est alors soumis à un programme d'analyse arborée qui trace une sorte d'arbre typologique de la population. Chaque élément terminal y est associé à l'élément dont il est le plus proche<fnref n="6" />, pour constituer une paire. Or, dans la totalité des cas la paire est une fratrie, où l'algorithme reconnaît la signature du même auteur (figure 1). S'agissant de Gary-Ajar, la cohésion de la famille est fortement soulignée sur la droite du graphique où les six membres se tiennent la main.

Le résultat est confirmé par les deux formules d'Évrard, tant au niveau des lemmes que des graphies. Mais d'autres approches ou d'autres observables, aussi légitimes, laissent en suspens quelques textes qui n'ont pas trouvé le partenaire naturel. Le tableau 2 restitue les résultats qu'on obtient lorsqu'on fait varier les paramètres de l'analyse arborée.

<table><caption>Tableau 2. Comparaison des analyses arborées établies sur des critères différents.</caption><thead><tr><td>Méthode</td><td>Objet</td><td>Effectifs</td><td>Paires reconnues (sur 25 possibles)</td></tr></thead><tbody><tr><td>Evrard</td><td>graphies</td><td>présence/absence</td><td>25</td></tr><tr><td>Evrard</td><td>lemmes</td><td>présence/absence</td><td>25</td></tr><tr><td>Jaccard (Brunet)</td><td>graphies</td><td>présence/absence</td><td>24</td></tr><tr><td>Jaccard (Brunet)</td><td>lemmes</td><td>présence/absence</td><td>22</td></tr><tr><td>Labbé</td><td>lemmes</td><td>fréquence</td><td>21</td></tr><tr><td>Labbé</td><td>graphies</td><td>fréquence</td><td>20</td></tr><tr><td>Muller</td><td>graphies</td><td>classes de fréquence</td><td>19</td></tr><tr><td>Jaccard (Brunet)</td><td>structures</td><td>présence/absence</td><td>11</td></tr><tr><td>Labbé</td><td>structures</td><td>fréquence</td><td>8</td></tr><tr><td>Jaccard (Brunet)</td><td>codes</td><td>présence/absence</td><td>6</td></tr><tr><td>Labbé</td><td>codes</td><td>fréquence</td><td>6</td></tr></tbody></table>

<footnote n="5">⁵ L'exposé se trouve dans Étienne Évrard « Étude statistique sur les affinités de cinquante-huit dialectes bantous » in *Statistique et Analyse linguistique*, PUF, Paris 1966, pp.85-94. On a jugé utile d'exhumer cet article ancien et d'en démontrer les vertus dans É. Brunet, « Les affinités lexicales. Hommage à Étienne Évrard », 2014, http://lesetudesclassiques.be/index.php/lec/article/view/320.</footnote>

<footnote>Le calcul est implémenté dans le logiciel *HYPERBASE* comme ceux de Jaccard, de Muller et de Labbé. Quant à la représentation graphique, deux programmes concordants sont mis en œuvre : l'analyse arborée de Luong et celle de D.H. Huson et D. Bryant. Cette dernière, appelée *SplitsTree*, est utilisée dans le graphique 1.</footnote>

<footnote n="6">⁶ La notion de plus proche voisin peut prêter à confusion. Dans le tableau des distances, la valeur minimale observée sur la ligne A et désignant la colonne B correspond à la notion simple et locale de PPV (ou plus proche voisin). Mais l'algorithme des arbres additifs (ou analyse arborée) met en évidence des appariements beaucoup plus subtils. Il utilise non seulement les plus proches voisins, mais aussi la cohérence entre voisins de voisins. Ainsi plusieurs couples de textes, comme ceux de Duras ou de Colette, qui ne sont pas reconnus localement comme plus proches voisins, sont appariés en deuxième instance par l'analyse arborée, quand toutes les cartes sont sur la table et toutes les relations prises en compte.</footnote>
Notons que l'efficacité diminue quand l'objet linguistique considéré perd en intension (ou compréhension) ce qu'il gagne en extension, ce qui est le cas des codes grammaticaux dont les effectifs sont considérables et la variété restreinte. La lexicologie s'est souvent engagée dans cette voie à ses débuts, parce que les données disponibles étaient de modeste dimension et que pour échapper à l'hypothèse nulle, elle recherchait un moyen de grossir les effectifs, en faisant des tas plus larges parmi les mots.

## I.3 – Méthodes fondées sur le TLE.

La plupart des méthodes précédentes reposent sur des effectifs, en nombre restreint, où les éléments du vocabulaire sont répartis comme les votes qu'on dépouille au sortir de l'urne. Que les mots soient riches ou pauvres, fréquents ou rares, les décomptes sont faits *per capita*, chaque élément de V (forme ou lemme) pesant le même poids, quel que soit le nombre de ses occurrences. Cela donne une importance démocratique aux mots de faible fréquence, tout en annulant le poids des mots opulents<sup>7</sup>.

Mais on peut contester ce système et explorer le dictionnaire des fréquences non plus en ordre alphabétique mais dans un classement hiérarchique (c'est le TLE, ou Tableau Lexical Entier), en commençant par les plus fréquents, et en tenant compte de l'importance économique de chacun, calculée en nombre d'occurrences. C'est ce que recommande un autre pionnier de la discipline : André Salem. Les décomptes ne reposent plus sur V, mais sur N, c'est-à-dire sur les occurrences, dont chacune importe. Chaque vocable (forme ou lemme) constitue une ligne dans un tableau cumulatif qui compte autant de colonnes que de textes dans le corpus. À l'intersection, la cellule élémentaire contient la fréquence du vocable A dans le texte B. En principe ce n'est pas un vote censitaire puisqu'en droit toutes les lignes (tous les vocables) sont prises en considération. En réalité l'analyse qui exploite ce tableau s'arrête avant d'atteindre les basses fréquences, dont la prise en compte ne modifierait plus les résultats acquis. Or cette analyse peut prendre deux formes.

a – La première est un **calcul direct**, par le canal de l'analyse arborée. Mais au lieu de traiter un tableau carré symétrique (en réalité, triangulaire), comme celui de la figure 1, le programme exploite une matrice rectangulaire, où les mots sont en x et les textes en y, et qui est convertie, par un calcul de Chi2, en un tableau (carré et

<footnote n="7"><sup>7</sup> Les mots fréquents ne peuvent guère échapper à la zone d'intersection où s'entassent les mots communs aux textes que l'on confronte. Leur effectif est constant d'un texte à l'autre du corpus, si bien qu'on peut les éliminer sans changer les résultats. Le calcul d'Evrard, qui aboutit à la réussite remarquable de la figure 1, a été refait en s'abstenant d'intégrer les 1000 formes graphiques les plus fréquentes, dont on pouvait penser qu'elles étaient présentes dans les 50 textes du corpus. Cela ne trouble aucunement la reconnaissance des 25 paires, alors que le poids des mots maintenus ne représentait plus que le quart de la surface imprimée. Même en ne gardant que les mots de fréquence inférieure à 100, soit le huitième du total des occurrences, la figure 1 ne bouge pas d'un pouce. C'est avouer que la distance d'Evrard, même si elle envisage la totalité du vocabulaire, n'est sensible qu'aux mouvements des basses fréquences. Il en est de même de la distance de Jaccard et aussi du calcul de Muller, lequel s'arrête à la fréquence 50.</footnote>
symétrique) de distances. Appliqué aux 2718 graphies qui ont au moins 100 occurrences (soit 3,5 millions sur les 4 millions du corpus), le résultat n'est pas à la hauteur des espérances : 17 paires seulement sont reconnues sur 25 dans la figure 3.

<figure><img src="image_3.png" /></figure>

Les paires reconnues sont en bleu.
Les textes non identifiés sont encadrés.

<caption>Figure 3. Analyse arborée de 2718 graphies ayant au moins 100 occurrences.</caption>

Pour améliorer ce résultat, on peut être tenté d'augmenter le volume des données en poussant l'enquête jusqu'à la fréquence 50, ce qui double le nombre de mots (soit 5140 lignes). Le gain est maigre et se limite à une paire supplémentaire. Il semble préférable de jouer sur la qualité plutôt que sur la quantité. Car on soupçonne que certains mots-outils, très sensibles aux variations du genre, peuvent perturber les résultats, comme aussi les pesanteurs thématiques, qui accompagnent les substantifs. Or la lemmatisation permet de faire séparément le traitement des classes grammaticales et d'isoler les influences que le genre ou le thème exercent sur la plume des écrivains et qu'on voudrait neutraliser pour atteindre le style propre de chacun. Si l'on se borne aux mots-outils (aux 92 qui ont plus de 2000 occurrences), les pronoms personnels accaparent le pouvoir et radicalisent la distribution, la 3e personne s'opposant aux deux autres sur le premier facteur, et celles-ci se divisant sur le deuxième. Le roman est en réalité un genre multiforme qui admet des variétés privilégiant le récit, ou le dialogue, ou la confidence. Or le même écrivain peut s'illustrer sans se déjuger dans plusieurs de ces sous-genres stylistiques. L'influence des thèmes brouille aussi les cartes et là aussi
un écrivain n'est pas tenu à exploiter toujours le même, et à se l'approprier en excluant
les autres (les autres thèmes et les autres écrivains). Or le thème oriente principalement
le choix des substantifs. Si l'on concentre l'étude sur les 94 substantifs qui ont plus de
1000 occurrences, l'analyse factorielle (extraits ci-dessous) distribue les thèmes dans
deux directions opposées : à gauche les éléments de la nature occupent l'espace et c'est
là que s'installent certains romans de Le Clézio, Tournier, Saint Exupéry, ou Gracq; à
droite c'est le règne du temps (soir, jour, an, année, histoire, vie) et les romans qu'on voit
dans ces parages invoquent le temps dans leur titre même (Le temps retrouvé, Blanche ou
L'oubli, Les années, Mémoires d'Hadrien, W ou le Souvenir), comme c'est aussi le cas
pour l'espace dans le camp opposé (Désert, Le Rivage des Syrtes, Vendredi ou les limbes
du Pacifique). Et parmi les substantifs les plus contingents et les moins fortement liés
à l'écrivain sont les noms propres, qu'ils désignent des personnes ou des lieux, qu'ils
appartiennent à la fiction ou à la réalité.

<figure><img src="image_4.png" /><figcaption>L'espace et le temps dans l'analyse factorielle des substantifs (extraits)</figcaption></figure>

Il convient donc de se méfier des mots-outils et des substantifs, ce qui est réalisé
dans la figure 4, qui limite le traitement aux verbes du corpus, en neutralisant les
marques du temps, du mode et de la personne. Privé de ces attributs, le verbe n'est plus
qu'un matériau souple et transparent, qui sert de liant aux éléments de la phrase. S'il
garde encore une valeur thématique, c'est sans raideur, sans exclusive, sans la
radicalisation propre au substantif. Les verbes sont beaucoup moins souvent
caractéristiques que les noms. Leurs valeurs-test ou écarts réduits (indices de spécificité
qui ont 95 chances sur 100 d'être inférieurs à 2 en valeur absolue dans le cas d'une
répartition au hasard) dépassent rarement 10, alors que celles des noms dépassent
fréquemment 20, voire 30 pour certains romans. Il peut sembler paradoxal de
s'appuyer sur des éléments plus neutres et plus constants pour obtenir une
différenciation plus nette. Il en est ainsi en matière de biologie : la typologie des espèces
délaisse souvent les caractéristiques extérieures pour retenir des critères moins visibles
et plus solides. La figure 4 en apporte la preuve : toutes les paires sont clairement
associées, à l'exception de deux écrivains, Camus et Pérec. On s'abstient
provisoirement d'expliquer ces deux manquements, tant que d'autres méthodes ne les
ont pas confirmés.
## ANALYSE ARBOREE (directe) de 1542 VERBES (fréquence > 20)

<figure><img src="image_5.png" /><figcaption>Figure 4. Analyse arborée (directe) de 1542 verbes lemmatisés (fréquence > 20)</figcaption></figure>

**b** - On peut aussi exploiter le TLE de façon **indirecte**, la recherche du plus proche voisin étant appliquée aux axes factoriels d'une analyse **factorielle préalable**<fnref n="8" />. Par le moyen de cette analyse (des correspondances) on accède à des informations sur l'organisation structurelle des mots et des textes – ce que l'analyse arborée ne délivre pas aussi précisément.

- L'approche la plus franche est l'analyse des formes graphiques sans aucun prétraitement, illustrée par l'arbre de la figure 5 (formes apparaissant plus de 50 fois). Avec cette approche rudimentaire, environ 32 romans (16 auteurs) sont assez

<footnote n="8">⁸ Pour ce traitement plus complexe on a fait appel au logiciel DtmVic (Data and Text Mining: Visualisation, Inférence, Classification). Il s'agit d'un outil de Statistique Exploratoire Multidimensionnelle pour données complexes comprenant des données numériques et textuelles. DtmVic utilise les logiciels TreeTagger (Schmid, 1994) pour la lemmatisation et SplitsTree (Huson et Bryant, 2006) pour le tracé des arbres additifs. Ce logiciel gratuit, créé par Ludovic Lebart, est téléchargeable à l'adresse http://www.dtmvic.com/05_SoftwareF.html. Les données fournies à ce logiciel sont les mêmes que celles que traite le logiciel Hyperbase, à une exception près : le corpus comprend 51 textes, un roman ayant été ajouté à l'auteur Pérec pour compenser l'instabilité de W ou le souvenir d'enfance.</footnote>
convenablement appariés (en vert). En rouge, les romans mal ou très mal classés. Ce sont les mêmes que ceux de la figure 3.

<figure><img src="image_6.png" /><figcaption>Figure 5. Formes graphiques apparaissant plus de 50 fois</figcaption></figure>

- Il convient donc d'écarter certains mots-outils ou substantifs sur lesquels pèse le soupçon de collusion avec le genre ou le thème. L'exclusion parmi les lemmes est restée légère, et n'a concerné que les noms propres et les pronoms personnels. Cela suffit pourtant pour améliorer grandement le score dans la figure 6. Un seul auteur échappe aux regroupements: Montherlant. Avec un seuil de 100, la stabilité de l'analyse est confirmée, que l'on passe de 4018 lemmes à 2364 lemmes.

- Une troisième approche, plus radicale, concerne les seuls verbes. Ainsi en s'en tenant à cette seule catégorie (sauf être et avoir, un peu suspects), le résultat est très bon : 23 auteurs sont bien retrouvés (sauf Camus et encore Montherlant).

- On pourrait penser que la lemmatisation est une opération approximative et que les résultats s'en trouvent fragilisés. Or l'expérience présente utilise un lemmatiseur, *TreeTagger*, qui diffère de *Cordial*, sur lequel s'appuie la figure 4 consacrée pareillement aux verbes. Et pour faire bonne mesure, on a substitué aussi le logiciel *SplitsTree* à notre programme d'analyse arborée réalisé par Luong. Or le résultat, qu'illustre la figure 7, est parallèle au précédent, avec deux exceptions sur 25 couples.
<figure><img src="image_7.png" /><figcaption>Figure 6. Lemmes sans noms propres ni pronoms personnels (seuil > 50).</figcaption></figure>

<figure><img src="image_8.png" /><figcaption>Figure 7. Analyse arborée de 726 verbes de fréquence supérieure à 84</figcaption></figure>
c - Comme on l'a vu, la distance d'Evrard est liée au chi-deux et donc, dans le cas binaire (et seulement dans ce cas de codage « présence – absence ») liée au coefficient de corrélation classique.

Si l'on transforme le tableau lexical [graphies x romans] (qui a ici 40704 lignes et 51 colonnes, pour les graphies apparaissant au moins dans deux romans) en un **tableau binaire** (0 pour la fréquence "0", et 1 pour toute fréquence positive), le coefficient de corrélation entre deux romans coïncide alors avec celui qui intervient dans la distance d'Evrard.

On doit donc retrouver les mêmes distances à partir de tous les axes d'une analyse en composantes principales qui est fondée sur la matrice des corrélations de ce tableau binaire (40704 x 51). C'est bien ce qu'on observe dans la figure 8.

<figure><img src="image_9.png" /><figcaption>Figure 8. Analyse arborée du Tableau lexical binaire (après ACP)
*(en médaillon, le zoom sur la partie centrale met en relief les paires les mieux constituées, qui s'éloignent plus tôt et plus loin de l'origine)*</figcaption></figure>

On retrouve ainsi le même appariement complet pour les 25 auteurs, mais avec, en complément, toutes les visualisations intermédiaires permises par les paires d'axes factoriels successifs. Un des enseignements de cette reconstitution progressive des distances d'Evrard axe par axe est la mise en évidence de la typicité de certains auteurs, dont les romans apparaissent proches dès les premières dimensions et le restent jusqu'à la reconstitution totale des distances. On peut ainsi visualiser sur ces plans factoriels les paires de romans qui sont « voisins réciproques » pour la distance d'Evrard, c'est-à-dire des paires qui sont isolées dans la « forêt » des plus proches voisins, et constater ainsi
que l'appariement est plus précoce et robuste pour les auteurs concernés (cas de Proust, Yourcenar, Gary, Breton, Vian, St Exupéry, Mauriac, Queneau). La décomposition spectrale (qui concerne aussi bien les mots que les romans) met aussi en évidence pour les premiers axes des traits structurels non décelable dans le bilan global que constituent les analyses arborées. Citons simplement à titre d'exemple l'opposition sur l'axe trois entre l'emploi de vocabulaire familier, voire argotique (du côté de Ajar, Queneau, Vian) et l'emploi d'un langage dépourvu de ce type de vocabulaire (avec Yourcenar, Proust, Tournier, Gracq, Giraudoux). Chaque axe apporte ainsi sa contribution interprétative, jusqu'au bouquet final comprenant tous les axes et présentant un appariement parfait des romans par auteurs.

## I.4 – La solution du *deep learning*<fnref n="9" />

L'intelligence artificielle ne nécessite aucune manipulation préalable, aucun codage grammatical, aucun regroupement ontologique. Elle n'a nul besoin que l'on distingue les homographes et que l'on procède à quelque lemmatisation<fnref n="10" />. Elle s'attache à l'environnement immédiat des mots en faisant glisser une fenêtre de trois mots à la fois dans un espace de cinquante mots<fnref n="11" />. Cela suffit dans bien des cas à dissoudre les ambiguïtés lexicales. Que l'on n'aille pas croire pourtant qu'elle accepte la négligence ou l'incohérence. Elle est très sensible aux artefacts qui résulteraient de choix peu constants ou peu rigoureux dans le traitement des ponctuations, des blancs, des majuscules, de l'apostrophe, des tirets, des noms propres. Nos cinquante textes ont donc été soumis à une préparation minimale, avec le seul souci d'un traitement homogène.

<footnote n="9">⁹ Le lecteur qui souhaiterait un exposé plus détaillé du *deep learning* peut consulter plusieurs publications de Laurent Vanni au sein du laboratoire BCL, notamment :</footnote>

<footnote>Mélanie Ducoffe, Damon Mayaffre, Frédéric Precioso, Frédéric Lavigne, Laurent Vanni *et al*. *Machine Learning under the light of Phraseology expertise: use case of presidential speeches*, De Gaulle -Hollande (1958-2016), JADT 2016 - Statistical Analysis of Textual Data, Nice, France, Volume 1, pp.157-168 https://jadt2016.sciencesconf.org/</footnote>

<footnote>Laurent Vanni, Damon Mayaffre, Dominique Longrée. *ADT et deep learning, regards croisés*. Phrases-clefs, motifs et nouveaux observables, JADT 2018, Juin 2018, Rome.</footnote>

<footnote n="10">¹⁰ Rien n'interdit cependant de proposer au *deep learning* des textes lemmatisés, où chaque graphie est accompagnée d'un code grammatical et du lemme correspondant, selon le format de TreeTagger, à raison d'une ligne de trois éléments pour chaque mot ou signe. En procédant ainsi on peut parfois acquérir plus de précision dans l'interprétation des passages significatifs et savoir si la « saillance » d'un mot vient de sa fonction ou de son sens. Voir l'expérience relatée dans l'article de L. Vanni et al., cité plus haut (JADT 2018). En revanche il y a peu d'espoir d'améliorer les résultats si l'on se contente de substituer le lemme à la graphie. Et la vieille querelle qui a longtemps opposé les partisans et les adversaires de la lemmatisation risque de se rallumer au bénéfice des seconds. Ajouter des étiquettes c'est certes préciser et enrichir les données. Mais réduire les mots à leur forme canonique est incontestablement un appauvissement, comme toute simplification, et cela pénalise la puissance du *deep learning*, qui est capable de tenir compte de la variété fonctionnelle des graphies sans s'appuyer sur un codage explicite.</footnote>

<footnote n="11">¹¹ Ces paramètres peuvent être ajustés à la situation. Précisons que d'autres paramètres interviennent dont le dosage peut varier. Cela n'influe pas sur la direction où s'engage la prédiction mais seulement sur sa précision et le degré de confiance que l'on peut accorder au résultat.</footnote>
laisse pas prévoir la culpabilité de la *Chute*. En ce qui concerne Ajar, l'apprentissage a été réalisé sur le roman *Gros-Câlin*. Or, ce roman est un exercice de style où l'auteur, par un décalage systématique du vocabulaire, de la syntaxe et de la pensée, s'écarte non seulement de ses romans antérieurs mais de toute production littéraire<fnref n="12" />. La liaison avec *La vie devant soi* n'en est pas moins établie et n'est approchée, à distance, que par un texte de Gary *Au-delà de cette limite...* (3.66).

L'honnêteté nous oblige à reconnaître un seul échec. Il est dû à Pérec, le funambule de notre littérature. Nous étions conscients qu'il fallait éviter de proposer à l'expérience des modèles comme la *Disparition* ou les *Revenentes* qui violent l'usage ordinaire de la lettre *e*. Mais il aurait fallu se méfier aussi de *W ou le souvenir*, où se mêlent deux écritures alternées et diamétralement opposées, les chapitres en italiques relevant de l'imaginaire et les autres du réel. Devant cette alliance de la carpe et du lapin, l'algorithme s'est trouvé désarçonné et n'a pu trouver l'unité. On a dû pour certains traitements remplacer ce texte par un autre, les *Choses*, sans être sûr qu'un autre piège oulipien ne s'y trouve pas. Au bout du compte force est de reconnaître la solidité de l'intelligence artificielle qui dans cette première expérience n'est prise en défaut qu'une seule fois (sur 25).

### I.4.2 – Attribuer un texte à un auteur

Fort de cette réussite, on peut tenter d'aller plus loin et de se placer dans la situation générale où un texte supposé inconnu doit être affecté à son auteur. La démarche est la même que précédemment, en revanche l'apprentissage y est plus sûr car il est établi non sur la base fragile d'un seul titre mais sur la production entière de l'écrivain, avec cette réserve que seul le genre romanesque est ici considéré. Nous garderons le même panel des auteurs, mais sans faire la distinction entre Ajar et Gary, qui n'a plus lieu d'être. Restent en compétition 23 écrivains, chacun ayant de 4 à 10 titres romanesques. Pour chaque apprentissage on a ajouté au texte unique de l'expérience précédente autant de romans que nous pouvions, sans atteindre toujours l'exhaustivité. Bien entendu un roman de chacun – le texte frère – était gardé en réserve pour être soumis à la reconnaissance.

Cette fois aucun échec n'est à déplorer. Le roman à identifier est toujours observé dans la case où on l'attend, à sa place sur la diagonale qui croise le texte et l'auteur. Et comme les corpus d'apprentissage sont quatre fois plus larges, les résultats sont plus sûrs et les taux de reconnaissance globalement plus élevés. Ainsi pour Proust le *Temps retrouvé* est mieux identifié (68.55) si on le compare à l'ensemble de la *Recherche* plutôt qu'au premier roman de la *Recherche* (47.5). Comme dans l'étude des paires, Camus est l'auteur le moins bien reconnu, car sa production romanesque est de faible étendue et l'on n'a pu ajouter qu'un seul texte, la *Peste*, au corpus. La base pour Pérec est suffisamment large mais la diversité, qui est ici maximale, affaiblit le taux de

<footnote n="12">¹² On est averti dès la première page : « Je dois donc m'excuser de certaines mutilations, mal-emplois, sauts de carpe, entorses, refus d'obéissance, crabismes, strabismes et immigrations sauvages du langage, syntaxe et vocabulaire. »</footnote>
reconnaissance (9.06). Néanmoins l'authenticité des 23 textes est affirmée dans la totalité des cas (tableau 10).

<table><caption>Tableau 10. Attribution d'un titre à un auteur. Première série.</caption><thead><tr><th>Sép2</th><th>Gide</th><th>Proust</th><th>Giraudo</th><th>Maurac</th><th>Montmichant</th><th>Malraux</th><th>Exury</th><th>Breton</th><th>Cote</th><th>Girno</th><th>Quenau</th><th>Aragen</th><th>Camus</th><th>Vian</th><th>Duras</th><th>Gracy</th><th>Fourcoul</th><th>Mamment</th><th>Gary</th><th>Pére</th><th>Tourner</th><th>LeClézio</th><th>Ermaux</th></tr></thead><tbody><tr><th>Gide.Immoraliste</th><td>33.19</td><td>4.2</td><td>3.57</td><td>6.09</td><td>5.36</td><td>2.73</td><td>1.26</td><td>4.41</td><td>3.36</td><td>3.47</td><td>1.79</td><td>0.53</td><td>1.05</td><td>0.63</td><td>0.21</td><td>1.58</td><td>3.05</td><td>0.11</td><td>1.68</td><td>14.29</td><td>5.78</td><td>1.16</td><td>0.53</td></tr><tr><th>Proust.TempsRetrouvé</th><td>2.46</td><td>68.55</td><td>1.89</td><td>0.76</td><td>2.4</td><td>0.25</td><td>0.06</td><td>2.2</td><td>2.23</td><td>2.48</td><td>1.58</td><td>1.24</td><td>0.51</td><td>0.68</td><td>0.14</td><td>2.88</td><td>2.23</td><td>0.4</td><td>1.04</td><td>1.02</td><td>2.32</td><td>1.38</td><td>1.3</td></tr><tr><th>D'Giraudoux.Bella</th><td>7.76</td><td>7.55</td><td>17.75</td><td>9.35</td><td>7.38</td><td>2.96</td><td>1.54</td><td>1.03</td><td>6.39</td><td>2.7</td><td>2.49</td><td>4.72</td><td>0.51</td><td>0.99</td><td>0.73</td><td>2.49</td><td>5.23</td><td>0.77</td><td>3.6</td><td>1.5</td><td>4.63</td><td>4.12</td><td>3.82</td></tr><tr><th>Mauriac.MystèreFrontenac</th><td>5.34</td><td>0.64</td><td>0.53</td><td>29.99</td><td>4.59</td><td>4.16</td><td>0.32</td><td>0.43</td><td>3.09</td><td>4.06</td><td>7.58</td><td>5.23</td><td>1.49</td><td>5.23</td><td>5.02</td><td>1.81</td><td>3.63</td><td>0.53</td><td>0</td><td>2.35</td><td>12.59</td><td>0.85</td><td>0.53</td></tr><tr><th>Montherlant.Bestiaire</th><td>6.37</td><td>8.08</td><td>1.56</td><td>1.74</td><td>25.85</td><td>2.84</td><td>0.38</td><td>1.36</td><td>2.38</td><td>4.69</td><td>3.48</td><td>9.62</td><td>2</td><td>1.42</td><td>1.01</td><td>1.25</td><td>9.71</td><td>0.9</td><td>0.41</td><td>3.19</td><td>3.91</td><td>7.04</td><td>0.81</td></tr><tr><th>Malraux.Conquérants</th><td>1.29</td><td>0.59</td><td>1.37</td><td>0.75</td><td>7.9</td><td>33.93</td><td>1.38</td><td>0.78</td><td>0.57</td><td>3.6</td><td>10.61</td><td>12.69</td><td>2.73</td><td>1.89</td><td>3.42</td><td>1.33</td><td>1.12</td><td>1.6</td><td>1.54</td><td>1.61</td><td>3.62</td><td>4.82</td><td>0.88</td></tr><tr><th>Exupéry.TerreHommes</th><td>5.72</td><td>1.25</td><td>1.88</td><td>8.85</td><td>15.04</td><td>7.2</td><td>14.72</td><td>0.78</td><td>4.23</td><td>3.37</td><td>3.99</td><td>3.84</td><td>2.74</td><td>0.78</td><td>3.99</td><td>1.8</td><td>2.35</td><td>1.8</td><td>1.41</td><td>0.55</td><td>6.19</td><td>5.95</td><td>1.57</td></tr><tr><th>Breton.AmourFou</th><td>6.65</td><td>8.76</td><td>1.05</td><td>0.61</td><td>10.51</td><td>1.4</td><td>1.23</td><td>37.57</td><td>4.73</td><td>1.49</td><td>3.06</td><td>4.64</td><td>1.58</td><td>0.44</td><td>2.01</td><td>3.24</td><td>0.88</td><td>0.18</td><td>0.96</td><td>1.75</td><td>2.89</td><td>1.31</td><td>3.06</td></tr><tr><th>Colette.Vagabonde</th><td>4.18</td><td>3.55</td><td>1.36</td><td>2.82</td><td>6.17</td><td>1.25</td><td>0.84</td><td>1.25</td><td>39.81</td><td>5.02</td><td>3.76</td><td>3.13</td><td>0.52</td><td>1.25</td><td>1.25</td><td>1.78</td><td>2.09</td><td>0.63</td><td>1.67</td><td>1.57</td><td>7.73</td><td>4.08</td><td>4.28</td></tr><tr><th>Giono.HumardTout</th><td>8.21</td><td>0.16</td><td>0.06</td><td>0.6</td><td>1.82</td><td>3.58</td><td>0.57</td><td>0</td><td>1.29</td><td>56.76</td><td>10.35</td><td>3.68</td><td>1.38</td><td>2.48</td><td>1.07</td><td>0.22</td><td>0.16</td><td>0.72</td><td>0.13</td><td>0.22</td><td>2.52</td><td>3.49</td><td>0.53</td></tr><tr><th>Queuneau.Chiendent</th><td>2.83</td><td>3.38</td><td>1.43</td><td>0.22</td><td>2.49</td><td>1.8</td><td>0.13</td><td>2.07</td><td>3.07</td><td>3.96</td><td>15.76</td><td>12.69</td><td>0.51</td><td>14.94</td><td>1.96</td><td>0.87</td><td>1.36</td><td>1.54</td><td>5.05</td><td>2.89</td><td>5.68</td><td>10.58</td><td>4.77</td></tr><tr><th>Aragon.BeauxQuartiers</th><td>1.96</td><td>4.65</td><td>1.66</td><td>0.42</td><td>2.71</td><td>2.79</td><td>0.61</td><td>5.04</td><td>3.38</td><td>2.62</td><td>5.33</td><td>31.45</td><td>0.43</td><td>0.7</td><td>1.34</td><td>1.06</td><td>1.4</td><td>0.98</td><td>2.26</td><td>3.83</td><td>5.85</td><td>12.6</td><td>6.94</td></tr><tr><th>Camus.Etranger</th><td>5.42</td><td>9.9</td><td>2.07</td><td>1.67</td><td>11.1</td><td>3.01</td><td>1.54</td><td>3.01</td><td>3.34</td><td>3.41</td><td>7.09</td><td>7.49</td><td>3.81</td><td>1.54</td><td>1.54</td><td>0.94</td><td>3.55</td><td>2.01</td><td>7.89</td><td>0.4</td><td>9.57</td><td>5.48</td><td>4.21</td></tr><tr><th>Vian.AutonnePékin</th><td>0.65</td><td>3.07</td><td>0.5</td><td>0</td><td>0.91</td><td>0.65</td><td>0.1</td><td>0.7</td><td>1.81</td><td>3.62</td><td>14.95</td><td>4.68</td><td>0.7</td><td>39.61</td><td>1.36</td><td>1.21</td><td>1.41</td><td>1.01</td><td>1.56</td><td>5.23</td><td>11.68</td><td>3.77</td><td>0.81</td></tr><tr><th>Duras.BarragePacifique</th><td>1.44</td><td>3.5</td><td>0.62</td><td>0.69</td><td>4.6</td><td>6.17</td><td>0.82</td><td>1.17</td><td>2.95</td><td>4.73</td><td>2.47</td><td>7.54</td><td>2.67</td><td>0.69</td><td>17.7</td><td>1.03</td><td>1.3</td><td>0.82</td><td>3.98</td><td>0.89</td><td>5.42</td><td>11.18</td><td>17.63</td></tr><tr><th>Gracq.RivageSyrtes</th><td>2</td><td>1.96</td><td>1.08</td><td>0.81</td><td>6.43</td><td>4.93</td><td>0.42</td><td>0.85</td><td>3.85</td><td>5.04</td><td>3.43</td><td>15.05</td><td>1.54</td><td>3.39</td><td>1.5</td><td>27.48</td><td>3.81</td><td>2.35</td><td>0.62</td><td>1.81</td><td>5.54</td><td>5.5</td><td>0.62</td></tr><tr><th>Yoursenor.OeuvreNoir</th><td>7.01</td><td>8.5</td><td>5.91</td><td>1.86</td><td>4.42</td><td>4.84</td><td>1.56</td><td>6.74</td><td>3.57</td><td>1.49</td><td>3</td><td>2.59</td><td>1.39</td><td>1.44</td><td>0.34</td><td>5.06</td><td>20.52</td><td>1.25</td><td>2.76</td><td>2</td><td>10.06</td><td>2.61</td><td>1.07</td></tr><tr><th>Mammeri.Traversée</th><td>2.63</td><td>5.02</td><td>1.21</td><td>1.61</td><td>2.63</td><td>2.51</td><td>1.1</td><td>1.37</td><td>2.35</td><td>4.15</td><td>3.37</td><td>4.51</td><td>1.61</td><td>3.17</td><td>1.65</td><td>1.21</td><td>5.37</td><td>39.5</td><td>2.7</td><td>1.06</td><td>6.47</td><td>3.45</td><td>1.37</td></tr><tr><th>Gary.VieDevantSoi</th><td>10.97</td><td>2.87</td><td>2.07</td><td>0.69</td><td>5.52</td><td>3.7</td><td>0.65</td><td>2.58</td><td>2.72</td><td>2.76</td><td>8.17</td><td>5.01</td><td>1.34</td><td>2.36</td><td>1.56</td><td>0.76</td><td>2</td><td>1.09</td><td>23.46</td><td>2.21</td><td>7.37</td><td>5.3</td><td>4.83</td></tr><tr><th>Pérec.Choses</th><td>2.24</td><td>2.91</td><td>0.83</td><td>1.16</td><td>3.33</td><td>2.74</td><td>3.49</td><td>3.91</td><td>3.82</td><td>3.99</td><td>3.41</td><td>5.82</td><td>1.5</td><td>1</td><td>2.41</td><td>2.16</td><td>2</td><td>4.07</td><td>0.91</td><td>9.06</td><td>7.15</td><td>25.52</td><td>6.57</td></tr><tr><th>Tournier.Vendredi</th><td>1.3</td><td>2.7</td><td>0.84</td><td>0.19</td><td>1.12</td><td>3.16</td><td>0.85</td><td>2.05</td><td>0.19</td><td>3.07</td><td>2.79</td><td>2.7</td><td>3.07</td><td>0.56</td><td>1.95</td><td>2.23</td><td>2.42</td><td>1.4</td><td>1.94</td><td>3.81</td><td>46.88</td><td>12.28</td><td>0.56</td></tr><tr><th>LeClézio.Désert</th><td>1.03</td><td>2.1</td><td>1.11</td><td>0.41</td><td>6.64</td><td>2.4</td><td>0.33</td><td>0.41</td><td>0.52</td><td>2.4</td><td>1.14</td><td>9.59</td><td>2.1</td><td>1.88</td><td>3.84</td><td>0.96</td><td>1.55</td><td>1.36</td><td>2.47</td><td>3.32</td><td>4.35</td><td>46.48</td><td>3.61</td></tr><tr><th>Ermaux.Anées</th><td>0.72</td><td>4.63</td><td>0.62</td><td>0.62</td><td>1.24</td><td>1.13</td><td>0.31</td><td>3.19</td><td>1.44</td><td>2.06</td><td>1.85</td><td>4.33</td><td>1.44</td><td>1.03</td><td>0.72</td><td>0.72</td><td>1.24</td><td>0.41</td><td>1.85</td><td>3.3</td><td>9.27</td><td>5.87</td><td>52.01</td></tr></tbody></table>

Pour être assuré que ce résultat ne dépend pas du choix du texte soumis à l'examen, nous avons procédé à une seconde série de tests, en inversant les places : le roman que l'on avait séparé de son corpus pour établir son authenticité rentre dans le rang tandis qu'on détache du même corpus le texte-frère qu'on se propose maintenant d'authentifier. Là aussi le verdict du Deep Learning est impeccable avec 23 paires reconnues sur 23 (tableau 11).

<table><caption>Tableau 11. Attribution d'un titre à un auteur. Deuxième série.</caption><thead><tr><th></th><th>Gide</th><th>Proust</th><th>Giraudo</th><th>Maurac</th><th>Montmichant</th><th>Malraux</th><th>Exury</th><th>Breton</th><th>Cote</th><th>Girno</th><th>Quenau</th><th>Aragen</th><th>Camus</th><th>Vian</th><th>Duras</th><th>Gracy</th><th>Fourcoul</th><th>Mamment</th><th>Gary</th><th>Pére</th><th>Tournier</th><th>LeClézio</th><th>Ermaux</th></tr></thead><tbody><tr><th>Gide.Symphonie</th><td>36.86</td><td>4.32</td><td>2.83</td><td>4.52</td><td>3.14</td><td>2.57</td><td>0.72</td><td>2.06</td><td>4.99</td><td>4.88</td><td>4.37</td><td>1.82</td><td>1.18</td><td>1.03</td><td>0.51</td><td>5.6</td><td>4.99</td><td>2.11</td><td>2.42</td><td>2.06</td><td>6.12</td><td>1.49</td><td>0.57</td></tr><tr><th>Proust.Swann</th><td>0.96</td><td>74.78</td><td>0.8</td><td>0.19</td><td>2.89</td><td>0.32</td><td>0.29</td><td>2.99</td><td>0.83</td><td>0.59</td><td>1.43</td><td>2.56</td><td>0.56</td><td>0.43</td><td>0.27</td><td>1.44</td><td>1.39</td><td>0.24</td><td>1.1</td><td>0.85</td><td>2.16</td><td>1.2</td><td>1.34</td></tr><tr><th>Giraudo.Simon</th><td>2.63</td><td>10.79</td><td>11.58</td><td>1.71</td><td>6.44</td><td>3.64</td><td>0.96</td><td>2.26</td><td>2.17</td><td>2.22</td><td>3.85</td><td>16.72</td><td>1.96</td><td>1.46</td><td>2.84</td><td>1.92</td><td>3.6</td><td>1.63</td><td>3.34</td><td>3.14</td><td>9.62</td><td>3.85</td><td>1.67</td></tr><tr><th>Mauriac.Baiser</th><td>5.88</td><td>2.81</td><td>1.92</td><td>19.34</td><td>9.45</td><td>6.47</td><td>0.6</td><td>0.98</td><td>2.6</td><td>4.9</td><td>1.83</td><td>19.12</td><td>2.47</td><td>0.94</td><td>1.45</td><td>1.36</td><td>2.94</td><td>0.64</td><td>0.81</td><td>2.04</td><td>8.43</td><td>2.13</td><td>0.89</td></tr><tr><th>Montherlant.Célibataires</th><td>1.56</td><td>4.33</td><td>1.12</td><td>0.47</td><td>52.23</td><td>2.8</td><td>0.49</td><td>0.77</td><td>1.65</td><td>4.03</td><td>3.18</td><td>7.27</td><td>1.26</td><td>1.43</td><td>0.71</td><td>1.48</td><td>1.78</td><td>1.59</td><td>0.69</td><td>1.56</td><td>5.79</td><td>3.24</td><td>0.58</td></tr><tr><th>Malraux.Espoir</th><td>4.96</td><td>1.17</td><td>0.87</td><td>1.14</td><td>6.87</td><td>39.99</td><td>0.94</td><td>4.36</td><td>1.71</td><td>2.75</td><td>2.08</td><td>6</td><td>3.05</td><td>1.37</td><td>1.48</td><td>1.71</td><td>1.31</td><td>0.87</td><td>1.14</td><td>1.64</td><td>4.99</td><td>7.84</td><td>1.74</td></tr><tr><th>Exupéry.CourrierSud</th><td>3.09</td><td>1.43</td><td>2.35</td><td>1.38</td><td>7.6</td><td>3.36</td><td>33.21</td><td>2.86</td><td>4.28</td><td>3.04</td><td>3.13</td><td>2.44</td><td>1.89</td><td>0.6</td><td>1.34</td><td>1.84</td><td>2.67</td><td>1.2</td><td>1.43</td><td>0.55</td><td>11.29</td><td>7.69</td><td>1.34</td></tr><tr><th>Breton.Nadia</th><td>2.72</td><td>8.33</td><td>0.64</td><td>0.32</td><td>3.36</td><td>1.56</td><td>0.46</td><td>48.46</td><td>1.84</td><td>0.78</td><td>4.1</td><td>7.5</td><td>0.28</td><td>0.64</td><td>0.41</td><td>2.62</td><td>1.2</td><td>0.41</td><td>1.43</td><td>1.7</td><td>6.72</td><td>2.16</td><td>2.35</td></tr><tr><th>Colette.Sido</th><td>7.18</td><td>3.43</td><td>1.13</td><td>0.91</td><td>10.97</td><td>2.94</td><td>0.94</td><td>2.07</td><td>29.45</td><td>2.91</td><td>4.72</td><td>6.99</td><td>0.45</td><td>1.33</td><td>0.71</td><td>2.62</td><td>1.97</td><td>0.74</td><td>2.72</td><td>1.72</td><td>5.99</td><td>4.01</td><td>4.08</td></tr><tr><th>Giono.GrandTroupeau</th><td>0.82</td><td>2.09</td><td>0.39</td><td>0.41</td><td>1.59</td><td>1.86</td><td>0.34</td><td>0.42</td><td>0.86</td><td>65.15</td><td>2.19</td><td>3.44</td><td>1.95</td><td>2.14</td><td>1.02</td><td>1.02</td><td>1.22</td><td>1.37</td><td>1.13</td><td>1.05</td><td>5.88</td><td>3.36</td><td>0.83</td></tr><tr><th>Queneau.Zazie</th><td>5.92</td><td>2.88</td><td>0.6</td><td>0.24</td><td>2.81</td><td>2.19</td><td>0.13</td><td>1.17</td><td>3.61</td><td>8.69</td><td>27.9</td><td>13.34</td><td>0.69</td><td>4.19</td><td>2.68</td><td>0.71</td><td>0.89</td><td>1.55</td><td>1.57</td><td>2.75</td><td>6.18</td><td>5.21</td><td>4.08</td></tr><tr><th>Aragon.BlancheOubli</th><td>3.17</td><td>1.77</td><td>0.76</td><td>1.03</td><td>6.04</td><td>2.34</td><td>0.55</td><td>0.94</td><td>3.19</td><td>3.83</td><td>4.15</td><td>54.09</td><td>1.39</td><td>1.08</td><td>1.4</td><td>0.83</td><td>1.23</td><td>0.82</td><td>1.04</td><td>1.26</td><td>4.24</td><td>3.15</td><td>1.68</td></tr><tr><th>Camus.Chute</th><td>4.95</td><td>6.82</td><td>1.16</td><td>2.25</td><td>6.05</td><td>3.28</td><td>0.77</td><td>1.03</td><td>0.64</td><td>10.35</td><td>3.15</td><td>5.08</td><td>14.28</td><td>2.64</td><td>2.32</td><td>1.09</td><td>2.12</td><td>0.64</td><td>5.34</td><td>0.32</td><td>6.75</td><td>13.57</td><td>5.4</td></tr><tr><th>Vian.Ecume</th><td>0.85</td><td>1.41</td><td>0.47</td><td>0.47</td><td>1.5</td><td>2.32</td><td>0.09</td><td>1.27</td><td>0.85</td><td>7.59</td><td>5.62</td><td>4.33</td><td>1.29</td><td>40.94</td><td>1.21</td><td>0.85</td><td>4.65</td><td>2.83</td><td>2.5</td><td>2.62</td><td>7.77</td><td>5.89</td><td>2.68</td></tr><tr><th>Duras.Amant</th><td>0.74</td><td>2.8</td><td>0.76</td><td>0.44</td><td>4.79</td><td>3.54</td><td>0.37</td><td>0.84</td><td>0.54</td><td>8.73</td><td>12.56</td><td>12.46</td><td>3.07</td><td>3.37</td><td>6.91</td><td>0.84</td><td>0.69</td><td>1.6</td><td>3</td><td>1.87</td><td>3.54</td><td>23.6</td><td>2.95</td></tr><tr><th>Gracq.BalconForêt</th><td>4.29</td><td>6.23</td><td>2.41</td><td>1.13</td><td>3.26</td><td>2.16</td><td>1.31</td><td>3.28</td><td>6.86</td><td>3.07</td><td>3.2</td><td>4.94</td><td>0.87</td><td>1.88</td><td>1.54</td><td>24.76</td><td>9.12</td><td>1.54</td><td>2.75</td><td>1.15</td><td>8.45</td><td>4.51</td><td>1.29</td></tr><tr><th>Courcenar.MémoiresHad</th><td>3.26</td><td>6.41</td><td>3.61</td><td>1.18</td><td>3.28</td><td>2.86</td><td>0.77</td><td>3.94</td><td>2.72</td><td>4.92</td><td>4.69</td><td>7.28</td><td>1.51</td><td>3.38</td><td>1.14</td><td>5.83</td><td>15.33</td><td>1.87</td><td>1</td><td>8.11</td><td>13.25</td><td>3.34</td><td>0.33</td></tr><tr><th>dammeri.CollineOubliée</th><td>0.67</td><td>1.27</td><td>0.56</td><td>0.64</td><td>1.57</td><td>3.75</td><td>0.67</td><td>1.05</td><td>0.67</td><td>2.13</td><td>2.81</td><td>6.25</td><td>2.17</td><td>2.1</td><td>1.42</td><td>1.35</td><td>1.35</td><td>45.13</td><td>1.8</td><td>1.05</td><td>7.23</td><td>12.7</td><td>1.65</td></tr><tr><th>Gary.Délirium</th><td>0.9</td><td>3.19</td><td>0.31</td><td>0.03</td><td>1.35</td><td>0.38</td><td>0.14</td><td>0.24</td><td>0.45</td><td>7.48</td><td>4.12</td><td>4.43</td><td>0.94</td><td>2.39</td><td>1.35</td><td>0</td><td>1.56</td><td>1.8</td><td>48.77</td><td>1.21</td><td>3.5</td><td>7.97</td><td>7.48</td></tr><tr><th>Pérec.HommeDort</th><td>1.77</td><td>3.96</td><td>1.98</td><td>0.21</td><td>4.10</td><td>3.89</td><td>0.92</td><td>4.25</td><td>3.18</td><td>2.26</td><td>3.89</td><td>9.98</td><td>3.54</td><td>3.26</td><td>1.27</td><td>3.61</td><td>3.47</td><td>1.84</td><td>0.64</td><td>16.63</td><td>6.23</td><td>14.51</td><td>4.60</td></tr><tr><th>Tournier.Eléazar</th><td>1.06</td><td>2.59</td><td>1.40</td><td>0.34</td><td>2.49</td><td>1.84</td><td>1.06</td><td>2.56</td><td>0.97</td><td>1.56</td><td>2.31</td><td>1.78</td><td>2.03</td><td>2.34</td><td>0.75</td><td>3.77</td><td>1.12</td><td>0.53</td><td>0.72</td><td>2.03</td><td>59.38</td><td>6.11</td><td>1.28</td></tr><tr><th>LeClézio.Hassard</th><td>0.12</td><td>0.67</td><td>0.30</td><td>0.07</td><td>1.23</td><td>1.13</td><td>0.97</td><td>0.18</td><td>0.67</td><td>2.22</td><td>0.67</td><td>4.25</td><td>1.08</td><td>0.33</td><td>1.27</td><td>0.53</td><td>0.50</td><td>3.02</td><td>0.42</td><td>0.50</td><td>2.82</td><td>75.94</td><td>1.13</td></tr><tr><th>Ermaux.Honte</th><td>0.07</td><td>3.93</td><td>0.53</td><td>0.18</td><td>1.51</td><td>3.36</td><td>0.11</td><td>3.61</td><td>1.33</td><td>0.74</td><td>3.05</td><td>9.78</td><td>0.84</td><td>1.16</td><td>1.93</td><td>1.16</td><td>1.54</td><td>1.93</td><td>5.57</td><td>12.51</td><td>4.91</td><td>39.12</td><td></td></tr></tbody></table>
### I.4.3 – Échantillon et population

Soumis à l'épreuve du *deep learning*, aucun texte jusqu'ici ne s'est trouvé assez original et indépendant pour échapper complètement à l'attraction qu'exerce un écrivain sur tout ce qu'il produit. Mais il y a de grandes variations qui tiennent au sujet, au genre, aux circonstances de la rédaction et parfois à la volonté expresse de brouiller les pistes et d'échapper à soi comme aux autres, ce que l'on a constaté pour Gros-Câlin de Romain Gary. Il est difficile de considérer un roman particulier comme un échantillon aléatoire dont l'œuvre complète serait la population. Pour s'affranchir des particularités qui marquent chaque texte, on peut constituer un échantillon composite en détachant une page sur dix du corpus-auteur correspondant. La phase d'apprentissage s'exerce sur les corpus dont ces extraits sont exclus, lesquels sont présentés ensuite à l'épreuve de la reconnaissance. Chaque texte ainsi défini est un modèle réduit du corpus-auteur dont il est tiré et il suffit de peu d'intelligence, artificielle ou non, pour le prouver dans les faits. À quoi peut donc servir ce calcul apparemment gratuit et trivial ? Tout d'abord à affirmer la solidité du *deep learning* quand sont gommés les variables et accidents qui accompagnent la naissance des textes. Dans ces conditions idéales, la valeur lue dans la diagonale du tableau 8 ne s'abaisse guère au-dessous de 60%, en ne laissant que de très faibles taux, de 1 ou 2%, aux éléments rivaux, placés sur la même ligne ou la même colonne. De tels écarts excluent l'incertitude.

Cela sert aussi à établir une norme pour étalonner les résultats précédents, acquis sur les données naturelles. Ainsi pour reprendre l'exemple de Proust, le tableau de référence (tableau 12) fournit la valeur maximale 79.62, qui ne dépasse guère celle du *Temps retrouvé* (68.65 dans le tableau 10) et celle du *Côté de Swann* (74.78 dans le tableau 11). Cela prouve le caractère original et homogène de l'écriture proustienne tout au long de la *Recherche*. Inversement la plus faible valeur relevée dans la diagonale (57.3) est relative à Camus, comme c'était le cas dans les tableaux 10 et 11 Cela tient à la faible étendue du corpus Camus, qui ne comprend que 3 romans. En de tels cas les calculs du *deep learning* sont fragilisés. L'intelligence artificielle est liée aux *big data*. Ses résultats sont d'autant plus sûrs que les données sont plus larges. Le tableau 12 en apporte l'illustration : les quatre valeurs les plus élevées concernent Aragon, Le Clézio, Proust et Giono, dont les corpus sont les plus vastes, tandis que les valeurs les plus faibles sont relevées dans les plus petits ensembles romanesques : ceux de Camus et de Breton.
<table><caption>Tableau 12. La reconnaissance des échantillons aléatoires.</caption><thead><tr><th></th><th>Gide</th><th>Proust</th><th>Giraudoux</th><th>Mauriac</th><th>Montherlant</th><th>Malraux</th><th>Saint-Exupéry</th><th>Beton</th><th>Colette</th><th>Giono</th><th>Queneau</th><th>Aragon</th><th>Camus</th><th>Vian</th><th>Duras</th><th>Gracq</th><th>Yorcenar</th><th>Mammeri</th><th>Gary</th><th>Pérec</th><th>Tournier</th><th>Le Clézio</th><th>Ermaux</th></tr></thead><tbody><tr><td>Gide</td><td>67.85</td><td>3.28</td><td>1.94</td><td>1.4</td><td>3.67</td><td>1.04</td><td>0.68</td><td>1.01</td><td>2.38</td><td>1.51</td><td>1.84</td><td>1.73</td><td>0.61</td><td>0.58</td><td>0.32</td><td>1.37</td><td>4</td><td>0.58</td><td>0.72</td><td>0.47</td><td>1.01</td><td>1.37</td><td>0.65</td></tr><tr><td>Proust</td><td>1.49</td><td>79.62</td><td>1.57</td><td>0.15</td><td>2.27</td><td>0.33</td><td>0.09</td><td>1.11</td><td>0.81</td><td>0.72</td><td>0.88</td><td>1.92</td><td>0.41</td><td>0.26</td><td>0.41</td><td>1.05</td><td>2.51</td><td>0.33</td><td>0.59</td><td>1.01</td><td>1.23</td><td>0.48</td><td>0.77</td></tr><tr><td>Giraudoux</td><td>3.07</td><td>5.58</td><td>58.42</td><td>0.74</td><td>2.14</td><td>1.49</td><td>0.84</td><td>0.65</td><td>1.67</td><td>1.3</td><td>1.3</td><td>5.67</td><td>0.47</td><td>0.56</td><td>0.28</td><td>0.37</td><td>4.37</td><td>0.37</td><td>1.86</td><td>1.67</td><td>3.91</td><td>2.05</td><td>1.21</td></tr><tr><td>Mauriac</td><td>4.42</td><td>1.51</td><td>2.67</td><td>60</td><td>2.56</td><td>3.26</td><td>0.93</td><td>0.58</td><td>2.44</td><td>5.47</td><td>0.81</td><td>2.56</td><td>0.7</td><td>0.35</td><td>0.81</td><td>1.51</td><td>3.02</td><td>0.7</td><td>0.23</td><td>0.58</td><td>3.49</td><td>0.35</td><td>1.05</td></tr><tr><td>Montherlant</td><td>3.51</td><td>4.4</td><td>2.84</td><td>1.11</td><td>58.84</td><td>2.31</td><td>0.75</td><td>0.89</td><td>1.95</td><td>2.71</td><td>1.2</td><td>4.88</td><td>0.44</td><td>0.31</td><td>0.62</td><td>1.33</td><td>2.31</td><td>1.02</td><td>0.75</td><td>0.89</td><td>1.95</td><td>3.51</td><td>1.47</td></tr><tr><td>Malraux</td><td>1.22</td><td>0.44</td><td>1.17</td><td>0.88</td><td>2.14</td><td>74.25</td><td>0.44</td><td>0.54</td><td>0.83</td><td>1.61</td><td>0.78</td><td>4.87</td><td>0.68</td><td>0.29</td><td>0.19</td><td>0.68</td><td>1.41</td><td>0.54</td><td>1.12</td><td>0.88</td><td>2.34</td><td>1.75</td><td>0.97</td></tr><tr><td>Saint-Exupéry</td><td>1.96</td><td>0.82</td><td>3.61</td><td>0.32</td><td>2.28</td><td>1.52</td><td>72.12</td><td>0.89</td><td>1.65</td><td>0.95</td><td>2.6</td><td>0.19</td><td>0.06</td><td>0.7</td><td>0.57</td><td>2.6</td><td>0.57</td><td>0.32</td><td>0.19</td><td>2.79</td><td>1.58</td><td>0.19</td></tr><tr><td>Beton</td><td>2.7</td><td>7.38</td><td>1.72</td><td>0.25</td><td>2.62</td><td>1.23</td><td>1.07</td><td>52.21</td><td>1.48</td><td>1.64</td><td>0.9</td><td>5.08</td><td>0.49</td><td>0.25</td><td>0.49</td><td>1.89</td><td>2.87</td><td>0.49</td><td>0.98</td><td>4.43</td><td>5.98</td><td>1.72</td><td>2.13</td></tr><tr><td>Colette</td><td>4.48</td><td>2.09</td><td>3.39</td><td>1.3</td><td>3.97</td><td>1.01</td><td>0.87</td><td>0.65</td><td>63.25</td><td>1.73</td><td>1.3</td><td>4.33</td><td>0.07</td><td>0.72</td><td>0.36</td><td>1.08</td><td>3.03</td><td>0.14</td><td>0.87</td><td>1.3</td><td>1.59</td><td>0.94</td><td>1.52</td></tr><tr><td>Giono</td><td>0.54</td><td>1.11</td><td>0.43</td><td>0.36</td><td>1.02</td><td>0.97</td><td>0.14</td><td>0.16</td><td>0.79</td><td>80.85</td><td>1.02</td><td>2.06</td><td>0.7</td><td>0.5</td><td>0.36</td><td>0.38</td><td>1.33</td><td>0.88</td><td>0.72</td><td>0.66</td><td>2.6</td><td>1.85</td><td>0.57</td></tr><tr><td>Queneau</td><td>1.8</td><td>1.28</td><td>0.88</td><td>0.11</td><td>1.58</td><td>0.55</td><td>0.51</td><td>0.51</td><td>0.99</td><td>2.13</td><td>73.58</td><td>3.7</td><td>0.29</td><td>0.77</td><td>0.99</td><td>0.62</td><td>0.88</td><td>0.73</td><td>1.58</td><td>1.65</td><td>2.93</td><td>0.95</td><td>0.99</td></tr><tr><td>Aragon</td><td>0.66</td><td>1.08</td><td>1.12</td><td>0.4</td><td>1.42</td><td>1.06</td><td>0.15</td><td>0.5</td><td>1.08</td><td>1.23</td><td>1.04</td><td>81.45</td><td>0.11</td><td>0.46</td><td>0.53</td><td>0.61</td><td>0.95</td><td>0.43</td><td>0.84</td><td>1.24</td><td>1.23</td><td>1.29</td><td>1.12</td></tr><tr><td>Camus</td><td>1.76</td><td>2.84</td><td>2.84</td><td>1.86</td><td>2.05</td><td>2.25</td><td>0.49</td><td>0.68</td><td>0.49</td><td>5.58</td><td>0.68</td><td>3.82</td><td>53.23</td><td>0.78</td><td>1.96</td><td>0.78</td><td>3.23</td><td>0.39</td><td>2.35</td><td>1.66</td><td>5.28</td><td>3.91</td><td>1.08</td></tr><tr><td>Vian</td><td>0.83</td><td>0.7</td><td>0.7</td><td>0.19</td><td>0.7</td><td>0.77</td><td>0.26</td><td>0.32</td><td>0.51</td><td>3.64</td><td>1.98</td><td>2.04</td><td>0.7</td><td>73.98</td><td>1.08</td><td>0.89</td><td>0.96</td><td>0.26</td><td>2.55</td><td>1.72</td><td>2.1</td><td>2.17</td><td>0.96</td></tr><tr><td>Duras</td><td>1.46</td><td>1.99</td><td>0.33</td><td>0.46</td><td>1.39</td><td>0.93</td><td>0.33</td><td>0.4</td><td>0.8</td><td>2.59</td><td>1.59</td><td>4.64</td><td>0.8</td><td>0.66</td><td>69.81</td><td>0.53</td><td>1</td><td>0.46</td><td>1.46</td><td>1.06</td><td>0.73</td><td>4.31</td><td>2.26</td></tr><tr><td>Gracq</td><td>1.7</td><td>3.13</td><td>2.02</td><td>0.69</td><td>2.34</td><td>1.01</td><td>0.32</td><td>3.61</td><td>2.44</td><td>1.54</td><td>0.9</td><td>3.72</td><td>0.85</td><td>0.32</td><td>0.53</td><td>57.3</td><td>5.1</td><td>0.96</td><td>1.06</td><td>3.08</td><td>3.24</td><td>3.03</td><td>1.12</td></tr><tr><td>Yorcenar</td><td>2.68</td><td>2.97</td><td>2.59</td><td>0.92</td><td>1.88</td><td>1.05</td><td>0.46</td><td>0.79</td><td>2.22</td><td>2.93</td><td>0.71</td><td>2.59</td><td>0.33</td><td>0.79</td><td>0.38</td><td>1.71</td><td>63.40</td><td>1</td><td>1.8</td><td>1.13</td><td>3.76</td><td>3.09</td><td>0.71</td></tr><tr><td>Mammeri</td><td>0.9</td><td>1.25</td><td>0.56</td><td>0.42</td><td>1.39</td><td>2.08</td><td>0.56</td><td>0.42</td><td>0.62</td><td>3.05</td><td>1.25</td><td>3.33</td><td>0.76</td><td>0.56</td><td>1.04</td><td>0.35</td><td>1.25</td><td>73.07</td><td>1.32</td><td>0.9</td><td>1.8</td><td>2.15</td><td>0.97</td></tr><tr><td>Gary</td><td>1.65</td><td>1.91</td><td>1.71</td><td>0.2</td><td>1.19</td><td>0.72</td><td>0.4</td><td>0.53</td><td>1.12</td><td>1.58</td><td>1.91</td><td>3.75</td><td>0.53</td><td>0.53</td><td>0.53</td><td>0.4</td><td>2.57</td><td>0.4</td><td>70.16</td><td>1.58</td><td>3.49</td><td>1.05</td><td>2.11</td></tr><tr><td>Pérec</td><td>1.03</td><td>2</td><td>1.23</td><td>0.19</td><td>1.55</td><td>1.16</td><td>0.32</td><td>1.55</td><td>0.26</td><td>1.1</td><td>2.06</td><td>3.48</td><td>0.32</td><td>0.77</td><td>0.64</td><td>0.58</td><td>1.48</td><td>1.1</td><td>1.81</td><td>67.76</td><td>3.29</td><td>3.48</td><td>2.84</td></tr><tr><td>Tournier</td><td>0.76</td><td>1.53</td><td>1.47</td><td>0.54</td><td>1.3</td><td>0.96</td><td>0.65</td><td>1.1</td><td>0.68</td><td>3.08</td><td>1.27</td><td>2.85</td><td>0.71</td><td>0.37</td><td>0.54</td><td>1.16</td><td>2.12</td><td>0.65</td><td>1.58</td><td>2.15</td><td>70.84</td><td>1.72</td><td>1.98</td></tr><tr><td>Le Clézio</td><td>0.34</td><td>0.81</td><td>0.57</td><td>0.09</td><td>1.29</td><td>0.67</td><td>0.22</td><td>0.48</td><td>0.41</td><td>1.88</td><td>0.77</td><td>2.6</td><td>0.38</td><td>0.67</td><td>0.95</td><td>0.65</td><td>1.15</td><td>0.65</td><td>0.62</td><td>1.81</td><td>1.67</td><td>79.4</td><td>1.91</td></tr><tr><td>Ermaux</td><td>0.91</td><td>2.28</td><td>0.71</td><td>0.76</td><td>1.82</td><td>0.61</td><td>0.1</td><td>1.16</td><td>1.92</td><td>1.92</td><td>1.27</td><td>4.15</td><td>0.76</td><td>0.66</td><td>1.67</td><td>0.56</td><td>0.96</td><td>0.56</td><td>2.23</td><td>3.49</td><td>4.2</td><td>2.68</td><td>64.63</td></tr></tbody></table>

## II – Le théâtre classique

Le soupçon que Corneille aurait pu écrire certaines pièces de Molière et en particulier *Amphitryon* est né en 1919, deux siècles après la mort des deux écrivains, dans l'imagination de Pierre Louÿs, lui-même auteur d'une supercherie littéraire, *Les Chansons de Bilitis*. Pierre Louÿs a beau multiplier ses efforts, il n'arrive pas à convaincre son ami Paul Valéry, non plus que l'opinion générale, même si de loin en loin certains esprits remuent encore les braises. L'affaire aurait pu et dû s'arrêter là, par un jugement autorisé de l'histoire littéraire<fnref n="13" />. Mais la lexicométrie s'est lancée dans le débat avec un article plutôt téméraire de Dominique Labbé qui avait construit un algorithme pour mesurer la distance intertextuelle et entendait l'appliquer au théâtre classique<fnref n="14" />. Nous avons eu l'occasion d'utiliser cette méthode et notre tableau 2 montre qu'elle s'accorde assez bien avec les autres, sans être pour autant la meilleure. Encore doit-on l'appliquer avec prudence et refuser tout barème absolu, pour tenir compte des forces qui rapprochent ou éloignent les textes et dont la principale est le genre littéraire. Il n'est guère étonnant que certaines pièces de Molière soient proches de celles de Corneille quand elles suivent les mêmes règles et partagent le même genre comique et la même forme versifiée. Charles Bernet a montré que d'autres dramaturges de la même époque

<footnote n="13">¹³ Georges Forestier qui s'est placé sur le terrain de la vérité historique a fait le point sur cette question dans son site http://www.moliere-corneille.paris-sorbonne.fr/</footnote>

<footnote n="14">¹⁴ Dominique et Cyril Labbé, « Inter-Textual Distance and Authorship Attribution. Corneille and Molière », dans *Journal of Quantitative Linguistics*, vol. 8, n° 3, 2001, pp. 213-231.</footnote>
avaient une ressemblance aussi étroite avec le modèle de Corneille<fnref n="15" />. Comme nous avons publié quelques articles sur cette question, on nous permettra d'y renvoyer le lecteur<fnref n="16" />. Nous nous contenterons de refaire le calcul lexicométrique avec les mêmes données, puisées au Trésor de la Langue Française.

## II.1 - Les basses fréquences

1.1 Les figures 13 (distance d'Évrard) et 14 (distance de Muller) ont été obtenues grâce à un programme d'analyse arborée semblable à celui qu'a emprunté Dominique Labbé. Seule diffère l'interprétation que l'on peut en tirer. Pas besoin d'être un expert pour lire sur le graphique la distinction radicale entre les vers (partie droite du graphique) et la prose (partie gauche) et celle qui oppose parallèlement la tragédie (à droite) et la comédie (à gauche). Après le genre s'impose la signature des écrivains. Les pièces de Racine font bloc à gauche, en s'écartant avec le temps vers la périphérie, les premières pièces restant proches de Corneille. La partie occupée par Corneille se divise en deux parties, qu'il s'agisse de tragédies ou de comédies (ou pièces assimilées). Reste Molière, nettement séparé du reste et lui aussi réparti en deux blocs, d'abord les comédies en vers, puis les comédies en prose. Il est rare que l'analyse arborée propose un résultat aussi lisible, et que la convergence soit obtenue à partir d'observables différents (présence/absence dans la méthode Évrard, fréquence dans la méthode Muller), alors même que deux facteurs, le genre et l'auteur, s'y entrecroisent sans trop se combattre.

Il y a cependant trois points de friction où le genre l'emporte sur la signature. D'une part *Dom Garcie de Navarre*, seule pièce sérieuse de Molière, se positionne entre les tragédies de Corneille et de Racine, au voisinage de *Psyché* dont le statut est particulier, puisque le canevas est de Molière et la versification en grande partie de Corneille. Inversement le clan de Molière reçoit une pièce transfuge, *Les Plaideurs*, que le programme n'a pas reconnue parmi les tragédies de Racine.

Quant aux deux *Menteurs* sur lesquels s'appuie l'argumentation de Labbé, ils se situent là où on les attend, au milieu des comédies en vers de Corneille. Rien ne permet d'en faire la pierre de touche et de proposer l'argumentation boiteuse : 1 - les *Menteurs* sont de Corneille, 2 - Les pièces en vers de Molière sont proches des *Menteurs*, 3 - donc Corneille est l'auteur de ces pièces. Avec pareil raisonnement le graphique inviterait à conclure que les *Plaideurs* sont de Molière.

<footnote n="15">¹⁵ Charles Bernet, « La distance intertextuelle et le théâtre du Grand Siècle » [archive], in *Mélanges offerts à Charles Muller pour son centième anniversaire (22 septembre 2009)*, textes réunis par Christian Delcourt et Marc Hug, Paris, CILF, 2009, pp. 87-97.</footnote>

<footnote n="16">¹⁶ Etienne Brunet, « Où l'on mesure la distance entre les distances », in *Texto*![en ligne], mars 2004, http://www.revue-texto.net/Inedits/Brunet/Brunet_Distance.html, texte repris dans E. Brunet, C. Poudat, *Ce qui compte*, Champion, Paris, 2011, pp. 331-351.</footnote>

<footnote>Etienne Brunet, « Muller le lexicomâtre », in *Mélanges offerts à Charles Muller pour son centième anniversaire*, Conseil International de la langue française, Paris, 2009, pp. 99-119.</footnote>

<footnote>Etienne Brunet, « Le logiciel Franstat », in *Statistical Analysis of textual data*, JaDT 2016, Rome, juin 2016, vol.1, pp. 143-155.</footnote>
<figure><img src="image_10.png" /><figcaption>Figure 13. Analyse directe (méthode Évrard, présence/absence)</figcaption></figure>

<figure><img src="image_11.png" /><figcaption>Figure 14. Méthode Muller, appliquée aux fréquences de 1 à 50</figcaption></figure>

1.2 – Rappelons que la distance d'Evrard repose sur un calcul binaire où l'on ne retient que la présence/absence des mots dans les textes. Chaque mot y est intégré dans des effectifs globaux, mais son individualité n'est pas prise en compte. Si l'on veut détailler de profil de chacun, tout en s'abstenant de considérer les fréquences, on constituera un tableau binaire, de *n* mots sur *t* textes, dont chaque élément recevra un "1" quand le mot se trouve dans le texte considéré et "0" dans le cas contraire. Il n'y a pas lieu de retenir les mots présents partout, dont le profil ne contient que des "1", non
plus que les hapax qui n'en contiennent qu'un seul, la neutralité des premiers et la singularité des seconds n'ayant pas d'intérêt pour le calcul. Seules les lignes comportant au moins deux "1" sont gardées. Avec ces critères, il reste 9761 graphies, soumises à l'analyse en composantes principales. Le plan (2,3) de l'ACP est représenté dans la figure 15.

<figure><img src="image_12.png" /><figcaption>Figure 15. Analyse factorielle du tableau binaire (9761 graphies x 75 textes)</figcaption></figure>

Cet espace, réduit à deux dimensions, contient, ce qui est exceptionnel, une information qui ne sera améliorée ni par la prise en compte d'autres dimensions ni par l'emploi d'autres techniques d'exploration de données. La preuve en est fournie par le panorama spectaculaire de la figure 16, qui concentre tous les axes de l'ACP précédente. Cette figure issue des données brutes, sans choix de seuil ni de nombre
d'axes, suffirait à elle seule pour invalider clairement et définitivement les thèses discutant l'auctorialité de Molière.

<figure><img src="image_13.png" /><figcaption>Figure 16. Arbre additif rendant compte des 75 axes de l'ACP</figcaption></figure>

1.3 – Les résultats qui précèdent prennent en compte les simples graphies, sans aucun traitement préalable. Ils ne changent guère lorsqu'ils s'appliquent aux lemmes et l'on évitera de produire d'autres graphiques, qui reproduisent à l'identique ceux qu'on vient de voir. Mais on peut pousser plus avant l'analyse de la diversité stylistique en s'intéressant non plus au mot mais au code grammatical que le logiciel de lemmatisation accole à chaque unité. L'analyse de Cordial distingue plusieurs centaines de variétés, en distinguant le genre, le nombre, la personne, le temps et le mode des verbes, quand celle de TreeTagger se contente d'une trentaine de codes en ignorant genre, nombre et personne. On peut naturellement constituer un tableau avec les codes en ligne et les textes en colonne, et procéder à des analyses factorielles et arborées. Le résultat est à l'abri des influences thématiques qui influent grandement dans le tableau 13 mais il confirme pareillement, sur le plan grammatical, la séparation radicale des écrivains. Cependant en n'envisageant que les codes individuels, isolés les uns des autres, on donne une image très réductrice de la syntaxe, en ignorant que la syntaxe est avant tout une combinaison de codes, c'est-à-dire une structure. On a défini comme structure la suite des codes grammaticaux rencontrés entre deux ponctuations. Comme la combinatoire risque d'être trop étendue, on n'a considéré que les parties du discours, soit une dizaine de codes, chacun désigné par une lettre à l'intérieur d'une chaine représentant le syntagme<fnref n="17" />. Tout le corpus devient alors une suite continue de structures dont le traitement est analogue à celui des mots. Or la diversité des structures

<footnote n="17">¹⁷ Ainsi le dernier segment de l'hymne national « *Qu'un sang impur abreuve nos sillons* » serait représenté par la chaine *cdnavdn*, pour c=conjonction, d=déterminant, n=nom, a= adjectif, v=verbe.</footnote>
l'emporte sur celle des mots : on en compte 68774 variétés différentes, soit trois fois plus que le nombre de mots différents. La plupart des structures relevées sont des hapax. Il convient donc de les traiter avec les outils adaptés aux basses fréquences.

<figure><img src="image_14.png" /><figcaption>Figure 17. Les structures syntaxiques dans le théâtre classique.</figcaption></figure>

Nous avons choisi la méthode Jaccard pour l'arbre additif de ces structures. On note peu de différence par rapport aux graphiques 13, 14 et 16 alors que le point de vue grammatical n'est pas nécessairement lié à la composante lexicale. La prose s'oppose aux vers et les écrivains ne mêlent pas leurs productions, sauf quand l'impérieuse voix du genre l'impose comme on le voit avec les *Plaideurs*. Le cas ambigu de *Psyché* n'appelle pas de commentaire. Mais celui de *Garcie* qui reste dans le camp de Molière provoque une heureuse surprise.

## II.2 - Les hautes fréquences

2.1 - Les démarches qui précèdent prennent appui sur les basses fréquences. Si l'on prend en compte les hautes fréquences<fnref n="18" />, les conclusions sont les mêmes et la figure 18, obtenue à partir de l'analyse arborée des 519 verbes (de fréquence égale ou

<footnote n="18">¹⁸ C'est la méthode employée par J.M. Viprey, dès le début de l'affaire pour réfuter la thèse de Labbé (http://elliadd.univfcomte.fr/archives_laseldi/document/affaireMorneilleColiere/morneille.htm),</footnote>
supérieure à 50), est superposable aux figures 13, 14 et 16. On y retrouve, dans le même ordre et avec la même composition, les cinq groupes où la combinaison du genre, de la date et de l'auteur avait réparti les 75 textes du théâtre classique. Au centre de la figure les comédies en vers de Corneille et de Molière forment deux blocs voisins, mais parfaitement distincts. On y observe pareillement, hésitant entre Molière et Corneille et entre la comédie à gauche et la tragédie à droite, les deux pièces relevées précédemment parmi les exceptions facilement explicables : *Psyché et Dom Garcie de Navarre*.

<figure><img src="image_15.png" /><figcaption>Figure 18. Le théâtre classique. Analyse des textes à travers les verbes fréquents ($f \ge 50$)</figcaption></figure>

2.2 – Avant d’appliquer des techniques relevant de l’intelligence artificielle au théâtre classique, il peut être intéressant d’expérimenter une méthode également neuronale, que l’on désigne sous le nom de SOM (Self Organizing Maps) ou Cartes de Kohonen<fnref n="19" />. Il s’agit ici d’une classification (clustering) des 75 pièces en 25 classes (clusters), celles-ci étant astreintes à être positionnées sur une grille (ici un carré 5 x 5). Les positions sur la grille doivent refléter les proximités entre classes. Le résultat est aussi spectaculaire que celui des arbres additifs. Six classes sont vides: elles séparent des classes trop différentes pour être contiguës, en général entre auteurs différents, sauf pour *Mélicerte* de Molière, isolé dans une classe. Molière a droit aux six classes de la partie haute de la grille (et incorpore *Les Plaideurs*). *Psyché et Dom Garcie de Navarre* vont dans une classe de pièces de Corneille, mais c’est la seule classe qui est tangente à une classe de Molière. Racine, sans les *Plaideurs*, occupe la rangée du bas, mais *La Thébaïde* est dans une classe de pièces de Corneille, *Alexandre le Grand* étant proche de cette même classe. En bref, un algorithme radicalement différent nous confirme les résultats des diverses analyses précédentes.

<footnote n="19">¹⁹ Pour le détail de cette technique, voir L. Lebart, B. Pincemin et C. Poudat, *Analyse des données textuelles*, Presses de l'Université du Québec, 2019, pp.279-282.</footnote>
Méthode Labbé

<figure><img src="image_16.png" /></figure>

Méthode Muller

<figure><img src="image_17.png" /></figure>

Méthode Jaccard

<figure><img src="image_18.png" /></figure>

Méthode Evrard

<figure><img src="image_19.png" /><figcaption>Figure 20. La distance intertextuelle des comédies en vers. Quatre méthodes convergentes</figcaption></figure>

<figure><img src="image_20.png" /><figcaption>Figure 21. Analyse de correspondance des lemmes pour $f > 50$ (facteurs 1 et 2)</figcaption></figure>
## II.4 – Le Deep Learning

Les batailles d'experts peuvent être interminables quand elles utilisent les mêmes armes. Mais elles doivent s'incliner quand le progrès offre une technique révolutionnaire qui met fin au débat. C'est le cas de l'ADN pour les recherches en paternité ou en criminalité. Or, l'intelligence artificielle est appelée à jouer de plus en plus ce rôle de dernier recours. Déjà dans la médecine son verdict, sans être infaillible, dépasse celui du praticien et dans tous les domaines, et plus particulièrement dans les sciences humaines, son pouvoir s'étend au-delà des capacités de la raison individuelle, pour peu que les données aient la taille suffisante. Voyons ce qu'il en est pour le problème qui nous occupe.

Il y a lieu d'établir trois corpus indépendants, voués à Corneille, Molière et Racine. Mais pour se prémunir des perturbations du genre on distinguera chez Molière la prose et les vers et chez Corneille la comédie et la tragédie. La nécessité de distinguer les phases d'apprentissage des corpus et de reconnaissance des textes nous oblige à mettre de côté les textes à soumettre au test. On en choisira deux ou trois dans chaque corpus, soit 14 pièces sur les 75 du théâtre classique.

<table><caption>Tableau 22. Le jugement de l'intelligence artificielle dans l'affaire Molière-Corneille.</caption><thead><tr><th></th><th>Corneille<br>comédie</th><th>Corneille<br>tragédie</th><th>Molière<br>vers</th><th>Molière<br>prose</th><th>Racine<br>tragédie</th></tr></thead><tbody><tr><td>AMPHITRYON</td><td>20.63</td><td>7.4</td><td>52.35</td><td>16.36</td><td>3.27</td></tr><tr><td>TARTUFFE</td><td>7.51</td><td>7.63</td><td>65.91</td><td>17.76</td><td>1.19</td></tr><tr><td>AVARE</td><td>3.81</td><td>1.65</td><td>26.6</td><td>67.22</td><td>0.72</td></tr><tr><td>DON JUAN</td><td>4.61</td><td>4.11</td><td>33.17</td><td>57.23</td><td>0.87</td></tr><tr><td>GARCIE</td><td>14.36</td><td>43.99</td><td>36.03</td><td>0.65</td><td>4.96</td></tr><tr><td>MELITE</td><td>75.4</td><td>11.44</td><td>11.3</td><td>1.33</td><td>0.53</td></tr><tr><td>MEDEE</td><td>31.64</td><td>56.07</td><td>4.15</td><td>0.31</td><td>7.83</td></tr><tr><td>MENTEUR1</td><td>47.28</td><td>11.1</td><td>30.29</td><td>9.27</td><td>2.09</td></tr><tr><td>MENTEUR2</td><td>46.51</td><td>19.96</td><td>24.85</td><td>7.22</td><td>1.47</td></tr><tr><td>CID</td><td>36.68</td><td>51.17</td><td>3.13</td><td>0.78</td><td>8.22</td></tr><tr><td>HORACE</td><td>19.11</td><td>65.85</td><td>5.56</td><td>0.68</td><td>8.81</td></tr><tr><td>PSYCHE-TOOT</td><td>19.56</td><td>50.34</td><td>18.74</td><td>2.74</td><td>8.62</td></tr><tr><td>PSYCHE-MOLIERE</td><td>14.29</td><td>40.54</td><td>35.52</td><td>5.02</td><td>4.63</td></tr><tr><td>PSYCHE-CORNEILLE</td><td>18.75</td><td>60.73</td><td>11.46</td><td>0</td><td>9.02</td></tr><tr><td>PSYCHE-QUINAULT</td><td>43.86</td><td>8.77</td><td>21.05</td><td>7.02</td><td>19.3</td></tr><tr><td>PHÈDRE</td><td>11.26</td><td>17.82</td><td>3.02</td><td>0.15</td><td>63.75</td></tr><tr><td>PLAIDEURS</td><td>6.03</td><td>0.48</td><td>30.02</td><td>61.99</td><td>1.21</td></tr></tbody></table>

*Amphitryon*, qui a d'abord éveillé les soupçons de Pierre Louÿs, est le premier d'entre eux dans le tableau 22. Le verdict est sans appel et range cette pièce à 52.35% du côté de Molière-vers, contre 20.63% du côté de Corneille-comédie. C'est pourtant ce texte qui est le moins éloigné de Corneille. L'écart est encore plus grand dans *Tartuffe*.
(65.91 contre 7.51). Et il s'aggrave encore quand l'opposition de genre s'ajoute à celle des auteurs : 67.22 contre 3.81 pour l'Avare et 57.23 contre 4.6 pour Dom Juan. Comme aucune tragédie ne figure dans l'apprentissage de Molière, la pièce sérieuse Dom Garcia de Navarre apparaît étrange et l'algorithme hésite entre deux choix : celui du genre ou celui de l'auteur. Le genre l'emporte de peu et le texte est attribué à la tragédie de Corneille (43.99 contre 36.03). Le genre prédomine encore dans le cas de la comédie des Plaideurs, qui, le comique n'entrant pas dans l'apprentissage de Racine, est reconnue comme une comédie de Molière. Ces deux pièces étaient pareillement soumises à la domination du genre dans les analyses classiques (figure 13 et suivantes) et loin d'en tirer argument contre le deep learning on lui fera crédit de cette sensibilité à la puissance du genre<fnref n="21" />. Partout ailleurs des pourcentages écrasants désignent l'auteur réel. Médée, Le Cid, et Horace sont reconnus aisément comme des tragédies de Corneille, tandis que Mélite et les deux Menteurs<fnref n="22" /> sont attribués sans hésitation à la comédie cornélienne. Quant à Racine, il reste étranger à toutes les pièces sauf à la sienne Phèdre, avec une préférence qui atteint 63.75 %.

Afin de compléter la démonstration, on a examiné les autres pièces en vers de Molière, en réordonnant à chaque fois le corpus afin de réincorporer le texte précédemment testé tout en excluant celui qu'on veut examiner. À chaque fois le corpus Molière-vers est soumis derechef à l'apprentissage en même temps que les autres corpus qui restent inchangés (mais on n'a plus jugé utile de faire intervenir Racine). Le constat (tableau 23) est cruel pour la théorie de Pierre Louÿs : aucune des pièces de Molière ne se compromet avec celles de Corneille, et les chefs-d'œuvre moins que les autres (Misanthrope 71% contre 4%, Femmes savantes 63% contre 5%).

<table><caption>Tableau 23. Les comédies en vers de Molière.</caption><thead><tr><th></th><th>Corneille<br>comédie</th><th>Corneille<br>tragédie</th><th>Molière<br>vers</th><th>Molière<br>prose</th></tr></thead><tbody><tr><td>ETOURDI</td><td>17.15</td><td>5.52</td><td>59.49</td><td>17.84</td></tr><tr><td>DEPIT AMOUREUX</td><td>15.8</td><td>8.62</td><td>62.4</td><td>13.19</td></tr><tr><td>SGANARELLE</td><td>7.8</td><td>7.09</td><td>65.6</td><td>19.5</td></tr><tr><td>ECOLE DES MARIS</td><td>11.3</td><td>4.74</td><td>66.8</td><td>17.32</td></tr><tr><td>FACHEUX</td><td>8.92</td><td>7.3</td><td>63.38</td><td>15.41</td></tr><tr><td>ECOLE DES FEMMES</td><td>9.04</td><td>4.52</td><td>61.11</td><td>25.32</td></tr><tr><td>ELIDE</td><td>3.42</td><td>17.87</td><td>42.21</td><td>36.5</td></tr><tr><td>MISANTHROPE</td><td>4.16</td><td>7.93</td><td>71.91</td><td>15.99</td></tr><tr><td>MELICERTE</td><td>5.84</td><td>14.4</td><td>73.15</td><td>6.61</td></tr><tr><td>FEMMES SAVANTES</td><td>5.24</td><td>6.39</td><td>63.04</td><td>25.32</td></tr></tbody></table>

<footnote n="21">²¹ Psyché représente un cas à part, puisque la majeure partie a été écrite par Corneille, Molière se réservant, outre le canevas, l'acte 1 et deux scènes. Le deep learning reconnaît la prédominance de Corneille, même là où Molière tient la plume (40 contre 35%). Mais ici les données sont de trop faible étendue pour que la puissance du programme puisse se déployer.</footnote>

<footnote n="22">²² Notons que les deux Menteurs, tout en se raccrochant solidement à Corneille (47 et 46%), sont relativement proches de Molière, avec des scores non négligeables de 30 et 24%. Cela explique, sans la justifier, la démarche de Labbé qui fait des Menteurs le centre du débat.</footnote>
La cause est entendue. L'intelligence artificielle confirme avec autorité ce que propose la lexicométrie intelligente. Quant à l'opinion publique, qui se contente de lire le texte ou d'assister aux représentations, elle n'a besoin ni de l'une ni de l'autre pour rester fidèle à Molière.

### III – Essai d'explicitation et d'intégration

On aimerait qu'une troisième voie puisse départager les deux approches, et décider du sort de l'huître entre les plaideurs. Peut-on imaginer une expérimentation où l'homme soit confronté à la machine et invité à faire le tri sans autre truchement que la lecture. Le même lot de 50 romans serait livré à l'adresse d'un lecteur professionnel, comme Bernard Pivot. Ce marathonien de la lecture – comme il se définit lui-même – aurait un livre à expertiser chaque jour, performance dont il est capable. Au bout de sept semaines plus un jour, il donnerait son verdict. Serait-il meilleur que celui que la machine livre en une heure ? L'homme a au départ des avantages qui sont refusés à l'ordinateur. Un bibliovore comme Pivot a probablement lu dans le passé les 50 titres du panel. Et, quoi qu'il dise de sa mauvaise mémoire, il a gardé des traces de ses lectures et, par exemple, il lui suffirait d'une minute pour reconnaître la manière de Proust. Et puis il dispose d'une culture historique, acquise non seulement dans la lecture antérieure de ces 50 ouvrages, mais aussi à l'extérieur, dans les milliers de pages parcourues au cours d'une vie, alors que la machine s'en tient aux seuls documents qu'on lui fournit. Que survienne un nom propre, comme Combray, Charlus ou Guermantes, cela suffit pour classer l'ouvrage. L'ordinateur n'y voit que des mots vides de sens et de référence et la majuscule ne l'autorise pas à consulter le Larousse. Et pourtant qui oserait parier que même un Pivot rendrait une dictée sans faute ? Certes il n'achopperait pas aux mêmes endroits que la machine et ne buterait pas sur Pérec ou Camus. Mais, dépouillés de la couverture, sans titre et sans auteur, certains romans, moins connus ou plus lointains dans la mémoire, manqueraient sûrement de conviction pour entrer dans un couple. Et que dire d'un lecteur, supposé innocent et inculte, qui, comme la machine, n'aurait lu aucun livre avant de se soumettre à l'expérience et ne connaîtrait que l'alphabet et les ponctuations, sans aucune notion du lexique, de la grammaire, de la sémantique et sans aucun accès à la vraisemblance ?

#### III.1 – Imitation de la procédure du deep learning : les triplets

Nous avons imaginé un automate, pareillement naïf et ignorant, qui imiterait la démarche du deep learning, tout en s'en tenant aux procédures de la statistique classique. Au lieu de s'élever à l'archilecteur, on s'est tenu à un rôle d'infra-lecteur, qui ânonne les lettres comme un écolier, le doigt appuyé sous le texte, en appliquant une méthode globale de trois mots à la fois. On a déjà dit en effet que le deep learning – au moins la
version à notre disposition -, ne s'intéresse pas aux mots individuels mais à des assemblages (en principe de trois mots dans un espace de 50). Grâce à une fenêtre glissante, on prépare le texte en collant à chaque mot celui qui le précède et celui qui le suit<fnref n="23" />. Les mots ainsi gonflés – qu'on appellera « triplets » – sont plus précis et plus rares que les mots individuels, et chacun livre plus d'information pour dissoudre l'entropie. Naturellement ces monstres lexicaux n'existent pas dans le dictionnaire non plus que dans les acquisitions mémorielles (en dehors d'expressions composées du type « pomme de terre » ou « chemin de fer »). On perd ainsi toute attache avec le lexique et conséquemment avec la syntaxe, la sémantique et l'expérience.

### III. 1.1 – La méthode Muller

Le traitement s'abstient de tout codage ou lemmatisation et fait appel à la version simple de notre logiciel Hyperbase (prévue pour les graphies). L'indexation catalogue tous ces triplets dont la plupart n'apparaissent qu'une fois. Le nombre considérable de ces hapax (1914040) contribue grandement à affirmer l'individualité exclusive de chaque texte et à l'éloigner de ses voisins. Ils constituent 83% du vocabulaire (V =2298089) et 48% du total des occurrences (N= 4004329). Reste la part partageable du vocabulaire : dès qu'un mot (ou triplet) a plus d'une occurrence il peut se trouver dans plusieurs textes et contribuer à leur rapprochement. Le cas le plus simple est celui de la classe de fréquence 2. Si on limite l'étude aux textes A et B, les deux occurrences peuvent se rencontrer dans A, ou dans B, ou se partager entre A et B. La méthode Jaccard ne va pas plus loin et n'envisage que ces trois cas : les exclusivités de A (dont nécessairement les hapax), les exclusivités de B, et les mots communs à A et B, quelle que soit leur répartition. Or un relevé plus attentif au détail se complique dès la classe de fréquence 3, qui offre 4 configurations : 3 en A, 3 en B, 2 en A et 1 en B et enfin 1 en A et 2 en B. Il y a une case de plus pour la classe suivante, et la progression se poursuit de façon vertigineuse en s'arrêtant tout de même à la classe 50 qui distribue son contenu dans 51 boîtes. Pourquoi un dispositif aussi minutieux ? Parce qu'un calcul exact de la distance intertextuelle ne se satisfait pas de la fosse commune où la méthode Jaccard entasse les mots non exclusifs. Si le partage est léonin, par exemple 20 occurrences dans A et une seule dans B, on a tendance à croire que cela augmente la distance entre les deux textes, alors que le calcul de Jaccard conclut au rapprochement. Ce mode de calcul a été proposé par Charles Muller dès 1968 dans le dernier chapitre

<footnote n="23">23 Les ponctuations entrent dans le chaînage, comme les mots simples. Mais comme elles ont souvent un rôle particulier dans un environnement informatique, on les a préalablement converties en chiffres. Voici comment apparaissent les premiers « triplets » de la Recherche du temps perdu :
*   Longtemps_1_je 1_je_me je_me_suis me_suis_couché suis_couché_de couché_de_bonne_de_bonnetps://www.researchgate.net/figure/longtemps-de-temps-de-me-me-dire-me-dire_3-dire_3_Je_3_Je_m'Je_m'_endors-m'_endors_2 Et
*   peine_ma_bougie ma_bougie_éteinte bougie_éteinte_1 éteinte_1_mes 1_mes_yeux mes_yeux_se_yeux_se_fermaient se_fermaient.si_vite si_vite que vite que je que_je_n' je_n'_avais n'_avais_pas_avais_pas_le pas_le_temp le_temp_de temps_de temps_de_me de_me_dire me_dire_3 dire_3_Je_3_Je_m' Je_m'_endors_m'_endors_2 Et
*   peine_ma_bougie ma_bougie_éteinte bougie_éteinte_1 éteinte_1_mes 1_mes_yeux mes_yeux_se_yeux_se_fermaient se_fermaient.si_vite si_vite que vite que je que_je_n' je_n'_avais n'_avais_pas_avais_pas_le pas_le_temp le_temp_de temps_de temps_de_me de_me_dire me_dire_3 dire_3_Je_3_Je_m' Je_m'_endors-m'_endors_2 Et</footnote>
de son *Initiation à la statistique linguistique*. Il a le grand avantage de reposer sur la loi binomiale, ce qui permet le calcul du Chi2 et la mesure étalonnée de la distance intertextuelle<fnref n="24" />.

### III.1.2 – Application au roman du XXᵉ siècle

Pourtant, appliquée aux mots individuels, la méthode de Muller ne surclassait pas les autres calculs, dans le classement de notre tableau 2. Son extrême précision en effet ne s'applique qu'aux basses fréquences. Or celles-ci occupent presque tout l'espace quand il s'agit de triplets. Sur plus de 2 millions de triplets différents, il n'y en a que 2441 dont l'effectif est supérieur à 50 (dont 833 dépassent la fréquence 100 et 12 seulement la fréquence 1000). Il suffit donc d'examiner le contenu des 1326 boîtes (c'est-à-dire la somme des entiers de 2 à 51) et d'appliquer à chacune la probabilité composée de la loi binomiale, compte tenu de la taille respective des deux textes en présence, pour lire la valeur globale du Chi2 et en déduire la distance qui sépare ces deux textes. Bien entendu l'opération est à renouveler pour chaque confrontation, c'est-à-dire (n²-n)/2 = 1225 fois pour 50 textes. On trouvera ci-dessous les premières lignes du tableau des résultats.

<figure><img src="image_21.png" /><figcaption>Tableau 24 La distance de Muller appliquée aux triplets (extrait).</figcaption></figure>

<figure><img src="image_22.png" /><figcaption>Figure 25. La distance de Muller appliquée à la Symphonie pastorale.</figcaption></figure>

<footnote n="24">²⁴ Muller a proposé sa méthode sous le nom de « connexion lexicale ». Les moyens matériels lui ont manqué à l'époque pour apporter une illustration concrète d'un calcul réputé long et complexe. L'implantation que nous en avons faite dans Hyperbase ne pose pas de problème, même pour un corpus de 4 millions de mots. Pour plus de détail voir :</footnote>

<footnote>E. Brunet, « Une mesure de la distance intertextuelle : la connexion lexicale », in *Revue, Informatique et Statistique dans les sciences humaines*, n° 1 à 4, C.I.P.L., Liège, 1988, pp. 81-116.</footnote>

<footnote>E. Brunet, « Muller le lexicomètre », in *Mélanges offerts à Charles Muller pour son centième anniversaire*, CILF, Paris, 2009, pp. 99-119.</footnote>
Un tableau de 50 par 50 n'étant guère lisible ni même présentable, on en aura une idée fragmentaire en mettant en relief n'importe quelle ligne ou colonne. L'exemple de Gide dans la figure 25 montre ainsi que la *Symphonie pastorale* reconnaît l'Im moraliste comme son voisin le plus proche. L'algorithme reconstitue correctement la plupart des paires, quoique avec moins de sûreté que le *deep learning*. Mais il faut reconnaître que les conditions ne sont pas égales : Le *deep learning*, pour chaque texte à apparier, n'avait que 25 candidats, alors que 49 se présentent dans le calcul de Muller.

Mais l'analyse arborée en enveloppant tous les profils d'un seul regard restitue au mieux les parentés dissimulées dans le maquis des lignes et des colonnes. Le résultat qu'elle obtient dans la figure 26 est superposable à celui du *deep learning*: sur les 25 paires, 23 sont reconnues. Les deux auteurs qui résistent à l'analyse sont précisément ceux qui avaient créé des difficultés au *deep learning*: Camus et Pérec. On en a déjà évoqué les raisons. On comprendra le progrès accompli en passant des mots aux triplets, si l'on se réfère au tableau 2 où le même calcul de Muller n'avait reconnu que 19 paires à partir des mots individuels. Pourtant dans le cas des triplets comme précédemment la palme revient à l'algorithme d'Évrard, qui obtient là aussi le plein succès.

<figure><img src="image_23.png" /><figcaption>Figure 26. L'analyse arborée des triplets (à partir de la distance de Muller).</figcaption></figure>

Les lignes en pointillé désignent les 4 textes mal identifiés de Pérec (*W ou le souvenir* et *L'homme qui dort*), et de Camus (*L'étranger*, et *La Chute*).
### III. 1. 3 - Application au théâtre classique

La même expérience des triplets peut être appliquée au théâtre classique. Le résultat figure dans le graphique 27 qu'on comparera au graphique 13 établi sur les mots individuels. À première vue le parallélisme est frappant : même orientation d'ensemble, de Corneille à Molière (Racine est à l'extérieur), de la tragédie à la comédie, des vers à la prose. Mais pour chaque constellation polarisée par le genre ou l'auteur, le détail est plus précis. Cela est vrai pour Racine, dont l'évolution chronologique est marquée de la *Thébaïde* à *Athalie*. Cela est plus sensible encore dans le cas de Corneille dont la production est divisée en trois périodes distinctes : les premières pièces qu'on range habituellement dans le genre comique (même si certaines, comme *Médée*, relèvent plutôt d'une inspiration héroïque ou tragique), puis, du *Cid* à *Andromède*, la période des grands succès, et enfin les derniers titres que menace le déclin. Quant à Molière, l'algorithme est y plus sensible à la typologie générique qu'à la progression chronologique. Une ligne de démarcation sépare nettement les vers et la prose et met en relief, dans une zone intermédiaire, les pièces où les genres se mélangent, soit parce que Molière pressé par l'urgence n'a pas eu le temps de terminer la versification (c'est le cas de la *Princesse d'Élide*<fnref n="25" />), soit parce que les ballets ou intermèdes chantés et versifiés se mêlent à la prose du dialogue (*Les Amants magnifiques*).

<figure><img src="image_24.png" /><figcaption>Graphique 27. Analyse des triplets dans le théâtre classique (distance de Muller).</figcaption></figure>

<footnote n="25">²⁵ Le Deep learning relevait aussi cette ambiguïté dans le tableau 16 qui range cette pièce pour 42% dans le genre versifié et pour 36% dans la prose.</footnote>
Ainsi, en suivant la démarche du *deep learning* dans une expédition aventureuse au pays des triplets, et en passant des éléments simples aux combinaisons de ces éléments, on multiplie les variétés en divisant les effectifs. Les objets que traite la statistique sont alors plus volumineux, mais aussi plus précis, plus rares et, espère-t-on, plus spécifiques. De la même façon en s'intéressant aux molécules plutôt qu'aux atomes, la statistique a plus de chances de préciser la composition de la matière. Dans la population des triplets, les hapax, qui occupent la moitié de la surface imprimée, bénéficient de la rareté maximale puisqu'ils sont uniques, et si l'individualité de chacun n'est pas prise en compte (au moins dans le calcul de Muller), leur nombre importe grandement dans ce calcul. Quant aux triplets de fréquence supérieure à 1, ils sont le fruit d'une rencontre. Or, la rencontre de deux événements rares est elle-même potentiellement plus rare encore, au point de ressembler à un secret que l'on partage et qui resserre les liens. Enfin envisager les combinaisons plutôt que les éléments simples, c'est associer le séquentiel au fréquentiel, en appliquant le second au premier. Ce faisant, on grimpe d'un étage, avec une perspective plus large et plus précise sur le langage<fnref n="26" />.

### III. 2 – Réduction et intégration des deux approches, procédurale et algorithmique

Ce qui gêne la comparaison des deux approches, procédurale ou algorithmique, même quand l'une imite l'autre, c'est la dissymétrie initiale dans la saisie des données. Alors que la méthode classique aligne tous les textes sur la ligne de départ pour les soumettre ensemble et dans le même temps à la même épreuve et au même classement général, les méthodes d'apprentissage et en particulier le *deep learning* ont besoin de séparer apprentissage et reconnaissance et d'exclure du premier les textes destinés à la seconde. Il y a tout de même moyen d'accorder les deux approches, soit en réduisant la première, soit en étendant la seconde.

2.1 – L'analyse de correspondance peut, elle aussi, séparer ces deux phases en réduisant les colonnes actives aux seuls textes présentés à l'apprentissage, c'est-à-dire au premier roman de chaque paire. La base d'apprentissage est ainsi deux fois plus petite. Le second roman de chaque auteur figure en tant qu'élément supplémentaire, sans avoir participé à l'analyse. Malgré la sévérité de cette épreuve, 21 romans, projetés a posteriori, ont comme plus proche voisin un roman du même auteur. Les quatre exceptions concernent Montherlant, Camus, Colette et Giono (avec une liaison presque directe chez ce dernier écrivain). Quant au roman « W ou le Souvenir » il n'est pas loin

<footnote n="26">²⁶ C'est aussi ce qui se passe à l'étage inférieur, quand la statistique prend pour objet le mot plutôt que la lettre, le mot n'étant qu'une séquence de lettres. Et plus bas encore, la lettre est une séquence de points.</footnote>
des deux autres romans de Perec qui eux, ont été actifs dans l'analyse, mais il s'agit d'un roman excentrique dont la présence est discutable dans cet exercice.

On rappelle que la projection des éléments supplémentaires est un cas particulier de régression multiple simultanée (et donc de perceptron à une couche cachée avec fonction de transfert identité). Mais c'est un cas particulier de méthode dite *neuronale* qui a une interprétation géométrique simple, et un formalisme analytiquement explicite (et non uniquement algorithmique).

<figure><img src="image_25.png" /><figcaption>Figure 28. Lemmes sans noms propres ni pronoms. Seuil de fréquence : 100</figcaption></figure>

Seuls 25 romans (25 auteurs) sont analysés, les 26 autres sont projetés à posteriori en éléments supplémentaires

2.2 – Inversement la procédure du deep learning pourrait atteindre la dimension maximale (le nombre de textes en présence). Il faudrait pour cela répéter, autant de fois qu'il y a de textes, la phase d'apprentissage, en enlevant à chaque fois un texte au corpus, pour le réserver à la phase de reconnaissance, avant de réintroduire ce dernier texte dans le corpus pour le coup suivant. Nous avons accepté cette procédure pour les
comédies en vers de Molière (voir tableau 10). Mais avec le corpus du roman, gros de
de 4 millions de mots et divisé en 50 partitions, l'opération s'est révélée trop lourde.

Il est toutefois possible d'intégrer les résultats du *deep learning* dans une procédure
classique. Dans les tableaux que produit le *deep learning*, chaque ligne est acquise et
fournie indépendamment des autres lignes. Toutes ont le même poids puisque ce sont
des pourcentages dont le total est le même. Si chaque ligne a des éclats et des ombres
accusés, le tableau lui-même reste assez opaque, si on ne lui applique pas un traitement
de synthèse. En réalité le *deep learning* ne donne que des réponses isolées, qui se bornent
à la question posée et proposent un classement sur cette question. C'est le chercheur
qui construit le tableau en y ajoutant autant de lignes qu'il le souhaite.

2.2.1 - Réunissons dans un même tableau rectangulaire les résultats fournis ligne à ligne par le *deep learning* dans les tableaux 22 et 23 relatifs au **théâtre classique** (en excluant Racine dans les colonnes, et ses deux pièces, *Phèdre* et les *Plaideurs*, dans les lignes). Restent quatre colonnes dont deux concernent Corneille (comédies et tragédies) et deux autres Molière (vers et prose). On retrouve ces quatre sous-ensembles, nettement séparés, dans l'analyse arborée de la figure 29. Et la composition de chacun est ce que l'on attendait, même dans les cas d'hésitation (*Princesse d'Élide* entre vers et prose) ou de contestation quand le genre et l'écrivain sont en conflit (*Psyché* et *Garcie de Navarre* entre Molière et Corneille).

<figure><img src="image_26.png" /><figcaption>Figure 29. Analyse arborée appliquée aux résultats du deep learning (théâtre).</figcaption></figure>
2.2.2 - De la même façon dans les tableaux 10 et 11 relatifs au roman du XXe siècle, le *deep learning* associait 23 lignes à 23 colonnes. Pour s'aligner sur les résultats obtenus par la méthode Muller qui comptent 46 lignes et 46 colonnes dans une disposition symétrique obtenue d'un seul tenant, on peut ajouter l'un à l'autre les tableaux 10 et 11 et disposer ainsi de 46 lignes (la distinction entre Ajar et Gary étant abolie dans ces corpus). On obtient alors la totalité des auteurs en colonne et la totalité des romans en ligne. Et comme un tel tableau n'est pas symétrique, il compte finalement autant de cellules actives que celui de Muller.

Dès lors les résultats du *deep learning* cessent d'être un terminus ; ils peuvent s'inscrire dans une approche traditionnelle et par exemple servir de données aux programmes d'analyse arborée ou d'analyse factorielle. Cette fois c'est l'ensemble du tableau qu'on examine pour en tirer des enseignements qui dépassent la lecture linéaire des lignes ou des colonnes et la simple question de la paternité littéraire. Par ce biais le *deep learning* peut acquérir une cohérence, une lisibilité et une fonction descriptive qu'il n'a pas par lui-même.

<figure><img src="image_27.png" /><figcaption>Figure 30 Analyse arborée du *deep learning* (données cumulées des tableaux 4 et 6).</figcaption></figure>
À première vue la figure 30 est superposable à la figure 26. Les paires sont reconstituées sans hésitation, à l'exception attendue de Camus. Si Pérec rentre dans le rang, c'est parce qu'un texte plus assimilable, *Les Choses*, a été substitué au roman intraitable *W ou le souvenir*. Mais il y a un flottement léger, qu'on observait aussi dans les tableaux 10 et 11, à l'endroit de Duras, et un autre apparaît concernant Queneau. Mais dans ces deux cas, si la liaison directe n'est pas établie, le rattachement est à très courte distance. On a tout lieu de se satisfaire de cette convergence des deux graphiques et des deux approches.

2.2.3 - Mais à y regarder de près la **structure est différente** : la figure de Muller est une carte, avec des chemins et des routes, et celle du *deep learning* est une table d'orientation en étoile avec seulement des directions. Les points du paysage y sont désignés par des flèches mais rien de permet de cheminer d'un point à l'autre. Du centre partent de longs rayons rectilignes, chacun conduisant à un auteur et, serrés l'un contre l'autre, aux deux textes qui sont de lui. Mais les écrivains n'ont pas de voisins, pas d'amis, pas d'adversaires. On en compte 15 sur 23 qui se rattachent directement au centre, les autres s'écartant un peu sur la droite pour former une autre figure rayonnante. En fin de compte, on ne trouve que trois écrivains, Vian, Queneau et partiellement Pérec, pour emprunter de conserve le même chemin, sans doute le chemin qui mène à l'OuLiPo, où Vian aurait eu sa place s'il avait vécu plus longtemps.

La figure 26 est beaucoup plus parlante. Certes les textes frères y sont moins solidement soudés (les lignes bleues sont plus longues) ; mais les chemins communs (en rouge) sont vraiment des voies de communications qui mettent les écrivains en relation. La structure s'allonge grossièrement dans le sens de l'histoire, le lointain à gauche, le récent à droite (mais les auteurs ayant des titres éloignés dans le temps, le mouvement chronologique en est perturbé). Et surtout la disposition en blocs rend compte des tendances ou des habitudes : un groupe se forme en haut à gauche autour de la littérature personnelle qui dit « je », un autre, plus bas, rassemble les représentants d'une narration classique, tandis qu'à droite un renouvellement des formes littéraires réunit des écrivains plus modernes.

Ainsi l'intégration du *deep learning* dans un dispositif de statistique traditionnelle ne lui donne pas d'emblée les vertus descriptives et explicatives qu'on pourrait attendre d'un outil si puissant. Il reste à les chercher dans sa propre démarche, en démontant, autant que faire se peut, les mécanismes de l'instrument, grâce à la déconvolution. C'est ce qu'on se propose de faire dans un dernier effort.
### III.3 – La déconvolution

Nous ne voulons pas ici approfondir les calculs qui permettent de rebrousser chemin et de retrouver la trace des marqueurs qui ont orienté les choix du *deep learning*. Ces précisions techniques ont été publiées ailleurs<fnref n="27" />. Si le *deep learning* reste discret sur ses critères, la déconvolution permet *a posteriori* de connaître certaines de ses décisions caractéristiques : une liste de passages exemplaires où les mots ou expressions qui ont motivé ses choix sont mis en relief.

3.1 – Pour *Le Menteur 1* on obtient plusieurs extraits dont certains (majoritaires) sont attribués à Corneille et certains autres aux comédies en vers de Molière, ou à d'autres corpus invités à la comparaison. Un curseur permet de sélectionner les marqueurs les plus forts (on les a représentés en rouge) ou ceux qui le sont moins (en bleu)<fnref n="28" />.

Plutôt du Corneille-Comédie :

> “ [...] à coiffe abattue, et sans les approcher il suit de *rue en rue* ; aux couleurs, au *carrosse*, il ne doute de rien ; to
> ut étoit à *Lucrèce*, et le *dupe* si bien, que prenant *ces beautés* pour *Lucrèce* et *Clarice*, il rend à [...] ”

Plutôt du Molière en vers :

> “[...] Mais,
> avant qu'avec moi *le noeud* d'hymen vous *lie*, vous *serez marié*, si l'on veut, en *Turquie*. Avant qu'avec toute autre
> e on me puisse *engager*, je serai *marié*, si l'on veut, en *Alger*. Mais enfin vous n' [...]”

On constate sans surprise que les noms propres *Lucrèce* et *Clarice* contribuent grandement à la reconnaissance (sur 214 occurrences de *Clarice* rencontrées dans le théâtre classique, 177 se trouvent dans le *Menteur*, et 42 *Lucrèce* sur 50)<fnref n="29" />. On ne s'étonne pas de trouver les mots *carrosse* et *dupe* dans une intrigue qui repose sur l'esbroufe et le mensonge. Quant à l'expression galante de *ces beautés* on n'en trouve que trois occurrences dans le théâtre classique, toutes chez Corneille. On peut comprendre aussi que des mots comme *marié*, *hymen*, *nœud*, *lie*, *engager* orientent le second passage vers Molière, chez qui tant d'intrigues reposent sur les unions contrariées. Mais là s'arrête ce que la statistique classique peut aussi expliquer. La déconvolution propose des expressions hapax (par exemple *de rue en rue*, *il ne doute de rien*, *sans les approcher*), dont la statistique classique par définition ne s'embarrasse pas. Ainsi le passage jugé le plus caractéristique de la pièce des *Fâcheux* est fait d'expressions en exemplaire unique, qui peinent à atteindre le seuil fixé pour l'hypothèse nulle (figure 31).

<footnote n="27">²⁷ Laurent Vanni, M Ducoffe, D Mayaffre, F. Precioso, D Longrée et al. *Text Deconvolution Saliency (TDS): a deep tool box for linguistic analysis*, 56th Annual Meeting of the Association for Computational Linguistics, Jul 2018, Melbourne.</footnote>

<footnote n="28">²⁸ Les couleurs n'ont pas le même sens dans le logiciel **Web Hyperbase** qui a fourni ces exemples : elles désignent le niveau où se situe ce qu'on appelle la « saillance » : graphie, lemme ou code.</footnote>

<footnote n="29">²⁹ De même dans le second exemple la mention d'Alger dirige l'algorithme vers Molière parce que ce nom exotique apparaît trois fois dans les *Fourberies de Scapin*. Précisons que les noms propres qui désignent le personnage auquel on attribue la réplique ont été évacués à la saisie car ils ne font pas partie du texte qu'on entend à la représentation.</footnote>
<figure><img src="image_28.png" /><figcaption>Graphique 31. Le passage tenu par la déconvolution comme spécifique des *Fâcheux*.</figcaption></figure>

Ces mesures légères et sensibles semblent « peser des œufs de mouche dans des balances de toiles d'araignée », pour reprendre une expression de Voltaire. On soupçonne aussi des faits de rythme, des associations disjointes, des motifs liés au genre, ou à l'époque, toutes subtilités qui échappent à l'emprise directe de la statistique<fnref n="30" />. Le *deep learning* n'en est qu'à ses débuts dans le traitement des textes. Dans le traitement de l'image il peut imposer des filtres qui redressent un original déformé, par exemple une photographie bougée. On peut imaginer dans l'avenir qu'il pourra isoler ou neutraliser les faits linguistiques qui viennent du thème, ou du genre et qui se mêlent inextricablement au style propre de l'écrivain.

On en veut pour preuve une dernière illustration, relevée dans le *Misanthrope*. Cette pièce que Boileau considère comme le chef d'œuvre de Molière s'inscrit à 73% dans le moule de la comédie en vers, dont elle est l'archétype (ce seuil n'est jamais dépassé). Mais après cinquante pages versifiées une page en prose apparaît dans la scène finale pour révéler dans un billet compromettant les pensées secrètes de Célimène. Cela n'a pas échappé au *deep learning* qui cite un extrait de ce billet comme pouvant appartenir à la prose de Molière. Or, pas plus que Monsieur Jourdain l'ordinateur n'a appris à compter les syllabes et à distinguer la prose et les vers.<fnref n="31" />

<footnote n="30">³⁰ On a pourtant essayé, dans les deux corpus, de tirer parti des cooccurrences, en variant l'empan (page ou phrase), et en changeant aussi l'objet linguistique (tantôt substantifs seuls, tantôt mots pleins, y compris les verbes, les adjectifs et les adverbes). Les bases ainsi créées à partir de cooccurrences soudées l'une à l'autre sont certes en accord avec celles qui reposent sur les mots individuels, mais elles ne produisent aucune valeur ajoutée et sont loin de la précision des triplets et à plus forte raison de celle du *deep learning*.</footnote>

<footnote n="31">³¹ On pourrait penser que l'extrait contient des prosaïsmes qui suffisent à expliquer la décision. Mais le mot *flandrin* qui se cache derrière de symbole PAD est hors de cause. Et le mot *cracher* se rencontre plutôt dans les pièces en vers. Quant à l'expression pittoresque « faire des ronds » elle est sans autre exemple. En revanche si le *vicomte* (expressément mis en relief) n'a rien en soi qui le destine à la prose populaire, il est vrai que Molière le réserve aux pièces en prose notamment les *Précieuses ridicules* (10 occurrences), *Georges Dandin* (6 occ.) et la *Comtesse d'Escarbagnas* (39 occ.).</footnote>
Plutôt du ensemble:molierevers6 : 73.17%

" et contre le prochain la conversation prend un assez bon train. PAD encor, madame, est un bon caractère. C' est de la tête aux pieds un homme tout mystère, qui vous jette en passant un coup d' oeil égaré, et, sans aucune affaire "

Voir une autre phrase-clé

Plutôt du ensemble:moliereprose : 15.74%

" vicomte ... " il devrait être ici . " notre grand PAD de vicomte , par qui vous commencez vos plaintes , est un homme qui ne sauroit me revenir ; et depuis que je l' ai vu , trois quarts d' heure durant , cracher dans un puits pour "

Voir une autre phrase-clé

B:

3.2 - En réalité les points d'ancrage les plus sûrs que la déconvolution permet de saisir recouvrent très souvent ce que la tradition désigne par **spécificité**. Quand un mot concentre ses occurrences dans un texte privilégié, cela n'échappe pas au *Deep Learning* et bien des passages sont restitués par l'algorithme, avec pour justification apparente la présence de noms propres ou de mots-clés qui ont moins de chance de se trouver ailleurs. Ainsi procède la lecture humaine : si l'œil se promène sur une page inconnue et y rencontre un *Rougon* ou un *Macquart*, on présume qu'il s'agit de Zola. On en vient à se demander si la prédiction du deep learning n'est pas fondée sur la somme des spécificités individuelles ou collectives. De même dans la reconnaissance d'une image de chat, ce sont sur des détails caractéristiques, comme la pupille verticale, que la présomption s'appuie. Nous avons donc mené une expérience pour évaluer le poids des mots spécifiques dans la reconnaissance des textes et des auteurs. La plupart des logiciels lexicométriques produisent des listes, alphabétiques ou hiérarchiques, de spécificités, points d'appui souvent précieux pour le commentaire et l'interprétation. Leur choix permet d'échapper au dilemme fréquences basses/hautes. Car le nombre absolu des occurrences importe moins que leur répartition, étale ou inégale. Et la sommation n'est pas celle des occurrences, ce qui donnerait l'avantage aux mots fréquents, mais celle des écarts, ou plutôt des écarts normalisés ou « réduits ». Quoique le calcul réel soit hypergéométrique, on a gardé l'échelle, bien commode, de l'écart réduit, emprunté à la loi normale. Nos listes s'arrêtent à la valeur 2, au moment où l'on a moins de 5 chances sur 100 d'écarter l'hypothèse nulle. La démarche consiste, pour deux textes dont on veut établir la distance, à repérer dans les 2 listes les éléments communs et à faire le total des écarts Le calcul est à répéter pour les 50 textes et leurs 1225 combinaisons deux à deux. On obtient alors un tableau, carré et symétrique, non pas de distances mais de proximités, les plus proches voisins étant ceux dont le total est le plus élevé pour les éléments partagés. La lecture directe d'une ligne ou d'une colonne désigne généralement le texte-frère comme étant le plus proche voisin. Mais le recours à une vision de synthèse conforte cette observation. Que ce soit l'analyse factorielle (graphique 28) ou l'analyse en arbres additifs (graphique 29), le résultat est très semblable à ceux qu'on obtient du deep learning ou de la lexicométrie.
<figure><img src="image_29.png" /><figcaption>Figure 32. Analyse de correspondance des spécificités partagées</figcaption></figure>

<figure><img src="image_30.png" /><figcaption>Figure 33. Analyse arborée des spécificités</figcaption></figure>
Dans les deux cas, les textes de deux auteurs font difficulté: ceux de Pérec et de Montherlant. Ce sont les mêmes qui résistaient aux épreuves précédentes. Dans l'analyse factorielle ils chevauchent l'axe principal et dans l'analyse arborée ils n'admettent aucune proximité.

3.3 - Il faut avouer pourtant que les révélations de la déconvolution, même confirmées par le témoignage des spécificités, s'entourent d'incertitude et d'incomplétude. On parle souvent de boîte noire<fnref n="32" /> quand on évoque le *deep learning*. On veut dire par là que la transparence fait défaut. Mais l'image évoque aussi l'inscription automatique de tous les paramètres qui orientent ou redressent le vol à chaque seconde. Dans l'apprentissage des textes, l'automate est supervisé en cela qu'on désigne l'auteur du texte proposé. S'ensuivent des ajustements incessants et progressifs du processus, analogues aux corrections de trajectoire du pilote automatique. Mais s'il est possible de déchiffrer intégralement les enregistrements de la boîte noire, quand du moins on la retrouve intacte après l'accident, les chemins empruntés par le *deep learning* ne permettent guère le contrôle total, *a posteriori*, qu'il y ait ou non accident. Dans la chaîne procédurale au contraire, le code suit pas à pas la théorie appliquée et la défaillance éventuelle est en principe facile à repérer : si une instruction a provoqué par exemple une division par zéro, elle avoue immédiatement et clairement son forfait.

En revanche le *deep learning* offre peu de justifications, ni pour expliquer ses triomphes, ni pour excuser ses insuccès. Albert Einstein disait avec humour: « La théorie, c'est quand on sait tout et que rien ne fonctionne. La pratique, c'est quand tout fonctionne et que personne ne sait pourquoi. ». Le *deep learning* est clairement une pratique obscure qui fonctionne sans trop savoir et dire pourquoi. Cette pratique est celle d'un réseau. Simple et progressive, elle s'oppose à la chaîne balisée des parcours procéduraux qui avancent par étapes. La progression du réseau est fondée sur la répétition ininterrompue d'un processus « neuronal » qui de proche en proche et de couche en couche, s'adapte continûment aux données, comme la courbure du roseau s'adapte continûment à la force du vent. Elle n'est pas sujette aux ruptures qui peuvent se produire quand un maillon cède dans la chaîne. La chaîne et le réseau, cela pourrait faire une fable.

<footnote n="32">³² De la boîte noire au trou noir, il n'y a qu'un pas qui a été franchi dans un article paru en novembre 2017, sous le titre *Deep Learning, le grand trou noir de l'intelligence artificielle*, https://www.maddyness.com/2017/11/13/ia-deep-learning-trou-noir-intelligence-artificielle/</footnote>
### III.4 - Analyse non-supervisée des « pages » (fragments de 50 lignes consécutives)

Dans nos exemples où s'applique une méthode classique de *deep learning*, on s'est tenu à une version supervisée du processus d'apprentissage, les étiquettes d'auteur étant clairement posées sur des textes bien définis, soumis à cette phase en toute transparence. Pour corser la difficulté et envisager le cas le plus général où les données sont morcelées et confuses, on pourrait ne pas prendre en compte cette information et proposer des textes en vrac, au kilomètre, sans partition explicite des textes, en forçant l'automate à agir en aveugle. On se propose de réaliser cet essai dans un proche avenir. Mais les conditions de l'expérience peuvent être préalablement explorées avec les procédures classiques. Voici comment.

4.1 - On reprend l'exemple du corpus de 51 romans. Au lieu de présenter les textes un par un en tant que partitions délimitées, successives et constitutives du corpus, on ne fournit à l'algorithme qu'un flot ininterrompu de **pages autonomes**, pourvues seulement d'un numéro d'identification, sans lien entre elles (l'ordre ne compte pas) et sans rattachement explicite à un texte particulier. Le traitement est donc entièrement non-supervisé. Il consiste en une analyse des correspondances des 3547 pages de 50 lignes du fichier lemmatisé des 51 romans français étudiés au début de cet article. Ces pages (qui correspondent plutôt à des doubles pages imprimées) peuvent être battues comme des cartes à jouer. Une fois que l'analyse factorielle a établi la typologie de ces pages, on obtient un nuage de 3547 points-page dans un espace de dimension élevée (ici 40 axes principaux). On positionne *a posteriori* dans cet espace les auteurs comme points moyens des pages qu'ils ont écrites. Au départ, l'analyse ne cherche pas à contraster les auteurs, mais à décrire ces pages sans idées préconçues. Il s'agit donc d'une épreuve très sévère<fnref n="33" />.

4.2 – À partir des **données brutes**, la figure 34 montre que 17 auteurs sur 25 donnent lieu à des appariements corrects. Par contre, Giraudoux est écartelé, comme Montherlant. Ajar de « la Vie devant soi » est très loin de « Gros Câlin » qui, lui, est proche des romans signés Gary. Dans les analyses précédentes (section 2) où les pages étaient agrégées par roman, la variabilité des pages « intra-roman » était neutralisée. On voit ici que chez six auteurs (surtout sur trois : Giraudoux, Montherlant, Ajar. Le phénomène est moins net pour les trois autres) il y a une forte variabilité interne des pages, au point de brouiller les cartes.

<footnote n="33">³³ On pourrait ici encore moduler la longueur des fragments en prenant seulement 25 lignes ou au contraire 100 ou 200 lignes.</footnote>
<figure><img src="image_31.png" /><figcaption>Figure 34. Analyse arborée à partir des 3547 « pages » de lemmes sans noms propres ni pronoms. Seuil de fréquence : 50. *Les titres des romans sont projetés a posteriori comme points moyens de leurs pages. L'arbre est construit à partir de ces points-moyens.*</figcaption></figure>

Cette approche non supervisée n'est pas incompatible avec l'évolution en cours du *deep learning*<fnref n="34" />, qui recommande des représentations des données avec de multiples niveaux d'abstraction, après le constat, somme toute banal, que les processus d'acquisition des connaissances des animaux et des humains sont essentiellement non-supervisés et ne demandent pas de corpus étiquetés.

L'analyse des pages est sans doute plus proche d'un processus cognitif naturel que la seule prise en compte d'un bilan fréquentiel au niveau global d'un ouvrage. Elle est plus riche puisqu'elle étudie sa variabilité interne, exclue a priori des approches précédentes. Enfin, elle est plus convaincante puisqu'elle prend en compte la complexité de l'ouvrage, et prend le risque de confronter sa variabilité interne à la variabilité entre auteurs.

## 4.3 - Nous avons vérifié plus haut que les verbes étaient plus uniformément répartis dans les textes que les noms et adjectifs. Cela va avoir un effet stabilisant sur

<footnote n="34">³⁴ Cf. par exemple : LeCun Y., Bengio Y., Hinton G. (2015). Deep Learning. *Nature*, 521, 436-444.</footnote>
l'analyse des pages précédentes. Dans la figure 31 on observe en effet que les pages de verbes permettent une bien meilleure prédiction des auteurs que les pages de mots (lemmes) en général. Ainsi, 23 auteurs sur 25 sont caractérisés par leurs pages de verbes. Il ne reste plus que Montherlant et Camus pour faire exception à ce classement (symboles « étoile » sur la figure 31).

<figure><img src="image_32.png" /><figcaption>Figure 35. Analyse arborée de 3547 « pages » de verbes. Seuil de fréquence : 50. Les titres des romans sont projetés a posteriori comme points moyens de leurs pages de verbes. L'arbre est construit à partir des distances entre ces points moyens.</figcaption></figure>

## IV. Conclusion (Eléments pour une ...)

On a vu lors de la section I dévolue aux romans du XXème siècle (50 textes et 25 auteurs) que les analyses des correspondances des tableaux lexicaux (graphies x auteurs) ou (lemmes x auteurs) permettaient de reconstruire progressivement, axe par axe, les distances entre auteurs, et il a fallu attendre les tous derniers axes pour obtenir une excellente discrimination entre auteurs (discrimination que l'on peut d'ailleurs obtenir directement à partir de la matrice des distances d'Evrard originale).

Cette situation est peu courante en analyse des données. Sans être trop technique, disons que les analyses structurales s'intéressent au haut du spectre (premiers axes, plus grandes valeurs propres) qui dégage des dimensions stables et qui permettent des visualisations. On dit souvent que le bas du spectre (plus petites valeurs propres) ne
récolte que du bruit (au sens statistique du terme)... quand il y a du bruit. Mais ici, le bruit, dénomination familière de l'aléatoire en théorie du signal, laisse la place à l'indéterminé, à l'inconnu qui échappent à toute formalisation. Les premiers axes mettent en évidence des traits structuraux généraux, des caractéristiques de genre, des niveaux de langage, alors que pour les derniers axes, on parlera plutôt d'idiosyncrasies, de jardins secrets, voire de tics.

Les techniques particulières de *deep learning* mis en œuvre fournissent les appariements souhaités avec aisance: leur spécialité, leur ADN comme on dit souvent maintenant, est de reconnaître, plus que de décrire. On ne peut plus les ignorer lorsqu'on manipule des données complexes, lorsqu'un panorama global ne suffit pas et lorsqu'on veut éprouver une information externe précise comme, par exemple : « ces deux romans ont été écrits pas un même auteur ».

A ce stade, nous sommes cependant loin d'avoir épuisé l'apport de cette expérience à notre compréhension du fonctionnement des méthodes quantitatives.

La section II dévolue au théâtre classique reposait, en partie, sur un corpus dont la structure est fort différente de la précédente : seulement trois auteurs pour 75 pièces. Trois points définissant un plan, on pouvait s'attendre à trouver des bons plans de visualisation. Mais la variable « auteur » est une information externe à la table lexicale analysée, qui ne connaît que les pièces et les graphies. Cependant, le résultat graphique obtenu sur un simple plan va au-delà des espérances. Tout est là : la distinction entre auteurs, entre genres (comédies, tragédies), entre vers et prose. Peu d'exceptions dans les attributions d'auteurs, largement explicables par les effets de genre. Quant aux procédures de *deep learning* utilisées pour le théâtre classique, elles ne font qu'une bouchée de ce corpus classique pour désigner les auteurs, sans toutefois pouvoir totalement neutraliser l'effet perturbateur du genre.

Les méthodes d'analyse statistiques exploratoires d'une part, et les méthodes d'apprentissage automatique (*machine learning*, comme leurs versions récentes : *deep learning*) d'autre part, sont certes complémentaires, mais sont aussi parentes d'un point de vue théorique, plus qu'on ne le croit généralement.

L'analyse des correspondances appliquée aux tables de contingence (ici : tableaux lexicaux) est ainsi le point de rencontre de nombreuses techniques d'apprentissage. Elle peut être décrite comme un perceptron multicouche supervisé particulier (dans ce cas, les couches d'entrée et de sortie sont respectivement les lignes et les colonnes du tableau analysé). L'analyse des correspondances est également un perceptron multicouche non supervisé particulier (dans ce cas, la couche d'entrée et la couche de sortie sont identiques et la couche cachée, plus petite, impose simplement une
compression des données)$^{35}$. Enfin, lors de l'analyse des pages, nous avons positionné *a posteriori* les auteurs parmi les pages, comme des variables nominales supplémentaires. L'ajout d'éléments supplémentaires dans une technique d'axes principaux (analyses en composantes principales, des correspondances) constitue une variante descriptive de la régression multiple, elle-même une forme simple de perceptron. D'un point de vue géométrique, les deux situations sont en effet similaires.

En somme, parallèlement aux outils de *deep learning* éprouvés et validés, surtout dans les applications industrielles en temps réel, nous avons aussi puisé dans les boîtes à outils du *machine learning* des procédures plus exploratoires, transparentes, interprétables à chaque étape, dont les résultats pourraient être visualisés (plans, arbres) ou évalués via des procédures statistiques (zones de confiance *bootstrap* par exemple).

Il est clair que les méthodes exploratoires choisies ne représentent qu'une partie du potentiel de l'apprentissage automatique$^{36}$. Mais c'était le prix à payer pour la transparence du calcul, les visualisations et la simplicité tant algébrique que géométrique du processus.

En utilisant l'arsenal des algorithmes d'apprentissage disponibles, la machine apprend. Les applications dans la vie réelle sont immenses et, de plus, en pleine évolution.

Lorsque nous utilisons de façon complémentaire le (grand) sous-ensemble des techniques exploratoires que nous avons sélectionnées, la machine apprend, certes, mais c'est surtout nous qui apprenons.

<footnote>$^{35}$ Dans ces deux cas, les réseaux neuronaux utilisent la fonction d'identité en tant que fonction de transfert.</footnote>

<footnote>$^{36}$ Au plan technique, la fonction de transfert peut être une fonction plus générale que l'identité, permettant ainsi de délinéariser le modèle.</footnote>