Uniformité de la densité informationnelle: le cas du redoublement du sujet (2023)

Abstract: Nous présentons les résultats d’une expérience visant à savoir si la densité d’information (ou de surprise) affecte le redoublement du sujet dans des conversations spontanées. En utilisant la version française de GPT, nous estimons la surprise lexicale du sujet NP étant donné un contexte précédent et vérifions si la surprise du sujet affecte son redoublement. L’analyse de régression à effet mixte montre que, en plus des facteurs qui ont été montrés comme affectant le redoublement du sujet dans la littérature, la prévisibilité du sujet nominal est un prédicteur important du non-redoublement. Les sujets nominaux moins prédictibles tendent à être redoublés par rapport à ceux qui sont plus prédictibles. Notre travail confirme l’intérêt de l’hypothèse de l’Uniformité de la densité informationnelle (UID) pour le français et illustre l’opérationalisation de la densité informationnelle à l’aide de grands modèles neuronaux de langage.

## introduction le redoublement du sujet à l'oral (1) est un phénomène fréquent en français, en particulier à l'oral, et il est conditionné par de nombreux paramètres linguistiques, qui vont de la phonologie à la structure informationnelle. ce phénomène se caractérise aussi par le fait qu'il n'apporte en général pas d'information nouvelle, les locuteurs ont donc le choix entre deux constructions sémantiquement comparables. ce genre de phénomène d'alternance, que l'on peut aussi observer à propos de l'ordre des mots par exemple (2-a) vs. (2-b), est un terrain privilégié pour étudier l'influence d'un principe cognitif qui s'est révélé pertinent dans de nombreuses études @xcite , le principe selon lequel les locuteurs choisissent la version qui uniformise la densité informationnelle de l'énoncé (hypothèse uid, définie et illustrée à la section 2). le travail que nous présentons dans cet article s'inscrit dans cette lignée, et il vise à étudier la façon dont ce principe peut contribuer à expliquer les choix des locuteurs. à partir de corpus oraux récents annotés, nous proposons un modèle de régression logistique intégrant tous les facteurs connus pour avoir une influence sur le redoublement du sujet. nous montrons que prendre en compte la dimension d'uniformité de la densité informationnelle augmente la capacité prédictive du modèle, ce qui conforte l'intérêt de cette hypothèse pour expliquer le phénomène. l'hypothèse de l'uniformité de la densité informationnelle (uniform information density, uid) @xcite pose que, dans la mesure où la grammaire le permet, les locuteurs distribuent l'information de la façon la plus homogène possible au sein d'une phrase. l'intuition qui sous-tend cette hypothèse est double : d'une part, la communication peut être vue comme une transmission d'information à travers un canal bruité et limité par nos ressources cognitives, ce qui peut donner lieu à des erreurs, voire à l'échec de la transmission du message initial. pour augmenter les chances de succès de la communication, il est préférable que l'information transmise à chaque unité de temps ne dépasse pas la limite de la capacité du canal (illustrée par une ligne noire dans les figures 1 et 2). d'autre part, une communication efficace suppose que le canal de communication ne soit pas sous-employé, et par conséquent qu'un niveau minimal d'informativité soit garanti. la figure 1 représente l'évolution de la densité informationnelle au cours du temps et illustre une communication proche de l'idéal selon uid, par constraste avec une utilisation sous-optimale illustrée à la figure 2. on se place ici dans le cadre de la théorie de l'information @xcite , qui permet de définir la densité informationnelle au moyen de la surprise pour chaque mot w i , définie comme le logarithme négatif de la probabilité de l'apparition d'un mot étant donné le contexte (équation 1). plusieurs études psycholinguistiques ont montré que les unités linguistiques présentant un niveau de surprise plus élevé sont associées à des difficultés de compréhension et nécessitent davantage de temps de lecture @xcite @xcite . dans ce qui suit, nous parlerons de façon interchangeable de surprise, d'informativité ou de niveau d'information : par hypothèse, une unité peu prédictible (ayant donc une probabilité faible), est associée à un niveau élevé de surprise, et est donc considérée comme informative. diverses études portant sur des phénomènes de variation à différents niveaux linguistiques ont permis de conforter l'hypothèse uid. à titre d'illustration et de manière non exhaustive : niveau phonétique : un son ou un mot ayant une surprise plus élevée est prononcé plus lentement au sein et à travers les langues @xcite ; niveau syntaxique : les mots fonctionnels tendent à être omis lorsque la structure qu'ils introduisent est plus prédictible (par exemple, omission de that dans les complétives @xcite et les relatives @xcite en anglais, omission d'article dans les titres de journaux en allemand (lemke et al., 2017)) ; niveau discursif : l'omission des connecteurs est plus fréquente lorsque la relation discursive est moins surprenante (torabi asr & demberg, 2015) ; entre autres. ces travaux montrent de façon convaincante l'importance de la densité informationnelle, mais la question de l'opérationalisation de l'hypothèse reste aujourd'hui encore délicate. deux aspects sont particulièrement discutés dans la littérature. d'une part, il faut se demander si le calcul se fait localement ou globalement (voir (meister et al., 2021) pour une discussion approfondie). d'autre part, et de façon plus cruciale encore, il s'agit de savoir par quel moyen on va estimer le niveau d'informativité d'une unité (typiquement un token). les études qui adoptent une approche de corpus utilisent souvent un modèle bigramme basé sur des fréquences (jaeger, 2010, 2011; lemke et al., 2017). d'autres études se basent sur des indices plus linguistiquement motivés, mais plus spécifiques. par exemple, torabi asr & demberg (2015) s'appuient sur la présence d'une négation dans la première phrase en tant qu'indicateur approximatif de la prédictibilité d'une relation causale avec la deuxième phrase. ces mesures prennent en considération un contexte assez limité et ne sont pas faciles à généraliser à d'autres phénomènes. ainsi, dans l'article de jaeger (2010) sur l'omission de that, la surprise d'une complétive est estimée par la fréquence de sous-catégorisation du verbe. par exemple, think « penser » est souvent suivi d'une complétive et donc l'apparition d'une complétive est peu surprenante après ce verbe. cependant, même pour un verbe donné, la probabilité de la complétive peut varier selon les contextes. par exemple, l'apparition d'une complétive après think est plus probable quand i think se trouve en position initiale de la phrase (3-a) que quand il se trouve en position non initiale (3-b). les modèles de langues sont largement utilisés dans des travaux de modélisation cognitive ou de psycholinguistique pour fournir des probabilités conditionnelles de mots étant donné le contexte gauche, afin de mesurer la corrélation entre la surprise des modèles et diverses mesures comportementales (temps de lecture, présence de difficultés de compréhension, mouvements occulaires, etc.). des corrélations ont été observées dans de nombreuses études utilisant différents types de modèles tels que n-grammes, gru (gated recurrent unit), lstm (long short-term memory) et plus récemment, gpt (generative pre-trained transformer) @xcite @xcite . cependant, ils sont rarement utilisés pour explorer le rôle de la densité informationnelle dans la variation syntaxique. de plus, les phénomènes de variation restent peu étudiés en français sous cette optique (mais voir @xcite sur l'omission de que en français montréalais). nous proposons d'utiliser un modèle de langue génératif, en l'occurrence gpt, pour estimer la probabilité (et donc l'information) des mots, afin de contribuer à cette ligne de recherche en français, sur un phénomène de redondance syntaxique, le redoublement du sujet.