la minimisation du risque sur les entités et la divergence sur les motifs, nous montrons une augmentation significative de la précision sur les entités en conservant un gain important en accuracy sur les motifs d'appels et une dégradation légère en terme de rappel.

<table><caption>TABLE 6 – R1,R2,RL : ROUGE; CT-Acc : Prédiction des motifs depuis les synopsis (ref=oracle synopsis); NE-R et NE-P : Le rappel et la précision des entités des résumés générés par rapport à la référence</caption><thead><tr><th></th><th>R1 ↑</th><th>R2 ↑</th><th>RL ↑</th><th>CT-Acc ↑</th><th>NE-R ↑</th><th>NE-P ↑</th><th>NE-F1 ↑</th></tr></thead><tbody><tr><td colspan="8">Baseline model - BARThez finetuné pour générer les synopsis</td></tr><tr><td>BEAM</td><td>34.04</td><td>14.91</td><td>28.83</td><td>76.4</td><td>0.46</td><td>0.57</td><td>0.51</td></tr><tr><td>min NEHR</td><td>34.12</td><td>14.13</td><td>27.79</td><td>73.6</td><td><strong>0.50</strong></td><td>0.58</td><td><strong>0.54</strong></td></tr><tr><td>min D<sub>KL</sub>(G || Conv)</td><td>33.99</td><td>14.23</td><td>28.13</td><td><strong>82.9</strong></td><td>0.43</td><td>0.54</td><td>0.48</td></tr><tr><td>min NEHR + D<sub>KL</sub>(G || Conv)</td><td>33.70</td><td>14.57</td><td>28.04</td><td>82.1</td><td>0.45</td><td><strong>0.60</strong></td><td>0.51</td></tr><tr><td colspan="8">Pipeline<sub>M</sub> - baseline + motif prédit en entrée, le synopsis en sortie</td></tr><tr><td>BEAM</td><td>34.09</td><td>14.79</td><td>28.99</td><td>76.4</td><td><strong>0.47</strong></td><td>0.49</td><td>0.48</td></tr><tr><td>min NEHR</td><td>34.18</td><td>14.69</td><td>28.52</td><td>75.7</td><td><strong>0.47</strong></td><td>0.55</td><td><strong>0.51</strong></td></tr><tr><td>min D<sub>KL</sub>(G || Conv)</td><td>33.85</td><td>14.60</td><td>28.87</td><td><strong>85.7</strong></td><td>0.42</td><td>0.53</td><td>0.47</td></tr><tr><td>min NEHR + D<sub>KL</sub>(G || Conv)</td><td>33.32</td><td>14.48</td><td>28.58</td><td>84.3</td><td>0.45</td><td><strong>0.57</strong></td><td>0.50</td></tr></tbody></table>

# 5 Discussion et Conclusion

Nous avons examiné l'impact de deux modèles basés sur le motif d'appel pour améliorer la représentation sémantique des résumés générés. Bien que les métriques d'évaluation automatique comme ROUGE montrent des résultats similaires à la baseline, une évaluation humaine révèle que les résumés Pipeline_M ont été choisi comme plus fidèle et informative en comparaison aux systèmes Baseline et Multitache_M.

L'utilisation de KL divergence comme critère de sélection des résumés montre des promesses, avec une augmentation d'environ 10% de l'accuracy (CT-Acc) lorsque le modèle Syn-M-classif est appliqué aux résumés générés. Cependant, certains motifs d'appel n'ont pas été suffisamment représentés dans le jeu de données, suggérant la nécessité d'une étude plus approfondie pour améliorer la prédiction du motif et, par conséquent, la qualité du résumé associé.

La combinaison de la KL divergence sur la conversation et du NEHR comme critère de sélection améliore la précision du modèle sur les entités nommées par rapport à la référence. Cependant, une évaluation manuelle plus poussée est nécessaire pour confirmer l'efficacité de ce critère combiné en termes de fidélité et d'informativité. Étant donné que toutes les méta-données du corpus n'ont pas été exploitées, nous envisageons d'intégrer d'autres aspects, notamment la structure de la conversation, pour continuer à améliorer la fidélité des résumés générés.

Les expériences ont été menées sur le corpus DECODA en utilisant le modèle BARThez, pre-entraîné sur du français. Le choix du corpus a été motivé par sa richesse en terme d'annotations mais également parce qu'il est un corpus enregistré dans un cas réel; il a donc des conversations naturelles. Notre méthodologie a été utilisée dans ce cas précis mais nous croyons que les conclusions seront les mêmes quelques soit le corpus ou le modèle qui sera utilisé.

De plus, on peut envisager d'utiliser le corpus X-RiSaWoz (Moradshahi et al., 2023) pour nos expériences. L'inconvénient de ce corpus est qu'il n'est pas issu de conversations naturelles et qu'il ne possède pas de résumé associé à chaque conversation. Néanmoins, il s'agit d'un grand corpus qui peut être utiliser suivant notre méthodologie grâce à l'usage des LLMs pour la génération de résumés. C'est une piste que nous souhaiterons explorer.
# Remerciements

Ces travaux ont bénéficié d'un accès aux moyens de calcul de l'IDRIS au travers de l'allocation de ressources 2021-AD011012525 attribuée par GENCI.

# Références

AKANI E. (2023). Étude de la fidélité des entités dans les résumés par abstraction. In M. CANDITO, T. GERALD & J. G. MORENO, Éds., *Actes de CORIA-TALN 2023. Actes des 16e Rencontres Jeunes Chercheurs en RI (RJCRI) et 25e Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RÉCITAL)*, p. 21–36, Paris, France : ATALA.

AKANI E., FAVRE B., BECHET F. & GEMIGNANI R. (2023). Reducing named entity hallucination risk to ensure faithful summary generation. In C. M. KEET, H.-Y. LEE & S. ZARRIESS, Éds., *Proceedings of the 16th International Natural Language Generation Conference*, p. 437–442, Prague, Czechia : Association for Computational Linguistics. DOI: 10.18653/v1/2023.inlg-main.33.

BECHET F., MAZA B., BIGOUROUX N., BAZILLON T., EL-BÈZE M., DE MORI R. & ARBILLOT E. (2012). DECODA : a call-centre human-human spoken conversation corpus. In *Proceedings of the Eighth International Conference on Language Resources and Evaluation (LREC’12)*, p. 1343–1347, Istanbul, Turkey : European Language Resources Association (ELRA).

CAO Z., WEI F., LI W. & LI S. (2018). Faithful to the original : Fact aware neural abstractive summarization. *Proceedings of the AAAI Conference on Artificial Intelligence*, **32**(1). DOI: 10.1609/aaai.v32i1.11912.

CARLETTA J., ASHBY S., BOURBAN S., FLYNN M., GUILLEMOT M., HAIN T., KADLEC J., KARAISKOS V., KRAAIJ W., KRONENTHAL M., LATHOUD G., LINCOLN M., MASSON A. L., MCCOWAN I., POST W., REIDSMA D. & WELLNER P. D. (2005). The ami meeting corpus : A pre-announcement. In *Machine Learning for Multimodal Interaction*.

DURMUS E., HE H. & DIAB M. (2020). FEQA : A question answering evaluation framework for faithfulness assessment in abstractive summarization. In *Proceedings of the 58th Annual Meeting of the ACL*, p. 5055–5070, Online : ACL. DOI: 10.18653/v1/2020.acl-main.454.

FABBRI A., WU C.-S., LIU W. & XIONG C. (2022). QAFactEval : Improved QA-based factual consistency evaluation for summarization. In M. CARPUAT, M.-C. DE MARNEFFE & I. V. MEZA RUIZ, Éds., *Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies*, p. 2587–2601, Seattle, United States : Association for Computational Linguistics. DOI: 10.18653/v1/2022.naacl-main.187.

FALKE T., RIBEIRO L. F. R., UTAMA P. A., DAGAN I. & GUREVYCH I. (2019). Ranking generated summaries by correctness : An interesting but challenging application for natural language inference. In *Proceedings of the 57th Annual Meeting of the ACL*, p. 2214–2220, Florence, Italy : ACL. DOI: 10.18653/v1/P19-1213.

FAN A., LEWIS M. & DAUPHIN Y. (2018). Hierarchical neural story generation. In *Proceedings of the 56th Annual Meeting of the ACL (Volume 1: Long Papers)*, p. 889–898, Melbourne, Australia : ACL. DOI: 10.18653/v1/P18-1082.

GLIWA B., MOCHOL I., BIESEK M. & WAWER A. (2019). SAMSum corpus : A human-annotated dialogue dataset for abstractive summarization. In *Proceedings of the 2nd Workshop on New Frontiers in Summarization*, p. 70–79, Hong Kong, China : ACL. DOI: 10.18653/v1/D19-5409.

GOO C.-W. & CHEN Y.-N. (2018). Abstractive dialogue summarization with sentence-gated modeling optimized by dialogue acts. In *2018 IEEE Spoken Language Technology Workshop (SLT)*, p. 735–742. DOI: 10.1109/SLT.2018.8639531.

HOLTZMAN A., BUYS J., DU L., FORBES M. & CHOI Y. (2020). The curious case of neural text degeneration. In *International Conference on Learning Representations*.
JANIN A., BARON D., EDWARDS J., ELLIS D., GELBART D., MORGAN N., PESKIN B., PFAU T., SHRIBERG E., STOLCKE A. & WOOTERS C. (2003). The icsi meeting corpus. In *2003 IEEE International Conference on Acoustics, Speech, and Signal Processing, 2003. Proceedings. (ICASSP '03)*., volume 1, p. I–I. DOI: 10.1109/ICASSP.2003.1198793.

JI Z., LEE N., FRIESKE R., YU T., SU D., XU Y., ISHII E., BANG Y. J., MADOTTO A. & FUNG P. (2023). Survey of hallucination in natural language generation. **55**(12). DOI: 10.1145/3571730.

KAMAL EDDINE M., TIXIER A. & VAZIRGIANNIS M. (2021). BARThez : a skilled pretrained French sequence-to-sequence model. In *Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing*, p. 9369–9390, Online and Punta Cana, Dominican Republic : ACL. DOI : 10.18653/v1/2021.emnlp-main.740.

KOAY J. J., ROUSTAI A., DAI X., BURNS D., KERRIGAN A. & LIU F. (2020). How domain terminology affects meeting summarization performance. In *Proceedings of the 28th International Conference on Computational Linguistics*, p. 5689–5695, Barcelona, Spain (Online) : International Committee on Computational Linguistics. DOI : 10.18653/v1/2020.coling-main.499.

KULLBACK S. & LEIBLER R. A. (1951). On Information and Sufficiency. *The Annals of Mathematical Statistics*, **22**(1), 79–86. Publisher : Institute of Mathematical Statistics.

LEE J., KIM D., SARIKAYA R. & KIM Y.-B. (2018). Coupled representation learning for domains, intents and slots in spoken language understanding. In *2018 IEEE Spoken Language Technology Workshop (SLT)*, p. 714–719 : IEEE.

LEWIS M., LIU Y., GOYAL N., GHAZVININEJAD M., MOHAMED A., LEVY O., STOYANOV V. & ZET-TLEMOYER L. (2020). BART : Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In *Proceedings of the 58th Annual Meeting of the ACL*, p. 7871–7880, Online : ACL. DOI : 10.18653/v1/2020.acl-main.703.

LIN C.-Y. (2004). ROUGE : A package for automatic evaluation of summaries. In *Text Summarization Branches Out*, p. 74–81, Barcelona, Spain : ACL.

LUO Z., XIE Q. & ANANIADOU S. (2023). Chatgpt as a factual inconsistency evaluator for text summarization.

MARTIN L., MULLER B., ORTIZ SUÁREZ P. J., DUPONT Y., ROMARY L., DE LA CLERGERIE É., SEDDAH D. & SAGOT B. (2020). CamemBERT : a tasty French language model. In *Proceedings of the 58th Annual Meeting of the ACL*, p. 7203–7219, Online : ACL. DOI : 10.18653/v1/2020.acl-main.645.

MAYNEZ J., NARAYAN S., BOHNET B. & MCDONALD R. (2020). On faithfulness and factuality in abstractive summarization. In *Proceedings of the 58th Annual Meeting of the ACL*, p. 1906–1919, Online : ACL. DOI : 10.18653/v1/2020.acl-main.173.

MORADSHAHI M., SHEN T., BALI K., CHOUDHURY M., DE CHALENDAR G., GOEL A., KIM S., KODALI P., KUMARAGURU P., SEMMAR N., SEMNANI S., SEO J., SESHADRI V., SHRIVASTAVA M., SUN M., YADAVALLI A., YOU C., XIONG D. & LAM M. (2023). X-RiSAWOZ : High-quality end-to-end multilingual dialogue datasets and few-shot agents. In A. ROGERS, J. BOYD-GRABER & N. OKAZAKI, Éds., *Findings of the Association for Computational Linguistics : ACL 2023*, p. 2773–2794, Toronto, Canada : Association for Computational Linguistics. DOI : 10.18653/v1/2023.findings-acl.174.

NAN F., NALLAPATI R., WANG Z., NOGUEIRA DOS SANTOS C., ZHU H., ZHANG D., MCKEOWN K. & XIANG B. (2021). Entity-level factual consistency of abstractive text summarization. In *Proceedings of the 16th Conference of the European Chapter of the ACL : Main Volume*, p. 2727–2733, Online : ACL. DOI : 10.18653/v1/2021.eacl-main.235.

TANG X., NAIR A., WANG B., WANG B., DESAI J., WADE A., LI H., CELIKYILMAZ A., MEHDAD Y. & RADEV D. (2022). CONFIT : Toward faithful dialogue summarization with linguistically-informed contrastive fine-tuning. In *Proceedings of the 2022 Conference of the North American Chapter of the ACL : Human Language Technologies : ACL*. DOI : 10.18653/v1/2022.nacl-main.415.

TRIONE J. (2014). Extraction methods for automatic summarization of spoken conversations from call centers (méthodes par extraction pour le résumé automatique de conversations parlées provenant de centres d'appels) [in French]. In *Proceedings of TALN 2014 (Volume 4 : RECITAL - Student Research Workshop)*, p. 104–111, Marseille, France : Association pour le Traitement Automatique des Langues.
VASWANI A., SHAZEER N., PARMAR N., USZKOREIT J., JONES L., GOMEZ A. N., KAISER L. U. & POLOSUKHIN I. (2017). Attention is all you need. In I. GUYON, U. V. LUXBURG, S. BENGIO, H. WALLACH, R. FERGUS, S. VISHWANATHAN & R. GARNETT, Éds., *Advances in Neural Information Processing Systems*, volume 30: Curran Associates, Inc.

WANG B., ZHANG C., ZHANG Y., CHEN Y. & LI H. (2022). Analyzing and evaluating faithfulness in dialogue summarization. In *Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing*, p. 4897–4908, Abu Dhabi, United Arab Emirates: ACL. DOI: 10.18653/v1/2022.emnlp-main.325.

ZHAO L., ZHENG F., HE K., ZENG W., LEI Y., JIANG H., WU W., XU W., GUO J. & MENG F. (2021). Todsum: Task-oriented dialogue summarization with state tracking.

ZHOU Y., PORTET F. & RINGEVAL F. (2022). Effectiveness of French language models on abstractive dialogue summarization task. In *Proceedings of the Thirteenth Language Resources and Evaluation Conference*, p. 3571–3581, Marseille, France: European Language Resources Association.

# A Corpus DECODA

## A.1 Example du corpus DECODA

**DIALOGUE** : *autre*: NNAAMMEE va vous répondre *autre*: NNAAMMEE bon-
jour *appelant*: bonjour monsieur *appelant*: monsieur j'ai un renseignement à vous
demander *autre*: oui *appelant*: j'ai grand garçon handicapé mental qui a une un
coupon Améthyste *autre*: hm *appelant*: bon évidemment ça ne dure pas un an il se
démagnétise et avant j'allais euh trente rue Championnet *autre*: oui *appelant*: le faire
changer *autre*: hm *appelant*: mais leur numéro de téléphone a changé auriez vous
l'amabilité de lu de me donner le numéro le nouveau numéro *autre*: alors VGC à
Championnet c'est le zéro un cinquante-huit *appelant*: oui *autre*: soixante-dix-sept
trois fois *appelant*: soixante-dix-sept trois fois *autre*: hm *appelant*: très bien je
vous en remercie *appelant*: monsieur *autre*: bonne *autre*: journée madame au revoir
*appelant*: au revoir

**RÉSUMÉ** : numéro VGC pour faire changer carte Améthyste démagnétisée

*autre*: va vous répondre *conseiller*: bonjour *appelant*: oui allô bonjour *appelant*: je
vous appelle car euh j'ai perdu mon porte-monnaie dans le... dans le train, et ça serait
pour savoir quelles sont, euh comment on fait en fait ? *conseiller*: oui quel euh, quel
train ? *appelant*: euh c'était le train pour aller à Montreau *conseiller*: oui il faut voir
avec la SNCF madame *appelant*: d'accord *appelant*: je vous remercie *conseiller :
mais je vous en prie *appelant*: au revoir, bonne journée *conseiller*: bonne journée, au
revoir

**RÉSUMÉ** : Une appelante a perdu son porte-monnaie en Gare pour aller à Montreau. Le conseiller lui rappelle donc qu'il s'agit d'une requête à adresser à la SNCF et non à la RATP.

<caption>TABLE 7 – Différence entre les parties 1 (Premier exemple : 20091112_RATP_SCD_0152) et 3 (deuxième exemple : 20110704_RATP_SCD_0018) de DECODA.</caption>
## A.2 Distribution des motifs d'appel de DECODA

Cette annexe présente la distribution des motifs d'appel dans notre jeu de données. On distingue 15 motifs d'appel selon la demande de l'appelant. On peut en citer : ITNR (demande d'itinéraire), OBJT (Objet trouvé/perdu) NVGO (Pass navigo), etc.

<figure><img src="image_107.png" /><figcaption>FIGURE 1 – Distribution du motif d'appel de DECODA pour le jeu de données présenté au tableau 1</figcaption></figure>
# Auto-correction et oracle dynamique : certains effets n'apparaissent qu'à taille réduite

Fang Zhao Timothée Bernard

Laboratoire de linguistique formelle, Université Paris Cité

fang.zhao@etu.u-paris.fr, timothee.bernard@u-paris.fr

## RÉSUMÉ

Nous étudions l'effet de la capacité d'auto-correction, de l'utilisation d'un oracle dynamique et de la taille du modèle, sur la performance d'un analyseur joint (morpho)syntaxe/sémantique. Nous montrons qu'avec un modèle de taille réduite, la possibilité d'auto-correction est nuisible en sémantique mais bénéfique en syntaxe, tandis que l'utilisation d'un oracle dynamique augmente la performance en sémantique. Nous constatons également que ces effets sont souvent atténués pour des modèles de taille plus importante.

## ABSTRACT

Self-correction and dynamic oracle : some effects only appear at reduced size

We study the effect of the possibility of self-correction, the use of a dynamic oracle, and model size, on the performance of a joint (morpho)syntax/semantics parser. We show that with a reduced model size, the possibility of self-correction is detrimental to semantics performance but beneficial for syntax performance, and that the use of a dynamic oracle increases semantic performance. We also find that these effects are often mitigated for larger models.

MOTS-CLÉS : auto-correction, oracle dynamique, taille des modèles, syntaxe, sémantique.

KEYWORDS: self-correction, dynamique oracle, model size, syntax, semantics.

## 1 Introduction

Nous avons tous connu cette situation où, en lisant une phrase, nous avons initialement mal saisi son sens. Cependant, nous sommes également capable de nous corriger rapidement lorsque nous réalisons nos erreurs. Cette capacité d'auto-correction chez les humains soulève une question intéressante : les performances de systèmes du Traitement Automatique des Langues (TAL) pourraient-elles être améliorées par l'adoption de mécanismes d'auto-correction ?

Lee et al. (2018) et Lyu et al. (2019) ont montré que le raffinement itératif, un mécanisme d'auto-correction, pouvaient augmenter la performance de systèmes de traduction automatique et d'étiquetage des rôles sémantiques (Semantic Role Labeling, SRL), respectivement. Dary (2022) a étudié un mécanisme de retour arrière permettant une ré-analyse partielle dans le cadre d'un analyseur incrémental et a montré que ce mécanisme augmentait la performance du système en étiquetage morpho-syntaxique et analyse syntaxique en dépendances, et ce pour différentes langues. En revanche, dans un travail précédent (Zhao, 2022), nous avons montré que les corrections n'apportaient pas de gain de performance au système de transitions plus exotique de l'analyseur joint de Bernard (2021). Nous faisons

<figure><img src="image_108.png" /></figure>
ici l'hypothèse que la taille du réseau de neurones utilisé (c.-à-d. le nombre de paramètres du modèle) serait liée au fait que la capacité d'auto-correction n'apporte pas toujours de gain en performance ; la capacité d'auto-correction serait un atout pour un modèle de petite taille, atout dont l'impact s'amenuiserait avec la taille du modèle.

Dans ce contexte, notre étude se penche sur l'effet de différents facteurs sur la performance du système de Bernard (2021). Plus précisément, nous étudions non seulement la liberté laissée au système d'effectuer des corrections, mais aussi le type d'oracle utilisé à l'entraînement, en plus de la variation de la taille du réseau. Nous montrons que pour un petit modèle, alors qu'un oracle dynamique peut augmenter la performance dans la plupart des cas, la possibilité d'auto-correction est bénéfique ou nuisible selon les tâches. Nous constatons également qu'en augmentant la taille des modèles, les effets sont atténués voire disparaissent.

Nous souhaitons souligner le fait que le sujet étudié nous amène à travailler avec des modèles de taille réduite par rapport à l'état de l'art et ne pouvant donc pas rivaliser en termes de performance. Ce genre de modèles est cependant utile lorsque les ressources de calcul sont limitées.

## 2 Revue de la littérature

On désigne par *auto-correction* d'un analyseur linguistique toute action modifiant le résultat de ses décisions antérieures. Le raffinement itératif (Lee *et al.*, 2018; Lyu *et al.*, 2019) est un mécanisme d'auto-correction : un premier module est utilisé pour produire une prédiction initiale, puis un second module calcule une nouvelle prédiction fondée sur la prédiction initiale. Cette nouvelle prédiction peut ensuite être utilisée comme entrée pour une itération ultérieure du processus de raffinement. Cette technique a été utilisée notamment en traduction automatique Lee *et al*. (2018) et en étiquetage des rôles sémantiques Lyu *et al*. (2019).

Dary (2022) introduit un analyseur incrémental par transition. Cet analyseur lit le texte brut de gauche à droite, caractère par caractère, effectuant de manière jointe les tâches de segmentation (en mots et en phrase), d'étiquetage morpho-syntaxique, de lemmatisation et d'analyse syntaxique en dépendances. Un mécanisme de correction y est implémenté sous forme de retour arrière. Concrètement, en lisant le texte, lorsque le modèle reçoit une information qu'il interprète comme incompatible avec l'analyse actuelle, le modèle retourne à une certaine position précédemment traversée et effectue de nouveau l'analyse depuis cette dernière position — mais en gardant en mémoire certaines des informations acquises entre-temps.

Bernard (2021) introduit MTI-tagsynsem, un système d'analyse jointe de la morpho-syntaxe, de la syntaxe (en dépendances) et de la sémantique (en dépendances) intégrant des possibilités d'auto-correction directement dans son système de transition. Zhao (2022) montre cependant que ce système<fnref n="1" /> n'effectue que très peu de corrections lorsqu'il est entraîné avec un *oracle statique* standard, c.-à-d. lorsque le système est entraîné à reproduire les annotations de référence sur des trajectoires sans erreur (et ne contenant donc aucune correction). Zhao s'intéresse alors à la possibilité de substituer l'oracle statique par un *oracle dynamique* (Goldberg & Nivre, 2012). Concrètement, un oracle dynamique calcule à chaque étape quelles sont les actions admissibles — dans notre cas, les actions qui introduisent des prédictions correctes et/ou corrigent des prédictions incorrectes — et si les

<footnote n="1">1. Ou plus précisément, une variante n'effectuant que les tâches d'étiquetage morpho-syntaxique et d'analyse sémantique en dépendances (donc, sans l'analyse syntaxique).</footnote>
actions dont la probabilité est maximisée sont toujours des actions admissibles, les actions définissant
la trajectoire explorée à l'entraînement peuvent être autant des actions admissibles (comme il est
trivialement le cas avec un oracle statique) que des actions non-admissibles prédites par le modèle
(ce qui introduit donc des erreurs dans la trajectoire, ensuite corrigées si le système de transition le
permet — ce qui est le cas ici)<fnref n="2" />. Zhao (2022) montre que le système entraîné avec l'oracle dynamique
apprend effectivement à effectuer des corrections, mais que la performance du système n'est pas
significativement plus haute qu'avec un oracle statique.

Les biais inductifs d'un modèle d'apprentissage sont les hypothèses impliquées durant le proces-
sus d'apprentissage (Zhao et al., 2018). Les biais inductifs ont été longtemps considérés comme
nécessaires pour qu'un modèle puisse généraliser au-delà des exemples d'entraînement (Mitchell,
1980). Cependant, Bachmann et al. (2023) ont montré qu'un manque de biais inductifs pouvait être
compensé par une augmentation de la taille du modèle. Ils montrent qu'à grandes tailles, les modèles
construits autour d'un simple perceptron multicouche (multilayer perceptron; MLP) peuvent atteindre
sur certaines tâches classiques de vision (telles que CIFAR10 et CIFAR100; Krizhevsky, 2009) une
performance similaire à ResNet18 (He et al., 2016), un modèle fondé sur une architecture présentant
de plus forts biais inductifs adaptés aux tâches de vision. Dans le même ordre d'idée, nous avançons
l'hypothèse que l'absence de gain de performance observée en TAL par Zhao (2022) entre un système
qui s'auto-corrige et une version sans auto-correction peut être attribuée à la taille du réseau utilisé,
suffisamment importante pour atténuer les effets des possibilités d'auto-correction, et qu'un gain de
performance pourrait être observé à taille plus faible.

3 Données

Nous travaillons avec une partie des données anglaises du jeu de données SemEval 2015 Task 18 (Oepen et al., 2015). Ce jeu de données contient des annotations (morpho-)syntaxiques et sémantiques notamment pour les textes du Penn Treebank (PTB; Marcus et al., 1993). Les annotations en morpho-syntaxe sont directement celles du du PTB. Pour la syntaxe, nous utilisons les arbres obtenus par conversion en dépendances Stanford Basic (De Marneffe & Manning, 2008) des arbres de constituants du PTB <fnref n="3" />. Les annotations sémantiques, le cœur de ce jeu de données centré sur l'analyse sémantique en dépendances (Semantic Dependency Parsing, SDP), sont des graphes acycliques orientés (Directed Acyclic Graph, DAG). Les noeuds de ces graphes correspondent aux tokens de la phrase et reçoivent non pas nécessairement un unique arc entrant, mais possiblement zéro ou plusieurs. En outre, chaque phrase peut avoir de zéro à plusieurs noeuds annotés comme prédicat sommet (top predicate) <fnref n="4" />. Alors que le jeu de données de SemEval 2015 Task 18 propose pour chaque phrase jusqu'à trois graphes sémantiques, issus de trois formalismes distincts, nous nous servons uniquement des annotations en DELPH-IN MRS-Derived Bi-Lexical Dependencies (DM; Oepen et al., 2014) dans nos expériences.

<footnote n="2">2. L'idée d'explorer ainsi des trajectoires imparfaites a ensuite été reprise pour définir l'échantillonage programmé (scheduled sampling; Bengio et al., 2015).</footnote>

<footnote n="3">3. Ce jeu de données contient 33964 et 1692 phrases respectivement pour les ensembles d'entraînement et de développement. Nous réservons l'ensemble de test pour d'éventuelles études futures visant l'état de l'art, ce qui n'est pas l'objectif de cette étude.</footnote>

<footnote n="4">4. La notion de prédicat sommet dans un graphe sémantique est comparable à celle de racine dans un arbre syntaxique. Sa définition précise varie d'un formalisme à l'autre (Oepen et al., 2015).</footnote>
# 4 Modèle

Nous décrivons ici la variante du système MTI-tagsynsem que nous utilisons dans cette étude. Contrairement à un système par transition usuel, ce système n'analyse pas son entrée de gauche à droite et ne repose pas sur une *pile* (*stack*) ni un *tampon* (*buffer*). À chaque étape de calcul (c.-à-d., à chaque transition), *pour chaque token* de la phrase, une action est choisie depuis un ensemble d'actions intégrant toutes les tâches (étiquetage morpho-syntaxique, analyse syntaxique en dépendances, analyse sémantique en dépendances); ces actions sont principalement des actions d'étiquetage ou de sélection de tête (Zhang et al., 2017).

Nous détaillons ici le répertoire d'actions utilisé dans cette étude. Afin de faciliter la discussion, nous utilisons les notations $j \underset{l}{\to} i$ pour désigner une dépendance (syntaxique ou sémantique) de relation $l$ depuis $j$ (gouverneur) vers $i$ (dépendant), et $j \to i$ pour désigner une dépendance de relation quelconque depuis $j$ vers $i$. Pour un token (de position) $i$ dans la phrase, les actions possibles sont :

- TAG-t, qui ajoute l'étiquette morpho-syntaxique t au token i, et TAG[ERASE], qui supprime l'étiquette de i si elle existe;

- SYN-j-l, qui ajoute la dépendance syntaxique $j \underset{l}{\to} i$, et SYN-j[ERASE], qui supprime la dépendance syntaxique $j \to i$ si elle existe;

- ROOT, qui détermine le token i comme étant la racine syntaxique, et ROOT[ERASE], qui détermine i comme n'étant pas la racine;

- SEM-j-l, qui ajoute la dépendance sémantique $j \underset{l}{\to} i$, et SEM-j[ERASE], qui supprime la dépendance sémantique $j \to i$ si elle existe;

- TOP_PRED, qui détermine le token i comme étant un prédicat sommet (top predicate), et TOP_PRED[ERASE], qui détermine i comme n'étant pas un prédicat sommet;

- HALT qui n'a pas d'autre effet que de provoquer la fin de l'analyse lorsque cette action est simultanément choisie pour chaque token <fnref n="5" />.

Si le système choisit pour un token une action ayant pour effet l'ajout d'une annotation alors que celle-ci existe déjà, ou la suppression d'une annotation alors que celle-ci n'existe pas, l'effet de cette action est nul. Et si une action choisie par le système ajoute une annotation incompatible avec des annotations antérieures, celles-ci sont effacées <fnref n="6" />. Nous détaillons ci-dessous toutes les incompatibilités dans le système utilisé. Pour un token (de position) $i$ dans la phrase, lorsque :

a. une action TAG-t est choisie, si une étiquette morpho-syntaxique $t' \neq t$ a été prédite pour i, alors cette prédiction est supprimée;

b. une action SYN-j-l est choisie, si 1) une dépendance syntaxique $k \to i$ a été prédite ou si 2) $i$ a été prédit comme racine syntaxique, alors cette prédiction est supprimée;

c. une action ROOT est choisie, si une dépendance syntaxique $k \to i$ a été prédite et/ou si un token $j \neq i$ a été prédit comme racine syntaxique, alors ces prédictions sont supprimées;

d. une action SEM-j-l est choisie, si une dépendance sémantique $j \underset{l'}{\to} i$ avec $l' \neq l$ a été prédite, alors cette prédiction est supprimée.

Nous illustrons ces incompatibilités avec les schémas en figure 1.

<footnote n="5">5. L'analyse est aussi arrêtée automatiquement après un certain nombre d'étapes. Dans tous les cas, aucun mécanisme ne vérifie que les structures d'annotations prédites (séquence d'étiquettes morpho-syntaxiques et arbre de dépendances syntaxiques) sont complètes au moment de l'arrêt.</footnote>

<footnote n="6">6. Cela est aussi le cas lorsque le système choisit des actions incompatibles entre elles au sein d'une même étape. En effet, les actions choisies pour les différents tokens lors d'une même étape ne sont pas exécutées en même temps, mais dans un ordre aléatoire. Si deux d'entre elles sont en conflit, la dernière effacera l'annotation ajoutée par la première.</footnote>
<figure><img src="image_109.png" /><figcaption>FIGURE 1 – Illustrations des cas d'incompatibilité. Une boîte à droite d'un token indique une éti-
quette morpho-syntaxique, les annotations au dessus du texte correspondent à la structure syntaxique
et les annotations en dessous du texte à la structure sémantique. Les *annotations supprimées* durant
l'étape illustrée sont marquées en rouge et avec une ligne de suppression. Les *annotations ajoutées*
durant l'étape illustrée sont marquées en bleue.</figcaption></figure>

Ce système nous intéresse parce qu’il intègre des possibilités d’auto-correction de manière parti-
culièrement légère dans le sens où (i) il n’existe pas de distinctions entre deux types de phases de
prédiction comme avec le raffinement itératif et (ii) la définition d’un oracle dynamique est simple, ce
qui permet d’effectuer un apprentissage classique, sans nécessité de recourir à de l’apprentissage par
renforcement comme avec le système de Dary et al. (2022). De plus, le fait que ce système effectue
de manière jointe différentes tâches classiques du TAL permet d’étudier l’incidence de la capacité
d’auto-correction avec plus de globalité.

5 Incidence de la capacité d'auto-correction et du type d'oracle

Comme mentionné précédemment, Zhao (2022) montre qu’un modèle MTI-tagsem (une variante
de MTI-tagsynsem n’effectuant pas d’analyse syntaxique) avec auto-correction a une performance
similaire à celle d’une version sans auto-correction, c.-à-d. ne différant que sur le fait que lorsqu’une
action est en conflit avec des annotations déjà prédites, les effets de cette action sont ignorés. Se
pourrait-il que la taille du réseau soit assez importante pour avoir compensé le gain en performance
du système que l’auto-correction aurait pu apporter ? Afin de répondre à cette question, nous étudions
deux séries de modèles, se distinguant par leur taille : GRAND avec ≈ 2,7 × 10⁶ et PETIT avec
≈ 1,7 × 10⁶ paramètres entraînables<fnref n="7" />.

Comme Zhao (2022), nous étudions deux modèles : un premier modèle sans capacité d'auto-correction et entraîné avec oracle statique (OS-CORR) et un second modèle avec auto-correction et donc entraîné avec oracle dynamique (OD+CORR). De plus, afin de nous assurer que la différence en performance des deux modèles — si une telle différence apparaît — vient de l'auto-correction et non pas de l'oracle dynamique, nous ajoutons dans la comparaison un troisième modèle sans auto-correction mais entraîné avec oracle dynamique (OD-CORR) <fnref n="8" />. Notre hypothèse est qu'en dessous d'une certaine taille de modèle, les effets de la capacité d'auto-correction commencent à apparaître : le modèle avec auto-correction (OD+CORR) aura une performance plus élevée que celle des modèles sans

<footnote n="7">7. Ce comptage exclut les représentations lexicales vectorielles (word embeddings) pré-entraînées. Nous utilisons les vecteurs GloVe 6B (Pennington et al., 2014) de dimension 100 et ne conservons que les vecteurs des mots apparaissant dans l'ensemble d'entraînement. Ces représentations lexicales représentent ≈ 3 × 10⁶ paramètres entraînables supplémentaires.</footnote>

<footnote n="8">8. L'oracle dynamique de ce modèle ne calcule comme actions admissibles que les actions non-correctives, c.-à-d., qui sont compatibles avec toutes les annotations actuelles.</footnote>
auto-correction (OS-CORR et OD-CORR).

<table><caption>TABLE 1 – Performance en F1(précision / rappel) / taux d'analyse. SEM : analyse sémantique en dépendances, SYN : analyse syntaxique en dépendances, TAG : étiquetage morpho-syntaxique. Les résultats sont calculés sur la moyenne de neuf exécutions pour chaque modèle, évalué sur l'ensemble de développement.</caption><thead><tr><th></th><th>Taille</th><th>OS-CORR</th><th>OD-CORR</th><th>OD+CORR</th></tr></thead><tbody><tr><td rowspan="2">SEM</td><td>PETIT</td><td>0,870(0,903/0,839) / 0,929</td><td>0,891(0,893/0,889) / 0,995</td><td>0,888(0,904/0,871) / 0,964</td></tr><tr><td>GRAND</td><td>0,897(0,902/0,891) / 0,988</td><td>0,900(0,901/0,900) / 0,998</td><td>0,893(0,905/0,882) / 0,974</td></tr><tr><td rowspan="2">SYN</td><td>PETIT</td><td>0,899(0,899/0,899) / 0,999</td><td>0,899(0,899/0,899) / 0,999</td><td>0,906(0,913/0,900) / 0,986</td></tr><tr><td>GRAND</td><td>0,909(0,909/0,909) / 1,000</td><td>0,907(0,907/0,907) / 1,000</td><td>0,910(0,915/0,905) / 0,989</td></tr><tr><td rowspan="2">TAG</td><td>PETIT</td><td>0,969(0,969/0,970) / 1,000</td><td>0,969(0,969/0,969) / 1,000</td><td>0,968(0,970/0,967) / 0,997</td></tr><tr><td>GRAND</td><td>0,970(0,970/0,970) / 1,000</td><td>0,970(0,970/0,970) / 1,000</td><td>0,970(0,971/0,969) / 0,997</td></tr></tbody></table>

<table><caption>TABLE 2 – Analyse de corrections pour le modèle OD+CORR. SEM : analyse sémantique en dépendances, SYN : analyse syntaxique en dépendances, TAG : étiquetage morpho-syntaxique. L'évaluation des 1ères annotations : F1(précision / rappel) / taux d'analyse. Les résultats sont calculés sur la moyenne de neuf exécutions, évalués sur l'ensemble de développement.</caption><thead><tr><th></th><th>Taille</th><th>1ères annotations</th><th colspan="3">nombre de succès | raté | échec</th></tr></thead><tbody><tr><td rowspan="2">SEM</td><td>PETIT</td><td>0,884(0,888/0,881) / 0,991</td><td>3193(56,2%)</td><td>7(0,1%)</td><td>2486(43,7%)</td></tr><tr><td>GRAND</td><td>0,889(0,886/0,892) / 1,006</td><td>3086(56,6%)</td><td>9(0,2%)</td><td>2353(43,2%)</td></tr><tr><td rowspan="2">SYN</td><td>PETIT</td><td>0,899(0,901/0,897) / 0,996</td><td>3607(59,0%)</td><td>128(2,1%)</td><td>2382(38,9%)</td></tr><tr><td>GRAND</td><td>0,903(0,904/0,901) / 0,997</td><td>2945(59,1%)</td><td>105(2,1%)</td><td>1929(38,7%)</td></tr><tr><td rowspan="2">TAG</td><td>PETIT</td><td>0,967(0,968/0,967) / 0,999</td><td>918(54,7%)</td><td>8(0,5%)</td><td>751(44,8%)</td></tr><tr><td>GRAND</td><td>0,969(0,969/0,969) / 0,999</td><td>900(54,3%)</td><td>11(0,7%)</td><td>745(45,0%)</td></tr></tbody></table>

Le tableau 1 regroupe les performances des modèles OS-CORR, OD-CORR, OD+CORR en tailles PETIT et GRAND sur les trois tâches : analyse sémantique en dépendances, analyse syntaxique en dépendances et étiquetage morpho-syntaxique. Le système MTI-tagsynsem n'étant contraint à produire une analyse complète pour aucune des tâches (voir note 5), nous utilisons comme métriques la précision, le rappel et la F1. Nous calculons aussi, pour chaque tâche, un taux d'analyse : il s'agit du ratio entre le nombre d'annotations prédites et le nombre d'annotations de référence. Le taux d'analyse est toujours inférieur ou égale à 1,0 en syntaxe et morpho-syntaxe, mais peut aussi être supérieur à 1.0 en sémantique. Lorsque le taux d'analyse s'approche de 1.0, précision, rappel et F1 convergent — vers le score d'attachement étiqueté (LAS ou labeled attachment score) en syntaxe, et vers l'exactitude en morpho-syntaxe.

Nous regardons tout d'abord les résultats de l'analyse sémantique en dépendances, qui est choisie comme la tâche principale. Cela veut dire que nous utilisons la F1 en sémantique comme critère pour déterminer les meilleurs hyperparamètres et pour arrêter l'entraînement du système par arrêt précoce (early-stopping). En taille PETITE, comme attendu, le modèle avec oracle dynamique et auto-correction a une F1 sémantique plus élevée (0,888) que le modèle avec oracle statique et sans auto-correction (0,870). Cependant, contrairement à notre prédiction, c'est le modèle avec oracle dynamique mais sans auto-correction qui a la meilleure F1 des trois modèles (0,891). Le gain du modèle OD-CORR est principalement dû au fait que son rappel (0,893) et son taux d'analyse (0,995) sont plus élevés, bien que sa précision soit plus faible (0,893). Cela veut dire que OD-CORR a tendance à effectuer des analyses plus complètes mais au prix de la précision. Cependant, la différence de F1 en sémantique entre OS-CORR et OD-CORR est atténuée en taille GRAND.
La performance en syntaxe des modèles sans auto-correction, OS-CORR et OD-CORR, est similaire pour les deux tailles considérées. En revanche, le modèle avec auto-correction, OD+CORR, a une meilleure F1 en syntaxe que les modèles sans auto-correction quand les modèles sont petits. Cette différence s'atténue elle aussi quand les modèles sont en taille GRAND.

En termes d'étiquetage morpho-syntaxique, nous constatons que tous les modèles ont une performance similaire quelle que soit leur taille, sur toutes les métriques d'évaluation.

En résumé, l'utilisation de l'oracle dynamique augmente la performance en sémantique, alors que la capacité d'auto-correction la fait baisser. La capacité d'auto-correction fait par contre augmenter la performance en syntaxe, tandis que l'oracle dynamique seul n'a pas d'effet dans ce cas. Dans la plupart des cas, ces effets sont plus visibles lorsque les modèles ont une taille relativement petite et s'atténuent à plus grandes tailles.

Afin de comprendre comment les corrections auraient entraîné les effets en syntaxe et en sémantique mentionnés ci-dessus, nous nous proposons d'effectuer une analyse de corrections dans la section suivante.

# 6 Analyse de corrections

Nous classons les actions effectuées durant un épisode d'analyse de la manière suivante :

- une action est *corrective* si et seulement si elle efface au moins une annotation précédente;

- sinon, elle est *non-corrective*.

Une action corrective peut être du type :

- *succès* si la ou les annotations supprimées étaient incorrectes, et que l'annotation éventuellement ajoutée est correcte;

- *raté* si la ou les annotations supprimées étaient incorrectes, et que l'annotation ajoutée est aussi incorrecte;

- *échec* si au moins une des annotations supprimées était correcte.

Nous définissons aussi : une *première annotation* est une annotation qui, lorsqu'elle est ajoutée, est compatible avec l'ensemble des premières annotations précédentes<fnref n="9" />. Il est possible d'évaluer les premières annotations d'un modèle avec les mêmes métriques que celles utilisées pour les prédictions globales du modèle (c.-à-d. à l'issue de l'analyse, en prenant en compte les corrections) : F1, précision, rappel et taux d'analyse.

Nous présentons les performances des premières annotations ainsi que le nombre des différents types d'actions correctives du modèle OD+CORR dans le tableau 2.

Globalement, nous constatons plus de succès que d'échecs pour toutes les tâches et tailles de modèle. En sémantique, la performance de OD+CORR en termes de premières annotations est inférieure à la performance de OD-CORR, pour toutes les métriques d'évaluation. Les actions correctives, bien que plus souvent des succès que des échecs, ne permettent pas à la performance de OD+CORR de dépasser celle de OD-CORR (indiquée en tableau 1). Nous constatons aussi que le taux d'analyse des premières annotations est proche de 1,0. Quand les corrections sont prises en compte, le taux

<footnote n="9">9. Toutes les actions non-correctives n'introduisent pas une première annotation. Considérons par exemple, pour un token de position *i*, que la séquence d'action choisie soit TAG-t (étape 0), TAG[ERASE] (étape 1), TAG-t' (étape 2); seule l'étiquetage de *i* avec *t* est considérée comme une première annotation, alors que TAG-t' en étape 2 est une action non-corrective (l'étiquetage précédent ayant été supprimée à l'étape 1).</footnote>
d'analyse ainsi que le rappel baisse, mais la précision augmente.

En syntaxe, nous constatons que la performance de OD+CORR en termes de premières annotations est déjà au même niveau que la performance de OD-CORR. Compte tenu du fait qu'il y a plus d'actions correctives succès que d'échecs, la performance de OD+CORR dépasse celle de OD-CORR. Avec les corrections, par rapport aux premières annotations, la précision augmente sans que le rappel ne baisse et ce alors même que le taux d'analyse baisse.

Nous observons donc que les corrections, par rapport aux premières annotations, mènent à une baisse variable du taux d'analyse en syntaxe et en sémantique, et à une augmentation de la précision. Cela suggère que l'auto-correction a tendance à favoriser les annotations dont le modèle est plus « sûr » et de supprimer celles dont il est moins « sûr ». Cette différence entre syntaxe et sémantique est possiblement liée au fait que l'analyse sémantique est plus complexe, ne serait-ce que parce que le nombre de dépendances sémantiques, au contraire du nombre de dépendances syntaxiques, n'est pas exactement déterminé par le nombre de tokens.

Les modèles avec auto-correction effectuent beaucoup moins de corrections de l'étiquetage morpho-syntaxique que des structures syntaxiques et sémantiques. Les nombres de succès et d'échecs étant proches, la capacité d'auto-correction n'a donc quasiment aucun impact sur cette tâche.

# 7 Conclusion

Dans cette étude, nous avons exploré l'effet de différents facteurs — la capacité d'auto-correction, l'utilisation d'un oracle dynamique et la taille du modèle — sur la performance du système MTI-tagsynsem. Nous avons montré que les corrections étaient nuisibles pour la performance en sémantique mais étaient bénéfiques pour la performance en syntaxe. Selon notre analyse, l'auto-correction tend à favoriser les annotations les plus fiables d'après le modèle, ce qui se fait au détriment de l'analyse sémantique (qui est plus difficile). D'autre part, nous avons montré que l'utilisation d'un oracle dynamique augmentait la performance en sémantique. Nous avons constaté également que ces effets étaient atténués pour des modèles de taille plus importante, ce qui tend à conforter l'idée selon laquelle il y aurait plus à attendre sur le long terme d'une augmentation de la quantité de donnée d'entraînement et de la taille des modèles que de variations fines d'architecture ou d'algorithme (Sutton, 2019); une telle augmentation, cependant et lorsqu'elle est possible, n'est pas ni sans coût ni sans problème (Bender et al., 2021).

# Remerciements

Ces travaux ont été financés par une bourse Émergence 2021 (projet SYSNEULING) de l'IdEx Université Paris Cité.

# Références

BACHMANN G., ANAGNOSTIDIS S. & HOFMANN T. (2023). Scaling mlps : A tale of inductive bias. *arXiv preprint arXiv :2306.13575*.
BENAMARA F., HATOUT N., MULLER P. & OZDOWSKA S., Éds. (2007). *Actes de TALN 2007 (Traitement automatique des langues naturelles)*, Toulouse. ATALA, IRIT.

BENDER E. M., GEBRU T., MCMILLAN-MAJOR A. & SHMITCHELL S. (2021). On the Dangers of Stochastic Parrots : Can Language Models Be Too Big? In *Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency*, FAccT '21, p. 610–623, New York, NY, USA : Association for Computing Machinery. DOI : 10.1145/3442188.3445922.

BENGIO S., VINYALS O., JAITLY N. & SHAZEER N. (2015). Scheduled sampling for sequence prediction with recurrent neural networks. In *Proceedings of the 28th International Conference on Neural Information Processing Systems - Volume 1*, NIPS'15, p. 1171–1179, Cambridge, MA, USA : MIT Press.

BERNARD T. (2021). Multiple tasks integration : Tagging, syntactic and semantic parsing as a single task. In P. MERLO, J. TIEDEMANN & R. TSARFATY, Éds., *Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics : Main Volume*, p. 783–794, Online : Association for Computational Linguistics. DOI : 10.18653/v1/2021.eacl-main.66.

DARY F. (2022). *Modèles incrémentaux pour le traitement automatique des langues*. Thèse de doctorat. Thèse de doctorat dirigée par Nasr, Alexis et Fourtassi, Abdellah Informatique Aix-Marseille 2022.

DARY F., PETIT M. & NASR A. (2022). Dependency Parsing with Backtracking using Deep Reinforcement Learning. *Transactions of the Association for Computational Linguistics*, **10**, 888–903. DOI : 10.1162/tacl_a_00496.

DE MARNEFFE M.-C. & MANNING C. D. (2008). *Stanford typed dependencies manual*. Rapport interne, Technical report, Stanford University.

DIAS G., Éd. (2015). *Actes de TALN 2015 (Traitement automatique des langues naturelles)*, Caen. ATALA, HULTECH.

GOLDBERG Y. & NIVRE J. (2012). A dynamic oracle for arc-eager dependency parsing. In *International Conference on Computational Linguistics*.

HE K., ZHANG X., REN S. & SUN J. (2016). Deep residual learning for image recognition. In *2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)*, p. 770–778. DOI : 10.1109/CVPR.2016.90.

KRIZHEVSKY A. (2009). Learning multiple layers of features from tiny images. p. 32–33.

LAIGNELET M. & RIOULT F. (2009). Repérer automatiquement les segments obsolescents à l'aide d'indices sémantiques et discursifs. In A. NAZARENKO & T. POIBEAU, Éds., *Actes de TALN 2009 (Traitement automatique des langues naturelles)*, Senlis : ATALA LIPN.

LANGLAIS P. & PATRY A. (2007). Enrichissement d'un lexique bilingue par analogie. In (Benamara et al., 2007), p. 101–110.

LEE J., MANSIMOV E. & CHO K. (2018). Deterministic non-autoregressive neural sequence modeling by iterative refinement. In *Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing*, p. 1173–1182, Brussels, Belgium : Association for Computational Linguistics. DOI : 10.18653/v1/D18-1149.

LYU C., COHEN S. B. & TITOV I. (2019). Semantic role labeling with iterative structure refinement. In *Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP)*, p. 1071–1082, Hong Kong, China : Association for Computational Linguistics. DOI : 10.18653/v1/D19-1099.

MARCUS M. P., MARCINKIEWICZ M. A. & SANTORINI B. (1993). Building a large annotated corpus of english : The penn treebank. *Comput. Linguist.*, **19**(2), 313–330.
MITCHELL T. M. (1980). The need for biases in learning generalizations.

OEPEN S., KUHLMANN M., MIYAO Y., ZEMAN D., CINKOVÁ S., FLICKINGER D., HAJIČ J. & UREŠOVÁ Z. (2015). SemEval 2015 task 18 : Broad-coverage semantic dependency parsing. In *Proceedings of the 9th International Workshop on Semantic Evaluation (SemEval 2015)*, p. 915–926, Denver, Colorado : Association for Computational Linguistics. DOI: 10.18653/v1/S15-2153.

OEPEN S., KUHLMANN M., MIYAO Y., ZEMAN D., FLICKINGER D., HAJIČ J., IVANOVA A. & ZHANG Y. (2014). SemEval 2014 task 8 : Broad-coverage semantic dependency parsing. In *Proceedings of the 8th International Workshop on Semantic Evaluation (SemEval 2014)*, p. 63–72, Dublin, Ireland : Association for Computational Linguistics. DOI: 10.3115/v1/S14-2008.

PENNINGTON J., SOCHER R. & MANNING C. (2014). GloVe : Global vectors for word representation. In A. MOSCHITTI, B. PANG & W. DAELEMANS, Éds., *Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP)*, p. 1532–1543, Doha, Qatar : Association for Computational Linguistics. DOI: 10.3115/v1/D14-1162.

SERETAN V. & WEHRLI E. (2007). Collocation translation based on sentence alignment and parsing. In (Benamara et al., 2007), p. 401–410.

SUTTON R. S. (2019). The Bitter Lesson.

ZHANG X., CHENG J. & LAPATA M. (2017). Dependency Parsing as Head Selection. In *Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics : Volume 1, Long Papers*, p. 665–676, Valencia, Spain : Association for Computational Linguistics.

ZHAO F. (2022). Auto-correction dans un analyseur neuronal par transitions : un comportement factice ? (self-correction in a transition-based neural parser : a spurious behaviour ?). In *Actes de la 29e Conférence sur le Traitement Automatique des Langues Naturelles. Volume 2 : 24e Rencontres Etudiants Chercheurs en Informatique pour le TAL (RECITAL)*, p. 20–32.

ZHAO S., REN H., YUAN A., SONG J., GOODMAN N. & ERMON S. (2018). Bias and generalization in deep generative models : An empirical study. *Advances in Neural Information Processing Systems*, 31.
# Construction d'une mesure de similarité thématique non supervisée pour les conversations

Amandine Decker¹,² Maxime Amblard¹

(1) Université de Lorraine, CNRS, Inria, LORIA, F-54000 Nancy, France

(2) University of Gothenburg, Suède

amandine.decker@loria.fr, maxime.amblard@univ-lorraine.fr

## RÉSUMÉ

La structure thématique d'une conversation représente la manière dont l'interaction est organisée à un niveau plus global que le strict enchaînement des interventions. Elle permet de comprendre comment la cohérence est maintenue sur le temps de l'échange. La création d'une mesure de similarité thématique qui donne un score de similarité à deux énoncés du point de vue thématique pourrait nous permettre de produire et d'analyser ces structures. Nous entraînons une mesure non supervisée, basée sur le modèle *BERT* avec prédiction de la phrase suivante, sur des conversations *Reddit*. La structure de *Reddit* nous fournit différents niveaux de proximité de cohérence entre des paires de messages, ce qui nous permet d'entraîner notre modèle avec une fonction de perte basée sur des comparaisons plutôt que sur des valeurs numériques attendues *a priori*. Cette mesure nous permet de trouver des ensembles d'interventions localement cohérents dans nos conversations *Reddit*, mais aussi de mesurer la variabilité en termes de thème tout au long d'une conversation.

## ABSTRACT

### Building an Unsupervised Topical Similarity Measure for Conversation.

The topical structure of a conversation gives insight on the way interaction is organised at a more global level than utterance sequences. It enablies us to understand how coherence is maintained throughout a dialogue. Creating a topical similarity measure which would give a similarity score to two pieces of interaction in terms of topic could enable us to analyse this structure. We train an unsupervised measure based on the *Next Sentence Prediction* BERT model on Reddit conversations. The structure of Reddit provides us different coherence levels between pairs of messages which allows us to train our model with a marginal ranking loss rather than with numerical values. This measure enables us to find locally coherent pieces of interaction in our dataset but also to measure the variability in terms of topic throughout a conversation.

**MOTS-CLÉS** : topic modelling, apprentissage non supervisé, corpus, dialogue, Reddit, similarité.

**KEYWORDS**: topic modelling, unsupervised learning, corpus, dialogue, Reddit, similarity.

## 1 Introduction

L'enchaînement des thèmes d'une conversation donne un aperçu de la manière dont l'interaction est organisée à un niveau global. Nous nous intéressons à la production d'une structure permettant d'analyser la dynamique des échanges au delà des énoncés eux-même. Pour parvenir à ces dernières, nous nous intéressons à la cohérence thématique entre messages. La première étape est la segmentation

<figure><img src="image_110.png" /></figure>
en thème qui se définit comme la division d'un discours en morceaux localement cohérents. La plupart du temps, cette segmentation est linéaire, c'est à dire que les morceaux thématiquement cohérents se suivent linéairement, et aucune ou peu de structure entre les morceaux n'est mise en évidence. Si cette approche peut donner de bons résultats sur des textes bien organisés et, dans une certaine mesure, sur des dialogues structurés tels que des comptes rendus de réunions, elle n'est pas aussi adaptée aux conversations informelles. Par conséquent, la production d'une segmentation hiérarchique est essentielle pour modéliser des dialogues spontanés.

Étant donné la complexité de la modélisation hiérarchique des thèmes, en particulier pour ce type de conversations, qui plus est entre plusieurs intervenants, nous proposons de construire une mesure de similarité en thème qui fournit un score de similarité entre deux messages fondée sur leur proximité thématique. L'utilisation de cette mesure permet de trouver des ensembles localement cohérents dans le dialogue, et de manière plus large de mesurer la variabilité thématique tout au long de la conversation. Puisque nous ne pouvons pas donner manuellement un score de similarité à des paires de messages, nous proposons d'utiliser des méthodes non supervisées pour entraîner cette mesure à partir de comparaisons. L'utilisation d'un ensemble de données où les interactions sont déjà organisées de manière hiérarchique nous fournit différents niveaux de cohérence que nous utilisons comme base d'entraînement. Pour cela, nous nous basons sur le média social américain *Reddit* que nous considérons comme un grand ensemble de messages, organisés en structures arborescentes, discutant d'une diversité de sujets et présentant différents formats de relations entre les messages (questions/réponses, discussion informelle, argumentation, etc.)

Nos contributions dans cet article sont de deux ordres : (1) la création d'un corpus à partir d'une extraction des données de *Reddit* et (2) l'entraînement d'une mesure de similarité thématique de manière non supervisée à partir de ces conversations. Nous appliquons également la mesure à notre ensemble de données pour identifier les ensembles de commentaires thématiquement cohérents, et nous procédons à une évaluation de cette cohérence par rapport au sujet initial le long de ces fils de discussion. Nous donnons finalement des perspectives d'utilisation de cette métrique pour construire des représentations du dialogue.

## 2 Background

Les médias sociaux sont largement utilisés dans la recherche sur le discours comme sources de données (Hamilton et al., 2017; Baumgartner et al., 2020; Balouchzahi et al., 2023). Jovanovic & Leeuwen (2018) analysent la structure et le genre des dialogues tenus sur diverses plateformes de médias sociaux, ou encore Misra & Walker (2013) travaillent sur l'identification de l'accord et du désaccord dans les conversations à partir des échanges publics sur les médias sociaux. Diverses études s'appuient sur ces dialogues pour des tâches variées, par exemple sur la santé mentale (Gaur et al., 2018; Turcan & McKeown, 2019; Naseem et al., 2022), ou la reconnaissance des émotions (Balouchzahi et al., 2023). L'activité sur les réseaux sociaux est donc considérée comme représentative de la dynamique de l'interaction dialogique. Si cela reste un usage particulier de la langue, cela nous permet de palier les difficultés de la production de transcription d'échanges réels.

Si *Reddit* n'est pas le média le plus étudié (Kathie Treen & Coan, 2022), sa structure le rend particulièrement pertinent pour notre problématique. En effet, les messages sur *Reddit* sont organisés de manière arborescente, avec un message initial (*post*) sur un sujet donné et des réponses à ce message ainsi que des réponses aux différentes réponses. À partir d'un *post*, des conversations se
mettent en place, formant une extension arborescente en lien avec le thème de départ. Sur cette structure, nous étudions la manière dont le thème évolue à partir du premier message au travers d'une séquence de réponses. Nous souhaitons également comparer l'évolution de différentes séquences issues d'un même message initial. La Section 3 détaille la structure utilisée par *Reddit*.

Afin d'étudier l'évolution des sujets dans notre ensemble de données, nous suivons (Wang et al., 2017; Xu et al., 2019; Wang et al., 2020; Xing & Carenini, 2021) et construisons une mesure en nous appuyant sur la tâche de notation de la cohérence de paires de textes. La structure arborescente de *Reddit* nous permet de générer un corpus de paires de commentaires présentant trois niveaux de cohérence thématique. Pour cela, nous affinons le modèle *Next Sentence Prediction* (NSP) de BERT (Devlin et al., 2019) qui utilise la fonction de perte fondée sur le *marginal ranking* pour obtenir une mesure de similarité thématique. Le modèle NSP BERT a l'avantage d'être entraîné sur un large corpus de texte non annoté, et en particulier sur une tâche de jugement cohérence. De plus, les grands modèles de langage (LLM), plus récents et plus puissants, basés sur les séquences, nécessitent des adaptations spécifiques afin d'être utilisés pour une tâche particulière comme l'évaluation de la cohérence. En effet, le *fine tuning* d'un LLM pour qu'il produise des scores de cohérence nécessiterait un ensemble de données incluant ces scores. Étant donné que l'attribution manuelle d'un score de cohérence à des paires de messages est une tâche complexe, s'appuyer sur différents niveaux de cohérence pour former un modèle est une solution de contournement qui nous parait plus prometteuse.

# 3 Données

*Reddit* est un réseau social américain où les utilisateurs peuvent faire partie de communautés définies par des sujets particuliers comme un hobby, une culture, ou le format d'un *post* par exemple. La structure de *Reddit* est décrite dans la Figure 1. Dans les communautés, appelées *subreddits* (Figure 1a), un utilisateur peut proposer un *post* qu'il rédige (Figure 1b) et les autres utilisateurs peuvent réagir à ce *post* / interagir avec ce *post* en écrivant à leur tour un message, considéré comme un commentaire (Figure 1c). Un tel commentaire peut être une réponse directe à un *post* ou une réponse à un autre commentaire. La « discussion » ainsi créée à partir d'un *post* est organisée sous forme d'arbre dont la racine est le *post* initial et les noeuds sont les commentaires.

Nous utilisons cette structure pour former des paires de messages auxquelles nous attribuons plus ou moins de similarité thématique, et ce de façon automatique, comme nous l'expliquons dans la section suivante (Section 4). Bien que les messages récupérés ne soient pas à proprement parler du dialogue spontané oral, le format et l'organisation des commentaires nous permettent de considérer une dynamique d'interaction similaire à celle qui apparaît dans des conversations réelles. L'enjeu de la transcription est écarté, nous permettant de nous focaliser sur cette dynamique. Ces conversations sont plus ou moins longues selon le fil et impliquent un nombre variable de participants.

Le corpus est constitué du contenu de cinq thèmes différents (donc cinq *subreddits*, qui seront décrits en annexe dans la version finale) afin d'avoir de la variabilité des contenus et de la forme des messages. L'API *Reddit* nous permet de récupérer seulement une partie des données contenues dans un *subreddit*. Nous pouvons obtenir jusqu'à cent *threads* (un *post* et l'ensemble de ses commentaires) dans un *subreddit*, ces *threads* pouvant être ordonnés de différentes façons (par exemple en fonction du nombre de votes positifs qu'ils ont récemment reçu, ou en fonction de leurs votes positifs depuis la création du *subreddit*). Afin de récupérer des arbres de discussion de taille substantielle, nous avons décidé de récupérer les cent *posts* avec le plus de votes positifs depuis la création du *subreddit*. Ainsi,
<figure><img src="image_111.png" /><figcaption>(a) Reddit est divisé en subreddits.</figcaption></figure>

<figure><img src="image_112.png" /><figcaption>(b) Chaque *subreddit* contient des *posts* formés d'un titre et de contenu.</figcaption></figure>

<figure><img src="image_113.png" /><figcaption>(c) Chaque *post* est organisé sous forme d'arbre avec des commentaires répondant au *post* et des commentaires répondant aux autres commentaires.</figcaption></figure>

<caption>FIGURE 1 – Organisation de Reddit.</caption>

pour chacun de nos cinq *subreddits*, nous avons récupéré jusqu'à cent *threads* <fnref n="1" /> sous la forme d'arbres de discussion. Pour chaque *thread*, nous avons récupéré le titre et le contenu du *post* principal, son identifiant (ID), le nombre de votes positif, le pseudonyme de son auteur et la liste de ses 'enfants', c'est-à-dire l'ensemble des commentaires du *thread*. De même pour les commentaires nous avons récupéré leur contenu, leur ID, le nombre de votes positif, le pseudonyme de l'auteur ainsi que l'ID de leur père dans l'arbre de discussion afin de reconstruire la structure d'arbre. Nous n'utilisons ni le nombre de votes positif ni les pseudonymes des auteurs dans nos expériences mais les avons récupérés dans l'éventualité où ils s'avérerait utiles pour des analyses ultérieures. La licence de la *Data API* de Reddit ne nous autorise pas à partager notre dataset sans leur consentement explicite. Nous l'avons demandé mais n'avons pas encore obtenu de réponse (le délai minimum indiqué sur le formulaire est de 14 semaines). Un dataset similaire peut-être obtenu en utilisant notre code <fnref n="2" />, bien que certains *threads* du top 100 pourraient avoir changé depuis que nous les avons récupérés. En cas d'accord d'ici publication, l'ensemble des données sera rendu accessible.

# 4 Modèle non supervisé

Notre objectif est donc d'entraîner un modèle pour construire une mesure de similarité thématique pour le dialogue. Comme nous ne pouvons pas attribuer manuellement une valeur de similarité thématique à des paires de messages, nous adaptons le modèle de Hearst (1997) à nos propres données. Ce modèle est entraîné grâce à une fonction de perte *marginal ranking*, ce qui signifie qu'au lieu d'apprendre à prédire un score précis pour une paire de commentaires donnée, il apprend à classer les paires de messages sur la base de leur similarité. Nous nous appuyons sur la structure hiérarchique

<footnote n="1">1. Certains *threads* nécessitaient plus de requête que l'*API* n'autorisait afin de récupérer tout l'arbre, nous avons donc décidé de les abandonner.</footnote>

<footnote n="2">2. https://gitlab.inria.fr/adecker/reddittopicsimilarity.git</footnote>
de Reddit pour construire trois niveaux de comparaisons, comme illustré dans la Figure 2. Nous considérons qu'étant donné un commentaire, un de ses fils est plus proche thématiquement qu'un de ses frères (donc l'oncle du fils), et un de ses neveux est moins proche thématiquement que ses fils et ses frères. Notre modèle utilise l'outil *Next Sentence Prediction* BERT (NSP-BERT) pour apprendre les scores de similarité. Lors de l'entraînement, le modèle reçoit les trois paires en entrée et produit un score de similarité pour chacune d'entre elles. Il est récompensé par la fonction de perte pour chaque score bien ordonné par rapport à l'un des deux autres.

<figure><img src="image_114.png" /><figcaption>FIGURE 2 – Niveaux de similarité thématique entre les commentaires.</figcaption></figure>

La structure de notre modèle est décrite dans Figure 3. Étant donné un commentaire *C*, nous récupérons un de ses fils, un de ses frères et un de ses neveux. Les quatre messages sont segmentés et les trois paires (*C*, fils), (*C*, frère) et (*C*, neveu) sont créées. Ces paires sont transmises à NSP-BERT dont la sortie est ensuite transmise à un perceptron multicouche. Nous utilisons la fonction d'activation linéaire rectifiée (ReLU) et un *dropout* de 10% entre les couches. La sortie finale est un score, ramené entre 0 et 1 avec une fonction sigmoïde, pour chacune des trois paires<fnref n="3" />

<figure><img src="image_115.png" /><figcaption>FIGURE 3 – Description du modèle.</figcaption></figure>

<footnote n="3">3. L'ensemble des hyperparamètres est donné en Annexe B.</footnote>
# 5 Expériences

Nous avons entraîné des modèles distincts pour chacun des cinq *subreddits* que nous avons récupérés. À chaque fois, l'ensemble des données est divisé en un ensemble d'entraînement et un ensemble de test dans les proportions 80%/20%. Afin de maintenir un équilibre concernant la taille des fils de discussion, nous les sélectionnons pour l'ensemble de test en les classant par taille, c'est-à-dire le nombre de commentaires qu'ils contiennent, et conservons un fil de discussion sur cinq. Pour la phase d'entraînement, nous extrayons également 10% de l'ensemble pour la validation.

## 5.1 Résultats

Comme expliqué ci-dessus, les données que nous utilisons pour former et évaluer notre modèle sont constituées de triplets de paires de messages (voir l'entrée du modèle sur la Figure 3). Pour construire ces triplets, nous sélectionnons au hasard un commentaire dans un fil de discussion et récupérons un de ses fils, un de ses frères et un de ses neveux. La plupart des commentaires ont plusieurs fils, frères et neveux. Par conséquent, pour maximiser la variabilité des données, nous ne générons pas tous les tuples possibles (commentaire, fils, frère, neveu), mais seulement l'un d'entre eux. Malgré cela, la quantité de commentaires dans notre ensemble de données nous permet de produire plus de triplets que nécessaire pour entraîner le modèle. Nous avons essayé trois tailles d'ensembles de données (1000, 7500 et 15000-triplets) pour l'entraînement afin de déterminer une quantité appropriée, en tenant compte du fait qu'un ensemble de données plus important nécessite plus de temps et de ressources pour entraîner notre modèle. Les meilleurs résultats ont été obtenus avec l'ensemble de données de 15000 triplets, mais l'amélioration par rapport à l'ensemble de données de 7500 triplets n'était pas suffisamment importante pour justifier l'utilisation d'un encore plus grand ensemble de données. Par conséquent, les résultats présentés dans la suite sont ceux que nous avons obtenus avec l'ensemble de données 15000-triplets.

Les résultats de nos expériences sont décrits dans le Tableau 1. Nous avons formé trois modèles par ensemble de données (c'est-à-dire 15 modèles au total). Nous les avons évalués sur tous les ensembles de données pour voir s'ils sont performants sur les messages d'autres *subreddits* qui diffèrent par leur forme (Choi et al., 2015). Les résultats sont la moyenne et l'écart type des trois modèles. Le modèle utilisé est indiqué par le nom de la colonne et l'ensemble de données d'évaluation par celui de la ligne. Les résultats pour lesquels le modèle et l'ensemble de données sont congruents apparaissent sur la diagonale. Comme on pouvait s'y attendre, les résultats sont meilleurs dans ce cas (voir les résultats en gras dans Tableau 1), mais les résultats de l'application d'un modèle à un ensemble d'évaluation différent sont du même ordre (en restant inférieur).

La métrique obtenue est particulièrement sensible à la proximité thématique. Si elle varie entre 0 et 1, elle prend très fréquemment des valeurs proches des extremums se comportant de fait comme un bon classifieur thématique. Pour la suite, nous introduisons un seuil pour cette métrique que nous fixons à 0,5 qui est une valeur classique et en adéquation avec nos observations.

## 5.2 Localiser les sous-clusters cohérents

Afin d'évaluer la qualité de la mesure obtenue, nous analysons la structure thématique des fils de discussion de Reddit. Nous avons donc appliqué notre métrique entraînée pour localiser des séquences
<table><caption>TABLE 1 – Résultats du transfert (moyenne ± écart type pour les trois versions de chaque modèle). *le gras indique les meilleurs modèles pour un ensemble d’évaluation.*</caption><thead><tr><th>Data \ Model</th><th>Art</th><th>Coronavirus</th><th>gaming</th><th>OnePiece</th><th>sports</th></tr></thead><tbody><tr><td>Art</td><td><strong>65.80</strong><br>± 0.17</td><td>62.48<br>± 0.68</td><td>63.72<br>± 0.33</td><td>63.40<br>± 0.51</td><td>63.71<br>± 0.38</td></tr><tr><td>Coronavirus</td><td>66.01<br>± 0.46</td><td><strong>73.13</strong><br>± 1.42</td><td>67.62<br>± 0.34</td><td>67.11<br>± 0.70</td><td>67.42<br>± 0.69</td></tr><tr><td>gaming</td><td>65.14<br>± 0.59</td><td>64.42<br>± 0.57</td><td><strong>66.65</strong><br>± 0.26</td><td>65.04<br>± 0.70</td><td>65.41<br>± 0.39</td></tr><tr><td>OnePiece</td><td>66.01<br>± 0.45</td><td>65.01<br>± 0.24</td><td>66.06<br>± 0.29</td><td><strong>69.95</strong><br>± 0.62</td><td>65.77<br>± 0.58</td></tr><tr><td>sports</td><td>64.91<br>± 0.43</td><td>63.90<br>± 0.57</td><td>65.07<br>± 0.06</td><td>64.66<br>± 0.45</td><td><strong>66.43</strong><br>± 0.42</td></tr></tbody></table>

cohérentes de messages à l'intérieur d'un fil de discussion. Nous avons utilisé l'algorithme suivant :

- Dans une séquence donnée de commentaires, (sans regarder la structure horizontale des arbres de conversation,) nous calculons la similarité de chaque message avec son message suivant;

- Chaque fois que la similarité est inférieure à un seuil (0, 5), nous considérons que le message suivant est le début d'un nouveau sujet et qu'il contient le sujet dans son contenu;

- Nous calculons la similarité entre le *post* initial et le premier commentaire de chaque nouveau *cluster* afin d'analyser l'évolution de la conversation.

Nous avons d'abord extrait toutes les séquences de commentaires de dix messages ou plus afin d'avoir des séquences assez longues pour observer des variations thématiques. La Figure 4 est une représentation de ce processus. Sur la Figure 4a, chaque ligne horizontale représente un *cluster* cohérent de commentaires et leur position verticale indique la similarité avec le *post* principal. Leur longueur dépend du nombre de messages. La Figure 4b reprend des exemples de commentaires ainsi que le *post* initial de la conversation. Nous voyons que le deuxième *cluster* est réduit au commentaire de profondeur 3 et est considéré comme thématiquement différent du *post* principal ("They Don't Even Taste That Good Anymore (I), oil on canvas, 24x30" "). Cela a du sens car le commentaire ne contient que le mot "Arrow". En revanche le *cluster* suivant est à nouveau proche du sujet d'origine, ce que nous confirmons avec le commentaire de profondeur 4 : "It has to be good in the first place to stop being good, though.". D'autres exemples seront donnés en annexe dans la version finale.

Le Tableau 2 présente différentes statistiques sur les séquences de messages et les *clusters*. Nous pouvons voir que le *subreddit Coronavirus* a peu de séquences que nous avons considérées comme suffisamment longues pour le regroupement. Tous les *subreddits* ont en moyenne un nombre similaire de messages par séquence, mais le *subreddit gaming* a quelques séquences très longues (au plus 275 messages) et les *subreddits Art* et *sports* ont également des séquences assez longues (environ 50 messages). En ce qui concerne l'évolution des thèmes, nous constatons qu'environ un tiers des premiers commentaires suivant un *post* sont proches de celui-ci, mais que près de 90% des têtes des
<figure><img src="image_116.png" /><figcaption>(a) Longueur et similarité au *post* initial des *clusters* identifiés.</figcaption></figure>

**Post principal** : They Don't Even Taste That Good Anymore (I), oil on canvas, 24x30"

**Commentaire de profondeur 3** : Arrow.

**Commentaire de profondeur 4** : It has to be good in the first place to stop being good, though.

**Commentaire de profondeur 9** : Fine, as long as you have a beard, like a proper dwarf.

(b) Commentaires en tête des *clusters* thématiques identifiés.

<caption>FIGURE 4 – Exemple de représentation d'une séquence de messages</caption>

derniers *clusters* sont thématiquement éloignées des *posts* d'origine. Cela semble soutenir l'idée que la conversation évolue naturellement au fur-et-à-mesure. Nous avons également calculé le nombre de fois où la similarité entre le *post* initial et la tête d'un *cluster* de commentaires est suffisamment différente de celle entre le *post* initial et la tête du *cluster* suivant. Ainsi nous mesurons la présence d'un changement thématique pour revenir au thème de départ ou s'en éloigner. Il y a en moyenne entre zéro et un changement de thème, ce qui nous indique que la conversation est soit considérée comme hors sujet par notre modèle dès le début, soit commence par être sur le sujet et évolue en s'éloignant du thème sans y revenir. Toutefois, ces structures ne sont pas les plus intéressantes. Les données contiennent également des séquences de commentaires comme ceux présentés dans la Figure 4 où un groupe proche du sujet principal est situé entre des groupes hors sujet. La structure de ces dialogues nous intéresse particulièrement car nous voulons suivre comment un sujet évolue dans une conversation. Pour mieux comprendre la structure thématique de nos séquences de messages, nous avons procédé à la modélisation globale de la conversation.

## 5.3 Hiérarchie de clusters

Pour aller plus loin dans notre analyse, nous avons regroupé les séquences cohérentes dans un fils de discussion. Pour cela, nous avons appliqué récursivement la méthode décrite précédemment mais sur les têtes des *clusters* au lieu de le faire sur chaque commentaire. L'algorithme est donc le suivant :

— Identifier les séquences cohérentes dans un fil avec l'algorithme de la Section 5.2;

— Calculer la similarité du premier message de chaque groupe avec celui du groupe suivant;

— Si la similarité est inférieure à un seuil, le deuxième groupe est considéré comme le début d'un nouveau thème;

— Application de la même stratégie pour le nouveau groupement jusqu'à stabilisation.

La Figure 5 est une illustration de ce processus. Nous pouvons mettre en évidence une hiérarchie entre les *clusters* thématiques. En effet, nous localisons d'abord les sujets avec une granularité élevée et chaque couche supplémentaire de regroupement est liée à des sujets avec une granularité plus générale, ce qui constitue une première étape vers une modélisation hiérarchique des thèmes.
<table><caption>TABLE 2 – Statistiques sur les séquences de messages et les clusters thématiques formés.</caption><thead><tr><th>Subreddit</th><th>Nb de séquences (≥ 10 msgs)</th><th>Nb max</th><th>Nb moyen</th><th>Sim. initiale (&lt;0,1 / &gt;0,9)</th><th>Sim. finale (&lt;0,1 / &gt;0,9)</th><th>Nb de changements brutaux</th></tr></thead><tbody><tr><td>Art</td><td>1556</td><td>51</td><td>11,88 (±2,96)</td><td>63% / 34%</td><td>87% / 11%</td><td>1,07 (±1,67)</td></tr><tr><td>Coronavirus</td><td>58</td><td>18</td><td>11,62 (±1,95)</td><td>69% / 28%</td><td>84% / 12%</td><td>0,55 (±0,90)</td></tr><tr><td>gaming</td><td>9409</td><td>275</td><td>11,88 (±5,44)</td><td>64% / 34%</td><td>88% / 10%</td><td>0,70 (±1,14)</td></tr><tr><td>OnePiece</td><td>908</td><td>28</td><td>11,84 (±2,48)</td><td>61% / 37%</td><td>91% / 07%</td><td>0,54 (±1,01)</td></tr><tr><td>sports</td><td>5930</td><td>52</td><td>11,71 (±2,58)</td><td>46% / 52%</td><td>85% / 14%</td><td>0,75 (±1,14)</td></tr></tbody></table>

En suivant la méthode décrite précédemment, nous avons travaillé avec les séquences d'au moins 10 messages et calculé les différents niveaux de clusters. différentes statistiques sont reprises dans le Tableau 3. En ce qui concerne le nombre de niveaux de clustering, tous les subreddits nécessitent en moyenne trois niveaux. Le cluster de niveau le plus élevé contient en moyenne environ quatre clusters avec un écart-type élevé pour tous les subreddits, ce qui montre plus de variabilité sur cette question.

<table><caption>TABLE 3 – Statistiques sur les hiérarchies de clusters formées.</caption><thead><tr><th>Subreddit</th><th>Nb moyen de niveaux de clustering</th><th>Nb moyen de clusters finaux</th></tr></thead><tbody><tr><td>Art</td><td>3,03 (±1,34)</td><td>4,59 (±2,97)</td></tr><tr><td>Coronavirus</td><td>2,97 (±1,04)</td><td>3,86 (±2,54)</td></tr><tr><td>gaming</td><td>3,09 (±1,90)</td><td>4,41 (±3,23)</td></tr><tr><td>OnePiece</td><td>3,15 (±1,30)</td><td>4,72 (±2,90)</td></tr><tr><td>sports</td><td>3,14 (±1,33)</td><td>4,30 (±2,91)</td></tr></tbody></table>

# 6 Conclusion et Perspectives

Dans cet article, nous avons présenté une mesure de similarité thématique non supervisée. Nous avons montré qu'elle nous permet d'identifier des clusters de messages thématiquement cohérents au sein d'une conversation. Ce résultat correspond à la tâche de segmentation thématique linéaire.
<figure><img src="image_117.png" /><figcaption>FIGURE 5 – Processus de *clustering* hiérarchique selon les thèmes dans un fil de discussion.</figcaption></figure>

Mais cette mesure nous permet également de construire une structure à plusieurs niveaux qui est une représentation hiérarchique des *clusters* thématiquement cohérents.

Notre mesure peut être utilisée pour une segmentation thématique précise puisque les morceaux de conversation seraient organisés logiquement en plus d'être séparés en fonction de leur sujet. À l'avenir, nous voulons enrichir notre représentation en étendant la représentation avec des relations rhétoriques de coordination et subordination entre *clusters*. Nous produirions une structure semblable à celles de la *Segmented Discourse Representation Theory* (SDRT, Lascarides & Asher (2007)) qui se focaliserait d'abord sur les liens thématiques. La comparaison de ces structures avec celles produites par des analyseurs de la SDRT (Li et al., 2023) pourrait nous aider à comprendre l'influence des thèmes sur les représentations SDRT, et donner du sens aux changements de thème non adéquats.

Le regroupement que nous avons effectué était axé sur les séquences verticales de messages, en ce sens que nous avons extrait des séquences de messages plutôt que des sous-arbres complets de la conversation. La dimension horizontale doit également être explorée pour comparer l'évolution des sujets dans des fils de discussions parallèles et, par exemple, voir dans quelle mesure les conversations ont tendance à converger ou à diverger, et si ce comportement varie en fonction du *subreddit*. Cette application permettrait de mettre en avant dans l'ensemble d'un fil de conversation l'importance d'un thème donné, même si celui-ci apparaît peu dans chaque conversation. La récurrence transverse d'un thème permet d'identifier l'apparition de nouveaux sujets. Nous proposons également une structure d'analyse des échanges qui permet de mettre en avant des stratégies d'échange d'informations non explicite à la lecture des données. L'ajout d'un plus grand nombre de *subreddits* à notre ensemble de données nous permettrait d'effectuer des analyses sur une plus grande diversité de domaines, ce qui renforcerait la robustesse des résultats. Nous envisageons aussi d'entraîner de manière non supervisée et itérative la mesure pour gagner en précision. La sélection des messages pour l'entraînement ne serait pas laissée au hasard mais serait informée par la version de la métrique à l'itération précédente.

Enfin, contrairement aux modèles de classification binaires qui permettent seulement d'indiquer si deux segments sont thématiquement cohérents ou pas, notre modèle donne un score de proximité thématique. Cela pourrait permettre de repérer différents types de changements tels que des changements graduels qui ne sont pas repérables par classification binaire.
Références

BALOUCHZAHI F., BUTT S., SIDOROV G. & GELBUKH A. (2023). Reddit : Regret detection and domain identification from text. *Expert Systems with Applications*, **225**, 120099. DOI: https://doi.org/10.1016/j.eswa.2023.120099.

BAUMGARTNER J., ZANNETTOU S., KEEGAN B., SQUIRE M. & BLACKBURN J. (2020). The pushshift reddit dataset. *Proceedings of the International AAAI Conference on Web and Social Media*, **14**(1), 830–839. DOI: 10.1609/icwsm.v14i1.7347.

CHOI D., HAN J., CHUNG T., AHN Y.-Y., CHUN B.-G. & KWON T. T. (2015). Characterizing conversation patterns in reddit : From the perspectives of content properties and user participation behaviors. In *Proceedings of the 2015 ACM on Conference on Online Social Networks*, COSN '15, p. 233–243, New York, NY, USA : Association for Computing Machinery. DOI : 10.1145/2817946.2817959.

DEVLIN J., CHANG M.-W., LEE K. & TOUTANOVA K. (2019). BERT : Pre-training of deep bidirectional transformers for language understanding. In J. BURSTEIN, C. DORAN & T. SOLORIO, Éds., *Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies, Volume 1 (Long and Short Papers)*, p. 4171–4186, Minneapolis, Minnesota : Association for Computational Linguistics. DOI : 10.18653/v1/N19-1423.

GAUR M., KURSUNCU U., ALAMBO A., SHETH A., DANIULAITYTE R., THIRUNARAYAN K. & PATHAK J. (2018). "let me tell you about your mental health!" contextualized classification of reddit posts to dsm-5 for web-based intervention. In *Proceedings of the 27th ACM International Conference on Information and Knowledge Management*, p. 753–762.

HAMILTON W. L., YING R. & LESKOVEC J. (2017). Inductive representation learning on large graphs. In *Proceedings of the 31st International Conference on Neural Information Processing Systems*, NIPS'17, p. 1025–1035, Red Hook, NY, USA : Curran Associates Inc.

HEARST M. A. (1997). Text tiling : Segmenting text into multi-paragraph subtopic passages. *Computational Linguistics*, **23**(1), 33–64.

JOVANOVIC D. & LEEUWEN T. V. (2018). Multimodal dialogue on social media. *Social Semiotics*, **28**(5), 683–699. DOI: 10.1080/10350330.2018.1504732.

KATHIE TREEN, HYWEL WILLIAMS S. O. & COAN T. G. (2022). Discussion of climate change on reddit : Polarized discourse or deliberative debate ? *Environmental Communication*, **16**(5), 680–698. DOI : 10.1080/17524032.2022.2050776.

LASCARIDES A. & ASHER N. (2007). Segmented discourse representation theory : Dynamic semantics with discourse structure. In *Computing meaning*, p. 87–124. Springer.

LI C., HUBER P., XIAO W., AMBLARD M., BRAUD C. & CARENINI G. (2023). Discourse structure extraction from pre-trained and fine-tuned language models in dialogues. In A. VLACHOS & I. AUGENSTEIN, Éds., *Findings of the Association for Computational Linguistics : EACL 2023*, p. 2562–2579, Dubrovnik, Croatia : Association for Computational Linguistics. DOI : 10.18653/v1/2023.findings-eacl.194.

MISRA A. & WALKER M. (2013). Topic independent identification of agreement and disagreement in social media dialogue. In M. ESKENAZI, M. STRUBE, B. DI EUGENIO & J. D. WILLIAMS, Éds., *Proceedings of the SIGDIAL 2013 Conference*, p. 41–50, Metz, France : Association for Computational Linguistics.
NASEEM U., DUNN A. G., KIM J. & KHUSHI M. (2022). Early identification of depression severity levels on reddit using ordinal classification. In *Proceedings of the ACM Web Conference* 2022, p. 2563–2572.

TURCAN E. & MCKEOWN K. (2019). Dreddit : A Reddit dataset for stress analysis in social media. In E. HOLDERNESS, A. JIMENO YEPES, A. LAVELLI, A.-L. MINARD, J. PUSTEJOVSKY & F. RINALDI, Éds., *Proceedings of the Tenth International Workshop on Health Text Mining and Information Analysis (LOUHI 2019)*, p. 97–107, Hong Kong : Association for Computational Linguistics. DOI: 10.18653/v1/D19-6213.

WANG L., LI S., LV Y. & WANG H. (2017). Learning to rank semantic coherence for topic segmentation. In M. PALMER, R. HWA & S. RIEDEL, Éds., *Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing*, p. 1340–1344, Copenhagen, Denmark : Association for Computational Linguistics. DOI: 10.18653/v1/D17-1139.

WANG W., HOI S. C. & JOTY S. (2020). Response selection for multi-party conversations with dynamic topic tracking. In B. WEBBER, T. COHN, Y. HE & Y. LIU, Éds., *Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP)*, p. 6581–6591, Online : Association for Computational Linguistics. DOI: 10.18653/v1/2020.emnlp-main.533.

XING L. & CARENINI G. (2021). Improving unsupervised dialogue topic segmentation with utterance-pair coherence scoring. In H. LI, G.-A. LEVOW, Z. YU, C. GUPTA, B. SISMAN, S. CAI, D. VANDYKE, N. DETHLEFS, Y. WU & J. J. LI, Éds., *Proceedings of the 22nd Annual Meeting of the Special Interest Group on Discourse and Dialogue*, p. 167–177, Singapore and Online : Association for Computational Linguistics. DOI: 10.18653/v1/2021.sigdial-1.18.

XU P., SAGHIR H., KANG J. S., LONG T., BOSE A. J., CAO Y. & CHEUNG J. C. K. (2019). A cross-domain transferable neural coherence model. In A. KORHONEN, D. TRAUM & L. MÀRQUEZ, Éds., *Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics*, p. 678–687, Florence, Italy : Association for Computational Linguistics. DOI: 10.18653/v1/P19-1067.

## A Description des subreddits utilisés dans notre dataset

Les descriptions ci-dessous sont toutes basées sur la description présente sur la page d'accueil des subreddits.

- Art : Une communauté où les utilisateurs parlent d'art et d'artistes, la description de la communauté insiste sur le fait de discuter d'art de façon mature et substantielle;

- Coronavirus : Une communauté pour parler de la Covid-19, la description de la communauté demande des *posts* et des discussions de haute qualité;

- gaming : Une communauté pour parler de jeux vidéos;

- OnePiece : Une communauté pour discuter de toutes choses liées au manga One Piece de Eiichiro Oda et l'adaptation en anime;

- sports : Une communauté pour parler de l'actualité sportive et de différentes ligues dans le monde comme la NBA.
## B Hyperparamètres du model

- Architecture :

- NSP-BERT

- Multi-layer Perceptron (768 → 768, 768 → 6, 6 → 1)

- ReLU

- Dropout 10%;

- Optimizer : Adam;

- Learning rate : 2e-5;

- Epsilon : 1e-8;

- Batch size : 16;

- Epochs : 5;

- Output : fonction sigmoïde (valeur entre 0 et 1).

## C Entraînement des modèles sur différentes tailles d'ensemble de données

<table><caption>TABLE 4 – Résultats (en %) pour différents nombres de triplets lors de l'entraînement</caption><thead><tr><th>Subreddit</th><th>1 000 triplets</th><th>7 500 triplets</th><th>15 000 triplets</th></tr></thead><tbody><tr><td>Art</td><td>59,25 ± 6,24</td><td>64,89 ± 0,23</td><td>65,80 ± 0,17</td></tr><tr><td>Coronavirus gaming</td><td>67,42 ± 0,66</td><td>72,26 ± 0,66</td><td>73,13 ± 1,42</td></tr><tr><td>OnePiece sports</td><td>64,40 ± 0,04</td><td>65,34 ± 0,13</td><td>66,65 ± 0,26</td></tr><tr><td></td><td>65,39 ± 0,28</td><td>69,08 ± 0,43</td><td>69,95 ± 0,62</td></tr><tr><td></td><td>64,22 ± 0,32</td><td>64,98 ± 0,31</td><td>66,43 ± 0,42</td></tr></tbody></table>
D Exemples de représentations de séquences de messages

<figure><img src="image_118.png" /><figcaption>FIGURE 6 – Différentes structures thématiques.</figcaption></figure>
# De nouvelles méthodes pour l'exploration de l'interface syntaxe-prosodie : un treebank intonosyntaxique et un système de synthèse pour le pidgin nigérian

Emmett Strickland¹, ²

Anne Lacheret-Dujour¹

Marc Evrard²

Sylvain Kahane¹

Dana Aubakirova²

Dorin Doncenco²

Diego Torres²

Perrine Quennehen¹

Bruno Guillaume³

(1) MoDyCo, 200 Avenue de la République, 92001 Nanterre, France

(2) LISN, Campus Universitaire, bât.507 Rue du Belvédère, 91405 Orsay, France

(3) LORIA, Campus Scientifique, 615 Rue du Jardin-Botanique, 54506 Vandœuvre-lès-Nancy, France

{emmett.strickland, anne.lacheret, sylvain.kahane, 
 perrine.quennehen}@parisnanterre.fr, marc.evrard@lisn.paris-saclay.fr, 
 bruno.guillaume@inria.fr, {dana.aubakirova, dorin.doncenco, 
 diego-andres.torres-guarin}@universite-paris-saclay.fr

## RÉSUMÉ

Cet article présente deux ressources récemment développées pour explorer l'interface prosodie-syntaxe en pidgin nigérian, une langue à faibles ressources d'Afrique de l'Ouest. La première est un treebank intonosyntaxique dans laquelle chaque token est associé à une série de traits prosodiques au niveau de la syllabe, ce qui permet d'analyser diverses structures syntaxiques et prosodiques en utilisant une même interface. La seconde est un système de synthèse de la parole entraîné sur le même ensemble de données, conçu pour permettre un contrôle direct sur les contours intonatifs de la parole générée. Cet outil a été développé pour nous permettre de tester les hypothèses formulées à partir de l'exploration du treebank. Cet article est largement une adaptation de deux publications récentes présentant chaque outil, avec un accent sur leur interconnexion dans notre recherche en cours.

## ABSTRACT

**New methods for exploring the prosodic-syntactic interface : an intonosyntactic treebank and speech synthesis system for Nigerian Pidgin.**

This paper presents two newly-developed resources for exploring the prosody-syntax interface in Nigerian Pidgin, a low-resource language of West Africa. The first is an intonosyntactic treebank in which tokens are associated with a series of syllable-level prosodic features, allowing for analyses of various syntactic and prosodic structures within the same interface. The second is a speech synthesis system trained on the same dataset which is designed to allow for direct control over the prosodic contours of generated speech. This tool was developed to allow us to test hypotheses made from the exploration of this treebank. This paper is largely an adaptation of two recent publications presenting these tools with an emphasis on their interconnectedness in our ongoing research.

**MOTS-CLÉS** : pidgin nigérian, linguistique de corpus, prosodie, treebank, synthèse de la parole.

**KEYWORDS:** Nigerian Pidgin, corpus linguistics, prosody, treebanks, speech synthesis.

<figure><img src="image_119.png" /></figure>
# 1 Introduction et contexte

Le pidgin nigérian, ou naijá, est une langue créole peu dotée pourtant parlée par quelque 100 millions de locuteurs en Afrique de l'Ouest. Si l'essentiel de son lexique a été hérité de l'anglais, il a développé un ensemble de caracteristiques prosodiques et grammaticales qui le distingue de son lexifieur. Notamment, plusieurs analyses de cette langue postulent l'existence d'un système de ton lexical, même si ses caracteristiques exactes diffèrent selon l'analyse (Mafeni, 1971; Elugbe & Omamor, 1991; Faraclas, 1996).

Cette publication s'inscrit dans un projet de recherche en cours visant à mieux comprendre la prosodie du pidgin nigérien en utilisant une méthode novatrice qui combine la linguistique de corpus et la linguistique expérimentale. Concrètement, notre objectif est d'exploiter deux outils qui ont été produits parallèlement et qui permettent, respectivement, d'explorer des structures intonosyntaxiques dans un corpus de pidgin nigérian parlé, et de tester des hypothèses extraites de ce corpus dans un contexte expérimental. Cette approche permettra donc de découvrir de nouvelles phénomènes dans un corpus de parole spontannée, et de les valider grâce à des expériences perceptives contrôlées. Ces deux outils, le corpus NaijaSynCor-Prosody (Strickland et al., 2024), et le système de synthèse NaijaTTS (Strickland et al., 2023a), ont été développés simultanément comme des ressources complémentaires produites à partir des mêmes données. Les deux ressources ont déjà fait l'objet de deux publications, que cet article prolonge pour mettre en évidence leurs rôles complémentaires dans une méthodologie partagée.

# 2 NaijaSynCor-Prosody : Un treebank intonosyntaxique

Cette section présente le corpus NaijaSynCor-Prosody, une extension récente du corpus NaijaSynCor. Elle adapte une publication antérieure (Strickland et al., 2024) qui a introduit ce corpus, et explique son rôle dans notre flux de travail expérimental plus large.

Le corpus NaijaSynCor-Prosody s'inscrit dans la continuité du projet ANR NaijaSynCor (Manfredi et al., 2021), ainsi que du projet Rhapsodie sur le français parlé (Lacheret-Dujour et al., 2019). Le projet NaijaSynCor a piloté le développement d'un corpus de 500 000 tokens transcrits à partir de 321 enregistrements de monologues et de dialogues se déroulant dans divers contextes sociaux. Un ensemble de 88 sessions d'enregistrement correspondant à environ 150 000 tokens répartis sur huit dialogues et 80 monologues ont été annotées manuellement en arbres de dépendance selon le schéma des *Surface Syntactic Universal Dependencies* (SUD) avant d'être converties en *Universal Dependencies* (UD, Gerdes et al., 2018). Ce gold standard a ensuite été utilisé pour entraîner un analyseur syntaxique afin d'annoter automatiquement les fichiers restants (Guiller, 2020). Chaque session d'enregistrement transcrite est segmentée en unités illocutoires (UI) (Pietrandrea et al., 2014) représentées sous forme d'arbres de dépendance encodés sous le format de données tabulaires CoNLL-U. Les UI sont également associées à différentes métadonnées, dont un identifiant numérique du locuteur, ce qui permet aux utilisateurs d'accéder à diverses informations sociolinguistiques telles que l'âge, le sexe, la profession et le niveau d'éducation. Se référer à Kahane et al. (2021) pour description plus détaillée de ce corpus et de son format.

En construisant le corpus NaijaSynCor-Prosody, notre objectif était de préserver les informations morphosyntaxiques du treebank NaijaSynCor original et d'ajouter une couche détaillée d'informations segmentales et suprasegmentales. Comme un treebank traditionnel, ce corpus augmenté permet aux
utilisateurs d'effectuer des études quantitatives de divers phénomènes morphosyntaxiques tels que ceux présentés par Courtin et al. (2018). Cependant, les utilisateurs auront désormais accès à diverses informations segmentales et suprasegmentales en plus des annotations originales.

Pour construire cette ressource, nous avons utilisé le logiciel d'alignement SPPAS (Bigi et al., 2020) afin de produire un alignement phonétique. *TextGrid* des 80 monologues du corpus de référence, dont les transcriptions orthographiques avaient été soigneusement vérifiées au cours du projet NaijaSynCor. Ces alignements ont ensuite fait l'objet d'une segmentation en syllabes, l'unité porteuse de ton dans plusieurs analyses du pidgin nigérian. Les alignements syllabiques et les transcriptions phonétiques ont ensuite été vérifiées et corrigées manuellement par des annotateurs. Dans le cadre de notre système d'annotation, les phonèmes sont représentés à l'aide du format X-SAMPA (Wells, 1995). Ces transcriptions syllabiques constituent la base de l'annotation segmentale de ce corpus.

Nos annotations suprasegmentales consistent en une mesure de la fréquence fondamentale (F0) appliquée aux enregistrements audio des monologues et conservée au format *PitchTier*. Les erreurs de pitchtracking ont été corrigées manuellement à l'aide du logiciel Analor (Lacheret & Victorri, 2002). Les alignements de chaque syllabe ainsi que leurs transcriptions phonétiques sont conservées au format *TextGrid*. Ces deux formats de fichier ont ensuite été utilisés comme données d'entrée pour le logiciel de modélisation prosodique SLAM3 (Strickland et al., 2023b), la version la plus récente du modèle SLAM (Obin et al., 2014; Liu et al., 2019). Pour chaque syllabe, SLAM3 a produit des étiquettes catégorielles décrivant les valeurs de hauteur de début et de fin de chaque syllabe, ainsi que les maxima de F0.

Plusieurs autres traits prosodiques ont également été extraits des étiquettes SLAM, notamment sa hauteur moyenne catégorielle et sa pente. Nous avons également produit un ensemble d'étiquettes continues en utilisant les fichiers *PitchTier* et *TextGrid*, notamment la durée (en ms) de chaque syllabe ainsi que sa F0 moyenne (en Hz).

Pour visualiser les relations entre les tokens et les syllabes, nous utilisons l'outil GREW-Match (Guillaume, 2021) avec un encodage CoNLL-U modifié pour prendre en compte les différents traits décrivant les syllabes. Cela permet d'observer les données syntaxiques et syllabiques via la même interface pour faire des observations ou tester des hypothèses linguistiques.

La figure 1 est un exemple de l'encodage utilisé. Chaque énoncé est représenté sous la forme d'un graphe avec deux types de nœuds : les nœuds de mots (en noir) et les nœuds de syllabes (en violet). Des arêtes spécifiques (bleues) sont utilisées pour relier les mots aux syllabes qui les composent. Ces arêtes sont étiquetées avec un numéro correspondant à la position de la syllabe correspondante dans le mot.

Les utilisateurs peuvent désormais quantifier un large éventail de phénomènes à l'interface de la syntaxe et de la prosodie à partir du treebank en utilisant la syntaxe GREW. À titre d'illustration, nous présenterons le cas de GO, qui peut fonctionner soit comme un auxiliaire marquant le futur, soit comme un verbe de mouvement. Les descriptions du pidgin nigérian les présentent généralement comme une paire minimale tonale, avec un ton bas marquant la forme auxiliaire et un ton haut marquant le verbe. Pour vérifier si cette distinction est représentée dans le corpus, nous utilisons la requête GREW suivante.<fnref n="1" />

pattern {

<footnote n="1">1. cette requête et les résultats peuvent également être visualisés ici : https://naija.grew.fr/?custom=664205b96cefe</footnote>
Le simple test présenté dans cet article est loin d'être suffisant pour fournir des preuves solides pour
ou contre cette analyse. Cependant, cela ouvre la voie à de nouvelles questions sur le rôle de la hauteur
et de la durée dans la désambiguïsation de certains mots et constructions. Au fur et à mesure que nous
explorons ce corpus, de telles hypothèses peuvent être validées par l'utilisation de l'outil présenté
dans la section suivante, un système de synthèse vocale conçu pour des expériences perceptives.

3 NaijaTTS : vers un système de synthèse pour valider les hypo-
thèses

Dans la section précédente, nous avons vu comment l'exploration de cette ressource peut méner à de nouvelles hypothèses sur le rôle de la durée et de la F0 en pidgin nigérian, et de la typologie prosodique de cette langue. Si d'autres tests révèlent une tendance généralisée et statistiquement significative dans l'ensemble du corpus, elle mérite d'être confirmée dans un cadre expérimental contrôlé. Cette section présente NaijaTTS, un système de synthèse (TTS) conçu pour tester les hypothèses faites pendant les explorations du treebank NaijaSynCor-Prosody. Cette section adapte Strickland et al. (2023a) et explique sa relation avec le corpus décrit dans la section précédente.

NaijaTTS a été entraîné sur les fichiers gold du corpus NaijaSynCor, correspondant à environ 7,5 heures de parole et 80 locuteurs. Pour garantir la fiabilité de nos données d'entraînement, nous avons limité ce projet à ces fichiers, car leur transcription et alignement syllabique ont été vérifiés par des annotateurs. Les données d'entraînement sont donc basées sur les mêmes fichiers sons et alignements utilisés pour produire le corpus NaijaSynCor-Prosody.

Nous avons basé notre système de synthèse vocale sur la plateforme FastSpeech 2 (FS2) (Ren et al., 2022), un système de TTS neuronal de bout en bout non autorégressif entraîné directement sur des entrées .wav, dont il extrait des descripteurs de durée, de hauteur et d'énergie pour les utiliser lors de l'entraînement. L'architecture de FS2 inclut un encodeur qui convertit la séquence d'encastrement des phonèmes (phoneme embedding sequence) en une séquence cachée des phonèmes. Ensuite, un variance adaptor ajoute des informations relatives à la durée, la hauteur, et l'intensité prédits pour chaque phonème. Ensuite, cette séquence cachée est convertie en mel-spectrogrammes par un décodeur. FS2 a été choisi principalement pour le variance adapter. Nous intervenons dans cette partie du pipeline pour remplacer les valeurs prédites par nos propres vecteurs contenant une valeur de hauteur, de durée, et d'intensité pour chaque phonème. Cela permet un contrôle direct et précis de la prosodie au niveau phonémique.

Des efforts ont été déployés pour s'assurer que NaijaTTS était capable de produire un discours
naturel et compréhensible dans un cadre expérimental. Cela s'est avéré être l'un des plus grands défis
dans le développement de NaijaTTS, car les fichiers audio n'ont pas été enregistrés dans l'optique
de la création d'un système de TTS. Les fichiers ont souvent été enregistrés dans de mauvaises
conditions acoustiques, contiennent des bruits de fond importants, et les éconcés présentent de
nombreuses dysfluences. En raison de ces facteurs, les premières itérations ont produit des sorties de
mauvaise qualité, difficiles à comprendre et contenant de nombreux artefacts. De gains significatifs
ont été faits grâce à un processus de filtrage de données visant à entraîner le modèle sur les fichiers
enregristrés dans les meilleures conditions. Pour ce faire, nous avons brièvement écouté chaque session
d'enregistrement et évalué leur qualité sonore sur une base informelle est purement perceptuelle.
Nous avons ensuite ré-entraîné le modèle avec les enregistrements que nous avons jugés les meilleures.
En ce qui concerne les dysfluences, nous avons exploité les informations annotées dans le treebank pour exclure tous les énoncés contenant des pauses remplies, des réparations, des mots abandonnés ou des segments jugés incompréhensibles par les transcripteurs.

Ces contraintes ont réduit la taille de notre jeu de données à 3,7 heures de parole et 52 locuteurs. Cependant, malgré la taille réduite du corpus d'apprentissage, nous avons constaté une nette amélioration de la qualité de la parole générée. L'exclusion des dysfluences et des fichiers enregistrés dans de mauvaises conditions semblent avoir contribué de manière comparable à l'amélioration de la qualité de la parole synthétisée. Des gains significatifs en termes de qualité de la parole ont également été obtenus en affinant le vocodeur HiFi-GAN (Kong et al., 2020) à l'aide des fichiers .wav utilisés pour l'entrainement du modèle.

Nous avons également veillé à ce que la parole de sortie ne corresponde pas aux voix des locuteurs figurant dans le corpus NaijaSynCor. Nous avons utilisé deux approches distinctes pour anonymiser notre modèle. La première a consisté à séparer les locuteurs par genre, afin de produire 2 modèles voix selon leur genre. Cette approche a permis de produire de voix masculines et féminines de haute qualité, bien que nous ayons remarqué que les caractéristiques vocales perçues changeaient parfois en fonction de l'énoncé généré. Nous soupçonnons que certaines séquences rares de phonèmes ont amené le modèle à adopter les caractéristiques des fichiers sonores dans lesquels ces séquences apparaissent de manière disproportionnée. Une approche prometteuse, inspirée par les travaux de Meyer et al. (2023) consistait à enregistrer brièvement un membre du projet et à extraire un embedding anonymisé en utilisant une méthode d'extraction de xvector fournie par Speechbrain (Ravanelli et al., 2021), puis à le fournir directement au modèle en tant qu'entrée. Cela a produit une parole de haute qualité avec des caractéristiques vocales stables.

Dans les sections précédentes, nous avons vu que la F0 et la durée semblaient être des indicateurs fiables pour déterminer si une occurrence donnée de GO fonctionnait comme un marqueur de futur ou comme un verbe de mouvement. Cependant, il n'est pas clair si c'est la F0 seule ou une combinaison de F0 et de durée qui permet aux locuteurs du pidgin nigérian de distinguer ces deux utilisations. C'est un domaine dans lequel NaijaTTS peut être utilisé pour compléter les techniques exploratoires présentées dans la section précédente. Dans un contexte expérimental contrôlé, NaijaTTS nous permettrait de générer une série d'énoncés différant seulement par la hauteur et la durée assignées à GO. Nous pourrons donc voir si la hauteur est bien le seul paramètre qui permet aux locuteurs de distinguer les deux usages, ce qui suggérerait l'existence d'un système de ton lexical, ou si la durée est aussi perceptivement saillante, ce qui suggérerait plutôt un système d'accent lexical.

Plusieurs variantes de cette expérience peuvent être réalisées. L'une d'entre elles consisterait à utiliser des constructions syntaxiquement non ambiguës telles que *my father go go house* « mon père ira à la maison », qui sont clairement composées d'un verbe de mouvement précédé d'un marqueur de futur. Dans de tels cas, nous testerons si la hauteur et la durée contribuent de manière similaire à la perception du caractère naturel de l'énoncé. Si une hauteur plus basse mais une durée plus élevée sur le GO grammatical sont perçus comme naturelles, mais pas un hauteur plus élevée et une durée plus courte, cela indiquerait que la durée n'est pas aussi perceptivement saillante et que le pidgin nigérian pourrait être une langue à tons comme l'ont supposé des analyses antérieures. Cependant, si les deux contribuent de manière significative au caractère naturel perçu de l'énoncé, il se peut que la langue n'ait pas de ton lexical mais plutôt un système d'accent lexical. D'autres tests pourraient impliquer l'interprétation sémantique de constructions syntaxiquement ambiguës comme *my father go eat* qui peut signifier « mon père mangera » ou « mon père est parti manger » en fonction de la forme de GO utilisée. Lors de ces tests, les participants seraient interrogés sur leur interprétation de la phrase plutôt
que sur leur opinion quant à son caractère naturel. Dans ces cas, nous verrons si c'est la durée, la hauteur ou une combinaison des deux qui contribuent à l'interprétation du sens. Comme l'autre test, celui-ci permettrait de mieux comprendre si le pidgin nigérian utilise un système d'accent lexical, ce que les données du corpus suggèrent mais ne prouvent pas de manière définitive.

# 4 Conclusion

Dans cet article, nous avons présenté deux outils produits à partir des mêmes données, conçus pour remplir deux rôles dans une méthodologie scientifique partagée. NaijaSynCor-Prosody est un corpus novateur qui permet de faire des hypothèses sur l'intonosyntaxe en pidgin nigérian. NaijaTTS représente un système de synthèse conçu pour tester ces hypothèses dans un environnement expérimental contrôlé. Même si ces deux outils ont été spécifiquement développés pour le pidgin nigérian, cette méthodologie peut également être appliquée à d'autres langues si une quantité de données adéquate est disponible.

# Références

BIGI B., ABIOLA O. S. & CARON B. (2020). Resources and tools for automated speech segmentation of the african language Naija (Nigerian Pidgin). In *Human Language Technology. Challenges for Computer Science and Linguistics: 8th Language and Technology Conference, LTC 2017, Poznań, Poland, November 17–19, 2017, Revised Selected Papers* 8, p. 164–173 : Springer.

COURTIN M., CARON B., GERDES K. & KAHANE S. (2018). Establishing a language by annotating a corpus. In *annDH 2018 Annotation in Digital Humanities*, volume 2155, p. 7–11 : CEUR.

ELUGBE B. O. & OMAMOR A. P. (1991). *Nigerian Pidgin: Background and Prospects*.

FARACLAS N. (1996). *Nigerian Pidgin*. Routledge.

GERDES K., GUILLAUME B., KAHANE S. & PERRIER G. (2018). SUD or Surface-Syntactic Universal Dependencies: An annotation scheme near-isomorphic to UD. In *Universal dependencies workshop 2018*.

GUILLAUME B. (2021). Graph matching and graph rewriting : Grew tools for corpus exploration, maintenance and conversion. In *Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: System Demonstrations*, p. 168–175.

GUILLER K. (2020). Analyse syntaxique automatique du pidgin-créole du nigeria à l'aide d'un-transformer (bert) : Méthodes et résultats.

KAHANE S., CARON B., STRICKLAND E. & GERDES K. (2021). Annotation guidelines of UD and SUD treebanks for spoken corpora. In *Proceedings of the 20th International Workshop on Treebanks and Linguistic Theories (TLT, SyntaxFest 2021)*, p. pp–35 : Association for Computational Linguistics.

KONG J., KIM J. & BAE J. (2020). Hifi-gan : Generative adversarial networks for efficient and high fidelity speech synthesis. *Advances in Neural Information Processing Systems*, **33**, 17022–17033.

LACHERET A. & VICTORRI B. (2002). La période intonative comme unité d'analyse pour l'étude du français parlé : modélisation prosodique et enjeux linguistiques. *Verbum : Analecta Neolatina*, **1**(24), 55–72.
LACHERET-DUJOUR A., KAHANE S. & PIETRANDREA P. (2019). *Rhapsodie: A prosodic and syntactic treebank for spoken French*, volume 89. John Benjamins Publishing Company.

LIU L., LACHERET-DUJOUR A. & OBIN N. (2019). Automatic Modelling and Labelling of Speech Prosody: What's New with SLAM+? In S. CALHOUN, P. ESCUDERO, M. TABAIN & P. WARREN, Éds., *International Congress of Phonetic Sciences (ICPhS)*, Melbourne, Australia : International Phonetic Association and Australasian Speech Science and Technology Association Australasian Speech Science and Technology Association Inc. HAL : [hal-02119926](https://hal.inria.fr/hal-02119926).

MAFENI B. (1971). Nigerian pidgin. *The English Language in West Africa*, p. 95–112.

MANFREDI S., CARON B., GERDES K. & COURTIN M. (2021). Naijasyncor : a syntactic treebank, a parser and a wiktionary for naija. In *Summer Conference of the Society of Pidgin and Creole Linguistics*.

MEYER S., TILLI P., DENISOV P., LUX F., KOCH J. & VU N. T. (2023). Anonymizing speech with generative adversarial networks to preserve speaker privacy. In *2022 IEEE Spoken Language Technology Workshop (SLT)*, p. 912–919. DOI: [10.1109/SLT54892.2023.10022601](https://doi.org/10.1109/SLT54892.2023.10022601).

OBIN N., BELIAO J., VEAUX C. & LACHERET A. (2014). SLAM : Automatic stylization and labelling of speech melody. In *Speech prosody*, p. 246.

PIETRANDREA P., KAHANE S., LACHERET-DUJOUR A. & SABIO F. (2014). The notion of sentence and other discourse units in corpus annotation. *Spoken corpora and linguistic studies*, p. 331–364.

RAVANELLI M., PARCOLLET T., PLANTINGA P., ROUHE A., CORNELL S., LUGOSCH L., SUBAKAN C., DAWALATABAD N., HEBA A., ZHONG J., CHOU J.-C., YEH S.-L., FU S.-W., LIAO C.-F., RASTORGUEVA E., GRONDIN F., ARIS W., NA H., GAO Y., MORI R. D. & BENGIO Y. (2021). SpeechBrain : A general-purpose speech toolkit. arXiv : 2106.04624.

REN Y., HU C., TAN X., QIN T., ZHAO S., ZHAO Z. & LIU T.-Y. (2022). Fastspeech 2 : Fast and high-quality end-to-end text to speech.

STRICKLAND E., AUBAKIROVA D., DONCENCO D., TORRES D. & EVRARD M. (2023a). NaijaTTS : A pitch-controllable TTS model for Nigerian Pidgin. In *ISCA Speech Synthesis Workshop*, Grenoble, France. HAL : [hal-04183972](https://hal.inria.fr/hal-04183972).

STRICKLAND E., EVRARD M. & LACHERET-DUJOUR A. (2023b). SLAM 3 : An updated stylization model for speech melody. In *International Congress of Phonetic Sciences*, Prague, Czech Republic. HAL : [hal-04171671](https://hal.inria.fr/hal-04171671).

STRICKLAND E., LACHERET-DUJOUR A., EVRARD M., KAHANE S., QUENNHEN P., EGBOKHARE F. & GUILLAUME B. (2024). New Methods for Exploring Intonosyntax : Introducing an Intonosyntactic Treebank for Nigerian Pidgin. In *LREC-Coling*, Turin, Italy.

WELLS J. C. (1995). Computer-coding the ipa : a proposed extension of sampa. *Revised draft*, 4(28), 1995.
# Étude des facteurs de complexité des modèles de langage dans une tâche de compréhension de lecture à l'aide d'une expérience contrôlée sémantiquement

Elie Antoine¹

Frédéric Béchet¹,⁴

Géraldine Damnati²

Philippe Langlais³

(1) Aix-Marseille Université, CNRS, LIS

(2) Orange Innovation, DATA&AI, Lannion

(3) RALI/DIRO, Université de Montréal, Canada

(4) International Laboratory on Learning Systems (ILLS - IRL CNRS), Montreal

{first.last}@lis-lab.fr , {first.last}@orange.com,

felipe@iro.umontreal.ca

## RÉSUMÉ

Cet article propose une méthodologie pour identifier des facteurs de complexité inhérents aux tâches de traitement automatique du langage (TAL), indépendamment de la dimension des modèles. Il montre que la performance inférieure de certains exemples est attribuable à des facteurs de complexités spécifiques. Plutôt que de procéder à des évaluations générales, nous préconisons des évaluations restreintes portant sur des tâches, des ensembles de données et des langues spécifiques, décrites de manière linguistique. Appliquée à une tâche de compréhension de texte via un corpus de questions-réponses, notre méthode met en évidence des facteurs de complexité sémantique affectant divers modèles de tailles et d'architectures différentes. En outre, nous proposons plusieurs corpus de complexité sémantique croissante dérivés de ces facteurs, avançant que l'optimisation de leur traitement dépasse la simple augmentation de la taille des modèles.

## ABSTRACT

### Investigating the complexity factors of language models in a reading comprehension task using a semantically controlled experiment

The paper introduces a methodology focusing on identifying complexity factors specific to natural language processing (NLP) tasks, independent of model size. It suggests that certain examples consistently yield lower scores regardless of model size due to specific complexity factors. Rather than broad evaluations, the methodology advocates for constrained evaluations on specific tasks, datasets, and languages, described linguistically. The study demonstrates this approach on a reading comprehension task using a corpus of question-answer pairs. It proposes and validates semantic complexity factors affecting models of different sizes and architectures. Additionally, it defines multiple corpora of increasing semantic complexity derived from these factors. The study argues that *improving the processing of these corpora requires more than just increasing model parameters.*

**MOTS-CLÉS** : Compréhension de texte, Question/Réponse, Grand modèle de langage, Annotation sémantique, FrameNet.

**KEYWORDS:** Text Understanding, Question Answering, LLM, semantic annotation, FrameNet.

<figure><img src="image_120.png" /></figure>
# 1 Introduction

Les modèles de langage génératifs constituent actuellement l'état de l'art pour presque toutes les tâches de traitement du langage naturel, en particulier grâce au développement de grands modèles de langage, dont le nombre et la taille ne cessent de croître. Toutefois, malgré l'intense activité de recherche les concernant, de nombreuses zones d'ombre demeurent quant à leurs capacités, limites, et risques. L'étude académique de ces modèles est entravée par des défis significatifs : les modèles "ouverts" nécessitent des ressources considérables non accessibles à tous, tandis que l'analyse des modèles "fermés", accessibles via des API, est limitée par des coûts potentiellement élevés et un manque de transparence sur leur fonctionnement et apprentissage.

Cette réalité encourage l'examen de modèles plus petits, dont la gestion, le développement, et l'analyse sont simplifiés. Cependant, cette approche est freinée par le risque que les améliorations apportées ne soient pas transférables à des modèles possédant plus de paramètres, posant ainsi la question de leur impact réel sur le développement futur.

Pour remédier à cette limitation, nous présentons dans cet article une approche axée sur l'identification de facteurs de complexité inhérents à des tâches spécifiques, indépendamment de la taille des modèles développés. Cette méthode postule que peu importe leur capacité individuelle, ces modèles sont uniformément influencés par ces facteurs de complexité.

Pour obtenir ces facteurs, au lieu d'effectuer des évaluations "boîte noire" couvrant de nombreuses tâches, jeux de données et langues (Liang et al., 2023; Srivastava et al., 2023) nous préconisons des analyses précises, confinées à des contextes spécifiquement définis et décrits sous un angle linguistique. Cette méthode permet de comparer des modèles de différentes tailles et cherche à révéler les facteurs de complexité linguistique inhérents aux capacités de résolution de tâches de chaque modèle.

Cet article présente un cas d'application de notre méthode à une tâche de compréhension de texte, en utilisant le corpus français Calor (Béchet et al., 2019), qui comprend des paires Question-Réponse (QR) enrichies d'annotations sémantiques fines détaillant la relation entre questions et réponses. En analysant les résultats de différents modèles de tailles diverses sur ces paires et en tenant compte des annotations sémantiques, nous visons à identifier des facteurs de complexité pertinents pour tous les modèles.

Les principales contributions de cette étude consistent à proposer et à valider des facteurs de complexité sémantique qui ont un impact négatif sur des modèles d'architectures et de tailles diverses. En outre, l'étude définit des corpus de complexité sémantique croissante dérivés de ces facteurs, obtenus par des partitions du corpus Calor. Nous soutenons que l'amélioration du traitement de ces corpus nécessite plus qu'une simple augmentation du nombre de paramètres du modèle.

# 2 Un corpus de compréhension de texte sémantiquement contrôlé

L'étude de la tâche de question-réponse à partir de documents a été largement étudiée avec l'émergence des modèles de réseaux neuronaux profonds, stimulée par l'accès à d'importants corpus d'évaluation tels que SQuAD (Rajpurkar et al., 2016) ou MultiRC (Khashabi et al., 2018), qui fait partie du benchmark SuperGLUE (Wang et al., 2019). Dans ces classements, les modèles de langage basés sur des Transformers sont aujourd'hui systématiquement plus performants que les humains. Cela
souligne la difficulté d'évaluer les modèles en raison de la nature subjective de la génération des réponses, tout en démontrant la capacité des modèles à capturer et à reproduire les biais inhérents aux données sur lesquelles ils sont entraînés.

Cette tâche présente plusieurs avantages malgré ses contraintes : (1) Elle facilite la comparaison directe entre modèles classificateurs et génératifs dans un contexte unifié, où les classificateurs, bien que moins complexes, parviennent à égaler les performances des génératifs ; (2) Elle peut être partiellement décrite par un modèle linguistique formel détaillant les liens syntaxiques et sémantiques entre questions et réponses, contrairement aux tâches exclusivement génératives comme le résumé ou la traduction, plus difficiles à formaliser linguistiquement.

Dans cette étude, nous utilisons le corpus Calor contenant des paires question/réponse enrichies d'annotations sémantiques selon le modèle Berkeley Framenet (Baker et al., 1998). Ce corpus, destiné à l'origine à l'évaluation de la génération de questions, rassemble des textes en français issus de Wikipedia et de ClioTexte<fnref n="1" />, un ensemble de documents historiques utilisés dans l'enseignement en France, couvrant principalement trois sujets : la Première Guerre mondiale, l'archéologie, et l'antiquité, avec des sources variées, depuis les documents historiques de ClioTexte jusqu'aux articles encyclopédiques de Wikipedia.

Les annotations s'articulent autour de cadres sémantiques (Frames), définissant des scénarios prototypiques (tels que décider, perdre, attaquer, vaincre, etc.). Le processus d'annotation consiste d'abord à identifier l'Unité Lexicale ou Lexical Unit (LU) déclenchant le Cadre, suivie par celle des éléments constitutifs du cadre, ou Frame Elements (FE).

Un exemple est donné dans la figure 1 pour une phrase annotée avec les deux Frames, Losing déclenché par le mot perdu et Attack déclenché par assauts.

<figure><img src="image_121.png" /><figcaption>FIGURE 1 – Exemple de phrase annotée avec les cadres sémantiques FrameNet</figcaption></figure>

La création d'un corpus de questions/réponses structuré sémantiquement a été réalisée selon la méthode suivante : initialement, une sélection aléatoire d'un cadre sémantique *F* et d'un élément *de cadre* *E* est effectuée dans une phrase spécifique. Des annotateurs humains sont ensuite chargés de formuler une question dont *E* constitue la réponse, exploitant pour cela la relation sémantique existant entre *F* et *E*. Les autres *FE* présents dans la phrase servent de contexte *C* à la question, offrant ainsi une contextualisation supplémentaire. Par la variation des éléments *F*, *E*, et *C* au sein d'une même phrase, il est possible de générer un large éventail de questions, accompagnées de leurs réponses et catégorisées selon leur classe sémantique correspondant au type du *FE*.

Prenons pour exemple la phrase mentionnée dans la Figure 1. Avec $F = Perdre$, $E = Propriétaire$, et $C = Temps, Possession$, il est possible pour les annotateurs de formuler des questions comme :

— *Qui a perdu la majorité de ses troupes le 10 décembre?*

<footnote n="1">1. https://clio-texte.clionautes.org/</footnote>
— Quelles armées ont été décimées lors des attaques du 10 décembre ?

Pour encourager une diversité lexicale dans la formulation des questions, la phrase source n’était pas révélée aux annotateurs. Cette approche leur donnait la latitude de choisir librement les mots lorsqu’ils construisaient les questions et de décider des éléments contextuels *C* à intégrer. Lorsque les réponses exigeaient une analyse de coréférences, les chaînes de coréférence menant à la réponse appropriée étaient annotées. Dans l’exemple mentionné précédemment, la réponses (les armées) nécessitaient une résolution de coréférence pour déterminer la réponse exacte, bien que l’annotation des cadres se fasse au niveau de la phrase. Il en résulte que répondre correctement pourrait demander d’extraire des informations au-delà de la phrase donnée, dans d’autres sections du texte. Cette méthodologie a permis d’enrichir le corpus Calor de 1821 questions issues de 54 cadres sémantiques différents.

# 3 Modèles de langage pour la compréhension de la lecture

Dans cette étude, nous comparons six modèles de langage pré-entraînés sur notre tâche de question-réponse en utilisant le corpus Calor. Parmi ces modèles, l'un est un modèle de classification basé sur une architecture BERT développée pour la langue française, CamemBERT (Devlin et al., 2019; Martin et al., 2020). Trois d'entre eux sont des modèles génératifs multilingues basés sur T5 (T5-LARGE, FLAN-T5-LARGE (Wei et al., 2021), MT5-LARGE (Xue et al., 2021)), et les deux autres sont des grand modèle de langage (LLM) actuels : LLAMA2 (Touvron et al., 2023), Mixtral 8x7B (Jiang et al., 2024) et chatGPT-3.5².

Tous ces modèles pré-entraînés, à l'exception de GPT3.5, ont été affinés sur notre tâche de question-réponse (QR) en utilisant le corpus français FQuAD (d'Hoffschmidt et al., 2020). Ce corpus, construit de manière similaire à SQuAD (Rajpurkar et al., 2016), contient des questions basées sur des documents Wikipédia en français. Il convient de noter que si la plupart des textes du corpus Calor proviennent également de Wikipédia, Calor est nettement plus difficile que FQuAD. Cette différence s'explique par le fait que les textes de Calor sont spécialisés et que les réponses annotées sont significativement plus longues, correspondant aux éléments de cadre de nos annotations sémantiques.

Pour l'évaluation sur le corpus Calor, nous avons harmonisé les formats des corpus FQuAD et Calor, facilitant ainsi l'évaluation directe des systèmes affinés avec FQuAD sur Calor. Cette unification a permis d'appliquer un affinage spécifique à chaque modèle en vue de leur évaluation. Pour CamemBERT et les variantes de T5, nous avons procédé à un affinage sur le corpus FQuAD pendant deux époques. Concernant LLAMA2, nous avons employé la méthode Low-Rank Adaptation (LoRA), tandis que pour GPT-3.5 et Mixtral 8x7B, une approche d'amorçage à respectivement un et deux exemples a été utilisé. Cette dernière consiste à fournir au modèle un exemple d'entrée et de sortie dans le format désiré, lui indiquant explicitement de se concentrer sur l'extraction de contenu à partir du document source.

Les performances de ces sept modèles ont été évaluées sur le corpus Calor. Pour comparer l'efficacité des modèles extractifs (comme CamemBERT) et abstractifs (les autres modèles considérés), la métrique ROUGE-L, via l'outil ROUGE<fnref n="3" /> a été utilisé. Une évaluation humaine a également été menée, nous n'indiquons ici que le pourcentage de réponses annotées comme correctes. Les résultats

<footnote n="2">2. API de https://chat.openai.com</footnote>

<footnote n="3">3. Nous utilisons l'implémentation de google research disponible ici</footnote>
obtenus, illustrés dans le tableau 1, montrent les scores moyens en ROUGE-L et en pourcentage de réponses correctes via l'annotation manuelle pour l'ensemble des 1821 questions composant le corpus.

<table><caption>TABLE 1 – Description des 7 modèles de langage utilisés dans nos expériences avec le score ROUGE-L moyen et le pourcentage de réponses annotées comme correctes sur le corpus d'évaluation</caption><thead><tr><td>Model</td><td>type</td><td>adapt</td><td>#param</td><td>Rouge-L</td><td>% réponses correctes</td></tr></thead><tbody><tr><td>CamemBERT</td><td>classif.</td><td>FT</td><td>335M</td><td>0.82</td><td>78</td></tr><tr><td>T5-LARGE</td><td>gene.</td><td>FT</td><td>738M</td><td>0.81</td><td>77</td></tr><tr><td>FLAN-T5-LARGE</td><td>gene.</td><td>FT</td><td>783M</td><td>0.80</td><td>79</td></tr><tr><td>MT5-LARGE</td><td>gene.</td><td>FT</td><td>1.2B</td><td>0.80</td><td>77</td></tr><tr><td>LLAMA-2</td><td>gene.</td><td>LoRA</td><td>7B</td><td>0.69</td><td>72</td></tr><tr><td>Mixtral-8x7b</td><td>gene.</td><td>prompt</td><td>47B</td><td>0.80</td><td>82</td></tr><tr><td>GPT 3.5</td><td>gene.</td><td>prompt</td><td>175B</td><td>0.72</td><td>82</td></tr></tbody></table>

Dans l'ensemble, les performances des différents modèles sur notre corpus sont considérablement plus basses par rapport à celles rapportées dans des tâches analogues telles que SQuAD<fnref n="4" /> ou MultiRC dans SuperGLUE<fnref n="5" />. Cet écart peut être attribué en partie aux caractéristiques du corpus Calor, aux différences entre le corpus d'affinage FQuAD et le corpus d'évaluation Calor comme discuté précédemment, et aussi à l'absence d'optimisation du modèle via hyperparamétrage.

Les scores ROUGE-L des modèles de génération basés sur T5 et du modèle de classification basé sur CamemBERT sont relativement proches, alors que ceux de deux des grands modèles de langage, LLAMA-2 et GPT3.5, sont significativement en retard par rapport aux autres modèles. Ces résultats ne sont pas inattendus, étant donné que la tâche de question-réponse employée dans cette étude favorise les modèles extractifs par rapport aux modèles génératifs. Ce biais provient du fait que les références dans le corpus d'évaluation Calor sont extractives, comprenant des segments du texte original. Par conséquent, les métriques ROUGE favorisent intrinsèquement les modèles qui ne font que reproduire les segments sans introduire de mots supplémentaires.

Il est donc essentiel d'interpréter avec prudence les comparaisons directes de scores entre modèles basées sur cette métrique. L'intention de cette étude est moins de juger de la supériorité d'un modèle sur un autre en termes de performances brutes que d'explorer les facteurs linguistiques qui affectent les résultats de chaque modèle, indépendamment de leur efficacité absolue.

L'étude initiale que nous avons menée visait à examiner la corrélation potentielle entre le type de relation sémantique liant une question et sa réponse, et la performance des modèles. Pour discerner ces relations sémantiques, nous avons utilisé les cadres sémantiques (Frames) qui ont formé la base de l'élaboration des questions, comme détaillé dans le paragraphe 2. En segmentant le corpus Calor en 54 sous-corpus correspondant au nombre de cadres présents au total dans notre corpus, nous avons pu évaluer la performance de chaque modèle en fonction du cadre considéré.

S'il n'y avait pas de corrélation entre la performance et la relation sémantique, la variance des scores entre les sous-corpus devrait être minimale. Cependant, nos résultats indiquent le contraire.

Ceci est illustré dans la figure 2 où la distribution des scores de GPT-3.5 pour chaque sous-corpus de Frame est représentée. Comme on peut le voir, cette distribution n'est pas uniforme, validant l'hypothèse que la performance du modèle est liée aux relations sémantiques sous-jacentes. Ce même

<footnote n="4">4. https://rajpurkar.github.io/SQuAD-explorer</footnote>

<footnote n="5">5. https://super.gluebenchmark.com/leaderboard</footnote>
<figure><img src="image_122.png" /><figcaption>FIGURE 2 – Performance du modèle GPT-3.5 pour chaque Frame triée par la mesure rouge-L</figcaption></figure>

type de distribution se retrouve pour tous les modèles, même si les mêmes Frames ne se retrouvent pas toujours dans les mêmes positions. Cette distribution se retrouve également dans l'évaluation humaine des réponses produites par les modèles. Dans tous les cas, le type de relations sémantiques a une influence significative sur la performance de tous les modèles. Dans la section suivante, nous proposerons différents facteurs de complexité pouvant expliquer ce phénomène.

# 4 Facteurs de complexité sémantique

Nous avons vu dans la section précédente que les performances des différents modèles de question-réponse n'étaient pas uniformes sur l'ensemble des cadres sémantiques. Cette section introduit une méthodologie destinée à identifier des facteurs de complexité sémantique susceptibles de justifier ces variations de performances. Nous étudierons aussi dans quelle mesure ces facteurs sont applicables de manière générale aux différents modèles analysés.

## Méthode

1. Nous formulons plusieurs hypothèses concernant les facteurs de complexité sémantique ($F = f_1, f_2, ...$) sous forme de questions binaires applicables aux exemples du corpus d'évaluation. Par exemple : *La recherche de la réponse nécessite-t-elle de résoudre une chaîne de corréférence?*

2. Pour chaque facteur $f$, nous divisons le corpus d'évaluation en deux sous-ensembles $E_f$ et $\bar{E}_f$ contenant respectivement les exemples répondant "oui" (supposés "difficiles") et "non" (supposés "plus faciles") à la question posée par le facteur $f$. Lorsqu'un seuil numérique est nécessaire, nous sélectionnons une valeur pour répartir le plus équitablement le corpus.

3. Pour chaque facteur $f$ et modèle $m$, nous calculons la performance ROUGE-L du modèle $m$ sur les partitions $Ef$ et $\bar{Ef}$ : $RL(m, Ef)$ et $RL(m, \bar{Ef})$. Ensuite, nous calculons : $\delta = \lfloor (RL(m, Ef) - RL(m, \bar{Ef})) * 100 \rfloor$ représentant la dégradation en termes de points de ROUGE-L due au facteur de complexité $f$.
4. Enfin, nous calculons une mesure de significativité statistique pour $\delta$ avec le test U de Mann-Whitney avec un niveau de risque de 5% entre les deux partitions $E_f$ et $\bar{E}_f$. Ce test prend en compte la valeur de $\delta$ et les caractéristiques de chaque ensemble dans la partition.

**Facteurs de complexité sémantique.** Pour cette étude, nous avons classé les facteurs en deux catégories : les facteurs génériques indépendants des relations sémantiques ($f0$ et $f1$) et ceux qui dépendent des relations sémantiques ($f2$ à $f6$). Pour ces derniers, nous avons été guidés par certains facteurs de complexité proposés pour l'analyse syntaxique automatique dans Frames dans (Marzinotto et al., 2018).

**$f0$ : biais dans le corpus d'adaptation.** La première explication pourrait être l'association entre la distribution des cadres sémantiques dans le corpus d'adaptation et les scores du modèle dans le corpus d'évaluation. Malgré l'absence de corrélation directe entre ces corpus, une grande quantité de certaines relations sémantiques dans le corpus FQuAD pourrait être corrélée avec la performance du modèle sur des questions/réponses présentant des relations similaires dans le corpus d'évaluation. Pour ce faire, nous avons automatiquement annoté le corpus FQuAD avec des cadres et classé les cadres en fonction de leur fréquence. Ensuite, nous divisons les exemples FQuAD en deux sous-ensembles, afin d'obtenir une représentation équilibrée en termes de fréquence des cadres : $E_f$ comprend les exemples correspondant aux cadres les moins fréquents, tandis que $\bar{E}_f$ comprend le reste.

**$f1$ : coréférence.** La nécessité de résoudre une coréférence constitue un facteur de complexité potentiel. Comme mentionné dans la section 2, les chaînes de coréférence sont annotées pour les arguments des relations sémantiques liant les questions et les réponses, ce qui nous permet de diviser le corpus en deux : les exemples nécessitant la résolution d'une chaîne de coréférence pour trouver la réponse $E_f$, et les autres $\bar{E}_f$.

**$f2$ : nature de la relation sémantique du déclencheur.** Les déclencheurs d'un cadre sémantique dans le modèle FrameNet, appelés Unité lexicale - LU, peuvent être verbaux ou nominaux. Il a été démontré dans (Marzinotto et al., 2018) que les relations déclenchées par une LU nominale sont plus difficiles à traiter. Nous avons donc divisé les exemples du corpus d'évaluation en fonction de la nature de la LU : soit nominale $E_f$, soit verbale $\bar{E}_f$.

**$f3$ : présence du déclencheur du cadre sémantique dans la question.** Lorsque le même terme déclenche la relation sémantique dans le texte et apparaît dans la question, l'établissement d'un lien entre la question et la réponse est évidemment plus simple. Pour tenir compte de ce facteur, nous classons les exemples dans le sous-ensemble $E_f$ lorsque le déclencheur est absent de la question et de la réponse, et dans $\bar{E}_f$ lorsque l'unité lexicale (LU) (ou l'une de ses inflexions) est présente dans les deux.

**$f4$ : Distance entre le déclencheur et la réponse en termes d'arcs de dépendance.** La distance entre le déclencheur du cadre et la réponse dans le texte peut constituer un facteur de complexité, étant donné qu'une plus grande distance tend à être corrélée à un plus grand nombre d'attracteurs. Pour quantifier ce facteur, nous calculons la distance en termes d'arcs de dépendance à l'aide d'une
<table><caption>TABLE 2 – Validation des facteurs de complexité : chaque cellule montre $\delta$ pour chaque modèle et facteur, avec des marquages jaunes pour différences significatives. La ligne "proportion" indique le pourcentage de chaque partition $E_f$ dans le corpus total.</caption><thead><tr><th rowspan="2">modèles/facteurs</th><th colspan="7">Facteur de complexité</th></tr><tr><th>f0</th><th>f1</th><th>f2</th><th>f3</th><th>f4</th><th>f5</th><th>f6</th></tr></thead><tbody><tr><td>proportion de E<sub>f</sub> (%)</td><td>42%</td><td>6%</td><td>37%</td><td>45%</td><td>12%</td><td>59%</td><td>46%</td></tr><tr><td>CamemBERT</td><td>-1</td><td>-4</td><td>-1</td><td style="background-color: #ffff00;">-2</td><td style="background-color: #ffff00;">-7</td><td style="background-color: #ffff00;">-3</td><td style="background-color: #ffff00;">-1</td></tr><tr><td>T5</td><td>-1</td><td>-9</td><td>-2</td><td>-1</td><td style="background-color: #ffff00;">-7</td><td style="background-color: #ffff00;">-5</td><td style="background-color: #ffff00;">-2</td></tr><tr><td>FLAN</td><td>-2</td><td>-4</td><td>-3</td><td>-2</td><td>-4</td><td style="background-color: #ffff00;">-5</td><td style="background-color: #ffff00;">-3</td></tr><tr><td>MT5</td><td>0</td><td>-13</td><td>-1</td><td>-1</td><td style="background-color: #ffff00;">-10</td><td style="background-color: #ffff00;">-4</td><td style="background-color: #ffff00;">-2</td></tr><tr><td>llama-2</td><td>0</td><td>-3</td><td>-1</td><td>3</td><td>-3</td><td style="background-color: #ffff00;">-7</td><td style="background-color: #ffff00;">-2</td></tr><tr><td>mixtral-8x7b</td><td>0</td><td>1</td><td>-2</td><td>-1</td><td>-5</td><td style="background-color: #ffff00;">-6</td><td>0</td></tr><tr><td>GPT-3.5</td><td>0</td><td style="background-color: #ffff00;">4</td><td>-1</td><td>0</td><td>-4</td><td>-4</td><td style="background-color: #ffff00;">-3</td></tr></tbody></table>

analyse syntaxique du corpus. Nous regroupons les exemples pour lesquels il existe au moins deux arcs de dépendance entre l'unité lexicale (LU) et la réponse dans le sous-ensemble $E_f$, et ceux pour lesquels il n'existe qu'un seul arc dans $\bar{E}_f$.

**f5 : Nombre d'arguments dans le cadre.** Certaines relations sémantiques ont un plus grand nombre d'arguments (Frame Elements - FEs) que d'autres. La quantité d'éléments de cadre dans la relation sémantique sous-jacente à la paire question-réponse est également un facteur influençant la difficulté : un plus grand nombre d'éléments de cadre implique que le processus de liaison dispose de plus de contexte pour identifier avec précision la réponse. À l'inverse, un nombre réduit d'arguments rend la tâche plus ambiguë. Nous regroupons les exemples ne comportant pas plus de deux FE dans le sous-ensemble $E_f$, et ceux comportant plus de deux arguments dans $\bar{E}_f$.

**f6 : Mesure de l'entropie de la distribution des LUs pour un cadre donné.** Certains cadres sont systématiquement déclenchés par les mêmes termes, tandis que d'autres présentent une diversité beaucoup plus grande, ce qui entraîne une ambiguïté dans leurs déclenchements. Cette mesure de la "surprise" peut être quantifiée par l'entropie de la distribution des LU dans le corpus d'entraînement. Une entropie plus élevée indique une plus grande ambiguïté dans le déclenchement des cadres. Nous incluons des exemples dans le sous-ensemble $E_f$ pour les cas dont la valeur d'entropie est supérieure à un seuil $\alpha$, et dans $\bar{E}_f$ pour les cas inférieurs au même seuil. Le seuil $\alpha$ est calculé comme la valeur moyenne de l'entropie sur l'ensemble du corpus.

# 5 Validation expérimentale

Le tableau 2 présente les résultats pour ces 7 facteurs de complexité. Dans chaque case, pour un modèle $m$ et un facteur $f$, la valeur correspond à l'impact de $f$ sur $m$ exprimé par la différence en termes de points ROUGE-L $\delta$ présentée précédemment. Les cases colorées en jaune correspondent aux facteurs qui ont validé le test U de Mann-Whitney pour la significativité statistique avec un risque de 5

Comme on peut le voir, le facteur générique $f0$ correspondant au lien entre la fréquence d'une Frame
dans le corpus d'adaptation et dans le corpus d'évaluation a très peu d'influence sur les résultats.

En ce qui concerne f1, on constate que le fait de devoir résoudre une chaîne de coréférence est un facteur de complexité pour tous les modèles sans être significatif, mais qu'il n'a principalement un impact que pour les "petits" modèles. Dans les faits, même s'il existe une certaine perte de performance avec les LLMs, celle-ci est moins importante qu'avec les autres modèles, voir même un gain significatif dans le cas de GPT-3.5. Ceci suggère que les LLMs, par leur taille, ont une bien meilleure capacité à gérer les coréférences, au moins celles considérées dans cette tâche de question-réponse.

Parmi tous les autres facteurs, nous pouvons observer que la nature du déclencheur du cadre (f2) est effectivement un facteur de complexité pour tous les modèles, bien qu'il ne soit statistiquement significatif pour aucun d'entre eux. Le facteur f3 est également validé pour tous les modèles sauf LLAMA et GPT-3.5, mais il n'est significatif que pour CamemBERT. Concernant la distance entre le déclencheur et la réponse (f4), elle affecte négativement de façon plus importante les "petits" modèles, ce qui peut orienter vers l'hypothèse que les LLMs encodent mieux la structure syntaxique des phrases et modélisent ainsi la structure profonde des énoncés.

Les deux facteurs de complexité qui sont validés pour tous les modèles et qui sont pour la plupart statistiquement significatifs sont le nombre d'éléments du cadre dans la relation sémantique (f5) et la mesure de l'entropie dans la distribution des déclencheurs de ces mêmes relations (f6).

Il est intéressant de noter que les facteurs les plus fiables sont ceux les plus étroitement liés à la définition des cadres (nombre d'arguments pour f5 et entropie dans la distribution des déclencheurs pour f6) plutôt qu'à leur utilisation dans un contexte particulier (choix de la forme syntaxique du déclencheur dans f2, répétition du déclencheur dans la question dans f3, et complexité de l'arbre syntaxique dans f4). Par conséquent, les facteurs f5 et f6 peuvent être assimilés à une mesure de l'ambiguïté sémantique intrinsèque dans les relations question/réponse.

Cela peut être illustré par quelques exemples de notre corpus. Par exemple, le Frame *Request* peut avoir plus de 20 déclencheurs dans le lexique de Berkeley Framenet<fnref n="6" />. Dans notre corpus d'entraînement, il compte 118 occurrences avec 18 déclencheurs différents, résultant en une des mesures d'entropie les plus élevées, et un score ROUGE-L variant de 0,55 à 0,84 selon le modèle.

En contraste, la Frame *Installing*, défini comme "Un Agent place un Composant dans un Emplacement Fixe de sorte que le Composant est attaché et interconnecté et par là fonctionnel", a seulement deux déclencheurs dans le dictionnaire Framenet, installer et installation. Il compte 58 occurrences dans notre corpus d'entraînement avec 2 déclencheurs principaux et est l'un des cadres faciles avec une entropie faible et un score ROUGE-L variant de 0,79 à 0,90 selon le modèle.

De même, (f5) démontre que certains cadres présentent un nombre moyen inhabituellement bas d'éléments de cadre dans leurs exemples (≤ 2). Par exemple, le Frame *Origin* contient seulement deux FEs essentiel s(*Origin* et *Entity*), sans FEs non-essentiels présents dans Berkeley Framenet. Par contraste, les Frames *Giving* et *Contacting* comportent respectivement trois et cinq FEs essentiel, ainsi que de nombreux FEs non-essentiels dans FrameNet. Ce schéma reflète le phénomène observé avec f6, où le Frame *Origin* obtient un score en dessous de la moyenne tandis que *Contacting* et *Giving* sont classifiés comme Frames 'faciles'.

<footnote n="6">6. https://framenet.icsi.berkeley.edu/frameIndex</footnote>
# 6 Travaux connexes

Notre travail se situe dans le domaine de l'évaluation des modèles. Notre approche contraste avec les évaluations à grande échelle qui couvrent plusieurs tâches, corpus et langues (Laskar et al., 2023; Liang et al., 2023; Srivastava et al., 2023; Brown et al., 2020; Wang et al., 2019). Il se rapporte à des études ciblées traitant de phénomènes linguistiques spécifiques tels que les négations (Truong et al., 2022, 2023; Zhang et al., 2023; Ravichander et al., 2022), l'ambiguïté dans les tâches d'inférence (Liu et al., 2023), et l'extraction d'informations ouverte (Lechelle et al., 2019), qui utilisent des ensembles de données petits et méticuleusement organisés pour évaluer avec précision les capacités des modèles pour la tâche. Notre étude fait écho à cette dernière, en explorant des évaluations linguistiques ciblées.

Cette étude est également liée à d'autres efforts de recherche qui ont été dirigés vers l'évaluation de la fiabilité des LLMs "fermés" accessibles uniquement via une API comme ChatGPT sur des benchmarks dans le domaine de la question-réponse basée sur la connaissance (KBQA) (Tan et al., 2023), ainsi que son applicabilité générale à travers un large éventail de tâches NLP (Kocoń et al., 2023; Laskar et al., 2023). Ces études suggèrent que bien que ChatGPT présente une performance robuste sur un ensemble de tâches très large et diversifié, il peut également être devancé par des modèles spécialisés spécifiques à la tâche. Nous avons trouvé des résultats similaires dans notre étude mais montrons également que malgré ses forces, un modèle tel que ChatGPT peut être sensible aux mêmes facteurs de complexité qu'un modèle beaucoup plus petit comme T5 ou même CamemBert.

Dans l'ensemble, cette étude promeut l'idée que nous avons besoin d'un cadre d'évaluation plus précis et peut être reliée à d'autres études telles que (Ribeiro et al., 2020) qui identifient des échecs critiques dans les modèles commerciaux et à la pointe de la technologie en proposant une méthodologie de test agnostique au modèle et à la tâche ou (Gehrmann et al., 2023) insistant sur le fait que pour comparer les modèles, nous avons besoin d'un processus d'annotation plus "soigné [...] pour caractériser leur qualité de sortie et les distinguer".

# 7 Conclusion

Dans cette étude, nous avons mené une expérience utilisant un corpus de questions-réponses annoté sémantiquement pour identifier des facteurs de complexité sémantique inhérents à cette tâche, indépendamment de l'architecture et de la taille des modèles. Cette investigation est cruciale car elle souligne les avantages potentiels de se concentrer sur des modèles avec moins de paramètres pour gérer des ensembles de données difficiles. Il convient de noter que les gains de performance réalisés avec des modèles plus petits pourraient être éclipsés par des modèles plus grands. En partitionnant les ensembles de données basés sur des phénomènes linguistiques d'une complexité équivalente, indépendamment du modèle, nous pouvons nous attendre à ce que les améliorations de performance se généralisent à travers les modèles. Nos résultats démontrent que les facteurs de complexité sémantique identifiés catégorisent efficacement le corpus en sous-corpus de niveaux de difficulté variables, indépendamment du modèle employé.
Références

BAKER C. F., FILLMORE C. J. & LOWE J. B. (1998). The berkeley framenet project. In *COLING 1998 Volume 1 : The 17th International Conference on Computational Linguistics*.

BÉCHET F., ALOUI C., CHARLET D., DAMNATI G., HEINECKE J., NASR A. & HERLEDAN F. (2019). Calor-quest : generating a training corpus for machine reading comprehension models from shallow semantic annotations. In *Proceedings of the 2nd Workshop on Machine Reading for Question Answering*, p. 19–26.

BROWN T., MANN B., RYDER N., SUBBIAH M., KAPLAN J. D., DHARIWAL P., NEELAKANTAN A., SHYAM P., SASTRY G., ASKELL A. et al. (2020). Language models are few-shot learners. *Advances in neural information processing systems*, **33**, 1877–1901.

DEVLIN J., CHANG M.-W., LEE K. & TOUTANOVA K. (2019). BERT : Pre-training of deep bidirectional transformers for language understanding. In *Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies, Volume 1 (Long and Short Papers)*, p. 4171–4186, Minneapolis, Minnesota : Association for Computational Linguistics. DOI : 10.18653/v1/N19-1423.

D’HOFFSCHMIDT M., BELBLIDIA W., HEINRICH Q., BRENDLÉ T. & VIDAL M. (2020). FQuAD : French question answering dataset. In *Findings of the Association for Computational Linguistics : EMNLP 2020*, p. 1193–1208, Online : Association for Computational Linguistics. DOI : 10.18653/v1/2020.findings-emnlp.107.

GEHRMANN S., CLARK E. & SELLAM T. (2023). Repairing the cracked foundation : A survey of obstacles in evaluation practices for generated text. *J. Artif. Int. Res.*, **77**. DOI : 10.1613/jair.1.13715.

JIANG A. Q., SABLAYROLLES A., ROUX A., MENSCH A., SAVARY B., BAMFORD C., CHAPLOT D. S., CASAS D. D. L., HANNA E. B., BRESSAND F. et al. (2024). Mixtral of experts. *arXiv preprint arXiv : 2401.04088*.

KHASHABI D., CHATURVEDI S., ROTH M., UPADHYAY S. & ROTH D. (2018). Looking beyond the surface : A challenge set for reading comprehension over multiple sentences. In *Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies, Volume 1 (Long Papers)*, p. 252–262.

KOCOŃ J., CICHECKI I., KASZYCA O., KOCHANEK M., SZYDŁO D., BARAN J., BIELANIEWICZ J., GRUZA M., JANZ A., KANCLERZ K. et al. (2023). Chatgpt : Jack of all trades, master of none. *Information Fusion*, p. 101861.

LASKAR M. T. R., BARI M. S., RAHMAN M., BHUIYAN M. A. H., JOTY S. & HUANG J. (2023). A systematic study and comprehensive evaluation of ChatGPT on benchmark datasets. In A. ROGERS, J. BOYD-GRABER & N. OKAZAKI, Éds., *Findings of the Association for Computational Linguistics : ACL 2023*, p. 431–469, Toronto, Canada : Association for Computational Linguistics. DOI : 10.18653/v1/2023.findings-acl.29.

LECHELLE W., GOTTI F. & LANGLAIS P. (2019). WiRe57 : A fine-grained benchmark for open information extraction. In A. FRIEDRICH, D. ZEYREK & J. HOEK, Éds., *Proceedings of the 13th Linguistic Annotation Workshop*, p. 6–15, Florence, Italy : Association for Computational Linguistics. DOI : 10.18653/v1/W19-4002.

LIANG P., BOMMASANI R., LEE T., TSIPRAS D., SOYLU D., YASUNAGA M., ZHANG Y., NARAYANAN D., WU Y., KUMAR A. & BENJAMIN NEWMAN E. A. (2023). Holistic evaluation of language models. *Transactions on Machine Learning Research*. Featured Certification, Expert Certification.
LIU A., WU Z., MICHAEL J., SUHR A., WEST P., KOLLER A., SWAYAMDIPTA S., SMITH N. & CHOI Y. (2023). We're afraid language models aren't modeling ambiguity. In H. BOUAMOR, J. PINO & K. BALI, Éds., *Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing*, p. 790-807, Singapore : Association for Computational Linguistics. DOI : 10.18653/v1/2023.emnlp-main.51.

MARTIN L., MULLER B., SUÁREZ P. J. O., ROMARY L., DE LA CLERGERIE É. V., SEDDAH D., SAGOT B. et al. (2020). Camembert : a tasty french language model. In *ACL 2020-58th Annual Meeting of the Association for Computational Linguistics*.

MARZINOTTO G., BÉCHET F., DAMNATI G. & NASR A. (2018). Sources of Complexity in Semantic Frame Parsing for Information Extraction. In *International FrameNet Workshop 2018*, Miyazaki, Japan. HAL : hal-01731385.

RAJPURKAR P., ZHANG J., LOPYREV K. & LIANG P. (2016). Squad : 100,000+ questions for machine comprehension of text. In *Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing*, p. 2383-2392 : Association for Computational Linguistics. DOI : 10.18653/v1/D16-1264.

RAVICHANDER A., GARDNER M. & MARASOVIC A. (2022). CONDAQA : A contrastive reading comprehension dataset for reasoning about negation. In Y. GOLDBERG, Z. KOZAREVA & Y. ZHANG, Éds., *Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing*, p. 8729-8755, Abu Dhabi, United Arab Emirates : Association for Computational Linguistics. DOI : 10.18653/v1/2022.emnlp-main.598.

RIBEIRO M. T., WU T., GUESTRIN C. & SINGH S. (2020). Beyond accuracy : Behavioral testing of NLP models with CheckList. In D. JURAFSKY, J. CHAI, N. SCHLUTER & J. TETREAULT, Éds., *Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics*, p. 4902-4912, Online : Association for Computational Linguistics. DOI : 10.18653/v1/2020.acl-main.442.

SRIVASTAVA A., RASTOGI A., RAO A., SHOEB A. A. M., ABID A., FISCH A., BROWN A. R., SANTORO A., GUPTA A. & ADRIÀ GARRIGA-ALONSO E. A. (2023). Beyond the imitation game : Quantifying and extrapolating the capabilities of language models. *Transactions on Machine Learning Research*.

TAN Y., MIN D., LI Y., LI W., HU N., CHEN Y. & QI G. (2023). Can chatgpt replace traditional kbqa models? an in-depth analysis of the question answering performance of the gpt llm family. In *International Semantic Web Conference*, p. 348-367 : Springer.

TOUVRON H., MARTIN L., STONE K., ALBERT P., ALMAHAIRI A., BABAEI Y., BASHLYKOV N., BATRA S., BHARGAVA P., BHOSALE S. et al. (2023). Llama 2 : Open foundation and fine-tuned chat models. *arXiv preprint arXiv:2307.09288*.

TRUONG T. H., BALDWIN T., VERSPOOR K. & COHN T. (2023). Language models are not naysayers : an analysis of language models on negation benchmarks. In A. PALMER & J. CAMACHO-COLLADOS, Éds., *Proceedings of the 12th Joint Conference on Lexical and Computational Semantics (*SEM 2023)*, p. 101-114, Toronto, Canada : Association for Computational Linguistics. DOI : 10.18653/v1/2023.starsem-1.10.

TRUONG T. H., OTMAKHOVA Y., BALDWIN T., COHN T., LAU J. H. & VERSPOOR K. (2022). Not another negation benchmark : The NaN-NLI test suite for sub-clausal negation. In Y. HE, H. JI, S. LI, Y. LIU & C.-H. CHANG, Éds., *Proceedings of the 2nd Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 12th International Joint Conference on Natural Language Processing (Volume 1: Long Papers)*, p. 883-894, Online only : Association for Computational Linguistics.
WANG A., PRUKSACHATKUN Y., NANGIA N., SINGH A., MICHAEL J., HILL F., LEVY O. & BOWMAN S. (2019). Superglue: A stickier benchmark for general-purpose language understanding systems. *Advances in neural information processing systems*, **32**.

WEI J., BOSMA M., ZHAO V. Y., GUU K., YU A. W., LESTER B., DU N., DAI A. M. & LE Q. V. (2021). Finetuned language models are zero-shot learners. *arXiv preprint arXiv:2109.01652*.

XUE L., CONSTANT N., ROBERTS A., KALE M., AL-RFOU R., SIDDHANT A., BARUA A. & RAFFEL C. (2021). mt5: A massively multilingual pre-trained text-to-text transformer. In *Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies*, p. 483–498.

ZHANG Y., YASUNAGA M., ZHOU Z., HAOCHEN J. Z., ZOU J., LIANG P. & YEUNG S. (2023). Beyond positive scaling: How negation impacts scaling trends of language models. In A. ROGERS, J. BOYD-GRABER & N. OKAZAKI, Éds., *Findings of the Association for Computational Linguistics: ACL 2023*, p. 7479–7498, Toronto, Canada: Association for Computational Linguistics. DOI: 10.18653/v1/2023.findings-acl.472.
# Évaluation de l'apport des chaînes de coréférences pour le liage d'entités

Léo Labat<fnref n="1" />, ² Lauriane Aufrant²

(1) ENS, Paris, France

(2) Inria, Paris, France

prenom.nom@inria.fr

## RÉSUMÉ

Ce travail propose de revisiter les approches de liage d'entités au regard de la tâche très proche qu'est la résolution de coréférence. Nous observons en effet différentes configurations (appuyées par l'exemple) où le reste de la chaîne de coréférence peut fournir des indices utiles pour améliorer la désambiguïsation. Guidés par ces motivations théoriques, nous menons une analyse d'erreurs accompagnée d'expériences oracles qui confirment le potentiel de stratégies de combinaison de prédicitions au sein de la chaîne de coréférence (jusqu'à 4.3 F1 sur les mentions coréférentes, en anglais). Nous esquissons alors une première preuve de concept de combinaison par vote, en explorant différentes heuristiques de pondération, qui apporte des gains modestes mais interprétables.

## ABSTRACT

### Evaluating the benefits of coreference chains for entity linking.

This work proposes to revisit entity linking approaches in light of the closely related task of coreference resolution. Indeed, we observe several configurations (supported by examples) in which the rest of the coreference chain can yield valuable cues to improve disambiguation. Driven by these theoretical motivations, we conduct an error analysis as well as oracle experiments, which confirm the potential of combination strategies for predictions within the coreference chain (up to 4.3 F1 on coreferring mentions, in English). We then sketch a first proof of concept of voting-based combination, by exploring various weighting heuristics, which yields limited but interpretable gains.

**MOTS-CLÉS** : liage d'entités, résolution de coréférence, approches jointes.

**KEYWORDS:** entity linking, coreference resolution, joint approaches.

## 1 Introduction

Reconnaître les entités mentionnées dans un texte demeure un défi pour le traitement automatique des langues, qui approche cette compétence linguistique par deux tâches : le liage d'entité et la résolution de coréférence. Le liage d'entité (entity linking en anglais) consiste à associer toute chaîne de caractères se référant à une entité dans un texte, que l'on appelle une mention, à une entrée d'une base de connaissances, tandis que la résolution de coréférence regroupe les mentions se référant à des entités en ensembles de sorte que toutes les mentions d'un même ensemble se réfèrent à la même entité. Néanmoins, à chacune de ces tâches est souvent associé un concept de mentions différent : en liage, une mention est le plus souvent un nom propre<fnref n="1" />, alors qu'en résolution de coréférence, tout

<figure><img src="image_123.png" /></figure>

<footnote n="1">1. Le domaine biomédical constitue à cet égard une exception notable.</footnote>
empan (*span*) se référant à une entité peut être coréférent, pourvu qu'un autre empan dans le même document se réfère à la même entité. Ces différences rendent bien souvent les performances de liage et de résolution incomparables car réalisées sur des corpus distincts. Ainsi, le corpus de référence pour le liage d'entité AIDA-CONLL (Hoffart et al., 2011), qui comporte des liens entre les mentions de CONLL 2003 (Sang & Meulder, 2003) et la base YAGO 2 (Hoffart et al., 2013) n'inclut pas de pronoms parmi ses mentions. Quant à la coréférence, le jeu de données le plus utilisé, ONTONOTES 5.0 (Pradhan et al., 2013), inclut les pronoms et des mentions moins spécifiées qu'en liage dans ses chaînes de coréférence, mais ne contient pas d'annotation pour les singletons, c'est-à-dire que lorsqu'une entité n'est mentionnée qu'une fois, cette mention solitaire n'est pas annotée.

Nous faisons l'hypothèse que les informations de coréférence peuvent améliorer les décisions prises par un algorithme de liage. En effet, les mentions de coréférence peuvent contenir des indices utiles à la désambiguïsation d'entités, car tant les pronoms que les périphrases sont autant d'indices qui permettent de savoir de qui ou de quoi il est question. La plupart des algorithmes de liage prennent déjà en compte le contexte pour assigner un lien à une mention donnée, mais la particularité de la coréférence, en tant que dépendance à longue distance, est d'agréger au fil du texte des mentions qui elles-mêmes ou avec leur contexte, peuvent être directement désambiguïsantes, quelle que soit leur répartition dans le document. L'exemple présenté en Figure 1, inspiré de (Hajishirzi et al., 2013) montre comment une chaîne de coréférence peut contenir des informations utiles à la désambiguïsation.

[Michael Eisner]₁ and [Donald Tsang]₂ announced the grand opening of [Disneyland]₃ yesterday.
[Eisner]₁ thanked [the President]₂ and welcomed fans to [the Hong Kong park]₃.

<caption>FIGURE 1 – Exemple de partage d'information entre résolution de coréférence et liage d'entités</caption>

Les mentions *Disneyland* et *the Hong Kong park* sont ambiguës lorsqu'elles sont considérées isolément, même dans leur contexte à l'échelle de la phrase. Mais si on les identifie comme coréférentes, déterminer l'entité à laquelle elles se réfèrent est aisé : il s'agit de Disneyland Hong Kong, et non de Disneyland Paris ou de Hong Kong Park. Nous proposons donc dans cet article d'explorer comment ces indices potentiellement utiles fournis par la coréférence peuvent être exploités pour améliorer les décisions de liage d'entités.

Après un aperçu de ces deux tâches et des approches associées (§2), nous présentons dans cet article notre cadre expérimental reposant sur le corpus AIDA-CONLL (§3), qui nous permettra d'affiner nos motivations (§4) et d'explorer une première preuve de concept pour l'exploitation de ces indices (§5) en estimant les gains potentiels à insérer ces informations dans des modèles de l'état de l'art.

# 2 Etat de l'art

## 2.1 Liage d'entités

Formellement, le liage d'entités consiste à prendre en entrée un document textuel *D* contenant un ensemble de mentions se référant à des entités ($M = \{m_i\}_{i}$), ainsi qu'une base de connaissances KB dont les entrées sont des entités nommées ($E = \{e_i\}_{i}$), et à retourner un ensemble de paires $(m_i, e_i)$ où $e_i$ est l'entité référencée par la mention $m_i$ dans E. L'ensemble E peut parfois contenir une étiquette spéciale "NIL" pour dénoter qu'il s'agit d'une entité inconnue dans la base. Lorsqu'il est réalisé de bout en bout, les mentions ne sont pas données en entrée et doivent être détectées par
l'algorithme.

**Approche modulaire** L'approche modulaire peut être implémentée de diverses façons. Une décomposition proposée par Piccinno & Ferragina (2014) consiste en trois étapes : un module de détection associe d'abord à chaque mention possible un certain nombre de candidats, puis un module de désambiguïsation en sélectionne un pour chaque mention et un module d'élagage (pruning) élimine les liens les moins probables. D'autres divisions modulaires sont possibles, comme par exemple REL (van Hulst et al., 2020), qui réalise successivement une détection de mentions, une génération de candidats pour chaque mention et enfin une désambiguïsation, c'est-à-dire la sélection d'un seul candidat pour chaque mention.

**Modèles de langue pré-entraînés** Comme pour de nombreuses autres tâches de TALN, le liage d'entités a bénéficié de l'introduction de représentations pré-entraînées à l'aide de Transformers (Vaswani et al., 2017). Appliquer un encodeur de type BERT (Devlin et al., 2019) à des mots, empans et entités permet d'intégrer le contexte dans le calcul de similarité mention/entité. Kolitsas et al. (2018) complète cette approche avec une table de correspondance probabiliste entre mentions et entités construite à partir d'hyperliens Wikipédia (Ganea & Hofmann, 2017). Les modèles autorégressifs peuvent aussi être employés pour reformuler le liage comme une tâche de génération de texte : par exemple, GENRE (Cao et al., 2021) génère des séquences associant mentions tirées du texte et des identifiants d'entités, en contraignant la génération de ces derniers à partir d'une liste prédéfinie. Mrini et al. (2022) utilisent ce type de génération pour combiner détection de mentions, désambiguïsation et reclassement en mode multi-tâches.

**Questions-Réponses** En tant que tâche consistant en une forme de classification d'empans, le liage d'entité peut également être formulé comme une tâche de questions-réponses. C'est le cas de Zhang et al. (2021), qui obtiennent des performances comparables aux approches précédentes, mais au prix de ressources de mémoire et de calcul plus importantes, nécessitant de surcroît des canvas élaborés à la main.

**Classification de tokens** Une approche distincte consiste à poser le liage comme une tâche de classification de tokens. La décision de liage est alors prise à l'échelle du token sur l'ensemble du vocabulaire, c'est-à-dire sur l'ensemble des entités possibles : Broscheit (2019) mobilise un modèle BERT sur lequel est superposée un simple réseau à propagation avant pour obtenir une distribution de probabilités sur les 700 000 entités possibles pour chaque token. A la classifications de tokens peut également s'ajouter des classifications à des échelles suprasegmentales : le liage revient alors à réaliser une prédiction structurée. C'est le cas de SPEL (Shavarani & Sarkar, 2023), qui agrève de façon structurée des décisions de classification prises sur trois niveaux : au niveau des tokens, au niveau des mots puis au niveau des syntagmes (phrase level). Ces approches présentent l'avantage d'exploiter la capacité des encodeurs de modèles de langue à prendre en compte le contexte dans leur stratégie d'agrégation de prédictions pour former des annotations d'empans cohérentes.

## 2.2 Résolution de coréférences

Formellement, la résolution de coréférence consiste à prendre en entrée un document *D* constitué de texte et à identifier toutes les mentions qui se réfèrent à la même entité dans le monde réel. Contrairement au liage d'entités, où les mentions sont explicitement identifiées et liées à une base d'entités nommées, la résolution de coréférence vise à regrouper les mentions $M = \{m_i\}$ qui font référence à la même entité sans base de connaissances. Le résultat est un ensemble de chaînes de coréférence $C = \{c_i\}$, où chaque chaîne $c_i$ est un sous-ensemble de $M$ tel que toutes les mentions dans $c_i$ se réfèrent à la même entité.
**Approches par combinaisons de n-grams** Le paradigme qui s'est imposé à partir de Lee *et al.* (2017) consiste à réaliser la résolution de coréférence sans détection de mentions préalable en attribuant des scores à des empans ainsi qu'à des paires de mentions. Cette approche surgénère des mentions en considérant tout empan comme potentielle mention. Des stratégies d'élagage de mentions ont été affinées avec Lee *et al.* (2018), mais les gains de performances tiennent principalement de l'amélioration de la qualité des représentations vectorielles : d'abord avec des LSTMs (Hochreiter & Schmidhuber, 1997) pour Lee *et al.* (2017) puis avec ELMo (Peters *et al.*, 2018) pour Lee *et al.* (2018). L'avènement de modèles de langue tels que BERT ont donc également donné lieu à d'importants gains de performances en résolution de coréférence. Une variante de BERT spécifiquement dédiée à l'encodage d'empans, SpanBERT, a été élaborée par Joshi *et al.* (2019) et a démontré l'intérêt d'un objectif d'entraînement consistant à prédire des empans plutôt que des seuls mots dans le cadre d'une modélisation de langue masquée pour améliorer les performances de résolution de coréférence. Néanmoins, la méthode *Start-to-End*, ou S2E (Kirstain *et al.*, 2021), montre qu'une approche semblable basée sur les Longformer (Beltagy *et al.*, 2020) qui se contente de représentations contextuelles du premier et du dernier token de chaque mention réduit considérablement la complexité du problème et obtient des résultats comparables plus rapidement et avec moins de ressources de calcul.

**Formulation générative** Il existe également une approche générative du problème de la résolution de coréférence. En se fondant sur un modèle multilingue T5 (Raffel *et al.*, 2019), d'aucuns ont proposé un système de transitions pour faire réaliser des décisions d'association de mentions à des chaînes de coréférence par un modèle génératif (Bohnet *et al.*, 2023). Les modèles génératifs peuvent également être utilisés pour générer des prédictions de coréférence en reproduisant directement le texte fourni en entrée avec des annotations (Zhang *et al.*, 2023).

**Questions-réponses** D'autres (Wu *et al.*, 2020) ont reformulé la tâche de coréférence comme une tâche de réponse aux questions (*Question Answering*) en s'appuyant notamment sur SpanBERT. Les empans proposés au système de questions-réponses sont générés de façon similaire à Lee *et al.* (2017) et sont introduits dans des modèles de question prédéfinis contenant des encarts à remplir avec une mention donnée.

## 2.3 Approches jointes

Une proposition de modélisation jointe du liage d'entités et de la résolution de coréférence élaborée par Hajishirzi *et al.* (2013) montre comment la réalisation simultanée d'une tâche peut contribuer à améliorer les performances de l'autre et réciproquement. L'implémentation est modulaire et construit de façon incrémentale des chaînes de coréférence par application de règles déterministes de constitution d'ensembles de mentions coréférences qui satisfassent des contraintes d'entités, c'est-à-dire qui garantissent la cohérence des décisions de liage.

D'autres formulations jointes des deux tâches explorent le potentiel des informations de coréférence pour améliorer les performances de liage. En effet, les implémentations du liage d'entité sus-mentionnées considèrent tantôt une liste finie de candidats tantôt une liste générée *ad hoc* pour la mention courante. Si la bonne entité n'est pas présente dans la liste prédéfinie ou générée lors de l'inférence, alors l'algorithme de liage n'a aucune chance de prendre une décision de liage exacte. C'est le problème que des auteurs comme Zaporojets *et al.* (2022) cherchent à résoudre en s'inspirant de Angell *et al.* (2021) qui, dans leur implémentation de liage d'entités sur des données biomédicales, rendent possibles les décisions de liage entre les mentions plutôt qu'uniquement entre mentions et sommets de la base de connaissances. De la sorte, une mention pour laquelle la bonne entité
n'est pas présente dans la liste de candidats générée pour elle peut néanmoins être liée à une autre mention, elle-même susceptible d'avoir été bien liée. Néanmoins, cette approche telle qu'elle a été implémentée s'en tient à une conception des mentions référentes ancrée du côté du liage, du fait de la nature-même des données d'entraînement : AIDA-CONLL et le corpus DWIE (Zaporojets et al., 2020) ne contiennent pas d'annotation de liage pour les pronoms, par exemple. La notion de coréférence est donc réduite au fait que les mentions liées à la même entité sont coréférentes dans le sens où elle se réfèrent à la même entité, mais ignore donc le phénomène linguistique de coréférence dans ses manifestations les plus ordinaires (pronoms, périphrases, etc.).

# 3 Conditions expérimentales

## 3.1 Données

Toutes nos expériences reposent sur AIDA-CONLL (Hoffart et al., 2011), corpus anglais journalistique de 20 744 phrases annotées en liage d'entités avec la base de connaissances YAGO 2 (Hoffart et al., 2013) (28813 mentions liées à 5586 entités, parmi les 50 millions de YAGO 2). Nous utilisons la version du corpus fournie par Zaporojets et al. (2022), qui inclut des liens supplémentaires (Kolitsas et al. (2018) ayant identifié la version originale comme incomplète à l'échelle du document). Nous conservons leur partition en données d'entraînement (946 documents, 19190 mentions, 4085 entités), de développement (TEST-A, 216 documents, 4960 mentions, 1649 entités) et de test (TEST-B, 231 documents, 4663 mentions, 1547 entités), issue du corpus sous-jacent CONLL 2003 (Sang & Meulder, 2003). Plus de la moitié des entités apparaissant en test (57%, 882 entités parmi 1547) sont nouvelles, c'est-à-dire jamais rencontrées à l'entraînement.

## 3.2 Métriques

On considère la précision, le rappel et la métrique F1 (micro-F1) appliqués à la détection de mentions (F1^m), au liage d'entités lui-même (F1^e, pour les cas où les mentions correctes sont déjà données), et à la combinaison de la détection et du liage (F1^m+e). Nous employons la variante stricte du score F1 : une mention est bien liée uniquement si ses frontières sont correctement prédites et si le lien prédit correspond au lien de référence dans le corpus.

Nous suivons la pratique usuelle de l'état de l'art de restreindre l'évaluation aux mentions dont l'entité (prédite ou de référence) est effectivement présente en base (configuration "InKB" de Röder et al. (2018)).

À des fins d'analyse, nous mesurons aussi le score F1 sur des sous-ensembles spécifiques de mentions : mentions de référence (F1_R), mentions détectées lors de la détection de mention du liage (F1_L), mentions détectées lors de la détection de mention de la coréférence (F1_C), mentions de référence qui ont été détectées pour le liage (F1_{R+L}), mentions détectées à la fois pour le liage et la coréférence (F1_{L+C}), etc.

## 3.3 Modèles

**Liage d'entités** Nous expérimentons avec trois modèles de liage d'entités couvrant des approches variées :

- **Un liage modulaire classique** : REL (van Hulst et al., 2020) combine des modules de détection de mentions (reconnaissance d'entités nommées par FLAIR (Akbik et al., 2018)), de génération d'entités candidates (suivant (Ganea & Hofmann, 2017) : 4 candidats les plus probables d'après
la mention et 3 d'après leur similarité au contexte, en sommant les plongements sur 50 tokens) et de désambiguïsation d'entités (sélection d'un candidat par mention, avec prise en compte des relations latentes entre mentions pour la cohérence de leurs liages (Le & Titov, 2018), sur une fenêtre de 200 tokens). Nous utilisons le modèle REL 2019, où les plongements Wikipedia2Vec (Yamada et al., 2016) utilisés pour la génération de candidats sont calculés sur l'export Wikipédia de juillet 2019. Le module de désambiguïsation utilise les plongements GloVe (Pennington et al., 2014) et est entraîné sur AIDA-CONLL.

— **Une approche par prédiction structurée** : SPEL (Shavarani & Sarkar, 2023) utilise RoBERTa (Liu et al., 2019) pour estimer pour chaque sous-mot les probabilités d'un ensemble (fixe) d'entités candidates, puis combine les 20 candidats les plus probables à l'échelle du mot, et refait encore une prédiction à l'échelle du syntagme. Nous utilisons les deux versions SpEL-base et SpEL-large (suivant la version de RoBERTa), avec les mêmes hyperparamètres que Shavarani & Sarkar (2023) : une fenêtre de contexte de 284 tokens avec chevauchement de 20 tokens, et un ensemble fixe de 5601 candidats (dont "null").

— **Une approche générative** : GENRE (Cao et al., 2020) affine un modèle de langue pré-entraîné BART (Lewis et al., 2019) pour générer des identifiants d'entités (avec un décodage contraint pour qu'ils soient valides) afin de désambiguïser les mentions pré-identifiées. Dans sa version de bout en bout, les prédicitions sont réalisées en insérant dans le texte des crochets aux limites de mentions en plus des identifiants d'entité. Nous utilisons les mêmes hyperparamètres que Cao et al. (2020) : décodage avec faisceau de taille 10 à l'apprentissage (6 au test) et au plus 15 étapes, 384 tokens de contexte maximal.

**Résolution de coréférence** Notre approche est applicable à n'importe quel algorithme de coréférence qui génère ses propres mentions. Pour nos expériences nous utilisons S2E (Kirstain et al., 2021), que nous avons réentraîné avec les mêmes hyperparamètres et les mêmes données OntoNotes 5.0 (Pradhan et al., 2013). Les auteurs rapportent un score $F1^m$ moyen de 80.3.

# 4 Motivations théoriques et empiriques

Les interactions fortes entre la tâche de liage d'entités et celle de résolution de coréférences amènent naturellement la question de leur combinaison à émerger. Afin de préciser cette intuition, nous évaluons les modèles de liage comparativement sur l'ensemble des mentions et uniquement sur les mentions coréférentes. Il en ressort (Table 1) que les mentions coréférentes sont typiquement plus difficiles à lier, en particulier pour les modèles les moins performants.

<table><caption>TABLE 1 – Impact de l'appartenance à une chaîne de coréférence sur le rappel</caption><thead><tr><th></th><th>R<sup>m+e</sup></th><th>R<sup>m+e</sup><sub>C</sub></th><th>R<sup>m+e</sup><sub>C(ref)</sub></th></tr></thead><tbody><tr><td>REL</td><td>75.5</td><td>71.4</td><td>74.8</td></tr><tr><td>SPEL-BASE</td><td>88.9</td><td>87.6</td><td>88.3</td></tr><tr><td>SPEL-LARGE</td><td>89.8</td><td>90.5</td><td>89.8</td></tr></tbody></table>

Une analyse manuelle sur des exemples du jeu de développement TEST-A a révélé 3 configurations théoriques d'intérêt :

1. Suite à une mention non-ambiguë (ex : prénom et nom), les suivantes y font référence d'une manière ambiguë (ex : prénom) et leur contexte contient trop peu d'indices pour les désambiguïser individuellement.
2. La première mention est ambiguë, mais la suite du texte ajoute de l'information en la centrant sur des mentions anaphoriques (ex : "Il habite à Paris. Cette petite ville du Texas a été fondée en 1845.").

3. Chacune des mentions présente une ambiguïté lorsque prise individuellement, mais en combinant tous leurs indices l'entité est claire. C'est le cas de l'exemple illustré en Figure 1.

Afin de quantifier ces effets, du moins les configurations 1 et 2 (la configuration 3 étant plus dure à objectiver), on mesure séparément les précisions, rappels et F1 suivant la position des mentions dans la chaîne de coréférence. Plus précisément, on affecte chaque mention à un quintile suivant la valeur $\frac{\text{position}-1}{\text{taille}_{\text{chaîne}}-1}$. Les résultats rapportés en Table 2 montrent une nette baisse de performance du deuxième jusqu'au dernier quintile, ce qui est cohérent avec la configuration 1. Le résultat bas sur le premier quintile est moins intuitif, mais peut facilement s'interpréter au regard du style du corpus AIDA-CONLL (articles de presse), où chaque document commence par un titre. Comme on peut l'observer en Figure 2, les premières mentions présentes dans un titre d'article sont souvent concises et ambiguës (configuration 2), et c'est le début de l'article qui apporte des informations substantielles. Dans cet exemple particulier on observe bien une combinaison des configurations 1 et 2.

<table><caption>TABLE 2 – Score F1 de liage en fonction de la position de la mention dans sa chaîne de coréférence</caption><thead><tr><th rowspan="2"></th><th rowspan="2"></th><th colspan="5">Quintile de la position dans la chaîne</th></tr><tr><th>0-19%</th><th>20-39%</th><th>40-59%</th><th>60-79%</th><th>80-100%</th></tr></thead><tbody><tr><td>REL</td><td>F1<sup>m+e</sup><sub>C(ref)</sub></td><td>73.6</td><td>84.2</td><td>82.5</td><td>83.5</td><td>73.7</td></tr><tr><td>SPEL-BASE</td><td>F1<sup>m+e</sup><sub>C(ref)</sub></td><td>91.4</td><td>94.7</td><td>93.1</td><td>93.0</td><td>91.2</td></tr><tr><td>SPEL-LARGE</td><td>F1<sup>m+e</sup><sub>C(ref)</sub></td><td>93.4</td><td>94.9</td><td>94.2</td><td>95.5</td><td>91.9</td></tr><tr><td>GENRE</td><td>F1<sup>e</sup><sub>C(ref)</sub></td><td>81.4</td><td>82.2</td><td>83.2</td><td>78.2</td><td>80.2</td></tr></tbody></table>

BASEBALL-GONZALEZ HOMERS TWICE AS RANGERS BEAT INDIANS.

ARLINGTON, Texas 1996-08-31

**Juan Gonzalez** homered twice and Ivan Rodriguez added a two-run shot as the Texas Rangers defeated the Cleveland Indians 5-3 in a matchup of division leaders Friday.

Rodriguez's 18th homer, off Chad Ogea (7-5) in the first, gave Texas a 2-0 lead. One out later, **Gonzalez** smacked his 40th homer, extending his hitting streak to 20 games.

**Gonzalez**, who hit in 21 straight games earlier this season, joined Mickey Rivers as the only players in Texas history with two 20-game streaks in the same year.

**Gonzalez** hit his second homer in the third for his fifth multi-homer game of the season. **Gonzalez** has three 40-homer seasons and his 121 RBI broke Ruben Sierra's team record of 119 set in 1989. (...)

<caption>FIGURE 2 – Répartition de l'ambiguïté le long d'une chaîne de coréférence (document 1059, TEST-A)</caption>

# 5 Amélioration du liage d'entités via les coréférences

Les résultats de la section précédente soulignent un certain potentiel à exploiter l'information de coréférence pour enrichir le liage, d'une part car les autres mentions de la chaîne peuvent apporter des informations utiles et d'autre part car les mentions coréférentes présentent souvent de plus grandes difficultés pour le liage.

Nous suggérons ici une approche où pour chaque mention à lier (tour à tour), on commence par désambiguïser les autres mentions de la chaîne (y compris si non-détectées comme mentions à lier : on force une désambiguïsation) puis on combine ces éléments pour informer le liage en cours.
Il est à noter que cette stratégie n'est applicable que pour une partie des mentions à lier : celles pour lesquelles des mentions coréférentes existent bien sûr, mais surtout celles qui sont détectées comme telles par le modèle de coréférence. En effet, outre les inévitables erreurs de ce dernier, les divergences de conventions d'annotation mènent aussi à des décalages entre mentions détectées de part et d'autre (par exemple "vendor Valery Ivankov" côté coréférence et "Valery Ivankov" côté liage), et donc une impossibilité d'exploiter les indices de coréférence, faute d'adéquation des mentions. En l'occurrence, sur les 5616 mentions de référence dans TEST-B, seulement 1804 (32%) d'entre elles appartiennent à une chaîne de coréférence prédite par S2E. Il serait envisageable d'explorer des heuristiques plus permissives pour utiliser les indices de coréférences fournis par des mentions non-identiques, mais avec un risque important d'introduire du bruit, et cela sort du cadre du présent travail.

Nous commençons par des expériences oracles pour estimer les gains envisageables, puis nous évaluons quelques heuristiques de vote, permettant d'esquisser des pistes de recherche future. L'ensemble de ces expériences est réalisé sur le jeu de test TEST-B. Nous expérimentons avec GENRE uniquement, dont les performances sont davantage interprétables, dans la mesure où forcer la désambiguïsation de mentions supplémentaires a en soi un impact sur la performance globale de REL (qui considère l'interaction entre prédictions), et la notion de mention n'existe que partiellement dans SPEL étant donné qu'elles sont construites hiérarchiquement à partir de sous-mots.

## 5.1 Expériences oracles

Afin d'estimer le gain potentiel que peuvent apporter les indices issus du reste de la chaîne de coréférence, on regarde si l'entité de référence est au moins présente parmi toutes les prédictions faites au sein de la chaîne de coréférence. Le cas échéant, une stratégie optimale de combinaison de ces prédictions permettrait de faire ressortir la bonne entité et l'attribuer à l'ensemble de la chaîne.

Les résultats présentés en Table 3 révèlent une marge de progression de +1.2 F1 dans l'ensemble, qui monte à +4.3 F1 lorsqu'on ne regarde que les mentions détectées par la coréférence (les seules pour lesquelles l'approche est donc applicable), la prédiction étant mécaniquement inchangée pour les autres.

<table><caption>TABLE 3 – Mesure oracle du gain de performance accessible avec une sélection parfaite de l'entité parmi les prédictions de la chaîne de coréférence</caption><thead><tr><th></th><th>F1<sup>e</sup><sub>R</sub></th><th>F1<sup>e</sup><sub>R</sub> avec oracle</th><th>F1<sup>e</sup><sub>R+C</sub></th><th>F1<sup>e</sup><sub>R+C</sub> avec oracle</th></tr></thead><tbody><tr><td>GENRE</td><td>72.4</td><td>73.6</td><td>75.7</td><td>79.4</td></tr></tbody></table>

Ces résultats expérimentaux confirment le caractère prometteur de l'approche. En effet dans l'exemple "Il habite à Paris. Cette petite ville du Texas a été fondée en 1845.", même si les indices de la première occurrence ne sont pas suffisant pour désambiguïser "Paris", des indices supplémentaires sont disponibles (et suffisants) pour désambiguïser la mention "Cette petite ville" ("Texas", "1845") et cette information peut alors être remontée pour désambiguïser "Paris". Cela suggère qu'en exploitant bien ces autres prédictions au sein de la chaîne, il serait possible de corriger une part substantielle des erreurs de liage.

Une limite de cette approche est toutefois sa dépendance à une bonne génération de candidats, surtout pour les mentions non-nommées : en ne considérant que la mention "Cette petite ville", il est en effet peu probable que l'entité "Paris (Texas)" soit identifiée comme candidate, auquel cas la désambiguïsation échouerait et ne permettrait pas de contribuer à la désambiguïsation de "Paris". Ce
point particulier dépend de la méthode utilisée pour le liage d'entités, car toutes n'incluent pas une étape de génération de candidats, ou pas sous la même forme. Pour les méthodes de liage où cela a du sens, une approche possible pour pallier cette difficulté serait de fusionner au préalable les candidats générés pour toutes les mentions de la chaîne de coréférence, augmentant ainsi les options aussi bien pour "Paris" que pour "Cette petite ville". Avec cette stratégie, la marge de progression est en fait plus importante encore.

## 5.2 Combinaison de prédictions

Nous évaluons ici empiriquement l'intuition suivant laquelle les autres mentions de la chaîne de coréférence peuvent apporter des indices utiles pour désambiguïser la mention d'intérêt. On teste donc plusieurs heuristiques de combinaison des prédictions au sein de la chaîne. Plus précisément, pour chaque mention M à lier pour laquelle une chaîne de coréférence C est trouvée par S2E (pour les autres nous gardons la prédiction initiale du module de désambiguïsation), nous évaluons 4 approches de combinaison :

- **Indépendant** : L'entité retenue pour M est celle prédite par le module de désambiguïsation.

- **Vote simple** : L'entité est obtenue par vote entre les entités prédites pour chaque mention de C (en forçant le module de désambiguïsation sur ces mentions). Les égalités sont résolues en faveur de l'entité prédite pour M, ou à défaut priorité est donnée aux premières mentions du texte.

- **Vote pondéré (longueur)** : Similaire au vote simple, mais en pondérant chaque vote par le nombre de tokens de la mention : par exemple "Gonzalez" aura un poids de 1 et "Juan Gonzalez" de 2. L'intuition sous-jacente est que plus l'entité est longue plus elle est informative, donc la prédiction est de base plus faible sans même considérer le contexte. Ce n'est toutefois pas systématique : par exemple "Paris" aura un poids de 1 et "Cette petite ville" de 3.

- **Vote pondéré (position)** : Similaire au vote simple, mais en donnant un poids supérieur (1.5) aux mentions de la première moitié (arrondie à l'inférieur) de la chaîne, où l'information est a priori plus riche. Ainsi, dans l'exemple de la Figure 2, les mentions 1-3 auront un poids 1.5 et les mentions 4-6 un poids 1.

Les résultats présentés en Table 4 montrent un gain modeste (+0.1 en global, +0.3 sur les mentions coréférentes). Dans l'ensemble le fait de combiner ainsi les prédictions apporte donc bien de l'information utile, même si cela pose des questions de significativité statistique, qui mériteraient une exploration empirique plus approfondie. Les heuristiques de pondération expérimentées apparaissent toutefois trop simples pour permettre une réelle émergence de la bonne entité.

<table><caption>TABLE 4 – Effet de plusieurs heuristiques de vote sur la performance de GENRE</caption><thead><tr><th></th><th>F1<sup>e</sup></th><th>F1<sup>e</sup><sub>C</sub></th><th># Dégradations</th><th># Corrections</th></tr></thead><tbody><tr><td>Indépendant</td><td>72.4</td><td>75.7</td><td>–</td><td>–</td></tr><tr><td>Vote simple</td><td>72.5</td><td>76.0</td><td>-21</td><td>+25</td></tr><tr><td>Vote pondéré (longueur)</td><td>72.5</td><td>76.0</td><td>-21</td><td>+25</td></tr><tr><td>Vote pondéré (position)</td><td>72.5</td><td>75.8</td><td>-33</td><td>+39</td></tr></tbody></table>

Afin de mieux caractériser l'apport des indices issus du reste de la chaîne de coréférence, on mesure également le nombre de prédictions correctes devenues erronées du fait de la combinaison (# Dégradations), et le nombre de prédictions erronées corrigées par cette combinaison (# Corrections). Cette mesure confirme que la pondération par longueur de mention n'a pas d'effet concret, alors que
la priorité au début de la chaîne modifie effectivement le comportement du vote. Il en ressort aussi que les gains modestes résultent d'un nombre important de dégradations qui fait perdre le bénéfice des corrections. Il y a donc là encore une marge importante d'amélioration dans la recherche d'une heuristique de pondération plus fine pour éliminer ces dégradations.

## 5.3 Discussion

Bien que la méthode montre déjà des gains prometteurs, appuyés autant théoriquement qu'empiriquement, il semble toutefois y avoir un important manque à gagner en se limitant aux prédictions déjà fournies par le module de désambiguïsation. L'une des marges supplémentaires d'amélioration, déjà évoquée ci-dessus, est de renforcer la génération de candidats (pour les modèles qui en utilisent), en tirant parti du fait que chaque mention peut contribuer son lot de candidats au profit de l'ensemble des mentions de la chaîne. Cette amélioration peut aussi être appliquée au module de génération de candidats de manière indépendante (y compris sans combinaison des prédictions), et constitue une piste intéressante pour de futures explorations.

Par ailleurs, il arrive aussi que les indices offerts dans le reste de la chaîne ne soient pas suffisants pris isolément (tous les liages sont erronés) mais qu'une fois combinés ils permettent une désambiguïsation complète de la mention : c'est la configuration 3 de la section précédente. Par exemple dans le cas de la Figure 1, les prédictions pour "Disneyland" et "the Hong Kong park" sont toutes deux fausses, donc une stratégie de sélection parmi les prédictions ne corrigerait pas le liage, pourtant l'apport des indices issus de la chaîne est clair en théorie. Cette intuition oriente vers l'idée d'une combinaison précoce de ces indices, par exemple en combinant directement les représentations contextuelles des mentions (moyenne, somme, max-pooling...). Cette stratégie n'est toutefois applicable qu'à certains types de modèles de désambiguïsation (où les représentations de mentions jouent un rôle prépondérant), or SPEL par exemple ne fait intervenir que les représentations de sous-mots et pas directement des représentations de mentions.

## 6 Conclusion

Nous avons exploré dans ce travail les interactions possibles entre liage d'entités et résolution de coréférences. Notre analyse à la fois théorique et empirique nous a permis d'identifier plusieurs configurations d'intérêt au sein des chaînes de coréférence, soulignant des difficultés spécifiques que peuvent rencontrer les modules de désambiguïsation sur les mentions coréférentes, mais aussi le bénéfice potentiel à exploiter des indices associés à d'autres mentions de la chaîne, potentiellement moins ambiguës. Sur la base d'expériences oracles confirmant ce bénéfice, nous avons proposé une première preuve de concept pour exploiter ces informations issues des mentions coréférentes, par un mécanisme de vote entre entités prédites dans la chaîne. Nous identifions plusieurs perspectives de prolongement de ces travaux : tout d'abord le recours à la chaîne de coréférence pour compléter la génération d'entités candidates (plutôt qu'améliorer la désambiguïsation uniquement), mais aussi l'option d'une fusion plus précoce de l'information offerte au sein de la chaîne, permettant de couvrir également la configuration où toutes les mentions de la chaîne sont ambiguës mais le tout est univoque. Enfin, les divergences de conventions d'annotation entre liage et coréférence limitent l'applicabilité de la méthode à un tiers des mentions environ (où les deux prédictions coïncident), et il serait intéressant d'explorer des stratégies d'appariement entre mentions des deux modules.
# Remerciements

Ce travail a été partiellement financé par l'Agence de l'Innovation de défense, dans le cadre du projet CapiTAL.

# Références

AKBIK A., BLYTHE D. A. J. & VOLLGRAF R. (2018). Contextual string embeddings for sequence labeling. In *International Conference on Computational Linguistics*.

ANGELL R., MONATH N., MOHAN S., YADAV N. & MCCALLUM A. (2021). Clustering-based inference for biomedical entity linking. In K. TOUTANOVA, A. RUMSHISKY, L. ZETTLEMOYER, D. HAKKANI-TUR, I. BELTAGY, S. BETHARD, R. COTTERELL, T. CHAKRABORTY & Y. ZHOU, Éds., *Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies*, p. 2598–2608, Online : Association for Computational Linguistics. DOI: 10.18653/v1/2021.nacl-main.205.

BELTAGY I., PETERS M. E. & COHAN A. (2020). Longformer : The long-document transformer. *CoRR*, abs/2004.05150.

BOHNET B., ALBERTI C. & COLLINS M. (2023). Coreference resolution through a seq2seq transition-based system. *Transactions of the Association for Computational Linguistics*, 11, 212–226. DOI: 10.1162/tacl_a_00543.

BROSCHEIT S. (2019). Investigating entity knowledge in BERT with simple neural end-to-end entity linking. In M. BANSAL & A. VILLAVICENCIO, Éds., *Proceedings of the 23rd Conference on Computational Natural Language Learning (CoNLL)*, p. 677–685, Hong Kong, China : Association for Computational Linguistics. DOI: 10.18653/v1/K19-1063.

CAO N. D., IZACARD G., RIEDEL S. & PETRONI F. (2020). Autoregressive entity retrieval. *CoRR*, abs/2010.00904.

CAO N. D., IZACARD G., RIEDEL S. & PETRONI F. (2021). Autoregressive entity retrieval. In *International Conference on Learning Representations*.

DEVLIN J., CHANG M.-W., LEE K. & TOUTANOVA K. (2019). BERT : Pre-training of deep bidirectional transformers for language understanding. In J. BURSTEIN, C. DORAN & T. SOLORIO, Éds., *Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies, Volume 1 (Long and Short Papers)*, p. 4171–4186, Minneapolis, Minnesota : Association for Computational Linguistics. DOI: 10.18653/v1/N19-1423.

GANEA O. & HOFMANN T. (2017). Deep joint entity disambiguation with local neural attention. *CoRR*, abs/1704.04920.

HAJISHIRZI H., ZILLES L., WELD D. S. & ZETTLEMOYER L. (2013). Joint coreference resolution and named-entity linking with multi-pass sieves. In D. YAROWSKY, T. BALDWIN, A. KORHONEN, K. LIVESCU & S. BETHARD, Éds., *Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing*, p. 289–299, Seattle, Washington, USA : Association for Computational Linguistics.

HOCHREITER S. & SCHMIDHUBER J. (1997). Long Short-Term Memory. *Neural Computation*, 9(8), 1735–1780. DOI: 10.1162/neco.1997.9.8.1735.

HOFFART J., SUCHANEK F. M., BERBERICH K. & WEIKUM G. (2013). Yago2 : A spatially and temporally enhanced knowledge base from wikipedia. *Artificial Intelligence*.
gence, **194**, 28–61. Artificial Intelligence, Wikipedia and Semi-Structured Resources, DOI:
https://doi.org/10.1016/j.artint.2012.06.001.

HOFFART J., YOSEF M. A., BORDINO I., FÜRSTENAU H., PINKAL M., SPANIOL M., TANEVA B., THATER S. & WEIKUM G. (2011). Robust disambiguation of named entities in text. In R. BARZILAY & M. JOHNSON, Éds., *Proceedings of the 2011 Conference on Empirical Methods in Natural Language Processing*, p. 782–792, Edinburgh, Scotland, UK.: Association for Computational Linguistics.

JOSHI M., CHEN D., LIU Y., WELD D. S., ZETTLEMOYER L. & LEVY O. (2019). Spanbert : Improving pre-training by representing and predicting spans. CoRR, abs/1907.10529.

KIRSTAIN Y., RAM O. & LEVY O. (2021). Coreference resolution without span representations.
In *Annual Meeting of the Association for Computational Linguistics*.

KOLITSAS N., GANEA O.-E. & HOFMANN T. (2018). End-to-end neural entity linking. In A. KORHONEN & I. TITOV, Éds., *Proceedings of the 22nd Conference on Computational Natural Language Learning*, p. 519–529, Brussels, Belgium: Association for Computational Linguistics.
DOI: 10.18653/v1/K18-1050.

LE P. & TITOV I. (2018). Improving entity linking by modeling latent relations between mentions.
*CoRR*, abs/1804.10637.

LEE K., HE L., LEWIS M. & ZETTLEMOYER L. (2017). End-to-end neural coreference resolution.
In M. PALMER, R. HWA & S. RIEDEL, Éds., *Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing*, p. 188–197, Copenhagen, Denmark: Association for Computational Linguistics. DOI: 10.18653/v1/D17-1018.

LEE K., HE L. & ZETTLEMOYER L. (2018). Higher-order coreference resolution with coarse-to-fine inference. In M. WALKER, H. Ji & A. STENT, Éds., *Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies, Volume 2 (Short Papers)*, p. 687–692, New Orleans, Louisiana: Association for Computational Linguistics. DOI: 10.18653/v1/N18-2108.

LEWIS M., LIU Y., GOYAL N., GHAZVININEJAD M., MOHAMED A., LEVY O., STOYANOV V. & ZETTLEMOYER L. (2019). BART : denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. CoRR, abs/1910.13461.

LIU Y., OTT M., GOYAL N., DU J., JOSHI M., CHEN D., LEVY O., LEWIS M., ZETTLEMOYER L. & STOYANOV V. (2019). Roberta : A robustly optimized BERT pretraining approach. CoRR, abs/1907.11692.

MRINI K., NIE S., GU J., WANG S., SANJABI M. & FIROOZ H. (2022). Detection, disambiguation, re-ranking : Autoregressive entity linking as a multi-task problem. In S. MURESAN, P. NAKOV & A. VILLAVICENCIO, Éds., *Findings of the Association for Computational Linguistics : ACL 2022*, p. 1972–1983, Dublin, Ireland : Association for Computational Linguistics. DOI : 10.18653/v1/2022.findings-acl.156.

PENNINGTON J., SOCHER R. & MANNING C. (2014). GloVe : Global vectors for word representation. In A. MOSCHITTI, B. PANG & W. DAELEMANS, Éds., *Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP)*, p. 1532–1543, Doha, Qatar : Association for Computational Linguistics. DOI : 10.3115/v1/D14-1162.

PETERS M. E., NEUMANN M., IYYER M., GARDNER M., CLARK C., LEE K. & ZETTLEMOYER L. (2018). Deep contextualized word representations. CoRR, abs/1802.05365.

PICCINNO F. & FERRAGINA P. (2014). From TagME to WAT : a new entity annotator. In *Proceedings of the first international workshop on Entity recognition & disambiguation - ERD '14*, p. 55–62, Gold Coast, Queensland, Australia : ACM Press. DOI : 10.1145/2633211.2634350.