Évaluation comparative de systèmes neuronal et statistique pour la résolution de coréférence en langage parlé (Comparative evaluation of neural and statistical coreference resolution on spoken language ) (2022)

Abstract: Nous présentons OFCoRS, un système de résolution de coréférence, basé sur le français parlé et un ensemble de modèles Random Forest. L’objectif de ce papier est de comparer l’approche statistique d’OFCoRS avec l’approche neuronale du système DeCoFre. Nous soulignons particulièrement les similarités et différences entre les deux systèmes. Nous comparons ensuite leurs performances sur le corpus français ANCOR et observons que les performances d’OFCoRS s’approchent de celles de DeCoFre. Une analyse détaillée montre également que les deux systèmes affichent de faibles performances sur les coréférences indirectes, montrant ainsi qu’on ne peut pas considérer le traitement des anaphores complexes comme un problème résolu.

## introduction l'avancée des techniques d'apprentissage profond (deep learning) a fortement impacté l'ensemble des domaines de l'intelligence artificielle et notamment le domaine du tal, apportant de nombreuses améliorations que ce soit en termes de performances ou via l'affranchissement du travail conséquent de feature engineering. cependant, les bénéfices des réseaux de neurones ne doivent pas éclipser certaines problématiques. l'une des principales préoccupations provient du manque d'explicabilité des modèles neuronaux. bien que l'explicabilité soit une source d'inquiétude évidente d'un point de vue éthique, son impact économique semble être largement sous-estimé. en effet, que ce soit dans leurs relations b2b ou b2c, les entreprises ont besoin d'introduire une dimension explicative dans leurs produits et leurs offres. dans ce travail, nous ne remettons pas fondamentalement en question la contribution du deep learning au sein d'applications tal mais préférons étudier si les systèmes neuronaux sont toujours l'approche la plus adaptée, comparé à des méthodes qui ont tendance à offrir une meilleure interprétation. dans le cadre d'une tâche de résolution de coréférences, notre contribution repose sur la comparaison des performances de deux systèmes se basant sur (1) une approche neuronale (système decofre) et (2) une approche de classification statistique basée sur des random forest (système ofcors foot_0 ). nous détaillons dans un premier temps l'architecture générale des systèmes ofcors et decofre, ainsi que les différentes étapes qui les composent. nous décrivons ensuite conjointement la méthode d'évaluation que nous avons adoptée et le corpus de français oral ancor sur lequel ont été évalués les deux systèmes. enfin, nous mettons en exergue les résultats que nous obtenons et tirons un ensemble de conclusions que nous estimons pouvoir être généralisé à d'autres domaines du tal. ## méthodologie d'évaluation nos expérimentations se sont conduites sur un jeu de données unique : le corpus ancor, qui est le plus large corpus de français parlé annoté en coréférence @xcite des classifieurs. pour le classifieur pronominal, le taux d'importance s'aligne avec la distribution du corpus ancor où les coréférences pronominales tendent à être très locales : 85 % d'entre elles sont composées de mentions séparées par au plus 5 mentions ; alors que les distances pour les paires directes et indirectes sont plus variables. enfin, l'utilisation des plongements de mots a largement été éprouvée par la communauté pour leur capacité à identifier des relations sémantiques entre les mots, tout en capturant des informations syntaxiques et sémantiques au niveau des mots. nos résultats confirment le bénéfice d'un trait de similarité cosinus sur les plongements de mots contextuels. de façon surprenante, le modèle ofcors-multi-contextual qui fait appel à ces plongements contextuels ne parvient pas à surpasser un modèle avec des plongements non-contextuels (77.93 vs. 78.25 en score conll-2012 ; pas de différence significative : valeur-@xmath0.1884). cette absence de gain de performance peut provenir de la fenêtre de contexte que nous considérons (c-à-d un tour de parole complet) ainsi que la nature du corpus ancor, qui est principalement composé du sous-corpus eslo_ancor. dans ce souscorpus, les documents traitent de longues conversations avec des tours de paroles pouvant être très longs, ce qui peut potentiellement rendre le contexte non pertinent. de plus, le français parlé inclut beaucoup d'artefacts qui ne sont pas présents dans le langage écrit, tels que des répétitions ou d'autres disfluences de la parole. ces dernières peuvent être ainsi non-présentes ou alors extrêmement rares dans les données utilisées pour l'entraînement des plongements de mots pré-entraînés. une étude plus poussée sera nécessaire concernant le choix des plongements utilisés. ## conclusion dans ce travail nous avons introduit ofcors, un système de résolution de coréférence statistique et avons comparé ses performances avec un système neuronal, decofre. l'objectif de cette comparaison est double : à la fois comparer les performances d'un modèle statistique reposant sur des traits implémentés manuellement contre une architecture neuronale utilisant des traits profonds afin de mettre en exergue les différences et similarités des deux approches et évaluer si les réseaux de neurones doivent être toujours préférés. en termes de score conll-2012, nous observons que les performances d'ofcors se rapprochent de ceux de decofre. néanmoins, nous observons une différence plus importante au niveau des valeurs de précision, particulièrement sur les relations de coréférence pronominales et directes mais bien plus basse pour les indirectes. cependant, les résultats des coréférences indirectes démontrent avant tout que la résolution des coréférences indirectes demeure une problématique scientifique encore non résolue. au regard des niveaux proches de performances observés avec ofcors et decofre, nous estimons qu'il est pertinent de questionner systématiquement l'utilisation d'une approche de résolution plutôt qu'une autre, en considérant parallèlement leur coût de calcul et leur niveau de performances. cette conclusion rejoint les observations @xcite qui présentent des résultats de résolution de coréférence sur le néerlandais, où les performances d'un réseau de neurones s'avèrent inférieures à celles d'un système à base de règles. en termes d'interprétabilité, nous proposons une première tentative d'explication du modèle ofcors en observant l'importance de chaque trait accordée par chaque classifieur. bien que cet aspect requiert des études supplémentaires, il permet de souligner les particularités de chaque type de relation de coréférence et l'intérêt de développer des modèles spécifiques à chacun d'entre eux. c'est dans cette direction que nous nous dirigeons, dans l'espoir d'améliorer davantage les performances de notre classifieur statistique et d'attaquer le problème des coréférences indirectes.