<table><caption>TABLE 2 – Performances des modèles BERT et LegalBERT de base, après pré-entraînement continu avec masquage aléatoire (+CPT) ou masquage sélectif (+MetaDis, +TF×IDF) sur le benchmark LexGLUE. La meilleure valeur de chaque colonne est indiquée en gras, la deuxième meilleure est soulignée. Les fonds Verts et Oranges représentent respectivement les scores MetaDis et TF×IDF, les fonds foncés montrent les améliorations par rapport à la référence.</caption><thead><tr><th rowspan="2">Method</th><th colspan="2">ECtHR (A)</th><th colspan="2">ECtHR (B)</th><th colspan="2">SCOTUS</th><th colspan="2">EUR-LEX</th><th colspan="2">LEDGAR</th><th colspan="2">UNFAIR-ToS</th></tr><tr><th>μF<sub>1</sub></th><th>m-F1</th><th>μF<sub>1</sub></th><th>m-F1</th><th>μF<sub>1</sub></th><th>m-F1</th><th>μF<sub>1</sub></th><th>m-F1</th><th>μF<sub>1</sub></th><th>m-F1</th><th>μF<sub>1</sub></th><th>m-F1</th></tr></thead><tbody><tr><td>BERT</td><td>62,12</td><td>52,66</td><td>69,59</td><td>60,39</td><td>69,61</td><td>58,65</td><td>71,70</td><td>54,87</td><td><u>87,85</u></td><td><b>82,30</b></td><td><b>95,66</b></td><td>80,97</td></tr><tr><td>+ CPT (référence)</td><td><u>63,12</u></td><td>54,13</td><td>71,06</td><td><b>64,69</b></td><td><u>70,57</u></td><td><b>60,38</b></td><td><u>71,86</u></td><td>56,18</td><td><b>87,90</b></td><td>82,02</td><td>95,56</td><td><u>81,46</u></td></tr><tr><td>+ MetaDis - Samp</td><td>62,55</td><td style="background-color: #90ee90;">54,88</td><td>70,45</td><td>63,10</td><td>70,26</td><td>59,12</td><td>71,66</td><td>56,00</td><td>87,68</td><td style="background-color: #90ee90;">82,25</td><td>95,38</td><td>79,18</td></tr><tr><td>+ MetaDis - TopN</td><td>62,17</td><td>53,35</td><td>70,29</td><td>62,29</td><td>69,92</td><td>60,08</td><td>71,67</td><td>56,95</td><td>87,78</td><td>82,11</td><td><u>95,57</u></td><td><b>81,51</b></td></tr><tr><td>+ TF×IDF - Samp</td><td style="background-color: #f8bb97;">63,36</td><td style="background-color: #90ee90;">56,60</td><td>71,32</td><td style="background-color: #f8bb97;">64,58</td><td>69,69</td><td>59,10</td><td><u>71,93</u></td><td>55,82</td><td>87,69</td><td>82,11</td><td>95,50</td><td>78,63</td></tr><tr><td>+ TF×IDF - TopN</td><td>62,66</td><td style="background-color: #f8bb97;">56,46</td><td><b>71,50</b></td><td>63,58</td><td><b>70,71</b></td><td>60,06</td><td>71,73</td><td><b>57,73</b></td><td>87,67</td><td>81,89</td><td>95,49</td><td>79,45</td></tr><tr><td>LegalBERT</td><td>63,41</td><td>53,19</td><td>72,10</td><td>63,68</td><td>73,61</td><td>61,50</td><td>71,93</td><td><u>55,47</u></td><td>87,91</td><td>81,67</td><td><u>95,81</u></td><td><u>81,27</u></td></tr><tr><td>+ CPT (référence)</td><td><u>63,64</u></td><td><b>58,73</b></td><td>72,60</td><td>64,95</td><td><b>74,64</b></td><td><b>63,13</b></td><td><u>72,01</u></td><td>55,12</td><td><b>88,41</b></td><td><b>82,92</b></td><td><b>95,82</b></td><td>79,70</td></tr><tr><td>+ MetaDis - Samp</td><td>63,39</td><td style="background-color: #90ee90;">56,39</td><td><b>73,08</b></td><td style="background-color: #90ee90;">65,76</td><td>74,21</td><td>62,97</td><td><u>72,03</u></td><td>54,76</td><td>88,38</td><td>82,58</td><td>95,20</td><td style="background-color: #90ee90;">80,26</td></tr><tr><td>+ MetaDis - TopN</td><td><b>64,07</b></td><td style="background-color: #90ee90;">58,56</td><td>72,53</td><td style="background-color: #90ee90;">66,83</td><td>73,88</td><td>62,57</td><td>71,96</td><td>55,01</td><td>88,32</td><td>82,16</td><td>94,80</td><td>73,67</td></tr><tr><td>+ TF×IDF - Samp</td><td>63,38</td><td>56,78</td><td>72,21</td><td style="background-color: #f8bb97;">65,67</td><td>73,71</td><td>62,85</td><td>71,78</td><td style="background-color: #f8bb97;">55,82</td><td>88,19</td><td>82,36</td><td>95,80</td><td><b>82,12</b></td></tr><tr><td>+ TF×IDF - TopN</td><td>62,89</td><td>53,58</td><td><b>73,26</b></td><td style="background-color: #f8bb97;">65,86</td><td>74,38</td><td>63,10</td><td>71,90</td><td>55,08</td><td>88,27</td><td><u>82,65</u></td><td>95,59</td><td>81,20</td></tr></tbody></table>

### Masquage sélectif vs classique
Pour évaluer l'efficacité de nos masquages (MetaDis, TF×IDF), nous les comparons au masquage aléatoire classique de BERT (+CPT (référence)) après pré-entraînement continu. Les résultats indiquent que, quelle que soit la stratégie de masquage utilisée, au moins un de nos modèles apporte des améliorations par rapport à la référence. Avec BERT, des améliorations notables sont observées dans les tâches ECtHR(A) et LEDGAR, obtenant respectivement des scores de 54,88 et 82,25 de m-F1 pour MetaDis - Samp. Cela peut être attribué à la capacité de nos modèles à exploiter les informations relatives au genre (MetaDis) et à la thématique (TF×IDF) propres au domaine juridique. Pour les modèles LegalBERT, des améliorations ont été observées dans les tâches ECtHR(B) et UNFAIR-ToS avec les deux pondérations. Ces résultats soulignent les avantages d'un masquage sélectif des mots, en particulier avec des modèles déjà adaptés. Par rapport aux résultats rapportés dans Chalkidis et al. (2022), notre stratégie obtient, sur la tâche SCOTUS, des résultats supérieurs aux modèles hiérarchiques, tout en requérant moins de paramètres et une architecture moins complexe. Cela souligne l'intérêt de développer des techniques de pré-entraînement qui se concentrent sur des caractéristiques linguistiques spécifiques à un domaine. Cela permet ainsi de se passer de modèles complexes requérant des paramètres supplémentaires ou bien des temps d'entraînement plus longs.

### Méta-discours vs. TF×IDF
En comparant les stratégies de masquage pondérant le genre (+MetaDis) et la topicalité (+TF×IDF) sur les modèles BERT et LegalBERT, nous avons observé des tendances différentes. Pour les modèles BERT, le méta-discours a démontré son efficacité dans les tâches où les caractéristiques linguistiques spécifiques au genre jouent un rôle important, comme dans les tâches ECtHR (A), LEDGAR et UNFAIR-ToS. Au contraire, TF×IDF montre des améliorations pour les tâches qui concernent la pertinence thématique, comme les tâches ECtHR (B), EURLEX et SCOTUS. Par exemple, la tâche EURLEX se concentre sur les textes législatifs de l'Union européenne, marqués par une diversité de concepts issus d'EuroVoc<fnref n="4" />, le thésaurus multilingue, soulignant

<footnote n="4">4. eur-lex.europa.eu/browse/eurovoc.html</footnote>
ainsi leur riche contenu thématique.

Pour le modèle LegalBERT, les deux stratégies présentent des performances similaires pour les tâches ECtHR (B) et UNFAIR-ToS. En revanche, pour la tâche ECtHR (A) la pondération basée sur le meta-discours obtient de meilleures performances, pour EURLEX c'est la pondération $TF×IDF$. Ces résultats suggèrent que la pertinence thématique est un facteur déterminant pour la tâche EURLEX, quel que soit le modèle de base. Cependant, pour la tâche ECtHR (A) les aspects liés au genre (MetaDis) sont particulièrement pertinents, soulignant l'importance de la structure des documents pour cette tâche.

### Samp vs. TopN
La comparaison des configurations BERT sur les deux pondérations indique que la stratégie Samp (échantillonnage) permet d'obtenir de meilleures performances dans les tâches ECtHR (A) et LEDGAR. La stratégie TopN, quant à elle, apporte une amélioration pour la tâche EURLEX. Avec la pondération $TF×IDF$, la stratégie TopN obtient de meilleures performances pour les tâches ECtHR (B) et SCOTUS. Ainsi, TopN semble plus efficace lorsque la topicalité est un facteur déterminant.

En ce qui concerne les modèles LegalBERT utilisant la pondération MetaDis, la stratégie Samp permet d'améliorer les performances dans les tâches ECtHR (B), EURLEX et UNFAIR-ToS. La stratégie TopN, quant à elle, permet de réaliser des progrès notables dans les tâches ECtHR (A) et (B), ce qui souligne son intérêt pour les tâches nécessitant une compréhension thématique des documents. Toujours en partant de LegalBERT et en utilisant la pondération $TF×IDF$, des améliorations sont observées dans les tâches ECtHR (B) et UNFAIR-ToS avec les deux stratégies TopN et Samp. Notons que la stratégie Samp obtient les meilleurs résultats sur la tâche EURLEX.

## 6 Conclusion et perspectives

Nos expériences montrent que nos approches de masquage sélectif, qui intègrent les caractéristiques du genre et du thème du document, jouent un rôle crucial dans l'adaptation des modèles à un domaine de spécialité. Nous observons des améliorations dans chacune les tâches du benchmark LexGLUE axé sur le domaine juridique. En particulier, des améliorations importantes ont été obtenues sur les tâches ECtHR et EUR-LEX pour les modèles BERT et LegalBERT. Néanmoins, les améliorations obtenues ne sont pas consistantes pour chaque modèle et chaque tâche et indiquent que le choix de la pondération semble dépendant de la tâche. Ainsi, plusieurs axes de recherche émergent : tout d'abord, mesurer la capacité de notre approche à généraliser à d'autres domaines, tels que le domaine clinique ou scientifique. Ensuite, étudier l'impact de notre approche dans le cadre de l'adaptation à la tâche.

## Considérations éthiques

Concernant les risques et les biais potentiels inhérents aux modèles de langue entraînés sur des ensembles de données juridiques, les corpus peuvent comprendre des textes de qualité et de représentativité variables. L'utilisation de modèles entraînés sur des textes juridiques, tels que BERT, pourrait introduire des biais liés à la justice, à l'utilisation d'un langage genré, à la représentation de groupes de minorités et à la nature dynamique des normes juridiques au fil du temps. Il est impératif
que ces biais soient évalués et atténués de manière approfondie afin de garantir des performances
équitables entre les différents groupes démographiques et de rester en phase avec l'évolution des
normes juridiques.

Limitations

Notre travail propose une nouvelle façon d'aborder le pré-entraînement continu des modèles de langue dans le domaine juridique avec un masquage sélectif, mais présente néanmoins certaines limitations. En particulier, l'étude actuelle se concentre uniquement sur l'architecture BERT, limitant notre capacité à étudier une gamme plus large de modèles de langue. Ces derniers pourraient en effet présenter des comportements distincts et différentes sensibilités à notre stratégie de pré-entraînement continu et de masquage. Les études futures devraient explorer d'autres modèles, tels que DrBERT (Labrak et al., 2023) et RoBERTa (Liu et al., 2019), afin de fournir une compréhension plus complète des effets de notre stratégie. En outre, notre étude manque d'une comparaison directe avec un modèle entraîné à partir de zéro (from scratch) utilisant le masquage sélectif. Une telle comparaison constituerait un point de référence précieux permettant de déterminer d'autres avantages à notre méthode. Enfin, un réglage plus poussé des hyper-paramètres pourrait conduire à une amélioration des performances du modèle.

Remerciements

Ces travaux ont bénéficié d'un accès aux moyens de calcul de l'IDRIS au travers de l'allocation de ressources 2023-AD011014882 attribuée par GENCI.

Ce travail a été financé, en totalité ou en partie, par l'Agence Nationale de la Recherche (ANR), projet NR-22-CE38-0004.

Références

ALTHAMMER S., BUCKLEY M., HOFSTÄTTER S. & HANBURY A. (2021). Linguistically informed masking for representation learning in the patent domain. In *2nd Workshop on Patent Text Mining and Semantic Technologies (PatentSemTech2021)*, New York, NY, USA : Association for Computing Machinery.

BAO H., DONG L., WEI F., WANG W., YANG N., LIU X., WANG Y., PIAO S., GAO J., ZHOU M. & HON H.-W. (2020). Unilmv2 : Pseudo-masked language models for unified language model pre-training.

BIBER D. & CONRAD S. (2019). *Register, Genre, and Style*. Cambridge University Press. Google-Books-ID : x7OQDwAAQBAJ.

CHALKIDIS I., FERGADIOTIS M., MALAKASIOTIS P., ALETRAS N. & ANDROUTSOPOULOS I. (2020). LEGAL-BERT : The muppets straight out of law school. In T. COHN, Y. HE & Y. LIU, Éds., *Findings of the Association for Computational Linguistics : EMNLP 2020*, p. 2898–2904, Online : Association for Computational Linguistics. DOI : 10.18653/v1/2020.findings-emnlp.261.
CHALKIDIS I., GARNEAU N., GOANTA C., KATZ D. & SØGAARD A. (2023). LeXFiles and LegalLAMA: Facilitating English Multinational Legal Language Model Development. In A. ROGERS, J. BOYD-GRABER & N. OKAZAKI, Éds., *Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)*, p. 15513–15535, Toronto, Canada: Association for Computational Linguistics. DOI: 10.18653/v1/2023.acl-long.865.

CHALKIDIS I., JANA A., HARTUNG D., BOMMARITO M., ANDROUTSOPOULOS I., KATZ D. & ALETRAS N. (2022). LexGLUE: A Benchmark Dataset for Legal Language Understanding in English. In S. MURESAN, P. NAKOV & A. VILLAVICENCIO, Éds., *Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)*, p. 4310–4330, Dublin, Ireland: Association for Computational Linguistics. DOI: 10.18653/v1/2022.acl-long.297.

DEVLIN J., CHANG M.-W., LEE K. & TOUTANOVA K. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. In J. BURSTEIN, C. DORAN & T. SOLO-RIO, Éds., *Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers)*, p. 4171–4186, Minneapolis, Minnesota: Association for Computational Linguistics. DOI: 10.18653/v1/N19-1423.

GOLCHIN S., SURDEANU M., TAVABI N. & KIAPOUR A. (2023). Do not mask randomly: Effective domain-adaptive pre-training by masking in-domain keywords. In B. CAN, M. MOZES, S. CAHYAWIJAYA, N. SAPHRA, N. KASSNER, S. RAVFOGEL, A. RAVICHANDER, C. ZHAO, I. AUGENSTEIN, A. ROGERS, K. CHO, E. GREFENSTETTE & L. VOITA, Éds., *Proceedings of the 8th Workshop on Representation Learning for NLP (RepL4NLP 2023)*, p. 13–21, Toronto, Canada: Association for Computational Linguistics. DOI: 10.18653/v1/2023.repl4nlp-1.2.

GROOTENDORST M. (2020). Keybert: Minimal keyword extraction with bert. DOI: 10.5281/zenodo.4461265.

GUU K., LEE K., TUNG Z., PASUPAT P. & CHANG M.-W. (2020). Realm: Retrieval-augmented language model pre-training.

HERNANDEZ N. & GRAU B. (2003). Automatic extraction of meta-descriptors for text description. In *International Conference on Recent Advances in Natural Language Processing (RANLP)*, Borovets, Bulgaria.

HYLAND K. (1998). Persuasion and context: The pragmatics of academic metadiscourse. *Journal of pragmatics*, **30**(4), 437–455.

JONES K. S. (1972). A statistical interpretation of term specificity and its application in retrieval. *Journal of Documentation*, **28**, 11–21. DOI: 10.1108/eb026526.

JOSHI M., CHEN D., LIU Y., WELD D. S., ZETTLEMOYER L. & LEVY O. (2020). SpanBERT: Improving pre-training by representing and predicting spans. *Transactions of the Association for Computational Linguistics*, **8**, 64–77. DOI: 10.1162/tacl_a_00300.

KE Z., SHAO Y., LIN H., KONISHI T., KIM G. & LIU B. (2022). Continual pre-training of language models. In *The Eleventh International Conference on Learning Representations*.

LABRAK Y., BAZOGE A., DUFOUR R., ROUVIER M., MORIN E., DAILLE B. & GOURRAUD P.-A. (2023). DrBERT: A robust pre-trained model in French for biomedical and clinical domains. In A. ROGERS, J. BOYD-GRABER & N. OKAZAKI, Éds., *Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)*, p. 16207–16221, Toronto, Canada: Association for Computational Linguistics. DOI: 10.18653/v1/2023.acl-long.896.

LEVINE Y., LENZ B., LIEBER O., ABEND O., LEYTON-BROWN K., TENNENHOLTZ M. & SHOHAM Y. (2020). Pmi-masking: Principled masking of correlated spans.
LI Y. & ZHAO H. (2021). Pre-training universal language representation. In C. ZONG, F. XIA, W. LI & R. NAVIGLI, Éds., *Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers)*, p. 5122–5133, Online : Association for Computational Linguistics. DOI : 10.18653/v1/2021.acl-long.398.

LIN C., MILLER T., DLIGACH D., BETHARD S. & SAVOVA G. (2021). EntityBERT: Entity-centric masking strategy for model pretraining for the clinical domain. In D. DEMNER-FUSHMAN, K. B. COHEN, S. ANANIADOU & J. TSUJII, Éds., *Proceedings of the 20th Workshop on Biomedical Language Processing*, p. 191–201, Online : Association for Computational Linguistics. DOI : 10.18653/v1/2021.bionlp-1.21.

LIU Y., OTT M., GOYAL N., DU J., JOSHI M., CHEN D., LEVY O., LEWIS M., ZETTLEMOYER L. & STOYANOV V. (2019). Roberta: A robustly optimized BERT pretraining approach. CoRR, abs/1907.11692.

SUN Y., WANG S., LI Y., FENG S., CHEN X., ZHANG H., TIAN X., ZHU D., TIAN H. & WU H. (2019). ERNIE: Enhanced Representation through Knowledge Integration. arXiv:1904.09223 [cs].

WANG A., SINGH A., MICHAEL J., HILL F., LEVY O. & BOWMAN S. (2018). GLUE: A multi-task benchmark and analysis platform for natural language understanding. In T. LINZEN, G. CHRUPAŁA & A. ALISHAHI, Éds., *Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP*, p. 353–355, Brussels, Belgium: Association for Computational Linguistics. DOI: 10.18653/v1/W18-5446.

WETTIG A., GAO T., ZHONG Z. & CHEN D. (2023). Should you mask 15% in masked language modeling? In A. VLACHOS & I. AUGENSTEIN, Éds., *Proceedings of the 17th Conference of the European Chapter of the Association for Computational Linguistics*, p. 2985–3000, Dubrovnik, Croatia: Association for Computational Linguistics. DOI: 10.18653/v1/2023.eacl-main.217.

WILF A., AKTER S., MATHUR L., LIANG P., MATHEW S., SHOU M., NYBERG E. & MORENCY L.-P. (2023). Difference-masking: Choosing what to mask in continued pretraining. In H. BOUAMOR, J. PINO & K. BALI, Éds., *Findings of the Association for Computational Linguistics: EMNLP 2023*, p. 13222–13234, Singapore: Association for Computational Linguistics. DOI: 10.18653/v1/2023.findings-emnlp.881.

WU T., CACCIA M., LI Z., LI Y.-F., QI G. & HAFFARI G. (2021). Pretrained language model in continual learning: A comparative study. In *International Conference on Learning Representations*.

YANG D., ZHANG Z. & ZHAO H. (2023). Learning Better Masking for Better Language Model Pre-training. In *Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)*, p. 7255–7267, Toronto, Canada: Association for Computational Linguistics. DOI: 10.18653/v1/2023.acl-long.400.

ZHANG S., ROLLER S., GOYAL N., ARTETXE M., CHEN M., CHEN S., DEWAN C., DIAB M., LI X., LIN X. V., MIHAYLOV T., OTT M., SHLEIFER S., SHUSTER K., SIMIG D., KOURA P. S., SRIDHAR A., WANG T. & ZETTLEMOYER L. (2022). Opt: Open pre-trained transformer language models.

## A Paramètres de pré-entraînement continu

Avant l'entraînement, les exemples ont été mélangés aléatoirement à trois reprises en utilisant la même graine. Nous entraînons chaque modèle en au moyen de la bibliothèque python transformers.
L'entraînement est réalisé sur 10 époques, représentant 4453 étapes pour BERT et 4396 étapes pour
LegalBERT, les méthodes de segmentation en sous-mots de chaque modèle étant différentes.

Au total, nous estimons le temps de calcul total à ≈ 4,100 h, à savoir 3,200 h d'entraînement, 380 h pour l'évaluation des modèles et 520 h pour le développement.

B Analyse des mots les plus masqués

Le score de TF×IDF a été calculé à l'aide du package python scikit-learn.

Pour mieux comprendre les différences de mots sélectionnés en fonction des deux scores d'importance,
nous présentons dans la Table 3 les 50 mots les plus masqués pour 10 % du corpus d'entraînement.

TF×IDF

applicant, court, 2007, extradition, prosecutor, meshchanskiy, russian, dzhurayev, moscow, uzbekistan, tashkent, district, custody, government, convention, article, office, decision, §, detention, russia, ccp, 4, preventive, v, minsk, federation, 2, application, uzbek, proceedings, 1, 5, criminal, procedure, january, 38124, case, 29, merits, may, dismissed, law, rakhimovskiy, 466, request, decided, sobir, arrest, provisions

MetaDis

general, application, decision, january, september, decided, august, 4, 28, 9, 3, issued, request, rules, dismissed, 23, 29, indicated, basis, ordered, european, apply, be, 24, 17, date, 5, 30, held, final, december, 26, 6, 11, mentioned, applied, specified, 12, february, placed, 2, whether, remain, first, to, deliberated, represented, constitute, case, article

TABLE 3 – 50 mots les plus masqués avec les pondérations TF×IDF et Metadis ordonnés par fréquence
# Améliorer la traduction au niveau du document grâce au sur-échantillonnage négatif et au masquage ciblé

Gaëtan Caillaut¹ Mariam Nakhlé¹,² Jingshu Liu¹ Raheel Qader¹

(1) Lingua Custodia, Paris, France (2) Université Grenoble Alpes, CNRS, Grenoble INP, LIG, France
`firstname.lastname@linguacustodia.com`,
`firstname.lastname@univ-grenoble-alpes.fr`

## RÉSUMÉ

Ces travaux visent à améliorer les capacités des systèmes de traduction automatique à tenir compte du contexte dans lequel se trouve la phrase source, et donc, ultimement, à améliorer les performances globales des systèmes de traduction automatique. L'approche que nous proposons repose uniquement sur les données et la manière dont elles sont fournies au modèle durant l'entraînement et est complètement agnostique de l'architecture du modèle. Nous montrons que les performances des modèles de traduction, sur la paire en-fr, peuvent être améliorées simplement en fournissant des données plus pertinentes vis-à-vis de la tâche cible, et ce sans modifier ni complexifier les architectures existantes, en particulier l'architecture Transformer couramment utilisée par les systèmes de TAL modernes. Pour ce faire, nous présentons deux stratégies d'augmentation de données (sur-échantillonnage négatif et masquage ciblé) conçues pour inciter le modèle à s'appuyer sur le contexte. Nous montrons, au travers de métriques appropriées, que ces méthodes permettent d'améliorer les performances des systèmes de traduction sans pour autant modifier ni l'architecture du modèle, ni le processus d'entraînement.

## ABSTRACT

Improve Context-Aware Machine Translation with Negative Sampling and Focused Masking

This work aims at enhancing the context awareness of machine translation models without requiring modification on their architecture. Instead, we took a data-driven approach and explore different data augmentation strategies. We show that performance, on the en-fr pair, can be improved solely by improving the « relevance » of the train data according to the target task, instead of refining and/or complicating the transformer architecture, commonly used by modern machine translation systems. Hence, we propose two simple data augmentation strategies (Negative Sampling and Focused Masking) crafted in order to encourage the model to look at the context. We show through the use of appropriate test suite, as well as traditional BLEU, that these data augmentation strategies improve context-level machine translation performances without requiring change in the model architecture nor the training pipeline.

**MOTS-CLÉS** : traduction au niveau du document, traduction automatique, transformer.

**KEYWORDS:** context-level machine translation, transformer.

## 1 Introduction

Les moteurs de traduction traditionnels traduisent les phrases d'un même document indépendamment les unes des autres. Il est de notoriété publique que les prédicitions effectuées par systèmes modernes

<figure><img src="image_99.png" /></figure>
de traduction automatique neuronale (Sutskever et al., 2014; Bahdanau et al., 2014; Luong et al., 2015; Vaswani et al., 2017) sont généralement très satisfaisantes. Cependant, ces systèmes bénéficieraient largement à davantage prendre en considération le contexte du texte en cours de traduction.

Nous cherchons à faire évoluer les systèmes de traduction centrés sur des phrases individuelles vers des systèmes en mesure de considérer un contexte plus large. En effet, la plupart des travaux autour de la traduction automatique se concentrent généralement sur le problème de la traduction de phrases individuelles (Bahdanau et al., 2014). Toutefois, il semble communément admis que les informations contextuelles, souvent présentes dans les phrases précédentes, peuvent s'avérer décisives pour comprendre pleinement le sens d'une phrase, en particulier lorsqu'elle contient des références implicites comme des ellipses ou des deixis (Voita et al., 2019). Plus généralement, il est courant qu'une phrase référence une précédente, notamment via l'usage de pronoms qui devront être traduits en genre et en nombre. Considérons un document contenant les deux phrases suivantes en anglais : « the girls are getting ready for their exam. they are a bit anxious. ». Si l'on traduit ces deux phrases vers le français de manière classique, c'est à dire indépendamment les unes des autres, on obtiendrait la traduction suivante : « les filles se préparent pour leur examen. Ils sont un peu anxieux. ». En revanche, la prise en compte de la première phrase lors de la traduction de la deuxième, permettrait de lever toutes ambiguïtés et d'obtenir une traduction correcte : « les filles se préparent pour leur examen. Elles sont un peu anxieuses. ». Bien que simple, cet exemple montre qu'il est véritablement crucial de tenir compte du contexte si l'on veut être en mesure de traduire un texte convenablement.

Par ailleurs, tenir compte du contexte ne vise pas uniquement à améliorer la qualité des traductions générées par le modèle, mais peut aussi permettre de réduire certains biais, tels que les biais de genre (Stanczak & Augenstein, 2021), puisque le modèle pourra s'appuyer sur le contexte afin de désambiguïser correctement les éléments critiques.

Plusieurs approches permettant d'incorporer ces informations contextuelles au sein de la représentation de la phrase source ont déjà été proposées. Toutefois, plusieurs travaux ont montré que, curieusement, cela n'améliore pas les systèmes de traduction automatique. Pire encore, ces informations contextuelles semblent être considérées comme du bruit (Kim et al., 2019), ce qui, certes, semble améliorer la robustesse des modèles lorsqu'il s'agit de traduire des phrases individuelles, mais n'améliore pas nécessairement la qualité de la traduction lorsqu'il s'agit de traduire un paragraphe complet. Ces approches consistent généralement en une extension de l'architecture Transformer (Vaswani et al., 2017) avec un encodeur dédié aux phrases contextuelles (Zheng et al., 2020; Maruf et al., 2019).

Les travaux présentés ici s'inspirent de ceux de Lupo et al. (2022), mais nous avons choisi d'explorer une piste différente. Les auteurs introduisent une évolution de l'architecture Transformer, censée être plus à même de tenir compte des informations contextuelles. Nous pensons que l'architecture originale est tout à fait capable de prendre le contexte en considération, et que le problème provient principalement de la manière dont les données sont fournies au modèle durant l'entraînement. Ainsi, nous proposons dans ces travaux de repenser le jeu de données et l'objectif ciblé durant la phase d'entraînement afin de pousser le modèle à utiliser de manière appropriée la phrase à traduire et (surtout) son contexte. À cet effet, nous proposons les deux stratégies **sur-échantillonnage négatif** (*negative sampling*) et **masquage ciblé** (*focused masking*). La première consiste à fournir au modèle des traductions erronées et à l'entraîner à ne pas les produire. La seconde consiste, durant l'entraînement, à masquer certains mots fortement dépendants du contexte afin de forcer le modèle à extraire cette information du contexte. Nous évaluons nos stratégies à l'aide du traditionnel score BLEU, mais aussi à l'aide de ContraPro (Lopes et al., 2020) et GenPro (Post & Junczys-Dowmunt,
2023), deux méthodes centrées sur l'évaluation de la traduction des pronoms, et donc plus adaptées à notre objectif. Nous montrons que nos stratégies permettent d'améliorer la qualité des traductions lorsque le contexte est présent, tout en ne la dégradant pas lorsque celui-ci est absent.

## 2 Travaux connexes

La prise en compte du contexte est crucial afin de construire un système de traduction automatique fiable et robuste. Pourtant, il est encore difficile d'entraîner efficacement un modèle sur ce problème particulier. L'une des raisons étant la faible disponibilité des ressources contextuelles : la plupart des jeux de données pour la traduction no sont disponibles que sous la forme de phrases parallèles, dépourvues de leurs contextes d'origine (Schwenk et al., 2019a,b; Koehn, 2005). De plus, les systèmes actuels sont limités par la taille des phrases qu'ils sont capable de traiter, bien que ce problème est en passe d'être en partie résolu avec le développement des LLM de dernières génération, permettant de traiter plusieurs milliers de mots (Jiang et al., 2024; AI@Meta, 2024). Toutefois, les statistiques de la compétition WMT23 (Kocmi et al., 2023) montrent que l'adoption des LLM par la communauté de la traduction automatique est encore très faible.

De nombreux travaux dans ce domaine se concentrent sur le problème de la traduction des pronoms (Guillou, 2012; Le Nagard & Koehn, 2010), ces derniers étant très dépendants du contexte par nature. De plus, certaines phrases peuvent être intraduisibles lorsqu'un pronom se s'accorde pas en genre et/ou en nombre dans la langue source, mais s'accorde dans la langue cible. C'est typiquement le cas avec le pronom anglais « they », pouvant se traduire par « ils » ou « elles » en français. Ainsi, Hardmeier & Guillou (2018) montrent que les modèles reposant sur l'architecture Transformer ont tendance à traduire correctement les pronoms non-anaphoriques et ceux coréférents avec un élément de la même phrase. En revanche, ces modèles ne parviennent pas à traduire convenablement les pronoms faisant références à des éléments présents dans les phrases précédentes.

Lupo et al. (2022) estiment qu'il est difficile, en traduction automatique, de prendre en compte le contexte, car les informations pertinentes sont très éparses : généralement, seuls un nombre limité de tokens ont un impact sur la phrase courante. Par conséquent, les modèles ont tendance à ignorer le contexte, puisqu'il ne contient finalement que peu de signaux utiles à la traduction. Pourtant, ces signaux sont d'une importance capitale afin de résoudre certaines ambiguïtés linguistiques, comme les ellipses ou les deixis (Voita et al., 2019). Ils proposent de réduire ce problème à l'aide d'un entraînement en trois étapes. La première étape consiste à entraîner un modèle de traduction standard, sans données contextuelles. La seconde étape, appelée d&r (divide and rule), consiste à réitérer l'entraînement, mais en scindant les phrases en K morceaux. Les K - 1 premiers morceaux sont alors utilisés en tant que contexte et le modèle est entraîné à traduire le dernier morceau. De cette manière, le modèle est incité à porter plus d'attention sur le contexte, puisque la dernière portion de phrase a de fortes chances d'être difficile à traduire sans avoir connaissance du début de la phrase. Une dernière étape d'entraînement est requise afin de recadrer le modèle, puisqu'on attend de celui-ci qu'il traduise des phrases complètes, et non pas des fragments de phrases.

Les récentes avancées en Traitement Automatique de la Langue (TAL) ont montré que les grands modèles de langage (LLM) avec architecture décodeur sont en mesure de répondre efficacement à ce problème, puisqu'ils sont capables de traiter de très longues séquences (plusieurs milliers de tokens). Ces grands modèles se sont également montrés surprenant performants sur des tâches de traduction, sans pour autant avoir été entraînés spécifiquement pour (Chowdhery et al., 2022; Scao et al., 2022;
Touvron et al., 2023). Toutefois, la flexibilité offerte par ces modèles requiert d'énormes capacités de calculs, qui ne sont pas nécessairement justifiées si le but visé ne concerne que la traduction. En outre, Raffel et al. (2020) ont montré que l'architecture décodeur semble moins adaptée à la traduction automatique que l'architecture encodeur-décodeur. C'est pourquoi nous nous concentrerons sur des modèles encodeur-décodeur de tailles raisonnables dans la suite de ce document.

Les améliorations apportées par la bonne prise en compte du contexte par les systèmes de traduction automatique se révèlent assez difficile à observer à l'aide des métriques traditionnelles, typiquement BLEU (Papineni et al., 2002), car les quelques tokens dépendant du contexte sont noyés par la masse de tokens n'en dépendant pas. C'est pourquoi Lopes et al. (2020) introduisent ContraPro, un jeu de données dédié à l'évaluation de modèles contextuels. Ce jeu de données est constitué de phrases provenant de OpenSubtitles2018 (Lison et al., 2018) dans lesquelles le genre de certains pronoms ont été remplacés par le genre opposé. Par exemple, certains « il » sont changés en « elle ». Les phrases présentes dans le jeu de données sont sélectionnées afin que le contexte puisse permettre de sélectionner le bon pronom. Les modèles sont alors évalués selon les probabilités qu'ils attribuent aux phrases originales et à leurs versions altérées : la phrase originale doit être considérée comme plus probable que l'autre.

Post & Junczys-Dowmunt (2023) pensent que les modèles doivent être évalués en fonction des phrases qu'ils génèrent réellement, pas seulement selon les probabilités qu'ils donnent à des phrases prédéfinies. En effet, si l'on considère une traduction *A* et sa version altérée *B*, ContraPro considère le modèle comme étant juste si et seulement si la probabilité *P*(*A*) est supérieure à *P*(*B*). Or, *P*(*A*) peut tout à fait être tellement faible qu'en pratique cette phrase ne puisse pas être générée par le modèle. Dans ce cas, doit-on considérer le modèle comme juste ? Post & Junczys-Dowmunt (2023) cherchent à limiter ce biais en proposant GenPro, une méthode d'évaluation basée sur ContraPro valorisant un modèle quand il génère effectivement le pronom attendu.

## 3 Méthode

Les approches existantes cherchent généralement à introduire l'information contextuelle ajoutant un module dédié à l'architecture transformer, couramment utilisée de nos jours pour répondre aux problématiques de TAL. Or, Li et al. (2020) ont montré que ces modifications n'aident pas réellement le modèle à mieux prendre en compte le contexte. Comme montré par Kim et al. (2019), les modèles tendent à considérer le contexte comme du bruit, et apprennent à ne pas en tenir compte. Ce comportement n'est pas déraisonnable, puisque l'immense majorité des informations nécessaires se trouvent effectivement dans la phrase à traduire, et non dans le contexte passé. Par conséquent, le modèle est naturellement incité, lors du processus d'entraînement, à se concentrer sur la phrase en cours de traduction uniquement, et à ignorer le reste. Cela permet au modèle de converger rapidement vers une solution acceptable. Toutefois, nous supposons qu'une fois ce niveau atteint, il est difficile, pour le modèle, de faire marche arrière afin de sortir de cet état où le contexte est ignoré.

Nous pensons que l'architecture Transformer originale est naturellement capable de sélectionner et d'utiliser les bonnes informations contextuelles. Le mécanisme d'attention est suffisamment puissant pour extraire les signaux pertinents pour chaque token. Selon nous, si le modèle traite les phrases contextuelles comme du bruit, c'est parce qu'il a été entraîné de façon sous-optimale, et que le modèle doit être davantage incité à regarder du côté du contexte, au lieu d'apprendre à l'ignorer.
Lupo et al. (2022) proposent une méthode dont afin de forcer le modèle à extraire de l'information du côté du contexte. Toutefois, leur approche en trois étapes nous semble contraignante et perfectible. En effet, le principe de leur méthode est de fournir au modèle des phrases dont la structure est *cassée* de manière à ce qu'elles ne puissent pas être traduites sans leur contexte. Le modèle est par la suite ré-entraîné sur des phrases non altérées, tout en figeant les paramètres du modèle chargés d'extraire l'information contextuelle. Le modèle résultant de ce processus est donc censé extraire de l'information contextuelle, mais il est nécessairement sous-optimal puisqu'il n'a été entraîné que sur des contextes synthétiques et incomplets.

Nous nous inspirons de ces travaux et proposons une approche en deux étapes consistant à entraîner
le modèle sur un large jeu de données de phrases parallèles, puis à adapter ce modèle sur un jeu de
données de taille réduite que l'on augmente avec des données synthétiques. Nous considérons le même
jeu de données utilisé par Lupo et al. (2022), c'est-à-dire WMT14¹ pour entraîner le modèle de base
et IWSLT17² pour affiner le modèle sur des données contextuelles. Dans ces travaux, nous n'étudions
que le cas de la traduction de l'anglais au français (EN-FR). Le contexte et la phrase à traduire sont
encodés de la manière suivante : 
 <ctx> CONTEXT TOKENS </ctx> SOURCE TOKENS

.

Nous pensons que le comportement du modèle vis-à-vis du contexte doit être guidé par les données
vues durant la phase d'entraînement, c'est pourquoi nous explorons différentes manières de pousser
le modèle à extraire de l'information du contexte, lorsque cela s'avère nécessaire.

## 3.1 Sur-échantillonnage négatif

<figure><img src="image_100.png" /><figcaption>FIGURE 1 – Augmentation du jeu de données avec des échantillons négatifs. La phrase source est scannée pour détecter des mots genrés, qui sont remplacé selon une certaine probabilité.</figcaption></figure>

L'objectif du sur-échantillonnage négatif (*negative sampling*) est de fournir au modèle davantage d'exemples négatifs afin de l'entraîner à ne pas les reproduire. Pour chaque phrase cible, nous générons une version altérée dans laquelle les mots *critiques* (pronoms et déterminants) sont remplacés par leurs homologues du genre opposé, comme illustré en Figure 1. Nous avons sélectionné les mots à remplacer en effectuant une simple recherche basée sur les caractères au lieu de reposer sur des méthodes plus raffinées, par exemple en s'appuyant sur l'analyse morphosyntaxique des mots. Ensuite, seul un sous-ensemble aléatoire des mots ainsi sélectionnés sont remplacés. La liste des déterminants et pronoms que nous considérons est la suivante : il/elle, ils/elles, le/la, un/une, mon/ma, ton/ta, son/sa, ce/cette, tous/toutes, quel/quelle et lequel/laquelle.

Le modèle est entraîné de façon à minimiser la fonction de perte associée au sur-échantillonnage
(negative sampling loss) L<sub>ns</sub>, correspondant à la moyenne des probabilités des tokens remplacés,
telles que prédites par le modèle (les *logits*). Puisque les tokens remplacés sont incorrects, leurs

<footnote n="1">1. http://www.statmt.org/wmt14/translation-task.html</footnote>

<footnote n="2">2. https://sites.google.com/site/iwsltevaluation2017/data-provided</footnote>
probabilités doivent être faibles, nous cherchons donc à minimiser $\mathcal{L}_{ns}$. La fonction objectif finale est donnée par $\mathcal{L} = \mathcal{L}_{translation} + \mathcal{L}_{ns}$ où $\mathcal{L}_{translation}$ est l'entropie-croisée, couramment utilisée pour entraîner les modèles de traduction.

## 3.2 Masquage ciblé

<figure><img src="image_101.png" /><figcaption>FIGURE 2 – Masquage des mots coréférents. Les éléments de la chaîne de coréférence [she, sister] présents dans la source sont masqués selon une certaine probabilité.</figcaption></figure>

L'idée du masquage ciblé est relativement similaire à celle du sur-échantillonnage négatif, mais au lieu d'altérer la cible, nous modifions la phrase de façon à masquer certains mots, censés être très dépendants du contexte. Puisque l'objectif est d'inciter le modèle à extraire de l'information du contexte, les tokens du contexte ne sont jamais masqués, seuls les tokens de la phrase à traduire le sont. Nous avons exploré deux stratégies, l'une consiste à masquer les mots coréférents comme montré en Figure 2, l'autre à masquer les mots apparaissant à la fois dans le contexte et la source. Nous avons utilisé *coreferee*<fnref n="3" /> et *spacy*<fnref n="4" /> pour extraire les chaînes de coréférence. Par exemple, dans la phrase « J'ai vu ta sœur. Elle allait bien. », les mots « sœur » et « elle » sont coréférents. Nous supposons que masquer le pronom « elle » forcera le modèle à analyser le contexte pour en déduire le bon pronom. De même que pour la stratégie précédente, seulement une portion aléatoire d'éléments des chaînes de coréférence sont masqués, et seulement s'ils apparaissent dans la source afin de ne pas décourager le modèle à puiser de l'information dans le contexte.

## 3.3 Divide and rule

L'objectif de la stratégie divide-and-rule proposée par Lupo et al. (2022) est de forcer le modèle à observer le contexte en divisant la phrase initiale en morceaux de tailles similaires, et de réutiliser les premiers morceaux en guise de contexte. De cette manière, le modèle est entraîné sur des phrases complètement déstructurées, de sorte qu'il soit nécessaire de prendre en compte le contexte pour traduire la phrase. Dans les travaux originaux, les auteurs entraînent un encodeur dédié au contexte en plus de celui dédié à la phrase source à traduire, puis fusionnent les représentations de ces deux encodeurs avant de générer la traduction par le décodeur.

Dans le cadre de nos travaux, nous pensons que l'encodeur dédié au contexte est superflu, mais la stratégie divide-and-rule nous semble toutefois pertinente, notamment car elle permet de créer de l'information contextuelle à partir de phrases isolées. C'est pourquoi nous avons généré des données synthétiques en divisant chaque phrase source en trois morceaux *x*, *y* et *z* de tailles équivalentes. Ainsi, chaque phrase nous permet de générer les trois paires contexte/source suivantes :

<footnote n="3">3. https://github.com/richardpaulhudson/coreferee</footnote>

<footnote n="4">4. https://spacy.io/</footnote>
— 
 <ctx> </ctx> x y z 


— 
 <ctx> x </ctx> y z 


— 
 <ctx> x y </ctx> z 


Les phrases cibles sont générées de la même manière, ce qui s'avère être l'un des défauts majeurs de cette stratégie, puisque les mots présents dans la source et la cible n'apparaissent pas nécessairement dans le même ordre.

## 4 Expérimentations

Plusieurs modèles ont été entraînés afin de mesurer l'impact des différentes stratégies présentées dans ces travaux : sur-échantillonnage négatif, masquage ciblé et *divide and rule*. Les modèles ont été entraînés dans un premier temps sur la direction EN-FR du corpus WMT14 pendant une *epoch*, puis affinés sur la direction EN-FR du corpus IWSLT17 pour 15 *epochs*. Nos modèles reprennent l'architecture encodeur-décodeur standard, avec 6 couches d'encodeurs et 6 couches de décodeurs, 8 têtes d'attentions et la dimension des embeddings est fixée à 512. Les modèles sont entraînés avec l'optimiseur AdamW, un taux d'apprentissage de $5e^{-5}$ et la taille du batch est fixée à 32 phrases.

Les scores BLEU sont calculés sur l'ensemble de test du corpus IWSLT17 à l'aide de Sacre-BLEU (Post, 2018). Nous calculons également les scores ContraPro (Lopes et al., 2020) et Gen-Pro (Post & Junczys-Dowmunt, 2023), puisqu'ils sont censés mieux capturer la capacité d'un modèle à tenir compte des informations contextuelles. Ces deux dernières métriques mesurent essentiellement la capacité du modèle à traduire correctement les pronoms, qui sont des éléments très dépendants du contexte.

Chaque modèle a été entraîné avec et sans contexte afin d'observer si l'information portée par le contexte permet réellement d'améliorer la qualité des traductions. Dans cette expérience, le contexte correspond à la phrase précédant la phrase source. Les scores de tous les modèles évalués sont donnés en Tableaux 1 et 2. Les modèles dont le nom portent la mention « coref » et « samewords » ont été entraînés avec, respectivement, les stratégies consistant à masquer les mots coréférents et les mots partagés entre le contexte et la source. Pour chaque stratégie, deux expériences ont été faites avec des probabilités de masquage de 0,5 et 0,8. Le modèle « d&r » a été entraîné à l'aide de l'approche *divide and rule*.

Notre première observation est que les modèles contextuels (auxquels on fournit la phrase précédente) sont globalement plus performants que les autres modèles, comme l'indiquent les scores en Tableau 1, supérieurs à ceux en Tableau 2. Les différences entre chaque scores sont statistiquement significatives ($p < 0.05$), il semble donc qu'il soit bénéfique d'augmenter l'entrée du modèle, la phrase à traduire, avec son contexte. Cela est d'autant plus perceptible sur les scores ContraPro et GenPro, là où les fluctuations sur les scores BLEU sont plus limitées. Cette dernière observation corrobore les conclusions d'autres travaux, notamment ceux ayant motivé la création de ContraPro et GenPro, selon lesquelles BLEU ne serait pas adapté pour l'évaluation de modèles contextuels (Nakhlé, 2023; Jin et al., 2023). De plus, ces expériences montrent qu'il est effectivement nécessaire d'inclure des informations contextuelles afin de traduire correctement les pronoms. Il en va certainement de même pour d'autres éléments fortement dépendants du contexte, mais ContraPro et GenPro ne nous permettent de nous prononcer que sur les pronoms.

Nous remarquons également que les différentes stratégies de masquage, de même que la méthode
<table><caption>TABLE 1 – Performances sur la traduction de phrases accompagnées de leurs contextes. SN signifie « sur-échantillonnage négatif ». Tous les scores sont à maximiser. Les différences entre les modèles affinés avec SN (gauche) et sans (droite) sont significatives ($p < 0.05$). Les différences entre les modèles pré-entraînés avec (haut) et sans SN (bas) ne sont significatives ($p < 0.05$) que pour les scores *Pro.</caption><thead><tr><th rowspan="2">Modèle</th><th colspan="3">affiné avec SN</th><th colspan="3">affiné sans SN</th></tr><tr><th>BLEU</th><th>ContraPro</th><th>GenPro</th><th>BLEU</th><th>ContraPro</th><th>GenPro</th></tr></thead><tbody><tr><td colspan="7"><strong>Pré-entraîné avec SN</strong></td></tr><tr><td>no masking</td><td>39,0</td><td>0,84</td><td>46,4</td><td>39,3</td><td>0,83</td><td>52,1</td></tr><tr><td>d&r</td><td>39,3</td><td>0,83</td><td>43,5</td><td>39,9</td><td>0,82</td><td>51,7</td></tr><tr><td>coref50</td><td>38,9</td><td>0,84</td><td>46,3</td><td>39,4</td><td>0,83</td><td>52,2</td></tr><tr><td>coref80</td><td>38,9</td><td>0,84</td><td>46,5</td><td>39,3</td><td>0,83</td><td>52,3</td></tr><tr><td>samewords50</td><td>39,0</td><td>0,83</td><td>47,2</td><td>39,7</td><td>0,82</td><td>52,3</td></tr><tr><td>samewords80</td><td>39,0</td><td>0,83</td><td>47,4</td><td>39,7</td><td>0,82</td><td>52,4</td></tr><tr><td colspan="7"><strong>Pré-entraîné sans SN</strong></td></tr><tr><td>no masking</td><td>39,0</td><td>0,83</td><td>43,3</td><td>39,8</td><td>0,79</td><td>46,8</td></tr><tr><td>d&r</td><td>39,3</td><td>0,82</td><td>39,7</td><td>40,1</td><td>0,78</td><td>44,5</td></tr><tr><td>coref50</td><td>39,0</td><td>0,83</td><td>43,3</td><td>39,8</td><td>0,79</td><td>46,8</td></tr><tr><td>coref80</td><td>39,0</td><td>0,83</td><td>43,3</td><td>39,7</td><td>0,79</td><td>46,8</td></tr><tr><td>samewords50</td><td>39,4</td><td>0,82</td><td>41,6</td><td>39,9</td><td>0,78</td><td>43,8</td></tr><tr><td>samewords80</td><td>39,9</td><td>0,78</td><td>43,8</td><td>40,0</td><td>0,78</td><td>43,8</td></tr><tr><td colspan="7"><strong>Lupo et al. (2022)</strong></td></tr><tr><td>K1</td><td></td><td></td><td></td><td>41,93</td><td>0,84</td><td></td></tr><tr><td>K1 d&r</td><td></td><td></td><td></td><td>41,78</td><td>0,79</td><td></td></tr></tbody></table>

divide and rule, n'ont finalement que très peu d'impact sur les performances finales. Pire, le sur-échantillonnage négatif semble dégrader légèrement les scores BLEU des modèles contextuels. Cependant, cette stratégie semble tout de même améliorer les scores ContraPro et GenPro. C'est en effet la seule méthode permettant d'améliorer systématiquement le score ContraPro, indiquant que cette stratégie permet bel et bien au modèle d'extraire de meilleures informations contextuelles. Toutefois, cette stratégie semble aussi dégrader les scores GenPro lorsqu'elle est appliquée pour affiner le modèle. Cela signifie que le sur-échantillonnage négatif permet au modèle de mieux identifier les erreurs sur les pronoms, sans pour autant l'inciter à générer les bons. Cela reste tout de même à considérer avec un peu plus de hauteur, puisque GenPro repose sur une méthode heuristique pour aligner les pronoms entre les phrases sources et cibles. Il est possible que de nombreux faux négatifs soient comptabilisés.

Enfin, nous comparons les résultats obtenus par nos modèles avec ceux publiés par Lupo et al. (2022). Nos expérimentations sont comparables à celles effectuées sur le modèle intitulé *K1 Low Res*, c'est pourquoi nous ne reprenons que ces résultats en Tableau 1. Les scores BLEU des modèles *K1* sont plus élevés que les nôtres, nous supposons que cela provient de paramétrages plus optimaux, soit au niveau des hyperparamètres des modèles, soit au niveau de l'entraînement (taille du batch, durée de l'entraînement, ...). Nous nous intéressons davantage aux gains apportées par l'approche d&r sur les scores ContraPro, et nous observons que nos modèles parviennent à concurrencer le modèle *K1 d&r*, même en l'absence d'encodeur dédié à la prise en charge du contexte. Cela semble valider notre
<table><caption>TABLE 2 – Performances sur la traduction de phrases individuelles. SN signifie « sur-échantillonnage négatif ». Tous les scores sont à maximiser. Les différences entre les modèles affinés avec SN (gauche) et sans (droite) ne sont significatives ($p < 0.05$) que pour GenPro. Les différences entre les modèles pré-entraînés avec (haut) et sans SN (bas) ne sont significatives ($p < 0.05$) que pour les scores BLEU et ContraPro.</caption><thead><tr><th rowspan="2">Modèle</th><th colspan="3">affiné avec SN</th><th colspan="3">affiné sans SN</th></tr><tr><th>BLEU</th><th>ContraPro</th><th>GenPro</th><th>BLEU</th><th>ContraPro</th><th>GenPro</th></tr></thead><tbody><tr><td colspan="7"><strong>Pré-entraîné avec SN</strong></td></tr><tr><td>no masking</td><td>37,8</td><td>0,78</td><td>33,6</td><td>38,6</td><td>0,78</td><td>40,5</td></tr><tr><td>d&r</td><td>39,3</td><td>0,78</td><td>31,6</td><td>39,7</td><td>0,77</td><td>40,8</td></tr><tr><td>coref50</td><td>38,2</td><td>0,78</td><td>33,6</td><td>38,5</td><td>0,78</td><td>40,4</td></tr><tr><td>coref80</td><td>38,0</td><td>0,78</td><td>33,7</td><td>38,7</td><td>0,78</td><td>40,5</td></tr><tr><td>samewords50</td><td>38,4</td><td>0,78</td><td>34,6</td><td>39,1</td><td>0,77</td><td>40,6</td></tr><tr><td>samewords80</td><td>38,5</td><td>0,78</td><td>34,7</td><td>39,0</td><td>0,77</td><td>40,6</td></tr><tr><td colspan="7"><strong>Pré-entraîné sans SN</strong></td></tr><tr><td>no masking</td><td>35,2</td><td>0,77</td><td>30,9</td><td>36,0</td><td>0,77</td><td>39,7</td></tr><tr><td>d&r</td><td>39,5</td><td>0,78</td><td>31,1</td><td>40,1</td><td>0,76</td><td>41,4</td></tr><tr><td>coref50</td><td>35,2</td><td>0,77</td><td>31,0</td><td>35,9</td><td>0,77</td><td>39,7</td></tr><tr><td>coref80</td><td>35,2</td><td>0,77</td><td>30,9</td><td>35,9</td><td>0,77</td><td>39,6</td></tr><tr><td>samewords50</td><td>35,9</td><td>0,78</td><td>30,5</td><td>36,8</td><td>0,76</td><td>39,2</td></tr><tr><td>samewords80</td><td>36,7</td><td>0,76</td><td>39,2</td><td>36,8</td><td>0,76</td><td>39,2</td></tr></tbody></table>

hypothèse initiale (il n'est pas nécessaire de complexifier l'architecture du modèle pour améliorer la prise en charge du contexte).

En résumé, nos expériences montrent que la meilleure stratégie semble être d'augmenter le jeu de données de pré-entraînement avec des exemples négatifs (sur-échantillonnage négatif), puisque les modèles entraînés de cette manière tendent à trouver le meilleur équilibre entre la qualité de la traduction (BLEU) et prise en compte du contexte (ContraPro et GenPro). Les autres stratégies évaluées ne semblent pas apporter de réels gains.

# 5 Conclusion

Nous proposons, des méthodes permettant d'introduire des éléments d'information contextuelles au sein du processus de traduction. Cette étude se concentre sur la prise en compte des informations présentes dans la phrase précédente, mais nous envisageons d'étendre le contexte à davantage de phrases. Nous proposons et évaluons différentes stratégies d'entraînement et d'augmentation de données destinées à améliorer la prise en compte du contexte par modèles de traduction automatique. En effet, comme le montrent nos expériences, inclure le contexte, même s'il ne s'agit que de la phrase précédente, permet d'augmenter les performances du système de traduction. L'une de nos stratégies consiste à augmenter le jeu de données initiales afin d'ajouter des exemples négatifs. Les résultats montrent que cette stratégie permet effectivement d'améliorer la prise en charge du contexte par le modèle, ce qui se matérialise par des scores ContraPro et GenPro plus élevés, deux métriques conçues
pour évaluer les modèles contextuels. Toutefois, cette stratégie semble dégrader la qualité générale de la traduction, telle que reportée par le score BLEU. Nous montrons qu'il est possible d'éviter ce phénomène en appliquant le sur-échantillonnage négatif lors du pré-entraînement uniquement. Notre approche se limite à introduire un signal négatif sur le genre et le nombre de certains pronoms et déterminants. L'une des pistes à explorer serait d'envisager d'autres méthodes de corruptions, par exemple remplacer un mot par son antonyme, ou encore modifier le temps de certains verbes.

La seconde stratégie que nous proposons consister à sélectionner des termes dépendants du contexte et d'en masquer une proportion aléatoire. Nous avons exploré deux pistes : masquer les mots apparaissant à la fois dans le contexte et la source et masquer certains éléments des chaînes de coréférences. Nos expériences montrent que cette approche n'apporte aucune plus-value. Cependant, cela ne suffit pas pour rejeter complètement cette stratégie, puisqu'il est possible qu'elle porte ses fruits avec des choix plus avisés de mots à masquer.

Références

AI@META (2024). Llama 3 model card.

BAHDANAU D., CHO K. & BENGIO Y. (2014). Neural machine translation by jointly learning to align and translate. *arXiv preprint arXiv:1409.0473*.

CHOWDHERY A., NARANG S., DEVLIN J., BOSMA M., MISHRA G., ROBERTS A., BARHAM P., CHUNG H. W., SUTTON C., GEHRMANN S. et al. (2022). Palm: Scaling language modeling with pathways. *arXiv preprint arXiv:2204.02311*.

GUILLOU L. (2012). Improving pronoun translation for statistical machine translation. In *Proceedings of the Student Research Workshop at the 13th Conference of the European Chapter of the Association for Computational Linguistics*, p. 1–10.

HARDMEIER C. & GUILLOU L. (2018). Pronoun translation in english-french machine translation : An analysis of error types. *arXiv preprint arXiv:1808.10196*.

JIANG A. Q., SABLAYROLLES A., ROUX A., MENSCH A., SAVARY B., BAMFORD C., CHAPLOT D. S., CASAS D. D. L., HANNA E. B., BRESSAND F. et al. (2024). Mixtral of experts. *arXiv preprint arXiv:2401.04088*.

JIN L., HE J., MAY J. & MA X. (2023). Challenges in context-aware neural machine translation. *arXiv preprint arXiv:2305.13751*.

KIM Y., TRAN D. T. & NEY H. (2019). When and why is document-level context useful in neural machine translation ? *arXiv preprint arXiv:1910.00294*.

KOCMI T., AVRAMIDIS E., BAWDEN R., BOJAR O., DVORKOVICH A., FEDERMANN C., FISHEL M., FREITAG M., GOWDA T., GRUNDKIEWICZ R. et al. (2023). Findings of the 2023 conference on machine translation (wmt23) : Llms are here but not quite there yet. In *Proceedings of the Eighth Conference on Machine Translation*, p. 1–42.

KOEHN P. (2005). Europarl : A parallel corpus for statistical machine translation. In *Proceedings of machine translation summit x: papers*, p. 79–86.

LE NAGARD R. & KOEHN P. (2010). Aiding pronoun translation with co-reference resolution. In *Proceedings of the Joint Fifth Workshop on Statistical Machine Translation and MetricsMATR*, p. 252–261 : Association for Computational Linguistics.

LI B., LIU H., WANG Z., JIANG Y., XIAO T., ZHU J., LIU T. & LI C. (2020). Does multi-encoder help ? a case study on context-aware neural machine translation. In *Proceedings of the 58th Annual*
*Meeting of the Association for Computational Linguistics*, p. 3512–3518, Online : Association for Computational Linguistics. DOI : 10.18653/v1/2020.acl-main.322.

LISON P., TIEDEMANN J. & KOUYLEKOV M. (2018). Opensubtitles2018 : Statistical rescoring of sentence alignments in large, noisy parallel corpora. In *Proceedings of the 11th International Conference on Language Resources and Evaluation (LREC 2018)* : European Language Resources Association (ELRA).

LOPES A. V., FARAJIAN M. A., BAWDEN R., ZHANG M. & MARTINS A. F. (2020). Document-level neural mt : A systematic comparison. In *22nd Annual Conference of the European Association for Machine Translation*, p. 225–234.

LUONG M.-T., PHAM H. & MANNING C. D. (2015). Effective approaches to attention-based neural machine translation. *arXiv preprint arXiv:1508.04025*.

LUPO L., DINARELLI M. & BESACIER L. (2022). Divide and rule : Effective pre-training for context-aware multi-encoder translation models. In *Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)*, p. 4557–4572.

MARUF S., MARTINS A. F. & HAFFARI G. (2019). Selective attention for context-aware neural machine translation. *arXiv preprint arXiv:1903.08788*.

NAKHLÉ M. (2023). L'évaluation de la traduction automatique du caractère au document : un état de l'art. In *Actes de CORIA-TALN 2023. Actes des 16e Rencontres Jeunes Chercheurs en RI (RJCRI) et 25e Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RÉCITAL)*, p. 143–159.

PAPINENI K., ROUKOS S., WARD T. & ZHU W.-J. (2002). Bleu : a method for automatic evaluation of machine translation. In *Proceedings of the 40th annual meeting of the Association for Computational Linguistics*, p. 311–318.

POST M. (2018). A call for clarity in reporting BLEU scores. In *Proceedings of the Third Conference on Machine Translation : Research Papers*, p. 186–191, Belgium, Brussels : Association for Computational Linguistics.

POST M. & JUNCZYS-DOWMUNT M. (2023). Escaping the sentence-level paradigm in machine translation. *arXiv preprint arXiv:2304.12959*.

RAFFEL C., SHAZEER N., ROBERTS A., LEE K., NARANG S., MATENA M., ZHOU Y., LI W. & LIU P. J. (2020). Exploring the limits of transfer learning with a unified text-to-text transformer. *The Journal of Machine Learning Research*, **21**(1), 5485–5551.

SCAO T. L., FAN A., AKIKI C., PAVLICK E., ILIĆ S., HESSLOW D., CASTAGNÉ R., LUCCIONI A. S., YVON F., GALLÉ M. *et al.* (2022). Bloom : A 176b-parameter open-access multilingual language model. *arXiv preprint arXiv:2211.05100*.

SCHWENK H., CHAUDHARY V., SUN S., GONG H. & GUZMÁN F. (2019a). Wikimatrix : Mining 135m parallel sentences in 1620 language pairs from wikipedia. *arXiv preprint arXiv:1907.05791*.

SCHWENK H., WENZEK G., EDUNOV S., GRAVE E. & JOULIN A. (2019b). Ccmatrix : Mining billions of high-quality parallel sentences on the web. *arXiv preprint arXiv:1911.04944*.

STANCZAK K. & AUGENSTEIN I. (2021). A survey on gender bias in natural language processing. *arXiv preprint arXiv:2112.14168*.

SUTSKEVER I., VINYALS O. & LE Q. V. (2014). Sequence to sequence learning with neural networks. *Advances in neural information processing systems*, **27**.

TOUVRON H., MARTIN L., STONE K., ALBERT P., ALMAHAIRI A., BABAEI Y., BASHLYKOV N., BATRA S., BHARGAVA P., BHOSALE S. *et al.* (2023). Llama 2 : Open foundation and fine-tuned chat models. *arXiv preprint arXiv:2307.09288*.
VASWANI A., SHAZEER N., PARMAR N., USZKOREIT J., JONES L., GOMEZ A. N., KAISER Ł.
& POLOSUKHIN I. (2017). Attention is all you need. *Advances in neural information processing
systems*, **30**.

VOITA E., SENNRICH R. & TITOV I. (2019). When a good translation is wrong in context :
Context-aware machine translation improves on deixis, ellipsis, and lexical cohesion. *arXiv preprint*
*arXiv:1905.05979*.

ZHENG Z., YUE X., HUANG S., CHEN J. & BIRCH A. (2020). Towards making the most of
context in neural machine translation. *arXiv preprint arXiv:2002.07982*.
# Améliorer les modèles de langue pour l'analyse des émotions :
perspectives venant des sciences cognitives

Constant Bonard¹ Gustave Cortal², ³

(1) Université de Berne, Département de Philosophie, Hochschulstrasse 4, 3012 Berne, Suisse

(2) Université Paris-Saclay, ENS Paris-Saclay, CNRS, LMF, 91190, Gif-sur-Yvette, France

(3) Université Paris-Saclay, CNRS, LISN, 91400, Orsay, France
constant.bonard@gmail.com, gcortal@ens-paris-saclay.fr

## RÉSUMÉ

Nous proposons d'exploiter les recherches en sciences cognitives sur les émotions et la communication pour améliorer les modèles de langue pour l'analyse des émotions. Tout d'abord, nous présentons les principales théories des émotions en psychologie et en sciences cognitives. Puis, nous présentons les principales méthodes d'annotation des émotions en traitement automatique des langues et leurs liens avec les théories psychologiques. Nous présentons aussi les deux principaux types d'analyses de la communication des émotions en pragmatique cognitive. Enfin, en s'appuyant sur les recherches en sciences cognitives présentées, nous proposons des pistes pour améliorer les modèles de langue pour l'analyse des émotions. Nous suggérons que ces recherches ouvrent la voie à la construction de nouveaux schémas d'annotation et d'un possible *benchmark* pour la compréhension émotionnelle, prenant en compte différentes facettes de l'émotion et de la communication chez l'humain.

## ABSTRACT

**Improving Language Models for Emotion Analysis : Insights from Cognitive Science.**

We propose leveraging cognitive science research on emotions and communication to improve language models for emotion analysis. First, we present the main emotion theories in psychology and cognitive science. Then, we introduce the main methods of emotion annotation in natural language processing and their connections to psychological theories. We also present the two main types of analyses of emotional communication in cognitive pragmatics. Finally, based on the cognitive science research presented, we propose directions for improving language models for emotion analysis. We suggest that these research efforts pave the way for constructing new annotation schemes and a possible benchmark for emotional understanding, considering different facets of human emotion and communication.

**MOTS-CLÉS** : Analyse des émotions, modèle de langue, sciences cognitives, sciences affectives, pragmatique.

**KEYWORDS:** Emotion analysis, language model, cognitive science, affective sciences, pragmatics.

## 1 Introduction

L'analyse des émotions dans le traitement automatique des langues vise à développer des modèles computationnels capables de discerner les émotions humaines dans le texte. Récemment, les modèles de langue ont largement été utilisés pour résoudre diverses tâches en traitement automatique des

<figure><img src="image_102.png" /></figure>

<footnote>*Les auteurs ont contribué à parts égales et apparaissent par ordre alphabétique.</footnote>
langues, dont l'analyse des émotions (Devlin et al., 2019; Brown et al., 2020). Ce domaine de recherche fait face à plusieurs limites. Tout d'abord, les différentes façons de conceptualiser les émotions amènent à différents schémas d'annotation et jeux de données (Klinger, 2023). En conséquence, la capacité de généralisation des modèles est limitée et il est souvent impossible de comparer les études. Pour remédier à ces limites, il a été proposé d'unifier certains schémas d'annotation en se basant sur la proximité sémantique des catégories d'émotions (Bostan & Klinger, 2018), de trouver automatiquement les catégories d'émotions d'intérêts à partir des données (De Bruyne et al., 2020) ou d'obtenir des plongements émotionnels indépendants des schémas d'annotation (Buechel et al., 2021). En s'inspirant de débats récents en sciences cognitives (Scherer, 2022), nous pensons qu'il serait possible de construire un schéma d'annotation unifiant différentes perspectives sur l'émotion.

De plus, les *benchmarks* existants évaluent certains aspects de la compréhension émotionnelle, mais sans prendre en compte toute sa complexité (Campagnano et al., 2022; Zhang et al., 2023; Paech, 2024). Par exemple, Paech (2024) propose d'évaluer la compréhension émotionnelle des modèles de langue à travers la prédiction de l'intensité des émotions dans des scènes de conflits. Ce type d'évaluation est trop limité : les *benchmarks* devraient refléter autant que possible la richesse de la compréhension émotionnelle chez les humains, une richesse documentée ces dernières décennies dans différentes branches des sciences affectives (Green, 2007; Wharton, 2016; Scarantino, 2017; Barrett et al., 2019; Bonard & Deonna, 2023).

Un autre domaine de recherche connexe se concentre sur la théorie de l'esprit des modèles de langue, c'est-à-dire leur capacité à attribuer correctement des états mentaux aux autres. Cette littérature est prometteuse selon nous en cela qu'elle relie les développements récents des modèles de langue aux théories et aux méthodes empiriques des sciences cognitives (Bonard, 2024, section 5). Notamment, plusieurs tâches et *benchmarks* ont été développés pour mesurer la capacité des modèles de langue à réussir différentes versions de la tâche de la fausse croyance (False Belief Task) (Trott et al., 2022; Aru et al., 2023; Gandhi et al., 2023; Holterman & van Deemter, 2023; Kosinski, 2023; Mitchell & Krakauer, 2023; Shapira et al., 2023; Stojnić et al., 2023; Ullman, 2023). Cependant, la théorie de l'esprit et, plus généralement, les capacités de raisonnement social vont au-delà de la capacité à réussir la tâche de la fausse croyance (Apperly & Butterfill, 2009; Langley et al., 2022; Ma et al., 2023). La capacité à interpréter correctement les émotions exprimées ne peut s'y réduire. Le degré de possession de cette compétence émotionnelle par les modèles de langue mérite d'être étudiée en soi.

D'une façon générale, la recherche portant sur les modèles de langue pour l'analyse des émotions bénéficierait d'un apport de la recherche en sciences cognitives. Notamment, nous pensons que cela peut mener à de meilleures manières d'annoter les émotions exprimées dans le texte, mais aussi à une meilleure évaluation de la compréhension émotionnelle des modèles de langue en développant de nouveaux *benchmarks*. Nous présentons un panorama général sur les théories psychologiques des émotions (section 2) et sur les manières d'annoter les émotions dans le traitement automatique des langues (section 3). Puis, en s'inspirant de certaines théories psychologiques et linguistiques (section 4), nous proposons des directions de recherche pour remédier à certaines limites actuelles de l'analyse des émotions (section 5).

**Contributions.** Pour améliorer l'analyse automatique des émotions, nous proposons d'intégrer différentes théories des sciences cognitives avec le TAL. Nous expliquons pourquoi et comment l'analyse des émotions devrait utiliser des théories en psychologie des émotions – en particulier le cadre intégré – ainsi que des théories en pragmatique cognitive – en particulier l'analyse du détective. Cela conduit à l'élaboration d'un nouveau schéma d'annotation et à une meilleure évaluation des modèles de langue.
## 2 Les théories des émotions dans les sciences cognitives

Cette section présente les trois principales théories des émotions en psychologie afin de fournir un arrière-plan quant à notre projet de mieux connecter l'analyse des émotions en traitement automatique des langues avec les sciences cognitives.

**La théorie des émotions de base.** La théorie des émotions de base est certainement la plus influente aujourd'hui. Inspirée par les recherches de Darwin sur les émotions (Darwin, 1872), elle postule un certain nombre d'émotions discrètes et fondamentales qui sont universelles et innées chez les humains en raison de leurs origines évolutives. Les émotions sont comprises comme des « programmes » psycho-physiologiques qui ont été sélectionnés pour aider à surmonter les défis évolutifs récurrents (Cosmides & Tooby, 2000). Une version importante de cette théorie est celle de Paul Ekman (Ekman, 1999), qui a cherché à montrer, comme le prévoyait Darwin, que certaines émotions sont associées aux mêmes expressions faciales à travers toutes les cultures - Ekman a utilisé la liste d'émotions proposées par Darwin (Darwin, 1872) : colère, peur, surprise, dégoût, bonheur et tristesse. Il a notamment mené des études auprès d'individus n'ayant pas été exposés à la culture occidentale, indiquant qu'ils pouvaient correctement identifier les expressions faciales pour ces six émotions sur des photographies (Ekman & Friesen, 1971). Des tentatives ont également été faites pour soutenir la théorie des émotions de base en identifiant des signatures physiologiques et neurologiques des émotions de base (Moors, 2022, p. 129-131).

Il convient de noter qu'Ekman n'a pas précisé le nombre exact d'émotions de base. Outre les six émotions énumérées, les candidats comprennent l'amusement, le mépris, la gêne, la culpabilité, la fierté et la honte (Ekman, 1999). D'autres versions de la théorie des émotions de base proposent différentes listes (Tomkins, 1962; Izard, 1992; Panksepp, 1998; Plutchik, 2001).

**Le constructivisme psychologique.** Le constructivisme psychologique est l'alternative la plus influente à la théorie des émotions de base aujourd'hui. Il rejette l'idée qu'il existe des émotions discrètes et fondamentales partagées universellement par les humains et postule au contraire que les types d'émotions tels que la colère, la peur et la joie sont construits à travers l'interaction de facteurs biologiques, psychologiques et socioculturels. Parmi les adeptes de la première heure figurent Schachter & Singer (1962). Cette théorie est aujourd'hui principalement associée à James Russell et Lisa Feldman Barrett (Russell, 1980, 2003; Barrett, 2006; Russell, 2009; Barrett, 2017). Les constructivistes psychologiques se concentrent sur les sentiments subjectifs associés aux émotions qui sont interprétés comme un continuum sans barrière catégorique. Les sentiments sont généralement représentés dans un espace bidimensionnel avec un axe de valence (sentiments agréables-désagréables) et un axe d'excitation (sentiments d'activation-désactivation). L'impression qu'il existe des émotions distinctes est considérée comme une construction sociale : différentes formes d'acculturation suscitent différentes façons de conceptualiser ou d'étiqueter nos sentiments corporels en types d'émotions distincts.

**La théorie de l'évaluation (appraisal).** La troisième théorie psychologique majeure de l'émotion est la théorie de l'évaluation (appraisal), dont la version empirique a été initiée par Magda Arnold (Arnold, 1960). Elle a été développée pour expliquer l'absence de correspondance bijective, une-à-une, entre les types d'émotions et les types de stimuli émotionnels, c'est-à-dire le fait que le même type de stimuli peut déclencher des émotions différentes et que des types de stimuli différents peuvent déclencher le même type d'émotion. Pour expliquer ce phénomène, des évaluations (appraisals) sont postulées comme médiatrices entre les stimuli et les réactions émotionnelles.
Les évaluations en question sont des catégorisations cognitives (inconscientes, rapides et souvent erronées) de la pertinence des stimuli par rapport aux préoccupations de la personne et de la manière dont elle doit y réagir. La théorie de l'évaluation postule que, par exemple, Simon a peur de la souris dans la cuisine parce qu'il l'évalue comme une menace imminente pour sa sécurité, tandis que Sylvie, au contraire, est en colère qu'il y ait une souris dans la cuisine parce qu'elle l'évalue comme un intrus à chasser. Ainsi, chaque type d'émotion peut être analysé par le type d'évaluation qui lui est associée. Ainsi, Lazarus (1991) propose *le danger imminent* pour la peur, *l'offense dégradante* pour la colère, *la perte irrévocable* pour la tristesse et *le progrès vers un but* pour la joie.

Dans les années 1980, des adeptes de cette théorie ont proposé d'analyser les évaluations comme des régions dans un espace multidimensionnel (Moors et al., 2013). Ces dimensions d'évaluation comprennent généralement : (a) la pertinence du stimulus par rapport aux objectifs de l'individu, (b) la capacité de l'individu à faire face à la situation, (c) l'urgence de la réponse nécessaire, (d) la cause de l'événement déclencheur (moi, quelqu'un d'autre, intentionnelle ou non) et (e) la compatibilité avec les normes personnelles de l'individu. Par exemple, la peur est déclenchée par l'évaluation d'un stimulus comme étant (a) fortement contraire aux objectifs, (b) difficile à gérer et (c) nécessitant une réponse urgente.

**Cadre intégré pour les théories des émotions.** Bien que les trois théories examinées soient habituellement considérées comme rivales, il a été défendu qu'il fallait au contraire les intégrer dans un cadre commun (Scherer & Moors, 2019; Bonard, 2021b; Scherer, 2022). En effet, on peut affirmer que les trois théories diffèrent avant tout vis-à-vis de l'objet de leur enquête, leur axe de recherche et les aspects de l'émotion sur lesquels elles mettent l'accent. La théorie des émotions de base se concentre sur les traits universels hérités de l'évolution et en particulier sur leurs expressions physiologiques et motrices (réactions corporelles). Le constructivisme psychologique se concentre sur les dimensions du ressenti et la façon dont les individus les catégorisent (sentiment subjectif). La théorie de l'évaluation se concentre sur le déclenchement émotionnel (processus d'évaluation) et les tendances à l'action qui en découlent. Nous pensons qu'un cadre intégrant les différents éléments étudiés par ces théories est possible et souhaitable. Ce que nous appelons « le cadre intégré pour les théories des émotions » propose de le faire en postulant que les épisodes émotionnels paradigmatiques sont faits de changements synchronisés et causalement interconnectés dans quatre composantes : (1) processus d'évaluation (*appraisal*), (2) tendances à l'action, (3) changements corporels (expressions motrices et réponses physiologiques), (4) sentiments subjectifs. Pour une discussion d'un tel cadre intégré, voir Scherer (2022).

## 3 L'analyse des émotions dans le texte

**L'émotion est une catégorie.** L'analyse des émotions dans le texte s'appuie sur les théories de l'émotion de base pour définir les différentes catégories d'émotion à associer aux unités textuelles (un empan de texte, une phrase ou un document). Par exemple, la phrase « J'adore la philosophie. » pourrait être associée automatiquement à l'émotion discrète joie. Plusieurs schémas d'annotation se concentrent sur des sous-ensembles de catégories alors que d'autres considèrent un plus large ensemble, pouvant atteindre plus de 28 catégories différentes (Demszky et al., 2020; Bostan & Klinger, 2018).

**L'émotion est une valeur continue ayant un sens affectif.** Au lieu de représenter l'émotion par une catégorie, certains schémas d'annotation considèrent que l'émotion est un point dans un espace
multidimensionnel et associent à des unités textuelles des valeurs continues (Buechel & Hahn, 2017). Ces dimensions portent un sens affectif. Deux dimensions sont dominantes dans la littérature et proviennent des théories du constructivisme psychologique qui considèrent qu'une émotion peut être caractérisée par son degré d'agréabilité et son degré d'activation physiologique. Ainsi, la phrase « Sa voix m'apaise. » pourrait être associée automatiquement à deux valeurs continues : un degré d'agréabilité de 4 sur 5 et un degré d'activation physiologique de 1 sur 5.

**L'émotion est une valeur continue ayant un sens cognitif.** Ces dimensions peuvent aussi porter un sens cognitif. Récemment, une nouvelle ligne de recherche propose d'incorporer les théories psychologiques de l'évaluation cognitive dans les modèles d'analyse des émotions (Hofmann et al., 2020; Troiano et al., 2022; Zhan et al., 2023). Depuis cette perspective, les émotions sont causées par des évènements évalués selon plusieurs dimensions cognitives. Par exemple, la phrase « J'ai reçu un cadeau surprise. » pourrait être associée automatiquement à plusieurs valeurs continues : l'évènement est soudain (4 sur 5), contraire aux normes sociales (0 sur 5) et la personne a le contrôle sur l'évènement (0 sur 5).

**L'émotion est constituée de rôles sémantiques.** Une émotion ne peut se réduire à une catégorie ou des valeurs continues ayant un sens affectif ou cognitif. Pour avoir une meilleure compréhension d'un évènement émotionnel, plusieurs approches associent à des empans de texte des rôles sémantiques comme la *cause*, la *cible*, l'expérienceuse et l'indice de l'émotion (Lee et al., 2010; Kim & Klinger, 2018; Bostan et al., 2020; Oberländer et al., 2020; Campagnano et al., 2022; Wegge et al., 2023). Ainsi, au lieu de considérer l'émotion comme causée par un évènement, l'analyse des rôles sémantiques de l'émotion considère que l'émotion est un évènement (Klinger, 2023) qu'il faut reconstituer en répondant à la question : « Qui (*expérienceuse*) ressent quoi (*indice*) envers qui (*cible*) et pourquoi (*cause*) ? ». Dans cet exemple, chaque empan de texte peut être associé à un rôle sémantique : « Louise (*expérienceuse*) était en colère (*indice*) contre Paul (*cible*), car il ne l'a pas prévenue (*cause*). »

**Première limite : il n'existe pas de schéma d'annotation unifié.** Les divergences dans la définition de l'émotion en psychologie mènent vers des divergences dans la manière d'annoter l'émotion dans le texte. Les différentes théories psychologiques des émotions représentent différentes perspectives sur le phénomène émotionnel. Elles sont loin de se contredire et peuvent même tendre à s'unifier (section 2). Nous pensons que c'est aussi le cas pour les schémas d'annotation dans l'analyse des émotions. Dans la section 5, nous donnons des pistes pour la construction d'un schéma d'annotation unifié, inspiré par les débats récents en sciences cognitives (Scherer, 2022).

**Seconde limite : la verbalisation de l'émotion est peu considérée.** L'analyse des émotions considère rarement le processus de verbalisation de l'émotion. En conséquence, il est difficile d'obtenir des guides d'annotation qui définissent clairement les marqueurs linguistiques à annoter dans le texte. Nous voulons mettre en lumière la théorie linguistique de Raphaël Micheli, qui catégorise un large panel de marqueurs linguistiques en trois modes d'expression de l'émotion (Micheli, 2014) : l'émotion peut être *dite*, montrée ou suggérée (ou « étayée »). L'émotion peut être exprimée explicitement avec un terme du lexique émotionnel (« Je suis triste »), être montrée avec des caractéristiques de l'énoncé comme les interjections et les ponctuations (« Ah! C'est super! »), ou être suggérée avec la description d'une situation qui généralement, dans un contexte socioculturel donné, mène à une émotion (« Elle m'a offert un cadeau »). La majorité des schémas d'annotation se sont concentrés implicitement sur l'émotion *dite*, en occultant les deux autres modes d'expression. Récemment, les schémas d'annotation basés sur les théories de l'évaluation cognitive s'intéressent implicitement à l'émotion *suggérée*. La théorie de Micheli analyse donc les différents types de signes verbaux qui
sont utilisés, chez les humains, pour inférer les émotions exprimées. Par contraste, les théories de la pragmatique cognitive s’intéressent aux mécanismes psychologiques qui sont utilisés pour inférer ce qui est communiqué, dont notamment les émotions exprimées par ces différents types de signes. Dans la prochaine section, nous suggérerons l’hypothèse que les catégories de signes distinguées par Micheli correspondent à différentes sources d’inférences postulées par la pragmatique cognitive.

# 4 Pragmatique cognitive et communication émotionnelle

**Deux analyses de la communication.** La pragmatique cognitive est la branche des sciences cognitives qui s’intéresse à la façon dont les personnes utilisent et interprètent les signes dans la communication. Dans cette branche et d’autres disciplines connexes, il est courant de distinguer deux grandes manières d’analyser la communication : l’analyse du dictionnaire (également appelée « modèle du code », « sémiotique » ou « sémantique ») et l’analyse du détective (également appelée « analyse gricéene », « modèle inférentiel » ou « pragmatique ») (Sperber & Wilson, 1995; Schlenker, 2016; Heintz & Scott-Phillips, 2023).

**Analyse du dictionnaire.** L’analyse du dictionnaire décrit la communication comme suit : les expédi-
teur·ices *encodent* (intentionnellement ou non) des informations dans un signal que les destinataires
*décodent*. De manière vitale, avant l’échange communicatif, les expéditeur·ices et destinataires doivent
partager le même *code*. Par « code », on entend ici une association préétablie entre des types de
stimuli (symbolisés par « <...> ») et des ensembles d’informations (symbolisés par « [...] »). Par
exemple, le code Morse consiste en une association entre <combinaisons de signaux courts et longs>
et [lettres] qui doit être partagée pour communiquer avec lui. Les codes peuvent être conventionnels,
comme le code Morse, mais aussi comme la sémantique formelle d’une langue : un code fait de règles
syntaxiques et lexicales qui associent des <chaînes de mots> à des [significations de phrases] (Heim
& Kratzer, 1998). Les codes peuvent également être non conventionnels ou « naturels » (Wharton,
2003; Bonard, 2023a). Par exemple, les abeilles utilisent un code associant leurs <danses> à la
[localisation du nectar]. Comme mentionné dans la section 2, Darwin ou Ekman postulent que les
humains utilisent un code transmis génétiquement qui associe des types d’<expressions faciales> à
des types d’[émotions exprimées].

La principale limite de l'analyse du dictionnaire est que, parfois, les codes *sous-déterminent* le sens : les associations préétablies entre <types de stimuli> et [ensembles d'informations] sont parfois insuffisantes pour rendre compte de l'information communiquée. De manière paradigmatique, les *implicatures conversationnelles* (Grice, 1975) communiquent implicitement des informations au-delà de ce qui est linguistiquement encodé, au-delà de ce qui est déterminé par les règles syntaxiques et lexicales de la langue utilisée. Par exemple (Wilson & Sperber, 2006), si Pierre demande : « Est-ce que Jean t'a remboursé l'argent qu'il te devait ? » et Marie répond : « Il a oublié d'aller à la banque. », Pierre comprendra facilement que Marie veut dire « non » bien que le code pertinent - les règles associant <la grammaire et le lexique français> à [la signification des phrases] - soit insuffisant à lui seul pour en rendre compte, puisque le code ne dit que Jean a oublié d'aller à la banque.

Cette limite de l'analyse du dictionnaire concerne également l'expression verbale des émotions. Pour l'illustrer, revenons à la typologie de Micheli : émotions *dites*, *montrées* et *suggérées* (Micheli, 2013). En ce qui concerne les émotions *dites*, l'analyse du dictionnaire fonctionne assez bien grâce à l'association entre <mots d'émotion> (par exemple, « heureux », « merveilleux », « tristement ») et les [types d'émotion] auxquels ils font référence. Cependant, même les émotions *dites* n'encodent parfois
pas tout ce qui est communiqué. Par exemple, « Je suis triste. » est explicite sur le type d'émotion exprimée, mais n'encode pas ce sur quoi porte l'émotion. Néanmoins, dans le contexte pertinent, nous comprenons en général à propos de quoi porte la tristesse en question. L'analyse du dictionnaire s'en sort encore moins bien avec les émotions *montrées*, car celles-ci sont souvent ambiguës. Par exemple, des interjections telles que « Wow ! », « Oulalala ! », « Diantre ! », « Ah ! » et « Oh ! », bien qu'elles montrent de façon évidente qu'une émotion est exprimée, peuvent en fait exprimer une variété d'émotions positives et négatives. De plus, ces interjections n'encodent pas non plus ce sur quoi porte l'émotion en question. Cependant, les destinataires réussissent généralement à inférer ces informations. L'analyse du dictionnaire est encore plus limitée quand il s'agit d'émotions *suggérées*. En fonction de ce que croit ou souhaite la personne exprimant son émotion, une phrase ne faisant que suggérer l'émotion peut en communiquer une multitude indéfinie. Imaginez, par exemple, que quelqu'un dise « Le navire a des voiles noires. ». Dans un certain contexte, cette phrase apparemment dénuée d'affectivité peut en fait transmettre de manière poignante une émotion intense - parce que, disons, elle signifie que le fils de celui qui prononce la phrase est mort, comme dans l'histoire d'Égée et Thésée. Il convient de noter qu'au-delà de l'expression verbale, la plupart, voire tous les types d'expressions émotionnelles, sous-déterminent également ce qui est communiqué par les émotions exprimées. Les expressions faciales ou les indices acoustiques (par exemple, cris, rires, soupirs) communiquent également différentes émotions en fonction des contextes (Aviezer et al., 2008; Teigen, 2008; Vlemincx et al., 2009; Barrett et al., 2011, 2019; Bonard, 2023b). L'analyse du code est donc aussi insuffisante pour ce genre d'expressions émotionnelles.

Comment donc les humains désambiguïsent-ils les expressions émotionnelles dans les cas où les codes des expressions émotionnelles sous-déterminent ce qui est communiqué ? Si l'on se fie à la pragmatique cognitive contemporaine, la réponse devrait se trouver dans l'analyse de la communication dite « du détective ».

**L'analyse du détective.** Ce que nous appelons « l'analyse du détective » est constitué d'une famille de théories développées par Paul Grice (Grice, 1957, 1989) et ses héritier-ères (pour un compte rendu, voir Bonard (2021a), chapitre 1 et appendice). Notez que bien que notre présentation vise à rester équilibrée entre différentes théories, il n'existe pas de version universellement acceptée de cette analyse.

Comme mentionné, l'analyse du détective a été développée pour rendre compte des implicatures conversationnelles, des cas où ce qui est communiqué va au-delà de ce qui est transmis par le sens littéral des mots utilisés, comme dans l'exemple de Pierre et Marie ci-dessus. Pour ce faire, l'analyse du détective conceptualise l'interprétation linguistique comme un type de raisonnement *abductif* - c'est-à-dire une inférence qui cherche la conclusion la plus simple et la plus probable en fonction des données probantes disponibles. L'analyse décrit trois sources principales de données probantes :

1. *Les codes*, par exemple les règles syntaxiques et lexicales de l'anglais ou encore les codes des expressions émotionnelles verbales et non verbales. Comme nous l'avons vu avec la typologie de Micheli (Micheli, 2013), les expressions utilisant des émotions dites (par exemple, « Je suis triste. ») et montrées (par exemple, « Wow ! ») sont partiellement comprises grâce à de tels codes, bien que ces derniers soient trop ambigus pour rendre compte de tout ce qui est communiqué;

2. *Les attentes pragmatiques*, c'est-à-dire les attentes concernant la façon dont les gens sont censés se comporter dans des contextes donnés et en particulier en fonction du type de signal qu'ils ont reçu. Par exemple, dans les conversations, on s'attend à ce que soient dites des choses *pertinentes* quant à la question discutée (voir les maximes de conversation de Grice (Grice,
1975)). Pour cette raison, bien que ce qui est littéralement encodé dans la réponse de Marie soit que Jean a oublié d'aller à la banque, Pierre s'attendra néanmoins à ce que cela soit pertinent à la question qu'il a posée. De même, nous nous attendons à ce que les expressions émotionnelles de quelqu'un portent sur quelque chose qui lui importe particulièrement (Wharton et al., 2021; Bonard, 2022). Par exemple, si quelqu'un dit « Diantre ! » après avoir reçu un compliment étonnamment gentil, nous nous attendons à ce que le compliment importe particulièrement à la personne et interpréterons l'interjection en fonction de cela;

3. *Les connaissances partagées* (en anglais *common ground*), c'est-à-dire l'information que les participants à l'échange présument partager (Stalnaker, 2002). Par exemple, Marie et Pierre présument qu'une banque est un endroit où l'on peut retirer de l'argent. De même, on présume généralement que recevoir un compliment est une chose que l'on recherche, surtout s'il est agréablement surprenant – bien que cela ne fasse pas toujours partie des connaissances partagées, par exemple si l'on sait que le compliment vient de l'ennemi juré de la personne complimentée. C'est aussi les connaissances partagées qui nous permettent de comprendre qu'Égée peut exprimer un profond désespoir avec la phrase « Le navire a des voiles noires. ».

En se basant sur ces trois sources de données probantes, l'analyse du détective postule ensuite que l'interprète utilise ses capacités de « lecture de l'esprit » (en anglais *mindreading*, aussi appelée « théorie de l'esprit », « mentalisation » ou « cognition sociale ») pour inférer l'information la plus probable qui est implicitement communiquée. Par exemple, Pierre déduit que Marie voulait dire « non, il ne m'a pas rendu mon argent » et nous inférons que la personne qui dit « Diantre ! » après avoir reçu le compliment est probablement contente (sauf si le compliment vient de son ennemi juré). Enfin, l'analyse du détective précise que l'information ainsi inférée est ajoutée aux connaissances partagées des personnes participant à l'échange, de sorte qu'elle puisse devenir une nouvelle source de données probantes dans la suite de l'échange ou les échanges suivants.

Il est intéressant de noter que l'analyse du détective prédit que la capacité à inférer correctement ce qui est communiqué par les expressions émotionnelles dépend fortement de nos capacités de « lecture de l'esprit ». En corroboration de cette prédiction, les personnes autistes ou les enfants peuvent avoir du mal à inférer correctement le sens implicite, par exemple dans les implicatures conversationnelles (Foppolo & Mazzaggio, 2024) ou dans les expressions utilisant des émotions suggérées (Blanc & Quenette, 2017; Etienne et al., 2022).

# 5 Les directions de recherche pour l'analyse des émotions

**Vers un schéma d'annotation unifié.** Pour améliorer la compréhension émotionnelle des modèles, il est souhaitable de les entraîner sur des données annotées avec un schéma rendant compte fidèlement d'une situation émotionnelle. Un tel schéma devrait intégrer différentes perspectives sur le phénomène émotionnel pour permettre de meilleures comparaisons entre les études ainsi qu'augmenter les performances et la généralisation des modèles.

**Les tentatives d'unification.** Plusieurs études récentes essayent d'unir différentes manières d'annoter l'émotion dans le texte. Campagnano et al. (2022) proposent un nouveau schéma d'annotation qui unifie plusieurs schémas sur les rôles sémantiques des émotions. Pour choisir un ensemble de catégories partagées, les différentes émotions discrètes des schémas ont été converties vers les émotions de base de la théorie de Plutchik (Plutchik, 2001). Klinger (2023) explore les divergences et les points communs entre l'analyse des rôles sémantiques de l'émotion et les approches basées sur
l'évaluation cognitive. L'étude identifie plusieurs directions de recherche, comme l'utilisation des variables de l'évaluation cognitive pour améliorer la tâche de détection des causes de l'émotion, ou l'analyse des évaluations cognitives spécifiques aux expérienceur-euses (Wegge et al., 2023). Ces études montrent que l'unification des schémas permet le transfert de connaissance entre différentes tâches, ce qui augmente les performances et la généralisation des modèles.

**À la recherche d'un cadre commun.** Ce que nous avons appelé plus haut « le cadre intégré pour les théories de l'émotion » (section 2) vise à réconcilier les principales théories de l'émotion en sciences cognitives (Scherer, 2022). Il constitue selon nous un bon candidat pour fournir un cadre commun aux schémas d'annotation. Pour rappel, ce modèle considère qu'une émotion est constituée de changements synchronisés dans différents composants : le processus d'évaluation, les tendances à l'action, les changements corporels (expressions motrices et réponses physiologiques) et les sentiments subjectifs. La recherche en analyse des émotions doit s'inspirer des récents débats en psychologie des émotions pour faire dialoguer les schémas d'annotation existants sur une base théorique solide et, idéalement, construire un schéma d'annotation unifié.

**L'émotion est constituée de plusieurs composantes en interaction.** Un schéma d'annotation unifié pourrait clarifier certaines zones d'ombre existantes dans l'analyse des émotions, comme l'absence de définitions claires des rôles sémantiques liés à l'émotion, comme l'expérienceur-euse, la cause et la cible. Il pourrait aussi permettre de mieux situer les schémas existants. Par exemple, l'annotation des émotions discrètes et des dimensions affectives met l'accent sur le sentiment subjectif, alors que l'annotation des dimensions cognitives met l'accent sur l'évaluation cognitive. Peu de schémas rendent compte des réponses physiologiques, des expressions motrices et des tendances à l'action. Plus généralement, peu de schémas considèrent la totalité des composantes. Kim & Klinger (2019) analysent la communication des émotions dans des fictions à travers des descriptions de sensations subjectives, de postures, d'expressions faciales et de relations spatiales entre les personnages. Casel et al. (2021) associent à des empans de texte des catégories correspondant aux composantes de Scherer. Cortal et al. (2023) structurent des récits narratifs émotionnels selon des composantes similaires à celles de Scherer. Chaque empan de texte correspond à des comportements observables, des pensées, des ressentis physiques ou des évaluations cognitives. À notre connaissance, il n'existe pas de schémas d'annotation qui essaient de capturer l'interaction entre les composantes. Généralement, l'analyse des émotions se concentre peu sur le caractère dynamique de l'émotion et la synchronisation des diverses composantes.

**Améliorer la clarté des guides d'annotation.** Nous soulignons que peu d'études justifient psychologiquement le choix des différents objets à détecter dans le texte. L'analyse des émotions a besoin de développer une approche systématique pour comparer les guides d'annotation entre eux et ainsi comprendre précisément comment l'émotion est capturée par les différents schémas d'annotation. Avec des guides d'annotation clairs, il sera plus facile pour les équipes de recherche de se concentrer sur les points de convergence entre les schémas. Ainsi, ces schémas devront s'inspirer des théories en psychologie des émotions (section 2) mais aussi des théories linguistiques (sections 3 et 4) pour identifier les marqueurs linguistiques qui verbalisent l'émotion.

**Vers une meilleure évaluation de la compréhension émotionnelle.** Récemment, les benchmarks sur les émotions évaluent des modèles de langue sur certains aspects de la compréhension émotionnelle (Wang et al., 2023; Paech, 2024), sans prendre en compte toute sa richesse (Scherer, 2007; Mayer et al., 2008; O'Connor et al., 2019). Par exemple, Paech (2024) évalue la compréhension émotionnelle à travers la prédiction de l'intensité de plusieurs émotions dans des scènes de conflits. Il existe aussi des benchmarks qui évaluent des modèles sur des tâches connexes, comme l'analyse du sentiment
(Zhang et al., 2023) et la théorie de l'esprit (Zhou et al., 2023; Ma et al., 2023; Kim et al., 2023; Gandhi et al., 2023). Ainsi, il n'existe aucun benchmark qui propose d'évaluer spécifiquement plusieurs aspects du phénomène émotionnel. Il est donc difficile de savoir si les modèles actuels sont performants pour la compréhension émotionnelle.

Cette limite s'ajoute au fait qu'il est difficile de déterminer clairement les propriétés de la compréhension émotionnelle à évaluer. Nous pensons qu'il faudrait s'inspirer de la communication émotionnelle chez les humains pour évaluer les modèles de langue, et notamment des travaux en psycholinguistique. Ainsi, avant dix ans, les émotions de base (par exemple, la joie ou la tristesse) sont mieux retenues que les émotions complexes (par exemple, la fierté ou la culpabilité) (Davidson et al., 2001; Creissen & Blanc, 2017). De six à dix ans, les émotions *dites* sont mieux comprises que les émotions *suggérées* (Blanc, 2010; Creissen & Blanc, 2017). Un autre exemple d'études pertinentes concerne la plus ou moins grande facilité qu'ont les personnes sur le spectre de l'autisme à comprendre différents types d'expressions émotionnelles (Foppolo & Mazzaggio, 2024). Ces études montrent que, pour les humains, différents types d'émotions et différents modes d'expressions émotionnels sont plus ou moins difficiles à interpréter. Il serait souhaitable que les *benchmarks* évaluent les modèles de langue de manière à refléter la plus ou moins grande difficulté des tâches pour les humains. Un tel projet bénéficierait certainement des recherches en pragmatique cognitive (section 4) sachant, par exemple, que des personnes souffrant de troubles de la communication ont du mal à comprendre les implicatures conversationnelles (Foppolo & Mazzaggio, 2024), ce qui indique que les différentes sources de données probantes distinguées par l'analyse du détective impliquent différents degrés de difficultés.

Nous pensons que le concept d'émotion doit être adressé à travers sa relation avec la compréhension du texte, c'est-à-dire la capacité qu'à un lecteur rice à construire une représentation mentale d'une situation dans un texte (Zwaan & Radvansky, 1998). Ainsi, il faudrait aller au-delà des conceptualisations courantes de l'émotion en traitement automatique des langues (section 3) pour prendre en compte la diversité des marqueurs linguistiques employés pour verbaliser l'émotion (section 3) ainsi que les différents types d'émotion (basique ou complexe) issus des travaux en psycholinguistiques. Etienne et al. (2022) ont proposé un schéma d'annotation inspiré par les études précédentes qui considère les modes d'expression de l'émotion et les types d'émotion. De futurs benchmarks évaluant les capacités des modèles de langue à analyser les émotions devraient prendre en compte de tels schémas d'annotation qui, comme nous l'avons recommandé, cherchent à solidement se baser sur les recherches pertinentes en sciences cognitives.

# 6 Conclusion

Pour remédier à certaines limites dans l'analyse des émotions, nous avons proposé d'exploiter les recherches en sciences cognitives sur les émotions et la communication. Nous avons expliqué pourquoi et comment l'analyse des émotions devrait utiliser des théories en psychologie des émotions – en particulier le cadre intégré – ainsi que des théories en pragmatique cognitive – en particulier l'analyse du détective. Ces recherches ouvrent la voie à la construction de nouveaux schémas d'annotation et d'un possible benchmark pour la compréhension émotionnelle, considérant différentes facettes de l'émotion et de la communication chez l'humain.
Références

APERLY I. A. & BUTTERFILL S. A. (2009). Do humans have two systems to track beliefs and belief-like states? *Psychological review*, **116**(4), 953. Publisher: American Psychological Association.

ARNOLD M. B. (1960). *Emotion and Personality*. New York: Columbia University Press.

ARU J., LABASH A., CORCOLL O. & VICENTE R. (2023). Mind the gap: challenges of deep learning approaches to Theory of Mind. *Artificial Intelligence Review*, **56**(9), 9141–9156. DOI: 10.1007/s10462-023-10401-x.

AVIEZER H., HASSIN R. R., RYAN J., GRADY C., SUSSKIND J., ANDERSON A., MOSCOVITCH M. & BENTIN S. (2008). Angry, disgusted, or afraid? Studies on the malleability of emotion perception. *Psychological science*, **19**(7), 724–732. Publisher: SAGE Publications Sage CA: Los Angeles, CA.

BARRETT L. F. (2006). Solving the Emotion Paradox: Categorization and the Experience of Emotion. *Personality and Social Psychology Review*, **10**(1), 20–46. DOI: 10.1207/s15327957pspr1001_2.

BARRETT L. F. (2017). *How Emotions Are Made : The Secret Life of the Brain*. Boston & New York: Houghton Mifflin Harcourt.

BARRETT L. F., ADOLPHS R., MARSELLA S., MARTINEZ A. M. & POLLAK S. D. (2019). Emotional expressions reconsidered: Challenges to inferring emotion from human facial movements. *Psychological Science in the Public Interest*. Publisher: SAGE Publications Sage CA: Los Angeles, CA, DOI: 10.1177/1529100619832930.

BARRETT L. F., MESQUITA B. & GENDRON M. (2011). Context in emotion perception. *Current Directions in Psychological Science*, **20**(5), 286–290. Publisher: Sage Publications Sage CA: Los Angeles, CA.

BLANC N. (2010). La compréhension des contes entre 5 et 7 ans : Quelle représentation des informations émotionnelles ? [The comprehension of the tales between 5 and 7 year-olds : Which representation of emotional information ?]. *Canadian Journal of Experimental Psychology / Revue canadienne de psychologie expérimentale*, **64**(4), 256–265. DOI: 10.1037/a0021283.

BLANC N. & QUENETTE G. (2017). La production d’inférences émotionnelles entre 8 et 10 ans : quelle méthodologie pour quels résultats ? *Enfance*, **4**(4), 503–511. Publisher: NecPlus.

BONARD C. (2021a). *Meaning and emotion : The extended Gricean model and what emotional signs mean*. Doctoral dissertation, University of Geneva and University of Antwerp.

BONARD C. (2021b). Émotions et sensibilité aux valeurs : quatre conceptions philosophiques contemporaines. *Revue de métaphysique et de morale*, **110**(2), 209–229. Place: Paris cedex 14
Publisher: Presses Universitaires de France, DOI: 10.3917/rmm.212.0209.

BONARD C. (2022). Beyond ostension : Introducing the expressive principle of relevance. *Journal of Pragmatics*, **187**, 13–23. DOI: 10.1016/j.pragma.2021.10.024.

BONARD C. (2023a). Natural meaning, probabilistic meaning, and the interpretation of emotional signs. *Synthese*, **201**(5), 167. Publisher: Springer, DOI: https://doi.org/10.1007/s11229-023-04144-z.

BONARD C. (2023b). Underdeterminacy without ostension : A blind spot in the prevailing models of communication. *Mind & Language*. DOI: https://doi.org/10.1111/mila.12481.

BONARD C. (2024). Can AI and humans genuinely communicate? In A. STRASSER, Éd., *Anna's AI Anthology. How to live with smart machines?* Berlin: Xenemoi.
BONARD C. & DEONNA J. (2023). Emotion and language in philosophy. In G. L. SCHIEWER, J. ALTARRIBA & B. C. NG, Éds., *Language and emotion : An international handbook*, volume 1, p. 54–72. Berlin : de Gruyter.

BOSTAN L. A. M., KIM E. & KLINGER R. (2020). GoodNewsEveryone : A corpus of news headlines annotated with emotions, semantic roles, and reader perception. In *Proceedings of the Twelfth Language Resources and Evaluation Conference*, p. 1554–1566, Marseille, France : European Language Resources Association.

BOSTAN L.-A.-M. & KLINGER R. (2018). An analysis of annotated corpora for emotion classification in text. In *Proceedings of the 27th International Conference on Computational Linguistics*, p. 2104–2119, Santa Fe, New Mexico, USA : Association for Computational Linguistics.

BROWN T., MANN B., RYDER N., SUBBIAH M., KAPLAN J. D., DHARIWAL P., NEELAKANTAN A., SHYAM P., SASTRY G., ASKELL A., AGARWAL S., HERBERT-VOSS A., KRUEGER G., HENIGHAN T., CHILD R., RAMESH A., ZIEGLER D., WU J., WINTER C., HESSE C., CHEN M., SIGLER E., LITWIN M., GRAY S., CHESS B., CLARK J., BERNER C., MCCANDLISH S., RADFORD A., SUTSKEVER I. & AMODEI D. (2020). Language Models are Few-Shot Learners. In *Advances in Neural Information Processing Systems*, volume 33, p. 1877–1901 : Curran Associates, Inc.

BUECHEL S. & HAHN U. (2017). EmoBank : Studying the impact of annotation perspective and representation format on dimensional emotion analysis. In *Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics : Volume 2, Short Papers*, p. 578–585, Valencia, Spain : Association for Computational Linguistics.

BUECHEL S., MODERSOHN L. & HAHN U. (2021). Towards label-agnostic emotion embeddings. In *Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing*, p. 9231–9249, Online and Punta Cana, Dominican Republic : Association for Computational Linguistics. DOI : 10.18653/v1/2021.emnlp-main.728.

CAMPAGNANO C., CONIA S. & NAVIGLI R. (2022). SRL4E – Semantic Role Labeling for Emotions : A unified evaluation framework. In *Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1 : Long Papers)*, p. 4586–4601, Dublin, Ireland : Association for Computational Linguistics. DOI : 10.18653/v1/2022.acl-long.314.

CASEL F., HEINDL A. & KLINGER R. (2021). Emotion recognition under consideration of the emotion component process model. In *Proceedings of the 17th Conference on Natural Language Processing (KONVENS 2021)*, p. 49–61, Düsseldorf, Germany : KONVENS 2021 Organizers.

CORTAL G., FINKEL A., PAROUBEK P. & YE L. (2023). Emotion recognition based on psychological components in guided narratives for emotion regulation. In *Proceedings of the 7th Joint SIGHUM Workshop on Computational Linguistics for Cultural Heritage, Social Sciences, Humanities and Literature*, p. 72–81, Dubrovnik, Croatia : Association for Computational Linguistics. DOI : 10.18653/v1/2023.latechclfl-1.8.

COSMIDES L. & TOOBY J. (2000). Evolutionary psychology and the emotions. In M. LEWIS & J. M. HAVILAND-JONES, Éds., *Handbook of emotions*, p. 91–115. New York : Guilford Press, 2nd édition. Publisher : Citeseer.

CREISSEN S. & BLANC N. (2017). Quelle représentation des différentes facettes de la dimension émotionnelle d'une histoire entre l'âge de 6 et 10 ans ? Apports d'une étude multimédia. *Psychologie Française, 62*(3), 263–277. DOI : 10.1016/j.psfr.2015.07.006.

DARWIN C. (1872). *The expression of the emotions in man and animals*. London : John Murray.
DAVIDSON D., LUO Z. & BURDEN M. J. (2001). Children's recall of emotional behaviours, emotional labels, and nonemotional behaviours: Does emotion enhance memory? *Cognition and Emotion, 15*(1), 1-26. DOI: 10.1080/0269993004200105.

DE BRUYNE L., DE CLERCQ O. & HOSTE V. (2020). An emotional mess! deciding on a framework for building a Dutch emotion-annotated corpus. In *Proceedings of the Twelfth Language Resources and Evaluation Conference*, p. 1643-1651, Marseille, France: European Language Resources Association.

DEMSZKY D., MOVSHOVITZ-ATTIAS D., KO J., COWEN A., NEMADE G. & RAVI S. (2020). GoEmotions: A dataset of fine-grained emotions. In *Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics*, p. 4040-4054, Online: Association for Computational Linguistics. DOI: 10.18653/v1/2020.acl-main.372.

DEVLIN J., CHANG M.-W., LEE K. & TOUTANOVA K. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. In *Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers)*, p. 4171-4186, Minneapolis, Minnesota: Association for Computational Linguistics. DOI: 10.18653/v1/N19-1423.

EKMAN P. (1999). Basic emotions. In T. DALGLEISH & M. J. POWER, Éds., *Handbook of cognition and emotion*, p. 45-60. Chichester: John Wiley & Sons Ltd.

EKMAN P. & FRIESEN W. V. (1971). Constants across cultures in the face and emotion. *Journal of personality and social psychology, 17* 2, 124-9.

ETIENNE A., BATTISTELLI D. & LECORVÉ G. (2022). A (psycho-)linguistically motivated scheme for annotating and exploring emotions in a genre-diverse corpus. In *Proceedings of the Thirteenth Language Resources and Evaluation Conference*, p. 603-612, Marseille, France: European Language Resources Association.

FOPPOLO F. & MAZZAGGIO G. (2024). Conversational Implicature and Communication Disorders. In M. J. BALL, N. MÜLLER & E. SPENCER, Éds., *The Handbook of Clinical Linguistics, Second Edition*, p. 15-27. Wiley, 1 édition. DOI: 10.1002/9781119875949.ch2.

GANDHI K., FRÄNKEN J.-P., GERSTENBERG T. & GOODMAN N. D. (2023). Understanding Social Reasoning in Language Models with Language Models. DOI: 10.48550/arXiv.2306.15448.
GREEN M. (2007). *Self-expression*. Oxford: Oxford University Press.

GRICE H. P. (1957). Meaning. *The Philosophical Review*, **66**(3), 377-388.

GRICE H. P. (1975). Logic and conversation. In *Speech acts*, p. 41-58. Leiden: Brill.

GRICE H. P. (1989). *Studies in the way of words*. Cambridge (MA): Harvard University Press.

HEIM I. & KRATZER A. (1998). *Semantics in generative grammar*. Hoboken: Wiley. Google-Books-ID: jAvR2DB3pPIC.

HEINTZ C. & SCOTT-PHILLIPS T. (2023). Expression unleashed: The evolutionary & cognitive foundations of human communication. *Behavioral and Brain Sciences, 46*, E1. type: article, DOI: 10.31234/osf.io/mcv5b.

HOFMANN J., TROIANO E., SASSENBERG K. & KLINGER R. (2020). Appraisal theories for emotion classification in text. In *Proceedings of the 28th International Conference on Computational Linguistics*, p. 125-138, Barcelona, Spain (Online): International Committee on Computational Linguistics. DOI: 10.18653/v1/2020.coling-main.11.

HOLTERMAN B. & VAN DEEMTER K. (2023). Does ChatGPT have Theory of Mind? arXiv:2305.14020 [cs].

IZARD C. E. (1992). Basic Emotions, Relations Among Emotions, and Emotion-Cognition Relations. *Psychological Review*, **99**(3), 561-565.
KIM E. & KLINGER R. (2018). Who Feels What and Why? Annotation of a Literature Corpus with Semantic Roles of Emotions. In *Proceedings of the 27th International Conference on Computational Linguistics*, p. 1345–1359, Santa Fe, New Mexico, USA : Association for Computational Linguistics.

KIM E. & KLINGER R. (2019). An analysis of emotion communication channels in fan-fiction : Towards emotional storytelling. In *Proceedings of the Second Workshop on Storytelling*, p. 56–64, Florence, Italy : Association for Computational Linguistics. DOI: 10.18653/v1/W19-3406.

KIM H., SCLAAR M., ZHOU X., BRAS R. L., KIM G., CHOI Y. & SAP M. (2023). FAN-TO-M : A Benchmark for Stress-testing Machine Theory of Mind in Interactions. DOI : 10.48550/arXiv.2310.15421.

KLINGER R. (2023). Where are We in Event-centric Emotion Analysis ? Bridging Emotion Role Labeling and Appraisal-based Approaches. In Y. ELAZAR, A. ETTINGER, N. KASSNER, S. RUDER & N. A. SMITH, Éds., *Proceedings of the Big Picture Workshop*, p. 1–17, Singapore : Association for Computational Linguistics. DOI: 10.18653/v1/2023.bigpicture-1.1.

KOSINSKI M. (2023). Theory of Mind Might Have Spontaneously Emerged in Large Language Models. arXiv :2302.02083 [cs], DOI: 10.48550/arXiv.2302.02083.

LANGLEY C., CIRSTEA B. I., CUZZOLIN F. & SAHAKIAN B. J. (2022). Theory of Mind and Preference Learning at the Interface of Cognitive Science, Neuroscience, and AI : A Review. *Frontiers in Artificial Intelligence, 5*.

LAZARUS R. S. (1991). Progress on a cognitive-motivational-relational theory of emotion. *American psychologist, 46*(8), 819.

LEE S. Y. M., CHEN Y. & HUANG C.-R. (2010). A text-driven rule-based system for emotion cause detection. In *Proceedings of the NAACL HLT 2010 Workshop on Computational Approaches to Analysis and Generation of Emotion in Text*, p. 45–53, Los Angeles, CA : Association for Computational Linguistics.

MA Z., SANSOM J., PENG R. & CHAI J. (2023). Towards A Holistic Landscape of Situated Theory of Mind in Large Language Models. DOI: 10.48550/arXiv.2310.19619.

MAYER J. D., ROBERTS R. D. & BARSADE S. G. (2008). Human Abilities : Emotional Intelligence. *Annual Review of Psychology, 59*(1), 507–536. DOI: 10.1146/annurev.psych.59.103006.093646.

MICHELI R. (2013). Esquisse d'une typologie des différents modes de sémiotisation verbale de l'émotion. *Semen*, (35). DOI: 10.4000/semen.9795.

MICHELI R. (2014). *Les émotions dans les discours*. De Boeck Supérieur. DOI : 10.3917/dbu.mchel.2014.01.

MITCHELL M. & KRAKAUER D. C. (2023). The debate over understanding in AI's large language models. *Proceedings of the National Academy of Sciences*, 120(13), e2215907120. Publisher : Proceedings of the National Academy of Sciences, DOI: 10.1073/pnas.2215907120.

MOORS A. (2022). *Demystifying emotions : A Typology of theories in psychology and philosophy*. Cambridge, cambridge university press édition.

MOORS A., ELLSWORTH P. C., SCHERER K. R. & FRIJDA N. H. (2013). Appraisal theories of emotion : state of the art and future development. *Emotion Review, 5*(2), 119–124. Publisher : Sage Publications Sage UK : London, England.

OBERLÄNDER L., REICH K. & KLINGER R. (2020). Experiencers, Stimuli, or Targets : Which Semantic Roles Enable Machine Learning to Infer the Emotions ? *arXiv :2011.01599 [cs]*.

O'CONNOR P. J., HILL A., KAYA M. & MARTIN B. (2019). The measurement of emotional intelligence : A critical review of the literature and recommendations for researchers and practitioners. *Frontiers in psychology, 10*, 1116. Publisher : Frontiers.
PAECH S. J. (2024). EQ-Bench: An Emotional Intelligence Benchmark for Large Language Models.
DOI: 10.48550/arXiv.2312.06281.

PANKSEPP J. (1998). *Affective neuroscience: the foundations of human and animal emotions*. New York: Oxford University Press.

PLUTCHIK R. (2001). The Nature of Emotions: Human emotions have deep evolutionary roots, a fact that may explain their complexity and provide tools for clinical practice. *American Scientist*, **89**(4), 344–350.

RUSSELL J. A. (1980). A circumplex model of affect. *Journal of personality and social psychology*, **39**(6), 1161. Publisher: American Psychological Association.

RUSSELL J. A. (2003). Core affect and the psychological construction of emotion. *Psychological review*, **110**(1), 145. Publisher: American Psychological Association.

RUSSELL J. A. (2009). Emotion, core affect, and psychological construction. *Cognition and Emotion*, **23**(7), 1259–1283. DOI: 10.1080/02699930902809375.

SCARANTINO A. (2017). How to do things with emotional expressions: The theory of affective pragmatics. *Psychological Inquiry*, **28**(2-3), 165–185. Publisher: Taylor & Francis.

SCHACHTER S. & SINGER J. (1962). Cognitive, social, and physiological determinants of emotional state. *Psychological review*, **69**(5), 379. Publisher: American Psychological Association.

SCHERER K. R. (2007). Componential emotion theory can inform models of emotional competence.
Publisher: Oxford University Press.

SCHERER K. R. (2022). Theory convergence in emotion science is timely and realistic. *Cognition and Emotion*, **36**(2), 154–170. DOI: 10.1080/02699931.2021.1973378.

SCHERER K. R. & MOORS A. (2019). The emotion process : event appraisal and component differentiation. *Annual Review of Psychology*, **70**, 719–745. Publisher : Annual Reviews.

SCHLENKER P. (2016). The semantics-pragmatics interface. In M. ALONI & P. DEKKER, Éds., *The Cambridge Handbook of Formal Semantics*, p. 664–727. Cambridge : Cambridge University Press.

SHAPIRA N., LEVY M., ALAVI S. H., ZHOU X., CHOI Y., GOLDBERG Y., SAP M. & SHWARTZ V. (2023). Clever Hans or Neural Theory of Mind? Stress Testing Social Reasoning in Large Language Models. arXiv:2305.14763 [cs], DOI: 10.48550/arXiv.2305.14763.

SPERBER D. & WILSON D. (1995). *Relevance : Communication and cognition*. Oxford and Cambridge (MA) : Blackwell, 2nd edition édition.

STALNAKER R. (2002). Common ground. *Linguistics and philosophy*, **25**(5/6), 701–721.

STOJNIĆ G., GANDHI K., YASUDA S., LAKE B. M. & DILLON M. R. (2023). Commonsense psychology in human infants and machines. *Cognition*, **235**, 105406. DOI: https://doi.org/10.1016/j.cognition.2023.105406.

TEIGEN K. H. (2008). Is a sigh “just a sigh”? Sighs as emotional signals and responses to a difficult task. *Scandinavian journal of Psychology*, **49**(1), 49–57. Publisher: Wiley Online Library.

TOMKINS S. (1962). *Affect imagery consciousness*, volume Volume I : The positive affects. New York : Springer.

TROIANO E., OBERLÄNDER L. & KLINGER R. (2022). Dimensional Modeling of Emotions in Text with Appraisal Theories : Corpus Creation, Annotation Reliability, and Prediction. *Computational Linguistics*, p. 1–71. DOI: 10.1162/coli_a_00461.

TROTT S., JONES C., CHANG T., MICHAЕLOV J. & BERGEN B. (2022). Do Large Language Models know what humans know? *arXiv preprint arXiv :2209.01515*.
ULLMAN T. (2023). Large Language Models Fail on Trivial Alterations to Theory-of-Mind Tasks. arXiv:2302.08399 [cs].

VLEMINCX E., VAN DIEST I., DE PEUTER S., BRESSELEERS J., BOGAERTS K., FANNES S., LI W. & VAN DEN BERGH O. (2009). Why do you sigh? Sigh rate during induced stress and relief. *Psychophysiology*, **46**(5), 1005–1013. Publisher: Wiley Online Library.

WANG X., LI X., YIN Z., WU Y. & LIU J. (2023). Emotional intelligence of Large Language Models. *Journal of Pacific Rim Psychology*, **17**, 18344909231213958. DOI: 10.1177/18344909231213958.

WEGGE M., TROIANO E., OBERLÄNDER L. & KLINGER R. (2023). Experiencer-Specific Emotion and Appraisal Prediction. DOI: 10.48550/arXiv.2210.12078.

WHARTON T. (2003). Natural pragmatics and natural codes. *Mind & language*, **18**(5), 447–477. Publisher: Wiley Online Library.

WHARTON T. (2016). That bloody so-and-so has retired: Expressives revisited. *Lingua*, **175**, 20–35. Publisher: Elsevier.

WHARTON T., BONARD C., DUKES D., SANDER D. & OSWALD S. (2021). Relevance and emotion. *Journal of Pragmatics*, **181**, 259–269.

WILSON D. & SPERBER D. (2006). Relevance theory. In L. HORN, Éd., *The Handbook of pragmatics*. Oxford: Blackwell.

ZHAN H., ONG D. & LI J. J. (2023). Evaluating Subjective Cognitive Appraisals of Emotions from Large Language Models. In H. BOUAMOR, J. PINO & K. BALI, Éds., *Findings of the Association for Computational Linguistics: EMNLP 2023*, p. 14418–14446, Singapore: Association for Computational Linguistics. DOI: 10.18653/v1/2023.findings-emnlp.962.

ZHANG W., DENG Y., LIU B., PAN S. J. & BING L. (2023). Sentiment Analysis in the Era of Large Language Models: A Reality Check. DOI: 10.48550/arXiv.2305.15005.

ZHOU P., MADAAN A., POTHARAJU S. P., GUPTA A., MCKEE K. R., HOLTZMAN A., PUJARA J., REN X., MISHRA S., NEMATZADEH A., UPADHYAY S. & FARUQUI M. (2023). How FaR Are Large Language Models From Agents with Theory-of-Mind? DOI: 10.48550/arXiv.2310.03051.

ZWAAN R. A. & RADVANSKY G. A. (1998). Situation models in language comprehension and memory. *Psychological Bulletin*, **123**(2), 162–185. DOI: 10.1037/0033-2909.123.2.162.
# Analyse de la perception de l'offre INTERCITÉS de jour : Classification multi-étiquettes des émotions dans les tweets

Chang Liu¹ Hélène Flamein² Luce Lefeuvre² Fanny Hanen¹

(1) SNCF Voyageurs INTERCITÉS Direction Marketing, 2 rue Traversière, 75012 PARIS

(2) SNCF DTIPG, 1-3 avenue François Mitterrand, 93210 Saint-Denis, France

ext.chang.liu@sncf.fr, helene.flamein2@gmail.com, luce.lefeuvre@sncf.fr, fanny.hanen@sncf.fr

## RÉSUMÉ

La Direction Marketing de SNCF Voyageurs INTERCITÉS souhaite améliorer l'expérience des voyageurs en procédant à l'analyse automatique de la perception de son offre à travers les ressentis partagés sur les réseaux sociaux. L'un des axes de notre recherche se focalise sur la détection des émotions en multi-étiquettes qui traduisent cette perception. Pour accomplir cette tâche, nous ajustons tout d'abord un modèle de langue pré-entraîné à l'aide d'un corpus préalablement annoté en émotions, puis nous le spécialisons sur notre corpus, axé sur le contexte ferroviaire d'INTERCITÉS. Notre approche obtient un F1-Micro score de 0,55, un F1-Macro score de 0,44 et une exactitude de 0,826.

## ABSTRACT

Analysis of the perception of the INTERCITÉS day train service : Multi-Label classification of emotions in tweets

The Marketing Department of SNCF Voyageurs INTERCITÉS aims to improve the passenger experience by conducting an automatic analysis of the perception of its service through feelings shared on social media. Our research focuses on the detection of multi-label emotions that reflect this perception. To accomplish this task, we first adjust a pre-trained language model using a corpus previously annotated with emotions. Then we specialize our model on our corpus, specific to the INTERCITÉS railway context. Our approach achieves a F1-Micro score of 0.55, a F1-Macro score of 0.44, and an accuracy of 0.826.

**MOTS-CLÉS** : Perception, Détection des émotions, Classification multi-étiquettes, CamemBERT, Mesures d'évaluation.

**KEYWORDS**: Perception, Emotion Detection, Multi-label Classification, CamemBERT, Evaluation Measures.

## 1 Introduction

L'amélioration constante de l'expérience client demeure une préoccupation centrale pour les entreprises opérant dans le secteur des services, et plus particulièrement dans le domaine du transport ferroviaire. Dans cette ère numérique, où les clients comme les non-clients expriment leurs opinions et ressentis de manière instantanée et publique sur les plateformes en ligne, l'analyse des données issues des réseaux sociaux offre de nouvelles perspectives pour mieux comprendre les attentes, les

<figure><img src="image_103.png" /></figure>
préoccupations et les satisfactions des voyageurs. En nous basant sur un corpus de tweets concernant l'offre INTERCITÉS de jour, notre recherche s'attache à analyser les émotions des utilisateurs telles qu'elles transparaissent dans les tweets. L'analyse des émotions des tweets est une tâche complexe, non seulement en raison de leur nature textuelle, mais aussi parce qu'un seul tweet peut véhiculer des émotions complexes, définies comme une combinaison d'émotions simples ou de processus cognitifs plus nuancés, tels que l'amour ou la culpabilité. L'annotation des émotions en multi-étiquettes semble nécessaire et permet de saisir la nuance des messages humains. Dans un tweet, un auteur peut en effet exprimer des avis divergents sur différentes thématiques. Par exemple, dans le tweet suivant issu de notre corpus INTERCITÉS, «@Intercites Bah t'es bien t'es coincé tu ne peux plus bosser», l'auteur exprime à la fois de l'«angoisse» et de la «colère». Nous avons ainsi exploré les stratégies permettant de surmonter la complexité de la détection de plusieurs émotions au sein d'un même tweet. De plus, nous nous sommes interrogées sur les moyens de gérer un corpus d'étude non annoté. En réponse à ces défis, un modèle de classification multi-étiquettes a été entraîné sur un corpus préalablement annoté en émotions selon une typologie adaptée à nos données et aux objectifs du projet.

## 2 État de l'art : détection des émotions dans les tweets

Dans le domaine de l'analyse des émotions, plusieurs auteurs se sont intéressés à leur classification, notamment en psychologie. Ainsi, Ekman (1992) identifie six émotions fondamentales : la colère, le dégoût, la peur, la joie, la tristesse et la surprise. Pour classifier les émotions, Plutchik (1980), s'inspirant du modèle d'Ekman, propose une visualisation en forme de roue qui comprend quatre ensembles bipolaires : joie et tristesse ; colère et peur ; confiance et dégoût ; surprise et anticipation. En TAL, les méthodes élémentaires de détection des émotions reposent sur l'utilisation de lexiques pour identifier des émotions liées à des états psychologiques via des mots-clés, une approche soulignée dans l'étude de Rabeya et al. (2017). Deux lexiques sont principalement utilisées dans ces approches : WordNet-Affect (Strapparava et al., 2004) et NRC Word-Emotion Association Lexicon (Mohammad & Turney, 2013) également appelé EmoLex.

Les données issues des réseaux socio-numériques, et plus particulièrement de Twitter/X, ont donné lieu à de nombreux travaux en sentiment analysis, emotion recognition ou opinion mining, notamment parce qu'ils sont un lieu de polémique. D'un point de vue linguistique, les tweets peuvent inclure des textes linéaires simples, des émoticônes, des liens URL vers des sites externes, ainsi que des éléments spécifiques aux réseaux sociaux tels que les hashtags (marqués par un #) pour organiser l'information et les pseudos (précédés de @) qui identifient les utilisateurs (Paveau, 2017). D'après Baziotis et al. (2018), l'utilisation de ces formes de communication spécifiques éloigne les tweets des structures linguistiques traditionnelles et rend leur traitement complexe.

Ainsi, diverses approches sont étudiées pour détecter les émotions dans les tweets. Lora et al. (2020) évaluent plusieurs techniques d'apprentissage automatique, comme les modèles bayésiens naïfs, les SVM (Support Vector Machine), et la Régression Logistique, ainsi que diverses architectures de réseaux de neurones. Les méthodes d'apprentissage automatique affichent un score F1 supérieur ; toutefois, l'approche utilisant les CNN (Convolutional Neural Networks) avec des plongements lexicaux pré-entraînés surpasse les autres approches en termes d'exactitude. Plusieurs travaux suggèrent l'utilisation de réseaux de neurones récurrents, en particulier les LSTM (Long Short-Term Memory), pour effectuer la détection des émotions dans les tweets (Kabir & Madria, 2021; Javed & Muralidhara, 2022). Aslam et al. (2022) combinent deux réseaux neuronaux récurrents différents, les LSTM et les
GRU (*Gated Recurrent Units*), et leur modèle atteint une exactitude de 0.91. Les auteurs observent que diminuer la taille du corpus d'entraînement entraîne une baisse de performance du modèle. Par ailleurs, l'utilisation des modèles basés sur les transformers (Vaswani *et al.*, 2017) est largement répandue (Yu *et al.*, 2018; Camacho-Collados *et al.*, 2022), et plus particulièrement le modèle de langage BERT (Devlin *et al.*, 2018). Notamment, Chowdhury & Pal (2023) appliquent des LSTM après avoir ajusté le modèle BERT pour la classification des émotions ; cette approche combinatoire permet d'atteindre un score F1 de 0,71.

Quant à la classification multi-étiquettes des émotions, Kim & Klinger (2018) présentent une analyse des émotions dans les textes littéraires, ayant pour objectif d'identifier les émotions et de les relier aux personnages, à leur origine (causes) et à leurs cibles. Ils construisent pour cela des modèles LSTM bidirectionnels avec une couche de CRF (Conditional Random Fields). L'étude montre que l'intégration des CRF améliore l'étiquetage des séquences lorsque les données montrent des dépendances entre les éléments. Enfin, dans sa thèse, Etienne (2023) introduit un modèle capable de réaliser des prédictions simultanées du caractère émotionnel d'un texte, des modes d'expression présents dans les textes, et des types d'émotions véhiculées, tout en effectuant une classification multi-étiquettes des catégories émotionnelles. L'auteure démontre que l'approche prenant en compte plusieurs aspects émotionnels peut améliorer la robustesse du modèle.

Beaucoup plus récemment, dans le domaine des LLMs (Larges Language Models) génératifs, Wang *et al.* (2023) développent un test psychométrique nommé SECEU (Situational Evaluation of Complex Emotional Understanding) et l'appliquent sur différents LLMs pour évaluer la compréhension émotionnelle des LLMs et des humains. Le LLM génératif le plus efficace pour comprendre les émotions s'est avéré être GPT-4. Liu *et al.* (2024) décrivent quant à eux EmoLLMs, formés par l'affinage de différents LLMs en utilisant un ensemble de données nommé AAID (Affective Analysis Instruction Dataset) construit par le SemEval-2018 (Mohammad *et al.*, 2018). Dans les tâches SemEval-2018, ces modèles surpassent les LLMs génératifs open source.

Certaines études se heurtent au manque de données annotées pour détecter les émotions dans les textes. Pour répondre à cette problématique, différentes solutions sont proposées. Par exemple, Baziotis *et al.* (2018) utilisent un corpus de 550 millions de tweets en anglais pour entraîner les plongements lexicaux et un deuxième corpus de 61 854 tweets constitué par SemEval-2017 (Rosenthal *et al.*, 2019) dans le but de réaliser un apprentissage par transfert. Le modèle est ensuite affiné à l'aide des données dans le corpus de SemEval-2018. Cette étude montre que l'utilisation de plusieurs corpus permet de créer un ensemble de données diversifié et représentatif des différentes expressions des émotions. Cependant, cela augmente le coût en temps pour normaliser et harmoniser les données. Guibon *et al.* (2021), pour leur part, explorent l'utilisation de deux corpus distincts pour la classification des émotions dans des dialogues : le premier est utilisé pour la phase d'entraînement, et le second pour évaluer la performance du modèle. L'utilisation de différents corpus permet de tester la généralisation du modèle à diverses sources de données et également d'offrir une évaluation robuste de sa performance.

Compte tenu des travaux existants, plusieurs paramètres doivent être considérés afin de capter les émotions des utilisateurs à propos des services INTERCITÉS : le genre textuel ainsi que les émotions significatives présentes dans notre corpus, et l'architecture du système de prédiction. Ainsi, nous envisageons d'explorer l'utilisation de modèles basés sur les transformers, en particulier l'architecture BERT (Luo & Wang, 2019; Huang *et al.*, 2019; Camacho-Collados *et al.*, 2022). La combinaison de divers modèles nous parait aussi pertinente comme approche, car cela permet d'avoir une architecture plus complexe et de traiter plus finement les données afin d'avoir de meilleures performances, notamment pour la classification des émotions (Aslam *et al.*, 2022; Chowdhury & Pal, 2023).
# 3 Jeux de données et typologie des émotions

## 3.1 Présentation du corpus d'étude

Le corpus principal de notre étude englobe l'ensemble des tweets en français diffusés au cours de l'année 2022 et intégrant les termes « intercités » ou « intercité ». Notre étude se concentre exclusivement sur les tweets des utilisateurs relatifs aux lignes INTERCITÉS de jour. L'objectif est de cerner précisément les publications provenant de voyageurs actuels ou potentiels. Dans cette optique, nous avons essayé d'exclure les tweets évoquant l'offre INTERCITÉS de nuit et ceux venant de comptes affiliés à la SNCF ou à des médias, ainsi que ceux se référant à d'autres lignes de transport. Nous avons également éliminé les hyperliens tout en préservant les emojis, ces derniers étant convertis en format textuel cf. (Ex. 1).

(Ex. 1) **1/3 :stop_sign : Service dégradé :stop_sign : Des nouvelles de la ligne POLT ! L'INTERCITÉS de Toulouse est arrivé à Austerlitz avec 2h10 de retard. INTERCITÉS 3665 retardé d'une heure. Pourquoi ? Réponse d'un contrôleur** » @Intercites @SNCF

Après nettoyage, le corpus d'étude comporte 11 025 tweets non-annotés pour un total de 276 716 tokens, hors mentions et hashtags. Il recense 24 718 mentions et 2 272 hashtags. Les tailles minimale, moyenne et maximale des tweets sont respectivement de 1, 24 et 72 tokens.

## 3.2 Constitution du corpus de référence

Pour analyser les émotions présentes dans notre corpus, une typologie adaptée aux données et à nos objectifs a été choisie. Nous travaillons notamment sur les émotions simples, parce que nous considérons qu'elles répondent aux besoins d'identifier la perception qu'ont les clients et non-clients de l'offre INTERCITÉS, et parce qu'elles facilitent la conception et l'annotation du corpus. Nous nous sommes ainsi inspirées du modèle d'émotions élaboré par Plutchik (1980) et l'avons ajusté. Les émotions sur lesquelles nous travaillons sont les suivantes : joie, tristesse, angoisse, colère, dégoût, neutre. Nous avons décidé de regrouper l'anticipation et la peur du modèle de Plutchik sous l'étiquette «angoisse». En effet, la peur est peu représentée dans les données ferroviaires. L'analyse linguistique de quelques tweets nous a amenées à considérer que l'angoisse est une émotion fréquemment ressentie par les voyageurs en cas de manque d'information et/ou de situation perturbée. L'intensité de cette émotion se situe entre celle de la peur et celle de l'anticipation, avec une nuance plus pondérée. Deux annotateurs spécialistes en linguistique ont annoté un échantillon de 249 tweets en multi-étiquettes selon la typologie mentionnée plus haut, et le taux d'accord global pour l'ensemble des étiquetages, mesuré par le coefficient Kappa de Cohen (Cohen, 1960), est de 0,69. Cette valeur suggère un accord substantiel selon Landis & Koch (1977) mais imparfait entre les annotateurs, indiquant que certaines ambiguïtés subsistent dans le processus d'annotation. Néanmoins, pour les cas les plus difficiles, les annotateurs sont parvenus à un consensus sur l'annotation de l'échantillon de tweets. Cette annotation permet de confirmer l'hypothèse selon laquelle un tweet peut être marqué de plusieurs émotions. Les statistiques de l'annotation sont présentées dans les Tables 1 et 2.

Cet échantillon est considéré comme notre corpus de référence, et sert à valider le comportement du modèle dédié à la détection des émotions. Il est à noter que, dans ce corpus de référence, la répartition des 301 émotions identifiées reste déséquilibrée : les émotions de tristesse (4%) et de dégoût (6%) sont nettement moins représentées que les autres émotions. En outre, bien que les tweets annotés en
uni-étiquette restent largement majoritaires (77%), la part de tweets annotés en multi-étiquettes (23%) reste significative.

<table><caption>TABLE 1 – Répartition des émotions dans le corpus de référence annoté en uni-étiquettes et multi-étiquettes</caption><thead><tr><td>Émotions</td><td>Nombre</td><td>Pourcentage</td></tr></thead><tbody><tr><td>Colère</td><td>82</td><td>27%</td></tr><tr><td>Joie</td><td>74</td><td>25%</td></tr><tr><td>Neutre</td><td>58</td><td>19%</td></tr><tr><td>Angoisse</td><td>57</td><td>19%</td></tr><tr><td>Tristesse</td><td>19</td><td>6%</td></tr><tr><td>Dégoût</td><td>11</td><td>4%</td></tr><tr><td>Total</td><td>301</td><td>100%</td></tr></tbody></table>

<table><caption>TABLE 2 – Répartition des étiquettes uniques ou multiples dans le corpus de référence</caption><thead><tr><td>Type d'annotation</td><td>Nombre de tweets</td><td>Pourcentage</td></tr></thead><tbody><tr><td>Uni-étiquette</td><td>192</td><td>77%</td></tr><tr><td>Multi-étiquette</td><td>57</td><td>23%</td></tr><tr><td>Total</td><td>249</td><td>100%</td></tr></tbody></table>

## 3.3 Constitution du corpus d'entraînement

Tout entraînement de modèle pour des tâches de traitement de données langagières nécessite un nombre important de données d'exemples. Comme mentionné précédemment, le corpus INTERCITÉS n'est pas annoté en émotions et nous ne disposons pas de données équivalentes annotées. Pour franchir ce premier obstacle, notre stratégie consiste à entraîner le modèle sur un corpus annoté pré-existant, et à appliquer ensuite les connaissances acquises par le modèle pour annoter notre corpus d'étude en émotions. En effet, selon l'état de l'art, la fusion de données provenant de différents corpus est une solution viable en cas de manque de données (Baziotis et al., 2018; Guibon et al., 2021). Après l'examen de plusieurs corpus, nous décidons d'utiliser le corpus DEFT 2015¹ (Hamon et al., 2015), qui regroupe des tweets axés sur le thème du changement climatique. Dans ce corpus, chaque tweet est annoté pour refléter une émotion, une opinion ou un sentiment, en utilisant un système de 19 étiquettes définies par Fraisse & Paroubek (2014)<fnref n="2" />. Il existe une disparité notable entre la typologie des étiquettes d'annotation utilisées dans ce corpus et celle que nous avons établie pour notre projet. En conséquence, nous avons converti les étiquettes pour aligner les annotations du corpus DEFT avec notre typologie (cf. section 3.2). Ce processus a donné naissance à notre corpus d'entraînement, que nous appelons CoarseDEFT.

La distribution des émotions dans le corpus d'entraînement est déséquilibrée (Table 3) et diffère de celle constatée dans le corpus de référence. L'émotion de joie est dominante dans le corpus d'entraînement, tandis que les émotions de tristesse et de dégoût sont sous-représentées. Les sous-représentations de certaines étiquettes font que le modèle a moins d'exemples pour apprendre à les identifier correctement.

## 3.4 Synthèse des données utilisées

La première phase de notre travail nous a amenées à constituer quatre corpus (cf. Table 4), utilisés à différentes phases dans les expériences que nous présentons dans la section suivante. Nous avons

<footnote n="1">1. https://deft.lisn.upsaclay.fr/2015/</footnote>

<footnote n="2">2. https://deft.lisn.upsaclay.fr/2015/guideAnnotation.fr.php?lang=fr</footnote>
<table><caption>TABLE 3 – Adaptation de la typologie des émotions du corpus DEFT 2015 vers la nouvelle typologie utilisée dans le corpus CoarseDEFT</caption><thead><tr><td>Étiquettes DEFT 2015</td><td>Étiquettes CoarseDEFT</td><td>Proportions</td></tr></thead><tbody><tr><td>Amour, Apaisement, Plaisir, Satisfaction, Valorisation</td><td>Joie</td><td>52,1%</td></tr><tr><td>Colère, Ennui, Insatisfaction, Dévalorisation, Mépris</td><td>Colère</td><td>25,7%</td></tr><tr><td>Accord, Désaccord</td><td>Neutre</td><td>11,7%</td></tr><tr><td>Peur</td><td>Angoisse</td><td>8,5%</td></tr><tr><td>Tristesse, Déplaisir</td><td>Tristesse</td><td>1,6%</td></tr><tr><td>Dérangement</td><td>Dégoût</td><td>0,4%</td></tr></tbody></table>

divisé le corpus CoarseDEFT en différentes parties distinctes. L’entraînement initial de notre modèle est réalisé à partir d’une partie de corpus CoarseDEFT (70%). L’évaluation de sa performance, tout au long des expériences, s’effectue sur deux corpus : un échantillon du corpus CoarseDEFT (15%) et notre corpus de référence INTERCITÉS (cf. section 3.2). La seconde phase de notre travail a consisté à enrichir notre corpus d’entraînement pour améliorer les performances de notre modèle (cf. section 4.2). Pour cela, nous avons construit de manière itérative un autre corpus de 863 486 tweets, extraits de Twitter/X avec le mot-clé «SNCF».

<table><caption>TABLE 4 – Corpus utilisés pour l’apprentissage</caption><thead><tr><td>Corpus</td><td>Nombre de tweets</td><td>Sources de tweets</td></tr></thead><tbody><tr><td>Train (avant l'enrichissement)</td><td>3 002</td><td>CoarseDEFT</td></tr><tr><td>Val (avant l'enrichissement)</td><td>659</td><td>CoarseDEFT</td></tr><tr><td>Test (avant l'enrichissement)</td><td>659</td><td>CoarseDEFT</td></tr><tr><td>Corpus de référence</td><td>249</td><td>Corpus INTERCITÉS</td></tr><tr><td>Corpus d'enrichissement 1</td><td>10 776</td><td>Corpus INTERCITÉS</td></tr><tr><td>Corpus d'enrichissement 2</td><td>863 486</td><td>Corpus SNCF</td></tr></tbody></table>

# 4 Méthodologie

La démarche mise en place vise à spécialiser notre modèle de prédiction en fonction de notre corpus d'étude, permettant ainsi une classification multi-étiquettes efficace et précise sur les données ferroviaires. Notre objectif est donc d'entraîner un classifieur multi-étiquettes sur le corpus d'entraînement (CoarseDEFT) annoté selon différentes émotions, puis de le spécialiser sur nos données. Pour cela, nous avons mis en place une méthode itérative, qui enrichit progressivement le corpus d'entraînement avec davantage de données (cf. schéma 1). Le modèle s'entraîne sur le corpus d'entraînement et après chaque phase d'apprentissage, nous évaluons sa performance sur notre corpus de référence (cf. section 3.2). Plus précisément, nous effectuons une analyse manuelle des prédictions pour observer le comportement du modèle. Si l'analyse indique une pertinence insuffisante, nous intégrons de nouvelles données issues de nos corpus d'enrichissement (cf. Table 4) au corpus d'entraînement en fonction de cette analyse. Les itérations se poursuivent ensuite jusqu'à atteindre une performance satisfaisante.
<figure><img src="image_104.png" /><figcaption>FIGURE 1 – Chaîne de traitement de la spécialisation du modèle</figcaption></figure>

## 4.1 Configuration du modèle dédié à la classification des émotions en multi-étiquettes

Notre modèle repose sur l'affinage des deux dernières couches du modèle de langue CamemBERT (Martin et al., 2020), architecture basée sur les transformers largement utilisés pour les tâches de classification de textes en français (Lincker et al., 2023; Etienne, 2023). Cette représentation est enrichie par l'ajout de six couches d'encodeurs transformers, chacune avec 8 têtes d'attention. Notre structure des transformers s'inspire de l'approche explorée par Blivet et al. (2023) dans le cadre de leur participation au défi DEFT 2023 3 qui traite de la classification multi-étiquettes.

Dans un modèle de classification multi-étiquettes, chaque label est traité comme une entité distincte. Si l'on considère un ensemble de N labels, le modèle génère N scores de probabilité $p_1, p_2, ..., p_N$ indépendants, chacun correspondant à une étiquette spécifique. Ces scores sont obtenus par la fonction d'activation sigmoid appliquée à la sortie du modèle pour chaque étiquette. Un seuil de décision $\theta$ est appliqué à chaque probabilité prédite pour déterminer la présence ou l'absence d'une étiquette. Si la probabilité prédite pour une étiquette donnée $i, p_i$ est supérieure ou égale au seuil $\theta$, alors l'étiquette $i$ est assignée à l'instance; sinon, elle est rejetée. La valeur de $\theta$ est généralement fixée à 0,5 dans de nombreux cas par défaut, mais cette valeur peut être ajustée pour répondre à des critères de performance spécifiques. Le choix de $\theta$ implique un équilibre entre la sensibilité (taux de vrais positifs) et la spécificité (taux de vrais négatifs) du modèle. Dans le cadre de notre étude, nous définissons le seuil à 0,35 au début de nos expériences, puisqu'initialement le modèle n'est pas assez sensible pour générer des probabilités plus élevées permettant des prédictions fiables. Cependant, à mesure que la performance du modèle s'améliore, nous augmentons progressivement ce seuil jusqu'à atteindre 0,5, comme le montre la Table 6.

<footnote n="3">3. https://deft2023.univ-avignon.fr/</footnote>
## 4.2 Spécialisation du modèle par enrichissement du corpus d'entraînement

Les prédictions sur le corpus de référence sont analysées pour évaluer la sensibilité du modèle. Les premières analyses indiquent un faible rappel, signifiant que le modèle ne généralise pas correctement sur les données INTERCITÉS. Bien qu'il identifie mieux les émotions fréquentes (joie, colère, neutre), le modèle génère de nombreux faux positifs, suggérant une insuffisance de données pour les émotions sous-représentées comme la tristesse et le dégoût.

Pour augmenter la performance du modèle sur le corpus d'étude, nous avons adopté les stratégies suivantes pour enrichir le corpus d'entraînement :

1. Adapter le contenu du corpus d'entraînement pour le rendre plus similaire à celui du corpus d'étude, en utilisant des données extraites du corpus INTERCITÉS. Cela permet de mieux aligner notre modèle aux spécificités des tweets d'INTERCITÉS.

2. Améliorer l'équilibre des émotions représentées dans le corpus d'entraînement, en ciblant spécifiquement les émotions sous-représentées telles que la tristesse et le dégoût. Pour cela, nous avons extrait de nouveaux tweets en utilisant le mot-clé « SNCF » et sélectionné ceux qui contiennent des termes associés à la tristesse et au dégoût, identifiés grâce au dictionnaire EmoLex (Mohammad & Turney, 2013).

L'enrichissement s'est fait selon plusieurs itérations dont le détail est présenté avec les informations précises concernant la répartition des émotions se trouve dans l'annexe A.

## 5 Évaluation et résultats

Afin de valider la performance des modèles, nous prenons en compte deux mesures d'évaluation : le F1-Micro, le F1-Macro et l'exactitude, fréquemment utilisées pour les tâches de classification.

<table><caption>TABLE 5 – Évaluation de méthodes de référence pour la définition d'une baseline</caption><thead><tr><td>Méthodes</td><td>Exactitude</td><td>F1-Micro</td><td>F1-Macro</td></tr></thead><tbody><tr><td>SVM</td><td><strong>0,77</strong></td><td>0,18</td><td>0,07</td></tr><tr><td>Random Forest</td><td><strong>0,77</strong></td><td>0,20</td><td>0,10</td></tr><tr><td>Régression logistique</td><td>0,74</td><td>0,25</td><td>0,17</td></tr><tr><td>Naive Bayes</td><td>0,65</td><td><strong>0,36</strong></td><td><strong>0,29</strong></td></tr><tr><td>Arbre de décision</td><td>0,71</td><td>0,28</td><td>0,20</td></tr></tbody></table>

Avant de mettre en oeuvre notre méthodologie, nous construisons tout d'abord une *baseline*. Pour cela, nous évaluons les performances des méthodes classiques de classification automatique sur notre corpus (cf. Table 5). Ces approches manifestent des difficultés à équilibrer l'exactitude avec les scores F1-Micro et F1-Macro. Naive Bayes se distingue par ses performances supérieures en F1-Micro et en F1-Macro. L'écart global entre F1-Micro et F1-Macro indique que les classes majoritaires peuvent influencer le résultat du F1-Micro. Les scores obtenus des approches soulignent la complexité de la tâche de classification multi-étiquettes et confirment qu'il existe une marge significative pour l'amélioration des modèles.
Ensuite, nous avons réalisé quatre cycles d'enrichissement de notre corpus d'entraînement, suivis chacun par une phase de ré-entraînement du modèle. Après chaque cycle, nous avons évalué la performance du modèle à l'aide des métriques sélectionnées. L'évaluation s'effectue d'abord sur le corpus de référence composé de 249 tweets (cf. Figure 1). Les résultats obtenus après chaque session d'entraînement sont présentés dans la Table 6.

<table><caption>TABLE 6 – Évolution des performances du modèle au cours des différentes itérations de l'entraînement</caption><thead><tr><th>Corpus</th><th>Taille du corpus d'entraînement</th><th>Exactitude</th><th>F1-Micro</th><th>F1-Macro</th><th>Seuil</th></tr></thead><tbody><tr><td>CoarseDEFT</td><td>3661 tweets</td><td>0,77</td><td>0,39</td><td>0,22</td><td>0,35</td></tr><tr><td>CoarseDEFT-V2</td><td>4361 tweets</td><td>0,814</td><td>0,51</td><td>0,36</td><td>0,45</td></tr><tr><td>CoarseDEFT-V3</td><td>5561 tweets</td><td>0,816</td><td>0,50</td><td>0,43</td><td>0,5</td></tr><tr><td>CoarseDEFT-V4</td><td>6201 tweets</td><td><strong>0.826</strong></td><td><strong>0.55</strong></td><td><strong>0,44</strong></td><td>0,5</td></tr></tbody></table>

Les résultats de l'évaluation montrent d'abord que notre approche permet d'atteindre la *baseline* définie dès la première itération en exactitude et en F1 Micro et de la dépasser ensuite au fur et à mesure que le corpus est alimenté par les données provenant des deux méthodes que nous avons mentionnées dans la partie précédente. Nous observons des améliorations significatives de F1-Micro lors de l'ajout des données aux corpus CoarseDEFT-V2 et CoarseDEFT-V4, lesquelles concernent des tweets relatifs à INTERCITÉS. Par ailleurs, l'intégration de données correspondant aux émotions sous-représentées dans le corpus CoarseDEFT-V3 contribue à une amélioration du score F1-Macro. Les scores F1 pour chaque étiquette d'émotion, obtenus lors des différentes itérations, sont présentés dans l'annexe B. L'augmentation du score d'exactitude prouve d'une part l'amélioration de la spécialisation du modèle et confirme que les nouvelles données ajoutées n'introduisent pas de bruit dans les prédictions. L'augmentation des scores F1 Micro et Macro semble valider nos hypothèses : l'adaptation du corpus aux données ferroviaires et l'équilibrage de la distribution des émotions améliorent la précision du modèle.

Compte tenu de la complexité de l'annotation des émotions, confirmée par le taux d'accord inter-annotateurs obtenu lors de l'annotation des émotions dans le corpus de référence (cf. section 3.2), il est pertinent de se demander si les les faibles scores F1 Micro et Macro observés dans la Table 6 peuvent être attribués à des divergences dans l'interprétation de la typologie des émotions parmi les annotateurs.

<figure><img src="image_105.png" /><figcaption>FIGURE 2 – Répartition des émotions dans le corpus INTERCITÉS</figcaption></figure>
Bien que le modèle nécessite des améliorations, il affiche déjà une performance satisfaisante, en particulier en termes de spécificité. Appliqué à l'ensemble des tweets de notre corpus d'étude, il nous permet d'extraire des statistiques qui donnent une première indication de la répartition des émotions. D'après la Figure 2, les émotions les plus exprimées sont la colère, la joie, le neutre et l'angoisse. Les émotions négatives dominent dans les tweets. La sur-représentation des émotions négatives colère et angoisse peut certainement être relativisée et attribuée aux particularités de la plate-forme Twitter/X, sur laquelle les utilisateurs sont plus enclins à partager des commentaires et des messages négatifs.

# 6 Conclusion et discussion

Pour répondre aux enjeux commerciaux et industriels de notre projet, nous implémentons une chaîne de traitement qui entraîne un modèle de classification multi-étiquettes capable de détecter les émotions exprimées dans les tweets. Une partie importante de cette chaîne de traitement implique la constitution d'un corpus d'entraînement, annoté selon une typologie adaptée à notre étude. En l'occurrence, le corpus DEFT 2015 est repris, adapté à une nouvelle typologie d'émotions et enrichi en tweets émotionnellement marqués et traitant du domaine ferroviaire. Cette démarche permet au modèle de transférer ses acquis à notre corpus d'étude, lequel n'est pas annoté. Notre modèle, soit une combinaison du modèle CamemBERT et de transformers, dépasse d'emblée la baseline établie, et atteint un F1-Micro score de 0,55, un F1-Macro score de 0,44 et une exactitude de 0,826. Ce modèle se révèle être précis et efficace pour la classification des émotions dans les situations où une seule étiquette doit être prédite.

Dans le cadre de cette étude, nous avons fait face à plusieurs défis. Premièrement, l'annotation des émotions dans les tweets est une tâche subjective, qui complique la mise en place de critères d'annotation uniformes. Deuxièmement, notre corpus d'entraînement montre une répartition inégale entre les tweets uni-étiquettes, qui dominent, et les tweets multi-étiquettes. De surcroît, la distribution des différentes émotions reste déséquilibrée au sein du corpus, même après l'ajout de nouvelles données. Ces déséquilibres exercent une influence négative sur les performances du modèle. Cependant, il est essentiel de déterminer si ces inégalités sont propres et inhérentes à notre corpus INTERCITÉS. Au lieu d'essayer d'équilibrer artificiellement le corpus d'entraînement, il serait plus avisé d'adapter le modèle pour qu'il s'accommode de cette distribution inégale des étiquettes. Enfin, nous devons recon sidérer la nature des données utilisées lors de l'entraînement du modèle. Les données contenues dans le corpus d'entraînement (CoarseDEFT et ses versions successives), qui servent à l'apprentissage du modèle, se distinguent de celles du corpus de référence utilisé pour les prédictions et les évaluations. Le modèle présente des limitations dans le transfert des connaissances du corpus d'entraînement vers le corpus INTERCITÉS.

Malgré une sensibilité parfois limitée pour identifier l'intégralité des vrais positifs, les résultats permettent de dégager des tendances représentatives de la perception qu'ont les clients et les non- clients de l'offre INTERCITÉS et répondent aux besoins spécifiques de la la Direction Marketing. Pour aller au-delà de la classification multi-étiquettes des émotions, l'Analyse de Sentiments Basée sur les Aspects (ABSA) (Pontiki et al., 2016) est une piste de recherche envisagée afin de relier les émotions aux thématiques évoquées dans les tweets. Cela permettra d'analyser plus précisément la manière dont sont perçus les différents aspects spécifiques de l'offre INTERCITÉS.
Références

ASLAM N., RUSTAM F., LEE E., WASHINGTON P. B. & ASHRAF I. (2022). Sentiment analysis and emotion detection on cryptocurrency related tweets using ensemble lstm-gru model. *Ieee Access*, **10**, 39313-39324. DOI: 10.1109/access.2022.3165621.

BAZIOTIS C., ATHANASIOU N., CHRONOPOULOU A., KOLOVOU A., PARASKEVOPOULOS G., ELLINAS N., NARAYANAN S. & POTAMIANOS A. (2018). Ntua-slp at semeval-2018 task 1 : Predicting affective content in tweets with deep attentive rnn s and transfer learning. *arXiv preprint arXiv : 1804.06658*. DOI : 10.18653/v1/s18-1037.

BLIVET A., DEGRUTÈRE S., GENDRON B., RENAULT A., SIOUFFI C., GAUDRAY-BOUJU V., CERISARA C., FLAMEIN H., GUIBON G., LABEAU M. et al. (2023). Participation de l'équipe ttgv à deft 2023 : Réponse automatique à des qcm issus d'examens en pharmacie. *Actes de CORIA-TALN 2023. Actes du Défi Fouille de Textes@ TALN2023*, p. 23-38.

CAMACHO-COLLADOS J., REZAEE K., RIAHI T., USHIO A., LOUREIRO D., ANTYPAS D., BOISSON J., ESPINOSA-ANKE L., LIU F., MARTÍNEZ-CÁMARA E. et al. (2022). Tweetnlp : Cutting-edge natural language processing for social media. *arXiv preprint arXiv:2206.14774*. DOI : 10.18653/v1/2022.emnlp-demos.5.

CHOWDHURY M. S. M. & PAL B. (2023). Bert-based emotion classification approach with analysis of covid-19 pandemic tweets. In *Applied Informatics for Industry 4.0*, p. 109-121. Chapman and Hall/CRC. DOI: 10.1201/9781003256069-10.

COHEN J. (1960). A coefficient of agreement for nominal scales. *Educational and psychological measurement*, **20**(1), 37–46. DOI: 10.1177/001316446002000104.

DEVLIN J., CHANG M.-W., LEE K. & TOUTANOVA K. (2018). Bert : Pre-training of deep bidirectional transformers for language understanding. *arXiv (Cornell University)*.

EKMAN P. (1992). An argument for basic emotions. *Cognition & emotion*, **6**(3-4), 169-200. DOI: 10.1080/02699939208411068.

ETIENNE A. (2023). *Analyse automatique des émotions dans les textes : contributions théoriques et applicatives dans le cadre de l'étude de la complexité des textes pour enfants*. Thèse de doctorat, Université de Nanterre-Paris X.

FRAISSE A. & PAROUBEK P. (2014). Toward a unifying model for opinion, sentiment and emotion information extraction. In *The 9th International Conference on Language Resources and Evaluation*, p. 3881-3886 : European Language Resources Association (ELRA).

GUIBON G., LABEAU M., FLAMEIN H., LEFEUVRE L. & CLAVEL C. (2021). Meta-learning for classifying previously unseen data source into previously unseen emotional categories. In *1st Workshop on Meta Learning and Its Applications to Natural Language Processing, ACL 2021*. DOI: 10.18653/v1/2021.metanlp-1.9.

HAMON T., FRAISSE A., PAROUBEK P., ZWEIGENBAUM P. & GROUIN C. (2015). Analyse des émotions, sentiments et opinions exprimés dans les tweets : présentation et résultats de l'édition 2015 du défi fouille de texte (deft). In *Actes de la 22e conférence sur le Traitement Automatique des Langues Naturelles (TALN 2015)*.

HUANG C., TRABELSI A. & ZAÏANE O. R. (2019). Ana at semeval-2019 task 3 : Contextual emotion detection in conversations through hierarchical lstms and bert. *arXiv preprint arXiv:1904.00132*.

JAVED N. & MURALIDHARA B. (2022). Emotions during covid-19 : Lstm models for emotion detection in tweets. In *Proceedings of the 2nd International Conference on Recent Trends in Machine Learning, IoT, Smart Cities and Applications : ICMISC 2021*, p. 133-148 : Springer. DOI : 10.1007/978-981-16-6407-6_13.
KABIR M. Y. & MADRIA S. (2021). Emocov: Machine learning for emotion detection, analysis and visualization using covid-19 tweets. *Online Social Networks and Media*, **23**, 100135–100147.
DOI: 10.1016/j.osnem.2021.100135.

KIM E. & KLINGER R. (2018). Who feels what and why? annotation of a literature corpus with semantic roles of emotions. In *Proceedings of the 27th International Conference on Computational Linguistics*, p. 1345–1359 : Association for Computational Linguistics.

LANDIS J. R. & KOCH G. G. (1977). The measurement of observer agreement for categorical data. *Biometrics*, **33**(1), 159–174.

LINCKER E., GUINAUDEAU C., PONS O., DUPIRE J., BARBET I., HUDELOT C., MOUSSEAU V. & HURON C. (2023). Classification automatique de données déséquilibrées et bruitées : application aux exercices de manuels scolaires. In *18e Conférence en Recherche d'Information et Applications* \ 16e Rencontres Jeunes Chercheurs en RI \ 30e Conférence sur le Traitement Automatique des Langues Naturelles \ 25e Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues, p. 121–130 : ATALA.

LIU Z., YANG K., ZHANG T., XIE Q., YU Z. & ANANIADOU S. (2024). Emollms: A series of emotional large language models and annotation tools for comprehensive affective analysis. *arXiv preprint arXiv:2401.08508*. DOI: 10.48550/arxiv.2401.08508.

LORA S. K., SAKIB N., ANTORA S. A. & JAHAN N. (2020). A comparative study to detect emotions from tweets analyzing machine learning and deep learning techniques. volume 12, p. 6–12.

LUO L. & WANG Y. (2019). Emotionx-hsu : Adopting pre-trained bert for emotion classification.
*arXiv preprint arXiv:1907.09669*.

MARTIN L., MULLER B., SUÁREZ P. J. O., DUPONT Y., ROMARY L., DE LA CLERGERIE É. V.,
SEDDAH D. & SAGOT B. (2020). Camembert : a tasty french language model. *arXiv preprint*
*arXiv:1911.03894*. DOI: 10.18653/v1/2020.acl-main.645.

MOHAMMAD S., BRAVO-MARQUEZ F., SALAMEH M. & KIRITCHENKO S. (2018). Semeval-2018 task 1 : Affect in tweets. In *Proceedings of the 12th international workshop on semantic evaluation*, p. 1–17. DOI: 10.18653/v1/s18-1001.

MOHAMMAD S. M. & TURNEY P. D. (2013). Crowdsourcing a word–emotion association lexicon.
*Computational intelligence*, **29**(3), 436–465.

PAVEAU M.-A. (2017). *L'analyse du discours numérique. Dictionnaire des formes et des pratiques*.
Hermann.

PLUTCHIK R. (1980). A general psychoevolutionary theory of emotion. In *Theories of emotion*, p. 3–33. Elsevier. DOI: 10.1016/b978-0-12-558701-3.50007-7.

PONTIKI M., GALANIS D., PAPAGEORGIOU H., ANDROUTSOPOULOS I., MANANDHAR S., AL-SMADI M., AL-AYYOUB M., ZHAO Y., QIN B., DE CLERCQ O. et al. (2016). Semeval-2016 task 5 : Aspect based sentiment analysis. In *ProWorkshop on Semantic Evaluation (SemEval-2016)*, p. 19–30 : Association for Computational Linguistics. DOI: 10.18653/v1/s16-1002.

RABEYA T., FERDOUS S., ALI H. S. & CHAKRABORTY N. R. (2017). A survey on emotion detection : A lexicon based backtracking approach for detecting emotion from bengali text. In *20th international conference of computer and information technology (ICCIT)*, p. 1–7 : IEEE. DOI : 10.1109/iccitechn.2017.8281855.

ROSENTHAL S., FARRA N. & NAKOV P. (2019). Semeval-2017 task 4 : Sentiment analysis in twitter. *arXiv preprint arXiv:1912.00741*. DOI: 10.18653/v1/s17-2088.

STRAPPARAVA C., VALITUTTI A. et al. (2004). Wordnet affect : an affective extension of wordnet.
In *Lrec*, volume 4, p. 1083–1086 : Lisbon, Portugal.
VASWANI A., SHAZEER N., PARMAR N., USZKOREIT J., JONES L., GOMEZ A. N., KAISER L. & POLOSUKHIN I. (2017). Attention Is All You Need. arXiv:1706.03762 [cs].

WANG X., LI X., YIN Z., WU Y. & LIU J. (2023). Emotional intelligence of large language models. *Journal of Pacific Rim Psychology*. DOI: 10.1177/18344909231213958.

YU J., MARUJO L., JIANG J., KARUTURI P. & BRENDEL W. (2018). Improving multi-label emotion classification via sentiment classification with dual attention transfer network. DOI: 10.18653/v1/d18-1137.
## A Enrichissement du corpus d'entraînement

<table><caption>TABLE 7 – Évolution des données du modèle au cours des différentes itérations de l'entraînement</caption><thead><tr><th>Corpus</th><th>Données</th><th>uni-étiquette</th><th>multi-étiquettes</th><th>Neutre</th><th>Joie</th><th>Tristesse</th><th>Colère</th><th>Angoisse</th><th>Dégoût</th></tr></thead><tbody><tr><td rowspan="2">CoarseDEFT</td><td>Train : 3002 tweets</td><td>3002</td><td>0</td><td>352</td><td>1564</td><td>47</td><td>774</td><td>255</td><td>10</td></tr><tr><td>Val : 659 tweets</td><td>659</td><td>0</td><td>73</td><td>347</td><td>9</td><td>170</td><td>57</td><td>3</td></tr><tr><td rowspan="2">CoarseDEFT-V2</td><td>Train : 3002 + 700 tweets d'Intercités</td><td>3484</td><td>218</td><td>484</td><td>1685</td><td>64</td><td>1042</td><td>404</td><td>21</td></tr><tr><td>Val : 659 tweets</td><td>659</td><td>0</td><td>73</td><td>347</td><td>9</td><td>170</td><td>57</td><td>3</td></tr><tr><td rowspan="2">CoarseDEFT-V3</td><td>Train : 3002 + 700 tweets d'Intercité + 500 tweets «tristesse» + 500 tweets «dégoût»</td><td>3977</td><td>725</td><td>516</td><td>1781</td><td>190</td><td>1127</td><td>344</td><td>115</td></tr><tr><td>Val : 659 + 100 tweets «tristesse» + 100 tweets «dégoût»</td><td>749</td><td>110</td><td>93</td><td>349</td><td>19</td><td>214</td><td>66</td><td>90</td></tr><tr><td rowspan="2">CoarseDEFT-V4</td><td>Train : 3002 + 1050 tweets d'Intercité + 800 tweets «tristesse» + 500 tweets «dégoût»</td><td>4553</td><td>799</td><td>599</td><td>1786</td><td>343</td><td>1275</td><td>435</td><td>115</td></tr><tr><td>Val : 659 + 100 tweets «tristesse» + 100 tweets «dégoût»</td><td>749</td><td>110</td><td>93</td><td>349</td><td>19</td><td>214</td><td>66</td><td>90</td></tr></tbody></table>
## B Analyse des résultats par émotion

<table><caption>TABLE 8 – Évaluation de la classification par étiquette</caption><thead><tr><th rowspan="2">Corpus</th><th colspan="6">F1 score par émotion</th><th rowspan="2">F1-Micro</th><th rowspan="2">F1-Macro</th></tr><tr><th>Neutre</th><th>Joie</th><th>Tristesse</th><th>Colère</th><th>Angoisse</th><th>Dégoût</th></tr></thead><tbody><tr><td>CoarseDEFT</td><td>0.31</td><td>0.47</td><td>0</td><td>0.55</td><td>0</td><td>0</td><td>0.39</td><td>0.22</td></tr><tr><td>CoarseDEFT-V2</td><td>0.43</td><td>0.65</td><td>0</td><td>0.68</td><td>0.40</td><td>0</td><td>0.51</td><td>0.36</td></tr><tr><td>CoarseDEFT-V3</td><td>0.5</td><td>0.54</td><td>0</td><td>0.62</td><td>0.45</td><td>0.50</td><td>0.50</td><td>0.43</td></tr><tr><td>CoarseDEFT-V4</td><td>0.52</td><td>0.6</td><td>0</td><td>0.6</td><td>0.61</td><td>0.27</td><td>0.55</td><td>0.44</td></tr></tbody></table>
# Approche multitâche pour l'amélioration de la fiabilité des systèmes de résumé automatique de conversation

Eunice Akani¹, ² Benoit Favre¹ Frederic Bechet¹ Romain Gemignani²

(1) Aix-Marseille Univ, CNRS, LIS, Marseille, France

(2) Enedis, Marseille, France

prenom.nom@lis-lab.fr, romain.gemignani@enedis.fr

## RÉSUMÉ

Le résumé de dialogue consiste à générer un résumé bref et cohérent d'une conversation ou d'un dialogue entre deux ou plusieurs locuteurs. Même si les modèles de langue les plus récents ont permis des progrès remarquables dans ce domaine, générer un résumé fidèle au dialogue de départ reste un défi car cela nécessite de prendre en compte l'interaction entre les locuteurs pour conserver les informations les plus pertinentes du dialogue. Nous nous plaçons dans le cadre des dialogues humain-humain avec but. Ce cadre nous permet d'intégrer des informations relatives à la tâche dans le cadre du résumé de dialogue afin d'aider le système à générer des résumés plus fidèles sémantiquement. Nous évaluons dans cette étude des approches multitâches permettant de lier la tâche de résumé à des tâches de compréhension du langage comme la détection de motifs d'appels. Les informations liées à la tâche nous permettent également de proposer des nouvelles méthodes de sélection de résumés basées sur l'analyse sémantique du dialogue ainsi que des métriques d'évaluation basées également sur cette même analyse. Nous avons testé ces méthodes sur DECODA, un corpus français de dialogue collecté dans le centre d'appel de la RATP entre des usagers et des téléconseillers. Nous montrons que l'ajout d'informations liées à la tâche augmente la fiabilité des résumés générés.

## ABSTRACT

### Multitask approaches for improving reliability in goal-oriented dialogue summarization

Dialogue summarization consists of generating a brief and coherent summary of a conversation or dialogue between two or more speakers. Although the most recent language models have led to remarkable progress in this field, generating a summary faithful to the original dialogue remains a challenge because it requires taking into account the interaction between the speakers to retain the most relevant information from the dialogue. In this study we will consider human-human goal-oriented dialogues. This framework allows us to integrate task-related information into the dialogue summary framework to assist the system in generating more semantically faithful summaries. In this study, we evaluate multitask approaches that link the summary task to language comprehension tasks such as calltype classification. Task-related information also enables us to propose new methods of summary selection based on semantic analysis of the dialogue as well as semantic-based evaluation metrics. We tested these methods on DECODA, a French dialogue corpus collected in the RATP call center between users and teleadvisors. We demonstrate that the addition of task-related information increases the reliability of the generated summaries.

**MOTS-CLÉS** : Résumé Dialogue orienté tâche, compréhension de la parole, approches multitâches.

**KEYWORDS**: Task-oriented dialog summarization, spoken language understanding, multitask approaches.

<figure><img src="image_106.png" /></figure>
# 1 Introduction

La tâche de résumé automatique est une sous-tâche de la génération automatique de texte qui consiste à condenser un contenu pour en avoir les informations essentielles. Il existe deux types de résumés automatiques : le résumé par extraction qui consiste à extraire les informations importantes, les agencer pour en faire un résumé et le résumé par abstraction qui consiste à résumer un texte en employant de nouveaux termes ou des paraphrases. Bien que les systèmes pour le résumé par abstraction aient une meilleure représentation syntaxique et une bonne compréhension sémantique, un problème majeur demeure. Il s'agit de la fidélité du résumé généré par rapport au document source. En effet, les systèmes de l'état-de-l'art basés sur les modèles de langue pré-entraînés génèrent des résumés qui peuvent contenir des informations erronées n'étant pas présentes dans le document original (souvent appelées hallucinations) (Maynez et al., 2020).

Le résumé de conversation, une extension du résumé automatique de texte sur les interactions orales ou écrites, n'échappe pas à ce problème majeur. En effet, le style du discours spontané des transcriptions ne correspond pas au style attendu des résumés. Ce qui implique donc l'utilisation d'approches abstractives qui sont significativement affectées par ces hallucinations. De plus, résumer une conversation implique de comprendre les interactions entre les participants afin de ne pas faire de contresens sur son contenu.

Une étude menée par Cao et al. (2018) révèle que 30% des résumés générés par divers systèmes de résumé de texte contenaient des informations erronées par rapport au document original, qualifiées d'« hallucination » par Maynez et al. (2020). Plusieurs approches ont été proposées pour évaluer la fidélité des résumés générés, telles que l'implication textuelle (Falke et al., 2019; Maynez et al., 2020; Luo et al., 2023), la vérification des questions dérivées d'un résumé (Durmus et al., 2020; Fabbri et al., 2022), et l'analyse des entités nommées absentes dans la source (Nan et al., 2021; Ji et al., 2023). Pour les résumés de dialogues, les études sur l'hallucination demeurent moins nombreuses que pour les résumés de documents textuels. Wang et al. (2022) a constaté que 35% des résumés du jeu de données SAMSum (Gliwa et al., 2019) ne sont pas cohérents vis-à-vis des dialogues sources. Tang et al. (2022) ont classé huit types d'erreurs factuelles dans les résumés de dialogue, cinq étant spécifiques à ceux-ci, tandis que Wang et al. (2022) en ont identifié six. Ils ont proposé un schéma d'évaluation au niveau du modèle pour évaluer la fidélité. Ils ont utilisé un modèle de résumé basé sur des probabilités de génération conditionnelles pour différencier les résumés positifs des résumés négatifs.

Le résumé de dialogue, une tâche récente, englobe divers types de conversations, notamment les résumés de réunions introduits en premier par des corpus comme AMI/ICSI (Carletta et al., 2005; Janin et al., 2003). Des approches neuronales ont été appliquées à ces corpus, mais leur efficacité est limitée par la structure des dialogues et la diversité des données d'entrée, incluant des conversations de service à la clientèle, des discussions informelles et techniques. Ainsi, des méthodes utilisant des informations auxiliaires, telles que les actes de dialogue (Goo & Chen, 2018) ou la terminologie du domaine (Koay et al., 2020), ont été proposées. Des jeux de données plus récents, comme SAMSum (Gliwa et al., 2019), offrent de nouveaux défis, notamment la modélisation des participants dans les dialogues.

Une tâche récente dans le domaine du résumé de conversation est le résumé de dialogue orienté tâche. Le dialogue orienté tâche fait référence à un type de conversation dont l'objectif principal est d'accomplir une tâche ou un objectif spécifique. Ces dialogues sont typiques des interactions avec un service clientèle, une assistance technique et d'autres scénarios similaires. Plusieurs corpus ont été
proposés pour la tâche entre autre TODSUM (Zhao et al., 2021), DECODA (Bechet et al., 2012).

Dans un dialogue orienté tâche, les participants interagissent spontanément pour résoudre un problème. Chacun joue un rôle spécifique, utilisant un langage naturel avec des hésitations. Les objectifs des participants, les procédures, entités nommées, etc. sont donc cruciaux pour caractériser l'objectif du dialogue. Ainsi, les résumés doivent refléter ces aspects pour rester fidèles à la conversation.

Dans ce papier, nous proposons d'évaluer et d'améliorer la fidélité du résumé de dialogue en utilisant des informations spécifiques à la tâche telle que le motif d'appel. Nous nous concentrons sur les centres d'appels et nous nous appuyons sur le corpus DECODA (Bechet et al., 2012), qui est l'un des rares corpus de dialogue parlé humain-humain à grande échelle, enregistré dans des centres d'appels (dans des conditions réelles), avec des annotations en motif d'appel et d'entités nommées spécifiques au domaine. A notre connaissance, il n'y a pas de corpus de parole en anglais plus volumineux contenant ce type d'interactions (dialogue humain-humain avec but) annotés sémantiquement et possédant des résumés annotés.

Nos contributions sont les suivantes :

- Nous proposons d'utiliser des informations spécifiques à la tâche pour améliorer la fiabilité des modèles de résumé automatique en comparant plusieurs méthodes multitâches.

- Nous introduisons une mesure basée sur la prédiction de la distribution des motifs d'appel permettant de sélectionner des résumés à partir de critères sémantiques.

- Nous proposons une évaluation montrant l'amélioration de la qualité des résumés sur le corpus DECODA.

## 2 Guidage de la génération de résumés par les informations sémantiques

Dans ce chapitre, nous décrivons plusieurs méthodes permettant d'intégrer des informations spécifiques à la tâche, notamment les motifs d'appel et les entités nommées du domaine, pour la génération de résumés.

**Informations sémantiques liées à la tâche** Le résumé de la conversation orientée tâche implique plusieurs échanges portant sur des informations spécifiques ainsi que des instructions relatives à la tâche que les participants cherchent à accomplir. Les informations dans la conversation dépendent ainsi de l'objectif à atteindre. Le type de représentation sémantique permettant d'encoder ces informations a été particulièrement étudié dans le cadre du dialogue humain-machine avec les modèles de Compréhension Automatique de la Parole (Spoken Language Understanding) développés pour des tâches de réservation de transport (ex : corpus ATIS) ou encore de restaurants ou hotels (ex : corpus MEDIA). Dans ce type d'étude on défini généralement 3 niveaux (Lee et al., 2018) sémantiques :

- **domaine** : le domaine représente le cadre sémantique dans lequel se déroule le dialogue. Par exemple la réservation de billets d'avion pour le corpus ATIS. Dans notre étude il s'agit du domaine des transports publics dans Paris pour le corpus DECODA.

- **intention** : l'intention représente le type de requête pour un système de communication humain-machine, par exemple une confirmation, une demande de renseignement, etc. Elle est le plus souvent associée à un tour de parole, mais dans le corpus DECODA les étiquettes d'intention sont mises au niveau de l'ensemble du dialogue. Elles correspondent aux motifs
d'appels tels que *demande d'itinéraire* ou *réclamation objet perdu*.

— **paires concepts/valeurs** : ces paires correspondent aux arguments des relations sémantiques exprimées dans les intentions, comme par exemple la destination pour une demande d'itinéraire. Dans le corpus DECODA les entités nommées du domaine des transports parisiens sont annotées dans le corpus.

Dans cette étude, nous explorons comment introduire ces informations dans le processus de génération de résumés, comment elles peuvent être utilisées pour créer une mesure d'évaluation de la fidélité du résumé et comment leur utilisation influence la fidélité des résumés.

**Approches pipeline et multi-tâches pour le résumé de conversation avec but** Les informations spécifiques à une tâche ne sont pas directement disponibles dans les enregistrements ou les transcriptions de conversations, elles doivent donc être déduites. Nous pouvons, soit exploiter un système distinct pour prédire les catégories correspondantes et les utiliser comme entrée du système de résumé automatique, soit laisser le système les apprendre dans le cadre d'une supervision multitâche. Pour le moment nous nous sommes concentré sur la prédiction du motif d'appel à travers ces deux approches.

Soit *C* la conversation en entrée, *R* le résumé généré et *M* le motif d'appel. Nous considérons les deux méthodes suivantes :

1. **Multitache$_X$ : Motif d'appel puis synopsis** : De manière générale, il s'agit de faire générer au modèle de langue une séquence composée de l'information sémantique $X$ suivi le résumé. $\{X\}, R = \text{résumé} \circ \text{sémantique} \, C$. Pour notre cas particulier, nous avons considéré le motif d'appel. On a donc : $\{M\}, R = \text{résumé} \circ \text{sémantique} \, (C)$.

2. **Pipeline$_X$** : Il s'agit de conditionner la génération du résumé par une information sémantique $X$. On a donc $R = \text{résumé}(X, \text{information-sémantique}(M))$. Ici nous utilisons le motif d'appel comme information sémantique. Ainsi on obtient : $R = \text{summary}(C, \text{information-sémantique}(M))$. Ce motif en entrée peut être issu des motifs de référence (expérience *oracle*) ou encore d'un classifieur en motif d'appel.

Dans nos expériences un modèle de langue a été affiné sur une tâche de résumé automatique correspondant à chaque scénario. En complément de l'utilisation des informations sémantiques directement dans le processus de génération de résumé, nous proposons également de les utiliser en sortie du système de génération afin de sélectionner le résumé le plus fiable sémantiquement selon nos modèles.

## 3 Sélection de résumés sur des critères sémantiques

Il est possible de faire varier certains paramètres dans les processus de génération de texte par modèles de langue afin d'obtenir plusieurs sorties pour une même entrée. Dans cette étude, nous avons généré plusieurs résumés en utilisant 4 méthodes d'échantillonnage différentes pour sélectionner le prochain token comme dans l'article Akani et al., 2023 : la recherche de type *beam-search* qui conserve les n-meilleurs chemins de probabilité les plus élevés à chaque étape ; l'échantillonnage de température qui consiste à redimensionner les logs avant d'appliquer la fonction softmax ; l'échantillonnage Top-K (Fan et al., 2018) qui ne conserve que les *K* mots suivants les plus probables et redistribue la probabilité parmi ces *K* mots ; et l'échantillonnage Top-P (Holtzman et al., 2020) qui consiste, étant donné une probabilité *p*, à prendre le plus petit ensemble possible de mots suivants dont la probabilité cumulative dépasse une masse de probabilité donnée et redistribue la probabilité parmi eux.
A partir de cet ensemble de résumés possibles, nous proposons deux méthodes de sélection basées sur les informations sémantiques liées à la tâche, l'une utilisant le motif d'appel et l'autre les entités nommées liées à la tâche.

**Sélection de résumés basés sur la distribution des motifs d'appel.** Le motif d'appel d'une conversation peut être vu comme une signature sémantique de l'objectif visé par la conversation. Ainsi, pour un résumé généré à partir d'une conversation, préserver le motif d'appel signifie préserver les caractéristiques sémantiques les plus importantes de cette conversation. Nous avons émis l'hypothèse qu'un résumé généré produisant un motif d'appel différent du motif d'appel de référence de la conversation contiendrait davantage d'informations incorrectes.

Pour utiliser ce critère pour choisir un résumé parmi un ensemble d'hypothèses, il est possible d'entraîner un classifieur de motifs d'appel pour prédire, à partir d'un résumé généré, son motif d'appel et de le comparer au motif d'appel qui pourrait être prédit par un autre classifieur sur la conversation entière.

Ici se pose un problème, certaines conversations peuvent avoir plusieurs motifs d'appel. En effet, un locuteur peut appeler pour une raison particulière et faire une autre demande dans la même conversation. Cela crée une frontière ambiguë entre les différents motifs d'appel. Pour traiter ce problème, nous proposons d'utiliser la divergence de Kullback-Leibler (KL) (Kullback & Leibler, 1951) sur la distribution de probabilité des motifs d'appel fournie par le classifieur, afin d'évaluer les résumés générés. La divergence de KL est une mesure de distance statistique qui quantifie la dissemblance entre deux distributions de probabilités. Elle évalue la différence entre une distribution de probabilité et une distribution de référence.

Ici, nous avons utilisé la divergence de KL pour évaluer un résumé généré sur la base de la distribution de probabilité sur les motifs d'appel. Cela est possible par l'utilisation de deux classifieurs en motifs d'appel : le premier appris sur les conversations entières et qui fournit une distribution de probabilités de motifs d'appels pour toute la conversation, et le second qui est appris directement sur les résumés de références et qui sera utilisé pour obtenir la distribution de motifs des résumés à sélectionner.

Pour 1...n les motifs d'appel, $G = \{g_1, ..., g_n\}$ la distribution de probabilité du résumé généré et $R = \{r_1, ..., r_n\}$ celle de la conversation entière, la KL divergence entre G et R se définit comme suit :

$$D_{\text{KL}}(G \parallel R) = \sum_{x \in \{1..n\}} G(x) \log \left( \frac{G(x)}{R(x)} \right) \quad (1)$$

Il est maintenant possible de sélectionner le résumé qui minimise la distance $D_{\text{KL}}$ parmi l'ensemble des résumés générés.

**Sélection de résumés basée sur le risque d'hallucination.** En complément du motif d'appel comme critère de sélection, nous utilisons le NEHR Akani et al., 2023 qui correspond au pourcentage d'entités dans le résumé qui ne se trouvent pas dans le document source (la conversation dans notre cas). Il permet d'évaluer le risque d'hallucination sur les entités nommées. Lorsqu'un système de génération de résumés produit une entité nommée qui n'appartient pas au document original, cela augmente le risque d'hallucination de la part de ce modèle. En effet il peut s'agir d'une entité valide,
variante d'une des entités du document, mais il peut également s'agir d'une erreur de sur-génération de la part du modèle Akani, 2023.

Pour augmenter la fidélité du résumé, nous proposons de combiner au critère sur les motifs d'appels $D_{KL}$, la minimisation explicite du risque NEHR. Nous appliquons la règle de sélection suivante du résumé : $\hat{s}$. Soit $H$ l'ensemble des résumés issus de l'échantillonnage pour la conversation $C$, $V$ l'ensemble des résumés avec le NEHR minimum $m$, $D_{KL}(x, C)$ la divergence KL entre la résumé généré $x$ et la conversation $C$, et $\hat{s}$ la sortie finale :

$$m = \min_{x \in H} NEHR(x) \quad \text{and} \quad V = \{x \in H | NEHR(x) = m\}$$

$$\hat{s} = \min_{x \in V} D_{KL}(x \parallel C) \qquad (2)$$

# 4 Expériences et Résultats

## 4.1 Contexte expérimental : Jeu de données et modèles utilisés

Le corpus DECODA Bechet et al., 2012 contient pour chaque transcription de conversation un résumé entre plusieurs agents du service client de la RATP et un usager. Ce sont des résumés très courts appelés synopsis. Les synopsis présentent les principaux évènements de la conversation tels que les objectifs des participants, le processus de résolution. Ce corpus se compose de 3 parties qui représentent les années d'enregistrement des conversations et ont des particularités (Voir Annexe A.1 pour la différence entre les deux parties). Pour notre part, nous n'avons utilisé que deux (DECODA-1, DECODA-3) des trois parties qui ont des synopsis associés créés et écrits par des annotateurs humains avec deux types de consignes. Tandis que les synopsis de DECODA-3 sont plus longs, écrits avec plus de détails, ceux de DECODA-1 sont synthétiques et écris en français abrégé. Le corpus a été aussi annoté en termes d'entités nommées spécifiques au domaine, avec un étiquetage morpho-syntaxique, avec des lemmes et des dépendances syntaxiques. Pour nos expériences, nous avons fusionné les deux parties. Les conversations issues du corpus DECODA couvrent une variété de motif d'appel notamment : *Information Trafic*, *Itinéraire*, *Objets perdus/trouvés*, *Abonnement*, *Horaires*, *Tickets* (Trione, 2014). La distribution de chaque motif d'appel est donné en Annexe A.2. De plus DECODA possède des entités nommées appartenant à une ontologie du domaine. On peut notamment citer *Produit*, *Transport*, *Horaire*, etc. Ces différentes annotations ainsi que le fait qu'il soit un corpus enregistré dans des conditions réelles ont motivé notre choix.

Dans le cadre de nos expériences, nous avons divisé le jeu de données en trois partitions (train pour l'entraînement des modèles, val pour le développement et test pour l'évaluation). Afin de s'assurer que chaque motif apparaît dans chaque partitions, une stratification des données en suivant le motif d'appel a été appliquée lors de la division. Nous avons calculé quelques statistiques sur les données et les avons consignées dans le tableau 1.

<table><caption>TABLE 1 – Distribution du jeu de données DECODA</caption><thead><tr><th>Stats</th><th>Train</th><th>Val.</th><th>Test</th></tr></thead><tbody><tr><td># examples</td><td>717</td><td>99</td><td>140</td></tr><tr><td># conv. mots</td><td>486.3</td><td>487.9</td><td>465.4</td></tr><tr><td># synopsis mots</td><td>28.8</td><td>30.3</td><td>29.5</td></tr><tr><td># conv. tokens</td><td>608.2</td><td>604.7</td><td>579.8</td></tr><tr><td># synopsis tokens</td><td>35.9</td><td>37.5</td><td>36.2</td></tr></tbody></table>

**Résumé automatique** Pour l'entraînement des systèmes pour le résumé automatique, nous avons utilisé BARThez (Kamal Eddine et al., 2021), un modèle séquence-à-séquence pré-entraîné sur la partie française de CommonCrawl, Wikipédia, NewsCrawl et d'autres corpus disponibles en français. Il a été introduit pour la
<table><caption>TABLE 2 – Un exemple issu du jeu de données DECODA</caption><tr><td>Conseiller : euh NNAAMMEE bonjour Appelant : oui bonjour je voulais savoir de la Madeleine quel bus je dois prendre pour me rendre au Saint-Philippe+du+Roule Conseiller : alors Madeleine Saint-Philippe+du+Roule Appelant : oui Conseiller : je recherche un instant Appelant : merci Conseiller : le cinquante-deux en direction du parc de Saint-Cloud Appelant : alors le cinquante-deux je le prends où ah+ben oui Appelant : d'accord Conseiller : Madeleine+Vignon Appelant : d'accord Appelant : donc cinquante-deux direction Porte+de+Saint-Cloud Conseiller : parc de Saint-Cloud Appelant : parc de Saint-Cloud et il descend à Saint-Philippe+du+Roule Conseiller : tout+à+fait Appelant : merci Appelant : au monsieur merci au+revoir Conseiller : bonne journée au+revoir</td><td>REFERENCE SUMMARY<br>Un appelant demande quel bus prendre pour se rendre de La Madeleine à Saint-Philippe-du-Roule. Le conseiller lui indique de prendre le bus 52 en direction du parc de Saint-Cloud, qui s'arrête à Saint-Philippe-du-Roule.<br><br>CT-syn REFERENCE SUMMARY<br>[MOTIF] ITNR [SUMMARY] Un appelant demande quel bus prendre pour se rendre de La Madeleine à Saint-Philippe-du-Roule. Le conseiller lui indique de prendre le bus 52 en direction du parc de Saint-Cloud, qui s'arrête à Saint-Philippe-du-Roule.</td></tr></table>

tâche de résumé automatique de texte. BARTHEZ est un modèle composé de couches de Transformers (Vaswani et al., 2017) et est basé sur l'architecture de BART (Lewis et al., 2020). Il existe deux versions de l'architecture BARTHEZ, une version de base et une large mBARTHEZ. Pour notre part, nous avons utilisé la version de base qui possède 6 couches d'encodeur et 6 de decodeur comme BART base. Pour l'entraînement des modèles, nous avons utilisé le modèle pré-entraîné fourni par les auteurs et disponible sur la librairie Transformers<fnref n="1" /> de Hugging Face.

Dans le tableau 1, nous avons consigné le nombre moyen de tokens de chaque conversation ainsi que chaque synopsis en utilisant le tokeniseur de BARTHEZ. En ce qui concerne les hyper-paramètres, nous avons utilisé un learning rate de $5 \times 10^{-5}$ pour l'optimiseur AdamW et avons fixé la taille maximale pour les conversations à 1024 et ceux des synopsis à 128. Chaque modèle a été entraîné sur 12 époques en ne sauvegardant que celle qui minimise la perte sur le jeu de validation. Nous avons modifié les synopsis du jeu de données en y ajoutant les motifs pour être dans les conditions pour entraîner le modèle Multitache$_M$. Un exemple d'illustration des modifications apportées au résumé de référence est dans le Tableau 2.

Pour le modèle Pipeline$_M$, les motifs associés à chaque conversation sont nécessaires en entrée, ce qui implique de les avoir préalablement. Nous avons utilisé un classifieur de motifs d'appel entraîné via une validation croisée (k-fold) pour prédire les motifs sur 25% des données non utilisées lors de l'entraînement initial (75%). Ce processus a été répété quatre fois pour obtenir les prédictions sur l'ensemble d'entraînement, puis utilisé pour l'entraînement du système de résumé automatique. Les motifs et les conversations ont été séparés par un marqueur afin d'aider le modèle à tenir compte des motifs lors de la prédiction des résumés.

**Classification des motifs d'appel** Nous avons entraîné un modèle CamBERT-base (Martin et al., 2020) pour la tâche de classification de séquences pour prédire les motifs d'appel. Pour ce faire, deux classifieurs ont été utilisés. L'un appliqué aux conversations *Conv-M-classif* et l'autre aux synopsis *Syn-M-classif*. Le classifieur *Conv-M-classif* prend en entrée la conversation, et prédit le motif d'appel. Ainsi, le nombre maximum de tokens pris en entrée est 512. Pour *Syn-M-classif*, on part du synopsis pour prédire le motif d'appel. La longueur maximale de l'entrée pour ce modèle est de 128. Chaque modèle a été entraîné sur 13 époques avec un batch size de 8. Le modèle ayant la loss minimale sur les données de validation a été conservé.

**Reconnaissance des entités nommées du domaine** DECODA possède 14 entités nommées spécifiques à un domaine, parmi lesquelles le numéro de téléphone, le prix, le type de produit, le type de transport, etc. Nous avons entraîné CamBERT-base (Martin et al., 2020) pour la tâche NER et avons obtenu un micro F1 et un macro F1 de 0,93 et 0,84 respectivement en utilisant la bibliothèque Seqeval<fnref n="2" />. Les entités détectées sont utilisées dans les métriques d'évaluation, telles que NEHR.

<footnote n="1">1. https://huggingface.co/moussaKam/barthez</footnote>

<footnote n="2">2. https://github.com/chakki-works/seqeval</footnote>
## 4.2 Résultats de l'évaluation

**Classification des motifs d'appel** Après avoir entraîné les deux modèles de classification en motifs d'appel, les résultats sont consignés dans le tableau 3. Les données étant déséquilibrées, nous avons calculé l'accuracy et le score F1 de chaque modèle. Le tableau 3 montre que la classification effectuée sur la conversation donne de meilleurs résultats que celle effectuée sur les synopsis. Ce résultat est probablement dû à la quantité d'informations supplémentaires disponibles dans la conversation qui révèlent la raison de l'appel. Le modèle Multitache<sub>M</sub> qui prédit les entités en même temps que le résumé donne des résultats significativement plus faibles que les classificateurs.

<table><caption>TABLE 3 – Classification des motifs d'appel en utilisant un classifieur sur les conversations (Conv-M-classif), les synopsis (Syn-M-classif) et le modèle Multitache<sub>M</sub> générant des motifs. F1 et W-F1 sont respectivement le F1 score en macro moyenne et celui en moyenne pondérée.</caption><thead><tr><th>Système</th><th>Acc.</th><th>F1</th><th>W-F1</th></tr></thead><tbody><tr><td>Conv-M-classif</td><td>86</td><td>65</td><td>86</td></tr><tr><td>Syn-M-classif</td><td>83</td><td>54</td><td>81</td></tr><tr><td>Multitache<sub>M</sub></td><td>79</td><td>50</td><td>76</td></tr></tbody></table>

**Résumé automatique basé sur les motifs d'appel** Dans la section 2, nous avons décrit le processus pour entraîner les différents modèles : Multitache<sub>M</sub>, Pipeline<sub>M</sub>. Multitache<sub>M</sub> est conçu pour une utilisation multitâche (génération du motif d'appel suivi du résumé). Il faut donc modifier les données en sortie du système pour les faire correspondre à la sortie attendue. Ainsi, nous avons ajouté le motif d'appel de référence au résumé pendant l'entraînement (voir Table 2). Pour Pipeline<sub>M</sub>, nous avons construit trois différents modèles qui se distinguent par le motif d'appel donné en entrée au côté de la conversation lors de l'entraînement et de la prédiction. Le premier est un système d'oracle (Pipeline<sub>M</sub> – oracle). En effet, en entrée du modèle, nous donnons le motif d'appel de référence, que ce soit pour l'entraînement ou pour le test. Le second est Pipeline<sub>M</sub> – oracle/pred; nous supposons avoir accès au motif d'appel de référence pendant la phase d'entraînement, mais pas pendant la phase de test.

Par conséquent, en utilisant le classifieur (Conv-M-classif), nous avons prédit les motifs d'appel pour chaque exemple du jeu de test. Ces prédictions ont ensuite été combinées à la conversation et transmises au modèle pour la génération de résumé. Pour le dernier modèle (Pipeline<sub>M</sub>), nous supposons que nous n'avons pas accès aux motifs d'appel de référence de chaque conversation pendant l'entraînement. Ainsi, nous avons donc dû les prédire. Pour la phase de test, nous avons procédé de la même manière que pour le modèle (Pipeline<sub>M</sub> – oracle/pred).

Nous avons comparé ces systèmes avec un modèle baseline qui génère un synopsis à partir de la conversation uniquement en entrée.

<table><caption>TABLE 4 – R1, R2, RL : ROUGE-Score des différents systèmes.</caption><thead><tr><th>System</th><th>R1</th><th>R2</th><th>RL</th></tr></thead><tbody><tr><td>Baseline</td><td>34.04</td><td>14.91</td><td>28.83</td></tr><tr><td>Multitache<sub>M</sub></td><td>33.59</td><td>14.23</td><td>28.42</td></tr><tr><td>Pipeline<sub>M</sub> – oracle</td><td>34.65</td><td>15.10</td><td>29.33</td></tr><tr><td>Pipeline<sub>M</sub> – oracle/pred</td><td>34.46</td><td>14.93</td><td>29.09</td></tr><tr><td>Pipeline<sub>M</sub></td><td>34.09</td><td>14.79</td><td>28.99</td></tr></tbody></table>

<table><caption>TABLE 5 – Évaluation manuelle : 1st - Nombre de fois (en pourcentage) où chaque système a été classé premier en termes de fidélité et d'informativité.</caption><thead><tr><th>Métrique</th><th>Système</th><th>1st</th></tr></thead><tbody><tr><td rowspan="3">Fidélité</td><td>Baseline</td><td>38.9</td></tr><tr><td>Multitache<sub>M</sub></td><td>16.7</td></tr><tr><td>Pipeline<sub>M</sub></td><td>44.4</td></tr><tr><td rowspan="3">Informativité</td><td>Baseline</td><td>33.3</td></tr><tr><td>Multitache<sub>M</sub></td><td>23.8</td></tr><tr><td>Pipeline<sub>M</sub></td><td>42.9</td></tr></tbody></table>

— Évaluation automatique Pour évaluer les différents systèmes, nous avons calculé ROUGE (Lin, 2004)
afin de tester la capacité du modèle à générer des n-grammes proches du résumé de référence. Le tableau 4 montre les résultats obtenus. Les différents systèmes donnent des résultats similaires en termes de ROUGE. Comme Zhou et al. (2022) montrent que les résumés générés qu’ils ont obtenus de DECODA contiennent des hallucinations, des omissions et des erreurs grammaticales, nous évaluons manuellement le niveau de fidélité des résumés.

— **Évaluation manuelle** Nous évaluons manuellement 30 résumés de systèmes en fonction de leur fidélité et de leur caractère informatif. L'idée est de choisir entre les trois systèmes les plus fidèles et les plus informatifs. Un système est dit fidèle à la conversation s'il ne contient aucune information la contredisant. Un système est informatif s'il couvre les informations les plus essentielles de la conversation. Ceci peut être mesuré en comparant le résumé d'un système avec le résumé de référence correspondant, qui devrait contenir les informations les plus essentielles de la conversation. Les résultats sont présentés dans le tableau 5. Nous observons que $Pipeline_M$ est plus souvent considéré comme le meilleur résultat, tant en termes de fidélité que d'informativité. Il est à noter que $Multitache_M$ est moins bon que la ligne de base, probablement en raison de la difficulté du système à générer des motifs d'appel.

## Sélection de résumé
Dans le but de maximiser la similarité en termes de motif d'appel entre le résumé prédit et la référence, nous avons généré une cohorte de résumés et effectué une sélection afin de minimiser la KL CONV. Nous n'avons utilisé que le modèle Baseline et le $Pipeline_M$ pour cette section. En moyenne 40 résumés ont été générés pour chaque système, et le meilleur en fonction de deux critères de sélection a été choisi. Le premier critère consiste à choisir le résumé présentant la divergence KL minimale entre la distribution de probabilité de la conversation et la distribution de probabilité du résumé généré (min $D_{KL}(G \parallel Conv)$). Le second critère est basé sur les équations 2 décrites dans la section 3. D'abord une sélection de l'ensemble des résumés ayant le NEHR minimum, puis, parmi eux, le résumé minimisant la min $D_{KL}(G \parallel Conv)$ (min NEHR + $D_{KL}(G \parallel Conv)$).

Pour l'évaluation des résumés sémantiquement, nous avons introduit quatre métriques basées sur les informations sémantiques de la conversation tels que le motif d'appel et les entités nommées.

— **CT-Acc** : Il s'agit de la mesure de l'accuracy du classifieur en motif d'appel appliqué aux résumés générés par rapport aux motifs de référence. Nous considérons que plus l'accuracy est haute, plus le résumé contient d'éléments cohérents avec le motif d'appel que le classifieur utilise pour prédire la bonne étiquette.

— **NE-R/NE-P/NE-F1** : Nan et al., 2021 a introduit des métriques qui comparent les entités nommées des résumés générés à ceux des résumés de référence. Basé sur leur metrique, nous mesurons la précision, le rappel et le F1 concernant les entités nommées détectées dans le résumé automatique par rapport aux entités dans le résumé de référence. La différence fondamentale avec leur proposition réside dans ce qui est considéré comme étant une entité nommée. Pour notre part, nous intégrons les quantités, les nombres, dans la définition des entités nommées et basons nos métriques sur les entités nommées du domaine à notre étude. Nous considérons que plus ces valeurs sont élevés, moins grand est le risque d'hallucination de la part du modèle.

Les métriques étant définies, nous nous attendons à ce que la minimisation de la divergence KL (min $D_{KL}(G \parallel Conv)$) augmente le **CT-Acc** et que le minimisation du NEHR augmente le rappel et la précision sur les entités nommées (NE-R et NE-P). Ainsi, la combinaison des deux métriques devrait nous permettre d'augmenter aussi bien les mesures sur les entités que l'accuracy sur les motifs d'appel.

Le tableau 6 présente les résultats obtenus après la sélection du résumé, tout d'abord selon le score ROUGE par rapport aux résumés de référence, puis par les mesures sémantiques définies précédemment.

Pour chaque modèle, nous indiquons également le score obtenu par le modèle sans sélection prenant juste la meilleure hypothèse (BEAM). Nous avons aussi rajouté le résumé qui permet d'avoir le NEHR minimin en suivant le papier Akani et al., 2023.

Le tableau 6 montrent de faibles variations en terme de score ROUGE entre les différents modèles. Par contre les scores sémantiques évoluent fortement : la minimisation explicite de la divergence sur les motifs d'appels augmentent très significativement la mesure **CT-Acc**, particulièrement pour le modèle $Pipeline_M$ et en combinant