où des données très représentatives (comme le jeu de test d'un jeu de données) des caractéristiques importantes du modèle sont disponibles, Therapy obtient des résultats légèrement moins bon que la méthode état-de-l'art SHAP, tout en restant compétitif avec LIME. Cependant, si on considère des cas d'usage plus réalistes dans lesquels les caractéristiques importantes ne sont pas explicitement données en entrée de la méthode d'explication, alors les performances de Therapy restent très bonnes et celles des autres méthodes s'effondrent (quand elles sont applicables). Ainsi, Therapy est un outil pertinent pour explorer le comportement d'un modèle lorsque la collecte des données sur lesquelles le modèle sera utilisée n'est pas possible ou très complexe.

## Remerciements

Ces travaux sont financés par l'Agence Nationale de la Recherche (ANR) dans le cadre de la convention de subvention ANR-19-CE23-0019-01 et par le réseau TAILOR (EU Horizon 2020 programme d'innovation et de recherche avec la convention de subvention 952215).

## Références

ABID A., FAROOQI M. & ZOU J. (2021). Persistent anti-muslim bias in large language models. In *AIES '21 : AAAI/ACM Conference on AI, Ethics, and Society, Virtual Event, USA, May 19-21, 2021*, p. 298-306 : ACM.

AMIN-NEJAD A., IVE J. & VELUPILLAI S. (2020). Exploring transformer text generation for medical dataset augmentation. In *Proceedings of the Twelfth Language Resources and Evaluation Conference*, p. 4699-4708, Marseille, France : European Language Resources Association.

ARASZKIEWICZ M., BENCH-CAPON T., FRANCESCONI E., LAURITSEN M. & ROTOLO A. (2022). Thirty years of artificial intelligence and law : overviews. *Artificial Intelligence and Law*.

ARRIETA A. B., RODRÍGUEZ N. D., SER J. D., BENNETOT A., TABIK S., BARBADO A., GARCÍA S., GIL-LOPEZ S., MOLINA D., BENJAMINS R., CHATILA R. & HERRERA F. (2020). Explainable artificial intelligence (XAI) : concepts, taxonomies, opportunities and challenges toward responsible AI. *Inf. Fusion, 58*, 82-115.

BAKHTIN A., DENG Y., GROSS S., OTT M., RANZATO M. & SZLAM A. (2021). Residual energy-based models for text. *Journal of Machine Learning Research, 22*(40), 1-41.

BODRIA F., GIANNOTTI F., GUIDOTTI R., NARETTO F., PEDRESCHI D. & RINZIVILLO S. (2021). Benchmarking and survey of explanation methods for black box models. *CoRR*.

BRAMHALL S., HORN H., TIEU M. & LOHIA N. (2020). QLIME-A : Quadratic Local Interpretable Model-Agnostic Explanation Approach. *SMU Data Science Rev, 3*.

BROWN T. B., MANN B., RYDER N., SUBBIAH M., KAPLAN J., DHARIWAL P., NEELAKANTAN A., SHYAM P., SASTRY G., ASKELL A., AGARWAL S., HERBERT-VOSS A., KRUEGER G., HENIGHAN T., CHILD R., RAMESH A., ZIEGLER D. M., WU J., WINTER C., HESSE C., CHEN M., SIGLER E., LITWIN M., GRAY S., CHESS B., CLARK J., BERNER C., MCCANDLISH S., RADFORD A., SUTSKEVER I. & AMODEI D. (2020). Language models are few-shot learners. In H. LAROCHELLE, M. RANZATO, R. HADSELL, M. BALCAN & H. LIN, Éds., *Advances in Neural Information Processing Systems 33 : Annual Conference on Neural Information Processing Systems 2020, NeurIPS 2020, December 6-12, 2020, virtual*.
BUCH V. H., AHMED I. & MARUTHAPPU M. (2018). Artificial intelligence in medicine : current trends and future possibilities. *Br. J. Gen. Pract.*, **68**(668), 143–144.

CHAFFIN A., CLAVEAU V. & KIJAK E. (2022). PPL-MCTS : constrained textual generation through discriminator-guided MCTS decoding. In M. CARPUAT, M. DE MARNEFFE & I. V. M. RUÍZ, Éds., *Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies, NAACL 2022, Seattle, WA, United States, July 10-15, 2022*, p. 2953–2967 : Association for Computational Linguistics. DOI : 10.18653/v1/2022.naacl-main.215.

CHEN X., CAI P., JIN P., WANG H., DAI X. & CHEN J. (2020). Adding a filter based on the discriminator to improve unconditional text generation. *arXiv preprint arXiv : 2004.02135*.

ELSHAWI R., SHERIF Y., AL-MALLAH M. & SAKR S. (2019). ILIME : Local and Global Interpretable Model-Agnostic Explainer of Black-Box Decision. In *ADBIS*.

ESTEVA A., KUPREL B., NOVOA R. A., KO J., SWETTER S. M., BLAU H. M. & THRUN S. (2017). Dermatologist-level classification of skin cancer with deep neural networks. *nature*, **542**(7639), 115–118.

GAUDEL R., GALÁRRAGA L., DELAUNAY J., ROZÉ L. & BHARGAVA V. (2022). s-LIME : Reconciling locality and fidelity in linear explanations. In *Advances in Intelligent Data Analysis XX - 20th International Symposium on Intelligent Data Analysis, IDA 2022, Rennes, France, April 20-22, 2022, Proceedings*, volume 13205 of *Lecture Notes in Computer Science*, p. 102–114 : Springer.

HOLTZMAN A., BUYS J., FORBES M., BOSSELUT A., GOLUB D. & CHOI Y. (2018). Learning to write with cooperative discriminators. In I. GUREVYCH & Y. MIYAO, Éds., *Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, ACL 2018, Melbourne, Australia, July 15-20, 2018, Volume 1 : Long Papers*, p. 1638–1649 : Association for Computational Linguistics. DOI : 10.18653/v1/P18-1152.

JACOVI A. (2023). Trends in explainable AI (XAI) literature. *CoRR*, abs/2301.05433. DOI : 10.48550/arXiv.2301.05433.

KARATZA P., DALAKLEIDI K., ATHANASIOU M. & NIKITA K. (2021). Interpretability methods of machine learning algorithms with applications in breast cancer diagnosis. In *2021 43rd Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC)*, p. 2310–2313. DOI : 10.1109/EMBC46164.2021.9630556.

LAMPRIER S., SCIALOM T., CHAFFIN A., CLAVEAU V., KIJAK E., STAIANO J. & PIWOWARSKI B. (2022). Generative cooperative networks for natural language generation. In K. CHAUDHURI, S. JEGELKA, L. SONG, C. SZEPESVÁRI, G. NIU & S. SABATO, Éds., *International Conference on Machine Learning, ICML 2022, 17-23 July 2022, Baltimore, Maryland, USA*, volume 162 of *Proceedings of Machine Learning Research*, p. 11891–11905 : PMLR.

LEBLOND R., ALAYRAC J., SIFRE L., PISLAR M., LESPIAU J., ANTONOGLOU I., SIMONYAN K. & VINYALS O. (2021). Machine translation decoding beyond beam search. In M. MOENS, X. HUANG, L. SPECIA & S. W. YIH, Éds., *Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, EMNLP 2021, Virtual Event / Punta Cana, Dominican Republic, 7-11 November, 2021*, p. 8410–8434 : Association for Computational Linguistics. DOI : 10.18653/v1/2021.emnlp-main.662.

LUCY L. & BAMMAN D. (2021). Gender and representation bias in GPT-3 generated stories. In *Proceedings of the Third Workshop on Narrative Understanding*, p. 48–55, Virtual : Association for Computational Linguistics. DOI : 10.18653/v1/2021.nuse-1.5.
LUNDBERG S. M. & LEE S. (2017). A unified approach to interpreting model predictions. In I. GUYON, U. VON LUXBURG, S. BENGIO, H. M. WALLACH, R. FERGUS, S. V. N. VISHWANATHAN & R. GARNETT, Éds., *Advances in Neural Information Processing Systems 30: Annual Conference on Neural Information Processing Systems 2017, December 4-9, 2017, Long Beach, CA*, p. 4765–4774.

MADAAN N., PADHI I., PANWAR N. & SAHA D. (2021). Generate your counterfactuals: Towards controlled counterfactual generation for text. In *Thirty-Fifth AAAI Conference on Artificial Intelligence, AAAI 2021, Thirty-Third Conference on Innovative Applications of Artificial Intelligence, IAAI 2021, The Eleventh Symposium on Educational Advances in Artificial Intelligence, EAAI 2021, Virtual Event, February 2-9, 2021*, p. 13516–13524 : AAAI Press.

MILLER T. (2019). Explanation in artificial intelligence: Insights from the social sciences. *Artif. Intell.*, **267**, 1–38. DOI: 10.1016/j.artint.2018.07.007.

PEDREGOSA F., VAROQUAUX G., GRAMFORT A., MICHEL V., THIRION B., GRISEL O., BLONDEL M., PRETTENHOFER P., WEISS R., DUBOURG V., VANDERPLAS J., PASSOS A., COURNAPEAU D., BRUCHER M., PERROT M. & DUCHESNAY E. (2011). Scikit-learn: Machine learning in Python. *Journal of Machine Learning Research*, **12**, 2825–2830.

PETSIUK V., DAS A. & SAENKO K. (2018). RISE: randomized input sampling for explanation of black-box models. In *British Machine Vision Conference 2018, BMVC 2018, Newcastle, UK, September 3-6, 2018*, p. 151 : BMVA Press.

RADFORD A., NARASIMHAN K., SALIMANS T. & SUTSKEVE I. (2018). Improving language understanding by generative pre-training.

RADFORD A., WU J., CHILD R., LUAN D., AMODEI D. & SUTSKEVER I. (2019). Language models are unsupervised multitask learners.

RIBEIRO M. T., SINGH S. & GUESTRIN C. (2016). "why should I trust you?": Explaining the predictions of any classifier. In B. KRISHNAPURAM, M. SHAH, A. J. SMOLA, C. C. AGGARWAL, D. SHEN & R. RASTOGI, Éds., *Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, San Francisco, CA, USA, August 13-17, 2016*, p. 1135–1144 : ACM. DOI: 10.1145/2939672.2939778.

ROBEER M., BEX F. & FEELDERS A. (2021). Generating realistic natural language counterfactuals. In *Findings of the Association for Computational Linguistics : EMNLP 2021, Virtual Event / Punta Cana, Dominican Republic, 16-20 November, 2021*, p. 3611–3625 : Association for Computational Linguistics.

ROSIN C. D. (2011). Multi-armed bandits with episode context. *Ann. Math. Artif. Intell.*, **61**(3), 203–230. DOI: 10.1007/s10472-011-9258-6.

S. PUNLA C., HTTPS://ORCID.ORG/ 0000-0002-1094-0018, CSPUNLA@BPSU.EDU.PH, C. FARRO R., HTTPS://ORCID.ORG/0000-0002-3571-2716, RCFARRO@BPSU.EDU.PH & BATAAN PENINSULA STATE UNIVERSITY DINALUPIHAN, BATAAN, PHILIPPINES (2022). Are we there yet? : An analysis of the competencies of BEED graduates of BPSU-DC. *International Multidisciplinary Research Journal*, **4**(3), 50–59.

SCIALOM T., DRAY P., LAMPRIER S., PIWOWARSKI B. & STAIANO J. (2020). Discriminative adversarial search for abstractive summarization. In *Proceedings of the 37th International Conference on Machine Learning, ICML 2020, 13-18 July 2020, Virtual Event*, volume 119 de *Proceedings of Machine Learning Research*, p. 8555–8564 : PMLR.
SCIALOM T., DRAY P., LAMPRIER S., PIWOWARSKI B. & STAIANO J. (2021a). To beam or not to beam: That is a question of cooperation for language gans. *Advances in neural information processing systems*.

SCIALOM T., DRAY P., STAIANO J., LAMPRIER S. & PIWOWARSKI B. (2021b). To beam or not to beam: That is a question of cooperation for language gans. In M. RANZATO, A. BEYGELZIMER, Y. N. DAUPHIN, P. LIANG & J. W. VAUGHAN, Éds., *Advances in Neural Information Processing Systems 34: Annual Conference on Neural Information Processing Systems 2021, NeurIPS 2021*, December 6-14, 2021, virtual, p. 26585–26597.

SHANKARANARAYANA S. M. & RUNJE D. (2019). ALIME: Autoencoder Based Approach for Local Interpretability. CoRR, abs/1909.02437.

SILVER D., SCHRITTWIESER J., SIMONYAN K., ANTONOGLOU I., HUANG A., GUEZ A., HU-
BERT T., BAKER L., LAI M., BOLTON A., CHEN Y., LILLICRAP T. P., HUI F., SIFRE L., VAN DEN
DRIESSCHE G., GRAEPEL T. & HASSABIS D. (2017). Mastering the game of go without human
knowledge. Nat., **550**(7676), 354–359. doi:10.1038/nature24270.

TAGARELLI A. & SIMERI A. (2022). Unsupervised law article mining based on deep pre-trained language representation models with application to the italian civil code. *Artificial Intelligence and Law, 30*(3), 417-473.

VISANI G., BAGLI E. & CHESANI F. (2020). Optilime : Optimized LIME explanations for diagnostic computer algorithms. In *Proceedings of the CIKM 2020 Workshops co-located with 29th ACM International Conference on Information and Knowledge Management (CIKM 2020)*, Galway, Ireland, October 19-23, 2020, volume 2699 of *CEUR Workshop Proceedings*: CEUR-WS.org.

WU T., RIBEIRO M. T., HEER J. & WELD D. S. (2021). Polyjuice : Generating counterfactuals for explaining, evaluating, and improving models. In C. ZONG, F. XIA, W. LI & R. NAVIGLI, Éds., *Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing, ACL/IJCNLP 2021*, (Volume 1: Long Papers), Virtual Event, August 1-6, 2021, p. 6707–6723 : Association for Computational Linguistics. doi: 10.18653/v1/2021.acl-long.523.

ZAFAR M. R. & KHAN N. M. (2019). DLIME : A Deterministic Local Interpretable Model-
Agnostic Explanations Approach for Computer-Aided Diagnosis Systems. CoRR, abs/1906.10263.

ZHANG S., ROLLER S., GOYAL N., ARTETXE M., CHEN M., CHEN S., DEWAN C., DIAB M. T., LI X., LIN X. V., MIHAYLOV T., OTT M., SHLEIFER S., SHUSTER K., SIMIG D., KOURA P. S., SRIDHAR A., WANG T. & ZETTLEMOYER L. (2022). OPT : open pre-trained transformer language models. CoRR, abs/2205.01068. doi:10.48550/arXiv.2205.01068.

ZHANG X., ZHAO J. J. & LECUN Y. (2015). Character-level convolutional networks for text classification. In C. CORTES, N. D. LAWRENCE, D. D. LEE, M. SUGIYAMA & R. GARNETT, Éds., *Advances in Neural Information Processing Systems 28: Annual Conference on Neural Information Processing Systems 2015, December 7-12, 2015, Montreal, Quebec, Canada*, p. 649–657.
# A Résultats qualitatifs

Nous donnons dans cette annexe, quelques exemples d'échantillons générés par Therapy pour les différentes classes des deux jeux de données étudiés ainsi que les 20 premiers top-mots retournés par la méthode. Veuillez noter que certains "mots" correspondent à des "sous-mots", dû à la décomposition en unigrammes (ve, ll, ...). L'approche proposée permet d'étudier l'impact de n-grammes, mais ceci n'étant pas possible avec LIME et SHAP (avec le code disponible), nous avons limité l'étude aux unigrammes.

## A.1 amazon_polarity, classe "positive"

Échantillons :

- "The amount of support they gave was amazing. I'm so happy with the game and it's a great way for me to play my favorite role! Also, I love that they're giving us a new character every week, which is awesome :) I think they've been pretty good lately too. It's nice when we see someone who really loves their team and has fun doing things"

- "The whole point of this post is to show people what a great job you've put in. You are doing an excellent job, I love this sub. Keep going. :) I'm so happy for all those people that have helped! It's amazing to be here and it was fun being the one that got the most attention on the other day :). Thank you so much <3 You're very welcome :) And yes... I am glad you enjoyed this sub - it is a great place"

Top-mots : great, love, good, ve, years, people, lot, friends, fun, life, world, works, easy, things, happy, heard, including, awesome, nice, family

## A.2 amazon_polarity, classe "negative"

Échantillons :

- "I guess you could say it has to be the most boring thing ever. It is a very boring experience I don't think they have any idea how to make money off this, so they will probably just do what you say they will if it doesn't work. They may try to sell you on the fact that it isn't working and then try and get you to buy back into it when they are done making money. If I was them, would they not want to pay me?"

- "It might be a bug, but it doesn't work on my phone Yeah that sucks! I was hoping the same thing happened. I don't think you can get a refund without having to buy a new one... You have no idea what they would be like without the warranty. They wouldn't know how much money is left if they didn't do it
properly or at all and they would probably just give it back
as soon as they found out it was defective (or something)"

Top-mots: don, money, bad, doesn, didn, idea, work, device, isn, thing, guess, wrong, back, buy, fact, time, phone, point, problem, thought

### A.3 ag_news, classe "world"

Échantillons :

- The world's most popular and sought after luxury home in Dubai, the Al Khaleel International Airport (ALI), is a city that is renowned as the hub of the Middle East and North Africa region. It is also the capital city of Abu Dhabi, United Arab Emirates with a population over 2 billion people and a GDP per person. Al-Khaliel airport is an important gateway into Europe to the north east and west of Europe, Asia, and Australia

- In the last month, the US government has been accused of using a "secret" military intelligence agency in Iraq and Afghanistan for spying on its allies, including Pakistan, Turkey, Iran, Russia, Syria, Sudan, Lebanon, Libya, Egypt, Nigeria...and even Saudi Arabia! According to a new report published today, the Pentagon is now investigating the alleged use by the US military Intelligence Community (IUC), which was created by President Bush after the 9/11 terror attack that killed over

Top-mots: people, man, country, city, party, killed, family, agree, wrong, general, children, sex, president, police, working, military, dead, missing, woman, days

### A.4 ag_news, classe "sport"

- I think it's pretty safe to assume that the guy has a lot of experience with the game. He played in the NHL, and he was a top 10 player on the team for most games last season (he had a goal in his final three playoff series), and he won a Stanley Cup as a rookie this past season (he finished third in the league in points scored, which was good for second in the league) and is still one of the best players in hockey at this stage in the year

- We've got to keep playing this game. This team needs to win games and we need to play the best basketball that's been in our league all season, every night. And it is time to get out there and do that.""The Warriors have won three straight games at home and are 2-0 against the NBA's best team on both sides of the ball this season with a record of 21-1 (13.7 points per game)
Top-mots : time, game, back, season, play, didn, team, guy, field, night, games, left, 12, title, won, saturday, playing, great, day, wasn't

## A.5 ag_news, classe "business"

Échantillons :

- I am still in shock after hearing of that. It's a pretty big deal. It happened last month. They are trying to get the money out of the company by selling their stock for profit so they can sell more shares and buy more shares at higher prices (which I think would have helped with the stock market) and it was reported as an ""investment fraud"" by the SEC which has been going on all over this Reddit for months, but no one ever seems to care much

- Biden is planning to spend millions of dollars to buy a new home, but the real estate market in America is still struggling with the housing shortage. The average house sale cost $1 billion and was up by nearly 50 percent from the previous year's price of about $800 million -- according to the Real Estate Board of New York (RBE). The RBE estimates that the average house sales prices are expected to rise 1,000 per month this fiscal year as the economy continues its rebound

Top-mots : money, buy, care, doesn't, things, deal, pay, worth, business, car, biggest, interested, month, trade, don, compagny, happened, store, kind, price

## A.6 ag_news, classe "sci/tech"

Échantillons :

- 2K Games' Dark Souls 3 is coming to PC, Mac & Linux in the near future. The new game will launch for free on PC, Mac & Linux and Xbox One, PlayStation 5 and Microsoft Windows, as well. It'll come out sometime during this week, with an official release expected soon thereafter, though we don't yet know what it will be called or where exactly you're getting the title. We also have some news from Sony that's not quite so surprising...

- In this new age of technology, the world needs more people. We have a lot in our hands. The internet can help us connect to others through video chat and online games.""The company will launch a mobile game called 'Gangster', where it plans to offer ""an interactive experience"" with its users, according to the company. The game has been developed for the Apple iPad and Android phones that use Apple TV, which also uses Google Chromecast, according to a release.
Top-mots : ve, ll, idea, phone, internet, make, system, video, online, life, understand, version, pc,
found, 13, thing, computer, lot, hard, issue, people, work, information, future
# Extraction de relations sémantiques et modèles de langue : pour une relation à double sens

Olivier Ferret

Université Paris-Saclay, CEA, List, F-91120, Palaiseau, France

olivier.ferret@cea.fr

## RÉSUMÉ

Les modèles de langue contextuels se sont rapidement imposés comme des outils essentiels du Traitement Automatique des Langues. Néanmoins, certains travaux ont montré que leurs capacités en termes de sémantique lexicale ne les distinguent pas vraiment sur ce plan de modèles plus anciens, comme les modèles statiques ou les modèles à base de comptes. Une des façons d'améliorer ces capacités est d'injecter dans les modèles contextuels des connaissances sémantiques. Dans cet article, nous proposons une méthode pour réaliser cette injection en nous appuyant sur des connaissances extraites automatiquement. Par ailleurs, nous proposons d'extraire de telles connaissances par deux voies différentes, l'une s'appuyant sur un modèle de langue statique, l'autre sur un modèle contextuel. Des évaluations réalisées pour l'anglais et focalisées sur la similarité sémantique ont montré l'intérêt de cette démarche, permettant d'enrichir sémantiquement un modèle de type BERT sans utilisation de ressources sémantiques externes.

## ABSTRACT

Extraction of semantic relations and language models : for a two-way relationship

Contextual language models have rapidly become essential tools in Natural Language Processing. Nevertheless, some works have shown that their capabilities in terms of lexical semantics do not really distinguish them from older models, such as static models or count-based models. One way to improve these capabilities is to inject semantic knowledge into contextual models. In this paper, we propose a method to perform this injection based on automatically extracted knowledge. Moreover, we propose to extract such knowledge in two different ways, one based on a static language model, the other on a contextual model. Evaluations performed for English and focused on semantic similarity have shown the interest of this approach, allowing to semantically enrich a BERT model without using external semantic resources.

**MOTS-CLÉS** : Extraction de relations sémantiques lexicales, modèles de langue, injection de connaissances dans les modèles de langue.

**KEYWORDS:** Extraction of lexical semantic relations, language models, knowledge injection in language models.

# 1 Introduction

Les modèles de langue, qu'ils soient à base de comptes ou prédictifs (Baroni et al., 2014), et parmi ces derniers, statiques ou contextuels (Naseem et al., 2021), entretiennent une relation double vis-à-vis des connaissances sémantiques. D'une part, du fait de leur forte inscription dans l'hypothèse

<figure><img src="image_39.png" /></figure>
distributionnelle (Harris, 1954), ils constituent un moyen utilisé de longue date pour extraire des relations sémantiques lexicales à partir de corpus (Lenci et al., 2022). D'autre part, beaucoup de travaux se sont attachés au problème de l'injection de connaissances sémantiques dans ces modèles afin de les enrichir (Wang et al., 2023), soit dans une perspective générale d'amélioration de la prise en compte des phénomènes sémantiques au niveau des tâches auxquels ils sont appliqués, soit pour leur adaptation à des domaines spécifiques.

L'utilisation des modèles de langue pour l'extraction de relations sémantiques est étroitement liée à la problématique de la similarité sémantique (Budanitsky & Hirst, 2006) et à celle des thésaurus distributionnels (Grefenstette, 1994; Lin, 1998; Curran & Moens, 2002). La façon la plus commune d'extraire des relations sémantiques à partir d'un modèle de langue est en effet de s'appuyer sur la capacité de ces modèles à évaluer la similarité des mots les uns par rapport aux autres sur une base distributionnelle, capacité utilisée par ailleurs pour l'évaluation intrinsèque de ces modèles (Faruqui et al., 2016). Appliquée au vocabulaire d'un corpus, cette capacité permet de construire un thésaurus distributionnel donnant pour chaque mot cible une liste de voisins distributionnels, ordonnés selon la valeur décroissante de leur similarité, évaluée par un modèle de langue, avec le mot cible. Les premiers voisins sont alors supposés les plus pertinents sur le plan sémantique, avec un biais de principe vers les relations paradigmatiques compte tenu de l'hypothèse distributionnelle sous-jacente aux modèles de langue. Compte tenu de ce principe général, la voie principale d'amélioration de cette extraction concerne la similarité sémantique utilisée pour construire les thésaurus distributionnels (Padró et al., 2014a,b). Néanmoins, quelques travaux se concentrent également sur une amélioration des thésaurus en tant que tels au moyen de méthodes de réordonnancement, soit à un niveau global (Claveau et al., 2014), soit plus localement au niveau de chaque entrée du thésaurus (Ferret, 2013a).

La question de l'injection de connaissances sémantiques dans les modèles de langue a fait quant à elle l'objet d'un grand nombre d'études, d'abord axées sur les modèles neuronaux statiques pour ensuite se focaliser sur les modèles contextuels. Malgré les différences existant entre ces deux grands types de modèles, ils partagent la même distinction entre les méthodes opérant lors de la construction du modèle et celles venant enrichir un modèle après sa construction. Les secondes ont clairement l'avantage du nombre dans le cas des modèles statiques, dans le prolongement de Faruqui et al. (2015), tandis que la situation est plus contrastée pour les modèles contextuels. En se limitant aux relations sémantiques lexicales<fnref n="1" />, on peut ainsi citer le modèle LIBERT de Lauscher et al. (2020) pour la première catégorie de méthodes et le modèle LexFit de Vulić et al. (2021) pour la seconde.

Le travail présenté dans cet article conjugue les deux dimensions esquissées ci-dessus : il enrichit un modèle neuronal contextuel de type BERT (Devlin et al., 2019) par l'injection de connaissances sémantiques lexicales mais contrairement aux travaux existants, ces connaissances sont elles-mêmes extraites automatiquement par le biais de l'exploitation de modèles de langue neuronaux. Plus précisément, les contributions de ce travail sont :

- la proposition et l'évaluation d'une nouvelle méthode d'extraction de relations sémantiques lexicales entre termes simples en appliquant une tâche de type « mot masqué » à des termes complexes par le biais d'un modèle contextuel;

- la comparaison et l'association des relations ainsi obtenues avec les relations extraites à partir d'un modèle de langue statique;

- l'évaluation de l'intérêt de l'utilisation de relations lexicales sémantiques extraites automatiquement pour enrichir un modèle de langue contextuel.

<footnote n="1">1. Pour les modèles contextuels, les travaux existants sont axés sur des graphes de connaissances représentant des connaissances factuelles plus que sur des relations sémantiques lexicales, la tendance étant inverse pour les modèles statiques.</footnote>
# 2 Méthodes

Dans ce qui suit, nous présentons d'abord à la section 2.1 deux méthodes d'extraction de relations sémantiques lexicales à partir de modèles neuronaux de types différents. Dans les deux cas, les relations extraites caractérisent une relation de similarité sémantique entre deux mots mais ne sont pas typées. L'union du produit de chacune de ces deux méthodes sert ensuite de base pour l'injection de connaissances sémantiques dans un modèle de type BERT, objet de la section 2.2.

## 2.1 Extraction de relations sémantiques

À partir d'un modèle neuronal statique. Pour extraire un premier ensemble de relations de similarité sémantique, nous transposons à un modèle neuronal statique le principe de sélection par réciprocité dans le graphe des *k* plus proches voisins (*k*-NN) présenté dans (Claveau et al., 2014) pour des modèles à base de comptes. Plus précisément, pour chaque mot cible, ses *k* plus proches mots voisins sont extraits en s'appuyant sur les similarités données par les plongements du modèle statique considéré, en l'occurrence un modèle Skip-gram (Mikolov et al., 2013a). Cette extraction est réalisée grâce à la bibliothèque Faiss (Johnson et al., 2021) en utilisant classiquement la mesure de similarité *cosinus*<fnref n="2" />. La relation de voisinage distributionnel n'est pas symétrique par nature mais nous utilisons précisément l'observation d'une telle symétrie comme critère de sélection des relations de voisinage les plus représentatives en termes de similarité sémantique. Plus précisément, une telle relation entre les mots *x* et *y* est sélectionnée si *y* se trouve parmi les *k* premiers voisins distributionnels de *x* et réciproquement, si *x* se trouve parmi les *k* premiers voisins distributionnels de *y*.

À partir d'un modèle neuronal contextuel. La transposition de l'approche précédente des modèles neuronaux statiques aux modèles neuronaux contextuels est bien moins directe que celle des modèles à base de comptes aux modèles neuronaux statiques, en particulier parce qu'un modèle contextuel produit par définition des représentations de mots en contexte et non des représentations génériques. Le problème plus généralement posé pour réaliser cette transposition est de pouvoir construire à partir d'un modèle de langue un graphe de voisinage entre mots, le voisinage étant fondé sur la notion de similarité sémantique. Pour un modèle contextuel, deux stratégies principales sont envisageables :

- la construction de plongements statiques de mots, ce qui permet de se ramener à la configuration évoquée au point précédent;

- l'exploitation des capacités d'un tel modèle pour la tâche de modélisation du langage à partir de laquelle il a été entraîné.

La première stratégie a déjà fait l'objet d'un certain nombre de travaux (Ethayarajh, 2019; Bommasani et al., 2020; Vulić et al., 2020; Ferret, 2022), avec deux variantes principales : l'une considère pour un mot cible un ensemble de phrases contenant ce mot et agrège, généralement par une moyenne, les représentations contextuelles produites par le modèle de langue pour ce mot dans chacune de ces phrases<fnref n="3" />. La seconde variante consiste à construire une représentation à partir d'une seule occurrence du mot cible en isolation, sans le contexte d'une phrase. Néanmoins, Ferret (2022) montre que du point de vue de la constitution d'un voisinage sémantique des mots, cette première stratégie ne donne pas de résultats notablement plus intéressants que des plongements statiques, avec tout de même un

<footnote n="2">2. Concrètement, nous utilisons l'index IndexFlatIP, conçu pour les recherches exactes fondées sur le produit scalaire.</footnote>

<footnote n="3">3. Les modèles de langue contextuels existants étant constitués de plusieurs couches, la représentation d'une occurrence de mot admet elle-même différentes variantes.</footnote>
avantage à la première variante par rapport à la seconde.

Nous avons donc opté pour la seconde stratégie. Nous nous concentrons ici sur les modèles de type BERT, qui reposent sur une tâche de modélisation du langage par mot masqué (*Masked Language Modeling*). Néanmoins, l'approche n'exclut pas pour autant l'utilisation de modèles auto-régressifs de type GPT (Radford et al., 2018). Le principe général s'inspire de l'utilisation de modèles de langue de type BERT pour la substitution lexicales sans utilisation de substituts de référence (Zhou et al., 2019). Néanmoins, au lieu de considérer des occurrences de mots dans le contexte de phrases, nous nous limitons à des occurrences de mots au sein de termes complexes. L'application de la substitution lexicales aux termes complexes se retrouve par ailleurs dans (Wang, 2022) mais dans le cadre de phrases et avec l'objectif différent de valider des relations sémantiques entre termes complexes à partir de relations connues entre termes simples. Dans notre cas, la restriction aux termes complexes, plus spécifiquement de nature nominale, se justifie en premier lieu par des raisons de coût de calcul, le traitement de termes par un modèle de type BERT étant nettement moins coûteux que celui de phrases 4. Par ailleurs, les expériences concernant la similarité distributionnelle avec les modèles à base de compte ou les modèles neuronaux statiques montrent de façon récurrente que la similarité sémantique, par opposition à la proximité sémantique, est mieux capturée par un contexte étroit que par un contexte large, ce qui justifie de se limiter à des termes complexes. L'analyse des schémas d'attention dans les modèles BERT (Clark et al., 2019) montre en outre que certaines de leurs têtes prennent en compte spécifiquement ces interactions à courte portée, laissant à penser que ce choix n'est pas trop limitant. Enfin, cette méthode permet également, dans le cadre de domaines de spécialité, d'exploiter non seulement des termes extraits de corpus mais également des termes issus de terminologies de référence pour ces domaines.

Concrètement, l'approche consiste à soumettre à un modèle BERT en mode prédiction de mot masqué un ensemble de termes dont l'un des constituants a été masqué et de recueillir les *k* premières prédictions du modèle, avec leur score, en excluant le constituant à prédire. Chaque terme ainsi soumis constitue une séquence autonome. L'hypothèse est que les prédictions obtenues correspondent à des voisins sémantiques du constituant cible. Appliqué à un grand nombre de termes complexes, cette méthode conduit à recueillir des voisins sémantiques pour un ensemble conséquent de mots simples, ce qui permet ensuite d'appliquer le principe de sélection par réciprocity dans le graphe des *k*-NN vu ci-dessus. Un point important de l'approche est le fait qu'un même mot peut se voir associer autant de listes de voisins que le nombre de fois où il apparaît comme mot masqué dans un terme complexe. Pour constituer une liste de voisins unique pour chaque mot, nous appliquons une méthode de fusion de listes, en l'occurrence la méthode CombSum (Fox & Shaw, 1994), en exploitant les scores de prédiction normalisés avec la méthode Zero-one (Lee, 1997; Wu et al., 2006). Outre le fait d'assurer l'unicité de la liste des voisins d'un mot, cette fusion a l'intérêt de mettre en avant les substituts prédits régulièrement avec les meilleurs scores et donc de placer aux premiers rangs les voisins supposés les plus proches du mot cible.

La prédiction d'un modèle BERT concernant un mot à substituer est clairement dépendante du contexte linguistique de ce mot. Dans notre cas, ce contexte est déterminé par plusieurs facteurs : la forme des termes complexes dans lesquels ces mots apparaissent, le rôle que les mots cibles y jouent et enfin, le contexte plus général dans lequel les termes complexes sont placés. Pour ce qui est du premier facteur, le travail présenté ayant été réalisé pour l'anglais avec des noms pour cibles, nous avons observé, en prenant comme base la version anglaise de Wikipédia, les termes composés

<footnote n="4">4. La complexité du mécanisme d'attention des transformeurs est quadratique en fonction de la longueur de la séquence considérée.</footnote>
incluant deux mots pleins, obtenant ainsi les trois structures de termes suivantes, la première étant environ deux fois plus fréquente que la deuxième, qui est elle-même environ vingt fois plus fréquente que la troisième<fnref n="5" /> :

<table><tr><td>ADJ</td><td>NOM</td><td>rough estimate, wearable device, motherless child</td></tr><tr><td>NOM</td><td>NOM</td><td>prison guard, science academy, college student</td></tr><tr><td>NOM</td><td>PREP</td><td>NOM lack of food, degree in education, return on investment</td></tr></table>

Concernant le dernier facteur, nous avons repris le schéma général proposé par Qiang et al. (2020) dans un contexte de simplification lexical et consistant à conditionner la structure contenant une unité à prédire par cette même structure sous sa forme complète. Dans notre cas de figure, si TERM désigne le terme utilisé comme contexte immédiat et TERM_MSK, ce même terme avec le « trou » correspondant au mot cible, la séquence, appelée amorce, soumise à un modèle de type BERT en mode prédiction de mot masqué est ainsi de la forme :

<table><tr><td>soit par exemple ici :</td><td>TERM . [SEP] TERM_MSK .<br/>ADJ NOM . [SEP] ADJ __ .</td></tr><tr><td>qui peut s'instancier en :</td><td>civil defence . [SEP] civil __ .<br/>black magic . [SEP] black __ .</td></tr></table>

où __ correspond à l'emplacement du mot cible masqué et [SEP] au marqueur de changement de séquence<fnref n="6" />. Cette amorce est appelée P0 dans ce qui suit.

Nous avons également testé les variantes suivantes, destinées en particulier à donner un contexte immédiat un peu plus large :

<table><tr><td>P1</td><td>this is a/an TERM . [SEP] this is a/an TERM_MSK .</td></tr><tr><td>P2</td><td>TERM . [SEP] this is a/an TERM_MSK .</td></tr><tr><td>P3</td><td>a/an TERM . [SEP] a/an TERM_MSK .</td></tr><tr><td>P4</td><td>TERM . [SEP] a/an TERM_MSK is a kind of TERM .</td></tr><tr><td>P5</td><td>TERM . [SEP] a/an TERM_MSK is a/an TERM .</td></tr><tr><td>P6</td><td>TERM . [SEP] a/an TERM is a/an TERM_MSK .</td></tr><tr><td>P7</td><td>TERM . [SEP] a/an TERM_MSK and a/an TERM .</td></tr><tr><td>P8</td><td>TERM . [SEP] a/an TERM_MSK or a/an TERM .</td></tr></table>

## 2.2 Injection de relations sémantiques dans un modèle contextuel

Pour l'injection des relations sémantiques extraites, nous nous sommes appuyés sur une approche contrastive relevant de l'apprentissage de métriques. Ce type d'approches a déjà été exploré pour réaliser cette tâche d'injection aussi bien pour les plongements statiques (Shah et al., 2020) que pour les modèles de langue contextuels (Vulić et al., 2021). Dans le cas présent, nous nous situons dans le cadre défini par Vulić et al. (2021), qui ont eux-mêmes réutilisé le cadre défini par Sentence-BERT pour la similarité de phrases (Reimers & Gurevych, 2019). Plus précisément, l'architecture de base

<footnote n="5">5. ADJ : adjectif; PREP : préposition.</footnote>

<footnote n="6">6. Nous avons repris l'utilisation de [SEP] de (Qiang et al., 2020) mais la nécessité de sa présence reste à tester, en particulier dans le cas de l'utilisation d'un modèle de type RoBERTa (Liu et al., 2019), qui n'est pas entraîné pour la tâche de prédiction de la phrase suivante.</footnote>
<figure><img src="image_40.png" /><figcaption>FIGURE 1: Architecture du modèle d'injection de relations sémantiques lexicales</figcaption></figure>

de Sentence-BERT est celle d'un réseau siamois exploitant un encodeur double (dual encoder) : deux phrases dont on connaît la similarité sont encodées séparément par le même modèle de type BERT, une représentation de chacune des deux phrases est construite via un processus de regroupement (pooling) et les deux représentations ainsi obtenues sont prises en compte par une fonction de coût visant à rapprocher, au travers du mécanisme de rétropropagation, les représentations des phrases connues comme similaires tandis qu'elles tendent à écarter les représentations des phrases connues comme dissemblables. Le modèle LexFit de Vulić et al. (2021) réutilise directement cette architecture en donnant en entrée des couples de mots plutôt que des couples de phrases et en utilisant des relations lexicales sémantiques comme référence en termes de similarité, comme illustré par la figure 1. De nombreuses fonctions de coût sont possibles pour mettre en œuvre le principe général ci-dessus, et donc indirectement injecter ces relations lexicales dans un modèle de langue de type BERT; mais au vu des expérimentations faites avec LexFit, nous avons choisi la Multiple Negatives Ranking (MNEG) loss (Henderson et al., 2019), qui se définit ainsi pour un lot (batch) de B paires de mots $(x_1, y_1), \dots, (x_B, y_B)$ telles que chaque paire $(x_i, y_i)$ est sous-tendue par une relation sémantique :

$$ \mathcal{L} = - \sum_{i=1}^{B} S(x_i, y_i) + \sum_{i=1}^{B} \log \sum_{j=1, j \neq i}^{B} e^{S(x_i, y_j)} \quad (1) $$

Cette fonction de coût permet d'adapter le modèle de langue de l'encodeur de façon à maximiser la similarité de chaque paire de mots $(x_i, y_i)$ du lot (1er terme de l'équation 1) tout en minimisant la similarité des $B-1$ paires $(x_i, y_j)$ (2nd terme de l'équation 1) formées chacune d'un $x_i$ et de l'y_j$ de toutes les autres paires du lot, ces $(x_i, y_j)$ étant considérées comme des exemples négatifs de similarité. $S(x_i, y_i)$ correspond à la fonction utilisée pour évaluer la similarité de la paire $(x_i, y_i)$.

# 3 Expérimentations

## 3.1 Cadre d'évaluation

Pour évaluer les résultats de notre processus d'injection de relations sémantiques lexicales dans un modèle de langue, nous avons choisi de tester les capacités du modèle cible en termes de similarité sémantique par le biais de plongements construits à partir de ce modèle. À la suite de Budanitsky &
Hirst (2006), nous distinguons la similarité sémantique, incarnée par les relations paradigmatiques (synonymie, hyperonymie...), de la proximité sémantique, que l'on retrouve dans les relations sémantiques de nature plus syntagmatique (comme les relations de prédication par exemple). Notre modèle cible est un modèle de type BERT, dans sa version base-uncased, et à l'instar de (Vulić et al., 2021), nous construisons le plongement d'un mot à partir de l'encodage par ce modèle d'une seule occurrence de ce mot hors contexte en sélectionnant la représentation de cette occurrence produite au niveau de l'une des 13 couches du modèle (12 couches internes plus la couche d'entrée). Par ailleurs, comme (Bommasani et al., 2020), lorsqu'un mot se décompose en plusieurs sous-mots (wordpieces), nous construisons sa représentation en moyennant les représentations de ses sous-mots.

L'évaluation en elle-même s'appuie sur la similarité entre les représentations ainsi produites pour les mots : pour chaque mot cible $w_i$, l'ensemble de ses $k$ plus proches voisins est sélectionné en calculant la similarité de $w_i$ avec tous les autres mots cibles $w_j$, en appliquant la mesure cosinus à leurs représentations et en ordonnant ces mots selon la valeur décroissante de leur similarité avec $w_i$. En pratique, $k = 10$ et le calcul des similarités est réalisée là encore grâce à la bibliothèque Faiss. Nous évaluons l'exactitude de ce classement comme en recherche d'information grâce à la R-précision ($R_{préc.}$), la MAP (Mean Average Precision) et aux précisions à différents rangs (P@r). Les évaluations ont été menées pour 10 305 noms cibles déjà utilisés dans (Ferret, 2022) et couvrant un large éventail de fréquences.

Tout en nous concentrant globalement sur les relations de nature paradigmatique, nous considérons deux références, toutes deux issues de WordNet (Miller, 1990) puisque nos mots cibles sont des noms communs en anglais : *para*, qui rassemble les relations de synonymie, d'hyponymie, d'hyperonymie et de cohyponymie et *syn*, qui se limite au sous-ensemble des synonymes. Nous définissons plus précisément les mots liés à un mot cible par ces différentes relations de la façon suivante :

- synonymes : tous les mots faisant partie d'un synset $S_i$ du mot cible considéré;

- hyperonymes : tous les mots des synsets $S_{hype}$ ayant un lien direct d'hyperonymie avec un $S_i$;

- hyponymes : tous les mots des synsets ayant une relation directe d'hyponymie avec $S_i$;

- cohyponymes : tous les mots des synsets, à l'exception des $S_i$, ayant une relation directe d'hyponymie avec les synsets $S_{hype}$.

## 3.2 Mise en œuvre des méthodes proposées

La mise en œuvre de la première méthode d'extraction de relations lexicales sémantiques nécessite de disposer de plongements statiques tandis que la seconde demande principalement un ensemble de termes complexes. Pour ces deux ressources, nous nous sommes appuyés sur un même corpus de base, en l'occurrence un dump de Wikipédia en anglais du 1/10/2018 comprenant 2,16 milliards de tokens 7, étiquetés et lemmatisés grâce à l'outil CoreNLP (Manning et al., 2014), dans sa version 3.9.2. Les termes complexes, limités ici à des bigrammes de mots pleins, ont été extraits par la méthode définie dans (Mikolov et al., 2013b) 8, avec une fréquence minimale des termes extraits égale à 5 et un seuil d'information mutuelle minimale égal à 0. Nous avons ainsi obtenu 394 024 termes de structure ADJ NOUN pour constituer ensuite nos amorces. Pour chaque amorce, nous ne retenons que les 10 premières propositions du modèle, hors le terme masqué si celui-ci apparaît dans les premières propositions. Les plongements statiques ont été appris suivant le modèle Skip-gram avec l'outil *word2vec* 9 à partir de la forme lemmatisée des mots.

<footnote n="7">7. https://www.dropbox.com/s/cnrhd11zdtclpic/enwiki-20181001-corpus.xml.bz2?dl=0</footnote>

<footnote n="8">8. Suivant l'implémentation de Gensim : https://radimrehurek.com/gensim/models/phrases.html</footnote>

<footnote n="9">9. Avec les paramètres : -size 300 -window 5 -negative 10 -hs 0 -sample 1e-5 -min-count 5</footnote>
<table><caption>TABLE 1: Points de référence pour l'évaluation (valeurs x100)</caption><thead><tr><th>modèle</th><th>réf.</th><th>R<sub>préc</sub></th><th>MAP</th><th>P@1</th><th>P@2</th><th>P@5</th><th>P@10</th></tr></thead><tbody><tr><td rowspan="2">fastText-wiki</td><td>para</td><td>9,9</td><td>6,0</td><td>36,5</td><td>29,9</td><td>21,3</td><td>15,9</td></tr><tr><td>syn</td><td>15,5</td><td>18,4</td><td>21,9</td><td>15,7</td><td>9,2</td><td>5,8</td></tr><tr><td rowspan="2">BERT cxtxt</td><td>para</td><td>9,5</td><td>5,7</td><td>36,5</td><td>30,4</td><td>22,4</td><td>17,0</td></tr><tr><td>syn</td><td>15,6</td><td>17,9</td><td>21,8</td><td>16,0</td><td>9,5</td><td>6,1</td></tr><tr><td rowspan="2">BERT iso</td><td>para</td><td>7,4</td><td>4,4</td><td>30,9</td><td>26,2</td><td>19,6</td><td>14,6</td></tr><tr><td>syn</td><td>14,0</td><td>15,8</td><td>19,2</td><td>14,6</td><td>8,7</td><td>5,5</td></tr><tr><td rowspan="2">BERT réfsyn</td><td>para</td><td>17,2</td><td>12,3</td><td>55,7</td><td>48,5</td><td>37,4</td><td>29,0</td></tr><tr><td>syn</td><td>27,0</td><td>31,9</td><td>35,9</td><td>27,8</td><td>17,4</td><td>11,4</td></tr></tbody></table>

Pour la mise en œuvre de la méthode d'injection, nous avons eu recours à la bibliothèque Sentence-Transformers<fnref n="10" />. Pour chaque relation ($m_1, m_2$), nous avons aussi considéré la relation ($m_2, m_1$), ce qui peut être vu comme une forme très simple d'augmentation de données. Comme le laisse apparaître l'équation 1, l'ensemble des relations à injecter est traité par lots, d'une taille de 512 relations chacun. L'apprentissage se fait en 10 époques, avec un taux d'apprentissage de $2e-5$, l'utilisation de l'optimiseur AdamW (Loshchilov & Hutter, 2019) et un nombre d'étapes d'échauffement égal à 10 % des relations à injecter, avec un schéma d'échauffement linéaire.

## 3.3 Évaluation des méthodes proposées

**Points de référence.** Le tableau 1 donne un certain nombre de références concernant notre évaluation du résultat de l'injection de relations sémantiques. La première de ces références, *fastText-wiki*, donne les performances en termes de similarité du modèle Skip-gram utilisé par Vulić et al. (2021) comme référence, appris à partir de la version anglaise de Wikipédia avec l'outil *fastText* (Bojanowski et al., 2017). La deuxième, *BERT cxtxt*, donne ces mêmes performances pour des plongements construits selon la méthode de Bommasani et al. (2020), c'est-à-dire en moyennant les représentations des occurrences des mots cibles apparaissant dans un ensemble de phrases. À l'instar de Ferret (2022), nous prenons 10 phrases par mot cible et les meilleurs résultats sont obtenus avec la couche L5. Comme on peut le constater, ces deux premières références sont très proches, indiquant au passage que concernant la similarité sémantique, modèles statiques et modèles contextuels sont très proches comme cela a déjà été observé par d'autres travaux (Lenci et al., 2022). *BERT iso* correspond quant à elle au point départ de notre processus d'injection de relations (cf. section 2.1), les résultats du tableau 1 pour ce modèle étant issus de la couche L0. Le fait d'utiliser une seule occurrence sans contexte pour les mots cibles a clairement une incidence négative sur la performance comme le montre la comparaison avec *BERT cxtxt* mais mobilise nettement moins de ressources. Notre dernière référence, *BERT réfsyn*, peut être considérée comme notre référence haute puisqu'elle correspond à l'injection faite dans un modèle BERT par Vulić et al. (2021) de 1 023 082 relations sémantiques issues de ressources constituées manuellement, en l'occurrence WordNet et le thésaurus Roget<fnref n="11" />. Les mesures sont données pour la couche 12 et le nombre d'époques dans ce cas est réduit à 2 compte tenu du nombre de relations.

<footnote n="10">10. https://www.sbert.net/</footnote>

<footnote n="11">11. Il s'agit plus précisément de notre reproduction du travail de Vulić et al. (2021), dont le code n'est pas disponible.</footnote>
<table><caption>TABLE 2: Exactitude (x100) des relations extraites par un modèle contextuel suivant le type de modèle et la structure des termes amorces</caption><thead><tr><th></th><th>para</th><th>syn</th><th># relations</th></tr></thead><tbody><tr><td>BERT</td><td>13,9</td><td>5,2</td><td>17 007</td></tr><tr><td>CBERT</td><td>22,9</td><td>10,9</td><td>17 023</td></tr><tr><td>CBERT – têtes</td><td>24,2</td><td>11,8</td><td>13 465</td></tr><tr><td>CBERT – modifieurs</td><td>16,0</td><td>6,7</td><td>7 792</td></tr><tr><td>CBERT – ADJ NOM</td><td>26,2</td><td>12,4</td><td>10 511</td></tr></tbody></table>

<table><caption>TABLE 3: Exactitude (x100) des relations extraites par les types formes d'amorces</caption><thead><tr><th></th><th>P0</th><th>P1</th><th>P2</th><th>P3</th><th>P4</th><th>P5</th><th>P6</th><th>P7</th></tr></thead><tbody><tr><td>para</td><td>32,0</td><td>30,3</td><td>24,9</td><td>31,1</td><td>30,9</td><td>31,7</td><td>26,5</td><td>31,7</td></tr><tr><td>syn</td><td>16,0</td><td>15,8</td><td>12,5</td><td>15,6</td><td>16,0</td><td>16,8</td><td>13,0</td><td>15,7</td></tr></tbody></table>

**Extraction de relations à partir d'un modèle contextuel.** La méthode que nous avons proposée à la section 2.1 pour extraire des relations sémantiques à partir d'un modèle contextuel pose un certain nombre de questions auxquelles nous essayons de répondre ici en commençant par aborder, au travers des résultats du tableau 2, le problème du type de modèle et de la structure syntaxique des termes servant d'amorce. Les résultats sont donnés en termes d'exactitude des relations extraites par rapport à nos deux références. Il est à noter qu'ils ont été obtenus pour une forme générale d'amorce correspondant à P0 mais avec TERM et TERM_MSK faisant partie d'une même séquence. Le seuil d'information mutuelle minimale pour les termes extraits (cf. méthode de Mikolov et al. (2013b) évoquée ci-dessus) était par ailleurs égal à 10. Les deux premières lignes comparent le modèle BERT base-uncased avec le modèle CharacterBERT (El Boukkouri et al., 2020), équivalent au modèle BERT base en termes de structure mais présentant la caractéristique de ne pas découper les mots en sous-mots. Cette comparaison permet de constater l'impact très notable de ce découpage des mots pour notre tâche d'extraction de relations, avec un très net avantage pour le modèle CharacterBERT, qui sera utilisé dans ce qui suit.

Les trois lignes suivantes ont trait quant à elles à la structure syntaxique des termes amorces et à la place qu'y occupe le mot cible. Nous constatons tout d'abord grâce aux deux première lignes que le mot cible en position de modifieur sur le plan syntaxique produit moins de relations qu'en position de tête et surtout, que ces relations sont beaucoup plus bruitées. Cette observation va dans le sens des travaux de Ferret (2013b), qui a montré qu'au sein de deux termes complexes entretenant un lien de similarité sémantique, il est plus probable d'avoir une relation de similarité sémantique entre les têtes syntaxiques des termes pour un même modifieur que le contraire, ce qui conduit à privilégier les termes ayant le mot cible pour tête syntaxique. La dernière ligne permet enfin de constater que la très grande majorité des relations sont obtenues à partir de la structure de terme ADJ NOM (NOM étant le mot cible), avec là encore des relations moins bruitées que pour les autres structures. Nous ne retiendrons donc pour TERM et TERM_MSK que des termes de type ADJ NOM.

Le tableau 3 permet pour sa part de juger des performances des différents types d'amorces présentés à la section 2.1, toujours avec un seuil d'information mutuelle minimale égal à 10 pour l'extraction des termes. Si la plupart de ces amorces donnent des résultats voisins, il faut remarquer que P2 et
<table><caption>TABLE 4: Exactitude (x100) et volumétrie des relations extraites puis sélectionnées</caption><thead><tr><th>relations</th><th>modèle</th><th>para</th><th>syn</th><th># relations</th><th># mots</th></tr></thead><tbody><tr><td rowspan="2">extraites</td><td>statique</td><td>30,0</td><td>19,4</td><td>35 246</td><td>35 246</td></tr><tr><td>contextuel</td><td>30,6</td><td>15,6</td><td>15 473</td><td>17 019</td></tr><tr><td rowspan="3">sélectionnées</td><td>statique</td><td>44,1</td><td>34,0</td><td>11 298</td><td>11 298</td></tr><tr><td>contextuel</td><td>42,6</td><td>21,3</td><td>8 558</td><td>5 507</td></tr><tr><td>fusion</td><td>41,1</td><td>24,2</td><td>18 430</td><td>14 199</td></tr></tbody></table>

P6 obtiennent des résultats nettement inférieurs aux autres, sans qu'une raison très évidente puisse expliquer ce constat. La conclusion quant à la sensibilité par rapport à la forme des amorces est donc incertaine : si cette sensibilité n'est globalement pas très forte, elle peut être ponctuellement marquée, sans explication très claire. Dans ce qui suit, nous retiendrons l'amorce P0, la plus simple et une des deux meilleures.

**Extraction et sélection de relations : synthèse.** L'extraction des relations à partir d'un modèle statique telle que décrite à la section 2.1 ne demande de fixer que la taille du voisinage *k* et les mots cibles considérés. Dans le cas présent, nous avons retenu comme cibles les mots ayant une fréquence supérieure à 200 dans Wikipédia et une valeur *k* = 1 pour le voisinage. Il faut souligner à cet égard une différence importante entre les deux types de modèles : alors que le voisinage se limite au premier voisin pour le modèle statique, la qualité décroissant rapidement au-delà, nous l'étendons aux cinq premiers voisins pour le modèle contextuel, la dégradation de la qualité des relations étant beaucoup plus limitée à mesure de l'augmentation du rang.

Le tableau 4 évalue la qualité des relations extraites par nos deux types de modèles puis sélectionnées par réciprocité dans le graphe des *k*-NN, en regard avec leur volumétrie et le nombre de mots impliqués dans ces relations. Cette évaluation est faite sur la base de la présence de ces relations dans nos deux références, syn et para. Le modèle statique produit beaucoup plus de relations mais les deux types de modèles sont plus proches en termes de qualité, avec une équivalence sur l'ensemble des relations mais un avantage pour le modèle statique concernant les relations de synonymie. La sélection par réciprocité reproduit, et accentue même, ce biais initial pour ce qui est de la qualité des relations mais l'atténue fortement pour la volumétrie. Finalement, la fusion des deux ensembles de relations permet de constater leur complémentarité, avec un recoupement assez faible entre les deux et un niveau de performance plus proche du modèle contextuel que du modèle statique.

**Enrichissement d'un modèle de langue.** La dernière partie de notre évaluation concerne les résultats de l'injection des relations extraites dans un modèle de type BERT, illustrés par le tableau 5. Ce dernier rappelle notre point de départ, BERT iso, et donne les résultats pour chaque ensemble de relations extraites : celles issues du modèle statique, celles issues du modèle contextuel et la fusion de ces deux ensembles. Le premier constat est que l'injection des relations permet d'obtenir un gain de performance très significatif<fnref n="12" /> par rapport à BERT iso, en particulier pour toutes les mesures P@r. Ce gain est globalement assez comparable pour les relations issues du modèle statique et celles issues du modèle contextuel. Il suit logiquement le même biais que les relations injectées. Il est ainsi plus important pour la synonymie dans le cas des relations du modèle statique et plus marqué pour

<footnote n="12">12. La significativité statistique des différences entre BERT iso et les autres modèles a été évaluée grâce à un test de Wilcoxon pour échantillons appariés avec *p* < 0.01.</footnote>
<table><caption>TABLE 5: Résultats de l'injection des relations sémantiques extraites (valeurs x100)</caption><thead><tr><th>modèle (couche)</th><th>réf.</th><th>R<sub>préc</sub></th><th>MAP</th><th>P@1</th><th>P@2</th><th>P@5</th><th>P@10</th></tr></thead><tbody><tr><td rowspan="2">BERT iso (L0)</td><td>para</td><td>7,4</td><td>4,4</td><td>30,9</td><td>26,2</td><td>19,6</td><td>14,6</td></tr><tr><td>syn</td><td>14,0</td><td>15,8</td><td>19,2</td><td>14,6</td><td>8,7</td><td>5,5</td></tr><tr><td rowspan="2">modèle statique (L11)</td><td>para</td><td>11,7</td><td>7,4</td><td>42,2</td><td>35,4</td><td>26,1</td><td>19,7</td></tr><tr><td>syn</td><td>18,8</td><td>21,7</td><td>25,9</td><td>19,0</td><td>11,2</td><td>7,0</td></tr><tr><td rowspan="2">modèle contextuel (L11)</td><td>para</td><td>11,9</td><td>7,6</td><td>42,8</td><td>36,2</td><td>26,9</td><td>20,3</td></tr><tr><td>syn</td><td>18,4</td><td>21,5</td><td>25,4</td><td>18,9</td><td>11,1</td><td>7,1</td></tr><tr><td rowspan="2">fusion (L12)</td><td>para</td><td>12,1</td><td>7,8</td><td>44,2</td><td>36,9</td><td>27,0</td><td>20,4</td></tr><tr><td>syn</td><td>19,2</td><td>22,2</td><td>26,7</td><td>19,3</td><td>11,3</td><td>7,1</td></tr></tbody></table>

l'ensemble de nos relations sémantiques de référence en considérant les relations issues du modèle contextuel. La fusion des deux ensembles de relations permet d'obtenir un gain de performance supplémentaire pour nos deux références. Le niveau final atteint reste bien entendu en deçà du niveau constaté après l'injection de relations issues de ressources construites manuellement (cf. tableau 1) mais il est tout de même intéressant de constater qu'en l'absence de telles ressources, surtout dans les quantités utilisées par Vulić et al. (2021), il est tout de même possible d'enrichir sémantiquement un modèle de type BERT avec des relations sémantiques acquises automatiquement.

# 4 Conclusion et perspectives

Dans cet article, nous avons présenté à la fois deux méthodes pour extraire des relations sémantiques lexicales, l'une à partir d'un modèle de langue statique, l'autre à partir d'un modèle contextuel, et une méthode pour injecter ces relations afin d'enrichir sémantiquement un modèle contextuel. Les évaluations menées en termes de similarité sémantique ont montré le caractère effectif de la démarche proposée, qui permet de s'affranchir, au moins en partie, de relations sémantiques définies manuellement.

Outre le fait d'étendre les évaluations menées à d'autres tâches, un prolongement naturel de ce travail est d'étudier plus avant différentes formes d'amorces pour l'extraction de relations à partir de termes complexes et de comprendre plus précisément, notamment par l'observation des mécanismes d'attention, pourquoi certaines formes sont plus intéressantes que d'autres. Cette étude va par ailleurs de pair avec la prise en compte d'un ensemble plus vaste de structures de termes que la structure ADJ NOM principalement considérée ici. Le test d'autres modèles contextuels, tels que les modèles auto-régressifs, fait aussi partie des extensions très directes du travail présenté. Au-delà, nous souhaiterions également tester si un modèle contextuel enrichi sémantiquement comme nous l'avons réalisé pourrait conduire à une meilleure extraction de relations sémantiques, pouvant à son tour conduire à un meilleur enrichissement selon une procédure d'amorçage.

# Remerciements

Nous remercions les relecteurs pour leur retour constructif. Ces travaux ont été réalisés grâce au supercalculateur Factory-IA financé par le Conseil Régional d'Île-de-France.
Références

BARONI M., DINU G. & KRUSZEWSKI G. (2014). Don't count, predict! A systematic comparison of context-counting vs. context-predicting semantic vectors. In *52nd Annual Meeting of the Association for Computational Linguistics (ACL 2014)*, p. 238–247, Baltimore, Maryland.

BOJANOWSKI P., GRAVE E., JOULIN A. & MIKOLOV T. (2017). Enriching word vectors with subword information. *Transactions of the Association for Computational Linguistics*, **5**, 135–146.
DOI: 10.1162/tacl_a_00051.

BOMMASANI R., DAVIS K. & CARDIE C. (2020). Interpreting Pretrained Contextualized Representations via Reductions to Static Embeddings. In *58th Annual Meeting of the Association for Computational Linguistics (ACL 2020)*, p. 4758–4781, Online.

BUDANITSKY A. & HIRST G. (2006). Evaluating WordNet-based Measures of Lexical Semantic Relatedness. *Computational Linguistics*, **32**(1), 13–47.

CLARK K., KHANDELWAL U., LEVY O. & MANNING C. D. (2019). What does BERT look at? An analysis of BERT’s attention. In *2019 ACL Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP*, p. 276–286, Florence, Italy: Association for Computational Linguistics.

DOI: 10.18653/v1/W19-4828.

CLAVEAU V., KIJAK E. & FERRET O. (2014). Improving distributional thesauri by exploring the graph of neighbors. In *25th International Conference on Computational Linguistics (COLING 2014)*, p. 709–720, Dublin, Ireland.

CURRAN J. R. & MOENS M. (2002). Improvements in automatic thesaurus extraction. In *Workshop of the ACL Special Interest Group on the Lexicon (SIGLEX)*, p. 59–66, Philadelphia, USA.

DEVLIN J., CHANG M.-W., LEE K. & TOUTANOVA K. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. In *2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT 2019)*, p. 4171–4186, Minneapolis, Minnesota. DOI: 10.18653/v1/N19-1423.

EL BOUKKOURI H., FERRET O., LAVERGNE T., NOJI H., ZWEIGENBAUM P. & TSUJII J. (2020). CharacterBERT: Reconciling ELMo and BERT for word-level open-vocabulary representations from characters. In *28th International Conference on Computational Linguistics (COLING 2020)*, p. 6903–6915, Barcelona, Spain (Online: International Committee on Computational Linguistics).

ETHAYARAJH K. (2019). How Contextual are Contextualized Word Representations? Comparing the Geometry of BERT, ELMo, and GPT-2 Embeddings. In *2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP 2019)*, p. 55–65, Hong Kong, China. DOI: 10.18653/v1/D19-1006.

FARUQUI M., DODGE J., JAUHAR S. K., DYER C., HOVY E. & SMITH N. A. (2015). Retrofitting Word Vectors to Semantic Lexicons. In *2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL HLT 2015)*, p. 1606–1615, Denver, Colorado.

FARUQUI M., TSVETKOV Y., RASTOGI P. & DYER C. (2016). Problems with evaluation of word embeddings using word similarity tasks. In *Workshop on Evaluating Vector-Space Representations for NLP (RepEval 2016)*, p. 30–35, Berlin, Germany: Association for Computational Linguistics.

DOI: 10.18653/v1/W16-2506.

FERRET O. (2013a). Identifying bad semantic neighbors for improving distributional thesauri. In *51st Annual Meeting of the Association for Computational Linguistics (ACL 2013)*, p. 561–571.

FERRET O. (2013a). Identifying bad semantic neighbors for improving distributional thesauri. In *51st Annual Meeting of the Association for Computational Linguistics (ACL 2013)*, p. 561–571.
FERRET O. (2013b). Sélection non supervisée de relations sémantiques pour améliorer un thésaurus distributionnel. In *20ème Conférence sur le Traitement Automatique des Langues Naturelles (TALN 2013)*, p. 48–61, Les Sables d'Olonne, France.

FERRET O. (2022). Building static embeddings from contextual ones : Is it useful for building distributional thesauri ? In *13<sup>th</sup> Language Resources and Evaluation Conference (LREC 2022)*, p. 2583–2590, Marseille, France.

FOX E. A. & SHAW J. A. (1994). Combination of multiple searches. In *2nd Text REtrieval Conference (TREC-2)*, volume 243 : NIST.

GREFENSTETTE G. (1994). *Explorations in automatic thesaurus discovery*. Kluwer Academic Publishers.

HARRIS Z. S. (1954). Distributional Structure. *Word*, **10**(2-3), 146–162.

HENDERSON M., VULIĆ I., GERZ D., CASANUEVA I., BUDZIANOWSKI P., COOPE S., SPITHOURAKIS G., WEN T.-H., MRKŠIĆ N. & SU P.-H. (2019). Training neural response selection for task-oriented dialogue systems. In *57th Annual Meeting of the Association for Computational Linguistics (ACL 2019)*, p. 5392–5404, Florence, Italy. DOI: 10.18653/v1/P19-1536.

JOHNSON J., DOUZE M. & JÉGOU H. (2021). Billion-scale similarity search with gpus. *IEEE Transactions on Big Data*, **7**(3), 535–547.

LAUSCHER A., VULIĆ I., PONTI E. M., KORHONEN A. & GLAVAŠ G. (2020). Specializing unsupervised pretraining models for word-level semantic similarity. In *28th International Conference on Computational Linguistics (COLING 2020)*, p. 1371–1383, Barcelona, Spain (Online). DOI: 10.18653/v1/2020.coling-main.118.

LEE J. H. (1997). Analyses of multiple evidence combination. In *20th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR'97)*, p. 267–276, New York, NY, USA : Association for Computing Machinery. DOI: 10.1145/258525.258587.

LENCI A., SAHLGREN M., JEUNIAUX P., CUBA GYLLENSTEN A. & MILIANI M. (2022). A comparative evaluation and analysis of three generations of Distributional Semantic Models. *Language Resources and Evaluation*. DOI: 10.1007/s10579-021-09575-z.

LIN D. (1998). Automatic retrieval and clustering of similar words. In *17<sup>th</sup> International Conference on Computational Linguistics and 36<sup>th</sup> Annual Meeting of the Association for Computational Linguistics (ACL-COLING'98)*, p. 768–774, Montréal, Canada.

LIU Y., OTT M., GOYAL N., DU J., JOSHI M., CHEN D., LEVY O., LEWIS M., ZETTLEMOYER L. & STOYANOV V. (2019). RoBERTa : A Robustly Optimized BERT Pretraining Approach. *arXiv preprint arXiv : 1907.11692*.

LOSHCHILOV I. & HUTTER F. (2019). Decoupled weight decay regularization. In *International Conference on Learning Representations*.

MANNING C. D., SURDEANU M., BAUER J., FINKEL J., BETHARD S. J. & MCCLOSKY D. (2014). The Stanford CoreNLP natural language processing toolkit. In *52nd Annual Meeting of the Association for Computational Linguistics : System Demonstrations (ACL 2014)*, p. 55–60.

MIKOLOV T., CHEN K., CORRADO G. & DEAN J. (2013a). Efficient estimation of word representations in vector space. In *ICLR 2013, workshop track*.

MIKOLOV T., SUTSKEVER I., CHEN K., CORRADO G. S. & DEAN J. (2013b). Distributed representations of words and phrases and their compositionality. In *Advances in Neural Information Processing Systems 26 (NIPS 2013)*, p. 3111–3119.
MILLER G. A. (1990). WordNet : An On-Line Lexical Database. *International Journal of Lexicography*, **3**(4).

NASEEM U., RAZZAK I., KHAN S. K. & PRASAD M. (2021). A Comprehensive Survey on Word Representation Models : From Classical to State-of-the-Art Word Representation Language Models. *ACM Transactions on Asian and Low-Resource Language Information Processing*, **20**(5), 74:1–74:35. DOI: 10.1145/3434237.

PADRÓ M., IDIART M., VILLAVICENCIO A. & RAMISCH C. (2014a). Comparing similarity measures for distributional thesauri. In *Ninth International Conference on Language Resources and Evaluation (LREC’14)*, p. 2964–2971, Reykjavik, Iceland : European Language Resources Association (ELRA).

PADRÓ M., IDIART M., VILLAVICENCIO A. & RAMISCH C. (2014b). Nothing like good old frequency : Studying context filters for distributional thesauri. In *2014 Conference on Empirical Methods in Natural Language Processing (EMNLP 2014)*, p. 419–424, Doha, Qatar : Association for Computational Linguistics. DOI: 10.3115/v1/D14-1047.

QIANG J., LI Y., ZHU Y., YUAN Y. & WU X. (2020). *Lexical Simplification with Pretrained Encoders*. Rapport interne, arXiv preprint arXiv:1907.06226.

RADFORD A., NARASIMHAN K., SALIMANS T. & SUTSKEVER I. (2018). *Improving language understanding by generative pre-training*. Rapport interne, OpenAI.

REIMERS N. & GUREVYCH I. (2019). Sentence-BERT : Sentence embeddings using Siamese BERT-networks. In *Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP)*, p. 3982–3992, Hong Kong, China. DOI: 10.18653/v1/D19-1410.

SHAH S., REDDY S. & BHATTACHARYYA P. (2020). A retrofitting model for incorporating semantic relations into word embeddings. In *Proceedings of the 28th International Conference on Computational Linguistics*, p. 1292–1298, Barcelona, Spain (Online). DOI: 10.18653/v1/2020.coling-main.111.

VULIĆ I., PONTI E. M., KORHONEN A. & GLAVAŠ G. (2021). LexFit : Lexical fine-tuning of pretrained language models. In *59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (ACL-IJNLP 2021)*, p. 5269–5283, Online. DOI: 10.18653/v1/2021.acl-long.410.

VULIĆ I., PONTI E. M., LITSCHKO R., GLAVAŠ G. & KORHONEN A. (2020). Probing Pretrained Language Models for Lexical Semantics. In *2020 Conference on Empirical Methods in Natural Language Processing (EMNLP 2020)*, p. 7222–7240, Online. DOI: 10.18653/v1/2020.emnlp-main.586.

WANG Y. (2022). *Exploration des relations terminologiques entre les termes multi-mots dans les modèles de sémantique distributionnelle*. Thèse de doctorat, Université Toulouse-Jean Jaurès.

WANG Y., WANG W., CHEN Q., HUANG K., NGUYEN A., DE S. & HUSSAIN A. (2023). Fusing external knowledge resources for natural language understanding techniques : A survey. *Information Fusion*, **92**, 190–204. DOI: https://doi.org/10.1016/j.inffus.2022.11.025.

WU S., CRESTANI F. & BI Y. (2006). Evaluating score normalization methods in data fusion. In *Third Asia Conference on Information Retrieval Technology (AIRS’06)*, p. 642–648 : Springer-Verlag.

ZHOU W., GE T., XU K., WEI F. & ZHOU M. (2019). BERT-based lexical substitution. In *57th Annual Meeting of the Association for Computational Linguistics (ACL 2019)*, p. 3368–3373, Florence, Italy. DOI: 10.18653/v1/P19-1328.
# Géométrie de l'auto-attention en classification : quand la géométrie remplace l'attention

Loïc Fosse Duc Hau Nguyen Pascale Sébillot Guillaume Gravier

Univ Rennes, CNRS, Inria, INSA Rennes - IRISA, Campus de Beaulieu, 35042 Rennes

loic.fosse@insa-rennes.fr, duc-hau.nguyen@irisa.fr,

pascale.sebillot@irisa.fr, guig@irisa.fr

## RÉSUMÉ

Plusieurs études ont mis en évidence l'anisotropie des plongements issus d'un modèle BERT au sein d'un énoncé, c'est-à-dire leur concentration dans une direction donnée, notamment dans une tâche de classification. Dans cet article, nous cherchons à mieux comprendre ce phénomène et comment cette convergence se construit en analysant finement les propriétés géométriques des plongements, des clés et des valeurs dans une couche d'auto-attention. Nous montrons que la direction vers laquelle les plongements s'alignent caractérise la classe d'appartenance de l'énoncé. Nous étudions ensuite le fonctionnement intrinsèque de la couche d'auto-attention et les mécanismes en jeu entre clés et valeurs pour garantir la construction d'une représentation anisotrope. Cette construction se fait de manière progressive lorsque plusieurs couches sont empilées. Elle s'avère également robuste à des contraintes externes sur la distribution des poids d'attention, compensées par le modèle en jouant sur les valeurs et les clés.

## ABSTRACT

### Geometry of self-attention in classification: when geometry replaces attention

Various studies have highlighted the anisotropy of BERT word embeddings within an utterance, i.e., their concentration in a given direction, especially in a classification task. In this paper, we aim at better understanding this phenomenon and how this convergence is built by analyzing the geometric properties of the word embeddings, keys and values within a self-attention layer. We show that the direction towards which embeddings align themselves characterizes class membership. We then study the intrinsic mechanism of the self-attention layer and the mechanisms at play between keys and values to ensure the construction of an anisotropic representation. This construction is progressive when several layers are stacked. It also proves to be robust to external constraints on the distribution of attention weights, which the model compensates through the values and keys.

**MOTS-CLÉS** : classification, auto-attention, transformers, bertologie.

**KEYWORDS**: text classification, self-attention, transformers, bertology.

## 1 Introduction

Les modèles transformeurs fondés sur le mécanisme d'auto-attention sont au cœur de l'état de l'art en traitement automatique des langues dans de nombreuses tâches. Ce succès est en partie dû à l'existence de modèles pré-entraînés de manière générique comme modèle de langue (causal ou masqué) qui sont ensuite adaptés à une tâche précise (Radford et al., 2018; Devlin et al., 2019;

<figure><img src="image_41.png" /></figure>
Conneau & Lample, 2019; Brown et al., 2020).

Afin de mieux appréhender le fonctionnement interne de ces modèles, plusieurs études se sont intéressées aux différentes informations linguistiques portées par les modèles pré-entraînés, typiquement en utilisant les plongements aux différents niveaux d'un transformeur pré-entraîné, pour mesurer leur performance dans différentes tâches linguistiques. On peut par exemple citer (Van Aken et al., 2019; Htut et al., 2019; Jawahar et al., 2019; Kovaleva et al., 2019; Lin et al., 2019) dont les principaux résultats sont résumés par Rogers et al. (2020). Ces travaux montrent que les plongements aux différents niveaux encodent des informations linguistiques différentes, de plus en plus riches et complexes au fur et à mesure que l'on monte en abstraction, les dernières couches étant quant à elle très influencées par la tâche utilisée pour le pré-entraînement. Certaines études se sont également penchées sur les propriétés géométriques des plongements aux différents niveaux d'un modèle transformeur (Reif et al., 2019; Ethayarajh, 2019; Hernandez & Andreas, 2021; Fosse et al., 2022). Plusieurs d'entre elles mettent clairement en avant l'anisotropie croissante des plongements des *tokens* d'une même phrase, c'est-à-dire leur concentration dans une direction au travers des différentes couches d'attention (Ethayarajh, 2019; Cai et al., 2021; Fosse et al., 2022). En particulier, Fosse et al. (2022) mettent en évidence une concentration forte des plongements dans une même direction lorsqu'un modèle pré-entraîné est adapté pour la classification de texte, tâche pour laquelle la distinction entre les *tokens* n'a au final plus d'importance.

Même si Cai et al. (2021) montrent qu'on peut retrouver une isotropie permettant de distinguer les différents *tokens* dans des sous-espaces, cette dernière observation soulève des questions sur la manière dont les couches d'auto-attention construisent cette convergence dans une direction unique, questions au centre de cet article.

De manière intéressante, ces observations sur la géométrie des plongements sont à mettre en parallèle avec les travaux menés sur les poids d'attention (Clark et al., 2019; Bai et al., 2021; Bibal et al., 2022) qui soulèvent de nombreux débats sur l'intérêt de ces poids pour expliquer la décision du modèle (Jain & Wallace, 2019; Wiegreffe & Pinter, 2019; Bibal et al., 2022). De nombreux exemples visuels montrent qu'il est parfois possible d'interpréter *a posteriori* les poids d'attention<fnref n="1" />. Cependant, plusieurs observations troublantes viennent mettre à mal la possibilité d'utiliser ces poids comme explication. D'une part, il a été mis en évidence que la distribution des poids d'attention sur les *tokens* d'une phrase a tendance à être répartie de manière uniforme dans un modèle d'attention associé à un LSTM (Mohankumar et al., 2020; Nguyen et al., 2021), ou, dans des modèles transformeurs, à se concentrer sur des *tokens* peu informatifs comme [CLS] (Clark et al., 2019). Il a également été mis en évidence qu'il est possible de modifier les poids d'attention sans réelle incidence sur la classification (Voita et al., 2019; Jain & Wallace, 2019; Pruthi et al., 2020). Cette propriété est utilisée dans plusieurs travaux pour contraindre les poids d'attention. On peut, par exemple, chercher à les rendre plus parcimonieux, et donc plus plausibles dans l'explication de la décision (Niculae & Blondel, 2017; Mohankumar et al., 2020; Nguyen et al., 2022). Une autre orientation consiste à contraindre les poids d'attention pour guider l'apprentissage ou la génération d'une explication (Nguyen & Nguyen, 2018; McGuire & Tomuro, 2021; Carton et al., 2022; Paranjape et al., 2020).

Ces deux constatations – la convergence intra-phrase des plongements et la tendance à une distribution uniforme des poids d'attention – nous amène dans cet article à nous interroger plus avant sur le rapport entre la géométrie des plongements et la tâche de classification. Au travers d'une analyse théorique et expérimentale du mécanisme d'auto-attention, nous cherchons à déterminer si la convergence des plongements est une propriété intrinsèque des transformeurs et à comprendre comment cette

<footnote n="1">1. Voir par exemple la figure 1 dans (Clark et al., 2019).</footnote>
convergence se construit en jouant sur les clés et les valeurs du modèle.

Dans ce travail, nous mettons en évidence que, dans les tâches de classification d'énoncés, l'anisotropie des plongements au sein d'une phrase est liée à la classe : en d'autres termes, les plongements s'alignent dans une direction qui dépend de la classe, ce qui correspond au fonctionnement intrinsèque du modèle. Nous mettons ensuite en évidence le jeu entre clé et valeur qui permet de construire cet alignement des plongements au travers des couches d'auto-attention, y compris lorsque des contraintes externes sont imposées sur la distribution des poids d'attention. Dans ce dernier cas, nous montrons comment le modèle compense les contraintes pour assurer son fonctionnement en alignant dans une direction les plongements.

# 2 Formalisme, tâches

Nous posons tout d'abord le formalisme du mécanisme d'auto-attention, au cœur des modèles récents pré-entraînés comme modèle de langage. Nous décrivons ensuite succinctement les modèles et les jeux de données utilisés pour les expériences.

## 2.1 Formalisme et géométrie de l'auto-attention

Le principe fondamental de ces modèles consiste à transformer une séquence de plongements $x = \{x_1, \dots, x_n\}$, $x_i \in \mathbb{R}^d$, en une nouvelle séquence $y = \{y_1, \dots, y_n\}$, $y_i \in \mathbb{R}^d$, la nouvelle représentation $y_i$ étant obtenue à partir de l'attention $a_{ij}$ qu'il faut porter à chacun des tokens ($j \in [1, n]$) de la séquence en entrée pour obtenir la nouvelle représentation du token $i$.

En pratique, chaque token $x_i$ est projeté dans 3 espaces distincts, l'espace des clés, celui des valeurs et celui de requêtes. On notera $q_i = x_i$ Q la clé à la position $i$ et $k_i = x_i$ K (resp. $v_i = x_i$ V) la clé (resp. la valeur). Les trois matrices Q, K et V, chacune de dimension $d \times d$, jouent le rôle de projection du plongement d'un token vers un nouvel espace de même dimension que l'espace d'entrée et constituent les principaux paramètres du modèle. Pour la position $i$, l'attention à porter à chacun des tokens de la phrase pour modifier $x_i$ est donnée par

$$a_{ij} = \frac{\exp\left(\frac{q_i \cdot k_j}{\sqrt{d}}\right)}{\sum_{l=1}^{n} \exp\left(\frac{q_i \cdot k_l}{\sqrt{d}}\right)}. \qquad (1)$$

L'ensemble des $a_{ij} \in \mathbb{R}^+$ constitue les poids d'attention et permet de définir la nouvelle représentation du token $i$ selon

$$y_i = \sum_{j=1}^{n} a_{ij} v_j . \qquad (2)$$

Il est intéressant de donner à ce stade une interprétation géométrique de ce mécanisme par rapport aux observations de l'introduction. Chaque $y_i$ étant obtenu par une combinaison convexe des $v_j$ à partir de poids d'attention positifs, si les $v_j$ se concentrent dans une direction, $y_i$ ne peut par définition se retrouver que dans le cône défini par les $v_j$ comme illustré à la figure 1. De manière duale, on note que si l'ensemble des clés $k_j$ se concentrent dans un cône, alors les poids d'attention tendent vers
<figure><img src="image_42.png" /><figcaption>FIGURE 1 – Interprétation géométrique de l’équation 2 : illustration d’un cône défini par l’ensemble des valeurs $v_j, j \in [1, n]$.</figcaption></figure>

une distribution uniforme quelque soit la requête $q_i$. Enfin, si les requêtes s’alignent, alors les poids d’attention $a_{ij}$ sont identiques pour tous les tokens $x_i$.

## 2.2 Modèles fondés sur l’auto-attention

Ce mécanisme d'auto-attention correspond à une tête d'attention dans un modèle transformeur (Vaswani et al., 2017), en particulier dans la partie encodeur qui nous intéresse. En pratique, ces modèles s'appuient sur plusieurs couches *transformer* qui modifient progressivement les représentations des tokens en entrée du modèle. Chaque couche *transformer* se compose de deux opérations successives : un ensemble de têtes d'attention qui opèrent en parallèle sur la représentation en entrée et dont les sorties sont combinées par concaténation et projection ; une projection point à point de chacun des *n* vecteurs issus de l'étape précédente. Une connexion résiduelle est utilisée autour de chacune de ces opérations qui sont également chacune suivie d'une normalisation des vecteurs (*layer normalization*). En pratique, chaque tête d'attention opère sur un sous-ensemble des dimensions de l'espace dans lequel les tokens sont représentés, la combinaison se limitant alors à une concaténation des représentations issues de chaque tête. Malgré les différentes opérations et l'utilisation de plusieurs têtes, le mécanisme d'attention avec les propriétés géométriques que nous avons défini précédemment reste l'opération centrale au sein d'une couche *transformer*.

La première partie de notre étude s'appuie sur le modèle BERT standard (Devlin et al., 2019)<fnref n="2" />, qui comporte 12 couches, chacune composée de 12 têtes d'attention. Chacune des têtes est en charge d'un sous-espace de l'espace complet, soit 12 têtes de dimension 64 pour une dimension totale de 768. Les paramètres du modèle ont été estimés sur un grand volume de données par le biais d'une tâche de modèle de langage avec masque. Lorsque ce modèle est utilisé pour une tâche de classification, une couche de classification est ajoutée et prend en entrée la représentation contextualisée par le modèle BERT du *token* [CLS] de début d'énoncé afin de prédire la classe de l'énoncé. L'ensemble des paramètres du modèle (couche de classification et l'ensemble des couches d'attention) est réestimé par quelques itérations selon un critère standard de minimisation de l'entropie croisée.

Dans la seconde partie de notre étude où nous nous intéressons au fonctionnement intrinsèque des têtes d'attention, nous utilisons une réimplémentation des têtes d'attention dont les paramètres sont estimés

<footnote n="2">2. Nous utilisons le checkpoint bert-base-uncased dans le dépôt Huggingface.</footnote>
<table><caption>TABLE 1 – Performance de classification (en % d'accuracy) pour le modèle BERT adapté et pour un modèle avec une couche d'auto-attention.</caption><thead><tr><th>modèle</th><th>YelpHat</th><th>HateXplain</th><th>e-SNLI</th></tr></thead><tbody><tr><td>BERT adapté</td><td>93,6</td><td>40,1</td><td>88,7</td></tr><tr><td>auto-attention</td><td>91,3</td><td>61,1</td><td>63,1</td></tr></tbody></table>

directement pour la tâche de classification. Le bloc d'attention inclut une couche d'auto-attention à une seule tête (équations 1 et 2) avec une connexion résiduelle et suivi d'une normalisation. Le modèle final de classification utilisé est similaire à celui du paragraphe précédent.

## 2.3 Tâches et données

Dans cet article, nous nous intéressons au fonctionnement du mécanisme d'attention dans les tâches de classification de texte. Nous exploitons plusieurs jeux de données standards dans le domaine de la classification, en particulier les données liées au benchmark ERASER (DeYoung et al., 2020) qui permettent ensuite d'étudier les poids d'attention à l'aune d'une annotation humaine des tokens importants pour la classification<fnref n="3" />. Nous utilisons en particulier trois corpora en anglais, du plus facile au plus difficile :

- YelpHat (Sen et al., 2020) vise à la classification en polarité d'avis concernant des restaurants. Le corpus est composé d'environ 3.5k avis pour l'apprentissage et une quantité équivalente pour le test.

- HateXplain (Mathew et al., 2021) a été conçu pour une tâche de classification de messages postés sur des réseaux sociaux en trois catégories : haineux, agressif, neutre. Le corpus est composé de 15k messages pour l'apprentissage et environ 2k pour la validation et le test respectivement.

- e-SNLI (Camburu et al., 2018), une extension du corpus SNLI (Bowman et al., 2015), permet une tâche d'inférence linguistique qui consiste à déterminer si deux énoncés constituent une suite logique, sont en opposition ou n'ont aucun rapport. Le corpus contient environ 550k paires de phrase pour l'apprentissage, et environ 10k paires pour la validation et pour le test respectivement. Pour la tâche de classification, les deux énoncés sont concaténés en ajoutant un token [SEP] entre eux.

Pour tous ces corpus, la classification est réalisée à partir du plongement contextualisé du token [CLS] en utilisant une couche dense de projection. Lors de l'adaptation à la tâche de modèles pré-entrainés, l'ensemble des paramètres sont réestimés sur quelques itérations. L'adaptation à la tâche est effectuée avec les paramètres suivants : graine aléatoire ; optimiseur Adam sur 50 itérations (epochs) avec un taux d'apprentissage de $5 \times 10^{-5}$ pour BERT et de 0.001 pour le second modèle ; stratégie d'arrêt précoce au bout de 5 itérations sans amélioration. Nous rapportons dans le tableau 1 les performances sur les trois corpus, avec le modèle BERT adapté ainsi qu'avec un seul bloc d'attention. On notera simplement les points suivants : le modèle BERT adapté pour HateXplain donne de mauvais résultats, ce qui est cohérent avec plusieurs résultats rapportés sur Internet ; le corpus YelpHat étant facile, l'écart entre BERT pré-entraîné et un modèle avec un seul bloc d'attention est limité.

<footnote n="3">3. Cette dernière analyse n'entre pas dans le cadre de cette étude mais les données ont été choisies pour pouvoir attaquer cette problématique par la suite.</footnote>
<figure><img src="image_43.png" /><figcaption>FIGURE 2 – Distribution de la similarité cosinus entre le plongement d'un énoncé représentant une classe ($r_i$) et les plongements du reste des énoncés du corpus ($cls_j$) en fonction de leur classe pour e-SNLI (2a) et YelpHat (2b).</figcaption></figure>

# 3 Une convergence en lien avec la classification

Nous étudions tout d'abord la géométrie des plongements issus du modèle BERT adapté à la tâche. Comme dans les études précédentes (Reif et al., 2019; Ethayarajh, 2019; Hernandez & Andreas, 2021; Fosse et al., 2022), nous observons bien évidemment le renforcement de l'anisotropie des plongements au sein d'une même phrase lorsque l'on traverse les couches du modèle, avec une concentration des plongements au sein d'un (hyper)cône dans l'espace des plongements. En effet, si l'on mesure la similarité cosinus moyenne entre les plongements de deux tokens au sein d'une même phrase sur la tâche e-SNLI, elle croît de manière quasi systématique dans le modèle pré-entraîné, à l'exception notable de la dernière couche. La similarité moyenne passe ainsi progressivement de 0.12 en entrée du modèle à 0.41 en sortie, un maximum (proche de 0.42) étant atteint à la sortie de l'avant-dernière couche. Sur le modèle après adaptation à la tâche, la convergence est nettement plus marquée, passant de 0.08 en entrée à 0.69 en sortie, avec une croissance constante et particulièrement marquée sur les 4 dernières couches où la similarité moyenne passe de 0.34 à 0.69. Un comportement similaire est observé sur d'autres corpus, notamment YelpHat et IMDb (Maas et al., 2011), corroborant ainsi les observations de (Fosse et al., 2022).

Ces observations sont faites énoncé par énoncé et sont valables pour les plongements au sein d'une même phrase. Dans le prolongement, nous nous intéressons donc à l'analyse de ce phénomène d'anisotropie au travers des phrases. Une hypothèse assez naturelle que nous souhaitons vérifier est que, dans le cas d'un modèle BERT adapté à une tâche de classification, la direction prise par les plongements au sein d'un énoncé est caractéristique de la classe de l'énoncé.

Nous vérifions cette hypothèse au travers de l'expérience suivante. Pour chaque classe *i* dans un corpus, nous choisissons un représentant de cette classe, $r_i$, représenté par le plongement final du token [CLS]. Ce représentant est pris au hasard parmi les énoncés de la classe *i* qui sont bien classés par le modèle. Nous noterons par la suite $cls_j$ le plongement de [CLS] correspondant au *j*-ème énoncé du corpus : nous avons donc $r_i = cls_{i*}$, $i^*$ étant l'indice d'énoncé du représentant choisi pour la classe *i*. Pour l'ensemble des énoncés $j \neq i^*$ du corpus, nous mesurons la similarité cosinus entre $r_i$ et $cls_j$ de manière à analyser la distribution des similarités $cos(r_i, cls_j)$ en fonction de la classe de l'énoncé *j*.
<table><caption>TABLE 2 – Exemples d'énoncés positifs (+) et négatifs (-) du corpus YelpHat et de leur distance à un énoncé négatif représentatif (ligne 1).</caption><thead><tr><th>phrase</th><th>+/-</th><th>cos</th></tr></thead><tbody><tr><td>Last summer I had an appointment to get new tires and had to wait a super long time. I also went in this week for them to fix a minor problem with a tire they put on. They "fixed" it for free, and the very next morning I had the same issue. I called to complain, and the "manager" didn't even apologize !!! So frustrated. Never going back. They seem overpriced, too.</td><td>-</td><td></td></tr><tr><td>Been coming to cafe rio for awesome fast Mexican food for years. Lived in Utah for a while...just like you Camilla k. I loved the ones in Utah and thought I would give this one a chance. The manager guy, don't know his name, is a total jerk. The food wasn't even warm. It was cold. My wife and I are sitting here right now and I'm so upset that I have to leave this review right now. Just awful service and not even good food anymore. Gradually getting worse. I'm going to costa vida from now on.</td><td>-</td><td>0,96</td></tr><tr><td>SO GOOD!!!!!!! The only roll I got that wasn't good was a lobster roll. It just had no flavor. Everything else I had was AMAZING!!! Now that I'm done raving about the food, I do have two complaints. 1) The hostess wasn't super friendly or anything. She was really hard to understand and made no effort to speak more clearly so we'd know what she was talking about. 2) There's no where near enough tables. The place is an okay size but there's probably only like 10 tables? Maybe I'm remembering wrong. There's also no sushi bar, which I don't care about, but some people do.</td><td>+</td><td>0,93</td></tr><tr><td>I am a huge steak person. I live in LA and I've been to every fancy steakhouse in LA, most of the well known steakhouses in NY and Vegas. and Rig may not be the best steakhouse I've ever been to, but it's up there. What truly impressed me was the value. The steaks and appetizers were as good as Mastro's (both Vegas and LA) yet it cost almost half as much. The service was as good. 've told my wife that we'll be going there every time we go to Vegas.</td><td>+</td><td>0,2</td></tr><tr><td>Expensive Gringo Mexican food. Saving grace is the setting. Wonderful pond with ducks in the middle of the facility. Go for the beauty of it, not for the "Mexican" food. They seem to cater to the Cave Creek tourist "semi cowboy" trade.</td><td>-</td><td>0,09</td></tr></tbody></table>

La figure 2 montre sur la partie gauche les distributions obtenues pour chacune des trois classes de e-SNLI (resp. suite logique, sans rapport, contradiction) et, sur la partie droite, celles obtenues pour la classe négative (0) du corpus YelpHat. Ainsi, pour la figure 2b, on observe nettement que les plongements cls<sub>j</sub> de la classe négative présentent très majoritairement une grande similarité avec l'énoncé représentatif de cette classe, tandis que les plongements cls<sub>j</sub> pour la classe positive sont presque majoritairement orthogonaux. De manière similaire, on voit sur la figure 2a que la direction des plongements cls<sub>j</sub> correspond bien aux classes. On note au passage sur cette dernière figure que si le trois classes sont relativement séparables par rapport à un représentant des classes suite logique ou sans rapport, ces deux dernières classes sont difficilement séparables du point de vue d'un représentant de la classe contradiction.

Ces résultats mettent donc clairement en évidence que la direction vers laquelle le modèle plonge la représentation des tokens en entrée est l'élément qui caractérise la classe du document. Ceci traduit le fonctionnement inhérent du modèle pour réaliser sa tâche et constitue donc un comportement souhaitable. Nous avons également vérifié que cette propriété est bien induite par l'adaptation du modèle pré-entraîné : la même analyse des distributions des similarités cosinus effectuée sur le modèle pré-entraîné montre que, dans ce cas, il n'est pas possible de distinguer les classes.

Enfin, nous complétons ces observations par quelques exemples d'énoncés positifs (+) et négatifs (-) issus du corpus YelpHat dans le tableau 2, accompagnés de leur distance (cos) à un énoncé
représentatif de la classe négative (ligne 1) : le premier groupe correspond aux énoncés (resp. - et +) les plus proches de l'énoncé de la ligne 1; le second groupe donne l'exemple médian pour la classe +<fnref n="4" /> et l'exemple le plus éloigné pour la classe -. On note que la représentation issue du modèle BERT dépasse largement le niveau lexical, avec peu de mots porteurs de polarité en commun dans les énoncés proches du représentant. L'exemple positif le plus proche s'explique en particulier par les aspects négatifs que l'énoncé contient en dépit d'un avis globalement positif.

Ces observations sont à mettre en relation avec deux éléments discutés dans l'introduction. D'une part, elle apporte des éléments au débat sur l'attention comme vecteur d'explicabilité, du moins dans le cas de la classification de texte : si la convergence forte des plongements au sein d'une phrase est bénéfique, voire indispensable à la classification, elle laisse peu d'espoir à l'obtention de quelques *tokens* explicatifs grâce à l'attention. En effet, du fait de la convergence, les requêtes et clés dérivées des plongements convergent également dans une même direction, résultant ainsi en une attention quasi uniformément distribuée sur les *tokens*, comme observé dans plusieurs travaux (Mohankumar *et al.*, 2020; Nguyen *et al.*, 2021). D'autre part, les travaux visant à contraindre les poids d'attention pour les rendre parcimonieux – et donc potentiellement plus adaptés à une explication – montrent un succès limité (Niculae & Blondel, 2017; Nguyen & Nguyen, 2018; Mohankumar *et al.*, 2020; McGuire & Tomuro, 2021; Nguyen *et al.*, 2022; Sasaki *et al.*, 2023). La convergence des plongements dans une direction dépendante de la classe éclaire ce débat d'une explication possible, à laquelle nous nous intéressons par la suite : si cette notion de projection relève du fonctionnement intrinsèque des modèles, alors ce dernier compense les contraintes imposées sur l'attention pour permettre la convergence des plongements dans la direction la plus appropriée, et cela d'autant plus facilement que le modèle possède un grand nombre de paramètres.

# 4 Un jeu entre clés, valeurs et attention

Au vu des résultats précédents, nous nous intéressons à voir si l'alignement des plongements dans une direction représentative de chaque classe dans une tâche de classification est inhérente à la couche d'auto-attention et, le cas échéant, comment l'auto-attention permet de construire cette convergence. Nous nous affranchissons pour cela du modèle pré-entraîné comme modèle de langue et utilisons ici un modèle simplifié à une seule tête d'auto-attention et dont les paramètres peuvent être estimés directement pour la tâche de classification.

## 4.1 Convergence des clés et des valeurs : un mécanisme inhérent au fonctionnement de la couche d'auto-attention

Nous nous sommes tout d'abord intéressés à comprendre le rôle joué par les clés, les valeurs et, dans une moindre mesure, les requêtes pour construire la convergence des plongements au travers des couches. Nous mesurons en particulier la convergence des clés et des valeurs au sein d'un même énoncé. Pour cela, nous introduisons une métrique de similarité des éléments d'une matrice, largement inspirée de la mesure de conicité de (Ethayarajh, 2019), et donnée par

$$ \mathrm{sim}(A) = \frac{2}{n(n-1)} \sum_{i<j} \left[ (AA^t) \cdot \frac{1}{\sqrt{\mathrm{diag}(AA^t)\mathrm{diag}(AA^t)^t}} \right] (i, j) \quad (3) $$

<footnote n="4">4. similarité correspondant à la médiane de la distribution des similarités des exemples positifs dans la figure 2b</footnote>
<table><caption>TABLE 3 – Mesure de la moyenne des similarité intra-énoncé des clés (K) et des valeurs (V). Les lignes (L) représentent le nombre de couches du modèle, les colonnes (l) représentent la couche à laquelle les mesures sont effectuées.</caption><thead><tr><th rowspan="2"></th><th rowspan="2"></th><th colspan="5">HatexPlain</th><th colspan="5">YelpHat</th><th colspan="2">E-SNLI</th></tr><tr><th>l=1</th><th>l=2</th><th>l=3</th><th>l=4</th><th>l=5</th><th>l=1</th><th>l=2</th><th>l=3</th><th>l=4</th><th>l=5</th><th>l=1</th><th>l=2</th></tr></thead><tbody><tr><td rowspan="5">A=K</td><td>L=1</td><td>0.713</td><td>-</td><td>-</td><td>-</td><td>-</td><td>0.578</td><td>-</td><td>-</td><td>-</td><td>-</td><td>0.657</td><td>-</td></tr><tr><td>L=2</td><td>0.691</td><td>0.683</td><td>-</td><td>-</td><td>-</td><td>0.649</td><td>0.556</td><td>-</td><td>-</td><td>-</td><td>0.719</td><td>0.489</td></tr><tr><td>L=3</td><td>0.698</td><td>0.688</td><td>0.841</td><td>-</td><td>-</td><td>0.597</td><td>0.431</td><td>0.537</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td>L=4</td><td>0.614</td><td>0.620</td><td>0.748</td><td>0.840</td><td>-</td><td>0.714</td><td>0.717</td><td>0.702</td><td>0.860</td><td>-</td><td>-</td><td>-</td></tr><tr><td>L=5</td><td>0.624</td><td>0.647</td><td>0.777</td><td>0.913</td><td>0.973</td><td>0.584</td><td>0.542</td><td>0.761</td><td>0.816</td><td>0.959</td><td>-</td><td>-</td></tr><tr><td rowspan="5">A=V</td><td>L=1</td><td>0.542</td><td>-</td><td>-</td><td>-</td><td>-</td><td>0.372</td><td>-</td><td>-</td><td>-</td><td>-</td><td>0.524</td><td>-</td></tr><tr><td>L=2</td><td>0.510</td><td>0.740</td><td>-</td><td>-</td><td>-</td><td>0.409</td><td>0.511</td><td>-</td><td>-</td><td>-</td><td>0.182</td><td>0.746</td></tr><tr><td>L=3</td><td>0.605</td><td>0.688</td><td>0.88</td><td>-</td><td>-</td><td>0.461</td><td>0.371</td><td>0.494</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td>L=4</td><td>0.592</td><td>0.561</td><td>0.785</td><td>0.931</td><td>-</td><td>0.429</td><td>0.613</td><td>0.803</td><td>0.904</td><td>-</td><td>-</td><td>-</td></tr><tr><td>L=5</td><td>0.606</td><td>0.673</td><td>0.858</td><td>0.958</td><td>0.992</td><td>0.417</td><td>0.624</td><td>0.780</td><td>0.9023</td><td>0.972</td><td>-</td><td>-</td></tr></tbody></table>

où $A \in \mathbb{R}^{n \times d}$ est une matrice regroupant un ensemble de n clés ou de n valeurs de dimension d, diag(A) désignant la diagonale de la matrice A. Une valeur de 1 correspond à une matrice A dont les lignes sont toutes co-linéaires, 0 correspondant à des vecteurs lignes orthogonaux, et $-1$ à des vecteurs lignes alignés dans des directions opposés$^5$. En d'autres termes, sim(A) mesure à quelle point les lignes de la matrice se concentrent dans une direction, mesurant ainsi l'étroitesse du cône défini par les clés ou les valeurs au sein d'une phrase.

Pour chacun des trois corpus e-SNLI, YelpHat et HateXplain, nous avons entraîné des modèles simplifiés à une tête d'auto-attention (plus connexion résiduelle et normalisation – cf. section 2.2) avec un nombre de couches variant de 1 à 5 pour YelpHat et HateXplain et, pour des raisons de temps de calcul, de 1 à 2 pour e-SNLI. Nous mesurons pour chacun de ces modèles et au niveau de chacune des couches la valeur moyenne de la similarité des clés et des valeurs donnée par l'équation 3 au sein d'une phrase. La moyenne est effectuée sur 1 000 énoncés choisis aléatoirement dans les données de test en respectant l'équilibre des classes. L'ensemble de ces résultats est donné dans le tableau 3 où les lignes (L) indiquent le nombre de couches du modèle, chaque colonne (l) correspondant à la mesure de similarité prise au niveau de la couche l. Le premier ensemble de valeurs correspond à la similarité moyenne des clés au sein d'une phrase ($A = K$), le second à celle des valeurs ($A = V$).

Les résultats montrent clairement que la convergence se construit bien au niveau de la couche d'auto-attention et conjointement au niveau des clés et des valeurs, avec des clés et des valeurs fortement similaires entre elles au sein d'une phrase sur la dernière couche des modèles. On note aussi qu'elle se construit progressivement, les modèles avec plus de couches permettant une convergence plus forte. Rappelons que : (a) les clés impactent en premier lieu l'attention, des clés rassemblées dans un cône étroit résultant dans une attention distribuée sur l'ensemble des *tokens* de l'énoncé ; (b) les valeurs impactent les plongements en sortie qui sont définis comme une combinaison convexe de l'ensemble des valeurs.

En résumé, dans sa quête d'alignement des plongements dans une direction correspond à une classe, la couche d'auto-attention s'appuie naturellement sur les valeurs pour assurer cette convergence. Hormis pour e-SNLI, cela s'accompagne d'une convergence des clés qui explique les observations de plusieurs études sur la distribution uniforme de l'attention.

<footnote n="5">5. Par construction des clés et des valeurs, ce cas ne peut pas arriver en théorie avec des matrices de clés ou de valeurs.</footnote>
## 4.2 Une tendance à compenser la régularisation de l'attention

Les observations précédentes nous amènent à nous interroger sur le contrôle de l'attention – par exemple pour offrir des capacités d'explication en forçant la parcimonie ou dans un cadre d'apprentissage guidé dans le cadre des approches en *rationalized learning* – et sur son impact sur la convergence des plongements *via* celle des clés et des valeurs.

Ce que nous avons observé dans les section précédentes montre que la direction prise par le plongement du *token* [CLS] est discriminante pour la tâche de classification. Cette direction est portée par les valeurs $v_j$ pour lesquels le poids d'attention $a_{0j}$ (0 étant l'indice du *token* [CLS]) est grand devant les autres. Dans la pratique, nous avons vu que les poids d'attention ont tendance à être uniformes, le *token* [CLS] étant alors le barycentre des valeurs $v_j$. En régularisant l'attention pour la rendre plus parcimonieuse, c'est-à-dire en supprimant l'uniformité des poids d'attention, nous changeons cependant la direction prise par le plongement du vecteur [CLS]. Or des études antérieurs montrent que cette opération ne change en rien la performance en classification du modèle, ce qui semble indiquer à son tour que cette régularisation n'empêche pas la convergence des plongements. Notre hypothèse est que pour compenser les contraintes imposées aux poids d'attention tout en garantissant la convergence, le modèle joue sur les valeurs en en renforçant la convergence dans un cône étroit pour une phrase donnée; ainsi, toute modification de l'attention aura un impact très limité sur le plongement résultant de la combinaison des valeurs. Une alternative réside dans l'orthogonalisation des clés afin de concentrer sur quelques *tokens* la réponse à une requête donnée.

Pour vérifier cette hypothèse, nous reprenons les expériences de régularisation introduites par Nguyen et al. (2022) où la fonction de coût à minimiser à l'apprentissage inclut une minimisation de l'entropie des poids d'attention en plus de la minimisation de l'erreur de classification. Un paramètre $\lambda$ permet de contrôler l'importance de la régularisation des poids d'attention par le critère d'entropie : plus $\lambda$ est élevé, plus les poids d'attention se concentrent sur un petit nombre de *tokens*. Nous appliquons ici cette approche sur un modèle avec un seul bloc d'auto-attention.

Le tableau 4 rapporte la similarité moyenne des clés et des valeurs ainsi que l'entropie moyenne des poids d'attention pour différentes valeurs de $\lambda$. Ces mesures mettent clairement en évidence que lorsque la régularisation prend de l'importance, la concentration des poids d'attention (mesurée par l'entropie) augmente et l'alignement dans un cône des valeurs est renforcé pour compenser et garantir la convergence des plongements finaux dans une direction dépendante de la classe. Parallèlement, ces résultats réfutent l'hypothèse d'orthogonalisation des clés pour garantir la parcimonie de l'attention. Nous avons observé que le modèle joue avant tout sur la norme des clés pour rendre l'attention parcimonieuse plutôt que sur la direction. Cette dernière remarque illustre remarquablement la capacité d'une couche d'auto-attention à tirer parti de ces différents paramètres pour compenser les contraintes qui lui sont imposées et permettre de remplir sa fonction première d'alignement des plongements dans une direction dépendante de la classe.

# 5 Discussion

Les résultats présentés dans cette étude éclairent plusieurs points sur le fonctionnement des modèles transformeurs et, en particulier, le fonctionnement de la couche d'auto-attention dans les tâches de classification d'énoncé. L'ensemble des observations indique que la concentration des plongements d'un énoncé dans une direction, phénomène observé dans plusieurs études, est inhérente au fonction-
<table><caption>TABLE 4 – Entropie moyenne des poids d'attention (H) et similarité intra-énoncé moyenne des clés (K) et des valeurs (V) pour un modèle à 1 couche en fonction de la régularisation des poids d'attention.</caption><thead><tr><th></th><th></th><th>λ = 0</th><th>λ = 0.0001</th><th>λ = 0.001</th><th>λ = 0.01</th><th>λ = 0.1</th></tr></thead><tbody><tr><td rowspan="3">Hatexplain</td><td><i>H</i></td><td>0.988</td><td>0.31</td><td>0.111</td><td>0.021</td><td>0.01</td></tr><tr><td><i>Key</i></td><td>0.745</td><td>0.669</td><td>0.687</td><td>0.732</td><td>0.727</td></tr><tr><td><i>Value</i></td><td><b>0.578</b></td><td><b>0.637</b></td><td><b>0.782</b></td><td><b>0.828</b></td><td><b>0.772</b></td></tr><tr><td rowspan="3">E-SNLI</td><td><i>H</i></td><td>0.999</td><td>0.576</td><td>0.64</td><td>0.000</td><td>0.000</td></tr><tr><td><i>Key</i></td><td>0.674</td><td>0.737</td><td>0.795</td><td>0.833</td><td>0.707</td></tr><tr><td><i>Value</i></td><td><b>0.507</b></td><td><b>0.45</b></td><td><b>0.526</b></td><td><b>0.868</b></td><td><b>0.925</b></td></tr><tr><td rowspan="3">YelpHat</td><td><i>H</i></td><td>0.47</td><td>0.48</td><td>0.57</td><td>0.49</td><td>0.07</td></tr><tr><td><i>Key</i></td><td>0.631</td><td>0.657</td><td>0.634</td><td>0.607</td><td>0.672</td></tr><tr><td><i>Value</i></td><td><b>0.303</b></td><td><b>0.391</b></td><td><b>0.375</b></td><td><b>0.366</b></td><td><b>0.483</b></td></tr></tbody></table>

nement du mécanisme d'auto-attention qui, pour la tâche de classification, cherche à « envoyer » la représentation de l'énoncé dans une direction qui dépend de la classe. Pour ce faire, le modèle utilise tous les degrés de liberté qui lui sont offerts en mettant en œuvre un jeu entre clés et valeurs : il en résulte une concentration dans une direction des clés et des valeurs. Ces dernières sont en première ligne pour garantir l'alignement des plongements, le modèle compensant les éventuelles contraintes sur les clés (ou sur l'attention) grâce aux valeurs et en jouant sur la norme des clés.

Par certains côtés, ces observations éclairent le débat sur l'utilisation de l'auto-attention pour expliquer une décision en mettant en avant les *tokens* importants dans la décision. Dans un contexte de classification d'énoncé, cette approche semble vouée à l'échec puisque le modèle cherchera forcément à construire sa convergence des plongements vers un cône donné, résultant inexorablement en une attention uniformément distribuée. La construction progressive de la convergence au travers des couches montre également que si une attention doit être utilisée pour expliquer une décision, elle est à considérer dans les premières couches du modèle avant que la convergence ne devienne trop forte.

Enfin, cet éclairage soulève de nombreuses questions sur la manière dont le modèle définit les directions correspondant à chacune des classes. Par exemple, est-ce que l'on a un comportement similaire pour les tâches d'étiquetage avec une direction par étiquette possible ? Est-ce qu'il existe un lien entre la dimension minimale/optimale de l'espace de plongement et le nombre de classe. Si l'on reste dans un contexte de classification d'énoncé, on peut également se demander si certains *tokens* sont responsables de la convergence dans une direction ou une autre, ce qui reviendrait à dire que, *in fine*, le modèle apprend les mots-clés, éventuellement dans leur contexte, qui permettent une bonne performance en classification. Se pose alors la question de comment mettre en évidence de tels mots-clés ou, de manière plus générale, celle de l'exploitation des propriétés géométriques que nous avons mises en évidence pour assurer une explication de la décision de classification.

## Références

BAI B., LIANG J., ZHANG G., LI H., BAI K. & WANG F. (2021). Why attentions may not be interpretable? In 27th Conference on Knowledge Discovery & Data Mining, p. 25–34.
BIBAL A., CARDON R., ALFTER D., WILKENS R., WANG X., FRANÇOIS T. & WATRIN P. (2022). Is attention explanation? An introduction to the debate. In *60th Annual Meeting of the Association for Computational Linguistics*, p. 3889–3900.

BOWMAN S. R., ANGELI G., POTTS C. & MANNING C. D. (2015). A large annotated corpus for learning natural language inference. In *2015 Conference on Empirical Methods in Natural Language Processing*, p. 632–642.

BROWN T., MANN B., RYDER N., SUBBIAH M., KAPLAN J. D., DHARIWAL P., NEELAKANTAN A., SHYAM P., SASTRY G., ASKELL A. et al. (2020). Language models are few-shot learners. In *Advances in neural information processing systems*, volume 33, p. 1877–1901.

CAI X., HUANG J., BIAN Y. & CHURCH K. (2021). Isotropy in the contextual embedding space : Clusters and manifolds. In *9th International Conference on Learning Representations*.

CAMBURU O.-M., ROCKTÄSCHEL T., LUKASIEWICZ T. & BLUNSOM P. (2018). e-SNLI : Natural language inference with natural language explanations. In *Advances in Neural Information Processing Systems*, volume 31, p. 9539–9549.

CARTON S., KANORIA S. & TAN C. (2022). What to learn, and how : Toward effective learning from rationales. In *Findings of the Association for Computational Linguistics*, p. 1075–1088.

CLARK K., KHANDELWAL U., LEVY O. & MANNING C. D. (2019). What does BERT look at ? An analysis of BERT's attention. In *2019 ACL Workshop BlackboxNLP : Analyzing and Interpreting Neural Networks for NLP*, p. 276–286.

CONNEAU A. & LAMPLE G. (2019). Cross-lingual language model pretraining. In *Advances in neural information processing systems*, volume 32, p. 7027–7037.

DEVLIN J., CHANG M.-W., LEE K. & TOUTANOVA K. (2019). BERT : Pre-training of deep bidirectional transformers for language understanding. In *17th Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies*, p. 4171–4186.

DEYOUNG J., JAIN S., RAJANI N. F., LEHMAN E., XIONG C., SOCHER R. & WALLACE B. C. (2020). ERASER : A benchmark to evaluate rationalized nlp models. In *Annual Meeting Association for Computational Linguistics*, p. 4443–4458.

ETHAYARAJH K. (2019). How contextual are contextualized word representations ? Comparing the geometry of BERT, ELMo, and GPT-2 embeddings. In *2019 Conference on Empirical Methods in Natural Language Processing and International Joint Conference on Natural Language Processing*, p. 55–65.

FOSSE L., NGUYEN D., SÉBILLOT P. & GRAVIER G. (2022). Une étude statistique des plongements dans les modèles transformers pour le français. In *29th Conference Traitement Automatique des Langues Naturelles*, p. 247–256.

HERNANDEZ E. & ANDREAS J. (2021). The low-dimensional linear geometry of contextualized word representations. In *25th Conference on Computational Natural Language Learning*, p. 82–93.

HTUT P. M., PHANG J., BORDIA S. & BOWMAN S. R. (2019). Do attention heads in BERT track syntactic dependencies ? Unpublished arXiv preprint 1911.12246.

JAIN S. & WALLACE B. C. (2019). Attention is not explanation. In *2019 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies*, volume 1, p. 3543–3556.

JAWAHAR G., SAGOT B. & SEDDAH D. (2019). What does BERT learn about the structure of language ? In *Annual Meeting of the Association for Computational Linguistics*, p. 3651–3657.
KOVALEVA O., ROMANOV A., ROGERS A. & RUMSHISKY A. (2019). Revealing the dark secrets of BERT. In *2019 Conference on Empirical Methods in Natural Language Processing and International Joint Conference on Natural Language Processing*, p. 4356–4365.

LIN Y., TAN Y. C. & FRANK R. (2019). Open Sesame : Getting inside BERT's linguistic knowledge. In *2019 ACL Workshop BlackboxNLP : Analyzing and Interpreting Neural Networks for NLP*, p. 241–253.

MAAS A. L., DALY R. E., PHAM P. T., HUANG D., NG A. Y. & POTTS C. (2011). Learning word vectors for sentiment analysis. In *49th Annual Meeting of the Association for Computational Linguistics : Human Language Technologies*, p. 142–150.

MATHEW B., SAHA P., YIMAM S. M., BIEMANN C., GOYAL P. & MUKHERJEE A. (2021). HateXplain : A benchmark dataset for explainable hate speech detection. In *35th AAAI Conference on Artificial Intelligence*, p. 14867–14875.

MCGUIRE E. S. & TOMURO N. (2021). Sentiment analysis with cognitive attention supervision. In *34th Canadian Conference on Artificial Intelligence*.

MOHANKUMAR A. K., NEMA P., NARASIMHAN S., KHAPRA M. M., SRINIVASAN B. V. & RAVINDRAN B. (2020). Towards transparent and explainable attention models. In *58th Annual Meeting of the Association for Computational Linguistics*, p. 4206–4216.

NGUYEN D., GRAVIER G. & SÉBILLOT P. (2021). A study of the plausibility of attention between rnn encoders in natural language inference. In *20th IEEE Intl. Conf. on Machine Learning and Applications*, p. 1–7.

NGUYEN D., GRAVIER G. & SÉBILLOT P. (2022). Filtrage et régularisation pour améliorer la plausibilité des poids d'attention dans la tâche d'inférence en langue naturelle. In *29th Conference Traitement Automatique des Langues Naturelles*, p. 95–103.

NGUYEN M. & NGUYEN T. H. (2018). Who is killed by police : Introducing supervised attention for hierarchical LSTMs. In *27th International Conference on Computational Linguistics*, p. 2277–2287.

NICULAE V. & BLONDEL M. (2017). A regularized framework for sparse and structured neural attention. In *31st International Conference on Neural Information Processing Systems*, p. 3340–3350.

PARANJAPE B., JOSHI M., THICKSTUN J., HAJISHIRZI H. & ZETTLEMOYER L. (2020). An information bottleneck approach for controlling conciseness in rationale extraction. In *2020 Conference on Empirical Methods in Natural Language Processing*, p. 1938–1952.

PRUTHI D., GUPTA M., DHINGRA B., NEUBIG G. & LIPTON Z. C. (2020). Learning to deceive with attention-based explanations. In *58th Annual Meeting of the Association for Computational Linguistics*, p. 4782–4793.

RADFORD A., NARASIMHAN K., SALIMANS T. & SUTSKEVER I. (2018). *Improving language understanding by generative pre-training*. Rapport interne, OpenAI.

REIF E., YUAN A., WATTENBERG M., VIEGAS F., COENEN A., PEARCE A. & KIM B. (2019). Visualizing and measuring the geometry of BERT. In *Advances in Neural Information Processing Systems*, volume 32, p. 8592–8600.

ROGERS A., KOVALEVA O. & RUMSHISKY A. (2020). A primer in bertology : What we know about how BERT works. *Transactions of the Association for Computational Linguistics*, **8**, 842–866.

SASAKI S., HEINZERLING B., SUZUKI J. & INUI K. (2023). Examining the effect of whitening on static and contextualized word embeddings. *Information Processing Management*, **60**(3).
SEN C., HARTVIGSEN T., YIN B., KONG X. & RUNDENSTEINER E. (2020). Human attention maps for text classification: Do humans and neural networks focus on the same words? In *60th Annual Meeting of the Association for Computational Linguistics*, p. 4596–4608.

VAN AKEN B., WINTER B., LÖSER A. & GERS F. A. (2019). How does BERT answer questions? a layer-wise analysis of transformer representations. In *28th ACM International Conference on Information and Knowledge Management*, p. 1823–1832.

VASWANI A., SHAZEER N., PARMAR N., USZKOREIT J., JONES L., GOMEZ A. N., KAISER Ł. & POLOSKHIN I. (2017). Attention is all you need. In *Advances in Neural Information Processing Systems*, volume 30, p. 6000–6010.

VOITA E., TALBOT D., MOISEEV F., SENNRICH R. & TITOV I. (2019). Analyzing multi-head self-attention: Specialized heads do the heavy lifting, the rest can be pruned. In *57th Annual Meeting of the Association for Computational Linguistics*, p. 5797–5808.

WIEGREFFE S. & PINTER Y. (2019). Attention is not not explanation. In *2019 Conference on Empirical Methods in Natural Language Processing and International Joint Conference on Natural Language Processing*, p. 11–20.
# Un traitement hybride du vague textuel : du système expert VAGO à son clone neuronal

Benjamin Icard<sup>(1)</sup>, Vincent Claveau<sup>(2)</sup>, Ghislain Atemezing<sup>(3)</sup>, Paul Égré<sup>(1)</sup>

## RÉSUMÉ

L'outil VAGO est un système expert de détection du vague lexical qui mesure aussi le degré de subjectivité du discours, ainsi que son niveau de détail. Dans cet article, nous construisons un clone neuronal de VAGO, fondé sur une architecture de type BERT, entraîné à partir des scores du VAGO symbolique sur un corpus de presse française (FreSaDa). L'analyse qualitative et quantitative montre la fidélité de la version neuronale. En exploitant des outils d'explicabilité (LIME), nous montrons ensuite l'intérêt de cette version neuronale d'une part pour l'enrichissement des lexiques de la version symbolique, et d'autre part pour la production de versions dans d'autres langues.

## ABSTRACT

A hybrid treatment of textual vagueness: enriching the expert system VAGO with a neural clone

The VAGO tool is an expert system for lexical vagueness detection that also measures the degree of subjectivity of the speech, as well as its level of detail. In this paper, we build a neural clone of VAGO, based on a BERT-like architecture, trained on symbolic VAGO scores on a French press corpus (FreSaDa). The qualitative and quantitative analysis shows the fidelity of the neural version. By exploiting explainability tools (LIME), we then show the interest of this neural version for the enrichment of the lexicons of the symbolic version, and for the production of versions in other languages.

MOTS-CLÉS: Vague - Subjectivité - Précision - Détail - Hybridation - Explicabilité.

KEYWORDS: Vagueness - Subjectivity - Precision - Detail - Hybridization - Explainability.

# 1 Introduction

L'évaluation de la qualité d'un texte ou d'un discours s'avère nécessaire dans beaucoup d'applications, lesquelles reposent alors sur une définition propre de la notion de qualité (Štajner et al., 2022). Pour un apprenant, on peut par exemple chercher à mesurer la complexité lexicale (Shardlow et al., 2021) ou syntaxique des énoncés (Chen & Zechner, 2011). On peut également mesurer la complexité conceptuelle des termes et des énoncés à destination d'un jeune public (Štajner & Hulpuş, 2018) ou la compréhensibilité de formules administratives (François et al., 2014). La lisibilité est une autre dimension largement explorée à partir d'indices divers (Collins-Thompson, 2014), allant jusqu'au rendu graphique pour certains troubles de la lecture (Rello & Baeza-Yates, 2016). S'agissant de la cohérence, on peut s'intéresser à l'enchaînement logique des énoncés, vu alors comme une tâche

<figure><img src="image_44.png" /></figure>

<footnote>(1) Institut Jean-Nicod, PSL University, 29 rue d'Ulm, 75005 Paris, France</footnote>

<footnote>(2) CNRS, IRISA, 263 Av. Général Leclerc, 35000 Rennes, France</footnote>

<footnote>(3) Mondeca, 18 rue de Londres, 75009 Paris, France</footnote>
d'entailment (Poliak, 2020). Notons enfin que ces questions de qualité de texte se posent également pour l'évaluation de systèmes de TAL produisant du texte (Celikyilmaz et al., 2020), comme le résumé automatique, la traduction, la génération de texte, la simplification, etc.

Dans cet article, nous nous intéressons à une autre dimension de qualité du discours : la notion d'informativité. Là encore, des travaux existants explorent cette notion sous différents prismes. Tewari et al. (2020) utilisent par exemple des critères de cohésion syntaxique, alors que d'autres exploitent des critères de nouveauté par rapport à un ensemble de connaissances préexistantes (Chen et al., 2018; Shibayama et al., 2021). Pour notre part, nous nous inscrivons dans une veine de travaux où la mesure du degré d'informativité consiste à évaluer le caractère plus ou moins précis ou vague du discours (Van Deemter, 2010; Égré, 2018). Plus un discours est précis, plus il est apte à être infirmé s'il est faux (Popper, 1963) ; inversement plus un discours est vague, moins il se prête à la réfutation empirique et plus il est susceptible de véhiculer des informations subjectives (Égré & Icard, 2018). Pour automatiser l'évaluation de la qualité informationnelle d'un texte, il est donc utile de détecter des indices de vague comme de précision.

Dans ce but, nous proposons ici de combiner deux approches. D'une part, nous faisons appel à un système expert de détection et de mesure du vague lexical, l'outil VAGO (Guélorget et al., 2021; Icard et al., 2022). De l'autre, nous proposons d'en créer une version neuronale afin de tester comme d'enrichir les performances du système expert. L'un des enjeux de cette méthode est d'étendre à d'autres langues que le français et l'anglais les résultats du système expert. Un autre est d'avancer dans la maîtrise de méthodes hybrides de traitement du langage.

# 2 L'outil symbolique VAGO

## 2.1 Typologie du vague et mesure du niveau de détail

VAGO mesure le vague et la subjectivité des documents à partir d'une base de données lexicales en français et en anglais (Atemezing et al., 2021). Fondée sur une typologie issue de (Égré & Icard, 2018), cette base de données propose un inventaire des termes vagues en quatre catégories : vague d'approximation ($V_A$), vague de généralité ($V_G$), vague de degré ($V_D$) et vague combinatoire ($V_C$).

Le vague d'approximation concerne principalement des modificateurs comme "environ", qui rendent moins strictes les conditions de vérité de l'expression qu'ils modifient. Le vague de généralité comprend des déterminants comme "certains", ainsi que des modificateurs comme "au plus". Contrairement aux expressions d'approximation, ces dernières ont des conditions de vérité précises. La classe des expressions relevant du vague de degré et du vague combinatoire (Alston 1964) comprend principalement des adjectifs unidimensionnels d'une part (tels que "grand", "vieux") et des adjectifs multidimensionnels d'autre part (comme "beau", "intelligent", "bon", "qualifié"). Les expressions de type $V_A$ et $V_G$ sont en outre traitées comme des expressions factuelles, et les expressions de type $V_D$ et $V_C$ comme des expressions subjectives (Kennedy, 2013; Verheyen et al., 2018; Solt, 2018).

Selon les règles de calcul de ratio détaillées en 2.2, dans la version princeps de VAGO il suffit qu'une phrase contienne au moins un marqueur de vague, respectivement de vague subjectif, pour que VAGO la considère comme vague, respectivement comme subjective<fnref n="1" />. Cependant, cette version n'offre pas

<footnote n="1">¹En plus de ces différents ratios, VAGO s'appuie sur plusieurs règles de modulation des scores de vague en fonction du</footnote>
de mesure positive pour la précision du discours: une phrase est jugée précise si elle ne contient aucun marqueur vague ; un texte est jugé précis s'il ne contient aucune phrase vague. À titre d'exemple, la version en ligne de VAGO princeps attribuera des scores de vague et de subjectivité identiques, égaux à 1, aux deux phrases suivantes<fnref n="2" />:

(a) "Roi de Naples de 1806 à 1808, puis d'Espagne de 1808-1813, il est un personnage **important** du dispositif que met en place **Napoléon** pour asseoir la souveraineté de la **France** sur l'**Europe continentale**".

(b) "Pour guérir **rapidement** de la **Covid-19** il faut prendre une **excellente** décoction de plantes".

Les phrases (a) et (b) contiennent chacune au moins un marqueur de vague également vecteur de subjectivité: un seul pour (a) avec "**important**" et deux pour (b) avec "**rapidement**" et "**excellente**". Ces phrases sont donc identiquement vagues/subjectives selon VAGO princeps. Intuitivement, pourtant, la phrase (a) qui contient neuf entités nommées (termes soulignés dans la phrase) est plus informative que la phrase (b) qui ne contient qu'une seule entité nommée ("Covid-19") et renferme donc moins de détails que (a). Pour combler cette lacune, la version princeps de VAGO est enrichie ici d'un score de détail fondée sur la part relative des entités nommées comparées aux expressions vague.

## 2.2 Scores VAGO : vague, subjectivité, détail

Actuellement, VAGO permet de mesurer le score de vague, de subjectivité et le niveau de détail de documents anglais ou français. La détection du vague et de la subjectivité s'appuie sur la base de donnée princeps comportant actuellement 1 640 termes dans les deux langues (Atemezing et al., 2022), répartis comme suit par catégorie de vague : $|V_A| = 9$, $|V_G| = 18$, $|V_D| = 43$ et $|V_C| = 1570$. Dans le cas du niveau de détail, la détection se fonde sur l'identification des entités nommées par spaCy<fnref n="3" /> (personnes, localités, indications temporelles, institutions, nombres). Pour chaque mesure, les marqueurs caractéristiques sont détectés et notés des mots vers les phrases, puis des phrases vers les textes.

Pour une phrase $\phi$ donnée, son score de vague est défini comme le rapport entre le nombre de mots vagues dans $\phi$ et le nombre total de mots dans la phrase $N_{\phi}$ :

$$R_{vague}(\phi) = \frac{\underbrace{|V_D|_{\phi} + |V_C|_{\phi}}_{\textit{subjectif}} + \underbrace{|V_A|_{\phi} + |V_G|_{\phi}}_{\textit{factuel}}}{N_{\phi}} \quad (1)$$

où $|V_A|_{\phi}$, $|V_G|_{\phi}$, $|V_D|_{\phi}$ et $|V_C|_{\phi}$ représentent le nombre de termes dans $\phi$ relevant de chacune des quatre catégories de vague (approximation, généralité, vague de degré et vague combinatoire). Plus finement, le score de subjectivité d'une phrase est calculé comme le rapport entre les expressions vagues subjectives et le nombre total de mots de la phrase. On peut calculer un score de vague factuel

<footnote>contexte (voir Icard et al., 2022).</footnote>

<footnote n="2">²La phase (a) est tirée de l'article Wikipédia sur Joseph Bonaparte, tandis que la phrase (b) est inspirée d'une fausse nouvelle ou "fake news".</footnote>

<footnote n="3">³https://spacy.io/</footnote>
identiquement avec les expressions de généralité et d'approximation (cf. sections 3 et 4) :

$$R_{subjectif}(\phi) = \frac{|V_D|_{\phi} + |V_C|_{\phi}}{N_{\phi}} \qquad R_{vague factuel}(\phi) = \frac{|V_A|_{\phi} + |V_G|_{\phi}}{N_{\phi}} \qquad (2)$$

Le score de détail d'une phrase peut être défini comme le ratio $R_{detail}(\phi) = \frac{|P|_{\phi}}{N_{\phi}}$, où $|P|_{\phi}$ désigne le nombre d'entités nommées de la phrase (termes référentiels). Par extension, si $|V|_{\phi}$ désigne le nombre de termes vagues d'une phrase (toutes catégories confondues), on définit le score de détail/vague d'une phrase comme la part relative des entités nommées, soit :

$$R_{détail/vague}(\phi) = \frac{|P|_{\phi}}{|P|_{\phi} + |V|_{\phi}} \qquad (3)$$

Dans l'exemple précédent, on peut vérifier que $R_{détail/vague}(a) = 9/10$, alors que $R_{détail/vague}(b) = 1/3$, ce qui donne une meilleure mesure du caractère plus informatif de (a).

Pour des ensembles de phrases, ou textes T, les scores de vague de T (respectivement de vague subjectif, ou de vague factuel) sont définis comme la proportion de phrases de T dont le score de vague (resp. subjectif, ou factuel) sont non nuls. Le score de détail/vague de T, lui, est défini comme la moyenne des ratios $R_{détail/vague}$ de chacune des phrases de T.

## 2.3 Implémentation des mesures

En terme d'ingénierie, VAGO s'appuie sur GATE (Cunningham, 2002) pour le traitement des corpus. L'algorithme exploite également l'annotateur de contenu sémantique CA-Manager (Cherfi et al., 2013) qui sert à extraire des connaissances à partir de données non structurées. En l'état, VAGO détecte automatiquement la langue du corpus (anglais ou français) à l'aide du module TextCat<fnref n="4" />. La version neuronale de VAGO présentée en section 3 utilise spaCy pour la détection des entités nommées.

L'outil VAGO en ligne, disponible sur le site de Mondeca<fnref n="5" />, présente les fonctionnalités de VAGO dans sa version princeps. Le site propose une interface graphique pour mesurer les scores de vague et de subjectivité de textes sous la forme de deux baromètres. Le premier baromètre représente le degré de vague d'un texte (défini comme $R_{vague}(T)$) tandis que le second baromètre indique le degré auquel le texte rapporte une opinion plutôt qu'un fait, autrement dit la proportion de vocabulaire subjectif au sein du texte (défini comme $R_{subjectif}(T)$).

## 2.4 Test de VAGO sur la presse française

VAGO a été testé sur le corpus français “FreSaDa”<fnref n="6" /> (Ionescu & Chifu, 2021) composé de 11 570 articles de presse répartis en deux classes supposées homogènes : 5 648 articles “réguliers” et provenant de la presse française généraliste, sans faire de présupposition sur leur vérité ou leur

<footnote n="4">⁴https://www.let.rug.nl/vannoord/TextCat/index.html</footnote>

<footnote n="5">⁵https://research.mondeca.com/demo/vago/</footnote>

<footnote n="6">⁶https://github.com/adrianchifu/FreSaDa</footnote>
fausseté, versus 5 922 articles "satiriques" et explicitement faux à ce titre. Au sein du corpus total, VAGO a traité 10 969 articles des 11 570 articles initiaux, — les 601 articles restants ayant été écartés car ils ne relèvent pas d'un format adéquat pour être traité par l'outil (mots isolés, mots-clés, phrases incomplètes, etc.). Les résultats fournis par VAGO sont rapportés en Figure 1.

<figure><img src="image_45.png" /><figcaption>Figure 1: Ratios moyens par article du corpus FreSaDa selon VAGO.</figcaption></figure>

Selon VAGO, les articles du corpus satirique sont significativement *plus vagues* (p = 4.99 × 10⁻¹¹), *plus subjectifs* (p = 1.69 × 10⁻⁹) et *moins détaillés* (p = 3.36 × 10⁻²²) que les articles du corpus de presse régulier (scores calculés par textes ; t-tests bilatéraux, α = 0.05, avec correction de Bonferroni). Ces résultats sont conformes aux attentes et corroborent les résultats obtenus antérieurement avec VAGO sur des textes en anglais (Guélorget et al., 2021). En outre, des expériences non rapportées dans cet article montrent que les ratios calculés par VAGO, utilisés en entrée d'un classifieur, permettent de distinguer les documents selon leur catégorie *légitime* ou *biaisée* avec une grande précision.

# 3 La version neuronale VAGO-N

À partir d'une architecture BERT (Devlin et al., 2018), nous présentons ici une version neuronale VAGO-N de la version symbolique VAGO décrite précédemment. Cette version neuronale vise à dépasser certaines limites de VAGO et à ouvrir la voie à plusieurs développements que nous présentons dans la section suivante.

## 3.1 Apprentissage du clone VAGO-N

L'architecture BERT est associée à une couche de régression ainsi qu'à une fonction de perte MSE afin de prédire un score associé à un texte ; nous testons les deux type de vague : subjectif ou factuel. Par souci de complétude, nous testons également la prédiction du score $R_{détail}$, mais ce score peut être plus simplement calculé à partir d'un système de reconnaissance d'entités nommées ; nous n'y revenons donc pas dans les expériences suivantes. Comme pour une tâche de distillation, VAGO est donc utilisé pour associer un score de vague aux phrases d'un corpus et entraîner ainsi un système neuronal.
Dans les expériences rapportées, 106 000 phrases sont tirées aléatoirement des 10 969 articles du corpus FreSaDa traités par VAGO, et sont classiquement divisées en jeu d'entraînement (85 000 phrases) et de test (21 000 phrases). Nous utilisons un modèle RoBERTa Large (Batch Size=30 ; Learning Rate=1e-6 ; Epochs=20) ; des expériences non détaillées ici avec un modèle CamemBERT (Martin et al., 2019) fournissent des résultats légèrement inférieurs.

Les performances sont rapportées en Table 1 avec les mesures standard de régression : l'erreur quadratique moyenne (RMSE), le coefficient de détermination ($R^2$), l'erreur absolue moyenne (MAE) et l'erreur absolue médiane (MedAE). Toutes ces mesures montrent que VAGO-N réplique avec une grande précision les scores du VAGO symbolique. La tâche de détection de la subjectivité semble un peu plus difficile que celle du vague factuel.

<table><caption>Table 1: Résultats de régression de VAGO-N sur les phrases du corpus FreSaDa (français) pour les scores de vague subjectif, de vague factuel et de détail par rapport au vague.</caption><thead><tr><th></th><th>RMSE</th><th>R<sup>2</sup></th><th>MAE</th><th>MedAE</th></tr></thead><tbody><tr><td>vague subjectif</td><td>0.022063</td><td>0.859897</td><td>0.014518</td><td>0.009488</td></tr><tr><td>vague factuel</td><td>0.008745</td><td>0.949339</td><td>0.004124</td><td>0.001730</td></tr><tr><td>détail/vague</td><td>0.097008</td><td>0.882543</td><td>0.051396</td><td>0.012367</td></tr></tbody></table>

## 3.2 Comparaison des versions de VAGO

L'évaluation quantitative précédente indique que VAGO-N réplique assez fidèlement le comportement général de VAGO. Il est intéressant de vérifier de manière plus qualitative que cette version neuronale s'appuie bien sur les mêmes indices lexicaux que la version symbolique.

Pour cela, nous utilisons l'outil d'explicabilité LIME (Ribeiro et al., 2016). Appliqué aux sorties de VAGO-N, LIME permet d'identifier les tokens qui contribuent le plus (ou le moins) au score de vague d'un texte donné. Dans le cas d'une phrase en français, un exemple de sortie de LIME concernant le cas du vague subjectif est fourni en Figure 2. Avec cet outil, nous examinons les cas où les prédicitions (scores de vague) de VAGO-N divergent le plus de celles de VAGO.

<figure><img src="image_46.png" /><figcaption>Figure 2: Exemple de sortie de LIME sur une phrase du corpus FreSaDa traitée par VAGO-N. La catégorie notée neutre correspond à la catégorie inverse du vague, contribuant négativement au score de vague.</figcaption></figure>

L'étude de ces cas d'erreurs fait ressortir plusieurs points. Concernant les écarts de prédiction entre VAGO et VAGO-N sur le vague factuel, la très grande majorité des termes identifiés comme contribuant
le plus fortement à la prédiction de VAGO-N figurent déjà au sein du lexique français de VAGO, aussi bien pour le vague de généralité $V_G$ (e.g. “tout/tous/toutes”, “jamais”, “ou”, “général”, “quelques”, “certains/certaines”), que pour le vague d’approximation (“environ”, “presque”). Les indices de vague factuel repérés sont corrects mais leur poids dans le score final de VAGO-N diffère du calcul effectué par le VAGO initial qui n’établit pas de pondération. Cette différence de poids attribuée par VAGO-N peut résulter de mots d’autres catégories morpho-syntaxiques (les lexiques de VAGO se focalisant sur les adjectifs et adverbes) qui viennent amplifier ou amoindrir le score de vague factuel résultant.

De manière similaire, dans le cas du vague subjectif, LIME appliqué à VAGO-N relève des adjectifs et des termes d'outrance déjà présents dans le lexique existant, soit au sein du vague combinatoire pour majorité (e.g. “négatif”, “affirmatif”, “intéressant”, “fortement”, “difficile”, “probablement”, “vrai”, “stupide”, “vraiment”), soit au sein du vague de degré (“petit”). LIME identifie également d'autres adjectifs porteurs de vague combinatoire qui ne figurent pas encore dans le lexique mais sont voués à y figurer (e.g. “durable”, “particulièrement”, “ringard”, “actuel”), avec toutefois des exceptions (“sabbatique”); nous y revenons dans la section suivante.

# 4 Extensions des approches VAGO

La section précédente montre qu'il est possible de construire un équivalent de la version française de VAGO par apprentissage. Cela permet d'explorer plusieurs développements que nous présentons dans les deux sous-sections suivantes : l'enrichissement de la base lexicale au cœur de VAGO, et la construction de systèmes de détection du vague pour d'autres langues.

## 4.1 Validation et enrichissement du VAGO symbolique

Comme nous l'avons vu précédemment, pour chaque token $t$ dans un texte, LIME fournit un score de contribution de $t$ à la prédiction de vague (subjectif ou factuel) du texte que nous notons $c_{occ}(t)$. Dans le cas d'une phrase, plus un terme $t$ reçoit un score $c_{occ}(t)$ élevé, plus il contribue positivement au score de vague de cette phrase.

En appliquant LIME aux phrases des 10 969 articles du corpus FreSaDa traités par VAGO et exploités dans VAGO-N, nous collectons les scores de contribution $c_{occ}$ de toutes les occurrences de tous les tokens figurant au sein de ces phrases. Pour obtenir un score global $c_{tok}(t)$ par token $t$, nous sommons et normalisons les $c_{occ}$ par le nombre total d'occurrences de chaque token noté ici $|occ_t|$ : $c_{tok}(t) = \frac{1}{|occ_t|} \sum_{o \in occ_t} c_{occ}(o)$. Notre hypothèse est que des termes du lexique de VAGO devraient se retrouver prioritairement parmi les tokens recevant les $c_{tok}$ les plus élevés. À cet égard, nous calculons les précisions statistiques P@i (vrais positifs/(vrais+faux positifs)) sur la liste des tokens ordonnées par $c_{tok}$ décroissants. À noter qu'un token est pris en compte s'il est une flexion d'un terme du lexique VAGO. Les résultats sont recensés en Table 2.

La Figure 3 présente la courbe ROC reliant le score $c_{tok}$ à la présence au sein du lexique VAGO. Ces résultats établissent le bien-fondé de notre hypothèse. Ainsi, VAGO-N, bien qu'entraîné uniquement sur des phrases et leur score, est capable de reconstruire le lexique au cœur de la version symbolique.

De plus, nous avons examiné les 100 tokens détenteurs des $c_{tok}$ les plus élevés pour le vague
<table><caption>Table 2: Comparaison de la précision obtenue à différents seuils de la liste de tokens du lexique VAGO ordonnée par $c_{tok}$.</caption><thead><tr><th></th><th>P@5</th><th>P@10</th><th>P@20</th><th>P@30</th><th>P@100</th><th>P@200</th></tr></thead><tbody><tr><td>vague subjectif</td><td>1.00</td><td>1.00</td><td>0.95</td><td>0.93</td><td>0.81</td><td>0.79</td></tr><tr><td>vague factuel</td><td>1.00</td><td>1.00</td><td>1.00</td><td>0.93</td><td>0.31</td><td>0.16</td></tr></tbody></table>

<figure><img src="image_47.png" /><figcaption>Figure 3: Courbe ROC de $c_{tok}$ comme indicateur de présence dans le lexique français de VAGO ; a) correspond au vague subjectif, b) au vague factuel.</figcaption></figure>

subjectif : outre les 81 bien présents dans le lexique, quelques formes verbales sont listées. Bien que considérés comme des faux positifs (les lexiques VAGO actuels ne recensant que les adjectifs et adverbes), leur pertinence peut être discutée. Dans les tokens restants, sept mots absents ont été validés comme pertinents et méritant d'être intégrés dans les lexiques. Cette liste contient quatre adverbes ("également", "seulement", "particulièrement", "clairement") pour lesquels la base de données VAGO contient les adjectifs racines dans deux cas ("particulier", "clair"); un verbe d'action ("faire"); un adjectif pouvant également être un nom ("droit/droite"); et un nom ("nombre"). On note également la détection de formes non standard de termes présents dans le lexique ("difficille", "pauv"), illustrant la robustesse de l'approche neuronale sur du texte bruité (coquille, abréviation...). Les résultats obtenus valident le clone neuronal VAGO-N qui retrouve les indices lexicaux du système expert VAGO tout en permettant d'en identifier de nouveaux ou des formes non standard.

## 4.2 Développement de VAGO-N multilingues

Le développement de versions symboliques de VAGO pour d'autres langues implique de disposer de lexiques de vague dans les langues cibles. Cependant, la traduction automatique de ces lexiques n'est pas possible en raison du caractère idiomatique et hors contexte des listes d'expressions en jeu.
<table><caption>Table 3: Résultats de régression de VAGO-N sur les phrases du corpus FreSaDa (traduites automatiquement en anglais) concernant les scores de vague subjectif et de vague factuel.</caption><thead><tr><th></th><th>RMSE</th><th>R<sup>2</sup></th><th>MAE</th><th>MedAE</th></tr></thead><tbody><tr><td>vague subjectif</td><td>0.031801</td><td>0.708915</td><td>0.022865</td><td>0.016807</td></tr><tr><td>vague factuel</td><td>0.016990</td><td>0.808772</td><td>0.009582</td><td>0.004172</td></tr></tbody></table>

<table><caption>Table 4: Comparaison de la précision obtenue à différents seuils de la liste de tokens ordonnée par $c_{tok}$ en fonction du lexique VAGO.</caption><thead><tr><th></th><th>P@5</th><th>P@10</th><th>P@20</th><th>P@30</th><th>P@100</th><th>P@200</th></tr></thead><tbody><tr><td>vague subjectif</td><td>0.80</td><td>0.90</td><td>0.90</td><td>0.93</td><td>0.90</td><td>0.84</td></tr><tr><td>vague factuel</td><td>1.00</td><td>0.80</td><td>0.55</td><td>0.50</td><td>0.26</td><td>0.14</td></tr></tbody></table>

Cela étant, il est possible de traduire le jeu d'entraînement de VAGO-N en faisant l'hypothèse suivante : les scores de vague, en particulier de vague subjectif et de vague factuel, sont conservés de la langue source vers la langue cible. Pour commencer, le corpus FreSaDa a été traduit du français vers l'anglais en utilisant le modèle Helsinki-NLP/opus-mt-fr-en<fnref n="7" /> (Tiedemann & Thottingal, 2020). Ensuite, VAGO-N a été entraîné à prédire les scores de vague subjectif et de vague factuel sur ce corpus en anglais (en utilisant les mêmes hyper-paramètres que pour l'entraînement de VAGO-N sur le français). Les résultats de régression sont similaires à ceux obtenus pour le français, et présentés en Table 3.

En appliquant la même approche qu'en sous-section 4.1, nous isolons la liste des tokens ordonnées par $c_{tok}$ décroissants, puis la comparons au lexique anglais de VAGO servant ainsi de vérité-terrain. La précision de cette liste mesurée à différents seuils est rapportée en Table 4. Les courbes ROC correspondantes sont présentées en Figure 4.

Nous collectons également les 100 termes anglais les plus porteurs de vague selon VAGO-N. Ces termes sont comparés à ceux du lexique anglais de la version symbolique : 90 termes figurent déjà au sein du lexique anglais de VAGO.

Parmi les termes de rang le plus élevé parmi les 100 premiers qui ne figurent pas dans VAGO, on trouve cinq adjectifs ou adverbes ayant vocation à figurer dans le vague combinatoire ("likely", "full", "complicated", "frankly", "enough"), un modal ("must"), qu'il est également sensé d'intégrer étant donné la présence de "should" dans le lexique VAGO. Quatre termes en revanche ne relèvent pas clairement du vague ("course", "lost", "lose" et "finally"), sauf éventuellement le premier (occurrences de "of course" dont l'usage est subjectif). Parmi les 100 termes suivants, tous les termes qui ne figurent pas dans VAGO sont des adjectifs pouvant figurer dans la catégorie $V_C$ ("worse", "complex", etc.).

<footnote n="7">⁷https://huggingface.co/Helsinki-NLP/opus-mt-fr-en</footnote>
<figure><img src="image_48.png" /><figcaption>Figure 4: Courbe ROC de $c_{tok}$ comme indicateur de présence dans le lexique anglais de VAGO ; a) correspond au vague subjectif, b) au vague factuel à partir de textes traduits en anglais.</figcaption></figure>

# 5 Conclusion

Dans cet article, nous sommes partis d'un système expert de détection du vague, l'outil VAGO, qui associe à des textes des scores de vague, de subjectivité, et de niveau de détail/vague, et nous avons ensuite créé un clone neuronal de VAGO fondé sur BERT. À la différence de VAGO, VAGO-N est entraîné uniquement à partir des scores de VAGO, sans connaître le lexique sous-jacent à cette version symbolique. En utilisant LIME, il apparaît que les termes dont la contribution aux scores du VAGO-N sont les plus élevés sont ou bien des termes figurant dans VAGO, ou des termes ayant majoritairement vocation à y figurer. Ce résultat suggère que les décisions de VAGO-N s'expliquent dans une large mesure à partir des items lexicaux identifiés par le VAGO symbolique. On a pu monter l'intérêt de ces croisements entre système symbolique et neuronal : une fois appris, VAGO-N permet de compléter les lexiques du VAGO symbolique, il permet de produire facilement des versions neuronales dans d'autres langues, et rend possible des versions symboliques dans ces langues en produisant les lexiques nécessaires.

Beaucoup de pistes restent à explorer. Il serait notamment intéressant de comparer les indices lexicaux trouvés par LIME dans un classifieur entrainé à distinguer directement les types de documents de FreSada (ou d'autres corpus pour la détection de Fake News) et ceux obtenus par notre approche, que nous espérons plus génériques. Une autre piste que nous souhaitons explorer pour mesurer la part de généricité de notre approche serait de masquer les entités nommées dans un texte pour voir si les scores de VAGO-N restent stables avant et après ce masquage, et pour déterminer la part revenant proprement au lexique VAGO (et qui ne contient pas d'entités nommées) dans la décision du VAGO-N. Le système expert VAGO est par définition un système rigide qui ne différencie par le caractère plus ou moins vague d'un terme selon le contexte. Prenons un terme comme "affirmatif": le fait pour une phrase d'être "affirmative" n'est pas vague, en revanche si une personne est dite "très affirmative",
alors “*affirmatif*” revêt un sens vague et évaluatif. À la différence de VAGO, VAGO-N est capable de différencier les scores de contribution de ces différentes occurrences d’un terme. Parmi les questions que nous réservons à un examen ultérieur, il serait particulièrement fructueux d’examiner la variabilité des scores de termes vagues selon les différents contextes dans lesquels ils apparaissent. La question se pose plus généralement pour BERT, de savoir si les plongements des termes vagues manifestent une dispersion plus grande que les plongements des termes fonctionnels et précis du lexique.

## Remerciements

Nous remercions deux rapporteurs pour leur commentaires, ainsi que Guillaume Gravier (CNRS – IRISA) pour son retour et ses suggestions sur la version préliminaire de cet article. Ce travail a été réalisé dans le cadre du programme HYBRINFOX (ANR-21-ASIA-0003) (CNRS, IRISA, Mondeca, Airbus). PE et BI remercient également le programme ANR-17-EURE-0017 (FrontCog), et PE le programme PLEXUS (Marie Skłodowska-Curie Action, Horizon Europe Research and Innovation Programme, grant agreement n°101086295).

# 6 Bibliographie

ALSTON W. P. (1964). *Philosophy of Language*. Prentice Hall.

ATEMEZING G., ICARD B. & ÉGRÉ P. (2021). Multilingual gazetteers to detect vagueness in textual documents. DOI: 10.5281/zenodo.4718530.

ATEMEZING G., ICARD B. & ÉGRÉ P. (2022). Vague Terms in SKOS to detect vagueness in textual documents. DOI: 10.5281/zenodo.4718530.

CELIKYILMAZ A., CLARK E. & GAO J. (2020). Evaluation of text generation: A survey. DOI: 10.48550/ARXIV.2006.14799.

CHEN D., MA S., YANG P. & SUN X. (2018). Identifying high-quality chinese news comments based on multi-target text matching model. DOI: 10.48550/ARXIV.1808.07191.

CHEN M. & ZECHNER K. (2011). Computing and evaluating syntactic complexity features for automated scoring of spontaneous non-native speech. In *Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies*, p. 722–731, Portland, Oregon, USA: Association for Computational Linguistics.

CHERFI H., COSTE M. & AMARDEILH F. (2013). CA-manager: a middleware for mutual enrichment between information extraction systems and knowledge repositories. In *4th workshop SOS-DLWD*, p. 15–28.

COLLINS-THOMPSON K. (2014). Computational assessment of text readability: A survey of current and future research. *ITL - International Journal of Applied Linguistics, 165*, 97–135. DOI: 10.1075/itl.165.2.01col.

CUNNINGHAM H. (2002). GATE, a general architecture for text engineering. *Computers and the Humanities, 36*(2), 223–254. DOI: 10.1023/A:1014348124664.
DEVLIN J., CHANG M.-W., LEE K. & TOUTANOVA K. (2018). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. *arXiv:1810.04805 [cs]*.

ÉGRÉ P. (2018). *Qu'est-ce que le vague?* Vrin.

ÉGRÉ P. & ICARD B. (2018). Lying and vagueness. In J. MEIBAUER, Éd., *Oxford Handbook of Lying*. OUP.

FRANÇOIS T., BROUWERS L., NAETS H. & FAIRON C. (2014). AMESURE: a readability formula for administrative texts (AMESURE: une plateforme de lisibilité pour les textes administratifs) [in French]. In *Proceedings of TALN 2014 (Volume 2: Short Papers)*, p. 467–472, Marseille, France: Association pour le Traitement Automatique des Langues.

GUÉLORGET P., ICARD B., GADEK G., GAHBICHE S., GATEPAILLE S., ATEMEZING G. & ÉGRÉ P. (2021). Combining vagueness detection with deep learning to identify fake news. In *Proceedings of 24th International Conference on Information Fusion*, p. 8.

ICARD B., ATEMEZING G. & ÉGRÉ P. (2022). VAGO: un outil en ligne de mesure du vague et de la subjectivité. In *Conférence Nationale sur les Applications Pratiques de l'Intelligence Artificielle (PFIA 2022)*, p. 68–71.

IONESCU R.-T. & CHIFU A.-G. (2021). FreSaDa: A french satire data set for cross-domain satire detection. In *The International Joint Conference on Neural Network, IJCNN 2021, IJCNN2021*.

KENNEDY C. (2013). Two sources of subjectivity: Qualitative assessment and dimensional uncertainty. *Inquiry*, **56**(2-3), 258–277.

MARTIN L., MULLER B., SUÁREZ P. J. O., DUPONT Y., ROMARY L., DE LA CLERGERIE É. V., SEDDAH D. & SAGOT B. (2019). CamemBERT: a tasty french language model. *arXiv preprint arXiv:1911.03894*.

POLIAK A. (2020). A survey on recognizing textual entailment as an NLP evaluation. In *Proceedings of the First Workshop on Evaluation and Comparison of NLP Systems*, p. 92–109, Online: Association for Computational Linguistics. DOI: 10.18653/v1/2020.eval4nlp-1.10.

POPPER K. R. (1963). *Conjectures and refutations: the growth of scientific knowledge*. New York: Basic Books.

RELLO L. & BAEZA-YATES R. (2016). The effect of font type on screen readability by people with dyslexia. *ACM Trans. Access. Comput.*, **8**(4). DOI: 10.1145/2897736.

RIBEIRO M. T., SINGH S. & GUESTRIN C. (2016). "Why Should I Trust You?": Explaining the Predictions of Any Classifier. In *Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining*, KDD '16, p. 1135–1144, New York, NY, USA: Association for Computing Machinery. DOI: 10.1145/2939672.2939778.

SHARDLOW M., EVANS R., PAETZOLD G. H. & ZAMPIERI M. (2021). SemEval-2021 task 1: Lexical complexity prediction. In *Proceedings of the 15th International Workshop on Semantic Evaluation (SemEval-2021)*, p. 1–16, Online: Association for Computational Linguistics. DOI: 10.18653/v1/2021.semeval-1.1.

SHIBAYAMA S., YIN D. & MATSUMOTO K. (2021). Measuring novelty in science with word embedding. *PLoS ONE*, **16**(7). DOI: 10.1371/journal.pone.0254034.
SOLT S. (2018). Multidimensionality, subjectivity and scales: Experimental evidence. In E. CASTROVIEJO, L. MCNALLY & G. SASSOON, Éds., *The Semantics of Gradability, Vagueness, and Scale Structure*, p. 59–91. Springer.

ŠTAJNER S. & HULPUŞ I. (2018). Automatic assessment of conceptual text complexity using knowledge graphs. In *Proceedings of the 27th International Conference on Computational Linguistics*, p. 318–330, Santa Fe, New Mexico, USA: Association for Computational Linguistics.

ŠTAJNER S., SAGGION H., FERRÉS D., SHARDLOW M., SHEANG K. C., NORTH K., ZAMPIERI M. & XU W., Éds. (2022). *Proceedings of the Workshop on Text Simplification, Accessibility, and Readability (TSAR-2022)*, Abu Dhabi, United Arab Emirates (Virtual). Association for Computational Linguistics.

TEWARI M., BENSCH S., HELLSTRÖM T. & RICHTER K.-F. (2020). Modelling grice’s maxim of quantity as informativeness for short text. In:, p. 1–7.

TIEDEMANN J. & THOTTINGAL S. (2020). OPUS-MT — Building open translation services for the World. In *Proceedings of the 22nd Annual Conference of the European Association for Machine Translation (EAMT)*, Lisbon, Portugal.

VAN DEEMTER K. (2010). *Not exactly: In praise of vagueness*. OUP Oxford.

VERHEYEN S., DEWIL S. & ÉGRÉ P. (2018). Subjectivity in gradable adjectives: The case of *tall* and *heavy*. *Mind & Language*, **33**(5), 460–479.
# Uniformité de la densité informationnelle:
le cas du redoublement du sujet

Yiming Liang¹ Pascal Amsili² Heather Burnett¹

(1) Laboratoire de linguistique formelle, Université Paris Cité/CNRS, Paris, France

(2) Laboratoire Lattice, CNRS/PSL-ENS/Sorbonne Nouvelle, Paris, France

yiming.liang@etu.u-paris.fr, pascal.amsili@ens.fr

heather.susan.burnett@gmail.com

## RÉSUMÉ

Nous présentons les résultats d'une expérience visant à savoir si la densité d'information (ou de surprise) affecte le redoublement du sujet dans des conversations spontanées. En utilisant la version française de GPT, nous estimons la surprise lexicale du sujet NP étant donné un contexte précédent et vérifions si la surprise du sujet affecte son redoublement. L'analyse de régression à effet mixte montre que, en plus des facteurs qui ont été montrés comme affectant le redoublement du sujet dans la littérature, la prévisibilité du sujet nominal est un prédicteur important du non-redoublement. Les sujets nominaux moins prédictibles tendent à être redoublés par rapport à ceux qui sont plus prédictibles. Notre travail confirme l'intérêt de l'hypothèse de l'Uniformité de la densité informationnelle (UID) pour le français et illustre l'opérationalisation de la densité informationnelle à l'aide de grands modèles neuronaux de langage.

## ABSTRACT

**The Uniform Information Density Hypothesis : the case of subjet-doubling in French**

We present the results of an experiment investigating whether information density affects subject doubling in conversations in French. Using the French version of GPT, we estimate the lexical surprisal of the subject NP subject given a certain left context and verify whether the surprisal of the subject affects its doubling. A Mixed effect regression analysis shows that, in addition to factors that have been shown to affect subject doubling in the literature, the predictability of the NP is an important predictor of subject doubling. Less predictable NPs tend to be more often doubled with a clitic than more predictable ones. Our work thus provides additional support to the Uniform Information Density (UID) hypothesis in French and points to a way to the operationalization of information density with the help of large neural language models.

**MOTS-CLÉS** : uniformité de la densité informationnelle, redoublement du sujet, surprise, français oral, modèle Tranformer Génératif Pré-entraîné (GPT).

**KEYWORDS:** Uniform Information Density, subject doubling, surprisal, spoken French, Generative Pre-trained Transformer (GPT).

# 1 Introduction

Le redoublement du sujet à l'oral (1) est un phénomène fréquent en français, en particulier à l'oral, et il est conditionné par de nombreux paramètres linguistiques, qui vont de la phonologie à la structure

<figure><img src="image_49.png" /></figure>
informationnelle.

(1) Marie, elle, m'a prêté son vélo.

Ce phénomène se caractérise aussi par le fait qu’il n’apporte en général pas d’information nouvelle, les locuteurs ont donc le choix entre deux constructions sémantiquement comparables. Ce genre de phénomène d’alternance, que l’on peut aussi observer à propos de l’ordre des mots par exemple (2-a) vs. (2-b), est un terrain privilégié pour étudier l’influence d’un principe cognitif qui s’est révélé pertinent dans de nombreuses études (Maurits et al., 2010; Cuskley et al., 2021, parmi d’autres), le principe selon lequel les locuteurs choisissent la version qui uniformise la densité informationnelle de l’énoncé (hypothèse UID, définie et illustrée à la section 2).

(2) a. J’ai donné ce livre à Jade.

b. J’ai donné à Jade ce livre.

Le travail que nous présentons dans cet article s’inscrit dans cette lignée, et il vise à étudier la façon dont ce principe peut contribuer à expliquer les choix des locuteurs. À partir de corpus oraux récents annotés, nous proposons un modèle de régression logistique intégrant tous les facteurs connus pour avoir une influence sur le redoublement du sujet. Nous montrons que prendre en compte la dimension d’uniformité de la densité informationnelle augmente la capacité prédictive du modèle, ce qui conforte l’intérêt de cette hypothèse pour expliquer le phénomène.

Nous présentons à la section 2 l'hypothèse elle-même, et évoquons quelques travaux qui ont proposé de la prendre en compte. Le phénomène du redoublement du sujet fait l'objet de la section 3, où nous détaillons les variables dont l'influence a été établie, et proposons un premier modèle de régression logistique. Nous montrons à la section 4 qu'en formulant la densité informationnelle au moyen d'une probabilité obtenue par un modèle de langue, et en intégrant cette variable dans le modèle, on prédit mieux le redoublement du sujet. Les limites et perspectives ouvertes par cette étude sont présentées à la section 5.

## 2 L'hypothèse de l'uniformité de la densité informationnelle

Densité informationnelle

<figure><img src="image_50.png" /><figcaption>FIGURE 1 – Bonne utilisation du canal.</figcaption></figure>

Densité informationnelle

<figure><img src="image_51.png" /><figcaption>FIGURE 2 – Mauvaise utilisation du canal.</figcaption></figure>

L'hypothèse de l'uniformité de la densité informationnelle (Uniform Information Density, UID) (Levy & Jaeger, 2007; Jaeger, 2010) pose que, dans la mesure où la grammaire le permet, les locuteurs distribuent l'information de la façon la plus homogène possible au sein d'une phrase. L'intuition
qui sous-tend cette hypothèse est double : d'une part, la communication peut être vue comme une transmission d'information à travers un canal bruité et limité par nos ressources cognitives, ce qui peut donner lieu à des erreurs, voire à l'échec de la transmission du message initial. Pour augmenter les chances de succès de la communication, il est préférable que l'information transmise à chaque unité de temps ne dépasse pas la limite de la capacité du canal (illustrée par une ligne noire dans les figures 1 et 2). D'autre part, une communication efficace suppose que le canal de communication ne soit pas sous-employé, et par conséquent qu'un niveau minimal d'informativité soit garanti. La figure 1 représente l'évolution de la densité informationnelle au cours du temps et illustre une communication proche de l'idéal selon UID, par constraste avec une utilisation sous-optimale illustrée à la figure 2.

On se place ici dans le cadre de la théorie de l'information (Shannon, 1948), qui permet de définir la densité informationnelle au moyen de la surprise pour chaque mot $w_i$, définie comme le logarithme négatif de la probabilité de l'apparition d'un mot étant donné le contexte (équation 1). Plusieurs études psycholinguistiques ont montré que les unités linguistiques présentant un niveau de surprise plus élevé sont associées à des difficultés de compréhension et nécessitent davantage de temps de lecture (Demberg & Keller, 2008; Wilcox et al., 2020; Futrell et al., 2020; Frank et al., 2015).

$$I(w_i) = -\log P(w_i|w_0 \dots w_{i-1}) \quad (1)$$

Dans ce qui suit, nous parlerons de façon interchangeable de surprise, d'informativité ou de niveau d'information : par hypothèse, une unité peu prédictible (ayant donc une probabilité faible), est associée à un niveau élevé de surprise, et est donc considérée comme informative.

Diverses études portant sur des phénomènes de variation à différents niveaux linguistiques ont permis de conforter l'hypothèse UID. À titre d'illustration et de manière non exhaustive : niveau phonétique : un son ou un mot ayant une surprise plus élevée est prononcé plus lentement au sein et à travers les langues (Demberg et al., 2012; Pimentel et al., 2021); niveau syntaxique : les mots fonctionnels tendent à être omis lorsque la structure qu'ils introduisent est plus prédictible (par exemple, omission de *that* dans les complétives (Jaeger, 2010) et les relatives (Jaeger, 2011) en anglais, omission d'article dans les titres de journaux en allemand (Lemke et al., 2017)); niveau discursif : l'omission des connecteurs est plus fréquente lorsque la relation discursive est moins surprenante (Torabi Asr & Demberg, 2015); entre autres.

Ces travaux montrent de façon convaincante l'importance de la densité informationnelle, mais la question de l'opérationalisation de l'hypothèse reste aujourd'hui encore délicate. Deux aspects sont particulièrement discutés dans la littérature. D'une part, il faut se demander si le calcul se fait localement ou globalement (voir (Meister et al., 2021) pour une discussion approfondie). D'autre part, et de façon plus cruciale encore, il s'agit de savoir par quel moyen on va estimer le niveau d'informativité d'une unité (typiquement un token). Les études qui adoptent une approche de corpus utilisent souvent un modèle bigramme basé sur des fréquences (Jaeger, 2010, 2011; Lemke et al., 2017). D'autres études se basent sur des indices plus linguistiquement motivés, mais plus spécifiques. Par exemple, Torabi Asr & Demberg (2015) s'appuient sur la présence d'une négation dans la première phrase en tant qu'indicateur approximatif de la prédicibilité d'une relation causale avec la deuxième phrase. Ces mesures prennent en considération un contexte assez limité et ne sont pas faciles à généraliser à d'autres phénomènes. Ainsi, dans l'article de Jaeger (2010) sur l'omission de *that*, la surprise d'une complétive est estimée par la fréquence de sous-catégorisation du verbe. Par exemple, *think « penser »* est souvent suivi d'une complétive et donc l'apparition d'une complétive est peu surprenante après ce verbe. Cependant, même pour un verbe donné, la probabilité de la
complétive peut varier selon les contextes. Par exemple, l'apparition d'une complétive après *think* est plus probable quand *I think* se trouve en position initiale de la phrase (3-a) que quand il se trouve en position non initiale (3-b).

(3) a. I think he is crazy.
b. He is crazy, I think.

Les modèles de langues sont largement utilisés dans des travaux de modélisation cognitive ou de psycholinguistique pour fournir des probabilités conditionnelles de mots étant donné le contexte gauche, afin de mesurer la corrélation entre la surprise des modèles et diverses mesures comportementales (temps de lecture, présence de difficultés de compréhension, mouvements occulaires, etc.). Des corrélations ont été observées dans de nombreuses études utilisant différents types de modèles tels que n-grammes, GRU (Gated Recurrent Unit), LSTM (Long Short-Term Memory) et plus récemment, GPT (Generative Pre-trained Transformer) (Goodkind & Bicknell, 2018; Wilcox et al., 2020; Merkx & Frank, 2021; Kuribayashi et al., 2022). Cependant, ils sont rarement utilisés pour explorer le rôle de la densité informationnelle dans la variation syntaxique. De plus, les phénomènes de variation restent peu étudiés en français sous cette optique (mais voir (Liang et al., 2021) sur l'omission de *que* en français montréalais). Nous proposons d'utiliser un modèle de langue génératif, en l'occurrence GPT, pour estimer la probabilité (et donc l'information) des mots, afin de contribuer à cette ligne de recherche en français, sur un phénomène de redondance syntaxique, le redoublement du sujet.

# 3 Le phénomène

## 3.1 Redoublement du sujet

Le redoublement du sujet, où un sujet lexical et un clitique coréférentiel apparaissent en même temps dans une phrase ((4-a), à comparer à la version non-redoublée (4-b)), est un phénomène largement répandu en français oral <fnref n="1" />.

(4) a. Mon pèreᵢ ilᵢ est venu.
b. Mon père est venu.

De nombreux facteurs ont été proposés pour expliquer la variation entre les deux constructions (doublée vs. non-redoublée) : par exemple, le type de sujet nominal (Nadasdi, 1995; Auger, 1998; Auger & Villeneuve, 2010), le type de proposition (Auger & Villeneuve, 2010), la présence d'éléments intervenant entre le sujet et le verbe (Zahler, 2014), le statut informationnel (Zahler, 2014), entre autres. Malgré cette littérature riche sur le rôle des facteurs grammaticaux pertinents, peu d'études ont examiné ce phénomène sous l'angle de la théorie de l'information.

Pourtant, le redoublement peut être considéré comme un exemple de redondance syntaxique, un cas où l'hypothèse UID pourrait contribuer à expliquer le choix des locuteurs, dans la mesure où la présence du sujet clitique n'apporte pas d'information nouvelle à la phrase. On pourrait proposer le raisonnement suivant : le pronom redoublé est par essence peu informatif, et par conséquent introduire

<footnote n="1">1. Il est aussi possible de redoubler un sujet nominal postverbal par un sujet clitique (*Ilᵢ est venu mon pèreᵢ*). Dans la présente étude, nous nous limitons aux cas de redoublement de sujet préverbal.</footnote>
un pronom conduit à une baisse locale du niveau de surprise. L'hypothèse UID prédit que l'on aura plus tendance à introduire ce pronom quand la surprise associée au sujet lexical est élevée, pour lisser le niveau de surprise, alors qu'au contraire avec un sujet lexical très prédictible, et donc de surprise peu élevée, l'ajout d'un pronom lui-même peu informatif n'a pas d'impact pertinent sur l'uniformité de la densité informationnelle.

Afin d'examiner la pertinence de cette proposition, nous avons mené une étude du redoublement du sujet dans un corpus de français oral, *Multicultural Parisian French* (MPF) (Gadet & Guerin, 2016; Gadet, 2017). Avant de procéder à l'opérationnalisation de UID dans ce nouveau cas, il est important d'identifier et de contrôler les autres facteurs potentiels.

## 3.2 Une première modélisation

### 3.2.1 Extraction des données

Le corpus MPF se compose de 66 entretiens pour un total de près de 790 000 mots transcrits à ce jour, et vise à documenter le langage oral de jeunes âgés de 12 à 37 ans, issus d'un milieu familial multiculturel et résidant dans les banlieues parisiennes<fnref n="2" />. Il s'agit de conversations face à face entre amis ou connaissances portant sur des thèmes variés tels que la famille, la vie quotidienne, l'évolution des langues, entre autres. Le corpus n'étant pas muni d'annotations morpho-syntaxiques, nous l'avons d'abord segmenté et annoté en parties du discours à l'aide de *Stanza* (Qi et al., 2020), puis utilisé l'analyseur HOPS (Grobol & Crabbé, 2021) pour en obtenir une analyse en dépendance. Nous avons ensuite procédé à l'extraction de toutes les phrases qui contiennent un sujet nominal (par exemple *mon père*, *un garçon*, *certains*, *tout le monde*, *Marie...*) de l'ensemble du corpus et indiqué si le sujet nominal est redoublé par un clitique (comme *il(s)*, *elle(s)*, *ce*, *ça*). Seuls les sujets préverbaux de troisième personne ont été pris en compte. Les pronoms forts, tels que *lui* et *eux*, ont été exclus. L'extraction a été faite à l'aide d'un script Python analysant les annotations morpho-syntaxiques et syntaxiques du corpus, complété par une vérification manuelle. Pour ce modèle comme pour le suivant, nous avons limité notre analyse aux cas où la tête du sujet est réduite à un seul token suite à la prétokenization par *Stanza* pour qu'il soit possible d'établir une valeur de surprise pour ce token. Ce processus a abouti à un jeu de données de 4 136 occurrences, dont le taux de redoublement est de 75,5 %.

### 3.2.2 Facteurs de contrôle

Un second script Python a été utilisé pour annoter de façon semi-automatique toutes les occurrences extraites pour les facteurs listés ci-dessous. L'objectif était de relever les facteurs qui conditionnent le redoublement du sujet, afin de les contrôler lors de l'exploration de l'effet de la densité informationnelle décrite dans la section suivante :

- Polarité de la phrase : affirmative, négative avec ne, négative sans ne;

- Type de sujet : sujet quantifié universellement (par ex. *tout le monde, rien*), groupe nominal indéfini (par ex. *un garçon*), groupe nominal défini (par ex. *le garçon, Daniel*);

- Type de proposition : proposition principale, proposition subordonnée autre que les relatives, proposition relative;

<footnote n="2">2. Les entretiens et les transcriptions sont en accès libre sur le site du corpus : https://www.ortolang.fr/market/corpora/mpf/v3 (mpf, 2019).</footnote>
— Fréquence du verbe mesurée dans le même corpus;

— Distance en nombre de mots entre la tête du sujet et le verbe.

### 3.2.3 Modélisation statistique

Une modélisation au moyen d'un modèle de régression logistique à effets mixtes a été réalisée avec le logiciel R Studio (Team, 2022), implémentée grâce à la fonction *glmer()* du package *lme4* (Bates et al., 2015). Les facteurs numériques sont transformés en logarithme et centrés. Pour les facteurs catégoriels, le codage de *Backward Difference* est employé, comparant les niveaux adjacents dans l'échelle définie ci-dessous, le niveau supérieur est comparé avec le précédent. En plus des effets fixes, le modèle prend en compte trois effets aléatoires : locuteur, lemme du verbe, lemme de la tête du sujet. Le modèle de référence est ainsi défini (redoublement = 1, non redoublement = 0) :

MODÈLE DE RÉFÉRENCE : Redoublement ~ polarité + type_sujet + type Proposition + fréquence_verbe + distance + (1 | lemma_verbe) + (1 | lemma_sujet) + (1 | locuteur)

La table 1 (première colonne, « modèle de référence ») récapitule les facteurs qui jouent un rôle significatif sur le redoublement du sujet dans le modèle de référence. Tous les facteurs de contrôle pris en compte sont significatifs.

<table><caption>TABLE 1 – Modèle de régression logistique à effets mixtes du redoublement du sujet en fonction des facteurs de contrôle (modèle de référence) et de la surprise du sujet (modèle principal), avec les coefficients de pente, les valeurs *z*, les valeurs *p* ainsi que les niveaux de significativité des effets fixes. Le locuteur, les lemmes du sujet et du verbe ont été considérés comme des intercepts aléatoires.</caption><thead><tr><th rowspan="2"></th><th colspan="4">Modèle de référence</th><th colspan="4">Modèle principal</th></tr><tr><th>Coef.</th><th>z</th><th>p</th><th>Sig.</th><th>Coef.</th><th>z</th><th>p</th><th>Sig.</th></tr></thead><tbody><tr><td>(Intercept)</td><td>-2.96</td><td>-6.68</td><td>2.47e-11</td><td>***</td><td>-2.99</td><td>-6.76</td><td>1.35e-11</td><td>***</td></tr><tr><td>polarité (ne vs. aff.)</td><td>-6.43</td><td>-6.06</td><td>1.33e-09</td><td>***</td><td>-6.43</td><td>-6.06</td><td>1.36e-09</td><td>***</td></tr><tr><td>polarité (sans ne vs. ne)</td><td>6.87</td><td>6.39</td><td>1.62e-10</td><td>***</td><td>6.88</td><td>1.08</td><td>1.65e-10</td><td>***</td></tr><tr><td>sujet (ind. vs. uni.)</td><td>1.61</td><td>2.74</td><td>0.00608</td><td>**</td><td>1.62</td><td>2.80</td><td>0.00517</td><td>**</td></tr><tr><td>sujet (defini vs. ind.)</td><td>2.47</td><td>5.28</td><td>1.30e-07</td><td>***</td><td>2.44</td><td>5.28</td><td>1.26e-07</td><td>***</td></tr><tr><td>prop. (sub. vs. prin.)</td><td>1.43</td><td>4.42</td><td>9.95e-06</td><td>***</td><td>1.45</td><td>4.48</td><td>7.37e-06</td><td>***</td></tr><tr><td>prop. (rel. vs. sub.)</td><td>0.97</td><td>7.86</td><td>3.78e-15</td><td>***</td><td>0.95</td><td>7.64</td><td>2.19e-14</td><td>***</td></tr><tr><td>fréquence verbe</td><td>0.27</td><td>3.18</td><td>0.00148</td><td>**</td><td>0.26</td><td>3.10</td><td>0.00193</td><td>**</td></tr><tr><td>distance tête suj. - verbe</td><td>0.26</td><td>4.46</td><td>8.21e-06</td><td>***</td><td>0.26</td><td>4.51</td><td>6.53e-06</td><td>***</td></tr><tr><td><strong>surprise</strong> (cf. § 4.2)</td><td>-</td><td>-</td><td>-</td><td>-</td><td><strong>0.15</strong></td><td><strong>2.23</strong></td><td><strong>0.02566</strong></td><td>*</td></tr></tbody></table>

Les effets des différents facteurs de contrôle dans le modèle de référence (table 1) peuvent être résumés brièvement :

— Polarité de la phrase : les phrases négatives contenant « ne » défavorisent le redoublement du sujet en comparaison avec les phrases négatives sans « ne » et les phrases affirmatives.

— Type de sujet : les sujets quantifiés universellement sont redoublés le moins souvent, tandis que les sujets définis sont redoublés le plus souvent. Les sujets indéfinis se situent entre les deux.

— Type de proposition : les propositions principales sont corrélées avec un taux d'omission le plus élevé, tandis que les subordonnées défavorisent le redoublement. Parmi les subordonnées,
les propositions relatives sont celles qui défavorisent le plus le redoublement et les autres types de subordonnées se situent entre les deux.

— Fréquence du verbe : plus un verbe est fréquent dans le corpus, plus il y a de chances que le sujet soit redoublé.

— Distance en nombre de mots entre la tête du sujet et le verbe : plus le verbe est distant de la tête du sujet, plus il est probable que le sujet soit redoublé.

# 4 Prise en compte de la densité informationnelle

## 4.1 Utilisation d'un modèle de langue génératif

Afin d'estimer la surprise du sujet nominal, nous avons utilisé un modèle GPT (transformer génératif pré-entraîné). Basés sur les transformers (Vaswani et al., 2017), et utilisant des blocs de type décodeur (i.e. avec auto-attention masquée), les modèles GPT sont capables de générer un token à la position tᵢ à partir d'un préfixe t₀...tᵢ₋₁ qui peut être très long (1 024 tokens au maximum). Puisque le modèle GPT est capable de prendre en considération un contexte plus étendu en comparaison avec d'autres types de modèles tels que n-gramme et LSTM, nous l'avons choisi dans la présente étude. Toutefois, il a été constaté que les valeurs de surprise estimées par un modèle GPT ayant plus de paramètres sont moins efficaces pour prédire les temps de lecture de mots, en comparaison avec ses versions plus petites (Oh et al., 2022; Oh & Schuler, 2023). De ce fait, notre étude est basée sur le modèle GPT le plus petit disponible pour le français, avec 124 millions de paramètres (Simoulin & Crabbé, 2021), GPT{-124M, lui-même adapté des modèles OpenAI GPT et GPT-2 (Radford et al., 2019a,b).

### 4.1.1 Ajustement du modèle

Comme GPT$_{fr}$-124M a été entraîné principalement sur les documents écrits, il est moins capable de prendre en considération les caractéristiques des textes oraux (hésitations, répétitions, reformulations, registre lexical familier...). Par conséquent, nous avons procédé à un ajustement du modèle (fine-tuning) avec un autre corpus du français parisien parlé, le Corpus de Français Parlé Parisien des années 2000 (CFPP2000) (Branca-Rosoff et al., 2012). Collecté à partir de 2005-2006, il se compose d'un ensemble d'entretiens réalisés dans différents quartiers de Paris et de la proche banlieue. Actuellement, 51 entretiens transcrits contenant un total de 750 000 tokens (d'après la prétokenization par Stanza) sont disponibles sur le site<fnref n="3" />, à partir desquels le corpus d'entraînement et d'évaluation a été construit pour l'ajustement du modèle. La tâche est de prédire le prochain mot vu le contexte précédent. Afin de ne pas dégrader la généralité du modèle, pendant l'ajustement, nous avons utilisé la même tokenization définie par le modèle GPT$_{fr}$-124M (Simoulin & Crabbé, 2021) et construit le corpus d'entraînement d'une façon similaire.

Chaque entretien est divisé en tours de parole. Un exemple d'apprentissage est construit à partir de tours de parole successifs concatenés dans la limite de 1 024 tokens. Une fois le nombre atteint, un nouvel exemple est construit à partir du tour de parole suivant, et aucun exemple ne franchit la frontière des entretiens (le dernier exemple est complété (padding)). Nous avons divisé les entretiens en corpus d'entraînement et de test, contenant respectivement 583 (46 entretiens) et 97 exemples (5 entretiens). L'ajustement s'est déroulé pendant 30 époques avec les paramètres par défaut.

<footnote n="3">3. http://cfpp2000.univ-paris3.fr/</footnote>
### 4.1.2 Évaluation du modèle ajusté

Le modèle ajusté est évalué sur le corpus de test du CFPP2000 (10% des entretiens) et sur 50% des entretiens de MPF respectivement. Nous avons évalué la perplexité sur la base de la tokenization qui est identique pour le modèle original (GPT<sub>fr</sub>-124M) et le modèle ajusté. Comme on le voit dans la table 2, l'ajustement a permis une réduction significative dans la perplexité évaluée sur les exemples de test dans les deux corpus, suggérant que le modèle ajusté s'adapte mieux aux données orales que le modèle original.

<table><caption>TABLE 2 – Comparaison de la perplexité par les deux modèles dans les deux corpus oraux. Des t-tests ont été employés pour tester la significativité de la différence.</caption><thead><tr><th></th><th>CFPP2000</th><th>MPF</th></tr></thead><tbody><tr><td>nombre d'exemples de test</td><td>97</td><td>379</td></tr><tr><td>perplexité moyenne du modèle original</td><td>42,25</td><td>42,61</td></tr><tr><td>perplexité moyenne du modèle ajusté</td><td>28,93</td><td>40,97</td></tr><tr><td><i>p</i> valeur</td><td>&lt; 2.2e-16</td><td>0,043</td></tr></tbody></table>

### 4.1.3 Estimation de l'information du sujet

Grâce à ce modèle ajusté, il est possible d'estimer la probabilité (et donc la surprise) du sujet nominal dans toutes les occurrences extraites du corpus. Afin de faciliter le calcul, on calcule la probabilité seulement pour la tête du syntagme nominal (dont on s'est assuré qu'elle était mono-lexicale, voir plus haut). Il reste à établir la longueur du contexte gauche que nous devons fournir au modèle de langue pour produire cette probabilité. Comme le sujet d'une phrase est souvent situé en position initiale d'une phrase, ce qui rend l'estimation de la probabilité peu fiable, il convient d'élargir le contexte considéré. Généralement, ce genre de modèle génératif est d'autant plus performant que le contexte gauche est étendu. Cependant, ce que nous cherchons à savoir est plutôt quelle taille du contexte à gauche serait la plus appropriée pour simuler le comportement humain. Dans une étude récente, Kuribayashi et al. (2022) montrent que plus le contexte précédent est limité, plus la probabilité du mot estimée par le modèle GPT est corrélée avec le temps de lecture moyen de ce mot mesuré par oculométrie en anglais et en japonais. C'est la raison pour laquelle, dans la présente étude, nous avons pris comme contexte gauche un seul tour de parole avant la cible, indépendamment du nombre de mots (voir une illustration à la table 3). Nous revenons en conclusion sur la question de la taille du contexte gauche. Un tour de parole compte en moyenne 10 tokens. La tâche consiste à prédire le mot à la position de la tête du sujet en position $t_i$ (en gras). La probabilité logarithmique négative du sujet sera considérée comme la surprise du sujet.

<table><caption>TABLE 3 – Exemple de l'estimation de la surprise du sujet en prenant en compte un tour de parole.</caption><thead><tr><th colspan="2">Contexte ($t_0...t_{i-1}$)</th><th rowspan="2">Tête du sujet ($t_i$)</th><th rowspan="2">$P(t_i|$contexte$)$</th><th rowspan="2">$-\log P(t_i|$contexte$)$</th></tr><tr><th>Tour précédant la cible</th><th>Cible</th></tr></thead><tbody><tr><td>Oui c'est mes origines.</td><td>Ben c'est moi quoi chez moi euh on ma</td><td><b>mère</b></td><td>0,0125</td><td>4,3782</td></tr></tbody></table>

Puisque le modèle GPT utilise un vocabulaire de type *bytepair encoding* (BPE), il est possible que la tête du sujet soit décomposée en sous-mots. Dans la présente étude, 21 % des tokens du sujet ont été décomposés en 2 à 6 sous-mots. Il s'agit souvent de noms propres, de mots contenant un symbole
(comme *quelqu'un, grand-mère*) ou de mots familiers (verlan et emprunts). Puisque la fréquence des sous-mots est plus élevée que celle du mot en entier, la moyenne des probabilités sous-estimerait la surprise de l'ensemble du mot. Par conséquent, nous définissons la probabilité d'un mot comme la probabilité conjointe des sous-mots qui le composent. La surprise de la tête du sujet est donc définie comme la somme des log probabilités de ses sous-mots, ce qui est conforme aux pratiques de plusieurs études analysant la plausibilité cognitive des modèles de langue neuronaux (Wilcox et al., 2020; Kuribayashi et al., 2021; Oh & Schuler, 2022).

Nous utilisons le même modèle de régression logistique que celui de la section précédente, auquel est ajoutée la variable correspondant à la surprise de la tête du sujet telle qu'elle est estimée par le modèle GPT.

## 4.2 Résultats

Les résultats de ce nouveau modèle de régression logistique sont présentés en colonne de droite de la table 1 (déjà donnée à la fin de la section 3). Ils montrent que, en plus des effets identifiés précédemment, la surprise de la tête du sujet a un effet sur le taux de redoublement. Pour étudier plus finement la relation entre surprise et probabilité de redoublement, nous représentons à la figure 3 toutes les observations regroupées par valeur de surprise en groupes de 30 contre la proportion de redoublement. On voit que moins un sujet est prédictible (plus il est informatif, donc), plus il a tendance à être redoublé par un clitique. Un test anova confirme que l'inclusion de la surprise de la tête du sujet dans le modèle contribue à une amélioration de performance significative ($p < 0.05$).

<figure><img src="image_52.png" /><figcaption>FIGURE 3 – Taux de redoublement du sujet en fonction de la surprise de la tête du sujet nominal. Chaque point représente un groupe de 30 observations regroupées par niveau de surprise. La courbe est générée par la méthode *loess*.</figcaption></figure>
# 5 Conclusion

## 5.1 Nouveau champ d'application de UID

Le résultat montre une relation entre le taux de redoublement et la surprise du sujet nominal, ce qui suggère que l'hypothèse UID contribue à expliquer le phénomène du redoublement du sujet étudié ici. On peut en effet supposer que, comme la densité informationnelle au niveau du sujet risque de dépasser la capacité du canal quand le nom est moins prédicible, les locuteurs préfèrent utiliser un clitique qui n'apporte rien sur l'information du sujet, afin de réduire la densité informationnelle. En revanche, lorsque le nom en position de sujet est très prédicible, l'ajout d'un clitique conduirait à une densité plus basse, et explique donc que la version sans clitique soit préférable. On peut noter cependant que le taux de redoublement est très élevé en général (75,5 %), ce qui suggère que le sujet clitique pourrait être en voie d'être grammaticalisé comme un marqueur d'accord faisant partie de la flexion du verbe en français informel (Auger, 1995; Culbertson, 2010).

## 5.2 Limites et perspectives

Bien que nos résultats confirment l'intérêt de l'UID pour le français, il convient de remarquer que l'effet de la densité informationnelle du sujet est faible, son coefficient étant le plus petit parmi les facteurs testés (table 1). De plus, cet effet est sensible aux effets aléatoires. En effet, lorsque le lemme du sujet est exclu de l'analyse, la corrélation entre la surprise et le redoublement devient plus forte dans le modèle mixte (coefficient : 0.18, *p* < 0.001). Il est probable que cela tienne en partie au fait que dans nos données, 60,6 % des noms (lemmatisés) n'apparaissent qu'une fois comme sujet et 91,7 % des noms (lemmatisés) apparaissent moins de 5 fois comme sujet (au total 1 178 différents lemmes du sujet). Pour ces cas-là, il n'est pas surprenant que l'intercept aléatoire du lemme du sujet explique mieux la variance du sujet en ce qui concerne le redoublement et diminue donc la force d'explication de l'effet de la surprise du sujet en général.

Par ailleurs, il s'avère que les résultats sont sensibles à la taille de fenêtre du contexte considéré. En effet, la performance du modèle GPT en termes de prédiction de sujet s'améliore si on accroit la taille du contexte, jusqu'à une exactitude maximale de 28,7% avec le contexte le plus large testé. Toutefois, il a aussi été observé que l'effet de la surprise du sujet diminue progressivement à mesure que le modèle GPT a accès à un contexte plus large lors de l'estimation de la probabilité du sujet. Cela pourrait s'expliquer par le fait que plus le contexte est large, plus le modèle est certain du choix lexical du sujet, ce qui rend la distribution de surprises moins équilibrée. Par ailleurs, Kuribayashi et al. (2022) mettent en évidence l'existence d'un écart entre la capacité d'accès au contexte des modèles et des humains, et montrent qu'une limitation du contexte rend le comportement des modèles de langue plus similaires à ceux des humains. Dans une autre étude, Kuribayashi et al. (2021) montrent aussi qu'un modèle de langue avec une perplexité plus basse (donc plus performant) reflète mieux le comportement humain pour l'anglais, mais pas pour le japonais. Des investigations supplémentaires sont nécessaires afin d'explorer l'impact de la taille du contexte sur le temps de lecture en français, en vue d'identifier la taille de fenêtre la plus appropriée pour l'estimation de la surprise.

Notre travail met donc en évidence l'intérêt que peut présenter l'utilisation d'un modèle de langue pour estimer le niveau de surprise des mots dans une phrase. Nous pensons que ce type de modèle présente l'intérêt d'être très général, d'incorporer des connaissances linguistiques grâce au pré-apprentissage, et de permettre la prise en compte d'un contexte gauche assez large, et devrait donc être privilégié par
rapport à différentes opérationnalisations de l'hypothèse UID qui ont été proposées et qui n'ont pas ces qualités.<fnref n="4" />

## Remerciements

Nous remercions Marie Candito pour sa relecture d'une version précédente de ce papier et ses conseils. Nous tenons également à remercier Vera Demberg pour une discussion sur l'analyse statistique, ainsi que Benoît Crabbé pour son aide dans l'analyse en relations de dépendance du corpus étudié. Ces travaux ont bénéficié du financement de l'ERC dans le cadre du programme de recherche et d'innovation Horizon 2020 de l'Union européenne (N°850539).

## Références

(2019). MPF. ORTOLANG (Open Resources and TOols for LANGuage) –www.ortolang.fr.

AUGER J. (1995). Les climiques pronominaux en français parlé informel : une approche morphologique. *Revue québécoise de linguistique*, **24**(1), 21-60. DOI: 10.7202/603102ar.

AUGER J. (1998). Le redoublement des sujets en français informel québécois : Une approche variationniste. *Canadian Journal of Linguistics/Revue canadienne de linguistique*, **43**(1), 37-63. DOI: 10.1017/S0008413100020429.

AUGER J. & VILLENEUVE A.-J. (2010). La double expression des sujets en français saguenéen : Étude variationniste. *Hétérogénéité et Homogénéité dans les pratiques langagieres : Mélanges offerts à Denise Deshaies. Quebec : Presses de l'Université Laval*, p. 67-86.

BATES D., MÄCHLER M., BOLKER B. & WALKER S. (2015). Fitting Linear Mixed-Effects Models Using lme4. *Journal of Statistical Software*, **67**(1), 1-48. DOI: 10.18637/jss.v067.i01.

BRANCA-ROSOFF S., FLEURY S., LEFEUVRE F. & PIRES M. (2012). Discours sur la ville. Présentation du Corpus de Français Parlé Parisien des années 2000 (CFPP2000). *article en ligne*, http://cfpp2000.univ-paris3.fr/Articles.html.

CULBERTSON J. (2010). Convergent evidence for categorial change in French : From subject clitic to agreement marker. *Language*, **86**(1), 85-132. DOI: 10.1353/lan.0.0183.

CUSKLEY C., BAILES R. & WALLENBERG J. (2021). Noise resistance in communication : Quantifying uniformity and optimality. *Cognition*, **214**, 104754. DOI: 10.1016/j.cognition.2021.104754.

DEMBERG V. & KELLER F. (2008). Data from eye-tracking corpora as evidence for theories of syntactic processing complexity. *Cognition*, **109**(2), 193-210. DOI: 10.1016/j.cognition.2008.07.008.

DEMBERG V., SAYEED A. B., GORINSKI P. J. & ENGONOPOULOS N. (2012). Syntactic surprisal affects spoken word duration in conversational contexts. In *Proceedings of the 2012 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning*, p. 356-367, Jeju Island, Korea.

<footnote n="4">4. Nous avons cependant testé, en manière de contrôle, une mesure beaucoup plus grossière pour estimer la surprise du sujet : la fréquence de la tête du sujet (lemmatisé) dans le corpus MPF. En remplaçant la surprise calculée par GPT par cette mesure dans le modèle, nous avons observé une corrélation négative entre la fréquence du sujet et le redoublement, ce qui est de nouveau compatible avec l'UID, car un sujet plus fréquent est plus prédictible et donc moins informatif en général. Ce résultat n'est pas surprenant puisque, comme nous l'avons vérifié, la fréquence du lemme et la probabilité donnée par GPT sont corrélés (test de Pearson : cor : -0.58, p < 2.2e-16).</footnote>
FRANK S. L., OTTEN L. J., GALLI G. & VIGLIOCCO G. (2015). The ERP response to the amount of information conveyed by words in sentences. *Brain and Language*, **140**, 1–11. DOI: 10.1016/j.bandl.2014.10.006.

FUTRELL R., GIBSON E. & LEVY R. P. (2020). Lossy-Context Surprisal: An Information-Theoretic Model of Memory Effects in Sentence Processing. *Cognitive Science*, **44**(3). DOI: 10.1111/cogs.12814.

GADET F., Éd. (2017). *Les Parlers Jeunes Dans l'île-de-France Multiculturelle*. Paris and Gap: Ophrys.

GADET F. & GUERIN E. (2016). Construire un corpus pour des façons de parler non standard : « Multicultural Paris French ». *Corpus*, **15**. DOI: 10.4000/corpus.3049.

GOODKIND A. & BICKNELL K. (2018). Predictive power of word surprisal for reading times is a linear function of language model quality. In *Proceedings of the 8th Workshop on Cognitive Modeling and Computational Linguistics (CMCL 2018)*, p. 10–18, Salt Lake City, Utah: Association for Computational Linguistics. DOI: 10.18653/v1/W18-0102.

GROBOL L. & CRABBÉ B. (2021). Analyse en dépendances du français avec des plongements contextualisés (French dependency parsing with contextualized embeddings). In *Actes de la 28e Conférence sur le Traitement Automatique des Langues Naturelles. Volume 1 : conférence principale*, p. 106–114, Lille, France : ATALA.

JAEGER T. F. (2010). Redundancy and reduction: Speakers manage syntactic information density. *Cognitive Psychology*, p. 23–62.

JAEGER T. F. (2011). Corpus-based research on language production: Information density and reducible subject relatives. *Language from a cognitive perspective: grammar, usage and processing. Studies in honor of Tom Wasow*, p. 161–198.

KURIBAYASHI T., OSEKI Y., BRASSARD A. & INUI K. (2022). Context Limitations Make Neural Language Models More Human-Like. In *EMNLP : arXiv. http://arxiv.org/abs/2205.11463*.

KURIBAYASHI T., OSEKI Y., ITO T., YOSHIDA R., ASAHARA M. & INUI K. (2021). Lower Perplexity is Not Always Human-Like. In *ACL : arXiv. http://arxiv.org/abs/2106.01229*.

LEMKE R., HORCH E. & REICH I. (2017). Optimal encoding! - Information Theory constrains article omission in newspaper headlines. In *Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics : Volume 2, Short Papers*, p. 131–135, Valencia, Spain : Association for Computational Linguistics.

LEVY R. & JAEGER T. (2007). Speakers optimize information density through syntactic reduction. In B. SCHÖLKOPF, J. PLATT & T. HOFMANN, Éds., *Advances in Neural Information Processing Systems 19 : Proceedings of the 2006 Conference*, volume 19, p. 849–856 : MIT Press.

LIANG Y., AMSILI P. & BURNETT H. (2021). New ways of analyzing complementizer drop in Montréal French : Exploration of cognitive factors. *Language Variation and Change*, **33**(3), 359–385. DOI: 10.1017/S0954394521000223.

MAURITS L., NAVARRO D. & PERFORS A. (2010). Why are some word orders more common than others? A uniform information density account. In *Advances in Neural Information Processing Systems*, volume 23 : Curran Associates, Inc.

MEISTER C., PIMENTEL T., HALLER P., JÄGER L., COTTERELL R. & LEVY R. (2021). Revisiting the Uniform Information Density Hypothesis. *arXiv : 2109.11635 [cs]*.
MERKX D. & FRANK S. L. (2021). Human Sentence Processing : Recurrence or Attention ? In *Proceedings of the Workshop on Cognitive Modeling and Computational Linguistics*, p. 12–22, Online : Association for Computational Linguistics. DOI: 10.18653/v1/2021.cmcl-1.2.

NADASDI T. (1995). Subject NP doubling, matching, and minority French. *Language Variation and Change*, **7**(1), 1–14. DOI: 10.1017/S0954394500000879.

OH B.-D., CLARK C. & SCHULER W. (2022). Comparison of Structural Parsers and Neural Language Models as Surprisal Estimators. *Frontiers in Artificial Intelligence*, **5**.

OH B.-D. & SCHULER W. (2022). Entropy- and Distance-Based Predictors From GPT-2 Attention Patterns Predict Reading Times Over and Above GPT-2 Surprisal. In *EMNLP : arXiv*. http://arxiv.org/abs/2212.11185.

OH B.-D. & SCHULER W. (2023). Why Does Surprisal From Larger Transformer-Based Language Models Provide a Poorer Fit to Human Reading Times? *Transactions of the Association for Computational Linguistics*, **11**, 336–350. DOI: 10.1162/tacl_a_00548.

PIMENTEL T., MEISTER C., SALESKY E., TEUFEL S., BLASI D. & COTTERELL R. (2021). A surprisal–duration trade-off across and within the world’s languages. In *Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing*, p. 949–962, Online and Punta Cana, Dominican Republic : Association for Computational Linguistics. DOI: 10.18653/v1/2021.emnlp-main.73.

QI P., ZHANG Y., ZHANG Y., BOLTON J. & MANNING C. D. (2020). Stanza : A Python Natural Language Processing Toolkit for Many Human Languages. *arXiv : 2003.07082 [cs]*.

RADFORD A., NARASIMHAN K., SALIMANS T. & SUTSKEVER I. (2019a). Improving Language Understanding by Generative Pre-Training.

RADFORD A., WU J., CHILD R., LUAN D., AMODEI D. & SUTSKEVER I. (2019b). Language Models are Unsupervised Multitask Learners. Open AI Technical Report.

SHANNON C. E. (1948). A Mathematical Theory of Communication. *The Bell System Technical Journal*, **27**(3), 379–423.

SIMOULIN A. & CRABBÉ B. (2021). Un modèle Transformer Génératif Pré-entrainé pour le français (Generative Pre-trained Transformer in (French). In *Actes de la 28e Conférence sur le Traitement Automatique des Langues Naturelles. Volume 1 : conférence principale*, p. 246–255, Lille, France : ATALA.

TEAM R. C. (2022). R : A Language and Environment for Statistical Computing. R Foundation for Statistical Computing.

TORABI ASR F. & DEMBERG V. (2015). Uniform Surprisal at the Level of Discourse Relations : Negation Markers and Discourse Connective Omission. In *Proceedings of the 11th International Conference on Computational Semantics*, p. 118–128, London, UK : Association for Computational Linguistics.

VASWANI A., SHAZEER N., PARMAR N., USZKOREIT J., JONES L., GOMEZ A. N., KAISER L. & POLOSUKHIN I. (2017). Attention Is All You Need. In *31st Conference on Neural Information Processing Systems*, Long Beach, CA, USA.

WILCOX E. G., GAUTHIER J., HU J., QIAN P. & LEVY R. (2020). On the predictive power of neural language models for human real-time comprehension behavior. In *CogSci*. https://arxiv.org/abs/2006.01912.

ZAHLER S. (2014). Variable subject doubling in spoken Parisian French. *University of Pennsylvania Working Papers in Linguistics*, **20**(1), 38.