L’Attention est-elle de l’Explication ? Une Introduction au Débat (Is Attention Explanation ? An Introduction to the Debate ) (2022)

Abstract: Nous présentons un résumé en français et un résumé en anglais de l’article Is Attention Explanation ? An Introduction to the Debate (Bibal et al., 2022), publié dans les actes de la conférence 60th Annual Meeting of the Association for Computational Linguistics (ACL 2022).

## résumé en français les performances des modèles d'apprentissage profond dans le tal et d'autres disciplines de l'apprentissage automatique ont conduit à une augmentation de leur popularité, et ainsi pouvoir expliquer le comportement de ces modèles devient crucial. l'attention a été envisagée comme une solution d'améliorer leur performance, tout en fournissant des explications. cependant, un débat a émis le doute sur le pouvoir explicatif de l'attention dans les réseaux de neurones profonds. ce débat trouve son origine dans deux articles @xcite . bien que le débat ait donné lieu à une littérature vaste, en raison de contributions provenant de différents domaines, le manque de dialogue entre ces travaux se fait de plus en plus ressentir. dans cet article, nous proposons une vue d'ensemble sur les contributions du débat en confrontant de manière critique ces différents travaux. à ces fins, nous confrontons des articles qui (i) citent les deux articles originaux et (ii) apportent des contributions significatives à la discussion. nous articulons ce panorama de la manière suivante : ## résumé en anglais the performance of deep learning models in nlp and other fields of machine learning has led to a rise in their popularity, and so the need for explanations of these models becomes paramount. attention has been seen as a solution to increase performance, while providing some explanations. however, a debate has started to cast doubt on the explanatory power of attention in neural networks. this debate originates from two seminal papers @xcite . although the debate has created a vast literature thanks to contributions from various areas, the lack of communication between works in those areas is becoming more and more tangible. in this paper, we provide a clear overview of the insights on the debate by critically confronting those different works. to do so, we confront papers that (i) cite the two original papers and (ii) bring significant contributions to the discussion. we articulate the survey in the following way :