“Honey, Tell Me What’s Wrong”, Explicabilité Globale des Modèles de TAL par la Génération Coopérative (2023)

Abstract: L’omniprésence de l’apprentissage automatique a mis en lumière l’importance des algorithmes d’explicabilité. Parmi ces algorithmes, les méthodes agnostiques au type de modèle génèrent des exemples artificiels en modifiant légèrement les données originales. Elles observent ensuite les changements de décision du modèle sur ces exemples artificiels. Cependant, de telles méthodes nécessitent d’avoir des exemples initiaux et fournissent des explications uniquement sur la décision pour ces derniers. Pour répondre à ces problématiques, nous proposons Therapy, la première méthode d’explicabilité modèle-agnostique pour les modèles de langue qui ne nécessite pas de données en entrée. Cette méthode génère des textes qui suivent la distribution apprise par le classifieur à expliquer grâce à la génération coopérative. Ne pas dépendre d’exemples initiaux permet, en plus d’être applicable lorsqu’aucune donnée n’est disponible (e.g, pour des raisons de confidentialité), de fournir des explications sur le fonctionnement global du modèle au lieu de plusieurs explications locales, offrant ainsi une vue d’ensemble du fonctionnement du modèle. Nos expériences montrent que, même sans données en entrée, Therapy fournit des informations instructives sur les caractéristiques des textes utilisées par le classifieur qui sont compétitives avec celles fournies par les méthodes utilisant des données.

## introduction l'émergence des modèles basés sur l'apprentissage automatique à permis leur adoption dans des domaines variés, allant de la simple recommandation à des secteurs critiques tels que la santé @xcite @xcite et le droit @xcite . le besoin grandissant de précision induit une augmentation de la complexité de ces modèles, accentuant leur dénomination de boite noire. ce manque de transparence limite (et empêche) leur déploiement dans différents domaines, en raison par exemple de l'augmentation significative de modèles souffrant de biais. entre autres, certains chatbots ont été déployés bien que comportant des biais liés aux minorités religieuses @xcite ou de genre @xcite et expliquer leur fonctionnement reste un problème ouvert. parmi les méthodes proposées pour répondre à ces problèmes, celles qui sont modèle-agnostiques sont préférées car applicables à tout type de modèle d'apprentissage automatique. parmi ces dernières, les explications locales ont obtenu un fort succès car elles fournissent un bon compromis entre précision et utilité des explications. les explications locales sont générées en perturbant une entrée afin de construire un voisinage autour de cette entrée et en étudiant comment le modèle réagit à ces petites différences. cela permet de mettre en évidence les caractéristiques importantes pour le modèle et de fournir des éléments d'explication sur la décision du modèle pour cette entrée (e.g., les mots les plus importants de chaque classe). selon une étude récente sur les tendances dans le domaine de l'explicabilité @xcite , les méthodes d'explication locale agnostique au modèle, telles que lime @xcite sont les plus utilisées. cependant, l'explication d'un modèle à partir d'un exemple précis présente trois défauts. premièrement, il faut évidemment disposer d'entrées à expliquer ; ce qui peut être impossible pour des raisons de confidentialité ou de respect de la vie privée par exemple. deuxièmement, choisir des entrées qui sont représentatives du modèle et/ou des données sur lesquelles le modèle sera utilisé est une tâche complexe. troisièmement, cela donne une explication de la décision pour cette entrée et pour cette entrée uniquement. ainsi, cela ne fournit que des informations très locales sur le comportement du modèle, qui ne représentent qu'une petite partie du domaine d'entrée du modèle. pour cette raison, certaines méthodes d'explications ont proposé d'agréger plusieurs explications locales afin de fournir une explication plus globale. néanmoins, ces explications restent fortement liées aux données d'entrée et ne fournissent des informations que sur le voisinage de ces échantillons. ces méthodes nécessitent donc que les différentes données d'entrée couvrent la partie de l'espace la plus large possible. avec l'objectif de supprimer cette dépendance aux données d'entrée et de générer une explication globale du modèle, nous proposons therapy, une méthode qui utilise la génération coopérative @xcite @xcite @xcite pour générer des textes suivant la distribution d'un classifieur. la distribution des textes générés permet ensuite d'étudier les caractéristiques importantes du modèle, fournissant ainsi une explication globale agnostique au modèle. dans ce papier, nous présentons d'abord les travaux connexes dans la section 2, la section 3 introduit ensuite des notions sur la génération de textes et plus particulièrement la génération coopérative. la section 4 détaille quant à elle le fonctionnement de la méthode tandis que la section 5 présente les expériences réalisées pour comparer les performances de therapy avec les méthodes d'explication usuelles. ## travaux connexes générer une explication pour des données textuelles est une tâche ardue qui nécessite de prendre en compte à la fois la sémantique du texte mais également le domaine de la tâche (e.g. analyse de sentiment, détection de spam). de plus, il est fréquent de devoir évaluer un modèle déjà déployé pour des raisons d'équité ou de détection de biais par exemple mais que les données ne soient plus accessibles pour des raisons de sécurité ou de confidentialité. afin de résoudre ce problème, les chercheurs se sont concentrés sur les méthodes d'explications post-hoc @xcite . suivant la catégorisation @xcite , nous différencions les explications sous forme d'exemples de celles par attribution de caractéristiques. ## expériences dans cette section, nous présentons d'abord les détails expérimentaux de l'évaluation de therapy (section 5.1). nous évaluons ensuite therapy au travers de 3 expériences. la première expérience (section 5.2), mesure la corrélation de spearman des explications avec les poids de la boite transparente et étudie l'impact de la quantité de textes générés sur la qualité de l'explication retournée par le modèle linéaire. nous comparons ensuite la capacité de therapy à identifier les mots les plus importants pour le classifieur avec celles de lime et shap dans la section 5.3. enfin, nous observons si les termes retournées par les différentes approches sont suffisants pour modifier la prédiction du classifieur. le code de therapy ainsi que celui des expériences sont disponibles publiquement. ## conclusion les méthodes d'explicabilité usuelles s'appuient fortement sur des données en entrée, qui ne sont pas forcément disponibles et peuvent ne pas contenir les biais et caractéristiques importantes du modèle. nous proposons therapy, une méthode qui emploie la génération de texte coopérative afin de générer des données synthétiques qui suivent la distribution apprise par le modèle étudié. ainsi, la recherche est dirigée par un modèle de langue génératif pré-entraîné et permet une exploration plus large que celle restreinte au voisinage des données d'entrée. cela permet de relaxer la plupart des contraintes et aprioris induits par les méthodes qui se basent sur des exemples. dans le cas extrême où des données très représentatives (comme le jeu de test d'un jeu de données) des caractéristiques importantes du modèle sont disponibles, therapy obtient des résultats légèrement moins bon que la méthode état-de-l'art shap, tout en restant compétitif avec lime. cependant, si on considère des cas d'usage plus réalistes dans lesquels les caractéristiques importantes ne sont pas explicitement données en entrée de la méthode d'explication, alors les performances de therapy restent très bonnes et celles des autres méthodes s'effondrent (quand elles sont applicables). ainsi, therapy est un outil pertinent pour explorer le comportement d'un modèle lorsque la collecte des données sur lesquelles le modèle sera utilisée n'est pas possible ou très complexe.