La génération de textes artificiels en substitution ou en complément de données d’apprentissage (Generating artificial texts as substitution or complement of training data ) (2021)

Abstract: La qualité des textes générés artificiellement s’est considérablement améliorée avec l’apparition des transformers. La question d’utiliser ces modèles pour augmenter les données d’apprentissage pour des tâches d’apprentissage supervisé se pose naturellement. Dans cet article, cette question est explorée sous 3 aspects : (i) les données artificielles sont-elles un complément efficace ? (ii) peuvent-elles remplacer les données d’origines quand ces dernières ne peuvent pas être distribuées, par exemple pour des raisons de confidentialité ? (iii) peuvent-elles améliorer l’explicabilité des classifieurs ? Différentes expériences sont menées sur une tâche de classification en utilisant des données générées artificiellement en adaptant des modèles GPT-2. Les résultats montrent que les données artificielles ne sont pas encore suffisamment bonnes et nécessitent un pré-traitement pour améliorer significativement les performances. Nous montrons que les approches sac-de-mots bénéficient le plus de telles augmentations de données.

## introduction si la génération artificielle de texte n'est pas une tâche nouvelle, les approches récentes à base de transformers offrent des performances suffisamment bonnes pour être employées dans de nombreux contextes @xcite . dans cet article, nous explorons l'utilisation de données générées pour des tâches d'apprentissage supervisé dans différents contextes d'utilisation afin de compléter les données d'entraînement originales (pour obtenir de meilleures performances) ou de se substituer (intégralement) aux données originales (par exemple, quand ces dernières ne peuvent pas être distribuées pour des raisons de confidentialité @xcite ). la génération de ces données est faite avec un modèle de langue neuronal appris sur les données d'origine. précisément, les principales questions de recherche abordées dans cet article sont les suivantes : dans la suite de cet article, après une présentation des travaux connexes (sec. 2), nous détaillons le processus d'augmentation de données que nous mettons en oeuvre en section 3. les données expérimentales sont décrites en section 4. les expériences et résultats pour nos différentes questions de recherche sont détaillés en section 5 pour les modèles neuronaux et section 6 pour les modèles expploitant des représentations sac-de-mots. dans une veine similaire, puisque ne modifiant que localement les données originales, il existe des approches neuronales exploitant les modèles de langue à base de masque de type bert et donc des plongements contextuels. celles-ci fonctionnent en conditionnant le remplacement du jeton [mask] par un mot en fonction de la classe attendue @xcite . cela produit un nouvel exemple avec un remplacement d'un mot par un mot sémantiquement proche (idéalement un synonyme), mais ce nouvel exemple n'est pas totalement différent (la structure du nouvel exemple est très similaire à l'exemple original) comme nous proposons de le faire. d'autres approches exploitent les capacités des modèles de langue tels gpt-2 (generative pre-trained transformers) afin de produire des données proches de la distribution du jeu initial en grande quantité. en recherche d'information, ce principe a par exemple été utilisé pour augmenter les requêtes @xcite . plus proche encore, la génération est exploitée pour l'extraction de relations @xcite , la classification de sentiments de critiques et de questions @xcite al., 2020) ou la prédiction de réadmission et la classification phénotypique (amin-nejad et al., 2020). notre article s'inscrit dans cette lignée de travaux. notre intérêt est ici d'examiner les gains et pertes des différents scénarios d'emploi des données artificielles, de leur préparation, et d'examiner leurs effets sur différentes familles de classifieurs. 3 génération de données artificielles on suppose disposer d'un ensemble de textes (originaux) t divisé en n classes c i , à partir desquels on souhaite générer des textes artificiels g c i pour chaque classe c i . nous employons les modèles gpt pour générer les textes artificiels. ces modèles sont construits en empilant des transformers (plus précisément des décodeurs), entraînés sur de grands corpus par auto-régression, c'est-à-dire sur une tâche de prédiction du mot (ou token) suivant, sachant les précédents. la seconde version, gpt-2 (radford et al., 2019), contient 1,5g de paramètres pour son plus gros modèle, entraînés sur plus de 8 millions de documents issus de reddit (i.e. du langage général comme des discussions sur des articles de presse, principalement en anglais). ## tâches et jeux de données les expériences rapportées dans la section suivante reposent sur deux jeux de données utilisés pour des tâches de classification. l'un est composé de tweets en anglais, l'autre de textes en français. nous les présentons ci-dessous. ## expérimentations : approches neuronales dans les expériences rapportées ci-dessous, les performances sont mesurées en termes de micro-f1 (équivalent au taux de bonnes classifications), et, pour prendre en compte le déséquilibre des classes (notamment dans le jeu de données mediaeval), en termes de macro-f1 et de mcc (matthews correlation coefficient foot_3 ), tels qu'implémentés dans la bibliothèque scikit-learn. ces performances sont mesurées sur les jeux de test officiels des tâches mediaeval @xcite et cls-fr @xcite , bien sûr disjoints des ensembles d'entraînement t .