F lau BERT : des modèles de langue contextualisés pré-entraînés pour le français ( F lau BERT : Unsupervised Language Model Pre-training for F rench) (2020)

Abstract: Les modèles de langue pré-entraînés sont désormais indispensables pour obtenir des résultats à l’état-de-l’art dans de nombreuses tâches du TALN. Tirant avantage de l’énorme quantité de textes bruts disponibles, ils permettent d’extraire des représentations continues des mots, contextualisées au niveau de la phrase. L’efficacité de ces représentations pour résoudre plusieurs tâches de TALN a été démontrée récemment pour l’anglais. Dans cet article, nous présentons et partageons FlauBERT, un ensemble de modèles appris sur un corpus français hétérogène et de taille importante. Des modèles de complexité différente sont entraînés à l’aide du nouveau supercalculateur Jean Zay du CNRS. Nous évaluons nos modèles de langue sur diverses tâches en français (classification de textes, paraphrase, inférence en langage naturel, analyse syntaxique, désambiguïsation automatique) et montrons qu’ils surpassent souvent les autres approches sur le référentiel d’évaluation FLUE également présenté ici.

## introduction en 2018, l'introduction de représentations linguistiques profondes contextuelles, obtenues à partir de textes bruts, a conduit à un changement de paradigme pour plusieurs tâches du taln. alors que les approches fondées sur des représentations continues telles que word2vec @xcite ou glove @xcite apprennent un vecteur unique pour chaque mot, les modèles introduits récemment produisent des représentations contextuelles qui dépendent de la séquence de mots d'entrée complète. initialement fondées sur des réseaux neuronaux récurrents @xcite @xcite , ces approches ont peu à peu intégré des modèles transformer @xcite comme c'est le cas pour gpt @xcite , bert @xcite , xlnet @xcite , roberta @xcite , @xcite et t5 @xcite . l'utilisation de ces modèles pre-entraînés a permis des avancées de l'état-de-l'art pour de nombreuses tâches du taln. cependant, ceci a surtout été montré pour l'anglais, même si des variantes multilingues sont également disponibles, prenant en compte plus d'une centaine de langues dans un seul modèle : mbert @xcite , xlm @xcite , xlm-r @xcite . dans cet article 1 , nous décrivons notre méthodologie pour construire et partager flaubert (french language understanding via bidirectional encoder representations from transformers), un modèle bert pour la français. flaubert surpasse le modèle multilingue mbert dans plusieurs tâches. nous proposons aussi un référentiel d'évaluation nommé flue (french language understanding evaluation) similaire au benchmark glue (wang et al., 2018) pour l'anglais. flaubert et flue sont disponibles en ligne pour la communauté taln. 2 étant donné l'impact des modèles contextuels pre-entrainés, plusieurs auteurs ont récemment publié des modèles disponibles pour d'autres langues que l'anglais. par exemple, elmo @xcite existe pour le portugais, le japonais, l'allemand et le basque, 3 tandis que bert a été récemment entraîné pour plusieurs langues (allemand, chinois, espagnol, finnois, italien, néerlandais, suédois). 4 pour le français, en parallèle du modèle que nous proposons, une équipe jointe inria et facebook a développé camembert @xcite . une autre tendance considère des modèles estimés sur plusieurs langues avec un vocabulaire commun, comme par exemple une version de bert multilingue pour 104 langues 5 . mentionnons également les travaux récents utilisant des données parallèles comme laser @xcite pour 93 langues, xlm @xcite et xlm-r @xcite pour 100 langues. par ailleurs, l'existence d'un référentiel d'évaluation tel que glue (wang et al., 2018) pour l'anglais est très utile pour stimuler des recherches reproductibles. les bonnes performances obtenues avec des modèles contextuels pre-entrainés sur la plupart des tâches de taln couvertes par glue ont conduit à son extension. superglue (wang et al., 2019) est un nouveau référentiel construit sur les mêmes principes, incluant un ensemble de tâches plus difficiles et variées. une version chinoise de glue 6 est aussi développée pour évaluer la performance du modèle sur cette langue. à ce jour, nous n'avons pas connaissance d'un tel référentiel pour le français, d'où la proposition détaillée en section 3. 1. cet article est une version traduite et raccourcie de l'article de le et al. (2019), accepté à lrec 2020. 2. https://github.com/getalp/flaubert 3. https://allennlp.org/elmo 4. une liste de modèles, en constante évolution, est disponible sur https://huggingface.co/models 5. https://github.com/google-research/bert 6. https://github.com/chineseglue/chineseglue ## flue le référentiel d'évaluation flue est composé de 7 tâches correspondant à différents niveaux d'analyse (syntaxique, sémantique) du traitement automatique du français. classification de texte le corpus d'analyse de sentiments translingue cls @xcite est constitué de critiques issues du site amazon pour trois catégories de produits (livres, dvd et musique) en quatre langues : anglais, français, allemand et japonais. chaque échantillon contient une critique associée à une note allant de 1 à 5. suivant blitzer et al. (2006 désambiguïsation lexicale des verbes et des noms la désambiguïsation lexicale consiste à assigner un sens, parmi un inventaire donné, à des mots d'une phrase. pour la désambiguïsation lexicale de verbes, nous utilisons les données de frenchsemeval @xcite . il s'agit d'un corpus d'évaluation dont les occurrences de verbes ont été annotées manuellement avec les sens de wiktionary. 10 pour la désambiguïsation lexicale des noms, nous utilisons la partie française de la tâche de désambiguïsation multilingue de semeval 2013 @xcite . nous adaptons l'inventaire de sens de babelnet utilisé par @xcite pour wordnet 3.0 @xcite , en convertissant les étiquettes de sens lorsqu'une projection est présente dans babelnet, et en les supprimant dans le cas contraire. ce processus de conversion donne un corpus d'évaluation composé de 306 phrases et 1 445 mots français annotés en sens wordnet, et vérifiés manuellement. les données d'apprentissage sont obtenues par transfert selon la méthode décrite par hadj salah (2018), qui consiste à traduire des corpus annotés en sens puis transférer leurs annotations. nous rendrons disponibles à la fois nos données d'entraînement et d'évaluation. ## expériences et résultats dans cette section, nous présentons les résultats de flaubert sur le référentiel d'évaluation flue. nous comparons les performances de flaubert avec bert multilingue @xcite et camembert @xcite sur toutes les tâches. nous comparons également avec le meilleur modèle non contextuel pour chaque tâche. nous utilisons les bibliothèques open-source xlm @xcite . nous renvoyons à @xcite pour une description détaillée des expériences. classification de texte nous avons suivi le processus de réglage fin (fine tuning) standard de bert @xcite . le bloc de classification ajouté au dessus du model bert est composé des couches suivantes : dropout, linéaire, activation tanh, dropout et linéaire. les dimensions de sortie des couches linéaires sont respectivement égales à la taille cachée du transformer et au nombre de classes (2). la valeur de dropout a été fixée à 0.1. nous entraînons le modèle pendant 30 époques, par lots de 8 exemples. nous testons 4 valeurs de learning rate (1e-5, 5e-5, 1e-6 et 5e-6). nous utilisons comme ensemble de validation un échantillon aléatoire de 20% des données, pour sélectionner le meilleur modèle. le tableau 2 présente l'exactitude finale sur l'ensemble de test pour chaque modèle. les résultats mettent en évidence l'importance d'un modèle monolingue en français pour la classification des textes : camembert et flaubert base surpassent largement mbert. identification de paraphrases la configuration de cette tâche est presque identique à la précédente, la seule différence étant que la séquence d'entrée est maintenant une paire de phrases a, b. la performance finale de chaque modèle est indiquée dans le tableau 2. on peut observer que notre modèle monolingue français ne fonctionne que légèrement mieux qu'un modèle multilingue (mbert), ce qui pourrait être attribué aux caractéristiques de l'ensemble de données paws-x. en effet, cet ensemble de données contient des paires de phrases avec une forte proportion de chevauchement lexical, ce qu'un modèle multilingue peut détecter aussi bien qu'un modèle monolingue. flaubert obtient un encore meilleur résultat (+0.7). les trois analyseurs utilisant un modèle de langue contextuel obtiennent des résultats similaires en étiquetage morphosyntaxique (98.1-98.2). analyse syntaxique en dépendances pour l'analyse en dépendances, nous utilisons une réimplémentation de l'algorithme @xcite avec décodage par arbre couvrant de poids maximal. l'analyseur prend en entrée des phrases étiquetées en partie du discours. nous utilisons les tags prédits fournis par la campagne spmrl. notre représentation lexicale est une concaténation de plongements lexicaux et de plongements de tags appris avec le reste du modèle d'analyse sur le french treebank ainsi que d'un vecteur préentrainé. les résultats sont donnés en