Les modèles de langue contextuels Camembert pour le français : impact de la taille et de l’hétérogénéité des données d’entrainement ( C AMEM BERT Contextual Language Models for F rench: Impact of Training Data Size and Heterogeneity ) (2020)

Abstract: Les modèles de langue neuronaux contextuels sont désormais omniprésents en traitement automatique des langues. Jusqu’à récemment, la plupart des modèles disponibles ont été entraînés soit sur des données en anglais, soit sur la concaténation de données dans plusieurs langues. L’utilisation pratique de ces modèles — dans toutes les langues sauf l’anglais — était donc limitée. La sortie récente de plusieurs modèles monolingues fondés sur BERT (Devlin et al., 2019), notamment pour le français, a démontré l’intérêt de ces modèles en améliorant l’état de l’art pour toutes les tâches évaluées. Dans cet article, à partir d’expériences menées sur CamemBERT (Martin et al., 2019), nous montrons que l’utilisation de données à haute variabilité est préférable à des données plus uniformes. De façon plus surprenante, nous montrons que l’utilisation d’un ensemble relativement petit de données issues du web (4Go) donne des résultats aussi bons que ceux obtenus à partir d’ensembles de données plus grands de deux ordres de grandeurs (138Go).

## introduction en préface à son introduction to deep learning, @xcite évoque son scepticisme initial face à la révolution apportée par l'apprentissage profond de réseaux neuronaux au traitement automatique des langues : « (..) i can rationalize this since this is the third time neural networks have threatened a revolution but only the first time they have delivered. @xcite , page xi) » en effet, la surprise apportée par l'avènement des plongements lexicaux et le gain de performance qu'ils ont permis en peu de temps @xcite @xcite n'a eu pour équivalent que le saut qualitatif apporté par la prise en compte du contexte dans les représentations vectorielles, permettant de facto une prise en charge effective de la polysémie et donc l'obtention de modèles plus efficaces et plus fins @xcite . ces avancées ont ouvert la voie à des modèles contextuels plus larges, entraînés sur des objectifs de modèles de langue @xcite . ces approches, qui reposaient au départ sur des architectures lstm @xcite , ont évolué vers des architecturs de type transformer, avec notamment gpt2 @xcite , bert @xcite , roberta @xcite et plus récemment albert @xcite et t5 @xcite . bien que plusieurs modèles développés pour d'autres langues aient été publiés (modèles elmo 1 pour le japonais, le portugais, l'allemand et le basque ; modèles bert pour le chinois simplifié et classique @xcite ou pour l'allemand @xcite ), le différentiel quant à la taille de leurs données de pré-entraînement n'a pas permis l'émergence de travaux les comparant au modèle original. cependant, des modèles multilingues reposant sur la concaténation de larges jeux de données (principalement basés sur wikipedia) sont apparus @xcite et ont permis des avancées notables via l'apprentissage par transfert @xcite . ce n'est toutefois que très récemment que des modèle monolingues à grande échelle ont été développés @xcite @xcite et ont permis de confirmer l'intérêt des modèles monolingues sur d'autres langues. en ce qui concerne le français, @xcite ont montré sur diverses tâches que leur modèle, flau-bert, offrait un panel de performances équivalentes à celles de camembert @xcite , soulignant qui plus est la complémentarité des deux modèles sur des tâches d'analyse syntaxique. sachant que ces modèles ont été entraînes sur des données in fine différentes bien que d'origine similaire (avec un filtrage plus intense et l'utilisation d'un équivalent francophone du bookcorpus dans un cas, un filtrage principalement sur le bruit et l'identification de la langue cible dans l'autre), il est pertinent de s'interroger sur l'impact qu'ont les données de pré-entraînement, tant en termes de taille que de type de données, sur les performances des modèles de langue neuronaux contextuels. d'autres paramètres sont d'importance, en particulier la stratégie de masking utilisée (subword ou whole-word ?) et le nombre de couches et de têtes d'attention (modèle base ou large ?). nous présentons ici une série d'expériences construites autour de camembert visant à répondre à ces questions. nos résultats montrent que, contrairement à l'idée qui prévalait, il est possible d'obtenir des résultats étonnement bons, au niveau de l'état de l'art pour toutes les tâches ou presque, avec des modèles entraînés sur seulement 4go de données. le point essentiel est qu'il semble préférable d'utiliser des données à haute variabilité, éventuellement bruitées, plutôt que des données proprement éditées et stylistiquement homogènes telles qu'on peut en trouver dans des jeux de données tirés de wikipedia. ce résultat permet d'envisager l'entraînement de ce type de modèles pour des langues relativement peu dotées voire pour des domaines spécialisés, dans les cas où une stratégie de fine-tuning ne serait pas efficace. ## protocole expérimental nous reprenons le même environnement expérimental (paramètres, outils, métriques, etc.) que celui utilisé par @xcite . ## conclusion nous avons étudié l'impact de la taille et du niveau d'hétérogénéité des données de pré-entraînement sur la performance des modèles de langue neuronaux contextuels camembert du français, ainsi qu'entre autres, l'impact de la taille du modèle et du nombre de steps de pré-entraînement. nos résultats montrent que la taille des données d'entraînement n'a finalement que peu d'impact sur les performances globales et ouvrent donc la voie à des modèles de langages neuronaux contextuels spécialisés, liés à des domaines précis ou à des langues très peu dotées. la question de leur éventuelle complémentarité avec des modèles fine-tuné sur des modèles de langage générique est reste évidemment à explorer. entrainés sur des corpus open-source et disponibles sous une licence mit, tous les modèles discutés dans cet article sont accessibles librement sur https://camembert-model.fr .