Adaptation de ressources en langue anglaise pour interroger des données tabulaires en français (Adaptation of resources in E nglish to query F rench tabular data) (2021)

Abstract: Les récents développements des approches d’apprentissage neuronal profond ont permis des avancées très significatives dans le domaine de l’interrogation des systèmes d’information en langage naturel. Cependant, pour le français, les ressources à disposition ne permettent de considérer que les requêtes sur des données stockées sous forme de texte. Or, aujourd’hui la majorité des données utilisées en entreprise sont stockées sous forme tabulaire. Il est donc intéressant d’évaluer si les ressources anglophones associées (jeux de données tabulaires et modèles) peuvent être adaptées au français tout en conservant de bons résultats.

## introduction ces dernières années les avancées en traitement automatique du langage permettent d'envisager des applications plus poussées dans des milieux professionnels, comme par exemple l'amélioration du traitement des données pour la gestion de la relation client @xcite . ainsi le traitement des questions en langage naturel sur des données peut être très prometteur. le traitement des questions en langage naturel a connu un vif intérêt, à l'image du jeu de données squad présenté par @xcite , qui fait désormais partie du jeu de tâche du benchmark glue @xcite . la tâche consiste à extraire les portions de textes qui permettent de répondre à la question posée. or, la plupart des données sont stockées sous forme d'une base de données tabulaire. ainsi, dans le cadre de données stockées dans une base sql, le contexte des questions serait une table de données, et la réponse serait alors une traduction de cette question en sql. plusieurs jeux de données ont été réalisés afin de répondre à cette tâche d'analyse de données tabulaires, que ce soit en se focalisant sur des questions générales et complexes @xcite , plusieurs questions simples @xcite , ou en cherchant une traduction la plus fidèle qui soit d'un langage naturel vers le sql @xcite . si chacun de ces jeux de données propose un modèle associé, on peut toutefois remarquer que le modèle tapas proposé par @xcite , utilise d'une manière originale l'architecture bert @xcite , pour proposer un nouveau traitement de cette tâche ; il donne actuellement les meilleurs résultats. cependant toutes ces ressources ne sont conçues que pour un usage qui concerne la langue anglaise. par suite, l'on peut se demander dans quelle mesure une nouvelle collecte de données est nécessaire pour obtenir un modèle équivalent à tapas pour le français. c'est pourquoi nous proposons ici une traduction du jeu de données proposé par @xcite , ainsi que son évaluation sur une version ré-entraînée du modèle tapas, afin de déterminer si ce jeu de données obtenu par traduction d'une ressource anglophone est suffisant pour obtenir un modèle de traitement de questions en langage naturel sur des données tabulaires en français. plus précisément, nous souhaitons établir dans quelle mesure ce modèle ré-appris sur les données traduites produit des résultats comparables à ceux obtenus pour l'anglais sur une tâche équivalente. ## présentation des jeux de données afin de réaliser la tâche de traduction du langage naturel en une expression sql, plusieurs jeux de données peuvent être exploités : de la même manière que @xcite ont proposé une traduction du jeu de données squad en utilisant l'api de google traduction, nous proposons une version traduite du jeu de données wikisql en utilisant cette même api. cette tâche de traduction comporte trois étapes : on remarque alors que les requêtes en langage naturel sont assez courtes (autour d'une dizaine de mots). cette distribution est semblable à celle du jeu de données anglophone présenté par @xcite . de plus, on peut voir dans le diagramme en figure 2, que la majorité des requêtes sql n'utilisent pas de fonctions d'agrégat, et ne s'assimilent donc qu'à une simple sélection sur la table. ainsi ce jeu de données se caractérise par des requêtes d'une relative simplicité. ## présentation du modèle tapas avec les progrès récents de l'apprentissage profond appliqué à la compréhension du langage naturel, des prototypes de logiciels grand public cherchant à intégrer une interrogation en langage naturel pour assurer une interaction homme-machine plus naturelle ont vu le jour. les services proposés restent cependant extrêmement limités car ils ne prennent en compte que des structures de données spécifiques, et les interactions restent encore très éloignées d'une interaction en langage naturel. dans le même temps, de nouvelles architectures neuronales permettent de franchir des étapes importantes pour déterminer les réponses à donner à des questions exprimées en langue naturelle. en particulier, les architectures à base de transformers telles que le bert de @xcite ont apporté des progrès notables. pourrions-nous tirer parti de ces avancées pour interagir avec les données tabulaires ? récemment, google research (herzig et al., 2020) a dévoilé tapas (table parser), un modèle basé sur l'architecture bert qui traite les questions et réponses pour des ensembles de données tabulaires. au lieu de créer un modèle contraint à une structure de table spécifique, google a fait le choix d'une approche plus globale en créant un réseau de neurones adapté à toute forme de jeu de données tabulaires. son modèle tapas réutilise l'architecture de l'encodeur bert, en y ajoutant des plongements supplémentaires. l'ajout le plus notable au modèle de base bert est l'intégration d'informations supplé-mentaires pour l'encodage de l'entrée textuelle. tapas exploite les incorporations apprises pour les index de ligne et de colonne ainsi que pour un index de rang spécial qui représente l'ordre des éléments dans les colonnes numériques. l'architecture obtenue surpasse actuellement les autres modèles pour l'interrogation en langage naturel de données tabulaires. le modèle tapas est assez similaire à bert mais il en diffère par l'ajout à son tokenizer des plongements des positions relatives, ainsi que sept tokens modélisant les tables. tapas est pré-appris sur une tâche de modèle masqué 1 , à l'aide de millions de tables venant de la version anglaise de wikipedia et les textes correspondants. enfin, tapas est entraîné plus finement sur une tâche des réponses aux questions. le modèle cherche alors à prédire deux choses : les cellules correctes associées à la réponse et l'agrégateur correspondant. ## application et résultats 4.1 apprentissage du modèle outre les ajouts et modifications apportés au modèle bert originel décrit précédemment, tapas suit un protocole d'apprentissage en trois étapes qui s'appuie sur plusieurs jeux de données. la première étape consiste en un pré-entraînement sur un jeu de données de 6,2 millions de tables anglophones extraites de wikipedia suivant le modèle de masquage proposé dans bert @xcite . le but ici est d'initialiser l'entraînement du modèle à partir du contexte constitué des éléments qui composent la table traitée : la tâche consiste à retrouver certains éléments masqués de ce contexte. cette étape de pré-apprentissage est suivie d'une étape d'ajustement fin (fine tuning) qui finalise 1. masked language modeling (mlm) l'apprentissage du modèle sur une tâche spécifique. les données utilisées pour cet entraînement sont alors similaires au jeu de tests pour évaluer le modèle final obtenu. dans leurs travaux les plus récents sur le modèle @xcite , les auteurs ont ajouté une étape intermédiaire d'apprentissage. pour notre expérimentation, nous sommes partis de ce modèle ayant bénéficié de ce pré-entraînement supplémentaire. ## conclusion et travaux futurs si les résultats propres de l'expérience ne permettent pas d'en déduire pour l'instant une réelle efficacité du modèle en situation réelle, ils permettent néanmoins d'encourager cette approche de traduction de jeu de données. en effet on peut espérer de meilleurs résultats avec un apprentissage plus long, ou un jeu de données traduit et relu, ce qui allégerait la tâche d'expertise humaine nécessaire à l'obtention d'un jeu de données pour cette tâche de traitement de requêtes en français sur des données tabulaires. de plus ces résultats nous éclairent sur l'usage de l'apprentissage fin, qui permet d'une part d'adapter plus facilement de larges modèles à de nouvelles langues, et d'autre part d'éviter de travailler sur des modèles complets souvent très volumineux ; dans notre cas les données de pré-apprentissage forment un corpus de 6.2 millions de tables. enfin, des résultats complémentaires permettront d'affiner les conclusions et perspectives de cette étude, comme sur l'influence de la traduction sur les performances d'exactitude. on peut aussi imaginer un modèle suivant la même architecture mais prenant en compte des données francophones sur chaque étape de l'apprentissage.