Modèles adaptatifs pour prédire automatiquement la compétence lexicale d’un apprenant de français langue étrangère (Adaptive models for automatically predicting the lexical competence of F rench as a foreign language learners) (2016)

Abstract: Cette étude examine l’utilisation de méthodes d’apprentissage incrémental supervisé afin de prédire la compétence lexicale d’apprenants de français langue étrangère (FLE). Les apprenants ciblés sont des néerlandophones ayant un niveau A2/B1 selon le Cadre européen commun de référence pour les langues (CECR). À l’instar des travaux récents portant sur la prédiction de la maîtrise lexicale à l’aide d’indices de complexité, nous élaborons deux types de modèles qui s’adaptent en fonction d’un retour d’expérience, révélant les connaissances de l’apprenant. En particulier, nous définissons (i) un modèle qui prédit la compétence lexicale de tous les apprenants du même niveau de maîtrise et (ii) un modèle qui prédit la compétence lexicale d’un apprenant individuel. Les modèles obtenus sont ensuite évalués par rapport à un modèle de référence déterminant la compétence lexicale à partir d’un lexique spécialisé pour le FLE et s’avèrent gagner significativement en exactitude (9%-17%).

## introduction la problématique de la prédiction de la difficulté de textes pour un allophone intéresse un certain nombre de chercheurs qui font dialoguer le traitement automatique du langage (tal) et l'apprentissage des langues assisté par ordinateur (alao) @xcite @xcite . pouvoir effectuer ce type de prédiction est important dans un contexte alao, car présenter des textes inadéquats à un apprenant est problématique. des textes trop simples vont limiter l'apprentissage, tandis que des textes trop ardus risquent de conduire à une mauvaise compréhension du contenu et à une perte de motivation. or, on sait que la lecture joue un rôle crucial dans l'acquisition incidente du lexique, pour autant que s'opère une bonne compréhension du texte @xcite . pour ce faire, il faut que la majorité des mots figurant dans un texte, c'est-à-dire entre 95% et 98%, soient connus par l'apprenant @xcite . afin de pouvoir sélectionner de manière automatisée des matériaux appropriés qui facilitent l'apprentissage, nous pensons qu'il peut être utile d'utiliser des techniques issues du tal pour évaluer la complexité lexicale d'un texte pour un apprenant en particulier. reste à définir ce qui est visé par le terme de complexité lexicale. de nombreuses études ont cherché à identifier, dans la nature même des mots, des caractéristiques qui les rendent plus complexes à traiter pour le cerveau humain. la psychologie cognitive a ainsi montré qu'un nombre important de ces caractéristiques -tels la fréquence lexicale, le nombre de sens, le nombre de voisins orthographiques, l'âge d'acquisition, etc. -influencent la vitesse de traitement des mots 1 . en tal, quelques travaux se sont nourris de ces connaissances pour implémenter des modèles visant à prédire automatiquement le niveau de difficulté d'un mot sur la base de variables psycholinguistiques @xcite . cependant, ces tentatives, basées sur bon nombre de caractéristiques lexicales, ne dépassent que difficilement une baseline reposant uniquement sur la fréquence des mots. une autre approche de la complexité lexicale inverse le problème et se focalise sur l'apprenant plutôt que sur les mots. elle consiste à modéliser le lexique d'un apprenant ou d'un groupe homogène d'apprenants et à définir comme difficiles les mots supposés inconnus par le modèle. cette approche requiert cependant de définir ce qu'est la compétence lexicale d'un apprenant. cette notion est loin d'être évidente, car il y a plusieurs éléments à prendre en compte lorsqu'on veut mesurer automatiquement les connaissances lexicales d'un apprenant @xcite . en effet, une dimension du vocabulaire l2 communément envisagée est la quantité de mots qu'un apprenant a acquis jusqu'à présent (taille du vocabulaire). une deuxième perspective (profondeur du vocabulaire) mesure à quel point l'apprenant a intériorisé ces mots. ainsi, l'acquisition du vocabulaire concerne l'intériorisation progressive de trois propriétés d'un mot : (i) sa forme phonétique et graphique, (ii) son sémantisme et (iii) son usage en contexte @xcite . une dernière dimension concerne la fluidité lexicale, c'est-à-dire la facilité avec laquelle l'apprenant utilise et comprend le vocabulaire acquis en production et en réception. enfin, il importe également de prendre en compte la façon même de développer une telle compétence, qui s'avère particulièrement transitoire et incrémentale @xcite . les études qui se sont penchées sur la prédiction de la compétence lexicale d'un apprenant d'un point de vue tal restent encore peu nombreuses. une tentative a été faite dans le cadre du projet flelex @xcite , dans lequel a été produit, à l'exemple de la ressource manulex pour le français langue maternelle @xcite , une ressource lexicale graduée pour le français langue étrangère (fle). la ressource flelex 2 décrit, pour environ 15 000 mots de base du français, leur distribution sur les 6 niveaux du cadre européen commun de référence pour les langues (cecr), allant des niveaux élémentaires (a1 et a2) aux niveaux intermédiaires (b1 et b2) et avancés (c1 et c2). @xcite se sont basés sur cette ressource pour prédire les mots connus d'un apprenant en transformant la distribution en un niveau unique et en comparant le niveau du mot au niveau cecr de l'apprenant. néanmoins, un modèle prédictif qui se fonde sur un lexique gradué par niveau du cecr tel que flelex semble fournir une image restreinte de la compétence lexicale d'un apprenant. d'abord, vu que les prédictions ne prennent en compte que le niveau de maîtrise de l'apprenant, le modèle ne rend pas compte des différences possibles entre apprenants du même niveau. ensuite, puisque les prédictions sont dérivées d'une connaissance symbolique, a priori, de la compétence lexicale (c'est-à-dire à partir de manuels scolaires de fle), le modèle n'intègre pas de données pour modéliser a posteriori la compétence lexicale d'un apprenant. enfin, étant donné que les prédictions du modèle restent constantes, le modèle prédictif résultant n'est pas adaptatif et ne rend pas compte de la nature incrémentale de l'acquisition du vocabulaire l2. or, dans le domaine de l'apprentissage des langues intelligemment assisté par ordinateur (aliao), plusieurs travaux ont abouti à la création de tuteurs intelligents s'adaptant à l'activité d'un apprenant dans un environnement d'apprentissage. par exemple, les systèmes tutoriels développés par @xcite et par @xcite tracent l'activité au sein des exercices de vocabulaire afin de déterminer les difficultés lexicales individuelles d'un apprenant donné et de lui présenter de nouveaux exercices appropriés. ainsi, les systèmes tutoriels intelligents se caractérisent principalement par l'intégration d'un modèle de l'utilisateur qui enregistre les données sur l'activité d'un usager. afin de concevoir un tel modèle (aussi appelé modèle de l'apprenant dans un contexte l2), de nombreux tuteurs intelligents se fondent sur des méthodes d'apprentissage incrémental @xcite . l'usage des méthodes incrémentales est indispensable lorsque l'on veut « tracer un phénomène qui évolue au cours du temps » (bottou, 1998, p. 5, notre traduction), ce qui est le cas de la compétence lexicale en l2. comme @xcite l'ont souligné, puisque les méthodes d'apprentissage automatique classiques requièrent que toutes les données soient disponibles au moment de l'entraînement, ils ne permettent pas de gérer les situations où l'on doit traiter des informations à des moments non déterminés à l'avance. néanmoins, il semble que la modélisation par apprentissage incrémental ne fasse pas encore l'objet de nombreux travaux en tal et, moins encore en ce qui concerne la prédiction de la compétence lexicale. notre étude vise dès lors à fournir une nouvelle contribution à la prédiction de la compétence lexicale, en analysant la modélisation de cette compétence par apprentissage incrémental. en particulier, notre travail consiste à élaborer un modèle de l'apprenant qui prédit la compétence lexicale en lecture d'un allophone individuel et qui intègre un ensemble de traits de complexité lexicale inspirés de gala et al. (2014) ainsi que les fréquences observées dans flelex @xcite . l'hypothèse principale de notre étude est que l'intégration de ces variables dans un modèle adaptatif permet de modéliser de manière plus exacte la compétence lexicale de l'apprenant en lecture. dans ce qui suit, nous présentons d'abord comment nous avons obtenu des données de la compétence lexicale en lecture, en exploitant un corpus de textes narratifs et informatifs (section 2.1) et en faisant annoter ces textes par des apprenants de français langue étrangère (section 2.2). ensuite, nous détaillons comment nous avons défini les modèles adaptatifs prédictifs de la compétence lexicale (section 2.3.1) et comment nous les avons entraînés (section 2.3.2). enfin, nous clôturons ce travail par une discussion des résultats de l'évaluation des modèles par rapport au modèle de référence développé par @xcite (section 3.1), ainsi que des principales implications de notre étude pour le domaine de la prédiction automatique de la compétence lexicale en l2 (section 3.2). ## méthodologie mesurer la compétence lexicale réceptive d'un apprenant n'est pas chose aisée, en particulier lorsque l'on cherche à dépasser la simple reconnaissance des formes lexicales pour essayer de capturer une connaissance lexicale plus approfondie. dans ce but, nous avons observé la compétence lexicale réceptive d'apprenants à travers une plateforme de lecture qui leur permettait d'annoter les mots dont ils ne se rappelaient pas le sens en contexte. pour concevoir une telle expérience de lecture, nous avons exploité un ensemble de textes narratifs et informatifs (section 2.1) dans lesquels toutes les unités lexicales, y compris les unités polylexicales, ont été balisées et annotées (section 2.2). ces annotations ont ensuite été utilisées pour entraîner des modèles de classification adaptatifs (section 2.3). ## conclusion et perspectives cette étude nous a permis d'évaluer l'efficacité d'une modélisation adaptative de la compétence lexicale d'apprenants de français langue étrangère (fle). la compétence lexicale modélisée portait sur le rappel des mots en lecture par quatre apprenants néerlandophones ayant un niveau a2/b1 selon le cadre européen commun de référence (cecr). nous avons décrit deux modèles qui reposaient soit sur la compétence lexicale en moyenne de tous les apprenants du même niveau de maîtrise (modèle du niveau), soit sur la compétence lexicale d'un apprenant individuel (modèle personnalisé). lors de l'entraînement incrémental de ces modèles, il est apparu que les réseaux de neurones artificiels étaient plus robustes qu'un classifieur linéaire par svm. en outre, nous avons également observé l'intérêt de sous-échantillonner la classe majoritaire de mots connus afin de mieux prédire la connaissance lexicale. enfin, nous avons observé un gain d'exactitude significatif des modèles personnalisés par rapport à un modèle de référence, ce qui a permis de confirmer notre hypothèse centrale. toutefois, une étude à plus large échelle devra être menée afin de préciser de mieux les comparer aux modèles du niveau. nous envisageons plusieurs perspectives pour rendre plus précise la prédiction de la compétence lexicale d'un apprenant de fle. une première démarche concernera l'intégration de variables lexicales subjectives (telles que la familiarité du mot) et de variables d'apprenant (telles que sa langue maternelle) dans le modèle de l'apprenant, s'appuyant sur les travaux sur l'identification automatique de congénères @xcite . de cette manière, nous serons capables de personnaliser davantage le modèle de l'apprenant et de mieux en comparer l'efficacité par rapport à un modèle moyen par niveau de maîtrise. une autre perspective consistera à différencier les différents sens des unités lexicales dans le texte. en effet, les modèles élaborés dans cet article ne se basent que sur la forme et se limitent donc à la modélisation des aspects formels de la compétence lexicale. dès lors, en désambiguïsant sémantiquement les lemmes, nous serons mieux en mesure de prendre en compte la compétence lexicale d'un apprenant de fle.