Prédire le niveau de langue d’apprenants d’anglais (Predict the language level for E nglish learners) (2020)

Abstract: L’apprentissage de la deuxième langue (L2) est un processus progressif dans lequel l’apprenant améliore sa maîtrise au fur et à mesure de l’apprentissage. L’analyse de productions d’apprenants intéresse les chercheurs et les enseignants car cela permet d’avoir une meilleure idée des difficultés et les facilités d’apprentissage et de faire des programmes didactiques plus adaptés. Cela peut également donner des indications sur les difficultés cognitives à maîtriser les notions grammaticales abstraites dans une nouvelle langue. Nous proposons de travailler sur un corpus de productions langagières d’apprenants d’anglais provenant de différents pays et donc ayant différentes langues maternelles (L1). Notre objectif consiste à catégoriser ces productions langagières selon six niveaux de langue (A1, A2, B1, B2, C1, C2). Nous utilisons différents ensembles de descripteurs, y compris les verbes et expressions modaux. Nous obtenons des résultats intéressants pour cette catégorisation multiclasse, ce qui indique qu’il existe des différences linguistiques inhérentes entre les différents niveaux.

## introduction les chercheurs distinguent en général deux catégories en acquisition de langues @xcite : l'acquisition de la première langue (l1) et de la deuxième langue (l2). l'acquisition de la première langue est un processus universel, inconscient et indépendant de la langue. ainsi, de jeunes enfants commencent très rapidement à imiter les productions langagières de leurs parents et de l'entourage. cependant, l'acquisition de l2 suppose la connaissance et la maîtrise de la première langue. ce processus suppose également que la personne apprenne consciemment les éléments d'une nouvelle langue, comme le vocabulaire, les composants phonologiques, les structures grammaticales et l'écriture. l'apprentissage de l2 est donc un processus progressif dans lequel l'apprenant améliore sa maîtrise au fur et à mesure de l'apprentissage. les productions d'apprenants l2 intéressent les chercheurs qui veulent comprendre les difficultés d'apprentissage pour une langue donnée, faire des programmes d'apprentissage plus appropriés ou pour étudier les capacités cognitives des élèves à maîtriser les notions plus ou moins abstraites, par exemple. les productions langagières en l2 sont étudiées de différents points de vue : étudier un aspect langagier donné @xcite @xcite @xcite @xcite , faire le parallèle entre l'apprentissage de l1 et de l2 @xcite @xcite , identifier automatiquement la l1 des apprenants en l2 @xcite @xcite ou définir le niveau de maîtrise d'apprenants de l2 @xcite @xcite . les deux premières tâches sont en général étudiées manuellement par les linguistes et didacticiens, alors que les deux autres tâches attirent l'attention des chercheurs en tal. les travaux effectués manuellement concernent typiquement l'étude de catégories abstraites, comme la notion de modalité et l'usage de modaux. tout d'abord, notons qu'il a été observé que, chez les apprenants d'anglais l1, l'usage de modaux apparaît à partir de 2 ans avec des modaux déontiques (comme can) et se diversifie progressivement avec l'apparition de modaux épistémiques (comme must ou might) vers 3 ans @xcite @xcite . en ce qui concerne l'apprentissage de modaux d'anglais l2, dans une étude @xcite , les chercheurs ont analysé la compréhension de la valeur des modaux principaux (can, could, may, might) par les apprenants d'anglais parlant panjabi, une langue indienne. les apprenants devaient définir la valeur sémantique des modaux parmi quatre valeurs possibles : capacité, permission, possibilité et possibilité hypothétique. dans un autre travail, les chercheurs analysaient la maîtrise des fonctions grammaticale et modale des modaux chez des enfants apprenants d'anglais @xcite . l'auteur indique entre autre qu'il existe des similarités dans l'apprentissage de l'anglais comme l1 ou l2. de rares travaux ont porté sur l'acquisition de la modalité dans d'autres langues, comme par exemple en japonais @xcite ou en allemand @xcite . concernant la prédiction du niveau d'apprenants, dans un travail, les productions d'apprenants de français d'origine suédoise ont été analysées du point de vue syntaxique @xcite , en mettant l'accent sur leur étiquetage et analyse syntaxique automatique. 142 descripteurs ont ainsi pu être exploités, comme par exemple le pourcentage de séquences déterminant-nom avec accord, de mots inconnus, de gns avec accord en genre, de prépositions, de séquences nom-adjectif avec accord, d'accord sujet-verbe avec des verbes modaux et la longueur moyenne des phrases. les productions ont ensuite été classées automatiquement en cinq stades d'apprentissage. l'utilisation des 10 meilleurs descripteurs avec c4.5 montre une f-mesure entre 0,46 et 0,53 selon les stades. dans un autre travail, les productions d'apprenants de suédois comme l2 sont analysées de différents points de vue (lexique, syntaxe, morphologie, sémantique) grâce à leur comparaison avec des manuels de langue @xcite . il s'avère que les descripteurs lexicaux apportent le plus de gain dans la définition de la maîtrise du suédois. actuellement, la plupart des travaux qui cherchent à définir le niveau de maîtrise de l2 sont effectués sur le corpus efcamdat avec six niveaux d'apprenants @xcite . ce corpus est construit et maintenu à l'université de cambridge. il contient des productions d'apprenants adultes d'anglais comme l2 et de différentes langues maternelles l1 (portugais brésilien, chinois, russe, espagnol mexicain, allemand, français, italien, arabe saoudien, taiwanais et japonais). plusieurs travaux qui cherchent à définir le niveau de maîtrise de l2 ont été effectués dans le cadre de la campagne d'évaluation de la conférence cap en 2018 foot_0 , avec une mesure d'évaluation spécifique basée sur l'erreur et une matrice de coût spécifique @xcite . l'erreur est calculée comme @xmath0, où n est la matrice de confusion (n ij compte le nombre de fois où un exemple de la classe i a été classé j), n le nombre d'exemples classés et c la matrice de coût, calculée comme une mesure d'entropie croisée pondérée entre les classes. les probabilités prises en compte sont les probabilités d'apparition des classes telles qu'elles apparaissent dans les échantillons d'apprentissage et de test. les poids des classes et des erreurs ont été donnés par les experts du domaine pour prendre en compte l'importance de chacune des classes. sur les 14 équipes participantes de cette compétition, nous avons pu trouver la description de deux systèmes seulement. le système gagnant @xcite met en place une large palette de descripteurs (formules de lisibilité, modèles probabilistes de langues, plongements lexicaux, topic model, étiquettes morpho-syntaxiques, n-grammes de mots). avec gradient boosted trees et tous les descripteurs, le système obtient 98,2 d'accuracy avec l'erreur de 4,97. un autre système @xcite utilise une palette plus restreinte de descripteuts (diversité lexicale, complexité syntaxique, formules de lisibilité). gradient boosted trees est utilisé pour effectuer la classification binaire entre deux niveaux de langues. selon les paires de niveaux, l'auc, qui est la seule métrique présentée dans ce travail, varie entre 0,587 et 0,916. nous travaillons avec les productions langagières d'apprenants d'anglais comme l2 provenant de différents pays et de différentes langues l1. notre objectif consiste également à prédire le niveau de ces apprenants sur la base de leurs productions écrites. nous exploitons différents types de descripteurs, y compris les verbes et expressions modaux. comme les modaux sont des catégories abstraites de la langue, ils peuvent être plus difficiles à acquérir et maîtriser par les apprenants. selon les observations des chercheurs, lors des étapes initiales d'apprentissage d'anglais l2, l'usage de modaux est pauvre qu'il s'agisse de leur fréquence et diversité, les modaux déontiques sont dominants, certains modaux peuvent être sous-utilisés ou sur-utilisés @xcite . par ailleurs, il existe peu de travaux qui s'intéressent à cette catégorie d'unités linguistiques (jabbari & sedghi, 2015) chez les apprenants d'anglais l2. nous proposons donc d'étudier le rôle que les modaux pourraient jouer dans la détection automatique du niveau de langue, à côté d'autres descripteurs. ## approche et données nous travaillons avec le corpus efcamdat foot_1 @xcite . la partie exploitée du corpus contient 27 287 productions contenant presque 2m occurrences de mots. une production correspond au texte écrit par un apprenant d'anglais pour répondre à une question donnée. une production peut contenir une ou plusieurs phrases et véhiculer des idées plus ou moins complexes, en fonction de la maîtrise de la langue. la figure 1 présente des exemples de productions. ## conclusion nous avons présenté quelques expériences de prédiction du niveau de langue des apprenants d'anglais sur la base de leurs productions écrites. nous exploitons pour ceci plusieurs ensembles de descripteurs : formules de lisibilité classiques, n-grammes de mots et expressions et verbes modaux. la catégorisation montre des résultats intéressants et souligne l'importance des modaux pour cette tâche. ces résultats peuvent être améliorés par d'autres expériences (ajout d'autres descripteurs et de leurs combinaisons, exploitation d'autres algorithmes). par ailleurs, le rôle de notions plus abstraites, comme les valeurs modales, pourra être étudié encore plus en détail dans les travaux futurs.