Un prototype en ligne pour la prédiction du niveau de compétence en anglais des productions écrites (A prototype for web-based prediction of E nglish proficiency levels in writings) (2020)

Abstract: Cet article décrit un prototype axé sur la prédiction du niveau de compétence des apprenants de l’anglais. Le système repose sur un modèle d’apprentissage supervisé, couplé à une interface web.

## introduction le système présenté 1 était destiné à servir de preuve de concept pour l'évaluation automatique du niveau de langue en anglais. nos recherches visent à identifier les caractéristiques linguistiques et à les intégrer dans un système fondé sur l'intelligence artificielle (ia). l'objectif est de créer un système permettant d'analyser les essais des apprenants de l'anglais et de les mettre en correspondance avec des niveaux spécifiques des niveaux de langue du cadre européen commun de référence pour les langues @xcite ). nous présentons un système fonctionnant par apprentissage supervisé. le modèle s'appuie sur les caractéristiques des textes, indépendamment des erreurs, pour en construire une représentation multidimensionnelle sous la forme de traits critériés @xcite . les caractéristiques retenues comprennent la lisibilité et les mesures de complexité utilisées dans le domaine de l'exploration de textes et du tal. actes de la 6e conférence conjointe journées d'études sur la parole (jep, 33e édition), traitement automatique des langues naturelles (taln, 27e édition), rencontre des étudiants chercheurs en informatique pour le traitement automatique des langues (récital, 22e édition) nancy, france, 08-19 juin 2020 volume 4 : démonstrations et résumés d'articles internationaux, pages 30-33. hal : hal-02768504. cette oeuvre est mise à disposition sous licence attribution 4.0 international. le système a été entraîné sur une base de données foot_0 de plus de 40 000 textes (environ 3 298 343 tokens), qui ont déjà été étiquetés et annotés en niveaux @xcite . a partir des 769 caractéristiques des différentes dimensions linguistiques, le meilleur modèle s'est avéré être une régression logistique. le modèle repose sur les caractéristiques des productions, indépendamment des erreurs commises par les apprenants (par opposition à une analyse fondée sur les erreurs annotées, cf. ballier et al. (2019) ). plusieurs outils (cf.tableau 1) analysant les niveaux de complexité linguistique sont concaténés dans une chaîne de traitement pour construire une représentation multidimensionnelle des caractéristiques des essais écrits. l'évaluation du système a montré une précision de 82% (cf. gaillat et al. (submitted) ). les productions des apprenants sont souvent évaluées en fonction des trois dimensions que sont la complexité, la précision et la fluidité ("fluency") @xcite . les métriques proposées opérationalisent la dimension de la complexité linguistique et celle de la précision des écrits. les métriques de complexité portent sur les dimensions syntaxiques, lexicales, discursives et psycholinguistiques sous la forme d'indices de lisibilité et d'îlots de fiabilité ("reliability islands" unités phraséologiques recurrentes, @xcite ). les métriques de complexité syntaxique traditionnelles abordent généralement les textes de manière syntagmatique. nous proposons de nouvelles métriques fondées sur les rapports paradigmatiques qu'entretiennent des formes linguistiques entre elles. nous formalisons des microsystèmes linguistiques sous la forme de ratios d'usage de ces formes les unes par rapport aux autres et indépendamment des autres formes des textes. le principe est de saisir les variations d'usage des formes par les apprenants @xcite . l'outil l2sca a été modifié en ce sens et est disponible à l'adresse du projet. ## développements et perspectives nous envisageons deux voies d'amélioration du prototype. une première extension concerne l'ajout du traitement de la parole en ayant recours à des outils existants de retranscription automatique tels que la librairie python speechrecognition @xcite . la seconde extension concernera la variété des métriques. on explorera d'autres métriques de mesure des microsystèmes linguistiques, notamment pour l'analyse de la morphologie @xcite , afin de mieux analyser les variations d'usages propres aux apprenants. en outre, les métriques seront exploitées dans le cadre de visualisations permettant de comparer des individidus avec des profils types d'apprenants. cela nous mènera à étudier l'impact de ce type d'outil en situation pédagogique d'enseignement. les feedbacks sur les propriétés positives @xcite de la langue peuvent avoir des conséquences sur la précision dans l'expression (accuracy), ce qui est important à évaluer. ce prototype est à considérer comme un moyen d'inventer de nouveaux outils pour aider les enseignants dans leur pratique. dans le cadre des diagnostics d'apprentissage, ils/elles bénéficieraient d'outils d'analyse faciles à utiliser, et qui objectivent les progrès de leurs apprenants.