TCFLE -8 : un corpus de productions écrites d’apprenants de français langue étrangère et son application à la correction automatisée de textes (2024)

Abstract: La correction automatisée de textes (CAT) vise à évaluer automatiquement la qualité de textes écrits. L’automatisation permet une évaluation à grande échelle ainsi qu’une amélioration de la cohérence, de la fiabilité et de la normalisation du processus. Ces caractéristiques sont particulièrement importantes dans le contexte des examens de certification linguistique. Cependant, un goulot d’étranglement majeur dans le développement des systèmes CAT est la disponibilité des corpus. Dans cet article, nous visons à encourager le développement de systèmes de correction automatique en fournissant le corpus TCFLE-8, un corpus de 6~569 essais collectés dans le contexte de l’examen de certification Test de Connaissance du Français (TCF). Nous décrivons la procédure d’évaluation stricte qui a conduit à la notation de chaque essai par au moins deux évaluateurs selon l’échelle du Cadre européen commun de référence pour les langues (CECR) et à la création d’un corpus équilibré. Nous faisons également progresser les performances de l’état de l’art pour la tâche de CAT en français en expérimentant deux solides modèles de référence.

## introduction la correction automatisée de textes (cat -aes pour automatic essay scoring en anglais) vise à développer des algorithmes capables d'évaluer la qualité de productions écrites de la même manière que des évaluateurs humains. les origines de ce domaine remontent aux recherches @xcite . depuis lors, de nombreux chercheurs se sont penchés sur cette question et plusieurs synthèses du domaine ont été publiées récemment @xcite @xcite @xcite @xcite . en bref, le début du 21 e siècle fut marqué par des systèmes reposant soit sur des corpus annotés et sur l'extraction automatisée de caractéristiques linguistiques qui étaient ensuite combinées via des algorithmes d'apprentissage automatisé @xcite @xcite , soit sur des approches non supervisées recourant souvent à l'analyse sémantique latente @xcite . les récentes avancées en cat ont été rendues possibles par les algorithmes d'apprentissage profond et les grands modèles de langage @xcite . néanmoins, ces approches ont également exacerbé le besoin de grands corpus annotés. par conséquent, les équipes de recherche en cat se sont intéressées aux travaux menées par ailleurs sur les corpus d'apprenants, une branche de la linguistique de corpus qui collecte des productions authentiques et informatisées d'apprenants à grande échelle. des travaux pionniers tels que le international corpus of learner english (icle) @xcite et le european science foundation l2 database @xcite ont démontré le potentiel de ces collections de données d'apprenants pour la recherche sur l'acquisition d'une langue seconde, mais ce n'est que récemment que davantage de corpus d'apprenants ont été exploités en cat. malheureusement, il n'existe pas de corpus suffisamment important pour le français, ce qui rend la situation de la cat en français loin d'être encourageante. les premiers systèmes ont, par conséquent, utilisé des approches non supervisées : @xcite a utilisé l'analyse sémantique latente pour comparer des essais en français langue maternelle (flm) avec des passages de référence tirés de manuels, tandis que @xcite capture automatiquement plusieurs caractéristiques d'essais en flm, lesquelles sont combinées de manière heuristique. plus récemment, @xcite a entraîné un classificateur « naive bayes » sur un corpus de 200 essais écrits en français langue étrangère (fle). enfin, ranković et al. (2020) ont été les premiers à affiner bert pour la cat en fle, mais ils n'ont pas publié leur jeu de données où, de plus, une seule langue maternelle est représentée. par conséquent, afin de soutenir le développement de solutions en cat pour le français, le besoin d'un large corpus fiablement annoté en matière de compétence est patent. dans cet article, nous apportons deux contributions principales. premièrement, nous fournissons à la communauté le corpus tcfle-8 3 , composé de 6 569 productions d'apprenants. ces textes ont été collectés dans le cadre de l'examen officiel du test de connaissance du français (tcf), l'un des principaux examens de certification pour le fle. la section 2 décrit en détails les propriétés du tcf et de son évaluation par fei ainsi que le processus de nettoyage et d'échantillonnage du corpus. le corpus résultant de ces opérations est présenté à la section 3, qui décrit les différentes informations disponibles, parmi lesquelles la langue usuelle des candidats, l'évaluation du niveau de compétence à l'écrit des candidats, assignés par au moins 2 évaluateurs sur l'échelle du cadre européen commun de référence pour les langues (cecr) @xcite , des informations sur la tâche à accomplir et une annotation automatisée de nombreuses variables linguistiques réalisées par fabra @xcite . la seconde contribution consiste en une série d'expériences en correction automatique de textes sur la base de ce corpus, qui visent à proposer un solide point de référence en vue de futures recherches. ces expériences sont décrites à la section 4. comme son nom l'indique, tcfle-8 est basé sur le tcf, un test linéaire aligné sur les six niveaux du cecr. le tcf est principalement utilisé dans les contextes d'admission à des études universitaires, de migration et d'accès à la citoyenneté. sa composante écrite, composée de trois tâches indépendantes, est passée chaque année par 120 000 candidats, dont 60 % passent l'examen sur ordinateur. les trois tâches visent à tester les capacités des candidats à s'exprimer en français à l'écrit et nécessitent de rédiger, par exemple, un message, un article, un courrier ou un texte comparant deux points de vue 4 . ces tâches sont corrigées par des évaluateurs experts. fei dispose d'un panel d'une centaine de correcteurs, recrutés sur la base de leur profil professionnel (enseignants expérimentés ayant une expérience préalable de l'évaluation en français). les candidats évaluateurs passent un test psychométrique validant leurs compétences en évaluation de l'écrit et suivent une formation de deux jours. à l'issue de cette procédure, le recrutement est confirmé ou non. pour garantir la fidélité des corrections à long terme, les indices de fidélité des évaluateurs sont évalués périodiquement et une décision est prise quant à leur maintien dans le panel. en outre, pour garantir la fidélité au niveau des candidats, fei adopte une approche de double notation indépendante. en cas de désaccord, un troisième évaluateur vient en renfort pour évaluer indépendamment les trois productions. le niveau final du candidat est établi sur la base de la fréquence des niveaux du cecr attribués aux trois productions du candidat. malgré cette stricte procédure, la compétence langagière étant multidimensionnelle @xcite @xcite ) et mesurable @xcite , mesurer les compétences rédactionnelles implique de prendre en compte différentes facettes : les compétences du candidat, l'indulgence ou la sévérité de l'évaluateur et la difficulté de la tâche. à cette fin, « l'utilisation de modèles de rasch à multi-facettes (mrmf) est une approche psychométrique qui établit un cadre cohérent pour tirer des conclusions fiables, valides et justes des évaluations effectuées par les évaluateurs, répondant ainsi au problème des évaluations humaines faillibles » @xcite . nous avons donc appliqué le mrmf à l'ensemble de la base de données des examens tcf afin d'identifier les évaluations humaines faillibles et d'éviter de les intégrer dans le corpus.