Classification automatique de dictées selon leur niveau de difficulté de compréhension et orthographique (Automatic classification of dictations according to their complexity for comprehension and writing production) (2016)

Abstract: Cet article présente une approche visant à évaluer automatiquement la difficulté de dictées en vue de les intégrer dans une plateforme d’apprentissage de l’orthographe. La particularité de l’exercice de la dictée est de devoir percevoir du code oral et de le retranscrire via le code écrit. Nous envisageons ce double niveau de difficulté à l’aide de 375 variables mesurant la difficulté de compréhension d’un texte ainsi que les phénomènes orthographiques et grammaticaux complexes qu’il contient. Un sous-ensemble optimal de ces variables est combiné à l’aide d’un modèle par machines à vecteurs de support (SVM) qui classe correctement 56% des textes. Les variables lexicales basées sur la liste orthographique de Catach (1984) se révèlent les plus informatives pour le modèle.

## introduction malgré les nombreux débats dont elle a fait l'objet, la dictée reste une activité incontournable à l'école @xcite . les manuels et les programmes proposent dès lors différents types de dictées, essayant de mettre en valeur cette activité comme un apprentissage permettant aux élèves d'être acteurs et non seulement « copistes » @xcite . toutefois, la dictée comme activité de drill reste nécessaire au renforcement des apprentissages et gagnerait à être automatisée afin de libérer du temps d'enseignement pour des activités plus réflexives. c'est un objectif qui entre dans le cadre de l'enseignement des langues assisté par ordinateur (elao) et du traitement automatique du langage (tal) et qui a déjà été abordé à plusieurs reprises au sein de ces domaines @xcite @xcite . parmi ces travaux, les efforts ont surtout porté sur l'implémentation d'une méthode précise et pédagogique de correction automatique des dictées. notre article s'attaque à une autre facette de l'automatisation des dictées, à savoir la sélection des dictées. si les enseignants sont généralement capables de sélectionner un texte à dicter adapté à leur public, une plateforme d'apprentissage automatisée requiert, de son côté, de disposer d'un corpus de textes, préalablement annoté selon le niveau de difficulté par des experts. cette caractéristique limite l'adaptabilité de ce type de système, qui, par exemple, ne pourra sélectionner des textes d'actualité ou adaptés au profil d'un apprenant en termes de connaissances grammaticales ou thématique que si sa base de dictées en contient. c'est pourquoi cet article explore les possibilités de déterminer automatiquement le niveau de difficulté d'une dictée. l'article est articulé en trois sections principales. tout d'abord, nous décrirons les études liées à l'évaluation de textes et aux difficultés orthographiques (section 2). ensuite, nous présenterons la méthodologie utilisée pour élaborer notre modèle, en détaillant le corpus utilisé, les variables mises au point pour capturer les phénomènes orthographiques ardus, et le modèle statistique qui sert à les combiner (section 3). enfin, les résultats obtenus seront exposés et discutés à la section 4. ## contexte réaliser une dictée constitue une tâche particulièrement complexe, parce qu'elle nécessite de changer de canal de communication. le texte, oralisé par un enseignant ou un agent informatique, doit être compris et transposé par écrit par l'étudiant. comme l'ont montré @xcite , ce passage de l'oral vers l'écrit constitue une activité cognitive complexe, qui peut entrainer, dans certains cas, une surcharge cognitive, en raison de trois grands facteurs : selon les expériences de @xcite , les deux derniers facteurs sont les plus problématiques, même pour les scripteurs adultes. si l'évaluation de l'activité grapho-motrice sort du champ de notre étude, notre modèle vise par contre à prendre en considération les deux autres aspects. le premier d'entre eux peut être associé à la capacité de compréhension d'un texte et à sa représentation en mémoire. la discipline qui vise à évaluer automatiquement la difficulté de compréhension d'un texte est la lisibilité. de nombreux travaux ont porté sur l'évaluation automatique de la difficulté des textes à la lecture. pour l'anglais, on compte des formules bien connues telles que celles de flesch (1948), de dale & chall (1948) ou, plus récemment, de collins-thompson & callan (2005), feng et al. (2010) ou vajjala & meurers (2012). tandis que les premières se basent sur des variables simples (nombre de mots, etc.), les secondes s'appuient sur des techniques de tal et combinent un nombre plus important de variables de différents niveaux linguistiques (lexical, syntaxique, sémantique ou discursif). pour le français, les formules de kandel & moles (1958) et henry (1975) sont plutôt typiques du courant classique, tandis que des modèles reposant sur le tal ont été développés par françois & fairon (2013) ou @xcite . bien que la lisibilité prenne aussi en compte la phase de décodage du code graphique, absent dans notre cas, nous pensons que ce type de variables pourrait être transposé pour évaluer le niveau de compréhensibilité de nos dictées, d'autant que, à notre connaissance, il n'existe pas de recherches spécifiquement dédiées à l'évaluation automatique du niveau de complexité de dictées. quant à la seconde dimension, qui consiste à déterminer la complexité des différents phénomènes orthographiques et grammaticaux présents dans une dictée, on peut se reposer sur de nombreux travaux en linguistique et en pédagogie. dans le cadre de cet article, l'accent est principalement mis sur les difficultés orthographiques décrites d'après le plurisystème graphique du français @xcite . son système organise, en cercles concentriques, les graphèmes de notre système graphique. au centre se trouvent les archigraphèmes, qui sont transparents et simples à appréhender, mais plus on s'éloigne du centre, plus on rencontre des phénomènes complexes, qui nous intéressent plus particulièrement. on trouve ainsi les classes des morphogrammes (les marques de flexion et de dérivation), des logogrammes (représentations graphiques diverses pour une même prononciation et non justifiées par le système), et les lettres étymologiques et historiques. le système de nina catach est toujours utilisé dans de nombreuses recherches aujourd'hui. il est considéré comme l'un des modèles ayant permis de changer le regard sur l'orthographe, selon @xcite . en parallèle, nina catach propose également une grille d'évaluation des difficultés qui se base sur son système @xcite . elle organise les erreurs en plusieurs classes, allant des erreurs à dominante phonétique (cas où l'enfant ne maitrise pas encore la prononciation d'un mot, qu'il ne peut donc pas retranscrire correctement) jusqu'aux erreurs à dominante non fonctionnelle (associées aux lettres étymologiques et historiques). ce sont les erreurs les plus complexes qui nous intéressent dans cet article. ## méthodologie dans cette section, nous présentons la façon dont le corpus de dictées servant pour l'entrainement du modèle statistique a été collecté (section 3.1). la section 3.2 liste ensuite les variables visant à capturer les difficultés de compréhension et les difficultés orthographiques et grammaticales des textes. enfin, nous décrivons, à la section 3.3, le modèle statistique utilisé pour prédire le niveau de difficulté des dictées. ## conclusion nous avons présenté un modèle prédisant automatiquement la difficulté de compréhension et orthographique de dictées qui repose sur un algorithme statistique par svm. il est capable de prédire correctement le niveau de dictées avec 56% d'exactitude, ce qui est en ligne, par exemple, avec les résultats obtenus @xcite pour le français sur une tâche de lisibilité, relativement similaire. ces performances restent toutefois trop faibles pour envisager tel quel une intégration du modèle dans une plateforme d'apprentissage de l'orthographe. pour en améliorer les performances, il semble d'abord nécessaire de compléter le jeu de variables orthographiques et grammaticales afin de prendre en compte d'autres difficultés spécifiques aux dictées et ainsi augmenter l'information fournie au modèle. en effet, la majorité de nos variables spécifiques au contexte de la dictée se sont révélées décevantes, à l'exception de celles basées sur la liste @xcite . par ailleurs, il serait intéressant d'étudier plus en détails l'homogénéité des annotations du corpus sur le modèle de l'analyse @xcite . en effet, il peut y avoir un impact du type de dictées (apprentissage ou concours) sur l'entrainement du modèle et, de ce fait, il serait bon de déterminer si se limiter aux dictées d'apprentissage ne permettrait pas de disposer d'un corpus moins bruité.