Annotation de résumés oraux d’élèves de primaire pour l’analyse automatique des capacités de compréhension de la lecture (2025)

Abstract: Le projet CHICA-AI vise à construire une activité assistée par ordinateur pour l’entraînement des compétences de compréhension de la lecture des élèves de primaire. Cette activité consiste à demander à l’élève de résumer à l’oral un texte narratif, afin d’identifier ses difficultés de compréhension et fournir un retour personnalisé à l’élève et à son enseignant. Pour cela, nous mettrons en place un système automatique d’analyse fine des résumés oraux, capable d’extraire les informations pertinentes et de les combiner pour remplir une grille de critères pédagogiques et psycho-cognitifs. Nous présentons ici les défis du projet, ainsi que les premiers travaux réalisés : création de l’activité dans la plateforme Lalilo et du contenu pédagogique, collecte d’enregistrements audios, construction du protocole d’annotation. Nous présentons enfin les analyses préliminaires faites sur les premières annotations, qui serviront à l’entraînement et l’évaluation de notre système automatique.

## introduction la maîtrise de la lecture est essentielle à l'autonomie de l'enfant, mais son apprentissage est un véritable défi. en france, les compétences en lecture et en compréhension des élèves de cm1 ont baissé depuis le début des années 2000. l'étude pirls de 2016 révèle que 40,5% des jeunes de 15 ans ne maîtrisent pas la lecture et que 21,5% d'entre eux rencontrent de sérieuses difficultés @xcite . l'enquête pisa de 2015 a mis en évidence des écarts de performance importants entre les élèves les plus performants et les moins performants @xcite . l'enquête pisa de 2018 a montré que les élèves socio-économiquement favorisés dépassent leurs pairs défavorisés d'environ quatre années de scolarité @xcite . enfin, un rapport de l'observatoire national de la lecture de 2007 1 a établi un lien entre les problèmes de lecture et les échecs dans diverses matières. une solution à ces problèmes pourrait résider dans un apprentissage assisté par ordinateur (computer-assisted learning, cal) efficace pour aider les enseignants et les élèves. l'entreprise lalilo développe un tel système cal : un assistant pédagogique basé sur l'intelligence artificielle (ia) pour différencier l'apprentissage de la lecture. ce système offre une grande variété de tâches associatives pour couvrir les deux aspects clés de la lecture : la reconnaissance des mots et la compréhension du langage. ce dernier aspect est toutefois plus difficile à traiter par les systèmes cal en raison de la complexité des processus impliqués dans la compréhension. les exercices à réponse ouverte, par opposition aux qcm traditionnels, peuvent aider les étudiants à s'exercer à des aspects plus complexes de la compréhension. dans ce contexte, lalilo souhaite proposer une nouvelle intervention cal avec une activité de résumé oral d'un texte, des retours personnalisés pour les élèves et des métriques informatives pour les enseignants. l'objectif du projet chica-ai est de développer le système automatique cal qui analysera et évaluera les résumés oraux des élèves. nous avons choisi d'évaluer les résumés non seulement à un niveau global, mais surtout à un niveau plus fin, comme le font les psychologues et les enseignants en classe. dans cet objectif, nous avons conçu une grille d'évaluation basée sur les sciences psychocognitives et la pédagogie. le système cal visera à extraire les informations pertinentes du résumé oral de l'élève et à donner une note pour chaque critère de la grille. les technologies suivantes seront utilisées pour extraire les informations : reconnaissance automatique de la parole (rap), compréhension du langage parlé (clp), traitement automatique du langage naturel (taln). pour mener à bien cet objectif, nous devrons surmonter deux défis majeurs. ## résultats le jeu de données obtenu contient au total 2085 annotations, dont 1065 ont été rejetés par les annotatrices. la majorité des rejets concernent soit des fichiers audio ne contenant aucune parole (481 annotations), soit des fichiers audio ne contenant que des paroles hors de l'exercice (364 annotations). il en résulte 1020 annotations de 875 fichiers audio différents. les résultats des accords inter-annotateurs sont donnés dans la ## conclusion nous avons présenté dans ce travail les objectifs et premiers résultats du projet chica-ai, visant à fournir un entraînement à la compréhension de la lecture aux élèves de primaire à travers une activité de résumé oral avec analyse automatique et retour personnalisé. les premiers travaux effectués ont permis de récolter des enregistrements audios qui seront utilisés pour entraîner le système d'analyse automatique des résumés, ainsi que de les annoter pour les différentes tâches envisagées (rap, clp, taln). nos analyses montrent que notre protocole d'annotation, très sophistiqué en raison de la complexité de la tâche, permet d'obtenir des annotations de qualité satisfaisante pour la plupart des critères d'évaluation d'un résumé. les chercheurs et chercheuses impliquées dans le projet pourront ainsi utiliser ces annotations pour entraîner et évaluer leurs systèmes, et ainsi construire une activité bénéfique dont l'usage entraîne une amélioration dans les capacités de compréhension des élèves.