Classification automatique de données déséquilibrées et bruitées : application aux exercices de manuels scolaires (2023)

Abstract: Pour faciliter l’inclusion scolaire, il est indispensable de pouvoir adapter de manière automatique les manuels scolaires afin de les rendre accessibles aux enfants dyspraxiques. Dans ce contexte, nous proposons une tâche de classification des exercices selon leur type d’adaptation à la dyspraxie. Nous introduisons un corpus d’exercices extraits de manuels de français de niveau élémentaire, qui soulève certains défis de par sa petite taille et son contenu déséquilibré et bruité. Afin de tirer profit des modalités textuelles, structurelles et visuelles présentes dans nos données, nous combinons des modèles état de l’art par des stratégies de fusion précoce et tardive. Notre approche atteint une exactitude globale de 0.802. Toutefois, les expériences témoignent de la difficulté de la tâche, particulièrement pour les classes minoritaires, pour lesquelles l’exactitude tombe à 0.583.

## introduction et travaux connexes la dyspraxie est un trouble développemental de la coordination affectant 5% des enfants, qui interfère avec la réussite scolaire et les activités de la vie quotidienne. plus précisément, les enfants dyspraxiques n'automatisent pas l'écriture manuscrite et leurs troubles des mouvements oculaires peuvent les empêcher de lire un texte si sa présentation n'est pas adaptée. ainsi, pour que les enfants dyspraxiques réussissent à l'école, les manuels utilisés en classe doivent tenir compte de leurs difficultés d'écriture et d'organisation du regard. une adaptation au format numérique permet de contourner le déficit d'écriture manuscrite sans modifier le contenu des exercices et leur objectif pédagogique. la figure 1 montre un exemple d'exercice de type « choix multiple » et son adaptation, permettant aux enfants de compléter la phrase en cliquant sur la bonne réponse. des associations commencent à produire de tels manuels numériques adaptés, en effectuant toutes les transformations à la main. malheureusement, étant donné la grande diversité des collections et le renouvellement des programmes d'enseignement, ces adaptations artisanales ne permettent pas de répondre aux besoins. d'autre part, les manuels scolaires sont peu explorés en traitement automatique du langage naturel (taln), et la plupart des études existantes portent sur l'analyse du contenu linguistique @xcite ou la génération de questions @xcite , généralement dans des manuels de niveau universitaire. à notre connaissance, aucune ne traite des tâches de classification ou de formatage du contenu. dans ce contexte, nous proposons une première étape vers l'automatisation de l'adaptation des manuels scolaires, avec la classification des exercices en fonction du type d'adaptation à la dyspraxie. nous construisons un corpus d'exercices de manuels scolaires de français de niveau élémentaire annotés manuellement avec des étiquettes de type d'adaptation. ce jeu de données reflète les difficultés de la tâche. tout d'abord, le jeu de données est non seulement déséquilibré, certains types d'adaptation étant beaucoup plus fréquents que d'autres, mais aussi bruité, car il peut contenir des phrases agrammaticales ou incomplètes ainsi que des erreurs d'extraction. ensuite, la classification concerne l'objectif pédagogique des exercices, qui peut être porté de manières très différentes. enfin, les droits de propriété intellectuelle restreignent l'accès à un nombre limité de manuels scolaires, et conduisent par conséquent à un ensemble de données relativement petit. notre approche de classification des exercices repose sur des stratégies de fusion précoce et tardive, afin de prendre en compte les informations sémantiques ainsi que structurelles et visuelles des documents. deux modèles de langue français basés sur roberta @xcite -camembert @xcite , entraîné sur la partie française d'oscar @xcite et flaubert @xcite , entraîné sur 24 corpus de styles variés collectés sur internet -présentent des résultats similaires pour la classification. cependant, ces modèles entraînés sur du texte sans erreur peuvent être impactés négativement par les erreurs présentes dans notre corpus, comme l'ont montré les études de huang & chen (2020) et @xcite . alors que de nombreuses approches de classification reposent sur le texte comme modalité unique, certaines études récentes se concentrent sur l'analyse de la mise en page. ainsi, layoutlm @xcite reprend l'architecture de bert en ajoutant des plongements visuels et de position 2-d. deux versions améliorées @xcite ont été récemment proposées, ainsi qu'une extension multilingue @xcite . bros @xcite propose une méthode d'encodage spatial utilisant les positions relatives entre les blocs et docformer @xcite introduit un mécanisme d'attention multimodal permettant le partage d'informations entre les modalités. enfin, tilt @xcite combine des caractéristiques convolutionnelles avec l'architecture t5 @xcite . cependant, la plupart des modèles sont pré-entraînés et fine-tunés sur des documents monolingues, généralement en anglais. pour dépasser cette limitation, lilt (wang et al., 2022) permet d'imbriquer n'importe quel modèle pré-entraîné de type roberta dans un module de mise en page. par ailleurs, ces modèles sont entraînés sur des pages entières correctement formatées. bien qu'ils puissent être efficaces pour la compréhension de pages de manuels, nous cherchons ici à catégoriser des exercices : des documents courts et très semblables. dans cet article, nos principales contributions sont : (i) l'introduction d'une nouvelle tâche de classification, pour l'adaptation automatique des exercices de manuels scolaires pour les enfants dyspraxiques ; (ii) un cadre de classification multimodale pour la tâche de classification des exercices de manuels scolaires ; (iii) des expériences avec différentes architectures multimodales, y compris le modèle lilt (wang et al., 2022) récemment proposé. concaténés (« cirageâgégéantenfantfantômetomate »), des portions de phrases dispersées (« est une fleur », « la tulipe »), des numéros de liste (« a. », « b. »), etc. par conséquent, il est plus approprié de faire référence à des segments de texte plutôt qu'à des phrases. de plus, un quart des segments est composé de 1 à 5 tokens, tandis que les segments les plus longs comptent jusqu'à 65 tokens. avec 1 à 10 segments et 5 à 91 tokens par exercice, la longueur des documents est tout aussi variable mais reste courte par rapport aux jeux de données de référence. les exercices extraits sont manuellement annotés par 2 experts de la dyspraxie en 33 catégories. ces catégories correspondent aux types d'adaptation à la dyspraxie et reflètent l'objectif pédagogique de l'exercice ainsi que le processus d'interaction impliqué dans sa résolution. par exemple, la figure 1 illustre un exercice de la classe choix multiple, et la figure 2 en annexe contient 5 exercices d'autres classes. résultent de cette annotation 2567 exercices qui n'ont qu'une seule étiquette, 146 exercices appartenant à plusieurs classes et 36 exercices à retirer des manuels adaptés, car ils demandent une compétence directement perturbée par le handicap. pour ce travail, nous ne traitons que les exercices avec une seule étiquette et excluons la classe la moins représentée qui ne contient qu'un seul exercice. ainsi, notre jeu de données final est composé de 2566 exercices étiquetés avec 32 catégories. le jeu de données est très déséquilibré : 2 classes sur 32 comptent plus de 300 exercices, tandis que 11 classes en comptent moins de 20. les 21 classes les plus fournies représentent 95% du corpus. le corpus est divisé en 3 sous-ensembles : apprentissage (70%), validation (10%) et test (20%). la proportion des classes d'exercices par manuel et le ratio entre les classes sont conservés. les numéros et les noms des exercices sont supprimés. si un exercice contient un exemple ou un conseil, ceux-ci sont concaténés avec la consigne. le texte est normalisé en minuscules et tous les caractères d'espacement sont réduits à un espace. ## méthodologie notre objectif consiste à catégoriser les exercices extraits en fonction de leur type d'adaptation à la dyspraxie. dans un premier temps, nous utilisons camembert. afin d'adapter le modèle au domaine scolaire, son modèle de langue masqué est fine-tuné sur les textes suivants : les leçons et exercices tirés de 4 manuels de français (les 3 manuels utilisés pour construire notre corpus, hormis les exercices présents dans les sous-corpus de validation et de test, et un 4 ème manuel non annoté) ; 1293 fantastiques exercices de l'association le cartable fantastique foot_2 , qui fournit une collection d'exercices accompagnés de leur version interactive adaptée aux enfants dyspraxiques ; les textes de lecture originaux d'alector (gala et al., 2020), corpus parallèle de 79 textes de lecture simplifiés au niveau lexical, syntaxique et discursif. pour la phase d'apprentissage, la consigne et l'énoncé sont concaténés (séparés par le token @xmath0. en vue d'exploiter d'autres modalités, nous utilisons layoutlmv2 @xcite , qui prend en entrée des plongements textuels, positionnels et visuels. layoutlmv2 est pré-entraîné sur iit-cdip @xcite et fine-tuné pour la classification sur son sous-ensemble rvl-cdip @xcite , composé d'images de documents scannés tels que des lettres ou des formulaires. la plupart des documents utilisent l'anglais comme langue principale, mais iit-cdip contient quelques documents dans d'autres langues, dont le français. si layoutlmv2 traite des plongements de 3 modalités différentes, il est conçu pour du texte en anglais et peut ne pas bénéficier pleinement des caractéristiques textuelles de notre corpus. les 32 classes définies présentant une grande variabilité tant sémantique que structurelle, comme le montrent les exemples de la figure annexe 2, nous pensons que le texte en français ainsi que la mise en page et l'image sont pertinents pour notre objectif de classification. des approches de fusion sont mises en oeuvre afin d'exploiter chacune de ces modalités. la première solution consiste à appliquer une fusion tardive au niveau des scores des classifieurs camembert et layoutlmv2. les scores sont normalisés entre 0 et 1 avec la normalisation m in -m ax, qui préserve les relations entre les valeurs d'origine, puis fusionnés avec les stratégies de fusion classiques moyenne et maximum. dans la deuxième solution, nous tirons parti du modèle @xcite , qui permet d'associer n'importe quel modèle pré-entraîné de type roberta avec un module pré-entraîné sur la structure. ce module, pré-entraîné sur iit-cdip, est combiné à notre version de camembert fine-tunée sur des manuels scolaires et des textes de lecture, afin d'obtenir un modèle de type layoutlm pour le français scolaire. finalement, nous appliquons un vote majoritaire sur les prédictions de camembert, layoutlmv2 et lilt @xcite , lilt[camembert] étant le classifieur par défaut. enfin, pour faire face au déséquilibre des données, nous envisageons la configuration de la fonction de perte et les méthodes d'échantillonage, dites de sampling. pour les tâches de classification sur des données équilibrées ou déséquilibrées, l'entropie croisée est la fonction de perte la plus largement utilisée. dans un contexte de classification binaire de données déséquilibrées, la fonction de perte focale (lin et al., 2017) a été introduite comme une amélioration de l'entropie croisée classique, où les exemples faciles sont dynamiquement sous-pondérés. la perte focale a ensuite été étendue aux problèmes multi-classes et a montré des résultats prometteurs. l'augmentation du paramètre de focalisation γ permet de contrôler le poids des exemples faciles et de focaliser l'attention sur les exemples mal classés. nous avons expérimenté cette fonction avec différentes valeurs pour γ, allant de 0 (ce qui correspond à l'entropie croisée pondérée) à 5. en ce qui concerne les approches de sampling et compte tenu de la taille de notre corpus, l'undersampling entraînerait une perte d'informations. cependant, nous nous sommes inspirés des techniques d'apprentissage ensembliste pour construire plusieurs sous-ensembles sous-échantillonnés en y répartissant les exercices des classes majoritaires, puis en fusionnant les sorties des différents modèles formés sur ces sousensembles sous-échantillonnés. nos modèles utilisent l'architecture base et la longueur des séquences d'entrée est fixée à 256. pour les expériences finales, la taille du batch est paramétrée à 16, le nombre d'époques entre 30 et 40 et le taux d'apprentissage initial entre 1e-5 et 1e-4. nous utilisons l'optimiseur adam et la fonction de perte d'entropie croisée pondérée par les effectifs des classes. les résultats sur le corpus de test sont obtenus avec les modèles fine-tunés qui donnent les meilleurs résultats sur le corpus de validation. ## résultats et discussion le tableau 1 présente les scores d'exactitude et de macro f-mesure pour la classification des exercices. la meilleure performance est atteinte par lilt combiné à camembert suivi d'une fusion tardive des 3 modèles : l'exactitude est alors de 0.802, ce qui indique que les 3 modèles sont complémentaires. pour la majorité des classes, layoutlmv2 est presque aussi performant que camembert, bien qu'il capture moins bien les informations sémantiques qu'un modèle français. cela met en évidence la pertinence des modalités structurelles et visuelles. ce n'est toutefois pas suffisant, les performances de layoutlm étant très faibles pour les classes sous-représentées. l'augmentation des scores avec les stratégies de fusion tardive et précoce est statistiquement significative par rapport à layoutlmv2. 6 ** complète les phrases avec on ou ont. a. si … allait au cinéma ? b. ils … vu ce film dix fois. c. … s'installe dans les fauteuils moelleux. d. mes parents … pris du pop-corn. e. les enfants … sursauté devant une scène du film. 11 * recopie chaque phrase en rétablissant la ponctuation comme dans l'exemple. aujourd'hui dans le jardin les petits cochons ont @xmath1, dans le jardin, les petits cochons ont dansé. a. ce matin en allant à la gare le troisième cochon a acheté du pain b. à midi dans le train il s'assoit à côté d'un homme c. pendant le voyage avec l'homme le petit cochon mange le pain d. à l'arrivée dans la gare l'homme donne des briques au petit cochon (c) nous nous asseyons il conduit o o o o perdre détruire 7 ** complète chaque phrase avec un groupe nominal de ton choix. a. … sont allées faire des courses. b. … est venu pour les aider. c. … sont arrivés à temps ! d. … est partie sans dire un mot. 2 ** classe les mots dans le tableau. noms propres noms communs antoine • histoire • italie • dire • athènes • guerrier • perdre • casque • méditerranée • feu • hercule • flotter • demain • paris (d) 5 * associe chaque verbe conjugué au présent à son infinitif. ils détruisent vous fondez tu perds je me tais nous nous asseyons il conduit o o o o o o o o o o o o se taire conduire fondre s'asseoir perdre détruire 7 ** complète chaque phrase avec un groupe nominal de ton choix. a. … sont allées faire des courses. b. … est venu pour les aider. c. … sont arrivés à temps ! d. … est partie sans dire un mot. 2 **classe les mots dans le tableau. noms propres noms communs antoine • histoire • italie • dire • athènes • guerrier • perdre • casque • méditerranée • feu • hercule • flotter • demain • paris (e) 5 * associe chaque verbe conjugué au présent à son infinitif. ils détruisent vous fondez tu perds je me tais nous nous asseyons il conduit o o o o o o o o o o o o se taire conduire fondre s'asseoir perdre détruire 7 ** complète chaque phrase avec un groupe nominal de ton choix. a. … sont allées faire des courses. b. … est venu pour les aider. c. … sont arrivés à temps ! d. … est partie sans dire un mot. 2 **classe les mots dans le tableau. noms propres noms communs antoine • histoire • italie • dire • athènes • guerrier • perdre • casque • méditerranée • feu • hercule • flotter • demain • paris