# Approches d'Extraction et de Structuration des Manuels Scolaires

Mohamed Amine Lasheb

<figure><img src="image_1.png" /></figure>

## To cite this version:

Mohamed Amine Lasheb. Approches d'Extraction et de Structuration des Manuels Scolaires. JCJC @ INFORSID 2025, Jun 2025, Pau, France. hal-05106150

HAL Id: hal-05106150

https://hal.science/hal-05106150v1

Submitted on 10 Jun 2025

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_2.png" /></figure>
# Approches d'Extraction et de Structuration des Manuels Scolaires

LASHEB Mohamed Amine

Laboratoire Cedric, Conservatoire national des Arts et Métiers
2, rue Conté, 75003, Paris, France
mohamed-amine.lasheb@lecnam.net

MOTS-CLÉS : Accessibilité, Manuels scolaires, Vision par ordinateur, Modèles de langage, Inclusion scolaire, Extraction de contenu.

RÉSUMÉ: Les manuels scolaires sont essentiels pour l'apprentissage, et leur accessibilité est cruciale pour inclure les élèves en situation de handicap. Notre projet à long terme vise à automatiser l'adaptation de ces manuels. Cet article présente différentes approches d'extraction et de structuration des contenus, en utilisant des techniques de vision par ordinateur et des modèles de langage. Les résultats montrent une précision élevée, soulignant le potentiel de ces technologies pour améliorer l'accessibilité des ressources pédagogiques et soutenir une éducation inclusive.

ENCADREMENT. Olivier Pons

## 1. Introduction : Contexte et enjeux de l'accessibilité éducative

L'article L. 111-1 du code de l'éducation souligne l'importance de l'inclusion scolaire. Cependant, la structure complexe des manuels scolaires pose des défis pour leur adaptation aux élèves en situation de handicap, rendant l'extraction automatisée de contenu une étape cruciale pour les rendre accessibles.

Ce travail explore des approches pour automatiser cette extraction, permettant une représentation organisée des éléments des manuels. Une fois extraits et structurés, les exercices sont classifiés et adaptés (Figure 1), puis publiés sur une plateforme dédiée. Celle-ci permet de fournir aux élèves en situation de handicap des exercices adaptés à divers modes d'accès (visuel, tactile, suivi oculaire, etc.). Cette automatisation vise une éducation équitable pour tous les élèves.
<figure><img src="image_3.png" /><figcaption>Figure 1: Exemple d'adaptation d'exercice</figcaption></figure>

## 2. Travaux antérieurs et limites des approches existantes

L'analyse et la structuration de documents sont un domaine de recherche actif. Si des modèles comme BERT [1] et RoBERTa [2] sont efficaces pour le traitement du langage naturel et des outils comme Tesseract pour l'OCR, peu de travaux se concentrent spécifiquement sur l'amélioration de l'accessibilité des manuels scolaires.

Lincker et al. [3] ont proposé une approche pertinente, basée sur des modèles de mise en page et d'activités pédagogiques pour structurer les manuels scolaires en PDF. Leur méthode utilise des transformateurs multimodaux pour normaliser et organiser le contenu, visant des formats accessibles comme TEI et DocBook. Cependant, bien que précise sur des manuels d'une même collection, la performance chute significativement d'une collection à l'autre en raison des variations de mise en page. De plus, cette approche est limitée aux PDF natifs et ne gère pas les PDF scannés.

Au-delà de ce travail spécifique, les méthodes antérieures basées sur des modèles de langue ou des architectures multimodales présentent souvent une faible capacité de généralisation face aux diverses structures de manuels. L'annotation manuelle, étape coûteuse en temps, reste complexe, notamment pour associer correctement texte et éléments visuels d'un exercice. Un autre défi réside dans les erreurs volontaires intégrées à certains exercices pédagogiques, qui peuvent perturber les modèles purement linguistiques. Enfin, les modèles entraînés sur des corpus généralistes comme PubLayNet [4] ou DocBank [5] ne sont pas adaptés à notre besoin, car ils se concentrent principalement sur des éléments typographiques simples tels que ( titre, tableau, numéro) et non les classes sémantiques fonctionnelles essentielles pour l'adaptation (consignes, énoncés, exemples, etc.). Ces limitations justifient l'exploration d'approches plus robustes comme la vision par ordinateur pour notre cas d'usage.

## 3. Approche basée sur la vision par ordinateur et complémentarité des LLMs

Pour surmonter ces limites, nous avons exploré des modèles de vision par ordinateur (LayoutParser, Detectron2, YOLO [6, 7, 8]), privilégiant YOLO pour sa robustesse face aux variations de mise en page, aux éléments graphiques, et sa capacité à traiter les PDF natifs comme scannés.

Notre jeu de données comprend 22 manuels scolaires français (primaire, diverses matières), moitié scannés, moitié natifs. Pour l'entraînement, les PDF natifs ont été
convertis en images. Environ 40-50 pages par manuel ont été annotées pour garantir une diversité structurelle tout en évitant un surapprentissage spécifique à un format.

Le processus d'extraction (Figure 2) commence par la détection des zones d'exercices, puis analyse le format de page (mono/multi-colonnes) et identifie les éléments spécifiques (consignes, énoncés, numéros, titres, etc.). Une vérification d'appartenance lie les éléments aux exercices. Le texte est extrait via OCR (scannés) ou PDFAlto (natifs) et associé aux éléments détectés. Le contenu est finalement organisé en JSON structuré.

Bien que la vision par ordinateur soit performante, l'utilisation de grands modèles de langage (LLMs) comme Gemini et Mistral améliore actuellement la précision de l'extraction textuelle et la structuration logique, surtout pour les manuels français. Ils affinent les résultats en vérifiant la cohérence sémantique et en tenant compte des spécificités linguistiques. Cependant, leur efficacité diminue face aux variations linguistiques et culturelles internationales.

<figure><img src="image_4.png" /><figcaption>Figure 2: Pipeline global d'adaptation</figcaption></figure>

## 4. Synthèse des résultats et orientations futures

Les résultats de nos expérimentations confirment le potentiel de la vision par ordinateur pour l'analyse des manuels scolaires, YOLOv10x atteignant 97,8 % de précision pour la détection des exercices et 98 % pour l'identification du format de page. Les performances par classe sémantique sont détaillées dans le Tableau 1.

<table><caption>Tableau 1: Scores mAP@0.5 par classe sémantique pour chaque modèle</caption><thead><tr><td>Modèle</td><td>Titres</td><td>Cons.</td><td>Énon.</td><td>Num.</td><td>Indic.</td><td>Conseils</td><td>Ex.</td><td>Cours</td></tr></thead><tbody><tr><td>YOLO</td><td>97,7%</td><td>81,1%</td><td>83,7%</td><td>92,2%</td><td>82,4%</td><td>92,3%</td><td>53,8%</td><td>41,8%</td></tr><tr><td>LayoutParser</td><td>29,8%</td><td>23,5%</td><td>9,8%</td><td>46,1%</td><td>35,9%</td><td>47,5%</td><td>10,8%</td><td>6,3%</td></tr><tr><td>Detectron2</td><td>24,8%</td><td>22,7%</td><td>8,3%</td><td>45,9%</td><td>38,5%</td><td>0,1%</td><td>1,7%</td><td>7,2%</td></tr></tbody></table>

Notre travail s'est principalement concentré sur les exercices, car ils sont cruciaux pour l'interaction des élèves dans le cadre de l'adaptation, les cours et exemples restant inchangés et donc non prioritaires pour notre attention. Les variations (mise en forme, qualité de scan, taille/composition des exercices, langue) restent des défis majeurs
pour tous les modèles testés, influencent significativement les performances. De plus, les incohérences entre annotations manuelles et automatiques (marges, précision) constituent une source d'erreur, même pour YOLOv10x, soulignant le besoin de méthodes d'annotation semi-automatiques plus cohérentes et robustes.

Nos travaux futurs étendront l'approche à d'autres disciplines (mathématiques, géographie) et langues (arabe, roumain, anglais), présentant des défis spécifiques (orientation du texte, diversité des scripts, structures pédagogiques). Nous avons commencé à collecter ces données. Nous explorerons aussi l'application de nos stratégies d'extraction/structuration à d'autres types de documents patrimoniaux (CNUM, Gallica, OldNews, Library of Congress incl. Chronicling America), cruciaux pour la préservation et l'accessibilité dans un cadre éducatif et scientifique. Le pipeline développé sera mis en ligne sur nos ressources, accessible aux institutions intéressées sans exigence matérielle particulière.

## References

[1] Jacob Devlin et al. "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding". arXiv preprint arXiv:1810.04805 (2018).

[2] Yinhan Liu et al. "RoBERTa: A Robustly Optimized BERT Pretraining Approach". arXiv preprint arXiv:1907.11692 (2019).

[3] Élise Lincker et al. "Layout- and Activity-based Textbook Modeling for Automatic PDF Textbook Extraction". AIED. 2023, pp. 37-53.

[4] Xu Zhong et al. PubLayNet: largest dataset ever for document layout analysis. 2019.

[5] Minghao Li et al. DocBank: A Benchmark Dataset for Document Layout Analysis. 2020.

[6] Zejiang Shen et al. LayoutParser: A Unified Toolkit for Deep Learning Based Document Image Analysis. 2021.

[7] Yuxin Wu et al. Detectron2. 2019.

[8] Joseph Redmon et al. You Only Look Once: Unified, Real-Time Object Detection. 2016.