Modélisation de la lisibilité en français pour les personnes en situation d’illettrisme (2025)

Abstract: Nous présentons une nouvelle formule de lisibilité en français spécifiquement conçue pour les personnes en situation d’illettrisme. À cette fin, nous avons construit un corpus de 461 textes annotés selon une échelle de difficulté spécialisée à ce public. Dans un second temps, nous avons systématiquement comparé les principales approches en lisibilité, incluant l’apprentissage automatique reposant sur des variables linguistiques, le fine-tuning de CamemBERT, une approche hybride combinant CamemBERT et des variables linguistiques et des modèles de langue génératifs (LLMs). Une analyse approfondie de ces modèles et de leurs performances est menée afin d’évaluer leur applicabilité dans des contextes réels.

## introduction l'illettrisme est défini par l'agence de lutte contre l'illetrisme (anlci) comme la situation de personnes « qui, bien qu'ayant été scolarisées, ne parviennent pas à lire et à comprendre un texte portant sur des situations de leur vie quotidienne » @xcite . ce déficit en lecture entraîne de nombreuses conséquences dommageables, tant pour les individus que pour les sociétés. ainsi, les personnes en situation d'illettrisme rencontrent davantage de problèmes de santé @xcite , voient leur espérance de vie réduite @xcite et sont payées 30 à 42% de moins en moyenne @xcite , notamment en conséquence d'une moins bonne insertion professionnelle. au niveau des sociétés, il est estimé que l'impact de l'illettrisme sur le pib des pays développés est de 2% @xcite . face à ces constats, les gouvernements ont depuis longtemps pris des mesures pour réduire l'illettrisme, notamment au travers de divers programmes d'aide à l'apprentissage de la lecture (ex. anlci en france). un exemple de contenu efficace pour ces programmes est « alpha plus » @xcite , qui a produit de meilleurs résultats sur un groupe expérimental par rapport à un groupe contrôle suivant une formation plus classique. parallèlement, depuis la grande dépression des années 1930 et la volonté de mieux outiller les nombreux travailleurs sans emploi via des formations à la lecture, des formules de lisibilité ont été développées par divers chercheurs pour les personnes en situation d'illettrisme @xcite . ce type d'outil, qui évalue automatiquement la difficulté de lecture de textes, permet d'associer efficacement et rapidement textes et lecteurs dans le cadre de formations. néanmoins, pour le français, comme nous le discuterons plus en détail à la section 2, il n'existe actuellement aucune formule spécialisée pour ce public. en l'absence de formules dédiées, il est courant de réutiliser des formules développées pour un public différent, ce qui est loin d'être optimal, comme @xcite l'a discuté pour le cas du français langue étrangère. c'est pourquoi, nous proposons, dans cet article, la première formule de lisibilité pour le français spécifiquement dédiée aux personnes en situation d'illettrisme. cette formule peut être considérée comme spécialisée en ce sens qu'elle a été entraînée sur un corpus de textes calibrés spécifiquement par des formateurs experts du public des personnes en situation d'illettrisme. de plus, elle utilise une échelle spécifiquement conçue pour ces personnes. notre formule présente aussi l'intérêt de s'appuyer sur les dernières avancées technologiques en lisibilité, à savoir les modèles hybrides. une seconde contribution de cet article est le corpus d'entraînement en lui-même, constitué de 461 textes annotés sur une double échelle (ordinale, à 4 niveaux et discrète, à 20 valeurs), qui sera rendu disponible 1 . dans la suite de cet article, nous développerons les travaux en lisibilité, en mettant l'accent sur les recherches en français et celles portant sur un public de personnes en situation d'illettrisme à la section 2. ensuite, nous présenterons le jeu de données utilisé pour notre étude à la section 3, avant de présenter les différents modèles que nous avons explorés pour notre formule de lisibilité à la section 4. enfin, nous évaluerons ces différents modèles à la section 5 avant de conclure. parmi les toutes premières études en lisibilité, nous comptons des formules de lisibilité visant explicitement les jeunes adultes faibles lecteurs ou en situation d'illettrisme @xcite . toutefois, par la suite, le focus se déplaça vers des formules visant les adultes en général @xcite ou les écoliers @xcite . aujourd'hui, diverses études exploitent les formules de lisibilité pour mesurer la difficulté de lecture de différents documents -par ex. les textes médicaux @xcite ou les contrats @xcite pour les personnes en situation d'illettrisme, mais elles ne recourent qu'à des formules classiques comme celle de flesch. si nous nous restreignons aux publications proposant de nouveaux modèles de lisibilité dédiés aux personnes en situation d'illettrisme, nous pouvons identifier des recherches menées sur le portugais @xcite , l'italien @xcite ou l'allemand @xcite . cette dernière est particulièrement intéressante, car les auteurs y proposent une formule reposant sur l'échelle de difficulté « alpha », spécifiquement dédiée aux personnes en situation d'illettrisme @xcite . par ailleurs, cette formule a ensuite été intégrée dans un moteur de recherche spécialisé pour les personnes en situation d'illettrisme @xcite ciblant les niveaux « alpha » 3 à 6. néanmoins, généralement, les études sur ce sujet sont rares, comme le confirme l'article de synthèse de @xcite , qui liste les différents publics ciblés en lisibilité, mais ne mentionne pas les personnes en situation d'illettrisme. de même, il n'en existe aucune pour le français, à notre connaissance. si nous regardons les jeux de données qui ont été rendus disponibles en lisibilité pour soutenir le développement de nouvelles formules, le diagnostic se confirme, puisqu'aucun ne cible les personnes en situation d'illettrisme. les corpus weakly reader @xcite , weebit @xcite , newsela ou encore clear @xcite ciblent les écoliers, tandis que onestopenglish @xcite est dédié aux apprenants de l'anglais. pour le français, on ne compte que les trois jeux de données proposés par @xcite , qui ciblent à nouveau le contexte scolaire. on voit donc bien le manque de ressources pour le contexte de l'illettrisme. beaucoup de travaux récents, y compris en français, se focalisent plutôt sur la dimension algorithmique des modèles de lisibilité. avant 2017, l'approche dominante reposait sur des modèles d'apprentissage automatique qui cherchaient à identifier les caractéristiques textuelles les plus prédictives de la difficulté textuelle et à les combiner au mieux @xcite @xcite . pour le français, citons parmi cette veine les travaux @xcite et @xcite . ensuite, les recherches en lisibilité ont également été dynamisées par l'émergence des représentations distribuées @xcite et de l'apprentissage profond @xcite @xcite . en français, @xcite al. (2020) plus récemment, nous distinguons deux tendances dans les recherches en lisibilité. d'une part, celles qui visent à intégrer des caractéristiques textuelles typiques du début du siècle au sein d'architectures d'apprentissage profond, aussi appelées approches hybrides @xcite @xcite , dont wilkens et al. (2024) est représentatif pour le français. d'autre part, les grands modèles de langue génératifs permettent désormais d'effectuer des évaluations de lisibilité sans disposer d'un modèle pré-entraîné, comme le suggèrent les résultats encourageants @xcite . ## jeu de données 3.1 collecte et annotation du corpus la première étape dans la conception d'une formule de lisibilité est de collecter un corpus de textes dont la difficulté a été étalonnée pour le public cible. pour ce faire, nous avons collecté 461 textes représentatifs de 11 types de communication différents foot_0 collectés principalement auprès de formateurs actifs avec des personnes en situation d'illettrisme, mais aussi sur le web. ces textes sont relativement courts (de 25 à 608 tokens), car adaptés à un public d'illettrés. la distribution de la longueur des textes est reprise à l'annexe a. une fois collectés, les textes ont subi une procédure d'annotation de leur difficulté selon une échelle spécifiquement développée pour les personnes en situation d'illettrisme et qui comporte quatre niveaux : « très facile », « facile », « accessible » et « +complexe ». ces niveaux ont été définis comme suit et validés par un panel de formateurs experts : ## méthodologie de conception de la formule dans cette étude, nous avons exploré diverses approches pour l'évaluation de la lisibilité des textes : des modèles d'apprentissage automatique classiques, des techniques d'apprentissage profond -un affinage de camembert @xcite , mais aussi un modèle hybride, comme illustré dans la figure 2 -, ainsi que des modèles de langage génératifs (via des techniques de prompting). signalons également que comme nous disposons de deux échelles de difficulté @xcite , nous avons exploré la tâche d'évaluation automatique de la lisibilité à la fois comme un problème de classification et de régression. si la classification permet d'assigner des niveaux plus fonctionnels sur le terrain aux textes, la régression favorise une évaluation plus nuancée et plus granulaire, tout en atténuant les limitations liées à la rigidité des frontières de classe. les performances des modèles ont été estimées au moyen d'une validation croisée à 5 échantillons stratifiés. à chaque itération, 60 % des données étaient utilisées pour l'entraînement, 20% pour la recherche des hyperparamètres, et les 20 % restants pour le test. ## évaluation des systèmes de lisibilité 5.1 méthodologie d'évaluation les performances des différents modèles entraînés sur notre jeu de données ont été évaluées selon plusieurs métriques. pour les modèles de classification, nous avons utilisé l'exactitude, l'exactitude adjacente, le macro-f1, et l'erreur quadratique moyenne (mse) pour les systèmes entraînés pour la régression. les résultats de ces évaluations sont présentés dans le tableau 3. pour comparer équitablement les performances des modèles de classification et de régression, nous avons converti les scores continus prédits par les modèles de régression en classes de lisibilité correspondant à celles utilisées pour la classification. cette conversion repose sur les seuils suivants : très facile si @xmath0; facile si 5 < @xmath1; accessible si 10 < @xmath2; +complexe si @xmath3. cela permet d'évaluer les modèles de régression à l'aide des mêmes métriques que pour la classification, et ainsi de comparer les deux approches sur une base commune. ## conclusion et perspectives cette étude a permis d'évaluer différents systèmes de classification de la difficulté des textes en français pour les personnes en situation d'illettrisme, en mettant en lumière les performances des approches basées sur l'apprentissage automatique, l'apprentissage profond, les méthodes hybrides, et les modèles de langue génératifs. les résultats ont montré une tendance des modèles hybrides et d'apprentissage profond à obtenir de meilleures performances en matière d'exactitude et de robustesse. malgré leurs performances dans de nombreuses tâches, les llms génératifs semblent obtenir de moins bonnes performances, confirmant les conclusions de précédentes études @xcite . il serait intéressant toutefois de poursuivre une analyse en affinant un llm génératifs sur une tâche de lisibilité. la subjectivité des annotatrices peut entraîner des désaccords inter-annotatrices, mais les résultats des modèles démontrent que la moyenne des annotations permet d'obtenir des données plus cohérentes et exploitables pour la classification de la difficulté des textes. une étude comparative plus approfondie entre les annotatrices, en particulier pour normaliser les annotations des cas où des divergences importantes existent, pourrait enrichir cette analyse. l'exploration des différences entre annotatrices pourrait aussi offrir des pistes pour mieux comprendre les critères de jugement utilisés dans l'évaluation de la lisibilité pour les personnes en situation d'illettrisme. a distribution de la longueur des textes du corpus b liste des hyperparamètres des modèles pour les modèles d'apprentissage automatique, voici les hyperparamètres par tâche et par modèle : classification :