Recommandation d’âge pour des textes (Age recommendation for texts) (2020)

Abstract: Cet article étudie une première tentative pour prédire une recommandation d’âge estimant à partir de quand un enfant pourrait comprendre un texte donné. À ce titre, nous présentons d’abord des descripteurs issus de divers domaines scientifiques, puis proposons différentes architectures de réseaux de neurones et les comparons sur un ensemble de données textuelles en français, dédiées à des publics jeune ou adulte. Pour contourner la faible quantité de données de ce type, nous étudions l’idée de prédire les âges au niveau de la phrase. Les expériences montrent que cette hypothèse, quoique forte, conduit d’ores et déjà à de bons résultats, meilleurs que ceux fournis par des experts psycholinguistes, y compris lorsque les phrases isolées sont remplacées par textes complets.

## introduction la façon dont un individu comprend un texte dépend à la fois des caractéristiques du texte et des capacités de l'individu. par exemple, les capacités à se souvenir d'informations, à positionner un événement dans un scénario, analyser la structure d'une phrase, comprendre un mot ou simplement à lire sont autant de facteurs qui peuvent évoluer d'un individu à l'autre. c'est particulièrement vrai en fonction de l'âge puisque, pendant l'enfance, les capacités cognitives, linguistiques et culturelles évoluent beaucoup. dans ce contexte, cet article vise à prédire automatiquement des recommandations d'âge pour des textes en français dans le but de maximiser leur compréhension par des enfants. en tant que tâche, la recommandation d'âge peut être globalement affiliée à celle d'analyse de la lisibilité d'un texte, au sens de la prédiction de la difficulté de lecture d'un texte pour une population spécifique @xcite , par exemple, la lecture d'un texte par une personne non-native, ou celle d'un formulaire par des clients. cependant, la lisibilité du texte est centrée sur l'activité de lecture, alors que notre travail cherche à intégrer une dimension lié à la compréhension du langage. cela signifie que nous ne nous limitons pas aux personnes en capacité de lire et considérons également des textes transmis oralement (par exemple, une histoire racontée). en tant que tâche nouvelle, ce document porte les contributions suivantes : (i) nous listons un ensemble de descripteurs issus de divers domaines et potentiellement pertinents pour notre tâche ; (ii) nous étudions différentes façons de formaliser la prédiction de l'âge comme un problème de régression ; (iii) nous répondons au besoin en données annotées en collectant des textes dédiés aux enfants et en exploitant les recommandations fournies par les auteurs ou éditeurs ; (iv) nous testons l'hypothèse selon laquelle toutes les phrases d'un même texte partagent la même recommandation d'âge. bien que linguistiquement contestable, les expériences montrent qu'il s'agit d'une hypothèse de travail concluante ; (v) enfin, nous étudions l'acceptabilité des erreurs produites par nos modèles en les comparant avec des prédictions faites par des experts psycholinguistes. dans cet article, la section 2 dresse un panorama des travaux connexes en psycholinguistique et en traitement automatique des langues (tal), puis la section 3 présente les descripteurs retenus dans notre travail. la section 4 présente les différentes approches proposées et la section 5 l'ensemble de données sur lesquelles elles sont étudiées. enfin, la section 6 présente les résultats. ## états de l'art les études en psycholinguistique mettent en avant différents facteurs majeurs de l'évolution de la compréhension du langage. tout d'abord, la mémoire phonologique à court terme, qui se développe fortement entre 2 et 8 ans @xcite , joue un rôle essentiel dans le stockage et la restitution de l'information. l'acquisition des notions temporelles est également cruciale car elle permet à un enfant de se situer dans le temps, ainsi que d'ordonner chronologiquement des événements @xcite . ainsi, la compréhension de notions comme les jours de la semaine, la vitesse, une date très ancienne ou certains connecteurs ou adverbes temporels plus ou moins complexes varie en fonction de l'âge @xcite . les émotions sont également rapportées comme contributives à l'établissement et au maintien de la cohérence des faits dans un texte @xcite . cependant, leur repérage progresse avec le temps, s'appuyant initialement sur le lexique, puis progressivement sur des suggestions d'ordre culturel @xcite . de même, celles reconnues le plus tôt sont centrées sur l'enfant (la peur, la joie, etc.), puis intègrent progressivement une dimension sociale (la culpabilité, l'empathie, etc.) @xcite . dès 5-6 ans, les études en apprentissage de la lecture apportent d'autres éléments d'analyse. en particulier, le modèle historique de frith @xcite fait valoir que la lecture est acquise en trois étapes principales à travers lesquelles l'enfant passe d'un décodage des mots par la reconnaissance de symboles globaux, puis de graphèmes et, enfin, de morphèmes. par ailleurs, d'autres travaux notent que l'intonation lors de la lecture d'un texte -induite par le lexique, la ponctuation, la syntaxe, etc. -influe sur la perception d'un texte et que cette intonation évolue avec l'âge @xcite . enfin, des approches calculatoires existent depuis longtemps pour lier la lisibilité d'un texte à un niveau d'étude. historiquement, celles-ci se fondent sur les complexités lexicale et syntaxique, à l'image de l'indice @xcite , ou de la formule dale-chall qui considère en outre la notion de mots « difficiles » @xcite . plus récemment et plus généralement en tal, des travaux sur la simplification du texte pour les enfants @xcite ou sur l'acquisition du français comme langue étrangère @xcite se rapprochent des nôtres. en particulier, @xcite propose de prédire des niveaux de lisibilité en utilisant des approches par apprentissage automatique et 46 critères linguistiques mêlant lexique, syntaxe et sémantique. notre travail s'en distingue de multiples manières. outre des méthodes d'apprentissage revisitées, la différence principale tient dans le fait que nous intègrons des informations liées à certaines dimensions développementales et cognitives (temporalité, émotions) pour prédire un âge, là où @xcite se limite à des éléments linguistiques pour prédire un niveau de compétence dans une langue (a1, c2. . .). ## descripteurs nous considérons 10 dimensions linguistiques qui reflètent l'état de l'art précédent. pour chaque dimension, nous avons cherché à maximiser le nombre d'informations pouvant être extraites automatiquement. lorsque les informations linguistiques portent au niveau des mots, les descripteurs sont calculés comme la moyenne et l'écart-type des valeurs par mot. finalement, pour chaque énoncé, le vecteur de descripteurs globaux est composé de 606 valeurs réelles. le détail des informations extraites est donné ci-dessous. plongements (1 descripteur de dimension 500) : plongement moyen des mots du texte 1 . lexique (5 descripteurs) : log-prob. des mots en français (estimé sur un vaste corpus d'articles de journaux, romans, transcriptions. . .) ; nombre de mots/lemmes 2 différents p/r à la longueur du texte. graphie/typographie (6) : score de confusion graphique des mots 3 ; longueur des mots ; ratio de caractères alphanumériques par mot ; ratio de ponctuations par mot. morphosyntaxe (7) : classes grammaticales (verbes, verbes d'état, noms, adjectifs, clitiques, adverbes) 2 ; mots-outils. temps verbaux (24) : diversité des temps verbaux ; proportions de 14 temps (simples et composés) ; modes ; systèmes temporels (passé, présent, futur). personne et forme verbale (5) : proportion des première/deuxième/troisième personnes ; proportion des formes singulier/pluriel. syntaxe (8) : mots par phrase ; distances moy. et max. entre un mot et ses dépendances syntaxiques 2 ; nombre de dépendances entrantes/sortantes par mot ; profondeur de l'arbre de dépendances. connecteurs logiques (16) : addition ; temps ; but ; cause ; comparaison ; concession ; conclusion ; condition ; conséquence ; énumération ; explicat. ; illustrat. ; justificat. ; opposit. ; restrict. ; exclusion 4 . phonétique (9) : longueur de la phrase en phonèmes 5 ; nombre de phonèmes par mot ; diversité des phonèmes dans le texte / dans les mots ; scores d'ordinarité phonétique 6 . sentiments/émotions (26) : scores de subjectivité et de polarité 7 ; mots identifiés comme déclencheurs d'une parmi 24 émotions 8 . ## modèles notre objectif est de prédire à partir de quel âge un texte d'entrée peut être compris. précisons que nous ne tenons pas compte d'éventuels retards d'apprentissage. dans ce problème de régression, l'une des questions majeures est de savoir si l'âge peut être considéré comme une valeur réelle unique figure 1 -architectures des approches étudiées. ou, comme le font souvent les auteurs et éditeurs, comme une tranche d'âges (un âge bas et un âge haut). cette seconde modélisation reflète le fait que les enfants ne développent pas leurs compétences exactement au même âge et que les textes ont des irrégularités en terme de complexité. dans ce travail, nous testons les deux modélisations. par ailleurs, nous fixons une borne supérieure à nos recommandations, borne intuitivement associée à ce que nous qualifions de niveau « adulte ». elle est fixée à 16 ans, ou 14-18 ans en terme de tranche. cela coïncide avec la période du lycée en france. pour un texte, l'évaluation de la tâche se fait en termes de différence absolue entre l'âge prévu et l'âge attendu (vérité terrain). ainsi, à l'échelle d'un corpus, la métrique utilisée dans notre travail est l'erreur absolue moyenne, notée mae pour mean absolute error. dans le cas des tranches d'âges, les deux bornes sont prédites, puis ramenés à leur moyenne. les mae sont ainsi reportés sur l'âge bas, l'âge haut et la moyenne des deux. la figure 1 présente les 3 architectures de modèles neuronaux non-récurrents que nous étudions, toutes fondées sur un vecteur de 606 descripteurs globaux et produisant soit un âge ou une tranche d'âges recommandés. le modèle a est un modèle de régression standard. le modèle b est un modèle multi-tâches où la prédiction de l'âge est augmentée d'une classification binaire adulte/enfant. enfin, le modèle c enchaîne un classificateur et un modèle de régression si la classe prédite est "enfants". l'idée est que la régression est inutile pour les textes considérés comme "adultes" car les âges associés sont fixes (16 et 14-18). le modèle de régression est le même que a mais estimé sur l'ensemble d'apprentissage restreint aux seuls textes pour enfants. la taille h et le nombre n des couches, ainsi que les fonctions d'activation sont réglées sur le modèle a et dupliqués pour les autres modèles. le réglage de ces paramètres, ainsi que le nombre de couches spécifiques dans le modèle b, sont détaillés en section 6. ## données comme détaillé par la figure 2 , nous avons collecté un ensemble de 631 textes, dont 541 sont destinés aux enfants de 0 à 14 ans, les 90 autres étant pour les adultes. les textes pour enfants proviennent de contes, romans, magazines et journaux foot_0 . ces textes sont annotés avec les indications des éditeurs ou des auteurs sous la forme d'une tranche d'âge a-b et d'un âge a+b 2 . les textes pour adultes sont de genres similaires et sont d'un niveau difficile pour des enfants, par exemple des romans avec un langage soutenu, des articles wikipedia et de journaux sur des sujets avancés (capitalisme, génétique, diplomatie. . .). dans l'ensemble, la validité et l'homogénéité des annotations en tranche d'âge sont à considérer avec prudence car les recommandations des éditeurs et auteurs peuvent refléter des motivations autres que psycholinguistiques, par exemple commerciales ou thématiques. étant donné la faible quantité de données compte tenu du nombre de paramètres à régler dans nos modèles, nous avons décidé de décomposer les textes en phrases, chacune partageant la même annotation que son texte d'origine. il s'agit d'une hypothèse forte et manifestement erronée car, par exemple, toutes les phrases d'un texte pour adulte ne sont pas nécessairement inaccessibles à des enfants. la complexité peut venir de certaines phrases spécifiques ou du raisonnement déroulé par leurs articulations réciproques. comme le montre la section 6, elle conduit cependant à de bons résultats en pratique. le corpus ainsi obtenu est composé de 30k phrases et d'environ 446k mots, répartis en ensembles d'apprentissage, de développement et de test à raison de 60, 20 et 20 %. une partie de l'ensemble test est composé de phrases provenant de 20 textes qui ne sont pas du tout vus dans les autres ensembles. cette portion ## résultats tous les modèles sont entraînés sur l'ensemble d'entraînement en utilisant l'ensemble de développement pour éviter un surapprentissage. la fonction de coût est l'erreur quadratique moyenne pour la régression et l'entropie croisée binaire pour la classification. l'algorithme d'optimisation est adam, avec 500 époques et une taille de lot de 256 phrases. après avoir comparé les mae sur l'ensemble de développement, il apparaît que les meilleurs résultats sont rapportés avec relu et @xmath0, sans dropout. pour le modèle b, le meilleur nombre de couches spécifiques est de 3 lorsque l'on considère des âges, de 4 pour des tranches d'âge. le tableau 1 présente les résultats des modèles a, b et c sur les ensembles de développement (a) et de test (b). les colonnes de gauche montrent les résultats lorsqu'un âge unique est directement prédit, celle de droite quand une tranche d'âge est prédite. dans ce second cas, les mae pour chaque borne sont également signalés, ainsi que celle avec le barycentre de la tranche. sur l'ensemble de développement, l'exactitude de la classification adultes/enfants est également fournie pour les modèles b et c. tous les modèles sont comparés à l'approche naïve qui prédit constamment les valeurs moyennes observées dans l'ensemble d'apprentissage (cf. section 5). dans l'ensemble, tous les modèles surpassent clairement cette approche naïve. ensuite, bien que le modèle b fonctionne un peu mieux sur l'ensemble de développement, la différence avec le modèle a disparaît sur l'ensemble de test. enfin, il semble que prédire des âges ou des tranches d'âges ne change pas grand chose. pour affiner ces résultats, nous avons fait annoter la portion vierge de l'ensemble de test par trois psycholinguistes spécialisés dans le développement des enfants. ces annotations ont été effectuées soit sur l'ensemble des 20 textes concernés, soit sur 80 phrases isolées tirées aléatoirement. le tableau 2.a donne les résultats, incluant ceux des experts pris individuellement ou après moyennage de leurs prévisions. sur les phrases, il apparaît que les prédictions de notre modèle sont meilleures que celles des experts, même en essayant de trouver un consensus entre elles (dernière ligne). lorsque plus de contexte est donné aux experts à travers des textes complets (b), leurs recommandations tendent à battre celles de notre modèle lorsque ses prédictions sont comptabilisées phrase par phrase (sauf pour un expert). cependant, un simple calcul de moyenne de ces prédictions phrase par phrase amène à une amélioration substantielle (ligne "par texte") et à des prédictions meilleures que celles des experts. outre les conclusions positives concernant notre approche de recommandation automatique,