Quand des Non-Experts Recherchent des Textes Scientifiques Rapport sur l’action CLEF 2023 S imple T ext (2023)

Abstract: Le grand public a tendance à éviter les sources fiables telles que la littérature scientifique en raison de leur langage complexe et du manque de connaissances nécessaires. Au lieu de cela, il s’appuie sur des sources superficielles, trouvées sur internet ou dans les médias sociaux et qui sont pourtant souvent publiées pour des raisons commerciales ou politiques, plutôt que pour leur valeur informative. La simplification des textes peut-elle contribuer à supprimer certains de ces obstacles à l’accès ? Cet article présente l’action « CLEF 2023 SimpleText » qui aborde les défis techniques et d’évaluation de l’accès à l’information scientifique pour le grand public. Nous fournissons des données réutilisables et des critères de référence pour la simplification des textes scientifiques et encourageons les recherches visant à faciliter à la compréhension des textes complexes.

## introduction les textes scientifiques tels que les articles de recherche sont difficiles à comprendre pour le grand public et même pour les scientifiques qui ne sont pas spécialisés dans le domaine en question. l'action clef 2023 simpletext @xcite se concentre sur la simplification des textes scientifiques en combinant des aspects de la recherche d'information et du traitement automatique du langage naturel (taln). la complexité des textes, les niveaux de lecture et la simplification des textes en général sont étudiés depuis longtemps dans les domaines de la linguistique, des sciences de l'éducation et du taln. l'amélioration de la compréhensibilité des textes reste un défi, car il est difficile de définir le résultat souhaitable de la simplification @xcite . les scores de lisibilité traditionnels se limitent à la longueur des mots ou des phrases, tandis que les mesures basées sur le chevauchement du vocabulaire ne tiennent pas compte de la distorsion de l'information. récemment, la simplification des textes a suscité un intérêt croissant. l'atelier sur le traitement des documents scientifiques 1 s'est adressé à un public spécialisé dans le taln @xcite , en accueillant des tâches sur le résumé de documents scientifiques. lors de l'emnlp 2022, le projet tsar (text simplification, accessibility, and readability) 2 a accueilli une tâche de simplification lexicale, et termeval 2020 a exécuté une tâche partagée sur l'extraction automatique de termes @xcite . l'action simpletext que nous proposons ne se limite pas à la simplification lexicale et grammaticale. simpletext vise à améliorer l'accès à la connaissance scientifique pour le grand public, en fournissant des données réutilisables et des critères de référence pour la simplification des textes pour réduire les obstacles à la compréhension des textes complexes. contrairement aux travaux précédents, nous nous concentrons sur (1) la sélection d'informations adaptées au grand public, (2) la recherche de concepts difficiles, notamment de mots, d'abréviations, etc. qui doivent être expliqués, et (3) l'évaluation de la distorsion de l'information susceptible de se produire au cours du processus de simplification. simpletext est basée sur la série suivante d'actions @xcite : (1) sélectionner les informations à inclure dans un résumé simplifié ; (2) décider si les informations sélectionnées sont suffisantes et compréhensibles ou fournir des connaissances de base si ce n'est pas le cas ; et (3) améliorer la lisibilité du texte. il en résulte trois tâches : pour cette nouvelle édition, nous enrichirons les données produites par les éditions précédentes @xcite en y ajoutant des labels. nous mettrons également l'accent sur l'évaluation automatique sur des données de test réutilisables. ## tâche 1 : selectionner des passages à inclure dans un résumé simplifié cette tâche vise à extraire des passages qui peuvent aider à comprendre un article de vulgarisation scientifique à partir d'un large corpus de résumés académiques et de métadonnées bibliographiques. les passages pertinents doivent se rapporter à l'un des sujets de l'article source. données. nous utilisons les articles de vulgarisation scientifique comme sources pour les types de évaluation. la pertinence thématique n'a été évaluée l'année dernière qu'avec une note de 0 à 5 sur le degré de pertinence par rapport à l'article original. si cette grande échelle permet de mesurer la proximité du résumé extrait avec le mot-clé, le titre ou le contenu textuel, d'autres facettes, pourtant importantes dans le contexte de la simplification des textes, manquaient à l'appel. en 2023, nous continuerons à évaluer la pertinence thématique, mais aussi la complexité du texte (à l'aide de mesures de lisibilité et d'une comparaison avec des scores attribués manuellement) et l'autorité de la source (à l'aide de mesures de l'impact académique). la collection de test fournie sera simplifiée en trois notes sur une échelle de 0 à 2 : -pertinence du sujet : non pertinent (0), pertinent (1), très pertinent (2) ; -complexité du texte : facile (0), difficile (1), très difficile (2) ; -crédibilité de la source : faible (0), moyenne (1), forte crédibilité (2). tout en continuant à utiliser un classement sur la pertinence à l'aide du ndcg, les deux autres critères permettront de comparer les systèmes sur d'autres aspects à prendre en compte. nous demandons aux participants d'identifier ces concepts et de fournir des explications utiles et compréhensibles. la tâche comporte deux étapes : (1) retrouver jusqu'à cinq termes difficiles dans un passage donné d'un résumé scientifique ; (2) fournir une explication de ces termes difficiles (par exemple, définition, déchiffrage d'abréviation, etc.). ## conclusions cet article décrit la mise en place de l'action clef 2023 simpletext, qui contient trois tâches interconnectées sur la simplification des textes scientifiques. dans le cadre du projet simpletext, nous avons déjà publié des corpus de taille conséquente et des données étiquetées manuellement :