La pré-annotation automatique de textes cliniques comme support au dialogue avec les experts du domaine lors de la mise au point d’un schéma d’annotation (2023)

Abstract: La pré-annotation automatique de textes est une tâche essentielle qui peut faciliter l’annotationd’un corpus de textes. Dans le contexte de la cardiologie, l’annotation est une tâche complexe quinécessite des connaissances approfondies dans le domaine et une expérience pratique dans le métier.Pré-annoter les textes vise à diminuer le temps de sollicitation des experts, facilitant leur concentrationsur les aspects plus critiques de l’annotation. Nous rapportons ici une expérience de pré-annotationde textes cliniques en cardiologie : nous présentons ses modalités et les observations que nous enretirons sur l’interaction avec les experts du domaine et la mise au point du schéma d’an

## introduction selon une étude de l'oms datant de 2020 @xcite , les maladies cardiovasculaires sont l'une des principales causes de décès dans le monde et l'analyse des données cliniques joue un rôle crucial dans l'amélioration de la prise en charge des patients. dans ce contexte, nous cherchons à analyser les textes de dossiers de patients en cardiologie dans le but de déterminer précocément si un patient insuffisant cardiaque présente un risque de décès dans les trois mois suivant son hospitalisation. ces textes ont en commun avec les articles scientifiques de traiter d'un domaine spécialisé, et mettent en jeu des entités de même nature. les méthodes à l'état de l'art pour la détection automatique de ces entités reposent sur l'entraînement de classifieurs supervisés à partir de corpus annotés manuellement. @xcite cependant, l'annotation manuelle de grands volumes de données textuelles cliniques dans le contexte de la cardiologie peut être une tâche complexe et chronophage, nécessitant une connaissance approfondie du domaine et une expérience pratique dans le métier. c'est pourquoi une pré-annotation automatique des textes est souvent mise en place pour faciliter l'annotation humaine d'un corpus de textes et aider à réduire le temps nécessaire à l'annotation, tout en améliorant potentiellement la cohérence de ces annotations @xcite . dans ce contexte, la présente étude se focalise sur les méthodes et ressources utilisées pour pré-annoter des textes cliniques en cardiologie, ainsi que sur l'interaction avec des experts du domaine pour définir et redéfinir les types d'entité, les points d'arbitrage et les méthodes de représentation de l'information. l'objectif est de mettre en évidence l'importance de ces éléments pour l'annotation efficace et précise de données textuelles en cardiologie. l'annotation requiert également d'établir un bon schéma d'annotation, cohérent et qui reflète correctement la manière de penser des experts @xcite . cette étude constitue un retour d'expérience sur la pré-annotation de textes cliniques en cardiologie et les échanges avec des experts non-initiés au domaine du traitement automatique des langues, mettant en évidence les défis spécifiques liés à la communication entre des experts d'un autre domaine et des informaticiens, ainsi que des pratiques pour surmonter ces obstacles. nous présentons nos méthodes de pré-annotation et les types d'entités de notre schéma d'annotation (section 2), puis les résultats obtenus et les enseignements que nous en tirons (section 4). ## pré-annotation automatique des entités pour la pré-annotation automatique des entités, nous utilisons des méthodes traditionnelles de détection d'entités. ces méthodes ont l'avantage d'être agiles, dans la mesure où il est facile et rapide de prendre en compte de nouvelles expressions. nous les avons utilisées sur un échantillon de documents pendant la mise au point du schéma d'annotation. leur capacité de généralisation reste néanmoins limitée, d'où l'intérêt de passer à des méthodes par apprentissage supervisé dans une seconde phase une fois le corpus entier annoté et corrigé manuellement. entités auxiliaires permettant d'annoter des informations, généralement pour préciser des entités de type signe, examen, traitement, etc. : -temporelles (date, âge du patient, durée d'un traitement...) ; -localisation du patient (lieu de séjour) et ses éventuels changements (provenance, destination) ; -localisation anatomique et valeurs précisant les signes ou traitements ; -évolution ou absence de signes ou de traitements. ici encore, la pré-annotation nous a donné un support concret pour des allers-retours avec les experts du domaine. cela a mené notamment à étendre le champ d'application des valeurs, initialement uniquement associées aux paramètres mesurables, aux signes et symptômes. la plupart des types d'entités présentés ici se rencontrent dans les articles scientifiques du même domaine. par exemple, des types d'entités tels que pathologie, anatomie, paramètres mesurables, traitement (non) médical et examens peuvent être pertinents pour l'annotation des articles scientifiques dans des domaines tels que la médecine et la biologie. étant donné que la même expertise serait mobilisée, le travail présenté ici devrait être représentatif au moins d'une partie du travail qui devrait être fait pour l'extraction d'informations de textes scientifiques. ## résultats et enseignements tirés nous avons évalué la qualité de la pré-annotation sur 3 textes entièrement annotés par un expert du domaine. nous avons pour cela utilisé l'outil brat-eval 2 qui évalue la correction des types et des frontières d'entités. le mode d'évaluation utilisé pour les types est exact : brat-eval indique que le type est correct uniquement si le type d'entité annoté par l'expert et celui produit par le programme sont identiques. le mode de respect des frontières est overlap, ce qui donne une flexibilité dans la délimitation des entités : par exemple, étant donné le terme un carcinome canalaire, si l'expert annote l'expression entière comme une pathologie alors que le programme annote seulement carcinome canalaire comme pathologie, brat-eval considère quand même que l'annotation est correcte. les résultats figurent dans la la pré-annotation a également été un outil précieux pour tester et valider le contenu du schéma d'annotation en cours de développement. les discussions autour des choix de pré-annotation ont permis d'identifier des incohérences ou des manques dans le schéma d'annotation initial, qui ont été corrigés en conséquence. de plus, la pré-annotation a permis de mettre à l'épreuve le schéma d'annotation en identifiant les cas d'utilisation courants et les cas plus complexes, ce qui a permis de renforcer et d'affiner ce schéma de manière itérative. nous notons enfin que des méthodes et outils ont été proposés pour opérationnaliser les opérations de pré-annotation que nous avons décrites plus haut @xcite , que nous envisageons d'utiliser dans le futur.