Positionnement temporel indépendant des évènements : application à des textes cliniques en français (2023)

Abstract: L’extraction de relations temporelles consiste à identifier et classifier la relation entre deux mentions. Néanmoins, la définition des mentions temporelles dépend largement du type du texte et du domained’application. En particulier, le texte clinique est complexe car il décrit des évènements se produisant à des moments différents et contient des informations redondantes et diverses expressions temporellesspécifiques au domaine. Dans cet article, nous proposons une nouvelle représentation des relations temporelles, qui est indépendante du domaine et de l’objectif de la tâche d’extraction. Nous nousintéressons à extraire la relation entre chaque portion du texte et la date de création du document. Nous formulons l’extraction de relations temporelles comme une tâche d’étiquetage de séquences.Une macro F-mesure de 0,8 est obtenue par un modèle neuronal entraîné sur des textes cliniques, écrits en français. Nous évaluons notre représentation temporelle par le positionnement temporel desévènements de toxicité des chimiothérapies.

## introduction l'extraction d'informations temporelles est une tâche cruciale pour la compréhension de textes en langage naturel. cette tâche a été utilisée dans de nombreuses applications de traitement du langage naturel, dont la reconstitution de récits @xcite @xcite et le traitement de textes cliniques @xcite @xcite . une attention particulière a été portée à l'extraction d'informations temporelles dans les textes cliniques par le biais des campagnes d'évaluation @xcite et clinical tempeval @xcite @xcite . les informations temporelles contenues dans les textes cliniques des dossiers patients informatisés (dpis) permettent de mieux comprendre divers évènements cliniques tels que la progression de la maladie et les effets longitudinaux des médicaments @xcite . le corpus de la campagne i2b2-2012 a été annoté en se basant sur les schémas d'annotations timeml @xcite et thyme-timeml @xcite . thyme-timeml a été développé pour annoter l'évolution temporelle des évènements cliniques dans le corpus thyme. ce schéma a été utilisé pour l'annotation du corpus de la campagne clinical tempeval. l'extraction d'informations temporelles a d'abord été représentée comme l'extraction des relations tlinks, reliant les évènements (event) à un ancrage temporel représenté par des expressions temporelles (timex). pour le domaine clinique, des relations doctimerel entre des évènements médicaux et la date du création du document (document creation time, dct) ont été introduites @xcite . plusieurs défis sont associés à la représentation des informations temporelles cliniques @xcite . en effet, les expressions temporelles sont diverses et incluent des dates spécifiques au domaine, non standards et abrégées. le texte clinique étant généralement non-standard, il est également difficile d'associer des évènements à des expressions temporelles. dans certains cas, le moment associé à un évènement n'est même pas explicitement mentionné. de plus, le texte narratif va et vient dans le temps en décrivant des évènements survenus à des moments différents, et peut contenir des informations redondantes provenant de rapports cliniques antérieurs, ce qui rend difficile l'identification de l'ordre chronologique des évènements. plusieurs études se sont intéressées à extraire les relations doctimerel @xcite @xcite et les relations tlinks @xcite @xcite . néanmoins, les performances de la plupart des systèmes proposés sont loin d'être suffisantes pour des applications pratiques @xcite . d'une part, outre l'aspect long et coûteux du processus d'annotation, l'annotation des relations temporelles cliniques est beaucoup plus difficile car cela nécessite une expertise médicale. d'autre part, la définition du schéma d'annotation dépend principalement du type de texte clinique et de l'objectif de la tâche d'extraction. la plupart des travaux de recherche portent aussi sur des corpus écrits en anglais. peu d'études utilisent les corpus en français @xcite . dans cet article, nous nous intéressons à extraire le positionnement temporel des mentions en fonction de la dct. contrairement à l'extraction des relations doctimerel, nous ne commençons pas par l'extraction des évènements cliniques pour ensuite les classifier selon la dct. au lieu de cela, nous souhaitons l'extraction de la relation temporelle de chaque portion du texte avec la dct, indépendemment des évènements. nous pouvons procéder par la suite à l'extraction des évènements et chaque évènement aura alors la même relation temporelle que la portion du texte qui le contient. voici les principales contributions de cet article : -nous introduisons une nouvelle représentation des relations temporelles qui nous permet d'identifier des portions de textes homogènes du point de vue temporel et de caractériser ce positionnement temporel, indépendamment du domaine et de la tâche de l'extraction. -pour évaluer notre représentation, nous annotons un corpus de textes cliniques, écrits en français en utilisant le schéma d'annotation thyme-timeml et nous modélisons la tâche d'extraction de ces relations temporelles en tant qu'une tâche de classification de séquences. le modèle de classification est comparé à un modèle baseline à base de règles. -pour valider l'efficacité de notre représentation des relations temporelles, nous appliquons notre modèle de positionnement temporel sur un autre corpus clinique, nous identifions les évènements de toxicité des chimiothérapies dans ce corpus et nous inférons ensuite la relation temporelle de chaque évènement par rapport à la dct. 2 méthodologie représentation des relations temporelles. comme illustré dans la figure 1a, les relations temporelles sont souvent représentées par les relations doctimerel et les relations tlinks. l'extraction des doctimerel revient à l'identification des évènements et à la classification de leur relation temporelle avec la date de création du document. chaque évènement sera associé à une catégorie selon le schéma thyme-timeml (figure 1) : before (orange), before_overlap (vert), overlap (jaune) et after (bleu). cependant, la définition des événements étant très spécifique au domaine, la tâche d'extraction des doctimerel diffère selon le domaine et aucune généralisation n'est possible. des défis supplémentaires sont également rencontrés dans la définition des évènements cliniques dus à la complexité et à la variété des terminologies médicales présentes dans le texte clinique. l'extraction des relations tlinks revient dans une première étape à extraire les paires possibles des évènements et des expressions temporelles. la stratégie la plus adoptée consiste à choisir les paires dans la même phrase et d'extraire les relations temporelles intra-phrastiques. or, les spécificités des textes cliniques présentent des difficultés pour l'identification des frontières de phrase comme l'usage des termes contenant des marques de ponctuation et l'oubli des marqueurs de début et de fin de phrases. par ailleurs, si l'évènement et l'expression temporelle sont dans des phrases différentes, d'autres stratégies doivent être adoptées pour résoudre les dépendances à longue distance. de ce fait, nous introduisons une nouvelle représentation des relations temporelles qui est indépendante des évènements. comme illustré dans la figure 1b, les portions de texte homogènes du point de vue temporel sont extraites et associées à une catégorie du schéma d'annotation thyme-timeml qui reflète la relation avec la dct. les évènements auront par la suite la même catégorie que la portion qui les inclut. ainsi, nous n'avons pas à gérer les problèmes de frontières de phrases ni la problématique de dépendance longue. certes, cette représentation est moins fine que la représentation classique des informations temporelles, mais il s'agit d'une représentation qui est totalement indépendante du type des mentions à extraire et donc du domaine d'application. extraction et classification des relations temporelles. nous modélisons la tâche d'extraction des relations temporelles comme une tâche de classification supervisée de séquences. notre but est de classifier chaque portion du texte en une catégorie pré-définie. pour ceci, nous entraînons un modèle de classification de tokens, en utilisant le modèle français camembert (martin et al., 2020) de la librairie transformers de huggingface (wolf et al., 2020). nous classifions chaque token en nous appuyant sur le format bio (beginning-inside-outside). de cette manière, le modèle sera capable de détecter les tokens qui marquent le changement temporel dans le texte. les poids du modèle ont été optimisés avec adam sans weight decay pendant 20 époques. extraction des évènements de toxicité. pour une première pré-annotation et identification des évènements de toxicité des chimiothérapies, nous avons utilisé l'algorithme quickumls @xcite en utilisant un dictionnaire de toxicité @xcite , contenant des termes de toxicité en français issus de différentes terminologies. données d'évaluation 1 . pour l'extraction des relations temporelles, nous avons sélectionné au hasard des comptes rendus hospitaliers, opératoires et de consultation de patients atteints de cancer du côlon issus d'un entrepôt de données de santé de l'hôpital européen georges pompidou (hegp) (jannot et al., 2017). nous avons annoté 180 documents pour l'entraînement et la validation de notre modèle et 42 documents pour l'évaluation. nous utilisons les catégories du schéma thyme-timeml ainsi que deux autres catégories temporalreference et end_scope. la catégorie temporalreference sert à identifier le début d'un compte rendu associé à une nouvelle date de création de document, ce qui est nécessaire pour les cas où différents comptes rendus sont inscrits dans le même document. end_scope marque la fin d'une portion de texte si la prochaine portion est une en-tête ou une signature. cela nous permet uniquement d'exclure ces zones dans le pré-traitement. trois annotateurs ont annoté un échantillon de 9 documents. ces accords inter-annotateurs en termes de macro f-mesure sont obtenus : 0,62, 0,73 et 0,69. pour la classification, nous aurons donc ces cinq catégories : temporalreference, before, before_overlap, overlap et after. la catégorie temporelle par défaut de temporalreference est overlap. le guide d'annotation détaillé est fourni en annexe a. pour la validation de l'efficacité de notre approche, nous utilisons un deuxième corpus qui contient des informations de toxicité de chimiothérapies de patients atteints du cancer du côlon et du poumon (jannot et al., 2017). une validation manuelle des annotations des évènements de toxicité a été réalisée par un expert sur 25 documents cliniques, dont 5 documents qui appartiennent au corpus de test de notre modèle de positionnement temporel. l'annotation a été effectuée avec l'outil brat (stenetorp et al., 2012). métriques d'évaluation. dans notre étude, nous sommes intéressés par la détection du changement temporel entre des grandes portions du texte. dans ce cas, la segmentation en phrases et en tokens n'a donc plus de sens et nous évaluons la performance de notre système de classification temporelle au niveau des caractères en mesurant la macro précision, le macro rappel et la macro f-mesure. nous calculons les intervalles de confiance à 95 % de nos résultats de classification en utilisant la technique d'empirical bootstrap (dekking et al., 2005, p.275). pour cela, nous avons échantillonné notre corpus de test avec remise 1000 fois. les métriques seront calculées pour chaque sous-échantillon. pour mesurer l'empreinte carbone de l'entraînement et l'évaluation de notre modèle, nous utilisons l'outil carbontracker (anthony et al., 2020). modèle baseline. pour évaluer la performance de notre modèle d'extraction de relations temporelles, nous avons développé un modèle à base de règles pour le positionnement temporel des portions de texte. comme pour l'annotation, nous nous sommes appuyés sur des mots-clés qui sont souvent utilisés pour définir certaines sections médicales, en particulier dans les comptes-rendus opératoires et hospitaliers telles que "antécédents", "indication", "gestes réalisés", "traitement de sortie", etc. ces mots-clés sont généralement utiles pour l'annotation temporelle, bien qu'ils soient insuffisants pour couvrir tous les types de comptes rendus. le modèle baseline sera évalué sur notre corpus de test. 4 résultats et discussion extraction des relations temporelles cliniques. la