Modèle neuronal pour la résolution de la coréférence dans les dossiers médicaux électroniques (Neural approach for coreference resolution in electronic health records ) (2020)

Abstract: La résolution de la coréférence est un élément essentiel pour la constitution automatique de chronologies médicales à partir des dossiers médicaux électroniques. Dans ce travail, nous présentons une approche neuronale pour la résolution de la coréférence dans des textes médicaux écrits en anglais pour les entités générales et cliniques en nous évaluant dans le cadre de référence pour cette tâche que constitue la tâche 1C de la campagne i2b2 2011.

## introduction la résolution de la coréférence consiste à identifier toutes les mentions d'entités ou d'événements et à les regrouper en classes d'équivalence @xcite . cette tâche n'implique pas de déterminer à quels entités ou événements ces mentions font référence. il s'agit de déterminer si plusieurs mentions font référence à la même entité ou événement. la résolution de la coréférence a principalement été explorée pour des textes de nature journalistique, avec de premières campagnes d'évaluation dans les années 1990 @xcite . ce n'est qu'au cours des dix dernières années que des travaux se sont intéressés à la résolution de la coréférence dans le domaine clinique. la première campagne d'évaluation sur le sujet a été proposée par la fondation i2b2 @xcite et a permis le développement de plusieurs modèles @xcite @xcite . l'intérêt pour cette tâche répond au besoin grandissant d'explorer et d'utiliser les données contenues dans les rapports et autres documents textuels qui composent les dossiers médicaux électroniques. parmi ces données, la chronologie médicale, c'est-à-dire la suite d'événements médicaux qui ont lieu au cours de la vie d'un patient, est une information importante. être en mesure d'extraire automatiquement ces chronologies permettrait de mieux comprendre certains phénomènes médicaux tels que l'évolution des maladies et les effets longitudinaux des médicaments @xcite . or, les événements médicaux sont mentionnés plusieurs fois dans les dossiers, rendant difficile la construction de ces chronologies sans une étape de résolution de la coréférence. dans ce travail, nous nous intéressons à la résolution de la coréférence dans des dossiers médicaux électroniques écrits en anglais. nous proposons une approche neuronale fondée sur les travaux récents appliqués aux textes journalistique @xcite . ## description du modèle notre modèle s'inspire des approches neuronales récemment développées @xcite . le composant principal de notre approche est un modèle de type mention-ranking @xcite dont l'objectif est d'ordonnancer l'ensemble des antécédents possibles pour une mention donnée et de choisir le premier. le cas non-anaphorique, c'est-à-dire l'absence d'antécédent pour une mention donnée, est géré par l'utilisation d'un dummy antecedent @xcite . notre approche diffère des modèles locaux pour la résolution de la coréférence dans lesquels les paires de mentions sont considérées séparément. nous proposons d'utiliser des traits globaux extraits des chaînes de coréférence en cours de construction. ainsi, notre approche s'inspire et s'inscrit dans une lignée de travaux récents examinant l'utilisation de ce type de traits dans des approches neuronales @xcite @xcite . plus spécifiquement, nous incorporons de l'information concernant les chaînes de coréférence en cours de construction dans notre modèle mention-ranking. cette information est construite en utilisant un lstm @xcite qui examine les différentes mentions des chaînes par ordre d'apparition dans le texte. le principal avantage de cette approche est qu'elle facilite l'inférence en ne requérant qu'une seule passe sur les mentions (de gauche à droite). plongements en entrée les plongements utilisés en entrée de notre modèle sont construits en concaténant une représentation dense des caractères et un vecteur de mot pré-calculé sur un grand corpus. la représentation dense des caractères est construite suivant la méthode proposée par lample et al. (2016). un plongement aléatoire est d'abord généré pour chaque caractère présent dans le corpus. ensuite, les caractères des différents tokens passent à travers un bi-lstm. les deux représentations denses résultantes sont enfin concaténées pour former la représentation finale. représentation dense des caractères vecteur de mot concaténation backward lstm forward lstm vecteurs de caractères n o t e d figure 1: construction des plongements en entrée de notre modèle chills she denied abd pain , fever , contexte mention active plongements lexicaux forward lstm backward lstm concaténation attention + . figure 2: construction des représentations des mentions représentation des mentions le processus de construction des représentations des mentions est présenté à la figure 2. dans notre exemple, la mention considérée est abd pain dans le contexte de la phrase she denied abd pain, fever, chills. tout d'abord, notre modèle calcule deux représentations contextuelles de la mention considérée grâce à un bi-lstm. le forward lstm prend en entrée le segment allant du premier token de la phrase jusqu'au dernier token de la mention. le backward lstm prend en entrée le segment allant du dernier token de la phrase jusqu'au premier token de la mention. les deux représentations denses forment la première partie de la représentation finale. nous ajoutons ensuite une représentation dense issue d'un mécanisme d'attention. ce mécanisme, qui permet d'accorder une importante différenciée aux deux éléments constituant la représentation contextuelle d'une mention, consiste en une somme pondérée des états cachés intermédiaires des deux lstms. les poids utilisés dans la somme pondérée sont calculés en utilisant un réseau de neurones feed-forward. représentation des chaînes de coréférence pour le calcul des représentations denses des chaînes de coréférence, nous utilisons, à l'instar de wiseman et al. (2016), un lstm prenant en entrée les différentes mentions composant les chaînes de coréférence, dans l'ordre de leur apparition dans le document. un aperçu du processus complet est présenté à la figure 3. bien entendu, nous maintenons au cours de l'analyse d'un document autant de ces représentations que de chaînes de coréférence, représentations construites en utilisant le même lstm (i.e. les mêmes poids). représentations des mentions forward lstm contexte représentation de la chaîne t h e p a in a b u r n in g p a in w h ic h h e r p a in attention figure 3: calcul des représentations des chaînes de coréférence + contexte contexte antécédent mention active + distance chaîne + + attention attention relu score relu figure 4: classifieur de paires de mentions classifieur de paires de mentions le rôle du classifieur est d'assigner un score à chaque paire (mention, antécédent). pour cela, nous utilisons un réseau feed-forward qui prend en entrée la concaténation des représentations des mentions, de la chaîne de coréférence dont l'antécédent fait partie et d'une représentation dense de la distance qui sépare la mention active de l'antécédent considéré. la distance est discrétisée en un nombre fixe de catégories : [1, 2, 3, 4, 5 -7, 8 -15, 16 -31, 32 -63, 64+] (clark & manning, 2016). le réseau feed-forward est composé de deux couches cachées, chaque couche ayant pour taille la moitié de la taille de la couche précédente. les scores obtenus pour chaque paire (mention, antécédent) sont concaténés dans un vecteur et nous appliquons une fonction softmax. nous optimisons la vraisemblance de tous les antécédents inclus dans la chaîne de coréférence (lee et al., 2017). 354 dans ce travail, nous nous intéressons à la situation dans laquelle nous disposons d'une détection parfaite des mentions dans les documents en utilisant les annotations gold du corpus pour ces mentions. nous testons notre modèle dans plusieurs configurations. tout d'abord, nous implémentons un modèle de base en enlevant certaines parties de notre architecture. les plongements présentés en entrée du modèle sont composés uniquement d'un vecteur de mot pré-entraîné. le mécanisme d'attention ainsi que les représentations denses des chaînes de coréférence et des caractères ne sont pas utilisés. en partant de cette configuration, nous activons chaque composant pour mesurer son effet sur la performance du système. par ailleurs, nous implémentons une stratégie de pré-entraînement dans laquelle nous entraînons notre modèle uniquement sur les mentions coréférentes. la tâche se résume alors à trouver l'antécédent correct parmi les mentions précédentes. cette stratégie permet généralement d'améliorer les performances des systèmes (clark & manning, 2015, 2016; wiseman et al., 2015, 2016). ensuite, nous implémentons une spécialisation du classifieur de paires de mentions. le réseau feed-forward qui le compose est unique pour chaque type d'entité. notre hypothèse est que les éléments permettant d'identifier des mentions coréférentes peuvent différer selon le type d'entité considéré. enfin, nous implémentons un filtrage des antécédents selon le type de la mention considérée par le modèle. pour le cas des pronoms, nous considérons tous les antécédents. nous implémentons notre modèle avec pytorch (paszke et al., 2017). la taille des lstms utilisés pour calculer les représentations des mentions et des chaînes de coréférence est fixée à 100. celle du bi-lstm utilisé pour la représentation des caractères est fixée à 25. les plongements de caractères ont une taille de 25 et sont initialisés aléatoirement. notre modèle est entraîné sur des mini-lots de 1 document. nous utilisons l'algorithme d'optimisation adam et fixons le taux d'apprentissage à 0,001. nous implémentons une décroissance du taux d'apprentissage de 1 % à chaque itération. les plongements lexicaux pré-entraînés sont appris sur le corpus mimic-iii (johnson et al., 2016) avec une taille de 100. nous appliquons un dropout sur les couches cachées de notre classifieur de mentions avec un taux de 0,2. un dropout est aussi appliqué sur les plongements en entrée avec un taux de 0,5. nous implémentons l'apprentissage des états initiaux des lstms @xcite . finalement, nous répétons chaque expérience 10 fois pour prendre en considération l'aspect non-déterministe de notre modèle @xcite . permet d'améliorer la performance des modèles personnes et événements, mais avec une contribution minime comme le suggère la faible différence par rapport au réseau initial. aucun des deux modèles ne semble bénéficier de l'information issue des représentations denses des caractères, malgré leur contribution dans d'autres tâches (e.g. reconnaissance d'entités nommées). la prise en compte des chaînes de coréférence en cours de construction n'améliore pas la performance de notre modèle, avec une baisse supérieure à un point pour les événements. ces résultats sont en contradiction avec ceux présentés par @xcite . cependant, les contextes expérimentaux diffèrent. ## conclusion nous présentons un modèle neuronal pour la résolution de la coréférence dans le domaine médical, appliqué sur un corpus clinique en anglais. nous montrons que ce type d'approche permet d'obtenir des performances intéressantes, mais qui restent toutefois inférieures à l'état de l'art à l'aide de modèles fondés sur des traits catégoriels. dans d'autres expériences, nous avons exploré une situation réelle incluant la détection de mentions en amont de la coréférence @xcite . la suite de ce travail pourra explorer plusieurs pistes. nos expériences font l'hypothèse de la détection parfaite des mentions. dans une situation d'application réelle, il est nécessaire de procéder à l'extraction des mentions. de plus, les aspects temporels des événements ne sont actuellement pas pris en compte dans notre approche. l'utilisation d'informations temporelles pertinentes permettrait d'apporter des éléments utiles à notre modèle en filtrant les mentions temporellement incompatibles. le code développé pour convertir le corpus i2b2 du format original vers le format conll est disponible à cette adresse : https://github.com/jtourille/i2b2-coref-task1c-converter .