Extraction d’information de spécialité avec un système commercial générique (Extracting Medical Information with an Off-the-shelf Software Product) (2020)

Abstract: Nous avons participé à la tâche 3 du Défi Fouille de texte 2020, dédiée à l’extraction d’information de spécialité, dans le but de tester notre produit commercial d’extraction d’information, Watson Knowledge Studio (WKS), face à des équipes académiques et industrielles. Outre la quantité réduite de données d’apprentissage, la nature des annotations des corpus de référence posait des problèmes d’adaptation à notre produit. Aussi avons-nous dû modifier le schéma d’annotation du corpus d’apprentissage, exécuter l’apprentissage, puis appliquer des règles aux résultats obtenus afin d’obtenir des annotations conformes au schéma initial. Nous avons également appliqué des dictionnaires de spécialité (anatomie, pathologie, etc.) pour injecter de la connaissance du domaine et renforcer les modèles d’apprentissage automatique. Au final, nos résultats lors de la phase de test se situent dans la moyenne de l’ensemble des équipes, avec des F-mesures de 0,43 pour la sous-tâche 1 et 0,63 pour la sous-tâche 2.

## description des données les données d'entraînement pour la tâche 3 sont un ensemble de 100 cas cliniques ; pour chaque cas, on dispose d'un document contenant le texte (.txt), et d'un document au format brat (.ann) contenant les annotations identifiées dans ce texte. les documents sont de longueur variable, entre 76 et 1407 mots (moyenne 361), avec une majorité de documents relativement courts (autour de 300 mots). les textes sont spécialisés dans le domaine médical (comme prévu), et plus particulièrement en urologie, avec un vocabulaire très spécialisé. les données d'annotation concernent différents types d'information pour les besoins de la tâche 3 : signe ou symptôme (abrégé sosy) et pathologie pour la sous-tâche 1, anatomie, dose, examen, mode, moment, substance, traitement, valeur pour la soustâche 2. dans la suite de ce document, nous mentionnerons ces catégories en majuscules (e.g. pathologie). dans le corpus d'entraînement, les catégories sont diversement représentées, entre 1831 instances de sosy et 243 instances de mode. les annotations de la sous-tâche 1, catégories sosy et pathologie, sont réputées constituer des « portions assez vastes » (deft 2020, 2020), qu'en est-il exactement ? la figure 3 montre que les sosy comprennent un nombre significatif d'instances de plus de 5 mots. cela aura son importance lors du choix de la méthodologie à appliquer, au regard des bonnes pratiques recommandées dans l'utilisation de l'outillage watson knowledge studio. nous avons analysé un certain nombre d'instances de sosy, notamment les instances de longue portée. la question qui se posait était alors : comment fait-on pour détecter une annotation d'une portée de plusieurs dizaines de mots ? il semble facile de repérer où elles commencent, mais détecter où elles s'arrêtent l'est beaucoup moins. le guide d'annotation (deft 2020b) conseille à ce sujet : les frontières de ces portions doivent être envisagées sous l'angle d'une seule idée par portion annotée, même si plusieurs informations peuvent venir compléter cette idée. ## résultats et discussion au final, nos résultats (f-mesure 0,43 pour la sous-tâche 3.1 et de 0,64 pour la soustâche 3.2) sont très proches de la moyenne de l'ensemble des équipes. cela valide en partie notre approche, qui a consisté à compenser les contraintes liées à notre logiciel en réannotant le corpus d'entraînement avec un schéma d'annotation modifié, puis en appliquant des règles pour recombiner les annotations obtenues afin de reconstituer les annotations d'origine. le cas d'école est la séparation de anatomie en deux entités (anatomie, position) et une relation entre les deux, qui permet à l'apprentissage automatique, en ciblant mieux ses clients, d'obtenir de meilleurs résultats. ce principe de réannotation est parfois utilisé -de façon peut-être moins appuyée-, dans nos projets