Détection de concepts et granularité de l’annotation (Concept detection and annotation granularity ) (2017)

Abstract: Nous nous intéressons ici à une tâche de détection de concepts dans des textes sans exigence particulière de passage par une phase de détection d’entités avec leurs frontières. Il s’agit donc d’une tâche de catégorisation de textes multiétiquette, avec des jeux de données annotés au niveau des textes entiers. Nous faisons l’hypothèse qu’une annotation à un niveau de granularité plus fin, typiquement au niveau de l’énoncé, devrait améliorer la performance d’un détecteur automatique entraîné sur ces données. Nous examinons cette hypothèse dans le cas de textes courts particuliers : des certificats de décès où l’on cherche à reconnaître des diagnostics, avec des jeux de données initialement annotés au niveau du certificat entier. Nous constatons qu’une annotation au niveau de la « ligne » améliore effectivement les résultats, mais aussi que le simple fait d’appliquer au niveau de la ligne un classifieur entraîné au niveau du texte est déjà une source d’amélioration.

## introduction la détection de concepts dans des textes consiste à y relever la présence de concepts d'un référentiel termino-ontologique. citons par exemple absence acquise de poumon (z90.2 dans la cim-10, classification internationale des maladies, version 10, de l'oms @xcite ) ou encore pneumonies, sans précision (j18.9 dans la cim-10). ces concepts fournissent une représentation des informations utiles dans divers systèmes d'information @xcite . par exemple, dans le domaine médical, les « descripteurs » du thésaurus mesh sont employés pour l'indexation et la recherche de actes de taln 2017, volume 2 : articles courts notices bibliographies d'articles scientifiques dans la base medline, et les classes de la classification internationale des maladies sont employées pour caractériser les séjours hospitaliers à des fins médicoéconomiques ou pour compiler à l'échelle nationale et internationale les statistiques de mortalité à partir des textes des certificats de décès. la détection de concepts est généralement abordée comme une étape suivant la détection d'entités nommées @xcite . il s'agit alors d'une tâche de normalisation d'entités, aussi appelée plus récemment liage d'entités @xcite . cette tâche demande de déterminer, pour chaque expression décrivant une entité, déjà définie par ses frontières et généralement un type, le concept le plus approprié parmi ceux d'un référentiel donné (typiquement une terminologie, ontologie ou base de données). les corpus annotés indiquent donc pour chaque mention d'une entité le concept attendu pour celle-ci. nous nous plaçons dans un contexte différent où la détection de concepts est définie comme une tâche de catégorisation de textes. étant donné un texte, sans indication préalable d'entités et de leurs frontières, il s'agit de déterminer les concepts mentionnés dans ce texte. les corpus annotés fournissent alors simplement la liste des concepts associés à chaque texte, sans indication de localisation. d'un côté, supprimer l'évaluation des frontières simplifie la tâche. d'un autre côté, l'absence d'indication sur la position des concepts dans les annotations fournies rend la tâche plus difficile : on ne sait pas a priori quels mots sont révélateurs des concepts à trouver, ce qui donne moins d'indices pour l'entraînement. de plus, par rapport aux tâches courantes de catégorisation de textes, qui considèrent quelques classes @xcite , la détection de concepts s'attaque souvent à des milliers, voire des dizaines de milliers de classes @xcite : de l'ordre de 13 000 dans la cim-10 et de 27 000 dans mesh. parmi les types de méthodes employées pour aborder cette tâche, les deux plus fréquentes sont celles fondées sur des dictionnaires ou terminologies existants @xcite , et celles fonctionnant par apprentissage supervisé @xcite . nous nous intéressons dans cet article à la granularité des annotations que l'on peut employer pour détecter des concepts dans cette situation. par rapport à un corpus annoté au niveau des textes, un corpus annoté à un niveau plus fin, par exemple des énoncés, aide-t-il à mieux détecter les concepts de chaque texte ? nous partons d'un corpus avec deux niveaux d'annotation et comparons les performances obtenues dessus en détection de concepts pour tester les deux hypothèses suivantes : j18.9 ligne insuffisance respiratoire chronique j96.1 ligne insuffisance cardiaque chronique, pneumonectomisé pour cancer pulmonaire, lymphome non hodgkinien en abstention thérapeutique c85.9, i50.9, c34.9, z90.2 certif. pneumopathie nosocomiale xyzt insuffisance respiratoire chronique xyzt insuffisance cardiaque chronique, pneumonectomisé pour cancer pulmonaire, lymphome non hodgkinien en abstention thérapeutique j18.9, j96.1, i50.9, z90.2, c34.9, c85.9 les méthodes présentées peuvent sembler simples ; en pratique, l'union du dictionnaire calibré et du svm mono-étiquette détient les meilleurs résultats publiés @xcite hors soumissions officielles sur le corpus de test de clef ehealth 2016 @xcite , et le svm multi-étiquette seul ou combiné au dictionnaire a obtenu les meilleurs résultats hors soumissions officielles sur les corpus de test français (ligne et certificat) de clef ehealth 2017 @xcite . cette étude possède diverses limitations. ces expériences ont été réalisées sur un seul jeu de données. leur généralisation à d'autres données reste à tester. pour des questions de temps, nous n'avons pas appliqué de validation croisée pour construire les tableaux 3 et 4 : les différences observées sont susceptibles de varier avec des découpages différents en entraînement et test. notons cependant qu'un certain nombre des différences constatées dans le tableau 4 sont larges. les jeux de données employés correspondent aux corpus d'entraînement de clef ehealth 2016 et 2017, mais pas à un corpus de test existant. les résultats présentés ne sont de ce fait pas directement comparables à ceux des participants de la tâche de 2016 ou 2017. on peut noter cependant qu'ils sont du même ordre de grandeur que le résultat du meilleur participant sur le corpus de test de 2016 @xcite ), qui était évalué au niveau ligne, ou que nos résultats sur ce même corpus de test pour l'union du dictionnaire calibré et du classifieur mono-étiquette (@xmath0.9 % @xcite ). ils sont aussi du même ordre que nos résultats avec le classifieur multi-étiquette sur le corpus de test français de clef ehealth 2017 (ligne : @xmath1.5 %, certificat : @xmath2.7 %, @xcite ), qui surpassent de 5 à 6 points ceux du meilleur participant. ## conclusion dans le cas des certificats de décès, nous confirmons l'intuition selon laquelle la détection supervisée de concepts au niveau des énoncés (lignes) fonctionne mieux qu'au niveau du texte entier (certificat). ce constat était bien sûr attendu lorsque l'on dispose d'énoncés annotés ; nous avons observé qu'il s'applique aussi lorsque l'on dispose uniquement de textes annotés, un classifieur entraîné sur les textes entiers donnant en moyenne de meilleurs résultats si on l'applique séparément à chaque énoncé que si on l'applique globalement au texte entier. nous avons vu également qu'un classifieur multiétiquette était plus robuste mais cependant sensible aussi à cette différence de granularité. ces observations ouvrent plusieurs perspectives. tout d'abord, elles sont directement applicables à des données de nature similaire mais provenant d'une autre source et écrites dans une autre langue : les certificats de décès américains fournis lors de la campagne clef ehealth 2017. contrairement aux certificats français, ces données ne sont annotées qu'au niveau de chaque certificat. nous avons réalisé des expériences préliminaires qui confirment l'intérêt d'entraîner un classifieur sur ces textes puis de l'appliquer au niveau des lignes individuelles plutôt que des textes entiers. de plus, ces observations incitent à mettre en place des méthodes pour transférer automatiquement au niveau des énoncés les annotations disponibles au niveau des textes. là aussi, nos premiers essais par annotation automatique d'une partie des énoncés puis ré-entraînement sur le corpus ainsi étendu sont encourageants.