Indexation et appariement de documents cliniques avec le modèle vectoriel (Indexing and matching clinical documents using the vector space model) (2019)

Abstract: Dans ce papier, nous présentons les méthodes que nous avons développées pour participer aux tâches 1 et 2 de l’édition 2019 du défi fouille de textes (DEFT 2019). Pour la première tâche, qui s’intéresse à l’indexation de cas cliniques, une méthode utilisant la pondération TF-IDF (term frequency – inverse document frequency) a été proposée. Quant à la seconde tâche, la méthode proposée repose sur le modèle vectoriel pour apparier des discussions aux cas cliniques correspondants ; pour cela, le cosinus est utilisé comme mesure de similarité. L’indexation sémantique latente (latent semantic indexing – LSI) est également expérimentée pour étendre cette méthode. Pour chaque méthode, différentes configurations ont été testées et évaluées sur les données de test du DEFT 2019.

## introduction le défi fouille de textes (deft) est une campagne d'évaluation visant à promouvoir le développement de méthodes et d'applications dans le domaine du traitement automatique de langues naturelles (taln). dans son édition de 2019, il s'intéresse à l'analyse de cas cliniques ; il comporte trois tâches traitant essentiellement l'indexation, la recherche et l'extraction d'informations à partir de textes biomédicaux @xcite . la tâche 1 consiste à identifier, à partir d'une liste de mots clés, ceux qui sont pertinents pour représenter un couple cas clinique/discussion donné. cette question d'indexation où chaque document est associé à un ou plusieurs mots clés, peut être considérée comme un problème de classification multi-label. dans la littérature, ce problème a suscité un grand engouement et différentes approches sont proposées. certaines approches prônent la décomposition du problème en sous-problèmes de classification binaire @xcite , et d'autres l'adaptation des méthodes existantes et notamment l'algorithme des k plus proches voisins @xcite . la méthode que nous proposons s'inscrit dans la deuxième approche et utilise la méthode de pondération tf-idf pour déterminer les mots clés pertinents pour indexer un document. la tâche 2, quant à elle, s'intéresse à l'appariement des cas cliniques et des discussions. l'idée est de déterminer, pour chaque cas clinique, la discussion correspondante à partir d'un ensemble de discussions. pour traiter ce type de problème, la similarité (sémantique) est communément utilisée. dans la littérature, deux approches différentes sont développées : une exploitant des ressources externes @xcite et une autre basée sur la représentation vectorielle. la deuxième approche est largement explorée; différents modèles sont utilisés : le modèle vectoriel (vector space model -vsm) @xcite , l'indexation sémantique latente (latent semantic indexing -lsi) @xcite , l'allocation de dirichlet latente (latent dirichlet allocation -lda) @xcite et récemment les plongements lexicaux (word embeddings) @xcite . nous proposons une méthode d'appariement inspirée de cette approche et fondée principalement sur la représentation vectorielle des documents. le vsm et la lsi sont expérimentés avec la mesure de cosinus. ce papier décrit ces méthodes, développées pour participer à ces deux tâches du deft 2019. le reste du papier est structuré comme suit : nos méthodes d'indexation et d'appariement sont présentées respectivement dans les sections 2 et 3 ; les résultats obtenus sont décrits et discutés respectivement dans les sections 4 et 5. ## indexation de cas cliniques dans cette section, nous décrivons notre méthode d'indexation et ses différentes extensions, visant à améliorer ses résultats. l'approche proposée est basée sur la représentation vectorielle des documents. dans la phase de prétraitement, chaque document est d'abord segmenté en phrases et les phrases en tokens. ensuite, l'ensemble des n-grams (séquences de 1 à n tokens, n fixé empiriquement à 6) sont extraits et appariés aux mots clés ; pour l'appariement des n-grams aux mots clés, ces derniers sont préalablement normalisés (suppression de mots vides, racinisation). a l'issue de cette étape, on a une liste de mots clés extraits avec leurs poids respectifs dans le document. pour identifier les mots clés les plus pertinents pour représenter un document (couple cas clinique/discussion), nous avons expérimenté les mesures comme la fréquence du mot clé dans le document (tf), la tf-idf, la première occurrence du mot et la combinaison des ces deux mesures dans un modèle supervisé. les trois configurations de cette méthode sont décrites ci-dessous : ## evaluation dans cette section, nous allons d'abord présenter les jeux de données et les métriques utilisées pour évaluer les systèmes participants au deft 2019. ensuite, les résultats de nos méthodes seront analysés et discutés. ## discussion l'évaluation de notre méthode d'indexation sur les données de test du deft 2019 montre que cette dernière, bien qu'étant simple, reste performante. l'utilisation de la pondération tf.idf s'est montrée pertinente. le score tf.idf d'un mot clé reste ainsi un bon indicateur pour mesurer son poids dans un document. la fréquence aussi reste un indicateur intéressant. toutefois, la combinaison de ces deux mesures et la première occurrence dans une méthode supervisée a, à notre surprise, donné des résultats mitigés. cette faible performance peut s'expliquer par la taille moins conséquente de notre corpus d'entrainement (290 documents). les résultats de la pour l'appariement des cas cliniques et des discussions, le modèle vectoriel s'est montré performant ; plus de 88% des couples sont correctement appariés (cf. ## conclusion dans ce papier, nous avons présenté les méthodes que notre équipe a développées pour participer aux tâches 1 et 2 du deft 2019. pour l'indexation des cas cliniques, une méthode basée sur la pondération tf.idf a été proposée tandis que pour l'appariement des cas cliniques aux discussions, nous avons utilisé le modèle vectoriel. comparée aux résultats globaux, notre méthode d'indexation a obtenu des performances encourageantes et nécessite d'être améliorée. nous envisageons d'exploiter des ressources sémantiques pour surmonter des limites soulignées dans la section 5. notre méthode d'appariement, quant à elle, a donné des résultats prometteurs que nous envisageons également d'améliorer en explorant l'utilisation des plongements lexicaux sur de gros corpus.