CLISTER : Un corpus pour la similarité sémantique textuelle dans des cas cliniques en français ( CLISTER : A Corpus for Semantic Textual Similarity in F rench Clinical Narratives) (2022)

Abstract: Le TAL repose sur la disponibilité de corpus annotés pour l’entraînement et l’évaluation de modèles. Il existe très peu de ressources pour la similarité sémantique dans le domaine clinique en français. Dans cette étude, nous proposons une définition de la similarité guidée par l’analyse clinique et l’appliquons au développement d’un nouveau corpus partagé de 1 000 paires de phrases annotées manuellement en scores de similarité. Nous évaluons ensuite le corpus par des expériences de mesure automatique de similarité. Nous montrons ainsi qu’un modèle de plongements de phrases peut capturer la similarité avec des performances à l’état de l’art sur le corpus DEFT STS (Spearman=0,8343). Nous montrons également que le contenu du corpus CLISTER est complémentaire de celui de DEFT STS.

## introduction la similarité sémantique est un problème du traitement automatique des langues visant à évaluer la proximité sémantique d'énoncés. la notion de similarité peut ainsi s'appliquer à la détection de paraphrases ou au résumé de texte. ce problème a fait l'objet de nombreux travaux et campagnes d'évaluation, comme semeval @xcite ou le défi fouilles de textes (deft) @xcite . les travaux sur le calcul automatique de similarité au niveau phrastique s'appuient sur des ressources comme les corpus sts benchmark @xcite ou sick @xcite qui contiennent des paires de phrases annotées avec un degré de similarité (sts benchmark) ou une relation de similarité (sick). à notre connaissance, il n'existe pas de corpus de similarité en français à l'exception du corpus deft sts @xcite et du corpus paws-x @xcite , constitué de paraphrases traduites. par ailleurs, la notion de similarité est difficile à définir et les corpus existants ne sont pas nécessairement accompagnés d'une définition de cette notion. dans les domaines biomédical et médical qui nous occupent ici, plusieurs corpus de similarité sont disponibles en anglais. le corpus biosses @xcite contient 100 paires de phrases issues du challenge tac sur le résumé de textes biomédicaux. les critères de similarité définis dans ce corpus reposent sur la capacité des annotateurs à identifier les informations qui peuvent être considérées comme « importantes ». les paires de phrases sont annotées avec un score de similarité sur une échelle allant de 0 à 4. le corpus medsts @xcite utilisé dans l'évaluation n2c2/ohnlp @xcite ) contient 2 054 paires de phrases médicales en anglais annotées par deux experts du domaine médical. ce corpus reprend la définition proposée dans biosses en ajoutant un degré supplémentaire sur l'échelle de similarité (0 à 5). le corpus français de similarité sémantique (cardon & grabar, 2020) utilisé dans deft 2020 contient 1 010 paires de phrases provenant du corpus clear @xcite . la définition de la similarité utilisée dans ce corpus repose sur l'intuition des annotateurs. ces travaux montrent que l'annotation en similarité sémantique dans un domaine de spécialité est une tâche difficile. définir des critères précis pour donner une définition de la similarité spécifique au domaine peut néanmoins permettre de créer une ressource de qualité. ainsi, nous présentons une contribution au domaine de la similarité sémantique selon les axes suivants : ## conclusion nous avons présenté un nouveau corpus de 1 000 paires de phrases dans le domaine clinique en français, annotées en degrés de similarité selon une définition s'appuyant sur des critères linguistiques et cliniques. les évaluations réalisées montrent la contribution de cette nouvelle ressource pour la tâche de calcul automatique de similarité. le corpus est librement disponible en ligne : https://gitlab.inria.fr/codeine/clister . la disponibilité d'un corpus de similarité dans le domaine clinique peut aider à la construction de modèles de recherche d'information dans ce domaine. dans nos travaux à venir, nous prévoyons ainsi d'utiliser le corpus clister afin d'entraîner un modèle sentence-bert pour la recherche de phrases similaires dans un corpus clinique et d'évaluer ainsi la confidentialité de phrases issues de documents cliniques vis-à-vis de la problématique de la réidentification possible des patients.