Les textes cliniques français générés sont-ils dangereusement similaires à leur source ? Analyse par plongements de phrases (2023)

Abstract: Les ressources textuelles disponibles dans le domaine biomédical sont rares pour des raisons de confidentialité. Des données existent mais ne sont pas partageables, c’est pourquoi il est intéressant de s’inspirer de ces données pour en générer de nouvelles sans contrainte de partage. Une difficulté majeure de la génération de données médicales est que les données générées doivent ressembler aux données originales sans compromettre leur confidentialité. L’évaluation de cette tâche est donc difficile. Dans cette étude, nous étendons l’évaluation de corpus cliniques générés en français en y ajoutant une dimension sémantique à l’aide de plongements de phrases. Nous recherchons des phrases proches à l’aide de similarité cosinus entre plongements, et analysons les scores de similarité. Nous observons que les phrases synthétiques sont thématiquement proches du corpus original, mais suffisamment éloignées pour ne pas être de simples reformulations qui compromettraient la confidentialité.

## introduction le manque de ressources est l'un des problèmes les plus communément rencontrés dans le traitement automatique des langues (tal), que ce soit en termes de domaine, de tâche, ou les deux. c'est le cas dans le domaine biomédical, où les ressources disponibles dans des langues autres que l'anglais sont rares @xcite . ainsi, les données stockées dans les hôpitaux ne sont accessibles que par un nombre très restreint de personnes. les données ne pouvant pas être diffusées, le partage des connaissances au sein de la communauté scientifique est difficile. les possibilités de reproduction d'expériences et de comparaisons méthodologiques sont limitées. une piste pour résoudre ce problème est de générer de nouvelles données similaires aux données privées tout en préservant la confidentialité. la mise à disposition des données générées pourraient alors devenir un terrain de test, de comparaison, de discussion et d'entraide dans la recherche en tal biomédical. les modèles de type transformer @xcite ont montré leur efficacité dans différentes tâches de génération de textes @xcite . les modèles auto-régressifs pré-entraînés comme gpt-2 @xcite , gpt-3 @xcite et plus récemment instructgpt @xcite et son successeur chatgpt ont la capacité de générer des textes bien écrits. les connaissances acquises lors du pré-entraînement de ces modèles pourraient être utiles dans des domaines peu dotés où il n'est pas possible d'entraîner un modèle génératif en partant de zéro. l'évaluation automatique de la génération repose essentiellement sur des mesures de similarité avec une référence @xcite que l'on considère comme la réponse idéale attendue dans un contexte donné. la référence est comparée avec la ou les hypothèses du système. les plus connues sont les mesures bleu @xcite qui se basent sur des recouvrements de n-grammes. cependant, dans le cas d'une génération ouverte, il n'y a pas de référence. nous proposons ici des alternatives à ces mesures pour évaluer une génération ouverte dans le domaine médical. nous utilisons la méthode de génération mise en oeuvre par @xcite . dans ce travail, la génération est faite à l'aide d'un ajustement (fine-tuning) de modèles auto-régressifs pré-entraînés sur un corpus clinique dans plusieurs configurations. nous utilisons ici les corpus générés dans ce travail et nous proposons une évaluation sémantique des corpus en utilisant des similarités phrastiques obtenues à l'aide du modèle de plongements de phrases sentence-bert (sbert) @xcite ajusté selon plusieurs configurations. cette évaluation automatique supplémentaire permet d'estimer la proximité sémantique entre le contenu des corpus générés et le corpus réel. nos contributions pour l'évaluation de la génération dans le domaine clinique sont les suivantes : cas @xcite est un corpus médical français contenant des cas cliniques français dé-identifiés dont la publication a été consentie par les patients concernés. deft sts @xcite est un corpus français de paires de phrases annotées en scores de similarité. les phrases proviennent du corpus clear @xcite , un corpus de phrases parallèles ayant pour but d'associer des phrases complexes avec leur version simplifiée. sous ensemble de ce corpus, le corpus deft sts contient 1 010 paires de phrases qui ont été annotées en se reposant sur l'intuition des annotateurs. certaines de ces paires portent sur le domaine biomédical. clister @xcite est un corpus clinique français de 1 000 paires de phrases annotées en scores de similarité. ce corpus contient des phrases du corpus cas. les annotations ont été faites spécialement pour s'adapter au domaine clinique, avec une notion de compatibilité clinique entre les phrases, qui consiste à observer si les phrases peuvent ou non correspondre au même patient. est républicain (atilf & clle, 2020) est un corpus journalistique composé d'articles parus dans le quotidien éponyme. nous avons ici sélectionné une sous-partie du corpus de manière à obtenir un corpus hors domaine de même taille que le corpus clinique e3c. ## conclusion nous avons présenté une évaluation automatique de corpus générés dans le domaine clinique à l'aide de mesures de similarité entre plongements de phrases issus de modèles implémentant plusieurs définitions de similarité sémantique. les analyses montrent que les phrases synthétiques sont thématiquement proches des phrases du corpus dont elles sont inspirées, sans pour autant concerner les mêmes patients. ces résultats suggèrent que les corpus générés sont proches du corpus original tout en apportant suffisamment d'innovation pour ne pas facilement pouvoir retrouver des patients. cependant, une grande différence de longueur de phrases entre les corpus générés et le corpus original peut fausser ces comparaisons. une perspective intéressante serait donc de contraindre la taille des phrases. cela permettrait d'augmenter la proximité avec les corpus réels et d'améliorer l'évaluation de la génération.