Génération contrôlée de cas cliniques en français à partir de données médicales structurées (2024)

Abstract: La génération de texte ouvre des perspectives pour pallier l’absence de corpus librement partageables dans des domaines contraints par la confidentialité, comme le domaine médical. Dans cette étude, nous comparons les performances de modèles encodeurs-décodeurs et décodeurs seuls pour la génération conditionnée de cas cliniques en français. Nous affinons plusieurs modèles pré-entraînés pour chaque architecture sur des cas cliniques en français conditionnés par les informations démographiques des patient·es (sexe et âge) et des éléments cliniques.Nous observons que les modèles encodeur-décodeurs sont plus facilement contrôlables que les modèles décodeurs seuls, mais plus coûteux à entraîner.

## introduction l'explosion actuelle de l'intelligence artificielle générative @xcite ne doit pas faire oublier que les modèles de langue génératifs textuels ont pour compétence première de générer du texte. les modèles actuels ont permis de pousser cette compétence à un niveau tel qu'il devient difficile de distinguer un texte produit par un humain d'un texte produit par une machine @xcite , ouvrant ainsi la voie à de multiples applications. dans cet article, nous considérons le cas de documents de référence ne pouvant pas être diffusés, en particulier du fait des informations à caractère personnel qu'ils contiennent, mais suffisamment génériques pour mutualiser des moyens de traitement à l'échelle d'une communauté. une façon de développer de tels traitements est de travailler à partir de documents comparables dans leur nature aux documents de référence mais générés automatiquement à partir de ces derniers. le cas des documents constitutifs des dossiers électroniques patient est à cet égard emblématique, même s'il est loin d'être unique. c'est celui que nous considérons ici. dans cette optique, la capacité à contrôler finement le processus de génération est central et multidimensionnel. pour ne retenir que les principales de ces dimensions, les documents générés doivent être comparables aux documents de référence en termes de style, de structuration, de contenu tout en préservant les informations personnelles qu'ils recèlent. si les informations directement identifiantes peuvent faire l'objet d'une désidentification robuste en amont, celle-ci ne rend pas les documents anonymes au sens du règlement général sur la protection des données (rgpd). en effet, la désidentification, qu'elle soit automatique ou manuelle, ne protège pas des possibilités de recoupements d'informations médicales, en particulier pour les pathologies rares. si la possibilité de contrôler la génération en termes de contenu est importante du point de vue de la cohérence médicale des textes générés, elle l'est donc également sur le plan de la préservation des informations personnelles. dans cet article, nous proposons ainsi une méthodologie permettant d'exercer un contrôle sur la génération de texte en termes de contenu. plus précisément, l'idée est de pouvoir conditionner la génération de comptes rendus médicaux par des profils patients. à l'instar de travaux réalisés sur la génération de profils patients synthétiques en termes de données structurées @xcite , ces profils prennent la forme d'un ensemble de concepts médicaux. cette approche, qui relève d'une problématique de génération données-vers-texte, présente l'avantage, par rapport à une approche par amorce textuelle (prompt), de pouvoir contrôler finement l'information servant au conditionnement. ce dernier est mis en oeuvre par l'entraînement d'un modèle de langue neuronal à l'aide d'un ensemble de couples composés chacun d'un profil patient sous forme de concepts et d'un compte rendu de référence correspondant à ce profil. dans ce cadre, les contributions de notre article sont les suivantes : ## méthodologie générale comme nous l'avons esquissé dans l'introduction, l'idée directrice de ce travail est de conditionner le processus de génération par les données structurées dont le texte généré devra faire état. bien entendu, retrouver les données de conditionnement au sein des textes générés ne peut être le seul critère d'évaluation des modèles : il suffirait en effet à ces derniers de reproduire leur entrée pour être jugés comme parfaits. ce conditionnement doit donc intégrer une proximité de nature par rapport aux documents de référence que l'on souhaite émuler. comme évoqué à la section 2.1, ce double conditionnement peut se faire par un affinage a priori du modèle de langue servant à la génération ou bien par son contrôle lors de la génération. nous avons opté pour la première solution dans la mesure où la seconde suppose d'appliquer des processus d'analyse textuelle élaborés lors de la génération pour vérifier le respect du conditionnement, ce qui est coûteux. la première solution suppose néanmoins de disposer de données d'entraînement associant données de conditionnement et textes exemples conformes à ce conditionnement. pour ce faire, nous avons adopté une stratégie comparable à @xcite pour la génération d'histoire, reprise par @xcite pour les comptes rendus médicaux, et consistant à extraire automatiquement les données de conditionnement des textes exemples. cette stratégie suppose bien évidemment de disposer de processus d'analyse textuelle capables d'extraire ces données de conditionnement des textes exemples avec un niveau de performance suffisamment élevé. elle induit par conséquent un couplage étroit entre les capacités de génération et celles d'analyse, mais permet de se passer d'une annotation manuelle coûteuse. dans le cas présent, nous nous focalisons sur les concepts médicaux et sommes donc dépendants de modèles permettant d'extraire ces concepts de comptes rendus médicaux, mais la généricité de cette stratégie permet de prendre en compte facilement de nouveaux éléments de conditionnement, dès lors qu'ils peuvent être extraits automatiquement de textes exemples. ## résultats 6.1 génération des cas cliniques le tableau 2 présente des exemples de textes générés à partir d'un ensemble de contraintes par un modèle encodeur-décodeur (flan-t5-xl gelé) et un modèle décodeur seul (bloomz 1b1 dégelé). le tableau 3 présente quant à lui l'évaluation automatique des cas cliniques générés avec les différentes architectures étudiées. parmi nos baselines, la simple copie des entités de conditionnement (« copie ») obtient comme attendu une exactitude de 100 %, mais aussi une perplexité très grande. la baseline « corpus » correspond à une copie du corpus de test dans laquelle nous avons enlevé les retours à la ligne. cette modification explique pourquoi les scores bleu et corpus-bleu ne sont pas contraintes extraites automatiquement (hors balises) âge : 54 ; sexe : masculin ; contraintes : hématurie isolée, examen tomodensitométrique, masse, 4 cm, adénocarcinome peu différencié, de type iii, bilan d' extension, cystoprostatectomie radicale totale, lymphadénectomie iliaque, obturatrice, omphalectomie, entérocystoplastie de substitution, adénocarcinome de l'ouraque peu différencié, très localement mucosécrétant, ulcéré, carcinome transitionnel, grade iii, antigène carcino-embryonnaire, leu-m1, cd 15, cytokératines, épithélium vésical, classification de sheldon, méthotrexate, vinblastine, endoxan, cisplatine cas clinique réel un homme de 54 ans a consulté pour hématurie isolée. une échographie, puis un examen tomodensitométrique, démontraient une masse de 4 cm de diamètre, au centre nécrotique, antérieure au dôme vésical, envahissant uniquement la graisse adjacente (figure 1a .). les biopsies, faites à la cystoscopie, révèlaient un adénocarcinome peu différencié, avec des zones d'épithélioma transitionnel de type iii (figure 1b ). le bilan d' extension était négatif. le patient bénéficiait d'une cystoprostatectomie radicale totale avec lymphadénectomie iliaque et obturatrice, associée à une omphalectomie et une entérocystoplastie de substitution selon studer. l'examen anatomo-pathologique complet de la pièce opératoire, révèlait un adénocarcinome de l'ouraque peu différencié, invasif, très localement mucosécrétant (figure 1c ). il était ulcéré dans la lumière vésicale, et contenait des zones de carcinome transitionnel de grade iii, ainsi que des cellules argentaffines. deux poches de lymphonoeuds et la graisse environnante, étaient envahis. l'immunohistochimie montrait un positivité des cellules néoplasiques pour l'antigène carcino-embryonnaire (ace), leu-m1 (cd 15), et une négativité pour les cytokératines (ck) 7 et 20. l'épithélium vésical était positif pour les ck 7. il s'agissait d'un stade t iii a (selon la classification de sheldon). le patient subissait une chimiothérapie par méthotrexate -vinblastine -endoxan -cisplatine par voie systémique. avec 35 mois de recul, il va bien.