Classification multi-label de cas cliniques avec C amem BERT (Multi-label classification of clinical cases with C amem BERT ) (2021)

Abstract: La quantité de documents textuels médicaux allant grandissant, la nécessité d’en extraire automatiquement des informations concernant des patients devient de plus en plus grande. La prédiction du profil clinique permet de gagner du temps pour le praticien tout en extrayant l’essentiel de l’information concernant un patient. Avec l’explosion du nombre de documents (médicaux ou non), des modèles pré-entraînés tels que BERT pour l’anglais ou CamemBERT pour le français ont émergé. L’utilisation de ces modèles permet d’encoder contextuellement du texte afin de l’utiliser dans des réseaux neuronaux pour notamment prédire des profils cliniques. Cet article vise à comparer différentes méthodes de prédiction de profil clinique en se basant sur l’utilisation de CamemBERT. Dans un premier temps, uniquement du texte provenant de documents médicaux a été utilisé. Dans un second temps, des entités nommées ont été injectées en plus du texte par concaténation ou par sommation pondérée. Les résultats ont montré un succès limité et dépendant de la prévalence des chapitres à prédire dans le corpus ainsi qu’une dégradation des performances lors de l’ajout des entités nommées.

## introduction avec l'augmentation du nombre de consultations médicales, la quantité de documents textuels concernant les patients a considérablement augmenté. les divers compte-rendus de consultation ou de prise en charge hospitalière forment une masse de données importante et riche en informations sur le patient. ces informations sont très intéressantes pour les différents praticiens et leur récupération est un enjeu important. l'extraction du profil clinique d'un patient (l'ensemble des pathologies associées à son cas) à partir d'un document textuel peut prendre un temps important, au détriment du temps accordé au patient. cette étape reste néanmoins indispensable et une automatisation de l'extraction est une bonne alternative pour obtenir les informations nécessaires. cette explosion du nombre de documents médicaux a poussé la communauté scientifique à créer de nouveaux modèles de langue facilitant leur traitement. ces modèles pré-entraînés sur des quantités colossales de données permettent d'encoder une phrase ainsi que les mots la constituant en tenant compte de leur contexte. le plus connu est bert (bidirectionnal encoder representation from transformers) qui a permis d'améliorer l'état de l'art sur une grande majorité des tâches de traitement automatique du langage naturel (taln) en anglais @xcite . suite à ce succès, de nombreux autres modèles dérivés de bert ont vu le jour comme camembert @xcite pour le français. ce papier vise à étudier la prédiction du profil clinique d'un patient en utilisant à la fois du texte brut provenant de documents médicaux mais aussi différentes entités nommées qui ont été préalablement mises en évidence. trois approches seront étudiées : le traitement du texte brut par camembert dans un premier temps puis l'injection par concaténation et sommation pondérée des entités nommées au texte brut dans un second temps. ## discussion la prédiction des différents chapitres est plus ou moins bonne selon leur prévalence dans le corpus d'entraînement. en effet, les chapitres les moins représentés ont tendance à être moins bien prédits. la faible prévalence de certains chapitres semble donc être un frein considérable pour tous les modèles comparés lors de l'apprentissage. la moyenne des représentations des phrases d'un texte obtenues grâce à camembert permet dans une certaine mesure d'attribuer les chapitres associés à ce même texte. néanmoins, les performances de ce modèle restent limitées. cela peut être notamment dû à la quantité limités de cas cliniques disponibles pour l'entraînement. en effet, l'utilisation de camembert implique un grand nombre de poids à entraîner et donc nécessite beaucoup de données pour l'entraînement. une autre explication pourrait être le fait que l'ensemble du texte a été considéré pour la prédiction, alors que l'information recherchée peut n'être présente que dans une partie seulement. certaines phrases pourrait donc être à l'origine de bruit dans les données. l'utilisation des entités nommées pour enrichir le texte était supposée apporter davantage d'informations et permettre d'améliorer la prédiction. cependant, les modèles les incluant ont vu leurs performances se dégrader et ce peu importe la façon dont elles ont été injectées. l'information de la seule présence des entités dans le texte ne semble donc ne pas être suffisante pour améliorer les prédictions. ## conclusion dans une certaine mesure, l'utilisation du modèle pré-entraîné camembert a permis de retrouver les chapitres du mesh associés à différents cas cliniques à partir du texte. en revanche, la quantité de données présente n'a pas permis d'atteindre de bonne performances avec cette méthode. l'ajout de la présence de certaines entités nommées a eu pour seul effet de dégrader légèrement les performances initiales.