Identification de profil clinique du patient: Une approche de classification de séquences utilisant des modèles de langage français contextualisés (Identification of patient clinical profiles : A sequence classification approach using contextualised F rench language models ) (2021)

Abstract: Cet article présente un résumé de notre soumission pour Tâche 1 de DEFT 2021. Cette tâche consiste à identifier le profil clinique d’un patient à partir d’une description textuelle de son cas clinique en identifiant les types de pathologie mentionnés dans le texte. Ce travail étudie des approches de classification de texte utilisant des plongements de mots contextualisés en français. À partir d’une base de référence d’un modèle constitué pour la compréhension générale de la langue française, nous utilisons des modèles pré-entraînés avec masked language modelling et affinés à la tâche d’identification, en utilisant un corpus externe de textes cliniques fourni par SOS Médecins, pour développer des ensembles de classifieurs binaires associant les textes cliniques à des catégories de pathologies.

## introduction la tâche d'identification de profils cliniques à partir de données biomédicales textuelles est d'un grand intérêt pour les institutions, les entreprises et les praticiens du domaine médical. le problème peut se montrer assez difficile, principalement à cause de la forme non-structurée des données textuelles ainsi que la complexité et la spécificité du domaine. des développements récents dans le domaine de traitement du langage naturel, et plus particulièrement les plongements de mots contextualisés basés sur l'entraînement de réseaux de neurones avec l'architecture transformer (notamment @xcite ), montrent le potentiel de modélisation des dépendances complexes et à longue portée. ces nouveaux modèles donnent à la communauté taln biomédicale des pistes d'expérimentation pour l'amélioration d'extraction d'informations complexes à partir de dossiers de santé textuels. certaines études ont montré l'utilité de ces méthodes pour développer des outils en taln biomédical en anglais @xcite @xcite et leur application à diverses tâches du domaine @xcite @xcite . à notre connaissance, il existe peu de travaux sur les applications des modèles de langue neuronaux contextualisés sur des tâches biomédicales sur le français comme celles de deft 2021. le modèle neuronal flaubert @xcite , un modèle de type transformer (voir la section 2.1) entraîné de manière auto-supervisée sur un corpus de textes de langue générale en français, est utilisé dans ce travail. flaubert est un modèle transformer bidirectionnel avec la même architecture que bert @xcite qui a été entraîné sur un corpus français hétérogène extrait de divers sources. plus spécifiquement, la tâche 1 du défi fouilles de texte 2021 @xcite vise à identifier le profil clinique d'un patient par le type de maladie de toutes les pathologies présente dans le texte associé avec un cas clinique. nous formulons cette tâche comme un problème de classification des vecteurs représentant des séquences de texte. parce qu'il peut y avoir plusieurs catégories associées à un document, il n'est pas possible d'utiliser un classificateur multi-label standard (dans plusieurs cas, plusieurs annotations sont mises en association avec le même mot dans le document source). nous entraînons un classificateur binaire pour chacune des catégories de sortie. de cette manière, les modèles apprennent indépendamment les corrélations entre les plongements vectoriels et les variables cibles, à partir d'une base de réference qui utilise un modèle entraîné sur une tâche non-supervisée, détaillée dans la section 2.3. les modèles utilisés pour les expériences sont pre-entraînés sur le corpus de sos médecins détaillés en section 2.2, et adapté pour la tâche d'identification de profils cliniques de deux manières ; en s'appuyant sur la version étiquetée du corpus de sos (aussi détaillé en section 2.2), et finalement sur le corpus d'entraînement deft fourni pour cette tâche, sur lequel les résultats d'entraînement sont montrés dans la section 3.1, ainsi que les résultats sur le corpus d'évaluation. ## entraînement des modèles de langage divers types de vecteurs ont été expérimentés pour représenter du texte clinique @xcite , mais étant donné l'énorme complexité des relations possibles entre les entités biomédicales, et leur importance potentielle pour l'identification des profils cliniques, il est pertinent de penser que les modèles contextualisés peuvent apporter des améliorations aux tâches de classification automatique. ## discussion & conclusion alors que les résultats n'étaient pas satisfaisants, nous suggérons que l'introduction d'un apprentissage supplémentaire sur l'ensemble de données sos montre des améliorations encourageantes dans les performances des classifieurs qui pourraient être portées à un niveau acceptable avec plus de données d'entraînement de haute qualité, en particulier compte tenu du fait que nous n'avons pas introduit des corrections pour le déséquilibre dans les étiquettes d'entraînement.