Ré-entraîner ou entraîner soi-même ? Stratégies de pré-entraînement de BERT en domaine médical (Re-train or train from scratch ? Pre-training strategies for BERT in the medical domain ) (2020)

Abstract: Les modèles BERT employés en domaine spécialisé semblent tous découler d’une stratégie assez simple : utiliser le modèle BERT originel comme initialisation puis poursuivre l’entraînement de celuici sur un corpus spécialisé. Il est clair que cette approche aboutit à des modèles plutôt performants (e.g. BioBERT (Lee et al., 2020), SciBERT (Beltagy et al., 2019), BlueBERT (Peng et al., 2019)). Cependant, il paraît raisonnable de penser qu’entraîner un modèle directement sur un corpus spécialisé, en employant un vocabulaire spécialisé, puisse aboutir à des plongements mieux adaptés au domaine et donc faire progresser les performances. Afin de tester cette hypothèse, nous entraînons des modèles BERT à partir de zéro en testant différentes configurations mêlant corpus généraux et corpus médicaux et biomédicaux. Sur la base d’évaluations menées sur quatre tâches différentes, nous constatons que le corpus de départ influence peu la performance d’un modèle BERT lorsque celui-ci est ré-entraîné sur un corpus médical.

## introduction les dernières années ont été témoins de l'apparition de nombreuses approches d'apprentissage par transfert en traitement automatique des langues (tal). ayant initialement connu un grand succès en traitement de la parole @xcite et en vision par ordinateur @xcite , ces approches ont rapidement trouvé leur application en tal avec notamment @xcite qui a pu montrer l'efficacité des modèles de langue pré-entraînés une fois adaptés pour des tâches de classification de texte. peu de temps après, @xcite ont étendu ces résultats à d'autres tâches classiques du tal (implicature textuelle, compréhension de texte. . . ). suite à l'engouement autour de l'apprentissage par transfert, les modèles de plongement de mots ont eux aussi connu une importante rupture, avec l'apparition de modèles dits « contextualisés » (elmo @xcite , bert @xcite ) capables de produire des représentations de mots qui dépendent du contexte. malgré les gains en performance apportés par ces modèles (cf. classement glue), la complexité de leurs architectures implique un coût d'entraînement nettement plus important 1 2 que pour des approches plus classiques (word2vec @xcite , glove @xcite , fasttext @xcite ). ainsi, la tendance générale est d'utiliser les versions pré-entraînées plutôt qu'entraîner soi-même ces modèles. aujourd'hui, le choix le plus populaire en matière de plongements contextualisés semble être celui du modèle bert, pour lequel on trouve aussi bien des versions pré-entraînées pour le domaine dit « général » que pour des domaines spécialisés (e.g. biobert @xcite et bluebert @xcite pour le domaine médical, scibert @xcite pour le domaine scientifique). contrairement aux versions générales qui sont intégralement entraînées sur des corpus généraux, ces versions spécialisées semblent toutes être issues d'une procédure standard : partir du modèle bert entraîné pour le domaine général puis poursuivre l'entraînement de celui-ci sur des textes spécialisés. cette stratégie apporte des gains en performance incontestables par rapport à l'usage direct d'un modèle général @xcite mais il semble néanmoins légitime de vouloir comparer ces modèles à des versions entraînées directement sur des textes spécialisés, sans passer par un entraînement en domaine général. dans le cadre de ce travail, nous nous concentrons sur le domaine médical pour lequel nous étudions l'impact de trois paramètres sur la performance finale du modèle bert : le domaine du vocabulaire utilisé (général vs. médical), le corpus d'entraînement initial (général vs. médical vs. mélange des deux) et le corpus de spécialisation (aucun vs. médical). pour une comparaison plus équitable, nous entraînons nous-mêmes tous les modèles en utilisant exactement les mêmes hyper-paramètres, puis nous évaluons ces modèles sur un ensemble varié de tâches classiques du domaine biomédical : détection de concepts médicaux (i2b2/va 2010 @xcite ), implicature textuelle (mednli @xcite ) et extraction de relations (chemprot @xcite , ddi @xcite ). toutes les expériences sont effectuées en langue anglaise. ## bert bert @xcite est un modèle neuronal de plongements lexicaux utilisant une succession de couches transformer foot_0 @xcite afin de produire des représentations contextualisées. ce modèle est entraîné sur deux tâches : une tâche de modélisation du langage masquée (masked language modelling -mlm) et une tâche de prévision de la phrase suivante (next sentence prediction -nsp). cette section décrit l'architecture de bert ainsi que la procédure employée pour l'entraîner. dans tout ce qui suit, nous ferons la distinction entre deux phases : ## importance du vocabulaire dans bert la segmentation appliquée par bert se fait en deux étapes : d'abord une segmentation « classique » en mots, puis un découpage en sous-mots (wordpieces). lors de cette seconde étape, bert découpe autant de fois que nécessaire les mots hors vocabulaire jusqu'à retrouver des wordpieces connus. ainsi, le choix du vocabulaire devrait directement influencer la qualité de cette décomposition, en particulier en domaine médical où le vocabulaire technique est très utilisé. pour nous en assurer, nous analysons le résultat de la segmentation d'un corpus médical 7 par deux vocabulaires : l'un du domaine général et l'autre du domaine médical (cf. figure 4 ). nous observons alors que le vocabulaire médical a tendance à nettement moins découper les mots que le vocabulaire général, que l'on compte les occurrences dans le texte ou les types de mots distincts. ## résultats afin de prendre en compte les effets dus aux aspects aléatoires tels que l'initialisation des modèles ou l'échantillonnage des jeux de validation, nous effectuons systématiquement 10 évaluations avec à chaque fois une graine aléatoire (random seed) différente. ainsi, la performance de chaque modèle est calculée en (@xmath0. les résultats sont présentés en ## conclusion dans un contexte où les modèles de plongements « à la bert » gagnent de plus en plus de terrain, nous avons voulu évaluer le mode d'utilisation standard de ces modèles en domaine spécialisé : ré-entraîner le modèle bert d'origine sur un corpus spécialisé avant de l'adapter à la tâche d'intérêt. en nous concentrant sur le cas particulier du domaine médical, nous avons comparé plusieurs approches où le modèle initial est entraîné sur un corpus différent (général, médical, général + médical) avant d'être finalement ré-entraîné sur un corpus médical. nous arrivons alors à la conclusion que, malgré les différences initiales des modèles suite au premier entraînement (@xmath1, toutes les configurations aboutissent à des performances sensiblement similaires. nous pouvons alors en déduire, après factorisation des ressources et du temps nécessaires pour l'entraînement de chacun des modèles, que l'approche préférable demeure celle employée par défaut.