Stratégies d’apprentissage actif pour la reconnaissance d’entités nommées en français (2023)

Abstract: L’annotation manuelle de corpus est un processus coûteux et lent, notamment pour la tâche de re-connaissance d’entités nommées. L’apprentissage actif vise à rendre ce processus plus efficace, ensélectionnant les portions les plus pertinentes à annoter. Certaines stratégies visent à sélectionner lesportions les plus représentatives du corpus, d’autres, les plus informatives au modèle de langage.Malgré un intérêt grandissant pour l’apprentissage actif, rares sont les études qui comparent cesdifférentes stratégies dans un contexte de reconnaissance d’entités nommées médicales. Nous pro-posons une comparaison de ces stratégies en fonction des performances de chacune sur 3 corpus dedocuments cliniques en langue française : MERLOT, QuaeroFrenchMed et E3C. Nous comparonsles stratégies de sélection mais aussi les différentes façons de les évaluer. Enfin, nous identifions lesstratégies qui semblent les plus efficaces et mesurons l’amélioration qu’elles présentent, à différentesphases de l’apprentissage.

## résultats de prime abord, nous remarquons que des performances raisonnables peuvent être atteintes avec peu de phrases annotées, même quand celles-ci sont tirées aléatoirement. par exemple, 1000 mots tirés aléatoirement du corpus merlot (<1 % du corpus) et annotés sont suffisants pour atteindre 0,61 de score f micro 1 , soit 70 % du score atteint en entraînant le même modèle sur l'intégralité du corpus annoté. on observe ce phénomène dans toutes les applications similaires, mais il semble être accentué par la redondance particulière aux documents cliniques @xcite . effectivement, le corpus medline, composé de titres d'articles scientifiques (on peut donc penser qu'il est particulèrement peu redondant) présente une performance relative à 1000 mots de 77 %. de manière générale, nous observons que dans chaque graphique, une ou plusieurs stratégies ont une meilleure évolution que random. cependant, il n'y a pas une stratégie qui semble la meilleure pour tous les corpus. la stratégie common_vocab semble tout de même souvent efficace. il est intéressant de voir qu'une simple concaténation des méthodes common_vocab et diverse_vocab peut dans certains cas avoir des meilleurs résultats que chacune d'elles séparément. nous observons par ailleurs que la stratégie uncertainty_mean_min3 qui est la plus adoptée dans la littérature @xcite ne semble pas adaptée au contexte de peu de phrases annotées dans lequel nous nous plaçons (cf. partie 5). une grande majorité des travaux sur l'active learning @xcite @xcite font le choix de cadrer les graphiques d'évolution de performance sur la partie supérieure, afin de mieux visualiser l'écart entre les performances des différentes méthodes. ici, nous faisons le choix de les cadrer entre 0 et 1, ce qui permet de voir le caractère marginal des améliorations obtenues grâce aux meilleures stratégies. une meilleure estimation de l'effort d'annotation peut même guider les stratégies de sélection. en