Combien d’exemples de tests sont-ils nécessaires à une évaluation fiable ? Quelques observations sur l’évaluation de l’analyse morphosyntaxique du français. (Some observations on the evaluation of P o S taggers) (2019)

Abstract: L’objectif de ce travail est de présenter plusieurs observations, sur l’évaluation des analyseurs morphosyntaxique en français, visant à remettre en cause le cadre habituel de l’apprentissage statistique dans lequel les ensembles de test et d’apprentissage sont fixés arbitrairement et indépendemment du modèle considéré. Nous montrons qu’il est possible de considérer des ensembles de test plus petits que ceux généralement utilisés sans conséquences sur la qualité de l’évaluation. Les exemples ainsi « économisés » peuvent être utilisés en apprentissage pour améliorer les performances des systèmes notamment dans des tâches d’adaptation au domaine.

## introduction l'apprentissage statistique est devenu la solution de choix pour la majorité des problèmes de traitement automatique des langues (tal) : depuis que charniak a montré que, pour l'analyse syntaxique, une méthode statistique surpassait les approches à base de règles @xcite , on ne compte plus les tâches (identification de la polarité, reconnaissance d'entités nommées, traduction automatique, ...) pour lesquelles les meilleures performances (aussi bien évaluées automatiquement en comparant les sorties des systèmes à des références que par une évaluation qualitative réalisée à la main) sont obtenues en estimant les paramètres d'un modèle sur un corpus d'apprentissage. la quasi totalité des travaux publiés aujourd'hui considère un même cadre expérimental pour évaluer aussi bien les modèles que les idées proposées : il existe, pour la plupart des tâches, des corpus de « références » (par exemple, pour l'analyse syntaxique, le penn tree bank ou, pour la traduction automatique, les corpus des campagnes d'évaluation wmt) qui définissent un jeu de données d'apprentissage sur lesquels les modèles sont appris et un jeu de test réservé à l'évaluation des performances de ceux-ci foot_0 . la répartition des données entre le corpus de test et le corpus d'apprentissage est généralement complètement arbitraire : des décisions aussi importantes que le nombre d'exemples que doivent contenir chacun de ces corpus reposent souvent sur des règles ou des savoir-faire empiriques voire complètement arbitraires foot_1 et ne sont que très rarement explicitées. avoir des corpus de test et d'apprentissage fixes et clairement identifiés est supposé garantir facilement que les résultats publiés dans différents articles sont directement comparables et le jeu auquel nous jouons dans la plupart de nos publications consiste à améliorer les résultats de méthodes de références (les fameuses baselines) sur un ensemble de test donné et immuable. ce cadre expérimental ne correspond cependant pas à la plupart des applications « réelles » des méthodes de tal : dans de nombreux cas, pour des raisons de coût ou de compétences, seules quelques dizaines voire quelques centaines d'exemples peuvent être étiquetées. ceux-ci sont généralement réservés à l'évaluation des performances des modèles : constituer un ensemble d'apprentissage de taille suffisante (généralement plusieurs milliers voire dizaines de milliers d'exemples) est tout simplement irréaliste. c'est par exemple le cas lorsque l'on cherche à développer des modèles de tal pour des langues peu dotées, notamment pour développer des outils d'aide à leur documentation @xcite , ou à des domaines pour lesquels il n'existe pas de données annotées @xcite . l'objectif de ce travail est de présenter plusieurs observations, sur une application particulière du tal, l'analyse morpho-syntaxique du français, visant à remettre en cause le cadre habituel de l'apprentissage statistique dans lequel les ensembles de test et d'apprentissage sont fixés arbitrairement et indépendemment du modèle considéré. les résultats présentés peuvent toutefois se généraliser facilement à tout système de tal pouvant être évalué par un coût 0/1, nous montrons que, bien souvent, il est possible de considérer des ensembles de test plus petits que ceux généralement définis sans conséquence sur la qualité de l'évaluation et que les exemples ainsi « économisés » peuvent être utilisés en apprentissage pour améliorer les performances des systèmes notamment dans des tâches d'adaptation au domaine. ## conclusions nous avons décrit, dans ce travail, plusieurs observations sur l'évaluation d'un système d'analyse morpho-syntaxiques du français. ces observations montrent qu'une connaissance, à priori, de l'ordre de grandeur du taux d'erreur permet de réduire de manière significative le nombre d'exemples nécessaires à l'évaluation de l'erreur de généralisation. même si nous n'avons considéré dans nos expériences que la tâche d'analyse morpho-syntaxique, l'approche décrite peut être appliquée sans problème à toute tâche s'évaluant avec un coût 0/1. nos travaux futurs porteront, entre autres, sur la possibilité de généraliser notre approche à d'autres fonctions de coût.