Pratiques d’évaluation en ASR et biais de performance (Evaluation methodology in ASR and performance bias) (2020)

Abstract: Nous proposons une réflexion sur les pratiques d’évaluation des systèmes de reconnaissance automatique de la parole (ASR). Après avoir défini la notion de discrimination d’un point de vue légal et la notion d’équité dans les systèmes d’intelligence artificielle, nous nous intéressons aux pratiques actuelles lors des grandes campagnes d’évaluation. Nous observons que la variabilité de la parole et plus particulièrement celle de l’individu n’est pas prise en compte dans les protocoles d’évaluation actuels rendant impossible l’étude de biais potentiels dans les systèmes.

## introduction suite aux progrès amenés par l'essor combiné du big data et de l'apprentissage machine, les systèmes de tal sont capables aujourd'hui d'atteindre des performances impressionnantes. mais passé l'effervescence des premières réussites, un discours parallèle s'est construit sur l'impact de ces technologies sur nos sociétés @xcite @xcite . une des études les plus médiatisées s'intéressant aux biais présents dans les systèmes issus d'apprentissages supervisés est celle rendue publique par pro publica dénonçant le système compas @xcite . ce système était utilisé par les cours de justice pour évaluer le taux de récidive d'une personne inculpée et présentait des résultats biaisés selon l'origine des individus. par la suite, des biais ont également été découverts dans des systèmes de reconnaissance faciale @xcite et de génération automatique de légendes d'images 1 ou encore de tri de cv. 2 dans le domaine du tal, les articles sur les biais de genre, notamment concernant les représentations vectorielles de mots (plongement de mots ou word-embeddings) et les systèmes de traduction automatique rappellent à la communauté le caractère hautement social et situé des données langagières @xcite @xcite . de manière assez surprenante en revanche, la littérature concernant l'existence possible de tels biais dans les systèmes de traitement automatique de parole reste pauvre. cet article est une réflexion générale sur la notion d'équité dans la reconnaissance automatique de la parole 3 et sur l'utilisation du wer comme métrique d'évaluation. il est organisé comme suit : une première partie présente la notion d'équité dans les performances de systèmes d'apprentissage automatique. dans un second temps, nous présentons les pratiques actuelles d'évaluation des systèmes de reconnaissance automatique de la parole, en nous appuyant sur des grandes campagnes d'évaluation. dans une troisième partie, nous questionnons les pratiques d'évaluation face à la variabilité des résultats. ## equité et systèmes d'apprentissage automatique les systèmes d'apprentissage automatique peuvent être résumés comme étant une modélisation algorithmique d'un processus décisionnel. d'un point de vue légal, @xcite distinguent la notion de différenciation de la notion de discrimination. là où la différenciation se définit comme une distinction de traitement, et donc une prise de décision différente, selon un ensemble de caractéristiques ou de paramètres, la discrimination est une différenciation faite sur des caractéristiques considérées comme non-acceptables par le contrat social. en france, il existe 25 critères non-acceptés dont le sexe, l'identité de genre, les origines, la religion, la situation économique ou encore la situation familiale (loi n o 2008-496 du 27 mai 2008 portant sur diverses dispositions d'adaptation au droit communautaire dans le domaine de la lutte contre les discriminations 4 ). il est donc important de rappeler que les notions de discrimination et de biais restent fortement culturelles, la législation variant selon les pays. un article de sánchez-monedero et al. (2020) s'intéressant aux systèmes automatiques pour l'embauche soulignait d'ailleurs que les travaux sur les biais de ces systèmes sont majoritairement faits en considérant le cadre socio-légal des etats-unis. comme souligné par kate crawford (2017) dans son intervention à neurips, le terme biais, largement utilisé pour parler de systèmes discriminatoires, est polysémique et complique donc parfois les échanges entre les communautés de l'apprentissage machine et d'autres domaines comme le droit ou la linguistique. si historiquement la notion de biais a un sens technique en statistiques, où il décrit les différences systématiques entre un échantillon et une population, il est aujourd'hui largement utilisé pour parler de discriminations, dont il est pratiquement devenu synonyme. face aux définitions légales, a émergé le concept d'équité (fairness) dans les systèmes automatiques. @xcite dénombrent plus de 20 définitions mathématiques différentes. @xcite distinguent deux types d'équité à savoir l'équité de groupe, et l'équité individuelle. l'équité individuelle pose l'hypothèse que pour des individus équivalents ne différant que par la valeur de la variable protégée, le résultat sera équivalent et se testera donc avec des modèles linéaires mixtes. l'équité de groupe suppose que les performances suivent des distributions similaires dans les sousgroupes créés par les différentes valeurs de la variable protégée et se mesure avec des tests statistiques comme le test u de mann-whitney. afin de déterminer si le système ne donne pas les mêmes opportunités aux individus (opportunitybased bias) ou présente des différences significatives dans les résultats entre groupes (outcome-based bias), il est nécessaire d'avoir accès aux informations concernant la variable protégée pour quantifier ces biais. ces informations sont cependant rarement prises en compte dans les pratiques d'évaluation de systèmes d'asr. si la récolte ou l'accès aux méta-données est un premier obstacle, d'une manière générale, la notion de variabilité intrinsèque à la parole semble disparaître dans les procédures d'évaluation.