Représentation du genre dans des données open source de parole (Gender representation in open source speech resources 1 With the rise of artificial intelligence ( AI ) and the growing use of deep-learning architectures, the question of ethics and transparency in AI systems has become a central concern within the research community) (2020)

Abstract: Avec l’essor de l’intelligence artificielle (IA) et l’utilisation croissante des architectures d’apprentissage profond, la question de l’éthique et de la transparence des systèmes d’IA est devenue une préoccupation centrale au sein de la communauté de recherche. Dans cet article, nous proposons une étude sur la représentation du genre dans les ressources de parole disponibles sur la plateforme Open Speech and Language Resource. Un tout premier résultat est la difficulté d’accès aux informations sur le genre des locuteurs. Ensuite, nous montrons que l’équilibre entre les catégories de genre dépend de diverses caractéristiques des corpus (discours élicité ou non, tâche adressée). En nous appuyant sur des travaux antérieurs, nous reprenons quelques principes concernant les métadonnées dans l’optique d’assurer une meilleure transparence des systèmes de parole construits à l’aide de ces corpus.

## introduction l'utilisation généralisée de l'apprentissage machine (machine learning) a fait des données un enjeu majeur de l'industrie et de la recherche. les systèmes ont besoin d'une grande quantité de données étiquetées pour "apprendre" à modéliser correctement la tâche adressée. les corpus de données, à l'instar de la puissance de calcul des machines, sont devenus de plus en plus grands, nous faisant entrer dans ce qu'on appelle aujourd'hui le big data. mais outre la taille des corpus d'apprentissage, les chercheurs et chercheuses s'intéressent à une autre caractéristique de ces masses de données : leur qualité. la notion de qualité des données peut trouver différentes définitions @xcite , nous soutenons dans cet article que l'une des qualités principales de ces corpus est leur transparence. questionnant l'impact de tels outils sur nos sociétés, plusieurs études se sont intéressées aux biais existant dans ces systèmes : un cas bien connu dans le domaine du traitement automatique des langues (tal) est l'exemple des plongements de mots (word-embeddings), avec les travaux de @xcite qui montrent le caractère socialement construit des données, encapsulant représentations et structures de pouvoir, incluant de fait les stéréotypes de genre. des biais sexistes ont également été mis à jour pour des tâches de traduction automatique @xcite , ainsi que dans des systèmes de reconnaissance faciale @xcite . dans une étude précédente, nous avons questionné l'impact du déséquilibre entre les catégories de genre dans les données d'entraînement sur les performances d'un système de reconnaissance automatique de la parole (rap), montrant que la sous-représentation des femmes entraînait un biais de performance du système pour les locutrices @xcite . dans la continuité de ce questionnement sur les liens entre représentations, données, et impacts sociétaux, nous étudions dans cet article la représentation du genre au sein d'une plateforme ouverte rassemblant des ressources langagières pour développer des outils de tal. l'objectif de cette enquête est tout d'abord, d'observer les répartitions entre les catégories de genre au sein des corpus de parole. cette répartition est envisagée en termes de nombre de locuteurs et de locutrices mais également en termes de temps de parole disponible pour chaque catégorie. dans un second temps, nous proposons une réflexion sur les pratiques générales de mise à disposition de ressources, en nous appuyant sur quelques recommendations issues de travaux antérieurs. ## openslr open speech language resources foot_0 (openslr) est une plateforme créée par daniel povey, ayant pour objectif de centraliser des ressources langagières accessibles et téléchargeables gratuitement pour aider au développement de systèmes de parole. openslr héberge actuellement 83 ressources. 3 ces ressources sont constituées d'enregistrements audio transcrits, de logiciels, ainsi que de lexiques et de données textuelles nécessaires à la création de modèles de langue. d'autres plateformes proposent également ce type de ressources, la plupart du temps payantes. nous nous concentrons donc sur les corpus de parole disponibles sur openslr en raison de leur libre accès pour étudier à grande échelle la représentation du genre dans les corpus de parole. parmi les ressources disponibles sur la plateforme, nous avons analysé les 53 ressources de parole. nous n'avons pris en compte ni les versions multiples d'une même ressource ni les sous-ensembles de ressources (e.g. libritts, étant inclu dans librispeech). dans le cas de multi-versions, seule la dernière version a été conservée (e.g. ted lium). plusieurs ressources contiennent de la parole dans différents dialectes ou langues et nous étudions chaque langue séparément. nous avons ainsi un total de 66 corpus, dans 33 langues différentes avec 51 variantes dialectales/accentuelles. les types de discours sont également variés (parole élicitée et lue, émissions radiophoniques, tedtalks, enregistrements de réunions, appels téléphoniques, livres audio, etc.), ce qui n'est pas surprenant, étant donné le nombre d'acteurs ayant contribué sur la plateforme. nous étudions cet échantillon info. dispo. #corpus non 24 (36.4%) oui metadata 9 (13.6%) indexed 28 (42.4%) paper 5 (7.6%) total -66 suite au travail @xcite , analysant la représentation du genre dans les flux télévisuels français, nous avons voulu explorer les corpus openslr en réutilissant leurs notions de "taux de présence" (nombre d'individus) et de "taux d'expression" (temps de parole) pour rendre compte de la représentation du genre dans les données. après téléchargement, ces informations ont donc été extraites manuellement des corpus.