Mesure du niveau de proximité entre enregistrements audio et évaluation indirecte du niveau d’abstraction des représentations issues d’un grand modèle de langage (2024)

Abstract: Nous explorons les représentations vectorielles de la parole à partir d’un modèle pré-entraîné pour déterminer leur niveau d’abstraction par rapport au signal audio. Nous proposons une nouvelle méthode non-supervisée exploitant des données audio ayant des métadonnées soigneusement organisées pour apporter un éclairage sur les informations présentes dans les représentations. Des tests ABX déterminent si les représentations obtenues via un modèle de parole multilingue encodent une caractéristique donnée. Trois expériences sont présentées, portant sur la qualité acoustique de la pièce, le type de discours, ou le contenu phonétique. Les résultats confirment que les différences au niveau de caractéristiques linguistiques/extra-linguistiques d’enregistrements audio sont reflétées dans les représentations de ceux-ci. Plus la quantité d’audio par vecteur est importante, mieux elle permet de distinguer les caractéristiques extra-linguistiques. Plus elle est faible, et mieux nous pouvons distinguer les informations d’ordre phonétique/segmental. La méthode proposée ouvre de nouvelles pistes pour la recherche et les travaux comparatifs sur les langues peu dotées.

## introduction la parole, lorsqu'elle se présente sous la forme d'enregistrements audio, est multi-factorielle : une voix enregistrée transmet un message, une intention, une émotion. l'enregistrement contient également des informations au delà du signal de parole, sur l'environnement, l'identité du locuteur ou de la locutrice par exemple. ce travail aborde la question de la nature de l'information encodée dans les représentations vectorielles produites par un réseau de neurones appris de manière auto-supervisée comme wav2vec2 @xcite . notre objectif est d'étudier le niveau d'abstraction présent dans les représentations construites par ces modèles et plus précisément de vérifier si celles-ci ne contiennent que des informations liées au contenu linguistique ou si elles contiennent également des informations indexicales @xcite . notre dispositif expérimental s'appuie sur des jeux de données « sur mesure », sélectionnées à partir de corpus de linguistique documentaire afin d'évaluer comment une différence donnée dans le signal d'entrée se reflète dans les vecteurs construits par le réseau de neurones. considérer des données issues de ce type de corpus nous permet d'accéder à des métadonnées riches sur les conditions d'enregistrement. nous utilisons des tests abx pour mesurer l'impact de certains facteurs (locuteur•rice, microphone, ...) sur les distances entre représentations à travers trois jeux de données décrits en section 2. les résultats fournissent un aperçu sur la nature des informations encodées dans les représentations d'un modèle tel que xlsr-53 @xcite , et suggèrent que les tests abx peuvent être exploités pour faire ressortir des différences dans la configuration acoustique (salle, microphone), certaines caractéristiques de la voix, ou dans le contenu linguistique. une étude paramétrique montre que le traitement de l'audio par extraits de 10 s est suffisant pour faire ressortir les différences dans la configuration acoustique et dans les propriétés de la voix, tandis que des extraits de 1 s sont meilleurs pour explorer les caractéristiques segmentales. cette étude fournit une méthode innovante pour détecter des facteurs de confusion dans des corpus destinés à de l'apprentissage automatique, ainsi qu'un moyen pour accélérer la classification d'enregistrements (p.ex. par niveau de bruit, par type) selon des informations fines, qui ne sont pas toujours présentes dans les métadonnées. ## méthode expérimentale notre méthode repose sur : (i) des tests de similarité pour déterminer si une caractéristique d'un enregistrement audio est encodée dans la représentation vectorielle d'un enregistrement ou non, et (ii) des corpus audio avec des métadonnées riches, qui nous permettent de construire des ensembles de données partageant ou non une caractéristique à la fois : langue, locuteur•rice, acoustique de la pièce, type de microphone, caractéristiques de la voix, contenu segmental, etc. tests abx pour déterminer, de manière non supervisée, si un modèle de parole encode une caractéristique c du signal de parole, nous utilisons un test abx @xcite . ce test s'appuie sur les représentations vectorielles construites par un modèle pré-entraîné de trois audios : deux extraits, notés a et x, partagent une caractéristique c, et un, noté b, ne la possède pas. le test abx consiste simplement à vérifier si la distance foot_0 d(a, x) est plus petite que d(a, b). le score abx correspond à la proportion de triplets pour lesquels la condition d(a, x) < d(a, b) est vraie. un score abx proche de 50 % indique qu'en moyenne, la distance entre a et x est supérieure ou égale à la distance entre a et b, ce qui suggère que c n'est pas encodé dans la représentation vectorielle de l'enregistrement. inversement, plus le score est proche de 100 %, plus la représentation capture la caractéristique c. les tests abx sont intéressants pour les scénarios à faibles ressources (comme le nôtre) car ils ne nécessitent pas de données pour entraîner un classifieur (contrairement aux sondes linguistiques @xcite souvent utilisées pour analyser les représentations vectorielles) : toutes les données disponibles sont utilisées pour tester si la propriété est encodée dans la représentation ou non. corpus notre étude s'appuie sur des enregistrements en na et en naxi, deux langues parlées dans le sud-ouest de la chine. le na est la langue maternelle d'environ 50 000 personnes. le naxi est plus répandu, puisqu'il est la langue maternelle d'environ 200 000 personnes. typologiquement similaires (langues sov, de structure (c)(g)v+t foot_1 , isolantes) le naxi et le na sont des langues apparentées, sans être pour autant mutuellement intelligibles. les systèmes tonals diffèrent au niveau de la complexité des phénomènes morpho-tonologiques qui est très importante en na @xcite . au plan phonologique, le na a une nasalité de type vocalique derrière les consonnes /h/ et plus marginalement derrière une attaque vide @xcite . ces deux langues sont aujourd'hui en déclin, car progressivement remplacées par le mandarin, langue officielle utilisée dans les écoles, les administrations et les médias @xcite . tous les enregistrements proviennent de la collection pangloss, une archive en libre accès de « langues peu documentées », et sont consultables via les doi fournis en annexe (voir https: //hal.science/hal-04583516 ). trois séries d'enregistrements sélectionnées pour leurs caractéristiques sont examinées : ces enregistrements sont particulièrement intéressants car certaines variables (le sujet de conversation et le•la locuteur•rice) sont contrôlées, ce qui permet de se concentrer sur l'influence d'autres facteurs spécifiques (par exemple, l'acoustique de la pièce). (ii) la série des répertoires de chant consiste en cinq enregistrements d'une même chanteuse professionnelle naxi. trois enregistrements sont de la chanson seule, un enregistrement est un récit, et un enregistrement comporte les deux genres (« alili », qui est 50% texte et 50% chanson). notre objectif est de comparer ces enregistrements. un chanteur entraîné présente des propriétés vocales très différentes selon qu'il chante ou qu'il parle : en particulier, le timbre des voyelles et la tessiture sont affectées @xcite . ces différences sont perçues par les auditeurs @xcite . cette expérience vise à vérifier si ces différences sont reflétées dans les représentations. (iii) la série phonétique est composée de cinq enregistrements d'élicitations phonétiques basés sur un même corpus et d'un enregistrement de mots dans une phrase porteuse basé sur un corpus différent, en langue na. trois locutrices identifiées comme as, rs et tlt sont prises en compte. nous avons inclus deux sessions d'enregistrement, ce qui permet une comparaison inter et intra-locuteurs. en utilisant ces enregistrements, nous adoptons une approche à l'opposé de ce qui se fait dans de nombreux travaux portant sur l'analyse des représentations neuronales : plutôt que de considérer de « grands » corpus avec de fortes variabilités (approche big data), nous privilégions un corpus de petite taille mais dans lequel de nombreux facteurs sont contrôlés (approche beautiful data). modèle dans toutes nos expériences, nous utilisons le modèle xlsr-53 4 , une architecture wav2vec2 entraînée sur 56 kh de données audio (brutes) dans 53 langues (conneau et al., 2020), y compris des langues à tons (p.ex. mandarin, cantonais, lao, ...). ni le na ni le naxi ne sont présents dans les données de pré-entraînement de ce modèle, mais macaire et al. (2021) ont montré que ce modèle pouvait être affiné pour faire de la reconnaissance de la parole sur du na (après affinage, le cer en transcription est de 8 %), et qu'il était donc capable de gérer la diversité des réalisations de surface de cette langue, et notamment les tons. pour les comparaisons, nous considérons des extraits audio d'une durée de 1, 5, 10 et 20 secondes afin d'étudier l'effet de la longueur de l'extrait sur notre test abx. nous utilisons une stratégie de max-pooling pour construire un unique vecteur représentant l'extrait. nous créons ensuite des cartes thermiques des scores abx, pour comparer un à un les enregistrements. nous utilisons les représentations de la couche 21. ce choix est basé sur les conclusions de pasad et al. (2021, 2023) et li et al. (2022, 2023) ainsi que sur notre pré-étude de sensibilité (méthode des sondes linguistiques), qui montrent toutes que la capacité de wav2vec2 à capturer l'information linguistique diminue fortement dans les trois dernières couches (voir annexes : https://hal. science/hal-04583516 ). 3 résultats avec les tests abx, nous étudions si les représentations audio calculées par wav2vec2 capturent ou non des informations spécifiques dans des signaux audio soigneusement sélectionnés. notre approche est non-supervisée ce qui nous permet de l'appliquer à de petits jeux de données. nos expériences préliminaires (voir les annexes : https://hal.science/hal-04583516 ) montrent que si le choix de la couche (21 dans nos expérience) a un impact fort sur les résultat d'une sonde linguistique, ce n'est plus le cas avec notre approche.