Identification du locuteur : ouvrir la boîte noire (2024)

Abstract: L’explicabilité des systèmes relevant du deep learning est devenue un enjeu central ces dernières années, dans le droit européen comme le domaine criminalistique. L’approche BA-LR introduit en identification du locuteur un nouveau paradigme de modélisation : elle fait émerger automatiquement les attributs partagés par un groupe de locuteurs et qui sous-entendent la discrimination de ceux-ci. Le score produit est décomposable au niveau des attributs, ce qui augmente significativement l’explicabilité de la méthode. Cette étude propose de compléter la caractérisation des attributs obtenus par le BA-LR, à l’aide de paramètres de qualité de voix. L’analyse suggère que plusieurs attributs utilisent les types de phonation pour regrouper les locuteurs, ceux-ci encodant des informations humainement perceptibles. Cet article pose ainsi des bases pour l’analyse acoustique des attributs, qui permettra à terme d’utiliser le BA-LR dans le cadre du profilage vocal.

## introduction la reconnaissance automatique du locuteur consiste à reconnaître ou vérifier l'identité d'une personne à partir d'un échantillon de sa voix. la comparaison de voix s'inscrit dans ce champ et détermine si deux enregistrements de parole ont été produits par le même locuteur, ou deux locuteurs différents. les systèmes state of the art (état de l'art) de reconnaissance du locuteur sont basés sur l'apprentissage d'un modèle deep learning (apprentissage profond), appris sur de grandes bases données de locuteurs @xcite , @xcite ). leurs performances sont excellentes @xcite , mais ils ne fournissent aucun élément d'information permettant d'expliquer leur score @xcite . l'explicabilité est pourtant un enjeu central pour la vérification du locuteur, par exemple dans une optique criminalistique pour la vérification du locuteur @xcite , ben amor et al. (2023)) ou de manière générale, pour toutes les activités dîtes « high risk » dans le cadre de l'ai @xcite . en réponse à cette limitation, l'approche ba-lr, a été récemment proposée @xcite . elle représente un enregistrement audio par la présence ou l'absence d'attributs de voix dans celui-ci. les attributs sont issus d'un ensemble fermé déterminé automatiquement (bottom-up) à partir d'une approche de deep learning appliquée sur une base de données de plus d'un million d'enregistrements. ba-lr propose comme score un rapport de vraisemblance (lr) entre la probabilité pour qu'un seul locuteur ait prononcé les deux enregistrements, versus l'hypothèse inverse. ce score n'est basé que sur la présence (activation) ou l'absence des attributs dans les deux fichiers et sur les caractéristiques des attributs. ce paradigme favorise l'explicabilité intrinsèque car la participation de chaque attribut à la décision est connue et est issue des caractéristiques de celui-ci, apprises durant l'entraînement (rareté et fiabilité d'extraction). caractériser la nature des informations encodées par ces attributs découverts par un système automatique est important dans le cadre de cette démarche. nous conjecturons que la qualité de voix fait partie des paramètres pris en compte par le système pour définir les attributs. en effet, kreiman @xcite , @xcite ) définit la qualité de voix comme la façon « dont les locuteurs projettent leur identité -leurs caractéristiques physiques, psychologiques, et sociales -au monde ». la qualité de voix peut être décomposée en différents corrélats acoustiques et perceptuels @xcite , et est liée à des paramètres linguistiques tels que la nasalité ou encore le type de phonation @xcite . les types de phonation qualifient les différents positionnements possibles de la glotte pendant la phonation. on y compte la voix modale, mais aussi les voix craquée (présence de vibrations voisées irrégulières) et soufflée (présence importante de bruit dans le signal), ainsi que tendue et relâchée @xcite . les types de phonation peuvent être liés à des variations d'ordres divers : le sexe est un facteur important -on retrouve souvent plus de souffle dans la voix des femmes du fait de la fermeture incomplète (glottal chink) de leur plis vocaux @xcite . la langue parlée par un locuteur (benoist-lucy & pillot-loiseau, 2013) et son appartenance à une communauté sociale ou géographique sont d'autres influences impactant le type de phonation, comme le cas de jeunes femmes étasuniennes utilisant la voix craquée @xcite . cette étude s'axe autour de deux enjeux. le premier est la caractérisation d'attributs de la voix discriminants au sens du locuteur, par des paramètres de la qualité de la voix, ici les types de phonation. le second est le développement d'une méthodologie cohérente pour l'étude des attributs découverts par un processus automatique. la corrélation entre les différents attributs extraits par le ba-lr et les types de phonation est étudiée, suivie d'une analyse révélant les paramètres acoustiques pris en compte par le système automatique. les liens avec d'autres attributs et le sexe des locuteurs sont également analysés. ## conclusion les résultats de cette étude montrent que plusieurs attributs du ba-lr sont corrélés à des paramètres de qualité de voix, ici les types de phonation craqué et soufflé (section 3). le sexe est également une information discriminante pour trois des huit attributs étudiés, ainsi que la prototypicalité homme/femme des voix pour un d'entre eux (sous-section 3.3). les attributs interagissent entre eux, et de nombreux paramètres sont à prendre en compte afin de comprendre leurs conditions d'activation. ces résultats encouragent à procéder à l'annotation d'autres caractéristiques perceptibles dans les enregistrements, notamment au niveau de la qualité de voix, afin de caractériser d'autres attributs. utiliser le ba-lr sur un autre corpus, multi-sessions, afin d'en comparer les résultats avec ptsvox, est la prochaine piste d'étude. la méthodologie suivie dans cet article a permis d'établir une interaction entre des attributs extraits à partir d'un système automatique et des paramètres de qualité de voix. cette démarche confère une plus grande explicabilité au système, utile dans un cadre judiciaire. la meilleure compréhension des attributs sous un angle perceptuel permet à la fois d'évaluer la proximité entre la perception humaine et le réseau de neurones derrière le ba-lr, mais aussi de documenter les paramètres de qualité de voix utilisés par cet outil : cela le rend utilisable dans des tâches de profilage du locuteur, la qualité de voix pouvant apporter des renseignements physiques et culturelles sur le locuteur étudié. cela permettrait à terme l'extraction automatique d'un profil de locuteur à partir d'un simple enregistrement sonore.