Caractérisation du locuteur par CNN à l’aide des contours d’intensité et d’intonation : comparaison avec le spectrogramme ( CNN speaker characterisation through prosody : spectrogram comparison ) (2020)

Abstract: Dans ce travail nous avons recours aux variations de f0 et d’intensité de 44 locuteurs francophones à partir de séquences de 4 secondes de parole spontanée pour comprendre comment ces paramètres prosodiques peuvent être utilisés pour caractériser des locuteurs. Une classification automatique est effectuée avec un réseau de neurones convolutifs, fournissant comme réponse des scores de probabilité pour chacun des 44 locuteurs modélisés. Une représentation par spectrogrammes a été utilisée comme référence pour le même système de classification. Nous avons pu mettre en avant la pertinence de l’intensité, et lorsque les deux paramètres prosodiques sont combinés pour représenter les locuteurs nous observons un score qui atteint en moyenne 59 % de bonnes classifications.

## introduction les recherches sur la caractérisation phonétique du locuteur ont fréquemment pour objectif d'identifier des facteurs cohérents expliquant la variabilité inter-individuelle @xcite . ces facteurs comprennent notamment des mesures acoustiques issues de variables d'ordre biologique telles que l'âge ou des troubles de la parole. par exemple, dans @xcite , parmi plusieurs mesures acoustiques étudiées en relation avec l'âge, l'étendue de la pression acoustique se montre stable. le style de parole @xcite ou le sexe sont également des critères de variation importants. dans @xcite , des locuteurs hommes et femmes natifs de l'anglais ou du mandarin sont comparés à partir de mesures de fréquence fondamentale dans des tâches de lecture de mots isolés, de texte et de vocalisation dans différents contextes. plusieurs mesures de ce descripteur, valeurs moyennes, maximales, minimales, moyenne de l'étendue ou écart type sont comparées dans deux analyses de variance prenant en compte la langue et le sexe comme facteurs de variabilité inter-locuteurs. les variations de f 0 d'ordre physiologique sont jugées similaires dans les deux langues par les auteurs. étant donné la robustesse de la f 0 face à plusieurs facteurs perturbateurs comme les canaux de diffusion, l'effort vocal ou l'état d'esprit du locuteur @xcite , elle s'est affirmée comme un des descripteurs les plus analysés non seulement pour essayer de différencier le sexe des locuteurs mais aussi pour distinguer les locuteurs de même sexe. @xcite montrent comment la distribution des valeurs de f 0 pour 100 locuteurs hommes reste cohérente indépendamment de la tâche exécutée, avec la majorité des locuteurs (65 %) qui présentent une variation intra-individuelle ne dépassant pas les 20 hz. @xcite analysent plusieurs mesures de f 0 sur 51 locuteurs, hommes et femmes, lors d'une tâche de conversation semi-spontanée pour décrire comment celles-ci peuvent représenter la variabilité des locuteurs. les mesures prises en compte, dont la moyenne, l'étendue (pour 80% des locuteurs) et le kurtosis de la distribution des valeurs de f 0 pris tous les 5 ms, s'avèrent utiles pour expliquer la variabilité inter-locuteurs. les résultats de cette étude montrent également que la f0 est un paramètre très dépendant du sexe. dans @xcite , c'est la complémentarité des indices qui est analysée avec 40 locuteurs, 20 hommes et 20 femmes, dont le contour intonatif et l'énergie de 15 mots sont utilisés pour modéliser les locuteurs et successivement tester un système de reconnaissance automatique du locuteur pour une des tâches du protocole nist 2001. les deux paramètres sont analysés d'abord séparément puis ensemble et montrent une forte complémentarité puisque l'erreur totale passe de 13 % à 3 %. contrairement à la f 0 , l'intensité est un facteur prosodique peu utilisé dans la description de la variabilité inter-locuteurs. @xcite montre la cohérence de ce paramètre et la sensibilité de l'oreille humaine à sa variation ; cependant le rôle linguistique de l'intensité reste à approfondir. @xcite cite l'intensité comme l'un des facteurs pouvant potentiellement déterminer la similarité entre locuteurs. dans la lignée de ces considérations sur l'intensité, tweedy & culling (2014) montrent comment ce facteur reste peu influencé chez des locuteurs soumis à des perturbations lors de tâches de conversation. plus récemment nous retrouvons dans @xcite l'utilisation de mesures d'intensité parallèlement à des corrélats rythmiques pour la classification de 16 locuteurs à travers un système de réseaux de neurones. dans cette étude, l'intensité permet d'atteindre un taux de bonnes classifications de 30 % qui augmente à 36 % lorsque les corrélats rythmiques et d'intensité sont observés ensemble. les mesures utilisées se rapprochent des corrélats rythmiques déjà utilisés par les auteurs, nous renvoyons à cette étude et à d'autres @xcite pour plus de précision à ce sujet. la complémentarité des mesures prosodiques est un des points fondamentaux de l'étude que nous allons présenter puisque la production de la parole, et dans notre cas, la représentation de la variabilité inter-individuelle ne peut être expliquée que par l'interaction de plusieurs facteurs. dans ce travail nous essayons d'apporter un élément d'analyse supplémentaire à la caractérisation du locuteur à partir d'indices prosodiques, pour cela nous allons prendre en compte deux dimensions prosodiques classiques : la f 0 et l'intensité. choisir ces deux mesures nous permettra de comparer leurs résultats respectifs et leur éventuelle complémentarité dans la caractérisation du locuteur. dans la section suivante nous décrirons de manière plus précise les mesures acoustiques qui ont été sélectionnées, leurs méthodes d'extraction et de classification. la complémentarité entre les résultats des différentes mesures sera présentée dans la section 3 ainsi qu'une analyse plus spécifique de certains locuteurs et cas particuliers. ## protocole expérimental le corpus sur lequel nous avons travaillé est composé d'extraits de 4 secondes provenant de chacun des 44 locuteurs du corpus nccfr @xcite (pour les 45ème et 46ème les transcriptions n'étant pas intégralement présentes, nous les avons écartés). nous utiliserons les chiffres de 1 à 44 pour identifier les locuteurs à la place des codes présents dans la base. le corpus nccfr se compose de conversations sur des thèmes divers entre binômes ou trinômes d'amis, dont la durée totale est d'une heure en moyenne, et enregistrées dans une chambre insonorisée à l'aide d'un micro casque, ce qui limite les variations d'intensité dûes aux mouvements de la tête. les transcriptions ont été effectuées de manière semi-automatique au laboratoire limsi @xcite . nous avons considéré uniquement les extraits comportant un minimum de 20 phonèmes, en dessous de ce seuil, après écoute des extraits, nous avons souvent remarqué la présence de la voix des autres locuteurs de l'enregistrement. à partir de ces extraits nous avons obtenus 4 types de données que nous avons utilisées dans un système de classification à l'aide de réseaux de neurones : le spectrogramme complet de chaque séquence ; le contour de f 0 ; les valeurs d'intensité ; la représentation conjointe de f 0 et d'intensité. le spectrogramme servira ici de référence puisqu'il comprend l'information la plus complète sur la séquence analysée. ces représentations ont été extraites avec les valeurs par défaut de praat @xcite et converties en images codées sur 8 bits en niveaux de gris afin de préserver la mémoire du gpu. pour l'extraction des spectrogrammes nous avons utilisé une fenêtre avec des trames de 5 ms avec un chevauchement de 90 % et une fréquence d'échantillonage de 16 khz. sur chaque trame de signal a été appliquée une fenêtre de hamming pour obtenir 512 échantillons sur lesquels une fft a été effectuée. nous n'avons pas appliqué de pré-emphase et la dynamique a été fixée à 70 db. dans le but de ne pas saturer la mémoire du gpu, les spectrogrammes ont été redimensionnés à 800 × 257 pixels (l × h), où chaque pixel correspond à 5 ms sur l'axe du temps (après compression de 8000 à 800 par interpolation bicubique), et à 31.13 hz sur celui de la fréquence. le même redimensionnement sur l'axe horizontal est utilisé pour les répresentations d'intensité et de f 0 , sur l'axe vertical nous avons 1 seul pixel dont les niveaux de gris correspondent aux valeurs d'intensité ou de f 0 . pour la répresentation conjointe d'intensité et f 0 le format des images passe à 800 × 2 pixels. le modèle que nous avons utilisé pour la classification est une version légèrement modifiée d'un réseau de neurones convolutif avec architecture resnet-18, à la base employé pour de la reconnaissance d'images. les données de chacun des 44 locuteurs ont été aléatoirement divisées selon des ensembles d'entraînement (70 %), validation (10 %) et test (20 %). le même découpage est utilisé les quatre expériences (f 0 , intensité, f 0 et intensité, spectrogrammes). l'entraînement du réseau a été effectué avec l'optimiseur adam et des mini-batches de taille 32 sur un gpu gtx 1080. le nombre maximum d'itérations défini étant de 30, l'entraînement du modèle s'arrête avant cette limite si la valeur de la perte atteint un chiffre inférieur ou égal à sa valeur minimale dans les 10 dernières itérations. tous les modèles ont été entraînés et testés à l'aide de la matlab deep learning toolbox @xcite . pour pouvoir comparer et interpréter les résultats obtenus par la classification automatique nous avons aussi extrait des valeurs acoustiques à l'aide du logiciel praat @xcite à partir des mêmes séquences de 4s. l'analyse de celles-ci nous a permis de comprendre dans quelle mesure les locuteurs se différencient ou se rapprochent du point de vue acoustique et ainsi d'interpréter les confusions faites par la classification automatique avec une approche phonétique. l'ensemble des mesures effectuées pour la f 0 et l'intensité comprend : les valeurs minimales, maximales, la moyenne, l'écart type, le premier décile, le dernier, le décile du milieu et la différence entre les valeurs de f 0 et d'intensité (voir paragraphe 3.2). nous avons aussi extrait d'autres valeurs comme la pente de f 0 , le nombre de pics de f 0 et d'intensité mais nous les avons écartées de notre analyse finale car elles n'apportent pas d'éléments intéressants à celle-ci. ## résultats la tâche de classification consiste, pour chacun des 44 locuteurs, à donner au réseau de neurones les 70 extraits pris aléatoirement dans l'ensemble de départ et ne faisant pas partie des extraits d'entraînement. cette même expérience a été répétée 4 fois pour chacune des représentations. la première considération concerne le score obtenu par les spectrogrammes, qui atteint un taux de bonnes classifications de 93 %, résultat attendu en considérant que cette représentation décline plusieurs éléments de la production de la parole alors que les 3 autres ne prennent en compte qu'une dimension voire deux à la fois. l'utilisation du contour intonatif, la répresentation à la fois des valeurs moyennes et des modulations de f 0 , atteint le résultat moyen le moins élevé avec 28 %. les valeurs d'intensité apportent quelques informations supplémentaires en totalisant un taux total moyen de 32 %, mais c'est lorsque les deux représentations sont combinées que le score est presque doublé et atteint 59 %. ## discussion et conclusion dans ce travail nous avons présenté une analyse acoustique pour caractériser des locuteurs à partir de f 0 et d'intensité. l'utilisation d'une classification par réseaux de neurones et l'analyse des confusions opérées par le réseau nous ont aidé à comprendre dans quelle mesure le système utilise la prosodie comme facteur déterminant pour classer les locuteurs. si la f 0 se montre très efficace pour trancher entre des locuteurs de sexes différents l'intensité atteint un score global de classification plus élevé. nous avons ici analysé la contribution de ces dimensions prosodiques face au spectrogramme qui représente la référence puisqu'il englobe d'autres dimensions en plus de la prosodie et permet ainsi d'expliquer la majorité de la variation. pour le sous-groupe de données que le réseau n'arrive pas à classer correctement en se basant sur le spectrogramme (7 % des données totale) l'utilisation conjointe du contour de f 0 et d'intensité arrive à donner 33 % de bonnes classifications. la f 0 et l'intensité sont des paramètres classiques utilisés pour décrire deux aspects différents de la prosodie. nous avons pu observer, à travers notre étude, comment l'utilisation d'une technique de classification non classique en phonétique peut faire apparaître des nouvelles caractéristiques liées à la description prosodique des locuteurs. l'analyse en composantes principales, présentée en figure 2 , montre comment avec une approche statistique les mesures de f 0 contribuent à la description d'une partie conséquente de notre ensemble. l'intensité obtient un meilleur score que la f 0 lors de la classification par réseaux de neurones mais elle est moins présente dans l'acp. pour diminuer cette disparité, il est envisageable d'aller regarder de manière plus approfondie d'autres mesures d'intensité plus robustes que celles que nous avons pu présenter. nous avons observé pour ce paramètre que les valeurs minimales et le dernier décile sont les mesures plus précises pour la caractérisation des locuteurs. en ce qui concerne la f 0 , la valeur moyenne et le décile du milieu sont les mesures qui se montrent plus adaptées pour la caractérisation.