Se concentrer sur les différences : une méthode d’évaluation subjective efficace pour la comparaison de systèmes de synthèse (Focus on differences : a subjective evaluation method to efficiently compare TTS systems * ) (2016)

Abstract: En proposant une nouvelle approche de synthèse de la parole, les études comportent généralement une évaluation subjective d’échantillons acoustiques produits par un système de référence et un nouveau système. Ces échantillons sont produits à partir d’un petit ensemble de phrases choisies aléatoirement dans un unique domaine. Ainsi, statistiquement, des échantillons pratiquement identiques sont présentés et réduisent les écarts de mesure entre les systèmes, au risque de les considérer comme non significatifs. Pour éviter cette problématique méthodologique, nous comparons deux systèmes sur des milliers d’échantillons de différents domaines. L’évaluation est réalisée uniquement sur les paires d’échantillons les plus pertinentes, c’est-à-dire les plus différentes acoustiquement. Cette méthode est appliquée sur un système de synthèse de type HTS et un second par sélection d’unités. La comparaison avec l’approche classique montre que cette méthode révèle des écarts qui jusqu’alors n’étaient pas significatifs.

## introduction dans le domaine de la synthèse de la parole (tts), l'évaluation subjective est cruciale puisque l'objectif principal est de produire un message destiné à des auditeurs humains. des évaluations objectives et subjectives peuvent être utilisées. d'une part, les évaluations objectives ont l'avantage d'être peu coûteuses à réaliser, mais peu importe leur précision, elles ne peuvent pas encore remplacer les tests subjectifs. d'autre part, pour être intéressantes, les évaluations subjectives ont besoin d'un grand nombre d'auditeurs et d'un grand nombre d'échantillons choisis en fonction du domaine du contexte d'utilisation de la synthèse. plusieurs types d'évaluations perceptives sont généralement utilisées. parmi toutes ces méthodes, on peut distinguer des tests de préférence comme ab et abx, des tests de pointage comme mos (mean opinion score), dmos (degradation mos) ou plus récemment mushra (multiple stimuli with hidden reference and anchor). toutes ces méthodes ont le même objectif, à savoir le classement des systèmes selon certains critères subjectifs. dans la littérature, la plupart des propositions scientifiques sont évaluées à l'aide de tests perceptifs mais le nombre d'échantillons étudiés reste très limité. par exemple, le défi blizzard est composé de campagnes d'évaluation à grande échelle @xcite mais ne comporte que quelques centaines de signaux. ceci se retrouve dans d'autre travaux, parmi lesquels nous pouvons citer @xcite avec 350 phrases, @xcite avec 7 phrases pour 5 systèmes ou encore @xcite avec deux groupes de 18 stimuli. ce faible nombre de stimuli est généralement motivé par l'aspect particulièrement chronophage des campagnes d'évaluation perceptives. quelques travaux récents ont mis en doute la méthodologie d'évaluation, comme @xcite qui étudie l'impact des références mentales des auditeurs sur les résultats des tests perceptifs, ou @xcite qui ont proposé des modifications des protocoles existants. des alternatives aux méthodes classiques ont également été utilisées, sur le principe d'évaluations en ligne à grande échelle (crowdsourcing) comme décrit dans @xcite . plus important que le petit nombre d'échantillons choisis, le fait qu'ils soient choisis au hasard et non pas pour leur importance pour les méthodes d'évaluation peut biaiser les résultats des évaluations. dans cet article, contrairement à ce qui se fait habituellement, nous proposons de synthétiser un grand nombre d'échantillons (plusieurs milliers), à partir de textes de divers domaines. compte tenu du nombre élevé d'échantillons, nous introduisons un coût d'alignement entre les paires d'échantillons provenant de deux systèmes différents afin de les classer par similarité acoustique. une fois cela fait, nous pouvons construire une évaluation perceptive en utilisant uniquement les signaux les plus différents. de cette façon, nous ne faisons aucune hypothèse concernant la qualité d'un système parmi les autres, nous concentrons simplement l'évaluation sur ce qui peut faire la différence entre les systèmes. une telle stratégie permet de réduire la taille d'une évaluation perceptive pour recentrer l'évaluation sur les différences importantes entre les systèmes. cette méthode a été utilisée avec succès à la fois avec une paire de systèmes statistique (hts) et une paire de système par sélection d'unités. les résultats que nous obtenons pour des tests de préférence ab sont clairement significatifs, alors que lorsque les phrases à vocaliser sont sélectionnées aléatoirement, les écarts de performance observés n'arrivaient pas à discriminer les systèmes. le reste de l'article est organisé comme suit. dans la section 3, nous présentons les systèmes que nous utilisons dans les expériences. la section 4 décrit la méthodologie pour construire les évaluations. enfin, la section 5 présente les expériences ainsi que les résultats. ## corpus de parole pour les besoins de cette étude, deux corpus de parole sont utilisés. le premier corpus est extrait à l'aide d'un processus entièrement automatique présentée dans @xcite , à partir d'un livre audio en français. le locuteur masculin réalise une lecture moyennement expressive et le signal est échantillonné à 44, 1 khz. le corpus annoté complet contient 3339 énoncés (10h45 de parole). pour les expériences, 1h de parole a été extraite du corps pour former le système de synthèse à base de hmm, décrit plus loin. par la suite, ce corpus sera appelé audiobook. le deuxième corpus est produit par un locuteur féminin en français. il a été initialement construit pour le système de synthèse d'un serveur vocal interactif utilisé par un opérateur de télécommunications. ses annotations ont été contrôlées manuellement. le corpus complet contient 7h de parole enregistrées à 16 khz. dans la suite, ce corpus est appelé svi.