# Impact de la parole expressive sur l'estimation de l'intensité vocale

Quentin Le Tellier, Marc Evrard, Albert Rilliard, Jean-Sylvain Liénard

► To cite this version:

Quentin Le Tellier, Marc Evrard, Albert Rilliard, Jean-Sylvain Liénard. Impact de la parole expressive sur l'estimation de l'intensité vocale. CFA 2025 - 17e Congrès Français d'Acoustique, Société Française d'Acoustique (SFA), Apr 2025, Paris, France. hal-05365670

HAL Id: hal-05365670

https://inria.hal.science/hal-05365670v1

Submitted on 14 Nov 2025

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
17ᵉ Congrès Français d'Acoustique

27-30 avril 2025, Paris

Impact de la parole expressive sur l'estimation de l'intensité vocale

Q. Le Tellier, M. Evrard, A. Rilliard et J-S. Liénard

Université Paris-Saclay, CNRS, Laboratoire LISN, 91405 Orsay, France

<figure><img src="image_2.png" /></figure>
L'intensité vocale est un attribut majeur de la parole qui varie largement en fonction du contexte de communication, de l'expressivité et de facteurs physiologiques. Elle mesure le niveau de pression acoustique à une distance donnée (en dB). Cependant, la plupart des enregistrements de parole ne sont pas calibrés, ce qui entraîne une perte des valeurs originales de l'intensité. En nous appuyant sur trois corpus calibrés, AVID, VIC ainsi que le corpus expressif AD, nous étudions l'impact des variations expressives sur les performances des modèles d'estimation de l'intensité vocale. Dans cette étude, nous entraînons des modèles sur le corpus AVID en utilisant des représentations acoustiques (spectrogrammes et Mel-spectrogrammes), et des descripteurs issus du modèle neuronal de reconnaissance vocale Whisper. Les performances de ces modèles sont évaluées sur un sous-ensemble de test d'ΑVID, ainsi que sur les deux autres corpus. Les résultats montrent que les modèles entraînés sur les représentations de Whisper sont les plus performants sur tous les corpus. Les modèles qui s'appuient sur les spectrogrammes offrent des performances similaires sur AVID mais présentent une faible capacité de généralisation sur les autres corpus. Les modèles entraînés sur des représentations de plus faible dimension que les spectrogrammes telles que les Mel-spectrogrammes ou les MFCC permettent une meilleure généralisation. Cependant, tous les modèles, même les plus performants, montrent des biais qui limitent la généralisation de l'estimation de l'intensité pour la parole expressive. En particulier, les productions vocales faisant appel à des configurations glottales non modales (souffle, tension de plis vocaux) montrent des biais importants pour la prédiction de leur intensité originale. Ces résultats suggèrent l'importance de la qualité de voix pour l'estimation de l'effort vocal. La significativité des résultats pour l'estimation de l'intensité vocale est également discutée.

# 1 Introduction

La qualité de la production vocale varie considérablement en fonction des changements d'intensité vocale du locuteur. Une voix plus ou moins forte permet de s'adapter au contexte — par exemple à des environnements bruyants (effet Lombard) [17, 10] — à la distance des interlocuteurs [24], ou à des choix articulatoires (parole hyper/hypoarticulée, parole claire) adaptés aux besoins de l'auditeur [14]. Lorsque la voix est transmise via un microphone (radio, visioconférence), ce qui implique un système de gain, on observe une plus grande fréquence de qualité vocale chuchotée ou craquée [13].

Malheureusement, l'intensité vocale originale est généralement perdue en raison de conditions d'enregistrement non contrôlées : distance variable ou inconnue au microphone et gain inconnu [28]. Cette intensité vocale originale ou force de voix [15] est définie comme le niveau de pression acoustique (SPL) produit par un locuteur, mesuré en champ libre à un mètre en face de sa bouche en dB SPL. Elle constitue donc une information perdue dans la plupart des enregistrements disponibles, qu'il s'agisse de médias, de visioconférences ou des corpus de parole accessibles à la communauté.

L'intensité vocale est une dimension importante de la source vocale, aux côtés de la tension des plis vocaux, des registres et du bruit [5]. Elle impacte les caractéristiques de la source, notamment sa fréquence fondamentale ($f_0$) et la pente spectrale [23]. Les différents niveaux d'intensité affectent également les aspects articulatoires supraglottiques, tels qu'un rythme plus lent et des niveaux d'effort plus élevés [10, 19]. Ces variations acoustiques modifient notamment les performances de modèles de traitement de la parole [27, 16].

Toutefois, l'intensité vocale réelle est rarement prise en compte dans les descriptions de phonétique acoustique ou par les outils de traitement de la parole — notamment parce que cette information n'est pas accessible en raison des

pratiques d'enregistrement. Malgré cela, l'intensité vocale originale est perçue par les auditeurs d'un enregistrement, qui peuvent estimer, même sur des signaux normalisés, l'effort vocal du locuteur [3]. Cela indique la pertinence des caractéristiques spectrales pour retrouver cette information (voir aussi [15]) et met en évidence notre capacité cognitive à utiliser ces indices pour déduire des connaissances générales sur le locuteur [21, 22]. De nombreux travaux sont publiés autour des questions liées à l'effort et à l'intensité vocale (par ex., [9, 20]). Ces indices sont en effet importants en orthophonie, notamment pour l'étude de la fatigue vocale dans le cadre professionnel [12].

Cependant, très peu de ressources proposant des enregistrements audio calibrés sont disponibles pour la communauté [28], ce qui permettrait pourtant de favoriser des travaux plus reproductibles et comparables sur ce sujet. Récemment, Alku et al. [1] ont proposé un corpus calibré multi-locuteurs à partir de phrases lues avec quatre niveaux d'intensité vocale (le corpus AVID). Ils ont également démontré la possibilité d'entrainer des modèles capables d'estimer le niveau d'intensité original des phrases enregistrées à partir des caractéristiques spectrales du signal.

Cet article propose une expérience complémentaire visant à reproduire les modèles de [1] en tant que référence de base. D'autres descripteurs et architectures sont évalués en prenant en compte leur capacité de généralisation sur d'autres ressources également calibrées : un corpus comparable et un autre contenant des variations affectives [6]. Ce dernier présente des variations d'intensité vocale associées à d'autres modifications de la qualité vocale liées aux émotions [11, 26].

Dans la Sec. 2, nous présentons les corpus utilisés et les modèles de régression entraînés sur AVID [1], et testés ensuite sur d'autres ressources calibrées. Les performances obtenues sont décrites à la Sec. 3 et discutées à la Sec. 4, avant de conclure sur différents aspects à prendre en compte afin de proposer des modèles robustes pour l'évaluation de l'intensité vocale.
# 2 Méthodes

## 2.1 Jeux de données

<figure><img src="image_3.png" /><figcaption>FIGURE 1 – Diagramme en violon montrant la distribution des dB<sub>SPL</sub> (L<sub>eqZF</sub>, à 5 cm) pour les corpus AVID, VIC et AD (selon ses affects).</figcaption></figure>

### 2.1.1 Corpus AVID

Le corpus AVID propose des enregistrements de 50 personnes (25 femmes et 25 hommes, âgés de 20 à 38 ans) lisant 25 phrases en anglais selon quatre consignes d'intensité vocale [1] — seule la tâche de lecture de phrases (SENT) est utilisée ici. Les enregistrements sont effectués à l'aide d'un microphone serre-tête placé à 5 cm des lèvres des locuteurs. Les consignes correspondent à des niveaux d'intensité vocale faible, normal, fort et très fort [1] et sont présentées à l'aide d'une brève description — laissant une marge d'interprétation de ces catégories. Ce sous-ensemble SENT comprend un total de 10 000 stimulus, uniformément répartis entre les quatre catégories d'intensité. Les auteurs mettent en évidence des recouvrements importants entre ces catégories, liés à une grande variabilité interpersonnelle. La plage d'intensités vocales représentée dans le corpus s'étend d'environ 65 à 110 dB<sub>SPL</sub> (à 5 cm de distance de la bouche), comme l'illustre le second violon dans la Fig. 1.

### 2.1.2 Corpus VIC

Afin d'évaluer nos modèles sur des données comparables — produites selon un processus similaire à AVID, mais dans des conditions matérielles différentes — sept personnes ont été enregistrées (4 femmes et 3 hommes, âgés de 23 à 62 ans) dans le caisson acoustique du laboratoire, en position assise. Les consignes de production sont les mêmes : lire 25 phrases avec quatre niveaux d'intensité vocale. Les enregistrements ont été effectués à l'aide de deux microphones omnidirectionnels : un microphone serre-tête à condensateur (DPA 6066-OC-R-F00, ci-après HSM) placé à une distance fixe du centre de la bouche (variable selon le locuteur), et un microphone crayon à condensateur (DPA 2006, ci-après PM) placé à 30 cm en face de la

bouche. Le niveau du microphone PM est calibré en utilisant un calibreur Brüel & Kjær 4230. Les micros sont enregistrés via un Zoom H6essential sous des fichiers PCM en 32 bits à virgule flottante, avec une fréquence d'échantillonnage de 48 kHz. Les enregistrements bruts ont ensuite été découpés en fichiers individuels pour chaque phrase.

### 2.1.3 Corpus Affectif

Un corpus d'émotions simulées est aussi utilisé ; ce corpus a été enregistré afin d'ajouter des variations affectives à un synthétiseur de parole [6]. Il a été enregistré en français par une locutrice professionnelle âgée de 31 ans. Ce corpus (ci-après AD pour affective dataset) est structuré en sept sous-ensembles affectifs, chacun composé des mêmes 160 phrases produites en reproduisant les catégories suivantes : colère, peur, surprise, joie, tristesse, sensualité et neutre. La locutrice avait pour consigne de maintenir une qualité vocale prototypique pour chaque émotion et de rester aussi cohérente que possible entre les phrases. L'enregistrement a été réalisé dans un caisson acoustique à l'aide d'un microphone fixe positionné à environ 40 cm de sa bouche (DPA 4006).

Ces sept catégories affectives présentent des caractéristiques acoustiques distinctives, qui permettent leur catégorisation grâce à un nombre réduit d'indices [19]. Un aspect fondamental de ces différences est l'intensité vocale. Cette grandeur est notamment corrélée à la dimension psychologique et physiologique d'excitation-arousal [8] qui structure ces catégories affectives en reflétant les variations d'effort vocal observées d'un point de vue articulatoire. Ce lien entre effort vocal et excitation-arousal est documenté dans la littérature [2, 11]. Dans le corpus AD, il se traduit par des variations d'intensité sur une plage d'environ 35 dB, fortement corrélées à des changements de fréquence fondamentale, entre autres caractéristiques [19].

### 2.1.4 Conditions expérimentales

Ces trois bases de données diffèrent selon différents critères : les lieux d'enregistrement et les microphones utilisés sont différents (même si tous sont omnidirectionnels et à réponse en fréquence plate), leur position par rapport à la bouche varie, les langues parlées diffèrent (anglais ou français), ainsi que les consignes expressives liées à l'élicitation de variations d'intensité vocale. Ces variations des conditions d'enregistrement influencent tant les caractéristiques spectrales des signaux, du bruit de fond, que l'estimation des niveaux SPL de référence. En particulier, une locutrice en pied produisant une tâche expressive est bien plus susceptible de bouger, ce qui induit une plus grande variabilité de la distance entre la bouche et le microphone au fil du temps. Une autre source d'imprécision dans les mesures d'intensité peut venir de la mesure de distance du microphone serre-tête, de petites différences étant rapidement significatives pour une position du microphone proche des lèvres. La comparaison des niveaux absolus entre les trois corpus est donc potentiellement entachée d'erreurs liées à ces conditions.
Les niveaux des enregistrements sont analysés ici au niveau de la phrase. Pour éviter l'effet des silences, un traitement supprime les parties du signal considérées comme telles. Pour AVID, ce traitement est déjà effectué sur la base de données (voir [1] pour des détails). Pour les deux autres bases, les silences ont été supprimés en appliquant la détection d'activité vocale de pyannote.audio [4].

## 2.2 Modèles de régression

La première étape a consisté à reproduire les modèles proposés par [1]. Ensuite, d'autres options de modélisation avec différentes représentations du signal de parole ont été explorées. Les signaux de parole ont été rééchantillonnés à 16 kHz et l'amplitude de chaque signal a été normalisée en ajustant sa valeur maximale à un niveau spécifique. Cela vise à éliminer l'information liée à l'intensité du signal, garantissant ainsi que les représentations extraites reflètent les propriétés intrinsèques de la parole plutôt que des variations d'amplitude du signal. Les valeurs de référence utilisées pour entrainer les modèles correspondent aux valeurs de SPL mesurées avec un moyennage équivalent (eq, voir [28]), une pondération fréquentielle neutre (Z) et temporelle rapide (F) — comme utilisés par [1] ($L_{eq}ZF$). Ces valeurs sont calculées sur des séquences de parole d'une à trois secondes de durée.

### 2.2.1 Représentations acoustiques

Pour reproduire [1], nous avons extrait des spectrogrammes (STFT), des banques de filtres Mel (MFB) et des coefficients cepstraux (MFCC) en utilisant la bibliothèque librosa du langage Python, avec une fenêtre de Hann de 25 ms de longueur et un chevauchement de 5 ms. La transformée de Fourier rapide (FFT) a été appliquée sur 1024 points. Le MFB comprenait 128 filtres répartis entre 0 Hz et la fréquence de Nyquist (8000 Hz). Les MFCC ont été extraits du même MFB, donnant un total de 20 coefficients. Pour reproduire [1], la moyenne et l'écart-type de chaque représentation ont été extraits sur la longueur de la séquence, aboutissant ainsi à des spectrogrammes de 1026 dimensions (1026-D), des MFB de 256 dimensions (256-D) et des MFCC de 40 dimensions (40-D) pour chaque séquence.

### 2.2.2 Représentations profondes pré-entrainées

Le modèle neuronal profond Whisper [18], faiblement supervisé, a été utilisé comme extracteur de descripteurs. Plus précisément, nous avons exploité le modèle openai/whisper-large-v2, telle que mis à disposition par Hugging Face via la bibliothèque Transformers [25]. Les représentations cachées de chacune des 33 couches du modèle ont été extraites et moyennées sur l'axe temporel, donnant des vecteurs de 1280 dimensions (1280-D). La choix de la couche utilisée comme représentation était considérée comme un hyperparamètre, et la performance des modèles entrainés sur chacune d'entre-elles a été testée sur AVID par validation croisée. Les meilleurs résultats ont été

obtenus avec la couche 15.

### 2.2.3 Sélection des modèles et des hyperparamètres

<table><caption>TABLEAU 1 – Combinaison des hyperparamètres testés pour chacun des algorithmes d’apprentissage automatique utilisés (noms des arguments utilisés dans scikit-learn).</caption><thead><tr><td>Modèles</td><td>Hyperparamètres</td></tr></thead><tbody><tr><td>SVR</td><td>C: [0.01, 0.1, 1, 10, 100]<br>gamma: [0.1, 1, 10]<br>epsilon: [0.01, 0.1, 1.0]<br>kernel: "rbf"</td></tr><tr><td>GB</td><td>n_estimators: [10, 25, 50, 75, 100]<br>learning_rate: [0.05, 0.1, 0.5]<br>min Samples Split: [2, 4, 6]<br>min Samples Leaf: [1, 2, 4]<br>max_depth: [2, 3, 5]</td></tr></tbody></table>

Une exploration exhaustive des hyperparamètres des algorithmes d’apprentissage automatique présentés dans le Tab. 1 a été réalisée, impliquant un total de 9755 combinaisons de représentations, de modèles et d’hyperparamètres. Les modèles explorés dans cette recherche incluent la régression linéaire (LR), le régresseur à vecteurs de support (SVR) et le gradient boosting (GB). Les valeurs d’amplitude (en dB) des représentations acoustiques ont été centrées réduites.

## 2.3 Métriques d’évaluation et intervalles de confiance

L’erreur moyenne et la racine de l’erreur quadratique moyenne (RMSE), exprimées en décibels (dB), sont utilisées afin d’évaluer respectivement le biais et la dispersion des prédictions. Le coefficient de corrélation de Pearson (r) et son carré (r²) mesurent uniquement la relation linéaire entre les valeurs réelles et prédites. Cette métrique est privilégiée ici par rapport au coefficient de détermination (R²) car la distance absolue entre corpus varie légèrement en raison de la différence entre la distance théorique et pratique bouche-microphone, ce qui perturbe la mesure du SPL absolu. Pour estimer la robustesse statistique de ces métriques, leurs intervalles de confiance à 95 % sont calculés par la méthode du bootstrap en utilisant la bibliothèque Confidence Intervals [7]. L’identité des locuteurs a été prise en compte dans le processus de bootstrap afin de tenir compte de la dépendance probabiliste des descripteurs issus d’enregistrements provenant d’un même locuteur.

# 3 Résultats

## 3.1 Corrélation linéaire

Les valeurs de r² sont données dans le Tab. 2 pour chaque couple (modèle, descripteur) sur chacun des corpus
<table><caption>TABLEAU 2 – Valeurs de $r^2$ pour chacun des couples (modèle, descripteur) selectionnés par validation croisée sur le corpus AVID.</caption><thead><tr><th>Représ.</th><th>Model</th><th>ΑΙΔ</th><th>AD</th><th>VIC</th></tr></thead><tbody><tr><td rowspan="3">STFT</td><td>LR</td><td>0.89 ±0.02</td><td>0.76 ±0.02</td><td>0.24 ±0.08</td></tr><tr><td>SVR</td><td>0.91 ±0.01</td><td>0.80 ±0.02</td><td>0.20 ±0.15</td></tr><tr><td>GB</td><td>0.93 ±0.01</td><td>0.55 ±0.04</td><td>0.35 ±0.29</td></tr><tr><td rowspan="3">MFB</td><td>LR</td><td>0.81 ±0.03</td><td>0.85 ±0.01</td><td>0.71 ±0.10</td></tr><tr><td>SVR</td><td>0.82 ±0.03</td><td>0.84 ±0.01</td><td>0.71 ±0.16</td></tr><tr><td>GB</td><td>0.83 ±0.03</td><td>0.62 ±0.03</td><td>0.60 ±0.14</td></tr><tr><td rowspan="3">MFCC</td><td>LR</td><td>0.74 ±0.06</td><td>0.85 ±0.01</td><td>0.68 ±0.13</td></tr><tr><td>SVR</td><td>0.81 ±0.04</td><td>0.85 ±0.01</td><td>0.80 ±0.08</td></tr><tr><td>GB</td><td>0.77 ±0.05</td><td>0.81 ±0.02</td><td>0.65 ±0.16</td></tr><tr><td rowspan="3">Whisper</td><td>LR</td><td>0.93 ±0.01</td><td>0.94 ±0.01</td><td>0.91 ±0.04</td></tr><tr><td>SVR</td><td>0.92 ±0.02</td><td>0.89 ±0.01</td><td>0.84 ±0.07</td></tr><tr><td>GB</td><td>0.89 ±0.02</td><td>0.88 ±0.01</td><td>0.79 ±0.06</td></tr></tbody></table>

<table><caption>TABLEAU 3 – Erreur moyenne pour les meilleurs modèles selectionnés par validation croisée sur le corpus AVID pour chacun des affects du corpus AD ainsi que sur les corpus AVID et VIC.</caption><thead><tr><th></th><th>MFB</th><th>MFCC</th><th>Whisper</th></tr></thead><tbody><tr><td>VIC</td><td>-3.89 ±1.48</td><td>-4.96 ±1.00</td><td>-2.93 ±0.74</td></tr><tr><td>ΑΙΔ</td><td>-0.15 ±0.40</td><td>-0.02 ±0.33</td><td>-0.00 ±0.49</td></tr><tr><td>Peur</td><td>-10.46 ±0.48</td><td>-8.29 ±0.27</td><td>-5.92 ±0.25</td></tr><tr><td>Neutre</td><td>-5.74 ±0.26</td><td>-10.64 ±0.32</td><td>-1.90 ±0.25</td></tr><tr><td>Colère</td><td>-17.91 ±0.47</td><td>-15.42 ±0.33</td><td>-5.81 ±0.27</td></tr><tr><td>Joie</td><td>-4.90 ±0.47</td><td>-9.37 ±0.37</td><td>-2.55 ±0.26</td></tr><tr><td>Tristesse</td><td>-0.28 ±0.33</td><td>-6.19 ±0.40</td><td>-1.33 ±0.32</td></tr><tr><td>Sensualité</td><td>-3.76 ±0.47</td><td>-9.40 ±0.40</td><td>-2.61 ±0.29</td></tr><tr><td>Surprise</td><td>-8.35 ±0.41</td><td>-8.12 ±0.32</td><td>-2.85 ±0.28</td></tr></tbody></table>

utilisés. Les modèles qui obtiennent les meilleurs résultats sur AVID sont ceux fondés sur les STFT et sur Whisper. Ces résultats sont comparables avec ceux rapportés par [1]. Les modèles fondés sur les MFB et les MFCC présentent des performances environ 10 % plus faibles.

Cependant, les performances des modèles entrainés sur les STFT chutent respectivement de 10 % et de 60 % sur VIC et AD. Ceux entrainés sur les MFB présentent aussi une chute d'environ 10 % sur AD (mais avec un intervalle de confiance très large), tandis que ceux entrainés sur les MFCC obtiennent des performances comparables entre AVID et VIC. Sur AD, ces deux derniers modèles montrent des performances comparables à celles obtenues sur AVID — ils démontrent donc une très bonne capacité de généralisation. Avec des performances similaires entre les trois corpus, Whisper offre la meilleure capacité de généralisation des modèles que nous avons testés.

<table><caption>TABLEAU 4 – RMSE pour les meilleurs modèles selectionnés par validation croisée sur le corpus AVID pour chacun des affects du corpus AD ainsi que sur les corpus AVID et VIC</caption><thead><tr><th></th><th>MFB</th><th>MFCC</th><th>Whisper</th></tr></thead><tbody><tr><td>VIC</td><td>2.49 ±0.15</td><td>2.45 ±0.13</td><td>1.93 ±0.17</td></tr><tr><td>ΑΙΔ</td><td>1.86 ±0.07</td><td>1.91 ±0.10</td><td>1.49 ±0.06</td></tr><tr><td>Peur</td><td>3.30 ±0.07</td><td>2.91 ±0.04</td><td>2.48 ±0.05</td></tr><tr><td>Neutre</td><td>2.45 ±0.06</td><td>3.29 ±0.05</td><td>1.59 ±0.07</td></tr><tr><td>Colère</td><td>4.26 ±0.05</td><td>3.95 ±0.04</td><td>2.46 ±0.05</td></tr><tr><td>Joie</td><td>2.40 ±0.09</td><td>3.11 ±0.06</td><td>1.75 ±0.09</td></tr><tr><td>Tristesse</td><td>1.47 ±0.11</td><td>2.59 ±0.08</td><td>1.58 ±0.07</td></tr><tr><td>Sensualité</td><td>2.19 ±0.08</td><td>3.12 ±0.06</td><td>1.79 ±0.08</td></tr><tr><td>Surprise</td><td>2.96 ±0.06</td><td>2.90 ±0.06</td><td>1.83 ±0.06</td></tr></tbody></table>

<figure><img src="image_4.png" /><figcaption>FIGURE 2 – Valeurs de référence SPL contre valeurs prédites par le modèle SVR fondé sur des MFCC ; corpus AD.</figcaption></figure>

## 3.2 Erreur moyenne et RMSE

Les mesures pour le modèle fondé sur les STFT ne sont pas présentées ici, du fait de ses problèmes de généralisation important. Les mesures d'erreur moyenne (Tab. 3) et de RMSE (Tab. 4) montrent de très bonnes performances des estimations effectuées sur AVID, quels que soient les descripteurs, avec des valeurs de RMSE de 2 dB et une erreur moyenne proche de 0 dB. Le RMSE reste dans le même ordre de grandeur (< 2 dB) pour le modèle Whisper sur les autres corpus, ce qui confirme les qualités de généralisation du modèle. Les modèles fondés sur les MFCC et les MFB présentent par contre des estimations moins fiables — avec des RMSE entre 2.5 et 4 dB selon les jeux de données.

Si le RMSE reste relativement contenu, tous les modèles présentent un important biais négatif se traduisant par des prédictions sous-estimées sur les corpus VIC et AD. Les modèles fondés sur Whisper présentent nettement moins cet effet avec une distance moyenne de -2.88 dB par rapport à la référence, tandis que les deux autres types de modèles présentent des distances moyennes de -8 dB pour les MFCC et -6 dB pour les MFB. De ce point de vue, la généralisation qui pose le plus de problème est celle qui concerne la base affective AD. Ainsi, même avec le modèle Whisper, les bases
colère et peur dépassent les -5 dB de distance moyenne. Pour ce modèle, si l'on exclut colère et peur, la prédiction suit globalement une tendance linéaire.

La Fig. 2 présente le nuage de points des prédictions en fonction des valeurs réelles du corpus AD pour les modèles SVR entrainés sur des MFCC. Elle permet d'observer la distribution des erreurs moyennes par affect. L'effet des bases est complexe et doublé d'une sous-évaluation générale plus sévère que pour les modèles fondés sur Whisper. La base tristesse reçoit de meilleurs résultats que sensualité alors que les deux ont des niveaux moyens comparables (voir Fig. 1). La base colère, qui a un niveau d'intensité vocale mesuré supérieur à toutes les autres (y compris peur), est estimée à un niveau comparable de celui de peur. Il s'agit d'une erreur d'estimation importante, même sans prendre en compte l'erreur moyenne globale estimée sur AD.

# 4 Discussion

Ces résultats mettent en lumière des différences de performance importantes entre les modèles entrainés sur différents types de descripteurs. Tout d'abord, les représentations acoustiques avec la plus grande définition fréquentielle que sont les STFT conduisent à un surapprentissage des modèles plus important que les MFB et les MFCC qui permettent une meilleure généralisation sur d'autres corpus. L'utilisation des plongements Whisper permet une généralisation à d'autres corpus encore meilleure que les MFB et les MFCC. La grande quantité de données utilisée pour le pré-entrainement des modèles neuronaux profonds tels que Whisper leur permet potentiellement d'extraire des représentations moins dépendantes des spécificités du corpus, et notamment de ses conditions d'enregistrement. La diversité des expressivités rencontrées durant leur pré-entrainement pourrait également être un facteur clé pour extraire des descripteurs offrant une plus grande capacité à généraliser aux données du corpus AD.

L'étude de l'importance des paramètres des modèles linéaires entrainés sur les STFT semble mettre en évidence une forte dépendance au bruit de fond présent dans les données d'entrainement. En effet, les plages de fréquences mises en évidence par la régression linéaire (en dessous de 100 Hz) ne correspondent pas à celles de la voix humaine. Cette observation suggère que les représentations Whisper découpent mieux le bruit de fond des enregistrements que les représentations acoustiques.

D'autres propriétés de l'enregistrement pourraient expliquer la faible capacité de généralisation des modèles fondés sur des représentations acoustiques. En particulier les propriétés acoustiques des lieux, ainsi que le type et le positionnement des microphones utilisés pour effectuer l'enregistrement.

La capacité des modèles fondés sur MFCC et Whisper à généraliser sur des corpus en français, à partir d'un corpus d'entrainement en anglais, semble indiquer que la langue joue un rôle peu important dans la prédiction de l'intensité vocale. Ce résultat sera à confirmer avec d'autres langues.

Concernant les résultats d'erreur moyenne de Whisper sur AD, le décalage observé entre les bases peur et colère et le reste du corpus est sans doute lié au fait que ces deux bases (qui ont des niveaux d'intensité vocale très élevés) ont été enregistrées avec un gain inférieur de 13 dB à celui utilisé pour les autres bases — bien que cette différence de gain ait été corrigée avant d'extraire les descripteurs.

Toujours sur AD, les variations observées entre les bases pour le modèle MFCC sont, à notre sens, à rapprocher de leurs caractéristiques de qualité vocale (voir [19] pour une analyse détaillée). Ainsi, la base sensualité présente une voix soufflée, mais qui a un niveau d'intensité comparable à tristesse. La base peur, et dans une moindre mesure surprise, ont des niveaux surévalués (relativement à la droite de régression). Ces bases ont aussi des valeurs de $f_0$ comparativement élevées, pour leur niveau d'effort vocal, à l'inverse de la base colère. Les niveaux de $f_0$ de peur et colère sont équivalents, tandis que colère est produite avec des niveaux d'intensité plus élevés. Il semble donc ici que les modes de phonation non modaux (bruit additionnel de sensualité), ou des changements de $f_0$ décorrélé de l'augmentation de la pression sous glottique, mais plutôt lié à une augmentation de la tension des plis vocaux (cas typique de peur, contrairement à la colère ; [23, 11]), induisent des biais d'estimation.

Le corpus AVID proposant uniquement des changements d'effort vocal sans variation affective, les modèles ont été entrainés sur des données pour lesquelles les sujets ont essentiellement utilisé une pression sous glottique plus importante pour augmenter leur effort vocal. Comme mentionné en introduction, un des premiers effets d'une augmentation de l'effort est d'augmenter la $f_0$. On peut donc penser que ces modèles utilisent des corrélats de la fréquence fondamentale pour estimer l'intensité vocale. Si cela s'avère efficace sur AVID et VIC, ce l'est bien moins sur AD. Dans le cas de la base sensualité, qui présente une voix soufflée, on peut supposer que le rapport harmonique sur bruit dégradé qui la caractérise (cf. [19]) constitue un indice lié aux niveaux d'effort les plus faibles dans la base AVID, d'où la différence avec tristesse (base qui est davantage voisée).

# 5 Conclusions et perspectives

Estimer l'intensité vocale originale est possible à partir d'informations purement spectrales. Généraliser cette estimation à des données dont les caractéristiques divergent du corpus d'entrainement soulève des complexités notables, que nous nous sommes efforcés de mettre en avant à travers ce travail. Considérer une seule condition d'enregistrement peut conduire à des modèles biaisés. Des modèles entrainés sur des représentations spectrales de plus faibles dimensions semblent mieux généraliser. D'autre part, ceux entrainés sur les plongements Whisper, bien qu'ils soient de dimension plus importante, obtiennent des résultats de généralisation encore meilleurs. Certains facteurs comme la langue ou les caractéristiques du microphone ne semblent avoir qu'une
faible influence sur l'estimation de l'intensité vocale. En revanche, il est important de considérer les configurations articulatoires spécifiques qui apparaissent notamment dans la parole expressive.

Des travaux futurs s'orienteront vers l'enregistrement d'un corpus accompagné de méthodes de mesure plus précises de la distance bouche-microphone et la prise en compte de sa variation au cours du temps. D'autres modes de production de parole, ainsi que des conditions d'enregistrements dégradées seront également introduites dans la construction du corpus.

# 6 Remerciements

Ce travail a été soutenu par le projet ANR VERS (ANR-23-CE38-0010). Nous tenons également à remercier chaleureusement les locutrices et locuteurs qui ont participé aux enregistrements du corpus.

# Références

[1] P. Alku, M. Kodali, L. Laaksonen, and S. R. Kadiri. Avid: A speech database for machine learning studies on vocal intensity. *Speech Communication*, 157:103039, 2024.

[2] R. Banse and K. R. Scherer. Acoustic profiles in vocal emotion expression. *J. Pers. and Soc. Psyc.*, 70:614–636, 1996.

[3] J. F. Brandt, K. F. Ruder, and T. Shipp. Vocal loudness and effort in continuous speech. *Journal Acoust. Soc. America*, 46(6B):1543–1548, 1969.

[4] H. Bredin. pyannote.audio 2.1 speaker diarization pipeline: principle, benchmark, and recipe. In *Interspeech*, 2023.

[5] C. d'Alessandro. *Voice source parameters and prosodic analysis*, page 63–87. Berlin: Walter de Gruyter, 2006.

[6] M. Evrard. *Synthèse de parole expressive à partir du texte : Des phonostyles au contrôle gestuel pour la synthèse paramétrique statistique*. Phd thesis, Univ. Paris Sud, 2015.

[7] L. Ferrer and P. Riera. Confidence intervals for evaluation in machine learning. https://github.com/luferrer/ConfidenceIntervals, 2024.

[8] J. R. Fontaine, K. R. Scherer, E. B. Roesch, and P. C. Ellsworth. The world of emotions is not two-dimensional. *Psychological science*, 18(12):1050–1057, 2007.

[9] E. Ford Baldner, E. Doll, and M. R. Van Mersbergen. A review of measures of vocal effort with a preliminary study on the establishment of a vocal effort measure. *Journal of Voice*, 29(5):530–541, 2015.

[10] M. Garnier and N. Henrich. Speaking in noise: How does the lombard effect improve acoustic contrasts between speech and ambient noise? *Computer Speech & Language*, 28(2):580–597, 2014.

[11] M. Goudbeek and K. Scherer. Beyond arousal: Valence and potency/control cues in the vocal expression of emotion. *Journal Acoust. Soc. America*, 128(3):1322–1336, 2010.

[12] E. J. Hunter, L. C. Cantor-Cutiva, E. Van Leer, M. Van Mersbergen, C. D. Nanjundeswaran, P. Bottalico, M. J. Sandage, and S. Whitling. Toward a consensus description of vocal effort, vocal load, vocal loading, and

vocal fatigue. *Journal Speech, Language, and Hearing Research*, 63(2):509–532, 2020.

[13] F. Kelly and J. H. Hansen. Analysis and calibration of lombard effect and whisper for speaker recognition. *IEEE/ACM Transactions on Audio, Speech, and Language Processing*, 29:927–942, 2021.

[14] J. C. Krause and L. D. Braida. Acoustic properties of naturally produced clear speech at normal speaking rates. *Journal Acoust. Soc. America*, 115(1):362–378, 2004.

[15] J.-S. Liénard. Quantifying vocal effort from the shape of the one-third octave long-term-average spectrum of speech. *Journal Acoust. Soc. America*, 146(4):EL369–EL375, 2019.

[16] J.-S. Liénard and C. Barras. Fine-grain voice strength estimation from vowel spectral cues. In *Interspeech*, page 128–132, 2013.

[17] J.-S. Liénard and M.-G. Di Benedetto. Effect of vocal effort on spectral properties of vowels. *Journal Acoust. Soc. America*, 106(1):411–422, 1999.

[18] A. Radford, J. W. Kim, T. Xu, G. Brockman, C. McLeavey, and I. Sutskever. Robust speech recognition via large-scale weak supervision, 2022.

[19] A. Rilliard, C. d'Alessandro, and M. Evrard. Paradigmatic variation of vowels in expressive speech: Acoustic description and dimensional analysis. *Journal Acoust. Soc. America*, 143(1):109–122, 2018.

[20] A. L. Rosenthal, S. Y. Lowell, and R. H. Colton. Aerodynamic and acoustic features of vocal effort. *Journal of Voice*, 28(2):144–153, 2014.

[21] R. O. Sikveland. Failed summons: Phonetic features of persistence and intensification in crisis negotiation. *Journal of Pragmatics*, 150:167–179, 2019.

[22] E. Székely, J. Mendelson, and J. Gustafson. Synthesising uncertainty: The interplay of vocal effort and hesitation disfluencies. In *Interspeech*, page 804–808. ISCA, 2017.

[23] I. R. Titze and J. Sundberg. Vocal intensity in speakers and singers. *Journal Acoust. Soc. America*, 91(5):2936–2946, 1992.

[24] H. Traunmüller and A. Eriksson. Acoustic effects of variation in vocal effort by men, women, and children. *Journal Acoust. Soc. America*, 107(6):3438–3451, 2000.

[25] T. Wolf, L. Debut, V. Sanh, J. Chaumond, C. Delangue, A. Moi, P. Cistac, T. Rault, R. Louf, M. Funtowicz, et al. Transformers: State-of-the-art natural language processing. In *Proceedings of the 2020 conference on empirical methods in Natural Language Processing: system demonstrations*, pages 38–45, 2020.

[26] I. Yanushevskaya, C. Gobl, and A. Ní Chasaide. Cross-language differences in how voice quality and f0 contours map to affect. *Journal Acoust. Soc. America*, 144(5):2730–2750, 2018.

[27] P. Zelinka, M. Sigmund, and J. Schimmel. Impact of vocal effort variability on automatic speech recognition. *Speech Communication*, 54(6):732–742, 2012.

[28] J. G. Švec and S. Granqvist. Tutorial and guidelines on measurement of sound pressure level in voice and speech. *Journal Speech, Language, and Hearing Research*, 61(3):441–461, 2018.