Brevet FR3062945A1 — publié le 20180817

METHODE ET APPAREIL DE MODIFICATION DYNAMIQUE DU TIMBRE DE LA VOIX PAR DECALAGE EN FRÉQUENCE DES FORMANTS D'UNE ENVELOPPE SPECTRALE DOMAINE DE L'INVENTION [1] La présente invention concerne le domaine du traitement acoustique. Plus spécifiquement, la présente invention concerne la modification de signaux acoustiques contenant des paroles, afin de donner un timbre, par 10 exemple un timbre souriant à la voix. ETAT DE L'ART PRECEDENT 15 [2] Le fait de sourire change le son de notre voix de façon reconnaissable, au point que les services de relation-client conseillent à leurs collaborateurs de sourire au téléphone. Même si le sourire n'est pas vu par le client, il est entendu, et influence positivement la satisfaction client. 20 [003] L'étude des caractéristiques d'un signal sonore associées à la voix souriante constitue un sujet d'étude nouveau et encore peu documenté. Le fait de sourire, par l'action des muscles zygomatiques, modifie la forme de la cavité buccale, ce qui a un impact sur le spectre de la voix. Il a notamment été établi que le spectre sonore de la voix est orienté vers de plus hautes 25 fréquences lorsqu'un interlocuteur sourit, et de plus basses fréquences lorsqu'une voix est triste. [004] Le document Quené R, Semin, G. R., & Foroni, F. (2012). Audible smiles and frowns affect speech comprehension. Speech Communication, 54(7), 917-922 décrit un essai de simulation de voix 30 souriante. Cette expérience consiste à enregistrer un mot, énoncé de façon neutre par un expérimentateur. L'expérience se base sur la relation entre les fréquences des formants et le timbre de la voix. Les formants d'un son de parole sont les maxima d'énergie du spectre sonore de la parole. L'expérience de Quené consiste à analyser les formants de la voix lorsqu'elle 35 déclame le mot, stocker leurs fréquences, produire des formants modifiés en 3062945 2 augmentant les fréquences des formants initiaux de 10%, puis re-synthétiser un mot avec les formants modifiés. [5] L'expérience de Quené permet d'obtenir des mots perçus comme ayant été déclamés avec le sourire. Cependant, le mot synthétisé possède 5 un timbre qui sera perçu comme artificiel par un utilisateur. [6] De plus, l'architecture en deux étapes proposée par Quené nécessite d'analyser une portion du signal avant de pouvoir le resynthétiser, et induit donc un décalage temporel entre le moment où le mot est prononcé et le moment où sa transformation peut être diffusée. La méthode de Quené ne permet donc pas de modifier une voix en temps-réel. [7] La modification de la voix en temps réel possède de nombreuses applications intéressantes. Par exemple, une modification de la voix en temps-réel peut être appliquée à des opérateurs de centres d'appel : la voix de l'opérateur peut être modifiée en temps réel avant d'être transmise à un client, afin de paraître plus souriante. Ainsi, le client aurait la sensation que son interlocuteur lui sourit, ce qui est susceptible d'améliorer la satisfaction client. [8] Une autre application est la modification de voix de personnages non joueurs dans des jeux vidéo. Les personnages non joueurs sont tous les personnages, souvent secondaires, qui sont contrôlés par l'ordinateur. Ces personnages sont souvent associés à différentes répliques à déclamer, qui permettent au joueur d'avancer dans l'intrigue d'un jeu vidéo. Ces répliques sont habituellement stockées sous forme de fichiers audio qui sont lus lorsque le joueur interagit avec les personnages non joueurs. Il est intéressant, à partir d'un unique fichier audio neutre, d'appliquer différents filtres à la voix neutre, pour produire un timbre par exemple souriant ou tendu, afin de simuler une émotion du personnage non joueur, et d'augmenter la sensation d'immersion dans le jeu. [9] II y a donc besoin d'une méthode pour modifier un timbre d'une voix, 30 qui soit suffisamment peu complexe pour s'exécuter en temps réel sur des capacités de calcul courantes, et pour laquelle la voix modifiée soit perçue comme étant une voix naturelle. 3062945 3 RESUME DE L'INVENTION [0010] A cet effet, l'invention décrit une méthode de modification d'un signal sonore, ladite méthode comprenant : une étape d'obtention de trames 5 temporelles du signal sonore, dans le domaine fréquentiel ; pour au moins une trame temporelle, l'application d'une première transformation du signal sonore dans le domaine fréquentiel, comprenant : une étape d'extraction d'une enveloppe spectrale du signal sonore pour ladite au moins une trame temporelle ; une étape de calcul des fréquences de formants de ladite 10 enveloppe spectrale ; une étape de modification de l'enveloppe spectrale du signal sonore, ladite modification comprenant l'application d'une fonction continue croissante de transformation des fréquences de l'enveloppe spectrale, paramétrée par au moins deux fréquences de formants de l'enveloppe spectrale. 15 [0011 ] Avantageusement, l'étape de modification de l'enveloppe spectrale du signal sonore comprend également l'application d'un filtre à l'enveloppe spectrale, ledit filtre étant paramétré par la fréquence d'un troisième formant de l'enveloppe spectrale du signal sonore. [0012] Avantageusement, la méthode comprend une étape de classification 20 d'une trame temporelle, selon un ensemble de classes de trames temporelles comprenant au moins une classe de trames voisées et une classe de trames non voisées. [0013] Avantageusement, la méthode comprend : pour chaque trame voisée, l'application de ladite première transformation du signal sonore dans le 25 domaine fréquentiel ; pour chaque trame non voisée, l'application d'une deuxième transformation du signal sonore dans le domaine fréquentiel, ladite deuxième transformation comprenant une étape d'application d'un filtre d'augmentation de l'énergie du signal sonore centré sur une fréquence prédéfinie. [0014] Avantageusement, la deuxième transformation du signal sonore comprend : l'étape d'extraction d'une enveloppe spectrale du signal sonore pour ladite au moins une trame temporelle ; une application d'une fonction continue croissante de transformation des fréquences de l'enveloppe spectrale, paramétrée de manière identique à une fonction continue 3062945 4 croissante de transformation des fréquences de l'enveloppe spectrale pour une trame temporelle immédiatement précédente. [0015] Avantageusement, l'application d'une fonction continue croissante de transformation des fréquences de l'enveloppe spectrale comprend : un 5 calcul, pour un ensemble de fréquences initiales déterminées à partir de formants de l'enveloppe spectrale, de fréquences modifiées; une interpolation linéaire entre les fréquences initiales de l'ensemble de fréquences initiales déterminées à partir de formants de l'enveloppe spectrale et les fréquences modifiées. 10 [0016] Avantageusement, au moins une fréquence modifiée est obtenue en multipliant une fréquence initiale de l'ensemble de fréquences initiales par un coefficient multiplicateur. [0017] Avantageusement, l'ensemble de fréquences déterminées à partir de formants de l'enveloppe spectrale comprend : une première fréquence initiale 15 calculée à partir de la moitié de la fréquence d'un premier formant de l'enveloppe spectrale du signal sonore ; une deuxième fréquence initiale calculée à partir de la fréquence d'un deuxième formant de l'enveloppe spectrale du signal sonore ; une troisième fréquence initiale calculée à partir de la fréquence d'un troisième formant de l'enveloppe spectrale du signal 20 sonore ; une quatrième fréquence initiale calculée à partir de la fréquence d'un quatrième formant de l'enveloppe spectrale du signal sonore ; une cinquième fréquence initiale calculée à partir de la fréquence d'un cinquième formant de l'enveloppe spectrale du signal sonore. [0018] Avantageusement : une première fréquence modifiée est calculée 25 comme étant égale à la première fréquence initiale ; une deuxième fréquence modifiée est calculée en multipliant la deuxième fréquence initiale par le coefficient multiplicateur ; une troisième fréquence modifiée est calculée en multipliant la troisième fréquence initiale par le coefficient multiplicateur ; une quatrième fréquence modifiée est calculée en multipliant 30 la quatrième fréquence initiale par le coefficient multiplicateur ; une cinquième fréquence modifiée est calculée comme étant égale à la cinquième fréquence initiale. [0019] Avantageusement, chaque fréquence initiale est calculée à partir de la fréquence d'un formant d'une trame temporelle courante. 3062945 5 [0020] Avantageusement, chaque fréquence initiale est calculée à partir de la moyenne des fréquences de formants de même rang, pour un nombre supérieur ou égal à deux de trames temporelles successives. [0021] Avantageusement, la méthode est une méthode de modification d'un 5 signal audio comprenant une voix en temps réel, comprenant : la réception d'échantillons audio ; la création d'une trame temporelle d'échantillons audio, quand un nombre suffisant d'échantillons est disponible pour former ladite trame ; l'application d'une transformation fréquentielle aux échantillons audio de ladite trame ; l'application de la première transformation du signal sonore lo à au moins une trame temporelle dans le domaine fréquentiel. [0022] L'invention décrit également une méthode pour l'application d'un timbre souriant à une voix, mettant en oeuvre une méthode de modification d'un signal sonore selon l'invention, lesdites aux moins deux fréquences de formants étant des fréquences de formants affectés par le timbre souriant 15 d'une voix. [0023] Avantageusement, ladite fonction continue croissante de transformation des fréquences de l'enveloppe spectrale a été déterminée lors d'une phase d'entraînement, par comparaison d'enveloppes spectrales de phonèmes énoncés par des utilisateurs, de manière neutre ou souriante. 20 [0024] L'invention décrit également un produit programme d'ordinateur comprenant des instructions de code de programme enregistrées sur un support lisible par ordinateur pour mettre en oeuvre les étapes de la méthode lorsque ledit programme fonctionne sur un ordinateur. 25 [0025] L'invention permet de modifier une voix en temps réel pour l'affecter d'un timbre, par exemple un timbre souriant ou tendu. [0026] La méthode de l'invention est peu complexe, et peut s'exécuter en temps réel sur des capacités de calcul ordinaires. [0027] L'invention introduit un délai minimal entre la voix initiale et la voix 30 modifiée. [0028] L'invention produit des voix perçues comme naturelles. [0029] L'invention peut être implémentée sur la plupart des plateformes, en utilisant différents langages de programmation. 3062 945 6 LISTE DES FIGURES [0030] D'autres caractéristiques apparaîtront à la lecture de la description détaillée donnée à titre d'exemple et non limitative qui suit faite au regard de 5 dessins annexés qui représentent: la figure 1, un exemple d'enveloppes spectrales, pour la voyelle 'a', dite par un expérimentateur avec et sans sourire ; La figure 2, un exemple de système mettant en oeuvre l'invention ; les figures 3a et 3b, deux exemples de méthode selon l'invention; 10 les figures 4a et 4b, deux exemples de fonctions continues croissantes de transformation des fréquences de l'enveloppe spectrale d'une trame temporelle selon l'invention ; les figures 5a, 5b et 5c, trois exemples d'enveloppes spectrales de voyelles modifiées selon l'invention ; 15 les figures 6a, 6b et 6c, trois exemples de spectrogrammes de phonèmes énoncés avec et sans sourire; la figure 7, un exemple de transformation de spectrogramme de voyelles selon l'invention ; La figure 8, trois exemples de transformations de spectrogrammes de 20 voyelles selon 3 exemples de mise en oeuvre de l'invention DESCRIPTION DETAILLEE [0031] La figure 1 représente un exemple d'enveloppes spectrales, pour la 25 voyelle 'a', dite par un expérimentateur avec et sans sourire. [0032] Le graphe 100 représente deux enveloppes spectrales : l'enveloppe spectrale 120 représente l'enveloppe spectrale de la voyelle 'a', prononcée sans sourire par un expérimentateur ; l'enveloppe spectrale 130 représente la même voyelle 'a', dite par le même expérimentateur, mais en souriant. Les 30 deux enveloppes spectrales 120 et 130 représentent une interpolation des pics du spectre de Fourier du son: l'axe horizontal 110 représente la fréquence, selon une échelle logarithmique ; l'axe vertical 111 représente la magnitude du son à une fréquence donnée. [0033] L'enveloppe spectrale 120 comprend une fréquence fondamentale 35 FO 121, et plusieurs formants, parmi lesquels un premier formant F1 122, un 3062945 7 deuxième formant F2 123, un troisième formant F3 124, un quatrième formant F4 125 et un cinquième formant F5 126. [0034] L'enveloppe spectrale 130 comprend une fréquence fondamentale FO 131, et plusieurs formants, parmi lesquels un premier formant F1 132, un 5 deuxième formant F2 133, un troisième formant F3 134, un quatrième formant F4 135 et un cinquième formant F5 136. [0035] II peut être remarqué que, bien que l'allure globale des deux enveloppes spectrales soit identique (ce qui permet de reconnaître le même phonème 'a' lorsque le locuteur prononce ce phonème avec ou sans sourire), 10 le fait de sourire affecte les fréquences des formants. En effet, les fréquences des premier formant F1 132, deuxième formant F2 133, troisième formant F3 134, quatrième formant F4 135 et cinquième formant F5 136 pour l'enveloppe spectrale 130 du phonème prononcé en souriant sont respectivement plus hautes que les fréquences des premier formant F1 122, 15 deuxième formant F2 123, troisième formant F3 124, quatrième formant F4 125 cinquième formant F5 126 pour l'enveloppe spectrale 120 du phonème prononcé de manière neutre. Au contraire, les fréquences fondamentales FO 121 et 131 sont les mêmes pour les deux enveloppes spectrales. 20 [0036] Parallèlement, l'enveloppe spectrale de la voix souriante présente également une intensité plus importante autour de la fréquence du troisième formant F3 134. [0037] Ces différences permettent à l'auditeur à la fois de reconnaître le phonème prononcé, et de reconnaître la manière dont il a été prononcé 25 (neutre ou souriante). [0038] La figure 2 représente un exemple de système mettant en oeuvre l'invention. [0039] Le système 200 présente un exemple de mise en oeuvre de 30 l'invention, dans le cas d'une liaison entre un utilisateur 240 et un téléopérateur 210. Le téléopérateur 210 communique dans cet exemple par le biais d'un casque audio équipé d'un microphone, relié à une station de travail. Cette station de travail est reliée à un serveur 220, qui peut par exemple être utilisé pour l'ensemble d'un centre d'appel, ou un groupe de 35 téléopérateurs. Le serveur 220 communique, par le biais d'un lien de 3062945 8 communication avec une antenne-relais 230, permettant une liaison radio avec un téléphone portable de l'utilisateur 240. [0040] Ce système est donné à titre d'exemple uniquement, et d'autres architectures peuvent être mises en place. Par exemple, l'utilisateur 240 peut 5 utiliser un téléphone fixe. Le téléopérateur peut également utiliser un téléphone, en liaison avec le serveur 220. L'invention peut ainsi être appliquée à toutes les architectures de système permettant une liaison entre un utilisateur et un téléopérateur, comprenant au moins un serveur ou une station de travail. 10 [0041] Le téléopérateur 210 parle généralement d'une voix neutre. Une méthode selon l'invention peut ainsi être appliquée, par exemple par le serveur 220 ou la station de travail du téléopérateur 210, pour modifier en temps réel le son de la voix du téléopérateur, et transmettre au client 240 une voix modifiée, paraissant naturellement souriante. Ainsi, la sensation du 15 client concernant l'interaction avec le téléopérateur s'en trouve améliorée. En retour, le client peut également répondre à une voix lui paraissant souriante de manière souriante, ce qui contribue à améliorer de manière globale l'interaction entre le client 240 et le téléopérateur 210. [0042] L'invention n'est cependant pas restreinte à cet exemple. Elle peut 20 par exemple être utilisée pour modifier en temps réel des voix neutres. Par exemple, elle peut être utilisée pour donner un timbre (tendu, souriant...) à une voix neutre d'un Personnage Non Joueur d'un jeu vidéo, afin de donner la sensation à un joueur que le Personnage Non Joueur ressent une émotion. Elle peut être utilisée, sur le même principe, pour modifier en temps 25 réel des phrases dites par un robot humanoïde, afin de donner la sensation à l'utilisateur du robot humanoïde que celui-ci ressent un sentiment, et améliorer l'interaction entre l'utilisateur et le robot humanoïde. L'invention peut également être appliquée à des voix de joueurs pour des jeux vidéos en ligne, ou dans une optique thérapeutique, en modifiant en temps réel la voix 30 du patient, afin d'améliorer l'état émotionnel du patient, en lui donnant l'impression de parler lui-même d'une voix souriante. [0043] Les figures 3a et 3b représentent deux exemples de méthode selon l'invention. 3062945 9 [0044] La figure 3a représente un premier exemple de méthode selon l'invention. [0045] La méthode 300a est une méthode de modification d'un signal sonore, et peut être utilisée par exemple pour affecter une émotion à une 5 piste vocale prononcée de façon neutre. L'émotion peut consister à rendre la voix plus souriante, mais peut également consister à rendre la voix moins souriante, plus tendue, ou lui affecter des états émotionnels intermédiaires. [0046] La méthode 300a comprend une étape d'obtention 310 de trames temporelles du signal sonore, et de leur transformation dans le domaine 10 fréquentiel. L'étape 310 consiste à obtenir des trames temporelles successives formant le signal sonore. [0047] Les trames audio peuvent être obtenues de différentes manières. Par exemple, elle peuvent être obtenues en enregistrant un opérateur parlant par le biais d'un microphone, en lisant un fichier audio, ou en recevant des 15 données audio, par exemple par le biais d'une connexion. [0048] Selon différents modes de réalisation de l'invention, les trames temporelles peuvent être de durée fixe ou variable. Par exemple, les trames temporelles peuvent avoir une durée aussi courte que possible permettant une bonne analyse spectrale, par exemple 25 ou 50 ms. Cette durée permet 20 avantageusement d'obtenir un signal sonore pour être représentative d'un phonème, tout en limitant la latence générée par la modification du signal sonore. [0049] Selon différents modes de réalisation de l'invention, le signal sonore peut être de différents types. Par exemple, il peut s'agir d'un signal mono, 25 stéréo, ou d'un signal comprenant plus de deux canaux. La méthode 300a peut être appliquée à tout ou partie des canaux du signal. De la même manière, le signal peut être échantillonné selon différentes fréquences, par exemple 16000Hz, 22050 Hz, 32000 Hz, 44100 Hz, 48000 Hz, 88200 Hz ou 96000 Hz. Les échantillons peuvent être représentés de différentes 30 manières. Par exemple, il peut s'agir d'échantillons sonores représentés sur 8, 12, 16, 24 ou 32 bits. L'invention peut ainsi être appliquée à tout type de représentation informatique d'un signal sonore. [0050] Selon différents modes de réalisation de l'invention, les trames temporelles peuvent être obtenues soit directement sous la forme de leur 3062 945 10 transformée fréquentielle, soit acquises dans le domaine temporel et transformées dans le domaine fréquentiel. [0051] Elles peuvent par exemple être obtenues directement dans le domaine fréquentiel si le signal sonore est initialement stocké ou transmis à 5 l'aide d'un format audio compressé, par exemple selon le format MP3 (ou MPEG-1/2 Audio Layer 3, de l'acronyme anglais Motion Picture Expert Group - 1/2 Audio Layer 3, en français Groupe d'Experts d'Images Animées Couche Audio 3), AAC (de l'acronyme anglais Advanced Audio Coding, en français Codage Audio Avancé), WMA (de l'acronyme Windows Media Audio 10 en français Media Audio Fenêtre), ou tout autre format de compression dans lequel le signal audio est stocké dans le domaine fréquentiel. [0052] Les trames peuvent également être obtenues dans un premier temps dans le domaine temporel, puis converties dans le domaine fréquentiel. Par exemple, un son peut être enregistré en direct en utilisant un microphone, 15 par exemple un microphone dans lequel parlerait le téléopérateur 210. Les trames temporelles sont alors dans un premier temps constituées en stockant un nombre donné d'échantillons successifs (défini par la durée de la trame et la fréquence d'échantillonnage du signal sonore), puis en appliquant une transformation fréquentielle du signal sonore. La transformation 20 fréquentielle peut par exemple être une transformation du type DFT (de l'anglais Direct Fourier Transform, en français Transformée de Fourier Discrète), DCT (de l'anglais Direct Cosine Transform, en français Transformée Cosinus Discrète), MDCT (de l'anglais Modified Direct Cosine Transform, en français Transformée Cosinus Discrète Modifiée), ou tout 25 autre transformation appropriée permettant de convertir les échantillons sonores du domaine temporel au domaine fréquentiel. [0053] La méthode 300a comprend ensuite, pour au moins une trame temporelle, l'application d'une première transformation 320a du signal sonore dans le domaine fréquentiel. 30 [0054] La première transformation 320a comprend une étape d'extraction 330 d'une enveloppe spectrale du signal sonore pour ladite au moins une trame. L'extraction de l'enveloppe spectrale du signal sonore à partir de la transformée fréquentielle d'une trame est bien connue de l'homme de l'art. La transformée fréquentielle peut s'effectuer de nombreuses manières 35 connues de l'homme de l'art. La transformée fréquentielle peut s'effectuer 3062945 11 par exemple par codage prédictif linéaire, tel que décrit par exemple par Makhoul, J. (1975). Linear prediction: A tutorial review. Proceedings of the IEEE, 63(4), 561-580. La transformée fréquentielle peut également s'effectuer par exemple par transformation cepstrale, tel que décrite par 5 exemple par Riibel, A., Villavicencio, F., & Rodet, X. (2007). On cepstral and all-pole based spectral envelope modeling with unknown mode/ order. Pattern Recognition Letters, 28(11), 1343-1350. Toute autre méthode connue de l'homme de l'art de transformation fréquentielle peut également être utilisée. 10 [0055] La première transformation 300a comprend également une étape de calcul 340 des fréquences de formants de ladite enveloppe spectrale. De nombreuses méthodes d'extraction de formants peuvent être utilisées dans l'invention. Le calcul des fréquences de formants de l'enveloppe spectrale peut par exemple s'effectuer par la méthode décrite par McCandless, S. 15 (1974). An algorithm for automatic formant extraction using linear prediction spectra. IEEE Transactions on Acoustics, Speech, and Signal Processing, 22(2), 135-141. [0056] La méthode 300a comprend également une étape de modification 350 de l'enveloppe spectrale du signal sonore. La modification de 20 l'enveloppe spectrale du spectre sonore permet d'obtenir une enveloppe spectrale plus représentative de l'émotion voulue. [0057] L'étape de modification 350 de l'enveloppe spectrale comprend l'application 351 d'une fonction continue croissante de transformation des fréquences de l'enveloppe spectrale, paramétrée par au moins deux 25 fréquences de formants de l'enveloppe spectrale. [0058] L'utilisation d'une fonction continue croissante de transformation pour modifier les fréquences de l'enveloppe spectrale permet de modifier l'enveloppe spectrale sans créer de discontinuité entre fréquences successives. Par ailleurs, le paramétrage de la fonction continue croissante 30 de transformation par au moins deux fréquences de formants permet d'affecter une transformation continue de l'enveloppe spectrale à la partie du spectre, définie par les fréquences de certains formants, affectée par une émotion donnée. [0059] Dans un mode de réalisation de l'invention, l'étape de modification 35 350 de l'enveloppe spectrale du signal sonore comprend également 3062945 12 l'application 352 d'un filtre dynamique à l'enveloppe spectrale, ledit filtre étant paramétré par la fréquence d'un troisième formant F3 de l'enveloppe spectrale du signal sonore. [0060] Cette étape permet d'augmenter ou de réduire l'intensité du signal 5 autour de la fréquence du troisième formant F3 de l'enveloppe spectrale du signal sonore, afin que l'enveloppe spectrale modifiée soit encore plus proche de celle d'un phonème émis avec l'émotion désirée. Par exemple, comme montré en figure 1, une augmentation de l'intensité sonore autour de la fréquence du troisième formant F3 de l'enveloppe spectrale du signal 10 sonore permet d'obtenir une enveloppe spectrale encore plus proche de ce que serait l'enveloppe spectrale d'un même phonème énoncé en souriant. [0061] Selon différents modes de réalisation de l'invention, le filtre utilisé à cette étape peut être de différents types. Par exemple, le filtre peut être un filtre bi-quad de gain 8dB, Q = 1,2, centré sur la fréquence du troisième 15 formant F3. Ce filtre permet d'augmenter l'intensité du spectre pour des fréquences autour de celle du formant F3, et ainsi d'obtenir une enveloppe spectrale plus proche de celle qui aurait été obtenue par un locuteur souriant. [0062] Une fois l'enveloppe spectrale modifiée, l'enveloppe spectrale peut être appliquée au spectre sonore. De nombreux modes de réalisation sont 20 possibles pour appliquer l'enveloppe spectrale au spectre sonore. Par exemple, il est possible de multiplier chacune des composantes du spectre par la valeur correspondante de l'enveloppe, comme décrit par exemple par Luini M. Et al. (2013). Phase vocoder and beyond. Musica/Tenologia, Août 2013, Vol. 7, n° 2013, p. 77-89. 25 [0063] Une fois le spectre sonore reconstitué, différents traitements peuvent être appliqués à la trame, selon différents modes de réalisation de l'invention. Dans certains modes de réalisation de l'invention, une transformée fréquentielle inverse peut être appliquée directement à la trame sonore, afin de reconstruire le signal audio et l'écouter directement. Ceci permet par 30 exemple d'écouter une voix modifiée de personnage non joueur d'un jeu vidéo. [0064] II est également possible de transmettre le signal sonore modifié, afin qu'il soit écouté par un utilisateur tiers. C'est par exemple le cas pour des modes de réalisation relatifs à des centres d'appels de téléopérateurs. Dans 3062945 13 ce cas, le signal sonore peut être transmis sous forme brute ou compressée, dans le domaine fréquentiel ou dans le domaine temporel. [0065] Dans certains modes de réalisation de l'invention, la méthode 300a peut être utilisée pour modifier un signal audio comprenant une voix en 5 temps réel, afin d'affecter en temps réel une émotion à une voix neutre. Cette modification en temps réel peut par exemple s'effectuer en : Recevant des échantillons audio, par exemple enregistrés en temps réel par un microphone ; créant une trame temporelle d'échantillons audio, quand un 10 nombre suffisant d'échantillons est disponible pour former ladite trame; appliquant une transformation fréquentielle aux échantillons audio de ladite trame ; appliquant la première transformation 320a du signal sonore à au 15 moins une trame transformée dans le domaine fréquentiel. [0066] Cette méthode permet d'appliquer en temps réel une expression à une voix neutre. L'étape de création de la trame (ou fenêtrage) induit une latence dans l'exécution de la méthode, puisque les échantillons audio ne peuvent être traités, que lorsque l'ensemble des échantillons d'une trame 20 sont reçus. Cependant, cette latence dépend uniquement de la durée des trames temporelles, et peut être faible, par exemple si les trames temporelles ont une durée de 50 ms. [0067] L'invention porte également sur un produit programme d'ordinateur comprenant des instructions de code de programme enregistrées sur un 25 support lisible par ordinateur pour mettre en oeuvre la méthode 300a, ou toute autre méthode selon différents modes de réalisation de l'invention, lorsque ledit programme fonctionne sur un ordinateur. Ledit programme d'ordinateur peut par exemple être stocké et/ou exécuté sur la station de travail du téléopérateur 210, ou sur le serveur 220. 30 [0068] La figure 3b représente un deuxième exemple de méthode selon l'invention. [0069] La méthode 300b est également une méthode de modification d'un signal sonore, permettant de traiter différemment les trames temporelles 35 selon le type d'information qu'elles contiennent. 3062945 14 [0070] A cet effet, la méthode 300b comprend une étape de classification 360 d'une trame temporelle, selon un ensemble de classes de trames temporelles comprenant au moins une classe de trames voisées et une classe de trames non voisées. 5 [0071] Cette étape permet d'associer chaque trame à une classe, et d'adapter le traitement de la trame selon la classe à laquelle elle appartient. Une trame temporelle peut par exemple appartenir à une classe de trames voisées si elle comprend une voyelle, et à une classe de trame non voisées si elle ne comprend pas de voyelle, par exemple si elle comprend une 10 consonne. Différentes méthodes existent pour déterminer le caractère voisé ou non voisé d'une trame temporelle. Par exemple, le ZCR (de l'acronyme anglais Zero Crossing Rate, ou Taux de Passage à Zéro) de la trame peut être calculé, et comparé à un seuil. Si le ZCR est en-dessous du seuil, la trame sera considérée comme non voisée, sinon comme voisée. 15 [0072] La méthode 300b comprend, pour chaque trame voisée, l'application de la première transformation 320a du signal sonore dans le domaine fréquentiel. Tous les modes de mise en oeuvre de l'invention discutés en référence à la figure 3a peuvent être appliqués à la première transformation 320a dans le cadre de la méthode 300b. 20 [0073] La méthode 300b comprend, pour chaque trame non voisée, l'application d'une deuxième transformation 320b du signal sonore dans le domaine fréquentiel. [0074] La deuxième transformation 320b du signal sonore dans le domaine fréquentiel comprend une étape d'application d'un filtre d'augmentation de 25 l'énergie du signal sonore 370 centré sur une fréquence, par exemple une fréquence prédéfinie. Dans un mode de réalisation, ce filtre est un filtre biquad de gain 8 dB, de Q = 1, centré sur une fréquence dans le hautmedium/aigu, par exemple 6000 Hz. [0075] Cette caractéristique permet d'affiner la transformation du signal 30 audio en appliquant une transformation sur des trames non-voisées, pour lesquelles l'enveloppe spectrale ne présente pas de formant. [0076] Dans un mode de réalisation de l'invention, la deuxième transformation 320b du signal sonore comprend également l'étape 330 d'extraction d'une enveloppe spectrale du signal sonore, pour la trame 3062945 15 concernée, et une étape d'application 351b d'une fonction continue croissante de transformation des fréquences de l'enveloppe spectrale. [0077] L'étape d'application 351b d'une fonction continue croissante de transformation des fréquences de l'enveloppe spectrale est paramétrée de 5 manière identique à une fonction continue croissante de transformation des fréquences de l'enveloppe spectrale pour une trame temporelle immédiatement précédente. Ainsi, dans ce mode de réalisation de l'invention si une trame voisée est immédiatement suivie d'une trame non voisée, une fonction continue croissante de transformation des fréquences de lo l'enveloppe est paramétrée selon les fréquences de formants de l'enveloppe spectrale de la trame voisée, puis est appliquée selon les mêmes paramètres à la trame non voisée immédiatement suivante. Si plusieurs trames non voisées suivent la trame voisée, la même fonction de transformation, selon les mêmes paramètres, peut être appliquée aux trames non voisées 15 successives. [0078] Cette caractéristique permet d'appliquer une fonction de transformation des fréquences de l'enveloppe spectrale des trames non voisées, même si celles-ci ne comprennent pas de formants, tout en bénéficiant d'une transformation aussi cohérente que possible avec les 20 trames voisées précédentes. [0079] Les figures 4a et 4b représentent deux exemples de fonctions continues croissantes de transformation des fréquences de l'enveloppe spectrale d'une trame temporelle selon l'invention. 25 [0080] La figure 4a représente un premier exemple de fonction continue croissante de transformation des fréquences de l'enveloppe spectrale d'une trame temporelle selon l'invention. [0081] La fonction 400a définit les fréquences de l'enveloppe spectrale 30 modifiée, représentées sur l'axe des abscisses 401, en fonction des fréquences de l'enveloppe spectrale initiale, représentées sur l'axe des ordonnées 402. Cette fonction permet ainsi de construire l'enveloppe spectrale modifiée de la manière suivante : l'intensité de chaque fréquence de l'enveloppe spectrale modifiée est égale à l'intensité de la fréquence de 35 l'enveloppe spectrale initiale indiquée par la fonction. Par exemple, l'intensité 3062945 16 pour la fréquence 411a de l'enveloppe spectrale modifiée est égale à l'intensité pour la fréquence 410a de l'enveloppe spectrale initiale. [0082] Dans un ensemble de modes de réalisation de l'invention, la fonction de transformation des fréquences est définie de la manière suivante : 5 On calcule, pour chaque fréquence initiale d'un ensemble de fréquences initiales, une fréquence modifiée. Dans l'exemple de la fonction 400a, on calcule les fréquences modifiées 411a, 421a, 431a, 441a et 451a correspondant respectivement aux fréquences initiales 410a, 420a, 430a, 440a et 450a ; 10 On effectue ensuite des interpolations linéaires entre les fréquences initiales de l'ensemble de fréquences initiales déterminées à partir de formants de l'enveloppe spectrale et les fréquences modifiées. Par exemple, l'interpolation linéaire 460 permet de définir de manière linéaire, pour chaque fréquence initiale entre la première fréquence 15 initiale 410a et la deuxième fréquence initiale 420a, une fréquence modifiée, entre la première fréquence modifiée 411a et la deuxième fréquence modifiée 421a. [0083] De manière similaire : L'interpolation linéaire 461 permet de définir de manière linéaire, pour 20 chaque fréquence initiale entre la deuxième fréquence initiale 420a et la troisième fréquence initiale 430a, une fréquence modifiée, entre la deuxième fréquence modifiée 421a et la troisième fréquence modifiée 431a , L'interpolation linéaire 462 permet de définir de manière linéaire, pour 25 chaque fréquence initiale entre la troisième fréquence initiale 430a et la quatrième fréquence initiale 440a, une fréquence modifiée, entre la troisième fréquence modifiée 431a et la quatrième fréquence modifiée 441a ; L'interpolation linéaire 463 permet de définir de manière linéaire, pour 30 chaque fréquence initiale entre la quatrième fréquence initiale 440a et la cinquième fréquence initiale 450a, une fréquence modifiée, entre la quatrième fréquence modifiée 441a et la cinquième fréquence modifiée 451a. [0084] Les fréquences modifiées peuvent être calculées de différentes 35 manières. Certaines d'entre elles peuvent être égales aux fréquences 3062 945 17 initiales. Certaines peuvent par exemple être obtenues en multipliant une fréquence initiale par un coefficient multiplicateur a. Ceci permet, selon que le coefficient multiplicateur a est supérieur ou inférieur à un, d'obtenir des fréquences modifiées plus élevées ou plus faibles que les fréquences 5 initiales. De manière générale, une fréquence modifiée plus élevée que la fréquence initiale correspondante (a > 1) est associée à une voix plus joyeuse ou souriante, alors qu'une fréquence modifiée plus faible que la fréquence initiale correspondante (a REVENDICATIONS1. Méthode de modification d'un signal sonore, ladite méthode comprenant : ^ une étape d'obtention (310) de trames temporelles du signal sonore, dans le domaine fréquentiel ; ^ pour au moins une trame temporelle, l'application d'une première transformation (320a) du signal sonore dans le to domaine fréquentiel, comprenant : o une étape d'extraction (330) d'une enveloppe spectrale du signal sonore pour ladite au moins une trame temporelle ; o une étape de calcul (340) des fréquences de formants de ladite enveloppe spectrale ; o une étape de modification (350) de l'enveloppe spectrale du signal sonore, ladite modification comprenant l'application (351) d'une fonction continue croissante de transformation des fréquences de 2 l'enveloppe spectrale, paramétrée par au moins deux fréquences de formants de l'enveloppe spectrale. 2. Méthode selon la revendication 1, dans laquelle l'étape de modification (350) de l'enveloppe spectrale du signal sonore comprend également 26 l'application (352) d'un filtre à l'enveloppe spectrale, ledit filtre étant paramétré par la fréquence d'un troisième formant (F3) de l'enveloppe spectrale du signal sonore. 3. Méthode selon l'une des revendications 1 à 2, comprenant une étape de classification (360) d'une trame temporelle, selon un ensemble de classes de trames temporelles comprenant au moins une classe de trames voisées et une classe de trames non voisées. 4. Méthode selon la revendication 3, comprenant : 3062945 pour chaque trame voisée, l'application de ladite première transformation (320a) du signal sonore dans le domaine fréquentiel ; ^ pour chaque trame non voisée, l'application d'une deuxième transformation (320b) du signal sonore dans le domaine fréquentiel, ladite deuxième transformation comprenant une étape d'application d'un filtre d'augmentation de l'énergie du signal sonore (370) centré sur une fréquence prédéfinie. 10 5. Méthode selon la revendication 4 dans la laquelle deuxième transformation (320b) du signal sonore comprend : l'étape d'extraction (330) d'une enveloppe spectrale du signal sonore pour ladite au moins une trame temporelle ; une application (351b) d'une fonction continue croissante de transformation des fréquences de l'enveloppe spectrale, paramétrée de manière identique à une fonction continue croissante de transformation des fréquences de l'enveloppe spectrale pour une trame temporelle immédiatement précédente. 20 6. Méthode selon l'une des revendications 1 à 5, dans laquelle l'application (351) d'une fonction continue croissante de transformation des fréquences de l'enveloppe spectrale comprend : ^ un calcul, pour un ensemble de fréquences initiales (410, 420, 25 430, 440, 450) déterminées à partir de formants de l'enveloppe spectrale, de fréquences modifiées (410a, 420a, 430a, 440a, 450a) ; ^ une interpolation linéaire (460, 461, 462, 463) entre les fréquences initiales de l'ensemble de fréquences initiales 30 déterminées à partir de formants de l'enveloppe spectrale et les fréquences modifiées. 7. Méthode selon la revendication 5, dans laquelle au moins une fréquence modifiée (420a, 430a, 440a) est obtenue en multipliant une 3062945 26 fréquence initiale (420, 430, 440) de l'ensemble de fréquences initiales par un coefficient multiplicateur (a). 8. Méthode selon la revendication 7, dans laquelle l'ensemble de fréquences déterminées à partir de formants de l'enveloppe spectrale comprend: une première fréquence initiale (410) calculée à partir de la moitié de la fréquence d'un premier formant (F1) de l'enveloppe spectrale du signal sonore ; 10 ^ une deuxième fréquence initiale (420) calculée à partir de la fréquence d'un deuxième formant (F2) de l'enveloppe spectrale du signal sonore ; ^ une troisième fréquence initiale (430) calculée à partir de la fréquence d'un troisième formant (F3) de l'enveloppe spectrale du signal sonore ; ^ une quatrième fréquence initiale (440) calculée à partir de la fréquence d'un quatrième formant (F4) de l'enveloppe spectrale du signal sonore ; ^ une cinquième fréquence initiale (450) calculée à partir de la 20 fréquence d'un cinquième formant (F5) de l'enveloppe spectrale du signal sonore. 9. Méthode selon la revendication 8, dans laquelle : ^ une première fréquence modifiée (410a) est calculée comme étant 25 égale à la première fréquence initiale (410) ; ^ une deuxième fréquence modifiée (420a) est calculée en multipliant la deuxième fréquence initiale (420) par le coefficient multiplicateur (a) ; une troisième fréquence modifiée (430a) est calculée en multipliant 30 la troisième fréquence initiale (430) par le coefficient multiplicateur (a) ; une quatrième fréquence modifiée (440a) est calculée en multipliant la quatrième fréquence initiale (440) par le coefficient multiplicateur (a) ; 3062945 27 - une cinquième fréquence modifiée (450a) est calculée comme étant égale à la cinquième fréquence initiale (450). 10. Méthode selon l'une des revendications 8 et 9, dans laquelle chaque fréquence initiale est calculée à partir de la fréquence d'un formant d'une trame temporelle courante. 11. Méthode selon la revendication 8, dans laquelle chaque fréquence initiale est calculée à partir de la moyenne des fréquences de formants de même rang, pour un nombre supérieur ou égal à deux de trames temporelles successives. 12. Méthode selon l'une des revendications 1 à 11, ladite méthode étant adaptée pour modifier le signal sonore en temps réel, et dans laquelle : 15 ^ le signal sonore comprend une voix ; ^ l'étape d'obtention (310) de trames temporelles du signal sonore dans le domaine fréquentiel comprend : 0 la réception d'échantillons audio ; la création d'une trame temporelle d'échantillons audio, 20 quand un nombre suffisant d'échantillons est disponible pour former ladite trame ; o l'application d'une transformation fréquentielle aux échantillons audio de ladite trame. 25 13. Méthode selon l'une des revendications 1 à 12, ladite méthode étant adaptée pour l'application d'un timbre souriant à une voix, dans laquelle lesdites aux moins deux fréquences de formants sont des fréquences de formants affectés par le timbre souriant d'une voix. 14. Méthode selon la revendication 13, caractérisée en ce que ladite fonction continue croissante de transformation des fréquences de l'enveloppe spectrale a été déterminée lors d'une phase d'entraînement, par comparaison d'enveloppes spectrales de phonèmes énoncés par des utilisateurs, de manière neutre ou souriante. 3062945 28 15. Produit programme d'ordinateur comprenant des instructions de code de programme enregistrées sur un support lisible par ordinateur pour mettre en oeuvre les étapes de la méthode selon l'une des revendications 1 à 12 lorsque ledit programme fonctionne sur un ordinateur.