FR 2888385 A1 20070112 FR 0507416 A 20050708 La présente invention concerne un procédé de synthèse par composition de synthèses différenciées de sons émis par un instrument, par extraction de la texture d'un enregistrement de sons émis par ledit instrument puis application de ladite texture aux éléments identifiants l'unité dudit instrument (dite base) provenant d'un autre enregistrement de l'instrument, puis mélange de cette composition de synthèse différenciée avec l'enregistrement ayant servi à l'extraction de la base ou une autre synthèse ayant la même base mais une autre texture. Elle a plus particulièrement pour objet de transformer les sons émis par un 20 instrument (voix et musique) d'une façon réaliste et, d'une manière plus générale, de traiter la voix et la musique. Elle s'applique notamment, mais non exclusivement, au grand public et aux professionnels du son qui souhaitent transformer la voix et la musique, améliorer l'expressivité et le réalisme des instruments virtuels à partir d'enregistrements audio, en rendant fidèlement l'expression du musicien ou du chanteur. D'une façon générale, on sait que le signal vocal ou d'un instrument de musique est composé d'un mélange de signaux transitoires très complexes (bruits) et de parties de signal quasi-périodiques (sons harmoniques). Pour la 2888385 2 voix, les bruits peuvent être de petites explosions: P, T, K; des bruits diffus doux: F, H ou intenses CH, S; quant aux sons harmoniques, leur spectre varie avec le type de voyelle et avec le locuteur. Les rapports d'intensité entre les bruits et les voyelles changent selon qu'il s'agit d'une voix conversationnelle, d'une voix parlée type conférence, d'une voix forte criée ou d'une voix chantée. La voix forte et la voix chantée favorisent les sons vocaliques (sons harmoniques) au détriment des bruits. Le signal vocal transmet simultanément deux types de messages: un message sémantique convoyé par la parole, expression verbale de la pensée, et un message esthétique perceptible au travers des qualités esthétiques de la voix (timbre, intonation, débit, etc.). Le contenu sémantique de la parole, support d'une bonne intelligibilité est pratiquement indépendant des qualités de la voix; il est véhiculé par les formes acoustiques temporelles. Une voix chuchotée n'est constituée que de bruits d'écoulement; une voix intime ou de proximité est constituée d'un mélange de sons harmoniques dans les fréquences graves et de bruits d'écoulement dans l'aigu; la voix d'un conférencier ou d'un chanteur possède un spectre vocalique harmonique riche et intense. Les instruments de musique, les chanteurs et les orateurs sont caractérisés par leur tessiture, c'est-à-dire l'étendue en fréquence de toutes les notes qu'ils peuvent émettre. La plupart des instruments de musique émettent principalement un son harmonique , c'est-à-dire un fondamental intense accompagné d'harmoniques dont l'intensité décroît avec le rang. Par la suite nous définirons: 2888385 -3- L'unicité de l'instrument par l'appréciation de la qualité d'un son comme étant une note jouée par un seul instrument. La base d'un son par l'ensemble des fréquences, de leur phase respective et, en option, de leur intensité, variant dans le temps pour un nombre restreint de composantes dominantes sinusoïdales du signal audio permettant d'identifier l'unicité d'instrument. La valeur subjective de l'intensité pour un cycle de la composante peut être évaluée par exemple par l'amplitude du cycle, son maximum ou encore sa puissance (puissance efficace par exemple). - La texture du son d'un instrument (de musique ou vocal) par l'ensemble de ses propriétés qui définissent le timbre (ou couleur), et la voyelle (pour le chant) indépendamment de son unicité; elle résulte de la suppression de la base du signal d'origine. Par la suite, les notes, nommées ci-après "forte" et "piano", correspondent à deux sonorités quelconques, par exemple deux timbres, deux couleurs ou deux voyelles quelconques. On sait par ailleurs que les échantillonneurs permettent de réaliser des instruments virtuels imitant ainsi d'autres instruments avec un rendu sonore plus ou moins réaliste; ils sont utilisés notamment pour reproduire des instruments acoustiques, électroacoustiques ou même synthétiques et ainsi réaliser des orchestrations ou des parties solistes par ordinateur. Le son, produit par l'échantillonneur résulte de la lecture d'un enregistrement plus ou moins transformé de l'instrument réel; la transformation de l'enregistrement est effectuée en général pour adapter le son au contexte du jeu. En l'occurrence, il s'agit généralement de conversions en temps réel des données échantillonnées permettant de simuler une accélération ou un 2888385 4 ralentissement de la lecture de l'enregistrement et de la modification de l'enveloppe de volume ou du filtrage des harmoniques. Un aspect important est la reproduction des nuances; lorsqu'un instrument joue piano ou forte, le son a un timbre (ou couleur) différent; ainsi pour reproduire ces différences, des filtres sont généralement utilisés permettant de modifier l'intensité des harmoniques de l'instrument; le résultat est étroitement lié au modèle de filtrage utilisé et les résultats sont nettement moins réalistes contrairement aux résultats obtenus à partir d'un enregistrement possédant les bonnes nuances. Par conséquent, pour modéliser un instrument acoustique de qualité, toutes les notes de l'instrument associées à plusieurs niveaux de nuances doivent être enregistrées, chromatiquement de préférence; cette démarche est complexe et néanmoins insuffisante pour les instruments à cordes ou les instruments à vent, et notamment pour la voix. En effet, ces instruments permettent de contrôler l'intensité sonore et de moduler le timbre tout au long de la tenue de la note, de manière à obtenir une variété de crescendo, decrescendo et autres variations diverses de l'intensité et du timbre et donner ainsi de l'expression à une phrase musicale. Pour reproduire ces variations de nuances et de timbre, on peut distinguer trois approches: l'enregistrement de variations réelles: plusieurs niveaux d'intensité ainsi que diverses performances élémentaires telles que crescendo et decrescendo associées à plusieurs intensités, durées et amplitudes, sont enregistrés pour chaque note; cette approche permet d'obtenir des sons particulièrement réalistes, néanmoins, elle nécessite de grandes quantités d'enregistrements qui ne correspondent pas obligatoirement à la phrase recherchée, et restent difficile à exploiter, 2888385 5 le mélange de deux ou plusieurs enregistrements: à partir d'un mélange d'un enregistrement d'un ensemble homogène d'instruments (par exemple une section de violons) jouant forte avec un enregistrement jouant piano, et d'un dosage de ce mélange, des variations de nuances telles que crescendo ou decrescendo contrôlables en temps réel peuvent être obtenues; les variations sont de bonne qualité pour de grands ensembles, néanmoins, le mélange peut parfois sembler hétérogène et synthétique: une section où chaque instrument change progressivement de nuance, est remplacée par une juxtaposition d'instruments jouant fort et d'instruments jouant doucement; cet effet est particulièrement perceptible pour un instrument soliste, provoquant l'absence d'unicité de l'instrument reproduit, le filtrage en temps réel à l'aide de filtres passe haut, passe bande et résonnant; cette approche apporte davantage de flexibilité et de facilité d'exploitation par rapport à l'approche dite "enregistrement de variations réelles", et n'est pas concernée par le problème d'unicité propre à la démarche dite de "mélange d'enregistrements" ; néanmoins, la faiblesse de cette méthode réside dans la qualité et le réalisme du son obtenu, le résultat étant fonction de la qualité du modèle de filtre et de son adéquation avec l'instrument à modéliser. L'invention a donc plus particulièrement pour but de supprimer ces inconvénients. Elle propose, à cet effet, un procédé de synthèse par composition de synthèses différenciées de sons émis par un instrument, par extraction de la texture d'un enregistrement de sons émis par ledit instrument puis application de ladite texture aux éléments identifiants l'unité dudit instrument (dite base) provenant d'un autre enregistrement de l'instrument, puis mélange de cette composition de synthèse différentiée avec l'enregistrement ayant servi à l'extraction de la 2888385 6 base ou une autre synthèse ayant la même base mais une autre texture, comprenant les étapes suivantes consistant à : 1) extraire la base d'un premier son émis par l'instrument jouant une première note "forte", pour chaque cycle temporel défini par la période fondamentale de la note jouée par l'instrument, ou choisir la période d'une harmonique, notamment si la fondamentale n'est pas présente ("forte" est un exemple de sonorité) ; à noter que la démarche proposée permet de modéliser toute sorte de variation de timbre, comme celles obtenues en réalisant des nuances mais aussi des changements de voyelles pour les chanteurs, des effets "mute" avec des cuivres ou des cordes, des effets de saturation avec les cuivres. .. ; la base est ici l'ensemble des informations permettant: de positionner dans le temps les cycles de texture de manière à ce que la fréquence et la phase de la fondamentale soit préservée, éventuellement de déterminer l'intensité de chaque cycle. 2) extraire la texture d'un second son émis par l'instrument jouant une seconde note "piano", ladite seconde note étant la même ou étant proche de ladite première note, pour chaque cycle temporel défini par la période fondamentale de la note jouée dans ce second enregistrement, chaque cycle temporel définissant un élément de texture, 3) appliquer la susdite texture du second son à la susdite base du premier son en effectuant un fondu enchaîné entre chacun des cycles temporels des susdits éléments de texture de manière à ce que la fondamentale du son synthétisé (note "piano") corresponde à la fondamentale du premier enregistrement (note "forte"), 4) effectuer une analyse spectrale (de la susdite texture) du second son pour une pluralité de portions du signal associé au dit second son, 5) mesurer la variabilité de l'enveloppe du spectre obtenu de manière à réaliser un modèle statistique de la susdite texture du second son, 2888385 7 l'extraction de la texture correspondant précisément à réaliser un modèle statistique de cette texture, 6) effectuer une analyse spectrale du premier son pour une pluralité de portions du signal associé au dit premier son sachant que la base n'est pas modélisée de la même manière: il s'agit ici de la phase des composantes sinusoïdales, 7) filtrer le premier son en effectuant une soustraction spectrale afin de ne garder que les composantes correspondant à la texture à obtenir, les phases des composantes sinusoïdales du signal sont gardées et l'amplitude est modifiée selon le modèle de texture, 8) mélanger avec filtrage de fréquences les résultats obtenus à l'étape 3) et à l'étape 7), et 9) mélanger en temps réel le résultat obtenu à l'étape 8) et l'enregistrement du premier son (l'instrument jouant "forte") ou tout autre synthèse issue de l'étape 8) avec le même enregistrement pour la base mais un enregistrement différent pour la texture, sachant que les susdites notes, nommées "forte" et "piano", correspondent à deux sonorités quelconques, par exemple deux timbres, deux couleurs ou deux voyelles quelconques. La première phase, décrite précédemment, comprenant les étapes 1), 2), et 3), présente l'avantage de conserver au mieux la forme d'onde notamment pour les fréquences élevées, au moins supérieures à la fondamentale; elle a cependant des faiblesses (présence de distorsions) pour les fréquences proches de la fondamentale; de plus il est souvent difficile d'obtenir une bonne unicité en raison des éventuelles imperfections dans la synchronisation des cycles. La seconde phase, décrite précédemment, comprenant les étapes 4), 5), 6), et 7), présente l'avantage d'apporter une unicité parfaite et permet par conséquent des mélanges de texture subtiles et sans failles; néanmoins, la qualité du son est souvent moins bonne que celle obtenue à l'aide de la première méthode, à cause de la présence d'éventuels artéfacts notamment au voisinage des fréquence aiguës, dus à la déformation fréquentielle provoquée par certaines composantes de la texture non présentes dans l'enregistrement de la base et par conséquent n'étant pas extraites correctement de la base. Ainsi, la combinaison de ces deux phases consiste, en d'autres termes, à appliquer un filtre passe-haut au résultat obtenu à l'issue de l'étape 3), à appliquer un filtre passe-bas au résultat obtenu à l'issue de l'étape 7) et additionner ces deux résultats (étape 8). La réalisation de l'étape 9) peut-être obtenue en créant un instrument virtuel à l'aide d'un échantillonneur. La note correspondant au son de la base est modélisée par l'enregistrement de ce premier son et le son issu de l'étape 8). L'instrument virtuel est programmé de telle sorte que la note "MIDI" (Musical Instrument Digital Interface: interface numérique pour instrument de musique) correspondant à la note modélisée déclenche la lecture simultanée des 2 sons. La synthèse issue de l'étape 8) permet une synchronisation avec l'enregistrement du son de la base de manière à ce que la lecture simultanée de ces deux sons préserve l'unicité d'instrument. Le dosage (l'intensité de chacun des sons) est contrôlé par l'instrumentiste ou un séquenceur via un "MIDI control". A titre d'exemple, pour modéliser la transformation de la voyelle "ô" chantée 25 pianissimo en un "A" (une voyelle proche du "ô") forte à l'aide d'un échantillonneur, on procédera comme suit: 1) on enregistre le chanteur chantant un "ô" pianissimo sur un Do3 puis un "A" forte sur la même note; ces deux enregistrements seront nommés 30 respectivement "ô" et "A" ; 2888385 9 2) concernant la première phase de synthèse, on utilise une base composée d'une seule composante sinusoïdale, à savoir la fondamentale de la note jouée, sa phase et son intensité, évaluée par la puissance efficace; la qualité de l'unicité repose en grande partie sur la précision de la phase extraite; celle-ci permet la synchronisation de la fondamentale des sons synthétisés avec celle de l'enregistrement ayant servi à l'extraction de la base; pour obtenir une qualité satisfaisante, on utilisera un algorithme détectant un pic approchant sensiblement le début de la réponse à l'impulsion glottique; ces pics permettent de positionner la phase pour chaque cycle de la fondamentale; ces algorithmes fonctionnent bien pour la voix mais également pour de nombreux instruments à vent ou cordes frottées; l'intensité de chaque cycle peut être favorablement estimée par la puissance efficace; on extrait donc la base du "A", selon la méthode ainsi décrite, pour chaque cycle temporel défini par la période fondamentale de la note; 3) on extrait ensuite la texture du "ô", en utilisant pour cela la même détection de pic que pour l'extraction de la base; selon la définition de la texture, les éléments de texture pour chaque cycle de la base sont le signal de ce cycle; une portion du signal avant et après le cycle peut également être considérée pour réaliser les fondus enchaînés d'un cycle à l'autre; la puissance efficace de chaque cycle est également calculée; 4) on applique la susdite texture de "ô" à la susdite base de "A" en effectuant un fondu enchaîné entre chacun des cycles susdits éléments de texture de manière à ce que la fondamentale du son synthétisé (un nouveau "ô" piano) corresponde à la fondamentale du "A" ; la détection des pics permet de synchroniser les phases respectives du "ô" avec celles du "A" ; en option, pour chaque cycle le rapport des puissances efficaces de "A" et de "ô" est utilisé comme coefficient multiplicateur pour que les éléments de textures aient l'intensité de la base; le résultat synthétisé à cette étape est un "ô" basé sur "A" à l'aide de la première phase; 2888385 - 10 - 5) on effectue une analyse spectrale (de la susdite texture) de "ô" pour une pluralité de portions du signal associé à "ô" ; 6) on mesure la variabilité de l'enveloppe du spectre obtenu de manière à réaliser un modèle statistique de "ô" ; l'extraction de la texture correspond précisément à réaliser un modèle statistique du son dont on veut extraire la texture; 7) on effectue une analyse spectrale de "A" pour une pluralité de portions du signal associé de "A" ; à noter que la base n'est pas modélisée de la même manière dans cette deuxième phase: il s'agit ici de la phase de toutes les composantes sinusoïdales de "A" ; 8) on filtre "A" en utilisant un algorithme de soustraction spectrale afin de ne garder que les composantes correspondant à la texture à obtenir; l'amplitude de chaque composante sinusoïdale est ainsi modifiée selon le modèle de texture, mais leur phase est conservée; le résultat synthétisé à cette étape est un "ô" basé sur "A" à l'aide de la deuxième phase; 9) on applique un filtre passe-bas sur le résultat obtenu à l'étape 4) et un filtre passe-haut, laissant passer exactement les fréquences filtrées par le filtre passe-bas, sur le résultat obtenu à l'étape 8), et on additionne les deux signaux ainsi filtrés; le résultat synthétisé à cette étape est un "ô" basé sur "A" à l'aide des deux phase combinées. 10)on mélange en temps réel le résultat obtenu à l'étape 9) et l'enregistrement du premier son (le son "A") ou toute autre synthèse issue de l'étape 9) avec le même enregistrement pour la base mais un enregistrement différent pour la texture, ou tout autre son basé sur "A" ; afin de réaliser le susdit mélange en temps réel, on programme un échantillonneur de manière à ce que les sons basés sur "A" et éventuellement le son "A" (basé sur lui-même par définition) soient lus simultanément lorsque la note Do3 est activée. L'intensité de chaque son ainsi lu est contrôlé par un ou plusieurs "MIDI control" ; dans notre exemple précis, le "A" et le "ô" basé sur "A" sont déclenchés et lus 2888385 -11- simultanément; l'intensité de "A" est proportionnelle à la valeur du contrôle, avec aucun son émis pour la valeur 0 du contrôle, et une amplitude correspondant au "A" forte de cette note pour la valeur 127 du contrôle (valeur maximale du "MIDI control") ; l'intensité de "ô" est inversement proportionnelle au susdit contrôle avec une intensité correspondant au volume "piano" de la note chanté "ô" pour la valeur 0 du contrôle, et une intensité nulle pour la valeur 127; avec cette configuration, lorsque la valeur du contrôle passe progressivement de 0 à 127, le son généré par l'échantillonneur sera un crescendo commençant par un "ô" piano et se transformant progressivement par un "A" forte. Un mode d'exécution de l'invention sera décrit ci-après, à titre d'exemple non limitatif, avec référence au dessin annexé dans lequel: L'unique figure représente un diagramme simplifié des différentes étapes constitutives définissant le procédé de synthèse par composition de synthèses différenciées de sons émis par un instrument selon l'invention. Dans l'exemple représenté sur l'unique figure: un premier bloc B1 constitue l'extraction de la base d'un premier son émis par l'instrument jouant une première note "forte", pour chaque cycle temporel défini par la période fondamentale de la note jouée par ledit instrument, ou la période d'une harmonique si la fondamentale est absente, un second bloc B2 constitue l'extraction de la texture d'un second son émis par l'instrument jouant une seconde note "piano", ladite seconde 30 note étant la même ou étant proche de ladite première note, pour 2888385 - 12 - chaque cycle temporel défini par la période fondamentale de ladite seconde note jouée par ledit instrument, un troisième bloc B3 constitue l'application de la susdite texture du second son à la susdite base du premier son en effectuant un fondu enchaîné entre chacun desdits cycles temporels des susdits éléments de texture de manière à ce que la fondamentale de la seconde note "piano" corresponde à la fondamentale de la première note "forte", un quatrième bloc B4 constitue la réalisation d'une analyse spectrale de la susdite texture du second son pour une pluralité de portions du signal associé au dit second son, un cinquième bloc B5 constitue la mesure de la variabilité de l'enveloppe du spectre obtenu de manière à réaliser un modèle statistique de la susdite texture du second son, un sixième bloc B6 constitue la réalisation d'une analyse spectrale du premier son pour une pluralité de portions du signal associé au dit premier son, un septième bloc B7 constitue le filtrage du premier son en effectuant une soustraction spectrale afin de ne garder que les composantes correspondant à la texture à obtenir, un huitième bloc B8 constitue le mélange avec filtrage de fréquences des résultats obtenus en sortie du troisième bloc B3 et des résultats obtenus en sortie du septième bloc B7, un neuvième bloc B9 constitue le mélange en temps réel du résultat obtenu en sortie du huitième bloc B8 et l'enregistrement du premier son ou tout autre synthèse issue du huitième bloc B8 avec le même enregistrement pour la base mais un enregistrement différent pour la texture, sachant que les susdites première note "forte" et seconde note "piano" correspondent à deux sonorités quelconques, par exemple deux timbres, deux 30 couleurs ou deux voyelles quelconques. - 13 - Ainsi la première phase, constituée des blocs B1, B2, B3, présente l'avantage de conserver au mieux la forme d'onde notamment pour les fréquences élevées, au moins supérieures à la fondamentale; quant à la seconde phase, constituée des blocs B4, B5, B6, B7, elle présente l'avantage d'apporter une unicité parfaite et permet par conséquent des mélanges de texture subtiles et sans failles. En conclusion, le procédé selon l'invention permet de transformer les sons émis par un instrument (voix et musique) d'une façon réaliste. - 14 - Revendications 1. Procédé de synthèse par composition de synthèses différenciées de sons émis par un instrument, par extraction de la texture d'un enregistrement de sons émis par ledit instrument puis application de ladite texture aux éléments identifiants l'unité dudit instrument (dite base) provenant d'un autre enregistrement de l'instrument, puis mélange de cette composition de synthèse différenciée avec l'enregistrement ayant servi à l'extraction de la base ou une autre synthèse ayant la même base mais une autre texture, caractérisé en ce qu'il comprend: a) l'extraction de la base, bloc (B1), d'un premier son émis par l'instrument jouant une première note "forte", pour chaque cycle temporel défini par la période fondamentale de la note jouée par ledit instrument, ou la période d'une harmonique si la fondamentale est absente, b) l'extraction de la texture, bloc (B2), d'un second son émis par l'instrument jouant une seconde note "piano", ladite seconde note étant la même ou étant proche de ladite première note, pour chaque cycle temporel défini par la période fondamentale de ladite seconde note jouée par ledit instrument, c) l'application, bloc (B3), de la susdite texture du second son à la susdite base du premier son en effectuant un fondu enchaîné entre chacun desdits cycles temporels des susdits éléments de texture de manière à ce que la fondamentale de la seconde note "piano" corresponde à la fondamentale de la première note "forte", d) la réalisation d'une analyse spectrale, bloc (B4), de la susdite texture du second son pour une pluralité de portions du signal associé au dit second son, e) la mesure de la variabilité de l'enveloppe du spectre, bloc (B5), obtenu 30 de manière à réaliser un modèle statistique de la susdite texture du second son, 2888385 - 15 - f) la réalisation d'une analyse spectrale, bloc (B6), du premier son pour une pluralité de portions du signal associé au dit premier son, g) le filtrage du premier son, bloc (B7), en effectuant une soustraction spectrale afin de ne garder que les composantes correspondant à la texture à obtenir, h) le mélange avec filtrage de fréquences, bloc (B8), des résultats obtenus à l'étape c) et à l'étape g), et i) le mélange en temps réel, bloc (B9), du résultat obtenu à l'étape h) et l'enregistrement du premier son ou tout autre synthèse issue de l'étape h) avec le même enregistrement pour la base mais un enregistrement différent pour la texture. 2. Procédé selon la revendication 1, caractérisé en ce que les susdites première note "forte" et seconde note "piano" 15 correspondent à deux sonorités quelconques, par exemple deux timbres, deux couleurs ou deux voyelles quelconques. 3. Procédé selon la revendication 1, caractérisé en ce que le mélange avec filtrage de fréquences des résultats obtenus à l'étape c) et à l'étape g) consiste à appliquer un filtre passe-haut au résultat obtenu à l'issue de l'étape c) et à appliquer un filtre passe-bas au résultat obtenu à l'issue de l'étape g). 4. Procédé selon la revendication 1, caractérisé en ce que la susdite étape i) est réalisée en créant un instrument virtuel à l'aide d'un échantillonneur.