Brevet FR2681715A1 — publié le 19930326

i PROCEDE DE TRAITEMENT DE LA PAROLE EN PRESENCE DE BRUITS ACOUSTIQUES: PROCEDE DE SOUSTRACTION SPECTRALE NON LINEAIRE La présente invention concerne les procédés de traitement de signal de parole dans des environnements bruités. Elle est applicable chaque fois que le signal provenant d'un transducteur, généralement un microphone, doit être traité pour atténuer la contribution du bruit A titre d'exemple, on peut notamment citer la transmission de la parole et la reconnaissance de la parole. Elle trouve une application particulièrement importante dans la commande vocale après une phase d'apprentissage au cours de laquelle un locuteur, dont la parole doit être reconnue ultérieurement, prononce, à plusieurs reprises les structures vocales à identifier par affectation à l'un des modèles mémorisés dans un lexique établi lors de l'apprentissage. L'un des principaux problèmes auxquels se heurte la commande vocale est celui du faible rapport signal à bruit lors de la reconnaissance dans beaucoup de cas Un exemple particulièrement important est la commande vocale d'opérations par le conducteur d'un véhicule, comme par exemple l'appel d'un correspondant téléphonique par simple prononciation de son nom, qui doit être reconnu et provoquer la numérotation automatique. Dans ce cas particulier, le problème est très ardu pour de nombreuses raisons: l'apprentissage s'effectue, pour des raisons de sécurité, alors que le véhicule est à l'arrêt, c'est-à-dire en l'absence de bruit; 35 au cours de la phase de reconnaissance, les structures vocales sont pertubées non seulement par les bruits de roulement aérodynamiques et du moteur (qui ne sont ni stationnaires, ni à spectre plat), mais aussi par des facteurs qui agissent sur la prononciation, tels que la fatigue du locuteur ou le niveau de bruit ambiant (effet Lombard). La présente invention vise de façon générale à fournir un procédé de traitement de la parole permettant d'atténuer la contribution du bruit et qui soit efficace même en l'absence d'une référence de bruit fiable. Pour cela l'invention utilise, parmi les techniques connues de renforcement de la parole en présence de bruit, la soustraction spectrale Mais, conformément à l'inven- tion, le procédé utilise une soustraction d'une fraction du bruit (estimé pendant les périodes de silence du locuteur) qui est plus élevée aux fréquences pour lesquelles la parole présente un faible rapport signal à bruit qu'aux autres fréquences. De façon plus précise, l'invention propose de sou- mettre le signal fourni par un transducteur, puis échantil- lonné, numérisé formaté en trames (une trame fait 32 ms et est calculée toutes les 16 ms) de longueur déterminée, à un traitement de la forme: IYl_lJ = IXllj opt(a(a)) IB-l_lI ( 1) appliqué à la transformée de chaque trame dans le domaine fréquentiel, o: IXlw JI est l'estimation de l'amplitude de la parole affectée du bruit; IB(w)I = XIB(L)I + (l-X)IB()I; IBlw JI est une estimation de l'amplitude du bruit, obtenue à partir d'ob- servations du bruit pendant des périodes de silence de la parole, à l'aide d'un estimateur ayant une constante de35 temps suffisante (X); IB()I est une estimation de l'am- plitude du bruit, obtenue à partir d'une observation du bruit. a(w) est un facteur de surestimation du bruit, calculé sur un nombre prédéterminé de trames de bruit en amont de la trame traitée; optl"(w)l constitue une pondération du terme soustractif qui est fonction du rapport signal à bruit dans une bande de fréquence particulière. Dans la pratique, le facteur de surestimation a(w) peut être calculé sur une vingtaine de trames et être constitué par la valeur maximale de l'estimation B parmi les valeurs prises sur ces vingt trames Toutefois, la durée d'estimation peut varier dans des limites plus larges, de 200 ms à 1 s, suivant la vitesse de variation du bruit. Le calcul de Y sera effectué pour chacune des fréquences de la transformée de Fourier intervenant dans la reconnaissance de la parole (en général 256 valeurs complexes pour une plage de 16 k Hz) Grâce à l'utilisation d'un facteur de surestimation qui est fonction de la fréquence, on obtient un modèle de bruit amélioré, four- nissant en sortie un signal de parole de qualité accrue du point de vue de la reconnaissance ultérieure. La fonction optl"()l diffère suivant que le traitement précède la transmission du signal de parole ou la reconnaissance Dans le premier cas, optl"(w)l sera généralement de la forme opt("(w)) = (c(w)/IB(w)I)Z; 1/2 z est un facteur de pondération. Il est de plus préférable de fixer des bornes à optla(w)l, pour éviter d'arriver à des valeurs de suresti- mation trop importantes Dans la pratique, " peut être limité en borne supérieure 3, toute valeur calculée hors de ces limites étant remplacée par la limite correspondante. Dans le cas de la reconnaissance de la parole, on adoptera généralement une fonction optl"(w)l de la forme: La fonction de pondération F peut avoir diverses natures, une condition essentielle étant qu'elle soit décroissante en fonction du rapport signal à bruit lIXI/IBI prenant une valeur minimale (SN Rmin) et maximale (SN Rmax) sur la trame considéréel La fonction F doit être du type des courbes I, II, III ou IV telles que représentées sur la figure 4. Là encore, il est nécessaire de limiter la varia- tion de optlac(w)l. L'invention vise au surplus à fournir un procédé de reconnaissance de la parole qui soit robuste en présence d'un bruit variable réduisant le rapport signal à bruit à une faible valeur, utilisant un traitement du signal du type qui vient d'être défini. La reconnaissance s'effectue par classification. Elle peut utiliser des processus de recherche de distance euclidienne minimale, classiques et donc qu'il ne sera pas nécessaire de décrire de nouveau; elle utilise avanta- geusement une démarche utilisant les distances projetées et un algorithme de Viterbi et un aspect secondaire de l'invention porte sur la reconnaissance proprement dite par décision douce, du type algorithme de Viterbi, améliorant la reconnaissance, notamment par une stratégie de recon- naissance utilisant le modèle de Markov caché. Des techniques fondées sur le modèle de Markov caché, ou HMM ont déjà été proposées, notamment dans les articles "Continuous speech recognation using hidden Markov30 models" de J Picone, IEEE ASSP Magazine, juillet 1990, pages 26-41 " Les modèles de Markov eux-mêmes sont décrits dans divers documents, et notamment "An introduction to hidden Markov models", de L R Rabiner et autres, IEEE ASSP Magazine, janvier 1986, pages 4-16, auxquels on pourra se35 reporter On sait que ces techniques donnent de bons résul- tats lorsque l'apprentissage s'effectue dans une ambiance sonore comparable à celle de la reconnaissance En re- vanche, les performances d'un appareil de reconnaissance classique fondé sur le modèle de Markov caché sont très dégradées lorsque l'apprentissage s'effectue en l'absence du bruit présent lors de la reconnaissance, et surtout lorsque ce bruit est non stationnaire L'application de l'étape de traitement décrite plus haut permet d'améliorer considérablement les performances d'un procédé de reconnaissance fondé sur le modèle de Markov dans les conditions ci- dessus et le rend particulièrement avanta- geux. En effet, le modèle de Markov ou HMM permet, de modéliser de façon plus efficace un signal de parole très variable, grâce à des algorithmes d'optimisation en eux- mêmes connus qui, par itération, ré-estiment en permanence des paramètres statistiques de façon à optimiser un critère de vraisemblance Alors que l'utilisation efficace d'un20 modèle de Markov implique normalement une phase d'appren- tissage complète et très fiable impliquant plusieurs dizaines de répétitions des structures vocales à recon- naitre, la mise en oeuvre de l'invention permet de réduire le nombre de répétitions nécessaires.25 Il est au surplus avantageux d'utiliser une stratégie de reconnaissance utilisant l'algorithme de Viterbi et une nouvelle utilisation des distances de projection, qui sera décrite plus loin. Pour un modèle de Markov à N états, les densités d'observation continues sont données par une expression du genre bj(O) =,c jm Nqk Etojm, Ejm} ( 2) pour l'état j, j étant compris entre 1 et N. Dans la formule ci-dessus, cjm indique le coeffi- cient de mélange pour le mieme composant de mélange de densité gaussienne modifié. L'invention sera mieux comprise à la lecture de la description qui suit de modes particuliers de réalisation de l'invention, donnés à titre d'exemples non limitatifs. La description se réfère aux dessins qui l'accompagnent, dans lesquels: la figure 1 est un schéma de principe montrant les opérations effectuées lors de la transmission d'un signal de parole; la figure 2 est un schéma montrant les étapes successives du traitement par soustraction non linéaire de la figure 1; la figure 3, similaire à la figure 1, montre les étapes d'un procédé de reconnaissance de structure vocale; la figure 4 montre diverses formes possibles de la fraction de pondération F définie plus haut. La figure 1 montre la constitution de principe d'un dispositif permettant le traitement d'un signal de parole, provenant d ' un transducteur tel qu ' un microphone 10, avant transmission en bande de base ou sur une porteuse quelcon- que Il sera surtout question par la suite du traitement d'un signal de parole provenant d'un microphone unique pla- cé dans un habitacle de véhicule On sait que le problème de l'estimation du bruit est particulièrement difficile dans un tel environnement En effet la cohérence du bruit à l'intérieur de l'habitacle est très faible et il n'est pas possible d'avoir une estimation convenable du bruit à l'aide d'un microphone de référence Il semble difficile avec une prise de son à un capteur de ré-estimer le bruit, évalué au cours des pauses de la parole, pendant la parole. Le procédé de soustraction non linéaire, tel qu'appliqué pour la transmission de parole, fait disparaître les forma-35 lités musicales inhérentes à une analyse classique. Le signal provenant du microphone 10 est prétraité dans un circuit 12 de filtrage, d'échantillonnage, de numé- risation et de fractionnement en trames de quelques milli- secondes ( 16 ms fréquemment) Un circuit 14 permet d'extraire la phase du signal bruité, de façon à en disposer pour effectuer une transformée inverse, c'est-à-dire du domaine spectral dans le domaine temporel, en 16. Le circuit 18 suivant l'invention de soustraction spectrale non- linéaire peut avoir la constitution générale montrée en figure 2 Il comporte un circuit 20 effectuant une transformation vers le domaine spectral (transformée de Fourier rapide en général) sur chaque trame Les échantil- lons fréquentiels correspondant à chaque trame, au nombre de 512 par exemple dans le cas de signal complexe, sont appliqués à deux branches de calcul La première branche est destinée à une estimation du modèle de bruit, qui doit être robuste étant donné l'importance de la contribution-du bruit La seconde branche est destinée à effectuer la sous- traction non-linéaire proprement dite Cette seconde bran- che est destinée à effectuer les soustractions suivant la formule ( 1) ci-dessus, à partir des indications fournies par la première branche Le passage dans l'une ou l'autre des deux branches est conditionné par la décision de type bruit/parole Cette décision est prise par un système non décrit ici. Cette première branche effectue le calcul d'un modèle robuste de bruit, avec une constante de temps élevée, généralement de l'ordre de 0,9 pour X. Au lieu d'être effectuées par des circuits dis- tincts, les opérations ci-dessus définies peuvent évidem- ment être effectuées entièrement ou partiellement par voie logicielle. Les étapes de traitement du procédé de reconnais- sance de structure vocale schématisé en figure 3 sont simi- laires à celles montrées en figures 1 et 2 et ne seront pas décrites de nouveau. La reconnaissance proprement dite s'effectue de façon classique par une opération de comparaison 22 entre les modèles de référence mémorisés 24, obtenus au cours d'une séquence préalable d'apprentissage, et les paramètres de représentation de structure vocale, extraits en 25 Ces paramètres peuvent être fondés sur divers types d'analyse. Il peut notamment s'agir des coefficients cepstral de prédiction linéaire ou de paramètres provenant d'une décomposition en sous-bandes de fréquence, (MFCC) tels que décrits dans l'article de Davis et al, "Comparison of parameter représentations for monosyllabic word recognition in continuously spoken sentences", IEEE ASSP volume 28, 1980. Dans un mode de réalisation de l'invention, parti- culièrement avantageux lorsque la définition des modèles de référence est faite à partir d'un petit nombre de répé- titions du locuteur, des estimateurs de variance robustes doivent être adoptés On peut notamment adopter une estimation à variance fixe ou une estimation à variance lissée. L'utilisation d'un estimateur robuste présente l'avantage de compenser les performances réduites du modèle de Markov caché en cas d'apprentissage insuffisant. De façon générale, il est avantageux d'utiliser un processus de reconnaissance par l'algorithme de Viterbi modifié pour mettre en oeuvre une projection de type cepstral, qui tend à écarter le bruit. On peut notamment utiliser, pour les coefficients b, les valeurs données par la formule ( 2) ci-dessus o bj(O) désigne les valeurs observées de b, cjm indique le coefficient de mélange pour le mième composant de densité mixte gaussienne Les termes ont la signification habi- tuelle, si ce n'est qu'ils peuvent être remplacés par des variances lissées.35 Les matrices de variance- covariance sont choisies diagonales, en faisant l'hypothèse d'indépendance entre les composants d'un vecteur de caractéristique. On peut alors écrire la nouvelle densité gaussienne modifiée: Nqk I Oljm, jm} = l 2 PI)P I> jmll-1 l/2 exp( 0,5 d(q,k)) o: d(q,k)=l 0-q kjm)T _l (Oq jm>)lk jm Dans cette formule, q correspond à un facteur de souspondération. On peut notamment utiliser, parmi les modes de projection ci-dessus, ceux qui correspondent aux cas particuliers ci- après: cas de q=l, k=l, E jm=Ujm Ce cas est celui d'une densité gaussienne continue d'observation classique, o Ujm indique la variance d'état du mélange d'ordre m dans l'état d'ordre i (une topologie à seize états donnant souvent des résultats satisfaisants). cas de q=l, k=l, jm =T: variance fixe La matrice de covariance est alors indépendante de l'état i et du mélange m La matrice T définit la variance pour un même locuteur des vecteurs cepstrum calculés au cours de la phase d'apprentissage avec un modèle HMM. cas de q= 1, k=l,5 jm=I Dans ce cas, la matrice de covariance d'état Ujm est remplacée par la matrice identité I Tous les compo- sants observés ont le même poids Ce choix présente un intérêt lorsque l'apprentissage HMM a été fait avec un nombre très faible de répétitions.35 cas de q=q*, k= O 5,L jm=I: distance de projection optimisée La distance de projection optimisée peut être interprétée comme étant la racine carrée de la distance euclidienne minimum Les densités normales sont alors transformées en des densités modifiées de la forme A.exp(-0 51 X 1) Avec ces densités modifiées, la nouvelle forme de mélange rend l'algorithme de Viterbi plus discri- minant sur des structures vocales. En d'autres termes, ce choix de valeurs permet une soustraction non linéaire qui est favorable dans certains cas. cas de q=q*, k= O 5, L jm=W-1 (W étant la matrice de variance-covariance) Cette sélection de valeurs permet de conserver la distance de projection optimisée dans le calcul des densi- tées observées On introduit ainsi les fonctions de lissage de la variance fixe T dont deux exemples ont donné des résultats satisfaisants. La fonction dite "bandpass lifter" W(n)=l+N/2 sin(n N/2 N). La fonction dite "exponential lifter" W(n)=n" o 0 Ces types de fonction de lissage de T peuvent également être utilisés dans le cas q=l, k= 1 (densité gaussienne). Les exemples donnés ci-dessus ne sont évidemment nullement limitatifs et d'autres solutions encore sont possibles. En résumé, la compensation du bruit par soustrac- tion spectrale non linéaire améliore notablement les per- formances d'un processus de reconnaissance utilisant le modèle de Markov caché Lorsque le nombre de répétitions il est insuffisant pour un apprentissage complet, il est avantageux d'utiliser une estimation de variances lissées, ou une estimation à variance fixe La reconnaissance par l'algorithme de Viterbi met en oeuvre la distance projetée et est particulièrement avantageuse après adaptation des fonctions de densité du modèle de Markov caché. REVENDICATIONS 1 Procédé de traitement de signal de parole, caractérisé en ce qu'on applique à la transformée de chaque trame du signal échantillonné, numérisé et formaté en tra- mes de longueur déterminée à un traitement de la forme: IYl l I = IXll I Opt(a(w)) IBlwl I appliqué à la transformée de chaque trame dans le domaine fréquentiel, o: IXlwlI est l'estimation de l'amplitude de la parole affectée du bruit; IBlWlj est une estimation de l'amplitude du bruit, obtenue à partir d'une observation du bruit, pendant des périodes de silence de la parole IB(W)I estime à l'aide d'un estimateur ayant une constante de temps suffisante; a(w) est un facteur de surestimation du bruit, calculé sur un nombre prédéterminé de trames de bruit en amont de la trame traitée; optl"(-)l constitue une pondération du terme soustractif qui est fonction du rapport signal à bruit dans une bande de fréquence particulière, cette pondération étant bornée. 2 Procédé selon la revendication 1, caractérisé en ce qu'on limite le terme optla(w)l à des valeurs inférieu- res à 3.30 3 Procédé selon la revendication 1 ou 2, caracté- risée en ce qu'on calcule le facteur de surestimation a(w) sur une vingtaine de trames. 4 Procédé selon la revendication 1 de traitement du signal en vue de sa transmission, caractérisé en ce que l'on donne à optla(w)l la valeur: optla(-)l = la(w)/l B()Illz o z est un facteur de pondération compris entre 1/2 et 3. Procédé selon la revendication 1, 2 ou 3, carac- térisé en ce que l'on donne à optla(")l une valeur de la forme: optla(W)l = a(_) FlIX(_)I/JB(_)Il o F est une fonction décroissante de ô. 6 Procédé selon la revendication 5, caractérisé en ce que l'on donne à F(w) une valeur de la forme générale telle que la figure 4. 7 Procédé de reconnaissance de la structure vocale comportant, après un procédé de traitement selon 11 'une quelconque des revendications 1, 2, 3, 5 et 6, une étape de classification utilisant un algorithme de Viterbi avec projection dans le domaine cepstral et utilisation des estimateurs variances fixes ou lissées.