Brevet FR2696036A1 — publié le 19940325

DESCRIPTION Domaine technique La présente invention concerne un procédé de mesure de ressemblance entre échantillons sonores et un dispositif de mise en oeuvre de ce procédé. Etat de la technique antérieure Le domaine de L'invention est celui de la reconnaissance automatique d'une personne qui parle, ou locuteur Ce domaine est un domaine de l'intelli- gence artificielle o les performances de la machine peuvent dépasser les performances humaines: dans le cas d'une courte émission et d'un grand nombre de Locuteurs, le temps d'apprentissage pour reconnaître une nouvelle voix est très long pour un homme comparé à une machine. La reconnaissance automatique de locuteurs consiste à mettre au point un système automatique capable de discriminer un locuteur parmi plusieurs en fonction de sa voix On distingue deux types de tâches: l'identification du locuteur et la vérifi- cation du locuteur Pour toutes les deux, on calcule la ressemblance entre deux échantillons sonores. L'un des deux est appelé échantillon de référence, et est le plus souvent disponible sous forme pré-traitée et pré-stockée dans un dictionnaire. L'autre, appelé échantillon de test, est destiné à être classifié. L'identification du locuteur consiste à classer un échantillon sonore non identifié comme appartenant à un parmi N locuteurs de référence (N décisions possibles) La vérification du locuteur consiste, pour sa part, à décider si un échantillon sonore non identifié appartient à un locuteur de réfé- rence particulier: deux décisions sont possibles, oui ou non L'identification du locuteur peut ne pas être restreinte aux N locuteurs de référence: on peut prévoir le cas o l'échantillon de test n'appar- tient à aucun des locuteurs de référence IL y a alors N+ 1 décisions possibles: un parmi N locuteurs, ou rejet. IL existe un grand nombre de documents de l'état de l'art relatifs à des procédés de reconnaissance de locuteurs Le plus proche de l'in- vention est décrit dans un article de Herbert GISH intitulé "Robust Discrimination In Automatic Speaker Identification" (IEEE 1990, pages 289 à 292), dans lequel on trouve le principe d'utiliser les valeurs propres d'un produit de deux matrices de covariance. Mais les mesures proposées ne sont pas des mesures de sphéricité (voir notamment le paragraphe IV de cet article) L'inconvénient majeur de ce procédé est qu'il est très coûteux en temps de calcul. Une thèse de Docteur Ingénieur de Yves GRENIER intitulée "Identification du locuteur et adaptation au locuteur d'un système de reconnaissance phonémique" (présentée à l'Ecole Nationale Supérieure des Télécommunications le 27 octobre 1977) décrit un procédé de reconnaissance de locuteur dans lequel on utilise un critère de maximum de vraisemblance reposant, comme le procédé de GISH, sur l'extraction de valeurs propres Ce procédé donne de bons résultats mais l'auteur souligne la lenteur du traitement. L'invention a pour objet un procédé de mesure de ressemblance entre plusieurs échantillons sonores, présentant, par rapport aux procédés de l'état de l'art, de meilleures performances pour un temps de traitement beaucoup plus court. Exposé de l'invention La présente invention propose un procédé de mesure de ressemblance entre plusieurs échantillons sonores comprenant une phase d'apprentissage à partir d'un ou de plusieurs échantillons sonores de référence, et une phase de test à partir d'un ou de plusieurs échantillons sonores de test, ces phases d'appren- tissage et de test comportant chacune une étape d'acquisition numérique et de prétraitement de l'échantillon sonore considéré, une étape d'analyse acoustique d'ordre p, et une étape de calcul de la matrice de covariance de taille p x p du signal vectoriel résultant, la phase d'apprentissage compre- nant en outre une étape d'inversion de la matrice de covariance de test X et une étape de stockage de la matrice ainsi obtenue X- 1 dans un dictionnaire, la phase de test comprenant une étape de multiplication de la matrice de covariance du test Y avec la matrice de référence inversée X-1, une étape d'extraction de tout ou partie des p valeurs propres Ak de ce produit de matrice YX-1, caractérisé en ce que la phase de test comprend, de plus, une étape de calcul utilisant une famille de fonctions f, dénommées fonctions de sphéricité généralisées, appliquée à ces valeurs propres ik, de manière à obtenir une valeur numérique mesurant la ressemblance entre l'échantillon de test considéré et le (ou les) échan- tillon(s) de référence du dictionnaire, cette valeur pouvant être utilisée pour prendre une décision sur la classification de cet échantillon de test, et en ce que ces fonctions f sont des combinaisons d'au moins deux des termes suivants: a (,1,2,X)p) = i k=i p g (Xl,12,p) = h (XI,-2,, p) = ( i l= -1 Pk=I Xk a, g et h représentant respectivement les moyennes arithmétique, géométrique et harmonique des valeurs propres Ak. Avantageusement dans une première variante de réalisation, on utilise la trace de la matrice y X-1 h ik, = trace (YX- 1)' k=l le déterminant de cette matrice: f I k, = der (YX-1) k= 1 et la trace de la matrice inversée XY-1: i = trace (XY-1) -k = 1 Ikc sans avoir besoin de calculer explicitement les valeurs propres Ak. Avantageusement dans une seconde variante de réalisation, on stocke dans le dictionnaire non seulement les matrices de covariance X mais aussi leur inverse X-1 La matrice Y est inversée lors du test On effectue le calcul direct de la trace du produit de deux matrices A et B symétriques traceprod (A, B) = tace (AB) = ai bji = au b + 2 * aij bi =I jl i= 1 i=l j=i+l Ce calcul s'applique au produit de Y par X-1 et au produit de X par y-1 d'autre part. Une opération en fonction de ces deux nombres produit la mesure recherchée. Ce calcul permet d'accélérer les temps de traitements lorsque seuls les termes a et h entrent en jeu. Dans l'étape de calcul on peut utiliser avantageusement une fonction telle que: traceprod(Y,X-1) traceprod(X,Y-1) = a/h L'invention concerne également un dispo- sitif mettant en oeuvre le procédé décrit ci-dessus, qui comprend: un module d'acquisition numérique et de prétraitement, un module d'analyse acoustique, un modu Le de calcul de matrice de cova- riance, un module d'inversion matricielle, un module de stockage dans un diction- naire, un module de multiplication matricielle, un module d'extraction des valeurs propres, un module de calcul d'un signal de ressemblance. Avantageusement dans la première variante de réalisation, ce dispositif comporte un module de calcul de la trace d'une matrice YX-1 en parallèle avec un module de calcul du déterminant de cette matrice, un module d'inversion de cette matrice suivi d'un module du calcul de la trace de la matrice ainsi obtenue. Avantageusement dans la seconde variante de réalisation, il comprend deux modules de calcul de la trace d'un produit (traceprod) de deux matrices, suivis d'un module de calcul du produit. Le procédé et le dispositif de l'invention possèdent de nombreux avantages, et notamment: une grande robustesse à l'indépendance au texte prononcé (le système n'a pas besoin de connaître le contenu linguistique de l'échantillon de test), une grande simplicité de mise en oeuvre du dispositif, aussi bien au niveau de la création ou de la mise à jour du dictionnaire d'échantillons sonores de référence qu'à celui de l'exécution d'un test. Le procédé de l'invention, dans sa conception la plus générale, permet d'obtenir une très bonne efficacité du résultat Dans les variantes de réalisation l'invention permet en outre d'obtenir une grande simplicité de mise en oeuvre, aussi bien au niveau de la création ou de la mise à jour du dictionnaire d'échantillons sonores de référence qu'à celui de l'exécution d'un test, et une grande rapidité des temps de calcul. Brève description des dessins La figure 1 illustre le procédé de l'in- vention, la figure 2 illustre un dispositif mettant en oeuvre le procédé de l'invention, les figures 3 et 4 illustrent deux variantes du dispositif représenté à la figure 2. Exposé détaillé de modes de réalisation Le procédé de l'invention comprend une première phase d'apprentissage pendant laquelle le (ou les) échantillon(s) capté(s) sont un (ou des) échantillon(s) sonore(s) de référence, et une phase de test pendant laquelle le (ou les) échantillon(s) capté(s) sont un (ou des) échantillon(s) sonore(s) de test. Comme représenté sur la figure 1, ces phases d'apprentissage et de test comportent chacune une étape d'acquisition numérique de prétraitement 13 comportant des étapes d'amplification 10, de fil- trage 11 et de numérisation 12, à une fréquence quelconque, de l'échantillon sonore considéré, suivies d'une étape d'analyse acoustique 14 d'ordre p, et d'une étape de calcul de la matrice de covariance de taille p x p du signal vectoriel résultant. Les phases d'apprentissage et de test sont distinguées ensuite à l'aide du test 22 qui répond à la question: s'agit-il d'une phase d'apprentissage ? La phase d'apprentissage comprend en outre, une étape d'inversion 16 de la matrice de covariance X et de stockage 17 de la matrice de référence X-1 ainsi obtenue dans un dictionnaire. La phase de test comprend une étape de multiplication 18 de la matrice de covariance du test Y avec la matrice de référence X- 1, une étape d'extraction 19 de tout ou partie des p valeurs propres Ak de ce produit de matrice YX-1. Elle comprend, de plus, une étape de calcul 20 utilisant une famille de fonctions f dénommées "fonctions de sphéricité généralisées" appliquée à ces valeurs propres ?k, de manière à obtenir une valeur numérique S mesurant la ressemblance entre l'échantillon de test considéré et les échantillons de référence du dictionnaire, cette valeur S pouvant être utilisée dans le module 21 pour prendre une décision sur la classification de cet échantillon de test. Le procédé de traitement du signal permet donc de comparer un échantillon test y() à un échan- tillon référence x( Z), codé, comprimé et stocké et provenant d'un dictionnaire d'échantillons de réfé- rence. On calcule ainsi une fonction des valeurs propres de la matrice YX-1, o Y et X sont les matrices de covariance de tout ou partie du signal vectoriel résultant d'une analyse acoustique (au sens large du terme), cette analyse étant effectuée sur les signaux monodimensionnels y(?) et x('). L'analyse acoustique est une extraction, à intervalles réguliers ou non, de caractéristiques à court terme des signaux y(À) et x(z), suivie éventuellement d'une normalisation par des caractéristiques à long terme de ces signaux ou par des facteurs indépendants de ces signaux La variable t représente les instants de sélection des paramètres acoustiques. Ainsi, on obtient à partir du signal mono- dimensionnel échantillonné y( t), un signal multidimen- sionnel Y(t) de longueur T et à p composantes (p étant la dimension de l'analyse acoustique, par exemple, l'ordre d'un modèle LPC) On peut représenter ce signal comme une matrice lY(t)| à p lignes et T colonnes, dont la ième composante à l'instant t sera notée Yi(t) La matrice de covariance Y s'obtient alors par le calcul suivant: Y=lY(t)llY(t)IT, dont l'élément indicié ij se calcule par T Yij = Y Yi(t)Yj(t). La matrice Y ainsi calculée est symétrique (ainsi que définie positive) Elle peut subir ensuite, le cas échéant, toutes sortes de normalisations. Ce calcul est naturellement identique pour x( t). On rappelle que les valeurs propres X (et les vecteurs propres associés b) d'une matrice M sont les solutions de l'équation: Mb= Ab o les inconnues sont Xet b. On note 2 k les valeurs propres de la matrice YX-1. L'idée d'utiliser une fonction f des valeurs propres de YX-1 comme mesure de ressemblance n'est pas nouvelle et apparaît notamment dans la publi- cation de GISH citée plus haut, sous forme de calcul d'un rapport de vraisemblance Une caractéristique essentielle de l'invention consiste à utiliser une certaine famille de fonctions f, dénommées fonctions de sphéricité généralisées, qui sont des combinaisons d'au moins deux des termes suivants: a(XIX 2,Xp) = ik P k= 1 ,2,Ap) = h (l,,2,,xp) = ( 1)-I h t A a, g et h présentent respectivement les moyennes arithmétique, géométrique et harmonique des valeurs propres Ak. Or, 1 = 32 = = p = > a=g=h On peut alors noter que, pour des Xk toutes positives, on a toujours: a>g>h. Si la matrice YX-1 est égale à l'identité, à un coefficient multiplicatif près, on a donc: a/h=a/g=g/h=l. Ces mêmes rapports, dits de sphéricité, sont supérieurs à 1 dès qu'au moins une des valeurs propres ?k diffère des autres. Soit les fonctions f qui peuvent se mettre sous la forme: f ( 1 X,2,,Xp) = F (a (l,2,,p) g (x IX 2,,Xp), h ( 1 X 2,,p)), avec F(a,g,h) extremum pour a=g=h Toute fonction de cette fami L Le doit être vue comme une mesure de sphéricité généra Lisée, dont on peut déduire directement une mesure de ressemb Lance entre X et Y. Un exemple de dispositif de mise en oeuvre de ce procédé de L'invention est représenté à La figure 2 IL comprend Les modules suivants: un module 30 d'acquisition et de prétrai- tement des différents échantillons sonores x et y, un module 31 d'analyse acoustique d'ordre p de ces échantillons sonores, un module 32 de calcul d'une matrice de covariance (X et Y) de taille p x p du signal vectoriel résultant de l'analyse acoustique de diffé- rents signaux, un module 33 d'inversion matricielle de la matrice de covariance X, un module 34 de stockage de la matrice X-1 dans un dictionnaire, un module 35 de multiplication des ma- trices Y et X-1, un module 36 d'extraction des valeurs propres de ce produit de matrice, un module 37 de calcul d'un signal S de ressemblance. Les fonctions a, g et h définies ci-dessus ne nécessitent pas l'extraction explicite des valeurs propres Ceci tient au fait qu-'il existe des invariants matriciels par changement de base Par exemple, la somme des valeurs propres d'une matrice est égale à sa trace (c'est-à-dire la somme de ses éléments diagonaux); le produit des valeurs propres est égal à son déterminant On a ainsi les relations suivantes: D 2 Xk = trace (YX 1) k= 1 X Ilk= det (YX-1) k=- =tracc (xy-1) k=l -k Il existe donc des variantes du dispositif de l'invention, qui aboutissent au même résultat, dont la configuration ne fait pas apparaître explici- tement de module 36 d'extraction de valeurs propres. On peut ainsi remplacer ce module 36 de calcul des valeurs propres par tout ou partie des modules repré- sentés sur la figure 3. Dans une première variante, représentée sur cette figure 3, on remplace le module 36 de calcul des valeurs propres par un module 40 de calcul de la trace de la matrice YX-1 en parallèle avec un module 41 de calcul du déterminant de cette matrice, et un module 42 d'inversion de cette matrice suivi d'un module 43 du calcul de la trace de la matrice ainsi obtenue On obtient ainsi les trois termes a, g et h (à un facteur ou une puissance près), qui contribuent alors directement au calcul de la mesure de sphéricité. Certaines fonctions de sphéricité peuvent être réalisées de façon encore plus simple Par exemple, si la fonction des valeurs propres comporte uniquement les deux termes suivants: Xk et a-, ck=l k= 1 k' il suffit en effet de calculer l'inverse y 1 de la matrice Y Le module 36 de calcul de valeurs propres peut être remplacé par un module d'inversion de matrice (en l'occurence symétrique) et de calcul de trace (somme des éléments diagonaux) Dans ce cas, pour des raisons de rapidité, le dictionnaire stocke égale- ment les matrices X, en plus des matrices X-1 Il est alors possible de simplifier le dispositif en profitant de la propriété suivante: traceprod (A, B) = trace (AB)= aij bji =ta bii + 2 aij bj 1 = 1j= 1 i=lj=i+l pour A et B symétriques. Ainsi dans une seconde variante du dispo- sitif de l'invention les modules 35, 36 et 37 de la figure 2 sont remplacés par deux modules 45 et 46 de ca Lcu L de La trace du produit de deux matrices (symétriques), suivis d'un module 47 de calcu L du produit. On stocke dans le dictionnaire non seule- ment les matrices de covariance X, mais aussi Leur inverse X-1 La matrice Y est inversée lors du test (ceci n'est pas représenté sur la figure 4) On effectue le calcul direct de la trace du produit de deux matrices (symétriques), et une opération en fonction de deux nombres, produisant la mesure recherchée (par exemple une multiplication). On a ainsi: traceprod (Y, X-1) traceprod (X, Y-1) = a) () = k1 k= 1 _ r Cette seconde variante permet d'obtenir d'excellents résultats en identification. Dans un exemple de réalisation le résultat obtenu est de 97,8 % sur 2100 tests indépendants en utilisant des échantillons de test de durée moyenne égale à environ 3 secondes et provenant de 420 locu- teurs différents ( 5 tests par locuteur) Les références ont été calculées pour chaque locuteur sur un échantil- lon de durée moyenne égale à environ 15 secondes, et ne comportant aucun lien linguistique ni avec les échantillons de test, ni avec les autres échantillons de référence: aucune phrase de l'ensemble de test n'est présente dans L'ensemble de référence, et toutes Les phrases de L'ensemble de référence sont diffé- rentes Une totale indépendance au texte (au contenu linguistique) est donc obtenue. Lorsque les tests ont une durée d'environ secondes, Le taux d'identification obtenu (toujours sur 420 Locuteurs, mais un seul test par locuteur) atteint 99,5 %. D'autres fonctions de sphéricité généra- lisées conduisent à des résultats à peine inférieurs, par exemple, les combinaisons linéaires des rapports de sphéricité (ah-1, ag-1, gh 1) et de leurs puissances (quelconques) De même, les résultats sont quasiment équivalents si l'on remplace les "k par des fonctions monotones des Xk (par exemple, si l'on remplace >k par sa racine carrée) Mais il faut bien préciser qu'il ne s'agit là que de variantes du procédé de l'invention. Le procédé de l'invention peut être utilisé dans de très nombreuses applications nécessitant un accès sélectif, notamment pour des raisons de confiden- tialité Le dispositif de l'invention permet alors la saisie des caractéristiques de la signature sonore correspondante, puis la vérification d'identité. On peut distinguer notamment les appli- cations suivantes: contrôle d'accès à des processus physiques: sécurité, protection industrielle; accès privilégié à des informations: centres de renseignements, banques de données; validation des transactions et opérations bancaires; affectation de tâches nominatives et confidentielles: utilisation d'appareils ne devant servir qu'à une seule personne; applications domestiques: protection par verrou électronique; reconnaissance de la parole: adaptation d'un système de reconnais- sance de la parole à plusieurs locu- teurs; téléconférence: accès réservé aux membres d'une réunion, surveillance des canaux de communi- cation. Le domaine de l'invention peut être étendu à d'autres applications nécessitant la mesure de ressemblance entre échantillons sonores; notamment l'analyse d'ambiance acoustique, la reconnaissance de morceaux de musique, etc REVENDICATIONS 1 Procédé de mesure de ressemblance entre échantillons sonores comprenant une phase d'apprentis- sage à partir d'un ou plusieurs échantillon(s) sonore(s) de référence, et une phase de test à partir d'un ou de plusieurs échantillon(s) sonore(s) de test, ces phases d'apprentissage et de test comportant chacune une étape ( 13) d'acquisition numérique et de prétraitement ( 13) de l'échantillon sonore consi- déré, une étape ( 14) d'analyse acoustique d'ordre p, et une étape ( 15) de calcul de la matrice de cova- riance de taille p x p du signal vectoriel résultant, la phase d'apprentissage comprenant en outre une étape ( 16) d'inversion de la matrice de covariance de réfé- rence X et une étape ( 17) de stockage de la matrice X-1 ainsi obtenue dans un dictionnaire, la phase de test comprenant une étape ( 18) de multiplication de la matrice de covariance du test Y avec la matrice de référence X-1, une étape ( 19) d'extraction de tout ou partie des p valeurs propres ?k de ce_ produit de matrices, caractérisé en ce que la phase de test comprend, de plus, une étape ( 20) de calcul utilisant une famille de fonctions f, dénommées fonction de sphéricité généralisées, appliquée à ces valeurs propres k, de manière à obtenir une valeur numérique mesurant la ressemblance entre l'échantillon de test considéré et les échantillons de référence du diction- naire, cette valeur pouvant être utilisée pour prendre une décision sur la classification de cet échantillon de test; et en ce que ces fonctions f sont des combi- naisons d'au moins deux des termes suivants: a(X,2,,Xp) = 1 X k=l p g (? 11 X 21- >XP) = l Ik k h Ql,2,X)= ( _)- )k= a, g et h représentant respectivement Les moyennes arithmétique, géométrique et harmonique des va Leurs propres k. 2 Procédé de mesure se Lon La revendication 1, caractérisé en ce que dans L'étape de ca Lcu L ( 20) on uti Lise La trace de La matrice YX- 1 Xk = trace (YX'1) k=l le déterminant de cette matrice: i Xk = dot (YX)' k=-1 et la trace de la matrice inversée XY-1: l = trace (XY-1) k=I Xk sans avoir besoin propres A k. de calculer explicitement les valeurs 3 Procédé de mesure selon la revendication 2, caractérisé en ce que l'on stocke dans le diction- naire non seulement les matrices de covariance X, mais aussi leur inverse X-1, en ce que la matrice Y est inversée lors du test, et en ce que l'on effectue le calcul direct de la trace du produit de deux matrices A et B symétriques trace Pr Od (A, B) = tace (AB) = aij bj aii bii + 2 ai bij i 1 j=l i=l j=i+ 1 1 O Wl Wl 1 j=i+l ce calcul s'appliquant à (X, y-1) et à (Y, X-1), et une opération en fonction de ces deux nombres, produi- sant la mesure recherchée. 4 Procédé de mesure selon la revendication 3, caractérisé en ce que dans l'étape de calcul on utilise une fonction telle que: traceprod (Y, X-1) traceprod(X,Y-1)=a/h Dispositif de mise en oeuvre du procédé selon l'une quelconque des revendications précédentes, caractérisé en ce qu'il comprend: un module ( 30) d'acquisition numérique et de prétraitement des échantillons sonores, un module ( 31) d'analyse acoustique, un module ( 32) de calcul de matrice de covariance, un module ( 33) d'inversion matricielle, un module ( 34) de stockage dans un dictionnaire, un module ( 35) de multiplication matri- cielle, un module ( 36) d'extraction des valeurs propres, un module ( 37) de calcul d'un signal de ressemblance. 6 Dispositif selon La revendication 5, caractérisé en ce qu'il comporte un module ( 40) de calcul de la trace d'une matrice YX-1 en parallèle avec un module ( 41) de calcul du déterminant de cette matrice, et un module ( 42) d'inversion de cette matrice suivi d'un module ( 43) du calcul de la trace de la matrice ainsi obtenue ou toute combinaison de deux de ces trois modules seulement. 7 Dispositif selon la revendication 5, caractérisé en ce qu'il comprend deux modules ( 45, 46) de calcul de la trace du produit de deux matrices, suivis d'un module ( 47) de calcul du produit.