Brevet FR2561021A1 — publié le 19850913

La présente invention concerne un procédé de reconnaissance de la parole, dans lequel on modélise l'activité des fibres du nerf auditif selon un modèle prédéterminé, on code des sons d'apprentissage du langage parlé selon ce modèle et on constitue un lexique d'apprentissage de ces sons ainsi codés, on code selon ce mEmé modèle les sons de la parole incidente et on compare aux sons codés du lexique les sons codés de la parole pour reconnaitre ces derniers. On rappelera tout d'abord ici, et schématiquemen-t le fonctionnement du système auditif périphérique. Suivant le sens de propagation des vibrations, un ai- gnal de parole excite les osselets qui transmettent les vibrations à la périlymphe dans laquelle baigne la membrane basilaire, et à laquelle celle-lA retransmet à son tour les vibrations. L'organe de Corti, solidaire de la membrane basilaire, est soumis aux memes mouvements vibratoires que la membrane basilaire. L'organe de Corti, duquel sont issues les fibres formant le nerf auditif, contient les récepteurs sensitifs qui, sous lwaction des vibrations transmises depuis les osselets , sont à origine des influx qui se propagent dans les fibres. On conçoit aisément qu'il a été possible, compte-tenu de ce fonctionnement du système auditif, de proposer plusieurs modèles fonctionnels satisfaisants de la partie mécanique, ou acoustique, du système jusqu'à la membrane basilaire. Quant à l'étape d'apprentissage et de constitution du lexique, ou dictionnaire de référence, qui revient en fait à modéliser le codage nerveux des informations auditives, elle est par contre . plus délicate à mettre en oeuvre Tous les procédés de reconnaissance de la parole proposés jusqu'ici, avec leur dtape dapprentissage propre, n'ont pas donné de résultats globaux satisfaisants. Non seulement le score de reconnaissance atteint par ces procédés est loin d'être égal à 100 * - cest-à-dire que la comparaison, des sons codés de la parole incidente avec ceux du lexique d'apprentissage, ne permet pas toujours de déterminer les véritables sons incidents - mais ces procédés sont encore frès perturbés par les bruits de fond de la parole.En outre, la mise en oeuvre de ces procédés existants est complexe et lourde. La reconnaissance de la parole étant une discipline vouée à un essor certain, notamment pour l'interrogation des bases de données, la réservation de places, la robotique, les transmissions téléphoniques, etc., bref, pour qu'une machine puisse comprendre le contenu d'un message parlé, les demandeurs se sont donc attachés à éliminer les inconvénients des procédés antérieurs, rappelés ci-dessus, ou, mieux, à proposer un nouveau procédé pleinement satisfaisant. Avant d'introduire l'invention de la présente demande, il sera ici souligné qu'à un son phonétiquement déterminé correspond une classe de sons physiques différents, selon le contexte ou le locuteur. L'invention de la présente demande concerne donc un procédé de reconnaissance de la parole du type mentionné plus haut, caractérisé par le fait que, pour constituer le lexique d'apprentissage, on définit, à partir d'informations codées des sons à'apprentissage, des classes de paramètres significatifs de ces sons d'apprentissage, et on isole ces classes, et que, pour reconnaitre les sons de la parole incidente, on détermine pour ces sons les valeurs des mames paramètres et on recherche celle des classes de paramètres définies et isolées qui contient les paramètres des sons incidents. Dans un mode de mise en oeuvre préféré du procédé de l'invention, on définit les classes de paramètres d'apprentissage, de façon connue en soi, en déterminant les axes discriminants des classes considérées deux à deux, et en définissant les projections du centre de gravité de chacune des classes sur les axes discriminants qui lui sont associés. Dans ce cas, et outre les avantages procurés par le procédé considéré dans sa généralité, l'invention ne prend en considération pour l'apprentissage précédant la recon naissance, que des axes discriminants, n(n-î) 2 pour n classes de paramètres, et 2 points sur chacun de ces axes. En autres termes, la mise en oeuvre du procédé de lin- vention est ici particulièrement légère puisqu'il suffit de ne conserver que n(n-l) points d'apprentissage. A propos de la notion connue d'axe discriminant, issue de l'analyse discriminantz, pour séparer ou isoler des volumes définis dans un système de référence ou un espace à un nombre défini de dimensions, on se reportera utilement à ltouvrage de J.M. Romeder, "Hethodes et Programme dAna- lyse discriminante", Bordas 1973, Belgique. L'invention sera mieux comprise à laide de la description suivante d'une mise en oeuvre préférée du procédé de l'invention, en référence aux dessins annexés, -sur lesquels - la figure 1 illustre schématiquement la msodélisation de l'activité des fibres du nerf auditif du procédé de l1in- vention; - la figure 2 représente la structure de ltopérateur de modélisation de la figure 1; - la figure 3 représente l'espace d'apprentissage du procédé de l'invention; - la figure 4 illustre l'étape de discrimination des classes d'apprentissage du procédé de l'invention, et - la figure 5 illustre ltétape de reconnaissance du procédé de l'invention. Le procédé de reconnaissance de la parole comporte les étapes suivantes - modélisation de l'activité des fibres du nerf auditif; - codage de sons selon le modèle et constitution d'un lexique d'apprentissage; - codage des sons de la parole incidente selon le même modèle, et - reconnaissance des sons de la parole incidente à laide du lexique d'apprentissage. On a vu plus haut qu'il avait déjà été proposé plusieurs modèles de l'activité des fibres du nerf auditif. L'invention n'est pas limite à un modèle particulier et l'étape de modélisation décrite ci-dessous ne l'est qu'à titre d'exemple, d'autres, comme le modèle à prédiction linéaire, pouvant être tout aussi bien adoptés. 1. Modélisation de l'activité des fibres du nerf auditif. Cette étape du procédé de l'invention consiste à élaborer, selon le modèlef mage lectrique de la variation de pression acoustique provoquée par la parole incidente. Le signal de parole incident S est reçu dans un cap p teur 1, un microphone, dont le signal électrique de sortie pour des raisons de commodité de traitement, est envoyé sur un convertisseur analogique-numérique 2. Le signal S issu du convertisseur 2 est envoyé sur 11 entrée dtun c réseau 3 qui va Btre décrit en détail ci-après. Ce réseau 3 possède autant de sorties 4 qu'on a retenu de fibres du nerf auditif dans le modèle considéré, ou plus exactement de paires d'une fibre spirale et d'une fibre radiale associées. La constitutrn même du réseau 3 représente le modèle fonctionnel adopté du système auditif périphérique, qui va transformer le signal S en signaux codés Si. Le c i réseau 3 est un opérateur dont la fonction de transfert est le modèle. En référence à la figure 2, le convertisseur 2 est relié à l'entrée d'une chaîne 5 de filtres passe-bas Fpl, Fi2,... Fpi, Fpi+1,... Fpq, montés en série, sympa sant les variations de pression, dans le sens de la propagation, de la perilymphe, dans laquelle baigne la membrane basilaire. Les fréquences de coupure respectives des filtres Fp diminuent depuis le premier filtre Fpi jusqu'au dernier filtre F . Ainsi, les fréquences basses arrivent pq en bout de la chaîne 5. Et c'est ce qui se passe dans la réalité, l'extrémité aval de la membrane basilaire étant excitée par les basses fréquences, et l'extrémité amont par les hautes fréquences. A la sortie des filtres de la chaîne 5 sont respectivement reliés d'autres filtres passe-bas Fml, Fm2,... F i' Fmi+1, ... Fmq, formant une chaîne 6 de filtres parallèles symbolisant q tranches unitaires de la membrane basilaire, virtuellement découpées suivant le sens de propagation, et dont les réactions dépendent des plages de fréquences. Le signal issu d'un filtre Fmj de la chaîne 6 est donc représentatif de l'activité d'une tranche déterminée de la membrane basilaire. Comme on le constatera facilement, le modèle adopté jusqu'ici est un modèle linéaire. A la sortie de certains des filtres Fm est rac cor* une chaîne 7 de convertisseurs logarithmiques, qui transforment les amplitudes des signaux délivrés par les filtres F et délivrent donc des décibels. Cette chaîne 7 m simule les phénomènes de propagation de l'onde acoustique dans chaque tranche unitaire de la membrane basilaire, dans laquelle la vitesse de propagation diminue suivant le sens de propagation. Les sorties des convertisseurs 7 sont raccordées à un module moyenneur 8 délivrant un signal temporel représentatif de l'activité de la tranche de la membrane basilaire concernée. Le module 8 somme les signaux délivrés par les convertisseurs 7 et divise la somme par le - nombre de convertisseurs. Le module 8 est relié à une entrée d'un additionneur 9 dont l'autre entrée reçoit un signal représentatif de l'activité spontanée de la fibre i, c'est-à-dire de son niveau de repos, fibre i associée à la tranche consldérée de la membrane basilaire. il s'agit ici plus particulièrement d'une fibre spirale, à laquelle est associée une fibre radiale, pour former une paire de fibres , participant à la constitution du nerf auditif. En ce qui concerne les autres filtres F donc associés m à des fibres radiales, leur sortie n'est reliée qu'à un seul convertisseur logarithmique 12. Dans l'exemple considéré, à chaque fibre spirale de rang i est associée une fibre radiale de rang , avec j > i+2. Dans le modèle adopté, j = i+3. Pour simuler ici encore la vitesse de propagation dans les seules fibres spirales, la sortie des additionneurs 9 est reliée à une ligne à retard 10. Le modèle en cours de description repose sur l'hypo- thèse selon laquelle une fibre spirale a pour fonction de diviser, ou de multiplier par un nombre inférieur à 1, l'activité de la fibre radiale voisine et disposée en aval, qui lui est associée. En conséquence, et s'agissant de décibels, ou logarithmes, un module sommateur 11 reçoit sur son entrée négative le signal de sortie de la ligne à retard lO, et sur son entrée positive le signal délivré par le convertisseur 12. Le module Il délivre ainsi un signal, image analogique de la fréquence moyenne des influx de la paire de fibres modélisées.Dans le modèle adopté et qui vient d'être décrit, l'opérateur 3 possède 32 sorties 4, en référence à la figure 1, et avec ces 32 sorties, il peut recevoir des signaux de fréquence comprise dans la plage 25-4500 Hz. 2. Anprentissage La fonction de transfert de l'opérateur 3, dans sa matérialisation, venant d'être définie, on applique à l'entrée de l'opérateur 3 un signal de parole dtappren- tissage déterminé, composé de mots types, qu'on va obtenir sous une forme codée à la sortie. On obtient en fait 32 informations évolutives sur lwactivité des fibres en réponse au signal de parole. On notera que le signal de mots types codés age de sons phonétiquement identiques mais physiquement différents.En effet, et par exemple dans la langue française, les sons "a" des quatre mots "écart", "bague", "bateau" et "badaud" sont physiquement distincts. C1 est pourquoi, on analyse en fait le signal de parole codé dans des centres, par exemple de 35 ms, pour définir et recueillir les sons d'apprentissage, morceaux par morceaux et donc fenêtre par fenêtre, Chaque fenêtre fournit donc également 32 informations évolutives, mais ceci conduit à une quantité d'informations trop importante à conserver. On procède alors à une réduction de ces informations, en en extrayant des paramètres significatifs qui seront stockés dune manière particulière, comme cela sera vu plus loin. Pour chaque fenêtre d'analyse, on pourra, par exemple, déterminer - la moyenne Si du signal si, - lrénergie du morceau de son - le rapport entre l'énergie haute fréquence et l'énergie basse fréquence, - les numéros, ou les positions, des pics d'activité dans la suite des données, Si, représentatifs de la valeur des fréquences dominantes, - les valeurs des pics ainsi numérotés, - les valeurs précédentes divisées par la valeur du pre mier pic. Par fenêtre, on obtient donc un groupe de paramètres représentant un morceau de son déterminé. Dans le cas par exemple où un morceau de son d'apprentissage doit être défini par onze paramètres, on adoptera, de préférence, l'énergie, la distribution énergétique, le nombre de pics, les valeurs des premier, troisième et cinquième pics, les positions des quatre premiers pics et le rapport entre le second pic et le premier. Symboliquement, on peut représenter chaque morceau de son, correspondant à une fenêtre, dans un espace à autant de dimensions qu'il y a de paramètres définissant ce morceau de son, c'est-à-dire par un vecteur s'étendant entre l'origine des coordonnées dans l'espace en question et le point ayant pour coordonnées les valeurs des paramètres retenus, p1, p2, p3, ... p q Compte-tenu desremarques précédentes, on conçoit aisément qu'à un même son phonétique correspondent en fait plusieurs vecteurs ou plusieurs points dans l'espace multidimensionneladopté . Dans la pratique, les demandeurs ont mis en oeuvre ltétape d'apprentissage avec environ une trentaine de groupes de vecteurs dont les extrémités, autres que l'origine, forment autant d'images ou de classes de points, chaque classe de points représentant un son principal de la langue française et contenant environ une dizaine de points associés respectivement à différents mots prononcés par plusiexs locuteurs. Les m points et vecteurs de n classes C étant caractérisés, conformément à la figure 3, dans un espace à trois dimensions seulement pour en faciliter la comprehen- sion, il faut réduire encore les informations à stocker pour caractériser ces classes et isoler toutes les classes les unes des autres, certaines étant sécantes entre-elles, c'est-à-dire qu'elles possèdent respectivement des points dont les projections orthogonales sur au moins l'un des axes de coordonnées sont les mêmes. A cet effet, et de façon connue, on détermine les axes discriminants des n classes considérées, dans l'exem- ple ici décrit, deux à deux, ainsi que les projections orthogonales du centre de gravité, c'est-à-dire la moyenne des points, de chacune des classes sur les axes discriminants qui lui sont associés (figure 4). On obtient ainsi, pour n classes, n(n21i) axes discriminants, chaque classe étant associée à (n-l) axes discriminants, et sur chaque axe, deux points de projection. Globalement, on définit donc, dans un espace d'apprentissage, les sons d'apprentissage par n(2n-1) vecteurs unitaires et 2 n(n-1), soit n(n-l) points de projection. Mais comme deux points définissent un axe, les n(n-l) points de projection suffisent à définir le lexique d'apprentissage. A titre d'exemple, et en référence à la figure 4 on y a tracé dans un espace à trois dimensions (P1, p2, p3) et pour 4 classes C1, C2, C3, C4, les six axes discrim4- nants A12, A13, A14 A23, A24 À34, les 3 projections P 12 P113 P114 des centres de gravité G1 de la classe C 1' sur les trois axes associés A12, A13, Al4, et la projection 14 P4 du centre de gravité G4 de la classe C4 sur l'un des trois axes associés, en l'occurrence l'axe A12, les huit autres projections des centres de gravité G2, G3, G4 des classes C2, C3, C4 n'ayant pas été indiquées pour des raisons de clarté. 3. Codage des sons de la parole incidente On procède au codage de ces sons de la même manière qu'on a procédé au codage des sons d'apprentissage, et on détermine donc pour chacun des sons incidents, ou, plus exactement, pour chacun des morceaux de sons incidents, la caractéristique vectorielle représentative de ce morceau de son Il stagit de vecteurs au départ indéterminés dans l'espace d'apprentissage et qu'on va localiser dans les classes- de vecteurs caractérisées. I1 s'agira de l'étape de reconnaissance. 4. Reconnaissance des sons de la parole incidente On projette orthogonalement i'extrémité de chaque vecteur inconnu sur tous les axes discriminants de l'es- pace d'apprentissage et on détermine les distances séparant chacune de ces projections des deux projections des centres de gravité associés à chaque axe.En référence à la figure 5, et pour ne considérer que l'axe A&alpha;ss, portant les projections P&alpha;&alpha;ss et Pss&alpha;ss, on détermine la pro &alpha;ss jection P sur l'axe A ss et on détermine les distances Px&alpha;ss P&alpha;&alpha;ss = d&alpha; &alpha;ss et P&alpha;ss P&alpha;ss = dss &alpha;ss, ces distances étant X d'ailleurs les mêmes que d a et dssss&alpha;, respectivement. a On calcule ensuite, et pour les n classes, la somme de toutes les distances entre la projection de l'extrémité du vecteur inconnu et la projection du centre de gravité de chaque classe sur tous les axes discriminants associés à cette classe, obtenant ainsi n sommes Sa, pour a de 1 à 4, égales à Pour reprendre l'exemple des figures 3-5, on détermine les sommes S1 = d112 + d113 + d 21 S2 = d2 + d223 + d224 83 = d33 + d332 + d334 S4 = d441 + d442 + d443. Ayant déterminé les n sommes S , on retient la plus petite, associée à un centre de gravité déterminé, et on pose que l'extrémité du vecteur inconnu appartient à la classe du centre de gravité ainsi déterminé. La reconnaissance du morceau de son représenté par ce vecteur est ainsi faite. On pourrait d'ailleurs seulement favoriser la classe dont la somme en question est la plus petite et proposer ensuite les autres classes par ordre croissant des sommes pour la classification du morceau de son incident. L'intérêt du procédé de l'invention réside clairement dans la relativement faible quantité d'informations à conserver pour effectuer la reconnaissance, des axes et deux projections sur chacun d'eux, ou même seulement ces projections, comme cela a été vu plus haut. Si ces données sont à conserver dans une mémoire, la taille de celle-ci pourrait être particulièrement réduite et être celle d'une machine de taille tout aussi réduite. On mettra d'ailleurs en oeuvre le procédé qui vient d'entre décrit de préférence à l'aide d'un petit calculateur. On a choisi, pour réduire la quantité de données à stocker de caractériser une classe par la projection de son centre de gravité sur ses axes discriminants associés. On aurait pu également considérer d'autres données, par exemple les projections des extrêmes de chaque classe sur ses axes associés, la méthode restant ensuite la même. L'intérêt supplémentaire, du procédé de l'invention, qui résulte de la faible quantité de données d'apprentissage stockées, réside dans la rapidité de la reconnaissance elle-même, puisqu'il suffit, pour cela, de n'effectuer que le nombre correspondant d'opérations. REVENDICATIONS 1 - Procédé de reconnaissance de la parole, dans lequel on modélise l'activité des fibres du nerf auditif selon un modèle prédéterminé, on code des sons dappren- tissage du langage parlé selon ce modèle et on constitue un lexique d'apprentissage de ces sons ainsi codés, on code selon ce même modèle les sons de la parole incidente, et on compare aux sons codés du lexique les sons codes de la parole pour reconnaitre ces derniers, procédé caracte- risé par le fait que, pour constituer le lexique d'appren- tissage, on définit, à partir d'informations codées des sons d'apprentissage, des classes (C1, C2, C3, Cn) de paramètres (p1, P2, p3) significatifs de ces sons dfap prentissage et on isole ces classes les unes des autres, et que, pour reconnaître les sons de la parole incidente, on détermine pour ces sons les valeurs des mêmes paramètres et on recherche celle des classes de paramètres définies et isolées qui contient les paramètres de ces sons incidents. 2 - Procédé selon la revendication 1, caractérisé par le fait qu'on définit les classes de paramètres d'apprentissage en déterminant les axes discriminants (A12, Al3, A14, A23, A24, A34) des classes considérées deux à deux (C1) C2; Cl, C3; Cl, C4; C2, C3; C2, C4; C3, C4), et en définissant les projections (pu , Pu 3, P114, P414) du centre de gravité (G1, G2, G3, G4) de chacune des classes sur les axes discriminants qui lui sont associés. 3 - Procédé selon l'une des revendications 1 et 2% caractérisé par le fait qu'on analyse dans des fenêtres les sons d'apprentissage codés et les sons codés de la parole incidente, morceau par morceau. 4 - Procédé selon la revendication 3, caractérisé par le fait qu'on extrait des informations codées les paramètres des classes d'apprentissage et ceux des morceaux de sons incidents. 5 - Procédé selon lune des revendications 1 à 4, caractérisé par le fait qu'on définit chaque morceau de son par un vecteur dans un espace à autant de dimensions qu'il y a de paramètres (P1, p2, P3) 6 - Procédé selon la revendication 5, caractérisé par le fait que la recherche de la classe de paramètres contenant les paramètres d'un son incident steffectue en - projetant 1'extrémité du vecteur du son incident sur tous les axes discriminants de l'espace, en - déterminant les distances séparant chacune de ces pro Jections des deux projections des centres de gravité associés à chaque axe, en - calculant, pour chacune des classes, la somme de toutes les distances entre la projection de l'extrémité du vecteur du son incident et la projection du centre de gravité de chaque classe sur tous les axes discriminants associés à cette classe, et en - retenant la plus petite de ces sommes associée à un centre de gravité dtune classe déterminée.