Brevet FR2842013A1 — publié le 20040109

i Le présent dispositif a pour fonction de restituer les paroles d'un locuteur, quels que soient les bruits ambiants et quelle que soit l'intensité sonore des paroles émises par ce locuteur, lorsque ce locuteur utilise un appareil qui dispose d'une fonction de communication vocale, de commande vocale ou de reconnaissance vocale. Actuellement, nous sommes amenés de plus en plus fréquemment à utiliser des appareils fixes, portables ou mobiles qui disposent d'une fonction de communication vocale, de commande vocale ou de reconnaissance vocale, à la maison, sur le lieu de travail, dans des lieux publics ou dans divers établissements. Or, l'usage le plus courant de ces appareils peut se révéler contraignant ou embarrassant, car, très souvent, dans l'environnement ambiant, - les multiples bruits parasites représentent une gêne à la réception de la voix, au point de rendre inopérantes des fonctions de commande vocale ou de reconnaissance vocale; - les utilisateurs doivent parler fort dans leurs microphones et la prolifération de ces émissions vocales bruyantes devient pour chacun une source croissante de pollution sonore; et - nous aimerions que les paroles que nous amenés à exprimer en public dans les microphones de ces appareils conservent un caractère privé ou confidentiel, à l'abri des oreilles indiscrètes. La présente invention propose un dispositif qui permet de supprimer ces contraintes et embarras dans l'utilisation des appareils proposant une fonction de communication vocale, de commande vocale ou de reconnaissance vocale. Le dispositif, doté d'un commutateur de mise en fonction et d'une source ou arrivée d'alimentation en énergie, comporte un ensemble électronique, une caméra vidéo, un microphone optionnel et un haut-parleur optionnel. L'ensemble électronique qui assure la gestion du dispositif peut inclure une ou plusieurs puces électroniques. Il dispose d'une unité de traitement des informations et d'un groupe de mémoires susceptibles de stocker: 30. Des informations mises en mémoire à la réalisation de l'ensemble électronique du dispositif: - un logiciel le contrôle le dispositif, - une base de données standard contenant l'ensemble des valeurs caractéristiques visuelles standard associées aux éléments sonores fondamentaux de paroles prononcées par un locuteur quelconque, intégrant les différents mouvements faciaux liés à la prosodie, l'intonation, l'accent et le ton. 5. Des informations mises en mémoire par le logiciel de contrôle du dispositif qui représentent des valeurs caractéristiques d'un (ou des) locuteur(s) exploitant le dispositif ou en mesure de l'exploiter: - des données d'identification; - optionnellement, des données de prononciation; et - optionnellement, des données de la voix. Les données fournies par la caméra vidéo que le logiciel de contrôle traite pour obtenir des valeurs visuelles caractéristiques d'un locuteur peuvent concerner - la tête, le visage, le front, les sourcils, les yeux, la bouche, les mâchoires, les lèvres, et autres traits de la face; - la silhouette générale, la démarche, et les gestes; - ainsi que les expressions du visage et les mouvements faciaux du locuteur en train de parler. Si le dispositif gère un microphone, le logiciel de contrôle traite les sons qu'il reçoit du microphone pour obtenir des valeurs caractéristiques sonores de la voix du locuteur qui peuvent concerner l'intensité, la hauteur, le timbre et des catégories de voix. Optionnellement, le logiciel de contrôle du dispositif peut prendre en charge des mouvements de la caméra vidéo pour assurer jusqu'à un certain seuil de tolérance un automatisme du suivi du locuteur dans ses mouvements. Pour remplir sa fonction de restitution des paroles d'un locuteur, le dispositif doit d'abord être en mesure d'identifier ce locuteur. C'est la phase d'initialisation d'un locuteur, conduite par le logiciel de contrôle qui permet de déterminer et de stocker en mémoire des valeurs caractéristiques d'identification d'un locuteur. Optionnellement, cette phase d'initialisation permet de déterminer et de stocker en mémoire des valeurs visuelles et sonores associées aux paroles prononcées au cours de cette phase par le locuteur. Le dispositif est mis en phase d'initialisation par action sur un commutateur d'initialisation du dispositif, cette action pouvant consister en une commande d'initialisation visuelle et (ou) sonore reconnue par le dispositif. a Le locuteur à identifier doit se trouver de face dans le champ de la caméra vidéo. * A partir des données visuelles fournies par la caméra vidéo, le logiciel de contrôle établit des valeurs caractéristiques d'identification morphologiques et dynamiques du locuteur. 5. Lorsque le locuteur parle, il doit - avoir la bouche et les lèvres bien en évidence, - garder sa tonalité habituelle, sans emphase, en articulant convenablement, et - conserver le visage tourné d'une manière telle que la caméra vidéo puisse en recevoir une image suffisamment complète. a Si le locuteur n'est pas identifiable dans le champ de la caméra vidéo, le logiciel de contrôle du dispositif alerte l'utilisateur par une alarme lumineuse ou sonore, jusqu'à ce que le dispositif soit mis hors fonction ou jusqu'à ce que l'ensemble électronique puisse à nouveau identifier le locuteur. * Optionnellement, le logiciel de contrôle peut traiter des valeurs caractéristiques visuelles associées à la prononciation du locuteur. Le locuteur doit alors prononcer une séquence précise de mots qui couvre l'ensemble des variantes combinatoires des phonèmes qu'il peut être amené à employer. Ces valeurs caractéristiques visuelles associées à la prononciation du locuteur sont enregistrées en mémoire et elles viennent compléter la base de données standard. Si le locuteur est placé d'une manière telle qu'il n'est pas possible pour l'ensemble électronique de reconnaître visuellement ses paroles, le logiciel de contrôle du dispositif alerte l'utilisateur par une alarme lumineuse ou sonore, jusqu'à ce que le dispositif soit mis hors fonction ou jusqu'à ce que l'ensemble électronique puisse à nouveau reconnaître visuellement les paroles du locuteur. Si le dispositif est muni d'un microphone, le logiciel de contrôle calcule des caractéristiques sonores de la voix du locuteur. L'utilisateur doit alors s'efforcer d'obtenir les meilleures conditions de réception de la voix au microphone et se tenir à l'abri des bruits parasites. Si le dispositif est muni d'un haut-parleur, l'utilisateur peut vérifier que la séquence des mots prononcés a correctement été prise en compte et, s'il constate des anomalies, le dispositif lui permet par commande de reprendre la prononciation des mots. La restauration du commutateur d'initialisation termine la phase d'initialisation d'un locuteur, cette restauration pouvant consister en une commande de fin de phase d'initialisation visuelle et (ou) sonore reconnue par le dispositif Le dispositif, dès lors qu'il est mis en fonction et initialisé pour un locuteur, est prêt à fonctionner pour un usage courant de restitution des paroles de ce locuteur. * Le locuteur doit se trouver le visage face à l'objectif de la caméra vidéo, la bouche et les lèvres bien en évidence, et doit parler en articulant convenablement avec naturel. * Si le dispositif n'est pas muni d'un microphone, le locuteur n'a pas à tenir compte des bruits ambiants et peut même parler en silence, c'est à dire sans émettre de son de la voix. Si le dispositif est muni d'un microphone, le locuteur peut, suivant les circonstances, parler en silence, parler sans tenir compte du microphone ou des bruits ambiants, ou permettre au dispositif de tirer le meilleur profit de sa voix. 15. Le logiciel de contrôle réalise d'abord des traitements à partir des images du locuteur prises par la caméra vidéo: 1) Le logiciel de contrôle vérifie la position du locuteur dans le champ de la caméra, par le rapprochement entre des éléments caractéristiques de ce locuteur établies à partir des données que lui fournit la caméra vidéo et des éléments caractéristiques d'identification stockés en mémoire au cours de la phase d'initialisation de ce locuteur. Si le locuteur n'est pas ou n'est plus identifiable dans le champ de la caméra, ou si le locuteur est placé d'une manière telle qu'il n'est pas possible de reconnaître visuellement ses paroles, le logiciel de contrôle alerte l'utilisateur par une alarme lumineuse ou sonore, jusqu'à ce que le dispositif soit mis hors fonction ou en phase d'initialisation ou jusqu'à ce que l'ensemble électronique puisse à nouveau identifier le locuteur. 2) Le logiciel de contrôle analyse les mouvements du locuteur qui parle, et notamment ses mouvements faciaux. Les paroles du locuteur sont ainsi traduites en séquences temporelles de valeurs visuellement caractéristiques de leur prononciation. Le logiciel de contrôle effectue ensuite un traitement de rapprochement contextuel, suivant les options disponibles du dispositif: 1) Soit il réalise un rapprochement contextuel entre les valeurs caractéristiques visuelles obtenues à partir des images du locuteur prises par la caméra vidéo et des données standard enregistrées en mémoire à la réalisation de l'ensemble électronique. 2) Soit il réalise un rapprochement contextuel entre les valeurs caractéristiques visuelles obtenues à partir des images du locuteur prises par la caméra vidéo et, à la fois, a) des données standard enregistrées en mémoire, b) et des données propres au locuteur, enregistrées en mémoire soit au cours de la phase d'initialisation du dispositif, - soit dynamiquement au cours de l'utilisation courante du dispositif, - soit, à la fois, au cours de sa phase d'initialisation et dynamiquement au cours de l'utilisation courante du dispositif. 3) Soit il réalise un rapprochement synchronisé et contextuel, à la fois, a) entre les résultats, classés temporellement, obtenus à la fm du traitement de l'une des options précédentes 1) ou 2), b) et les sons de la voix du locuteur, classés temporellement, obtenus après traitement préalable par le logiciel de contrôle des sons issus du microphone et rapprochés des valeurs caractéristiques sonores de la voix du locuteur stockées en mémoire au cours de la phase d'initialisation du dispositif A l'issue de ces traitements de rapprochement des valeurs qui caractérisent les paroles que le locuteur est en train de prononcer, l'ensemble électronique restitue, vers l'appareil sur lequel le dispositif est installé, des sons précis reconstitués des paroles prononcées par ce locuteur. Les sons ainsi restitués peuvent emprunter - une voix de synthèse, - ou utiliser la voix du locuteur, dans le cas o le dispositif est muni d'un microphone. Le dispositif peut être mis hors fonction au bout d'un temps déterminé d'inactivité du dispositif, ou par restauration du commutateur de mise en fonction, cette restauration pouvant d'ailleurs consister en une commande de mise hors fonction visuelle et (ou) sonore reconnue par le dispositif. La description ci-dessous illustre un exemple non limitatif du dispositif qui se réfère aux dessins annexés, o * Fig. 1 est une vue schématique de l'ensemble des constituants du dispositif; ò Fig. 2 est un schéma représentant l'ensemble électronique; 5. Fig. 3 est un schéma détaillant l'élément mémoire de l'ensemble électronique. En référence à ces dessins, le dispositif, doté d'un commutateur (11) de mise en fonction et d'une source d'alimentation en énergie (12), comporte une caméra vidéo (13), un microphone (17) et un haut-parleur (18), qui à la mise en fonction du dispositif, sont mis en liaison avec un ensemble électronique (14), le constituant de gestion du dispositif. L'ensemble électronique (14) comprend un processeur de traitement (21) et un groupe de mémoires (22) comportant deux sous-groupes: le sous-groupe de mémoires (31) qui contient des informations non modifiables stockées à la réalisation de l'ensemble électronique et le sous-groupe de mémoires (32) qui contient des informations modifiables caractérisant un locuteur ou plusieurs. Le sous-groupe de mémoires (31) inclut la mémoire o se trouve stocké le logiciel (36) de contrôle du dispositif, et la mémoire o se trouve stockée la base de données standard (37) contenant des valeurs caractéristiques visuelles associées à la prononciation d'un locuteur quelconque, intégrant les différents mouvements faciaux liés à la prosodie, l'intonation, l'accent et le ton. Le sous-groupe de mémoires (32) inclut, pour un (ou plusieurs) locuteur(s), la mémoire qui contient des données représentant des valeurs caractéristiques visuelles d'identification (33), la mémoire qui contient des données représentant des valeurs caractéristiques visuelles associées à la prononciation (34) des paroles, et la mémoire qui contient des données représentant des valeurs caractéristiques sonores de la voix (35). Le logiciel de contrôle (36) extrait et traite des données qu'il reçoit de la caméra vidéo (13) pour obtenir des valeurs visuelles caractéristiques d'un locuteur qui concernent la silhouette, la tête, le visage, le front, les sourcils, les yeux, la bouche, les mâchoires, les lèvres, les traits et expressions du visage, les gestes, et les différents mouvements faciaux que le locuteur met enjeu lorsqu'il parle. L'utilisateur met le dispositif en phase d'initialisation en appuyant sur le commutateur (16) d'initialisation. Au cours de cette phase d'initialisation, le logiciel de contrôle (36) va traiter des images qu'il reçoit de la caméra vidéo (13) pour lui permettre d'identifier le locuteur et lui permettre de trouver des particularités de l'expression orale de ce locuteur. Le locuteur, le visage tourné vers l'objectif de la caméra vidéo (13), la bouche et les lèvres bien en évidence, se met à parler, en gardant sa tonalité habituelle, sans emphase, et en articulant convenablement, et prononce, devant le microphone (17), à l'abri des bruits parasites, une suite précise de mots qui couvrent l'ensemble des variantes combinatoires des phonèmes qu'il peut être amené à employer. Le logiciel de contrôle (36) réalise alors les traitements suivants: 1. Il détermine pour ce locuteur des valeurs visuelles morphologiques et dynamiques qui le caractérisent. Après calcul, il stocke en mémoire les valeurs caractéristiques visuelles d'identification (33) de ce locuteur, puis il stocke en mémoire les valeurs caractéristiques visuelles associées à la prononciation (34) des paroles de ce locuteur, venant ainsi compléter la base de données standard (37). 2. Il détermine pour ce locuteur des valeurs caractéristiques sonores (35) de la voix du locuteur, en termes d'intensité, de hauteur, de timbre et de catégories de voix, puis il les stocke en mémoire. Si, au cours de cette phase, le locuteur bouge au point de n'être plus très précisément identifiable, le logiciel de contrôle (36) active une alarme (15), voyant rouge situé devant la caméra vidéo (13), jusqu'à ce que le locuteur soit à nouveau convenablement identifiable, ou que l'utilisateur mette fin à la phase d'initialisation ou que le dispositif soit mis hors fonction. Un haut-parleur (18), permet à l'utilisateur de vérifier la prise en compte des mots prononcés. La commande " vérification des mots prononcés " déclenche cette vérification sonore. En cas d'anomalie, la commande " correction des mots prononcés " permet une nouvelle prise en compte des mots prononcés par le locuteur devant le microphone (17). L'utilisateur met fin à la phase d'initialisation en appuyant à nouveau sur le commutateur (16) d'initialisation. Le dispositif, ainsi mis en fonction et initialisé pour ce locuteur, est alors prêt à fonctionner pour un usage courant de restitution des paroles de ce locuteur, sous le contrôle du logiciel de contrôle (36). Le locuteur doit toujours se trouver le visage face à l'objectif de la caméra vidéo (13), la bouche et les lèvres bien en évidence, et parler en articulant convenablement avec naturel. Le locuteur peut, suivant les circonstances, parler en silence c'est à dire sans émettre de son de la voix, parler sans tenir compte du microphone (17) ou des bruits ambiants, ou parler en utilisant au mieux le microphone (17). Les traitements suivants sont alors réalisés: 1) Le logiciel de contrôle (36) contrôle la présence du locuteur dans le champ de la caméra, par le rapprochement entre des éléments caractéristiques d'identification qu'il détermine à partir des images reçues par la caméra vidéo (13) et des éléments caractéristiques (33) stockés en mémoire au cours de la phase d'identification de ce locuteur. Si le logiciel de contrôle (36) échoue dans son traitement d'identification, il avertit l'utilisateur par l'alarme (15), voyant rouge situé devant la caméra vidéo (13), jusqu'à ce que le locuteur soit à nouveau convenablement situé dans le champ de la caméra ou jusqu'à ce que le dispositif soit mis hors fonction ou mis en phase d'initialisation. 2) Le logiciel de contrôle (36) analyse les mouvements du locuteur qui parle, et notamment ses mouvements faciaux, à partir des images vidéo reçues par la caméra vidéo (13) et il établit des séquences temporelles de valeurs visuellement caractéristiques des paroles prononcées par ce locuteur. 3) Le logiciel de contrôle (36) effectue un rapprochement qui tient compte du contexte entre les valeurs caractéristiques visuelles ainsi calculées et, à la fois, a) la base de données standard (37), b) et des données visuelles de prononciation (34) propres au locuteur, enregistrées en mémoire au cours de la phase d'initialisation. 4) Le logiciel de contrôle (36) effectue ensuite un rapprochement synchronisé et qui tient compte du contexte a) entre les valeurs résultant du traitement de l'étape 3) précédente, classées temporellement, b) et les valeurs caractéristiques sonores, éventuellement utilisables, de la voix du locuteur, obtenues et classées temporellement, après traitement de rapprochement par le logiciel de contrôle (36) entre les sons du microphone (17) et les données sonores de la voix (35) du locuteur stockées en mémoire au cours de la phase d'initialisation. A l'issue de ces traitements des valeurs qui caractérisent les paroles que le locuteur est en train de prononcer, le logiciel de contrôle (36) restitue, vers l'appareil sur lequel le dispositif est installé, des sons précis reconstitués des paroles prononcées par ce locuteur, en utilisant les données sonores de la voix (35) du locuteur. Ce dispositif, qui permet dans l'environnement ambiant de s'affranchir des contraintes et de la pollution des bruits parasites et de conserver aux communications orales leur caractère privé ou confidentiel à l'abri des oreilles indiscrètes, peut s'appliquer aux multiples appareils proposant une fonction de communication vocale, de commande vocale, ou de reconnaissance vocale, que ces appareils soient fixes, portables ou embarqués dans des véhicules. Ainsi, par exemple, ce dispositif peut s'appliquer * à la téléphonie, pour les conversations et pour la saisie vocale de facilités Internet ou d'autres facilités; ò à la domotique, pour le réglage et le pilotage vocal d'appareils domestiques; * à la bureautique et à l'informatique, pour la vidéoconférence, pour la dictée vocale et pour le pilotage vocal de logiciels; * dans des véhicules, pour le pilotage vocal de facilités de conduite et de navigation; 20. dans les banques, les administrations, les commerces, les centres médicaux, et autres établissements, pour la saisie vocale de diverses facilités à usage du grand public ou à usage de spécialistes. REVENDICATIONS 1) Dispositif pour restituer les paroles prononcées par un locuteur, quels que soient les bruits ambiants et quelle que soit l'intensité sonore des paroles prononcées par ce locuteur, caractérisé en ce qu'il comporte, a) un commutateur de mise en fonction (11), b) une source ou une arrivée d'alimentation en énergie (12), c) une caméra vidéo (13), d) un commutateur d'initialisation (16) d'un locuteur, e) une alarme (15) de signal d'anomalie, et f) un ensemble électronique (14) de gestion du dispositif 2) Dispositif selon la revendication 1, caractérisé en ce que l'ensemble électronique (14) est prévu pour supporter la gestion des unités optionnelles suivantes: a) un microphone (17), et b) un haut-parleur (18). 3) Dispositif selon les revendications précédentes, caractérisé en ce que l'ensemble électronique (14) comporte a) une unité de traitement des informations (21), et b) un groupe de mémoires de stockage (22). 4) Dispositif selon les revendications précédentes, caractérisé en ce que le groupe de mémoires de stockage (22) inclut a) un logiciel de contrôle du dispositif (36), b) une base de données standard (37), et c) des données modifiables (32) suivant le (ou les) locuteur(s) susceptible(s) d'exploiter le dispositif. ) Dispositif selon les revendications précédentes, caractérisé en ce que les données modifiables (32) comprennent: a) des données d'identification (33), b) des données optionnelles de prononciation (34), et c) des données optionnelles de la voix (35). 6) Dispositif selon les revendications précédentes, caractérisé en ce que le logiciel de contrôle (36) extrait et traite des données qu'il reçoit de la caméra vidéo (13) pour obtenir des valeurs visuelles caractéristiques d'un locuteur qui peuvent inclure: il - la tête, le visage, le front, les sourcils, les yeux, la bouche, les mâchoires, les lèvres, et autres traits de la face; - la silhouette générale, la démarche, et les gestes; et - les expressions du visage et les mouvements faciaux du locuteur en train de parler. 7) Dispositif selon les revendications précédentes, caractérisé en ce que le logiciel de contrôle (36), peut optionnellement extraire et traiter des données qu'il reçoit du microphone (17) pour obtenir des valeurs caractéristiques sonores de la voix d'un locuteur, qui peuvent inclure: - l'intensité, la hauteur, le timbre; et - des catégories de voix. 8) Dispositif selon les revendications précédentes, caractérisé en ce que la base de données standard (37) est stockée en mémoire de l'ensemble électronique (14) à la réalisation du dispositif et représente l'ensemble des valeurs caractéristiques visuelles associées aux éléments sonores fondamentaux de paroles prononcées par un locuteur quelconque, intégrant les différents mouvements faciaux liés à la prosodie, l'intonation, l'accent et le ton. 9) Dispositif selon les revendications précédentes, caractérisé en ce que les données d'identification (33) sont des données extraites des images vidéo de la caméra vidéo (13) puis traitées pour représenter des caractéristiques visuelles d'identification d'un locuteur et stockées en mémoire de l'ensemble électronique (14) par le logiciel de contrôle (36) dans une phase d'initialisation du dispositif ) Dispositif selon les revendications précédentes, caractérisé en ce que les données de prononciation (34) sont des données optionnelles extraites des images vidéo de la caméra vidéo (13) puis traitées pour représenter des caractéristiques visuelles de prononciation d'un locuteur et stockées en mémoire de l'ensemble électronique (14) par le logiciel de contrôle (36) au cours d'une phase d'initialisation de ce locuteur et (ou) au cours du fonctionnement courant du dispositif pour ce locuteur. 11) Dispositif selon les revendications précédentes, caractérisé en ce que les données de la voix (35) sont des données optionnelles extraites des sons du microphone (17) puis traitées pour représenter des caractéristiques sonores de la voix d'un locuteur et stockées en mémoire de l'ensemble électronique (14) par le logiciel de contrôle (36) dans une phase d'initialisation du dispositif. 12) Dispositif selon les revendications précédentes, caractérisé en ce que le logiciel de contrôle (36) identifie un locuteur placé dans le champ de la caméra vidéo (13) par le rapprochement entre des éléments caractéristiques d'identification qu'il détermine à partir des images qu'il reçoit de la caméra vidéo et des données d'identification (33). 13) Dispositif selon les revendications précédentes, caractérisé en ce que le logiciel de contrôle (36) reconstitue les paroles prononcées par un locuteur en effectuant un traitement de calcul des valeurs caractéristiques visuelles de prononciation du locuteur à partir des données reçues de la caméra vidéo (13), et de classement temporel des valeurs ainsi obtenues. 14) Dispositif selon les revendications précédentes, caractérisé en ce que le logiciel de contrôle (36) reconstitue les paroles prononcées par un locuteur en effectuant un traitement de rapprochement contextuel entre les valeurs qui résultent du traitement décrit à la revendication 13 et a) soit les données de la base de données standard (37), b) soit, à la fois, les données de la base de données standard (37) et les données de prononciation (34). ) Dispositif selon les revendications précédentes, caractérisé en ce que le logiciel de contrôle (36) reconstitue les paroles prononcées par un locuteur en effectuant un traitement optionnel de rapprochement entre les sons reçus par le microphone (17) et les données de la voix (36), et de classement temporel des sons identifiés. 16) Dispositif selon les revendications précédentes, caractérisé en ce que le logiciel de contrôle (36) reconstitue les paroles prononcées par un locuteur en effectuant un traitement optionnel de rapprochement synchronisé et contextuel a) entre le résultat du traitement décrit à la revendication 14 et b) le résultat du traitement décrit à la revendication 15. 17) Dispositif selon les revendications précédentes, caractérisé en ce que le logiciel de contrôle (36) restitue, vers l'appareil sur lequel ce dispositif est installé, des sons précis reconstitués des paroles prononcées par ce locuteur a) soit en empruntant une voix de synthèse, b) soit optionnellement en empruntant la voix du locuteur.