Brevet FR3102603A1 — publié le 20210430

L’invention concerne un procédé et un dispositif d’évaluation (10) d’un système de reconnaissance vocale (11). A cet effet, plusieurs commandes vocales sont rendues pour tester la fiabilité ou la performance du système de reconnaissance vocale (11). Chaque réponse du système de reconnaissance vocale (11) à une question est analysée pour déterminer une note représentant la fiabilité ou la performance du système de reconnaissance vocale (11). La note est avantageusement fonction du nombre de réponses correctes aux questions posées mais aussi du nombre de questions erronées aux questions posées, une réponse erronée correspondant à une réponse hors sujet, sans rapport avec la question posée. Figure pour l’abrégé : Figure 1 Procédé et dispositif d’évaluation d’un système de reconnaissance vocale L’invention concerne un procédé et un dispositif d’évaluation d’un système de reconnaissance vocale, notamment d’un système de reconnaissance vocale d’un véhicule, par exemple automobile. Arrière-plan technologique Les véhicules contemporains, ou pour le moins certains d’entre eux, embarquent des équipements ou systèmes avec lesquels le conducteur et/ou les passagers peuvent interagir. L’interaction avec les systèmes embarqués prévus à cet effet nécessitent une ou plusieurs interfaces homme-machine, dites IHM. Ces IHM peuvent prendre plusieurs formes, notamment par le biais d’interfaces vocales. Une interface vocale nécessite que les commandes vocales prononcés par un utilisateur soient reçues, interprétées et comprises par l’IHM. A cet effet, certains véhicules embarquent aujourd’hui un système de reconnaissance automatique de la parole (aussi appelé système de reconnaissance vocale) qui permet d’analyser la voix humaine acquise par un microphone pour la transcrire sous une forme exploitable par une machine. Dans un véhicule, un tel système de reconnaissance vocale permet par exemple de contrôler le système multimédia du véhicule, le système de navigation et parfois même de contrôler le véhicule, notamment lorsque ce dernier est en mode autonome. Il est important pour la convivialité du système et la sécurité du véhicule et de ses passagers que le système de reconnaissance vocale soit fiable et efficace, c’est-à-dire qu’il comprenne et interprète correctement les commandes vocales reçues. Il existe certaines méthodes pour tester la performance, l’efficacité et/ou la fiabilité des systèmes de reconnaissance vocale, telles que le taux d’erreur de mots par exemple, dit WER (de l’anglais « Word Error Rate »). Selon cette méthode, plus le taux est faible, plus la reconnaissance des mots est bonne. Cependant, cette méthode est basée sur la reconnaissance des mots mais ne garantit pas que la réponse apportée à une commande est correcte. Un objet de la présente invention est d’améliorer l’évaluation d’un système de reconnaissance vocale. Selon un premier aspect, l’invention concerne un procédé d’évaluation d’un système de reconnaissance vocale d’un véhicule, le procédé étant mis en œuvre par un dispositif d’évaluation comprenant au moins un processeur, le procédé comprenant les étapes suivantes : - rendu d’une pluralité de commandes vocales ; - analyse de chaque réponse du système de reconnaissance vocale à chaque commande vocale de la pluralité de commandes vocales ; - détermination d’une note représentative d’une fiabilité du système de reconnaissance vocale, la note étant fonction d’un nombre de réponses correctes et d’un nombre de réponses erronées à la pluralité de commandes vocales. Selon une variante, la pluralité de commandes vocales comprend au moins une commande vocale relative à un domaine non appris par le système de reconnaissance vocale. Selon une autre variante, une note positive est assignée à une réponse correcte et une note négative est assignée à une réponse erronée. Selon une variante additionnelle, une note égale à 0 est assignée à une réponse représentative de non compréhension d’une question par le système de reconnaissance vocale. Selon une variante supplémentaire, la pluralité de commandes vocales est rendue par synthèse vocale. Selon encore une variante, le procédé comprend en outre une étape de déverrouillage du véhicule à partir de l’objet connecté. Selon une variante supplémentaire, l’analyse met en œuvre un apprentissage par machine. Selon encore une variante, chaque réponse est comparée à une liste de réponses dans une table de correspondance associant questions et réponses attendues Selon un deuxième aspect, l’invention concerne un dispositif d’évaluation d’un système de reconnaissance vocale d’un véhicule, le dispositif comprenant une mémoire associée à un processeur configuré pour la mise en œuvre des étapes du procédé selon le premier aspect de l’invention. Selon une variante, le dispositif comprend en outre des moyens de synthèse vocale, au moins un microphone et au moins un haut-parleur. Selon un troisième aspect, l’invention concerne un programme d’ordinateur qui comporte des instructions adaptées pour l’exécution des étapes du procédé selon le premier aspect de l’invention, ceci notamment lorsque le programme d’ordinateur est exécuté par au moins un processeur. Un tel programme d’ordinateur peut utiliser n’importe quel langage de programmation, et être sous la forme d’un code source, d’un code objet, ou d’un code intermédiaire entre un code source et un code objet, tel que dans une forme partiellement compilée, ou dans n’importe quelle autre forme souhaitable. Selon un quatrième aspect, l’invention concerne un support d’enregistrement lisible par un ordinateur sur lequel est enregistré un programme d’ordinateur comprenant des instructions pour l’exécution des étapes du procédé selon le premier aspect de l’invention. D’une part, le support d’enregistrement peut être n'importe quel entité ou dispositif capable de stocker le programme. Par exemple, le support peut comporter un moyen de stockage, tel qu'une mémoire ROM, un CD-ROM ou une mémoire ROM de type circuit microélectronique, ou encore un moyen d'enregistrement magnétique ou un disque dur. D'autre part, ce support d’enregistrement peut également être un support transmissible tel qu'un signal électrique ou optique, un tel signal pouvant être acheminé via un câble électrique ou optique, par radio classique ou hertzienne ou par faisceau laser autodirigé ou par d'autres moyens. Le programme d’ordinateur selon l'invention peut être en particulier téléchargé sur un réseau de type Internet. Alternativement, le support d'enregistrement peut être un circuit intégré dans lequel le programme d’ordinateur est incorporé, le circuit intégré étant adapté pour exécuter ou pour être utilisé dans l'exécution du procédé en question. Brève description des figures D’autres caractéristiques et avantages de l’invention ressortiront de la description des modes de réalisation non limitatifs de l’invention ci-après, en référence aux figures 1 à 3 annexées, sur lesquelles : illustre de façon schématique un système de reconnaissance vocale en communication avec un dispositif d’évaluation de ce système de reconnaissance vocale, selon un exemple de réalisation particulier de la présente invention ; illustre schématiquement le dispositif d’évaluation du système de reconnaissance vocale de la figure 1, selon un exemple de réalisation particulier de la présente invention ; illustre un organigramme des différentes étapes d’un procédé d’évaluation d’un système de reconnaissance vocale d’un véhicule, selon un exemple de réalisation particulier de la présente invention. Un procédé et un dispositif d’évaluation d’un système de reconnaissance vocale, par exemple embarqué dans un véhicule, vont maintenant être décrits dans ce qui va suivre en référence conjointement aux figures 1 à 3. Des mêmes éléments sont identifiés avec des mêmes signes de référence tout au long de la description qui va suivre. Selon un exemple particulier et non limitatif de réalisation de l’invention, un procédé d’évaluation d’un système de reconnaissance vocale d’un véhicule comprend le rendu, par exemple par synthèse vocale, de plusieurs commandes vocales pour tester la fiabilité ou la performance du système de reconnaissance vocale. Chaque réponse du système de reconnaissance vocale à une question est analysée pour déterminer une note représentant la fiabilité ou la performance du système de reconnaissance vocale. La note est avantageusement fonction du nombre de réponses correctes aux questions posées mais aussi du nombre de questions erronées aux questions posées, une réponse erronée correspondant à une réponse hors sujet, sans rapport avec la question posée. La prise en compte des réponses erronées pour établir une note de fiabilité permet de juger de la réelle performance ou pertinence du système de reconnaissance vocale, et non pas de sa simple capacité à reconnaitre les mots prononcés dans les commandes vocales. L’évaluation du système est ainsi améliorée en ce qu’elle est plus complète en jugeant de la pertinence des réponses apportées aux commandes vocales. illustre schématiquement un dispositif d’évaluation en communication avec un système de reconnaissance vocale 11, selon un exemple de réalisation particulier et non limitatif de la présente invention. Le dispositif d’évaluation 10 et le système de reconnaissance vocale sont dits en communication en ce qu’il échange des questions et des réponses, le dispositif d’évaluation 10 posant par exemple un ensemble de commandes vocales de test, par exemple par synthèse vocale, et le système de reconnaissance vocale fournissant des réponses en retour, également par synthèse vocale par exemple. Le dispositif d’évaluation 10 correspond par exemple à un ordinateur équipé d’un ou plusieurs microphones et d’un ou plusieurs haut-parleurs pour le rendu de commandes vocales. Une description plus détaillée d’un tel dispositif est présente dans le texte ci-dessous en regard de la figure 2. Le système de reconnaissance vocale 11 correspond par exemple à un ordinateur équipé d’un ou plusieurs microphones pour capter les signaux électroacoustiques correspondant aux commandes vocales rendues par le dispositif 10. Le système de reconnaissance vocale comprend également un ou plusieurs haut-parleurs pour rendre des réponses aux commandes vocales reçues. Le système de reconnaissance vocale 11 met par exemple en œuvre un traitement acoustique pour extraire des signaux acoustiques reçus une ou plusieurs images acoustiques, le signal étant par exemple numérisé et paramétré par analyse fréquentielle, en utilisant par exemple la transformée de Fourier. Un apprentissage automatique associant segments élémentaires de la parole et éléments lexicaux est également mise en œuvre en s’appuyant par exemple sur une modélisation statistique et/ou sur des réseaux de neurones artificiels. Les modèles issus de la modélisation précédente sont ensuite par exemple décodés pour reconstituer la commande vocale la plus probable. Le système 11 s’appuie par exemple sur des modèles de langage, de prononciation et acoustico-phonétique. Le système de reconnaissance vocale 11 est par exemple configuré pour répondre à des commandes vocales relatives à un ou plusieurs domaines déterminés, par exemple des commandes vocales relatives à la navigation, des commandes vocales relatives au système multimédia, des commandes vocales relatives à la météorologie, etc. Le ou les domaines gérés par le système de reconnaissance vocale 11 ont ainsi fait l’objet d’un apprentissage. Un ou plusieurs domaines ne sont pas gérés par le système de reconnaissance vocale 11, telle que le domaine de la météorologie dans l’exemple qui va suivre, cet exemple étant bien entendu purement illustratif et non limitatif. C’est par le biais de ces échanges de commandes vocales et de réponses que le dispositif d’évaluation 10 teste et évalue le niveau de performance ou de fiabilité du système de reconnaissance vocale 11. Dans une première opération, plusieurs commandes vocales sont rendues par le dispositif d’évaluation, par exemple par synthèse vocale, ces commandes étant rendues par le biais d’un ou plusieurs haut-parleurs équipant le dispositif d’évaluation ou connectés à ce dernier, par exemple via une connexion filaire ou sans fil (par exemple une connexion Bluetooth®). Chaque commande vocale correspond par exemple à une question déterminée posée au système de reconnaissance vocale 11. L’ensemble de commandes vocales rendues comprend avantageusement une ou plusieurs questions relatives à un ou plusieurs domaines contrôlés et appris par le système de reconnaissance vocales, par exemple des questions relatives à la navigation. Cet ensemble de commandes vocales rendues comprend avantageusement une ou plusieurs questions relatives à un ou plusieurs domaines non contrôlés et non appris par le système de reconnaissance vocales, par exemple une ou plusieurs questions relatives à la météorologie et/ou au système multimédia (par exemple la radio). Le tableau ci-dessous présente quelques exemples de commandes vocales posées par le dispositif d’évaluation 10 et le domaine associé. Ce tableau présente 2 commandes relatives à un domaine géré et appris par le système 11 (à savoir le domaine de la navigation) et 2 commandes vocales relatives à 2 domaines non gérés et non appris par le système 11 (à savoir la musique/multimédia d’une part et la météorologie d’autre part). Commande vocale Domaine Naviguer vers Paris Navigation Naviguer vers Route de Gizy à Vélizy Navigation Ecouter Beyonce Musique / Multimédia Quel temps fera-t-il à l’arrivée à Paris Météorologie Bien entendu, le nombre de commandes vocales n’est pas limité à 4 mais s’étend à tout nombre, par exemple 10, 20, 30, 50 ou 100 commandes vocales. Les commandes vocales rendues sont par exemple extraites d’une liste de commandes vocales enregistrées dans le dispositif de détection 10 et sorties au hasard, en fonction du nombre de commandes vocales voulues. Ce nombre et/ou les domaines d’interrogation correspondent par exemple à des paramètres déterminés et entrés par un utilisateur, par exemple au travers d’une IHM (par exemple une IHM graphique affiché sur un écran, par exemple tactile). Selon une variante, ce nombre et/ou les domaines sont choisis au hasard par le dispositif ou de manière déterministe selon une ou plusieurs règles déterminées. Dans une deuxième opération, le dispositif 10 analyse les réponses fournies par le système 11 aux commandes vocales rendues à l’opération précédentes. Ces réponses sont par exemple fournies sous la forme de réponses vocales par le système 11 et capturés par un ou plusieurs microphones du dispositif 10. Ce ou ces microphones sont par exemple intégrés au dispositif 10 ou reliés au dispositif 10, par exemple via une liaison filaire ou sans file (par exemple une connexion Bluetooth®). Le tableau ci-dessous présente les réponses du système 11 aux commandes vocales du tableau 1. Commande vocale Réponse Naviguer vers Paris Navigation vers Paris lancée Naviguer vers Route de Gizy à Vélizy Navigation vers Vélizy Route de Gizy lancée Ecouter Beyonce Je n’ai pas compris la question Quel temps fera-t-il à l’arrivée à Paris Il reste 10 minutes pour arriver à destination Une analyse de chacune des réponses aux commandes vocales est avantageusement mise en œuvre par le dispositif 10 pour déterminer. A cet effet, chaque réponse est par exemple classifiée dans une des catégories suivantes : - réponse correcte, c’est-à-dire que la réponse est en rapport avec le domaine de la commande vocale posée et correspond à la commande vocale posée ; - réponse erronée, c’est-à-dire que la réponse est sans rapport avec le domaine de la commande vocale posée (par exemple la réponse correspond à un domaine géré et appris par le système 11 mais ne correspond pas au domaine de la commande vocale) et ne correspond pas à la commande vocale posée ; - réponse à commande non comprise, c’est-à-dire que la réponse fait état du fait que le système n’a pas compris la commande vocale. En reprenant l’exemple du tableau 2, le tableau ci-dessous associe chaque réponse à une catégorie. Réponse Catégorie Navigation vers Paris lancée Réponse correcte Navigation vers Vélizy Route de Gizy lancée Réponse correcte Je n’ai pas compris la question Réponse à commande non comprise Il reste 10 minutes pour arriver à destination Réponse erronée L’analyse met par exemple une méthode d’apprentissage par machine (de l’anglais « machine learning ») pour classifier les réponses. Selon une variante de réalisation, chaque réponse est comparée à une liste de réponse dans une table de correspondance, dite LUT (de l’anglais « Look-Up Table ») associant questions et réponses attendues, permettant ainsi de classifier les réponses. Cette table de correspondance est par exemple enrichie via une méthode d’apprentissage par machine. Dans une troisième opération, le dispositif 10 détermine une note représentative de la fiabilité et/ou la performance du système de reconnaissance vocale 11 à partir des réponses aux commandes vocales, notamment à partir du nombre de réponses correctes et du nombre de réponses erronées. Ainsi, une note est par exemple attribuée à chaque réponse pour déterminer une note finale au système 11. Une note positive (par exemple + 1) est par exemple attribuée à chaque réponse correcte et une note négative (par exemple – 1) est par exemple attribuée à chaque réponse erronée. Une note neutre (par exemple 0) est par exemple attribuée à chaque réponse à commande non comprise. Une telle notation permet de prendre en compte les notes erronées qui sont plus gênantes pour un utilisateur (car fausses et pouvant induire l’utilisateur en erreur) qu’une réponse à commande non comprise et énoncée comme telle (une réponse annonçant que la commande n’a pas été comprise est généralement mieux acceptée qu’une réponse fausse ou erronée). Le tableau ci-dessous associe une note à chaque réponse. Réponse Note ou cotation Navigation vers Paris lancée +1 Navigation vers Vélizy Route de Gizy lancée +1 Je n’ai pas compris la question 0 Il reste 10 minutes pour arriver à destination -1 La note finale attribuée au système 11 correspond à la moyenne des notes attribuées à chaque réponse, c’est-à-dire à la somme de chaque note divisée par le nombre de questions (ou de manière équivalente le nombre de réponses). Selon l’exemple de la figure 1, la note attribuée au système 11 est de 0.25, soit 25 % de réponse correcte. Bien entendu, une autre notation pourrait être adoptée, par exemple +2 pour chaque réponse correcte, +1 pour une réponse indiquant que la commande n’a pas été comprise et -2 ou -3 pour une réponse erronée. Par opposition à une évaluation selon laquelle seul le ou les domaines gérés ou appris par le système 11 sont testés (où une note ou cotation de 100 % aurait été obtenue), l’évaluation de la présente invention est plus représentative d’une utilisation réelle d’un système de navigation de véhicule où l’utilisateur peut poser toute question, même des questions relatives à des domaines non appris par le système 11. Selon le procédé d’évaluation de l’invention, les réponses erronées ou fausses sont sanctionnées en assignant une note négative, ce qui permet de rendre l’évaluation plus représentative d’une utilisation réelle et d’une satisfaction client vis-à-vis de l’utilisation du système de reconnaissance vocale 11. illustre schématiquement un dispositif 10 configuré pour évaluer un système de reconnaissance vocale, par exemple pour un véhicule, , selon un exemple de réalisation particulier et non limitatif de la présente invention.. Le dispositif 10 est par exemple configuré pour la mise en œuvre des opérations décrites en regard de la figure 1 et/ou des étapes du procédé décrit en regard de la figure 3. Des exemples d’un tel dispositif 10 comprennent, sans y être limités, un ordinateur, un téléphone intelligent (de l’anglais « smartphone »), une tablette, un calculateur. Les éléments du dispositif 10, individuellement ou en combinaison, peuvent être intégrés dans un unique circuit intégré, dans plusieurs circuits intégrés, et/ou dans des composants discrets. Le dispositif 10 peut être réalisé sous la forme de circuits électroniques ou de modules logiciels (ou informatiques) ou encore d’une combinaison de circuits électroniques et de modules logiciels. Le dispositif 10 comprend un (ou plusieurs) processeur(s) 20 configurés pour exécuter des instructions pour la réalisation des étapes du procédé et/ou pour l’exécution des instructions du ou des logiciels embarqués dans le dispositif 10. Le processeur 20 peut inclure de la mémoire intégrée, une interface d’entrée/sortie, et différents circuits connus de l’homme du métier. Le dispositif 10 comprend en outre au moins une mémoire 21 correspondant par exemple une mémoire volatile et/ou non volatile et/ou comprend un dispositif de stockage mémoire qui peut comprendre de la mémoire volatile et/ou non volatile, telle que EEPROM, ROM, PROM, RAM, DRAM, SRAM, flash, disque magnétique ou optique. Le code informatique du ou des logiciels embarqués comprenant les instructions à charger et exécuter par le processeur est par exemple stocké sur la première mémoire 21. Selon un mode de réalisation particulier et non limitatif, le dispositif 10 comprend un bloc 22 d’éléments d’interface pour communiquer avec des dispositifs externes, par exemple un serveur distant ou le « cloud ». Les éléments d’interface du bloc 22 comprennent une ou plusieurs des interfaces suivantes : - interface radiofréquence RF, par exemple de type Bluetooth® ou Wi-Fi®, LTE (de l’anglais « Long-Term Evolution » ou en français « Evolution à long terme »), LTE-Advanced (ou en français LTE-avancé) ; - interface USB (de l’anglais « Universal Serial Bus » ou « Bus Universel en Série » en français) ; - interface HDMI (de l’anglais « High Definition Multimedia Interface », ou « Interface Multimedia Haute Definition » en français). Selon un autre mode de réalisation particulier, le dispositif 10 comprend une interface de communication 23 qui permet d’établir une communication avec d’autres dispositifs via un canal de communication 230. L’interface de communication 23 correspond par exemple à un transmetteur configuré pour transmettre et recevoir des informations et/ou des données via le canal de communication 230. Selon un mode de réalisation particulier supplémentaire, le dispositif 10 peut fournir et/ou recevoir des signaux de sortie à un ou plusieurs dispositifs externes, tels qu’un ou plusieurs microphones 240, un ou des haut-parleurs 250 et/ou un écran 260 via respectivement des interfaces d’entrée/sortie 24, 25 et 26. Selon une variante, l’un ou l’autre des dispositifs externes est intégré au dispositif 10. L’écran d’affichage 240 correspond par exemple à l’écran, tactile ou non. illustre un organigramme des différentes étapes d’un procédé d’évaluation d’un système de reconnaissance vocale, selon un exemple de réalisation particulier et non limitatif de la présente invention. Le procédé est avantageusement mis en œuvre dans le dispositif 10. Dans une première étape 31, plusieurs commandes vocales sont rendues. Dans une deuxième étape 32, chaque réponse du système de reconnaissance vocale à chaque commande vocale est analysée. Dans une troisième étape 33, une note représentative d’une fiabilité du système de reconnaissance vocale est déterminée. Cette note est avantageusement fonction d’un nombre de réponses correctes et d’un nombre de réponses erronées aux commandes vocales rendues à la première étape. Les étapes 31 à 33 sont par exemple réitérées lors d’une mise à jour du système de reconnaissance vocale, par exemple lorsqu’un nouveau domaine est appris par le système de reconnaissance vocale. Procédé d’évaluation d’un système de reconnaissance vocale (11), ledit procédé étant mis en œuvre par un dispositif d’évaluation (10) comprenant au moins un processeur, ledit procédé comprenant les étapes suivantes : - rendu (31) d’une pluralité de commandes vocales ; - analyse (32) de chaque réponse dudit système de reconnaissance vocale (11) à chaque commande vocale de ladite pluralité de commandes vocales ; - détermination (33) d’une note représentative d’une fiabilité dudit système de reconnaissance vocale (11), ladite note étant fonction d’un nombre de réponses correctes et d’un nombre de réponses erronées à ladite pluralité de commandes vocales. Procédé selon la revendication 1, pour lequel ladite pluralité de commandes vocales comprend au moins une commande vocale relative à un domaine non appris par ledit système de reconnaissance vocale (11). Procédé selon la revendication 1 ou 2, pour lequel une note positive est assignée à une réponse correcte et une note négative est assignée à une réponse erronée. Procédé selon l’une des revendications 1 à 3, pour lequel une note égale à 0 est assignée à une réponse représentative de non compréhension d’une question par ledit système de reconnaissance vocale (11). Procédé selon l’une des revendications 1 à 4, pour lequel ladite pluralité de commandes vocales est rendue par synthèse vocale. Procédé selon l’une des revendications 1 à 5, pour lequel ladite analyse (32) met en œuvre un apprentissage par machine. Procédé selon l’une quelconque des revendications 1 à 6, pour lequel chaque réponse est comparée à une liste de réponse dans une table de correspondance associant questions et réponses attendues. Dispositif (10) d’évaluation d’un système de reconnaissance vocale d’un véhicule, ledit dispositif (10) comprenant une mémoire (21) associée à au moins un processeur (20) configuré pour la mise en œuvre des étapes du procédé selon l’une quelconque des revendications 1 à 7. Dispositif (10) selon la revendication 8, comprenant en outre des moyens de synthèse vocale, au moins un microphone (240) et au moins un haut-parleur (250). Produit programme d’ordinateur comportant des instructions adaptées pour l’exécution des étapes du procédé selon l’une des revendications 1 à 7, lorsque le programme d’ordinateur est exécuté par au moins un processeur.