Brevet FR3090940A1 — publié le 20200626

Description Titre de l'invention : MESURE TEMPORELLE A HAUTE PRECISION D'EVENEMENTS VIBRO-ACOUSTIQUES EN SYN- CHRONISATION AVEC UN SIGNAL SONORE SUR DISPOSITIF A ECRAN TACTILE Domaine technique de l'invention [0001] L'invention concerne un procédé de détermination des temps de tape d'un utilisateur en réponse à un stimulus auditif. Au fin de la mise en oeuvre du procédé selon l'invention, on dispose d'un dispositif à écran tactile qui sera mieux décrit dans la suite. [0002] Dans le cadre de l'invention, l'utilisateur est une personne apte à percevoir au moins un signal sonore. Des références à certaines parties du corps de l'utilisateur, notamment ses doigts ou ses mains, n'ont vocation qu'à mieux comprendre les interactions de que l'utilisateur est susceptible d'avoir avec le dispositif à écran tactile utilisé pour la mise en oeuvre du procédé de l'invention. [0003] Le procédé selon l'invention trouve notamment son application dans l'étude de la synchronisation auditive-motrice. Le procédé selon l'invention pourrait être mis en oeuvre dans le cadre d'études expérimentales cherchant à analyser la coordination auditivo-motrice chez l'utilisateur, ou simplement pourrait être mis en oeuvre dans des jeux éducatifs visant à améliorer la coordination auditivo-motrice chez l'enfant par exemple. El s'agit d'exemples d'applications non limitatifs de la présente invention. Arrière-plan technique [0004] On tonnait les méthodes de coordination visuo-motrices dont le but est d'étudier la coordination des mouvements de certains segments du corps d'une personne, avec l'information visuelle perçue simultanément par ladite personne. Récemment, de telles méthodes ont été déployées sur des dispositifs à écran tactile en vue de mesurer le temps de réaction d'un utilisateur en réponse à des stimuli visuels émis depuis un dispositif à écran tactile. [0005] On peut citer le document US 2014/0249447 qui décrit une méthode reposant sur l'enregistrement des vibrations acoustiques générées par un utilisateur lorsqu'il tapote sur un dispositif à écran tactile en réponse à des stimuli visuels, constituant des cibles pour l'utilisateur. [0006] Le principe de la méthode est le suivant. Une série d'instructions est initialisée au moyen d'un programme installé sur un dispositif de type tablette. Le programme demande à la tablette de débuter l'enregistrement des vibrations acoustiques. Cet enre- 2 gistremcnt étant stocké dans un fichier audio sur un support approprié de la tablette de même que la chronologie dudit enregistrement. L'utilisateur peut alors démarrer un essai en tapotant sur le centre d'un l'écran tactile du dispositif. Ensuite, le programme demande à la tablette d'éclairer l'une des cibles qui s'affichent sur l'écran et d'écrire l'heure à laquelle la cible s'est éclairée dans le journal. Le but est que l'utilisateur touche alors la cible qui s'est éclairée. Concomitamment, le microphone de la tablette permet de capter les vibrations créées par le contact de l'utilisateur avec la cible et l'heure à laquelle les vibrations sont détectées par ledit microphone est indiquée dans le journal. La tablette reçoit alors une notification de contact de l'écran tactile et les coordonnées précises du lieu du contact et écrit l'heure à laquelle la notification a été reçue et les coordonnées de la zone, sur l'écran tactile, où s'est produit le contact. [0007] Dans la méthode décrite, la synchronisation des stimuli visuels avec les tapes de l'utilisateur est rendue possible en stockant la chronologie des évènements issus de vibrations acoustiques et de l'éclairage des cibles dans le système de fichiers journaux de la tablette. Le temps de tape n'est pas déterminé à l'issu de cette synchronisation. Cette méthode de synchronisation n'est pas applicable à un procédé faisant appel à des stimuli auditifs puisque dans ce cas il n'est pas possible de stocker précisément la chronologie du stimulus auditif lu par des haut-parleurs dans les fichiers journaux, et encore moins pour un son émis par un dispositif émetteur extérieur à la tablette. [0008] On tonnait également les méthodes dans lesquelles des traitements sont appliqués à un signal audio enregistré par le microphone d'un dispositif à écran tactile ou par des capteurs placés à proximité de l'écran tactile du dispositif. Dans la plupart des cas, on cherche à supprimer des vibrations indésirables générées par les tapes d'un utilisateur sur le dispositif à écran tactile ou tout autre évènement tel qu'un contact involontaire avec le dispositif, sans extraire d'information à partir des pics du signal associés à ces vibrations. [0009] Le document EP 2 875 419 divulgue une telle méthode. Le principe de la méthode est le suivant. Pour un ou plusieurs capteurs, un signal audio émis par un microphone est traité pour déterminer une ou plusieurs parties du signal associées à une touche de l'écran tactile. Une estimation conjointe d'une pluralité des parties déterminées est effectuée pour isoler un signal caractéristique d'une frappe de l'utilisateur sur l'écran tactile. La partie identifiée peut inclure une composante de signal souhaitée, telle qu'une voix humaine enregistrée, et une composante de signal indésirable, tel que le son associé aux frappes de l'utilisateur sur l'écran tactile. Le signal caractéristique d'une frappe sur l'écran tactile déterminé à l'étape précédente est supprimé du signal audio correspondant pour chacun des signaux audio reçus. Un combinateur de signal peut alors être utilisé pour faire correspondre l'emplacement temporel du signal caractéristique de la frappe avec la partie correspondante dans le signal reçu lorsqu'il est 3 soustrait dudit signal. Les signaux audio résultants sont alors additionnés et délivrés. [0010] Les méthodes proposées jusqu'ici ne s'intéressent pas à la mesure temporelle à haute précision des temps de tapes d'un utilisateur en synchronisation avec un signal sonore sur un dispositif à écran tactile. Résumé de l'invention [0011] L'invention propose un procédé de détermination des temps de tape d'un utilisateur en réponse à un stimulus auditif, le procédé comprenant les étapes suivantes : - lecture du stimulus auditif, ledit stimulus auditif correspondant au signal audio de référence, - enregistrement du signal audio de référence et d'un ou plusieurs évènements vibre-acoustique, lesdits évènements vibro-acoustiques faisant suite à une ou plusieurs tapes de l'utilisateur sur un écran tactile d'un dispositif à écran tactile en réaction au signal audio de référence, le signal résultant de l'enregistrement étant appelé signal audio enregistré, - détection du signal audio de référence dans le signal audio enregistré. [0012] Lc procédé est caractérisé en ce que : - le signal audio enregistré est enregistré au moyen d'un microphone du dispositif à écran tactile, - lors de l'étape de détection du signal audio de référence dans le signal audio enregistré, le signal audio de référence et le signal audio enregistré sont placés sur une échelle temporelle commune unique, - il comprend une étape de filtrage dans laquelle le signal enregistré obtenu subséquemment à l'étape de détection, est préalablement filtré, puis normalisé de manière à conserver uniquement les fréquences correspondant aux évènements vibro-acoustiques générés par les actions de l'utilisateur sur l'écran tactile, et en ce que - il comprend une étape de détection des évènements vibro-acoustiques dans laquelle des instants associés auxdits évènements vibre-acoustiques sont identifiés. [0013] Lc procédé selon l'invention permet ainsi d'une part d'identifier le début du signal audio de référence dans le signal audio enregistré et à partir de là de pouvoir déterminer les instants associés aux tapes de l'utilisateur sur l'écran tactile. [0014] Selon différentes caractéristiques de l'invention qui pourront être prises ensemble ou séparément : l'étape de détection du signal audio de référence dans le signal audio enregistré comprend une première sous-étape de normalisation du signal audio enregistré de sorte à obtenir un signal audio enregistré normalisé ; l'étape de détection du signal audio de référence dans le signal audio enregistré comprend une deuxième sous-étape dans laquelle le signal audio de référence est ré-échantillonné au même taux que le signal audio enregistré et normalisé de sorte à obtenir un signal audio de référence ré-échantillonné et normalisé ; l'opération de normalisation réalisée lors de l'étape de détection du signal audio de référence dans le signal audio enregistré est effectuée au moyen d'une fonction de normalisation ; l'étape de détection du signal audio de référence dans le signal audio enregistré comprend, suite à la première et la deuxième sous-étape, une troisième sous-étape d'identification du début du signal audio de référence ré-échantillonné et normalisé dans le signal audio enregistré normalisé ; la troisième sous-étape comprend une sous-étape de construction d'un filtre adapté de sorte à identifier dans le signal audio enregistré normalisé l'instant d'échantillonnage le plus probable qui correspond au début des K premiers échantillons du signal audio de référence ré-échantillonné et normalisé, la troisième sous-étape comprend une sous-étape de détermination d'une fenêtre temporelle de taille dans laquelle effectuer la recherche du signal audio de référence ré-échantillonné normalisé dans le signal audio enregistré normalisé, la troisième sous-étape comprend une sous-étape de détermination de l'instant d'échantillonnage ; l'étape de filtrage comprend une première sous-étape de filtrage et optionnellement une deuxième sous-étape de filtrage ; la première sous-étape de filtrage est mise en oeuvre au moyen d'un filtre passe-bande de type Butterworth d'ordre 1 ayant une fréquence basse de 50 Hz et une fréquence haute de 200 Hz, et la seconde sous-étape de filtrage est mise en oeuvre au moyen d'un filtre passe-bas de type Butterworth d'ordre 1 ayant une fréquence haute de 400 Hz, de sorte qu'à la fin de la deuxième sous-étape de filtrage on obtient un signal audio enregistré normalisé filtré; suite à la deuxième sous-étape de filtrage, l'étape de filtrage comprend une troisième sous-étape de normalisation locale du signal audio enregistré normalisé filtré obtenu à la fin de la seconde sous-étape de filtrage de sorte à obtenir un signal audio enregistré normalisé filtré, ladite sous-étape de normalisation locale étant effectuée au moyen d'une fonction de normalisation locale ; suite à l'étape de filtrage on met en oeuvre l'étape de détection des évènements vibro-acoustiques ; l'étape de détection des évènements vibro-acoustiques comprend une première sous-étape de détermination de l'énergie du signal audio enregistré normalisé filtré, ladite première sous-étape étant effectuée au moyen d'une fonction énergie ; l'étape de détection des évènements vibro-acoustiques comprend, suite à la première sous-étape, une deuxième sous-étape de lissage du signal obtenu à la fin de la première sous-étape au moyen d'une fonction lissage définie par le produit de convolution du signal avec une fenêtre de pondération de type Hamming ; l'étape de détection des évènements vibro-acoustiques comprend, suite à la deuxième sous-étape, une troisième sous-étape d'extraction à partir du signal lissé de l'ensemble des P instants d'échantillonnage correspondant à des maxima locaux et/ou candidats de début d'évènements vibro-acoustiques ; l'étape de détection des évènements vibro-acoustiques comprend, suite à la troisième sous-étape, une quatrième sous-étape de présélection des candidats de début d'évènements vihro-acoustique ; la quatrième sous-étape comprend une sous-étape de regroupement de candidats associés aux P instants d'échantillonnage selon un premier critère de sélection, ledit premier critère de sélection correspondant au regroupement des instants d'échantillonnage candidats espacés par un nombre d'échantillons m prédéterminée, de sorte à former des groupes de maxima locaux ; la quatrième sous-étape comprend une sous-étape de conservation dans chaque groupe les instants associés aux maxima locaux pour lesquels la valeur maximale de l'énergie est obtenue ; l'étape de détection des évènements vibro-acoustiques comprend, suite à la quatrième sous-étape, une cinquième sous-étape d'élimination des maxima parasites ; la cinquième sous-étape comprend une sous-étape de tri, par hauteur décroissante, des maxima locaux conservés à la fin de la quatrième sous-étape ; la cinquième sous-étape comprend une sous-étape de conservation des pN plus grands maxima locaux, N,,, étant le nombre d'évènements vibroacoustiques compris dans la fenêtre temporelle de mesure et p étant strictement supérieur à 1, p >1 ; le procédé comprend en outre, suite à l'étape de détection des évènements vibro-acoustique, une étape supplémentaire d'optimisation du signal obtenu à la fin de ladite étape de détection des évènements vibro-acoustiques, ladite étape d'optimisation comprend une sous-étape d'appariement de l'ensemble des instants t , avec i A (t1±1) E n, E, n, f [0140] Comme illustré encore sur la figure 6, l'étape 500) comprend, suite à la troisième sous-étape 530), une quatrième sous-étape 540) de présélection des candidats de début d'évènements vibro-acoustique e Cette quatrième sous-étape 540) vise à éliminer les « paquets » de pics trop rapprochés dans le temps. [0141] Elle est mise en oeuvre au moyen des sous-étapes secondaires 5400) et 5401) identifiées sur la figure 6 par des encadrés en pointillés. [0142] Une première sous-étape secondaire 5400) consiste à effectuer un regroupement de candidats in fi associés aux P instants d'échantillonnage ti selon un premier critère de sélection. Le premier critère de sélection correspond au regroupement des instants d'échantillonnage candidats espacés par un nombre d'échantillons m prédéterminé. Les instants candidats répondant au premier critère de sélections sont alors regroupés en groupes g 1, [0143] Une deuxième sous-étape secondaire 5401) consiste à conserver dans chaque groupe gi les instants associés aux maxima locaux inli pour lesquels la valeur maximale de È A, est obtenue. De cette manière, pour chaque groupe g, d'échantillons seul un SE, n,f instant d'échantillonnage ti est conservé. 101441 Comme illustré sur la figure 7, l'étape 500) peut comprendre, suite à la quatrième sous-étape 540), une cinquième sous-étape 550) d'élimination des maxima m11 parasites. En effet, quand bien même une présélection est effectuée lors de l'étape 540), le signal peut encore comporter des pics parasites qu'il est préférable d'éliminer. 101451 Les pics parasites peuvent être, par exemple, des faux positifs. On entend par « faux positif » des pics qui sont assimilés à des maxima locaux m u alors même qu'ils ne devraient pas l'être. La cinquième sous-étape 550) n'est pas obligatoire, en particulier si le signal ne comporte pas de pics parasites. Cela étant., en pratique, il est fort probable que de tels pics soient présents dans le signal. 101461 La cinquième sous-étape 550) comprend des sous-étapes secondaires 5500) et 5501) identifiées sur la figure par des encadrés en pointillés. 101471 La cinquième sous-étape comprend une première sous-étape 5500) de tri, par hauteur décroissante, des maxima locaux in ,, conservés à la fin de l'étape 540). 11 faut comprend ici, qu'indépendamment des groupes g , auxquels les maximas m appartiennent, lesdits maxima ni 1, sont triés par hauteur décroissante. 101481 Ensuite, lors d'une deuxième sous-étape secondaire 5501), des pN ,,, plus grands maxima locaux in , N,,, étant le nombre d'évènements vibro-acoustiques e compris dans la fenêtre temporelle de mesure et p étant strictement supérieur à 1 (p étant un entier naturel, p >1) sont conservés au regard du tri, par hauteur décroissante, effectué lors de l'étape 5500). [0149] La cinquième sous-étape 550) permet une identification plus affinée des instants associés aux évènements vibro-acoustiques e '' dans le signal A . Les temps de ST, n, tape de l'utilisateur peuvent être calculés avec une relative précision. [0150] En référence à la figure 8, le procédé selon l'invention comprend en outre une étape d'optimisation du signal résultant de l'étape 500). L'étape d'optimisation vise à identifier précisément les maxima in