Brevet FR3052276A1 — publié le 20171208

CONTEXTE La notation musicale est le fait de transcrire sur un support les constituants d'une oeuvre musicale, afin de conserver celle-ci, de l'interpréter de manière différée et de la diffuser. Même si cela a évolué sur différentes formes au travers de l'histoire de l'humanité, on peut considérer l'écriture musicale comme étant un procédé de notation qui met en relation un système et un code. Le code d'un système musical décrit celui-ci en lui associant certains symboles pouvant définir la durée, la hauteur ou les nuances d'un son. Le support de la notation est normalement de-corrélé la position physique et spatiale de l'instrument via du support papier et récemment sur des dispositifs d'affichage. Néanmoins les méthodes traditionnelles demandent pour pouvoir retranscrire musique à partir de la notation (notamment partition ou tablature) un long apprentissage (par exemple, le solfège, ...), et en plus d'être capable de jouer sans regarder l'instrument pendant la lecture de la notation ce qui complique le processus d'interprétation. DESCRIPTION DE L'INVENTION De manière générale, un dispositif de réalité augmentée (RA) peut améliorer les données sensorielles (par exemple, audio, visuel, tactile, etc.) que l'utilisateur peut par ailleurs percevoir, et peut fournir les données sensorielles accrues (par exemple, l'information visuelle) à l'utilisateur. Les données sensorielles améliorées peuvent aussi, et pour une position spatiale donnée, changer dans le temps en fonction d'une séquence de données et ne pas être fixes (comme est le cas, par exemple, de la relation entre une position GPS et l'adresse postale pour un lieu donné). Dans le cas de la musique, c'est une séquence temporelle de notes et/ou des sons et ses nuances (intensité, attaque, doigt ou main d'exécution et sans être exhaustif) qui peuvent être utilisés pour générer cette information additionnelle dans l'environnement visuel d'un instrument de musique. La vitesse de reproduction de cette séquence peut aussi être variable (c'est qu'en musique on définit comme étant le Tempo) Pour presque tous les instruments, on peut associer certaines positions dans l'espace relatives à l'instrument (par exemple, les touches d'un piano, les trous sur une flute, les touches et cordes sur 2 3052276 une guitare, ou les cercles qui définissent le contour des caisses et autres éléments d'une batterie...) avec la génération d'une note ou d'un son donné. Cette disposition des positions est désignée « constellation musicale » dans le reste du document, par analogie avec les constellations de symboles utilisés dans les méthodes de transmissions numériques (par exemple modulations nQAM). Le système présenté réalise la représentation de la séquence de notes ou des sons sur l'instrument visualisé et en sélectionné un s'il y en a plusieurs, y compris si celui-là il est en mouvement, ou si la position des notes n'est pas visible (par exemple occulté par des doigts). Pour cela, il trouve les positions nécessaires sur l'instrument (procédure de détection), extrapole celles qui ne peuvent pas être vues (procédure de correction) et affiche l'information nécessaire à partir de la séquence qui est définie par la musique a un instant donné. L'interprète n'as qu'a regarder le dispositif d'affichage ou se trouve son instrument et positionner ses doigts, mains ou autres éléments d'action sur l'instrument (comme les baguettes pour la batterie) sur les endroits indiqués par la réalité augmenté. Il n'est plus nécessaire de regarder l'instrument directement pour trouver ces positions. La réalité augmentée peut comprendre un ou plusieurs endroits qui doivent être joués simultanément pour réaliser la séquence musicale (10 doigts avec le piano, 6 cordes avec la guitare par exemple). C'est le cas souvent avec des instruments polyphoniques. Les instruments qui ne peuvent fournir qu'un seul son (monophoniques) afficheront normalement une réalité augmentée avec une seule note sur la constellation. En outre, le système peut aussi observer ce que l'interprète fait à un moment donné sur la séquence musicale, collecter des données, et donner des indications sur l'interprétation y compris sur sa qualité. En ce qui concerne la détection, un processus technique de détection de la constellation musicale est nécessaire puisque l'instrument peut être en mouvement, les capteurs d'images peuvent ne pas être parfaits (non linéarités dues aux optiques et autres composants, mauvais focus, instabilité des images, etc.). Cette procédure de détection peut être implémenté en utilisant de l'information spécifique à chaque famille d'instrument. Par exemple sur une guitare, la disposition des touches doit normalement suivre un patron de distribution des distances logarithmique pour garantir que les sons qui sont produits par une corde d'une longueur donné sont relatifs à une échelle tonale diatonique. Sur un piano, on peut faire l'assomption du fait que toutes les touches ont la même dimension et une disposition bien précise. Ce point permet d'extrapoler ou corriger (procédure de correction) des informations de position détectés en utilisant par exemple des algorithmes statistiques, et même les fiabiliser en prenant compte de l'information de mouvement et des détections passées. 3 3052276 RESUME DES TERMES A tous les effets du présent document le terme RA désigne « Réalité augmenté » A tous les effets du présent document le terme « Constellation Musicale » désigne les positions spatiales relatives à la position spatial d'un instrument de musique ou une interaction de l'interprète est possible pour le déclanchement des sons et notes de l'instrument. Cette constellation est fixe si l'instrument ne bouge pas ou mobile dans le temps. A tous les effets du présent document le terme instrument de musique monophonique désigne un instrument de musique qui ne peut produire qu'un seul son pendant un instant de temps donné (par exemple une flute). A tous les effets du présent document le terme instrument de musique polyphonique désigne un instrument de musique qui eut produire plusieurs sons simultanément pendant un instant de temps donné (par exemple une guitare, un piano). En outre, le procédé peut également comprendre la réception d'informations de suivi du regard du dispositif d'affichage RA pour identifier un ou plusieurs des objets. En outre, l'obtention des informations RA peut comprendre la réception de donnés avec l'envoi ou pas d'une demande de réception pour des informations de RA à partir d'une séquence de données musicales obtenue au fils du temps de l'interprétation musicale et à représenter via la RA, en comprenant ces obtenus à partir d'un séquenceur externe au système. En outre, la génération des images de l'information de RA peut comprendre le fait de générer des images des informations RA pour une vision en trois dimensions. En outre, le procédé peut comprendre la réception d'une action d'entrée de la part du téléspectateur pour activer un système de menu ou, calculer, mesurer et/ou modifier automatiquement le tempo d'exécution de la séquence, et tout ceci en temps réel. L'action d'entrée de téléspectateur peut comprendre au moins un élément parmi : la détection de clignotement des yeux ; la détermination d'un objet regardé par le spectateur ; la mesure des ondes cérébrales ; la mesure de l'activité musculaire ; la détection de la voix ; ou la mesure de mouvements de la main, des doigts du bras ou du pied. En outre, le procédé peut comprendre la réception d'une entrée d'audio pour activer un système de menu, ou calculer, mesurer et/ou modifier automatiquement le tempo d'exécution de la séquence, et ceci en temps réel ; la réception en outre de l'audio comprenant au moins l'un de: détection du son de l'instrument qui est en train d'être augmenté visuellement; détection du son des autres instruments dans l'environnement ou via des dispositifs distants; le ou les sons produits par des mouvements de la main, des doigts, des bras ou du pied. En outre, l'obtention des informations RA peut comprendre la réception d'images provenant du dispositif d'affichage de l'RA, d'effectuer la reconnaissance d'images pour identifier des instruments mobiles dans les images, et obtenir des informations RA correspondant aux instruments mobiles identifiés. En outre, la réception de l'entrée de téléspectateur peut comprendre la détection d'une sélection d'un instrument qui ne soit pas visible pour le spectateur, mais dont les informations RA est visible par le spectateur. 4 3052276 En outre, le dispositif peut comporter un téléphone intelligent, un ordinateur tablette, ou une paire de réalité augmentée (RA) des lunettes. En outre, l'instrument musical peut inclure un instrument stationnaire et un instrument mobile. En outre, le dispositif peut comporter le dispositif d'affichage ou utiliser un dispositif d'affichage distant. En outre, le dispositif peut être configuré pour obtenir des informations de suivi oculaire à partir des images des yeux du spectateur. En outre, le processeur peut utiliser les informations de suivi de l'ceil pour identifier un premier instrument auquel les yeux du spectateur regardent. 3052276 DESCRIPTION DES DESSINS Les dessins annexés, qui sont incorporés dans, et constituent une partie de cette spécification, illustrent un ou plusieurs modes de réalisation. Sur les dessins : La FIGURE 1 est un exemple d'utilisation du système avec une guitare comme instrument. La guitare est captée par le capteur d'images (M1). Le capteur d'images envoi l'information au processeur (M2). Le processeur obtient l'information de la séquence musicale soit directement avec son séquenceur interne (M3), soit via un séquenceur externe (M4). Le processeur réalisé la détection de la constellation en permanence, et s'il y a une ou plusieurs notes à déclencher à un instant t(n), il superpose cette information sur la constellation et/ou sur l'image du dispositif d'affichage, pour indiquer à l'interprète l'endroit où la ou les notes doivent être joués (M5). La FIGURE 2 est un exemple pratique de détection de constellation musicale avec une guitare comme instrument. Le processeur réalisé la détection de la constellation en permanence en recalculant son évolution dans l'espace et dans temps. Il est à noter la présence de positions extrapolés qui sont occultées par les mains. La FIGURE 3 est un schéma de principe des composants fonctionnels du dispositif breveté, qui peut comprendre un processeur, une mémoire, une unité de stockage, un composant d'entrée, un composant de sortie, une ou plusieurs interfaces réseaux, et le chemin de communication. Le processeur peut comprendre un processeur, un microprocesseur, un Application Specific Integrated Circuit (ASIC), un réseau pré diffusé programmable (FPGA) et / ou une autre logique de traitement (par exemple, un processeur audio / vidéo) capable de traiter des informations et / ou de commander le dispositif. La mémoire peut inclure une mémoire statique, une mémoire morte (ROM) et / ou de la mémoire dynamique, comme la mémoire à accès aléatoire (RAM) pour stocker des données et des instructions lisibles par machine. L'unité de stockage peut comporter des dispositifs de stockage, comme une disquette, CD - ROM, CD en lecture / écriture (R / W) disque, et / ou de la mémoire flash, ainsi que d'autres types de périphériques de stockage. La composante d'entrée et le composant de sortie peuvent comprendre un écran d'affichage, un clavier, une souris, un haut - parleur, un microphone, un Digital Video Disk (DVD) écrivain, un lecteur de DVD, Bus (USB) Le port série universel, et / ou d'autres les types de composants pour la conversion des événements physiques ou des phénomènes et / ou à partir des signaux numériques qui se rapportent à l'appareil. L'interface réseau peut comprendre un émetteur-récepteur que le dispositif permet de communiquer avec d'autres dispositifs et / ou systèmes. Par exemple, l'interface réseau peut communiquer via un réseau tel que l'Internet, un réseau sans fil terrestre (par exemple, un réseau local sans fil), un réseau cellulaire, un réseau satellitaire, d'un réseau local personnel sans fil (WPAN), etc. En outre ou en variante, l'interface de réseau peut comprendre un modem, une interface Ethernet à un réseau local et / ou une interface / connexion pour permettre au dispositif de se connecter à d'autres dispositifs (par exemple, une interface Bluetooth, une interface de réseau local, 6 3052276 l'interface ANT, etc.). Par exemple, dans un mode de réalisation, le dispositif d'affichage peut communiquer avec le dispositif RA via des interfaces Bluetooth ou Wifi. Le chemin de communication reliant tous les composants peut fournir une interface à travers laquelle des composants du dispositif peuvent communiquer les uns avec les autres. Dans différentes implémentations, le dispositif peut comprendre des composants supplémentaires, moins nombreux, voir différents de ceux illustrés dans la FIGURE 3. Par exemple, le dispositif peut comprendre des interfaces de réseau supplémentaires, telles que des interfaces pour recevoir et envoyer des paquets de données. Dans un autre exemple, le dispositif peut comprendre un dispositif d'entrée tactile. REVENDICATIONS1. Un procédé comprenant L'obtention soit via un séquenceur distant ou local ou via la lecture des informations d'une séquence musicale et sa reproduction sur une échelle temporelle ; L'obtention, par un dispositif de réalité augmentée (RA), des informations permettant d'identifier les instruments musicaux qui se trouvent dans un champ de vision de son composant d'acquisition d'images sur la base de ses caractéristiques de forme typique de l'instrument et/ou ses caractéristiques acoustiques obtenues sans mesure nécessaire de la distance ou sa localisation ; La détermination et identification, pour chacun des instruments, de la position spatiale et à chaque instant des éléments visibles de l'instrument qui permettent la sélection des notes ou sons à déclencher pour interpréter une séquence musicale en reconstruisant la position sur la base des informations précédemment obtenues, cette nouvelle information étant référencée ci-dessous comme « constellation musicale » ; L'extrapolation des positions spatiales non visibles calculée à partir desdites informations et des positions visibles déjà déterminés auparavant en vue à son incorporation a la « constellation musicale ». Optionnellement, la détection de la position relative à la « constellation musicale » des doigts, mains ou accessoires nécessaires à l'exécution d'une note ou son sur l'instrument a un moment précis ; Optionnellement, la détermination de l'information de conformité à l'exécution de la séquence temporelle musicale sur l'instrument sur la base de la position des doigts, main ou accessoires calculée précédemment et à un moment précis. La génération, dans le temps et pour chacun des instruments, de l'information superposée d'augmentation des images basés sur la position spatiale des notes de l'instrument : En coordination temporelle avec les notes obtenues à partir de la reproduction de la séquence musicale et Optionnellement avec l'information de conformité calculé précédemment pour la position des doigts, main ou accessoires nécessaires à l'exécution d'une note ou son sur l'instrument. L'affichage des images générées au niveau du dispositif d'affichage tout en inversant optionnellement l'image source sur ses coordonnés horizontales et/ou verticales. Optionnellement, la transmission des informations obtenues et générées vers un autre dispositif distant. 2. Procédé selon la revendication 1, dans lequel la détermination de la constellation musicale comprend : 8 3052276 -l'obtention d'un emplacement ou positions nécessaires au déclanchement des sons ou des notes à partir des informations visuels et/ou auditives correspondant soit à la forme et image obtenues de l'instrument, y compris par ses caractéristiques implicites nécessaires pour générer ses sons. 3. Procédé selon la revendication 1, comprenant en outre : la réception des informations de suivi du regard du dispositif d'affichage RA pour identifier un ou plusieurs des objets, dans lequel la détermination, pour un ou plusieurs des objets, sur une distance comprend au moins l'un de : la détermination de la distance sur la base des informations de suivi oculaire ; la détermination de la distance par l'intermédiaire d'un dispositif de mesure de distance laser ; OU : la détermination de la distance à partir de mesures par une caméra infrarouge à temps de vol. 4. Procédé selon la revendication 1, Dans lequel la génération des images de l'information RA comprend en outre au moins : la génération d'images des informations RA pour la vision en trois dimensions. la réception d'une entrée de téléspectateur pour activer un système de menu, la réception en outre l'entrée de téléspectateur comprenant au moins un élément parmi : la détection de clignotement des yeux ; la détermination d'un objet regardé par le spectateur ; la mesure des ondes cérébrales ; la mesure de l'activité musculaire ; la détection de la voix ; ou la mesure de mouvements de la main, des doigts du bras ou du pied. la réception en outre de l'audio comprenant au moins un élément parmi : la détection du son de l'instrument qui est en train d'être augmenté visuellement ; la détection des sons des autres instruments dans l'environnement ou via des dispositifs distants ; la détection des sons produits par des mouvements de la main, des doigts, des bras ou du pied. 5. La méthode de la revendication 4, Dans lequel la réception de l'entrée de téléspectateur comprend en outre et au moins : la détection d'une sélection d'un objet qui ne soit pas visible pour le spectateur, mais dont les informations RA est visible par le spectateur ou ses sons détectés. 6 Un dispositif comprenant : Un processeur capable de : identifier les instruments musicales qui se trouvent dans un champ de vision du dispositif d'affichage ; déterminer et identifier, pour chacun des instruments, la position spatiale des éléments visibles de l'instrument qui permettent la sélection de ou des notes ou sons a déclencher 9 3052276 pour interpréter une séquence musicale en reconstruisant la position a partir de la forme typique de l'instrument musical ou ses caractéristiques acoustiques obtenue tout au moins à partir de la source de vision et sans mesure nécessaire de la distance ou localisation; Extrapoler les positions spatiales non visibles à partir des informations de forme de l'instrument, ses caractéristiques acoustiques, des sons émis ou des positions déjà visibles. Lire des informations d'une séquence musicale distante ou locale et la reproduire sur une échelle temporelle. Détecter la position des doigts, main ou accessoires nécessaires à l'exécution d'une note ou son sur l'instrument a un moment précis. Déterminer si la position des doigts, main ou accessoires calculée précédemment a un moment précis est conforme à l'exécution de la séquence temporelle musicale sur l'instrument. générer, dans le temps et pour chacun des instruments, de l'information d'augmentation des images superposés basés sur la position spatiale des notes de l'instrument : En coordination avec l'exécution d'une séquence temporelle de notes musicales Optionnellement avec l'information de conformité calculé précédemment pour la position des doigts, main ou accessoires nécessaires à l'exécution d'une note ou son sur l'instrument. afficher les images générées au niveau du dispositif d'affichage en inversant optionnellement l'image source sur ses coordonnés horizontales et/ou verticales. Optionnellement, transmettre l'information obtenue et générée vers un autre dispositif distant. 7 Le dispositif de la revendication 6, Dans lequel le dispositif comprend au moins : un téléphone intelligent, un ordinateur tablette, un téléviseur ou une paire de lunettes de réalité augmentée (RA). le dispositif d'affichage. 8. Le dispositif de la revendication 6 Comprenant en outre au moins un élément parmi : un accéléromètre ; un gyroscope ; une combinaison de composants de l'appareil et la reconnaissance d'image pour reconnaître une position spécifique d'un instrument de musique dans un environnement basé sur les images de la caméra. 9. Le dispositif de la revendication 6, Dans lequel le dispositif est configuré pour obtenir des informations de suivi oculaire à partir des images des yeux du spectateur et/ou dans lequel le processeur est en outre configuré pour utiliser les informations de suivi des yeux afin d'identifier un premier objet vers lequel les yeux du spectateur pointent. 10 3052276 CONCLUSION SUR LA FORME DE LA DEMANDE La description précédente des implémentations fournit des illustrations, mais ne vise pas à être exhaustive ou de limiter les mises en oeuvre à la forme précise décrite. Des modifications et variations sont possibles à la lumière des enseignements ci-dessus ou peuvent être acquises par la pratique des enseignements. Dans ce qui précède, alors que la série de blocs ont été décrits en ce qui concerne le procédé de réalisation, l'ordre des blocs peut être modifiée dans d'autres implémentations. En outre, les blocs non-dépendants peuvent représenter des actes qui peuvent être effectuées en parallèle à d'autres blocs. En outre, en fonction de la mise en oeuvre de composants fonctionnels, certains blocs peuvent être omis d'un ou plusieurs processus. Il sera évident que les aspects décrits ici peuvent être mis en oeuvre sous de nombreuses formes différentes de logiciels, micro logiciels et matériels dans les mises en oeuvre illustrées sur les figures. Le code logiciel réel ou matériel spécialisé de contrôle utilisé pour mettre en oeuvre les aspects ne limitent pas l'invention. Ainsi, le fonctionnement et le comportement des aspects ont été décrits sans référence au logiciel spécifique de code étant entendu que les logiciels et le matériel de contrôle peut être conçu pour mettre en oeuvre les aspects sur la base de la présente description. Il convient de souligner que le terme « comprend / comprenant" lorsqu'il est utilisé dans cette spécification est pris pour indiquer la présence d'énoncés caractéristiques, nombres entiers, étapes ou composants, mais ne fait pas obstacle à la présence ou l'ajout d'un ou plusieurs autres caractéristiques, nombres entiers, étapes, composants ou groupes de ceux-ci. En outre, certaines parties des mises en oeuvre ont été décrites comme « logique » qui exécute une ou plusieurs fonctions. Cette logique peut inclure du matériel, tel qu'un processeur, un microprocesseur, un circuit intégré d'application spécifique, ou d'un réseau de portes programmables, logiciels, ou une combinaison de matériel et de logiciels. Aucun élément, acte ou instruction utilisée dans la présente demande doit être interprété comme critique ou essentielle pour les implémentations décrites ici, sauf si explicitement décrit comme tel. En outre, tel qu'il est utilisé ici, l'article « un » est destiné à inclure un ou plusieurs éléments. En outre, l'expression "sur la base", on entend "sur la base, au moins en partie, sur" sauf indication contraire. 11