FR 3113168 A1 20220204 FR 2008167 A 20200731 La solution présentée ici a pour but de répondre à la problématique de permettre à des utilisateurs (principalement des jeunes enfants) sans connaissance de solfège de reproduire ou de créer des accompagnements précis, de manière simple, et avec manipulation. séquenceur musical intuitif et évolutif Document écrit par Bastien MEYER, pour All In The Mind EURL Juillet 2020 Contexte du document En janvier 2019, Bastien MEYER, fondateur de la société All In The Mind EURL, a commencé les travaux de conception d’un séquenceur musical intuitif, dont le but est de proposer un objet hardware simple pour les personnes sans connaissances musicales, afin de leur permettre de créer facilement des accompagnements. Le premier cahier des charges du séquenceur a été déposé dans l’enveloppe e-Soleau DSO2019002269 le 12/02/2019. Courant 2019 et début 2020, la conception a été affinée et une preuve de concept a été réalisée. En juillet 2020, une étude d’antériorité en vue d’un dépôt de brevet a été réalisée. Les conclusions de cette étude font état de certaines antériorités. A la vue de ces antériorités, la question de l’intérêt de déposer un brevet sur les éléments protégeables n’a pas été résolue, en particulier dans la mesure où la demande pour le produit est encore inconnue à ce jour. Bastien MEYER et la société All In The Mind ayant besoin de communiquer rapidement sur cette invention, afin justement de tester le marché, il a été décidé de déposer une demande provisoire de brevet, afin de pouvoir communiquer au plus vite et de reporter la question de lancer une démarche de dépôt de brevet à une date ultérieure. A cette fin, le présent document présente l’invention et ses innovations. Présentation générale du dispositif Pour les personnes ne sachant pas jouer de musique (en particulier les jeunes enfants) la plupart des jeux et applications disponibles sur le marché ne permettent pas de réellement découvrir et expérimenter le langage musical sans apprentissage préalable. Ils nécessitent souvent une certaine dextérité (ex : instrument jouet) ou alors sont purement applicatifs et n’impliquent pas assez la personne, dans la mesure où l’on sait que la manipulation est essentielle pour le développement cognitif des enfants. Néanmoins il existe quand même certaines solutions de construction musicale avec manipulation qui sont documentées. Elles se divisent en 2 catégories : Solution pour créer une séquence musicale sans savoir réellement ce que l'on fait, pour les très jeunes enfants (jouet musical) Solution pour créer une séquence de notes très précise, pour les musiciens La solution présentée ici a pour but de répondre à la problématique de permettre à des utilisateurs (principalement des jeunes enfants) sans connaissance de solfège de reproduire ou de créer des accompagnements précis, de manière simple, et avec manipulation. Pour arriver à ce résultat, la société All In The Mind a imaginé un dispositif connecté ludique et intuitif. Ce dispositif transpose à la musique le principe des jeux de construction : les utilisateurs découvrent, construisent et créent la musique avec des cubes. Le dispositif peut présenter les fonctionnalités suivantes : Éveil musical : l’utilisateur manipule des sons et des instruments uniquement pour expérimenter et s’amuser, sans aucune notion de théorie musicale. Le résultat est toujours harmonieux et agréable à écouter. Histoires musicales interactives : l’utilisateur écoute des histoires expliquant quelques fondamentaux de la musique. L’utilisateur interagit avec l’histoire en posant les bons cubes aux bons moments. Ateliers des chansons : l’utilisateur reproduit des séquences qui lui sont proposées et créé ainsi une chanson connue. Le code couleur permet également d’apprendre à la jouer sur un instrument facile d’accès tel que l’ukulélé (sur lequel les bonnes notes seraient colorées comme sur les cubes). Accompagnement musical : l’utilisateur apprend la musique de son côté et utilise le dispositif comme un outil pour travailler ses exercices et également pour composer des morceaux et développer sa créativité. Pour assurer ce fonctionnement, le dispositif est constitué de 3 éléments distincts : Une base hardware comportant un certain nombre d’emplacements pouvant accueillir des cubes, ainsi qu’une carte électronique embarquée Des cubes physiques comportant des informations musicales écrites sur leurs 4 faces latérales, et comportant des éléments permettant à la base de les détecter sans contact (aimant et tag NFC) Éventuellement un appareil mobile (ex : tablette) échangeant des informations avec la base Chaque face avant d'un cube est détectée par la base et permet de déclencher un son particulier, en fonction de la fonctionnalité utilisée. Ainsi, sans aucune connaissance, les utilisateurs interagissent avec les fonctionnalités proposées, tout en apprenant de manière ludique les fondamentaux du langage musical. Le dispositif fonctionne avec ou sans appareil mobile connecté, en fonction des fonctionnalités utilisées. Cette solution hybride (objet connecté + tablette) présente plusieurs intérêts par rapport à une solution purement applicative : Certaines fonctionnalités proposées par le dispositif existent déjà dans différentes solutions logicielles. Néanmoins elles n’existent pas encore sous la forme d’un objet manipulable. Or on sait aujourd’hui que le cerveau mémorise bien mieux les informations lorsqu’elles se présentent à lui via différents canaux de perception. Donc ajouter la manipulation à l’aspect visuel et auditif est un vrai plus de ce dispositif pour l’apprentissage de la musique. Une solution applicative ne serait pas adaptée aux plus petits pour l’éveil musical. La solution hybride s’inscrit dans une vraie tendance actuelle qui exploite le potentiel de combiner la manipulation à la puissance des tablettes pour différentes activités ludo-éducatives. La manipulation permet d’arriver bien plus rapidement au résultat souhaité et encourage l’expérimentation. Les gestes sont plus naturels. La manipulation permet de limiter l’accès à la tablette pour une meilleure ergonomie, et certains modes de fonctionnement n’utilisent même pas l’appareil mobile. Pour répondre au mieux à la problématique de permettre à de jeunes enfants sans connaissance de solfège de reproduire ou de créer des accompagnements facilement, avec manipulation, le dispositif présente les caractéristiques suivantes : Création d'une séquence via un cube de figure rythmique "en facteur" et N cubes d'accords. Possibilité d'avoir un nombre N de cubes supérieur au nombre d’emplacements sur la base du dispositif en prolongeant la séquence via la mémorisation de la première partie sur un appareil mobile. Cette "factorisation" permet de connaître précisément le rythme joué, et de l'adapter au type de morceau que l'on souhaite reproduire / réaliser. Répartition intelligente des accords sur les faces des cubes dans le but de faciliter la manipulation et la création. Mémorisation et création de séquences complexes en couplant la base à un appareil mobile pour mémoriser les différentes séquences et les ajouter les unes aux autres. Cubes sans contact avec 4 faces utiles (pour permettre une répartition optimale des accords), et en conséquence une technologie spécifique pour permettre la détection de la face utilisée tout en ayant toujours la même face en bas. Code couleur et étiquettes sur les cubes pour permettre sans aucune connaissance de créer une séquence harmonieuse. Modification de certains paramètres musicaux (tempo, transposition) via un bouton spécifique. Création de morceaux via des histoires interactives où l’utilisateur doit poser le bon cube au bon moment. [Fig 1 : Illustration d’une proposition de design, avec connexion à un appareil mobile] [Fig 2 : Illustration d’une proposition de design, sans connexion à un appareil mobile] Principe s fondamenta ux de fonctionnement et innovations Modélisation d’un morceau avec des cubes Une partie musicale est matérialisée par une suite de cubes manipulables (cf. ci-dessous) 1 cube de Figure rythmique, qui s’applique à toute la partie N cubes d’Accords [Fig 3 : Illustration de la modélisation d’un morceau] La plupart des morceaux de musique contemporaine occidentale se basent sur une suite d’accords. Un accord est constitué de plusieurs notes jouées en même temps. Ces accords sont par exemple joués par un instrument de type piano ou guitare (qui permettent de jouer plusieurs notes en même temps), avec en général une figure rythmique plus ou moins constante sur chaque partie du morceau (couplet, refrain, …). Pour la modélisation du morceau, on part donc du principe simplificateur que la figure rythmique est constante pour une partie du morceau donnée. Sur la base de cette simplification, on peut alors mettre la figure rythmique « en facteur » de la partie du morceau pour qu’elle s’applique à toute la suite d’accords, afin qu’il ne soit pas nécessaire de préciser selon quelle figure rythmique est joué chaque accord. Sur l’exemple ci-dessus (Let It Be), on peut modéliser (et simplifier) l’accompagnement de la façon suivante : Intro : Figure rythmique : 2 noires Suite d’accords : C, G, Am, F, C, G, F, C Couplet (Verse) : Figure rythmique : 2 noires Suite d’accords : C, G, Am, F, … Cette dernière phrase est celle représentée sur la photo illustrative ci-dessus. Fonctionnement des cubes L’utilisation des cubes se justifie par l’intuitivité que représente ce mode de construction. Dans ce dispositif les cubes comportent 4 faces utiles (rotation selon l’axe vertical) représentant chacune une information différente (des accords, ou des figures rythmiques, ou des instruments, …). La répartition des informations sur les cubes et leurs faces est réalisée de manière à simplifier au maximum les manipulations et à permettre de construire facilement des accompagnements harmonieux sans connaissance de solfège. Cubes basiques Le cube basique contient les 4 accords de base de la tonalité de C (Do majeur). [Fig 4 : Constitution du cube basique] Le cube basique a une couleur différente pour chaque face (c’est le seul dans ce cas), qui reprend les couleurs affectées à ces 4 accords dans le pack de cubes avancés. Cubes avancés Les cubes avancés contiennent tous les accords fréquents, répartis sur 6 cubes. Par souci de simplification et parce qu’ils sont bien plus rarement utilisés, les accords diminués des tonalités ne sont pas pris en compte dans cet ensemble de cubes. [Fig 5 : Constitution des cubes avancés] Les cubes accords avancés permettent d’avoir tous les accords dans leur état de base. La répartition a été choisie pour que les cubes soient tous constitués de la même façon, en listant chaque accord une et une seule fois. De plus cette répartition a l’avantage pour un cube donné : De couvrir toutes les tonalités avec ses 4 accords Pour une tonalité donnée, il y a forcément une et une seule face qui porte un des accords de la tonalité. En effet, dans une tonalité il est impossible d’avoir un accord et sa version mineure (sauf pour le cas particulier de l’accord de dominante d’une tonalité mineure, cas géré ici par une exception dans la représentation graphique sur le cube), ainsi qu’un accord et un autre (dans leurs états simples non diminués) séparés d’une quinte diminuée. D’éviter que différents accords d’une partie se trouvent sur des faces différentes d’un même cube (ce qui nécessiterait de l’avoir en plusieurs exemplaires) Les accords de septième ne sont volontairement pas inclus dans ce pack car ils ne sont pas totalement nécessaires pour travailler les morceaux et ils démultiplieraient trop les cubes. Il en est de même plus d’autres types d’accords (suspendus, augmentés, diminués, …) qui sont plus rarement utilisés, surtout pour les morceaux travaillés par les débutants. Chaque cube a une couleur différente, pour faciliter la lecture des partitions représentées avec une succession des cubes. Un système graphique ou de code couleur permet de repérer aisément les accords de chaque tonalité. Il s’agit de signes graphiques apposés sur chaque face. Si une séquence de cube présente un même signe graphique sur tous les cubes, alors la séquence sera harmonieuse, dans la tonalité représentée par ce signe graphique. [Fig 6 : Exemple d’une séquence où tous les cubes ont en commun l’étiquette verte, indiquant qu’ils appartiennent tous à la tonalité de G (Sol majeur), et donc que le morceau est harmonieux et construit en G (Sol majeur)] Cubes autres D’autres ensembles de cubes peuvent exister pour venir compléter les précédents, afin de pouvoir répondre à tous les besoins (power chords, accords de septième, accords diminués, …). Choix de la norme MIDI Le Musical Instrument Digital Interface ou MIDI est un protocole de communication et un format de fichier dédiés à la musique, et utilisés pour la communication entre instruments électroniques, contrôleurs, séquenceurs, et logiciels de musique. C’est le standard pour représenter une partition dans un format exploitable par une application informatique. Ainsi, pour générer toutes les combinaisons de sons possibles et pour limiter au strict minimum le nombre de fichiers audio préenregistrés à stocker dans le dispositif, mais également pour travailler avec la technologie standard, il a été fait le choix de recourir à la norme MIDI. Cela permet également au dispositif d’être plus facilement évolutif car on peut facilement ajouter un nouvel accord (qui est une nouvelle combinaison de sons) sans avoir à mettre à jour les fichiers audio puisque ces derniers contiennent déjà toutes les notes individuelles de la tessiture du dispositif. A noter : afin de faciliter la lecture, les illustrations de ce document affichent les informations MIDI sous la forme d’une partition. Affectation simple d’une figure rythmique donnée à une séquence Le dispositif permet de créer facilement une séquence musicale connue ou inventée grâce aux principes présentés précédemment. Différents outils existent déjà pour créer une séquence musicale, mais ils ne permettent pas d’affecter facilement à une partie donnée une figure rythmique précise. Certains dispositifs existants proposent de lire une suite d’accords dans un style musical défini, avec une figure rythmique par défaut (qui ne peut pas être choisie par l’utilisateur). D’autres dispositifs existants proposent d’affecter à chaque accord une durée. Enfin d’autres dispositifs requièrent d’écrire une partition ou quelque-chose d’assimilé, ce qui est hors de portée d’un débutant. Dans le dispositif présenté, le fonctionnement pour l’utilisateur est le suivant : L’utilisateur sélectionne une figure rythmique parmi celles qui lui sont proposées. Il pose ce cube, avec la face sélectionnée, dans l’emplacement spécifique du cube de rythme Il construit ensuite une suite d’accords avec les cubes d’accords, en les posant dans les emplacements spécifiques des cubes d’accords. Si la séquence est plus longue que le nombre d’emplacements disponibles sur la base, alors l’utilisateur peut mémoriser une première partie sur l’appareil mobile, reprendre une construction, mémoriser, et ainsi de suite Le fonctionnement technique est le suivant : A chaque face des cubes de rythme correspond dans une base de données une figure rythmique (également écrite sur le cube), ainsi qu’un fichier MIDI représentant ce rythme pour une note donnée quelconque (cf. figure 7) A chaque face des cubes d’accords correspond dans une base de données un accord (également écrit sur le cube), ainsi qu’un fichier MIDI représentant cet accord pour un rythme donné quelconque (cf. figure 8) A chaque note possible dans ces derniers fichiers MIDI correspond un ensemble de fichiers audio jouant chacun la note avec un instrument différent (le dispositif permettant également de choisir l’instrument) Le moteur applicatif doit donc réaliser les étapes suivantes pour générer le son de la séquence construite : Appliquer une éventuelle transposition, qui permet à l’utilisateur de construire sa séquence avec certains accords, tout en jouant la séquence avec d’autres accords, N demi-tons plus haut ou plus bas Le moteur contient une table de correspondance entre les accords sources, et les accords cibles, selon les transpositions possibles Combiner le fichier MIDI de la figure rythmique avec les fichiers MIDI de la suite d’accords, au tempo défini par l’utilisateur, afin de générer la séquence MIDI correspondante (cf. figure 9) Lire la séquence MIDI générée, en appliquant à chaque note le fichier audio préenregistré correspondant à la note à jouer et à l’instrument défini par l’utilisateur [Fig 7 : Figure rythmique à 2 noires, notée avec une note quelconque] [Fig 8 : Accord de Do majeur (C) noté avec un rythme quelconque] [Fig 9 : combinaison par le moteur applicatif de la figure rythmique à 2 noires et de l’accord de Do majeur pour créer une séquence musicale] [Fig 10 : Schéma logique de l’interprétation d’une séquence de cubes en séquence musicale] Détection des cubes et de leur face avant sans contact La base du dispositif permet la détection sans contact des cubes et de leur face utile. Cette détection est réalisée en combinant 2 technologies sans contact : Détection NFC du tag du cube pour connaître le cube et ses propriétés (mais cette technologie ne permet pas de connaître l’orientation) Détection de l’orientation du champ magnétique de l’aimant du cube (magnétisé diamétralement) pour en déduire l’orientation du cube Des solutions ont dû être trouvées pour optimiser ce couplage de technologies : Optimisation du couple tag / aimant sur le cube afin de ne pas avoir d’interférences problématiques Optimisation du positionnement des capteurs d’orientation magnétique dans la base du dispositif et de la puissance des aimants. 2 solutions sont possibles : Un capteur au centre de l’emplacement du cube Un ou deux capteurs en bordure de l’emplacement du cube (par exemple à 90° l’un de l’autre) : permet une mesure plus fiable car moins sensible au positionnement exact du capteur par rapport à l’aimant, mais nécessite une optimisation de l’orientation du champ magnétique de l’aimant par rapport aux faces du cube Éventuellement, procédure utilisateur simple d’initialisation sur le tag du cube de l’angle d’orientation de l’aimant par rapport à une face de référence, afin de ne pas avoir à se soucier du positionnement de l’aimant par rapport aux faces du cube lors de la production des cubes (qui peut engendrer un surcoût). En effet, afin de déduire l’orientation du cube à partir de l’orientation du champ magnétique, il faut : Soit que le champ magnétique soit orienté précisément par rapport à la face de référence de chaque cube, ce qui implique une étape de fabrication spécifique Soit que le tag NFC du cube porte l’information de l’angle d’orientation du champ magnétique par rapport à la face de référence La procédure d’initialisation prévue correspond donc à ce second cas. Elle se déroule de la manière suivante : Lors de la première utilisation d’un pack de cubes, l’utilisateur positionne simplement les faces de références des cubes comme sur l’exemple indiqué sur un mode d’emploi, et déclenche l’initialisation via l’application ou via un bouton spécifique. Le dispositif se charge alors automatiquement de déterminer l’angle d’orientation des champs magnétiques par rapport aux faces de référence des cubes, et d’écrire ces informations sur chaque tag NFC. Cette procédure ne s’exécute qu’une seule fois pour un pack de cubes donné (sauf pour une éventuelle réinitialisation en cas d’erreur). [Fig 11 : Principe de fonctionnement de la détection des cubes et de leur orientation (vue de profil)] [Fig 12 : Présentation des 2 solutions de disposition du ou des capteurs d’orientation magnétique] Pas de revendications.