FR 3076030 A1 20190628 FR 1763070 A 20171222 Procédé d'optimisation de l'apprentissage d'une interface neuronale directe Description DOMAINE TECHNIQUE Le domaine des interfaces neuronales directes est en plein développement et apparaît comme une solution séduisante pour permettre à des personnes handicapées de commander des effecteurs par la pensée. Il s'agit d'enregistrer, généralement à l'aide d'électrodes corticales, des signaux électrophysiologiques. Ces derniers sont traités par des algorithmes permettant d'extraire un signal de commande, pour commander des actionneurs. Le signal de commande peut permettre le pilotage d'un exosquelette, d'un ordinateur ou d'un robot, pour fournir une assistance à l'utilisateur. Les algorithmes mis en oeuvre permettent une traduction d'une instruction donnée par l'utilisateur, cette instruction étant captée, par les électrodes, sous la forme de signaux dits électrophysiologiques, car représentatifs de l'activité électrique des neurones. Cette activité électrique est généralement mesurée au niveau du cortex, au moyen d'électrodes corticales disposées dans la boîte crânienne. Elle peut également être mesurée par des électrodes d'électroencéphalographie, moins intrusives car disposées sur le scalp, mais également moins performantes, notamment au niveau de la résolution spatiale. Une autre solution est d'enregistrer les signaux électrophysiologiques par magnétoencéphalographie, ce qui nécessite une installation dédiée. Les algorithmes mis en oeuvre sont généralement basés sur un modèle prédictif. Le modèle prédictif utilise des données d'entrée, obtenues par un prétraitement des signaux électrophysiologiques enregistrés, pour établir un signal de commande, à destination d'un actionneur. Le signal de commande doit correspondre à une intention exprimée par l'utilisateur, c'est-à-dire l'individu dont on enregistre les signaux électrophysiologiques. L'intention exprimée par l'utilisateur se manifeste sous la forme de signaux électrophysiologiques, ces derniers étant enregistrés et transmis vers l'interface neuronale directe, formant des données d'entrée. Les données d'entrées sont traitées par le modèle prédictif pour générer le signal de commande. Les données d'entrée sont généralement multidimensionnelles, et comprennent : - une composante spatiale, représentative de l'origine spatiale du signal électrophysiologique ; - une composante fréquentielle, représentative de l'intensité du signal électrophysiologique dans différentes bandes de fréquence ; 2 - une composante temporelle, représentative de l'évolution temporelle du signal électrophysiologique, chaque signal électrophysiologique étant acquis selon une fréquence d'échantillonnage élevé, typiquement quelques kHz, durant un intervalle temporel d'acquisition de quelques centaines de millisecondes à quelques secondes. 5 Le modèle prédictif est établi au cours d'une phase d'apprentissage, au cours de laquelle l'utilisateur effectue des tâches prédéfinies. L'objectif est alors, suite à chaque tâche, de déterminer des composantes des signaux électrophysiologiques enregistrés spécifiques de la tâche. Il peut notamment s'agir de déterminer des corrélations entre des composantes de signaux et la tâche réalisée. Les composantes des signaux peuvent être temporelles, spatiales, 10 fréquentielles, ou leur combinaison. L'établissement de modèles prédictifs a amplement été décrit. Par exemple, le brevet US9480583 décrit l'application d'une méthode de régression linéaire des moindres carrés partiels multivariée permettant d'établir un modèle prédictif. Une telle méthode est connue sous l'acronyme anglosaxon "NPLS" ou par le terme "N-way Partial Least Squares". L'application 15 d'une telle méthode a également été décrite dans la publication Eliseyev A, Aksenova T (2013) "Recursive N-way Partial Least Squares for Brain Computer Interface" PIOS ONE july 2013, Volume 8 Issue 7 e69962. Une telle méthode est également décrite dans le document Yelisyeyev A "Brain-Computer Interface with cortical electrical activity recording" Human health and pathology. Université de Grenoble, 2011. 20 L'inventeur a constaté que l'ordre dans lequel les tâches sont proposées à l'utilisateur peut avoir une influence sur l'apprentissage. Cela fait l'objet de l'invention décrite ci-après. EXPOSE DE L'INVENTION Un premier objet de l'invention est un procédé d'apprentissage par renforcement d'une interface neuronale directe, l'interface neuronale directe étant reliée à des capteurs 25 préalablement disposées autour du cerveau d'un individu, chaque capteur étant configurée pour détecter un signal électrophysiologique et à adresser à l'interface neuronale un signal électronique représentatif du signal électrophysiologique détecté, l'interface neuronale directe étant destinée à commander un actionneur en fonction de signaux électroniques transmis par chaque capteur, le procédé d'apprentissage comportant des étapes itératives, à chaque 30 itération correspondant un instant d'itération, chaque itération comportant les étapes suivantes 3 a) sélection d'une tâche mentale à effectuer, choisie parmi une liste de tâches prédéterminée; b) instruction, à l'individu, de réaliser la tâche sélectionnée lors de l'étape a) ; c) suite à la réalisation de la tâche par l'individu, acquisition des signaux électroniques, 5 issus des différents capteurs; d) décodage de signaux électroniques, de façon à identifier au moins une composante des signaux électroniques spécifique de la tâche effectuée ; e) réitération des étapes a) à e), en incrémentant l'instant d'itération, jusqu'à l'atteinte d'un critère d'arrêt ; 10 le procédé étant caractérisé en ce que chaque itération comporte, entre l'étape d) et l'étape e), une étape intercalaire, mise en oeuvre par un microprocesseur, comportant les sous-étapes suivantes : ) un calcul d'une performance de la tâche sélectionnée lors de l'étape a), quantifiant le degré d'apprentissage de la tâche, à partir de la composante identifiée lors de l'étape 15 d); ii) une mise à jour d'une variable d'état, comportant, pour chaque tâche de la liste de tâche: - la performance suite à l'itération dernièrement effectuée, dite itération courante ; - une évolution de la performance suite à une dernière itération au cours de laquelle 20 la tâche a été effectuée; iii) une détermination d'un critère d'évaluation, dont la valeur dépend des performances de chaque tâche à l'issue de l'itération, et d'une chronologie des tâches effectuées au cours des itérations précédentes ; iv) une détermination d'une fonction de valeur, pour évaluer une performance globale de 25 l'apprentissage, la fonction de valeur prenant en compte la variable d'état mise à jour lors de la sous-étape ii) et le critère d'évaluation déterminé lors de la sous-étape iii) ; de telle sorte que lors de l'étape a) de l'itération suivante, la tâche sélectionnée correspond à une tâche maximisant la fonction de valeur. Avant la première itération, le procédé peut comporter une phase d'initialisation pour 30 déterminer la première tâche à réaliser, initialiser la variable d'état et définir le calcul de l'indicateur d'évaluation. La variable d'état peut comporter, pour chaque tâche: - la performance à l'instant de l'itération ; 4 - une variation de la performance lors de la dernière itération durant laquelle la tâche a été mise en oeuvre ; Le procédé peut comporter, à chaque itération : - une détermination de la tâche dont l'indicateur d'inactivité est maximal. 5 Le procédé peut être tel que l'indicateur d'évaluation est calculé, suite à chaque itération, comporte une combinaison arithmétique : - d'un premier terme représentant un nombre d'itérations consécutives de la tâche sélectionnée lors de l'itération ; - d'un deuxième terme représentant, le nombre d'itérations s'étant écoulées depuis une 10 dernière réalisation de la tâche dont l'indicateur d'inactivité est maximal ; - d'un troisième terme, représentant la performance de la tâche effectuée au cours de l'itération courante. Le troisième terme peut avoir une valeur d'autant plus élevée que la tâche effectuée lors de l'itération courante présente une performance faible relativement aux performances des autres 15 tâches. L'indicateur d'évaluation est alors désigné par le terme "indicateur d'évaluation minimal". Le procédé peut comporter, à chaque itération, et pour chaque tâche de la liste de tâches, une détermination d'une variation de la performance lors de la dernière réalisation de la tâche. Le troisième terme peut alors avoir une valeur d'autant plus élevée que la tâche effectuée lors de 20 l'itération courante présente une variation de performance élevée relativement aux variations des performances des autres tâches. L'indicateur d'évaluation est alors désigné par le terme indicateur d'évaluation moyen. Le troisième terme peut également être une combinaison arithmétique : - d'une première composante, ayant une valeur d'autant plus élevée que la tâche 25 effectuée lors de l'itération courante présente une performance faible relativement aux performances des autres tâches ; - d'une deuxième composante, a une valeur d'autant plus élevée que la tâche effectuée lors de l'itération courante présente une variation de performance élevée relativement aux variations des performances des autres tâches. 30 L'indicateur d'évaluation est alors désigné par le terme indicateur d'évaluation combiné. La sous-étape iv) peut être réalisée en mettant en oeuvre un algorithme de type réseau de neurones profonds. Un autre objet de l'invention est une interface neuronale directe, comportant : 5 - des capteurs, aptes à acquérir des signaux électrophysiologiques représentatifs d'une activité corticale et à transmettre des signaux électroniques représentatifs des signaux électrophysiologiques ; - une unité de traitement, pour traiter les signaux électroniques transmis par les capteurs, 5 de façon à mettre en oeuvre l'étape d) du premier objet de l'invention, de façon à estimer une corrélation entre les signaux électroniques et la tâche réalisée lors de l'étape b) du premier objet de l'invention ; - un processeur, configuré pour mettre en oeuvre les sous-étapes i) à iv), du procédé selon le premier objet de l'invention, à partir de la corrélation établie lors de l'étape d). 10 Les capteurs peuvent notamment être des électrodes corticales ou des électrodes d'électroencéphalographie. Un autre objet de l'invention est un support d'enregistrement, comportant des instructions pour la mise en oeuvre des sous-étapes i) à iv) d'un procédé objet du premier objet de l'invention. D'autres avantages et caractéristiques ressortiront plus clairement de la description qui va suivre 15 de modes particuliers de réalisation de l'invention, donnés à titre d'exemples non limitatifs, et représentés sur les figures listées ci-dessous. FIGURES La figure 1 schématise une interface neuronale reliée à un utilisateur, et connectée à un processeur apte à mettre en oeuvre un procédé selon l'invention. 20 La figure 2A montre les principales étapes d'un procédé selon l'invention. La figure 2B illustre un détail d'une étape décrite en lien avec la figure 2A. La figure 3 représente des fonctions générées aléatoirement préalablement à des modélisations du procédé, chaque fonction étant représentative d'une évolution temporelle de la performance d'une tâche. 25 La figure 4A montre une évolution temporelle des performances de dix tâches au cours d'une première série d'essais. Les figures 4B et 4C montrent, pour chaque tâche, un nombre moyen de répétitions de la tâche au cours de l'apprentissage, ainsi qu'un critère d'inactivité moyen. La figure 4D est une comparaison de performances du procédé selon l'invention avec des procédés d'apprentissage au cours desquels chaque tâche est sélectionnée aléatoirement ou 30 séquentiellement. La figure 5A montre une évolution temporelle des performances de dix tâches au cours d'une deuxième série d'essais. Les figures 5B et 5C montrent, pour chaque tâche, un nombre moyen de répétitions de la tâche au cours de l'apprentissage, ainsi qu'un critère d'inactivité moyen. La 6 figure 5D est une comparaison de performances du procédé selon l'invention avec des procédés d'apprentissage au cours desquels chaque tâche est sélectionnée aléatoirement ou séquentiellement. La figure 6A montre une évolution temporelle des performances de dix tâches au cours d'une 5 troisième série d'essais. Les figures 6B et 6C montrent, pour chaque tâche, un nombre moyen de répétitions de la tâche au cours de l'apprentissage, ainsi qu'un critère d'inactivité moyen. La figure 6D est une comparaison de performances du procédé selon l'invention avec des procédés d'apprentissage au cours desquels chaque tâche est sélectionnée aléatoirement ou séquentiellement. 10 EXPOSE DE MODES DE REALISATION PARTICULIERS La figure 1 représente les principaux éléments d'une interface neuronale 1 selon l'invention. Il s'agit d'un dispositif comportant des capteurs 21...2E, permettant l'acquisition de signaux électrophysiologiques représentatifs d'une activité neuronale. Les capteurs 21...2E sont par exemple des électrodes corticales, l'indice E désignant le nombre d'électrodes corticales. Les 15 capteurs 21...2E sont reliés à une unité de traitement 3, par exemple un microprocesseur, par une liaison filaire ou sans fil. Chaque capteur 21...2E est configuré pour détecter un signal électrophysiologique émis par un utilisateur 10. A partir de chaque signal électrophysiologique détecté, chaque capteur 21...2E transmet un signal électronique Si...SE à l'unité de traitement. L'unité de traitement 3 est apte à mettre en oeuvre des algorithmes pour détecter des 20 caractéristiques des signaux électroniques Si...SE spécifiques à une tâche effectuée par le patient. L'unité de traitement 3 peut par exemple être un processeur relié à une mémoire mettant en oeuvre des instructions permettant d'effectuer des algorithmes de décodage tels que décrits dans les publications citées en lien avec l'art antérieur. Ces derniers permettent de décoder les signaux physiologiques détectés de façon à déterminer les caractéristiques des 25 signaux électrophysiologiques corrélées des tâches mentales effectuées par l'utilisateur 10. Par tâche mentale, désignée par la suite tâche, on entend une action imaginée par un utilisateur auquel l'interface neuronale directe est raccordée. Il peut s'agir par exemple d'imaginer bouger un membre d'une certaine façon, par exemple lever un bras ou baisser un bras. On peut également disposer un écran 5 devant l'utilisateur. L'écran comporte un curseur et l'utilisateur 30 effectue des tâches mentales pour déplacer le curseur. Par exemple, l'utilisateur imagine déplacer une main vers la droite ou vers la gauche ou vers le haut ou vers le bas pour déplacer le curseur respectivement vers la droite, vers la gauche, vers le haut ou vers le bas. 7 Lors du fonctionnement opérationnel de l'interface neuronale directe 1, comme mentionné en relation avec l'art antérieur, l'utilisateur réalise successivement des tâches mentales. L'unité de traitement 3 reçoit les signaux électroniques Si...SE transmis par les capteurs 21...2E, représentatifs des signaux électrophysiologiques produits par l'utilisateur et détectés par les 5 capteurs. A partir des signaux électroniques détectés, lorsqu'une corrélation avec une tâche est détectée, le microprocesseur génère un signal de commande Sc à l'attention d'un actionneur 6. Ainsi, l'interface neuronale directe décode les signaux électrophysiologiques produits par l'utilisateur 10 de façon à générer, à l'aide d'un modèle prédictif, des signaux de commande à un actionneur. La qualité du décodage est d'autant meilleure que l'algorithme de décodage a 10 fait l'objet d'un apprentissage de qualité. Au cours de l'apprentissage, l'utilisateur dispose d'une liste T de tâches Ti à effectuer. Comme décrit en lien avec l'art antérieur, au cours d'une phase d'apprentissage, on demande à l'utilisateur d'effectuer successivement des tâches Ti choisies parmi la liste des tâches. L'objectif est de déterminer progressivement les caractéristiques électrophysiologiques les mieux 15 corrélées avec les tâches. Ces caractéristiques permettent ensuite d'établir le modèle prédictif, mis en oeuvre lors du décodage, par lequel l'utilisateur 10 peut piloter l'actionneur 6 relié à l'unité de traitement 3. Au cours de l'apprentissage, lors de chaque tâche, les signaux électrophysiologiques détectés dans un intervalle temporel suivant l'instruction donnée à l'utilisateur d'effectuer la tâche sont 20 transmis, éventuellement après un prétraitement de type débruitage et/ou préamplification, à l'unité de traitement 3. Cette dernière procède au décodage, de façon à identifier les caractéristiques qui apparaissent les mieux corrélées avec tâche. L'apprentissage se répète, jusqu'à ce que l'on puisse disposer, pour chaque tâche, d'une certaine répétabilité dans les caractéristiques spécifiques de la tâche. 25 L'ordre selon lequel les tâches sont demandées à l'utilisateur, peut être séquentiel : on demande alors à l'utilisateur d'effectuer une tâche après une autre, selon un certain ordre, et on répète les tâches dans le même ordre durant l'apprentissage. La séquence de tâche peut également être aléatoire, chaque tâche à effectuer étant sélectionnée par un tirage aléatoire dans la liste des tâches. 30 L'inventeur propose une alternative différente, basée sur l'affectation, à chaque tâche, d'un indicateur de performance, quantifiant la performance d'apprentissage. L'indicateur de performance quantifie par exemple un niveau de corrélation entre au moins une caractéristique 8 des signaux enregistrés et la tâche. La séquence de tâches suivant une itération dépend alors des performances établies pour chaque tâche, au cours des itérations précédentes. L'invention met en oeuvre un processeur 4, par exemple identique à l'unité de traitement 3 préalablement décrite, de façon à établir automatiquement une séquence de tâches, en se 5 basant sur un critère d'évaluation, décrit ci-après. Le processeur peut en particulier mettre en oeuvre un algorithme d'apprentissage par renforcement. L'apprentissage par renforcement est une technique permettant d'établir une séquence de tâches successives de façon à maximiser un indicateur de performance globale, noté G. Lors de la réalisation de chaque tâche, le procédé mis en oeuvre par le microprocesseur 4 génère un critère d'évaluation r, usuellement désigné 10 par le terme anglosaxon "reward". Le processeur peut être relié à l'écran 5, ou une autre interface homme-machine, de façon à indiquer à l'utilisateur une tâche à effectuer. Le procédé mis en oeuvre est itératif, et se déroule selon des incréments temporels. A chaque itération correspond un instant t, dit instant d'itération. Par la suite, la lettre t désigne le rang 15 de chaque itération. Lors de chaque itération, l'algorithme détermine une tâche Ti parmi la liste de tâches T. L'indice i est un entier positif, avec 1 REVENDICATIONS1. Procédé d'apprentissage par renforcement d'une interface neuronale directe (1), l'interface neuronale directe étant reliée à des capteurs (21...2E) préalablement disposés autour du cerveau 5 d'un individu, chaque capteur étant configurée pour détecter un signal électrophysiologique et à adresser à l'interface neuronale un signal électronique (Si...SE) représentatif du signal électrophysiologique détecté, l'interface étant configurée pour commander un actionneur (6) en fonction de signaux électroniques transmis par chaque capteur, le procédé d'apprentissage comportant des étapes itératives, à chaque itération correspondant un instant d'itération (t), 10 chaque itération comportant les étapes suivantes : a) sélection d'une tache mentale (Ti(t)) à effectuer, choisie parmi une liste de tâches prédéterminée (Ti(t) Ti(t)); b) instruction, à l'individu, de réaliser la tâche sélectionnée lors de l'étape a) ; c) suite à la réalisation de la tâche par l'individu, acquisition des signaux électroniques, 15 issus des différents capteurs; d) décodage de signaux électroniques, de façon à identifier une composante des signaux électroniques spécifique de la tâche effectuée ; e) réitération des étapes a) à e), en incrémentant l'instant d'itération (t + 1), jusqu'à l'atteinte d'un critère d'arrêt ; 20 le procédé étant caractérisé en ce que chaque itération comporte, entre l'étape d) et l'étape e), une étape intercalaire, mise en oeuvre par un microprocesseur, comportant les sous étapes suivantes : i) un calcul d'une performance (q1(0) de la tâche sélectionnée lors de l'étape a), quantifiant le degré d'apprentissage de la tâche, à partir de la composante identifiée 25 lors de l'étape d) ; ii) une mise à jour d'une variable d'état (s(0), comportant, pour chaque tâche de la liste de tâche: - la performance suite à l'itération dernièrement effectuée, dite itération courante ; - une évolution de la performance suite à une dernière itération au cours de laquelle 30 la tâche a été effectuée; iii) une détermination d'un critère d'évaluation (r(t + 1)), dont la valeur dépend des performances (qi(t)) de chaque tâche à l'issue de l'itération, et d'une chronologie des tâches effectuées au cours des itérations précédentes ; 18 iv) une détermination d'une fonction de valeur (Q (s (t), Ti(t)), pour évaluer une performance globale de l'apprentissage, la fonction de valeur prenant en compte la variable d'état mise à jour lors de la sous-étape ii) et le critère d'évaluation (r(t + 1)) déterminé lors de la sous-étape iii) ; de telle sorte que lors de l'étape a) de l'itération suivante, la tâche sélectionnée correspond à une tâche maximisant la fonction de valeur. 2. Procédé selon la revendication 1, dans lequel la variable d'état s(t) comporte, pour chaque tâche: - la performance (q i(0) à l'instant de l'itération ; une variation de la performance lors de la dernière itération durant laquelle la tâche a été mise en oeuvre ; - le nombre d'itérations s'étant écoulé depuis une dernière réalisation de la tâche, ce dernier correspondant à un critère d'inactivité (mi(t)). 3. Procédé selon l'une quelconque des revendications précédentes, comportant, à chaque itération : - une détermination de la tâche dont l'indicateur d'inactivité (mi (0) est maximal ; le procédé étant tel que l'indicateur d'évaluation (r(t)) est calculé, suite à chaque itération, comporte une combinaison arithmétique : - d'un premier terme représentant un nombre d'itérations consécutives de la tâche sélectionnée lors de l'itération ; - d'un deuxième terme représentant, le nombre d'itérations s'étant écoulées depuis une dernière réalisation de la tâche dont l'indicateur d'inactivité est maximal ; - d'un troisième terme, représentant la performance de la tâche effectuée au cours de l'itération courante. 4. Procédé selon la revendication 3, dans lequel le troisième terme a une valeur d'autant plus élevée que la tâche effectuée lors de l'itération courante présente une performance faible relativement aux performances des autres tâches, l'indicateur d'évaluation (r(t)) étant alors un indicateur d'évaluation minimal (rmin(0). 5. Procédé selon la revendication 3, comportant, à chaque itération, et pour chaque tâche de la 30 liste de tâches, une détermination d'une variation de la performance lors de la dernière réalisation de la tâche, et dans lequel le troisième terme a une valeur d'autant plus élevée que la tâche effectuée lors de l'itération courante présente une variation de performance élevée 19 relativement aux variations des performances des autres tâches, l'indicateur d'évaluation (r (t)) étant alors un indicateur d'évaluation dit moyen (r', (0). 6. Procédé selon la revendication 3 comportant, à chaque itération, et pour chaque tâche de la liste de tâches, une détermination d'une variation de la performance lors de la dernière 5 réalisation de la tâche ; et dans lequel le troisième terme est une combinaison arithmétique : - d'une première composante, ayant une valeur d'autant plus élevée que la tâche effectuée lors de l'itération courante présente une performance faible relativement aux performances des autres tâches ; 10 - d'une deuxième composante, a une d'autant plus élevée que la tâche effectuée lors de l'itération courante présente une variation de performance élevée relativement aux variations des performances des autres tâches ; l'indicateur d'évaluation (r (t)) étant un indicateur d'évaluation (rcmp(t)) dit combiné. 7. Procédé selon l'une quelconque des revendications précédentes, dans lequel la sous-étape 15 iv) est réalisée en mettant en oeuvre un algorithme de type réseau de neurones profonds (DNN).