Brevet FR3118413A1 — publié le 20220701

La présente invention concerne une méthode d’apprentissage auto-adaptatif d’une interface neuronale directe (BNI). Les signaux ECoG exprimant la commande neuronale du sujet sont prétraités (210) pour fournir à chaque instant d’observation un tenseur de données d’observation à un modèle prédictif (220) qui en déduit un tenseur de données de commande permettant de contrôler un ensemble d’effecteurs (230). Un décodeur d’état mental de satisfaction/erreur (250) prédit à chaque époque un état de satisfaction ou d’erreur à partir du tenseur de données d’observation. L’état mental prédit en un instant donné est utilisé par un module de labellisation automatique de données (260) pour générer à la volée de nouvelles données d’apprentissage à partir du couple formé par le tenseur de données d’observation et du tenseur de données de commande à l’instant précédent. Les paramètres du modèle prédictif sont ensuite mis à jour en minimisant une fonction de coût sur les données d’apprentissage ainsi générées. Figure à publier avec l’abrégé : Fig. 2 MÉTHODE D’APPRENTISSAGE AUTO-ADAPTATIF D’UNE INTERFACE NEURONALE DIRECTE UTILISANT UNE DÉTECTION PHYSIQUE D’ÉTAT MENTAL La présente invention concerne le domaine des interfaces neuronales directes encore dénommées BCI ( Brain Computer Interface ) ou BMI ( Brain Machine Interface ). Elle trouve notamment à s’appliquer à la commande neuronale directe d’une machine, telle qu’un exosquelette ou un ordinateur. Etat de la technique antérieure Les interfaces neuronales directes utilisent les signaux électro-physiologiques émis par le cortex cérébral pour élaborer un signal de commande. Ces interfaces neuronales ont fait l’objet de nombreuses recherches notamment dans le but de restaurer une fonction motrice à un sujet paraplégique ou tétraplégique à l’aide d’une prothèse ou d’une orthèse motorisée. Les interfaces neuronales peuvent être de nature invasive ou non invasive. Les interfaces neuronales invasives utilisent des électrodes intracorticales (c’est-à-dire implantées dans le cortex) ou des électrodes corticales (disposées à la surface du cortex) recueillant dans ce dernier cas des signaux électrocorticographiques (ECoG). Les interfaces neuronales non invasives utilisent des électrodes placées sur le cuir chevelu pour recueillir des signaux électroencéphalographiques (EEG). D’autres types de capteurs ont été également envisagés comme des capteurs magnétiques mesurant les champs magnétiques induits par l'activité électrique des neurones du cerveau. On parle alors de signaux magnétoencéphalographiques (MEG). Les interfaces neuronales directes utilisent avantageusement des signaux de type ECoG, présentant l’avantage d’un bon compromis entre biocompatibilité (matrice d’électrodes implantées à la surface du cortex) et qualité des signaux recueillis. Les signaux ECoG ainsi mesurés doivent être traités afin d’estimer la trajectoire du mouvement désiré par le sujet et en déduire les signaux de commande de l’ordinateur ou de la machine. Par exemple, lorsqu’il s’agit de commander un exosquelette, l’interface BCI estime la trajectoire du mouvement désiré à partir des signaux électro-physiologiques mesurés et en déduit les signaux de contrôle permettant à l’exosquelette de reproduire la trajectoire en question. De manière similaire, lorsqu’il s’agit de commander un ordinateur, l’interface BCI estime par exemple la trajectoire souhaitée d’un pointeur ou d’un curseur à partir des signaux électro-physiologiques et en déduit les signaux de commande du curseur/pointeur. L’estimation de trajectoire, et plus précisément celle des paramètres cinématiques (position, vitesse, accélération), est encore dénommée décodage neuronal dans la littérature. Le décodage neuronal permet notamment de commander un mouvement (d’une prothèse ou d’un curseur) à partir de signaux ECoG. L’estimation de trajectoire et le calcul des signaux de contrôle de l’exosquelette ou de l’effecteur nécessite généralement une phase d’apprentissage ou de calibration préalable, dite off-line. Lors de cette phase, le sujet imagine, observe ou réalise un mouvement selon une trajectoire déterminée pendant un intervalle de calibration donné. Les signaux électrophysiologiques mesurés pendant cet intervalle sont exploités en relation avec cette trajectoire pour construire un modèle prédictif et plus précisément pour calculer les paramètres de ce modèle. La validité du modèle prédictif est cependant limitée dans le temps en raison de la non-stationnarité des signaux neuronaux. Pour cette raison, il est nécessaire de procéder à une calibration en ligne ( on-line ) du modèle prédictif, c’est-à-dire au fur et à mesure que les signaux neuronaux sont observés et la commande appliquée. Une méthode de calibration on-line d’une interface BCI a été décrite dans l’article de A. Eliseyev et al. intitulé « Recursive exponentially weighted N-way Partial Least Squares regression with recursive validation of hyper-parameters in Brain-Computer Interface applications » publié dans Scientific Reports, vol. 7, n° 1, p. 16281, nov. 2017 ainsi que dans la demande de brevet FR-A-3 061 318. Cette méthode sera désignée par la suite sous l’acronyme REW-NPLS ( Recursive Exponentially Weighted N-way Partial Least Squares ). Du fait de la non-stationnarité des signaux neuronaux, des sessions dédiées de calibration en ligne doivent être périodiquement prévues pour entrainer le modèle prédictif de l’interface BCI. Les phases d’utilisation et de calibration de l’interface BCI sont mutuellement exclusives l’une de l’autre comme expliqué en relation avec les Figs. 1A et 1B. On a représenté schématiquement en le fonctionnement d’une interface neuronale directe préalablement entrainée. Les signaux ECoG du sujet sont captés et soumis à un traitement dans un module de prétraitement 110 pour fournir un tenseur de données d’observation d’ordre , noté , où représente un instant d’observation. Le tenseur de données d’observation est généralement de dimension . Le tenseur d’observation est ensuite fourni comme tenseur d’entrée à un modèle prédictif 120 préalablement entraîné. Ce dernier prédit, à partir du tenseur d’entrée, un tenseur de sortie (ou tenseur de commande) d’ordre , noté . Le tenseur de sortie est généralement de dimension . L’instant en indice est celui auquel la commande est appliquée, les données de commande pouvant correspondre aux différents effecteurs, représentés schématiquement en 130, ou bien aux différents degrés de liberté d’un robot multiaxe par exemple. Ces différents effecteurs permettent de mouvoir un exosquelette (ou un robot-multiaxes), représenté en 140. Le mouvement de l’exosquelette engendre une contre-réaction sensorielle (visuelle par exemple) chez le sujet ce qui se traduit par la génération de nouveaux signaux ECoG. Une session d’entrainement en mode supervisé d’une interface neuronale directe a été schématiquement représentée en . On reconnait sur la le module de traitement 110, le modèle prédictif 120, les effecteurs 130 et l’exosquelette 140. Dans cette phase d’entrainement (ou de calibration) de l’interface BCI, on demande au sujet d’effectuer une tâche prédéterminée (par exemple d’effectuer un mouvement). Les données d’observation (représentées de manière synthétique par le tenseur d’observation) issues du module de traitement sont labellisées par des étiquettes ( labels ) associées aux données de commande (représentées de manière synthétique par un tenseur de commande) correspondant à l’exécution de la tâche par les effecteurs. Ainsi, le module prédictif est entraîné à déduire à partir des données d’observation associées à la tâche en question (variables prédictives) les données de commande permettant de réaliser cette tâches (variables cibles). Le modèle prédictif peut notamment être entraîné au moyen de l’algorithme REW-NPLS cité plus haut. On comprend par conséquent que les phases d’entrainement ne permettent pas une utilisation libre de l’interface BCI. L’interruption de cette utilisation libre par des phases d’entrainement dédiées est très pénalisante en termes de disponibilité et de praticité. L’objet de la présente invention est par conséquent de proposer une interface neuronale directe qui puisse s’adapter à la non-stationnarité des signaux neuronaux tout en évitant d’interrompre son utilisation par des phases d’entrainement dédiées. Présentation de l’invention La présente invention est définie par une méthode d’apprentissage d’une interface neuronale directe destinée à recevoir une pluralité de signaux électrophysiologiques exprimant une commande neuronale d’un sujet, pendant une pluralité de fenêtres d’observation associées à des instants d’observation, lesdits signaux électrophysiologiques étant prétraités dans un module de prétraitement pour former en chaque instant d’observation un tenseur de données d’observation, l’interface neuronale directe utilisant un modèle prédictif pour déduire à chaque instant d’observation un tenseur de données de commande à partir du tenseur de données d’observation, lesdites données de commande étant destinées à contrôler au moins un effecteur pour réaliser une trajectoire, ladite méthode d’apprentissage étant originale en ce que : - on décode à chaque instant d’observation au moyen d’un décodeur préalablement entraîné, un état mental de satisfaction/ erreur du sujet à partir du tenseur de données d’observation, ledit état mental étant représentatif de la conformité de la trajectoire avec la commande neuronale ; - on génère des données d’apprentissage à partir de l’état mental de satisfaction/erreur décodé en un instant d’observation donné, et du couple formé par le tenseur de données d’observation et le tenseur de données de commande à un instant précédent; - on met à jour les paramètres du modèle prédictif en minimisant une fonction de coût sur les données d’apprentissage générées à l’étape précédente. Le décodeur d’état mental est avantageusement entrainé dans une phase préalable en présentant simultanément au sujet une consigne de déplacement et une trajectoire, le tenseur de données d’observation étant labellisé avec un état mental de satisfaction lorsque la trajectoire est conforme à la consigne et avec un état mental d’erreur lorsque celle-ci s’en écarte. Le décodeur d’état mental fournit typiquement en chaque instant d’observation une prédiction de l’état mental sous la forme d’une valeur binaire ( ) ainsi qu’une estimation du degré de certitude de cette prédiction ( ). Selon un premier mode de réalisation, la prédiction effectuée par le modèle prédictif est basée sur une classification, le tenseur de données de commande étant obtenu à partir de la classe la plus probable prédite par le modèle prédictif. Dans ce cas, si l’état mental prédit en un instant d’observation est un état de satisfaction, les données d’apprentissage peuvent n’être générées à partir du tenseur de données d’observation et du tenseur de données de commande à l’instant d’observation précédent, que si le degré de certitude de l’état mental prédit est supérieur à une première valeur de seuil prédéterminée ( ). Si l’état mental prédit en un instant d’observation est un état d’erreur, les données d’apprentissage peuvent n’être générées à partir du tenseur de données d’observation et du tenseur de données de commande à l’instant d’observation précédent, que si le degré de certitude de l’état mental prédit est supérieur à une seconde valeur de seuil prédéterminée ( ). Selon le premier mode de réalisation, si l’état mental prédit en un instant d’observation est un état d’erreur, les données d’apprentissage générées comprennent le tenseur de données d’observation à l’instant d’observation précédent ainsi qu’un tenseur de données de commande obtenu à partir de la seconde classe la plus probable prédite par le modèle prédictif à l’instant d’observation précédent. La fonction de coût utilisée pour la mise à jour des paramètres du modèle prédictif exprime avantageusement l’écart quadratique entre le tenseur de données de commande prédit par le modèle et celui fourni par les données d’apprentissage, ledit écart quadratique étant pondéré par le degré de certitude prédit par le décodeur d’état mental lors de la génération de ces données d’apprentissage, l’écart quadratique ainsi pondéré étant sommé sur l’ensemble des données d’apprentissage. Selon un second mode de réalisation, la prédiction effectuée par le modèle prédictif est basée sur une régression linéaire ou multilinéaire. Selon une première variante, si l’état mental prédit en un instant d’observation est un état d’erreur, les données d’apprentissage ne sont pas générées si cet état mental prédit est un état de satisfaction, les données d’apprentissage ne sont générées à partir du tenseur de données d’observation et du tenseur de données de commande à l’instant d’observation précédent, que si le degré de certitude de l’état mental prédit est supérieur à une première valeur de seuil prédéterminée ( ). Selon une seconde variante, quel que soit l’état prédit en un instant d’observation, les données d’apprentissage sont générées à partir du tenseur de données d’observation et du tenseur de données de commande à l’instant d’observation précédent, les données d’apprentissage étant alors associées avec le degré de certitude de la prédiction de l’état mental prédit ( ). La fonction de coût utilisée pour la mise à jour des paramètres du modèle prédictif dépend avantageusement de l’écart quadratique entre le tenseur de données de commande prédit par le modèle prédictif et celui fourni par les données d’apprentissage, cette dépendance avec l’écart quadratique étant croissante lorsque l’état mental prédit lors de la génération des données d’apprentissage était un état de satisfaction et de manière décroissante lorsque cet état mental était un signal d’erreur, ledit écart quadratique étant pondéré par un facteur dépendant de manière croissante du degré de certitude de l’état mental prédit, associé aux données d’apprentissage. Brève description des figures D’autres caractéristiques et avantages de l’invention apparaîtront à la lecture d’un mode de réalisation préférentiel de l’invention, décrit en référence aux figures jointes parmi lesquelles : représente de manière schématique le fonctionnement d’une interface neuronale directe préalablement entrainée ; représente de manière schématique une session d’apprentissage supervisée d’une interface neuronale directe ; représente de manière schématique le fonctionnement d’une interface neuronale directe auto-adaptative selon un mode de réalisation de la présente invention utilisant un premier type d’architecture ; représente de manière schématique le fonctionnement d’une interface neuronale directe auto-adaptative selon un mode de réalisation de la présente invention utilisant un second type d’architecture. Méthode d’apprentissage d’une interface neuronale directe destinée à recevoir une pluralité de signaux électrophysiologiques exprimant une commande neuronale d’un sujet, pendant une pluralité de fenêtres d’observation associées à des instants d’observation, lesdits signaux électrophysiologiques étant prétraités dans un module de prétraitement (210,310) pour former en chaque instant d’observation un tenseur de données d’observation, l’interface neuronale directe utilisant un modèle prédictif (220,320) pour déduire à chaque instant d’observation un tenseur de données de commande à partir du tenseur de données d’observation, lesdites données de commande étant destinées à contrôler au moins un effecteur (230 ,330) pour réaliser une trajectoire, caractérisée en ce que : - on décode (250,350) à chaque instant d’observation au moyen d’un décodeur préalablement entraîné, un état mental de satisfaction/ erreur du sujet (250,350) à partir du tenseur de données d’observation, ledit état mental étant représentatif de la conformité de la trajectoire avec la commande neuronale ; - on génère (260, 360) des données d’apprentissage à partir de l’état mental de satisfaction/erreur décodé en un instant d’observation donné, et du couple formé par le tenseur de données d’observation et le tenseur de données de commande à un instant précédent; - on met à jour (220,370) les paramètres du modèle prédictif en minimisant une fonction de coût sur les données d’apprentissage générées à l’étape précédente. Méthode d’apprentissage d’une interface neuronale directe selon la revendication 1, caractérisée en ce que le décodeur d’état mental est entrainé dans une phase préalable en présentant simultanément au sujet une consigne de déplacement et une trajectoire, le tenseur de données d’observation étant labellisé avec un état mental de satisfaction lorsque la trajectoire est conforme à la consigne et avec un état mental d’erreur lorsque celle-ci s’en écarte. Méthode d’apprentissage d’une interface neuronale directe selon la revendication 2, caractérisée en ce que le décodeur d’état mental fournit en chaque instant d’observation une prédiction de l’état mental sous la forme d’une valeur binaire ( ) ainsi qu’une estimation du degré de certitude de cette prédiction ( ). Méthode d’apprentissage d’une interface neuronale directe selon la revendication 3, caractérisée en ce que la prédiction effectuée par le modèle prédictif est basée sur une classification, le tenseur de données de commande étant obtenu à partir de la classe la plus probable prédite par le modèle prédictif. Méthode d’apprentissage d’une interface neuronale directe selon la revendication 4, caractérisée en ce que si l’état mental prédit en un instant d’observation est un état de satisfaction, les données d’apprentissage ne sont générées à partir du tenseur de données d’observation et du tenseur de données de commande à l’instant d’observation précédent, que si le degré de certitude de l’état mental prédit est supérieur à une première valeur de seuil prédéterminée ( ). Méthode d’apprentissage d’une interface neuronale directe selon la revendication 4 ou 5, caractérisée en ce que si l’état mental prédit en un instant d’observation est un état d’erreur, les données d’apprentissage ne sont générées à partir du tenseur de données d’observation et du tenseur de données de commande à l’instant d’observation précédent, que si le degré de certitude de l’état mental prédit est supérieur à une seconde valeur de seuil prédéterminée ( ). Méthode d’apprentissage d’une interface neuronale directe selon l’une des revendications 4 à 6, caractérisée en ce que si l’état mental prédit en un instant d’observation est un état d’erreur, les données d’apprentissage générées comprennent le tenseur de données d’observation à l’instant d’observation précédent ainsi qu’un tenseur de données de commande obtenu à partir de la seconde classe la plus probable prédite par le modèle prédictif à l’instant d’observation précédent. Méthode d’apprentissage d’une interface neuronale directe selon l’une des revendications 4 à 7, caractérisée en ce que la fonction de coût utilisée pour la mise à jour des paramètres du modèle prédictif exprime l’écart quadratique entre le tenseur de données de commande prédit par le modèle et celui fourni par les données d’apprentissage, ledit écart quadratique étant pondéré par le degré de certitude prédit par le décodeur d’état mental lors de la génération de ces données d’apprentissage, l’écart quadratique ainsi pondéré étant sommé sur l’ensemble des données d’apprentissage. Méthode d’apprentissage d’une interface neuronale directe selon la revendication 3, caractérisée en ce que la prédiction effectuée par le modèle prédictif est basée sur une régression linéaire ou multilinéaire. Méthode d’apprentissage d’une interface neuronale directe selon la revendication 9, caractérisée en ce que, si l’état mental prédit en un instant d’observation est un état d’erreur, les données d’apprentissage ne sont pas générées et que si cet état mental prédit est un état de satisfaction, les données d’apprentissage ne sont générées à partir du tenseur de données d’observation et du tenseur de données de commande à l’instant d’observation précédent, que si le degré de certitude de l’état mental prédit est supérieur à une première valeur de seuil prédéterminée ( ). Méthode d’apprentissage d’une interface neuronale directe selon la revendication 9, caractérisée en ce que, quel que soit l’état prédit en un instant d’observation, les données d’apprentissage sont générées à partir du tenseur de données d’observation et du tenseur de données de commande à l’instant d’observation précédent, les données d’apprentissage étant alors associées avec le degré de certitude de la prédiction de l’état mental prédit ( ). Méthode d’apprentissage d’une interface neuronale directe selon la revendication 9, caractérisée en ce que la fonction de coût utilisée pour la mise à jour des paramètres du modèle prédictif dépend de l’écart quadratique entre le tenseur de données de commande prédit par le modèle prédictif et celui fourni par les données d’apprentissage, cette dépendance avec l’écart quadratique étant croissante lorsque l’état mental prédit lors de la génération des données d’apprentissage était un état de satisfaction et de manière décroissante lorsque cet état mental était un signal d’erreur, ledit écart quadratique étant pondéré par un facteur dépendant de manière croissante du degré de certitude de l’état mental prédit, associé aux données d’apprentissage.