Brevet FR3100352A1 — publié le 20210305

Description Titre de l'invention : MÉTHODE DE CALIBRATION ITÉRATIVE D'UNE INTERFACE NEURONALE DIRECTE UTILISANT UN MÉLANGE MARKOVIEN D'EXPERTS À RÉGRESSION MUL- TIVARIÉE Domaine technique [0001] La présente invention concerne le domaine des interfaces neuronales directes encore dénommées BCI (Brain Computer Interface) ou BMI (Brain Machine Interface). Elle trouve notamment à s'appliquer à la commande neuronale directe d'une machine, telle qu'un exosquelette ou un ordinateur. Etat de la technique antérieure [0002] Les interfaces neuronales directes utilisent les signaux électro-physiologiques émis par le cortex cérébral pour élaborer un signal de commande. Ces interfaces neuronales ont fait l'objet de nombreuses recherches notamment dans le but de restaurer une fonction motrice à un sujet paraplégique ou tétraplégique à l'aide d'une prothèse ou d'une orthèse motorisée. [0003] Les interfaces neuronales peuvent être de nature invasive ou non invasive. Les in- terfaces neuronales invasives utilisent des électrodes intracorticalcs (c'est-à-dire implantées dans le cortex) ou des électrodes corticales (disposées à la surface du cortex) recueillant dans ce dernier cas des signaux électrocorticographiques (ECoG). Les interfaces neuronales non invasives utilisent des électrodes placées sur le cuir chevelu pour recueillir des signaux électroencephalographiques (EEG). D'autres types de capteurs ont été également envisagés comme des capteurs magnétiques mesurant les champs magnétiques induits par l'activité électrique des neurones du cerveau. On parle alors de signaux magnétoencéphalographiques (MEG). [0004] Les interfaces neuronales directes utilisent avantageusement des signaux de type ECoG, présentant l'avantage d'un bon compromis entre hiocompatihilité (matrice d'électrodes implantées à la surface du cortex) et qualité des signaux recueillis. [0005] Les signaux ECoG ainsi mesurés doivent être traités afin d'estimer la trajectoire du mouvement désiré par le sujet et en déduire les signaux de commande de l'ordinateur ou de la machine. Par exemple, lorsqu'il s'agit de commander un exosquelette, l'interface BCI estime la trajectoire du mouvement désiré à partir des signaux électrophysiologiques mesurés et en déduit les signaux de contrôle permettant à l'exosquelette de reproduire la trajectoire en question. De manière similaire, lorsqu'il s'agit de commander un ordinateur, l'interface BCI estime par exemple la trajectoire 2 souhaitée d'un pointeur ou d'un curseur à partir des signaux électro-physiologiques et en déduit les signaux de commande du curseur/pointeur. [0006] L'estimation de trajectoire, et plus précisément celle des paramètres cinématiques (position, vitesse, accélération), est encore dénommée décodage neuronal dans la littérature. Le décodage neuronal permet notamment de commander un mouvement (d'une prothèse ou d'un curseur) à partir de signaux ECoG. [0007] Lorsque les signaux ECoG sont acquis en continu, l'une des principales difficultés du décodage réside dans le caractère asynchrone de la commande, autrement dit dans la discrimination des phases pendant lesquelles le sujet commande effectivement un mouvement (périodes actives) des phases où il n'en commande pas (périodes de repos). [0008] Pour contourner cette difficulté, des interfaces neuronales directes, dites synchrones, ne donnent la possibilité de commander un mouvement que pendant des fenêtres temporelles bien déterminées (par exemple des intervalles de temps se succédant périodiquement), signalées au sujet par un indice extérieur. Le sujet ne peut alors commander le mouvement que pendant ces fenêtres temporelles, ce qui s'avère prohibitif dans la plupart des applications pratiques. [0009] Plus récemment, des interfaces neuronales directes à décodage continu ont été proposées dans la littérature. L'article de M. Vell istc et al. intitulé « Motor cortical correlates of arm resting in the context of a rcaching task and implications for prosthetic control » publié dans The Journal of Neuroscience, 23 avril 2014, 34(17), pp. 6011-6022, décrit notamment une interface neuronale directe dans laquelle les périodes de repos (idle state) sont détectées par LDA (Linear Discriminant Analysis) partir de la fréquence d'émission des potentiels d'action (neuron firing rate). Les paramètres cinématiques sont estimés pendant les périodes actives au moyen d'un modèle à transition d'états, les états étant prédits au moyen d'un filtre dit de Laplace-Gauss. Toutefois, les résultats ont été obtenus pour des matrices de micro-électrodes et n'ont pu être reproduits pour des électrodes corticales classiques. En outre, les commutations entre les périodes de repos et les périodes actives se traduisent par des discontinuités dans le décodage du mouvement et donc des à-coups le long de la trajectoire. [0010] Une autre approche a été proposée dans l'article de L. Srinivasam et al. intitulé General-purpose filter design for neural prosthetic devices » publié dans J. Neurophysiol. Vol 98, pp. 2456-2475, 2007. Cet article décrit une interface neuronale directe à décodage continu dans laquelle la séquence des états actifs et des états de repos est générée par un modèle markovien du 1 cr ordre. Un filtre de Kalman commuté ou SKF (Switching Kalman Miter) dont les matrices d'observation et les matrices de transitions dépendent de la variable de commutation cachée (état actif/ état de repos) 3 permet d'estimer les paramètres cinématiques du mouvement. Ce type d'interface neuronale directe a été utilisé pour commander une chaise roulante à partir de signaux EEG sur la base de données de simulation mais n'a pas été testé pour des signaux ECoG. En outre, la détection d'état (état actif/ état de repos) est quelquefois erronée (taux élevé de faux positifs et faux négatifs). [0011] Enfin, les interfaces neuronales directes précitées ont été développées pour décoder le mouvement d'un seul membre d'un sujet. Elles ne sont donc pas adaptées à la commande d'un exosquelette à plusieurs membres, notamment pour un sujet tétraplégique, paraplégique ou hémiplégique, ce qui limite sensiblement leur champ d'application. [0012] Il a été proposé dans la demande publiée sous le numéro FR-A-3053495 de décoder le mouvement de plusieurs membres au moyen d'un mélange markovien d'experts ou MME (Markov Mixture of Experts). Ce décodage repose sur un modèle markovicn caché ou HMM (Hidden Markov Mode!), un estimateur (ou expert) étant associé à chaque état caché du modèle. [0013] On a représenté schématiquement en Fig. 1, une interface BCI utilisant un décodage continu de mouvement par mélange markovien d'experts. [0014] Cette interface, 100, fait intervenir, d'une part, un automate à états cachés, 140, pouvant prendre K états possibles et, d'autre part, une pluralité K d'estimateurs, 120, chaque estimateur (ou expert) étant associé à un état caché. [0015] Les estimations des différents experts sont combinées dans un module de com- binaison (gating network), 130, pour donner une estimation, St(1), de la variable à expliquer, NO), ici les paramètres cinématiques du mouvement, à partir de l'observation x(t) représentant les caractéristiques des signaux neuronaux à l'instant I, captés au moyen des électrodes 105. La séquence des observations x[l : t] = {x(1),x(2),...,x(01 est modélisée par un processus markovien sous-jacent, de premier ordre, à émission continue. [0016] Si la variable d'entrée 4t) est de dimension et la réponse y(t) de dimension N, et si les modèles prédictifs des différents experts 4, sont choisis linéaires, autrement dit Ek(x(t))=flkx(t) où p, est une matrice de taille N xM, l'estimation par mélange d'experts s'exprime comme suit : [0017] [Math.1] SV)- t)13.;x(t) (1) k-4 où g, @sont les coefficients de pondération (ou de mélange) vérifiant À _I 100181 Comme indiqué dans la demande précitée, les paramètres du modèle HMM, c'est-à-dire les probabilités de transition entre états cachés, et les matrices Rx peuvent être estimés lors d'une phase de calibration, au moyen d'une méthode d'estimation supervisée. Dans ce cas, l'automate HMM et les K experts sont entraînés indépendamment les uns des autres. En particulier, chaque expert E, peut être entrainé sur une sous-séquence d'observations correspondant à l'état k, la matricell, du modèle prédictif étant alors estimée au moyen d'une régression PLS (Partial Least Squares) linéaire à partir de cette sous-séquence. [0019] De manière plus générale, la relation linéaire (1) peut être étendue à une relation mul- tilinéaire. La variable d'entrée peut être alors représentée sous forme tensorielle XE RI') où n est l'ordre du tenseur d'entrée et I. est la dimension du mode I. [0020] Les modes du tenseur d'entrée peuvent être par exemple le temps (nombre d'échantillons dans le temps), la fréquence (nombre de bandes spectrales d'analyse), l'espace (nombre d'électrodes). De même, la réponse peut être représentée sous forme tensorielle y E Te' "fin où 'I"' est l'ordre du tenseur de sortie. Les modes du tenseur de sortie peuvent correspondre à différents effecteurs, agissant par exemple sur différentes articulations d'un exosquelette. [0021] Les tenseurs des modèles prédictifs des différents experts peuvent alors être estimés par une méthode PLS multivariée ou NPLS (N-way PLS) comme décrit dans la demande publiée sous le numéro FR-A-3046471. 100221 Quels que soient les modèles prédictifs (PLS ou NPLS) des différents experts, on a pu constater qu'en raison de l'absence de stationnarité des signaux dans le cerveau humain, la durée de validité de ces modèles était relativement limitée. Il est par conséquent nécessaire de les mettre à jour régulièrement en procédant à de nouvelles phases de calibration. Or, chaque nouvelle phase de calibration nécessite de traiter une quantité de données très importante, combinant les données des calibrations antérieures et celles de la nouvelle calibration, et ce pour les différents experts. La durée de la mise à jour est alors souvent telle qu'elle requiert une interruption du fonctionnement de l'interface neuronale directe (calibration dite off-fine). Il a été ainsi proposé dans la demande FR-A-3061318 une méthode itérative de calibration d'une interface neuronale directe basée sur un modèle prédictif NPLS. Cette méthode itérative de calibration a également été décrite dans l'article de A. Eliseyev et al. intitulé « Recursive exponentially weighted N-way Partial Least Squares regression with recursive validation of hyper-parameters in Brain Computer Interface applications » publié dans Nature, Scientific Reports, volume 7, article number 16281, publié le 24.11.2017. 100231 Toutefois, cette méthode de calibration itérative ne s'applique pas à une interface neuronale directe utilisant un mélange markovien d'experts comme décrit dans demande FR-A-3046471. 100241 Un but de la présente invention est par conséquent de proposer une nouvelle méthode de calibration d'une interface neuronale directe utilisant un mélange markovien d'experts tout en ne requérant pas de traiter une quantité considérable de données à chaque phase de calibration, permettant ainsi un fonctionnement de l'interface neuronale directe en temps réel, sans interruption. Présentation de l'invention [0025] La présente invention est définie par une méthode de calibration d'une interface neuronale directe destinée à recevoir une pluralité de signaux électrophysiologiques acquis au moyen d'une pluralité de capteurs, pendant une pluralité de fenêtres d'observation associées à des instants d'observation, et à fournir (les signaux de commande décrivant une trajectoire à réaliser, lesdits signaux électrophysiologiques subissant un prétraitement pour obtenir un tenseur d'observation (x.) en chaque instant d'observation, l'évolution du tenseur d'observation étant modélisée par un modèle HMM, ladite interface utilisant un mélange d'experts, chaque expert étant associé à un état caché d'un modèle HMM modélisant l'évolution du tenseur d'observation, chaque expert (Ek) étant défini par un modèle prédictif multilinéaire, les prédictions de chaque expert étant combinées au moyen de coefficients de mélange ( k =1, , K ) pour fournir un tenseur de commande ( y, ) représentant lesdits signaux de commande, ladite méthode étant particulière en ce que : ladite calibration est effectuée lors d'une pluralité de phases de calibration, en des instants prédéterminés de ladite trajectoire, chaque phase de calibration " correspondant à une pluralité (A1 ) d'instants d'observation successifs, et faisant appel à un tenseur représentant le tenseur d'observation en ladite pluralité d'instant successifs, un tenseur Y' représentantun tenseur de commande de consigne en ces mêmes instants et une matrice Zu donnant les états du modèle HMM en ces mêmes instants, et que : a) on extrait respectivement des tenseurs X,,Y,' au moyen de la matrice Z2, des tenseurs d'observation X' et de commande yk, k = K, relatifs aux différents états du modèle HMM ; b) pour chaque expert Ek, on calcule, après les avoir centrés et normalisés, le tenseur de covariance du tenseur xk, ainsi que le tenseur de covariance croisée des tenseurs x' et yA, ces tenseurs de covariance et de covariance croisée étant modifiés en leur ajoutant respectivement les tenseurs de covariance et de covariance croisée issus de la phase de calibration précédente, pondérés par un facteur d'oubli . ; c) on met à jour les modeles prédictifs multilinéaires des experts, Ek, k =1, -K au moyen d'une régression REW-NPLS, à partir des tenseurs de covariance et de covariance croisée modifiés à l'étape précédente ; 6 d) on calcule, après l'avoir centré et normalisé, le tenseur de covariance de X' ainsi que le tenseur de covariance croisée de x et Z', ces tenseurs de covariance et de co- variance croisée étant modifiés en leur ajoutant respectivement le tenseur de covariance de k et de covariance croisée de * et 1,,_1, issus de la phase de calibration précédente, pondérés par un facteur d'oubli 2Q ; e) on met à jour un second modèle prédictif multilinéaire donnant un vecteur d'état ( L, ) de l'automate HMM en fonction du tenseur d'entrée, k, les composantes du vecteur d'état fournissant les probabilités respectives que l'automate occupe les différents états k 1,.-K en un instant d'observation, ladite mise à jour étant réalisée au moyen d'une régression REW-NPLS, à partir des tenseurs de covariance et de covariance croisée modifiés à l'étape précédente, les coefficients de mélange ( 4 , k -I- K) des différents experts étant ensuite obtenus au moyen du second modèle prédictif multilinéaire. [0026] Avantageusement, à chaque phase de calibration, on détermine le nombre de transitions par couple d'états observées pendant cette phase de calibration et l'on met à jour la matrice de transition du modèle HMM à partir de ces nombres et de la matrice de transition du modèle HMM calculée lors de la phase de calibration précédente, pondérée par un facteur d'oubli. [0027] A l'étape (b), le tenseur de covariance covki,':,x-fr, ) du tenseur d'observation relatif à l'état k , centré et normalisé, LC, peut être modifié par cov it. _:, dt, cov it: ,i, + ,y-e :1,Z,4:oil XI est un produit tensoriel relatif au ( ' , = -1, a-1 a 1 premier mode, et le tenseur de covariance croisée, , où y est le tenseur de commande relatif à l'état k, centré et normalisé, est modifié par cov(X',Y') = X' x, '. ., [0028] A l'étape (c), pour chaque expert 1 k , . K, le rang optimal, f k, de l'espace des up variables latentes pour la régression REW-NPLS est avantageusement déterminé comme celui minimisant l'erreur = 2kerrk-fk + Y où errk, est l'erreur err de prédiction du tenseur de commande relatif à l'état k, par l'expert k lors de la phase de calibration " pour un rang ..f; =1,..., h. où F est un rang maximal prédéterminé, et 'jk est la prédiction de y:: par l'expert k, obtenue par le modèle prédictif multi- Y linéaire de cc même expert lors de la phase de calibration précédente, pour ce même rang. [0029] A l'étape (d), le tenseur de covariance eev(k ) du tenseur d'observation, centré 7 et normalisé, k, peut être modifié par cov(jZ5Z = 2. cov(5,7-1,7kzi)±*' > REVENDICATIONSMéthode de calibration d'une interface neuronale directe destinée à recevoir une pluralité de signaux électrophysiologiques acquis au moyen d'une pluralité de capteurs, pendant une pluralité de fenêtres d'observation associées à des instants d'observation, et à fournir des signaux de commande décrivant une trajectoire à réaliser, lesdits signaux électrophysiologiques subissant un prétraitement pour obtenir un tenseur d'observation ( X: ) en chaque instant d'observation, l'évolution du tenseur d'observation étant modélisée par un modèle HMM, ladite interface utilisant un mélange d'experts, chaque expert étant associé à un état caché d'un modèle HMM modélisant l'évolution du tenseur d'observation, chaque expert ( Ek ) étant défini par un modèle prédictif multilinéaire, les prédictions de chaque expert étant combinées au moyen de coefficients de mélange (yk, k K ) pour fournir un tenseur de commande ( ) représentant lesdits signaux de commande, caractérisée en ce que : ladite calibration est effectuée lors d'une pluralité de phases de calibration, en des instants prédéterminés de ladite trajectoire, chaque phase de calibration " correspondant à une pluralité ( AL ) d'instants d'observation successifs, et faisant appel à un tenseur X" représentant le tenseur d'observation en ladite pluralité d'instant successifs, un tenseur L représentant un tenseur de commande de consigne en ces mêmes instants et une matrice Zu donnant les états du modèle HMM en ces mêmes instants, et que : - on extrait (320) respectivement des tenseurs X,,Y', au moyen de la matrice Z', des tenseurs d'observation x' et de commande k 1,- , K , relatifs aux différents états du modèle HMM - pour chaque expert. IA, on calcule (330), après les avoir centrés et normalisés, le tenseur de covariance du tenseur gy, ainsi que le tenseur de covariance croisée des tenseurs ,e et yfr, ces tenseurs de covariance . et de covariance croisée étant modifiés en leur ajoutant respectivement les tenseurs de covariance et de covariance croisée issus de la phase de calibration précédente, pondérés par un facteur d'oubli , ; - on met à jour (340) les modèles prédictifs multilinéaires des experts, k - 1, . K au moyen d'une régression REW-NPLS, à partir des tenseurs de covariance et de covariance croisée modifiés à l'étape précédente ; 20 [Revendication 2] [Revendication 3] [Revendication 4] - on calcule (360), après l'avoir centré et normalisé, le tenseur de co- variance de ,C', ainsi que le tenseur de covariance croisée de jet ces tenseurs de covariance et de covariance croisée étant modifiés en leur ajoutant respectivement le tenseur de covariance de x-_, et de covariance croisée de i: 1 et 1',1, issus (le la phase de calibration j précédente, pondérés par un facteur d'oubli -1 ; - on met à jour (370) un second modèle prédictif multilinéaire donnant un vecteur d'état ( z, ) de l'automate HMM en fonction du tenseur d'entrée, X., les composantes du vecteur d'état fournissant les probabilités respectives que l'automate occupe les différents états k =1,-,K en un instant d'observation, ladite mise à jour étant réalisée au moyen d'une régression REW-NPLS, à partir des tenseurs de covariance et de covariance croisée modifiés à l'étape précédente, les coefficients de mélange (71,, , k =1,--,K ) des différents experts étant ensuite obtenus au moyen du second modèle prédictif multilinéaire. Méthode de calibration d'une interface neuronale directe selon la revendication I, caractérisée en ce qu'à chaque phase de cal ibration, on détermine le nombre de transitions par couple d'états observées pendant cette phase de cal ibration et que Von met à jour la matrice de transition du modèle HMM à partir de ces nombres et de la matrice de transition du modèle HMM calculée lors de la phase de calibration précédente, pondérée par un facteur d'oubli. Méthode de calibration d'une interface neuronale directe selon la revendication 1 ou 2, caractérisée en cc qu'à l'étape (b), le tenseur de covarianceclin, je' yej du tenseur d'observation relatif à l'état k, centré ct ( 'I, , 44 normalisé, ik, est modifié par cov(XX - /1` eov (X' ,, X' , )+ X' x, X'ou 1 _',,, est un produit tensoriel relatif au premier mode, et que le tenseur de covariance croisée bby(x---k,,, y.-.. ",, ) où ÿk l' est le tenseur de commande relatif à l'état k, centré et normalisé, est modifié par Méthode de calibration d'une interface neuronale directe selon la revendication 3, caractérisée en ce qu'à l'étape (c), pour chaque expert Ek, k K, le rang optimal, de l'espace des variables latentes pour la régression REW-NPLS est déterminé comme celui minimisant l'erreur CON/ (5C, ÎL7.,1 = ÇOV (711: )± 5C,À; Xi f' erruk = errut-i où en.fr est l'erreur de prédiction du 21 [Revendication 5] [Revendication 6] [Revendication 7] tenseur de commande relatif à l'état k, par l'expert hi, lors de la phase de calibration "pour un rang f,. =1,...,F où F est un rang maximal pré- déterminé, et est la prédiction de yk par l'expert Ek, obtenue par le modèle prédictif multilinéaire de ce même expert lors de la phase de calibration précédente, pour ce même rang. Méthode de calibration d'une interface neuronale directe selon une des revendications précédentes, caractérisée en ce qu'à l'étape (d), le tenseur de covariance cov (37c, k) du tenseur d'observation, centré et normalisé, est modifié par covrx,,,Y"' ) = 2. cov CX, 51' )- 5Z x, X' où xi est un produit tensoriel relatif au premier mode, et que le tenseur de covariance croisée cov(3Z, ) est modifié par cov (1.X-n Z' ) = 2. cov , Z,4 ) + x, Zn. Méthode de calibration d'une interface neuronale directe selon la revendication 5, caractérisée en ce qu'à l'étape (e), le rang optimal, Ç, de l'espace des variables latentes pour la régression REW-NPLS est déterminé comme celui minimisant l'erreur f. errz; où erra est l'erreur de prédiction du tenseur de commande lors de la phase de calibration " pour un rang =1,-,F où F est un rang maximal prédéterminé, et Sr' est la prédiction de 1'' par le mélange d'experts pondérés par des coefficients de mélange obtenus au moyen du second modèle prédictif multilinéaire lors de la phase de calibration précédente, pour ce même rang. Méthode de calibration d'une interface neuronale directe selon l'une des revendications précédentes, caractérisée en ce que les signaux électrophysiologiques sont des signaux ECoG.