(57)【要約】  ヒトまたは動物用の、意思、想像、または思考のデコーディングシステムであって、ａ．脳活動の記録または測定システムと、ｂ．上記デコーディング対象である意思、想像、または思考に関連する１つ以上の人工的に引き起こした感覚的手がかりおよび／または刺激を適用する、感覚刺激システムと、ｃ．上記感覚的手がかりまたは刺激の存在下、またはその直後に記録された脳活動を分析し、上記意思、想像、または思考をデコードする、コンピュータプログラムまたはアルゴリズムと、を有する、デコーディングシステム。【選択図】図２
2019527416.tif 000002
【特許請求の範囲】
【請求項１】
ヒトまたは動物用の、意思、想像、または思考のデコーディングシステムであって、
ａ．脳活動の記録または測定システムと、
ｂ．デコーディング対象である上記意思、想像、または思考に関連する１つ以上の人工的に引き起こされた感覚的手がかりおよび／または刺激を適用する、感覚刺激システムと、
ｃ．上記感覚的手がかりまたは刺激の存在下、またはその直後に記録された脳活動を分析し、上記意思、想像、または思考をデコードする、コンピュータプログラムまたはアルゴリズムと、を有する、デコーディングシステム。
【請求項２】
１つ以上の脳イメージング様式を用いて脳活動を測定および／または記録し、該１つ以上の脳イメージング様式の例は、脳波記録（ＥＥＧ）、脳磁図（ＭＥＧ）、近赤外線分光法（ＮＩＲＳ）、機能的磁気共鳴画像法（ｆＭＲＩ）などである、請求項１に記載の脳記録または測定システム。
【請求項３】
上記手がかりは、個体に対する聴覚的入力および／または視覚的入力および／または触覚的入力および／または嗅覚的入力および／または味覚的入力であり、該個体は上記手がかりを意識的に知覚してもしなくてもよい、請求項１に記載のデコーディングシステム。
【請求項４】
上記刺激は、身体の感覚システムに対する電気的入力、機械的入力、または磁気的入力であり、個体は上記刺激を意識的に知覚してもしなくてもよい、請求項１に記載のデコーディングシステム。
【請求項５】
意思、想像、または思考がデコーディングの対象であるユーザが、上記手がかりと上記意思、想像、または思考との間に関連付けが形成されるように予めトレーニングされていてよい、請求項３に記載の手がかり。
【請求項６】
意思、想像、または思考がデコーディングの対象であるユーザが、上記刺激と上記意思、想像、または思考との間に関連付けが形成されるように予めトレーニングされていてよい、請求項４に記載の刺激。
【請求項７】
刺激または手がかりを、一回または複数回、ランダムに、周期的に、または、他の生理的変数、行動変数、または環境変数と同時に、または他の生理的変数、行動変数、または環境変数にトリガされて、適用する、請求項２に記載の刺激システム。
【請求項８】
手動でトリガされる刺激および／または手がかりを適用する、請求項２に記載の刺激システム。
【請求項９】
刺激および／または手がかりを、個体の意思、想像、または思考の前、最中、または後に適用する、請求項２に記載の刺激システム。
【請求項１０】
上記デコーディングは、一回または複数回、行われてよい、請求項１に記載のデコーディングシステム。
【請求項１１】
上記意思、想像、または思考と、上記適用された手がかりまたは刺激との相違をデコードする、請求項１に記載のコンピュータシステムまたはアルゴリズム。
【請求項１２】
健康な個体、年配の個体、または罹患した個体とともに用いられて、該個体の意思、想像、または思考をデコードする、請求項１に記載のデコーディングシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、動作（movement）に関するヒトの意思（intention）を脳信号から正確にデコード（decode、解読）する方法に関する。
【背景技術】
【０００２】
ブレイン・マシーン・インターフェース（ＢＭＩ）とは、生物の脳と機械との人工的接続を指す。当該インターフェースは、通常、３つの工程を含む。１）脳のイメージング／レコーディング：脳活動中の電磁信号または血流信号を記録するプロセス。２）デコーディング：記録された信号が何を意味しているかを理解する。３）機械の駆動：上記の理解を用いて、機械を駆動し制御する（図１）。例えば、ＢＭＩを用いて、肢切断患者に人工肢を与えることができる。この場合、脳信号を記録し（脳波記録（ＥＥＧ）、機能的磁気共鳴画像法（ｆＭＲＩ）、近赤外線分光法（ＮＩＲＳ）など）、ヒトがどんな動作をしたがっているかをデコードし、それから人工肢を駆動し所望の動作をさせる必要がある。
【０００３】
ＢＭＩにとって最大の難問は、おそらく、デコーディングであり、とりわけ、ヒトがどんな動作をしたがっているかを短時間のうちに脳信号から理解することである。（２クラスの）デコーダーの最高の性能ですら、今までのところ、動作が行われない場合（想像されるだけの場合）、７０％を超えていない。被験者が動作をするときでも、デコード能力の正確さは、動作に関する信号を用いない場合、８５％を超えない（非特許文献２３）。ここで、本発明の発明者らは、新たな（アクティブデコーディング）方法を提供する。当該方法は運動神経科学の理論に基づいており、この性能を急激に向上させるものであり、被験者が意思を思い浮かべて１００ｍｓのうちに、〜９０％の正確さで意思をデコードする。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Ganesh G, Takagi A, Osu R,Yoshioka T, Kawato M, Burdet E. Two is better than one: Physical interactionsimprove motor performance in humans. Scientific reports. 2014;4.
【非特許文献２】Aglioti SM, Cesari P, RomaniM, Urgesi C. Action anticipation and motor resonance in elite basketballplayers. Nat Neurosci. 2008 Sep;11(9):1109-16. PubMed PMID: 19160510. Epub2009/01/23. eng.
【非特許文献３】Frith CD, Frith U. Interactingminds--a biological basis. Science. 1999 Nov 26;286(5445):1692-5. PubMed PMID:10576727. Epub 1999/11/27. eng.
【非特許文献４】Pickering MJ, Garrod S. Anintegrated theory of language production and comprehension. Behav Brain Sci.2013 Aug;36(4):329-47. PubMed PMID: 23789620.
【非特許文献５】Miall RC, Christensen LOD,Cain O, Stanley J. Disruption of state estimation in the human lateralcerebellum. Plos Biology. 2007 Nov;5(11):2733-44. PubMed PMID:WOS:000251874700027. English.
【非特許文献６】Wolpert DM, Ghahramani Z,Jordan MI. An internal model for sensorimotor integration. Science. 1995 Sep29;269(5232):1880-2. PubMed PMID: 7569931. Epub 1995/09/29. eng.
【非特許文献７】Desmurget M, Grafton S.Forward modeling allows feedback control for fast reaching movements. TrendsCogn Sci. 2000 Nov 1;4(11):423-31. PubMed PMID: 11058820.
【非特許文献８】Christensen MS, Lundbye-JensenJ, Geertsen SS, Petersen TH, Paulson OB, Nielsen JB. Premotor cortex modulatessomatosensory cortex during voluntary movements without proprioceptivefeedback. Nat Neurosci. 2007 Apr;10(4):417-9. PubMed PMID: 17369825.
【非特許文献９】Duhamel JR, Colby CL, GoldbergME. The updating of the representation of visual space in parietal cortex byintended eye movements. Science. 1992 Jan 3;255(5040):90-2. PubMed PMID:1553535.
【非特許文献１０】Sommer MA, Wurtz RH. Apathway in primate brain for internal monitoring of movements. Science. 2002May 24;296(5572):1480-2. PubMed PMID: 12029137.
【非特許文献１１】Mulliken GH, Musallam S,Andersen RA. Forward estimation of movement state in posterior parietal cortex.Proc Natl Acad Sci U S A. 2008 Jun 17;105(24):8170-7. PubMed PMID: 18499800.Pubmed Central PMCID: 2448809.
【非特許文献１２】Troyer TW, Doupe AJ. Anassociational model of birdsong sensorimotor learning I. Efference copy and thelearning of song syllables. J Neurophysiol. 2000 Sep;84(3):1204-23. PubMedPMID: 10979996.
【非特許文献１３】Mischiati M, Lin HT, HeroldP, Imler E, Olberg R, Leonardo A. Internal models direct dragonfly interceptionsteering. Nature. 2015 Jan 15;517(7534):333-8. PubMed PMID: 25487153.
【非特許文献１４】Shadmehr R, Wise SP. Thecomputational neurobiology of reaching and pointing. Cambridge, Massachusetts:The MIT Press; 2005.
【非特許文献１５】Wolpert DM, Kawato M.Multiple paired forward and inverse models for motor control. Neural Netw. 1998; 11(7-8):1317-29.
【非特許文献１６】Christensen, M. S.,Lundbye-Jensen, J., Geertsen, S. S., Petersen, T. H., Paulson, O. B. &Nielsen, J. B. Premotor cortex modulates somatosensory cortex during voluntarymovements without proprioceptive feedback. Nat. Neurosci. 2007; 10, 417-419.(doi:10.1038/nn1873)
【非特許文献１７】Wolpert, D. M. & Flanagan,J. R. Motor prediction. Curr. Biol. . 2001; 11, R729-R732.(doi:10.1016/S0960-9822(01)00432-8)
【非特許文献１８】Miall, R. C. & King, D.State estimation in the cerebellum. Cerebellum 2008; 7, 572-576.(doi:10.1007/s12311-008-0072-6)
【非特許文献１９】Ganesh, G., Osu, R. &Naito, E. Feeling the force: returning haptic signals influence effortinference during motor coordination. Sci. Rep. 2013; 3, 2648.(doi:10.1038/srep02648)
【非特許文献２０】Todorov, E. & Jordan, M.I. Optimal feedback control as a theory of motor coordination. Nat. Neurosci.2002; 5, 1226-1235. (doi:10.1038/nn963)
【非特許文献２１】Tseng,Y.-W., Diedrichsen, J., Krakauer, J. W., Shadmehr, R. & Bastian, A. J.Sensory prediction errors drive cerebellum-dependent adaptation of reaching. J.Neurophysiol. 2007; 98, 54-62. (doi:10.1152/jn.00266.2007)
【非特許文献２２】Yamashita O, Sato M, YoshiokaT, Tong F, Kamitani Y. "Sparse estimation automatically selects voxelsrelevant for the decoding of fMRI activity patterns". Neuroimage. 2008;42(4):1414-29.
【非特許文献２３】Shakeel A, Navid MS, AnwarMN, Mazhar S, Jochumsen M, Niazi IK. A Review of Techniques for Detection ofMovement 意思 Using Movement-Related Cortical Potentials.Comput Math Methods Med. 2015; 2015:346217
【非特許文献２４】Tian X, Poeppel D. Mentalimagery of speech and movement implicates the dynamics of  internal forward models. Front Psychol. 2010; 1:166. doi:10.3389/fpsyg.2010.00166. eCollection 2010.
【非特許文献２５】Gentili R, Han CE,Schweighofer N, Papaxanthis C. Motor learning without doing: trial-by-trialimprovement in motor performance during mental training. J Neurophysiol2010;104(2):774-83. doi: 10.1152/jn.00257.2010.
【発明の概要】
【０００５】
上記新技術の主要な特徴は、「アクティブな」デコーディング技術であることである。なぜアクティブかというと、上記技術が、脳信号の記録と並行して、デコードされる動作の意思に対応する感覚システムへの人工刺激を用いることを提案しているからである。
【図面の簡単な説明】
【０００６】
【図１】標準的なＢＭＩ構造。
【図２】本発明で提案する構造／方法。本発明の発明者らは、（他のデコーディング方法（図１）のような）動作の意思の直接的なデコードではなく、感覚スティミュレータを並行して用いて、意思が刺激に合致しているかをデコードすることを提案する。
【発明を実施するための形態】
【０００７】
（神経科学の動機および原理）
このようなアクティブな手段をとる理由は神経科学に基づく。運動神経科学では、ヒトの動作が、自己により生成される行為（self-generated action）についての感覚信号を推定（estimate）し予測（predict）する脳の能力によってクリティカルに決定されることが十分に確立されている（非特許文献１〜４）。従来のヒトの運動研究（非特許文献５〜８）、ヒト以外の霊長類の運動研究（非特許文献９〜１１）、トリの運動研究（非特許文献１２）、および昆虫の運動研究（非特許文献１３）によれば、自己により生成される行為についての推定は、運動命令を、自己の行為の予測される感覚的結果へと変換する順モデル（forward model）によって行われる（非特許文献１４、１５）。近年の研究によれば、同じ順モデルは、観察された動作についての感覚的アウトプットも同様に予測する。脳は予測誤差、すなわち（順モデルからの）予測と実際の感覚的アウトプットとの差異を計算し、自己により生成される行為についての知覚を生成し（非特許文献１６〜１９）、オンラインでの運動制御の内部モデルを更新し（非特許文献２０）、運動学習を更新する（非特許文献２１）。本発明の発明者らにとって重要なことに、順モデルは、行為の生成時にアクティブであるだけでなく、行為が想像された時でもアクティブであると考えられる（非特許文献２４、２５）。ここで、本発明の発明者らは、この事実を用いて、想像された意思をデコードする新たな方法を開発する。
【０００８】
本発明の発明者らは、脳信号から、意思を直接デコードするのではなく、予測誤差をデコードして、それにより、被験者が想像した意思がどのようなものかを決定する。脳による予測誤差の生成を促すため、本発明の発明者らは、脳に実際の感覚信号をアクティブに提供することを必要とする。したがって、本発明の発明者らのアイデアは、被験者が動こうと意思しているときに特定の感覚的刺激を送り、誤差信号をデコードし（被験者が、送られた感覚信号に対応して動こうとしているか否かをデコードし）、それにより被験者の動作の意思をデコードすることである（図２）。
【０００９】
このやり方は、以下に掲げるいくつの理由により、ずっとロバストで効率的であると、本発明の発明者らは考える。
１）意思は、脳の活性化の点で、極めて主観的に異なり得る複雑な現象である。最終的な動作の方向（または誤差）の方が、はるかに低次元な信号であり、複数の被験者のあいだで類似することもおそらく間違いなく容易である。
２）順モデルは運動システムの重要な一部であり、誤差信号は多くの運動動作にとって不可欠である。したがって、本発明の発明者らは、誤差信号は脳活動において大きな特徴を有すると考える。
３）本発明の発明者らの方法は、意思を探知するために、順モデルをアクティブに妨害する方法を提供する。これは、「それぞれの」意思をデコードするために、当該方法は、異なる種類の妨害による複数の（別々の）記録を可能にすることを意味する。したがって、当該方法は、動作の意思に関するはるかに豊かな脳データを得ることを期待させるものである。
【００１０】
不可欠なアイデアは、脳活動から動作の意思を直接デコードする代わりに、予測誤差をデコードする点である。脳活動は１つ以上の脳イメージング様式（例えば、脳波記録（ＥＥＧ）、脳磁図（ＭＥＧ）、近赤外線分光法（ＮＩＲＳ）、機能的磁気共鳴画像法（ｆＭＲＩ）など）によって測定してよい。
【００１１】
本発明の発明者らはこの方法を動作の意思のデコーディングに提案するが、同じやり方は、自己の想像した動作または思考あるいは他者において観察された動作または思考をデコーディングするのにも用い得る。予測誤差のデコーディングは、意思、想像または思考に従って実際の動作が行われる（または観察される）際に活性化される可能性が高い感覚様式（sensory modus）による刺激を必要とする。なぜなら、それこそ、順モデルが強く予測するであろうものだからである。例えば、ヒトまたは動物の意思した手の動作をデコードすることが目標である場合、（デコーディングに必要な）刺激は、ヒト／動物が自己の手が動いている（実際にはそうでなくても）と感じるように、手の動作（おそらく、腱の振動）に対応したものであるべきである。歩く意思の有無のデコードが目標である場合は、（デコーディングに必要な）刺激は、ヒト／動物が、自己が歩いている（実際にはそうでなくても）と感じるようなものであるべきである。
【００１２】
予測誤差は、感覚的手がかり（sensory cue）のトレーニング関連付け（条件付けトレーニングのような）を用いて準備してよい。感覚的手がかりは、聴覚および／または視覚および／または触覚および／または嗅覚および／または味覚でよく、行ったまたは観察した動作の前でも後でもよい。同様に、他の人工的な、電気的、機械的または磁気的刺激を、身体の感覚システムに入力としてトレーニングし、動作の意思、想像、または思考と関連付けてもよい。そのようなトレーニングにより、刺激中における予測誤差の強度を手がかりを用いて増大させてもよく、あるいは、感覚的刺激の代わりに、トレーニングされた手がかりを提供して、脳内で予測誤差を生成し、意思、想像、または思考をデコードしてもよい。このように、用いられるタスクおよびトレーニングのパラダイムに応じて、刺激または手がかりは、意思、想像、または思考と並行してまたは直後に提示される必要がある。
【００１３】
最後に、本発明の発明者らは、たとえ刺激がごくわずかでもデコーディングは機能すること――動作の知覚的幻影を作り出すには不十分なほどごくわずかな刺激でも、デコーディングには大きな助けとなることを、経験から示すことができる。すなわち、被験者は何ら刺激または知覚的混乱に気付くことがない。
【００１４】
（予備試験／検証）
予備設定として、本発明の発明者らは、車椅子のユーザ向けの技術を調べ、車椅子のユーザが車椅子をどちらの方向に曲がらせたいかをデコードした。本発明の発明者らは、市販の脳波記録（ＥＥＧ）システムを用いて脳信号を記録した。ヒトにおける動作方向の変化の主要な知覚フィードバックは前庭器官から来るので、本発明の発明者らは、ヒトの前庭器官を刺激する、（大阪大学による）特注の電気的前庭スティミュレータ（ＧＶＳ）を用いた。しかし、本発明の発明者らは、極めて低いＧＶＳ刺激を用いたので、ヒトの被験者には（動作として）知覚されなかった。それから、本発明の発明者らは、スパースロジスティック回帰アルゴリズム（非特許文献２２）を用いた。このアルゴリズムは、ＧＶＳ信号の方向が、ユーザが車椅子を曲がらせたい方向に合致するか否かをデコードするものである。
【００１５】
まとめると、本発明の発明者らは、被験者に、自分の椅子が左または右に曲がると想像してもらい、想像するあいだに小さなＧＶＳ刺激を与え、そして、被験者が想像していることが刺激（方向）と対応するかどうか評価することにより、ＥＥＧ信号から、被験者が想像していることをデコードできる。本発明の発明者らは、５名の参加者にこの技術を試し、ＧＶＳの開始後９６ｍｓのＥＥＧデータから、〜９０％の精度で意思をデコードした。
【００１６】
（オンラインかつ連続的なデコーディングへの拡張）
現在のところ、本発明の発明者らは、上記方法を、オフラインの個別化された手段で検証した。当該手段では、被験者に自分が右または左に曲がると想像してもらった。この特定の実験では、被験者の前庭器官を一度だけ刺激し、その後、曲がる意思をＥＥＧ信号からデコードできるかを調べた。
【００１７】
しかし、上記方法（および、デコーディングが＜１００ｍｓでできるという事実）は、リアルタイムでの適用に至る見込みを与えるものである。リアルタイムでの適用では、オンラインで、いかなるタスク（例えば、車椅子の操作）のあいだでも、１００ｍｓ（デコーディングに必要な時間）毎に繰り返される刺激を用いて、動作の意思を絶えずデコードすることができる。これらの刺激はランダムでも、数が少なくても、周期的でも、常時でもよい。これらの刺激は、タスク中の他の生理的変数、行動変数、または環境変数と同時に与えられてもよいし、タスク中の他の生理的変数、行動変数、または環境変数によってトリガされてもよい。実際、複数の刺激を用いることで、デコーディングの性能をさらに高めることができる。
【産業上の利用可能性】
【００１８】
１）ＢＭＩ：本発明の発明者らの方法は、脳から運動の意思をデコードする力を大幅に向上させ、それゆえ、人工装具や、娯楽や、ロボット用途に用いられるブレイン・マシーン・インターフェースに不可欠となるであろう。
２）神経科学：本発明の発明者らの方法は、脳内の予測誤差信号の存在を示すものであり、神経科学者が、脳、とりわけ感覚運動システムの機能をより理解するのに役に立つ。
３）医療診断：上記方法を医療診断に用いることができる。デコーディングを刺激と組み合わせて、脳の正常／異常機能を決定するのに役立ち得るからである。したがって、上記方法は、健康な個人、年配の個人、または罹患した個人の意思、想像、または思考をデコードするのに役立ち得る。
【図１】
2019527416.tif 000003
【図２】
2019527416.tif 000004
【手続補正書】
【提出日】平成29年11月9日(2017.11.9)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ヒトまたは動物用の、意思、想像、または思考のデコーディングシステムであって、
ａ．脳活動の記録または測定システムと、
ｂ．デコーディング対象である上記意思、想像、または思考に関連する１つ以上の人工的に引き起こされた感覚的手がかりおよび／または刺激をアクティブに適用する、感覚刺激システムと、
ｃ．ヒトまたは動物によって想像される行為の順モデルの予測誤差（ヒト／動物が同じ動作および／または決定を行う場合に通常の生活において生じる感覚的刺激と感覚的知覚との差異）を用いるデコーディングシステムであって、上記アクティブに適用された感覚的手がかりまたは刺激の存在下またはその直後に記録された脳活動の上記予測誤差を分析し、上記行為と関連する上記意思、想像、または思考をデコードするデコーディングシステムと、を備える、デコーディングシステム。
【請求項２】
上記脳活動の記録または測定システムは、１つ以上の脳イメージング様式を用いて脳活動を測定および／または記録し、該１つ以上の脳イメージング様式の例は、脳波記録（ＥＥＧ）、脳磁図（ＭＥＧ）、近赤外線分光法（ＮＩＲＳ）、機能的磁気共鳴画像法（ｆＭＲＩ）などである、請求項１に記載のデコーディングシステム。
【請求項３】
上記手がかりは、個体に対する聴覚的入力および／または視覚的入力および／または触覚的入力および／または嗅覚的入力および／または味覚的入力であり、該個体は上記手がかりを意識的に知覚してもしなくてもよい、請求項１に記載のデコーディングシステム。
【請求項４】
上記刺激は、身体の感覚システムに対する電気的入力、機械的入力、または磁気的入力であり、個体は上記刺激を意識的に知覚してもしなくてもよい、請求項１に記載のデコーディングシステム。
【請求項５】
意思、想像、または思考がデコーディングの対象であるユーザが、上記手がかりと上記意思、想像、または思考との間に関連付けが形成されるように上記手がかりに対して予めトレーニングされていてよい、請求項３に記載のデコーディングシステム。
【請求項６】
意思、想像、または思考がデコーディングの対象であるユーザが、上記刺激と上記意思、想像、または思考との間に関連付けが形成されるように上記刺激に対して予めトレーニングされていてよい、請求項４に記載のデコーディングシステム。
【請求項７】
上記感覚刺激システムは、刺激または手がかりを、一回または複数回、ランダムに、周期的に、または、他の生理的変数、行動変数、または環境変数と同時に、または他の生理的変数、行動変数、または環境変数にトリガされて、適用する、請求項１に記載のデコーディングシステム。
【請求項８】
上記感覚刺激システムは、手動でトリガされる刺激および／または手がかりを適用する、請求項１に記載のデコーディングシステム。
【請求項９】
上記感覚刺激システムは、刺激および／または手がかりを、個体の意思、想像、または思考の前、最中、または後に適用する、請求項１に記載のデコーディングシステム。
【請求項１０】
上記デコーディングは、一回または複数回、行われてよい、請求項１に記載のデコーディングシステム。
【請求項１１】
上記デコーディングシステムは、上記意思、想像、または思考と、上記適用された手がかりまたは刺激との相違をデコードする、請求項１に記載のデコーディングシステム。
【請求項１２】
上記デコーディングシステムは、健康な個体、年配の個体、または罹患した個体とともに用いられて、該個体の意思、想像、または思考をデコードする、請求項１に記載のデコーディングシステム。
【国際調査報告】
2019527416.tif 000005
2019527416.tif 000006