全脳アーキテクチャ勉強会
20th April 2020

Brain-Computer Interfaceによる脳とAIのインタラクション
栁澤琢史大阪大学 高等共創研究院/ 脳神経外科

自己紹介早稲田大学大学院 物理学修士
相澤洋二先生、非線形非平衡統計力学
大阪大学 医学部 医師・研究者コース
津本忠治先生、神経生理学教室
大阪大学大学院 脳神経外科 博士
皮質脳波Brain-Computer Interfaceの開発

脳情報の解読・制御技術の医療応用本日の話題1.侵襲的BCIの医療応用はどこまで現実的か

2.BCIを介した脳とAIとのインタラクション

機能補填としてのBCIの医療応用
Decoding

意思伝達

P. Nuyujukian et al, PLoS One, 2018

運動機能Modified from Leuthardt, Neurosurg, 2006
Hochberg et al., Nature, 2012

A. Bernabid et al., Lancet
neurol., 2019; WIMAGINEBCIによる意思伝達

ALSに対する運動BMIで現在の最速は31.6ccpm
C. Pandarinath et al, eLife, 2017

ECoGから音声を生成

Gopala et al., Nature, 2019

ECoGからTextを生成

seq2seq

Gregory B. Cogan, Nat. Neuro, 2020
Joseph G. Makin et al., Nat. Neuro, 2020

ECoGから気分を推定

Sani et al., Nat. Biotech., 2018

ü脳情報解読の精度が上がり、高自由度の運動情報や言語、感情などを高精度に推定できるようになった。
ü脳から情報を出力する機能は、BCIを使うことで身体の状況によらず維持できるかもしれない
Human brain

Neural decoding (ML)
Output体内埋め込み型デバイス

E. Smalley, Nat. Biotech., 2019

M. Cook et al.,Lancet Neurol 2013

Mariska et al., NEJM, 2016

A. Bernabid et al.,Lancet neurol., 2019

脳へ情報を入力する技術
刺入電極による電気刺激
硬膜下電極による電気刺激Flesher et al., Sci. Transl. Med., 2016
“It’s as if I’m eating pineapple, butthere’s no taste”
Kirin et al., Front. Neurosci., 2019

Closed-loop制御の刺激装置
てんかん発作に対するRNS

F. T. Sun and M. J. Morrel, Expert
review of medical devices, 2014

パーキンソン病に対する脳深部刺激装置

N.C. Swann al., J Neurosurg. 2018

Decodingと組み合わせた医療応用?

気分の推定に応じた脳電気刺激によって気分を制御？

Shanechi et al., Nat. Neurosci. 2019

Brain-Chip
Brain

AI

Rajesh Rao., Curr. Opi. Neurobiol., 2019

Brain

Human brain

機能の拡張

AGI

脳とAIのインタラクション（BCI+closed loop）
機能の補填（BCI）

まとめ１• 頭蓋内電極信号に深層学習などを適用することで、実用的な精度で脳情報を得ることができる• 100極程度の計測と数極の電気刺激は既に体内埋め込み型デバイスとして実現した• AIを用いた体内埋め込み型のClosed-loopシス
テムの臨床応用は実現しており、使えるチャネル数も増えることが期待される

課題• BCIを介して脳とAIがインタラクションすると何が生じる？
• どのような医療応用、社会実装が可能か？
• AIによって脳との相性に違いがある？
• 現在の神経科学で全て説明できるか？
• 副作用はないの？

Neural decodingを用いて、外界の多様な情報と脳内の情報表現とを対応づけ、脳と計算機内の表現空間との新しいインタラクションを実現する技術を開発する
神経科学

脳神経外科

視覚情報の脳内表現
視覚情報

⻄本伸志先⽣(CiNet)Encoding
脳活動

Huth, Nishimoto et al., Neuron, 2012

DNNは視覚処理の最も良いモデル

⼈の脳に似ていて精度が⾼い
⼈の脳に似ずに精度が⾼いM. Schrimpf et al., bioRxiv, 2018

脳活動を予測して制御する

P. Bashivan et al., Science, 2019

視覚情報
Neural decoding
脳活動

神⾕之康先⽣(ATR/京都⼤学)

Neural decoding (Kamitani & Tong, Nature Neuroscience 2005)
Visual image reconstruction (Miyawaki et al., Neuron 2008)
Decoding dream contents (Horikawa et al., Science 2013)

DNNを用いたNeural decoding

Horikawa et al., Nat. Comm., 2017

fMRI信号からの画像再構成

Seen image

Imagined

Shen et al., Plos CB 2019

課題
• BCIを介して脳とAIがインタラクションすると脳活動はどう変わる？
• インタラクションを使った医療応用？
• 予期しない副作用はないの？

ETH zurich Cybathlon
https://ethz.ch/en/news-and-events/ethnews/news/2015/08/cybathlon-practice-session-success.html

幻肢痛
上肢の切断や神経障害後に生じる難治性の痛み
腕神経叢引き抜き損傷

G. D. Schott, Brain 2014: 137; 960–969

5,000 切断肢/年（日本）50-80%に幻肢痛

Manoel et al, BMC Neurol. 2015

⼿はあるが感覚がなく動かない

有効な薬物療法がない
Alviar et al, Cochrane Database Syst Rev., 2016

幻肢痛は脳活動の異常から生じる？
唇を動かす課題中の脳活動（fMRI)

幻肢痛

痛みのな
い切断肢健常者

H. Flor et al, Nat Rev Neurosci, 2006
H.Flor et. al, Nat. Rev. Neurosci., 2006

幻肢に関連する感覚運動野の活動が痛みに関連すると考えられ、これを修飾する治療が行われてきた鏡療法（幻肢の脳活動を強化）

Ramachandran et al., Proc. R.
Soc. Lond. B, 1996

Chan BL, N Engl J Med 2007; 357: 2206-07

幻肢痛は脳活動の異常から生じる？

強い痛み

H.Florの結果は再現されず

弱い痛み
T. Makin et al., Nature communications 2012

T. Makin et al, Brain, 2015

幻肢の運動表象は強めるべきか弱めるべきか？

幻肢痛に対するBCI治療
BCIを使うことで幻肢運動情報に可塑的変化を誘導し痛みとの関係を調べる
モニタ越しに義⼿の動きを確認

腕の動きを念じることでロボットを制御

Fukuma et al., Front. Neurosci., 2018
Fukuma et al., Scientific Reports, 2016
Fukuma et al., PLoS One, 2015

仮説
BCI
幻肢運動に関する感覚運動野の活動に可塑的変化
痛みの変化

機能の補填（BCI）⇨ 痛みの治療？
仮説:
幻肢の脳活動でBCIを制御することで幻肢運動情報が強くなり痛みが減弱する

実験条件
幻肢を動かす際の脳活動を計測 (pre-BMI)
痛みを評価 (VAS, SF-MPQ2, pre-BMI)
BMI トレーニング(10分間):
1) 幻肢運動デコーダ, 2) ランダムデコーダ
痛みを評価 (VAS, SF-MPQ2, post-BMI)
幻肢を動かす際の脳活動を計測 (post-BMI)

幻肢運動デコーダ；幻肢を動かす時の脳磁計信号のパターンを学習したデコーダ。幻肢を動かそうとする時の脳活動を検知し、同じ動きをロボットにさせる
ランダムデコーダ；幻肢を動かす時の脳磁計信号と動きとの対応関係をランダムにして、学習させたデコーダ。運動の開始を検知できるが、種類を推定
33できない

幻肢運動時の活動がBCI訓練前後で変化
幻肢運動デコーダ

ランダムデコーダ

Pre-BMIL

VAS:
38.2 ± 18.5

VAS:
31.9 ± 15.9
15

Post-BMI

F-valueVAS:
45.8 ± 18.4
痛みが有意増加

VAS:
32.9 ± 15.9
10名の平均患側は左へ統⼀034当初の仮説に反して、幻肢運動のdecoding精度改善を伴うBCI訓練は痛みを増悪させた

３つめのBCI訓練

健常肢運動デコーダ
健常肢を動かす時の脳磁計信号のパターンを学習したデコーダ。健常肢を動かす時のパターンを検知し、ロボットの動きに変換する
患者は幻肢を動かそうと考えながら、この義⼿の操作を試みる。BMI義⼿は健常肢の脳活動パターンに近い活動が出ると動くため、患者は幻肢を動かそうとしながら、健常肢の脳活動パターンを学習することになる。
36

幻肢の運動毎の⽪質電位の変化が少なくなり痛みが低下
Pre-BMI

L

VAS:
38.3 ± 15.5

15Post-BMI

F-value
0VAS:
34.6 ± 14.8
n = 10

幻肢運動のdecoding精度の低下を伴う訓練では、痛みが低下した

**

****

20100-10

ランダム
デコーダ
-20
幻肢運動
健常肢運動
デコーダ
デコーダ

T. Yanagisawa et al., NatureCommunications., 2016

Δ 痛み（VAS, 1/00 mm)

Δ 幻肢運動推定精度(%)

BCI訓練により幻肢運動情報と痛みが変化

**15

*

*

1050-5-10

ランダムデコーダ
幻肢運動
健常肢運動
デコーダ
デコーダ

n=10, *p<0.05, **p<0.01, two-tailed Student’s t-test残存する幻肢運動表象が痛みの原因？
幻肢痛患者でも運動表象が残存

Kikkert et al., eLife, 2016

⾃由エネルギー(予測誤差）が増加!

Friston, Nat Rev Neuro., 2010

まとめ3
• Decoder(AI)を変えることで、脳活動の変化する方向を制御し、痛みを制御できた• 脳活動とAIとの関係によっては、痛みの増悪など予期しない副作用を生じることがある• AIを選ぶことで脳活動の可塑的変化を制御し、幻肢痛を治療できると期待される

課題に対する答え？
üBCIを介して脳とAIがインタラクションすると脳活動はどう変わる？
üAIの内部表現に応じて脳活動も可塑的に変化するüインタラクションを使った医療応用？
ü幻肢痛など痛みの治療に応用可能
ü精神疾患を中心に研究が進んでいる

ü予期しない副作用はないの？
üAIによっては痛みが増悪してしまう

結論
1. 侵襲的BCIの臨床応用は現実的な課題となった
2. 特にclosed-loopシステムは脳とAIの新しいインタラクションを実現すると期待される
3. BCIを介した脳とAIのインタラクションは、脳の理解や、新たな治療への応用が期待される
4. 脳への影響について慎重な研究が必要である

Acknowledgements
Collaborators:
Osaka University
Haruhiko Kishima
Youichi Saitoh
Ryohei Fukuma
Kouichi Hosomi
Shouta Yamamoto
Masataka Tanaka
Masayuki HirataToshiki Yoshimine

Kyoto University
CiNet
Yukiyasu Kamitani Ben Seymour
UECShinji Nishimoto
Yokoi Hiroshi

Funding:

一緒に研究しませんか？
contact: takufumiy@gmail.com

Lab members