ブレイン・デコーディング

脳内イメージをAIで解読する
京都大学 情報学研究科

神谷之康

http://kamitani-lab.ist.i.kyoto-u.ac.jp@ykamit1

Pierre Huyghe ‘Uumwelt’ (2018)

神谷之康（かみたにゆきやす）
・1970年、奈良県桜井市生まれ
・東京大学教養学部教養学科卒業（認知行動科学・科学哲学）
・カリフォルニア工科大学博士課程修了（Ph.D.,
Computation and Neural Systems）
・ハーバード、プリンストンを経て、2004年よりATRに勤務
・2008年~ ATR神経情報学研究室・室長（NAIST客員教授）
・2015年~ 京都大学大学院情報学研究科・教授
・2018年~ ATRフェロー
・@ykamit

何のための脳？
社会性・心を読むため(Dunber, 1992, 1998)

フルーツを見つけるため(DeCasien et al., 2017)

動くため（Wolpert, 2011）https://brightlemon.com/how-many-friends-do-you-really-need/Daniel Wolpert“The real reason for brains”
TED Global 2011https://www.ted.com/talks/daniel_wolpert_the_real_reason_for_brains「ホヤは岩場に定着して泳ぐ必要がなくなると自分の脳を消化してしまう。テニュア（終身在職権）をとった大学教授と同じように」「思考や感情のためではなく運動制御のために脳が進化した」

(Brooks, 1986)(Pfeifer and Sheier, 2001)

脳は身体のおまけ？

？

「身体なしに意識は宿らない」「身体性の欠如は社会病理」「AIに身体性は不可欠」

The Telegraph, 2009.11.23
http://www.telegraph.co.uk/news/worldnews/europe/belgium/6632518/Conscious-man-in-coma-for-23-years.html

植物状態の人との脳を介したコミュニケーション

ntal!Design:!Motor!Imagery!!!!Spatial!Imagery(cue:!“Tennis”)!!!!(cue:!“Navigate”)

ine!playing!tennis
gine!walking!in!a!! ! ! ! ! ! !
!environment

uestions!by!producing!one!type!
yes”!or!the!other!for!“no”!Question(cue:!“Answer”)(Monti et al., 2010)身体

脳（運動・感覚器官）

視神経：~100万皮質脊髄路：~100万
視細胞：~150万ニューロン：860億

骨格筋：~600（大脳、160億）

身体は脳にとって「ボトルネック」
身体

世界

脳

内臓
3Dシーン →２D網膜像 → 3Dイメージ

漢字 ← かな ← 指運動（ローマ字） ← かな ← 漢字
言語 ← 発声運動 ← 思考・イメージ

世界

脳

原子や分子ニューロンとスパイク

自然の階層構造ネットワーク

近接作用

局所・遠隔コネクション

脳は独特な仕方で世界をコードしている
脳内世界モデル ＝「ニューロバース」を外在化・共有できるか刺激をコードする視覚野ニューロンのスパイク

Orientation selective neuron (Hubel and Wiesel)
https://www.youtube.com/watch?v=jw6nBWo21Zk

ブレイン・デコーディング「脳活動＝心的内容を表現するコード」とみなし、機械学習によるパターン認識で脳信号を解読(Kamitani et al.,Nature Neuroscience 2005)

BMI (e.g., Annals ofNeurology 2011)

視覚像再構成(Neuron 2008)

夢の解読 (Science 2013)

脳が世界をコードする独特な仕方を理解 → AI・ロボット

(Kimura, Imamizu, Shimada, Oztop, Harner, Kamitani，2006)

oror?

コンピュータに学習させよう！
機械学習によるデコーディング(Kamitani and Tong, Nat Neurosci 2005)%^&*(+*&^@デコーダsr

1. 脳活動データ（r）を計測し、刺激や課題の変数でラベル(s)をつける
2. 上記データを学習データとして用い、機械学習アルゴリズムにより脳€€活動(r)からラベル(s)を予測する「デコーダ」を構築する

3. デコーダの学習に用いていない新たなにデータで評価する

視覚的方位のデコーディング(Kamitani and Tong, Nat Neurosci 2005; Curr Biol 2006; Kamitani andSawahata, Neuroimage 2008; Tong et al. Neuroimage 2012)

学習済み

デコードされた方位（縞の向き）

デコーダ

新しいデータ• データ数（数百〜数千）＞パラメータ数（数十万）• カーネル法（SVM）、変分ベイズ（ARD） etc.

ヒトの脳を「小さな脳のモデル」で解読する(BraiFacts.org; Sejnowski, 2018)

ニューラル・マインド・リーディング
デコーダ

知覚と想起（イメージ）に共通する脳情報表現を利用(Kamitani and Tong, 2005, 2006; Stokes et al.,2009; Harrison et al., 2009)

夢の内容をデコードできるか？

Ocean?
Neural decoding(Horikawa, Miyawaki, Tamaki, Kamitani, Science 2013)

(Horikawa, Tamaki, Miyawaki, Kamitani, Science 2013)

「ええと，直前に見ていたのはなんか文字でした．作文の原稿用紙みたいなもので，作文かなんか書いたんで，その文字を見る感じで，白黒で，その用紙だけ出Scoreてきました‥」

ï
48

36

24

120

ï

Time to awakening (s)ï視覚像再構成
Presented
Reconstructed

Presented

Reconstructed(Miyawaki, Uchida, Yamashita, Sato, Morito,Tanabe, Sadato, Kamitani, Neuron 2008)

局所コントラストの組み合わせによるモジュラーデコーディング
fMRI signals

Presented image(contrast)

Multi-scale
Image bases+++

Reconstructed image(contrast)

Training: ~400 random images
Test: Images not used in training (arbitrary images; 2^100)

「大きな脳のモデル」としてのAI
脳機械

ビッグ・データfMRIによるヒト脳計測信号

深層ニューラルネットワーク（DNN）の視覚特徴量

大規模画像・言語データベース

Horikawa, Kamitani, Nature Communications 2017

DNN?
局所コントラストの組み合わせによる視覚像再構成(Neuron, 2008)

低次表現

夢の意味的情報の解読(Science, 2013)

高次表現

Figure 1

深層ニューラルネットワーク

Deep neural network [DNN], Convolutional neural network [CNN]

ab

CNN8

SIFT

fMRI activity
Optimization
Object of an image

CNN7
GIST

Seen or Imagined
CNN3

HMAX3

Training dataset
Image

CNN2

HMAX2

Brain activity
CNN1

HMAX1Feature patternD(Horikawa, Kamitani,Nature Communications 2017)

Kobatake & Tanaka, 1994

Feature value

脳からDNNへの信号の翻訳

84

Unit #562 of CNN8
predicted from VC

True
Predicted

0−4(Horikawa and Kamitani , bioRxiv 2015, Nature Communications 2017;
Nonaka et al., bioRxiv 2020)

深層イメージ再構成（Shen, Horikawa, Majima, Kamitani, bioRxiv 2017）

ReconProcess̲pair̲godCol̲8sGDGANrelu7gen̲all̲fps40想起Imagined

Reconstruction注意(Horikawa, Kamitani, CCN 2019)

身体

脳

世界
ブレイン・デコーディング= 身体を介さず「ニューロバース」を外在化

BMI

身体脳

世界
ブレイン‐マシン・インターフェース（BMI）= 脳と世界をリアルタイムにつなぐ身体以外のチャンネル

ブレイン−マシン・インターフェース（BMI）

Hochberg, L. R. et al. Neuronal ensemble control of prosthetic devices by a humanwith tetraplegia. Nature 442, 164-171 (2006).

https://www.youtube.com/watch?v=rsCul1sp4hQ

https://www.youtube.com/watch?v=rsCul1sp4hQ

脳に情報を書き込む技術
 

Optogenetics

%$&!%",)( &!" %!    '$! %Deisseroth, Stanford
Boyden, MIT&$ 

"%  !$&$!"+%!!
 (!'$$%'&%(Buchen, 2010)「脳コード変換器」(Yamada, Miyawaki, Kamitani, Neuroimage 2015)

Subject 1

Subject 2

個人間で異なる脳活動パターン（脳コード）を変換
55

変換された脳活動からの再構成

Subject 1

Subject 2変換

変換脳活動パターンで脳刺激ー＞脳−脳通信？

個人間視覚像再構成(Ho, Horikawa,Majima, Kamitani,in preparation)

Pierre Huyghe ’UUmwelt’
Serpentine Gallery, London (3 Oct 2018 – 10 Feb 2019)

UUmwelt = Un-Umwelt

61

Umwelt=環世界とは

フォン・ユクスキュル

UUmwelt = Un-Umwelt

ヒトハエ

まとめ
独特の仕方でコードされた脳内世界モデル＝「ニューロバース」「ニューロバース」の外在化• ブレイン・デコーディングによる脳内イメージの解読• 脳–機械信号変換• ブレイン−マシン・インターフェース（BMI）「ニューロバース」の共有• 脳コード変換と脳−脳通信• 脳を介したアート質問• 視覚以外の感覚、感情、言語、思考、記憶、無意識• 脳への書き込み• 個人差• 夢に色はあるのか• 言葉は不要になるか• 脳の仕組みの理解• 応用の展望（医療・情報通信）• 倫理問題