ATRオープンハウス2016年11月11日	

脳科学と人工知能	

•••
•

川人光男�
�
ATR脳情報通信総合研究所･所長�
理研革新知能統合研究センター･特任顧問�
AMED脳科学研究戦略推進プログラム･DecNefを応用した精神疾患診断･治療・領域代表�
NEDO人工知能・ATR共同研究拠点・副代表�
�Discovery Channel�
1		

ブームだそうですが人工知能って何？？	
• 70代以上：記号処理、言語	  – 人工的に人の知能を実現、第五世代、LISP(ELISA)、PROLOG、認知科学	  • 60代：脳科学	  – 計算論的神経科学、受容野、強化学習、教師あり学習、教師無し学習	  • 50代：人工ニューラルネットワーク	  – ネオコグニトロン、多層パーセプトロン、バックプロパゲーション、砂時計、TD
ギャモン、TDNN、連想記憶、ホップフィールドモデル、ボルツマンマシン	  • 40代：機械学習	  – NIPS、ICML、SVM、カーネル法、ARD、ベイズ、最適化、計算学習理論、統計
学習理論、汎化誤差、Bias-­‐Varianceジレンマ、最小記述長、VC次元	  • 30代：IBMワトソン	
– クイズ番組、見かけは昔風人工知能、中味は機械学習モジュール	  • 20代以下：ディープラーニング	  – ディープラーニングネットワーク、深層学習、DeepQ、グーグル、アルファ碁	

人工知能	
機械学習＋ビッグデータ＋高速演算	機械学習って何？	
• 教師あり学習	  • データの対：画像と物体ラベルなど	  • 訓練データ（学習サンプル）はラベル付き	  {(xi,yi):	  i=1,2,	  …	  ,n}	  • テストデータ	  {(xj,yj):	  j=1,2,	  …	  ,n}	  • 訓練データから y=f(x)の未知関数ｆを推定	  • 推定した関数ｆの性能をテストデータで評価	  人工知能の成功と失敗	
機械学習＋ビッグデータ＋高速演算	

4-1	

5	

DARPA Robotic Challenge	

多数は転倒、少数は恐ろしくノロイ	  PM	  Gill	  PraG 新しい概念皆無!?	

機械学習の最大の困難:	  Overﬁt	  現在ビッグデータ必須、少数サンプル？	

誤差	underfit	

overfit	
テストデータ	

学習データ	
モデルの複雑さ (パラメータ数)	

ロボットの起立運動の階層強化学習
少数学習サンプル<100からの学習	
森本淳、銅谷賢治	

Morimoto J. and Doya K.: Acquisition of stand-up behavior by a real robot using	hierarchical reinforcement learning. Robotics and Autonomous Systems, 36, 37-51 (2001)	

強化学習・見まね・熟練学習
エアホッケー	
••Learn appropriate actions and sub-goals forthe observed situation.
– Database initialized with supervised data;
observes human player.
– Actions: Right bank shot, left bank shot,etc.
Learn by adjusting the distance to the query
point within the database.
– Data is retrieved using locally weighted
learning (LWL) techniques.
– Weights are updated using Q learningtechniques.

Learning from
Observation

Primitive
Selection
Sub-goal
Generation

Learning fromPractice

ActionGeneration

Darrin C. Bentivegna�

• Agent receives feedback (rewardand penalty) while playing.

エアーホッケー	
Atkeson CG, Hale J, Pollick F, Riley M, Kotosaka S, Schaal S, Shibata T, Tevatia G, Vijayakumar S, Ude A,Kawato M: Using humanoid robots to study human behavior. IEEE Intelligent Systems, 15, 46-56 (2000).	

デコーティングにおける最大の困難
脳活動特徴量の次元が莫大である一方で機械学習用サンプルサイズが小さい	

過学習､オーバーフィッティング： 学習データに強く依存した推定、未知のデータに対する汎化性能が悪い

AIC	

最尤推定（2０次関数モデル）	

€

スパース推定（2０次関数モデル）	
• パラメタwn の推定の拡がりをコントロールする a n を確率変数と見なし、各パラメタ毎にデータから推定する• 事前分布
事後分布	

% 1an2(P(W n ) =exp'− an × W n *& 2)2π% 1an2(P(W n ) =exp'− an × (W n − µ) *& 2)2π２次係数事後分布	

€３次係数事後分布	2009年にBMI用の機械学習のための複数のスパース推定アルゴリズムを脳プロホームページで公開。公開3ヶ月でGoogle, Yahoo検索トップ、ダウンロード数3万回以上。	

website ⇒ http://www.cns.atr.jp/cbi/sparse_estimation/index.html	

少数個のデータから学習するヒトの能力をどのように次世代人工知能で実現出来るか	• スパースネス (SLR, SLiR)	

• 階層強化学習	• モジュール性	• 内部モデル(MOSAIC)	

• 注意、メタ認知、意識、エピソード記憶	Yamashita O, Sato M, Yoshioka T, Tong F, Kamitani Y: Sparse estimation automatically selects voxels
relevant for the decoding of fMRI activity patterns, NeuroImage, 42, 1414-1429 (2008) 	
Toda A, Imamizu H, Kawato M, Sato M: Reconstruction of two-dimensional movement trajectories from	
selected magnetoencephalography cortical currents by combined sparse Bayesian methods, NeuroImage,54,
13	892-905 (2011) 	

2016/5/18総務省脳・AI研究WG資料WG6-­‐2・AIST人工知能研究センター・麻生副センター長資料	  けいはんな人工知能拠点のAIP-­‐NEDO共同
脳データ・機能循環型人工知能研究	
山下室長、佐藤所長	
マルチモーダル脳データ解析	  脳・生体関連ビッグデータ解析	  多自由度運動系学習モデリング	
上田AIP副センター長（NTT)	

大規模脳生体データ解析(AIP)	

脳ミメティック視覚・コミュ	  ニケーション支援	  ビッグデータ駆動型	  神経科学	  脳ライフログに基づく	  ライフサポート	  脳データ循環研究	

須山室長、川鍋主幹	

脳・人間科学	

機械学習	
脳・生体シナジェティック	  ロボティクス	

田中室長、渡邊室長、川人所長	

脳機能循環研究	
脳型人工知能(NEDO)	

神谷室長、今水所長	

脳機能モデリング	  脳・生体大規模計測（ライフログ）	  脳・生体連関モデリング	

森本室長、内部主幹	
石井副所長、AIC-­‐	   脳の可塑性・安定性ジレンマの理解
ヒトと共存し、共感するロボティクス	
ATR拠点業務管理者	とそれを用いた人工知能	

ATR脳総研の人工知能研究（2016.9）	

VBMEG：脳波や脳磁図から脳内電流を推定するための機械学習法とオープンソース	NICT委託「脳活動推定技術高度化のための測定結果推定システムに向けたモデリング手法の研究開発」（2013〜2017年度）	

ATR脳総研の特色	
• 機械学習の専門家が在籍	• ロボットと一体化した脳研究	• クリニックを併設し、臨床研究も推進	
理研AIPセンター参画	  NEDO 次世代ロボット中核技術	  「計算神経科学に基づく脳データ駆動型人工知能の開発」（2015〜2019年度）	

新学術領域 「人工知能と脳科学の対照と融合」（銅谷代表）参画	  CREST 「知的情報処理領域」（萩田総括）プロジェクト推進中	  ニューロフィード
バックの共同研究を推進中	精神疾患･発達障害の診断と治療の現状とBMI技術の可能性	
• 診断は症候だけに依存し、脳科学などにもとづく生物学的検査は存在しない	  • 自閉スペクトラム障害や薬物依存などでは有効な薬物療法がない	  • うつ病に対する抗うつ薬の有効性は全患者の40％程度、また50％以上の患者で再発	  • 過去30年で精神医学分野で大ヒットする薬物は開発されていない：ビッグファーマ撤退	  • 診断と治療にシステム神経科学、特に計算理論とBMI技術をどう役立てるか：バイオマー
カとニューロフィードバック治療	領域から高IF雑誌に７論文とアウトリーチ	
Altmetric	  sore:	  同時期に出版された論文のうち、各種ソーシャルメディア等から集めた注目度	

Yahata et al: Nature Communications (2016.4)	

Altmetric	  Score	  トップ1％	  Page	  Views	  6,572	

Shibata et al: PLoS Biology (2016.9)	

Altmetric	  Score	  トップ2％	  Page	  Views	  7,084	  NHKニュース	NHKニュース	

平成28年10月８日、皇太子殿下に、ASDバイオマーカ、うつ病結合ニューロフィー
2016/9/9 	  Yahoo	  News	
2016/4/14朝日新聞 他	
ドバック治療のご説明、そして脳波デコーディングによる下肢外骨格パワーアシストロ
2016	  United	  Press	
2016/9/9 日刊工業新聞,	  9/22朝日新聞 他	
ボットの足踏み制御のデモンストレーションを、AMEDの脳科学研究戦略推進プログ
ラムの成果としてご紹介させて頂きました。
Amano et al: Current Biology (2016.7)	

Altmetric Score トップ2％	
DispatchesにPick Up	

Dispatchesに	  取り上げられる	

Yanagisawa et al: Nature Communications (2016.10)	

Altmetric	  Score	  トップ1％	  Page	  Views	  2,849	

2016/7/1 朝日新聞 他	
10/27	  NHKニュース、時事ドットコムニュース、朝日新聞,	  UPI	  Top	  News他	

18	

DecNef: 対象はOCDと疼痛の2疾患	  
患者毎のデコーダが必要で疾患を選ぶ、オーダーメード的治療法、デコーダーの性能が高ければ８／８の成功確率、長期効果は場合による（２／３で3〜5ヶ月）	
ユーザーによる	脳活動の誘導	

現在の	脳活動パターン	

目標の	脳活動パターン	

比較“類似度”をフィードバック	Shibata K, Watanabe T, Sasaki Y, Kawato M: Perceptual learning incepted bydecoded fMRI neurofeedback without stimulus presentation. Science,334(6061), 1413-1415 (2011)

DecNefで生成・操作出来る脳内情報と対象となった脳部位	
1. 視覚３方位知覚学習、V1/V2 Science (2011)
2. 顔の好き嫌い、帯状皮質 PLoS Biol (2016)
3. 色（クオリア）、V1/V2 Curr Biol (2016)
4. 恐怖記憶の消去、V1/V2 Nature Hum Behav (2016)
5. 視覚弁別における自信（メタ認知）の増減、DLPFCと頭頂葉 Nature Comm (2016)
6. 強迫性障害の治療、前頭葉と基底核（酒井雄希他）
7. 脳卒中の運動指令強度低下、リハビリテーション、運動野（服部憲明他）
8. 慢性疼痛の運動想像と痛み制御、運動野でMEG
ニューロフィードバック（栁澤琢史、齋藤洋一他）
Nature Comm (2016)20	

Other labs, attention: deBettencourt et al.(2015)Nature Neuroscience 18, 470	

ニューロフィードバック法の技術開発	
• ４日間の結合NFで２ヶ月以上の長期効果がある(Frontiers Neuroscience 9(160) 2015, Megumi et al.)• ３日間の結合NFで２方向の行動変化を誘因(CerebralCortex, submitted, Yamashita A et al.)• ３日間のDecNefで３~5ヶ月以上の長期効果がある(Current Biol., 26, 1-6, 2016, Amano et al.)

• ２群の被験者で顔の好悪を上下するDecNef成功(PLoS Biol. 14(9): e1002546, 2016, Shibata et al.)

• 恐怖記憶をDecNefで消去出来る：反対条件付け(Nature Human Behav., in press, Koizumi et al.)

• 同一の被験者で２週間DecNef（２日間ｘ２回）で逆方向に知覚弁別の自信を上下出来る(Nature Comm, inpress, Cortese et al.; NeuroImage, revised version submitted, Cortese et al.)

• 学習の長期効果そして干渉と上下非対称性	

21	

帯状皮質の２つの異なる活動パターンが顔の好きと嫌いを別々に誘導する	
脳活動が原因で心の変化が結果	

Shibata K, Watanabe T, Kawato M, Sasaki Y: Differential activation patterns in thesame brain region led to opposite emotional states. PLoS Biol. 14(9): e1002546 (2016)22	

被験者内での両方向DecNef前向き学習干渉
DLPFCなどでメタ認知（自己意識）操作	
• Aurelio	Cortese A, Amano K, Koizumi A, Kawato M, Lau H: Multivoxel neurofeedback selectively
modulates confidence without changing perceptual performance. Nature Comm, in press.	 23	

結合ニューロフィードバック: ASD、うつ、統合失調症
患者共通の機能的結合のバイオマーカー必要、既製服的治療法、4日間のNF訓練で少なくとも2ヶ月の長期効果	
結合ニューロフィードバック	

変更後		  	  	  	  	  	  変更前	Megumi F, Yamashita A, Kawato M, Imamizu H: Functional MRI neurofeedback training onconnectivity between two regions induces long-lasting changes in intrinsic functionalnetwork. Frontiers in Human Neuroscience, 9(160), doi: 10.3389/fnhum.2015.00160 (2015）	

脳の回路を１万の機能的結合で定量	
従来型人工知能では10万人必要	
機能的磁気共鳴画像で２つの脳領域の機能的結合を決める	

機能的結合は	２つの脳信号	の相関で	決める		

似ている：相関正	
逆：相関負	
信号の波形が近いと結合は正で強い（〜１）	関係ない：相関０	

脳全体を皺にもとづいて140個の小領域に分ける	脳の全体回路を定量的に表す9,730=140x(140-1)/2個の	機能的結合が求まる：	
個人脳＝〜1万個の数	

25	

バイオマーカ：現状の問題点	
• 機能的結合の施設間での差が、施設内の疾患対健常の差より圧倒的に大きい	  • 複数施設、数百人での分類･回帰でも独立コホートで検証しなければ意味が無い	  • 機械学習と一個抜き交差検証法では汎化能力の見積もりにインフレーションが起きる	  • Whealan	  &	  Garavan,	  Biol	  Psychiatry	  (2014)	  	多疾患データベースの構築	  ••••

これまでに1,800例の安静時脳機能画像のデータベースへの提供を行っており	  (2016年9月21日時点)、さらに今年度約200例の追加を行い、最終年度までに約2,209例のデータの提供を目指す*。	  
平成２６年度に策定した安静時脳機能画像の統一プロトコルについて、利用者を広げるため、革新脳精神疾患グループとの合議・調整を行い、共同体制を作る。	  
より信頼性の高いバイオマーカーを開発するために、健常者に対しても本プロジェクトで対象とする疾患に関連する臨床・行動指標を統一的に実施するためのプロトコルを策定する。	  
ムービングファントム撮像	  (N=9)	  を実施し、被験者間に比べて施設間の変動は小さくスキャナの違いが影響している可能性を示唆。例数を増やし、施設間の違いを補正する方法の開発を行う。	  

＊データベース・コンソーシアムのホームページで公開予定。
(hGp://www.cns.atr.jp/decnefpro/)	  平成28年度	 平成29年度	
データベースの管理・運営	  (100%/H27,	  70%/H29)	  	  各機関からの安静時脳活動データの提供	  および管理	各機関へのバイオマーカー開発プログラムの配布および管理	

ムービングファントム	27	

人工知能技術について	
攪乱要因と少数サンプル訓練データに対応する機械学習アルゴリズム	
ターゲットモデルの高精度化	
モデル分解	

高次元データ	  （脳機能結合）	

予測ターゲット(ASD度)	
Sparse	  LogisGc	  Regression(SLR)：	

Diagnosis

0.69

Site A

0.84

Site B

0.65

Site C0.77

Age0.65

Sex0.71

Eyes(open/closed)

0.80

Antipsychotics

0.55

Antidepressants

0.70

Anxiolytics

0.88

攪乱要因	

Sparse	  Canonical	  CorrelaGon	  Analysis	  (SCCA)：	

開発された技術：• 少ないデータからの予測を可能とするために、ターゲット以外の攪乱要因を活用する。
• ターゲットモデルとそれ以外の攪乱要因モデルの分解。
• ターゲットモデルの高精度化。
• 脳データに特異的な性質は用いていないため、少数データ学習問題一般に応用可能。

自閉スペクトラム症の脳回路バイオマーカ	
外部独立コホートに汎化する：日本３施設85％、米国数施設75％	
定型発達

判別結果

数40ＡＳＤ
日本
ＡＳＤ
定型発達30人20100‒30 ‒20 ‒100102030

結合強度の重み付け和(ASD度)＝易罹病性	

Yahata N, Morimoto J, Hashimoto R, Lisi G, Shibata K, Kawakubo Y, Kuwabara H, Kuroda M, Yamada T, Megumi F,Imamizu H, Nanez JE, Takahashi H, Okamoto Y, Kasai K, Kato N, Sasaki Y, Watanabe T, Kawato M : A small number
29	ofabnormal brain connections predicts adult autism spectrum disorder, Nature Communications, 7:11254, (2016)	

ASD度：易罹病性による複数精神疾患の関係性を定量
参画７機関中５機関の共同が必須	
l ASD度に基づく疾患比較：	

l 以下のデータセットで検討：	
ü 統合失調症66人＋対照107人	
ü 注意欠如多動症13人＋対照13人	ü うつ病患者105人＋対照145人	

ASDと統合失調症の類似性を示唆	
（遺伝子研究と一致）	
30	

多疾患を脳回路に基づいて再定義する	
••
•
•

•

ASD	
ADHD	
統合失調症	
平均	ARMS		•

現在の診断は症候	  
様々な弊害	  新しい薬が出ない	  Googleに移ったNIMH
前所長Insel:RDoC	  遺伝学･脳科学で疾患を再定義	  脳回路多疾患は世界初	  

依存症	

OCD	
双極性障害	

うつ	ート	
ェニデフル
メチ

ディメンジョン２	
Nature, 24 April 2013	

SSRI	

Goodkind et al., 	2015, JAMA
Psychiatry	

ディメンジョン１	

領域間機能的結合の線形和として計算される正準変数１	

Dr. Tom Insel
Former NIMH director
Moved to Google in 2015	31	

結合ニューロフィードバック技術要素（山田）	

基礎技術	

多数のパラメータを最適化	

対象結合選択	

医療	アラインメント	

相関を推定する時間幅	

教示	
個人脳	標準脳	ノイズ除去法	
報酬	
SCORE	
85	

Muleband撮像	

従来型ニューロフィードバックとの違い	
先行研究	

我々の研究	

単一脳領域のｆMRI
活動の一方向変化	

高次の脳ダイナミク
スの双方向制御	

EU	  FP-­‐7P	  “BrainTrain”等	Princeton	  Neuroscience	  Inst.	  &	  Intel	

先端的ニューロフィードバックの開発	
• 脳ダイナミクスを直接操作	  • デコーディッドニューロフィードバックも結合
ニューロフィードバックも、脳ダイナミクスの操作という観点からはまだ中途半端	  • 脳ダイナミクスを、新しい計算理論で定量化	  • 多領域、多ボクセルの情報伝達を一気に更新することを目指す	  • First in Human新規技術を、いかに動物モデルで神経機構まで解明し安全性を確保するか：動物実験と理論必須	

ビックデータと大きなグループの必要性	
• ビッグデータ：疾患再定義には、一施設内で複数疾患、複数施設で数千人規模、撮像プ
ロトコル統一、更に認知テストを統一が必須	  • 施設を超え信頼出来るバイオマーカーのために歩くファントムの大規模化	  • 動物研究、ヒト研究、理論研究の鼎立	  • ニューロフィードバック開発：一疾患では競争に負けるので様々な疾患への同時適用	  • 国際協調と国際競争(EU	  FP-­‐7	  BrainTrainなど)