全脳アーキテクチャと大脳皮質モデル BESOM の実用化研究の構想
2015-05-14
産業技術総合研究所
人工知能研究センター
脳型人工知能研究チーム
一杉裕志

脳の各器官のモデル
脳を構成する主な要素
運動野前頭前野

言語野

視覚野

大脳皮質基底核

扁桃体

海馬

小脳

脳の各器官の機械学習装置としてのモデル
大脳皮質： ＳＯＭ、ＩＣＡ、ベイジアンネットワーク
大脳基底核、扁桃体： 強化学習
小脳： パーセプトロン、リキッドステートマシン
海馬： 自己連想ネットワーク

主な領野の情報処理装置としての役
割
視覚野： deep learning
運動野： 階層型強化学習
前頭前野： 状態遷移機械？
言語野： チャートパーサ？

脳の知能に関係する主要な器官の計算論的モデルは不完全ながら出そろってきている。これらの器官の間の連携のモデルを考えることで、脳全体の機能の再現に挑戦すべき時期に来ている。

2

社会へのインパクト
20～30年後？

• 知能の高いロボットによる労働支援により、人間の労働生産性が限りなく増大。
– 富の再配分が正しく行われ、かつ資源制約の問題が解決されれば、人類は限りなく豊かになる。
– １人１人すべての人間が貴族のような生活。
– すべての人にロボットの主治医と家庭教師と専属弁護士。

• 核融合研究等と同様に、実現すれば人類に莫大な利益をもたらす研究分野。
3

「全脳アーキテクチャ勉強会」を開催して得た収穫• 約１年半の全脳アーキテクチャ勉強会のおかげで、脳全体のアーキテクチャの模倣に大きな障害がなさそうな感触を個人的には得た。
• 自分にとっての大きな収穫：• 海馬と SLAM の類似点と相違点の理解• プランニングとモデルベース強化学習の関係の理解• 時系列学習アルゴリズム（ESN, LSTM）の理解• 今後２年間は再び、最大のボトルネックである大脳皮質モデル BESOM に注力。
– ５～１０年後の実用化に結びつく成果を出したい。

BESOM は Deep Learning と同じ構造をもった制限付きベイジアンネット

L2。。。

L1。。。

L0（入力層）。。。

上位層は隠れ変数、
教師なし学習により特徴抽出

入力画像
楕円は確率変数
白丸は確率変数がとり得る値

「ベイジアンネットによるDeep Learning 」
が工学的にも有望と考える理由• 我々が提案する BESOM は、ノード数に対し線形時間で１入力を認識・学習。
– 脳と同様、並列処理によりリアルタイム動作が可能。
– 将来的には１００万ノード規模。

• Feed forward NN より高機能。
– Explaining away effect がある。
– 時間的・空間的文脈の情報が自然に扱える。
– 半教師あり学習、欠損データの学習が自然に扱える。

• 生成モデルを素直に表現可能。
– 様々な事前知識を作り込みやすい。
• 神経科学的知見からも作り込むべき事前知識のヒントが得られる。（ネットワークトポロジやハイパパラメタ）

BESOM ネットのシミュレーションの現状
ネットワー
クの構造機能近傍学
習

非線形ICA

スパース符号化、混合分布

構造学習、特徴選択

多層化

短期記憶、SFA

実装

２００７
年

２００９年

２００９年

２０１１年

２０１２年

2013年
(部分的)

隠れノード数

１

２～３

３～１０

３～１０

１０～１００１０～１００

計算量のオーダー（ノード数 n のとき１入力の認識・学習に必要な計算量）
・ 2007年 O(2^n) 全数探索によるＭＰＥ計算
・ 2009年 O(n^4) 山登り法・ 2012年 ほぼO(n) 最適化ＢＰ、オンラインエッジ選択

脳型人工知能チームが当面、重点的に取り組む研究テーマ• 大脳皮質モデル BESOM の実用化
• 視覚野モデル：画像を深く理解するシステム• 言語野モデル：言語を深く理解するシステム
全脳アーキテクチャモデル
前頭前野モデル
海馬・扁桃体視覚野モデル

言語野モデル

大脳皮質モデル BESOM

運動野モデル
基底核・小脳注：他の器官のモデルの実用化についても、適宜所外の研究者と連携して進める。

大脳皮質モデル BESOM の実用化
• BESOM モデルの精度向上• 条件付確率表モデルの改良• 理論基盤の強化、アルゴリズムの改良• 学習則導出の理論的ギャップ、理論と実装のギャップの解消• 素朴な EM よりも高速な学習則の導出• 並列実装• マルチスレッド、GPGPU 、分散並列• 基本性能の評価• 欠損データ・半教師あり学習等において、従来の NNより高い性能が出せることを示す。

「有望さの証拠」も示す• 神経科学的現象を再現することで大脳皮質の正しいモデルである証拠を示す。
• 再現したい神経科学的現象の例：– Ｖ１ガボールフィルタの自己組織化– 注意の正規化モデルの再現– グリッド細胞「Grid cells - Scholarpedia」
http://www.scholarpedia.org/article/Grid_cells“Emergence of simple-cell receptive field properties
by learning a sparse code for natural images”.
Bruno A. Olshausen and David J. Field
Nature, 381:607-609 (1996)

Chikkerur, S., T. Serre, C. Tan and T. Poggio,What and where: A Bayesian inference theory ofattention. Vision Research. 55(22), pp. 2233-2247, 2010.

10

視覚野モデル• 目標：画像の深い理解– 遮蔽物、影、ガラス、鏡、雪などに惑わされないロバストな環境理解。
– 動画像にもとづく動作理解。
– 応用：産業用ロボット、衛星画像認識、・・・– 深い理解は運動野・言語野モデルの基盤でもある。

• 手段：視覚野のアーキテクチャの模倣– 腹側経路(what)と背側経路(where)の分離– カーネマンのオブジェクトファイル理論

言語野モデル• 目標：言語の意味の深い理解– シンボルグラウンディング問題の解決– 再帰的構造・可変長構造を用いた意味表現• 手段：神経科学、言語学、認知科学、計算機科学の知見をフル活用して言語野の構造を推定• 重要な課題：– 変数バインディング、可変長構造、再帰的構造、関数適用、関数合成など、言語処理に必須の機能をベイジアンネットでどう実現するか。

研究開発支援ツール BESOM-lab 3.0
タスク
自然画像

手書き数字認識

BESOM downloadb.B

学習アルゴリズム群

LearnMess

検索

LearnMPE

認識アルゴリズム群
RecogMPE

RecogOBP

正則化機構

側抑制
ICA

認識アルゴリズム
評価ツール

RecogABP

エッジ
選択

RecogOOBP

勝率ペ
ナルティ

近傍
学習

認識率評価フレームワーク

lab.Lab
GUI ツールキット

コンポーネントウエア

可視化支援Java/Swing

BESOM-lab 3.0 の構成

デモのスクリーンショット

ベイジアンネットを用いた汎用情報処理装置の構想

目的• 変数バインディング、可変長構造、再帰的構造、関数適用、関数合成など、脳の高次機能再現に必須の機能が、神経科学的に妥当な構造を持ったベイジアンネットで実現可能なことを示したい。

先行研究：PATON[Ohmori 1999]• パターン層とシンボル層の活性度を注意ベクトル（= Micro Code）の切り替えにより制御するニューラルネットワーク。
– パターン処理とシンボル処理の特徴を融合
制御方法の学習機能や記号推論の機能はない。

Neural Netw. 1999 Oct;12(7-8):1157-1172.
Emergence of symbolic behavior frombrain like memory with dynamic attention.
Omori T, Mochizuki A, Mizutani K,Nishizaki M.

マイクロプログラムとシーケンサ
膨大な数のゲートのオンオフを集中して制御するダイナミックベイジアンネットを用いて、コンピュータの「マイクロプログラ
ムとシーケンサ」がおそらく表現可能。
マイクロプログラムとシーケンサ

参考：「マイクロプログラム方式 - Wikipedia」
http://ja.wikipedia.org/wiki/%E3%83%9E%E3%82%A4%E3%82%AF%E3%83%AD%E3%83%97%E3%83%AD%E3%8
2%B0%E3%83%A9%E3%83%A0%E6%96%B9%E5%BC%
8F

マイクロプログラムを表現する表
P(子ノード|親ノード)の表
状態 直前の状態
Xt Xt-1

制御信号OPゲートの開閉のテーブル

0 3000000100000010000001100

1 0000010000010000011000100

2 1001000000000001000001000

… …

…

…

n 6

000010000011000001000001
Xt

Xt-1

OP

プログラムはEM アルゴリズムで
学習
…

最後に
• 研究者常時募集中