大脳新皮質のマスターアルゴリズムの候補としての松田卓也
神戸大学名誉教授
全脳アーキテクチャー勉強会
パナソニックセンター東京

と•• 汎用人工知能の作り方– 新皮質を模擬する• 脳はパターン認識機––

億パターンの影響• 隠れマルコフモデル– 音声認識•– 手書き文字認識–隠れマルコフモデルとベイジアンネットワーク••– 時間系列のモデル–はの一種–は• 非循環有向グラフ•

理論との親和性の一種

時間列を扱えるアルゴリズム

•• 考える脳、考えるコンピュータ•
理論の基本的考え方• 新皮質の働きに関する仮説– 脳は記憶 予測システム
である

の目的
• 新皮質を模した機械知能を作る– 人間を作るのではない– ロボットを作るのでもない• 基本的に新皮質のみ 海馬、視床– チューリングテストはナンセンス• 物を言わなくても考えることはできる• 目的は宇宙の探求–も同じ目的– 人工知能駆動科学

の歴史• ミッション
– 新皮質の基本動作原理を発見する– それに基づいて機械知能を作る• 歴史–––––

理論の歴史• ゼータ アルゴリズム–– 数学的、ベイジアンネットワーク理論と親和性•– 皮質学習アルゴリズム– より神経科学的–– オンライン学習
––が参入

•表現

新皮質の領野

の新皮質に対する考え• 共通のアルゴリズム• 階層構造と不変性• 時間系列と予測• オンライン学習• フィードバック• 行動• 注意• 新皮質の 層構造

共通のアルゴリズム• 新皮質はどこもほぼ一様– 構造的– 機能的•– 視覚野と聴覚野の交換– フェレットでの実験• しかし反論もあり–

階層構造と不変性• 新皮質の領野は階層構造– ディープラーニング–のゼータ アルゴリズム• 不変性– 階層を上がるとより抽象的な表現– 時間的に変化しにくくなる• この性質が理論のキモ• 図形の不変性– 移動、変形、回転、色、照明時間系列と予測• 目はつねに動いている– サッケード– それでも動かないイメージ• 不変性• 聴覚は時間変化が本質• 触覚も時間変化が重要• 脳はつねに 一瞬先 を予測している

オンライン学習• 通常の機械学習とゼータ– オフライン学習、バッチ学習• 学習フェーズ
• 推論フェーズ

• オンライン学習– 動物はつねに学習している–ではこれ

コネクトーム

ミクロなコネクトーム
ニューロン間のシナプス結合
領野内の接続マクロなコネクトーム
領野間の接続新皮質内の情報の流れ
意識
論理的思考
フィードバック

フィードフォワード

疎結合 マクロコネクトーム
静的パターン

階層、領野
潜在意識
密結合 ミクロコネクトーム
タイムシークエンス

知覚入力

筋肉出力

フィードバック• 新皮質内の情報の流れ– フィードフォワード ボトムアップ– フィードバック トップダウン– が の 倍• 通常の–

は のみは別• ベイジアンネットワークとしての性質• ゼータ にはあるが、にはない

新皮質の 層構造

層構造と領野間の情報の流れ時間列を扱えるアルゴリズム

理論の歴史• ゼータ アルゴリズム–– 数学的•– 皮質学習アルゴリズム– より神経科学的–– オンライン学習
–
•

–

•

表現

が参入

表現

ゼータ アルゴリズムの特徴• 教師なし学習• 木構造の階層構造• 上の階層ほど空間的に広く、時間的に長い• 上の階層ほど時間変化が少ない• バッチ学習• 学習フェーズと• 推論フェーズに分かれる• 錯視現象を再現•で発展––理論を破る

学習フェーズ•– 代表的なパターンを集める•– 次のマルコフ過程 時間遷移行列– 時間的に近接したグループを集める• 次のマルコフ過程• 階層ごとに学習する

空間プーリングと時間プーリング
時間プーリング

高次階層
空間プーリング

時間プーリング

時間プーリング
低次階層

空間プーリング
ノード
知覚入力

空間プーリング
ノード
知覚入力

と新皮質の 層構造

尖端樹状突起

遠隔樹状突起細胞体

遠隔樹状突起基底樹状突起基底樹状突起軸索

軸索

のニューロン• 細胞体– 計算• 基底樹状突起– 下の階層からのパターンを受け取る– 空間的静的パターンの認識• 遠隔樹状突起– 階層内の他のニューロンとシナプス結合– 時間シーケンスの認識• 尖端樹状突起– フィードバック情報• 軸索– 情報の出力

のアルゴリズム• 基底樹状突起のシナプス結合で、下の階層の静的パターンを発見• 予想状態のセルがあればそれが発火– なければコラムのセルが全部発火• そのとき複数のセルが発火–• 発火したシナプスの永続値を増加 学習のアルゴリズム• 発火しているセル以外のセルで、遠隔樹状突起のシナプスで十分につながっているものを予想状態にする– 記憶した時間シーケンスにより発火– 記憶になければ• 予想に成功したシナプスの永続値を増加– 時間シーケンスの学習要するにニューロンは• 次の情報を加算して発火確率を決める– 基底樹状突起のシナプス経由での下の階層のパターン入力– 遠隔樹状突起のシナプス経由での階層内の時間シーケンスパターン入力– 尖端樹状突起のシナプス経由での上の階層からの予想入力•の• 一つのパターンを多数のニューロン コラムのうちの複数のニューロン コラム で表現する– 一つで表現する場合を••、表現の優位性– 表現が豊富– 頑強• 多少のニューロンが死んでも問題無い– 実際の脳ではが採用されている

の幾何学的表現のハリネズミモデル

樹状突起はベクトル• 基底樹状突起はベクトル• 下の階層の高次元空間の部分空間の短いベクトル– ハリネズミモデル

空間の長いベクトルを多数の短いベクトルの和として表現する• 遠隔樹状突起は空間の短いベクトル• 脳の集団符号化方式•

脳とコンピュータの比較• コンピュータ

メモリ– 計算するもの• 大脳にはない、すべてメモリ– 脳は計算しない– 記憶を想起する

•

ステップ則
–
– 脳はステップで仕事をこなす

脳は世界のモデル作成機• ボールをキャッチする動作• コンピュータ ロボット– ボールの位置と速度の測定– ボールの軌道の計算と将来位置予測– ロボットの腕の複雑な動作の計算– 何万ステップ• 脳– ボールの軌道を学習で覚える– 手の運動を学習で覚える– シークエンスを想起する–ステップ アセンブラ– 深層 学習では有り得ない

脳内モデルについての見方• 脳は力学系のモデラー– 外界の力学系のモデルを脳内に作る– 力学系の観測が脳内モデルを想起••の定理 モデル間の情報は少なくて良いのバブル世界– 人は現実よりは脳内モデルを見ている– バブル世界– 錯覚の起源

脳はベクトルの変換機• 脳に入力されるのはベクトルの時間系列• 別のベクトル系列に変換される 圧縮• 脳の領野の階層を上がると– より空間的に広い– より時間的に長い– より時間的に安定した不変表現に変換される• 階層を降りて筋肉を動かすコマンド ベクトル になる• 脳はベクトルをベクトルに変換する関数 機械– チューリングテスト– 中国語の部屋

脳の動作はなぜ速い• 脳には多数 億 のパターンの時間系列が記憶されている– 学習、経験、練習によって• それらは階層的になっている• 外部入力により適切な解が想起される• それが筋肉を動かす• いかに高速に想起するか– 量子計算的汎用人工知能をめぐる汎用人工知能の実現法の分類• 生物学的方法– 脳を模倣する– 有望• 数学的方法– 人工ニューラルネット、深層学習– 多分ダメ• 工学的方法– ダメ– しかし、例えば

汎用人工知能の粒度による分類• 粗粒度 抽象的–

、

• 中粒度
–

• 細粒度
– 深層学習–– スパイキング・ニューロン• 超細粒度 脳のシミュレーション–

汎用人工知能達成の方法• ボトムアップ 生物学的方法–• トップダウン 機能的方法– その他

山川 的 分類
生物学的全脳アーキテクチャ

新皮質

工学的全脳

脳の階層構造エピソード記憶

海馬

知覚・運動

大脳新皮質

感情、基本的運動

中脳

自律的運動、生命維持

脳幹

反射運動

脊髄

爬虫類にはない新皮質の階層構造• 脳は複雑階層系– 領野内は密結合– 領野間は疎結合• 深層学習– 階層間は密結合– 階層内は結合なし•

理論– 階層内は密結合– 階層間は疎結合

密結合
疎結合

密結合
疎結合

密結合
入力

脳型計算機による天気予報• コンピュータ
– 偏微分方程式を解く• 脳型コンピュータ– 過去の天気図をすべて覚える– 今日の天気図が与えられる– 過去のもっとも近い天気図を探す– 次の日の天気図を見る

汎用人工知能をめぐる大競争•–カ国から–人人•
人の中から皮質学習セン•
ター–人• 全脳アーキテクチャ•