修士論文 要旨

階層リザバーネットワークを用いた予測符号化に関する数理情報学的研究
数理情報学専攻 48-186229
指導教員

1 予測符号化理論

高市 昌平
合原 一幸 教授

3 提案する階層 PCRC

予測符号化とは，認知において脳が感覚刺激の予測

Rao らは視覚に関する予測符号化について，視覚野を，予測と実際の刺激の誤差を用いて行なっているとの階層性を考慮し階層性を組み込んだ理論を構築したする仮説である．予測符号化理論を裏付ける現象は視[3]．本研究では，Rao の階層予測符号化理論をもとに覚や聴覚において広く報告されており，その一つとしTamura らの PCRC の階層化を行う．提案する階層て Mismatch Negativity (MMN) がある．MMN とは，PCRC について 2 つのリザバーを階層の階層化を用い先行する刺激の系列から逸脱する刺激を受けた時に生て説明する．低次・高次領域の変数は基本的に式 1，2じる現象である [1]．Wcongne らは MMN を説明する，に従い，低次領域のリザバーの内部状態の更新は式 3，実際のニューロンに近いスパイキングニューロンによ

高次領域の入力は式 4 に従う:

る予測符号化モデルを構築した [2]．

xln+1 = αl xln() ( l ll+ 1 − αl ϕ Wrecx + Wbackyl())
l+ Windl − y l + Wtd y hn − Wtd Wbu xln ，(3)2 Predictive Coding with ReservoirComputing (PCRC)
リザバーネットワークによる予測符号化の実装 (Pre-dhn+1 = Wbu xln ．

(4)

dictive Coding with Reservoir Computing: PCRC)

ここで上付きの添字 l, h は低次・高次領域の変数を表について先行研究を紹介する．

し，Wbu , Wtd は高次・低次間の結合を表す．xl の時系

Wacongne らのモデルはスパイキングニューロンを列から特異値分解による，特徴量を抽出する行列とそ用いているため，扱える次元がかなり小さいものであっの転置行列になっている．ネットワークの概念図は図 1た．そこで Fukino らは Wcongne のモデルをもとに，のようになる．

人工ニューロンのリザバーネットワークによる実装を行うことで，より大きい次元を動的に扱うモデルを構築した [4]. しかし，Fukino らのモデルは，予測誤差のと予測の和をリザバーの入力としており誤差により刺激を予測する予測符号化理論の枠組みから外れている．
また予測誤差の計算に生理学的な妥当性を欠いていた．

Tamura らはこれらの点を修正した PCRC モデルを構築した [5]．そのモデルは以下の式で表される:

xn+1 = αxn + (1 − α)(W REC ϕ(xn )+ W FB y n + W IN (dn − y n )),yn =WOUTϕ(xn ).

(1)
(2)

こ こ で ，x は リ ザ バ ー の 状 態 ，y は 予 測 ，d

図 1: 提案する階層 PCRC モデルの概念図．

は 感 覚 入 力 ，ϕ は 活 性 化 関 数 を 表 し て お り ，W REC, W IN , W OUT , W FB はそれぞれリザバーの内部結合，入力，出力，出力のフィードバックの結合で，W OUT は学習により更新され，その他はランダムな疎行列で固定される．本研究では，この Tamura らのPCRC モデルを階層モデルに拡張する．

また以下の式で，上層での感覚刺激 dl の予測を考えることができる:

hh
dl = Wout
Wtd Wout
xhn .

(5)

階層リザバーネットワークを用いた予測符号化に関する数理情報学的研究 (高市 昌平)

4 数値実験
4.1 3 次元
ローレンツ方程式の時系列データを用いて数値実験を行った．2 層で構成される階層 PCRC モデルにローレンツ方程式の 3 変数を入力とした結果，低次領域では精度良く予測され，高次領域では比較的誤差が生じる部分が確認された (図 2)．リザバーの内部状態の主成分分析による主要 3 方向をプロットすると，ローレンツアトラクタの特徴である，2 つの周期軌道が交差するような形が低次・高次領域の軌跡に確認された (図 3)．

図 4: 下層・中層・上層の入力の平均の大きさで規格化された予測誤差を表す．オレンジの線は下層の，青の線は中層の，緑の線は上層の予測誤差を表している．学習では区間 [0, 200) のデータが用いられており，その時点を境に誤差が大きくなっている．

5 結論・考察(a) 低次領域(b) 高次領域

図 2: 各領域での予測．オレンジの線は入力データ，青階層 PCRC の低次領域と高次領域において，入力データの特徴を保ちつつ異なる形のアトラクタが形成されることが確認された．また階層 PCRC を並列に拡の線は予測を表す．

張することで，高次元の入力データを扱うことが可能となり，動画の予測に適用することができた．

参考文献(a) 低次領域(b) 高次領域

図 3: 各領域のリザバーの内部状態の軌跡．主成分分析
により，主要な 3 方向をプロットした．

4.2 マウスの大脳皮質の計測動画
計測データとなる動画を入力として，入力・ボトムアップの分割，予測・トップダウンの行うことでリザバーネットワークを並列化することができる．これにより，32 × 32 の高次元の入力に対し数値実験を行った．

Matsui, Ohiki らはカルシウムイメージングによる麻酔下のマウスの大脳皮質の計測により，resting-stateにおける自発活動を確認した [6]．この計測データである動画を 3 層からなる並列・階層 PCRC によって予測をした (図 4)．並列・階層化により上層では一つのリザバーで高次元の入力を表現でき，またその予測は時間・空間方向のノイズが取り除かれる様子が確認された．

[1] Näätänen, Risto, et al. ”The mismatch negativity(MMN) in basic research of central auditory processing: a review.” Clinical neurophysiology 118.12(2007): 2544-2590.
[2] Wacongne, Catherine, Jean-Pierre Changeux, andStanislas Dehaene. ”A neuronal model of predictive coding accounting for the mismatch negativity.”
Journal of Neuroscience 32.11 (2012): 3665-3678.
[3] Rao, Rajesh PN, and Dana H. Ballard. ”Predictive
coding in the visual cortex: a functional interpretation of some extra-classical receptive-ﬁeld eﬀects.”
Nature neuroscience 2.1 (1999): 79.
[4] Fukino, Miwa, Yuichi Katori, and Kazuyuki Aihara.
”A computational model for pitch pattern perception with the echo state network.” 2016 InternationalSymposium on Nonlinear Theory and its Applications (Yugawara, Japan, 2016). 2016.
[5] Tamura, Hiroto, Yuichi Katori, and Kazuyuki Aihara. ”Possible Mechanism of Internal Visual Perception: Context-dependent Processing by Predictive
Coding and Reservoir Computing Network.” Journal of Robotics, Networking and Artiﬁcial Life 6.1(2019): 42-47.
[6] Teppei Matsui, Tomonari Murakami, and Kenichi
Ohki. ”Transient neuronal coactivations embedded
in globally propagating waves underlie resting-statefunctional connectivity.” Proceedings of the National
Academy of Sciences 113.23 (2016): 6556-6561.