前頭前野Accumulatorを用いた動的抑制モデルと物理シミュレータを用いた強化学習- Noh, Gazebo, ROS, Gymの統合 慶應大 大澤 正彦
電通大 芦原 佑太
法政大 島田 大樹
メンター： 倉重先生

1

0. Abstract
提案
前頭前野Accumulatorを用いた動的脱抑制モデルと物理シミュレータを用いた強化学習
特長[すごい][おもろい][脳っぽい]

新しい [環境] [アルゴリズム][プラットフォーム] のすべてをセットアップ
エージェントの気持ちを考えてみたら今の強化学習が生物的に不自然だと気付いた
前頭前野の[役割]や[生理学的知見]を総合的に踏まえてモデル化

1. Introduction

2

1. Introduction
LIS (3人称視点)

3

4

1. Introduction

Lisの気持ちになるですよCreated by Kotone Itaya

5

1. Introduction
LIS (1人称視点)
LISがかわいそう・・・6

1. Introduction
Pong

小刻みに上下する挙動が頻発

1. Introduction
LISやPongがかわいそうな要因– 環境的要因• 行動が離散• 1回の行動選択が大きな影響– アルゴリズム的要因• 毎フレームごとに異なる行動選択“脳っぽく” “今後を見越した” 改善したい7

1. Introduction
アプローチ
– 環境
• 物理シミュレータ Gazebo +ロボットミドルウェア ROS + 強化学習環境 Gym– アルゴリズム：• 前頭前野Accumulatorを用いた動的抑制モデル– プラットフォーム
• Noh

提案
前頭前野Accumulatorを用いた動的抑制モデルと物理シミュレータを用いた強化学習

89

1. Introduction
アプローチ
Environment

Agent

抑制Accumulator

Action

学習器

学習器

学習器

State
RewardGym, ROSを結合した物理シミュレータGazebo

複数の学習器を調停する
抑制モデル

認知アーキテクチャ学習プラットフォーム

NohNoh + Gazebo + ROS + Gym

2. ENVIRONMENT

102. Environment11

2. Environment12

2. Environment
Gazeboの利点– リアルタイム物理シミュレータ• シミュレータ環境で学習したモデルを実世界のロボットに適用可能– 連続的でなめらかなデータセットを取得可能• PredNetのような時系列学習と相性◎– ROSとの連携• 多くのロボットのためのライブラリが使用可能• E.g. 地図の作成, ナビゲーション

13

2. Environment
Gazebo + ROS + Gym + Q learning の学習例

今回のハッカソンではGazebo 上の学習はしません！

14

3. ALGORITHM
アルゴリズム編
15

3. Algorithm
脳の意思決定1. 実行できる行動を列挙
2. そのほとんどを抑制
3. とるべき行動に対して脱抑制⇒複数モジュール間で抑制/脱抑制がベース♡

近年の強化学習の意思決定– 多くは単一モジュールでEnd-to-End Learning– 抑制/脱抑制の考え方は一般的ではない

複数モジュールで抑制/脱抑制を用いた強化学習

16

3. Algorithm
抑制/脱抑制を担う代表的な脳領域– 大脳基底核• 脳損傷例:– パーキンソン病、ハンチントン病• どちらかといえば低レイヤー– 前頭前野• 脳損傷例:– 利他的(倫理的)行動ができない、– 実行できると認識した行動を無意識に実行• どちらかといえば高レイヤー
前頭前野損傷患者の症例≒現在の強化学習⇒前頭前野に着目したモデル改良に期待

17

3. Algorithm

18

Accumulator モデル– ある意思決定をする場合に• 毎回その意思決定のための “証拠” を ”累積証拠”• ある閾値を超えたら, その行動を実行– [Mazurek-Shadlen 2003 Cereb Cortex] [Hanks-Brody 2015 Nature]• Accumulatorとして動作するニューロンを脳のさまざまな部位で発見– [Schurger-Dehaene 2012 PNAS]• 自発的な運動の開始がAccumulator モデルを用いてモデル化可能– [Soon-Haynes 2008 Nat Neurosci]• 自発的な運動選択の開始部位は前頭前野

Accumulatorは前頭前野のモデルとして妥当！！
今回は”抑制”をAccumulatorでモデル化

19

3. Algorithm
提案手法
Agent閾値

Accumulator GA

累積証拠ActionC停止C上C

下C

DQN

StateReward
認知アーキテクチャ学習プラットフォーム
C: 各モジュールが独自に計算した自信度

Noh＊Accumulatorをモデル化する際に頻繁に用いられるランジュマン方程式を利用した。ただしここでa(x,t)=mu,b(x, t)=1, R(t)を平均0,分散sigmaのホワイトノイズを仮定する。また、ランジュマン方程式を伊藤の方式で式変形したフォッカープラン
ク方程式と等価であり、そのふるまいを式から想定（できる人には）できる

3. Algorithm
提案手法の性質と工学的利点

20– 学習器と抑制器が階層的• Accumulatorの時定数が長い• 証拠が蓄積するまで同じ方策⇒フラフラしない！生物としては妥当！
• 学習器が学習した行動をその時の報酬環境にしたがって、柔軟に切り替え可能⇒強化学習の探索空間の制限• 報酬環境の切り替えを、確率微分方程式のパラメタを変えるだけで実現可能⇒モデルがシンプル！

工学的な話はここまで。
個々からはスコア向上を目指さない3. Algorithm
1世代目

21

3. Algorithm
2世代目

22

3. Algorithm
3世代目

23

24
従来法と3世代目との比較
かわいい・・・

なし

提案手法

25

Conclusion
提案
前頭前野Accumulatorを用いた動的脱抑制モデルと物理シミュレータを用いた強化学習
特長[すごい][おもろい][脳っぽい]

新しい [環境] [アルゴリズム][プラットフォーム] のすべてをセットアップ
エージェントの気持ちを考えてみたら今の強化学習が生物的に不自然だと気付いた
前頭前野の[役割]や[生理学的知見]を総合的に踏まえてモデル化

展望構築したアルゴリズムをGazebo上で動作

Appendix

3. Algorithm

27

28

3. Algorithm
Y -の値
generationμ (DQN module)

0.6

30.5

2.5

0.4

20.3

1.5

0.2

10.1

行動の継続しにくさ

3.5Y の値

00.5

1000.5

61

1.5

11
世代
22.5

163

3. Algorithm
4世代目

29

3. Algorithm
実験1: Suppression Boosting なし VS あり
なし

あり

結果: SBによって無駄な動きが軽減

30

31
従来法と4世代目との比較

32
5世代目

33
6世代目

3. Algorithm
36世代目

34

35
generation - μ (All module)
0.7

0.6

0.5

0.4

DQN
Stop

0.3
Up
"Down"

0.2

0.1

002

468

1012141618

3. Algorithm
Accumulator モデル– [Schurger-Dehaene 2012 PNAS]• <ヒト>• 自発的運動の開始がaccumulatorモデルで説明できる．
– [Kelly-O'Connell 2013 JNS]
• <ヒト>• ランダムドットの知覚的意思決定．
• accumulationっぽいEEG活動が見られる．
– [Hanks-Brody 2015 Nature]• <ラット>• 知覚的意思決定．accumulator的な活動は頭頂葉と前頭前野で見られる．
• なんかよくわからん解析をした結果，前者は実際にaccumulator的だが前頭前野はカテゴリー的

36

サーベイ
Accumulator モデル

37– [Schurger-Dehaene 2012 PNAS]• <ヒト>• 自発的運動の開始がaccumulatorモデルで説明できる．
– [Soon-Haynes 2013 PNAS]• <ヒト>• 自由選択（足し算をするか引き算をするか）が，意思決定の数秒前に内側前頭前野と内側側頭皮質の活動から予測できる．

38
Accumulator モデル– [Soon-Haynes 2008 Nat Neurosci]– [Bode-Haynes 2011 Plos One]• <ヒト>• 自由選択（ボタン押し）が，意思決定の数秒前に脳活動から予測できる．
• 2008で前頭極が時間的に一番先行することが示され，2011は前頭極に絞った解析．

39
Accumulator モデル– [Polania 2014 Neuron]• <ヒト>• accumulatorによる意思決定を，知覚的意思決定と価値的意思決定で比較．
• 前頭前野は価値的意思決定のみ，頭頂葉は両方に関与．

– [Kelly-O'Connell 2013 JNS]
• <ヒト>• ランダムドットの知覚的意思決定．
• accumulationっぽいEEG活動が見られる．

40
Accumulator モデル– [Bode 2012 JNS]
• <ヒト>• 知覚的意思決定（ノイジー画像の知覚）の解析• accumulatorモデルを用いたもの．

41
Accumulator モデル– [Mazurek-Shadlen 2003 Cereb Cortex]– [Gold-Shadlen 2007 Annu Rev Neurosci]• <サル>• 知覚的意思決定をaccumulatorモデルで説明した古典的論文と，その総説．
– [Hanks-Brody 2015 Nature]• <ラット>• 知覚的意思決定．accumulator的な活動は頭頂葉と前頭前野で見られる．
• なんかよくわからん解析をした結果，前者は実際にaccumulator的だが前頭前野はカテゴリー的