推論規則の価値を階層型強化学習 RGoal を用いて学習する手法の提案
汎用人工知能研究会
2020-02-20

1

私の研究の中期的目標• 前頭前野周辺の計算論的モデルの構築– 報酬期待値を最大化する合理的な行動・思考・言語理解・発話をする知的エージェントのモデル

運動野

前頭前野

言語野

視覚野

大脳皮質

基底核

扁桃体

海馬

小脳
2

背景と発表の概要• 記号ＡＩと統計的機械学習の統合は重要な未解決問
題• 我々は以前 Prolog 言語が行うような推論を階層型強化学習 RGoal の上で実現する手法を提案[一杉他 第12回 汎用人工知能研究会 2019年8月]– ただし学習は未実装、正しい推論規則をあらかじめ与えていた• 今回は推論規則を経験から獲得する方法を提案– その一部である推論規則の「正しさ」の学習方法を実装

3

今回の目標：
推論の正しさの学習「きのう戸棚にチョコレートがあった。 ということは、きょうもあるはず。」「あれ？チョコレートがない。
そういえば、おにいちゃんが今朝食べたと言っていた。
食べたからなくなったのか・・・。」「きのうチョコレートがあったらきょうもチョコレートがある」とは限らない、と学習。

https://www.irasutoya.com/2016/09/blog-post_280.html

https://www.irasutoya.com/2016/12/blog-post_40.html

4

記号ＡＩと強化学習の融合の試み• RRL (Relational Reinforcement Learning, 2001)– 高い汎化能力の実現が目的• 強化学習と帰納論理プログラミングの融合• 行動価値関数を論理決定木に圧縮• Soar-RL (2005)• プロダクションシステムのルールの優先度の学習• rlCoP (2018) NeurIPS– 定理証明システムの性能向上が目的• 証明の１ステップをモンテカルロ木探索で選択• 本研究– ヒトと同様の推論・知識獲得の再現が目的– 生物学的妥当性とマルチタスク環境での効率的学習を重視
5

エージェントのアーキテクチャ
ワーキングメモリの値は、環境において成り立っているとエージェントが信じる命題の集合例： 「戸棚の中にチョコレートがある」「外は晴れている」・・・

推論機構

予測

ワーキングメモリ

推論機構

ワーキングメモリ

観測
センサー

時刻 t

センサー

t+1

推論機構はワーキングメモリの現在の状態から次の状態を予測・推論
6

大脳皮質と述語の集合
大脳皮質

ベイジアンネット

述語

マクロコラム

多値確率変数

述語の引数

ミニコラム

確率変数の値

述語の引数の値

ニューロン発火

事後確率

真偽値

コンフリクト検出

同時確率が０矛盾

ミニコラム

マクロコラムP(a)Q(b,c)

I
II
III
IVVVI

7

階層型強化学習 RGoal[一杉 et al.第9回 汎用人工知能研究会 2018]• 再帰的なサブルーチン呼び出しが可能。
– サブルーチン＝サブゴールに向かう方策• マルチタスク環境で学習を加速。
• サブルーチンを組み合わせて未経験のタスクも解ける。
– 有限個の推論規則の組み合わせで無限の推論タスクが解ける。
知的エージェント
報酬関数 状態センサー

ワーキングメモリ

報酬
サブゴール
行動価値関数

行動スタック

環境

内部状態の更新
Call, Set, ...
環境への行動出力

アクチュエーター

8パターンを用いたテーブルの圧縮[一杉 et al.第10回 汎用人工知能研究会 2018]
Y 0

パターン

値

2.0 1.0 1.0 3.0 1.0(3,3)

4.0

1

1.0 2.0 1.0 3.0 1.0(X,3)

3.0

2

1.0 1.0 2.0 3.0 1.0(X,X)

2.0

3

1.0 1.0 1.0 4.0 1.0(X,Y)

1.0

4

1.0 1.0 1.0 3.0 2.0

X
0

1234

テーブルのインデックスの代わりにパターンを用いることで、サイズ 5 x 5 = 25 のテーブルがサイズ 4 に圧縮
・ ルールの順序には意味はないものとする。
・ マッチするルールが複数ある場合、最も特殊なパターンをもつルールの方を選択する。
・ 「最も特殊なパターン」とは、用いる変数の種類が最も少ないパターンと定義。
9前頭葉とパターン前頭前野外側部で動作順序をパターンで抽象化した動作カテゴリとして表現

Keisetsu Shima, Masaki Isoda, Hajime Mushiake and Jun Tanji,
Categorization of behavioural sequences in the prefrontal cortex,
Nature, 445, 315-318, 2007.

図： 虫明 元 「前頭葉のしくみ―からだ・心・社会をつなぐネットワーク― 」
共立出版, 2019.

10

推論規則を経験から獲得する際の２つの問題と解決策• 探索空間が広すぎる。
→ 「正しい推論規則の候補の獲得」と、「推論規則の価値の学習」の２段階に分けて知識を獲得するというシナリオを提案• 正解がわからないと推論規則が正しいかどうかも判断できない。
推論の目的の１つは隠れた状態の推定
例：「戸棚の中にチョコレートはあるか？」→ 「通常モード」と「推論訓練モード」を使う学習機構を提案
今回、推論訓練モードのモデルを実装し動作を確認
11

「正しい推論規則の候補」の獲得• 人間は１つの経験からワンショットで推論規則の候補を獲得する。（ただし、その推論規則が常に正しいかどうかはわからない。）– 「カラスを見た。そばにカメがいた。」という経験から「カラスがいたらそばにカメもいる。」という推論規則を獲得– 「隣の家の太郎君が犬をかわいがっていたよ。」という発話から「太郎君は犬が好きである。」「隣の家の人はみんな犬が好きである。」「太郎君は動物が好きである。」という推論規則を獲得– 目立つ特徴・事象に注目、さらに経験した事実を抽象化– この機構は今回は未実装• こうやって獲得した「正しい推論規則の候補」の「正しさ」を、次に説明する推論訓練モードで学習
12

学習の「正解」を得る方法：
通常モードと推論訓練モード• 通常モード：– 通常の強化学習と同様に行動・学習するモード。
– 予測と観測事実との矛盾の検出で推論訓練モードに移行。
例：「チョコレートがあると思ったのに、ない！」• 推論訓練モード（今回実装）：– 推論の「正解」をゴールにして推論（証明探索）を繰り返すモード。
– 「正解」はたった今、予想に反して観測したその命題そのもの用いる。
例：「チョコレートがない。」をゴールにして推論を繰り返す。
– 推論結果が「正解」と異なる場合は推論を最初から繰り返す。
例：「チョコレートがあるはず。」→「やっぱりない。なんでだろう。」– 何度も繰り返すと、今の状況で「チョコレートがあるはず」という結果を導くことに関与する状態行動対の価値が下がっていき、やがて「チョコレートがない」という正しい推論をするようになるはず。
13

推論の「正しさ」を「正解に到達するまでのコストの低さ」で代用
推論＝証明探索＝ゴールに向けた経路探索

正しい推論結果「チョコレートがない。」
スタート

正しくない推論結果「チョコレートがある。」
間違った推論をしたらスタートに強制的に戻す
14

強化学習によりゴールへの最短経路が学習される
ゴールに到達するまでのコスト（１ステップごとに -1 のコスト）-2-3-1-4

スタート

正しい推論結果「チョコレートがない。」-5-6-5-4

正しくない推論結果「チョコレートがある。」

15

行動ルール• 行動ルール：

rule(s,g,a)– s ：現在のワーキングメモリの値– g ：サブゴール– a ：行動• Call(g') はサブルーチン呼び出し： 現在のサブゴール g をスタックに積んで新たなサブゴールを g' に設定• Set(s') はワーキングメモリの値を s' と環境の状態をパターンマッ
ワーキングメモリはチした結果の値に設定
環境にグラウンディング
ただし環境の状態と矛盾したら fail• Fail はスタックの状態を破棄しエージェントを初期状態にリセット• １つの行動ルールは背外側前頭前野のミニコラム１つに対応すると想定（ヒトで１００万個程度）
16

実行が fail したときの学習則
拡張状態行動空間 [Ichisugi et.al 2019] 上での Sarsa

実行が fail したときの学習則

ただしサンプル実装：https://staff.aist.go.jp/y-ichisugi/besom/InfLearn20200220.zip
17実行例１：正しくない推論規則の価値が下がる例
環境において「P(1) と Q(2) が成り立っている」か「P(2) と Q(1) が成り立っている」かのいずれかのとき、
命題 Q(a) を推論するタスクで学習エピソード終了までの平均実行項時間

あらかじめエージェントに与える行動ルール集合
P(1) ならば Q(2)P(2) ならば Q(1)P(1) ならば Q(1) 正しくないのでP(2) ならば Q(2) 価値が下がる
1000エピソード学習後の価値18

実行の流れ環境の状態： { P(1), Q(2) }softmax 関数で決まる
確率で分岐

fail して最初からやりなおしエピソード終了

19実行例２：遠回りの推論が使われなくなる例
環境において「P(1) と Q(1) と R(1) が成り立っている」か「P(2) と Q(2) と R(2) が成り立っている」かのいずれかのとき、R(a) を推論するタスクで学習エピソード終了までの平均実行項時間

P(X) から R(X) を推論
P(X) から Q(X) を推論してからQ(X) から R(X) を推論
遠回りなので価値が下がる

1000エピソード学習後の価値

20

実行の流れsoftmax 関数で決まる
確率で分岐

エピソード終了
21

そのほかの実行例
実行例３：間違ったサブルーチンを呼び出す行動ルールが使われなくなる例

実行例４：決めつけの方が価値が高い例

実行例５：２つの命題から値を推論する例

実行例６：例外的な状況を処理する
ルールの例
22

予測と観測の不一致の検出機構• 提案手法では２か所で使っている– 通常モードから推論学習モードへの切り替えタイミングの検出– 推論訓練モードにおける fail すべき状況の検出• 大脳皮質全体がベイジアンネットならば、同時確率が０であることを検出することで実現可能

推論機構

予測

ワーキング
メモリ

推論機構

ワーキングメモリ

観測センサーセンサー23

まとめと今後• 環境の中で動く知的エージェントが正しい推論規則を経験から獲得するための手法を提案• 提案手法は、推論規則の「正しさ」を「正解に到達するまでのコストの低さ」で代用し、それを階層型強化学習 RGoal によって学習• 予測と矛盾する観測結果を「正解」として推論訓練モードを実行• 汎用人工知能の自律的な知識獲得の基本原理の１つの候補• 今後：– 他者の心の状態の推定を伴う言語理解、合目的的な発話計画などのモデルの実現、対話システムへの応用– 脳全体のアーキテクチャの実現

24

脳型ＡＧＩアーキテクチャ全体像（案）海馬・内側側頭葉

強化学習エピソード記憶２４野（前部帯状回）

動機

１０野？

側頭葉

環境モデル

意味記憶

９・４６野（背外側前頭前野）

行動

文法

２２野

情動島皮質

記号的意味表現

１０野？

３９野

４４・４５野

辞書
４４野？

単語列

場所・時刻

６野（前運動野）

動作

環境の状態

４野（一次運動野）

ワーキングメモリ

１０野？

筋駆動

４０野（縁上回）

音韻バッファ
ゲート

脊髄運動細胞

運動出力

体性感覚野

体性感覚視覚野

視覚聴覚野

聴覚25

脳全体のアーキテクチャの実現に向けて実装すべきこと
••
•
••
•

注意の機構を用いた「正しい推論規則の候補」の獲得
通常モードと推論訓練モードの切り替え機構
異なる時刻・場所における複数のイベントの表現
一時メモリと永続メモリ(Cf. Dyna-2)
宣言的知識（エピソード記憶と意味記憶）
メタ認知・メタ学習

26

記号ＡＩが扱う知識の利点• 知識の汎用性が高い。
– 知識を組み合わせることで多様な推論が行える。

• 汎化能力が高い。
• 知識のモジュラリティが高い。
– 環境の変化に対応しやすい。

• 自然言語との相互変換が容易。
– 他者との情報交換を前提とした知識の内部表現に適している。

27