人工知能学会研究会資料
SIG-AGI-009-05

RGoal Architecture:
再帰的にサブゴールを設定できる階層型強化学習アーキテクチャ
The RGoal Architecture: A Hierarchical Reinforcement Learning
Architecture That Can Set Subgoals Recursively
1

Yuuji Ichisugi

一杉裕志 1∗ 高橋直人 1 中田秀基 1 佐野崇 2
Naoto Takahashi 1
Hidemoto Nakada1

Takashi Sano2

産業技術総合研究所 人工知能研究センター
National Institute of Advanced Industrial Science and Technology (AIST), AIRC
2
成蹊大学 理工学部 情報科学科
2
Department of Computer and Information Science, Faculty of Science and Technology,
Seikei University
1

1

Abstract: Humans can set suitable subgoals in order to achieve some purposes, and furthermore,
can set sub-subgoals recursively if needed. It seems that the depth of the recursion is unlimited.
Inspired by this behavior, we have designed a new hierarchical reinforcement learning architecture,
the RGoal architecture. The algorithm is designed to solve the MDP on the augmented stateaction space. The action-value function becomes shareable among multi-tasks due to the valuefunction decomposition. The sharing accelerates learning in multi-task setting. The mechanism
named “think-mode” is a kind of model-based reinforcement learning. It combines learned simple
tasks in order to solve inexperienced complicated tasks quickly, or in zero-shot in some cases. The
algorithm is realized by a flat table and repetition of simple operations, without a stack. Hereafter,
we will extend this architecture, and will build the model of the information processing mechanismof the prefrontal cortex in the brain.

概要

ึᮇ≧ែ

人間は何か目的を達成するために適切なサブゴールを設定できる。さらに必要に応じてそのサブゴールを再帰的に設定することができ、その再帰の深さには制約がないように見える。この振る舞いにヒントを得た
階層型強化学習の新しいアーキテクチャとして、RGoal
アーキテクチャを提案する。アルゴリズムは、拡張状態
行動空間上の MDP を解く形で定式化される。行動価
値関数は、価値関数分解により複数のタスク間で共有可能になり、マルチタスク環境での学習を効率化する。
「思考モード」における振る舞いは一種のモデルベース
強化学習であり、学習済みのタスクを組み合わせることで、一度も経験したことのないタスクを少ない試行
錯誤で、場合によってはゼロショットで解くことができる。アルゴリズムはスタックを用いず、フラットなテー
ブルとシンプルな操作の繰り返しで実現される。今後∗ 連絡先：産業技術総合研究所

茨城県つくば市梅園１−１−１ 中央第１E-mail: y-ichisugi@aist.go.jp䛿䛧䛤䜢⨨䛔䛯≧ែ䛿䛧䛤䜢⨨䛟

ึᮇ≧ែ

ୖ䛳䛶ྲྀ䜛

಴ᗜ䛻䛔䜛≧ែ

಴ᗜ䛻⾜䛟

ึᮇ≧ែ

≀䜢ྲྀ䛳䛯≧ែ䛿䛧䛤䜢㐠䜆

㒊ᒇ䜢ฟ䛯≧ែ㒊ᒇ䜢ฟ䜛䛿䛧䛤䜢⨨䛔䛯≧ែ಴ᗜ䛻䛔䜛≧ែᗯୗ䜢㐍䜐

図 1: 人間が再帰的なサブゴールを設定する一例。
このアーキテクチャを拡張し、脳の前頭前野周辺の情報処理機構のモデルを構築する。

人工知能学会研究会資料
SIG-AGI-009-05

'ϭ
^

'Ϯ

ŵ
'ϯ

図 2: ゴールが異なっていても、中間地点（サブゴール）までの経路が共通ならば、それを共有することで学習が早く進む。

作できるように作られているのではないか。
このような背景から、人間の振る舞いにヒントを得て、スタックの機構がなくても動作する、再帰的にサブ
ゴールを設定可能な階層型強化学習のアーキテクチャを設計した。これを RGoal Architecture と呼ぶ。以下の章で、このアーキテクチャの詳細を述べていく。
まず 2 章でマルコフ決定過程について簡単に説明した後、3 章で提案アーキテクチャの詳細を説明し、4 章で評価、5 章で議論を行う。6 章では関連研究について述べる。7 章でまとめと今後について述べる。

2
1

はじめに

人間は何か目的（ゴール）を達成しようとする際に、適宜サブゴールを設定している [1]。例えば高いところにあるものを取りたいとき、「はしごに上って取る」という方法を思いついたならば、まずはそこにはしごを置く必要がある。つまり、「はしごを置いた状態」がサブゴールになる (図 1)。さらに、サブゴールを達成するために必要であれば、再帰的にサブサブゴールも設定される。例えばはしごが倉庫にあるならば、まず倉庫に行く必要がある。つまり、「自分が倉庫にいる状態」
がサブサブゴールになる。人間にとってこのような再帰的なサブゴールの設定の深さには、制限はないように見える。
そもそもサブゴールを設定する利点はなんだろうか。
１つには、マルチタスク環境において、タスクの一部をサブルーチンとして共有できる点がある。図 2 のようにスタート S からゴール Gi 行くタスクにおいては、ゴールが異なっていても、 S から m への最短経路は共通である。S から m へに向かうというサブタスクの解き方をサブルーチンとして複数のタスク間で共有すれば、学習に必要なパラメタが少なくなり、学習が速くなる。
例えば、「はしごを置く（はしごを置いた状態を目指して行動する）」という動作は、高いところのものを取る
ときだけでなく、電球を取り換えるときなど様々なタスクで共通して利用できる。サブルーチンの共有による性能向上は、階層型強化学習 [6][7][8][10][11][13][14][15]の目的の１つである。
もし再帰的にサブゴールが設定できれば、サブルーチンの共有の機会はより増え、よりメリットが大きいだろう。MAXQ[11] はそれを可能にする多層の階層型
強化学習アーキテクチャの１つである。MAXQ は、階層的なサブルーチンの学習・実行にスタックを必要とする。しかし人間の脳内に、デジタル計算機のように頑健に動作するスタックがあるとは考えにくい。脳の再帰的なサブゴール設定の機構は、サブゴール達成後、次にすべき動作を必ずしも正確に想起できなくても動マルコフ決定過程

マルコフ決定過程 (Markov Decision Process, MDP)を、状態の集合 S 、行動の集合 A、推移確率関数 P :S × A → (S → [0, 1])、報酬関数 r : S × A → R の４
つ組 < S, A, P, r > として定義する。以下に、２次元格子上の迷路の場合について具体例を挙げる。状態はエージェントの位置の x 座標と y 座標の組で、行動は
上下左右斜めの８方向とすると、S と A は次のようになる。

S= {(0, 0), (0, 1), . . .}A

= {U p, Down, Right, Lef t,
U pRight, U pLef t, DownRight, DownLef t}(1)

ある座標 s = (10, 10) において行動 a = U p をとると確率１で座標 s′ = (10, 11) に移動するならば、そのことは推移確率関数 P (s′ |s, a) を用いて下記の式で表現される。

P ( (10, 11) | (10, 10) , U p) = 1(2)

そのとき報酬 −1 が与えられるならば、そのことは報酬関数 r(s, a) を用いて下記の式で表現される。

r( (10, 10) , U p) = −1

(3)

強化学習の目的は、与えられた MDP のもとで、累積報酬期待値を最大化する方策（行動のルール）を獲得することにある。

3

提案アーキテクチャ

3.1

仮定

我々が提案する階層型強化学習のアーキテクチャは、
HDG[8] と MAXQ[11] に強く影響を受けているが、設計にあたっては、脳内の神経回路でも容易に実現でき人工知能学会研究会資料
SIG-AGI-009-05

るような単純なアーキテクチャになることを目指している。
スタックなしで動作するアーキテクチャを設計するにあたって、いくつかの仮定を置く。
第１に、次々に再帰的にサブゴールを設定しても、おおもとのゴール（グローバルゴール と呼ぶ）は決して忘れない、もしくはグローバルゴールは外界の状態の一部であり必要に応じていつでも観測することができる、と仮定する。そうすれば、サブゴール達成後、あらためてグローバルゴールを目指して動作を継続することができる。生物におけるグローバルゴールの例は、空腹やのどの渇きのような生理的欲求の解消である。
第２に、ランドマークと呼ぶ状態の集合があらかじめ与えられていること、そしてグローバルゴールやサブゴールは必ずそのランドマークのうちのどれかであることを仮定する。ランドマークは、タスクを解く上でのマイルストーン（中間目標）となり得る状態である。
ランドマークは生物の場合、模倣学習や何らかのヒュー
リスティックスで獲得されるものと想定する。ヒューリ
スティックスとしては、例えば、顕著な刺激や大きなＴ
Ｄ誤差が発生した瞬間の状態を記憶し、ランドマークとすることが考えられる。
提案アーキテクチャでは、タスク間で共有されるサブルーチンを、「任意の状態からある１つの状態（サブゴール）に向かう方策」と定義する。Options [10] やMAXQ[11] 等では１つのサブルーチン (option) が終了した時の状態が一意に決まらないが、提案アーキテク
チャでは、H-DYNA[6][7] や HDG[8] と同様に、１つに決まる。この性質によりアーキテクチャを大幅に単純化できる上、3.7 章で述べる思考モードが実現可能になる。サブルーチンの終了状態がたった１つの状態しかなければタスク間での共有の機会が著しく落ちると思われるかもしれないが、将来は注意の機構などを取り入れることでサブゴールの状態を抽象化し、汎用性を持たせることを計画している。
なお、提案アーキテクチャでは、ランドマークの与え方は性能に大きな影響を与えはするものの、どんな与え方をしてもタスクが解けなくなることはない。ランドマークが１つしか与えられない場合は通常のフラットな強化学習と等価である。ランドマークを多く与えすぎた場合は、利用価値のないランドマークは学習が進むにつれ単に使われなくなっていく。

3.2

拡張状態行動空間

ある MDP < S, A, P, r > とランドマークの集合
M ⊆ S が与えられたとき、拡張状態行動空間 [14] の上での MDP < S̃, Ã, P̃ , r̃ > を以下に定義する。まず、拡張された状態 S̃ と行動 Ã の集合を下記のように定

;ĂͿ

hƉ
>ĞĨƚ



ZŝŐŚƚ

ŽǁŶ

;ďͿ
ଶ

̃ ൌ ሺǡ ଵ ሻ

ଷ


ଵ
௠య
̃ ൌ ሺǡ ଶ ሻ

௠మ
ଶ

ଷ


ଵ
̃ ൌ ሺǡ ଷ ሻ

ଶ

ଷ


ଵ
図 3: 拡張状態行動空間。(a) オリジナルの状態空間。
ここでは２次元平面としている。(b) ランドマークの集合 M = {m1 , m2 , m3 } が与えられたときの、拡張された状態空間。拡張された状態は、オリジナルの状態
s とサブゴール mi のペア (s, mi ) で表現される。行動
は、もともとの２次元平面内の移動に加え、サブゴー
ルを切り替える行動 GM = {Gm1 , Gm2 , Gm3 , } の中の１つが選択可能になる。各ランドマークの間に上下関係はなく、相互再帰的にいつでも他のランドマークをサブゴールに設定することができる。

人工知能学会研究会資料
SIG-AGI-009-05

義する。

ሺ‫ݏ‬ǡ ݃ሻS̃= S ×MÃ= A ∪ GMM

= {m1 , m2 , · · ·} ⊆ S

GM= {Gm1 , Gm2 , · · ·}P̃ ((s, m)|(s, g), Gm ) =r̃((s, g), Gm ) =

͘͘͘

݃ǡ ݃

‫ܯ‬గ ‫ݏ‬ǡ ݃ǡ ܽ෤݃ǡ ‫ܩ‬

ሺ‫ܩ‬ǡ ‫ܩ‬ሻP (s′ |s, a)1(5)r(s, a)RG(6)

定数 RG はサブゴール切り替えのコストを表すハイパパラメタである。
拡張状態行動空間を図 3 に示す。オリジナルの状態
空間が２次元マップだったとすると、ランドマークをn 個与えた拡張状態空間は n 階建ての２次元マップになる。エージェントは１回の行動で、フロア内を移動するか、フロア内での座標を変えずに別のフロアに移動するかのいずれかを行う。
提案するアーキテクチャは、この拡張状態行動空間
上の MDP を解くアルゴリズムとして設計される。拡張状態行動空間は、本来エージェントの内的状態であるサブゴール g を外界の状態の一部と見なしている。
しかし数学的構造は通常と MDP と同じなので、MDPを前提とした様々な理論的帰結（例えば厳密解への収束性）や強化学習の高速化技術（例えば関数近似や適格度トレース）が利用可能である。
拡張状態行動空間上では、サブゴール g に到達していなくても、サブゴールを他のランドマークに切り替えることが許されている。つまり、サブルーチンを実
行途中であっても、よりよいサブルーチンがあればそれに実行を切り替えられる。この方が、終了するまでサブルーチンを抜けられないアーキテクチャと比べてより柔軟に行動できる。同様の動作は HDG[8] で実装されており、Options [10] では option の中断として、
MAXQ[11] では非階層的実行と呼ぶ形で取り入れられ
ている。

Ͳ

ܸீగ ݃

ܳீగ ሺ‫ݏ‬ǡ ݃ሻǡ ܽ෤(4)

拡張された報酬関数 r̃ は以下のように定義される。

r̃((s, g), a) =ሺ‫ݏ‬Ԣǡ ݃Ԣሻ‫ݎ‬状態 s̃ = (s, g) ∈ S̃ は、オリジナルの状態 s とサブ
ゴール g ∈ M の組である。Gm ∈ GM ⊂ Ã は、ランドマークの１つ m を新たなサブゴールに設定する行動である。この行動をとることで状態 (s, g) は (s, m) に変化する。拡張された推移確率関数 P̃ (s̃′ |s̃, ã) は、オ
リジナルの推移確率関数 P を使って以下のように定義される。

P̃ ((s′ , g)|(s, g), a) =ܽ෤

図 4: 提案アーキテクチャにおける価値関数分解。状態 s からサブゴール g を経由してグローバルゴール Gに到達した場合における、各区間における報酬の総和の期待値。M π の値はグローバルゴール G に依存しな
いため、様々なタスク間で共有することができる。また、 VGπ の値は M π から効率的に計算できる。（詳細は本文参照。）

3.3

価値関数分解拡張状態行動空間の上で価値関数分解 [11] を行うことで、行動価値関数の一部をタスク間で共有し、学習速度を上げることができる。提案アーキテクチャにおける価値関数分解は MAXQ[11] の方法よりも、 HDYNA[6][7] や HDG[8] で行われている方法に近い。
以下に具体的に説明する。
まず方策 π : S̃ × Ã → [0, 1] とグローバルゴール
G ∈ M が与えられたときの行動価値関数 QπG を以下のように定義する。
π
QπG ((s, g), ã) = EG[Σ∞t=0 rt+1 |s̃0 = (s, g), ã0 = ã] (7)

この式は、初期状態 (s, g) において行動 ã を取った後、方策 π に従って行動し続けたときに得られる報酬の列
r1 = r̃(s̃0 , ã0 ), r2 = r̃(s̃1 , ã1 ), · · · の総和の期待値である。なお、状態 s がグローバルゴール G に到着した時
刻以降は報酬 rt の値は 0 とする。また、本稿では報酬割引は行わないものとする。
方策 π に従って行動することで 状態 (s, g) からサブ
ゴール (g, g) に、さらに (g, G) からグローバルゴール(G, G) に必ず到着できると仮定する。また、 (g, g) に到着した直後の状態は (g, G) に強制的に切り替わり、その際の報酬は 0 と仮定する。そのとき、図 4 から明らかなように、QπG は以下のように、g への到着前と到着後に分解することができる。

QπG ((s, g), ã) = M π (s, g, ã) + VGπ (g)(8)

ここで、 M π (s, g, ã) は状態 s において行動 ã を取った後、方策 π に従って行動しサブゴール g に到着するまでの報酬の総和の期待値である。また、 VGπ (g) は、
サブゴール g に到着した直後の状態 s̃ = (g, G) から方策 π に従って行動しグローバルゴール G に到着する

人工知能学会研究会資料
SIG-AGI-009-05

までの報酬の総和の期待値で、VGπ (g) =3.6

Σã π((g, G), ã)QπG ((g, G), ã)= Σã π((g, G), ã)(Mπ(g, G, ã) + VGπ (G))= Σã π((g, G), ã)M π (g, G, ã)(9)である。（VGπ (G) = 0 である点に注意。）
このように、VGπ (g) の値は M π (s, g, ã) から効率的に計算できる。今回の実装では M π (s, g, ã) はテーブルとして保持し、3.5 章で述べる学習則により学習する。

3.4

行動選択

現在の Q((s, g), ã) の値を用いてグリーディーに行動を選択する場合は以下のようにする。

ã′= argmax Q((s, g), ã)ã= argmax(M (s, g, ã) + VG (g))

行動価値テーブルの初期化

定義により s = g のときは必ず M (s, g, ã) = 0 なので、そのように初期化しておく。
それ以外の場合、つまり s ̸= g については初期値は
理論上は任意の値でよい。しかし 4 章でも示すように、初期値は実際の性能に大きく影響する。一般に、解こうとする問題の特性についての事前知識を行動価値テー
ブルの初期値として与えることで性能を上げることができる [12]。
提案アーキテクチャにおいては、事前知識を用いた初期値設定の極端な場合として、 −∞ を設定することが特に有効である。ランドマークを切り替える行動
Gm が任意の状態 s において選択可能だとすると、学習すべき行動価値テーブルのサイズが大きくなり、性能低下の原因となる。そこで、行動 Gm を選択可能なのは、状態 s がランドマーク上にあるときのみである
ように制限したいとする。そのためには、 s ∈
/ Mに
対して

ã

= argmax M (s, g, ã)(10)M (s, g, Gm ) = −∞ã

今回の実装では以下の式で定義される softmax での行動選択を行っている。

exp(βM (s, g, ã))
Σã′ exp(βM (s, g, ã′ ))π((s, g), ã) =

3.5

(11)

学習

行動価値テーブル M の値は、通常の強化学習アルゴ
リズムと同様の方法で学習することが可能である。例
えば Sarsa で学習する場合の Q の更新式は以下のようになる。

Q(s̃, ã) ← Q(s̃, ã) + α(r + Q(s̃′ , ã′ ) − Q(s̃, ã)) (12)
この更新式と式 (8) から次の更新式を容易に導くことができる1 。

′′′と設定すればよい。初期値に −∞ を設定された行動は決して選ばれることはないため、探索空間が狭くなる。
なお、選ばれない行動は 3.5 章で述べた学習にも関わらないため、−∞ の値が他のテーブルの要素に伝搬していくことはない2 。
必 要 な ら ば 適 切 な m1 , m2 , m3 に 対 し て さ ら に
M (m1 , m2 , Gm3 ) = −∞ を設定することでどのサブ
ゴールがどのサブゴールを呼び出せるかを制限し、探索空間を減らすことができる。制約をしすぎると性能がかえって悪くなることも起こり得るが、理論上はもともとの MDP が解けなくなることはない。この方法を用いて MAXQ[11] のタスクグラフ似た制約を設計者が与えることができる。設計者が与えなくても、そのような制約を模倣や言語活動を通じて獲得するような機構も考え得る。

3.7

M (s, g, ã) ← M (s, g, ã)

(14)

思考モード

′

+α(r + M (s , g , ã ) − M (s, g, ã) + VG (g ) − VG (g))

階層型強化学習には、1 章で述べたサブルーチンの共(13) 有という目的とは別の目的もある。それは、学習済みの簡単なタスクを組み合わせて複雑なタスクを近似的
ただし、 s = g の場合、すなわち状態 s がサブゴーに、しかし高速に解くという目的である。しかし、こル g に到達した場合には特別な扱いが必要である。定こまで述べた機構にはその機能はない。そこでアルゴ
義により s = g のときは必ず M (s, g, ã) = 0 でなけれリズムに思考モードと呼ぶもの導入する。
ばならないため、学習時には s = g の場合だけはその2 実装上の注意点をいくつか述べておく。εグリーディーで行動値を更新しないように実装する。
1 なお、 g ′ = g のときに V (g ′ ) − V (g) = 0 の計算を省くこGGとで計算時間を少し短くできる。

選択をする場合は、 −∞ の値を必ず避けるような実装になっている必要がある。 softmax の場合は価値が −∞ の行動は自然に排除される。いずれの場合も式 (9) の値を計算する時、0 × −∞ = N aNが発生しないように注意し、0 × −∞ = 0 であるかのように実装する必要がある。

人工知能学会研究会資料
SIG-AGI-009-05

;ĂͿ

;ďͿ

ŵϰ
ŵϭ
ŵϭ

ŵϯ
ŵϮ

ŵϯ
ŵϮ

図 5: (a) 隣接するランドマーク間の最適移動経路は学習済みだとする。(b) 離れたランドマーク間の最適移動経路の近似解は、隣接するランドマークをつなぐことで得られる。

1: procedure Episode(S, G, think-flag)s ← S; g ← G
Choose ã from s, g using policy derived from2:

思考モードが解こうとする問題を図 5 を使って説明する。今、隣接するランドマーク間の最適移動経路は学習済みだとする。このとき、離れたランドマーク間の最適移動経路の近似解は、隣接するランドマークをつなげば得られるはずである。都合のよいことに、この近似解は実際に行動しなくても「エージェントの脳内シ
ミュレーション」だけで高速に見つけられる [6][7][8]。
しかも提案アーキテクチャにおいては、この機能は、ア
ルゴリズムにわずかに修正を加えるだけで実現できる。
思考モードでは、選択された行動 ã が Gm でない場合（サブゴール切り替えでない場合）、s は１ステップでサブゴール g まで飛ぶことができる。その場合の報酬は sと g の間の報酬の総和の期待値 r = M (s, g, ã) とする。
このとき M (s, g, ã) は更新しないようにする。ã = Gmの場合は通常通りサブゴールを切り替え、M (s, g, Gm )も通常通り式 (13) を用いて更新する。以上の振る舞い
は、学習済みの M (s, g, ã) を環境のモデルと見なした
一種のモデルベース強化学習 [5][9] である。
思考モードでの実行により、未経験の M (s, g, Gm )の値を脳内で学習できる。これにより、離れたランドマーク間を適切につなぐサブゴールはどれなのかを学習できる。例えば図 5 の m1 から m3 への最適経路の近似解を求めるには、スタート S = m1 、ゴール G = m3
として思考モードによるエピソードを繰り返せばよい。
学習の結果、M (m1 , m3 , Gm2 ) が他の M (m1 , m3 , ã) よ
りも大きな値であれば、 m3 に向かうためにまず m2がサブゴールとして選択されることになる。
なお、必要ならば近似解ではなく厳密解を獲得することも可能である。思考モードではなく通常モードで、S = m1 , G = m3 として実際の経験を繰り返せば、m2を必ずしも経由しない厳密な最適経路がやがて学習さ
れる。

3.8

アルゴリズム

以上の結果をまとめた、Sarsa に基づくアルゴリズ
ムの疑似コードを図 6 に示す。
このように、アルゴリズムはスタックを用いず、フ
ラットなテーブル M と効率的でシンプルな操作の繰

3:

M
4:
5:
6:
7:
8:
9:
10:
11:
12:
13:

loop
# Take action.
if ã is Gm thens′ ← s; g ′ ← m; r ← RG
else
if think-flag thens′ ← g; g ′ ← g; r ← M (s, g, ã)else
Take action ã, observe r, s′g′ ← g# Choose action.
15:
if s′ = g ′ then16:ã′ ← GG
17:
else
18:
Choose ã′ from s′ , g ′ using policy derived from M
19:# Learn.
20:
if s = g or (think-flag and ã is not Gm )then
21:
# Do nothing.
22:
else
23:
M (s, g, ã) ← M (s, g, ã) + α(r +′ ′ ′M (s , g , ã ) − M (s, g, ã) + VG (g ′ ) − VG (g)
14:

24:
25:
26:

s ← s′ ; g ← g ′ ; ã ← ã′
if s = G thenreturn

図 6: １つのエピソードを実行するアルゴリズムの疑似コード。テーブル M はあらかじめ 3.6 章で述べたよ
うに初期化されているものとする。

人工知能学会研究会資料
SIG-AGI-009-05

Ϭ͘ϯ

ŵ

ŵ

ŵ

ĞƉŝƐŽĚĞƐͬƐƚĞƉƐ

Ϭ͘Ϯϱ

ŵ

WƌŽƉŽƐĞĚнƉƌĞнƚŚŝŶŬ

Ϭ͘ϮWƌŽƉŽƐĞĚнƉƌĞϬ͘ϭϱWƌŽƉŽƐĞĚ
^ĂƌƐĂнƉƌĞ

Ϭ͘ϭ

ŵ

ŵ

^ĂƌƐĂ
Ϭ͘Ϭϱ

ŵ

ŵ

Ϭ
ϭ Ϯ ϯ ϰ ϱ ϲ ϳ ϴ ϵ ϭϬ ϭϭ ϭϮ ϭϯ ϭϰ ϭϱ ϭϲ ϭϳ ϭϴ ϭϵ ϮϬƉƌĞƚƌĂŝŶŝŶŐ

ŵ

図 7: 評価に用いた２次元格子上の迷路のマップ。ランドマーク (m で示した) は部屋をつなぐ通路上の１０か所に設定した。このマップ上で、エピソードごとに異なるスタート S とゴール G が与えられる。ゴールは必ずランドマーク上に設定される。
り返しで実現される。また、思考モードは環境のモデ
ルを別途用意することなしに、アルゴリズムにわずかな修正を加えるだけで実現されている。

ǆϭϬϬ͕ϬϬϬƐƚĞƉƐ

図 8: 実験１の結果。実験したいずれの条件においても、提案アーキテクチャの収束速度が Sarsa を上回っている。pretraining フェーズにおけるスコアが高いのは、スタートとゴールの距離が短いためである。
Ϭ͘ϯ

Ϭ͘Ϯϱ

ĞƉŝƐŽĚĞƐͬƐƚĞƉƐ

ŵϬ͘ϮWƌŽƉŽƐĞĚнƉƌĞнƚŚŝŶŬ
WƌŽƉŽƐĞĚнƉƌĞϬ͘ϭϱWƌŽƉŽƐĞĚ
^ĂƌƐĂнƉƌĞ

Ϭ͘ϭ

評価

Ϭ
ϭ Ϯ ϯ ϰ ϱ ϲ ϳ ϴ ϵ ϭϬ ϭϭ ϭϮ ϭϯ ϭϰ ϭϱ ϭϲ ϭϳ ϭϴ ϭϵ ϮϬƉƌĞƚƌĂŝŶŝŶŐ

ǆϭϬϬ͕ϬϬϬƐƚĞƉƐ

図 9: 実験２の結果。実験１とほぼ同じだが、スタート
位置もランドマーク上から選ぶ。思考フェーズを実行
した場合、未経験のタスクに対してもゼロショットでほぼ最適な行動が実行できている。
Ϭ͘Ϭϲ

Ϭ͘Ϭϱ

Ϭ͘Ϭϰ

WƌŽƉŽƐĞĚ

Ϭ͘Ϭϯ

^ĂƌƐĂ
Ϭ͘ϬϮ

Ϭ͘Ϭϭ

Ϭ͘ϬϬ
ϭ
ϱ
ϵ
ϭϯ
ϭϳ
Ϯϭ
Ϯϱ
Ϯϵ
ϯϯ
ϯϳ
ϰϭ
ϰϱ
ϰϵ
ϱϯ
ϱϳ
ϲϭ
ϲϱ
ϲϵ
ϳϯ
ϳϳ
ϴϭ
ϴϱ
ϴϵ
ϵϯ
ϵϳ

今回はアルゴリズムの基本動作の確認を行うことが目的のため、実行中の振る舞いの可視化が容易な迷路
タスクを題材として性能を評価した。
マップとランドマークの集合は固定である（図 7）。
このマップ上で、エピソードごとに異なるスタート Sとゴール G が与えられる。エージェントが S から移動
して G に到達したときに与えられる報酬は 0 で、その時点でそのエピソードを終了し、スタートとゴールを変えて次のエピソードを始める。上下左右の移動は -1√、斜めの４方向いずれかへの移動は − 2 、壁への衝突は -1 、サブゴール切り替え Gm の実行は RG = −1の報酬が与えられる。（前に述べたように報酬割引はない。）
このタスクを生物の振る舞いのモデルとして解釈す
るならば、マップは環境のモデル P (s′ , r|s, a) を表していて、すべてのエピソードを通じて不変である。生物の脳には「空腹が解消された状態」「のどの渇きが解消された状態」というふうに緊急に向かうべきゴールが身体によって次々に提示され、生物は適切に行動することで提示されたゴールを達成しようとする。
テーブルの初期値は、3.6 章で述べたとおりで、サブ
ゴール切り替えはランドマーク上でのみ可能とした。

Ϭ͘Ϭϱ

ĞƉŝƐŽĚĞƐͬƐƚĞƉƐ

4

^ĂƌƐĂ

ǆϭϬϬ͕ϬϬϬƐƚĞƉƐ

図 10: 実験３の結果。テーブル M の要素の初期値を0 にした場合、２つのアルゴリズムのスコアに差はあまりない。

人工知能学会研究会資料
SIG-AGI-009-05

s = g 以外の M (s, g, ã) に対しては、−50 − n (n は小さなノイズ) に初期化した。
行動選択は softmax を用い、逆温度 β = 1 とした。
学習率は α = 0.1 である。
思考モードは 3.7 章で述べたように、現在の状態とグローバルゴールの間の経路の探索に随時用いることを想定しているが、今回の実験では以下に述べるように１つのフェーズにまとめて実行することとした。
実験１は以下の３つのフェーズから構成される。
1. pretraining フェーズ：隣接するランドマークのみを S と G とするエピソードを５０万ステップ分実行。（S と G の組み合わせは 20 通り。）
2. 思考フェーズ：ランドマーク上のランダムな Sと G を設定したエピソードを思考モードで１万ステップ分実行。（S と G の組み合わせは 100
通り。）
3. 評価フェーズ：任意の場所 S とランドマーク上の G をランダムに設定したエピソードを１５０
万ステップ実行。
以上の条件で、提案アルゴリズムの pretraining フ
ェーズと思考フェーズあり、pretraining フェーズのみあり、両方なし、Sarsa の pretraining あり、なしの５つのケースについて計測した。
実験１の結果のグラフを図 8 に示す。横軸はステップ数であり、縦軸はステップ数あたりのエピソード数である。ここでステップ数とはマップ内の移動もしくは壁への衝突の回数であり、サブゴール切り替え Gm の実
行回数は含まれない。実際の行動の経験時間と性能の関係を公平に比較するために、pretraining フェーズがある場合はそのステップ数は横軸に含めた。思考フェー
ズは実際の行動ではないので横軸に含めていない。
提案アーキテクチャは、 pretraining フェーズと思考フェーズのいずれも行わない場合でも、 Sarsa に比べて早く収束している。pretraining フェーズは提案アル
ゴリズムの収束をさらに速くしている。この実験では思考フェーズの効果はほとんどない。これは、スター
ト地点 S がランドマーク上にないため、S から最初のランドマークに到達するまでの経路探索に時間がかかるためと思われる。
実験２は実験１とほぼ同じだが、評価フェーズのエ
ピソードにおいても、スタート S をランドマーク上のみから選ぶというものである。思考フェーズでシミュ
レーションしたものと同じタスクを、思考フェーズ終了後に実際に行動して試すことになる。結果のグラフ
を図 9 に示す。思考フェーズ終了後、ゼロショットで、すなわち未経験のタスクに対して実際の環境での試行
錯誤はまったくせずに、ほぼ最適な行動が実行できている。

実験３は、実験１と同じ条件だがテーブル M の要素の初期値を 0 に設定した。この場合、提案アルゴリズ
ムと Sarsa は性能にほとんど差が出なくなる（図 10）。
グラフには示していないが、 pretraining フェーズや思考フェーズを追加しても性能はほとんど変わらなかった。テーブルが楽観的に初期化されている場合、すでに近道を見つけていてもマップの隅々まで他の経路を探索しようとするため、部分的な経路の共有が行われず、提案アーキテクチャと Sarsa であまり違いが出な
いことが、理由として考えられる。

5

議論

提案アーキテクチャでは行動価値テーブル M (s, g, ã)のサイズが従来の行動価値テーブル Q(s, a) よりも大きくなるが、実際にアクセスされる状態行動対はごく一部である。ニューラルネットワークを用いて関数近似したり、テーブルをハッシュ表を用いて実現するなどの工夫により、テーブルサイズの増大は実質的に問題にならないであろうと考えている。生物の脳では、もしテーブルを大脳皮質や海馬の連想記憶機構を使って実現しているならば、同様にテーブルのサイズは問題にならないであろう。
脳との関係で興味深い点として、サブゴールを表す
変数 g への参照と書き込みが、人間が思考するときのワーキングメモリへの読み書きに類似しているように見えることを指摘しておく。変数 g を１つではなく複数（例えば１万個以上）の変数に拡張し、任意の変数への参照と書き込みができる機構を実現すれば、提案
アーキテクチャはコンピューターの振る舞いと似てく
る上、人間の思考にもより近づくだろう。
今回の提案アーキテクチャでは、エージェントはサ
ブゴール達成後、あらためてグローバルゴールを目指すこととしたが、人間の場合は、グローバルゴールではなく次に達成すべきサブゴールを「思い出す」ことがある。これは心理学で展望記憶 [2] と呼ばれている。
展望記憶の機構をアーキテクチャに加え、その有効性について分析することも今後の課題である。

6

関連研究

本研究の最大の貢献は、先行研究ですでに提案されているいくつかの重要なアイデアを単一のシンプルな
アーキテクチャに統合し、理論的基盤を整理した上、さらなる拡張を容易にした点にある。
もう１つの貢献は、再帰的なサブゴール設定を可能にしつつ、スタックの不要なアーキテクチャが可能であることを示した点である。従来の階層型強化学習では、 n 個の階層があれば実行のコンテキストを記憶す人工知能学会研究会資料
SIG-AGI-009-05

るための n − 1 個のメモリを必要とする。提案アーキ
テクチャは現在のサブゴールとグローバルゴールのみを記憶し、サブサブゴールが設定されればその前のサブゴールは捨てられる。
我々の提案アーキテクチャは HDG(Hierarchical Distance to Goal)[8] と本質的にかなり似た構造を持っている。HDG は離れたランドマークをつなぐ経路はオフラインで探索するが、そのためには専用のアルゴリ
ズムを用いている。我々のアーキテクチャでは同じことを MDP の枠組み内でモデルベース強化学習の考え方を使った思考モードで実現しており、オンデマンドのプランニングが行いやすくなっている。
MAXQ[11] は２層よりも深い層を扱える階層型強化
学習のアーキテクチャであり、価値関数分解によりサブルーチンの学習結果の共有を図っている。これは本論文で述べた価値関数分解と考え方は近いが、我々のアーキテクチャでは終了条件が必ず単一の状態（サブゴール）であると仮定することで分解結果は単純になり、価値の計算がしやすくなっている。MAXQ の学習・実行にはスタックが必要だが、我々のアーキテクチャ
はスタックが不要で、シンプルである。MAXQ アーキ
テクチャの設計の動機の１つに、状態を抽象化する機会を増やすことで探索空間を大幅に狭くすることがある。本論文では状態の抽象化は行っていないが、大脳皮質の機能を模した別の機構 [3][4] で実現することを検討中である。
思考モードのような時間を抽象化した高速なプラン
ニングは H-DYNA[6][7] においてすでに実現されており、その際に本稿で述べた価値関数分解と同じものを用いている。
R-MAXQ[13] は MAXQ アーキテクチャにモデル
ベース強化学習の機能を加えたものである。しかし、環境のモデルを素直に学習・利用するものであり、時間を抽象化してプランニングを高速化する機構はない。
Option-Critic アーキテクチャ[15] は、２層の階層構造をしており、経験のみからの end-to-end での option（サブルーチン）の獲得を実現しているが、我々のアーキテクチャでは、ランドマーク獲得は将来の課題である。我々のアーキテクチャの思考モードは２層構造と見なすこともでき、Option-Critic アーキテクチャの用語を使うならば、ランドマークは option 、隣接ランド
マーク間の移動経路は intra-option-policy 、離れたラ
ンドマーク間の移動経路は policy over options にほぼ相当する。しかし、 Option-Critic には思考モードに相当するものはなく、policy over options も実際の経験で学習している。

7

まとめと今後

再帰的にサブゴールを設定可能な RGoal アーキテ
クチャを提案した。本研究の最大の貢献は、階層型強化学習の先行研究で実現されている重要なアイデアのいくつかを単一のシンプルなアーキテクチャに統合し、理論的基盤を整理した上、さらなる拡張を容易にした点にある。
アルゴリズムはスタックを用いず、フラットなテー
ブルとシンプルな操作の繰り返しで実現される。思考
モードを用いて学習済みのタスクを組み合わせることで、一度も経験したことのないタスクを少ない試行錯誤
で、場合によってはゼロショットで解くことができる。
本研究の動機の１つに、汎用人工知能の実現に向けた、脳の前頭前野周辺の情報処理機構のモデルの構築がある。本稿でこれまで述べてきたように、アーキテ
クチャの設計において、人間や動物の振る舞いとの類似性を強く念頭に置いている。また、前頭前野周辺の神
経科学的知見を暗に設計の指導原理として用いている。
提案アーキテクチャは、再帰的サブゴール設定、時間を抽象化したプランニングという、人間の知能の２つの重要な特性を再現できている。今後アーキテクチャ
を拡張し、単一化を用いた記号推論機構、外界の状態の抽象化機構などを実現し、より人間に近い思考の実現を目指していく。そうしてできたアーキテクチャは、脳を模倣した汎用人工知能を実現するための中核技術になるだろう。

謝辞
ディー・エヌ・エー 甲野佑氏、東京電機大 高橋達二
氏との議論から研究の示唆をいただいており、深く感
謝いたします。
本研究は JSPS 科研費 JP18K11488 の助成を受けた
ものです。

参考文献
[1] 高田司郎, 新出尚之, 意図に基づくエージェント
アーキテクチャ(<特集>意図研究のスペクトル) 人
工知能学会誌/Journal of Japanese Society for Artificial Intelligence,20(4),433-440 (2005-07-01) ,KJ00003364545.
[2] 奥田次郎, 意図とその遅延後の実現 : Prospective
Memory の脳内過程 (<特集>意図研究のスペクト
ル), 人工知能学会誌/Journal of Japanese Society
for Artificial Intelligence,20(4),418-424 (2005-0701) , KJ00003364543.

人工知能学会研究会資料
SIG-AGI-009-05[3] Yuuji ICHISUGI, The Cerebral Cortex Modelthat Self-Organizes Conditional Probability Tables and Executes Belief Propagation, In Proc.
of IJCNN 2007, pp.1065–1070, Aug 2007.
[4] 一杉裕志, 疑似ベイジアンネットを用いた認知モ
デルのプロトタイピング手法の提案, 第 4 回 人工知能学会 汎用人工知能研究会 (SIG-AGI), 2016.
[5] Sutton, R. S., Integrated architectures for learning, planning, and reacting based on approximating dynamic programming. In Proceedings of
the Seventh International Conference on Machine
Learning, 1990.
[6] Singh, Satinder Pal, Reinforcement learning witha hierarchy of abstract models. In Proceedingsof the Tenth National Conference on Artificial
Intelligence, San Jose, California. AAAI Press.
202207, 1992.
[7] Singh, Satinder Pal, Scaling reinforcement learning algorithms by learning variable temporal
resolution models. In Proceedings of the Ninth
International Conference on Machine Learning,
Aberdeen, Scotland. Morgan Kaufmann. 406415,
1992.
[8] Kaelbling, L.P.:
Hierarchical Learning in
Stochastic Domains: Preliminary Results. In:
Proceedings of the 10th International Conference
on Machine Learning, pp. 167173. Morgan Kaufmann, San Francisco, CA, 1993.
[9] Sutton, Richard S.; Barto, Andrew G., Reinforcement Learning: An Introduction. MIT
Press, 1998.
[10] Sutton, R. S.; Precup, D.; and Singh, S. P., Between MDPs and semi-MDPs: A framework for
temporal abstraction in reinforcement learning.
Artificial Intelligence 112(1-2):181211, 1999.
[11] Thomas G. Dietterich, Hierarchical Reinforcement Learning with the MAXQ Value Function
Decomposition, Journal of Artificial Intelligence
Research 13, 227-303, 2000.
[12] Wiewiora, E., Potential-based shaping and Qvalue initialization are equivalent, Journal of Artificial Intelligence Research 19, 205-208, 2003.
[13] N. Jong and P. Stone. Hierarchical model-based
reinforcement learning: R-Max + MAXQ. In
Proc. of ICML, 2008[14] Levy, K. Y., and Shimkin, N., Unified inter andintra options learning using policy gradient methods. In EWRL, 153164, 2011.
[15] Bacon, P.-L., Harb, J., Precup, D. The
option-critic architecture. Proceedings of AAAI,
17261734, 2017.