DEIM Forum 2019 A1-3

深層強化学習エージェントの重み付き結合に関する検討
佐藤件一郎†

幸島

匡宏††

松林

達史††

戸田 浩之††† 東京工業大学 情報理工学院 数理計算科学系 〒 152–8552 東京都目黒区大岡山 2-12-1†† 日本電信電話株式会社 NTT サービスエボリューション研究所 〒 239-0847 神奈川県横須賀市光の丘 1-1
E-mail: †sato.k.bo@m.titech.ac.jp, ††{kohjima.masahiro,matsubayashi.tatsushi,toda.hiroyuki}@lab.ntt.co.jp
あらまし

近年強化学習の研究領域において, それぞれが異なるタスクを解く複数の学習済みエージェントを結合することで, 新たなタスクを解くエージェントを構成するアプローチの研究が進められている. 本研究では, 単純平均をとることで学習済みエージェントを結合する既存技術を拡張し, 重み付き和によるエージェントの結合を行う手法を提案する. これにより報酬が学習済みタスクの線形和として定義される新たなタスクの問題を解くことが可能になる.

CartPole 制御と適応信号制御という２つの実験を通して提案手法の有効性を検証した.
キーワード

強化学習, 深層強化学習, 最大エントロピー強化学習, 構成性, 信号制御

1. は じ め にタスクは, 部品タスク A と部品タスク B の重み付き和として表現される. 同様に信号制御において, 一般車両の待ち時間を短

深層学習のブレイクスルーにより AI 技術が大きく注目されくする部品タスク A を解く部品エージェント A, バスなどの公ている. 数ある成功の中でも強化学習とよばれる自律的な試行

共車両の待ち時間を短くする部品タスク B を解く部品エージェ

錯誤を行う学習フレームワークと組み合わせた深層強化学習が,ント B がすでに得られているとする. このとき, 例えば “一般

ゲーム AI (コンピュータゲーム, 囲碁など) の分野で大きな成車両の待ち時間 + 公共車両の待ち時間 ×5”を最小化するとい果を上げている [1] [2]. この成功を受けて近年では深層強化学

うタスクは, 部品タスク A と部品タスク B の重み付き和として習を用いたロボット制御や信号機の適応制御 [3] などへの応用表現される.

検討が進められている.

提案手法によって, 上記のような重み付き和で表現されるタ

深層強化学習には次の 2 つの欠点が存在することが知られてスクに対して, 新たにエージェントをゼロから学習しなおすこ

いる. (i) エージェントと呼ばれる学習者 (例えばロボット) のとなく，そのタスクに対応したエージェントを部品エージェン

試行錯誤が必要であるため一般に長い学習時間を必要とする.

トから構成することができるようになる, もしくは, ゼロから(ii) 強化学習の学習結果は与えられた環境 (タスク) に依存するの再学習よりも短い時間で学習結果を得ることが可能になる.

ため, 環境が変われば基本的にゼロから学習し直しになってし

CartPole 制御と適応信号制御を用いた実験で提案手法の有効

まう. したがって人の目から見れば類似したタスクであっても,性を確かめた.

環境が変わる度に学習し直しになり, 多大な時間と労力が必要になってしまう.

2. 関 連 研 究

この問題意識のもと, ベースとなるタスクを解くエージェン

本研究の利用先の 1 つとして想定するものに適応信号制御がト (それぞれ部品タスク, 部品エージェントと呼ぶ) をあらかじある. 強化学習を用いた信号制御の取り組みは古くから存在す

め学習しておき, 部品エージェントを組み合わせることで, 複雑るものの (e.g. [6]), 深層学習を利用したアプローチの検討が近なタスクを解くエージェントを構成するというアプローチが 検

年多数行われている [3] [7] [8] [9]. これには都市の混雑が深刻化

討されている [4], [5]. しかしながら, この既存研究では, 単純平

したことで混雑緩和に向けた様々な取り組みが行われているこ均で表現されるタスクを, 部品エージェントの単純平均を用いとが背景にあると考えられ [10], (深層学習を用いた) 適応信号て構成する場合のみが考察されており, 適用シーンが限定され制御は, これらの取り組みの延長として利用されていくと想像ていた.

できる. しかし, 設置箇所 1 つ 1 つでその環境に合わせるため

そこで本研究では, 部品タスクの重み付き和で表現されるタに信号機を学習し直すというアプローチが取られるとは考え難スクを解くエージェントを, 部品エージェントの重み付き和をい. 我々は学習済みのエージェントを組み合わせることで, 設用いて構成する方法を提案する. 重み付き和で表現されるタス

置箇所に合わせた調整を行うことが有望だろうと考え本研究をクには例えば次に示すシューティングゲームや信号制御が挙げ実施した.

られる. シューティングゲームにおいて, ある敵 A を撃ち落と

本研究では, エージェントの結合を考えるために通常の強化学すという部品タスク A を解くエージェント A, ある敵 B を撃ち

習とは異なる定式化である, 最大エントロピー強化学習 (Max-落とすという部品タスク B を解くエージェント B がすでに得

imum Entropy RL, MERL) と呼ばれる定式化を利用する.

られているとする. このとき, 例えば敵 A を撃ち落とした時にMERL では, 報酬和を最大化しつつ探索 (Exploration) に長け

50 ポイント, 敵 B を撃ち落とした時に 10 ポイントが得られる

た方策が得られるように, 方策のエントロピーを目的関数に導数を定義する. 通常の強化学習 [18] において, 価値関数は, 状態

s において行動 a を選択し, 後は方策 π に従って行動し続けた
時の (割引) 報酬和の平均として定義され, 以下の式で表される.

Qπ(s, a) ≡ EπdT[∞∑]
γ R(sk , ak ) s0 = s, a0 = a
k

k=0

図1

学習者 (Agent) と環境 (Environment) の相互作用入した定式化を行う. このような方策や行動に関する正則化項を目的関数に導入した強化学習手法は, これ以外にも過去提案されており, 線形可解マルコフ決定過程 (Linearly Solvable

MDP) と呼ばれる設定に基づく方法に関する研究が進められてきた [11] [12] [13] [14] [15]. MERL もこの文脈に連なるものとして位置付けられる.
学習済みのエージェントを結合して新たなエージェントを構

ただし, γ ∈ [0, 1) は割引率, Eπ
dT [] は方策 π でのエピソードの出方に関する平均操作を表す. 価値関数の値は多くの報酬をもたらす方策 π ほど大きくなる. 本研究では, 最大エントロピー
強化学習 [4], [5] の定式化に従い, 上記と異なる以下で定義される価値関数を利用する.

Qπsof t (s, a)][∞∑ kγ {R(sk , ak ) + αH(π(·|sk ))} s0 = s, a0 = a≡ EπdT
k=0

成できる性質は構成性 (Compositionality) と呼ばれ, 上記で述

(1)

べた新たな定式化に基づく強化学習手法の持つ重要な性質と認識されている [5] [16] [17]. 本研究の貢献は, 特に連続状態空ただし, α は重みパラメタ, H(π(·|sk )) が状態 sk にいるときの間・離散行動空間における MERL のエージェントの重み付き

各行動の選択確率を定める分布 {π(a1 |sk ), · · · , π(a|A| |sk )} の結合に関して, その性能を理論と実験の両面から調べたところ

エントロピーを表す. エントロピーは一様分布に近いほど値がにある.

多くなるため, 常に固定の行動をとる決定的な方策ではない, 多

3. 準

備

様な行動を実行する探索 (Exploration) に長けた方策ほどエントロピー和は大きくなる. よってこの新たに定義した価値関数

3. 1 マルコフ決定過程 (MDP)

は報酬和が多くかつ “探索的”な方策ほど値が大きくなる. ま強化学習とは, 学習者であるエージェントが環境との相互作

た, α = 0 のときは通常の価値関数と一致する. ある方策 π, π ′用を通して, 最適な行動ルール (方策) を推定する手法のこと> πが任意の s ∈ S, a ∈ A で Qπ
sof t (s, a) = Qsof t (s, a) を満たすとを指す. 強化学習では, 環境の設定として, マルコフ決定過程

き, 方策 π は π ′ よりも多くの報酬とエントロピーをエージェ(Markov Decision Process, MDP) が多くの場合利用され, 本′
ントにもたらすと期待できるため, これを π >= π と書くとす

稿でもこれを利用する.

る. 最大エントロピー強化学習の目的は, 任意の方策 π についマルコフ決定過程は 4 つ組 (S, A, PM , R) により定義される.

S を状態空間, A を行動空間と呼び, それぞれの元 s ∈ S を状
態, a ∈ A を行動と呼ぶ. PM : S × A × S → [0, 1] は状態遷移′∗て, π ∗ >= π を満たす最適方策 π を得ることである.

最適方策はその価値関数 Q∗sof t (最適価値関数と呼ぶ) を用
いて,関数と呼ばれ, 状態 s で行動 a を行ったときの次状態 s′ への遷

π ∗ (a|s) = exp

移確率を定める. 有界な関数である R : S × A → R は報酬関数である. 報酬関数が状態 s で行動 a を行ったときに得られる∗
Vsoft (s) = α log

にわたって得られる報酬の和ができるだけ多くなるように行動を定めたものを方策 π : S × A → [0, 1] と呼ぶ.
方策を 1 つ定めると, エージェントは図 1 に示すように環境との相互作用を行うことが可能となる. 各時刻 t で, 状態 st に(2)と表現できる. ただし,報酬を定義している. エージェントは, 上記の環境の中で将来を行う. エージェントの各状態 s で行う行動 a を選択する確率

(1{
})
∗
Q∗sof t (s, a) − Vsof
,
t (s)
α
∑
a′

(1
)
exp
Q∗sof t (s, a′ ) .
α

このように最大エントロピー強化学習では, 最適方策が確率的な方策として表現される. なお, 通常の強化学習と同様, 価値関数の推定には, 最大エントロピー強化学習におけるベルマン方
程式

いるエージェントは方策 π(·|st ) に従って行動 at を決定する.
すると, 状態遷移関数と報酬関数に従い, エージェントの次時刻の状態 st+1 ∼ PM (·|st , at ) と報酬 rt = R(st , at ) が決定する.
これを繰り返すことで, エージェントの状態と行動の履歴が得られる. 以後, 時刻 0 から T 回遷移を繰り返した状態と行動の履歴 (s0 , a0 , s1 , a1 , . . . , sT ) を dT と表記し, これをエピソードと呼ぶ.

3. 2 最大エントロピー強化学習
ここで価値関数と呼ばれる, 方策の良さを表す役割を持つ関∗′Q∗sof t (s, a) = R(s, a) + γEs′ ∼PM (s′ |s,a) [Vsoft (s )]

を 利 用 す る こ と で 推 定 す る こ と が で き る.
∗Q∗sof t , Vsoft を置き換えれば,

(3)

この式中の

これは通常の強化学習のベルマン方程式と等しい. 状態空間が離散かつ状態数が膨大でなけ
れば, Q 学習 [19] とほぼ同様の手法で価値関数を推定することが可能である. しかしながら, 本稿の問題のように, 状態空間が連続かつ状態数が膨大である問題に適用することは困難である
ため, 価値関数を近似する手法を利用する必要がある.

Algorithm 1 Soft Q-learning [4] の離散行動空間版

定義されるその方策を π1 , π2 と書く. 今, このそれぞれの MDP

Input: D: 入力データ, α: 正則化項に対応するタスクはすでに学習されており, Q∗1 , Q∗2 については

Output: θ̂: 価値関数を近似するニューラルネットのパラメタ既知であるとする. これらを用いて, 重み付き平均で定義される

1: for epoch = 1 to nepoch do

報酬 R3 = β1 R1 +β2 R2（ただし、β1 >= 0, β2 >= 0, β1 +β2 = 1)

for t = 1 to T doを持つ目標となる MDP-3 (S, A, PM , R3 , γ) の方策を構成する

2:
3:%環境との相互作用

4:

パラメタ π(·|st ) の多項分布に従い行動 at を確率的に選択

5:

行動 at を実行し, 環境から報酬 rt と次状態 st+1 を得る.

6:

replay memory に履歴保存 D ← D ∪ (st , at , rt , st+1 ).

価値関数の重み付き平均を取ることで構成して得た方策を用い

7:%価値関数の更新ることを提案する.

8:

replay memory からミニバッチデータ Dmini を取得

9:

Dmini を用いた損失関数の勾配を計算しパラメタ θ を更新

10:

end forことを考える.
本研究では, MDP-3 を解くエージェントとして, 次のように

πΣ (a|s) = exp(1{})
QΣ (s, a) − VΣ (s) .
α

(4)

ただし,

11: end forQΣ = β1 Q∗1 + β2 Q∗2 ,(1)∑
VΣ (s) = α log
exp
QΣ (s, a′ ) .
a′ ∈Aα

3. 3 価値関数近似(通常の強化学習における) 価値関数をパラメタを持つ関数で

(5)
(6)

近似するというアプローチには, パラメタに関して線形な関数

方策 πΣ は QΣ を MDP-3 の最適価値関数 Q∗3 とみなして, 式 (2)で近似する方法 [20] やニューラルネットワーク [21] で近似するに代入して得た方策であると考えればよい.

手法がこれまで提案されている. 上記に代表される価値関数近上記の構成が有効であることを示すためには, 方策 πΣ の似手法の基本的なアイディアは, (最適) 価値関数をパラメタ θ

MDP-3 における価値関数 Qπ3 Σ と Q∗3 が近い値をとることが示

θを持つ関数 Q で近似し, 目的関数

L(θ) =∑()2
R(s) + γV θ (s′ ) − Qθ (s, a)(s,a,s′ )∈Dを最小化することで, パラメタ θ を学習し, 最適方策 π ∗ を求めせればよい（注 1）. 次節でその理論解析を行う.

4. 2 理 論 解 析
まず未知の MDP-3 における最適価値関数 Q∗3 と QΣ の関係
性を示す補題を導く.

履歴であり, 遷移前状態 s, 行動 a, 遷移後状態 s′ の組 (s, a, s′ )Lemma 1. MDP-3 (S, A, PM , R3 , γ) の最適価値関数 Q∗3 と()∑
して有界で a′ ∈A exp α1 Q∗3 (·, a′ ) < ∞ を満たすものが存在の集合として定義される. 上記の目的関数はベルマン方程式 (3)するとき, 4. 1 節で定義した QΣ は次の関係を満たす.

る, というものである. ただし, D は学習者と環境の相互作用のの右辺と左辺の差を最小化することに相当する. このニューラ
ルネットワークを用いる方法を基に種々のヒューリスティクスを導入した手法が Deep Q-Network (DQN) [1] である.
最大エントロピー強化学習においてもニューラルネットワー
クを用いた同様のアプローチが適用でき, Soft Q-Learning と呼ばれるアルゴリズムが提案されている [4]. 我々も部品エー∗∗QΣ (s, a) >= Q3 (s, a) >= QΣ (s, a) − C (s, a)

ただし, C ∗ (s, a) は以下の再帰方程式の不動点である.

C(s, a)[]′′= γEs′ ∼PM (·|s,a) αβ2 Dβ1 (π1 (·|s′ )||π2 (·|s′ )) + max
C(s
,
a
)
′
a ∈A

ジェントの価値関数推定にこのアルゴリズムを利用する. ただし, この文献 [4] では状態空間と行動空間が両方連続空間である

ただし, Dβ1 (π1 (·|s′ )||π2 (·|s′ )) は以下で定義されるオーダー β1

状況が考えられており, 価値関数を近似するネットワークと方の Rényi ダイバージェンスである.

策を近似するネットワークの両方を推定している. 今回我々はDβ1 (π1 (·|s′ )||π2 (·|s′ )) ≡行動空間は離散である状況を考えるため, 方策を近似するネッ∑ ∗ ′ ′ β ∗ ′ ′ β1log
π1 (a |s ) 1 π2 (a |s ) 2 .
β1 − 1′a ∈A

トワークの推定は必ずしも必要ではない. そこでこのアルゴリ
ズムから方策を近似するネットワークの処理部分を除いた, “離散行動空間版の Soft Q-learning”アルゴリズムを利用することとした. 疑似コードを Algorithm 1 に示す.

4. 提 案 手 法
提案手法による学習結果の結合方法を示す.

証明は Appendix に示す. この再帰方程式は Rényi ダイバージェンスを報酬としたベルマン方程式と見ることもできる. よって π1 と π2 の Rényi ダイバージェンスが小さければ, その不動
点 C ∗ (s′ , a′ ) の値も小さくなり Q∗3 (s, a) と QΣ (s, a) は近い値をとることをこの補題は示している.
この補題を用いると下記の定理が導ける.

4. 1 方策の構成法
報酬関数のみ異なる 2 つの MDP, MDP-1 (S, A, PM , R1 , γ)πと MDP-2 (S, A, PM , R2 , γ) を考え, この MDP における最大エ（注 1）：QΣ と Q3 Σ の違いには注意する. QΣ は式 (5) で便宜的に定義しただ

ントロピー強化学習の最適価値関数 (式 (1)) を Q∗1 , Q∗2 , 式 (2) でけのものであって, これから導かれる方策 πΣ を用いた場合の “本当”の価値関
π

数 Q3 Σ とは一般に一致しない.

図 2 提案手法による新たなタスクを解くネットワークの構成

Theorem 1. Lemma 1 と同様の条件下で QΣ に基づいた方策

え既知であれば, 再学習などの必要なく QΣ を構成することがπΣ の MDP-3 における価値関数を Qπ3 Σ とすると, Qπ3 Σ と最適価値関数 Q∗3 はできる. 後の実験では, この方法により QΣ を構成した. なお,∗∗
Q3πΣ (s, a) >= Q3 (s, a) − D (s, a)∗の関係を満たす. ただし, D (s, a) は以下の再帰方程式の不動もしさらなる性能改善のために再学習をさせたい場合にも, QΣ
を初期値として学習を行えば, Qθ11 , Qθ22 を学習する際に用いたアルゴリズムをそのまま適用することができる.

5. 実

験

点である.

[
[
]]
D(s, a)=γEs′ ∼PM (·|s,a) Ea′ ∼πΣ (·|s′ ) C ∗ (s′ , a′ )+D(s′ , a′ )証明は Appendix に示す. 補題と同様この再帰方程式は

提案アプローチによって構成した Agent の有効性を実験を通して確認する.

5. 1 実 験 設 定

C ∗ (s′ , a′ ) を報酬としたベルマン方程式と見ることができ,Cart Pole: CartPole 制御とはカートに接続されているポーC ∗ (s′ , a′ ) が小さければ, D∗ (s, a) も小さくなる. 最適価値関数πΣの定義から Q∗3 (s, a) >= Q3 (s, a) が常に成り立つことを考えれルを倒さないようにカートを左右に動かし制御する強化学習のベ

ば, D ∗ (s, a) が小さければ, Q∗3 (s, a) と Q3 Σ (s, a) は近い値をとπるということをこの定理は示している. これらの結果から, 部
品エージェントの方策 π1 と π2 の Rényi ダイバージェンスが大きくない状況においては, 提案する構成法は有効であると期待できる.
なお, β1 = β2 = 1/2 のときこの補題と定理は文献 [5] 中のそれらと一致し, 単純平均を重み付き和に拡張したものとなっている.

4. 3 ニューラルネットワークによる価値関数近似を用いた
場合の QΣ の具体的構成法
最大エントロピー強化学習において Q 関数を DQN [1] と同様にニューラルネットワークにより近似した場合, どのようにQΣ を構成すればよいかを示す.
MDP-1 (S, A, PM , R1 , γ) と MDP-2 (S, A, PM , R2 , γ) における学習済み価値関数をそれぞれ Qθ11 , Qθ22 とする. ただし,

θ1 , θ2 はネットワークのパラメータである.

ンチマーク問題である. 強化学習の環境を提供するオープンソー
スのライブラリ OpenAI gym （注 2） の CartPole の環境をベースに報酬関数の設定の異なる 3 つの MDP を作成した. 作成した

MDP のを図 3(a) に示す. 3 つの MDP の状態空間 S, 行動空間
A, 状態遷移関数 PM は共通であり, 各状態 s ∈ S は, 位置 x, 速度 ẋ, 角度 θ, 角速度 θ̇ から成る 4 次元ベクトル, 行動空間 A は右に行く (a = Right) か左に行く (a = Leftt) の 2 つの行動から成る. 報酬関数は, それぞれの MDP で下記の定義のものを用いる. MDP1 の報酬 R1 はポールが立っていてかつカートが区
間 [−2.2, 2.2] にいるならば報酬１を与える関数, MDP2 の報酬

R2 はポールが立っていてかつ区間 [2.0, 7.0] でポールが立っていれば報酬１を与える関数として定義した. MDP3 の報酬 R3
は, β1 = 0.8, β2 = 0.2 として, R3 := β1 R1 +β2 R2 と定義した.
報酬関数 R1 , R2 , R3 を使い MDP-1 (S, A, PM , R1 , γ),MDP-

2 (S, A, PM , R2 , γ), MDP-3 (S, A, PM , R3 , γ) を構成した. 割
引率は γ = 0.99 とした.
最大エントロピー強化学習によって MDP1 と解く部品 Agent
１, MDP2 を解く部品 Agent ２を作成し, 提案アプローチにQθΣ1 ,θ2 ≡ β1 Qθ11 + β2 Qθ22が成り立つように QΣ を構成するには, 図 2 のようにネットワー
クを構築すればよい. QΣ は, 入力層の値そのままを Qθ11 , Qθ22の入力層にそのまま渡し, それぞれの出力の値を β1 , β2 で重み付き和をとって出力としている. こうすることで, Qθ11 , Qθ22 さ

よって部品 Agent1 と部品 Agent2 を組み合わせることにより新
たなエージェント Proposed を構成した. 実験において MDP-3
におけるの部品 Agent1, 部品 Agent2, Proposed のパフォーマ
ンスを比較した. なお, 使用したニューラルネットワークの詳（注 2）：https://gym.openai.com/

(a) CartPole 制御(b) 交通信号制御

図3 実験環境

表1

各問題とニューラルネットワークの設定

ため, MDP-3 における N を 2, 3, 4, 9 と変化させ, 重み付き和CartPole

信号制御の値も同じ値を用いた場合のパフォーマンスを固定信号のパ状態空間の次元数

4385

行動空間の次元数

224-100-100-2

385-100-2

tanhrelu+batch normalization

ネットワークの素子数
活性化関数

フォーマンスと比較する.

5. 2 実 験 結 果
定量評価: 図 4(a) に Cartpole 制御の定量評価の結果を示す.
この図より Proposed が最も高い報酬和を獲得したことがわかる. これによって, 提案する方策の構成法で部品 Agent をその細は表 1 に記述した.
適応信号制御: 適応信号制御とは, 車の待ち時間減少などを行うために道路などに設置されているセンサーなどの情報をもとに適応的に交通信号を変化させる問題である. 本実験ではオープンソースの交通シミュレータ Simulation of Urban

MObility (SUMO) [22] を利用した. SUMO は道路ネットワー
クや信号機, 車両の流量や最高速度等を自由に定義し, シミュ
レーションが実行可能なソフトウェアである. 道路ネットワー
クには, 図 3(b) に示す 2 車線の十字路を考えた. 東西南北それ
ぞれの道路には毎秒おきに車両の有無とその車両が公用車か否かを観測するセンサーが 5m 間隔で 48 個設置してある. 東西南
北から一定の頻度でランダムに生成される普通車と公用車の待ち時間が小さくなるよう交差点の信号機を制御する. CartPoleの実験と同様に報酬関数を変えることにより, 3 つの MDP をつくる. 3 つの MDP の状態空間 S, 行動空間 A, 状態遷移関数

PM は共通であり, 状態空間 S は, 該当地点の車の有無 (有: 1,
無: 0) とそれが公用車か否か (公用車: 1, 非公用車: 0) を返す
センサー 192 個分と現在の信号機の状態 (青赤, 赤青) を表す

385 次元ベクトルを要素に持つ集合, 行動空間 A は青赤に変えまま用いるよりも優れた方策を作成しうることが確認できた.
図 4(b) に適応信号制御の定量評価の結果を示す. 結合せずに部品エージェントそのままを利用した設定 β1 = 0.0, 1.0 よりも

β1 ≈ 1/N = 0.25 付近の設定したときに重み付きで構成したエージェントの方が優れたパフォーマンスを示していることが確認できる. したがって提案する構成法の有効性が確認できた.
定性評価: CartPole 制御の各 Agent の挙動を図 5, 6, 7 に示す. 図 5, 6 により提案手法の部品となる Agent1, 2 は報酬が得られる範囲内で移動しつつポールを倒れさせない方策を学習できている. さらに図 7 に注目すると上記 Agent を提案手法により結合して構成した Agent 3 は, 最も得られる報酬が大きい
位置まで移動し, そこに留まる方策となっていることが分かる.
これが Agent 3 が最も高い報酬和を獲得できている理由であると考えられる.
次に結合して構成した適応信号制御と固定信号との比較結果を図 8 を示す. N = 2, 3, 4, 9 のいずれの場合においても,

Proposed がおおそよ 4 割ほど固定信号 (Baseline) の性能を上回っていることが分かる. これにより結合して構成した適応信号制御が固定信号よりも優れた性能を持つことも確認できた.

る, 赤青に変えるの２つの行動をもつ要素数２の集合である.

R1 は前ステップから現在のステップに至るまでの全車両の待ち時間の合計値の-1 倍, R2 は前ステップから現在のステッ
プに至るまでの全公用車の待ち時間の合計値の-1 倍, R3 は

R3 := N1 R1 + NN−1 R2 とする. Agent １, 部品 Agent ２と呼ぶことにする. 提案アプローチによって部品 Agent1 と部品

Agent2 を組み合わせることにより新たなエージェント Proposed をつくり, まず N = 4 のとき, 重み付き和の比率を変化させたときパフォーマンスがどのように変化するかを計測することで, 構成したエージェントが部品エージェントよりも優れているかを確認する. さらに信号機としての有効性を確認する

6. ま と め
本研究では部品 Agent の学習結果を重み付き和で組み合わせることで新たな Agent を構成する手法を提案した. 理論解析により提案手法により構成した方策の価値関数と最適価値関数の関係を示す定理を導出し, CartPole 制御と適応信号制御の実験により提案手法の有効性を確認した. 今後の展望としては, 3
つ以上の部品 Agent を結合する場合の検討が挙げられる. その際には構成したネットワークのサイズが結合する個数に応じて大きくなるため, 蒸留 [23] などの利用により, 結合して構成し(a) CartPole 制御の実験結果. 値が大きいほど良い.

(b) 交通信号制の実験結果. 値が小さいほど良い.

図 4 (a) CartPole 制御と (b) 適応信号制御の実験結果. 横軸はエージェントの結合時に用いたパラメタ β1 = 0.0, 0.25, 0.4, 0.6, 0.8, 1.0, 縦軸は各 Agent を MDP-3 (1/N = 0.25) で10 回実行したときの各エピソードの報酬和/待ち時間和の平均と分散を示す.

[
]
(k) ′
′
= R3 − γEs′ ∼PM (·|s,a) max
C
(s
,
a
)
′

たネットワークの入出力を再現するコンパクトなネットワーク
を作るアプローチが必要となる可能性があると考えられる.


k=0: 0



(k)
′
′
C (s, a) = k >= 1 : γEs′ ∼PM (·|s,a) [αβ2 Dβ1 (π1 (·|s )||π2 (·|s ))

]



+ max ′ C (k−1) (s′ , a′ )a ∈ALemma 1 の条件下で Q(k) (s, a), C (k) (s, a) が k → ∞ のそれぞれ Q∗3 (s, a), C ∗ (s, a) に収束することは [4] に同よって, 任 意 の k に 関 し て QΣ (s, a) >=>Q (s, a) = QΣ (s, a) − C (k) (s, a) を示せば十分. 帰納法を(k)
用いて Q(k) (s, a) >= QΣ (s, a) − C (s, a) を示す. k = 0 のと> QΣ (s, a) − C (k) (s, a) が成きは定義より明らか. Q(k) (s, a) =様 の 証 明 が あ る.

Q(s, a)a ∈A= R3 + γEs′ ∼PM (·|s,a) αlog[>
= R3 + γEs′ ∼PM (·|s,a) αlog[>
= R3 + γEs′ ∼PM (·|s,a) αlog

(
exp

a′ ∈A

1
log
β1 −1

a′ ∈A

(

a ∈A

, π2 (a′ |s′ ) =, Dβ1 (π1 (·|s′ )||π2 (·|s′ )) ≡)∗ ′ ′ β1 ∗ ′ ′ β2に注意すると,a′ ∈A π1 (a |s ) π2 (a |s )(∑Q(k+1) (s, a)
>
= R3

[
]
(k) ′
′
′
′
− γEs′ ∼PM (·|s,a) max
C
(s
,
a
)
+
αβ
2 Dβ1 (π1 (·|s )||π2 (·|s ))
′
a ∈A

[

(

+ γEs′ ∼PM (·|s,a) αβ1 log
(

∑

(
exp

∑

))
1
Q1 (s′ , a′′ )
α
)]
)
(

exp

a′′ ∈A1Q2 (s′ , a′′ )αが成立することがわかった.
(k)
同様に QΣ (s, a) >= Q (s, a) が成立することを数学的帰納法により示す. k = 0 のときは定義より明らか. QΣ (s, a) >=Q(k) (s, a) が成立すると仮定すると,)
1
QΣ (s′ , a′ )α

− max
C (k) (s′ , a′ )
′

)

(k)
よって, 任意の k に関して Q(k) (s, a) >= QΣ (s, a) − C (s, a)1(exp
QΣ (s′ , a′ )
α
′
a ∈A
)]
−C (k) (s′ , a′ )exp(= QΣ (s, a) − C (k+1) (s, a))]
1 (k) ′ ′Q (s , a )
α

∑

∑

∑

1 Q (s′ ,a′ ))exp( α21′ ′′a′′ ∈A exp α Q2 (s ,a )∑a′′ ∈A∑

1 Q (s′ ,a′ ))exp( α11′ ′′a′′ ∈A exp α Q1 (s ,a )こ こ で, π1 (a′ |s′ ) =+αβ2 log[

Q(k+1) (s, a)
]

)β1

)β2
exp( α1 Q2 (s′ , a′ ))
(1
)
′
′′
a′′ ∈A exp α Q2 (s , a )
(
(
))β1
∑
1
′
′′
exp
Q1 (s , a )αa′′ ∈A

(
(
))β2
∑
1

exp
Q2 (s′ , a′′ )
α
′′

(k)

立すると仮定すると,exp( α1 Q1 (s′ , a′ ))∑1′′′
a′′ ∈A exp( α Q1 (s , a ))∑Proof. 任意の正の整数 k に対して Q(k) , C (k) をそれぞれ次のような漸化式によって定める.
k = 0 : QΣ (s, a)





k > 1 :=Q(k) (s, a) =
R3 + γEs′ ∼PM (·|s,a) [



(
)]

∑


αlog a′ ∈A exp α1 Q(k−1) (s′ , a′ )

(

a′ ∈A

(

Lemma 1 の証明を示す.

(k+1)

∑

+γEs′ ∼PM (·|s,a) α log

Appendix

とき,

a ∈A



[

= R3 + γEs′ ∼PM (·|s,a) α log

∑
a′ ∈A

(
exp

1 (k) ′ ′Q (s , a )
α

)]

[
<
= R3 + γEs′ ∼PM (·|s,a) α log

(

∑

exp

a′ ∈A

∑

log

a′ ∈A

exp

)]
1
QΣ (s′ , a′ )αと定義したとき, 縮小写像になっている. よって, 不動点定理よりそれぞれ k → ∞ のとき, QπΣ (s, a), D ∗ (s, a) に収束する. 以(1)
Q (s′ , a′ ) の部分を以下のように展開すると,
α Σ

∑

1
exp( QΣ (s′ , a′ ))
α
a′ ∈A

(
)β1
∑
exp( α1 Q∗1 (s′ , a′ )
∑
= log
1
∗ ′
′′
 ′
a′′ ∈A exp( α Q1 (s , a ))
a ∈A

log

(

(

exp( α1 Q∗2 (s′ , a′ )
∑
1
∗ ′
′′
a′′ ∈A exp( α Q2 (s , a ))
(

∑

exp

a′′ ∈A

{

= log

∑

1 ∗ ′ ′′Q2 (s , a )
α

)β2 (


))β2 

(∑expa′′ ∈A′ β1

1 ∗ ′ ′′Q1 (s , a )
α

))β1


′

′ β2

π1 (a |s ) π2 (a |s )同様に定理を導くことができる.
文}′

下, Lemma 1, Corollary 1 を使って [5] で行った式変形と全く+ β1 V1 (s′ ) + β2 V2 (s′ ).

a′ ∈A

よって, Q(k+1) (s, a) は∗ ′∗ ′Q(k+1) (s, a) <= R3 + γEs′ ∼PM (·|s,a) [q1 V1 (s ) + q2 V2 (s )]+γEs′ ∼PM (·|s,a) [αβ2 Dβ1 (π1 (·|s′ )||π2 (·|s′ ))]<= QΣ (s, a)
ただし, 最後の式は Rényi ダイバージェンス Dβ1 (π1 (·|s′ )||π2 (·|s′ ))が非負であることを使った.
次に, Theorem 1 の証明にうつる前に以下の系を先に示す.

Corollary 1. 補題 1 と同様の条件下で,∗VΣ (s) >= V3 (s) >= VΣ (s) − max C (s, a)a∈A

Proof. Lemma 1 より,∗
QΣ (s, a) >= Q3 (s, a) >= QΣ (s, a) − C (s, a)∗⇒ QΣ (s, a) >= Q3 (s, a) >= QΣ (s, a) − max C (s, a)a∈Aであることがわかり, この式に対し, α1 をかけ, αlog∑a∈A exp

をとれば系が得られる.
これを用いて Theorem 1 の証明を行う.

Proof. 任意の正の整数 k に対して Q(k) , D(k) をそれぞれ次のような漸化式によって定める.


k = 0 : QΣ (s, a)



(k)
′
Q (s, a) = k >= 1 : R3 + γEs′ ∼PM (·|s,a) [αH(πΣ (·|s ))

[
]]



′
Q(k−1) (s′ |a′ )+E ′a ∼πΣ (·|s )
k=0: 0



[
(k)
∗ ′
′
D (s, a) = k >= 1 : γEs′ ∼PM (·|s,a) Ea′ ∼πΣ (·|s′ ) [C (s , a )

]



+D(k−1) (s′ , a′ )]この漸化式は Q(k) (s, a), D (k) (s, a) が不動点になっており, 関数のノルムとして ||Q1 − Q2 || ≡ maxs,a |Q1 (s, a) − Q2 (s, a)|

献[1] Volodymyr Mnih, et al. Human-level control through deep
reinforcement learning. Nature, Vol. 518, No. 7540, pp. 529–
533, 2015.
[2] David Silver, et al. Mastering the game of go with deep neural networks and tree search. Nature, Vol. 529, No. 7587, p.
484, 2016.
[3] Wade Genders and Saiedeh Razavi. Using a deep reinforcement learning agent for traﬃc signal control. arXiv preprint
arXiv:1611.01142, 2016.
[4] Tuomas Haarnoja, Haoran Tang, Pieter Abbeel, and Sergey
Levine. Reinforcement learning with deep energy-based
policies. arXiv preprint arXiv:1702.08165, 2017.
[5] Tuomas Haarnoja, Vitchyr Pong, Aurick Zhou, Murtaza
Dalal, Pieter Abbeel, and Sergey Levine. Composable
deep reinforcement learning for robotic manipulation. arXiv
preprint arXiv:1803.06773, 2018.
[6] Marco Wiering. Multi-agent reinforcement learning for traffic light control. In ICML, pp. 1151–1158, 2000.
[7] 佐藤季久恵, 高屋英知, 小川亮, 芦原佑太, 栗原聡. Deep qnetwork を用いた交通信号制御システムの提案. In JSAI, 2017.
[8] 大橋耕也, 幸島匡宏, 堤田恭太, 松林達史, 戸田浩之. 深層強化学
習による車両移動経路と信号機の同時最適化. In DEIM, 2018.
[9] Hua Wei, Guanjie Zheng, Huaxiu Yao, and Zhenhui Li. Intellilight: A reinforcement learning approach for intelligent
traﬃc light control. In KDD, pp. 2496–2505. ACM, 2018.
[10] 株式会社 NTT データ. 中国・貴陽市において、ビッグデータを活用した「渋滞予測・信号制御シミュレーション」の実証実験で渋滞緩和効果を確認. http://www.nttdata.com/jp/ja/news/
release/2016/053101.html, 2016.
[11] Emanuel Todorov. Linearly-solvable markov decision problems. In NIPS, pp. 1369–1376, 2006.
[12] Krishnamurthy Dvijotham and Emanuel Todorov. Inverse
optimal control with linearly-solvable MDPs. In ICML, pp.
335–342, 2010.
[13] Ang Li and Paul R Schrater. Eﬃcient learning in linearlysolvable mdp models. In IJCAI, pp. 248–253, 2013.
[14] Masahiro Kohjima, Tatsushi Matsubayashi, and Hiroshi
Sawada. Generalized inverse reinforcement learning withlinearly solvable mdp. In ECMLPKDD, pp. 373–388, 2017.
[15] 松原崇充. 確率最適制御の最近の動向: 確率推論による解法. シ
ステム/制御/情報, Vol. 59, No. 10, pp. 369–374, 2015.
[16] Emanuel Todorov. Compositionality of optimal control
laws. In NIPS, pp. 1856–1864, 2009.
[17] 内部英治. 線形可解マルコフ決定過程を用いた順・逆強化学習.
日本神経回路学会誌, Vol. 23, No. 1, pp. 2–13, 2016.
[18] Richard S Sutton and Andrew G Barto. Introduction toreinforcement learning. MIT press Cambridge, 1998.
[19] Christopher JCH Watkins and Peter Dayan. Q-learning.
Machine learning, Vol. 8, No. 3-4, pp. 279–292, 1992.
[20] Michail G Lagoudakis and Ronald Parr. Least-squares policy iteration. JMLR, Vol. 4, No. Dec, pp. 1107–1149, 2003.
[21] Martin Riedmiller. Neural fitted q iteration-first experienceswith a data eﬃcient neural reinforcement learning method.
In ECML, Vol. 3720, pp. 317–328. Springer, 2005.
[22] Daniel Krajzewicz, Jakob Erdmann, Michael Behrisch, andLaura Bieker. Recent development and applications ofsumo-simulation of urban mobility. Int. J. On Adv. in Sys.
and Measurements, Vol. 5, No. 3&4, pp. 128–138, 2012.
[23] Geoﬀrey Hinton, Oriol Vinyals, and Jeﬀ Dean. Distilling the knowledge in a neural network. arXiv preprint
arXiv:1503.02531, 2015.

(a) 10 ステップ(b) 20 ステップ(c) 30 ステップ(d) 40 ステップ(e) 50 ステップ(f) 70 ステップ(g) 100 ステップ(h) 120 ステップ

図 5 MDP1 の学習済みネットワークを用いた学習済みエージェントの挙動. 緑色の線上の範囲が報酬が得られる位置を表す. 初期の状態から停止したままバランスをキープしつつ (〜30 ステップ), バランスを崩しても左に移動することで (〜100 ステップ), 再度バランスを持ち直す動作が学習できている.

(a) 10 ステップ(b) 20 ステップ(c) 30 ステップ(d) 40 ステップ(e) 50 ステップ(f) 70 ステップ(g) 100 ステップ(h) 120 ステップ

図 6 MDP2 の学習済みネットワークを用いた学習済みエージェントの挙動. 赤色の線上の範囲が報酬が得られる位置を表す. ポールをまず右側に傾けてから右へ移動し (〜30 ステップ), ポールを倒さないように注意しつつ減速し (40 ステップ〜), バランスを保って停止している (100 ステップ〜). このように右へ移動し停止するという動作が学習されている.

(a) 20 ステップ(b) 40 ステップ(c) 60 ステップ(d) 80 ステップ(e) 100 ステップ(f) 110 ステップ(g) 120 ステップ(h) 130 ステップ

図 7 学習済みネットワークを結合して構成したエージェントの挙動. 緑色と赤色の線はそれぞれ図 5, 6 と同じ範囲を表し, MDP3 ではこの 2 つの線の重なる範囲が最も報酬が大きくなる範囲を表す. このエージェントは, この報酬最大の範囲へ移動し, そこで停止する動作を行っていることが分かる.

(a) 比率 2:1(b) 比率 3:1(c) 比率 4:1

図 8 結合して構成した適応信号制御と固定信号の比較結果. 値が小さいほど良い.

(d) 比率 9:1