情報処理学会第 84 回全国大会

7S-02

Half Field Oﬀense における好奇心駆動探索とコミュニケーションを利用した深層強化学習
田村 純一

李 嘉誠

能登 正人

神奈川大学大学院工学研究科工学専攻電気電子情報工学領域
はじめに1∇θµ µ = Est ∼D [∇a Q(st , a|θQ )∇θµ µ(st |θµ )]近年 RoboCup 2D サッカーシミュレーションのサブタスクで，強化学習環境のテストベットとして用いられている Half Field Oﬀense (HFO) への深層強化学習を適用する研究がされている．HFO はマルチエージェ(3)

ここで，式 (1) は教師あり学習のターゲットであり，Dはエージェントが µ に従って行動した軌跡を保存しておくメモリである．Hausknecht ら [2] は DDPG をパラメータ化された行動空間に適応させた．

ント強化学習環境として課題が多く存在する．この課題の一つとして同時学習における非定常性と学習エピソードの増加が挙げられる．従来の手法では離散行動のみか連続行動のみを扱っているためパラメータ化された行動には対応しておらず HFO のような環境では利用することができない．
本研究ではこの課題を解決するために Random Net-work Distillation[1] とコミュニケーションを組み合わせた手法を提案する．提案手法は HFO のマルチエー
ジェント強化学習環境において同時学習が可能となり，コミュニケーションなしの場合と比べて学習効率が改善することを実験結果より示す．

2.2 Random Network Distillation (RND)
RND はランダムに初期化された固定のターゲットˆ
ネットワーク fˆ(st+1 |θf ) の出力と，エージェントによって収集されたデータで訓練する予測ネットワーク
f (st+1 |θf ) の出力間との誤差である式 (4) を内部報酬rti とする．
ˆrti = ∥f (st+1 |θf ) − fˆ(st+1 |θf )∥22

実験では RND ネットワークと DDPG ネットワークの更新は同じタイミングで行う．

32(4)

提案手法
本研究ではエージェント 2 体がそれぞれ図 1 のよう先行研究

2.1

Deep Deterministic Policy Gradient(DDPG)
DDPG は決定論的な方策勾配法とニューラルネッ
トワークを用いることで連続状態，連続行動の環境でも学習することが可能な深層強化学習の一種である．
Critic ネットワークを Q(s, a|θQ )，Actor ネットワーク
を µ(s|θµ ) とし θQ ，θµ で重み付けする．また，学習の安定化のために利用されるターゲットネットワークも′′それぞれ Q′ ，µ′ とし θQ ，θµ で重み付けする．学習には式 (2) の損失関数により Critic ネットワークを，式(3) の勾配を利用して Actor ネットワークを更新する．
′′

yt = rt + γQ′ (st+1 , µ′ (st+1 |θµ )|θQ )な RND と DDPG を使用し同時学習することを考える．タイムステップ t でのエージェント 2 が観測する(2)状態を stとし，コミュニケーションで利用するメッ(2)

セージは mt(2)= st となる．このメッセージを式 (4)における各ネットワークへの入力として扱うためエー(1)
ジェント 1 の状態 st と結合するとエージェント 1 の内部報酬は式 (5) となる．
ˆ(1)
(2)
(1)
(2)
rti = ∥f (st+1 ⊕ mt+1 |θf ) − fˆ(st+1 ⊕ mt+1 |θf )∥22 (5)また，RND による内部報酬 rti と環境から得られる外部報酬 rte を足し，報酬 rt とするため，エージェント

1 のターゲット yt は式 (6) のようになる．

(1)yt = rti + rte + γQ′ (st+1 , µ′ (st+1 ))
(1)

(1)

(6)

LQ (θ ) = E(st ,at ,rt ,st+1 )∼D [(Q(st , at |θ ) − yt ) ] (2)式 (5) は RND の損失関数としても扱い，ネットワー

Deep Reinforcement Learning with Curiosity-driven
Exploration and Communication in Half Field Oﬀense
Junichi Tamura, Jiacheng Li and Masato Noto
Graduate School of Electrical, Electronics and Information Engineering, Kanagawa University

クの更新は式 (6) を利用したエージェント 1 の DDPG

Q

Q

2

ネットワークの更新と同じタイミングに行う．ここまでをエージェント 2 も同様とし，この提案手法を RND-Comm として実験をする．

2-459

Copyright 2022 Information Processing Society of Japan.
All Rights Reserved.

情報処理学会第 84 回全国大会

状態行動価値関数

関数をエピソード中に最大化するように学んだ RND-DDPG

行動 ，行動パラメータ

内部報酬

CriticActor

RND

外部報酬 ‫ݎ‬௧ 
௘状態

Replay Buﬀer

図 1: RND と DDPG を組み合わせたモデル

4

実験
実験環境は HFO を使用する．2 体のエージェントとComm が評価エピソードにおいても 82.0% の高いゴール率となっている．よって，本研究での提案手法が同時学習を可能としトレーニング期間中の学習効率が良いことが分かった．
さらに，エージェント 1 とエージェント 2 の最終的な外部報酬値の差は約 1 となった．式 (7) の Ggoalがエーt
ジェント同士で共有されていることにより，どちらかがゴールをするとゴールをしていないエージェントは行動せずに比較的高い報酬値を得ることになる．そのため，ゴールに直結しない行動が最適行動と学習することでエピソードの初期地点から動かない様子が見られた．

ボールはエピソード毎にランダム配置される．エピソー
ドの終了条件はゴールをするか，ボールをフィールド6の外に出すか，ボールに触らず 100 タイムステップ過5ぎることである．トレーニング期間は 30 万エピソードDDPG+RNDComm : agent1
DDPG+RNDComm : agent2
DDPG : agent1
DDPG : agent2

Episode Rewards

4とし，学習エピソードの終了後に 1000 タイムステップ3の評価を行う．提案手法（RNDComm）と DDPG の2

みの 2 つを学習過程での学習効率と評価エピソードで比較する．外部報酬 rte は式 (7) の報酬関数によって得1られる．

00

40000

80000

120000 160000
Episodes200000240000280000rte = dt−1 (a, b) − dt (a, b) + Itkick+ 3(dt−1 (b, g) − dt (b, g)) + 5Ggoalt(7)図 2: RNDComm（赤線）と DDPG のみ（青線）の学習過程の比較

式 (7) はステップ毎に報酬を得られる外部報酬である．

d(a, b)，d(b, g) はそれぞれエージェントとボール，ボーはそ
ルとゴールの距離に比例した関数，Itkick ，Ggoalt
goal
れぞれキック，ゴール時に 1 得られる報酬で Gtのみエージェント同士で共有される.

56

おわりに
本研究では提案手法が HFO において同時学習を可能とし，既存手法のみに比べて学習効率が大幅に改善することを示した．今後の課題として，ある目的に最適なメッセージを見つけることである．人の手で設計結果と考察するメッセージよりも目的に合ったメッセージを学習

学習過程の比較結果を図 2 に示す．学習後の 1000 エ
ピソードの評価結果は RNDComm がゴール率 82.0%させて見つけることでより高度な戦略を獲得できると考えられる．

であり，DDPG のみがゴール率 0.6% の結果となった．
図 2 より RNDComm は 3 万エピソードからゴールをする行動を見つけ出し，30 万エピソードでのエージェント 1 の平均外部報酬は約 5.9，エージェント 2 は約 4.5 となった．一方，DDPG のみの場合はコミュニケーションによる自身の状態を送ることができないため，味方エージェントの状態を加味して行動を学習していくことができない．そのため，学習の効率が悪く

2 体のエージェントは 25 万エピソードから外部報酬が上昇し始める．
評価エピソードではどちらもトレーニング期間で学習させた方策のみを利用した．その結果，式 (7) の報酬

参考文献[1] Burda, Y., Edwards, H., Storkey, A. and Klimov,
O.: Exploration by Random Network Distillation,
Proceedings of the International Conference on
Learning Representations (2019).
[2] Hausknecht, M. and Stone, P.: Deep Reinforcement Learning in Parameterized Action Space,
Proceedings of the International Conference on
Learning Representations (2016).

2-460

Copyright 2022 Information Processing Society of Japan.
All Rights Reserved.