実環境への強化学習の適用に関する実験的考察

Discussion on Applying Reinforcement Learning to A Real Environment○土井 幹也 小野 功 小野 典彦 (徳島大) 木村 元 小林 重信 (東工大)Mikiya Doi, Isao Ono, Norihiko Ono, University of Tokushima
Hajime Kimura, Shigenubu Kobayashi, Tokyo Institute of Technology
abstract : Reinforcement learning is expected as a learning method that is able to acquire an appropriate action policy by using reward from an unknown environment as clues. Various methods including
Q-learning have been proposed so far. In most studies on reinforcement learning, reinforcement learning methods have been hardly applied to real environments where they are supposed to be useful. In
this paper, we apply some representative reinforcement methods such as the Q-learning, the Stochastic
Gradient Ascent (SGA) and an extended version of the SGA for the Semi-Markov Decision Processes(SMDPs) to a simple robot-navigation problem. We discuss some advantages and disadvantages ofeach methods based on the results.

1

究に TD 法 [5] があり, Q-learning[6] はこの発展形とはじめにして提案された. また, この Q-learning を基にし, R-強化学習は, 未知なる環境において, 報酬を得て罰から逃れるような適切な行動を, 試行錯誤によって獲得する

learning[4],k- 確実探査法 [11] など様々な改良された学習法が提案されいる.という基本的な適応能力を有している. 近年, 多くの研究者の注目を集めている. (図 1).

MDPs を越えたクラスで状態観測に不確実性を付加したモデルである部分観測マルコフ決定過程 (POMDPs)
エージェントが提唱されており [3], このモデルを対象に [2] はメモリーベースの学習法を提案しており, [9] は確率的政策の学習

行動報酬

状態観測法を提案している. また, POMDPs 同様, MDPs から発展したクラスで連続時間を付加したセミマルコフ決定過環境

程 (SMDPs) があり, [1] はこのクラスに適応可能な強化学習システムを提案している.

図 1: 強化学習の枠組
これら数多くの強化学習手法が研究されているが, そ強化学習が注目を集める理由は, 不確実性のある環境を扱っている点にある. 多くの実世界の制御問題において不確実性の扱いが求められる. もう一つの理由には, 報
酬に遅れのある段取り的な行動を獲得する点にある. 設
計者がゴール状態でエージェントに報酬を与えるといった形で, させたいタスクをエージェントに指示しておけの大部分がコンピュータシミュレーションを用いたもの
で, 本来活躍が期待される実環境への応用研究はほとん
どなされていないのが現状である. そこで, 本論文では実ロボットの走行問題を対象に実環境に代表的な強化学習手法を適用し, それぞれの手法の利点, 欠点について実験的に考察する.

ば, ゴールへの到達方法はエージェントの試行錯誤学習によって自動的に獲得される. つまり, 設計者が「何をするか」をエージェントの報酬という形で指示しておくだ

2 章では, 本論文で対象とする強化学習の環境クラス

けで「どのように実現するか」を学習によってエージェとそのクラスに対応した学習法について説明する. 3 章

ントが自動的に獲得する枠組となっている.

では, 自立走行型ロボットに 2 章で説明する学習法を実それゆえに, 強化学習は数多くの研究がなされてきた.
離散マルコフ決定過程 (MDPs) を対象にした先駆的研

装し走行問題を対象に実験を行う. 4 章でまとめて終りとする.

2

本論文で対象とする強化学習
1. エージェントは環境の状態観測 st を受けとる.

本論文で対象とする強化学習手法は, MDPs における

2. エージェントは任意の行動選択法 (探索戦略) に従って行動 at を実行する.

Q-learning, POMDPs における確率的傾斜法, SMDPs における SMDPs に対応した確率的傾斜法である.
2.1 では各環境クラスについて, 2.2 では各手法のアル

3. 環境から報酬 rt を受けとる.
4. 状態遷移後の状態観測 st+1 を受けとる.

ゴリズム及び利点, 欠点について述べる.

5. 以下の更新式 Q 値を更新

2.1

環境クラス

Q(st , at )(1) 離散マルコ フ決定過程 (MDPs:Markov DecisionProcesses)←Q(sr , at ) + α rt + γ max Q(st+1 , a)−Q(st , at )a

ただし α は学習率, γ は割引率 (0 ≤ γ ≤ 1) である.

従来の多くの強化学習研究はマルコフ決定過程を対象
6. 時間ステップ t を t + 1 へ進めて手順１へ戻る.としてきた. その理由は, マルコフ決定過程が不確実性を含む実世界の多くの制御問題を精度よく近似可能だからである. 連続的な状態空間及び行動集合の上で, つま

図 2: Watkins の One-step Q-learning アルゴリズムのり連続的な時間の上で動作するエージェントの挙動を数概要学的に扱うのは煩雑な作業を必要とするが, いかなる連続的なマルコフ決定過程も有限な離散時間マルコフ決定過程によって適切に近似することができる. 時刻 t における状態 st で, エージェントは行動集合のいずれかを選択する. 選択された行動 at を実行すると状態遷移確率により確率的に決定される状態に遷移する. この時, エー
ジェントには報酬関数により確率的に決定される報酬 rtが与えられる.

(2) 部分観測マルコフ決定過程 (POMDPs:Partialy Observable Markov Decision Processes)

セミマルコフ決定過程はマルコフ決定過程を連続な時間に拡張した数理モデルで, 何らかのイベントが発生したときに意志決定を行うイベント駆動型の意志決定モデル
である [1]. MDPs では一定の時間間隔で意志決定を行っているため，報酬に遅れのある環境では, 意志決定の間隔を短くすると報酬までの行動系列が長くなってしまい,学習が困難になる.
また, サッカーロボットの学習では, 状態数を低減する
ため状態を粗くすると, 行動しても同じ状態に戻ってし

従来の多くの強化学習研究はマルコフ決定過程を対象まい, 学習が進まない. これに対し, 状態が変化するまでとしてるが, 実問題の多くではこのような仮定を満たさ同じ行動を実行し続ける方法がとられている [8]. このよない. 実世界における強化学習では, エージェントのセうに, 一定時間間隔の意志決定ではなく, イベント駆動型

ンサ能力の制限等により状態観測に不完全性や不確実性の意志決定が望まれる.

を伴う隠れ状態や関数近似の問題の扱いが求められる.

は, エージェントは何らかの汎化処理を行う必要がある.

SMDPs はイベント駆動型であるので, 状態変化が大きい場合は短く, 状態が変化しない場合は長い間隔で意志決定を行うことができ, 無駄に多くの意志決定を行う必要が無くなる.

部分観測マルコフ決定過程はマルコフ決定過程を拡張し,次節では, ここで説明した各モデルに対して本論文でこの隠れ状態は非マルコフ問題の一種として知られている [7]. 連続で大きな空間状態や行動の空間を扱う場合にエージェントの状態観測に不完全性や不確実性を付加し対象とした強化学習手法について説明する.

た数理モデルでり, 実問題ではこのモデルを基に学習を行う必要があると考えられる.

POMSPs に対するアプローチは, モデルを構築することで非マルコフ性を排除する立場と, モデルを構築せずに, あくまで現在の感覚入力だけから行動を決定する立場のふたつに大きく分かれる. 前者は一般にモデル構築型と呼ばれ, 後者はモデルフリー型もしくはメモリレス

2.2

強化学習手法(1) Q-learning[6]Q-learning は環境との試行錯誤的な相互作用の繰り返しを通じて, 最適政策をとり続けるときの利得の期待値を推定するアルゴリズムである. 図.2 にその概要を示す.

型と呼ばれる.

(3) セミマルコフ決定過程 (SMDPs:Semi Markov Decision Processes)

Q-learning の利点は, 環境が MDPs であれば, 最適政策の獲得が保証されることにある. そのため, 現在まで

1. 環境の観測 st を受け取る.

1. エージェントは環境において状態 si を観測し, 確率的政策
π(ai , W, si ) により行動 ai を実行.

2. π(at , W, st ) の確率で行動 at を実行する.

2. 環境から報酬 ri を受け取る.

3. 環境から報酬 rt を受け取る.
4. 内部変数 W のすべて要素 wi について以下の ei (t) と Di (t) を求める. ただし γ は割引率 (0 ≤ γ ≤ 1) である.
ei (t)=Di (t)=∂ln π(at , W, st ) ,∂wiei (t) + γDi (t − 1),

3. 次のイベント発生と同時に τi 及び ρ(si , ai ) が決定するので, 行動選択確率を更新する.
ek (i)=Dk (i)=∆Wk (i)=W←

5. 以下の式を用いて ∆wi (t) を求める.
∆wi (t) = (rt − b)Di (t)∆W (t)

=

W

←






1 − e−βτi
ρ(si , ai ) Dk (i),βW + α∆W (i)ri +ただし ek (i) は適正度, Dk (i) は適正度の履歴,
W = (w1 , w2 , · · · , wk · · ·) は政策を表す関数のパラメータ,
α は学習定数, β は減衰定数を表す.

ただし b は報酬基底と呼ばれる定数である.

6. 政策の改善：以下の式で W を更新∂
ln π(ai , W, si ) ,∂wkek (i) + Dk (i − 1),∆w1 (t), ∆w2 (t) · · · ∆wi (t) · · · ,4. 適正度の履歴を減衰：
Dk (i) ← e−βτi Dk (i)W + α(1 − γ)∆W (t)ただし α は非負の学習定数である.

5. i ← i + 1 としステップ (1) から繰り返す.

7. 時間ステップ t を t + 1 へ進めて 1 へ戻る.

図 4: SMDPs に対応した確率的傾斜法
図 3: 確率的傾斜法による強化学習のー般形を受け取った時点で今までの経験を強化するため, 経験に, 非常に多くの研究で利用されている.

強化型の学習アルゴリズムに分類できる.

一方, 欠点は解析が保証されているのはあくまでも最確率的傾斜法の利点は, 各時間ステップでの状態 st や終結果であることと, 解析が強化学習システムの構成要

割引報酬の期待値 VNπ (st ) 等を明示的に推定するような素である状態認識器, 行動選択器, 学習器の３つのうち行計算コストのかかる処理が不要であり, 実時間処理に向動選択器を含んでいないことである. その結果, 場合にいた方法であることや, 確率的政策 π(a, W, X) はエ−

よっては無駄な行動を多く含み Q 値の収束までに膨大ジェントの内部変数 W を用いて関数表示されているたな行動回数を必要とすることがある. また, 学習の途中めニューラルネットやファジィなどの任意の関数近似シ段階での Q 値には近似解としての意味は無く, あくまでステムを用いることが可能であることが挙げられる. ま収束を得られなければ, そこそこの解すら得られない場

た, 政策 π(a, W, X) を行動 a を出力する確率密度関数合がある. さらに Q 値は環境の構造や学習率のパラメーとすれば, 連続値の行動を扱うことができる.

タに非常に敏感であるため, 実問題へ応用し一定の成果を得るためにはチューニングが必要となる.

(2) 確率的傾斜法 [9]確率的傾斜法はＰＯＭＤＰの環境において, 関数近似されたメモリレスな政策, 観測から行動への写像を形成する強化学習アルゴリズムである.
エージェントの学習目標は, 報酬獲得の評価関数を最大化するように観測入力に対する行動出力を獲得することである. 確率的傾斜法では観測入力に対する行動出力の確率分布関数として定義される確率的政策を扱う.
確率的傾斜法を用いた強化学習アルゴリズムのー般形を図 3に示す. このような処理を繰り返すと, 報酬獲得に関係ない行動は打ち消され, 報酬獲得に関係する行動だけが強化される. また, 行動の履歴を強化することによって報酬に遅れのある行動も強化される. この手法は報酬

欠点としては, MDPs 環境では Q-learning には性能が及ばない場合があり，また山登り法に一種であるため最適性が保証されていないことなどが挙げられる.

(3) SMDPs 環境へ適用する確率的傾斜法(2) に示す MDPs におけるアルゴリズムと SMDPs モデ
ルのアナロジーによって機械的に拡張すると, 図 4のようになる. ここで用いられている報酬には ri , ρ(si , ai ) の2 種類がある, ri は報酬の期待値であり, ρ(si , ai ) は状態
si に滞在中の単位時間あたりの報酬率の期待値である.
(2) を拡張しているため利点, 欠点も (2) と同様のことが言えるだろう.

観測入力

状態観測X
赤外線センサ情報
環境

エージェント

報酬Rx1

2ビット
行動出力

W

f1x2

確率的選択器

0 or 1y10 or 1y2x3
行動出力A
左右モータの回転方向f2x4

確率的選択器Sigmoid関数

図 6: 確率的傾斜法におけるエージェントの内部構造

図 5: エージェント−環境

3

実験

3.1

実験環境

d. 約 0.5 秒後にロボットは停止する, この時の障害物接触の有無と逆回転したモータの数によって報酬を計算しエージェントに与える.
報酬計算式：ri = −20X1 + (−X2 )図 5にエージェントと環境間の概略図を示す. ロボッ

ここで, X1 は障害物に接触していれば 1 そうでな

トの目標は赤外線センサ情報による障害物回避行動かついときは 0 となる変数, X2 は, 逆回転したモータの前進行動の獲得である. 障害物は四方を囲む壁であり, ロ数, すなわち行動が回転 (左または右のモータの逆ボットはこの壁の内側で学習を行う.

回転) であれば 1 となり, 後進 (左右両方のモータが赤外線センサはロボットの左目, 右目になっており, 障害物の有無が判断できる. センサの能力が限られている逆回転) であれば 2 となる変数.

e. Q 値を更新し, ステップ a. に戻る.

ことから状態は, 障害物を右前方, 左前方, 前方に感知,もしくは何も感知しなかったという 4 状態である. 出力(2) 確率的傾斜法

は左右各モータの回転方向であり, 従ってロボットは前進, 後進, 右回転, 左回転の行動をとるができる. また, 前

図 6に示す内部構造のエージェントを適用し, 確率的進行動かつ障害物回避行動を強化するため, 逆回転モー傾斜法を実装する. 観測入力は (x1 , x2, x3 , x4 ) のベクタの個数と障害物接触の有無により負の報酬を決定する.

トルとして表現される. 各要素は前節で示した観測入力

以上が本実験の環境である. 次節では, ここで比較実験４状態に対応しており, 要素がどれか１つ１となるとそを行う学習法の実装につて述べる.

れ以外は０となる. 例えば障害物が前方に感知された状

3.2

は Q-learning の場合と同じである. パラメータは学習率

態は (x1 , x2 , x3 , x4 ) = (0, 0, 1, 0) となる. 報酬の計算

強化学習の実装

タ設定について説明する.

α = 0.1 , 割引率 γ = 0.95 とする. 本実験に用いた確率的傾斜法の内部構造は [10] に用いられている構造と同構造である, 詳細についてはそちらを参照されたい.

(1) Q-learning(3) SMDPs 環境へ適用する確率的傾斜法

図 2では Q-learning の概要を示した. このアルゴリズム

エージェントの内部構造は (2) と同じである. ここではに前節で述べた状態, 行動, 報酬を与えロボットに実装すイベントとして 1). 状態が変化したとき 2). 障害物に

ここでは, 2.2 で説明した各学習法の実装と, パラメーる. パラメータは学習率 α = 0.1 , 割引率 γ = 0.95 とす接触したとき 3). 同じ行動を 3.0 秒以上行ったときの 3る. また, 行動選択法には ε − greedy を用い ε = 0.1 と通りを設定した. パラメータは学習率 α = 0.07, 割引率した. エージェントとロボットは以下のやりとりを行う.

β = 0.8 とする. エージェントとロボットのやりとりは次のようになる.

a. エージェントは状態観測としてロボットのセンサ情報を受け取る.
b. エージェントは Q 値に基づき行動出力を決定し, 左右の各モータに回転方向を出力する.
c. ロボットはエージェントの指示に従い行動する.

a. エージェントは状態観測としてロボットのセンサ情報を受け取る.
b. エージェントは内部変数より行動出力を決定し左右の各モータに回転方向を出力する.

0-50-50-100-100
estimate reward

estimate reward

0-150-150-200-200-250-250-300-300
0200

400

600

800
1000
times [sec]

1200

1400

1600

1800

0200400

図 7: Q-learning

600

800
1000
times [sec]

1200

1400

16001800

140016001800

図 8: 確率的傾斜法

c. ロボットはエージェントの指示に従いイベントが発生するまで行動し続ける.

0-50

d. イベント発生直後, ロボットは停止し報酬計算を行い, エージェントに与える
estimate reward

報酬計算式：ri = −20X1 + (−2X2 /τi )-100-150-200

ここで, X1 , X2 は Q-learning の報酬計算式で用いた変数と同じである, τi はイベントが発生するまで-250の時間である.
-300

e. 適正度の計算と適正度の履歴および内部変数を更新し, ステップ a. に戻る.

0200

400

600

800
1000times [sec]1200

図 9: SMDPs 確率的傾斜法
ここでの報酬の与え方では得られた報酬をすべて ri としたが, 厳密なアルゴリズムでは 2.2 (3) で説明したように

ri = −20X1 , ρ(si , ai ) = −2X2 /τi とすべきである. この報酬の与え方は今後の課題としたい.

今 回 の 問 題 で は, 環 境 は セ ン サ 情 報 の 精 度 よ り
POMDPs 環境になっていると考えられる.
例えば, 壁が見えていない状態で前進行動を行った場

3.3

結果

それぞれの学習手法に対して 30 分間の学習を 5 回づつ行った. 図 7,8,9 に, 各手法の 5 回試行の結果を示す.
横軸は時間を表し, 縦軸は 1 分間に得られた報酬の和を表す.
図 7より Q-learning では, 学習曲線が大きく振動していることがわかる, 図 8より, 確率的傾斜法ではある程度振動するが Q-learning に比べると安定した結果となっている. 図 9に示すように SMDPs に対応した確率的傾斜法が最も単位時間あたりの獲得報酬が高く, かつ安定した結果となった. 次節では何故, 以上のような結果が得られたのかについて考察を行う.

3.4

考察

POMDPs 環境合, 実験環境の中央付近では同じ見えていない状態に戻るだけであるが, 壁の近くであれば, 壁を感知しないままに衝突してしまう場合が見られた. 本来ならばそれぞれ別の状態として扱う事が望まれるが, センサの精度に制限され同じ状態としか判断する事が出来ない. これは状態観測が不完全な隠れ状態である.
また, 同じ位置で状態観測しても, 壁が感知される場合とされない場合が見られた, これは状態観測の不確実性である.

Q-learning と確率的傾斜法
一般に, POMDPs 環境では決定的政策よりも, 確率的政策のほうが良い場合があると知られており, Q-learningは前者にあたり確率的傾斜法は後者にあたる学習法である. また, Q-lerning は環境が MDPs でないと, 極度に性能が低下するおそれがあると言われている. 上記の考

察より, 実験環境は POMDPs 環境と言える. そのため,

Q-learning は POMDPs の影響を受けてしまい, 獲得報酬

SMDPs では実行時間の設定は不要であり, このことからも SMDPs モデルはモデル化のしやすさが伺える.の最大値は高いが学習曲線は大きく振動した結果となったと思われる. これに対し, 確率的傾斜法は Q-learningに比べると安定した結果が得られた. このことからも,

POMDPs 環境では決定的政策よりも確率的政策の方が有利であると言えるだろう.

4

おわりに
本論文では実ロボットの走行問題を対象に実環境に代表的な Q-learning, 確率的傾斜法, SMDPs に拡張した確

しかしながら, 確率的傾斜法では, こちらは意図してい率的傾斜法を適用し, それぞれの手法の利点, 欠点につないが定位置で回転する事によって壁との接触を避けるいて実験的に考察した. ロボットなどの実問題への適用行動を獲得しまう場合が見られた. これは, この手法がを考えた場合，本論文における実験結果は，SMDPs に山登り法であるため, 一種の局所解に陥ってしまったと

拡張した確率的傾斜法が，環境のモデル化を行いやすく，思われる.

かつ良好な性能を得ることが容易であることを示唆してSMDPs に対応した確率的傾斜法いると考えられる．

上記の 2 手法に対し, SMDPs に対応した確率的傾斜ナルの確率的傾斜法と SMDPs に拡張した確率的傾斜法

法では安定した良い結果が得られている. これは, 上記の比較実験，SMDPs に拡張した確率的傾斜法の厳密なの 2 手法が一定時間間隔に行動政策を決定しているのに報酬設計での実験, ロボットの走行問題以外の問題にお今後の課題としては，割引率を合わせた下でのオリジ対して, この手法はイベント駆動型であるからだと思わける性能比較実験，SMDPs 環境下における探索効率のれる. 本実験ではイベントの一つに状態遷移が起こった

良い強化学習手法の提案などを考えている．

時を設定している. そのため実験環境が POMDPs であると思われる 1 つ原因である状態の不完全性, 壁が見えないままに衝突してしまう現象が減少されていると言えるだろう.
また, 確率的傾斜法では局所解に陥る行動が見られたが, この手法では見られなかった. これは, ある程度の時間, 同じ行動を実行し続けることによって, 内部変数の更新に良い影響を与えたためだと思われる.
本実験では, 割引率 β = 0.8 に設定してある, 確率的傾斜法で設定した行動実行時間 τ = 0.5 と割引率 γ = 0.95を考慮した場合, e−βτ = γ にはならないので厳密に言うなら, 本実験結果から確率傾斜法と SMDPs に対応した確率的傾斜法を比較することはできないのだが, 同パラメータによる学習は今後の課題としたい.

SMDPs による利点
SMDPs モデルの良いところは, イベント駆動型にある. MDPs での学習法では行動実行時間を指定しなければならなかったが, その処理が不要となる. 実行時間を指定しなくてよいことは今回の実験のようなバッテリ型ロボットにとっては大変有利なことである. 何故ならば,バッテリは時間とともに消耗してくためである. バッテリがフルの時は単位時間あたりの移動距離は長くなるため, 実行時間を長くすると最初に述べた状態の不完全性が増し性能が大幅に悪化する. しかし逆に, 実行時間を短くすると頻繁に意志決定を行うので学習が遅くなる. さらに, 時間とともに単位時間あたりの移動距離は短くなっていくので, 実行時間を一定にしておくと, 性能は低下して行く.

参考文献[1] Bradtke, S.J.& Duﬀ, M.O.:Reinforcement Learning Methoed
for Continuous-Time Markov Decision Problems,Advances in
Neural Infomation Processing Systems 7,pp.393-400,(1995)[2] Chrisman,L.,Reinforcement learning with perceptual aliasing: The Perceptual Distinctions Approach,Proceedings of th
10th National Conference on Artiﬁcial Intelligence, pp.183188,(1992)[3] Lovejoy,W.S.,A Survey of Algorithmic Methoeds for PartiallyObserved Markov Decision Processes,Annals of Operations
Research 28,pp.47-65, (1991)[4] Schwartz, A.:A reinforcement learning method for maximizing undiscounted reward. In Proceedings of the 10th International Conference on Machine Learning,pp.298-305,(1993)[5] Sutton,R.S.,Learning to Predict by the Methods of TemporalDiﬀerences, Machine Learning 3,pp.3-44,(1988)[6] Watkins,C.J.C.H.,& Dayan,P.: Technical Note :Q-learning,
Machine Learning 8,pp.55-68,(1992)[7] Whitehead,S.D.,& Lin,L.J.:Reinforcement learning of nonMarkov decision processes,Artifical Intelligence 73,pp.271306,(1995)[8] 浅田 稔:強化学習の実ロボットへの応用とその課題, 人工知能学会
誌, Vol.12,No.6,pp.831-836,(1997)[9] 木村 元，山村 雅幸，小林 重信：部分観測マルコフ決定過程
下での強化学習：確率的傾斜法による接近，人工知能学会誌，
Vol.11,No5.pp.761-768,(1996)[10] 木村 元, 小林 重信, ロボットアームのほふく行動の強化学習：
確率的傾斜法による接近, 人工知能学会誌, Vol.14,No1,pp.122130,(1999)[11] 宮崎 和光, 山村 雅幸, 小林 重信,k-確実探索法:強化学習における環
境同定のための行動選択戦略, 人工知能学会誌, vol.10,No3,pp.124-133,(1995)