行動が連続値の強化学習：確率的傾斜法による接近○木村 元，

小林 重信

東京工業大学 大学院総合理工学研究科

                ○           
                   

       

       #        

!    "$   #"     &               はじめに   $        #       %    #   ただし  は何らかの正の定数   0
 1    -     の - 次関数形式で



本論文では，行動出力が連続値で報酬に遅れのある強化学習について考える．強化学習とは，試行錯誤を通じて未知なる環境へ適応していく機械学習の一つである．多くの実環境における応用では連続な行動出力や，しばしば連続値と離散値の混在する行動出力の扱いが求められるが，従来の代表的手法である'&   では，そのような行動に対する ' 値の関数近似や ' 値による行動選択は困難だった．本論文
中ではエージェントの政策を行動出力の分布と定義し，政策改善アルゴリズムを示すことにより，連続な行動出力への新しい接近法について述べる．提案手法は政策のパラメータ空間における確率的傾斜法に基づいている．環境のモデルをあらかじめ与えたり学習したりする必要がなく，明示的に (   を推定する必要もなく，) ステップあたりの計算量が一定の逐次的な処理である．例題として線形の制御問題および倒立振子制御問題を取り上げ，提案手法の特徴や有用性について考察する．

 従来の連続値行動強化学習●     *+  ,-. や *+  ,/. は線形 - 次形式問題への適用に限定された '&   を提案している．線形 次形式制御問題の (    や ' 値は  0与えられる．よってこれらの (  は，- 次関数による関数近似と '&   を用いて推定を行い，最適政策は推定された  関数の微分がゼロになる点を計算することで容易に求められる．探査戦略として，最適と思われる行動の周辺を正規分布などの確率分布で振らせて出力することにより，連続値の行動を取り扱っている．
●  ,7. は，*+  
 89. の 3 &アルゴリズムの 3  へファジィコントローラを適用した手法である．3  の保持している現在の政策に関して，4 では状態入力に対する割引報酬の期待値 を ; 法により推定する．現在の政策で示された行動出力の中心値に対してある標準偏差のガウス分布で行動を出力し，その結果得る
報酬  と状態遷移先の割引報酬の見積もり値 <  が<  1 < だったら行動出力の中心値を実際に出力した値へ近付けるように 3  の政策を逐次的に改善していく．つまり，明示的に (    を推定しながら確率的な山登り法で政策を改善する方法である．よって，政策すなわち状態観測から行動出力への写像のための関数近似とは別に，状態観測から (  推定値への写像を行うための関数近似が必要である．そのため学習の性能は，3  における政策の関数近似能力だけでなく，4 における (   の関数近似能力にも依存する問題点がある．
23456* 

:4

エージェント
行動 環境の観測  を受けとる

を実行する確率    状態観測行動  内部変数

    の確率で行動

 内部変数  の全ての要素  について以下の の 確率的傾斜法による強化学習





0½



 

観測 においてエージェントが行動  を選択する確率を政策 と呼び，関数    で表す 図 )．政策    は行動  の集合が連続値の場合は確率はエージェントの内密度関数である．パラメータ部変数ベクトルを表す．エージェントは内部変数を調節することにより確率的政策 を変えることができる．行動選択確率を表す機構が，例えばニューラルネットならば，内部変数はリンクの重み変数に相当し，重み付きのルールベースシステムならば， はルールの重みに相当する．    の関数形については，エージェントに実装できる計算資源の制限など，一般に個別の問題ごとに制約が存在する．すなわちエージェントの構造および制約条件は    の関数形で規定される．
確率的傾斜法を用いた強化学習アルゴリズムの一般形を図 - に示す *木村 ,7. *>   ,?.．の任意の  番目の要素を  と表す．手順 / の    は適正度     *%   ,-. と呼ばれ，どんな行動をとったのかについての情報である．   は適正



は割引率


  

 以下の式を用いて 

エージェントはある時間ステップ の観測において行動  を選択する．その結果，環境は状態遷移を行い，エージェントは報酬  を受け取り，次の時間ステップへ進む．エージェントの学習目標は，報酬獲得の合計を最大化すように，それぞれの観測において行動を選択する確率分布を形成することである．エージェントは環境の状態遷移規則や報酬についての知識をあらかじめ持っていないため，上記のような環境とのインタラクションを試行錯誤的に繰り返しながら，行動選択確率の学習を行う．本論文
では，エージェントは各時間ステップ において以下の割引報酬の合計   を最大化するような行動 を学習する．割引率を とすると，

 を求める．ただし

図 )= 確率的政策．エージェントはパラメータ調節によって政策 を改善する．

を実行する

 環境から報酬  を受け取る と である．

     を求める  

ただし  は定数である
 政策の改善 以下の式で  を更新

½  ¾               

ただし  は非負の学習定数である 時間ステップを   へ進めて  へ戻る．

図 -= 確率的傾斜法による強化学習法の一般形
度の履歴       と呼ばれ，今までとった行動の履歴を記憶しているが，過去の行動ほど割引率 で減衰／忘却している．エージェントは報酬を受けとると，手順 @7 にて履歴に記憶されていた行動の確率を高めるようにを更新する．このような処理を繰り返すと，報酬獲得に関係ない行動は打ち消され，報酬獲得に関係する行動だけが強化される．
本手法は割引報酬の期待値を最大化する方向へと政策を確率的に逐次改善するものであるが，理論の詳細については *木村 ,7. を参照されたい．

 連続値行動出力のアルゴリズム
政策    は行動  の集合が連続値の場合は確率密度関数であることはすでに述べた．正規分布は連続値の確率変数のためのマルチパラメータの分布として単純なためよく知られている．正規分布は平均値  と標準偏差  の - つのパラメータを持つ．政策 が式 ) に示す正規分布で与えられた場合，パラメータ  と  に関する適正度は以下のように計算される．

  00)-$ -)-09

このような行動選択メカニズムは     と呼ばれる *%   ,-.．エージェントはランダムな探査の度合いを自分で制御するという特徴がある．式-9 においてパラメータ  が分母となっていることより， が A へ近付くと適正度が発散することに注意しなければならない．適正度の発散はアルゴリズムの動作に悪い影響を及ぼす．この問題に対処するための一つの方法として，  の値に応じて内部変数の更新のステップ幅を制御することが考えられる．更新のステップ幅を  に比例させると，適正度は以下のように計算される．

0



0 





@

実験設定 線形  次形式制御問題

ベンチマークとして以下の線形 - 次形式制御問題
   "    = ' を考える．ある時間ステップ において，環境の状態はある連続値の実数  にある．エージェントは同じく連続値の実数 で表される行動を選択する．環境の状態遷移は以下で与える．

  0  1  1  7

ただし  は標準偏差  0 A@ の正規分布で与える．直接報酬は以下のように与える．

0

0



0 ?

  -))1-1/1)



,

£

最適な (    は  0   ただし は何らかの正の定数の形式で与えられる．本実験では，遷移可能な状態空間は * / /. に制限する．式 7で示される状態遷移が上記の範囲を超える場合は，制限範囲までしか移動できないものとする．エージェントの行動についても同様に * / /. の範囲外の行動を実行しても，環境では制限の範囲でしか実行されないものとする．

 エージェントの実装●確率的傾斜法の実装：
エージェントは  と  を何らかの決定的な方法にて計算し，平均値  標準偏差  の正規分布に従って行動を出力する．エージェントは - つの内部変数    を持ち，これを用いて  と  を以下のように計算する．

 0  8

ただし A ) は割引率である．本問題は線形 - 次形式制御問題であることより，最適な制御規則を解析的に求めることができる．  方程式よ0)) 1 $ )A

このとき， はフィードバックゲインとして見ることができる． を上記のように計算するのは， の値が負になるのを防ぐためである．エージェント内部変数  と  に対応する適正度をそれぞれ    と表す．式 /@ より，適正度    は以下に与えられる．

000

エージェントの学習目標は以下の割引報酬の合計を最大化することである．

½ / 実験

り，最適レギュレータは以下の状態フィードバックで与えられる．

 0     )  )))-

●比較対象のアルゴリズムの実装：
対等な条件での比較を行うため， 3  には確率的傾斜法と同じように式 )A で示す方法で政策を保持し，行動選択を行う．4 は ;A 法を用いて (   を推定する．状態観測の空間を格子状に分割して離散化し，それぞれのグリッドに対して ( を学習する．本実験では /  / の状態空間を 9等分した場合と )A 等分した場合について示す．4
では観測入力  に対する   を推定する．報酬  

を受け取ると，;& 0 1 <    <   を計算する．ただし < は 4 が出力した (  の推定値である．4 は ;& を用いて ;A 法により (  を更新する．3  は ;& と式 ))
)- を用いて以下のように更新する．
00 1   ;&   1   ;&  エージェントのパラメータは，学習係数  0 AA) 報酬基底  0 A に設定し， の初期値は A9@ A)@ の範囲内でランダムに初期化， は A すなわち  0 A@に初期化した．3 :4 の ;A の学習率は Aとした．

beta = 0.9
0.40.2

Feedback gain


0.6

0-0.2

-0.4

-0.6

optimum-0.8-1

0

実験結果

500

1000

1500

2000

2500

3000

3500

4000

4500

5000

Learning steps

図 9/ は ' 問題において割引率が A, の場合の)AA 試行の結果を示す．

フィードバックゲインに相当する  の値は最適解の周辺で浮遊する傾向がある．
標準偏差  は学習の結果，初期値よりは減少するが，A- のあたりで停滞する．以下に考察するが，これらはそれほど悲観的な結果ではない．

図 9= 確率的傾斜法による ' 環境の学習結果．割
引率γ0A,，横軸は学習ステップ，縦軸は獲得したフィードバックゲイン  をあらわす．

0.6



状態入力を 9 分割する ;A 法を 4 として用いた 3 :4 では，分散は小さいが最適値へは収束できなかった．状態入力を )A 分割した場合には，分散はかなり小さく，最適点付近まで近付いているが，最適点から外れた値へ収束している．これより，3 :4 では 3  による政策関数の近似能力だけでなく，十分な 4 の関数近似能力も求められることが分かる．

学習途中の挙動の考察
図 7 はフィードバックゲインの初期値を )A として学習した場合の )A 試行それぞれのフィードバックゲインの変化の様子を表す．系が発散するダイナミクスとなるような学習の初期値となっており，試行のうちの半数近くがランダムウォークによって最適解

0.40.2

Feedback gain

収束時の定常的な挙動の考察
図 @ は式 ?8 で定義される (    を  と で張られるパラメータ空間で表示したものである．最適解の周辺ではほとんど平らになっていることより，確率的傾斜法のエージェントは ) 次元の本 ' 問題において，だいたいよい政策を得たと結論できる．

0-0.2

gamma=0.9, Critic’s Grid=3-0.4
gamma=0.9, Critic’s Grid=10-0.6
optimum-0.8-10500

1000

1500

2000

2500

3000

3500

4000

4500

5000

Learning steps

図 /=による ' 環境の学習結果．
4 の関数近似方法として， 9 分割と )A 分割の 種類について示す．割引率γ0A,，横軸は学習ステップ，縦軸は獲得したフィードバックゲイン  をあらわす．
3 :4

から遠ざかる方向へと学習してしまうことが分かる．
図 @ を見るとフィードバックゲインが )A の周辺から先では (    がほぼ完全に平らになっており，最適点方向への傾斜がないためにランダムウォークしてしまうと考えられる．よって確率的傾斜法を用いる場合にはエキスパートの知識を併用してある程度最適点の近くから学習を開始することが必要と考えられる．これに対して，3 :4 では分散が小さいという特徴がある．

Optimum point

0-50-100-150-200-250 倒立振子制御問題への適用-300-350

提案手法の有用性について示すため，多次元の状態観測を必要とする非線形・非 - 次形式の倒立振子制御問題 図 ? へ適用する．*+    89. の実験設定を参考にしたが，彼らは行動を離散値としていたので，いくつか修正を加え，行動を連続値として計算機シミュレーションを行った．

0-21  
1000.5

Deviation
11.521C 

¾ 




 1

7    

¾ B    



8

 C

Discount rate = 0.9
Learning rate = 0.01

65Feedback gainB0-0.5

図 @= ' 環境の #    の形状．割引率 0A@88/  0 A 付近はほとんど平A,．最適点  0らであることが分かる．

実験設定 -1

Feedback gain

台車の質量  ，ポールの質量 ，ポールの長さ -，
重力加速度  ，台車に加えられる力  ，台車の摩擦係数  ，ポールの摩擦係数  とすると，図 ? の倒立振子のダイナミクスは以下で表される．

B0.5

-1.5

43

本実験では D 0 AA- の離散時間システムとして2近似し， 0 )A， 0 A)，- 0 )A，1 0 ,8!" ， 0 AAAA@， 0 AAAAAA- とした．エージェントは  C  C  を観測し，行動と0optimalして台車に加える力  を出力する．エージェントは-1
行動出力として任意の連続値をとることができるが，020406080100
Learning steps
 0 -A6 の範囲を超える場合には，環境はこの制限を超える分を無視して行動を実行する．環境は C  C  0 A A A A の初期状態から始まる．ポー 図 7= 割引率γ0A, で学習した場合の )A 試行それぞ
ルの角度 が )- 度を超えるか，または台車の中心  れのフィードバックゲインの変化．初期値は )A からが -/ の範囲からはみ出すと，環境からエージェン 学習を始めた．
トへ ) の報酬が与えられ，環境は初期状態へ戻る．





4000






0A

3000

Time steps until failure

3500



図 ?= 倒立振子制御問題．

2500

2000

SGA

1500

1000

Actor/Critic●確率的傾斜法の実装：
本実験では  C  C 0 500

-/  - :   )-!)8A   )@  :  の状態空間を定義して正規化する．エージェントは @ つの内部変数     0050100150200250300350400450500

Trialsを持ち，これを用いて  と  を以下のように計算する． 図 8= 倒立振子問題への適用結果． )AA 試行の平均．
CC11 1 -/)- !)8A)@00A)1)) 1 $  ' の例題の場合と同様にして，適正度)9      は以下に与えられる．





000



    0   C    0     C  ) 1 A)  

これらを用いて図 - の手順で政策を学習する．

●比較対象のアルゴリズムの実装：
対等な条件での比較を行うため， 3  には確率的傾斜法と同様に式 )9 で示す方法で政策を保持し，行動選択を行う．4 は状態観測の空間を格子状に分割して離散化し，それぞれのグリッドに対して ;A
法を用いて (  を推定する．本実験では正規化された状態空間を各軸に対して 9 等分，つまり 9 0 8)個の矩形に分割した場合について実験を行う．割引率 0 A,@ に設定，それ以外のパラメータ等は 'の実験と同じである．

おわりに

本論文では，行動出力が連続値で報酬に遅れのある強化学習問題に対し，確率的傾斜法を用いた強化学習アルゴリズムによる接近法を示した．連続値の行動出力を扱える政策関数としてガウス分布を取り上げ，確率的傾斜法による学習アルゴリズムを実装し，実験により特徴と有効性を示した．

参考文献       !" #   $ 



# %

       -  .-& &' (" )* #$ +,# $,, /% 
#

#   / # 2 3&) 0 1&## 1   ) '4 ),#* 5 " #' (6# 7Æ!& #   $ #4  #4

#1 :

1 *

8 9 "'
  !" #   $ ),%,  #   ;&#! $& #        



木村  木村 元，山村 雅幸，小林 重信 部分観測マルコフ決定過程下での強化学習：確率的傾斜法による接近，人工知能学会誌 -  3  ,,%/ 

実験結果を図 8 に示す．)  は初期状態からポー <"& #    <"& = >?@4 <   < 9?'61   !" #   $  8A>78' B#6 C& !#
ルや台車が許容範囲をはみ出すまでを表す．3 :4),, D"#    
では全く学習できないのに対し，政策を保持するた     ,, E 
めの関数近似が全く同じである確率的傾斜法では学  #      :     (   !" #  $   ) )(%' C&@@? ),#*   $習できた．

#

1&##

3#B 4// 1&##
'!    "-  3   ,,  %  1   $ # (",  7F !'% //

8!# 9? #6 >#6%  # ,,

2#4 ' #  2#4 '  :  = G 7?! 3 #

2 "'  2 "'C : 1",  1##'#! 0 #B $ ) $ #6"'     $8 (!6%$%  $   % ,, %/

!#

'#   !" #  % ,, % 