計測自動制御学会 第  回自律分散システムシンポジウム（  年月） 

適正度の履歴を用いた自然勾配

   法          

九州大学 大学院工学研究院 海洋システム工学部門 ○木村 元○                                                                                                                                                                 
づいて行動    を実行し ，状態遷移に伴う報酬   を得る．本論文が環境のモデルとし て仮定するマルコフ決定過程 . /01 では，一般に次の状態や報酬は確率的で，その分布は  と  にのみ依存する． /0 では次の状態
  は遷移確率  .     1 に従って決まり，報酬  も期待値 .  1 によって与えられる．エージェントは予め .     1 や  .  1 についての知識を持っていない．
強化学習の目的はエージェントのパフォーマンスを最適化する政策を得ることである．無限期間のタスクにおける自然な評価規範とし て，割引報酬の合計がある．  は期待値， は割引率を表すものとすると， /0 での評価関数は以下のように定義される：

はじめに環境との試行錯誤を通し 、行動を改善したり最適な行動を  のように政策に見出していく強化学習法には、!
依存せずに最適な状態行動評価値を推定する " と呼ばれる方法と、#$#$ や $ %  のように政策に依存した状態評価値や行動評価値を推定して政策を改善する   と呼ばれる方法がある。多数のセンサやモーターで構成されるロボットの制御規則を強化学習で獲得しようとする場合、高次元で膨大な状態空間や行動空間を扱う必要が生じることから、あらゆる状態行動における経験を十分に行う必要のある " 強化学習法よりも、保持している政策を改善していく   法のほ うが学習速度の点で有望であると考えられる。その   強化学習法の一つである $ %  法は、状態や行動を評価する   部分と、確率的政策を保持する  部分より構成され 、  の評価値に基づいて  の政策を改善していくものであり、実ロボットの強化学習において多くの実績がある。著者らは先行研究において  の適正度の履歴（    ）を利用した    法を提案し 、  の機能が損なわれると確率的傾斜法 &'( に等価となり、また適正度の履歴を使うことで 、環境にある程度の非マルコフ性が存在しても学習可能であることを示した&)(&*(。一方で、近年  の政策改善方法とし て「自然勾配」と呼ばれる勾配方向へ改善する方法の有効性が報告されている &+(。これは 、やや乱暴な説明かもしれないが目的関数に対して２次微分の方向まで考慮した勾配方向へ政策パラメータを更新していく方法、すなわちニュートン法に近いと考えられる。ニュートン法は、通常 ,  行列の逆行列を必要とするなど 計算コストがかかるが、強化学習の場合、特に価値関数近似のための基底関数として の適正度を用いた場合において、そのような重い計算が一切不要であるという驚くべき解析が示されている &-(。本研究では 、著者らが先行研究において提案した  の適正度の履歴を利用した    法について、自然勾配の方向へ政策を更新するよう修正を加え、いくつかの実験を通じてその特徴を観察する。

.1 2     2 

.+1/0 における学習の目的は，各状態  において式 .+1 で定義される評価値を最大化するような最適政策を見つけることである．

 政策勾配定理と自然勾配$ %  強化学習法は、状態や行動を評価する  部分と、確率的政策を保持する  部分より構成され 、  の評価値に基づいて  の政策を改善していくものであることから 、  における関数近似能力が不十分だと の政策改善に支障をきたす問題がある。筆者らの先行研究 &)(&*( では 、  に適正度の履歴（    ）を導入することでこの問題を解決した。一方で 、  の政策を改善するのに必要十分な価値関数近似のための基底関数は何なのかについての研究が進められ、政策勾配定理
     ）&4( により、  の政策を改（ 0 3
善するのに必要な価値関数近似のための基底関数は、適正度 . 1 すなわち行動選択確率関数（ 政策）の対数を政策パラメータで偏微分した関数であることが示されている。
確率的政策 は，状態  において行動選択確率 . 1に従って行動  を実行する．この行動選択確率関数 . 1は政策パラ メータ群 によって値を調節でき，パラ メータ群の各要素 によって偏微分可能な関数であるものとする．エージェントの学習目標である目的関数 . 1 を次の 問題の定式化
状態空間を ，行動空間を ，上下界を持つ実数の集合を と表す．各時刻 でエージェントは状態観測   に基+

ように定式化する：. 12. 1 + 状態  を観測し ，行動選択確率（または確率密度） .   1 に従って行動  を選択して実行す. 1 2    2   2   .'1
ここで  .1 2

0.
2



1とすると，政策
勾配定理 &4( より以下の式が与えられる：    . 1 
2
 .1. 1 .)1






る．その結果，報酬  と遷移先の状態 観測する．

' 政 策

次に，真の ! 関数  . 1 を関数近似によって 5  . 1と表すことを考える。ただしこの近似 ! 関数 5  . 1 は適   正度を各要素としたベクトル   . 1 を基

底関数とし 、この各適正度に対応した要素を持つパラメー
タベクトル  との線形結合および 状態価値関数  .1 を用いて以下のように表す：

5 . 1 2 .   . 116. 1 5 .   1 2 .   .   11 ) 以下のように / を計算して   における状態評価値を更新する：
/2  6  5  .  15  . 15  . 1 6 /.*1. 1 と近似 ! 関数を 5  . 1 との ' 乗誤

真の ! 関数
差が最小になるようパラメータベクトル  を調節すると，政策勾配定理 &4( より以下が成り立つ：



2 



.1  . 1

5  . 1 92 

5  . 1 * 上記の / と適正度を用いて   
関数のパラメータベクトル  を更新する：

.71




6 /

5 .   1

 .   1

ただし  は学習率である。

7 $    関数のパラ メータベクトル  を用いて、政策パラメータを更新：

6  

この（ 7 ）式の + 次偏導関数で示される政策勾配を使った様々な政策改善アルゴ リズム &8( が提案される一方で、'次偏導関数も考慮に入れた「自然勾配 .    1 」と呼ばれる勾配を用いる政策改善法が提案されている &+(。
この種の勾配法は 、+ 次偏導関数しか使用しない勾配法に比べて格段に少ない反復回数で極値を得ることができ、一般的な最適化手法としてニュートン法が知られているが 、一般に ' 次偏導関数行列（ヘッセ行列）の逆行列を求めるという大きな計算コストが要求される。ところが強化学習における政策パラメータに関する自然勾配は、情報理論的に興味深い性質を持ち、上記の逆行列計算が不要になる。
$    関数を構成する（ * ）式のパラメータベクトル
 において、ある政策パラメータ の適正度に対応する要素を  と表す。これらが（ 7 ）式を満たすとき、目的関数. 1 に対するパラメータ の自然勾配  は、以下のように驚くべき単純な式で表される &-(：ただし  は学習率， は報酬の割引率である．

つまり、  において ! 関数を近似する場合に  の適正度を基底関数として利用すると，! 関数が近似であるにもかかわらず真の勾配方向へ政策を更新できることを意味する。一般に ! 関数の表現では ，以下のように状態評
価値  .1 と，    と呼ばれる評価値  . 1 を用いて  . 1 2  .1 6  . 1 のように表すことができる。
（ * ）式の右辺左側の項 .   . 11  がこの   関数  . 1 を近似している。

に ついての 適 正度

    を計算し 、これを各要素とし たベク





を

トル   .   1 とパラメータベクトル  を
5 .   1 を計算：用いて    の推定値 

の パ ラ メー タ

ただし  は政策パラメータの学習率である。

8 時刻を6 + に進めて   + より繰返す．

: +; 自然勾配 $ %  法

ムの拡張と考えることができ、マルコフ性を満たす環境において、極めて効率良く政策改善を行うことが期待されるが、実ロボットなど のように非マルコフ性が存在する場合において学習できないという問題がある。

 適正度の履歴を用いる自然勾配   法の提案
:' に適正度の履歴を用いた自然勾配    法を示す。! 値の表現と更新が、状態価値関数 5  .1 と   5 . 1 の２つに分かれているが 、#$#$.λ1 アル関数 .81

ゴ リズムと同じになる。適正度の履歴を減衰させるパラメータ  は #$#$.λ1 のλと同じである。    関数のパラ メータベクトル  を更新する処理において、新<しい学習率  を導入しているが 、これは適正度の履歴 <  と表すと、の絶対和ノルムを時間的に平均した値を  <  とすると良い。実験では 、時刻 よりおよ
 2   そ +== ステップ分の過去の適正度の履歴の絶対和ノルムをすなわち、基底関数とし て  の適正度を用いた    関数を構成するパラメータベクトル  は 、対応する政策パラ メータ の自然勾配になっている。以上の先行研究の知見より導かれる    アルゴ リズムは :+のように構成される。このアルゴ リズムは、政策 のもとでの ! 値を推定することになるため、#$#$ アルゴ リズ'平均して用いている。

実験+ 状態  を観測し ，行動選択確率（または確率密度） .   1 に従って行動  を選択して実行す:) に示すロボットに本手法を適用する．学習目標は，ロる．その結果，報酬  と遷移先の状態   を観測し 、再び確率 .    1 に従って行動  を実行する．

ボットを前進させるために，アームを足のように作用させる動作の獲得である．関節は位置制御のサーボモーターによって角度を制御される．各時間ステップにおいて，エージェントは > つの関節モータの角度および * つの足先のタッチセンサの状態という +' 個の状態量を要素とし た +'次元ベクトルを観測する：関節角度      は > 次元連続空間で定義され，タッチセンサ       は = または + の' 値である．行動は，関節角度の目標値を指示し ，> 次元ベクトル .     1 の各要素がそれぞれ関節角度を表す．
行動ベクトルの各要素は &= +( の範囲に限定される．行動が選ばれると，モータは指示された目標位置へ動きはじ める．関節角度が指示された位置まで動くか，あるいはタッチセンサの値が変化すると，状態遷移の結果とし て報酬が与えられ，次の時刻へ進む．関節のモータが目標位置まで動く途中でセンサの値が変化すると，そこで意思決定イベントが発生して動きが打ち切られるため，次のステップでの関節角度は行動として出力された目標角度には一致しない．よって状態遷移には不確実性が存在する．報酬はボディが前進した距離と方向で与えられる．ロボットが後退した場合，報酬は負値になる．

' 政 策+  + 6  ¾´µ ¾

5 .   1 2 .   .   11  5 .    1 2 .   .    11 ) 状態評価値  .1 と    より ! 値を計算：
5  .   1 2 5  . 1 6 5 .   15  .    1 2 5  .  1 6 5 .    1
* 以下のように適正度の履歴を更新する：
< 2+ 6 ' +  2 + 6   



ただし  は割引率， は学習率である。

8 $    関数のパラ メータベクトル  を用いて、政策パラメータを更新：

6  .>1

ただし  は政策パラメータの学習率である。

- 以下のように / を計算して   における状態評価値を更新する：

+

.41

/
2  6  5  .  15  . 15  . 1 6 /.+=1

ただし  は学習率である。

6 =++

7 状態評価値
   関数のパラメータベクトル  を更新：
Æ2  6  5 .    1 5  .   1
 6  Æ <.-1

ただし   および   は政策パラメータである．  
中の は，特徴ベクトル  の要素  に対応付けられ る．
このとき政策関数 . 1 は以下で表される：.   1 2 ! + .   1 6   < +1.1 と適正度の履歴を用いて 

ここでパラメータ   および   は以下で与えられる： 2

ただし  は適正度の履歴の減衰率 .=´µに ついての 適 正度



政策関数はコーシー分布に基づく連続分布関数を修正して用いた．それは行動 .   1 の各要素が & + +( の範囲に限定されていることによる．エージェントは各モータ  毎に式 > のコーシー分布に従って，& + +( の範囲に収まっているサンプルを得るまでランダムにサンプリングを行い，得たサンプルを行動   とし て出力する．

. 1 2 +の パ ラ メー タ    を計算し 、これを各要素とし たベクトル   .   1 とパラメータベクトル  を   の推定値 5 .   1 および用いて5 .     1 を計算：

状態表現のための特徴ベクトルは，%  において状態評価値  .1 を表すためのものと，$ において行動選択確率（ 政策 ）を表すためのものの２種類を用意した．前者は均一タイルコーディングで，状態空間を等分割のタイルで ) に分割する．後者は線形コーデ ィングで， 2 .         +  +    +
 1 で与えられる +' 次元の連続ベクトルである．どんな状態においても特徴ベクトルの絶対和ノルムは一定に保たれる．

 



¾ 
  + 6  ´µ > 時刻を

5  . 1 


6 + に進めて   + より繰返す．

: '; 適正度の履歴を用いる自然勾配 $ %  法.++1¾´µ)   

本実験では ，:+ や :' 中の適正度は式
+7+8 で計算される．全ての実験において割引率  2 =4，  の価値関数 5  .1 の学習率  2 =+，    関5 . 1 の学習率  2   <  ただし  <  は時刻数
< のよりおよそ +== ステップ 分の過去の適正度の履歴 
絶対和ノルムを平均した値を表す。$ の政策更新の学習率として  2 ==' を用いたが 、学習が不安定になるのを回避するために更新時に自然勾配  の絶対和ノルムを計算し 、これが + より大きい場合は自然勾配  をその絶対和ノルム  で除して正規化してから更新した。自然勾配  の絶対和ノルムが１より小さい場合はそのまま更新した。
比較対象として、$ の適正度の履歴を用いる $ %  アルゴ リズム &*(&7( を少し 修正し 、パラメータ設定が同じになるよう配慮した。:' で示されるアルゴ リズ: ); 多自由度ほふくロボットシミュレータ．右側が前方．足は * 本で，各足にはモータ ' 個ずつ計 > 個取り

ムでは 、政策パラメータ が自然勾配  で更新され 、絶対和ノルムが + より大きい場合はその値で除した勾配方向へ更新しているので 、従来の $ %  法の更新部分を変更し 、? を平均化することで政策勾配を推定し 、この値を用いて同じように政策パラメータ を更新するように変更した。よって、$ の政策更新の学習率  2 =='を同じに設定すれば 、性能の違いは政策勾配の推定性能の差を意味することになる。

付けられている．各足の先端にはタッチセンサが付いている．状態は > 関節の角度と * 個のタッチセンサの値の計 +'次元で，行動は > 個の関節の目標値で計 > 次元である．
ただし!

. 1 2.   1 で，! は以下で与えられる： ++   + 6  ¾´µ ¾2´µ+ 2      +:* は、従来の $ %  アルゴ リズムと :' で提案したアルゴ リズムを全く同一の関数近似・行動選択確率関数のもとで多自由度ほふくロボットシミュレータにて学習性能を比較した結果を示す。ただし 、双方の手法ともに適正度の履歴のパラメータ設定は  2 + 、すなわち $の適正度の履歴を用いて学習している。横軸はエージェン
トの学習ステップ数、縦軸は対応する学習ステップ数における政策を、学習を停止して 7== ステップ分動作させた場合の１ステップあたりの報酬である。政策は +=== ステッ
プ毎に学習を停止させて評価を行った。グラフは += 試行の平均と標準偏差を示す。学習によって得られた政策には8 倍近い性能の差が見られ 、学習の早さも自然勾配を用いた方法のほうが += 倍以上高速である。

   .+'1

このとき   と   の適正度は以下で計算される： .   1

2+

+



!

6'. 



++6

 

´ µ



+

´µ+6



 

´µ
 

´µ

  1! .   1 .+)1

:7 は 、同様の比較の結果を示すが 、双方の手法ともに適正度の履歴のパラメータ設定は  2 =，すなわち適正度の履歴を用いない設定である。このとき、双方ともに得られる政策の質が半分程度に下落し 、また学習が進むと政策の質が悪化する傾向が見られる。これは適正度の履歴を用いていないことから 、非マルコフ性に対処できないアルゴ リズムになっていると考えられ、環境の有する非マルコフ性が影響しているものと推測される。とはいえ 、自然勾配を用いた手法は、従来手法よりはるかに良い政策を獲得している。

 .   1

+  +   
2  +!      
+6+6

.   1+! .   1.+*1

´ µ

´ µ

´ µ

´ µ



:8 も同様に比較の結果を示すが 、双方の手法ともに適正度の履歴のパラメータ設定は  2 + だが，%  の値（ 状態評価値  .1 ）をゼロに固定し 、%  を用いない設定になっている．この場合、双方の手法ともにあまり影響を受けていないように見える。$ の適正度の履歴を用いる $ %  法 &*(&7( では 、%  の性能が不完全でも政策改善が可能であるという特徴を有していたが 、自然勾配を用いる $ %  法でも適正度の履歴を用いる
ことにより全く同様の効果が得られることが分かる。

式 4 4 +) +* より，政策パラメータの適正度は：
 .  1 2     .   1
  

 .  12 ' .+ 6  1.+   1   .  1 2     .   1




2



 .+







 1





 .   1
.+71.+81
*

1412

121010

Averaged Reward (1000 steps)

Averaged Reward (1000 steps)

148
NaturalGradient64Conventional

286
NaturalGradient
4Conventional

200010000

20000

30000

40000

50000

010000

20000

30000

40000

50000

Learning Steps

Learning Steps: *; 多自由度ほふくロボットシミュレータにおける従来手法と自然勾配を利用した方法による学習を += 試行平均して比較した様子．双方の手法ともに適正度の履歴のパラメータ設定は  2 +．

: 8; 多自由度ほふくロボットシミュレータにおける従来手法と自然勾配を利用した方法による学習を += 試行平均して比較した様子．双方の手法ともに適正度の履歴のパラ メータ設定は  2 + だが，%  の値（ 状態評価値
.1 ）をゼロに固定し 、%  を用いない設定．

14

Averaged Reward (1000 steps)

12つきが生じた。これは勾配法であるために局所解に陥りやすい傾向を有しているためと考えられる。

10【 適正度の履歴の影響】:7 において、双方の手法ともに適正度の履歴を用いない設定では、双方ともに得られる政策の質が半分程度に下落し 、また学習が進むと政策の質が悪化する傾向が見られたが 、これは適正度の履歴を用いていないことから、非マルコフ性に対処できないアルゴ リズムになっていると考えられ、環境の有する非マルコフ性が影響しているものと推測される。ある程度政策を学習した後に 、性能が悪化していく理由については、学習が進むと政策のランダムさが減少していくと考えられ 、これが非マルコフの環境において誤った方向へと導かれるために性能が悪化していくのではないかと思われる。

8NaturalGradient642
Conventional
0010000

20000
30000
Learning Steps

40000

50000

: 7; 多自由度ほふくロボットシミュレータにおける従来手法と自然勾配を利用した方法による学習を += 試行平均して比較した様子．双方の手法ともに適正度の履歴のパラメータ設定は  2 =，すなわち適正度の履歴を用いない設定．

【 状態評価値の影響】:8 において、双方の手法ともに適正度の履歴は用いるが %  を用いない設定では、双方の手法ともにあまり影響を受けないという類似した傾向が見られた。これは、適正度の履歴が同じような機能・役割を持っているためと考えられる。:' で示したアルゴ リズムは 、#$#$.λ1 ア
ルゴ リズムの一種と考えられるが 、! 関数の表現が状態価値関数と $    関数に分けられているため、状態価値関数の推定が不可能なのに $    関数の推定ができている点は大変不思議である。

 考察【 性能の差について】
本実験より以前に 、離散的な - 状態' 行動の環境で予備実験を行ったのだが、そのとき従来法との性能差はあまり観察されなかった。本実験の設定では政策パラメータの次【 実装上の工夫について】元数が極めて高いため、単なる勾配法と ' 次微分を考慮し:8 のアルゴ リズムは、このまま実装しても学習は大変た勾配法との性能差が顕著に現れたのではないかと考えら不安定で、すぐ に重み変数  の数値が発散してし まう傾れる。単なる勾配では、勾配が小さくほぼ平坦と思われる向が見られた。これは 、$    関数を表すための基底政策パラメータ領域においても、自然勾配で２次微分の方関数である適正度ベクトルや適正度の履歴ベクトルのノル向まで考慮すると政策改善が滞ることなく行える点や、２ムの上界や平均が予め計算しておくことが困難であること次微分まで考慮することにより（局所的な）最適点まで近が主な原因であった。そのため、適正度の履歴ベクトルの道で到達できることが 、特に高次元の空間において顕著なノルムの平均値をオンラインで計算し て $    関数効果を示すのではないかと考えられる。従来手法 &7( では、の学習率  を調節したところ、学習はかなり安定した。し実ロボットの歩行動作学習におよそ +== 分かかっていたのかしながら、本実験ではコーシー分布の分散をコントロー
だが 、本実験結果から考えると += 分程度で学習できるとルするパラメータがゼロに近づくと、適正度が極端に大き予想され 、強化学習の実用性がかなり高まるものと期待さな値になることがあり、学習が発散するなど 不安定な現象れる。しかしながら 、得られた政策の質には試行毎にばらがまれに見られた。よって、（ += ）式の右辺第 ' 項におい7

て =+ を足すことにより、このパラメータが =+ より小さくなることを回避し 、適正度の値が極端な値にならないよう配慮した。

 おわりに
本研究では自然勾配 $ %  法に適正度の履歴を導入したアルゴ リズムを提案した。これは目的関数に関して '次微分まで考慮した勾配法と考えられ 、単なる勾配法だった従来手法と比較すると、高次元の政策パラメータを持つ強化学習問題において劇的な性能向上が認められた。またこの新しい勾配法は、ある程度の非マルコフ環境でも対処可能で 、また状態評価値を推定する %  部分が機能しなくても学習可能であるなど 従来手法の有する特徴をそのまま引き継いでいることを実験により確認した。本手法を実ロボットの学習へ適用することが今後の課題である。

  #; $ A   0 3                +7)+B+7)> .'=='1

&+( @ &'( 木村 元，山村 雅幸，小林 重信，部分観測マルコフ
決定過程下での強化学習：確率的傾斜法による接近，人工知能学会誌，C++ A7 -8+B-8> .+4481&)( @  , D @   #; $   E         ;                              '->B'>8 .+44>1

&*( 木村 元，小林 重信，$ に適正度の履歴を用いた$ %  アルゴ リズムB 不完全な C  : のもとでの強化学習，人工知能学会誌 C+7 A''8-B'-7 .'===1
&7( 木村 元，山下 透，小林 重信：強化学習による４足ロボットの歩行動作獲得，電気学会 電子情報システム
部門誌 C+''% A) ))=B))- .'=='1

&8( @  C D  FA; $ %  $               +==>B+=+* .'===1
&-( 0   F CG    # D #  #;           ,         ) HIII$# H    %    ,   .'==)1
&>( #  # D  $;         ;$       !   H 0 .+44>1
&4( #   # $   / #  # D  J; 0 3                :  $                " #   +=7-B+=8) .'===1

8