            

強化学習における自己組織化マップを用いた状態空間の自律的構成法

                          岩崎 秀樹

  

末田 直道  

大分大学工学部                                                                                                                                  !                     

はじめに近年，自律的にタスクを遂行するエージェントやロボットの実現が強く望まれている．その中で，環境との相互作用と通じて適応的な学習が可能な強化学習法が注目されている．
しかし，実タスクにおいて，状態量は位置座標や速度といった連続値ベクトルで与えられることが多いが，強化学習の枠組みにおいて状態は離散的に表現される．そのため，知覚情報をエージェント内部でどのように表現するかという状態空間の構成問題が生じる．その際，より少ない状態数で環境の特徴を捉えた状態空間を構成することが望ましい．状態空間の構成は学習の性能に大きく影響する重要な問題である．
本研究では，自己組織化マップを用いた状態空間の構成法を提案し，エージェントによる自律的な状態空間の構成を目的とする．そこで，連続平面上を障害物を回避しつつ目標地点で停止するというタスクを想定し，シミュレータによる実験を行う．
そして静的環境やノイズを含む環境および変化的な環境による実験を行い，提案手法の未知環境への適応性，ノイズに対する頑健性，また環境の変化に対する学習の追従性を検証する．

 強化学習
強化学習 " #$% とは，環境との相互作用と通じて最適な行動戦略を獲得する機械学習のひとつである．
が強化学習の代表的手法として，
では，状態 において政策  にしたがってある．
行動  を選択し，環境が行動  を実行する．そして，環境から与えられる報酬 ，次状態 に対して，次式を用いて状態行動価値    を更新する．
¼ 
 
   
ここで， は学習率， は探査率である．
を用いる．
提案手法における学習方法として，&'  &'  "( #)%* +* +* + , " , *+  * +%&'  

 自己組織化マップ
自己組織化マップ *以下，:7+";#/%";#.%は，教師なし学習により，入力データの位相関係を保持した特徴マップを形成する．本研究では，エージェントが得られる知覚情報から，エージェント内部の状態空間を構築するためにを用いる．
は，入力層と出力層の２層構造からなるニューラルネッ
トワークであり，入力層のノード 入力ノード と出力層のノード 出力ノード は完全結合している．また，各出力ノードは入力ベクトルと同次元の荷重ベクトル を持つ．入力層に入力ベクトル を入力すると，出力層は入力ベクトルとの距離が最小である荷重ベクトルを持つ出力ノード 勝者ノード  を決定する．そして，勝者ノード  とその近傍ノード に対して，荷重ベクトル  を次式によって更新する．
 

:7
:7**+*- 岩 崎秀 樹，大 分大学 大学 院工 学研究 科，〒 $./012 大分県大分市大字旦野原 2// 番地 34'-/#2115
2$.. ! 6-/#21152$$.，47 '- /0)$8  
9

+< *0  * ++ * + , * +  *+<   ¾ 
ここで， は時刻，* + は学習係数 */ * +  0+ である．また， * + は近傍の広がりを示し，* + と * + は学習の進展に伴い小さくする．
学習の結果得られる荷重ベクトルの分布は，入力空間上の入力ベクトルの分布を近似する．つまり，入力ベクトルが一様の荷重ベクトルも一様な広がりを持に分布する場合は，つようになり，入力ベクトルの分布に偏りがある場合は，荷重ベクトルもその偏りを持つ分布となる．

:7 移動停止問題
状態空間の構成問題を含む問題例として，本研究では移動を用いた実験を行う．
停止問題を想定し，シミュレータ 図
移動停止問題の構成は以下に示す通りである．
＜環境＞，横の連続平面・移動領域：縦，半径 で定義される円．エー
・ゴールエリア：中心座標
ジェントはこのエリア内で停止することを目標とすると横幅，縦幅で定義
・障害物：障害物は左上の頂点座標される長方形の物体である．エージェントは障害物に衝突すると罰が与えられる．

* 0+)//

連絡 先+)//
* +

* +

  移動エージェント：スタート位置 ，スタート速度
軸(25,25)y          

学習エージェント

(0, 0)

x(0, 0) 

状態構成機構(200, 0)

軸

勝者ノード
位置

障害物

状態値

位置情報

障害物

離散値

学習機構（入力）
行動

Q-Learning

at

離散化

SOM

1st

速度情報

3

障害物 ゴールエリア(0, 200)0-

障害物*図
実験用シミュレータ 左：実験
変化的環境

=*++

ゴールエリア21

知覚情報

20*静的環境+，右：実験環境
図・壁：移動領域の周囲は壁であり，障害物と同様にエージェン
トは壁に衝突すると罰が与えられる．
・エージェントのスタート位置・速度：各エピソードごとにエー
ジェントの位置，速度をこの値に初期化する・エージェント情報：環境は現時点でのエージェントの正確な     ，速度   を有する．各位置
  
ステップ毎，エージェントから加速度を受け取り，以下の式により速度，位置の更新を行う．
，壁や障害物との衝突がない場合は終了．
以下，位置        で衝突した場合，，   
横 左右 から衝突した場合：
縦 上下 から衝突した場合：，   ・エージェントへの知覚情報の提供：環境は知覚情報として，エージェントの位置，速度情報を提供する．

 - *

 - *++
  - *++*+

エージェントが環境から与えられる知覚情報は位置と速度情報であり．それぞれ 次元の連続ベクトルである．そのため，知覚情報を学習機構に用いるためには，エージェントは知覚情報に対して離散的な状態空間を構成する必要がある．このような状態空間を構成するのが状態構成機構である．状態構成機構は，位置情報と速度情報に関してそれぞれ以下の構成を用いる．そして，それざれから得られる離散値から離散的な状態値を生成し，学習機構に提供する．

)+//*)* ++*+ * 0 

 0+

＜位置情報の構成＞を用いて状態空間を状態構成機構は位置情報に関して，自律的に構成する．
移動停止問題に対して，位置情報に関する状態空間の構成を考えるとき，障害物内部の空間は，エージェントが経験することのない空間であり，この空間を状態空間に割り当てることは無駄である．一方で，ゴールエリア周辺では，エージェントはゴールエリア内で止まるために，より細やかな制御が必要となるため，位置情報を細かく構成することが望ましい．また，ゴールから遠く，障害物が少ない領域では衝突の危険性も低く，ある程度粗い制御でもタスクの達成に影響せず，位置情報の分割も粗くしても学習に大きく影響しないと考えられる．
つまり，状態空間の構成では，タスクにおいて重要視すべき領域は細かく，学習に大きく影響しない領域は粗く構成したほうが，より効率的な学習を行うことができる．しかし，設計者が事前に適切な状態空間を構成することは困難であり，エージェントが自律的に適切な状態空間を構成でき，かつ環境の変化に対して柔軟に状態空間を適応させることが望ましい．
そこで，提案手法では自己組織化マップを用いて状態空間を構成し，エージェントが状態空間に関して未知の状況から自律に関する各パラ的に適切な状態空間を構成する．また，メータの設定値を図 左下 に示す．ここで，学習係数と近傍のの適応性を維持するものであ関数の最小値の制限はり，環境の変化に適応するための重要なパラメータである．

:7+)1＜タスク＞
・目標：エージェントはゴールエリア内で停止することを目標  とする．ただし停止条件は， ・報酬・罰：エージェントは各ステップにおいて，環境から次，衝突に対しの報酬 罰 を受け取る．目標達成に対して：て： ，移動コスト： 毎ステップ  0/* +0/-1.0

0*-0.50.00.5

1.0-1.00//+x軸04080120160200x軸

040-0.580

5*0.01200.51601.0y軸※零ベクトル(0, 0)も含む)-軸+
:7

:7200y＜速度情報の構成＞
速度情報に関しては   軸ともに図 右 で示すような構成を用い，離散化する．これは，エージェントに事前に与えられるものであり，固定的である．

5* +図左：選択可能な加速度ベクトル 右：グリッドによる位
置情報の構成 提案手法=- 提案手法の概要

 状態構成機構＜エージェント＞
・知覚情報：速度情報    ，位置情報    ：これは各ステップ毎に環境から与えられる情報である．
  ：これは各ステッ・行動：加速度   
プ毎に環境に送る行動である．実験において選択可能な行動と個の加速度ベクトルを持つ．
して，図 左 に示す*実行t

態空間を構成するための状態構成機構を有する．

  ,     , **報酬・罰 r 学習機構* +学習機構では，環境から与えられる報酬 罰 と，状態構成機構を介して与えられる状態値をもとに行動選択を行う．ま

=提案手法の概要を図 に示す．エージェントは行動戦略の学習のための学習機構と，環境から与えられる知覚情報から状             

1//// エピソード，2///// エピソード終了後に追加

ソード，される．

た，一連の試行を通して，各状態における最適な行動戦略を学を用いる．方習する．学習アルゴリズムとしては方策を用いる．これは， の確率で一様
策  として に行動を選択し，それ以外では最大の    を持つ行動を選択するものである．提案手法での学習に関するパラメータは図左上 で示す通りである．

&'   

5*

 実験結果と考察

* +0+

 実験
シミュレータを用いて，以下の３つの実験を行う．そして，位置情報に対してグリッド状 図 ：右 に状態空間を構成する手法との比較を行い，提案手法の性能を検証する．グリッドによる構成では，位置情報を   軸ともに等間隔に分割し，各ブロックの範囲内をひとつの 位置情報に関する 状態とする．

* )0

:7*0//// 0/////)＜実験 ：ノイズを含む環境＞
実問題において，エージェントが知覚できる情報にはノイズが含まれていたり，環境に予測不能な未知のパラメータが含またりすることが多い．実験 では知覚情報のうち，位置情報に対してノイズを含む実験を行う．実験 の環境の設定について，エージェントの知覚情報以外は実験 と同じものとする．
エージェントの知覚情報は，位置情報に関して，ノイズとして平均 ，分散 の正規乱数を付加された位置が与えられる．速度情報は，正確な速度が与えられるものとする．

/+ 0//
:7

:70* +)

+

:7

:7

＜実験 ：静的な環境＞
実験 では，まず位置情報に関して全くの未知の状態から，適切な状態空間を構成することができるかという環境への自律的適応性を検証するために，シミュレータを図 左 のように設定した環境における実験を行う．また，エージェントの知覚情報に関して，エージェントは環境から現時点の正確な位置情
報，速度情報が与えられるものとする．

)

**

:7+

 実験内容

0

:7
:7+

1*0+

*

0

＜実験 ：静的な環境＞
マップの構成の様
実験 における，位置情報に関するマップ 出力層の子を図 に示す．エージェント内部の荷重ベクトルによって形成されるマップ は，初期化によってランダムに形成されている．エージェントはまず，学習序盤においてこのもつれたマップを整えるように，位相保持マップをエピソード 序盤，終盤 の図 ．
エピソード形成するマップが形まで学習が進むと，ほぼ均等なグリッド状に成される．ここで注目すべきなのが，障害物が存在する領域でマップの格子が粗く配置されていることである．こは，れは，障害物内部はエージェントが決して経験することのないに入力されないため，の特性により状況であり，マップも粗くなるためである．一方，学習の進展に伴い，エージェントはゴールに対し似たような経路を選択するようにに入力なる．そのため，その経路とゴールエリア周辺がされることが，他の領域に比べ多くなる．そのため，学習後半とエピソードの図 では，徐々にゴールまでマップが細かく形成されての経路とゴールエリア周辺のいく．このような段階を経て，エージェントは位置情報に関して，全くの未知の状況から目標達成のために適した状態空間の構成をすることができる．
エピソード毎の平次に，目標達成に要したステップ数の均を表すグラフを図 上段 に示す．これを見ると，提案手法はグリッドによる位置情報の構成よりも，学習の収束も早く，学習によって得られる行動戦略の性能も良いことがわかる．また，グリッドによる構成では，その学習に揺らぎが多く見られるが，提案手法では学習の揺らぎは非常に少ない．
を状態空間の構成に利用することで，適切なつまり，状態空間を構成をすることができるため，学習の性能と安定性の向上を図ることができたといえる．

:72*00+0//+

:7=＜実験 ：変化的な環境＞
実問題では，環境が時間に伴って変化する場合も考えられる．
例えば，移動ロボットでは移動空間の障害物の配置が変わったり，目標地点が変わったりする状況が考えられる．この際，エージェントが自律的に環境の変化に対して，追従するように学習を進めることができるのが望ましい．そこで，実験 ではある学習の途中で，障害物の追加とゴールエリアの移動を行い，提案手法の環境の変化に対する学習の追従性を検証する．
実験 での環境 図 右 の設定は，ゴールエリアと障害物以外に関して実験 と同様である．ゴールエリアは初期位置はエピソード終了後に，ゴール実験 と同様であるが，はそれぞれ，エピエリア に変更する．障害物==0)

パラメータ
学習率 α
割引率 γ
探査率 ε

* 0 +01////0)=値0.10.050.95

パラメータ
出力ノード行数 Row
出力ノード列数 Col
学習係数 α(t)近傍の広がり σ(t)≦≦≦≦≦≦≦≦≦vel < -8値

10101×(0.99995) t10×(0.99999)t

SOMの設定値
図

最小値
0.0001
0.5

エピソード 序盤()

1

エピソード 終盤()

100

エピソード=////速度

学習機構の設定値

1

離散値
0-8vel<-61-6vel<-42-4vel<-23-2vel< 040vel< 252vel< 464vel< 676vel< 88vel

9810,000

図エピソード

100,000

エピソード

1- 位置情報に関する :7 マップの構成)＜実験 ：ノイズを含む環境＞
実験 に対する平均ステップ数を図 中段 に示す．ここで，グリッドによる構成では実験 に比べ学習の揺らぎが多く，またその揺らぎの振幅も大きくなっていることがわかる．ノイズを含む環境においてグリッドによる構成では，そのノイズの影響を強く受け，学習の性能は著しく低下している．これに対し，提案手法では実験 の結果に比べ，学習の収束値は若干高いものの，収束後は安定した性能を示している．つまり，提案手法)

速度情報の離散化

005- 各設定値

2*+             
実験１：静的環境

によりノイズに対する学習の頑健性を向上することができる．

=

1000
pe 800St 600gea
erv 400
A2000＜実験 ：変化的な環境＞
マップの構成の様子
実験 における，位置情報に関するを図 に示す．エージェントは，ゴールエリアが移動するまでは実験 の結果 図 と同じように障害物の領域は粗く，ゴー
ルまでの経路とゴールエリア周辺は細かくなるようにマップ
エピソードの図 を形成する．
エピソー
ド終了後，ゴールエリアは移動するが，この時は当然，移動後マップは粗い．しかし，学習の進のゴールエリア周辺のマップは移動後のゴールエリア周辺を細か展に伴って，く構成するように変形していく．このように提案手法では環境の変化に追従するように状態空間の再構成することができる．
次に，実験 に対する平均ステップ数を図 下段 に示す．
エピソード までは実験 と同様ゴールエリアの移動に，提案手法はグリッドによる構成よりも安定してよい性能を示している．そして，ゴールエリア移動後に対しても，上で述
べた状態空間の再構成により，移動前とほぼ同様の安定した性能を発揮することができている．

=.

:70

* 1+*1////+:7

:7=50,000

図*1////エピソード ゴール移動直前(

:71////)70,000+

エピソード

2*

100,000

1000
pe 800tS
eg 600
rae 400vA
2000+01000
900800ept 700
S 600
gea 500
erv 400
A 300
200
1000

エピソード.- :7 による位置情報の構成 *環境の変化への追従+提案手法
Grid0200400600
Episode(×100)

1000

実験２：ノイズを含む環境
提案手法
Grid0200400600
Episode(×100)

8001000

実験３：変化的環境

提案手法
Grid0200400600
Episodes(×100)
図

まとめと今後の課題

 まとめ

800

800

1000

2- 実験結果
:7の設定値は経験
また，提案手法で用いた学習機構や的に得たものであり，必ずしも最適な値であるとは限らない．
そのため，これらの設定値の検討をする必要がある．また，提を用いたが，他の学案手法では，学習方法としてやを組み込んだ場合での，学習方法習性能を検証する必要もある．

本研究では，強化学習を実タスクに適用する際に，重要な要素となる状態空間の構成問題に着目した．特に未知環境や動的な環境において，エージェントが経験を通して自律的に適切な状態空間を構成することを目指し，自己組織化マップを用いた構成法を提案した．
実験では，状態空間の構成問題を含むタスクとして，移動停止問題を想定し，提案手法の評価を行った．この実験で提案手法により，エージェントは位置情報に関して，未知の状況から自律的に適切な状態空間を構成することができ，学習によって得られる行動戦略の性能を向上させることができることを示した．また，適切な状態空間の構成ができることにより，ノイズのような未知のパラメータを含む環境に対する頑健性を向上することができる．そして，学習の途中で環境が変化するような場合においても，エージェントは自律的にその変化に追従するように状態空間を再構成するため，環境の変化後も学習の性能を維持することが可能となる．

* &'  >   +

参考文献" #$% ?        @ A B ?   '  - 三上 貞芳 皆川 雅章 共訳- 強化学習森北出版 *)///+"( #)% (  C D C E  F  > -3 G- &'   7  '   $  )2#H)#)*0##)+";#/% 3;- 3     7- >   444  05.505$/*0##/+";#.% 3;B 4'!:?@ GIG@ 7 >B 徳高平蔵 岸田悟 藤村喜久朗 訳- 自己組織化マップ- シュプ
リンガー・フェアラーク東京 *0##.+ 今後の課題提案手法では，環境から与えられる知覚情報のうち位置情報に関して，エージェントの自律的構成を行い，速度情報に関しては，固定的な構成を用いた．また行動空間に関しても，事前にその構成をエージェントに与えて，学習を行った．しかし，速度情報，行動空間に関しても，エージェントが自律的に構成する望ましい．そこで，提案手法を拡張し，状態空間および行動空間を総括的に自律的構成をできるようにすることが一つの課題である．

