計測自動制御学会論文集（）

   

ランダムタイリングと





を用いた

多次元状態 行動空間における強化学習 Ý
木

元

村

                  

  

 £                                        

                        !

"       
                                                             



 

                     

  

ランダムに選ばれたいくつかの状態変数で作られる空間中にはじめに大きさや位置がランダ ムなタイルを配置し，そのタイルを，

強化学習は，ロボットの制御規則を自ら発見し 改善して状態価値関数を表現するための特徴ベクトル要素１つに対いくための学習制御方法とし て有望である   ．脚型移動応させる．状態入力がそのタイル領域内に入ると対応するロボットやヒューマノイド 型ロボットなど の多数のアクチュ

特徴ベクトル要素の値が１になり，それ以外の場合はゼロにエータを有するロボットにおいて動作規則を学習する場合、なる．このランダ ムタイルによる状態特徴ベクトル生成は，状態空間だけでなく行動空間についても高次元で膨大な空

タイルの初期配置が学習性能に大きな影響を与える問題点間であり、状態の評価方法だけでなく行動空間での行動選択があるが，依存関係の考慮が必要な状態変数集合とそうでな方法および 学習方法にも工夫が必要である．

い状態変数を区別したり，重要な状態変数値の組合せをエキ

代表的な強化学習法である  

や #$#$



スパートの知識から予め与えておくことが 容易など 多くのは離散的な状態・行動を対象としている．そのため連続な状態

利点を有する．このように，高次元空間において状態評価値

空間や行動空間における状態評価関数 %    &や状態行動評価値の汎化については多くの手法が提案され

& を表現ているが，高次元の行動空間における行動選択方法および学や状態行動評価関数 %    するために関数近似として '($' を用いる方法




，ファ

ジィを用いる方法 ，過去の経験を用いて補間する方法 

習方法については，あまり注目されてこなかった．連続な行
動空間を扱うための最も単純な接近法としては，行動空間を全てメッシュに区切り，状態入力に応じて各行動メッシュなどが提案されている．
特に状態空間の次元数が高い場合，次元の呪いを回避すに対して  値に応じた確率を割当てることが考えられるが，るための有望な手段とし てタイルコーディングの一種であ

行動空間の次元が高くなると「次元の呪い」によってたちまるハッシュを使うべきという主張がされている  ．これは，

ち空間爆発を起こし ，記憶容量的にも計算量的にも実行不  ）に

よって少ないパラメータで扱おうとしているのに，細かい離能になってし まう．また，せっかく膨大な空間を「汎化」に
Ý 計測自動制御学会 システム・情報部門学術講演会（て発表£ 九州大学 大学院工学研究院 海洋システム工学部門

      !  " #$%! &'%$（ ( ' )$  ））（ ('% * +  £

散化によってパラメータ数を爆発させては意味がない．しかしながら離散化を粗くしすぎ てもきめ細かな行動選択ができないため制御の質が落ちるジレンマがあった．
本論文では，まずランダ ムタイリングを用いて状態行動   ­ , -    .+ 

空間を汎化し， 値や行動選択確率分布を表現する方法を

a2

T9

提案する．次に，多次元で連続な行動空間を細かく離散化するが， サンプリングによって空間爆発を回避しつつ行

T5

T8

動選択を行う方法を提案する．  や #$#$ など ，
これまで代表的強化学習手法だったにもかかわらず，行動選

T7

択の困難さから膨大な行動空間を持つ強化学習問題への実T6

装が困難だったが ，本手法により容易に実装できることを
示す．

T3


状態空間を

T2

問題の定式化，行動空間を ，上下界を持つ実数の集合を

T1

 と表す．各時刻 でエージェントは状態観測   に基づいて行動    を実行し，状態遷移に伴う報酬    を得T4

a1

る．本論文が環境のモデルとして仮定するマルコフ決定過程

  / 0.  ! ." % %  1".%   %  ,!  , % 2 +$! 1 1!  ! %+"%     !  '"
% ! !  %+"%   ,!  , % 2%.$%()*& では，一般に次の状態や報酬は確率的で，その分布は  と  にのみ依存する．()* では次の状態   は遷移
確率  %     & に従って決まり，報酬  も期待値 %  &
によって与えられる．エージェントは予め  %     & や
%  & についての知識を持っていない．強化学習の目的はエージェントのパフォーマンスを最適化する政策を得ることで構成され る空間の，とある領域として処理するが，このである．無限期間のタスクにおける評価規範として，以下のタイルを空間全体からみると，定義され る部分空間中では割引報酬の合計を考える．

範囲の限定された矩形だが，それ以外の空間では全領域を

½


 +

   

（ ,）

 

割引率 -    , は未来に得るであろう報酬の現時点での重要度を表し， は時刻 の評価値 %& を表す．()*










½

%& +

 



ただし

 + 

に対して関数近似（ 汎化 ）を行う．本論文では，状態空間に対するランダ ムタイル




（ .）

 は期待値を表す．()* における学習の目的は，各状態  において式 %.& で定義される評価値を最大化するよ
うな最適政策を見つけ ることである．本論文で扱う環境では，状態空間ルを多数用いて重み付け線形和することにより，空間全体 , .      ） %&（ ただしおよび 行動 空間に 対 するランダ ムタ イル  %&（ ただ しにおける評価関数は以下に定義される．


カバーするタイルと同義である．このようなランダ ムタイ

および行動空間  は多次元空間で表される

 , .      ）の２種類のタイル集合を用いて特徴量ベクトルを生成する．特徴量ベクトルを用いて関数近似を行う
場合，絶対和ノルムが一定値（理想的には , ）であることが望ましい．そこで . 個の要素を持つ状態特徴量ベクトル    %&& および . 個の要素を持つ行動特徴量ベクトル %& + % %&  %&     %&&
 %& + % %&  %&を用いる．このとき，特徴量ベクトルの前半の要素はタイルものとする．

のベクトルそのままで、後半の要素は , から各タイルの値

を引いた値とする．

ランダムタイリングによる高次元状態行動空間の汎化方法の提案

 %& +高次元空間において関数を汎化する方法は多種多様であるが，本論文では多数のランダ ムタイルを用いる方法を提案する．これは状態空間における汎化のためのタイルコー

 %& + %&,    %&    

 %&

  ,      %&

（ /）

（ 0）

ディングの一種であるハッシュに基づいたアイデア  であ状態 ，行動  に対する状態行動評価値（  値）は，特徴

る．ある , つのランダ ムタイル

量ベクトル  %& %& の各要素と .

% & は，入力空間を構成する次元のうち，任意の１次元以上の複数次元で定義される部分空間中のある矩形領域を表し ，入力された座標がその矩形領域である場合
場合

（ ただし範囲・大きさなど は，タイル毎にランダ ムに与える．このように，ある１つのタイルは空間を構成する次元の一部分. コの重み変数    .   + ,     . ）を用いて以下のように計算する：% & + , を出力し，それ以外の% & + - である．矩形領域を構成する次元や矩形の+ ,

% & +

,
 




 %&  %& （ 1）

   

式 %1& の   は，  %&  %& の組合せで表される特徴量

計測自動制御学会論文集

第 巻 第  号 

年

月



ベクトルのノルムを , にするための正規化定数である．こ

その比率に基づいて格子を一つ選択して行動出力とする．

の  値を温度パラメータ  で除したボルツマン分布に従い，

本論文では，行動の確率  % & は，一般に状態  におい

行動を確率的に選択する．各重み変数の値を調節することにて行動  に割り当てられた  値 %  & に応じた以下のより， 値および行動選択確率分布が変化する．本手法にはボルツマン分布とする：

以下の特徴がある：

 % & +ランダムタイルが定義される行動空間の部分空間によって行動変数間の依存関係が表現できる．



3 %%  & &
3 %%  & &

（ 4）

 

ただし  は正の値をとる温度パラ メータであり，値が大き定義されている行動部分空間が互いに干渉していないラ

いと全行動の確率が均一に近づき，ゼロに 近づくと大きなンダムタイルが存在することにより，互いの空間において 値を持つ行動の確率が大きくなる．このとき，各行動の独立に行動を出力することが 必要なタスクを学習できる．

%  & はランダムタイルの値と重み変数の線形和から計算

例えば ，ある行動変数の集合は固定された特定の値だけ，される．

別の行動変数の集合では -〜, の値を一様に出力することが求められるような場合にも対処できる．

このフラットな行動選択方法は，式 %4& の示すとおり全行
動空間の  値を調べる必要があるため，行動次元数が .〜このように興味深い特徴が期待されるが，高次元の行動空間/ 次元程度ならば 実行可能だが，次元数が高くなると離散化全体に対して定義された重み関数のボルツマン分布に従う

した行動空間が指数的に増大するため，記憶容量的にも速度

行動選択は，そのまま実行しようとすると組合せ爆発を起こ

的にも実行不能になる．

 サンプリングによる行動選択

してし まうため工夫が必要である．



本論文では高次元空間における確率分布に従って効率良高次元空間での複雑な確率分布によるサンプ

くサンプリング するための方法の１つである 

リングと学習 サンプ

リングを用いる行動選択法と適正度の計算法を提案する．


従来手法：フラット な行動選択

 サンプ リングとは，高次元の確率変数において，注目している次元以外の次元の変数の値を固定し ，そのとき

selectの条件付確率分布を用いて , 次元ずつ順番にサンプルを行っP(a)ていく処理を全ての次元に対して十分な回数繰返し ，最終的に得た値をサンプルとする ("a2

法（ ('(' 法）の一種である
間におけ る 

a1

,



  ( '．2 / は . 次元の行動空 サンプ リングの様子を示す． . 次元空間

. で離散化された全ての格子における確率は 2 . のフラット選択の場合と同じだが，, 次元ずつサンプルを行っ  /  "%  1!  2"  !  1".%   %  ,! ++$   
!   %  34 % % +$ 56!   %      2 .+  %

ていくので，2 . のような全行動空間における確率を全て計算するような処理が不要であることが分かる．2 / の右上 %,& は . を固定した条件付確率により , をサンプルし ，
左下 %.& では %,& で選んだ , を固定した条件付確率により
. をサンプルしている．これで反復 , 回分であり，さらにランダムタイリングによって高次元空間において複雑な状

右下 %/& では %.& で選んだ . を固定した条件付確率により態行動評価関数（  関数）や行動選択確率分布関数が表現

再び , を選んでいる．このような反復を十分な回数繰返し

できるが，この分布に従って行動を選択するための最も原理た結果得られた , . を最終的な行動出力とする．

的に単純な方法は，フラットな行動選択法である．これは，サンプリングでは，反復回数についての理論的な下限につい行動空間を全て細かい格子状に離散化し ，各超矩形領域にては明らかにはされておらず，実験的に決められているのが対して確率を割当て、ルーレット選択によっていずれかの超実情である．



矩形領域に相当する行動を選択するものである．本論文で2 / で示した例題のように . 次元程度の空間を 4 × 4 には，連続な行動空間を各次元毎に等しく  分割して格子状粗く分割した程度では，フラットな行動選択との計算量的なに離散化する．よって行動空間を  次元と仮定すると 

差はあまりないが，行動次元数や分割数が増加すると，そのコの行動  % + ,     

& へ離散化される．行動は，各差は顕著に現れる．例えば行動空間が 5 次元で各次元を ,-行動  毎に定義された確率  % & に従って，どれか１つが分割する場合，フラットな行動選択においては各メッシュに選ばれる．2 . は . 次元の行動空間において２次元行動空おける重みの計算を ,- +, 千万回行わなければならない

間を格子状に分割し ，各メッシュの持つ確率に応じ て行動が，

選択する様子を示す．フラットな行動選択では，. 次元空間

り，反復回数を数十回程度に抑えればフラットな行動選択法

,に比べて１万分の１程度の計算量で済むことになる．

. で離散化された全ての格子について確率を計算し ， サンプリングでは ,-5（ 反復回数）程度であ, -    .+ P(a)select

P(a)

a2
a2
a1
a1
(1)
selectselect

P(a)

P(a)

a2

a2

a1

a1

(2)

(3)

  / 0.  ! ++%"%. % !. 1! ! 2"  !  1".%   %  ,!   %!1%  7 %+  !  %  ++$ ,!  ! 3 4 %% %     1!  ++$ '  ,! +.  34 %% %    1 !  ++$ '   !  ! 3 4 ,!+. ! 384 %% %      1 ! 
++$ '   ! +.  34
 サンプリングでは行動選択確率分布自体は式 %4& とずつになり，式 %4& と同じような処理を繰り返し行うように同じだが，各行動座標軸毎に処理を行うため，記法を以下のなっただけである．このとき，全行動空間について  値をように対応させる．フラットな行動選択の場合同様，行動の調べる必要がないのが大きな利点である．



次元数  で，行動空間は各次元毎に  分割により離散化されているものとする．ある多次元行動  について，各行動次元毎に分解して次のように表す： + %       
だし各次元の要素 %ただし 

& た , .     & は   

ただし   , .     である．ある状態  行動  に対する  値は，% & + %       

& と表す．この  値

は，フラット 選択における値と同一である．
リングの

 強化学習アルゴ リズム

ランダムタイルによる空間汎化と  サンプ リングによる行動選択を代表的な強化学習アルゴ リズムである   法と組み合わせる．第 / 章で説明したように，状態空 , .      ）および行動空間のランダムタイル  %&（ただし   , .      ）間のランダムタイル

 %&（ただし サンプの２種類のタイル群を用いて，. 個の要素を持つ状態特回目の反復においてサンプルされた行動要素を

徴量ベクト ル  %& + % %&     & および . 個の要

% & と記する．このとき， 6 , 回目の反素を持つ行動特徴量ベクトル %& + % %&     & を

復におけ る行動要素は以下の確率分布に従ってサンプルさ

式 %/& %0& より生成する．状態 ，行動  に対する状態行 % &  % &    

れる：動評価値（  値 ）は，特徴量ベクト ル  %& %& の各要



 % 6 ,&

 %





 % 6 ,& %

 % &  % &    

 % &  % &    

素と .% && + ,

% &&






% 6 ,&

 %

 % &  % &    



% &&

 %        

&





+



3 %%            & &
& &

 




 %&  %& （ 5）   （ 7）

フラットな行動選択と比べると，考慮すべき行動が１次元



従って行動  を選択し実行する：
 % & +  3 %%            ,   . 

エージェントは状態  を観測し，以下のボルツマン分布に& は，以下のボル

ツマン分布で与えられる：+ ,   . ）を用いて以下のように計算する：

% & +ここで，条件付き確率  %        . コの重み変数 （ ただし3 %%  & &
3 %%  & & 

ただし行動は式 %7& の （ 8） サンプ リングにより選択する

ため，全行動について  値を計算する必要は無い．行動選択後，報酬  と遷移先の状態 ¼ を観測する．遷移先での状計測自動制御学会論文集

第 巻 第  号 

年

月



35

GOAL

Averaged Reward (1000 steps)

30

25

20

15

10

Randomcoarse-coding
200x200

5
Grid coding (5x5x5)x(5x5x5)
Grid coding (6x6x6)x(6x6x6)
0
0

20000

40000

60000

80000

100000

Learning Steps  /  0. +!'     .6 +.
,! + 9  %  ! +.  !  %
! %%  1! ! !  .9%  %%
態 ¼ における  値を使い，もとの状態  で実行した行動 の  値を更新する：¼
)  +  6  3 %  &%  & %  & 6  ) 

（ ,- ）（ ,, ）

ただし  は割引率， は学習率（ -    , ）である．ここで  値は式 %5& で表されているので，式 %,,& で示される 
値の更新は，重みパラメータ  を式 %,-& を用いて以下のように更新することで実現する：
  6

 %&  % & は -5  -8 -4    -7 で，棒の長さは -0 である．障害物の座標は，障害物 ,9 %,- -,&%-1 -0&%,- -0& 障害物 .9 %-0 --& %-1 -.1& %-5 --& 障害

物 /9
%  &: %% ' ' %  ! "".6 +. ,! '  0% '% ! '
1 ' .9 %% 3%%4 ,! ."+    ++% %. % 09%-- -1& %-.1 -/1& %-.1 -/& %-- -,& 障害物%-- ,-& %-/ -5& %-/1 -11& %-- -8& の領 域で 定義される．棒がゴ ール領域に到達すると ,-- の報酬が与えられて初期状態 %-8 -,

& へ戻り，それ 以外では報酬 -である．
強化学習エージェントは，/ 次元の状態入力の各次元の変数を ,-- 分割して離散化する．/ 次元の行動 %  & についても同様に各次元を ,-- 分割して離散化する．よって
 ) 

（ ,. ）¼

離散空間の強化学習問題としては状態数 ,-

ここで 3 %  & を探す必要があるが，これはボルツマ

数 ,--ン 分布の温度パラ メータ  をゼ ロに 近づけて なる．この状態空間に対し ，ランダ ムタイルを .-- 個生成

 サン+ ,- ，状態行動空間は ,-+ ,- ，行動という膨大な空間に %& とする．このタイル群は，各状プリングによって得た行動の  値で代用したり，あるいはして状態特徴ベクトル

態次元についてタイル矩形領域の部分空間を構成する要素

 サンプ リングを行う過程で見つかった最大の  値を用いるなど ，大規模問題では近似的に与えざ るを得ないととして選択する確率を -4 としてランダムに作成する．ただいう問題点はあるが，真に最大の  値でなくても，選んだ

し各次元の要素を１つも選択しなかったタイルは除外し再生行動の  値を充てれば #$#$ アルゴ リズムになるので，成する．ランダムタイルの矩形領域については，選択された   学習をすることは保障される．

部分空間において，離散化された空間の境界に合わせてラン

ダ ムに生成する。ただし タイルの大きさに ついては各次元実験

2 0 に 示 すよ うに ，  ! 問題の離散化された定義域の -〜.1 ％までの範囲を一様な乱数
 に 修正を加で生成し，タイルの中心位置は，各次元の離散化された定義

え た 問 題へ 本 手 法を 適 用 す る ．状 態 空 間  + %   &

域の全範囲を一様な乱数で生成する．行動のランダ ムタイ

は / 次元で ，%  & は 棒の 下 端の 円 の 中 心 座 標を 表し ，ル  %& も同様に .-- 個生成する．  アルゴ リズ- , -    , の 矩 形 範 囲に なけれ ば なら ない． は棒と水平面のなす角度を表し ，-   る．行動  + %であムにおける 3  を探す部分は，

 サンプリングの過程で記録された最大の  値で代用した．

 サンプリン    & も / 次元で，目標とする位置座

グの反復回数は ,1 回，割引率  + -8，ボルツマン分布の標を表 す．行動に より目標座標が 与えられ ると，その 方

温度パラ メータ  + -0 で一定，学習率  + -1 に設定す向へ  + %   & 空間中を直線的に 移動し ，途中で障害る．比較対象として，状態と行動空間を 1

物あるいはゴ ール領 域に 触れ るか ，目標座標に 到達するのタイルへ均一にグ リッド 分割した場合と，4

1

1 + ,.1 個と，イベントが発生して次の意思決定を行う．ゴ ール領域

個のタイルに均一に分割した場合について調べる．

44 + .,4, -    .+ 
言語 = =)> ,0. ）では行動を１回選択するのに 4-40
iteration 3
iteration 15
iteration 30
iteration 15035程度を要するため，比較実験は困難である．また，フラット
行動選択ではボルツマン分布の分母の値が大きくなり過ぎ

Averaged Reward (1000 steps)

30て計算に支障をきたすなど 実装上の問題も発生した．
25

2 4 に  サンプリングの反復回数を変えた場合についての学習結果（ ,- 試行平均 ）を示す．反復回数は / 回か20

ら ,1- 回までの大きな範囲で変えてみたが ，学習結果には

15ほとんど 差は見られなかった．
さらに 2 7 に示す冗長アームのリーチング タスク  に

10

修正を 加えた 問題へも 適用し た．アームは 5 本のリン ク5が関節を介して直列に接続されており，. 次元平面上を動

0
0

20000

40000

60000

80000

100000

Learning Steps: %% ' ' %  ! "".6 +. ,! '  0% '% ! '
1 ' .9 %% 3%%4 ,! " .+%  ++% %.  8  8   

く．状態空間  + %        & は 5 次元で， は根元のリンクが水平面となす角度で，  , のとき  は関節  と
, との間の角度である．アームを構成するリンクは，全て-  , -    , の矩形範囲になければ ならな

い．行動  + %        & も 5 次元で，目標とする関節角度を表す．行動により目標角度が与えられると，その方向へ  + %      & 空間中を直線的に 移動し ，途中で障害物あるいはゴ ール領 域に 触れ るか，目標座標に 到達
すると，イベントが発生して次の意思決定を行う．アーム

GOALの台座の位 置は %-71 -1&，アーム全長 -4，ゴ ール 領域-/-1 -5-8，スタート状態,5- 6 01 度，

障害物 ,9 %-5 --& %-5 -.& %,- -/& %,- --&，障害物.9 %-- -01& %-11 -01& %-11 -11& %-- -11& である．

強化学習エージェントは，5 次元の状態入力の各次元を ,分割して離散化する．5 次元の行動 %      & についても同様に各次元を ,- 分割して離散化する．よって離散空間の強化学習問題としては状態数 ,- ，行動数 ,- ，状態行動空間は ,- という膨大な空間になる．この空間に対し ，ラン
ダムタイルを .-- 個生成して特徴ベクトル

 %&  %& とする．ランダムタイルは，各次元についてタイル矩形領域の部分空間を構成する要素として選択する確率を -/ とし てラ/  0. +!'    ! %9 %". ! !' !"7% ,! %! ! 7%  %!1 +$ + 9  %  ! "%%  1! ! !  .9%  %%

ンダムに作成する．

 サンプリングの反復回数は 0- 回

で，他の設定は   ! 問題と同じである．比較対象
として，状態と行動空間を . + .14 個のタイルへ均一にグ
リッド 分割した場合について調べる．
2 5 に学習の様子（ ,- 試行平均）を示す．この問題はス

2 1 に学習結果（ ,- 試行平均 ）を示す．この問題はスタートから / ステップでゴ ールする解が最良解であるが，提タートから / ステップでゴ ールする解が最良解だが ，試行

案手法では試行毎にランダムにタイルを生成しているにもか

によっては提案手法は 0〜1 ステップを要する解しか見つか

かわらず，全ての試行で最良解が見つかっている．しかし，らない場合がある．これは試行毎にランダムにタイルを生成

均一なグリッド 分割ではタイル数が多いにもかかわらず全くしているため，タイルの配置によっては / ステップでゴ ール

学習できなかった．

する解が見つからないためではないかと考えられる．これに対して，空間を均一にグリッド 分割した場合，高々4+ .,42 8 に  サンプリングの反復回数を変えた場合についての学習結果（ ,- 試行平均）を示す．反復回数は 0- 回か個程度のタイルに分割した程度では全く解を見つけられないら 0-- 回までの大きな範囲で変えてみたが ，学習結果にはことが分かる．この問題は行動の次元数が / であるため，フほとんど 差は見られなかった．

ラット行動選択も不可能ではないが，   と比較すると  値の計算回数は 4--〜7-- 倍になり，実験に用いた計算機（ '*:9 * 0 ,! ;#9

<* 開発

計測自動制御学会論文集

第 巻 第  号 

35

月



生じる細かい分割と粗い分割や，全ての次元の変数を考慮す
るのではなく一部の次元の変数に注目した汎化が重要と考え

30
Randomcoarse-coding 200x200
Averaged Reward (1000 steps)

年

られる．線形関数近似を用いた ? 関数の強化学習では，

25

学習が収束するための条件の一つとして特徴ベクトルが状態間で線形独立であることが示されている  ．一般的な格子20分割による離散化や，ラジアル基底関数による関数近似は，

15

ほぼ 全ての領域で単位ベクトルに近い線形独立な特徴ベク
トルが生成されることが 保障されるが，特徴ベクトルが 単

10位ベクトルであることは収束の条件としては必要ではない．

Grid coding(2x2x2x2x2x2x2x2)x(2x2x2x2x2x2x2x2)5

また，例題とし て取り上げているタスクをみれば 明らかな
0
0

20000

40000

60000

80000

100000ように，連続な状態行動空間におけるタスクは，本質的にLearning Stepsは複雑さが小さく，区別が必要な状態や行動の領域はあまり

Averaged Reward (1000 steps): %% ' '%  !
".  ! %9 ,! '  0%'% ! ' 1 ' .9 %%3%%4

多くないと考えられ る．本論文で提案しているランダ ムな
矩形タイルを多数用いる方法は，上記のような本質的に複雑さの小さい連続な状態行動空間におけるタスクにおいて，区別が必要な状態や行動の領域において線形独立な特徴量

45ベクトルを生成しやすいと考えられる．つまり，提案手法で40

は特徴量ベクトルが単位ベクトルに制限されていないため，

35

タスクに無関係にランダムに配置されたタイルでも，線形独30

立な特徴量ベクトルになりやすく，適切な関数近似が行えるのではないかと考えられる．

25

20

2 ,- は冗長アームの問題において得られた初期状態に15おける  関数の形状を示す．, 番目と 1 番目の行動要素のiteration 40
iteration 80
iteration 400

10値だけを変化させ，それ以外の行動要素の値を一定にしている．ランダムタイルを用いた場合は，同一の特徴量を生成す

5

る均一なグ リッド 分割よりもよりなめらかな形状をし てお

0
0

20000

40000

60000

80000

100000

Learning Steps: %% ' '%  !
".  ! %9 ,! '  0%'% ! ' 1 ' .9 %%3%%4 ,!  .+%  ++% %.   ;   り，適切な関数近似が行えていることが観察できる．
実験において，状態空間に対するランダ ムタイルの中には，全く使用されていないものが .〜/ 割存在した．これは，定義された状態領域の中には到達不可能な領域があるなどの事情による．本論文では固定されたランダムタイリング
を用いているため上記のような問題が生じているが，新しい未知の状態入力があるたびに，それに対応して適応的に





考察

新しいランダムタイルを生成するなど の工夫が考えられる．
また，学習初期は大きな領域を持つランダムタイルによってランダムタイルの生成パターンと学習性能

学習し，学習進行に応じて重要と思われる領域へ適応的に小実験ではいくつかの種類のランダ ムタイリングを用いたさめのタイルを追加していくことにより，関数近似の精度をが，ランダムタイルの生成パターンによって，学習性能が大上げていくことも考えられる．また，タイルを自由に追加できく変わることがあった．特に   ! 問題でその傾きる点は，エキスパートが動作を教える場合において特定の向が顕著に見られた．また，タスクの学習に必要なタイル数

領域に新し くタイルを追加してより細やかな動作をさせるについては，高い次元の問題ほど 多くのタイルを必要とすることが容易であるという利点がある．

とは限らないことが冗長アームの実験結果から考察される．
冗長アームの問題では，アームの移動コストを考えず，意思 サンプリングにおけ る反復回数の決め方について決定ステップ数だけで評価しているため，最適なパスが無数

反復回数の理論的な下限については明らかにはされていなに存在するために，.-- 個という比較的少ないタイルでも最いため，実験的に決めるしかないのが実情であり，扱う問題

適解を容易に発見できたと考えられる．しかし，同じようなによってまちまちであるが，反復回数が多ければ問題は生じ分割数でも均一にグリッド 分割した場合には，ど ちらの問題

ない．実験では極端に少ない反復回数の場合についても試しにおいても全く学習できない．ランダムタイリングによってたが，性能に対する影響は観察できなかった．これはランダ

, -    .+ 
Q-valueQ-value
295
290
285
280
275
270
265
260
255

0

2

6.5
6.45
6.4
6.35
6.3
6.25
6.2
6.15
6.1
6.05

0
4

6

8
1st element 10 12of the action
14

16

18

20 20

18

16

14

12

10

8

6

0

2

4

2

4

6

8
1st element 10 12of the action
14

5th elementof the action

16

18

20 20

18

16

14

12

10

8

6

4

2

0

5th elementof the action  :! %< :%   !  ="  % (."  ! ".  ! %9 ,! 0%%  ! %  ! . !    !  % (!! %< :%   ! 
="  % ! "   ! %. 
ムタイルが矩形で，個数も .-- 個程度と少ないため分布関数の形状がかなり単純なためではないかと考えられる．



サンプリングの反復回数は，エージェントの , 回の行動選択

参

考

文

献

に要する時間に影響するものであり，時間が許容する範囲内
で反復回数をなるべく大きく設定するのが最も単純である．
少ない反復回数で近似精度の良いサンプルを得るのは確率サンプリングにおける一般的問題であり，反復過程でアニーリングを行う方法や @ の ; ;3  法 などがある．

  ボルツマン 選択における温度パラメータの設定
温度パラメータ  の設定は，扱う問題の行動次元が変わると，好ましい設定値が大幅に変わる傾向がある．これは扱う問題毎に設定が必要であり，かつ調節が困難な問題である．
また，

 サンプリングをそのまま実行する場合，の極限に近づくと，理論的なサンプルと - サンンプリ

ングによって得る値とのギャップが大きくなったり，計算機での実装において問題が生じたりする．これは，提案手法において   における更新処理で式 %,-& の (3 を得る部分が近似的にしか得られない問題にも通じる．



おわりに

本論文では，高次元の状態行動空間における有望な強化
学習方法とし て，ランダムタイリングによる状態行動空間の汎化と 

 サンプ リングによる行動選択法を組合せて  へ適用する方法を提案した．ランダムタイリン

グによる汎化および  サンプリングによる行動選択方

法は，ど ちらも計算処理が軽く，高次元空間におけ る強化
学習においてリアルタイムの意思決定に向いた方法である．
これらはそれぞれ単独でも実装可能であるが，両方を組み合わせたときに最も効果が出ることを   ! 問題および 冗長自由度アームのリーチング問題へ適用して示した．

）深尾 隆則，稲山 典克，足立 紀彦：正則化理論を用いた連続的状態と行動を扱う強化学習，システム制御情報学会論文誌，

     8> 3 ;4 ）堀内 匡，藤野 昭典，片井 修，椹木 哲夫：連続値入出力を扱う
ファジィ内挿型 =" の提案，計測自動制御学会論文集8  ? >? 3 4
8 ）)  < :  !  % ,! ,@%% 3 4 ）木村 元，宮崎 和光，小林 重信：強化学習システムの設計指針，4
計測と制御 8;    ;> 8 3 ）木村 元：強化学習における高次元数の行動空間の扱いについて−ハッシュと ++%". を用いた行動選択方法の提案"，計測自動制御学会 第 8 回知能システムシン ポジ ウム8 >  3 4
）木村 元：ランダ ムタイリングを用いた多次元状態"行動の強化
学習，計測自動制御学会 システム・情報部門学術講演会  
講演論文集 8?> 3 4? ） /A  /9% -< ,! @". /"!.  + (% ( . : .% "% %       >88 3 4; ）. ) -  (  B (. /< 0.%1! ( . :  @+.% 1! -"%   /   %         
 8> ; 3 ;4） (< 6   . < %% 0.% % %% %    
!"   #   $%"   #$ 8;>  3 4） ( B C /< ( . < / "    ! &  ,! , @%% 3 ;4）A9% -)-D B $ @< , !  < '":       ? >  3
4 ）吉本 潤一郎，銅谷 賢治，石井 信：強化学習の基礎理論と応用，
計測と制御   8 8>8 ; 3 4

今後の課題として，状況に応じ適応的にタイルを追加・削除する方法の検討や，

 サンプリングを効率良く行う方法の検討，および 温度パラメータの設定方法の確立がある．

［著

者

紹 介］

計測自動制御学会論文集

木

村

第

元 （ 正会員）

 年東京工業大学工学部制御工学科卒業．
? 年同大学大学院総合理工学研究科知能科学; 年  月，同大学大専攻博士後期課程修了．
学院総合理工学研究科助手．  年  月，九州大学大学院工学研究院海洋システム工学部門助教授，現在に至る．人工知能，特に強化学習に関する研究に従事．人工知能学会，日本ロボット学会，
日本船舶海洋工学会会員．

 巻 第  号 年

月(