情報処理学会第71回全国大会

3D-1

変化する環境に対するステップサイズパラメータオンライン調整法
野田 五十樹 †(独) 産業技術総合研究所 情報技術研究部門
この時、以下の補題が成立する。

1指数平滑移動平均

補題 1Q 学習や TD 学習などの強化学習では、未知の環境における状態や行動の価値を、実際に行動して得られた報酬を元に推定し、そこで得られた推定価値をもと

hki

REMA ξtれる。

hki

∂ξt
∂αに行動を決定するかたちで学習が進む。この価値の推定で用いられる式を一般化すると、下記のような指数平滑平均 (Exponential Moving Average, EMA) の式の α による 1 階偏微分は次式で与えら

k hki
hk+1i(ξ − ξt)α t=(3)定理 1EMA x̃t (k = 1 の REMA) の k 階偏微分は下記で与えられる。

で表される。

x̃t+1=(1 − α)x̃t + αxt(1)∂ k x̃t∂αk

ここで、xt および x̃t は経験によって実際に観測されhk+1i= (−α)−k k!(ξthki− ξt )(4)た値 (報酬 rt など) およびその推定値であり、時刻 tによって更新されていく。また、α はステップパラメータ である。この α は、直近の観測値 xt をいかに重視するか、あるいは、どの程度長い時間の移動平均とし2再帰的指数平滑移動平均によるステップサイズ勾配降下法
定理 1 により α による x̃t の導関数が求まるので、誤て推定値 x̃t を求めるかを示している。
ここで、観測値の系列 {xt } が下記のように、求め差 δt の二乗誤差を逐次的に極小化する勾配降下法を導るべき真の値の系列 {st } に雑音が重畳したものと考くことができる。ただし、定理 1 では高階の導関数もえる。xt = st + ²t ただし ²t は平均 0、標準偏差 σ²求めることができるので、より精度の高い降下法を求の乱数とする。

めることができる。よって、この高階導関数を用いたさらに、真の値の系列 {st } は st+1 = st + vt のよう勾配降下法を再帰的指数平滑移動平均によるステップにランダムウォークで変化する値とする。ただし、vt

サイズ勾配降下法 (Recursive Adaptation of Stepsizeは平均 0、標準偏差 σv の乱数とする。

Parameters, RASP) と呼ぶ。
今、仮に α → α + ∆α と変化させた場合の x̃t の変化分を ∆x̃t とすると、()k∞∑∆αhk+1ihkik∆x̃t =(−1)(ξt− ξt ) (5)α観察された時系列 {xt } が与えられている場合に、それに最も適した α を適応的に決定する方法を考える。
まず、以下のように (1) 式 を再帰的に適用した再帰的指数平滑移動平均 (Recursive Exponential MovinghkiAverage, REMA) ξt
h0i
ξth1i
ξt+1hki
ξt+1k=1を導入する。

hki

さらにまた、一般の ξtの変化についても、補題 1= xtの結果を用いて 1 次の Tailor 展開を行うと以下のよう= x̃t+1 = (1 − α)x̃t + αxtになる。3=

hki
hk−1i
(1 − α)ξt + αξt(2)

hki

∆ξt

Recursive Adaptation of Stepsize Parameters in Reinforcement Learning for Dynamic Environments† Itsuki Noda, ITRI, AIST <i.noda@aist.go.jp>

2-49(' k∆αα)hki(ξthk+1i− ξt)(6)

3 付録に示した高階導関数を用いれば、高次の Tailor 展開を求めることもできる。

情報処理学会第71回全国大会

changes of alpha [gamma=10.000000, best alpha = 0.990195]

具体的には、以下のような手順で学習を行う。

1

初期化: ∀k ∈ {0 . . . kmax − 1} : ξ hki ← x0
while forever do
観測データを x とする。
for k = kmax − 1 to 1 do
ξ hki ← (1 − α)ξ hki + αξ hk−1i
end forξ h0i ← xδ ← ξ h1i − x
∂ξh1i
∂α0.8

Alpha

0.6

0.4

0.2

alpha
best_alpha00

1000

2000

3000

4000

5000

6000

7000

8000

9000

10000

Cycle

(a) γ = 10.0, αbest = 0.990 の場合
changes of alpha [gamma=0.500000, best alpha = 0.390388]

1alphabest_alpha

0.8

Alpha

0.6

0.4

0.2

0010002000

3000

4000を (4) 式 により求める。

5000

6000

7000

8000

9000

10000

Cycle

h1i(b) γ = 0.50, αbest = 0.390 の場合

δ および ∂ξ∂α から、α の変化分 ∆α を決定。
for k = 1 to kmax − 1 do(5) 式 および (6) 式 により ∆ξ hki を求める。
ξ hki ← ξ hki + ∆ξ hki
end forα ← α + ∆α
end whilechanges of alpha [gamma=0.333333, best alpha = 0.282376]

1

alpha
best_alpha0.8Alpha0.60.40.2001000

2000

3000

4000

5000

6000

7000

8000

9000

10000

9000

10000

Cycle

(c) γ = 0.33, αbest = 0.282 の場合
changes of alpha [gamma=0.050000, best alpha = 0.048766]

1

alpha
best_alpha0.8h1iれる。通常の勾配降下法と同じく、基本的には δ ∂ξ∂αAlpha

この中で、∆α を決定する方法にはいくつか考えら

0.60.40.2001000

2000

3000

4000

5000

6000

7000

8000

Cycle

が正ならば ∆α < 0 、負であれば ∆α > 0 とすれば(d) γ = 0.05, αbest = 0.048 の場合よい。

図 1: 実験 1: 標準偏差比 γ の違いによる α の学習過3

実験程の変化

まず、上で述べた α の更新方法により、最適な値が得られるかどうかを、実験により確認する。
図 1 は、異なる γ を持つ観測データ xt を用いて αを適応させた場合の実験結果である。これらのグラフは、学習回数 (横軸) が進むのに従って、α がどのように変化したかを示している。また、グラフ中に描かれている水平の直線は、ランダムウォークとノイズの分散から求めた最適の αbest である。この α の変化を見ると判るように、学習を経るに従い、γ に応じた最適なステップサイズを獲得できていることが判る。ただし、観測データに重畳されるノイズの影響により、最いう前提のもと、学習パラメータであるステップサイ
ズ α と環境から得られる観測データの関係を明らかにした。その結果を元に、α を環境の変化に追随させる方法として再帰的指数平滑移動平均によるステップサ
イズ勾配降下法 (RASP) を提案した。この方法の特徴は、通常の勾配降下法と異なり、高階の導関数をシステマティックに求めることができる点である。このため、勾配法による α の変更量を比較的大きく取ることができ、さらに、修正の際に利用する値も同時に修正する方法を提供できる。[1]適値に収束していくのではなく、最適値の周辺で変動を続けるようになる。
以上のように、与えられた観測データに含まれる真の値のランダムウォークの大きさと雑音成分の大きさに応じたステップサイズを、RASP により獲得できて

参考文献[1] 野田五十樹 動的環境における強化学習のステップ
サイズパラメータ調整法, 合同エージェントワーク
ショップ＆シンポジウム 2008(JAWS2008) 予稿集

いることがわかる。

(10 月 2008).

4

まとめ
本稿では、徐々に変化する環境の中で、エージェントが学習を継続しながら環境の変化に適応していくと2-50