論文

選択的不感化ニューラルネットを用いた連続状態行動空間におけるQ 学習
小林高彰† a)

澁谷長史† b)

森田昌彦† c)

Q-Learning in Continuous State-Action Space by Using a Selective Desensitization
Neural Network
Takaaki KOBAYASHI†a) , Takeshi SHIBUYA†b) , and Masahiko MORITA†c)

あらまし 連続な状態空間において Q 学習を行う場合，価値関数の近似が不可欠であるが，強化学習において通常用いられる局所的な関数近似手法では，近似精度と学習効率とを両立させることができない．更に行動空間も連続な場合には，最適行動（Q 値の最大値）を求めるのに多大な計算コストを要するため，これまで実用性の高い方法はなかった．本研究では，選択的不感化ニューラルネット（SDNN）を行動価値関数の近似器として用い，多数の行動に関する Q 値を同時に出力層に分散表現することによってこの問題を解決する方法を提案する．
この手法を，制約のあるアクロボットの振り上げ制御課題に適用したところ，既存の関数近似器を用いた場合に比べて，計算コストの増加が大幅に抑えられ，実時間制御に使えることが示された．また，離散行動の場合よりも環境の連続的な変化にも追従しやすいこと，従来手法では解くことができない条件下でも適用できることが分かった．本手法は，アルゴリズムが単純でパラメータ設定も容易であるなど実用性が高く，強化学習の適用範囲を大きく広げるものといえる．
キーワード

強化学習，行動価値関数，Q 値，関数近似

1. ま え が き

フ型 TD 学習）[2] を扱う．これは，各状態における各

強化学習 [1] は，ロボットなどの行動主体（エージェ

求めるというものであり，適当な条件下で最適な行動

行動の価値（Q 値）を，ある更新式に従って逐次的にント）が環境との相互作用を繰り返し，その中で得らの獲得が理論的に保証されていること [3]，単純で実装れる報酬を最大化するような行動を試行錯誤的に獲得しやすいことなどから，応用上もよく用いられる．

する行動学習の枠組みである．元々は動物の行動学習

しかし，Q 学習を実空間など複雑な環境下での制御をモデル化したものであるが，制御設計の手間を省けに応用するためには，解決すべき問題がある．Q 学習

ることなどから工学的にも有用だと考えられている．

のアルゴリズムは，基本的に状態や行動が離散的であ

また，動物が大量かつ多様な情報の存在する現実世界

ることを前提としているのに対し，実空間における状

において行動を学習できることから，実環境やモデル

態変数は通常連続値をとり，行動も連続的な場合が多化の難しい複雑な環境下で，ロボットなどを制御する

い．単に，制御目的を達成するのに十分な程度まで状手法として期待されている．

態及び行動を細かく区切って離散化すると，状態・行

強化学習にはさまざまな手法が存在するが，本研究動の数が爆発する．そのため，多くのメモリが必要とでは，最も代表的なものの一つである Q 学習（方策オ

なるだけでなく，経験すべき状態・行動の数が多いた
め学習や行動選択にかかる時間が非常に長くなってし†筑波大学大学院システム情報工学研究科，つくば市

まう．かといって，粗く離散化して状態・行動数の増

Graduate School of System and Information Engineering,

加を抑えると，高精度の制御はできない．

University of Tsukuba, Tsukuba-shi, 305–8573 Japana) E-mail: takaaki@bcl.esys.tsukuba.ac.jpb) E-mail: shibuya@iit.tsukuba.ac.jpc) E-mail: mor@bcl.esys.tsukuba.ac.jp
DOI:10.14923/transinfj.2014JDP7079

電子情報通信学会論文誌

したがって，連続な状態行動空間に Q 学習を適用する際には，経験したデータから未経験の状態・行動の価値を近似することが必要だと考えられる．しかし，

c 一般社団法人電子情報通信学会 2015
D Vol. J98–D No. 2 pp. 287–299 

287

電子情報通信学会論文誌 2015/2 Vol. J98–D No. 2

価値関数がどのような形をしているか事前には分か行動の種類を二つに限る代わりに制御周期を短くする

らないので，あらかじめ設計した基底関数の線形和にことによって細かな制御を実現しているが，実時間でよって近似する手法 [4], [5] や，カーネル関数を用いる

制御する場合，計算に要する時間やセンサ信号の遅れ

手法 [6] など，事前知識が必要な近似手法を一般的ななどによっては制御周期をあまり短くできない場合が対象に対して適用することは困難である．

ある．また，特定のタイミングでしか出力を選択でき

理論上，任意の連続関数を任意精度で近似可能な関数近似器として多層パーセプトロン（MLP）があない課題（ジャンプするなど）の場合，この方法は無効である．

る [7], [8] が，中間層の素子数が少なすぎると表現力がそこで本研究では，SDNN による価値関数の近似

不足し，多いと過剰適合が生じやすいなど，パラメー

方法を改良し，状態空間だけでなく行動次元も連続なタ依存性が強いため，使いこなすのが難しい．また，場合に Q 学習を適用できるようにする．具体的には，

新たなサンプルのみを追加学習すると，既学習の入出

SDNN の出力層が全ての行動に関する Q 値を分散表

力関係全体が壊れてしまうカタストロフィック干渉 [9]現するようにすることで，異なる行動間の汎化を可能という現象があるため，近似した値を使って次々と Qにするとともに，行動空間の連続化に伴う計算コスト

値を更新する場合には，古いサンプルを保存しておいや学習時間の増加を抑える．

て適宜再学習するといった対策が必要である．

以下では，まず Q 学習及び SDNN によって行動ご同様の万能性をもち，Q 学習によく用いられるのが，とに価値関数を近似する方法について説明する．次に，タイルコーディング [1] や放射状基底関数ネットワーク

提案する手法について述べた後，2 種類の課題につい（radial basis function network，以下 RBFN）[1], [10]て数値実験を行い，提案手法の有効性を検証するととといった局所的近似手法である．しかし，これらの手もに，その性質や利点について考察する．

法は，局所領域が大きすぎると十分な精度で近似する
ことができないし，逆に局所領域を小さくすると，汎化能力が低下する上に，必要なメモリや計算量が（特2. SDNN を用いた連続状態空間におけるQ 学習に状態行動空間が高次元の場合に）増大してしまう．

2. 1 Q 学習と価値関数

そのため，しばしば現実的な計算コストではうまく近Q 学習は強化学習アルゴリズムの一つで，エージェ

似できないし，できるとしても局所領域の設定（タイントは Q 値（ある状態において，ある行動を選択する

ルや基底関数の配置）に熟練や事前知識が必要な場合

ことで，その後得られる総報酬の期待値）に基づいてが多い．

行動を選択する．状態・行動から Q 値への写像（行動

このように，既存の関数近似手法には問題点や制約条件が多いため，使いやすく，より幅広い問題に適用可能な手法が求められる．そのようなものとして期待されるのが，選択的不感化ニューラルネット（selec-

tive desensitization neural network，以下 SDNN）である．

価値関数）を式 (1) に従って逐次的に更新することで選択行動の改善を行う．

Q(st , at ) ← (1 − α)Q(st , at )
+ α rt+1 + γ  max Q(st+1 , a )a ∈A(st+1 )(1)

新保ら [11] は，SDNN を用いて行動価値関数を行動

ここで st ，at ，rt+1 は，それぞれ時刻 t における環境ごとに近似する方法を提案し，アクロボットの振り上の状態，選択した行動，及びその行動に対する報酬でげ課題を対象として，4 次元の連続状態空間におけるある．また A(s) は状態 s において選択可能な全てのQ 学習の数値実験を行った．この実験等から，SDNN

行動の集合，α は学習率，γ は割引率と呼ばれるパラが連続状態空間における価値関数の近似器として，数々メータである．

の優れた性質（詳細は 5.1 参照）をもつことが示されている．

式 (1) から分かるように，Q 値を 1 回更新するためには，次状態 st+1 において選択可能な全ての行動にしかしながら，新保らの手法は，行動が離散的であついて Q 値を求める必要がある．一般的な価値関数

ることを前提とし，行動ごとに別々の近似器を用意す

近似器では行動ごとに Q 値を計算し直すことになるる必要がある．行動次元が連続な場合，計算コストがので，計算コストは行動数 |A(st+1 )| の線形オーダー

大きく増加し，学習効率も低下する．彼らの実験では，になる．また，行動を選択する場合にも，現在の状態

288

論文／選択的不感化ニューラルネットを用いた連続状態行動空間における Q 学習

st において選択可能な全ての行動についての Q 値を用いるので，計算コストは行動数 |A(st )| の線形オーダーになる．一般に，関数近似器の計算コストはテーブル参照などと比べて非常に大きいため，計算コスト
が行動数の線形オーダーになるという性質は，行動が連続な課題に Q 学習を用いる上で大きな制約となる．

2. 2 SDNN-D による価値関数の近似
状態空間は連続的であるが，行動次元は離散的であり，行動数が比較的少ない場合，行動の種類ごとに別々の関数近似器を用意し，各近似器が特定の行動 ai に関する Q 値 Qai (s) = Q(s, ai ) を近似することによって，近似する関数の入力次元を減らすことができる．
このような場合について，新保らは SDNN により構成した関数近似器を行動数の分だけ用意し，全体として連続状態空間における価値関数を近似した（本論
文ではこれを SDNN-D と呼ぶ）．
以下では，まず SDNN の基礎となるパターンコー
ディングと選択的不感化 [12] について説明する．次に，SDNN を用いた一般的な関数近似器の構成と学習方法，及びそれを連続状態空間における Q 学習に適用し

図 1 SDNN を用いた l 変数関数近似器の構成
Fig. 1 l-values function approximator using a selective desensitization neural network.

たもの（SDNN-D）について説明する．

2. 2. 1 パターンコーディングと選択的不感化
連続な変数 x の値を，対応する 2 値パターン（コードパターン）x̄ によって表現することをパターンコー
ディングと呼ぶ．具体的には，x の変域を n 個の区間

常は約半数）をパターン c̄ に応じて選び 0 とする．
不感化する素子の選び方として最も単純なのは，

s̄i ←1 + c̄is̄i
2(2)

X1 , . . . , Xn に等分割し，区間ごとに別々のコードパとする，すなわち c̄ の −1 の要素に対応する s̄ の要

ターンを対応させる．そして x が区間 Xi (i = 1, . . . , n)

素を 0 にする方法である．ただし，異なる変数に同じに含まれる場合，x を Xi に割り当てられたコードパ

コードパターンを用いる場合など，二つのパターン間

ターン x̄i によって表現する（x → x̄i : x ∈ Xi ）．

に高い相関が生じる可能性があるときには，不感化す

ここで重要なのは，区間 Xi と Xj が近いほど，x̄i

る素子との対応関係をシャッフルする必要がある．

と x̄j の相関が大きくなるようなコードパターンを用

これにより，約半数が 0 で残りが ±1 の 3 値パター

いることである．すなわち，変数 x の値が連続的に変ンが得られるが，このパターンのことを「c̄ によって化するとき，コードパターン同士の相関が 1 から 0 へ修飾された s̄」といい，s̄(c̄) で表す．同様にして，s̄

連続的に減少し，十分に離れた変数値を表現するコーによって修飾された c̄ を考えることができる．二つのドパターン同士の相関は 0 になるようにする．これにパターンが互いに修飾し合い，s̄(c̄) と c̄(s̄) を作るこ

よって，非局所的な汎化を実現すると同時に，無関係とを相互不感化という．

2. 2. 2 関数近似器の構成な点への学習の影響が小さくなる．
選択的不感化とは，2 種類のコードパターンがあSDNN に よって l 変 数 関 数 z

=

f (x)

=

るとき，一方のパターンに応じて他方の一部の要素

f (x1 , . . . , xl ) を近似する際，通常は図 1 に示す構成を中立値（出力の期待値）に変えることによって，2を用いる．この図で，第 1 層は各入力変数を表す l 個

種類のパターンが表す情報を統合する手法である．

の素子からなる．また，第 2 層は入力変数に対応する

具体的には，2 種類の m 次元の 2 値（要素の約半数

コードパターンを表現する層で，m 個の素子からなるが 1 で残りが −1）パターン s̄ = (s̄1 , . . . , s̄m )

素子群を l 個含む．

Tc̄ = (c̄1 , . . . , c̄m )T

及びがあるとき，s̄ の要素の一部（通コードパターンとして，本研究では新保らと同様，
289

電子情報通信学会論文誌 2015/2 Vol. J98–D No. 2

次のように作成したものを用いている．まず m 次元のすと

2 値パターンをランダムに 9 個作成して p̄1 , p̄2 , . . . , p̄9とする．
（ただし，角度のように変域の両端の値が同じ状態を表すような変数については，p̄1 = p̄9 とする）．
次に p̄i と p̄i+1 の間 (i = 1, . . . , 8) を，それぞれ 44
個のパターンで補間し，全体として 361 個のコードパターンを作成する．このうち p̄9 を除いた 360 個のパターンを，変域を 360 等分した区間に割り当てる．
コードパターンのセットは変数ごとに異なるものを作成してもよいが，ここでは l 個の変数の全てについて共通のものを用いることにする．
第 3 層 は ，第 2 層 で 分 散 表 現 さ れ た パ タ ー ン
を 相 互 不 感 化 す る 層 で ，l × (l − 1) 個 の 素 子 群Gμ(ν) (μ, ν = 1, . . . , l，μ = ν) で構成される．素子
群 Gμ(ν) は m 個の素子からなり，第 2 層の素子群の出力パターン x̄μ を受け取るとともに，別の素子群の出力パターン x̄ν による修飾を受けてパターンx̄μ(ν) = x̄μ (x̄ν ) を出力する．全ての μ, ν の組合せ
（ただし μ = ν ）について x̄μ(ν)

を並べたものが第 3層の出力パターン x̄SD である．
なお，異なる変数間で共通のコードパターンを用いるため，選択的不感化による修飾は式 (2) ではなく，
μ(ν)

x̄k

=

1 + (σ μν x̄ν )k μ
x̄k
2

z=g



z̄i

(5)

i∈I

となる．ここで I は 1 から n までの自然数を要素とする添字集合，g(u) はスケール変換を行う関数である．
関数近似器の学習は，第 4 層の素子への結合荷重としきい値を，一種の誤り訂正学習（p-delta 則）で修正することで行う．具体的には，もし出力値 z = g(u)が目標値 ẑ = g(û) より大きければ，第 4 層の素子で1 を出力しているもののうち，|û − u| 個について 0 を出力するように修正する．逆に，出力値 z が目標値 ẑ
より小さければ，0 を出力している素子について同様に修正する（このとき，なるべく内部電位の絶対値が小さい素子を選ぶとよい）．修正する素子を z̄i とすると，結合荷重としきい値の更新式は

wij ← wij + c sgn (û − u) x̄SDj(6)

wi0 ← wi0 − c sgn (û − u)(7)となる．ここで sgn(u) は u > 0 のとき 1 を，それ以外のときは −1 を出力する符号関数，c は正定値の学習係数である．

(3)

新保らは，このような関数近似器を行動数の分だけ用意することで，全体として行動価値関数を近似する

μ(ν)

に従って行う（x̄kは x̄μ(ν) の k 番目の要素）．ここで，σ μν は修飾する素子をランダムな順序に入れ換え

近似器（SDNN-D）を構成した．これを用いた Q 学
習の手順は，以下のとおりである．

るための m 次の置換行列であり，出力パターン間に（ 1 ） 現在の状態 st を入力変数としたときの i 番

意図しない相関が生じることのないよう，μ 及び ν ご

目の SDNN の出力値 zi を，行動 ai に関する Q 値とに異なるものを用いる．

Q(st , ai ) の推定値とする．

第 4 層は第 3 層の出力 x̄SD を入力とし，0 または 1を出力する n 個のしきい値素子で構成されている．式
で表すと，i 番目の素子の出力値 z̄i は（ 3 ） 行動後の新たな状態に関して，各近似器が推z̄i = φ w Ti x̄SD − wi0⎛⎞ml(l−1)SD
wij x̄j − wi0 ⎠= φ⎝（ 2 ） 推定値に基づいて行動を選択する（greedy 方策の場合であれば，zi が最大となる ai を選ぶ）．
定した Q 値と受け取った報酬 rt から式 (1) の右辺の値を計算する．
（ 4 ） 得られた値を目標値 ẑ ，行動前の状態変数を

(4)

j=1

で計算される．ここで φ(u) は u > 0 のとき 1 を，それ以外のときは 0 を出力する関数，wij は x̄SD の j
番目の素子からの結合荷重，wi0 は素子のしきい値である．

入力として，選択した行動に対応する近似器の学習（結合荷重の更新）を行う．
（ 5 ）（ 1 ）に戻る．

3. 連続状態行動空間における価値関数近似
SDNN-D は，Q 値を表現するネットワークを行動

第 5 層は出力層で，第 4 層の各素子の値に基づいてごとに用意するため，行動次元が連続である場合に適関数の出力 z を計算する 1 個の素子からなる．式で表用すると，行動を細かく離散化すればするほど計算コ290

論文／選択的不感化ニューラルネットを用いた連続状態行動空間における Q 学習

ストが増加する．また，行動次元に関する汎化が起こらないため，学習効率が低下するという問題もある．

=g

これを避ける一つの方法として，行動値を入力変数の一つとし，Q(s, ai ) を直接近似することが考えられz̄i (ȳi )

(9)

i∈I

また，式 (9) は ȳ のうち値が 1 をとる素子の添字集合

る．こうすれば関数近似器は一つで済むように思われJ(y) = {j : ∀j ∈ I, ȳj = 1} を用いることで，次式のるが，行動選択の際に全ての行動に関する Q 値を求ように表すこともできる．

める必要があるため，結局は同程度の計算コストがか⎛かる．また，SDNN のように非局所的な汎化能力をも

z = g⎝



⎞
z̄j ⎠

(10)

j∈J(y)

つ近似器を用いた場合，同じ状態で行動値が変化しても，l が大きければ入力ベクトルはわずかしか変化し

入力 y についてのコードパターン ȳ は，y の値が近ないため，行動の違いによる Q 値の違いをうまく学習

いほど，対応する ȳ の相関が大きく，十分に遠いと相できないおそれがある．

関が 0 になる必要がある．上記の条件を満たすような本章では，SDNN-D を改良することによって，計パターンコーディングの方法はさまざまなものが考え

算コストの増加や学習効率の低下を抑えつつ，行動次られるが，本論文では処理を簡略化するために以下の元が連続な場合に Q 値を近似する手法（以下 SDNN-

ように作成する．

C）を提案する．

まず n 個の素子のうち 1 番目から n 番目 (n < n)

3. 1 SDNN-C の構成の素子が 1，それ以外の素子は −1 となるパターンを

SDNN-C は，SDNN-D の第 4 層において Q 値が作成し，これを q̄ 1 とする．次に 2 番目から n + 1 番

分散表現されていることに着目し，ある状態における目の素子が 1，それ以外が −1 となるパターンを作成

全ての行動に関する Q 値を表すパターンを一度に求し，これを q̄ 2 とする．以下同様にして，k 番目のパ

めよう，というアイディアに基づいている．求めたパ

ターン q̄ k の i 番目の素子の値がターンに対して，行動値を分散表現したパターン（行動パターン）による選択的不感化を行うことによって，特定の行動値に関する Q 値を得る．詳しくは後述する⎧⎨1q̄k,i =⎩−1

(if k ≤ i < k + n )(11)(otherwise)

が，これによって行動次元における汎化を実現するととなるように，n − n + 1 個のパターンを作成す

ともに，計算コストの増加を抑えている．

SDNN-C は行動価値関数 Q(s, a) の近似器である

る．各パターンは y の変域を n − n + 1 等分した区が，一般の関数近似問題にも用いることができる．

間 Yk (k = 1, . . . , n − n + 1) と 1 対 1 で対応する

以下では 2. 2. 2 の構成と比較しやすいように，関数（y → q̄ k : y ∈ Yk ）．

z = f (x, y) = f (x1 , . . . , xl , y) を近似する関数近似器ȳ として q̄ 1 , . . . , q̄ n−n +1 を用いた場合，ȳ によっとして説明する．なお，第 1 層から第 4 層についてはて不感化されない素子の添字集合 J(y) は次式のようSDNN-D と全く同じ構成なので，説明は省略する．

に表すことができる．

第 5 層は，第 4 層の 2 値パターン z̄ を入力 y に対応したコードパターン ȳ によって修飾する層であり，n 個の素子から構成される．修飾は式 (2) に従って行
い，i 番目の素子の出力 z̄i (ȳi ) はz̄i (ȳi ) =1 + ȳiz̄i
2

3. 2 SDNN-C の学習則
SDNN-C の学習は，SDNN-D の場合と同様に，誤った出力をしている |û − u| 個の出力素子について結合

(8)

となる．
第 6 層は，第 5 層の全ての素子の出力値に基づいて関数の近似値 z を出力する 1 個の素子からなる．式で表すと次式のようになる．

J(y) = {k, k + 1, . . . , k + n − 1 : y ∈ Yk } (12)荷重としきい値を修正することで行う．しかし，修正する素子を単純に内部電位の絶対値が小さいものから順番に選ぶと，修正する素子の位置に偏りが生じ，汎化の広がり方が不均等になる可能性がある．修正する
素子の偏りを抑える学習方法は幾つか考えられるが，予備実験を行った結果から，本論文では以下の方法を

z = f (x, y)

用いる．
291

電子情報通信学会論文誌 2015/2 Vol. J98–D No. 2

まず出力素子 z̄j (j ∈ J(y)) を，添字の順序を保ったO(p2 ) となる．

まま |û − u| 個の集合 Z1 , Z2 , . . . , Z|û−u| に分割する．

SDNN-D の場合，行動値ごとに個別のネットワー

このとき，各集合の要素数はできるだけ均等になるよクを用いるので，全ての Q 値を求めるには，上記のうにする．

計算を q 回行う必要がある．したがって計算コストは次に，Zi の中で，出力が誤っている素子（u > û なO(p2 q) のオーダーになる．一方，SDNN-C の場合，

らば，1 を出力している素子，u < û ならば，0 を出

第 1 層から第 4 層までの計算は 1 回でよく，その結果力している素子）一つに対して，その結合荷重としきを行動値ごとのコードパターンで不感化するので，計い値を式 (6)，(7) に従って修正する．この操作を各集算コストは O(p2 + q) となる．

合について行うことにより，全体として |û − u| 個の上記の計算コストは，O(p2 ) を定数と見れば，どち

素子を修正する．なお，Zi 内に条件を満たす素子が複らも行動変数に対して線形オーダーである．しかし，数存在する場合は，その中で内部電位の絶対値が最も実際に数値計算を行う際の計算コストは，大部分が第小さい素子を一つ選ぶ．また，条件を満たす素子が存1 層から第 4 層までの計算にかかり，第 5 層以降の計在しない場合は，その集合内では修正を行わないもの算コストはそれよりもずっと小さい．そのため，行動とする．

数が十分に小さい場合を除いて O(p2 + q) < O(p2 q)，

3. 3 行動次元に関する汎化と計算コスト

すなわち SDNN-C は SDNN-D よりも，行動数の増加

SDNN-C では，以下のメカニズムにより，Q 値にに対する計算コストの増加を抑えられることが分かる．

関する汎化が行動次元においても生じると考えられる．
まず，Q 値を表現する素子 z̄j は複数の行動間で共

4. シミュレーション実験有されるが，行動値が近い行動ほど多数の素子が共有

提案手法が有意義なのは，状態空間及び行動次元がされ，遠いと共有される素子は少なくなる（十分に遠連続であり，かつ行動次元を粗く離散化すると目的のければ 0 になる）．具体的に，式 (11) のコードパター

達成が難しくなるような場合だと考えられる．そこで，ンを用いた場合，素子 z̄j は区間 Yst から Yend に含まそのような状況を 2 種類用意してシミュレーション実

れる行動の Q 値を表現するために用いられる（ここで，験を行い，提案手法の有効性を検証する．

st = max(1, j − n + 1) 及び end = min(n − n + 1, j)

4. 1 学 習 課 題である）．そのため，この素子の出力が反転すると，こ

実験 1，2 ともに，アクロボットの振り上げ課題 [1]

れらの行動に関する Q 値全てが変化する．また前節でを用いる．アクロボット [13] は図 2 に示すような 2 リ

説明したように，修正される素子は位置が均等になる

ンク 2 関節のマニピュレータで，アクチュエータが第ように選ばれる．

2 関節にのみ存在する劣駆動系である．非線形性が強したがって，ある行動に関して Q 値を修正したと

く，制御が比較的難しいことから，連続状態空間におき，それに近い行動の Q 値もほぼ同様に修正される．

ける強化学習の課題としてしばしば用いられている．

つまり，ある行動を経験すると，それに類似した行動学習の目的は，両リンクが吊り下がって静止した初に関しても Q 値が更新されることになる．ただし，行期状態（θ1 = θ2 = 0 [rad], θ˙1 = θ˙2 = 0 [rad/s]）か

動値が離れるに従って修正量は小さくなり，十分に離れた行動に関しては修正されないので，行動値がある
程度違えば異なる Q 値を学習することが可能である．
次に，SDNN-C を用いたときの計算コストについて検討する．2. 1 で見たように，Q 学習ではある状態において，選択可能な全ての行動の中で Q 値が最大となる行動を求める必要がある．そこで，状態が p 変数，行動が q 通りの値を取るときに，Q(s, a1 ), . . . , Q(s, aq )の値を全て計算するために必要なコストを考える．
まず，第 1 層から第 4 層までの計算コストは，状態変数のコードパターンを相互不感化した全ての組合せについて計算するので，SDNN-D，SDNN-C ともに292

図 2 アクロボット
Fig. 2 The acrobot.

論文／選択的不感化ニューラルネットを用いた連続状態行動空間における Q 学習

ら開始し，できるだけ早く，第 2 リンクの先端が一定

来手法（SDNN-D 及び RBFN）と比較する．ただし，の高さ以上にあり，更に一瞬静止した（θ̇1 , θ̇2 の絶対学習性能の差が明確に現れるよう，制御（行動選択）

値がある値以下になる）ゴール状態となるよう，アクの周期を 1 秒間隔と長めに設定した．

4. 2. 1 方ロボットを制御することである．

法

アクロボットの物理パラメータは m1 = m2 = 1[kg]，

Q 学習では，行動価値関数を改善するためにさま

l1 = l2 = 1[m]，lc1 = lc2 = 0.5[m]，I1 = I2 =ざまな状態・行動の探索が必要である．一方，アクロ

1[kg · m2 ] とした．ここで m1 ，m2 は各リンクの質量，

ボットの振り上げのような課題は，適切な行動を連続

l1 ，l2 は各リンクの長さ，lc1 ，lc2 は根本の関節からして選択しないとゴールするのが非常に難しい．そのリンクの重心までの距離，I1 ，I2 は慣性モーメントでため，価値関数の学習が正しく行われていても，探索ある．

行動を含んでいるとゴールするまでのステップ数が長ア ク ロ ボット の 状 態 は 各 リ ン ク の 角 度 と 角 速 度

くなる場合がある．そこで，実験では価値関数の学習

θ1 , θ2 , θ˙1 , θ˙2 によって完全に規定される．そこで，この 4
変数を θ1 , θ2 ∈ [−π, π)[rad]，θ˙1 ∈ [−3π, 3π][rad/s]，

を行うエピソード（学習エピソード）と，学習は行わθ˙2 ∈ [−5π, 5π][rad/s] の範囲で [0, 1] に正規化したも価エピソード）とを分け，後者では常に Q 値が最大ののを強化学習の状態変数 s1 , s2 , s3 , s4 とした．なお

行動を選択する greedy 方策を用いた．一方，学習エθ˙1 , θ˙2 が正規化範囲の最大値よりも大きな値をとった

ピソードでは，エピソード開始から 10 ステップまでずにその時点での価値関数を評価するエピソード（評場合は 1 を，最小値よりも小さな値をとった場合は 0

は greedy 方策を，それ以降は ε の確率で選択可能なを s3 , s4 の値とした．

行動をランダムに選択し，それ以外の場合は Q 値が最エージェントは，第 2 関節に加えるトルク τ の値を大の行動を選択する ε-greedy 方策を用いた．また，1[−10, 10] [Nm] の範囲で選択する．すなわち，τ の値

回のエピソードは学習エピソード，評価エピソードとが行動値を表す．行動を離散化する際には，最小値及もに最長 50 ステップとした．

び最大値を含み，その間を等間隔に分ける（例えば行
動数 |A| が 3 の場合，τ ∈ {−10, 0, 10} となる）．

SDNN-C と SDNN-D は，構成する素子の数を揃えて必要なメモリ量を同程度にした．具体的には，ゴール状態は，第 2 リンクの先端が第 1 関節からSDNN-D は m = 200, n = 300, c = 0.1，SDNN-C

見て鉛直上向きに 1.5 [m] 以上の位置にあり，かつ角は m = 200, n = 900, n = 300, c = 0.1 とした．この

速度が |θ̇1 | < 3λπ, |θ̇2 | < 5λπ を満たした場合としとき，SDNN-D で扱える行動数が |A| = 3 であるの

た．1 回の試行（エピソード）は，初期状態から始まに対し，SDNN-C で扱える行動数は 601 であり，行動

り，ゴール状態に到達するか，ゴール状態に到達しな値を十分細かく離散化することが可能である．また出

いまま規定のステップ数が経過した時点で終了するも力値の範囲は [−20, 20] とし，スケール変換関数 g(u)のとした．ここで λ は静止状態の許容範囲を設定する

は式 (14) とした．

変数であり，第 k エピソードにおける値を次式のように設定した．

λ=⎧k−1)⎨10−(1+ 10000−1(k ≤ 10000)⎩10−2(k > 10000)

(13)

⎧
⎪
⎪
20
⎪
⎨

2
g(u) = 13
u − 300
13
⎪

⎪
⎪
⎩−20

(280 < u)(20 ≤ u ≤ 280)(14)

(u < 20)

これによって λ は第 1〜10000 エピソードの間に 0.1

もう一つの比較対象である RBFN は，ガウス関数

から 0.01 まで減少するため，課題は徐々に難化するのような放射状の基底関数の重み付き線形和によってことになる．

目的の関数を近似するものである．ここでは，基底関

報酬は，ゴール状態に到達した場合 +10 を，第 1数として 5 次元の状態行動空間（各次元は 0 から 1 のリンクの振れ角 |θ1 | が 5[deg] 未満の場合，及び角速範囲に正規化する）中に等間隔に配置したガウス関数度 θ˙1 ，θ˙2 の値が正規化範囲から外れた場合は −5 をを用いる．

与え，それ以外の場合は全て 0 とした．

4. 2 実験1

実験 1 では，学習性能及び計算コストについて従

このとき，基底関数の間隔が広すぎると，表現能力が不足して十分に価値関数を近似することができず，逆に基底関数の間隔が狭すぎると，基底関数の数が大293

電子情報通信学会論文誌 2015/2 Vol. J98–D No. 2

きくなり，計算コストが増大する．そこで本研究では，最終的に 10 ステップ以内にゴールに到達できる範囲

表 1 強化学習 1 ステップの平均計算時間
Table 1 Average computation time for a step of reinforcement learning.

で，なるべく計算コストが小さくなるような配置にすることにした．行動次元と状態次元で，あるいは四つの状態次元ごとに基底関数の配置間隔を変えることもSDNN-C
SDNN-DRBFN

行動数 |A| 計算時間 [ms]
601
28.4
3
25.5
21
919

考えられるが，ガウス関数の各次元方向の広がりも含めて最適化するのは大変な作業であり，事前知識なしに行うのは極めて困難であるため，全ての次元につい結合荷重を全て 0，しきい値を微小量にすると，初期て一様とした．

段階のわずかな学習によって多くの出力素子の値が同したがって，価値関数の近似は，j 番目の基底関数（ガウス関数）の中心座標を (ŝj , âj ) として，

時に変化してしまうため，学習が不安定になる．これを防ぐため，結合荷重はランダムな微小量とした上で，s − ŝj 2 + (a − âj )2
Q(s, a) =wj exp −j
σ2(15)

第 4 層素子の半分（奇数番目の素子）のしきい値を十分に大きな正の値で，残りの半分については十分小さな（絶対値が大きな）負の値に設定した．
実験は，関数近似器と行動数 |A| のみが異なる 3

によって行う．ここで，s − ŝj  は s と ŝj とのユー

条件，SDNN-C（|A| = 601），SDNN-D（|A| = 3），

クリッド距離，wj は j 番目の基底関数の荷重，σ はガ

RBFN（|A| = 21）について行った．

ウス関数の広がりを表すパラメータである．

強化学習のパラメータは，α = 0.5, γ = 0.9, ε = 0.1

また，2.1 で述べたように，Q 学習では Q(s, a) がとした．また，学習エピソードは 15000 エピソードま最大となる a を求める必要があり，そのための計算コで行い，学習エピソード 10 回ごとに，評価エピソー

ストが問題となる．RBFN において状態 s を固定しドを 1 回行うものとした．これを 1 実験試行として，て a を変化させる場合，式 (15) 右辺の a に依存しな

試行ごとのばらつきの影響を抑えるため，各条件につい部分を記憶しておくことによって計算量が若干節約

いて乱数系列を変更して 10 試行ずつの実験を行った．

できるが，それでも行動数にほぼ比例して計算量が増

4. 2. 2 結果

加する（3.3 の表記法で表すと，RBFN の計算コスト

ま ず 各 手 法 の 計 算 時 間 を 表 1 に 示 す．計 算 環 境は O (N p + N q) となる．ここで，N は各次元に配置

は ，Dell Precision T7400 ク アッド コ ア イ ン テ ル

された基底関数の個数である）．Q(s, a) は一般に多峰(R)Xeon(R) プロセッサ X5482(2 × 6MB L2 キャッ性関数なので，勾配法などを用いて効率的に求めるこシュ，3.20GHz，1600MHzFSB)，8GB クアッドチャ

とも困難である．

ネル DDR2-SDRAM メモリである．

そこで，ここでは，あらかじめ決めた数の行動値につ

この表より，SDNN-C と SDNN-D の計算コストは

いて順に Q 値を求めることにする．ただし，SDNN-C

同程度となることが分かる．一方，RBFN は行動数をと同じ行動数 |A| = 601 にすると，1 ステップの計算

21 に減らしても，計算時間は SDNN の 30 倍以上かに時間がかかりすぎて実験ができないため，やはり最かっている．実験では強化学習 1 ステップを 1000[ms]

終的に 10 ステップ以内にゴールに到達できる範囲で，としているので，実時間で制御を行うためには，これ行動数を減らすことにした．

以上基底関数の個数や行動数を増やすことはできない．

以上の方針に従って RBFN に関する予備実験を行っしたがって，性能をより高めることは困難である．

た結果，基底関数は各次元に 15 個，全体で 155 個の次に，評価エピソードの継続ステップ数，すなわち格子状に配置し，ガウス関数のパラメータは σ = 0.1，

ゴールに到達するまでのステップ数（到達しない場合

行動数は |A| = 21 に設定した．

は 50）の変化を図 3 に示す．グラフの横軸は学習エピ

いずれの関数近似器についても価値関数に関する事

ソード数，左の縦軸はその際の評価エピソードの継続

前知識は与えないものとし，初期状態において，全てステップ数であり，SDNN-C，SDNN-D，RBFN のの状態・行動に対して Q(s, a) ≡ 0 とした．RBFN のそれぞれについて，10 試行の中央値をプロットしてい場合，これは全ての基底関数の結合荷重を 0 とすればる．また，ゴール時の角速度の許容範囲を表す変数 λ実現できる．一方，SDNN-C 及び SDNN-D の場合，の値（右の縦軸）も黒い細線でプロットした．(a) は全294

論文／選択的不感化ニューラルネットを用いた連続状態行動空間における Q 学習

Fig. 3図 3 実験 1 の学習過程
Learning curves for experiment 1.

15000 エピソードについて示したグラフ，(b) はその計算量及びステップ数は増加する）．これは，行動値

最初の 500 エピソードの部分を拡大したものである．

を短時間で切り替えることによって，実質的に中間的学習の最も初期段階において，継続ステップ数が 10

な行動値を実現できるからだと考えられる．したがっ

以下の値に収束するまでのエピソード数に着目すると，て，実験 1 の結果から，SDNN-C を用いると制御周

SDNN-D と RBFN はともに 50 エピソード程度であ期を長くすることができるといえるが，SDNN-C をるのに対して，SDNN-C は 100 エピソード程度と約用いることが不可欠だとはいえない．

2 倍かかっている．しかし SDNN-D の行動数が 3 でそこで実験 2 では，制御周期を短くすることができあるのに対し，SDNN-C の行動数は 601，RBFN のない状況を考える．例えば，子どもが乗ったブランコ

行動数は 21 であり，それぞれ約 200 倍と 7 倍の状態

を横に立った大人が揺らす場合，ブランコが鉛直線を行動空間を探索していることになる．この差をふまえ通過する付近の一瞬しか力を加えられないため，そのると，SDNN-C の学習効率が低いとはいえない．

ときの力加減によって制御する．これと同様に，アクエピソードが進んでゴールの条件が厳しくなると，ロボットの振り上げ課題において，エージェントはリ

SDNN-D では継続ステップ数が急激に大きくなること

ンク 1 が鉛直線を通過した（θ1 = 0）タイミングでしがしばしばあった．これは，それまでに獲得した行動

か行動を選択できないという制約を設ける．ただし，系列ではゴールに到達することができなくなり，ゴー

アクチュエータは次の行動選択まで，選択されたトル

ルに到達可能な全く別の行動系列を獲得したためと考クを出力し続けるものとする．

えられる．一方，SDNN-C と RBFN は，継続ステッ

この場合，制御の間隔（1 ステップ）は，リンク 1

プ数が急激に変化することはなく，最終的なゴール条が鉛直線を通過してから次に通過するまでの時間に依件でも 10 ステップ以下で振り上げる行動が学習され存するので，一定ではない．また，行動選択の際の状ている．これは，行動を少しずつ変えることによって

態変数 s1 （θ1 を正規化したもの）は常に同じ値なの

ゴール条件の変化に対応できたことを示している．

で，状態空間は実質的に三次元となる．

最終的な継続ステップ数は，SDNN-D が 24，RBFN

1 回のエピソードは学習エピソード，評価エピソードが 8.5，SDNN-C が 5 であった．これは，SDNN-C がともに最長 1000 ステップとし，関数近似器に SDNN-

最もよい行動を獲得できたことを示している．いずれ

C（|A| = 601），SDNN-D（|A| = 3）及び RBFN

も学習がほぼ収束していることから，結果の差は主に（|A| = 601）を用いて実験を行った．ここで，SDNN-

行動数，すなわち行動値の離散化の細かさの差を反映

C と SDNN-D は実験 1 と同様の設定（ただし，入力

していると考えられる．

4. 3 実験2

変数は 3 個）とした．一方，RBFN は SDNN-C と行
動数及び計算コストを揃えた場合の性能について比較

実験 1 において，制御周期を十分短くすれば，行動を行うため，行動数を 601 とした上で，1 ステップの数の少ない SDNN-D でも短時間でゴールに到達する

計算時間が SDNN-C と揃うように基底関数の個数をことができる（ただし，行動選択の回数が増えるので，設定した．その上で学習性能が良くなるような σ の値295

電子情報通信学会論文誌 2015/2 Vol. J98–D No. 2てまとめる．その大部分は元々の SDNN から受け継いだものである．

SDNN の基本的な特徴として，まず関数の表現能
力と汎化能力との両立が挙げられる．SDNN は，並列パーセプトロン [14] にパターンコーディングと選択的不感化を導入したものであるから，並列パーセプトロ
ン同様に万能の表現能力（任意の連続関数を任意の精度で近似可能）をもつ．万能の表現能力は，必ずしもサンプルからの学習によって精度よく近似できること

Fig. 4図 4 実験 2 の学習過程
Learning curves for experiment 2.

を意味しないが，SDNN の場合，かなり複雑な関数であってもうまく学習できることが実験的に示されている [15]．この際，近似精度を上げるためには素子数をを設定した．具体的には，4 次元の状態行動空間中に4増やす必要があるが，いくら増やしても過剰適合によ

等間隔に 5 個の格子点をとり，各格子点を中心としる汎化誤差の増加は生じない．つまり，素子数を増やた σ = 0.2 のガウス関数を基底関数として構成した．

して表現能力を高めても，汎化能力が低下することは

なお，これ以外の設定は実験 1 と共通である．

ないという特徴がある．

実験結果を図 4 に示す．図 3 と同様に，10 回の実

また，SDNN は，どんな関数でも学習できるだけで験試行における各評価エピソードの継続ステップ数のなく，出力層への結合荷重しか修正しないため，誤差中央値をプロットした．図から明らかなように，3 行

逆伝搬学習法などに比べて，一般に学習の収束が早い．

動の SDNN-D の場合，最後まで 1 度も振り上げに成

また，学習則が単純で学習のパラメータが少ないため，

功していない．このことから，この振り上げ課題は離学習の際の計算量が少なく，パラメータ依存性も低い．

散行動では解けない，あるいは解くことが非常に困難な課題であるといえる．

更に，SDNN には，新たなサンプルを追加学習してもカタストロフィック干渉が生じないことが経験的にこれに対して SDNN-C の場合，1000〜2000 エピ

知られている [11]．実際，本実験でも過去のサンプルソードでいったん収束した後，7500 エピソード前後まの再学習は一切行っていない．このことは，オンライ

で約 10 ステップで振り上げに成功している．その後，ン学習を行う上での利点の一つである．

ゴール条件が厳しくなるに従い，継続ステップ数が上

そのほか，SDNN の大きな特徴として，入力変数の昇しているが，ほぼ 200 ステップ以内にはゴールして数 l の増加に対して，計算コストが l2 のオーダーでしいることが分かる．なお，10 試行中の 2 試行においか増えないことが挙げられる．RBFN のように局所的て，10000〜15000 エピソードの間に 10 ステップ以下な基底関数を用いる方法では，一般に計算コストが lでゴールする行動を発見していた．

の指数オーダーで増加するのと比べると，これは大きRBFN も SDNN-C と同様に 1000〜2000 エピソー

な利点である．

ドでいったん収束し，7500 エピソード前後から継続ス

これに加えて，冗長次元の影響を受けにくいというテップ数が上昇しているが，継続ステップ数は全体的性質がある．新保らは，SDNN-D の入力に，四つのに SDNN-C よりも長い．また SDNN-C と比べて継状態変数以外に無関係な変数を幾つか追加する実験を

続ステップ数のばらつきが大きいが，これは実験試行

行い，学習効率がわずかしか低下しないことを示し

間でのばらつきが大きいだけでなく，一つの実験試行

た [11]．SDNN-C の場合も同様であるが，冗長だが意の中でも継続ステップ数が収束していないためである．

味がありそうな変数，例えば l1 sin θ1 + l2 sin(θ1 + θ2 )行動数は SDNN-C と共通であるから，この結果は関（アクロボットの足先の高さ）や (θ˙1 )2 + (θ˙2 )2 （近似数近似器の表現能力が不十分だったためと考えられる．

的な運動エネルギー）を追加する実験を行ったところ，

5. 考

察

学習効率が若干高まるという結果を得ている [16]．
このことは，計算コストの増加があまり大きくない

5. 1 提案手法の特徴

こととあわせて，状態空間の設計をかなり容易にする．

以下に，本研究で提案した SDNN-C の特徴についすなわち，事前知識（本実験の場合，アクロボットの296

論文／選択的不感化ニューラルネットを用いた連続状態行動空間における Q 学習

ダイナミックスに関する知識）が十分になくても，関れる．そのうち主要と思われるものについて，提案手係のありそうな変数やセンサ出力を全て入力変数とす法の特徴を踏まえつつ，特徴や問題点を検討する．

れば強化学習を適用できると考えられる．

Gaskett ら [17] は，各状態において幾つかの行動の以上は全て SDNN-C と SDNN-D に共通の性質でQ 値を MLP によって学習し，それらを代表点としてあるが，両者には不連続な価値関数の表現能力に関し

ワイヤーフィッティングを行うことによって，その他て違いがある．

の行動に関する Q 値を近似する手法を提案した．この

価値関数は，全体として連続であっても，部分的に手法は，MLP の出力によって行動値の代表点を適応

不連続となることがしばしばある．アクロボットの振的に変化させ，その行動に関する Q 値について MLP

り上げ課題の場合でいえば，現在状態がゴール領域かが学習するという複雑なアルゴリズムを用いている．

どうかで報酬が不連続的に変わるため，その境界で価

また，カタストロフィック干渉を防ぐために，過去の値が不連続になるし，ゴールの 1 ステップ前の状態にサンプルを全て保存しておいて適宜再学習しなければおいても不連続な境界が生じるはずである．RBFN のならないし，中間層の素子数のほか多数のパラメータように連続な基底関数を用いた場合，こうした境界付の設定にも手間がかかる．更に，原理的に価値の不連近での近似誤差が大きくなるため，実験 2 において続性は表現できないし，中間層の素子数をあまり増やゴール条件が厳しいときの行動があまりうまく学習ですと過剰適合が生じるおそれがあるので，不連続点付きなかったと考えられる．

近の誤差を減らすことも困難である．

このような不連続性のうち，状態次元（状態が少し

Millán ら [18] は，状態空間を適応的に離散化した

変化したときに価値が不連続的に変化すること）に関上で，幾つかの行動に関する Q 値のベクトルを各点にしては，SDNN-C と SDNN-D はともに表現可能であ

おいて求め，そこから Q 値が最大となる行動値を推定る．これは，第 4 層の各素子が 0 または 1 の値をとるする手法を提案した．この手法は，まず状態空間を局

しきい値素子であることと，状態変数のコードパター

所領域に分割するため，局所的近似手法と同様の問題

ン同士で選択的不感化を行うためであり，野中ら [15]がある．また，決められた数の離散行動についてのみの実験結果が示すように，実際にサンプルから不連続

Q 値を学習するため，離散化が細かいと計算コストがな境界を学習することもできる．

増大し，離散化が粗いと行動の違いによる価値の違い

しかしながら，SDNN-C の場合，行動次元に関するを十分に表現できない．特に，一定の離散行動の中か

不連続性は表現できない．つまり，同じ状態で行動値

らまず Q 値が最大となる行動を選び，その近傍の値にが微妙に変わると価値が不連続的に変化する場合，境基づいて最大値を推定するため，Q 値のピークが鋭い

界付近での近似誤差が大きくなってしまう．この誤差

課題だと適切な行動を全く獲得できない可能性がある．

を小さくするには，近い行動に対するコードパターン

パラメータの数も多く，使いやすい方法とは言い難い．

間の相関を下げる必要があるが，そうすると必要な素木村 [19] は，状態空間と行動空間にそれぞれタイル

子数が増えるので計算コストは増加する．
一方，SDNN-D は，行動ごとに違う近似器を用いる（矩形状の局所領域）をランダムに配置し，それらを合成することによって価値関数を近似する手法を提案

ので，そのような問題はない．ただし，微妙な行動のした．これはタイルコーディング（CMAC とも呼ぶ）

違いを表現しようとすると，それだけ行動を細かく離の一種とみなせるが，一般にタイルコーディングでは散化する必要があるため，多大な計算コストがかかる．

タイルの数や形状が関数近似能力に大きく影響する．

また，一般に行動の違いは次の状態の違いに反映され

特に，事前知識がなく完全にランダムにタイルを配置るため，行動のわずかな差による価値の違いが表現でする場合，複雑な価値関数を十分な精度で近似するた

きなくても，SDNN-C のように状態の差による価値

めには非常に多くのタイルが必要である．また，行動の違いが表現できれば十分な場合も多いと思われる．

空間にもタイルを配置するため，Q 値が最大になる行

5. 2 既存手法との比較動を求める際の計算コストが大きい（この問題に対し状態空間だけでなく行動空間も連続な場合の Q 学て木村は Gibbs サンプリングを用いる方法を提案して習の先行研究は，状態空間のみ連続な場合に比べて少いるが，Gibbs サンプリング自体は関数近似手法とはない．特に，理論的に検討するだけでなく，関数近似

独立であり，SDNN にも適用可能である）．

手法を用いて実際に何らかの課題に適用した例は限ら

Pazis と Parr [20] は，状態価値関数及び行動価値関297

電子情報通信学会論文誌 2015/2 Vol. J98–D No. 2

数とは異なる価値関数（H 関数）を提案し，これを用問題がある上に，actor と critic の学習が相互に依存いると，行動数が非常に多くても，価値が最大となるしているので，一般に Q 学習などの価値関数のみの方

行動を少ない計算で求められることを示した．この手法と比べると学習の収束が遅い．また，学習に影響を法は，最適行動を求めるのに適した H 関数を線形計画与えるパラメータが増えるため，パラメータ設定に手法によって構成するため，環境のモデル（任意の状態間がかかるという問題もある

で任意の行動をとったとき，どの状態に遷移するか）

本研究においても，当初 actor-critic との比較実験が既知でなければならないが，モデルの代わりに状態を試みたが，実験した範囲では全て学習に失敗した．

遷移のサンプルを使うことによって価値関数に関する

ただし，actor の設計やパラメータの設定が不適切だっ線形計画問題を解く別の手法と組み合わせることもでたため失敗した可能性も十分にあるため，手法自体のきる．ただしこの場合には，基底関数の重み付き和に問題とはいえない．しかしながら，少なくとも使いやよって価値関数を近似することとなり，そのほかの局

すさの点では SDNN-C の方が優れていると思われる．

所的近似手法と同様の問題を抱えることになると考えられる．

6. む す び

Carden [21] は，Nagraya-Watson カーネル回帰と選択的不感化ニューラルネット（SDNN）の出力層いう方法で価値関数を近似し，あるアルゴリズムにに，多数の行動に関する Q 値を同時に分散表現するこ

従って学習を行ったとき，確率 1 で収束する（最適価とによって，行動価値関数を効率的に近似する方法を値関数との誤差を任意に小さくできる）ことを理論的提案した．また，制約条件を課して学習を難しくしたに示した．しかし，この近似手法は，理論的には扱い

アクロボットの振り上げ課題についてシミュレーショ

やすいが，決して実用的な方法ではない．例えば，スン実験を行い，提案手法の有効性を示した．

テップごとに新たな局所カーネルを生成するため，ス

本手法は，同様に SDNN を用いた新保らの手法とテップ数とともに計算コストがどんどん増加してしま

比べて，学習効率の低下や計算コストの増加をほとんう．この論文では，計算コストの増加を抑えるためのど生じることなく，行動値を十分細かく離散化するこ

補助的な手法として，ある一定数の局所カーネルを用とができる．また，RBFN のような局所的近似手法といる方法の検討もなされているが，十分な近似性能を比べても，状態空間が高次元の場合にはるかに少ない

もつよう設定するためには試行錯誤が必要となる．マ計算コストで済む．

ウンテンカー課題に適用した実験例が示されているが，また，SDNN はパラメータ依存性が小さいなど，実

この課題は状態空間が二次元であり，また最適行動は用上の利点を多く備える．Q 学習のアルゴリズムの単最大または最小の行動値を常にとるものになる，かな

純さとあわせて，提案手法は連続な状態行動空間におり簡単な課題である．にもかかわらず，安定的にゴー

ける強化学習の手法として既存のものより使いやすく，ルに到達する行動が獲得できるまでには相当な時間が強化学習の適用範囲を拡大するものだといえる．

かかり，また獲得された行動は最適行動とはかなり離今後の課題として，まず本手法をより多くの課題にれたものであった．これは，連続性など理論上の仮定

適用し，どのような場合に有効なのか明らかにするこが，実際には満たされないからだと考えられる．

とが挙げられる．また，行動空間が多次元の場合への以上のように，連続状態行動空間における Q 学習の拡張は重要な課題である．原理的には行動次元が増え

既存手法は，SDNN-C に比べると，いずれも実用上ても現在の方法をほぼそのまま適用できるが，計算コの問題点が多い．学習の性能や計算コストのほか，適ストが大きく増加してしまう．そのため，関数近似器用できる課題の範囲，パラメータ設定の容易さといっの改良とは別に，行動選択に Gibbs サンプリングをた使いやすさを総合的に考慮すると，SDNN-C は既用いる [19], [22] 手法を併用するなどして計算コストを存手法よりも明らかに優れているといえよう．

Q 学習以外で，状態・行動がともに連続な場合に適用可能な強化学習として，actor-critic 法 [1] がある．
この方法は，actor によって行動方策が明示的に表現されるため，行動選択の際の計算コストの問題は生じない．しかし，actor をどのように設計するかという298

抑える必要があると思われる．そのほか，actor-critic
法など Q 学習以外の方法との比較実験についても，今後実施したいと考えている．
謝辞

本研究は，JSPS 科研費（課題番号 22300079，

24760308，26590173）の支援を受けた．

論文／選択的不感化ニューラルネットを用いた連続状態行動空間における Q 学習

文

献

[17]

C. Gaskett, D. Wettergreen, and A. Zelinsky, “Q-[1]

R.S. Sutton and A.G. Barto, Reinforcement Learn-

learning in continuous state and action spaces,” Proc.

ing: An Introduction, The MIT Press, 1998.

the 12th Australian Joint Conf. on Articial Intelli-[2]

C.J.C.H. Watkins, “Learning from delayed rewards,”
Ph.D. thesis, University of Cambridge, 1989.

[3]

C.J.C.H. Watkins and P. Dayan, “Q–learning,” Ma-[4]

G. Konidaris, S. Osentoski, and P. Thomas, “Value

gence, pp.417–428, Sydney, Australia, Dec. 1999.
[18]

Dedieu,[20]

元，“ランダムタイリングと Gibbs-sampling を用

for large action sets,” Proc. the International Conf.
on Machine Learning, 2011.
[21]

S. Carden, “Convergence of a Q-learning variant forcontinuous states and actions,” J. Artiﬁcial Intelli-for Artiﬁcial Intelligence, pp.356–361, 2006.

[7]

E.

木村

A. Geramifard, M. Bowling, and R.S. Sutton, “In-gence Research, vol.49, pp.705–731, 2014.

G. Taylor and R. Parr, “Kernelized value function
approximation for reinforcement learning,” Proc. theandいた多次元状態-行動空間における強化学習，” 計測自動制
御学会論文集，vol.42, no.12, pp.1336–1343, 2006.
J. Pazis and R. Parr, “Generalized value functions

cremental least-square temporal diﬀerence learning,”[6]

Posenato,

vol.49, no.2–3, pp.247–265, 2002.

ing the Fourier basis,” Proc. the Twenty-Fifth Conf.

Proc. the twenty ﬁrst Conf. on American Association

D.

[19]

function approximation in reinforcement learning us-[5]

Millán,“Continuous-action Q-learning,” Machine Learning,chine Learning, vol.8, pp.279–292, 1992.

on Artiﬁcial Intelligence, pp.380–385, 2011.

J.D.R.

[22]

B. Sallans and G.E. Hinton, “Reinforcement learning

26th Annual International Conf. on Machine Learn-with factored states and actions,” J. Machine Learn-ing, pp.1017–1024, 2009.

ing Research, vol.5, pp.1063–1088, 2004.

B. Irie and S. Miyake, “Capabilities of three-layered
perceptrons,” Proc. IEEE International Conf. on（平成 26 年 5 月 14 日受付，8 月 23 日再受付，
10 月 9 日早期公開）

Neural Networks, vol.1, pp.641–648, 1988.
[8]

K. Funahashi, “On the approximate realization ofcontinuous mappings by neural networks,” Neural
Networks, vol.2, pp.183–192, 1989.

[9]

小林 高彰

M. McCloskey and N. Cohen, “Catastrophic interference in connectionist networks: The sequential learn-

平 22 筑波大・工学システム学類卒．現在，同大大学院博士課程システム情報工学研究科在学中．神経回路モデルの研究に従事．

ing problem,” in The Psychology of Learning andMotivation, ed. G.H. Bower, vol.24, pp.109–164, Academic Press, NY, 1989.
[10]

J. Park and I.W. Sandberg, “Universal approximation using radial-basis-function networks,” NeuralComputation, vol.3, no.2, pp.246–257, 1991.

[11]

新保智之，山根 健，田中文英，森田昌彦，“選択的不感”信化ニューラルネットを用いた強化学習の価値関数近似，学論（D）， vol.J93-D, no.6, pp.837–847, June 2010.

[12]

森田昌彦，村田和彦，諸上茂光，末光厚夫，“選択的不感”信化法を適用した層状ニューラルネットの情報統合能力，学論（D-II），vol.J87-D-II, no.12, pp.2242–2252, Dec.

[13]

M.W. Spong, “The swing up control problem for the

澁谷 長史

（正員）

平 17 横浜国立大・工・電子情報工学科飛び級のため退学．平 22 同大学院工学府博
士課程後期修了．平 19 より日本学術振興会
特別研究員 DC1．平 22 より筑波大学大学
院システム情報工学研究科助教．強化学習2004.

アルゴリズムの研究に従事．博士（工学）．

acrobot,” IEEE Control Systems, vol.15, no.1, pp.49–
55, 1995.
[14]

森田 昌彦

P. Auer, H. Burgsteiner, and W. Maass, “A learn-（正員）

ing rule for very simple universal approximators con-

昭 61 東大・工・計数卒．平 3 同大大学

sisting of a single layer of perceptrons,” Neural Net-

院博士課程了．日本学術振興会特別研究員，
東京大学工学部助手を経て，平 4 筑波大学
電子・情報工学系講師．同大機能工学系助教授などを経て，平 19 より同大大学院シworks, vol.21, no.5, pp.786–795, June 2008.
[15]

野中和明，田中文英，森田昌彦，“階層型ニューラルネットの 2 変数関数近似能力の比較，” 信学論（D），vol.J94-D,[16]

T. Kobayashi, T. Shibuya, and M. Morita, “Q-

no.12, pp.2114–2125, Dec. 2011.

dant dimensions by using a selective desensitization

ステム情報工学研究科教授．脳の情報処理機構及び神経回路網による情報処理の研究に従事．平 5 日本神経回路学会研究費，平 6 同学会論文賞，平 11 日本心理学会研neural network,” Proc. SCIS & ISIS 2014, pp.801–

究奨励賞受賞．

learning in continuous state-action space with redun-

806, Kitakyushu, Japan, Dec. 2014.

299