情報爆発論文特集

論 文

選択的不感化ニューラルネットを用いた強化学習の価値関数近似
新保 智之† a)山根健†

田中 文英†

森田 昌彦† b)

Value Function Approximation in Reinforcement Learning Using Selective
Desensitization Neural Networks
Tomoyuki SHIMBO†a) , Ken YAMANE† , Fumihide TANAKA† ,and Masahiko MORITA†b)

あらまし 連続状態空間で強化学習を行う場合，価値関数を少ないサンプルで精度良く近似することが重要であるが，従来用いられてきた局所的近似手法は，近似精度と学習効率の両立が困難である上に，状態空間の次元が高くなると学習時間や計算コストが爆発的に増大するという問題を抱えている．本研究では，選択的不感化
ニューラルネットを用いて関数近似器を構成するとともに，これによって価値関数を近似することでこの問題が大きく改善できることを示す．アクロボットの振り上げ課題を用いた実験の結果，本手法は学習効率が近似精度の割に高く，冗長変数を加えてもほとんど低下しない，状態空間の次元が増えても計算コストの爆発的増加が生じない，オンライン学習が可能など，実空間における強化学習に適した性質を備えることが分かった．この結果は，膨大な情報の中から必要な情報だけを抽出する情報処理技術の開発にもつながると考えられる．
キーワード

SDNN，関数近似器，Q 学習，冗長次元，アクロボット

1. ま え が きに適応する学習の枠組みとして，強化学習 [1] がある．
しかし，現在の強化学習システムは，一般に学習効率

人間を含む動物は，もともと大量かつ多様な情報がが悪く，状態空間が広いと非常に長い学習時間を要す

存在する現実世界において，常にほぼ適切な行動を取る．そのため，状態を離散化して状態数を減らすか，ることができる．これは，環境に含まれる膨大な情報

状態空間の次元（状態変数の数）を非常に低く抑えるの中から，その時々において必要な情報を取捨選択し必要があった．つまり，動物の行動学習のモデルといているためだと考えられる．一方，ロボットの行動制

いながら，実空間で生きる動物との間には非常に大き御を行う場合，現状では情報あるいは環境変数の取捨な差がある．強化学習では，各状態や行動の価値を正

選択を事前に操作者の手で行わざるを得ない．そのた

しく評価することが重要であるが，状態空間が連続でめ，複雑な環境や未知の環境に適応可能な自律ロボッ

ある場合，行動主体（エージェント）は有限個の状態トを実現することは非常に困難である．このように，しか経験できないため，多くの未経験の状態に関する

大量で多様な情報から必要とする情報を効率的に取り価値は，経験した状態の価値から推定する必要がある．

出すことは，実空間における行動制御にとっても大きこれは，有限の点における関数値（サンプル）から未な課題である．逆に，実空間における行動制御の研究

知の点における関数値を近似する一種の関数近似問題

により，爆発する情報を効率的に扱うための重要な手とみなすことができる．この関数近似の問題は，価値掛りが得られる可能性がある．

関数の更新則（学習アルゴリズム）とはまた別の大き動物の行動学習をモデル化し，環境に対して自律的な問題である．

†アルゴリズムに関する改良が図られてきた．しかし，これまで，強化学習を効率化するために，主に学習
筑波大学大学院システム情報工学研究科，つくば市
Graduate School of Systems and Information Engineering,

このような改良は，一般に計算の複雑化や必要なメモ

University of Tsukuba, Tsukuba-shi, 305–8573 Japan

リ量の増大を伴う．また，今のところ動物がそうしたa) E-mail: shin@bcl.esys.tsukuba.ac.jpb) E-mail: mor@bcl.esys.tsukuba.ac.jp

電子情報通信学会論文誌

複雑な学習アルゴリズムを用いているという明確な証
c （社）電子情報通信学会 2010
D Vol. J93–D No. 6 pp. 837–847 

837電子情報通信学会論文誌 2010/6 Vol. J93–D No. 6

拠はない．我々は，上述した動物との大きな差は，学伝）によって情報を選別し次元を削減するのにも限界

習アルゴリズムの違いによるものではなく，価値関数がある．したがって，動物が用いている関数近似器は，の近似器の違いに起因すると考えている．

入力がどれだけ高次元で冗長であっても，出力値を効

既存の関数近似の手法には，大きく分けて線形和モ
デルなどの大域的近似手法と，テーブル参照法やタ率的に近似でき，計算に要する時間や資源の爆発も抑えられるようなものと考えられる．

イルコーディング [1]，放射状基底関数ネットワーク

このような性質をもつ近似器はこれまで知られてい（RBFN）[1], [2] のような局所的近似手法とがある．前ないが，脳の情報処理をモデル化したニューラルネッ

者は効率的な近似が期待できるが，関数形がある程度

トによって工学的に実現できるかもしれないと考える

分かっていないと適用できない．一方後者は，空間ののは自然であろう．実際，かつて多層パーセプトロン

分割数または局所的基底関数の数を増やせば，どんなが大いに期待された時期があったが，その一つの理由関数でも精度良く近似できるが，必要なメモリ量が次は，任意の連続関数を任意の精度で近似できることが元に対して指数的に増大する上，汎化が局所的にしか理論的に示されたことにある [8]．しかし，多層パーセ

生じないため，非常に多数のサンプルが必要である．

プトロンによる関数近似には，学習の収束性が悪い，また，ニューラルネットは一概にどちらとも分類でき

過剰適合によって大きな汎化誤差が生じる，サンプル

ないが，単層パーセプトロンは前者に近く，多層パーの追加学習が難しい（全サンプルについて再学習が必

セプトロンは後者に近い．

要）といった数々の問題がある．しかも，大域的な汎通常，強化学習の価値関数は，事前に関数形が分か化を期待しているのに，ごく少数の素子（ニューロン）らない上に，非線形性が非常に強く，部分的に不連続を用いてうまく近似できる関数の場合を除き，実際になこともある．そのため，一般に価値関数近似に大域は局所的な汎化しか生じないなど，メリットがあまり的手法は適さない．ニューラルネットを適用した例はないことが経験的に知られるようになり，次第に使わいくつかあるが [3]〜[5]，やはり一般的には適さない

れることも少なくなってきた．

といわれている [6], [7]．結果的に，これまで強化学習

近年我々は，多層パーセプトロンを 2 変数以上の関で用いられてきた関数近似器は，ほとんどが局所的手数の近似に適用した場合，入力層に分散表現を用いた法に基づく [1]．そしてこのことは，状態空間の次元をとしても大域的な汎化は全く生じないこと，その原因十分に低くしなければならないことを意味する．

が 1 対多対応による荷重の平均化にあること，そししかしながら，状態空間を低次元化するのはそう容て選択的不感化（Selective Desensitization）という易ではない．統計的手法などにより次元を自動的に圧手法によってこの問題が解決されることを明らかにし縮する方法は，一般に多くのサンプルや多数回の繰返た [9]．この選択的不感化法は，誤差逆伝搬（BP）法のし計算が必要であるため，強化学習を実行しながら行ような複雑な計算を必要としないだけでなく，脳内でうことは困難である．そのため，これまで強化学習を実際に用いられている可能性が示されている [10], [11]．

実際の課題に適用する際には，あらかじめ人間ができこれらのことから，選択的不感化法を適用したニュー

るだけ冗長性がないよう状態空間を設計することが事

ラルネットと分散表現を組み合わせることによって，実上不可欠であった．後述のアクロボットの振り上げ動物が用いているような関数近似器が構成できる可能課題を例にとるならば，各関節の角度と角速度を状態性があると考えられる．

変数として与えるが，重心の位置や角加速度は冗長な

そこで本研究では，選択的不感化ニューラルネット

情報なので状態変数に加えない場合が多く，当然時刻（SDNN）によって価値関数の近似器を構成し，そのや気温など無関係の情報も加えない．しかし，よく考効果を実験的に検証する．具体的には，アクロボット

えれば，これはシステムに非常に大きな事前知識を与の振り上げ課題 [1] に適用することによって，冗長なえていることになる．

状態変数を追加したときの学習効率や計算量の変化にこれに対して，実世界は極めて高次元で冗長性の高い状態空間であるにもかかわらず，動物はどの情報（状態変数）が重要でどれが冗長なのか，だれから教

ついて調べる．

2. SDNN による関数近似

わるわけでもない．また，そもそも何が重要な情報である神経素子の出力を，入力または内部電位に関係あるかは状況によって変化するので，先天的知識（遺なく中立値（出力の期待値）にすることを「不感化」

838

論文／選択的不感化ニューラルネットを用いた強化学習の価値関数近似という．ここでは，±1 の 2 値を偏りなく出力するような素子を考え，不感化された場合には 0 を出力す
るものとする．また，ある素子群のうち不感化するものを別の情報（修飾パターン）に応じて決め，これによって 2 種類の情報を統合する手法を「選択的不感化法」という．
具 体 的 に は ，2 種 類 の n 次 元 の 2 値 パ タ ー ン

S = (s1 , . . . , sn ) 及び C = (c1 , . . . , cn ) があるとき，
S を活動パターンとする素子群のうち約半数の素子をパターン C に応じて選んで不感化する．その結果，素子群の出力パターンは約半数が 0 で残りが ±1 の 3 値パターンとなるが，このパターンのことを「C によって修飾された S 」といい，S(C) で表す．同様に，S に
よって修飾された C を考えることもできる．
このような選択的不感化による修飾を，層状のニュー
ラルネットに適用したものが SDNN である．SDNN
によって 2 変数の関数を近似する方法は既に提案されており，その有効性も示されている [9] が，2 変数以下の関数にしか使えなければあまり有用ではない．そこで本研究では，まずこれを拡張して m 変数の関数近似器を構成した．この近似器は，図 1 に示すような 3層構造をしている．
第 1 層は入力層であり，それぞれ n 個の素子からなる m 個の素子群で構成される．μ 番目の素子群は，
入力変数 xμ の値を ±1 がほぼ同数の 2 値パターン

S μ = (sμ1 , . . . , sμn ) によって分散表現する．このよう

図 1 SDNN による m 変数関数近似器の構成
Fig. 1 m-values function approximator using a selective desensitization neural network.

なパターンのことをコードパターンと呼ぶ．例えば入力変数が −1 から 1 の連続値をとり，200 個のコードを表すため，C 1 = C 9 とする．次に，C ν と C ν+1 のパターンがある場合，各パターンは 0.01 の刻み幅で間（ν = 1, . . . , 8）をそれぞれ間を 45 個のパターンで量子化された区間を表現する．

補間し，計 360 個のコードパターンを得る．

ここで重要なのは，近い区間ほど類似した（大きな第 2 層（中間層）は，それぞれ n 個の素子からなる相関をもつ）コードパターンによって表現することでm(m − 1) 個の素子群で構成される．各素子群は，入ある．すなわち，変数の値が連続的に変化すると，そ

力層のある素子群の出力パターン S μ をそのまま受けれに伴ってコードパターンが徐々に変化し，もとのパ取るとともに，別の素子群の出力パターン S ν によるターンとの相関が 1 から 0 まで連続的に減少していく

修飾を受ける．すなわち，中間層の出力パターンは，ようにする（相関が負にはならない方がよい）．このS μ (S ν ) をすべての μ，ν の組合せ（ただし ν = μ）にようなコードパターンを用いることによって汎化が生ついて並べたものである．

じるが，コードパターンの数すなわち表現の分解能に比例した数の素子が必要となる．

ここで，各素子群の i 番目の素子は，修飾パターン

S ν の成分 sνi をランダムな順序で並べ替え，その i 番

具体的に，次章の実験では次のように作成したコー

目の成分 sνσ(i) が −1 のときに不感化されるものとする

ドパターンを用いている．まず，200 次元の 2 値パ（σ は順列の置換を表す）．これは，単純に i 番目の成ターンをランダムに 9 個作成して C 1 , C 2 . . . , C 9 とす

分同士を対応づけると，中間素子群の活動パターンがる．ただし，変数 x1 及び x2 （θ1 及び θ2 を正規化し偏ったり，本来異なるべきパターン間に高い相関が生たもの）に関しては，−π [rad] と π [rad] は同じ状態

じたりして，性能が大きく低下するおそれがあるから
839電子情報通信学会論文誌 2010/6 Vol. J93–D No. 6

である．特に，異なる変数に対して同じコードパター
ンを使う場合，このような操作は不可欠である（置換σ も μ 及び ν によって変えた方がよい）．式で表すな
らば，S μ (S ν ) に対応する素子群の i 番目の素子の出力 xμ,ν
は，
i

xμ,ν
=
i

1 + sνσ(i)
2

sμ
i

(1)

となる．
第 3 層は出力層であり，出力変数 y の値を表現する

n 個の素子からなる（出力変数が複数個ある場合は，複数の素子群で構成される）．各出力素子は中間層のすべての素子と結合しており，i 番目の素子の出力 yi
は⎛yi = φ ⎝n ⎞μ,ν μ,ν
wij
xj − hi ⎠図 2 アクロボット
Fig. 2 The acrobot.

(2)μ,ν(=μ) j=1μ,νで与えられる．ここで wij
は中間素子からの結合荷重，φ(u) は u > 0 のとき 1 それ以外では 0 をとる関数，hi は i 番目の出力素子のしきい値である．n 個の出力素子の出力値の合計 y =iyi がこの関数近似器の出力であり，これを適当にスケール変換することによって目的の関数の近似値が得られる．
中間層から出力層への結合荷重は，一種の誤り訂正
学習によって更新する．具体的には，もし y が目標値ŷ より大きければ，1 を出力している出力素子のうち
y − ŷ 個（なるべく内部電位の小さい素子を選ぶとよ

図 3 アクロボットの振り上げ課題
Fig. 3 The swing-up task of the acrobot.

い）について 0 を出力するよう修正し，もし y が ŷ より小さければ，0 を出力している素子について同様に修正する．式で表すと，節のロボットであり，人間の鉄棒運動をモデル化したものである．アクチュエータが第 2 関節にのみ存在す

μ,ν
μ,ν
wij
← wij
+ c(ŷi − yi )xμ,ν
j(3)

hi ← hi − c(ŷi − yi )(4)る劣駆動系であり，非線形性も強いため，制御は比較的難しい．
学習の目的は，両リンクがつり下がった静止状態かとなる．次章の実験では，学習係数 c を小さめに設定ら出発し，リンク 2 の先端がなるべく早く一定の高さした上で，|ŷ − y| が 0 でない場合に 1 回のみ結合荷まで振り上がるよう，アクチュエータを制御すること

重の更新を行っている．

である（図 3）．ゴールへ到達するまでのアクロボット

3. 実 験 方 法の動き（関節の時間変化）の例を図 4 に示す．

3. 1 実 験 課 題

例 [1] に合わせ，m1 = m2 = 1 [kg]，l1 = l2 = 1 [m]，強化学習の性能を評価するためのベンチマークとし

I1 = I2 = 1 [kg · m2 ] とした．ここで，m1 ，m2 は各

アクロボットの物理パラメータは Sutton の実験て，アクロボットの振り上げ課題を用いる．この課題

リンクの質量，l1 ，l2 は長さ，I1 ，I2 は慣性モーメン

は，連続状態空間における強化学習の性能評価にしばトである．

しば用いられている [3], [4], [6], [12]．
アクロボット [13] とは，図 2 に示す 2 リンク 2 関840

ア ク ロ ボット の 状 態 は ，各 関 節 の 角 度 及 び 角
速 度 θ1 ，θ2 ，θ˙1 ，θ˙2 に よって 完 全 に 規 定 さ れ る ．

論文／選択的不感化ニューラルネットを用いた強化学習の価値関数近似

Fig. 4図 4 関節角度の時間変化の例
Example of the transition of joint-angle values.
Fig. 5図 5 制御と学習の全体像
The architecture of control and learning.

θ1 , θ2 ∈ [−π, π] [rad]，θ˙1 ∈ [−3π, 3π] [rad/s]，θ˙2 ∈[−5π, 5π] [rad/s] を状態空間に対する機械的な制約条
件とし，その範囲で [−1, 1] に正規化したものをそれければより Q 値が高い行動を優先する手法である．ア

ぞれ変数 x ，x ，x ，x とした．

クロボットの振り上げ課題では，より早いタスク成功

1

2

3

4

選択できる行動は R または L の 2 種類（関節 2 にには正しい行動を連続して選択する必要があるため，与えるトルク τ が −1 または 1 [Nm]），制御の時間刻

環境の積極的な探索は学習初期にとどめることとする．

みは 0.1 [s] とした．また，報酬としてリンク 2 の先端

そのため，ε は徐々に減少し，一定試行後は常に Q 値がリンク 1 の支点より 1 [m] 上まで振り上がったときが高い行動を優先するように設定した．具体的には，+10 を与えるほか，リンク 1 の振れ幅 |θ1 | が 1 度未

ε = 0.1 から始め，エピソードが終了するたびに 0.01満の場合に −5 を与え，それ以外の報酬は一切与えなずつ減少させ，10 エピソード終了時に ε = 0 となる

い．なお，ゴールに到達して正の報酬を得るか，ゴーように設定した．

ルに達しないまま 50 秒が経過した時点で 1 回の試行

本研究では，実ロボットにおける制御を想定して，オンライン学習を行うものとする．すなわち，環境を（エピソード）が終了するものとした．

3. 2 学 習 方 法

観測し，実際に行動して Q(st , at ) の値を更新すると学習は，最も基本的かつ代表的な強化学習アルゴ

いう 1 ステップごとに，関数近似器の出力と更新後のリズムの一つである Q-learning [14] を用いて行った．

Q 値との誤差が小さくなるよう近似器の修正を行う．

これは，ある状態 s における行動 a の評価値（Q 値）

修正後の近似器は，次のステップにおいて直ちに Q 値を示す行動価値関数 Q(s, a) を逐次的に求めるというの推定に利用する．

ものである．具体的には，時刻 t において状態 st の制御と学習の流れを図 5 にまとめた．なお，図中のエージェントが行動 at を行った結果，報酬 r を得て

QR ，QL は，右行動及び左行動に関する関数近似器の状態 st+1 に遷移したとき，次式に従って関数値を更出力を表す．

新する．

3. 3 実 験 条 件
関数近似器として，前章で述べた SDNN のほか，局Q(st , at ) ← (1 − α)Q(st , at )+ α[r + γ max Q(st+1 , at+1 )]at+1

所的近似手法に基づく代表的な近似器である RBFN

(5)

ここで，α は学習率，γ は割引率と呼ばれるパラメー
タであり，実験では α = 0.5，γ = 0.9 とした．
行動選択法としては ε-greedy 法 [1] を用いた．これは，ε の確率でランダムに行動選択を行い，そうでなを用いる．これは，放射状の基底関数の線形結合によって関数を近似するもので，ここでは m 次元の状態
空間中に等間隔に 11m 個の格子点をとり，各点を中心とする σ = 0.2 のガウス関数を基底関数として配置した．また，SDNN のパラメータは n = 200，n = 600，

c = 0.05 とし，出力素子の出力の合計 y =



i

yi か

841

電子情報通信学会論文誌 2010/6 Vol. J93–D No. 6

ら Q 値への変換には Q = (y − 300)/30 という式を用いた．これらは，何度か予備実験を行って決定したものである．
なお，学習開始前の初期状態において Q(s, a) ≡ 0，
すなわち全状態について Q 値を 0 とするが，RBFNの場合，そうするには単に重み係数の初期値をすべて0 に設定すればよい．しかし，SDNN の場合，中間層から出力層の結合荷重をすべて 0，出力素子のしきい
値を微少値にすると，初期段階のわずかな学習によって多くの出力素子の出力値が同時に変化してしまうた
め，学習が非常に不安定になる．これを防ぐために，中間層と出力層を弱くランダムに結合した上で，初期状態ではどのような入力に対しても必ず Q = 0，すな
わち y = 300 となるよう，300 個の出力素子について

図 6 冗長変数を加えない場合の学習過程
Fig. 6 Learning curves in case of adding no
redundant state variable.

はしきい値を十分大きな正の値に，残りの 300 個については十分小さな（絶対値が大きい）負の値に設定しすような違いがある．この図は，4 次元の状態空間にておく．

おける QR の値を色によって視覚的に表したもので，（それぞれ SDNN モデル及び RBFN モデルと呼ぶ）

θ1 -θ2 平面の一部（0 ≤ θi ≤ 180 [deg]）を表す 9 枚のグラフで構成されている．これらのグラフは θ˙1 及びについて，まずアクロボットの制御に必要な四つの状θ˙2 の値が異なっており，中央はリンク 1，リンク 2 が態変数 x 〜x のみ与える条件で行う．次いで制御に静止している状態，右列と左列はリンク 1 が右向き及実験は，関数近似器のみが異なる 2 種類のモデル

14は不必要な冗長変数 x 及び x を追加した場合についび左向きに振れている状態，上行と下行はリンク 2 がて実験する．初期状態から 100 エピソードの学習を終

右向き及び左向きに振れている状態に対応している．

えるまでを 1 実験試行とするが，試行ごとのばらつき

この図から分かるように，(a) の RBFN モデルでは

56の影響を抑えるため，各条件について乱数系列を変え

Q 値がほぼ初期値 0 のままの領域が多く，値が大きなながら 10 試行ずつ実験を行った．

（グラフで赤い）領域はごく一部である．また，その4. 結果と考察

広がり方も単純な同心円（4 次元状態空間では超球面）

4. 1 冗長変数を加えない場合

一方，(b) の SDNN モデルでは，0 以外の値をとる領

冗長な変数を含まない 4 次元状態空間において学習域が広く広がっており，広がり方も同心円的ではない．

を行った結果を図 6 に示す．グラフの横軸はエピソー

また，全体的には値がなだらかに変化するが，急激にド数，縦軸は各エピソードの継続時間，すなわちゴー

変化する部分も存在する．

状であり，関数値は常になだらかにしか変化しない．

ルに到達するまでの時間（到達しない場合は 50 秒）で

ただし，RBFN の関数近似能力は，基底関数の広がある．SDNN モデル（実線）及び RBFN モデル（破りや数に大きく依存することに注意が必要である．例線）のそれぞれについて，10 試行の平均値がプロット

えば，σ をより小さく（ガウス関数の幅を狭く）したされている．

上で基底関数の数を増やしたならば，より複雑な形状学習の初期段階では，両モデルにほとんど差はなの関数を高い精度で近似することが可能である．しかいが，最終的な平均到達時間は SDNN モデルの方がし，そうすると計算コストが増加する上に，汎化が生短く，第 81〜100 エピソードの平均値で比較するとじにくくなるため学習効率が低下してしまう．一方，

約 6.5 [s] の差があった．この差は統計的に有意でありSDNN の場合，学習効率を低下させずに十分な近似精（paired t-test，p < 0.001），SDNN モデルの方がよ度を確保することが可能である．本実験では，学習初

り適切に価値関数を近似できることを示している．
実際，ある標準的な試行の終了時点（100 エピソー
ドの学習後）における両近似器の出力には，図 7 に示
842

期（第 20 エピソードまで）の性能が高くなるように

RBFN のパラメータを設定したため，両モデルの差が学習効率よりも近似精度に現れたと考えられる．

論文／選択的不感化ニューラルネットを用いた強化学習の価値関数近似(a) RBFN(b) SDNN

図 7 100 エピソード学習後の価値関数（(a) RBFN 近似と (b) SDNN 近似）比較
Fig. 7 The comparison of Q-value functions (approximated by (a) RBFN and(b) SDNN) after learning 100-episodes.

(a) m = 5
Fig. 8(b) m = 6

図 8 正弦波を冗長変数として加えた場合の学習過程
Learning curves in case of adding redundant state variable(s):(a) x5 = sin ωt, (b) x5 = sin ωt and x6 = cos ωt (ω = 0.1).

4. 2 冗長変数を加えた場合た．図 8 (b) は更に x6 = cos ωt を追加した場合であ

図 8 (a) は，冗長変数として x = sin ωt（ω = 0.1）

るが，RBFN ではエピソードを重ねても学習がほとんを与えた場合である．図 6 と同様に，10 回の実験試

ど進まないことが分かる．一方，SDNN モデルはほと行における各エピソードの平均継続時間をプロット

んど影響を受けず，冗長変数がない場合との平均到達した．RBFN モデル（破線）では学習があまり進ま時間の差も統計的に有意ではなかった（paired t-test，ず，第 81〜100 エピソードの平均到達時間は冗長変p = 0.58）．

5

数がない場合に比べて 4.0 [s] ほど長かった．これに対

このような性質は，ω の値や関数を変えてもほとん

して SDNN モデル（実線）では，冗長変数がない場

ど変わらなかった．また，極端な場合として，追加変合との差は特に見られず，平均到達時間も同じであっ数の値をステップごとにランダムに選び，エピソード843

電子情報通信学会論文誌 2010/6 Vol. J93–D No. 6(a) m = 5(b) m = 6

図 9 乱数を冗長変数として加えた場合の学習過程
Fig. 9 Learning curves in case of adding redundant state variable(s):(a) single random input, (b) double random inputs.

(a) CPU time
Fig. 10(b) Number of elements

図 10 計算コストの比較
The comparison of computational costs.

によっても全く変えるようにしたところ，より顕著に

図 10 に示す．実線が SDNN モデル，破線は RBFN モ

現れた（図 9）．このことから，本実験の結果は，追デルを表している．(a) は 1 ステップに要する計算時間，加した変数の種類によって生じる特異的現象ではなく，(b) は必要な素子数（RBFN の場合は基底関数の数）

両モデルの一般的な性質を示していると考えられる．

を対数表示したものである．なお，コンピュータで計算

また，冗長変数に弱いという RBFN モデルの性質は，する際に必要なメモリの量は，どちらのモデルも素子数

局所的関数近似手法を用いた場合一般に成り立つと考にほぼ比例する．マシン環境は，Dell PrecisionT7400
クアッドコアインテル (R) Xeon(R) プロセッサ X5482

えられる．

4. 3 考察

RBFN や 多 層 パ ー セ プ ト ロ ン と 比 較 し た と き ，SDNN にはいくつかの非常に優れた性質がある．本節では，これらの特性について考察する．

（2×6 MB L2 キャッシュ，3.20 GHz, 1600 MHzFSB），

8 GByte クアッドチャネル DDR2-SDRAM メモリである．
グラフから分かるように，RBFN は計算時間も必要（ 1 ） 計算コストなメモリも指数関数的に増大するため，6 次元程度が状態空間の次元の増加に伴う計算コストの増加を

現実的な限界である．一方 SDNN の計算コストの増844

論文／選択的不感化ニューラルネットを用いた強化学習の価値関数近似

加は m2 のオーダでしか増えない．また，関数近似器

後者の性質を説明するために，一つの変数が一つのの出力の計算や結合荷重の修正は完全に並列実行が可

冗長変数によって修飾される場合を考え，それぞれの能であり，高性能の並列型計算機を用いれば，あるい

コードパターンを S μ 及び C ν としよう．このとき，中は専用のハードウェアを開発すれば，かなりの高次元間層のパターン S μ (C ν ) は，C ν に関係なく，ある出

であっても実時間で計算できると考えられる．

力パターン T μ に対応づけられることになる．今仮に，（ 2 ） 部分的に不連続な関数の近似パターン C 1 と C 2 が完全に反対の関係（C 1 = −C 2 ）ガウス関数は連続であるから，それを基底関数とすにあったとすると，一方で不感化される素子は他方でる RBFN の出力も連続である．したがって，RBFN

不感化されないから，S μ (C 1 ) 及び S μ (C 2 ) から T μ

は不連続な関数を正確に近似することはできない．もへの対応を学習した後の状態は，何の修飾も受けてい

ちろん，効率的な近似ができるのは関数に連続性があないパターン S μ から T μ への対応を学習した状態とるからであり，例えば至るところ不連続な関数を有限等価である．したがって，統計的ノイズを無視すれば，個のサンプルから正しく近似することはそもそも不可

S μ をどんなパターン C ν で修飾しても T μ が出力され能である．しかし，現実の問題では，「ほとんどの領

るはずである．同様の議論は，無相関の修飾パターン

域で連続だが，部分的に不連続がある関数」がしばしC 1 , C 2 , C 3 , . . . について学習した場合にも成り立つ．

ば現れる．強化学習の価値関数はそのよい例であろう．

現在詳しい解析を進めている最中であるが，恐らく理想的な価値関数というのは，初期状態からゴール

上記の性質の両方が寄与していると思われる．また，までの経路に沿って価値が連続的に増加するような関より多くの冗長変数を追加した場合の SDNN モデル

数である．しかし，例えば一歩踏み外せば崖から転落の挙動についても解析中であるが，現時点での結果とする道を登る場合を考えれば分かるように，その経路

上記の性質から考えて，どれだけ追加したとしても学から外れたときに連続的に価値が低下するとは限らな習効率はそれほど低下しないと思われる．

い．むしろ，ゴールに到達可能か可能でないかの境界（ 4 ） 素子数と近似精度の関係状態があり，そこを境に価値が不連続に変化する場合

従来の代表的なニューラルネットである多層パーセが多いと思われる．アクロボットの振り上げ課題の場

プトロンの場合，中間層の素子数と学習回数を必要以合も，例えば θ˙1 の角速度がある値以上ならばそのま上に増やすと，かえって汎化誤差が大きくなってしま

まゴールに到達できるが，そうでなければいったん逆うことがある．これは過剰適合と呼ばれる現象であり，側に振れなければゴールに到達できないという状態がこれを避けるために素子数をどう決めるかが一つの問あり，そこでは価値関数が不連続的になっていると考題となっている．一方，SDNN の中間素子数は，入力えられる．

変数のコードパターンの次元 n によって自動的に決ま

図 7 (b) からも読み取れるように，SDNN は，多数

る．また，n がいくら大きくても過剰適合が生じるこのしきい素子（2 値ニューロン）の出力パターンによっとはなく，むしろ大きいほど量子化誤差及び統計的ノて関数値を表現するため，部分的に不連続な関数を近イズ（無関係のコードパターン間にたまたま生じる相似可能である．したがって，この点においても SDNN関など）が減って近似精度が高くなる．したがって，

は価値関数の近似に適しているといえる．

素子数は必要な近似精度と計算コストのみを考慮して（ 3 ） 冗長変数に対するロバスト性

決定すればよい．

SDNN モデルが冗長変数に対してロバストである（ 5 ） オンライン学習への適性

ことは前述のとおりであるが，その理由として以下の大域的な近似手法やニューラルネットでは，しばし二つが考えられる．一つは，出力値に無関係な素子かば同じサンプルについて何度も繰り返し学習する必要

らの結合荷重は，そうでないものに比べて絶対値が小がある．特に，多層パーセプトロンで一般に用いられ

さくなるという，パーセプトロンと共通する性質である BP 法は，計算量も多く収束に非常に時間がかかる．

る．もう一つは，同一のパターンが異なる複数の修飾

これに比べて，SDNN の学習則は単純で計算量が少なパターンによって選択的不感化を受けたとき，もし出い上に必要な繰返しも非常に少なく，本実験では 1 回

力パターンが同じならば非常に強い汎化が生じ，どんのみである．しかも，多層パーセプトロンで大きな問な修飾パターンに対してもほぼ同じ出力を出すように題となるカタストロフィック干渉 [15]（新たなサンプ

なるという，SDNN 特有の性質である．

ルのみを追加学習すると，既学習の入出力関係全体が845

電子情報通信学会論文誌 2010/6 Vol. J93–D No. 6

壊れてしまう現象）が生じないため，過去の学習サン[2]

れらは，強化学習をオンラインで行う場合の大きな利Comput., vol.3, no.2, pp.246–257, 1991.
[3]

点となる．

ing Systems, Vancouver, CA, 2004.
[4]

European Symposium on Artiﬁcial Neural Networks,

強化学習の価値関数近似器を構成し，アクロボットの振り上げ課題を用いてその有効性を検証した．その結

pp.7–12, 2004.
[5]

柴田克成，岡部洋一，伊藤宏司，“ニューラルネットワー
クを用いた Direct-vision-based 強化学習—センサから” 計測自動制御学会論文集，vol.37, no.2,
モータまで，
pp.168–177, 2001.

[6]

R.S. Sutton, “Generalization in reinforcement learn-

果，SDNN による関数近似には，以下のような実空間における強化学習に適した特徴があることを示した．
近似精度と汎化能力が相反しないため，比較的

ing: Successful examples using sparse coarse cod-

少ないサンプルで精度良く近似することができる．

ing,” Neural Information Processing Systems, vol.8,

大部分の領域で連続な関数であれば，部分的に不連続であったとしてもうまく近似できる．

•

pp.1038–1044, 1996.
[7]

R.S. Sutton, “Reinforcement learning FAQ,” http://[8]

B. Irie and S. Miyake, “Capabilities of three-layered

冗長変数による影響をほとんど受けない．

•

入力次元が増えても計算コストが爆発しない．

•

素子数を増やしても過剰適合が生じない．

•

計算が単純で，並列化も容易である．

•

繰返し学習が不要で，追加学習も容易であるた

www.cs.ualberta.ca/˜sutton/RL-FAQ.html, 2004.
perceptrons,” Proc. IEEE International Conference
on Neural Nerworks, vol.1, pp.641–648, 1988.
[9]

森田昌彦，村田和彦，諸上茂光，末光厚夫，“選択的不感”信化法を適用した層状ニューラルネットの情報統合能力，学論（D-II），vol.J87-D-II, no.12, pp.2242–2252, Dec.
2004.

[10]

末光厚夫，諸上茂光，森田昌彦，“下側頭葉における文脈” 信学論（D-II），vol.J87依存的連想の計算論的モデル，
D-II, no.8, pp.1665–1677, Aug. 2004.

[11]

宮澤泰弘，末光厚夫，森田昌彦，“選択的不感化理論に基” 日本神経回路学会
づく海馬ニューロン活動のモデル化，誌，vol.14, no.1, pp.3–12, 2007.

[12]

G. Boone, “Eﬃcient reinforcement learning: Model-

め，オンラインでの使用に適している．
これらの特徴の多くは，無数の感覚器を通して環境から大量の情報を受け取りながら生活している動物にも備わっていると思われる．我々は，本研究を発展させることにより，実空間において動物のように適切に行動できる自律ロボットなどが実現される可能性があると考えている．また本研究の成果は，膨大な情報のR. Coulom, “High-accuracy value-function approximation with neural networks applied to the acrobot,”

選択的不感化ニューラルネット（SDNN）を用いて•

F. Rivest, Y. Bengio, and J. Kalaska, “Brain inspired
reinforcement learning,” Neural Information Process-5. む す び•

J. Park and I.W. Sandberg, “Universal approximation using radial-basis-function networks,” Neural

プルを別途メモリに保存しておく必要が全くない．こbased acrobot control,” International Conference on

中から必要な情報だけを抽出する情報処理技術の開発

Robotics and Automation, vol.1, pp.229–234, 1997.

にもつながる可能性がある．

[13]

今後の課題として，SDNN モデルの学習性能などのthe acrobot,” IEEE Control Syst. Mag., vol.15, no.1,

解析ほか，本手法を他の様々な課題に適用することによって有効性の検証や手法の改良を進めることが挙げられる．また，状況によって冗長性（必要な変数）がM.W. Spong, “The swing up control problem for
pp.49–55, 1995.

[14]

C.J.C.H. Watkins and P. Dayan, “Q-learning,” Mach.

[15]

M. McCloskey and N. Cohen, “Catastrophic interfer-

Learn., vol.8, pp.279–292, 1992.

変わるような場合への適用や，行動が連続値によってence in connectionistnetworks: The sequential learn-表される場合への拡張も重要な課題である．更に，関ing problem,” in The Psychology of Learning and数近似は様々な問題で必要となる基礎的技術であり，Motivation, ed. G.H. Bower, vol.24, pp.109–164, Aca-

強化学習以外に SDNN が有効な問題を探ることも今後の大きな課題である．
謝辞

本研究の一部は，科学研究費補助金特定領域

研究「情報爆発 IT 基盤」（課題番号 21013007）の支援を受けて行われた．
文[1]

ing, MIT Press, 1998.

846

献

R.S. Sutton and A.G. Barto, Reinforcement Learn-

demic Press, NY, 1989.

（平成 21 年 9 月 4 日受付，12 月 28 日再受付）

論文／選択的不感化ニューラルネットを用いた強化学習の価値関数近似

新保智之

平 20 筑波大・工学システム学類卒．現在，同大大学院博士課程システム情報工学研究科在学中．神経回路モデルの研究に従事．

山根健 （学生員）平 17 筑波大・工学システム学類卒．現在，同大大学院博士課程システム情報工学研究科在学中．神経回路モデルの研究に
従事．

田中

文英

平 15 東工大大学院総合理工学研究科博
士課程了．博士（工学）．ソニー（株）及びソニー・インテリジェンス・ダイナミクス研究所（株）リサーチャー，Universityof California，San Diego 客員研究員を経て，現在，筑波大大学院システム情報工学研究科准教授．JST さきがけ「情報環境と人」研究員．人間–ロ

ボット間インタラクション，発達学習，社会的相互作用の研究に従事．平 13 人工知能学会全国大会優秀論文賞，平 17 IEEE
国際会議 RO-MAN Best Paper Award など．

森田

昌彦 （正員）昭 61 東大・工・計数卒．平 3 同大大学
院博士課程了．日本学術振興会特別研究員，
東京大学工学部助手を経て，平 4 筑波大学
電子・情報工学系講師．同大機能工学系助教授などを経て，平 19 より同大大学院シ
ステム情報工学研究科教授．脳の情報処理機構及び神経回路網による情報処理の研究に従事．平 5 日本神経回路学会研究費，平 6 同学会論文賞，平 11 日本心理学会研究奨励賞受賞．

847