316

人工知能学会論文誌

論 文 


18 巻 6 号 A（ 2003 年）

Technical Papers

重み付けされた複数の正規分布を用いた政策表現
最適行動変化に追従できる実時間強化学習と環状ロボットへの適用
A Policy Representation Using Weighted Multiple Normal Distribution
Real-time Reinforcement Learning Feasible for Varying Optimal Actions

東京工業大学木村 元

Hajime Kimura

Tokyo Institute of Technology

gen@fe.dis.titech.ac.jp, http://www.fe.dis.titech.ac.jp/~gen/東京工業大学

荒牧 岳志

Takeshi Aramaki

小林 重信

Tokyo Institute of Technology

aramaki@fe.dis.titech.ac.jp

Shigenobu Kobayashi

東京工業大学Tokyo Institute of Technology

kobayasi@dis.titech.ac.jp, http://www.fe.dis.titech.ac.jp/

keywords: reinforcement learning, hierarchical representation, actor-critic, robotics
Summary

In this paper, we challenge to solve a reinforcement learning problem for a 5-linked ring robot withina real-time so that the real-robot can stand up to the trial and error. On this robot, incomplete perception
problems are caused from noisy sensors and cheap position-control motor systems. This incomplete perception also causes varying optimum actions with the progress of the learning. To cope with this problem, we
adopt an actor-critic method, and we propose a new hierarchical policy representation scheme, that consistsof discrete action selection on the top level and continuous action selection on the low level of the hierarchy.
The proposed hierarchical scheme accelerates learning on continuous action space, and it can pursue theoptimum actions varying with the progress of learning on our robotics problem. This paper compares anddiscusses several learning algorithms through simulations, and demonstrates the proposed method showing
application for the real robot.

1.

は じ

め に

として actor-critic 法 [Sutton98] がある．actor-critic 法

は，状態（あるいは状態-行動対）を評価するための critic
ロボットの制御規則をロボット自身が獲得していく手と呼ばれる部分と，ある政策に従って行動を選択し critic

段とし て，強化学習は有望なアプローチの一つであり，の評価値を利用して政策を改善する actor という部分よ代表的な強化学習法として Q-learning [Watkins92] が知り構成される．政策表現に任意性があるために連続値の行られている．しかし実ロボットの連続な状態・行動空間において，試行錯誤を通じて適切な行動を獲得する場合，

Q-leaning をそのまま用いるのでは膨大な学習時間を要するため，様々な手法が提案されている．Q-learning の状態-行動評価関数 (Q 関数) を連続空間へ拡張する手法とし て，CMAC 等の線形アーキテクチャを用いる方法[Sutton98] やメモリーベースな方法 [Santamaria98][深尾 98]，Fuzzy-Q [堀内 98]，正則化理論を用いて補完する Q-learning [深尾 98] などが提案されている．しかし，動出力への対応が容易である．Actor-critic アルゴリズムを用いた neuro-fuzzy コントローラ [Lin96] [Lin99] や，政策を EM 法によって獲得する方法 [石井 2000][Yoshi-

moto2000] などが提案されている．この actor-critic ア

ルゴリズムを下位層とし，上位層に Q-learning を用いた

階層化によって効率良く学習する手法 [森本 2001] や，さらに環境の遷移モデルを学習して政策学習に利用する方
法 [鮫島 2001] なども提案されている．
しかし，上記の方法は状態（あるいは状態-行動対）の

これらの手法では行動選択において行動空間をグ リッド

評価値を得た後に政策を得る，あるいは改善することをに離散化して扱っており，高次元の行動空間においてき基本としており，状態観測の不完全性などにより正確なめ細かな行動の学習を試みると，行動選択の計算量が膨評価値が得られない場合に学習がうまく行かないという大になるという問題がある．

問題がある．著者らは actor に適正度の履歴を用いるこ

連続な行動空間での行動選択処理において有利な手法とで，状態観測に不完全性が存在する環境における学習317

重み付けされた複数の正規分布を用いた政策表現が可能な actor-critic 法 [木村 2000] を提案し，actor の困難である．また，actor-critic は連続な行動空間におけ

行動選択に正規分布を用いて４足ロボットの歩行動作獲る学習に適しているが，本研究では政策表現を工夫する

得 [木村 2002] へ適用したり，actor の政策を確率的 2 分

ことで，性能改善を試みる．

木で表現する階層的な actor-critic 法を提案した．

本論文では，５リンク環状ロボットの移動動作獲得問
題を取り上げ，実機による試行錯誤が許容できる実時間

2・2で強化学習することを目指す．本学習問題では，１）学x 1 確率的政策に正規分布を用いる方法

習の実時間性，２）状態観測にノイズが存在する環境の扱い，３）最適な行動が学習の進行に伴って変化していく環境の扱い，以上の３点をクリアすることが求められる．そこで本論文では，前述のように連続状態-行動空間を持ち，状態観測にノイズが存在する問題に対し有望な接近法である actor-critic 法を適用する．しかし，従来の actor-critic による実装では，上記の３つの問題点を同時にクリアすることが困難だった．そこで actor の政策表現を工夫し，上位が離散的，下位が連続的行動選択を行う階層的な構造とする方法を提案する．
正規分布を actor の確率的政策とする先行研究の actor-

critic では，有望と思われる探索領域を絞り込んでいくまでの過程に時間がかかり過ぎる．別の先行研究で提案された確率的 2 分木による階層的な actor-critic 法では，階層化によって有望と思われる探索領域をすみやかに絞り込んで効率的な学習が行えるが，学習が進むにつれて最適と見積もられる政策や行動が変化する場合には，問Actor-Critic における従来の政策表現

Actor-critic の確率的政策表現方法として正規分布を用いる方法は，連続な行動空間を扱うには最も単純であり，４足ロボットなど の学習に用いられてきた [木村 2000]．
ここでは行動空間に上下界が存在する場合に有効である
ことが示されている reject-and-resample 法を比較手法として用いた [木村 2002]．

しかし確率的政策に正規分布を用いる方法では，行動１次元あたりたった１つの正規分布で探索を行う．そのため学習初期において，行動探索はその正規分布の中心に行われることが多く，最適な行動が行動空間の端に存在するような場合には，学習によって正規分布の平均値

 を中心からそこまで動かしていかなければならないため，多くの学習時間ステップを要する．これは，実時間
で実ロボットの学習を行う上で大きな障害となる．

x 2 確率的政策に２分木構造を用いる方法

題が生じる．本論文の提案手法は，行動空間中で有望と思われる領域を上位層の行動選択で大まかに探索し，さ本論文で扱う問題のように，実問題の多くは行動空間

らにその行動を下位層で微調整していくことにより，効に位相構造が存在するため，物理量的に近接・類似する行

率的な学習を行えると同時に動的な環境の変化にも追従動をグループ化して階層的することにより，学習や意思することが期待できる．

決定を効率良く行うことができる．Actor-critic において，数十以上の多数の類似する行動を効率良く扱うため

2.

Actor-Critic における政策表現

2・1

Actor-Critic アルゴリズム

Actor-critic アルゴ リズム [Sutton98] は連続空間における強化学習法として実績がある [石井 2000][森本 2001][鮫島 2001]．Actor は，状態から行動への確率分布である"
確率的政策 (stochastic policy)" に従って行動を選択する．Critic は，actor の政策のもとでの各状態の評価
値 (value) すなわち割引報酬の期待値を推定する．Actor は，critic で計算される temporal di erence (TD) エ
ラーを用いて政策を改善する．本論文のロボットへ適用の階層的行動選択方法の１つとして，２分木構造を持つ
パラメータ化された確率的政策表現がある [木村 2001]．
この方法では，まず上位層がおおまかな行動選択をすみやかに学習し，次々と下位層の学習が進行していくこと
で，有望と思われる行動が絞り込まれていく．このアルゴリズムでは離散的な行動選択しか扱えないため，本論文で扱うロボットの学習では，行動空間をグリッド 状に区切り，代表点を選択する．２分木構造の政策では，各階層において確率的に２者選択を行うが，その確率分布

関数は状態変数 s と政策パラメータベクトル  の微分可能な非線形関数として表される．

した actor-critic では，actor と critic の両方に適正度の２分木構造の階層的な行動選択を行う方法では，行動

履歴 (eligibility trace)[Sutton98] を用いる．そのため，空間を階層的にグループ化して上位層から学習していく

従来のアルゴリズムに比べて隠れ状態問題に対してロバ

ため，ランダム選択を行う初期政策から学習する場合にストである [木村 2000]．隠れ状態問題は，MDP の状態

は効率が良いが，獲得した行動を再学習によって修正する

観測にノイズなど の不完全性や，状態変数の一部しか観ことは，特に上位層においては困難である．従って，最適測できないという部分観測性が加わるだけで発生するたな行動が時間とともに変化していく動的な環境では，特め，ロボットの学習においてたびたび直面する．隠れ状に上位層でグループ化した行動領域をまたぐ ように変化態問題では環境のマルコフ性が保障されないため，MDP

していく場合，学習によって適応していくことは難しいのマルコフ性に依存する従来のアルゴリズムでは対処がと考えられる．

318
2・3

人工知能学会論文誌

複数の正規分布による階層的政策表現を用いた Actor-

18 巻 6 号 A（ 2003 年）

FreeJoint3

Critic アルゴリズムの提案

x 1 基本的なアイデアと特徴
従来の政策表現の問題点を解決するため，重み付けされた複数の正規分布を用いて政策表現を行う方法を提案

Motor1

する．これは上位層において，複数の正規分布のうち１つを重み変数の比率に基づいて確率的に選択し，下位層

FreeJoint2

において従来の正規分布に基づく手法によって連続値のFreeJoint1

行動を選択する．つまり上位層では行動空間を大まかに離散化して行動選択を行い，下位層では連続的な行動選Motor2択を行うことで探索空間を効率良く絞り込み，学習を加速する効果が得られるものである．上位層で選択する離散化された行動の領域は，下位層の正規分布の学習によって適応的に変化するため，動的に変化する環境にも適応できるのも本手法の大きな特徴である．

図 1 ５リンク環状２自由度ロボット．位置制御サーボモータ２個によって形を変える．

本手法と非常に類似した手法として，NGnet と呼ばれる混合正規分布を政策表現に用いて，状態-行動評価関2 pi

Available area for action

数（ Q 関数 ）のボルツマン分布に近づくよう EM 法で政策を更新する actor-critic 法がある [Yoshimoto2000]．

NGnet による政策表現は，連続空間における任意の分布

では離散的行動選択を行い，下位層では正規分布のよう

5/4 pitheta 3を表現することを志向しているが，本提案手法は上位層

piAction 1

な連続空間での行動選択を行うことで効率良く学習する

Action 2

3/4 piことを志向している．ここで挙げた上位層の行動選択は

1/2 piフラット 選択なので結果的に混合正規分布や NGnet に

1/3 pi等しいが，上位層の離散的行動選択に２分木行動選択な

1/6 pi0

どを取り入れることも可能な枠組みである．

0

1/6 pi

1/3 pi1/2 pix 2 提案手法の具体的な処理手順

本論文では，actor に適正度の履歴を用いる actor-critic

アルゴ リズム [木村 2000] を使用し，提案する政策表現を

gk (ajs;) =

d
Y

1

p

i=1 k;i 2

exp

(ai

!

k;i)2
(1)
2
2k;i

j

このとき政策の確率密度関数 (a s;) は，

(ajs;) =

N
X
k=1

pi
theta 1

5/4 pi2 pi

図 2 ロボットのモータを取り付けた関節角度の制約条件と，エー
ジェントの選択する行動の出力範囲．

以下に示す方法にて実現する．N コあるうちの k 番目の正規分布を以下の式で表す：

3/4 pi

A の中でなければ，行動選択は正規分布を選択する部

域分からやり直す．従って，最終的に k0 番目の正規分布がj選択され実行される確率は p(k0 s;) とは一致せず，定義

A の端に存在する正規分布は p(k js;) で示される選0

域

択確率よりも選択されにくい傾向がある．しかしこの行

mk gk (ajk; s;)(2)

ただし mk は k 番目の正規分布 gk に対する重みで，政策パラメータ  および状態変数 s の関数である．また は形R PN式的な正規化定数で， = 1= a2A k=1 mk gk (a s;)daである．状態変数 s および政策パラメータ  を用いて k;i ,j

動選択方法によると行動 a の確率は式 (2) の分布になる．
3.

実

3・1

５リンク環状２自由度ロボット

験

本論文では図 1 に示す５リンク環状２自由度ロボットを扱う．各リンクは１辺が約 8.5cm のフレームで構成さk;i および mk を計算する方法は実験設定に示す．適正

れ，それぞれ５つの関節によって接続される．そのうち度の具体的計算については文献 [木村 2000] に従って微分

２つの関節は位置制御モーターによって駆動され，残りするだけなので省略する．

の３つの関節は自由に回転できる．２つのモータによっ

具体的な行動選択の手順は，まず重み変数 mk0 に比例PN
0j =1 mj に従って k 番目の2
多変数正規分布を選択し，その分布 N (k0 ;k0 ) に従ってに示す範囲しか動けない．この範囲の導出は付録に示す．

行動 a を選択する．ただし選択した行動 a が行動の定義

本ロボットでは，行動出力の領域および状態領域を，こj

した確率 p(k0 s;) = mk0 =て環状リンクの形は一意に決まる．モータが取り付けられている関節の角度 (1 ;3) は，機械的な制約より図 2319

重み付けされた複数の正規分布を用いた政策表現の物理的制約を満たす範囲のうち，図中に示す台形領域に限定する．この台形は (1 ;3 ) = (=3;=6), (5=4; 3=4),(3=4; 5=4), (=6;=3) の４点で囲まれている．コント1
a1;a2  1 の矩形領域中の点をとり，この座標をモータ

ローラが選択する行動は，(a1 ;a2) の２次元空間での関節角度の台形領域へ以下の式を用いて変換する：

17
1
1
a +  a2 + 
3
12 1
6
6
1
11
1
1
2 = a1 a2 +  a1  a2 +  (3)
3
12
6
3

1 = a1 a2 +各関節を結ぶリンクには傾斜センサが付いており，リンクの外側が上方を向いているかど うかを on/o の離散信号で示すので，これらの状態観測を使えば，ある程度の高速に回転するようになるほど衝撃などによってセンサにノイズが入り，状態観測の不完全性が増していく問題を抱えている．
3・2

強化学習問題の設定

エージェントが 選択する行動は２次元ベクトル a =(a1;a2) で表される．この値はロボットのモータ駆動関
1; 1] の有界領域だが，節の角度を指示し ，それぞれ [これらは 直接モータの角度になっているわけではなく，
図 2 および式 (3) に示す変換を行った上で２つのサーボ
モータの角度としている．状態 st は７次元のベクトル

s ;s2;:::s7 ) で表され，s1 と s2 はロボットのモー

st = ( 1

タ駆動関節の角度指示値で，１ステップ前に出力した行動

姿勢を知ることができる．また，関節を動かすのは位置の値が入る．s3〜s7 は姿勢センサの値（ 0 or 1 ）が入る．

制御のサーボモータなので，現在の関節角度についての実機による実験だけでは，学習に多くの時間がかかっ

情報は，１ステップ前に出力した行動値で代用する．たてし まうため，アルゴ リズムの検証や，学習に適切と思だし，モータが追従できない場合には実際の角度と食違

われるパラメータの選定，行動学習に適切と思われる状

う場合がある．モータの回転速度は観測できない．

態特徴ベクトルの生成方法についての検討などができな

各時間ステップにおいてエージェント（コントローラ）

い．そこで，短い時間でこれらの検証を行うため計算機は現在の関節角度についての情報および傾斜センサの値

シミュレータを作成した．これは実機についての大まか（離散値）を観測して現在の状態とし，政策関数に従ってなダ イナミクスを模擬できるが，モータのトルク制限が行動選択する．よって状態空間は連続２次元空間×離散

無かったり，全てのリンクが均質で同じ重さであるなど ，5bit 空間，行動は２次元連続空間である．学習目標は，
なるべく速く前進する制御規則を獲得することである．
エージェントが行動を選択後，約 0:3 秒後に状態遷移

必ずしも実機を忠実に再現してはいない．実験はシミュ
レータ上および実機の両方で行った．

結果として報酬が与えられ，次の時間ステップへと進む．

3・3

報酬は学習目標である「前進」を反映させる．各リンクに

x 1 状態の特徴ベクト ルの生成

取り付けられた５つの離散値センサは，ロボットが前または後へ転がればそれを反映した遷移をするので，これを利用して報酬を計算する．前進する方向のリンクが地面へ完全に接地する度に 2 ずつ報酬が与えられ，ロボッ

トが 1 回転分前進すれば合計 10 の報酬が与えられる．しかしロボットはその時々の報酬を得るように動けば良いというわけではなく，滑らかに前進するため，将来に渡り多くの報酬が得られる状態へ遷移することが求められる．
本ロボットにおいて，転がって前進する制御規則を考えることは，設計者にとって困難である．なぜなら，５角形のうち２箇所にモーターがあり，左右非対称になっているため，転がりだす姿勢はどのリンクが底にあるかや回転速度などによって異なる．離散センサは 5bit なので，最大 25 = 32 通り，実験的な観測でも少なくとも 10
通りの離散センサのパターンへの対応が必要である．各

パターンにおいて，それぞれ２次元連続状態空間が存在し，そこで２次元連続行動空間での意思決定を行うのは容易ではない．

ロボット への学習アルゴリズム実装

状態 st は７次元のベクトル st = (s1 ;s2 ;:::s7 ) で表されるが，状態空間中に十分に細かく局所化された複雑な政策や状態価値関数を表現するため，状態ベクトル st とRBF(radial basis function) を用いて n0 次元の特徴ベク
トル x = (x1 ;:::;xn ) を生成する．特徴ベクトル x の生
0

成方法の設計は重要な問題であるが，本論文では研究の対象外とし ，シミュレータの実験によって十分な表現能力を有すると思われる RBF の数と配置を試行錯誤的に

以下のように与えた．各 RBF ユニットは状態変数 s1 ;s2軸に対しては３個ずつ，s3〜s7 軸に対しては２個ずつ格子状に配置した．よって計 32

 25 = 288 個の RBF ユ

ニットを用いて，288 次元の特徴ベクトル x を生成する．

RBF としてはガウス関数を用いた．i 番目の RBF のガウス関数 fgi (s) は，以下の式で表される：
0
1
n
2
X
(si gi;j ) A
fgi (s) = exp @(4)22gi;jj =1

本ロボットの学習問題は，on/o の離散信号を出力す

ただし gi;j は中心値，gi;j は標準偏差に相当するパラ

る簡易なセンサと関節の角度を用いて姿勢を観測しておメータで，これらは前述のように設計時にあらかじ め与り，回転速度が観測できないなど の影響により，最適とえられて固定され，学習しない．全ての実験において一思われる行動が政策の学習に伴って変化していくように見える現象が起きる．さらに実機の場合，学習が進んで

律 gi;j = 0:2 とした．この関数 fgi (s) を用いて 288 次
元の特徴ベクトル x の i 番目の要素は，以下のように正320

人工知能学会論文誌

a1
3

9

11

2

4

10

12

5

7

13

15

6
1

2

3

4

5

6

図 3

7

8

9

8

14

16

10 11 12 13 14 15 16

２分木表現における行動空間のラベル付け．

Averaged Reward (1000 steps)

a2

1.25

1

7x7

18 巻 6 号 A（ 2003 年）

3x3

5x5
1

10x10

0.75
10x10
0.5
20x20
1x1
0.25

0
0

25000

50000

75000

100000

Learning Steps

RBF

s1

Sigmoidx1

θ

図 5 提案手法の政策表現をシミュレータへ適用した場合の学習曲線．

µ k ,i0
1
X
mk = exp @mk;i;j xj A

σ k ,i

j 2x

mk
sn

x3

xn '

図 4

Critic における状態評価値の関数近似方法

本論文で用いる手法の critic は全て式 (5) の特徴ベク

Exponential
複数正規分布を用いた階層的政策表現と計算方法．

トルを用いて以下の線形アーキテクチャによって状態評
価値を計算する：f (s)xi = Pn gi
j =1 fgj (s)(5)

0x 2 確率的政策の計算方法
確率的政策として正規分布を用いる方法では，行動ベ

クトル a は，その i 番目の要素に関するパラメータ i と

i を用いて計算される．i と i は状態変数 s と政策パ
ラメータ  の関数として以下のシグモイド 関数を用いた
式で表す：

i =
i =

1 + exp



1 + exp

1
 P
n



j =1 i;j xj0

j =1 i;j xj
0

1

(6)
(7)

ただし xj は式 (5) で示す特徴ベクトル x の j 番目の要
素，i;j および i;j は政策パラメータである．

クトル x を用いて政策を表現する．行動空間は 4 4,

16  16 および 64  64 に区切った場合について実装を行った．離散表現と連続な行動空間との対応付けの例を

図 3 に示す．実装方法の詳細は文献 [木村 2001] を参照．
提案手法の階層的な政策表現では，式 (1), (2) で示される k 番目の正規分布 gk に対する重み mk ，中心値 k;i，
標準偏差 k;i はそれぞれ図 4 に示すように特徴ベクトル

 を用いて以下のシグモイド関数および指数関数で表される：

k;i =

1 + exp
1 + exp

j =1

xj !j

(8)

ただし !j は学習すべき重みパラメータで， TD(0) 法によって更新される．線形アーキテクチャを用いた TD 法の詳しい更新方法は文献 [Sutton98] を参照．
3・4

シミュレーションにおける実験結果

図 5 は提案手法の政策表現を用いた actor-critic によ2
 P

j x k;i;j xj



2

 P1

j x k;i;j xj21

位層として行動空間に複数の正規分布を配置できるため，初期配置として２次元の行動空間へ N = 1  1，3  3，
5  5，7  7，10  10，20  20 の６通りで格子状に配置してそれぞれ実験を行った．N = 1  1，3  3，5  5，
7  7 については５試行の平均をとり，それ以外は都合
により１試行のみのデ ータである．N = 1 については，
政策表現に正規分布のみを用いる従来手法と等価である．

また，確率的２分木を用いた手法でも，同様に特徴ベx と政策パラメータV^ (s) =るシミュレータ上での学習曲線を示す．本手法では，下

2
 P
n

k;i =nX0

規化される：

下位層の正規分布数 N を 1 より増やしていくことで学習が加速されていくことが 分かる．N = 25 や 49 のとき最大で，N = 1 の場合に比べると単位ステップあたりの報酬が 1 に到達するまでの時間が約半分まで短縮できた．だが N をさらに増やして N = 100 や 400 では学習速度が遅くなる．これは上位層での離散的行動数が多くなりすぎて階層化の効果が薄れるためと考えられる．学

習パラメータの設定は，これ までと同じで割引率 0:95，
actor の学習率  = 0:5，actor の適正度の履歴の割引率  = 1，critic の学習率 v = 0:1，critic の適正度の履歴の割引率 v = 1 と設定した．
図 6 は本手法について特徴ベクトル x を(
1 i = 27xi =0 otherwise

321

重み付けされた複数の正規分布を用いた政策表現

0 step

10000 steps

20000 steps

-1

-1

-1

a2

a2

a2

+1

-1

a1

+1

+1

-1

0 step+1a1+18000 steps

-1

-1

a2

a2

a2

a1

-1

+1

+1

-1

+1

a1

図 6 学習途中における行動空間の正規分布の様子．上 N

k を表し，円は標準偏差 k を表す．また下の図で示される×印の下の数字 (％) はその正規分布が上位層で選択jされる確率 p(k0 x;) を表す．この図が示すように，たっ= 1 1，下 N = 5  5．

1
4x4
0.75

0.5

0.25

0
0

分布の中心値を動かしていくことだけで学習を行ってい領域に配置されている正規分布の重みが大きくなり，そ

+1

a1

16x16

た１つの正規分布を用いて学習する場合は，徐々に正規
るが，正規分布が複数の場合は，まず有望と思われる行動

-1

64x64
Averaged Reward (1000 steps)

分布の変化の一例である．図中×印は正規分布の中心値

+1

1.25

上記に設定したとき，行動空間に配置した正規分布の数

N = 1  1 と N = 5  5 の各学習ステップにおける正規+1

a1

4000 steps

-1

+1

-1

25000

50000

75000

100000

Learning Steps

図 7 従来の２分木構造の政策表現をシミュレータへ適用した場合の学習曲線．

のあとにその中心値を移動させる学習を行っている．
注目すべきは図 6 において 4000 step で選択される確率が 98 ％となった正規分布の中心が 8000 step では他

3・5実機における実験結果の正規分布が配置されていた領域へ移動していることで

図 8 は政策表現に正規分布のみを用いる従来手法とある．観察した全ての試行において同様の現象が見られ提案手法を実ロボット上で学習させて比較したものであており，学習の進行に伴って政策が変化すると，最適とる．提案法は従来法に比べてすみやかに学習しており，単思われる行動も変化する問題の構造になっていることが位ステップあたりの報酬が 0:5 を超えるまでの時間が約分かる．
図 7 は従来の２分木構造の政策表現を用いた actor-

かうが，さらに学習が進行するとしばしば前に進めなくなる状況が生じ，学習は不安定である．学習パラメータの設定は，割引率 0:95，actor の学習率  = 0:5，actor の
適正度の履歴の割引率  = 1，critic の学習率 v = 0:1，

critic の適正度の履歴の割引率 v = 1 と設定しており，従来の正規分布のみを用いた場合と同一である．

Averaged Reward (1000 steps)

critic によるシミュレータ上での学習曲線を示す．２次元の行動空間を 4  4, 16  16, 64  64 の等分割タイル状に離散化したものをそれぞれ 1 試行行った．グラフが示すとおり，この学習方法でも，約 25; 000 step で収束に向

0.75
25

0.5

0.25
1

0
0

Learning Steps

25000(125 minutes)

50000(250 minutes)

図 8 従来法および提案手法の政策表現を実機に適用した場合の学
習曲線．

322

人工知能学会論文誌

18 巻 6 号 A（ 2003 年）

4.71

Action 1

θ3[rad]

3.14

1.57

Action 2

0
0

1.57

3.14

4.71

θ1[rad]4.71

Action 1

89θ3[rad]

3.14

10
1

4

5

1.57

73

6

Action 2

2
0
0

1.57

3.14

4.71

θ1[rad]図 10

実ロボット学習後のモータ角度遷移の様子．

しないが，ある状態における最適な「行動」は，エージェ
ントの政策に依存して変化する場合がある．本ロボットの学習初期では，まだ転がることがままならない政策なので，各状態では着実に一歩ずつ転がる行動を目指すが，うまく転がるようになると，なめらかに回転する行動を目指すようになり，これは学習初期に収束しそうに見えた
行動領域からずれてくる．図 6 は，実際に変化していく様
子を裏付けている．従来の離散行動の学習アルゴ リズム
図 9 ロボットの獲得した動作例．

だけでは対処が難しく，特に２分木を用いた actor-criticでは図 7 に示されるようにしばしば学習が不安定になる
ことを示した．

25,000 step で，約２時間である．学習パラメータの設
定はシミュレータと同一とした．図 9 は本手法で獲得しめなくなってし まう状況に陥るのは，次のような理由がた動作の一例を示すが，ど ちらの手法でも得られた動き考えられる．本ロボットの場合，状態観測に簡易なセンは同等であった．図 9 の上のグラフは本手法で獲得した動作による 100 step 分のモータ角度の遷移の一例であ

２分木を用いた方法において学習が進行すると突然進

サと関節角度のみを用いており，ロボットの回転速度が観測できないことにより，状態観測に不完全性が生じる．

る．状態観測のノイズの影響でしばしば遷移パターンがこのため，エージェントの状態空間中で同じ 状態だと知乱れるが，ほぼ 同じような場所を遷移する傾向が見られ覚する場所が，学習の進行による政策の変化で実際の位る．また図 9 の下のグラフは上のグラフからある 10 step
分を抜き出したものである．およそ 10 step でグラフに対し時計回りに２回転の遷移を行うと，ロボットはちょ
うど 1 回転する．

置は変化する．すると各状態においてエージェントが最適とする行動が見かけ上変化してしまうという現象が起きる．最適な行動が変化していく環境において，離散的な２分木構造の政策表現でその変化に対応するとき，特に上位層にて分割された領域をまたぐ ように最適行動が

4.

考

4・1

最適行動が学習とともに変化する現象についてして一旦ランダム政策まで戻ってから再学習せざ るをえ

本ロボットの問題は，環境が動的に変化しているわけ

ない．よって図 7 のようにしばしば性能が学習初期に戻察変化していくのに追従していくには，上位層から学習し直す必要があり，このときエージェントはその状態に関ではない．環境が変化しない限り，最適な「政策」は変化るという現象が生じたと考えられる．

323

重み付けされた複数の正規分布を用いた政策表現

4・2

階層的政策により学習が加速

上位層で離散的かつ大域的な行動選択，下位層で連続トへ適用し，学習システムの汎用性と拡張性を示すことを目指して，ヘビ型移動ロボットで実験中である．

的かつ局所的な行動選択を行う政策表現を用いた actor-

最後に，５リンク環状ロボットに関して貴重な助言を

critic 法により，単に正規分布だけを用いる学習法よりお寄せいただきました本学総合理工学研究科小俣透助教

学習すべきパラメータ数が大きいにもかかわらず学習速授に謝意を表します．

度を加速する効果があることが実験により示された．ま}参 考 文 献}

た，本手法は最適と思われる行動が学習の進行とともに変化していく場合にも追従できた．
本実験で用いた actor-critic アルゴ リズムは，毎ステッ
プにおいて政策パラメータの更新が行われ，その計算コストは政策パラメータ数に比例する．提案手法は正規分布を１つだけ用いる方法に比べるとおよそ正規分布の個数× 1.5 倍の政策パラメータ数になるので，毎ステップにおける政策パラメータ更新の計算コストもそれだけ余計にかかる．しかし ，この更新はローカルに並列処理可能であり，またロボットの意思決定時間間隔の時間スケー
ルと対比すると十分な計算時間が与えられているので問題にはならない．
4・3

RBF による特徴ベクト ル生成について

本研究のロボットの制御では，状態観測を RBF へ入力して特徴ベクトルを得る方法がそれを用いない手法よりも安定的でほぼ確実に制御規則を獲得できた．よって，

RBF による局所的な状態表現を用いると十分な状態表現ができることが分かる．しかし，本論文では RBF による状態の特徴ベクトル獲得は学習の対象外であり，予め与えている．この状態表現獲得は今後の課題である．
4・4

上位層の離散的行動選択方法について

本論文で示した提案手法では，単一正規分布による政策表現と比べた場合の優位性は上位層の設計に左右される．この上位層のデザインは今のところ設計者に依存している．行動の空間がもっと高次元になると離散的行動
選択方法にも工夫が必要になってくる．この部分に２分
木構造の行動選択方法を用いれば，設計者に依存しにく
く，かつ効率の良い学習が期待できる．
5.

お

わ り に

本論文では，実ロボットにおける強化学習による実時間学習を目標として５リンク環状ロボットの移動動作獲得問題を取り上げた．本問題は状態観測にノイズが存在し，最適な行動が学習の進行に伴って変化していく環境
であり，actor-critic における従来の政策表現法では扱いが困難であることを実験的に示した．本論文では上位が離散的，下位が連続的行動選択を行う階層的な政策表現方法を提案し，シミュレーションおよび実機による実験を通じて有効性を示した．今後の課題として，本手法をもっと高次元の自由度を持つ全く別の形態を持つロボッ[深尾 98] 深尾 隆則，稲山 典克，足立 紀彦：正則化理論を用いた連続的状態と行動を扱う強化学習，システム制御情報学会論文誌，
堀内
堀内 匡，藤野 昭典，片井 修，椹木 哲夫：連続値入出の提案，計測自動制御学会
力を扱うファジィ内挿型
論文集
石井石井 信，佐藤 雅昭：統計的手法にもとづく強化学習と制御ルールの獲得，計測と制御，

Vol.11, No.11, pp.593{599 (1998).
98]
Q-learning, Vol.35, No.2, pp.271{279 (1999).
[ 2000]Vol.39, No.12, pp.763{768(2000).
[木村 99] 木村 元，宮崎 和光，小林 重信：強化学習システムの設計指針，計測と制御, Vol.38, No.10, pp.618{623 (1999).
[木村 2000] 木村 元，小林 重信：Actor に適正度の履歴を用いた
Actor-Critic アルゴ リズム{ 不完全な Value-Function のもとでの強化学習，人工知能学会論文集, Vol.15, No.2, pp.267{275(2000).
[木村 2001] 木村 元，小林 重信：確率的 2 分木の行動選択を用いた Actor-Critic アルゴリズム:多数の行動を扱う強化学習，計測自動制御学論文集, Vol.37, no.12, pp.1147{1155 (2001).
[木村 2002] 木村 元，山下 透，小林 重信：強化学習による４足[ロボットの歩行動作獲得，電気学会 電子情報システム部門誌

Vol.122-C, No.3, pp.330{337 (2002).
[Lin96] Lin, C. J. and Lin, C. T.: Reinforcement Learning
for An ART-Based Fuzzy Adaptive Learning Control Network, IEEE Transactions on Neural Networks, Vol.7, No. 3,
pp.709{731 (1996).
[Lin99] Lin, C. T. and Chung, I. F.: A Reinforcement NeuroFuzzy Combiner for Multiobjective Control, IEEE Transactions on Systems, Man, and Cybernetics-Part B: Cybernetcs, Vol.29, No.6, pp.726{744, 1999.
[森本 2001] 森本 淳，銅谷 賢治：階層型強化学習を用いた３リンク２関節ロボットによる起立運動の獲得，日本ロボット学会
誌
鮫島
鮫島 和行，銅谷 賢治，川人 光男： 強化学習
予測性によるシンボル化と見まね学習，日本ロボット学
会誌

Vol.19, No.5, pp.574{579, 2001.
2001]
MOSAIC:
Vol.19, No.5, pp.551{556, 2001.
[Santamaria98] Santamaria, J.C., Sutton, R.S. & Ram, A.:
Experimentswith ReinforcementLearning in Problems with
Continuous State and Action Spaces, Adaptive Behavior 6(2), pp.163{218 (1998).
[Sutton98] Sutton, R. S. & Barto, A.: Reinforcement Learning: An Introduction, A Bradford Book, The MIT Press(1998).
[Sutton2000] Sutton, R. S., McAllester, D., Singh, S. &Mansour, Y.: Policy Gradient Methods for Reinforcement
Learning with Function Approximation, Advances in Neural Information Processing Systems 12 (NIPS12), pp. 1057{
1063 (2000).
[Yoshimoto2000] Yoshimoto, J., Ishii, S. and Sato, M.: Online EM reinforcementlearning, IEEE-INNS-ENNS International Joint Conference on Neural Networks (IJCNN 2000),
III, pp. 163-168, (2000).
[Watkins92] Watkins, C. J. C. H. & Dayan, P.: TechnicalNote: Q-Learning, Machine Learning 8, pp.279{292 (1992).
[Williams92] Williams, R. J.: Simple Statistical Gradient Following Algorithms for Connectionist Reinforcement
Learning, Machine Learning 8, pp. 229{256 (1992).
[〔 担当委員：山川

宏〕

324

人工知能学会論文誌

2003 年 4 月 10 日 受理

}付

録

}

・1 関節角度の制約条件と可動領域の導出
図 に示す環状のリンクの角度 1 ; 2 ; : : : 5 は，物理的制約より
次の条件式を満たす：

1

0  1 ; 2 ; 3 ; 4 ; 5  2
1 + 2 + 3 + 4 + 5 = 3

5
X

exp j

i=1

!

i
X

(

k

) =0

(A.1)
(A.2)
(A.3)

k =1

(A.1)

ただし j は虚数単位である．式は各関節ヒンジの可動領域
は５角形の内角の和の条件，式はリによる制限，式ンク の根元の座標がリンク の先端座標と一致する条件式である．これ より２つのモータ関節角度 1 ; 3 が既知のとき，他の角2 ; 4 ; 5 を次の式で求めることができる：

(A.2)

1

5

(A.3)

1 + cos 
1 cos 3+ arctan tan1  + arccos 2 p
32(1 cos 3 )1
sin 3 sin(3 + 4 )
2 = arctantan 1 arctan cos 3 cos(3 + 4 ) 1)
5 = 3  1 2 3 4
ここで arccos の定義域は [ 1; 1] なので，
1 + cos 
1 cos 3
1  2p1(A.4)
2(1 cos 3 )これらの条件を考慮すると，モータの角度 1 ; 3 の可動領域は図 2

4

=

3

のようになる．

著

者

紹 介
木村

元
（ 正会員）

1997 年東京工業大学大学院知能科学専攻博士課程修了，
同年 4 月日本学術振興会 PD 研究員，1998 年 4 月，東京工業大学大学院総合理工学研究科助手，現在に至る．人工知能，特に強化学習に関する研究に従事．

荒牧

岳志

2002 年東京工業大学工学部情報工学科卒，同年 4 月（株）
スクウェアに所属．

小林重信（ 正会員）

1974 年東京工業大学大学院博士課程経営工学専攻修了．
同年 4 月，同大学工学部制御工学科助手．1981 年 8 月，
同大学大学院総合理工学研究科助教授．1990 年 8 月，教授．現在に至る．問題解決と推論制御，知識獲得と学習などの研究に従事．

18 巻 6 号 A（ 2003 年）