特集

計

展望

測

と

制

御

Vol.38, No.10, 1/6（ 1999 ）強化学習システムの設計指針
木

村

元・宮 崎和 光・小 林重 信

Key Words: 強化学習 (reinforcement learning)，マルコフ決定過程 (Markov decision process)，セミマルコフ決定過程 (Semi-Markov decision process)，Q 学習 (Q-learning)， actor-critic

1.

はじめに

6

エージェント（コントローラ ）状態観測 st

強化学習とは，試行錯誤を通じて環境に適応する学習制
御の枠組である．教師付き学習 (Supervised learning) と

? at
行動

報酬

6rt

環境（ 制御対象）

異なり，状態入力に対する正しい行動出力を明示する教師が存在しない．かわりに報酬というスカラーの情報を手がFig. 1

かりに学習するが，報酬にはノイズや遅れがある．そのため，行動を実行した直後の報酬をみるだけでは，学習主体
はその行動が正しかったかど うかを判断できないという困難を伴う．学習主体「 エ−ジェント 」と制御対象「 環境 」
は以下のやりとりを行う (Fig. 1 参照)．

強化学習の枠組．エージェントは試行錯誤を通じて適切な制御規則を獲得していく．

酬を与えるという形で，させたいタスクをエ−ジェントに指示しておけば ，ゴ−ルへの到達方法はエ−ジェントの試
行錯誤学習によって自動的に獲得される．つまり設計者が（ 1 ） エ−ジェントは時刻 t において環境の状態観測 st「 何をすべきか 」をエ−ジェントに報酬とい う形で指示し（ 2 ） エ−ジェントの行動により，環境は st+1へ状態遷によって自動的に獲得する枠組となっている．

に応じて意志決定を行い，行動 at を出力移し，その遷移に応じた報酬 rtをエ−ジェントへ与える．

（ 3 ） 時刻 t を t + 1 に進めてステップ 1 へ戻る．

エ−ジェントは利得（ return: 最も単純な場合，報酬の総計 ）の最大化を目的とし て，状態観測から行動出力へのマッピング（ 政策（ policy ）と呼ばれる）を獲得する．環境とエ−ジェントには一般に下記の性質が想定される．

 エ−ジェントは予め環境に関する知識を持たない．
 環境の状態遷移は確率的．
 報酬の与えられ 方は確率的．
 状態遷移を繰返した後，やっと報酬にたど り着くような，段取り的な行動を必要とする環境（ 報酬の遅れ ）．
本稿では，強化学習の利用価値およびいくつかの理論的知見を紹介し，システム構成方法の指針を示す．
1. 1

制御の視点から 見た強化学習の特徴

強化学習が 注目を集める理由の一つは ，不確実性のある環境を扱っている点にある．多くの実世界の制御問題では，不確実性の扱いは厄介である．もう一つの理由は，報酬に遅れが存在し，離散的な状態遷移も含んだ段取り的な制御規則の獲得を行う点にある．設計者がゴ −ル状態で報 東京工業大学 大学院総合理工学研究科
 Interdisciplinary Graduate School of Sci. and Eng.,Tokyo Institute of Technologyておけば「どのように実現するか 」をエ−ジェントが学習
1. 2

応用上期待できること

1. 2. 1 制御プログラミングの自動化・省力化
環境に不確実性や計測不能な未知のパラメータが存在す
ると，タスクの達成方法やゴ ールへの到達方法は設計者にとって自明ではない．よってロボットへタスクを遂行するための制御規則をプログラムすることは設計者にとって重労働である．ところが，達成すべき目標を報酬によって指示することは前記に比べれば遥かに簡単である．そのため，タスク遂行のためのプログラミングを強化学習で自動化することにより，設計者の負担軽減が期待できる．十分に優れた性能を持つ強化学習エージェントをコントローラとして１つだけ 開発しておけば ，あとはロボットの目的に応じて報酬の与え方だけを設計者が設定するだけで，あらゆる種類のロボット 制御方法を同一のコントローラによって自動的に獲得できる．

1. 2. 2 ハンド コーデ ィングよりも優れた解
試行錯誤を通じて学習するため，人間のエキスパートが得た解よりも優れた解を発見する可能性がある．特に不確実性（ 摩擦やガ タ，振動，誤差など ）や計測が困難な未知
パラ メータが多い場合，人間の常識では対処し 切れないことが予想され，強化学習の効果が期待できる．エキスパー
トの制御規則を学習初期状態に設定して，それを改善する
場合と，全くのゼロから学習を開始し ，設計者にとってはTR 0010/99/3810{0001 c SICE

2

計測と制御

(A)

Fig. 2Vol.38 No.10 October

1999

(B)

学習対象としたロボット機構のその模式図．A はボディから２節リンクアームが張り出す構造を持ち，B はボ
デ ィにねじ りと曲げを行う構造を持つ．A と B はメカ
ニズム的に全く異なるが ，完全に同じ 学習アルゴ リズ
ムを適用可能．

意外な新しい解を発見する場合とが考えられ る．

1. 2. 3 自律性と想定外の環境変化への対応
機械故障など の急激な変化やプラントの経年変化のような緩慢な変化など ，予め事態を想定してプログラミングしておくことが 困難な環境の変化に対しても自動的に追従することが 期待できる．特に宇宙や海底など ，通信が物理的に困難な場合や，通信ネットワークの制御のように現象のダ イナミクスが人間にとって速すぎ る場合において，強化
学習の自律的な適応能力が特に威力を発揮する．
2.

強化学習の適用例：ロボット の歩行動作獲得

前章で説明した強化学習の利点について，具体例を挙げ

Fig. 3

強化学習による試行錯誤を通じて得た動作例て説明する．Fig. 2 に示すよ うに，モータを２個搭載した２自由度の機構を持つロボット A および B に 対し ，完
全に同一の強化学習アルゴ リズムを適用し，効率よく前進
10)

計者が極めて簡単な報酬設定をするだけで複雑な制御規則．エージェント すなわ ちロボット

を自動的に得られるという２つの意味において，強化学習のコントローラが獲得すべき制御規則は，現在の関節の角による制御規則プログラミングの自動化・省力化を実現し度を状態入力として与えられたとき，前進するような動きている．

する動作を獲得するとなるようにモータの目標値とすべき関節の角度を出力す

状態観測である関節の角度1 ; 2 および 行動出力である

ることである．ロボットの学習目標は，効率よく前進する

関節モータの角度の目標値 a1 ; a2 は，それぞれ 0 から 255

ことなので，各時刻におけるボデ ィの前進速度をエージェ

までの整数値をとる．報酬の値はントが報酬として受け取るよう設定する．エージェントと値をとり，ボディが移動しない場合は 0 である．移動距離

ロボットは以下のやりとりを行う．(1) エージェントは状128〜 127 の範囲の整数を計測するために１回転 200 パルスのロータリーエンコー

態観測としてロボットの関節の角度1 ; 2を受け取る．(2)ダに直径 3cm の車輪を付け，パルスの個数を報酬の絶対

エージェントは行動出力とし て関節モータの角度の目標値

値，回転方向を報酬の符号とし て計測する．

a1 ; a2を出力．(3) ロボット は目標角度の方向へ各モータ

実時間でおよそ 5〜6 分後の学習中の動作例を Fig. 3 にを動かす．(4) 約 0.2 秒後，ロボット はボディが移動した

示す．ロボット B について観察されたのは Fig. 3 に示した

距離を計測し，その値を報酬としてエージェントに与える．

動作に類似する動作のみだった．ところがロボット A は(5) ステップ 1 に戻って繰り返す．

Fig. 3 に示した動作以外にも学習途中においてさまざ まな

上記のように設定することにより，ロボットを効率よく前パターンが見られ，常に変化が観測された．特に，アーム進させる学習問題は，エージェントが利得（ 報酬の総計）

先端を地面に触れたまま，アームを激しく上下に動かすとを最大化するよう政策を探索する最適化問題へ帰着される．

同時にアーム自身も曲げたり伸ばしたりして，尺取虫のよここで注目すべき点は，ロボット A と B が メカニズム

うに移動する様子が観測された．これはアームを下に動か的に全く異なるにもかかわらず，強化学習問題とし て見る

すときはアーム先端と地面との摩擦力が増すため，このとと同じになる点と，求めるべき制御規則が比較的複雑であきアームを曲げると前進しやすく，逆にアームを上に動かる割に，報酬の設定が極めて簡単な点である．よって，ロ

すときは摩擦力が減るため，このときアームを伸ば すと前

ボット A へ適用可能な強化学習アルゴ リズムが，何も変更

方へ滑べりやすいことを利用している．このような動作はすることなくロボット B にも適用できるという意味と，設

実際に試行錯誤しない限り，獲得するのは困難である．

計測と制御：展望
3.

3. 1

第 38 巻 第 10 号

示す唯一の Action-Value 関数を共有する．

が MDP で あ る ．環 境の と り う る 状 態の 集 合 をS =fs ; s ;  ; sn g，エージェントが とり うる行動の集 合を
A = fa ; a ;  ; a` g と表す．環境中のある状態 s 2 Sに
2

2

おいて，エージェントがある行動 a を実行すると，環境はへ遷移する．その遷移確率を P a(s; s0 )

確率的に状態 s02Sにより表す．このとき環境からエージェントへ報酬 rが確率的に与えられ るが，その期待値を Ra (s; s0 ) により表す．
エージェントは状態集合から行動集合への写像関数 (確率分

布関数でも良い) を保持する．これを政策と呼び と表す．
3. 2

Q (s; a) = max
Q (s; a)マルコフ決定過程 (MDP) とは ?

1

MDP の最適性：割引報酬による評価

ある時間ステップで実行した行動が，その後の報酬獲得にど の程度貢献したのかを評価するため，その後得られ る
報酬の時系列を考える．報酬の時系列評価は利得 (return)と呼ばれる．エージェントの学習目標は，利得を最大化すること，あるいはそのような政策を求めることである．強化学習では，割引報酬合計による評価を利得とし て用いる
場合が 多い．これは，時間の経過とともに報酬を割引率(0  < 1) で割引いて合計する．ある時刻 t における状態 (あるいは行動) の利得 Vtを以下で定義する．

Vt = rt + rt+1 + 2 rt+2 +    =1Xkrt k （ 1）k=0

) の確率で停止するエージェと最 適政策をと り つづけ るとき の 利得の 期待値を 表す．

Q (s; a) が与えられた場合，状態 s において最大の Q 値を持つ行動 a が最適な行動である．
3. 3（ 1 ） 実環境では，時間の経過とともに環境が変化した
り，エージェントが故障等で停止する可能性があるため，時系列上の全ての報酬を同じ重みで考慮するのは妥当ではない．いわば リスクを考慮する必要がある．
（ 2 ） 無限期間時系列の利得を有限の値として扱うため．

マルコフ決定過程においてエ−ジェントが定常政策(時不変な政策) をとるとき，利得の期待値は，時間に関係なく状態 s だけに依存する性質を持つ．よって value は状態 sの関数になるので State-Value 関数と呼び V  (s) と表す．



●最適な State-Value 関数：全ての状態 s において V  (s)0V  (s) となるとき，政策は0 より優れているという．マル

コフ決定過程では，他のどんな政策よりも優れた，あるいはマルコフ決定過程の環境における強化学習

以下に MDP 環境下の強化学習問題の定式化を示す．
エージェント は環境の状態遷移確率 P a (s;s0 ) や報酬

の与えられ方 Ra (s; s0 ) についての知識を予め持たない エージェントは環境との試行錯誤的な相互作用を繰り返して，最適な政策を学習する．

Q (s; a) が得られれば ，最適な政策は簡単に得られる．Q-

learning 22) は環境との試行錯誤的な相互作用の繰り返しを通じて Q (s; a) を推定する代表的な強化学習アルゴ リズム
である．Fig. 4 にその概要を示す．

（ 1 ） エージェントは環境の状態 s を観測する．
（ 2 ） エージェントは任意の行動選択方法 (探査戦略) に従って行動 a を実行する．
（ 3 ） 環境から報酬 rを受け取る．
（ 4 ） 状態遷移後の状態 s0 を観測する．
（ 5 ） 以下の更新式により Q 値を更新：

Q(s; a)(1hi

r + max Q(s0 ; a0 )) Q(s; a) +

a

0





ただし は学習率 (0 <1)， は割引率 (0< 1)．
（ 6 ） 時間ステップ t を t + 1 へ進めて手順 1 へ戻る．
Fig. 4ントによって得られ る報酬合計の期待値と等価である．未来の報酬を割引く理由は以下による．

for all s 2 S and a 2 A.

Q (s; a) は Q 値と呼ばれ，状態 s で行動 a を選択後，ずっ+ただし rtは時刻 t に おけ る報酬である．この Vtの期待値
は， 1 ステップあたり (13●最適な Action-Value 関数：最適な政策はまた，以下に

強化学習の基礎理論

環 境のダ イナ ミ ク スを 以 下のよ うに モデ ル 化し たの

1

1999 年 10 月

Q-learning アルゴ リズム● Q-learning の収束定理 22)：エージェントの行動選択に，かつ学習率 がPおいて，全ての行動を十分な回数選択し1 (t) ! 1 かつ P1 (t) < 1 を満たす時間 t の
t
t
=0

=0

2

関数となっているとき，Q-learning のアルゴ リズムで得る

Q 値は確率 1 で最適な Q 値に収束する (概収束)．ただし 環
境はエルゴ ート 性を有する離散有限マルコフ決定過程であることを仮定する．その他，解析については文献 3) を参照．
● 行動選択方法 (探査戦略)：上記の収束定理は，全ての行動を十分な回数選択しさえすれば行動選択方法 (探査戦略)には依存せずに 成り立つ．よって行動選択はランダ ムでもよい．しかし，強化学習ではまだ Q 値が収束していない学
習の途中においてもなるべく多くの報酬を得るような行動

同等な政策が少なくとも 1 つ存在する．これを最適政策

選択を求められ ることが多い．学習に応じて序々に挙動をという．最適政策は複数存在することもあるが，全ての最1) -greedy 選択： の確率でランダム，それ以外は最大の Q
値を持つ行動を選択．2) ボルツマン選択：exp(Q(s; a)=T )適政策は唯一の State-Value 関数を共有する．これは最適な State-Value 関数 V と呼ばれ，以下に定義される．

V  (s) = max
V  (s)for all s 2 S .

改善していくような行動選択方法とし て，に比例した割合で行動選択，ただし T は時間とともにゼロに近付く，など の方法が提案されている 19) ．

4

計測と制御
4.

Vol.38 No.10 October1999

による内部状態表現)，2) 有限長の過去の状態や行動の履応用を指向した理論と技術歴を用いた内部状態表現，3) 確率的な政策を用いる方法，

前章の MDP による環境モデル化と強化学習法は，単純などが提案されている．

で強力だが，そのまま応用するには問題が多い．実用化す

4. 3

るには，適用する問題の性質に応じて環境のモデル化やア実問題ではコントローラの状態入力が連続値のベクトル

ルゴ リズムを工夫する必要がある．以下に紹介する．
4. 1

セミマルコフ決定過程 (SMDP)

連続な状態空間への対応

で与えられ る場合が少なくない．Fig. 4 のアルゴ リズムの形式に合わせて，連続値の状態入力を適宜離散化するのがネットワークのルーティングやサービ ス，在庫管理問題など ，待ち行列を扱う応用問題では，意志決定の時間間隔普通だが，状態入力の次元数が大きいと「次元の呪い」と呼ばれる状態空間の爆発を招く．

が一定ではなく，ランダ ムになる．サッカーロボットのよ

連続な状態空間では，各状態間に位相構造 (つまり状態

うに地面を自走するロボットでは，一定時間間隔で頻繁に間の距離を定 義でき る) を持 つ．距離的に 近い状態では意志決定すると，学習中同じ 場所を行ったり来たりを繰り

Q 値も近い値を持ち，２つの状態の中間あたりに存在す

返すばかりで学習が進まないため，ある行動を選択したらる状態の Q 値はそれら２つの Q 値の中間くらいの値を持状態観測に変化がみられ るまで新たな意志決定をしない

つことが 多い．そこで ，連続な状態空間を持つ強化学習など の方法がとられ る 2) ．これらの問題では，イベントド問題では，Q-learning におけ る Q 値や Value の表現に関

リブンな意志決定，つまり意志決定の時間間隔が任意な場数近似を用いることが 多い．関数近似を用いると，学習合に対応し た強化学習が 求められ る．そのよ うな環境のが高速になったり，今まで経験したことのない状態に遭遇

数理モデルとしてセミマルコフ決定過程 (SMDP) がある．

し ても，似た状態での経験を生かし て適切な行動選択がFig. 5 に SMDP 環境へ対応し た Q-learning アルゴ リズ

できるなど の メリット がある．代表的な関数近似法としム 4) 16)を示す． 本アルゴ リズムは Fig. 4 と同様の理論的て，tile coding(CMAC)，ニューラルネット，ファジィ，基（ 1 ） エージェントは環境の状態 st を観測する．
（ 2 ） エージェントは任意の行動選択方法 (探査戦略) に従って行動 at を実行する．
（ 3 ） N 時間ステップ経過後 (N > 0) にイベント (状態遷移)
が 発生するまで，環境から報酬 rt ; rt+1 ;; rt+N 1 を受け取り続け，以下の割引報酬合計 Rsum を計算する：

 

Rsum = rt + rt+1 + 2 rt+2 +   + N 1 rt+N 1（ 4 ） イベント (状態遷移) 発生後の状態 st+N を観測する．
（ 5 ） 以下の更新式により Q 値を更新：

Q(st ; at )) Q(st; at )h
+ R
+ N max Q(s
(1

sum



a0

t+N

i
; a0 )

ただし は学習率， は割引率 (0< 1) である．
（ 6 ） 時間ステップ t を t + N へ進めて手順 1 へ戻る．
Fig. 5

SMDP の環境に対応した Q-learning アルゴ リズム

底関数を固定した radial-basis-function network，nearest
neighbor， locally weighted linear regression などが提案され ている 19) ．上記の関数近似は多層ニューラルネット
を除いて線形アーキテクチャと呼ば れ る．これ は，ある状態入力 s が 与えられ たとき，Value を近似するためにKにマッピングし ，
まず s を K 次元特徴ベクトル(s)2R

次に K 次元のパラ メータベクト ル W との 線形和に より

V (s) = (s)  W のよ うに表すものである (Q 値も同様)．
線形アーキテクチャを用いた場合，ある条件下で最適値への収束が保証される 20) ．
この他，状態空間を適応的に分割していく方法 2) 15) なども提案されている．
4. 4

連続な行動空間への対応

実問題では連続値の状態入力と同様，連続値の行動出力を求められ ることも多い．行動空間を離散化するのが普通性質を持つ．行動選択方法 (探査戦略) も同様．
4. 2

だが，粗く離散化すると細やかな制御ができないという問

部分観測マルコフ決定過程 (POMDP)

題が生じる．逆に離散化が細かすぎると探索空間が増大し，

MDP の環境では，エージェントによる環境の状態観測

通常の離散 MDP における学習方法では，なかなか 学習がは完全であることが 仮定されている．しかし 実問題では，進まなくなり非実用的となる．

ノイズやセンサの能力が不十分なため，状態観測に不確実性や不完全性が存在することが多い．部分観測マルコフ決Fuzzy 内挿型 Q-learning 6)は，ファジィを用いた関数近似によって連続値の行動に関する Q 値を表現し，行動選択定過程 (POMDP) は，MDP のモデルを拡張し，エージェ

時には，行動空間を等間隔に区切ったいくつかの点についント の状態観測に 不確実性を付加した数理モデルであり，て Q 値を計算する．これらの離散的なポイントにおける Q

上記のような実問題をモデル化して解析する上で有用な知値を用いて行動を決定するが，連続的な値の行動を選ぶよ

見を与える．POMDP の環境に対応した強化学習法は，いうな拡張ルーレ ット選択を提案している．

くつかのアプローチに分類できる 8)：1) エージェント内部

行動空間が 連続的な場合は，Q-learning よりも actor-

で，環境の状態遷移を推定／予測する方法 (モデルベース

critic 19) 9) (Fig. 6) を 用いることが多い．これ は状態の

計測と制御：展望

第 38 巻 第 10 号

（ 1 ） エージェントは環境において状態 st を観測する．
Actor は，確率的政策に従って行動 atを実行する．
（ 2 ） Critic は報酬 rt を受け取り，次の状態 st+1 を観測し ，
actor への強化信号とし て以下の TD-error を計算する．

(TD-error) = [rt + V (st+1 )]V (st ) ,は割引率，V (s) は critic が推定した割引報酬の期待値．
（ 3 ） TD-error を用いて actor の行動選択確率を更新する．
(TD-error) > 0 ならば ，実行した行動 a は比較的好ましいものと考えられるので，この選択確率を増やす．
逆に (TD-error) < 0 ならば ，実行した行動 a は比較的好ましくないものと考えられるので，この選択確率を減らす．
（ 4 ） TD 法を用いて critic の value の推定値を更新する．
例えば TD(0) ならば以下のように計算する．
V (st ) V (st ) + (TD-error), ただし は学習率である．
（ 5 ） 手順 (1) から繰り返す．

1999 年 10 月
5.

5. 1

5

応 用

例

セルラー通信システムの周波数帯の動的割りあて

いわゆる PHS のような通信システムでは，サービ ス地
域はセルと呼ばれる地域に分割され，セル内の各通話者はそれぞれ異なる周波数帯を使うが，近接するセルでは同一の周波数帯を使えないという制約がある．限られたチャンネルで可能な通話数が最大となるように周波数を割当てることが 要求される．通話サービ ス要求や切断の発生は確率的で，それらの頻度はセル毎に異なる上，動的に変動する．

Singh らは，SMDP の強化学習に基づく方法を提案し，学習時間をさほど かけることなく既存のヒューリスティクス
を上回る性能を達成した 18) ．

Fig. 6

一般的な actor-critic アルゴ リズム

5. 2

在庫管理・生産ライン最適化

Fig. 7 に示すように，複数の加工機械を直列に連結してValue を評価する critic と，状態観測に応じて確率的に行構成された生産ラインにおいて，在庫を最小化しつつ製品

動選択を行う actor の２要素より構成される．ここで actorの需要を満たす最適な制御を学習する問題である． 各機械

は行動選択の確率を調整できる物であればよい．連続値の行動であれば ，actor の確率的政策は，状態入力に応じて中心値と分散が変化する正規分布とする方法がある．Fig. 6に示すとおり，行動を選択した結果，よい状態へ遷移したなら選択した行動を強化する．正規分布の actor の場合において行動を強化するには，実行した行動へ分布の中心値を近付け，実行した行動が標準偏差の内側なら，正規分布の広がりを狭め，外側なら広げるよう調節すればよいので，実装は極めて簡単である．
4. 5

マルチエージェント 環境下での強化学習

高度に複雑，巨大化したシステムでは，ある程度の機能
単位ごとに自律的な知的判断部を持たせ，それらを互いに協調させる自律分散システムによ る管理が 求められている．個々のエージェントの制御規則の獲得について，エキ
スパートの知識だけに頼っていた従来手法に代わり，マルチエージェント環境下での強化学習が注目されている 13) ．
マルコフゲームという数理モデルを用いて，ミニマックス
点 12)やナッシュ均衡 7)を学習するマルチエージェント強化

-

原料

機械１

Fig. 7

-

倉庫１

-

機械２

-

倉庫２

-

製品

製造ラインにおける在庫管理の最適化問題の下流には倉庫 (bu er) が設置され，機械の故障中あるいはメンテナンス中の製品需要に対応することで全体の流れに与える影響を少なくする．各機械は運用時間の増加とともに 故障が発生しやすくなり，故障すると修理が必要である．コストのかかる修理を回避し，在庫不足によるライン
停止を避け，かつ在庫もコストがかかるのでなるべく最小限の在庫となるように，運用時間や在庫の量に応じて機械の稼働／待機／メンテナン スのタイミングを制御しなければならない．この問題は SMDP としてモデル化できるが，各機械毎にエージェントを割り当てるマルチエージェント
システムが 用いられている 21) ．トヨタのカンバン 方式等と比較し，優れた制御規則を獲得したとの報告がある．
5. 3

倒立振子の振り上げ安定化

学習システムの解析を行った研究があるが ，多くの場合，理論的解析や最適性を示すことが難しい．そこで，最適性とい う要求を緩和し ，解の合理性を保証するとい うアプ
ローチでマルチエージェント 系の強化学習に適したアルゴ
リズムと解析を示した研究がある 14) ．
4. 6

強化学習アルゴ リズムの階層化

Fig. 8

倒立振子の振り上げ 安定化の動作例

階層的強化学習 (Hierarchical RL) は，大規模な問題を分割して解くという意味においてマルチエージェントと類

階層化と actor-critic に 基づく連続値行動を組み合わせ似しており，様々な方法が提案されている 16) 17) 21) ．マル

ることで，Fig. 8 に示す倒立振子の振り上げ 安定化をゼロ

チエージェントと異なるのは，上位階層が下位階層 (サブから学習し た例が 報告されている 11) ．政策の初期値を教タスク) の知識を再利用または共有する点と，下位階層で師が与え，強化学習によって政策の改善を行うことによりの部分観測性を上位階層でカバーできる点である．

速やかに学習する方法も提案されている 5) ．

6
5. 4

計測と制御

Vol.38 No.10 October

その他の応用例

エレ ベータ群制御

19)，電力網の分散学習制御

17)

，イン

ターネットバナーの最適化 1)など が報告されている．
6.

おわりに

本稿では強化学習を既存の問題へ適用することに重点を置き，問題に合わせたアルゴ リズムを紹介した．しかし ，実問題では「 試行錯誤」が許されない場合が多く，ロボ ッ
トでは満足な動作を獲得する前に壊れてし まうなど 問題も多い．そのため，強化学習に対して批判的な意見があるのも事実だが，教師付き学習との組み合わせなどによって解決されていくものと期待される．さらに 今後，強化学習の使用を前提としたハード ウエア設計がなされれば ，強化学
習のポテンシャルを十分に生かした新しい製品やサービ スが出現する可能性がある．
参

考

文

献

1 ）Abe, N. & Nakamura, A.: Learning to Optimally Schedule Internet Banner Advertisements, Proc. of 16th Int.
Conf. on Machine Learning, pp.12{21 (1999).
2 ）浅田 稔：強化学習の実ロボ ットへの応用とその課題，人工知能学会誌, Vol.12, No.6, pp.831{836 (1997).
3 ）Bertsekas, D.P. & Tsitsiklis, J.N.: Neuro-Dynamic Programming, Athena Scienti c (1996).
4 ）Bradtke,S.J. & Du ,M.O.: Reinforcement Learning
Method for Continuous-Time Markov Decision Problems, Advances in Neural Information Processing Systems 7, pp.393{400 (1994).
5 ）Doya, K.: EÆcient Nonlinear Control with Actor-Tutor
Architecture, Advances in Neural Information Processing Systems 9, pp.1012{1018 (1996).
6 ）堀内 匡，藤野 昭典，片井 修，椹木 哲夫：連続値入出力を扱うファジィ内挿型 Q-learning の提案，計測自動制御学会
論文集, Vol.35, No.2, pp.271{279 (1999).
7 ）Hu, J. & Wellman, M.P.: Multiagent Reinforcement
Learning: Teoretical Framework and an Algorithm, Proceedings of the 15th International Conference on Machine Learning, pp.242{250 (1998).
8 ）木村 元，Kaelbling,L.P.: 部分観測マルコフ決定過程下での強化学習，人工知能学会誌, Vol.12, No.6, pp.822{830(1997).
9 ）Kimura, H. & Kobayashi, S.: An analysis of actor/critic
algorithms using eligibility traces: reinforcement learning with imperfect value function, Proc. of 15th Int.
Conf. on Machine Learning, pp.278{286 (1998).
10 ）木村 元，小林 重信：確率的傾斜法を用いた強化学習とロボットへの適 用，電気学会，電子・情報システム部門誌,
Vol.119, No.8 (1999).
11 ）Kimura, H. & Kobayashi, S.: EÆcient Non-Linear Control by Combining Q-learning with Local Linear Controllers, Proceedings of the 16th International Conference on Machine Learning, pp.210{219 (1999).
12 ）Littman, M.: Markov games as a framework for multiagent reinforcement learning, Proc. of 11th Int. Conf. on
Machine Learning, pp.157{163 (1994).
13 ）三上 貞芳：強化学習のマルチエージェント 系への応用，人工知能学会誌, Vol.12, No.6, pp.845{849 (1997).

1999

14 ）宮崎和光，木村 元，小林重信： Pro t Sharing に基づく強化学習の理論と応用，人工知能学会誌, Vol.14, No.5 (1999
掲載予定).
15 ）Moore A.W. & Atkeson, C.G.: The Parti-game Algorithm for Variable Resolution Reinforcement Learningin Multidimensional State-spaces, Machine Learning 21,
pp.199{233 (1995).
16 ）Parr, R. & Russell, S.: Reinforcement Learning with Hierarchies of Machines, Advances in Neural Information
Processing Systems 10, pp.1043{1049 (1998).
17 ）Schneider,J., Wong,W., Moore,A. & Riedmiller,M.: Distributed Value Functions, Proc. of 16th International
Conference on Machine Learning, pp.371{378 (1999).
18 ）Singh, S., & Bertsekas, D.: Reinforcement Learning for
Dynamic Channel Allocation in Cellular Telephone Systems, Advances in Neural Information Processing Systems 9, pp. 974{980 (1997).
19 ）Sutton, R.S. & Barto, A.: Reinforcement Learning: An
Introduction, A Bradford Book, The MIT Press (1998).
20 ）Tsitsiklis, J.N. & Roy, B.V.: An Analysis of TemporalDi erence Learning with Function Approximation,
IEEE Transactions on Automatic Control, Vol.42, No.5,
pp.674{690 (1997).
21 ）Wang, G. & Mahadevan, S.: Hierarchical Optimizationof Policy-CoupledSemi-Markov Decision Processes, Proceedings of the 16th International Conference on Machine Learning, pp.464{473 (1999).
22 ）Watkins, C.J.C.H. & Dayan, P.: Technical Note: QLearning, Machine Learning 8, pp.279{292 (1992).

［著
木 村

者

紹 介］

元 （ 正会員）

1992 年東京工業大学工学部制御工学科卒業．
1997 年同大学大学院総合理工学研究科知能科学
専攻博士後期課程修了．1998 年 4 月，同大学大学院総合理工学研究科助手，現在に至る．人工知
能，特に強化学習に関する研究に従事．人工知能学会，日本ロボット学会各会員．

宮 崎

和

光 （ 正会員）

1991 年明治大学工学部精密工学科卒業．1996
年東京工業大学大学院総合理工学研究科知能科学
専攻博士後期課程修了．同年 4 月，同研究科助手．
1998 年 4 月，同大学大学院総合理工学研究科リ
サーチアソシエイト，現在に至る．人工知能，特に強化学習に関する研究に従事．人工知能学会，
日本機械学会各会員．
小 林

重

信 （ 正会員）

1974 年東京工業大学大学院博士課程経営工学専攻修了．同年 4 月，同大学工学部制御工学科助
手．1981 年 8 月，同大学大学院総合理工学研究科助教授．1990 年 8 月，教授，現在に至る．問題
解決と推論制御，知識獲得と学習など の研究に従事．人工知能学会，情報処理学会各会員．