解 説

部分観測マルコフ決定過程下での強化学習              
木村元  

東京工業大学  



大学院総合理工学研究科

                                    年  月  日 受理       !   " #     $ $ $ 
除き，計算量的に実行不可能と考えられている．よっ

 は じ

め

て， !

に環境下での強化学習問題は非常に意欲的な課題であると考えられる．
部分観測マルコフ決定過程 %   !$ $ " 

& ! ' における強化学

本論文は， !における強化学習の研究について概説する．まず， !

モデルについて解説

習は，環境に不確実性があるという仮定を出発点としし，問題を解く手がかりとなる重要な特徴について述ている点において有望な適応的な学習制御の枠組であべる．次に， !

におけるいくつかの代表的なる．多くの実世界の制御問題では，不確実性の扱いはエ

強化学習法を紹介し， !

ンジニアにとって頭痛の種である．行動や評価にノイ依存しているのかについて考察する．最後に，紹介しズが存在したり，不十分なセンサのため状態観測に不た手法の利点や欠点について総合的に考察し，今後の確実性や不完全性の存在するシステムのモデルとして，研究の動向について考える．

のど のような特徴に! は特に適している． ! の理論は不確実性のもとでの最適なふるまいを求めるための基礎となる．( 問 題 設 定   )* や ( #    +* は，自動車のナビゲーションにおける位置認識の不確実性を扱うために! のモデルを利用し，共によい結果を得ている．
強化学習もまた，試行錯誤の経験を通して，遅れのある報酬を手がかりにし てシステムの挙動を改善す・

マルコフ決定過程（

離散時間の ）は，状態集合と行動集合  によって構成される．各時間ステップ  において，まずエージェントは現在の状態  を観測し，行動  を実
行し ，環境から直接報酬  を受け取る．これでそのる適応的学習制御の枠組として興味深い．強化学習をステップでのインタラクションは終了し，次の時間ス

用いることにより，システムは設計者の知識の欠落を
テップへ進む．環境は確率 ¼ に従って状態遷移を補ったり，環境の変化に自ら追従できるため，人工知
能の基本的研究分野の一つとなりつつある．多くの強行う．ただし ¼ は，状態  において行動  を実行

したとき ¼ へ遷移する確率を表す．報酬も確率変数

化学習とその理論的な解析では，環境をマルコフ決定

だが，直接報酬の期待値  %' は現在の状態と行動の過程 % " #  &  ' としてモデルみに依存する．マルコフ性の仮定により，状態遷移確しており，状態の観測は完全であることを仮定してい率と報酬は状態  よりも以前の状態に対して独立でた． !

ある．

における強化学習の厳密解法は、残念ながら極端に小さいかあるいは複雑さの小さい問題を 

ある決定的な定常政策 &部分観測マルコフ決定過程下での強化学習  は，それぞれの状
態における行動を割り当てるような写像を表す．エー

Agent

ジェントの学習の目的は，パフォーマンスを最大化す
る最適な政策を求めることである．最適性の評価規範

Observationxとして，無限期間の割引報酬の合計を用いることが多い．ある政策において，,  は以下のように与え

られる．
½



%' -

  - 





.

ただし



Rewardr

Environment(POMDP)½

Actiona図 ! の環境とエージェントとの相互作用．

は割引率と呼ばれ，将来の報酬に対してど の程度割り引いて評価するかを決めるパラ½( #     56*．



%' -  %' /で解け ることが 示されている (4    )$*，は以下の式を満メータである．すべての定常政策
たす．

 

¼



½

%¼ ' ・

¼ ¾

ただし %' は政策のもとで状態  において選択する行動を表す．すべての状態  

において ,  を最大化する政策を最適政策という．すべて
常政策が少なくともつ存在し ，以下のような最適な , つだけ存在する (0 # +.*．

    ，
£
½



%' -

 %' /

1










¼

£
½

%¼ '



 より容易に得ることができる．
状態  において行動  を実行した後，ずっと最適政
策をとり続ける場合の無限期間の割引報酬の期待値を£½% ' と表す．これも同様に以下のような式で表すことができる．
£½% ' -  %' /







¼

¼ ¾

-  %' /





¼

1

¼ ¾
£
½

£
½

を拡張したものである．

有限な観測の集合を  と記す．各時間ステップ  にわりに， %  ' の確率で    を観測する %図 '．
直接報酬より得られる情報も観測の中に明示的に含めることも可能である．エージェントが環境に関する完全なモデルと全ての過去の経験を保持しているとして

 ¼ ¾

最適政策は最適な , ! は，エージェントの状態観測に不確実性を付加することにより 

おいて，エージェントは状態  を直接観測できない代の有限マルコフ決定過程において，最適な決定的定 が部分観測性の付加

も，部分観測性が存在するためにエージェントは現在の状態を完全に確認することは不可能である．しかしながら，エージェントが環境中のど の状態にいるのかを表す確率分布を求めることは可能である．この確率分布は信念 %$ ' と呼ばれる．ある信念  はベクトルで表され，それぞれの要素はエージェントの現在の状態が  である確率を表す %' で構成される．

! の例として，エージェントが  つのド アの前にいる状況を考える (7$  *．片方のド%¼  ¼ ' アの向こうの部屋にはトラがおり，もう片方のド アの%¼ '

¼ ¾

向こうには大きな正の報酬がある．エージェントがトラのいる方のド アを開けてし まうと，トラに襲われて大きな負の報酬を受け取る．
「ド アを開ける」という行

最適な 2 値が与えられると，最適政策はそれぞれ動の他に，トラがどちらにいるのかを知るために「ト£½ラの鳴き声を聞く」という行動をとることもできるが，の状態  において最大の% ' を持つ行動に一致する．

その行動にはコスト（ 負の報酬）がかかり，その上それによって得られる情報も正確ではない．つまり，右・

の解法と計算量側のド アから鳴き声が聞こえてきても，実際にはトラのモデルすなわち状態遷移確率と直接報酬の関数が 与えられ ると，ダ イナミックプログ ラミン
グ % ' に基づく様々なアルゴ リズムを用いて問題を解くことができる．,    法や  3  法はよく知られている． は多項式時間
は左側にいる場合もあるという具合である．この例題の環境では，トラが右にいる状態を  ，左にいる状態「 左のド アを開ける」行動を  ，「トラのを  と記し，，右のド アを開ける」行動を鳴き声を聞く」行動を 「 とする．観測入力として，「 何もわからない」を  ，

人工知能学会誌





8
「右側から鳴き声が聞こえる」を  ，「 右側から鳴き声が聞こえる」を  ，と記す．エージェントが行動 Valueを実行した直後の観測は  または  のど ちらかである．エージェントの最初の時間ステップでは  を観測する．環境の状態遷移規則を以下に示す．エージェ
ントがドアを開けて報酬あるいは罰を受け取った直後，環境はリセットされ，再びトラはどちらかのド アの向こうにランダムに配置され，この直後のエージェントの観測は  となる．よって，行動  または  を実行することによって環境は状態  または  へ確率 .)0Belief b(s),i.e., prob. of being in state s.

で遷移する．トラのいる方のド アを開けた場合の報酬
は  .. で，別のド アを開けると報酬は / . である．

「トラの鳴き声を聞く」行動  を実行すると，報酬は

図  凸型多面体

1"#$%& の '    ．

 となるが，環境の状態は変化しない．トラが右側にいる状態  において「トラの鳴き声を聞く」行動

 を実行すると，確率 .5) で「右側から鳴き声が聞

こえる」 を観測し，確率 . ) で「左側から鳴き声が聞こえる 」 を観測する．トラが左側にいる場合は逆である．このようなトラを避ける問題を例にあげながら， !
する．
〔  〕 信念の有用な特徴について以下に列挙

 は過去の履歴の縮約である

信念 %$ ' は，現在の時点に至るまでのすべての価であるとする．プロセスの期間 %時間ステップ ' が有限でも無限でも，信念状態 %$ ' が確率 %'のベクトルとし て与えられれば，最適な  

3 は下に凸型の関数となる ( #   68*．
最適な 23  も同様に下に凸型の関数となる．凸型となる原因については直観的に以下のように説明できる．信念状態空間の中央部付近の領域は，エージェ
ントが現時点の状態認識について区別のつかない状況を示しており，そこではあまり適切な行動選択ができ

観測と行動の履歴および初期状態分布を利用して行動ないため  

決定する場合において，十分な統計量を持っている．

〔  〕 凸型多面体

つまり，現時点の信念状態が与えられれば，過去の履  における有限期間の最適な   3 は全て凸型の多面体関数 %  #1& 94 ' である %図 '．無限期間の最適な   が厳密に凸型の多面体関数となるような ! のクラスが存在し，それは :;  3< と呼ばれている ( #   68*．また，全ての無限期間の最適な    は任意の精度で凸型の多面体関数で近似可能である (#" 65*．

%' が凸型の多面体関数のとある ,   ½

歴を利用してそれ以上の報酬を得るような行動を得ることはできない． ! の完全なモデルすなわち状
態遷移確率 
¼ および観測の確率  %' が与えられていれば，現時点の観測  とステップ前の信念を用いて，エージェントは常に信念を正しく計算して維持できる．トラの例題では，最初トラがど ちらにいるか全く分からないので，信念 % ' - .) % ' - .)だが，「トラの鳴き声を聞く」行動  を実行した結果「 右側から鳴き声が聞こえる」 を観測したならば ，
確率 .5) でトラが右側にいると考えられるので信念% ' - .5) % ' - . ) となる．
〔

〕 信念空間の

! は，信念 %$ ' を状態空間とした 
の問題 %$  ' へ帰着される．信念状態空間は，

 



½

%' -

1    ¾% 'ただし  は   次元ベクトルの任意の集合である．
最適な 23  も同様に表せる．
〔  〕 信念状態空間の有限離散表現

 で示される超平面によって凸型領域の有限な集合

 と 23へ分割できる ( #   68*．同一領域中の信 を定義できる．ここで，これらの関数のたて
軸を   や 2 値とおき，軸の上方向ほど 好ましい評

念は全て等価である．これにより，状態空間が連続な 

と同様に  き，以下のように表すことができる．

においては，連続的で不加算無限な信念状態の空間は，信念状態空間における  %$  ' においても，通常の  の  

有限期間の場合または :;  < な場合

一般に不加算連続な空間である．
〔  〕 凸型の が下に凸となる．

信念状態の  %$  ' は，離散状態の 

部分観測マルコフ決定過程下での強化学習=Region 2

Region 1

Region 5

Region 4

Region 3

x=1

optimalaction = a1

x=2

x=2

x=2

optimalaction = a2

optimalaction = a2

な近似アルゴ リズムについての研究が行われている
x=1

x=1

  @3  だと言わ  56*．よってより高速

え有限期間であってもれている ( #  

x=0

x=0

optimalaction = a2(4    )*．
optimalaction = a3(a) A state transition diagram of the Markov partition
over the belief space.

 強化学習アルゴリズム
強化学習の枠組では，エージェントは事前に環境

x=0

x=0
Action= a2

Action
= a1
x=2

x=1

に関する知識を持っていない．すなわち，エージェ

x=2
Action= a2

x=2

Action= a2
x=1

Action= a3
x=1(b) A corresponding plan graph.


ント は状 態遷移確率 ¼ や観測の確 率  %' や

報酬の確率  %' についての情報を持っていない．

! のモデルを与えた場合に最適政策を得る計算
  @3  であり，時系列データから隠れマルコフモデルを学習する問題の計算量は A 3> #である ($   * ことより，これらの複合問題
量が図  信念状態空間の有限離散表現の例とプラング ラフ．

である強化学習問題の複雑さは非常に大きいものとなへと変換できる．トラの例題に関する $  をる．複雑さが非常に小さい問題を除き，厳密解を得る

図 8%' に示す．

ことはほとんど不可能に近い．そのため多くのアルゴ〔  〕 プラングラフ

リズムは近似解法である．本章ではこれらのアルゴリ

最適な行動とその直後の観測が与えられると，信念ズムについて概説する．

状態空間中の分割された領域間の状態遷移は決定的である．領域の集合とその間の状態遷移によってプラン

・

メモリレ スな政策の学習

グラフ (7$  * が構成できる．これは，最本節では観測から行動への直接的な写像を政策とし適な政策の行動選択を縮約したものである．プラング

たときに，よい政策を得るための強化学習アルゴ リ

ラフを用いて行動選択を行う場合，信念状態や  

ズムについて紹介する．これは，ノイズを含んだ観測を維持するような計算コストのかかる処理が不要にな入力をそのまま状態入力とする単純な接近法だが，アる．トラの例題に関する $  とそれに対応す

ルゴ リズムは全て極めて単純になり，学習すべきパラるプラングラフを図 8 に示す．
・

!



メータ数も非常に小さくてすむので，パフォーマンス
の改善が早いなど の利点がある．
〔  〕 メモリレ スな決定的政策の解法の正確なモデ ルが 与えられ た場合，

に基づくいくつかのアルゴ リズムが提案されている．

#" の 3 アルゴ リズムや > の 43    アルゴ リズム (4?  *，9 ア
ルゴ リズム ( #    =* は，式 に示すような凸型多面体関数を利用して ,   を求める．(    )* では，連続で微分可能な関数 を近似する方を用いて無限期間の , 
法 % >   !$ $ ,   1 3
&  !,' を提案している．
 や最適政
残念なが ら厳 密な最適 , 
策を求めること は以 下の理 由によ り計算量的に 実
行不可能である．,  を表 すためのベ23  %3 23 ' は動的計画法%#    
& ' に基づく逐次的な強化
学習アルゴ リズムである (9"   *．ここでは，2 値を状態空間の代わりに観測の空間に対して用いることにする．それぞれの時間ステップで以下のよ
うに更新する．

B- /%   ' %   ' /  B 

不完全性の小さな! の環境ならば，このように 23  をそのまま適用してうまくいく場合がある．しかし ，多くの場合においてパフォーマンスがかなり悪くなる．

て指数的に増加するからである．また，与えられた〔%   '

ただし  は非負の学習係数である．観測の不確実性や

クト ル 集合  の要 素数が ，考慮する期 間に 対し! の厳密な最適政策を求める計算量は，たと1 %   ' ¾

〕 メモリレ スな確率的政策! において現在の観測だけから行動を決定

人工知能学会誌





)
する場合には，決定的な政策よりも確率的な政策を用いた方がよい場合があり，さらにその場合の最適性の評価規範として平均報酬が最も適していることが示されている (>   =*．ここで確率的な政策とは，観測から行動出力への確率分布である．平均報酬につ) ' ( ))    
"    &
* 

( 

  ' )

いて局所最適な確率的政策を求める強化学習アルゴリ
ズムとして，モンテカルロ法による政策評価と山登り

図  内部変数パラメータ# を用いて関数表示された確率的政策．

による政策改善を組み合わせた方法が提案されている(C""   =*．モンテカルロ法による政策評価%3     ' は以下の手順で行う．ある確率的政策のもとで行動選択を行い，平均報酬で定義される% ' 値を計算する．現在の行動として  -  を実行したとき，

 % ' - % /

 % ''% '

 % '% ' - % 

 % ''

% ' /

 % ''% ' % '/  % ' %  D'% ' - % 

また， -  の 2 値については，

 % ' % '  % ' % ' -% '



ただし  は非負の学習定数である．

"5& 時間ステップ を 1 + へ進めて + へ戻る．
図  確率的傾斜法による強化学習法の一般形

ジェントの内部変数ベクトルを表す．エージェントは
内部変数  を調節することにより確率的政策% ' /  % ' %  D'

0   "     & 
 " & 0  " & 1
 "  +& 
"2& 以下の式を用いて 3 " & を求める．
3 " & 0 "  &  " & "4& 政策の改善* 以下の式で  を更新
3 " & 0 "3½ " & 3¾ " &   3 " &  &    1 "+  & 3 " & 

 % '/  % ' %  D'

 % ' - %  " &

ただし  は定数である．

% ''"+& 環境の観測  を受けとる．
",& "     & の確率で行動  を実行する．
"-& 環境から報酬  を受け取る．
".& 内部変数  の全ての要素  について以下の  " & と+& である．
 " & を求める．ただし は割引率 "/% '% ' /  % ' %  D' を変えることができる．行動選択確率を表す機構が，例えばニューラルネットならば，内部変数  はリンクの重み変数に相当し，重み付きのルールベースシステム
ならば， はルールの重みに相当する．確率的傾斜法

ただし， % ' は観測3行動のペア % ' の生じたによる強化学習アルゴリズムの一般形を図 ) に示す．

の平均値，容易さなどで利点があり， に基づいていないとい回数を表し， % ' は観測  の生じた回数，D は 
は最終的にはに収束するような割引

これらの手法は並列処理や政策のパラメータ表現の率である．また，確率的政策の改善は以下のように行う特徴がある．これは，状態観測に未知の不確実性がう．同じ観測  の中で存在すると最適性原理が成り立たず， が使えない% ' が最大の値を持つ行動の選択確率を増やすことで政策が改善される．観測ためである．

 において 1 ( % '  % '*  . を満たす限

上記の C"" らの手法のように明示的に  

・ 内部状態表現による政策の学習! の環境において本当に効率的に振舞うた
めには，信念状態 %$ ' と同等なあるいはプの推定を行わずに確率的な傾斜法によって確率的政

ラングラフに相当するような何らかの内部状態表現をり，平均報酬を増加させる方向へ政策が改善されることが保障される．

策を改善する方法も提案されている (9  *用いることが必要である．内部状態表現の違いによっ(7

て様々なアプローチが存在する．

   )*．観測  においてエージェントが行動  を選択する確率を，パラメータ  を用いて関数 %   ' で表す %図 ='．パラ メータ  はエー 

〔  〕 モデルベースによる内部状態表現
予測的区別による接近法 % # #

部分観測マルコフ決定過程下での強化学習



+

Agent
Predictive
ModelInternalStatex1

Q-learnig
action selectorx2

a1

Observationx

Actionaa2
x1

Rewardr
図Environment(POMDP)

Observation at time t

Action at time t-1
x2 Observation at time t-1

木構造で表された過去の履歴．ルートからそれぞれの葉ノードに至るパスが可変長の履歴を表す．

知である．そのため，履歴の長さを固定すると，不必要に大きな状態空間を指数的大きさで生成したり，長図  モデルベースによる内部状態表現．

さの不足のため非マルコフ性を解消できない場合がある．さらに，一般に考慮すべき履歴の長さは，信念状 >'( >   * や    3
  %' ( 
8* では，エージェント内部に環境の ! モデルを生成し，信念状態空間の %$  ' を解くことにより行動決定を行う%図 +'．まずランダ ムに生成した小さな ! モ
デルにおいて，エージェントの経験した時系列データ

態の位置によってまちまちである．例えば，状態観測に不確実性のない状態にいる場合には，過去の経験までさかのぼ って考えることは無意味である．

  Æ1    %'( )$* では，過去の履歴を木構造で表現し，それぞれの葉ノード を内部状態とすることにより，可変長の履歴（図 6 ）を扱を用いてトレーニングを行う．次に， ! モデル

う．それぞれの葉ノードに対する 2 値を 23 について統計的検定を行い， !

の状態をさらで学習させている．この 2 値に関して，7  3に増やすかど うかを決める．状態が足りなかったら，   検定を行い，非マルコフ性が存在する場合に状態を分割して同じことを繰り返す． >   の方はさらに枝を伸ばす．この処理を繰り返すことで，非法と  の方法の違いは，状態が不足していマルコフ性を排除するのに必要かつ十分な履歴の長さ

るかど うかを検定する部分である． >   の方法

を得るものである．また (     6* でも木では，政策と状態遷移確率の独立性を検定しているの構造の可変長の履歴を用いて環境モデルを生成していに対し， 行う．適切な

の方法では 2 値の統計的検定をる．各葉ノード は，別の葉ノード への遷移確率を保持! モデルを生成して $ を計しており，ベイズ統計に基づいて事後確率を最大化す

算した後は， ・ 節と基本的に同じであるが，ただつの線形関数で 2 値を近似する簡便なアルゴリズム

るモデルを選択する．
〔  〕 リカレント ネット ワークによる内部状態表現

Eで対処している．

32 %図 5' では，現時点の状態3行動のペ〕 有限長の過去の履歴による内部状態表現

アをリカレントニューラルネットワークへ入力して信念状態 %$ ' は， ・ 節で述べたよ うて計算される．従って観測と行動の履歴を有限ステッ23 を行う (4   * (9>>#   )*．各時間ス
テップにおける観測3行動入力と直前のステップにおけ

プで打ち切り，そのまま内部状態表現とすれば，信念る時系列的な特徴を用いれば，リカレントニューラル〔 !

に，現在の時点に至るまでの観測と行動の履歴を用い

状態 %$ ' と近似的に同等な表現となることがネットが自動的に新たな時系列的特徴を生成していく期待できる．9#32  >

 (4   *(9>>#   )* では，長さが固定された状態3
行動の履歴を内部表現の状態として 23  を行だろうというアイデアである．これは、現時点の観測う方法を提案している．一般に，非マルコフ性を解消

は時系列の特徴の学習と 2 値の学習の複合問題を同するのに十分な履歴の長さはエージェントにとって未時に扱うことになるため，学習が非常に困難である．

 とステップ前の信念を用いて逐次的に信念状態を更新するのと類似している．しかし，この接近法で人工知能学会誌





6
 "'(E    )* と呼ばれる知識表現を用

Q-value

いた推論を利用する方法が提案されている．このネッQ-net

memoryトワークは，観測データを用いてパラメータを更新していくことにより，事前知識の欠落や誤りを補うこと

Current
Observation

ActionContextual
features(a) Recurrent-Q architecture.
Next
Observation

Next
RewardModelmemoryができる．(F $   )* では，自動車の自動運転の問題を! における強化学習と考え，確率

ネットワークの学習によって信念 %$ ' を生成して強化学習を行った．この事前知識を用いる方法もモデ
ルベースの方法と関係する．

Q-value

Q-net〔  〕 プラングラフによる内部状態表現! のモデル推定や ,  の推定を一切行わずに，最適な政策の行動選択を要約したプラングラフと等価なものを直接探索する試みがある．9  とCurrent
ActionObservation

Contextual
features

Current
ActionObservation(b) Recurrent-model architecture.

> #> $ は 、4G  > と呼ばれる全探索法の一種を用いてプラングラフと等価なプログラムを得るアルゴリズムを提案し，大規模だが複雑さ % 3

1' の低い迷路問題に適用してよい成果をあげて図

リカレントニューラルネットによる内部状態表現．

いる (9    +*．しかし，生成検査法である
ため，問題のクラスに制約があり，状態遷移が決定的
で単にゴ ールを目指す程度の複雑さの問題でないと扱E

3 #  > %図 5$' では ，リカえない．

レント ニューラルネットを用いて次のステップにおける観測の予測を学習すると同時に 2 値を学習する

 考

察

(4   * (9>>#   )*．この接近法では，履歴の特徴について学習する部分と 23  を"

学習できる．履歴の特徴についての学習は，信念状態

・ 仮想的な信念状態
9  らのアルゴ リズムを除いて，内部状態表%$ ' を計算するのに必要な  %' を学習す

現を用いるアルゴ リズムの多くは何らかの方法で信行う部分が別々になっているので，いくらか効率よく間における 23  は信念状態空間の  %$ ' における 23  と等価であるとも考えら

念 %$ ' と等価な機能を持つ仮想的な信念 % #3$ ' を生成し ，それを状態空間とし た仮想信念空間の  % #3$  ' へと問題を変換してれる．よって，リカレントモデルはモデルベースの接いると考えられる．仮想的な信念状態が，現在の時点

近法とも関係する．

に至るまでのすべての観測と行動の履歴および初期状〔  〕 エキスパート の知識を利用した内部状態表現

態分布を利用して行動決定する場合において，十分な大規模な実問題において、何も知識のない初期状態

情報を含んでいれば，真の信念空間の  と等価なから学習を始めることは事実上実行不能である。環境問題へと帰着できるだろう．有限長の経験の履歴を利ることと等価であると考えられる．また，履歴の特徴空の状態遷移や状態観測の確率などに関する知識が利用用する方法は精度よく $  を近似できること

可能な場合には 、できるかぎりこれを用いて網羅探索が期待されるが，それを保証するためにはさらなる解的な試行を極力減らすことが求められる。エージェン

析が必要である．

! モデルを持っている場合，学習問題は ! 下でのプラトが事前に知識として環境の完全な

・ 「次元の呪縛」問題
連続空間の  である $  を離散 

ニングとなる．

! の環境における強化学習問題において，エに近似するため，信念状態空間の離散的な分割を試み

キスパートの知識や既存のデータを効果的に利用する

ると，「次元の呪縛」問題に直面する．信念空間 %$アプローチとして，確率ネットワーク % $$

' は真の状態数を次元の次数とする連続な超空間 "' あるいはベイジアンネットワーク %

であるため，単純に格子状に分割すると状態数が指数 

部分観測マルコフ決定過程下での強化学習5
的に増大する．この問題の回避には，従来の強化学習の知見が応用できる． の  アルゴ リズ

ムは，観測データに基づいて履歴の木構造を生成する
ことで，無駄な内部状態の生成を抑制し，状態空間の爆発を防いでいると考えられる．

・ 内部モデルの学習>   のアルゴ リズムと  の 
ではモデルのパラ メータ更新法として  39>アルゴ リズムを用いている．これ は，ベイジアンネ
ット ワーク (E    )* やリ カレント モデ ル

(9>>#   )* の更新法と類似している．これらの更新は信念状態 %$ ' を計算するためのパラメータ  %' をを学習するのと等価であると考えられる．

・ 凸型  の利用

仮想的な信念を生成するアプ ローチでは， ,  の凸型の性質を利用する方法は皆無である．
その理由は真の信念状態空間と仮想的な信念状態空間の位相空間 % ' の違いによるものと考えられる．一般に，,  の凸型の性質が仮想的な信念状態空間でも成り立つかど うかは不明である．さらに，仮想的な信念を離散表現とする場合が多く，そのとき真の信念のような空間の位相がないことも一因と考えられる．

 お わ り に
本論文では! のいくつかの重要な特徴について簡潔に述べ，いくつかの典型的な強化学習法について概説し ， !

のどんな性質に依存しているのかについて考察した． !

の性質をもっとう

まく利用することにより，今後さらに効率的なアルゴリズムが示されることが期待される．
謝辞

本稿をまとめるにあたり，A@＆

倍直樹さん，   の > E

研究所の安# さん，広島市立大学の末松伸朗さんから重要なコメントをいただきました．ここに感謝の意を表します．

◇ 参

考

文

献 ◇

6()   7,8 () 9 : #    *   %;    %<   ( <   ! )  )  ))  (       ,/2;,4/ "+77,&
6%    7.8 %  ( = : )  $ : $    $* (        ); ')    !               > , +/,-;+/,? "+77.&
6%    748 %  ( = : )  $ :    @ (* (     A   * !  B    );=) 9'          !       "  #$   74-;75, "+774&

6%  7,8 %   $* =     C      *     !    (      %          +?-;+?? "+77,&
6D )   728 D ) @ :  EC : = * B()* C   B (   <&   !          +?5?;+??2 "+772&

6 C 4/8 C  = (* !       '       %)   ;  "+74/&
6@   7.8 @  :     : @ ;   * =   $   (     ; ) ')  ' !  ) ' (   $  #$ )  -.2;
-2, "+77.&
6)   8 )  $  : $    $ :%  ( =*     (      ); ')    !        6)   748 )  $  : $    $:   ( #* =   $  * (  '!(          > . 
,-5;,55 "+774&
6    728    : F   :) * =   $   )   
 %)   !  =C               ,72;-/- "+772&
6$   7,8 $  $ @ :    * =  ; $   #                $(  *' +'   ,5+;,?/ "+77,&
6$  7.)8 $    $*   * ;   $        =     ,       $( *' +'   ,-?;,.2 "+77.&

6$    728 $    $ : %  ( =: )  $ * $       ); ')  '   *                 -4,;-5/ "+772&
6$    72)8 $    $ : !   $ :)  $ *   %<   '   '!  )           - #       "+772&

6$' 7+8 $' # * (  '  (        ) '  ' !  ;   .*    /   .5;42"+77+&
6 % 7-8 % = (* '   ;     C  A  !          %           +7/;+74 "+77-&

人工知能学会誌







6 % 72)8 % = (*   ;B A !      =   $   C                     -?5;-72 "+772&
6   ?,8     * (  '    ); ')  ' !  *     (    $   > ,? 9 +@   +7?,  +;+4
6     ?58    %  :  ; @ 9*  <    '   
$  .*     0,1  ..+;
.2/ "+7?5&
6   728   = : = * ( <        ) ')    !;      &   !
         +/??;+/7.
"+772&6=)  ?78 =)   $ =* (        '                  )) 01 "+7?7&
6=   728 =  B   @ :  EC* $      ))   C  C   ;
 ' )     &  
!          ++.4;++2, "+772&
6    728   = :   *  );)  =) 9'     ) ')  ';       &   !
         +/?/;+/?5"+772&6    7.8    : @  : @   
* $   #    ;      ); ')  ' !     

 年東京工業大学工学部制御工学科卒業．

年

同大学院総合理工学研究科知能科学専攻修士課程修了．
年同専攻博士課程修了．同年 月，日本学術振興会特別研究員．同年 月，東京工業大学大学院総合理
工学研究科  研究員，現在に至る．人工知能，特に強化学習に関する研究を行っている．計測自動制御学会，
日本ロボット学会会員．〈〉  


  !"# $
 "% & ' () *〈+,- '#〉            ,?.;,7, "+77.&

6C   5-8 C  = ! :    @*   %     ) ')  '  '  D    E  .*      +/5+;+/?? "+75-&6  5?8    @*    %    ; ) ')  '   '  G   E * !  %  .*      ,?,;-/. "+75?&
6    758   9 :  ( : $* ( B (     $    9 ; '  '        &           -.7;
-25 "+775&
6#     7,8 #   % @ %  : !  *  9 * 2;$      /  
,57;,7, "+77,&
6#    728 #    ! : $  $ @* =;        ;  '       ),  ,5+;-/4 "+772&
6#     748 #    :  )  @* ';   ! C  $'     =(     ,          2-.;2., "+774&

6# 7,8 # = @*        
DC  (    %    =  $      /   ,,7;,24 "+77,&
著

者

紹
木村

 

介
元（ 正会員）

部分観測マルコフ決定過程下での強化学習