(57)【要約】      （修正有）【課題】環境モデルを明示的に有する、低計算コストの強化学習システム及び強化学習方法を提供する。【解決手段】学習システムは、報酬を得た直前の状態・行動対に至る、一連の状態・行動対の集合をイベント・リストとして、複数のイベント・リストを保持するイベント・リスト・データベース１０５と、状態・行動対を、前記複数のイベント・リストに分類して記憶させるイベント・リスト管理部１０１と、各イベント・リストの要素である状態・行動対の報酬期待値を更新する学習制御部１０７と、を備えている。【選択図】図１
2010073200.tif 000002
【特許請求の範囲】
【請求項１】
報酬を得た直前の状態・行動対に至る、一連の状態・行動対の集合をイベント・リストとして、複数のイベント・リストを保持するイベント・リスト・データベースと、
状態・行動対を、前記複数のイベント・リストに分類して記憶させるイベント・リスト管理部と、
各イベント・リストの要素である状態・行動対の報酬期待値を更新する学習制御部と、を備えた学習システム。
【請求項２】
一時的リスト記憶部をさらに備え、
前記イベント・リスト管理部は、行動が選択されるごとに、状態・行動対を前記一時的リスト記憶部に記憶させ、報酬を得るごとに、前記一時的リスト記憶部に記憶された状態・行動対の集合の内、前記イベント・リスト・データベースに記憶されていない状態・行動対を、前記報酬を得た直前の状態・行動対のイベント・リストの要素として前記イベント・リスト・データベースに記憶させる請求項１に記載の学習システム。
【請求項３】
前記学習制御部は、報酬を得るごとに、前記報酬を得た直前の状態・行動対のイベント・リストの要素である状態・行動対の報酬期待値を、前記報酬の値を使用して更新し、前記報酬を得た直前の状態・行動対のイベント・リスト以外のイベント・リストの要素である状態・行動対の報酬期待値を、報酬の値がゼロであるとして更新する請求項１又は２に記載の学習システム。
【請求項４】
報酬を得た直前の状態・行動対に至る、一連の状態・行動対の集合をイベント・リストとして、複数のイベント・リストを保持するイベント・リスト・データベースと、イベント・リスト管理部と、学習制御部と、を備えた学習システムによる学習方法であって、
前記イベント・リスト管理部が、状態・行動対を、前記複数のイベント・リストに分類して記憶させるステップと、
前記学習制御部が、各イベント・リストの要素である状態・行動対の報酬期待値を更新するステップと、を含む学習方法。
【請求項５】
前記イベント・リスト管理部は、行動が選択されるごとに、状態・行動対を一時的に保持し、報酬を得るごとに、一時的に保持した状態・行動対の集合の内、前記イベント・リスト・データベースに記憶されていない状態・行動対を、前記報酬を得た直前の状態・行動対のイベント・リストの要素として前記イベント・リスト・データベースに記憶させる請求項４に記載の学習方法。
【請求項６】
前記学習制御部は、報酬を得るごとに、前記報酬を得た直前の状態・行動対のイベント・リストの要素である状態・行動対の報酬期待値を、前記報酬の値を使用して更新し、前記報酬を得た直前の状態・行動対のイベント・リスト以外のイベント・リストの要素である状態・行動対の報酬期待値を、報酬の値がゼロであるとして更新する請求項４又は５に記載の学習方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、強化学習による学習システム及び学習方法に関する。
【背景技術】
【０００２】
ロボットなどの機械が学習によって自己の制御規則を目的に合うように改善する学習方法として強化学習が知られている（たとえば、非特許文献１）。さらに、特に生物研究において、環境モデルを明示的に持った強化学習を脳が行なっている可能性が示されている（たとえば、非特許文献２）。環境モデルを明示的に持った強化学習によれば、環境モデルを持たない従来型の強化学習が不得手とする環境の変化に対応することができることや、獲得した行動系列をまとまりとして管理することができることなどの利点がある。
【０００３】
一方で、環境モデルを明示的に持った強化学習は、環境モデルを表す木構造などを探索せねばならず、計算コストが非常に高い。
【０００４】
このように、環境モデルを明示的に有する、低計算コストの強化学習システム及び強化学習方法は開発されていない。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】N. D. Daw & K. Doya, “The computational neurobiology of learning and reward”, Current Opinion in Neurobiology, 2006, 16, pp199-204
【非特許文献２】N. D. Daw, Y. Niv & P. Dayan, “Uncertainty-based competition between prefrontal and dorsolateral striatal systems for behavioral control”, Nature Neuroscience, 2005, 8, pp1704-1711
【発明の概要】
【発明が解決しようとする課題】
【０００６】
したがって、環境モデルを明示的に有して、環境の変化に対応し、獲得した行動系列をまとまりとして管理することができる、低計算コストの強化学習システム及び強化学習方法に対するニーズがある。
【課題を解決するための手段】
【０００７】
本発明による学習システムは、報酬を得た直前の状態・行動対に至る、一連の状態・行動対の集合をイベント・リストとして、複数のイベント・リストを保持するイベント・リスト・データベースと、状態・行動対を、前記複数のイベント・リストに分類して記憶させるイベント・リスト管理部と、各イベント・リストの要素である状態・行動対の報酬期待値を更新する学習制御部と、を備えている。
【０００８】
本発明による学習方法は、報酬を得た直前の状態・行動対に至る、一連の状態・行動対の集合をイベント・リストとして、複数のイベント・リストを保持するイベント・リスト・データベースと、イベント・リスト管理部と、学習制御部と、を備えた学習システムによる学習方法である。本発明による学習方法は、前記イベント・リスト管理部が、状態・行動対を、前記複数のイベント・リストに分類して記憶させるステップと、前記学習制御部が、各イベント・リストの要素である状態・行動対の報酬期待値を更新するステップと、を含む。
【０００９】
本発明の学習システム及び学習方法によれば、報酬を得た直前の状態・行動対に至る、一連の状態・行動対の集合をイベント・リストとして、状態・行動対を複数のイベント・リストに分類して記憶させる。結果として、報酬を得た直前の状態・行動対ごとの環境モデルが作成される。したがって、本発明の学習システム及び学習方法は、環境の変化に対応することができ、獲得した行動系列をまとまりとして、すなわちイベント・リストとして管理することができる。
【００１０】
本発明の実施形態によれば、前記イベント・リスト管理部は、行動が選択されるごとに、状態・行動対を一時的に保持し、報酬を得るごとに、一時的に保持した状態・行動対の集合の内、前記イベント・リスト・データベースに記憶されていない状態・行動対を、前記報酬を得た直前の状態・行動対のイベント・リストの要素として前記イベント・リスト・データベースに記憶させる。
【００１１】
本実施形態によれば、状態・行動対を複数のイベント・リストに効率的に分類して記憶させることができる。
【００１２】
本発明の実施形態によれば、前記学習制御部は、報酬を得るごとに、前記報酬を得た直前の状態・行動対のイベント・リストの要素である状態・行動対の報酬期待値を、前記報酬の値を使用して更新し、前記報酬を得た直前の状態・行動対のイベント・リスト以外のイベント・リストの要素である状態・行動対の報酬期待値を、報酬の値がゼロであるとして更新する。
【００１３】
本実施形態によれば、イベント・リストごとに、そのイベント・リストの要素である状態・行動対の報酬期待値を効率的に更新することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態による学習システムを含む装置の構成を示す図である。
【図２】イベント・リスト・データベースのデータ構造を説明するための図である。
【図３】イベント・リスト管理部の動作を説明するための流れ図である。
【図４】学習システムの動作を説明するための流れ図である。
【図５】行動選択部の動作を説明するための流れ図である。
【図６】第１のシミュレーション環境であるマルコフ決定過程（ＭＤＰ：Markov Decision Process）を説明するための図である。
【図７】第２のシミュレーション環境である高次マルコフ決定過程（ＨＯＭＤＰ：  High Order Markov Decision Process）を説明するための図である。
【図８】本発明の実施形態による学習システムと従来の学習システムのシミュレーション結果を示す図である。
【発明を実施するための形態】
【００１５】
図１は、本発明の一実施形態による学習システム１００を含む装置２００の構成を示す図である。装置２００は、たとえばロボットであってもよい。装置２００は、情報取得部２０１、取得情報処理部２０３、行動選択部２０５、行動出力部２０７、スーパーバイザ２０９及び学習システム１００を含む。
【００１６】
情報取得部２０１は、環境３００から入力情報を取得し、装置２００自身の状態情報を取得する。装置２００がロボットである場合に、情報取得部２０１は、カメラを含み、該カメラによって撮影した環境３００の画像によって、環境３００の情報を取得してもよい。また、情報取得部２０１は、ロボットの位置及び向きを含む、装置２００の状態情報を取得してもよい。情報取得部２０１は、取得したこれらの情報を取得情報処理部２０３に送る。
【００１７】
取得情報処理部２０３は、環境及び自己の状態情報に基づいて、装置２００のおかれた状態を予め定めた複数の状態のいずれかに分類する。
【００１８】
学習システム１００は、装置２００のおかれた状態において、装置２００が選択した行動を状態・行動対として記憶し、その結果の報酬にしたがって、状態・行動対の報酬期待値を学習する。ここで、報酬は、情報取得部２０１が取得した情報に基づいて取得情報処理部２０３によって定められる。学習システム１００は、イベント・リスト管理部１０１、一時的リスト記憶部１０３、イベント・リスト・データベース１０５及び学習制御部１０７を含む。イベント・リスト管理部１０１は、一時的リスト記憶部１０３及びイベント・リスト・データベース１０５に状態行動・対を記憶させる。学習制御部１０７は、報酬にしたがって、状態・行動対ごとの報酬期待値を学習し、イベント・リスト・データベース１０５に、状態・行動対と関連付けて記憶させる。学習システム１００の詳細は、後で説明する。
【００１９】
行動選択部２０５は、取得情報処理部２０３から装置２００のおかれた状態を受け取り、その状態に対して、状態・行動対と関連付けてイベント・リスト・データベース１０５に記憶された報酬期待値が最大の行動を最大の確率で選択する。
【００２０】
行動出力部２０７は、行動選択部２０５の選択した行動を出力する。行動の結果としての環境３００の変化は、情報取得部２０１によって情報として取得される。
【００２１】
スーパーバイザ２０９は、装置２００のおかれた状態に対して最速で報酬が得られるような一連の行動を教示する。学習の初期の段階において学習システム１００の学習を援助するのに使用される。
【００２２】
本発明の実施形態による学習システム１００は、状態・行動対を、報酬を得た直前の状態・行動対ごとの集合に分類し、上記集合ごとに状態・行動対を記憶し、その状態・行動対の報酬期待値を学習することを特徴とする。報酬を得た直前の状態・行動対ごとの集合として状態・行動対を記憶し、その状態・行動対の報酬期待値を学習することは、報酬を得た直前の状態・行動対ごとの環境モデルを作成することに対応する。したがって、本実施形態による学習システム１００は、環境の変化に対応することができ、獲得した行動系列をまとまりとして管理することができる。以下に詳細に説明する。
【００２３】
ここで、報酬期待値Ｒは、以下の式で表せる。
【数１】
2010073200.tif 000003
式(１)において、Ｅ［｜］は条件付期待値を表す。
【００２４】
ｓｔは、時刻ｔで観測された状態を表す。観測される状態は複数有り、それぞれ、たとえば
ｓ０，ｓ１，・・・，ｓｉ，・・・ｓｎ
と表せる。時刻ｔにおいて、これらのうちの一つを実際に観察し、これをｓｔと表す。
【００２５】
ａｔは、時刻ｔに選択した行動を表す。選択の対象となる行動は複数有り、それぞれ、たとえば
ａ０，ａ１，・・・，ａｉ，・・・ａｎ
と表せる。時刻ｔにおいて、これらのうちの一つを実際に選択し、これをａｔと表す。
【００２６】
ｒｔ＋ｋは時刻ｔ＋ｋで得る報酬である。
【００２７】
γは、割引率と呼ばれるパラメータである。
【００２８】
式(１)は、以下のように変形することができる。
【数２】
2010073200.tif 000004
【００２９】
ｐ（ｋ｜・・・）は、エピソードが現在時刻からｋステップ後に終端に達する確率である。ここで、「エピソード」とは、ある状態において行動が選択される結果、順次生じる一連の状態の中の一つの状態を指し、「終端」とは、上記一連の状態の最後の状態を指す。報酬を得た場合や、行動の選択が中断された場合に、状態は最後の状態に達する。
【００３０】
（Ｓ，Ａ）は、（ｓｔ＋ｋ−１，ａｔ＋ｋ−１）を表し、報酬ｒｔ＋ｋを得る直前の状態・行動対である。時刻ｔで状態ｓｔを観測し、行動ａｔをとった場合の状態・行動対を（ｓｔ，ａｔ）と表す。
【００３１】
Ｅ（Ｓ，Ａ）[・｜・・]は、報酬を得た直前の状態・行動対（Ｓ，Ａ）によって分割された報酬期待値の部分を表し、部分期待値と呼称する。
【００３２】
式（２）は、報酬期待値が部分期待値の和で表せることを示す。また、全ての状態・行動対（ｓｉ，ａｊ）が複数の（Ｓ，Ａ）のグループに分類できることを示す。そこで、上記のように、状態・行動対を、報酬を得た直前の状態・行動対ごとの集合に分類し、上記集合ごとに状態・行動対を記憶し、その状態・行動対の報酬期待値を学習することが可能となる。
【００３３】
図２は、イベント・リスト・データベース１０５のデータ構造を説明するための図である。図２において、（Ｓ，Ａ）ｎは、報酬を得た直前の状態・行動対を示す。Ｓ及びＡは、報酬を得た直前の状態及び行動を示し、ｎは、報酬を得た直前の状態・行動対の番号を示す。（Ｓ，Ａ）ｎは、（Ｓ，Ａ）ｎにいたるまでの一連の状態・行動対とともに集合を形成する。この集合をイベント・リストと呼称する。（ｓｉ，ａｊ）は、イベント・リストに含まれる状態・行動対を示す。ｓ及びａは、それぞれ状態及び行動を示す。ｉ及びｊは、それぞれ状態ｓ及び行動ａの番号を示す。（ｓｉ，ａｊ）に関連付けてその状態・行動対の報酬期待値Ｅ［ｒ］ｐがイべント・リストに記憶される。ｒは報酬を示し、ｐは、報酬期待値の番号を示す。
【００３４】
このように、イベント・リスト・データベース１０５は、報酬を得た直前の状態・行動対１０５１ごとに分類されている。イベント・リストは、報酬を得た直前の状態・行動対１０５１、状態・行動対１０５１に至る一連の状態・行動対１０５３、及びイベント・リストの要素である状態・行動対（ｓｉ，ａｊ）に関連付けられる報酬期待値Ｅ［ｒ］ｐを含む。報酬期待値Ｅ［ｒ］ｐは前記の「部分期待値」に対応する。
【００３５】
ここで、ある状態・行動対（ｓｉ，ａｊ）が、複数の、報酬を得た直前の状態・行動対（Ｓ，Ａ）のイベント・リストに含まれることがある。この場合にその状態・行動対（ｓｉ，ａｊ）の報酬期待値は、複数の状態・行動対（Ｓ，Ａ）のイベント・リストに含まれるその状態・行動対（ｓｉ，ａｊ）の報酬期待値の和である。
【００３６】
図３は、イベント・リスト管理部１０１の動作を説明するための流れ図である。
【００３７】
図３のステップＳ１０５において、イベント・リスト管理部１０１は、行動選択部２０５から状態・行動対（ｓｉ，ａｊ）を受け取ったかどうか判断する。ここで、行動選択部２０５は、行動を選択するごとに状態・行動対（ｓｉ，ａｊ）をイベント・リスト管理部１０１に送る。状態・行動対（ｓｉ，ａｊ）を受け取っていればステップＳ１１０に進む。状態・行動対（ｓｉ，ａｊ）を受け取っていなければ、ステップＳ１１５に進む。
【００３８】
図３のステップＳ１１０において、イベント・リスト管理部１０１は、状態・行動対（ｓｉ，ａｊ）を一時的リスト記憶部１０３に記憶させる。
【００３９】
図３のステップＳ１１５において、イベント・リスト管理部１０１は、取得情報処理部２０３から報酬を受け取ったかどうか判断する。ここで、取得情報処理部２０３は、行動出力部２０７が行動を出力してから所定の時間経過後に情報取得部２０１が取得した情報に基づいて報酬を定め、イベント・リスト管理部１０１に送る。報酬を受け取っていればステップＳ１２０に進む。報酬を受け取っていなければ、所定の時間経過後ステップＳ１０５に戻る。
【００４０】
図３のステップＳ１２０において、イベント・リスト管理部１０１は、一時的リスト記憶部１０３に最後に記憶された状態・行動対（ｓｉ，ａｊ）を、報酬を得た直前の状態・行動対（Ｓ，Ａ）とする。
【００４１】
図３のステップＳ１２５において、イベント・リスト管理部１０１は、イベント・リスト・データベース１０５に（Ｓ，Ａ）が存在するかどうか判断する。（Ｓ，Ａ）が存在すれば、ステップＳ１３５に進む。（Ｓ，Ａ）が存在しなければ、ステップＳ１３０に進む。
【００４２】
図３のステップＳ１３０において、イベント・リスト管理部１０１は、（Ｓ，Ａ）をイベント・リスト・データベース１０５に記憶させる。
【００４３】
図３のステップＳ１３５において、イベント・リスト管理部１０１は、一時的リスト記憶部１０３に記憶された状態・行動対（ｓｉ，ａｊ）のそれぞれが、イベント・リスト・データベース１０５の（Ｓ，Ａ）のイベント・リストに含まれるかどうか判断する。（Ｓ，Ａ）のイベント・リストに含まれれば、ステップＳ１４５に進む。（Ｓ，Ａ）のイベント・リストに含まれなければ、ステップＳ１４０に進む。
【００４４】
図３のステップＳ１４０において、イベント・リスト管理部１０１は、（Ｓ，Ａ）のイベント・リストに含まれていない状態・行動対（ｓｉ，ａｊ）を（Ｓ，Ａ）のイベント・リストに追加する。このとき、追加される状態・行動対の数は、あらかじめ決められた数を上限とする。
【００４５】
図３のステップＳ１４５において、イベント・リスト管理部１０１は、一時的リスト記憶部１０３に記憶された全ての状態・行動対（ｓｉ，ａｊ）についてステップＳ１３５の処理を行ったかどうか判断する。全ての状態・行動対（ｓｉ，ａｊ）についてステップＳ１３５の処理を行っていれば、ステップＳ１５０に進む。全ての状態・行動対（ｓｉ，ａｊ）についてステップＳ１３５の処理を行っていなければ、ステップＳ１３５に戻る。
【００４６】
図３のステップＳ１５０において、イベント・リスト管理部１０１は、一時的リスト記憶部１０３に記憶された全ての状態・行動対（ｓｉ，ａｊ）をクリア（消去）する。
【００４７】
図４は、学習システム１００の学習制御部１０７の動作を説明するための流れ図である。
【００４８】
図４のステップＳ２０５において、学習制御部１０７は、取得情報処理部２０３から報酬またはエピソード終了の通知を受け取ったかどうか判断する。ここで、取得情報処理部２０３は、行動出力部２０７が行動を出力してから所定の時間経過後に情報取得部２０１が取得した情報に基づいて報酬を定め、学習制御部１０７に送る。また、取得情報処理部２０３は、何らかの理由によりエピソードが終端に達したした場合に、エピソード終了の通知を学習制御部１０７に送る。報酬またはエピソード終了の通知を受け取った場合には、ステップＳ２１０に進む。報酬またはエピソード終了の通知を受け取らなかった場合には、所定の時間経過後ステップＳ２０５に戻る。
【００４９】
図４のステップＳ２１０において、学習制御部１０７は、直近で報酬を得た直前の状態・行動対（Ｓ，Ａ）のイベント・リストにおける状態・行動対（ｓｉ，ａｊ）の報酬期待値を以下の式によって更新する。
【数３】
2010073200.tif 000005
【００５０】
ここで、αは学習定数と呼ばれるパラメータであり、０と１の間の定数である。
【００５１】
Ｔｖは、以下の式によって与えられる。
【数４】
2010073200.tif 000006
【００５２】
ここで、τは、状態ｓｉにおいて行動ａｊが選択されて、状態・行動対（ｓｉ，ａｊ）が、実際に生じた時刻である。
【００５３】
図４のステップＳ２１５において、学習制御部１０７は、直近で報酬を得た直前の状態・行動対以外の（Ｓ，Ａ）のイベント・リストにおける状態・行動対（ｓｉ，ａｊ）の報酬期待値を式（３）にしたがって更新する。この場合に目標値Ｔｖはゼロとする。エピソード終了の通知を受け取った場合には、目標値Ｔｖはゼロとして全ての（Ｓ，Ａ）のイベント・リストにおける状態・行動対（ｓｉ，ａｊ）の報酬期待値を式（３）にしたがって更新する。
【００５４】
このようにして、報酬を得た直前の状態・行動対にしたがってグループ分けされたイベント・リストごとに報酬期待値が更新される。
【００５５】
図５は、行動選択部２０５の動作を説明するための流れ図である。
【００５６】
図５のステップＳ３０５において、行動選択部２０５は、取得情報処理部２０３から現在の状態を受け取る。ここで、取得情報処理部２０３は、学習制御部１０７に報酬を送り、学習制御部１０７が報酬期待値を更新したことを確認した後に行動選択部２０５に状態を送ってもよい。
【００５７】
図５のステップＳ３１０において、行動選択部２０５は、イベント・リスト・データベース１０５から、現在の状態を有する状態・行動対を選び、さらにその状態・行動対の報酬期待値が最大の状態・行動対を選ぶ。上述のように、複数のイベント・リストに、現在の状態を有する状態・行動対が含まれる場合には、複数のイベント・リストのその状態・行動対の報酬期待値の和をその状態・行動対の報酬期待値とする。
【００５８】
図５のステップＳ３１５において、行動選択部２０５は、選択した状態・行動対の行動を行動出力部２０７に送り、選択した状態・行動対をイベント・リスト管理部１０１に送る。
【００５９】
つぎに、本発明の実施形態による学習システム１００の機能を確認するためのシミュレーション実験について説明する。シミュレーション実験には第１のシミュレーション環境及び第２のシミュレーション環境を準備する。
【００６０】
図６は、第１のシミュレーション環境であるマルコフ決定過程（ＭＤＰ：Markov Decision Process）を説明するための図である。選択しうる行動は、ａ０，ａ１，・・・ａ９の１０個である。ｓ０の状態を観測してから、ａ０からａ９の順に行動を選択すると、報酬ｒ＝１が与えられる。しかし、各遷移は確率的である。ｓ０からｓ１へは確率０．３で遷移する。その他の場合は、確率０．９で遷移する。さらに、各状態に対して観測できる信号は２個存在する。たとえば、ｓ０に対しては、Ｏ００とＯ０１の信号が存在し、いずれかが確率０．５で観測される。したがって、報酬を得るまでの観測信号の出現の組み合わせは、２１０＝１０２４通りである。
【００６１】
図７は、第２のシミュレーション環境である高次マルコフ決定過程（ＨＯＭＤＰ：High Order Markov Decision Process）を説明するための図である。選択しうる行動は、ａ０，ａ１，・・・ａ９の１０個であり、そのうち報酬に関係するのはａ０，ａ１，・・・ａ５の６個である。本過程は、過程Ａと過程Ｂとを含む。過程Ａで報酬を得た場合につぎに報酬を得るためには過程Ｂを選択する必要があり、過程Ｂで報酬を得た場合につぎに報酬を得るためには過程Ａを選択する必要がある。すなわち、同じ観測信号に対して、過程Ａと過程Ｂで異なる行動を選択する必要がある。この場合も各遷移は確率的である。過程Ａにおいて、ｓ０からｓ２へは確率０．３で遷移する。その他の場合は、確率０．９で遷移する。過程Ｂにおいて、ｓ１からｓ２へは確率０．３で遷移する。その他の場合は、確率０．９で遷移する。さらに、各状態に対して観測できる信号は２個存在する。たとえば、ｓ０に対しては、Ｏ００とＯ０１の信号が存在し、いずれかが確率０．５で観測される。
【００６２】
以下に、上記のシミュレーション環境を使用したシミュレーション実験の手順について説明する。最初に、環境をＨＯＭＤＰのシミュレーション環境として、最初の１０回の試行（トライアル）において、スーパーバイザ２０９が行動選択部１０７に、最速で報酬が得られるような一連の行動を教示する。この間に学習システム１００は、学習を行なう。しかし、この間に全ての行動パターンを学習することはできない。
【００６３】
つぎに２５１試行目からは、環境をＭＤＰのシミュレーション環境とし、２６０試行目までは、スーパーバイザ２０９が行動選択部１０７に、最速で報酬が得られるような一連の行動を教示する。この間に学習システム１００は、学習を行なう。しかし、この間に全ての行動パターンを学習することはできない。
【００６４】
つぎに、５０１試行目からは、環境を再びＨＯＭＤＰのシミュレーション環境とする。スーパーバイザ２０９による教示は行なわない。したがって、学習システム１００は、突然変化した環境に対応する必要がある。
【００６５】
つぎに、７５１試行目からは、環境を再びＭＤＰのシミュレーション環境とする。スーパーバイザ２０９による教示は行なわない。したがって、学習システム１００は、突然変化した環境に対応する必要がある。
【００６６】
図８は、本発明の実施形態による学習システムと従来の学習システムのシミュレーション結果を示す図である。図８のグラフの横軸は、試行回数を示す。試行回数は、１０００回であり、上述のように、ＨＯＭＤＰ、ＭＤＰ、ＨＯＭＤＰ、ＭＤＰの順にシミュレーション環境を変化させながら２５０回ずつ試行を行う。図８のグラフの縦軸は、報酬にいたるステップの平均数を示す。平均は、上記の１０００回の試行を一組として２０００組の平均である。ここで、ステップとは、行動の選択を指す。すなわち、ステップの数とは、選択された行動の数である。各試行は、直前の試行の最終状態から開始し、学習システムが報酬を得るか、報酬を得ずにステップ数が１００回に達した場合に終了する。
【００６７】
図８のグラフにおいて、太い線は、本発明の学習システムを示す。図８中においては、本発明と表記した。細い線は、従来の適格度トレース付きのＳＡＲＳＡ（State-Action-Reward-State-Action）学習則を使用した学習システムを示す。図８中においては、従来例と表記した。適格度トレースのパラメータλは、０．７である。また、直線は、最速のステップ数を示す。図８中においては、理想値と表記した。
【００６８】
本発明の学習システムにおいて、式（３）の学習定数αは、０．０５とし、式（１）の割引率γは、０・９５とした。従来例の学習システムにおいて、上記と同じ数値を使用すると性能が低下したので、学習定数αは０．１とし、割引率γは、０．９とした。
【００６９】
図８のグラフが示すように、従来例においては、２回目のＨＯＭＤＰの最終的な平均数は、約４５回であり、１回目のＨＯＭＤＰの最終的な平均数（約３５回）よりも大きい。また、２回目のＭＤＰの最終的な平均数は、約４０回であり、１回目のＭＤＰの最終的な平均数（約３５回）よりも大きい。これに対して、本発明においては、１回目のＨＯＭＤＰ、１回目のＭＤＰ、２回目のＨＯＭＤＰ、２回目のＭＤＰの最終的な平均数は全て約３０回である。
【００７０】
従来例においては、変化前の環境の学習結果が変化後の環境の学習に影響を与え、学習の速度が低下している。しかし、本発明においては、環境が変化しても学習の速度が低下することはない。また、本発明の各環境における平均数も、従来例の平均数よりも小さく、本発明の各環境における学習も従来例より優れている。
【００７１】
このように本発明の学習システムは、環境の変化に対応する学習及び同一の環境における学習において、従来のＳＡＲＳＡ（State-Action-Reward-State-Action）学習則を使用した学習システムよりも優れている。また、本発明の学習システムは、複雑な構造の環境モデルを使用しないので計算コストを低く抑えることができる。
【符号の説明】
【００７２】
１００…学習システム、１０１…イベント・リスト管理部、１０３…一時的リスト記憶、１０５…イベント・リスト・データベース、１０７…学習制御部
【図１】
2010073200.tif 000007
【図２】
2010073200.tif 000008
【図３】
2010073200.tif 000009
【図４】
2010073200.tif 000010
【図５】
2010073200.tif 000011
【図６】
2010073200.tif 000012
【図７】
2010073200.tif 000013
【図８】
2010073200.tif 000014