(57)【要約】      （修正有）【課題】事前の知識なしに実環境中の他者に応用することが可能で、学習効率の高い強化学習システム及び強化学習方法を提供する。【解決手段】状態ごとに求めた行動価値に基づいて行動を選択し実行する装置において、行動価値を学習するために、ｎ個の行動価値Ｑ１、・・・Ｑｎを学習するｎ個の行動価値学習器と、その出力に基づいて、状態ごとに行動価値Ｑを求める行動価値決定器とを備え、第１の行動価値学習器の第１の目標値は、行動を実施した後、次の状態までに得られる報酬ｒ及び次の状態に選択される行動価値Ｑ’から定め、第１の行動価値学習器１０３は、第１の目標値を使用して、第１の行動価値Ｑ１を更新し、２以上のｎに対して、第ｎの行動価値学習器１０７の第ｎの目標値は、第ｎ−１の行動価値学習器の第ｎ−１の目標値と出力値Ｑｎ−１との差とし、第ｎの行動価値学習器は、第ｎの目標値を使用して、第ｎの行動価値Ｑｎを更新する。【選択図】図５
2010287131.tif 000002
【特許請求の範囲】
【請求項１】
装置の状態を所定の複数の状態のいずれかに分類し、状態ごとに求めた行動価値に基づいて行動を選択し実行する装置において、行動価値を学習する学習制御システムであって、
ｎを正の整数として、第１から第ｎまでのｎ個の行動価値Ｑ１、・・・Ｑｎを学習する第１から第ｎまでのｎ個の行動価値学習器と、
前記ｎ個の行動価値学習器の出力に基づいて、状態ごとに行動価値Ｑを求める行動価値決定器と、を備え、
第１の行動価値学習器の第１の目標値は、行動を実施した後、次の状態までに得られる報酬ｒ及び次の状態に選択される行動価値Ｑ’から定め、第１の行動価値学習器は、第１の目標値を使用して、第１の行動価値Ｑ１を更新し、
２以上のｎに対して、第ｎの行動価値学習器の第ｎの目標値は、第ｎ−１の行動価値学習器の第ｎ−１の目標値と出力値Ｑｎ−１との差とし、第ｎの行動価値学習器は、第ｎの目標値を使用して、第ｎの行動価値Ｑｎを更新する、学習制御システム。
【請求項２】
第ｎの行動価値学習器（ｎは２以上）において、学習係数をαｎ、第ｎの目標値をＴｎ、行動価値Ｑｎの更新量をΔＱｎとして、
【数１】
2010287131.tif 000019
と表せる、請求項１に記載の学習制御システム。
【請求項３】
装置の状態を所定の複数の状態のいずれかに分類し、状態ごとに求めた行動価値に基づいて行動を選択し実行する装置において、行動価値を学習する学習制御システムであって、
ｎを正の整数として、第１から第ｎまでのｎ個の行動価値Ｑ１、・・・Ｑｎを学習する第１から第ｎまでのｎ個の行動価値学習器と、
前記ｎ個の行動価値学習器の出力に基づいて、状態ごとに行動価値Ｑを求める行動価値決定器と、を備え、
全体の目標値は、行動を実施した後、次の状態までに得られる報酬ｒ及び次の状態に選択される行動価値Ｑ’から定め、
第ｎの行動価値学習器の第ｎの目標値は、前記全体の目標値から自身以外の行動価値学習器で学習した行動価値の和を差し引いた値とし、第ｎの行動価値学習器は、第ｎの目標値を使用して、第ｎの行動価値Ｑｎを更新する、学習制御システム。
【請求項４】
第ｎの行動価値学習器において、学習係数をαｎ、第ｎの目標値をＴｎ、行動価値Ｑｎの更新量をΔＱｎとして、
【数２】
2010287131.tif 000020
と表せる、請求項３に記載の学習制御システム。
【請求項５】
前記装置は、環境、他者及び自己の情報に基づいて、前記装置の状態を所定の複数の状態のいずれかに分類し、前記報酬ｒを求める請求項１から４のいずれかに記載の学習制御システム。
【請求項６】
前記他者が行動を行わなかった場合の、前記他者の状態を予測する静的他者状態予測手段をさらに含み、過去において前記静的他者状態予測手段によって予測された前記他者の状態と、外部情報による他者の状態との差から、前記他者の行動を抽出する、請求項５に記載の学習制御システム。
【請求項７】
装置の状態を所定の複数の状態のいずれかに分類し、状態ごとに求めた行動価値に基づいて行動を選択し実行する装置において、
ｎを正の整数として、第１から第ｎまでのｎ個の行動価値Ｑ１、・・・Ｑｎを学習し、  前記ｎ個の学習された行動価値に基づいて、状態ごとに行動価値Ｑを学習する学習制御方法であって、
第１の行動価値Ｑ１の第１の目標値は、行動を実施した後、次の状態までに得られる報酬ｒ及び次の状態に選択される行動価値Ｑ’から定め、第１の目標値を使用して、第１の行動価値Ｑ１を更新し、
２以上のｎに対して、第ｎの行動価値Ｑｎの第ｎの目標値は、第ｎ−１の行動価値Ｑｎ−１の第ｎ−１の目標値と出力値Ｑｎ−１との差とし、第ｎの目標値を使用して、第ｎの行動価値Ｑｎを更新する、学習制御方法。
【請求項８】
第ｎの行動価値Ｑｎ（ｎは２以上）について、学習係数をαｎ、第ｎの目標値をＴｎ、行動価値Ｑｎの更新量をΔＱｎとして、
【数３】
2010287131.tif 000021
と表せる、請求項７に記載の学習制御方法。
【請求項９】
装置の状態を所定の複数の状態のいずれかに分類し、状態ごとに求めた行動価値に基づいて行動を選択し実行する装置において、
ｎを正の整数として、第１から第ｎまでのｎ個の行動価値Ｑ１、・・・Ｑｎを学習し、  前記ｎ個の学習された行動価値に基づいて、状態ごとに行動価値Ｑを学習する学習制御方法であって、
全体の目標値は、行動を実施した後、次の状態までに得られる報酬ｒ及び次の状態に選択される行動価値Ｑ’から定め、
第ｎの行動価値学習器の第ｎの目標値は、前記全体の目標値から自身以外の行動価値学習器で学習した行動価値の和を差し引いた値とし、第ｎの目標値を使用して、第ｎの行動価値Ｑｎを更新する、学習制御方法。
【請求項１０】
第ｎの行動価値Ｑｎについて、学習係数をαｎ、第ｎの目標値をＴｎ、行動価値Ｑｎの更新量をΔＱｎとして、
【数４】
2010287131.tif 000022
と表せる、請求項９に記載の学習制御方法。
【請求項１１】
環境、他者及び自己の情報に基づいて、前記装置の状態を所定の複数の状態のいずれかに分類し、前記報酬ｒを求める請求項７から９のいずれかに記載の学習制御方法。
【請求項１２】
前記他者が行動を行わなかった場合の、前記他者の状態を予測し、過去において予測された前記他者の状態と、外部情報による他者の状態との差から、前記他者の行動を抽出された他者の行動として抽出する、請求項１１に記載の学習制御方法。
【請求項１３】
同時刻に得た入力情報のみに基づいて定めた前記他者の状態から決定した行動価値Ｑkと、同時刻に得た入力情報のみに基づいて定めた前記他者の状態に加え、前記抽出された他者行動を用いることにより決定した行動価値Ｑk’とを使用して学習を行なう請求項１２に記載の学習制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、強化学習を使用した学習制御システム及び学習制御方法に関する。
【背景技術】
【０００２】
人間や動物など他者の行動規則を学習して自己の制御規則を目的に合うように改善する学習方法として強化学習が知られている（たとえば、特許文献１）。強化学習は、たとえば、未知の環境下でのロボットの行動獲得に使用される。しかし、強化学習は学習効率が低く、学習に時間がかかるという問題を有する。
【０００３】
一方で、強化学習を行う際に他者のとりうる行動の種類を予め想定した上で学習を行うことで学習効率を高めたマルチエージェント強化学習（ＭＡＲＬ）が開発されている（たとえば、特許文献２）。しかし、ＭＡＲＬを使用するためには、他者の行動の種類が既知でなければならず、ＭＡＲＬにおいては、他者を観察することによって得られた情報のみから学習することはできない。このように、ＭＡＲＬは、事前の知識がなく、他者の行動の種類が特定できない場合には応用できないので、実環境中の他者に応用するのは困難である。
【０００４】
このように、事前の知識なしに実環境中の他者に応用することが可能で、学習効率の高い強化学習システム及び強化学習方法は開発されていない。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許３４６５２３６号公報
【特許文献２】特開２０００−２０４９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
したがって、事前の知識なしに実環境中の他者に応用することが可能で、学習効率の高い強化学習システム及び強化学習方法に対するニーズがある。
【課題を解決するための手段】
【０００７】
本発明による学習制御システムは、装置の状態を所定の複数の状態のいずれかに分類し、状態ごとに求めた行動価値に基づいて行動を選択し実行する装置において、行動価値を学習する学習制御システムである。本発明による学習制御システムは、ｎを正の整数として、第１から第ｎまでのｎ個の行動価値Ｑ１、・・・Ｑｎを学習する第１から第ｎまでのｎ個の行動価値学習器と、前記ｎ個の行動価値学習器の出力に基づいて、状態ごとに行動価値Ｑを求める行動価値決定器と、を備える。本発明による学習制御システムにおいて、第１の行動価値学習器の第１の目標値は、行動を実施した後、次の状態までに得られる報酬ｒ及び次の状態に選択される行動価値Ｑ’から定め、第１の行動価値学習器は、第１の目標値を使用して、第１の行動価値Ｑ１を更新し、２以上のｎに対して、第ｎの行動価値学習器の第ｎの目標値は、第ｎ−１の行動価値学習器の第ｎ−１の目標値と出力値Ｑｎ−１との差とし、第ｎの行動価値学習器は、第ｎの目標値を使用して、第ｎの行動価値Ｑｎを更新する。
【０００８】
本発明による学習制御方法は、装置の状態を所定の複数の状態のいずれかに分類し、状態ごとに求めた行動価値に基づいて行動を選択し実行する装置において、ｎを正の整数として、第１から第ｎまでのｎ個の行動価値Ｑ１、・・・Ｑｎを学習し、前記ｎ個の学習された行動価値に基づいて、状態ごとに行動価値Ｑを学習する。本発明による学習制御方法において、第１の行動価値Ｑ１の第１の目標値は、行動を実施した後、次の状態までに得られる報酬ｒ及び次の状態に選択される行動価値Ｑ’から定め、第１の目標値を使用して、第１の行動価値Ｑ１を更新し、２以上のｎに対して、第ｎの行動価値Ｑｎの第ｎの目標値は、第ｎ−１の行動価値Ｑｎ−１の第ｎ−１の目標値と出力値Ｑｎ−１との差とし、第ｎの目標値を使用して、第ｎの行動価値Ｑｎを更新する。
【０００９】
本発明によれば、第ｎの行動価値Ｑｎの第ｎの目標値は、第ｎ−１の行動価値Ｑｎ−１の第ｎ−１の目標値と出力値Ｑｎ−１との差（残差とも呼称する）とし、直列的に学習を行い、第１から第ｎの行動価値学習器を自動的に使い分けるように構成することで学習効率を向上させることによって、事前の知識なしに実環境中の他者に応用することが可能で、学習効率の高い強化学習システム及び強化学習方法が得られる。ここで、「自動的に使い分けるように構成する」とは、以下のように構成することを言う。すなわち、１からｎのインデックスの内、小さなインデックスを有する行動価値学習器が学習可能な内容は、小さなインデックスを有する行動価値学習器に学習させるとともに、学習不可能な内容は、残差としてより大きなインデックスを有する行動価値学習器に学習させるように構成している。
【００１０】
本発明の実施形態において、第ｎの行動価値Ｑｎ（ｎは２以上）について、学習係数をαｎ、第ｎの目標値をＴｎ、行動価値Ｑｎの更新量をΔＱｎとして、
【数１】
2010287131.tif 000003
と表せる。
【００１１】
本実施形態によれば、Ｎ個の学習を統一的な形式で行うことができる。
【００１２】
本発明による学習制御システムは、次のような構成もとり得る。
【００１３】
本発明による学習制御システムは、装置の状態を所定の複数の状態のいずれかに分類し、状態ごとに求めた行動価値に基づいて行動を選択し実行する装置において、行動価値を学習する学習制御システムである。本発明による学習制御システムは、ｎを正の整数として、第１から第ｎまでのｎ個の行動価値Ｑ１、・・・Ｑｎを学習する第１から第ｎまでのｎ個の行動価値学習器と、前記ｎ個の行動価値学習器の出力に基づいて、状態ごとに行動価値Ｑを求める行動価値決定器と、を備える。本発明による学習制御システムにおいて、全体の目標値は、行動を実施した後、次の状態までに得られる報酬ｒ及び次の状態に選択される行動価値Ｑ’から定め、第ｎの行動価値学習器の第ｎの目標値は、前記全体の目標値から自身以外の行動価値学習器で学習した行動価値の和を差し引いた値とし、第ｎの行動価値学習器は、第ｎの目標値を使用して、第ｎの行動価値Ｑｎを更新する。
【００１４】
本発明による学習制御方法は、装置の状態を所定の複数の状態のいずれかに分類し、状態ごとに求めた行動価値に基づいて行動を選択し実行する装置において、ｎを正の整数として、第１から第ｎまでのｎ個の行動価値Ｑ１、・・・Ｑｎを学習し、前記ｎ個の学習された行動価値に基づいて、状態ごとに行動価値Ｑを学習する。本発明による学習制御方法において、全体の目標値は、行動を実施した後、次の状態までに得られる報酬ｒ及び次の状態に選択される行動価値Ｑ’から定め、第ｎの行動価値学習器の第ｎの目標値は、前記全体の目標値から自身以外の行動価値学習器で学習した行動価値の和を差し引いた値とし、第ｎの目標値を使用して、第ｎの行動価値Ｑｎを更新する。
【００１５】
本発明によれば、第ｎの行動価値Ｑｎの第ｎの目標値は、前記全体の目標値から自身以外の行動価値学習器で学習した行動価値の和を差し引いた値とし、第１から第ｎの学習を自動的に使い分けることで学習効率を向上させることによって、事前の知識なしに実環境中の他者に応用することが可能で、学習効率の高い強化学習システム及び強化学習方法が得られる。
【００１６】
本発明の実施形態において、第ｎの行動価値Ｑｎについて、学習係数をαｎ、第ｎの目標値をＴｎ、行動価値Ｑｎの更新量をΔＱｎとして、
【数２】
2010287131.tif 000004
と表せる。
【００１７】
本実施形態によれば、Ｎ個の学習を統一的な形式で行うことができる。
【００１８】
本発明の実施形態において、環境、他者及び自己の情報に基づいて、前記装置の状態を所定の複数の状態のいずれかに分類し、前記報酬ｒを求める。
【００１９】
本実施形態によれば、装置の状態及び報酬に環境、他者及び自己の情報が反映される。
【００２０】
本発明の実施形態において、前記他者が行動を行わなかった場合の、前記他者の状態を予測し、現在と過去の情報を用いて予測された前記他者の状態と、外部情報による他者の状態との差から、前記他者の行動を抽出された他者行動として抽出する。
【００２１】
本実施形態によれば、他者の行動を抽出された他者行動として抽出することにより、装置の状態をより的確に分類することができる。
【００２２】
本発明の実施形態において、同時刻に得た入力情報のみに基づいて定めた前記他者の状態から決定した行動価値Ｑkと、同時刻に得た入力情報のみに基づいて定めた前記他者の状態に加え、前記抽出された他者行動を用いることにより決定した行動価値Ｑk’とを使用して学習を行なう。
【００２３】
本実施形態によれば、行動価値Ｑkと行動価値Ｑk’とを使用して学習を行なうことにより、他者の状態をよりよく行動価値に反映させることができる。
【図面の簡単な説明】
【００２４】
【図１】本発明の一実施形態による学習制御システムを含む装置の構成を示す図である。
【図２】本実施形態による学習制御システムを備えた装置２００が適用された具体例を示す図である。
【図３】本実施形態による行動選択方法を示す流れ図である。
【図４】学習制御システムの構成を示す図である。
【図５】入力情報処理部の処理を示す流れ図である。
【図６】学習制御システムによる学習方法を示す流れ図である。
【図７】静的他者状態予測器の構成を示す図である。
【図８】誘導ロボットによるタスクの物理シミュレーション結果を示すグラフである。
【発明を実施するための形態】
【００２５】
図１は、本発明の一実施形態による学習制御システム１００を含む装置２００の構成を示す図である。装置２００は、たとえばロボットであってもよい。装置２００は、入力情報取得部２０１、入力情報処理部２０３、行動選択部２０５、行動出力部２０７、記憶部２０９及び学習制御システム１００を含む。
【００２６】
入力情報取得部２０１は、環境及び他者３００から入力情報を取得し、装置２００自身の状態情報を取得する。入力情報取得部２０１は、カメラを含み、該カメラによって撮影した環境及び他者３００の画像によって、環境及び他者３００の情報を取得してもよい。また、入力情報取得部２０１は、装置２００がロボットである場合に、後で説明するようにロボットの位置及び向きを含む、装置２００の状態情報を取得してもよい。入力情報取得部２０１は、取得したこれらの情報を入力情報処理部２０３に送る。
【００２７】
入力情報処理部２０３は、環境、他者及び自己の状態情報に基づいて、装置２００のおかれた状態を予め定めた複数の状態のいずれかに分類する。
【００２８】
学習制御システム１００は、入力情報処理部２０３の分類した装置２００の状態ごとに行動価値を学習する。行動価値の学習には、報酬が使用される。報酬とは、装置１００の目的を達成することを尺度とした評価であり、入力情報処理部２０３によって求められる。行動価値とは、ある状態である行動をとった場合の報酬の時間重み付き期待値である。学習制御システム１００の動作については、後で詳細に説明する。
【００２９】
記憶部２０９は、学習制御システム１００によって学習された行動価値を記憶する。
【００３０】
行動選択部２０５は、入力情報処理部２０３の分類した装置２００の状態に基づいて、それぞれの行動を選択した場合の行動価値を求め、その結果に基づいて行動を選択する。行動選択部２０５の動作については、後で詳細に説明する。行動選択部２０５は、選択した行動を行動出力部２０７へ送る。
【００３１】
行動出力部２０７は、行動選択部２０５によって選択された行動を実行するように、アクチュエータを制御する。行動出力部２０７によって出力された行動は、以下に説明するように他者へ変化を与える。また、たとえば、装置２００が移動した場合には、装置２００から観察した環境の状況が相対的に変化するので装置２００から観察した環境にも変化を与える。
【００３２】
図２は、本実施形態による学習制御システム１００を備えた装置２００が適用された具体例を示す図である。この場合に、装置は、誘導ロボット２５１である。誘導ロボット２５１及び他者である被誘導ロボット３５１は、環境であるフィールド３５３内に配置されている。誘導ロボット２５１は、被誘導ロボット３５１を環境であるゴールの檻３５５まで誘導するタスクを行う。一例として、被誘導ロボット３５１はランダムに動作するが、誘導ロボット２５１が所定の距離まで近づくと遠ざかるように動作するように構成されている。誘導ロボット２５１は、頭部に設置したカメラで取得した画像を処理して、他者である被誘導ロボット３５１及び環境であるゴール檻３５５の位置に関する入力情報を取得する。また、誘導ロボット２５１は、エンコーダなどによりカメラを取り付けた頭部（首）の角度の情報を取得する。誘導ロボット２５１は、このような他者、環境及び自己に関する情報に基づいて、被誘導ロボット３５１をゴールの檻３５５まで誘導する方法を学習する。
【００３３】
表１は、入力状態情報の一例を示す。
【表１】
2010287131.tif 000005
【００３４】
誘導ロボット２５１の入力情報処理部２０３は、上記の環境、他者及び自己の状態情報に基づいて、誘導ロボット２５１のおかれた状態を所定の複数の状態のいずれかに分類する。
【００３５】
誘導ロボット２５１の行動選択部２０５は、入力情報処理部２０３の分類した状態に基づいて、それぞれの行動を選択した場合の行動価値を求め、その結果に基づいて行動価値が最大となる行動を選択する。行動価値は、入力情報処理部２０３の分類した状態と行動の組み合わせに対して一つずつ定まり、記憶部２０９に記憶される。
【００３６】
表２は、選択される対象となる、誘導ロボット２５１の行動を記憶する表である。表２は、記憶部２０９に記憶されている。
【表２】
2010287131.tif 000006
【００３７】
図３は、本実施形態による行動選択方法を示す流れ図である。
【００３８】
図３のステップＳ０１０において、行動選択部２０５は、入力情報処理部２０３から状態情報を取得する。
【００３９】
図３のステップＳ０２０において、行動選択部２０５は、予定行動を生成する。一例として、表２から予定行動を選択する。
【００４０】
図３のステップＳ０３０において、行動選択部２０５は、記憶部２０９から現在の状態における予定行動の行動価値Ｑ１及びＱ２を求める。行動価値Ｑ１及びＱ２については後で説明する。
【００４１】
図３のステップＳ０４０において、行動選択部２０５は、行動価値Ｑ１及びＱ２から、現在の状態における予定行動の行動価値Ｑを算出する。行動価値Ｑについては後で説明する。
【００４２】
図３のステップＳ０５０において、行動選択部２０５は、全ての行動について処理を行ったかどうか判断する。全ての行動について処理を行っていなければ、ステップＳ０２０に進む。全ての行動について処理を行っていれば、ステップＳ０６０に進む。
【００４３】
図３のステップＳ０６０において、行動選択部２０５は、全ての行動についての行動価値の内、最大値を有するものを定める。
【００４４】
図３のステップＳ０７０において、行動選択部２０５は、行動価値が最大値を有する予定行動を選択する。
【００４５】
以下において、学習制御システム１００による学習に関連する、入力情報処理部２０３の処理及び学習制御システム１００による学習方法について説明する。
【００４６】
上述のとおり、行動選択部２０５によってある状態においてある行動が選択される（図３のステップＳ０７０）。その後、行動出力部２０７によって選択された行動が実行される。行動が終了した後、入力情報取得部２０１は、自己の状態、他者の状態及び環境の状態に関する外部データを取得する。この後、入力情報処理部２０３が以下の処理を行う。
【００４７】
図４は、入力情報処理部２０３の処理を示す流れ図である。
【００４８】
図４のステップＳ２１０において、入力情報処理部２０３は、上記の外部データに基づいて、自己の状態、他者の状態及び環境の状態を認識する。
【００４９】
図４のステップＳ２２０において、入力情報処理部２０３は、自己の状態、他者の状態及び環境の状態に基づいて装置の状態を所定のいずれかの装置の状態に分類する。
【００５０】
図４のステップＳ２３０において、入力情報処理部２０３は、自己の状態、他者の状態及び環境の状態に基づいて報酬ｒを求める。一例として、被誘導ロボット３５１とゴールの檻３５５が、誘導ロボット２５１のカメラの画像上で一直線に並んだ場合（条件１）に報酬０．１を与え、条件１に加えて誘導ロボット２５１が直進行動を始めた場合（条件２）に報酬１を与え、誘導ロボット２５１のカメラの画像上で被誘導ロボット３５１がゴールの檻３５５に入ったことが確認できた場合（条件３）に報酬１０を与える。
【００５１】
図４のステップＳ２４０において、入力情報処理部２０３は、装置の状態を更新する。その後、行動選択部２０５は、新しい装置の状態において行動を選択する（図３の流れ図）。
【００５２】
図５は、学習制御システム１００の構成を示す図である。学習制御システム１００は、目標値決定部１０１、Ｑ１行動価値学習器１０３、Ｑ２行動価値学習器１０５、・・・Ｑｎ行動価値学習器１０７及びＱ決定部１０９を備える。以下において、行動価値学習器を単に学習器と呼称する。Ｑｉ学習器は、記憶部２０９に記憶された行動価値Ｑｉを取り出し、以下に説明する方法で更新した後、更新された行動価値Ｑｉを記憶部２０９に記憶させる。後で説明するように、学習システム１００による学習は、状態が変化し、次の状態で選択される行動が決定された後に実施される。
【００５３】
目標値決定部１０１は、入力情報処理部２０３から報酬ｒを取得し、行動選択部２０５から次の状態で選択される行動の行動価値Ｑ’を取得して以下の式にしたがってＱ１学習器１０３の目標値を決定する。
【数３】
2010287131.tif 000007
ここで、γは、割引率である。割引率は、遠い将来に得られる報酬ほど割り引いて評価するための係数であり、０以上１以下の値である。本実施形態では、経験的に割引率を０．７とした。
【００５４】
Ｑ１学習器１０３は、行動価値Ｑ１の更新量をΔＱ１として、行動価値Ｑ１を以下の式にしたがって更新する。
【数４】
2010287131.tif 000008
ここで、αは学習係数であり、０以上１以下の値である。
【００５５】
Ｑ２学習器１０５は、行動価値Ｑ２の更新量をΔＱ２として、行動価値Ｑ２を以下の式にしたがって更新する。
【数５】
2010287131.tif 000009
ここで、βは学習係数であり、０以上１以下の値である。留意すべき点は、Ｑ１学習器１０３における行動価値の目標値と行動価値の出力値との差（残差）
【数６】
2010287131.tif 000010
が、Ｑ２学習器１０５の目標値となっている点である。
【００５６】
一般的にｎは２以上の整数として、Ｑｎ学習器１０９は、学習係数をαｎ、第ｎの目標値をＴｎ、行動価値Ｑｎの更新量をΔＱｎとして、行動価値Ｑｎを以下の式にしたがって更新する。
【数７】
2010287131.tif 000011
留意すべき点は、Ｑｎ−１学習器における行動価値の目標値と行動価値の出力値との差（残差）Ｔｎが、Ｑｎ学習器１０９の目標値となっている点である。このように本実施形態においては、行動価値Ｑｎの更新が、式（４）及び（５）の更新規則によって行われることにより、直列に配置された第１から第ｎの学習器が自動的に使い分けられ、学習効率が向上する。
【００５７】
代替的に、ｎは２以上の整数として、Ｑｎ学習器１０９は、学習係数をαｎ、第ｎの目標値をＴｎ、行動価値Ｑｎの更新量をΔＱｎとして、行動価値Ｑｎを以下の式にしたがって更新してもよい。
【数８】
2010287131.tif 000012
式（８）において、Ｔ０は、学習制御システム１００全体の目標値であり、式（１）から求める。式（７）において、ｎ番目の学習器は、自身以外の学習器で学習済みの行動価値Ｑの和を全体の目標値Ｔ０から差し引いた残差を第ｎの目標値Ｔｎとして学習する。この実施形態によれば、行動価値Ｑｎの更新が、式（７）及び（８）の更新規則によって行われることにより、第１から第ｎの学習器が自動的に使い分けられ、学習効率が向上する。
【００５８】
Ｑ決定部１０９は、Ｑ１、Ｑ２、・・・Ｑｎの和をとることによって行動価値Ｑを決定する。
【００５９】
図６は、学習制御システム１００による学習方法を示す流れ図である。本実施形態において、学習制御システム１００は、Ｑ１学習器１０３及びＱ２学習器１０５の２台から構成されている。学習制御システム１００による学習は、入力情報処理部２０３によって、装置の状態が更新された後に開始される。
【００６０】
図６のステップＳ４１０において、目標値決定部１０１は、上述のように、入力情報処理部２０３から報酬ｒを取得し、行動選択部２０５から次の状態で選択される行動の行動価値Ｑ’を取得して以下の式にしたがってＱ１学習器１０３の目標値Ｔを決定する。
【数９】
2010287131.tif 000013
【００６１】
図６のステップＳ４２０において、Ｑ１学習器１０３は、上述のように、行動価値Ｑ１を以下の式にしたがって更新する。
【数１０】
2010287131.tif 000014
更新された行動価値Ｑ１は、記憶部２０９に記憶される。
【００６２】
図６のステップＳ４３０において、目標値決定部１０１は、上述のように、目標値Ｔと更新されたＱ１との差を、Ｑ２学習器１０５の目標値とする。
【００６３】
図６のステップＳ４４０において、Ｑ２学習器１０５は、上述のように、行動価値Ｑ２を以下の式にしたがって更新する。
【数１１】
2010287131.tif 000015
【００６４】
更新された行動価値Ｑ２は、記憶部２０９に記憶される。
【００６５】
Ｑ１学習器１０３は、収束は速いが誤差が大きい。そこで、Ｑ１学習器１０３によって学習し損ねた、Ｑ１学習器１０３における残差
【数１２】
2010287131.tif 000016
を、Ｑ２学習器１０５の目標値として学習を行うことで、Ｑ１学習器１０３の機能を補う。
【００６６】
学習初期には、Ｑ１学習器１０３による学習が速く進み、全体の高い学習速度が維持される。Ｑ１学習器１０３が十分に学習すると、Ｑ２学習器１０５が学習し始め、高い収束精度が保証される。ここで、学習の速さとは、更新される行動価値が、最終的な収束値の近傍まで到達するまでの時間を基準とする。
【００６７】
本実施形態によれば、上述のように、Ｑ１学習器１０３による学習とＱ２学習器１０５による学習との使い分けが自動的に行われる。具体的に、行動価値Ｑ１及びＱ２の更新が、それぞれ式（１）及び式（２）の更新規則によって行わることにより、Ｑ１学習器１０３と学習器１０５とが自動的に使い分けられる。
【００６８】
Ｑ１学習器１０３が得る入力情報が、同時刻において入力情報取得部２０１によって得られ、入力情報処理部２０３によって処理された情報である場合には、同時刻の入力情報からは、他者の動きを抽出することができないので、Ｑ１学習器１０３は、自らアクチュエーションを行わない他者や静的な対象を受け持つ学習器（静的対象強化学習器）と把握することができる。Ｑ２学習器１０５は、後に示す予測器（静的他者状態予測器）を用いて他者の動きを抽出した後の入力を受け取るため、自らアクチュエーションを行う他者を学習する学習器（動的対象強化学習器）と、把握することができる。
【００６９】
動的対象強化学習器であるＱ２学習器１０５への入力情報を生成する際に、他者がアクチュエーションを行わなかった場合、他者はどのような状態にあるはずかを予測する予測器（静的他者状態予測器）を使用してもよい。
【００７０】
図７は、静的他者状態予測器２０３１の構成を示す図である。静的他者状態予測器２０３１は、入力情報処理部２０３内に設けてもよい。静的他者状態予測器２０３１は、時刻ｔ-１における自己の状態ｘ（ｔ−１）、自己の行動ａ（ｔ−１）及び他者の状態ｙ（ｔ−１）を受け取り、時刻ｔにおける他者の状態の予測値
【数１３】
2010287131.tif 000017
を求める。一例として、誘導ロボット２５１が移動し、被誘導ロボット３５１が静止していた場合に、誘導ロボット２５１のカメラによる画像が視点の変化によりどのように変化するかを演算で求める。一般に、対象物までの距離及び対象物を臨む角度と対象物の画像とは対応するので、対象物までの距離及び対象物を臨む角度を定めることにより対象物の画像を求めることができる。時刻ｔにおける他者の状態の予測値
【数１４】
2010287131.tif 000018
と時刻ｔにおける他者の状態ｙ（ｔ）との差分を用いて他者の行動を抽出することができる。入力情報処理部２０３は、静的他者状態予測器２０３１によって、他者の行動を抽出することにより、装置の状態をより的確に分類し、Ｑ２学習器１０５へ提供することができる。
【００７１】
実施形態の変形例として、同時刻に得た入力情報のみに基づいて定めた前記他者の状態から決定した行動価値Ｑkと、同時刻に得た入力情報のみに基づいて定めた前記他者の状態に加え、前記抽出された他者行動を用いることにより決定した行動価値Ｑk’とを使用して学習を行なうように構成してもよい。具体的に、行動価値Ｑkと行動価値Ｑk’との和を学習するように構成してもよい。このように構成することにより、他者の状態をよりよく行動価値に反映させることができる。
【００７２】
上述の説明において、装置の状態を分類する入力情報処理部２０３を学習制御システム１００の外側に設けたが、学習制御システム内に設けてもよい。
【００７３】
図８は、誘導ロボット２５１による誘導タスクの物理シミュレーション結果を示すグラフである。グラフの横軸は時間を示す。グラフの縦軸は、誘導ロボット２５１が被誘導ロボット３５１をゴールの檻３５５に誘導した単位時間当たりの回数（期待値の平均値）を示す。方法１は、環境、他者及び自己に関する情報のみを使用して、１台の学習器で学習する従来の強化学習による結果を示す。方法２は、方法１の情報の他に静的他者状態予測器の情報を使用して、１台の学習器で学習する従来の強化学習による結果を示す。方法３は、方法２の情報を使用して、Ｑ１学習器１０３及びＱ２学習器１０５で学習する本実施形態の強化学習による結果を示す。方法３は、方法１及び方法２に比較して、学習の到達レベル（単位時間当たりの誘導回数）が高く、かつ、到達レベルに至るまでのレベルも、方法１及び方法２のレベルを常に上回っている。
【００７４】
このように本実施形態によれば、事前の知識なしに実環境中の他者に応用することが可能で、学習効率の高い強化学習システム及び強化学習方法が得られる。
【符号の説明】
【００７５】
１００…学習制御システム、１０１…目標値決定部、１０３…Ｑ１学習器、１０５…Ｑ２学習器、１０７…Ｑｎ学習器
【図１】
2010287131.tif 000023
【図２】
2010287131.tif 000024
【図３】
2010287131.tif 000025
【図４】
2010287131.tif 000026
【図５】
2010287131.tif 000027
【図６】
2010287131.tif 000028
【図７】
2010287131.tif 000029
【図８】
2010287131.tif 000030