(57)【特許請求の範囲】
【請求項１】
環境パラメータに基づいて生成された環境モデルにおける制御対象に係る応答情報を生成する生成部と、
前記応答情報と前記環境パラメータとを、未学習の環境状態に係る情報に基づくクラスタ毎に、前記制御対象の制御に係る機械学習を行う学習部に送信する通信部と、
を備え、
前記通信部は、前記機械学習の進捗に応じた環境モデルの要求に係る第２の環境パラメータを受信し、
前記生成部は、前記第２の環境パラメータに基づいて生成された環境モデルにおける応答情報をさらに生成する、
情報処理装置。
【請求項２】
前記通信部は、前記機械学習に係る報酬パラメータを前記学習部に送信する、
請求項１に記載の情報処理装置。
【請求項３】
前記環境パラメータは、前記制御対象の状態に依存しない外的パラメータ、または前記制御対象の状態に依存する内的パラメータのうち少なくとも一方を含む、
請求項１に記載の情報処理装置。
【請求項４】
前記外的パラメータは、地理情報、時間情報、気象条件、屋外情報、屋内情報、交通用物体に係る情報、または路面情報のうち少なくともいずれかを含む、
請求項３に記載の情報処理装置。
【請求項５】
前記制御対象は車両であり、
前記内的パラメータは、車体情報、搭載物情報、または搭乗者情報のうち少なくともいずれかを含む、
請求項３に記載の情報処理装置。
【請求項６】
第１の環境パラメータに基づいて生成された環境モデルにおける制御対象に係る応答情報と前記第１の環境パラメータとを受信する通信部と、
受信した前記応答情報と前記第１の環境パラメータを用いて、未学習の環境状態に係る情報に基づくクラスタ毎に、前記制御対象の制御に係る機械学習を行う学習部と、
を備え、
前記通信部は、前記機械学習の進捗に応じた環境モデルの要求に係る第２の環境パラメータを、前記応答情報を生成する生成部に送信する、
情報処理装置。
【請求項７】
前記通信部は、前記機械学習の結果に応じた第２の環境パラメータを、前記応答情報を生成する生成部に送信する、
請求項６に記載の情報処理装置。
【請求項８】
前記通信部は、前記機械学習に係る報酬パラメータを受信する、
請求項６に記載の情報処理装置。
【請求項９】
前記通信部は、前記機械学習に係るエキスパート情報を受信する、
請求項６に記載の情報処理装置。
【請求項１０】
前記制御対象は車両であり、
前記報酬パラメータは、目的地までの距離、乗り心地、接触回数、交通ルールへの抵触、または燃費に係るパラメータのうち少なくともいずれかを含む、
請求項８に記載の情報処理装置。
【請求項１１】
環境状態に係る環境パラメータを取得する環境取得部と、
前記環境パラメータに基づく推定を行い、前記環境状態が未学習の環境状態であるか否かを判定する判定部と、
前記判定部が前記環境状態を前記未学習の環境状態であると判定したことに基づいて、前記環境パラメータを、当該未学習の環境状態に係る情報に基づくクラスタ毎に、制御対象の制御に係る機械学習を行う学習部に送信する送信部と、
を備える、
情報処理装置。
【請求項１２】
一または複数のセンサからセンサ情報を取得するセンサ情報取得部、
をさらに備え、
前記送信部は前記センサ情報を送信する、
請求項１１に記載の情報処理装置。
【請求項１３】
制御対象の制御に係る制御情報を取得する制御情報取得部をさらに備え、
前記送信部は前記制御情報に関するデータを送信する、
請求項１１に記載の情報処理装置。
【請求項１４】
前記送信部は、前記制御対象の制御学習に係る報酬パラメータを送信する、
請求項１３に記載の情報処理装置。
【請求項１５】
前記判定部は、前記環境状態が学習済でないと判定した場合、当該判定に基づいた通知データを生成し、
前記送信部は、前記通知データを送信する、
請求項１１に記載の情報処理装置。
【請求項１６】
未学習の環境状態に係る環境パラメータを受信する受信部と、
前記環境パラメータを、前記未学習の環境状態に係る情報に基づくクラスタ毎に、制御対象の制御に係る機械学習を行う学習部に送信することにより生成された新たな環境モデルにおける第１の制御対象の挙動に関するデータを生成する生成部と、
を備える、
情報処理装置。
【請求項１７】
前記受信部は、一または複数のセンサから取得されたセンサ情報、第１の制御対象の制御学習に係る報酬パラメータ、または第２の制御対象から取得された制御情報のうち少なくとも１つを受信する、
請求項１６に記載の情報処理装置。
【請求項１８】
前記第２の制御対象は、実世界を走行する車両、及びゲーム若しくはシミュレータ上の仮想車両を含む、
請求項１７に記載の情報処理装置。
【請求項１９】
制御対象から取得された制御情報を取得する取得部、
をさらに備え、
前記判定部は、前記制御対象を制御する者が所定の属性に属するか否かをさらに判定し、
前記送信部は、前記判定部による判定の結果に基づいて、前記制御情報を逆強化学習を行う学習部に送信する、
請求項１１に記載の情報処理装置。
【請求項２０】
前記制御対象を制御する者が所定の属性に属するか否かを判定する判定部、
をさらに備え、
前記通信部は、制御対象から取得された制御情報を受信し、
前記学習部は、前記所定の属性に属すると判定された前記制御する者に係る制御情報を用いて逆強化学習を行う、
請求項６に記載の情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置に関する。
【背景技術】
【０００２】
近年、脳神経系の仕組みを模したニューラルネットワークが注目されている。また、物理シミュレータを利用してニューラルネットワークに制御学習を行わせる、いくつかの報告がなされている。例えば、非特許文献１には、シミュレータを用いたゲームの制御学習結果が記載されている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】DeepMind Technologies、外７名、「Playing Atariwith Deep Reinforcement Learning」、２０１５年１１月９日、［Online］、［平成２８年２月８日検索］、インターネット<https://www.cs.toronto.edu/~vmnih/docs/dqn.pdf>
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、非特許文献１に記載の方法では、実世界に則した制御学習をニューラルネットワークに行わせることが困難である。【０００５】
そこで、本開示では、実世界の環境に応じた制御学習を効率的に実現することが可能な情報処理装置を提案する。
【課題を解決するための手段】
【０００６】
本開示によれば、環境パラメータに基づいて生成された環境モデルにおける制御対象に係る応答情報を生成する生成部と、前記応答情報と前記環境パラメータとを、前記制御対象の制御に係る機械学習を行う学習部に送信する送信部と、備える、情報処理装置が提供される。【０００７】
また、本開示によれば、第１の環境パラメータに基づいて生成された環境モデルにおける制御対象に係る応答情報と前記第１の環境パラメータとを受信する通信部と、受信した前記応答情報と前記第１の環境パラメータを用いて、前記制御対象の制御に係る機械学習を行う学習部と、を備える、情報処理装置が提供される。【０００８】
また、本開示によれば、環境状態に係る環境パラメータを取得する環境取得部と、取得した前記環境パラメータに基づき前記環境状態が学習済であるか否かを判定する判定部と、前記判定部が前記環境状態を学習済でないと判定したことに基づいて前記環境パラメータを送信する送信部と、を備える、情報処理装置が提供される。【０００９】
未学習の環境状態に係る環境パラメータを受信する受信部と、前記環境パラメータに基づいて生成された環境モデルにおける第１の制御対象の挙動に関するデータを生成する生成部と、を備える、情報処理装置が提供される。
【発明の効果】
【００１０】
以上説明したように本開示によれば、実世界の環境に応じた制御学習を効率的に実現することが可能となる。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１１】
【図１】本開示に係る環境モデルの概要を示す図である。
【図２】本開示に係るイメージ図である。
【図３】実施形態に係るシステム構成例である。
【図４】実施形態に係る各構成の機能ブロック図である。
【図５】実施形態に係る制御学習の入出力を示す概念図である。
【図６】実施形態に係る環境パラメータの受け渡しに用いるＡＰＩの一例である。
【図７】実施形態に係る制御学習装置のネットワーク構造を模式的に示した概念図である。
【図８】実施形態に係る学習の流れを示すフローチャートである。
【図９】実施形態に係る環境要求の流れを示すフローチャートである。
【図１０】実施形態に係るエピソードにおける入出力データを時系列に示した一例である。
【図１１】実施形態に係る逆強化学習の入出力を示す概念図である。
【図１２】実施形態に係る環境取込の入出力を示す概念図である。
【図１３】実施形態に係る環境判定の流れを示すフローチャートである。
【図１４】実施形態に係る通知画面の表示例である。
【図１５】実施形態に係る環境取込の流れを示すフローチャートである。
【図１６】本開示に係るハードウェア構成例である。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１３】
なお、説明は以下の順序で行うものとする。
１．本開示に係る背景
１．１．ニューラルネットワークとは
１．２．ニューラルネットワークを利用した運転制御
１．３．物理シミュレータを利用した制御学習
１．４．本開示に係る概要
２．実施形態
２．１．本実施形態に係るシステム構成例
２．２．環境生成装置１０
２．３．制御学習装置２０
２．４．情報処理装置３０
２．５．本実施形態に係る環境パラメータ
２．６．本実施形態に係る報酬パラメータ
２．７．本実施形態の制御学習に係る入出力
２．８．本実施形態に係る制御学習の流れ
２．９．本実施形態に係る環境要求の流れ
２．１０．本実施形態に係るエピソード遷移の具体例
２．１１．本実施形態に係る逆強化学習
２．１２．未知環境及び危険環境の取込に係る概要
２．１３．未知環境及び危険環境の判定
２．１４．未知環境及び危険環境の取込に係る詳細
３．ハードウェア構成例
４．まとめ
【００１４】
＜１．本開示に係る背景＞
＜＜１．１．ニューラルネットワークとは＞＞
ニューラルネットワークとは、人間の脳神経回路を模したモデルであり、人間が持つ学習能力をコンピュータ上で実現しようとする技法である。上述したとおり、ニューラルネットワークは学習能力を有することを特徴の一つとする。ニューラルネットワークでは、シナプスの結合によりネットワークを形成した人工ニューロン（ノード）が、学習によりシナプスの結合強度を変化させることで、問題に対する解決能力を獲得することが可能である。すなわち、ニューラルネットワークは、学習を重ねることで、問題に対する解決ルールを自動的に推論することができる。
【００１５】
ニューラルネットワークによる学習の例としては、画像認識や音声認識が挙げられる。ニューラルネットワークでは、例えば、入力される画像パターンを繰り返し学習することで、入力画像に含まれる物体等を認識することが可能となる。ニューラルネットワークの有する上記のような学習能力は、人工知能（Ａｒｔｉｆｉｃｉａｌ  Ｉｎｔｅｌｌｉｇｅｎｃｅ）の発展を推し進める鍵としても注目されている。また、ニューラルネットワークの有する学習能力は、種々の産業分野における応用が期待される。ニューラルネットワークの有する学習能力を応用する例としては、例えば、各種の装置における自律制御が挙げられる。
【００１６】
＜＜１．２．ニューラルネットワークを利用した運転制御＞＞
ここで、ニューラルネットワークを利用した自律制御について、例を挙げて説明する。近年、ユーザ操作に依らず自律的に動作する種々の装置が開発されている。上記のような装置には、例えば、運転者による制御を要しない自動運転車がある。自動運転車は、各種のセンサにより取得した情報から周囲の環境を認識し、認識した環境に応じて、自律走行を実現する。
【００１７】
ニューラルネットワークは、上記のような自動運転車における環境認識や運転制御に応用することができる。自動運転制御には、例えば、多層構造のニューラルネットワークを用いたディープラーニング（Ｄｅｅｐ  Ｌｅａｒｎｉｎｇ：深層学習）により運転制御機能を獲得した学習器（以下、自動運転ＡＩ、とも呼ぶ）が用いられてよい。すなわち、自動運転ＡＩは、学習により獲得した環境認識能力や運転制御能力に基づいて、周囲環境に応じた自動車の運転制御を行うことができる。例えば、自動運転ＡＩは、センサから観測される観測情報に基づいて歩行者を認識し、歩行者を避けるためにハンドル制御やブレーキ制御などを行うことができる。
【００１８】
＜＜１．３．物理シミュレータを利用した制御学習＞＞
以上、学習器による制御学習の概要を説明したが、上記のような学習は、物理シミュレータによるシミュレーションを併用することで、学習効率を高めることが可能である。例えば、自動運転制御の学習を行う学習器の場合、実世界における学習のみでは、充分な学習を行うことが困難な場合がある。
【００１９】
例えば、温暖な地域において運転制御を学習させる場合、降雪の機会が少ないため、降雪環境における運転転制御を学習することが困難である。一方、温暖な地域においても降雪の可能性はあり、また、温暖な地域で学習を行った自動運転ＡＩを寒冷地帯で走行する自動車に適用する可能性も想定される。このような場合、自動運転ＡＩは学習済の環境とは異なる未知の環境において運転制御を行うこととなり、運転制御に係る精度が著しく低下する可能性もある。このため、安全確保の面からも、自動運転ＡＩには、より多くの環境において学習を行わせることが望ましい。
【００２０】
この際、例えば、寒冷地帯から運搬した雪をコース上に配置し、当該コースにおいて学習器に制御学習を行わせることも可能である。しかし、このような方法は、多くの費用や労力を要するため、運用面においても改善が望まれる。また、上記のような方法では、台風や豪雨などの気象状態を再現することができず、さらには、事故や飛び出しなどの危険環境に係る再現にも限界がある。このため、上述した方法では、対応可能な環境が必然的に限定されてしまう。
【００２１】
一方、本開示に係る学習方法では、物理シミュレータを利用した制御学習を実現することで、上記のような制限を排除し、コストを低減することが可能である。すなわち、本開示に係る学習方法では、物理シミュレータにより種々の環境モデルを再現し、当該環境モデル中で制御学習を行わせることで、より多くの環境に適用可能な自動運転ＡＩを提供できる。
【００２２】
ここで、上記の物理シミュレータとは、力学法則をシミュレートする物理エンジンを備えたシミュレータであってよい。本開示では、物理シミュレータを用いることで、実世界の環境を模した種々の環境モデルを生成することができる。なお、本開示に係る物理シミュレータは、ＣＧを用いたシミュレーションを行ってもよい。本開示に係る物理シミュレータは、ＣＧに対する各種の物理現象を再現することが可能である。
【００２３】
図１は、本開示における物理シミュレータにより生成される環境モデルの概要を示す図である。図１を参照すると、本開示に用いられる物理シミュレータは、例えば、実世界における天候状況を再現することが可能である。図１において、物理シミュレータは、同一の地形情報における異なる環境モデルＥ１及びＥ２を生成している。
【００２４】
図１に示す一例では、環境モデルＥ１は降雨状況の再現であり、環境モデルＥ２は強い西日の状況を再現したモデルであってよい。このように、本開示に係る学習方法では、同一地形における様々な異なる環境モデルを生成することで、学習器に実世界では学習が困難な環境における制御学習を行わせることが可能である。なお、図１では、天候に関連する環境モデルを例として示したが、本開示に係る環境モデルは係る例に限定されない。
【００２５】
＜＜１．４．本開示に係る概要＞＞
以上、本開示に係る自動運転ＡＩ及び物理シミュレータについて説明した。上述したとおり、本開示に係る学習方法では、物理シミュレータにより生成した環境モデルを制御学習に用いることで、効率的な学習を実現することが可能である。また、本開示の効果は、上記の点に留まるものではない。
【００２６】
本開示に係る技術によれば、学習器が学習の進捗に応じて動的に環境を要求しながら制御学習を行うことができる。また、自動車に搭載される自動運転ＡＩは、学習済の環境とは異なる未知環境や危険環境を検知したことに基づいて、当該環境に係る環境情報を物理シミュレータに送信することができる。また、この際、物理シミュレータは、受信した環境情報から新たな環境モデルを生成し、生成した新たな環境モデルを学習器に提供することが可能である。
【００２７】
図２は、本開示に係る概要を示す概念図である。図２では、物理シミュレータにより生成される複数の環境モデルＥＮ、制御学習を行う学習器Ｉ１、及び学習済の自動運転ＡＩが搭載された自動運転車Ｖ１が示されている。ここで、学習器Ｉ１は、物理シミュレータにより生成される複数の環境モデルＥＮを用いて自動運転の制御学習を行う学習器である。学習器Ｉ１は、学習の進捗に応じて動的に環境を要求しながら制御学習を行うことができる。例えば、学習器Ｉ１は、晴れた環境における運転制御の学習が完了した場合、物理シミュレータに雨の環境を要求してもよい。
【００２８】
また、自動運転車Ｖ１は、学習済の自動運転ＡＩにより制御される自動車であってよい。自動運転車Ｖ１は、複数のセンサを搭載して実世界を走行し、周囲の環境情報を収集する。ここで、自動運転車Ｖ１に搭載される自動運転ＡＩは、学習済の環境と異なる未知環境や危険環境を検知した場合、当該環境に係る環境情報を物理シミュレータに送信することができる。この際、送信される環境情報は、自動運転車Ｖ１が収集した実世界における環境情報であってよい。
【００２９】
また、物理シミュレータは、受信した環境情報から新たな環境モデルを生成することができる。すなわち、物理シミュレータは、実世界において検知された未知環境や危険環境を新たな環境モデルとして再現し、学習器ＡＩに提供する複数の環境モデルＥＭに加えることが可能である。
【００３０】
以上、本開示に係る概要について説明した。上述したとおり、本開示に係る学習方法では、物理シミュレータが生成する環境モデルを用いた制御学習が可能である。また、本開示では、自動運転ＡＩが検知した未知環境や危険環境に基づいて、新たな環境モデルを生成することができる。
【００３１】
すなわち、本開示によれば、実世界における観測情報に基づいた環境モデルを効率的に生成し、学習器の制御学習に利用することが可能となる。また、学習器は、学習の進捗に応じた環境モデルを要求することで、より効率の良い制御学習を行うことができる。
【００３２】
なお、上記における本開示では、自動運転車の制御を行う自動運転ＡＩについて説明するが、本開示に係る学習手法は係る例に限定されない。本開示に係る学習手法は、種々の制御学習に適用することが可能である。本開示に係る学習手法は、製造現場における製造用ロボットや医療用手術ロボットなどにも適用することができる。本開示に係る学習手法によれば、実世界の環境に則した精度の高い制御学習を実現できる。
【００３３】
また、本開示では主にニューラルネットワークを用いた学習について説明するが、本開示に係る学習手法は係る例に限定されない。本開示に係る技術思想は、入力と出力の関係から法則性を獲得する学習器全般に適用され得る。
【００３４】
＜２．実施形態＞
＜＜２．１．本実施形態に係るシステム構成例＞＞
次に、本実施形態に係るシステム構成について説明する。図３を参照すると、本実施形態に係るシステムは、環境生成装置１０、制御学習装置２０、情報処理装置３０、車両４０、及び三次元地図ＤＢ５０を備える。また、環境生成装置１０と情報処理装置３０とは、ネットワーク６０を介して、互いに通信が行えるように接続される。
【００３５】
ここで、本実施形態に係る環境生成装置１０は、環境モデルを生成する情報処理装置であってよい。すなわち、環境生成装置１０は、情報処理装置３０が取得した実世界の環境情報（以下、環境パラメータ、とも呼ぶ）に基づいて環境モデルを生成することができる。また、環境生成装置１０は、生成した環境モデルにおける制御対象の挙動をシミュレートする物理シミュレータとしての機能を有する。
【００３６】
また、本実施形態に係る制御学習装置２０は、環境生成装置１０が生成した環境モデルを用いて自動運転に係る制御学習を行う情報処理装置であってよい。制御学習装置２０は、学習の進捗に応じた環境モデルを動的に要求することができる。
【００３７】
また、本実施形態に係る情報処理装置３０は、学習により運転制御能力を獲得した自動運転装置であってよい。すなわち、情報処理装置３０は、自動運転に係る制御学習を完了した制御学習装置２０ということもできる。また、本実施形態に係る情報処理装置３０は、ゲーム機やドライブシミュレータなどであってもよい。情報処理装置３０がゲーム機などである場合、ゲーム上で取得する環境パラメータや制御情報を環境生成装置１０に送信することができる。
【００３８】
また、本実施形態に係る車両４０は、情報処理装置３０の制御対象であってよい。すなわち、車両４０は、情報処理装置３０の制御により走行する自動運転車といえる。ここで、車両４０は、実世界の状態を観測するための種々のセンサを有してよい。上記のセンサには、例えば、ＲＧＢ−Ｄカメラ、レーザーレンジファインダー、ＧＰＳ、Ｗｉ―Ｆｉ（登録商標）、地磁気センサ、気圧センサ、加速度センサ、ジャイロセンサ、または振動センサなどが含まれてよい。
【００３９】
また、三次元地図ＤＢ５０は、環境生成装置１０によるシミュレーションに用いられる三次元地図を記憶するデーターベースである。三次元地図ＤＢ５０は、環境生成装置１０からの要求に応じて、保有する地図情報を引き渡す機能を有する。なお、三次元地図ＤＢが保有する三次元地図は、三次元特徴点地図であってもよいし、ポリゴン化された三次元地図であってもよい。さらに、本実施形態に係る三次元地図は、静物体に係る特徴点群により示される地図に限定されず、各特徴点の色情報や、物体認識結果に基づく属性情報及び物性情報などが付加された種々の地図であってよい。
【００４０】
また、ネットワーク６０は、環境生成装置１０と制御学習装置２０とを接続する機能を有する。ネットワーク６０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク６０は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｔ  Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ  Ｐｒｉｖａｔｅ  Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
【００４１】
以上、本実施形態に係るシステム構成例について説明した。なお、上記の説明では、環境生成装置１０と制御学習装置２０とがそれぞれ別の装置として備えられる場合を例に説明した。この場合、環境生成装置１０は、複数の制御学習装置２０と通信を行ってよい。すなわち、環境生成装置１０は、複数の制御学習装置２０に係る物理シミュレーションを行うことができる。すなわち、本実施形態に係る環境生成装置１０は、マルチエージェントに対応した物理シミュレーションを実現することができる。自動運転に係る制御学習では、対向車を含む他車両の動作が重要となる。このため、環境生成装置１０は、自動運転ＡＩが制御する仮想自動車をシミュレーション内で複数台走行させることで、自動運転ＡＩが互いの動作を観察しながら制御学習を行うことが可能となる。
【００４２】
一方、本実施形態に係る環境生成装置１０と制御学習装置２０は、同一の装置として構成されてもよい。本実施形態に係るシステム構成は、各装置の仕様や運用に応じて適宜変更され得る。
【００４３】
＜＜２．２．環境生成装置１０＞＞
次に本実施形態に係る環境生成装置１０について詳細に説明する。本実施形態に係る環境生成装置１０は、環境パラメータに基づいて生成された環境モデルにおける制御対象に係る応答情報を生成する機能を有する。また、環境生成装置１０は、上記の応答情報と環境パラメータとを、制御学習装置２０に送信する機能を有する。すなわち、環境生成装置１０は、環境モデルにおいて制御学習装置２０が制御する自動運転車に係る応答情報と、当該環境モデルに関連付いた環境パラメータと、を制御学習装置２０に送信してよい。
【００４４】
また、本実施形態に係る環境生成装置１０は、未学習の環境状態に係る環境パラメータを受信し、当該環境パラメータに基づいて環境モデルを生成することができる。すなわち、環境生成装置１０は、未知環境や危険環境に係る環境パラメータを情報処理装置３０から受信し、当該環境パラメータに基づいた環境モデルを生成することができる。
【００４５】
図４は、本実施形態に係る環境生成装置１０、制御学習装置２０、及び情報処理装置３０に係る機能ブロック図である。図４を参照すると、本実施形態に係る環境生成装置１０は、生成部１１０、環境取込部１２０、及び通信部１３０を備える。以下、上記の構成が有する機能について説明する。
【００４６】
（生成部１１０）
生成部１１０は、環境パラメータに基づいて環境モデルを生成する機能を有する。また、生成部１１０は、生成した環境モデルにおける第１の制御対象に係る応答情報を生成することができる。ここで、上記の第１の制御対象とは、環境モデルにおいて制御学習装置２０が制御する仮想の自動運転車であってよい。すなわち、生成部１１０は、制御学習装置２０から取得した制御情報に基づいて、仮想の自動運転車の挙動をシミュレートすることができる。
【００４７】
なお、上記の制御情報は、例えば、ハンドル、アクセル、ブレーキなどに係る情報を含んでよい。また、本実施形態に係る制御情報は、上記の例に限らず、例えば、ギアチェンジ、ライト点灯、クラクション、サイドブレーキ、エアーコンディショナーなどに係る情報を含んでよい。また、上記の制御情報は、センサクリーニング、アクティブセンサ、センサや駆動系に係るセルフキャリブレーション、他車両または各種サーバとの情報通信などに係る情報を含むこともできる。すなわち、本実施形態に係る制御情報は、対象物から取得され得る種々の情報であってよい。
【００４８】
また、ここで、上記の応答情報には、シミュレートの結果に基づいた画像情報、音声情報、テキスト情報、及び各種の数値データなどが含まれてよい。上記の応答情報は、仮想の自動運転車が備えるセンサから取得される各種の情報ともいえる。応答情報は、シミュレーションエピソードにおいて取得される時間軸を伴うデータの集合であってよい。
【００４９】
（環境取込部１２０）
環境取込部１２０は、情報処理装置３０から受信する未知環境や危険環境に係る環境パラメータに基づいて環境モデルファイルを生成し、新たな環境として取り込むことができる。この際、環境取込部１２０は、受信した環境パラメータを複数のクラスタに分類し、クラスタごとに生成モデル学習を行ってよい。環境取込部１２０による上記の機能詳細については後述する。
【００５０】
（通信部１３０）
通信部１３０は、制御学習装置２０及び情報処理装置３０との間の通信を行う機能を有する。すなわち、通信部１３０は、送信部としての機能と受信部としての機能とを併せて有してよい。具体的には、通信部１３０は、生成部１１０が生成した応答情報と環境モデルに関連付いた環境パラメータとを制御学習装置２０に送信することができる。また、通信部１３０は、機械学習に係る報酬パラメータを制御学習装置２０に送信してもよい。制御学習装置２０は上記の報酬パラメータを用いて強化学習を行うことができる。
【００５１】
また、通信部１３０は、制御対象の制御に係るエキスパート情報を制御学習装置２０に送信してもよい。制御学習装置２０は、上記のエキスパート情報を用いて逆強化学習を行うことができる。ここで、本実施形態に係るエキスパート情報とは、自動車制御に係るログ情報であってよく、ユーザによる実際の運転制御ログやゲーム上における仮想自動車の制御ログ、または学習済の自動運転ＡＩによる制御ログなどが含まれてもよい。
【００５２】
また、通信部１３０は、第２の制御対象が備える一または複数のセンサから取得されたセンサ情報を受信する機能を有する。さらに、通信部１３０は、第２の制御対象から取得された制御情報やエキスパート情報を受信してよい。なお、ここで、上記の第２の制御対象とは、情報処理装置３０が制御する車両４０やゲーム上の仮想自動車であってよい。また、通信部１３０は、情報処理装置３０から、制御学習装置２０による制御学習に係る報酬パラメータを受信してよい。
【００５３】
＜＜２．３．制御学習装置２０＞＞
次に、本実施形態に係る制御学習装置２０について詳細に説明する。本実施形態に係る制御学習装置２０は、第１の環境パラメータに基づいて生成された環境モデルにおける制御対象に係る応答情報と、第１の環境パラメータとを受信する機能を有する。また、制御学習装置２０は、受信した応答情報と第１の環境パラメータを用いて、制御対象の制御に係る機械学習を行うことができる。ここで、上記の第１の環境パラメータは、情報処理装置３０から送信される環境パラメータ、ユーザにより入力される環境パラメータ、または環境生成装置１０が予め保持する環境パラメータなどであってよい。
【００５４】
さらに、制御学習装置２０は、機械学習の結果に応じた第２の環境パラメータを、環境生成装置１０に送信する機能を有する。ここで、上記の第２の環境パラメータは、環境生成装置１０に、学習進捗に応じた環境モデルを要求するための環境パラメータであってよい。すなわち、環境生成装置１０は、制御学習装置２０から受信した環境パラメータに応じた環境モデルを用いて物理シミュレーションを行う。
【００５５】
図４を参照すると、本実施形態に係る制御学習装置２０は、学習部２１０及び装置通信部２２０を備える。以下、上記の構成が有する機能について説明する。
【００５６】
（学習部２１０）
学習部２１０は、受信された応答情報と環境パラメータを用いて制御対象の制御に係る機械学習を行う機能を有する。この際、学習部２１０は、受信された報酬パラメータを用いて強化学習を行うことができる。また、学習部２１０は、受信されたエキスパート情報を用いて逆強化学習を行ってもよい。学習部２１０による学習手法は、状況に応じて適宜設計され得る。なお、本実施形態においては、上記の制御対象は自動運転車であってよい。
【００５７】
また、学習部２１０は、学習進捗に応じて、環境生成装置１０に要求する環境モデルを決定する機能を有する。例えば、学習部２１０は、晴れの環境に係る学習精度が所定の閾値を上回ったことに基づいて、雨の環境を要求することを決定してもよい。学習部２１０が上記の決定を行うことで、種々の環境に対応した制御学習を動的かつ効率的に実現することが可能となる。
【００５８】
（装置通信部２２０）
装置通信部２２０は、環境生成装置１０との間の通信を行う機能を有する。具体的には、装置通信部２２０は、環境パラメータに基づいて生成された環境モデルにおける制御対象に係る応答情報と、環境パラメータとを受信することができる。また、装置通信部２２０は、機械学習に係る報酬パラメータやエキスパート情報を受信することができる。これにより、学習部２１０が制御学習に係る強化学習や逆強化学習を行うことが可能となる。
【００５９】
また、装置通信部２２０は、受信した各情報に基づいて学習部２１０が出力した制御情報を環境生成装置１０に送信する機能を有する。ここで、上記の制御情報は、学習部２１０が制御する環境モデル上の仮想自動車に係る制御情報であってよい。すなわち、装置通信部２２０は、学習部２１０が決定した制御に係る情報を取得し、環境生成装置１０に返すことができる。また、装置通信部２２０は、学習進捗に応じた環境モデルを要求するための環境パラメータを環境生成装置１０にさらに送信してよい。
【００６０】
＜＜２．４．情報処理装置３０＞＞
次に本実施形態に係る情報処理装置３０について詳細に説明する。上述したとおり、本実施形態に係る情報処理装置３０は、学習により運転制御能力を獲得した自動運転装置であってもよいし、自動車の挙動に係るシミュレーションゲームを制御するゲーム機であってもよい。
【００６１】
本実施形態に係る情報処理装置３０は、環境状態に係る環境パラメータを取得する機能を有する。また、情報処理装置３０は、取得した環境パラメータに基づいて当該環境状態が学習済であるか否かを判定することができる。また、情報処理装置３０は、学習済でないと判定した環境状態に係る環境パラメータを環境生成装置１０に送信することができる。すなわち、本実施形態に係る情報処理装置３０は、取得した環境パラメータに基づいて未知環境や危険環境を判定し、当該環境に係る環境パラメータを環境生成装置１０に送信する。
【００６２】
なお、情報処理装置３０がゲーム機である場合、上記の環境パラメータは、ゲーム上で構成される環境から取得した環境パラメータであってよい。情報処理装置３０は、例えば、ゲーム上で再現される太陽の動きや雨の状況などから環境パラメータを抽出し、環境生成装置１０に送信することができる。
【００６３】
図４を参照すると、本実施形態に係る情報処理装置３０は、取得部３１０、制御部３２０、判定部３３０、及びサーバ通信部３４０を備える。以下、上記の構成が有する機能について説明する。
【００６４】
（取得部３１０）
取得部３１０は、一または複数のセンサからセンサ情報を取得するセンサ情報取得部としての機能を有してよい。情報処理装置３０が自動運転装置である場合、取得部３１０は、制御対象である車両４０が備えるセンサから上記のセンサ情報を取得することができる。また、情報処理装置３０がゲーム機である場合、取得部３１０は、ゲーム上における仮想自動車に備えられる仮想センサから上記のセンサ情報を取得することができる。
【００６５】
また、取得部３１０は、制御対象の制御に係る制御情報を取得する制御情報取得部としての機能を有する。ここで、上記の制御情報は、例えば、ハンドル、アクセル、ブレーキなどの運転制御に関する制御情報であってもよい。また、上述したとおり、制御情報は、制御対象から取得され得る種々の情報であってよい。情報処理装置３０が自動運転装置である場合、取得部３１０は、制御対象である車両４０に係る制御情報を取得してよい。また、情報処理装置３０がゲーム機である場合、取得部３１０は、ゲーム上の制御対象である仮想自動車に係る制御情報を取得してよい。
【００６６】
また、取得部３１０は、環境状態に係る環境パラメータを取得する環境取得部としての機能を有する。情報処理装置３０が自動運転装置である場合、取得部３１０は、車両４０が備える各種のセンサや天気予報などの情報から上記の環境パラメータを取得することができる。また、情報処理装置３０がゲーム機である場合、取得部３１０は、ゲーム上の仮想自動車が備える仮想センサやゲーム上の各種設定データから上記の環境パラメータを取得することができる。
【００６７】
（制御部３２０）
制御部３２０は、制御対象の挙動を制御する機能を有する。情報処理装置３０が自動運転装置である場合、制御部３２０は、車両４０の運転に係る制御を行ってよい。この場合、情報処理装置３０は、車両４０に備えられる各種のセンサから取得されるセンサ情報などに基づいて車両４０の自動運転を行うことができる。また、情報処理装置３０がゲーム機である場合、制御部３２０は、ゲーム上の仮想自動車の運転や、ゲームに係る各種の機能を制御してよい。
【００６８】
（判定部３３０）
判定部３３０は、取得された各種の情報に基づいて、環境状態が学習済であるか否かを判定する機能を有する。すなわち、判定部３３０は、環境パラメータ、センサ情報、または制御情報などに基づいて未知環境や危険環境を判定することができる。また、判定部３３０は、環境状態が学習済でないと判定した場合、当該判定に基づいた通知データを生成することができる。上記の通知データは、車両４０の搭乗者へ未知環境や危険環境を検知したことを通知するためのデータであってよい。判定部３３０が有する機能の詳細については後述する。
【００６９】
（サーバ通信部３４０）
サーバ通信部は、環境生成装置１０との間の通信を行う機能を有する。具体的には、サーバ通信部３４０は、判定部３３０が環境状態を学習済ではないと判定したことに基づいて、当該環境状態に係る環境パラメータを環境生成装置１０に送信する送信部としての機能を有する。また、サーバ通信部３４０は、取得部３１０が取得したセンサ情報や制御対象の制御に係る制御情報を環境生成装置１０に送信することができる。
【００７０】
また、サーバ通信部３４０は、取得部３１０が取得する各種の情報に基づいて、報酬パラメータやエキスパート情報を環境生成装置１０に送信してよい。さらには、サーバ通信部３４０は、判定部３３０が生成した通知データを接続される表示装置などに送信することができる。
【００７１】
＜＜２．５．本実施形態に係る環境パラメータ＞＞
以上、本実施形態に係る各種の情報処理装置が有する機能について説明した。ここで、上述した環境生成装置１０、制御学習装置２０、及び情報処理装置３０が用いる環境パラメータについて詳細に説明する。
【００７２】
本実施形態に係る環境パラメータは、制御対象の状態に依存しない外的パラメータ、及び制御対象の状態に依存する内的パラメータを含んでよい。ここで、上記の外的パラメータは、制御対象とは独立した環境に係るパラメータであってよい。また、上記の内的パラメータは、制御対象と密接に関連したパラメータであってよい。以下、制御対象が自動車である場合を例に、上記の外的パラメータ及び内的パラメータについて具体的に説明する。
【００７３】
（外的パラメータ）
本実施形態に係る外的パラメータは、地理情報、時間情報、気象条件、屋外情報、屋内情報、交通用物体に係る情報、及び路面情報などを含む。外的パラメータは、車両４０が備える各種のセンサやインターネット上から取得した気象情報から生成されるパラメータであってよい。
【００７４】
ここで、上記の地理情報は、車両４０が走行する周辺環境における地理的情報であってよい。地理情報は、例えば、国名、地域名、及び座標位置などを含んでよい。
【００７５】
また、上記の時間情報は、環境パラメータを取得した際の時間に係る情報であってよい。時間情報は、例えば、時刻、日付、時間帯、季節、及び太陽位置などを含んでよい。
【００７６】
また、上記の気象条件は、車両４０が走行する周辺環境における気象状態に係る情報であってよい。気象情報は、例えば、天候、雨粒の大きさ、雨の量、雲の種類、雲の量、大気現象、及び定量情報などを含んでよい。
【００７７】
上記の天候には、例えば、快晴、晴れ、薄曇、曇、煙霧、砂塵、嵐、地吹雪、霧、霧雨、雨、みぞれ、雪、あられ、ひょう、及び強い西日などの情報が含まれてよい。
【００７８】
また、上記の雲の種類には、例えば、巻雲、巻層雲、巻積雲、積乱雲、高積雲、高層雲、乱層雲、層積雲、積雲、及び層雲などの情報が含まれてよい。
【００７９】
また、上記の大気現象には、台風、サイクロン、竜巻、吹雪、砂あらし、蜃気楼、オーロラ、雷、強風、及びスコールなどの情報が含まれてよい。また、上記の定量情報には、例えば、気温や湿度などの情報が含まれてよい。
【００８０】
また、外的パラメータに含まれる屋外情報は、車両４０が走行する周辺環境のうち屋外に係る環境情報であってよい。屋外情報は、動物体や静物体などの路上の物体に係る情報を含んでよい。ここで、動物体には、例えば、歩行者や車両、動物体などが含まれてよい。また、動物体に係る情報は、より詳細な種類や属性情報を含んでもよい。
【００８１】
例えば、車両の場合には、各メーカの車種や、車両区分などが含まれてよい。車両区分は、例えば、重機、農業用車両、二輪車、大型トラック、バス、特殊車両、車いす、一輪車などを区分してよい。また、動物の場合には、牛、鹿、猫、犬、鳥などの種別が含まれてよい。
【００８２】
また、上記の動物体が歩行者である場合には、歩行者の情報には属性情報や状態情報が含まれてもよい。ここで、属性情報は、例えば、人種、性別、年齢層などであってよい。また、状態情報には、例えば、走っている、立っている、座っている、倒れている、スケートボードに乗っている、杖を扱っている、スーツケースを引いている、傘をさしている、ベビーカーを押している、ペットを連れている、大きな荷物を背負っている状態が含まれてもよい。さらに、状態情報には、歩行者の服装（薄着であるか、コートを着用しているか、など）が含まれてよい。
【００８３】
また、動物体に係る情報は、動作パターンに関する情報を含んでよい。例えば、動物体が各種の車両である場合、上記の動作パターンには、例えば、飛び出し、急発進、急ハンドルなどが含まれてよい。本実施形態に係る環境生成装置１０は、上記のような動作パターンを環境モデルとして取り込むことで、種々の状況を再現することが可能である。
【００８４】
また、屋外情報に含まれる静物体情報は、例えば、植木や樹木、ごみ、道路工事に係る物体、通行止め表示、柵、及びガードレールなどの情報を含んでよい。
【００８５】
また、外的パラメータに含まれる屋内情報は、例えば屋内情報の特性に係る情報であってよい。屋内情報には、例えば、各種の部屋、製造現場、工場、空港、運動施設などの種別や特性が含まれてよい。
【００８６】
また、外的パラメータに含まれる交通用物体に係る情報は、交通に関連した各種の情報であってよい。交通用物体に係る情報は、例えば、標識（国や地域別の標識を含む）、信号、横断歩道、一時停止線などが含まれてよい。
【００８７】
また、外的パラメータに含まれる路面情報は、車両４０が走行する道路の路面情報であってよい。路面情報は、例えば、霜、水たまり、土砂、凍結、積雪などの情報を含んでもよい。
【００８８】
以上、本実施形態に係る外的パラメータについて詳細に例を挙げて説明した。上述したように、本実施形態に係る外的パラメータは、制御対象とは独立した環境に係るパラメータである。本実施形態に係る環境生成装置１０が、外的パラメータに基づいて環境モデルを生成することで、種々の環境に応じた制御学習を実現することができる。
【００８９】
（内的パラメータ）
一方、本実施形態に係る内的パラメータは、制御対象の状態に依存した環境パラメータである。内的パラメータは、例えば、車体、搭載物、及び搭乗者の状態に係る情報を含んでよい。本実施形態に係る環境生成装置１０は、例えば、車両４０に備えられるセンサや駆動系に係る内的パラメータを取り込むことで、車両４０の個体差に応じたシミュレーションを行うことができる。すなわち、本実施形態に係る環境生成装置１０によれば、装置の個体差を吸収するためのキャリブレーションを効果的に実現することが可能となる。
【００９０】
ここで、上記の車体情報は、各部品の特性情報や設置位置情報などを含んでもよい。具体的には、車体情報には、各部品の使用年数（経年劣化指数）や性能のばらつきに関する情報が含まれてよい。また、車体情報には、例えば、駆動系、ハンドル、ブレーキ系、センサ系など、各部品の特性に応じた情報が含まれてもよい。
【００９１】
例えば、駆動系情報には、温度、トルク、応答特性などの情報がふくまれてよい。ハンドル情報には、応答特性などの情報が含まれてよい。ブレーキ系情報には、摩耗、摩擦係数、温度特性、劣化具合などの情報が含まれてよい。また、センサ系情報には、イメージセンサ、ライダー、ミリ波レーダ、深度センサ、マイクなどの各センサに係る情報が含まれてよい。さらに、センサ系情報には、各センサの取り付け位置、索敵範囲、センサ性能、取り付け位置に係るばらつきの情報などが含まれてよい。
【００９２】
また、内的パラメータに含まれる搭載物情報は、車両４０が搭載する搭載物に関する情報であってよい。搭載物情報には、外部荷物や車載される内部荷物に係る情報を含んでよい。ここで、外部荷物には、例えば、スノーボード、スキー、ボートなどの物体種別や空気抵抗情報などが含まれてよい。また、搭載物情報には、搭載する荷物の重量や性質などの情報が含まれてもよい。
【００９３】
また、内的パラメータに含まれる搭乗者情報は、車両４０に搭乗する搭乗者に関する情報であってよい。搭乗者情報には、例えば、搭乗人数や搭乗者の属性情報が含まれてよい。搭乗者の属性情報は、例えば、妊婦、高齢者、乳幼児、障がい者などの属性を含んでよい。
【００９４】
以上、本実施形態に係る内的パラメータについて詳細に例を挙げて説明した。上述したとおり、本実施形態に係る内的パラメータは制御対象に密接に関連したパラメータである。本実施形態に係る報酬パラメータは、目的地までの距離、乗り心地、接触回数、交通ルールへの抵触、または燃費に係るパラメータを含んでよい。本実施形態に係る環境生成装置１０が内的パラメータに基づいて環境モデルを生成することで、制御対象の種類や個体差に応じた制御学習を実現することが可能となる。
【００９５】
＜＜２．６．本実施形態に係る報酬パラメータ＞＞
続いて、本実施形態に係る報酬パラメータの例について詳細に説明する。上述したとおり、本実施形態に係る制御学習装置２０は、報酬パラメータを用いた強化学習を行うことができる。以下、本実施形態に係る制御学習装置２０の制御対象が車両４０である場合の報酬パラメータの具体例を説明する。
【００９６】
本実施形態の自動運転制御に係る報酬パラメータは、例えば、目的地までの距離に係る報酬を含んでよい。上記の報酬は、例えば、経路距離や経路ミスによる経路変更回数などを考慮してよい。
【００９７】
また、本実施形態に係る報酬パラメータは、例えば、乗り心地に係る報酬を含んでもよい。上記の報酬は、例えば、加速度や角速度に係る振動量や、急ブレーキの回数などを考慮してよい。
【００９８】
また、本実施形態に係る報酬パラメータは、例えば、接触回数に係る報酬を含んでもよい。上記の報酬は、例えば、人や物体との接触回数や強度などを考慮してよい。
【００９９】
また、本実施形態に係る報酬パラメータは、例えば、交通ルールとの抵触を含んでもよい。上記の報酬は、例えば、交通ルールとの抵触の回数や種類などを考慮してよい。
【０１００】
また、本実施形態に係る報酬パラメータは、例えば、燃費に係る報酬を含んでもよい。上記の報酬は、例えば、各種メーカや車種、車両区別に応じた燃費特性情報などを考慮してよい。
【０１０１】
以上、本実施形態に係る報酬パラメータの具体例について詳細に説明した。上記に挙げた各情報は、車両４０が備える各種のセンサなどから取得される情報であってよい。このため、本実施形態では、予めの作りこみを要しない報酬パラメータを強化学習に用いることができる。すなわち、情報処理装置３０は、車両４０から取得したセンサ情報に基づいた報酬パラメータを環境生成装置１０に送信することが可能である。
【０１０２】
＜＜２．７．本実施形態の制御学習に係る入出力＞＞
以上、本実施形態で用いる環境パラメータ及び報酬パラメータについて詳細に説明した。次に、本実施形態の制御学習に係る入出力について詳細に説明する。上述したとおり、本実施形態に係る環境生成装置１０は、環境パラメータに基づいて生成した環境モデルにおいて、制御学習装置２０が制御する仮想自動車の挙動をシミュレートすることができる。また、制御学習装置２０は、学習の進捗に応じて次の学習に用いる環境モデルを環境生成装置１０に要求することができる。
【０１０３】
（制御学習に係る入出力の概要）
図５は、本実施形態の制御学習に係る入出力の概要を示す概念図である。なお、図５の一例では、制御学習装置２０が強化学習を行う場合の入出力を示している。図５を参照すると、環境生成装置１０は、制御学習装置２０に対し、応答情報、環境パラメータ、及び報酬パラメータを送信している。ここで、上記の応答情報は、上述したとおり、シミュレートの結果に基づいた画像情報、音声情報、テキスト情報、及び各種の数値データなどが含まれてよい。
【０１０４】
この際、制御学習装置２０は、入力された上記の情報に基づいて仮想自動車の制御学習を行うことができる。また、制御学習装置２０は、上記の制御学習と並行して、入力された環境パラメータに基づいた環境認識学習を行うことができる。この際、制御学習装置２０は、入力情報に基づいて制御対象の制御を決定し、当該制御に係る制御情報を環境生成装置１０に送信する。また、制御学習装置２０は、入力情報に基づいた環境認識の結果から要求する環境モデルに係る環境パラメータを生成し、当該環境パラメータを環境生成装置１０に送信することができる。
【０１０５】
図６は、環境生成装置１０及び制御学習装置２０が環境パラメータの受け渡しに用いるＡＰＩの一例である。図６の一例では、環境パラメータとして、時刻情報、国情報、雨フラグ、及び雨強度が、それぞれのデータ型に応じた値として示されている。図６に示すように、本実施形態では、環境パラメータごとに関数仕様を設定し、当該仕様に基づいたＡＰＩを用いることで環境パラメータの送受信を行うことができる。
【０１０６】
（制御学習に係る入出力の詳細）
続いて、図７を参照して本実施形態の制御学習に係る入出力について、より詳細に説明する。図７は、制御学習装置２０に係るネットワーク構造を模式的に示した入出力の概念図である。図７を参照すると、環境生成装置１０から入力されるセンサ情報（応答情報）、報酬パラメータ、及び環境パラメータは、それぞれ制御学習装置２０の有するＣｏｎｖｏｌｕｔｉｏｎレイヤーやＡｆｆｉｎｅレイヤーに入力される。なお、図７において、報酬パラメータ及び環境パラメータと共に括弧で示される数字は各パラメータの要素の数を示す値であるが、各パラメータの要素の数は係る例に限定されるものではない。
【０１０７】
続いて、各レイヤーから出力される情報は、ネットワークＮＮ１に入力される。ここで、ネットワークＮＮ１は、人間の視覚野に相当する機能を有してよい。上述したとおり、本実施形態に係る制御学習装置２０は、制御学習と環境認識学習を並行して行うことが可能である。この際、後述する制御決定に係るネットワークＮＮ２及び環境認識に係るネットワークＮＮ４は、入力元として視覚野に相当するネットワークＮＮ１を共有してよい。これにより、環境認識能力の向上とともにネットワークＮＮ１の性能が上昇し、間接的に制御学習の効率化に寄与することが期待できる。
【０１０８】
なお、図７では、応答情報として画像情報が入力される場合を例に示しているが、本実施形態に係る応答情報は係る例に限定されず、種々のデータを含んでよい。このため、図７に示すネットワークＮＮ１以外にも様々な特性を持ったネットワークが獲得され、間接的に制御学習に寄与することが期待される。なお、図７に示すように視覚野に相当するネットワークＮＮ１は、明示的に存在しなくてもよい。学習時に各ネットワークの入力と出力が繋がっていることで、上記のような相乗効果を得られると想定される。
【０１０９】
また、ネットワークＮＮ１からの出力は、ネットワークＮＮ２〜ＮＮ４に入力される。ここで、ネットワークＮＮ２は制御決定に係るネットワークであってよい。ネットワークＮＮ３は、予測及び再構成に係るネットワークであってよい。また、ネットワークＮＮ４は、環境認識に係るネットワークであってよい。
【０１１０】
制御決定に係るネットワークＮＮ２はネットワークＮＮ１からの入力に基づいて制御対象の制御決定を行い、当該制御に係る制御情報を出力する。図７に示す一例では、ネットワークＮＮ２は、アクセル制御及びハンドル制御に係る制御情報を出力している。
【０１１１】
また、予測及び再構成に係るネットワークＮＮ３は、ネットワークＮＮ１からの入力に基づいて再構成した画像情報を出力している。
【０１１２】
また、環境認識に係るネットワークＮＮ４は、ネットワークＮＮ１からの入力に基づいた環境推定の結果を出力する。続いて、環境要求に係るネットワークＮＮ５は、ネットワークＮＮ４が出力した環境推定結果に基づいて次の学習に用いる環境モデルを要求するための環境パラメータを出力することができる。制御学習装置２０は、ネットワークＮＮ２により出力される制御情報とネットワークＮＮ５により出力される環境パラメータとを環境生成装置１０に送信し、１つの入出力サイクルを終了する。
【０１１３】
以上、制御学習装置２０による制御学習に係る入出力の詳細について説明した。制御学習装置２０は、上記のサイクルを繰り返し実行することで、制御学習及び環境認識学習を行うことができる。上述したとおり、本実施形態に係る制御学習装置２０によれば、環境認識による間接的な制御学習の効率化が期待できる。
【０１１４】
＜＜２．８．本実施形態に係る制御学習の流れ＞＞
次に、本実施形態に係る制御学習の流れについて詳細に説明する。図８は、本実施形態に係る学習の流れを示すフローチャートである。
【０１１５】
図８を参照すると、まず、制御学習装置２０は、環境生成装置１０からエピソードにおける時刻ｔの応答情報、環境パラメータ、及び報酬パラメータを受信する（Ｓ１１０１）。
【０１１６】
続いて、制御学習装置２０は、ステップＳ１１０１で受信した情報を用いて制御学習を行う（Ｓ１１０２）。制御学習装置２０は、例えば、ディープラーニングとＱラーニング（Ｑ−Ｌｅａｒｎｉｎｇ：Ｑ学習）を組み合わせた学習を行ってよい。また、制御学習装置２０は、行動関数などを用いた学習を行うこともできる。すなわち、制御学習装置２０は、受信した応答情報を基に状態価値関数などの指標を定め、当該価値を最大化することで制御学習を行ってもよい。この際、学習には、ディープラーニングなどの手法を用いることができる。
【０１１７】
次に、制御学習装置２０は、時刻ｔにおける制御決定を行う（Ｓ１１０３）。制御学習装置２０は、例えば、強化学習に用いられるε−ｇｒｅｅｄｙなどの方法を用いることができる。すなわち、制御学習装置２０は、定められた確率εでランダムに動作しつつ、受信した情報と現在までに獲得した学習器を基に、時刻ｔにおける制御決定を行うことができる。
【０１１８】
一方、制御学習装置２０は、ステップＳ１１０２及びＳ１１０３と並行して環境認識学習を行うことができる（Ｓ１１０４）。ここで、制御学習装置２０は、受信した環境パラメータに対する予測誤差を最小化する学習を行ってよい。
【０１１９】
例えば、制御学習装置２０は、画像情報から雨らしさを推定し、環境パラメータに含まれる雨フラグに対する予測誤差を最小化する学習を行うことができる。また、例えば、制御学習装置２０は、画像情報から雨強度を予測し、雨強度に対する予測誤差を最小化する学習を行うことができる。
【０１２０】
続いて、制御学習装置２０は、要求する環境の決定を行う（Ｓ１１０５）。制御学習装置２０による要求環境決定の詳細については後述する。
【０１２１】
ステップＳ１１０３における制御決定とステップＳ１１０５における要求環境の決定が完了すると、制御学習装置２０は、環境生成装置１０に制御情報と環境パラメータを送信する（Ｓ１１０６）。
【０１２２】
次に学習終了判定が行われ（Ｓ１１０７）、学習が終了する場合（Ｓ１１０７：Ｙｅｓ）、制御学習装置２０は、制御学習に係る処理を終了する。一方、学習が終了されない場合（Ｓ１１０７：Ｎｏ）、制御学習装置２０は、ステップＳ１１０１〜Ｓ１１０６の各処理を繰り返し実行する。
【０１２３】
＜＜２．９．本実施形態に係る環境要求の流れ＞＞
続いて、本実施形態に係る環境要求の流れについて詳細に説明する。上述したとおり、本実施形態に係る制御学習装置２０は、環境認識の結果に基づいて、次の学習に用いる環境モデルを動的に要求することができる。図９は、本実施形態に係る環境要求の流れを示すフローチャートである。
【０１２４】
図９を参照すると、学習が開始された際、学習に係るエピソード及び環境モデルがリセットされる（Ｓ１２０１）。続いて、環境生成装置１０によるシミュレータ時間の更新が行われる（Ｓ１２０２）。このように、環境生成装置１０は、実行時間のモード設定用関数を有してよい。すなわち、環境生成装置１０は、ステップ実行関数により、シミュレータ時間を更新することができる。
【０１２５】
続いて、制御学習装置２０は、図８を用いて説明した制御学習を行う（Ｓ１２０３）。この際、制御学習装置２０は、ステップＳ１２０３と並行して、環境認識学習を行ってよい（Ｓ１２０４）。
【０１２６】
次に、環境生成装置１０はエピソードの終了判定を行う（Ｓ１２０５）。この際、環境生成装置１０は、所定のシミュレータ時間に達したことに基づいて、エピソードを終了してもよい。また、自動運転制御に係る制御学習の場合、環境生成装置１０は、仮想自動車の大破、人との接触、または目的地への到着などに基づいてエピソードの終了を決定してもよい。
【０１２７】
ここで、エピソードが終了しない場合（Ｓ１２０５：Ｎｏ）、ステップＳ１２０２〜Ｓ１２０４の処理が繰り返し実行される。一方、エピソードが終了する場合（Ｓ１２０５：Ｙｅｓ）、制御学習装置２０による環境モデルの要求が処理される（Ｓ１２０６）。
【０１２８】
この際、制御学習装置２０は、学習への寄与率が最大化する環境を要求環境として設定してよい。制御学習装置２０は、例えば、環境認識率と制御学習の精度が低い環境パラメータの組み合わせを苦手な環境と仮定することができる。この場合、制御学習装置２０は、上記の組み合わせの組み換えや、分散の中でパラメータをばらつかせることで環境パラメータを生成してもよい。上記で生成された環境パラメータに係る環境モデルを要求することで、環境に対する偏りのない学習を実現することが可能となる。
【０１２９】
また、制御学習装置２０は、環境を要求することも制御の一つと捉えてもよい。この場合、制御学習装置２０は、制御学習と同一の枠組みで制御性能が最大化されるように強化学習を行うことができる。
【０１３０】
次に、学習の終了判定が行われ（Ｓ１２０７）、学習が終了される場合（Ｓ１２０７：Ｙｅｓ）、環境生成装置１０及び制御学習装置２０は、一連の処理を終了する。一方、学習が継続する場合（Ｓ１２０７：Ｎｏ）、ステップＳ１２０１〜Ｓ１２０６の処理が繰り返し実行される。
【０１３１】
この際、学習の終了判定は、テストコースに設定される事故回数や走行時間などの所定水準に基づいて行われてもよい。また、学習の終了判定は、学習の進捗が所定時間認められないことに基づいて行われてもよい。本実施形態に係る学習の終了判定は、適宜設計され得る。
【０１３２】
＜＜２．１０．本実施形態に係るエピソード遷移の具体例＞＞
次に、本実施形態に係るエピソード遷移の具体例について述べる。図１０は、制御学習装置２０が強化学習を実施するエピソードにおける入出力データを時系列に示した一例である。図１０では、横軸に時刻及びエピソード番号が示されており、縦軸に各入出力データが例示されている。
【０１３３】
図１０に示される一例では、制御学習装置２０には、応答情報、報酬パラメータ、及び環境パラメータが入力されている。ここでは、応答情報の例として画像イメージが、報酬パラメータの例として距離及び事故回数が、また、環境パラメータの例として、晴れ及び雨フラグが示されている。
【０１３４】
また、図１０に示される一例では、制御学習装置２０は、入力情報に基づいて制御情報、環境推定結果、及び環境要求結果を出力している。ここでは、制御情報の例としてアクセル、ハンドル、及びブレーキに係る制御情報が、環境推定結果の例として晴れ及び雨に係る推定値が、環境要求結果の例として晴れ及び雨フラグが示されている。
【０１３５】
上述したとおり、本実施形態に係る制御学習装置２０は、時刻ｔにおける各情報を受信し、受信した情報に基づいて制御決定及び環境推定を行うことができる。また、制御学習装置２０は、学習の進捗に応じて、学習に用いる環境モデルを動的に要求することができる。図１０は、上記の制御に係る入出力データを時系列に示した例であってよい。すなわち、制御学習装置２０は、時刻ｔごとに図１０に示すような入出力を繰り返すことで学習を行うことができる。
【０１３６】
なお、図１０を参照すると、制御学習装置２０は、時刻ｔ（５）において、雨に係る環境を要求していることがわかる。続く時刻ｔ（６）ではエピソードが更新され、環境生成装置１０は、雨に係る環境モデルを制御学習装置２０に提供している。すなわち、時刻ｔ（６）以降のエピソード１では、環境生成装置１０は雨の環境を示す環境パラメータを制御学習装置２０に送信している。
【０１３７】
以上説明したように、本実施形態に係る制御学習装置２０は、時刻ｔにおける入力情報に基づいて、制御情報、環境推定結果、及び環境要求結果を出力する。本実施形態に係る制御学習装置２０によれば、学習進捗に応じた動的な環境を要求することで学習効率を向上させることが可能となる。
【０１３８】
なお、上記の説明では、制御学習装置２０からの要求に応じて、環境生成装置１０が当該要求に基づく環境モデルを即時提供する場合を例に述べたが、本実施形態に係る環境モデルの提供は係る例に限定されない。具体的には、本実施形態に係る環境生成装置１０は、環境の遷移状態を考慮したシミュレーションを実行することができる。例えば、制御学習装置２０が雪に係る環境を要求した場合、環境生成装置１０は、雪の降り始めから積雪に至るまでの遷移を再現してもよい。すなわち、本実施形態に係る環境生成装置１０は、熱容量や温度などの物理法則に則した環境状態遷移をシミュレートすることが可能である。これにより、制御学習装置２０は、天候を含む環境状態の遷移に応じた学習を行うことが可能となり、より実世界の環境に則した制御能力を獲得することできる。
【０１３９】
また、本実施形態に係る報酬パラメータは、ユーザが明示的に入力する情報であってもよい。この場合、環境生成装置１０は、ユーザに制御学習装置２０による学習過程を提供するための学習再生機能を有してよい。ユーザは、制御学習装置２０による学習過程を確認し、当該学習過程に応じた報酬パラメータを入力することができる。
【０１４０】
＜＜２．１１．本実施形態に係る逆強化学習＞＞
次に、本実施形態に係る逆強化学習について詳細に説明する。上述したとおり、本実施形態に係る制御学習装置２０は、強化学習の他、逆強化学習を行うこともできる。図１１は、本実施形態の逆強化学習に係る入出力の概要を示す概念図である。図５に示した強化学習に係る入出力と比較すると、本実施形態に係る逆強化学習では、報酬パラメータに代えてエキスパート情報が制御学習装置２０に入力されている。この際、制御学習装置２０は、報酬関数を内部で獲得することができる。
【０１４１】
上述したとおり、本実施形態に係るエキスパート情報は、自動車制御に係るログ情報であってよい。本実施形態に係るエキスパート情報は、ユーザや情報処理装置３０による実際の運転制御ログを含んでよい。すなわち、本実施形態に係る逆強化学習では、ユーザが操作する自動車または自動運転車から取得した制御ログを用いることができる。また、逆強化学習では、情報処理装置３０が制御する車両４０から取得した制御ログを用いることもできる。
【０１４２】
さらには、本実施形態に係るエキスパート情報は、ゲーム上における仮想自動車の制御ログを含んでよい。すなわち、本実施形態に係る逆強化学習では、情報処理装置３０が制御するゲーム上の仮想自動車や、ユーザが操作するゲームまたはシミュレータ上の仮想自動車に係る制御ログを用いることができる。
【０１４３】
ユーザが仮想自動車を操作する場合、環境生成装置１０または情報処理装置３０は、ユーザに仮想自動車の周辺環境を提示するためのインターフェースや、ユーザの操作を受け付けるためのインターフェースを有してよい。また、この場合、環境生成装置１０または情報処理装置３０は、ユーザのポリシーを受け付けるインターフェースを有してもよい。ここで、上記のポリシーとは、ユーザの運転に対するポリシーであってよい。上記のポリシーには、例えば、安全運転、急いでいる、揺れの少なさを優先、または緊急時などの状況が含まれてよい。
【０１４４】
以上、本実施形態に係るエキスパート情報について説明した。本実施形態に係る制御学習装置２０は、人間などのエキスパートによる行動に基づいて、当該行動の組み合わせや周辺に係る行動を効率良く探索し、状況に対する最適な行動を獲得するための学習を行うことができる。すなわち、本実施形態によれば、人間がとり得る制御に基づいて種々の状態をシミュレートすることが可能となり、制御学習装置２０が一層に人間に近い運転制御を獲得することができる。
【０１４５】
このため、本実施形態に係る制御学習装置２０は、強化学習に用いられるε−ｇｒｅｅｄｙなどの手法に代えて、人間の動作パターンに基づいて探索を行う機能を有してよい。また、制御学習装置２０は、エキスパート情報をリプレイメモリに取り込み学習に用いる経験データを生成する機能などを有してもよい。すなわち、制御学習装置２０は、図１０に示したようなエピソードの１つとしてエキスパート情報を使用することができる。
【０１４６】
また、エキスパート情報には、行動履歴情報に加え、当該行動に関連付いたエキスパートの生体情報が含まれてよい。上記の生体情報は、例えば、心拍や血圧の上昇、眼球運動、瞳孔径の変化、発汗、体温、寝不足、健康状態などの情報が含まれてよい。本実施形態に係る制御学習装置２０は、上記の生体情報に基づいた逆強化学習を行うことで、より人間に近い運転制御能力を獲得することが可能である。
【０１４７】
また、本実施形態に係る環境生成装置１０及び制御学習装置２０は、エキスパート情報の選別に係る機能を有してよい。逆強化学習では、エキスパート情報に含まれる制御ログから行動の報酬関数や運転に係るポリシーを獲得することとなる。この際、逆強化学習に用いられる制御ログは、一貫したポリシーなどの法則を順守していることが求められる。例えば、赤信号の無視に係る制御ログがエキスパート情報として取り込まれてしまうと、制御学習装置２０が正しい報酬関数やポリシーを獲得することが困難となる。
【０１４８】
このため、本実施形態に係る環境生成装置１０及び情報処理装置３０は、条件に応じた制御ログのみを選別する機能を有してよい。具体的には、本実施形態に係る情報処理装置３０の判定部３３０は、制御対象を制御する者が所定の属性に属するか否かを判定することができる。判定部３３０は、例えば、運転者情報に基づいて優良なエキスパート情報を判定してよい。また、サーバ通信部３４０は、判定部３３０の上記の判定に基づいて、制御情報を環境生成装置１０に送信してよい。ここで、上記の運転者情報には、例えば、運転者の生体情報、過去の運転制御ログ、事故履歴、または性格情報などが含まれてよい。
【０１４９】
また、上記の選別は、環境生成装置１０により実行されてもよい。本実施形態に係る環境生成装置１０は、情報処理装置３０から受信したエキスパート情報を選別し、条件に応じたエキスパート情報のみを制御学習装置２０に送信することができる。具体的には、本実施形態に係る環境生成装置１０の環境取込部１２０は、制御対象を制御する者が所定の属性に属するか否かを判定してよい。例えば、環境取込部１２０は、取得されたエキスパート情報をフィルタリングし、優良なエキスパート情報を判定することができる。この際、環境取込部１２０は、上記の運転者情報に基づいてエキスパート情報を判定してよい。また、通信部１３０は、環境取込部１２０による上記の判定に基づいて、優良なエキスパート情報のみを制御学習装置２０に送信してよい。すなわち、制御学習装置２０は、所定の属性に属すると判定された制御情報を用いて逆強化学習を行うことができる。
【０１５０】
本実施形態に係る環境生成装置１０及び情報処理装置３０が有する上記の機能によれば、制御学習装置２０の逆強化学習を効果的に実現することが可能となる。なお、上記の優良なエキスパート情報を選別する条件は、複数設定されてもよく、制御学習装置２０の学習進捗に応じて設定されてもよい。例えば、本実施形態に係る優良なエキスパート情報は、目的地に速く到着することができるドライバーや、安全運転を行うドライバーなど、種々のポリシーに応じて定義されてよい。
【０１５１】
以上、本実施形態に係る逆強化学習について説明した。上述したとおり、本実施形態に係る制御学習装置２０は、受信したエキスパート情報に基づいて逆強化学習を行うことができる。本実施形態に係る制御学習装置２０によれば、ユーザによる運転制御ログや、ゲームまたはシミュレータ上の制御ログを有効に活用することができ、より効率の良い制御学習を実現することが可能となる。
【０１５２】
＜＜２．１２．未知環境及び危険環境の取込に係る概要＞＞
次に、本実施形態の未知環境及び危険環境の取込に係る概要について説明する。上述したとおり、本実施形態に係る情報処理装置３０は、取得された各種の情報に基づいて、環境状態が学習済であるか否かを判定することができる。すなわち、情報処理装置３０は、センサ情報、環境パラメータ、または制御情報などに基づいて、未知環境や危険環境を判定することができる。
【０１５３】
この際、情報処理装置３０は、未知環境または危険環境と判定した環境状態に係る環境パラメータ、センサ情報、制御情報を環境生成装置１０に送信してよい。環境生成装置１０は、情報処理装置３０から受信した上記の情報に基づいて、未知環境や危険環境に係る新たな環境モデルファイルを生成し、制御学習装置２０による制御学習に用いることができる。
【０１５４】
図１２は、情報処理装置３０と環境生成装置１０とに係る入出力の概要を示す概念図である。図１２を参照すると、判定部３３０は、取得部３１０から受け取った情報に基づいて、未知環境や危険環境の判定を行ってよい。この際、判定部３３０が環境状態を未知環境または危険環境であると判定すると、サーバ通信部３４０は、判定部３３０の判定に基づいて、センサ情報、環境パラメータ、及び制御情報を環境生成装置１０に送信する。
【０１５５】
続いて、環境生成装置１０の通信部１３０は、受信した上記の情報を環境取込部１２０に引き渡す。ここで、環境取込部１２０は、取得した情報に基づいて環境モデルファイルを生成し、生成部１１０に引き渡すことができる。なお、環境取込部１２０による環境モデルファイル生成の詳細については後述する。
【０１５６】
以上、本実施形態の未知環境及び危険環境の取込に係る概要について説明した。以降、情報処理装置３０による環境判定の詳細、及び環境生成装置１０による環境取込の詳細について説明する。
【０１５７】
＜＜２．１３．未知環境及び危険環境の判定＞＞
次に、本実施形態に係る未知環境及び危険環境の判定について、詳細に説明する。図１３は、本実施形態に係る情報処理装置３０による判定の流れを示すフローチャートである。
【０１５８】
図１３を参照すると、まず、情報処理装置３０の取得部３１０は、センサ情報、環境パラメータ、及び制御情報を取得する（Ｓ１３０１）。この際、取得部３１０は、車両４０が備える各種のセンサから取得した情報を環境パラメータに含めてもよい。例えば、取得部３１０は、車両４０に備えられる時計や気温系から時刻及び気温に係る情報を取得することができる。
【０１５９】
また、取得部３１０は、インターネット上から取得した情報を環境パラメータに含めてもよい。取得部３１０は、例えば、取得したエリア天気予報に基づいて環境パラメータを生成してよい。さらに、取得部３１０は、認識の結果に基づいて環境パラメータを生成することができる。例えば、取得部３１０は、認識した路面の状態を環境パラメータに含めてもよい。
【０１６０】
次に、判定部３３０は、取得部３１０から受け取った情報に基づいて、未知環境や危険環境に係る判定を行う（Ｓ１３０２）。この際、デフォルトの状態では、すべての環境を未知環境として設定することもできる。また、例えば、地域ごとにデフォルト値が定められてもよい。
【０１６１】
ステップＳ１３０２において、判定部３３０は、例えば、環境パラメータの推定誤差に基づいて上記の判定を行ってもよい。この場合、判定部３３０は、センサ情報から環境パラメータの推定を行い保有する情報の誤差と比較してよい。この際、判定部３３０は、誤差が所定の閾値を上回ることに基づいて、未知環境を判定することができる。
【０１６２】
また、判定部３３０は、オートエンコーダによる画像再構成の結果に基づいて判定を行ってもよい。オートエンコーダではこれまでの学習で入力されていない未知物体や天候に応じた状態を再現することが困難であるため、判定部３３０は、再構成の精度が悪いことに基づいて未知環境の判定を行うことができる。この際、判定部３３０は、取得部３１０から取得した情報と再構成結果を、ＰＳＮＲなどの距離指標を用いて比較してもよい。この際、判定部３３０は、再構成結果の精度が所定の閾値に満たないことに基づいて未知環境を判定することができる。
【０１６３】
また、判定部３３０は、未来の予測に基づいて未知環境の判定を行ってもよい。この場合、判定部３３０は、現在のセンサ情報ではなく過去のセンサ情報に基づいて構成された予測結果に基づいて判定を行うことができる。この際、判定部３３０は、予測誤差が所定の閾値を上回ることに基づいて未知環境を判定することができる。
【０１６４】
また、判定部３３０は、ユーザ操作の履歴に基づいて判定を行ってもよい。判定部３３０は、例えば、通常と異なる操作パターンを制御情報から検知したことに基づいて、未知環境や危険環境を判定することができる。また、判定部３３０は、急ブレーキや閾値以上の加速度を検知したことに基づいて、危険環境を判定してもよい。
【０１６５】
また、判定部３３０は、ユーザが手動運転モードに切り替えたことに基づいて未知環境や危険環境の判定を行ってもよい。判定部３３０は、例えば異常を察知したユーザによる操作を検出し、上記の判定を行うことができる。
【０１６６】
ステップＳ１３０２で判定部３３０が環境状態を既知だと判定した場合（Ｓ１３０２：Ｎｏ）、情報処理装置３０は、ステップＳ１３０１に復帰し、上述した処理を繰り返してよい。一方、判定部３３０が未知環境または危険環境を判定した場合（Ｓ１３０２：未知）、サーバ通信部３４０は、センサ情報、環境パラメータ、及び制御情報を環境生成装置１０に送信する（Ｓ１３０３）。
【０１６７】
続いて、情報処理装置３０は、搭乗者などへの通知を行ってよい（Ｓ１３０４）。具体的には、判定部３３０は、未知環境または危険環境を判定した際、当該判定に基づいた通知データを生成することができる。サーバ通信部３４０は、上記の通知データを表示部などに送信し通知内容を表示させてよい。
【０１６８】
図１４は、車載器などの表示部に表示される通知画面の例を示している。図１４を参照すると、通知画面Ｄ１には、上記の通知データに基づいたメッセージＭ１とボタンｂ１及びｂ２が表示されている。
【０１６９】
図１４に示す一例では、メッセージＭ１には、未知環境が検知された旨と、手動運転に切り替えるか否かの判断を仰ぐメッセージが表示されている。また、図１４に示すように、メッセージＭ１には、判定時の情報に基づいて決定された未知の度合いを示すレベルなどが表示されてもよい。搭乗者は、上記のメッセージを確認することで、未知環境や危険環境が検出されたことを知覚し、その後の判断を行うことができる。また、搭乗者は、通知画面Ｄ１に表示されるボタンｂ１またはｂ２を操作することで、手動運転への切り替えなどを行うこともできる。なお、図１４では視覚情報により通知を行う場合を例に説明したが、搭乗者への上記の通知は音声などにより行われてもよい。
【０１７０】
以上、本実施形態に係る未知環境及び危険環境の判定について説明した。本実施形態に係る情報処理装置３０は、運転が終了するまで、図１３に示すステップＳ１３０１〜Ｓ１３０４の処理を繰り返し実行してよい。
【０１７１】
本実施形態に係る情報処理装置３０によれば、環境生成装置１０が保有しない環境情報を動的かつ効率的に収集することが可能となる。また、本実施形態に係る情報処理装置３０は、判定した内容を搭乗者に通知することで、搭乗者の安心感を高めることや安全を確保することが可能である。
【０１７２】
＜＜２．１４．未知環境及び危険環境の取込に係る詳細＞＞
（環境取込の流れ）
次に、本実施形態に係る未知環境及び危険環境の取込について詳細に説明する。本実施形態に係る環境生成装置１０は、受信した情報に基づいて環境モデルファイルを生成し、新たな環境モデルとして取り込むことができる。図１５は、未知環境及び危険環境の取込に係る流れを示すフローチャートである。
【０１７３】
図１５を参照すると、まず、環境生成装置１０の通信部１３０は、情報処理装置３０から未知環境または危険環境に係るセンサ情報、環境パラメータ、制御情報を受信する（Ｓ１４０１）。
【０１７４】
次に、環境取込部１２０は、受信された情報に基づいてクラスタの分類を行う（Ｓ１４０２）。この際、環境取込部１２０は、同一環境判定器などを利用して同一環境または非同一環境を判定しクラスタの分類を行ってもよい。
【０１７５】
また、環境取込部１２０は、この際、情報が取得された地理情報に基づいてクラスタの分類を行うこともできる。この場合、国や地域などの特性に応じた環境モデルを生成することが可能となり、制御学習装置２０は地域ごとの環境に基づいた学習を行うことができる。
【０１７６】
次に、環境取込部１２０は、分類したクラスタごとに生成モデル学習を行う（Ｓ１４０３）。環境取込部１２０は、標準環境の同一座標及び同一の視界状態において、取得した情報に基づく未知環境を射影する学習を行うことで、所定の未知環境モデルを生成することができる。
【０１７７】
次に、環境取込部１２０は、生成した未知環境モデルの生成品質を判定する（Ｓ１４０４）。ここで、上記の生成品質が所定の閾値εを上回る場合（Ｓ１４０４：Ｙｅｓ）、環境取込部１２０は、生成した環境モデルファイルを生成部１１０に取り込ませてよい（Ｓ１４０５）。
【０１７８】
一方、生成品質が所定の閾値εに達しない場合、環境生成装置１０は、ステップＳ１４０１に復帰し、より多くの情報を収集してよい。
【０１７９】
（未知環境モデルの例）
以上、本実施形態に係る環境取込の流れについて説明した。続いて、上記の処理により生成される未知環境モデルの例について説明する。本実施形態に係る環境生成装置１０は、受信した情報に基づいて、例えば、未知物体、未知大気情報、または未知運動特性に係る環境モデルを生成することができる。
【０１８０】
例えば、環境生成装置１０は、未知物体判定器を用いて未知物体クラスタを生成し、当該クラスタ中で同一物体判定を行うことで所定の未知物体Ｘに係るクラスタを生成してもよい。この際、環境生成装置１０は、例えば、所定地域における未知物体Ｘの出現頻度が高いことに基づいて未知物体Ｘに係る情報から形状などの物質特性を三次元構成し、新たな環境モデルとして取り込んでもよい。
【０１８１】
また、例えば、環境生成装置１０は、大気状態判定器を用いて大気状態クラスタを生成し、当該クラスタ中で同一大気判定を行うことで所定の未知大気状態Ｙに係るクラスタを生成してもよい。この際、環境生成装置１０は、例えば、所定地域における未知大気状態Ｙの観測頻度が高いことに基づいて未知大気状態Ｙを通常の大気状態に射影し、新たな環境モデルを生成してもよい。
【０１８２】
また、例えば、環境生成装置１０は、運動特性判定器を用いて運動特性クラスタを生成し、当該クラスタ中で同一運動特性判定を行うことで所定の未知運動特性Ｚに係るクラスタを生成してもよい。この際、環境生成装置１０は、例えば、所定地域における未知運動特性Ｚの観測頻度が高いことに基づいて未知運動特性Ｚを再構成し、新たな環境モデルを生成してもよい。
【０１８３】
以上、本実施形態に係る未知環境及び危険環境の取り込みについて詳細に説明した。上述したように、本実施形態に係る情報処理装置３０は、未知環境及び危険環境を判定し、当該環境に係る情報を環境生成装置１０に送信することができる。また、本実施形態に係る環境生成装置１０は、受信した情報に基づいて新たな環境モデルを生成することができる。なお、上記の説明では、環境生成装置１０が動的に新たな環境モデルを取り込む場合について説明したが、本実施形態に係る環境モデルの取り込みは、ユーザにより実施されてもよい。ユーザが実世界において知覚した環境を新たな環境として作りこむことで、より柔軟に実世界の環境に対応することが可能となる。
【０１８４】
本実施形態に係る情報処理装置３０と環境生成装置１０によれば、保有しない環境情報を動的かつ効率的に収集することが可能となる。これにより、環境生成装置１０が生成する環境モデルと実世界環境との乖離を継続的に低減することができ、制御学習装置２０による学習の効率を大きく向上させることが可能となる。
【０１８５】
また、環境生成装置１０は、上記の機能を実現するために各種の関数を用いてよい。例えば、環境生成装置１０は、受信した所定の環境に係る情報を保存する関数を用いることができる。この場合、環境生成装置１０は、受信した環境パラメータ、制御情報、報酬パラメータなどを構造化し、内部データとして保存することができる。
【０１８６】
また、例えば、環境生成装置１０は、受信した所定の環境に係る状況をロードする関数を用いることができる。この場合、環境生成装置１０は、受信した環境パラメータ、制御情報、報酬パラメータ、または構造化された内部データなどに基づいて、上記所定の環境を再現することができる。
【０１８７】
また、例えば、環境生成装置１０は、受信した所定の環境状況をまとめ、所定の座標情報及び時間における標準パラメータを生成する関数を用いることができる。この場合、環境生成装置１０は、受信した環境パラメータ、制御パラメータ、報酬パラメータなどに基づいて上記所定の環境を再現し、その座標時間におけるパラメータの標準分布を統計的に算出することができる。
【０１８８】
＜３．ハードウェア構成例＞
次に、本開示に係る環境生成装置１０、制御学習装置２０、及び情報処理装置３０に共通するハードウェア構成例について説明する。図１６は、本開示に係る環境生成装置１０、制御学習装置２０、及び情報処理装置３０のハードウェア構成例を示すブロック図である。図１６を参照すると、環境生成装置１０、制御学習装置２０、及び情報処理装置３０は、例えば、ＣＰＵ８７１と、ＲＯＭ８７２と、ＲＡＭ８７３と、ホストバス８７４と、ブリッジ８７５と、外部バス８７６と、インターフェース８７７と、入力装置８７８と、出力装置８７９と、ストレージ８８０と、ドライブ８８１と、接続ポート８８２と、通信装置８８３と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
【０１８９】
（ＣＰＵ８７１）
ＣＰＵ８７１は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ８７２、ＲＡＭ８７３、ストレージ８８０、又はリムーバブル記録媒体９０１に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。
【０１９０】
（ＲＯＭ８７２、ＲＡＭ８７３）
ＲＯＭ８７２は、ＣＰＵ８７１に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ８７３には、例えば、ＣＰＵ８７１に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
【０１９１】
（ホストバス８７４、ブリッジ８７５、外部バス８７６、インターフェース８７７）
ＣＰＵ８７１、ＲＯＭ８７２、ＲＡＭ８７３は、例えば、高速なデータ伝送が可能なホストバス８７４を介して相互に接続される。一方、ホストバス８７４は、例えば、ブリッジ８７５を介して比較的データ伝送速度が低速な外部バス８７６に接続される。また、外部バス８７６は、インターフェース８７７を介して種々の構成要素と接続される。
【０１９２】
（入力装置８７８）
入力装置８７８には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力装置８７８としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。
【０１９３】
（出力装置８７９）
出力装置８７９には、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）、ＬＣＤ、又は有機ＥＬ等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。
【０１９４】
（ストレージ８８０）
ストレージ８８０は、各種のデータを格納するための装置である。ストレージ８８０としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。
【０１９５】
（ドライブ８８１）
ドライブ８８１は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９０１に記録された情報を読み出し、又はリムーバブル記録媒体９０１に情報を書き込む装置である。
【０１９６】
（リムーバブル記録媒体９０１）
リムーバブル記録媒体９０１は、例えば、ＤＶＤメディア、Ｂｌｕ−ｒａｙ（登録商標）メディア、ＨＤ  ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体９０１は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。
【０１９７】
（接続ポート８８２）
接続ポート８８２は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ  Ｃｏｍｐｕｔｅｒ  Ｓｙｓｔｅｍ  Ｉｎｔｅｒｆａｃｅ）、ＲＳ−２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９０２を接続するためのポートである。
【０１９８】
（外部接続機器９０２）
外部接続機器９０２は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。
【０１９９】
（通信装置８８３）
通信装置８８３は、ネットワークに接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ  ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ  Ｄｉｇｉｔａｌ  Ｓｕｂｓｃｒｉｂｅｒ  Ｌｉｎｅ）用のルータ、又は各種通信用のモデム等である。
【０２００】
＜４．まとめ＞
以上説明したように、本開示に係る環境生成装置１０は、未学習の環境状態に係る情報を受信し、当該環境パラメータに基づいて環境モデルを生成することができる。また、本開示に係る制御学習装置２０は、受信した応答情報と環境パラメータに基づいた制御学習を行うことができる。さらに、制御学習装置２０は、学習進捗に応じた環境モデルを要求することができる。また、本開示に係る情報処理装置３０は、取得した情報に基づいて環境状態が学習済であるか否かを判定し、未学習の環境状態に係る情報を環境生成装置１０に送信することができる、係る構成によれば、実世界の環境に応じた制御学習を効率的に実現することが可能となる。
【０２０１】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０２０２】
例えば、上記実施形態では、制御学習に係る制御対象を車両としたが、本技術はかかる例に限定されない。本開示に係る制御対象は、例えば、製造現場で用いられる製造用ロボットや医療現場で用いられる医療用手術ロボットであってもよい。
【０２０３】
製造用ロボットには、重量の異なる物質を同じように扱うことや、布などの形状変化が生じる物体を扱うことが求められる。また、製造用ロボットでは、熱や摩擦によるモータ特性の変化などが生じることが想定される。本開示に係る技術は、上記の困難性に対応したものである。このため、本開示に係る技術を製造用ロボットに適用することで、常に現在の環境に適した制御を獲得し続けることが可能となる。
【０２０４】
また、医療用手術ロボットにおいては、実世界から医療中の制御獲得のためのデータを大量に収集することが困難である。また、同一の手術内容でも、患者の体質や出血の状態など環境のバリエーションが多く存在するため、充実した学習データを作りこむことが困難である。本開示に係る技術は、上記の困難性に対応したものである。このため、本開示に係る技術を医療用手術ロボットに適用することで、より多くの患者への手術を想定した学習が可能となる。
【０２０５】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０２０６】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
環境パラメータに基づいて生成された環境モデルにおける制御対象に係る応答情報を生成する生成部と、
前記応答情報と前記環境パラメータとを、前記制御対象の制御に係る機械学習を行う学習部に送信する送信部と、
備える、
情報処理装置。
（２）
前記送信部は、前記機械学習に係る報酬パラメータを前記学習部に送信する、
前記（１）に記載の情報処理装置。
（３）
前記環境パラメータは、前記制御対象の状態に依存しない外的パラメータ、または前記制御対象の状態に依存する内的パラメータのうち少なくとも一方を含む、
前記（１）または（２）に記載の情報処理装置。
（４）
前記外的パラメータは、地理情報、時間情報、気象条件、屋外情報、屋体情報、交通用物体に係る情報、または路面情報のうち少なくともいずれかを含む、
前記（３）に記載の情報処理装置。
（５）
前記制御対象は車両であり、
前記内的パラメータは、車体情報、搭載物情報、または搭乗者情報のうち少なくともいずれかを含む、
前記（３）または（４）に記載の情報処理装置。
（６）
第１の環境パラメータに基づいて生成された環境モデルにおける制御対象の係る応答情報と前記第１の環境パラメータとを受信する通信部と、
受信した前記応答情報と前記第１の環境パラメータを用いて、前記制御対象の制御に係る機械学習を行う学習部と、
を備える、
情報処理装置。
（７）
前記通信部は、前記機械学習の結果に応じた第２の環境パラメータを、前記応答情報を生成する生成部に送信する、
前記（６）に記載の情報処理装置。
（８）
前記通信部は、前記機械学習に係る報酬パラメータを受信する、
前記（６）または（７）に記載の情報処理装置。
（９）
前記通信部は、記機械学習に係るエキスパート情報を受信する、
前記（６）〜（８）のいずれかに記載の情報処理装置。
（１０）
前記制御対象は車両であり、
前記報酬パラメータは、目的地までの距離、乗り心地、接触回数、交通ルールへの抵触、または燃費に係るパラメータのうち少なくともいずれかを含む、
前記（８）に記載の情報処理装置。
（１１）
環境状態に係る環境パラメータを取得する環境取得部と、
取得した前記環境パラメータに基づいて前記環境状態が学習済であるか否かを判定する判定部と、
前記判定部が前記環境状態を学習済でないと判定したことに基づいて前記環境パラメータを送信する送信部と、
を備える、
情報処理装置。
（１２）
一または複数のセンサからセンサ情報を取得するセンサ情報取得部、
をさらに備え、
前記送信部は前記センサ情報を送信する、
前記（１１）に記載の情報処理装置。
（１３）
制御対象の制御に係る制御情報を取得する制御情報取得部をさらに備え、
前記送信部は前記制御情報に関するデータを送信する、
前記（１１）または（１２）に記載の情報処理装置。
（１４）
前記送信部は、前記制御対象の制御学習に係る報酬パラメータを送信する、
前記（１３）に記載の情報処理装置。
（１５）
前記判定部は、前記環境状態が学習済でないと判定した場合、当該判定に基づいた通知データを生成し、
前記送信部は、前記通知データを送信する、
前記（１１）〜（１４）のいずれかに記載の情報処理装置。
（１６）
未学習の環境状態に係る環境パラメータを受信する受信部と、
前記環境パラメータに基づいて生成された環境モデルにおける第１の制御対象の挙動に関するデータを生成する生成部と、
を備える、
情報処理装置。
（１７）
前記受信部は、一または複数のセンサから取得されたセンサ情報、第１の制御対象の制御学習に係る報酬パラメータ、または第２の制御対象から取得された制御情報のうち少なくとも１つを受信する、
前記（１６）に記載の情報処理装置。
（１８）
前記第２の制御対象は、実世界を走行する車両、及びゲーム若しくはシミュレータ上の仮想車両を含む、
前記（１７）に記載の情報処理装置。
（１９）
制御対象から取得された制御情報を取得する取得部と、
前記制御対象を制御する者が所定の属性に属するか否かを判定する判定部と、
前記判定部による判定の結果に基づいて前記制御情報を、逆強化学習を行う学習部に送信する送信部と、
を備える、
情報処理装置。
（２０）
制御対象から取得された制御情報を受信する受信部と、
前記制御対象を制御する者が所定の属性に属するか否かを判定する判定部と、
前記所定の属性に属すると判定された制御情報を用いて逆強化学習を行う学習部と、
を備える情報処理装置。
【符号の説明】
【０２０７】
１０    環境生成装置
１１０  生成部
１２０  環境取込部
１３０  通信部
２０    制御学習装置
２１０  学習部
２２０  装置通信部
３０    情報処理装置
３１０  取得部
３２０  制御部
３３０  判定部
３４０  サーバ通信部
４０    車両
５０    三次元地図ＤＢ
６０    ネットワーク
【図１】
0006747502.tif 000002
【図２】
0006747502.tif 000003
【図３】
0006747502.tif 000004
【図４】
0006747502.tif 000005
【図５】
0006747502.tif 000006
【図６】
0006747502.tif 000007
【図７】
0006747502.tif 000008
【図８】
0006747502.tif 000009
【図９】
0006747502.tif 000010
【図１０】
0006747502.tif 000011
【図１１】
0006747502.tif 000012
【図１２】
0006747502.tif 000013
【図１３】
0006747502.tif 000014
【図１４】
0006747502.tif 000015
【図１５】
0006747502.tif 000016
【図１６】
0006747502.tif 000017