(57)【要約】  移動体制御装置（１００，１００ａ）は、移動体（１０）の位置を示す移動体位置情報を取得する移動体位置取得部（１０１）と、移動体（１０）を移動させる目標位置を示す目標位置情報を取得する目標位置取得部（１０２）と、参照経路を示す参照経路情報を参照して移動体が参照経路に沿って移動しているかを評価することにより報酬を算出する項を含む、報酬を算出するための演算式を用いて学習させたモデルを示すモデル情報と、移動体位置取得部（１０１）が取得した移動体位置情報と、目標位置取得部（１０２）が取得した目標位置情報とに基づいて、目標位置情報が示す目標位置に向かって移動体を移動させるための制御内容を示す制御信号を生成する制御生成部（１０５，１０５ａ）と、を備えた。
2020136770.tif 000002
【特許請求の範囲】
【請求項１】
移動体の位置を示す移動体位置情報を取得する移動体位置取得部と、
前記移動体を移動させる目標位置を示す目標位置情報を取得する目標位置取得部と、
参照経路を示す参照経路情報を参照して前記移動体が前記参照経路に沿って移動しているかを評価することにより報酬を算出する項を含む、報酬を算出するための演算式を用いて学習させたモデルを示すモデル情報と、前記移動体位置取得部が取得した前記移動体位置情報と、前記目標位置取得部が取得した前記目標位置情報とに基づいて、前記目標位置情報が示す前記目標位置に向かって前記移動体を移動させるための制御内容を示す制御信号を生成する制御生成部と、
を備えること
を特徴とする移動体制御装置。
【請求項２】
前記演算式は、前記移動体が前記参照経路に沿って移動しているかを評価することにより報酬を算出する項に加えて、前記移動体の状態を評価することにより、前記移動体が制御信号により制御された際に報酬を算出する項を含むこと
を特徴とする請求項１記載の移動体制御装置。
【請求項３】
前記演算式は、前記移動体が前記参照経路に沿って移動しているかを評価することにより報酬を算出する項に加えて、前記移動体と障害物との相対位置を評価することにより報酬を算出する項を含むこと
を特徴とする請求項１記載の移動体制御装置。
【請求項４】
前記参照経路情報は、ランダムサーチの結果に基づいて生成されること
を特徴とする請求項１記載の移動体制御装置。
【請求項５】
前記参照経路情報は、前記移動体が移動する走路の走路幅方向における所定の位置に基づいて生成されること
を特徴とする請求項１記載の移動体制御装置。
【請求項６】
前記参照経路情報は、前記移動体が過去に移動した経路を示す移動履歴情報、又は、前記移動体とは異なる他の移動体が過去に移動した経路を示す他履歴情報に基づいて生成されること
を特徴とする請求項１記載の移動体制御装置。
【請求項７】
前記制御生成部が生成した第１制御信号が示す制御内容が、前記制御生成部が直前に生成した第２制御信号が示す制御内容と比較して、予め定められた範囲内の変化量になるように、前記第１制御信号を補正する制御補正部
を備えること
を特徴とする請求項１記載の移動体制御装置。
【請求項８】
前記制御生成部が生成した第１制御信号が示す制御内容の一部又は全部が欠落している場合、前記制御生成部が直前に生成した第２制御信号が示す制御内容に基づいて、前記第２制御信号が示す制御内容から予め定められた範囲内の変化量になるように、前記第１制御信号において欠落している制御内容を補間して前記第１制御信号を補正する制御補間部
を備えること
を特徴とする請求項１記載の移動体制御装置。
【請求項９】
前記参照経路を示す前記参照経路情報を取得する参照経路取得部と、
前記移動体の状態を示す移動体状態信号を取得する移動体状態取得部と、
前記移動体位置取得部が取得した前記移動体位置情報と、前記目標位置取得部が取得した前記目標位置情報と、前記参照経路取得部が取得した前記参照経路情報と、前記移動体状態取得部が取得した前記移動体状態信号とに基づいて、前記参照経路を示す前記参照経路情報を参照して前記移動体が前記参照経路に沿って移動しているかを評価することにより報酬を算出する項を含む演算式を用いて、報酬を算出する報酬算出部と、
前記移動体位置取得部が取得した前記移動体位置情報と、前記目標位置取得部が取得した前記目標位置情報と、前記移動体状態取得部が取得した生成した前記移動体状態信号と、前記報酬算出部が算出した報酬とに基づいて、前記モデル情報を更新するモデル更新部と、
を備えたこと
を特徴とする請求項１記載の移動体制御装置。
【請求項１０】
移動体の位置を示す移動体位置情報を取得する移動体位置取得部と、
前記移動体を移動させる目標位置を示す目標位置情報を取得する目標位置取得部と、
参照経路を示す参照経路情報を取得する参照経路取得部と、
前記移動体位置取得部が取得した前記移動体位置情報と、前記目標位置取得部が取得した前記目標位置情報と、前記参照経路取得部が取得した前記参照経路情報とに基づいて、前記移動体が前記参照経路に沿って移動しているかを評価することにより報酬を算出する項を含む演算式を用いて、報酬を算出する報酬算出部と、
前記目標位置情報が示す前記目標位置に向かって前記移動体を移動させるための制御内容を示す制御信号を生成する制御生成部と、
前記移動体位置取得部が取得した前記移動体位置情報と、前記目標位置取得部が取得した前記目標位置情報と、前記制御生成部が生成した前記制御信号と、前記報酬算出部が算出した報酬とに基づいて、前記制御信号により前記移動体を移動させる価値を評価することにより、モデル情報を生成するモデル生成部と、
を備えたこと
を特徴とする移動体制御学習装置。
【請求項１１】
前記移動体の状態を示す移動体状態信号を取得する移動体状態取得部を備え、
前記演算式は、前記移動体が前記参照経路に沿って移動しているかを評価することにより報酬を算出する項に加えて、前記移動体状態取得部が取得した前記移動体状態信号が示す前記移動体の状態を評価することにより報酬を算出する項、又は、前記移動体の状態に基づく前記移動体の行動を評価することにより報酬を算出する項を含むこと
を特徴とする請求項１０記載の移動体制御学習装置。
【請求項１２】
前記演算式は、前記移動体が前記参照経路に沿って移動しているかを評価することにより報酬を算出する項に加えて、前記移動体と障害物との相対位置を評価することにより報酬を算出する項を含むこと
を特徴とする請求項１０記載の移動体制御学習装置。
【請求項１３】
前記参照経路情報は、ランダムサーチの結果に基づいて生成されること
を特徴とする請求項１０記載の移動体制御学習装置。
【請求項１４】
前記参照経路情報は、前記移動体が移動する走路の走路幅方向における所定の位置に基づいて生成されること
を特徴とする請求項１０記載の移動体制御学習装置。
【請求項１５】
前記参照経路情報は、前記移動体が過去に移動した経路を示す移動履歴情報、又は、前記移動体とは異なる他の移動体が過去に移動した経路を示す他履歴情報に基づいて生成されること
を特徴とする請求項１０記載の移動体制御学習装置。
【請求項１６】
前記制御生成部が生成した第１制御信号が示す制御内容が、前記制御生成部が直前に生成した第２制御信号が示す制御内容と比較して、予め定められた範囲内の変化量になるように、前記第１制御信号を補正する制御補正部
を備えること
を特徴とする請求項１０記載の移動体制御学習装置。
【請求項１７】
前記制御生成部が生成した第１制御信号が示す制御内容の一部又は全部が欠落している場合、前記制御生成部が直前に生成した第２制御信号が示す制御内容に基づいて、前記第２制御信号が示す制御内容から予め定められた範囲内の変化量になるように、前記第１制御信号において欠落している制御内容を補間して前記第１制御信号を補正する制御補間部
を備えること
を特徴とする請求項１０記載の移動体制御学習装置。
【請求項１８】
移動体位置取得部が、移動体の位置を示す移動体位置情報を取得し、
目標位置取得部が、前記移動体を移動させる目標位置を示す目標位置情報を取得し、
制御生成部が、参照経路を示す参照経路情報を参照して前記移動体が前記参照経路に沿って移動しているかを評価することにより報酬を算出する項を含む、報酬を算出するための演算式を用いて学習させたモデルを示すモデル情報と、前記移動体位置取得部が取得した前記移動体位置情報と、前記目標位置取得部が取得した前記目標位置情報に基づいて、前記目標位置情報が示す前記目標位置に向かって前記移動体を移動させるための制御内容を示す制御信号を生成すること
を特徴とする移動体制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、移動体制御装置、移動体制御学習装置、及び移動体制御方法に関するものである。
【背景技術】
【０００２】
移動体が移動する経路を予め設定されたルールに基づいて自動で決定し、決定した経路に基づいて移動体を移動制御する技術がある。【０００３】
例えば、特許文献１には、移動装置を有する車両と、車両が所定の移動領域を移動する際の走行ルールが予め定められており、走行ルールに応じて所定の移動領域の経路探索コストを変化させる走行ルール情報を含む地図情報を記憶する地図情報記憶部と、地図情報記憶部に記憶された地図情報に基づいて、移動始点から移動終点に至る経路を探索する経路探索部と、経路探索部で探索した経路に基づいて、移動装置の制御指令値を生成する移動制御部と、を備える移動ロボット制御システムが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第５４０２０５７号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に開示された技術は、移動体が移動する２次元の平面上に離散したグリッドを仮想的に配置し、各グリッドに移動体が通過する際に獲得できる報酬を割り当て、移動体が報酬の和が最大になるように経路を決定するものであった。
しかしながら、仮想的に配置された離散したグリッドに基づき経路を決定する場合、実際に移動体が移動すべき経路が不連続となるため、移動体を移動させるためのアクセル、ブレーキ、又はハンドル等の制御が不連続なものとなるという問題点があった。
上述の問題点を解決するためには、離散したグリッドの間隔を狭くしてより細かなグリッドにおいて経路を決定するか、又は、連続した平面において経路を決定することが求められる。
しかしながら、より細かなグリッド、又は連続した平面において経路を決定すると、演算量が膨大となり、経路を決定するまでに時間を要するという問題点があった。【０００６】
この発明は、上述の問題点を解決するためのもので、演算量を減らしつつ、移動体が不連続な動作を行うことのないように移動体を制御することができる移動体制御装置を提供することを目的としている。
【課題を解決するための手段】
【０００７】
この発明に係る移動体制御装置は、移動体の位置を示す移動体位置情報を取得する移動体位置取得部と、移動体を移動させる目標位置を示す目標位置情報を取得する目標位置取得部と、参照経路を示す参照経路情報を参照して移動体が参照経路に沿って移動することにより報酬を算出するための項を含む演算式を用いて、移動体が移動することにより報酬を評価することにより学習させたモデルを示すモデル情報、移動体位置取得部が取得した移動体位置情報、及び目標位置取得部が取得した目標位置情報に基づいて、目標位置情報が示す目標位置に向かって移動体を移動させるための制御内容を示す制御信号を生成する制御生成部と、を備えた。
【発明の効果】
【０００８】
この発明によれば、演算量を減らしつつ、移動体が不連続な動作を行うことのないように移動体を制御することができる。
【図面の簡単な説明】
【０００９】
【図１】図１は、実施の形態１に係る移動体制御装置の構成の一例を示すブロック図である。
【図２】図２Ａ及び図２Ｂは、実施の形態１に係る移動体制御装置の要部のハードウェア構成の一例を示す図である。
【図３】図３は、実施の形態１に係る移動体制御装置の処理の一例を説明するフローチャートである。
【図４】図４は、実施の形態１に係る移動体制御学習装置の構成の一例を示すブロック図である。
【図５】図５は、実施の形態１に係る移動体の状態が状態Ｓｔであるときに移動体が取り得る行動ａｔから、行動ａ＊を選択する一例を示す図である。
【図６】図６は、実施の形態１に係る移動体制御学習装置の処理の一例を説明するフローチャートである。
【図７】図７Ａ、図７Ｂ、及び図７Ｃは、移動体が目標位置に到達するまでに移動した経路の一例を示した図である。
【図８】図８は、実施の形態２に係る移動体制御装置の構成の一例を示すブロック図である。
【図９】図９は、実施の形態２に係る移動体制御装置の処理の一例を説明するフローチャートである。
【発明を実施するための形態】
【００１０】
以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。
【００１１】
実施の形態１．
図１を参照して実施の形態１に係る移動体制御装置１００の要部の構成について説明する。
図１は、実施の形態１に係る移動体制御装置１００の構成の一例を示すブロック図である。
図１に示すとおり、移動体制御装置１００は、移動体制御システム１に適用される。
移動体制御システム１は、移動体制御装置１００、移動体１０、ネットワーク２０、及び記憶装置３０を備える。
【００１２】
移動体１０は、例えば、道路等を走行する車両、又は通路等を走行する移動ロボット等の自走可能な移動装置である。実施の形態１では、移動体１０は、道路を走行する車両であるものとして説明する。
移動体１０は、走行制御手段１１、位置特定手段１２、撮像手段１３、及びセンサ信号出力手段１４を備える。
走行制御手段１１は、入力された制御信号に基づいて移動体１０の走行制御を行うためのものである。走行制御手段１１は、移動体１０に備えられたアクセル、ブレーキ、ギア、又はハンドル等を制御するための、アクセル制御手段、ブレーキ制御手段、ギア制御手段、又はハンドル制御手段等である。
【００１３】
例えば、走行制御手段１１がアクセル制御手段である場合、走行制御手段１１は、入力された制御信号に基づいてアクセルペダルの踏込量を制御することにより、エンジン又はモータ等から出力される動力の大きさを制御する。また、例えば、走行制御手段１１がブレーキ制御手段である場合、走行制御手段１１は、入力された制御信号に基づいてブレーキペダルの踏込量を制御することにより、ブレーキ圧の大きさを制御する。また、例えば、走行制御手段１１がギア制御手段である場合、走行制御手段１１は、入力された制御信号に基づいてギアの変更制御を行う。また、例えば、走行制御手段１１がハンドル制御手段である場合、走行制御手段１１は、入力された制御信号に基づいてハンドルの舵角を制御する。
走行制御手段１１は、現在の移動体１０の走行制御状態を示す移動体状態信号を出力する。
例えば、走行制御手段１１がアクセル制御手段である場合、走行制御手段１１は、現在のアクセルペダルの踏込量を示すアクセル状態信号を出力する。また、例えば、走行制御手段１１がブレーキ制御手段である場合、走行制御手段１１は、現在のブレーキペダルの踏込量を示すブレーキ状態信号を出力する。また、例えば、走行制御手段１１がギア制御手段である場合、走行制御手段１１は、現在のギアの状態を示すギア状態信号を出力する。また、例えば、走行制御手段１１がハンドル制御手段である場合、走行制御手段１１は、現在のハンドルの舵角を示すハンドル状態信号を出力する。
【００１４】
位置特定手段１２は、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）信号等のＧＮＳＳ（Ｇｌｏｂａｌ  Ｎａｖｉｇａｔｉｏｎ  Ｓａｔｅｌｌｉｔｅ  Ｓｙｓｔｅｍ）信号を用いて特定した移動体１０の現在位置を移動体位置情報として出力する。ＧＮＳＳ信号を用いて移動体１０の現在位置を特定する方法は、公知であるため説明を省略する。
撮像手段１３は、デジタルビデオカメラ等の撮像装置であり、移動体１０の周囲を撮影することにより得た画像を画像情報として出力する。
センサ信号出力手段１４は、移動体１０に備えられた速度センサ、加速度センサ、又は物体センサ等の検知センサが検知した、移動体１０の速度を示す速度信号、移動体１０の加速度を示す加速度信号、又は、移動体１０の周囲の存在する物体を示す物体信号等を移動体状態信号として出力する。
【００１５】
ネットワーク２０は、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、若しくはＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）等の有線ネットワーク、又は、無線ＬＡＮ、若しくはＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）（登録商標）等の無線ネットワーク等により構成される通信手段である。
【００１６】
記憶装置３０は、移動体制御装置１００が、目標位置に向かって移動体１０を移動させるための制御内容を示す制御信号を生成するために必要な情報を記憶するためのものである。移動体制御装置１００が、目標位置に向かって移動体１０を移動させるための制御内容を示す制御信号を生成するために必要な情報は、例えば、モデル情報又は地図情報である。記憶装置３０は、例えば、ハードディスクドライブ又はＳＤメモリーカード等の不揮発性記憶媒体を有し、移動体制御装置１００が制御信号を生成するために必要な情報を不揮発性記憶媒体に記憶する。
【００１７】
移動体１０に備えられた走行制御手段１１、位置特定手段１２、撮像手段１３、及びセンサ信号出力手段１４、並びに、記憶装置３０、及び移動体制御装置１００は、それぞれ、ネットワーク２０に接続されている。
【００１８】
移動体制御装置１００は、モデル情報、移動体位置情報、及び目標位置情報に基づいて、目標位置に向かって移動体１０を移動させるための制御内容を示す制御信号を生成し、生成した制御信号を、ネットワーク２０を介して移動体１０に出力するものである。
実施の形態１では、移動体制御装置１００は、移動体１０から離れた遠隔地に設置されたものとして説明する。移動体制御装置１００は、移動体１０から離れた遠隔地に設置されたものとは限らず、移動体１０に搭載されたものであっても良い。
移動体制御装置１００は、移動体位置取得部１０１、目標位置取得部１０２、モデル取得部１０３、地図情報取得部１０４、制御生成部１０５、及び制御出力部１０６を備える。移動体制御装置１００は、上述の構成に加えて、画像取得部１１１、移動体状態取得部１１２、制御補正部１１３、及び制御補間部１１４を備えるものであっても良い。
【００１９】
移動体位置取得部１０１は、移動体１０から移動体１０の位置を示す移動体位置情報を取得する。移動体位置取得部１０１は、ネットワーク２０を介して、移動体１０に備えられた位置特定手段１２から移動体位置情報を取得する。
【００２０】
目標位置取得部１０２は、移動体１０を移動させる目標位置を示す目標位置情報を取得する。目標位置取得部１０２は、例えば、図示しない入力装置に対するユーザの操作により入力された目標位置情報を受け付けることにより、目標位置情報を取得する。
【００２１】
モデル取得部１０３は、モデル情報を取得する。モデル取得部１０３は、ネットワーク２０を介して、記憶装置３０からモデル情報を読み出すことにより、モデル情報を取得する。なお、実施の形態１において、制御生成部１０５等が予めモデル情報を保持する場合、モデル取得部１０３は、移動体制御装置１００において、必須な構成ではない。
【００２２】
地図情報取得部１０４は、地図情報を取得する。地図情報取得部１０４は、ネットワーク２０を介して、記憶装置３０から地図情報を読み出すことにより、地図情報を取得する。なお、実施の形態１において、制御生成部１０５等が予め地図情報を保持する場合、地図情報取得部１０４は、移動体制御装置１００において、必須な構成ではない。
地図情報は、例えば、移動体１０が移動する際に接触してはいけない物体（以下「障害物」という。）の位置又は領域を示す障害物情報を含む画像情報である。障害物は、例えば、建物、塀、又はガードレールである。
【００２３】
制御生成部１０５は、モデル取得部１０３が取得したモデル情報と、移動体位置取得部１０１が取得した移動体位置情報と、目標位置取得部１０２が取得した目標位置情報とに基づいて、目標位置情報が示す目標位置に向かって移動体１０を移動させるための制御内容を示す制御信号を生成する。
モデル情報が示すモデルは、参照経路を示す参照経路情報を参照して移動体１０が参照経路に沿って移動しているかを評価することにより報酬を算出する項を含む、報酬を算出するための演算式を用いて学習させたものである。
【００２４】
具体的には、例えば、モデル情報は、移動体位置取得部１０１が取得した移動体位置情報が示す移動体１０の位置と、移動体１０を移動させるための制御内容を示す制御信号とが対応付けられた対応情報を含むものである。対応情報は、互いに異なる複数の目標位置において、目標位置毎に、複数の位置と、各位置に対応する制御信号がセットになった情報である。モデル情報は、複数の対応情報を含み、各対応情報は、互いに異なる複数の目標位置のそれぞれに対応付けられたものである。
制御生成部１０５は、モデル情報に含まれる対応情報から、目標位置取得部１０２が取得した目標位置情報が示す目標位置に対応する対応情報を特定し、特定した対応情報と、移動体位置取得部１０１が取得した移動体位置情報とに基づいて、制御情報を生成する。
より具体的には、制御生成部１０５は、特定した対応情報を参照して、移動体位置取得部１０１が取得した移動体位置情報が示す位置に対応する制御信号を特定することにより、移動体１０を移動させるための制御内容を示す制御信号を生成する。
【００２５】
制御出力部１０６は、制御生成部１０５が生成した制御信号を、ネットワーク２０を介して、移動体１０に出力する。
移動体１０に備えられた走行制御手段１１は、ネットワーク２０を介して、制御出力部１０６が出力した制御信号を受信し、上述のとおり、受信した制御信号を入力信号として、当該制御信号に基づいて移動体１０の走行制御を行う。
【００２６】
画像取得部１１１は、ネットワーク２０を介して、移動体１０に備えられた撮像手段１３が移動体１０の周囲を撮影することにより得た画像情報を撮像手段１３から取得する。
上述の移動体位置取得部１０１は、移動体１０に備えられた位置特定手段１２から移動体位置情報を取得することに替えて、例えば、画像取得部１１１が取得した画像情報を公知の画像解析技術を用いて解析して得た画像情報が示す移動体１０の周囲の状況及び地図情報に含まれる移動体１０が走行する経路における風景を示す情報等に基づいて、移動体１０の位置を特定することにより、移動体位置情報を取得しても良い。
【００２７】
移動体状態取得部１１２は、移動体１０の状態を示す移動体状態信号を取得する。移動体状態信号は、ネットワーク２０を介して、移動体１０に備えられた走行制御手段１１又はセンサ信号出力手段１４から移動体状態信号を取得する。
移動体状態取得部１１２が取得する移動体状態信号は、例えば、アクセル状態信号、ブレーキ状態信号、ギア状態信号、ハンドル状態信号、速度信号、加速度信号、又は物体信号等である。
【００２８】
制御補正部１１３は、制御生成部１０５が生成した制御信号（以下「第１制御信号」という。）が示す制御内容が、制御生成部１０５が直前に生成した制御信号（以下「第２制御信号」という。）が示す制御内容と比較して、予め定められた範囲内の変化量になるように、第１制御信号を補正する。
例えば、制御補正部１１３が生成する制御信号が示す制御内容が、移動体１０が走行する方向を変更させるためのハンドルの舵角制御を行うための制御信号である場合、制御補正部１１３は、第１制御信号が示す舵角制御の舵角が、第２制御信号が示す舵角制御の舵角と比較して、急ハンドルにならない範囲になるように、第１制御信号が示す舵角制御の舵角を補正する。
また、例えば、制御補正部１１３が生成する制御信号が示す制御内容が、移動体１０が走行する速度を変更させるための、アクセルのスロットル制御、又はブレーキのブレーキ圧制御等の制御信号である場合、制御補正部１１３は、第１制御信号が示す制御内容が、第２制御信号が示す制御内容と比較して、急加速又は急減速にならない範囲になるように、第１制御信号が示す制御内容を補正する。
【００２９】
移動体制御装置１００は、制御補正部１１３を有することで、移動体１０において、急ハンドル、急加速、又は急減速等が発生しないように、移動体１０を安定して走行させることができる。
なお、制御補正部１１３が、第１制御信号と第２制御信号とを比較する例を説明したが、制御補正部１１３は、第１制御信号と、移動体状態取得部１１２が取得する移動体状態信号とを比較し、移動体１０において、走行制御手段１１が行っている制御に対して予め定められた範囲内の変化量になるように、第１制御信号を補正しても良い。
また、制御生成部１０５が生成する制御信号の制御内容は、舵角制御、スロットル制御、又はブレーキ圧制御等の制御信号のうち、１つの制御信号であっても良いし、複数の制御信号を組み合わせたものであっても良い。
【００３０】
制御補間部１１４は、制御生成部１０５が生成した第１制御信号が示す制御内容の一部又は全部が欠落している場合、制御生成部１０５が直前に生成した第２制御信号が示す制御内容に基づいて、第１制御信号における欠落している制御内容を補間して第１制御信号を補正する。制御補間部１１４は、第２制御信号が示す制御内容に基づいて、第１制御信号における欠落している制御内容を補間する際、第１制御信号における欠落している制御内容が、第２制御信号が示す制御内容から予め定められた範囲内の変化量になるように補間して第１制御信号を補正する。
【００３１】
例えば、制御生成部１０５が予め定められた期間ごとに定期的に制御信号を生成し、移動体１０の制御を行う場合、制御生成部１０５による制御信号の生成が当該期間内に完了しない場合がある。このような場合、例えば、制御生成部１０５により生成された制御信号は、制御内容の一部又は全部が欠落した状態となる。例えば、制御信号が示す制御内容が相対値ではなく絶対値を指定する制御信号である場合、制御生成部１０５が生成する制御信号の制御内容の一部又は全部が欠落すると、移動体１０において、急ハンドル、急加速、又は急減速等が発生してしまうことがある。
移動体制御装置１００は、制御補間部１１４を有することで、移動体１０において、急ハンドル、急加速、又は急減速等が発生しないように、移動体１０を安定して走行させることができる。
なお、制御補間部１１４が、第１制御信号における欠落している制御内容を補間する際、第２制御信号に基づいて第１制御信号を補間する例を説明したが、制御補正部１１３は、移動体状態取得部１１２が取得する移動体状態信号に基づいて、移動体１０において、走行制御手段１１が行っている制御に対して予め定められた範囲内の変化量になるように、第１制御信号を補間して補正しても良い。
【００３２】
図２Ａ及び図２Ｂを参照して、実施の形態１に係る移動体制御装置１００の要部のハードウェア構成について説明する。
図２Ａ及び図２Ｂは、実施の形態１に係る移動体制御装置１００の要部のハードウェア構成の一例を示す図である。
【００３３】
図２Ａに示す如く、移動体制御装置１００はコンピュータにより構成されており、当該コンピュータはプロセッサ２０１及びメモリ２０２を有している。メモリ２０２には、当該コンピュータを、移動体位置取得部１０１、目標位置取得部１０２、モデル取得部１０３、地図情報取得部１０４、制御生成部１０５、制御出力部１０６、画像取得部１１１、移動体状態取得部１１２、制御補正部１１３、及び制御補間部１１４として機能させるためのプログラムが記憶されている。メモリ２０２に記憶されているプログラムをプロセッサ２０１が読み出して実行することにより、移動体位置取得部１０１、目標位置取得部１０２、モデル取得部１０３、地図情報取得部１０４、制御生成部１０５、制御出力部１０６、画像取得部１１１、移動体状態取得部１１２、制御補正部１１３、及び制御補間部１１４が実現される。
【００３４】
また、図２Ｂに示す如く、移動体制御装置１００は処理回路２０３により構成されても良い。この場合、移動体位置取得部１０１、目標位置取得部１０２、モデル取得部１０３、地図情報取得部１０４、制御生成部１０５、制御出力部１０６、画像取得部１１１、移動体状態取得部１１２、制御補正部１１３、及び制御補間部１１４の機能が処理回路２０３により実現されても良い。
【００３５】
また、移動体制御装置１００はプロセッサ２０１、メモリ２０２及び処理回路２０３により構成されても良い（不図示）。この場合、移動体位置取得部１０１、目標位置取得部１０２、モデル取得部１０３、地図情報取得部１０４、制御生成部１０５、制御出力部１０６、画像取得部１１１、移動体状態取得部１１２、制御補正部１１３、及び制御補間部１１４の機能のうちの一部の機能がプロセッサ２０１及びメモリ２０２により実現されて、残余の機能が処理回路２０３により実現されるものであっても良い。
【００３６】
プロセッサ２０１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、マイクロプロセッサ、マイクロコントローラ又はＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）を用いたものである。
【００３７】
メモリ２０２は、例えば、半導体メモリ又は磁気ディスクを用いたものである。より具体的には、メモリ２０２は、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）又はＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）などを用いたものである。
【００３８】
処理回路２０３は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ  Ｌｏｇｉｃ  Ｄｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、ＳｏＣ（Ｓｙｓｔｅｍ−ｏｎ−ａ−Ｃｈｉｐ）又はシステムＬＳＩ（Ｌａｒｇｅ−Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）を用いたものである。
【００３９】
図３を参照して、実施の形態１に係る移動体制御装置１００の動作について説明する。
図３は、実施の形態１に係る移動体制御装置１００の処理の一例を説明するフローチャートである。
移動体制御装置１００は、例えば、新たな目標位置が設定される毎に当該フローチャートの処理を繰り返して実行する。
【００４０】
まず、ステップＳＴ３０１にて、地図情報取得部１０４は、地図情報を取得する。
まず、ステップＳＴ３０２にて、目標位置取得部１０２は、目標位置情報を取得する。
次に、ステップＳＴ３０３にて、モデル取得部１０３は、モデル情報を取得する。
次に、ステップＳＴ３０４にて、制御生成部１０５は、モデル情報に含まれる対応情報のうち、目標位置情報が示す目標位置に対応する対応情報を特定する。
次に、ステップＳＴ３０５にて、移動体位置取得部１０１は、移動体位置情報を取得する。
【００４１】
次に、ステップＳＴ３０６にて、制御生成部１０５は、移動体位置情報が示す移動体１０の位置と目標位置情報が示す目標位置とが同一であるか否かを判定する。なお、ここで言う同一とは、必ずしも完全に一致するものに限らず、同一は、略同一を含むものである。
ステップＳＴ３０６にて、制御生成部１０５が、移動体位置情報が示す移動体１０の位置と目標位置情報が示す目標位置とが同一であると判定した場合、移動体制御装置１００は、当該フローチャートの処理を終了する。
ステップＳＴ３０６にて、制御生成部１０５が、移動体位置情報が示す移動体１０の位置と目標位置情報が示す目標位置とが同一でないと判定した場合、ステップＳＴ３０７にて、制御生成部１０５は、特定した対応情報を参照して、移動体位置情報が示す位置に対応する制御信号を特定することにより、移動体１０を移動させるための制御内容を示す制御信号を生成する。
【００４２】
次に、ステップＳＴ３０８にて、制御補正部１１３は、制御生成部１０５が生成した第１制御信号が示す制御内容が、制御生成部１０５が直前に生成した第２制御信号が示す制御内容と比較して、予め定められた範囲内の変化量になるように、第１制御信号を補正する。
次に、ステップＳＴ３０９にて、制御補間部１１４は、制御生成部１０５が生成した第１制御信号が示す制御内容の一部又は全部が欠落している場合、制御生成部１０５が直前に生成した第２制御信号が示す制御内容に基づいて、第１制御信号における欠落している制御内容を補間して第１制御信号を補正する。
次に、ステップＳＴ３１０にて、制御出力部１０６は、制御生成部１０５が生成した制御信号、又は、制御補正部１１３若しくは制御補間部１１４が補正した制御信号を、移動体１０に出力する。
【００４３】
移動体制御装置１００は、ステップＳＴ３１０の処理を実行した後、ステップＳＴ３０５の処理に戻って、ステップＳＴ３０６にて、制御生成部１０５が、移動体位置情報が示す移動体１０の位置と目標位置情報が示す目標位置とが同一であると判定するまでの期間において、ステップＳＴ３０５からステップＳＴ３１０までの処理を繰り返し実行する。
なお、当該フローチャートの処理において、ステップＳＴ３０１からステップＳＴ３０３までの処理は、ステップＳＴ３０４の処理に前に実行されれば、実行される順序は問わない。また、当該フローチャートの処理において、ステップＳＴ３０８及びステップＳＴ３０９の処理は、実行される順序が逆でも良い。
【００４４】
モデル情報の生成方法について説明する。
移動体制御装置１００が制御信号を生成する際に用いるモデル情報は、移動体制御学習装置３００により生成される。
移動体制御学習装置３００は、移動体１０を制御するための制御信号を生成し、当該制御信号により移動体１０を制御することによって移動体１０を制御するための学習を行い、移動体制御装置１００が移動体１０を制御する際に用いるモデル情報を生成するものである。
図４を参照して実施の形態１に係る移動体制御学習装置３００の要部の構成について説明する。
図４は、実施の形態１に係る移動体制御学習装置３００の構成の一例を示すブロック図である。
図４に示すとおり、移動体制御学習装置３００は、移動体制御学習システム３に適用される。
移動体制御学習システム３の構成において、移動体制御システム１と同様の構成については、同じ符号を付して重複した説明を省略する。すなわち、図１に記載した符号と同じ符号を付した図４の構成については、説明を省略する。
移動体制御学習システム３は、移動体制御学習装置３００、移動体１０、ネットワーク２０、及び記憶装置３０を備える。
【００４５】
移動体１０に備えられた走行制御手段１１、位置特定手段１２、撮像手段１３、及びセンサ信号出力手段１４、並びに、記憶装置３０、及び移動体制御学習装置３００は、それぞれ、ネットワーク２０に接続されている。
【００４６】
移動体制御学習装置３００は、移動体位置情報、目標位置情報、及び参照経路情報に基づいて、移動体制御装置１００が目標位置に向かって移動体１０を移動させるための制御内容を示す制御信号を生成する際に用いるモデル情報を生成するものである。
実施の形態１では、移動体制御学習装置３００は、移動体１０から離れた遠隔地に設置されるものとして説明する。移動体制御学習装置３００は、移動体１０から離れた遠隔地に設置されたものとは限らず、移動体１０に搭載されたものであっても良い。
移動体制御学習装置３００は、移動体位置取得部３０１、目標位置取得部３０２、地図情報取得部３０４、移動体状態取得部３１２、参照経路取得部３２０、報酬算出部３２１、モデル生成部３２２、制御生成部３０５、制御出力部３０６、及びモデル出力部３２３を備える。移動体制御学習装置３００は、上述の構成に加えて、画像取得部３１１、制御補正部３１３、及び制御補間部３１４を備えるものであっても良い。
【００４７】
なお、実施の形態１に係る移動体制御学習装置３００における移動体位置取得部３０１、目標位置取得部３０２、地図情報取得部３０４、移動体状態取得部３１２、参照経路取得部３２０、報酬算出部３２１、モデル生成部３２２、制御生成部３０５、制御出力部３０６、モデル出力部３２３、画像取得部３１１、制御補正部３１３、及び制御補間部３１４の各機能は、実施の形態１に係る移動体制御装置１００について図２Ａ及び図２Ｂに一例を示したハードウェア構成におけるプロセッサ２０１及びメモリ２０２により実現されるものであっても良く、又は処理回路２０３により実現されるものであっても良い。
【００４８】
移動体位置取得部３０１は、移動体１０から移動体１０の位置を示す移動体位置情報を取得する。移動体位置取得部３０１は、ネットワーク２０を介して、移動体１０に備えられた位置特定手段１２から移動体位置情報を取得する。
【００４９】
目標位置取得部３０２は、移動体１０を移動させる目標位置を示す目標位置情報を取得する。目標位置取得部３０２は、例えば、図示しない入力装置に対するユーザの操作により入力された目標位置情報を受け付けることにより、目標位置情報を取得する。
【００５０】
地図情報取得部３０４は、地図情報を取得する。地図情報取得部３０４は、ネットワーク２０を介して、記憶装置３０から地図情報を読み出すことにより、地図情報を取得する。なお、実施の形態２において、参照経路取得部３２０、報酬算出部３２１等が予め地図情報を保持する場合、地図情報取得部３０４は、移動体制御学習装置３００において、必須な構成ではない。
地図情報は、例えば、移動体１０が移動する際に接触してはいけない物体（以下「障害物」という。）の位置又は領域を示す障害物情報を含む画像情報である。障害物は、例えば、建物、塀、又はガードレールである。
【００５１】
画像取得部３１１は、ネットワーク２０を介して、移動体１０に備えられた撮像手段１３が移動体１０の周囲を撮影することにより得た画像情報を撮像手段１３から取得する。
上述の移動体位置取得部３０１は、移動体１０に備えられた位置特定手段１２から移動体位置情報を取得することに替えて、例えば、画像取得部３１１が取得した画像情報を公知の画像解析技術を用いて解析して得た画像情報が示す移動体１０の周囲の状況及び地図情報に含まれる移動体１０が走行する経路における風景を示す情報等に基づいて、移動体１０の位置を特定することにより、移動体位置情報を取得しても良い。
【００５２】
移動体状態取得部３１２は、移動体１０の状態を示す移動体状態信号を取得する。移動体状態信号は、ネットワーク２０を介して、移動体１０に備えられた走行制御手段１１又はセンサ信号出力手段１４から移動体状態信号を取得する。
移動体状態取得部３１２が取得する移動体状態信号は、例えば、アクセル状態信号、ブレーキ状態信号、ギア状態信号、ハンドル状態信号、速度信号、加速度信号、又は物体信号等である。
【００５３】
参照経路取得部３２０は、移動体位置取得部３０１が取得した移動体位置情報が示す移動体１０の位置から、目標位置取得部３０２が取得した目標位置情報が示す目標位置までの経路のうち、少なくとも一部の経路を含む参照経路を示す参照経路情報を取得する。
参照経路取得部３２０は、例えば、図示しない表示装置に地図情報取得部３０４が取得した地図情報を表示させて、図示しない入力装置がユーザから入力を受け付けて、入力された参照経路情報を取得する。
【００５４】
参照経路取得部３２０における参照経路情報の取得方法は、上述の方法に限定されるものではない。
例えば、参照経路取得部３２０は、移動体位置情報、目標位置情報、及び地図情報に基づいて、ＲＲＴ（Ｒａｐｉｄｌｙ−ｅｘｐｌｏｒｉｎｇ  Rａｎｄｏｍ  Tｒｅｅ）等を用いたランダムサーチを実行し、ランダムサーチの結果に基づいて、参照経路情報を生成することにより、参照経路情報を取得しても良い。
参照経路取得部３２０は、参照経路情報を取得する際にランダムサーチの結果を用いることにより、参照経路情報を自動で生成できる。
なお、ＲＲＴ等を用いたランダムサーチにより２地点間の経路を求める方法は、公知であるため説明を省略する。
【００５５】
また、例えば、参照経路取得部３２０は、移動体位置情報が示す移動体１０の位置から目標位置情報が示す目標位置までの区間において、移動体１０が移動する走路（以下「車線」という。）の走路幅方向における所定の位置を特定し、特定した車線の走路幅方向における位置に基づいて、参照経路情報を生成することにより、参照経路情報を取得しても良い。
車線の走路幅方向における所定の位置は、例えば、車線の走路幅方向における中央である。車線の走路幅方向における中央は、車線の走路幅方向における厳密な中央である必要はなく、略中央を含むものである。また、車線の走路幅方向における中央は、車線の走路幅方向における所定の位置の一例に過ぎず、車線の走路幅方向における所定の位置は、車線の走路幅方向における中央に限るものではない。
車線の走路幅は、例えば、地図情報、又は地図情報に含まれる車線の形状を特定可能な航空写真等の画像情報に基づいて、参照経路取得部３２０により特定される。
参照経路取得部３２０は、参照経路情報を取得する際に移動する走路の走路幅方向における所定の位置を用いることにより、参照経路情報を自動で生成できる。
【００５６】
また、例えば、参照経路取得部３２０は、移動体位置情報が示す移動体１０の位置から目標位置情報が示す目標位置までの区間において、移動体１０が過去に移動した経路を示す移動履歴情報、又は、移動体１０とは異なる他の移動体である他移動体（不図示）が過去に移動した経路を示す他履歴情報に基づいて、参照経路情報を生成することにより、参照経路情報を取得しても良い。
【００５７】
移動履歴情報は、例えば、移動体１０が過去に当該区間を移動した際に、移動体１０に備えられた位置特定手段１２がＧＰＳ信号等のＧＮＳＳ信号を用いて特定した、当該区間における移動体１０の離散的な位置を示す情報である。移動体１０に備えられた位置特定手段１２は、移動履歴情報を、例えば、移動体１０が過去に当該区間を移動した際にネットワーク２０を介して記憶装置３０に記憶させる。参照経路取得部３２０は、記憶装置３０から移動履歴情報を読み出すことにより、移動履歴情報を取得する。
同様に、他履歴情報は、例えば、他移動体が過去に当該区間を移動した際に、他移動体に備えられた位置特定手段１２がＧＰＳ信号等のＧＮＳＳ信号を用いて特定した、当該区間における他移動体の離散的な位置を示す情報である。他移動体に備えられた位置特定手段１２は、他履歴情報を、例えば、他移動体が過去に当該区間を移動した際にネットワーク２０を介して記憶装置３０に記憶させる。参照経路取得部３２０は、記憶装置３０から他履歴情報を読み出すことにより、他履歴情報を取得する。
【００５８】
なお、他移動体に備えられた位置特定手段１２がネットワーク２０を介して他履歴情報を記憶装置３０に記憶させ、移動体１０に備えられた参照経路取得部３２０がネットワーク２０を介して記憶装置３０から他履歴情報を読み出す場合、記憶装置３０は、例えば、他移動体に備えられた位置特定手段１２からも、移動体１０に備えられた参照経路取得部３２０からも、ネットワーク２０を介してアクセス可能なように構成されたものであることは言うまでもない。
参照経路取得部３２０は、移動履歴情報又は他履歴情報が示す当該区間における移動体１０又は他移動体の離散的な位置を、線分又は曲線により繋ぎ合わせることにより、参照経路情報を生成する。
参照経路取得部３２０は、参照経路情報を取得する際に移動履歴情報又は他履歴情報を用いることにより、参照経路情報を自動で生成できる。
【００５９】
報酬算出部３２１は、移動体位置取得部３０１が取得した移動体位置情報と、目標位置取得部３０２が取得した目標位置情報と、参照経路取得部３２０が取得した参照経路情報とに基づいて、移動体１０が参照経路に沿って移動しているかを評価することにより報酬を算出する項を含む演算式を用いて、報酬を算出する。
報酬算出部３２１が報酬を算出する際に用いる演算式は、移動体１０が参照経路に沿って移動しているかを評価することにより報酬を算出する項に加えて、移動体状態取得部３１２が取得した移動体状態信号が示す移動体１０の状態を評価することにより報酬を算出する項、又は、移動体１０の状態に基づく移動体１０の行動を評価することにより報酬を算出する項を含むものであっても良い。報酬を算出する際に用いる移動体１０の状態を示す移動体状態信号は、アクセル状態信号、ブレーキ状態信号、ギア状態信号、ハンドル状態信号、速度信号、加速度信号、又は物体信号等である。
また、報酬算出部３２１が報酬を算出する際に用いる演算式は、移動体１０が参照経路に沿って移動しているかを評価することにより報酬を算出する項に加えて、移動体１０と障害物との相対位置を評価することにより報酬を算出する項を含むものであっても良い。報酬算出部３２１は、移動体１０と障害物との相対位置を、例えば、移動体状態取得部３１２が取得した物体信号を用いて取得する。報酬算出部３２１は、移動体１０と障害物との相対位置を、画像取得部３１１が取得する移動体１０の周辺を撮影することにより得られた画像情報を公知の画像解析方法により解析することにより取得しても良い。また、報酬算出部３２１は、移動体１０と障害物との相対位置を、地図情報取得部３０４が取得した地図情報に含まれる障害物情報が示す障害物の位置又は領域と、移動体位置取得部３０１が取得した移動体位置情報が示す移動体１０の位置とを比較することにより取得としても良い。
具体的には、報酬算出部３２１は、以下の式（１）を用いて、時点ｔ−１における移動体１０の状態から、移動体１０が任意の制御信号に基づいて時点ｔまでの間に行動し、時点ｔにおける移動体１０の状態となる際に報酬を算出するものである。なお、時点ｔ−１から時点ｔまでの期間は、例えば、制御生成部３０５が、移動体１０に出力する制御信号を生成する予め決められた時間間隔である。
【００６０】
2020136770.tif 000003
【００６１】
2020136770.tif 000004
【００６２】
2020136770.tif 000005
2020136770.tif 000006
【００６３】
2020136770.tif 000007
【００６４】
モデル生成部３２２は、Ｑ学習法、Ａｃｔｏｒ−Ｃｒｉｔｉｃ法、若しくはＳａｒｓａ法等のＴＤ（Ｔｅｍｐｏｒａｌ  Ｄｉｆｆｅｒｅｎｃｅ）学習法、又はモンテカルロ法等の強化学習によりモデルを生成し、生成したモデルを示すモデル情報を生成する。
強化学習は、ある時刻ｔにおける行動主体の状態Ｓｔにおいて、行動主体が行動し得る１以上の行動のうち、ある行動ａｔを選択して行動した際の当該ある行動ａｔに対する価値Ｑ（Ｓｔ，ａｔ）と当該ある行動ａｔに対する報酬ｒｔを定義し、価値Ｑ（Ｓｔ，ａｔ）と報酬ｒｔとを高めていくものである。
一般に、行動価値関数の更新式は、以下の式（２）により示される。
Ｑ（Ｓｔ，ａｔ）  ←  Ｑ（Ｓｔ，ａｔ）+α（ｒｔ+１+γｍａｘＱ（Ｓｔ+１，ａｔ+１）-Ｑ（Ｓｔ，ａｔ））  ・・・式（２）
【００６５】
ここで、Ｓｔは、ある時点ｔにおける行動主体の状態、ａｔは、ある時点ｔにおける行動主体の行動、及び、Ｓｔ+１は、時点ｔより所定の時間間隔だけ時刻が進んだ時点ｔ＋１における行動主体の状態を表す。時点ｔにおいて状態Ｓｔである行動主体は、行動ａｔにより、時点ｔ＋１において、状態Ｓｔ+１に遷移する。
Ｑ（Ｓｔ，ａｔ）は、状態Ｓｔにある行動主体が行った行動ａｔに対する価値を表す。
ｒｔ+１は、行動主体が状態Ｓｔから状態Ｓｔ+１に遷移した際の報酬を示す値である。
ｍａｘＱ（Ｓｔ+１，ａｔ+１）は、行動主体の状態が状態Ｓｔ+１であるときに行動主体が取り得る行動ａｔ+１のうち、行動主体が、最もＱ（Ｓｔ+１，ａｔ+１）の値が大きな値となる行動ａ＊を選択した際のＱ（Ｓｔ+１，ａ＊）を表す。
γは、１以下の正の値を示すパラメータであり、一般に、割引率と呼ばれる値である。
αは、１以下の正の値を示す学習係数である。
【００６６】
式（２）は、行動主体の状態Ｓｔにおける行動主体が行う行動ａｔに基づく報酬ｒｔ+１と、行動ａｔにより遷移した行動主体の状態Ｓｔ+１における行動主体が行う行動ａ＊の価値Ｑ（Ｓｔ+１，ａ＊）とに基づいて、行動主体の状態Ｓｔにおける行動主体が行う行動ａｔの価値Ｑ（Ｓｔ，ａｔ）を更新するものである。
具体的には、式（２）は、状態Ｓｔにおける行動ａｔによる価値Ｑ（Ｓｔ，ａｔ）よりも、状態Ｓｔにおける行動ａｔに基づく報酬ｒｔ+１と、行動ａｔにより遷移した状態Ｓｔ+１における行動ａ＊の価値Ｑ（Ｓｔ+１，ａ＊）との和の方が大きい場合、価値Ｑ（Ｓｔ，ａｔ）を大きくするように更新する。反対に、式（２）は、状態Ｓｔにおける行動ａｔによる価値Ｑ（Ｓｔ，ａｔ）よりも、状態Ｓｔにおける行動ａｔに基づく報酬ｒｔ+１と、行動ａｔにより遷移した状態Ｓｔ+１における行動ａ＊の価値Ｑ（Ｓｔ+１，ａ＊）との和の方が小さい場合、価値Ｑ（Ｓｔ，ａｔ）を小さくするように更新する。
【００６７】
つまり、式（２）は、行動主体がある状態である場合において、行動主体がある行動を行った際の当該行動の価値を、当該行動に基づく報酬と、当該行動により遷移した状態における最良の行動の価値との和に近付けるように更新するためのものである。
行動主体の状態が状態Ｓｔ+１であるときに行動主体が取り得る行動ａｔ+１のうち、行動主体が、最もＱ（Ｓｔ+１，ａｔ+１）の値が大きな値となる行動ａ＊を決定する方法は、例えば、ε−ｇｒｅｅｄｙ法、Ｓｏｆｔｍａｘ法、又は、ＲＢＦ（Ｒａｄｉａｌ  Ｂａｓｉｓ  Ｆｕｎｃｔｉｏｎ）関数を用いる方法がある。これらの方法は、公知であるため説明を省略する。
【００６８】
上述の一般的な式（２）において、行動主体は、実施の形態１に係る移動体１０であり、行動主体の状態は、実施の形態１に係る移動体状態取得部３１２が取得する移動体状態信号が示す移動体１０の状態、又は移動体位置取得部３０１が取得した移動体位置情報が示す移動体１０の位置であり、行動は、実施の形態１に係る制御生成部３０５が生成した制御信号が示す移動体１０を移動させるための制御内容である。
【００６９】
モデル生成部３２２は、式（２）に式（１）を適用することにより、モデル情報を生成する。モデル生成部３２２は、移動体位置取得部３０１が取得した移動体位置情報が示す移動体１０の位置と、移動体１０を移動させるための制御内容を示す制御信号とが対応付けた対応情報を生成する。対応情報は、互いに異なる複数の目標位置において、目標位置毎に、複数の位置と、各位置に対応する制御信号がセットになった情報である。モデル生成部３２２は、互いに異なる複数の目標位置のそれぞれに対応付けた複数の対応情報を含むモデル情報を生成する。
【００７０】
図５を参照して、実施の形態１に係る移動体１０の状態が状態Ｓｔであるときに移動体１０が取り得る行動ａｔから、行動ａ＊を選択する方法について説明する。
図５は、実施の形態１に係る移動体１０の状態が状態Ｓｔであるときに移動体１０が取り得る行動ａｔから、行動ａ＊を選択する一例を示す図である。
【００７１】
図５において、ａｉ、ａｊ、及びａ＊は、時点ｔにおいて、移動体１０の状態が状態Ｓｔであるときに移動体１０が取り得る行動である。また、Ｑ（Ｓｔ，ａｉ）、Ｑ（Ｓｔ，ａｊ）、及びＱ（Ｓｔ，ａ＊）は、移動体１０の状態が状態Ｓｔであるときに移動体１０が行動ａｉ、行動ａｊ、及び行動ａ＊を行った際の各行動に対する価値である。
モデル生成部３２２は、式（２）に式（１）を適用することにより、モデル情報を生成するため、価値Ｑ（Ｓｔ，ａｉ）、価値Ｑ（Ｓｔ，ａｊ）、及び価値Ｑ（Ｓｔ，ａ＊）は、式（１）における第６項及び第７項を含む演算式により評価される。すなわち、価値Ｑ（Ｓｔ，ａｉ）、価値Ｑ（Ｓｔ，ａｊ）、及び価値Ｑ（Ｓｔ，ａ＊）は、移動体１０の位置と参照経路との間の距離が近いほど、また、移動体１０が参照経路に沿って目標位置の方向に向かって移動した距離が長いほど、高い値となる。
【００７２】
したがって、価値Ｑ（Ｓｔ，ａｉ）、価値Ｑ（Ｓｔ，ａｊ）、及び価値Ｑ（Ｓｔ，ａ＊）を比較した場合、価値Ｑ（Ｓｔ，ａ＊）が最も高い値を示すため、モデル生成部３２２は、移動体１０の状態が状態Ｓｔであるとき、行動ａ＊を選択して、状態Ｓｔと行動ａ＊に対応する制御信号とを対応付けてモデル情報を生成する。
なお、モデル生成部３２２は、モデル情報を生成する際に、報酬を算出する適切な演算式を採用することにより、上述の行動ａ＊を決定するための試行回数を低減させることが可能なＴＤ学習を用いることが好適である。
【００７３】
制御生成部３０５は、モデル生成部３２２がモデル情報を生成する際に選択した行動に対応する制御信号を生成する。
【００７４】
制御出力部３０６は、制御生成部３０５が生成した制御信号を、ネットワーク２０を介して、移動体１０に出力する。
移動体１０に備えられた走行制御手段１１は、ネットワーク２０を介して、制御出力部３０６が出力した制御信号を受信し、上述のとおり、受信した制御信号を入力信号として、当該制御信号に基づいて移動体１０の走行制御を行う。
モデル出力部３２３は、モデル生成部３２２が生成したモデル情報を、ネットワーク２０を介して、記憶装置３０に出力し、記憶装置３０に記憶させる。
【００７５】
制御補正部３１３は、制御生成部３０５が生成した制御信号（以下「第１制御信号」という。）が示す制御内容が、制御生成部３０５が直前に生成した制御信号（以下「第２制御信号」という。）が示す制御内容と比較して、予め定められた範囲内の変化量になるように、第１制御信号を補正する。
なお、制御補正部３１３が、第１制御信号と第２制御信号とを比較する例を説明したが、制御補正部３１３は、第１制御信号と、移動体状態取得部３１２が取得する移動体状態信号とを比較し、移動体１０において、走行制御手段１１が行っている制御に対して予め定められた範囲内の変化量になるように、第１制御信号を補正しても良い。
制御補正部３１３は、移動体制御装置１００における制御補正部１１３と同様の動作であるため、詳細な説明は省略する。
なお、モデル生成部３２２は、制御補正部３１３が補正した制御信号を用いてモデル情報を生成しても良い。
【００７６】
制御補間部３１４は、制御生成部３０５が生成した第１制御信号が示す制御内容の一部又は全部が欠落している場合、制御生成部３０５が直前に生成した第２制御信号が示す制御内容に基づいて、第１制御信号における欠落している制御内容を補間して第１制御信号を補正する。制御補間部３１４は、第２制御信号が示す制御内容に基づいて、第１制御信号における欠落している制御内容を補間する際、第１制御信号における欠落している制御内容が、第２制御信号が示す制御内容から予め定められた範囲内の変化量になるように補間して第１制御信号を補正する。
なお、制御補間部３１４が、第１制御信号における欠落している制御内容を補間する際、第２制御信号に基づいて第１制御信号を補間する例を説明したが、制御補間部３１４は、移動体状態取得部３１２が取得する移動体状態信号に基づいて、移動体１０において、走行制御手段１１が行っている制御に対して予め定められた範囲内の変化量になるように、第１制御信号を補間して補正しても良い。
制御補間部３１４は、移動体制御装置１００における制御補間部１１４と同様の動作であるため、詳細な説明は省略する。
なお、モデル生成部３２２は、制御補間部３１４が補正した制御信号を用いてモデル情報を生成しても良い。
【００７７】
図６を参照して、実施の形態１に係る移動体制御学習装置３００の動作について説明する。
図６は、実施の形態１に係る移動体制御学習装置３００の処理の一例を説明するフローチャートである。
移動体制御学習装置３００は、例えば、当該フローチャートの処理を繰り返して実行する。
【００７８】
まず、ステップＳＴ６０１にて、地図情報取得部３０４は、地図情報を取得する。
まず、ステップＳＴ６０２にて、目標位置取得部３０２は、目標位置情報を取得する。
次に、ステップＳＴ６０３にて、移動体位置取得部３０１は、移動体位置情報を取得する。
次に、ステップＳＴ６０４にて、移動体状態取得部３１２は、移動体状態信号を取得する。
次に、ステップＳＴ６０５にて、制御生成部３０５は、移動体位置情報が示す移動体１０の位置と目標位置情報が示す目標位置とが同一であるか否かを判定する。
【００７９】
ステップＳＴ６０５にて、制御生成部３０５が、移動体位置情報が示す移動体１０の位置と目標位置情報が示す目標位置とが同一でないと判定した場合、移動体制御学習装置３００は、ステップＳＴ６１１以降の処理を実行する。
ステップＳＴ６１１にて、報酬算出部３２１は、移動体１０が取り得る複数の行動における報酬を行動ごとに算出する。
次に、ステップＳＴ６１２にて、モデル生成部３２２は、報酬算出部３２１が行動ごとに算出した報酬と、当該行動ごとの価値と、当該行動ごとに次に取りうる複数の行動ごとの価値とに基づいて、行うべき行動を選択する。
次に、ステップＳＴ６１３にて、制御生成部３０５は、モデル生成部３２２が選択した行動に対応する制御信号を生成する。
【００８０】
次に、ステップＳＴ６１４にて、制御補正部３１３は、制御生成部３０５が生成した第１制御信号が示す制御内容が、制御生成部３０５が直前に生成した第２制御信号が示す制御内容と比較して、予め定められた範囲内の変化量になるように、第１制御信号を補正する。
次に、ステップＳＴ６１５にて、制御補間部３１４は、制御生成部３０５が生成した第１制御信号が示す制御内容の一部又は全部が欠落している場合、制御生成部３０５が直前に生成した第２制御信号が示す制御内容に基づいて、第１制御信号における欠落している制御内容を補間して第１制御信号を補正する。
次に、ステップＳＴ６１６にて、モデル生成部３２２は、移動体位置取得部３０１が取得した移動体位置情報が示す移動体１０の位置と、制御生成部３０５が生成した制御信号又は制御補正部３１３若しくは制御補間部３１４が補正した制御信号とを対応付けた対応情報を生成することにより、モデル情報を生成する。
【００８１】
次に、ステップＳＴ６１７にて、制御出力部３０６は、制御生成部３０５が生成した制御信号、又は、制御補正部３１３若しくは制御補間部３１４が補正した制御信号を、移動体１０に出力する。
【００８２】
移動体制御学習装置３００は、ステップＳＴ６１７の処理を実行した後、ステップＳＴ６０３の処理に戻って、ステップＳＴ６０５にて、制御生成部３０５が、移動体位置情報が示す移動体１０の位置と目標位置情報が示す目標位置とが同一であると判定するまでの期間において、ステップＳＴ６０３からステップＳＴ６１７までの処理を繰り返し実行する。
ステップＳＴ６０５にて、制御生成部３０５が、移動体位置情報が示す移動体１０の位置と目標位置情報が示す目標位置とが同一であると判定した場合、ステップＳＴ６２１にて、モデル出力部３２３は、モデル生成部３２２が生成したモデル情報を出力する。
ステップＳＴ６２１の処理を実行した後、移動体制御学習装置３００は、当該フローチャートの処理を終了する。
なお、当該フローチャートの処理において、ステップＳＴ６０１及びステップＳＴ６０２の処理は、実行される順序が逆でも良い。また、当該フローチャートの処理において、ステップＳＴ６１４及びステップＳＴ６１５の処理は、実行される順序が逆でも良い。
【００８３】
図７は、移動体１０が目標位置に到達するまでに移動した経路の一例を示した図である。図７Ａは、ある時点における移動体１０の位置から目標位置まで参照経路を設定して式（１）に示した演算式を用いる場合、図７Ｂは、ある時点における移動体１０の位置から目標位置に至る途中まで参照経路を設定して式（１）に示した演算式を用いた場合、図７Ｃは、参照経路を設定せずに、式（１）に示した演算式から第６項と第７項を除いた演算式を用いる場合を示している。
図７Ａは、移動体１０が目標位置に到達するまで、設定された参照経路に沿って移動することが見て取れる。また、図７Ｂは、移動体１０が設定された参照経路が存在する地点まで参照経路に沿って移動し、その後、目標位置に向かって移動することが見て取れる。これに対して、図７Ｃは、目標位置に向かって移動する際に、障害物を避けるように移動するため目標位置に到達することができないことが見て取れる。すなわち、移動体制御学習装置３００は、図７Ａ及び図７Ｂに示すように、参照経路を設定して式（１）に示した演算式を用いて学習を行うことにより、短期間で学習を完了することができる。
【００８４】
以上のように、移動体制御装置１００は、移動体１０の位置を示す移動体位置情報を取得する移動体位置取得部１０１と、移動体１０を移動させる目標位置を示す目標位置情報を取得する目標位置取得部１０２と、参照経路を示す参照経路情報を参照して移動体１０が参照経路に沿って移動しているかを評価することにより報酬を算出する項を含む、報酬を算出するための演算式を用いて学習させたモデルを示すモデル情報と、移動体位置取得部１０１が取得した移動体位置情報と、目標位置取得部１０２が取得した目標位置情報とに基づいて、目標位置情報が示す目標位置に向かって移動体１０を移動させるための制御内容を示す制御信号を生成する制御生成部１０５と、を備えた。
【００８５】
このように構成することで、移動体制御装置１００は、演算量を減らしつつ、移動体１０が実質的に不連続な動作を行うことのないように移動体１０を制御することができる。
【００８６】
また、以上のように、移動体制御学習装置３００は、移動体１０の位置を示す移動体位置情報を取得する移動体位置取得部３０１と、移動体１０を移動させる目標位置を示す目標位置情報を取得する目標位置取得部３０２と、参照経路を示す参照経路情報を取得する参照経路取得部３２０と、移動体位置取得部３０１が取得した移動体位置情報と、目標位置取得部３０２が取得した目標位置情報と、参照経路取得部３２０が取得した参照経路情報とに基づいて、移動体１０が参照経路に沿って移動しているかを評価することにより報酬を算出する項を含む演算式を用いて、報酬を算出する報酬算出部３２１と、目標位置情報が示す目標位置に向かって移動体１０を移動させるための制御内容を示す制御信号を生成する制御生成部３０５と、移動体位置取得部３０１が取得した移動体位置情報と、目標位置取得部３０２が取得した目標位置情報と、制御生成部３０５が生成した制御信号と、報酬算出部３２１が算出した報酬とに基づいて、制御信号により移動体１０を移動させる価値を評価することにより、モデル情報を生成するモデル生成部３２２と、を備えた。
【００８７】
このように構成することで、移動体制御学習装置３００は、移動体１０が実質的に不連続な動作を行うことのないように移動体１０を制御させるためのモデル情報を、短い学習期間で生成することができる。
【００８８】
実施の形態２．
図８を参照して実施の形態２に係る移動体制御装置１００ａについて説明する。
図８は、実施の形態２に係る移動体制御装置１００ａの要部の一例を示すブロック図である。
図８に示すとおり、移動体制御装置１００ａは、例えば、移動体制御システム１ａに適用される。
【００８９】
移動体制御装置１００ａは、移動体制御装置１００と同様に、モデル情報、移動体位置情報、及び目標位置情報に基づいて、目標位置に向かって移動体１０を移動させるための制御内容を示す制御信号を生成し、生成した制御信号を、ネットワーク２０を介して移動体１０に出力するものである。移動体制御装置１００ａが制御信号を生成する際に用いるモデル情報は、移動体制御学習装置３００により生成される。
実施の形態２に係る移動体制御装置１００ａは、実施の形態１に係る移動体制御装置１００と比較して、参照経路取得部１２０、報酬算出部１２１、モデル更新部１２２、及びモデル出力部１２３が追加され、移動体制御学習装置３００が出力した学習済みのモデル情報を更新可能にしたものである。
実施の形態２に係る移動体制御装置１００ａの構成において、実施の形態１に係る移動体制御装置１００又は移動体制御システム１と同様の構成については、同じ符号を付して重複した説明を省略する。すなわち、図１に記載した符号と同じ符号を付した図８の構成については、説明を省略する。
【００９０】
移動体制御システム１ａは、移動体制御装置１００ａ、移動体１０、ネットワーク２０、及び記憶装置３０を備える。
移動体１０に備えられた走行制御手段１１、位置特定手段１２、撮像手段１３、及びセンサ信号出力手段１４、並びに、記憶装置３０、及び移動体制御装置１００ａは、それぞれ、ネットワーク２０に接続されている。
移動体制御装置１００ａは、移動体位置取得部１０１、目標位置取得部１０２、モデル取得部１０３、地図情報取得部１０４、制御生成部１０５ａ、及び制御出力部１０６ａ、移動体状態取得部１１２、参照経路取得部１２０、報酬算出部１２１、モデル更新部１２２、及びモデル出力部１２３を備える。移動体制御装置１００ａは、上述の構成に加えて、画像取得部１１１、制御補正部１１３ａ、及び制御補間部１１４ａを備えるものであっても良い。
【００９１】
なお、実施の形態２に係る移動体制御装置１００ａにおける移動体位置取得部１０１、目標位置取得部１０２、モデル取得部１０３、地図情報取得部１０４、制御生成部１０５ａ、制御出力部１０６ａ、移動体状態取得部１１２、参照経路取得部１２０、報酬算出部１２１、モデル更新部１２２、モデル出力部１２３、画像取得部１１１、制御補正部１１３ａ、及び制御補間部１１４ａの各機能は、実施の形態１において図２Ａ及び図２Ｂに一例を示したハードウェア構成におけるプロセッサ２０１及びメモリ２０２により実現されるものであっても良く、又は処理回路２０３により実現されるものであっても良い。
【００９２】
参照経路取得部１２０は、参照経路を示す参照経路情報を取得する。具体的には、例えば、参照経路取得部１２０は、移動体制御学習装置３００がモデル情報を生成する際に用いた参照経路情報を、モデル取得部１０３が取得したモデル情報から読み出すことにより、参照経路情報を取得する。
【００９３】
報酬算出部１２１は、移動体位置取得部１０１が取得した移動体位置情報と、目標位置取得部１０２が取得した目標位置情報と、参照経路取得部１２０が取得した参照経路情報とに基づいて、参照経路を示す参照経路情報を参照して移動体１０が参照経路に沿って移動しているかを評価することにより報酬を算出する項を含む演算式を用いて、報酬を算出する。
報酬算出部１２１が報酬を算出する際に用いる演算式は、移動体１０が参照経路に沿って移動しているかを評価することにより報酬を算出する項に加えて、移動体状態取得部１１２が取得した移動体状態信号が示す移動体１０の状態を評価することにより報酬を算出する項、又は、移動体１０の状態に基づく移動体１０の行動を評価することにより報酬を算出する項を含むものであっても良い。
また、報酬算出部１２１が報酬を算出する際に用いる演算式は、移動体１０が参照経路に沿って移動しているかを評価することにより報酬を算出する項に加えて、移動体１０と障害物との相対位置を評価することにより報酬を算出する項を含むものであっても良い。
【００９４】
具体的には、例えば、報酬算出部１２１は、制御出力部１０６ａが出力した制御信号により移動した後の移動体１０の位置を、移動体位置取得部１０１が取得した移動体位置情報を用いて特定し、当該制御信号により移動した後の移動体１０の状態を、移動体状態取得部１１２が取得した移動体状態信号を用いて特定し、特定した移動体１０の位置と状態とを用いて実施の形態１に示した式（１）に基づいて、当該報酬を算出する。
【００９５】
モデル更新部１２２は、移動体位置取得部１０１が取得した移動体位置情報と、目標位置取得部１０２が取得した目標位置情報と、移動体状態取得部１１２が取得した生成した移動体状態信号と、報酬算出部１２１が算出した報酬に基づいて、モデル情報を更新する。
具体的には、例えば、モデル更新部１２２は、実施の形態１に示した式（２）に式（１）を適用することにより、移動体位置取得部１０１が取得した移動体位置情報が示す移動体１０の位置と、移動体１０を移動させるための制御内容を示す制御信号とを対応付けた対応情報を更新することより、モデル情報を更新する。
モデル出力部１２３は、モデル更新部１２２が更新したモデル情報を、ネットワーク２０を介して、記憶装置３０に出力し、記憶装置３０に記憶させる。
【００９６】
制御生成部１０５ａは、モデル取得部１０３が取得したモデル情報、又はモデル更新部１２２が更新したモデル情報と、移動体位置取得部１０１が取得した移動体位置情報と、目標位置取得部１０２が取得した目標位置情報とに基づいて、目標位置情報が示す目標位置に向かって移動体１０を移動させるための制御内容を示す制御信号を生成する。制御生成部１０５ａは、モデル取得部１０３が取得したモデル情報の代わりにモデル更新部１２２が更新したモデル情報に基づいて制御信号を生成する場合があることを除いて、実施の形態１に示した制御生成部１０５と同様であるため、詳細な説明を省略する。
【００９７】
制御補正部１１３ａは、制御生成部１０５ａが生成した第１制御信号が示す制御内容が、制御生成部１０５ａが直前に生成した第２制御信号が示す制御内容と比較して、予め定められた範囲内の変化量になるように、第１制御信号を補正する。
制御補間部１１４ａは、制御生成部１０５ａが生成した第１制御信号が示す制御内容の一部又は全部が欠落している場合、制御生成部１０５ａが直前に生成した第２制御信号が示す制御内容に基づいて、第１制御信号における欠落している制御内容を補間して第１制御信号を補正する。
なお、制御補正部１１３ａ及び制御補間部１１４ａの動作は、実施の形態１に示した制御補正部１１３及び制御補間部１１４の動作と同様であるため、詳細な説明を省略する。
また、モデル更新部１２２は、制御補正部１１３ａ又は制御補間部１１４ａが補正した制御信号を用いてモデル情報を更新しても良い。
【００９８】
制御出力部１０６ａ、制御生成部１０５ａが生成した制御信号、又は、制御補正部１１３ａ若しくは制御補間部１１４ａが補正した制御信号を、移動体１０に出力する。
【００９９】
図９を参照して、実施の形態２に係る移動体制御装置１００ａの動作について説明する。
図９は、実施の形態２に係る移動体制御装置１００ａの処理の一例を説明するフローチャートである。
移動体制御装置１００ａは、例えば、新たな目標位置が設定される毎に当該フローチャートの処理を繰り返して実行する。
【０１００】
まず、ステップＳＴ９０１にて、地図情報取得部１０４は、地図情報を取得する。
まず、ステップＳＴ９０２にて、目標位置取得部１０２は、目標位置情報を取得する。
次に、ステップＳＴ９０３にて、モデル取得部１０３は、モデル情報を取得する。
次に、ステップＳＴ９０４にて、制御生成部１０５ａは、モデル情報に含まれる対応情報のうち、目標位置情報が示す目標位置に対応する対応情報を特定する。
次に、ステップＳＴ９０５にて、移動体位置取得部１０１は、移動体位置情報を取得する。
【０１０１】
次に、ステップＳＴ９０６にて、制御生成部１０５ａは、移動体位置情報が示す移動体１０の位置と目標位置情報が示す目標位置とが同一であるか否かを判定する。
ステップＳＴ９０６にて、制御生成部１０５ａが、移動体位置情報が示す移動体１０の位置と目標位置情報が示す目標位置とが同一でないと判定した場合、ステップＳＴ９１１にて、移動体状態取得部１１２は、移動体状態信号を取得する。
次に、ステップＳＴ９１２にて、報酬算出部１２１は、報酬を算出する。
次に、ステップＳＴ９１３にて、モデル更新部１２２は、制御生成部１０５ａが特定した対応情報を更新することにより、モデル情報を更新する。
次に、ステップＳＴ９１４にて、制御生成部１０５ａは、モデル更新部１２２が更新した対応情報を参照して、移動体位置情報が示す位置に対応する制御信号を特定することにより、移動体１０を移動させるための制御内容を示す制御信号を生成する。
【０１０２】
次に、ステップＳＴ９１５にて、制御補正部１１３ａは、制御生成部１０５ａが生成した第１制御信号が示す制御内容が、制御生成部１０５ａが直前に生成した第２制御信号が示す制御内容と比較して、予め定められた範囲内の変化量になるように、第１制御信号を補正する。
次に、ステップＳＴ９１６にて、制御補間部１１４ａは、制御生成部１０５ａが生成した第１制御信号が示す制御内容の一部又は全部が欠落している場合、制御生成部１０５ａが直前に生成した第２制御信号が示す制御内容に基づいて、第１制御信号における欠落している制御内容を補間して第１制御信号を補正する。
次に、ステップＳＴ９１７にて、制御出力部１０６ａは、制御生成部１０５ａが生成した制御信号又は制御補正部１１３ａ若しくは制御補間部１１４ａが補正した制御信号を、移動体１０に出力する。
【０１０３】
移動体制御装置１００ａは、ステップＳＴ９１７の処理を実行した後、ステップＳＴ９０５の処理に戻って、ステップＳＴ９０６にて、制御生成部１０５ａが、移動体位置情報が示す移動体１０の位置と目標位置情報が示す目標位置とが同一であると判定するまでの期間において、ステップＳＴ９０５からステップＳＴ９１７までの処理を繰り返し実行する。
ステップＳＴ９０６にて、制御生成部１０５ａが、移動体位置情報が示す移動体１０の位置と目標位置情報が示す目標位置とが同一であると判定した場合、ステップＳＴ９２１にて、モデル出力部１２３は、モデル更新部１２２が更新したモデル情報を出力する。
ステップＳＴ９２１の処理を実行した後、移動体制御装置１００ａは、当該フローチャートの処理を終了する。
なお、当該フローチャートの処理において、ステップＳＴ９０１からステップＳＴ９０３までの処理は、ステップＳＴ９０４の処理に前に実行されれば、実行される順序は問わない。また、当該フローチャートの処理において、ステップＳＴ９１５及びステップＳＴ９１６の処理は、実行される順序が逆でも良い。
【０１０４】
以上のように、移動体制御装置１００ａは、移動体１０の位置を示す移動体位置情報を取得する移動体位置取得部１０１と、移動体１０を移動させる目標位置を示す目標位置情報を取得する目標位置取得部１０２と、参照経路を示す参照経路情報を参照して移動体１０が参照経路に沿って移動しているかを評価することにより報酬を算出する項を含む、報酬を算出するための演算式を用いて学習させたモデルを示すモデル情報と、移動体位置取得部１０１が取得した移動体位置情報と、目標位置取得部１０２が取得した目標位置情報とに基づいて、目標位置情報が示す目標位置に向かって移動体１０を移動させるための制御内容を示す制御信号を生成する制御生成部１０５ａと、参照経路を示す参照経路情報を取得する参照経路取得部１２０と、移動体１０の状態を示す移動体状態信号を取得する移動体状態取得部１１２と、移動体位置取得部１０１が取得した移動体位置情報と、目標位置取得部１０２が取得した目標位置情報と、参照経路取得部１２０が取得した参照経路情報と、移動体状態取得部１１２が取得した移動体状態信号とに基づいて、参照経路を示す参照経路情報を参照して移動体１０が参照経路に沿って移動しているかを評価することにより報酬を算出する項を含む演算式を用いて、報酬を算出する報酬算出部１２１と、移動体位置取得部１０１が取得した移動体位置情報と、目標位置取得部１０２が取得した目標位置情報と、移動体状態取得部１１２が取得した生成した移動体状態信号と、報酬算出部１２１が算出した報酬とに基づいて、モデル情報を更新するモデル更新部１２２と、を備えた。
【０１０５】
このように構成することで、参照経路を示す参照経路情報を参照して移動体１０が参照経路に沿って移動しているかを評価することにより、移動体制御装置１００ａは、移動体制御学習装置３００が生成したモデル情報を、少ない演算量により短時間で更新しつつ、移動体１０が実質的に不連続な動作を行うことのないように移動体１０をより高精度で制御することができる。
【０１０６】
なお、この発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【産業上の利用可能性】
【０１０７】
この発明に係る移動体制御装置は、移動体制御システムに適用することができる。また、移動体制御学習装置は、移動体制御学習システムに適用することができる。
【符号の説明】
【０１０８】
１，１ａ  移動体制御システム、１０  移動体、１１  走行制御手段、１２  位置特定手段、１３  撮像手段、１４  センサ信号出力手段、２０  ネットワーク、３０  記憶装置、１００，１００ａ  移動体制御装置、１０１  移動体位置取得部、１０２  目標位置取得部、１０３  モデル取得部、１０４  地図情報取得部、１０５，１０５ａ  制御生成部、１０６，１０６ａ  制御出力部、１１１  画像取得部、１１２  移動体状態取得部、１１３，１１３ａ  制御補正部、１１４，１１４ａ  制御補間部、１２０  参照経路取得部、１２１  報酬算出部、１２２  モデル更新部、１２３  モデル出力部、３  移動体制御学習システム、３００  移動体制御学習装置、３０１  移動体位置取得部、３０２  目標位置取得部、３０４  地図情報取得部、３０５  制御生成部、３０６  制御出力部、３１１  画像取得部、３１２  移動体状態取得部、３１３  制御補正部、３１４  制御補間部、３２０  参照経路取得部、３２１  報酬算出部、３２２  モデル生成部、３２３  モデル出力部、２０１  プロセッサ、２０２  メモリ、２０３  処理回路。
【図１】
2020136770.tif 000008
【図２】
2020136770.tif 000009
【図３】
2020136770.tif 000010
【図４】
2020136770.tif 000011
【図５】
2020136770.tif 000012
【図６】
2020136770.tif 000013
【図７】
2020136770.tif 000014
【図８】
2020136770.tif 000015
【図９】
2020136770.tif 000016
【国際調査報告】
2020136770.tif 000017
2020136770.tif 000018
2020136770.tif 000019
2020136770.tif 000020