(57)【要約】  リスクが存在しない環境下で、学習用移動体を運転させた際に得られる運転履歴データを学習用履歴データとして取得する学習用履歴データ取得部（１０１）と、学習用履歴データを教師データとして、リスクが存在しない環境下における学習用移動体の運転を模倣する学習を行い、模倣学習モデルを作成する模倣学習部（１０２）と、学習用履歴データを取得した環境と同一の環境下で、教師データ生成用移動体を運転させた際に得られる運転履歴データを教師用履歴データとして取得する教師用履歴データ取得部（１０３）と、教師用履歴データを模倣学習モデルへの入力とし、教師用履歴データが学習用履歴データと一致しているか推定し、リスクに関するラベルを付与する教師データ生成部（１０４）と、少なくともリスクに関するラベルを教師データとして、制御対象の移動体のセンサ情報に基づいて、制御対象の移動体を制御するための結果を推論するモデルを学習する認知学習部（１０５）とを備える。
2020183609.tif 000002
【特許請求の範囲】
【請求項１】
リスクが存在しない環境下で、学習用移動体を運転させた際に得られる運転履歴データを学習用履歴データとして取得する学習用履歴データ取得部と、
前記学習用履歴データ取得部が取得した前記学習用履歴データを教師データとして、前記リスクが存在しない環境下における前記学習用移動体の運転を模倣する学習を行い、模倣学習モデルを作成する模倣学習部と、
前記学習用履歴データを取得した環境と同一の環境下で、教師データ生成用移動体を運転させた際に得られる運転履歴データを教師用履歴データとして取得する教師用履歴データ取得部と、
前記教師用履歴データ取得部が取得した前記教師用履歴データを、前記模倣学習部が作成した前記模倣学習モデルへの入力とし、前記教師用履歴データが前記学習用履歴データと一致しているか推定し、前記リスクに関するラベルを付与する教師データ生成部と、
少なくとも前記教師データ生成部が付与した前記リスクに関するラベルを教師データとして、制御対象の移動体に搭載されたセンサのセンサ情報に基づいて、前記制御対象の移動体を制御するための結果を推論するモデルを学習する学習部とを備えた移動体制御装置。
【請求項２】
前記学習部は、前記教師用履歴データ取得部が取得した前記教師用履歴データと、前記教師データ生成部が付与した前記リスクに関するラベルとを教師データとして、少なくとも前記リスクの有無を示す結果を含む認知結果を推論する認知モデルを学習する認知学習部であることを特徴とする請求項１記載の移動体制御装置。
【請求項３】
前記学習部は、前記教師用履歴データ取得部が取得した前記教師用履歴データと、前記教師データ生成部が付与した前記リスクに関するラベルとを教師データとして、前記リスクに関するラベルおよび前記制御対象の移動体の制御パラメータを推論する制御モデルを学習する制御学習部であることを特徴とする請求項１記載の移動体制御装置。
【請求項４】
前記認知学習部が学習した前記認知モデルに、前記制御対象の移動体の前記センサ情報を入力し、少なくとも前記制御対象の移動体の移動に伴う前記リスクの有無を示す前記認知結果を推論する認知推論部と、
前記認知推論部が推論した前記認知結果に基づいて、前記制御対象の移動体の制御パラメータを生成する制御パラメータ生成部とを備えたことを特徴とする請求項２記載の移動体制御装置。
【請求項５】
前記制御学習部が学習した前記制御モデルに、前記制御対象の移動体の前記センサ情報を入力し、前記リスクに関するラベルおよび前記制御パラメータを推論する制御推論部を備えたことを特徴とする請求項３記載の移動体制御装置。
【請求項６】
前記制御対象の移動体の前記センサ情報を取得し、前記認知推論部における前記認知結果の推論に適した情報に加工し、前記認知推論部に出力するセンサ情報取得部を備えたことを特徴とする請求項４記載の移動体制御装置。
【請求項７】
前記制御対象の移動体の前記センサ情報を取得し、前記制御推論部における前記リスクに関するラベルおよび前記制御パラメータを推論するのに適した情報に加工し、前記制御推論部に出力するセンサ情報取得部を備えたことを特徴とする請求項５記載の移動体制御装置。
【請求項８】
前記教師データ生成部は、前記リスクに関するラベルとして前記リスクが有ることを示すラベルを付与した前記教師用履歴データの前記センサ情報を用いて、教師なしの学習を行って前記リスクを予め設定された種別に分類し、分類した前記リスクの種別を識別可能なラベルを付与し、
前記認知学習部は、前記リスクの種別を識別可能なラベルを前記教師データとして、前記リスクの種別に応じた前記認知結果を推論する前記認知モデルを学習することを特徴とする請求項２記載の移動体制御装置。
【請求項９】
学習用履歴データ取得部が、リスクが存在しない環境下で、学習用移動体を運転させた際に得られる運転履歴データを学習用履歴データとして取得するステップと、
模倣学習部が、取得された前記学習用履歴データを教師データとして、前記リスクが存在しない環境下における前記学習用移動体の運転を模倣する学習を行い、模倣学習モデルを作成するステップと、
教師用履歴データ取得部が、前記学習用履歴データを取得した環境と同一の環境下で、教師データ生成用移動体を運転させた際に得られる運転履歴データを教師用履歴データとして取得するステップと、
教師データ生成部が、取得された前記教師用履歴データを、作成された前記模倣学習モデルへの入力とし、前記教師用履歴データが前記学習用履歴データと一致しているか推定し、前記リスクに関するラベルを付与するステップと、
学習部が、少なくとも付与された前記リスクに関するラベルを教師データとして、制御対象の移動体に搭載されたセンサのセンサ情報に基づいて、前記制御対象の移動体を制御するための結果を推論するモデルを学習するステップとを備えた移動体制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、移動体周囲の状況を推定し、推定結果に基づいて移動体を制御する技術に関するものである。
【背景技術】
【０００２】
移動体の移動を自動で制御するためには、移動体の周囲の状況を推定しながら、当該移動体の移動を制御する技術が必要となる。自動車の自動運転制御の技術は、その代表例である。
例えば、非特許文献１では、オープンソースの自動運転シミュレータ（ＣＡＲＬＡ）を用いて、移動体のフロントカメラの画像をニューラルネットワークに入力し、移動体の前方に位置する障害物の有無等の移動体の周囲の状況を推定する技術が開示されている。また、推定した移動体の周囲の状況に含まれる顕在的なリスクに対して、移動体の緊急ブレーキを作動する技術が開示されている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Axel Sauer, Nikolay Savinov, Andreas Geiger, "Conditional Affordance Learning for Driving in Urban Environments"
【発明の概要】
【発明が解決しようとする課題】
【０００４】
自動車の自動運転の場合、実際の自動車の運転では、顕在的なリスクのみではなく、道路への人の急な飛び出し等の潜在的なリスクも考慮した走行を行う必要がある。そのため、非特許文献１に開示された技術のように、移動体のフロントカメラの画像などのセンサ情報を認知モデルに入力して得られた認知結果に基づいて走行する場合、潜在的なリスクも含めて認知モデルを学習する必要がある。しかし、潜在的なリスクについて認知モデルを学習することは困難であるという課題があった。さらに、潜在的なリスクに対する移動体の理想的な挙動を全て規定することは困難であるという課題があった。【０００５】
この発明は、上記のような課題を解決するためになされたもので、認知モデルの学習において、潜在的なリスクを含むリスクを判定するための教師データを作成する際の識別情報を付与する作業を省力化してリスクを判定する学習を行うことを目的とする。
【課題を解決するための手段】
【０００６】
この発明に係る移動体制御装置は、リスクが存在しない環境下で、学習用移動体を運転させた際に得られる運転履歴データを学習用履歴データとして取得する学習用履歴データ取得部と、学習用履歴データ取得部が取得した学習用履歴データを教師データとして、リスクが存在しない環境下における学習用移動体の運転を模倣する学習を行い、模倣学習モデルを作成する模倣学習部と、学習用履歴データを取得した環境と同一の環境下で、教師データ生成用移動体を運転させた際に得られる運転履歴データを教師用履歴データとして取得する教師用履歴データ取得部と、教師用履歴データ取得部が取得した教師用履歴データを、模倣学習部が作成した模倣学習モデルへの入力とし、教師用履歴データが学習用履歴データと一致しているか推定し、リスクに関するラベルを付与する教師データ生成部と、少なくとも教師データ生成部が付与したリスクに関するラベルを教師データとして、制御対象の移動体に搭載されたセンサのセンサ情報に基づいて、制御対象の移動体を制御するための結果を推論するモデルを学習する学習部とを備えるものである。
【発明の効果】
【０００７】
この発明によれば、認知モデルの学習において、潜在的なリスクを含むリスクを判定するための教師データを作成する際の識別情報を付与する作業を省力化してリスクを判定する学習を行うことができる。
【図面の簡単な説明】
【０００８】
【図１】実施の形態１に係る移動体制御装置の構成を示すブロック図である。
【図２】図２Ａおよび図２Ｂは、実施の形態１に係る移動体制御装置のハードウェア構成例を示す図である。
【図３】実施の形態１に係る移動体制御装置の認知モデルの作成処理の動作を示すフローチャートである。
【図４】実施の形態１に係る移動体制御装置の移動体の制御処理の動作を示すフローチャートである。
【図５】実施の形態２に係る移動体制御装置の構成を示すブロック図である。
【図６】実施の形態２に係る移動体制御装置の認知モデルの作成処理の動作を示すフローチャートである。
【図７】実施の形態２に係る移動体制御装置の移動体の制御処理の動作を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、実施の形態１に係る移動体制御装置１００の構成を示すブロック図である。
移動体制御装置１００は、学習用履歴データ取得部１０１、模倣学習部１０２、教師用履歴データ取得部１０３、教師データ生成部１０４、認知学習部（学習部）１０５、センサ情報取得部１０６、認知推論部１０７、制御パラメータ生成部１０８および制御部１０９を備える。
【００１０】
学習用履歴データ取得部１０１は、リスクが存在しない環境下で、学習用移動体を運転させた際に得られる当該学習用移動体の運転履歴データを学習用履歴データとして取得する。リスクは、例えば顕在的なリスク、潜在的リスクおよびその他種々のリスクである。
顕在的なリスクとは、例えば、障害物である。潜在的なリスクとは、例えば、車両が走行する道路への人および自転車等の急な飛び出しによる衝突、および走行路の急カーブでの衝突である。リスクが存在しない環境下とは、例えばシミュレータ環境、または潜在的なリスクを排除した実在するテストコースで取得される。
【００１１】
学習用履歴データは、学習用移動体のセンサ情報と移動体制御パラメータとの組で構成される。
学習用移動体のセンサ情報は、例えば、タイムスタンプに紐付けられた画像データ、ＬｉＤＡＲデータ、ミリ波レーダのデータ、または超音波センサのデータである。学習用移動体のセンサ情報は、種々のセンサ情報を組み合わせて構成してもよい。
移動体制御パラメータは、例えば、学習用移動体のアクセル開度を制御するパラメータ、ブレーキ開度を制御するパラメータおよびハンドル舵角を制御するパラメータである。
学習用履歴データ取得部１０１は、取得した学習用履歴データを模倣学習部１０２に出力する。
【００１２】
模倣学習部１０２は、学習用履歴データ取得部１０１から入力された学習用履歴データを教師データとして、リスクが存在しない環境下における学習用移動体の運転を模倣するための学習を行う。模倣学習部１０２は、当該学習により、模倣学習モデルを作成する。模倣学習部１０２は、作成した模倣学習モデルを教師データ生成部１０４に出力する。模倣学習部１０２における学習アルゴリズムは、教師あり学習および逆強化学習等が適用可能である。なお、学習アルゴリズムは前述したものに限定されるものではない。
【００１３】
教師用履歴データ取得部１０３は、学習用履歴データを取得した環境と同一の環境下で、教師データ生成用移動体を運転させた際に得られる教師データ生成用移動体の運転履歴データを教師用履歴データとして取得する。教師用履歴データは、教師データ生成用移動体のセンサ情報と移動体制御パラメータとの組で構成される。
教師データ生成用移動体のセンサ情報は、例えば、タイムスタンプに紐付けられた画像データ、ＬｉＤＡＲデータ、ミリ波レーダのデータ、または超音波センサのデータである。教師データ生成用移動体のセンサ情報は、種々のセンサ情報を組み合わせて構成してもよい。
移動体制御パラメータは、例えば、教師データ生成用移動体のアクセル開度を制御するパラメータ、ブレーキ開度を制御するパラメータおよびハンドル舵角を制御するパラメータである。
教師用履歴データ取得部１０３は、取得した教師用履歴データを教師データ生成部１０４に出力する。
【００１４】
教師データ生成部１０４は、教師用履歴データ取得部１０３から入力された教師用履歴データを、模倣学習部１０２から入力された模倣学習モデルへの入力とし、教師用履歴データが学習用履歴データと一致しているか推定する。より詳細には、教師データ生成部１０４は、教師用履歴データが学習用履歴データと一致しているかを示す一致度合いを推定する。教師データ生成部１０４は、推定した一致度合いに基づいて、教師用履歴データを構成する教師データ生成用移動体のセンサ情報にリスクに関する識別情報であるラベルを付与する。リスクに関するラベルは、リスクが存在することを示すリスク有ラベル、またはリスクが存在しないことを示すリスク無ラベルである。
【００１５】
教師データ生成部１０４は、教師用履歴データ取得部１０３から入力された教師用履歴データを用いて、リスクに関するラベル以外の認知ラベルを作成する。ここで、認知ラベルとは、他車両の位置情報、従うべき標識情報、信号の色情報および目標車線に対する自車の位置情報を示すラベルである。教師データ生成部１０４は、教師履歴データのセンサ情報と、リスクに関するラベルと、認知ラベルとの組を認知学習部１０５に出力する。
【００１６】
例えば、学習用移動体の運転を模倣するための学習アルゴリズムとして、逆強化学習アルゴリズムの一つであるＧＡＩＬ（Generative Adversarial Imitation Learning）を用いる場合、敵対的学習により、学習用移動体の運転履歴データと見なせる度合いを出力する識別器と、学習用移動体を模倣する行動則を競わせて学習させた結果得られた識別器とを用いて、教師データ生成用移動体の運転履歴データに対して、学習用移動体の運転履歴データと見なせる度合いを推定する。
【００１７】
認知学習部１０５は、教師データ生成部１０４から入力された教師履歴データのセンサ情報と、リスクに関するラベルと、認知ラベルとの組を教師データとして、認知モデルを学習する。認知学習部１０５は、後述するセンサ情報取得部１０６が取得したセンサ情報を入力した場合に、後述する認知推論部１０７において認知結果を推論するための認知モデルを学習する。ここで、認知モデルが推論する認知結果は、少なくとも移動体が移動する際のリスクの有無を示す結果を含む。認知結果は、さらに、他車両の位置情報、従うべき標識情報、信号の色情報および目標車線に対する自車の位置情報を示す結果を含む構成としてもよい。認知学習部１０５は、学習した認知モデルのモデルパラメータを認知推論部１０７に出力する。
【００１８】
センサ情報取得部１０６は、移動体制御装置１００の制御対象である移動体に搭載されたセンサから入力されるセンサ情報を取得する。制御対象の移動体のセンサ情報は、例えば、タイムスタンプに紐付けられた画像データ、ＬｉＤＡＲデータ、ミリ波レーダのデータ、または超音波センサのデータである。制御対象の移動体のセンサ情報は、種々のセンサ情報を組み合わせて構成してもよい。
【００１９】
センサ情報取得部１０６は、取得したセンサ情報を、後述する認知推論部１０７での処理に適したデータ形式に加工する。センサ情報の加工として、フォーマット変換およびデータの整形などが挙げられる。さらに、センサ情報の加工は単純な変換に限定されるものではない。例えば、センサ情報が画像データの場合、セマンティックセグメンテーション処理を施し、画素単位でクラス分類して領域を分割した画像データに変換してもよい。センサ情報取得部１０６は、加工したセンサ情報を認知推論部１０７に出力する。
【００２０】
認知推論部１０７は、認知学習部１０５から入力されたモデルパラメータに基づく認知モデルに、センサ情報取得部１０６が加工した制御対象の移動体のセンサ情報を入力し、認知結果を推論する。認知推論部１０７は、少なくとも制御対象の移動体の移動に伴うリスクの有無を示す認知結果を推論する。また、認知推論部１０７は、他車両の位置情報、従うべき標識情報、信号の色情報および目標車線に対する自車の位置情報を示す認知結果を推論する構成としてもよい。認知推論部１０７は、推論した認知結果を、制御パラメータ生成部１０８に出力する。
【００２１】
制御パラメータ生成部１０８は、認知推論部１０７から入力された認知結果に基づいて、制御対象の移動体の制御パラメータを生成する。制御パラメータ生成部１０８は、例えば、制御対象である移動体のアクセル開度を制御するパラメータ、ブレーキ開度を制御するパラメータおよびハンドル舵角を制御するパラメータを生成する。また、制御パラメータ生成部１０８は、リスク有の認知結果が推論された箇所では、当該リスクを回避する移動体制御パラメータを生成する。制御パラメータ生成部１０８は、生成した移動体制御パラメータを制御部１０９に出力する。
【００２２】
制御部１０９は、制御パラメータ生成部１０８から入力された移動体制御パラメータに基づいて、制御対象である移動体を制御する。
【００２３】
次に、移動体制御装置１００のハードウェア構成例を説明する。
図２Ａおよび図２Ｂは、実施の形態１に係る移動体制御装置１００のハードウェア構成例を示す図である。
移動体制御装置１００における学習用履歴データ取得部１０１、模倣学習部１０２、教師用履歴データ取得部１０３、教師データ生成部１０４、認知学習部１０５、センサ情報取得部１０６、認知推論部１０７、制御パラメータ生成部１０８および制御部１０９の各機能は、処理回路により実現される。即ち、移動体制御装置１００は、上記各機能を実現するための処理回路を備える。当該処理回路は、図２Ａに示すように専用のハードウェアである処理回路１００ａであってもよいし、図２Ｂに示すようにメモリ１００ｃに格納されているプログラムを実行するプロセッサ１００ｂであってもよい。
【００２４】
図２Ａに示すように、学習用履歴データ取得部１０１、模倣学習部１０２、教師用履歴データ取得部１０３、教師データ生成部１０４、認知学習部１０５、センサ情報取得部１０６、認知推論部１０７、制御パラメータ生成部１０８および制御部１０９が専用のハードウェアである場合、処理回路１００ａは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-programmable Gate Array）、またはこれらを組み合わせたものが該当する。学習用履歴データ取得部１０１、模倣学習部１０２、教師用履歴データ取得部１０３、教師データ生成部１０４、認知学習部１０５、センサ情報取得部１０６、認知推論部１０７、制御パラメータ生成部１０８および制御部１０９の各部の機能それぞれを処理回路で実現してもよいし、各部の機能をまとめて１つの処理回路で実現してもよい。
【００２５】
図２Ｂに示すように、学習用履歴データ取得部１０１、模倣学習部１０２、教師用履歴データ取得部１０３、教師データ生成部１０４、認知学習部１０５、センサ情報取得部１０６、認知推論部１０７、制御パラメータ生成部１０８および制御部１０９がプロセッサ１００ｂである場合、各部の機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアはプログラムとして記述され、メモリ１００ｃに格納される。プロセッサ１００ｂは、メモリ１００ｃに記憶されたプログラムを読み出して実行することにより、学習用履歴データ取得部１０１、模倣学習部１０２、教師用履歴データ取得部１０３、教師データ生成部１０４、認知学習部１０５、センサ情報取得部１０６、認知推論部１０７、制御パラメータ生成部１０８および制御部１０９の各機能を実現する。即ち、学習用履歴データ取得部１０１、模倣学習部１０２、教師用履歴データ取得部１０３、教師データ生成部１０４、認知学習部１０５、センサ情報取得部１０６、認知推論部１０７、制御パラメータ生成部１０８および制御部１０９は、プロセッサ１００ｂにより実行されるときに、後述する図３、図４、図６および図７に示す各ステップが結果的に実行されることになるプログラムを格納するためのメモリ１００ｃを備える。また、これらのプログラムは、学習用履歴データ取得部１０１、模倣学習部１０２、教師用履歴データ取得部１０３、教師データ生成部１０４、認知学習部１０５、センサ情報取得部１０６、認知推論部１０７、制御パラメータ生成部１０８および制御部１０９の手順または方法をコンピュータに実行させるものであるともいえる。
【００２６】
ここで、プロセッサ１００ｂとは、例えば、ＣＰＵ（Central Processing Unit）、処理装置、演算装置、プロセッサ、マイクロプロセッサ、マイクロコンピュータ、またはＤＳＰ（Digital Signal Processor）などのことである。
メモリ１００ｃは、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically EPROM）等の不揮発性または揮発性の半導体メモリであってもよいし、ハードディスク、フレキシブルディスク等の磁気ディスクであってもよいし、ミニディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）等の光ディスクであってもよい。
【００２７】
なお、学習用履歴データ取得部１０１、模倣学習部１０２、教師用履歴データ取得部１０３、教師データ生成部１０４、認知学習部１０５、センサ情報取得部１０６、認知推論部１０７、制御パラメータ生成部１０８および制御部１０９の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。このように、移動体制御装置１００における処理回路１００ａは、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現することができる。
【００２８】
次に、移動体制御装置１００の動作について説明する。
移動体制御装置１００の動作は、認知モデルの作成処理と、制御対象の移動体の制御処理とに分けて説明する。
まず、図３を参照しながら、認知モデルの作成処理の動作について説明する。
図３は、実施の形態１に係る移動体制御装置１００の認知モデルの作成処理の動作を示すフローチャートである。
学習用履歴データ取得部１０１は、学習用履歴データを取得し（ステップＳＴ１）、模倣学習部１０２に出力する。模倣学習部１０２は、学習用履歴データ取得部１０１から入力された学習用履歴データを教師データとして、リスクが存在しない環境下における学習用移動体の運転を模倣するための学習を行う（ステップＳＴ２）。模倣学習部１０２は、ステップＳＴ２における学習に基づいて、模倣学習モデルを作成する（ステップＳＴ３）。模倣学習部１０２は、ステップＳＴ３で作成した模倣学習モデルを、教師データ生成部１０４に出力する。
【００２９】
教師用履歴データ取得部１０３は、教師用履歴データを取得し（ステップＳＴ４）、教師データ生成部１０４に出力する。教師データ生成部１０４は、教師用履歴データ取得部１０３から入力された教師用履歴データを、模倣学習部１０２から入力された模倣学習モデルに入力し、教師用履歴データと学習用履歴データとの一致度合いを推定する（ステップＳＴ５）。教師データ生成部１０４は、ステップＳＴ５で推定した一致度合いが閾値以下であるか否か判定を行う（ステップＳＴ６）。
【００３０】
推定した一致度合いが閾値以下である場合（ステップＳＴ６；ＹＥＳ）、教師データ生成用移動体はリスクを考慮した運転状態であると判定し、リスク有ラベルを付与する（ステップＳＴ７）。一方、推定した一致度合いが閾値以下でない場合（ステップＳＴ６；ＮＯ）、教師データ生成用移動体はリスクを考慮した運転状態でないと判定し、リスク無ラベルを付与する（ステップＳＴ８）。教師データ生成部１０４は、教師用履歴データを用いて、認知ラベルを作成する（ステップＳＴ９）。
【００３１】
教師データ生成部１０４は、教師用履歴データのセンサ情報と、ステップＳＴ７またはステップＳＴ８で付与したリスクに関するラベルと、ステップＳＴ９で作成した認知ラベルとの組を認知学習部１０５に出力する。認知学習部１０５は、教師データ生成部１０４から入力された教師用履歴データのセンサ情報、リスクに関するラベル、および認知ラベルの組を教師データとして、認知モデルを学習する（ステップＳＴ１０）。認知学習部１０５は、学習した認知モデルのモデルパラメータを認知推論部１０７に出力し、処理を終了する。
【００３２】
次に、図４を参照しながら、制御対象の移動体の制御処理の動作について説明する。
図４は、実施の形態１に係る移動体制御装置１００の移動体の制御処理の動作を示すフローチャートである。
センサ情報取得部１０６は、制御対象の移動体のセンサ情報を取得し、加工する（ステップＳＴ２１）。センサ情報取得部１０６は、加工したセンサ情報を認知推論部１０７に出力する。認知推論部１０７は、認知学習部１０５から入力されたモデルパラメータに基づく認知モデルに、センサ情報取得部１０６から入力された加工されたセンサ情報を入力し、認知結果を推論する（ステップＳＴ２２）。認知推論部１０７は、推論した認知結果を制御パラメータ生成部１０８に出力する。
【００３３】
制御パラメータ生成部１０８は、認知推論部１０７から入力された認知結果に基づいて、制御対象の移動体の制御パラメータを生成する（ステップＳＴ２３）。制御パラメータ生成部１０８は、生成した制御対象の移動体の制御パラメータを制御部１０９に出力する。制御部１０９は、制御パラメータ生成部１０８から入力された制御パラメータに基づいて、制御対象の移動体を制御する（ステップＳＴ２４）。その後、フローチャートはステップＳＴ２１の処理に戻り、上述した処理を繰り返す。
【００３４】
上記では、教師データ生成部１０４が、推定した一致度合いに基づいて、リスクに関するラベルを付与する構成を示した。教師データ生成部１０４は、さらに、リスク有ラベルを付与した場合にリスクの種別を分類する構成としてもよい。
リスクの種別を分類する場合、教師データ生成部１０４は、リスク有ラベルを付与したセンサ情報を用いて教師なしの学習を行い、リスクを予め設定された種別に分類する。教師データ生成部１０４は、分類したリスクの種別毎に、当該種別を識別可能なラベルを付与する。リスクを分類する種別は、例えば、交差点左折時の衝突、交差点右折時の衝突、交差点直進時の衝突、左側道路脇の障害物からの飛び出しによる衝突、右側道路脇の障害物からの飛び出しによる衝突、および急カーブでの衝突である。なお、上述したリスクを分類する種別は一例であり、種々のリスクを分類すべき種別として設定可能である。
【００３５】
教師データ生成部１０４は、リスク有ラベルを付与し、リスクの種別を分類した場合、教師履歴データのセンサ情報と、リスクの種別を識別可能なラベルと、認知ラベルとの組を認知学習部１０５に出力する。なお、リスク無ラベルを付与した場合、教師データ生成部１０４は、教師履歴データのセンサ情報と、リスク無ラベルと、認知ラベルとの組を認知学習部１０５に出力する。
【００３６】
認知学習部１０５は、教師履歴データのセンサ情報と、リスクの種別を識別可能なラベルと、認知ラベルとの組を教師データとして、リスクの種別に応じた認知結果を推論する認知モデルを学習する。認知推論部１０７は、少なくとも制御対象の移動体の移動に伴うリスクの有無を示す認知結果、およびリスク有の場合にリスクの種別を示す認知結果を推論する。制御パラメータ生成部１０８は、リスクの種別を示す認知結果が入力された場合に、当該リスクの種別に応じた制御パラメータを生成する。
【００３７】
以上のように、この実施の形態１によれば、リスクが存在しない環境下で、学習用移動体を運転させた際に得られる運転履歴データを学習用履歴データとして取得する学習用履歴データ取得部１０１と、学習用履歴データを教師データとして、リスクが存在しない環境下における学習用移動体の運転を模倣する学習を行い、模倣学習モデルを作成する模倣学習部１０２と、学習用履歴データを取得した環境と同一の環境下で、教師データ生成用移動体を運転させた際に得られる運転履歴データを教師用履歴データとして取得する教師用履歴データ取得部１０３と、教師用履歴データを模倣学習モデルへの入力とし、教師用履歴データが学習用履歴データと一致しているか推定し、リスクに関するラベルを付与する教師データ生成部１０４と、少なくともリスクに関するラベルを教師データとして、制御対象の移動体に搭載されたセンサのセンサ情報に基づいて、制御対象の移動体を制御するための結果を推論する認知モデルを学習する認知学習部１０５とを備えるように構成した。
これにより、認知モデルの学習において、潜在的なリスクを含むリスクを判定するための教師データを作成する際の識別情報を付与する作業を省力化することができる。
【００３８】
また、この実施の形態１によれば、認知学習部１０５が教師用履歴データと、リスクに関するラベルとを教師データとして、少なくともリスクの有無を示す結果を含む認知結果を推論する認知モデルを学習するように構成したので、潜在的なリスクを含むリスクの存在の有無について判定可能なモデルを学習することができる。
【００３９】
また、この実施の形態１によれば、認知モデルに、制御対象の移動体のセンサ情報を入力し、少なくとも制御対象の移動体の移動に伴うリスクの有無を示す認知結果を推論する認知推論部１０７と、推論された認知結果に基づいて、制御対象の移動体の制御パラメータを生成する制御パラメータ生成部１０８とを備えるように構成したので、潜在的なリスクを含むリスクの存在の有無について判定を行うことができる。また、潜在的なリスクを含むリスクの存在の有無に基づいた移動体の制御を行うことができる。
【００４０】
また、この実施の形態１によれば、教師データ生成部１０４は、リスクに関するラベルとしてリスクが有ることを示すラベルを付与した教師用履歴データのセンサ情報を用いて、教師なしの学習を行ってリスクを予め設定された種別に分類し、分類したリスクの種別を識別可能なラベルを付与し、認知学習部１０５は、リスクの種別を識別可能なラベルを教師データとして、リスクの種別に応じた認知結果を推論する認知モデルを学習するように構成した。
これにより、リスクの種別に応じた認知結果を推論することができ、リスクの種別に応じた制御パラメータを生成することができる。
【００４１】
実施の形態２．
この実施の形態２では、リスクに注視した移動体の制御パラメータを推論する構成を示す。
図５は、実施の形態２に係る移動体制御装置１００Ａの構成を示すブロック図である。
実施の形態２の移動体制御装置１００Ａは、実施の形態１で示した移動体制御装置１００の認知学習部１０５、認知推論部１０７および制御パラメータ生成部１０８に変えて制御学習部（学習部）１１０および制御推論部１１１を備えて構成している。なお、以下では、実施の形態１に係る移動体制御装置１００の構成要素と同一または相当する部分には、実施の形態１で使用した符号と同一の符号を付して説明を省略または簡略化する。
【００４２】
教師データ生成部１０４は、実施の形態１と同様に教師用履歴データが学習用履歴データと一致しているか推定する。教師データ生成部１０４は、推定した一致度合いに基づいてリスクに関するラベルを付与する。教師データ生成部１０４は、教師履歴データのセンサ情報と、リスクに関するラベルと、教師用履歴データの移動体制御パラメータとの組を制御学習部１１０に出力する。
【００４３】
制御学習部１１０は、教師データ生成部１０４から入力された教師履歴データのセンサ情報と、リスクに関するラベルと、教師用履歴データの移動体制御パラメータとの組を教師データとして、制御モデルを学習する。制御学習部１１０は、センサ情報取得部１０６が取得したセンサ情報を入力した場合に、リスクに関するラベルおよび移動体制御パラメータを推論するための制御モデルを学習する。
【００４４】
制御学習部１１０は、制御モデルの学習において、移動体制御パラメータの推論が主の推論となり、リスクに関するラベルの推論が補助の推論となる。制御学習部１１０は、リスクに関するラベルの推論を補助の推論として設けることにより、リスクに注視した移動体制御パラメータの推論を行う制御モデルを学習することが可能となる。制御学習部１１０は、学習した制御モデルのモデルパラメータを制御推論部１１１に出力する。
【００４５】
センサ情報取得部１０６は、制御対象である移動体に搭載されたセンサから取得したセンサ情報を、後述する制御推論部１１１での処理に適したデータ形式に加工する。
制御推論部１１１は、制御学習部１１０から入力されたモデルパラメータに基づく制御モデルに、センサ情報取得部１０６が加工した制御対象の移動体のセンサ情報を入力する。制御推論部１１１は、リスクに関するラベルおよび制御対象の移動体の制御パラメータを推論する。制御推論部１１１は、推論した制御対象の移動体の制御パラメータを制御部１０９に出力する。
【００４６】
制御部１０９は、制御推論部１１１から入力された制御パラメータに基づいて、制御対象である移動体を制御する。
【００４７】
移動体制御装置１００Ａのハードウェア構成例を説明する。なお、実施の形態１と同一の構成の説明は省略する。移動体制御装置１００Ａにおける制御学習部１１０および制御推論部１１１は、図２Ａで示した処理回路１００ａ、または図２Ｂで示したメモリ１００ｃに格納されるプログラムを実行するプロセッサ１００ｂである。
【００４８】
次に、移動体制御装置１００Ａの動作について説明する。実施の形態１と同様に、移動体制御装置１００Ａの動作は、制御モデルの作成処理と、制御対象の移動体の制御処理とに分けて説明する。
図６および図７は、実施の形態２に係る移動体制御装置１００Ａの動作を示すフローチャートである。図６および図７において、図３および図４で示した実施の形態１のフローチャートと同一のステップには同一の符号を付し、説明を省略する。
【００４９】
図６は、実施の形態２に係る移動体制御装置１００Ａの制御モデルの作成処理の動作を示すフローチャートである。
教師データ生成部１０４は、ステップＳＴ７またはステップＳＴ８においてリスクに関するラベルを付与すると、教師用履歴データのセンサ情報と、リスクに関するラベルと、教師用履歴データの移動体制御パラメータとの組を制御推論部１１１に出力する。制御学習部１１０は、教師データ生成部１０４から入力された教師用履歴データのセンサ情報と、リスクに関するラベルと、教師用履歴データの移動体制御パラメータとの組を教師データとして、制御モデルを学習する（ステップＳＴ３１）。制御学習部１１０は、学習した制御モデルのモデルパラメータを制御推論部１１１に出力し、処理を終了する。
【００５０】
図７は、実施の形態２に係る移動体制御装置１００Ａの移動体の制御処理の動作を示すフローチャートである。
センサ情報取得部１０６は、制御対象の移動体のセンサ情報を取得し、加工する（ステップＳＴ２１）。センサ情報取得部１０６は、加工したセンサ情報を制御推論部１１１に出力する。制御推論部１１１は、制御学習部１１０から入力されたモデルパラメータに基づく制御モデルに、センサ情報取得部１０６から入力された加工されたセンサ情報を入力し、リスクに関するラベルおよび制御対象の移動体の制御パラメータを推論する（ステップＳＴ４１）。制御推論部１１１は、推論した制御対象の移動体の制御パラメータを制御部１０９に出力する。
【００５１】
制御部１０９は、制御推論部１１１から入力された移動体制御パラメータに基づいて、制御対象の移動体を制御する（ステップＳＴ４２）。その後、フローチャートはステップＳＴ２１の処理に戻り、上述した処理を繰り返す。
【００５２】
以上のように、この実施の形態２によれば、リスクが存在しない環境下で、学習用移動体を運転させた際に得られる運転履歴データを学習用履歴データとして取得する学習用履歴データ取得部１０１と、学習用履歴データを教師データとして、リスクが存在しない環境下における学習用移動体の運転を模倣する学習を行い、模倣学習モデルを作成する模倣学習部１０２と、学習用履歴データを取得した環境と同一の環境下で、教師データ生成用移動体を運転させた際に得られる運転履歴データを教師用履歴データとして取得する教師用履歴データ取得部１０３と、教師用履歴データを模倣学習モデルへの入力とし、教師用履歴データが学習用履歴データと一致しているか推定し、リスクに関するラベルを付与する教師データ生成部１０４と、少なくともリスクに関するラベルを教師データとして、制御対象の移動体に搭載されたセンサのセンサ情報に基づいて、制御対象の移動体を制御するための結果を推論する制御モデルを学習する制御学習部１１０とを備えるように構成した。
これにより、制御モデルの学習において、潜在的なリスクを含むリスクを判定するための教師データを作成する際の識別情報を付与する作業を省力化することができる。
【００５３】
また、この実施の形態２によれば、制御学習部１１０が、教師用履歴データと、リスクに関するラベルとを教師データとして、リスクに関するラベルおよび制御対象の移動体の制御パラメータを推論する制御モデルを学習するように構成したので、潜在的なリスクを含むリスクの存在の有無について判定可能なモデルを学習することができ、かつリスクに注視した移動体の制御パラメータの推論を行うことができる。
【００５４】
また、この実施の形態２によれば、制御モデルに、制御対象の移動体のセンサ情報を入力し、リスクに関するラベルおよび制御パラメータを推論する制御推論部１１１を備えるように構成したので、潜在的なリスクを含むリスクの存在の有無について判定を行うことができる。また、潜在的なリスクを含むリスクに注視した移動体の制御を行うことができる。
【００５５】
上記以外にも、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【産業上の利用可能性】
【００５６】
この発明に係る技術は、車両等の移動体の移動を、移動体周囲のリスクを考慮して自動制御する制御システム等に適用するのが好ましい。
【符号の説明】
【００５７】
１００，１００Ａ  移動体制御装置、１０１  学習用履歴データ取得部、１０２  模倣学習部、１０３  教師用履歴データ取得部、１０４  教師データ生成部、１０５  認知学習部、１０６  センサ情報取得部、１０７  認知推論部、１０８  制御パラメータ生成部、１０９  制御部、１１０  制御学習部、１１１  制御推論部。
【図１】
2020183609.tif 000003
【図２】
2020183609.tif 000004
【図３】
2020183609.tif 000005
【図４】
2020183609.tif 000006
【図５】
2020183609.tif 000007
【図６】
2020183609.tif 000008
【図７】
2020183609.tif 000009
【国際調査報告】
2020183609.tif 000010
2020183609.tif 000011
2020183609.tif 000012
2020183609.tif 000013