(57)【要約】【課題】手動運転時の運転操作を基づいて、精度の高い自動運転時の運転操作を実現させるための学習データを生成する。【解決手段】学習データ生成装置は、各種データを記憶する記憶部と、画像を表示可能な表示部と、車両の走行環境に関する情報を取得する走行環境取得部と、車両の操作に関する入力を取得する操作取得部と、走行環境に関する情報と、操作に関する入力と、を対応付けた学習データを生成する制御部と、を備え、制御部は、走行環境取得部により取得された走行環境に関する情報を表示部に表示させ、その際に操作取得部により取得された操作に関する入力と、表示させた走行環境に関する情報と、を対応付けた学習データを生成する。【選択図】図１
2020160513.tif 000002
【特許請求の範囲】
【請求項１】
学習データ生成装置であって、
画像を表示可能な表示部と、
車両の走行環境に関する情報を取得する走行環境取得部と、
前記車両の操作に関する入力を取得する操作取得部と、
前記走行環境に関する情報と、前記操作に関する入力と、を対応付けた学習データを生成する制御部と、を備え、
前記制御部は、
前記走行環境取得部により取得された前記走行環境に関する情報を前記表示部に表示させ、
その際に前記操作取得部により取得された前記操作に関する入力と、表示させた前記走行環境に関する情報と、を対応付けた前記学習データを生成する、学習データ生成装置。
【請求項２】
請求項１に記載の学習データ生成装置であって、
前記制御部は、
前記走行環境取得部により取得された前記走行環境に関する情報を加工した加工データを生成し、
前記加工データを前記表示部に表示させ、
その際に前記操作取得部により取得された前記操作に関する入力と、前記加工データと、を対応付けた前記学習データを生成する、学習データ生成装置。
【請求項３】
請求項２に記載の学習データ生成装置であって、
前記制御部は、前記加工データに加えてさらに、前記加工前の前記走行環境に関する情報を、前記表示部に重畳させて表示させる、学習データ生成装置。
【請求項４】
請求項１から請求項３までのいずれか一項に記載の学習データ生成装置であって、
前記操作取得部は、アクセル、ブレーキ、およびステアリングのうちの少なくとも一つを含む、学習データ生成装置。
【請求項５】
請求項４に記載のデータ生成装置であって、さらに、
前記操作取得部により取得された前記操作に関する入力に応じて、前記車両に発生する加速度のフィードバックを前記車両の運転手に与える加速度発生部を備える、学習データ生成装置。
【請求項６】
請求項１から請求項５までのいずれか一項に記載のデータ生成装置であって、
前記走行環境取得部は、仮想的に構築された前記走行環境下で使用される仮想センサである、学習データ生成装置。
【請求項７】
請求項１から請求項６までのいずれか一項に記載の学習データ生成装置であって、
前記表示部は、外景が視認できない遮蔽型の表示装置である、学習データ生成装置。
【請求項８】
請求項１から請求項７までのいずれか一項に記載のデータ生成装置であって、
前記表示部は、前記車両の運転手の頭部に装着されるＶＲ（Virtual Reality）ヘッドセットである、学習データ生成装置。
【請求項９】
請求項１から請求項８までのいずれか一項に記載の学習データ生成装置であって、さらに、
前記学習データを記憶する記憶部を備える、学習データ生成装置。
【請求項１０】
請求項１から請求項９までのいずれか一項に記載の学習データ生成装置であって、さらに、
地図画像を表す情報を記憶する地図情報記憶部を備え、
前記制御部は、前記走行環境に関する情報に加えてさらに、前記地図画像を表す情報を前記表示部に表示させる、学習データ生成装置。
【請求項１１】
学習データ生成方法であって、
車両の走行環境に関する情報を取得する走行環境取得工程と、
前記取得された前記走行環境に関する情報を表示装置に表示させる表示工程と、
前記車両の操作に関する入力を取得する操作取得工程と、
前記走行環境に関する情報と、前記操作に関する入力と、を対応付けた学習データを生成する学習データ生成工程と、を備え、
前記学習データ生成工程は、前記表示工程の際に前記取得された前記操作に関する入力と、表示させた前記走行環境に関する情報と、を対応付けた前記学習データを生成する、学習データ生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、学習データ生成装置および学習データ生成方法に関する。
【背景技術】
【０００２】
車両の自動運転を支援する自動運転システムにおいて、車載カメラの画像と、手動運転時の運転操作とを関連付けて学習する技術が知られている（例えば、特許文献１参照）。この技術では、例えば、手動運転時の加減速のタイミングと、加減速時の車載カメラの画像とを関連付けることにより、自動走行時に、車載カメラの画像に基づいて手動運転時に似せた加減速の制御が行われる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−２９７８１７号公報
【特許文献２】国際公開第２０１８／００２９１０号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載された技術では、手動運転時に運転手は、自身が視認する走行環境を判断材料として運転操作を行っているにもかかわらず、運転手の視認画像の代わりとしての車載カメラの画像が用いられている。視認画像と、車載カメラの画像とは、必ずしも一致しないため、車載カメラの画像と、手動運転時の運転操作とを対応付けた学習データを用いて自動運転を行うと、手動運転時の運転操作と大きく異なるおそれがある。また、自動車の走行環境を検出する手段として、例えば、車載カメラ以外のＬＩＤＡＲ（Light Detection and Ranging）などを用いた場合、検出手段に応じて検出できる情報の種類や情報の精度が異なってくる。そのため、運転手が視認によって得られる情報が検出手段により検出される情報と異なる場合があり、自動運転時の運転操作と、手動運転時の運転操作とが更に異なるおそれがある。
【０００５】
特許文献２には、検出手段としての仮想センサが開示されている。この仮想センサは、構築された三次元仮想空間内で、様々な視点位置から画像データや距離データを取得する。しかしながら、特許文献２には、仮想センサが取得した画像データおよび距離データを自動運転システムに利用することについては何ら開示されていない。
【０００６】
本発明は、上述した課題を解決するためになされたものであり、手動運転時の運転操作を基づいて、精度の高い自動運転時の運転操作を実現させるための学習データを生成することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、上述の課題を解決するためになされたものであり、以下の形態として実現できる。
【０００８】
（１）本発明の一形態によれば、学習データ生成装置が提供される。この学習データ生成装置は、画像を表示可能な表示部と、車両の走行環境に関する情報を取得する走行環境取得部と、前記車両の操作に関する入力を取得する操作取得部と、前記走行環境に関する情報と、前記操作に関する入力と、を対応付けた学習データを生成する制御部と、を備え、前記制御部は、前記走行環境取得部により取得された前記走行環境に関する情報を前記表示部に表示させ、その際に前記操作取得部により取得された前記操作に関する入力と、表示させた前記走行環境に関する情報と、を対応付けた前記学習データを生成する。
【０００９】
この構成によれば、制御部により生成される学習データは、走行環境取得部により取得された走行環境に関する情報を運転手に視認させた状態で、操作取得部が取得した入力と、走行環境に関する情報とを対応付けたデータである。そのため、この学習データは、車両の運転手が視認した走行環境と、操作取得部により取得された入力とを対応付けた従来の学習データとは異なる。操作取得部により取得される入力は、走行環境取得部により取得された走行環境に関する情報を視認した運転手の入力である。すなわち、本構成の学習データには、運転手が実際に視認する走行環境と、走行環境取得部により取得される走行環境の情報との相違が含まれない。これにより、この相違によって生じる走行環境の情報に対応付けられる入力の曖昧さが軽減される。そのため、本構成の学習データを用いることにより、自動運転の学習を行いやすくなる。
【００１０】
（２）上記態様の学習データ生成装置において、前記制御部は、前記走行環境取得部により取得された前記走行環境に関する情報を加工した加工データを生成し、前記加工データを前記表示部に表示させ、その際に前記操作取得部により取得された前記操作に関する入力と、前記加工データと、を対応付けた前記学習データを生成してもよい。
走行環境取得部は、走行環境の画像を取得する画像取得部ではなく、物体検出などを行う他のモジュールによって構成される場合がある。この構成によれば、運転手が視認するような走行環境の画像が得られない場合に、他のモジュールの検出結果が加工データとして表示部に表示される。これにより、走行環境取得部により取得された走行環境に基づく加工データと、当該加工データとを視認した運転手の操作入力とを対応付けた学習データが生成される。そのため、運転手が実際に視認する走行環境と、走行環境取得部により取得される走行環境の情報との相違が含まれず、走行環境の情報に対応付けられる入力の曖昧さが軽減される。
【００１１】
（３）上記態様の学習データ生成装置において、前記制御部は、前記加工データに加えてさらに、前記加工前の前記走行環境に関する情報を、前記表示部に重畳させて表示させてもよい。
この構成によれば、例えば、走行環境取得部により取得された走行環境に関する情報が不明瞭だった場合に、当該情報を加工データによって補完することにより、実際に取得された情報よりも明瞭な走行環境に関する情報を運転手に視認させることができる。
【００１２】
（４）上記態様の学習データ生成装置において、前記操作取得部は、アクセル、ブレーキ、およびステアリングのうちの少なくとも一つを含んでもよい。
この構成によれば、運転手が行う基本的な運転操作に対応できる。
【００１３】
（５）上記態様の学習データ生成装置において、さらに、前記操作取得部により取得された前記操作に関する入力に応じて、前記車両に発生する加速度のフィードバックを前記車両の運転手に与える加速度発生部を備えてもよい。
この構成によれば、実際に当該学習データ生成装置を搭載した車両が、実際の道路等を走行していない仮想シミュレータであっても、運転時に運転手が実際に体感する加速度を、運転手に与えることができる。これにより、実際の道路を走行した場合の入力により近い入力を取得できる。
【００１４】
（６）上記態様の学習データ生成装置において、前記走行環境取得部は、仮想的に構築された前記走行環境下で使用される仮想センサであってもよい。
実際のセンサではなく、仮想センサを用いることにより、仮想センサの取付位置の変更および仮想センサ自体の変更を容易にできる。これにより、ニーズに応じた学習データを生成できる。
【００１５】
（７）上記態様の学習データ生成装置において、前記表示部は、外景が視認できない遮蔽型の表示装置であってもよい。
この構成によれば、運転手に、走行環境取得部により取得された走行環境に関する情報以外を視認させずに済む。これにより、運転手が実際に視認する走行環境と、走行環境取得部により取得される走行環境の情報との相違を完全に排除できる。そのため、この相違によって生じる走行環境の情報に対応付けられる入力の曖昧さが排除される。
【００１６】
（８）上記態様の学習データ生成装置において、前記表示部は、前記車両の運転手の頭部に装着されるＶＲ（Virtual Reality）ヘッドセットであってもよい。
この構成によれば、ＶＲヘッドセットを用いた簡単な装置によって、運転手に走行環境取得部により取得される走行環境の情報を視認させることができる。
【００１７】
（９）上記形態の学習データ生成装置において、さらに、前記学習データを記憶する記憶部を備えてもよい。
この構成によれば、学習データを記憶した記憶部を用いることにより、どのような装置でも当該学習データを用いた学習を実施できる。
【００１８】
（１０）上記形態の学習データ生成装置において、さらに、地図画像を表す情報を記憶する地図情報記憶部を備え、前記制御部は、前記走行環境に関する情報に加えてさらに、前記地図画像を表す情報を前記表示部に表示させてもよい。
この構成によれば、運転手は、走行環境の情報として、経路情報を視認して確認できるため、より付加価値の高い学習データを生成できる。
【００１９】
（１１）本発明の他の一態様によれば、学習データ生成方法が提供される。この学習データ生成方法は、車両の走行環境に関する情報を取得する走行環境取得工程と、前記取得された前記走行環境に関する情報を表示装置に表示させる表示工程と、前記車両の操作に関する入力を取得する操作取得工程と、前記走行環境に関する情報と、前記操作に関する入力と、を対応付けた学習データを生成する学習データ生成工程と、を備え、前記学習データ生成工程は、前記表示工程の際に前記取得された前記操作に関する入力と、表示させた前記走行環境に関する情報と、を対応付けた前記学習データを生成する。
この構成によれば、学習データは、取得された走行環境に関する情報を運転手に視認させた状態で、取得された入力と、走行環境に関する情報とを対応付けたデータである。そのため、本構成により生成される学習データには、運転手が実際に視認する走行環境と、取得される走行環境の情報との相違が含まれない。これにより、この相違によって生じる走行環境の情報に対応付けられる入力の曖昧さが軽減される。そのため、本構成により生成された学習データを用いることにより、自動運転の学習を行いやすくなる。
【００２０】
なお、本発明は、種々の態様で実現することが可能であり、例えば、学習データ生成装置、制御装置、およびこれらの装置を備える車両および自動運転システム、および学習データ生成方法、これら装置や方法を実行するためのコンピュータプログラム、このコンピュータプログラムを配布するためのサーバ装置、コンピュータプログラムを記憶した一時的でない記憶媒体等の形態で実現することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の第１実施形態としての学習データ生成装置としてのシミュレータシステムの概略図である。
【図２】ＶＲヘッドセットを装着していない場合に運転手が視認する走行環境の一例である。
【図３】図２と同じ走行環境を車両が走行している場合にＶＲヘッドセットに表示される表示画像の一例である。
【図４】第１実施形態の学習データ生成方法のフローチャートである。
【図５】学習データが生成されるまでの各種データの変化を表す概略ブロック図である。
【図６】比較例の学習データが生成されるまでの各種データの変化を表す概略ブロック図である。
【図７】第２実施形態のシミュレータシステムにおいて運転手が視認する表示画像の一例である。
【発明を実施するための形態】
【００２２】
＜第１実施形態＞
図１は、本発明の第１実施形態としての学習データ生成装置としてのシミュレータシステム１の概略図である。シミュレータシステム（学習データ生成装置）１は、車両が仮想的に構築された走行環境を走行し、走行中の運転手の運転操作を取得するシステムである。仮想的に構築された走行環境を、以下では「仮想環境」とも呼ぶ。シミュレータシステム１は、取得した運転操作の情報を元に、自動運転を学習するための学習データを蓄積する。シミュレータシステム１は、図１に示されるように、運転手の頭部に装着されて運転手に画像を視認させるＶＲ（Virtual Reality）ヘッドセット（表示部）２と、アクセルペダル６およびブレーキペダル７と、ハンドル８と、運転手が着座する座席シート９と、各種制御を実行する制御装置１００と、を備えている。
【００２３】
ＶＲヘッドセット２は、制御装置１００から送信される画像データに基づき画像を表示する。表示画像は、ＶＲヘッドセット２が人の頭部に装着された状態で、装着した人の眼前に表示される。第１実施形態のＶＲヘッドセット２は、装着者に外景を視認させない遮蔽型の表示装置である。アクセルペダル６は、運転手の踏込量に応じて、仮想環境下で車両を加速させる装置である。一方、ブレーキペダル７は、運転手の踏込量に応じて、仮想環境下で車両を減速させる装置である。なお、図１の側面視では、アクセルペダル６と、ブレーキペダル７とが重なって示されている。図１に示されるのはブレーキペダル７であり、紙面奥側にブレーキペダル７とは異なるアクセルペダル６が配置されている。ハンドル８は、運転手の操作による回転角度に応じて、仮想環境下で車両の操舵角を変化させる装置である。なお、アクセルペダル６，ブレーキペダル７，およびハンドル８は、アクセルペダル６及びブレーキペダル７の踏込量、ハンドル８の車両の操舵角といった、操作に関する入力を取得する操作取得部として機能し、以降では、これら３つを合わせて操作取得部６〜８とも呼ぶ。座席シート９の内部には、着座した運転手に対して力を加える装置が配置されている。この装置は、アクセルペダル６，ブレーキペダル７，およびハンドル８の操作に応じて実際の車両で発生する加速度を運転手へと加える。
【００２４】
制御装置１００は、図１に示されるように、ＣＰＵ（Central Proccesing Unit）１０と、ＲＯＭ（Read Only Memory）２０と、ＲＡＭ（Random Access Memory）３０と、仮想センサ４０と、記憶部５０とを備えている。記憶部５０は、ハードディスクドライブ（ＨＤＤ：Hard Disk Drive）などで構成されている。仮想センサ４０は、仮想環境に関する情報を取得する走行環境取得部として機能する。仮想センサ４０の種類および仮想センサ４０の取付位置は、自由に設定できる。なお、以降では、走行環境に関する情報を、単に「走行環境の情報」とも呼ぶ。
【００２５】
第１実施形態では、図１に示されるように、仮想センサ４０は、車両の前方を撮影する２つの車載カメラ４１，４２と、ＬＩＤＡＲ（Light Detection and Ranging）４３とを備えている。車載カメラ４１，４２は、左右のサイドミラーのそれぞれに取り付けられた設定である。ＬＩＤＡＲ４３は、車両における前方のバンパーに取り付けられた設定である。ＬＩＤＡＲ４３は、仮想環境下で光検出を行うことにより、車両の前方にある対象までの距離や対象の性質を取得する。
【００２６】
記憶部５０は、地図画像を表す地図情報を記憶している地図データベース（地図情報記憶部）５１と、学習データ生成装置により生成された学習データであって、自動運転を学習するために用いられる学習データを記憶する学習データベース（学習ＤＢ）５２とを備えている。学習データの詳細については、後述する。
【００２７】
ＣＰＵ１０は、ＲＯＭ２０に記憶された各種プログラムを、ＲＡＭ３０に展開することにより実行する。ＣＰＵ１０は、他の装置などと情報を無線通信する通信部１１と、操作取得部６〜８が受け付けた入力により仮想環境下で走行する車両に発生する加速度を算出する加速度算出部１２と、仮想センサ４０により取得された走行環境の情報に基づいてＶＲヘッドセット２に画像を表示させる画像処理部１３と、学習データを生成して学習ＤＢ５２に記憶させるデータ生成部１４との機能を実行する。
【００２８】
通信部１１は、他の装置と情報を送受信することにより、例えば、新たな地図情報を取得する。学習ＤＢ５２がネットワーク上のサーバ装置に置かれている場合、通信部１１は、学習データをサーバ装置へと送信してもよい。加速度算出部１２は、車両に発生する加速度を算出し、算出された加速度に基づく力の情報を座席シート９に送信する。力の情報を受信した座席シート９は、振動等をすることにより、座席シート９に座っている運転手に加速度のフィードバックを与える。なお、座席シート９および加速度算出部１２は、加速度発生部として機能している。
【００２９】
画像処理部１３は、仮想センサ４０により取得された走行環境の情報と、地図ＤＢ５１に記憶された地図画像とを用いて、ＶＲヘッドセット２に画像を表示させる。また、画像処理部１３は、仮想センサ４０により取得された走行環境の情報を加工した加工データを作成した物標画像を生成し、当該物標画像もＶＲヘッドセット２に表示させる。物標画像としては、例えば、仮想センサ４０が検出したデータ量よりも小さい画像や簡略化された画像である。これらの物標画像として、歩行者および他の車両を、ボックス状のポリゴンとして表現した画像が挙げられる。一方で、画像処理部１３は、仮想センサ４０により取得された情報に、加工データに基づく物標画像を重畳させる場合もある。このような場合として、例えば、目的地となる建物の一部の画像が仮想センサ４０により取得されている場合に、画像処理部１３は、地図ＤＢ５１から取得した当該建物の他の部分の画像を、仮想センサ４０により取得された画像情報に重畳させる。画像処理部１３は、仮想センサ４０である車載カメラ４１，４２およびＬＩＤＡＲ４３のそれぞれの位置の情報を取得する。画像処理部１３は、仮想センサ４０の位置情報を用いて、仮想センサ４０により取得される走行環境の画像の表示位置を、ＶＲヘッドセット２が画像を表示可能な領域において決定する。
【００３０】
図２は、ＶＲヘッドセット２を装着していない場合に運転手が視認する走行環境ＤＥの一例である。図３は、図２と同じ走行環境ＤＥを車両が走行している場合にＶＲヘッドセット２に表示される表示画像ＩＭ０の一例である。図２に示される走行環境ＤＥでは、自車の前を走行する他の車両ＣＡ１と、自車の左の車線を走行する他の車両ＣＡ２とが存在している。そして、自車の左の車線と、歩道とを分けるガードレールＧＲが存在している。このような走行環境ＤＥが仮想センサ４０により取得されると、図３に示される表示画像ＩＭ０がＶＲヘッドセット２に表示される。
【００３１】
図３に示される表示画像ＩＭ０は、車載カメラ４１により撮像された取得画像ＩＭ３と、車載カメラ４２により撮像された取得画像ＩＭ４と、ＬＩＤＡＲ４３により取得された取得画像ＩＭ５と、車両の経路案内をする経路案内画像ＩＭ２とが組み合わされた画像である。図３に示されるように、取得画像ＩＭ３〜ＩＭ５および経路案内画像ＩＭ２の一部は、重複して表示されている。なお重複している部分について、取得画像ＩＭ３は、実線および一点鎖線で示される矩形状内部の画像である。同じように、取得画像ＩＭ４は、実線および二点鎖線で示される矩形状内部の画像である。取得画像ＩＭ５は、実線および破線で示される矩形状内部の画像である。経路案内画像ＩＭ２は、実線および点線で示される矩形状内部の画像である。なお、境界領域を表す一点鎖線、二点鎖線、破線、および沿線は、図３に便宜上示されているだけであり、運転手には視認されない線である。
【００３２】
図３に示されるように、図２の他の車両ＣＡ１，ＣＡ２のそれぞれは、加工データとしての物標画像ＴＲ１，ＴＲ２として簡略化した直方体形状で表現されている。また、図３では、図２のガードレールＧＲは、単なる直線の物標画像ＴＲ３として表現されている。経路案内画像ＩＭ２は、地図ＤＢ５１の地図画像を基に画像処理部１３により生成された画像である。経路案内画像ＩＭ２は、予め設定された車両の経路案内に沿って、車両の進行方向を示唆する画像である。このように、第１実施形態の画像処理部１３は、走行環境ＤＥに関連する地図情報を加工データとする経路案内画像ＩＭ２を、ＶＲヘッドセット２に表示された取得画像ＩＭ３〜ＩＭ５に重畳させて表示させる。第１実施形態では、シミュレータシステム１を用いて仮想環境下で車両を運転する運転手は、図２に示される走行環境ＤＥの代わりに、ＶＲヘッドセット２に表示される図３の表示画像ＩＭ０を視認して運転する。
【００３３】
データ生成部１４は、画像処理部１３によりＶＲヘッドセット２に表示画像ＩＭ０が表示されている状態で、操作取得部６〜８により取得された運転操作と、表示画像ＩＭ０と、を対応付けた学習データを生成する。このとき、データ生成部１４は、例えば、ある時刻ｔ０における表示画像ＩＭ０と、当該表示画像ＩＭ０に対応して、時刻ｔ０においてなされた運転操作とを対応付ける。このため、学習データは、時系列に沿ってＶＲヘッドセット２の表示画像ＩＭ０と、その際に操作取得部６〜８により取得された運転操作とを対応付けたデータである。データ生成部１４は、生成した学習データを学習ＤＢ５２に記憶させる。そのため、画像処理部１３およびデータ生成部１４は、制御部として機能している。なお、以降では、表示画像ＩＭ０に、操作取得部６〜８により取得された運転操作が対応付けられた学習データとしての画像を「ラベル付きデータ」とも呼ぶ。
【００３４】
図４は、第１実施形態の学習データ生成方法のフローチャートである。図５は、学習データが生成されるまでの各種データの変化を表す概略ブロック図である。図４に示されるように学習データ生成方法では、初めに、仮想センサ４０が仮想環境の情報を取得する走行環境取得工程を行う（ステップＳ１）。次に、画像処理部１３は、取得された走行環境ＤＥの情報を用いて表示画像ＩＭ０を生成して、処理後の画像データに基づく表示画像ＩＭ０をＶＲヘッドセット２に表示する表示工程を行う（ステップＳ２）。なお、第１実施形態の画像処理部１３は、走行環境ＤＥの情報を用いて物標画像などを生成する画像処理を行ったが、他の実施形態では、図５の破線で示されるように、仮想センサ４０により取得された走行環境ＤＥの情報そのものである処理前のデータが、ＶＲヘッドセット２に表示されてもよい。
【００３５】
図４のステップＳ２が行われると、操作取得部６〜８は、運転手の運転操作に関する入力を取得する操作取得工程を行う（ステップＳ３）。データ生成部１４は、走行環境ＤＥの情報としての表示画像ＩＭ０と、表示画像ＩＭ０が表示されている際に取得された運転操作とを対応付けたラベル付きデータを生成する学習データ生成工程を行い（ステップＳ４）、学習データ生成方法は終了する。なお、図５の破線で示されるように、処理前データがＶＲヘッドセット２に表示された場合には、データ生成部１４は、処理前データと、処理前データの表示によって入力された運転操作とを対応付けたラベル付きデータを生成する。
【００３６】
図６は、比較例の学習データが生成されるまでの各種データの変化を表す概略ブロック図である。図６に示されるように、比較例では、走行環境ＤＥの情報が仮想センサ４０に取得されることに加えて、運転手が走行環境ＤＥそのものを視認する。これにより、比較例では、運転手は、本実施形態のような画像処理部１３により生成された表示画像ＩＭ０ではなく、図２に示される走行環境ＤＥを視認する。操作取得部６〜８は、実際の走行環境ＤＥを視認しながら運転手によって入力される運転操作を取得する。取得された運転操作と、仮想センサ４０により取得された走行環境ＤＥの情報とを対応付けたラベル付きデータが生成される。
【００３７】
以上説明したように、第１実施形態のシミュレータシステム１では、画像処理部１３が、仮想センサ４０により取得された走行環境ＤＥの情報を、表示画像ＩＭ０としてＶＲヘッドセット２に表示させる。データ生成部１４は、表示画像ＩＭ０がＶＲヘッドセット２に表示されている状態で、操作取得部６〜８により取得された運転操作と、仮想センサ４０により取得された走行環境ＤＥの情報とを対応付けた学習データを生成する。そのため、第１実施形態のシミュレータシステム１では、運転手が直接視認する走行環境ＤＥそのものの代わりに、仮想センサ４０により取得された走行環境ＤＥに基づく表示画像ＩＭ０を視認している運転手の運転操作を、操作取得部６〜８が取得する。これにより、データ生成部１４により生成される学習データには、表示画像ＩＭ０を視認して運転した運転手の運転操作が対応付けられる。そのため、第１実施形態の学習データには、運転手が実際に視認する走行環境ＤＥと、仮想センサ４０により取得された走行環境ＤＥに関する情報との相違が含まれない。これにより、この相違によって生じる走行環境ＤＥの情報に対応付けられる運転操作の曖昧さが軽減される。よって、第１実施形態の学習データを用いることにより、自動運転の学習を行いやすくなる。
【００３８】
また、第１実施形態のシミュレータシステム１では、画像処理部１３は、仮想センサ４０により取得された走行環境ＤＥの情報に、加工データに基づく物標画像を重畳させる場合もある。そのため、第１実施形態のシミュレータシステム１では、例えば、仮想センサ４０により取得された情報が不明瞭だった場合に、当該情報を物標画像によって補完する。これにより、ＶＲヘッドセット２は、仮想センサ４０により取得された走行環境ＤＥの情報よりもより明瞭な情報を運転手に視認させることができる。
【００３９】
また、第１実施形態のシミュレータシステム１では、操作取得部６〜８は、アクセルペダル６、ブレーキペダル７、および操舵角を変化させるハンドル８を含んでいる。これにより、データ生成部１４は、運転手が行う基本的な運転操作に対応した学習データを生成できる。
【００４０】
また、第１実施形態のシミュレータシステム１では、加速度算出部１２は、運転操作に関連する操作取得部６〜８の入力に応じて、車両の座席シート９に発生する加速度を算出する。加速度算出部１２は、算出した加速度に応じた力を座席シート９に発生させる。すなわち、加速度算出部１２および座席シート９は、運転手へと加速度をフィードバックさせる。そのため、第１実施形態のシミュレータシステム１を用いたシミュレートにおいて、車両が実際に道路等を走行していない場合であっても、車両が実際に道路等を走行した場合に運転手が体感する加速度を与えることができる。これにより、操作取得部６〜８は、より現実に近い運転操作を取得できるため、精度の高い学習データが生成される。
【００４１】
また、第１実施形態のシミュレータシステム１に用いられる走行環境取得部としての仮想センサ４０は、車両における取付位置およびセンサの変更を容易にできる。これにより、取得したいデータに応じた学習データが生成される。
【００４２】
また、第１実施形態のシミュレータシステム１に用いられたＶＲヘッドセット２は、使用者が外景を視認できない遮蔽型の表示装置である。そのため、実際の走行環境ＤＥを運転手に視認させずに済む。そのため、運転手が実際に視認する走行環境ＤＥと、仮想センサ４０により取得される走行環境ＤＥの情報との相違を完全に排除できる。これにより、この相違によって生じる走行環境ＤＥの情報に対応付けられるレベルの曖昧さが排除される。また、第１実施形態のシミュレータシステム１では、ＶＲヘッドセット２を用いた簡単な装置によって、仮想センサ４０が取得した走行環境ＤＥの情報を視認させることができる。
【００４３】
また、第１実施形態のシミュレータシステム１では、画像処理部１３は、走行環境ＤＥに関連する情報として、地図ＤＢ５１の地図情報に基づく経路案内画像ＩＭ２をＶＲヘッドセット２に表示させる。そのため、第１実施形態のシミュレータシステム１を用いると、運転手は、走行環境ＤＥの情報としての経路情報を視認できる。これにより、データ生成部１４は、より付加価値の高い学習データを生成できる。
【００４４】
＜第２実施形態＞
図７は、第２実施形態のシミュレータシステム１ａにおいて運転手が視認する表示画像ＩＭ１０の一例である。第２実施形態のシミュレータシステム１は、第１実施形態のシミュレータシステム１と比較して、ＶＲヘッドセット２の代わりに４つのモニタＭＴ１〜ＭＴ４が画像を表示すること、仮想センサ４０よりも多くの仮想センサを備えること、および、画像処理部１３ａが鳥瞰図ＩＭ６をモニタＭＴ４に表示させることが異なる。そのため、第２実施形態では、第１実施形態と異なる構成および制御について説明し、その他の説明を省略する。
【００４５】
第２実施形態の仮想センサ４０ａは、第１実施形態の仮想センサ４０に加えて、車両の側方の走行環境を取得する車載カメラおよびＬＩＤＡＲを備えている。第２実施形態の画像処理部１３ａは、仮想センサ４０ａにより取得された走行環境の情報を用いて、図７に示されるように、表示画像ＩＭ１０として、第１実施形態と同じ取得画像ＩＭ３〜ＩＭ５のそれぞれをモニタＭＴ１〜ＭＴ３に表示させる。また、画像処理部１３ａは、図７に示されるような鳥瞰図ＩＭ６を生成し、モニタＭＴ４に表示させる。画像処理部１３ａは、仮想センサ４０ａに含まれる複数のセンサが取得した情報を統合して、車両の情報から見た鳥瞰図ＩＭ６を生成する。
【００４６】
鳥瞰図ＩＭ６には、３つの物標画像ＴＲ１，ＴＲ２，ＴＲ４と、鳥瞰図ＩＭ６の画像説明ＩＸとが示されている。なお、鳥瞰図ＩＭ６においてハッチングで示されている矩形状が自車の車両である。また、鳥瞰図ＩＭ６には、３つの物標画像ＴＲ１，ＴＲ２，ＴＲ４がどのような物標であるのかを表す注釈ＡＮ１，ＡＮ２，ＡＮ４が示されている。画像処理部１３ａは、予め記憶しておいた車両の形状およびバイクの形状を用いたパターンマッチングを行うことにより、仮想センサ４０ａにより取得された車両およびバイクの形状を特定している。鳥瞰図ＩＭ６には、自動車である物標画像ＴＲ１，ＴＲ２について、「Ｖｅｈｉｃｌｅ」を表す注釈ＡＮ１，ＡＮ２が吹き出しで表されている。また、バイクの物標画像ＴＲ４には、「Ｂｉｋｅ」を表す注釈ＡＮ４が吹き出しで表されている。
【００４７】
以上説明したように、運転手に表示画像ＩＭ１０を視認させるための表示装置は、第１実施形態のＶＲヘッドセット２に限られず、複数のモニタＭＴ１〜ＭＴ４であってもよい。他の実施形態では、１枚のモニタに、複数のセンサによって取得された走行環境ＤＥの情報が画像として表示されてもよい。また、第２実施形態の鳥瞰図ＩＭ６のように、画像処理部１３ａは、どのような視点から見た図であるかの説明を加工データとしてモニタＭＴ４に表示させてもよい。同じように、画像処理部１３ａは、物標画像ＴＲ１，ＴＲ２，ＴＲ４のそれぞれの注釈ＡＮ１，ＡＮ２，ＡＮ４を加工データとしてモニタＭＴ４に表示させてもよい。
【００４８】
＜本実施形態の変形例＞
本発明は上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
【００４９】
［変形例１］
上記第１実施形態および第２実施形態のシミュレータシステム１，１ａは、学習データ生成装置の一例であって、学習データ生成装置の態様については、種々変形可能である。シミュレータシステム１，１ａは、走行環境ＤＥの情報を取得する少なくとも１つのセンサと、運転手の運転操作を受け付ける少なくとも１つの操作取得部と、走行環境ＤＥの画像を表示する表示部と、表示部に走行環境ＤＥの情報を表示させる画像処理部（制御部）と、学習データを生成して学習ＤＢ５２に記憶させるデータ生成部（制御部）とを備えていればよい。そのため、シミュレータシステム１，１ａは、通信部１１、加速度算出部１２、地図ＤＢ５１、および座席シート９を備えていなくてもよい。学習データ生成装置として、例えば、実際の車両を運転手が手動運転している際に、車両に搭載されている車載カメラやＬＩＤＡＲが取得した情報を記憶し、記憶した情報をシミュレータシステム１，１ａで用いてもよい。また、学習データ生成装置は、実際の車両がテストコースを走行している場合に、運転手に実際の走行環境ＤＥを視認させない状態にして、かつ、車載カメラ等が取得した走行環境ＤＥの情報のみを運転手に視認させてもよい。
【００５０】
第１実施形態のＶＲヘッドセット２は、遮蔽型であってもよく、透過型であってもよい。また、第２実施形態のモニタＭＴ１〜ＭＴ４は、透過型であってもよく、透過型と遮蔽型とが混在していてもよい。第２実施形態のモニタＭＴ１〜ＭＴ４の位置は、仮想センサ４０ａの位置に応じて変化してもよい。第１実施形態のＶＲヘッドセット２および第２実施形態のモニタＭＴ１〜Ｍ４は、仮想センサ４０，４０ａにより取得された走行環境の情報と、当該情報に対して画像処理が行われた処理後の画像とを並列に表示してもよい。また、第１実施形態のＶＲヘッドセット２および第２実施形態のモニタＭＴ１〜Ｍ４は、地図ＤＢ５１の地図画像を用いて、車両の目的地までの経路情報を表す画像を表示してもよい。走行環境ＤＥを取得するセンサは、仮想センサ４０，４０ａであってもよいし、実際の車載カメラ等のセンサであってもよい。センサの数は、１つであってもよいし、２つ以上であってもよく、複数の種類のセンサが組み合わされてもよい。操作取得部は、アクセルペダル６、ブレーキペダル７、およびハンドル８以外の入力を受け付ける装置であってもよい。座席シート９は、必ずしも車両の加速度を運転手にフィードバックしなくてもよく、衝突時の警告を運転手に認識させるような装置が組み込まれていてもよい。
【００５１】
上記第１実施形態および第２実施形態における画像処理部１３，１３ａおよびデータ生成部１４については、種々変形可能である。画像処理部１３，１３ａと、データ生成部１４とが、例えば、「制御部」のような１つの構成として形成されていてもよい。画像処理部１３，１３ａは、仮想センサ４０，４０ａにより取得された走行環境ＤＥの情報を、必ずしも加工しなくてもよい。画像処理部１３，１３ａは、物標画像ＴＲ１〜ＴＲ４を生成しなくてもよいし、地図ＤＢ５１の地図画像をＶＲヘッドセット２やモニタＭＴ１〜ＭＴ４に表示させなくてもよい。画像処理部１３，１３ａは、全てのモニタＭＴ１〜ＭＴ４ではなく、一部のモニタＭＴ１，ＭＴ２を用いて走行環境ＤＥの情報を表示してもよい。また、データ生成部１４は、画像処理部１３，１３ａにより物標画像ＴＲ１〜ＴＲ４が作成された場合に、仮想センサ４０，４０ａにより取得された走行環境ＤＥの情報に画像処理を行った表示画像ＩＭ０，ＩＭ１０と、操作取得部６〜８により取得された運転操作とを対応付けた学習データを生成してもよい。
【００５２】
［変形例２］
上記第１実施形態および上記第２実施形態のシミュレータシステム１，１ａにより生成された学習データの利用については、周知の技術を適用できる。自動運転システムを構築する際には、学習データを教師あり学習に用いてもよい。さらに、手動運転をアシストする運転支援システムに学習データを用いる場合には、運転手の手動運転が学習データに基づく自動運転に対して極端に異なる際に、運転手に対して警告を促すように用いられてもよい。
【００５３】
上記第１実施形態および上記第２実施形態の仮想センサ４０，４０ａは、車両の走行環境を画像として取得する車載カメラを有していたが、仮想センサ４０，４０ａは、画像を取得する車載カメラのような画像センサを有していなくてもよい。この場合に、変形例の走行環境を取得する走行環境取得部は、運転手が視認するような走行環境の画像とは異なる走行環境に関する情報を取得する。変形例の画像処理部は、取得された走行環境の情報を、例えば、物標画像ＴＲ１〜ＴＲ４のように加工した加工データとしてＶＲヘッドセット２などの表示部に表示する。操作取得部は、走行環境の画像ではなく加工データを視認している運転手の操作入力を取得する。データ生成部は、加工データと、加工データを視認した運転手の操作入力とを対応付けた学習データを生成する。これにより、画像センサ以外のセンサの検出結果にも対応した加工データと、当該加工データとに基づいた操作入力とを対応付けた学習データが生成されるため、様々なセンサに対応した学習データを生成できる。これにより、データ生成部は、センサにより取得された走行環境の情報と、当該情報に基づいて入力された運転手の操作とが正しく対応した学習データを生成できる。
【００５４】
以上、実施形態、変形例に基づき本態様について説明してきたが、上記した態様の実施の形態は、本態様の理解を容易にするためのものであり、本態様を限定するものではない。本態様は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本態様にはその等価物が含まれる。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することができる。
【符号の説明】
【００５５】
１，１ａ…シミュレータシステム（学習データ生成装置）
２…ＶＲヘッドセット（表示部）
６…アクセルペダル（操作取得部）
７…ブレーキペダル（操作取得部）
８…ハンドル（操作取得部）
９…座席シート（加速度発生部）
１０…ＣＰＵ
１１…通信部
１２…加速度算出部（加速度発生部）
１３，１３ａ…画像処理部（制御部）
１４…データ生成部（制御部）
２０…ＲＯＭ
３０…ＲＡＭ
４０，４０ａ…仮想センサ（走行環境取得部）
４１，４２…車載カメラ（走行環境取得部）
４３…ＬＩＤＡＲ（走行環境取得部）
５０…記憶部
５１…地図ＤＢ
５２…学習ＤＢ
１００…制御装置
ＡＮ１，ＡＮ２，ＡＮ３，ＡＮ４…注釈
ＣＡ１，ＣＡ２…他の車両
ＤＥ…走行環境
ＧＲ…ガードレール
ＩＭ０，ＩＭ１０…表示画像
ＩＭ２…経路案内画像
ＩＭ３，ＩＭ４，ＩＭ５…取得画像
ＩＭ６…鳥瞰図
ＩＸ…画像説明
ＭＴ１，ＭＴ２，ＭＴ３，ＭＴ４…モニタ（表示部）
ＴＲ１，ＴＲ２，ＴＲ３，ＴＲ４…物標画像
【図１】
2020160513.tif 000003
【図２】
2020160513.tif 000004
【図３】
2020160513.tif 000005
【図４】
2020160513.tif 000006
【図５】
2020160513.tif 000007
【図６】
2020160513.tif 000008
【図７】
2020160513.tif 000009