(57)【要約】【課題】車両の将来の挙動に関する情報を提供する画像表示システム等を提供する。【解決手段】画像表示システム１００は、第一処理部１００ａと、第二処理部１００ｂと、比較部１００ｃとを備える。第一処理部１００ａは、車両１の挙動推定結果を取得し、挙動推定結果に基づき、車両１の所定時間経過後の将来の位置情報を生成する。第二処理部１００ｂは、車両１に関する現在の情報を取得し、取得した情報に基づき、車両１及び周囲物の現在の位置情報を生成する。比較部１００ｃは、車両１の将来の位置情報と、車両１及び周囲物の現在の位置情報とを比較し、車両１及び周囲物の現在の位置を示す現在画像データと、車両１及び周囲物の将来の位置を示す将来画像データとを生成する。さらに、比較部１００ｃは、現在画像データに基づく現在画像Ｂ１及び将来画像データに基づく将来画像Ｂ２を一緒に、報知装置５ｂに表示させる。【選択図】図１
2018135075.tif 000002
【特許請求の範囲】
【請求項１】
車両の挙動の推定結果である挙動推定結果を取得し、前記挙動推定結果に基づき、前記車両の所定時間経過後の将来の位置情報を生成する第一処理部と、
前記車両に関する現在の情報を取得し、取得した情報に基づき、前記車両及び前記車両の周囲物の現在の位置情報を生成する第二処理部と、
前記車両の将来の位置情報と、前記車両及び前記車両の周囲物の現在の位置情報とを比較し、前記車両及び前記車両の周囲物の現在の位置を示す現在画像データと、前記車両及び前記車両の周囲物の将来の位置を示す将来画像データとを生成する比較部とを備え、
前記比較部は、前記現在画像データに基づく現在画像及び前記将来画像データに基づく将来画像を一緒に、表示装置に表示させる
画像表示システム。
【請求項２】
前記比較部は、前記現在画像及び前記将来画像を並べて、前記表示装置に表示させる
請求項１に記載の画像表示システム。
【請求項３】
前記車両に関する現在の情報は、前記車両の位置情報及び速度情報、前記車両の位置の地図情報、並びに、前記車両の周囲物の位置情報及び速度情報を含み、
前記比較部は、前記現在画像及び前記将来画像において、前記車両の位置の地図上に、前記車両及び前記車両の周囲物を表示する
請求項１または２に記載の画像表示システム。
【請求項４】
前記挙動推定結果は、機械学習を用いて、前記車両の周囲の状況の情報及び前記車両の走行状態の情報のうちの少なくとも一方から推定された結果である
請求項１〜３のいずれか一項に記載の画像表示システム。
【請求項５】
前記比較部は、
前記車両から、前記車両の現在の速度情報及び操作情報を取得し、
前記挙動推定結果と、前記車両の現在の速度情報及び操作情報と用いて、前記車両の将来の走行状態を示すパラメータ値を算出し、
前記パラメータ値を前記将来画像に表示する
請求項１〜４のいずれか一項に記載の画像表示システム。
【請求項６】
前記画像表示システムは、前記車両の運転者による挙動の指示を受け付け、
前記第一処理部は、指示された挙動を挙動推定結果として処理する
請求項１〜５のいずれか一項に記載の画像表示システム。
【請求項７】
車両に関する現在の情報を取得し、取得した情報に基づき、前記車両及び前記車両の周囲物の現在の位置情報を生成し、
前記車両の挙動の推定結果である挙動推定結果を取得し、前記挙動推定結果に基づき、前記車両の所定時間経過後の将来の位置情報を生成し、
前記車両の将来の位置情報と、前記車両及び前記車両の周囲物の現在の位置情報とを比較し、前記車両及び前記車両の周囲物の現在の位置を示す現在画像データと、前記車両及び前記車両の周囲物の将来の位置を示す将来画像データとを生成し、
前記現在画像データに基づく現在画像及び前記将来画像データに基づく将来画像を一緒に表示する
画像表示方法。
【請求項８】
コンピュータに実行させるプログラムであって、
車両に関する現在の情報を取得し、取得した情報に基づき、前記車両及び前記車両の周囲物の現在の位置情報を生成し、
前記車両の挙動の推定結果である挙動推定結果を取得し、前記挙動推定結果に基づき、前記車両の所定時間経過後の将来の位置情報を生成し、
前記車両の将来の位置情報と、前記車両及び前記車両の周囲物の現在の位置情報とを比較し、前記車両及び前記車両の周囲物の現在の位置を示す現在画像データと、前記車両及び前記車両の周囲物の将来の位置を示す将来画像データとを生成し、
前記現在画像データに基づく現在画像及び前記将来画像データに基づく将来画像を一緒に表示することを実行させる
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、車両の挙動推定に関する情報を表示する画像表示システム、画像表示方法及びプログラムに関する。
【背景技術】
【０００２】
近年、道路を走行する自動車等の車両の運転を自動化する技術が検討されている。例えば、特許文献１には、車両の走行制御装置が開示されており、この走行制御装置は、自車両が自動操舵制御の状態又は自動加減速制御の状態となる場合に、自動操舵制御及び自動加減速制御の作動状態を視覚的に運転者に認識させる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−６７４８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１の走行制御装置は、自動操舵制御及び自動加減速制御の現在の作動状態を視覚的に運転者に認識させる。自動運転の際、走行状態及び周囲の状況等が車両によって認識されている程度、並びに、車両が実施しようとする将来の挙動が、運転者によって認知されていないため、運転者が不安を抱く可能性がある。
【０００５】
本開示は、車両の将来の挙動に関する情報を提供する画像表示システム、画像表示方法及びプログラムを提供する。
【課題を解決するための手段】
【０００６】
本開示の一態様に係る画像表示システムは、車両の挙動の推定結果である挙動推定結果を取得し、前記挙動推定結果に基づき、前記車両の所定時間経過後の将来の位置情報を生成する第一処理部と、前記車両に関する現在の情報を取得し、取得した情報に基づき、前記車両及び前記車両の周囲物の現在の位置情報を生成する第二処理部と、前記車両の将来の位置情報と、前記車両及び前記車両の周囲物の現在の位置情報とを比較し、前記車両及び前記車両の周囲物の現在の位置を示す現在画像データと、前記車両及び前記車両の周囲物の将来の位置を示す将来画像データとを生成する比較部とを備え、前記比較部は、前記現在画像データに基づく現在画像及び前記将来画像データに基づく将来画像を一緒に、表示装置に表示させる。
【０００７】
本開示の一態様に係る画像表示方法は、車両に関する現在の情報を取得し、取得した情報に基づき、前記車両及び前記車両の周囲物の現在の位置情報を生成し、前記車両の挙動の推定結果である挙動推定結果を取得し、前記挙動推定結果に基づき、前記車両の所定時間経過後の将来の位置情報を生成し、前記車両の将来の位置情報と、前記車両及び前記車両の周囲物の現在の位置情報とを比較し、前記車両及び前記車両の周囲物の現在の位置を示す現在画像データと、前記車両及び前記車両の周囲物の将来の位置を示す将来画像データとを生成し、前記現在画像データに基づく現在画像及び前記将来画像データに基づく将来画像を一緒に表示する。
【０００８】
本開示の一態様に係るプログラムは、コンピュータに実行させるプログラムであって、車両に関する現在の情報を取得し、取得した情報に基づき、前記車両及び前記車両の周囲物の現在の位置情報を生成し、前記車両の挙動の推定結果である挙動推定結果を取得し、前記挙動推定結果に基づき、前記車両の所定時間経過後の将来の位置情報を生成し、前記車両の将来の位置情報と、前記車両及び前記車両の周囲物の現在の位置情報とを比較し、前記車両及び前記車両の周囲物の現在の位置を示す現在画像データと、前記車両及び前記車両の周囲物の将来の位置を示す将来画像データとを生成し、前記現在画像データに基づく現在画像及び前記将来画像データに基づく将来画像を一緒に表示することを実行させる。
【０００９】
なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【００１０】
本開示の画像表示システム等によれば、車両の将来の挙動に関する情報を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】図１は、実施の形態に係る画像表示システム及びその周辺の構成要素の機能ブロック図の一例である。
【図２】図２は、車両における図１の報知装置の表示媒体の一例を示す図である。
【図３】図３は、現在画像のみを表示する場合の報知装置の表示画像の一例を示す図である。
【図４】図４は、専用挙動推定ニューラルネットワークによる挙動推定の一例を示す図である。
【図５】図５は、画像表示システム及びその周辺の動作の流れの一例を示すフローチャートである。
【図６】図６は、現在画像及び将来画像を表示する場合の報知装置の表示画像の一例を示す図である。
【図７】図７は、画像表示システム及びその周辺の動作の流れの別例を示すフローチャートである。
【図８】図８は、挙動推定結果が加速である場合の報知装置の表示画像の一例を示す図である。
【図９】図９は、車両の運転者の指示に従った場合の報知装置の表示画像の一例を示す図である。
【発明を実施するための形態】
【００１２】
「背景技術」で挙げた特許文献１に記載される走行制御装置は、車載のカーナビゲーション装置のＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）で測位した自車位置情報に基づき、走行制御を行う。本発明者らが検討してきた車両の自動運転技術は、ＧＰＳを用いた自車測位に加え、車両の各操作を検出する検知装置の検出結果、並びに、カメラ、ミリ波レーダ、赤外線センサ等の車両の周囲環境の検知装置の検出結果を用いる。このような自動運転技術は、車両の状態及び周囲の状況に応じた複雑な車両挙動の制御を可能にする。そして、このような自動運転技術の検討では、運転者の運転を支援する一部自動運転だけでなく、操作、判断等の運転者の行為が介入しない完全自動運転を可能にすることが意図されている。挙動制御において車両へ依存する割合が大きくなると、現在の車両の状態に関する情報、及び現在の挙動の次の挙動である将来の車両の挙動に関する情報に関して、運転者にとって不明な情報が多くなり、運転者が不安を抱く場合がある。そこで、本発明者らは、運転者の不安を抑えるために車両の将来の挙動に関する情報を提供することを検討し、特許請求の範囲及び以下の説明に記載するような技術を見出した。
【００１３】
以下、実施の形態に係る画像表示システム等を、図面を参照しつつ説明する。なお、以下で説明される実施の形態は、包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ（工程）、並びにステップの順序等は、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、以下の実施の形態の説明において、略平行、略直交のような「略」を伴った表現が、用いられる場合がある。例えば、略平行とは、完全に平行であることを意味するだけでなく、実質的に平行である、すなわち、例えば数％程度の差異を含むことも意味する。他の「略」を伴った表現についても同様である。
【００１４】
［実施の形態]
［１．画像表示システムの構成］
図１を参照して、実施の形態に係る画像表示システム１００の構成を説明する。なお、図１は、実施の形態に係る画像表示システム１００及びその周辺の構成要素の機能ブロック図の一例である。本実施の形態では、画像表示システム１００は、例えば、道路を走行可能な自動車、トラック、バス等の車両１に搭載される。画像表示システム１００は、車両１の運転者の操作を必要とせずに、車両１の運転の全て又は一部を制御する自動運転制御システム１０の一部を構成する。なお、画像表示システム１００の搭載対象は、車両１に限定されず、航空機、船舶、無人搬送機等のいかなる移動体であってもよい。本実施の形態に係る画像表示システム１００は、車両１及びその周囲の現在の状態と、自動運転制御システム１０が行う挙動により生じる車両１及びその周囲の将来の状態とを、表示装置に表示させる。
【００１５】
図１に示されるように、車両１は、車両制御部２と、操作系検出部３と、入力部４と、情報報知部５と、状態検出部６と、記憶部７と、自動運転制御システム１０と、画像表示システム１００とを備える。自動運転制御システム１０は、車両１の自動運転を制御する。自動運転制御システム１０は、学習部１１、挙動推定部１２及び自動運転評価部１３を備える。画像表示システム１００は、車両１及びその周囲の現在の状態と、車両１及びその周囲の将来の状態とを算出し、情報報知部５に表示させる。画像表示システム１００は、自動運転評価部１３の一部を構成し、第一処理部１００ａと、第二処理部１００ｂと、比較部１００ｃとを含む。なお、画像表示システム１００は、自動運転評価部１３と別個に設けられてもよい。自動運転制御システム１０の構成要素、画像表示システム１００の構成要素、及び、後述する状態検出部６の構成要素等は、専用のハードウェアで構成されてもよく、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
【００１６】
車両制御部２は、車両１の全体を制御する。例えば、車両制御部２は、ＬＳＩ回路（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）として実現されてもよく、車両１を制御する電子制御ユニット（Ｅｌｅｃｔｒｏｎｉｃ  Ｃｏｎｔｒｏｌ  Ｕｎｉｔ：ＥＣＵ）の一部として実現されてもよい。車両制御部２は、自動運転制御システム１０等から受け取る情報に基づき、車両１を制御する。車両制御部２が、自動運転制御システム１０及び画像表示システム１００を含んでもよい。
【００１７】
操作系検出部３は、車両１に加えられる操作に関連する情報を検出する。操作系検出部３は、例えば、ブレーキセンサ３ａ、アクセルセンサ３ｂ、ウィンカセンサ３ｃ及びステアリングセンサ３ｄ等を含む。ブレーキセンサ３ａは、車両１のブレーキ装置の制動強さを検出する。アクセルセンサ３ｂは、車両１のアクセル開度を検出する。ウィンカセンサ３ｃは、車両１のウィンカの指示方向を検出する。ステアリングセンサ３ｄは、車両１のステアリングの操舵角を検出する。操作系検出部３は、車両１の運転者の操作による情報、及び、自動運転制御システム１０の操作による情報を検出する。操作系検出部３の各センサは、検出結果を車両制御部２に出力し、さらに、検出結果を記憶部７に格納する。
【００１８】
状態検出部６は、は、車両１の走行状態、及び、車両１の周囲の状況を検出する。状態検出部６は、位置情報取得部６ａと、周囲センサ６ｂと、速度情報取得部６ｃと、地図情報取得部６ｄと、外部環境情報取得部６ｅとを含む。
【００１９】
位置情報取得部６ａは、車両１が搭載するカーナビゲーション装置によるＧＰＳ測位結果等により、車両１の位置情報を取得する。周囲センサ６ｂは、車両１の周囲の状況を検出する。例えば、周囲センサ６ｂは、車両１の周囲に存在する他車両の位置及び車線位置情報等を検出し、さらに、他車両が車両１の先行車両である等の他車両の位置の種別を検出する。例えば、周囲センサ６ｂは、他車両の速度と車両１の速度とから、２つの車両の衝突予測時間（ＴＴＣ：Ｔｉｍｅ  Ｔｏ  Ｃｏｌｌｉｓｉｏｎ）も検出する。例えば、周囲センサ６ｂは、車両１の周囲に存在する障害物の位置も検出する。このような周囲センサ６ｂは、ミリ波レーダ、レーザレーダ、カメラ、又はこれらの組合せ等を備え得る。
【００２０】
速度情報取得部６ｃは、車両１の走行状態の情報を取得する。例えば、速度情報取得部６ｃは、図示しない車両１の速度センサ等から車両１の速度及び走行方向等の情報を、上記情報として取得する。地図情報取得部６ｄは、車両１の周囲の状況を示す地図情報を取得する。地図情報取得部６ｄは、上記地図情報として、例えば、車両１が走行する道路、道路における他車両との合流ポイント、道路における現在走行中の車線、道路における交差点の位置等の地図情報を取得する。外部環境情報取得部６ｅは、車両１の周囲環境に関する情報である外部環境情報を取得する。外部環境情報は、車両１が走行する道路の渋滞情報、天候情報、事故歴情報等を含む。外部環境情報取得部６ｅは、例えばＶＩＣＳ（登録商標）（Ｖｅｈｉｃｌｅ  Ｉｎｆｏｒｍａｔｉｏｎ  ａｎｄ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｓｙｓｔｅｍ）によって渋滞情報を取得し、例えばインターネット等の通信網を介した通信によって天候情報及び事故歴情報を取得する。状態検出部６の各構成要素は、検出結果を車両制御部２に出力し、さらに、検出結果を記憶部７に格納する。
【００２１】
入力部４は、車両１の運転者による入力を受け付ける。入力部４は、例えば、車両１のステアリングに配置されたスイッチで構成されてもよく、運転者の手が届く位置に配置されたタッチパネルであってもよい。タッチパネルは、情報の表示と入力の受付とが可能である液晶パネル等のパネルを備える装置である。入力部４は、入力情報を車両制御部２に出力し、さらに、入力情報を記憶部７に格納する。
【００２２】
情報報知部５は、取得する情報に基づき、種々の情報を表示する。情報報知部５は、情報を取得する情報取得部５ａと、取得した情報を画像として表示する報知装置５ｂとを備える。情報取得部５ａは、車両制御部２等から情報を取得し、取得した情報を、報知装置５ｂに表示させる。情報取得部５ａは、操作系検出部３からの出力情報、入力部４からの出力情報、状態検出部６からの出力情報等も取得し、報知装置５ｂに表示させてもよい。情報取得部５ａは、上述した自動運転制御システム１０等の構成要素と、同様の構成を有してもよい。
【００２３】
報知装置５ｂは、車両１に関する情報を表示する表示装置である。報知装置５ｂは、ヘッドアップディスプレイ（Ｈｅａｄ  Ｕｐ  Ｄｉｓｐｌａｙ：ＨＵＤ）、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）、有機若しくは無機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、ＨＭＤ（Ｈｅａｄ−Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ又はＨｅｌｍｅｔ−Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ）、眼鏡型ディスプレイ（Ｓｍａｒｔ  Ｇｌａｓｓｅｓ）、又は、その他の専用のディスプレイであってよい。ＨＵＤは、例えば、車両１のウインドシールドを利用する構成を有してもよく、ウインドシールドと別に設けられるガラス面、プラスチック面（例えば、コンバイナ）等を利用する構成であってもよい。また、ウインドシールドは、車両１のフロントガラスであってもよく、車両１のサイドガラス又はリアガラスであってもよい。
【００２４】
これに限定されるものではないが、本実施の形態では、図２に示すように、報知装置５ｂは、車両１のフロントのダッシュボード１ａに設けられるガラスＡを表示媒体とし、ガラスＡに各種情報を示す画像を投影する。なお、図２は、車両１における図１の報知装置５ｂの表示媒体の一例を示す図である。そして、報知装置５ｂは、図３に示すように、ガラスＡの表面上に、現在画像Ｂ１と、将来画像Ｂ２とを並べて表示する。現在画像Ｂ１は、車両１の現在の状態を表示し、将来画像Ｂ２は、推測される車両１の将来の状態を表示する。なお、図３は、報知装置５ｂの表示画像の一例を示す図である。車両１の将来の状態を取得できない場合、図３に示すように、将来画像Ｂ２として、何も表示されない。現在画像Ｂ１には、速度、ブレーキの強さ、アクセル開度、ステアリング操舵角等の車両１の現在の走行状態と、車両１に行われている自動運転の状態と、現在の車両１及びその周囲の車両を地図上に表示する鳥瞰図とが、表示され得る。将来画像Ｂ２には、車両１の将来の走行状態と、将来の車両１及びその周囲の車両を地図上に表示する鳥瞰図とが、表示され得る。図３の例では、現在画像Ｂ１の鳥瞰図において、地図としての道路と、道路上の車両１及び周囲の車両（車両ＩＤ：ｖ１〜ｖ３）とが表示されている。なお、車両ＩＤは、周囲の車両に設定される識別子である。
【００２５】
図１に戻り、記憶部７は、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ハードディスク装置、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）等の記憶装置であってよい。記憶部７は、操作系検出部３の検出結果、入力部４への入力情報、状態検出部６の検出結果、自動運転制御システム１０での挙動推定のための知識（機械学習データとも呼ばれる）、後述する機械学習に用いるニューラルネットワーク等の種々の情報を記憶する。また、記憶部７は、車両１の現時点の走行環境と、車両１が次にとり得る挙動の候補との間の対応関係を記憶する。
【００２６】
自動運転制御システム１０の学習部１１は、車両１の特定の運転者に対応した挙動推定のための機械学習データを構築する。本実施の形態では、学習部１１は、機械学習にニューラルネットワーク（以下、ＮＮとも呼ぶ）を用いるが、他の機械学習方法を用いてもよい。ここで、ニューラルネットワークは、脳神経系をモデルにした情報処理モデルである。ニューラルネットワークは、入力層及び出力層を含む複数のノード層で構成されている。ノード層には、１つ以上のノードが含まれる。ニューラルネットワークのモデル情報は、ニューラルネットワークを構成するノード層の数と、各ノード層に含まれるノード数と、ニューラルネットワークの全体又は各ノード層の種別とを示す。ニューラルネットワークが、例えば、入力層、中間層及び出力層の３つのノード層で構成される場合、入力層のノード数は、例えば１００であり、中間層のノード数は、例えば１００であり、出力層のノード数は、例えば５であるとすることができる。ニューラルネットワークは、入力層のノードに入力された情報について、入力層から中間層への出力処理、中間層での処理、中間層から出力層への出力処理、出力層での処理を順次行い、入力情報に適合する出力結果を出力する。なお、１つの層の各ノードは、次の層の各ノードと接続されており、ノード間の接続には、重み付けがされている。１つの層のノードの情報は、ノード間の接続の重み付けが付与されて、次の層のノードに出力される。
【００２７】
学習部１１は、車両１の特定の運転者ｘの運転履歴から運転者ｘのニューラルネットワークを構築する。又は、学習部１１は、車両１の特定の運転者ｘの運転履歴と、運転者ｘ以外の複数の運転者の汎用的な運転履歴とから運転者ｘのニューラルネットワークを構築してもよい。又は、学習部１１は、車両１の特定の運転者ｘの走行履歴から運転者ｘのニューラルネットワークを構築してもよい。又は、学習部１１は、車両１の特定の運転者ｘの走行履歴と、運転者ｘ以外の複数の運転者の汎用的な走行履歴とから運転者ｘのニューラルネットワークを構築してもよい。学習部１１は、特定の運転者ｘの運転履歴を用いるケース、特定の運転者ｘの運転履歴及び汎用的な運転履歴を用いるケース、特定の運転者ｘの走行履歴を用いるケース、並びに、特定の運転者ｘの走行履歴及び汎用的な走行履歴を用いるケースのうち、少なくとも１つを用いてニューラルネットワークを構築してよい。なお、複数の運転者は、不特定多数の運転者であってよく、車両１と関連していなくてもよい。そして、学習部１１は、構築したニューラルネットワークを挙動推定ＮＮとして挙動推定部１２に出力する。
【００２８】
運転履歴は、過去に車両によって行われた挙動それぞれが、複数の特徴量（以下、特徴量セットとも呼ぶ）と対応付けられて構成されている。挙動に対応する特徴量はそれぞれ、例えば、車両によってその挙動が開始された時点から第一所定時間経過前の時点までの車両の走行状態を示す量である。第一所定時間は、予め設定された時間であってよく、例えば、次の挙動が開始されるまでの時間等であってもよい。汎用的な運転履歴は、不特定多数の車両の運転履歴である。例えば、挙動とこれに対応する特徴量セットとが組み合わされて、記憶部７に記憶される。特徴量は、車両の挙動に関連するパラメータであり、例えば、車両の同乗者数、車両の速さ、ステアリングの動き、ブレーキの度合い、アクセルの度合い等を示す。特徴量は、例えば、操作系検出部３及び状態検出部６によって検出されるような車両の走行状態である。
【００２９】
走行履歴は、過去に車両によって行われた挙動それぞれが、複数の環境パラメータ（以下、環境パラメータセットとも呼ぶ）と対応付けられて構成されている。挙動に対応する環境パラメータはそれぞれ、例えば、車両によってその挙動が行われた時点から第一所定時間経過前の時点における車両１の周囲状況つまり環境を示す量である。汎用的な走行履歴の場合、不特定多数の車両の走行履歴である。例えば、挙動とこれに対応する環境パラメータセットとが組み合わされて、記憶部７に記憶される。環境パラメータは、車両の環境に関連するパラメータであり、例えば、自車両の情報、相対速度、車間距離及び車頭間距離などの自車両に対する前方車両、側方車両又は後方車両の情報、相対速度及び車頭間距離などの自車両に対する合流車両の情報、自車両の位置情報等を示す。環境パラメータは、例えば、状態検出部６によって検出されるような車両の周囲状況である。
【００３０】
学習部１１は、不特定多数の運転者の汎用的な運転履歴及び／又は走行履歴から、汎用的なニューラルネットワークを汎用挙動推定ＮＮとして構築し、さらに、特定の運転者ｘの運転履歴及び／又は走行履歴を用いて汎用挙動推定ＮＮを調整し、運転者ｘに対応する専用挙動推定ＮＮを構築する。例えば、専用挙動推定ＮＮによる挙動推定の一例を示す図４に示されるように、運転者ｘが搭乗する車両１の自動運転中、現時点において得られた特徴量セット及び環境パラメータセットの少なくとも一方を入力パラメータとして、専用挙動推定ＮＮに入力することによって、運転者ｘの運転及び入力した情報に対応する挙動が出力される。この挙動は、例えば、第一所定時間経過後に運転者ｘが取り得る推定挙動である。図４の例では、車両１の自車両速度、他車両速度等の入力パラメータが、専用挙動推定ＮＮに入力され、専用挙動推定ＮＮは、推定挙動として、減速を出力する。なお、専用挙動推定ＮＮが複数の推定挙動を出力してもよい。
【００３１】
汎用挙動推定ＮＮの構築において、学習部１１は、任意の運転者の汎用的な運転履歴及び／又は走行履歴に含まれる複数の特徴量及び／又は環境パラメータを入力パラメータとして、ニューラルネットワークに入力する。さらに、学習部１１は、ニューラルネットワークからの出力が、その入力パラメータに対応付けられた教師付けデータである挙動に一致するように、ニューラルネットワークのノード間の重み付けを最適化する。このような重み付けの調整によって、学習部１１は、入力パラメータと教師付けデータとの関係を、ニューラルネットワークに学習させ、任意の運転者に対応する汎用挙動推定ＮＮを構築する。
【００３２】
専用挙動推定ＮＮの構築において、学習部１１は、特定の運転者ｘの運転履歴及び／又は走行履歴を用いて汎用挙動推定ＮＮを調整し、運転者ｘに対応する専用挙動推定ＮＮを構築する。学習部１１は、運転者ｘの運転履歴及び／又は走行履歴に含まれる特定の挙動及びこの挙動に対応付けられている特徴量セット及び／又は環境パラメータセットを、汎用挙動推定ＮＮに入力することによって、教師付けデータである上記挙動が出力として得られるように、汎用挙動推定ＮＮのノード間の重み付けを調整する。このように、ニューラルネットワークにおいて、ノード間の重み付けを調整することを、再学習するとも呼ぶ。そして、上述のように再学習された汎用挙動推定ＮＮが、専用挙動推定ＮＮとして扱われる。専用挙動推定ＮＮの再学習は、１つの教師付けデータに対してだけでなく、他の複数の教師付けデータのそれぞれに対しても行われる。つまり、学習部１１は、転移学習によって、特定の運転者ｘに対する専用のニューラルネットワークである専用挙動推定ＮＮを構築する。
【００３３】
自動運転制御システム１０の挙動推定部１２は、学習部１１によって構築された専用挙動推定ＮＮに、現時点において得られた特徴量セット及び環境パラメータセットの少なくとも一方を入力パラメータとして入力することによって、入力した情報に対応する挙動を推定挙動として出力する。つまり、挙動推定部１２は、例えば、第一所定時間経過後の車両１の挙動の推定結果を出力する。挙動推定部１２は、挙動推定結果を、自動運転評価部１３に出力する。なお、挙動推定部１２は、操作系検出部３及び状態検出部６から、それぞれの検出結果を取得するように構成される。
【００３４】
自動運転制御システム１０の自動運転評価部１３は、挙動推定部１２による挙動推定結果を車両１の自動運転に採用するか否かを判定する。自動運転評価部１３は、車両１の現在の挙動と、挙動推定部１２の挙動推定結果との変化量を算出し、この変化量に基づき、挙動推定結果の可否を判定する。自動運転評価部１３の詳細は、後述する。
【００３５】
画像表示システム１００の第一処理部１００ａは、挙動推定部１２から挙動推定結果を取得する。第一処理部１００ａは、取得した挙動推定結果に基づき、現時点から第二所定時間経過後の車両１の位置を推定し、画像表示システム１００の比較部１００ｃに出力する。具体的には、第一処理部１００ａは、第二所定時間経過の前後での車両１の変位を推定する。第二所定時間は、第一所定時間と同一であってもよく、第一所定時間よりも長くても短くてもよく、任意に設定されてよい。例えば、第二所定時間は、１秒以上１０秒以下等の数秒の時間であってもよい。このような第一処理部１００ａは、挙動推定結果を車両１の挙動に採用した場合に、第二所定時間経過後に車両１に生じる変位を推定する。第二所定時間経過時に、推定された挙動が完了していない場合、推定された挙動の途中での車両１の変位が推定され、第二所定時間経過時に推定された挙動が完了している場合、推定された挙動の完了後の車両１の変位が推定され得る。なお、上記の車両１の変位は、第二所定時間経過前後の車両１の位置の間の変位であってもよく、車両１が挙動推定時の現状の挙動を維持した場合での第二所定時間経過後の車両１の位置に対する相対的な変位であってもよい。
【００３６】
画像表示システム１００の第二処理部１００ｂは、車両制御部２を介して、状態検出部６の検出結果を取得する。第二処理部１００ｂは、取得した検出結果から、車両１の現在位置及び走行状態、並びに、車両１の周囲の車両の現在の位置及び走行状態に関する情報を取得し、これらの情報を互いに関連付ける。第二処理部１００ｂは、車両１の周囲にある車両以外の物の位置に関する情報を取得し、車両１の位置と関連付けてもよい。第二処理部１００ｂは、上記関連付けに基づき、例えば、図３に示すような、車両１とその周囲の車両等の周囲物との位置関係を地図上で鳥瞰図のように示すデータを生成する。第二処理部１００ｂは、車両１及びその周囲の車両等の位置関係、並びに、車両１及びその周囲の車両の走行状態を、比較部１００ｃに出力する。この際、第二処理部１００ｂは、車両１の周囲の車両に、各車両を識別できるように、ＩＤ等の識別子を付与する。なお、ＩＤは、車両毎に予め設定されたものであってもよい。このようなＩＤは、インターネット等の通信網を介した通信を通じて、例えば、外部環境情報取得部６ｅによって取得されてもよい。
【００３７】
画像表示システム１００の比較部１００ｃは、第一処理部１００ａから取得した車両１の変位情報と、第二処理部１００ｂから取得した車両１及びその周囲の車両の現在の走行状態並びに互いの現在の位置関係等の情報とを比較し、車両１及びその周囲の車両等の周囲物の将来の位置関係を算出する。具体的には、比較部１００ｃは、第二所定時間経過後の車両１及びその周囲の車両等の位置関係を地図上で鳥瞰図のように示すデータを、将来の位置関係のデータとして生成し、さらに、このデータを画像データとして報知装置５ｂに出力する。この際、比較部１００ｃは、車両１の変位情報、並びに、車両１の現在位置及び速度から、第二所定時間経過後の車両１の位置を算出する。また、比較部１００ｃは、周囲の車両１の現在位置及び速度から、第二所定時間経過後の周囲の車両１の位置を算出する。また、比較部１００ｃは、車両１及びその周囲の車両等の現在の位置関係を地図上で鳥瞰図のように示すデータを、画像データとして報知装置５ｂに出力する。なお、第二所定時間経過後の車両１の位置の算出は、第一処理部１００ａによって行われてもよい。
【００３８】
また、比較部１００ｃは、車両１の挙動推定結果と、車両１の現在の走行状態とに基づき、第二所定時間経過後の将来の車両１の走行状態を算出し、報知装置５ｂに出力する。この際、比較部１００ｃは、速度、ブレーキの強さ、アクセル開度、ステアリング操舵角等の走行状態のパラメータのうち、第二所定時間経過の前後で変化するパラメータのみを出力してもよい。挙動に対応する加速度、速度、ステアリング操舵角等のパラメータは、予め設定されていてもよく、特定の運転者の運転履歴又は複数の運転者の運転履歴から決定してもよい。
【００３９】
また、第一処理部１００ａは、第二所定時間経過後の車両１の変位を経時的に出力してもよく、第二処理部１００ｂは、車両１及びその周囲の車両等の現在の位置関係を経時的に出力してもよい。そして、比較部１００ｃは、経時的に取得する情報に基づき、第二所定時間経過後の車両１及びその周囲の車両等の位置関係を経時的に出力してもよい。
【００４０】
また、自動運転評価部１３は、車両１の現在の挙動と、挙動推定部１２から出力された挙動推定結果との変化量を算出する。例えば、自動運転評価部１３は、変化量と閾値とを比較し、変化量が閾値以下の場合には、つまり車両１の挙動が緩やかに変化する場合には、挙動推定結果を有効にする。そして、自動運転評価部１３は、挙動推定結果を車両制御部２に出力する。さらに、自動運転評価部１３は、挙動推定結果を情報報知部５の報知装置５ｂに出力してもよい。この結果、車両制御部２は、挙動推定結果に基づく車両１の制御を行い、報知装置５ｂは、実行中の挙動を表示し得る。
【００４１】
一方、上記変化量が閾値を超えている場合には、つまり車両１の挙動が急激に変化する場合には、自動運転評価部１３は挙動推定結果を無効にする。そして、自動運転評価部１３は、挙動推定結果が無効であることを示す制御信号を学習部１１に出力する。学習部１１は、無効な挙動推定結果に対応する入力パラメータから、当該挙動推定結果が出力されないように、専用挙動推定ＮＮに再学習させる。専用挙動推定ＮＮを再学習は、上記パラメータから当該挙動推定結果が出力されないように、専用挙動推定ＮＮ自体に再学習させてもよく、汎用挙動推定ＮＮに再学習させた後、特定の運転者の運転履歴及び走行履歴を用いて、再学習後の汎用挙動推定ＮＮから専用挙動推定ＮＮを構築してもよい。また、車両制御部２は、挙動推定結果を受け取らないため、車両１の現状の挙動を維持する。なお、自動運転評価部１３は、上記変化量の算出に、第二処理部１００ｂの出力結果と、比較部１００ｃの出力結果とを用いてもよい。
【００４２】
［２．画像表示システムの動作］
実施の形態に係る画像表示システム１００及びその周辺の動作の一例を説明する。ここで、図１を参照すると、自動運転制御システム１０の学習部１１は、特定の運転者の専用挙動推定ＮＮの構築において、車両１の走行シーンに対応した専用挙動推定ＮＮを構築する。走行シーンは、車両の走行環境、走行中の天候、交通状況等の要素を含む。車両の走行環境は、市街地、閑散地等の道路環境を示す。交通状況は、渋滞等の交通の流れを示す。学習部１１は、種々の走行シーンでの車両１の走行履歴を用いた転移学習によって、走行シーンに対応した専用挙動推定ＮＮを構築する。よって、走行シーン毎に、専用挙動推定ＮＮが構築される。なお、専用挙動推定ＮＮに対応する走行シーンは、１つの要素で構成されてもよく、複数の要素の組み合わせで構成されてもよい。
【００４３】
図５を参照すると、画像表示システム１００及びその周辺の動作の流れの一例を示すフローチャートが示されている。ステップＳ１０１において、車両１の自動運転中、自動運転制御システム１０の学習部１１は、状態検出部６から、記憶部７を介して、車両１の位置情報、車両１の位置の地図情報、渋滞情報、天候情報等の車両１及びその周囲の状況に関する情報を取得する。学習部１１は、取得した情報から、この情報に対応する車両１の走行シーンを特定する。なお、車両１及びその周囲の状況に関する情報と車両１の走行シーンとが対応付けられて記憶部７に予め格納され、学習部１１は、記憶部７に格納された情報に基づき、車両１の走行シーンを特定してもよい。
【００４４】
さらに、ステップＳ１０２において、学習部１１は、記憶部７に格納されている種々の専用挙動推定ＮＮから、車両１の特定の運転者ｘに対応し且つ車両１の走行シーンに対応する専用挙動推定ＮＮを選択する。そして、学習部１１は、選択した専用挙動推定ＮＮを挙動推定部１２に出力する。
【００４５】
次いで、ステップＳ１０３において、挙動推定部１２は、取得した専用挙動推定ＮＮを用いて、現在から第一所定時間経過後の車両１の挙動推定、つまり、運転行動の予測を行う。具体的には、挙動推定部１２は、状態検出部６から取得する現在の車両１の走行状態及び周囲の状況に関するパラメータを、専用挙動推定ＮＮに入力し、車両１の挙動推定結果を得る。そして、挙動推定部１２は、車両１の挙動推定結果を、自動運転評価部１３、つまり、画像表示システム１００の第一処理部１００ａに出力する。
【００４６】
ステップＳ１０４において、第一処理部１００ａは、取得した挙動推定結果に基づき、現時点から第二所定時間経過後の車両１の位置を推定し、画像表示システム１００の比較部１００ｃに出力する。限定するものではないが、本実施の形態では、推定される車両１の位置は、車両１が挙動推定時の挙動を維持した場合での第二所定時間経過後の車両１の位置に対する相対的な変位である。なお、推定された挙動が実際に開始される前に、挙動推定結果が反映された車両１の推定変位が出力されるように、第二所定時間は、第一所定時間以下の長さであることが望ましく、現状の挙動が完了するまでの時間であることが望ましい。
【００４７】
また、ステップＳ１０５において、画像表示システム１００の第二処理部１００ｂは、状態検出部６から取得する情報に基づき、車両１及びその周囲の車両等の周囲物の現在の位置関係、並びに、車両１及びその周囲の車両の現在の走行状態を算出し、比較部１００ｃに出力する。なお、ステップＳ１０４とステップＳ１０５との順序は、記載の順序に限定されず、逆であってもよく、同時であってもよい。
【００４８】
次いで、ステップＳ１０６において、比較部１００ｃは、第一処理部１００ａから取得した車両１の変位情報と、第二処理部１００ｂから取得した車両１及びその周囲の車両の現在の走行状態並びに互いの現在の位置関係等の情報とに基づき、車両１及びその周囲の車両等の周囲物の第二所定時間経過後の位置関係の画像データを生成し、情報報知部５の報知装置５ｂに出力する。また、比較部１００ｃは、第二処理部１００ｂから取得した情報に基づき、車両１及びその周囲の車両等の周囲物の現在の位置関係の画像データを生成し、情報報知部５の報知装置５ｂに出力する。さらに、比較部１００ｃは、車両１の推定挙動と、車両１の現在の走行状態とに基づき、第二所定時間経過後の車両１の走行状態のパラメータの値を算出し、第二所定時間経過の前後で変化するパラメータ値を報知装置５ｂに出力する。
【００４９】
また、ステップＳ１０７において、自動運転評価部１３は、車両１の現在の挙動と、挙動推定部１２から出力された挙動推定結果との変化量を算出し、この変化量に基づき、挙動推定結果の可否を判定する。なお、ステップＳ１０６とステップＳ１０７との順序は、記載の順序に限定されず、逆であってもよく、同時であってもよい。
【００５０】
挙動推定結果が有効である場合（ステップＳ１０７でＹｅｓ）、ステップＳ１０８において、自動運転評価部１３は、挙動推定結果を車両制御部２及び情報報知部５の報知装置５ｂに出力する。さらに、ステップＳ１０９において、報知装置５ｂは、取得した情報に基づき、例えば、図６に示すように、ガラスＡ等の表示媒体上に、現在画像Ｂ１及び将来画像Ｂ２を表示する。なお、図６は、現在画像Ｂ１及び将来画像Ｂ２を表示する場合の報知装置５ｂの表示画像の一例を示す図である。
【００５１】
報知装置５ｂは、現在画像Ｂ１において、車両１の現在の挙動を挙動表示部Ｂ１ａに表示し、比較部１００ｃから取得した車両１及びその周囲物の現在の画像を鳥瞰図Ｂ１ｂとして表示する。報知装置５ｂは、車両１の現在の挙動として、自動運転評価部１３から取得する挙動推定結果を用いてもよく、情報取得部５ａを介して車両制御部２から取得する現在つまり現状の挙動情報を用いてもよい。このような報知装置５ｂは、挙動表示部Ｂ１ａにおいて、車両１の現状の挙動、及び、これから実施する予定の挙動である推定挙動のいずれも、状況に応じて表示し得る。例えば、図６は、現在の挙動として、「車線変更」が表示され、鳥瞰図では、車両１及び周囲の車両（車両ＩＤがｖ１〜ｖ３）が複数車線の道路上に表示されている。
【００５２】
また、報知装置５ｂは、将来画像Ｂ２において、比較部１００ｃから取得した車両１及びその周囲物の第二所定時間経過後の画像を鳥瞰図Ｂ２ｂとして表示する。さらにまた、報知装置５ｂは、将来画像Ｂ２において、比較部１００ｃから取得した第二所定時間経過の前後で変化するパラメータ値Ｂ２ｃを表示する。例えば、図６では、パラメータ値Ｂ２ｃとして、第二所定時間経過後の車両１の速度が表示されている。また、鳥瞰図Ｂ２ｂでは、第二所定時間経過の前後の車両１と、第二所定時間経過後の周囲の車両（車両ＩＤがｖ１〜ｖ３）が複数車線の道路上に表示されている。第二所定時間経過前の車両１は、破線で表示されている。なお、鳥瞰図Ｂ２ｂでは、破線表示される第二所定時間経過前の車両１として、第二所定時間経過前の位置にある車両１が表示されてもよく、車両１が挙動推定時の現状の挙動を維持した場合での第二所定時間経過後の車両１が表示されてもよい。前者の場合、第二所定時間経過前の車両１の位置は、正確な位置でなくてもよく、周囲の車両との相対的な位置関係を示す位置であってもよい。後者の場合、運転者は、推定挙動結果を採用する場合と採用しない場合とにおける車両１の将来位置の違いを確認することができる。また、車両制御部２は、推定挙動結果に従って車両１を制御する。
【００５３】
挙動推定結果が無効である場合（ステップＳ１０７でＮｏ）、ステップＳ１１０において、自動運転評価部１３は、挙動推定結果を車両制御部２に出力せず、挙動推定結果が無効である制御信号を報知装置５ｂに出力する。次いで、ステップＳ１１１において、報知装置５ｂは、例えば、図３に示すように、表示媒体Ａ上に、現在画像Ｂ１のみを表示する。このように、推定された挙動がない場合、報知装置５ｂは、現在画像Ｂ１のみを表示する。報知装置５ｂは、現在画像Ｂ１を、ステップＳ１０８と同様に表示するが、挙動が現状維持されるため、挙動表示部Ｂ１ａに「現状維持」を表示してもよく、挙動表示部Ｂ１ａを表示しなくてもよい。図３のように挙動表示部Ｂ１ａを表示しない場合、報知装置５ｂは、情報取得部５ａが操作系検出部３及び状態検出部６から取得する情報に基づき、車両１の走行状態に関するパラメータ値を表示してもよい。また、車両制御部２は、現状の挙動に従って車両１を制御する。
【００５４】
このように、車両１の運転者は、現在画像Ｂ１及び将来画像Ｂ２を目視することによって、車両１の現在の状況と、車両１の将来の状況とを視覚的に認識することができる。運転者は、車両１の現在の状況及び将来の状況に基づき、自動運転制御システム１０により推定された挙動を受け入れるか否かの判断を容易にすることができる。例えば、運転者は、推定された挙動を受け入れることができない場合、次の挙動として他の挙動を選択する、又は、自動運転を手動運転に切り替え、運転者の意図に沿って車両１を運行させることができる。
【００５５】
また、上述の例では、自動運転制御システム１０による車両１の挙動制御は、車両１の運転者による介入を受けなかったが、介入を受ける場合の例を以下において説明する。図７を参照すると、画像表示システム１００及びその周辺の動作の流れの別例を示すフローチャートが示されている。
【００５６】
ステップＳ２０１において、学習部１１及び挙動推定部１２は、図５のステップＳ１０１〜Ｓ１０３の処理を行って、車両１及びその周囲の状況に関する情報から、車両１の走行シーンを特定し、特定した走行シーンに対応する専用挙動推定ＮＮを用いて、車両１の挙動推定結果を、画像表示システム１００に出力する。例えば、本例では、車両１に対して、挙動推定部１２は、次に実施すべき挙動として、加速を出力する。
【００５７】
次いで、ステップＳ２０２において、画像表示システム１００は、図５のステップＳ１０４〜Ｓ１０９と同様の処理を行って、報知装置５ｂに現在画像Ｂ１及び将来画像Ｂ２を表示させる。例えば、本例では、図８に示すように、報知装置５ｂは、現在画像Ｂ１において、挙動表示部Ｂ１ａに「加速」を表示し、且つ現在の鳥瞰図Ｂ１ｂを表示し、将来画像Ｂ２において、現時点から第二所定時間経過後の鳥瞰図Ｂ２ｂを表示し、且つ第二所定時間経過の前後で変化するパラメータ値Ｂ２ｃである車両１の速度を表示する。なお、図８は、挙動推定結果が加速である場合の報知装置５ｂの表示画像の一例を示す図である。
【００５８】
車両１の運転者による挙動を指示する入力が入力部４を介してなされると（ステップＳ２０３でＹｅｓ）、画像表示システム１００は、車両制御部２を介して、指示された挙動情報を取得する。さらに、画像表示システム１００は、指示された挙動を推定挙動として、図５のステップＳ１０４〜Ｓ１０９と同様の処理を行って、報知装置５ｂに現在画像Ｂ１及び将来画像Ｂ２を表示させる（ステップＳ２０４）。
【００５９】
例えば、本例では、車両１の運転者は、入力部４に、挙動「車線変更」を入力する。この場合、図９に示すように、現在画像Ｂ１では、挙動表示部Ｂ１ａに「車線変更」が表示され、車両１及びその周囲物の現在の鳥瞰図Ｂ１ｂが表示される。なお、図９は、車両１の運転者の指示に従った場合の報知装置５ｂの表示画像の一例を示す図である。また、現在及び現時点とは、車両１の運転者が入力部４に挙動「車線変更」を入力した直後の時点である。将来画像Ｂ２では、現時点から第二所定時間経過後の車両１及びその周囲物の鳥瞰図Ｂ２ｂが表示され、第二所定時間経過の前後で変化するパラメータ値Ｂ２ｃ、具体的には、車両１の速度が表示される。さらに、自動運転評価部１３は、指示された挙動を車両制御部２に出力し、車両制御部２は、取得した挙動に従って、車両１を制御する（ステップＳ２０５）。
【００６０】
車両１の運転者による挙動を指示する入力がなされない場合（ステップＳ２０３でＮｏ）、自動運転評価部１３は、推定された挙動「加速」を車両制御部２に出力し、車両制御部２は、取得した挙動「加速」に従って、車両１を制御する（ステップＳ２０６）。この場合、画像表示システム１００は、挙動「加速」に基づき生成する将来画像Ｂ２を、報知装置５ｂに表示させるが、挙動の変化が微小である場合には、将来画像Ｂ２を非表示させてもよい。
【００６１】
ステップＳ２０５に続くステップＳ２０７では、自動運転制御システム１０の学習部１１は、比較部１００ｃ等から運転者の指示挙動を取得し、この運転者の指示挙動を正解ラベルとして、専用挙動推定ＮＮの再学習を行う。具体的には、学習部１１は、挙動推定部１２が「加速」の挙動推定結果を得たときに専用挙動推定ＮＮに入力したパラメータを用い、これらのパラメータを専用挙動推定ＮＮに入力して得られる出力結果と、正解ラベル「車線変更」との一致度を高めるように、専用挙動推定ＮＮのノード間の重み付けを調節する。そして、学習部１１は、調節後の専用挙動推定ＮＮを記憶部７に格納する。
【００６２】
このように、自動運転制御システム１０の挙動推定結果と異なる挙動の実行が、車両１の運転者によって指示された場合、画像表示システム１００は、指示された挙動に対応した現在画像Ｂ１及び将来画像Ｂ２を生成する。さらに、自動運転制御システム１０は、挙動の推定精度を向上するために、指示された挙動を挙動推定結果の正解として扱い、専用挙動推定ＮＮの再学習を行う。なお、専用挙動推定ＮＮの再学習では、専用挙動推定ＮＮ自体に再学習させてもよく、汎用挙動推定ＮＮに再学習させた後、特定の運転者の運転履歴及び走行履歴を用いて、再学習後の汎用挙動推定ＮＮから専用挙動推定ＮＮを構築してもよい。
【００６３】
[３．効果等]
上述したように、実施の形態に係る画像表示システム１００は、第一処理部１００ａと、第二処理部１００ｂと、比較部１００ｃとを備える。第一処理部１００ａは、車両１の挙動の推定結果である挙動推定結果を取得し、挙動推定結果に基づき、車両１の第二所定時間経過後の将来の位置情報を生成する。第二処理部１００ｂは、車両１に関する現在の情報を取得し、取得した情報に基づき、車両１及び車両１の周囲物の現在の位置情報を生成する。比較部１００ｃは、車両１の将来の位置情報と、車両１及び車両１の周囲物の現在の位置情報とを比較し、車両１及び車両１の周囲物の現在の位置を示す現在画像データと、車両１及び車両１の周囲物の将来の位置を示す将来画像データとを生成する。さらに、比較部１００ｃは、現在画像データに基づく現在画像Ｂ１及び将来画像データに基づく将来画像Ｂ２を一緒に、表示装置としての報知装置５ｂに表示させる。例えば、車両１の周囲物は、車両１の他の車両であってもよい。
【００６４】
上記構成において、将来画像Ｂ２には、挙動推定結果、並びに、車両１及び車両１の周囲物の現在の位置情報が反映された車両１及び車両１の周囲物の将来の位置が表示される。現在画像Ｂ１には、車両１及び車両１の周囲物の現在の位置情報が反映された車両１及び車両１の周囲物の現在の位置が表示される。車両１の運転者は、一緒に表示される現在画像Ｂ１及び将来画像Ｂ２を目視することによって、自動運転中の車両１及びその周囲の状況における現在と将来との差異を視覚的に認識することができる。よって、画像表示システム１００は、車両１の将来の挙動に関する情報を提供し、運転者に安心感を与えることができる。
【００６５】
実施の形態に係る画像表示システム１００において、比較部１００ｃは、現在画像Ｂ１及び将来画像Ｂ２を並べて、報知装置５ｂに表示させる。上記構成において、現在画像Ｂ１及び将来画像Ｂ２は、重ねられずに並べて配置されるため、車両１の運転者は、現在画像Ｂ１及び将来画像Ｂ２の差異を容易に視認することができる。
【００６６】
実施の形態に係る画像表示システム１００において、車両１に関する現在の情報は、車両１の位置情報及び速度情報、車両１の位置の地図情報、並びに、車両１の周囲物の位置情報及び速度情報を含んでもよい。そして、比較部１００ｃは、現在画像Ｂ１及び将来画像Ｂ２において、車両１の位置の地図上に、車両１及び車両１の周囲物を表示する。上記構成において、車両１及び車両１の周囲物が、車両１の位置の地図上に表示されるため、車両１の運転者は、車両１及び車両１の周囲物を、道路等の状況と併せて視認することができる。よって、車両１の運転者は、車両１及び車両１の周囲物の状況を、より現実に即して認識することができる。
【００６７】
実施の形態に係る画像表示システム１００において、挙動推定結果は、機械学習を用いて、車両１の周囲の状況の情報及び車両１の走行状態の情報のうちの少なくとも一方から推定された結果である。上記構成において、機械学習を用いて推定される挙動は、運転者の経験に基づいた挙動となり、運転者に予測される挙動に近い挙動となり得る。つまり、機械学習を用いて推定される挙動は、運転者の感覚に近い挙動となり得る。よって、運転者の意図を反映した将来画像Ｂ２の形成が可能になる。例えば、機械学習は、ニューラルネットワークであってもよい。
【００６８】
実施の形態に係る画像表示システム１００において、比較部１００ｃは、車両１から、車両１の現在の速度情報及び操作情報を取得し、挙動推定結果と、車両１の現在の速度情報及び操作情報と用いて、車両１の将来の走行状態を示すパラメータ値を算出し、このパラメータ値を将来画像Ｂ２に表示する。上記構成において、車両１の運転者は、将来画像Ｂ２から、将来の車両１の位置だけでなく、車両１の走行状態も認識することができるため、車両１の将来の挙動をより正確に認識することができる。
【００６９】
実施の形態に係る画像表示システム１００は、車両１の運転者による挙動の指示を受け付け、第一処理部１００ａは、指示された挙動を挙動推定結果として処理する。上記構成において、車両１の運転者が意図する挙動を指示した場合でも、画像表示システム１００は、指示した挙動に対応する車両１及び車両１の周囲物の位置等を、運転者に提供することができる。
【００７０】
また、実施の形態に係る画像表示方法は、次の方法によって実現されてもよい。つまり、この画像表示方法では、車両に関する現在の情報を取得し、取得した情報に基づき、前記車両及び前記車両の周囲物の現在の位置情報を生成し、前記車両の挙動の推定結果である挙動推定結果を取得し、前記挙動推定結果に基づき、前記車両の所定時間経過後の将来の位置情報を生成し、前記車両の将来の位置情報と、前記車両及び前記車両の周囲物の現在の位置情報とを比較し、前記車両及び前記車両の周囲物の現在の位置を示す現在画像データと、前記車両及び前記車両の周囲物の将来の位置を示す将来画像データとを生成し、前記現在画像データに基づく現在画像及び前記将来画像データに基づく将来画像を一緒に表示する。
【００７１】
なお、上記方法は、ＭＰＵ（Ｍｉｃｒｏ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＣＰＵ、プロセッサ、ＬＳＩなどの回路、ＩＣカード又は単体のモジュール等によって、実現されてもよい。上記方法によっても、実施の形態に係る画像表示システム１００と同様の効果が得られる。
【００７２】
また。実施の形態での処理は、ソフトウェアプログラム又はソフトウェアプログラムからなるデジタル信号によって実現されてもよい。例えば、実施の形態での処理は、次のようなプログラムによって、実現される。つまり、このプログラムは、コンピュータに実行させるプログラムであって、車両に関する現在の情報を取得し、取得した情報に基づき、前記車両及び前記車両の周囲物の現在の位置情報を生成し、前記車両の挙動の推定結果である挙動推定結果を取得し、前記挙動推定結果に基づき、前記車両の所定時間経過後の将来の位置情報を生成し、前記車両の将来の位置情報と、前記車両及び前記車両の周囲物の現在の位置情報とを比較し、前記車両及び前記車両の周囲物の現在の位置を示す現在画像データと、前記車両及び前記車両の周囲物の将来の位置を示す将来画像データとを生成し、前記現在画像データに基づく現在画像及び前記将来画像データに基づく将来画像を一緒に表示することを実行させる。
【００７３】
なお、上記プログラム及び上記プログラムからなるデジタル信号は、コンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ（登録商標）  Ｄｉｓｃ）、半導体メモリ等に記録したものであってもよい。
【００７４】
また、上記プログラム及び上記プログラムからなるデジタル信号は、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものであってもよい。また、上記プログラム及び上記プログラムからなるデジタル信号は、記録媒体に記録して移送されることにより、又はネットワーク等を経由して移送されることにより、独立した他のコンピュータシステムにより実施されてもよい。
【００７５】
［その他］
以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これらに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態の変形例又は他の実施の形態にも適用可能である。また、実施の形態で説明する各構成要素を組み合わせて、新たな実施の形態又は変形例とすることも可能である。
【００７６】
例えば、実施の形態に係る画像表示システム等に含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【００７７】
なお、実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
【００７８】
さらに、本開示の技術は上記プログラムであってもよいし、上記プログラムが記録された非一時的なコンピュータ読み取り可能な記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
【００７９】
また、上記で用いた序数、数量等の数字は、全て本開示の技術を具体的に説明するために例示するものであり、本開示は例示された数字に制限されない。また、構成要素間の接続関係は、本開示の技術を具体的に説明するために例示するものであり、本開示の機能を実現する接続関係はこれに限定されない。
【００８０】
また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
【産業上の利用可能性】
【００８１】
本開示の画像表示システム等は、車両の運転に関する情報を処理する装置又はシステムに適用することができる。
【符号の説明】
【００８２】
１  車両
５ｂ  報知装置（表示装置）
１００  画像表示システム
１００ａ  第一処理部
１００ｂ  第二処理部
１００ｃ  比較部
Ｂ１  現在画像
Ｂ２  将来画像
【図１】
2018135075.tif 000003
【図２】
2018135075.tif 000004
【図３】
2018135075.tif 000005
【図４】
2018135075.tif 000006
【図５】
2018135075.tif 000007
【図６】
2018135075.tif 000008
【図７】
2018135075.tif 000009
【図８】
2018135075.tif 000010
【図９】
2018135075.tif 000011