(57)【要約】  本技術は、周辺の動体との衝突又は接触の危険性を分かりやすく通知することができるようにする情報処理装置、情報処理方法、プログラム、及び、移動体に関する。情報処理装置は、センサから入力される情報に基づいて移動体周辺の動体を検出する動体検出部と、前記動体の移動方向及び移動速度に応じて形状が変化するとともに、前記動体に関連づけて表示される第１の画像を生成する画像処理部とを備える。本技術は、例えば、動体への衝突又は接触を防止するための運転支援を行う装置、システム又は車両に適用できる。
2018088224.tif 000002
【特許請求の範囲】
【請求項１】
センサから入力される情報に基づいて移動体周辺の動体を検出する動体検出部と、
前記動体の移動方向及び移動速度に応じて形状が変化するとともに、前記動体に関連づけて表示される第１の画像を生成する画像処理部と
を備える情報処理装置。
【請求項２】
前記第１の画像は、前記動体から移動方向に伸び、前記動体の移動速度により移動方向の長さが変化するバーを含む
請求項１に記載の情報処理装置。
【請求項３】
前記バーの幅は、前記動体の幅により変化する
請求項２に記載の情報処理装置。
【請求項４】
前記第１の画像は、前記動体から前記動体の移動方向に広がり、前記動体の移動速度により移動方向の長さが変化する扇形の図形を含む
請求項１に記載の情報処理装置。
【請求項５】
前記扇形の図形の角度は、前記動体の移動方向の予測精度により変化する
請求項４に記載の情報処理装置。
【請求項６】
前記画像処理部は、前記動体が前記移動体に衝突又は接触する危険度に基づいて、前記第１の画像の表示効果を変化させる
請求項１に記載の情報処理装置。
【請求項７】
前記画像処理部は、前記危険度に基づいて、前記第１の画像の色及び透過度のうち少なくとも１つを変化させる
請求項６に記載の情報処理装置。
【請求項８】
前記画像処理部は、前記動体が前記移動体に衝突又は接触する危険度に基づいて、前記動体に対する前記第１の画像の表示の有無を制御する
請求項１に記載の情報処理装置。
【請求項９】
前記画像処理部は、前記動体の位置を示す第２の画像を生成する
請求項１に記載の情報処理装置。
【請求項１０】
前記第２の画像は、前記動体を囲むフレームを含む
請求項９に記載の情報処理装置。
【請求項１１】
前記画像処理部は、前記動体の種類に基づいて、前記第２の画像を変化させる
請求項９に記載の情報処理装置。
【請求項１２】
前記動体の種類は、車両、モータバイク、自転車、及び、歩行者の少なくとも４種類に分類される
請求項１１に記載の情報処理装置。
【請求項１３】
前記画像処理部は、前記移動体の周辺の画像である周辺画像、又は、前記移動体の搭乗者の視界に前記第１の画像を重畳させる
請求項１に記載の情報処理装置。
【請求項１４】
前記画像処理部は、前記周辺画像内又は前記搭乗者の視界内の路面上に前記第１の画像を重畳させる
請求項１３に記載の情報処理装置。
【請求項１５】
前記画像処理部は、前記周辺画像内又は前記搭乗者の視界内の路面上にグリッドを重畳させる
請求項１３に記載の情報処理装置。
【請求項１６】
前記画像処理部は、前記移動体が周辺の動体のいずれかに衝突又は接触する危険度を示す信号の表示をさらに制御する
請求項１に記載の情報処理装置。
【請求項１７】
前記検出された動体の動きを予測する動き予測部を
さらに備える請求項１に記載の情報処理装置。
【請求項１８】
移動体の周辺の動体の検出を行う動体検出ステップと、
移動体の周辺の動体の移動方向及び移動速度により形状が変化するとともに、前記動体に関連づけて表示される画像を生成する画像処理ステップと
を含む情報処理方法。
【請求項１９】
移動体の周辺の動体の検出を行う動体検出ステップと、
移動体の周辺の動体の移動方向及び移動速度により形状が変化するとともに、前記動体に関連づけて表示される画像を生成する画像処理ステップと
を含む処理をコンピュータに実行させるためのプログラム。
【請求項２０】
本体に配置され周辺の状況の検出に用いるセンサと、
前記センサの検出結果に基づいて、周辺の動体の検出を行う動体検出部と、
前記検出された動体の動きを予測する動き予測部と、
前記検出された動体の移動方向及び移動速度により形状が変化する画像を表示する表示部と
を備える移動体。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、情報処理装置、情報処理方法、プログラム、及び、移動体に関し、特に、周辺の動体との衝突又は接触の危険性を通知する場合に用いて好適な情報処理装置、情報処理方法、プログラム、及び、移動体に関する。
【背景技術】
【０００２】
従来、車両、自転車、歩行者等との衝突又は接触の危険性を運転者に通知する技術が開発されている。例えば、車両の周辺を撮像した画像において、ゼブラパターン等の動的パターンを車両に接近する接近対象物に付与して表示することが提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−２３９３２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一方、今後、自動運転の普及に伴い、運転操作の少なくとも一部の自動化が進むことにより、運転技量の低い運転者が運転する機会が増えることが予想される。これに対して、より確実に事故を防止するために、衝突又は接触の危険性をより確実に運転者に認識させることが望まれている。【０００５】
本技術は、このような状況に鑑みてなされたものであり、周辺の動体との衝突又は接触の危険性を分かりやすく通知することができるようにするものである。
【課題を解決するための手段】
【０００６】
本技術の第１の側面の情報処理装置は、センサから入力される情報に基づいて移動体周辺の動体を検出する動体検出部と、前記動体の移動方向及び移動速度に応じて形状が変化するとともに、前記動体に関連づけて表示される第１の画像を生成する画像処理部とを備える。【０００７】
前記第１の画像には、前記動体から移動方向に伸び、前記動体の移動速度により移動方向の長さが変化するバーを含ませることができる。【０００８】
前記バーの幅を、前記動体の幅により変化させることができる。【０００９】
前記第１の画像には、前記動体から前記動体の移動方向に広がり、前記動体の移動速度により移動方向の長さが変化する扇形の図形を含ませることができる。【００１０】
前記扇形の図形の角度を、前記動体の移動方向の予測精度により変化させることができる。【００１１】
前記画像処理部には、前記動体が前記移動体に衝突又は接触する危険度に基づいて、前記第１の画像の表示効果を変化させることができる。【００１２】
前記画像処理部には、前記危険度に基づいて、前記第１の画像の色及び透過度のうち少なくとも１つを変化させることができる。【００１３】
前記画像処理部には、前記動体が前記移動体に衝突又は接触する危険度に基づいて、前記動体に対する前記第１の画像の表示の有無を制御させることができる。【００１４】
前記画像処理部には、前記動体の位置を示す第２の画像を生成させることができる。【００１５】
前記第２の画像には、前記動体を囲むフレームを含ませることができる。【００１６】
前記画像処理部には、前記動体の種類に基づいて、前記第２の画像を変化させることができる。【００１７】
前記動体の種類を、車両、モータバイク、自転車、及び、歩行者の少なくとも４種類に分類することができる。【００１８】
前記画像処理部には、前記移動体の周辺の画像である周辺画像、又は、前記移動体の搭乗者の視界に前記第１の画像を重畳させることができる。【００１９】
前記画像処理部には、前記周辺画像内又は前記搭乗者の視界内の路面上に前記第１の画像を重畳させることができる。【００２０】
前記画像処理部には、前記周辺画像内又は前記搭乗者の視界内の路面上にグリッドを重畳させることができる。【００２１】
前記画像処理部には、前記移動体が周辺の動体のいずれかに衝突又は接触する危険度を示す信号の表示をさらに制御させることができる。【００２２】
前記検出された動体の動きを予測する動き予測部をさらに設けることができる。【００２３】
本技術の第２の側面の情報処理方法は、移動体の周辺の動体の検出を行う動体検出ステップと、移動体の周辺の動体の移動方向及び移動速度により形状が変化するとともに、前記動体に関連づけて表示される画像を生成する画像処理ステップとを含む。【００２４】
本技術の第２の側面のプログラムは、移動体の周辺の動体の検出を行う動体検出ステップと、移動体の周辺の動体の移動方向及び移動速度により形状が変化するとともに、前記動体に関連づけて表示される画像を生成する画像処理ステップとを含む処理をコンピュータに実行させる。【００２５】
本技術の第３の側面の移動体は、本体に配置され周辺の状況の検出に用いるセンサと、前記センサの検出結果に基づいて、周辺の動体の検出を行う動体検出部と、前記検出された動体の動きを予測する動き予測部と、前記検出された動体の移動方向及び移動速度により形状が変化する画像を表示する表示部とを備える。【００２６】
本技術の第１の側面又は第２の側面においては、移動体周辺の動体の検出が行われ、前記動体の移動方向及び移動速度に応じて形状が変化するとともに、前記動体に関連づけて表示される画像が生成される。【００２７】
本技術の第３の側面においては、周辺の動体が検出され、前記検出された動体の動きが予測され、前記検出された動体の移動方向及び移動速度により形状が変化する画像が表示される。
【発明の効果】
【００２８】
本技術の第１の側面乃至第３の側面によれば、移動体の周辺の動体の移動方向及び移動速度が示される。特に、本技術の第１の側面乃至第３の側面によれば、周辺の動体との衝突又は接触の危険性を分かりやすく通知することができる。【００２９】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。
【図面の簡単な説明】
【００３０】
【図１】本技術を適用した車載システムの一実施の形態を示すブロック図である。
【図２】カメラの設置位置の例を示す図である。
【図３】表示部の設置位置の例を示す図である。
【図４】周辺監視処理を説明するためのフローチャートである。
【図５】周辺監視画像における周辺画像の配置例を示す図である。
【図６】周辺監視画像の第１の例を示す図である。
【図７】グリッドの表示位置を説明するための図である。
【図８】周辺監視画像の第２の例を示す図である。
【図９】周辺監視画像の第３の例を示す図である。
【図１０】周辺監視画像の第４の例を示す図である。
【図１１】周辺監視画像の第５の例を示す図である。
【図１２】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００３１】
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．実施の形態
２．変形例
３．その他
【００３２】
＜＜１．実施の形態＞＞
＜１−１．車載システムの構成例＞
図１は、本技術を適用した車載システムの一実施の形態を示すブロック図である。
【００３３】
車載システム１０は、車両に搭載され、運転支援を行うシステムである。例えば、車載システム１０は、車両の周辺を監視し、周辺の車両、自転車、人等との衝突又は接触を防止するための処理を行う。より具体的には、車載システム１０は、衝突又は接触の危険性の通知、及び、衝突又は接触を回避するためのブレーキシステム等の制動装置の制御等を行う。
【００３４】
なお、車載システム１０が搭載される車両は、特に限定されるものではなく、例えば、三輪トラック、小型トラック、小型乗用車、大型乗用車、大型バス、大型トラック、大型特殊車、小型特殊車等を含む。また、以下、車載システム１０が搭載されている車両を自車両とも称し、自車両以外の車両を他車両とも称する。
【００３５】
車載システム１０は、周辺センサ１１、車両情報センサ１２、情報処理部１３、表示部１４、制動制御部１５、及び、制動装置１６を備える。
【００３６】
周辺センサ１１は、自車両の周辺の状況の検出に用いる各種のセンサを備える。例えば、周辺センサ１１は、自車両の周辺を撮影するカメラ（画像センサ）、自車両に近い物体の検出に用いる近距離センサ、並びに、自車両から遠い物体の検出に用いる遠距離センサ等を備える。近距離センサとしては、例えば、超音波センサ等が挙げられる。遠距離センサとしては、例えば、レーダ、ライダ、ＴＯＦ（Time of Flight）センサ等が挙げられる。周辺センサ１１の各センサは、それぞれ検出結果を含む情報を示すデータ（以下、周辺センサデータと称する）を周辺状況検出部３１に供給する。
【００３７】
なお、以下、周辺センサ１１の各カメラにより撮影された画像を周辺画像と称し、周辺画像を示すデータを周辺画像データと称する。周辺画像データは、周辺センサデータの一種である。
【００３８】
車両情報センサ１２は、自車両の動きの検出に用いる各種のセンサを備える。例えば、車両情報センサ１２は、速度センサ、操舵角センサ、ＧＰＳ（global positioning system）受信機等を備える。車両情報センサ１２は、それぞれ検出結果を示すデータ（以下、車両センサデータと称する）を動き予測部３２に供給する。
【００３９】
なお、自車両に予め備えられているセンサを、周辺センサ１１及び車両情報センサ１２の一部又は全部に用いるようにしてもよい。
【００４０】
情報処理部１３は、例えば、ＥＣＵ（Electronic Control Unit）等により構成される。情報処理部１３は、周辺状況検出部３１、動き予測部３２、衝突予測部３３、及び、ＨＭＩ（Human Machine Interface）制御部３４を備える。
【００４１】
周辺状況検出部３１は、周辺センサデータに基づいて、自車両の周辺の状況の検出を行う。周辺状況検出部３１は、空間生成部４１及び動体検出部４２を備える。
【００４２】
空間生成部４１は、周辺センサデータに基づいて、自車両の周辺の物体の形状や位置等を示す３次元空間マップを生成する。空間生成部４１は、３次元空間マップを動き予測部３２及びＨＭＩ制御部３４に供給する。また、空間生成部４１は、周辺センサデータのうち周辺画像データをＨＭＩ制御部３４に供給する。
【００４３】
動体検出部４２は、周辺センサデータ及び３次元空間マップに基づいて、自車両の周辺の動体の検出を行う。動体検出部４２は、動体の検出結果を動き予測部３２及びＨＭＩ制御部３４に供給する。
【００４４】
動き予測部３２は、車両センサデータに基づいて、自車両の動き予測を行う。また、動き予測部３２は、３次元空間マップ及び動体の検出結果に基づいて、自車両の周辺の動体の動き予測を行う。動き予測部３２は、自車両及び自車両の周辺の動体の動きの予測結果を衝突予測部３３及びＨＭＩ制御部３４に供給する。
【００４５】
衝突予測部３３は、自車両及び自車両の周辺の動体の動きの予測結果に基づいて、自車両の周辺の動体の衝突予測を行う。衝突予測部３３は、衝突予測の結果をＨＭＩ制御部３４及び制動制御部１５に供給する。
【００４６】
ＨＭＩ制御部３４は、自車両のＨＭＩの制御を行う。例えば、ＨＭＩ制御部３４は、３次元空間マップ、自車両の周辺の動体の検出結果、並びに、自車両の周辺の動体の動き予測及び衝突予測の結果に基づいて、自車両の周辺の状況を示す周辺監視画像を表示するための周辺監視画像データを生成する。ＨＭＩ制御部３４は、周辺監視画像データを表示部１４に供給し、周辺監視画像を表示させる。この場合、ＨＭＩ制御部３４は、画像処理部として機能する。
【００４７】
表示部１４は、例えば、各種のディスプレイ等により構成される。表示部１４は、ＨＭＩ制御部３４の制御の下に、周辺監視画像等の各種の画像を表示する。
【００４８】
制動制御部１５は、例えば、ＥＣＵ（Electronic Control Unit）等により構成される。制動制御部１５は、衝突予測部３３による衝突予測結果に基づいて、制動装置１６を制御して、自車両の緊急停止等を行う。
【００４９】
制動装置１６は、例えば、自車両のブレーキシステム等により構成される。
【００５０】
＜１−２．カメラの配置例＞
図２は、周辺センサ１１が備えるカメラの配置例を示している。
【００５１】
カメラ１０１は、例えば車両１００のフロントバンパーの左端付近に配置される。カメラ１０１は、運転者の死角となる領域を含む車両１００の左方向を撮影し、撮影の結果得られた画像（以下、左画像と称する）を示す画像データを周辺状況検出部３１に供給する。
【００５２】
カメラ１０２は、例えば車両１００のフロントバンパーの右端付近に配置される。カメラ１０２は、運転者の死角となる領域を含む車両１００の右方向を撮影し、撮影の結果得られた画像（以下、右画像と称する）を示す画像データを周辺状況検出部３１に供給する。
【００５３】
カメラ１０３は、例えば車両１００のフロントグリル近傍に配置される。カメラ１０２は、運転者の死角となる領域を含む車両１００の前方を撮影し、撮影の結果得られた画像（以下、前方画像Ａと称する）を示す画像データを周辺状況検出部３１に供給する。
【００５４】
カメラ１０４は、例えば車両１００の室内のルームミラー近傍に配置される。カメラ１０４は、車両１００の前方を撮影し、撮影の結果得られた画像（以下、前方画像Ｂと称する）を示す画像データを周辺状況検出部３１に供給する。
【００５５】
＜１−３．表示部１４の配置例＞
図３は、表示部１４の配置例を示している。
【００５６】
表示部１４については、自車両に予め備えられている装備を利用してもよいし、専用のディスプレイ等を設けてもよい。例えば、自車両のカーナビゲーションシステムのディスプレイ１３１や、インストルメントパネル１３２を表示部１４として用いることが可能である。また、例えば、表示部１４を自車両のウインドシールド１３３の運転席の前方の領域Ｐ１に重畳して設けられる透過型ディスプレイにより構成することが可能である。
【００５７】
＜１−４．周辺監視処理＞
次に、図４のフローチャートを参照して、車載システム１０により実行される周辺監視処理について説明する。この処理は、例えば、自車両を起動し、運転を開始するための操作が行われたとき、例えば、自車両のイグニッションスイッチ、パワースイッチ、又は、スタートスイッチ等がオンされたとき開始される。また、この処理は、例えば、運転を終了するための操作が行われたとき、例えば、自車両のイグニッションスイッチ、パワースイッチ、又は、スタートスイッチ等がオフされたとき終了する。
【００５８】
ステップＳ１において、情報処理部１３は、センサ情報を取得する。具体的には、周辺状況検出部３１は、周辺センサ１１の各センサから周辺センサデータを取得する。動き予測部３２は、車両情報センサ１２の各センサから車両センサデータを取得する。
【００５９】
ステップＳ２において、空間生成部４１は、空間生成処理を行う。すなわち、空間生成部４１は、周辺センサデータに基づいて、自車両の周辺の物体の形状や位置等を示す３次元空間マップを生成する（或いは、更新する）。なお、自車両の周辺の物体には、動体だけでなく、静止物（例えば、建物、路面等）も含まれる。空間生成部４１は、生成した３次元空間マップを動き予測部３２及びＨＭＩ制御部３４に供給する。
【００６０】
なお、３次元空間マップの生成方法には、任意の方法を用いることが可能である。例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術が用いられる。
【００６１】
ステップＳ３において、動体検出部４２は、動体検出を行う。具体的には、動体検出部４２は、周辺センサデータ及び３次元空間マップに基づいて、自車両の周辺の動体の検出を行う。例えば、動体検出部４２は、自車両の周辺の動体の有無、動体の種類、大きさ、形状、位置等の検出を行う。動体検出部４２は、動体の検出結果を動き予測部３２及びＨＭＩ制御部３４に供給する。
【００６２】
なお、動体の検出方法には、任意の方法を用いることが可能である。また、検出対象となる動体には、実際に動いている動体だけでなく、停車中の車両や自転車、停止中の歩行者等の一時的に静止している動体も含まれる。
【００６３】
さらに、動体検出部４２は、例えば、３次元空間マップを用いずに、周辺センサデータのみに基づいて、自車両の周辺の動体の検出を行うことも可能である。この場合、ステップＳ２とステップＳ３の処理を入れ替えることが可能である。
【００６４】
ステップＳ４において、動体検出部４２は、ステップＳ３の処理の結果に基づいて、周辺に動体が存在するか否かを判定する。周辺に動体が存在しないと判定された場合、処理はステップＳ１に戻る。
【００６５】
その後、ステップＳ４において、周辺に動体が存在すると判定されるまで、ステップＳ１乃至ステップＳ４の処理が繰り返し実行される。
【００６６】
一方、ステップＳ４において、周辺に動体が存在すると判定された場合、処理はステップＳ５に進む。
【００６７】
ステップＳ５において、動き予測部３２は、動き予測を行う。具体的には、動き予測部３２は、車両センサデータに基づいて、自車両の移動速度及び移動方向等の予測を行う。また、動き予測部３２は、３次元空間マップ、及び、自車両の周辺の動体の検出結果に基づいて、自車両の周辺の動体の移動速度及び移動方向等の予測を行う。動き予測部３２は、予測結果を衝突予測部３３及びＨＭＩ制御部３４に供給する。
【００６８】
なお、動き予測の方法には、任意の方法を用いることが可能である。
【００６９】
ステップＳ６において、衝突予測部３３は、衝突予測を行う。具体的には、衝突予測部３３は、自車両及び自車両の周辺の動体の動きの予測結果に基づいて、自車両の周辺の動体が自車両に衝突又は接触する可能性があるか否か、並びに、衝突又は接触する可能性のある動体の衝突又は接触するまでの所要時間（以下、衝突予測時間と称する）を予測する。
【００７０】
また、衝突予測部３３は、各動体が自車両に衝突又は接触する危険度を予測し、あらかじめ決められた定義に基づきランクを設定する。例えば、静止中の動体、及び、自車両から離れる方向に移動中の動体は、危険度１に設定される。自車両に接近する方向に移動中の動体のうち、衝突予測時間がＴ１秒（例えば、５秒）を超える動体は、危険度２に設定される。自車両に接近する方向に移動中の動体のうち、衝突予測時間がＴ１秒以内、かつ、Ｔ２秒（例えば１秒）を超える動体は、危険度３に設定される。自車両に接近する方向に移動中の動体のうち、衝突予測時間がＴ２秒以内である動体は、危険度４に設定される。
【００７１】
なお、静止中の動体、及び、自車両から離れる方向に移動中の動体についても、衝突予測時間に基づいて、危険度２乃至４のいずれかに設定するようにしてもよい。
【００７２】
衝突予測部３３は、衝突予測の結果をＨＭＩ制御部３４及び制動制御部１５に供給する。
【００７３】
ステップＳ７において、衝突予測部３３は、衝突又は接触の危険性があるか否かを判定する。例えば、衝突予測部３３は、自車両の周辺に危険度３以上の動体が存在しない場合、衝突及び接触の危険性がないと判定し、処理はステップＳ１に戻る。
【００７４】
その後、ステップＳ７において、衝突又は接触の危険性があると判定されるまで、ステップＳ１乃至ステップＳ７の処理が繰り返し実行される。
【００７５】
一方、ステップＳ７において、例えば、衝突予測部３３は、自車両の周辺に危険度３以上の動体が存在する場合、衝突又は接触の危険性があると判定し、処理はステップＳ８に進む。
【００７６】
ステップＳ８において、ＨＭＩ制御部３４は、動体種別を設定する。例えば、ＨＭＩ制御部３４は、動体検出部４２により検出された動体を、車両、モータバイク、自転車、歩行者、及び、その他の５種類に分類する。なお、モータバイクも車両の一種であるが、ここでは、モータバイクと、それ以外の車両とが区別されている。
【００７７】
ステップＳ９において、ＨＭＩ制御部３４は、重畳画像の表示位置を算出する。重畳画像は、例えば、各動体の位置を示すフレーム（以下、動体フレームと称する）、及び、各動体の予測される動きを示すバー（以下、動き予測バーと称する）を含む。図８を参照して後述するように、運転者に提示される周辺監視画像において、動体フレーム及び動き予測バーが、動体毎に周辺画像に重畳して表示される。
【００７８】
そこで、ＨＭＩ制御部３４は、３次元空間マップにおける各動体の位置、並びに、各動体の進行方向から見た各動体の高さ及び幅等に基づいて、各動体に対応する動体フレームの３次元空間マップにおける表示位置を算出する。
【００７９】
また、ＨＭＩ制御部３４は、各動体の動き予測の結果に基づいて、３次元空間マップにおける各動体のｘ秒後（例えば、１秒後）の位置を算出する。次に、ＨＭＩ制御部３４は、３次元空間マップ上の各動体の現在位置とｘ秒後の位置とに基づいて、各動体に対応する動き予測バーの３次元空間マップ上の表示位置を算出する。例えば、ＨＭＩ制御部３４は、現在の各動体の進行方向の先端を始点とし、ｘ秒後の各動体の進行方向の先端を終点とすることにより、動き予測バーの長さ及び方向を算出する。
【００８０】
ステップＳ１０において、車載システム１０は、周辺の状況を提示する。具体的には、ＨＭＩ制御部３４は、３次元空間マップにおける重畳画像（動体フレーム及び動き予測バー等）の表示位置を、運転者に提示する周辺画像における表示位置に変換する。また、ＨＭＩ制御部３４は、３次元空間マップにおける路面の位置を周辺画像における表示位置に変換し、周辺画像における路面の位置を示すグリッドの表示位置を算出する。そして、ＨＭＩ制御部３４は、周辺監視画像を示す周辺監視画像データを生成し、表示部１４に供給し、周辺監視画像を表示させる。
【００８１】
ここで、図５乃至図９を参照して、周辺監視画像の具体例について説明する。
【００８２】
図５は、周辺監視画像における周辺画像の配置例を示している。
【００８３】
図５のＡの例では、左画像及び右画像が離れて配置されている。左右それぞれの画像は１つの表示部に表示されてもよいし、離れた位置に配置される２つの表示部に分けて表示されてもよい。
【００８４】
図５のＢの例では、左画像及び右画像が左右に並べて配置されている。
【００８５】
図５のＣの例では、左画像、前方画像（前方画像Ａ又は前方画像Ｂのいずれか）、及び、右画像が左右に並べて配置されている。
【００８６】
図５のＤの例では、左画像、前方画像Ａ及び前方画像Ｂの少なくとも一方、並びに、右画像に基づいて生成されたパノラマ画像が配置されている。
【００８７】
図６は、周辺監視画像の具体例を示している。なお、図６には、周辺監視画像のうち、図５のＡ乃至図５のＣの右画像が表示される部分の例が示されている。また、自車両の周辺に動体が存在しない場合の例が示されている。
【００８８】
周辺監視画像には、信号２０１及び周辺画像２０２（この例では、右画像）が上下に並べて配置されている。
【００８９】
信号２０１は、周辺画像内の実世界の信号とは別に独自に表示されるものであり、自車両の周辺の全体的な危険度を示す。例えば、周辺画像２０２内に危険度が３以上の動体が存在しない場合、安全であることを示す信号２０１の青色のランプが点灯する。例えば、周辺画像２０２内に危険度３の動体が存在し、危険度４の動体が存在しない場合、注意が必要であることを示す信号２０１の黄色のランプが点灯する。例えば、周辺画像２０２内に危険度４の動体が存在する場合、危険であることを示す信号２０１の赤色のランプが点灯する。
【００９０】
なお、信号２０１は、周辺監視画像内の周辺画像毎に表示するようにしてもよいし、全ての周辺画像に対して１つのみ表示するようにしてもよい。前者の場合、各周辺画像内の動体の危険度に基づいて、各周辺画像に対応する信号２０１の点灯するランプが個別に切り替わる。後者の場合、全ての周辺画像内の動体の危険度に基づいて、信号２０１の点灯するランプが切り替わる。
【００９１】
また、周辺画像２０２内の路面には、グリッドが重畳して表示されている。これにより、運転者が、路面の位置、及び、路面上の動体等の位置や移動方向を把握しやすくなる。このグリッドは、例えば、図７に示されるように、交差点の位置に合わせて表示される。
【００９２】
図８は、図６の周辺監視画像の周辺画像２０２内に動体が存在する場合の例を示している。この例では、車両２２１、自転車２２２、及び、歩行者２２３が、周辺画像２０２内に存在する。
【００９３】
車両２２１は、右方向から自車両に接近している。そして、車両２２１に関連づけて、動体フレームＦ１及び動き予測バーＭ１が表示されている。
【００９４】
動体フレームＦ１は、車両２２１の前方を囲んでいる。従って、動体フレームＦ１のサイズは、周辺画像２０２内の車両２２１の前方の高さ及び幅に合わせて設定される。動体フレームＦ１の上辺には、動体フレームＦ１内の動体の種類が車両であることを示すマークが表示されている。
【００９５】
動き予測バーＭ１は、車両２２１が走行中の路面に重畳して表示される図形で、車両２２１の移動方向及び移動速度によりその形状が変化する。具体的には、動き予測バーＭ１は、動体フレームＦ１の下辺から路面に沿って車両２２１の移動方向に伸びている。動き予測バーＭ１の先端は、ｘ秒後の車両２２１の先端の予測位置に設定される。従って、動き予測バーＭ１の車両２２１の移動方向の長さは、車両２２１の速度に応じて伸縮する。この動き予測バーＭ１の伸縮により、車両２２１の加速度が示される。例えば、車両２２１が定速走行をしている場合、動き予測バーＭ１の長さはほぼ一定に保たれる。車両２２１が加速している場合、動き予測バーＭ１は次第に長くなる。車両２２１が減速している場合、動き予測バーＭ１は次第に短くなる。また、車両２２１の移動方向に合わせて、動き予測バーＭ１の向きが変化する。動き予測バーＭ１の幅は、動体フレームＦ１の幅（車両２２１の前方の幅）に合わせられる。
【００９６】
運転者は、動体フレームＦ１により、車両２２１の存在及び現在位置を容易に把握することができる。また、運転者は、動き予測バーＭ１により、車両２２１の予測される動きを容易に把握することができる。
【００９７】
自転車２２２は、右方向から自車両に接近している。そして、自転車２２２に関連づけて、動体フレームＦ２及び動き予測バーＭ２が表示されている。
【００９８】
動体フレームＦ２は、自転車２２２の前方を囲んでいる。従って、動体フレームＦ２のサイズは、周辺画像２０２内の自転車２２２及びその運転者の前方の高さ及び幅に合わせて設定される。動体フレームＦ２の上辺には、動体フレームＦ２内の動体の種類が自転車であることを示すマークが表示されている。
【００９９】
動き予測バーＭ２は、自転車２２２が走行中の路面に重畳して表示され、自転車２２２の移動方向及び移動速度により形状が変化する。具体的には、動き予測バーＭ２は、動体フレームＦ２の下辺から路面に沿って自転車２２２の移動方向に伸びている。動き予測バーＭ２の先端は、ｘ秒後の自転車２２２の先端の予測位置に設定される。従って、動き予測バーＭ２の自転車２２２の移動方向の長さは、動き予測バーＭ１と同様に、自転車２２２の速度に応じて伸縮する。また、自転車２２２の移動方向に合わせて、動き予測バーＭ２の向きが変化する。動き予測バーＭ２の幅は、動体フレームＦ２の幅（自転車２２２及びその運転者の前方の幅）に合わせられる。
【０１００】
運転者は、動体フレームＦ２により、自転車２２２の存在及び現在位置を容易に把握することができる。また、運転者は、動き予測バーＭ２により、自転車２２２の予測される動きを容易に把握することができる。
【０１０１】
歩行者２２３は、自車両の右方向において静止している。従って、歩行者２２３に関連づけて、動体フレームＦ３のみが表示され、動き予測バーは表示されていない。
【０１０２】
動体フレームＦ３は、歩行者２２３の前方を囲んでいる。従って、動体フレームＦ３のサイズは、周辺画像２０２内の歩行者２２３の前方の高さ及び幅に合わせて設定される。動体フレームＦ３の上辺には、動体フレームＦ３内の動体の種類が歩行者であることを示すマークが表示されている。
【０１０３】
運転者は、動体フレームＦ３により、歩行者２２３の存在及び現在位置を容易に把握することができる。
【０１０４】
また、例えば、重畳画像（動体フレーム及び動き予測バー）の色は、対応する動体の危険度に基づいて変化する。例えば、危険度１の動体に対応する動体フレーム及び動き予測バーの色は、白に設定される。危険度２の動体に対応する動体フレーム及び動き予測バーの色は、緑に設定される。危険度３の動体に対応する動体フレーム及び動き予測バーの色は、黄に設定される。危険度４の動体に対応する動体フレーム及び動き予測バーの色は、赤に設定される。これにより、運転者は、各動体の危険度を容易に把握することができる。
【０１０５】
なお、図８の例では、各動き予測バーを色分けできないため、異なるパターンで示している。
【０１０６】
図９は、車両２２１が危険度４の場合の周辺監視画像の例を示している。この場合、信号２０１の赤のランプが点灯する。また、図８の例と同様に、車両２２１に関連づけて、動体フレームＦ１１及び動き予測バーＭ１１が表示される。ただし、動体フレームＦ１１及び動き予測バーＭ１１の色は、車両２２１が危険度４であることを示す赤に設定される。また、動体フレームＦ１１内に、運転者に注意を促すマークが表示される。
【０１０７】
これにより、運転者は、周辺の動体との衝突又は接触の危険性を迅速に把握し、事故を回避するための対処を行うことができる。
【０１０８】
なお、危険度４の動体が複数存在する場合、それらの全てに対して、図９に示される動体フレームを表示するようにしてもよいし、或いは、最も危険度が高い動体（例えば、最も衝突予測時間が短い動体）に対してのみ、図９に示される動体フレームを表示するようにしてもよい。
【０１０９】
図４に戻り、ステップＳ１１において、制動制御部１５は、緊急停止が必要であるか否かを判定する。例えば、制動制御部１５は、自車両の周辺の動体の中に危険度４の動体が存在しない場合、緊急停止の必要がないと判定し、処理はステップＳ１に戻る。
【０１１０】
その後、ステップＳ１１において、緊急停止が必要であると判定されるまで、ステップＳ１乃至ステップＳ１１の処理が繰り返し実行される。
【０１１１】
一方、ステップＳ１１において、例えば、制動制御部１５は、自車両の周辺の動体の中に危険度４の動体が存在する場合、緊急停止の必要があると判定し、処理はステップＳ１２に進む。
【０１１２】
ステップＳ１２において、制動制御部１５は、制動装置１６を制御して、自車両を緊急停止させる。これにより、自車両の周辺の動体との衝突又は接触が防止される。
【０１１３】
その後、周辺監視処理は終了する。
【０１１４】
以上のようにして、自車両の周辺の動体との衝突又は接触の危険性を分かりやすく通知することができ、運転者が衝突又は接触の危険性を確実に認識することができる。また、危険度４の動体が存在する場合、緊急停止が行われるため、事故の発生が防止される。
【０１１５】
＜＜２．変形例＞＞
以下、上述した本開示に係る技術の実施の形態の変形例について説明する。
【０１１６】
＜２−１．重畳画像に関する変形例＞
例えば、上述した動き予測バー以外の画像を用いて、動体の予測される動きを示すようにしてもよい。
【０１１７】
例えば、図１０の扇形の図形Ｍ２１により、車両２２１の予測される動きを示すようにしてもよい。図形Ｍ２１は、路面上に表示され、車両２２１の移動方向に広がっている。その角度（広がり）は、例えば、車両の移動方向の予測精度に基づいて設定される。例えば、予測精度が高い場合、すなわち車両２２１の移動方向の予測結果のバラツキが小さい場合、扇形の角度は小さくなる。一方、予測精度が低い場合、すなわち車両２２１の移動方向の予測結果のバラツキが大きい場合、扇形の角度は大きくなる。また、上述した動き予測バーと同様に、図形Ｍ２１の車両２２１の移動方向の長さは、車両２２１の移動速度により変化し、図形Ｍ２１の向きは、車両２２１の移動方向により変化する。
【０１１８】
また、例えば、図１１の楕円形の図形Ｍ３１により、車両２２１の予測される動きを示すようにしてもよい。図形Ｍ３１は、路面上において、車両２２１の周囲を囲んでいる。上述した動き予測バーと同様に、図形Ｍ３１の車両２２１の移動方向の長さは、車両２２１の移動速度により変化し、図形Ｍ３１の向きは、車両２２１の移動方向により変化する。
【０１１９】
さらに、例えば、動体フレームを、動体のエッジを縁取った形状にしてもよい。これにより、運転者は、自車両の周辺の動体の形状をより把握しやすくなる。
【０１２０】
また、例えば、動体の種類により、動体フレームの表示効果（色、形状等）を変化させるようにしてもよい。さらに、例えば、車両、モータバイク、自転車、歩行者、及び、その他の５種類以外の種類に動体を分類し、動体の種類により、動体フレームの表示効果を変化させるようにしてもよい。
【０１２１】
また、周辺画像内に動体が多く存在する場合、全ての動体に対して重畳画像を表示すると、かえって画像が見づらくなる場合がある。そこで、例えば、各動体の危険度に基づいて、重畳画像の表示の有無を制御することにより、重畳画像を表示する動体の数を制限するようにしてもよい。
【０１２２】
例えば、危険度が上位のｎ個の動体（例えば、衝突予測時間が短い順に上位のｎ個の動体）に対してのみ重畳画像を表示するようにしてもよい。また、例えば、周辺画像内の動体の数が所定の閾値を超える場合、危険度が所定の閾値以上（例えば、危険度３以上）の動体に対してのみ、重畳画像を表示するようにしてもよい。
【０１２３】
また、以上の説明では、対応する動体の危険度に応じて重畳画像の色を変化させる例を示したが、他の表示効果を変化させるようしてもよい。例えば、動体バーの透過度や模様を変化させるようにしてもよい。また、例えば、重畳画像の色と透過度のように複数の表示効果を変化させるようにしてもよい。さらに、例えば、危険度４の動体に対する重畳画像を点滅させてもよい。
【０１２４】
また、例えば、表示部１４が自車両のウインドシールド部分に重畳して設けられた透過型ディスプレイにより構成される場合、自車両の運転者等の搭乗者の視界に対して、ＡＲ（拡張現実）等により重畳画像を重畳させることが可能である。
【０１２５】
＜２−２．システムの構成に関する変形例＞
図１の車載システム１０の構成例は、その一例であり、必要に応じて変更することが可能である。
【０１２６】
例えば、情報処理部１３を複数に分割したり、情報処理部１３の一部と制動制御部１５とを組み合わせたり、制動制御部１５を情報処理部１３に含めたりすることが可能である。
【０１２７】
また、例えば、周辺センサデータの一部を、自車両の外部（例えば、車道沿い）に設けられたセンサから取得するようにすることが可能である。
【０１２８】
＜２−３．適用例＞
本技術は、車両以外の移動体にも適用することが可能である。例えば、モータバイクを運転する運転者のヘルメットのシールドに重畳して設けられた透過型ディスプレイにより、運転者の視界に対して、ＡＲ等により重畳画像を重畳させることが可能である。
【０１２９】
また、以上の説明では、主に運転者に対して重畳画像を表示する例を示したが、運転者以外の搭乗者に対して、重畳画像を表示するようにしてもよい。さらに、例えば、車両が全自動運転される場合、実質的に車両内に運転者が存在しない可能性があるが、その車両に搭乗している搭乗者に対して重畳画像を表示するようにしてもよい。
【０１３０】
＜＜３．その他＞＞
＜３−１．コンピュータの構成例＞
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１３１】
図１２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１３２】
コンピュータにおいて、CPU（Central Processing Unit）４０１，ROM（Read Only Memory）４０２，RAM（Random Access Memory）４０３は、バス４０４により相互に接続されている。
【０１３３】
バス４０４には、さらに、入出力インターフェース４０５が接続されている。入出力インターフェース４０５には、入力部４０６、出力部４０７、記録部４０８、通信部４０９、及びドライブ４１０が接続されている。
【０１３４】
入力部４０６は、入力スイッチ、ボタン、マイクロホン、撮像素子などよりなる。出力部４０７は、ディスプレイ、スピーカなどよりなる。記録部４０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部４０９は、ネットワークインターフェースなどよりなる。ドライブ４１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体４１１を駆動する。
【０１３５】
以上のように構成されるコンピュータでは、CPU４０１が、例えば、記録部４０８に記録されているプログラムを、入出力インターフェース４０５及びバス４０４を介して、RAM４０３にロードして実行することにより、上述した一連の処理が行われる。
【０１３６】
コンピュータ（CPU４０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体４１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１３７】
コンピュータでは、プログラムは、リムーバブル記録媒体４１１をドライブ４１０に装着することにより、入出力インターフェース４０５を介して、記録部４０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部４０９で受信し、記録部４０８にインストールすることができる。その他、プログラムは、ROM４０２や記録部４０８に、あらかじめインストールしておくことができる。
【０１３８】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１３９】
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０１４０】
さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１４１】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１４２】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１４３】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１４４】
＜３−２．構成の組み合わせ例＞
本技術は、以下のような構成をとることもできる。
【０１４５】
（１）
センサから入力される情報に基づいて移動体周辺の動体を検出する動体検出部と、
前記動体の移動方向及び移動速度に応じて形状が変化するとともに、前記動体に関連づけて表示される第１の画像を生成する画像処理部と
を備える情報処理装置。
（２）
前記第１の画像は、前記動体から移動方向に伸び、前記動体の移動速度により移動方向の長さが変化するバーを含む
前記（１）に記載の情報処理装置。
（３）
前記バーの幅は、前記動体の幅により変化する
前記（２）に記載の情報処理装置。
（４）
前記第１の画像は、前記動体から前記動体の移動方向に広がり、前記動体の移動速度により移動方向の長さが変化する扇形の図形を含む
前記（１）に記載の情報処理装置。
（５）
前記扇形の図形の角度は、前記動体の移動方向の予測精度により変化する
前記（４）に記載の情報処理装置。
（６）
前記画像処理部は、前記動体が前記移動体に衝突又は接触する危険度に基づいて、前記第１の画像の表示効果を変化させる
前記（１）乃至（５）のいずれかに記載の情報処理装置。
（７）
前記画像処理部は、前記危険度に基づいて、前記第１の画像の色及び透過度のうち少なくとも１つを変化させる
前記（６）に記載の情報処理装置。
（８）
前記画像処理部は、前記動体が前記移動体に衝突又は接触する危険度に基づいて、前記動体に対する前記第１の画像の表示の有無を制御する
前記（１）乃至（７）のいずれかに記載の情報処理装置。
（９）
前記画像処理部は、前記動体の位置を示す第２の画像を生成する
前記（１）乃至（８）のいずれかに記載の情報処理装置。
（１０）
前記第２の画像は、前記動体を囲むフレームを含む
前記（９）に記載の情報処理装置。
（１１）
前記画像処理部は、前記動体の種類に基づいて、前記第２の画像を変化させる
前記（９）又は（１０）に記載の情報処理装置。
（１２）
前記動体の種類は、車両、モータバイク、自転車、及び、歩行者の少なくとも４種類に分類される
前記（１１）に記載の情報処理装置。
（１３）
前記画像処理部は、前記移動体の周辺の画像である周辺画像、又は、前記移動体の搭乗者の視界に前記第１の画像を重畳させる
前記（１）乃至（１２）のいずれかに記載の情報処理装置。
（１４）
前記画像処理部は、前記周辺画像内又は前記搭乗者の視界内の路面上に前記第１の画像を重畳させる
前記（１３）に記載の情報処理装置。
（１５）
前記画像処理部は、前記周辺画像内又は前記搭乗者の視界内の路面上にグリッドを重畳させる
前記（１３）又は（１４）に記載の情報処理装置。
（１６）
前記画像処理部は、前記移動体が周辺の動体のいずれかに衝突又は接触する危険度を示す信号の表示をさらに制御する
前記（１）乃至（１５）のいずれかに記載の情報処理装置。
（１７）
前記検出された動体の動きを予測する動き予測部を
さらに備える前記（１）乃至（１６）のいずれかに記載の情報処理装置。
（１８）
移動体の周辺の動体の検出を行う動体検出ステップと、
移動体の周辺の動体の移動方向及び移動速度により形状が変化するとともに、前記動体に関連づけて表示される画像を生成する画像処理ステップと
を含む情報処理方法。
（１９）
移動体の周辺の動体の検出を行う動体検出ステップと、
移動体の周辺の動体の移動方向及び移動速度により形状が変化するとともに、前記動体に関連づけて表示される画像を生成する画像処理ステップと
を含む処理を実行させるためのプログラム。
（２０）
本体に配置され周辺の状況の検出に用いるセンサと、
前記センサの検出結果に基づいて、周辺の動体の検出を行う動体検出部と、
前記検出された動体の動きを予測する動き予測部と、
前記検出された動体の移動方向及び移動速度により形状が変化する画像を表示する表示部と
を備える移動体。
【符号の説明】
【０１４６】
１０  車載システム，  １１  周辺センサ，  １２  車両情報センサ，  １３  情報処理部，  １４  表示部，  １５  制動制御部，  １６  制動装置，  ３１  周辺状況検出部，  ３２  動き予測部，  ３３  衝突予測部，  ３４  ＨＭＩ制御部，  １００  車両，  １０１乃至１０４  カメラ，  ２０１  信号，  ２０２  周辺画像，  Ｆ１乃至Ｆ３  動体フレーム,  Ｍ１乃至Ｍ１１  動体バー，  Ｍ２１，Ｍ３１  図形
【図１】
2018088224.tif 000003
【図２】
2018088224.tif 000004
【図３】
2018088224.tif 000005
【図４】
2018088224.tif 000006
【図５】
2018088224.tif 000007
【図６】
2018088224.tif 000008
【図７】
2018088224.tif 000009
【図８】
2018088224.tif 000010
【図９】
2018088224.tif 000011
【図１０】
2018088224.tif 000012
【図１１】
2018088224.tif 000013
【図１２】
2018088224.tif 000014
【国際調査報告】
2018088224.tif 000015
2018088224.tif 000016
2018088224.tif 000017
2018088224.tif 000018