(57)【特許請求の範囲】
【請求項１】
移動体に搭載され、撮像により周囲情報を取得する撮像素子と、前記周囲情報による撮像画像と前記移動体の周囲状況を表す仮想画像とを作成するコントローラと、前記仮想画像を表示するディスプレイと、を備えた移動体周囲表示装置の移動体周囲表示方法であって、
前記移動体の周囲において、前記仮想画像を複数に分割し、分割した仮想画像に対応する領域ごとに注意度を算出し、
前記注意度が所定値以上の領域を注意範囲として検出し、
前記注意範囲の前記撮像画像を作成し、
前記注意範囲を前記撮像画像により表示する
ことを特徴とする移動体周囲表示方法。
【請求項２】
前記注意範囲は、道路上における車両同士または車両と人が交錯する領域であることを特徴とする請求項１に記載の移動体周囲表示方法。
【請求項３】
前記移動体の周囲における注意対象物を検出し、
前記注意対象物を検出した場合に、前記注意対象物を含む領域を前記注意範囲として検出し、
前記注意範囲を前記撮像画像により表示することを特徴とする請求項１または２に記載の移動体周囲表示方法。
【請求項４】
前記注意範囲の中から前記移動体の周囲における注意対象物を検出し、
前記注意範囲の中から前記注意対象物を検出した場合に、前記注意対象物を含む領域を強調箇所として検出し、
前記強調箇所を前記撮像画像により表示することを特徴とする請求項１または２に記載の移動体周囲表示方法。
【請求項５】
前記注意対象物は、前記移動体の周囲に位置する歩行者、動物、自転車、車両、もしくは標識であることを特徴とする請求項３または４に記載の移動体周囲表示方法。
【請求項６】
移動体に搭載され、撮像により周囲情報を取得する撮像素子と、
前記周囲情報による撮像画像と前記移動体の周囲状況を表す仮想画像とを作成するコントローラと、
前記仮想画像を表示するディスプレイと、を備え、
前記コントローラは、前記移動体の周囲において、前記仮想画像を複数に分割し、分割した仮想画像に対応する領域ごとに注意度を算出し、前記注意度が所定値以上の領域を注意範囲として検出し、検出した前記注意範囲の前記撮像画像を作成し、前記注意範囲の前記撮像画像を前記ディスプレイに表示することを特徴とする移動体周囲表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動体周囲表示方法及び移動体周囲表示装置に関する。
【背景技術】
【０００２】
従来より、車両進行方向の注意対象物を検出し、検出した注意対象物を運転者に知らせる技術が知られている。特許文献１では、検出した注意対象物をヘッドアップディスプレイに表示する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−２３０９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１では、注意対象物をアイコン化してヘッドアップディスプレイに表示するため、注意対象物の属性（高齢者か子どもか）や視線方向など普段の運転において乗員が経験的に取得している情報が失われるおそれがある。【０００５】
本発明は、上記問題に鑑みて成されたものであり、その目的は、乗員に対し注意を促したい情報を詳細に知らせることができる移動体周囲表示方法及び移動体周囲表示装置を提供することである。
【課題を解決するための手段】
【０００６】
本発明の一態様に係る移動体周囲表示方法は、撮像により移動体の周囲情報を取得し、取得した周囲情報による撮像画像と移動体の周囲状況を表す仮想画像を作成し、移動体の周囲において注意範囲を検出し、検出した注意範囲の撮像画像を作成し、注意範囲の撮像画像をディスプレイに表示する。
【発明の効果】
【０００７】
本発明によれば、注意範囲の撮像画像をディスプレイに表示するため、乗員に対し注意を促したい情報を詳細に知らせることができる。
【図面の簡単な説明】
【０００８】
【図１】図１は、本発明の第１実施形態に係る移動体周囲表示装置の構成図である。
【図２】図２（ａ）、図２（ｂ）は、本発明の第１実施形態に係る仮想画像とカメラ画像の合成の一例について説明する図である。
【図３】図３（ａ）、図３（ｂ）及び図３（ｃ）は、本発明の第１実施形態に係る仮想画像とカメラ画像の合成の他の例について説明する図である。
【図４】図４（ａ）、図４（ｂ）及び図４（ｃ）は、本発明の第１実施形態に係る仮想画像とカメラ画像の合成のさらに他の例について説明する図である。
【図５】図５は、本発明の第１実施形態に係る仮想画像とカメラ画像の合成のさらに他の例について説明する図である。
【図６】図６は、本発明の第１実施形態に係る移動体周囲表示装置の動作例を説明するフローチャートである。
【図７】図７は、本発明の第２実施形態に係る移動体周囲表示装置の構成図である。
【図８】図８は、本発明の第２実施形態に係る仮想画像とカメラ画像の合成について説明する図である。
【図９】図９は、本発明の第２実施形態に係る仮想画像とカメラ画像の合成の一例について説明する図である。
【図１０】図１０は、本発明の第２実施形態に係る仮想画像とカメラ画像の合成の他の例について説明する図である。
【図１１】図１１は、本発明の第２実施形態に係る移動体周囲表示装置の動作例を説明するフローチャートである。
【図１２】図１２は、本発明の第３実施形態に係る移動体周囲表示装置の構成図である。
【図１３】図１３は、本発明の第３実施形態に係る仮想画像とカメラ画像の合成の一例について説明する図である。
【図１４】図１４は、本発明の第３実施形態に係る仮想画像とカメラ画像の合成の他の例について説明する図である。
【図１５】図１５は、本発明の第３実施形態に係る仮想画像とカメラ画像の合成のさらに他の例について説明する図である。
【図１６】図１６は、本発明の第３実施形態に係る移動体周囲表示装置の動作例を説明するフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について、図面を参照して説明する。図面の記載において同一部分には同一符号を付して説明を省略する。
【００１０】
［第１実施形態］
図１を参照して第１実施形態に係る移動体周囲表示装置１について説明する。図１に示すように、移動体周囲表示装置１は、環境検出部１０と、フロントカメラ２０と、ライトカメラ２１と、レフトカメラ２２と、リアカメラ２３と、コントローラ４０、ディスプレイ５０とを備える。なお、移動体周囲表示装置１は、主に自動運転機能を備える自動運転車両に用いられる装置である。
【００１１】
環境検出部１０は、自車周囲の環境を検出する装置であって、例えばレーザレンジファインダーである。レーザレンジファインダーは、自車周囲（例えば３０ｍ以内）に存在する障害物（歩行者、自転車、二輪車、他車両など）を検出する。また、環境検出部１０として、赤外線センサや超音波センサなどを用いてもよく、これらを組合せて構成してもよい。また、環境検出部１０として、後述するフロントカメラ２０やリアカメラ２３などを含むように構成してもよく、別のカメラを含むように構成してもよい。また、環境検出部１０は、ＧＰＳ受信機を含むように構成してもよい。環境検出部１０は、ＧＰＳ受信機で受信した自車位置情報をクラウドに送信し、クラウドから自車周囲の地図情報を取得することができる。環境検出部１０は、検出した環境情報をコントローラ４０に出力する。さらに加えて、環境検出部１０は、必ずしも自車両に設けられている必要はなく、車外に備えたセンサが検出したデータを、無線通信により取得するようにしてもよい。つまりは、環境検出部１０は、他車両との無線通信（車車間通信）や、障害物、交差点との無線通信（路車間通信）により、自車周囲の環境を検出するようにしてもよい。
【００１２】
フロントカメラ２０、ライトカメラ２１、レフトカメラ２２、リアカメラ２３は、それぞれＣＣＤ（ｃｈａｒｇｅ−ｃｏｕｐｌｅｄ  ｄｅｖｉｃｅ）やＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ  ｍｅｔａｌ  ｏｘｉｄｅ  ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子を有したカメラである。以下の説明において、フロントカメラ２０、ライトカメラ２１、レフトカメラ２２、リアカメラ２３の４つカメラをまとめて「車両カメラ２０〜２３」と記載する。車両カメラ２０〜２３は、それぞれ自車両の前方、右側方、左側方、後方を撮像することにより自車周囲の情報を取得し、取得した周囲情報をコントローラ４０に出力する。
【００１３】
コントローラ４０は、環境検出部１０と車両カメラ２０〜２３から取得した情報を処理する回路であり、例えばＩＣ、ＬＳＩ等により構成される。コントローラ４０は、これを機能的に捉えた場合、仮想画像作成部４１と、運転シーン判定部４２と、注意範囲特定部４３と、記憶部４４と、カメラ画像作成部４５と、合成部４６とに分類することができる。
【００１４】
仮想画像作成部４１は、環境検出部１０から取得した情報を用いて、自車両の周囲状況を表す仮想画像を作成する。第１実施形態において仮想画像とは、例えば地形情報、障害物情報、標識情報などを３ＤマッピングしたＣＧ画像であり、後述するカメラ画像とは異なるものである。仮想画像作成部４１は、作成した仮想画像を合成部４６に出力する。
【００１５】
運転シーン判定部４２は、環境検出部１０から取得した情報を用いて、現在の運転シーンを判定する。運転シーン判定部４２が判定する運転シーンは、例えば、通常の走行シーン、駐車シーン、高速道路での合流シーン、交差点への進入シーンなどである。運転シーン判定部４２は、判定した運転シーンを注意範囲特定部４３に出力する。
【００１６】
注意範囲特定部４３は、運転シーン判定部４２によって判定された運転シーンに基づいて、乗員に注意を促したい箇所（以下、注意範囲という）を特定する。より詳しくは、注意範囲特定部４３は、記憶部４４に記憶されているデータベースを用いて注意範囲を特定する。注意範囲については後述するが、例えば、並列駐車シーンでは旋回内側後輪付近から自車後方に渡り、自車右側前方までの領域であり、縦列駐車シーンでは、前輪、及び後輪を含む自車周辺の領域である。記憶部４４には運転シーンに応じた注意範囲が予め記憶されている。注意範囲特定部４３は、特定した注意範囲をカメラ画像作成部４５と合成部４６に出力する。
【００１７】
カメラ画像作成部４５は、車両カメラ２０〜２３から取得した情報を用いて、注意範囲特定部４３によって特定された注意範囲のカメラ画像（撮像画像）を作成する。カメラ画像作成部４５は、作成したカメラ画像を合成部４６に出力する。なお、本実施形態では、撮像画像として車両カメラを用いているが、車両カメラの種類としては特に限定されることはなく、カラーカメラ、モノクロカメラ、赤外線カメラ、電波カメラなどカメラであればよい。
【００１８】
合成部４６は、仮想画像上の注意範囲をカメラ画像に置き換える。そして、合成部４６は、合成した画像をディスプレイ５０に出力する。
【００１９】
ディスプレイ５０は、例えばインストルメントパネルに搭載される液晶ディスプレイやカーナビゲーション装置に用いられる液晶ディスプレイであり、乗員に各種情報を表示する。
【００２０】
次に、図２〜図５を参照して、各種運転シーンにおけるカメラ画像の合成例を説明する。
【００２１】
図２（ａ）に示す運転シーンは、自車両Ｍ１が他車両Ｍ２と他車両Ｍ３との間に並列駐車するシーンである。並列駐車の場合、注意範囲は、領域Ｒに示すように旋回内側後輪付近から自車後方に渡り、自車右側前方までの領域で、自車両Ｍ１が進行する可能性が有る範囲である。注意範囲特定部４３は、領域Ｒを注意範囲として特定し、カメラ画像作成部４５は、領域Ｒのカメラ画像を作成する。そして、合成部４６は、仮想画像Ｐ上の領域Ｒをカメラ画像で置き換える。これにより、ディスプレイ５０は、乗員に注意を促したい領域Ｒをカメラ画像、すなわち実撮像画像で表示する。これにより、乗員は、領域Ｒの詳細な情報を知ることができる。
【００２２】
次に、図２（ｂ）を参照して、自車両Ｍ１が他車両Ｍ２と他車両Ｍ３との間に縦列駐車する運転シーンを説明する。縦列駐車の場合、注意範囲は、領域Ｒに示すように前輪、及び後輪を含む自車周辺の領域である。注意範囲特定部４３は、領域Ｒを注意範囲として特定し、カメラ画像作成部４５は、領域Ｒのカメラ画像を作成する。その後の処理は、図２（ａ）の内容と同じであるため説明を省略する。
【００２３】
次に、図３（ａ）を参照して、自車両Ｍ１が狭路走行中に他車両Ｍ２との接触を回避するために左寄せを行う運転シーンを説明する。狭路における左寄せの場合、注意範囲は、領域Ｒに示すように自車前方及び左側方の領域である。注意範囲特定部４３は、領域Ｒを注意範囲として特定し、カメラ画像作成部４５は、領域Ｒのカメラ画像を作成する。その後の処理は、図２（ａ）の内容と同じであるため説明を省略する。加えて、注意範囲特定部４３は、他車両Ｍ２とのすれ違いの際に、他車両Ｍ２との距離が近くなる領域を注意範囲として特定するようにしてもよい。
【００２４】
次に、図３（ｂ）を参照して、自車両Ｍ１が狭路走行中に駐停車している他車両Ｍ３を避けて走行するＳ字走行シーンを説明する。狭路におけるＳ字走行の場合、注意範囲は、領域Ｒに示すように他車両Ｍ３の左右両側方及びタイヤの接地位置を含む自車前方の領域である。なお、領域Ｒには対向車両の他車両Ｍ２が含まれてもよい。また、注意範囲特定部４３は、駐車車両を避けるために走行する領域で、対向車両が走行する領域を注意範囲として設定するようにしてもよい。注意範囲特定部４３は、領域Ｒを注意範囲として特定し、カメラ画像作成部４５は、領域Ｒのカメラ画像を作成する。その後の処理は、図２（ａ）の内容と同じであるため説明を省略する。
【００２５】
次に、図３（ｃ）を参照して、電柱Ｔなどの存在により自車両Ｍ１が狭路走行中に最も狭い場所（以下、最狭部という）を通過する運転シーンを説明する。最狭部を通過する場合、注意範囲は、領域Ｒに示すように最狭部の幅員（他車両Ｍ２と電柱Ｔとの間の幅員）を含む自車前方の領域である。注意範囲特定部４３は、領域Ｒを注意範囲として特定し、カメラ画像作成部４５は、領域Ｒのカメラ画像を作成する。その後の処理は、図２（ａ）の内容と同じであるため説明を省略する。
【００２６】
次に、図４（ａ）を参照して、自車両Ｍ１が高速道路で合流する際に後続する他車両Ｍ２が存在する運転シーンを説明する。このような運転シーンにおける注意範囲は、領域Ｒに示すように自車右側方から後方の領域である。注意範囲特定部４３は、領域Ｒを注意範囲として特定し、カメラ画像作成部４５は、領域Ｒのカメラ画像を作成する。その後の処理は、図２（ａ）の内容と同じであるため説明を省略する。なお、図４（ａ）に示す運転シーンにおいて、注意範囲は、自車右ドアミラーに映る範囲としてもよい。
【００２７】
次に、図４（ｂ）を参照して、自車両Ｍ１が高速道路で合流する際に先行する他車両Ｍ３が存在する運転シーンを説明する。このような運転シーンにおける注意範囲は、領域Ｒに示すように自車右側方から前方の領域である。注意範囲特定部４３は、領域Ｒを注意範囲として特定し、カメラ画像作成部４５は、領域Ｒのカメラ画像を作成する。その後の処理は、図２（ａ）の内容と同じであるため説明を省略する。
【００２８】
次に、図４（ｃ）を参照して、自車両Ｍ１が高速道路で合流する際に後続する他車両Ｍ２と先行する他車両Ｍ３が存在する運転シーンを説明する。このような運転シーンにおける注意範囲は、領域Ｒに示すように自車右側方から前方及び後方の領域である。注意範囲特定部４３は、領域Ｒを注意範囲として特定し、カメラ画像作成部４５は、領域Ｒのカメラ画像を作成する。その後の処理は、図２（ａ）の内容と同じであるため説明を省略する。
【００２９】
次に、図５を参照して、自車両Ｍ１が交差点を左折する運転シーンを説明する。交差点を左折する場合、注意範囲は、領域Ｒに示すように自車両Ｍ１の進行方向（左折方向）を含む交差点全体の領域である。注意範囲特定部４３は、領域Ｒを注意範囲として特定し、カメラ画像作成部４５は、領域Ｒのカメラ画像を作成する。その後の処理は、図２（ａ）の内容と同じであるため説明を省略する。
【００３０】
次に、図６に示すフローチャートを参照して、移動体周囲表示装置１の一動作例について説明する。このフローチャートは、例えばイグニッションスイッチがオンされたときに開始する。
【００３１】
ステップＳ１０１において、環境検出部１０及び車両カメラ２０〜２３は、自車周囲の情報を取得する。
【００３２】
ステップＳ１０２において、仮想画像作成部４１は、自車周囲の情報を用いて仮想画像を作成する。
【００３３】
ステップＳ１０３において、運転シーン判定部４２は、自車周囲の情報を用いて運転シーンを判定する。
【００３４】
ステップＳ１０４において、注意範囲特定部４３は、運転シーン判定部４２によって判定された運転シーンから記憶部４４のデータベースを用いて注意範囲を特定する。
【００３５】
ステップＳ１０５において、カメラ画像作成部４５は、注意範囲特定部４３によって特定された注意範囲のカメラ画像を作成する。
【００３６】
ステップＳ１０６において、合成部４６は、仮想画像上の注意範囲をカメラ画像で置き換える。
【００３７】
ステップＳ１０７において、コントローラ４０は、合成部４６によって合成された合成画像をディスプレイ５０に表示する。
【００３８】
以上説明したように、第１実施形態に係る移動体周囲表示装置１によれば、以下の作用効果が得られる。
【００３９】
移動体周囲表示装置１は、まず自車周囲の情報を用いて仮想画像を作成する。次に移動体周囲表示装置１は、運転シーンから注意範囲を特定し、特定した注意範囲のカメラ画像を作成する。そして、移動体周囲表示装置１は、仮想画像上の注意範囲をカメラ画像で置き換えてディスプレイ５０に表示する。これにより、乗員は、注意範囲の詳細な情報を知ることができる。
【００４０】
なお、移動体周囲表示装置１は、主に自動運転機能を備える自動運転車両に用いられる装置であると説明したが、自動運転中において乗員に多くの情報を与えると、乗員は煩わしさを感じするおそれがある。しかし、移動体周囲表示装置１は、注意範囲以外は仮想画像で表示するため、乗員に与える情報を少なくできる。これにより、移動体周囲表示装置１は、乗員が感じる煩わしさを低減することができる。このように、移動体周囲表示装置１は、注意範囲をカメラ画像で表示し、注意範囲以外の領域を仮想画像で表示することにより、乗員に注意させたい領域（注意範囲）では乗員に詳細な情報を与えつつ、注意範囲以外の領域では無駄な情報を抑制できるようになる。これにより、乗員は、必要な情報だけを正確に把握できるようになる。
【００４１】
注意範囲は、図２〜５で説明したように高速道路の合流地点のような道路上における車両同士が交錯する箇所であり、また交差点のような車両と人が交錯する箇所である。このような場所は、乗員に注意を促したい場所である。移動体周囲表示装置１は、仮想画像上の注意範囲をカメラ画像に置き換えて表示することにより、注意範囲の詳細な情報を乗員に知らせることができる。
【００４２】
［第２実施形態］
次に、図７を参照して、本発明の第２実施形態に係る移動体周囲表示装置２について説明する。図７に示すように第２実施形態が第１実施形態と相違する点は、移動体周囲表示装置２が、物体検出部６０と注意対象物特定部４７とを備える一方、運転シーン判定部４２、注意範囲特定部４３、及び記憶部４４を省略した点である。第１実施形態と重複する構成については符号を引用してその説明は省略することとし、以下、相違点を中心に説明する。
【００４３】
物体検出部６０は、自車周囲に存在する物体を検出する物体検出センサであって、自車両の走行経路の周辺に存在する物体を検出する。物体検出部６０としては、例えば、レーダセンサを用いることができる。物体検出部６０が検出する物体は、例えば、他車両、バイク、歩行者、自転車などの移動体や信号機や標識などである。なお、物体検出部６０として、レーダセンサ以外のセンサであってもよく、カメラの撮像画像を用いた画像認識センサでもよい。また、物体検出部６０として、レーザセンサや超音波センサなどを用いてもよい。物体検出部６０は、検出した物体情報を注意対象物特定部４７に出力する。
【００４４】
注意対象物特定部４７は、物体検出部６０によって検出された物体のうち、乗員に注意を促したい物体（以下、注意対象物という）を特定する。注意対象物は、例えば他車両、バイク、歩行者、自転車、動物（犬や猫）、電信柱、看板、信号機、標識、道路上の落下物などである。注意対象物特定部４７は、特定した注意対象物をカメラ画像作成部４５と合成部４６に出力する。
【００４５】
次に、図８を参照して、カメラ画像の合成例を説明する。図８に示すように、仮想画像Ｐ上では歩行者Ｗはシンボル化される。この場合、歩行者Ｗの属性（高齢者か子どもか）や視線方向などの情報が失われる場合がある。そこで、注意対象物特定部４７は、物体検出部６０によって検出された歩行者Ｗを注意対象物として特定し、カメラ画像作成部４５は、図８に示すように特定された歩行者Ｗのカメラ画像を作成する。そして、合成部４６は、仮想画像Ｐ上の歩行者Ｗをカメラ画像で置き換える。これにより、ディスプレイ５０は、乗員に注意を促したい歩行者Ｗをカメラ画像、すなわち実撮像画像で表示する。これにより、乗員は、歩行者Ｗの詳細な情報を知ることができる。なお、注意対象物のカメラ画像を作成する際に、図８に示すように歩行者Ｗを含む領域のカメラ画像を作成してもよく、歩行者Ｗの輪郭をかたどったカメラ画像を作成してもよい。
【００４６】
次に、図９〜図１０を参照して、各種運転シーンにおけるカメラ画像の合成例を説明する。
【００４７】
図９に示すように、自車両Ｍ１が狭路走行中に物体検出部６０が他車両Ｍ２を検出した場合、注意対象物特定部４７は、他車両Ｍ２を注意対象物として特定し、カメラ画像作成部４５は、他車両Ｍ２のカメラ画像を作成する。その後の処理は、図８の内容と同じであるため説明を省略する。
【００４８】
次に、図１０を参照して、自車両Ｍ１がＴ字交差点に進入する場合を説明する。物体検出部６０が他車両Ｍ２〜Ｍ３、歩行者Ｗ、自転車Ｂ１〜Ｂ３、標識Ｌを検出した場合、注意対象物特定部４７は、これらの物体を注意対象物として特定し、カメラ画像作成部４５は、これらのカメラ画像を作成する。その後の処理は、図８の内容と同じであるため説明を省略する。
【００４９】
次に、図１１に示すフローチャートを参照して、移動体周囲表示装置２の一動作例について説明する。このフローチャートは、例えばイグニッションスイッチがオンされたときに開始する。
【００５０】
ステップＳ２０１において、環境検出部１０及び物体検出部６０は、自車周囲の情報を取得する。
【００５１】
ステップＳ２０２において、仮想画像作成部４１は、自車周囲の情報を用いて仮想画像を作成する。
【００５２】
ステップＳ２０３において、注意対象物特定部４７は、自車周囲の注意対象物を特定する。
【００５３】
ステップＳ２０４において、カメラ画像作成部４５は、注意対象物特定部４７によって特定された注意対象物のカメラ画像を作成する。
【００５４】
ステップＳ２０５において、合成部４６は、仮想画像上の注意対象物をカメラ画像で置き換える。
【００５５】
ステップＳ２０６において、コントローラ４０は、合成部４６によって合成された合成画像をディスプレイ５０に表示する。
【００５６】
以上説明したように、第２実施形態に係る移動体周囲表示装置２によれば、以下の作用効果が得られる。
【００５７】
移動体周囲表示装置２は、まず自車周囲の情報を用いて仮想画像を作成する。次に移動体周囲表示装置２は、注意対象物を特定し、特定した注意対象物のカメラ画像を作成する。そして、移動体周囲表示装置２は、仮想画像上の注意対象物をカメラ画像で置き換えてディスプレイ５０に表示する。これにより、乗員は、注意対象物の詳細な情報を知ることができる。
【００５８】
仮想画像上では、注意対象物の情報が失われる場合がある。例えば、人間をシンボル化すると、その人物の属性（高齢者か子どもか）や視線方向などの情報が失われる場合がある。また、車両を例に取れば、車体の大きさや形、色などの情報が失われる場合がある。しかし、移動体周囲表示装置２は、仮想画像上の注意対象物をカメラ画像で置き換えて表示するため、仮想画像化による情報の損失を補うことができる。これにより、乗員は、注意対象物の動きを予測しやすくなる。
【００５９】
また、移動体周囲表示装置２は、注意対象物として、歩行者、動物、自転車、車両、もしくは標識をカメラ画像に置き換えて表示することにより、乗員はこれらの詳細な情報を知ることができる。
【００６０】
［第３実施形態］
次に、図１２を参照して、本発明の第３実施形態に係る移動体周囲表示装置３について説明する。第３実施形態が第１実施形態と相違する点は、移動体周囲表示装置３が、物体検出部６０と、注意対象物特定部４７と、強調箇所特定部４８とを備えることである。第１実施形態と重複する構成については符号を引用してその説明は省略することとし、以下、相違点を中心に説明する。なお、物体検出部６０及び注意対象物特定部４７については第２実施形態で説明したものと同じため、説明を省略する。
【００６１】
強調箇所特定部４８は、乗員に注意を促したい強調箇所を特定する。具体的には、強調箇所特定部４８は、注意対象物特定部４７によって特定された注意対象物が、注意範囲特定部４３によって特定された注意範囲内に存在する場合に、この注意対象物を強調箇所として特定する。強調箇所特定部４８は、特定した強調箇所をカメラ画像作成部４５と合成部４６に出力する。
【００６２】
次に、図１３〜図１５を参照して、各種運転シーンにおけるカメラ画像の合成例を説明する。
【００６３】
まず図１３を参照して、自車両Ｍ１がＴ字交差点に進入する運転シーンを説明する。Ｔ字交差点の場合、注意範囲は、領域Ｒに示すようにＴ字交差点の中心から左右両方向の範囲を含む自車周囲の領域である。注意範囲特定部４３は、領域Ｒを注意範囲として特定する。次に注意対象物特定部４７は、物体検出部６０によって検出された他車両Ｍ２〜Ｍ３、歩行者Ｗ、自転車Ｂ１〜Ｂ３、標識Ｌを注意対象物として特定する。次に、強調箇所特定部４８は、注意対象物特定部４７によって特定された注意対象物のうち、領域Ｒ内に存在する注意対象物を強調箇所として特定する。図１３に示す例では、強調箇所特定部４８は、歩行者Ｗ、自転車Ｂ１〜Ｂ３、標識Ｌを強調箇所として特定する。次にカメラ画像作成部４５は、強調箇所として特定された歩行者Ｗ、自転車Ｂ１〜Ｂ３、標識Ｌのカメラ画像を作成する。そして、合成部４６は、仮想画像Ｐ上の歩行者Ｗ、自転車Ｂ１〜Ｂ３、標識Ｌをカメラ画像で置き換える。これにより、ディスプレイ５０は、歩行者Ｗ、自転車Ｂ１〜Ｂ３、標識Ｌをカメラ画像、すなわち実撮像画像で表示する。これにより、乗員は、歩行者Ｗ、自転車Ｂ１〜Ｂ３、標識Ｌの詳細な情報を知ることができる。なお、図１３に示す例では、自転車Ｂ２や自転車Ｂ３のように、一部でも領域Ｒ内に存在する場合は強調箇所として特定したが、全部が領域Ｒ内に存在する場合に強調箇所として特定するようにしてもよい。また、注意範囲特定部４３は、注意範囲をリアルタイムに特定するようにしてもよく、注意範囲は地図上などに予め設定されるようにしてもよい。
【００６４】
また、強調箇所特定部４８は、領域Ｒ内で注意対象物が検出されない場合、強調箇所を特定しない。強調箇所特定部４８が強調箇所を特定しない場合、合成部４６は、仮想画像Ｐ上の領域Ｒをカメラ画像で置き換えない。
その理由は、領域Ｒ内で他車両や歩行者などの注意対象物が検出されない場合、自車両との接触の危険性は低く、領域Ｒをカメラ画像に置き換えて乗員に知らせる必要性が低いためである。このように領域Ｒ内で注意対象物が検出されない場合、移動体周囲表示装置３は、仮想画像Ｐのみを表示することにより、乗員に与える情報を少なくできる。これにより、移動体周囲表示装置３は、乗員が感じる煩わしさを低減することができる。なお、物体検出部６０は、注意範囲特定部４３によって特定された注意範囲内で物体を検出してもよい。このように、物体の検出範囲を限定することにより、物体検出部６０が物体を検出するまでの時間を短縮することもできる。これにより、注意対象物特定部４７が注意対象物を特定するまでの時間を短縮することもできる。加えて、物体の検出範囲を限定することは、コントローラ４０の処理負荷を低減することもできる。
【００６５】
次に、図１４を参照して、自車両Ｍ１が交差点を左折する運転シーンを説明する。交差点を左折する場合、注意範囲は、領域Ｒに示すように自車両Ｍ１の進行方向（左折方向）を含む交差点全体の領域である。注意範囲特定部４３は、領域Ｒを注意範囲として特定し、注意対象物特定部４７は、他車両Ｍ２〜Ｍ４、自転車Ｂ、信号機Ｓを注意対象物として特定する。次に、強調箇所特定部４８は、注意対象物特定部４７によって特定された注意対象物のうち、領域Ｒに存在する注意対象物を強調箇所として特定する。図１４に示す例では、強調箇所特定部４８は、他車両Ｍ２〜Ｍ３、自転車Ｂ、信号機Ｓを強調箇所として特定する。その後の処理は、図１３の内容と同じであるため説明を省略する。なお、図１４に記載のように、左折に合わせて注意範囲を設定することもできる。このように、走行シーン、現在実行している運転操作、将来予想される運転操作、などにあわせて注意範囲と注意範囲以外とを設定することにより、注意範囲特定部４３はそれぞれの走行シーン、運転操作に適した注意範囲を設定できるようになり、注意範囲以外への注意を抑制することができる。
【００６６】
次に、図１５を参照して、自車両Ｍ１が交差点を右折する運転シーンを説明する。交差点を右折する場合、注意範囲は、領域Ｒに示すように自車両Ｍ１の進行方向（右折方向）を含み、自車右側方を除いた交差点全体の領域である。注意範囲特定部４３は、領域Ｒを注意範囲として特定し、注意対象物特定部４７は、他車両Ｍ２〜Ｍ４、歩行者Ｗ、自転車Ｂ１〜Ｂ２、標識Ｌ１〜Ｌ２を注意対象物として特定する。次に、強調箇所特定部４８は、注意対象物特定部４７によって特定された注意対象物のうち、領域Ｒに存在する注意対象物を強調箇所として特定する。図１５に示す例では、強調箇所特定部４８は、他車両Ｍ２〜Ｍ４、歩行者Ｗ、自転車Ｂ１〜Ｂ２、標識Ｌ１〜Ｌ２を強調箇所として特定する。その後の処理は、図１３の内容と同じであるため説明を省略する。また、注意範囲特定部４３は図１４と同様に、図１５のように右折に合わせて注意範囲を設定することもできる。
【００６７】
次に、図１６に示すフローチャートを参照して、移動体周囲表示装置３の一動作例について説明する。このフローチャートは、例えばイグニッションスイッチがオンされたときに開始する。
【００６８】
ステップＳ３０１において、環境検出部１０、物体検出部６０及び車両カメラ２０〜２３は、自車周囲の情報を取得する。
【００６９】
ステップＳ３０２において、仮想画像作成部４１は、自車周囲の情報を用いて仮想画像を作成する。
【００７０】
ステップＳ３０３において、運転シーン判定部４２は、自車周囲の情報を用いて運転シーンを判定する。
【００７１】
ステップＳ３０４において、注意範囲特定部４３は、運転シーン判定部４２によって判定された運転シーンから記憶部４４のデータベースを用いて注意範囲を特定する。
【００７２】
ステップＳ３０５において、注意対象物特定部４７は、自車周囲の注意対象物を特定する。
【００７３】
ステップＳ３０６において、強調箇所特定部４８は、注意範囲内に注意対象物が存在するか否かを判定する。注意範囲内に注意対象物が存在する場合（ステップＳ３０６でＹｅｓ）、強調箇所特定部４８は、注意範囲内に存在する注意対象物を特定し、処理がステップＳ３０７に進む。一方、注意範囲内に注意対象物が存在しない場合、（ステップＳ３０６でＮｏ）、処理がステップＳ３１０に進む。
【００７４】
ステップＳ３０７において、カメラ画像作成部４５は、強調箇所特定部４８によって特定された注意対象物のカメラ画像を作成する。
【００７５】
ステップＳ３０８において、合成部４６は、仮想画像上の注意対象物をカメラ画像で置き換える。
【００７６】
ステップＳ３０９において、コントローラ４０は、合成部４６によって合成された合成画像をディスプレイ５０に表示する。
【００７７】
ステップＳ３１０において、コントローラ４０は、仮想画像をディスプレイ５０に表示する。
【００７８】
以上説明したように、第３実施形態に係る移動体周囲表示装置３によれば、以下の作用効果が得られる。
【００７９】
移動体周囲表示装置３は、まず自車周囲の情報を用いて仮想画像を作成する。次に移動体周囲表示装置３は、運転シーンから注意範囲を特定し、注意範囲内の注意対象物を特定する。移動体周囲表示装置３は、注意範囲内の注意対象物のカメラ画像を作成し、仮想画像上の注意範囲内の注意対象物をカメラ画像で置き換えてディスプレイ５０に表示する。これにより、乗員は、注意対象物の詳細な情報を知ることができる。
【００８０】
また、移動体周囲表示装置３は、注意範囲内に注意対象物が存在しない場合、仮想画像のみをディスプレイ５０に表示する。これにより、移動体周囲表示装置３は、乗員に与える情報を少なくできる。これにより、移動体周囲表示装置３は、乗員が感じる煩わしさを低減することができる。
【００８１】
上記のように、本発明の実施形態を記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。
【００８２】
なお、第１実施形態、第２実施形態では、それぞれ注意範囲、注意対象物をカメラ画像で置き換えた。また、第３実施形態では、注意範囲内に注意対象物が存在する場合にこの注意対象物をカメラ画像で置き換えた。注意範囲及び注意対象物は、乗員に注意を促したい範囲を示すものであり、注意範囲及び注意対象物を含めて注意範囲と言い換えることができる。また、後述するように注意範囲は注意度が所定値以上の領域も含むことができる。
【００８３】
第１〜第３実施形態では、注意範囲をカメラ画像で置き換えたが、これに限られない。例えば、移動体周囲表示装置１〜３は、自車両に対する注意度を算出し、算出した注意度に応じてカメラ画像を置き換えてもよい。自車両に対する注意度は、自車両に対する相対速度や相対距離から求めることができる。自車両に対する相対速度や相対距離の検出方法としては、例えば環境検出部１０や物体検出部６０にこれらの検出機能を持たせればよい。
【００８４】
注意度の算出例として、移動体周囲表示装置１〜３は、自車両に対する相対速度が速いほど注意度が高くなるように設定できる。また、移動体周囲表示装置１〜３は、自車両に対する相対距離が短いほど、注意度が高くなるように設定できる。
【００８５】
注意度に基づく具体的な表示方法を説明する。移動体周囲表示装置１〜３は、自車周囲に存在する物体の注意度を算出し、算出した注意度が所定値以上の場合に、その物体が存在する領域のカメラ画像を作成し、仮想画像上のその領域をカメラ画像で置き換えて表示する。これにより、移動体周囲表示装置１〜３は、その物体の属性（人間なのか、動物なのか）などを識別することなく、注意を促したい領域の情報を詳細に乗員に知らせることができる。なお、所定値については、予め実験やシミュレーションを通して求めることができる。
【００８６】
また、移動体周囲表示装置１〜３は、仮想画像を複数に分割して、分割した画像に対応する領域ごとに注意度を算出し、算出した注意度が所定値以上となった領域をカメラ画像で置き換えるようにしてもよい。これにより、移動体周囲表示装置１〜３は、注意度の演算負荷を低減することができる。
【００８７】
なお、注意範囲特定部４３は、記憶部４４に記憶されているデータベースを用いて注意範囲を特定するが、これに限られない。例えば、注意範囲特定部４３は自車位置情報をクラウドに送信し、自車位置情報に対応するクラウドからの情報を用いて注意範囲を特定するようにしてもよい。また、注意範囲特定部４３は、車車間通信で他車両から取得した情報を用いて注意範囲を特定するようにしてもよい。
【００８８】
なお、本実施形態における合成部４６は、仮想画像上の注意範囲をカメラ画像に置き換えていたが、必ずしもそれに限らず、合成部４６は、自車周囲のカメラ画像を生成し、注意範以外の領域を仮想画像に置き換えるようにしてもよい。つまりは、注意範囲がカメラ画像で表示されればよい。
【００８９】
なお、上述の実施形態の各機能は、１または複数の処理回路により実装され得る。処理回路は、電気回路を含む処理装置等のプログラムされた処理装置を含む。処理回路は、また、実施形態に記載された機能を実行するようにアレンジされた特定用途向け集積回路（ＡＳＩＣ）や従来型の回路部品のような装置を含む。
【符号の説明】
【００９０】
１０  環境検出部
２０  フロントカメラ
２１  ライトカメラ
２２  レフトカメラ
２３  リアカメラ
４０  コントローラ
４１  仮想画像作成部
４２  運転シーン判定部
４３  注意範囲特定部
４４  記憶部
４５  カメラ画像作成部
４６  合成部
４７  注意対象物特定部
４８  強調箇所特定部
５０  ディスプレイ
６０  物体検出部
【図１】
0006555413.tif 000002
【図２】
0006555413.tif 000003
【図３】
0006555413.tif 000004
【図４】
0006555413.tif 000005
【図５】
0006555413.tif 000006
【図６】
0006555413.tif 000007
【図７】
0006555413.tif 000008
【図８】
0006555413.tif 000009
【図９】
0006555413.tif 000010
【図１０】
0006555413.tif 000011
【図１１】
0006555413.tif 000012
【図１２】
0006555413.tif 000013
【図１３】
0006555413.tif 000014
【図１４】
0006555413.tif 000015
【図１５】
0006555413.tif 000016
【図１６】
0006555413.tif 000017