(57)【要約】【課題】死角領域の画像内の奥行き感を直感的に把握し易い車両用周囲監視装置を提供する。【解決手段】本発明は、ドライバーから見て前方で左右に広がる領域内の死角領域を監視する車両用周囲監視装置であって、死角領域の実画像を撮像するように車両の前方部に設けられた実画像撮像手段（２、４、６）と、実映像撮像手段により撮像された死角領域に道路の奥行き感を表す仮想の格子状グリッド画像を生成するグリッド画像生成手段（３４、３８）と、実映像撮像手段により撮像された死角領域の実画像に合わせて仮想の格子状グリッド画像の格子の大きさ、形状及び向きを規定する仮想格子画像規定手段（３４、３８）と、この格子画像規定手段により規定される大きさ、形状及び向きで仮想の格子状グリッド画像を実画像に重畳して表示する表示手段（２６、１４）と、を有する。【選択図】図２
2009226978.tif 000002
【特許請求の範囲】
【請求項１】
ドライバーから見て前方で左右に広がる領域内の死角領域を監視する車両用周囲監視装置であって、
上記死角領域の実画像を撮像するように車両の前方部に設けられた実画像撮像手段と、
上記実映像撮像手段により撮像された上記死角領域に道路の奥行き感を表す仮想の格子状グリッド画像を生成するグリッド画像生成手段と、
上記実映像撮像手段により撮像された上記死角領域の実画像に合わせて上記仮想の格子状グリッド画像の格子の大きさ、形状及び向きを規定する仮想格子画像規定手段と、
この格子画像規定手段により規定される大きさ、形状及び向きで上記仮想の格子状グリッド画像を上記実画像に重畳して表示する表示手段と、
を有することを特徴とする車両用周囲監視装置。
【請求項２】
上記仮想格子画像規定手段は、自車両の前方で所定の方向に延びる路面が延びる方向に沿って延びる格子線を有する請求項１に記載の車両用周囲監視装置。
【請求項３】
上記表示手段は、上記仮想の格子状グリッド画像を上記実画像の上方の空の領域に表示する請求項１又は請求項２に記載の車両用周囲監視装置。
【請求項４】
さらに、上記実画像撮像手段により撮像された実画像内から移動体を検出する移動体検出手段と、
この移動体検出手段により移動体が検出されたとき、その移動体の位置及び／又は種類を検出する移動体状態検出手段と、を有し、
上記表示手段は、上記仮想の格子状グリッド画像に重畳して、上記移動体の位置及び／又は種類を識別可能にするための光点を表示する請求項１乃至３のいずれか１項に記載の車両用周囲監視装置。
【請求項５】
さらに、上記実画像撮像手段により撮像された実画像内から移動体を検出する移動体検出手段と、
この移動体検出手段により移動体が検出されたとき、その移動体の種類及び／又は移動速度及び／又は移動方向を検出する移動体状態検出手段と、を有し、
上記表示手段は、上記仮想の格子状グリッド画像に重畳して、上記移動体の移動速度及び／又は移動方向を識別可能にするための矢印を表示する請求項１乃至３のいずれか１項に記載の車両用周囲監視装置。
【請求項６】
上記表示手段は、上記矢印の太さを、上記移動体の交差点への到達時間に応じて変化させる請求項５に記載の車両用周囲監視装置。
【請求項７】
上記ドライバーの死角領域は車両の前方側の交差路の交差点の周辺の死角領域であり、
上記実画像撮像手段は、車両の前方端に設けられ、車両が交差路に差し掛かるとき、その車両の前方端から撮像可能な交差路の交差点周囲の実画像を撮像する請求項１乃至６のいずれか１項に記載の車両用周囲監視装置。
【請求項８】
さらに、交差点においてドライバーの見通しが良くなる頭出し位置を算出する頭出し位置算出手段を有し、
上記表示手段は、自車両が上記頭出し位置に達した後、上記仮想の格子状グリッド画像の表示を中止する請求項１乃至７のいずれか１項に記載の車両用周囲監視装置。
【請求項９】
上記仮想格子画像規定手段は、上記仮想の格子状グリッド画像が、移動体或いは他の道路上の標識及び信号と重複しない高さに表示される請求項１乃至８のいずれか１項に記載の車両用監視装置。
【請求項１０】
上記仮想格子画像規定手段は、上記仮想の格子状グリッド画像が、移動体或いは他の道路上の標識及び信号と重複する部分がある場合、表示される上記仮想の格子グリッド画像のうち上記重複する部分を消去する請求項１乃至８のいずれか１項に記載の車両用監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両用周囲監視装置に係り、特に、ドライバーの死角領域を監視する車両用周囲監視装置に関する。
【背景技術】
【０００２】
従来、車両前方側における左右方向の死角映像を撮像してモニタ表示する装置が知られている（特許文献１、特許文献２）
【０００３】
【特許文献１】特開２００７−１７２４６２号公報
【特許文献２】特開平１１−３３８０７４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上述したような装置は、例えばモニタ上に左右方向の死角領域がそのまま表示されるだけのものであり、例えば映像にゆがみがあったり、遠近の区別がつきにくかったりして、奥行き感を直感的に把握することが難しいものであった。そのような表示をドライバーが見て死角領域の状況を判断するのであるが、奥行き感が分からない故に、例えば左右方向から接近してくる車両までの距離感が直感的に分かりにくいものであった。
【０００５】
本発明は、上述した従来技術の問題点を解決するためになされたものであり、死角領域の画像内の奥行き感を直感的に把握し易い車両用周囲監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の目的を達成するために本発明によれば、ドライバーから見て前方で左右に広がる領域内の死角領域を監視する車両用周囲監視装置であって、死角領域の実画像を撮像するように車両の前方部に設けられた実画像撮像手段と、実映像撮像手段により撮像された死角領域に道路の奥行き感を表す仮想の格子状グリッド画像を生成するグリッド画像生成手段と、実映像撮像手段により撮像された死角領域の実画像に合わせて仮想の格子状グリッド画像の格子の大きさ、形状及び向きを規定する仮想格子画像規定手段と、この格子画像規定手段により規定される大きさ、形状及び向きで仮想の格子状グリッド画像を実画像に重畳して表示する表示手段と、を有することを特徴としている。
【０００７】
このように構成された本発明においては、奥行き感を表す仮想の格子状グリッド画像が表示され、この格子グリッド画像が撮像された死角領域の実画像に合わせて、その大きさ、形状及び向きが規定されるので、ドライバーは周囲の例えば道路の距離感を直感的に把握することが出来る。
【０００８】
また、本発明において、好ましくは、仮想格子画像規定手段は、自車両の前方で所定の方向に延びる路面が延びる方向に沿って延びる格子線を有する。
このように構成された本発明においては、格子状グリッド画像が、自車両の前方で所定の方向に延びる路面が延びる方向に沿って延びる格子線を有するので、ドライバーはその路面の奥行き感を直感的に把握出来る。
【０００９】
また、本発明において、好ましくは、表示手段は、仮想の格子状グリッド画像を実画像の上方の空の領域に表示する。
このように構成された本発明においては、様々な道路状況に応じて理想的な格子状グリッド画像を表示することが出来、ドライバーもそれを見やすくなる。
【００１０】
また、本発明において、好ましくは、さらに、実画像撮像手段により撮像された実画像内から移動体を検出する移動体検出手段と、この移動体検出手段により移動体が検出されたとき、その移動体の位置及び／又は種類を検出する移動体状態検出手段と、を有し、表示手段は、仮想の格子状グリッド画像に重畳して、移動体の位置及び／又は種類を識別可能にするための光点を表示する。
このように構成された本発明においては、仮想の格子状グリッド画像に重畳して、移動体の位置及び／又は種類を識別可能にするための光点が表示されるので、ドライバーは、移動体の位置及び／又は種類を識別し易くなる。
【００１１】
また、本発明において、好ましくは、さらに、実画像撮像手段により撮像された実画像内から移動体を検出する移動体検出手段と、この移動体検出手段により移動体が検出されたとき、その移動体の種類及び／又は移動速度及び／又は移動方向を検出する移動体状態検出手段と、を有し、表示手段は、仮想の格子状グリッド画像に重畳して、移動体の移動速度及び／又は移動方向を識別可能にするための矢印を表示する。
このように構成された本発明においては、仮想の格子状グリッド画像に重畳して、移動体の移動速度及び／又は移動方向を識別可能にするための矢印が表示されるので、ドライバーは、移動体の移動速度及び／又は移動方向を識別し易くなる。
【００１２】
また、本発明において、好ましくは、表示手段は、矢印の太さを、移動体の交差点への到達時間に応じて変化させる。
このように構成された本発明においては、ドライバーは移動体の交差点への到達時間を直感的に把握することが出来る。
【００１３】
また、本発明において、好ましくは、ドライバーの死角領域は車両の前方側の交差路の交差点の周辺の死角領域であり、実像撮像手段は、車両の前方端に設けられ、車両が交差路に差し掛かるとき、その車両の前方端から撮像可能な交差路の交差点周囲の実画像を撮像する。
このように構成された本発明においては、ドライバーは衝突事故の多発する交差点の左右交差路の情報を得ることが出来、より安全な走行が可能となる。
【００１４】
また、本発明において、好ましくは、さらに、交差点においてドライバーの見通しが良くなる頭出し位置を算出する頭出し位置算出手段を有し、表示手段は、自車両が頭出し位置に達した後、仮想の格子状グリッド画像の表示を中止する。
このように構成された本発明においては、仮想の格子状グリッド画像の表示が中止されることで、ドライバーは、自車両が頭出し位置にあることを把握すると共に自らの目で道路状況を把握するようにすることが出来る。
【００１５】
また、本発明において、好ましくは、仮想格子画像規定手段は、仮想の格子状グリッド画像が、移動体或いは他の道路上の標識及び信号と重複しない高さに表示される。
このように構成された本発明においては、道路上の重要な移動体や標識などが仮想の格子状グリッド画像に隠れることがないので、ドライバーはそれらを確実に認識することが出来る。
【００１６】
また、本発明において、好ましくは、仮想格子画像規定手段は、仮想の格子状グリッド画像が、移動体或いは他の道路上の標識及び信号と重複する部分がある場合、表示される仮想の格子グリッド画像のうち重複する部分を消去する。
このように構成された本発明においては、道路上の重要な移動体や標識などが仮想の格子状グリッドに隠れることがないので、ドライバーはそれらを確実に認識することが出来る。
【発明の効果】
【００１７】
本発明の車両用周囲監視装置によれば、死角領域の画像内の奥行き感を直感的に把握し易い。
【００１８】
以下、添付図面を参照しながら本発明の好ましい実施の形態について説明する。
先ず、図１及び図２により、本発明の実施形態による車両用周囲監視装置の基本構成を説明する。図１は、本発明の実施形態による車両用周囲監視装置が適用された車両の全体構成図であり、図２は、本発明の実施形態による車両用周囲監視装置のカメラによる撮像範囲の一例（ａ）及び撮像された映像の一例（ｂ）を示す図である。
【００１９】
図１に示すように、車両１は、左方監視カメラ２、前方監視カメラ４及び右方監視カメラ６を有し、これらのカメラは、車両の前端部に取り付けられている。これらのカメラは、広角レンズ使用のＣＣＤカメラであり、例えば、図２（ａ）に示すような範囲を撮像し、図２（ｂ）に示すような画像を得ることが出来る。
【００２０】
また、車両１は、車速センサ１０、ジャイロ１１、ＧＰＳ装置１２、ナビゲーション装置１３及び画像表示モニタ１４を有している。モニタ１４は、運転席１６のドライバーが見ることが出来る位置に配置されている。さらに、車両１は、ＥＣＵ１８を有し、このＥＣＵ１８には、上述した各カメラ２、４、６、車速センサ１０、ジャイロ１１、ＧＰＳ装置１２からの信号が入力され、所定の画像をモニタ１４に表示する。
【００２１】
さらに、車両１は、他車両との距離を検出するためのレーザレーダ７を有する。なお、レーザレーダ７の代わりに、車車間通信により他車両との距離を把握するようにしたり、路車間通史により他車両との距離を把握するようにしても良い。
【００２２】
次に、図３により、ドライバーによる交差路進入時における運転行動を説明する。図３は、ドライバーによる交差路進入時における運転行動を説明するための図である。
まず、交差路手前では一時停止する。その後、徐行しながら鼻出し位置に進み、カメラ出し位置（図２（ａ）参照）に進み、そして、頭出し位置（図４参照）に進む。図４は、自車両の頭出し位置を説明するための道路及び車両の俯瞰図である。
【００２３】
先ず、鼻出し位置は、他車や歩行者に自車両の存在を知らせる位置である。カメラ出し位置は、図２（ａ）に示すように、車両の先端が交差路内に入った状態であり、ドライバーからは交差路を見通せないが、車両の前端部に取り付けられたカメラ２、４、６により、交差路内を見通せる位置である。頭出し位置は、図４に示すように、ドライバーが座る運転席が交差路内に入ったときの位置であり、ドライバーが直接に、自分の目で交差路内を見通せるようになった位置である。
【００２４】
本発明の実施形態による車両用周囲監視装置では、これらの一時停止から頭出し位置までの間に後述する仮想画像を表示するようにしている。そして、頭出し位置になると、仮想画像を点滅させ、そして、頭出し位置を通過後には、仮想画像の表示を中止する。
【００２５】
次に、図５により、本発明の実施形態による車両用周囲監視装置の構成を説明する。図５は、本発明の実施形態による車両用周囲監視装置の構成を示すブロック図である。
本発明の実施形態は、実際に存在する移動体（交差点に向かってくる他車両など）が、自車両からどの程度の距離に存在するか、どのような種類の移動体か、どのような方向及び速度で移動しているかを、例えば後述する図９に示すような、グリッド、光点、ベクトルなどの仮想画像を表示することにより、ドライバーが移動体の移動状態を認識するようにしたものである。これにより、例えばドライバーが自車両を発進させて良いか否かの判断を助けることが出来る。また、移動体が無くても、グリッドの仮想画像を表示して、交差路の奥行き感などをドライバーが感じることが出来るようにすることが出来る。
【００２６】
図５に示すように、周辺監視センサ２０として構成される各カメラ２、４、６からの画像信号が、ＥＣＵ１８内の画像取得部２２に入力される。入力された画像信号は広角画像であり歪みが生じているので、その画像が画像補正部２４で補正される。この画像補正部２４からの画像信号は、合成画像作成部２６に実画像として入力される。
【００２７】
移動体検出部３０では、画像補正部２４からの入力画像内に移動体、例えば、他車両やオートバイや自転車や歩行者などの存在を検出する。移動体が存在する場合には、移動体の状態を移動体状態検出部３２で検出し、検出された移動体の情報を仮想画像作成部３４に送り、合成画像作成部２６で、作成された仮想画像と実画像とが合成されて表示される。合成画像作成部２６で作成された画像は、モニタ１４で表示される。
【００２８】
移動体状態検出部３２では、移動体検出部３０から、移動体が存在する旨の信号を受けて、レーザレーダ７により、自車両に接近してくる移動体の自車両からの距離、速度及び進行方向を検出し、さらに、自車両までの到達時間を算出する。なお、レーザレーダ７の代わりに、車車間通信或いは路車間通信により、移動体検出部３０及び移動体状態検出部３２において、移動体の種類や、移動体の自車両からの距離、速度及び進行方向を検出するようにしても良い。
【００２９】
自車位置・進行方向検出部３６では、ジャイロ１１により進行方向の変化を検出し、ジャイロ１１及びＧＰＳ装置１２により自車両の位置及び進行方向を検出する。
グリッド形状算出部３８では、移動体の状態、例えば、移動体の自車両からの距離や移動体の種類に応じて、後述する図９のようなグリッド仮想画像を表示する。グリッド画像としては、そのグリッドの寸法（例えば、数ｍ）、明るさ、色などを調整可能であり、自車両の状態、或いは、自車両と移動体との状態に応じて調整される。
【００３０】
また、グリッド仮想画像として、例えば図９のような移動体の速度及び進行方向を表すようなベクトル表示や、移動体の種類を表す記号（●や■）も表示する。また、グリッド形状算出部３８では、自車両の交差点での上述したような鼻出し位置、カメラ出し位置、頭出し位置などの違いによって、グリッドの色を変えるなどしても良い。
【００３１】
仮想画像作成部３４の光点・ベクトル作成部３４ａでは、上述した移動体の位置を表す光点を作成し、合成画像作成部２６では、この光点を●や■などで明るく仮想表示して実画像に重畳し、モニタ１４に表示して、移動体の位置及び種類が分かるようにしている。また、光点・矢印作成部３４ａでは、移動体の進行方向及び速度を示すベクトルを矢印で表すように作成し、合成画像作成部２６で実画像に重畳し、モニタ１４で表示する。
【００３２】
仮想画像作成部３４のグリッド作成部３４ｂでは、後述するように、移動体の移動状態、移動体の自車両に対する距離、道路の延びる方向、車外の明るさ（日中、夕方、夜間など）、或いは、ドライバーの設定に応じて、例えば図９に示すようなグリッド仮想画像（格子画像）を作成する。この作成されたグリッド仮想画像は、合成画像作成部２６により実画像に重畳されて、モニタ１４上に表示される。
【００３３】
次に、ＥＣＵ１８内には、頭出し位置判定部４０が存在する。頭出し位置判定部４０では、車両が交差路内に頭出しした（図４参照）ことを判定するものである。頭出しが行われていれば、既にドライバー自身で交差路を見通せることから、仮想画像作成部３４における仮想画像の作成を中止し、モニタ１４には実画像のみ表示するようにする。
【００３４】
また、ＥＣＵ１８には、仮想画像処理実施判定部４２が存在する。この仮想画像処理実施判定部４２は、ナビゲーション装置１３から得る地図データ、ＧＰＳ装置１２から得られる位置データ、及び、車速センサ１０から得られる車速データを基に、車両が交差点近傍に位置しているか否か及び一時停止しているか否かを判定するものである。後述するように、交差点近傍であり一時停止したときには、仮想画像を表示するために、合成画像作成部２６に所定の信号を送る。
【００３５】
次に、図６により、本発明の実施形態による車両用周囲監視装置の制御の概要を説明する。図６は、本発明の実施形態による車両用周囲監視装置の死角視認用仮想画像を表示するか否かの処理を示すフローチャートである。図６において、Ｓは各ステップを示す。
先ず、図６に示すように、Ｓ１において、仮想画像処理実施判定部４２（図５参照）が、ＧＰＳ１２からの信号及びナビゲーション装置１３からの信号に基づいて、自車両が交差点近傍にいるか否かを判定する。次に、Ｓ２において、仮想画像処理実施判定部４２（図５参照）が、車速センサ１０からの信号に基づいて、車速がＶ１より小さいか否かを判定する。車速Ｖ１は、自車両が交差点等に近づいて減速し、ドライバーがモニタ１４を見ても安全であると判断出来る値である。
【００３６】
車速がＶ１より小さく車両が減速した状態であれば、Ｓ３に進み、画像補正部２４（図５参照）からの画像信号に基づいて、まず、実画像を表示する。
次に、Ｓ４に進み、仮想画像処理実施判定部５２（図５参照）が、車速がＶ２より小さいか否かを判定する。車速Ｖ２は、自車両がほぼ停止状態に近い或いは停止したと判断出来る値である。車速がＶ２より小さい場合は、自車両が一時停止したものとして、Ｓ５に進む。
【００３７】
Ｓ５では、自車両が頭出し位置（図４参照）を通過したか否かを判定する。頭出し位置を通過した場合には、ドライバーが周囲の状況を見渡せる状況であるので、Ｓ６に進み、モニタ１４にＳ１及びＳ２で取得した実画像をそのまま表示する。頭出し位置を通過していない場合には、Ｓ７に進み、グリッド仮想画像表示処理を行う。
【００３８】
次に、図７乃至図９により、本発明の実施形態による車両用周囲監視装置の制御内容を説明する。図７は、本発明の実施形態による車両用周囲監視装置の距離把握用仮想画像の表示処理を示すフローチャートであり、図８は、本発明の実施形態による車両用周囲監視装置における仮想画像が実画像に重畳された映像の一例であり、図９は、本発明の実施形態による車両用周囲監視装置のカメラによる撮像範囲及び移動体の一例（ａ）及び仮想画像が実画像に重畳された映像の一例（ｂ）を示す図であり、図１０は、本発明の実施形態による車両用周囲監視装置のカメラによる撮像範囲及び移動体の他の例（ａ）及び仮想画像が実画像に重畳された映像の他の例（ｂ）を示す図である。図７において、Ｓは各ステップを示す。
【００３９】
図７に示すように、先ず、Ｓ１１において、映像取得部２２（図５参照）により、例えば交差路において、左方監視カメラ２、前方監視カメラ４、右方監視カメラ６の映像を取得し、Ｓ１２において、画像補正部２４により、取得された広角画像の歪み補正を行う。
【００４０】
次に、Ｓ１３において、撮影画像を保存する。次に、Ｓ１４において、自車位置・進行方向検出部３６（図５参照）により、自車位置及び進行方向を検出し、Ｓ１５において、自車両前方の交差点情報を取得する。
【００４１】
次に、Ｓ１６において、グリッド（図８のＧ１等参照）を表示する高さを決定する。本実施形態では、グリッドの表示高さは、ドライバーが設定し、仮に、そのグリッドが移動体等に重なってしまう場合などは、後述するＳ２２又はＳ２９で、移動体等がドライバーから見えるように、グリッドの一部を消去する。なお、グリッドの表示高さを、予め表示高さを３ｍなどと設定し、移動体や標識等の道路上の重要な物体がグリッドに重ならないような高さに設定していても良い。
【００４２】
次に、Ｓ１７において、グリッドの幅を決定する。グリッドの幅は、格子状に表示されるグリッドの格子１つ１つの幅である。本実施形態では、移動体が存在するとき、その移動体の自車両からの距離が近い場合にはグリッド幅を小さくし、移動体の自車両からの距離が遠い場合にはグリッド幅を大きくするようにしている。なお、グリッド幅を予め所定値に定めてもよく、移動体が存在しない場合にはそのような予め定められたグリッド幅でグリッドを表示する。なお、グリッド幅を道路の幅に応じて変更するようにしても良い。
【００４３】
次に、Ｓ１８において、グリッドの色を決定する。グリッドの色は、例えば、車外が暗い夕方や夜の場合には、周りの状況がきちんと見える程度に輝度を押さえて白色系などの明るい色に設定し、昼間の場合には、例えば、黒色などの暗い色に設定する。なお、自車両が頭出しした時点で、頭出ししたことを示すように、色が変化するようにしても良い。また、他車両が、自車両が交差点内で発進するか停止するか否かを判断するときに迷うような位置（例えば、自車両から３０〜５０ｍ）に存在するとき、グリッド全体の色をより目立つ色に、又は、他車両が存在している領域のグリッドをより目立つ色にしても良い。また、他車両の自車両からの距離に応じて色を変更するようにしても良い。また、実画像が見やすいように、グリッドの色を薄くしても良い。交差点からの距離に応じて、近くのグリッドは目立つ色（例えば、赤）に、遠くのグリッドは目立たない色（例えば、青）に変更するようにしても良い。
【００４４】
次に、Ｓ１９において、グリッドの方向を決定する。グリッドの方向は、格子状のグリッドの１本１本が延びる方向であり、本実施形態では、モニタ１４上にて、縦方向に延びるグリッドが自車両の先に存在する交差する道路（他車両が移動してる道路）の方向に延びるようにすると共に、横方向に延びるグリッドがその道路の延びる方向に直交する方向に延びるようにする。なお、自車両が進行方向を変えた場合でも、一度設定したグリッドの方向は変更せず、あくまで、交差する先方の道路に合わせてグリッドを固定する。このような場合、自車両の進行方向を変えて進行すると、グリッドの下方をくぐっていくような感覚となる。
【００４５】
次に、Ｓ２０において、移動体検出部３０により、Ｓ１１及びＳ１２で取得された実画像から、移動体を検出する。このＳ２０における移動体の検出は、オプティカルフロー処理にて行われる。なお、オプティカルフローの他に、背景差分、フレーム間差分処理、或いは、レーザーやミリ波などにより移動体を検出するようにしても良い。
【００４６】
移動体が検出されないときは、Ｓ２１に進み、仮想画像作成部３４（図５参照）により、Ｓ１６乃至Ｓ１９で決定されたグリッド高さ、幅、色及び方向を有するグリッド画像を作成する。次に、Ｓ２２では、合成画像作成部２６（図５参照）により、グリッド仮想画像が、実画像中の標識などの重要な道路上の構造物に重畳しないように、標識等に重畳するグリッド画像を消去する。或いは、上述したＳ１６で、標識等と重ならない高さにグリッドが表示されるように設定することも出来る。
そして、Ｓ２３において、例えば、図８に示すように、Ｓ２１で作成すると共にＳ２２で調整したグリッド仮想画像Ｇ１を実画像に重畳してモニタ１４に表示する。この仮想画像Ｇ１では、道路上の交通ルールとして重要なもの、例えば標識Ｓが仮想画像に隠れずにドライバーから見えるように、グリッド仮想画像の一部Ｇ２が消去されている。
【００４７】
一方、Ｓ２０において、移動体が検出されたときには、Ｓ２４に進み、移動体検出部３０（図５参照）及び移動体状態検出部３２（図５参照）により、移動体の種類、移動体の自車両からの距離、速度及び進行方向を検出する。移動体が複数存在するときには、基本的には、自車両からの距離が最短距離である移動体、或いは、自車両までの最短到達時間の移動体について、移動体の自車両からの距離、速度及び進行方向を検出する。
【００４８】
次に、Ｓ２５において、移動体の種類に応じて、光点（移動体の位置を表すと共に移動体の種類を表すマークとして表示される）として、例えば他車両であれば“●”、歩行者であれば“■”などと表示する。なお、表示例は、後述するように、Ｓ３０のステップにおいて、図９及び図１０で説明する。
【００４９】
次に、Ｓ２６において、移動体の移動状態に応じたベクトル表示を決定する。ベクトルの示す方向は、移動体の進んでいる方向である。ベクトルの長さは、基本的には、移動体の移動速度である。なお、ベクトルの長さは、移動速度ではなく、移動体が交差点に到達するまでの時間を示すものでも良い。また、ベクトルの始点は、基本的には、移動体が現在存在する位置であるが、所定時間後の位置でも良い。また、ベクトルの長さを、移動体の移動速度を示すものとし、ベクトルの幅を、移動体が交差点に到達するまでの時間を示すものとしても良い。
【００５０】
次に、Ｓ２７において、Ｓ２５及びＳ２６で決定した光点及びベクトルの仮想画像を仮想画像作成部３４（図５参照）で作成し、Ｓ２８でグリッド仮想画像を生成する。Ｓ２９では、合成画像作成部２６により、上述したＳ２２と同様に、今度は、標識等の重要物と移動体とが、いずれも仮想画像に隠れないように、グリッド、光点及びベクトルの一部を消去する。標識や移動体が仮想画像に隠れない場合は、消去しない。
【００５１】
そして、Ｓ３０において、合成画像作成部２６により、グリッド、光点及びベクトルをモニタ１４上に表示する。
表示例を図９に示す。この図９では、図９（ａ）に示すように、自車両が交差点に近づいてカメラ出し位置におり、他車両Ｖ及び歩行者Ｈが存在する場合である。
【００５２】
図９（ｂ）に示すように、画像の情報にはグリッドＧ１が仮想画像として重畳して表示され、また、車両Ｖの上方には、車両の種類及び位置を示す“●”印（Ｇ３として示す）がグリッドＧ１に対応して仮想表示され、車両の位置が分かるようになっている。さらに、グリッドＧ１に対応して、車両の移動方向及び移動速度を示す矢印Ｇ４が仮想画像として表示されている。移動速度は矢印Ｇ４の長さにより判別可能となっている。さらに、方向者Ｈの上方にも、歩行者であること及びその位置を示す“■”印（Ｇ５として示す）と、移動方向及び移動速度を示す矢印Ｇ６が表示されている。
【００５３】
また、他の表示例を図１０に示す。この図１０では、自車両がまだ交差点より手前におり、そのカメラ２、４、６からは、遮蔽物Ａにより、交差点の左右の状況を映せない状態である。この図１０に示す例では、車車間通信により、他車両Ｖの位置及び移動速度などの情報を得て、図１０（ｂ）に示すように、遮蔽物Ａの上方にグリッド仮想画像Ｇ１を表示すると共に、車両を示す“●”印（Ｇ７として示す）と、移動方向及び移動速度を示す矢印Ｇ８が表示されている。
【００５４】
なお、本発明の実施形態では、グリッドを上方の空間に表れるように表示しているが、例えば、道路上に表れるようにしたり、適当な壁面があれば、壁面に表示しても良い。
【００５５】
次に、本発明の実施形態による作用効果を説明する。
本発明の実施形態による車両用周囲監視装置は、ドライバーから見て前方で左右に広がる領域内の死角領域を監視し、死角領域の実画像を撮像するように車両の前方部にカメラ２、４、６が設けられ、仮想画像作成部３４が、カメラ２、４、６により撮像された死角領域に道路の奥行き感を表す仮想の格子状グリッド画像を生成し、仮想画像生成部３４はまた、カメラ２、４、６により撮像された死角領域の実画像に合わせて仮想の格子状グリッド画像の格子の大きさ、形状及び向きを規定し、合成画像作成部２６は、この格子画像規定手段により規定される大きさ、形状及び向きで仮想の格子状グリッド画像を実画像に重畳してモニタ１４に表示する。
【００５６】
このような本発明の実施形態によれば、奥行き感を表す仮想の格子状グリッド画像が表示され、この格子グリッド画像が撮像された死角領域の実画像に合わせて、その大きさ、形状及び向きが規定されるので、ドライバーは周囲の例えば道路の距離感を直感的に把握することが出来る。
【００５７】
ここで、ドライバーの死角領域は車両の前方側の交差路の交差点の周辺の死角領域であり、車両が交差路に差し掛かるとき、車両の前方端に設けられたカメラ２、４、６がその車両の前方端から撮像可能な交差路の交差点周囲の実画像を撮像するので、ドライバーは衝突事故の多発する交差点の左右交差路の情報を得ることが出来、より安全な走行が可能となる。
【００５８】
また、本実施形態によれば、仮想画像作成部３４は、自車両の前方で所定の方向に延びる路面が延びる方向に沿って延びる格子線を有するので、ドライバーはその路面の奥行き感を直感的に把握出来る。
【００５９】
表示手段は、仮想の格子状グリッド画像を実画像の上方の空の領域に表示するので、様々な道路状況に応じて理想的な格子状グリッド画像を表示することが出来、ドライバーもそれを見やすくなる。
【００６０】
また、本実施形態によれば、移動体検出部３０は、カメラ２、４、６により撮像された実画像内から移動体を検出し、移動体検出部３０及び移動体状態検出部３２は、その移動体の位置及び／又は種類を検出し、合成画像作成部２６は、仮想の格子状グリッド画像に重畳して、移動体の位置及び／又は種類を識別可能にするための光点をモニタ１４に表示する。従って、仮想の格子状グリッド画像に重畳して、移動体の位置及び／又は種類を識別可能にするための光点が表示されるので、ドライバーは、移動体の位置及び／又は種類を識別し易くなる。
【００６１】
また、本実施形態によれば、移動体検出部３０は、カメラ２、４、６により撮像された実画像内から移動体を検出し、移動体検出部３０及び移動体状態検出部３２は、その移動体の種類及び／又は移動速度及び／又は移動方向を検出し、合成画像作成部２６は、仮想の格子状グリッド画像に重畳して、移動体の移動速度及び／又は移動方向を識別可能にするための矢印を表示する。従って、仮想の格子状グリッド画像に重畳して、移動体の移動速度及び／又は移動方向を識別可能にするための矢印が表示されるので、ドライバーは、移動体の移動速度及び／又は移動方向を識別し易くなる。
【００６２】
また、本実施形態によれば、表示手段は、矢印の太さを、移動体の交差点への到達時間に応じて変化させるので、ドライバーは移動体の交差点への到達時間を直感的に把握することが出来る。
【００６３】
また、本実施形態によれば、ドライバーの死角領域は車両の前方側の交差路の交差点の周辺の死角領域であり、実像撮像手段は、車両の前方端に設けられ、車両が交差路に差し掛かるとき、その車両の前方端から撮像可能な交差路の交差点周囲の実画像を撮像する。
このように構成された本発明においては、ドライバーは衝突事故の多発する交差点の左右交差路の情報を得ることが出来、より安全な走行が可能となる。
【００６４】
また、本実施形態によれば、頭出し位置算出部４０が、交差点においてドライバーの見通しが良くなる頭出し位置を算出し、合成画像作成部２６は、自車両が頭出し位置に達した後、仮想の格子状グリッド画像の表示を中止する。このように仮想の格子状グリッド画像の表示が中止されることで、ドライバーは、自車両が頭出し位置にあることを把握すると共に自らの目で道路状況を把握するようにすることが出来る。
【００６５】
また、本実施形態によれば、仮想画像作成部３４は、仮想の格子状グリッド画像が、移動体或いは他の道路上の標識及び信号と重複しない高さに表示するようにその位置を規定するので、道路上の重要な移動体や標識などが仮想の格子状グリッド画像に隠れることがなく、ドライバーはそれらを確実に認識することが出来る。
【００６６】
また、本実施形態によれば、仮想画像作成部３４は、仮想の格子状グリッド画像が、移動体或いは他の道路上の標識及び信号と重複する部分がある場合、表示される仮想の格子グリッド画像のうち重複する部分を消去して、仮想の格子状グリッド画像を表示するので、道路上の重要な移動体や標識などが仮想の格子状グリッドに隠れることがなく、ドライバーはそれらを確実に認識することが出来る。
【００６７】
なお、上述した実施形態においては、移動体として主に車両を想定して説明をしてきたが、移動体としては、四輪車、二輪車、自転車、歩行者を含むようにしても良い。また、静止物としては、停止している四輪車、停止している二輪車、立ち止まっている歩行者や自転車、路側物、建物などが挙げられる。
【図面の簡単な説明】
【００６８】
【図１】本発明の実施形態による車両用周囲監視装置が適用された車両の全体構成図である。
【図２】本発明の実施形態による車両用周囲監視装置のカメラによる撮像範囲の一例（ａ）及び撮像された映像の一例（ｂ）を示す図である。
【図３】ドライバーによる交差路進入時における運転行動を説明するための図である。
【図４】自車両の頭出し位置を説明するための道路及び車両の俯瞰図である。
【図５】本発明の実施形態による車両用周囲監視装置の構成を示すブロック図である。
【図６】本発明の実施形態による車両用周囲監視装置の死角視認用仮想画像を表示するか否かの処理を示すフローチャートである。
【図７】本発明の実施形態による車両用周囲監視装置の距離把握用仮想画像の表示処理を示すフローチャートである。
【図８】本発明の実施形態による車両用周囲監視装置における仮想画像が実画像に重畳された映像の一例である。
【図９】本発明の実施形態による車両用周囲監視装置のカメラによる撮像範囲及び移動体の一例（ａ）及び仮想画像が実画像に重畳された映像の一例（ｂ）を示す図である。
【図１０】本発明の実施形態による車両用周囲監視装置のカメラによる撮像範囲及び移動体の他の例（ａ）及び仮想画像が実画像に重畳された映像の他の例（ｂ）を示す図である。
【符号の説明】
【００６９】
１  車両
２、４、６  監視カメラ
７  レーザレーダ
１０  車速センサ
１１  ジャイロ
１２  ＧＰＳ装置
１３  ナビゲーション装置
１４  画像表示モニタ
１８  ＥＣＵ
【図１】
2009226978.tif 000003
【図２】
2009226978.tif 000004
【図３】
2009226978.tif 000005
【図４】
2009226978.tif 000006
【図５】
2009226978.tif 000007
【図６】
2009226978.tif 000008
【図７】
2009226978.tif 000009
【図８】
2009226978.tif 000010
【図９】
2009226978.tif 000011
【図１０】
2009226978.tif 000012