(57)【特許請求の範囲】
【請求項１】
車両後方および車両後側方を撮影可能な映像撮影手段で撮影した映像を車両内部の映像表示手段に表示する車両用周辺監視装置であって、
車両後方の後続車両の接近によって当該後続車両の側方に前記映像撮影手段で撮影できない死角領域が発生しているか否かを判定し、前記死角領域が発生していないと判定した場合は、前記映像撮影手段により撮影された映像から後方映像を切り出し、拡大して前記映像表示手段に表示し、前記死角領域が発生していると判定した場合に、前記映像撮影手段とは異なる視点位置から映像を撮影する他の映像撮影手段で撮影した前記死角領域の後側方映像を、前記映像撮影手段で撮影した後方映像に合成して前記映像表示手段に表示することを特徴とする車両用周辺監視装置。
【請求項２】
車両後方および車両後側方を撮影可能な第１映像撮影手段と、
前記第１映像撮影手段とは異なる視点位置から映像を撮影する第２映像撮影手段と、
車両内部に設けられた映像表示手段と、
車両後方の後続車両の接近によって当該後続車両の側方に前記第１映像撮影手段で撮影できない死角領域が発生しているか否かを判定する判定手段と、
前記判定手段により前記死角領域が発生していないと判定された場合は、前記第１映像撮影手段により撮影された映像から後方映像を切り出し、拡大して前記映像表示手段に表示させ、前記判定手段により前記死角領域が発生していると判定された場合は、前記第２映像撮影手段により撮影された前記死角領域の後側方映像を、前記第１映像撮影手段により撮影された後方映像に合成して前記映像表示手段に表示させる表示制御手段と、を備えることを特徴とする車両用周辺監視装置。
【請求項３】
前記表示制御手段は、前記判定手段により前記死角領域が発生していると判定された場合に、前記第１映像撮影手段により撮影された後方映像上の前記死角領域となる位置に、前記第２映像撮影手段により撮影された前記死角領域の後側方映像を重畳して、前記映像表示手段に表示させることを特徴とする請求項２に記載の車両用周辺監視装置。
【請求項４】
前記表示制御手段は、前記判定手段により前記死角領域が発生していると判定された場合に、前記第１映像撮影手段により撮影された後方映像の隣りに前記第２映像撮影手段により撮影された前記死角領域の後側方映像を並べて、前記映像表示手段に表示させることを特徴とする請求項２に記載の車両用周辺監視装置。
【請求項５】
前記判定手段は、前記第１映像撮影手段により撮影された映像を解析して前記死角領域が発生しているか否かを判定することを特徴とする請求項２乃至４の何れか１項に記載の車両用周辺監視装置。
【請求項６】
前記後続車両よりも車両近傍の位置に存在する障害物を検知する検知手段をさらに備え、
前記表示制御手段は、前記判定手段により前記死角領域が発生していると判定され、且つ、前記検知手段により前記障害物が検知された場合は、前記第１映像撮影手段により撮影された後方映像と前記第２映像撮影手段により撮影された後側方映像とを合成するとともに、前記障害物の位置にアイコンを重畳して前記映像表示手段に表示させることを特徴とする請求項２乃至５の何れか１項に記載の車両用周辺監視装置。
【請求項７】
車両後方および車両後側方を撮影可能な映像撮影手段で撮影した映像を車両内部の映像表示手段に表示する車両用周辺監視装置であって、
車両後方の後続車両の接近によって当該後続車両の側方に前記映像撮影手段で撮影できない死角領域が発生しているか否かを判定し、前記死角領域が発生していないと判定した場合には、前記映像撮影手段で撮影した映像から車両後方の映像を切り出し、拡大して前記映像表示手段に表示し、前記死角領域が発生していると判定した場合は、前記映像撮影手段で撮影した車両後方の映像に車両後側方の映像を合成して前記映像表示手段に表示することを特徴とする車両用周辺監視装置。
【請求項８】
車両後方および車両後側方を撮影可能な映像撮影手段と、
車両内部に設けられた映像表示手段と、
車両後方の後続車両の接近によって当該後続車両の側方に前記映像撮影手段で撮影できない死角領域が発生しているか否かを判定する判定手段と、
前記判定手段により前記死角領域が発生していないと判定された場合は、前記映像撮影手段により撮影された映像から車両後方の映像を切り出し、拡大して前記映像表示手段に表示させ、前記判定手段により前記死角領域が発生していると判定された場合は、前記映像撮影手段により撮影された車両後方の映像に車両後側方の映像を合成して前記映像表示手段に表示させる表示制御手段と、を備えることを特徴とする車両用周辺監視装置。
【請求項９】
車両後方および車両後側方を撮影可能な映像撮影手段で撮影した映像を車両内部の映像表示手段に表示するに際し、車両後方の後続車両の接近によって当該後続車両の側方に前記映像撮影手段で撮影できない死角領域が発生しているか否かを判定し、前記死角領域が発生していないと判定した場合は、前記映像撮影手段により撮影された映像から後方映像を切り出し、拡大して前記映像表示手段に表示し、前記死角領域が発生していると判定した場合に、前記映像撮影手段とは異なる視点位置から映像を撮影する他の映像撮影手段で撮影した前記死角領域の後側方映像を、前記映像撮影手段で撮影した後方映像に合成して前記映像表示手段に表示することを特徴とする映像表示方法。
【請求項１０】
車両後方および車両後側方を撮影可能な映像撮影手段で撮影した映像を車両内部の映像表示手段に表示するに際し、車両後方の後続車両の接近によって当該後続車両の側方に前記映像撮影手段で撮影できない死角領域が発生しているか否かを判定し、前記死角領域が発生していないと判定した場合には、前記映像撮影手段で撮影した映像から車両後方の映像を切り出し、拡大して車両内部の映像表示手段に表示し、前記死角領域が発生していると判定した場合には、前記映像撮影手段で撮影した車両後方の映像に車両後側方の映像を合成して前記映像表示手段に表示することを特徴とする映像表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両後方や車両後側方の映像を表示して車両運転者に提示する車両用周辺監視装置および映像表示方法に関する。
【背景技術】
【０００２】
従来、自動車のルームミラーやドアミラーの死角となる領域の視界を確保しつつ、少ない視線移動で車両後方や車両後側方の状況を車両運転者が的確に把握できるようにするために、車両後方や車両後側方の映像を車載カメラで撮影して、車両内部に設置したディスプレイに表示させることが提案されている（例えば、特許文献１参照。）。
【０００３】
特許文献１には、車両後端部に設置した後方カメラと車両の左右ドアミラーに設置した２台の側方カメラとを用いて車両後方および車両後側方の映像を撮影し、これら後方カメラと２台の側方カメラで撮影した映像を横方向に並べて車両内部の１つのディスプレイに表示するようにした車両用周辺監視装置が記載されている。
【０００４】
この特許文献１に記載の車両用周辺監視装置では、後方カメラおよび２台の側方カメラで撮影した映像を並べてディスプレイに表示するようにしているので、車両後方の後続車両の接近によって当該後続車両の側方に後方カメラで撮影できない死角領域が発生した場合であっても、側方カメラで撮影した映像によって、死角領域となる後続車両の側方の状況を車両運転者に提示することができる。
【特許文献１】特開２００３−８１０１４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、車両内部のディスプレイは表示領域の大きさが限られており、後続車両の接近によって当該後続車両の側方に死角領域が生じたときには、この死角領域となる後続車両の側方の状況が把握できなかった。
【０００６】
本発明は、以上のような従来技術の問題点を解消すべく創案されたものであって、後続車両の接近によって当該後続車両の側方に死角領域が発生した場合は、この死角領域となる後続車両の側方の状況も車両運転者に提示できるようにした車両用周辺監視装置および映像表示方法を提供することを目的としている。
【課題を解決するための手段】
【０００７】
本発明は、車両後方の後続車両の接近によって当該後続車両の側方に映像撮影手段で撮影できない死角領域が発生しているか否かを判定し、死角領域が発生していないと判定した場合は、映像撮影手段により撮影された映像から後方映像を切り出し、拡大して映像表示手段に表示し、死角領域が発生していると判定した場合に、映像撮影手段とは異なる視点位置から映像を撮影する他の映像撮影手段で撮影した死角領域の後側方映像を、前記映像撮影手段で撮影した後方映像に合成して車両内部の映像表示手段に表示することで、上述した課題を解決する。
【０００８】
また、本発明は、車両後方の後続車両の接近によって当該後続車両の側方に映像撮影手段で撮影できない死角領域が発生しているか否かを判定し、死角領域が発生していないと判定した場合には、映像撮影手段で撮影した映像から車両後方の映像を切り出し、拡大して車両内部の映像表示手段に表示し、死角領域が発生していると判定した場合には、映像撮影手段で撮影した車両後方の映像に車両後側方の映像を合成して車両内部の映像表示手段に表示することで、上述した課題を解決する。
【発明の効果】
【０００９】
本発明によれば、後続車両の接近によって当該後続車両の側方に死角領域が生じたときには、この死角領域となる後続車両の側方の状況も車両運転者に提示することができる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の具体的な実施形態について、図面を参照しながら詳細に説明する。
【００１１】
［第１実施形態］
まず、本発明の第１実施形態について説明する。本実施形態は、車両に搭載された３つの車載カメラで映像を撮影する構成の車両用周辺監視装置への適用例である。図１は本実施形態の車両用周辺監視装置の構成を示すブロック図、図２は３つの車載カメラの配置例を示す図である。
【００１２】
図１に示すように、本実施形態の車両用周辺監視装置は、車両（以下、自車両Ｖという。）の後部に設置されたリアカメラ１と、自車両Ｖの右側部に設置された右サイドカメラ２と、自車両Ｖの左側部に設置された左サイドカメラ３の３台の車載カメラを備えている。また、この車両用周辺監視装置は、これら３台の車載カメラ１，２，３の撮影映像を用いて表示用の映像を生成する映像処理ユニット１０と、映像処理ユニット１０で生成された表示用映像を表示するディスプレイ（映像表示手段）４とを備えている。
【００１３】
図２に示すように、リアカメラ１は、例えばルーフスポイラーなどの自車両Ｖ後部の所定位置に設置されており、例えば図２中Ａ１で示す車両後方および車両後側方の比較的広い領域の映像を撮影することが可能とされている。また、右サイドカメラ２は、例えば右側ドアミラーなどの自車両Ｖ右側部の所定位置に設置されており、例えば図２中Ａ２で示す自車両Ｖ右側から車両後側方にかけての比較的広い領域の映像を、リアカメラ１とは異なる視点位置から撮影することが可能とされている。また、左サイドカメラ３は、例えば左側ドアミラーなどの自車両Ｖ左側部の所定位置に設置されており、例えば図２中Ａ３で示す自車両Ｖ左側から車両後側方にかけての比較的広い領域の映像を、リアカメラ１とは異なる視点位置から撮影することが可能とされている。ここで、車両後方の領域とは、自車両Ｖの前後軸を車両後方に伸ばした延長線を中心とした所定範囲の領域であり、例えば自車両Ｖの運転者がルームミラーで確認できる範囲の領域である。また、車両後側方の領域とは、以上のような車両後方の領域よりも左右外側に位置する領域であり、例えば自車両Ｖの運転者がドアミラーで確認できる範囲の領域である。
【００１４】
これら３台の車載カメラ１，２，３は、それぞれ、レンズおよび受光素子で構成される光学系を持ち、レンズを通して入射される光をＣＣＤやＣＭＯＳなどの受光素子で受光して電気信号に変換し、撮影した映像を画素ごとに数値化した映像信号として出力する。これら３台の車載カメラ１，２，３から出力された映像信号は、映像処理ユニット１０に入力される。
【００１５】
映像処理ユニット１０は、３台の車載カメラ１，２，３の撮影映像を用いて表示用映像を生成し、生成した表示用映像を自車両Ｖの内部に設置されたディスプレイ４に表示させる。特に本実施形態では、自車両Ｖの後方を走行している後続車両が自車両Ｖに接近していない状況では、リアカメラ１で撮影された車両後方の映像を拡大した表示用映像を生成してディスプレイ４に表示させる。一方、自車両Ｖの後方を走行している後続車両が自車両Ｖに接近したことによって後続車両の側方に死角領域が発生している状況では、リアカメラ１で撮影された車両後方の映像に、右サイドカメラ２或いは左サイドカメラ３により撮影された死角領域の映像を合成して、その合成画像を表示用映像としてディスプレイ４に表示させる。本実施形態では、ディスプレイ４に表示させる表示用映像を、後続車両の接近による死角領域の有無に応じて以上のように切替えることにより、車両後方の映像を自車両Ｖの運転者が正しい距離感で把握できるように表示させながら、後続車両の接近による死角発生にも対応させて、必要な情報を自車両Ｖの運転者に的確に提示できるようにしている。
【００１６】
ここで、具体的な走行シーンを例に挙げながら、映像処理ユニット１０における処理の概要について簡単に説明する。
【００１７】
まず、図３に示すように、自車両Ｖが片側３車線の道路の中央の車線を走行しており、その自車両Ｖの後方の離れた位置に後続車両Ｖ１が走行しているシーンを考える。この図３に示す走行シーンにおいて、リアカメラ１で撮影される車両後方の映像は図４（ａ）のようになり、右サイドカメラ２で撮影される右側の車両後側方の映像は図４（ｂ）のようになり、左サイドカメラ３で撮影される左側の車両後側方の映像は図４（ｃ）のようになる。ここで、これら図４（ａ）〜（ｃ）の映像を横方向に並べ、ディスプレイ４の表示領域の大きさに合わせて表示用映像を生成したとすると、ディスプレイ４に表示される表示用映像は図５のようになる。この図５に示す表示用映像は、車両後方から左右後側方の広い領域の状況を車両運転者に提示できる反面、表示用映像の中の後続車両Ｖ１の大きさがルームミラーのミラー反射像で確認した場合と比べて小さくなりすぎるために、自車両Ｖの運転者が後続車両Ｖ１までの距離感を見誤る要因となるといった問題がある。
【００１８】
すなわち、図３に示す走行シーンにおいて、自車両Ｖのルームミラーに映る車両後方の領域のミラー反射像は、例えば図６のようになる。自車両Ｖの運転者は、このルームミラーのミラー反射像を普段から見慣れており、ミラー反射像に現われる物体の大きさからその物体までの距離を感覚的に認識している。このため、表示用映像の中の後続車両Ｖ１の大きさがルームミラーのミラー反射像で確認した場合と比べて小さいと、自車両Ｖの運転者は、この表示用映像を見たときに、後続車両Ｖ１が実際よりも遠くに存在するものと誤って認識してしまう場合がある。
【００１９】
このような問題を回避するためには、表示用映像としてディスプレイ４に表示する映像をリアカメラ１で撮影された映像のみとし、例えば図７に示すように、リアカメラ１で撮影された車両後方の映像を、ルームミラーのミラー反射像と同等の映像サイズとなるように拡大してディスプレイ４に表示させることが有効であると考えられる。これにより、後続車両Ｖ１との車間距離の判断が容易となる。また、単独の視点の映像の方が、図５に示したように複数の視点の映像を同時に表示するよりも、車両後方の状況を瞬時に理解しやすいというメリットもある。しかしながら、この図７に示したような表示用映像では、例えば図８に示すような走行シーンにおいては、自車両Ｖの運転者に対して必要な情報を適切に提示できなくなるといった新たな問題が生じる。
【００２０】
図８に示す走行シーンは、自車両Ｖの後方に大型の後続車両Ｖ２が接近しており、また、自車両の走行車線の右隣りの車線を、後続車両Ｖ２の側方に併走するようにして他の後続車両Ｖ３が走行している走行シーンである。この場合、後続車両Ｖ２の接近によって後続車両Ｖ２の側方にリアカメラ１では撮影できない死角領域が生じるため、図７に示した表示用映像と同様にリアカメラ１で撮影された車両後方の映像を拡大してディスプレイ４に表示させるようにすると、ディスプレイ４に表示される表示用映像は図９のようになり、後続車両Ｖ２の側方を走行している他の後続車両Ｖ３を視認しづらくなってしまう。図８に示すような走行シーンでは、自車両Ｖの運転者が右隣りの車線への車線変更を判断する上で、右隣りの車線を後続車両Ｖ３が走行しているという状況は非常に重要な情報である。しかしながら、ディスプレイ４に表示される表示用映像が図９に示したような映像であると、自車両Ｖの運転者はこの表示用映像から後続車両Ｖ３の存在を的確に認識できずに、車線変更の判断を誤る場合がある。
【００２１】
そこで、本実施形態の車両用周辺監視装置では、映像処理ユニット１０において、後続車両の接近によって当該後続車両の側方にリアカメラ１で撮影できない死角領域が発生しているか否かを判定する。そして、このような死角領域が発生していない間は、図７に示したように、リアカメラ１で撮影された車両後方の映像をルームミラーのミラー反射像と同等の映像サイズとなるように拡大してディスプレイ４に表示させる。一方、死角領域が発生していると判定した場合には、リアカメラ１で撮影された車両後方の映像に、右サイドカメラ２または左サイドカメラ３で撮影された死角領域の映像を合成することで、例えば図１０あるいは図１１に示すような表示用映像を生成して、ディスプレイ４に表示させるようにしている。なお、図１０は、リアカメラ１の撮影映像上における死角領域となる位置に、右サイドカメラ２で撮影された死角領域の映像を重畳した表示用映像の例であり、図１１は、リアカメラ１で撮影された車両後方の映像の右隣りに右サイドカメラ２で撮影された死角領域の映像を並べた表示用映像の例である。
【００２２】
ここで、以上のような映像処理ユニット１０による表示用映像の生成処理について、さらに詳しく説明する。この映像処理ユニット１０は、図１に示すように、映像入力部１１、死角判定部（判定手段）１２、表示用映像生成部（表示制御手段）１３、映像出力部１４を備えている。
【００２３】
映像入力部１１は、リアカメラ１、右サイドカメラ２、左サイドカメラ３の３台の車載カメラで撮影された映像をそれぞれ入力するものであり、ＲＡＭにより構成される３つの入力映像フレームメモリ２１，２２，２３を備えている。入力映像フレームメモリ２１はリアカメラ１に対応したフレームメモリであり、入力映像フレームメモリ２２は右サイドカメラ２に対応したフレームメモリであり、入力映像フレームメモリ２３は左サイドカメラ３に対応したフレームメモリである。リアカメラ１、右サイドカメラ２、左サイドカメラ３で撮影された映像は、それぞれ入力映像フレームのサイズに合わせてデジタル化され、フレーム単位で入力映像フレームメモリ２１，２２，２３に各々格納される。
【００２４】
死角判定部１２は、後続車両の接近によって当該後続車両の側方にリアカメラ１で撮影できない死角領域が発生しているか否かを判定する。具体的には、死角判定部１２は、映像入力部１１の入力映像フレームメモリ２１に格納されたリアカメラ１の撮影映像に対してエッジ検出やパターン認識処理などの画像処理を施して、自車両Ｖの走行車線上で自車両Ｖの後方に接近している後続車両を検出する。そして、自車両Ｖの後方に接近している後続車両が検出された場合は、図１２に示すように、その後続車両の形状を矩形の枠Ｆで近似し、リアカメラ１の撮影映像中における枠Ｆの位置およびその大きさから、後続車両の位置と大きさを計算する。つまり、車両後方の領域における実際の位置とリアカメラ１の撮影映像における座標系の位置との関係は、リアカメラ１の設置位置や設置角度、画角などから一意に特定できるので、リアカメラ１の撮影映像中における枠Ｆの下端の位置から、車両後方の領域における後続車両の位置（自車両Ｖと後続車両との間の車間距離）を求めることができる。また、このように求めた後続車両の位置と、リアカメラ１の撮影映像中における枠Ｆの左右の幅とから、後続車両の大きさ（車幅）を求めることができる。
【００２５】
なお、ここでは、リアカメラ１で撮影された車両後方の映像に対して画像処理を行うことで後続車両の位置や大きさを求めるようにしているが、車載用ミリ波レーダやレーザレーダなどの物体検出装置を自車両Ｖに搭載している場合には、この物体検出装置で検出された情報に基づいて、或いはリアカメラ１の撮影映像に対する画像処理の結果と物体検出装置で検出された情報との双方に基づいて、後続車両の位置や大きさを求めるようにしてもよい。
【００２６】
死角判定部１２は、以上のように求めた後続車両の位置と大きさとをもとに、この後続車両の接近によってこの後続車両の側方にリアカメラ１では撮影できない死角領域が発生しているか否かを判定する。具体的には、例えば図１３に示すように、自車両Ｖと後続車両Ｖ２との間の車間距離Ｌ１と、後続車両Ｖ２の車幅Ｗとから、車両後方の隣接車線においてリアカメラ１で撮影できる距離（視認可能距離）Ｌ２を幾何学的に計算する。そして、この視認可能距離Ｌ２が所定の閾値以下の場合に、後続車両Ｖ２の側方に死角領域が発生していると判定する。あるいは、自車両Ｖと後続車両Ｖ２との間の車間距離Ｌ１が所定の閾値以下となった場合に、後続車両Ｖ２の側方に死角領域が発生していると判定するようにしてもよい。なお、自車両Ｖの後方に後続車両が存在する状況では多少なりともリアカメラ１で撮影できない死角が発生するが、軽微な死角は車両周辺監視の目的からは無視できるので、ここでは、隣接車線を走行する他の後続車両や二輪車などが隠れる程度の大きさの死角を、死角領域と呼ぶ。
【００２７】
死角判定部１２は、以上のような手法で後続車両の接近によって当該後続車両の側方にリアカメラ１で撮影できない死角領域が発生しているか否かを判定し、死角領域が発生していると判定した場合には、死角領域が発生している旨の情報を表示用映像生成部１３に対して出力する。
【００２８】
表示用映像生成部１３は、死角判定部１２から死角領域が発生している旨の情報が出力されていない間は、リアカメラ１の撮影映像を用いて、例えば図７に示したように、車両後方の映像をルームミラーのミラー反射像と同等の映像サイズに拡大した表示用映像を生成する。なお、ディスプレイ４の表示領域が十分な大きさを持つ場合は、車両後方の映像だけでなく車両後側方の映像も加えて表示用映像を生成するようにしてもよい。
【００２９】
この表示用映像の生成は、例えば、映像入力部１１の入力映像フレームメモリ２１にフレーム単位で格納されたリアカメラ１の撮影映像のピクセルデータを、定義テーブルに従って、映像出力部１４の出力映像フレームメモリ２４に再配置することで実現できる。ここで使用する定義テーブルは、リアカメラ１で撮影された車両後方の映像をルームミラーのミラー反射像と同等の映像サイズに拡大する場合に、出力映像フレームメモリ２４に格納する各ピクセルが、入力映像フレームメモリ２１の座標系（カメラ座標系）のどの場所に対応するかの対応関係を規定している。
【００３０】
また、表示用映像生成部１３は、死角判定部１２から死角領域が発生している旨の情報が出力されると、リアカメラ１の撮影映像と、右サイドカメラ２または左サイドカメラ３の撮影映像とを用いて、例えば図１０あるいは図１１に示したように、リアカメラ１で撮影された車両後方の映像に、右サイドカメラ２または左サイドカメラ３で撮影された死角領域の映像を合成した表示用映像を生成する。この表示用映像の生成は、例えば、上述した定義テーブルを用いてリアカメラ１の撮影映像のピクセルデータを映像出力部１４の出力映像フレームメモリ２３に再配置するとともに、入力映像フレームメモリ２２に格納された右サイドカメラ２の撮影映像や入力映像フレームメモリ２３に格納された左サイドカメラ３の撮影映像から死角領域に相当する映像部分のピクセルデータを取り出して、この死角領域に相当する映像部分のピクセルデータを映像出力部１４の出力映像フレームメモリ２４上の所定位置にコピーすることで実現できる。
【００３１】
右サイドカメラ２の撮影映像や左サイドカメラ３の撮影映像から取り出した死角領域に相当する映像部分のコピー先は、例えば、リアカメラ１で撮影された車両後方の映像の死角領域となる位置、あるいはリアカメラ１で撮影された車両後方の映像の左右に隣接した位置である。この死角領域に相当する映像部分のコピー先を予め定めておけば、コピー元の入力映像フレームメモリ２２，２３の各ピクセルと、コピー先となる出力映像フレームメモリ２４の位置との対応関係が特定されるので、この対応関係を予め死角領域用の定義テーブルに規定しておくことで、図１０あるいは図１１に示したような表示用映像を簡便に生成できる。
【００３２】
なお、図１０や図１１に示した表示用映像の例は、自車両Ｖの右側の追越車両に注目して、死角領域発生時に右サイドカメラ２で撮影された死角領域の映像のみをリアカメラ１で撮影した車両後方の映像に合成したものであるが、勿論、右サイドカメラ２で撮影された死角領域の映像と左サイドカメラ３で撮影された死角領域の映像の双方をリアカメラ１で撮影した車両後方の映像に合成するようにしてもよいし、自車両Ｖが現在走行している車線や走行速度などの走行状況に応じて、右サイドカメラ２で撮影された死角領域の映像と左サイドカメラ３で撮影された死角領域の映像のどちらを合成するかを自動的に判断する構成としてもよい。また、自車両Ｖの運転者による車線変更などの意図に応じて、合成する映像を切替える構成としてもよい。ただし、いずれの場合も表示用映像を切替えるトリガとなるのは、後続車両の接近によって当該後続車両の側方にリアカメラ１で撮影できない死角領域が発生しているか否かの判定結果である。
【００３３】
映像出力部１４は、表示用映像生成部１３で生成された表示用映像をディスプレイ４に対して出力するものであり、ＲＡＭにより構成される出力映像フレームメモリ２４を備える。この出力映像フレームメモリ２４には、上述したように、表示用映像生成部１３により生成された表示用映像の映像データが格納される。映像出力部１４は、この出力映像フレームメモリ２４に格納された表示用映像の映像データを、ディスプレイ４に随時出力する。これにより、自車両Ｖの後方に後続車両が接近していない状況では、例えば図７に示したように、車両後方の映像をルームミラーのミラー反射像と同等の映像サイズに拡大した表示用映像がディスプレイ４に表示され、後続車両が自車両Ｖに接近したことによって後続車両の側方に死角領域が発生している状況では、例えば図１０あるいは図１１に示したように、リアカメラ１で撮影された車両後方の映像に、右サイドカメラ２または左サイドカメラ３で撮影された死角領域の映像を合成した表示用映像がディスプレイ４に表示される。
【００３４】
ところで、死角発生時に図１０あるいは図１１に示したような表示用映像をディスプレイ４に表示させるようにした場合、例えば図１４に示す走行シーンのように、後続車両Ｖ２よりも自車両Ｖ近傍の位置に二輪車などの障害物Ｍが存在する状況では、合成した映像によってこの障害物Ｍが隠れてしまい、表示用映像上でこの障害物Ｍを確認できなくなることも懸念される。例えば、図１４に示す走行シーンにおいて、後続車両Ｖ２の接近により後続車両Ｖ２の側方に死角領域が発生していると判定され、リアカメラ１で撮影された車両後方の映像の右隣りに右サイドカメラ２で撮影された死角領域の映像を合成して表示用映像を生成すると、ディスプレイ４には図１５（ａ）に示す表示用映像が表示されることになり、二輪車などの障害物Ｍの存在を認識しづらくなる。
【００３５】
そこで、自車両Ｖの近傍に存在する二輪車などの障害物Ｍを検知する手段を映像処理ユニット１０に設けるようにして、死角発生時にこの検知手段により障害物Ｍが検知されたときには、表示用映像生成部１３が、この障害物Ｍの存在を認識できる表示用映像を生成してディスプレイ４に表示させることが望ましい。具体的には、表示用映像生成部１３は、死角発生時に自車両Ｖ近傍の障害物Ｍが検知されると、例えば図１５（ｂ）に示すように、障害物Ｍの存在を確認できる程度にリアカメラ１で撮影された車両後方の映像範囲を拡大して表示用映像を生成する、あるいは図１５（ｃ）に示すように、生成した表示用映像上で障害物Ｍの位置に障害物Ｍが存在することを表すアイコンなどを重畳して、ディスプレイ４に表示させる。これにより、二輪車などの障害物Ｍが自車両Ｖ近傍に存在していることを自車両Ｖの運転者に認識させることができる。なお、上述した障害物Ｍの検知は、例えば、死角判定部１２における死角領域の判定処理と同様に、リアカメラ１の撮影映像に対してエッジ検出やパターン認識処理などの画像処理を行う、あるいは車載用ミリ波レーダやレーザレーダなどの物体検出装置を備える場合にはその検出結果を用いることで実現できる。
【００３６】
以上、具体的な例を挙げながら詳細に説明したように、本実施形態の車両用周辺監視装置によれば、自車両Ｖの後方に後続車両が接近していない状況では、車両後方の映像をルームミラーのミラー反射像と同等の映像サイズに拡大した表示用映像がディスプレイ４に表示されるので、自車両Ｖの運転者に対して車両後方の映像を正しい距離感で把握させることができる。また、本実施形態の車両用周辺監視装置によれば、後続車両が自車両Ｖに接近したことによって後続車両の側方にリアカメラ１で撮影できない死角領域が発生している状況では、リアカメラ１で撮影された車両後方の映像に、右サイドカメラ２または左サイドカメラ３で撮影された死角領域の映像を合成した表示用映像がディスプレイ４に表示されるので、死角領域となる後続車両の側方の状況も自車両Ｖの運転者に提示することができる。
【００３７】
［第２実施形態］
次に、本発明の第２実施形態について説明する。本実施形態は、映像撮影手段としてリアカメラ１のみを備える構成の車両用周辺監視装置への適用例である。図１６は本実施形態の車両用周辺監視装置の構成を示すブロック図、図１７はリアカメラ１の撮影範囲と表示用映像に用いる映像範囲との関係を示す図である。
【００３８】
本実施形態の車両用周辺監視装置では、自車両Ｖの後部に設置されたリアカメラ１により車両後方および車両後側方の映像を撮影し、自車両Ｖの後方を走行している後続車両が自車両Ｖに接近していない状況では、リアカメラ１で撮影された映像から車両後方の映像のみを拡大してディスプレイ４に表示させ、自車両Ｖの後方を走行している後続車両が自車両Ｖに接近したことによって後続車両の側方に車両後方の映像として撮影できない死角領域が発生している状況では、リアカメラ１で撮影された車両後方および車両後側方の映像をディスプレイ４に表示させる。なお、車両周辺監視装置の構成としては、図１６に示すように、右サイドカメラ２および左サイドカメラ３と、これら右サイドカメラ２および左サイドカメラ３の撮影映像が格納される入力映像フレームメモリ２２，２３とが設けられていない以外は、上述した第１実施形態と同様であるので、以下、第１実施形態と同様の構成については同一の符号を用いて説明する。
【００３９】
リアカメラ１は、第１実施形態で説明したように、例えばルーフスポイラーなどの車両後部の所定位置に設置され、例えば図１７中Ａ１で示す車両後方および車両後側方の比較的広い領域の映像を撮影することが可能とされている。ここで、車両後方の領域とは、自車両Ｖの前後軸を車両後方に伸ばした延長線を中心とした所定範囲の領域であり、例えば自車両Ｖの運転者がルームミラーで確認できる範囲の領域（図１７中Ｂ１で示す領域）である。また、車両後側方の領域とは、以上のような車両後方の領域よりも左右外側に位置する領域であり、例えば自車両Ｖの運転者がドアミラーで確認できる範囲の領域（図１７中Ｂ２，Ｂ３で示す領域）である。
【００４０】
このリアカメラ１で撮影された車両後方および車両後側方の映像はデジタル化され、フレーム単位で映像処理ユニット１０の映像入力部１１に設けられた入力映像フレームメモリ２１に格納される。
【００４１】
映像処理ユニット１０の死角判定部１２は、後続車両の接近によって当該後続車両の側方にリアカメラ１で撮影できない死角領域が発生しているか否かを、第１実施形態と同様の手法により判定する。すなわち、死角判定部１２は、リアカメラ１の撮影映像に対してエッジ検出やパターン認識処理などの画像処理を行うことで、あるいは車載用ミリ波レーダやレーザレーダなどの物体検出装置を備える場合にはその検出結果を用いて、後続車両の位置や大きさを求める。そして、後続車両の位置や大きさに基づいて、車両後方の隣接車線においてリアカメラ１で撮影できる視認可能距離を求め、この視認可能距離が所定の閾値以下となっているか否か、あるいは自車両Ｖと後続車両との間の車間距離が所定の閾値以下となっているか否かにより、死角領域の発生有無を判定する。そして、死角領域が発生していると判定した場合には、死角領域が発生している旨の情報を表示用映像生成部１３に対して出力する。
【００４２】
表示用映像生成部１３は、死角判定部１２から死角領域が発生している旨の情報が出力されていない間は、リアカメラ１で撮影された映像から車両後方の映像（図１７中Ｂ１で示す領域の映像）を切り出して、この車両後方の映像をルームミラーのミラー反射像と同等の映像サイズに拡大して表示用映像を生成する。この表示用映像の生成は、第１実施形態と同様に、映像入力部１１の入力映像フレームメモリ２１にフレーム単位で格納されたリアカメラ１の撮影映像のピクセルデータを、定義テーブルに従って、映像出力部１４の出力映像フレームメモリ２４に再配置することで実現できる。
【００４３】
また、表示用映像生成部１３は、死角判定部１２から死角領域が発生している旨の情報が出力されると、リアカメラ１で撮影された車両後方および車両後側方の映像（図１７中Ｂ１，Ｂ２，Ｂ３で示す領域の映像）を、ディスプレイ４の表示領域に合わせた映像サイズに変換して表示用映像を生成する。この表示用映像の生成も、車両後方と車両後側方とを含む広域映像に対応した定義テーブルを用いて、入力映像フレームメモリ２１に格納されたリアカメラ１の撮影映像のピクセルデータを出力映像フレームメモリ２４に再配置することで実現できる。
【００４４】
本実施形態では、以上のように、表示用映像生成部１３で生成する表示用映像を、死角発生の有無に応じて、車両後方の拡大映像と車両後方及び車両後側方の広域映像とで切替えることにより、車両後方の映像を自車両Ｖの運転者が正しい距離感で把握できるように表示させながら、後続車両の接近による死角発生にも対応させて、必要な情報を自車両Ｖの運転者に的確に提示できるようにしている。
【００４５】
ここで、図１８に示す走行シーンを例に挙げて、本実施形態における表示用映像の切替えについて説明する。図１８に示す走行シーンは、自車両Ｖの後方に大型の後続車両Ｖ２が接近しており、また、自車両の走行車線の右隣りの車線を、後続車両Ｖ２の側方に併走するようにして他の後続車両Ｖ３が走行している走行シーンである。また、図１８中のＢ１がリアカメラ１で撮影される車両後方の領域であり、Ｂ２，Ｂ３がリアカメラ１で撮影される車両後側方の領域である。
【００４６】
この図１８に示す走行シーンでは、後続車両Ｖ２が自車両Ｖに接近することによって後続車両Ｖ２の側方に死角領域が発生するが、右隣りの車線を走行している他の後続車両Ｖ３は一部が死角領域の外側に位置するため、この後続車両Ｖ３の一部はリアカメラ１により撮影可能である。このとき、リアカメラ１で撮影された車両後方の映像（図１８中Ｂ１で示す領域の映像）のみを拡大して表示用映像とすると、後続車両Ｖ３はリアカメラ１で撮影可能であるにも拘わらず表示用映像としては表示されないことになり、自車両Ｖの運転者はこの表示用映像から後続車両Ｖ３の存在を的確に認識できなくなる。そこで、本実施形態では、後続車両Ｖ２が自車両Ｖに接近することによって後続車両Ｖ２の側方に死角領域が発生した場合に、表示用映像として表示する映像を車両後方の拡大映像から車両後方および車両後側方を含む広域映像（図１８中Ｂ１，Ｂ２，Ｂ３で示す領域の映像）に切替えることで、後続車両Ｖ３の存在を自車両Ｖの運転者が認識できるようにしている。
【００４７】
映像出力部１４は、第１の実施形態と同様に、表示用映像生成部１３で作成されて出力映像フレームメモリ２４に格納された表示用映像の映像データを、ディスプレイ４に随時出力する。これにより、自車両Ｖの後方に後続車両が接近していない状況では、例えば図７に示したように、車両後方の映像をルームミラーのミラー反射像と同等の映像サイズに拡大した表示用映像がディスプレイ４に表示される。また、後続車両が自車両Ｖに接近したことによって後続車両の側方に死角領域が発生している状況では、例えば図１９に示すように、車両後方および車両後側方の広域映像がディスプレイ４に表示される。この図１９に示す表示用映像は、図１８に示した走行シーンにおいてディスプレイ４に表示される映像である。自車両Ｖの運転者は、この図１９に示す表示用映像から、自車両Ｖに接近している後続車両Ｖ２の側方に他の後続車両Ｖ３が存在することを認識できる。
【００４８】
以上、具体的な例を挙げながら詳細に説明したように、本実施形態の車両用周辺監視装置によれば、自車両Ｖの後方に後続車両が接近していない状況では、車両後方の拡大映像がディスプレイ４に表示されるので、自車両Ｖの運転者に対して車両後方の映像を正しい距離感で把握させることができる。また、本実施形態の車両用周辺監視装置によれば、後続車両が自車両Ｖに接近したことによって後続車両の側方に死角領域が発生している状況では、車両後方および車両後側方の広域映像がディスプレイ４に表示されるので、後続車両の接近による死角発生にも対応させて、必要な情報を自車両Ｖの運転者に提示することができる。
【００４９】
なお、以上説明した第１および第２の実施形態は本発明の一適用例であり、本発明の技術的範囲が以上の各実施形態で説明した内容に限定されることを意図するものではない。つまり、本発明の技術的範囲は、以上の各実施形態で開示した具体的な技術事項に限らず、この開示から容易に導きうる様々な変形、変更、代替技術なども含むものである。
【図面の簡単な説明】
【００５０】
【図１】第１実施形態の車両用周辺監視装置の構成を示すブロック図である。
【図２】第１実施形態の車両用周辺監視装置が備える車載カメラの配置例を示す図である。
【図３】自車両の後方の離れた位置に後続車両が走行している走行シーンを示す模式図である。
【図４】図３の走行シーンにおいて３台の車載カメラにより撮影される映像の具体例を示す図であり、（ａ）はリアカメラの撮影映像を示す図、（ｂ）は右サイドカメラの撮影映像を示す図、（ｃ）は左サイドカメラの撮影映像を示す図である。
【図５】図４に示した３台の車載カメラの撮影映像を横に並べてディスプレイに表示した場合の映像表示例を示す図である。
【図６】図３の走行シーンにおいて自車両のルームミラーに映る車両後方の領域のミラー反射像を示す図である。
【図７】第１実施形態の車両用周辺監視装置において、死角領域が発生していない状況でディスプレイに表示される表示用映像の一例を示す図である。
【図８】自車両の後方に大型の後続車両が接近している走行シーンを示す模式図である。
【図９】図８の走行シーンにおいて車両後方の映像を拡大してディスプレイに表示した場合の映像表示例を示す図である。
【図１０】第１実施形態の車両用周辺監視装置において、死角領域が発生した状況でディスプレイに表示される表示用映像の一例を示す図である。
【図１１】第１実施形態の車両用周辺監視装置において、死角領域が発生した状況でディスプレイに表示される表示用映像の他の例を示す図である。
【図１２】リアカメラの撮影映像を画像処理して自車両に接近している後続車両を検出する手法を説明する図である。
【図１３】死角領域が発生しているか否かを判定する具体的な手法の一例を説明する図である。
【図１４】後続車両よりも自車両近傍の位置に二輪車などの障害物が存在する走行シーンを示す模式図である。
【図１５】図１４の走行シーンにおいてディスプレイに表示される表示用映像を示す図であり、（ａ）はリアカメラで撮影された車両後方の映像の右隣りに右サイドカメラで撮影された死角領域の映像を単純に合成した場合の表示例を示す図、（ｂ）は障害物の存在を確認できる程度にリアカメラで撮影された車両後方の映像範囲を拡大した場合の表示例を示す図、（ｃ）はリアカメラで撮影された車両後方の映像の右隣りに右サイドカメラで撮影された死角領域の映像を合成し、障害物の位置に障害物が存在することを表すアイコンを重畳した場合の表示例を示す図である。
【図１６】第２実施形態の車両用周辺監視装置の構成を示すブロック図である。
【図１７】第２実施形態の車両用周辺監視装置が備えるリアカメラの撮影範囲と表示用映像に用いる映像範囲との関係を示す図である。
【図１８】自車両の後方に大型の後続車両が接近している走行シーンを示す模式図である。
【図１９】第２実施形態の車両用周辺監視装置において、死角領域が発生した状況でディスプレイに表示される表示用映像の一例を示す図である。
【符号の説明】
【００５１】
１  リアカメラ
２  右サイドカメラ
３  左サイドカメラ
４  ディスプレイ
１０  映像処理ユニット
１２  死角判定部
１３  表示用映像生成部
１４  映像出力部
【図１】
0005347257.tif 000002
【図２】
0005347257.tif 000003
【図３】
0005347257.tif 000004
【図４】
0005347257.tif 000005
【図５】
0005347257.tif 000006
【図６】
0005347257.tif 000007
【図７】
0005347257.tif 000008
【図８】
0005347257.tif 000009
【図９】
0005347257.tif 000010
【図１０】
0005347257.tif 000011
【図１１】
0005347257.tif 000012
【図１２】
0005347257.tif 000013
【図１３】
0005347257.tif 000014
【図１４】
0005347257.tif 000015
【図１５】
0005347257.tif 000016
【図１６】
0005347257.tif 000017
【図１７】
0005347257.tif 000018
【図１８】
0005347257.tif 000019
【図１９】
0005347257.tif 000020