(57)【要約】【課題】  車両の後方からの接近車を、高い精度で検出する車両検出装置を提供する。【解決手段】  車両に搭載される車両検出装置において、車両の後方を撮像する第１撮像手段と、車両の後方で、第１撮像手段よりも遠方を撮像する第２撮像手段と、第１撮像画像を鳥瞰視画像に視点変換し、鳥瞰視画像に写る立体物の倒れ込みから立体物を検出する立体物検出手段と、第２撮像画像に基づき他車両を検出する車両検出手段と、立体物検出手段及び車両検出手段の検出結果に基づき、自車両に接近する接近車の有無を判定する接近車判定手段とを備え、接近車判定手段は、車両検出手段により他車両の存在を検出した後に、立体物検出手段により他車両に対応する立体物を検出した場合には、他車両を接近車として判定する。【選択図】  図１
2015032082.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載される車両検出装置において、
前記車両の後方を撮像する第１撮像手段と、
前記車両の後方で、前記第１撮像手段よりも遠方を撮像する第２撮像手段と、
前記第１撮像画像を鳥瞰視画像に視点変換し、前記鳥瞰視画像に写る立体物の倒れ込みから前記立体物を検出する立体物検出手段と、
前記第２撮像画像に基づき他車両を検出する車両検出手段と、
前記立体物検出手段及び前記車両検出手段の検出結果に基づき、自車両に接近する接近車の有無を判定する接近車判定手段とを備え、
前記接近車判定手段は、
前記車両検出手段により他車両の存在を検出した後に、前記立体物検出手段により前記他車両に対応する前記立体物を検出した場合には、前記他車両を前記接近車として判定する
ことを特徴とする車両検出装置。
【請求項２】
請求項１記載の車両検出装置において、
前記立体物検出手段は、
前記他車両が前記立体物の検出領域内に入ったときに最初に撮像された前記第１画像に基づき、前記立体物を検出する
ことを特徴とする車両検出装置。
【請求項３】
請求項１又は２記載の車両検出装置において、
前記立体物検出手段は、
前記車両の後方に設定された検出領域のうち前記第２撮像手段の撮像範囲内の立体物を、前記第２撮像画像に基づいて検出する
ことを特徴とする車両検出装置。
【請求項４】
請求項１〜３のいずれか一項に記載の車両検出装置において、
前記立体物検出手段は、
前記第１撮像手段により異なる時刻に撮像された前記第１撮像画像を鳥瞰視画像に視点変換し、鳥瞰視画像の位置を鳥瞰視上で位置合わせし、当該位置合わせされた鳥瞰視画像の差分画像上において、前記鳥瞰視画像を視点変換した際に立体物が倒れ込む方向に沿って、前記差分画像上において所定の差分を示す画素数をカウントして度数分布化することで差分波形情報を生成し、当該差分波形情報に基づいて、前記立体物の状態を検出する
ことを特徴とする車両検出装置。
【請求項５】
請求項１〜４のいずれか一項に記載の車両検出装置において、
前記第２撮像手段は、
地表に対して前記第１撮像手段よりも高い位置に設けられ、前記第１撮像手段の画角よりも狭い画角である。
ことを特徴とする車両検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両検出装置に関するものである。
【背景技術】
【０００２】
１８０度以上の画角を有した４つの車載カメラを車両に配置し、これら車載カメラで撮影した撮影画像から、車両の位置の略中央の真上位置を仮想視点とした合成画像を生成して、当該合成画像をディスプレイに表示する。そして、当該車載カメラのうちバックカメラの撮影画像から接近車両を検出し、接近車両が車両に近づくにつれて前記仮想視点の高さを上昇させる画像表示システムが開示されている（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−２５３４２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記の画像表示システムでは、車両の検出の際に用いた画像が、１８０度以上の広い画角をもつカメラで撮像されており、自車両の後方の遠い領域では、当該カメラの広画角の部分で撮像されてしまうため、車両の検出精度が低い、という問題があった。
【０００５】
本発明が解決しようとする課題は、車両の後方からの接近車を、高い精度で検出する車両検出装置を提供することである。
【課題を解決するための手段】
【０００６】
本発明は、第１撮像画像を鳥瞰視画像に視点変換し、鳥瞰視画像に写る立体物の倒れ込みから前記立体物を検出し、当該第１撮像画像よりも遠方を撮像した第２撮像画像に基づき他車両を検出し、検出された立体物及び他車両に基づき、接近車の有無を判定するもので、他車両の存在を検出した後に、車両に対応する立体物を検出した場合には、他車両を前記接近車として判定することによって上記課題を解決する。
【発明の効果】
【０００７】
本発明は、立体物の検出の際に精度が低くなる領域における他車両を、車両後方の遠方を撮像した画像に基づき検出した上で、自車両の近傍を表す鳥瞰視画像から他車両に対応する立体物を検出しているため、他車両の検出精度を高めることができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態に係る車両検出装置のブロック図である。
【図２】図１のカメラの位置を説明するための図であり、車両の平面図である。
【図３】図１のカメラの位置を説明するための図であり、車両の側面図である。
【図４】図１のディスプレイの位置を説明するための図であり、車両のインストゥメンタルパネルの周囲を示す図である。
【図５】図１の車両の走行状態を示す平面図である。
【図６】図１の車両の後方部分の側面図である。
【図７】図１の立体検出部の処理の概要を説明するための図であり、（ａ）は車両の移動状態を示す平面図、（ｂ）は位置合わせの概要を示す画像である。
【図８】図１の立体検出部による差分波形の生成の様子を示す概略図である。
【図９】図１の立体物検出部によって分割される小領域を示す図である。
【図１０】図１の立体物検出部により得られるヒストグラムの一例を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態を図面に基づいて説明する。  
《第１実施形態》
【００１０】
図１は、本発明の実施形態に係る車両検出装置のブロック図である。本例の車両検出装置は、車両に搭載され、自車両の後方から接近する他車両を検出するための装置である。
【００１１】
また本例は、車両駆動装置の構成の一部となるカメラ、及び、他のカメラを用いて、自車両の後方及び自車両の周囲を撮影し、ディスプレイに表示することで、自車両の後方又は周囲の情報を、乗員に提示している。従来は、車室内又は車室外にミラーを設置し、乗員がミラーを直接みることで、自車両の後方又は周囲の情報を取得していたが、ミラーの視野角が狭い点や、ミラーにボディーのピラーが写ることで死角が生じる等の問題があった。そのため、本例は、ミラーを車両に設けずに、カメラとディスプレイを用いることで、これらの問題を解決している。
【００１２】
図１に示すように、本実施形態に係る車両検出装置は、右サイドカメラ１ａ、左サイドカメラ１ｂ、リアカメラ１ｃ、バックカメラ１ｄ、右ディスプレイ２ａ、左ディスプレイ２ｂ、中央ディスプレイ２ｃ、報知部３及びコントローラ１０を備えている。これらの各装置はＣＡＮ（Controller Area Network）その他の車載ＬＡＮによって接続され、情報の送信又は受信を行うことができる。
【００１３】
右サイドカメラ１ａ、左サイドカメラ１ｂ、及びリアカメラ１ｃは、自車両の後方の情報を取得するために、自車両の後方を撮像するカメラである。バックカメラ１ｄは、自車両の後方の周囲（自車両の近傍）の情報を取得するために、自車両の後方の周囲を撮像するカメラである。カメラ１ａ〜１ｄは、車両の外部の異なる位置に各々設置されている。図２及び図３にカメラ１ａ〜１ｄの配置例を示す。図２は自車両の平面図を、図３は自車両の側面図を示す。
【００１４】
たとえば、図２に示すように、右サイドカメラ１ａは、車両右側方の所定の位置に設置され、従来、右ドアミラー（右サイドミラー）を設置していた場所に設けられている。右サイドカメラ１ａは、車両の右後方を撮像する。左サイドカメラ１ｂは、車両左側方の所定の位置に設置され、従来、左ドアミラー（左サイドミラー）を設置していた場所に設けられている。左サイドカメラ１ｂは、車両の左後方を撮像する。
【００１５】
リアカメラ１ｃは、後部ドア（バックドア）の高いところに設けられている。後部ドアにハイマウントストップランプが設けられている場合には、リアカメラ１ｃは、当該ハイマウントストップランプの付近に設置されている。リアカメラ１ｃは、車両の後方を撮像するように設置され、右サイドカメラ１ａで映す部分と、左サイドカメラ１ｂで映す部分の間を撮像するように設けられている。リアカメラ１ｃはバックドアの外側（車室外）に設けもよく、あるいは、バックドアの内側（車室内）に設けもよい。
【００１６】
バックカメラ１ｄは、リアガラスの下部などの車両後方の所定位置に設置され、車両の後方を撮像する。図３に示すように、リアカメラ１ｃは、バックカメラ１ｄよりも、地表に対して高い位置に設けられている。また、リアカメラ１ｃ及びバックカメラ１ｄは共に車両の後方を撮像しているが、リアカメラ１ｃは自車両の遠方を撮像し、バックカメラ１ｄは自車両の近傍を撮像している。また、リアカメラ１ｃの画角は、バックカメラ１ｄの画角よりも広い。すなわち、バックカメラ１ｄは、リアカメラ１ｃの撮像範囲よりも近傍を撮像している。
【００１７】
右ディスプレイ２ａ、左ディスプレイ２ｂ、及び中央ディスプレイ２ｃは、カメラ１ａ〜１ｄで撮像される自車両の後方の画像を、表示する表示装置である。図４に、ディスプレイ２ａ〜２ｃの配置例を示す。図４は、自車両のインストゥメンタルパネルの周囲を示す図である。
【００１８】
例えば、図４に示すように、右ディスプレイ２ａは、インストゥメンタルパネル２０の右側に設置されている。右ディスプレイ２ａは、右サイドカメラ１ａで撮像された画像を表示するディスプレイである。左ディスプレイ２ｂは、インストゥメンタルパネル２０の左側に設置されている。左ディスプレイ２ｂは、左サイドカメラ１ｂで撮像された画像を表示するディスプレイである。中央ディスプレイ２ｃは、インストゥメンタルパネル２０の中央に設置されている。中央ディスプレイ２ｃは、リアカメラ１ｃ及びバックカメラ１ｄで撮像された画像を表示するディスプレイである。
【００１９】
図１に戻り、報知部３は、車室内に設けられたスピーカである。報知部３は、自車両に接近する接近車の存在を、ドライバーに報知するために、コントローラ１０の制御に基づいて、警報音を発する。なお、接近車の警報は、報知部３による音に限らず、例えば中央ディスプレイ２ｃで表示してもよい。
【００２０】
コントローラ１０は、各カメラ１ａ〜１ｄから撮像画像の情報を取得して、各ディスプレイ２ａ〜２ｃで表示される表示画像を生成して、各ディスプレイ２ａ〜２ｃに出力することで、乗員に対して、自車両の後方及び周辺の様子を、電子画像により視覚的に提示する制御装置である。また、コントローラ１０は、カメラ１ｃ〜１ｄの撮像画像から、自車両の後方を走行する他車両を検出し、他車両の接近に応じて警報を発するために制御装置でもある。
【００２１】
コントローラ１０は、各種プログラムが格納されたＲＯＭ（Read Only Memory）、このＲＯＭに格納されたプログラムを実行する動作回路としてのＣＰＵ（Central Processing Unit）、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）等により構成されている。そして、コントローラ１０は、各制御機能を発揮するための機能ブロックとして、後側方画像制御部１１、鳥瞰視画像生成部１３、後方画像制御部１３、立体物検出部１４、車両検出部１５、及び接近車判定部１６を有している。
【００２２】
後側方画像制御部１１は、右サイドカメラ１ａで撮像した撮像画像から、車両の右側の後側方の部分を表示するための表示画像を生成する。このとき、後側方画像制御部１１は、右サイドカメラ１ａの撮像画像のうち、車両の右側の後側方の部分と対応する画像を抽出する。そして、後側方画像制御部１１は、抽出した画像を補正することで表示画像を生成し、右ディスプレイ２ａに出力する。
【００２３】
右サイドミラー１ａの位置に設定されていた、従前のミラーの視野角と、本例の右サイドミラー１ａの画角は異なっている。そのため、撮像画像を補正せずに右ディスプレイ２ａに表示した場合には、ディスプレイに表示する際の被写体の大きさが、ミラーで映したときの被写体の大きさと相違する。後側方画像制御部１１は、被写体の大きさの相違を修正するために、抽出した画像を補正する。これにより、ユーザが右ディスプレイ２ａの表示画像をみた際に、ユーザが被写体までの距離感を見誤らないようにしている。
【００２４】
また、後側方画像制御部１１は、左サイドカメラ１ｂで撮像した撮像画像のうち、車両の左側の後側方の部分と対応する画像を抽出する。そして、後側方画像制御部１１は、抽出した画像を補正しつつ表示画像を生成し、生成した画像を左ディスプレイ２ｂに出力することで、車両の左側の後側方の部分を表示する。
【００２５】
後方画像制御部１２は、リアカメラ１ｃで撮像した撮像画像から、車両の後方（車両の真後ろ）の部分を表示するための表示画像を生成する。
【００２６】
具体的には、後方画像制御部１２は、リアカメラ１ｃで撮像した画像を、自車両の車室内の所定の位置を視点とする画像に視点変換する。また、後方画像制御部１２は、視点変化した画像を補正することで表示画像を生成する。図２に示すように、リアカメラ１ｃの設置された位置とルームミラーの位置は異なり、車両の後方の被写体に対して、リアカメラ１ｃの位置の方が近くなる。そのため、設置位置の違いに基づく被写体までの撮像距離を修正するために、後方画像制御部１２は視点変換を行う。また、後側方画像制御部１２と同様に、ミラーとカメラによる画角の違いを修正するために、後方画像制御部１２は画像を補正している。
【００２７】
そして、後方画像制御部１２は、生成した画像を中央ディスプレイ２ｃに出力することで、車両の後方の部分を表示する。
【００２８】
鳥瞰視画像生成部１３は、リアカメラ１ｃ及びバックカメラ１ｄから撮像画像を取得し、自車両上方の仮想視点から自車両および自車両周囲を見下ろした鳥瞰視画像に視点変換する。撮像画像と鳥瞰視画像との間の変換は、撮像画像の画素アドレスと鳥瞰視画像における画素アドレスとの対応関係を示すテーブルにより表されている。そして、鳥瞰視画像生成部１３は、返還後の鳥瞰視画像を立体物検出部１４に出力する。
【００２９】
立体物検出部１４は、鳥瞰視画像生成部１３から鳥瞰視画像を取得し、鳥瞰視画像に写る立体物の倒れ込みから、車両の後方の立体物を検出する。また立体物検出部１４は、取得した鳥瞰視画像に基づき、検出した立体物の移動距離又は当該立体物の速度などの立体物の情報を検出する。
【００３０】
立体物検出部１４は、立体物の状態を検出する際には、まず取得した異なる時刻の鳥瞰視画像に基づき、鳥瞰視画像の位置を鳥瞰視上でそれぞれ位置合わせする。立体物検出部１４は、位置合わせた鳥瞰視画像の差分画像上において、鳥瞰視画像を視点変換した際に立体物が倒れ込む方向に沿って、差分画像上において所定の差分を示す画素数をカウントして度数分布化する。そして、立体物検出部１４は、同数分化することで生成された差分波形情報に基づいて、立体物の状態を検出する。
【００３１】
立体物検出部１４は、立体物の検出結果を接近車判定部１６に出力する。なお、立体物検出部１４による立体物の検出制御の詳細については、後述する。
【００３２】
車両検出部１５は、リアカメラ１ｃの撮像画像に基づき、自車両の後方を走行する他車両を検出する。車両検出部１５には、車両を形取ったテンプレートが予め記録されている。そして、車両検出部１５は、取得したリアカメラ１ｃの撮像画像と、テンプレートを比較することで、撮像画像に写る他車両を特定する。撮像画像内には、検出した他車両の走行車線である路面が写っている。そのため、車両検出部１５は、撮像画像内において、路面に対する他車両の大きさを計測することで、自車両から他車両までの距離を検出できる。さらに、リアカメラ１ｃは、所定の周期で、車両の後方を撮像しているため、車両検出部１５は、撮像画像に写る他車両の大きさの変化と当該周期から、自車両に対する他車両の相対距離も検出できる。そして、車両検出部１５は検出結果を接近車判定部１６に出力する。
【００３３】
接近車判定部１６は、立体物検出部１４の検出結果及び車両検出部１５の検出結果に基づき、自車両に接近する接近車の有無を判定する。車両検出部１５は自車両に対して遠方部分を検出領域（以下、遠方検出領域と称す。）とし、立体物検出部１４は、車両検出部１５の検出領域よりも近傍部分を検出領域（以下、近傍検出領域と称する）としている。そして、接近車判定部１６は、車両検出部１５により、遠方検出領域において他車両の存在を検出すると、立体物検出部１４の検出結果に基づき、当該他車両に対応する立体物を近傍検出領域内で検出されたか否かを判定する。そして、他車両に対応する立体物を近傍検出領域内で検出した場合には、接近車判定部１６は、検出した他車両を接近車として判定する。
【００３４】
また接近車判定部１６は、上記の判定により、接近車が近傍検出領域に進入した時に、報知部３を制御することでドライバーに対して、車両の接近を警報する。
【００３５】
次に、他車両の検出領域とカメラ１ｃ、１ｄの画角との関係について、図５及び図６を用いて説明する。図５は、近傍検出領域及び遠方検出領域を説明するための図であり、車両及び走行車線の平面図である。図６は、近傍検出領域を説明するための図である、車両の側面図である。
【００３６】
バックカメラ１ｄの画角ａは、自車両の走行車線に加えて、当該走行車線の左右の隣接車線についても撮影可能な画角に設定されている。立体物検出部１４の検出領域である近傍検出領域は、自車両の走行車線に対して左右に隣接する車線上であり、自車両の後方に設定されている。近傍検出領域は、バックカメラ１ｄの撮像範囲を含む範囲であって、自車両に対して近い部分、例えば自車両の後方で１．５ｍ〜８．０ｍ程度に設定されている。
【００３７】
遠方検出領域は、自車両の走行車線に対して左右に隣接する車線上であり、自車両の後方に設定されている。また、遠方検出領域は、自車両の後方で、近傍検出領域よりも遠い位置に設定されており、例えば、自車両の後方で８．０ｍ以上の範囲に設定されている。図５において、領域（Ａ１、Ａ２）が近傍検出領域を表し、領域（Ｂ１、Ｂ２）が遠方検出領域を表す。
【００３８】
バックカメラ１ｄの画角は広いため、近傍検出領域のうち、車両に近い側の領域が、バックカメラ１ｄの撮像範囲に含まれる。一方、リアカメラ１ｃの画角は狭いため、車両の近い部分を撮像することができないが、近傍検出領域のうち車両に遠い側の領域、及び、遠方検出領域が、バックカメラ１ｃの撮像画像に含まれる。
【００３９】
すなわち、図６に示すように、近傍検出領域のうち車両に対して遠い側の領域では、リアカメラ１ｃの撮像範囲とバックカメラ１ｄの撮像範囲が重なっている。
【００４０】
バックカメラ１ｄの撮像範囲において、車両に対して遠い部分の光は、バックカメラ１ｄのレンズのエッジの部分を通って収束する。そして、バックカメラ１ｄは広画角に設定されているため、エッジ部分の歪みが大きい。一方、リアカメラ１ｃは狭い画角に設定されているため、レンズのエッジ部分でも歪みが小さい。
【００４１】
そのため、本例において、立体物検出部１４は、近傍検出領域（Ａ１、Ａ２）のうち、リアカメラ１ｃの撮像範囲（Ｘ）とバックカメラ１ｄの撮像範囲（Ｙ）との重複部分では、リアカメラ１ｃの撮像画像に基づいて、立体物を検出する。例えば、地表からリアカメラ１ｃまでの位置までの高さをｈとし、リアカメラ１ｃの垂直画角を４０度（レンズの光軸は水平方向）とする。そして、立体物を検出する際に用いる画像の切り替えの境界線を、自車両からの距離ｄ（水面上における距離）とすると、１．５／ｄ＝ｔａｎ（２０度）が成立し、ｄは４．１２ｍとなる。
【００４２】
すなわち、リアカメラ１ｃの位置、車両の高さ、及びリアカメラ１ｃの画角に応じて、画像の切り替えの境界線が設定される。そして、立体物検出部１４は、車両から距離が４．１２ｍ未満まではバックカメラ１ｄの撮像画像に基づき立体物を検出し、車両から距離が４．１２ｍ以上８．０ｍ以下ではリアカメラ１ｃの撮像画像に基づき立体物を検出する。これにより、歪みの少ない画像を鳥瞰視画像に変換した上で、立体物を検出できるため、本例は立体物の検出精度を向上できる。
【００４３】
以下、立体物検出部１４による立体物の検出制御について説明する。立体物検出部１４により取得される鳥瞰視画像の特性として、撮像画像データを鳥瞰視画像データに視点変換することで、立体物に特有の鉛直エッジは鳥瞰視画像において特定の定点を通る直線群に変換されるという原理をもっている。そのため、立体物検出部１４は、この原理を利用して平面物と立体物とを識別している。
【００４４】
鳥瞰視画像生成部１３は、リアカメラ１ｃの撮像画像から、近傍検出領域のうち自車両に対して遠方部分に相当する部分の画像を抽出し、バックカメラ１ｄの撮像画像から、近傍検出領域のうち自車両に対して近傍部分に相当する部分の画像を抽出する。鳥瞰視画像生成部１３は、抽出した各画像の画素アドレスを対応させつつ、画像を合成する。そして、鳥瞰視画像生成部１３は、合成した画像を鳥瞰視画像に変換し、変換した鳥瞰視画像のデータを立体物検出部１４に出力する。
【００４５】
立体物検出部１４は、鳥瞰視画像生成部１２の視点変換により得られた鳥瞰視画像データを順次取得し、取得した異なる時刻の鳥瞰視画像データの位置を合わせる。図７は、立体物検出部１４による位置合わせの処理の概要を説明するための図であり、（ａ）は自車両Ｖの移動状態を示す平面図、（ｂ）は位置合わせの概要を示す画像である。
【００４６】
図７（ａ）に示すように、現時刻の自車両ＶがＶ１に位置し、一時刻前の自車両ＶがＶ２に位置していたとする。また、自車両Ｖの後側方向に他車両ＶＸが位置して自車両Ｖと並走状態にあり、現時刻の他車両ＶＸがＶ３に位置し、一時刻前の他車両ＶＸがＶ４に位置していたとする。さらに、自車両Ｖは、一時刻で距離ｄ移動したものとする。なお、一時刻前とは、現時刻から予め定められた時間（例えば１制御周期）だけ過去の時刻であってもよいし、任意の時間だけ過去の時刻であってもよい。
【００４７】
このような状態において、現時刻における鳥瞰視画像ＰＢｔは図７（ｂ）に示すようになる。この鳥瞰視画像ＰＢｔでは、路面上に描かれる白線については矩形状となり、比較的正確に平面視された状態となるが、位置Ｖ３にある他車両ＶＸの位置については倒れ込みが発生する。また、一時刻前における鳥瞰視画像ＰＢｔ−１についても同様に、路面上に描かれる白線については矩形状となり、比較的正確に平面視された状態となるが、位置Ｖ４にある他車両ＶＸについては倒れ込みが発生する。立体物の鉛直エッジ（厳密な意味の鉛直エッジ以外にも路面から三次元空間に立ち上がったエッジを含む）は、鳥瞰視画像データへの視点変換処理によって倒れ込み方向に沿った直線群として現れるのに対し、路面上の平面画像は鉛直エッジを含まないので、視点変換してもそのような倒れ込みが生じないからである。
【００４８】
立体物検出部１４は、上記のような鳥瞰視画像ＰＢｔ，ＰＢｔ−１の位置合わせをデータ上で実行する。この際、立体物検出部１４は、一時刻前における鳥瞰視画像ＰＢｔ−１をオフセットさせ、現時刻における鳥瞰視画像ＰＢｔと位置を一致させる。図７（ｂ）の左側の画像と中央の画像は、移動距離ｄ’だけオフセットした状態を示す。このオフセット量ｄ’は、図７（ａ）に示した自車両Ｖの実際の移動距離ｄに対応する鳥瞰視画像データ上の移動量であり、車速センサ（図示しない）からの信号と一時刻前から現時刻までの時間に基づいて決定される。
【００４９】
また、位置合わせ後において立体物検出部１４は、鳥瞰視画像ＰＢｔ，ＰＢｔ−１の差分をとり、差分画像ＰＤｔのデータを生成する。ここで、差分画像ＰＤｔの画素値は、鳥瞰視画像ＰＢｔ，ＰＢｔ−１の画素値の差を絶対値化したものでもよいし、照度環境の変化に対応するために当該絶対値が所定の閾値ｐを超えたときに「１」とし、超えないときに「０」としてもよい。図７（ｂ）の右側の画像が、差分画像ＰＤｔである。
【００５０】
立体物検出部１４は、図７（ｂ）に示す差分画像ＰＤｔのデータに基づいて立体物を検出する。この際、本例の立体物検出部１４は、実空間上における立体物の移動距離についても算出する。立体物の検出及び移動距離の算出にあたり、立体物検出部１４は、まず差分波形を生成する。なお、立体物の時間あたりの移動距離は、立体物の移動速度の算出に用いられる。
【００５１】
差分波形の生成にあたって本実施形態の立体物検出部１４は、差分画像ＰＤｔにおいて検出領域を設定する。検出領域は、図５及び図６に示す近傍検出領域（Ａ１、Ａ２）である。検出領域Ａ１、Ａ２は、自車両Ｖに対する相対位置から設定してもよいし、白線の位置を基準に設定してもよい。白線の位置を基準に設定する場合には、例えば既存の白線認識技術等を利用するとよい。
【００５２】
また、立体物検出部１４は、設定した検出領域Ａ１，Ａ２の自車両Ｖ側における辺（走行方向に沿う辺）を接地線Ｌ１、Ｌ２（図５を参照）として認識する。一般に接地線は立体物が地面に接触する線を意味するが、本実施形態では地面に接触する線でなく上記の如くに設定される。なおこの場合であっても、経験上、本実施形態に係る接地線と、本来の他車両ＶＸの位置から求められる接地線との差は大きくなり過ぎず、実用上は問題が無い。
【００５３】
図８は、立体物検出部１４による差分波形の生成の様子を示す概略図である。図８に示すように、立体物検出部１４は、上記のように算出した差分画像ＰＤｔ（図７（ｂ）の右図）のうち検出領域Ａ１，Ａ２に相当する部分から、差分波形ＤＷｔを生成する。この際、立体物検出部１４は、視点変換により立体物が倒れ込む方向に沿って、差分波形ＤＷｔを生成する。なお、図８に示す例では、便宜上検出領域Ａ１のみを用いて説明するが、検出領域Ａ２についても同様の手順で差分波形ＤＷｔを生成する。
【００５４】
具体的に説明すると、立体物検出部１４は、差分画像ＤＷｔのデータ上において立体物が倒れ込む方向上の線Ｌａを定義する。そして、立体物検出部１４は、線Ｌａ上において所定の差分を示す差分画素ＤＰの数をカウントする。ここで、所定の差分を示す差分画素ＤＰは、差分画像ＤＷｔの画素値が鳥瞰視画像ＰＢｔ，ＰＢｔ−１の画素値の差を絶対値化したものである場合は、所定の閾値を超える画素であり、差分画像ＤＷｔの画素値が「０」「１」で表現されている場合は、「１」を示す画素である。
【００５５】
立体物検出部１４は、差分画素ＤＰの数をカウントした後、線Ｌａと接地線Ｌ１との交点ＣＰを求める。そして、立体物検出部１４は、交点ＣＰとカウント数とを対応付け、交点ＣＰの位置に基づいて横軸位置、すなわち図８右図の上下方向軸における位置を決定するとともに、カウント数から縦軸位置、すなわち図８右図の左右方向軸における位置を決定し、交点ＣＰにおけるカウント数としてプロットする。
【００５６】
以下同様に、立体物検出部１４は、立体物が倒れ込む方向上の線Ｌｂ，Ｌｃ…を定義して、差分画素ＤＰの数をカウントし、各交点ＣＰの位置に基づいて横軸位置を決定し、カウント数（差分画素ＤＰの数）から縦軸位置を決定しプロットする。立体物検出部１４は、上記を順次繰り返して度数分布化することで、図８右図に示すように差分波形ＤＷｔを生成する。
【００５７】
なお、図８左図に示すように、立体物が倒れ込む方向上の線Ｌａと線Ｌｂとは検出領域Ａ１と重複する距離が異なっている。このため、検出領域Ａ１が差分画素ＤＰで満たされているとすると、線Ｌｂ上よりも線Ｌａ上の方が差分画素ＤＰの数が多くなる。このため、立体物検出部１４は、差分画素ＤＰのカウント数から縦軸位置を決定する場合に、立体物が倒れ込む方向上の線Ｌａ，Ｌｂと検出領域Ａ１とが重複する距離に基づいて正規化する。具体例を挙げると、図８左図において線Ｌａ上の差分画素ＤＰは６つあり、線Ｌｂ上の差分画素ＤＰは５つである。このため、図８においてカウント数から縦軸位置を決定するにあたり、立体物検出部１４は、カウント数を重複距離で除算するなどして正規化する。これにより、差分波形ＤＷｔに示すように、立体物が倒れ込む方向上の線Ｌａ，Ｌｂに対応する差分波形ＤＷｔの値はほぼ同じとなっている。
【００５８】
次に、立体物検出部１４は、近傍検出領域内の立体物を検出するために、差分波形ＤＷｔのピーク値と所定の閾値とを比較する。所定の閾値は、予め設定されている閾値であって、立体物を判定するための閾値である。そして、差分波形ＤＷｔのピーク値が所定の閾値以上である場合には、立体物検出部１４は、近傍検出領域内に立体物が存在すると判定する。一方、差分波形ＤＷｔのピーク値が所定の閾値未満である場合には、立体物検出部１４は、近傍検出領域内に立体物が存在しないと判定する。
【００５９】
立体物検出部１４は、近傍検出領域内に立体物が存在すると判定した場合には、検出した立体物の移動速度を算出するために、以下の処理を行う。
【００６０】
差分波形ＤＷｔの生成後、立体物検出部１４は一時刻前の差分波形ＤＷｔ−１との対比により移動距離を算出する。すなわち、立体物検出部１４は、差分波形ＤＷｔ，ＤＷｔ−１の時間変化から移動距離を算出する。
【００６１】
詳細に説明すると、立体物検出部１４は、図９に示すように差分波形ＤＷｔを複数の小領域ＤＷｔ１〜ＤＷｔｎ（ｎは２以上の任意の整数）に分割する。図９は、立体物検出部１４によって分割される小領域ＤＷｔ１〜ＤＷｔｎを示す図である。小領域ＤＷｔ１〜ＤＷｔｎは、例えば図９に示すように、互いに重複するようにして分割される。例えば小領域ＤＷｔ１と小領域ＤＷｔ２とは重複し、小領域ＤＷｔ２と小領域ＤＷｔ３とは重複する。
【００６２】
次いで、立体物検出部１４は、小領域ＤＷｔ１〜ＤＷｔｎ毎にオフセット量（差分波形の横軸方向（図９の上下方向）の移動量）を求める。ここで、オフセット量は、一時刻前における差分波形ＤＷｔ−１と現時刻における差分波形ＤＷｔとの差（横軸方向の距離）から求められる。この際、立体物検出部１４は、小領域ＤＷｔ１〜ＤＷｔｎ毎に、一時刻前における差分波形ＤＷｔ−１を横軸方向に移動させた際に、現時刻における差分波形ＤＷｔとの誤差が最小となる位置（横軸方向の位置）を判定し、差分波形ＤＷｔ−１の元の位置と誤差が最小となる位置との横軸方向の移動量をオフセット量として求める。そして、立体物検出部１４は、小領域ＤＷｔ１〜ＤＷｔｎ毎に求めたオフセット量をカウントしてヒストグラム化する。
【００６３】
図１０は、立体物検出部１４により得られるヒストグラムの一例を示す図である。図１０に示すように、各小領域ＤＷｔ１〜ＤＷｔｎと一時刻前における差分波形ＤＷｔ−１との誤差が最小となる移動量であるオフセット量には、多少のバラつきが生じる。このため、立体物検出部１４は、バラつきを含んだオフセット量をヒストグラム化し、ヒストグラムから移動距離を算出する。この際、立体物検出部１４は、ヒストグラムの極大値から立体物の移動距離を算出する。すなわち、図１０に示す例において立体物検出部１４は、ヒストグラムの極大値を示すオフセット量を移動距離τ＊と算出する。なおこの移動距離τ＊は、自車両Ｖに対する他車両ＶＸの相対移動距離である。このため、立体物検出部１４は、絶対移動距離を算出する場合には、得られた移動距離τ＊と車速センサ２０からの信号とに基づいて、絶対移動距離を算出することとなる。
【００６４】
なお、ヒストグラム化にあたり立体物検出部１４は、複数の小領域ＤＷｔ１〜ＤＷｔｎ毎に重み付けをし、小領域ＤＷｔ１〜ＤＷｔｎ毎に求めたオフセット量を重みに応じてカウントしてヒストグラム化してもよい。
【００６５】
立体物検出部１４は、異なる時刻の鳥瞰視画像の差分をとった上で、近傍検出領域内における立体物（他車両）の相対移動距離を算出している。そのため、立体物検出部１４のみで、立体物の相対移動距離を算出することにより、近傍検出領域内における他車両の検出及び当該他車両の接近を検出する場合には、立体物検出部１４は、少なくとも２フレーム分の撮像画像を必要する。
【００６６】
本例においては、車両検出部１５が遠方検出領域内で他車両の接近を検出している。そして、立体物検出部１４は、撮像画像を鳥瞰視画像に変換した際の倒れ込みを検出することで、他車両が近傍検出領域に入ったときの１フレーム目の撮像画像から、立体物を検出できる。また、車両検出部１５による他車両の接近を検出することで、検出した他車両が遠方検出領域から近傍検出領域に入るタイミングも把握することができる。
【００６７】
すなわち、接近車判定部１６は、車両検出部１５の検出結果から他車両の存在を検出しつつ、他車両が遠方検出領域から近傍検出領域に入るタイミングを算出する。接近車判定部１６は、他車両が遠方検出領域から近傍検出領域に入るタイミングに合わせて、立体物検出部１４に対して、鳥瞰視画像の差分ではなく、現時刻における鳥瞰視画像の倒れ込みから立体物を検出する旨に信号を出力する。立体物検出部１４は、当該信号を受信したときには、鳥瞰視画像の差分に基づく検出結果のみではなく、現時刻の鳥瞰視画像に基づく検出結果を、接近車判定部１６に出力する。
【００６８】
立体物検出部１４は、現時刻の鳥瞰視画像に基づき立体物を検出する際には、上記と同様に、現時刻の鳥瞰視画像から倒れ込む方向上の線を特定して、特定した線上の画素数をカウントした上で、カウント数と対応する交点ＣＰの位置を決定する。立体物検出部１４は、交点ＣＰの位置を横軸に、交点ＣＰに対応するカウント数を縦軸にとり、カウント数のピーク値と所定の閾値とを比較する。そして、ピーク値が所定の閾値より高い場合には、立体物検出部１４は、現時刻の鳥瞰視画像内において立体物の存在を検出し、検出結果を接近車判定部１６に出力する。
【００６９】
接近車判定部１６は、立体物検出部１５の検出結果から、他車両の遠方検出領域から近傍検出領域に入るタイミングに合わせて、当該他車両に対応する立体物を検出した場合に、当該他車両を接近車として判定する。そして、接近車判定部１６は、報知部６を制御して、接近車の存在を乗員に警告する。
【００７０】
これにより、本例は、立体物検出部１５において、他車両が近傍検出領域に入ったときの１フレーム目の撮像画像から立体物を検出できる。そして、鳥瞰視画像の差分から立体物を検出する場合の検出時間と比較して、検出時間をより短くできる。また、遠方検出領域から近傍検出領域への切り替わりのポイントでも、他車両をシームレスで検出できる。
【００７１】
また近傍検出領域において、鳥瞰視画像に基づき立体物を検出する際には、近傍検出領域のエッジ部分（自車両から遠い部分）では、検出精度が低くなる場合があった。しかしながら、本例では、車両検出部１５により、近傍検出領域に入る前に、他車両の存在を検出している。そのため、当該他車両が近傍検出領域に入った際の、鳥瞰視画像の変化（倒れ込み画像の有無）を検出できれば、近傍検出領域に入る他車両の接近を検出できる。その結果として、他車両の検出精度を高めることができる。
【００７２】
上記のように、本例は、車両検出部１５において、リアカメラ１ｃの撮像画像に基づき遠方検出領域における他車両を検出し、立体物検出部１４において、バックカメラ１ｄの撮像画像に基づき近傍検出領域における立体物を検出し、車両検出部１５により他車両の存在を検出した後に、立体物検出部１４により他車両に対応する立体物を検出した場合には、他車両を接近車として判定する。これにより、本例は、車両後方の遠方を撮像した画像に基づき他車両を検出した上で、自車両の近傍を表す鳥瞰視画像から他車両に対応する立体物を検出しているため、他車両の検出精度を高めることができる。
【００７３】
また本例において、立体物検出部１５は、他車両が近傍検出領域内に入ったときに最初に撮像された撮像画像に基づき、立体物を検出する。これにより、接近車の検出時間を短縮できる。
【００７４】
また本例において、立体物検出部１５は、近傍検出領域のうち、リアカメラ１ｃの撮像範囲内の立体物を、リアカメラ１ｃの撮像画像に基づいて検出する。これにより、歪みの少ない撮像画像を用いて立体物を検出できるため、立体物の検出精度を高めることができる。
【００７５】
また本例において、立体物検出部１５は、バックカメラ１ｄ又はリアカメラ１ｃにより異なる時刻に撮像された撮像画像を鳥瞰視画像に視点変換し、鳥瞰視画像の位置を鳥瞰視上で位置合わせし、当該位置合わせされた鳥瞰視画像の差分画像上において、鳥瞰視画像を視点変換した際に立体物が倒れ込む方向に沿って、差分画像上において所定の差分を示す画素数をカウントして度数分布化することで差分波形情報を生成し、差分波形情報に基づいて、立体物の状態を検出する。これにより、自車両の後方の近傍部分の接近車の状態を、高い精度で検出できる。
【００７６】
また本例において、リアカメラ１ｃの位置を、地表に対してバックカメラ１ｄの位置より高い位置に設置し、リアカメラ１ｃの画角を、バックカメラ１ｄの画角より狭い画角にしている。これにより、自車両の遠方部分の他車両を、高い解像度で検出できる。
【００７７】
なお、本例において、車両検出部１５は、バックカメラ１ｄの撮像画像に基づき車両を検出したが、右サイドカメラ１ａの撮像画像又は左サイドカメラ１ｂの撮像画像に基づき、車両を検出してもよい。
【００７８】
また、立体物検出部１４は、バックカメラ１ｄの撮像画像のみに基づいて立体物を検出してもよい。
【００７９】
また、車両検出部１５は、右サイドカメラ１ａの撮像画像、左サイドカメラ１ｂの撮像画像、及びリアカメラ１ｃの撮像画像のうち、少なくとも二つの撮像画像に基づいて、ステレオカメラの原理を利用して、他車両の検出、及び他車両までの距離を検出してもよい。
【００８０】
また遠方検出領域は、自車両の走行車線と隣接する車線上に限らず、自車両の走行車線上に設定されてもよい。
【００８１】
上記のバックカメラ１ｄが本発明の「第１撮像手段」に相当し、リアカメラ１ｃが本発明の「第２撮像手段」に相当し、立体物検出部１４が本発明の「立体物検出手段」に相当し、鳥瞰視画像生成部１３及び立体物検出部１４が本発明の「立体物検出手段」に相当し、接近車判定部１６が本発明の「接近車判定手段」に相当する。
【符号の説明】
【００８２】
１ａ…右サイドカメラ
１ｂ…左サイドカメラ
１ｃ…フロントカメラ
１ｄ…バックカメラ
１ｅ…リアカメラ
２ａ…右ディスプレイ
２ｂ…左ディスプレイ
２ｃ…中央ディスプレイ
３…報知部
１０…コントローラ
１１…後側方画像制御部
１２…後方画像制御部
１３…鳥瞰視画像生成部
１４…立体物検出部
１５…車両検出部
１６…接近車判定部
【図１】
2015032082.tif 000003
【図２】
2015032082.tif 000004
【図３】
2015032082.tif 000005
【図４】
2015032082.tif 000006
【図５】
2015032082.tif 000007
【図６】
2015032082.tif 000008
【図７】
2015032082.tif 000009
【図８】
2015032082.tif 000010
【図９】
2015032082.tif 000011
【図１０】
2015032082.tif 000012