(57)【特許請求の範囲】
【請求項１】
左右に隔置された少なくとも二つのカメラにより自車両の周囲を撮像する撮像装置と、前記撮像装置により撮像された画像に基づいて視差画像を生成し、前記視差画像を処理して自車両の周囲に存在する立体物を検出する画像処理装置と、を有する車両用立体物検出装置において、
前記画像処理装置は、
前記視差画像を水平方向に隣接する複数の部分縦長視差画像に分割する視差画像分割部と、
各部分縦長視差画像における複数の垂直座標について、各垂直座標より下側に存在する各画素の視差に基づいて、横軸を視差とし縦軸を同一の視差の画素の総数とする下側ヒストグラムを作成する下側ヒストグラム作成部と、
各部分縦長視差画像における前記複数の垂直座標について、各垂直座標より上側に存在する各画素の視差に基づいて、横軸を視差とし縦軸を同一の視差の画素の総数とする上側ヒストグラムを作成する上側ヒストグラム作成部と、
前記複数の垂直座標について下側ヒストグラム及び上側ヒストグラムにおける画素の分布の重なり量を算出する重なり量算出部と、
部分縦長視差画像毎に、画像の下端及び上端の一方から他方へ向けて前記重なり量の変化を求め、前記重なり量が極小値から増大する垂直座標を立体物の上下方向の一端の位置とし、前記重なり量が減少して極小値になる垂直座標を立体物の上下方向の他端の位置とし、この位置判定を垂直座標が前記下端及び上端の他方に至るまで繰り返す位置判定部と、
を有する、車両用立体物検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自車両の周囲に存在する立体物を検出する車両用立体物検出装置に係る。
【背景技術】
【０００２】
車両用立体物検出装置は、左右に隔置された二つのカメラにより自車両の前方を撮像する撮像装置と、撮像装置により撮像された画像に基づいて視差画像を生成し、視差画像を処理して自車両の前方に存在する立体物を検出する画像処理装置と、を有している。画像処理装置における視差画像の処理及び立体物の検出の要領について、従来種々の提案がなされている。
【０００３】
例えば、下記の特許文献１には、視差画像に基づいて作成された垂直座標-視差の図において、分布する画素から道路面の画素を抽出して除去し、垂直座標が変化しても視差が変化しない画像部分を立体物の領域として検出する立体物検出装置が記載されている。なお、道路面の画素は垂直座標の変化に伴って視差が変化する画像部分として特定される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−１３０４２９号公報
【発明の概要】
【０００５】
〔発明が解決しようとする課題〕
特許文献１に記載されているような従来の立体物検出装置においては、立体物の検出精度が道路面の検出精度に依存する。そのため、道路面の検出が不正確である場合には、立体物が実際に存在していても立体物が検出されないという検出失敗及び立体物が実際には存在しないのにも拘らず立体物が検出されるという誤検出が生じることがある。
【０００６】
また、特許文献１に記載されているような従来の立体物検出装置においては、垂直座標-視差の図において分布する画素から道路面の画素が除去され、残存する画像部分が立体物の領域として検出される。そのため、実際には複数の立体物が存在するにも拘らず一つの立体物しか検出されない場合がある。
【０００７】
本発明の課題は、道路面の検出精度に依存せずに、従来に比して高精度に、自車両の周囲に存在する立体物を検出することができるよう改良された車両用立体物検出装置を提供することである。
【０００８】
〔課題を解決するための手段及び発明の効果〕
本発明によれば、左右に隔置された少なくとも二つのカメラにより自車両の周囲を撮像する撮像装置と、撮像装置により撮像された画像に基づいて視差画像を生成し、視差画像を処理して自車両の周囲に存在する立体物を検出する画像処理装置と、を有する車両用立体物検出装置が提供される。
【０００９】
画像処理装置は、
視差画像を水平方向に隣接する複数の部分縦長視差画像に分割する視差画像分割部と、
各部分縦長視差画像における複数の垂直座標について、各垂直座標より下側に存在する各画素の視差に基づいて、横軸を視差とし縦軸を同一の視差の画素の総数とする下側ヒストグラムを作成する下側ヒストグラム作成部と、
各部分縦長視差画像における複数の垂直座標について、各垂直座標より上側に存在する各画素の視差に基づいて、横軸を視差とし縦軸を同一の視差の画素の総数とする上側ヒストグラムを作成する上側ヒストグラム作成部と、
複数の垂直座標について下側ヒストグラム及び上側ヒストグラムにおける画素の分布の重なり量を算出する重なり量算出部と、
部分縦長視差画像毎に、画像の下端及び上端の一方から他方へ向けて重なり量の変化を求め、重なり量が極小値から増大する垂直座標を立体物の上下方向の一端の位置とし、重なり量が減少して極小値になる垂直座標を立体物の上下方向の他端の位置とし、この位置判定を垂直座標が下端及び上端の他方に至るまで繰り返す位置判定部と、
を有する。
【００１０】
上記の構成によれば、各垂直座標より下側に存在する各画素の視差に基づいて、下側ヒストグラムが作成され、各垂直座標より上側に存在する各画素の視差に基づいて、上側ヒストグラムが作成される。そして、複数の垂直座標について下側ヒストグラム及び上側ヒストグラムにおける画素の分布の重なり量が算出される。
【００１１】
道路のように自車両からの距離が増大するにつれて視差が連続的に小さくなる対象物の場合には、ヒストグラムにおける視差は垂直座標の変化に応じて連続的に変化する。よって、下側ヒストグラム及び上側ヒストグラムの境目となる垂直座標が道路のような対象物の領域にあるときには、該対象物の画素は下側ヒストグラム及び上側ヒストグラムの一方にのみ現れる。従って、下側ヒストグラム及び上側ヒストグラムにおける画素の分布の重なり量は０又は小さい。
【００１２】
これに対し、他車両のような立体物の場合には、ヒストグラムにおける垂直座標が変化しても視差は変化しない。よって、下側ヒストグラム及び上側ヒストグラムの境目となる垂直座標が他車両のような立体物の領域にあるときには、該立体物の画素は下側ヒストグラム及び上側ヒストグラムの両方に現れる。従って、下側ヒストグラム及び上側ヒストグラムにおける画素の分布の重なり量は大きい。
【００１３】
画像処理装置は、部分縦長視差画像毎に、画像の下端及び上端の一方から他方へ向けて重なり量の変化を求め、重なり量が極小値から増大する垂直座標を立体物の上下方向の一端の位置とし、重なり量が減少して極小値になる垂直座標を立体物の上下方向の他端の位置とする。そして、画像処理装置は、この位置判定を垂直座標が下端及び上端の他方に至るまで繰り返し行う。
【００１４】
よって、下側ヒストグラム及び上側ヒストグラムにおける画素の分布の重なり量の判定によって、立体物の下端及び上端の位置を判定することができ、立体物の下端及び上端の位置の判定を立体物毎に行うことができる。また、立体物の下端又は上端の視差に基づいて、自車両から立体物までの距離を判定することができ、下端の垂直座標と上端の垂直座標との差に基づいて立体物の上下方向の大きさを特定することができる。更に、全ての部分縦長視差画像について下側ヒストグラム及び上側ヒストグラムにおける画素の分布の重なり量の判定を行うことにより、立体物の水平方向の大きさ及び自車両から見た立体物の外形を特定することができる。従って、自車両の周囲に複数の立体物が存在する場合にも、それらを区別して立体物を検出し、立体物までの距離、立体物の大きさ及び外形を推定することができる。
【００１５】
また、上記構成によれば、ヒストグラムにおいて分布する画素から道路面の画素が抽出され除去されることにより立体物が検出される訳ではない。よって、立体物の検出精度は道路面の検出精度に依存せず、道路面の検出が不正確であることに起因して立体物の検出失敗及び実際には存在しない立体物の誤検出が生じることがないので、このことによっても従来に比して高精度に自車両の周囲に存在する立体物を検出することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明による車両用立体物検出装置の実施形態を示す概略構成図である。
【図２】図１に示された立体物検出装置のブロック図である。
【図３】実施形態における立体物検出制御ルーチンを示すフローチャートである。
【図４】道路上に二つの立体物が存在する視差画像の一例を示す図である。
【図５】全ての部分縦長視差画像について垂直座標−視差空間を示すと共に、境目が道路の垂直座標にある下側のヒストグラム及び上側のヒストグラムを示す図である。
【図６】全ての部分縦長視差画像について垂直座標−視差空間を示すと共に、境目が立体物の垂直座標にある下側のヒストグラム及び上側のヒストグラムを示す図である。
【図７】複数の垂直座標の全てについて行われた上述の画素の分布の重なり量の算出結果に基づいて、垂直座標−視差空間（左半分）と共に、垂直座標ｖと画素の分布の重なり量との関係のグラフ（右半分）を示す図である。
【発明を実施するための形態】
【００１７】
以下に添付の図を参照しつつ、本発明の好ましい実施形態について詳細に説明する。
【００１８】
図１は、乗用車に適用された本発明の実施形態にかかる車両用立体物検出装置１０を示す概略構成図、図２は立体物検出装置１０のブロック図である。立体物検出装置１０は車両１２に搭載され、自車両１２の前方を撮像する撮像装置１４と、画像処理装置１６とを有している。画像処理装置１６は、後に詳細に説明するように、撮像装置１４により撮像された画像に基づいて視差画像を生成し、視差画像を処理して自車両１２の前方に存在する立体物を検出し、検出結果を表示装置１８に表示する。
【００１９】
図２に示されているように、撮像装置１４は、左右に隔置された二つのカメラ１４Ｌ及び１４Ｒと、これらのカメラにより撮像された画像を当技術分野において公知の要領にて補正する画像補正部２０と、を有しいている。画像処理装置１６は、視差画像生成部２２と、視差画像分割部２４と、下側ヒストグラム作成部２６及び上側ヒストグラム作成部２８と、重なり量算出部３０と、位置判定部３２と、を有しいている。
【００２０】
なお、図１には詳細に示されていないが、画像処理装置１６は、ＣＰＵ、ＲＯＭ、ＲＡＭ及び入出力ポート装置を有し、これらが双方向性のコモンバスにより互いに接続された一般的な構成を有するマイクロコンピュータであってよい。また、後に詳細に説明するように、視差画像生成部２２、視差画像分割部２４、下側ヒストグラム作成部２６及び上側ヒストグラム作成部２８、重なり量算出部３０及び位置判定部３２の機能は、ＲＯＭに記憶されＣＰＵによって実行される制御プログラムのそれぞれ対応するステップにより達成される。なお、視差画像生成部２２は撮像装置１４の一部であってもよい。
【００２１】
次に、図３に示されたフローチャートを参照して実施形態における立体物検出制御ルーチンについて説明する。なお、図３は、上述のようにＣＰＵによって実行される制御プログラムを示すフローチャートである。また、図３に示されたフローチャートによる制御は、図には示されていないイグニッションスイッチがオンであるときに所定の時間毎に繰返し実行される。
【００２２】
まず、ステップ１０においては、カメラ１４Ｌ及び１４Ｒにより撮像され画像補正部２０により補正された画像の信号が、撮像装置１４から読み込まれる。
【００２３】
ステップ２０においては、読み込まれた画像信号に基づいて当技術分野において公知の要領にて視差画像が生成される。よって、ステップ２０により視差画像生成部２２の機能が達成される。
【００２４】
図４は、視差画像４０の一例であり、道路４２上に二つの立体物４４及び４６が存在し、立体物４４及び４６は自車両１２から見て部分的に重なって見える位置に位置している。図４に示されているように、視差画像の左上の隅が垂直座標ｖ及び水平座標ｕの原点であり、図４で見て下方ほど垂直座標ｖの値が大きく、右方ほど水平座標ｕの値が大きい。また、画像の濃度（画素の密度）が高いほど、視差が小さく、従って自車両１２から画素に対応する対象部までの距離が大きい。
【００２５】
ステップ３０においては、視差画像４０が水平方向に隣接する複数の部分縦長視差画像４８に分割される。図４に示された破線の矩形５０は、視差画像４０を複数の部分縦長視差画像４８に分割する際に使用される分割ブロックを示している。分割ブロック５０の横幅は３〜７画素程度の大きさである。分割ブロック５０が視差画像４０の左端から右端まで適用されることにより、視差画像４０が互いに同一の横幅及び高さを有する複数の部分縦長視差画像４８に分割される。よって、ステップ３０により視差画像分割部２４の機能が達成される。
【００２６】
ステップ４０においては、各部分縦長視差画像４８について、部分縦長視差画像４８の各画素が垂直座標ｖと視差（画素値）との関係を示す垂直座標−視差空間に変換される。図５及び図６は、全ての部分縦長視差画像４８についての垂直座標−視差空間５２を示しており、灰色の部分が画素を示している。図５及び図６に示されているように、垂直座標−視差空間５２においては、道路４２は右下がりに傾斜した直線をなし、立体物４４及び４６は上下方向に延在する直線をなす。そして、各部分縦長視差画像４８の垂直座標−視差空間５２における複数の垂直座標について、各垂直座標より下側（垂直座標ｖの値が小さい側）に存在する各画素の視差に基づいて、横軸を視差とし縦軸を同一の視差の画素の総数とする下側ヒストグラム５４が作成される。よって、ステップ４０により下側ヒストグラム作成部２６の機能が達成される。
【００２７】
ステップ５０においては、各部分縦長視差画像４８の垂直座標−視差空間における複数の垂直座標について、各垂直座標より上側（垂直座標ｖの値が大きい側）に存在する各画素の視差に基づいて、横軸を視差とし縦軸を同一の視差の画素の総数とする上側ヒストグラム５６が作成される。よって、ステップ５０により上側ヒストグラム作成部２８の機能が達成される。
【００２８】
図５の破線より上側の棒グラフ状のビンにより示される図は、ある垂直座標（境目）より下側のヒストグラム５４を示し、図５の破線（境目）より下側の棒グラフ状のビンにより示される図は、上記垂直座標より上側のヒストグラム５６を示している。図５は垂直座標が特定の位置である場合について下側のヒストグラム５４及び上側のヒストグラム５６を示しているが、下側のヒストグラム５４及び上側のヒストグラム５６は垂直座標−視差空間５２の上端から下端までの複数の垂直座標について作成される。
【００２９】
ステップ６０においては、当技術分野において公知の平滑化技術を使用して、下側のヒストグラム５４及び上側のヒストグラム５６が平滑化される。例えば、ヒストグラムの各ビンについて、当該ビンの高さと両隣のビンの高さとの平均値が当該ビンの平滑化後の高さとされる。なお、立体物は垂直座標−視差空間５２において必ずしも垂直に延在する線となる訳ではなく、多少の視差ブレが生じるので、ヒストグラムの平滑化は、視差ブレがある場合にも画素の分布の重なり量の算出が良好に行われるようにするために行われる。
【００３０】
ステップ７０においては、複数の垂直座標の全てについて平滑化された後の下側ヒストグラム５４及び上側ヒストグラム５６における画素の分布の重なり量が算出される。具体的には、例えば各視差について、重なり量が算出されるべき垂直座標（境目）の上側及び下側のビンのうち低い方の高さが重なり量Ａとして算出される。よって、ステップ７０により重なり量算出部３０の機能が達成される。
【００３１】
例えば、図５においては、境目が道路４２の垂直座標にあるため、境目の上側及び下側の一方にしかビンが存在しない（画素の分布の重なりが存在しない）。よって、図７に示されているように、重なり量Ａは０である。これに対し、図６においては、境目が立体物４４の垂直座標にあるので、境目の上側及び下側の両方にビンが存在する（画素の分布の重なりが存在する）。よって、上側及び下側のビンのうち低い方の高さが重なり量Ａとされる。
【００３２】
ステップ８０においては、垂直座標−視差空間５２の下端から上端へ向けて重なり量Ａの変化が求められる。特に、重なり量Ａが極小値である０から増大する垂直座標が立体物の上下方向の下端の位置とされ、重なり量Ａが減少して極小値０になる垂直座標が立体物の上端の位置とされる。この位置判定は、垂直座標が垂直座標−視差空間５２の上端に到達するまで繰り返される。よって、ステップ８０により位置判定部３２の機能が達成される。
【００３３】
図７は、複数の垂直座標の全てについて行われた上述の画素の分布の重なり量Ａの算出結果に基づいて、垂直座標−視差空間５２（左半分）と共に、垂直座標ｖと画素の分布の重なり量Ａとの関係のグラフ（右半分）を示している。図７のグラフにおいて、下側の重なり量Ａが大きい領域Ａ１が自車両１２に近い側の立体物４４の画像領域と判定され、上側の重なり量Ａが大きい領域Ａ２が自車両１２から遠い側の立体物４６の画像領域と判定される。
【００３４】
このようにして、画素の分布の重なり量Ａの判定によって、立体物４４などの下端及び上端の位置が立体物毎に判定される。また、立体物の下端又は上端の視差に基づいて、自車両１２から立体物４４などまでの距離が判定され、下端の垂直座標と上端の垂直座標との差に基づいて立体物の上下方向の大きさが特定される。更に、全ての部分縦長視差画像について画素の分布の重なり量Ａが判定されることにより、立体物の水平方向の大きさ及び自車両１２から見た立体物４４などの外形が特定される。従って、自車両１２の前方に複数の立体物が存在する場合にも、それらを区別して立体物を検出し、立体物までの距離、立体物の大きさ及び外形を推定することができる。
【００３５】
ステップ９０においては、ステップ７０における判定結果に基づいて自車両１２の前方に立体物が存在するか否かの情報、立体物が存在する場合には立体物までの距離、立体物の大きさ及び外形などに関する情報が出力され、それらの情報が表示装置１８に表示される。
【００３６】
以上の説明から解るように、実施形態によれば、ステップ２０において、視差画像４０が生成され、ステップ３０において、視差画像４０が水平方向に隣接する複数の部分縦長視差画像４８に分割される。ステップ４０において、各部分縦長視差画像４８について、部分縦長視差画像４８の各画素が垂直座標ｖと視差との関係を示す垂直座標−視差空間５２に変換される。そして、垂直座標−視差空間５２における複数の垂直座標について、各垂直座標より下側に存在する各画素の視差に基づいて、横軸を視差とし縦軸を同一の視差の画素の総数とする下側ヒストグラム５４が作成される。
【００３７】
同様に、ステップ５０において、垂直座標−視差空間５２における複数の垂直座標について、各垂直座標より上側に存在する各画素の視差に基づいて、横軸を視差とし縦軸を同一の視差の画素の総数とする上側ヒストグラム５６が作成される。ステップ６０において、下側ヒストグラム５４及び上側ヒストグラム５６が平滑化される。
【００３８】
ステップ７０において、複数の垂直座標の全てについて平滑化された後の下側ヒストグラム５４及び上側ヒストグラム５６における画素の分布の重なり量Ａが算出され、垂直座標−視差空間５２の下端から上端へ向けて重なり量Ａの変化が求められる。更に、ステップ８０において、重なり量Ａが極小値である０から増大する垂直座標が立体物の上下方向の下端の位置とされ、重なり量Ａが減少して極小値０になる垂直座標が立体物の上端の位置とされる。この位置判定は、垂直座標が垂直座標−視差空間の上端に到達するまで繰り返される。
【００３９】
よって、立体物の下端及び上端の位置の判定を立体物毎に行うことができる。また、立体物の下端又は上端の視差に基づいて、自車両から立体物までの距離を判定することができ、下端の垂直座標と上端の垂直座標との差に基づいて立体物の上下方向の大きさを特定することができる。更に、全ての部分縦長視差画像について下側ヒストグラム及び上側ヒストグラムにおける画素の分布の重なり量の判定を行うことにより、立体物の水平方向の大きさ及び自車両から見た立体物の外形を特定することができる。従って、実施形態によれば、自車両１２の前方に複数の立体物が存在する場合にも、それらを区別して立体物を検出し、立体物までの距離、立体物の大きさ及び外形を推定することができる。
【００４０】
また、実施形態によれば、前述の特許文献１に記載された立体物検出装置のように、ヒストグラムにおいて分布する画素から道路面の画素が抽出され除去されることにより立体物が検出される訳ではない。よって、立体物の検出精度は道路面の検出精度に依存せず、道路面の検出が不正確であることに起因して立体物の検出失敗及び実際には存在しない立体物の誤検出が生じることがない。従って、従来に比して高精度に自車両の前方に存在する立体物を検出することができる。
【００４１】
特に、実施形態によれば、ステップ６０において、下側ヒストグラム５４及び上側ヒストグラム５６が平滑化され、ステップ７０において、平滑化された後の下側ヒストグラム５４及び上側ヒストグラム５６における画素の分布の重なり量Ａが算出される。よって、垂直座標−視差空間５２において立体物に多少の視差ブレが生じている場合にも、ヒストグラムの平滑化によって視差ブレの影響が低減されるので、ヒストグラムの平滑化が行われない場合に比して、重なり量を良好に算出し、立体物を良好に検出することができる。
【００４２】
以上においては、本発明を特定の実施形態について詳細に説明したが、本発明は上述の実施形態に限定されるものではなく、本発明の範囲内にて他の種々の実施形態が可能であることは当業者にとって明らかであろう。
【００４３】
例えば、上述の実施形態においては、撮像装置１４の二つのカメラ１４Ｌ及び１４Ｒは、自車両１２の前方を撮像し、視差画像は自車両１２の前方の画像である。しかし、二つのカメラは、必要に応じて自車両１２の後方を撮像するようになっていてもよく、更には自車両１２の側方を撮像するようになっていてもよい。
【００４４】
また、上述の実施形態においては、ステップ７０において、垂直座標−視差空間の下端から上端へ向けて重なり量Ａの変化が求められるようになっている。しかし、重なり量Ａの変化は垂直座標−視差空間の上端から下端へ向けて求められるよう修正されてもよい。なお、その場合には、重なり量Ａが極小値である０から増大する垂直座標が立体物の上下方向の上端の位置とされ、重なり量Ａが減少して極小値０になる垂直座標が立体物の下端の位置とされる。
【００４５】
また、上述の実施形態においては、ステップ６０において、下側ヒストグラム５４及び上側ヒストグラム５６が平滑化され、ステップ７０において、平滑化された後の下側ヒストグラム５４及び上側ヒストグラム５６における画素の分布の重なり量Ａが算出される。しかし、下側ヒストグラム５４及び上側ヒストグラム５６の平滑化は省略されてもよい。
【符号の説明】
【００４６】
１０…立体物検出装置、１２…自車両、１４…撮像装置、１６…画像処理装置、１８…表示装置、２２…視差画像生成部、２４…視差画像分割部、２６…下側ヒストグラム作成部、２８…上側ヒストグラム作成部、３０…重なり量算出部、３２…位置判定部、４０…視差画像、４２…道路、４４，４６…立体物、４８…部分縦長視差画像、５２…下側のヒストグラム、５４…上側のヒストグラム
【図１】
0006651877.tif 000002
【図２】
0006651877.tif 000003
【図３】
0006651877.tif 000004
【図４】
0006651877.tif 000005
【図５】
0006651877.tif 000006
【図６】
0006651877.tif 000007
【図７】
0006651877.tif 000008