(57)【特許請求の範囲】
【請求項１】
コンピュータが、
撮像装置により撮像された画像を水平方向に対して分割した複数の分割領域毎に、該分割領域内の複数のブロックの相対距離を複数の階級に振り分けたヒストグラムを生成するヒストグラム生成部と、
前記ヒストグラムの階級のうち相対距離の短い方側から順に、該階級に振り分けられた度数が第１度数以上となる階級を少なくとも１つ含み、かつ、度数が、該第１度数より小さい第２度数以上となる連続した階級で表される前ピーク領域、度数が該第２度数未満となる階級が所定の階級数以上連続した階級で表されるボトム領域、度数が、該第２度数より大きい第３度数以上となる階級を少なくとも１つ含み、かつ、度数が該第２度数以上となる連続した階級で表される後ピーク領域を抽出するピーク抽出部と、
前記前ピーク領域、前記ボトム領域、前記後ピーク領域がすべて抽出された場合に、該ボトム領域によって該前ピーク領域と該後ピーク領域とを異なる立体物とする領域分割部と、
して機能することを特徴とする車外環境認識装置。
【請求項２】
前記ピーク抽出部は、前記前ピーク領域の度数との比が所定の第２比率未満となる階級を前記ボトム領域とすることを特徴とする請求項１に記載の車外環境認識装置。
【請求項３】
前記ピーク抽出部は、前記ボトム領域の度数との比が所定の第３比率以上となる階級を前記後ピーク領域とすることを特徴とする請求項１または２に記載の車外環境認識装置。
【請求項４】
前記領域分割部は、前記ボトム領域のうちの相対距離が最短の階級より１階級分相対距離が短い階級を前記前ピーク領域の端とすることを特徴とする請求項１から３のいずれか１項に記載の車外環境認識装置。
【請求項５】
前記領域分割部により分割された前ピーク領域の階級数が全階級の総数にしめる比率を算出して、坂か否かを判定する坂判定部を更に備える請求項１から４のいずれか１項に記載の車外環境認識装置。
【請求項６】
コンピュータが、
撮像装置により撮像された画像を水平方向に対して分割した複数の分割領域毎に、該分割領域内の複数のブロックの相対距離を複数の階級に振り分けたヒストグラムを生成するヒストグラム生成部と、
前記ヒストグラムに基づいて前記分割領域内の複数のブロックが坂であるか否か判定する坂判定部と、
して機能し、
前記坂判定部は、
前記ヒストグラムの階級のうち相対距離の短い方側から順に、該階級に振り分けられた度数が第１度数以上となる階級を少なくとも１つ含み、かつ、度数が、該第１度数より小さい第２度数以上となる連続した階級で表される前ピーク領域を抽出し、度数が該第２度数未満となる階級が所定の階級数以上連続した階級で表されるボトム領域を抽出し、度数が、該第２度数より大きい第３度数以上となる階級を少なくとも１つ含み、かつ、度数が該第２度数以上となる連続した階級で表される後ピーク領域を抽出し、
前記前ピーク領域、前記ボトム領域、前記後ピーク領域がすべて抽出された場合に、該ボトム領域によって該前ピーク領域と該後ピーク領域とを異なる立体物とし、
前記前ピーク領域に基づいて坂か否かを判定することを特徴とする車外環境認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自車両外の環境を認識する車外環境認識装置にかかり、特に、自車両の制御対象となる領域を特定する車外環境認識装置に関する。
【背景技術】
【０００２】
従来、自車両の前方に位置する車両等の特定物を検出し、先行車両との衝突を回避したり（衝突回避制御）、先行車両との車間距離を安全な距離に保つように制御する（クルーズコントロール）技術が知られている（例えば、特許文献１）。そして、先行車両を特定するために、車載されたステレオカメラを用いる技術が知られている。具体的には、自車両前方を撮像した２つの画像データからブロック毎（水平４画素×垂直４画素）に視差情報（自車両と立体物までの相対距離に相当）を導出し、視差情報を画像データに対応付けた距離画像を生成する。そして、距離画像を水平方向に対して複数の分割領域に分割し、その分割領域毎に、分割領域内の相対距離のヒストグラム（度数分布）を生成し、ヒストグラムに基づいて先行車両を特定する技術が知られている（例えば、特許文献２）。
【０００３】
さらに、車両前方に位置する立体物が、先行車両ではなく、比較的大きい勾配を有する坂の場合がある。そのような坂を先行車両と誤認識しないように、分割領域毎の距離分布に基づいて立体物の坂らしさを判定し、坂らしいと判定した立体物を、先行車両の候補となる立体物から除外する技術が知られている（例えば、特許文献３）。例えば、特許文献３には、上述した分割領域内の相対距離のヒストグラムにおいて、坂は相対距離の広範囲に亘って度数が分布し、立体物は所定の相対距離に度数が集中することに着目し、度数が所定値以上である階級の全階級に対する比率が高ければ坂であると判定する技術が記載されている。また、最小二乗法等により度数の推移に対する近似直線を導出し、その近似直線からの偏差が小さいものを坂と判定することも記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３３４９０６０号公報
【特許文献２】特開２０１３−１７１４８９号公報
【特許文献３】特開２０１４−１１９８５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、同一の分割領域に先行車両が複数存在する場合、複数の先行車両に対応する度数を合わせて１つの立体物として認識することがある。このような状況下で、上述した特許文献３の技術を採用すると、立体物が、複数の先行車両に対応する度数を合わせたものであるにも拘わらず、複数の階級で度数が所定値以上となり、度数が所定値以上となる階級の全階級に対する比率が高くなって、その立体物を坂と判定したり、度数の推移に対する近似直線からの偏差が小さくなって、その立体物を坂と判定したりする。こうして、本来、立体物として認識すべきものを、先行車両の候補となる立体物から除外してしまうおそれがあった。
【０００６】
特に、先行車両が遠方に複数存在する場合、相対距離の導出精度が低くなるので、そのぶれを吸収しつつ適切に坂を判定するためには、閾値を緩和せざるを得ない。例えば、度数が所定値以上となる階級の全階級に対する比率を判定する技術において、所定値を下げることで、度数が所定値以上となる階級が増え、その全階級に対する比率が高くなり、立体物を坂と判定する可能性が高まる。また、度数の推移に対する近似直線からの偏差も、坂と判定する閾値が大きくなるので、遠方であればあるほど坂として認識され易くなり、立体物を坂と判定する可能性が高まることとなる。
【０００７】
本発明は、このような課題に鑑み、先行車両の候補となる立体物を適切に特定することが可能な車外環境認識装置を提供することを目的としている。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の車外環境認識装置は、コンピュータが、撮像装置により撮像された画像を水平方向に対して分割した複数の分割領域毎に、分割領域内の複数のブロックの相対距離を複数の階級に振り分けたヒストグラムを生成するヒストグラム生成部と、ヒストグラムの階級のうち相対距離の短い方側から順に、階級に振り分けられた度数が第１度数以上となる階級を少なくとも１つ含み、かつ、度数が、第１度数より小さい第２度数以上となる連続した階級で表される前ピーク領域、度数が第２度数未満となる階級が所定の階級数以上連続した階級で表されるボトム領域、度数が、第２度数より大きい第３度数以上となる階級を少なくとも１つ含み、かつ、度数が第２度数以上となる連続した階級で表される後ピーク領域を抽出するピーク抽出部と、前ピーク領域、ボトム領域、後ピーク領域がすべて抽出された場合に、ボトム領域によって前ピーク領域と後ピーク領域とを異なる立体物とする領域分割部と、して機能することを特徴とする。
【００１０】
ピーク抽出部は、前ピーク領域の度数との比が所定の第２比率未満となる階級をボトム領域としてもよい。
【００１２】
ピーク抽出部は、ボトム領域の度数との比が所定の第３比率以上となる階級を後ピーク領域としてもよい。
【００１３】
領域分割部は、ボトム領域のうちの相対距離が最短の階級より１階級分相対距離が短い階級を前ピーク領域の端としてもよい。
領域分割部により分割された前ピーク領域の階級数が全階級の総数にしめる比率を算出して、坂か否かを判定する坂判定部を更に備えるとしてもよい。
【００１４】
上記課題を解決するために、本発明の他の車外環境認識装置は、コンピュータが、撮像装置により撮像された画像を水平方向に対して分割した複数の分割領域毎に、分割領域内の複数のブロックの相対距離を複数の階級に振り分けたヒストグラムを生成するヒストグラム生成部と、ヒストグラムに基づいて分割領域内の複数のブロックが坂であるか否か判定する坂判定部と、して機能し、坂判定部は、ヒストグラムの階級のうち相対距離の短い方側から順に、階級に振り分けられた度数が第１度数以上となる階級を少なくとも１つ含み、かつ、度数が、第１度数より小さい第２度数以上となる連続した階級で表される前ピーク領域を抽出し、度数が第２度数未満となる階級が所定の階級数以上連続した階級で表されるボトム領域を抽出し、度数が、第２度数より大きい第３度数以上となる階級を少なくとも１つ含み、かつ、度数が第２度数以上となる連続した階級で表される後ピーク領域を抽出し、前ピーク領域、ボトム領域、後ピーク領域がすべて抽出された場合に、ボトム領域によって前ピーク領域と後ピーク領域とを異なる立体物とし、前ピーク領域に基づいて坂か否かを判定することを特徴とする。
【発明の効果】
【００１５】
本発明によれば、先行車両の候補となる立体物を適切に特定することが可能となる。
【図面の簡単な説明】
【００１６】
【図１】環境認識システムの接続関係を示したブロック図である。
【図２】車外環境認識装置の概略的な機能を示した機能ブロック図である。
【図３】輝度画像と距離画像を説明するための説明図である。
【図４】ヒストグラム生成部の処理を説明するための説明図である。
【図５】ピーク抽出部の処理を説明するための説明図である。
【図６】ピーク抽出部の処理を説明するための説明図である。
【図７】ピーク抽出部の処理を説明するための説明図である。
【図８】ピーク抽出部および領域分割部の効果を説明するための説明図である。
【図９】グループ化部の処理を説明するための説明図である。
【発明を実施するための形態】
【００１７】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００１８】
近年では、車両に搭載した車載カメラによって自車両の前方の道路環境を撮像し、画像内における色情報や位置情報に基づいて、先行車両等の特定物を特定し、特定された特定物との衝突を回避したり、先行車両との車間距離を安全な距離に保つ（ＡＣＣ：Adaptive Cruise Control）、所謂衝突防止機能を搭載した車両が普及しつつある。
【００１９】
このような車外環境を認識する車外環境認識装置を搭載した車両においては、例えば、前方に位置する立体物（立体物として認識し得る画像部位）が車両（先行車両）等の特定物であるか否か判定する。そして、前方に位置する立体物が先行車両であれば、その先行車両を制御対象とし、衝突を回避したり、車間距離を制御する。本実施形態では、このような先行車両等の特定物を適切に特定することが可能な車外環境認識装置を提供する。
【００２０】
（環境認識システム１００）
図１は、環境認識システム１００の接続関係を示したブロック図である。環境認識システム１００は、自車両１内に設けられた、撮像装置１１０と、車外環境認識装置１２０と、車両制御装置（ＥＣＵ：Engine Control Unit）１３０とを含んで構成される。
【００２１】
撮像装置１１０は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成され、自車両１の前方に相当する環境を撮像し、カラー画像やモノクロ画像を生成することができる。ここで、カラー値は、１つの輝度（Ｙ）と２つの色差（ＵＶ）からなる、または、３つの色相（Ｒ（赤）、Ｇ（緑）、Ｂ（青））からなる数値群である。ここでは、撮像装置１１０で撮像されたカラー画像やモノクロ画像を輝度画像と呼び、後述する距離画像と区別する。
【００２２】
また、撮像装置１１０は、自車両１の進行方向側において２つの撮像装置１１０それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置１１０は、自車両１の前方の検出領域に存在する特定物を撮像した画像データを、例えば１／６０秒のフレーム毎（６０ｆｐｓ）に連続して生成する。ここで、認識対象となる特定物は、車両、人（歩行者）、信号機、ガードレールのように独立して存在する物のみならず、テールランプ、ウィンカー、信号機の各点灯部分等、独立して存在する物の一部も含む。以下の実施形態における各機能部は、このような画像データの更新を契機としてフレーム毎に各処理を遂行する。
【００２３】
車外環境認識装置１２０は、２つの撮像装置１１０それぞれから画像データを取得し、所謂パターンマッチングを用いて視差を導き出し、導出された視差情報（後述する相対距離に相当）を画像データに対応付けて距離画像を生成する。輝度画像および距離画像については後ほど詳述する。また、車外環境認識装置１２０は、輝度画像に基づく輝度（カラー値）、および、距離画像に基づく自車両１との相対距離を用いて自車両１前方の検出領域に表示された立体物がいずれの特定物に対応するかを特定する。
【００２４】
車外環境認識装置１２０は、立体物が特定物、例えば、先行車両として特定されると、その先行車両を追跡しつつ、先行車両の相対速度等を導出し、先行車両と自車両１とが衝突する可能性が高いか否かの判定を行う。ここで、衝突の可能性が高いと判定した場合、車外環境認識装置１２０は、その旨、運転者の前方に設置されたディスプレイ１２２を通じて運転者に警告表示（報知）を行うとともに、車両制御装置１３０に対して、その旨を示す情報を出力する。
【００２５】
車両制御装置１３０は、ステアリングホイール１３２、アクセルペダル１３４、ブレーキペダル１３６を通じて運転者の操作入力を受け付け、操舵機構１４２、駆動機構１４４、制動機構１４６に伝達することで自車両１を制御する。また、車両制御装置１３０は、車外環境認識装置１２０の指示に従い、操舵機構１４２、駆動機構１４４、制動機構１４６を制御する。
【００２６】
以下、車外環境認識装置１２０の構成について詳述する。ここでは、本実施形態に特徴的な、車両前方に位置する先行車両等の特定物の特定手順について詳細に説明し、本実施形態の特徴と無関係の構成については説明を省略する。
【００２７】
（車外環境認識装置１２０）
図２は、車外環境認識装置１２０の概略的な機能を示した機能ブロック図である。図２に示すように、車外環境認識装置１２０は、Ｉ／Ｆ部１５０と、データ保持部１５２と、中央制御部１５４とを含んで構成される。
【００２８】
Ｉ／Ｆ部１５０は、撮像装置１１０や車両制御装置１３０との双方向の情報交換を行うためのインターフェースである。データ保持部１５２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、以下に示す各機能部の処理に必要な様々な情報を保持し、また、撮像装置１１０から受信した画像データを一時的に保持する。
【００２９】
中央制御部１５４は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成され、システムバス１５６を通じて、Ｉ／Ｆ部１５０、データ保持部１５２等を制御する。また、本実施形態において、中央制御部１５４は、画像処理部１６０、３次元位置情報生成部１６２、ヒストグラム生成部１６４、ピーク抽出部１６６、領域分割部１６８、坂判定部１７０、グループ化部１７２、特定物特定部１７４、車両制御部１７６としても機能する。以下、このような機能部について大凡の目的を踏まえ、画像処理、ヒストグラム生成処理、ピーク抽出処理、領域分割処理、坂判定処理、グループ化処理、特定物特定処理、車両制御処理といった順に詳細な動作を説明する。
【００３０】
（画像処理）
画像処理部１６０は、２つの撮像装置１１０それぞれから画像データを取得し、一方の画像データから任意に抽出したブロック（例えば、水平４画素×垂直４画素の配列）に対応するブロックを他方の画像データから検索する、所謂パターンマッチングを用いて視差を導き出す。ここで、「水平」は、撮像した輝度画像の画面横方向を示し、「垂直」は、撮像した輝度画像の画面縦方向を示す。
【００３１】
このパターンマッチングとしては、２つの画像データ間において、任意の画像位置を示すブロック単位で輝度（Ｙ色差信号）を比較することが考えられる。例えば、輝度の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等の手法がある。画像処理部１６０は、このようなブロック単位の視差導出処理を検出領域（例えば水平６００画素×垂直１８０画素）に映し出されているすべてのブロックについて行う。ここでは、ブロックを水平４画素×垂直４画素としているが、ブロック内の画素数は任意に設定することができる。
【００３２】
ただし、画像処理部１６０では、検出分解能単位であるブロック毎に視差を導出することはできるが、そのブロックがどのような立体物の一部であるかを認識できない。したがって、視差情報は、立体物単位ではなく、検出領域におけるブロック単位で独立して導出されることとなる。このようにして導出された視差情報（後述する相対距離に相当）を画像データの各ブロックに対応付けた画像を距離画像という。
【００３３】
図３は、輝度画像２１０と距離画像２１２を説明するための説明図である。例えば、２つの撮像装置１１０を通じ、検出領域２１４について図３（ａ）のような輝度画像（画像データ）２１０が生成されたとする。ただし、ここでは、理解を容易にするため、２つの輝度画像２１０の一方のみを模式的に示している。本実施形態において、画像処理部１６０は、このような輝度画像２１０からブロック毎の視差を求め、図３（ｂ）のような距離画像２１２を形成する。距離画像２１２における各ブロックには、そのブロックの視差が関連付けられている。ここでは、説明の便宜上、視差が導出されたブロックを黒のドットで表している。
【００３４】
図２に戻って説明すると、３次元位置情報生成部１６２は、画像処理部１６０で生成された距離画像２１２に基づいて検出領域２１４内のブロック毎の視差情報を、所謂ステレオ法を用いて、水平距離、高さおよび相対距離を含む３次元の位置情報に変換する。ここで、ステレオ法は、三角測量法を用いることで、ブロックの視差からそのブロックの撮像装置１１０に対する相対距離を導出する方法である。このとき、３次元位置情報生成部１６２は、ブロックの相対距離と、ブロックと同相対距離にある道路表面上の点からブロックまでの距離画像２１２上の距離とに基づいて、ブロックの道路表面からの高さを導出する。かかる三次元の位置情報への変換については、特開２０１３−１０９３９１号公報等、既存の技術を参照できるので、ここでは、その詳細な説明を省略する。
【００３５】
（ヒストグラム生成処理）
続いて、ヒストグラム生成部１６４は、距離画像２１２を複数の分割領域に分割し、分割領域毎に、分割領域内の複数のブロックの相対距離を複数の階級（等距離で区分した相対距離の距離区分を短い順に並べたもの）に振り分けたヒストグラム（度数分布）を生成する。以下に、ヒストグラム生成部１６４の具体的な処理を説明する。
【００３６】
図４は、ヒストグラム生成部１６４の処理を説明するための説明図である。ヒストグラム生成部１６４は、まず、距離画像２１２を、水平方向に対して複数の分割領域２１６に分割する。そうすると、分割領域２１６は図４（ａ）のような垂直方向に延在する短冊形状になる。このような短冊形状の分割領域２１６は、本来、例えば、水平幅４画素のものが１５０列配列してなるが、ここでは、説明の便宜上、検出領域２１４を１６等分したもので説明する。
【００３７】
続いて、ヒストグラム生成部１６４は、分割領域２１６毎に、三次元の位置情報に基づき、分割領域２１６内の、道路表面より上方に位置するとみなされるすべてのブロックを対象に、相対距離が複数の階級のいずれに含まれるか判定し、相対距離をそれぞれ対応する階級に振り分けて、ヒストグラム（図４（ｂ）中、横長の四角（バー）で示す）を生成する。すると、図４（ｂ）のように、分割領域２１６毎のヒストグラムによる距離分布２１８が得られる。ここで、縦方向は、相対距離を等距離で区分した階級を、横方向は、階級に振り分けられたブロックの個数（度数）を示している。ただし、図４（ｂ）は計算を行う上での仮想的な画面であり、実際には視覚的な画面の生成を伴わない。
【００３８】
（ピーク抽出処理）
次に、ピーク抽出部１６６は、分割領域２１６毎に、立体物の候補である分割立体物候補２２０を生成し、その分割立体物候補２２０の代表距離２２２を導出する。以下に、ピーク抽出部１６６の具体的な処理を説明する。
【００３９】
図５〜図７は、ピーク抽出部１６６の処理を説明するための説明図である。ただし、図６および図７の横軸には階級を示す数字が付され、それぞれが等距離の距離範囲を有している。ピーク抽出部１６６は、まず、分割領域２１６毎の距離分布２１８を参照し、同一の分割領域２１６内で有効な度数を有する階級が連続していれば、その連続した階級をグループ化して、図５に示すように、分割領域２１６毎に立体物の候補である分割立体物候補２２０を生成する。そして、ピーク抽出部１６６は、分割立体物候補２２０内で一番大きい度数（図５中、黒で塗りつぶした四角で示す）を代表距離２２２とする。代表距離２２２が決定されると、後述するグループ化部１７２によって分割立体物候補２２０同士がグループ化され、それが立体物として特定される。
【００４０】
ただし、車両前方に位置する立体物が、先行車両ではなく、比較的大きい勾配を有する坂の場合がある。かかる場合、坂自体が道路表面より上方に位置する立体物とみなされ、ピーク抽出部１６６は、有効な度数を有する階級の連続性により、その階級をグループ化して分割立体物候補２２０と認識することとなる。しかし、坂は、道路そのものであり、先行車両等の障害物ではないので、何らかの特定物として認識すべきではない。そこで、後述する坂判定部１７０は、このようにグループ化された分割立体物候補２２０の坂らしさを判定し、分割立体物候補２２０が坂であると判定すると、特定物の候補となる立体物から除外して、坂を先行車両と誤認識してしまうのを回避している。
【００４１】
例えば、坂判定部１７０は、分割領域内の相対距離のヒストグラムにおいて、度数が所定値以上である階級の全階級に対する比率が高かったり、また、最小二乗法等により度数の推移に対する近似直線を導出し、その近似直線からの偏差が小さかったりすると、それを坂と判定する。
【００４２】
しかし、車両前方に先行車両が複数存在する場合、同一の分割領域２１６に複数の先行車両が含まれることとなり、図６に示すように、任意の分割領域２１６の距離分布２１８において、複数の先行車両に対応する度数の群が出現する場合がある。かかる状況下において、複数の先行車両間における空間に有効な度数が出現し複数の先行車両の度数群を繋げてしまうと、ピーク抽出部１６６は、複数のピークを１つの分割立体物候補２２０としてグループ化することとなる。特に、複数の先行車両が自車両１の遠方に存在する場合、度数の誤差が大きくなるので、グループ化され易くなる。
【００４３】
ここで、坂判定部１７０が、当該、複数の先行車両がグループ化された分割立体物候補２２０に対し坂判定を行うと、複数の階級で度数が所定値以上となり、度数が所定値以上となる階級の全階級に対する比率が高くなって、その分割立体物候補２２０を坂と判定したり、度数の推移に対する近似直線からの偏差が小さくなって、その分割立体物候補２２０を坂と判定したりすることとなる。特に、先行車両が遠方に複数存在する場合、相対距離の導出精度が低くなるので、そのぶれを吸収しつつ適切に坂を判定するためには、閾値を緩和せざるを得ない。例えば、坂判定部１７０が、度数が所定値以上となる階級の全階級に対する比率を判定する場合、所定値を下げることで、度数が所定値以上となる階級が増え、その全階級に対する比率が高くなり、分割立体物候補２２０を坂と判定する可能性が高まる。また、度数の推移に対する近似直線からの偏差も、坂と判定する閾値が大きくなるので、遠方であればあるほど坂として認識され易くなり、分割立体物候補２２０を坂と判定する可能性が高まることとなる。このように、分割立体物候補２２０を、坂と判定してしまうと、本来、先行車両の候補とすべき立体物が、特定物の候補から除外されてしまうことになる。
【００４４】
そこで、本実施形態では、距離分布２１８における、立体物の相対距離特性に基づき、複数の立体物のピークを示すピーク度数の出現態様、および、そのようなピーク度数間のボトムとなるボトム度数の出現態様やその階級数（長さ）を評価することで、１つの立体物として認識された複数の立体物を分割することを目的とする。ここでは、ピーク抽出部１６６が、一旦、分割立体物候補２２０を導出した後、距離分布２１８に基づいて、その分割立体物候補２２０が複数の立体物を含んでいるか否か判定し、複数の立体物を含んでいれば、領域分割部１６８が、相対距離が最短の立体物を他の立体物と切り離して、分割立体物候補２２０を更新する。
【００４５】
具体的に、ピーク抽出部１６６は、図７に示した距離分布２１８の階級のうち、白抜き矢印で示した相対距離の短い方側から順に、階級に振り分けられた度数が、閾値としての第１度数以上となる前ピーク領域２３０を抽出する（図７中、白抜き四角で示す）。ここで、前ピーク領域２３０は、度数が第１度数以上となる階級を少なくとも１つ含み、かつ度数が、第１度数より小さい第２度数以上となる連続した階級で表される。したがって、ピーク抽出部１６６は、度数が第１度数以上となる階級を抽出すると、その相対距離の前後において、度数が第２度数以上となる連続した階級を抽出し、抽出した全ての階級を前ピーク領域２３０とすることとなる。ここで、距離分布２１８中に第１度数以上の度数となる階級が存在しない場合、前ピーク領域２３０は抽出されない。
【００４６】
続いて、ピーク抽出部１６６は、図７に示した距離分布２１８の階級のうち、前ピーク領域２３０より相対距離が長い方に向かって、前ピーク領域２３０と比較して度数の小さいボトム領域２３２を抽出する。例えば、ピーク抽出部１６６は、度数が、第１度数より小さい第２度数未満となる階級をボトム領域２３２とする（図７中、ハッチングの四角で示す）。ここで、ボトム領域２３２は、度数が第２度数未満となる連続した階級で表される。したがって、前ピーク領域２３０より相対距離が長い方に、第２度数未満の度数となる階級が存在しない場合、ボトム領域２３２は抽出されない。かかる構成により、先行車両と先々行車両との間の空間を抽出することが可能となる。
【００４７】
また、ピーク抽出部１６６は、度数が第２度数未満となる階級の存在のみならず、その連続性も含めてボトム領域２３２を抽出してもよい。例えば、ピーク抽出部１６６は、度数が第２度数未満となる階級が所定の階級数（例えば、３）以上連続していた場合にボトム領域２３２とする。ここでは、所定の階級数として、例えば、車両同士の一般的な車間に相当する階級数や、車両台分の長さに相当する階級数を採用することができるが、かかる場合に限らず、任意の階級数を設定することができる。かかる階級の連続性を判断する構成により、先行車両と先々行車両との間の空間をより確実に抽出することが可能となる。
【００４８】
また、ピーク抽出部１６６は、度数が第２度数未満となる階級に代え、前ピーク領域２３０の度数との比が所定の第２比率（例えば、１／４）未満となる階級をボトム領域２３２としてもよい。ここで比較対象となる前ピーク領域２３０の度数は、前ピーク領域２３０のうちの最大度数としてもよいし、前ピーク領域２３０すべての階級の平均度数としてもよい。かかる構成により、度数が第２度数未満となる階級をボトム領域２３２とする場合同様、先行車両と先々行車両との間の空間を抽出することが可能となる。
【００４９】
また、この場合においても、ピーク抽出部１６６は、前ピーク領域２３０の度数との比が所定の第２比率未満となる階級が所定の階級数（例えば、３）以上連続していた場合にボトム領域２３２としてもよい。かかる構成により、相対距離によって度数が変化する場合であっても、前ピーク領域２３０との度数の相対的な関係に基づいてボトム領域２３２を抽出することができる。かかる階級の連続性を判断する構成により、先行車両と先々行車両との間の空間をより確実に抽出することが可能となる。
【００５０】
次に、ピーク抽出部１６６は、図７に示した距離分布２１８の階級のうち、ボトム領域２３２より相対距離が長い方に向かって、ボトム領域２３２と比較して度数の大きい後ピーク領域２３４を抽出する。例えば、ピーク抽出部１６６は、度数が、第２度数より大きい第３度数以上となる階級を後ピーク領域２３４とする（図７中、クロスハッチングの四角で示す）。ここで、後ピーク領域２３４は、度数が第３度数以上となる階級を少なくとも１つ含み、かつ、度数が第２度数以上となる連続した階級で表される。したがって、ピーク抽出部１６６は、度数が第３度数以上となる階級を抽出すると、その相対距離の前後において、度数が第２度数以上となる連続した階級を抽出し、抽出した全ての階級を後ピーク領域２３４とすることとなる。ここで、ボトム領域２３２より相対距離が長い方に、第３度数以上の度数となる階級が存在しない場合、後ピーク領域２３４は抽出されない。かかる構成により、２台前の先行車両（先々行車両）を抽出することが可能となる。
【００５１】
また、ピーク抽出部１６６は、度数が第３度数以上となる階級に代え、ボトム領域２３２の度数との比が所定の第３比率（例えば、２）以上となる階級を後ピーク領域２３４としてもよい。ここで比較対象となるボトム領域２３２の度数は、ボトム領域２３２のうちの最大度数または最小度数でもよいし、ボトム領域２３２すべての階級の平均度数でもよい。かかる構成により、度数が第３度数以上となる階級を後ピーク領域２３４とする場合同様、２台前の先行車両を抽出することが可能となる。
【００５２】
上述した実施形態において、ピーク抽出部１６６は、ボトム領域２３２や後ピーク領域２３４を、絶対的な度数（所定の度数と比較）に基づいて抽出するか、もしくは、それに代えて、相対的な度数（所定の比率と比較）に基づいて抽出している。ただし、両者を同時に処理することもでき、両者の判断の論理和または論理積をもってボトム領域２３２や後ピーク領域２３４を抽出してもよい。例えば、ピーク抽出部１６６は、前ピーク領域２３０より相対距離が長い方に向かって、度数が、第１度数より小さい第２度数未満となる階級、および、前ピーク領域２３０の度数との比が所定の第２比率未満となる階級を判定し、いずれかの条件を満たす階級があれば（論理和）、その階級をボトム領域２３２とする。かかる構成により、論理和であれば、ボトム領域２３２の抽出を失敗する可能性が低くなり、論理積であれば、ボトム領域２３２の抽出精度を高め、先行車両と先々行車両との間の空間をより確実に抽出することが可能となる。
【００５３】
なお、上記の第１度数、第２度数、第３度数、第２比率、第３比率は、任意に決定することができるが、実験により、先行車両や、先行車両と先々行車両との間の空間を適切に抽出できる値にするのが好ましい。また、同一の立体物であっても相対距離が長い程、距離画像２１２中の面積が小さくなる、すなわち、ブロックの数（度数）が少なくなる。したがって、上記の第１度数、第２度数、第３度数は、それぞれ固定値ではなく、相対距離（比較する階級）が長い程小さくなる漸減関数に従って、それぞれに設定された固定的基準値を変化させる。したがって、第１度数、第２度数、第３度数の比率は変化しないが、その値自体は、相対距離が長いほどそれぞれ小さい値となる。こうして、相対距離に拘わらず、適切に度数を評価することが可能となる。
【００５４】
（領域分割処理）
領域分割部１６８は、前ピーク領域２３０、ボトム領域２３２、後ピーク領域２３４がすべて抽出された場合に、ボトム領域２３２によって、１つの立体物として認識されている前ピーク領域２３０と後ピーク領域２３４とを異なる立体物として分割し、前ピーク領域２３０を新たに分割立体物候補２２０とする。ここで、前ピーク領域２３０、ボトム領域２３２、後ピーク領域２３４のいずれかが抽出されなかった場合、前ピーク領域２３０が抽出されていれば、領域分割部１６８は、前ピーク領域２３０をそのまま分割立体物候補２２０とする。また、分割立体物候補２２０の更新に伴い、代表距離２２２の更新も行う。こうして、分割立体物候補２２０を、自車両１の前方に位置する先行車両のみに絞ることができる。
【００５５】
このとき、領域分割部１６８は、ボトム領域２３２のうちの相対距離が最短の階級より１階級分相対距離が短い階級を前ピーク領域２３０の端とする。ここでは、ピーク抽出部１６６が図７に示した距離分布２１８の階級のうち、前ピーク領域２３０より相対距離が長い方に向かって、前ピーク領域２３０と比較して度数の小さい階級を探し、前ピーク領域２３０と比較して度数の小さい条件を満たす階級が、ボトム領域２３２のうちの相対距離が最短の階級となる。このとき、前ピーク領域２３０は、少なくとも度数が第１度数以上の階級を含んでいるが、これが必ずしもボトム領域２３２と隣接するとは限らない（間に、度数が第１度数未満の階級を含む場合がある）。しかし、度数が第１度数未満である階級であっても、度数が第１度数以上となる階級に隣接していれば、前ピーク領域２３０に含めるべきである。
【００５６】
そこで、本実施形態では、前ピーク領域２３０と比較して度数の小さい条件を満たす階級が出現した時点で、その階級（図７の例では階級「７」）を記憶し、前ピーク領域２３０、ボトム領域２３２、後ピーク領域２３４がすべて抽出されると、領域分割部１６８は、記憶した階級より１階級分相対距離が短い階級（図７の例では階級「６」）を前ピーク領域２３０の端（後端）とする。かかる構成により、前ピーク領域２３０を適切な奥行長さで抽出することができる。
【００５７】
なお、ここでは、相対距離の短い方側から２つのピーク領域（前ピーク領域２３０、後ピーク領域２３４）のみに着目し、それよりさらに相対距離の長いピーク領域は抽出していない。これは、本実施形態が、前ピーク領域２３０と後ピーク領域２３４とを分割して、前ピーク領域２３０のみを分割立体物候補２２０として残すことを目的としているからであり、後ピーク領域２３４より相対距離の長いピーク領域を抽出したとしても、前ピーク領域２３０の抽出に影響を及ぼすことはなく、徒に処理負荷が高まるだけである。
【００５８】
（坂判定処理）
坂判定部１７０は、ピーク抽出部１６６が抽出した分割立体物候補２２０、または、さらに、領域分割部１６８が分割して更新された分割立体物候補２２０が坂らしいか否か判定し、坂らしいと判定した場合、その分割立体物候補２２０を、先行車両の候補となる立体物から除外する。かかる坂らしさは、例えば、度数が所定値（例えば、５）以上である階級の全階級に対する比率が高いかどうかで判定する。具体的に、坂判定部１７０は、分割立体物候補２２０の度数が予め定められた所定値以上である階級を計数し、その計数された数を全階級の総数で除算して比率を導出し、その比率が、所定比率（例えば、５０％）以上であれば、その分割立体物候補２２０を坂と判定する。かかる坂らしさの判定は、他にも、例えば、最小二乗法等を用いて度数の近似曲線を導出し、近似曲線との偏差（分散値）を評価する等、既存の様々な技術を参照することができる。
【００５９】
図８は、ピーク抽出部１６６および領域分割部１６８の効果を説明するための説明図である。ピーク抽出部１６６および領域分割部１６８による前ピーク領域２３０の分割処理がなされなかった場合、図８（ａ）に示すように、分割立体物候補２２０は、２つの立体物を含む範囲に亘ることとなる。そうすると、坂判定部１７０は、度数が所定値以上である階級を計数し、その計数された数（ここでは１２個）を全階級（１〜１５）の総数（ここでは１５個）で除算して比率を導出し、その比率（ここでは８０％）が、所定比率である５０％以上なので、かかる分割立体物候補２２０を坂と判定し、先行車両の候補となる立体物から除外するおそれがある。しかし、本実施形態では、ピーク抽出部１６６および領域分割部１６８により、図８（ｂ）に示すように、自車両１の前方の先行車両のみを前ピーク領域２３０として分割し、分割立体物候補２２０とするので（破線の度数をキャンセルするので）、度数が所定値以上である階級は３個、全階級の総数との比率は２０％となり、坂らしさの条件（５０％以上）を満たすことはなく、先行車両の候補となる立体物から除外されることはない。
【００６０】
また、自車両１の前方に位置する立体物が、先行車両ではなく、実際に比較的大きい勾配を有する坂であった場合、その距離分布２１８は、図８（ｃ）のようになり、上述した複数の立体物のピーク度数の出現態様、および、そのようなピーク度数間のボトム度数の出現態様やその階級数の条件を満たすことがないので、領域分割部１６８による分割は生じない。そうすると、度数が所定値以上である階級が１２個となるので、全階級の総数との比率は８０％となり、坂判定部１７０が坂と判定することで、先行車両の候補となる立体物から適切に除外することが可能となる。
【００６１】
（グループ化処理）
図９は、グループ化部１７２の処理を説明するための説明図である。グループ化部１７２は、隣接する分割領域２１６同士を比較し、代表距離２２２が近接する（例えば、１ｍ以下に位置する）分割領域２１６同士をグループ化して分割領域群２４０を生成する。このとき、３以上の分割領域２１６で代表距離２２２が近接していた場合にも、連続するすべての分割領域２１６を分割領域群２４０として纏める。かかるグループ化によって、道路表面より上方に位置する立体物の横幅方向の大きさを特定することができる。
【００６２】
続いて、グループ化部１７２は、分割領域群２４０内における、相対距離ｚが代表距離２２２に相当するブロックを基点として、そのブロックと、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分が予め定められた範囲（例えば０．１ｍ）内にあるブロックとを、同一の特定物に対応すると仮定してグループ化する。こうして、仮想的なブロック群である立体物２４２が生成される。上記の範囲は実空間上の距離で表され、製造者や搭乗者によって任意の値に設定することができる。また、グループ化部１７２は、グループ化により新たに追加されたブロックに関しても、そのブロックを基点として、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分が所定範囲内にあるブロックをさらにグループ化する。結果的に、同一の特定物と仮定可能なブロックすべてがグループ化されることとなる。
【００６３】
また、ここでは、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分をそれぞれ独立して判定し、すべてが所定範囲に含まれる場合のみ同一のグループとしているが、他の計算によることもできる。例えば、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分の二乗平均√（（水平距離ｘの差分）２＋（高さｙの差分）２＋（相対距離ｚの差分）２）が所定範囲に含まれる場合に同一のグループとしてもよい。かかる計算により、ブロック同士の実空間上の正確な距離を導出することができるので、グループ化精度を高めることができる。
【００６４】
（特定物特定処理）
特定物特定部１７４は、グループ化部１７２がグループ化した立体物２４２を、複数の特定物の条件と比較し、条件を満たすと、特定物として特定する。例えば、特定物特定部１７４は、グループ化部１７２がグループ化した立体物２４２の幅が２．０ｍ以上であり、立体物の高さが１．０ｍ以上であり、道路表面からの高さが２．０ｍ以下であり、自車両１の走行軌跡からの水平距離が５．０ｍ以下であれば、その立体物２４２を先行車両と特定する。以上の構成により、道路上に位置する先行車両を効率的かつ適切に抽出することができる。
【００６５】
（車両制御処理）
車両制御部１７６は、特定物特定部１７４が先行車両を特定すると、その先行車両を追跡しつつ、先行車両の相対速度等を導出し、先行車両と自車両１とが衝突する可能性が高いか否かの判定を行い、その結果を車両制御装置１３０に出力する。こうして、衝突回避制御やクルーズコントロールが実行される。
【００６６】
以上、説明したように、本実施形態の車外環境認識装置１２０では、複数の先行車両が１つの立体物として認識され得る場合であっても、その複数の先行車両をそれぞれ異なる立体物と判定し、最も近くに位置する立体物を切り出しているので、相対距離の広範囲に亘って度数が分布するという坂らしさの条件を満たすことはなく（坂と判定されず）、先行車両の候補となる立体物を適切に特定することが可能となる。
【００６７】
また、上記車外環境認識装置１２０に加え、コンピュータを車外環境認識装置１２０として機能させるプログラムや、当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。
【００６８】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００６９】
例えば、上述した実施形態においては、ピーク抽出部１６６が、前ピーク領域２３０、ボトム領域２３２、後ピーク領域２３４を抽出し、前ピーク領域２３０、ボトム領域２３２、後ピーク領域２３４が全て抽出されると、領域分割部１６８が、ボトム領域２３２によって前ピーク領域２３０と後ピーク領域２３４とを異なる立体物とし、坂判定部１７０が、その立体物の坂らしさを判定する例を挙げて説明した。しかし、ピーク抽出部１６６や領域分割部１６８の処理を、坂判定部１７０が一括して行うこともできる。この場合、坂判定部１７０は、距離分布２１８の階級のうち、相対距離の短い方側から順に、前ピーク領域２３０、ボトム領域２３２、後ピーク領域２３４を抽出し、前ピーク領域２３０、ボトム領域２３２、後ピーク領域２３４がすべて抽出された場合に、ボトム領域２３２によって前ピーク領域２３０と後ピーク領域２３４とを異なる立体物とし、分割立体物候補２２０は坂ではないと判定することとなる。したがって、坂判定部１７０は、かかる分割立体物候補２２０を、先行車両の候補となる立体物から除外することはない。
【００７０】
また、本実施形態においては、同時に撮像された一対のフレーム画像（ステレオ画像）への適用例について説明したが、本発明はこれに限定されるものではなく、互いに関連性を有する一対のフレーム領域に対して広く適用可能である。このようなフレーム領域の別の例としては、いわゆるオプティカルフローの処理対象となる、異なる時刻に撮像された一対のフレーム画像が挙げられる。この場合、上述した撮像装置１１０の代わりに単眼カメラが用いられ、フレーム画像が時系列的に出力される。また、このようなフレーム領域は、輝度によって規定される画像（輝度分布）に限定されるものではなく、輝度以外の情報（例えば、遠赤外線カメラより得られる熱分布、レーザレーダやミリ波レーダより得られる反射強度の分布等）によって規定されるものであってもよい。
【産業上の利用可能性】
【００７１】
本発明は、自車両外の環境を認識する車外環境認識装置にかかり、特に、自車両の制御対象となる領域を特定する車外環境認識装置に利用することができる。
【符号の説明】
【００７２】
１  自車両
１２０  車外環境認識装置
１６４  ヒストグラム生成部
１６６  ピーク抽出部
１６８  領域分割部
【図１】
0006564218.tif 000002
【図２】
0006564218.tif 000003
【図３】
0006564218.tif 000004
【図４】
0006564218.tif 000005
【図５】
0006564218.tif 000006
【図６】
0006564218.tif 000007
【図７】
0006564218.tif 000008
【図８】
0006564218.tif 000009
【図９】
0006564218.tif 000010