(57)【特許請求の範囲】
【請求項１】
車外の対象を撮像した一対の画像に基づいて、複数の画素を有する画素ブロック毎に距離データを算出することによって車外の状況を監視する車外監視装置において、
前記一対の画像のうち、一方の画像中の画素ブロック毎に当該画素ブロックの輝度特性と相関を有する画素ブロックを他方の画像中から特定することにより前記画素ブロックの視差を算出する視差算出手段と、
視差が算出された前記画素ブロックの中から距離データ算出対象となる距離データ算出画素ブロックを抽出し、当該抽出した距離データ算出画素ブロックに関する視差を前記距離データ算出画素ブロックにおける距離データとして算出する距離データ算出画素ブロック抽出手段と、
前記各距離データ算出画素ブロックに対して算出された距離データの距離分布に基づいて前記距離データ算出画素ブロック抽出手段による距離データ算出画素ブロックの抽出感度を制御する感度制御手段と、を備え、
前記距離データ算出画素ブロック抽出手段は、前記画素ブロックにおいて隣接する画素対のうち輝度変化量が輝度判定閾値以上となる前記画素対の数をカウントし、当該カウント数が設定数以上である前記画素ブロックを前記距離データ算出画素として抽出し、
前記感度制御手段は、前記距離分布中において予め設定された距離よりも遠方の距離データを有する前記画素ブロックの数が設定閾値以下であるとき、当該画素ブロックの数が前記設定閾値よりも大きい場合よりも前記輝度判定閾値を相対的に低く設定することにより、前記距離データ算出画素ブロックの抽出感度を高くすることを特徴とする車外監視装置。
【請求項２】
前記感度制御手段は、自車速が設定車速以上である場合に、前記距離分布中において予め設定された距離よりも遠方の距離データを有する前記画素ブロックの数が設定閾値以下であっても、前記距離データ算出画素ブロックの抽出感度を高くする制御を禁止することを特徴とする請求項１記載の車外監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ステレオ画像対から算出された距離データに基づいて車外の状況を監視する車外監視装置に関する。
【背景技術】
【０００２】
近年、ＣＣＤ等の固体撮像素子を内蔵した一対の車載カメラ（ステレオカメラ）を用いたステレオ式の車外監視装置が注目されている。この種の車外監視装置における車外認識では、先ず、一方の画像中の画素ブロックと相関を有する画素ブロックが他方の画像中において特定され（ステレオマッチング）、両者の相対的なずれ量である視差が算出される。そして、算出された画素ブロック毎の視差から、三角測量の原理を用いて距離データが算出され、この距離データに周知のグルーピング処理等が施されることにより、撮像画像中の対象物（車外における白線や車両等）が認識される。
【０００３】
このような距離計測技術においては、画素ブロック単位で算出された視差の信頼性を向上させるため、ステレオマッチングがとられた画素ブロックに関するエッジ状態を検証することが重要である。この検証方法の一つとして、横方向（水平方向）における画素ブロックの輝度変化量を評価する手法がある。この検証では、例えば、マッチングが取れた、ある画素ブロックに関して、水平方向に隣接した画素対の輝度変化量と所定の輝度判定閾値とを比較し、この閾値以上の変化量を有する画素対の数をカウントする。そして、所定以上のカウント数を有する画素ブロックに関する視差を距離データとして出力するとともに、それ以下の画素ブロックに関する視差は信頼性が低いものとして除外する。
【０００４】
この種の車外監視装置において、車外の環境等に応じて変化する距離データの数を適正化させるための技術として、例えば、特許文献１のようなものが知られている。特許文献１には、画素ブロック中の隣接画素間における輝度の変化量と輝度判定閾値を比較することにより輝度の変化量が大きな画素ブロックを特定して算出した距離データの数に応じて、輝度判定閾値を調整する技術が開示されている。
【特許文献１】特開２００１−６７４８４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の特許文献１に開示された技術のように、距離データ数等に基づいて輝度判定閾値を画一的に増減させると、例えば、輝度判定閾値が低く調整された場合に、本来なら算出されることのないノイズ等に基づく誤った距離データが数多く算出されてしまう。その場合、遠方の車両を示す距離データ等のように真に必要な距離データが、誤った距離データ中に埋没される等の虞がある。従って、このような観点に基づいた場合、輝度判定閾値はある程度の高い値で維持されることが望ましい。
【０００６】
その一方で、輝度判定閾値が高過ぎる値に設定されると、例えば、自車の直前に平坦且つ無地の壁面が広がる場合に、当該壁面上に存在する僅かな特徴を距離データとして算出することが困難となり、壁面を的確に認識できない虞がある。
【０００７】
本発明は上記事情に鑑みてなされたもので、車外環境に応じて適切な距離データの算出感度を設定し、車外の監視精度を向上することができる車外監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一態様による車外監視装置は、車外の対象を撮像した一対の画像に基づいて、複数の画素を有する画素ブロック毎に距離データを算出することによって車外の状況を監視する車外監視装置において、前記一対の画像のうち、一方の画像中の画素ブロック毎に当該画素ブロックの輝度特性と相関を有する画素ブロックを他方の画像中から特定することにより前記画素ブロックの視差を算出する視差算出手段と、視差が算出された前記画素ブロックの中から距離データ算出対象となる距離データ算出画素ブロックを抽出し、当該抽出した距離データ算出画素ブロックに関する視差を前記距離データ算出画素ブロックにおける距離データとして算出する距離データ算出画素ブロック抽出手段と、前記各距離データ算出画素ブロックに対して算出された距離データの距離分布に基づいて前記距離データ算出画素ブロック抽出手段による距離データ算出画素ブロックの抽出感度を制御する感度制御手段と、を備え、前記距離データ算出画素ブロック抽出手段は、前記画素ブロックにおいて隣接する画素対のうち輝度変化量が輝度判定閾値以上となる前記画素対の数をカウントし、当該カウント数が設定数以上である前記画素ブロックを前記距離データ算出画素として抽出し、前記感度制御手段は、前記距離分布中において予め設定された距離よりも遠方の距離データを有する前記画素ブロックの数が設定閾値以下であるとき、当該画素ブロックの数が前記設定閾値よりも大きい場合よりも前記輝度判定閾値を相対的に低く設定することにより、前記距離データ算出画素ブロックの抽出感度を高くするものである。
【発明の効果】
【０００９】
本発明の車外監視装置によれば、車外環境に応じて適切な距離データの算出感度を設定し、車外の監視精度を向上することができる。
【発明を実施するための最良の形態】
【００１０】
以下、図面を参照して本発明の形態を説明する。図面は本発明の一実施形態に係わり、図１は車両用運転支援装置を示す概略構成図、図２は基準画像及び比較画像を示す説明図、図３は画素ブロック内の水平方向の輝度エッジの評価方法の説明図、図４乃至図６は画素ブロックの距離データ毎の分布の一例を示す図表、図７は車外環境の一例を示す説明図、図８は距離画像の一例を示す説明図、図９は輝度判定閾値に対する評価領域の変形例を示す説明図である。
【００１１】
図１において、符号１は自動車等の車両（自車両）であり、この車両１には、車両用運転支援装置２が搭載されている。この運転支援装置２は、ステレオカメラ３と、ステレオ画像認識装置４と、及び、制御ユニット５とを備えて要部が構成されている。
【００１２】
また、車両１には、自車速Ｖを検出する車速センサ１１、運転支援制御のＯＮ−ＯＦＦ信号が入力されるメインスイッチ１３等が設けられており、自車速Ｖ及び運転支援制御のＯＮ−ＯＦＦ信号等は、制御ユニット５に入力される。
【００１３】
ステレオカメラ３は、ステレオ光学系として例えば電荷結合素子（ＣＣＤ）等の固体撮像素子を用いた一対の（左右の）ＣＣＤカメラ３ａ，３ｂで構成されている。これら左右のＣＣＤカメラ３ａ，３ｂは、それぞれ車室内の天井前方に一定の間隔を持って取り付けられ、車外の対象を異なる視点から撮像する。本実施形態において、カメラ３ａは、メインカメラとして車両１の進行方向右側に取り付けられており、基準画像を出力する。一方、カメラ３ｂは、サブカメラとして進行方向に向かって左側に取り付けられており、比較画像を出力する。
【００１４】
ステレオ画像認識装置４は、距離データ算出部２０と、対象物認識部２１とを備えて構成されている。
【００１５】
距離データ算出部２０は、ステレオカメラ３から入力される基準画像データと比較画像データとに基づいて、例えば、４×４画素で構成される画素ブロック単位で距離データを算出する。具体的に説明すると、距離データ算出部２０は、基準画像データ中の一の画素ブロックＰＢ１を抽出し、この画素ブロックＰＢ１の輝度特性と比較画像データ上で相関を有する画素ブロックを検索して特定する（図２参照）。周知の通り、ステレオ画像に映し出された対象物間での距離は、ステレオ画像中における視差、すなわち、基準画像および比較画像の位置に関する水平方向のずれ量として現れる。従って、対象画素ブロックＰＢ１と相関を有する画素ブロックを特定しようとする場合、比較画像データ上において、対象画素ブロックＰＢ１のｊ座標値と同じ値の水平線（エピポーラライン）上の画素ブロックを検索すればよい。距離データ算出部２０は、このエピポーラライン上を１画素ずつシフトしていくことで、エピポーラライン上の所定の画素範囲内における全ての比較画素ブロックの相関を評価する。そして、距離データ算出部２０は、基準画像上の画素ブロックＰＢ１と、比較画像上において画素ブロックＰＢ１との相関が特定された画素ブロックとの視差を求める。
【００１６】
さらに、距離データ算出部２０は、基準画像データを参照し、画素ブロックの水平方向の輝度エッジ（輝度変化量）を評価することにより、ステレオマッチング処理によって算出した視差にフィルタリング処理を施す。具体的に説明すると、距離データ算出部２０は、例えば、図３に示すように、距離データの算出単位である画素ブロックにおいて、水平方向に隣接する画素対の輝度変化量（絶対値）ΔＰn（１≦ｎ≦１６）を算出する。但し、一番左側の画素列（Ｐ11，Ｐ12，Ｐ13，Ｐ14）に関しては、左側に隣接した画素ブロックの一番右側の画素列から輝度変化量ΔＰを算出する。次に、距離データ算出部２０は、１６個の輝度変化量ΔＰnのうち輝度判定閾値ＤＣＤＸth以上のものの数をカウントする。そして、距離データ算出部２０は、輝度判定閾値ＤＣＤＸth以上の輝度変化量ΔＰの数が設定数（例えば、４つ）未満の画素ブロックに関する視差は除外することで輝度の変化量が大きな画素ブロックを抽出し、抽出した画素ブロックに関する視差のみを距離データとして出力する。なお、ここで抽出した画素ブロックが距離データ算出画素ブロックとなる。すなわち、水平方向の輝度変化量が少なく、輝度の特徴があまりない画素ブロックは、ステレオマッチング処理においてマッチングが取れたとしても、その視差の信頼性は低い場合が多い。そこで、このような画素ブロックに関しては算出された視差を除去することにより、距離データの信頼性が高められている。これらの処理により、例えば、図８に示すように、距離データを有する画素ブロックの分布からなる画像（距離画像）が得られる。なお、図８に示す距離画像は、例えば、図７に示すように、大型トラックの後方に縦列駐車した自車１の前方をステレオ撮像した画像対に基づいて得られるものである。
【００１７】
このように、本実施形態において、距離データ算出部２０は、視差算出手段、及び、画素ブロック抽出手段としての各機能を有する。
【００１８】
対象物認識部２１は、距離データ算出部２０で算出した各画素ブロックの距離データに対して周知のグルーピング処理を行う。ここで、対象物認識部２１には、例えば、３次元的な道路形状データ、側壁データ、立体物データ等の枠（ウインドウ）が予め設定され格納されている。対象物認識部２１は、グルーピング処理した距離データ群と各ウインドウとを比較することにより、白線データ、道路に沿って存在するガードレール、縁石等の側壁データを抽出するとともに、立体物を、２輪車、普通車両、大型車両、歩行者、電柱等その他の各種立体物に分類して抽出する。
【００１９】
さらに、対象物認識部２１は、認識した白線、側壁等の情報に基づいて自車走行路の推定を行い、さらに、推定した自車走行路上での先行車の検出処理（捕捉・離脱判定）を行う。すなわち、自車進行方向と同一方向に所定以上の速度成分を有する立体物（順方向移動物）が自車走行路上に存在するとき、これらの中から自車に最も近い順方向移動物を先行車として検出（捕捉）し、各種先行車情報（車間距離Ｄnow、先行車速度Ｖfwd、先行車減速度Ｇfwd等）を取得する。一方、自車走行路上の前方に順方向移動物が存在しないとき、自車走行路からの先行車のロスト（或いは離脱）を判定する。
【００２０】
制御ユニット５は、ステレオ画像認識装置（車外監視装置）４で認識した車外情報に基づく運転支援制御として、例えば、車間距離制御付クルーズコントロール（ＡＣＣ；Adaptive Cruise Control）制御を行う。ここで、制御ユニット５には、例えば、車速センサ１１から自車速Ｖが入力されるとともに、メインスイッチ１３に併設された各種スイッチ類を通じて定速走行時の設定車速Ｖset等が入力される。
【００２１】
メインスイッチ１３がＯＮされた状態において、制御ユニット５は、先行車が検出されていない定速走行制御時には、ドライバがセットした設定車速Ｖsetを目標車速Ｖtrgtとして設定し、電子制御スロットル弁１５の開度制御（エンジンの出力制御）を行うことで、自車速Ｖを目標車速に収束させる。さらに、制御ユニット５は、エンジンの出力制御のみでは十分な減速度が得られないと判断した場合にアクティブブースタ１６からの出力液圧の制御（ブレーキの自動介入制御）を併用し、自車速Ｖを目標車速Ｖtrgtに収束させる。
【００２２】
また、制御ユニット５は、定速走行制御を行っている際に、自車走行路上に先行車を検出した場合には、追従走行制御へと移行する。そして、追従走行制御に移行すると、制御ユニット５は、後述する追従目標車間距離Ｄtuijuに基づいて、目標車速Ｖtrgtを設定し、電子制御スロットル弁１５の開度制御（エンジンの出力制御）を行うことで、車間距離Ｄnowを追従目標車間距離Ｄtuijuに収束させる。さらに、制御ユニット５は、エンジンの出力制御のみでは十分な減速度が得られないと判断した場合に、アクティブブースタ１６からの出力液圧の制御（ブレーキの自動介入制御）を併用し、車間距離Ｄnowを追従目標車間距離Ｄtuijuに収束させる。ここで、追従目標車間距離Ｄtuijuは、例えば、自車速Ｖに応じて可変設定される。すなわち、制御ユニット５には、例えば、追従目標車間距離設定用のマップが予め設定され格納されており、制御ユニット５は、このマップを参照して、自車速Ｖが大きくなるほど追従目標車間距離Ｄtuijuを長く設定する。
【００２３】
さらに、本実施形態において、制御ユニット５は、ステレオ画像認識装置４で認識した車外情報に基づく運転支援制御として、発進時等におけるアクセルペダル１８の誤踏み等に起因する自車１の飛び出しに対する警報制御を行う。具体的に説明すると、制御ユニット５は、例えば、自車１の発進時等において、自車１の直前方に障害物が認識されているにも拘わらずドライバが誤ってアクセルペダル１８を強く踏み込んだ場合に、電子制御スロットル弁１５の開度を通常時よりも絞り込む。そうすることにより自車１の急発進を防止するとともに、スピーカ１７等を通じて前方障害物に対する警報を行う。
【００２４】
ところで、この種の警報制御は、一般に、イグニッションキーがＯＮされた直後の発進時等に特に有効である。その一方で、イグニッションキーがＯＮされた直後は運転支援装置２（ステレオ画像認識装置４）が再起動された状態にあるため、通常の走行時等のように、自車１の直前方の障害物を遠方から継続的に認識することが不可能である。従って、例えば、自車１の直前方略一面に略無模様の壁等が存在する場合に、当該壁等を的確に認識することが困難な場合がある。このような場面は、例えば、図７に示すように大型トラックの後方に自車１を縦列駐車した場合や（図７参照）、建物の壁面に正対させて自車１を駐車させた場合等に想定される。
【００２５】
このような場合にも壁等を的確に認識するため、本実施形態のステレオ画像認識装置４は輝度判定閾値設定部２２を有し、輝度判定閾値設定部２２は、距離データ算出部２０で算出された距離データの分布（距離分布）に基づいて輝度判定閾値ＤＣＤＸthを可変設定する。そうすることにより、距離データ算出部２０におけるフィルタリング処理によって抽出する画素ブロックの抽出感度を制御する。
【００２６】
具体的に説明すると、本実施形態において、輝度判定閾値設定部２２は、例えば、輝度判定閾値ＤＣＤＸthとして、第１の輝度判定閾値ＤＣＤＸ１或いは第２の輝度判定閾値ＤＣＤＸ２の何れか一方を選択的に設定する。
【００２７】
本実施形態において、第１の輝度判定閾値ＤＣＤＸ１は、距離データ算出処理における基本的な輝度判定閾値である。ＤＣＤＸ1は、例えば、自車１の走行時等において、信頼性が低い画素ブロック（例えば、画像上のノイズ等に基づいて視差が算出された可能性が高い画素ブロック）をフィルタリング処理によって的確に除去可能な値にチューニングされている。また、第２の輝度判定閾値ＤＣＤＸ２は、第１の輝度判定閾値ＤＣＤＸ１よりも低い値に設定されるものであり、特に、自車１の近傍に存在する対象の僅かな凹凸や模様等に基づいて視差が算出された画素ブロックであってもフィルタリング処理によって除外されることなく、的確に抽出可能な値にチューニングされている。
【００２８】
輝度判定閾値設定部２２は、基本的には、予め設定された距離Ｄth（例えば、５ｍ）よりも遠方の距離データを有する画素ブロックの数Ｆ２に基づいて輝度判定閾値ＤＣＤＸthを設定する。すなわち、設定距離Ｄthよりも遠方の距離データを有する画素ブロックの数Ｆ２が設定閾値Ｆth2以下である場合（例えば、図４参照）、自車１の直前方に存在する障害物等に遮断されてステレオカメラ３で遠方の対象を撮像できていないことが想定される。そこで、輝度判定閾値設定部２２は、輝度判定閾値ＤＣＤＸthとして第２の輝度判定閾値ＤＣＤＸ２を設定する。これにより、距離データ算出部２０のフィルタリング処理時における画素ブロックの抽出感度が高められ、仮に自車１の直前に無模様の壁等が広がる場合にも、当該壁等を的確に認識することが可能となる。
【００２９】
一方、設定距離Ｄthよりも遠方の距離データを有する画素ブロックの数Ｆ２が設定閾値Ｆth2よりも大きい場合（例えば、図５参照）、自車１の遠方に存在する障害物等をステレオカメラ３で十分に撮像できていることが想定される。そこで、輝度判定閾値設定部２２は、輝度判定閾値ＤＣＤＸthとして第１の輝度判定閾値ＤＣＤＸ１を設定する。これにより、信頼性が低い画素ブロックが除去され、自車１に対して遠方に存在する障害物等であっても精度よく認識される。
【００３０】
ここで、例えば、図６に示すように、距離Ｄthよりも遠方の距離データを有する画素ブロックの数Ｆ２が設定閾値Ｆth2以下であっても、例えば、図６に示すように、距離Ｄthよりも近傍の距離データを有する画素ブロックの数Ｆ１が設定閾値Ｆth1よりも大きい場合には、自車１の直前の障害物等を的確に認識することが可能である。そこで、このような場合には、例外として、第２の輝度判定閾値ＤＣＤＸ２への変更を禁止し、輝度判定閾値ＤＣＤＸthを、標準的な輝度判定閾値である第１の輝度判定閾値ＤＣＤＸ１のまま維持することが好ましい。
【００３１】
また、自車１が設定車速（例えば、５Ｋｍ／ｈ）以上で走行している場合には、仮に自車１の直前に無模様の壁等が存在しても、当該壁等は遠方（十分にエッジが検出できる遠方）から継続的に認識されている可能性が高い。このように継続的に認識されている壁等は、たとえ自車１の直前に接近した際の距離データの数がであっても十分に認識可能である。そこで、このような場合には、例外として、第２の輝度判定閾値ＤＣＤＸ２への変更を禁止し、輝度判定閾値ＤＣＤＸthを、標準的な輝度判定閾値である第１の輝度判定閾値ＤＣＤＸ１のまま維持することが好ましい。
【００３２】
また、自車１の直前の障害物等を的確に認識するという観点からすれば、輝度判定閾値ＤＣＤＸth設定のために距離データを監視する領域は、例えば、図９に示すように、自車１に正対する所定の領域Ａに限定することが望ましい。
【００３３】
このような実施形態によれば、ステレオ画像の基準画像から抽出した画素ブロックの輝度特性と相関を有する画素ブロックを比較画像中から特定することにより各画素ブロック毎の視差を算出するとともに、視差が算出された画素ブロックの中から距離データ算出対象となる画素ブロックを抽出し、抽出した画素ブロックに関する視差を距離データとして算出することによって車外監視を行うステレオ画像認識装置２において、輝度判定閾値設定部２２を設け、各画素ブロックに対して算出された距離データの距離分布に基づいて輝度判定閾値ＤＣＤＸthを可変設定することで、距離データ算出対象となる画素ブロックの抽出感度を制御することにより、車外の監視制度を向上することができる。
【００３４】
この場合、特に、予め設定された距離Ｄthよりも遠方の距離データを有する画素ブロックの数Ｆ２が設定数Ｆth2以下である場合に、輝度判定閾値ＤＣＤＸthを相対的に低い値（ＤＣＤＸ２）に設定して画素ブロックの抽出感度を高く制御することにより、自車１の直前方に略無模様の壁等が広がる場合にも、当該壁等を的確に認識することができる。その一方で、距離Ｄthよりも遠方の距離データを有する画素ブロックの数Ｆ２が設定数Ｆth2よりも大きい場合に、輝度判定閾値ＤＣＤＸthを相対的に高い値（標準的な閾値ＤＣＤＸ１）に設定して画素ブロックの抽出感度を相対的に低く制御する。そうすることにより、自車１の遠方に存在する障害物等を画像上のノイズ等に影響されることなく的確に認識することができる。
【００３５】
なお、上述の実施形態では、輝度判定閾値ＤＣＤＸthを第１，第２の輝度判定閾値ＤＣＤＸ１，ＤＣＤＸ２の何れかに設定する一例について説明したが、本発明はこれに限定されるものではなく、例えば、輝度判定閾値ＤＣＤＸthを設定するための距離データの分布の条件や値等を細分化することも可能である。
【図面の簡単な説明】
【００３６】
【図１】車両用運転支援装置を示す概略構成図
【図２】基準画像及び比較画像を示す説明図
【図３】画素ブロック内の水平方向の輝度エッジの評価方法の説明図
【図４】画素ブロックの距離データ毎の分布の一例を示す図表
【図５】画素ブロックの距離データ毎の分布の一例を示す図表
【図６】画素ブロックの距離データ毎の分布の一例を示す図表
【図７】車外環境の一例を示す説明図
【図８】距離画像の一例を示す説明図
【図９】輝度判定閾値に対する評価領域の変形例を示す説明図
【符号の説明】
【００３７】
１  …  車両（自車両）
２  …  車両用運転支援装置
３  …  ステレオカメラ（車外監視装置）
３ａ，３ｂ  …  カメラ
４  …  ステレオ画像認識装置（車外監視装置）
５  …  制御ユニット
１１  …  車速センサ
１３  …  メインスイッチ
１５  …  電子制御スロットル弁
１６  …  アクティブブースタ
１７  …  スピーカ
１８  …  アクセルペダル
２０  …  距離データ算出部（視差算出手段、画素ブロック抽出手段）
２１  …  対象物認識部
２２  …  輝度判定閾値設定部（感度制御手段）
【図１】
0004937933.tif 000002
【図２】
0004937933.tif 000003
【図３】
0004937933.tif 000004
【図４】
0004937933.tif 000005
【図５】
0004937933.tif 000006
【図６】
0004937933.tif 000007
【図７】
0004937933.tif 000008
【図８】
0004937933.tif 000009
【図９】
0004937933.tif 000010