(57)【要約】【課題】先行車両が遠方にある場合や先行車両の後部が影となる場合など、先行車両の検出が困難な場合であっても先行車両を検出することを可能にする。【解決手段】動き検出器１５において、現画像データは前画像データと比較され、同一被写体として対応する画素ブロックの空間的距離が動きベクトルとして検出される。そして、現画像データはフィルタ１６に送られ、動きベクトルのベクトル量が所定量以下の画素ブロックのみが抽出される。つまり、走行中の自車両と相対的に移動する定着物を表示する画素ブロックは抽出されず、検出から除外される。さらに、判定部１７において、フィルタ１６によって抽出された画素ブロックが形成する空間的パターンが、所定の空間的パターンの範囲に含まれるか否かが判定される。これにより、自車両から遠方に位置する風景などを除外し、先行車両を検出することができる。【選択図】図１
2008003748.tif 000002
【特許請求の範囲】
【請求項１】
自車両の前方を走行している車両を検出する先行車両検出装置において、
前記自車両の前方を動画撮影して画像データを逐次取得する撮影装置と、
前記撮影装置によって取得される前記画像データを一時的に記憶するフレームメモリと、
前記撮影装置によって取得される現在の画像データを、前記フレームメモリに一時的に記憶された直前の画像データと比較して、同一被写体として対応する画素の空間的距離を動きベクトルとして検出する動き検出器と、
前記動きベクトルのベクトル量が所定量以下の前記画素のみを前記画像データから抽出するフィルタと、
抽出された前記画素が形成する空間的パターンが予め記憶されている所定の空間的パターンの範囲に含まれるか否かを判定する判定部とを備え、
所定の空間的パターンの範囲に含まれると判定された空間的パターンを形成する前記画素を先行車両として検出することを特徴とする先行車両検出装置。
【請求項２】
自車両の前方を動画撮影する撮影装置によって画像データを逐次取得し、取得された前記画像データを解析して先行車両を検出する先行車両検出方法において、
前記撮影装置によって前記画像データを取得する画像取得ステップと、
取得される前記画像データをフレームメモリに一時的に記憶する画像記憶ステップと、
前記撮影装置によって取得される現在の画像データを、前記フレームメモリに一時的に記憶された直前の画像データと比較して、同一被写体として対応する画素の空間的距離を動きベクトルとして検出する動き検出ステップと、
前記動きベクトルのベクトル量が所定量以下の前記画素のみを前記画像データから抽出する画素抽出ステップと、
抽出された前記画素が形成する空間的パターンが予め記憶されている所定の空間的パターンの範囲に含まれるか否かを判定するパターン判定ステップとを有し、
所定の空間的パターンの範囲に含まれると判定された空間的パターンを形成する前記画素を先行車両として検出することを特徴とする先行車両検出方法。
【請求項３】
自車両の前方を動画撮影する撮影装置によって画像データを逐次取得し、取得された前記画像データを解析して先行車両を検出する先行車両検出装置に用いられる先行車両検出プログラムにおいて、
前記撮影装置によって前記画像データを取得する画像取得ステップと、
取得される前記画像データをフレームメモリに一時的に記憶する画像記憶ステップと、
前記撮影装置によって取得される現在の画像データを、前記フレームメモリに一時的に記憶された直前の画像データと比較して、同一被写体として対応する画素の空間的距離を動きベクトルとして検出する動き検出ステップと、
前記動きベクトルのベクトル量が所定量以下の前記画素のみを前記画像データから抽出する画素抽出ステップと、
抽出された前記画素が形成する空間的パターンが予め記憶されている所定の空間的パターンの範囲に含まれるか否かを判定するパターン判定ステップとを実行させ、
所定の空間的パターンの範囲に含まれると判定された空間的パターンを形成する前記画素を先行車両として検出することを特徴とする先行車両検出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、先行車両を検出する先行車両検出装置、先行車両検出方法、及び先行車両検出プログラムに関する。
【背景技術】
【０００２】
近年、自動車には、追突事故の発生を低減させるため、先行車両を自動的に検出して、状況に応じて運転手に警告を発させたり、制動を自動的にコントロールしたりする技術が導入されつつある。その先行車両の検出方法として、車載カメラから得られる画像データを利用する方法が数多く存在する。中でも、先行車両のリアバンパやリアウインドウなどの水平方向のエッジを抽出する方法は、先行車両の大きさの変化に関係なく先行車両を検出することができる点などでメリットがある（例えば、特許文献１参照）。
【０００３】
このエッジを抽出する方法は、先ず、時間的に連続する２つの画像データから水平方向のエッジを形成する画素をそれぞれ抽出する。僅かな時間において先行車両と自車両との車間の変動は小さく、対応する画素の空間的移動は小さいことから、対応する画素の空間的移動の大きいエッジを道路標識や横断歩道などによるエッジとして除外する。そして、残りのエッジに外接する矩形を求め、その矩形内のエッジ濃度が所定濃度以上であると判定されたとき、その矩形を車両として検出する。
【特許文献１】特開平１０−１６０８３４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１のエッジを抽出する方法では、解像度の都合上、エッジを所定濃度以上で抽出できるのは先行車両が近距離にある場合に限られ、先行車両が遠方にある場合にはエッジの抽出率は低く、先行車両の検出はできない。また、先行車両の後部が影となる場合にはエッジの抽出は困難となり、近距離にある先行車両ですら検出できないことも考えられる。
【０００５】
本発明は、上記課題を解決するためのものであり、画像データから空間的移動量の小さい画素を抽出し、抽出された画素が形成する空間的パターンが所定の空間的パターンであるか否かを判定することによって先行車両を検出する先行車両検出装置、先行車両検出方法、及び先行車両検出プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明の先行車両検出装置は、自車両の前方を走行している車両を検出する先行車両検出装置であって、自車両の前方を動画撮影して画像データを逐次取得する撮影装置と、撮影装置によって取得される画像データを一時的に記憶するフレームメモリと、撮影装置によって取得される現在の画像データを、フレームメモリに一時的に記憶された直前の画像データと比較して、同一被写体として対応する画素の空間的距離を動きベクトルとして検出する動き検出器と、動きベクトルのベクトル量が所定量以下の画素のみを画像データから抽出するフィルタと、抽出された画素が形成する空間的パターンが予め記憶されている所定の空間的パターンの範囲に含まれるか否かを判定する判定部とを備え、所定の空間的パターンの範囲に含まれると判定された空間的パターンを形成する画素を先行車両として検出することを特徴とする。
【０００７】
本発明の先行車両検出方法は、自車両の前方を動画撮影する撮影装置によって画像データを逐次取得し、取得された画像データを解析して先行車両を検出する先行車両検出方法であって、撮影装置によって画像データを取得する画像取得ステップと、取得される画像データをフレームメモリに一時的に記憶する画像記憶ステップと、撮影装置によって取得される現在の画像データを、フレームメモリに一時的に記憶された直前の画像データと比較して、同一被写体として対応する画素の空間的距離を動きベクトルとして検出する動き検出ステップと、動きベクトルのベクトル量が所定量以下の画素のみを画像データから抽出する画素抽出ステップと、抽出された画素が形成する空間的パターンが予め記憶されている所定の空間的パターンの範囲に含まれるか否かを判定するパターン判定ステップとを有し、所定の空間的パターンの範囲に含まれると判定された空間的パターンを形成する画素を先行車両として検出することを特徴とする。
【発明の効果】
【０００８】
本発明の先行車両検出装置によれば、自車両の前方を動画撮影して画像データを逐次取得する撮影装置と、撮影装置によって取得される画像データを一時的に記憶するフレームメモリと、撮影装置によって取得される現在の画像データを、フレームメモリに一時的に記憶された直前の画像データと比較して、同一被写体として対応する画素の空間的距離を動きベクトルとして検出する動き検出器と、動きベクトルのベクトル量が所定量以下の画素のみを画像データから抽出するフィルタと、抽出された画素が形成する空間的パターンが予め記憶されている所定の空間的パターンの範囲に含まれるか否かを判定する判定部とを備えたことより、先行車両の形状、車間距離、天候などの影響を受けずに安定して先行車両を検出することができる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の第１実施形態の先行車両検出装置１１について図１を参照しながら説明する。先行車両検出装置１１は、前方を走行する自動車（以下、「先行車両」と称する。）を検出する装置であり、カメラ１２、フレームメモリ１３、加算器１４、動き検出器１５、フィルタ１６、及び判定部１７から構成され、自動車（以下、「自車両」と称する。）に搭載される。この先行車両検出装置１１は、先行車両検出プログラムをインストールすることで実現される。
【００１０】
カメラ１２は、自車両の前方を動画撮影して画像データを逐次取得する。フレームメモリ１３は、カメラ１２によって取得される画像データを一時的に記憶する。加算器１４は、カメラ１２によって取得される現在の画像データ（以下、「現画像データ」ともいう。）と、フレームメモリ１３に一時的に記憶された直前の画像データ（以下、「前画像データ」ともいう。）とを入力として受け、その時間的に連続する２つの画像データを動き検出器１５に対して出力する。なお、フレームメモリ１３に前画像データが記憶されていない場合、すなわち撮影開始時には、加算器１４は、現画像データのみを動き検出器１５に対して出力する。また、図２及び図３に示すように、画像データ２１、２２は例えば１６×２４画素（３８４画素）の正方形の画素ブロックで構成される。以下、説明の都合上、画像データ２１、２２は、上から下へ順にＡ〜Ｐの行に分割され、左から右へ順にＡ〜Ｘの列に分割された画素ブロックＡＡ〜ＰＸによって構成されるものとする。
【００１１】
動き検出器１５は、先ず、図２に示すように、前画像データ２１から、全ての画素ブロックＡＡ〜ＰＸを順次読み出し、画素情報を得て、類似する画素ブロックを集合体として分類する。例えば、山の尾根２５を表示する画素ブロックＡＣ、ＡＤ、ＡＩ〜ＡＬ、ＢＤ〜ＢＩ、ＢＭ、ＢＮ、ＣＨ、ＣＮ、ＣＯ、（ＤＰ、）ＥＱ〜ＥＳ、ＦＴ〜ＦＶ、（ＦＷ、）ＧＸを第１集合体２５ａとする。以下同様に、信号機２６を表示する画素ブロックＣＷ、ＤＰ〜ＤＷ、ＥＷ、ＦＷ、ＧＷ、ＨＷ、ＩＷ、ＪＷを第２集合体２６ａとする。道路標識２７を表示する画素ブロックＣＦ、ＣＧ、ＤＥ〜ＤＨ、ＥＥ〜ＥＨ、ＦＥ〜ＦＨ、ＧＥ〜ＧＨ、ＨＦ、ＩＦ、ＪＦ、ＫＦ、ＬＦ、ＭＦを第３集合体２７ａとする。先行車両２８を表示する画素ブロックＦＫ〜ＦＰ、ＧＪ〜ＧＱ、ＨＪ〜ＨＱ、ＩＪ〜ＩＱ、ＪＪ〜ＪＱ、ＫＪ〜ＫＱ、ＬＪ、ＬＫ、ＬＱを第４集合体２８ａとする。車両通行帯２９を表示する画素ブロックＬＨ、ＬＳ、ＬＴ、ＭＧ、ＭＴ、ＭＵ、ＮＦ、ＮＵ、ＮＶ、ＯＥ、ＯＶ、ＯＷ、ＰＤ、ＰＷを第５集合体２９ａとする。予告表示３０を表示する画素ブロックＭＭ〜ＭＯ、ＮＫ、ＮＬ、ＮＯ、ＮＰ、ＯＭ〜ＯＯ、ＰＮを第６集合体３０ａとする。横断歩道３１を表示する画素ブロックＪＲ〜ＪＶ、ＫＲ〜ＫＸを第７集合体３１ａとする。
【００１２】
また、図３に示すように、現画像データ２２から、全ての画素ブロックＡＡ〜ＰＸを順次読み出し、画素情報を得て、類似する画素ブロックを集合体として分類する。例えば、山の尾根２５を表示する画素ブロックＡＣ、ＡＤ、ＡＩ〜ＡＬ、ＢＤ〜ＢＩ、ＢＭ、ＢＮ、ＣＨ、ＣＮ、ＣＯ、ＤＰ、ＥＱ〜ＥＳ、ＦＴ〜ＦＷ、ＧＸを第１集合体２５ｂとする。以下同様に、信号機２６を表示する画素ブロックＢＯ〜ＢＸを第２集合体２６ｂとする。道路標識２７を表示する画素ブロックＢＡ、ＢＢ、ＣＡ〜ＣＤ、ＤＡ〜ＤＤ、ＥＡ〜ＥＤ、ＦＡ〜ＦＤ、ＧＡ〜ＧＣ、ＨＡ〜ＨＤ、ＩＡ〜ＩＤ、ＪＢ、ＫＢ、ＬＢ、ＭＢ、ＮＢ、ＯＢ、ＰＢを第３集合体２７ｂとする。先行車両２８を表示する画素ブロックＦＫ〜ＦＰ、ＧＪ〜ＧＱ、ＨＪ〜ＨＱ、ＩＪ〜ＩＱ、ＪＪ〜ＪＱ、ＫＪ〜ＫＱ、ＬＪ、ＬＫ、ＬＱを第４集合体２８ｂとする。車両通行帯２９を表示する画素ブロックＬＨ、ＬＳ、ＬＴ、ＭＧ、ＭＴ、ＭＵ、ＮＦ、ＮＵ、ＮＶ、ＯＥ、ＯＶ、ＯＷ、ＰＤ、ＰＷを第５集合体２９ｂとする。
【００１３】
さらに、現画像データ２２を前画像データ２１と比較する。具体的には、先ず、同一被写体である画素ブロックの集合体を対応させる。そして、同一被写体として対応する画素の空間的距離を動きベクトルとして検出する。例えば、図４に示すように、現画像データ２２において道路標識２７の第３集合体を構成する画素ブロックＢＢは、前画像データ２１における画素ブロックＣＧに対応する。つまり、画素ブロックＣＧからＢＢを結ぶベクトル３５が画素ブロックＢＢの動きベクトルとして検出される。
【００１４】
フィルタ１６は、動きベクトルのベクトル量が所定量以下（例えば、１画素分以下）の画素ブロックのみを現画像データ２２から抽出する。具体的には、図５に示すように、山の尾根２５を表示する第１集合体２５ｂの画素ブロックＡＣ、ＡＤ、ＡＩ〜ＡＬ、ＢＤ〜ＢＩ、ＢＭ、ＢＮ、ＣＨ、ＣＮ、ＣＯ、ＤＰ、ＥＱ〜ＥＳ、ＦＴ〜ＦＷ、ＧＸと、先行車両２８を表示する第４集合体２８ｂの画素ブロックＦＫ〜ＦＰ、ＧＪ〜ＧＱ、ＨＪ〜ＨＱ、ＩＪ〜ＩＱ、ＪＪ〜ＪＱ、ＫＪ〜ＫＱ、ＬＪ、ＬＫ、ＬＱと、車両通行帯２９を表示する第５集合体２９ｂの画素ブロックＬＨ、ＬＳ、ＬＴ、ＭＧ、ＭＴ、ＭＵ、ＮＦ、ＮＵ、ＮＶ、ＯＥ、ＯＶ、ＯＷ、ＰＤ、ＰＷとは、動きベクトルのベクトル量が所定量以下であり、フィルタ１６によって抽出される。
【００１５】
判定部１７には、乗用車、トラック、バス、オートバイ、その他の自動車を後方から見たときの種々の形状が、空間的パターンとして予め記憶されている。判定部１７は、フィルタ１６によって抽出された画素ブロックが形成する空間的パターンが、予め記憶されている所定の空間的パターンの範囲に含まれるか否かを判定する。これにより、現画像データ２２においては、画素ブロックＦＫ〜ＦＰ、ＧＪ〜ＧＱ、ＨＪ〜ＨＱ、ＩＪ〜ＩＱ、ＪＪ〜ＪＱ、ＫＪ〜ＫＱ、ＬＪ、ＬＫ、ＬＱが形成する第４集合体２８ｂが所定の空間的パターンの範囲に含まれると判定され、第４集合体２８ｂが先行車両であると検出される。
【００１６】
以下、上記構成の先行車両検出装置１１（図１参照）の作用について、図６を参照しながら説明する。カメラ１２によって自車両の前方が動画撮影されると、先ず、画像データ２１（図２参照）が取得され、フレームメモリ１３に保存される。続いて、画像データ２２（図３参照）が取得される。現画像データ２２は、前画像データ２１と合わせて加算器１４に入力され、動き検出器１５に出力される。
【００１７】
動き検出器１５において、現画像データ２２は前画像データ２１と比較され、同一被写体として対応する画素ブロックの空間的距離が動きベクトルとして検出される（図４参照）。そして、現画像データ２２はフィルタ１６に送られ、動きベクトルのベクトル量が所定量以下の画素ブロックのみが抽出される（図５参照）。つまり、走行中の自車両と相対的に移動する信号機２６、道路標識２７その他の定着物を表示する画素ブロックは、動きベクトルのベクトル量が所定量を超えるために抽出されず、検出から除外される。
【００１８】
さらに、判定部１７において、フィルタ１６によって抽出された画素ブロックが形成する空間的パターンが、所定の空間的パターンの範囲に含まれるか否かが判定される。山の尾根２５や車両通行帯２９を表示する画素ブロックが形成する空間的パターン（第１集合体、第５集合体）２５ｂ、２９ｂは、自動車を後方から見たときの形状と異なるため、所定の範囲に含まれないと判定される。これにより、自車両から遠方に位置する風景（山の尾根２５）や、実際は走行中の自車両と相対的に移動しているが走行方向に連続して延びているために、その移動が認識されない定着物（車両通行帯２９）を除外することができる。一方、先行車両２８を表示する画素ブロックが形成する空間的パターン（第４集合体）２８ｂは、自動車を後方から見たときの形状と一致するため、所定の範囲に含まれると判定される。これにより、先行車両２８を検出することができる。また、カメラ１２から逐次取得される画像データに対して上述した処理が連続的に繰り返されるので、自車両と先行車両２８との車間距離の変動を把握することもできる。
【００１９】
なお、上記第１実施形態の先行車両検出装置１１は、自動車に元から備えられた装置ではない。このため、別途自動車に搭載する必要がある。次に説明する第２実施形態の先行車両検出装置は、自動車に搭載されているドライブレコーダを利用した発明である。このため、別途自動車に搭載する必要はなくなる。
【００２０】
以下、本発明の第２実施形態の先行車両検出装置について図７を参照しながら説明する。先行車両検出装置４１は、先行車両を検出する装置であり、ドライブレコーダなどに用いられる画像圧縮装置４２に、フィルタ１６及び判定部１７を加えて構成され、自車両に搭載される。画像圧縮装置４２は、カメラ１２、第１加算器４３、離散コサイン変換器（ＤＣＴ、Discrete Cosine Transformer）４４、量子化器４５、逆量子化器４６、逆離散コサイン変換器（ＩＤＣＴ、Inverse Discrete Cosine Transformer）４７、第２加算器４８、フレームメモリ４９、動き検出器（ＭＤ、Motion Detector）１５、動き補償器（ＭＣ、Motion Compensator）５０、可変長符号化器５１、及び出力端子５２から構成され、カメラ１２によって取得される画像データに対して符号化処理を施して、得られる符号化データを出力端子５２から出力する装置である。符号化処理は、データを圧縮して保存するための前段階の処理であり、ＭＰＥＧ（Moving Picture Experts Group）などに採用されている。
【００２１】
第１加算器４３は、カメラ１２によって取得される現画像データと、詳しくは後述する動き補償器５０によって動き補償された前画像データとの残差を取り、離散コサイン変換器４４に出力する。離散コサイン変換器４４は、入力された空間的データを離散コサイン変換して周波数成分に分解し、量子化器４６に出力する。量子化器４５は、入力されたデータに対して所定の量子化処理を施して高周波成分を落とし、データを空間的に圧縮させる。なお、第１加算器４３によって残差が取られない場合、すなわち撮影開始時には、第１加算器４３は、現画像データを離散コサイン変換器４４に出力する。
【００２２】
逆量子化器４６は、量子化器４５によって量子化処理を施されたデータに対して所定の逆量子化処理を施して高周波成分を復元させ、逆離散コサイン変換器４７に出力する。逆離散コサイン変換器４７は、入力された周波数領域データを逆離散コサイン変換して空間的データに復元する。
【００２３】
第２加算器４８は、逆離散コサイン変換器４７によって空間的データに復元された残差データと、詳しくは後述する動き補償器５０によって動き補償された前画像データとを入力として受け、現画像データを算出してフレームメモリ４９に対して出力する。なお、逆離散コサイン変換器４７から現画像データが出力されて、且つ動き補償器５０から前画像データが出力されない場合、すなわち撮影開始時には、第２加算器は、逆離散コサイン変換器４７から入力として受けた現画像データをそのままフレームメモリ４９に対して出力する。
【００２４】
フレームメモリ４９は、第２加算器４８から出力される現画像データを入力として受け、一時的に記憶する。そして、一フレーム分だけ時間を遅らせて画像データを前画像データとして動き検出器１５や動き補償器５０に出力する。動き検出器１５は、カメラ１２によって取得される現画像データと、フレームメモリ４９から出力される前画像データとを受け、上述した抽出処理を施して動きベクトルを出力する（図４参照）。動き補償器５０は、フレームメモリ４９から出力される前画像データと、動き検出器１５から出力される動きベクトルとを入力として受け、前画像データに対して動き補償処理を施して、動き補償された前画像データを出力する。なお、動き補償処理とは、前画像データの各画素ブロックを動きベクトル分だけ空間的に移動させ、現画像データの各画素ブロックの位置と対応させる処理のことである。
【００２５】
可変長符号化器５１は、量子化器４５によって量子化処理を施されたデータと、動き検出器１５から出力される動きベクトルとを入力として受け、その入力に対して符号化処理を施してデータを圧縮し、出力端子５２に圧縮したデータ出力する。なお、第１実施形態の先行車両検出装置１１と同じ構成については、同一の符号を付して詳しい説明を省略する。また、上記構成の先行車両検出装置４１（図７参照）の作用は、第１実施形態の先行車両検出装置１１（図１参照）と略同一であり、その説明を省略する。
【図面の簡単な説明】
【００２６】
【図１】本発明の第１実施形態の先行車両検出装置の構成を示すブロック図である。
【図２】第（Ｎ−１）フレーム目の画像データの図である。
【図３】第Ｎフレーム目の画像データの図である。
【図４】動きベクトルを説明する画像データの図である。
【図５】フィルタによる画素抽出を説明する画像データの図である。
【図６】第１実施形態の先行車両検出装置の作用を説明するフローチャートである。
【図７】第２実施形態の先行車両検出装置の構成を示すブロック図である。
【符号の説明】
【００２７】
１１、４１  先行車両検出装置
１２  カメラ
１３、４９  フレームメモリ
１５  動き検出器
１６  フィルタ
１７  判定部
２１、２２  画像データ
２５ａ、２５ｂ  第１集合体
２６ａ、２６ｂ  第２集合体
２７ａ、２７ｂ  第３集合体
２８ａ、２８ｂ  第４集合体
２９ａ、２９ｂ  第５集合体
３０ａ  第６集合体
３１ａ  第７集合体
３５  ベクトル
【図１】
2008003748.tif 000003
【図２】
2008003748.tif 000004
【図３】
2008003748.tif 000005
【図４】
2008003748.tif 000006
【図５】
2008003748.tif 000007
【図６】
2008003748.tif 000008
【図７】
2008003748.tif 000009