(57)【特許請求の範囲】
【請求項１】
複数の撮影手段を用いて撮影された画像を用いて測定対象となる対象物までの距離を計測する距離計測装置であって、
前記撮影手段により同一タイミングで撮影された複数の入力画像のうち、いずれか１枚の入力画像を基準画像、他の入力画像を参照画像とし、前記基準画像から前記対象物が撮影された物体領域を抽出する抽出手段と、
前記抽出手段により抽出された物体領域の面積を算出する面積算出手段と、
前記抽出手段により抽出された物体領域内に注目点を順次設定し、各注目点の対応点を各参照画像から探索する探索手段と、
前記注目点と前記対応点との複数の視差を基に、前記対象物までの距離を算出する距離算出手段とを備え、
前記探索手段は、前記面積算出手段により算出された物体領域の面積が小さくなるにつれて、距離の計測精度を定めるためのパラメータである視差分解能が高くなるように探索処理を変更し、
前記探索手段は、前記基準画像に前記注目点を中心として基準ウインドウを設定すると共に、前記参照画像に参照ウインドウを設定し、前記参照ウインドウを前記参照画像でずらしながら、両ウインドウ内の画像の類似度を算出する類似度算出処理を繰り返し実行することで対応点を探索するものであり、前記面積算出手段により算出された物体領域の面積が小さくなるにつれて、前記基準ウインドウ及び参照ウインドウのサイズを大きくすることを特徴とする距離計測装置。
【請求項２】
複数の撮影手段を用いて撮影された画像を用いて測定対象となる対象物までの距離を計測する距離計測装置であって、
前記撮影手段により同一タイミングで撮影された複数の入力画像のうち、いずれか１枚の入力画像を基準画像、他の入力画像を参照画像とし、前記基準画像から前記対象物が撮影された物体領域を抽出する抽出手段と、
前記抽出手段により抽出された物体領域の面積を算出する面積算出手段と、
前記抽出手段により抽出された物体領域内に注目点を順次設定し、各注目点の対応点を各参照画像から探索する探索手段と、
前記注目点と前記対応点との複数の視差を基に、前記対象物までの距離を算出する距離算出手段とを備え、
前記探索手段は、前記面積算出手段により算出された物体領域の面積が小さくなるにつれて、距離の計測精度を定めるためのパラメータである視差分解能が高くなるように探索処理を変更し、
前記探索処理は、視差分解能の異なる複数種類の探索処理を含み、
前記探索手段は、前記物体領域の面積が小さくなるにつれて視差分解能の高い探索処理を選択し、
前記探索処理は、前記基準画像に前記注目点を中心として基準ウインドウを設定すると共に、前記参照画像に参照ウインドウを設定し、前記参照ウインドウを前記参照画像でずらしながら、両ウインドウ内の画像の類似度を算出する類似度算出処理を繰り返し実行することで対応点を探索するものであり、前記基準ウインドウ及び前記参照ウインドウ内の画像を周波数分解して得られる位相成分に基づいて両ウインドウ内の画像の類似度を求める類似度算出処理を採用する第１の探索処理と、前記第１の探索処理よりも視差分解能の低い第２の探索処理とを含み、
前記第２の探索処理における類似度算出処理は、ＳＡＤであることを特徴とする距離計測装置。
【請求項３】
前記第１の探索処理における類似度算出処理は、高速フーリエ変換、離散フーリエ変換、離散コサイン変換、離散サイン変換、ウエーブレット変換、及びアダマール変換のいずれかを用いて周波数分解することを特徴とする請求項２記載の距離計測装置。
【請求項４】
前記第１の探索処理における類似度算出処理は、位相限定相関法であることを特徴とする請求項３記載の距離計測装置。
【請求項５】
前記探索手段は、前記物体領域に設定した各注目点の対応点の探索が終了した後、次フレームに対する処理を開始するまでの期間、前記物体領域以外の非物体領域内に注目点を順次設定し、各注目点の対応点を各参照画像から探索し、
前記距離算出手段は、前記非物体領域に設定した注目点と当該注目点の対応点とから当該注目点の距離を算出することを特徴とする請求項１〜４のいずれかに記載の距離計測装置。
【請求項６】
前記探索手段は、前記非物体領域の下側から上側に向けて順次注目点を設定することを特徴とする請求項５記載の距離計測装置。
【請求項７】
複数の撮影手段を用いて撮影された画像を用いて測定対象となる対象物までの距離を計測する距離計測装置であって、
前記撮影手段により同一タイミングで撮影された複数の入力画像のうち、いずれか１枚の入力画像を基準画像、他の入力画像を参照画像とし、前記基準画像から前記対象物が撮影された物体領域を抽出する抽出手段と、
前記抽出手段により抽出された物体領域の面積を算出する面積算出手段と、
前記抽出手段により抽出された物体領域内に注目点を順次設定し、各注目点の対応点を各参照画像から探索する探索手段と、
前記注目点と前記対応点との複数の視差を基に、前記対象物までの距離を算出する距離算出手段とを備え、
前記探索手段は、前記面積算出手段により算出された物体領域の面積が小さくなるにつれて、距離の計測精度を定めるためのパラメータである視差分解能が高くなるように探索処理を変更し、
前記探索手段は、前記面積算出手段により算出された物体領域の面積が所定の値より小さい場合、前記視差分解能を前記参照画像のピクセルレベルよりも分解能の高いサブピクセルレベルに設定し、前記物体領域の面積が所定の値より大きい場合、前記視差分解能を前記ピクセルレベルに設定し、
前記探索手段は、前記物体領域に設定した各注目点の対応点の探索が終了した後、次フレームに対する処理を開始するまでの期間、前記物体領域以外の非物体領域内に注目点を順次設定し、各注目点の対応点を各参照画像から探索し、
前記距離算出手段は、前記非物体領域に設定した注目点と当該注目点の対応点とから当該注目点の距離を算出し、
前記探索手段は、前記非物体領域の下側から上側に向けて順次注目点を設定することを特徴とする距離計測装置。
【請求項８】
前記対象物は、自動車、自動二輪車、自転車、及び人のうち、すくなくともいずれか１つを含むことを特徴とする請求項１〜７のいずれかに記載の距離計測装置。
【請求項９】
複数の撮影手段を用いて撮影された画像を用いて測定対象となる対象物までの距離を計測する距離計測方法であって、
前記撮影手段により同一タイミングで撮影された複数の入力画像のうち、いずれか１枚の入力画像を基準画像、他の入力画像を参照画像とし、前記基準画像から前記対象物が撮影された物体領域を抽出する抽出ステップと、
前記抽出ステップにより抽出された物体領域の面積を算出する面積算出ステップと、
前記抽出ステップにより抽出された物体領域内に注目点を順次設定し、各注目点の対応点を各参照画像から探索する探索ステップと、
前記注目点と前記対応点との複数の視差を基に、前記対象物までの距離を算出する距離算出ステップとを備え、
前記探索ステップは、前記面積算出手段により算出された物体領域の面積が小さくなるにつれて、距離の計測精度を定めるためのパラメータである視差分解能が高くなるように探索処理を変更し、
前記探索ステップは、前記基準画像に前記注目点を中心として基準ウインドウを設定すると共に、前記参照画像に参照ウインドウを設定し、前記参照ウインドウを前記参照画像でずらしながら、両ウインドウ内の画像の類似度を算出する類似度算出処理を繰り返し実行することで対応点を探索するものであり、前記面積算出ステップにより算出された物体領域の面積が小さくなるにつれて、前記基準ウインドウ及び参照ウインドウのサイズを大きくすることを特徴とする距離計測方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮影手段を用いて撮影された画像を用いて物体までの距離を計測する技術に関するものである。
【背景技術】
【０００２】
近年、自動車の走行時における安全対策の１つとして、プリクラッシュセーフティとう技術が採用されている。この技術は、先行車両までの距離を測定して、自車両が先行車両に対して安全な車間距離を保っているか否かを判断し、安全な車間距離を保っていない場合は、ドライバーに先行車両が近づいている旨の警告を発して、事故防止を図っている。このプリクラッシュセーフティにおける課題の１つとして、自車両と先行車両との実際の距離の変化が小さいにも関わらず大きいと測定して、誤警告を多発してしまうことである。
【０００３】
そのため、このプリクラッシュセーフティに適用される距離計測装置に望まれることは先行車両までの実際の距離に変化がないときには、測定した先行車両までの距離についてもできるだけ変化が生じないこと、すなわち、測定した先行車両までの距離のばらつきをできるだけ小さくすることである。
【０００４】
ところで、先行車両までの距離を測定する手法として、ステレオカメラを利用した手法が知られている。この手法は、異なる視点から撮影した２枚の画像の各座標点を相互に対応付け、三角測量の原理によって距離を算出する手法である。
【０００５】
ここで、２枚の画像の各座標を相互に対応付ける手法として、近年、ロバスト、かつ、高精度な対応付けが可能な位相限定相関法が注目を集めている（非特許文献１）。この手法は画像の振幅成分を取り除いて位相成分のみで相関演算を行うため、輝度変動やノイズに影響されにくいという特徴を有している。しかしながら、この手法は演算負荷が高く、処理時間がかかるといった課題を有している。
【０００６】
そこで、特許文献１には、車両輪郭を検出して、その車両輪郭に対してのみ対応点探索を行って視差を算出し、算出した視差をヒストグラム化して、度数が閾値を超える視差のうち最大の視差を車両の代表視差として、車両までの距離を算出する手法が開示されている。
【非特許文献１】K.Takita, T.Aoki, Y.Sasaki, T.Higuchi, and K.Kobayashi, "High-Accuracy Subpixel Image Registration Based on Phase-Only Correlation", IEICE Transactions. Fundamentals, E86-A, no8, pp.1925-1934, Aug.2003.
【特許文献１】特開平７−３３４８００号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１の手法では、車両の大小が全く考慮されておらず、車両が小さくなると視差の算出対象となる車両輪郭線上の画素数も減少するため、車両が大きい場合に比べて代表視差の精度が低下し、車両の大きさに応じて代表視差の精度にばらつきが生じ、車両までの距離を安定して算出することができなという問題を有している。
【０００８】
本発明の目的は、距離の測定対象となる対象物の大きさに関わらず、対象物までの距離を安定して算出することができる距離計測装置及び距離計測方法を提供することである。
【課題を解決するための手段】
【０００９】
本発明による距離計測装置は、複数の撮影手段を用いて撮影された画像を用いて測定対象となる対象物までの距離を計測する距離計測装置であって、前記撮影手段により同一タイミングで撮影された複数の入力画像のうち、いずれか１枚の入力画像を基準画像、他の入力画像を参照画像とし、前記基準画像から前記対象物が撮影された物体領域を抽出する抽出手段と、前記抽出手段により抽出された物体領域の面積を算出する面積算出手段と、前記抽出手段により抽出された物体領域内に注目点を順次設定し、各注目点の対応点を各参照画像から探索する探索手段と、前記注目点と前記対応点との複数の視差を基に、前記対象物までの距離を算出する距離算出手段とを備え、前記探索手段は、前記面積算出手段により算出された物体領域の面積に応じて、距離の計測精度を定めるためのパラメータである視差分解能が変更されるように探索処理を変更することを特徴とする。
【００１０】
また、本発明による距離計測方法は、複数の撮影手段を用いて撮影された画像を用いて測定対象となる対象物までの距離を計測する距離計測装置であって、前記撮影手段により同一タイミングで撮影された複数の入力画像のうち、いずれか１枚の入力画像を基準画像、他の入力画像を参照画像とし、前記基準画像から前記対象物が撮影された物体領域を抽出する抽出ステップと、前記抽出ステップにより抽出された物体領域の面積を算出する面積算出ステップと、前記抽出ステップにより抽出された物体領域内に注目点を順次設定し、各注目点の対応点を各参照画像から探索する探索ステップと、前記注目点と前記対応点との複数の視差を基に、前記対象物までの距離を算出する距離算出ステップとを備え、前記探索ステップは、前記面積算出手段により算出された物体領域の面積に応じて、距離の計測精度を定めるためのパラメータである視差分解能が変更されるように探索処理を変更することを特徴とする。
【００１１】
これらの構成によれば、前記撮影手段により同一タイミングで撮影された複数の入力画像のうち、いずれか１枚の入力画像が基準画像、他の入力画像が参照画像とされ、基準画像から対象物をとらえた物体領域が抽出され、抽出された物体領域内に注目点が順次設定され、各注目点の対応点が各参照画像から探索され、注目点と対応点との視差を基に、対象物までの距離が算出される。ここで、物体領域の面積に応じて対応点を探索する際の探索精度を定めるためのパラメータである視差分解能が変更されるように探索処理が変更される。したがって、物体領域の面積が小さくなるにつれて視差分解能を高くする探索処理を採用することで、物体領域の面積が小さくなることによる処理点数の減少に伴う計測精度の低下を補うことができ、物体領域の面積の大小による計測精度のばらつきを低減し、対象物までの距離を安定して算出することができる。
【００１２】
また、前記探索手段は、前記面積算出手段により算出された物体領域の面積が小さくなるにつれて、前記視差分解能が高くなるように探索処理を変更することが好ましい。
【００１３】
この構成によれば、物体領域の面積が小さくなるにつれて、視差分解能が高くなるように探索処理が変更されるため、物体領域の面積の大小による計測精度のばらつきを低減し、対象物までの距離を安定して算出することができる。
【００１４】
また、前記探索手段は、前記基準画像に前記注目点を中心として基準ウインドウを設定すると共に、前記参照画像に参照ウインドウを設定し、前記参照ウインドウを前記参照画像でずらしながら、両ウインドウ内の画像の類似度を算出する類似度算出処理を繰り返し実行することで対応点を探索するものであり、前記面積算出手段により算出された物体領域の面積が小さくにつれて、前記基準ウインドウ及び参照ウインドウのサイズを大きくすることが好ましい。
【００１５】
この構成によれば、物体領域の面積が小さくにつれて、基準ウインドウ及び参照ウインドウのサイズが大きくされるため、物体領域の面積が小さくなることに伴う処理点数の減少による計測精度の低下を補うことができ、対象物までの距離を安定して算出することができる。
【００１６】
また、前記探索手段は、前記面積算出手段により算出された物体領域の面積が所定の値より小さい場合、前記視差分解能を前記参照画像のピクセルレベルよりも分解能の高いサブピクセルレベルに設定し、前記物体領域の面積が所定の値より大きい場合、前記視差分解能を前記ピクセルレベルに設定することが好ましい。
【００１７】
この構成によれば、物体領域の面積が所定の値より小さい場合、視差分解能が前記参照画像のサブピクセルレベルに設定され、物体領域の面積が所定の値より大きい場合、視差分解能が参照画像のピクセルレベルに設定されるため、物体領域の面積が小さくなることに伴う処理点数の減少による計測精度の低下を補うことができ、対象物までの距離を安定して算出することができる。
【００１８】
また、前記探索処理は、視差分解能の異なる複数種類の探索処理を含み、前記探索手段は、前記物体領域の面積が小さくなるにつれて視差分解能の高い探索処理を選択することが好ましい。
【００１９】
この構成によれば、物体領域の面積が小さくなるにつれて視差分解能の高い探索処理が選択されるため、物体領域の面積が小さくなることに伴う処理点数の減少による計測精度の低下を補うことができ、対象物までの距離を安定して算出することができる。
【００２０】
また、前記探索処理は、前記基準画像に前記注目点を中心として基準ウインドウを設定すると共に、前記参照画像に参照ウインドウを設定し、前記参照ウインドウを前記参照画像でずらしながら、両ウインドウ内の画像の類似度を算出する類似度算出処理を繰り返し実行することで対応点を探索するものであり、前記基準ウインドウ及び前記参照ウインドウ内の画像を周波数分解して得られる位相成分に基づいて両ウインドウ内の画像の類似度を求める類似度算出処理を採用する第１の探索処理と、前記第１の探索処理よりも視差分解能の低い第２の探索処理とを含むことが好ましい。
【００２１】
この構成によれば、基準ウインドウ及び参照ウインドウ内の画像を周波数分解して得られる位相成分に基づいて両ウインドウ内の画像の類似度を求めて対応点を探索する第１の探索処理と、第１の探索処理よりも視差分解能の低い第２の探索処理とが探索処理に含まれ、物体領域の面積が小さい場合は、視差分解能が高い第１の探索処理が選択され、物体領域の面積が大きい場合は、視差分解能の低い第２の探索処理が選択されるため、２種類の探索処理を切り替えるだけで、対象物までの距離を安定して算出することができる。
【００２２】
また、前記第１の探索処理における類似度算出処理は、高速フーリエ変換、離散フーリエ変換、離散コサイン変換、離散サイン変換、ウエーブレット変換、及びアダマール変換のいずれかを用いて周波数分解することが好ましい。
【００２３】
この構成によれば、高速フーリエ変換、離散フーリエ変換、離散コサイン変換、離散サイン変換、ウエーブレット変換、及びアダマール変換のいずれかが用いられて周波数分解されるため、周波数分解を精度良く行うことができる。
【００２４】
また、前記第１の探索処理における類似度算出処理は、位相限定相関法であることが好ましい。
【００２５】
この構成によれば、位相限定相関法を用いて類似度が算出されるため、ロバスト、かつ、高精度に対応点を探索することができる。
【００２６】
また、前記第２の探索処理における類似度算出処理は、ＳＡＤであることが好ましい。
【００２７】
この構成によれば、類似度算出処理は、ＳＡＤ（Sum of Absolute Difference）を用いて類似度が算出されているため、高速に対応点を探索することができる。
【００２８】
また、前記探索手段は、前記物体領域に設定した各注目点の対応点の探索が終了した後、次フレームに対する処理を開始するまでの期間、前記物体領域以外の非物体領域内に注目点を順次設定し、各注目点の対応点を各参照画像から探索し、前記距離算出手段は、前記非物体領域に設定した注目点と当該注目点の対応点とから当該注目点の距離を算出することが好ましい。
【００２９】
この構成によれば、各フレームでの演算時間の空き時間を利用して非物体領域の距離を算出することが可能となり、例えば、ガードレールや路肩等の周辺環境を把握する上で有用な情報を得ることができ、対象物以外の障害物であって、危険を及ぼすような障害物の接近をユーザに報知することが可能となる。
【００３０】
また、前記探索手段は、前記非物体領域の下側から上側に向けて順次注目点を設定することが好ましい。この構成によれば、自己に近接する障害物が存在する可能性の高い非物体領域の下側の注目点から優先して距離が算出されるため、危険度の高い障害物の接近をユーザにより確実に報知することが可能となる。
【００３１】
また、前記対象物は、自動車、自動二輪車、自転車、及び人のうち、すくなくともいずれか１つを含むことが好ましい。この構成によれば、自動車、自動二輪車、自転車、人の距離を算出することができる。特に、自動二輪車及び自転車に乗っている人の距離や、自動車及び自転車に乗っていない人の距離を算出することで両者を切り分けることができ、人の動向を把握することができる。
【発明の効果】
【００３２】
本発明によれば、距離の測定対象となる対象物の大きさに関わらず、対象物までの距離を安定して算出することができる。
【発明を実施するための最良の形態】
【００３３】
（実施の形態１）
以下、本発明の実施の形態１による距離計測装置について図面を参照しつつ説明する。図１は、本発明の実施の形態１による距離計測装置１のブロック図を示している。距離計測装置１は、自動車等の車両の車体に搭載され、複数の撮影手段を用いて撮影された画像を用いて測定対象となる対象物までの距離を計測するものであり、複数台のカメラ、例えば本実施の形態では２台のカメラ１１，１２（撮影手段の一例）、演算処理装置１３、及び表示装置１４を備えている。
【００３４】
カメラ１１，１２は、車体の進行方向に直交し、かつ水平方向に平行な方向である左右方向に所定の間隔を設けて、進行方向を中心に対称となるように同一高さ位置に配設され、所定のフレームレートで自車体の前方を撮影する。ここで、カメラ１１，１２は、同一時刻においてフレームが撮影されるように撮影タイミングの同期が図られており、距離の測定対象となる対象物であり、自車体の前方を走行する前方車体を撮影する。ここで、前方車体としては、自動車、自動二輪車、及び自転車が含まれる。
【００３５】
演算処理装置１３は、カメラ１１，１２で撮影された２枚の画像に後述する画像処理を施し、前方車体までの距離を算出する。表示装置１４は、液晶表示ディスプレイ、有機ＥＬディスプレイといった表示装置から構成され、演算処理装置１３により算出された前方車体までの距離等の情報を表示する。ここで、表示装置１４は、自車体がカーナビゲーションシステムを備えている場合は、当該カーナビゲーションシステムの表示装置により構成してもよいし、カーナビゲーションシステムとは別の表示装置により構成してもよい。
【００３６】
図２は、距離計測装置１の詳細な構成を示すブロック図である。図２に示すように距離計測装置１は、基準カメラ１１０、参照カメラ１２０、抽出部２０（抽出手段の一例）、面積算出部３０（面積算出手段の一例）、処理変更部４０（探索手段の一例）、対応点探索部５０（探索手段の一例）、距離算出部６０（距離算出手段の一例）、及び表示部７０を備えている。
【００３７】
基準カメラ１１０は、図１に示すカメラ１１及びカメラ１２のいずれか一方のカメラである例えばカメラ１１から構成され、自車体の前方を例えば１秒あたり３０枚といった所定のフレームレートで撮影することで前方車体を含む入力画像を取得する。参照カメラ１２０は、図１に示すカメラ１１及びカメラ１２のいずれか一方のカメラである例えばカメラ１２から構成され、基準カメラ１１０と同一、かつ同期したフレームレートで自車体の前方を撮影し、前方車体を含む入力画像を取得する。ここで、入力画像としては、例えば０（黒）〜２５５（白）の２５６階調値を有する複数の画素がマトリックス状に配列されたたデジタルの画像データを採用することができる。
【００３８】
抽出部２０は、基準カメラ１１０から所定のフレームレートで順次入力される入力画像を基準画像、参照カメラ１２０から所定のフレームレートで順次入力される入力画像を参照画像とし、各基準画像から前方車体が撮影されている領域である物体領域を抽出する。ここで、抽出部２０は、例えば、特開平７−３３４８００に記載された画像中のエッジ分布及び左右対称性を利用して前方車体を抽出する手法を採用してもよいし、ＳＶＭ（Support Vector Machine）、ａｄａＢｏｏｓｔ等を用いて車体、非車体データを学習し、パターン認識を用いて前方車体を抽出する手法を採用してもよいし、前方車体の背面画像をテンプレートとして、テンプレートマッチングにより前方車体を抽出する手法を採用してもよい。また、抽出部２０は、前方車体を示す領域を複数抽出した場合は、これらの領域のうち、自車体に近いことが予測される前方車体を示す１又は複数の領域を物体領域として抽出してもよい。なお、自車体に近いことが予測される前方車体を示す領域としては例えば面積が一定の大きさ以上の領域を採用すればよい。
【００３９】
面積算出部３０は、抽出部２０により抽出された物体領域の面積を算出する。ここで、面積算出部３０は、例えば、物体領域の画素数をカウントし、カウントした画素数を物体領域の面積として採用してもよいし、１画素あたりの面積にカウントした画素数を乗じた値を物体領域の面積として採用してもよい。
【００４０】
処理変更部４０は、面積算出部３０により算出された物体領域の面積に応じて距離の計測精度を定めるためのパラメータである視差分解能が変更されるように探索処理を変更する。具体的には、処理変更部４０は、物体領域の面積が小さくなるにつれて、視差分解能が高くなるように探索処理を変更する。距離の計測精度（α）は、下記の式（Ａ）によって定められる。
【００４１】
α＝β／γ２      （Ａ）
但し、βは処理点数を示し、γは視差分解能を示す。ここで、処理点数は、物体領域内に設定される距離の計測対象となる注目点の個数を示す。また、視差分解能は、カメラ１１，１２により撮影された入力画像の分解能に相当する値を有し、視差分解能が高くなるにつれて値が減少し、視差分解能が低くなるにつれて値が増大する。
【００４２】
物体領域の面積が小さいと、物体領域の画素数が少なくなるため、多くの注目点を設定することができなくなり、物体領域が表す前方車体までの距離の計測精度が低くなる。一方、物体領域の面積が大きいと、物体領域の画素数が多くなるため、多くの注目点を設定することが可能となり、物体領域が表す前方車体までの距離の計測精度が高くなる。そのため、面積が小さくなるにつれて処理点数（β）が小さくなり距離の計測精度が低くなってしまう。
【００４３】
そこで、距離計測装置１では、物体領域の面積が小さくなることによる処理点数（β）の減少を補うために、後述する類似度算出処理で使用するウインドウ（基準ウインドウ及び参照ウインドウ）のウインドウサイズを大きくして視差分解能（γ）の値を小さくし、距離の計測精度を高めている。なお、注目点は対応点探索部５０により物体領域内に順次設定される点であって、距離の計測対象となる点である。
【００４４】
図３は、抽出部２０により物体領域が抽出された２枚の画像を示し、（ａ）は物体領域Ｄ１の面積が大きい場合を示し、（ｂ）は物体領域Ｄ１の面積が小さい場合を示している。図４は、ウインドウＷが設定された画像を示し、図４（ａ）は図３（ａ）に対してウインドウＷを設定した場合の画像を示し、図４（ｂ）は図３（ｂ）に対してウインドウＷを設定した場合の画像を示している。なお、図３及び図４においては、説明の便宜上、物体領域を四角形で示しているが実際には、より複雑な形状を有している。
【００４５】
図３（ｂ）に示す物体領域Ｄ１は図３（ａ）に示す物体領域Ｄ１に比べて面積が小さく、多くの注目点を設定することができないため、処理点数が少なくなり、図３（ａ）の場合に比べて計測精度が低下する。したがって、視差分解能を一定にすると、図３（ａ）、（ｂ）において距離の計測精度に差が生じ、計測精度が安定しない。
【００４６】
そこで、処理変更部４０は、図４（ａ）に示すように、物体領域Ｄ１の面積が大きい場合は、ウインドウサイズを小さくし、図４（ｂ）に示すように、物体領域Ｄ１の面積が小さい場合は、ウインドウサイズを大きくすることで、処理点数の減少による計測精度の低下が補われるように視差分解能を高めて視差分解能の値を小さくし、計測精度の安定化を図っている。
【００４７】
ここで、類似度算出処理は、後述するように基準画像及び参照画像の両方にウインドウＷを設定し、両ウインドウＷ内の画像の相関を求めることで類似度を算出する処理である。そのため、ウインドウＷのサイズが大きくなると、より多くの情報を用いて類似度を算出することが可能となり、類似度の算出精度が増す結果、対応点の探索精度も増し、入力画像の分解能を高くした場合と同様、計測精度を高めることができる。したがって、ウインドウサイズＷを大きくすると、視差分解能が高くなって視差分解能の値が小さくなり、式（Ａ）のαが増大し、計測精度が高まるのである。
【００４８】
ここで、図４（ａ）に示す大きな物体領域Ｄ１の処理点数（β）を１００、図４（ｂ）に示す小さな物体領域Ｄ１の処理点数（β）を２５、図４（ａ）に示す小ウインドウの視差分解能（γ）を０．３、図４（ｂ）に示す大ウインドウの視差分解能（γ）を０．１５と見積もり、計測精度（α）の閾値を１０００として、以下の３つのケースを考察する。
【００４９】
ケース１：図４（ａ）に示す大きな物体領域Ｄ１に、小ウインドウを適用する。このときα＝１００／（０．３×０．３）＝３３３３．３が得られ、αが閾値（１０００）よりも大きくなり、閾値以上の計測精度を得ることができる。
【００５０】
ケース２：図４（ｂ）に示す小さな物体領域Ｄ１に小ウインドウを適用する。このとき、α＝２５／（０．３×０．３）＝２７７．７が得られ、αが閾値（１０００）よりも小さくなり、閾値以上の計測精度を得ることができない。
【００５１】
ケース３：図４（ｂ）に示す小さな物体領域Ｄ１に大ウインドウを適用する。このとき、α＝２５／（０．１５×０．１５）＝１１１１．１が得られ、αが閾値（１０００）よりも大きくなり、閾値以上の計測精度を得ることができる。
【００５２】
上記３つのケースから分かるように、物体領域Ｄ１が小さい場合、大ウインドウを適用することで、物体領域Ｄ１が大きい場合と同様に、計測精度を閾値以上にすることができ、物体領域Ｄ１の大小によらず、計測精度を安定させることができる。
【００５３】
図２に戻り、対応点探索部５０は、抽出部２０により抽出された物体領域内に注目点を順次設定し、処理変更部４０により採用された探索処理を用いて、各注目点の対応点を、注目点を設定した基準画像と同一時刻に取得された参照画像から探索する。
【００５４】
具体的には、対応点探索部５０は、下位の階層から上位の階層に向かうにつれて解像度が高くなるように、解像度の異なる複数の基準画像及び参照画像を階層的に生成し、下位の階層での対応点の探索結果に基づいて、当該階層の探索範囲よりも小さな探索範囲を１つ上の階層の参照画像に設定し、当該探索範囲内で対応点を探索する探索処理を上位の階層に向けて階層的に実行することで対応点を探索する。
【００５５】
ここで、探索処理としては、基準画像に注目点を中心として基準ウインドウを設定し、参照画像に基準ウインドウと同一サイズの参照ウインドウを設定し、参照画像に設定された探索範囲内において参照ウインドウをずらしながら、基準ウインドウ内の画像と参照ウインドウ内の画像との類似度を求める類似度算出処理を繰り返し実行することで対応点を探索する処理を採用することができる。
【００５６】
類似度算出処理としては、基準ウインドウ内の画像と参照ウインドウ内の画像とを周波数分解することで得られる位相成分に基づいて類似度を算出する処理を採用してもよいし、周波数分解することなく類似度を算出する処理を採用してもよい。
【００５７】
ここで、周波数分解としては、高速フーリエ変換、離散フーリエ変換、離散コサイン変換、離散サイン変換、ウエーブレット変換、及びアダマール変換といった手法を採用することができ、処理の高速化の観点からは高速フーリエ変換を採用することが好ましい。
【００５８】
位相成分に基づいて類似度を算出する処理としては、位相限定相関法（ＰＯＣ：Phase Only Correlation）やＤＣＴ符号限定相関法を採用することができるが、ＰＯＣの方がよりロバストであるため、本実施の形態ではＰＯＣを採用する。また、位相成分を用いることなく類似度を算出する手法としては、ＳＡＤ（Sum of Absolute Difference）、ＳＳＤ（濃度差の二乗和）、又はＮＣＣ（正規化相互相関）等を採用することができるが、処理の高速化、高精度化の観点から本実施の形態ではＳＡＤを採用する。
【００５９】
ＤＣＴ符号限定法としては、例えば、”画像信号処理と画像パターン認識の融合−ＤＣＴ符号限定相関とその応用、貴家仁志、首都大学東京、システムデザイン学部、動的画像処理実利用化ワークショップ２００７’２００７．７．３．８−９”に記載された手法を採用することができる。
【００６０】
ＰＯＣは、ＳＡＤに比べてカメラ１１，１２の撮影条件の差や、ノイズなどの影響が受けにくく、ロバストであるが、周波数分解を行っているため処理コストがかかってしまう。そのため、ロバスト性を重視する場合はＰＯＣを採用することが好ましく、処理の高速化を図る場合はＳＡＤを採用することが好ましい。
【００６１】
また、抽出部２０が複数の物体領域を抽出した場合は、重要度の高い前方車体を示す物体領域についてはＰＯＣを採用し、重要度の低い前方車体を示す物体領域についてはＳＡＤを採用してもよい。なお、重要度の高い前方車体としては、危険を回避するうえで重要となる前方車体を採用すればよく、例えば、物体領域の面積が大きな前方車体ほど重要度が高くなるようにしてもよい。
【００６２】
次に、ＰＯＣの詳細について説明する。図５は、ＰＯＣの処理の流れを示したフローチャートである。なお、図５において、周波数分解として、フーリエ変換を採用した場合を例示している。まず、ステップＳ１，Ｓ２において、基準ウインドウ内の画像にフーリエ変換が施され、参照ウインドウ内の画像にフーリエ変換が施される。ここで、基準ウインドウ内の画像が式（１）で表され、参照ウインドウ内の画像が式（２）で表されるとすると、基準ウインドウ内の画像は、式（３）によりフーリエ変換され、参照ウインドウ内の画像は、式（４）によりフーリエ変換される。
【００６３】
【数１】
0004946898.tif 000002
【００６４】
但し、ｎ１，ｎ２は、垂直、水平方向の座標を示し、Ｎ１，Ｎ２は、基準ウインドウ及び参照ウインドウの垂直、水平方向のサイズを示し、Ｍ１は基準ウインドウ及び参照ウインドウの中心点から、垂直方向における端までの距離を示し、Ｍ２は基準ウインドウ及び参照ウインドウの中心点から、水平方向における端までの距離を示す。
【００６５】
次に、ステップＳ３，Ｓ４において、ステップＳ１，Ｓ２でフーリエ変換された両画像が式（５）を用いて規格化される。次に、ステップＳ５において、ステップＳ３，Ｓ４で規格化された両画像が合成される。ここで、規格化された両画像は、式（６）に示すように、Ｆ´（ｋ１，ｋ２）と、Ｇ´（ｋ１，ｋ２）の複素共役とが乗じられることで合成される。次に、ステップＳ６において、ステップＳ５で合成された画像が式（７）を用いて逆フーリエ変換され、ＰＯＣ値（ｒ（ｋ１，ｋ２））が算出される。
【００６６】
図６は、ＰＯＣ値を示したグラフである。このグラフにおいて、ｘ軸及びｙ軸は、基準ウインドウ及び参照ウインドウ内の各座標を表し、ｚ軸はＰＯＣ値を示している。図６に示すようにＰＯＣ値は、急峻な相関ピークを有し、画像マッチングにおけるロバスト性と推定精度とが高いことが知られている。そして、この相関ピークの高さは基準ウインドウ及び参照ウインドウの相関が高いほど大きくなる。したがって、基準ウインドウ及び参照ウインドウの類似度として、例えば相関ピークの高さを採用することで、両ウインドウ内の画像がどれだけ近似しているかを示すことが可能となる。また、相関ピークの位置が基準ウインドウと参照ウインドウとのズレ量を示すことになる。
【００６７】
そして、参照ウインドウをずらしながら対応点が探索されることになる。この場合、相関ピークの位置は、両ウインドウ間のズレ量を示しているため、参照ウインドウを１画素ずつずらす必要はなく、例えば、ウインドウサイズの半分の大きさをずらし量として設定すればよい。
【００６８】
そして、最終的に対応点の位置は参照ウインドウの位置と、ＰＯＣ値の相関ピークの位置とから求められる。参照ウインドウの位置はピクセルレベルの値になるが、相関ピークの位置はウインドウ間のズレ量を示し、必ずしもピクセルレベルの位置に存在するとは限らない。そこで、相関ピークの位置をサブピクセルレベルで補間推定することによりサブピクセルレベルでズレ量を求めることが可能となる。ここで、相関ピークの位置の補間推定方法としては、放物線などの関数を、フィッティングする手法を採用することができる。そして、参照ウインドウの位置にサブピクセルレベルで補間推定された相関ピークの位置を足し合わせることによりサブピクセルレベルで対応点を求めることが可能となる。
【００６９】
次に、ＳＡＤの詳細について説明する。図７はＳＡＤを説明する模式図である。図７に示すように、基準画像に設定された物体領域Ｄ１内に注目点ＣＰが設定され、注目点ＣＰを中心として基準ウインドウＷ１が設定される。ここで、注目点ＣＰは、物体領域Ｄ１内をラスタ走査するようにして順次設定される。次に、参照画像に設定された探索範囲内の所定の画素が参照ウインドウＷ２の中心点Ｏ１として設定され、この中心点Ｏ１を中心として参照ウインドウＷ２が設定される。ここで、中心点Ｏ１は、注目点ＣＰと垂直方向の高さが同一であり、かつ、水平方向と平行な参照画像の直線上に設定される。次に、基準ウインドウＷ１内の画像Ｉｍｇ１と参照ウインドウＷ２内の画像Ｉｍｇ２との相関値ＣＯＲｐが式（８）、（９）を用いて算出される。
【００７０】
【数２】
0004946898.tif 000003
【００７１】
但し、Ｗは基準ウインドウＷ１、参照ウインドウＷ２のウインドウサイズを示し、ｉは垂直方向の座標を示し、ｊは水平方向の座標を示し、ｐは０≦ｐ≦ｍａｘ＿ｄｉｓｐを満たす変数であり、ｍａｘ＿ｄｉｓｐは最終探索点を示す。
【００７２】
そして、相関値ＣＯＲｐが求まると、ｐが１増加されて参照ウインドウＷ２が水平方向にずらされ、次の相関値ＣＯＲｐが求められる。なお、ＳＡＤにおいては、参照ウインドウＷ２は、ｐがコントロールされてずらされているため、垂直方向の位置が注目点と同一であって、水平方向と平行な直線上に中心点Ｏ１が位置するようにずらされる。
【００７３】
そして、相関値ＣＯＲｐを参照ウインドウＷ２内の画像の中心点Ｏ１の類似度として採用し、参照画像において類似度が最も高くなる位置を探索し、探索した位置を基準画像に設定された注目点ＣＰの対応点として特定する。図７のグラフに示すように、相関値ＣＯＲｐは、画像Ｉｍｇ１と画像Ｉｍｇ２との相関が高く、類似しているほど高くなる。
【００７４】
ここで、参照ウインドウは、画素単位で離散的にずらされるため、類似度はピクセルレベルの分解能で算出されることになるが、ＰＯＣと同様にして、サブピクセルレベルで類似度を算出してもよい。
【００７５】
図２に戻り、距離算出部６０は、注目点と対応点とを基に、ステレオ法による測距方法を用いて物体領域Ｄ１によって示される前方車体までの距離及び３次元位置を求める。図８は、ステレオ法による測距方法を説明する模式図である。
【００７６】
図８において、ｆは、カメラ１１，１２の焦点距離を示し、カメラ１１，１２の撮影面（ＣＣＤ）の画素数及び１画素の大きさ（μ）は等しいものとする。また、カメラ１１，１２は、所定の基線長Ｌだけ左右方向に離間され、かつ、光軸が平行となるように配置されている。この場合、撮影面上の視差（ずれ画素数）をｄ（＝ｄ１＋ｄ２）とすると、前方車体までの距離（Ｚ）は、Ｚ＝（Ｌ×ｆ）／（μ×ｄ）により求めることができる。３次元位置としては、自車体を基準として３次元の座標空間を設定した場合の前方車体の位置である相対位置を採用してもよいし、自車体がＧＰＳを備えているのであれば、ＧＰＳにより得られた自車体の絶対位置から前方車体の絶対位置を算出し、この絶対位置を採用してもよい。
【００７７】
ここで、距離算出部６０は、例えば、物体領域内に設定した注目点と各注目点の対応点との各ペアの視差から代表視差を求め、その代表視差の距離を物体領域が表す前方車体までの距離として算出してもよいし、注目点と対応点との各ペアの距離を求め、求めた距離から代表距離を求めてもよい。代表視差又は代表距離を求める手法としては、特開平７−３３４８００号公報に記載されたヒストグラムを用いた手法を採用してもよいし、各ペアの距離又は視差の平均値、中央値、或いは各ペアの距離又は視差から最大値及び最小値を除いた残りの値の平均値を代表距離又は代表視差として算出する手法を採用してもよい。
【００７８】
図２に戻り、表示部７０は、図１に示す表示装置１４から構成され、距離算出部６０により算出された前方車体までの距離及び３次元位置等を表示する。ここで、表示部７０は、距離算出部６０により複数の前方車体の距離が算出された場合は、各々の距離をドライバーに通知してもよい。
【００７９】
次に、距離計測装置１の動作について説明する。図９は距離計測装置１の動作を示すフローチャートである。以下のフローチャートでは、説明の便宜上、基準画像及び参照画像に含まれる物体領域Ｄ１は１個とする。
【００８０】
まず、ステップＳ１１において、抽出部２０は、基準カメラ１１０から入力された入力画像を基準画像として取得し、参照カメラ１２０から入力された入力画像を参照画像として取得する。
【００８１】
ステップＳ１２において、抽出部２０は、図３に示すようにステップＳ１１で取得した基準画像から物体領域Ｄ１を抽出する。ステップＳ１３において、面積算出部３０は、ステップＳ１２で抽出された物体領域Ｄ１の面積を算出する。
【００８２】
ステップＳ１４において、処理変更部４０は、図４に示すように物体領域Ｄ１の面積が小さくなるにつれて基準ウインドウ及び参照ウインドウのウインドウサイズが大きくなるようにウインドウサイズを設定する。ここで、処理変更部４０は、物体領域の面積を段階的に分けた場合の各段階における好ましいウインドウサイズを予め定めておき、処理対象となる物体領域の面積が属する段階に対応するウインドウサイズを設定すればよい。
【００８３】
ステップＳ１５において、対応点探索部５０は、探索処理を実行する。図１０は探索処理を示すフローチャートである。まず、ステップＳ４１において、対応点探索部５０は、基準画像及び参照画像を階層毎に予め定められた解像度で低解像度化する処理を実行し、解像度の異なる複数の基準画像及び参照画像を階層的に生成する。ここで、階層数及び各階層における解像度は予め定められており、下位の階層から上位の階層に向かうにつれて解像度が高くなり、解像度変換が行われていない基準画像及び参照画像が最上位の階層とされる。
【００８４】
ステップＳ４２において、対応点探索部５０は、最上位の階層の基準画像に注目点を設定する。
【００８５】
ステップＳ４３において、対応点探索部５０は、最下位の階層の参照画像に探索範囲を設定する。図１２は、基準画像及び参照画像に設定される基準ウインドウと参照ウインドウとを示した図である。図１２に示すように、探索範囲ＤＲは、ステップＳ４１で基準画像に設定された注目点ＣＰと垂直方向の高さが同じであって、水平方向と平行な参照画像の直線上の全域に設定されている。
【００８６】
ステップＳ４４において、対応点探索部５０は、類似度算出処理を実行する。図１１は類似度算出処理を示すフローチャートである。まず、ステップＳ６１において、対応点探索部５０は、ステップＳ４３で探索範囲ＤＲを設定した参照画像と同一階層の基準画像に基準ウインドウＷ１を設定する。ここで、ステップＳ４２で最上位の階層の基準画像に設定された注目点に対して位置が対応する処理対象となる階層の基準画像上の点が、当該階層の基準画像の注目点ＣＰとして設定される。そして、図１２に示すように、注目点ＣＰに中心が位置するように基準ウインドウＷ１が設定される。
【００８７】
ステップＳ６２において、処理対象となる階層の参照画像に参照ウインドウＷ２が設定される。ここで、図１２に示す探索範囲ＤＲの例えば左端の位置が中心点Ｏ１の初期位置となるように参照ウインドウＷ２が設定される。
【００８８】
ステップＳ６３において、対応点探索部５０は、上述したＰＯＣ又はＳＡＤを用いて基準ウインドウＷ１内の画像と参照ウインドウＷ２内の画像との類似度を算出する。
【００８９】
ステップＳ６４において、対応点探索部５０は、参照ウインドウＷ２の中心点Ｏ１が探索範囲ＤＲの最終位置に到達していない場合（ステップＳ６４でＮＯ）、参照ウインドウＷ２をずらし（ステップＳ６５）、処理をステップＳ６３に戻し、参照ウインドウＷ２の中心点が探索範囲ＤＲの最終位置に到達した場合（ステップＳ６４でＹＥＳ）、類似度算出処理を終了し、処理を図１０に示すステップＳ４５に進める。ここで、最終位置としては例えば探索範囲ＤＲの右端を採用することができる。また、図１２に示すように、参照ウインドウＷ２は、中心点Ｏ１が探索範囲ＤＲの左端の点から右端の点に向けて順次設定され、探索範囲ＤＲに沿って左側から右側に向けてずらされていく。そして、対応点探索部５０は、参照ウインドウＷ２をずらす毎に類似度を算出し、算出した類似度を中心点Ｏ１における類似度とする。これにより、探索範囲ＤＲ上での類似度の分布が求まることになる。
【００９０】
図１０に戻り、ステップＳ４５において、対応点探索部５０は、類似度算出処理によって求められた探索範囲ＤＲ上の類似度のうち、最大の類似度を有する点を処理対象となる階層の参照画像における対応点として求める。
【００９１】
ステップＳ４６において、対応点探索部５０は、最上位の階層を処理対象として設定していない場合（ステップＳ４６でＮＯ）、１つ上の階層を処理対象として設定し、当該階層の参照画像に探索範囲ＤＲを設定し（ステップＳ４８）、処理をステップＳ４４に戻し、最上位の階層を処理対象として既に設定している場合（ステップＳ４６でＹＥＳ）、処理をステップＳ４７に進める。
【００９２】
図１３は、探索範囲ＤＲを説明する図であり、（ａ）はある階層における基準画像と参照画像とを示し、（ｂ）は（ａ）に示す階層よりも１つ上の階層における基準画像と参照画像とを示している。対応点探索部５０は、図１３（ａ）に示す参照画像において求めた対応点ＴＰを含み、図１３（ａ）に示す探索範囲ＤＲよりも狭い領域を１つ上の階層の参照画像の探索範囲ＤＲとして設定する（図１３（ｂ））。すなわち、対応点探索部５０は、いずれの階層においても探索範囲ＤＲを、注目点ＣＰと垂直方向の高さが同一であり、かつ水平方向と平行な直線上に設定するが、下位の階層から上位の階層に向かうにつれて範囲を狭くしている。ここで、基準画像及び参照画像は階層が上位になるにつれて解像度が高くなっている。したがって、低解像度の参照画像で広範囲に探索範囲ＤＲを設定して対応点ＴＰのおよその位置を探索しておき、その探索結果を用いて高解像度での参照画像の探索範囲ＤＲを狭い範囲に絞り込むことが可能となり、高速かつ高精度に対応点を探索することができる。なお、各階層において設定される探索範囲ＤＲは、下の階層で求められた対応点ＴＰを中心として、階層毎に予め定められた一定の幅を持たせた範囲とすればよい。
【００９３】
図１０に戻り、ステップＳ４７において、注目点が最終位置に到達していない場合（ステップＳ４７でＮＯ）、対応点探索部５０は、基準画像に次の注目点を設定するために処理をステップＳ４２に戻し、注目点が最終位置に設定されている場合（ステップＳ４７でＹＥＳ）、探索処理を終了して処理を図９に示すステップＳ１６に進める。
【００９４】
図９に戻り、ステップＳ１６において、距離算出部６０は、物体領域Ｄ１に示す前方車体までの距離を求め、ステップＳ１７において、表示部７０は、距離算出部６０により算出された距離を表示する。ステップＳ１８において、例えばユーザにより処理を終了するための操作指令が入力される等して、処理が終了される場合（ステップＳ１８でＹＥＳ）、処理が終了され、処理が終了されない場合（ステップＳ１８でＮＯ）、抽出部２０は、基準カメラ１１０により取得された次フレームの入力画像を基準画像として取得すると共に、参照カメラ１２０により取得された次フレームの入力画像を参照画像として取得し（ステップＳ１９）、処理をステップＳ１２に戻す。
【００９５】
このように距離計測装置１によれば、カメラ１１，１２により同一タイミングで撮影された入力画像が基準画像及び参照画像として取得され、基準画像から前方車体をとらえた物体領域Ｄ１が抽出され、抽出された物体領域内に注目点が順次設定され、各注目点の対応点が各参照画像から探索され、注目点と対応点との視差を基に、対象物までの距離が算出される。ここで、物体領域の面積が小さくなるにつれて基準ウインドウ及び参照ウインドウのウインドウサイズが大きくされるため、視差分解能が高まり、処理点数の減少による計測精度の低下を補うことができ、物体領域の面積の大小によらず距離の計測精度を一定に保ち、距離の計測精度の安定化を図ることができる。
【００９６】
（実施の形態２）
次に、本発明の実施の形態２による距離計測装置１ａについて説明する。なお、本実施の形態において、全体構成及び詳細な構成は実施の形態１と同一であるため、図１及び図２を用いる。また、本実施の形態において実施の形態１と同一のものは説明を省き相違点のみ説明する。
【００９７】
図２に示す処理変更部４０は、物体領域の面積が所定の値より小さい場合、視差分解能を参照画像のピクセルレベルよりも分解能の高いサブピクセルレベルに設定し、物体領域の面積が所定の値より大きい場合、視差分解能をピクセルレベルに設定して探索処理を変更する。なお、所定の値としては、サブピクセルレベルにおける分解能の値から計測精度のばらつきに大差が出ないような値であって、実験的に得られた値を採用することができる。
【００９８】
ここで、参照画像のサブピクセルレベルで対応点を探索すると、上記式（Ａ）に示す視差分解能（γ）が高くなってγの値が小さくなるため、計測精度（α）を増大させることができる。したがって、面積が所定の値より小さい場合、参照画像のサブピクセルレベルで対応点を探索することで、処理点数の減少による計測精度（α）の低下が補われ、物体領域Ｄ１の面積の大小にかかわらず、計測精度を安定させることができる。
【００９９】
ここで、図３（ａ）に示す大きな物体領域Ｄ１の処理点数（β）を１００、図３（ｂ）に示す小さな物体領域Ｄ１の処理点数（β）を２５、ピクセルレベルの視差分解能（γ）を１、サブピクセルレベルの視差分解能（γ）を０．３と見積もり、計測精度（α）の閾値を９０として、以下の３つのケースを考察する。
【０１００】
ケース１：図３（ａ）に示す大きな物体領域Ｄ１に対し、ピクセルレベルで対応点を探索する。このときα＝１００／（１．０×１．０）＝１００が得られ、αが閾値（９０）よりも大きくなり、閾値以上の計測精度を得ることができる。
【０１０１】
ケース２：図３（ｂ）に示す小さな物体領域Ｄ１に対し、ピクセルレベルで対応点を探索する。このとき、α＝２５／（１．０×１．０）＝２５が得られ、αが閾値（９０）よりも小さくなり、閾値以上の計測精度を得ることができない。
【０１０２】
ケース３：図３（ｂ）に示す小さな物体領域Ｄ１に対し、サブピクセルレベルで対応点を探索する。このとき、α＝２５／（０．３×０．３）＝２７７．７が得られ、αが閾値（９０）よりも大きくなり、閾値以上の計測精度を得ることができる。
【０１０３】
上記３つのケースから分かるように、物体領域Ｄ１が小さい場合、サブピクセルレベルで対応点を探索することで、物体領域Ｄ１が大きい場合と同様に、計測精度を閾値以上にすることができ、物体領域Ｄ１の大小によらず、計測精度を安定させることができる。
【０１０４】
次に、距離計測装置１ａの動作について説明する。図１４は、距離計測装置１ａの動作を示すフローチャートである。ステップＳ８１〜Ｓ８３、ステップＳ８５〜Ｓ８９の処理は、図９に示すステップＳ１１〜Ｓ１３、ステップＳ１５〜Ｓ１９の処理と同一であるため説明を省く。
【０１０５】
ステップＳ８４において、処理変更部４０は、物体領域の面積が所定の値より小さい場合、視差分解能を参照画像のピクセルレベルよりも分解能の高いサブピクセルレベルに設定し、物体領域の面積が所定の値より大きい場合、視差分解能をピクセルレベルに設定して探索処理を変更する。ここで、処理変更部４０は、サブピクセルレベルで対応点を探索する場合、物体領域の面積が小さくなるにつれて視差分解能を高くしてもよい。これにより、物体領域の面積の大小による計測精度のばらつきをより少なくすることができる。この場合、処理変更部４０は、物体領域の面積を段階的に分けた場合の各段階における好ましい視差分解能を予め定めておき、処理対象となる物体領域の面積が属する段階に対応する視差分解能を設定すればよい。
【０１０６】
なお、距離計測装置１ａでは、図１１に示すステップＳ６３の処理が、ステップＳ８４で設定された視差分解能に従って、類似度を算出する処理となる。
【０１０７】
このように、距離計測装置１ａによれば、物体領域の面積が所定の値より小さい場合、視差分解能を参照画像のピクセルレベルよりも高いサブピクセルレベルに設定し、物体領域の面積が所定の値より大きい場合、視差分解能をピクセルレベルに設定して探索処理が変更されているため、処理点数の減少による計測精度の低下を補うことができ、物体領域の面積の大小によらず距離の計測精度を一定に保ち、距離の計測精度の安定化を図ることができる。
【０１０８】
（実施の形態３）
次に、本発明の実施の形態３による距離計測装置１ｂについて説明する。なお、本実施の形態において、全体構成及び詳細な構成は実施の形態１と同一であるため、図１及び図２を用いる。また、本実施の形態において実施の形態１、２と同一のものは説明を省き相違点のみ説明する。
【０１０９】
図２に示す処理変更部４０は、物体領域の面積が小さくなるにつれて、視差分解能の異なる複数種類の探索処理の中から、より視差分解能の高い探索処理を選択する。ここで、探索処理としては、視差分解能の高い第１の探索処理と、第１の探索処理よりも視差分解能の低い第２の探索処理とが含まれる。
【０１１０】
第１及び第２の探索処理は、共に、基準画像に注目点を中心として基準ウインドウを設定すると共に、参照画像に参照ウインドウを設定し、参照ウインドウを参照画像でずらしながら、両ウインドウ内の画像の類似度を算出する類似度算出処理を繰り返し実行することで対応点を探索するものであるが、第１の探索処理は、基準ウインドウ及び参照ウインドウ内の画像を周波数分解して得られる位相成分に基づいて両ウインドウ内の画像の類似度を求める類似度算出処理を採用するものであり、第２の探索処理は、周波数分解することなく類似度を求める類似度算出処理を採用するものである。
【０１１１】
ここで、第１の探索処理における類似度算出処理は、高速フーリエ変換、離散フーリエ変換、離散コサイン変換、離散サイン変換、ウエーブレット変換、及びアダマール変換のいずれかを用いて周波数分解するが、本実施の形態では、処理の高速化の観点から高速フーリエ変換が採用される。
【０１１２】
また、第１の探索処理における類似度算出処理としては、ＰＯＣやＤＣＴ符号限定相関法を採用することができるが、ＰＯＣの方がよりロバストであるため、本実施の形態ではＰＯＣを採用する。
【０１１３】
また、第２の探索処理における類似度算出処理としては、ＳＡＤ（Sum of Absolute Difference）、ＳＳＤ（濃度差の二乗和）、又はＮＣＣ（正規化相互相関）等を採用することができるが、処理の高速化、高精度化の観点から本実施の形態ではＳＡＤを採用する。
【０１１４】
そして、処理変更部４０は、物体領域の面積が所定の値より小さい場合、視差分解能の高い第１の探索処理を選択し、物体領域の面積が所定の値より大きい場合、視差分解能の低い第２の探索処理を選択する。ＰＯＣは、ＳＡＤよりも対応点を高精度に探索することができるため、参照画像の分解能を高くした場合と同様、計測精度を高めることができる。したがって、ＰＯＣを採用すると、視差分解能が高くなって視差分解能の値が小さくなり、上記式（Ａ）のαが増大し、計測精度が高まるのである。
【０１１５】
なお、上記所定の値としては、ＰＯＣ及びＳＡＤによって見積もられる視差分解能の値から計測精度のばらつきに大差が出ないような値であって、実験的に得られた値を採用することができる。
【０１１６】
ここで、図３（ａ）に示す大きな物体領域Ｄ１の処理点数（β）を１００、図３（ｂ）に示す小さな物体領域Ｄ１の処理点数（β）を２５、ＳＡＤにおける視差分解能（γ）を０．６、ＰＯＣにおける視差分解能（γ）を０．３と見積もり、計測精度（α）の閾値を２７０として、以下の３つのケースを考察する。
【０１１７】
ケース１：図３（ａ）に示す大きな物体領域Ｄ１に対し、ＳＡＤで対応点を探索する。このときα＝１００／（０．６×０．６）＝２７７．７が得られ、αが閾値（２７０）よりも大きくなり、閾値以上の計測精度を得ることができる。
【０１１８】
ケース２：図３（ｂ）に示す小さな物体領域Ｄ１に対し、ＳＡＤで対応点を探索する。このとき、α＝２５／（０．６×０．６）＝６９．４が得られ、αが閾値（２７０）よりも小さくなり、閾値以上の計測精度を得ることができない。
【０１１９】
ケース３：図３（ｂ）に示す小さな物体領域Ｄ１に対し、ＰＯＣで対応点を探索する。このとき、α＝２５／（０．３×０．３）＝２７７．７が得られ、αが閾値（２７０）よりも大きくなり、閾値以上の計測精度を得ることができる。
【０１２０】
上記３つのケースから分かるように、物体領域Ｄ１が小さい場合、ＰＯＣで対応点を探索することで、物体領域Ｄ１が大きい場合と同様に、計測精度を閾値以上にすることができ、物体領域Ｄ１の大小によらず、計測精度を安定させることができる。
【０１２１】
次に、距離計測装置１ｂの動作について説明する。図１５は、距離計測装置１ｂの動作を示すフローチャートである。ステップＳ１０１〜Ｓ１０３、ステップＳ１０５〜Ｓ１０９の処理は、図９に示すステップＳ１１〜Ｓ１３、ステップＳ１５〜Ｓ１９の処理と同一であるため説明を省く。
【０１２２】
ステップＳ１０４において、処理変更部４０は、物体領域の面積が所定の値より小さい場合、第１の探索処理を選択し、物体領域の面積が所定の値より大きい場合、第２の探索処理を選択する。なお、距離計測装置１ｂでは、図１１に示すステップＳ６３の処理は、ステップＳ１０４でＰＯＣが選択された場合は、ＰＯＣを用いて類似度を算出し、ステップＳ１０４でＳＡＤが選択された場合は、ＳＡＤを用いて類似度を算出する処理となる。
【０１２３】
このように、距離計測装置１ｂによれば、物体領域の面積が所定の値より小さい場合、ＰＯＣが選択され、物体領域の面積が所定の値より大きい場合、ＳＡＤが選択されるため、処理点数の減少による計測精度の低下を補うことができ、物体領域の面積の大小によらず距離の計測精度を一定に保ち、距離の計測精度の安定化を図ることができる。
【０１２４】
（実施の形態４）
次に、本発明の実施の形態４による距離計測装置１ｃについて説明する。なお、本実施の形態において、全体構成及び詳細な構成は実施の形態１と同一であるため、図１及び図２を用いる。また、本実施の形態において実施の形態１〜３と同一のものは説明を省き相違点のみ説明する。
【０１２５】
図２に示す抽出部２０は、基準画像から物体領域の候補となる候補領域を抽出し、抽出した候補領域の中から物体領域を抽出する。ここで、抽出部２０は、実施の形態１が物体領域を抽出する手法と同様の手法を用いて候補領域を抽出し、抽出した候補領域のうち重要度が高い１又は複数の候補領域を物体領域として抽出すればよい。ここで、重要度としては、例えば、面積の大きな候補領域ほど高く、基準画像の下側に位置する候補領域ほど高くなるような値を採用してもよい。そして、抽出部２０は、重要度の値が所定の値よりも大きな候補領域を物体領域として抽出してもよいし、重要度の高い順に予め定められた個数の候補領域を物体領域として抽出してもよい。ここで、下側に位置し、かつ、面積が大きな候補領域ほど重要度を高く設定するのは、そのような候補領域が示す対象物ほど、自車体に近づいている可能性が高いからである。
【０１２６】
対応点探索部５０は、物体領域に設定した各注目点の対応点の探索が終了した後、次フレームに対する処理を開始するまで期間、抽出部２０により抽出された物体領域以外の基準画像上の領域である非物体領域内に注目点を順次設定し、各注目点の対応点各参照画像から探索するといった第３の探索処理を実行する。
【０１２７】
すなわち、第３の探索処理は、現フレームにおいて、物体領域に設定した各注目点の対応点の探索が終了した後、次フレームの入力画像が取得されるまでの間の空き時間を利用して、非物体領域において順次注目点を設定して対応点を探索していき、次フレームの入力画像が取得されると、非物体領域における対応点の探索処理を打ち切る処理である。
【０１２８】
ここで、第３の探索処理は、上述したＳＡＤ又はＰＯＣ等を用いて対応点を探索すればよい。対応点探索部５０は、第３の探索処理を実行するにあたり、非物体領域の下からの１番目のラインの例えば左端の画素から右端の画素に向けて順次注目点を設定し、当該ラインの処理が全て終了すると、その１つ上のラインに対して同様に注目点を順次設定しいくというように、非物体領域の下側から上側に向けて順次注目点を設定すればよい。このとき、対応点探索部５０は、非物体領域の全画素を注目点として設定してもよいし、非物体領域を水平及び垂直方向に一定の間引き幅で間引いた画素を注目点として設定してもよい。更に、対応点探索部５０は、面積算出部３０に非物体領域の面積を算出させ、非物体領域の面積が大きいほど、間引き幅が大きくなるように注目点を設定してもよい。
【０１２９】
距離算出部６０は、実施の形態１と同様にして物体領域が示す前方車体の距離を算出することに加えて、非物体領域における注目点と対応点とから、上述したステレオ法による測距方法を用いて各注目点の距離を求める。ここで、距離算出部６０は、非物体領域に設定した注目点において、自車体に近接していることが想定される予め定められた距離よりも距離の短い注目点が存在する場合、表示部７０に障害物が接近していることを示す情報を表示させ、ユーザに危険を報知するようにしてもよい。
【０１３０】
次に、距離計測装置１ｃの動作について説明する。図１６は、距離計測装置１ｃの動作を示すフローチャートである。ステップＳ１２１は、図９に示すステップＳ１１と同一であるため説明を省略する。ステップＳ１２２において、抽出部２０は、基準画像から候補領域を抽出し、各候補領域の重要度を求め、重要度が所定の値より大きな候補領域を物体領域として抽出する。ここで、抽出部２０は、各候補領域の例えば重心を求め、重心が基準画像の下側に位置する候補領域ほど高い重要度を付与し、付与した重要度に各候補領域の面積を乗じた値を各候補領域の重要度として設定してもよい。なお、以下の説明では、説明の便宜上、１つの物体領域が抽出されたものとする。
【０１３１】
ステップＳ１２３〜Ｓ１２５の処理は、図９に示すステップＳ１３〜Ｓ１５の処理と同一であるため説明を省略する。
【０１３２】
ステップＳ１２６において、対応点探索部５０は、第３の探索処理を実行する。図１７は、第３の探索処理の詳細を示すフローチャートである。まず、ステップＳ１３１において、対応点探索部５０は、次フレームが取得されるまでに第３の探索処理を実行するための空き時間があるか否かを判定し、空き時間がある場合は（ステップＳ１３１でＹＥＳ）、基準画像から非物体領域を特定する（ステップＳ１３２）。一方、ステップＳ１３１において、空き時間がないと判定した場合（ステップＳ１３１でＮＯ）、第３の探索処理を終了して処理を図１６に示すステップＳ１２７に戻す。
【０１３３】
次に、対応点探索部５０は、非物体領域に１つの注目点を設定し（ステップＳ１３３）、設定した注目点に対する対応点を探索し（ステップＳ１３４）、処理をステップＳ１３１に戻す。ここで、対応点探索部５０は、非物体領域の各画素を注目点として設定する設定パターン１又は非物体領域を間引いた画素を注目点として設定する設定パターン２に従って、順次注目点を設定する。
【０１３４】
図１８は、設定パターン１を用いて非物体領域に設定される注目点を経時的に示した図であり、（ａ）〜（ｃ）に向かうにつれて時間が経過している。なお、図１８において三角印の点は物体領域Ｄ１に設定された注目点を示し、白丸は注目点として設定されていない非物体領域Ｄ２内の画素を示し、黒丸は注目点として設定済みの非物体領域の画素を示している。また、非物体領域Ｄ２は基準画像において物体領域Ｄ１を取り除いた領域からなる。
【０１３５】
図１８（ａ）に示すように非物体領域Ｄ２の下から１番目のラインの左端の画素から右端の画素に向けて順次注目点が設定されて対応点が順次探索され、右端の画素に対する探索処理が終了すると、図１８（ｂ）に示すように下から２番目のラインの左端の画素から右端の画素に向けて順次注目点が設定されて対応点が順次探索され、図１８（ｃ）に示すように下から７番目のラインの左端の画素が注目点として設定されて探索処理が終了すると、空き時間がなくなったため探索処理が打ち切られている。
【０１３６】
図１９は、設定パターン２を用いて非物体領域に設定される注目点を経時的に示した図であり、（ａ）〜（ｂ）に向かうにつれて時間が経過している。
【０１３７】
設定パターン２では、水平及び垂直方向に間引き幅が１画素飛ばしで設定されているため、図１９（ａ）に示すように下から１番目のラインにおいて、左端の画素から右端の画素に向けて１画素飛ばしの間引き幅で注目点が順次設定されていることが分かる。そして、下から１番目のラインに対する探索処理が終了すると、次に２つ上のラインにおいて１画素飛ばしで順次注目点が設定されるというようにして、順次注目点が設定される。
【０１３８】
また、設定パターン２では、上から１番目のラインにおける探索処理が終了した時点、すなわち、１サイクル目の探索処理が終了した時点で、空き時間が残っている場合、間引いたことにより注目点として設定されなかった画素が順次注目点として設定され、２サイクル目の探索処理が開始される。
【０１３９】
すなわち、図１９（ｂ）に示すように１サイクル目の探索処理が終了すると、再度、下側のラインから上側のラインに向けて注目点として設定されなかった画素が順次注目点として設定され、２サイクル目の探索処理が実行される。ここで、２サイクル目の探索処理においては、１サイクル目で注目点が設定されたラインと同じラインにおいて注目点として設定さなかった画素を１画素飛ばしで順次注目点として設定してもよいし、１サイクル目で注目点が設定されたラインと異なるラインにおいて１画素飛ばしで順次注目点を設定してもよい。なお、第３の探索処理において間引き幅は、１画素飛ばしに限定されず、２画素飛ばし以上としてもよい。
【０１４０】
図１６に戻り、ステップＳ１２７において、距離算出部６０は、物体領域に加えて非物体領域の各注目点における距離を求め、求めた距離が所定の値より短い場合は、障害物が接近していることを示す情報を表示部７０に表示させる（ステップＳ１２８）。ステップＳ１２９〜Ｓ１３０の処理は図９に示すステップＳ１８〜Ｓ１９と同一であるため、説明を省略する。
【０１４１】
このように、距離計測装置１ｃによれば、各フレームでの演算時間の空き時間を利用して非物体領域の距離を算出することが可能となり、例えば、ガードレールや路肩等の周辺環境を把握する上で有用な情報を得ることができ、対象物以外の障害物であって、危険を及ぼすような障害物の接近をユーザに報知することが可能となる。
【０１４２】
なお、上記実施の形態４では、非物体領域内に注目点を設定したが、これに代えて、候補領域以外の非候補領域内に注目点を設定してもよい。
【０１４３】
また、上記実施の形態１〜４では、物体領域の数を１個としたが、本発明はこれに限定されず、２個以上としてもよい。この場合、物体領域毎に実施の形態１では図９〜図１１の処理を、実施の形態２では図１４の処理を、実施の形態３では図１５の処理を、実施の形態４では、図１６〜図１７の処理を実行すればよい。そして、表示部７０は、物体領域Ｄ１毎の距離を表示すればよい。
【０１４４】
また、上記実施の形態１〜４では、対象物として前方車体を採用したが、これに限定されず、人を対象物としてもよいし、人以外の犬や猫等の動物を対象物としてもよい。この場合、抽出部２０は、例えば距離の測定対象となる対象物毎のテンプレートを予め用意しておき、テンプレートマッチングにより種々の対象物を抽出すればよい。
【０１４５】
また、上記実施の形態１〜４では、カメラ１１，１２の高さが同一にされていることを考慮して、探索範囲を注目点と垂直方向の高さが同一、かつ水平方向と平行な直線上に設定したがこれに限定されず、当該直線を中心として垂直方向に一定の幅を持たせた四角形状の領域を探索範囲として設定してもよい。
【０１４６】
また、上記実施の形態１〜４では、カメラの個数を２台としたがこれに限定されず３個以上としてもよい。この場合、いずれか１台のカメラにより撮影された画像を基準画像とし、他のカメラにより撮影された参照画像として、抽出部２０〜距離算出部６０に上述した処理を実行させ、前方車体までの距離を求めればよい。
【０１４７】
更に、上記実施の形態３に示す探索処理の種類として、上記第１及び第２の探索処理に限定されず、３種類以上の探索処理を採用してもよい。例えば、ＰＯＣによりピクセルレベルで対応点を探索する探索処理（ＰＯＣ−ピクセルレベル）、ＰＯＣによりサブピクセルレベルで対応点を探索する探索処理（ＰＯＣ−サブピクセル）、ＳＡＤによりピクセルレベルで対応点を探索する探索処理（ＳＡＤ−ピクセルレベル）といった３種類の探索処理を採用してもよい。この場合、ＳＡＤ−ピクセルレベル、ＰＯＣ−ピクセルレベル、ＰＯＣ−サブピクセルレベルの順で視差分解能が低くなるため、物体領域を面積に応じて大、中、小の３段階に分け、面積が大の物体領域には、ＳＡＤ−ピクセルレベルを採用し、面積が中の物体領域には、ＰＯＣ−ピクセルレベルを採用し、面積が小の物体領域にはＰＯＣ−サブピクセルレベルを採用すればよい。また、この場合、ＳＡＤ−サブピクセルレベルを加えてもよい。更に、サブピクセルレベルの分解能が各々異なるＳＡＤ−サブピクセルレベル、ＰＯＣ−サブピクセルレベルを探索処理として採用してもよい。こうすることで、物体領域の面積の大小による計測精度のばらつきをより抑制することができ、計測精度をより安定させることができる。
【図面の簡単な説明】
【０１４８】
【図１】本発明の実施の形態による距離計測装置のブロック図を示している。
【図２】図１に示す距離計測装置の詳細な構成を示すブロック図である。
【図３】図２に示す抽出部により物体領域が抽出された２枚の画像を示している。
【図４】ウインドウが設定された画像を示している。
【図５】ＰＯＣの処理の流れを示したフローチャートである。
【図６】ＰＯＣ値を示したグラフである。
【図７】ＳＡＤを説明する模式図である。
【図８】ステレオ法による測距方法を説明する模式図である。
【図９】実施の形態１による距離計測装置の動作を示すフローチャートである。
【図１０】探索処理を示すフローチャートである。
【図１１】類似度算出処理を示すフローチャートである。
【図１２】基準画像及び参照画像に設定される基準ウインドウと参照ウインドウとを示した図である。
【図１３】探索範囲を説明する図である。
【図１４】実施の形態２による距離計測装置の動作を示すフローチャートである。
【図１５】実施の形態３による距離計測装置の動作を示すフローチャートである。
【図１６】実施の形態４による距離計測装置の動作を示すフローチャートである。
【図１７】図１６に示す第３の探索処理の詳細を示すフローチャートである。
【図１８】設定パターン１を用いて非物体領域に設定される注目点を経時的に示した図である。
【図１９】設定パターン２を用いて非物体領域に設定される注目点を経時的に示した図である。
【符号の説明】
【０１４９】
１  １ａ  １ｂ  １ｃ  距離計測装置
１３  演算処理装置
１４  表示装置
２０  抽出部
３０  面積算出部
４０  処理変更部
５０  対応点探索部
６０  距離算出部
７０  表示部
１１０  基準カメラ
１２０  参照カメラ
ＣＰ  注目点
Ｄ１  物体領域
ＤＲ  探索範囲
Ｏ１  中心点
ＴＰ  対応点
Ｗ１  基準ウインドウ
Ｗ２  参照ウインドウ
【図１】
0004946898.tif 000004
【図２】
0004946898.tif 000005
【図３】
0004946898.tif 000006
【図４】
0004946898.tif 000007
【図５】
0004946898.tif 000008
【図７】
0004946898.tif 000009
【図８】
0004946898.tif 000010
【図９】
0004946898.tif 000011
【図１０】
0004946898.tif 000012
【図１１】
0004946898.tif 000013
【図１２】
0004946898.tif 000014
【図１３】
0004946898.tif 000015
【図１４】
0004946898.tif 000016
【図１５】
0004946898.tif 000017
【図１６】
0004946898.tif 000018
【図１７】
0004946898.tif 000019
【図１８】
0004946898.tif 000020
【図１９】
0004946898.tif 000021
【図６】
0004946898.tif 000022