(57)【要約】【課題】位置検出に伴う計算量を削減し、処理の高速化及び装置の低コスト化を図る。【解決手段】一対の画像からなるステレオ画像を所定の時間間隔で取得する画像取得部１１と、前記ステレオ画像のうちの一方を基準画像、他方を比較画像として、該基準画像内の検出対象領域にマッチングする前記比較画像内のマッチング領域を探索する探索部１２と、前記基準画像内の検出対象領域の位置及び探索部１２により探索された比較画像内のマッチング領域の位置から求まる視差に基づいて、当該ステレオ画像内に存在する物体の撮影地点からの距離を算出する距離算出部１３と、距離算出部１３により算出された距離に応じて、当該ステレオ画像の次に取得されるステレオ画像についての探索部１２による前記比較画像内の探索範囲を変更する探索範囲変更部１４とを備える位置検出装置である。【選択図】図２
2011013064.tif 000002
【特許請求の範囲】
【請求項１】
一対の画像からなるステレオ画像を所定の時間間隔で取得する画像取得手段と、
前記ステレオ画像のうちの一方を基準画像、他方を比較画像として、該基準画像内の検出対象領域にマッチングする前記比較画像内のマッチング領域を探索する探索手段と、
前記基準画像内の前記検出対象領域の位置及び前記探索手段により探索された前記比較画像内の前記マッチング領域の位置から求まる視差に基づいて、当該ステレオ画像内に存在する物体の撮影地点からの距離を算出する距離算出手段と、
前記距離算出手段により算出された前記距離に応じて、当該ステレオ画像の次に取得されるステレオ画像についての前記探索手段による前記比較画像内の探索範囲を変更する探索範囲変更手段と
を備えることを特徴とする位置検出装置。
【請求項２】
一対の画像からなるステレオ画像を所定の時間間隔で取得する画像取得手段と、
前記ステレオ画像のうちの一方を基準画像、他方を比較画像として、該基準画像内の検出対象領域にマッチングする前記比較画像内のマッチング領域を探索する探索手段と、
前記基準画像内の前記検出対象領域の位置及び前記探索手段により探索された前記比較画像内の前記マッチング領域の位置から求まる視差に基づいて、当該ステレオ画像内に存在する物体の撮影地点からの距離を算出する距離算出手段と、
当該ステレオ画像と当該ステレオ画像よりも前に取得されたステレオ画像とに基づいて、前記物体の位置を予測する予測手段と、
前記予測手段により予測された前記物体の位置に応じて、当該ステレオ画像の次に取得されるステレオ画像についての前記探索手段による前記比較画像内の探索範囲を変更する探索範囲変更手段と
を備えることを特徴とする位置検出装置。
【請求項３】
一対の画像からなるステレオ画像を所定の時間間隔で取得する画像取得手段と、
前記ステレオ画像のうちの一方を基準画像、他方を比較画像として、該基準画像内の検出対象領域にマッチングする前記比較画像内のマッチング領域を探索する探索手段と、
前記基準画像内の前記検出対象領域の位置及び前記探索手段により探索された前記比較画像内の前記マッチング領域の位置から求まる視差に基づいて、当該ステレオ画像内に存在する物体の撮影地点からの距離を算出する距離算出手段と、
前記ステレオ画像の撮影に係る視野内に測定光を照射して得られる反射光を受光して、該視野内に存在する物体までの距離を測定する光学測距手段と、
前記光学測距手段により測定された測定距離に応じて、前記探索手段による前記比較画像内の探索範囲を変更する探索範囲変更手段と
を備えることを特徴とする位置検出装置。
【請求項４】
前記光学測距手段は、前記測定光を照射して得られる複数の反射光を測定して、前記視野内に存在する前記物体までの距離の分布を測定し、
前記探索範囲変更手段は、前記光学測距手段により測定された前記距離の分布に応じて、前記探索手段による前記比較画像内の探索範囲を変更することを特徴とする請求項３に記載の位置検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一対のカメラを有するステレオカメラにより撮影されたステレオ画像に基づいて、物体の位置を検出する位置検出装置に関する。
【背景技術】
【０００２】
所定の基線長で配置された一対のカメラ（左カメラ、右カメラ）を有するステレオカメラで同時に撮影されたステレオ画像に基づいて、カメラ視野内に存在する物体の位置（距離）を三角測量の原理で検出する位置検出装置が知られている（例えば、下記特許文献１参照）。このようなステレオカメラによる位置検出装置は、レーダ等のアクティブ測距とは異なり、一度の撮影で広い範囲の距離情報及び形状等が得られるという利点から、最近では、車の安全装置、ロボット、セキュリティーカメラ等に使用されている。
【０００３】
ステレオ法による測距を行う場合、左右のカメラで撮影した位置検出対象の像の左右のカメラ画像（ステレオ画像）中の位置ずれ（視差）に基づいて、その距離が求められる。視差を求める際に、位置検出対象である像がステレオ画像の一方の画像（基準画像という）に対して、他方の画像（比較画像という）内のどこに存在するかを探索する必要があり、この探索には、ＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）法等の相関処理が一般に用いられている。
【０００４】
相関処理は、基準画像を複数のブロックに区切り、各ブロックをテンプレートとして、エピポーラ（Ｅｐｉｐｏｌａｒ）線上で設定した比較画像上の探索範囲内で該テンプレートと同サイズのウインドウを動かし、該テンプレートと最も相関のあるブロック（例えば、ＳＡＤ法では、各ピクセル毎の差分の絶対値の積算値が最も小さいブロック）を決定する処理である。この同じ画像（ブロック）を探す範囲が測定できる距離（最大視差）条件となり、範囲を広げれば測定可能距離は拡大するが、計算量が増大するため、瞬時に形状や距離を判断する必要がある用途では、高速なハードウェアが必要でコスト高となり、あるいは検出速度面で十分な性能を実現できない場合がある。
【０００５】
このような問題に対して、特許文献１では、低解像度画像により求めた距離情報に基づいて、高解像度画像における視差算出ための対応点探索のウインドウサイズを変化させることによって、計算量の削減、処理負担の軽減を図っている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−３０９６３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載の技術では、対象物の距離に応じて探索のウインドウサイズを変化させており、ウインドウサイズを大きくすれば、その限りで、計算量を削減することができるが、未だ十分とはいえず、さらなる計算量の削減が求められる。また、特許文献１では、距離情報を低解像度画像から求めており、これを処理するための計算を、高解像度画像に基づく距離の計算に加えて毎回実施する必要があり、その分だけ計算量が増大している。
【０００８】
本発明はこのような点に鑑みてなされたものであり、位置検出に伴う計算量を削減でき、処理の高速化及び装置の低コスト化を実現できる位置検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の第１の観点に係る位置検出装置は、一対の画像からなるステレオ画像を所定の時間間隔で取得する画像取得手段と、前記ステレオ画像のうちの一方を基準画像、他方を比較画像として、該基準画像内の検出対象領域にマッチングする前記比較画像内のマッチング領域を探索する探索手段と、前記基準画像内の前記検出対象領域の位置及び前記探索手段により探索された前記比較画像内の前記マッチング領域の位置から求まる視差に基づいて、当該ステレオ画像内に存在する物体の撮影地点からの距離を算出する距離算出手段と、前記距離算出手段により算出された前記距離に応じて、当該ステレオ画像の次に取得されるステレオ画像についての前記探索手段による前記比較画像内の探索範囲を変更する探索範囲変更手段とを備えて構成される。
【００１０】
本発明の第２の観点に係る位置検出装置は、一対の画像からなるステレオ画像を所定の時間間隔で取得する画像取得手段と、前記ステレオ画像のうちの一方を基準画像、他方を比較画像として、該基準画像内の検出対象領域にマッチングする前記比較画像内のマッチング領域を探索する探索手段と、前記基準画像内の前記検出対象領域の位置及び前記探索手段により探索された前記比較画像内の前記マッチング領域の位置から求まる視差に基づいて、当該ステレオ画像内に存在する物体の撮影地点からの距離を算出する距離算出手段と、当該ステレオ画像と当該ステレオ画像よりも前に取得されたステレオ画像とに基づいて、前記物体の位置を予測する予測手段と、前記予測手段により予測された前記物体の位置に応じて、当該ステレオ画像の次に取得されるステレオ画像についての前記探索手段による前記比較画像内の探索範囲を変更する探索範囲変更手段とを備えて構成される。
【００１１】
本発明の第３の観点に係る位置検出装置は、一対の画像からなるステレオ画像を所定の時間間隔で取得する画像取得手段と、前記ステレオ画像のうちの一方を基準画像、他方を比較画像として、該基準画像内の検出対象領域にマッチングする前記比較画像内のマッチング領域を探索する探索手段と、前記基準画像内の前記検出対象領域の位置及び前記探索手段により探索された前記比較画像内の前記マッチング領域の位置から求まる視差に基づいて、当該ステレオ画像内に存在する物体の撮影地点からの距離を算出する距離算出手段と、前記ステレオ画像の撮影に係る視野内に測定光を照射して得られる反射光を受光して、該視野内に存在する物体までの距離を測定する光学測距手段と、前記光学測距手段により測定された測定距離に応じて、前記探索手段による前記比較画像内の探索範囲を変更する探索範囲変更手段とを備えて構成される。
【発明の効果】
【００１２】
本発明によれば、検出対象に係る対象物の距離に応じて探索範囲を変更するようにしたので、位置検出に伴う計算量を削減でき、処理の高速化及び装置の低コスト化を図ることができるという効果がある。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１実施形態のステレオカメラシステムの全体構成を示すブロック図である。
【図２】本発明の第１実施形態の位置検出装置の機能構成を示すブロック図である。
【図３】本発明の第１実施形態の位置検出装置の探索部による処理を説明するための図である。
【図４】本発明の第１実施形態の基準画像における検出対象領域の位置の一例を示す図である。
【図５】本発明の第１実施形態の比較画像における近距離の場合の探索範囲の一例を示す図である。
【図６】本発明の第１実施形態の比較画像における中距離の場合の探索範囲の一例を示す図である。
【図７】本発明の第１実施形態の比較画像における遠距離の場合の探索範囲の一例を示す図である。
【図８】本発明の第２実施形態の位置検出装置の構成を示すブロック図である。
【図９】本発明の第２実施形態の位置検出装置による処理を示すフローチャートである。
【図１０】本発明の第２実施形態の第Ｎフレームの基準画像の一例を示す図である。
【図１１】本発明の第２実施形態の第Ｎフレームの比較画像の一例を示す図である。
【図１２】本発明の第２実施形態の予測処理を説明するための図である。
【図１３】本発明の第２実施形態の第Ｎ＋１フレームの基準画像の一例を示す図である。
【図１４】本発明の第２実施形態の第Ｎ＋１フレームの比較画像の一例を示す図である。
【図１５】本発明の第３実施形態のステレオカメラシステムの全体構成を示すブロック図である。
【図１６】本発明の第３実施形態の位置検出装置の構成を示すブロック図である。
【図１７】本発明の第３実施形態の光学測距装置からの測定光の照射の状態で示す図である。
【図１８】本発明の第３実施形態の光学測距装置で検出される反射光の強度と遅延時間との関係を示す図である。
【図１９】本発明の第３実施形態の第Ｎフレームの基準画像の一例を示す図である。
【図２０】本発明の第３実施形態の第Ｎフレームの比較画像の一例を示す図である。
【図２１】本発明の第４実施形態の光学測距装置からの測定光の照射の状態で示す図である。
【図２２】本発明の第４実施形態の光学測距装置で検出される反射光の強度と遅延時間との関係を示す図である。
【図２３】本発明の第４実施形態の第Ｎフレームの基準画像の一例を示す図である。
【図２４】本発明の第４実施形態の第Ｎフレームの比較画像の一例を示す図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態について、図面を参照して詳細に説明する。なお、以下の説明では、後述するステレオカメラ（カメラ２Ｌ，２Ｒ）の光軸に沿う方向をＺ方向（Ｚ軸）とし、ステレオカメラの基線長の方向をＸ方向（Ｘ軸）とし、これらに直交する方向をＹ方向（Ｙ軸）とした正規直交座標系を適宜に参照しつつ説明する。本実施形態では、Ｘ方向が水平方向に、Ｙ方向が鉛直上方向に設定されている。
【００１５】
（第１実施形態）
図１に本発明の第１実施形態のステレオカメラシステムの全体構成が示されている。このステレオカメラシステム１は、一対のカメラ（左カメラ２Ｌ、右カメラ２Ｒ）を有するステレオカメラ本体とこのステレオカメラ本体で撮像されたステレオ画像（所定の基線長をもって同時撮影された一対の画像）に基づいて、ステレオカメラ本体の撮影視野内に存在する物体（物体の部分を含む）の撮影地点（ステレオカメラ本体）からの距離を含む該物体の位置を検出する位置検出装置３とを備えている。物体上の複数箇所で距離を含む位置を検出することにより、該物体の形状を求めることもできる。
【００１６】
ステレオカメラ本体が備える左カメラ２Ｌ及び右カメラ２Ｒは、所定の基線長をもって左右に配置されており、これらのカメラ２Ｌ，２Ｒは、ＣＣＤやＣＭＯＳ等からなるイメージセンサ（撮像素子）４Ｌ，４Ｒ及び撮影視野内の被写体の像をイメージセンサ４Ｌ，４Ｒの撮像面上に結像させる撮影レンズ（撮影光学系）５Ｌ，５Ｒをそれぞれ有している。
【００１７】
左カメラ２Ｌ及び右カメラ２Ｒで撮影されたステレオ画像は、所定のフレーム間隔（フレームレート）で順次に出力され、画像バッファ６Ｌ，６Ｒを介して、位置検出装置３に順次に出力される。位置検出装置３は、画像内に存在する物体までの距離を含む位置を検出し、検出された情報は、距離画像メモリ７を介して、アプリケーション８に出力され、該アプリケーション８の機能に応じて処理される。
【００１８】
位置検出装置３の機能構成が図２に示されている。位置検出装置３は、画像取得部（画像取得手段）１１、探索部（探索手段）１２、距離算出部（距離算出手段）１３、探索範囲変更部（探索範囲変更手段）１４、及び距離データテーブル１５を備えて構成されている。
【００１９】
画像取得部１１は、左カメラ２Ｌ及び右カメラ２Ｒで撮影されたステレオ画像を画像バッファ６Ｌ，６Ｒを介して順次に取得する。なお、詳細な説明は省略するが、画像バッファ６Ｌ，６Ｒ内に順次に一時記憶された画像（フレームデータ）は、不図示の歪み補正手段によって、左右のカメラ２Ｌ，２Ｒの光学的な歪みや軸ずれ（軸のねじれ）等を補正するための補正用データテーブルに従って、画像に生じている歪み等が補正され、その補正後の画像が画像取得部１１に送られる。
【００２０】
探索部１２は、画像取得部１１で取得されたステレオ画像の一方を基準画像（この実施形態では左カメラ２Ｌで撮影された左画像とする）とし、他方を比較画像（この実施形態では右カメラ２Ｒで撮影された右画像とする）として、該基準画像内で任意に定めたマッチングの元となる領域である検出対象領域とマッチングする該比較画像内のマッチング領域を探索する。この探索処理は、該基準画像を複数のブロックに分割し、複数のブロックのうちの一つを検出対象領域とし、これをテンプレートとして、該テンプレートと相関の高い（マッチングする）比較画像内のブロックをマッチング領域とするマッチング処理である。この処理は、基準画像内の分割された複数のブロックの全部又は特定の一部に設定される検出エリア（検出領域）についてそれぞれ行われる。
【００２１】
例えば、このステレオカメラシステム１が定点カメラとして用いられる場合には、背景等は通常は変化しないため、画像全体について探索処理を行う必要はなく、所定のフレーム間隔で前後して取得される画像間で差分演算等を行い、新規に存在することとなった物体の像に係る部分（すなわち、背景を除いた部分）を基準画像内の検出エリアとして設定して、マッチング処理を行えばよい。
【００２２】
マッチング処理としては、公知の各種のものを用いることができるが、本実施形態では、ＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）法を用いるものとする。ＳＡＤ法は、基準画像内で設定されたテンプレートとこれと相関をとるべき比較画像内のブロックとの互いに対応する各ピクセル（画素）の輝度値の差の絶対値の積算値を算出して評価値とし、該評価値が最も小さいものに係る比較画像内のブロックをマッチング領域とするものである。
【００２３】
探索部１２は、処理するステレオ画像が最初のフレーム（第１フレーム）である場合には、比較画像においてエピポーラ線上の全範囲を探索範囲としてマッチング処理を実行し、次のフレーム（第２フレーム）以降は、直近に処理されたフレームについて求められた距離（Ｚ方向の位置）に応じて、該エピポーラ線上の全範囲よりも狭い範囲で変更設定される探索範囲に従って、マッチング処理を実行する。
【００２４】
距離算出部１３は、基準画像内の検出対象領域の位置及び探索部１２により特定された比較画像内のマッチング領域の位置から求まる視差（位置ずれ）に基づいて、当該ステレオ画像の撮影地点からの距離を算出する。すなわち、左右のカメラ２Ｌ，２Ｒが互いに平行等位に配置されているものとして、位置検出の対象となる物体（対象物）までの距離ｚは、基線長をＬ、焦点距離をｆ、視差をＤとして、ｚ＝Ｌ×ｆ／Ｄで算出することができる。各検出対象領域についてそれぞれ算出された距離（ｚ１、ｚ２，ｚ３，…）、すなわちＺ方向の位置は、該距離の算出に係る位置（検出エリアのブロックのＸ方向の位置、Ｙ方向の位置）が特定できる状態で距離画像メモリ７に格納される。
【００２５】
探索範囲変更部１４は、距離算出部１３により算出された各検出対象領域についての距離に応じて、画像取得部１１により当該ステレオ画像（当該距離の算出に係る第Ｎフレームのステレオ画像（Ｎ＝１，２，３，…））の次に取得されるステレオ画像（第Ｎ＋１フレーム）についての探索部１２による探索処理における比較画像の探索範囲を変更設定する。すなわち、視差（画像のずれ）は、対象物が遠くに存在する場合には必然的に小さいものとなり、近くに存在する場合には必然的に大きいものとなる。従って、対象物までの距離に応じて探索範囲を変更、すなわち距離が大きい場合には探索範囲を小さく設定し、距離が近づくに従って探索範囲が大きくなるように変更する。
【００２６】
これにより、探索範囲を必要最小限とすることができ、探索の精度を低下させることなく、探索処理に要する計算量を大幅に削減することができる。ここで、「探索範囲を変更する」とは、探索の開始位置に対する終了位置の相対位置を変更すること（すなわち、探索範囲の大きさを変更すること）及び探索の開始位置を変更すること（すなわち、探索範囲をシフトすること）の両方を含む意味である。
【００２７】
距離に応じた探索範囲の変更は、例えば、図３に示すように、このステレオカメラシステム１に要請される測距範囲に従って視差の取り得る範囲が決まるので、この視差の取り得る範囲を複数に分割し、各分割範囲にそれぞれ対応して予め探索範囲を決めて、これを距離データテーブル１５に記憶させておき、対象物の距離に応じて、対応する探索範囲を抽出し、抽出した探索範囲を探索部１２で用いる探索範囲として設定することにより行う。
【００２８】
具体的には、カメラの焦点距離をｆ＝１０ｍｍ、基線長をＬ＝３５ｍｍ、測距範囲を１ｍ〜１０ｍとすると、視差Ｄの取り得る範囲は、Ｄ＝（３５ｍｍ×１０ｍｍ）／（１ｍ〜１０ｍ）＝３５０μｍ〜０．０３５μｍとなり、イメージセンサ４Ｌ，４Ｒの画素ピッチを６μｍとすれば、５８ピクセル〜０ピクセルとなるので、この視差の取り得る範囲を、例えば、近い側から遠い側に向かって３つ（範囲Ａ〜範囲Ｃ）に分割して、範囲Ａに対応する近距離用として探索範囲Ａを、範囲Ｂに対応する中距離用として探索範囲Ｂを、範囲Ｃに対応する遠距離用として探索範囲Ｃを予め設定しておく。但し、この分割数は３つに限定されない。
【００２９】
例えば、図４に示す左画像（基準画像）内の検出対象領域であるブロックＢＫに係る対象物が、近距離（範囲Ａ）に位置する場合には図５に示す右画像（比較画像）内の探索範囲Ａを探索範囲とし、中距離(範囲Ｂ)に位置する場合には図６に示す右画像（比較画像）内の探索範囲Ｂを探索範囲とし、遠距離に位置する場合には図７に示す右画像（比較画像）内の探索範囲Ｃを探索範囲として予め距離データテーブル１５に記憶させておく。
【００３０】
探索部１２は、探索範囲変更部１４により変更設定された探索範囲に従ってマッチング処理（探索処理）を実行するが、このマッチング処理時に用いられる探索範囲は、現在処理を行おうとしているステレオ画像の直近に処理されたステレオ画像に基づく距離に応じて設定されるため、対象物が動いている場合には、フレーム間隔に相当する時間における対象物の移動量（変位）だけ誤差を含むものとなる。しかし、一般に、フレーム間隔は非常に短時間であり、対象物はそれほど高速で変位することは少ないと考えられるため、このような処理で問題を生じることは殆どないと考えられる。但し、フレーム間隔が長い場合や高速移動が考えられる用途の場合には、探索範囲変更部１４により探索範囲を決定する際に、対象物の変位をも考慮して、探索範囲を広めに設定することにより対応してもよい。
【００３１】
上述した第１実施形態では、画像取得部１１により取得された最初のフレーム（第１フレーム）に係るステレオ画像については、探索部１２により比較画像においてエピポーラ線上の全範囲を探索範囲として探索処理を行うが、第２フレーム以降のフレームについては、直近のフレーム（第Ｎフレーム）に基づき算出された距離に応じて適宜に制限された探索範囲で、次のフレーム（第Ｎ＋１フレーム）についての探索処理を行うため、探索部１２によるマッチング処理に伴う計算量を大幅に削減することができる。従って、処理負担が軽減され、高速処理が可能になる。
【００３２】
（第２実施形態）
次に、本発明の第２実施形態について説明する。上述した第１実施形態と実質的に同一の構成部分については、同一の符号を付し、その説明は省略する。この第２実施形態のステレオカメラシステムの全体構成は、図１に示した第１実施形態とほぼ同様であり、第２実施形態の位置検出装置の構成の一部が、上述した第１実施形態の位置検出装置３の構成と異なっている。
【００３３】
すなわち、図８に示すように、この第２実施形態の位置検出装置３Ａは、画像取得部（画像取得手段）１１、探索部（探索手段）１２、距離算出部（距離算出手段）１３Ａ、探索範囲変更部（探索範囲変更手段）１４Ａ、距離データテーブル１５に加えて、予測部（予測手段）１６を備えて構成されている。画像取得部１１、探索部１２、及び距離データテーブル１５は、図２に示した第１実施形態と同様である。
【００３４】
予測部１６は、距離算出部１３Ａによる距離の算出に係る当該ステレオ画像と当該ステレオ画像よりも前に取得されたステレオ画像とに基づいて、ステレオカメラの視野内に存在する物体の位置の変化（移動速度及び／又は移動方向）を予測する。
【００３５】
例えば、画像取得部１１Ａにより順次に取得されるステレオ画像が、第Ｎフレーム、第Ｎ＋１フレーム、第Ｎ＋２フレームの順に取得されるものとし、既に、第Ｎフレーム及び第Ｎ＋１フレームについての距離算出部１３Ａによる距離算出が行われたものとすると、第Ｎフレームについての距離算出結果と、第Ｎ＋１フレームについての距離算出結果と、フレーム間隔とから、対象物のステレオカメラの光軸方向の移動速度を求めることができ、第Ｎ＋２フレームの撮影時における、該対象物の該光軸方向の位置（すなわち、撮影地点からの距離）を予測することができる。予測部１６は、このようにして、直近に処理したステレオ画像（第Ｎ＋１フレーム）の次のステレオ画像（第Ｎ＋２フレーム）の撮影時における該対象物の距離（Ｚ方向の位置）を予測する。
【００３６】
なお、ここでは、予測部１６は、ステレオカメラの距離を予測するものとして説明したが、第Ｎフレームのステレオ画像と第Ｎ＋１フレームのステレオ画像とから、対象物のステレオカメラの光軸に直交する面（Ｘ−Ｙ平面）内における移動速度及び移動方向も求めることができるので、第Ｎ＋２フレームのステレオ画像の撮影時の対象物の該面内における移動位置をも予測するようにしてもよい。
【００３７】
探索範囲変更部１４Ａは、予測部１６により予測された対象物の距離に応じて、当該ステレオ画像の次に取得されるステレオ画像についての探索部１２Ａによる比較画像の探索範囲を変更する。探索範囲の変更は、距離データテーブル１５を参照して、上述した第１実施形態と同様に行うことができる。
【００３８】
次に、この第２実施形態の位置検出装置３Ａによる処理の詳細を、図９に示すフローチャートを参照して説明する。
【００３９】
処理が開始されると、ステップＳ１において、距離グループの移動先が予測され、ステップＳ２において、距離・速度から探索範囲が決定されるが、ここでは、最初のフレーム（第１フレーム）について処理するものとし、この場合には、このステップＳ１，Ｓ２はスキップされる。
【００４０】
次いで、ステップＳ３において、予想したエリアでマッチング処理が行われる。この処理が、第１フレームについて行われる場合には、全エリア（基準画像を検出対象領域としてのブロックに分割した全てのブロック）に対して、マッチング処理（探索処理）が行われるものとする。次いで、ステップＳ４において、マッチング可能か否かが判断されるが、第１フレームについて処理する場合には、このステップＳ４はスキップされる。
【００４１】
次いで、ステップＳ５において、基準画像内の各ブロックとこれらにそれぞれ対応する比較画像内の各マッチング領域とから各ブロックについての距離がそれぞれ算出され、距離画像が生成される。ここで、距離画像とは、距離を算出した各ブロックの位置と当該距離とをパラメータとする画像である。
【００４２】
次いで、ステップＳ６において、ラベリング処理・距離グループ化が行われる。このステップＳ６の処理は、距離画像内のブロック毎にラベリング処理し、同一の物体であると認識できる程度に距離が互いに同一又は近い部分（ブロックの集合）を抽出し、その距離に応じてグループ化する処理である。
【００４３】
例えば、図１０（基準画像）及び図１１（比較画像）に示すように、画像内に、比較的に近く存在する車両（手前の車）Ｖ１と比較的に遠く存在する車両（奥の車）Ｖ２とがある場合に、車両Ｖ１に対応する複数のブロックを同一のグループに分類して、例えば距離グループＧ１とし、車両Ｖ２に係る複数のブロックを同一のグループに分類して、例えば距離グループＧ２とする。
【００４４】
次いで、ステップＳ７において、距離グループの面積が比較され、ステップＳ８において、移動量からグループの速度が推定されるが、第１フレームではこのステップＳ７及びＳ８はスキップされる。
【００４５】
次いで、ステップＳ１に戻り、次のフレーム（第２フレーム）について、上述した第１フレームについての処理と同様にして、ステップＳ１〜Ｓ７までの処理が行われる。次いで、ステップＳ８において、第１フレームに係る距離画像と、第２フレームに係る距離画像とに基づいて、当該距離グループＧ１，Ｇ２の移動速度及び移動方向が推定される。
【００４６】
距離グループＧ１の移動速度は、第１フレームに係る距離グループＧ１の位置と、第２フレームに係る距離グループＧ１の位置と、フレーム間隔とから算出することができる。また、距離グループＧ２の移動速度は、第１フレームに係る距離グループＧ２の位置と、第２フレームに係る距離グループＧ２の位置と、フレーム間隔とから算出することができる。なお、ここでは、簡単のため、図１０に示すように、距離グループＧ１に係る車両Ｖ１はＺ方向に沿って近接してくる方向に移動しており、距離グループＧ２に係る車両Ｖ２は左方向に移動しているものとして説明する。
【００４７】
次いで、ステップＳ１に戻り、次のフレーム（第３フレーム）について、距離グループの移動先が予測される。この処理は、直近のステップＳ８で推定された移動速度及び移動方向に基づいて、該第３フレームの撮影時における距離グループＧ１，Ｇ２に係る車両Ｖ１，Ｖ２の位置を予測する処理である。
【００４８】
距離グループＧ１に係る車両Ｖ１は近接する方向に移動しているので、ステップＳ８で推定された移動速度及び移動方向（Ｚ方向）に基づいて、図１２の距離画像中の実線で示す領域（３×６のブロック）Ｓ１から、点線で示す領域（４×８のブロック）Ｓ２へ拡大することが予測される。また、距離グループＧ２に係る車両Ｖ２は左に移動しているので、ステップＳ８で推定された移動速度及び移動方向（Ｘ方向）に基づいて、図１２中の実線で示す領域（１×２のブロック）Ｓ３から、点線で示す領域（１×２のブロック）Ｓ４へシフト（ここでは、１ブロック分左へ移動）することが予測される。
【００４９】
次いで、ステップＳ２において、基準画像の直近のステップＳ１で予測された領域（図１２において、符号Ｓ２，Ｓ４で示す領域）内で設定される各検出対象領域（テンプレートとしてのブロック）に対する比較画像におけるマッチング領域をそれぞれ探索する際に用いる探索範囲を決定する。
【００５０】
この探索範囲の決定は、直近のステップＳ１で予測された第３フレームの撮影時点における距離グループＧ１，Ｇ２のＺ方向の位置（距離）に応じて、上述した第１実施形態と同様に、距離データテーブル１５から対応する探索範囲（探索範囲Ａ〜Ｃ）を抽出することにより行う。ここでは、距離グループＧ１はＺ方向に接近してきているため、その探索範囲は探索範囲Ｂ（図１１参照）から探索範囲Ａ（図１４参照）に変更される。
【００５１】
距離グループＧ２は左に移動しているのみで、Ｚ方向の位置は変化していないため、その探索範囲は探索範囲Ｃのままである（図１１及び図１４参照）。また、第３フレームの撮影時点において、距離グループＧ１，Ｇ２のＸ−Ｙ平面内での位置が変化している場合には、その変化量に応じて探索範囲をシフト（平行移動）させる。ここでは、距離グループＧ２は左に移動しているので、探索範囲は探索範囲Ｃのままで、例えば、左に１ブロック分だけシフトされる。
【００５２】
次いで、ステップＳ３に進んで、予想したエリアでマッチング処理を行う。この処理は、ステップＳ２で決定された距離グループＧ１，Ｇ２に係る領域内の各ブロックを検出対象領域（テンプレート）として設定しつつ、各検出対象領域について、ステップＳ２で決定された探索領域に従って比較画像内でマッチング領域を探索する処理である。
【００５３】
一例を示すと、距離グループＧ１については、図１３に示す基準画像中の距離グループＧ１に係る領域内の検出対象領域（例えば、ＢＫ１とする）をテンプレートとし、この検出対象領域ＢＫ１に対応する図１４に示す比較画像中の領域ＢＫ１’から探索範囲Ａでマッチング処理が行われる。また、距離グループＧ２については、図１３に示す基準画像中の距離グループＧ２に係る領域内の検出対象領域（例えば、ＢＫ２とする）をテンプレートとして、この検出対象領域ＢＫ２に対応する図１４に示す比較画像中の領域ＢＫ２’から探索範囲Ｃでマッチング処理が行われる。
【００５４】
次いで、ステップＳ４において、マッチングの可否が判断される。この処理では、ステップＳ３で距離グループＧ１，Ｇ２内の各ブロックについて、全てのマッチング領域の探索に成功した場合には「可」と判断され、一つでもマッチング領域の探索に失敗した場合には「不可」と判断される。ステップＳ４で「不可」と判断された場合には、ステップＳ９に進んで、当該「不可」の判断に係る基準画像内の検出対象領域についての比較画像内での探索領域を修正（広く又はシフト）して、ステップＳ３で当該修正した探索領域でマッチング処理を再度行う。
【００５５】
ステップＳ４において、「可」と判断された場合には、上述した第１フレーム又は第２フレームについての処理と同様にステップＳ５及びＳ６を実行する。次いで、ステップＳ７で距離グループの面積比較が行われる。この処理は、ステップＳ１で予測された第３フレームの撮影時点における基準画像内での距離グループＧ１，Ｇ２に係る領域（図１２において、符号Ｓ２，Ｓ４で示した領域）の面積と、直近のステップＳ６でラベリング処理・距離グループ化を行って求められる距離グループＧ１，Ｇ２に係る領域の面積との一致性（一致又は不一致）を判断する処理である。ここで、「一致」とは、完全一致のみならず、一致しているとみなせる程度のものを含み、「不一致」とはそれ以外の場合をいう。
【００５６】
ステップＳ７において、「不一致」と判断された場合にはステップＳ９に進んで、ステップＳ１で予測された第３フレームの撮影時点における基準画像内での距離グループＧ１，Ｇ２に係る領域（図１２において、符号Ｓ２，Ｓ４で示した領域）の範囲を修正し、ステップＳ３〜Ｓ７を再度実行する。ステップＳ７において、「一致」と判断された場合にはステップＳ８に進んで、上述した第１又は第２フレームについて行った処理と同様の処理を行い、ステップＳ１に戻る。以後、第４フレーム以降は、第３フレームと同様な処理が繰り返される
【００５７】
この第２実施形態によると、処理中のステレオ画像の前に処理された２つのフレームのステレオ画像に基づいて、対象物の移動速度及び移動方向を求め、当該処理中のステレオ画像内の当該対象物の位置を予測して、その予測結果に基づいて、探索範囲を変更するようにしたので、対象物が移動している場合であっても、適切な探索範囲を設定することができ、計算量を削減することができる。従って、処理負担が軽減され、高速処理が可能になる。
【００５８】
また、その予測結果に基づいて、基準画像内に設定する検出エリア（テンプレートとしての検出対象領域を設定するブロック）を距離グループＧ１，Ｇ２に係る部分に設定するようにしたので、基準画像の全体について行う場合と比較して、その計算量を削減することができ、これによっても、処理負担が軽減され、高速処理が可能になる。
【００５９】
（第３実施形態）
次に、本発明の第３実施形態について説明する。上述した第１実施形態又は第２実施形態と実質的に同一の構成部分については、同一の符号を付し、その説明は省略する。この第３実施形態のステレオカメラシステムの全体構成が図１５に示されている。
【００６０】
この第３実施形態のステレオカメラシステム１Ｂは、ステレオ画像の撮影に係る視野内に測定光ＭＯを照射して得られる反射光ＲＯを受光して、該視野内に存在する物体までの距離を測定する光学式のアクティブ測距装置としての光学測距装置（光学測距手段）２１を備えている。
【００６１】
この実施形態の光学測距装置２１は、レーザ測距装置であり、発光部（レーザ）２２、発光制御部２３、受光部（ディテクタ）２４、受光制御部２５、及び光学系（レンズ等）２６を備えて構成されている。この実施形態では、光学測距装置２１は、ステレオカメラ本体に設けられているものとする。但し、ステレオカメラ本体とは別に、該ステレオカメラ本体に近接して設けられていてもよい。
【００６２】
発光制御部２３による制御の下で、半導体レーザ等からなる発光部２２から光学系２６を介してレーザ光が測定光ＭＯとして出射される。この測定光ＭＯは、ステレオカメラ（カメラ２Ｌ，２Ｒ）の光軸に沿って、該ステレオカメラの視野のほぼ中央部に射出され、該視野内に存在する物体（測定物）で反射された反射光ＲＯは、光学系２６を介してフォトディテクタ等からなる受光部２４で受光され、受光制御部２５により測距情報に変換されて、該測距情報が位置検出装置３Ｂに出力される。
【００６３】
ここでは、光学測距装置２１から出射される測定光ＭＯは光学系２６によって、スポット光とされている。なお、光学測距装置２１の分解能は、視差の探索範囲を大まかに決定できる程度であればよいので、比較的に低いものでよい。但し、分解能が高ければ、探索範囲をより細かく限定できるため、計算量の削減、処理の高速化の観点からは分解能が高い方が有利である。
【００６４】
この第３実施形態の位置検出装置３Ｂの機能構成が図１６に示されている。位置検出装置３Ｂは、図２に示した第１実施形態の位置検出装置３とその構成の一部が異なっている。位置検出装置３Ｂは、画像取得部（画像取得手段）１１、探索部（探索手段）１２、距離算出部（距離算出手段）１３Ｂ、探索範囲変更部（探索範囲変更手段）１４Ｂ、距離データテーブル１５に加えて、測距情報取得部（測距情報取得手段）１７を備えて構成されている。画像取得部（画像取得手段）１１、探索部（探索手段）１２、及び距離データテーブル１５は、上述した第１実施形態と同様である。
【００６５】
光学測距装置２１から出力される測距情報は、測距情報取得部１７により取得され、探索範囲変更部１４Ｂに送られる。探索範囲変更部１４Ｂは、光学測距装置２１で測定され、測距情報取得部１７を介して取得された測距情報（測定距離）に応じて、探索部１２による比較画像の探索範囲を変更する。探索範囲の変更は、距離データテーブル１５を参照して、上述した第１実施形態と同様に行うことができる。
【００６６】
例えば、図１７に示されているように、ステレオカメラの視野内の比較的に近い位置に車両（手前の車）Ｖ１が、比較的に遠い位置に車両（奥の車）Ｖ２が存在する場合、光学測距装置２１から出射された測定光ＭＯは、同図中符号ＬＡ１で示される照射エリア（アクティブ測距レーザ照射エリア）に照射される。
【００６７】
ここでは、測定光ＭＯはスポット光であるため、同図に示されているように、照射エリアＬＡ１の面積は比較的に小さいものとなる。この場合において、視野内の物体で反射されて帰還する反射光ＲＯを受光部２４で受光して得られる信号を、縦軸に反射光強度、横軸に反射遅延時間をとって図示すると、図１８のようになる。視野内には車両Ｖ１と車両Ｖ２が存在しているが、車両Ｖ１が手前に存在するため、測定光ＭＯは手前に存在する車両Ｖ１でその殆どが反射されて帰還する。
【００６８】
これにより、光学測距装置２１から出力される距離情報として、車両Ｖ１の位置（距離）が探索範囲変更部１４Ｂに送られる。探索範囲変更部１４Ｂは、車両Ｖ１の位置（距離）に応じた探索範囲（例えば、図３の範囲Ａ（近い）に対応する探索範囲Ａ）を距離データテーブル１５から抽出し、探索部１２によって、比較画像内の探索範囲Ａが探索されることになる。
【００６９】
例えば、ステレオカメラ（左カメラ２Ｌ，右カメラ２Ｒ）で撮影された画像が、図１９（基準画像）及び図２０（比較画像）に示されているようなものである場合には、基準画像（図１９）内の車両Ｖ１についての検出対象領域（ＢＫ１とする）をテンプレートとして、比較画像（図２０）内において、探索範囲Ａ（ここでは、比較画像内の検出対象領域ＢＫ１に対応するブロックＢＫ１’から４ブロックに相当する範囲）を探索範囲としてマッチング領域の探索が行われる。
【００７０】
基準画像（図１９）内の車両Ｖ２については、その検出対象領域（ＢＫ２とする）をテンプレートとして、比較画像（図２０）内において、車両Ｖ１と同じ探索範囲Ａ（ここでは、比較画像内の検出対象領域ＢＫ２に対応するブロックＢＫ２’から４ブロックに相当する範囲）を探索範囲としてマッチング領域の探索が行われる。
【００７１】
図２０において、従来の探索範囲が例えば図中符号ａ１で示す範囲であった場合、図中符号ａ２で示す範囲が探索除外範囲となり、この探索除外範囲についてはマッチング処理が行われないため、その分だけ従来よりも計算量を削減することができる。従って、処理負担が軽減され、高速処理が可能になる。
【００７２】
（第４実施形態）
次に、本発明の第４実施形態について説明する。上述した第３実施形態と実質的に同一の構成部分については、同一の符号を付し、その説明は省略する。この第４実施形態のステレオカメラシステムは、上述した第３実施形態のステレオカメラシステム１Ｂの一部を変更したものであり、全体の構成及び位置検出装置の構成は、図１５及び図１６に示したものとほぼ同じである。
【００７３】
すなわち、図１５に示した第３実施形態の光学測距装置２１では測定光ＭＯとしてスポット光を出射するようにしていたが、この第４実施形態では、測定光にやや発散性をもたせ、撮影視野内のより広範囲に照射するようにしている。これにより、測定光ＭＯの照射エリア（アクティブ測距レーザ照射エリア）は、例えば、図２１に符号ＬＡ２で示すように、広い範囲に照射される。
【００７４】
この場合において、視野内の物体で反射されて帰還する反射光ＲＯを受光部２４で受光して得られる信号を、縦軸に反射光強度、横軸に反射遅延時間をとって図示すると、図２２のようになる。視野内には車両Ｖ１と車両Ｖ２が存在しているが、測定光ＭＯは、手前に存在する車両Ｖ１のみならず、奥に存在する車両Ｖ２でも反射されて、時間差をもった複数の反射光ＲＯが帰還することがわかる。
【００７５】
これにより、手前に存在する車両Ｖ１及び奥に存在する車両Ｖ２の位置（距離）をそれぞれ独立して検出することができる。
【００７６】
光学測距装置２１から出力される距離情報として、車両Ｖ１の位置（距離）及び車両Ｖ２の位置（距離）を含む距離の分布が、探索範囲変更部１４Ｂに送られる。探索範囲変更部１４Ｂは、車両Ｖ１については、その位置（距離）に応じた探索範囲（例えば、図３の範囲Ａ（近い）に対応する探索範囲Ａ）を距離データテーブル１５から抽出し、探索部１２によって、比較画像内の探索範囲Ａが探索されることになる。
【００７７】
また、探索範囲変更部１４Ｂは、車両Ｖ２については、その位置（距離）に応じた探索範囲（例えば、図３の範囲Ｃ（遠い）に対応する探索範囲Ｃ）を距離データテーブル１５から抽出し、探索部１２によって、比較画像内の探索範囲Ｃが探索されることになる。
【００７８】
例えば、ステレオカメラ（左カメラ２Ｌ，右カメラ２Ｒ）で撮影された画像が、図２３（基準画像）及び図２４（比較画像）に示されているようなものである場合には、基準画像（図２３）内の車両Ｖ１についての検出対象領域（ＢＫ１とする）をテンプレートとして、比較画像（図２４）内において、探索範囲Ａ（ここでは、比較画像内の検出対象領域ＢＫ１に対応するブロックＢＫ１’から４ブロックに相当する範囲）を探索範囲としてマッチング領域の探索が行われる。
【００７９】
基準画像（図２３）内の車両Ｖ２については、その検出対象領域（ＢＫ２とする）をテンプレートとして、比較画像（図２４）内において、探索範囲Ｃ（ここでは、比較画像内の検出対象領域ＢＫ２に対応するブロックＢＫ２’から２ブロックに相当する範囲）を探索範囲としてマッチング領域の探索が行われる。
【００８０】
上述した第３実施形態では、図２０に示されるように、車両（奥の車）Ｖ２についてのマッチング処理では、車両（手前の車）Ｖ１について光学測距装置２１により測距された距離に応じて設定された探索範囲Ａ（ここでは、４ブロック分）が用いられていた。これに対し、この第４実施形態では、光学測距装置２１により、車両Ｖ１と車両Ｖ２の距離を独立して測距できるため、図２４に示されるように、車両Ｖ２についてのマッチング処理に、該車両Ｖ２について光学測距装置２１により測距された距離に応じて設定された探索範囲Ｃ（ここでは、２ブロック）を用いることができる。従って、その分だけ第３実施形態よりも計算量を削減することができ、処理負担の軽減及び処理の高速化をさらに実現することができる。
【００８１】
なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。従って、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
【符号の説明】
【００８２】
１，１Ｂ…ステレオカメラシステム、２Ｌ…左カメラ、２Ｒ…右カメラ、３，３Ａ，３Ｂ…位置検出装置、１１…画像取得部、１２…探索部、１３，１３Ａ，１３Ｂ…距離算出部、１４，１４Ａ、１４Ｂ…探索範囲変更部、１５…距離データテーブル、１６…予測部、１７…距離情報取得部、２１…光学測距装置、ＭＯ…測定光、ＲＯ…反射光、Ｖ１，Ｖ２…車両。
【図１】
2011013064.tif 000003
【図２】
2011013064.tif 000004
【図３】
2011013064.tif 000005
【図４】
2011013064.tif 000006
【図５】
2011013064.tif 000007
【図６】
2011013064.tif 000008
【図７】
2011013064.tif 000009
【図８】
2011013064.tif 000010
【図９】
2011013064.tif 000011
【図１０】
2011013064.tif 000012
【図１１】
2011013064.tif 000013
【図１２】
2011013064.tif 000014
【図１３】
2011013064.tif 000015
【図１４】
2011013064.tif 000016
【図１５】
2011013064.tif 000017
【図１６】
2011013064.tif 000018
【図１７】
2011013064.tif 000019
【図１８】
2011013064.tif 000020
【図１９】
2011013064.tif 000021
【図２０】
2011013064.tif 000022
【図２１】
2011013064.tif 000023
【図２２】
2011013064.tif 000024
【図２３】
2011013064.tif 000025
【図２４】
2011013064.tif 000026