(57)【特許請求の範囲】
【請求項１】
ステレオ画像の位置ずれ調整装置において、
アフィンパラメータの値に応じて、ステレオ画像のアフィン変換を行う補正部と、
前記補正部から出力された一方の画像において、複数の基準領域を設定する設定部と、
前記設定部によって設定された前記基準領域のそれぞれについて、前記一方の画像における前記基準領域の水平位置と、前記基準領域とその相関先との間の垂直ずれ量と、前記基準領域と前記相関先との間の水平ずれ量とを含む一致点データを算出するデータ算出部と、
前記データ算出部によって算出された複数の前記一致点データに基づいて、前記水平位置と前記垂直ずれ量と前記水平ずれ量とで構成される空間において、平面を規定する平面パラメータを算出するパラメータ算出部と、
前記パラメータ算出部によって算出された前記平面パラメータに基づいて、前記アフィンパラメータの値を補正する補正演算部と
を有することを特徴とするステレオ画像の位置ずれ調整装置。
【請求項２】
前記設定部は、複数の前記基準領域が一方の画像平面上に分散するように設定することを特徴とする請求項１に記載されたステレオ画像の位置ずれ調整装置。
【請求項３】
前記設定部は、前記基準領域を一方の画像平面上にランダムに設定することを特徴とする請求項２に記載されたステレオ画像の位置ずれ調整装置。
【請求項４】
前記設定部は、同一フレームの基準画像において、前記基準領域を所定のサンプル個数分設定することを特徴とする請求項１から３のいずれかに記載されたステレオ画像の位置ずれ調整装置。
【請求項５】
前記設定部は、複数フレームの基準画像において、前記基準領域を所定のサンプル個数分設定することを特徴とする請求項１から３のいずれかに記載されたステレオ画像の位置ずれ調整装置。
【請求項６】
一方の画像中の画素ブロック毎に、当該画素ブロックの相関先を他方の画像において特定することにより、当該画素ブロックの距離データを算出するステレオ演算部をさらに有し、
前記データ算出部は、前記基準領域内に含まれる距離データに基づいて、前記基準領域の相関先を含む探索範囲を設定し、当該探索領域を探索することによって、前記基準領域と相関先を特定することを特徴とする請求項１に記載されたステレオ画像の位置ずれ調整装置。
【請求項７】
前記パラメータ算出部は、前記データ算出部によって算出された複数の前記一致点データに基づいて、前記水平位置に関する分散と、前記水平ずれ量に関する分散とを算出するとともに、前記水平位置に関する分散が所定のしきい値よりも大きく、かつ、前記水平ずれ量に関する分散が所定のしきい値よりも大きい場合に、前記平面パラメータを算出することを特徴とする請求項１に記載されたステレオ画像の位置ずれ調整装置。
【請求項８】
前記パラメータ算出部は、前記水平位置と前記水平ずれ量とによって規定される全てのサンプル点を通る近似直線を算出し、当該近似直線を基準として、前記水平位置に関する分散と、前記水平ずれ量に関する分散と算出することを特徴とする請求項７に記載されたステレオ画像の位置ずれ調整装置。
【請求項９】
前記補正演算部は、一方の画像の回転を規定するアフィンパラメータ、他方の画像の回転を規定するアフィンパラメータ、または、他方の画像の垂直方向への移動を規定するアフィンパラメータの少なくとも一つを補正することを特徴とする請求項１から８のいずれかに記載されたステレオ画像の位置ずれ調整装置。
【請求項１０】
請求項１から９に記載されたステレオ画像の位置ずれ調整装置と、
前記補正部によって、アフィン変換が行われたステレオ画像より算出された距離データに基づいて、前記ステレオ画像に写し出された対象物を認識する認識部と
を有することを特徴とするステレオ式監視装置。
【請求項１１】
ステレオ画像の位置ずれ調整方法において、
アフィンパラメータの値に応じて、ステレオ画像のアフィン変換を行う第１のステップと、
前記アフィン変換が行われたの一方の画像において、複数の基準領域を設定する第２のステップと、
前記基準領域のそれぞれについて、前記一方の画像における前記基準領域の水平位置と、前記基準領域とその相関先との間の垂直ずれ量と、前記基準領域と前記相関先との間の水平ずれ量とを含む一致点データを算出する第３のステップと、
複数の前記一致点データに基づいて、前記水平位置と前記垂直ずれ量と前記水平ずれ量とで構成される空間において、平面を規定する平面パラメータを算出する第４のステップと、
前記平面パラメータに基づいて、前記アフィンパラメータの値を補正する第５のステップと
を有することを特徴とするステレオ画像の位置ずれ調整方法。
【請求項１２】
前記第４のステップは、
複数の前記一致点データに基づいて、前記水平ずれ量に関する分散を算出するステップと、
前記水平位置に関する分散が所定のしきい値よりも大きく、かつ、前記水平ずれ量に関する分散が所定のしきい値よりも大きい場合に、前記平面パラメータを算出するステップと
を含むことを特徴とする請求項１１に記載されたステレオ画像の位置ずれ調整方法。
【請求項１３】
前記第４のステップは、
前記水平位置と前記水平ずれ量とによって規定される全てのサンプル点を通る近似直線を算出するステップと、
当該近似直線を基準として、前記水平位置に関する分散と、前記水平ずれ量に関する分散と算出するステップと
を含むことを特徴とする請求項１２に記載されたステレオ画像の位置ずれ調整方法。
【請求項１４】
前記第５のステップは、一方の画像の回転を規定するアフィンパラメータ、他方の画像の回転を規定するアフィンパラメータ、または、他方の画像の垂直方向への移動を規定するアフィンパラメータの少なくとも一つを補正することを特徴とする請求項１１から１３のいずれかに記載されたステレオ画像の位置ずれ調整方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ステレオ画像の位置ずれを幾何学的な画像変換処理により自動的に調整する調整装置、調整方法、および、ステレオ式監視装置に関する。
【従来の技術】
近年、ＣＣＤ等の固体撮像素子を内蔵した一対の車載カメラ（ステレオカメラ）を用いたステレオ式監視装置が注目されている。三次元計測技術の一つであるステレオ法では、一方の画像中の画素ブロックと相関を有する画素ブロックを他方の画像において特定する（ステレオマッチング）。そして、両画像における相対的なずれ量である視差から、三角測量の原理を用いて距離データを算出する。したがって、ステレオマッチングの精度を高めるためには、換言すると、信頼性の高い距離データを算出するためには、一対の画像（ステレオ画像）間には視差以外に位置的なずれが存在しないことが望ましい。しかしながら、実際には、ステレオカメラの取付位置は、機械的な取付精度に起因した誤差の範囲内においてずれてしまう。
【０００２】
この点に関して、特開２００１−８２９５５号公報には、ステレオ画像にアフィン変換を施すことによって、ステレオカメラの位置ずれを、監視制御と並行してリアルタイムで補正する位置ずれ調整装置が開示されている。この調整装置では、ステレオカメラより出力された一対の撮像画像に対して、アフィンパラメータの値に応じたアフィン変換を施す。演算部は、アフィンパラメータの内、基準画像を基準とした比較画像の回転ずれに関するパラメータの値と、基準画像を基準とした比較画像の垂直ずれ（上下ずれ）に関するパラメータの値とを随時補正する。そのために、まず、アフィン変換後の基準画像平面上において、複数の基準領域が設定される。これらの基準領域は、基準画像の同一水平線（基準線）上において互いに離間して一列に並んでおり、かつ、それぞれが所定の面積を有している。つぎに、アフィン変換後の比較画像平面上において、それぞれの基準領域と相関を有する相関領域が特定される。そして、特定された個々の相関領域の位置を示す一致点に基づいて、これらの一致点を通る近似線が、比較画像平面上において特定される。演算部は、比較画像側の近似線が基準画像の基準線と一致するように、比較画像の回転ずれと比較画像の垂直ずれとに関するアフィンパラメータの値を補正する。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記の従来技術では、基準画像を出力するメインカメラの取付位置は正しく調整されているものと仮定し、サブカメラより出力された比較画像の回転ずれと上下ずれとに関する調整のみを行っている。しかしながら、メインカメラが上下方向にずれて取付けられている場合、換言すれば、メインカメラの光軸を含む水平面上にサブカメラの光軸がない場合、エピポーララインを完全に一致するように調整することができない。そのため、ステレオカメラから対象物までの距離を示す距離データの信頼性が低下するという問題があった。
【０００４】
そこで、本発明の目的は、ステレオ画像の位置ずれを監視制御と並行してリアルタイムで補正することが可能な新規な調整装置を提供することである。
【０００５】
また、本発明の別の目的は、ステレオ画像の位置ずれ調整において、サブカメラから出力される比較画像の調整のみならず、メインカメラから出力される基準画像の調整も行うことで、調整精度の向上を図ることである。
【０００６】
さらに、本発明の別の目的は、ステレオ画像に基づき算出される距離データの信頼性の向上を図ることにより、ステレオ式監視装置における対象物の認識精度の向上を図ることである。
【０００７】
【課題を解決するための手段】
かかる課題を解決するために、第１の発明は、ステレオ画像の位置ずれ調整装置を提供する。この調整装置は、アフィンパラメータの値に応じて、ステレオ画像のアフィン変換を行う補正部と、補正部から出力された一方の画像において、複数の基準領域を設定する設定部と、設定部によって設定された基準領域のそれぞれについて、一方の画像における基準領域の水平位置と、基準領域とその相関先との間の垂直ずれ量と、基準領域と相関先との間の水平ずれ量とを含む一致点データを算出するデータ算出部と、データ算出部によって算出された複数の一致点データに基づいて、水平位置と垂直ずれ量と水平ずれ量とで構成される空間において、平面を規定する平面パラメータを算出するパラメータ算出部と、パラメータ算出部によって算出された平面パラメータに基づいて、アフィンパラメータの値を補正する補正演算部とを有する。
【０００８】
ここで、第１の発明において、上記設定部は、複数の基準領域が一方の画像平面上に分散するように設定することが好ましい。この場合、設定部は、基準領域を一方の画像平面上にランダムに設定してもよい。また、設定部は、同一フレームの基準画像において、或いは、複数フレームの基準画像において、基準領域を所定のサンプル個数分設定することが好ましい。
【０００９】
また、第１の発明において、一方の画像中の画素ブロック毎に、画素ブロックの相関先を他方の画像において特定することにより、画素ブロックの距離データを算出するステレオ演算部をさらに設けてもよい。この場合、データ算出部は、基準領域内に含まれる距離データに基づいて、基準領域の相関先を含む探索範囲を設定し、この探索領域を探索することによって、基準領域と相関先を特定することが好ましい。
【００１０】
第１の発明において、上記パラメータ算出部は、データ算出部によって算出された複数の一致点データに基づいて、水平位置に関する分散を算出するとともに、算出された分散が所定のしきい値よりも大きい場合に、平面パラメータを算出してもよい。また、パラメータ算出部は、データ算出部によって算出された複数の一致点データに基づいて、水平ずれ量に関する分散を算出するとともに、算出された分散が所定のしきい値よりも大きい場合に、平面パラメータを算出してもよい。この場合、上記パラメータ算出部は、水平位置と水平ずれ量とによって規定される全てのサンプル点を通る近似直線を算出し、この近似直線を基準として、水平位置に関する分散と、水平ずれ量に関する分散と算出することが望ましい。
【００１１】
第１の発明において、上記補正演算部は、一方の画像の回転を規定するアフィンパラメータ、他方の画像の回転を規定するアフィンパラメータ、または、他方の画像の垂直方向への移動を規定するアフィンパラメータの少なくとも一つを補正することが好ましい。
【００１２】
第２の発明は、上記第１の発明に係るステレオ画像の位置ずれ調整装置と、上記補正部によって、アフィン変換が行われたステレオ画像より算出された距離データに基づいて、ステレオ画像に写し出された対象物を認識する認識部とを有するステレオ式監視装置を提供する。
【００１３】
第３の発明は、ステレオ画像の位置ずれ調整方法を提供する。この調整方法は、アフィンパラメータの値に応じて、ステレオ画像のアフィン変換を行う第１のステップと、アフィン変換が行われたの一方の画像において、複数の基準領域を設定する第２のステップと、基準領域のそれぞれについて、一方の画像における基準領域の水平位置と、基準領域とその相関先との間の垂直ずれ量と、基準領域と相関先との間の水平ずれ量とを含む一致点データを算出する第３のステップと、複数の一致点データに基づいて、水平位置と垂直ずれ量と水平ずれ量とで構成される空間において、平面を規定する平面パラメータを算出する第４のステップと、平面パラメータに基づいて、アフィンパラメータの値を補正する第５のステップとを有する。
【００１４】
ここで、第２の発明において、上記第４のステップは、複数の一致点データに基づいて、水平位置に関する分散を算出するステップを含むことが好ましい。そして、算出された分散が所定のしきい値よりも大きい場合に、平面パラメータを算出することが望ましい。その際、上記第４のステップは、複数の一致点データに基づいて、水平ずれ量に関する分散を算出するステップを含むことが好ましい。そして、算出された分散が所定のしきい値よりも大きい場合に、平面パラメータを算出することが望ましい。
【００１５】
また、第２の発明において、上記第４のステップは、水平位置と水平ずれ量とによって規定される全てのサンプル点を通る近似直線を算出するステップと、算出された近似直線を基準として、水平位置に関する分散と、水平ずれ量に関する分散と算出するステップとを含んでいてもよい。
【００１６】
さらに、第２の発明において、上記第５のステップは、一方の画像の回転を規定するアフィンパラメータ、他方の画像の回転を規定するアフィンパラメータ、または、他方の画像の垂直方向への移動を規定するアフィンパラメータの少なくとも一つを補正することが好ましい。
【００１７】
【発明の実施の形態】
（第１の実施形態）
図１は、本実施形態に係るステレオ式車外監視装置のブロック構成図である。車外の景色を撮像するステレオカメラは、ルームミラーの近傍に取付けられており、ＣＣＤ等のイメージセンサを内蔵した一対のカメラ１，２で構成されている。それぞれのカメラ１，２は、車幅方向において所定の間隔（カメラ基線長）で取付けられている。基準画像データを得るためのメインカメラ１は、車輌の進行方向に向かって右側に取付けられている。一方、比較画像を得るためのサブカメラ２は、進行方向に向かって左側に取付けられている。カメラ対１，２の同期が取れている状態において、各カメラ１，２から出力された画像（ステレオ画像）は、後段の回路の入力レンジに合致するように、アナログインターフェース３において調整される。また、アナログインターフェース３中のゲインコントロールアンプ（ＧＣＡ）３ａにおいて画像の明るさバランスが調整される。
【００１８】
アナログインターフェース３において調整されたアナログ画像は、Ａ／Ｄコンバータ４により、所定の輝度階調（例えば、256階調のグレースケール）のデジタル画像に変換される。補正回路５ａ，５ｂは、デジタル化されたそれぞれの画像に対してアフィン変換を施す。ステレオカメラ１，２の取付位置に関する誤差、そして、それに起因したステレオ画像のずれ（回転ずれや並進ずれ）は、画像にアフィン変換を施すことにより等価的に補正される。本明細書では、「アフィン変換」という用語を、画像の回転、移動、拡大・縮小、若しくは、これらに近似する幾何学的な座標変換を総称する意味で用いている。本実施形態では、４つのアフィンパラメータを用いて、ステレオ画像に数式１，２に示す線形変換を行っている。数式１は、補正回路５ａが行う基準画像に対するアフィン変換の変換式を示し、数式２は、補正回路５ｂが行う比較画像に対するアフィン変換の変換式を示す。なお、同数式において、（ｉ，ｊ）は原画像の座標であり、（ｉ’，ｊ’）は変換後の座標である。また、アフィンパラメータSHFTI，SHFTJはそれぞれ、ｉ方向（画像の水平方向）の移動、ｊ方向（画像の垂直方向）の移動を示している。また、アフィンパラメータθ（θ1，θ2）は回転を示し、アフィンパラメータＫはＫ倍の拡大（｜Ｋ｜＜１の場合は縮小）を示している。
【数１】
0004053314.tif 000002
【数２】
0004053314.tif 000003
【００１９】
基準画像に関するアフィンパラメータθ1，Ｋの内、画像の拡大を規定する拡大パラメータＫは固定値（初期設定値）であるが、画像の回転を規定する回転パラメータθ1は可変値である。また、比較画像に関するアフィンパラメータθ2，SHFTI，SHFTJの内、拡大パラメータＫと、画像の水平方向への移動を規定する水平パラメータSHFTIとは固定値であるが、回転パラメータθ2と、画像の垂直方向への移動を規定する垂直パラメータSHFTJとは可変値である。可変パラメータθ1，θ2，SHFTJの値は、マイクロコンピュータ９によって随時算出され、監視制御と並行して、リアルタイムで補正される。回転パラメータθ1，θ2を可変値とすることで、本来のカメラ基線（エピポーラライン）に対する基準画像の回転ずれと比較画像の回転ずれとが解消される。また、垂直パラメータSHFTJを可変値とすることで、基準画像を基準とした比較画像の垂直方向のずれが解消される。ステレオ画像に対してアフィン変換を施すことにより、ステレオマッチングの精度を確保する上で重要となる「エピポーララインの一致」、すなわち、基準画像と比較画像との間における水平線の一致が保証される。なお、アフィン変換回路のハードウェア構成については、特開平１０−３０７３５２号公報に記述されているので、必要ならば参照されたい。
【００２０】
このような画像処理を経て、メインカメラ１の出力信号から、例えば、水平方向が512画素、垂直方向が200画素で構成された１フレーム相当の基準画像データが得られる。また、サブカメラ２の出力信号から、基準画像と垂直方向長が同じで、基準画像よりも大きな水平方向長を有する１フレーム相当の比較画像データが生成される（一例として、水平方向が640画素、垂直方向が200画素）。これらの基準画像データおよび比較画像データは、後段の画像データメモリ７に格納される。
【００２１】
ステレオ演算回路６は、基準画像データと比較画像データとに基づいて距離データを算出する。この距離データは、一例として、4×4画素の画素ブロックを算出単位とし、１フレーム相当の基準画像全体では128×50個の距離データが算出され得る。基準画像中の１画素ブロックを対象とした場合、その対象画素ブロックの輝度特性と相関を有する領域を比較画像を探索することにより特定する（ステレオマッチング）。周知のとおり、ステレオ画像に写し出された対象物までの距離は、ステレオ画像における視差、すなわち、基準画像と比較画像との間における水平方向のずれ量として現れる。したがって、比較画像の探索を行う場合、対象画素ブロックのｊ座標と同じ水平線（エピポーラライン）上を探索すればよい。ステレオ演算回路６は、このエピポーラライン上を１画素ずつシフトしながら、画素ブロック毎に対象画素ブロックとの相関を評価する。
【００２２】
２つの画素ブロックの相関は、例えば、数式３に示すシティブロック距離ＣＢ（基本形）を算出することにより評価することができる。同数式において、ｐijは一方の画素ブロックのｉｊ番目の画素の輝度（輝度データ）であり、ｐ２ijは他方の画素ブロックのｉｊ番目の輝度データである。シティブロック距離ＣＢは、位置的に対応した輝度値ｐ１ij，ｐ２ij対の差（絶対値）の画素ブロック全体における総和であって、その差が小さいほど両画素ブロックの相関が大きいことを意味している。
【数３】
ＣＢ＝Σ｜ｐ１ij−ｐ２ij｜
【００２３】
基本的には、エピポーラライン上に存在する画素ブロック毎に算出されたシティブロック距離ＣＢのうち、その値が最小となる画素ブロックが対象画素ブロックの相関先と判断される。このようにして特定された相関先と対象画素ブロックとの間の視差から距離データが出力される。なお、シティブロック距離を算出するためのハード構成については、特開平５−１１４００９号公報に開示されているので、必要ならば参照されたい。以上の手法によって算出された距離データは、後段の距離データメモリ８に格納される。
【００２４】
マイクロコンピュータ９（機能的に捉えた場合、その機能的ブロックである認識部１０）は、道路形状（白線）や車輌前方の立体物（走行車）といった対象物を認識する。対象物の認識は、画像データメモリ７に記憶された画像データと距離データメモリ８に格納された距離データとに基づいて行われる。また、図示していない車速センサ、舵角センサからのセンサ情報、或いは、ナビゲーション情報等も必要に応じて参照される。そして、これらの認識結果に基づいて、認識部１０は、前方のカーブや立体物に対する警報が必要と判定した場合、モニタやスピーカー等の警報装置１１を作動させてドライバーに注意を促す。また、認識部１０は、必要に応じて、制御装置１２を制御することにより、ＡＴ（自動変速機）のシフトダウン、エンジン出力の抑制、或いはブレーキの作動といった車輌制御を実行する。
【００２５】
マイクロコンピュータ９（機能的に捉えた場合、その機能的ブロックである補正演算部１３）は、図２から図４までのフローチャートに示すルーチンにしたがい、基準画像の回転パラメータθ1の値、比較画像の回転パラメータθ2の値、および、比較画像の垂直パラメータSHFTJの値をリアルタイムで補正する。補正されたこれらのパラメータθ1，θ2，SHFTJは、補正回路５ａ，５ｂに随時フィードバックされる。なお、このルーチンは、所定の間隔で繰り返し実行される。
【００２６】
まず、ステップ１において、補正演算部１３は、ｉ番目の基準領域Ｒiを、基準画像平面上にランダムに設定し、この基準領域Ｒi内の輝度データｐと距離データｄとを読み込む。ここで、ｉは、基準領域Ｒiの設定個数をカウントする変数である。この変数ｉの初期値は１であり、所定値（例えばｉ＝20）に到達するまで、ステップ１２によって順次インクリメントされる。図６に示すように、基準領域Ｒiは、所定の面積（一例として16×16画素）を有する。基準画像平面における基準領域Ｒiの位置を基準点ａiで表す。本実施形態では、基準領域Ｒiの左下隅を基準点ａiとする。例えば、１番目の基準領域Ｒ1の位置は、基準点ａ1（ir1，jr1）で表される。本ステップ１以降ステップ１０までの処理対象は、ステップ１で設定された基準領域Ｒiである。
【００２７】
ステップ２において、基準領域Ｒiのエッジ数ＥＮが算出される。図７に示すように、基準領域Ｒi中には、4×4個の距離データｄ、そして16×16個の輝度データｐが存在する（同図の右側に示した輝度ブロックは、距離データｄ1が算出された画素ブロックに相当している）。これら256個の輝度データｐから、水平方向において隣接した画素対毎に輝度差（輝度変化量）Δｐ（絶対値）が算出される。ただし、基準領域Ｒの一番左側に位置した画素列（例えば、距離データｄ1に係る画素ブロックについてはｐ11，ｐ12，ｐ13，ｐ14（距離データｄ5，ｄ9，ｄ13に係る画素ブロックについても同様））に関しては、その左側に隣接した画素より輝度変化量Δｐが算出される。結果的に、256個の輝度変化量Δｐが算出される。つぎに、基準領域Ｒiが輝度エッジを有するか否かを評価するために、256個の輝度変化量Δｐの内、所定の判定しきい値以上のものの数をカウントし、その数を基準領域Ｒiのエッジ数ＥＮとする。
【００２８】
つぎに、ステップ３において、基準領域Ｒiに関する距離データの分布を求め、その最大出現度数ＭＡＸＮと最頻距離値ＭＦＤとが算出される。上述したように、距離データは、１つの視差の算出単位である4×4の画素ブロック毎に１つ算出されるため、１つの基準領域Ｒ内には16個の距離データｄiが存在する。図８は、基準領域Ｒi内に含まれる距離データｄi（ｉ＝1〜16）のヒストグラムの説明図である。同図において、横軸は距離データｄiの値、縦軸は出現度数である。このような分布から、最も大きな出現度数が最大出現度数ＭＡＸＮとして特定され、出現度数が最も大きな距離データｄiの値が最頻距離値ＭＦＤとして特定される。
【００２９】
ステップ２およびステップ３で算出された値ＥＮ，ＭＡＸＮ，ＭＦＤに基づき、ステップ４からステップ７において、ステップ１で設定された基準領域Ｒiが、二次元マッチングを行うのに”適した領域”であるかが評価される。本実施形態では、下記の４つの判定条件（ステップ４〜ステップ７）の全てを具備する場合に、基準領域Ｒiが二次元マッチングを行うのに”適した領域”であると判断する。
【００３０】
（判定条件）
１．エッジ数ＥＮが所定の最小規定値ＥＮminよりも大きいこと（ステップ４）
基準領域Ｒiの相関先を探索する際、そのエッジ数ＥＮが小さい（すなわち輝度エッジがあまり存在しない）とミスマッチが起こりやすい。そこで、二次元マッチングの精度の向上を図るために、適切に設定された最小規定値ＥＮminよりもエッジ数ＥＮが大きいこと、すなわち、基準領域Ｒiが輝度エッジを有することを条件とする。
【００３１】
２．エッジ数ＥＮが所定の最大規定値ＥＮmax（ＥＮmax＞ＥＮmin）よりも小さいこと（ステップ５）
例えば、垣根や林等が写し出された領域の相関先を探索する場合、茂みの陰影により同様の輝度エッジが多数存在するため、適切な相関先を特定することが困難となる。したがって、二次元マッチングの精度を向上させる観点から、基準領域Ｒi内に垣根等が写し出されている場合、その基準領域Ｒiはマッチングを行うのに適切な領域ではないと判断する。垣根等が写し出されている状況では、その茂みの陰影により通常よりも多数の輝度エッジが出現する傾向がある。そこで、このような観点で適切に設定した最大規定値ＥＮmaxとエッジ数ＥＮとを比較することにより、その基準領域Ｒiが二次元マッチングに適した領域であるか否かを判断する。
【００３２】
３．最大出現度数ＭＡＸＮがピーク判定規定値ＭＡＸＮthよりも大きいこと（ステップ６）
この判定条件は、オクリュージョンの影響を評価するものである。オクリュージョンの影響をあまり受けていない場合、図８に示したヒストグラムにおいて大きなピークが一つ出現する傾向がある。これに対して、オクリュージョンの影響が大きくなると、その影響が大きいほどピークは低下し、小さなピークが複数個出現するという傾向がある。このような見地から、ピーク判定規定値ＭＡＸＮthを適切に設定し、最大出現度数ＭＡＸＮがピーク判定規定値ＭＡＸＮthよりも大きい場合、その基準領域Ｒiはオクリュージョンの影響を受けておらず評価に適した領域であると判断する。
【００３３】
４．最頻距離値ＭＦＤが所定範囲以内であること（ステップ７）
この判定条件は、距離データに関するノイズの影響を評価するためのものである。通常、基準領域Ｒi内の距離データの値は、所定の距離レンジ内に収まる傾向がある。これは、通常、基準領域Ｒi内に写し出される対象物までの距離は、所定のレンジ内に収まる傾向があるからである。したがって、基準領域Ｒiに通常写し出されるであろう対象物までの距離を考慮して、それに応じた距離レンジを設定しておく。そして、最頻距離値ＭＦＤがこの範囲からはずれている場合、この基準領域Ｒiは、評価に適さない領域であると判断する。本実施形態では、16ｍ〜70ｍ（画素ずれ量としては24画素〜6画素）を所定範囲として設定している。
【００３４】
以上のような４つの判定条件に基づき、基準領域Ｒiがステレオマッチングに”適した領域”であると判断された場合のみ、ステップ４からステップ７までの各判断を経て、図３のステップ８に進む。それ以外の場合は、本ルーチンを抜ける。
【００３５】
ステップ８からステップ１０までの各手順は、一致点Ｐi、すなわち、基準領域Ｒiの相関先の処理に関する。まず、ステップ８において、基準領域Ｒi内の距離データｄ（具体的には最頻距離値ＭＦＤ）に基づき、探索範囲Ｓiが比較画像において設定される。図６に示した基準領域Ｒ1を例に説明すると、基準画像平面において、基準領域Ｒ1の位置を示す基準点ａ1の座標を（ir1，ij1）とし、その最頻距離値をＭＦＤ1とする。ステレオ法の原理上、基準領域Ｒ1の相関先（基準領域Ｒ1と同一面積である16×16画素ブロック）は、基準領域Ｒ1の基準点ａ1に水平方向のずれ（最頻距離値ＭＦＤ1）を加えた位置ａs1（ir1＋ＭＦＤ1，j1）付近に存在する。そこで、予想される上下左右の最大ずれ量を例えば4画素ほど見込み、位置ａs1を基準に上下左右方向に４画素ずらした領域、すなわち24×24画素の領域を探索範囲Ｓ1として設定する。なお、探索範囲Ｓ1の位置を設定する他の手法として、最頻距離値ＭＦＤiを用いた場合よりも精度が劣る可能性があるものの、基準領域Ｒ1内の距離データｄの平均値を最頻距離値ＭＦＤ1に代えて用いてもよい。
【００３６】
そして、ステップ８において設定された探索範囲Ｓi内において、一致点Ｐiが算出される（ステップ９）。ここで、「一致点Ｐi」とは、基準領域Ｒiの相関先に関する比較画像平面上の位置である。図５は、ある探索範囲Ｓiにおける一致点Ｐiの詳細な算出手順を示すフローチャートである。まず、ステップ５１において、基準領域Ｒiと、探索範囲Ｓiに存在する１６×１６画素の画素領域とのシティブロック距離ＣＢの分布が算出される。シティブロック距離ＣＢは、探索範囲Ｓi内に存在する画素ブロック（基準領域Ｒiと同一面積で16×16画素）毎に上述した数式３に基づいて算出される。探索範囲Ｓiの全域に渡って比較対象を水平／垂直方向に１画素ずつオフセットさせながら（二次元マッチング）、比較対象毎に１つのシティブロック距離ＣＢが算出される。したがって、１つの探索範囲Ｓiにおいて81個（9×9）のシティブロック距離ＣＢが算出される。これにより、図９に示す探索範囲Ｓi全域におけるシティブロック距離ＣＢの分布が得られる。
【００３７】
ステップ５１に続くステップ５２以降において、探索範囲Ｓiにおける一致点Ｐiが計算される。この一致点Ｐiは、基本的には、シティブロック距離ＣＢが極小となる点、すなわち、相関が最も大きい点の座標（ｉmin,ｊmin）として与えられる。しかしながら、この座標（ｉmin,ｊmin）は離散的な値であり、１画素以下の精度で位置を指定することができない。そのため、この値を画像の位置ずれ補正における入力変数として直接用いるのは、位置の調整精度の観点から好ましくない。そこで、上記座標（ｉmin,ｊmin）を仮の一致点Ｐi’とし、以下の処理によって、１画素以下の分解能で位置表示が可能な（真の）一致点Ｐi（ｉsub,ｊsub）を求める。
【００３８】
なお、シティブロック距離ＣＢの極小値が所定のしきい値よりも大きい場合は、相関が不明確であると判断して、そのサイクルにおける一致点Ｐiの算出をスキップするようにしてもよい。これにより、適切でない相関先が特定されてしまうことを避けることができる。
【００３９】
以下、一致点Ｐiのｉ座標値、すなわち、シティブロック距離ＣＢの値が最も小さくなる極小点のｉ座標値の算出手法について説明する、なお、これとまったく同様の手法で一致点Ｐiのｊ座標値も算出することができるので、ｊ座標値の算出手順については説明を省略する。図１０は、ｊmin列の極小点近傍におけるシティブロック距離ＣＢの分布特性を説明するための図であり、ステップ５１で算出されたシティブロック距離ＣＢの値を丸印でプロットしている。画素の面積が限りなく小さいと仮定した場合、シティブロック距離ＣＢは破線で示したように、極小点近傍において左右対称でかつ連続的に分布するという特性を有する。このような観点から、破線の極小値、すなわち一致点Ｐiのｉ座標値は、仮の一致点Ｐi’のｉ座標値とは異なる。
【００４０】
そこで、シティブロック距離ＣＢの分布が極小点近傍において左右対称となる特性を用いて、ステップ５２以降の手順において、仮の一致点Ｐi'を基準として右側のシティブロック距離ＣＢの差と左側のそれとを比較する。そして、直線近似によって、極小点、すなわち一致点Ｐiのｉ座標値を算出する。まず、ステップ５２において、数式４に示したように、仮の一致点Ｐi’のｉ座標値ｉminに対するｉ座標値ｉmin−１の変化量を求める。これにより、仮の一致点Ｐi’よりも左側におけるシティブロック距離ＣＢの変化量を評価する。同様に、仮の一致点Ｐi’のｉ座標値ｉminに対するｉ座標値ｉmin＋１の変化量を求めることで、仮の一致点Ｐi’よりも右側のシティブロック距離ＣＢの変化量を評価する。
【数４】
ΔＣＢ0＝ＣＢ[ｉmin−１,ｊmin]−ＣＢ[ｉmin,ｊmin]
ΔＣＢ1＝ＣＢ[ｉmin＋１,ｊmin]−ＣＢ[ｉmin,ｊmin]
【００４１】
つぎに、ステップ５３において、ステップ５２で算出された左側のシティブロック距離差ΔＣＢ0と右側のシティブロック距離差ΔＣＢ1とを比較する。シティブロック距離ＣＢの分布が極小点周りで対称になる特性に基づき、極小点が座標値（ｉmin−１）〜ｉmin間または座標値ｉmin〜（ｉmin＋１）間のどちらに存在するのかを判断することができる。
【００４２】
ステップ５３において肯定判定された場合、すなわち、仮の一致点の座標値ｉmin近傍で、シティブロック距離ＣＢの変化が座標値ｉminの左側よりも右側の方で大きい場合、極小点は座標値ｉmin〜（ｉmin−１）間に存在すると判断される。この場合はステップ５４に進み、点ＣＢ[ｉmin,ｊmin]と点ＣＢ[ｉmin＋１,ｊmin]とを結ぶ直線Ｌ１の傾きｍを算出する。そして、それに続くステップ５５において、点ＣＢ[ｉmin−１,ｊmin]を通り、かつ傾きが−ｍとなる直線Ｌ２を算出する。そして、ステップ５５に続くステップ５８において、算出された２本の直線Ｌ１,Ｌ２の交点を計算し、この交点を真の極小点（すなわち一致点Ｐiのｉ座標値ｉsub）とする。
【００４３】
一方、ステップ５３において否定判定された場合、すなわち、仮の一致点の座標値ｉmin近傍で、シティブロック距離ＣＢの変化が座標ｉminの右側よりも左側の方で大きい場合、極小点は、座標値ｉmin〜（ｉmin＋１）間に存在すると判断される。この場合はステップ５６に進み、点ＣＢ[ｉmin,ｊmin]と点ＣＢ[ｉmin−１,ｊmin]とを結ぶ直線Ｌ１の傾きｍを算出する。それに続くステップ５７において、点ＣＢ[ｉmin＋１,ｊmin]を通り、傾きが−ｍとなる直線Ｌ２を算出する。そして、ステップ５６においてこれらの直線Ｌ１，Ｌ２の交点を算出することで、一致点Ｐiのｉ座標値ｉsubを決定する。
【００４４】
図１１は、左側のシティブロック距離差ΔＣＢ0の方が右側の差ΔＣＢ1よりも大きい場合に算出された直線Ｌ１，Ｌ２を示している。同図からわかるように、極小点近傍におけるシティブロック距離ＣＢの分布を直線Ｌ１，Ｌ２で近似し、その交点を求める。そして、この交点を一致点Ｐiのｉ座標値ｉsubとして決定する。
【００４５】
一致点Ｐiのｉ座標値ｉsubの算出手法と同じ手法を用いて、一致点Ｐiのｊ座標値ｊsubを算出する。これにより、基準領域Ｒiと最も大きな相関を有する対象領域の位置Ｐi（ｉsub，ｊsub）（すなわち、サブピクセルレベルの一致点）を、１画素以下の分解能で算出することができる。
【００４６】
図３のステップ１０において、基準領域Ｒiに関して算出された一致点データ（ir，dj，dpix）がマイクロコンピュータ９中のメモリ（図示せず）に一時的に格納される（ステップ１０）。一致点データは、基準水平位置ir、垂直ずれ量djおよび水平ずれ量dpixが対応付けられたデータセットである。基準水平位置irは、基準画像平面上における基準領域Ｒiの水平位置（基準点ａiのｉ座標値）であり、例えば、基準領域Ｒ1ではir1になる。垂直ずれ量djは、基準点ａiと、これが対応する一致点Ｐiとの間の垂直方向のずれ量、換言すれば、基準領域Ｒiとこの相関先との相対的な垂直ずれ量（サブピクセルレベル）である。例えば、基準領域Ｒ1に関して算出されたサブピクセルレベルの一致点Ｐ1のｊ座標値がｊsub1とすると、この基準領域Ｒ1の垂直ずれ量djは（ｊsub1−jr1）になる。また、水平ずれ量dpixは、基準点ａiと、これが対応する一致点Ｐiとの間の水平方向のずれ量、換言すれば、基準領域Ｒiとこの相関先との相対的な水平ずれ量（サブピクセルレベル）である。例えば、基準領域Ｒ1に関して算出されたサブピクセルレベルの一致点Ｐ1のｉ座標値がｉsub1とするとこの基準領域Ｒ1の水平ずれ量dpixは（ｉsub1−ir1）になる。
【００４７】
ステップ１１において、一致点データ（ir，dj，dpix）が所定のサンプル個数（例えば20個）だけストアされたか否か、すなわち、変数ｉが20に到達したか否かが判断される。このステップ２０で否定判定された場合は、ステップ１２に進み、ｉに１を加算して、本ルーチンを抜ける。そして、本ルーチンの次の実行サイクルで、次の基準領域Ｒi+1がランダムに設定され、これを処理対象に上述したステップ１〜１０が実行されることで、次の基準領域Ｒi+1に関する一致点データが算出される。これにより、基準領域Ｒ1，Ｒ2，Ｒ3，・・・の順で、一致点データが順次算出・ストアされる。そして、ストアされた一致点データの数がサンプル個数（＝20）に到達すると、ステップ１１の判定結果が否定から肯定に変わり、図４のステップ１３に進む。
【００４８】
サンプル個数分の基準領域Ｒ1〜Ｒ20を設定するにあたり重要なことは、これらを基準画像平面上に分散させ、ばらつかせることである。このばらつきが保証される限り、基準領域Ｒ1〜Ｒ20を、１フレームの基準画像内に設定する必要は必ずしもなく、複数フレームの基準画像に亘って設定してもよい。その結果、サンプルデータである基準水平位置irおよび水平ずれ量dpixもばらつき、後述する（ir，dj，dpix）空間において、サンプルデータir，dpixが局所的に集中することを防ぐ。
【００４９】
ステップ１３において、メモリにストアされた20サンプル分の一致点データ（ir，dj，dpix）が読み出される。続くステップ１４では、読み出された一致点データに基づいて、基準水平位置ir群のヒストグラムと水平ずれ量dpix群のヒストグラムとがそれぞれ生成され、これらのばらつきが評価される。図１２は、基準水平位置irのヒストグラムの説明図である。同図において、横軸は基準水平位置irの値、縦軸はその出現度数である。このヒストグラムに基づき、基準水平位置irの分散ＶＥＲirが算出される。本実施形態では、（ir，dj，dpix）空間における平面を一義に特定し、この平面を規定するパラメータＡ，Ｂ，Ｃより、アフィンパラメータθ1，θ2，SHFTJを算出する。そのため、上記空間において、サンプルとして抽出された基準水平位置irが局所的に集中していると、信頼性の高い平面を規定できない。そこで、このステップ１４で、基準水平位置irのばらつきの程度を示す分散ＶＥＲirを算出している。
【００５０】
図１３は、水平ずれ量dpixのヒストグラムの説明図である。同図において、横軸は水平ずれ量dpixの値、縦軸はその出現度数である。このヒストグラムに基づき、水平ずれ量dpixの分散ＶＥＲdpixが算出される。この分散ＶＥＲdpixを算出する理由は、基準水平位置irと同様に、サンプルとして抽出された水平ずれ量dpixが（ir，dj，dpix）空間において局所的に集中していると、信頼性の高い平面を規定できないからである。
【００５１】
ステップ１５では、基準水平位置irの分散ＶＥＲirが所定のしきい値ＶＥＲ1thよりも大きく、かつ、水平ずれ量dpixの分散ＶＥＲdpixが所定のしきい値ＶＥＲ2thよりも大きいか否かが判断される。このステップ１５で否定判定された場合、すなわち、基準水平位置irまたは水平ずれ量dpixの少なくとも一方がばらついていない場合には、信頼性の高い平面が規定できないと判断して、ステップ１９のパラメータ更新を行うことなく、ステップ２０に進む。そして、メモリにストアされていた全ての一致点データをクリアするとともに、変数ｉもクリアして、本ルーチンを抜ける。これに対して、ステップ１５で肯定判定された場合は、ステップ１６に進む。
【００５２】
ステップ１６では、全ての一致点データに対して、数式５で示す三次元平面方程式を当てはめ、最小二乗法またはハフ変換等によって、（ir，dj，dpix）空間上の平面を規定するパラメータＡ，Ｂ，Ｃが算出される。
【数５】
Ａ・ir＋Ｂ・dpix＋dj＋Ｃ＝０
【００５３】
ステップ１７では、ステップ１６で算出されたパラメータＡ，Ｂ，Ｃに基づき、三次元のカメラずれ量として、メインカメラ１の回転ずれ量ΔＴrと、サブカメラ２の回転ずれ量ΔＴlと、サブカメラ２の上下ずれ量ΔＶlとが数式６より算出される。
【数６】
ΔＴr＝Ａ−Ｂ
ΔＴl＝−Ｂ
ΔＶl＝−Ｃ
【００５４】
ここで、図１４を参照しながら、上記ずれ量ΔＴr，ΔＴl，ΔＶlとパラメータＡ，Ｂ，Ｃとの関係について説明する。メインカメラ１が反時計方向にΔＴrだけ回転している場合、基準画像の実際のエピポーララインＬ1’は、本来のエピポーララインＬ1に対してこの傾き値ΔＴr分回転する。一方、サブカメラ１が反時計方向にΔＴlだけ回転し、メインカメラ１に対して平行にΔＶlずれている場合、比較画像の実際のエピポーララインＬ2’は、本来のエピポーララインＬ2に対してΔＴrだけ回転し、ΔＶlだけ平行移動する。また、ある基準領域Ｒiに関して、基準画像上のその位置を基準点ａi（ir，jr）とし、比較画像上における相関先の位置を一致点Ｐi（il，jl）とする。この場合、垂直ずれ量djは、数式７のように変形できる。
【数式７】
dj＝jl−jr
＝ΔＶl＋ΔＴl・il−ΔＴr・ir
＝ΔＶl＋ΔＴl（dpix＋ir）−ΔＴr・ir
＝ΔＶl＋（ΔＴl−ΔＴr）ir＋ΔＴl・dpix
【００５５】
上記変形は、（ir，dj，dpix）空間中で、１つの平面が構成されることを示している。そして、理論的には、サンプルデータとして抽出された全ての一致点データは、この平面上に存在する。そこで、（ir，dj，dpix）空間内に一致点データを配し、最小二乗法等により三次元平面（Ａ・ir＋Ｂ・dpix＋dj＋C＝０）を特定する。これにより、上述した数式６に示す関係式が一義的に導出される。
【００５６】
続くステップ１８では、ずれ量ΔＴr，ΔＴl，ΔＶlが所定のしきい値ΔＴrth，ΔＴlth，ΔＶlthよりも大きいか否かが個別に判断される。このステップ１８で否定判定されたずれ量ΔＴr，ΔＴl，ΔＶlに関しては、対応するアフィンパラメータθ1，θ2，SHFTJの現在値が適切に設定されていると判断する。すなわち、ΔＴr≦ΔＴrthの場合はθ1の更新は行われず、ΔＴl≦ΔＴlthの場合はθ2の更新を行われず、ΔＶl≦ΔＶlthの場合はSHFTJの更新を行われない。そして、ステップ２０において、メモリにストアされていた一致点データ等を全てクリアし、本ルーチンを抜ける。
【００５７】
これに対して、ステップ１８で肯定判定されたずれ量ΔＴr，ΔＴl，ΔＶlに関しては、対応するアフィンパラメータθ1，θ2，SHFTJの更新処理が行われる（ステップ１９）。すなわち、ΔＴr＞ΔＴrthの場合はθ1が更新され、ΔＴl＞ΔＴlthの場合はθ2が更新され、ΔＶl＞ΔＶlthの場合はSHFTJが更新される。この更新処理では、数式８に従い、アフィンパラメータθ1，θ2，SHFTJの値が比例制御によって補正される。
【数８】
θ1←θ1−0.25×ΔＴr
θ2←θ2−0.25×ΔＴl
SHFTJ←SHFTJ−0.25×ΔＶl
【００５８】
すなわち、メインカメラ１の回転ずれ量ΔＴrに所定のゲイン（例えば0.25）を乗じた値を、アフィンパラメータθ1の現在値より減算する。補正演算部１３は、補正後のパラメータθ1を、基準画像のアフィン変換を行う補正回路５ａにフィードバックする。補正回路５ａは、補正後のパラーメータθ1を適用して、基準画像のアフィン変換を行う。これにより、メインカメラ１の回転ずれが解消される方向に、基準画像が回転する。また、サブカメラ２の回転ずれ量ΔＴlおよび上下ずれ量ΔＶlに所定のゲインを乗じた値を、アフィンパラメータθ2，SHFTJの現在値よりそれぞれ減算する。補正演算部１３は、補正後のパラーメータθ2，SHFTJを、比較画像のアフィン変換を行う補正回路５ｂにフィードバックする。補正回路５ｂは、補正後のパラーメータθ2，SHFTJを適用して、比較画像のアフィン変換を行う。これにより、サブカメラ２の回転／上下ずれが解消される方向に、比較画像が回転／上下移動する。そして、ステップ１９に続くステップ２０において、メモリにストアされていた一致点データ等が全てクリアされて、本ルーチンを抜ける。
【００５９】
このように、本実施形態では、基準水平位置ir、垂直ずれ量djおよび水平ずれ量dpixを含む一致点データに基づき、（ir，dj，dpix）空間における平面を特定することによって、カメラずれ量ΔＴr，ΔＴl，ΔＶが算出される。そして、これらのずれ量ΔＴr，ΔＴl，ΔＶlに応じて、基準画像のアフィンパラメータθ1と、比較画像のアフィンパラメータθ2，SHFTJとが、フィードバック制御によって調整される。このような調整をリアルタイムで行うことにより、経年変化や温度変化等によって、ステレオカメラの光学的位置にずれが生じた場合であっても、それを適切に解消することができる。その結果、ステレオ処理におけるミスマッチングの発生を低減し、距離データの信頼性を向上させることができ、ステレオ式監視装置の監視精度を一層向上させることが可能になる。
【００６０】
特に、本実施形態では、メインカメラ１の回転ずれも調整しているので、従来技術と比較して、距離データの算出精度を一層向上させることができる。従来は、カメラの位置ずれ（エピポーララインの不一致）に関して、三次元のずれの自由度（基準画像の回転、比較画像の回転および比較画像の上下）があるにも拘わらず、ずれ量を完全に算出することができなかった。なぜなら、メインカメラ１の回転ずれは存在しない、或いは、無視できる程微少である仮定し、２つのパラメータ（基準点の水平座標、基準点と一致点との垂直ずれ量）のみに基づいて、カメラの位置ずれ量を算出していたからである。そのため、メインカメラ１の光軸を含む水平面上にサブカメラ２の光軸が存在しない場合、従来は、エピポーララインを完全に一致させることができず、その結果、算出距離の精度を、対象物までの距離の全域に亘って確保することが困難であった。これに対して、本実施形態では、上記２つのパラメータに、基準点ａiと一致点Ｐiとの水平ずれ量を加えた三次元のパラメータを用いて、カメラの位置ずれを算出している。そのため、理論的には、三次元のずれを完全に求めることが可能になり、より正確な位置ずれ調整が可能になる。
【００６１】
また、本実施形態では、サンプルである基準水平位置irと水平ずれ量dpixとのばらつきを分散として評価した上で、これらの分散が所定のしきい値よりも大きい場合のみ、（ir，dj，dpix）空間上の平面パラメータＡ，Ｂ，Ｃを算出する。換言すれば、これらの分散が小さく、基準水平位置ir，水平ずれ量dpixが集中している場合には、平面パラメータＡ，Ｂ，Ｃを算出しない。これにより、サンプル群ir，dpixが局所的に集中している場合に、信頼性の低い平面が特定されるのを回避できるので、常に適切なアフィンパラメータθ1，θ2，SHFTJを算出できる。その結果、距離データの算出精度を一層向上させることが可能になる。なお、平面の信頼性を考慮しないのであれば、基準水平位置ir，水平ずれ量dpixのいずれか一方の分散のみを評価してもよく、或いは、双方を評価しなくてもよい。
【００６２】
また、本実施形態では、一致点Ｐiを探索する探索範囲Ｓiを、基準領域Ｒi内の距離データに基づいて比較的狭い範囲（本実施形態では24×24画素のエリア）に限定している。このように探索範囲Ｓiを絞り込むことで、一致点Ｐiの探索に要する演算量を大幅に低減することができる。その結果、マイクロコンピュータ９の処理能力をそれほど要求することなく、認識・監視制御と並行して、リアルタイムで位置ずれの調整を行うことができるという効果がある。
【００６３】
さらに、本実施形態では、基準領域Ｒiが二次元マッチングを行う上で適した領域であるか否かを評価し、適していると判断された基準領域Ｒiに基づいて、一致点Ｐiを算出している。これにより、精度の高い二次元マッチングを行うことができるため、信頼性の高い一致点Ｐiを算出することができる。その結果、精度の高いステレオ画像の位置ずれ調整を安定して行うことができる。
【００６４】
なお、上述した実施形態では、基準領域Ｒiの位置を基準画像平面上にランダムに設定している。しかしながら、基準領域Ｒiの位置的なばらつきが確保される限り、その位置をランダムに設定する必要は必ずしもなく、１フレームまたは複数フレームの基準画像において、予め位置を設定しておいてもよい。
【００６５】
また、上述した実施形態では、平面を規定する空間を（ir，dj，dpix）空間としているが、これに代えて（ir，dj，il）空間を用いてもよい。一致点Ｐiの水平位置ilおよび水平ズレ量dpixは、dpix＝il−irの関係にあり、ilが特定されればdpixも一義的に算出されるからである。このような観点より、本明細書において、「水平ずれ量」とは、水平ずれ量dpixそのもの、若しくは、水平ずれ量dpixを一義的に特定可能なパラメータを広く含む意味で用いている。
【００６６】
また、上述した実施形態では、アフィンパラメータθ1，θ2，SHFTJのすべてを補正しているが、本発明は、これに限定されるものではなく、補正対象となるアフィンパラメータθ1，θ2，SHFTJの少なくとも一つであってもよい。
【００６７】
さらに、上述した実施形態では、基準画像のアフィンパラメータは固定として、比較画像のアフィンパラメータを調整する例について説明した。しかしながら、本発明はこれに限定されるものではなく、例えば、比較画像のアフィンパラメータを固定として、基準画像のアフィンパラメータを調整してもよい。
【００６８】
（第２の実施形態）
第１の実施形態では、算出平面の信頼性を担保するために、サンプルとして抽出された一致点データ（ir，dj，dpix）の内、パラメータir，dpixのばらつきを分散ＶＥＲir，ＶＥＲdpixによって個別に評価している。そして、双方がばらついている場合のみ、（ir，dj，dpix）平面の空間を算出している。しかしながら、図１５に示すようなケース、すなわち、（ir，dj，dpix）空間でサンプル点（ir，dpix）が略一直線上に並んでしまう極めて稀なケースでは、平面を一義的に特定できないという不都合が生じる。その結果、個々のパラメータir，dpixはばらついているにも拘わらず、不適切なアフィンパラメータθ1，θ2，SHFTJが算出され、距離データの精度低下を招くおそれがある。
【００６９】
そこで、本実施形態では、サンプルとして抽出された全ての一致点データを通る近似直線ＢＬを算出し、この近似直線ＢＬを基準としたばらつきを評価することで、上記不都合を解消する。基本的な処理の流れは、図２から図４に示したフローチャートと同様であるが、ステップ１４の手順のみが相違する。
【００７０】
具体的には、図４のステップ１４において、まず、全てのサンプル点（ir，dpix）を通る近似直線ＢＬを最小二乗法により算出する。つぎに、この近似直線ＢＬを基準とした基準水平位置irのばらつきを分散ＶＥＲirとして算出する。それとともに、近似直線ＢＬを基準とした水平ずれ量dpixのばらつきを分散ＶＥＲdpixとして算出する。算出された分散ＶＥＲir，ＶＥＲdpixは、図１５のケースでは共にほぼ０となり、近似直線ＢＬを基準にしたサンプル点（ir，dpix）のばらつきが大きくなるに従い大きくなる。そして、ステップ１４以降において、第１の実施形態と同様に、パラメータir，dpixのばらつきを評価する。
【００７１】
本実施形態のような分散算出手法を用いることにより、図１５に示すようなケースでは、ステップ１５の判定結果が否定となり、アフィンパラメータが更新されない。その結果、不適切なアフィンパラメータθ1，θ2，SHFTJが算出されるのを回避でき、距離データの精度低下を防止できる。
【発明の効果】
このように、本発明では、ステレオ画像のずれを自動的かつリアルタイムで調整することが可能になる。そして、位置ずれが適切に調整された画像情報に基づいて、対象物の認識を行えば、認識精度の向上を図ることができる。
【図面の簡単な説明】
【図１】本実施形態に係るステレオ式車外監視装置のブロック構成図
【図２】アフィンパラメータの調整手順の一部を示すフローチャート
【図３】図２に続く手順を示すフローチャート
【図４】図３に続く手順を示すフローチャート
【図５】一致点の詳細な算出手順を示すフローチャート
【図６】基準画像における基準領域の説明図
【図７】基準領域に関する輝度データと距離データとの説明図
【図８】一基準領域に関する距離データｄのヒストグラムの説明図
【図９】一基準領域に関するシティブロック距離の分布図
【図１０】極小点近傍におけるシティブロック距離の分布特性の説明図
【図１１】直線近似による一致点の算出手法の説明図
【図１２】基準水平座標irのヒストグラムの説明図
【図１３】水平ずれ量dpixのヒストグラムの説明図
【図１４】ステレオ画像とカメラずれとの関係を示す図
【図１５】（ir，dj，dpix）空間において、サンプル点（ir，dpix）が略一直線上に並んだケースを示す図
【符号の説明】
１  メインカメラ
２  サブカメラ
３  アナログインターフェース
３ａ  ゲインコントロールアンプ
４  Ａ／Ｄコンバータ
５ａ  補正回路
５ｂ  補正回路
６  ステレオ演算回路
７  画像データメモリ
８  距離データメモリ
９  マイクロコンピュータ
１０  認識部
１１  警報装置
１２  制御装置
１３  補正演算部
【図１】
0004053314.tif 000004
【図２】
0004053314.tif 000005
【図３】
0004053314.tif 000006
【図４】
0004053314.tif 000007
【図５】
0004053314.tif 000008
【図６】
0004053314.tif 000009
【図７】
0004053314.tif 000010
【図８】
0004053314.tif 000011
【図９】
0004053314.tif 000012
【図１０】
0004053314.tif 000013
【図１１】
0004053314.tif 000014
【図１２】
0004053314.tif 000015
【図１３】
0004053314.tif 000016
【図１４】
0004053314.tif 000017
【図１５】
0004053314.tif 000018