(57)【特許請求の範囲】
【請求項１】
２つの画像ＩＬ，ＩＲを、それぞれ複数の周波数成分画像
ＩＬをＦＬ1，ＦＬ2，ＦＬ3，…，ＦＬk，ＦＬk+1，…，ＦＬn
ＩＲをＦＲ1，ＦＲ2，ＦＲ3，…，ＦＲk，ＦＲk+1，…，ＦＲn
に展開するとともに各周波数成分画像に対して２次微分処理を施し、前記２次微分処理を施された各画像それぞれを画素毎に３値化することによって得られる３値化周波数成分画像
ＴＬ1，ＴＬ2，ＴＬ3，…，ＴＬk，ＴＬk+1，…，ＴＬn
ＴＲ1，ＴＲ2，ＴＲ3，…，ＴＲk，ＴＲk+1，…，ＴＲn
を用いて画像間の対応付けを行うことを特徴とする画像間対応付け方法。
【請求項２】
２つの画像ＩＬ，ＩＲを、それぞれ複数の周波数成分画像
ＩＬをＦＬ1，ＦＬ2，ＦＬ3，…，ＦＬk，ＦＬk+1，…，ＦＬn
ＩＲをＦＲ1，ＦＲ2，ＦＲ3，…，ＦＲk，ＦＲk+1，…，ＦＲn
に展開するとともに各周波数成分画像に対して２次微分処理を施し、前記２次微分処理を施された各画像それぞれを正の閾値ＴＨ1(＞０)および負の閾値ＴＨ2(＜０)を用いて、画素毎に、
閾値ＴＨ1(＞０)以上の画素をｐ、
閾値ＴＨ2(＜０)以上、閾値ＴＨ1未満の画素をｚ、
閾値ＴＨ2未満の画素をｍ、
とする３値化することによって得られる複数の３値化周波数成分画像
ＴＬ1，ＴＬ2，ＴＬ3，…，ＴＬk，ＴＬk+1，…，ＴＬn
ＴＲ1，ＴＲ2，ＴＲ3，…，ＴＲk，ＴＲk+1，…，ＴＲn
を用いて画像間の対応付けを行うことを特徴とする画像間対応付け方法。
【請求項３】
２つの画像ＩＬ，ＩＲを、それぞれ複数の周波数成分画像
ＩＬをＦＬ1，ＦＬ2，ＦＬ3，…，ＦＬk，ＦＬk+1，…，ＦＬn
ＩＲをＦＲ1，ＦＲ2，ＦＲ3，…，ＦＲk，ＦＲk+1，…，ＦＲn
に展開するとともに各周波数成分画像に対して２次微分処理を施し、前記２次微分処理を施された各画像それぞれを、画素毎に、
ゼロ交差点以外の画素をｚ、
ゼロ交差点で正の傾きを持つ画素をｐ、
ゼロ交差点で負の傾きを持つ画素をｍ、
とする３値化することによって得られる複数の３値化周波数成分画像
ＴＬ1，ＴＬ2，ＴＬ3，…，ＴＬk，ＴＬk+1，…，ＴＬn
ＴＲ1，ＴＲ2，ＴＲ3，…，ＴＲk，ＴＲk+1，…，ＴＲn
を用いて画像間の対応付けを行うことを特徴とする画像間対応付け方法。
【請求項４】
２つの画像ＩＬ，ＩＲを、それぞれ複数の周波数成分画像
ＩＬをＦＬ1，ＦＬ2，ＦＬ3，…，ＦＬk，ＦＬk+1，…，ＦＬn
ＩＲをＦＲ1，ＦＲ2，ＦＲ3，…，ＦＲk，ＦＲk+1，…，ＦＲn
に展開するとともに各周波数成分画像に対して２次微分処理を施し、前記２次微分処理を施された各画像それぞれを、低域周波数成分画像については正の閾値ＴＨ1(＞０)および負の閾値ＴＨ2(＜０)を用いて、画素毎に、
閾値ＴＨ1(＞０)以上の画素をｐ、
閾値ＴＨ2(＜０)以上、閾値ＴＨ1未満の画素をｚ、
閾値ＴＨ2未満の画素をｍ、
とする３値化し、高域周波数成分画像については、画素毎に、
ゼロ交差点以外の画素をｚ、
ゼロ交差点で正の傾きを持つ画素をｐ、
する交差点で負の傾きを持つ画素をｍ、
とする３値化することによって得られる複数の３値化周波数成分画像
ＴＬ1，ＴＬ2，ＴＬ3，…，ＴＬk，ＴＬk+1，…，ＴＬn
ＴＲ1，ＴＲ2，ＴＲ3，…，ＴＲk，ＴＲk+1，…，ＴＲn
を用いて画像間の対応付けを行うことを特徴とする画像間対応付け方法。
【請求項５】
請求項１〜４記載の方法によって得られる、画像ＩＬ，ＩＲのそれぞれの３値化周波数成分画像を用いて画像間の対応付けを行う方法において、基準とする一方の画像ＩＬの３値化周波数成分画像上にＮ画素のサイズの一次元ウィンドゥを設定し、前記一次元ウィンドゥ内Ｎ画素の３値パターンと類似する領域をもう一方の画像ＩＲの３値化周波数成分画像中より探索し、対応領域を決定することを特徴とする画像間対応付け方法。
【請求項６】
請求項５記載の画像間対応付け方法において、Ｎ画素のサイズの一次元ウィンドゥを、基準とする一方の３値化周波数成分画像上をＮ／２画素ずつオーバーラップさせながらかつエピポーラ線上を画面全体について順次走査させながら設定し、前記設定した一次元ウィンドゥ毎に対応付けを行うことを特徴とする画像間対応付け方法。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、画像間対応付け方法に関するものである。
【０００２】
具体的な産業上の応用分野としては、ステレオ画像からの撮影対象空間の距離情報取得、ステレオ画像(立体映像)の情報量圧縮、ステレオ画像(立体映像)の表示制御、動画像からのオプティカルフロー抽出、などに利用することができるものである。
【０００３】
【従来の技術】
ここでは、２つの撮像手段にて得られる２つの画像(ステレオ画像)間の対応付けを行い、その画像間の視差を計測することにより撮影対象空間の距離情報を取得するいわゆるステレオ画像計測の技術を例に、従来の一般的な画像間対応付け方法および画像間視差計測方法について説明する。
【０００４】
図23はステレオ画像計測の原理を説明する図であって、図23において、実空間を表す座標としてｘ，ｙ，ｚを用い、画像面(カメラの撮像面)上の位置を表す座標としてＸ，Ｙを用いる。ただし、２台のカメラ23Ｌ，23Ｒを区別するために、左カメラ23Ｌの画像面上の位置を表す座標としてＸL，ＹLを用い、右カメラ23Ｒの画像面上の位置を表す座標としてＸR，ＹRを用いる。ｘ軸とＸL軸，ｘ軸とＸR軸，ｙ軸とＹL軸，ｙ軸とＹR軸は各々互いに平行であり、ｚ軸は２台のカメラ
23Ｌ，23Ｒの光軸に共に平行であるとする。実空間座標系の原点を左右カメラの投影中心の中点にとり、この投影中心間の距離を基線長と呼びその長さを２aで表すことにする。また、投影中心と画像面との距離(焦点距離)をｆで表す。
【０００５】
今、実空間内の点ｐが左画像面上の点ＰL(ＸL，ＹL)、右画像面上の点ＰR(ＸR，ＹR)にそれぞれ投影されたとする。ステレオ画像計測では、画像面上においてＰL，ＰRを決定し(画像間対応付け)、三角測量の原理に基づいて点ｐの実空間座標(ｘ，ｙ，ｚ)を求める。ここでは、２台のカメラ23Ｌ，23Ｒの光軸が同一平面上にありｘ軸とＸ軸とを平行にとっていることから、ＹLとＹRとは同じ値をとる。画像面上の座標ＸL，ＹL，ＸR，ＹRと実空間内の座標ｘ，ｙ，ｚとの関係は、
【０００６】
【数２】
0003539788.tif 000002
【０００７】
あるいは、
【０００８】
【数３】
0003539788.tif 000003
【０００９】
と求められる。ここで、
【００１０】
【数４】
ｄ＝ＸL−ＸR
は視差ｄを表している(ステレオ画像間視差)。(数３)から、ａ＞０であるので
【００１１】
【数５】
ＸL＞ＸR  かつ  ＹL＝ＹR
これは、一方の画像面上の１点の他方の画像面上での対応点は、エピポーラ線である同じ走査線上、かつＸL＞ＸRの範囲に存在することを表す。したがって、一方の画像上の１点に対応した他方の画像上の点は、対応点が存在する可能性のある直線に沿ったある小領域について画像の類似性を調べて見出すことができる。
【００１２】
次に、類似性の評価方法について説明する。一例として、尾上守夫他編「画像処理ハンドブック」(昭晃堂)に記載された図24に示す従来例の両画像間の相互相関値を調べる方法について説明する。今、左画像2401上のある画素2403に対応する右画像2402中の点(対応点)を決定する。対応点を決定したい左画像2401上の画素2403を中心とする大きさｎ×ｍの矩形小領域2404(以下、小領域という)を設定し、その内部における各点の明るさをＩL(ｉ，ｊ)とする。一方、前出の(数５)の条件を満たす右画像2402上の画素を中心とする大きさｎ×ｍの矩形小領域2405(以下、小領域という)の内部における各点の明るさをＩR(ｉ，ｊ)とする。それぞれの小領域2404，2405についての明るさの平均と分散をμL，μR，σL2，σR2とすると、これらの小領域間の相互相関値は次式で与えられる。
【００１３】
【数６】
0003539788.tif 000004
【００１４】
対応点が存在する可能性のある直線(エピポーラ線)に沿ってこの値を計算し、この値が最大となる部分を対応点とする。この方法では、対応点を画素単位に決定することができ、また対応点が決まればその対応点の座標位置から即座に(数４)を用いて視差ｄが求まることになる。この例からも対応点の決定には非常に多くの演算量を要することがわかる。すなわち対応点を決定する全ての画素について、上式の演算を対応点が存在する可能性のある範囲全域にわたって実行する。
【００１５】
相関計算のための小領域の大きさを小さくすれば演算速度は速くできるが、画像の歪みや雑音の影響を受けやすくなり、対応点検出の安定性が悪くなる。逆に、小領域の大きさを大きくすると、多くの演算時間を要するのみでなく、相関値の変化が緩やかになりすぎ、対応点検出の精度が低下する。小領域の大きさは、対象とする画像の性質により適切に設定することが必要である。さらにこの方法では、(数４)より明らかなように対応付けの結果が即座に視差に反映されるため、誤った対応付けが発生すると、その誤りは計測される視差ｄに直接影響する。すなわち対応付けでの誤りは視差の誤りとなる。
【００１６】
このように、画素毎に対応点を決定する方法では膨大な演算量を必要とする。そこで、画像をある大きさのブロックを単位に分割し、ブロック毎に対応領域を決定する方法がある。ブロック毎に左右画像間の対応領域を求める方法としては、例えば、実吉他“三次元画像認識技術を用いた運転支援システム”、自動車技術会学術講演会前刷集924,pp.169-172(1992-10)がある。
【００１７】
図25は従来例における矩形小領域(ブロック単位)に画像間の対応付けを行う方法を説明する図である。今、左画像2501を基準とし、左画像をｎ×ｍ画素のサイズのブロック2503を単位に分割し、分割されたブロック毎に右画像2502中より対応領域を探索し視差を求める。対応領域決定のための類似度評価式として
【００１８】
【数７】
0003539788.tif 000005
【００１９】
を用いる。ここでＬi，Ｒiはそれぞれ左ブロック2503、右ブロック2504内のｉ番目の画素における輝度である。この評価式は、(数６)のような平均値を引く等の操作を伴わないため類似度評価式(数６)に比べれば演算量も少ないが、それでも、２次元の類似度評価を行うためにはラインメモリが必要となるなど、ハードウェア規模は依然として大きくなりがちであると共に、メモリアクセスの回数も多くなるため処理時間も膨大になる。
【００２０】
また、類似度評価として輝度値を使っているため、正確な対応付けを行うには、対応付け処理を行う前に、左右カメラの感度差調整，シェーディング補正などを行う必要があり、これらの前処理部のハードコストが増大するという難点がある。また、撮影対象空間内に存在する直線などは、左右画像において、図26に問題点の１つを示すように、左右画像2601，2602において傾きの異なる直線2603，2604として撮像されたブロック2605，2606があるため、このような場合には正確な対応領域を決定することが難しくなる。
【００２１】
さらに、図27に問題点の他の１つを示すように左右画像2701，2702においてブロック2703，2704内の画素のみを用いて対応領域を決定するために誤った判定を行う可能性が大きく、また誤った対応付けが発生した場合には、その誤りがそのまま視差の誤りとなることは上述の例と同じことである。
【００２２】
ここで、上述の視差計測方法では、画像データがある周波数でサンプリングされたディジタルデータのために、計測できる視差の最小単位は１画素である。しかるに、さらに精度の高い視差計測を行うことが可能である。
【００２３】
図28は従来の画像間視差計測方法におけるサブピクセル精度の視差を計測する方法を説明する図である。図28は、ブロック毎に(数７)の計算を探索範囲にわたって計算したときの類似度評価値Ｃ(縦軸)のピーク位置付近の様子を表している。ピーク位置およびその前後での視差ｄi，ｄi-1，ｄi+1(画素)と各視差における類似度評価値Ｃi，Ｃi-1，Ｃi+1を用いてサブピクセル精度の視差計測を行う。具体的には、(ｄi-1，Ｃi-1)，(ｄi，Ｃi)の２点を通過する直線2801と、この直線2801と傾きの絶対値は同じで符号が正負反対の直線でしかも点(ｄi+1，Ｃi+1)を通過する直線2802の交点2803を求め、その交点2803での視差ｄsを最終的なブロックの視差とする。
【００２４】
【発明が解決しようとする課題】
したがって、従来の画像間対応付け方法および画像間視差計測方法では、対応付けの際の類似度評価を行うにあたり、(数６)(数７)のような加減乗除算が必要となるためにハードウェアコストが大きくなると共に、処理時間も大きくなる。
【００２５】
また二次元ウィンドゥで類似度評価を行うためにラインメモリが必要となるなどハードウェアコストが大きくなるのみでなく、メモリアクセス回数が多くなるなど処理時間も大きくなる。
【００２６】
また、左右画像の輝度を用いて類似度評価を行っているために、対応付け処理前に、左右カメラの感度差調整やシェーディング補正が必要となるなど、前処理部のハードウェアコストが増大する。
【００２７】
また、視差決定の単位であるブロックと対応付けの単位である２次元ウィンドゥが同一であるために、二次元ウィンドゥの対応付けによって発生した誤りは、対応するブロックの視差の誤りとなる。すなわち、対応付けで発生した誤りを吸収あるい補正する手段が存在しない。
【００２８】
また、ブロック(＝二次元ウィンドゥ)内の画素のみを用いてブロックの対応領域を決定するために、誤った判定を行う可能性が大きい。
【００２９】
本発明は、上記問題点に鑑み、できるだけ少ない演算量、小さいハードウェア構成でもって処理時間を短時間に行い、しかも信頼性・精度共に高い、画像間の対応付け方法を提供することを目的とする。
【００３０】
【課題を解決するための手段】
本発明は上記目的を達成するために、画像間対応付け方法は、第１の手段として、
２つの画像ＩＬ，ＩＲを、それぞれ複数の周波数成分画像
ＩＬをＬ1，Ｌ2，Ｌ3，…，Ｌk，Ｌk+1，…，Ｌn
ＩＲをＲ1，Ｒ2，Ｒ3，…，Ｒk，Ｒk+1，…，Ｒn
に展開すると共に各周波数成分画像に対して２次微分処理を施し、前記２次微分処理を施された各画像それぞれを画素毎に３値化することによって得られる複数の３値化周波数成分画像
ＴＬ1，ＴＬ2，ＴＬ3，…，ＴＬk，ＴＬk+1，…，ＴＬn
ＴＲ1，ＴＲ2，ＴＲ3，…，ＴＲk，ＴＲk+1，…，ＴＲn
を用いて画像間の対応付けを行うことを特徴とする。
【００３１】
また第２の手段として、
対応付けの単位としてＮ画素のサイズの一次元ウィンドゥを用いる。
【００３２】
また、第３の手段として、
Ｎ画素のサイズの一次元ウィンドゥをＮ／２画素ずつ基準画像上をオーバーラップさせながら順次走査しながら設定し、前記設定した一次元ウィンドゥ毎に対応付けを行う。
【００３８】
【作用】
本発明の第１の手段により得られる複数の３値化周波数成分画像は、さまざまな解像度でのエッジ位置を表している。このエッジ位置は基本的には左右カメラの感度差、シェーディング等の影響を受けないため、左右カメラの感度差調整やシェーディング補正などの前処理が不要となり、ハードウェアコストの低減、処理時間の低減ができる。
【００３９】
第２の手段により、対応付けの単位としＮ画素のサイズの一次元ウィンドゥを用いることで、ラインメモリが不要となるためハードウェアコストが低減できるのみならず、メモリアクセスの回数が低減できるので処理時間の低減ができる。
【００４０】
第３の手段により、第６の手段に記載のブロック視差を決定する際にブロック外の画素をも使用することになり、ブロック内の情報のみでは多数の対応領域が存在してしまうような場合でも信頼性の高いブロック視差の決定が可能となる。
【００４４】
したがって、本発明の画像間対応付け方法によれば、従来方法に比べ格段にハードウェア規模を小さくすることが可能であり、したがって、装置を安価に実現できる。
【００４５】
また、対応付けに要する処理時間を格段に低減できる。
【００４８】
【実施例】
以下、本発明の画像間対応付け方法および画像間視差計測方法をステレオ画像計測に実施した場合について説明する。
【００４９】
本発明の画像間対応付け方法および画像間視差計測方法を用いたステレオ画像計測の第１の実施例について説明する。図１は本発明の第１の実施例におけるステレオ画像獲得から視差決定までの処理の流れを示す図である。まず、撮像フェーズ(Ａ)では２台の撮像装置にて左右の２画像を得る(Ｓ101，Ｓ102)。次に、撮像フェーズ(Ａ)で得られた左右画像は、それぞれ特徴抽出フェーズ(Ｂ)にて特徴抽出が施され(Ｓ103，Ｓ104),後段の対応付けフェーズ(Ｃ)にて左右２つの特徴画像間で対応付けが行われる(Ｓ105)。
【００５０】
すなわち、対応付けフェーズ(Ｃ)では、基準とする一方の特徴画像上をある走査規則にしたがって一次元ウィンドゥを走査させることによって、対応付けの単位である前記ウィンドゥを順次設定し、設定した前記一次元ウィンドゥ毎に他方の特徴画像との間で対応付けを行う。
【００５１】
次に視差決定フェーズ(Ｄ)では、基準とする一方の特徴画像をある大きさのブロックにて分割し、各ブロック毎に当該ブロックの画素を包含する前記一次元ウィンドゥの対応付けによって得られた視差を用いてヒストグラムを生成し、例えば、そのピーク位置での視差をブロックの視差と決定する(Ｓ106)。以下、各フェーズで行われる処理について詳細に説明する。
【００５２】
(Ａ)撮像フェーズ
ステレオカメラの構成方法としてはさまざまな方法があるが、本実施例においては左右平行配置(２台のカメラを水平方向に左右配置し、２台のカメラの光軸が平行になるように配置)とした。前述した図23が左右平行配置の理想配置モデルを表している。しかし、実際には２台のカメラを理想配置モデルと全くズレることなく構成することは困難であり、したがってステレオ画像の対応付け方法および視差計測方法自体にこれらの多少のズレを許容できるような柔軟性を持たせることが重要である。
【００５３】
また、以下の実施例の説明においては撮像フェーズ(Ａ)で得られる左右画像は一例として、画像サイズが768(Ｈ)×480(Ｖ)のモノクロ画像として説明するが、本発明はこれらに限定されるものではない。撮像フェーズ(Ａ)にて得られる左右画像を
左画像  ：  ＩＬ（ｘ，ｙ）
右画像  ：  ＩＲ（ｘ，ｙ）
とする。ただし、
１≦ｘ≦768，１≦ｙ≦480
０≦ＩＬ（ｘ，ｙ）≦255，０≦ＩＲ（ｘ，ｙ）≦255
であり、図２のモノクロ画像に示すようにｘは画像水平方向へのインデックス、ｙは画像ライン方向へのインデックスを示し、右方向ｘへ画素番号、下方向ｙへライン番号を示している。
【００５４】
また対応付けを行う際には、いずれか一方の画像を基準にし、他方の画像から対応領域を探索する。本実施例では左画像を基準とし、基準となる左画像を図７に示すようにＭ×Ｌ画素のサイズのブロックで分割する。一例として、ＭおよびＬを16とし、16×16画素のサイズのブロックで分割する。したがって、左画像は水平方向48、垂直方向30の領域すなわち1440個のブロックに分割される。ブロックの識別子として、以下、ＢＬ(Ｘ，Ｙ)を用いることにする。すなわち、
ブロック識別子：ＢＬ（Ｘ，Ｙ），１≦Ｘ≦48，１≦Ｙ≦30
とする。
【００５５】
(Ｂ)特徴抽出フェーズ
特徴抽出フェーズ(Ｂ)では、撮像フェーズ(Ａ)で得られた２つの左右画像ＩＬ，ＩＲをそれぞれ複数の周波数成分画像
ＩＬをＬ1，Ｌ2，Ｌ3，…，Ｌk，Ｌk+1，…,Ｌn
ＩＲをＲ1，Ｒ2，Ｒ3，…，Ｒk，Ｒk+1，…,Ｒn
に展開すると共に各周波数成分画像に対して２次微分処理を施し、前記２次微分処理を施された各画像それぞれを画素毎に３値化し、下記のような３値化周波数成分画像
ＴＬ1，ＴＬ2，ＴＬ3，…，ＴＬk，ＴＬk+1，…，ＴＬn
ＴＲ1，ＴＲ2，ＴＲ3，…，ＴＲk，ＴＲk+1，…，ＴＲn
を得る。この操作は、さまざまな解像度でのエッジを抽出している。このような操作を行う第１の目的は、
・エッジ位置は基本的にはカメラ間の感度差やシェーディングの影響を受けない。という性質を利用することによって、前処理としての、カメラ間の感度差補正やシェーディング補正をすることなしに正確な対応付けを可能とすることにある。さらに、３値化する目的は、類似度評価をできるだけ小規模なハードウェア構成で実現することにある。
【００５６】
第２の目的は、
・低域成分エッジは、ノイズには影響されにくいが、位置精度はあまりよくない。
・高域成分エッジは、ノイズには影響されやすいが、位置精度は良い。
【００５７】
という性質を利用することによって、できるだけノイズの影響を受けずに、しかも精度の良い対応付けを行うことにある。
【００５８】
次に、３値化の具体的方法について説明する。図６は第１の実施例および後記第３の実施例における低周波数成分画像の３値化方法を示す図であり、上記全ての周波数成分画像を、図６に示すように、正の閾値ＴＨ1(＞０)および負の閾値ＴＨ2(＜０)で、画素毎に３値化する。例えば、
ＴＨ2未満のとき、           ……−１
ＴＨ2以上、ＴＨ1未満のとき、……０
ＴＨ1より大きいとき、       ……１
上記のごとく３値化された画像(３値化周波数成分画像)は、画像エッジ部の特にピーク位置(正または負)付近で１または−１、それ以外の点で０と表現される。この３値化方法は、回路構成は簡単でノイズに対しても比較的影響を受けにくいという特徴があるが、左右画像ＩＬ・ＩＲに感度差がある場合などは閾値付近の画素で、量子化誤差により、エッジ位置情報として数画素の誤差が発生する可能性がある。
【００５９】
図３は、図１の特徴抽出フェーズ(Ｂ)での処理を実現する第１の装置例のブロック図である。特徴抽出フェーズ(Ｂ)に入力される左(右)画像ＩＬ(ＩＲ)は撮像フェーズ(Ａ)にて得られる左(右)画像ＩＬ(ＩＲ)であり、fc(Ｈz)に帯域制限されているものとする。図３に例示する入力された画像ＩＬは、複数の低域通過フィルタ(以下、ＬＰＦという)および高域通過フィルタ(以下、ＨＰＦという)の組み合わせにより、それぞれ異なる周波数成分を有する帯域信号に展開され(周波数成分画像ＦＬk)、それぞれ３値化処理(Ｆ)にて３値化される(３値化周波数成分画像ＴＬk)。なお、前記ＨＰＦは２次微分性を有する高域通過フィルタである。このような構成のブロック図で展開される周波数成分画像ＦＬkの周波数分割例(帯域分割例)を図４に示す。
【００６０】
このようにして得られる複数の３値化周波数成分画像ＴＬkは、各周波数成分画像中に含まれるエッジ位置を表しており、後段の対応付けフェーズ(Ｃ)にて、左右画像間の対応付けに利用される。ただし、展開する周波数成分画像ＦＬkの数やそれぞれの周波数帯域幅などは、所望する性能と許容されるコストに合わせて最適な組み合わせを選択する必要がある。
【００６１】
また図５は図１の特徴抽出フェーズ(Ｂ)での処理を実現する第２の装置例のブロック図である。この例で使用するラプラシアン・ガウシアン・フィルタσのベースとなるラプラシアンガウシアン関数(▽2Ｇ)はガウス関数の２階微分をとることにより与えられる。一次元の場合、
【００６２】
【数９】
0003539788.tif 000006
【００６３】
二次元の場合
【００６４】
【数１０】
0003539788.tif 000007
【００６５】
ただし、ｒ2＝ｉ2＋ｊ2，σ2は、ガウス関数の分散を示す。
【００６６】
この関数と画像とのコンボリューションをとる(ラプラシアン・ガウシアン・フィルタ)ことは、画像にガウシアンフィルタをかけて平滑化した後に(ＬＰＦ)，２階微分(ラプラシアン、ＨＰＦ)をとる操作とみなすことができる。σの値を変えることによって、複数の解像度(スケール)におけるエッジ抽出を行うことができ、画像処理において広く利用されている。
【００６７】
このような方法により、画像を複数の周波数成分画像へ展開し、それぞれを３値化することによって得られる３値化周波数成分は、
左３値化周波数成分画像：ＴＬ1(ｘ，ｙ)，ＴＬ2(ｘ，ｙ)，ＴＬ3(ｘ，ｙ)…
右３値化周波数成分画像：ＴＲ1(ｘ，ｙ)，ＴＲ2(ｘ，ｙ)，ＴＲ3(ｘ，ｙ)…
となる。
【００６８】
ここで、
【００６９】
【数１１】
１≦ｘ≦768，１≦ｙ≦480
−１≦ＴＬ1(ｘ，ｙ)，ＴＬ2(ｘ，ｙ)，ＴＬ3(ｘ，ｙ)……≦１、
−１≦ＴＲ1(ｘ，ｙ)，ＴＲ2(ｘ，ｙ)，ＴＲ3(ｘ，ｙ)……≦１
は、後段の対応付けフェーズ(Ｃ)へと送られ、左右画像間の対応付けに使用される。
【００７０】
(Ｃ)対応付けフェーズ
対応付けフェーズでは、特徴抽出フェーズ(Ｂ)にて３値化された複数の左右３値化周波数成分画像を用いて、左右画像の対応付けを行う。対応付けを行う際には、いずれか一方の画像を基準にし、他方の画像から対応領域を探索する。撮像フェーズ(Ａ)でも説明したように、本実施例では左画像を基準とした場合について説明する。基準となる左画像を、図７に示すようなＭ×Ｌ画素のブロックで分割したものと同様に、図８に示すように左３値化周波数成分画像ＴＬkすべてを同様なブロックに分割する。左３値化周波数成分画像ＴＬkのブロック識別子として、以下、ＢＬk(Ｘ，Ｙ)を用いることにする。すなわち、
ブロック識別子：ＢＬk(Ｘ，Ｙ)、１≦Ｘ≦48、１≦Ｙ≦30
本実施例の対応付けでは、奇数ラインについてのみ行い(対応付けの対象となる走査線のことを特に対象走査線という)、しかも対応付けフェーズ以降、偶数ラインの情報は全く利用しない。
【００７１】
まず、図８に示すように、左３値化周波数成分画像ＴＬk(ｘ，ｙ)の奇数ライン(対象走査線)上を、水平方向16(＝Ｍ)画素のサイズの一次元ウィンドゥを、８(＝Ｍ／２)画素ずつオーバーラップさせながら移動させる。これにより、対象走査線１ライン当たりの一次元ウィンドゥ走査によって95個のウィンドゥが設定され、設定された一次元ウィンドゥ毎に、右３値化周波数成分画像ＴＲk(ｘ，ｙ)中より対応候補領域を決定する。前記一次元ウィンドウの識別子として、以下、ＷＮk(Ｉ，Ｊ)を用いることにする。
【００７２】
ウィンドゥ識別子：ＷＮk(Ｉ，Ｊ)、１≦Ｉ≦95、１≦Ｊ≦240
ここで、図９に示すように、ブロックＢＬk(Ｘ，Ｙ)内に完全に包含される一次元ウィンドゥ901は８個存在し、それらはブロックインデックスＸ，Ｙを用いて、
【００７３】
【数１２】
ＷＮk(Ｉ，Ｊ)＝ＷＮk(２Ｘ−１，８(Ｙ−１)＋ｕ)
ただし、１≦ｕ≦８
と表現することができる。また、ブロックＢＬk(Ｘ，Ｙ)内の８(＝Ｍ／２)画素とブロックＢＬk(Ｘ−１，Ｙ)内の８(＝Ｍ／２)画素を含む一次元ウィンドゥ902も８個存在し、それらはブロックインデックスＸ，Ｙを用いて、
【００７４】
【数１３】
ＷＮk(Ｉ，Ｊ)＝ＷＮk(２Ｘ−２，８(Ｙ−１)＋ｕ)
ただし、１≦ｕ≦８
と表現することができる。また、ブロックＢＬk(Ｘ，Ｙ)内の８(＝Ｍ／２)画素とブロックＢＬk(Ｘ＋１，Ｙ)内の８(＝Ｍ／２)画素を含む一次元ウィンドゥ903も８個存在し、それらはブロックインデックスＸ，Ｙを用いて、
【００７５】
【数１４】
ＷＮk(Ｉ，Ｊ)＝ＷＮk(２Ｘ,８(Ｙ−１)＋ｕ)
ただし、１≦ｕ≦８
と表現することができる。
【００７６】
対応付けの単位として一次元ウィンドゥを使用する目的は、従来の二次元ウィンドゥに比べて、小規模なハードウェアで構成できる、メモリアクセスの回数が少ないために処理時間を短縮できる、ことにある。
【００７７】
また、一次元ウィンドゥを８(＝Ｍ／２)画素ずつオーバーラップさせながら設定する目的は、ブロックの視差を決定する際にブロック内の画素のみでは一意に対応領域を決定しにくいような場合にも周辺の画素を使用することによって信頼性の高い対応領域決定ができるようにすることにある。
【００７８】
次に、上述のごとく設定される一次元ウィンドゥ毎に対応領域を決定する方法について説明する。図10に示すように、左３値化周波数成分画像ＴＬk上に設定された一次元ウィンドゥ毎に対応領域を右３値化周波数成分画像ＴＲk中より探索する。探索は、一次元ウィンドゥ内に包含される左右３値化周波数成分画像
ＴＬk，ＴＲkの類似度を前記(数８)によって評価し、各一次元ウィンドゥ毎に、最も類似度の高い領域での視差(disp)を第一候補視差(disp1)、２番目に類似度の高い領域での視差(disp)を第二候補視差(disp2)とする。すなわち、各一次元ウィンドゥ毎に第二候補まで決定する。
【００７９】
上述のごとく各一次元ウィンドゥごとの対応付けによって得られる第一候補視差および第二候補視差は最終的な視差ではなく視差の候補である。最終的な視差は後段の視差決定フェーズにて前記分割されたブロック単位に前記第一候補視差および、あるいは第二候補視差を用いて決定される。
【００８０】
次に、類似度の具体的評価方法について図11を用いて説明する。類似度の評価は、基準となる左３値化周波数成分画像ＴＬk上に設定された水平方向16(＝Ｍ)画素のサイズの一次元ウィンドゥ内の16画素と、右３値化周波数成分画像ＴＲk中の対応領域存在可能範囲内における水平方向の16画素との比較により行う。すなわち、対応する画素毎に、
共に  ０の画素    ：Ｚ
共に  １の画素    ：Ｐ
共に−１の画素    ：Ｐ
その他の組み合わせ：０
と記号化する操作(画素毎の評価)を対象の一次元ウィンドゥ内16画素について行い、しかも、複数の３値化周波数成分画像ＴＬk，ＴＲk間で行い、
【００８１】
【数１５】
Ｅall＝Σβk(Ｐの数)k＋Σγk(Ｚの数)k
ただし、
βk，γk：重み係数
(Ｐの数)k，(Ｚの数)k：ＴＬk，ＴＲk間の一次元ウィンドゥ毎評価結果
を算出する。類似度評価値Ｅallが大きいほど類似度が高いと評価する。(数15)におけるkは、k＝１〜ｎでもよいし、一部のみ使用してもよい。また、(数15)における右辺第１項は対応付けのための特徴であるエッジ点における一致画素数を表しており、この数が大きいほど対応付け結果の信頼性は高く、小さい場合は信頼性が低いと考えられる。したがって、第一候補視差における類似度評価結果において右辺第１項がある閾値ＴＨ3より小さいときにはその候補視差を無効とすることにより、誤った対応付けを棄却することができる。
【００８２】
さて、左画像の奇数ライン上を８(＝Ｍ／２)画素ずつオーバーラップしながら走査される各一次元ウィンドゥ毎に決定された第一候補視差(disp1)、第二候補視差(disp2)は、例えば図12に示すように格納用メモリ(格納領域)に格納される。ただし、図12では格納領域を、画像イメージとの対応がわかりやすくなるように描いてあるが、実際には空白の部分の領域(メモリ)は必要ない。
【００８３】
(Ｄ)視差決定フェーズ
視差決定フェーズでは、前記対応付けフェーズ(Ｃ)にて一次元ウィンドゥ毎に決定された第一候補視差(disp1)、第二候補視差(disp2)を用いて、各ブロック
(1440個のブロック)の視差を決定する。
【００８４】
ブロックの視差決定方法について図13を用いて説明する。図13は、ブロックＢＬ(Ｘ，Ｙ)の視差を決定する方法について説明図である。図13に示す破線内に存在する第一候補視差(disp1)、第二候補視差(disp2)は、ブロックＢＬ(Ｘ，Ｙ)内に存在する画素を少なくとも８画素含む一次元ウィンドゥの対応付けによって決定されたものであり、ブロックＢＬ(Ｘ，Ｙ)の視差を決定するためには図13の破線内に格納されている第一候補視差(disp1)および、あるいは第二候補視差(disp2)を用いて(本実施例では全24組)、図14に示すような視差のヒストグラムを生成する。生成したヒストグラムのピーク位置での視差ｄiをブロックＢＬ(Ｘ，Ｙ)の視差として決定する。
【００８５】
従来の技術で説明した２番目の例では、ブロック単位に画像を分割し、対応付けの際の類似度評価も前記ブロック毎に、しかもブロック内の画素のみを用いて行っていたため、類似している領域が複数存在する場合には、誤対応を起こしやすいのみならず、対応付けで発生した誤りがそのままそのブロックの視差の誤りとなる。
【００８６】
ところが本発明のブロック毎の視差計測方法、すなわち、互いにオーバーラップさせた複数の一次元ウィンドゥの対応付け結果から、ブロック毎にヒストグラムを生成し、前記ヒストグラムのピーク位置での視差をブロックＢＬ(Ｘ，Ｙ)の視差とすることによって、一次元ウィンドゥ毎に実行された対応付けに誤りの対応付けが発生しても(誤った候補視差が計測されても)、この誤りを吸収することができる。
【００８７】
また、オーバーラップ・一次元ウィンドゥ走査の結果として、ブロックの視差を決定する際に、ブロック外の画素をも用いていることになり、類似した領域が存在するような場合でも視差の誤計測が発生しにくいという特徴がある。
【００８８】
このような視差計測方法では、画像データがある周波数でサンプリングされたディジタルデータのために、計測できる視差の最小単位は１画素である。さらに精度の高い視差計測が必要な場合には、以下に述べる方法によってサブピクセル精度での計測を行うことが可能である。
【００８９】
図15を用いてその方法について説明する。図15は、前述したような方法によってブロック毎に生成した視差のヒストグラムにおいて、ピーク位置を与える視差付近の度数分布を表している。ピーク位置dsおよびその前後での視差ｄi，ｄi-1，ｄi+1(画素)と各視差における頻度値ｈi，ｈi-1，ｈi+1を用いてサブピクセルの視差計測を行う。具体的には、(ｄi-1，ｈi-1)、(ｄi，ｈi)の２点を通過する直線1501と、直線1501と傾きの絶対値は同じで符号が正負反対の直線でしかも点(ｄi+1，ｈi+1)を通過する直線1502の交点1503を求め、その交点1503における視差ｄsを最終的なブロックの視差とする。説明したサブピクセル視差計測方法は、従来の技術の項で説明した(数７)による類似度評価値Ｃを用いる方法とは、ヒストグラムの頻度値を用いる点で本質的に異なるものである。
【００９０】
本発明の画像対応付け方法および画像間視差計測方法を用いたステレオ画像計測の第２の実施例について説明する。図16は本発明の第２の実施例におけるステレオ画像獲得から視差決定までの処理の流れを示す図である。まず、撮像フェーズ(Ａ)では２台の撮像装置にて左右の２画像を得る(Ｓ1601，Ｓ1602)。撮像フェーズ(Ａ)での処理は、前記第１の実施例と全く同じである。次に、撮像フェーズ(Ａ)で得られた左右画像は、それぞれ特徴抽出フェーズ(Ｂ′)にて特徴抽出が施され(Ｓ1603，Ｓ1604)、後段の対応付けフェーズ(Ｃ)にて左右２つの特徴画像間で対応付けが行われ(Ｓ1605)、さらに視差決定フェーズ(Ｄ)でブロック単位に視差が決定される(Ｓ1606)。対応付けフェーズ(Ｃ)、視差決定フェーズ(Ｄ)の処理についても第１の実施例と全く同じである。
【００９１】
以下、第２の実施例において第１の実施例と異なる部分、すなわち特徴抽出フェーズ(Ｂ′)で行われる処理について詳細に説明する。
【００９２】
(Ｂ′)特徴抽出フェーズ
特徴抽出フェーズ(Ｂ′)では、撮像フェーズ(Ａ)で得られた画像ＩＬ，ＩＲをそれぞれ複数の周波数成分画像
ＩＬをＬ1，Ｌ2，Ｌ3，……，Ｌk，Ｌk+1，……，Ｌn
ＩＲをＲ1，Ｒ2，Ｒ3，……，Ｒk，Ｒk+1，……，Ｒn
に展開するとともに各周波数成分画像に対して２次微分処理を施し、前記２次微分処理を施された各画像それぞれを画素毎に３値化し、下記のような３値化周波数成分画像
ＴＬ1，ＴＬ2，ＴＬ3，……，ＴＬk，ＴＬk+1，……，ＴＬn
ＴＲ1，ＴＲ2，ＴＲ3，……，ＴＲk，ＴＲk+1，……，ＴＲn
を得る。処理の流れおよびその目的は、第１の実施例における特徴抽出フェーズ(Ｂ′)と同じである。
【００９３】
次に、第１の実施例とは異なる部分、すなわち３値化の方法について説明する。図19は第２の実施例における周波数成分画像の３値化方法を示し、上記すべての周波数成分画像を、図19に示すように、画素毎にゼロ交差点か否か、またゼロ交差点であればその傾きが正か負かにより計３種に分類することによって３値化する。例えば、
ゼロ交差点以外の画素を          ……０
ゼロ交差点で正の傾きを持つ画素を……１
ゼロ交差点で負の傾きを持つ画素を……−１
上記のごとく３値化された画像(３値化周波数成分画像)は、画像エッジ部の特に変曲点(＝ゼロ交差点)で１または−１、それ以外の点で０と表現されるため、第１の実施例における３値化処理(Ｆ)に比較してより正確なエッジ位置を表現することができる。この第２の実施例における３値化処理(Ｇ)にもまして左右画像の感度差に影響されないという特徴があり、したがって、エッジの位置情報としての精度はよいが、ゼロ交差点の検出はノイズの影響を受けやすいという欠点がある。
【００９４】
図17は図16の特徴抽出フェーズ(Ｂ′)での処理を実現する第１の装置例のブロック図である。特徴抽出フェーズ(Ｂ′)に入力される左画像ＩＬは撮像フェーズ(Ａ)にて得られる画像であり、fc(Ｈz)に帯域制限されているものとする。入力された画像は、複数の低域通過フィルタ(ＬＰＦ)および高域通過フィルタ(ＨＰＦ)の組み合わせにより、それぞれ異なる周波数成分を有する帯域信号に展開される(周波数成分画像ＦＬk)。この処理は第１の実施例と同じである。展開された周波数成分画像ＦＬkそれぞれは上述した３値化処理(Ｇ)にて３値化される(３値化周波数成分画像ＴＬk)。
【００９５】
このようにして得られる複数の３値化周波数成分画像ＴＬkは、各周波数成分画像中に含まれるエッジ位置を表しており、後段の対応付けフェーズ(Ｃ)にて、左右画像間の対応付けに利用される。ただし、展開する周波数成分画像の数やそれぞれの周波数帯域幅などは、所望する性能と許容されるコストに合わせて最適な組み合わせを選択する必要があることは第１の実施例と同じである。
【００９６】
また図18は、図16の特徴抽出フェーズ(Ｂ′)での処理を実現する第２の装置例のブロック図であり、前記第１の実施例の図５と同様の構成であるが、第１の実施例と異なる点は、３値化処理(Ｇ)の部分である。
【００９７】
このように、画像を複数の周波数成分画像ＦＬkへ展開し、それぞれを３値化することによって得られる３値化周波数成分画像ＴＬkは、後段の対応付けフェーズ(Ｃ)へと送られ一次元ウィンドゥ毎の対応付けが施された後、視差決定フェーズ(Ｄ)にてブロック毎に視差が決定される。
【００９８】
本発明の画像対応付け方法および画像間視差計測方法を用いたステレオ画像計測の第３の実施例について説明する。図20は本発明の第３の実施例におけるステレオ画像獲得から視差決定までの処理の流れを示す図である。まず、撮像フェーズ(Ａ)では２台の撮像装置にて左右の２画像を得る(Ｓ2001，Ｓ2002)。撮像フェーズ(Ａ)での処理は、前記第１および第２の実施例と全く同じである。次に、撮像フェーズ(Ａ)で得られた左右画像は、それぞれ特徴抽出フェーズ(Ｂ″)にて特徴抽出が施され(Ｓ2003，Ｓ2004)、後段の対応付けフェーズ(Ｃ)にて左右２つの特徴画像間で対応付けが行われ(Ｓ2005)、さらに視差決定フェーズ(Ｄ)でブロック単位に視差が決定される(Ｓ2006)。対応付けフェーズ(Ｃ),視差決定フェーズ(Ｄ)の処理についても第１および第２の実施例と全く同じである。
【００９９】
以下、第３の実施例において第１および第２の実施例と異なる部分、すなわち特徴抽出フェーズ(Ｂ″)で行われる処理について詳細に説明する。
【０１００】
(Ｂ″)特徴抽出フェーズ
特徴抽出フェーズ(Ｂ″)では、撮像フェーズ(Ａ)で得られた画像ＩＬ，ＩＲを、それぞれ複数の周波数成分画像
ＩＬをＬ1，Ｌ2，Ｌ3，……，Ｌk，Ｌk+1，……，Ｌn
ＩＲをＲ1，Ｒ2，Ｒ3，……，Ｒk，Ｒk+1，……，Ｒn
に展開するとともに各周波数成分画像に対して２次微分処理を施し、前記２次微分処理を施された各画像それぞれを画素毎に３値化し、下記のような３値化周波数成分画像
ＴＬ1，ＴＬ2，ＴＬ3，……，ＴＬk，ＴＬk+1，……，ＴＬn
ＴＲ1，ＴＲ2，ＴＲ3，……，ＴＲk，ＴＲk+1，……，ＴＲn
を得る。処理の流れおよびその目的は、第１および第２の実施例における特徴抽出フェーズ(Ｂ′)，(Ｂ″)と同じである。
【０１０１】
次に、第１および第２の実施例とは異なる部分、すなわち３値化について説明する。第３の実施例においては、上記周波数成分画像を低域周波数成分画像については、第１の実施例に記載の３値化処理(Ｆ)、高域周波数成分画像については、第２の実施例に記載の３値化処理(Ｇ)で３値化する。高域周波数成分画像は低域周波数成分画像に比べてより正確なエッジ位置情報を持っており、それを有効に利用するために、高域周波数成分画像の３値化にはゼロ交差点表現を用いる。ただし、この３値化処理(Ｇ)によって得られるエッジ情報にはノイズによる誤ったエッジ情報が含まれやすい。逆に、低域周波数成分画像はエッジ位置情報としてはあまり正確でないため閾値による３値化方法を用いるが、この３値化処理(Ｆ)によって得られるエッジ情報にはノイズによる誤ったエッジ情報は少ない。
【０１０２】
図21は図20の特徴抽出フェーズ(Ｂ″)での処理を実現するための第１の装置例のブロック図である。特徴抽出フェーズ(Ｂ″)に入力される左画像ＩＬは撮像フェーズ(Ａ)にて得られる画像であり、fc(Ｈz)に帯域制限されているものとする。入力された画像は、複数の低域通過フィルタ(ＬＰＦ)および高域通過フィルタ(ＨＰＦ)の組み合わせにより、それぞれ異なる周波数成分を有する帯域信号に展開される(周波数成分画像ＦＬk)。この処理は第１および第２の実施例と同じである。展開された周波数成分画像ＦＬkそれぞれは、低域周波数成分画像については第１の実施例に記載の３値化処理(Ｆ)、高域周波数成分画像については、第２の実施例に記載の３値化処理(Ｇ)にて３値化される(３値化周波数成分画像
ＴＬk)。
【０１０３】
このようにして得られる複数の３値化周波成分画像ＴＬkは、各周波数成分画像中に含まれるエッジ位置を表しており、後段の対応付けフェーズ(Ｃ)にて、左右画像間の対応付けに利用される。ただし、展開する周波数成分画像の数やそれぞれの周波数帯域幅、さらに、３値化処理(Ｆ)および３値化処理(Ｇ)の各周波数成分画像への選択適用方法などは、所望する性能と許容されるコストに合わせて最適な組み合わせを選択する必要がある。
【０１０４】
また図22は、図20の特徴抽出フェーズ(Ｂ″)での処理を実現するための第２の装置例のブロック図であり、前記第１，第２の実施例の図５，図８と同様の構成であるが、第１および第２の実施例と異なる点は３値化処理の部分のみである。
【０１０５】
このように、画像を複数の周波数成分画像へ展開し、それぞれを３値化することによって得られる３値化周波数成分画像は、後段の対応付けフェーズ(Ｃ)へと送られ一次元ウィンドゥ毎の対応付けが施された後、視差決定フェーズ(Ｄ)にてブロック毎に視差が決定される。
【０１０６】
以上、本発明の画像間対応付け方法および画像間視差計測方法の応用例として、ステレオ画像計測について、第１，第２，第３の実施例を挙げて説明した。本実施例においては、ステレオカメラとして左右平行配置のカメラを用いたが、本発明はこれに限定されるものではない。さらに、本実施例においては、対象走査線として奇数ラインのみを用いた場合について説明したが、偶数ラインのみを用いた場合にも同様の結果を期待できる。また、すべてのラインを対象走査線とした場合には、処理量は本実施例の約２倍になるが計測視差の信頼性の向上が期待できる。さらに本実施例では、ウィンドゥサイズは水平方向Ｍ＝16画素、ブロックのサイズをＭ×Ｌ＝16×16画素としたが、本発明はこれに限定されるものでは当然ない。
【０１０７】
【発明の効果】
以上説明したように、本発明の画像間対応付け方法によれば、少ない演算量で、小規模・安価なハードウェア構成で、処理時間を高速に、しかも信頼性・精度ともに高い、画像間対応付け・画像間視差計測が実現できる。
【０１０８】
したがって、一例として、逐次入力されるステレオ画像より常に視差を計測し、視差の変化を監視しつづけることによって、踏切内での障害物を検知したり、侵入者を検知したりするなど、産業用監視装置の実用化が可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施例におけるステレオ画像獲得から視差決定までの処理の流れを示すブロック図である。
【図２】本発明の画像間対応付け方法および画像間視差計測方法の一実施例について説明する際に使用するモノクロ画像についての説明図である。
【図３】図１の特徴抽出フェーズ(Ｂ)での処理を実現する第１の装置例のブロック図である。
【図４】図３，図17，図21の特徴抽出フェーズの処理装置にて実現される周波数成分画像への展開された周波数分割例を示す図である。
【図５】図１の特徴抽出フェーズ(Ｂ)での処理を実現する第２の装置例のブロック図である。
【図６】本発明の第１の実施例における周波数成分画像の３値化方法と第３の実施例における低域周波数成分画像の３値化方法についての説明図である。
【図７】本発明の視差決定単位であるブロックを単位とした画像の分割例を説明するための図である。
【図８】本発明の対応付けの単位である一次元ウィンドゥの走査方法を説明する図である。
【図９】本発明の対応付けの単位である一次元ウィンドゥの走査と視差決定単位であるブロックの関係を説明する図である。
【図１０】本発明の一次元ウィンドゥ毎の視差候補決定方法を説明する図である。
【図１１】本発明の一次元ウィンドゥ毎の類似度評価方法を説明する図である。
【図１２】本発明の一次元ウィンドゥ毎に決定された候補視差を一時蓄積するための格納領域(メモリ)の一例について説明する図である。
【図１３】本発明の一次元ウィンドゥ毎に決定された格納領域に一時蓄積された候補視差を用いて、ブロック毎にヒストグラムを生成する方法の説明図である。
【図１４】本発明のブロック毎に生成されるヒストグラムの一例を示す図である。
【図１５】本発明のブロック毎に生成されたヒストグラムからサブピクセル精度の視差を計測する方法の説明図である。
【図１６】本発明の第２の実施例におけるステレオ画像獲得から視差決定までの処理の流れを示す図である。
【図１７】図16の特徴抽出フェーズ(Ｂ″)での処理を実現する第１の装置例のブロック図である。
【図１８】図16の特徴抽出フェーズ(Ｂ″)での処理を実現する第２の装置例のブロック図である。
【図１９】本発明の第２の実施例における周波数成分画像の３値化方法と第３の実施例における高域周波数成分画像の３値化方法についての説明図である。
【図２０】本発明の第３の実施例におけるステレオ画像獲得から視差決定までの処理の流れを示す図である。
【図２１】図20の特徴抽出フェーズ(Ｂ″)での処理を実現する第１の装置例のブロック図である。
【図２２】図20の特徴抽出フェーズ(Ｂ″)での処理を実現する第２の装置例のブロック図である。
【図２３】ステレオ画像計測の原理を説明する図である。
【図２４】従来例における両画像間の相互相関値を調べる方法を説明する図である。
【図２５】従来例における矩形小領域(ブロック)単位に画像間の対応付けを行う方法を説明する図である。
【図２６】従来における問題点の１つを説明する図である。
【図２７】従来における問題点の他の１つを説明する図である。
【図２８】従来の画像間視差計測方法におけるサブピクセル精度の視差を計測する方法を説明する図である。
【符号の説明】
901…ブロックＢＬk(Ｘ，Ｙ)内に完全に包含される一次元ウィンドゥ、  902…ブロックＢＬk(Ｘ，Ｙ)内の８画素と、ブロックＢＬk(Ｘ−１，Ｙ)内の８画素を含む一次元ウィンドゥ、  903…ブロックＢＬk(Ｘ，Ｙ)内の８画素と、ブロックＢＬk(Ｘ＋１，Ｙ)内の８画素を含む一次元ウィンドゥ、  1501…(ｄi-1，ｈi-1)、(ｄi，ｈi)の２点を通過する直線、  1502…直線1501と傾きの絶対値は同じで符号が正負反対の直線で、しかも、点(ｄi+1，ｈi+1)を通過する直線、  2801…(ｄi-1，Ｃi-1)、(ｄi，Ｃi)の２点を通過する直線、  2802…直線2801と傾きの絶対値は同じで符号が正負反対の直線で、しかも、点(ｄi+1，Ｃi+1)を通過する直線、  23Ｌ，23Ｒ…カメラ、  2401，2501，2601，2701…左画像、  2402，2502，2602，2702…右画像、2403…画素、  2404，2405…矩形小領域、  2503，2504，2605，2606，2703，2704…ブロック、  1501，1502，2603，2604，2801，2802…直線、  1503，2803…交点、  (Ａ)…撮像フェーズ、  (Ｂ)，(Ｂ′)，(Ｂ″)…特徴抽出フェーズ、  (Ｃ)…対応付けフェーズ、  (Ｄ)…視差決定フェーズ、  (Ｓ101)，(Ｓ1601)，(Ｓ2001)…撮像(左画像)、  (Ｓ102)，(Ｓ1602)，(Ｓ2002)…撮像(右画像)、  (Ｓ103)，(Ｓ104)，(Ｓ1603)，(Ｓ1604)，(Ｓ2003)，(Ｓ2004)…特徴抽出、  (Ｓ105)，(Ｓ1605)，(Ｓ2005)…対応付け、  (Ｓ106)，(Ｓ1606)，(Ｓ2006)…視差決定。
【図１】
0003539788.tif 000008
【図２】
0003539788.tif 000009
【図３】
0003539788.tif 000010
【図４】
0003539788.tif 000011
【図５】
0003539788.tif 000012
【図６】
0003539788.tif 000013
【図７】
0003539788.tif 000014
【図８】
0003539788.tif 000015
【図９】
0003539788.tif 000016
【図１０】
0003539788.tif 000017
【図１１】
0003539788.tif 000018
【図１２】
0003539788.tif 000019
【図１３】
0003539788.tif 000020
【図１４】
0003539788.tif 000021
【図１５】
0003539788.tif 000022
【図１６】
0003539788.tif 000023
【図１７】
0003539788.tif 000024
【図１８】
0003539788.tif 000025
【図１９】
0003539788.tif 000026
【図２０】
0003539788.tif 000027
【図２１】
0003539788.tif 000028
【図２２】
0003539788.tif 000029
【図２３】
0003539788.tif 000030
【図２４】
0003539788.tif 000031
【図２５】
0003539788.tif 000032
【図２６】
0003539788.tif 000033
【図２７】
0003539788.tif 000034
【図２８】
0003539788.tif 000035