(57)【要約】【課題】位相差解析を応用した画像処理により、ステレオ画像の第１画像内で指定される注目点の座標に対する第２画像内の対応点の座標の偏差を、高精度かつ比較的軽い演算負荷で算出する対応点探索処理を実現できること。【解決手段】画像処理プロセッサ１３は、プログラムモジュール１３１、１３３〜１３５を実行することにより、注目点の座標に対する対応点の座標の偏差の座標である対応点偏差座標のとり得る範囲を示す基準候補領域における、注目点に対応するエピポーラ線に相当する第１の直線に沿う一部のエピポーラ線相当領域を特定し、周波数成分及び２つの位相画像における周波数成分に応じた位相差を所定の式に適用して得られる第２の直線と重なる重複領域を特定し、重複領域の座標に応じた対応点偏差座標を導出する。【選択図】図１
2011198167.tif 000002
【特許請求の範囲】
【請求項１】
ステレオ画像を構成する第１画像及び第２画像各々に相当する空間周波数領域での位相画像である第１位相画像及び第２位相画像に基づいて、前記第１画像内で指定される注目点に対応する前記第２画像内の対応点の座標を導出する対応点探索処理を実行する画像処理装置であって、
前記第１画像における前記注目点の座標に対する前記第２画像における前記対応点の座標の偏差の座標である対応点偏差座標のとり得る範囲を示す基準候補領域における、前記注目点に対応するエピポーラ線に相当する第１の直線に沿う一部のエピポーラ線相当領域を特定するエピポーラ線相当領域特定部と、
前記第１位相画像と前記第２位相画像との間における周波数成分に応じた位相差を算出する位相差算出部と、
前記エピポーラ線相当領域内で、周波数成分及び該周波数成分に対応する前記位相差を予め定められた式に適用することにより得られる前記基準候補領域内の第２の直線と重なる重複領域を特定する重複領域特定部と、
前記重複領域の座標に応じた前記対応点偏差座標を導出する偏差座標導出部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記重複領域特定部は、前記基準候補領域が離散化された部分領域である複数の単位領域のうち、前記エピポーラ線相当領域と前記第２の直線とが重なる部分を含む前記単位領域を前記重複領域として特定する請求項１に記載の画像処理装置。
【請求項３】
前記エピポーラ線相当領域特定部は、複数の前記単位領域のうち前記第１の直線と重なる前記単位領域の集合を前記エピポーラ線相当領域として特定する請求項２に記載の画像処理装置。
【請求項４】
前記エピポーラ線相当領域特定部は、複数の前記単位領域のうち前記第１の直線に対して予め定められた範囲内に存在する前記単位領域の集合を前記エピポーラ線相当領域として特定する請求項２に記載の画像処理装置。
【請求項５】
前記エピポーラ線相当領域特定部は、前記基準候補領域内の前記第１の直線と一致する部分を前記エピポーラ線相当領域として特定する請求項２に記載の画像処理装置。
【請求項６】
前記位相差算出部及び前記重複領域特定部は、予め定められた終了条件が成立するまで周波数成分各々について前記位相差の算出及び該位相差に対応する前記重複領域の特定を順次実行し、
前記偏差座標導出部は、前記重複領域特定部により複数の周波数成分各々について順次特定される前記重複領域における前記単位領域各々に対して投票値を順次積算し、前記基準候補領域における前記投票値の積算値のピーク位置の座標を前記対応点偏差座標として特定する請求項２から請求項５のいずれかに記載の画像処理装置。
【請求項７】
前記位相差算出部及び前記重複領域特定部は、予め定められた終了条件が成立するまで周波数成分各々について前記位相差の算出及び該位相差に対応する前記重複領域の特定を順次実行し、
前記偏差座標導出部は、前記重複領域特定部により複数の周波数成分各々について順次特定される前記重複領域における前記単位領域各々に対して、前記第１の直線との位置関係に応じて重み付けされた投票値を順次積算し、前記基準候補領域における前記投票値の積算値のピーク位置の座標を前記対応点偏差座標として特定する請求項４に記載の画像処理装置。
【請求項８】
前記終了条件は、前記単位領域各々における前記投票値の積算値が予め定められた条件を満たすことである請求項６又は請求項７に記載の画像処理装置。
【請求項９】
前記終了条件は、予め定められた個数の周波数成分について前記位相差の算出及び該位相差に対応する前記重複領域の特定が行われたことである請求項６又は請求項７に記載の画像処理装置。
【請求項１０】
前記エピポーラ線相当領域特定部は、前記基準候補領域内の前記第１の直線と一致する部分を前記エピポーラ線相当領域として特定し、
前記重複領域特定部は、前記第１の直線と前記第２の直線との交点を前記重複領域として特定し、
前記偏差座標導出部は、前記基準候補領域における複数の前記交点の座標を統合した座標を前記対応点偏差座標として導出する請求項１に記載の画像処理装置。
【請求項１１】
前記エピポーラ線相当領域特定部は、前記基準候補領域内の前記第１の直線と一致する部分を前記エピポーラ線相当領域として特定し、
前記重複領域特定部は、前記第１の直線と前記第２の直線との交点を前記重複領域として特定し、
前記偏差座標導出部は、前記基準候補領域における１つの前記交点の座標を前記対応点偏差座標として導出する請求項１に記載の画像処理装置。
【請求項１２】
前記エピポーラ線相当領域特定部は、記憶部に予め記憶された換算情報に基づいて、前記第１画像における前記注目点の座標から前記基準候補領域における前記第１の直線の位置を算出し、算出された前記第１の直線の位置に基づいて前記エピポーラ線相当領域を特定する請求項１から請求項１１のいずれかに記載の画像処理装置。
【請求項１３】
前記エピポーラ線相当領域特定部は、前記注目点の座標の候補に対応して記憶部に予め記憶された前記エピポーラ線相当領域を表す情報に従って前記エピポーラ線相当領域を特定する請求項１から請求項１１のいずれかに記載の画像処理装置。
【請求項１４】
前記基準候補領域の座標系における一の座標軸と前記第１の直線とが平行となるように前記基準候補領域を設定する平行化処理部を備える請求項１から請求項１３のいずれかに記載の画像処理装置。
【請求項１５】
ステレオ画像を構成する第１画像及び第２画像各々に相当する空間周波数領域での位相画像である第１位相画像及び第２位相画像に基づいて、前記第１画像内で指定される注目点に対応する前記第２画像内の対応点の座標を導出する対応点探索処理をコンピュータに実行させるための画像処理プログラムであって、
前記第１画像における前記注目点の座標に対する前記第２画像における前記対応点の座標の偏差の座標である対応点偏差座標のとり得る範囲を示す基準候補領域における、前記注目点に対応するエピポーラ線に相当する第１の直線に沿う一部のエピポーラ線相当領域を特定するエピポーラ線相当領域特処理と、
前記第１位相画像と前記第２位相画像との間における周波数成分に応じた位相差を算出する位相差算処理と、
前記エピポーラ線相当領域内で、周波数成分及び該周波数成分に対応する前記位相差を予め定められた式に適用することにより得られる前記基準候補領域内の第２の直線と重なる重複領域を特定する重複領域特処理と、
前記重複領域の座標に応じた前記対応点偏差座標を導出する偏差座標導出処理と、
をコンピュータに実行させるための画像処理装置プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ステレオ画像の第１画像内で指定される注目点に対応する第２画像内の対応点の座標を導出する対応点探索処理を実行するための画像処理装置及び画像処理プログラムに関するものである。
【背景技術】
【０００２】
対象物を異なる視点から見た複数の画像からなるステレオ画像を用いた対応点探索処理は、三次元画像計測及びコンピュータビジョンなどの様々な分野において重要な画像処理技術である。ステレオ画像に基づく対応点探索処理は、ステレオ画像を構成する第１画像及び第２画像に基づいて、第１画像内で指定される注目点に対応する第２画像内の対応点の座標を導出する処理である。また、対応点は、第１画像における注目点の画像に対して相関の高い画像が存在する第２画像内の点である。また、昨今、対応点探索処理において、対応点の座標を高精度で導出することが求められている。
【０００３】
従来、精度の高い対応点探索処理の手法として、位相差解析（Phase-difference Spectrum Analysis）の手法が存在する。以下、その手法のことをＰＳＡ法と称する。ＰＳＡ法は、例えば、非特許文献１、非特許文献２、特許文献１及び特許文献２などに示されている。
【０００４】
以下、図１７〜図１９を参照しつつ、ＰＳＡ法について説明する。ＰＳＡ法は、以下に示される手順により、第１画像における注目点の座標(x01, y01)に対する第２画像における対応点の座標(x02, y02)の偏差の座標(dx0, dy0)を導出する手法である。以下、その偏差の座標を、対応点偏差座標と称する。なお、(dx0, dy0) = (x02-x01, y02-y01)である。
【０００５】
ＰＳＡ法では、第１画像及び第２画像各々に相当する空間周波数領域での位相画像である第１位相画像及び第２位相画像が算出される。これらの位相画像は、第１画像及び第２画像各々に対して２次元離散的フーリエ変換を施すことによって得られる。
【０００６】
次に、両位相画像の周波数成分各々について、第１位相画像と第２位相画像との間の周波数成分(u, v)に応じた位相差Δθ(u, v)が算出される。なお、u及びvは、周波数空間における座標値である。
【０００７】
また、ＰＳＡ法では、対応点偏差座標(dx0, dy0)のとり得る範囲を示す投票空間１００が設定される。投票空間１００は、予め定められた空間周期で複数の単位領域に区分されることによって離散化されている。その空間周期に応じて対応点偏差座標(dx0, dy0)の導出の分解能（精度）が定まる。
【０００８】
図１７は、投票空間１００の一例を示す模式図である。図１７に示される例では、投票空間１００は、ΔＸ軸方向及びΔＹ軸方向の各々において１０個の区間に離散化されている。投票空間１００における予め定められた空間周期で区分（離散化）された複数の単位領域は、投票領域２０と称される。投票空間１００の設定は、画像処理装置が、投票領域２０の配列に相当するデータ領域をメモリ内に確保することを意味する。即ち、投票領域２０各々は、メモリ内に確保されるデータ領域における要素データ各々に対応する。投票空間１００の大きさ及び投票領域２０の空間周期は、適用対象に応じて予め決定される。
【０００９】
そして、ＰＳＡ法では、周波数成分(u,v)、その周波数成分に基づく位相差Δθ(u, v)及び投票空間における座標(dx,dy)を変数とする所定の式に、周波数成分(u,v)及びその周波数成分に基づき算出される位相差Δθ(u, v)を適用することにより、投票空間１００内の直線（一次式）が導出される。そのようにして導出される一次式は、一般に、投票関数と称される。周波数成分(u,v)及びその周波数成分(u,v)に対応する位相差Δθ(u, v)を、周波数成分(u,v)、位相差Δθ(u, v)及び座標(dx,dy)を変数（パラメータ）とする所定の式に適用することにより得られる投票空間１００内の直線は、周波数成分(u,v)に応じて定まる対応点偏差座標(dx0, dy0)の候補となる位置を表す。以下、この直線のことを、候補直線と称する。
【００１０】
図１８は、ある１つの周波数成分(u, v)に対応する一本の候補直線３２を含む投票空間１００の一例を示す模式図である。周波数成分(u,v)及び位相差Δθ(u, v)を投票関数に適用することにより、投票空間１００の座標系における直線である候補直線３２を表す一次式が得られる。ＰＳＡ法においては、画像処理装置が、投票空間１００にプロットされた候補直線３２と重なる投票領域２０を特定する。以下、このようにして特定される投票領域２０を特定投票領域２３と称する。図１８において、特定投票領域２３は砂模様の網掛けが付されている。
【００１１】
さらに、ＰＳＡ法では、周波数成分(u, v)各々について、候補直線３２の導出と、その候補直線３２と重なる特定投票領域２３の特定とが順次繰り返される。さらに、特定投票領域２３が特定されるごとに、その特定投票領域２３に対して所定の投票値を順次積算する処理が実行される。
【００１２】
図１９は、複数の周波数成分(u, v)各々に対応する複数の候補直線３２を含む投票空間１００の状態の一例を示す模式図である。 図１９において、１つの候補直線３２のみと重なる特定投票領域２３は、砂模様の網掛けが付され、複数の候補直線３２と重なる特定投票領域２３は、斜線の網掛け又は黒塗りが付されている。複数の周波数成分(u, v)各々について投票直線３２の導出と特定投票領域２３の特定とが繰り返されれることにより、図１９に示される状態が得られる。
【００１３】
そして、ＰＳＡ法では、全ての周波数成分(u, v)について、特定投票領域２３の特定及び投票値の積算が終了したときに、投票値の積算値のピーク位置の座標が、対応点偏差座標(dx0, dy0)として特定される。また、第２画像における対応点の座標(x02, y02)は、第１画像における注目点の座標(x01, y01)と対応点偏差座標(dx0, dy0)とに基づいて算出される。
【００１４】
投票値の積算値のピーク位置の座標は、例えば、投票値の積算値が最大である特定投票領域２３（投票領域２０）の座標、又は投票値の積算値を重み係数とする特定投票領域２３の集合の重心位置の座標などである。図１９は、投票値の積算値が最大である特定投票領域２３が、投票値の積算値のピーク位置２３０（黒塗り部分）として特定された様子を示す。
【００１５】
一方、ステレオ画像において成立する法則として、エピポーラ幾何の法則が知られている。エピポーラ幾何の詳細は、例えば、非特許文献３に示されている。エピポーラ幾何によれば、ステレオ画像の第１画像において１つの注目点が指定されると、ステレオ画像の第２画像において、第１画像の注目点に対応する対応点の位置は、エピポーラ線と称される直線上に限定される。第２画像におけるエピポーラ線の位置は、実験的に導出することができ、また、ステレオ画像を撮像する２つのカメラの特性及びそれらの位置関係に基づく理論計算によっても導出することができる。
【先行技術文献】
【特許文献】
【００１６】
【特許文献１】特開２００１−１７５８６４号公報
【特許文献２】特開２００３−０９９７８７号公報
【非特許文献】
【００１７】
【非特許文献１】Isamu KOUZAKI, Tomonori KANEKO, Minoru ITO, "Precise and reliable image shift detection by a new phase-difference spectrum analysis", IEICE TRANSACTIONS on Information and Systems Academic Journal 2004, E87D/1 58-65
【非特許文献２】幸月  勇  他４名、「位相差からの高精度な画像シフト量検出法」、画像の認識・理解シンポジウム(MIRU 2002)、発行  2002年7月、II-379 - II-384
【非特許文献３】徐  剛、辻  三郎、「３次元ビジョン」、発行  1998年4月20日  共立出版株式会社、P.61-77
【発明の概要】
【発明が解決しようとする課題】
【００１８】
しかしながら、従来のＰＳＡ法は、投票空間１００における全ての投票領域２０と全ての周波数成分(u,v)との組合せ各々について、投票値の積算を行うべきか否かの判別が必要となるため、投票処理の演算負荷が高い。また、投票空間１００における投票領域２０の区分の数を少なくすることにより、投票処理の演算負荷は軽減されるが、対応点の座標の算出精度が悪化する。そのため、従来のＰＳＡ法は、対応点の座標の算出の高精度化と高速化とを両立することが難しいという問題点があった。
【００１９】
また、エピポーラ幾何の法則を用いるだけでは、第１画像の注目点に対応する第２画像の対応点の座標を一意に特定することはではない。
【００２０】
本発明の目的は、ＰＳＡ法を応用した画像処理により、ステレオ画像の第１画像内で指定される注目点の座標に対する第２画像内の対応点の座標の偏差を、高精度かつ比較的軽い演算負荷で算出する対応点探索処理を実現できることである。
【課題を解決するための手段】
【００２１】
本発明に係る画像処理装置は、ステレオ画像を構成する第１画像及び第２画像各々に相当する空間周波数領域での位相画像である第１位相画像及び第２位相画像に基づいて、前記第１画像内で指定される注目点に対応する前記第２画像内の対応点の座標を導出する対応点探索処理を実行する装置であり、以下の各構成要素を備える。
（１）第１の構成要素は、前記第１画像における前記注目点の座標に対する前記第２画像における前記対応点の座標の偏差の座標である対応点偏差座標のとり得る範囲を示す基準候補領域における、前記注目点に対応するエピポーラ線に相当する第１の直線に沿う一部のエピポーラ線相当領域を特定するエピポーラ線相当領域特定部である。
（２）第２の構成要素は、前記第１位相画像と前記第２位相画像との間における周波数成分に応じた位相差を算出する位相差算出部である。
（３）第３の構成要素は、前記エピポーラ線相当領域内で、周波数成分及び該周波数成分に対応する前記位相差を予め定められた式に適用することにより得られる前記基準候補領域内の第２の直線と重なる重複領域を特定する重複領域特定部である。
（４）第４の構成要素は、前記重複領域の座標に応じた前記対応点偏差座標を導出する偏差座標導出部である。
【００２２】
また、本発明に係る画像処理装置において、前記重複領域特定部は、前記基準候補領域が離散化された部分領域である複数の投票領域のうち、前記エピポーラ線相当領域と前記第２の直線とが重なる部分を含む前記投票領域を前記重複領域として特定することが考えられる。
【００２３】
また、本発明に係る画像処理装置において、前記エピポーラ線相当領域特定部は、次の（１−１）〜（１−３）のいずれかに示される処理を行うことが考えられる。
（１−１）前記エピポーラ線相当領域特定部は、複数の前記投票領域のうち前記第１の直線と重なる前記投票領域の集合を前記エピポーラ線相当領域として特定する。
（１−２）前記エピポーラ線相当領域特定部は、複数の前記投票領域のうち前記第１の直線に対して予め定められた範囲内に存在する前記投票領域の集合を前記エピポーラ線相当領域として特定する。
（１−３）前記エピポーラ線相当領域特定部は、前記基準候補領域内の前記第１の直線と一致する部分を前記エピポーラ線相当領域として特定する。
【００２４】
また、本発明に係る画像処理装置において、各構成要素が次の（２−１）及び（２−２）に示される処理を行うことが考えられる。
（２−１）前記位相差算出部及び前記重複領域特定部は、予め定められた終了条件が成立するまで周波数成分各々について前記位相差の算出及び該位相差に対応する前記重複領域の特定を順次実行する。
（２−２）前記偏差座標導出部は、前記重複領域特定部により複数の周波数成分各々について順次特定される前記重複領域における前記投票領域各々に対して投票値を順次積算し、前記基準候補領域における前記投票値の積算値のピーク位置の座標を前記対応点偏差座標として特定する。
【００２５】
また、本発明に係る画像処理装置において、前記エピポーラ線相当領域特定部が、（１−２）に示される処理を行う場合、各構成要素が次の（３−１）及び（３−２）に示される処理を行うことが考えられる。
（３−１）前記位相差算出部及び前記重複領域特定部は、予め定められた終了条件が成立するまで周波数成分各々について前記位相差の算出及び該位相差に対応する前記重複領域の特定を順次実行する。
（３−２）前記偏差座標導出部は、前記重複領域特定部により複数の周波数成分各々について順次特定される前記重複領域における前記投票領域各々に対して、前記第１の直線との位置関係に応じて重み付けされた投票値を順次積算し、前記基準候補領域における前記投票値の積算値のピーク位置の座標を前記対応点偏差座標として特定する。
【００２６】
また、前記終了条件は、次の（４−１）又は（４−２）のいずれかの条件であることが考えられる。
（４−１）前記終了条件は、前記投票領域各々における前記投票値の積算値が予め定められた条件を満たすことである。
（４−２）前記終了条件は、予め定められた個数の周波数成分について前記位相差の算出及びその位相差に対応する前記重複領域の特定が行われたことである。
【００２７】
また、本発明に係る画像処理装置において、各構成要素が次の（５−１）、（５−２）及び（５−３）に示される処理を行うことが考えられる。
（５−１）前記エピポーラ線相当領域特定部は、前記基準候補領域内の前記第１の直線と一致する部分を前記エピポーラ線相当領域として特定する。
（５−２）前記重複領域特定部は、前記第１の直線と前記第２の直線との交点を前記重複領域として特定する。
（５−３）前記偏差座標導出部は、前記基準候補領域における複数の前記交点の座標を統合した座標を前記対応点偏差座標として導出する。
【００２８】
また、本発明に係る画像処理装置において、各構成要素が次の（６−１）、（６−２）及び（６−３）に示される処理を行うことが考えられる。
（６−１）前記エピポーラ線相当領域特定部は、前記基準候補領域内の前記第１の直線と一致する部分を前記エピポーラ線相当領域として特定する。
（６−２）前記重複領域特定部は、前記第１の直線と前記第２の直線との交点を前記重複領域として特定する。
（６−３）前記偏差座標導出部は、前記基準候補領域における１つの前記交点の座標を前記対応点偏差座標として導出する。
【００２９】
また、本発明に係る画像処理装置において、前記エピポーラ線相当領域特定部が次の（７−１）又は（７−２）に示される処理を行うことが考えられる。
（７−１）前記エピポーラ線相当領域特定部は、記憶部に予め記憶された換算情報に基づいて、前記第１画像における前記注目点の座標から前記基準候補領域における前記第１の直線の位置を算出し、算出された前記第１の直線の位置に基づいて前記エピポーラ線相当領域を特定する。
（７−２）前記エピポーラ線相当領域特定部は、前記注目点の座標の候補に対応して記憶部に予め記憶された前記エピポーラ線相当領域を表す情報に従って前記エピポーラ線相当領域を特定する。
【００３０】
また、本発明に係る画像処理装置が、前記基準候補領域の座標系における一の座標軸と前記第１の直線とが平行となるように前記基準候補領域を設定する平行化処理部を備えることも考えられる。
【００３１】
また、本発明は、以上に示した本発明に係る画像処理装置が備える各構成要素が実行する処理をコンピュータ（プロセッサ）に実行させるための画像処理プログラムとして構成されることも考えられる。
【発明の効果】
【００３２】
本発明においては、基準候補領域において、エピポーラ線に相当する第１の直線に沿う領域と、周波数成分に応じて定まる直線と、が重なる重複領域の座標に基づいて、対応点偏差座標が導出される。ここで、対応点偏差座標は、ステレオ画像の第１画像における注目点の座標とステレオ画像の第２画像における対応点の座標との偏差の座標である。また、基準候補領域は、対応点偏差座標のとり得る範囲を示す領域である。この基準候補領域は、従来のＰＳＡ法における投票空間に相当する。本発明においては、対応点の探索範囲が、基準候補領域のうちの第１の直線に沿う一部の領域（エピポーラ線相当領域）に限定される。従って、エピポーラ線相当領域内における対応点の探索（重複領域の特定）が、高い空間分解能で実行された場合でも、演算負荷は比較的低く抑えられる。そのため、本発明によれば、注目点の座標に対する対応点の座標の偏差を、高精度かつ比較的軽い演算負荷で算出する対応点探索処理を実現することが可能となる。
【００３３】
また、エピポーラ線に相当する第１の直線と重なる前記投票領域の集合のみが、前記エピポーラ線相当領域として特定されることにより、前記エピポーラ線相当領域がより狭く限定され、演算負荷の低減効果が一層高まる。この手法は、エピポーラ線に相当する第１の直線の位置の精度（信頼性）が特に高い場合に有効である。なお、基準候補領域内の前記第１の直線と一致する部分が、前記エピポーラ線相当領域として特定される場合も同様の作用効果を奏する。
【００３４】
一方、第１の直線の位置は、各種の誤差により、本来の位置から多少ずれる状況が考えられる。その場合、第１の直線に対して予め定められた範囲内に存在する投票領域の集合を、前記エピポーラ線相当領域として特定することが有効である。これにより、第１の直線の位置ずれの可能性が考慮されるとともに、エピポーラ幾何の法則を基準した高精度での対応点探索が可能となる。
【００３５】
また、本発明において、（２−１）及び（２−２）に示される処理が実行される場合、従来のＰＳＡ法と同様に投票処理が行われることになる。但し、本発明においては、投票処理の対象となる領域が、従来のＰＳＡ法に比べてごく狭く限定される。そのため、本発明における投票処理は、従来のＰＳＡ法における投票処理よりも格段に演算負荷が低い。
【００３６】
また、本発明において、（３−２）に示される処理は、前記エピポーラ線相当領域が、エピポーラ線に相当する第１の直線を基準に一定の幅を有する場合に、第１の直線との位置関係に応じて重み付けされた投票値を積算する処理である。これにより、第１の直線の位置が、本来の位置から多少ずれている可能性が考慮されるとともに、エピポーラ幾何の法則をより重視した対応点探索が可能となる。
【００３７】
また、本発明において、例えば、（４−１）又は（４−２）に示されるような終了条件の成立をもって投票処理を終了することにより、演算負荷のさらなる低減が可能となる。本発明においては、エピポーラ幾何の法則に基づいて、基準候補領域の中で対応点偏差座標である又はそれに近い位置である可能性の高い一部の領域のみが、重複領域として特定される。即ち、投票処理において、投票値は、対応点偏差座標である又はそれに近い位置である可能性の高い一部の領域のみに集中的に積算される。従って、本発明においては、比較的少ない周波数成分についての投票処理が終了した段階で、投票値の積算値の分布に基づく対応点偏差座標の特定が行われても、高い精度が確保される。
【００３８】
一方、本発明において、（５−１）〜（５−３）又は（６−１）〜（６−３）に示される処理が行われることにより、従来のＰＳＡ法と同様の投票処理を行うことなく対応点偏差座標の導出が可能となる。
【００３９】
また、エピポーラ線相当領域が、（７−１）に示される処理によって特定されることにより、エピポーラ線相当領域の情報を予め記憶するためのメモリを用意する必要がなくなる。一方、エピポーラ線相当領域が、（７−２）に示される処理によって特定されることにより、エピポーラ線相当領域を特定するために要する時間を短縮することが可能となる。
【００４０】
また、本発明に係る画像処理装置が、平行化処理部を備えることにより、重複領域を特定するための演算負荷が低減され、画像処理の演算負荷がさらに低減される。
【図面の簡単な説明】
【００４１】
【図１】本発明の実施形態に係る画像処理装置の概略ブロック図である。
【図２】本発明の第１実施形態に係る画像処理装置による対応点探索処理の手順を表すフローチャートである。
【図３】投票空間におけるエピポーラ線相当領域の第１例を示す模式図である。
【図４】投票空間におけるエピポーラ線相当領域の第２例を示す模式図である。
【図５】投票空間におけるエピポーラ線相当領域の第３例を示す模式図である。
【図６】投票空間におけるエピポーラ線相当領域の第１例と一本の候補直線とが重なる重複領域の第１例を示す模式図である。
【図７】投票空間におけるエピポーラ線相当領域の第２例と一本の候補直線とが重なる重複領域の第２例を示す模式図である。
【図８】投票空間におけるエピポーラ線相当領域の第３例と一本の候補直線とが重なる重複領域の第３例を示す模式図である。
【図９】投票空間におけるエピポーラ線相当領域の第１例と複数本の候補直線とが重なる重複領域の第１例を示す模式図である。
【図１０】投票空間におけるエピポーラ線相当領域の第２例と複数本の候補直線とが重なる重複領域の第２例を示す模式図である。
【図１１】投票空間におけるエピポーラ線相当領域の第３例と複数本の候補直線とが重なる重複領域の第３例を示す模式図である。
【図１２】本発明の第２実施形態に係る画像処理装置による対応点探索処理の手順を表すフローチャートである。
【図１３】対応点偏差座標のとり得る範囲である基準候補領域の模式図である。
【図１４】基準候補領域におけるエピポーラ線に相当する直線を示す模式図である。
【図１５】基準候補領域におけるエピポーラ線に相当する直線と一本の候補直線とが交差する状態を示す模式図である。
【図１６】基準候補領域におけるエピポーラ線に相当する直線と複数の候補直線とが交差する状態を示す模式図である。
【図１７】ＰＳＡ法における投票空間を示す模式図である。
【図１８】一本の候補直線を含む投票空間の一例を示す模式図である。
【図１９】複数の候補直線を含む投票空間の一例を示す模式図である。
【発明を実施するための形態】
【００４２】
以下添付図面を参照しながら、本発明の実施の形態について説明する。なお、以下の実施の形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定するものではない。なお、以下の説明においては、特段の解説がない限り、「画像」という用語は、画像データと同じ意味で用いられている。
【００４３】
まず、図１に示されるブロック図を参照しつつ、本発明の実施形態に係る画像処理装置１０の構成について説明する。画像処理装置１０は、後述する第１実施形態及び第２実施形態の両方において採用されるハードウェア構成を有している。図１に示されるように、画像処理装置１０は、画像入力インターフェース１１、フレームメモリ１２、画像処理プロセッサ１３、ＲＯＭ(Read Only Memory)（１４）及びデータ出力インターフェース１５を備える。
【００４４】
画像入力インターフェース１１は、ステレオ画像を撮像する２台のカメラ１，２各々から、撮像によって得られる画像を入力し、その画像をフレームメモリ１２に記録する回路基板である。２台のカメラ１，２は、同一の撮像対象を異なる方向から撮像するように配置され、これにより、２台のカメラ１，２により得られる２つの画像は、ステレオ画像を構成する。以下、第１のカメラ１により得られる画像を第１画像、第２のカメラにより得られる画像を第２画像と称する。
【００４５】
フレームメモリ１２は、画像が記録される高速メモリである。画像入力インターフェース１１によってフレームメモリ１２に記録された画像は、画像処理プロセッサ１３によって読み出されたり、加工されたりする。
【００４６】
画像処理プロセッサ１３は、ＤＳＰ(Digital Signal Processor)又はＭＰＵ(Micro Processor Unit)などのプロセッサにより構成されている。画像処理プロセッサ１３は、ＲＯＭ（１１）に予め記憶された画像処理プログラムを実行することにより、ステレオ画像に基づく対応点探索処理を実行する。
【００４７】
画像処理プログラムは、エピポーラ処理モジュール１３１、フーリエ変換モジュール１３２、位相画像処理モジュール１３３、重複領域処理モジュール１３４及び対応点座標算計算モジュール１３５などのプログラムモジュールを含む。画像処理プロセッサ１３は、それらのプログラムモジュール１３１〜１３５を主メモリに展開して実行することにより、各プログラムモジュール１３１〜１３５によって規定される処理を実行する複数のハードウェアの集合体として機能する。
【００４８】
即ち、画像処理プロセッサ１３は、エピポーラ幾何に関する処理を行うエピポーラ処理部、フーリエ変換に関する処理を行うフーリエ変換部、位相画像に関する演算を行う位相画像処理部、後述する重複領域の特定に関する演算を行う重複領域処理部及び対応点座標の演算を行う対応点座標演算部として機能する。
【００４９】
ＲＯＭ（１４）は、画像処理プロセッサ１３によって実行される画像処理プログラム及び画像処理プロセッサ１３が参照する各種のデータを記憶するメモリである。
【００５０】
データ出力インターフェース１５は、画像処理プロセッサ１３から引き渡される画像処理の結果のデータを、当該画像処理装置１０の外部の装置へ出力する回路基板である。
【００５１】
＜＜第１実施形態＞＞
次に、図２に示されるフローチャートを参照しつつ、本発明の第１実施形態に係る画像処理装置が実行する対応点探索処理について説明する。フローチャートにおいて、Ｓ１〜Ｓ１１は、処理の手順の識別符号を表す。前述したように、本実施形態に係る画像処理装置は、図１に示した画像処理装置１０のハードウェア構成を備えている。以下の説明では、便宜上、本実施形態に係る画像処理装置を第１画像処理装置と称する。
【００５２】
図２に示される対応点探索処理が開始される前に、画像入力インターフェース１１が、ステレオ画像を構成する第１画像及び第２画像の各データを予めフレームメモリ１２に記録する。また、対応点探索処理は、予め指定される第１画像内の１つ又は複数の注目点（注目点の座標）ごとに実行される。注目点（注目点の座標）の情報は、例えば、ＲＯＭ（１４）に予め記憶されること、又は、不図示のデータ入力インターフェースを通じて外部装置から入力されることが考えられる。
【００５３】
＜ステップＳ１＞
画像処理装置１０による対応点探索処理において、画像処理プロセッサ１３は、図１７に示されるような投票空間１００、即ち、複数の投票領域２０の配列を設定する（Ｓ１）。より具体的には、画像処理プロセッサ１３は、フレームメモリ１２内に、投票空間１００の投票領域２０各々に相当するデータが配列されるメモリ領域を確保する。このステップＳ１の処理は、例えば、画像処理プロセッサ１３がエピポーラ処理モジュール１３１を実行することにより実現される。
【００５４】
前述したように、投票空間１００は、対応点偏差座標(dx0,dy0)のとり得る範囲を示す領域である。また、対応点偏差座標(dx0,dy0)は、第１画像における注目点の座標(x10,y10)に対する第２画像における対応点の座標(x20,y20)の偏差の座標である。従って、投票空間１００の座標軸の一方は、第１画像における注目点のＸ軸方向の座標値x0に対する第２画像におけるＸ軸方向の各座標値の偏差dxの座用軸であり、他方は、第１画像における注目点のＹ軸方向の座標値y0に対する第２画像におけるＹ軸方向の各座標値の偏差dyの座用軸である。図１７において、座標値dxの座標軸はΔＸと記され、座標値dyの座標軸はΔＹと記されている。
【００５５】
投票空間１００を特定するための投票空間１００の範囲（上限及び下限の境界値）及び２つの座標軸各々の方向における投票領域２０の数（区分数）の情報は、第１画像処理装置が適用される対象に応じて予め与えられる。その情報は、例えば、ＲＯＭ（１４）に予め記憶されること、又は不図示のデータ入力インターフェースを通じて外部装置から入力されることが考えられる。なお、投票空間は、前記基準候補領域の一例である。
【００５６】
＜ステップＳ２＞
次に、画像処理プロセッサ１３は、投票空間１００内の一部の領域であるエピポーラ線相当領域を設定する（Ｓ２）。このステップＳ２の処理は、画像処理プロセッサ１３がエピポーラ処理モジュール１３１を実行することにより実現される。なお、エピポーラ処理モジュール１３１を実行する画像処理プロセッサ１３が、前記エピポーラ線相当領域特定部の一例である。
【００５７】
エピポーラ線相当領域は、投票空間１００内における、注目点に対応するエピポーラ線に相当する直線に沿う一部の領域である。また、注目点に対応するエピポーラ線に相当する直線は、注目点の座標に応じて一意に定まる第２画像内のエピポーラ線に対し、第２画像の座標系から投票空間１００の座標系への座標系変換を施すことにより得られる直線である。以下、この直線のことをエピポーラ線相当の直線３１と称する。
【００５８】
以下、図３から図５を参照しつつ、エピポーラ線相当の直線３１に沿うエピポーラ線相当領域の設定方法の具体例について説明する。図３から図５は、それぞれ、投票空間１００におけるエピポーラ線相当領域２１の第１例から第３例の各々を示す模式図である。図３から図５において、エピポーラ線相当領域２１には砂模様の網掛けが付されている。
【００５９】
図３に示される第１例は、画像処理プロセッサ１３が、複数の投票領域２０のうち、エピポーラ線相当の直線３１と重なる投票領域２０の集合をエピポーラ線相当領域２１として特定した例である。
【００６０】
また、図４に示される第２例は、画像処理プロセッサ１３が、複数の投票領域２０のうち、エピポーラ線相当の直線３１に対して予め定められた範囲内に存在する投票領域２０の集合をエピポーラ線相当領域２１として特定した例である。図４に示される例では、エピポーラ線相当の直線３１と重なる投票領域２０と、その投票領域２０に隣接する投票領域２０とが、エピポーラ線相当領域２１として特定されている。
【００６１】
また、図５に示される第３例は、画像処理プロセッサ１３が、投票空間内のエピポーラ線相当の直線３１と一致する部分をエピポーラ線相当領域２１として特定した例である。
【００６２】
第１画像における注目点に対応する第２画像におけるエピポーラ線の位置は、実験的に導出することができ、また、ステレオ画像を撮像する２つのカメラ１，２の特性及びそれらの位置関係に基づく理論計算によっても導出することができる。その方法は、非特許文献３などに示されるように周知であるので、ここでは説明を省略する。また、既知の情報に基づいて、第２画像の座標系から投票空間１００の座標系への座標変換を行うことができる。
【００６３】
従って、エピポーラ線相当の直線３１も、実験的に導出することができ、また、２つのカメラ１，２の特性及びそれらの位置関係に基づく理論計算によっても導出することができる。画像処理プロセッサ１３がエピポーラ線相当領域を特定する方法は、例えば、次の２通りの方法が考えられる。
【００６４】
第１の方法は、ＲＯＭ（１４）などの記憶部に予め記憶された換算情報に基づいて、第１画像における注目点の座標(x01,y01)から、投票空間１００におけるエピポーラ線相当の直線３１の位置（一次式）を算出し、算出された直線３１の位置に基づいて、その直線３１に沿うエピポーラ線相当領域２１を特定する方法である。エピポーラ線相当の直線３１の位置に基づいてエピポーラ線相当領域２１を特定する方法の例は、前述した通りである。この第１の方法によれば、エピポーラ線相当領域２１の情報を予め記憶するためのメモリを用意する必要がなくなる。
【００６５】
なお、第１の方法に用いられる換算情報は、画像処理プロセッサ１３がプログラムの実行中に参照するデータとして記憶されることの他、画像処理プロセッサ１３が実行するプログラム内に定義されることも考えられる。この換算情報は、エピポーラ線相当領域２１を直接的に特定する情報に比べ、ごく少量の情報である。
【００６６】
第２の方法は、注目点の座標(x01,y01)の候補に対応付けられてＲＯＭ（１４）などの記憶部に予め記憶されたエピポーラ線相当領域２１を表す情報に従ってエピポーラ線相当領域２１を特定する方法である。この第２の方法によれば、エピポーラ線相当領域２１を特定するために要する時間を短縮することが可能となる。
【００６７】
＜ステップＳ３＞
また、画像処理プロセッサ１３は、第１画像及び第２画像の各データに対して周知の離散フーリエ変換処理を実行することにより、周波数領域での第１画像及び周波数領域での第２画像の各データを算出する（Ｓ３）。即ち、画像処理プロセッサ１３は、離散フーリエ変換処理により、第１画像に相当する第１周波数画像及び第２画像に相当する第２周波数画像を算出する。以下、第１画像における各画素値をＩ1(x,y)、第２画像における各画素値をＩ2(x,y)、第１周波数画像をＦ1(u,v)、第２周波数画像をＦ2(u,v)と記載する。ここで、(u,v)は、画像の周波数成分、即ち、周波領域の２次元座標系における座標である。このステップＳ３の処理は、画像処理プロセッサ１３がフーリエ変換モジュール１３２を実行することにより実現される。
【００６８】
＜ステップＳ４＞
また、画像処理プロセッサ１３は、周波数成分(u,v)の選択順序を設定する（Ｓ４）。周波数成分(u,v)の選択順序は、周波数成分(u,v)ごとに以降のステップＳ５からステップＳ９までの処理が実行される際に、その処理に適用される周波数成分(u,v)の順序である。なお、複数の周波数成分(u,v)の中から代表する１つの周波数成分(u,v)のみを選択することも考えられる。
【００６９】
周波数成分(u,v)の選択順序は、例えば、予め定められた順序であること、又は第１周波数画像Ｆ1(u,v)及び第２周波数画像Ｆ2(u,v)のクロススペクトルの大きい順序であること、などが考えられる。クロススペクトルは、周波数成分(u,v)各々における、第１周波数画像Ｆ1(u,v)と第２周波数画像Ｆ2(u,v)との間の相関の高さを表す。そのため、クロススペクトルの大きさに基づいて周波数成分(u,v)の選択順序を設定することは、第１周波数画像Ｆ1(u,v)と第２周波数画像Ｆ2(u,v)との間の相関が高くなる周波数成分(u,v)から順に選択されることにつながる。このステップＳ４の処理は、画像処理プロセッサ１３が位相画像処理モジュール１３３を実行することにより実現される。
【００７０】
＜ステップＳ５＞
そして、画像処理プロセッサ１３は、ステップＳ４で設定された順序に従って、周波数成分(u,v)を順次選択する（Ｓ５）。画像処理プロセッサ１３は、選択した周波数成分(u,v)について以下のステップＳ６からステップＳ１０までの処理を実行することにより、予め定められた終了条件が成立するまでステップＳ６からステップＳ１０までの処理を繰り返す。
【００７１】
＜ステップＳ６＞
周波数成分(u,v)の選択ごとに、画像処理プロセッサ１３は、選択した周波数成分(u,v)における第１周波数画像と第２周波数画像との間の位相差Δθ(u,v)を算出する（Ｓ６）。ステップＳ５及びＳ６の処理は、画像処理プロセッサ１３が位相画像処理モジュール１３３を実行することにより実現される。
【００７２】
なお、第１周波数画像Ｆ1(u,v)及び第２周波数画像Ｆ2(u,v)の振幅成分Ｃr(u,v)は、周波数成分(u,v)を（１）式に適用することによって算出される。（１）式は、クロススペクトルを算出する式である。また、第１周波数画像Ｆ1(u,v)及び第２周波数画像Ｆ2(u,v)の位相差Δθ(u,v)は、周波数成分(u,v)を（２）式に適用することによって算出される。
【００７３】
【数１】
2011198167.tif 000003
【００７４】
【数２】
2011198167.tif 000004
【００７５】
ステップＳ５及びステップＳ６の処理は、画像処理プロセッサ１３が位相画像処理モジュール１３３を実行することにより実現される。なお、位相画像処理モジュール１３３を実行する画像処理プロセッサ１３が、前記位相差算出部の一例である。
【００７６】
＜ステップＳ７＞
次に、画像処理プロセッサ１３は、周波数成分(u,v)、位相差Δθ(u, v)及び投票空間における座標(dx,dy)を変数とする（３）式に、選択されている周波数成分(u,v)及びその周波数成分に基づき算出された位相差Δθ(u, v)を適用することにより、投票空間１００内の直線である候補直線の式（一次式）の係数を算出する（Ｓ７）。なお、（３）式において、M及びNは、ステレオ画像のＸ軸方向及びＹ軸方向各々のサイズ（画素数）であり、既知の定数である。
【００７７】
【数３】
2011198167.tif 000005
【００７８】
この（３）式は、非特許文献１などに示されるように、周波数成分(u,v)、位相差Δθ(u, v)及び投票空間１００における座標 (dx,dy)の各パラメータの間で成立する関係式である。
【００７９】
＜ステップＳ８＞
さらに、画像処理プロセッサ１３は、ステップＳ２で設定したエピポーラ線相当領域２１内で、ステップＳ７の処理の結果に基づく候補直線と重なる領域を特定する（Ｓ８）。以下、その領域を重複領域２２と称する。
【００８０】
ステップＳ７及びステップＳ８の処理は、画像処理プロセッサ１３が重複領域処理モジュール１３４を実行することにより実現される。なお、重複領域処理モジュール１３４を実行する画像処理プロセッサ１３が、前記重複領域特定部の一例である。
【００８１】
以下、図６から図８を参照しつつ、重複領域２２の特定方法の具体例について説明する。図６から図８は、それぞれ、ステップＳ８において特定される重複領域２２の第１例から第３例の各々を示す模式図である。図６から図８において、重複領域２２には斜線の網掛けが付されている。
【００８２】
図６から図８までのいずれの例も、画像処理プロセッサ１３が、投票空間１００における複数の投票領域２０のうち、エピポーラ線相当領域２１と候補直線３１とが重なる部分を含む投票領域２０を重複領域２１として特定した例である。
【００８３】
図６は、第１例におけるエピポーラ線相当領域２１（図３）を形成する投票領域２０の集合の中で、一本の候補直線３２と重なる投票領域２０の集合が、重複領域２２として設定された例（第１例）を示す模式図である。
【００８４】
図７は、第２例におけるエピポーラ線相当領域２１（図４）を形成する投票領域２０の集合の中で、一本の候補直線３２と重なる投票領域２０の集合が、重複領域２２として設定された例（第２例）を示す模式図である。
【００８５】
図８は、エピポーラ線相当の直線３１と一致するエピポーラ線相当領域２１（図５）と一本の候補直線３２とが重なる部分（交点）を含む投票領域２０が、重複領域２２として設定された例（第３例）を示す模式図である。
【００８６】
＜ステップＳ９＞
さらに、画像処理プロセッサ１３は、一本の候補直線３２に対応する重複領域２２が特定されるごとに、その重複領域２２に含まれる投票領域２０各々に対し、予め定められた投票値を積算する（Ｓ９）。即ち、画像処理プロセッサ１３は、重複領域２２とされた投票領域２０各々に対応するフレームメモリ１２内の各データ領域に、その領域に格納されているデータに対して所定の投票値を加算する。なお、投票空間１００に対応するフレームメモリ１２内の各データ領域の初期値は０である。
【００８７】
投票値は、重複領域２２として特定された全ての投票領域２０各々に対して同一の値とすることが考えられる。その他、エピポーラ線相当の直線３１に対して比較的広い幅を有するエピポーラ線相当領域２１が設定される第２例（図７）においては、位置に応じて異なる投票値を採用することが考えられる。
【００８８】
より具体的には、画像処理プロセッサ１３が、周波数成分(u,v)ごとに順次特定される重複領域２２における投票領域２０各々に対して、エピポーラ線相当の直線３１に対する位置が近いものほど大きな重み付けがなされた投票値を順次積算することが考えられる。例えば、エピポーラ線相当の直線３１と重なる投票領域２０を基準の投票領域とし、基準の投票領域に近いほど大きな投票値を割り当てることが考えられる。
【００８９】
＜ステップＳ１０＞
画像処理プロセッサ１３は、ステップＳ５からステップＳ９の処理を実行するごとに、予め定められた終了条件が成立しているか否かを判別する（Ｓ１０）。そして、画像処理プロセッサ１３は、その終了条件が成立するまで、周波数成分(u,v)の選択（Ｓ５）と、選択した周波数成分(u,v)各々についての位相差Δθ(u,v)の算出（Ｓ６）と、その位相差Δθ(u,v)に対応する重複領域２２の特定（Ｓ８）と、重複領域２２に対する投票値の積算（Ｓ９）とを順次実行する。
【００９０】
以下、図９から図１１を参照しつつ、複数の周波数成分(u,v)について投票処理（Ｓ５〜Ｓ９）が行われることにより、複数の候補直線３２各々と重なる重複領域２２が特定された状況について説明する。図９から図１１は、それぞれ、先に説明した図６から図８に対応する。図９から図１において、重複領域２２には斜線の網掛け又は黒塗りが付されている。
【００９１】
図９は、第１例におけるエピポーラ線相当領域２１（図３）を形成する投票領域２０の集合の中で、複数の候補直線３２各々と重なる投票領域２０の集合が、重複領域２２として設定された例（第１例）を示す模式図である。
【００９２】
図１０は、第２例におけるエピポーラ線相当領域２１（図４）を形成する投票領域２０の集合の中で、複数の候補直線３２各々と重なる投票領域２０の集合が、重複領域２２として設定された例（第２例）を示す模式図である。
【００９３】
図１１は、第３例におけるエピポーラ線相当領域２１（図５）であるエピポーラ線相当の直線３１と複数の候補直線３２各々とが重なる部分（交点）を含む投票領域２０が、重複領域２２として設定された例（第３例）を示す模式図である。
【００９４】
終了条件は、投票領域２０各々における投票値の積算値が、予め定められた条件を満たすことである。その条件は、例えば、投票値の積算値P1，P2が、次の（４）式を満たすことである。（４）式において、Hは、全ての周波数成分(u,v)の数であり、hは、投票処理（投票値の積算）が終了した周波数成分(u,v)の数であり、Umaxは、投票処理１回当たりの投票値の最大値であり、P1及びP2は、h個の周波数成分(u,v)についての投票処理が行われた時点での投票値の積算値の最大値及び２番目に大きい値である。なお、投票領域２０の位置に応じた投票値の重み付けが行われない場合、Umaxは、１回の投票において投票領域２０ごとに加算される投票値であり、通常は"1"である。
【００９５】
【数４】
2011198167.tif 000006
【００９６】
（４）式を満足することは、現時点で投票値の積算値がP1である投票領域２０が、投票値の積算値が最終的に最大となることが確定したことを意味する。従って、最終的に投票値の積算値が最大となる投票領域２０の位置に基づいて対応点偏差座標(dx0,dy0)を導出する場合、（４）式を終了条件とすることが有効である。
【００９７】
また、投票領域２０各々における投票値の積算値に基づく終了条件は、他の条件も考えられる。例えば、投票値の積算値の最大値P1が、予め定められたしきい値以上であること、投票値の積算値の最大値P1と、投票値の積算値の２番目に大きい値P2との差(P1-P2)が、予め定められたしきい値以上であること、又はそれら両方の条件を満たすこと、などが考えられる。
【００９８】
また、終了条件が、予め定められた個数の周波数成分(u,v)について、位相差Δθ(u,v)の算出（６）と、その位相差Δθ(u,v)に対応する重複領域２２の特定（Ｓ８）と、投票値の積算（Ｓ９）とが行われたことである場合も考えられる。また、代表する１つの周波数成分(u,v)についての投票処理が終了したこと、又は、全ての周波数成分(u,v)についての投票処理が終了したことを終了条件とすることも考えられる。
【００９９】
＜ステップＳ１１＞
そして、終了条件が成立すると、画像処理プロセッサ１３は、投票領域２０各々の投票値の積算値に基づいて、投票値が積算された投票領域２０の座標に応じた対応点偏差座標(dx0,dy0)を算出する（Ｓ１１）。より具体的には、画像処理プロセッサ１３は、投票空間１００における投票値の積算値のピーク位置の座標を、対応点偏差座標(dx0,dy0)として算出する。
【０１００】
ステップＳ９からステップＳ１１の処理は、画像処理プロセッサ１３が対応点座標算計算モジュール１３５を実行することにより実現される。なお、対応点座標算計算モジュール１３５を実行する画像処理プロセッサ１３が、前記偏差座標導出部の一例である。
【０１０１】
例えば、画像処理プロセッサ１３は、終了条件が成立したときの投票値の積算値が最大である投票領域２０の中心の座標を、対応点偏差座標(dx0,dy0)として算出する。或いは、画像処理プロセッサ１３は、終了条件が成立したときの投票値の積算値を重み係数として、重複領域２２の重心位置の座標を対応点偏差座標(dx0,dy0)として算出する。
【０１０２】
図９から図１１は、投票値の積算値が最大である投票領域２０が、投票値の積算値のピーク位置２２０（黒塗り部分）として特定された様子を示す。なお、終了条件が成立したときに、投票値の積算が行われた投票領域２０が１つである場合、その投票領域２０の中心の座標が、対応点偏差座標(dx0,dy0)として算出される。
【０１０３】
また、ステップＳ１１の処理において、画像処理プロセッサ１３は、以上のようにして算出した対応点偏差座標(dx0,dy0)の情報を、データ出力インターフェース１５を通じて外部装置へ出力する。或いは、画像処理プロセッサ１３は、第１画像における注目点の座標(x01, y01)と対応点偏差座標(dx0, dy0)とに基づいて、第２画像における対応点の座標(x02, y02)を算出し、その座標(x02,y02)の情報を、データ出力インターフェース１５を通じて外部装置へ出力する。以上に示した処理が、第１画像処理装置における対応点探索処理である。
【０１０４】
第１画像処理装置の対応点探索処理によれば、対応点偏差座標(dx0,dy0)のとり得る範囲に相当する投票空間１００において、エピポーラ線相当の直線３１に沿うエピポーラ線相当領域２１と、周波数成分(u,v)に応じて定まる候補直線３２と、が重なる重複領域２２の座標に基づいて、対応点偏差座標(dx0,dy0)が導出される。そのため、対応点の探索範囲、即ち、投票値の積算の対象となる投票領域２０の範囲が、エピポーラ線相当の直線３１に沿う一部の領域（エピポーラ線相当領域２１）に限定される。従って、対応点の探索（重複領域２２の特定）が、高い空間分解能で実行された場合でも、即ち、投票領域２０の区分数が多い場合でも、対応点探索処理の演算負荷は比較的低く抑えられる。そのため、第１画像処理装置によれば、注目点の座標に対する対応点の座標の偏差を、高精度かつ比較的軽い演算負荷で算出することが可能となる。
【０１０５】
また、図３、図６及び図９に示された第１例のように、エピポーラ線相当の直線３１と重なる投票領域２０の集合のみが、エピポーラ線相当領域２１として特定されることにより、エピポーラ線相当領域２１がより狭く限定され、演算負荷の低減効果が一層高まる。この手法は、エピポーラ線相当の直線３１の位置の精度（信頼性）が特に高い場合に有効である。なお、図５、図８及び図１１に示された第３例のように、投票空間１００内のエピポーラ線相当の直線３１と一致する部分が、エピポーラ線相当領域２１として特定される場合も同様の作用効果を奏する。
【０１０６】
一方、エピポーラ線相当の直線３１の位置は、各種の誤差により、本来の位置から多少ずれる状況が考えられる。その場合、図４、図７及び図１０に示された第２例のように、エピポーラ線相当の直線３１に対して予め定められた範囲内に存在する投票領域２０の集合を、エピポーラ線相当領域２１として特定することが有効である。このように比較的広い幅を有するエピポーラ線相当領域２１が特定されることにより、直線３１の位置ずれの可能性が考慮されるとともに、エピポーラ幾何の法則を基準した高精度での対応点探索が可能となる。特に、ステップＳ９において、直線３１との位置関係に応じて重み付けされた投票値を積算することにより、直線３１の位置ずれの可能性が考慮されつつも、エピポーラ幾何の法則をより重視した対応点探索が可能となる。
【０１０７】
また、終了条件の成立をもって投票処理を終了すること（Ｓ１０）により、演算負荷のさらなる低減が可能となる。第１画像処理装置においては、エピポーラ幾何の法則に基づいて、投票空間１００の中で対応点偏差座標(dx0,dy0)である又はそれに近い位置である可能性の高い一部の領域のみが、重複領域２２として特定される。即ち、投票処理において、投票値は、対応点偏差座標(dx0,dy0)である又はそれに近い位置である可能性の高い一部の投票領域２０のみに集中的に積算される。従って、第１画像処理装置においては、比較的少ない周波数成分(u,v)についての投票処理が終了した段階で、投票値の積算値の分布に基づく対応点偏差(dx0,dy0)の特定が行われても、高い精度が確保される。
【０１０８】
＜＜第２実施形態＞＞
次に、図１２に示されるフローチャートを参照しつつ、本発明の第２実施形態に係る画像処理装置が実行する対応点探索処理について説明する。フローチャートにおいて、Ｓ２１〜Ｓ３１は、処理の手順の識別符号を表す。前述したように、本実施形態に係る画像処理装置は、図１に示した画像処理装置１０のハードウェア構成を備えている。以下の説明では、便宜上、本実施形態に係る画像処理装置を第２画像処理装置と称する。
【０１０９】
第２画像処理装置の対応点探索処理は、第１画像処理装置の対応点探索処理に対し、一部の処理のみが異なる。以下、第２画像処理装置の対応点探索処理について、第１画像処理装置の対応点探索処理と異なる点を主として説明する。
【０１１０】
＜ステップＳ２１＞
画像処理装置２による対応点探索処理において、画像処理プロセッサ１３は、図１３に示されるような基準候補領域１０１を設定する（Ｓ２１）。基準候補領域１０１は、対応点偏差座標(dx0,dy0)のとり得る範囲を示す領域である。より具体的には、画像処理プロセッサ１３は、基準候補領域１０１の範囲を特定する情報を主メモリ内に設定する。このステップＳ１の処理は、例えば、画像処理プロセッサ１３がエピポーラ処理モジュール１３１を実行することにより実現される。
【０１１１】
基準候補領域１０１を特定するための情報は、第２画像処理装置が適用される対象に応じて予め与えられる。その情報は、例えば、ＲＯＭ（１４）に予め記憶されること、又は不図示のデータ入力インターフェースを通じて外部装置から入力されることが考えられる。
【０１１２】
＜ステップＳ２２＞
次に、画像処理プロセッサ１３は、第１画像処理装置におけるステップＳ２の処理と同様に、基準候補領域１０１内の一部の領域であるエピポーラ線相当領域２１を設定する（Ｓ２２）。但し、このステップＳ２２において設定されるエピポーラ線相当領域２１は、図５に示された第３例と同様に、基準候補領域１０１内のエピポーラ線相当の直線３１と一致する部分である。
【０１１３】
即ち、画像処理プロセッサ１３は、ＲＯＭ（１４）などの記憶部に予め記憶された換算情報に基づいて、第１画像における注目点の座標(x01,y01)から、基準候補領域１０１におけるエピポーラ線相当の直線３１の位置（一次式）を算出する。このステップＳ２２の処理は、画像処理プロセッサ１３がエピポーラ処理モジュール１３１を実行することにより実現される。なお、エピポーラ処理モジュール１３１を実行する画像処理プロセッサ１３が、前記エピポーラ線相当領域特定部の一例である。
【０１１４】
図１４は、基準候補領域１０１におけるエピポーラ線相当の直線３１を示す模式図である。このエピポーラ線相当の直線３１と一致する直線状の部分が、エピポーラ線相当領域２１として設定される。ステップＳ２２の処理は、画像処理プロセッサ１３がエピポーラ処理モジュール１３１を実行することにより実現される。なお、エピポーラ処理モジュール１３１を実行する画像処理プロセッサ１３が、前記エピポーラ線相当領域特定部の一例である。
【０１１５】
＜ステップＳ２３＞
また、画像処理プロセッサ１３は、第１画像処理装置におけるステップＳ３の処理と同様に、周波数領域での第１画像である第１周波数画像をＦ1(u,v)と、周波数領域での第２画像である第２周波数画像をＦ2(u,v)の各データを算出する（Ｓ２３）。
【０１１６】
＜ステップＳ２４＞
また、画像処理プロセッサ１３は、第１画像処理装置におけるステップＳ４の処理と同様に、周波数成分(u,v)の選択順序を設定する（Ｓ２４）。なお、複数の周波数成分(u,v)の中から代表する１つの周波数成分(u,v)のみを選択することも考えられる。
【０１１７】
＜ステップＳ２５＞
そして、画像処理プロセッサ１３は、ステップＳ２４で設定された順序に従って、周波数成分(u,v)を順次選択する（Ｓ２５）。画像処理プロセッサ１３は、選択した周波数成分(u,v)について以下のステップＳ２６からステップＳ３０までの処理を実行することにより、予め定められた終了条件が成立するまでステップＳ２６からステップＳ３０までの処理を繰り返す。
【０１１８】
＜ステップＳ２６＞
周波数成分(u,v)の選択ごとに、画像処理プロセッサ１３は、第１画像処理装置におけるステップＳ６の処理と同様に、位相差Δθ(u,v)を算出する（Ｓ２６）。ステップＳ２５及びステップＳ２６の処理は、画像処理プロセッサ１３が位相画像処理モジュール１３３を実行することにより実現される。なお、位相画像処理モジュール１３３を実行する画像処理プロセッサ１３が、前記位相差算出部の一例である。
【０１１９】
＜ステップＳ２７＞
次に、画像処理プロセッサ１３は、第１画像処理装置におけるステップＳ７の処理と同様に、周波数成分(u,v)、位相差Δθ(u, v)及び投票空間における座標(dx,dy)を変数とする（３）式に、選択されている周波数成分(u,v)及びその周波数成分に基づき算出された位相差Δθ(u, v)を適用することにより、基準候補領域１０１内の直線である候補直線３２の式（一次式）の係数を算出する（Ｓ２７）。
【０１２０】
＜ステップＳ２８＞
さらに、画像処理プロセッサ１３は、ステップＳ２２で設定したエピポーラ線相当領域２１、即ち、エピポーラ線相当の直線３１と、ステップＳ２７の処理の結果に基づく候補直線３２との交点の座標を算出する（Ｓ２８）。この交点は、第１実施形態における重複領域２２に相当する。即ち、ステップＳ２８において、画像処理プロセッサ１３は、エピポーラ線相当の直線３１と候補直線３２との交点を、重複領域２２として特定する。
【０１２１】
ステップＳ２７及びステップＳ２８の処理は、画像処理プロセッサ１３が重複領域処理モジュール１３４を実行することにより実現される。なお、重複領域処理モジュール１３４を実行する画像処理プロセッサ１３が、前記重複領域特定部の一例である。
【０１２２】
図１５は、エピポーラ線相当の直線３１と一致するエピポーラ線相当領域２１と一本の候補直線３２との交点が、重複領域２２として設定された状況を示す模式図である。
【０１２３】
＜ステップＳ２９＞
さらに、画像処理プロセッサ１３は、一本の候補直線３２に対応する重複領域２２（交点）が特定されるごとに、その交点の座標を主メモリに記録する（Ｓ２９）。
【０１２４】
＜ステップＳ３０＞
そして、画像処理プロセッサ１３は、ステップＳ２５からステップＳ２９の処理を実行するごとに、第１画像処理装置によるステップＳ２９の処理と同様に、予め定められた終了条件が成立しているか否かを判別する（Ｓ３０）。そして、画像処理プロセッサ１３は、その終了条件が成立するまで、周波数成分(u,v)の選択（Ｓ２５）と、選択した周波数成分(u,v)各々についての位相差Δθ(u,v)の算出（Ｓ２６）と、その位相差Δθ(u,v)に対応する重複領域２２（交点）の特定及び記録（Ｓ２８、Ｓ２９）とを順次実行する。
【０１２５】
終了条件は、例えば、エピポーラ線相当の直線３１上における予め定められた長さの範囲内に、予め定められた個数以上の重複領域２２（交点）が集中して存在することである。
【０１２６】
また、終了条件が、予め定められた個数の周波数成分(u,v)について、位相差Δθ(u,v)の算出（２６）と、その位相差Δθ(u,v)に対応する重複領域２２（交点）の特定（Ｓ２８）とが行われたことである場合も考えられる。また、代表する１つの周波数成分(u,v)についてステップＳ２６〜Ｓ２９の処理が終了したこと、又は、全ての周波数成分(u,v)についてステップＳ２６〜Ｓ２９の処理が終了したこと、などを終了条件とすることも考えられる。
【０１２７】
図１６は、エピポーラ線相当の直線３１と一致するエピポーラ線相当領域２１と複数の候補直線３２各々との交点が、重複領域２２として設定された状況を示す模式図である。
【０１２８】
＜ステップＳ３１＞
そして、終了条件が成立すると、画像処理プロセッサ１３は、基準候補領域１０１における複数の重複領域２２（交点）の座標を統合した座標を、対応点偏差座標(dx0,dy0)として算出する。例えば、複数の重複領域２２（交点）の重心位置の座標を対応点偏差座標(dx0,dy0)として算出することが考えられる。なお、ステップＳ２６〜Ｓ２９の処理が、代表する１つの周波数成分(u,v)についてのみ行われた場合には、エピポーラ線相当の直線３１と１本の候補直線３２との交点が、対応点偏差座標(dx0,dy0)として算出される。
【０１２９】
また、ステップＳ３１の処理において、画像処理プロセッサ１３は、以上のようにして算出した対応点偏差座標(dx0,dy0)の情報を、データ出力インターフェース１５を通じて外部装置へ出力する。或いは、画像処理プロセッサ１３は、第１画像における注目点の座標(x01, y01)と対応点偏差座標(dx0, dy0)とに基づいて、第２画像における対応点の座標(x02, y02)を算出し、その座標(x02,y02)の情報を、データ出力インターフェース１５を通じて外部装置へ出力する。以上に示した処理が、第２画像処理装置における対応点探索処理である。
【０１３０】
第２画像処理装置の対応点探索処理によれば、第１画像処理装置と同様に、注目点の座標に対する対応点の座標の偏差を、高精度かつ比較的軽い演算負荷で算出することが可能となる。特に、第２画像処理装置の対応点探索処理は、第１画像処理装置において行われる投票処理が不要であるので、より軽い演算負荷で対応点偏差座標(dx0, dy0)を算出できる。
【０１３１】
＜＜第３実施形態＞＞
以上に示した実施形態において、投票空間１００又は基準候補領域１０１の座標系における一方の座標軸（ΔＸ軸又はΔＹ軸）と、エピポーラ線相当の直線３１とが平行となるように、投票空間１００又は基準候補領域１０１を設定することが考えられる。
【０１３２】
即ち、画像処理プロセッサ１３が、投票空間１００又は基準候補領域１０１の座標系における一方の座標軸（ΔＸ軸又はΔＹ軸）とエピポーラ線相当の直線３１とを平行にする平行化処理を実行することが考えられる。この場合、画像処理プロセッサ１３は、不図示の平行化処理のプログラムモジュールを実行することによって実現される。なお、その平行化処理のプログラムモジュールを実行する画像処理プロセッサ１３が、前記平行化処理部の一例である。
【０１３３】
平行化処理は、例えば、図２又は図１２に示される対応点探索処理が行われる前に、第２画像に対してエピポーラ線と一方の座標軸（Ｘ軸又はＹ軸）とのなす角度分だけ回転処理を施すことによって実現される。
【０１３４】
平行化処理が行われることにより、投票空間１００又は基準候補領域１０１におけるエピポーラ線相当の直線３１を特定する情報は、ΔＹ軸の切片の情報のみ又はΔＸ軸の切片の情報のみとなる。これにより、エピポーラ線相当領域２１の設定及び重複領域２２の特定に要する演算負荷がさらに軽減される。
【符号の説明】
【０１３５】
１，２  カメラ
１０  画像処理装置
１１  画像入力インターフェース
１２  フレームメモリ
１３  画像処理プロセッサ
１４  ＲＯＭ
１５  データ出力インターフェース
２０  投票領域
２１  エピポーラ線相当領域
２２  重複領域又は交点
２３  特定投票領域
１３１  エピポーラ処理モジュール
１３２  フーリエ変換モジュール
１３３  位相画像処理モジュール
１３４  重複領域処理モジュール
１３５  対応点座標算計算モジュール
Ｓ１〜Ｓ３１  処理手順の識別符号
【図１】
2011198167.tif 000007
【図２】
2011198167.tif 000008
【図３】
2011198167.tif 000009
【図４】
2011198167.tif 000010
【図５】
2011198167.tif 000011
【図６】
2011198167.tif 000012
【図７】
2011198167.tif 000013
【図８】
2011198167.tif 000014
【図９】
2011198167.tif 000015
【図１０】
2011198167.tif 000016
【図１１】
2011198167.tif 000017
【図１２】
2011198167.tif 000018
【図１３】
2011198167.tif 000019
【図１４】
2011198167.tif 000020
【図１５】
2011198167.tif 000021
【図１６】
2011198167.tif 000022
【図１７】
2011198167.tif 000023
【図１８】
2011198167.tif 000024
【図１９】
2011198167.tif 000025