(57)【要約】  画像の状態に拘わらず、対応点の探索速度を向上させ得る技術を提供することを図る。この目的を達成するために、第１画像から生成された第１変換後基準画像の第１基準点を含む第１基準領域に係る各周波数成分の第１位相情報と、第２画像から生成された第１変換後参照画像の第１探索基準点を含む第１参照領域に係る各周波数成分の第２位相情報とに基づき第１基準点に対応する第１対応点が第１変換後参照画像で探索される。また、第１変換後参照画像における第１対応点の位置に基づき、第２画像上で第２探索基準点が決定される。更に、第１画像の第１基準点に対応する第２基準点を含む第２基準領域に係る各周波数成分の第３位相情報と、第２画像の第２探索基準点を含む第２参照領域に係る各周波数成分の第４位相情報とに基づき第２基準点に対応する第２対応点が第２画像で探索される。該２段の探索では他段の演算で得られた周波数成分に係る情報が再利用される。
2013001885.tif 000002
【特許請求の範囲】
【請求項１】
第１画像および第２画像を取得する取得部と、
所定の変換倍率に従って、前記第１画像の解像度を低減して第１変換後基準画像を生成するとともに、前記第２画像の解像度を低減して第１変換後参照画像を生成する生成部と、
前記第１変換後基準画像において第１基準点を基準として包含する第１基準領域についての第１周波数情報の各周波数成分に係る第１位相情報と、前記第１変換後参照画像において第１探索基準点を基準として包含する第１参照領域についての第２周波数情報の各周波数成分に係る第２位相情報とに基づき、前記第１基準点に対応する第１対応点を前記第１変換後参照画像で探索する第１探索処理、および前記第１画像において前記第１基準点に対応する第２基準点を基準として包含する第２基準領域についての第３周波数情報の各周波数成分に係る第３位相情報と、前記第２画像において第２探索基準点を基準として包含する第２参照領域についての第４周波数情報の各周波数成分に係る第４位相情報とに基づき、前記第２基準点に対応する第２対応点を前記第２画像で探索する第２探索処理を行う探索部と、
前記第１変換後参照画像における前記第１対応点の位置に基づき、前記第２画像において前記第２探索基準点の位置を決定する決定部と、
前記第１探索処理における演算で得られる前記第１および第２周波数情報、ならびに前記第２探索処理における演算で得られる前記第３周波数情報のうちの少なくとも一部に係る既演算情報を記憶する記憶部と、を備え、
前記探索部が、
前記第２探索処理において、前記第１探索処理の演算で得られる前記既演算情報を前記第３および第４周波数情報に係る演算用の情報のうちの一部の情報として用い、該演算用の情報のうちの残余の情報を、前記第１および第２画像に基づいて算出する処理、ならびに前記第１探索処理において、前記第２探索処理の演算で得られる前記既演算情報を前記第１周波数情報に係る演算用の情報のうちの一部の情報として用い、該演算用の情報のうちの残余の情報を、前記第１変換後基準画像に基づいて算出する処理のうちの少なくとも一方の処理を行うことを特徴とする画像処理装置。
【請求項２】
第１画像および第２画像を取得する取得部と、
所定の変換倍率に従って、前記第１画像の解像度を低減して第１変換後基準画像と該第１変換後基準画像よりも解像度が低い第２変換後基準画像とを生成し、前記第２画像の解像度を低減して第１変換後参照画像と該第１変換後参照画像よりも解像度が低い第２変換後参照画像とを生成する生成部と、
前記第２変換後基準画像において第１基準点を基準として包含する第１基準領域についての第１周波数情報の各周波数成分に係る第１位相情報と、前記第２変換後参照画像において第１探索基準点を基準として包含する第１参照領域についての第２周波数情報の各周波数成分に係る第２位相情報とに基づき、前記第１基準点に対応する第１対応点を前記第２変換後参照画像で探索する第１探索処理、および前記第１変換後基準画像において前記第１基準点に対応する第２基準点を基準として包含する第２基準領域についての第３周波数情報の各周波数成分に係る第３位相情報と、前記第１変換後参照画像において第２探索基準点を基準として包含する第２参照領域についての第４周波数情報の各周波数成分に係る第４位相情報とに基づき、前記第２基準点に対応する第２対応点を前記第１変換後参照画像で探索する第２探索処理を行う探索部と、
前記第２変換後参照画像における前記第１対応点の位置に基づき、前記第１変換後参照画像において前記第２探索基準点の位置を決定する決定部と、
前記第１探索処理における演算で得られる前記第１および第２周波数情報、ならびに前記第２探索処理における演算で得られる前記第３周波数情報のうちの少なくとも一部に係る既演算情報を記憶する記憶部と、を備え、
前記探索部が、
前記第２探索処理において、前記第１探索処理の演算で得られる前記既演算情報を前記第３および第４周波数情報に係る演算用の情報のうちの一部の情報として用い、該演算用の情報のうちの残余の情報を、前記第１変換後基準画像および前記第１変換後参照画像に基づいて算出する処理、ならびに前記第１探索処理において、前記第２探索処理の演算で得られる前記既演算情報を前記第１周波数情報に係る演算用の情報のうちの一部の情報として用い、該演算用の情報のうちの残余の情報を、前記第２変換後基準画像に基づいて算出する処理のうちの少なくとも一方の処理を行うことを特徴とする画像処理装置。
【請求項３】
請求項１または請求項２に記載の画像処理装置であって、
前記探索部が、
前記第１および第２探索処理において、位相限定相関演算を用いることを特徴とする画像処理装置。
【請求項４】
請求項１から請求項３の何れか１つの請求項に記載の画像処理装置であって、
前記既演算情報が、
前記第１から第３周波数情報のうちの少なくとも一部の情報を含むことを特徴とする画像処理装置。
【請求項５】
請求項１から請求項４の何れか１つの請求項に記載の画像処理装置であって、
前記既演算情報が、
前記第１から第３位相情報のうちの少なくとも一部の情報を含むことを特徴とする画像処理装置。
【請求項６】
請求項１から請求項５の何れか１つの請求項に記載の画像処理装置であって、
前記既演算情報が、
前記第１位相情報と前記第２位相情報とに基づいて算出される位相差を示す情報を含むことを特徴とする画像処理装置。
【請求項７】
請求項１または請求項２に記載の画像処理装置であって、
前記探索部が、
前記第１探索処理において、各周波数成分について、前記第１位相情報と前記第２位相情報とに基づいて第１位相差を算出して該第１位相差を空間的なずれ量に変換し、該空間的なずれ量を第１投票空間に投票することで第１投票結果を得て、該第１投票結果に応じて前記第１対応点を探索し、前記第２探索処理において、各周波数成分について、前記第３位相情報と前記第４位相情報とに基づいて第２位相差を算出して該第２位相差を空間的なずれ量に変換し、該空間的なずれ量を第２投票空間に投票することで第２投票結果を得て、該第２投票結果に応じて前記第２対応点を探索し、
前記既演算情報が、
前記第１探索処理において、１以上の周波数成分について前記第１位相差が空間的なずれ量に変換された後に、該空間的なずれ量が前記第１投票空間に投票されることで得られる投票結果を示す情報を含むことを特徴とする画像処理装置。
【請求項８】
請求項１から請求項５の何れか１つの請求項に記載の画像処理装置であって、
前記探索部が、
前記第２探索処理において、前記第１探索処理で算出される前記既演算情報から前記第１位相情報を得て演算に用いる場合に、前記解像度の低減に応じた位相のずれ量によって前記第１位相情報を補正して演算に用い、前記第１探索処理で算出される前記既演算情報から前記第２位相情報を得て演算に用いる場合に、前記解像度の低減に応じた位相のずれ量によって前記第２位相情報を補正して演算に用い、前記第１探索処理において、前記第３探索処理で算出される前記既演算情報から前記第３位相情報を得て演算に用いる場合に、前記解像度の低減に応じた位相のずれ量によって前記第１位相情報を補正して演算に用いることを特徴とする画像処理装置。
【請求項９】
請求項１から請求項８の何れか１つの請求項に記載の画像処理装置であって、
前記所定の変換倍率が、
１／ｎ（ｎは１よりも大きな任意の数）であり、
前記探索部が、
前記第２探索処理において、前記第１探索処理で算出される前記既演算情報から第１周波数に係る前記第１周波数情報を得て演算に用いる場合に、前記第１周波数に係る前記第１周波数情報を、前記第１周波数に１／ｎを乗じて得られる第２周波数に係る前記第３周波数情報として用い、前記第１探索処理で算出される前記既演算情報から前記第１周波数に係る前記第２周波数情報を得て演算に用いる場合に、前記第１周波数に係る前記第２周波数情報を、前記第２周波数に係る前記第４周波数情報として用い、前記第１探索処理において、前記第２探索処理で算出される前記既演算情報から前記第２周波数に係る前記第３周波数情報を得て演算に用いる場合に、前記第２周波数に係る前記第３周波数情報を、前記第２周波数にｎを乗じて得られる前記第１周波数に係る前記第１周波数情報として用いることを特徴とする画像処理装置。
【請求項１０】
請求項１から請求項９の何れか１つの請求項に記載の画像処理装置であって、
前記探索部が、
前記第２探索処理において、前記第１探索処理で算出される前記既演算情報から前記第２位相情報を得て演算に用いる場合に、前記第１探索基準点と前記第１対応点との間の空間的なずれ量に応じて、前記第２位相情報に係る位相のずれを補正して演算に用いることを特徴とする画像処理装置。
【請求項１１】
請求項１から請求項１０の何れか１つの請求項に記載の画像処理装置であって、
前記探索部が、
前記第２探索処理において、前記第３および第４周波数情報に係る演算用の情報のうちの一部の情報として演算に用いられる前記既演算情報よりも、該演算用の情報のうちの残余の情報の方が、前記第２対応点の探索結果に与える影響が大きくなるように、情報の重み付けを行うことを特徴とする画像処理装置。
【請求項１２】
（a）取得部によって、第１画像を取得するステップと、
（b）前記取得部によって、第２画像を取得するステップと、
（c）生成部によって、所定の変換倍率に従い、前記第１画像の解像度を低減して第１変換後基準画像を生成するとともに、前記第２画像の解像度を低減して第１変換後参照画像を生成するステップと、
（d）探索部によって、前記第１変換後基準画像において第１基準点を基準として包含する第１基準領域についての第１周波数情報の各周波数成分に係る第１位相情報と、前記第１変換後参照画像において第１探索基準点を基準として包含する第１参照領域についての第２周波数情報の各周波数成分に係る第２位相情報とに基づき、前記第１基準点に対応する第１対応点を前記第１変換後参照画像で探索する第１探索処理を行うとともに、該第１探索処理における演算で得られる前記第１および第２周波数情報のうちの少なくとも一部に係る既演算情報を記憶部に記憶するステップと、
（e）決定部によって、前記第１変換後参照画像における前記第１対応点の位置に基づき、前記第２画像において第２探索基準点の位置を決定するステップと、
（f）前記探索部によって、前記第１画像において前記第１基準点に対応する第２基準点を基準として包含する第２基準領域についての第３周波数情報の各周波数成分に係る第３位相情報と、前記第２画像において前記第２探索基準点を基準として包含する第２参照領域についての第４周波数情報の各周波数成分に係る第４位相情報とに基づき、前記第２基準点に対応する第２対応点を前記第２画像で探索する第２探索処理を行うステップと、を備え、
前記ステップ（f）において、
前記探索部によって、前記既演算情報を前記第３および第４周波数情報に係る演算用の情報のうちの一部の情報として用い、前記演算用の情報のうちの残余の情報を、前記第１および第２画像に基づいて算出することを特徴とする画像処理方法。
【請求項１３】
（A）取得部によって、第１画像を取得するステップと、
（B）前記取得部によって、第２画像を取得するステップと、
（C）生成部によって、所定の変換倍率に従い、前記第１画像の解像度を低減して第１変換後基準画像と該第１変換後基準画像よりも解像度が低い第２変換後基準画像とを生成し、前記第２画像の解像度を低減して第１変換後参照画像と該第１変換後参照画像よりも解像度が低い第２変換後参照画像とを生成するステップと、
（D）探索部によって、前記第２変換後基準画像において第１基準点を基準として包含する第１基準領域についての第１周波数情報の各周波数成分に係る第１位相情報と、前記第２変換後参照画像において第１探索基準点を基準として包含する第１参照領域についての第２周波数情報の各周波数成分に係る第２位相情報とに基づき、前記第１基準点に対応する第１対応点を前記第２変換後参照画像で探索する第１探索処理を行うとともに、該第１探索処理における演算で得られる前記第１および第２周波数情報のうちの少なくとも一部に係る既演算情報を記憶部に記憶するステップと、
（E）決定部によって、前記第２変換後参照画像における前記第１対応点の位置に基づき、前記第１変換後参照画像において第２探索基準点の位置を決定するステップと、
（F）前記探索部によって、前記第１変換後基準画像における前記第１基準点に対応する第２基準点を基準として包含する第２基準領域についての第３周波数情報の各周波数成分に係る第３位相情報と、前記第１変換後参照画像における前記第２探索基準点を基準として包含する第２参照領域についての第４周波数情報の各周波数成分に係る第４位相情報とに基づき、前記第２基準点に対応する第２対応点を前記第１変換後参照画像で探索する第２探索処理を行うステップと、を備え、
前記ステップ（F）において、
前記探索部によって、前記既演算情報を前記第３および第４周波数情報に係る演算用の情報のうちの一部の情報として用い、前記演算用の情報のうちの残余の情報を、前記第１変換後基準画像および前記第１変換後参照画像に基づいて算出することを特徴とする画像処理方法。
【請求項１４】
画像処理装置に含まれる制御部において実行されることにより、前記画像処理装置を、請求項１から請求項１１の何れか１つの請求項に記載の画像処理装置として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術に関する。
【背景技術】
【０００２】
２つの撮像装置によって同一対象物（被写体）を異なる視点から撮像することで得られた基準画像と参照画像とについて、両画像間における対応点を探索する技術が知られている。この技術では、例えば、ＳＡＤ（Sum of Absolute Difference）演算法およびＰＯＣ（Phase-Only Correlation）演算法等といった相関演算によって得られる相関度に基づき、基準画像の基準点と同一対象物が捉えられた対応点が参照画像において探索される。【０００３】
また、例えば、基準画像と参照画像とについて、解像度の異なる複数の画像がそれぞれ生成されて解像度別に階層化され、低解像度の上位層から高解像度の下位層に向かって相関演算を用いた対応点の探索が順次に繰り返される処理が知られている。この処理では、低解像度の上位層で得られた視差に基づいて次の階層における探索領域が設定されるため、最高解像度の最下層までの演算処理に要する時間が短縮され得る。【０００４】
更に、各画素の対応点が探索される際、低解像度の上位層について相関演算で得られるＳＡＤ値およびＰＯＣ値等といった相関度を示す値が信頼度とされ、該信頼度に応じて、次に対応点の探索処理が行われる解像度の階層が決定される技術が提案されている（例えば、特許文献１等）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−２９４７３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献１の技術では、基準画像と参照画像の状態に応じて対応点の探索に要する演算量ならびに演算時間が左右される。このため、対応点の探索結果が利用される各種アプリケーションでは、対応点の探索に要する演算時間が最も長くなる場合が基準とされ、対応点の探索結果を利用した演算が行われるように設計される必要がある。また、対応点の探索に係る演算が、画一的ではなく、基準画像と参照画像の状態に応じて変化するため、該処理フローがパイプライン処理等で実現されるハードウェアを構成することは容易でない。【０００７】
本発明は、上記課題に鑑みてなされたものであり、画像の状態に拘わらず、対応点の探索速度を向上させ得る技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、第１の態様に係る画像処理装置は、第１画像および第２画像を取得する取得部と、所定の変換倍率に従って、前記第１画像の解像度を低減して第１変換後基準画像を生成するとともに、前記第２画像の解像度を低減して第１変換後参照画像を生成する生成部と、前記第１変換後基準画像において第１基準点を基準として包含する第１基準領域についての第１周波数情報の各周波数成分に係る第１位相情報と、前記第１変換後参照画像において第１探索基準点を基準として包含する第１参照領域についての第２周波数情報の各周波数成分に係る第２位相情報とに基づき、前記第１基準点に対応する第１対応点を前記第１変換後参照画像で探索する第１探索処理、および前記第１画像において前記第１基準点に対応する第２基準点を基準として包含する第２基準領域についての第３周波数情報の各周波数成分に係る第３位相情報と、前記第２画像において第２探索基準点を基準として包含する第２参照領域についての第４周波数情報の各周波数成分に係る第４位相情報とに基づき、前記第２基準点に対応する第２対応点を前記第２画像で探索する第２探索処理を行う探索部と、前記第１変換後参照画像における前記第１対応点の位置に基づき、前記第２画像において前記第２探索基準点の位置を決定する決定部と、前記第１探索処理における演算で得られる前記第１および第２周波数情報、ならびに前記第２探索処理における演算で得られる前記第３周波数情報のうちの少なくとも一部に係る既演算情報を記憶する記憶部と、を備え、前記探索部が、前記第２探索処理において、前記第１探索処理の演算で得られる前記既演算情報を前記第３および第４周波数情報に係る演算用の情報のうちの一部の情報として用い、該前記演算用の情報のうちの残余の情報を、前記第１および第２画像に基づいて算出する処理、ならびに前記第１探索処理において、前記第２探索処理の演算で得られる前記既演算情報を前記第１周波数情報に係る演算用の情報のうちの一部の情報として用い、該演算用の情報のうちの残余の情報を、前記第１変換後基準画像に基づいて算出する処理のうちの少なくとも一方の処理を行う。【０００９】
第２の態様に係る画像処理装置は、第１画像および第２画像を取得する取得部と、所定の変換倍率に従って、前記第１画像の解像度を低減して第１変換後基準画像と該第１変換後基準画像よりも解像度が低い第２変換後基準画像とを生成し、前記第２画像の解像度を低減して第１変換後参照画像と該第１変換後参照画像よりも解像度が低い第２変換後参照画像とを生成する生成部と、前記第２変換後基準画像において第１基準点を基準として包含する第１基準領域についての第１周波数情報の各周波数成分に係る第１位相情報と、前記第２変換後参照画像において第１探索基準点を基準として包含する第１参照領域についての第２周波数情報の各周波数成分に係る第２位相情報とに基づき、前記第１基準点に対応する第１対応点を前記第２変換後参照画像で探索する第１探索処理、および前記第１変換後基準画像において前記第１基準点に対応する第２基準点を基準として包含する第２基準領域についての第３周波数情報の各周波数成分に係る第３位相情報と、前記第１変換後参照画像において第２探索基準点を基準として包含する第２参照領域についての第４周波数情報の各周波数成分に係る第４位相情報とに基づき、前記第２基準点に対応する第２対応点を前記第１変換後参照画像で探索する第２探索処理を行う探索部と、前記第２変換後参照画像における前記第１対応点の位置に基づき、前記第１変換後参照画像において前記第２探索基準点の位置を決定する決定部と、前記第１探索処理における演算で得られる前記第１および第２周波数情報、ならびに前記第２探索処理における演算で得られる前記第３周波数情報のうちの少なくとも一部に係る既演算情報を記憶する記憶部と、を備え、前記探索部が、前記第２探索処理において、前記第１探索処理の演算で得られる前記既演算情報を前記第３および第４周波数情報に係る演算用の情報のうちの一部の情報として用い、該演算用の情報のうちの残余の情報を、前記第１変換後基準画像および前記第１変換後参照画像に基づいて算出する処理、ならびに前記第１探索処理において、前記第２探索処理の演算で得られる前記既演算情報を前記第１周波数情報に係る演算用の情報のうちの一部の情報として用い、該演算用の情報のうちの残余の情報を、前記第２変換後基準画像に基づいて算出する処理のうちの少なくとも一方の処理を行う。【００１０】
第３の態様に係る画像処理装置は、第１または第２の態様に係る画像処理装置であって、前記探索部が、前記第１および第２探索処理において、位相限定相関演算を用いる。【００１１】
第４の態様に係る画像処理装置は、第１から第３の何れか１つの態様に係る画像処理装置であって、前記既演算情報が、前記第１から第３周波数情報のうちの少なくとも一部の情報を含む。【００１２】
第５の態様に係る画像処理装置は、第１から第４の何れか１つの態様に係る画像処理装置であって、前記既演算情報が、前記第１から第３位相情報のうちの少なくとも一部の情報を含む。【００１３】
第６の態様に係る画像処理装置は、第１から第５の何れか１つの態様に係る画像処理装置であって、前記既演算情報が、前記第１位相情報と前記第２位相情報とに基づいて算出される位相差を示す情報を含む。【００１４】
第７の態様に係る画像処理装置は、第１または第２の態様に係る画像処理装置であって、前記探索部が、前記第１探索処理において、各周波数成分について、前記第１位相情報と前記第２位相情報とに基づいて第１位相差を算出して該第１位相差を空間的なずれ量に変換し、該空間的なずれ量を第１投票空間に投票することで第１投票結果を得て、該第１投票結果に応じて前記第１対応点を探索し、前記第２探索処理において、各周波数成分について、前記第３位相情報と前記第４位相情報とに基づいて第２位相差を算出して該第２位相差を空間的なずれ量に変換し、該空間的なずれ量を第２投票空間に投票することで第２投票結果を得て、該第２投票結果に応じて前記第２対応点を探索し、前記既演算情報が、前記第１探索処理において、１以上の周波数成分について前記第１位相差が空間的なずれ量に変換された後に、該空間的なずれ量が前記第１投票空間に投票されることで得られる投票結果を示す情報を含む。【００１５】
第８の態様に係る画像処理装置は、第１から第５の何れか１つの態様に係る画像処理装置であって、前記探索部が、前記第２探索処理において、前記第１探索処理で算出される前記既演算情報から前記第１位相情報を得て演算に用いる場合に、前記解像度の低減に応じた位相のずれ量によって前記第１位相情報を補正して演算に用い、前記第１探索処理で算出される前記既演算情報から前記第２位相情報を得て演算に用いる場合に、前記解像度の低減に応じた位相のずれ量によって前記第２位相情報を補正して演算に用い、前記第１探索処理において、前記第３探索処理で算出される前記既演算情報から前記第３位相情報を得て演算に用いる場合に、前記解像度の低減に応じた位相のずれ量によって前記第１位相情報を補正して演算に用いる。【００１６】
第９の態様に係る画像処理装置は、第１から第８の何れか１つの態様に係る画像処理装置であって、前記所定の変換倍率が、１／ｎ（ｎは１よりも大きな任意の数）であり、前記探索部が、前記第２探索処理において、前記第１探索処理で算出される前記既演算情報から第１周波数に係る前記第１周波数情報を得て演算に用いる場合に、前記第１周波数に係る前記第１周波数情報を、前記第１周波数に１／ｎを乗じて得られる第２周波数に係る前記第３周波数情報として用い、前記第１探索処理で算出される前記既演算情報から前記第１周波数に係る前記第２周波数情報を得て演算に用いる場合に、前記第１周波数に係る前記第２周波数情報を、前記第２周波数に係る前記第４周波数情報として用い、前記第１探索処理において、前記第２探索処理で算出される前記既演算情報から前記第２周波数に係る前記第３周波数情報を得て演算に用いる場合に、前記第２周波数に係る前記第３周波数情報を、前記第２周波数にｎを乗じて得られる前記第１周波数に係る前記第１周波数情報として用いる。【００１７】
第１０の態様に係る画像処理装置は、第１から第９の何れか１つの態様に係る画像処理装置であって、前記探索部が、前記第２探索処理において、前記第１探索処理で算出される前記既演算情報から前記第２位相情報を得て演算に用いる場合に、前記第１探索基準点と前記第１対応点との間の空間的なずれ量に応じて、前記第２位相情報に係る位相のずれを補正して演算に用いる。【００１８】
第１１の態様に係る画像処理装置は、第１から第１０の何れか１つの態様に係る画像処理装置であって、前記探索部が、前記第２探索処理において、前記第３および第４周波数情報に係る演算用の情報のうちの一部の情報として演算に用いられる前記既演算情報よりも、該演算用の情報のうちの前記残余の情報の方が、前記第２対応点の探索結果に与える影響が大きくなるように、情報の重み付けを行う。【００１９】
第１２の態様に係る画像処理方法は、（a）取得部によって、第１画像を取得するステップと、（b）前記取得部によって、第２画像を取得するステップと、（c）生成部によって、所定の変換倍率に従い、前記第１画像の解像度を低減して第１変換後基準画像を生成するとともに、前記第２画像の解像度を低減して第１変換後参照画像を生成するステップと、（d）探索部によって、前記第１変換後基準画像において第１基準点を基準として包含する第１基準領域についての第１周波数情報の各周波数成分に係る第１位相情報と、前記第１変換後参照画像において第１探索基準点を基準として包含する第１参照領域についての第２周波数情報の各周波数成分に係る第２位相情報とに基づき、前記第１基準点に対応する第１対応点を前記第１変換後参照画像で探索する第１探索処理を行うとともに、該第１探索処理における演算で得られる前記第１および第２周波数情報のうちの少なくとも一部に係る既演算情報を記憶部に記憶するステップと、（e）決定部によって、前記第１変換後参照画像における前記第１対応点の位置に基づき、前記第２画像において第２探索基準点の位置を決定するステップと、（f）前記探索部によって、前記第１画像において前記第１基準点に対応する第２基準点を基準として包含する第２基準領域についての第３周波数情報の各周波数成分に係る第３位相情報と、前記第２画像において前記第２探索基準点を基準として包含する第２参照領域についての第４周波数情報の各周波数成分に係る第４位相情報とに基づき、前記第２基準点に対応する第２対応点を前記第２画像で探索する第２探索処理を行うステップと、を備え、前記ステップ（f）において、前記探索部によって、前記既演算情報を前記第３および第４周波数情報に係る演算用の情報のうちの一部の情報として用い、前記演算用の情報のうちの残余の情報を、前記第１および第２画像に基づいて算出する。【００２０】
第１３の態様に係る画像処理方法は、（A）取得部によって、第１画像を取得するステップと、（B）前記取得部によって、第２画像を取得するステップと、（C）生成部によって、所定の変換倍率に従い、前記第１画像の解像度を低減して第１変換後基準画像と該第１変換後基準画像よりも解像度が低い第２変換後基準画像とを生成し、前記第２画像の解像度を低減して第１変換後参照画像と該第１変換後参照画像よりも解像度が低い第２変換後参照画像とを生成するステップと、（D）探索部によって、前記第２変換後基準画像において第１基準点を基準として包含する第１基準領域についての第１周波数情報の各周波数成分に係る第１位相情報と、前記第２変換後参照画像において第１探索基準点を基準として包含する第１参照領域についての第２周波数情報の各周波数成分に係る第２位相情報とに基づき、前記第１基準点に対応する第１対応点を前記第２変換後参照画像で探索する第１探索処理を行うとともに、該第１探索処理における演算で得られる前記第１および第２周波数情報のうちの少なくとも一部に係る既演算情報を記憶部に記憶するステップと、（E）決定部によって、前記第２変換後参照画像における前記第１対応点の位置に基づき、前記第１変換後参照画像において第２探索基準点の位置を決定するステップと、（F）前記探索部によって、前記第１変換後基準画像における前記第１基準点に対応する第２基準点を基準として包含する第２基準領域についての第３周波数情報の各周波数成分に係る第３位相情報と、前記第１変換後参照画像における前記第２探索基準点を基準として包含する第２参照領域についての第４周波数情報の各周波数成分に係る第４位相情報とに基づき、前記第２基準点に対応する第２対応点を前記第１変換後参照画像で探索する第２探索処理を行うステップと、を備え、前記ステップ（F）において、前記探索部によって、前記既演算情報を前記第３および第４周波数情報に係る演算用の情報のうちの一部の情報として用い、前記演算用の情報のうちの残余の情報を、前記第１変換後基準画像および前記第１変換後参照画像に基づいて算出する。【００２１】
第１４の態様に係るプログラムは、画像処理装置に含まれる制御部において実行されることにより、前記画像処理装置を、第１から第１１の何れか１つの態様に係る画像処理装置として機能させる。
【発明の効果】
【００２２】
第１から第１１の何れの態様に係る画像処理装置によっても、２つの画像間における対応点の探索処理の演算で得られた周波数成分に係る情報が、解像度の異なる２つの画像間における対応点の探索処理の演算で再利用されることで、演算量が低減され得る。その結果、対応点の探索に用いられる画像の状態に拘わらず、対応点の探索速度が向上し得る。また、例えば、演算の画一化が図られるため、対応点の探索処理を行う部分を専用の電子回路等によってハードウェア化することも可能となる。【００２３】
第３の態様に係る画像処理装置によれば、高精度の対応点探索における探索速度が向上し得る。【００２４】
第５から第７の何れの態様に係る画像処理装置によっても、演算量の更なる低減によって、対応点の探索速度が更に向上し得る。また、再利用される情報における情報量の低減によって、記憶部の記憶容量の低減が可能となる。その結果、画像処理装置の小型化ならびに製造コストの低減が図られ得る。【００２５】
第８の態様に係る画像処理装置によれば、解像度の低減に応じた位相のずれ量によって再利用される情報が補正されるため、対応点探索の精度が向上し得る。【００２６】
第９の態様に係る画像処理装置によれば、解像度の低減に係る変換倍率に応じて再利用される情報の周波数の対応関係が決まるため、対応点の探索処理における演算の設計が容易となり得る。【００２７】
第１０の態様に係る画像処理装置によれば、相対的に低解像度の２つの画像についての対応点の探索処理における探索基準点と対応点との間における空間的なずれ量に応じて再利用される情報が補正されるため、対応点探索の精度が向上し得る。【００２８】
第１１の態様に係る画像処理装置によれば、相対的に高解像度の２つの画像についての対応点の探索処理において、再利用される情報よりもその他の情報の方が対応点の探索結果に与える影響が大きくなるように、情報の重み付けが行われることで、対応点探索の精度が向上し得る。【００２９】
第１２の態様に係る画像処理方法によれば、第１の態様に係る画像処理装置と同様な効果が得られる。【００３０】
第１３の態様に係るプログラムによれば、第１から第１１の態様に係る画像処理装置と同様な効果が得られる。
【図面の簡単な説明】
【００３１】
【図１】図１は、一実施形態に係る情報処理システムの構成例を示す図である。
【図２】図２は、一実施形態に係る情報処理システムの機能的な構成を示すブロック図である。
【図３】図３は、第１および第２画像に係る複数段階の解像度を有する画像群を示す図である。
【図４】図４は、対応点探索動作の概要を例示する図である。
【図５】図５は、探索基準点の決定方法を説明するための図である。
【図６】図６は、第１階層の基準点の設定態様を例示する図である。
【図７】図７は、第２階層の基準点の設定態様を例示する図である。
【図８】図８は、第３階層の基準点の設定態様を例示する図である。
【図９】図９は、第４階層の基準点の設定態様を例示する図である。
【図１０】図１０は、第４階層の基準領域の設定態様を例示する図である。
【図１１】図１１は、第４階層の参照領域の設定態様を例示する図である。
【図１２】図１２は、ＰＯＣ演算法による対応点の探索処理を説明するための図である。
【図１３】図１３は、ＰＯＣ値の分布を例示する図である。
【図１４】図１４は、第３階層の基準領域の設定態様を例示する図である。
【図１５】図１５は、第３階層の参照領域の設定態様を例示する図である。
【図１６】図１６は、第２階層の基準領域の設定態様を例示する図である。
【図１７】図１７は、第２階層の参照領域の設定態様を例示する図である。
【図１８】図１８は、第１階層の基準領域の設定態様を例示する図である。
【図１９】図１９は、第１階層の参照領域の設定態様を例示する図である。
【図２０】図２０は、既演算情報の再利用方法について説明するための図である。
【図２１】図２１は、既演算情報の再利用方法について説明するための図である。
【図２２】図２２は、三角測量の原理を用いた測距方法を説明するための図である。
【図２３】図２３は、対応点探索動作に係る動作フローを例示するフローチャートである。
【図２４】図２４は、対応点探索動作に係る動作フローを例示するフローチャートである。
【図２５】図２５は、ＰＳＡ法による対応点の探索処理を説明するための図である。
【図２６】図２６は、ＰＳＡ法による対応点の探索処理を説明するための図である。
【図２７】図２７は、ＰＳＡ法による対応点の探索処理を説明するための図である。
【図２８】図２８は、参照画像側における位相のずれの補正方法を説明するための図である。
【図２９】図２９は、参照画像側における位相のずれの補正方法を説明するための図である。
【図３０】図３０は、情報処理システムの一適用例を示す図である。
【図３１】図３１は、情報処理システムの一適用例を示す図である。
【発明を実施するための形態】
【００３２】
以下、本発明の一実施形態を図面に基づいて説明する。なお、図面においては同様な構成および機能を有する部分については同じ符号が付されており、下記説明では重複説明が省略される。また、図面は模式的に示されたものであり、各図における各種構造のサイズおよび位置関係等は正確に図示されたものではない。
【００３３】
＜（１）情報処理システムの概略構成＞
図１は、一実施形態に係る情報処理システム１００の概略構成を示す図である。情報処理システム１００は、第１カメラ１と第２カメラ２と画像処理装置３とを備えている。第１カメラ１は通信回線Ｌ１を介して画像処理装置３に対してデータ伝送可能に接続され、第２カメラ２は通信回線Ｌ２を介して画像処理装置３に対してデータ伝送可能に接続されている。通信回線Ｌ１，Ｌ２は、有線回線および無線回線の何れであっても良い。
【００３４】
第１および第２カメラ１，２は、被写体を撮像することで画像をそれぞれ取得する撮像装置である。これらの第１および第２カメラ１，２は、一方向に並んで配置されている。一方向は、例えば、水平方向であれば良い。一方向が水平方向である場合、第１カメラ１の撮像レンズの光軸と第２カメラ２の撮像レンズの光軸とが水平方向に離隔されている。そして、第１カメラ１の撮像レンズの光軸と第２カメラ２の撮像レンズの光軸との離隔距離が、第１および第２カメラ１，２に係る基線長である。
【００３５】
また、第１および第２カメラ１，２は、例えば、撮像素子によって、カメラの正面に位置する被写体を、同じタイミングで相互に異なる視点から撮像することで、いわゆるステレオ画像を取得する。つまり、ステレオ画像は、第１カメラ１の撮像によって取得される画像（第１画像とも言う）と、第２カメラ２の撮像によって取得される画像（第２画像とも言う）とを含む。第１画像に係るデータＭ１と第２画像に係るデータＭ２は、第１および第２カメラ１，２から通信回線Ｌ１，Ｌ２を介して画像処理装置３に送信され得る。
【００３６】
画像処理装置３は、例えば、パーソナルコンピュータ（パソコン）であれば良く、操作部３１、表示部３２、インターフェース（Ｉ／Ｆ）部３３、記憶部３４、入出力（Ｉ／Ｏ）部３５、および制御部３６を備えている。
【００３７】
操作部３１は、例えば、マウスおよびキーボードを含む。表示部３２は、例えば、液晶ディスプレイを含む。Ｉ／Ｆ部３３は、例えば、第１および第２カメラ１，２と画像処理装置３との間におけるデータの授受を行う。記憶部３４は、例えば、ハードディスク等を含み、プログラムＰＧおよび各種データを格納する。Ｉ／Ｏ部３５は、例えば、ディスクドライブを備え、光ディスク等の記憶媒体４を受け付けて該記憶媒体４と制御部３６との間におけるデータの授受を行う。制御部３６は、例えば、プロセッサーとして働くＣＰＵ３６ａ、および情報を一時的に記憶するメモリー３６ｂ等を含む。なお、制御部３６は、記憶部３４内のプログラムＰＧを読み込んで実行することで、各種機能および情報処理等を実現する。そして、制御部３６における各種情報処理によって一時的に得られる各種情報は、メモリー３６ｂ等に記憶される。
【００３８】
なお、本実施形態では、説明を簡素化するために、第１および第２カメラ１，２における収差が良好に補正されており、且つ第１および第２カメラ１，２は、略平行に設定されている。つまり、第１および第２カメラ１，２の光軸が略平行に設定され、第１および第２画像で捉えられた被写体は、第１および第２画像の外縁に対して略同一の角度関係を有する。但し、実際の第１および第２カメラ１，２が、このような条件にない場合は、画像処理によって同等の条件で撮像されたものと同視されるステレオ画像が得られれば良い。
【００３９】
＜（２）情報処理システムの機能的な構成＞
図２は、本実施形態に係る情報処理システム１００の主要部の機能的な構成を示すブロック図である。図２では、対応点探索動作および該対応点探索処理における探索結果を用いた距離測定動作に係る機能的な構成が示されている。ここで、対応点探索処理は、第１および第２カメラ１，２で得られる第１画像と第２画像との間で同じ被写体の部分を捉えた画素の対応関係を探索する処理である。また、距離測定動作は、第１および第２カメラ１，２から被写体までの距離を測定する動作である。なお、対応点探索動作では、第１画像が基準となる画像（基準画像とも言う）Ｇａ１として用いられ、第２画像が参照される画像（参照画像とも言う）Ｇａ２として用いられる。
【００４０】
制御部３６は、機能的な構成として、画像取得部３６１、画像生成部３６２、対応点探索部３６３、対応点探索制御部３６４、位置決定部３６５、既演算情報記憶部３６６、および距離算出部３６７を備えている。
【００４１】
画像取得部３６１は、第１カメラ１から第１画像に係るデータＭ１を取得し、第２カメラ２から第２画像に係るデータＭ２を取得する。第１画像と第２画像については、解像度が同一であることが好ましい。ここで、解像度は、画像において描かれている対象物がどこまで詳しく描写されているかを意味する。そして、ここでは、解像度が同一とは、画像における横方向の画素数が同じであり、縦方向の画素数が同じであることを意味する。
【００４２】
画像生成部３６２は、所定の変換倍率にしたがって、基準画像Ｇａ１としての第１画像の解像度を順次に低減して第１変換後基準画像Ｇｂ１、第２変換後基準画像Ｇｃ１、および第３変換後基準画像Ｇｄ１を生成する。また、画像生成部３６２は、所定の変換倍率にしたがって、参照画像Ｇａ２としての第２画像の解像度を順次に低減して第１変換後参照画像Ｇｂ２、第２変換後参照画像Ｇｃ２、および第３変換後参照画像Ｇｄ２を生成する。ここで、第１変換後基準画像Ｇｂ１は、基準画像Ｇａ１よりも解像度が低く、第２変換後基準画像Ｇｃ１は、第１変換後基準画像Ｇｂ１よりも解像度が低く、第３変換後基準画像Ｇｄ１は、第２変換後基準画像Ｇｃ１よりも解像度が低い。一方、第１変換後参照画像Ｇｂ２は、参照画像Ｇａ２よりも解像度が低く、第２変換後参照画像Ｇｃ２は、第１変換後参照画像Ｇｂ２よりも解像度が低く、第３変換後参照画像Ｇｄ２は、第２変換後参照画像Ｇｃ２よりも解像度が低い。
【００４３】
これにより、図３で示されるように、基準画像Ｇａ１について、基準画像Ｇａ１と第１〜３変換後基準画像Ｇｂ１〜Ｇｄ１とを含むＭ段階（Ｍは２以上の整数）の解像度の画像群ＧＲ１が生成される。また、参照画像Ｇａ２について、参照画像Ｇａ２と第１〜３変換後参照画像Ｇｂ２〜Ｇｄ２とを含むＭ段階（Ｍは２以上の整数）の解像度の画像群ＧＲ２が生成される。本実施形態では、Ｍが４であるものとして説明する。
【００４４】
別の観点から言えば、基準画像Ｇａ１と参照画像Ｇａ２とを含む第１階層の画像群１Ｈｙから、第２階層の画像群２Ｈｙ、第３階層の画像群３Ｈｙ、および第４階層の画像群４Ｈｙが生成される。そして、第２階層の画像群２Ｈｙは、第１変換後基準画像Ｇｂ１と第１変換後参照画像Ｇｂ２とを含み、第３階層の画像群３Ｈｙは、第２変換後基準画像Ｇｃ１と第２変換後参照画像Ｇｃ２とを含み、第４階層の画像群４Ｈｙは、第３変換後基準画像Ｇｄ１と第３変換後参照画像Ｇｄ２とを含む。
【００４５】
対応点探索部３６３は、位相限定相関（Phase-Only Correlation：ＰＯＣ）演算法等といった相関演算によって、複数の画像の間において対応点を探索する。
【００４６】
具体的には、対応点探索部３６３では、第４階層の画像群４Ｈｙに含まれる第３変換後基準画像Ｇｄ１と第３変換後参照画像Ｇｄ２との間で対応点が探索される処理（第４階層の探索処理とも言う）が行われる。また、第３階層の画像群３Ｈｙに含まれる第２変換後基準画像Ｇｃ１と第２変換後参照画像Ｇｃ２との間で対応点が探索される処理（第３階層の探索処理とも言う）が行われる。また、第２階層の画像群２Ｈｙに含まれる第１変換後基準画像Ｇｂ１と第１変換後参照画像Ｇｂ２との間で対応点が探索される処理（第２階層の探索処理とも言う）が行われる。また、第１階層の画像群１Ｈｙに含まれる基準画像Ｇａ１と参照画像Ｇａ２との間で対応点が探索される処理（第１階層の探索処理とも言う）が行われる。
【００４７】
対応点探索制御部３６４は、画像生成部３６２および対応点探索部３６３の動作を制御する。これにより、対応点探索部３６３において、第４階層の探索処理、第３階層の探索処理、第２階層の探索処理、および第１階層の探索処理がこの順で実行される。そして、第４階層の探索処理における演算で得られた情報（第４階層の既演算情報とも言う）と第４階層の探索処理における探索結果とが、第３階層の探索処理において利用される。また、第３階層の探索処理における演算で得られた情報（第３階層の既演算情報とも言う）と第３階層の探索処理における探索結果とが、第２階層の探索処理において利用される。また、第２階層の探索処理における演算で得られた情報（第２階層の既演算情報とも言う）と第２階層の探索処理における探索結果とが、第１階層の探索処理において利用される。
【００４８】
例えば、基準画像Ｇａ１の探索処理の基準となる画素（第１階層の基準点とも言う）Ｓａ１に対応する参照画像Ｇａ２における画素（第１階層の第１対応点とも言う）Ｃａ２が探索される対応点の探索処理では、図４で示されるような４段階の探索処理が行われる。
【００４９】
具体的には、まず、対応点探索部３６３によって、基準画像Ｇａ１において第１階層の基準点Ｓａ１が設定される。また、第１変換後基準画像Ｇｂ１において第１階層の基準点Ｓａ１と被写体の同一部分が捉えられている画素（第２階層の基準点とも言う）Ｓｂ１が設定される。また、第２変換後基準画像Ｇｃ１において第１および第２階層の基準点Ｓａ１，Ｓｂ１と被写体の同一部分が捉えられている画素（第３階層の基準点とも言う）Ｓｃ１が設定される。更に、第３変換後基準画像Ｇｄ１において第１〜３階層の基準点Ｓａ１〜Ｓｃ１と被写体の同一部分が捉えられている画素（第４階層の基準点とも言う）Ｓｄ１が設定される。
【００５０】
換言すれば、第１変換後基準画像Ｇｂ１において、基準画像Ｇａ１における第１階層の基準点Ｓａ１の位置に対応する位置に第２階層の基準点Ｓｂ１が設定される。また、第２変換後基準画像Ｇｃ１において、第１変換後基準画像Ｇｂ１における第２階層の基準点Ｓｂ１の位置に対応する位置に第３階層の基準点Ｓｃ１が設定される。更に、第３変換後基準画像Ｇｄ１において、第２変換後基準画像Ｇｃ１における第３階層の基準点Ｓｃ１の位置に対応する位置に第４階層の基準点Ｓｄ１が設定される。
【００５１】
そして、第４階層の探索処理では、第４階層の基準点Ｓｄ１に対応する画素（第４階層の対応点とも言う）Ｃｄ２が第３変換後参照画像Ｇｄ２において探索される。この探索では、第３変換後参照画像Ｇｄ２のうちの探索の基準となる画素（第４階層の探索基準点とも言う）を含む領域において第４階層の対応点Ｃｄ２が探索される。次に、第３階層の探索処理では、第３階層の基準点Ｓｃ１に対応する画素（第３階層の対応点とも言う）Ｃｃ２が第２変換後参照画像Ｇｃ２において探索される。この探索では、第２変換後参照画像Ｇｃ２のうちの探索の基準となる画素（第３階層の探索基準点とも言う）を含む領域において第３階層の対応点Ｃｃ２が探索される。
【００５２】
また、第２階層の探索処理では、第２階層の基準点Ｓｂ１に対応する画素（第２階層の対応点とも言う）Ｃｂ２が第１変換後参照画像Ｇｂ２において探索される。この探索では、第１変換後参照画像Ｇｂ２のうちの探索の基準となる画素（第２階層の探索基準点とも言う）を含む領域において第２階層の対応点Ｃｂ２が探索される。次に、第１階層の探索処理では、第１階層の基準点Ｓａ１に対応する画素（第１階層の対応点とも言う）Ｃａ２が参照画像Ｇａ２において探索される。この探索では、参照画像Ｇａ２のうちの探索の基準となる画素（第１階層の探索基準点とも言う）を含む領域において第１階層の対応点Ｃａ２が探索される。
【００５３】
位置決定部３６５は、第４階層の探索基準点、第３階層の探索基準点、第２階層の探索基準点、および第１階層の探索基準点の位置を決定する。なお、基準画像Ｇａ１、第１〜３変換後基準画像Ｇｂ１〜Ｇｄ１、参照画像Ｇａ２、および第１〜３変換後参照画像Ｇｂ２〜Ｇｄ２では、左上の画素が原点とされ、右方がＸ方向とされ、下方がＹ方向とされる。つまり、各画像Ｇａ１〜Ｇｄ１，Ｇａ２〜Ｇｄ２における各画素は、ＸおよびＹの座標によって表現され得る。
【００５４】
ここで、第４階層の探索基準点は、第３変換後基準画像Ｇｄ１における第４階層の基準点Ｓｄ１と所定の位置関係を有する。所定の位置関係は、例えば、第３変換後基準画像Ｇｄ１における第４階層の基準点Ｓｄ１の位置と、第３変換後参照画像Ｇｄ２における第４階層の探索基準点の位置とが同一である関係等であれば良い。換言すれば、所定の位置関係は、例えば、第３変換後基準画像Ｇｄ１における第４階層の基準点Ｓｄ１の座標と、第３変換後参照画像Ｇｄ２における第４階層の探索基準点の座標とが同一である関係等であれば良い。また、所定の位置関係は、例えば、第２カメラ２から第１カメラ１に至る基線長の延伸方向に対応する画像上の一方向において、所定数の画素ずれた関係等であっても良い。この一方向は、例えば、−Ｘ方向であれば良い。
【００５５】
また、第２変換後参照画像Ｇｃ２における第３階層の探索基準点の位置は、第３変換後参照画像Ｇｄ２における第４階層の対応点Ｃｄ２の位置に基づいて決定される。また、第１変換後参照画像Ｇｂ２における第２階層の探索基準点の位置は、第２変換後参照画像Ｇｃ２における第３階層の対応点Ｃｃ２の位置に基づいて決定される。更に、参照画像Ｇａ２における第１階層の探索基準点の位置は、第１変換後参照画像Ｇｂ２における第２階層の対応点Ｃｂ２の位置に基づいて決定される。
【００５６】
図５は、第３階層の探索基準点、第２階層の探索基準点、および第１階層の探索基準点の決定方法を説明するための図である。第３階層の探索基準点、第２階層の探索基準点、および第１階層の探索基準点の決定方法は同様である。このため、図５では、一例として第３階層の探索基準点の決定方法が模式的に示されている。なお、ここでは、画像生成部３６２における所定の変換倍率が１／２である一例について説明する。
【００５７】
例えば、第４階層の第３変換後基準画像Ｇｄ１における座標(ｘｄ１，ｙｄ１)の画素の画素値は、第３階層の第２変換後基準画像Ｇｃ１における座標(ｘｃ１，ｙｃ１)、(ｘｃ１＋１，ｙｃ１)、(ｘｃ１，ｙｃ１＋１)、(ｘｃ１＋１，ｙｃ１＋１)の４画素の画素値の平均値とされる。ここで、第４階層の探索処理において、座標(ｘｄ１，ｙｄ１)の画素が第４階層の基準点Ｓｄ１に設定され、該第４階層の基準点Ｓｄ１に対応する第４階層の対応点Ｃｄ２の座標が(ｘｄ２，ｙｄ２)である場合、第３階層の探索基準点の座標(ｘｃ２，ｙｃ２)は、例えば、次式(１)で示される。
【００５８】
(ｘｃ２，ｙｃ２)＝(ｘｄ２×２，ｙｄ２×２)  ・・・(１)。
【００５９】
また、第３階層の探索基準点が座標(ｘｃ２，ｙｃ２)、(ｘｃ２＋１，ｙｃ２)、(ｘｃ２，ｙｃ２＋１)、(ｘｃ２＋１，ｙｃ２＋１)の４画素からなる場合は、例えば、該４画素の座標は、例えば、次式(２)，(３)，(４)，(５)で示される。
【００６０】
(ｘｃ２，ｙｃ２)＝(ｘｄ２×２，ｙｄ２×２)  ・・・(２)
(ｘｃ２＋１，ｙｃ２)＝(ｘｄ２×２＋１，ｙｄ２×２)  ・・・(３)
(ｘｃ２，ｙｃ２＋１)＝(ｘｄ２×２，ｙｄ２×２＋１)  ・・・(４)
(ｘｃ２＋１，ｙｃ２＋１)＝(ｘｄ２×２＋１，ｙｄ２×２＋１)  ・・・(５)。
【００６１】
既演算情報記憶部３６６は、第４階層の探索処理における演算で得られる第４階層の既演算情報、第３階層の探索処理における演算で得られる第３階層の既演算情報、および第２階層の探索処理における演算で得られる第２階層の既演算情報を記憶する。この既演算情報記憶部３６６は、主にメモリー３６ｂで実現され得るが、記憶部３４で実現されても良い。
【００６２】
距離算出部３６７は、対応点探索部３６３による探索結果に基づいて、第１および第２カメラ１，２から被写体のうちの基準点Ｓａ１で捉えられている部分までの距離を算出する。具体的には、該距離は、基準画像Ｇａ１における基準点Ｓａ１の位置と、参照画像Ｇａ２における対応点Ｃａ２の位置とのズレ量と、第１および第２カメラ１，２の内部パラメータおよび外部パラメータとに基づいて、三角測量の技術が用いられて算出される。ここで、内部パラメータには、例えば、第１および第２カメラ１，２に内蔵される光学系の焦点距離、画像中心、および撮像素子の傾き等を示すパラメータが含まれる。また、外部パラメータには、例えば、第１カメラ１と第２カメラ２との位置関係および姿勢の関係等を示すパラメータが含まれる。
【００６３】
＜（３）画像生成部における第１〜４階層の画像群の生成＞
画像生成部３６２では、例えば、基準画像Ｇａ１の解像度が第１の所定の変換倍率で低減されることで第１変換後基準画像Ｇｂ１が生成され得る。また、第１変換後基準画像Ｇｂ１の解像度が第２の所定の変換倍率で低減されることで第２変換後基準画像Ｇｃ１が生成され得る。更に、第２変換後基準画像Ｇｃ１の解像度が第３の所定の変換倍率で低減されることで第３変換後基準画像Ｇｄ１が生成され得る。なお、基準画像Ｇａ１の解像度が第２の所定の変換倍率で低減されることで第２変換後基準画像Ｇｃ１が生成され、基準画像Ｇａ１の解像度が第３の所定の変換倍率で低減されることで第３変換後基準画像Ｇｄ１が生成されても良い。
【００６４】
また、画像生成部３６２では、例えば、参照画像Ｇａ２の解像度が第４の所定の変換倍率で低減されることで第１変換後参照画像Ｇｂ２が生成され得る。また、第１変換後参照画像Ｇｂ２の解像度が第５の所定の変換倍率で低減されることで第２変換後参照画像Ｇｃ２が生成され得る。更に、第２変換後参照画像Ｇｃ２の解像度が第６の所定の変換倍率で低減されることで第３変換後参照画像Ｇｄ２が生成され得る。なお、参照画像Ｇａ２の解像度が第５の所定の変換倍率で低減されることで第２変換後参照画像Ｇｃ２が生成され、参照画像Ｇａ２の解像度が第６の所定の変換倍率で低減されることで第３変換後参照画像Ｇｄ２が生成されても良い。
【００６５】
ここで、解像度を低減することは、例えば、画像の横方向および縦方向の画素数を低減して、同一対象物を表す粗い画質の画像に変換することを意味する。また、第１〜６の所定の変換倍率は、変換後の画像の横方向における画素数を変換前の画像の横方向における画素数で除した数値、および変換後の画像の縦方向における画素数を変換前の画像の縦方向における画素数で除した数値を示す。例えば、この所定の変換倍率は、１／ｎ（ｎは１よりも大きな任意の数）で表される。１／ｎは、例えば、１／２等であれば良い。なお、所定の変換倍率は、画像の横方向と縦方向との間で、同一であっても異なっていても良い。そして、第１の所定の変換倍率と第４の所定の変換倍率とが同一であり、第２の所定の変換倍率と第５の所定の変換倍率とが同一であり、第３の所定の変換倍率と第６の所定の変換倍率とが同一であることが好ましい。
【００６６】
第１〜６の所定の変換倍率が１／２である場合、基準画像Ｇａ１、第１〜３変換後基準画像Ｇｂ１〜Ｇｄ１、参照画像Ｇａ２、および第１〜３変換後参照画像Ｇｂ２〜Ｇｄ２は、例えば、次のような画像となり得る。
【００６７】
第１階層の基準画像Ｇａ１および参照画像Ｇａ２が、Ｘ方向に６４０個およびＹ方向に４８０個の画素が格子状に配列されている画像である。第２階層の第１変換後基準画像Ｇｂ１および第１変換後参照画像Ｇｂ２が、Ｘ方向に３２０個およびＹ方向に２４０個の画素が格子状に配列されている画像である。第３階層の第２変換後基準画像Ｇｃ１および第２変換後参照画像Ｇｃ２が、Ｘ方向に１６０個およびＹ方向に１２０個の画素が格子状に配列されている画像である。第４階層の第３変換後基準画像Ｇｄ１および第３変換後参照画像Ｇｄ２が、Ｘ方向に８０個およびＹ方向に６０個の画素が格子状に配列されている画像である。
【００６８】
この場合、第２階層の各画像Ｇｂ１，Ｇｂ２における座標（ｘ，ｙ）の画素の画素値は、例えば、第１階層の各画像Ｇａ１，Ｇａ２における座標（２ｘ，２ｙ），（２ｘ＋１，２ｙ），（２ｘ，２ｙ＋１），（２ｘ＋１，２ｙ＋１）の４画素の画素値の平均値とされ得る。また、第３階層の各画像Ｇｃ１，Ｇｃ２における座標（ｘ，ｙ）の画素の画素値は、例えば、第２階層の各画像Ｇｂ１，Ｇｂ２における座標（２ｘ，２ｙ），（２ｘ＋１，２ｙ），（２ｘ，２ｙ＋１），（２ｘ＋１，２ｙ＋１）の４画素の画素値の平均値とされ得る。なお、ｘは任意のＸ座標を示し、ｙは任意のＹ座標を示している。
【００６９】
なお、第１〜６の所定の変換倍率は、１／２に限られず、１／３等と小さい値に設定されても良い。この場合、画像生成部３６２で生成される画像群ＧＲ１，ＧＲ２に係るＭ段階（Ｍは２以上の整数）の低減が可能となり得る。これにより、探索処理の演算量の低減が可能となり、対応点探索動作の高速化が図られ得る。
【００７０】
また、第１〜６の所定の変換倍率は、１／１．５等のように、１／２よりも大きい値に設定されても良い。この場合、画像生成部３６２で生成される画像群ＧＲ１，ＧＲ２に係るＭ段階（Ｍは２以上の整数）が増大するが、対応点探索動作における対応点の探索精度が向上するため、対応点探索動作におけるロバスト性が向上し得る。
【００７１】
また、第１〜３の所定の変換倍率が異なり、第４〜６の所定の変換倍率が異なっていても良い。例えば、基準画像Ｇａ１および参照画像Ｇａ２の第１解像度が基準とされて、生成される画像の解像度が低くなれば低くなる程、変換倍率が増大するように設定されても良い。この場合、基準画像Ｇａ１および参照画像Ｇａ２で捉えられている被写体に遠景と近景とが含まれていても、低解像度の画像間については細かく対応点が探索されることでロバスト性が担保され、高解像度の画像間については高速で対応点が探索され得る。これにより、ロバスト性の担保と高速化との両立といったバランスの取れた対応点探索動作が実現され得る。
【００７２】
＜（４）対応点の探索処理の内容＞
ここで、対応点探索部３６３、対応点探索制御部３６４、および位置決定部３６５によって実現される対応点の探索処理における詳細な内容について説明する。
【００７３】
まず、図６で示されるように、基準画像Ｇａ１において第１階層の基準点Ｓａ１が設定される。また、図７で示されるように、第１変換後基準画像Ｇｂ１において第２階層の基準点Ｓｂ１が設定される。また、図８で示されるように、第２変換後基準画像Ｇｃ１において第３階層の基準点Ｓｃ１が設定される。更に、図９で示されるように、第３変換後基準画像Ｇｄ１において第４階層の基準点Ｓｄ１が設定される。そして、第４階層の探索処理、第３階層の探索処理、第２階層の探索処理、および第１階層の探索処理が順次に行われる。以下、第４階層の探索処理、第３階層の探索処理、第２階層の探索処理、および第１階層の探索処理の内容について順次に説明する。
【００７４】
＜（４−１）第４階層の探索処理の内容＞
第４階層の探索処理では、まず、図１０で示されるように、第３変換後基準画像Ｇｄ１において、第４階層の基準点Ｓｄ１を基準として包含する探索ウインドウ（第４階層の基準領域とも言う）Ｗｄ１が設定される。第４階層の基準領域Ｗｄ１は、例えば、第４階層の基準点Ｓｄ１が中心または重心とされて設定されれば良い。また、位置決定部３６５により、図１１で示されるように、第３変換後参照画像Ｇｄ２において、第４階層の探索基準点Ｓｄ２が設定される。そして、図１１で示されるように、第３変換後参照画像Ｇｄ２において、第４階層の探索基準点Ｓｄ２を基準として包含する探索ウインドウ（第４階層の参照領域とも言う）Ｗｄ２が設定される。第４階層の参照領域Ｗｄ２は、例えば、第４階層の探索基準点Ｓｄ２が中心または重心とされて設定されれば良い。
【００７５】
次に、対応点探索部３６３によって、第３変換後参照画像Ｇｄ２のうちの第４階層の参照領域Ｗｄ２において第４階層の基準点Ｓｄ１に対応する第４階層の対応点Ｃｄ２が探索される。このとき、図１２で示されるＰＯＣ演算法を用いた対応点の探索処理が行われる。
【００７６】
ここでは、第４階層の基準領域Ｗｄ１および第４階層の参照領域Ｗｄ２は、それぞれＸ方向に沿って所定数Ｎ１の画素が配列され、Ｙ方向に沿って所定数Ｎ２の画素が配列される画像領域として取り扱われる。そして、これらの画像領域は、次の数１で表され得る。
【００７７】
【数１】
2013001885.tif 000003
【００７８】
ここで、上記数１におけるｆ(ｘ,ｙ)は、第４階層の基準領域Ｗｄ１に含まれる領域画像（第４階層の基準領域画像とも言う）を示し、上記数１におけるｇ(ｘ,ｙ)は、第４階層の参照領域Ｗｄ２に含まれる領域画像（第４階層の参照領域画像とも言う）を示す。また、Ｎ１およびＮ２は、例えば、Ｎ１＝２Ｍ１＋１、Ｎ２＝２Ｍ２＋１と設定され得る。
【００７９】
そして、まず、第４階層の基準領域画像と第４階層の参照領域画像とに対し、下記数２で示される演算式を用いた２次元のフーリエ変換処理Ｃ１１，Ｃ２１が行われる。
【００８０】
【数２】
2013001885.tif 000004
【００８１】
上記数２の但し書におけるＷの添字Ｎには、Ｎ１，Ｎ２が代入され、ｕはＸ方向の周波数を示し、ｖはＹ方向の周波数を示す。このため、（ｕ，ｖ）は、２次元の空間周波数を示す。ここでは、２次元のフーリエ変換処理Ｃ１１によって、第４階層の基準領域画像が周波数成分に分解され、２次元のフーリエ変換処理Ｃ２１によって、第４階層の参照領域画像が周波数成分に分解される。これにより、第４階層の基準領域画像に係る複数の周波数成分の情報を含む周波数情報（第４階層の基準周波数情報とも言う）が得られ、第４階層の参照領域画像に係る複数の周波数成分の情報を含む周波数情報（第４階層の参照周波数情報とも言う）が得られる。
【００８２】
ここで、例えば、探索ウインドウがＸ方向に３３個およびＹ方向に１７個の画素がマトリックス状に配列される寸法を有する場合、Ｘ方向に係る周波数ｕの周波数成分の全域は、直流成分と、周波数が１〜１６の１６個の交流成分とで表される。また、この場合、Ｙ方向に係る周波数ｖの周波数成分の全域は、直流成分と、周波数が１〜８の８個の交流成分とで表される。また、交流成分は、正弦波によって示され得る。
【００８３】
なお、第４階層の基準領域画像と第４階層の参照領域画像が、Ｘ方向およびＹ方向において２のべき乗の画素数からなる矩形状の寸法を有する場合、２次元のフーリエ変換処理Ｃ１１，Ｃ２１に、ＦＦＴが採用され得る。ＦＦＴは、バタフライ演算を特徴とする高速フーリエ変換（Fast Fourier Transform）である。そして、例えば、探索ウインドウがＸ方向に３２画素およびＹ方向に１６画素の寸法を有する場合、Ｘ方向に係る周波数ｕの周波数成分の全域は、直流成分と、周波数が１〜１５の１５個の交流成分とで表される。また、この場合、Ｙ方向に係る周波数ｖの周波数成分の全域は、直流成分と、周波数が１〜７の７個の交流成分とで表される。なお、２次元のフーリエ変換処理Ｃ１１，Ｃ２１による演算結果は、実部Ｒｅ（ｕ，ｖ）と虚部Ｉｍ（ｕ，ｖ）とを有する複素数の形式で出力され得る。
【００８４】
また、フーリエ変換処理Ｃ１１，Ｃ２１によって得られる第４階層の基準周波数情報と第４階層の参照周波数情報とに係る既演算情報が、既演算情報記憶部３６６に記憶される。この既演算情報には、第４階層の基準周波数情報および第４階層の参照周波数情報のうちの少なくとも一部の情報が含まれ得る。
【００８５】
上記フーリエ変換処理Ｃ１１，Ｃ２１で得られた第４階層の基準周波数情報と第４階層の参照周波数情報とに対しては、下記数３で示される演算式が用いられて、画像の振幅成分を除去するための規格化処理Ｃ１２，Ｃ２２が行われる。これにより、第４階層の基準周波数情報から各空間周波数に係る位相情報（第４階層の基準位相情報とも言う）が抽出され、第４階層の参照周波数情報から各空間周波数に係る位相情報（第４階層の参照位相情報とも言う）が抽出される。
【００８６】
【数３】
2013001885.tif 000005
【００８７】
規格化処理Ｃ１２，Ｃ２２が完了すると、下記数４で示される演算式を用いた合成処理Ｃ３が行われる。これにより、各空間周波数について、第４階層の基準位相情報と第４階層の参照位相情報とに基づいて位相差（第４階層の位相差とも言う）が算出される。ここで、数４で示されるＷｔ（ｕ，ｖ）は、必要に応じて乗ぜられる重み付け係数を示す。なお、本実施形態では、重み付け係数Ｗｔ（ｕ，ｖ）は、空間周波数（ｕ，ｖ）に拘わらず、１に設定されれば良い。
【００８８】
【数４】
2013001885.tif 000006
【００８９】
その後、下記数５で示される演算式を用いた２次元の逆フーリエ変換処理Ｃ４が行われる。これにより、各画像間の相関演算が実施され、その結果（ＰＯＣ値）が出力される。
【００９０】
【数５】
2013001885.tif 000007
【００９１】
以上の処理により、第４階層の基準領域画像と第４階層の参照領域画像との相関を示す演算結果（ＰＯＣ値）が得られ、例えば、図１３で示されるような結果（ＰＯＣ値の分布）が得られる。
【００９２】
図１３では、Ｘ方向に沿って所定数Ｎ１の画素が配列され、Ｙ方向に沿って所定数Ｎ２の画素が配列される矩形の画像領域において相関が高い箇所のＰＯＣ値が大きくなる。そして、第４階層の参照領域画像内のうち、ＰＯＣ値のピークＪｃに対応する位置が、第３変換後参照画像Ｇｄ２において第４階層の基準点Ｓｄ１に対応する対応点Ｃｄ２である。
【００９３】
このようにして、対応点探索部３６３では、ＰＯＣ演算法を用いた第４階層の探索処理により、第３変換後参照画像Ｇｄ２において第４階層の対応点Ｃｄ２の位置が検出され得る。つまり、各周波数成分に係る第４階層の基準位相情報と、各周波数成分に係る第４階層の参照位相情報とに基づき、第４階層の基準点Ｓｄ１に対応する第４階層の対応点Ｃｄ２が検出され得る。
【００９４】
＜（４−２）第３階層の探索処理の内容＞
第３階層の探索処理では、まず、図１４で示されるように、第２変換後基準画像Ｇｃ１において、第３階層の基準点Ｓｃ１を基準として包含する探索ウインドウ（第３階層の基準領域とも言う）Ｗｃ１が設定される。第３階層の基準領域Ｗｃ１は、例えば、第３階層の基準点Ｓｃ１が中心または重心とされて設定されれば良い。一方、位置決定部３６５により、図１５で示されるように、第２変換後参照画像Ｇｃ２において、第３階層の探索基準点Ｓｃ２が設定される。そして、図１５で示されるように、第２変換後参照画像Ｇｃ２において、第３階層の探索基準点Ｓｃ２を基準として包含する探索ウインドウ（第３階層の参照領域とも言う）Ｗｃ２が設定される。第３階層の参照領域Ｗｃ２は、例えば、第３階層の探索基準点Ｓｃ２が中心または重心とされて設定されれば良い。
【００９５】
次に、対応点探索部３６３によって、第２変換後参照画像Ｇｃ２のうちの第３階層の参照領域Ｗｃ２において第３階層の基準点Ｓｃ１に対応する第３階層の対応点Ｃｃ２が探索される。このとき、第４階層の探索処理と同様に、図１２で示されるＰＯＣ演算法を用いた対応点の探索処理が行われる。なお、第３階層における対応点の探索処理では、第４階層における対応点の探索処理のうちの第４階層の基準領域Ｗｄ１および第４階層の参照領域Ｗｄ２の代わりに、第３階層の基準領域Ｗｃ１および第３階層の参照領域Ｗｃ２が採用される。以下、第３階層における対応点の探索処理のうち、第４階層における対応点の探索処理と異なる点について主に説明する。
【００９６】
ここでは、上記数１におけるｆ(ｘ,ｙ)は、第３階層の基準領域Ｗｃ１に含まれる領域画像（第３階層の基準領域画像とも言う）を示し、上記数１におけるｇ(ｘ,ｙ)は、第３階層の参照領域Ｗｃ２に含まれる領域画像（第３階層の参照領域画像とも言う）を示す。
【００９７】
そして、まず、第３階層の基準領域画像と第３階層の参照領域画像とに対し、上記数２で示される演算式を用いた２次元のフーリエ変換処理Ｃ１１，Ｃ２１が行われる。ここでは、第３階層の基準領域画像が周波数成分に分解され、第３階層の参照領域画像が周波数成分に分解される。これにより、第３階層の基準領域画像に係る複数の周波数成分の情報を含む周波数情報（第３階層の基準周波数情報とも言う）が得られ、第３階層の参照領域画像に係る複数の周波数成分の情報を含む周波数情報（第３階層の参照周波数情報とも言う）が得られる。
【００９８】
但し、２次元のフーリエ変換処理Ｃ１１，Ｃ２１では、既演算情報記憶部３６６に記憶されている第４階層の既演算情報が再利用されることで、一部の演算が省略される。これにより、演算量が低減され得る。
【００９９】
詳細には、第４階層の既演算情報に含まれる第４階層の基準周波数情報および第４階層の参照周波数情報のうちの少なくとも一部の情報が、規格化処理Ｃ１２，Ｃ２２以降の演算処理に用いられる第３階層の周波数情報に係る一部の情報として用いられる。なお、第３階層の周波数情報には、第３階層の基準周波数情報および第３階層の参照周波数情報が含まれる。つまり、第３階層の演算用の情報のうちの一部の情報は、第４階層の既演算情報から得られる。
【０１００】
一方、第３階層の演算用の情報のうちの残余の情報は、２次元のフーリエ変換処理Ｃ１１，Ｃ２１により、第３階層の基準領域画像と、第３階層の参照領域画像とに基づいて算出される。
【０１０１】
また、再利用された既演算情報、ならびにフーリエ変換処理Ｃ１１，Ｃ２１によって得られた第３階層の基準周波数情報および第３階層の参照周波数情報についての既演算情報が、既演算情報記憶部３６６に記憶される。この既演算情報には、第３階層の基準周波数情報および第３階層の参照周波数情報のうちの少なくとも一部の情報が含まれ得る。
【０１０２】
次に、第３階層の基準周波数情報と第３階層の参照周波数情報とに対しては、上記数３で示される演算式が用いられて、画像の振幅成分を除去するための規格化処理Ｃ１２，Ｃ２２が行われる。これにより、第３階層の基準周波数情報から各空間周波数に係る位相情報（第３階層の基準位相情報とも言う）が抽出され、第３階層の参照周波数情報から各空間周波数に係る位相情報（第３階層の参照位相情報とも言う）が抽出される。
【０１０３】
規格化処理Ｃ１２，Ｃ２２が完了すると、上記数４で示される演算式を用いた合成処理Ｃ３が行われる。これにより、第３階層の基準位相情報と第３階層の参照位相情報とに基づいて各空間周波数に係る位相差（第３階層の位相差とも言う）が算出される。
【０１０４】
その後、上記数５で示される演算式を用いた２次元の逆フーリエ変換処理Ｃ４が行われる。これにより、各画像間の相関演算が実施され、その結果（ＰＯＣ値）が出力される。
【０１０５】
以上の処理により、第３階層の基準領域画像と第３階層の参照領域画像との相関を示す演算結果（ＰＯＣ値）が得られ、例えば、図１３で示されるような結果（ＰＯＣ値の分布）が得られる。そして、第３階層の参照領域画像内のうち、ＰＯＣ値のピークＪｃに対応する位置が、第２変換後参照画像Ｇｃ２において第３階層の基準点Ｓｃ１に対応する対応点Ｃｃ２である。
【０１０６】
このようにして、対応点探索部３６３では、ＰＯＣ演算法を用いた第３階層の探索処理により、第２変換後参照画像Ｇｃ２において第３階層の対応点Ｃｃ２の位置が検出され得る。つまり、各周波数成分に係る第３階層の基準位相情報と、各周波数成分に係る第３階層の参照位相情報とに基づき、第３階層の基準点Ｓｃ１に対応する第３階層の対応点Ｃｃ２が検出され得る。
【０１０７】
＜（４−３）第２階層の探索処理の内容＞
第２階層の探索処理では、まず、図１６で示されるように、第１変換後基準画像Ｇｂ１において、第２階層の基準点Ｓｂ１を基準として包含する探索ウインドウ（第２階層の基準領域とも言う）Ｗｂ１が設定される。第２階層の基準領域Ｗｂ１は、例えば、第２階層の基準点Ｓｂ１が中心または重心とされて設定されれば良い。一方、位置決定部３６５により、図１７で示されるように、第１変換後参照画像Ｇｂ２において、第２階層の探索基準点Ｓｂ２が設定される。そして、図１７で示されるように、第１変換後参照画像Ｇｂ２において、第２階層の探索基準点Ｓｂ２を基準として包含する探索ウインドウ（第２階層の参照領域とも言う）Ｗｂ２が設定される。第２階層の参照領域Ｗｂ２は、例えば、第２階層の探索基準点Ｓｂ２が中心または重心とされて設定されれば良い。
【０１０８】
次に、対応点探索部３６３によって、第１変換後参照画像Ｇｂ２のうちの第２階層の参照領域Ｗｂ２において第２階層の基準点Ｓｂ１に対応する第２階層の対応点Ｃｂ２が探索される。このとき、第３階層の探索処理と同様に、図１２で示されるＰＯＣ演算法を用いた対応点の探索処理が行われる。なお、第２階層における対応点の探索処理では、第３階層における対応点の探索処理のうちの第３階層の基準領域Ｗｃ１および第３階層の参照領域Ｗｃ２の代わりに、第２階層の基準領域Ｗｂ１および第２階層の参照領域Ｗｂ２が採用される。以下、第２階層における対応点の探索処理のうち、第３階層における対応点の探索処理と異なる点について主に説明する。
【０１０９】
ここでは、上記数１におけるｆ(ｘ,ｙ)は、第２階層の基準領域Ｗｂ１に含まれる領域画像（第２階層の基準領域画像とも言う）を示し、上記数１におけるｇ(ｘ,ｙ)は、第２階層の参照領域Ｗｂ２に含まれる領域画像（第２階層の参照領域画像とも言う）を示す。
【０１１０】
そして、まず、第２階層の基準領域画像と第２階層の参照領域画像とに対し、上記数２で示される演算式を用いた２次元のフーリエ変換処理Ｃ１１，Ｃ２１が行われる。ここでは、第２階層の基準領域画像が周波数成分に分解され、第２階層の参照領域画像が周波数成分に分解される。これにより、第２階層の基準領域画像に係る複数の周波数成分を含む周波数情報（第２階層の基準周波数情報とも言う）が得られ、第２階層の参照領域画像に係る複数の周波数成分を含む周波数情報（第２階層の参照周波数情報とも言う）が得られる。
【０１１１】
但し、２次元のフーリエ変換処理Ｃ１１，Ｃ２１では、既演算情報記憶部３６６に記憶されている第３階層の既演算情報が再利用されることで、一部の演算が省略される。これにより、演算量が低減され得る。
【０１１２】
詳細には、第３階層の既演算情報に含まれる第３階層の基準周波数情報および第３階層の参照周波数情報のうちの少なくとも一部の情報が、規格化処理Ｃ１２，Ｃ２２以降の演算処理に用いられる第２階層の周波数情報に係る一部の情報として用いられる。第２階層の周波数情報には、第２階層の基準周波数情報および第２階層の参照周波数情報が含まれる。つまり、第２階層の演算用の情報のうちの一部の情報は、第３階層の既演算情報から得られる。
【０１１３】
一方、第２階層の演算用の情報のうちの残余の情報は、２次元のフーリエ変換処理Ｃ１１，Ｃ２１により、第２階層の基準領域画像と、第２階層の参照領域画像とに基づいて算出される。
【０１１４】
また、再利用された既演算情報、ならびにフーリエ変換処理Ｃ１１，Ｃ２１によって得られた第２階層の基準周波数情報および第２階層の参照周波数情報についての既演算情報が、既演算情報記憶部３６６に記憶される。この既演算情報には、第２階層の基準周波数情報および第２階層の参照周波数情報のうちの少なくとも一部の情報が含まれ得る。
【０１１５】
次に、第２階層の基準周波数情報と第２階層の参照周波数情報とに対しては、上記数３で示される演算式が用いられて、画像の振幅成分を除去するための規格化処理Ｃ１２，Ｃ２２が行われる。これにより、第２階層の基準周波数情報から各空間周波数に係る位相情報（第２階層の基準位相情報とも言う）が抽出され、第２階層の参照周波数情報から各空間周波数に係る位相情報（第２階層の参照位相情報とも言う）が抽出される。
【０１１６】
規格化処理Ｃ１２，Ｃ２２が完了すると、上記数４で示される演算式を用いた合成処理Ｃ３が行われる。これにより、各空間周波数に係る第２階層の基準位相情報と各空間周波数に係る第２階層の参照位相情報とに基づいて各空間周波数に係る位相差（第２階層の位相差とも言う）が算出される。
【０１１７】
その後、上記数５で示される演算式を用いた２次元の逆フーリエ変換処理Ｃ４が行われる。これにより、各画像間の相関演算が実施され、その結果（ＰＯＣ値）が出力される。
【０１１８】
以上の処理により、第２階層の基準領域画像と第２階層の参照領域画像との相関を示す演算結果（ＰＯＣ値）が得られ、例えば、図１３で示されるような結果（ＰＯＣ値の分布）が得られる。そして、第２階層の参照領域画像内のうち、ＰＯＣ値のピークＪｃに対応する位置が、第１変換後参照画像Ｇｂ２において第２階層の基準点Ｓｂ１に対応する対応点Ｃｂ２である。
【０１１９】
このようにして、対応点探索部３６３では、ＰＯＣ演算法を用いた第２階層の探索処理により、第１変換後参照画像Ｇｂ２において第２階層の対応点Ｃｂ２の位置が検出され得る。つまり、各周波数成分に係る第２階層の基準位相情報と、各周波数成分に係る第２階層の参照位相情報とに基づき、第２階層の基準点Ｓｂ１に対応する第２階層の対応点Ｃｂ２が検出され得る。
【０１２０】
＜（４−４）第１階層の探索処理の内容＞
第１階層の探索処理では、まず、図１８で示されるように、基準画像Ｇａ１において、第１階層の基準点Ｓａ１を基準として包含する探索ウインドウ（第１階層の基準領域とも言う）Ｗａ１が設定される。第１階層の基準領域Ｗａ１は、例えば、第１階層の基準点Ｓａ１が中心または重心とされて設定されれば良い。一方、位置決定部３６５により、図１９で示されるように、参照画像Ｇａ２において、第１階層の探索基準点Ｓａ２が設定される。そして、図１９で示されるように、参照画像Ｇａ２において、第１階層の探索基準点Ｓａ２を基準として包含する探索ウインドウ（第１階層の参照領域とも言う）Ｗａ２が設定される。第１階層の参照領域Ｗａ２は、例えば、第１階層の探索基準点Ｓａ２が中心または重心とされて設定されれば良い。
【０１２１】
次に、対応点探索部３６３によって、参照画像Ｇａ２のうちの第１階層の参照領域Ｗａ２において第１階層の基準点Ｓａ１に対応する第１階層の対応点Ｃａ２が探索される。このとき、第２階層の探索処理と同様に、図１２で示されるＰＯＣ演算法を用いた対応点の探索処理が行われる。なお、第１階層における対応点の探索処理では、第２階層における対応点の探索処理のうちの第２階層の基準領域Ｗｂ１および第２階層の参照領域Ｗｂ２の代わりに、第１階層の基準領域Ｗａ１および第１階層の参照領域Ｗａ２が採用される。以下、第１階層における対応点の探索処理のうち、第２階層における対応点の探索処理と異なる点について主に説明する。
【０１２２】
ここでは、上記数１におけるｆ(ｘ,ｙ)は、第１階層の基準領域Ｗａ１に含まれる領域画像（第１階層の基準領域画像とも言う）を示し、上記数１におけるｇ(ｘ,ｙ)は、第１階層の参照領域Ｗａ２に含まれる領域画像（第１階層の参照領域画像とも言う）を示す。
【０１２３】
そして、まず、第１階層の基準領域画像と第１階層の参照領域画像とに対し、上記数２で示される演算式を用いた２次元のフーリエ変換処理Ｃ１１，Ｃ２１が行われる。ここでは、第１階層の基準領域画像が周波数成分に分解され、第１階層の参照領域画像が周波数成分に分解される。これにより、第１階層の基準領域画像に係る複数の周波数成分を含む周波数情報（第１階層の基準周波数情報とも言う）が得られ、第１階層の参照領域画像に係る複数の周波数成分を含む周波数情報（第１階層の参照周波数情報とも言う）が得られる。
【０１２４】
但し、２次元のフーリエ変換処理Ｃ１１，Ｃ２１では、既演算情報記憶部３６６に記憶されている第２階層の既演算情報が再利用されることで、一部の演算が省略される。これにより、演算量が低減され得る。
【０１２５】
詳細には、既演算情報に含まれる第２階層の基準周波数情報および第２階層の参照周波数情報のうちの少なくとも一部の情報が、規格化処理Ｃ１２，Ｃ２２以降の演算処理に用いられる第１階層の周波数情報に係る一部の情報として用いられる。第１階層の周波数情報には、第１階層の基準周波数情報および第１階層の参照周波数情報が含まれ得る。つまり、第１階層の演算用の情報のうちの一部の情報は、第２階層の既演算情報から得られる。
【０１２６】
一方、第１階層の演算用の情報のうちの残余の情報は、２次元のフーリエ変換処理Ｃ１１，Ｃ２１により、第１階層の基準領域画像と、第１階層の参照領域画像とに基づいて算出される。
【０１２７】
次に、第１階層の基準周波数情報と第１階層の参照周波数情報とに対しては、上記数３で示される演算式が用いられて、画像の振幅成分を除去するための規格化処理Ｃ１２，Ｃ２２が行われる。これにより、第１階層の基準周波数情報から各空間周波数に係る位相情報（第１階層の基準位相情報とも言う）が抽出され、第１階層の参照周波数情報から各空間周波数に係る位相情報（第１階層の参照位相情報とも言う）が抽出される。
【０１２８】
規格化処理Ｃ１２，Ｃ２２が完了すると、上記数４で示される演算式を用いた合成処理Ｃ３が行われる。これにより、各空間周波数に係る第１階層の基準位相情報と各空間周波数に係る第１階層の参照位相情報とに基づいて各空間周波数に係る位相差（第１階層の位相差とも言う）が算出される。
【０１２９】
その後、上記数５で示される演算式を用いた２次元の逆フーリエ変換処理Ｃ４が行われる。これにより、各画像間の相関演算が実施され、その結果（ＰＯＣ値）が出力される。
【０１３０】
以上の処理により、第１階層の基準領域画像と第１階層の参照領域画像との相関を示す演算結果（ＰＯＣ値）が得られ、例えば、図１３で示されるような結果（ＰＯＣ値の分布）が得られる。そして、第１階層の参照領域画像内のうち、ＰＯＣ値のピークＪｃに対応する位置が、参照画像Ｇａ２において第１階層の基準点Ｓａ１に対応する対応点Ｃａ２である。
【０１３１】
このようにして、対応点探索部３６３では、ＰＯＣ演算法を用いた第１階層の探索処理により、参照画像Ｇａ２において第１階層の対応点Ｃａ２の位置が検出され得る。つまり、各周波数成分に係る第１階層の基準位相情報と、各周波数成分に係る第１階層の参照位相情報とに基づき、第１階層の基準点Ｓａ１に対応する第１階層の対応点Ｃａ２が検出され得る。また、基準画像Ｇａ１における第１階層の基準点Ｓａ１の位置と参照画像Ｇａ２における第１階層の対応点Ｃａ２の位置とのズレ量（視差とも言う）が検出され得る。
【０１３２】
＜（５）探索処理における既演算情報の再利用方法＞
第３階層の探索処理、第２階層の探索処理、および第１階層の探索処理における既演算情報の再利用方法は、同様なものとなる。このため、ここでは、第３階層の探索処理における既演算情報の再利用方法を例に挙げて説明する。
【０１３３】
また、第３階層の探索処理における既演算情報の再利用方法には、第３階層の基準周波数情報の一部の再利用方法（第３階層の基準再利用方法とも言う）と、第３階層の参照周波数情報の一部の再利用方法（第３階層の参照再利用方法とも言う）とが含まれる。そして、第３階層の基準再利用方法と第３階層の参照再利用方法とは、同様なものとなる。このため、ここでは、第３階層の基準再利用方法を例に挙げて説明する。つまり、第４階層の基準周波数情報の一部が第３階層の基準周波数情報の一部として再利用される方法を例に挙げて説明する。また、ここでは、所定の変換倍率が１／２であるものとする。
【０１３４】
図２０および図２１は、第３階層の基準再利用方法について説明するための図である。第３階層の基準周波数情報には、２次元の空間周波数（ｕ，ｖ）に係る第３階層の振幅情報と第３階層の基準位相情報とが含まれる。但し、まずは、説明の簡略化を図るために、Ｘ方向の一次元の周波数情報に着目して説明する。
【０１３５】
図２０には、第４階層の基準周波数情報が模式的に示されている。ここでは、例えば、第４階層の基準領域Ｗｄ１および第３階層の基準領域Ｗｃ１が、Ｘ方向に３３個およびＹ方向に１７個の画素がマトリックス状に配列される寸法を有しているものとする。この場合、Ｘ方向に係る周波数ｕは、周波数が１〜１６の１６個の交流成分で表され得る。但し、図２０では、図面の複雑化を回避する目的で、周波数が１〜４の４個の交流成分が示されている。なお、図２０の矩形状の太枠の横幅は、第４階層の基準領域Ｗｄ１のＸ方向の幅Ｗｏ１を示し、該矩形状の太枠の縦方向は、周波数が１〜４の４個の交流成分の振幅を示す。
【０１３６】
具体的には、図２０では、周波数が１の交流成分が実線の曲線Ｌｄ１で描かれ、周波数が２の交流成分が一点鎖線の曲線Ｌｄ２で描かれ、周波数が３の交流成分が二点鎖線の曲線Ｌｄ３で描かれ、周波数が４の交流成分が破線の曲線Ｌｄ４で描かれている。
【０１３７】
図２１には、第４階層の基準周波数情報と、第３階層の基準周波数情報との関係が示されている。図２１の上部には、図２０で示された第４階層の基準周波数情報のうちの周波数が１〜４の４個の交流成分が示されている。また、図２１の下部には、第３階層の基準周波数情報のうちの周波数が１，２の２つの交流成分が示されている。具体的には、図２１の下部では、周波数が１の交流成分が一点鎖線の曲線Ｌｃ１で描かれ、周波数が２の交流成分が破線の曲線Ｌｃ２で描かれている。
【０１３８】
ここで、第４階層の基準領域画像は、第３階層の第２変換後基準画像Ｇｃ１上においては、Ｘ方向およびＹ方向にそれぞれ２倍の画素数を有する領域画像に拡大される。このため、第３階層の基準周波数情報のうちの交流成分は、第４階層の基準周波数情報のうちの交流成分が、Ｘ方向に２倍拡大されたものとなる。
【０１３９】
図２１では、太い破線および太い一点鎖線が、第４階層の基準領域画像におけるＸ方向の範囲と、第３階層の基準領域画像におけるＸ方向の範囲との対応関係を示している。そして、図２１の下部における矩形状の太枠の横幅は、第３階層の基準領域Ｗｃ１のＸ方向の幅Ｗｏ１を示し、該矩形状の太枠の縦方向は、周波数が１，２の２個の交流成分の振幅を示す。
【０１４０】
図２１で示されるように、第４階層の周波数が４の交流成分は、第３階層の周波数が２の交流成分に対応し、第４階層の周波数が２の交流成分は、第３階層の周波数が１の交流成分に対応し得る。
【０１４１】
このように、第４階層の周波数が４の交流成分と、第３階層の周波数が２の交流成分とは完全には一致せず、第４階層の周波数が２の交流成分と、第３階層の周波数が１の交流成分とは完全には一致しなくても、それぞれ類似の関係にある。このため、第４階層の探索処理における演算で算出された第４階層の基準周波数情報の一部を、第３階層の探索処理において再利用することが可能となる。
【０１４２】
具体的には、所定の変換倍率が１／ｎであれば、第４階層の周波数ｕ４と第３階層の周波数ｕ３との間には、次の式(６)の関係が成立し得る。
【０１４３】
ｕ３＝ｕ４／ｎ  ・・・(６)。
【０１４４】
例えば、所定の変換倍率１／ｎが１／２であれば、第４階層の周波数ｕ４が２，４，６，８，１０，１２，１４，１６である場合についての交流成分の情報は、それぞれ第３階層の周波数ｕ３が１〜８である場合についての交流成分の情報として再利用され得る。換言すれば、第４階層の周波数ｕ４が偶数である場合についての交流成分の情報が、それぞれ１／２の周波数ｕ３に係る第３階層の交流成分の情報として再利用され得る。これに対し、第３階層の周波数ｕ３が９〜１６である場合における交流成分の情報については、第４階層の基準周波数情報に、対応する交流成分の情報が存在していない。このため、第３階層の周波数ｕ３が９〜１６である場合についての交流成分の情報については、第３階層の基準領域画像を対象としたフーリエ変換処理によって、新たに算出されれば良い。したがって、Ｘ方向については、第３階層の基準領域画像を対象としたフーリエ変換処理に要する演算量が約１／２に低減され得る。
【０１４５】
但し、図２１で示されるように、第４階層の基準領域画像に係る偶数の周波数の交流成分と、第３階層の基準領域画像に係るその１／２の周波数の交流成分との間では、位相がｕ３×πずれる。このため、例えば、第４階層の周波数ｕ４の交流成分の情報が、その１／２の周波数ｕ３の交流成分の情報として再利用される際には、第４階層の周波数ｕ４の交流成分の位相ｕ４θがずれ量ｕ３×πで補正されれば良い。そして、その結果、第３階層の周波数ｕ３についての交流成分の位相が２×ｕ４θ−ｕ３×πとされれば良い。つまり、第３階層の探索処理では、第４階層の既演算情報から第４階層の基準位相情報が得られて演算に用いられる場合、解像度の低減に応じた位相のずれ量ｕ３×πによって第４階層の基準位相情報が補正されて得られる情報が演算に用いられる。これにより、探索処理における対応点探索の精度が向上し得る。
【０１４６】
上述したＸ方向についての説明と同様に、Ｙ方向の一次元の周波数情報に着目すると、Ｙ方向に係る周波数ｖは、周波数が１〜８の８個の交流成分で表され得る。そして、第４階層の周波数ｖ４が２，４，６，８である場合についての交流成分の情報は、それぞれ第３階層の周波数ｖ３が１〜４である場合についての交流成分の情報として再利用され得る。換言すれば、第４階層の周波数ｖ４が偶数である場合についての交流成分の情報が、それぞれ１／２の周波数ｖ３に係る第３階層の交流成分の情報として再利用され得る。これに対し、第３階層の周波数ｖ３が５〜８である場合における交流成分の情報については、第４階層の基準周波数情報に、対応する交流成分の情報が存在していない。このため、第３階層の周波数ｖ３が５〜８である場合についての交流成分の情報については、第３階層の基準領域画像を対象としたフーリエ変換処理によって、新たに算出されれば良い。したがって、Ｙ方向については、第３階層の基準領域画像を対象としたフーリエ変換処理に要する演算量が約１／２に低減され得る。
【０１４７】
また、Ｙ方向についても、第４階層の偶数の周波数の交流成分の情報が、その１／２の周波数の交流成分の情報として再利用される際には、第４階層の周波数ｖ４の交流成分の位相ｖ４θがずれ量ｖ３×πで補正されれば良い。この場合、第３階層の周波数ｖ３についての交流成分の位相が２×ｖ４θ−ｖ３×πとされれば良い。これにより、探索処理における対応点探索の精度が向上し得る。
【０１４８】
ところで、Ｘ方向とＹ方向とを含む２次元の空間周波数（ｕ，ｖ）に係る周波数成分の情報は、Ｘ方向に係る周波数ｕの周波数成分と、Ｙ方向に係る周波数ｖの周波数成分とが合成されたものに相当する。
【０１４９】
このため、第３階層の探索処理では、第４階層の既演算情報から得られる空間周波数（ｕ４，ｖ４）に係る第４階層の基準周波数情報が、空間周波数（ｕ４，ｖ４）に所定の変換倍率が乗じられて得られる空間周波数（ｕ３，ｖ３）に係る基準周波数情報として用いられる。具体的には、所定の変換倍率が１／２であれば、周波数ｕ４，ｖ４が共に偶数である空間周波数（ｕ４，ｖ４）についての第４階層の基準領域画像に係る周波数成分の情報が、半分の空間周波数（ｕ３，ｖ３）についての第３階層の基準領域画像に係る周波数成分の情報として再利用され得る。このような情報の再利用により、第３階層の基準領域画像を対象としたフーリエ変換処理に要する演算量が約｛１−（１／２）２｝に低減され得る。
【０１５０】
但し、この再利用の際には、上述したように、Ｘ方向について、第４階層の周波数ｕ４の交流成分の位相ｕ４θがずれ量ｕ３×πで補正され、第３階層の周波数ｕ３についての交流成分の位相が２×ｕ４θ−ｕ３×πとされれば良い。また、Ｙ方向について、第４階層の周波数ｖ４の交流成分の位相ｖ４θがずれ量ｖ３×πで補正され、第３階層の周波数ｖ３についての交流成分の位相が２×ｖ４θ−ｖ３×πとされれば良い。
【０１５１】
つまり、第３階層の探索処理では、第４階層の既演算情報から第４階層の基準位相情報が得られて演算に用いられる場合、解像度の低減に応じた位相のずれ量（ｕ３×π，ｖ３×π）によって第４階層の基準位相情報が補正されて演算用の情報が得られる。このとき、第３階層の探索処理では、第４階層の既演算情報から得られる空間周波数（ｕ４，ｖ４）に係る第４階層の基準周波数情報が、周波数（ｕ４，ｖ４）に所定の変換倍率が乗じられて得られる周波数（ｕ３，ｖ３）に係る基準周波数情報として用いられる。これによって、解像度の低減に係る所定の変換倍率に応じて再利用される情報の周波数の対応関係が決まり、対応点の探索処理における演算の設計が容易となり得る。
【０１５２】
なお、第４階層の探索処理において既演算情報記憶部３６６に記憶される第４階層の既演算情報には、第３階層の探索処理において再利用される情報が記憶されていれば良い。そして、既演算情報記憶部３６６に必要である記憶容量が極力低減される観点から言えば、第４階層の既演算情報には、第３階層の探索処理において再利用されない情報が含まれない方が好ましい。
【０１５３】
＜（６）三角測定の原理を用いた距離の測定＞
図２２は、基準画像Ｇａ１と参照画像Ｇａ２との間における画素の対応関係から三角測量の原理に基づいて、第１および第２カメラ１，２から被写体ＯＢ１までの距離を算出する方法を模式的に示す図である。
【０１５４】
基準画像Ｇａ１と参照画像Ｇａ２との間で、第１階層の基準点Ｓａ１と第１階層の対応点Ｃａ２とのズレ量（視差）がΔｄであった場合に、第１および第２カメラ１，２から被写体ＯＢ１までの距離Ｄは、次の式(７)から算出され得る。
【０１５５】
Ｄ＝ｆＢ／Δｄ  ・・・(７)。
【０１５６】
式(７)では、カメラの基線長がＢ、第１および第２カメラ１，２のレンズにおける焦点距離がｆとされている。
【０１５７】
＜（７）対応点探索動作のフロー＞
図２３および図２４は、本実施形態に係る対応点探索動作に係る動作フローを例示するフローチャートである。本フローは、例えば、制御部３６の制御によって実現され得る。
【０１５８】
まず、図２３のステップＳｔ１では、画像取得部３６１によって、第１カメラ１から第１画像に係るデータＭ１が取得される。
【０１５９】
ステップＳｔ２では、画像取得部３６１によって、第２カメラ２から第２画像に係るデータＭ２が取得される。
【０１６０】
ステップＳｔ３では、画像生成部３６２によって、所定の変換倍率に従い、基準画像Ｇａ１としての第１画像の解像度が順次に低減されて第１変換後基準画像Ｇｂ１、第２変換後基準画像Ｇｃ１、および第３変換後基準画像Ｇｄ１が生成される。また、画像生成部３６２によって、所定の変換倍率に従い、参照画像Ｇａ２としての第２画像の解像度が順次に低減されて第１変換後参照画像Ｇｂ２、第２変換後参照画像Ｇｃ２、および第３変換後参照画像Ｇｄ２が生成される。
【０１６１】
ステップＳｔ４では、対応点探索部３６３によって、基準画像Ｇａ１に第１階層の基準点Ｓａ１が設定される。また、対応点探索部３６３によって、第１変換後基準画像Ｇｂ１に第２階層の基準点Ｓｂ１が設定され、第２変換後基準画像Ｇｃ１に第３階層の基準点Ｓｃ１が設定され、第３変換後基準画像Ｇｄ１に第４階層の基準点Ｓｄ１が設定される。なお、上述したように、第２階層の基準点Ｓｂ１、第３階層の基準点Ｓｃ１、および第４階層の基準点Ｓｄ１では、第１階層の基準点Ｓａ１と被写体の同一部分が捉えられている。なお、ステップＳｔ４の処理が１回目の場合には、例えば、基準画像Ｇａ１の左上の画素が第１階層の基準点Ｓａ１として設定され得る。そして、例えば、ステップＳｔ１１からステップＳｔ４に戻ってくる度に、基準画像Ｇａ１に含まれる次の画素が第１階層の基準点Ｓａ１として設定されば良い。これにより、基準画像Ｇａ１に含まれる全画素が順次に第１階層の基準点Ｓａ１として設定され得る。
【０１６２】
ステップＳｔ５では、対応点探索部３６３によって、第１〜４階層の画像群１Ｈｙ〜４Ｈｙのうち、対応点の探索処理の対象となる階層の画像群を指定するための数値Ｎｈ（Ｎｈは１〜４の整数）が４に設定される。
【０１６３】
ステップＳｔ６では、対応点探索部３６３によって、第１〜４階層の画像群１Ｈｙ〜４Ｈｙのうち、対応点の探索処理の対象となる第Ｎｈ階層の画像群ＮｈＨｙが指定される。
【０１６４】
ステップＳｔ７では、位置決定部３６５によって、第Ｎｈ階層の探索基準点が決定される。このステップＳｔ７では、例えば、Ｎｈ＝４であれば、第３変換後参照画像Ｇｄ２において第４階層の探索基準点Ｓｄ２が決定される。また、例えば、Ｎｈ＝３であれば、第３変換後参照画像Ｇｄ２における第４階層の対応点Ｃｄ２の位置に基づき、第２変換後参照画像Ｇｃ２において第３階層の探索基準点Ｓｃ２が決定される。また、例えば、Ｎｈ＝２であれば、第２変換後参照画像Ｇｃ２における第３階層の対応点Ｃｃ２の位置に基づき、第１変換後参照画像Ｇｂ２において第２階層の探索基準点Ｓｂ２が決定される。また、例えば、Ｎｈ＝１であれば、第１変換後参照画像Ｇｂ２における第２階層の対応点Ｃｂ２の位置に基づき、参照画像Ｇａ２において第１階層の探索基準点Ｓａ２が決定される。
【０１６５】
ステップＳｔ８では、対応点探索部３６３によって、図２４で示される対応点の探索処理の動作フローが実行され得る。ここで、図２４で示される動作フローについて説明する。
【０１６６】
図２４のステップＳｔ８１では、ステップＳｔ４で設定された第Ｎｈ階層の基準点が基準とされて第Ｎｈ階層の基準領域が設定される。例えば、Ｎｈ＝４であれば、第３変換後基準画像Ｇｄ１において第４階層の基準点Ｓｄ１を基準として包含する第４階層の基準領域Ｗｄ１が設定される。また、Ｎｈ＝３であれば、第２変換後基準画像Ｇｃ１において第３階層の基準点Ｓｃ１を基準として包含する第３階層の基準領域Ｗｃ１が設定される。また、Ｎｈ＝２であれば、第１変換後基準画像Ｇｂ１において第２階層の基準点Ｓｂ１を基準として包含する第２階層の基準領域Ｗｂ１が設定される。また、Ｎｈ＝１であれば、基準画像Ｇａ１において第１階層の基準点Ｓａ１を基準として包含する第１階層の基準領域Ｗａ１が設定される。
【０１６７】
ステップＳｔ８２では、ステップＳｔ７で決定された第Ｎｈ階層の探索基準点が基準とされて第Ｎｈ階層の参照領域が設定される。例えば、Ｎｈ＝４であれば、第３変換後参照画像Ｇｄ２において第４階層の探索基準点Ｓｄ２を基準として包含する第４階層の参照領域Ｗｄ２が設定される。また、Ｎｈ＝３であれば、第２変換後参照画像Ｇｃ２において第３階層の探索基準点Ｓｃ２を基準として包含する第３階層の参照領域Ｗｃ２が設定される。また、Ｎｈ＝２であれば、第１変換後参照画像Ｇｂ２において第２階層の探索基準点Ｓｂ２を基準として包含する第２階層の参照領域Ｗｂ２が設定される。また、Ｎｈ＝１であれば、参照画像Ｇａ２において第１階層の探索基準点Ｓａ２を基準として包含する第１階層の参照領域Ｗａ２が設定される。
【０１６８】
ステップＳｔ８３では、数値Ｎｈが４であるか否かが判定される。ここで、数値Ｎｈが４であれば、ステップＳｔ８４に進み、数値Ｎｈが４でなければ、ステップＳｔ８６に進む。
【０１６９】
ステップＳｔ８４では、第４階層の基準領域画像と第４階層の参照領域画像とに対して、２次元のフーリエ変換処理がそれぞれ行われる。これにより、第４階層の基準周波数情報と第４階層の参照周波数情報とが得られる。
【０１７０】
ステップＳｔ８５では、第４階層の既演算情報が、既演算情報記憶部３６６に記憶される。
【０１７１】
ステップＳｔ８６では、既演算情報記憶部３６６に記憶されている第Ｎｈ＋１階層の既演算情報が、第Ｎｈ階層の演算用の情報の一部として再利用される。
【０１７２】
ステップＳｔ８７では、第Ｎｈ階層の演算用の情報のうちの残余の情報が、第Ｎｈ階層の基準領域画像と第Ｎｈ階層の参照領域画像とに対する部分的な２次元のフーリエ変換処理によって算出される。これにより、第Ｎｈ階層の基準周波数情報と第Ｎｈ階層の参照周波数情報とが得られる。
【０１７３】
ステップＳｔ８８では、第Ｎｈ階層の既演算情報が、既演算情報記憶部３６６に記憶される。
【０１７４】
ステップＳｔ８９では、ステップＳｔ８４またはステップＳｔ８７で得られた第Ｎｈ階層の基準周波数情報と第Ｎｈ階層の参照周波数情報とに対して、画像の振幅成分を除去するための規格化処理が行われる。これにより、第Ｎｈ階層の基準位相情報と第Ｎｈ階層の参照位相情報が得られる。
【０１７５】
ステップＳｔ９０では、ステップＳｔ８９で得られた第Ｎｈ階層の基準位相情報と第Ｎｈ階層の参照位相情報に対する合成処理が行われる。これにより、各空間周波数に係る第Ｎｈ階層の位相差が算出される。
【０１７６】
ステップＳｔ９１では、ステップＳｔ９０で得られた各空間周波数に係る第Ｎｈ階層の位相差に対する２次元の逆フーリエ変換処理が行われる。これにより、第Ｎｈ階層の画像群ＮｈＨｙに含まれる各画像間の相関演算が実施され、その結果（ＰＯＣ値）が出力される。
【０１７７】
ステップＳｔ９２では、ステップＳｔ９１で得られたＰＯＣ値のピークの位置が検出される。これにより、第Ｎｈ階層の対応点の位置が検出される。例えば、Ｎｈ＝４であれば、第４階層の対応点Ｃｄ２の位置が検出され、Ｎｈ＝３であれば、第３階層の対応点Ｃｃ２の位置が検出され、Ｎｈ＝２であれば、第２階層の対応点Ｃｂ２の位置が検出され、Ｎｈ＝１であれば、第１階層の対応点Ｃａ２の位置が検出される。検出後、図２３のステップＳｔ８に戻り、ステップＳｔ９に進む。
【０１７８】
次に、図２３のステップＳｔ９では、対応点探索部３６３によって、数値Ｎｈが１であるか否かが判定される。ここで、数値Ｎｈが１でなければ、ステップＳｔ１０に進み、数値Ｎｈが１であれば、ステップＳｔ１１に進む。
【０１７９】
ステップＳｔ１０では、対応点探索部３６３によって、数値Ｎｈが１だけ減され、ステップＳｔ６に進む。
【０１８０】
ステップＳｔ１１では、対応点探索部３６３によって、基準画像Ｇａ１において、対応点の探索処理の対象となる画素（被処理画素とも言う）が残っているか否か判定される。ここで、被処理画素が残っていれば、ステップＳｔ４に戻る。そして、被処理画素がなくなるまで、ステップＳｔ４〜Ｓｔ１１の処理が繰り返される。一方、被処理画素が残っていなければ、本動作フローが終了される。
【０１８１】
＜（８）一実施形態のまとめ＞
以上のように、一実施形態に係る画像処理装置３では、相対的に低解像度の画像群の画像間における対応点の探索処理の演算で得られた周波数成分に係る情報が、相対的に高解像度の画像群の画像間における対応点の探索処理の演算で再利用される。これにより、対応点の探索処理における演算量が低減され得る。その結果、対応点の探索処理に用いられる画像の状態に拘わらず、対応点の探索速度が向上し得る。また、例えば、画一的な演算によって対応点の探索速度が向上し得るため、対応点の探索処理を行う部分を専用の電子回路等によってハードウェア化することも可能となる。そして、例えば、ＰＯＣ演算法を用いた高精度の対応点の探索処理において、探索速度が向上し得る。
【０１８２】
＜（９）変形例＞
なお、本発明は上述の実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更、改良等が可能である。
【０１８３】
＜（９−１）第１変形例＞
上記一実施形態では、第２〜４階層の既演算情報に、第２〜４階層の基準周波数情報および第２〜４階層の参照周波数情報のうちの少なくとも一部の情報が含まれたが、これに限られない。例えば、第２〜４階層の既演算情報に、規格化処理によって得られる第２〜４階層の基準位相情報および第２〜４階層の参照位相情報のうちの少なくとも一部の情報が含まれても良い。
【０１８４】
この場合、例えば、第４階層の探索処理において既演算情報記憶部３６６に記憶された第４既演算情報としての第４階層の基準位相情報と第４階層の参照位相情報が、第３階層の探索処理において再利用され得る。なお、第４階層の既演算情報から第４階層の基準位相情報が得られて演算に用いられる場合、解像度の低減に応じた位相のずれ量によって、第４階層の基準位相情報が補正されて得られる情報が演算に用いられれば良い。また、第４階層の既演算情報から第４階層の参照位相情報が得られて演算に用いられる場合、解像度の低減に応じた位相のずれ量によって、第４階層の参照位相情報が補正されて得られる情報が演算に用いられれば良い。ここで、第３階層の空間周波数が（ｕ３，ｖ３）であれば、位相のずれ量が（ｕ３×π，ｖ３×π）になる。
【０１８５】
また、第３階層の探索処理において既演算情報記憶部３６６に記憶された第３既演算情報としての第３階層の基準位相情報と第３階層の参照位相情報が、第２階層の探索処理において再利用され得る。なお、第３階層の既演算情報から第３階層の基準位相情報が得られて演算に用いられる場合、解像度の低減に応じた位相のずれ量によって、第３階層の基準位相情報が補正されて得られる情報が演算に用いられれば良い。また、第３階層の既演算情報から第３階層の参照位相情報が得られて演算に用いられる場合、解像度の低減に応じた位相のずれ量によって、第３階層の参照位相情報が補正されて得られる情報が演算に用いられれば良い。ここで、第２階層の空間周波数が（ｕ２，ｖ２）であれば、位相のずれ量が（ｕ２×π，ｖ２×π）になる。
【０１８６】
また、第２階層の探索処理において既演算情報記憶部３６６に記憶された第２既演算情報としての第２階層の基準位相情報と第２階層の参照位相情報が、第１階層の探索処理において再利用され得る。なお、第２階層の既演算情報から第２階層の基準位相情報が得られて演算に用いられる場合、解像度の低減に応じた位相のずれ量によって、第２階層の基準位相情報が補正されて得られる情報が演算に用いられれば良い。また、第２階層の既演算情報から第２階層の参照位相情報が得られて演算に用いられる場合、解像度の低減に応じた位相のずれ量によって、第２階層の参照位相情報が補正されて得られる情報が演算に用いられれば良い。ここで、第１階層の空間周波数が（ｕ１，ｖ１）であれば、位相のずれ量が（ｕ１×π，ｖ１×π）になる。
【０１８７】
このような構成が採用されることで、第３階層の探索処理、第２階層の探索処理、および第１階層の探索処理における２次元のフーリエ変換処理および規格化処理の一部が省略され得る。これにより、演算量の更なる低減によって、対応点の探索速度が更に向上し得る。また、再利用される情報における情報量の低減により、既演算情報記憶部３６６の記憶容量の低減が図られ得る。その結果、画像処理装置３の小型化ならびに製造コストの低減が図られ得る。
【０１８８】
＜（９−２）第２変形例＞
例えば、第２〜４階層の既演算情報に、合成処理によって得られる各空間周波数に係る第２〜４階層の位相差を示す情報が含まれても良い。
【０１８９】
この場合、例えば、第４階層の探索処理において既演算情報記憶部３６６に記憶された第４既演算情報としての各空間周波数に係る第４階層の位相差を示す情報が、第３階層の探索処理において再利用され得る。また、第３階層の探索処理において既演算情報記憶部３６６に記憶された第３既演算情報としての第３階層の各空間周波数に係る位相差を示す情報が、第２階層の探索処理において再利用され得る。また、第２階層の探索処理において既演算情報記憶部３６６に記憶された第２既演算情報としての第２階層の各空間周波数に係る位相差を示す情報が、第１階層の探索処理において再利用され得る。但し、位相差が再利用される際には、位相差に所定の変換倍率が乗ぜられた上で再利用されれば良い。
【０１９０】
このような構成が採用されることで、第３階層の探索処理、第２階層の探索処理、および第１階層の探索処理における２次元のフーリエ変換処理および規格化処理の一部が省略され得る。これにより、演算量の更なる低減によって、対応点の探索速度が更に向上し得る。また、再利用される情報における情報量の低減により、既演算情報記憶部３６６の記憶容量の低減が図られ得る。その結果、画像処理装置３の小型化ならびに製造コストの低減が図られ得る。
【０１９１】
＜（９−３）第３変形例＞
上記一実施形態に係る対応点探索部３６３では、対応点の探索処理においてＰＯＣ演算法を用いた相関演算が行われたが、これに限られない。対応点探索部３６３における相関演算の方法として、例えば、ＰＳＡ（Phase-Difference Spectrum Analysis）法が採用されても良い。
【０１９２】
以下、ＰＳＡ法を用いた相関演算の方法のうち、上記一実施形態に係るＰＯＣ演算法を用いた相関演算の方法と異なる点について主に説明する。なお、第１〜４階層の探索処理は、相互に同様な方法が採用され得る。このため、第４階層の探索処理を例にとって説明する。
【０１９３】
ここでは、上記一実施形態と同様に、第４階層の基準領域画像および第４階層の参照領域画像に対してフーリエ変換処理Ｃ１１，Ｃ２１と規格化処理Ｃ１２，Ｃ２２とが順次に行われ、更に合成処理Ｃ３が行われる。これにより、各空間周波数（ｕ，ｖ）に係る第４階層の位相差Δθ（ｕ，ｖ）が得られる。つまり、各空間周波数（ｕ，ｖ）について、第４階層の基準位相情報と第４階層の参照位相情報とに基づいて位相差Δθ（ｕ，ｖ）が得られる。
【０１９４】
ここで、第４階層の基準領域Ｗｄ１における基準点Ｓｄ１の位置と第４階層の参照領域Ｗｄ２における対応点Ｃｄ２の位置との間におけるＸ方向およびＹ方向におけるズレ量（視差）がｄｘおよびｄｙとされる。そして、相関演算の対象となっている矩形状の基準領域Ｗｄ１と参照領域Ｗｄ２を構成するＸ方向およびＹ方向の画素数がそれぞれＮ１およびＮ２とされると、次の式(８)の関係が成立する。
【０１９５】
ｄｙ＝−（Ｎ２／Ｎ１）×（ｕ／ｖ）×ｄｘ＋（Ｎ２／２π）×Δθ（ｕ，ｖ）／ｖ  ・・・(８)。
【０１９６】
式(８)のうち、基準領域と参照領域のサイズを示す値Ｎ１，Ｎ２は設計によって定まる。このため、式(８)に対して、設計値である値Ｎ１，Ｎ２が代入され、空間周波数（ｕ，ｖ）毎に位相差Δθ（ｕ，ｖ）が代入されることで、各空間周波数（ｕ，ｖ）についての視差ｄｘと視差ｄｙとの関係を示す一次関数（視差一次関数とも言う）が得られる。
【０１９７】
したがって、ＰＳＡ法を用いた相関演算では、次の工程（Ｉ），（II）がこの順番で順次に行われることで、第４階層の基準領域Ｗｄ１と第４階層の参照領域Ｗｄ２との間における相関値の最大値（最大相関値とも言う）Ｃｍａｘが得られる。
【０１９８】
（Ｉ）上式(８)に従って、空間周波数（ｕ，ｖ）毎に、位相差Δθ（ｕ，ｖ）が、第４階層の基準点Ｓｄ１と第４階層の対応点Ｃｄ２とに係る視差（ｄｘ，ｄｙ）に変換されて、視差一次関数が得られる。
【０１９９】
（II）工程（Ｉ）で得られる各空間周波数（ｕ，ｖ）の視差一次関数に基づき、視差ｄｘを横軸、視差ｄｙを縦軸とする所定サイズの空間（投票空間とも言う）の各座標に対する投票が行われる。これにより、投票空間の各座標に対する投票数の積算値の分布が得られる。このとき、投票数の積算値の最大値が最大相関値Ｃｍａｘとして得られる。
【０２００】
ここで、投票空間の各座標に対する投票方法について説明する。
【０２０１】
図２５は、投票空間Ｄｄ１を例示する模式図である。
【０２０２】
図２５で示されるように、投票空間Ｄｄ１は、縦軸と横軸とが直交する２次元の空間座標系によって構成され、その横軸は視差ｄｘを示し、縦軸は視差ｄｙを示す。投票空間Ｄｄ１のサイズは、扱われる空間周波数（ｕ，ｖ）の数や対応点が探索される領域の大きさに応じて決められれば良い。
【０２０３】
また、例えば、視差（ｄｘ，ｄｙ）を±１画素の範囲において０．１画素刻みで探索する場合、投票空間Ｄｄ１には、原点（０，０）を含む０．１画素刻みの投票が可能な座標のポイント（投票可能座標ポイントとも称する）が設定される。例えば、図２５で示されるように、ｄｙ方向にあたる縦方向に２１箇所およびｄｘ方向であたる横方向に２１箇所の投票可能座標ポイントがマトリックス状に設けられる。なお、図２５では、各投票可能座標ポイントが、模式的に正方形の領域で示されている。
【０２０４】
図２６および図２７は、投票空間Ｄｄ１への投票方法を説明するための図である。
【０２０５】
図２６で示されるように、各空間周波数（ｕ，ｖ）について、投票空間Ｄｄ１に、視差一次関数で示される直線（図中太線）が引かれる。そして、各空間周波数（ｕ，ｖ）について、投票空間Ｄｄ１を構成する多数の投票可能座標ポイントのうち、視差一次関数に係る直線が通る全ての投票可能座標ポイントに投票値が与えられる。例えば、図２６で示される視差一次関数に係る直線に対しては、図２７で示されるような複数の投票可能座標ポイントに対して投票値が与えられる。
【０２０６】
各空間周波数（ｕ，ｖ）について、投票可能座標ポイントに投票値が与えられる際には、振幅の大小に応じた投票値が与えられれば良い。例えば、振幅の増大に応じて、投票値が大きくなれば良い。具体的には、各空間周波数（ｕ，ｖ）についての振幅成分が増大すれば増大するほど、投票値が大きくなっても良いし、振幅に対して１以上の閾値が設けられ、振幅が増大して閾値を超える度に、投票値が１、２、３、・・・と段階的に増加しても良い。
【０２０７】
このような投票値の付与によって、投票空間Ｄｄ１における投票値の積算値（投票積算値とも言う）の分布が得られる。このようにして、各空間周波数（ｕ，ｖ）についての位相差が空間的なずれ量に変換された後に、投票空間Ｄｄ１に投票されることで、投票結果としての投票空間Ｄｄ１における投票積算値の分布が得られる。
【０２０８】
ここで得られる投票積算値の分布が、第４階層の第３変換後基準画像Ｇｄ１と第４階層の第３変換後参照画像Ｇｄ２との間における相関を示しており、投票積算値の最大値が最大相関値Ｃｍａｘとなる。なお、ここでは、視差一次関数に係る直線が頻繁に交わる点の近傍に係る投票積算値が、最大相関値Ｃｍａｘとなり得る。
【０２０９】
そして、投票空間Ｄｄ１において最大相関値Ｃｍａｘが付与されている投票可能座標ポイントに対応する視差(ｄｘ，ｄｙ)が検出される。これにより、第４階層の基準領域Ｗｄ１と第４階層の参照領域Ｗｄ２との間における視差(ｄｘ，ｄｙ)に基づき、第３変換後参照画像Ｇｄ２において第４階層の基準点Ｓｄ１に対応する第４階層の対応点Ｃｄ２が検出される。つまり、第４階層の探索処理では、投票空間Ｄｄ１における投票積算値の分布に基づき、第４階層の対応点Ｃｄ２が検索される。
【０２１０】
また、第４階層の探索処理と同様な方法によって、第３階層の探索処理、第２階層の探索処理、および第１階層の探索処理がそれぞれ順次に行われることで、参照画像Ｇａ２における第１階層の基準点Ｓａ１に対応する第１階層の対応点Ｃａ２が検出される。
【０２１１】
例えば、第３階層の探索処理では、各空間周波数（ｕ，ｖ）について、第３階層の基準位相情報と第３階層の参照位相情報とに基づいて位相差Δθ（ｕ，ｖ）が得られ、空間周波数（ｕ，ｖ）毎に位相差Δθ（ｕ，ｖ）が空間的なずれ量に変換される。そして、この空間的なずれ量が、投票空間Ｄｃ１に投票されることで、投票結果としての投票空間Ｄｃ１における投票積算値の分布が得られ、この投票積算値の分布に基づき、第３階層の対応点Ｃｃ２が検索される。
【０２１２】
また、第２階層の探索処理では、各空間周波数（ｕ，ｖ）について、第２階層の基準位相情報と第２階層の参照位相情報とに基づいて位相差Δθ（ｕ，ｖ）が得られ、空間周波数（ｕ，ｖ）毎に位相差Δθ（ｕ，ｖ）が空間的なずれ量に変換される。そして、この空間的なずれ量が、投票空間Ｄｂ１に投票されることで、投票結果としての投票空間Ｄｂ１における投票積算値の分布が得られ、この投票積算値の分布に基づき、第２階層の対応点Ｃｂ２が検索される。
【０２１３】
更に、第１階層の探索処理では、各空間周波数（ｕ，ｖ）について、第１階層の基準位相情報と第１階層の参照位相情報とに基づいて位相差Δθ（ｕ，ｖ）が得られ、空間周波数（ｕ，ｖ）毎に位相差Δθ（ｕ，ｖ）が空間的なずれ量に変換される。そして、この空間的なずれ量が、投票空間Ｄａ１に投票されることで、投票結果としての投票空間Ｄａ１における投票積算値の分布が得られ、この投票積算値の分布に基づき、第１階層の対応点Ｃａ２が検索される。
【０２１４】
そして、このようなＰＳＡ法を用いた相関演算が採用される場合にも、上記一実施形態と同様に、第４階層の探索処理において第４階層の既演算情報が既演算情報記憶部３６６に記憶され、第３階層の探索処理において再利用されても良い。また、第３階層の探索処理において第３階層の既演算情報が既演算情報記憶部３６６に記憶され、第２階層の探索処理において再利用されても良い。第２階層の探索処理において第２階層の既演算情報が既演算情報記憶部３６６に記憶され、第１階層の探索処理において再利用されても良い。
【０２１５】
ここで再利用される第２〜４階層の既演算情報には、上記一実施形態と同様に、第２〜４階層の基準周波数情報および第２〜４階層の参照周波数情報のうちの少なくとも一部の情報が含まれ得る。
【０２１６】
また、上記第１変形例と同様に、再利用される第２〜４階層の既演算情報には、規格化処理によって得られる第２〜４階層の基準位相情報および第２〜４階層の参照位相情報のうちの少なくとも一部の情報が含まれても良い。更に、投票空間Ｄａ１〜Ｄｄ１における投票値が振幅成分に応じて変更される態様であれば、再利用される第２〜４階層の既演算情報に、第２〜４階層の振幅情報のうちの少なくとも一部の情報が含まれても良い。
【０２１７】
なお、上述したように、第２〜４階層の探索処理における２次元のフーリエ変換処理による演算結果は、実部Ｒｅ（ｕ，ｖ）と虚部Ｉｍ（ｕ，ｖ）とを有する複素数の形式で出力され得る。そして、２次元のフーリエ変換処理で得られる振幅情報Ａ（ｕ，ｖ）は、数６で示されるように、実部Ｒｅ（ｕ，ｖ）と虚部Ｉｍ（ｕ，ｖ）とから求められ得る。
【０２１８】
【数６】
2013001885.tif 000008
【０２１９】
また、第２〜４階層の基準位相情報θ（ｕ，ｖ）および第２〜４階層の参照位相情報θ（ｕ，ｖ）は、数７で示されるように、実部Ｒｅ（ｕ，ｖ）と虚部Ｉｍ（ｕ，ｖ）とから求められ得る。
【０２２０】
【数７】
2013001885.tif 000009
【０２２１】
このため、第２〜４階層の既演算情報は、振幅情報と位相情報の形式で記憶されても良いし、実部Ｒｅ（ｕ，ｖ）と虚部Ｉｍ（ｕ，ｖ）の形式で記憶されても良い。
【０２２２】
また、上記第２変形例と同様に、第２〜４階層の既演算情報には、合成処理によって得られる各空間周波数に係る第２〜４階層の位相差Δθ（ｕ，ｖ）を示す情報が含まれても良い。
【０２２３】
更に、第４階層の既演算情報には、１以上の空間周波数（ｕ，ｖ）について、第４階層の基準位相情報と第４階層の参照位相情報とに基づいて算出される位相差Δθ（ｕ，ｖ）が空間的なずれ量に変換された後に、該空間的なずれ量が投票空間Ｄｄ１に投票されることで得られる結果を示す情報が含まれても良い。
【０２２４】
ここで、例えば、所定の変換倍率が１／ｎであれば、同サイズの探索ウインドウについて、第４階層の空間周波数（ｕ４，ｖ４）と第３階層の空間周波数（ｕ３，ｖ３）との間には、次の式(９)の関係が成立し得る。
【０２２５】
ｕ３＝ｕ４／ｎ，ｖ３＝ｖ４／ｎ  ・・・(９)。
【０２２６】
例えば、所定の変換倍率１／ｎが１／２であれば、第４階層の空間周波数（ｕ４，ｖ４）が（２，２）、（４，４）、（６，６）、（８，８）、（１０，１０）、（１２，１２）、（１４，１４）、（１６，１６）である場合の交流成分の情報は、それぞれ第３階層の空間周波数（ｕ３，ｖ３）が（１，１）、（２，２）、（３，３）、（４，４）、（５，５）、（６，６）、（７，７）、（８，８）である場合の交流成分の情報と類似する。換言すれば、第４階層の空間周波数（ｕ４，ｖ４）がともに偶数である場合についての交流成分の情報が、それぞれ半分の空間周波数（ｕ３，ｖ３）に係る第３階層についての交流成分の情報と類似する。
【０２２７】
このため、例えば、まず、第４階層の探索処理において、第４階層の偶数の空間周波数（ｕ４，ｖ４）についての基準位相情報と参照位相情報が、１／２倍の空間周波数（ｕ３，ｖ３）についての基準位相情報と参照位相情報に変換される。次に、該基準位相情報と参照位相情報がずれ量（ｕ３×π，ｖ３×π）で補正される。次に、補正後の基準位相情報と参照位相情報とに基づいて算出される位相差Δθ（ｕ，ｖ）が、空間的なずれ量に変換された後に、該空間的なずれ量が投票空間Ｄｄ１に投票される。そして、この投票結果を示す情報が第４階層の既演算情報とされれば良い。
【０２２８】
また、第３階層の既演算情報には、１以上の空間周波数（ｕ，ｖ）について、第３階層の基準位相情報と第３階層の参照位相情報とに基づいて算出される位相差Δθ（ｕ，ｖ）が空間的なずれ量に変換された後に、該空間的なずれ量が投票空間Ｄｃ１に投票されることで得られる結果を示す情報が含まれても良い。更に、第２階層の既演算情報には、１以上の空間周波数（ｕ，ｖ）について、第２階層の基準位相情報と第２階層の参照位相情報とに基づいて算出される位相差Δθ（ｕ，ｖ）が空間的なずれ量に変換された後に、該空間的なずれ量が投票空間Ｄｂ１に投票されることで得られる結果を示す情報が含まれても良い。
【０２２９】
すなわち、第１〜３階層のうちの各階層の探索処理では、１階層前の探索処理において得られた１以上の空間周波数（ｕ，ｖ）についての投票空間Ｄｄ１〜Ｄｂ１に対する投票結果を示す情報が再利用されても良い。なお、この場合、第３階層の既演算情報および第２階層の既演算情報は、第４階層の既演算情報と同様な方法で算出され得る。このような構成が採用されれば、再利用される情報における情報量の低減によって、既演算情報記憶部３６６の記憶容量の低減が図られ得る。その結果、画像処理装置３の小型化ならびに製造コストの低減が図られ得る。
【０２３０】
＜（９−４）第４変形例＞
上記一実施形態では、第３階層の探索処理では、第４階層の既演算情報から第４階層の参照位相情報が得られて用いられる場合、解像度の低減に応じた位相のずれ量（ｕ３×π，ｖ３×π）によって第４階層の参照位相情報が補正されたが、これに限られない。
【０２３１】
例えば、図２８で示されるように、第４階層の探索処理において、探索基準点Ｓｄ２と対応点Ｃｄ２とが一致する場合、第３階層の探索基準点Ｓｃ２は、第４階層の探索基準点Ｓｄ２に対応する位置に設定される。このとき、上述したように、第４階層の周波数ｕ４の交流成分の情報が、１／２倍の周波数ｕ３の交流成分の情報として再利用される際には、第４階層の周波数ｕ４の交流成分の位相ｕ４θがずれ量ｕ３×πで補正されれば良い。
【０２３２】
一方、例えば、図２９で示されるように、第４階層の探索処理において、探索基準点Ｓｄ２と対応点Ｃｄ２とがＸ方向にｍ画素（ｍは自然数）ずれた場合、第３階層の探索処理において、探索基準点Ｓｃ２は探索基準点Ｓｄ２に対応する画素からＸ方向に２ｍ画素ずれた位置に設定される。
【０２３３】
この場合、探索ウインドウのＸ方向の画素数が３３であれば、第４階層の参照領域画像に係る周波数ｕ４の交流成分と、第３階層の参照領域画像に係るその１／２の周波数ｕ３の交流成分との間では、周波数ｕ３に係る交流成分の位相が、２ｍ×ｕ３×２π／３３ずれる。ここでは、周波数１が２πに相当する。
【０２３４】
このため、例えば、第４階層の周波数ｕ４の交流成分の情報がその１／２の周波数ｕ３の交流成分の情報として再利用される際、第４階層の周波数ｕ４の交流成分の位相ｕ４θが、ずれ量ｕ３×πとずれ量２ｍ×ｕ３×２π／３３とで補正されれば良い。したがって、この場合、第３階層の周波数ｕ３についての交流成分の位相が２×ｕ４θ−ｕ３×π−２ｍ×ｕ３×２π／３３とされれば良い。
【０２３５】
つまり、第３階層の探索処理では、第４階層の既演算情報から第４階層の参照位相情報が得られて演算に用いられる場合、探索基準点Ｓｄ２と対応点Ｃｄ２との間の空間的なずれ量２ｍ×ｕ３×２π／３３に応じて、第４階層の参照位相情報に係る位相のずれが補正された上で演算に用いられることが好ましい。なお、第２階層の探索処理および第１階層の探索処理についても、同様な補正が行われることが好ましい。
【０２３６】
これにより、探索処理における対応点探索の精度が向上し得る。また、このような位相のずれが生じる場合であっても、画一的な演算によって対処することが可能であるため、対応点の探索処理を行う部分を専用の電子回路等によってハードウェア化することも可能である。
【０２３７】
＜（９−５）第５変形例＞
上記一実施形態では、上記数４で示される重み付け係数Ｗｔ（ｕ，ｖ）が、空間周波数（ｕ，ｖ）に拘わらず、１に設定されたが、これに限られない。例えば、第１〜３階層の探索処理において、既演算情報から１以上の空間周波数（ｕ，ｖ）に係る情報が再利用される場合には、該１以上の空間周波数（ｕ，ｖ）についての重み付け係数Ｗｔ（ｕ，ｖ）は、１未満の所定値に設定されても良い。所定値は、例えば、所定の変換倍率に応じた数値である１／ｎ等に設定されれば良い。すなわち、再利用に係る１以上の空間周波数（ｕ，ｖ）についての重み付け係数Ｗｔ（ｕ，ｖ）が、残余の１以上の空間周波数（ｕ，ｖ）についての重み付け係数Ｗｔ（ｕ，ｖ）よりも相対的に小さくなれば良い。更に換言すれば、第１〜３階層の探索処理において、既演算情報に係る一部の情報よりも、残余の情報の方が、対応点の探索結果に与える影響が大きくなるように、情報の重み付けが行われても良い。これにより、対応点探索の精度が向上し得る。
【０２３８】
この場合、例えば、第３階層の探索処理では、第４階層の既演算情報から得られる第３階層の演算用の情報における一部の情報よりも、第３階層の演算用の情報のうちの残余の情報の方が、第３対応点Ｃｃ２の探索結果に与える影響が大きくなるように、情報の重み付けが行われる。また、例えば、第２階層の探索処理では、第３階層の既演算情報から得られる第２階層の演算用の情報における一部の情報よりも、第２階層の演算用の情報のうちの残余の情報の方が、第２対応点Ｃｂ２の探索結果に与える影響が大きくなるように、情報の重み付けが行われる。更に、例えば、第１階層の探索処理では、第２階層の既演算情報から得られる第１階層の演算用の情報における一部の情報よりも、第１階層の演算用の情報のうちの残余の情報の方が、第１対応点Ｃａ２の探索結果に与える影響が大きくなるように、情報の重み付けが行われる。
【０２３９】
なお、例えば、所定の変換倍率が１／２である場合、第４階層で周波数が４である周波数成分については、第３階層の探索処理で周波数が２である周波数成分に対して再利用され、第２階層の探索処理で周波数が１である周波数成分に対して再利用され得る。このように、既演算情報のうちの２回以上再利用される情報については、例えば、再利用の回数に応じて、重み付け係数Ｗｔ（ｕ，ｖ）が順次に低減されても良い。具体的には、再利用の回数が１回目であれば、重み付け係数Ｗｔ（ｕ，ｖ）が０．８とされ、再利用の回数が２回目であれば、重み付け係数Ｗｔ（ｕ，ｖ）が０．６とされ、再利用の回数が３回目であれば、重み付け係数Ｗｔ（ｕ，ｖ）が０．４とされるような態様が考えられ得る。
【０２４０】
なお、ある階層の探索処理では、ある情報が再利用される回数が多ければ多い程、その情報が探索処理の演算で用いられる情報を占める割合が低下する。この観点からも、再利用される回数が多い情報が探索処理の演算に与える影響が低減される。その結果、探索処理の高速化が図られつつ、探索精度が担保される。
【０２４１】
また、例えば、第１〜４階層の探索処理にＰＳＡ法が採用され、第１〜３階層の探索処理において、１以上の空間周波数（ｕ，ｖ）に係る情報が再利用される場合、該１以上の空間周波数（ｕ，ｖ）についての投票値が振幅に応じた値よりも低減されても良い。つまり、１以上の空間周波数（ｕ，ｖ）に係る情報が再利用されて導出される視差一次関数に応じて、投票空間Ｄａ１〜Ｄｃ１に投票値が与えられる場合には、投票値が振幅に応じた値よりも低減されても良い。これにより、第１〜３階層の探索処理において、既演算情報から得られる演算用の情報における一部の情報よりも、残余の情報の方が、対応点の探索結果に与える影響が大きくなるように、情報の重み付けが行われる。
【０２４２】
＜（９−６）その他の変形例＞
◎また、上記一実施形態および上記第１〜５変形例では、探索ウインドウ内の画像パターンの周波数情報を得て、各周波数成分の位相情報に基づいて対応点の探索処理を行う方法として、ＰＯＣ演算法およびＰＳＡ法が採用されたが、これに限られない。例えば、対応点の探索処理に、ＤＣＴ符号相関（Discrete Cosine Transform Sign Correlation：ＤＳＣ）演算等といったその他の演算が採用されても良い。なお、ＤＣＴ符号相関演算は、画像の離散コサイン変換係数の正負符号が用いられて、鏡像拡張した画像のＰＯＣ演算が行われるものである。つまり、ＤＣＴ符号相関は、対象拡張した信号の位相限定相関に相当する。
【０２４３】
◎また、上記一実施形態および上記第１〜５変形例では、相対的に低解像度の画像から得られた情報が、相対的に高解像度の画像を対象とする演算に再利用されたが、これに限られない。例えば、相対的に高解像度の画像から得られた情報が、相対的に低解像度の画像を対象とする演算に再利用されても良い。
【０２４４】
具体的には、第１〜４階層の探索処理では、まず、第１〜４階層の基準点Ｓａ１〜Ｓｄ１が設定された時点で、第１〜４階層の基準領域Ｗａ１〜Ｗｄ１の位置が一義的に決定され得る。このため、例えば、第１階層の基準領域画像について周波数情報が得られた後に、その周波数情報が再利用されて、第２〜４階層の基準領域画像についての周波数情報が得られるような態様が考えられる。
【０２４５】
詳細には、例えば、第１階層の探索処理の演算で得られる第１階層の基準周波数情報に係る少なくとも一部の情報が既演算情報として既演算情報記憶部３６６に記憶され、第２階層の基準周波数情報に係る演算用の情報のうちの一部の情報として用いられても良い。この場合、第２の階層の基準周波数情報に係る演算用の情報のうちの残余の情報は、第１変換後基準画像Ｇｂ１に基づいて算出されれば良い。ここで再利用される情報には、周波数情報の一部の情報である位相情報等が含まれれば良い。
【０２４６】
この場合、所定の変換倍率が１／２であれば、例えば、第１階層の基準領域画像に係る空間周波数（ｕ１，ｖ１）の交流成分は、ｕ１＝２×ｕ２，ｖ１＝２×ｖ２の関係を満たす第２階層の基準領域画像に係る空間周波数（ｕ２，ｖ２）の交流成分と類似する。例えば、第１階層の空間周波数（ｕ１，ｖ１）が（１，１）、（２，２）、（３，３）、（４，４）、（５，５）、（６，６）、（７，７）、（８，８）である交流成分の情報は、第２階層の空間周波数（ｕ２，ｖ２）が（２，２）、（４，４）、（６，６）、（８，８）、（１０，１０）、（１２，１２）、（１４，１４）、（１６，１６）である場合の交流成分の情報と類似する。このため、第２階層の探索処理では、第１階層の空間周波数（ｕ１，ｖ１）についての基準位相情報が、第２階層の所定の変換倍率に応じた２倍の空間周波数（ｕ２，ｖ２）についての基準位相情報に変換された後に再利用され得る。但し、第１階層の周波数ｕ１の交流成分の情報が、その２倍の第２階層の周波数ｕ２の交流成分の情報として再利用される際には、第１階層の周波数ｕ１の交流成分の位相ｕ１θが解像度の低減に応じたずれ量ｕ２×πで補正されることが好ましい。このような情報の再利用によっても、第２階層の基準領域画像を対象としたフーリエ変換処理に要する演算量が約｛１−（１／２）２｝に低減され得る。
【０２４７】
また、第１階層の探索処理の演算で得られる第１階層の基準周波数情報に係る少なくとも一部の情報が既演算情報として既演算情報記憶部３６６に記憶され、第３および第４階層の基準周波数情報に係る演算用の情報のうちの一部の情報として用いられても良い。この場合、第３および第４階層の基準周波数情報に係る演算用の情報のうちの残余の情報は、第２および第３変換後基準画像Ｇｃ１，Ｇｄ１に基づいて算出されれば良い。但し、例えば、第１階層の周波数ｕ１の交流成分の情報が、その４倍および８倍の第３および第４階層の周波数ｕ３，ｕ４に係る交流成分の情報として再利用される際には、第１階層の周波数ｕ１の交流成分の位相ｕ１θが解像度の低減に応じたずれ量ｕ３×π，ｕ４×πで補正されることが好ましい。
【０２４８】
また、第２階層の探索処理の演算で得られる第２階層の基準周波数情報に係る少なくとも一部の情報が既演算情報として既演算情報記憶部３６６に記憶され、第３および第４階層の基準周波数情報に係る演算用の情報のうちの一部の情報として用いられても良い。この場合、第３および第４階層の基準周波数情報に係る演算用の情報のうちの残余の情報は、第２および第３変換後基準画像Ｇｃ１，Ｇｄ１に基づいて算出されれば良い。但し、例えば、第２階層の周波数ｕ２の交流成分の情報が、その２倍および４倍の第３および第４階層の周波数ｕ３，ｕ４に係る交流成分の情報として再利用される際には、第２階層の周波数ｕ２の交流成分の位相ｕ２θが解像度の低減に応じたずれ量ｕ３×π，ｕ４×πで補正されることが好ましい。
【０２４９】
更に、第３階層の探索処理の演算で得られる第３階層の基準周波数情報に係る少なくとも一部の情報が既演算情報として既演算情報記憶部３６６に記憶され、第４階層の基準周波数情報に係る演算用の情報のうちの一部の情報として用いられても良い。この場合、第４階層の基準周波数情報に係る演算用の情報のうちの残余の情報は、第３変換後基準画像Ｇｄ１に基づいて算出されれば良い。但し、例えば、第３階層の周波数ｕ３の交流成分の情報が、その２倍の第４階層の周波数ｕ４に係る交流成分の情報として再利用される際には、第３階層の周波数ｕ３の交流成分の位相ｕ３θが解像度の低減に応じたずれ量ｕ４×πで補正されることが好ましい。
【０２５０】
◎また、上記一実施形態および上記第１〜５変形例では、距離算出部３６７において、基準画像Ｇａ１と参照画像Ｇａ２との間における画素の対応関係から、第１および第２カメラ１，２から被写体ＯＢ１までの距離が算出されたが、これに限られない。例えば、被写体ＯＢ１の３次元位置（Ｘ１,Ｙ１,Ｚ１）が、Ｘ１＝ｘ１×Ｄ／ｆ、Ｙ１＝ｙ１×Ｄ／ｆ、Ｚ１＝Ｄの３式によって算出されても良い。ここでは、ｘ１、ｙ１は、基準画像Ｇａ１上の注目画素の座標を示す。
【０２５１】
図３０は、情報処理システム１００の制御部３６に、被写体ＯＢ１の３次元位置（Ｘ１,Ｙ１,Ｚ１）を算出する３次元位置算出部３６８が付加された情報処理システム１００Ａの概略構成を例示する図である。この情報処理システム１００Ａでは、例えば、被写体ＯＢ１の３次元位置（Ｘ１,Ｙ１,Ｚ１）に基づいて、表示部３２において被写体ＯＢ１を３次元的に表す画像（３次元画像とも言う）が可視的に出力されても良い。
【０２５２】
◎また、上記一実施形態および上記第１〜５変形例では、第１および第２カメラ１，２によって同じタイミングで撮像される２つの画像の間における画素の対応関係が探索されたが、これに限られない。例えば、１つのカメラＣ１によって被写体が時間順次に撮像され、画像処理装置３によって複数の画像のデータが通信回線Ｌｎ１を介して取得されて、複数の画像の間における画素の対応関係が探索され、該画素の対応関係から被写体の動きベクトルが算出されても良い。
【０２５３】
図３１は、情報処理システム１００の制御部３６に、被写体の動きベクトルを算出する動き情報算出部３６９が付加された情報処理システム１００Ｂの概略構成を例示する図である。また、情報処理システム１００Ｂでは、情報処理システム１００のうちの第１および第２カメラ１，２がカメラＣ１に置換され、通信回線Ｌ１，Ｌ２が通信回線Ｌｎ１に置換されている。この情報処理システム１００Ｂでは、例えば、被写体の動きベクトルに基づいて、表示部３２において被写体の動きベクトルを示す矢印等といった表示要素が、被写体を捉えた画像とともに可視的に出力されても良い。
【０２５４】
◎また、上記一実施形態および上記第１〜５変形例では、第１〜４階層の探索処理が行われたが、２階層以上の探索処理が行われれば良い。
【０２５５】
◎また、上記一実施形態および上記第１〜５変形例では、第１〜３階層の探索処理において、前の階層の探索処理における既演算情報が再利用されたが、これに限られない。例えば、第４階層の探索処理で得られた既演算情報の第３階層の探索処理における再利用、第３階層の探索処理で得られた既演算情報の第２階層の探索処理における再利用、および第２階層の探索処理で得られた既演算情報の第１階層の探索処理における再利用のうちの何れか１つが実行されれば良い。すなわち、２階層以上の探索処理の間で、一方の探索処理において、他方の探索処理で得られた既演算情報が再利用されれば良い。
【０２５６】
◎また、上記一実施形態および上記第１〜５変形例では、基準画像Ｇａ１側および参照画像Ｇａ２側の双方の演算において、既演算情報が再利用されたが、これに限られない。例えば、基準画像Ｇａ１側および参照画像Ｇａ２側の演算のうちの少なくとも一方の演算において、既演算情報が再利用されれば良い。
【０２５７】
◎なお、上記一実施形態および各種変形例をそれぞれ構成する全部または一部を、適宜、矛盾しない範囲で組み合わせ可能であることは、言うまでもない。
【符号の説明】
【０２５８】
１  第１カメラ
２  第２カメラ
３  画像処理装置
４  記憶媒体
３４  記憶部
３６  制御部
３６ａ  ＣＰＵ
３６ｂ  メモリー
１００，１００Ａ，１００Ｂ  情報処理システム
３６１  画像取得部
３６２  画像生成部
３６３  対応点探索部
３６４  対応点探索制御部
３６５  位置決定部
３６６  既演算情報記憶部
３６７  距離算出部
３６８  ３次元位置算出部
３６９  動き情報算出部
Ｃ１  カメラ
ＰＧ  プログラム
【図１】
2013001885.tif 000010
【図２】
2013001885.tif 000011
【図３】
2013001885.tif 000012
【図４】
2013001885.tif 000013
【図５】
2013001885.tif 000014
【図６】
2013001885.tif 000015
【図７】
2013001885.tif 000016
【図８】
2013001885.tif 000017
【図９】
2013001885.tif 000018
【図１０】
2013001885.tif 000019
【図１１】
2013001885.tif 000020
【図１２】
2013001885.tif 000021
【図１３】
2013001885.tif 000022
【図１４】
2013001885.tif 000023
【図１５】
2013001885.tif 000024
【図１６】
2013001885.tif 000025
【図１７】
2013001885.tif 000026
【図１８】
2013001885.tif 000027
【図１９】
2013001885.tif 000028
【図２０】
2013001885.tif 000029
【図２１】
2013001885.tif 000030
【図２２】
2013001885.tif 000031
【図２３】
2013001885.tif 000032
【図２４】
2013001885.tif 000033
【図２５】
2013001885.tif 000034
【図２６】
2013001885.tif 000035
【図２７】
2013001885.tif 000036
【図２８】
2013001885.tif 000037
【図２９】
2013001885.tif 000038
【図３０】
2013001885.tif 000039
【図３１】
2013001885.tif 000040
【国際調査報告】
2013001885.tif 000041
2013001885.tif 000042
2013001885.tif 000043
2013001885.tif 000044