(57)【要約】【課題】基準画像と参照画像との対応関係の演算を良好に行なうことができる画像処理装置を提供する。【解決手段】装置は、左右に設けられた２台のカメラが撮影した画像である基準画像Ｉ１と参照画像Ｉ２とを入力する。重み係数決定部２２１は、カメラの撮影条件および基準画像Ｉ１内の注目点を中心とするウィンドウ内の画像のテクスチャ情報に基づいて、基準画像Ｉ１および参照画像Ｉ２の合成位相スペクトルの高周波領域をカットするための係数を決定する。【選択図】図３
2008090601.tif 000002
【特許請求の範囲】
【請求項１】
基準画像と参照画像とを入力する画像入力手段と、
前記基準画像上にウィンドウを設定する第１のウィンドウ設定手段と、
前記参照画像上にウィンドウを設定する第２のウィンドウ設定手段と、
前記第１のウィンドウ設定手段で設定されたウィンドウ内の画像、および前記第２のウィンドウ設定手段で設定されたウィンドウ内の画像を２次元フーリエ変換する変換手段と、
前記ウィンドウ内の画像の少なくとも一部の周波数成分に基づいて、前記２次元フーリエ変換後の画像に対する重み付け関数を設定する重み付け関数設定手段と、
前記２次元フーリエ変換後の画像、および前記重み付け関数に基づいて、前記基準画像と前記参照画像との対応関係を演算する演算手段とを備えた、画像処理装置。
【請求項２】
前記重み付け関数設定手段は、フーリエ変換画像の周波数成分ごとの振幅成分を用いて、重み係数を算出する、請求項１に記載の画像処理装置。
【請求項３】
前記基準画像および前記参照画像の少なくとも一方の撮影条件を入力する撮影条件入力手段をさらに備え、
前記重み付け関数設定手段は、前記撮影条件に基づいて重み付け関数を設定する、請求項１または２に記載の画像処理装置。
【請求項４】
前記重み付け関数設定手段は、前記撮影条件に基づいて、振幅成分が撮像素子のノイズレベルで決まる閾値以下となる周波数の重みを０とする、請求項３に記載の画像処理装置。
【請求項５】
前記重み付け関数設定手段は、前記ウィンドウ内の画像の少なくとも２つの周波数成分における振幅成分の比率に基づき、テクスチャの性質を決定し、それに基づいて重み付け関数を設定する、請求項１から４のいずれかに記載の画像処理装置。
【請求項６】
前記重み付け関数設定手段は、前記撮影条件に基づいて、振幅成分と撮影素子のノイズレベルの相対関係に基づいて重み付け関数を設定する、請求項１から４のいずれかに記載の画像処理装置。
【請求項７】
前記演算手段は、２つのウィンドウ内の画像の相関値に基づいて、前記基準画像の一点に対応する前記参照画像の一点を求める、請求項１から６のいずれかに記載の画像処理装置。
【請求項８】
前記演算手段の演算結果に基づいて、前記基準画像と前記参照画像とに含まれる対象物の３次元座標を演算する３次元座標演算部をさらに備えた、請求項１から７のいずれかに記載の画像処理装置。
【請求項９】
基準画像と参照画像とを入力する画像入力ステップと、
前記基準画像上にウィンドウを設定する第１のウィンドウ設定ステップと、
前記参照画像上にウィンドウを設定する第２のウィンドウ設定ステップと、
前記第１のウィンドウ設定ステップで設定されたウィンドウ内の画像、および前記第２のウィンドウ設定ステップで設定されたウィンドウ内の画像を２次元フーリエ変換する変換ステップと、
前記ウィンドウ内の画像の少なくとも一部の周波数成分に基づいて、前記２次元フーリエ変換後の画像に対する重み付け関数を設定する重み付け関数設定ステップと、
前記２次元フーリエ変換後の画像、および前記重み付け関数に基づいて、前記基準画像と前記参照画像との対応関係を演算する演算ステップとを備えた、画像処理装置の制御方法。
【請求項１０】
基準画像と参照画像とを入力する画像入力ステップと、
前記基準画像上にウィンドウを設定する第１のウィンドウ設定ステップと、
前記参照画像上にウィンドウを設定する第２のウィンドウ設定ステップと、
前記第１のウィンドウ設定ステップで設定されたウィンドウ内の画像、および前記第２のウィンドウ設定ステップで設定されたウィンドウ内の画像を２次元フーリエ変換する変換ステップと、
前記ウィンドウ内の画像の少なくとも一部の周波数成分に基づいて、前記２次元フーリエ変換後の画像に対する重み付け関数を設定する重み付け関数設定ステップと、
前記２次元フーリエ変換後の画像、および前記重み付け関数に基づいて、前記基準画像と前記参照画像との対応関係を演算する演算ステップとをコンピュータに実行させる、画像処理装置の制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラムに関し、特に基準画像と参照画像との対応関係を演算することができる画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラムに関する。
【背景技術】
【０００２】
顔認証、モーションキャプチャ、顔の表情解析、および発話解析などの分野において、３次元形状の動画計測のニーズが高い。この様な動的な３次元計測は、被写体の動きに対応する必要があるため、レーザー光などをスキャンするアクティブ方法よりも、ステレオ方式などのパッシブ方式が適している。
【０００３】
位相限定相関（ＰＯＣ：Phase-Only Correlation）を用いたステレオ対応点探索アルゴリズム（ステレオ画像である基準画像と参照画像とからなる画像の同一点を対応付けるアルゴリズム）は、そのロバスト性・高精度が注目されている。より詳しくは、位相限定相関法は、基準画像上のウィンドウと参照画像上のウィンドウとの間の相関を、振幅成分を抑制し、位相成分のみで判断する。このため、左右カメラのゲインやオフセット調整のばらつきなどによる画像の明るさの違いに影響されず、安定した計測が可能である。また、位相にのみ注目することにより、高精度に位置ズレを計測できるという特徴がある。
【０００４】
下記特許文献１は、ステレオカメラに位相限定相関法を応用した貫通穴計測システムを開示している。
【０００５】
下記非特許文献１は、ＰＯＣ演算時におけるスペクトルの重み付けに基づくエイリアシングとノイズの影響の低減について開示している。
【特許文献１】特開２００６−１０３９２号公報
【非特許文献１】「位相限定相関法に基づくサブピクセル画像マッチングの高性能化」、計測自動制御学会東北支部、第２１８回研究集会（２００４．１０．９）、資料番号２１８−１５
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ステレオ対応付けの精度は、被写体のテクスチャに依存する。このため、低コントラストの領域ではカメラのノイズの影響を受けやすく、基準画像と参照画像との対応関係の演算を良好に行なうことができないという問題があった。
【０００７】
本発明はそのような課題を解決するためになされたものであり、基準画像と参照画像との対応関係の演算を良好に行なうことができる画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラムを提供することを目的としている。
【課題を解決するための手段】
【０００８】
上記目的を達成するためこの発明のある局面に従うと、画像処理装置は、基準画像と参照画像とを入力する画像入力手段と、基準画像上にウィンドウを設定する第１のウィンドウ設定手段と、参照画像上にウィンドウを設定する第２のウィンドウ設定手段と、第１のウィンドウ設定手段で設定されたウィンドウ内の画像、および第２のウィンドウ設定手段で設定されたウィンドウ内の画像を２次元フーリエ変換する変換手段と、ウィンドウ内の画像の少なくとも一部の周波数成分に基づいて、２次元フーリエ変換後の画像に対する重み付け関数を設定する重み付け関数設定手段と、２次元フーリエ変換後の画像、および重み付け関数に基づいて、基準画像と参照画像との対応関係を演算する演算手段とを備える。
【０００９】
好ましくは重み付け関数設定手段は、フーリエ変換画像の周波数成分ごとの振幅成分を用いて、重み係数を算出する。
【００１０】
好ましくは画像処理装置は、基準画像および参照画像の少なくとも一方の撮影条件を入力する撮影条件入力手段をさらに備え、重み付け関数設定手段は、撮影条件に基づいて重み付け関数を設定する。
【００１１】
好ましくは重み付け関数設定手段は、撮影条件に基づいて、振幅成分が撮像素子のノイズレベルで決まる閾値以下となる周波数の重みを０とする。
【００１２】
好ましくは重み付け関数設定手段は、ウィンドウ内の画像の少なくとも２つの周波数成分における振幅成分の比率に基づき、テクスチャの性質を決定し、それに基づいて重み付け関数を設定する。
【００１３】
好ましくは重み付け関数設定手段は、撮影条件に基づいて、振幅成分と撮影素子のノイズレベルの相対関係に基づいて重み付け関数を設定する。
【００１４】
好ましくは演算手段は、２つのウィンドウ内の画像の相関値に基づいて、基準画像の一点に対応する参照画像の一点を求める。
【００１５】
好ましくは画像処理装置は、演算手段の演算結果に基づいて、基準画像と参照画像とに含まれる対象物の３次元座標を演算する３次元座標演算部をさらに備える。
【００１６】
この発明の他の局面に従うと画像処理装置の制御方法は、基準画像と参照画像とを入力する画像入力ステップと、基準画像上にウィンドウを設定する第１のウィンドウ設定ステップと、参照画像上にウィンドウを設定する第２のウィンドウ設定ステップと、第１のウィンドウ設定ステップで設定されたウィンドウ内の画像、および第２のウィンドウ設定ステップで設定されたウィンドウ内の画像を２次元フーリエ変換する変換ステップと、ウィンドウ内の画像の少なくとも一部の周波数成分に基づいて、２次元フーリエ変換後の画像に対する重み付け関数を設定する重み付け関数設定ステップと、２次元フーリエ変換後の画像、および重み付け関数に基づいて、基準画像と参照画像との対応関係を演算する演算ステップとを備える。
【００１７】
この発明のさらに他の局面に従うと、画像処理装置の制御プログラムは、基準画像と参照画像とを入力する画像入力ステップと、基準画像上にウィンドウを設定する第１のウィンドウ設定ステップと、参照画像上にウィンドウを設定する第２のウィンドウ設定ステップと、第１のウィンドウ設定ステップで設定されたウィンドウ内の画像、および第２のウィンドウ設定ステップで設定されたウィンドウ内の画像を２次元フーリエ変換する変換ステップと、ウィンドウ内の画像の少なくとも一部の周波数成分に基づいて、２次元フーリエ変換後の画像に対する重み付け関数を設定する重み付け関数設定ステップと、２次元フーリエ変換後の画像、および重み付け関数に基づいて、基準画像と参照画像との対応関係を演算する演算ステップとをコンピュータに実行させる。
【発明の効果】
【００１８】
これらの発明に従うと、基準画像と参照画像との対応関係の演算を良好に行なうことができる画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラムを提供することができる。
【発明を実施するための最良の形態】
【００１９】
図１は、本発明の実施の形態の１つにおける３次元計測装置の構成を示す図である。
図を参照して３次元計測装置は、左右に並べられた２台のカメラ１００Ｒ，１００Ｌと、カメラに接続される演算処理装置２００と、表示装置３００とから構成される。
【００２０】
カメラ１００Ｒ，１００Ｌは、被写体Ｏ（ここでは人物の顔を例示している）の２次元画像を撮影する。カメラ１００Ｒとカメラ１００Ｌとは、所定距離左右に離されて設置される。これにより、ステレオ画像を得ることが可能である。
【００２１】
演算処理装置２００は、２台のカメラで撮影された画像から、被写体の３次元形状を演算する。表示装置３００は、計測された被写体の３次元形状を表示する。なお、表示を行なわずに、得られた３次元形状データ（Ｘ、Ｙ、Ｚ座標などからなるデータ）を記憶媒体に記憶するようにしてもよい。
【００２２】
図２は、図１の演算処理装置２００のハードウェア構成を示すブロック図である。
図を参照して、演算処理装置２００は、装置全体の制御を行なうＣＰＵ６０１と、ネットワークに接続したり外部と通信を行なうためのＬＡＮ（ローカルエリアネットワーク）カード６０７（またはモデムカード）と、キーボードやマウスなどにより構成される入力装置６０９と、フレキシブルディスクドライブ６１１と、ＣＤ−ＲＯＭドライブ６１３と、ハードディスクドライブ６１５と、ＲＡＭ６１７と、ＲＯＭ６１９とを備えている。
【００２３】
演算処理装置２００は、映像入力部６５１からカメラの画像を入力する。
また演算処理装置２００は、表示装置（ディスプレイ）３００に接続されている。
【００２４】
フレキシブルディスクドライブ６１１により、フレキシブルディスクＦに記録されたプログラムや画像などのデータを読取ることが可能であり、ＣＤ−ＲＯＭドライブ６１３により、ＣＤ−ＲＯＭ６１３ａに記録されたプログラムや画像などのデータを読取ることが可能である。
【００２５】
なお、演算処理装置２００にステレオ写真などの画像を入力するためのＤＶＤドライブ、メモリーカードリーダなどを備えさせることも可能である。画像の蓄積のためには、ハードディスクドライブを用いることが好ましい。
【００２６】
また、写真などの画像表示のために、テレビへのビデオ信号出力端子を装備することとしてもよい。
【００２７】
図３は、演算処理装置２００の機能構成を示すブロック図である。
図を参照して演算処理装置２００は、カメラ１００Ｌが撮影した画像である基準画像Ｉ１と、カメラ１００Ｒが撮影した画像である参照画像Ｉ２とを入力する。
【００２８】
演算処理装置２００は、基準画像Ｉ１をスキャンするためのウィンドウの位置を設定する基準画像ウィンドウ設定部２０３と、参照画像Ｉ２をスキャンするためのウィンドウの位置を設定する参照画像ウィンドウ設定部２０５と、基準画像のウィンドウで示される部分に対して２次元離散フーリエ変換（２Ｄ  ＤＦＴ）を行なうＤＦＴ部２０７と、参照画像のウィンドウで示される部分に対して２次元離散フーリエ変換を行なうＤＦＴ部２０９と、ＤＦＴ処理後の２つの画像の位相の比較を行なう位相比較部２１１と、２つの画像のずれを演算する位置ズレ演算部２１３と、位置のずれに基づき被写体Ｏ表面の３次元座標を演算する３次元座標演算部２１５と、ＤＦＴ部２０７の出力に基づいて位相比較部２１１で用いる重み係数を決定する重み係数決定部２２１とを備える。
【００２９】
なお基準画像のウィンドウ内の画像をｆ、そのＤＦＴ処理後の画像をＦ、参照画像のウィンドウ内の画像をｇ、そのＤＦＴ処理後の画像をＧ、位相比較部２１１の出力である合成位相スペクトルをＲ、位置ズレ演算部２１３の出力であるＰＯＣ関数をｒの記号でそれぞれ表わしている。
【００３０】
図４は、注目点のスキャンを説明するための図である。
基準画像Ｉ１上に注目点Ｐを設定し、参照画像Ｉ２上の注目点Ｐに対応する位置を見つけることで、注目点における両画像の位置ずれが検出される。検出された位置ずれに基づいてその注目点における３次元座標が演算される。
【００３１】
図５は、注目点のスキャン処理を示すフローチャートである。
スキャンが終了するまで（Ｓ１０１でＮＯ）、注目点を移動させつつ３次元座標の演算を行ない（Ｓ１０３）、スキャン終了（Ｓ１０１でＹＥＳ）とともに演算処理を中止する。
【００３２】
これにより、注目点のスキャンに基づく３次元点群を得ることができる。
図６は、基準画像のウィンドウ設定処理を示す図である。
【００３３】
図を参照して、基準画像Ｉ１において注目点Ｐを中心とする所定サイズのウィンドウＷ１を設定する。
【００３４】
図７は、参照画像のウィンドウ設定処理を示す図である。
参照画像Ｉ２上でウィンドウＷ２（サイズ、形状はウィンドウＷ１と同じ）を走査し、最も基準画像Ｉ１上のウィンドウＷ１内の画像に近いパターンを参照画像上の対応箇所とする。近さの判定は、それぞれのウィンドウ間の相関演算や、ＳＡＤ（Sum of Absolute Differences）演算などで実行することができる。これにより、基準画像Ｉ１上の注目点Ｐに対応する点を設定することができる。
【００３５】
なお図７においては、縦方向にもウィンドウを動かすようにしているが、２台のカメラを水平に設置するのであれば、基準画像と参照画像とでの画像ズレは横方向にしか生じないため、横方向のみにウィンドウを動かすようにしてもよい。
【００３６】
さらに参照画像のウィンドウは、広範囲に動かすことで基準画像との対応関係を調べてもよいが、探索の「初期値」を予め決めておき、その初期値から所定範囲内だけ参照画像のウィンドウを動かすことで、基準画像と参照画像との対応を調べるようにしてもよい。すなわち、解像度の低い画像を用いて基準画像と参照画像との対応関係を求め、その結果を用いて解像度の高い画像での初期値を設定するなどである。
【００３７】
画像サイズＮ１×Ｎ２ピクセルの２つの画像を、ｆ(ｎ１，ｎ２）およびｇ（ｎ１，ｎ２）とする。定式化の便宜上、離散空間のインデックスをｎ１＝−Ｍ１，…，Ｍ１、ｎ２＝−Ｍ２，…，Ｍ２とし、画像サイズをＮ１＝２Ｍ１＋１ピクセル、Ｎ２＝２Ｍ２＋１ピクセルとする。これらの画像の２次元離散フーリエ変換（２Ｄ  ＤＦＴ）をそれぞれＦ（ｋ１，ｋ２）、Ｇ（ｋ１，ｋ２）として、次式で与える。
【００３８】
【数１】
2008090601.tif 000003
【００３９】
図８は、位相比較部２１１の実行する第１の処理を示す図である。
図を参照して、ＤＦＴ部２０７，２０９により、Ｆ（ｋ１，ｋ２）、Ｇ（ｋ１，ｋ２）が算出され、それらの合成である、
【００４０】
【数２】
2008090601.tif 000004
【００４１】
が算出され、２つのウィンドウ内の画像の位置ズレが、位相の傾きとして表現される。
図９は、位相比較部２１１の実行する第２の処理を示す図である。
【００４２】
ここでは図８に示される演算結果から、合成位相スペクトルである、
【００４３】
【数３】
2008090601.tif 000005
【００４４】
を算出する処理が実行される。また、合成位相スペクトルに対して、下記のように周波数成分に応じた重み付け関数Ｈがかけられる。これは、位相の傾きをロバストに推定するために、周波数成分毎に重み付けを行なう処理である。
【００４５】
【数４】
2008090601.tif 000006
【００４６】
位置ズレ演算部２１３では、まず、周波数域で位相比較された合成位相スペクトルを、逆フーリエ変換することで位相限定相関（ＰＯＣ）関数を演算する。
【００４７】
【数５】
2008090601.tif 000007
【００４８】
図１０に示されるように、位相限定相関（ＰＯＣ）関数は、画像間（基準ウィンドウと参照ウィンドウとの間）の移動量の座標に急峻な相関ピークを持つ性質があり、画像マッチングにおけるロバスト性と移動量推定精度が高いというという特徴がある。したがって、位置ズレ演算部２１３は、ＰＯＣのピークを推定することにより画像の位置ズレ量を演算する。ＰＯＣは離散的に求まるため、ピーク位置をサブピクセルで推定することにより、高分解な対応点座標を求めることができる。補間を行なう場合には、放物線などの関数をフィッティングするなどが考えられる。
【００４９】
図１１は、３次元座標演算部２１５が実行する処理を示す図である。
ここでは、基準画像を捉えるカメラを基準カメラ、参照画像を捉えるカメラを参照カメラと呼び、その撮影面と撮影対象物と焦点位置との位置関係を示している。
【００５０】
本実施の形態においては説明の簡素化の為に、ステレオカメラの収差は良好に補正されており、かつ２台のカメラは平行に設置されているものとする。実際のハードがこのような条件に無いとしても、画像処理により同等の画像に変換することも可能である。
【００５１】
図において、基準カメラと参照カメラとのそれぞれで捉えた画像において、対応する点の位置の差がΔｄであった場合に、対象物までの距離Ｄは、下式で計算される。なおここで、カメラの基線長（２台のカメラの光軸間の距離）をＢ、カメラレンズの焦点距離をｆとする。
【００５２】
【数６】
2008090601.tif 000008
【００５３】
このようにして、位置ズレ演算部２１３で求めた画像間のΔｄを用いて、注目点Ｐまでの距離をもとめ、３次元モデルを作成することができる。
【００５４】
図１２は、重み係数決定部２２１の構成を示す図である。
図を参照して重み係数決定部２２１は、ＤＦＴ振幅画像Ｉ３と、撮影条件データＤ３とを入力する。
【００５５】
重み係数決定部２２１は、ＤＦＴ振幅画像Ｉ３を撮影条件に基づいて修正する振幅画像修正部５０１と、修正された振幅画像から低周波域のエネルギーを算出する低周波域エネルギー算出部５０３と、修正された振幅画像から高周波域のエネルギーを算出する高周波域エネルギー算出部５０５と、エネルギー算出結果に基づいて重み係数を決定する重み係数決定部５０７と、決定された重み係数を撮影条件データＤ３に基づいて修正する重み係数修正部５０９とを備えている。
【００５６】
図１３は、振幅画像修正部５０１の処理を示す図である。
図１３では、周波数によって振幅の異なるノイズの例を示している。
【００５７】
振幅画像修正部５０１は、センサの撮影条件（ゲイン、ホワイトバランス（ＷＢ）、積分枚数など）毎のノイズプロファイル（予め測定された結果により得られたもの）を持ち、各ノイズプロファイルに応じて、振幅成分をカットする。すなわち図１３（１）に示されるように振幅画像が入力されると、図１３（２）に示されるように撮影条件に応じて高周波域の振幅成分をカットする。
【００５８】
図１４は、低周波域エネルギー算出部５０３および高周波域エネルギー算出部５０５の動作を示す図である。
【００５９】
振幅画像修正部５０１から出力された振幅画像において、低周波域エネルギー算出部５０３は、低周波領域（Ａ領域）の振幅量の総和を計算する。この値をＥ（Ａ）と称する。なお、Ａ領域は、周波数ｐ／２ｎ〜１／４の範囲とする。
【００６０】
振幅画像修正部５０１から出力された振幅画像において、高周波域エネルギー算出部５０５は、高周波領域（Ｂ領域）の振幅量の総和を計算する。この値をＥ（Ｂ）と称する。なお、Ｂ領域は、周波数１／４〜（ｎ−ｑ）／２ｎの範囲とする。
【００６１】
このように、Ａ領域およびＢ領域は、ｐ／２ｎ以上かつ（ｎ−ｑ）／２ｎ以下（ｐ＞３，ｑ＞３）の範囲であることが望ましい。ｐ／２ｎ以下の波長の周波数成分は、位相を位置ズレに変換する時の精度が悪く、（ｎ−ｑ）／２ｎ以上の波長の周波数成分は、元々信号成分が少なく位相に信頼性がないためである。
【００６２】
図１５は、重み係数決定部５０７の処理を示す図である。
図に示されるように、重みパターン１と重みパターン２とが装置に保持されているものとする。ここに、重みパターン１は重みパターン２よりも広い領域をカットするための重み係数である。
【００６３】
重み係数は、以下のように決定される（なお、ＴＨはしきい値である）。
Ｉｆ ［Ｅ（Ａ）／Ｅ（Ｂ）＞ＴＨ］  重みパターン１
ｅｌｓｅ 重みパターン２
すなわち、Ａ領域に振幅量が集中している時には、その部分を強調すべく、より広い高周波領域をカットするパターンを選択する。
【００６４】
明るい部分と暗い部分、肌の位置（頬と唇）などで被写体のテクスチャと画像ノイズとの比率が異なる。これに合わせて適応的にカット周波数を変更することにより、本実施の形態では常に最適条件でウィンドウの対応付け処理が行われる。
【００６５】
また、顔と胴体（衣服）では、被写体のテクスチャの周波数成分が異なり、主要な周波数成分が異なる。本実施の形態では、それぞれのテクスチャに適した周波数成分の位相を用いることにより、被写体に応じた３次元計測を行なうことができる。
【００６６】
なお、テクスチャ分析部によってテクスチャ解析を行ない、その結果に基づいて数種類用意しておいたテクスチャに適した重み付けパターンのうち、好ましいものを選択するようにしてもよい。すなわち、顔、服（柄のタイプ）、背景画像などに応じて、被写体候補に適した重み付けプロファイルを用いるなどである。
【００６７】
上記実施の形態では、２つの周波数帯の振幅量を用いて重み関数を選択したが、振幅量を計算する周波数帯の数は、３以上であっても構わない。
【００６８】
また、予め重みパターンを用意して選択する代わりに、各周波数帯毎に、テクスチャの持つ振幅成分と、センサの撮影条件に基づくノイズプロファイルの大きさの比に応じて重みパターンを生成するようにしてもよい。これにより、より多彩なテクスチャに対して最適な重みパターンを設定することが可能となる。
【００６９】
図１６は、重み係数修正部５０９の処理を示す図である。
重み係数修正部５０９は、選択された重みパターン（ここでは重みパターン２を例示）を、センサの撮影条件に基づくノイズプロファイルに応じてカットする。これは、振幅成分が撮像素子のノイズレベルで決まる閾値以下となる周波数の重みを０とするものである。
【００７０】
これにより、図９の処理で用いる重み付け関数Ｈ（ｋ１，ｋ２）を求めることができる。
【００７１】
［実施の形態における効果］
上記実施の形態によると、位相限定相関法を用いたステレオ対応付けにおいて、対応付けウィンドウ内のテクスチャの周波数特性と、カメラの撮影条件とに応じて、相関計算を行なう位相の重み付けを適応的に変更することができる。コントラストの少ないウィンドウ領域では、画像のノイズの影響により対応付けの精度が劣化する。周波数領域で帯域制限を行なうことにより画像ノイズの影響を減らす方法が考えられるが、画像全体で同じパラメータを用いると、各ウィンドウ毎に最適な帯域制限ができず、ポイント毎にノイズの影響の受け方が異なってしまう。本実施の形態ではＰＯＣ演算時に、ウィンドウ毎に周波数特性を演算するので、それを利用して、周波数特性に応じて、最適な周波数帯を選択することができる。これにより、画像全体にわたって対応付け精度を向上させることが出来る。
【００７２】
［その他］
上述の実施の形態における処理は、ソフトウエアによって行なっても、ハードウエア回路を用いて行なってもよい。
【００７３】
また、上述の実施の形態における処理を実行するプログラムを提供することもできるし、そのプログラムをＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、メモリカードなどの記録媒体に記録してユーザに提供することにしてもよい。また、プログラムはインターネットなどの通信回線を介して、装置にダウンロードするようにしてもよい。
【００７４】
なお、上記実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【００７５】
【図１】本発明の実施の形態の１つにおける３次元計測装置の構成を示す図である。
【図２】図１の演算処理装置２００のハードウェア構成を示すブロック図である。
【図３】演算処理装置２００の機能構成を示すブロック図である。
【図４】注目点のスキャンを説明するための図である。
【図５】注目点のスキャン処理を示すフローチャートである。
【図６】基準画像のウィンドウ設定処理を示す図である。
【図７】参照画像のウィンドウ設定処理を示す図である。
【図８】位相比較部２１１の実行する第１の処理を示す図である。
【図９】位相比較部２１１の実行する第２の処理を示す図である。
【図１０】位相限定相関（ＰＯＣ）関数の具体例を示す図である。
【図１１】３次元座標演算部２１５が実行する処理を示す図である。
【図１２】重み係数決定部２２１の構成を示す図である。
【図１３】振幅画像修正部５０１の処理を示す図である。
【図１４】低周波域エネルギー算出部５０３および高周波域エネルギー算出部５０５の動作を示す図である。
【図１５】重み係数決定部５０７の処理を示す図である。
【図１６】重み係数修正部５０９の処理を示す図である。
【符号の説明】
【００７６】
１００Ｒ，１００Ｌ  カメラ、２００  演算処理装置、２０３  基準画像ウィンドウ設定部、２０５  参照画像ウィンドウ設定部、２０７，２０９  ＤＦＴ部、２１１  位相比較部、２１３  位置ズレ演算部、２１５  ３次元座標演算部、２２１  重み係数決定部、３００  表示装置。
【図１】
2008090601.tif 000009
【図２】
2008090601.tif 000010
【図３】
2008090601.tif 000011
【図４】
2008090601.tif 000012
【図５】
2008090601.tif 000013
【図６】
2008090601.tif 000014
【図７】
2008090601.tif 000015
【図８】
2008090601.tif 000016
【図９】
2008090601.tif 000017
【図１０】
2008090601.tif 000018
【図１１】
2008090601.tif 000019
【図１２】
2008090601.tif 000020
【図１３】
2008090601.tif 000021
【図１４】
2008090601.tif 000022
【図１５】
2008090601.tif 000023
【図１６】
2008090601.tif 000024