(57)【要約】【課題】基準画像と参照画像との対応関係の演算を良好に行なうことができる画像処理装置を提供する。【解決手段】装置は、左右に設けられた２台のカメラが撮影した画像である基準画像と参照画像とを入力する。２画像の画素の対応付けが行なわれ、対応データが算出された後に、それぞれの対応データの信頼度が判定される（Ｓ１０６）。信頼度が低いデータに関しては、周囲の画素の対応データから補間データを求め（Ｓ１０７）、補間データの評価を行なう（Ｓ１０８）。評価結果に基づいて、パラメータや初期値を変更して対応付けの再計算を行なう（Ｓ１０９）。【選択図】図９
2008090608.tif 000002
【特許請求の範囲】
【請求項１】
基準画像と参照画像との対応点の対応付けを行ない、対応データを算出する対応点探索手段と、
前記対応点探索手段が算出した対応データの信頼度を判定する信頼度判定手段と、
前記信頼度判定手段で判定された信頼度が所定のしきい値よりも低いとき、当該対応点の周辺の対応データに基づいて、当該対応点に対する補間データを生成する補間データ生成手段と、
前記生成された補間データを評価する補間データ評価手段と、
当該対応点の対応データの再計算を行なう際に、前記補間データ評価手段の評価結果に基づいて、前記対応点探索手段で用いたパラメータを変更する再計算手段とを備えた、画像処理装置。
【請求項２】
前記補間データ評価手段は、当該対応点に対する補間データと対応データとの差に基づいて評価を行なう、請求項１に記載の画像処理装置。
【請求項３】
前記補間データ評価手段での評価が所定のしきい値よりも大きいときは、前記再計算手段は、前記生成された補間データを初期値として、前記対応点探索手段で用いたパラメータと同じパラメータで当該対応点の対応データの再計算を行なう、請求項１または２に記載の画像処理装置。
【請求項４】
前記補間データ評価手段での評価が所定のしきい値よりも小さいときは、前記再計算手段は、前記生成された補間データまたは当該対応点に対する対応データを初期値として、前記対応点探索手段で用いたパラメータと異なるパラメータで当該対応点の対応データの再計算を行なう、請求項１から３のいずれかに記載の画像処理装置。
【請求項５】
前記パラメータは、前記対応点探索手段で用いるウィンドウのサイズに関するパラメータを含む、請求項１から４のいずれかに記載の画像処理装置。
【請求項６】
前記パラメータは、前記対応点探索手段で用いるローパスフィルターのカット周波数に関連するパラメータを含む、請求項１から５のいずれかに記載の画像処理装置。
【請求項７】
前記補間データ生成手段は、当該対応点の周辺の対応データの評価を行なう対応データ評価手段を備え、
前記対応データ評価手段で評価が高いときに、当該対応点の周辺の対応データに基づいて、当該対応点に対する補間データを生成する、請求項１から６のいずれかに記載の画像処理装置。
【請求項８】
前記補間データ評価手段は、補間データが生成されなかった場合は評価を行なわない、請求項７に記載の画像処理装置。
【請求項９】
前記対応点に対する補間データが作成されなかったときに、前記対応点探索手段で用いたパラメータを変更して当該対応点の対応データの再計算を行なう、請求項７または８に記載の画像処理装置。
【請求項１０】
前記対応データ評価手段は、当該対応点の周辺の複数の対応データの評価を行ない、
前記補間データ生成手段は、当該対応点の周辺の複数の対応データにおいて、所定のしきい値以上の信頼度を持つデータの個数が所定の数よりも多い場合に、評価が高いとして補間データを生成する、請求項７から９のいずれかに記載の画像処理装置。
【請求項１１】
前記補間データ生成手段は、信頼度が所定のしきい値以上のデータだけを用いて補間を行なう、請求項１から１０のいずれかに記載の画像処理装置。
【請求項１２】
前記補間データ生成手段は、平均・メディアンその他の統計量を用いて補間データを生成する、請求項１から１１のいずれかに記載の画像処理装置。
【請求項１３】
前記補間データ生成手段は、データの分布を考慮して補間データを生成する、請求項１から１２のいずれかに記載の画像処理装置。
【請求項１４】
前記対応点探索手段は、位相限定相関法を用いて基準画像と参照画像との対応点の対応付けを行なう、請求項１から１３のいずれかに記載の画像処理装置。
【請求項１５】
基準画像と参照画像との対応点の対応付けを行ない、対応データを算出する対応点探索ステップと、
前記対応点探索ステップで算出した対応データの信頼度を判定する信頼度判定ステップと、
前記信頼度判定ステップで判定された信頼度が所定のしきい値よりも低いとき、当該対応点の周辺の対応データに基づいて、当該対応点に対する補間データを生成する補間データ生成ステップと、
前記生成された補間データを評価する補間データ評価ステップと、
当該対応点の対応データの再計算を行なう際に、前記補間データ評価ステップの評価結果に基づいて、前記対応点探索ステップで用いたパラメータを変更する再計算ステップとを備えた、画像処理装置の制御方法。
【請求項１６】
基準画像と参照画像との対応点の対応付けを行ない、対応データを算出する対応点探索ステップと、
前記対応点探索ステップで算出した対応データの信頼度を判定する信頼度判定ステップと、
前記信頼度判定ステップで判定された信頼度が所定のしきい値よりも低いとき、当該対応点の周辺の対応データに基づいて、当該対応点に対する補間データを生成する補間データ生成ステップと、
前記生成された補間データを評価する補間データ評価ステップと、
当該対応点の対応データの再計算を行なう際に、前記補間データ評価ステップの評価結果に基づいて、前記対応点探索ステップで用いたパラメータを変更する再計算ステップとをコンピュータに実行させる、画像処理装置の制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラムに関し、特に基準画像と参照画像との対応関係を演算することができる画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラムに関する。
【背景技術】
【０００２】
ステレオカメラによって、異なる視点から撮影し取得された２つの画像の各画素を相互に対応付けを行ない、その得られた対応関係から三角測量の原理に基づいて、画像上の各点の３次元位置を算出する方法が知られている。近年、ロバスト且つ高精度な対応付けが可能な位相限定相関（ＰＯＣ：Phase-Only Correlation）法による対応点探索が注目されている。この手法は、画像の振幅成分を取り除いて、画像の位相成分のみで相関演算を行なうので、輝度変動やノイズに影響されにくい手法である。この手法は高精度に対応点探索ができるが、全ての点において信頼度が高い対応点を探索することは困難であり、ある一定の割合で信頼度が低い点が存在しているため、これらの点に対しては何らかの対策を行なう必要がある。
【０００３】
図１８は、画像間の対応点から三角測量の原理に基づいて３次元位置を算出する方法を模式的に示した図である。
【０００４】
基準カメラと参照カメラ対応点位置の差がΔｄであった場合に、対象物までの距離Ｄは、下式で計算される。
【０００５】
Ｄ＝ｆＢ／Δｄ
但し、カメラの基線長をＢ、カメラレンズの焦点距離をｆとする。
【０００６】
このとき、対象物の３次元位置（Ｘ，Ｙ，Ｚ）は、下式で計算される。
Ｘ＝ｘＤ／ｆ、  Ｙ＝ｙＤ／ｆ、  Ｚ＝Ｄ
但し、ｘ，ｙは、基準画像上の注目画素の座標である。
【０００７】
下記特許文献１は、得られた視差（画素間の位置のずれ）の信頼度が低いときは周辺視差で補正する方法を開示している。
【０００８】
下記非特許文献１には、信頼度が低いときは周辺視差で補間した上で、その補間したデータを初期値としてＰＯＣを再計算することが記載されている。
【特許文献１】特開平１０−２８９３１６号公報
【非特許文献１】「A High-Accuracy Passive 3D Measurement System Using Phase-Based Image Matching」,IEICE （The Institute of Electronics, Information and Communication Engineers） TRANS. FUNDAMENTALS, VOL.E89-A,NO.3 MARCH 2006
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら特許文献１の技術では、周辺視差からの補正を行なっているため、正しいデータであるかが判らず、精度が保障できないという課題がある。
【００１０】
また非特許文献１の技術は、最初に得られた視差が正しい場合であっても信頼度が低くなるケースがあるので、そのような場合は、補間データに対して同じパラメータで再計算しても、再度信頼度が低くなってしまうという問題がある。また、補間データを生成する際に使用する周辺視差を信頼度に関係なく用いているため、補間データの品質が保障できないという問題がある。
【００１１】
本発明はそのような課題を解決するためになされたものであり、基準画像と参照画像との対応関係の演算を良好に行なうことができる画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラムを提供することを目的としている。
【課題を解決するための手段】
【００１２】
上記目的を達成するためこの発明のある局面に従うと、画像処理装置は、基準画像と参照画像との対応点の対応付けを行ない、対応データを算出する対応点探索手段と、対応点探索手段が算出した対応データの信頼度を判定する信頼度判定手段と、信頼度判定手段で判定された信頼度が所定のしきい値よりも低いとき、当該対応点の周辺の対応データに基づいて、当該対応点に対する補間データを生成する補間データ生成手段と、生成された補間データを評価する補間データ評価手段と、当該対応点の対応データの再計算を行なう際に、補間データ評価手段の評価結果に基づいて、対応点探索手段で用いたパラメータを変更する再計算手段とを備える。
【００１３】
好ましくは補間データ評価手段は、当該対応点に対する補間データと対応データとの差に基づいて評価を行なう。
【００１４】
好ましくは、補間データ評価手段での評価が所定のしきい値よりも大きいときは、再計算手段は、生成された補間データを初期値として、対応点探索手段で用いたパラメータと同じパラメータで当該対応点の対応データの再計算を行なう。
【００１５】
好ましくは補間データ評価手段での評価が所定のしきい値よりも小さいときは、再計算手段は、生成された補間データまたは当該対応点に対する対応データを初期値として、対応点探索手段で用いたパラメータと異なるパラメータで当該対応点の対応データの再計算を行なう。
【００１６】
好ましくはパラメータは、対応点探索手段で用いるウィンドウのサイズに関するパラメータを含む。
【００１７】
好ましくはパラメータは、対応点探索手段で用いるローパスフィルターのカット周波数に関連するパラメータを含む。
【００１８】
好ましくは補間データ生成手段は、当該対応点の周辺の対応データの評価を行なう対応データ評価手段を備え、対応データ評価手段で評価が高いときに、当該対応点の周辺の対応データに基づいて、当該対応点に対する補間データを生成する。
【００１９】
好ましくは補間データ評価手段は、補間データが生成されなかった場合は評価を行なわない。
【００２０】
好ましくは画像処理装置は、対応点に対する補間データが作成されなかったときに、対応点探索手段で用いたパラメータを変更して当該対応点の対応データの再計算を行なう。
【００２１】
好ましくは対応データ評価手段は、当該対応点の周辺の複数の対応データの評価を行ない、補間データ生成手段は、当該対応点の周辺の複数の対応データにおいて、所定のしきい値以上の信頼度を持つデータの個数が所定の数よりも多い場合に、評価が高いとして補間データを生成する。
【００２２】
好ましくは補間データ生成手段は、信頼度が所定のしきい値以上のデータだけを用いて補間を行なう。
【００２３】
好ましくは補間データ生成手段は、平均・メディアンその他の統計量を用いて補間データを生成する。
【００２４】
好ましくは補間データ生成手段は、データの分布を考慮して補間データを生成する。
好ましくは対応点探索手段は、位相限定相関法を用いて基準画像と参照画像との対応点の対応付けを行なう。
【００２５】
この発明の他の局面に従うと画像処理装置の制御方法は、基準画像と参照画像との対応点の対応付けを行ない、対応データを算出する対応点探索ステップと、対応点探索ステップで算出した対応データの信頼度を判定する信頼度判定ステップと、信頼度判定ステップで判定された信頼度が所定のしきい値よりも低いとき、当該対応点の周辺の対応データに基づいて、当該対応点に対する補間データを生成する補間データ生成ステップと、生成された補間データを評価する補間データ評価ステップと、当該対応点の対応データの再計算を行なう際に、補間データ評価ステップの評価結果に基づいて、対応点探索ステップで用いたパラメータを変更する再計算ステップとを備える。
【００２６】
この発明のさらに他の局面に従うと画像処理装置の制御プログラムは、基準画像と参照画像との対応点の対応付けを行ない、対応データを算出する対応点探索ステップと、対応点探索ステップで算出した対応データの信頼度を判定する信頼度判定ステップと、信頼度判定ステップで判定された信頼度が所定のしきい値よりも低いとき、当該対応点の周辺の対応データに基づいて、当該対応点に対する補間データを生成する補間データ生成ステップと、生成された補間データを評価する補間データ評価ステップと、当該対応点の対応データの再計算を行なう際に、補間データ評価ステップの評価結果に基づいて、対応点探索ステップで用いたパラメータを変更する再計算ステップとをコンピュータに実行させる。
【発明の効果】
【００２７】
これらの発明に従うと、基準画像と参照画像との対応関係の演算を良好に行なうことができる画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラムを提供することができる。
【発明を実施するための最良の形態】
【００２８】
図１は、本発明の実施の形態の１つにおける３次元計測装置の構成を示す図である。
図を参照して３次元計測装置は、左右に並べられた２台のカメラ１００Ｒ，１００Ｌと、カメラに接続される演算処理装置２００と、表示装置３００とから構成される。
【００２９】
カメラ１００Ｒ，１００Ｌは、被写体Ｏ（ここでは人物の顔を例示している）の２次元画像を撮影する。カメラ１００Ｒとカメラ１００Ｌとは、所定距離左右に離されて設置される。これにより、ステレオ画像を得ることが可能である。
【００３０】
演算処理装置２００は、２台のカメラで撮影された画像から、被写体の３次元形状を演算する。表示装置３００は、計測された被写体の３次元形状を表示する。なお、表示を行なわずに、得られた３次元形状データ（Ｘ、Ｙ、Ｚ座標などからなるデータ）を記憶媒体に記憶するようにしてもよい。
【００３１】
図２は、図１の演算処理装置２００のハードウェア構成を示すブロック図である。
図を参照して、演算処理装置２００は、装置全体の制御を行なうＣＰＵ６０１と、ネットワークに接続したり外部と通信を行なうためのＬＡＮ（ローカルエリアネットワーク）カード６０７（またはモデムカード）と、キーボードやマウスなどにより構成される入力装置６０９と、フレキシブルディスクドライブ６１１と、ＣＤ−ＲＯＭドライブ６１３と、ハードディスクドライブ６１５と、ＲＡＭ６１７と、ＲＯＭ６１９とを備えている。
【００３２】
演算処理装置２００は、映像入力部６５１からカメラの画像を入力する。
また演算処理装置２００は、表示装置（ディスプレイ）３００に接続されている。
【００３３】
フレキシブルディスクドライブ６１１により、フレキシブルディスクＦに記録されたプログラムや画像などのデータを読取ることが可能であり、ＣＤ−ＲＯＭドライブ６１３により、ＣＤ−ＲＯＭ６１３ａに記録されたプログラムや画像などのデータを読取ることが可能である。
【００３４】
なお、演算処理装置２００にステレオ写真などの画像を入力するためのＤＶＤドライブ、メモリーカードリーダなどを備えさせることも可能である。画像の蓄積のためには、ハードディスクドライブを用いることが好ましい。
【００３５】
また、写真などの画像表示のために、テレビへのビデオ信号出力端子を装備することとしてもよい。
【００３６】
図３は、演算処理装置２００の機能構成を示すブロック図である。
演算処理装置２００は、対応点探索部３０１と３次元位置算出部３０２とを含み、カメラ１００Ｌが撮影した画像である基準画像Ｉ１と、カメラ１００Ｒが撮影した画像である参照画像Ｉ２とを入力する。
【００３７】
対応点探索部３０１は、基準画像Ｉ１の各画素に対応する参照画像Ｉ２上の画素の探索を行なう。
【００３８】
図４は、注目点のスキャンを説明するための図である。
基準画像Ｉ１上に注目点Ｐを設定し、参照画像Ｉ２上の注目点Ｐに対応する位置を見つけることで、注目点における両画像の位置ずれが検出される。
【００３９】
図５は、基準画像のウィンドウ設定処理を示す図である。
図を参照して、基準画像Ｉ１において注目点Ｐを中心とする所定サイズのウィンドウＷ１を設定する。
【００４０】
図６は、参照画像のウィンドウ設定処理を示す図である。
参照画像Ｉ２上でウィンドウＷ２（サイズ、形状はウィンドウＷ１と同じ）を走査し、最も基準画像Ｉ１上のウィンドウＷ１内の画像に近いパターンを参照画像上の対応箇所とする。近さの判定は、それぞれのウィンドウ間の相関演算や、ＳＡＤ（Sum of Absolute Differences）演算などで実行することができる。これにより、基準画像Ｉ１上の注目点Ｐに対応する点を設定することができる。
【００４１】
なお図６においては、縦方向にもウィンドウを動かすようにしているが、２台のカメラを水平に設置するのであれば、基準画像と参照画像とでの画像ズレは横方向にしか生じないため、横方向のみにウィンドウを動かすようにしてもよい。
【００４２】
さらに参照画像のウィンドウは、広範囲に動かすことで基準画像との対応関係を調べてもよいが、探索の「初期値」を予め決めておき、その初期値から所定範囲内だけ参照画像のウィンドウを動かすことで、基準画像と参照画像との対応を調べるようにしてもよい。すなわち、解像度の低い画像を用いて基準画像と参照画像との対応関係を求め、その結果を用いて解像度の高い画像での初期値を設定するなどである。
【００４３】
図７は、基準画素と参照画素との対応付けを示す図である。
左に示される基準画像中の一点を基準画素と呼び、その基準画素に対応する参照画像の画素（同じ被写体の部分を撮影している画素）を、図の右に示すように参照画素と呼ぶ。基準画素の位置から参照画素の位置に向けられるベクトルを、「視差ベクトル」と呼ぶ。
【００４４】
基準画素の座標を（ｂｘ，ｂｙ）とし、参照画素の座標を（ｒｘ、ｒｙ）とすると、両者の対応関係を表わすデータ（対応データ）は、視差ベクトル（ｖｘ，ｖｙ）＝（ｒｘ，ｒｙ）−（ｂｘ，ｂｙ）を用いて、（ｂｘ，ｂｙ，ｖｘ，ｖｙ）として保持する。
【００４５】
図８は、対応点探索部３０１の実行する別の手法としての位相限定相関法について説明する図である。
【００４６】
対応点探索部３０１は、基準画像Ｉ１をスキャンするためのウィンドウの位置を設定し、ウィンドウで示される部分に対して２次元離散フーリエ変換（２Ｄ  ＤＦＴ）を行なうフーリエ変換部２０１と、参照画像Ｉ２をスキャンするためのウィンドウの位置を設定し、ウィンドウで示される部分に対して２次元離散フーリエ変換（２Ｄ  ＤＦＴ）を行なうフーリエ変換部２０３と、２つのフーリエ変換後の画像に対して規格化を行なう２つの規格化部２０５，２０７と、規格化後のデータを合成する合成部２０９と、合成後のデータに対して逆フーリエ変換を行なう逆フーリエ変換部２１１とを備える。逆フーリエ変換により、２つの画像のずれを示すＰＯＣ値が求められる。位置のずれに基づき、被写体Ｏ表面の３次元座標が求められる。
【００４７】
位相限定相関（ＰＯＣ）関数は、画像間（基準ウィンドウと参照ウィンドウとの間）の移動量の座標に急峻な相関ピークを持つ関数であり、画像マッチングにおけるロバスト性と移動量推定精度が高いというという特徴がある。したがって、ＰＯＣのピークを推定することにより画像の位置ズレ量が演算される。ＰＯＣは離散的に求まるため、ピーク位置をサブピクセルで推定することにより、高分解な対応点座標を求めることができる。補間を行なう場合には、放物線などの関数をフィッティングするなどが考えられる。
【００４８】
ウィンドウのサイズをＮ１×Ｎ２ピクセルとし、基準画像および参照画像のウィンドウ内の画像をｆ（ｎ１，ｎ２）およびｇ（ｎ１，ｎ２）とする。
【００４９】
そのＤＦＴ処理後の画像をＦ（ｋ１，ｋ２）、Ｇ（ｋ１，ｋ２）とし、規格化後の画像をＦ’（ｋ１，ｋ２）、Ｇ’（ｋ１，ｋ２）とする。合成後のデータをＲ（ｋ１，ｋ２）、逆フーリエ変換後の画像をｒ（ｋ１，ｋ２）とすると、図８の構成により実行される処理は、以下のように表現される。
【００５０】
【数１】
2008090608.tif 000003
【００５１】
なお、逆フーリエ変換部２１１での逆フーリエ変換の実行前に、合成部２０９で得られた合成データに対して、ローパスフィルタのカット周波数を適用するようにしても構わない。ローパスカットフィルタの一例は次のとおりで、Ｕ１やＵ２がパラメータとなる。
【００５２】
【数２】
2008090608.tif 000004
【００５３】
図３における３次元位置算出部３０２は、対応点探索部３０１で求められた基準画像Ｉ１と参照画像Ｉ２の対応関係から、三角測量の原理に基づいて、画像上の各点の３次元位置を算出する。
【００５４】
図９および図１０は、対応点探索部３０１が実行する処理を示す図である。
このうち、図９は注目点のスキャンにより基準画素と参照画素の対応データを作成する処理を示し、図１０は作成された対応データの評価を行ない、必要であれば補間データを作成して再計算を行なう処理を示している。
【００５５】
図９のステップＳ１０１において、基準画像と参照画像とからなるステレオ画像が入力される。ステップＳ１０２において、基準画像中での注目点のスキャン対象となる画素が存在しているかを判定する。ＹＥＳであれば、ステップＳ１０３で上述の処理により、注目点における基準画素と参照画素との対応点の探索を行ない、対応データを生成する。前述の通り、対応データとは基準画像と参照画像との画素間の対応付けを表すデータである。対応データと併せて各対応データの信頼度も記録される。
【００５６】
対応データの「信頼度」は、ＰＯＣ値のピークの高さを示すものとする。ピークが高ければ信頼度は高い。
【００５７】
ステップＳ１０４でスキャン対象の位置である注目点を移動させ、ステップＳ１０２へ戻る。
【００５８】
これにより、注目点のスキャンに基づく対応データ群を得ることができる。
なお図９では、画像全体を処理してもよいし、画像中の予め設定した領域のみを処理してもよいし、画像全体内を、あるサンプリング間隔で処理してもよい。状況によって処理する点を変更してもよい。
【００５９】
図１０においては、図９でスキャンされた各対応点に対する再スキャンが行なわれる。ステップＳ１０５において、スキャン対象が残っているかどうかを判定し、ＹＥＳであればステップＳ１０６へ進み、ＮＯであれば処理を終了する。
【００６０】
ステップＳ１０６においては、スキャン対象となっている対応点の対応データの信頼度を判定する。信頼度が高い場合（所定のしきい値以上である場合）は、ステップＳ１１１へ進み、信頼度が低い場合はステップＳ１０７へ進む。
【００６１】
ステップＳ１０７においては、対応点の周辺の画素に対する対応データを用いて補間することで、対応点に対する補間データを生成する。ステップＳ１０８においては、生成された補間データの評価を行なう。
【００６２】
ステップＳ１０９においては、対応点における対応データの再計算処理を行なう。
ステップＳ１１０でスキャン位置を更新し、ステップＳ１０５へ戻る。
【００６３】
なお、ステップＳ１０６で信頼度が高いと判定されると、当該対応点の対応データについてはステップＳ１０３で出力されたデータを最終出力として決定し（Ｓ１１１）、ステップＳ１１０へ進む。
【００６４】
図１１から図１３は、補間データの作成処理の具体例を示す図である。
図１１では、信頼度が低かった対応データ（点線の丸で示す）の周囲の画素の対応データ（黒丸で示す）の信頼度が高い状況を示している。なお、図においては、横軸が画素の位置を示し、縦軸が対応データの値（すなわち基準画素と参照画素との差である視差）を示している。
【００６５】
補間データ（ハッチングの丸で示す）は、周囲の画素の対応データからの補間により作成される（図１０のステップＳ１０７）。このとき、補間データが評価される（図１０のステップＳ１０８）。
【００６６】
評価においては、補間データの示す値と、元の信頼度の低い対応データとの差の絶対値が用いられる。図１１においては、差がかなり大きいため、補間データを作成することは意義があり、補間データが正しいデータに近い可能性が高い（元の信頼度の低い対応データは、ノイズなどである可能性が高い）。
【００６７】
従って、この場合は図１０のステップＳ１０９においては、図９のステップＳ１０３で行なった探索とは同じパラメータを用いてＰＯＣの再計算を行なう。また、補間データは正しいデータに近い可能性が高いため、補間データを初期値として再計算を行なう。
【００６８】
図１２では、信頼度が低かった対応データ（点線の丸で示す）の周囲の画素の対応データ（黒丸で示す）の信頼度が高い状況を示している。
【００６９】
補間データ（ハッチングの丸で示す）は、周囲の画素の対応データからの補間により作成される（図１０のステップＳ１０７）。このとき、補間データが評価される（図１０のステップＳ１０８）。
【００７０】
評価においては、補間データの示す値と、元の信頼度の低い対応データとの差の絶対値が用いられる。図１２においては、差が小さいため、補間データを作成することは重要性が低い。
【００７１】
従って、この場合は図１０のステップＳ１０９においては、図９のステップＳ１０３で行なった探索でのパラメータを変更して、ＰＯＣの再計算を行なう。またこのとき、補間データ（または元の対応データ）を初期値として再計算を行なう。
【００７２】
補間データが補間前の対応データと近い場合は、その近い補間データを用いて再計算したとしても、再度低い信頼度を持つ対応データが出力される可能性が高いので、パラメータを変更して再計算するものである。パラメータを変更して再計算を行なうことで、ＰＯＣの良好なピークを得ることができる可能性がある。
【００７３】
図１３では、信頼度が低かった対応データの周囲の画素の対応データの信頼度が低い状況を示している。
【００７４】
この場合は、周辺に信頼度が高いデータがないので、補間データを生成することができない。すなわち、パラメータを変更して、再計算するしかない。また、初期値に関しても設定することができないので、初期値を用いずに初めから再計算を行なう。
【００７５】
図１４は、図１０の補間処理（Ｓ１０７）の内容を示すフローチャートである。
図を参照してステップＳ２０１で、信頼度が低かった対応データの周囲の画素の対応データ（周辺データ）のスキャンが行なわれ、処理していない周辺データがあるかを判定する。周辺データがあれば、ステップＳ２０２でその信頼度の評価を行なう。信頼度が所定のしきい値以上である場合は、ステップＳ２０３で信頼できる周辺データの個数を１インクリメントする。
【００７６】
ステップＳ２０３での処理の後、またはステップＳ２０２で信頼度が低い場合は、ステップＳ２０１へ戻る。
【００７７】
なお、ステップＳ２０１でのスキャンは、対応データを重心位置として、３×３画素や５×５画素の領域などが対象となる。
【００７８】
ステップＳ２０１でスキャンすべき周辺データが無くなれば、ステップＳ２０４において、ステップＳ２０３でカウントされた個数が、所定のしきい値よりも大きいかを判定する。ＮＯであれば、補間するために必要なデータが少ないため、補間データの信頼性が確保できないので、ステップＳ２０５で補間データを生成せずに終了する。
【００７９】
一方ステップＳ２０４でＹＥＳであれば、補間するために必要なデータが十分に揃っているので、ステップＳ２０６で補間データの生成を行なう。
【００８０】
補間においては、各データの平均、中央値（メジアン）などの統計量を用いるか、または、信頼度が高い各データの位置関係（分布状況）を考慮して補間を行なう（線形補間などによる内挿、外挿など）。
【００８１】
また、信頼度が所定のしきい値以上のデータだけを用いて補間を行なってもよい。
図１４のステップＳ２０６は、図１１および図１２の状況に対応し、ステップＳ２０５は図１３の状況に対応する。
【００８２】
図１５は、図１０の補間データの評価処理（Ｓ１０８）の内容を示すフローチャートである。
【００８３】
ステップＳ３０１において、生成された補間データが存在するかどうかをチェックする。補間データがない場合（図１３の場合）はステップＳ３０４へ進み、補間データがある場合（図１１および図１２の場合）はステップＳ３０２へ進む。
【００８４】
ステップＳ３０２においては、補間データと対応データの差（またはその絶対値）を算出する。
【００８５】
ステップＳ３０３において、算出した差が大きい場合（所定のしきい値以上である場合）はステップＳ３０５へ進み、小さい場合はステップＳ３０６へ進む。
【００８６】
ステップＳ３０５においては、対応点探索のパラメータを変更せずに、補間データを初期値として再計算（Ｓ１０９）を行なう（図１１の状態）。
【００８７】
ステップＳ３０６においては、対応点探索のパラメータを変更するとともに、補間データを初期値として再計算（Ｓ１０９）を行なう（図１２の状態）。
【００８８】
ステップＳ３０４においては、対応点探索のパラメータを変更して再計算（Ｓ１０９）を行なう（図１３の状態）。
【００８９】
図１６および図１７は、補間データの生成方法について説明するための図である。
図１６に示されるように、ハッチングで示される画素ｃの補間を行なうために、ａ、ｂ、ｄ、ｅの画素のデータを参照することができる。この場合、ａ、ｂ、ｄ、ｅの画素のデータのうち、信頼性の高いもののみを用いるようにしてもよい。
【００９０】
また図１７のグラフに示されるように、信頼度が高いデータ（画素ａ，ｂのデータ）の分布に偏りがある場合、画素ｃに関しては画素ａ，ｂの平均を補間データとするのではなく、外挿によるデータを補間データとしてもよい。
【００９１】
本実施の形態では、パラメータとしてはウィンドウサイズやローパスフィルタのカット周波数のパラメータを例に挙げているが、それに限定されずに、対応点探索精度に関連するパラメータを含んでいる。
【００９２】
［実施の形態における効果］
上記実施の形態によると、２つの画像間の対応点探索方法において、信頼度が低い点に対する処理の高精度化を実現することができる。より詳しくは、信頼度が低い対応点データの周辺データの評価を行なって、補間データを生成するか否かを決定する。これによって、高品質な補間データの生成が可能である。
【００９３】
さらに、信頼度が低い周辺データしかない場合は、補間データを生成せずに、パラメータを変更して対応点探索を行なう。これにより高精度な対応付けが可能である。
【００９４】
また、周辺の対応データから生成した補間データに対する評価が行なわれる。評価した結果に基づいて、対応点探索のパラメータを変更して再計算が実行されるので、高精度な対応付けが可能である。
【００９５】
［その他］
上述の実施の形態における処理は、ソフトウエアによって行なっても、ハードウエア回路を用いて行なってもよい。
【００９６】
また、上述の実施の形態における処理を実行するプログラムを提供することもできるし、そのプログラムをＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、メモリカードなどの記録媒体に記録してユーザに提供することにしてもよい。また、プログラムはインターネットなどの通信回線を介して、装置にダウンロードするようにしてもよい。
【００９７】
なお、上記実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【００９８】
【図１】本発明の実施の形態の１つにおける３次元計測装置の構成を示す図である。
【図２】図１の演算処理装置２００のハードウェア構成を示すブロック図である。
【図３】演算処理装置２００の機能構成を示すブロック図である。
【図４】注目点のスキャンを説明するための図である。
【図５】基準画像のウィンドウ設定処理を示す図である。
【図６】参照画像のウィンドウ設定処理を示す図である。
【図７】基準画素と参照画素との対応付けを示す図である。
【図８】対応点探索部３０１の実行する別の手法としての位相限定相関法について説明する図である。
【図９】演算処理装置２００が実行する処理を示す図である。
【図１０】図９に続くフローチャートである。
【図１１】補間データの作成処理の具体例を示す図である。
【図１２】補間データの作成処理の具体例を示す図である。
【図１３】補間データの作成処理の具体例を示す図である。
【図１４】図１０の補間処理（Ｓ１０７）の内容を示すフローチャートである。
【図１５】図１０の補間データの評価処理（Ｓ１０８）の内容を示すフローチャートである。
【図１６】補間データの生成方法について説明するための図である。
【図１７】補間データの生成方法について説明するための図である。
【図１８】画像間の対応点から三角測量の原理に基づいて３次元位置を算出する方法を模式的に示した図である。
【符号の説明】
【００９９】
１００Ｒ，１００Ｌ  カメラ、２００  演算処理装置、２０１，２０３  フーリエ変換部、２０５，２０７  規格化部、２０９  合成部、２１１  逆フーリエ変換部、３００  表示装置。
【図１】
2008090608.tif 000005
【図２】
2008090608.tif 000006
【図３】
2008090608.tif 000007
【図４】
2008090608.tif 000008
【図５】
2008090608.tif 000009
【図６】
2008090608.tif 000010
【図７】
2008090608.tif 000011
【図８】
2008090608.tif 000012
【図９】
2008090608.tif 000013
【図１０】
2008090608.tif 000014
【図１１】
2008090608.tif 000015
【図１２】
2008090608.tif 000016
【図１３】
2008090608.tif 000017
【図１４】
2008090608.tif 000018
【図１５】
2008090608.tif 000019
【図１６】
2008090608.tif 000020
【図１７】
2008090608.tif 000021
【図１８】
2008090608.tif 000022