(57)【要約】  装置は、左右に設けられた２台のカメラが撮影した画像である基準画像（Ｉ１）と参照画像（Ｉ２）とを入力する。ウィンドウ設定部（２０１）は、基準画像（Ｉ１）内の注目点付近の画像のエッジ量に基づいて、ウィンドウのサイズを決定する。位置ズレ演算部（２１３）は、基準画像のウィンドウ内の画像と参照画像のウィンドウ内の画像とのずれを演算する。３次元座標演算部（２１５）は、画像のずれに基づき被写体表面の３次元座標を演算する。
2008041518.tif 000002
【特許請求の範囲】
【請求項１】
基準画像と参照画像とを入力する画像入力手段と、
前記基準画像上にウィンドウを設定する第１のウィンドウ設定手段と、
前記参照画像上にウィンドウを設定する第２のウィンドウ設定手段と、
前記第１のウィンドウ設定手段で設定されたウィンドウ内の画像、および前記第２のウィンドウ設定手段で設定されたウィンドウ内の画像に基づいて、両画像の対応関係を演算する演算手段と、
前記第１のウィンドウ設定手段および前記第２のウィンドウ設定手段の一方で設定されたウィンドウ内の画像の少なくとも一部の画像特徴量を抽出する抽出手段と、
前記抽出された画像特徴量に基づいて、前記ウィンドウのサイズおよび形状の少なくとも１つを変更する変更手段とを備えた、画像処理装置。
【請求項２】
前記画像特徴量は、画像のエッジ量を含む、請求の範囲第１項に記載の画像処理装置。
【請求項３】
前記演算手段は、２つのウィンドウ内の画像の相関値に基づいて、前記基準画像の一点に対応する前記参照画像の一点を求める、請求の範囲第１項に記載の画像処理装置。
【請求項４】
前記演算手段の演算結果に基づいて、前記基準画像と前記参照画像とに含まれる対象物の３次元座標を演算する３次元座標演算部をさらに備えた、請求の範囲第１項に記載の画像処理装置。
【請求項５】
前記抽出手段は、前記ウィンドウ内のエッジ分布を抽出し、
前記変更手段は、前記エッジ分布から前記ウィンドウのサイズおよび形状の少なくとも１つを決定する、請求の範囲第１項に記載の画像処理装置。
【請求項６】
前記抽出手段は、前記ウィンドウの中心部のエッジ量を計測し、
前記変更手段は、前記ウィンドウの中心部のエッジ量が所定量以上であれば、前記ウィンドウのサイズを小さくする、請求の範囲第１項に記載の画像処理装置。
【請求項７】
前記抽出手段は、前記ウィンドウの中心部のエッジ量と周辺部のエッジ量とを計測し、
前記変更手段は、前記ウィンドウの中心部のエッジ量と周辺部のエッジ量とでエッジ量に差があれば、前記ウィンドウのサイズを小さくする、請求の範囲第１項に記載の画像処理装置。
【請求項８】
基準画像と参照画像とを入力する画像入力ステップと、
前記基準画像上にウィンドウを設定する第１のウィンドウ設定ステップと、
前記参照画像上にウィンドウを設定する第２のウィンドウ設定ステップと、
前記第１のウィンドウ設定ステップで設定されたウィンドウ内の画像、および前記第２のウィンドウ設定ステップで設定されたウィンドウ内の画像に基づいて、両画像の対応関係を演算する演算ステップと、
前記第１のウィンドウ設定ステップおよび前記第２のウィンドウ設定ステップの一方で設定されたウィンドウ内の画像の少なくとも一部の画像特徴量を抽出する抽出ステップと、
前記抽出された画像特徴量に基づいて、前記ウィンドウのサイズおよび形状の少なくとも１つを変更する変更ステップとを備えた、画像処理装置の制御方法。
【請求項９】
基準画像と参照画像とを入力する画像入力ステップと、
前記基準画像上にウィンドウを設定する第１のウィンドウ設定ステップと、
前記参照画像上にウィンドウを設定する第２のウィンドウ設定ステップと、
前記第１のウィンドウ設定ステップで設定されたウィンドウ内の画像、および前記第２のウィンドウ設定ステップで設定されたウィンドウ内の画像に基づいて、両画像の対応関係を演算する演算ステップと、
前記第１のウィンドウ設定ステップおよび前記第２のウィンドウ設定ステップの一方で設定されたウィンドウ内の画像の少なくとも一部の画像特徴量を抽出する抽出ステップと、
前記抽出された画像特徴量に基づいて、前記ウィンドウのサイズおよび形状の少なくとも１つを変更する変更ステップとをコンピュータに実行させる、画像処理装置の制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラムに関し、特に基準画像と参照画像との対応関係を演算することができる画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラムに関する。
【背景技術】
【０００２】
顔認証や、美容・整形分野において、顔の３次元形状計測のニーズが高い。これらの分野においては、目に強い光を当てるのは好ましくないことや、顔は計測中に動いてしまうことなどから、レーザー光などでスキャンするアクティブ方法よりも、ステレオ方式などのパッシブ方式が適している。【０００３】
位相限定相関（ＰＯＣ：Phase-Only  Correlation）を用いたステレオ対応点探索アルゴリズム（ステレオ画像である基準画像と参照画像とからなる画像における同一点を対応付けるアルゴリズム）は、そのロバスト性・高精度が注目されている。【０００４】
下記特許文献１は、ステレオカメラに位相限定相関法を応用した貫通穴計測システムを開示している。【０００５】
下記非特許文献１は、ＰＯＣ演算時におけるウィンドウサイズとノイズの影響について開示している。
【特許文献１】特開２００６−０１０３９２号公報
【非特許文献１】「位相限定相関法に基づくサブピクセル画像マッチングの高性能化」、計測自動制御学会東北支部、第２１８回研究集会（２００４．１０．９）、資料番号２１８−１５
【発明の開示】
【発明が解決しようとする課題】
【０００６】
たとえば顔の３次元計測では、頬などの表面を滑らかに再現しつつ、目、鼻、口の周辺など、形状特徴のある部分はその形状を再現したいというニーズがあり、ステレオ３次元計測においてそのニーズを満たすための工夫が必要である。【０００７】
本発明はそのような課題を解決するためになされたものであり、基準画像と参照画像との対応関係の演算を良好に行なうことができる画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラムを提供することを目的としている。
【課題を解決するための手段】
【０００８】
上記目的を達成するためこの発明のある局面に従うと、画像処理装置は、基準画像と参照画像とを入力する画像入力手段と、基準画像上にウィンドウを設定する第１のウィンドウ設定手段と、参照画像上にウィンドウを設定する第２のウィンドウ設定手段と、第１のウィンドウ設定手段で設定されたウィンドウ内の画像、および第２のウィンドウ設定手段で設定されたウィンドウ内の画像に基づいて、両画像の対応関係を演算する演算手段と、第１のウィンドウ設定手段および前記第２のウィンドウ設定手段の一方で設定されたウィンドウ内の画像の少なくとも一部の画像特徴量を抽出する抽出手段と、抽出された画像特徴量に基づいて、ウィンドウのサイズおよび形状の少なくとも１つを変更する変更手段とを備える。【０００９】
好ましくは、画像特徴量は画像のエッジ量を含む。
好ましくは、演算手段は、２つのウィンドウ内の画像の相関値に基づいて、基準画像の一点に対応する参照画像の一点を求める。【００１０】
好ましくは、画像処理装置は、演算手段の演算結果に基づいて、基準画像と参照画像とに含まれる対象物の３次元座標を演算する３次元座標演算部をさらに備える。【００１１】
好ましくは、抽出手段は、ウィンドウ内のエッジ分布を抽出し、変更手段は、エッジ分布からウィンドウのサイズおよび形状の少なくとも１つを決定する。【００１２】
好ましくは、抽出手段は、ウィンドウの中心部のエッジ量を計測し、変更手段は、ウィンドウの中心部のエッジ量が所定量以上であれば、ウィンドウのサイズを小さくする。【００１３】
好ましくは、抽出手段は、ウィンドウの中心部のエッジ量と周辺部のエッジ量とを計測し、変更手段は、ウィンドウの中心部のエッジ量と周辺部のエッジ量とでエッジ量に差があれば、ウィンドウのサイズを小さくする。【００１４】
この発明の他の局面に従うと画像処理装置の制御方法は、基準画像と参照画像とを入力する画像入力ステップと、基準画像上にウィンドウを設定する第１のウィンドウ設定ステップと、参照画像上にウィンドウを設定する第２のウィンドウ設定ステップと、第１のウィンドウ設定ステップで設定されたウィンドウ内の画像、および第２のウィンドウ設定ステップで設定されたウィンドウ内の画像に基づいて、両画像の対応関係を演算する演算ステップと、第１のウィンドウ設定ステップおよび前記第２のウィンドウ設定ステップの一方で設定されたウィンドウ内の画像の少なくとも一部の画像特徴量を抽出する抽出ステップと、抽出された画像特徴量に基づいて、ウィンドウのサイズおよび形状の少なくとも１つを変更する変更ステップとを備える。【００１５】
この発明のさらに他の局面に従うと画像処理装置の制御プログラムは、基準画像と参照画像とを入力する画像入力ステップと、基準画像上にウィンドウを設定する第１のウィンドウ設定ステップと、参照画像上にウィンドウを設定する第２のウィンドウ設定ステップと、第１のウィンドウ設定ステップで設定されたウィンドウ内の画像、および第２のウィンドウ設定ステップで設定されたウィンドウ内の画像に基づいて、両画像の対応関係を演算する演算ステップと、第１のウィンドウ設定ステップおよび前記第２のウィンドウ設定ステップの一方で設定されたウィンドウ内の画像の少なくとも一部の画像特徴量を抽出する抽出ステップと、抽出された画像特徴量に基づいて、ウィンドウのサイズおよび形状の少なくとも１つを変更する変更ステップとをコンピュータに実行させる。
【発明の効果】
【００１６】
これらの発明に従うと、基準画像と参照画像との対応関係の演算を良好に行なうことができる画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラムを提供することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施の一形態に従う３次元計測装置の構成を示す図である。
【図２】図１の演算処理装置２００のハードウェア構成を示すブロック図である。
【図３】演算処理装置２００の機能構成を示すブロック図である。
【図４】注目点のスキャンを説明するための図である。
【図５】注目点のスキャン処理を示すフローチャートである。
【図６】基準画像のウィンドウ設定処理を示す図である。
【図７】参照画像のウィンドウ設定処理を示す図である。
【図８】位相比較部２１１の実行する第１の処理を示す図である。
【図９】位相比較部２１１の実行する第２の処理を示す図である。
【図１０】位相限定相関（ＰＯＣ）関数の具体例を示す図である。
【図１１】３次元座標演算部２１５が実行する処理を示す図である。
【図１２】ウィンドウ設定部２０１の構成を示す図である。
【図１３】ウィンドウサイズの決定処理を説明するための図である。
【図１４】基準画像の具体例とウィンドウサイズの設定例を示す図である。
【図１５】ウィンドウの設定の第１変形例を示す図であり、図１３に対応する図である。
【図１６】本発明のステレオ３次元計測を利用した車載カメラへの適用を説明するための図である。
【符号の説明】
【００１８】
１００Ｒ，１００Ｌ  カメラ、２００  演算処理装置、２０１  ウィンドウ設定部、２０３  基準画像ウィンドウ設定部、２０５  参照画像ウィンドウ設定部、２０７，２０９  ＤＦＴ部、２１１  位相比較部、２１３  位置ズレ演算部、２１５  ３次元座標演算部、３００  表示装置。
【発明を実施するための最良の形態】
【００１９】
図１を参照して、本発明の実施の一形態に従う３次元計測装置は、左右に並べられた２台のカメラ１００Ｒ，１００Ｌと、カメラに接続される演算処理装置２００と、表示装置３００とから構成される。【００２０】
カメラ１００Ｒ，１００Ｌは、被写体Ｏ（ここでは人物の顔を例示している）の２次元画像を撮影する。カメラ１００Ｒとカメラ１００Ｌとは、所定距離左右に離されて設置される。これにより、ステレオ画像を得ることが可能である。【００２１】
演算処理装置２００は、２台のカメラで撮影された画像から、被写体の３次元形状を演算する。表示装置３００は、計測された被写体の３次元形状を表示する。なお、表示を行なわずに、得られた３次元形状データ（Ｘ、Ｙ、Ｚ座標などからなるデータ）を記憶媒体に記憶するようにしてもよい。【００２２】
図２を参照して、演算処理装置２００は、装置全体の制御を行なうＣＰＵ６０１と、ネットワークに接続したり外部と通信を行なうためのＬＡＮ（ローカルエリアネットワーク）カード６０７（またはモデムカード）と、キーボードやマウスなどにより構成される入力装置６０９と、フレキシブルディスクドライブ６１１と、ＣＤ−ＲＯＭドライブ６１３と、ハードディスクドライブ６１５と、ＲＡＭ６１７と、ＲＯＭ６１９とを備えている。【００２３】
演算処理装置２００は、映像入力部６５１を介してカメラの画像を受信する。
また演算処理装置２００は、表示装置（ディスプレイ）３００に接続されている。【００２４】
フレキシブルディスクドライブ６１１により、フレキシブルディスクＦに記録されたプログラムや画像などのデータを読取ることが可能であり、ＣＤ−ＲＯＭドライブ６１３により、ＣＤ−ＲＯＭ６１３ａに記録されたプログラムや画像などのデータを読取ることが可能である。【００２５】
なお、演算処理装置２００にステレオ写真などの画像を入力するためのＤＶＤドライブ、メモリーカードリーダなどを備えさせることも可能である。画像の蓄積のためには、ハードディスクドライブを用いることが好ましい。【００２６】
また、写真などの画像表示のために、テレビへのビデオ信号出力端子を装備することとしてもよい。【００２７】
図３を参照して演算処理装置２００は、カメラ１００Ｌが撮影した画像である基準画像Ｉ１と、カメラ１００Ｒが撮影した画像である参照画像Ｉ２とを受信する。【００２８】
演算処理装置２００は、基準画像Ｉ１の特徴に基づいて基準画像に対して用いるウィンドウのサイズ（または形状など）を設定するウィンドウ設定部２０１と、基準画像Ｉ１をスキャンするためのウィンドウの位置を設定する基準画像ウィンドウ設定部２０３と、参照画像Ｉ２をスキャンするためのウィンドウの位置を設定する参照画像ウィンドウ設定部２０５と、基準画像のウィンドウで示される部分に対して２次元離散フーリエ変換（２Ｄ  ＤＦＴ）を行なうＤＦＴ部２０７と、参照画像のウィンドウで示される部分に対して２次元離散フーリエ変換を行なうＤＦＴ部２０９と、ＤＦＴ処理後の２つの画像の位相の比較を行なう位相比較部２１１と、２つの画像のずれを演算する位置ズレ演算部２１３と、位置のずれに基づき被写体Ｏ表面の３次元座標を演算する３次元座標演算部２１５とを備える。【００２９】
なお基準画像のウィンドウ内の画像をｆ、そのＤＦＴ処理後の画像をＦ、参照画像のウィンドウ内の画像をｇ、そのＤＦＴ処理後の画像をＧ、位相比較部２１１の出力である合成位相スペクトルをＲ、位置ズレ演算部２１３の出力であるＰＯＣ関数をｒの記号でそれぞれ表わしている。【００３０】
次に、図４を参照して、注目点のスキャンについて説明する。
演算処理装置２００は、基準画像Ｉ１上に注目点Ｐを設定し、参照画像Ｉ２上の注目点Ｐに対応する位置を見つけることで、注目点における両画像の位置ずれを検出する。さらに、演算処理装置２００は、検出された位置ずれに基づいてその注目点における３次元座標を演算する。【００３１】
図５を参照して、注目点のスキャン処理について説明する。
演算処理装置２００は、スキャンが終了するまで（Ｓ１０１でＮＯ）、注目点を移動させつつ３次元座標の演算を行ない（Ｓ１０３）、スキャン終了（Ｓ１０１でＹＥＳ）とともに演算処理を中止する。これにより、注目点のスキャンに基づく３次元点群を得ることができる。【００３２】
図６を参照して、基準画像のウィンドウ設定処理について説明する。まず、演算処理装置２００は、基準画像Ｉ１において注目点Ｐを中心とするウィンドウＷ１を設定する。このとき、注目点Ｐの周辺の画像のエッジ情報に基づいてウィンドウＷ１のサイズ（または形状）を決定する。この決定処理については、後述する。【００３３】
図７を参照して、参照画像のウィンドウ設定処理について説明する。演算処理装置２００は、参照画像Ｉ２上でウィンドウＷ２（サイズ、形状はウィンドウＷ１と同じ）を走査し、最も基準画像Ｉ１上のウィンドウＷ１内の画像に近いパターンを参照画像上の対応箇所とする。近さの判定は、それぞれのウィンドウ間の相関演算や、ＳＡＤ（Sum  of  Absolute  Differences）演算などで実行することができる。これにより、基準画像Ｉ１上の注目点Ｐに対応する点を設定することができる。【００３４】
なお図７においては、縦方向にもウィンドウを動かすようにしているが、２台のカメラを水平に設置するのであれば、基準画像と参照画像とでの画像ズレは横方向にしか生じないため、横方向のみにウィンドウを動かすようにしてもよい。【００３５】
さらに参照画像のウィンドウは、広範囲に動かすことで基準画像との対応関係を調べてもよいが、探索の「初期値」を予め決めておき、その初期値から所定範囲内だけ参照画像のウィンドウを動かすことで、基準画像と参照画像との対応を調べるようにしてもよい。すなわち、解像度の低い画像を用いて基準画像と参照画像との対応関係を求め、その結果を用いて解像度の高い画像での初期値を設定するようにしてもよい。【００３６】
画像サイズＮ１×Ｎ２ピクセルの２つの画像を、ｆ(ｎ１，ｎ２）およびｇ（ｎ１，ｎ２）とする。定式化の便宜上、離散空間のインデックスをｎ１＝−Ｍ１，…，Ｍ１、ｎ２＝−Ｍ２，…，Ｍ２とし、画像サイズをＮ１＝２Ｍ１＋１ピクセル、Ｎ２＝２Ｍ２＋１ピクセルとする。これらの画像の２次元離散フーリエ変換（２Ｄ  ＤＦＴ）をそれぞれＦ（ｋ１，ｋ２）、Ｇ（ｋ１，ｋ２）として、次式で与える。【００３７】
【数１】
2008041518.tif 000003
【００３８】
図８を参照して、位相比較部２１１の実行する第１の処理について説明する。ＤＦＴ部２０７および２０９が、それぞれＦ（ｋ１，ｋ２）およびＧ（ｋ１，ｋ２）を算出し、位相比較部２１１がそれらの合成である、【００３９】
【数２】
2008041518.tif 000004
【００４０】
を算出する。２つのウィンドウ内の画像の位置ズレは（４）式の位相の傾きとして表現される。【００４１】
図９を参照して、位相比較部２１１の実行する第２の処理を説明する。
ここでは図８に示される演算結果から、【００４２】
【数３】
2008041518.tif 000005
【００４３】
を算出する処理が実行される。位置ズレ演算部２１３では、まず、周波数域で位相比較された位相差スペクトルを、逆フーリエ変換することで位相限定相関（ＰＯＣ）関数を演算する。【００４４】
【数４】
2008041518.tif 000006
【００４５】
図１０に示されるように、位相限定相関（ＰＯＣ）関数は、画像間（基準ウィンドウと参照ウィンドウとの間）の移動量の座標に急峻な相関ピークを持つ性質があり、画像マッチングにおけるロバスト性と移動量推定精度が高いというという特徴がある。したがって、位置ズレ演算部２１３は、ＰＯＣのピークを推定することにより画像の位置ズレ量を演算する。ＰＯＣは離散的に算出されるため、ピーク位置をサブピクセルで推定することにより、対応点座標を高い分解能で求めることができる。補間を行なう場合には、放物線などの関数をフィッティングする方法などを用いることができる。【００４６】
図１１を参照して、３次元座標演算部２１５が実行する処理について説明する。ここでは、基準画像を捉えるカメラを基準カメラ、参照画像を捉えるカメラを参照カメラと呼び、図１１では、その撮影面と撮影対象物と焦点位置との位置関係を示している。【００４７】
本実施の形態においては説明の簡素化の為に、ステレオカメラの収差は良好に補正されており、かつ２台のカメラは平行に設置されているものとする。実際のハードがこのような条件に無いとしても、画像処理により同等の画像に変換することが可能である。【００４８】
図１１において、基準カメラと参照カメラとのそれぞれで捉えた画像において、対応する点の位置の差がΔｄであった場合に、対象物までの距離Ｄは、下式で計算される。なおここで、カメラの基線長（２台のカメラの光軸間の距離）をＢ、カメラレンズの焦点距離をｆとする。【００４９】
【数５】
2008041518.tif 000007
【００５０】
このようにして、位置ズレ演算部２１３で求めた画像間のΔｄを用いて、注目点Ｐまでの距離をもとめ、３次元モデルを作成することができる。【００５１】
図１２を参照して、ウィンドウ設定部２０１の構成について説明する。ウィンドウ設定部２０１は、注目点を中心とした所定サイズのウィンドウを設定するデフォルトウィンドウ設定部４０１と、ウィンドウ内の画像からエッジ成分を抽出するエッジ抽出部４０３と、ウィンドウの中心部のエッジ量を演算する中心部エッジ量演算部４０５と、ウィンドウの周辺部のエッジ量を演算する周辺部エッジ量演算部４０７と、演算結果に基づいて基準画像に用いるウィンドウのサイズを決定するウィンドウサイズ決定部４０９とから構成される。【００５２】
ウィンドウ設定部２０１は、ウィンドウ内のエッジ領域を抽出し、エッジの分布に基づいてウィンドウサイズを変更する。より具体的には、ウィンドウ中央部にエッジ分布がある場合は、ウィンドウを小さくする。また、ウィンドウ中央部にエッジ分布がなく、周辺部にある場合も、ウィンドウを小さくする。なお、エッジ分布に応じてウィンドウ形状を設定するようにしてもよい。たとえばウィンドウの縦横比を変えるなどである。【００５３】
図１３を参照して、ウィンドウサイズの決定処理について説明する。
デフォルトウィンドウ設定部４０１は、注目点を中心としたデフォルトのウィンドウを設定する。これは、図１３中のサイズＡで示される最も広い領域をカバーするウィンドウである。【００５４】
エッジ抽出部４０３は、サイズＡのウィンドウ内の画像にラプラシアンフィルタをかけることで、エッジ画像を得る。【００５５】
中心部エッジ量演算部４０５は、サイズＡのウィンドウの中心部のエッジ量を演算する。図１３においては、サイズＣで示される中央部の最も小さいエリアＣ−１と、エリアＣ−１を含み、エリアＣ−１よりも広くサイズＡのエリアよりも狭いエリアＣ−２とのエッジ量が演算される。ここに、Ｃ−１およびＣ−２の各エリアのエッジ量を、Ｌ(Ｃ−１)およびＬ(Ｃ−２）と表記する。【００５６】
エッジ量の演算は、たとえば、対象エリア内のエッジ画像の画素値の平均により求めることができる。【００５７】
周辺部エッジ量演算部４０７は、サイズＡのウィンドウ内の外縁部（周辺部）であるエリアＳ−１〜Ｓ−８それぞれのエッジ量を演算する。ここに、Ｓ−１〜Ｓ−８それぞれのエリアのエッジ量を、Ｌ（Ｓ−１）〜Ｌ（Ｓ−８）と表記する。【００５８】
ウィンドウサイズ決定部４０９は、ウィンドウのサイズを以下のように決定する（ここに、ｔｈ１は所定のしきい値）。【００５９】
Ｉｆ  ［Ｌ（Ｃ−１）＞ｔｈ１］  ウィンドウサイズ：サイズＣ
ｅｌｓｅ  Ｉｆ  ［Ｌ（Ｃ−１）≒Ｌ（Ｓ−１）］＆［Ｌ（Ｃ−１）≒Ｌ（Ｓ−２）］＆…＆［Ｌ（Ｃ−１）≒Ｌ（Ｓ−８）］  ウィンドウサイズ：サイズＡ
ｅｌｓｅ
ｉｆ  ［Ｌ（Ｃ−１）＞Ｌ（Ｃ−２）］  ウィンドウサイズ：サイズＣ
ｅｌｓｅ  ウィンドウサイズ：サイズＢ
すなわち、
（１）  中心のエリアＣ−１にエッジが多ければ、その位置についての詳細な３次元座標を求めるために、最小のウィンドウを用いる。【００６０】
（２）  上記（１）でない場合に、中心のエリアＣ−１と周辺のエリアＳ１〜Ｓ８とでエッジ量の差があまりないときには、平坦な形状であるとして、最大のウィンドウで画像のマッチングを行なう。【００６１】
（３）  上記（２）でもない場合に、中サイズのエリアＣ−２のエッジ量よりも、最小サイズのエリアＣ−１のエッジ量が多いのであれば、最小のウィンドウを用いる。【００６２】
（４）  上記（３）でもない場合には、エリアＣ−２にエッジが多いことを示すため、サイズＢのウィンドウを用いる。【００６３】
図１４を参照して、基準画像の具体例とウィンドウサイズの設定例を説明する。ここでは、基準画像として人物の顔を撮影した例を示しており、その眼の近くでウィンドウを設定している状態を示している。眼がＥで示され、その下にある皺がＦで示されている。【００６４】
Ｗｃで示されるようにデフォルトウィンドウの中央部分に皺などのエッジ成分がしきい値以上あれば、サイズＣのウィンドウが選択される。また、Ｗａで示されるように、デフォルトウィンドウ内において、中央部と周辺部のエッジの差があまりない場合には、サイズＡのウィンドウが選択される。また、Ｗｂで示されるように、サイズＢのウィンドウの周縁部にエッジ成分があれば、サイズＢのウィンドウが選択される。【００６５】
このような処理により、顔の３Ｄ復元を例に取ると、頬においては、大きいウィンドウを用いて対応付けして、滑らかな面の形状を再現することができる。また、目の周辺においては、ウィンドウを小さくすることにより、高い分解能で形状計測が出来る。【００６６】
［第１変形例］
図１５は、ウィンドウの設定の第１変形例を示す図であり、図１３に対応する図である。図１５におけるサイズＡ、Ｂ、Ｃのウィンドウは、図１３おけるそれと同じである。また、エリアＣ−２，Ｃ−１がそれぞれサイズＢ、Ｃのウィンドウに相当することも同様であり、エリアＳ１〜Ｓ８が、サイズＡのウィンドウの周縁部を構成していることも同様である。【００６７】
図１５においては、縦方向に長い、エリアＳ−２，Ｃ−１，Ｓ−６からなるウィンドウをサイズＤ−１のウィンドウと定義する。また、横方向に長い、エリアＳ−８，Ｃ−１，Ｓ−４からなるウィンドウをサイズＤ−２のウィンドウと定義する。【００６８】
このように、ウィンドウは、必ずしも正方形に設定する必要はない。
ウィンドウ形状の決定方法として、各ウィンドウのエッジ量をＬ（＊）と表記すると、
Ｉｆ  ［Ｌ（Ｃ−１）＞ｔｈ１］  ウィンドウサイズ：サイズＣ
ｅｌｓｅ  Ｉｆ  ［Ｌ（Ｃ−１）≒Ｌ（Ｓ−１）］＆［Ｌ（Ｃ−１）≒Ｌ（Ｓ−２）］＆…＆［Ｌ（Ｃ−１）≒Ｌ（Ｓ−８））]  ウィンドウサイズ：サイズＡ
ｅｌｓｅ
ｉｆ  ［Ｌ（Ｃ−１）≒Ｌ（Ｓ−８）］＆［Ｌ（Ｃ−１）≒Ｌ（Ｓ−４）］  ウィンドウサイズ：サイズＤ−２
ｅｌｓｅ  ｉｆ  ［Ｌ（Ｃ−１）≒Ｌ（Ｓ−２）］＆［Ｌ（Ｃ−１）≒Ｌ（Ｓ−６）］  ウィンドウサイズ：サイズＤ−１
ｅｌｓｅ
ｉｆ  ［Ｌ（Ｃ−１）＞Ｌ（Ｃ−２）］  ウィンドウサイズ：サイズＣ
ｅｌｓｅ  ウィンドウサイズ：サイズＢ
すなわち、
（１）  中心のエリアＣ−１にエッジが多ければ、その位置についての詳細な３次元座標を求めるために、最小のウィンドウを用いる。【００６９】
（２）  上記（１）でない場合に、中心のエリアＣ−１と周辺のエリアＳ１〜Ｓ８とでエッジ量の差があまりないときには、平坦な形状であるとして、最大のウィンドウで画像のマッチングを行なう。【００７０】
（３）  上記（２）でもない場合に、注目点から見て横方向に似通ったエッジ成分が続くのであれば、横長のウィンドウを設定する。【００７１】
（４）  上記（３）でもない場合に、注目点から見て縦方向に似通ったエッジ成分が続くのであれば、縦長のウィンドウを設定する。【００７２】
（５）  上記（４）でもない場合に、中サイズのエリアＣ−２のエッジ量よりも、最小サイズのエリアＣ−１のエッジ量が多いのであれば、最小のウィンドウを用いる。【００７３】
（６）  上記（５）でもない場合には、エリアＣ−２にエッジが多いことを示すため、サイズＢのウィンドウを用いる。【００７４】
なお、エッジ情報に限らず、テクスチャ情報、輝度分布などの画像特徴量に基づいてウィンドウのサイズや形状を変えるようにしてもよい。【００７５】
上述の実施の形態においては、ウィンドウ設定部２０１が基準画像に設定したウィンドウから画像特徴量を抽出する構成について例示したが、画像特徴量を抽出するためのウィンドウは基準画像Ｉ１上および参照画像Ｉ２のいずれであってもよい。【００７６】
［第２変形例］
上述の実施の形態においては、ステレオ画像における対応点の探索手法として、位相限定相関（ＰＯＣ）を用いる構成について例示したが、この探索手法に限られることはない。代替的に、例えば、類似度ピーク探索手法などを用いてもよい。以下、この類似度ピーク探索手法を用いてステレオ対応付けを行なう場合の処理について説明する。【００７７】
再度、図６および図７を参照して、まず、位相限定相関（ＰＯＣ）を用いる場合と同様に、基準画像Ｉ１上に注目点Ｐを中心とするウィンドウＷ１を設定する（図６）とともに、参照画像Ｉ２上に基準画像Ｉ１上の注目点に対応するウィンドウＷ２を設定する（図７）。次に、参照画像Ｉ２上でウィンドウＷ２を走査し、両ウィンドウを互いに比較する。この比較の結果、基準画像Ｉ１上のウィンドウＷ１に最も近いパターン（パターン間距離が最も小さいもの）となるウィンドウＷ２を参照画像上における対応するウィンドウとする。【００７８】
ここで、基準画像Ｉ１上のウィンドウＷ１と参照画像Ｉ２上のウィンドウＷ２とのパターン間距離は、両ウィンドウ間の相関演算、ＳＳＤ演算、ＳＡＤ演算などに基づいて算出される。具体的には、以下のような演算式に従って、パターン間距離が算出される。【００７９】
【数６】
2008041518.tif 000008
【００８０】
上述のような演算式に従って算出されたパターン間距離は、類似度値へ変換される。この類似度値は、パターン間距離が小さいほど大きな値となるように決定される。一例として、類似度を０〜１の範囲で規格化した場合には、類似度値Ｓ（ｄ）は以下のような変換式によって算出される。【００８１】
【数７】
2008041518.tif 000009
【００８２】
この変換式によれば、パターン間距離が「０」の場合に、類似度は「１」をとる。
さらに、以上のような処理によって算出される類似度値に基づいて、ピーク周辺に対して、たとえばパラボラフィッティング法などを用いて、サブピクセル類似演算を行なってもよい。【００８３】
上述の実施の形態においては、本発明をステレオ３次元計測の顔認証に適用する場合について例示したが、たとえばステレオ３次元計測を利用した車載カメラにも適用することもできる。【００８４】
図１６を参照して、たとえば、前方車両領域などのコントラストが高い部分については、相対的に小さいウィンドウを用いることで、横方向分解能を上げて、距離測定を行なうことができる。また、道路面などのコントラストが低い部分については、相対的に大きなウィンドウを用いて、ロバストな距離測定を行なうことができる。【００８５】
［実施の形態における効果］
上記実施の形態によると、位相限定相関法（ＰＯＣ）などの探索手法を用いたステレオ対応付けにおいて、対応付けウィンドウ内のテクスチャ分布状態に応じて、相関計算を行なうウィンドウの大きさを適応的に変更することができる。ＰＯＣ処理において、ウィンドウの大きさは、空間分解能と耐ノイズ性に関連し、互いに相反する特性を持つ。空間分解能の必要な部分ではウィンドウサイズを小さく、不必要な部分ではウィンドウサイズを大きくしてノイズの影響を減らしたいというニーズがある。本実施の形態では、ウィンドウ内の画像特徴量（テクスチャ情報、輝度分布、エッジ情報など）の分布に基づいてウィンドウサイズを制御することで、そのような状況に対応することができる。【００８６】
［その他］
上述の実施の形態における処理は、ソフトウエアによって行なっても、ハードウェア回路を用いて行なってもよい。【００８７】
また、上述の実施の形態における処理を実行するプログラムを提供することもできるし、そのプログラムをＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、メモリカードなどの記録媒体に記録してユーザに提供することにしてもよい。また、プログラムはインターネットなどの通信回線を介して、装置にダウンロードするようにしてもよい。【００８８】
なお、上記実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図１】
2008041518.tif 000010
【図２】
2008041518.tif 000011
【図３】
2008041518.tif 000012
【図４】
2008041518.tif 000013
【図５】
2008041518.tif 000014
【図６】
2008041518.tif 000015
【図７】
2008041518.tif 000016
【図８】
2008041518.tif 000017
【図９】
2008041518.tif 000018
【図１０】
2008041518.tif 000019
【図１１】
2008041518.tif 000020
【図１２】
2008041518.tif 000021
【図１３】
2008041518.tif 000022
【図１４】
2008041518.tif 000023
【図１５】
2008041518.tif 000024
【図１６】
2008041518.tif 000025
【手続補正書】
【提出日】平成21年3月27日(2009.3.27)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
上記目的を達成するためこの発明のある局面に従うと、画像処理装置は、基準画像と参照画像とを受付ける画像入力手段と、基準画像および参照画像の一方の上に第１のウィンドウを設定する第１のウィンドウ設定手段と、基準画像および参照画像の他方の上に第２のウィンドウを設定する第２のウィンドウ設定手段と、第１のウィンドウ内の画像から、少なくとも１つの画像特徴量を抽出する抽出手段と、抽出された画像特徴量に基づいて、第１のウィンドウのサイズおよび形状の少なくとも１つを変更するとともに、第１のウィンドウに対する変更に応じて、第２のウィンドウのサイズまたは形状を変更する変更手段と、変更後の第１のウィンドウ内の画像と変更後の第２のウィンドウ内の画像との対応関係を演算する演算手段とを備える。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
好ましくは、画像特徴量は画像のエッジ量を含む。
好ましくは、演算手段は、第１のウィンドウ内の画像と第２のウィンドウ内の画像との相関値に基づいて、基準画像の一点に対応する参照画像の一点を求める。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
好ましくは、抽出手段は、第１のウィンドウ内のエッジ分布を抽出し、変更手段は、エッジ分布に基づいて第１のウィンドウのサイズおよび形状の少なくとも１つを決定する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
好ましくは、抽出手段は、第１のウィンドウの中心部のエッジ量を計測し、変更手段は、第１のウィンドウの中心部のエッジ量が所定量以上であれば、第１のウィンドウのサイズを小さくする。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
好ましくは、抽出手段は、第１のウィンドウについての中心部のエッジ量と周辺部のエッジ量とを計測し、変更手段は、第１のウィンドウについての中心部のエッジ量と周辺部のエッジ量との差が所定量以上であれば、第１のウィンドウのサイズを小さくする。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
この発明の他の局面に従うと画像処理装置の制御方法は、基準画像と参照画像とを受付けるステップと、基準画像および参照画像の一方の上に第１のウィンドウを設定するステップと、基準画像および参照画像の他方の上に第２のウィンドウを設定するステップと、第１のウィンドウ内の画像から、少なくとも１つの画像特徴量を抽出するステップと、抽出された画像特徴量に基づいて、第１のウィンドウのサイズおよび形状の少なくとも１つを変更するとともに、第１のウィンドウに対する変更に応じて、第２のウィンドウのサイズまたは形状を変更するステップと、変更後の第１のウィンドウ内の画像と変更後の第２のウィンドウ内の画像との対応関係を演算するステップとを備える。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
この発明のさらに他の局面に従うとプログラムは、コンピュータに、基準画像と参照画像とを受付けるステップと、基準画像および参照画像の一方の上に第１のウィンドウを設定するステップと、基準画像および参照画像の他方の上に第２のウィンドウを設定するステップと、第１のウィンドウ内の画像から、少なくとも１つの画像特徴量を抽出するステップと、抽出された画像特徴量に基づいて、第１のウィンドウのサイズおよび形状の少なくとも１つを変更するとともに、第１のウィンドウに対する変更に応じて、第２のウィンドウのサイズまたは形状を変更するステップと、変更後の第１のウィンドウ内の画像と変更後の第２のウィンドウ内の画像との対応関係を演算するステップとを実行させる。
この発明のさらに他の局面に従うと画像処理装置は、同一の被写体をそれぞれ撮像して基準画像および参照画像からなるステレオ画像を取得する一対の撮像手段と、基準画像上に第１のウィンドウを設定する第１のウィンドウ設定手段と、参照画像上に第２のウィンドウを設定する第２のウィンドウ設定手段と、演算手段とを備え、演算手段は、第１のウィンドウおよび第２のウィンドウのいずれか一方のウィンドウ内の画像から、少なくとも１つの画像特徴量を抽出する手段と、抽出された画像特徴量に基づいて、一方のウィンドウのサイズおよび形状の少なくとも１つを変更するとともに、一方のウィンドウに対する変更に応じて、他方のウィンドウのサイズまたは形状を変更する手段と、変更後の第１のウィンドウ内の画像と変更後の第２のウィンドウ内の画像との対応関係を演算する手段とを含む。
【手続補正８】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
基準画像と参照画像とを受付ける画像入力手段と、
前記基準画像および前記参照画像の一方の上に第１のウィンドウを設定する第１のウィンドウ設定手段と、
前記基準画像および前記参照画像の他方の上に第２のウィンドウを設定する第２のウィンドウ設定手段と、
前記第１のウィンドウ内の画像から、少なくとも１つの画像特徴量を抽出する抽出手段と、
前記抽出された画像特徴量に基づいて、前記第１のウィンドウのサイズおよび形状の少なくとも１つを変更するとともに、前記第１のウィンドウに対する変更に応じて、前記第２のウィンドウのサイズまたは形状を変更する変更手段と、
変更後の第１のウィンドウ内の画像と変更後の第２のウィンドウ内の画像との対応関係を演算する演算手段とを備える、画像処理装置。
【請求項２】
前記画像特徴量は、画像のエッジ量を含む、請求項１に記載の画像処理装置。
【請求項３】
前記演算手段は、前記第１のウィンドウ内の画像と前記第２のウィンドウ内の画像との相関値に基づいて、前記基準画像の一点に対応する前記参照画像の一点を求める、請求項１または２に記載の画像処理装置。
【請求項４】
前記演算手段の演算結果に基づいて、前記基準画像と前記参照画像とに含まれる対象物の３次元座標を演算する３次元座標演算部をさらに備える、請求項１〜３のいずれか１項に記載の画像処理装置。
【請求項５】
前記抽出手段は、前記第１のウィンドウ内のエッジ分布を抽出し、
前記変更手段は、前記エッジ分布に基づいて前記第１のウィンドウのサイズおよび形状の少なくとも１つを決定する、請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項６】
前記抽出手段は、前記第１のウィンドウの中心部のエッジ量を計測し、
前記変更手段は、前記第１のウィンドウの中心部のエッジ量が所定量以上であれば、前記第１のウィンドウのサイズを小さくする、請求項１〜５のいずれか１項に記載の画像処理装置。
【請求項７】
前記抽出手段は、前記第１のウィンドウについての中心部のエッジ量と周辺部のエッジ量とを計測し、
前記変更手段は、前記第１のウィンドウについての中心部のエッジ量と周辺部のエッジ量との差が所定量以上であれば、前記第１のウィンドウのサイズを小さくする、請求項１〜６のいずれか１項に記載の画像処理装置。
【請求項８】
基準画像と参照画像とを受付けるステップと、
前記基準画像および前記参照画像の一方の上に第１のウィンドウを設定するステップと、
前記基準画像および前記参照画像の他方の上に第２のウィンドウを設定するステップと、
前記第１のウィンドウ内の画像から、少なくとも１つの画像特徴量を抽出するステップと、
前記抽出された画像特徴量に基づいて、前記第１のウィンドウのサイズおよび形状の少なくとも１つを変更するとともに、前記第１のウィンドウに対する変更に応じて、前記第２のウィンドウのサイズまたは形状を変更するステップと、
変更後の第１のウィンドウ内の画像と変更後の第２のウィンドウ内の画像との対応関係を演算するステップとを備える、画像処理装置の制御方法。
【請求項９】
コンピュータに、
基準画像と参照画像とを受付けるステップと、
前記基準画像および前記参照画像の一方の上に第１のウィンドウを設定するステップと、
前記基準画像および前記参照画像の他方の上に第２のウィンドウを設定するステップと、
前記第１のウィンドウ内の画像から、少なくとも１つの画像特徴量を抽出するステップと、
前記抽出された画像特徴量に基づいて、前記第１のウィンドウのサイズおよび形状の少なくとも１つを変更するとともに、前記第１のウィンドウに対する変更に応じて、前記第２のウィンドウのサイズまたは形状を変更するステップと、
変更後の第１のウィンドウ内の画像と変更後の第２のウィンドウ内の画像との対応関係を演算するステップとを実行させる、プログラム。
【請求項１０】
同一の被写体をそれぞれ撮像して基準画像および参照画像からなるステレオ画像を取得する一対の撮像手段と、
前記基準画像上に第１のウィンドウを設定する第１のウィンドウ設定手段と、
前記参照画像上に第２のウィンドウを設定する第２のウィンドウ設定手段と、
演算手段とを備え、
前記演算手段は、
前記第１のウィンドウおよび前記第２のウィンドウのいずれか一方のウィンドウ内の画像から、少なくとも１つの画像特徴量を抽出する手段と、
前記抽出された画像特徴量に基づいて、前記一方のウィンドウのサイズおよび形状の少なくとも１つを変更するとともに、前記一方のウィンドウに対する変更に応じて、他方のウィンドウのサイズまたは形状を変更する手段と、
変更後の第１のウィンドウ内の画像と変更後の第２のウィンドウ内の画像との対応関係を演算する手段とを含む、画像処理装置。
【国際調査報告】
2008041518.tif 000026
2008041518.tif 000027