(57)【要約】【課題】多重解像度戦略を用いた対応点探索処理において信頼度が局所的に悪化した場合における総合信頼度を改善する。【解決手段】画像処理装置は、複数の階層にわって複数の解像度で階層的に表現された複数の基準画像と複数の参照画像とを取得する取得部と、注目点を複数の基準画像にそれぞれ設定する設定部と、注目基準画像の注目点に対応した注目参照画像の対応点を探索する対応点探索処理を各階層において逐次行なう探索部と、各階層における対応点探索処理の結果に関する各信頼度を決定する決定部と、各信頼度の全体的な状況を表現した基準値を、互いに隣接した各階層組みのそれぞれの間にわたる各信頼度についての各信頼度変化のうち一部の信頼度変化を他の信頼度変化よりも強調した補正値を用いて補正することにより、各信頼度を総合した総合信頼度を算出する演算部とを備える。【選択図】図２
2013020573.tif 000002
【特許請求の範囲】
【請求項１】
互いに対応する画像内容を含んだ第１画像と第２画像とについて、前記第１画像が複数の階層にわたって上位階層から下位階層に向かうにつれて解像度が低くなるように複数の解像度でそれぞれ表現された複数の基準画像と、前記第２画像が前記複数の階層にわたって前記複数の解像度でそれぞれ表現された複数の参照画像とを取得する取得部と、
前記複数の基準画像の相互間で互いに対応した注目点を前記複数の基準画像にそれぞれ設定する設定部と、
を備え、
前記複数の階層のうち予め設定された注目階層について、前記複数の基準画像のうち前記注目階層における基準画像によって注目基準画像を定義し、前記複数の参照画像のうち前記注目階層における参照画像によって注目参照画像を定義したとき、
前記注目階層について予め設定された空間的な基準に関する探索基準情報を用いて、前記注目基準画像における注目点に対応した前記注目参照画像における対応点を探索する対応点探索処理と、前記注目階層の上位階層を新たな注目階層として設定するとともに、探索された前記対応点に基づいて当該新たな注目階層における探索基準情報を設定する設定処理とを、前記注目階層を下位の階層から上位の階層に向けて逐次設定しながら行なう探索部と、
前記複数の階層のそれぞれにおける前記対応点探索処理の結果に関する各信頼度を決定する決定部と、
前記各信頼度の全体的な状況を表現した基準値を、前記複数の階層のうち互いに隣接した各階層組みのそれぞれの間にわたる前記各信頼度についての各信頼度変化のうち一部の信頼度変化を他の信頼度変化よりも強調した補正値を用いて補正することにより、前記各信頼度を総合した総合信頼度を算出する演算部と、
をさらに備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載された画像処理装置であって、
前記演算部が、
前記各信頼度変化の増減方向に応じて前記一部の信頼度変化を特定することを特徴とする画像処理装置。
【請求項３】
請求項２に記載された画像処理装置であって、
前記演算部が、
前記各信頼度変化のそれぞれの変化量に応じて前記一部の信頼度変化を特定することを特徴とする画像処理装置。
【請求項４】
請求項１から請求項３の何れか１つの請求項に記載された画像処理装置であって、
前記演算部が、
前記複数の階層のうち前記一部の信頼度変化に係る各階層についての前記複数の階層における階層順位に応じて、前記一部の信頼度変化の強調度を変更して前記補正値を算出することを特徴とする画像処理装置。
【請求項５】
請求項４に記載された画像処理装置であって、
前記演算部が、
前記階層順位が上位階層側であればあるほど前記強調度を強くすることを特徴とする画像処理装置。
【請求項６】
画像処理装置に搭載されたコンピューターにおいて実行されることにより、当該画像処理装置を請求項１から請求項５の何れか１つの請求項に記載された画像処理装置として機能させることを特徴とするプログラム。
【請求項７】
互いに対応する画像内容を含んだ第１画像と第２画像とについて、前記第１画像が複数の階層にわたって上位階層から下位階層に向かうにつれて解像度が低くなるように複数の解像度でそれぞれ表現された複数の基準画像と、前記第２画像が前記複数の階層にわたって前記複数の解像度でそれぞれ表現された複数の参照画像とを取得する取得工程と、
前記複数の基準画像の相互間で互いに対応した注目点を前記複数の基準画像にそれぞれ設定する設定工程と、
を有し、
前記複数の階層のうち予め設定された注目階層について、前記複数の基準画像のうち前記注目階層における基準画像によって注目基準画像を定義し、前記複数の参照画像のうち前記注目階層における参照画像によって注目参照画像を定義したとき、
前記注目階層について予め設定された空間的な基準に関する探索基準情報を用いて、前記注目基準画像における注目点に対応した前記注目参照画像における対応点を探索する対応点探索処理と、前記注目階層の上位階層を新たな注目階層として設定するとともに、探索された前記対応点に基づいて当該新たな注目階層における探索基準情報を設定する設定処理とを、前記注目階層を下位の階層から上位の階層に向けて逐次設定しながら行なう探索工程と、
前記複数の階層のそれぞれにおける前記対応点探索処理の結果に関する各信頼度を決定する決定工程と、
前記各信頼度の全体的な状況を表現した基準値を、前記複数の階層のうち互いに隣接した各階層組みのそれぞれの間にわたる前記各信頼度についての各信頼度変化のうち一部の信頼度変化を他の信頼度変化よりも強調した補正値を用いて補正することにより、前記各信頼度を総合した総合信頼度を算出する演算工程と、
をさらに有することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、基準画像に設定された注目点の対応点を参照画像から探索する画像処理技術に関する。
【背景技術】
【０００２】
近年、異なる視点から撮影された測定対象物に関する複数の画像や、同一視点から時系列に撮影された移動する測定対象物などに関する複数の時系列画像のうち、１の画像を基準画像、他の画像を参照画像として基準画像上の注目点に対応する参照画像上の対応点を探索し、得られた対応点と注目点とに基づいて、測定対象物の３次元形状を求めたり、測定対象物の移動を追跡する装置が知られている。
【０００３】
参照画像における対応点の存在範囲は予め特定され得ないため、参照画像の全域を対応点の探索範囲に設定した対応点の探索処理が行われるのが一般的である。しかしながら、近年、参照画像の全域を探索範囲に設定することなく高精度に対応点を探索する手法として、立体画像が複数の解像度でそれぞれ表現された多重解像度立体画像を用いた多重解像度戦略によって対応点を探索する手法が注目されている。
【０００４】
特許文献１では、多重解像度立体画像を用いた対応点探索において、注目する解像度の参照画像における対応点の探索結果を、解像度が１段階高い参照画像における次の対応点探索に用いる対応点探索装置が開示されている。該対応点探索装置は、各階層における対応点探索の信頼度を基に、最終的に探索された対応点についての最終的な信頼度を算出する。具体的には、該対応点探索装置は、例えば、各階層における信頼度の加算値から、隣接する階層間での信頼度の差分の絶対値の加算値を減算することなどにより、該最終的な信頼度を算出している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−２８２７６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
図１７および図１８は、多重解像度立体画像の各階層における対応点探索の結果に対する信頼度の分布例をそれぞれ示す図である。図１７の例では、各階層における各信頼度は、ほぼ一定している。図１８の例では、図１７に示された各信頼度が最終階層に至る途中の階層において、一旦、悪化した後、該階層より高解像度側の階層における探索処理によって回復している。多重解像度立体画像を用いた対応点探索においては、図１８に示されるように、途中の階層において一旦悪化した信頼度が、より高解像度側の階層において回復する現象がしばしば発生する。このような現象は、前階層において誤った位置に探索された対応点が、次回層において正しい位置に探索されることによって生じている。そして、このように信頼度が回復した場合には、最終的な信頼度として、信頼度の局所的な悪化が生じなかった図１７に示される例に対する信頼度とほぼ同等の信頼度が算出されることが望ましい。
【０００７】
しかしながら、特許文献１の対応点探索装置には、図１８に示される例に対する最終的な信頼度が、図１７に示される例に対する最終的な信頼度よりも低く算出されるため、最終的に探索された対応点が、正しく探索されていないと判定される場合があるといった問題がある。
【０００８】
本発明は、こうした問題を解決するためになされたもので、多重解像度戦略を用いた対応点探索において、一部の階層で信頼度が悪化した場合に算出される最終的な総合信頼度を改善できる技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記の課題を解決するため、第１の態様に係る画像処理装置は、互いに対応する画像内容を含んだ第１画像と第２画像とについて、前記第１画像が複数の階層にわたって上位階層から下位階層に向かうにつれて解像度が低くなるように複数の解像度でそれぞれ表現された複数の基準画像と、前記第２画像が前記複数の階層にわたって前記複数の解像度でそれぞれ表現された複数の参照画像とを取得する取得部と、前記複数の基準画像の相互間で互いに対応した注目点を前記複数の基準画像にそれぞれ設定する設定部と、を備え、前記複数の階層のうち予め設定された注目階層について、前記複数の基準画像のうち前記注目階層における基準画像によって注目基準画像を定義し、前記複数の参照画像のうち前記注目階層における参照画像によって注目参照画像を定義したとき、前記注目階層について予め設定された空間的な基準に関する探索基準情報を用いて、前記注目基準画像における注目点に対応した前記注目参照画像における対応点を探索する対応点探索処理と、前記注目階層の上位階層を新たな注目階層として設定するとともに、探索された前記対応点に基づいて当該新たな注目階層における探索基準情報を設定する設定処理とを、前記注目階層を下位の階層から上位の階層に向けて逐次設定しながら行なう探索部と、前記複数の階層のそれぞれにおける前記対応点探索処理の結果に関する各信頼度を決定する決定部と、前記各信頼度の全体的な状況を表現した基準値を、前記複数の階層のうち互いに隣接した各階層組みのそれぞれの間にわたる前記各信頼度についての各信頼度変化のうち一部の信頼度変化を他の信頼度変化よりも強調した補正値を用いて補正することにより、前記各信頼度を総合した総合信頼度を算出する演算部とをさらに備えることを特徴とする。
【００１０】
第２の態様に係る画像処理装置は、第１の態様に係る画像処理装置であって、前記演算部が、前記各信頼度変化の増減方向に応じて前記一部の信頼度変化を特定することを特徴とする。
【００１１】
第３の態様に係る画像処理装置は、第２の態様に係る画像処理装置であって、前記演算部が、前記各信頼度変化のそれぞれの変化量に応じて前記一部の信頼度変化を特定することを特徴とする。
【００１２】
第４の態様に係る画像処理装置は、第１から第３の何れか１つの態様に係る画像処理装置であって、前記演算部が、前記複数の階層のうち前記一部の信頼度変化に係る各階層についての前記複数の階層における階層順位に応じて、前記一部の信頼度変化の強調度を変更して前記補正値を算出することを特徴とする。
【００１３】
第５の態様に係る画像処理装置は、第４の態様に係る画像処理装置であって、前記演算部が、前記階層順位が上位階層側であればあるほど前記強調度を強くすることを特徴とする。
【００１４】
第６の態様に係るプログラムは、画像処理装置に搭載されたコンピューターにおいて実行されることにより、当該画像処理装置を請求項１から請求項５の何れか１つの請求項に記載された画像処理装置として機能させることを特徴とする。
【００１５】
第７の態様に係る画像処理方法は、互いに対応する画像内容を含んだ第１画像と第２画像とについて、前記第１画像が複数の階層にわたって上位階層から下位階層に向かうにつれて解像度が低くなるように複数の解像度でそれぞれ表現された複数の基準画像と、前記第２画像が前記複数の階層にわたって前記複数の解像度でそれぞれ表現された複数の参照画像とを取得する取得工程と、前記複数の基準画像の相互間で互いに対応した注目点を前記複数の基準画像にそれぞれ設定する設定工程とを有し、前記複数の階層のうち予め設定された注目階層について、前記複数の基準画像のうち前記注目階層における基準画像によって注目基準画像を定義し、前記複数の参照画像のうち前記注目階層における参照画像によって注目参照画像を定義したとき、前記注目階層について予め設定された空間的な基準に関する探索基準情報を用いて、前記注目基準画像における注目点に対応した前記注目参照画像における対応点を探索する対応点探索処理と、前記注目階層の上位階層を新たな注目階層として設定するとともに、探索された前記対応点に基づいて当該新たな注目階層における探索基準情報を設定する設定処理とを、前記注目階層を下位の階層から上位の階層に向けて逐次設定しながら行なう探索工程と、前記複数の階層のそれぞれにおける前記対応点探索処理の結果に関する各信頼度を決定する決定工程と、前記各信頼度の全体的な状況を表現した基準値を、前記複数の階層のうち互いに隣接した各階層組みのそれぞれの間にわたる前記各信頼度についての各信頼度変化のうち一部の信頼度変化を他の信頼度変化よりも強調した補正値を用いて補正することにより、前記各信頼度を総合した総合信頼度を算出する演算工程とをさらに有することを特徴とする。
【発明の効果】
【００１６】
第１から第７の何れの態様にかかる発明によっても、各信頼度の全体的な状況を表現した基準値を、複数の階層のうち互いに隣接した各階層組みのそれぞれの間にわたる各信頼度についての各信頼度変化のうち一部の信頼度変化を他の信頼度変化よりも強調した補正値を用いて補正することにより、総合信頼度が算出される。従って、一部の階層において信頼度が悪化した場合に算出される総合信頼度が改善され得る。
【図面の簡単な説明】
【００１７】
【図１】実施形態に係る画像処理装置を用いた画像処理システムの構成例を示す機能ブロック図である。
【図２】実施形態に係る画像処理装置の要部の構成例を示す機能ブロック図である。
【図３】複数の基準画像の一例を説明するための図である。
【図４】複数の基準画像の一例を説明するための図である。
【図５】複数の基準画像の一例を説明するための図である。
【図６】複数の参照画像の一例を説明するための図である。
【図７】複数の参照画像の一例を説明するための図である。
【図８】複数の参照画像の一例を説明するための図である。
【図９】複数の基準画像における注目点の設定例を示す図である。
【図１０】複数の参照画像における探索基準点の設定例を示す図である。
【図１１】対応点探索処理の概要を説明する図である。
【図１２】基準ウィンドウと参照ウィンドウとの設定例を示す図である。
【図１３】基準ウィンドウと参照ウィンドウとの設定例を示す図である。
【図１４】ＳＡＤ法を用いた視差特定処理の説明図である。
【図１５】ＰＯＣ法を用いた視差特定処理の手順を示す図である。
【図１６】ＰＯＣ値の例を示す図である。
【図１７】多重解像度立体画像の各階層における対応点探索の信頼度の分布例を示す図である。
【図１８】多重解像度立体画像の各階層における対応点探索の信頼度の分布例を示す図である。
【図１９】多重解像度立体画像の各階層間における信頼度変化の分布例を示す図である。
【図２０】多重解像度立体画像の各階層における対応点探索の信頼度の分布例を示す図である。
【図２１】実施形態に係る画像処理装置の動作フローを例示する図である。
【図２２】実施形態に係る画像処理装置の動作フローを例示する図である。
【図２３】実施形態に係る画像処理装置の動作フローを例示する図である。
【図２４】実施形態に係る画像処理装置の動作フローを例示する図である。
【図２５】実施形態に係る画像処理装置の動作フローを例示する図である。
【発明を実施するための形態】
【００１８】
以下、本発明の一実施形態を図面に基づいて説明する。図面では同様な構成および機能を有する部分に同じ符号が付され、下記説明では重複説明が省略される。また、各図面は模式的に示されたものであり、例えば、各図面における画像上の表示物のサイズおよび位置関係等は正確に図示されたものではない。また、画像データと、該画像データに基づいて表示される画像とをまとめて「画像」と適宜総称する。更に、各図面では、画像の左上の画素が原点とされ、該画像の長辺に沿った方向（ここでは、横方向）がＸ軸方向とされ、該画像の短辺に沿った方向（ここでは縦方向）がＹ軸方向とされる。そして、各画像の右方向が＋Ｘ方向とされ、各画像の下方向が＋Ｙ方向とされる。なお、図３、図５、図６、図８、および図１１〜図１４には、直交するＸＹの２軸が付されている。また、図４および図７には、直交するＸＹＺの３軸が付されている。
【００１９】
＜実施形態について：＞
＜（１）画像処理システム１００Ａについて＞
図１は、実施形態に係る画像処理装置２００Ａを用いた画像処理システム１００Ａの構成例を示す機能ブロック図である。図１に示されるように、画像処理システム１００Ａは、ステレオカメラ３００と画像処理装置２００Ａとを主に備えて構成されている。画像処理システム１００Ａでは、被写体７０をステレオカメラ３００が撮影することにより取得した第１画像１および第２画像２を画像処理装置２００Ａが取得する。画像処理装置２００Ａは、第１画像１および第２画像２を処理することによって、第１画像１および第２画像２によって構成される立体画像が、複数の解像度でそれぞれ表現された多重解像度立体画像２３（図２）を取得する。画像処理装置２００Ａは、多重解像度立体画像２３の各階層において立体画像を構成する基準画像と参照画像との間で互いに対応する点の対（注目点と対応点）を探索し、各階層における探索処理の結果を総合的に表現した総合信頼度ＲＡ１を算出する。なお、探索される注目点と対応点とは、被写体７０上の同じ点にそれぞれ対応した点であり、総合信頼度ＲＡ１によって、対応点が正しく探索されたか否かが判定される。
【００２０】
＜（１−１）ステレオカメラ３００について＞
図１に示されるように、ステレオカメラ３００は、第１カメラ９１と第２カメラ９２とを主に備えて構成されている。第１カメラ９１および第２カメラ９２は、それぞれ、不図示の撮影光学系と、所定の画素数の撮像素子を有する制御処理回路とを主に備えて構成されている。ステレオカメラ３００の各種動作は、画像処理装置２００Ａから入出力部４１およびデータ線ＤＬを介して供給される制御信号に基づいて制御される。
【００２１】
第１カメラ９１と第２カメラ９２とは、所定の基線長を隔てて設けられており、ステレオカメラ３００は、画像処理装置２００Ａからの制御信号に応じて、互いに異なる方向から同一の被写体７０をそれぞれ撮影する。ステレオカメラ３００は、撮影した被写体７０からの光線情報を第１カメラ９１と第２カメラ９２とで同期して処理することによって、例えば、３４５６画素×２５９２画素の画素数を有し、被写体の立体画像を構成する第１画像１および第２画像２を生成する。第１画像１および第２画像２は、互いに異なる視点から被写体７０がそれぞれ撮影された画像であり、互いに対応する画像内容を含んでいる。生成された第１画像１および第２画像２は、データ線ＤＬを介して画像処理装置２００Ａの入出力部４１へと供給される。
【００２２】
＜（１−２）画像処理装置２００Ａについて＞
図１に示されるように、画像処理装置２００Ａは、ＣＰＵ１１Ａ、入出力部４１、操作部４２、表示部４３、ＲＯＭ４４、ＲＡＭ４５および記憶装置４６を主に備えて構成されており、例えば、汎用のコンピューターでプログラムを実行することなどによって実現される。
【００２３】
＜（１−２−１）入出力部４１について＞
入出力部４１は、例えばＵＳＢインタフェース、またはＢｌｕｅｔｏｏｔｈ（登録商標）インタフェースなどの入出力インタフェース、マルチメディアドライブ、およびネットワークアダプタなどのＬＡＮやインターネットに接続するためのインタフェースなどを備えて構成され、ＣＰＵ１１Ａとの間でデータの授受を行うものである。具体的には、入出力部４１は、例えば、ＣＰＵ１１Ａがステレオカメラ３００を制御するための各種の制御信号を、通信回線ＤＬなどを介して入出力部４１に接続されたステレオカメラ３００へと供給する。また、入出力部４１は、ステレオカメラ３００が撮影した第１画像１および第２画像２を画像処理装置２００Ａに供給する。また、入出力部４１は、例えば、予め生成された複数の基準画像ＭＢ（図２、図４）および複数の参照画像ＭＲ（図２、図７）が記憶された光ディスクなどの記憶媒体を受け付けることなどによって、複数の基準画像ＭＢおよび複数の参照画像ＭＲを画像処理装置２００Ａにそれぞれ供給することもできる。
【００２４】
＜（１−２−２）操作部４２について＞
操作部４２は、例えば、キーボードあるいはマウスなどによって構成されており、操作者が操作部４２を操作することによって、画像処理装置２００Ａへの各種制御パラメータの設定、画像処理装置２００Ａの各種動作モードの設定などが行われる。また、画像処理装置２００Ａの各機能部は、操作部４２から設定される各動作モードに応じた処理を行うことができるように構成されている。
【００２５】
＜（１−２−３）表示部４３について＞
表示部４３は、例えば、パララックスバリア方式などの３次元表示方式に対応した３次元表示用の液晶表示画面などによって構成されており、被写体の立体画像を構成する第１画像１および第２画像２などが、該表示画面に表示される。また、表示部４３は、画像処理装置２００Ａに関する各種設定情報、および制御用ＧＵＩ（Graphical User Interface）などを、二次元の画像や文字情報として観察者に視認され得るように表示することもできる。
【００２６】
＜（１−２−４）ＲＯＭ４４について＞
ＲＯＭ（Read Only Memory）４４は、読出し専用メモリであり、ＣＰＵ１１Ａを動作させるプログラムＰＧ１などを格納している。なお、読み書き自在の不揮発性メモリ（例えば、フラッシュメモリ）が、ＲＯＭ４４に代えて使用されてもよい。
【００２７】
＜（１−２−５）ＲＡＭ４５について＞
ＲＡＭ（Random Access Memory）４５は、読み書き自在の揮発性メモリであり、画像処理装置２００Ａが取得、または処理した各種画像などを一時的に記憶する画像格納部として機能する。また、ＲＡＭ４５は、ＣＰＵ１１Ａの処理情報を一時的に記憶するワークメモリなどとしても機能する。なお、後述するＣＰＵ１１Ａにおける各機能部の間での画像（画像データ）などの授受は、ＲＡＭ４５を介して行なわれる。
【００２８】
＜（１−２−６）記憶装置４６について＞
記憶装置４６は、例えば、フラッシュメモリなどの読み書き自在な不揮発性メモリやハードディスク装置等によって構成されており、画像処理装置２００Ａの各種制御パラメータや各種動作モードなどの情報を恒久的に記録する。該各種制御パラメータとしては、例えば、階層数Ｔ、解像度変倍率ＲＲ、ウィンドウサイズＷＸ、ＷＹ、第１規則情報５７、および第２規則情報５８（図２）などが、操作部４２を介した入力などによって記憶されている。また、記憶装置４６には、画像処理装置２００Ａが取得した総合信頼度ＲＡ１なども恒久的に記憶される。
【００２９】
＜（１−２−７）ＣＰＵ１１Ａについて＞
ＣＰＵ（Central Processing Unit）１１Ａは、画像処理装置２００Ａの各機能部を統轄制御する制御処理装置であり、ＲＯＭ４４に格納されたプログラムＰＧ１などに従った制御および処理を実行する。ＣＰＵ１１Ａは、第１画像１および第２画像２をそれぞれ処理することによって、第１画像１および第２画像２によって構成される立体画像が、複数の解像度でそれぞれ表現された多重解像度立体画像２３（図２）を取得する。
【００３０】
多重解像度立体画像２３は、複数の階層にわたって階層化された立体画像であり、複数の基準画像ＭＢ（図２、図４）と、複数の参照画像ＭＲ（図２、図７）とによって構成されている。そして、ＣＰＵ１１Ａは、多重解像度立体画像２３の各階層において、基準画像における注目点に対応した参照画像における対応点を探索する処理を行ない、各階層における探索処理の結果に関する総合信頼度ＲＡ１（図２）を算出する。
【００３１】
総合信頼度ＲＡ１は、多重解像度立体画像２３の各階層のうち最上位の最も解像度が高い階層において探索された対応点についての総合的な信頼度でもある。ＣＰＵ１１Ａは、総合信頼度ＲＡ１に基づいて、該最上位階層において探索された対応点が正しく探索されたか否かを判定する。また、ＣＰＵ１１Ａは、ステレオカメラ３００の撮像動作の制御を行うとともに、表示部４３を制御して、各種画像、算出結果、および各種制御情報などを表示部４３に表示させる。
【００３２】
なお、ＣＰＵ１１Ａ、入出力部４１、操作部４２、表示部４３、ＲＯＭ４４、ＲＡＭ４５、記憶装置４６等のそれぞれは、信号線４９を介して電気的に接続されている。したがって、ＣＰＵ１１Ａは、例えば、入出力部４１を介したステレオカメラ３００の制御およびステレオカメラ３００からの画像情報の取得、および表示部４３への表示等を所定のタイミングで実行できる。
【００３３】
＜（２）画像処理装置２００Ａの要部の構成について＞
図２は、実施形態に係る画像処理装置２００Ａの要部の構成例を示す機能ブロック図である。図２に示されるように、画像処理装置２００Ａの要部は、ＣＰＵ１１Ａ、入出力部４１、記憶装置４６などによって構成される。また、ＣＰＵ１１Ａは、取得部１２、設定部１３、探索決定部１４、および演算部１７としても動作する。さらに、探索決定部１４は探索部１５および決定部１６として動作する。
【００３４】
以下に、画像処理装置２００Ａの取得部１２、設定部１３、第１設定部１４、第１演算部１５、抽出部１６、第２設定部１７、第２演算部１８、および決定部１９について説明する。なお、図２に示される構成例では、取得部１２、設定部１３、探索決定部１４（探索部１５、決定部１６）、および演算部１７などの各部は、ＣＰＵ１１Ａで所定のプログラムＰＧ１を実行することによって実現されているが、これらの各部はそれぞれ、例えば、専用のハードウェア回路などによって実現されてもよい。
【００３５】
＜（２−１）取得部１２について＞
取得部１２（図２）は、第１画像１に、例えば、多段階の低解像度化処理を施すことによって、第１画像１が複数の階層にわたって上位階層から下位階層に向かうにつれて解像度が低くなるように複数の解像度でそれぞれ表現された複数の基準画像ＭＢ（図２、図４）を取得する。また、取得部１２は、第２画像２に対して第１画像１と同様の多段階の低解像度化処理を施すことによって、第２画像２が該複数の階層にわたって該複数の解像度でそれぞれ表現された複数の参照画像ＭＲ（図２、図７）を取得する。
【００３６】
取得された複数の基準画像ＭＢと複数の参照画像ＭＲとは、それぞれ、複数の階層にわたって階層化された多重解像度画像であり、複数の階層にわたって階層化された複数の立体画像（「多重解像度立体画像」とも称される）２３（図２）を構成する。取得部１２は、取得した多重解像度立体画像２３、すなわち複数の基準画像ＭＢと複数の参照画像ＭＲとを設定部１３（図２）および探索決定部１４（図２）に供給する。
【００３７】
なお、多重解像度立体画像２３における複数の階層のうちＣＰＵ１１Ａの各部などが処理対象とする階層は、「注目階層」とも称される。そして、複数の基準画像ＭＢのうち注目階層における基準画像は、「注目基準画像」とも称され、複数の参照画像ＭＲのうち注目階層における参照画像は、「注目参照画像」とも称される。
【００３８】
＜（２−２）設定部１３について＞
設定部１３は、画像上の特徴点を抽出する各種の画像処理、または所定の設定規則を用いた設定処理などを複数の基準画像ＭＢに対して施すことによって、複数の基準画像ＭＢの相互間で互いに対応した注目点を、複数の基準画像ＭＢのそれぞれに設定する。設定部１３は、設定した各注目点の座標を各注目点情報３１（図２）として取得し、取得した各注目点情報３１を、探索決定部１４に供給する。
【００３９】
＜（２−３）探索決定部１４について＞
既述したように、探索決定部１４（図２）は、探索部１５（図２）および決定部１６（図２）として動作する。
【００４０】
＜（２−３−１）探索部１５について＞
探索部１５は、多重解像度立体画像２３における複数の階層の各階層における基準画像と参照画像との相互間で互いに対応する対応点の対、すなわち基準画像上の注目点に対応する参照画像上の対応点を探索する。具体的には、多重解像度立体画像２３における複数の階層のうち注目階層について予め設定された空間的な基準に関する探索基準情報を用いて、注目基準画像における注目点に対応した注目参照画像における対応点を探索する対応点探索処理を行なう。そして、探索部１５は、注目階層の上位階層を新たな注目階層として設定するとともに、探索された対応点に基づいて当該新たな注目階層における探索基準情報を設定する設定処理を行なう。探索部１５は、注目階層を下位の階層から上位の階層に向けて逐次設定しながら該対応点探索処理と、該設定処理とを行なうことによって、多重解像度立体画像２３における複数の階層のそれぞれにおいて、基準画像上の注目点に対応する参照画像上の対応点を求める。
【００４１】
＜（２−３−２）決定部１６について＞
決定部１６（図２）は、多重解像度立体画像２３についての複数の階層のそれぞれにおいて、探索部１５が行なう対応点探索処理の結果、すなわち探索された各対応点に関する各信頼度３３（図２）をそれぞれ決定する。決定された各信頼度３３は、演算部１７に供給される。
【００４２】
＜（２−４）演算部１７について＞
演算部１７（図２）は、各信頼度３３の変動態様に依存しない算出規則である第１規則を規定した第１規則情報５７（図１、図２）を記憶装置４６から取得し、取得した第１規則を各信頼度３３に対して適用することによって、各信頼度３３の全体的な状況を表現した基準値を取得する。そして、演算部１７は、多重解像度立体画像２３の複数の階層のうち互いに隣接した各階層組みのそれぞれの間にわたる各信頼度３３についての各信頼度変化を求め、求めた各信頼度変化のうち一部の信頼度変化を他の信頼度変化よりも強調した補正値を取得する。なお、該補正値は、記憶装置４６に格納された第２規則情報５８（図１、図２）により規定される算出規則である第２規則を用いて算出される。
【００４３】
基準値と補正値とが取得されると、演算部１７は、基準値を補正値を用いて補正することにより、各信頼度３３を総合した総合信頼度ＲＡ１（図２）を算出する。算出された総合信頼度ＲＡ１は、多重解像度立体画像２３における複数の階層のうち最上位の階層、すなわち最も解像度が高い階層の参照画像において探索された対応点についての総合的な信頼度を表現する。演算部１７は、算出した総合信頼度ＲＡ１を記憶装置４６に記憶するとともに、ＣＰＵ１１Ａは、総合信頼度ＲＡ１に基づいて、最上位階層において探索された対応点が正しく探索されたか否かを判定する。
【００４４】
＜（３）画像処理装置２００Ａの動作について＞
図２１〜図２５は、画像処理装置２００Ａの動作フローの一例をそれぞれ示す図である。以下に、図２１〜図２５の動作フローを適宜参照しつつ、画像処理装置２００Ａの各部の動作について詳しく説明する。なお、図２１に示される動作フローＳ１００は、後述する設定部１３が、複数の基準画像ＭＢの最上位の基準画像ＢＩＴにおいて１つの注目点を設定した場合についての動作フローの一例である。
【００４５】
＜（３−１）取得部１２の動作について＞
画像処理装置２００Ａからの制御信号に応答してステレオカメラ３００が被写体７０の撮影を行なって被写体７０の立体画像を構成する第１画像１（図１）と第２画像２（図１）とを取得すると、図２１に示される動作フローＳ１００が開始され、取得部１２は、入出力部４１を介して、第１画像１と第２画像２とを取得する（図２１のステップＳ１１０）。
【００４６】
第１画像１と第２画像２とが取得されると、取得部１２は、第１画像１を複数の解像度でそれぞれ表現した複数の基準画像ＭＢ（図２、図４）と、第２画像２を該複数の解像度でそれぞれ表現した複数の参照画像ＭＲ（図２、図７）とを取得する（図２１のステップＳ１２０）。具体的には、取得部１２は、第１画像１に多段階の低解像度化処理を施すことによって、第１画像１が複数の階層にわたって上位階層から下位階層に向かうにつれて解像度が低くなるように複数の解像度でそれぞれ表現された複数の基準画像ＭＢを取得する。同様に、取得部１２は、第２画像２に対して多段階の低解像度化処理を施すことによって、第２画像２が該複数の階層にわたって該複数の解像度でそれぞれ表現された複数の参照画像ＭＲを生成して取得する。なお、取得部１２は、予め生成されて、例えば、光ディスクなどの記憶媒体に記憶された複数の基準画像ＭＢおよび複数の参照画像ＭＲを、入出力部４１を介して取得することもできる。
【００４７】
図３〜図５は、複数の基準画像ＭＢの一例を説明するための図であり、図６〜図８は、複数の参照画像ＭＲの一例を説明するための図である。複数の基準画像ＭＢと複数の参照画像ＭＲに関して、図３および図６は、それぞれの最上位の基準画像ＢＩＴ、参照画像ＲＩＴを、図４および図７は、それぞれ複数の基準画像ＭＢ、複数の参照画像ＭＲの全体を、図５および図８は、それぞれ最下位の基準画像ＢＩ１、参照画像ＲＩ１を示している。
【００４８】
図３〜図８に示されるように、複数の基準画像ＭＢは、互いに解像度が異なる複数の基準画像であり、複数の参照画像ＭＲは、互いに解像度が異なる複数の参照画像である。複数の基準画像ＭＢと複数の参照画像ＭＲとは、それぞれ、上位階層から下位階層に向かうにつれて解像度が低くなるように階層的に形成されている。
【００４９】
複数の基準画像ＭＢと複数の参照画像ＭＲにおいて、最上位の基準画像ＢＩＴと参照画像ＲＩＴ画像は最も解像度が高い画像であり、最下位の基準画像ＢＩ１と参照画像ＲＩ１画像は、最も解像度が低い画像である。また、複数の基準画像ＭＢと複数の参照画像ＭＲの階層数Ｔは等しく、同一階層の基準画像と参照画像の解像度は同じである。
【００５０】
最上位の基準画像ＢＩＴと参照画像ＲＩＴ画像との解像度が、第１画像１と第２画像２との解像度と同じであるとしても、異なるとしても、本発明の有用性を損なうものではない。
【００５１】
なお、多重解像度立体画像２３において、解像度が高い側の画像は、「上位」（または、「上位階層」）の画像とも称され、解像度が低い側の画像は、「下位」（または、「下位階層」）の画像とも称される。基準画像ＢＩｍおよび参照画像ＲＩｍは、最下層からｍ番目の上位階層に注目階層が設定された場合の基準画像および参照画像である。
【００５２】
取得部１２は、例えば、記憶装置４６から取得した多重解像度画像作成に関係する制御パラメータである解像度変倍率ＲＲ、階層数を用いて、多重解像度立体画像２３を生成し取得する。解像度変倍率ＲＲは、取得部１２が、処理対象である注目階層の画像を低解像度化して１つ下位階層の画像を作成する際の低解像度化の比率である。解像度変倍率ＲＲは、多重解像度画像の隣合う２つの階層の画像のうち、上位階層の画像の水平方向の画素数に対する下位階層の画像の水平方向の画素数の比率として与えられ、また、該上位階層の画像の垂直方向の画素数に対する該下位階層の画像の垂直方向の画素数の比率としても与えられる。通常、これら２種類の比率は同じ値に設定される。なお、解像度変倍率ＲＲは、階層間で同じ値である必要は無く、異なっていても良い。
【００５３】
取得部１２は、例えば、解像度変倍率ＲＲおよび階層数Ｔに従って、多重解像度画像の階層数が階層数Ｔになるまで、第１画像１および第２画像２に対する解像度変倍率ＲＲによる低解像度化処理を繰り返すことなどによって多重解像度立体画像２３を生成して取得する。
【００５４】
該低解像度化処理においては、取得部１２は、基準画像ＢＩＴ、参照画像ＲＩＴの水平方向、垂直方向の画素数に解像度変倍率ＲＲを乗じて、１つ下位階層の基準画像ＢＩ（Ｔ−１）、参照画像ＲＩ（Ｔ−１）の水平方向、垂直方向の画素数を求め、基準画像ＢＩ（Ｔ−１）、参照画像ＲＩ（Ｔ−１）の記憶領域を記憶装置４６に確保する。
【００５５】
記憶領域の確保が終了すると、取得部１２は、基準画像ＢＩ（Ｔ−１）の１つの画素の画素値を、該画素に対応する基準画像ＢＩＴの各画素の画素値を平均することなどによって求め、該画素に対応する記憶領域に記憶する画素値の設定処理を行う。取得部１２は、該画素値の設定処理を基準画像ＢＩ（Ｔ−１）、参照画像ＲＩ（Ｔ−１）の全ての画素について行うことによって、基準画像ＢＩ（Ｔ−１）、参照画像ＲＩ（Ｔ−１）の画像を作成する。このように、多重解像度立体画像２３の各階層間にわたる画素の対応関係は、多重解像度画像作成に関係する制御パラメータなどによって定められる。なお、階層間にわたる画素の対応関係は、例えば、記憶装置４６に記憶され、必要に応じて画像処理装置２００Ａの各部によって使用される。
【００５６】
取得部１２は、上述した低解像度化処理を、多重解像度立体画像２３の階層数が階層数Ｔになるまで繰り返すことによって多重解像度立体画像２３（複数の基準画像ＭＢおよび複数の参照画像ＭＲ）を生成して取得する。また、取得部１２は、最下層の画像（基準画像ＢＩ１、参照画像ＲＩ１）の画素数が所定値以下になるまで解像度変倍率ＲＲによる低解像度化を繰り返すことなどによっても、多重解像度立体画像２３を作成して取得することができる。低解像度化処理の手法としては、上述した低解像度化処理の他、例えば、Qubic-Convolution法など種々の手法が採用され得る。
【００５７】
＜（３−２）設定部１３の動作について＞
多重解像度立体画像２３が取得されると、設定部１３は、各種の画像処理による画像上の特徴点の抽出処理、または所定の設定規則を用いた設定処理などによって、複数の基準画像ＭＢの相互間で互いに対応した注目点を、複数の基準画像ＭＢのそれぞれに設定する（図２１のステップＳ１３０）。設定部１３は、設定した各注目点の座標を各注目点情報３１（図２）として取得し、取得した各注目点情報３１を、探索決定部１４に供給する。
【００５８】
図９は、複数の基準画像ＭＢにおける注目点の設定例を示す図である。図９に示される注目点Ｎｍは、複数の基準画像ＭＢ中の注目階層の基準画像ＢＩｍ上における注目点である。また、注目点Ｎ（ｍ＋１）は、該注目階層の１つ上位階層の基準画像ＢＩ（ｍ＋１）における注目点であって、注目点Ｎｍに対応している。
【００５９】
設定部１３は、例えば、基準画像ＢＩ（ｍ＋１）と基準画像ＢＩｍ間の画素の対応関係と、注目点Ｎ（ｍ＋１）の座標などとに基づいて注目点Ｎｍを設定する。そして、設定部１３は、該設定処理を、上位階層側から下位階層側へ向けて次々と繰り返すことなどによって最上位の基準画像ＢＩＴから最下位の基準画像ＢＩ１まで各階層の基準画像における注目点を設定する。
【００６０】
なお、設定部１３は、例えば、基準画像ＢＩＴにエッジ検出処理を施すことや、表示部４３に表示された基準画像ＢＩＴ上の特徴点が操作部４２を介して指定された座標情報を取得することなどによって、複数の基準画像ＭＢの最上位の基準画像ＢＩＴにおける注目点を設定する。また、設定部１３が、例えば、基準画像ＢＩＴの全画素のそれぞれを注目点として設定することなどによって、複数の注目点を基準画像ＢＩＴ上に設定しても良い。基準画像ＢＩＴ上に複数の注目点が設定された場合には、画像処理装置２００Ａは、設定された各注目点のそれぞれについて動作フローＳ１００（図２１）における各ステップを行なう。
【００６１】
＜（３−３）探索決定部１４の動作について＞
探索決定部１４（図２）は、既述したように、探索部１５（図２）および決定部１６（図２）として動作する。
【００６２】
＜（３−３−１）探索部１５の動作について＞
各注目点情報３１が供給されると、探索部１５は、取得された多重解像度立体画像２３の複数の階層における注目階層の初期設定を行なう（図２１のステップＳ１４０）。注目階層の初期設定においては、例えば、多重解像度立体画像２３における最下層の階層、すなわち、画像の解像度が最も低い階層が、最初の注目階層として設定される。
【００６３】
注目階層が初期設定されると、探索部１５は、注目階層における注目参照画像に関する探索基準情報の初期設定を行なう（図２１のステップＳ１５０）。該探索基準情報は、注目基準画像上の注目点に対応した注目参照画像上の対応点を探索する対応点探索の際の空間的な基準に関する情報である。探索基準情報に基づいて、対応点を探索するための参照ウィンドウＷＲｍ（図１１）が注目参照画像上に設定される。
【００６４】
探索基準情報としては、注目参照画像に設定される探索基準点Ｋｍ（図１１）、または、注目基準画像上に設定される基準ウィンドウＷＢｍ（図１１）と、参照ウィンドウＷＲｍとの画像空間における想定ずれ量（想定視差）などが採用される。
【００６５】
探索基準情報の初期設定においては、例えば、注目基準画像ＢＩｍ上の注目点Ｎｍと同じ座標の注目参照画像ＲＩｍ上の点、つまり注目点Ｎｍが無限遠にある場合の注目参照画像ＲＩｍ上の対応点であると考えられる点を探索基準点Ｋｍとする方法、または想定視差などを採用すればよい。
【００６６】
なお、後述する注目参照画像に関する探索基準情報の更新（図２２のステップＳ２００）においては、探索基準情報は、下位階層において既に探索された対応点に基づいて設定される。次に、該ステップＳ２００の説明を、探索基準情報として探索基準点が採用された場合を例として、他のステップの説明に先立って行なう。
【００６７】
図１０は、多重解像度参照画像ＭＲにおける探索基準点の設定例を示す図である。対応点ＣＰｍ（図１０）は、複数の参照画像ＭＲ中における注目階層の参照画像ＲＩｍ上において探索された対応点である。また、探索基準点Ｋ（ｍ＋１）（図１０）は、該注目階層の１つ上位階層の参照画像ＲＩ（ｍ＋１）における探索基準点である。探索基準点Ｋ（ｍ＋１）は、対応点ＣＰｍに対応した探索基準点である。探索部１５は、参照画像ＲＩｍと参照画像ＲＩ（ｍ＋１）間の画素の対応関係と、対応点ＣＰｍの座標とに基づいて探索基準点Ｋ（ｍ＋１）を設定する。上述した探索基準点の更新処理によって、探索部１５は、多重解像度立体画像２３の各階層に逐次設定される注目階層において、対応点の探索処理の基準となる探索基準点を参照画像上に設定する。
【００６８】
ステップ１５０において、注目参照画像上の探索基準点の初期設定が行なわれると、探索部１５は、注目参照画像上における対応点を探索する対応点探索処理を行なう（図２２のステップＳ１６０）。
【００６９】
＜（３−３−１−１）対応点探索処理の概要＞
図１１は、探索部１５が行う対応点探索処理の概要を説明する図である。図１１に示されるように、注目点Ｎｍは、設定部１３が複数の基準画像ＭＢ中のうち注目階層の基準画像（注目基準画像）ＢＩｍ上に設定した注目点である。探索基準点Ｋｍは、探索部１５が、注目点Ｎｍと、複数の参照画像ＭＲのうち該注目階層の参照画像（注目参照画像）ＲＩｍに対して設定された探索基準情報とに基づいて、参照画像ＲＩｍ上に設定した探索基準点である。図１１に示された例においては、探索部１５は、記憶装置４６に格納されたウィンドウサイズＷＸ、ＷＹに基づいて、注目点Ｎｍを空間的な基準点として基準ウィンドウＷＢｍを設定している。また、探索部１５は、探索基準点Ｋｍを空間的な基準点として参照ウィンドウＷＲｍを設定している。探索部１５は、基準ウィンドウＷＢｍ内の画像と参照ウィンドウＷＲｍ内の画像との相関（「類似度」）を求めることによって、注目点Ｎｍに対応する対応点ＣＰｍを求める。
【００７０】
＜（３−３−１−２）基準ウィンドウと参照ウィンドウとの設定＞
ステップＳ１６０（図２２）において対応点探索処理が開始されると、探索部１５は、注目基準画像（注目階層の基準画像ＢＩｍ）上に基準ウィンドウＷＢｍを設定する（図２３のステップＳ１０）。また、探索部１５は、注目参照画像（注目階層の参照画像ＲＩｍ）上に参照ウィンドウＷＲｍを設定する（図２３のステップＳ２０）。
【００７１】
図１２および図１３は、それぞれ、基準画像ＢＩｍ（図１１）上に設定された基準ウィンドウＷＢｍと、参照画像ＲＩｍ（図１１）上に設定された参照ウィンドウＷＲｍとの設定例を示す図である。
【００７２】
図１２に例示される基準ウィンドウＷＢｍ（参照ウィンドウＷＲｍ）は、水平方向画素数と垂直方向画素数がともに奇数であり、注目点Ｎｍ（探索基準点Ｋｍ）の座標は、基準ウィンドウＷＢｍ（参照ウィンドウＷＲｍ）の重心Ｗｇと一致する。
【００７３】
また、図１３に例示される基準ウィンドウＷＢｍ（参照ウィンドウＷＲｍ）は、水平方向画素数と垂直方向画素数とがともに偶数であり、注目点Ｎｍ（探索基準点Ｋｍ）の座標は、基準ウィンドウＷＢｍ（参照ウィンドウＷＲｍ）の重心Ｗｇに対して−Ｘ方向、−Ｙ方向に１画素ずれている。図１２および図１３に示される例の他に、基準ウィンドウＷＢｍ（参照ウィンドウＷＲｍ）の水平方向画素数と垂直方向画素数とは、それぞれ奇数と偶数（順不同）との組でもよい。
【００７４】
なお、基準ウィンドウＷＢｍと参照ウィンドウＷＲｍとのそれぞれの水平方向（Ｘ方向）画素数は同じであり、それぞれの垂直方向（Ｙ方向）画素数もまた同じである。
【００７５】
ここで、基準ウィンドウＷＢｍと参照ウィンドウＷＲｍの画像間の相関（類似度）を求める相関演算手法としては、例えば、ＳＡＤ（Sum of Absolute Difference）法などのように周波数分解を行わない手法と、ＰＯＣ（Phase Only Correlation）法などのように周波数分解を行う手法などとがある。周波数分解を行う手法が採用される場合には、高速フーリエ変換（ＦＦＴ）を用いて必要な演算回数を抑制し、処理の高速化を図る観点から、各ウィンドウの水平方向画素数と垂直方向画素数とは、それぞれ２のべき乗で表される画素数に設定されることが望ましい。
【００７６】
＜（３−３−１−３）相関演算による対応点の抽出＞
基準ウィンドウＷＢｍと参照ウィンドウＷＲｍとが設定されると、探索部１５は、両ウィンドウ間の相関（類似度）を求める相関演算を行い（図２３のステップＳ３０）、注目階層の参照画像ＲＩｍにおける対応点を抽出する（図２３のステップＳ４０）。該相関演算手法としては、例えば、ＮＣＣ（Normalized Cross Correlation）法、ＳＡＤ法、またはＰＯＣ法などの相関演算手法が採用され得る。
【００７７】
次に、ＳＡＤ法とＰＯＣ法を例として、基準ウィンドウＷＢｍと参照ウィンドウＷＲｍの画像間の相関演算が行なわれることにより参照画像ＲＩｍ上の対応点が抽出される手法について説明する。
【００７８】
○ＳＡＤ法を用いた対応点の抽出について：
図１４は、ＳＡＤ法を用いた視差特定処理の手順を示す図である。図１４に示される注目階層の基準画像ＢＩｍ上にはＸ座標がｈ２である注目点Ｎｍが設定されており、注目点Ｎｍに対して基準ウィンドウＷＢｍが設定されている。基準ウィンドウＷＢｍのＸ方向の両端のＸ座標は、ｈ１とｈ３である。また、該注目階層の参照画像ＲＩｍ上には、注目点Ｎｍに対応する対応点ＣＰｍが示されている。
【００７９】
ここでは、ＳＡＤ法を用いて対応点ＣＰｍを求める例について説明する。参照画像ＲＩｍ上には、Ｘ座標がｘｓである探索基準点ＫｍｓからＸ座標がｘｅである探索基準点Ｋｍｅまで、Ｘ座標がｘｓ≦ｘ≦ｘｅの範囲で１画素ごとに複数の探索基準点が設定されており、これら複数の探索基準点の代表として両端の探索基準点Ｋｍｓ、Ｋｍｅのみが記載されている。
【００８０】
また、該複数の探索基準点には、それぞれ基準ウィンドウＷＢｍと、同サイズの複数の参照ウィンドウとが設定されており、該複数の参照ウィンドウの代表として両端の参照ウィンドウＷＲｍｓ、ＷＲｍｅのみが記載されている。
【００８１】
ここで、図１４においては説明を簡単にするため、注目点Ｎｍと複数の探索基準点Ｋｍｓ〜ＫｍｅのＹ座標は同じであり、従って、基準ウィンドウＷＢｍと、参照ウィンドウＷＲｍｓ〜ＷＲｍｅのＹ方向の座標のずれ量は無いように設定されている。また、注目点Ｎｍと、求められるべき対応点ＣＰｍのＹ座標も一致するように設定されている。
【００８２】
次に、参照ウィンドウＷＲｍｓ〜ＷＲｍｅの各参照ウィンドウ内の各画像と、基準ウィンドウＷＢｍ内の画像との相関値を演算する。基準ウィンドウと参照ウィンドウのＸ方向、Ｙ方向の座標のずれ量（視差）をそれぞれ視差ｘｄ、ｙｄとする。図１４の例では、視差ｘｄの範囲はｘｓ−ｈ２〜ｘｅ−ｈ２であり、視差ｙｄは０である。
【００８３】
探索部１５は、（１）式、（２）式を用いた演算によって基準ウィンドウＷＢｍ内の画像と参照ウィンドウＷＲｍ内の画像の相関値ＣＯＲｐを算出する。なお、基準ウィンドウＷＢｍ内の各画素（xｉ，yｊ）の画素値は、Ｉｍｇ１（xｉ，yｊ）であり、Ｘ方向、Ｙ方向の視差が、視差ｘｄ、ｙｄである参照ウィンドウＷＲｍ内の各画素（ｘｉ＋ｘｄ，yｊ＋ｙｄ）の画素値は、Ｉｍｇ２（ｘｉ＋ｘｄ，yｊ＋ｙｄ）である。
【００８４】
【数１】
2013020573.tif 000003
【００８５】
参照ウィンドウがＷＲｍｓからＷＲｍｅにわたって走査されるように、Ｘ方向の視差ｘｄをｘｓ−ｈ２〜ｘｅ−ｈ２の範囲で変更しつつ、（１）式および（２）式によって各視差ｘｄに対する相関値ＣＯＲｐが算出されると、図１４に示すグラフＵ１のように参照画像ＲＩｍのＸ座標と相関値ＣＯＲｐとの関係が明らかになる。
【００８６】
図１４の例では、座標ｘＭにおいて、グラフＵ１における相関値ＣＯＲｐの最大値が与えられているので、探索基準点のＸ座標がｘＭと一致する参照ウィンドウが、相関値ＣＯＲｐの最大値を与える参照ウィンドウである。探索部１５は、該参照ウィンドウの探索基準点を、注目点Ｎｍに対応する対応点ＣＰｍとして抽出する。
【００８７】
なお、ＳＡＤ法が採用される場合には、決定部１６（図２）は、相関値ＣＯＲｐの最大値を、処理対象の注目階層についての信頼度として決定する。
【００８８】
○ＰＯＣ法を用いた対応点の抽出について：
図１５は、ＰＯＣ法を用いた視差特定処理手順を示す図である。
【００８９】
ＰＯＣ法は、周波数分解を使用した相関法であって、かつ、振幅成分を抑制した相関法である。同様の相関法として、ＤＣＴ符号限定相関法（参考論文：「画像信号処理と画像パターン認識の融合−ＤＣＴ符号限定相関とその応用」貴塚仁志）などが知られている。これらの相関法は、パターンの周波数分解信号から、振幅成分を抑制した位相成分のみの信号を用いて類似度演算を行うため、画像を取得するためのステレオカメラ３００における撮影条件の差や、ノイズなどの影響を受けにくく、ロバストな対応点検索が可能である。
【００９０】
また、ＳＡＤ法が、１組の基準ウィンドウと参照ウィンドウに対して１つの相関値（ＣＯＲｐ値）のみを出力するため、相関値が最も高い参照ウィンドウ、すなわち、相関値が最も高い視差を特定するためには複数の参照ウィンドウにわたって、参照ウィンドウの走査を行う必要があるのに対して、ＰＯＣ法などの周波数分解を使用した相関法は、１組の基準ウィンドウと参照ウィンドウの画像に対して、画像間の相関値とともに、相関値が最も高くなる画像間の視差が求められるので、対応点が該参照ウィンドウ内に存在する場合には、参照ウィンドウの走査を行う必要がない。
【００９１】
このため、多重解像度画像にＰＯＣ法を用いる対応点探索法によれば、画素数の最も少ない多重解像度画像の最下位の基準画像と参照画像の画像全域をそれぞれ当初の基準ウィンドウと参照ウィンドウに設定して正しい対応点を探索した後、該対応点に基づいて１つ上位階層に参照ウィンドウを設定して該参照ウィンドウを走査することなく該階層における正しい対応点を求める探索処理を全ての階層にわたって繰り返すことが可能となる。従って、ＰＯＣ法を用いる視差特定手法は、多重解像度画像を対象とする視差特定処理に好適な手法となる。
【００９２】
以下に、ある注目階層における基準画像ＢＩｍに対する基準ウィンドウＷＢｍ内の画像と、該注目階層の参照画像ＲＩｍに対する参照ウィンドウＷＲｍ内の画像とを対応点探索処理の対象として探索部１５が対応点を抽出する場合を例に、ＰＯＣ法の基本原理を説明する。
【００９３】
先ず、注目階層における基準画像ＢＩｍに対して基準ウィンドウＷＢｍを設定する基準ウィンドウ設定処理Ｔ１ａ、および注目階層における参照画像ＲＩｍに対して参照ウィンドウＷＲｍを設定する参照ウィンドウ設定処理Ｔ１ｂが行われる。
【００９４】
基準ウィンドウＷＢｍ内の画像領域と、参照ウィンドウＷＲｍ内の画像領域とは、次の（３）式、（４）式のように表されるものとする。
【００９５】
【数２】
2013020573.tif 000004
【００９６】
ここで、（３）式のｆ0(ｎ1,ｎ2)および（４）式のｇ0(ｎ1,ｎ2)は、基準ウィンドウＷＢｍ内および参照ウィンドウＷＲｍ内の画素の画素値を示している。また、Ｎ1およびＮ2は、例えばＮ1＝２Ｍ1＋１、Ｎ2＝２Ｍ2＋１と設定されている。
【００９７】
次に、周波数分解を行う前に、ウィンドウ領域の端部での不連続性の影響を取り除くために窓関数を用いた窓関数処理Ｔ２ａおよびＴ２ｂを行う。
【００９８】
窓関数は、例えば、（５）式のH(n1,n2)で与えられるハニング窓が採用され、窓関数処理Ｔ２ａおよびＴ２ｂは、基準ウィンドウＷＢｍ内および参照ウィンドウＷＲｍ内の各画素の画素値に（５）式の窓関数の出力値を乗ずる演算（６）式および（７）式でそれぞれ与えられる。
【００９９】
【数３】
2013020573.tif 000005
【０１００】
窓関数としては、ハニング窓の他に、例えば、ハミング窓、カイザー窓などが採用される。
【０１０１】
次に、基準ウィンドウＷＢｍ、参照ウィンドウＷＲｍ内の各画像領域に対し、（８）式、（９）式で示す演算式を用いて、図１５に示される２次元のフーリエ変換処理Ｔ３ａ、Ｔ３ｂが行われる。
【０１０２】
【数４】
2013020573.tif 000006
【０１０３】
なお、（８）式、（９）式の下部ただし書におけるＷの添字Ｐには、Ｎ1、Ｎ2が代入され、またｋの添字ｓには、１、２が代入される。ここで、周波数分解の処理は必ずしもフーリエ変換である必要はなく、離散コサイン変換、離散サイン変換、ウェーブレット変換又はアダマール変換の何れかを含んでいても良い。
【０１０４】
このようなフーリエ変換処理Ｔ３ａ、Ｔ３ｂが施された各画像領域に対しては、（１０）式で示す演算式を用いて、画像の振幅成分を除去するための正規化処理Ｔ４ａ、Ｔ４ｂが行われる。
【０１０５】
【数５】
2013020573.tif 000007
【０１０６】
正規化処理Ｔ４ａ、Ｔ４ｂが完了すると、（１１）式で示す演算式を用いた正規化クロス・パワースペクトル算出処理Ｔ５が行われる。
【０１０７】
【数６】
2013020573.tif 000008
【０１０８】
正規化クロス・パワースペクトル算出処理Ｔ５が完了すると、（１２）式で示す演算式を用いた２次元の逆フーリエ変換処理Ｔ６が行われる。これにより、基準ウィンドウＷＢｍと参照ウィンドウＷＲｍ内の各画像間の相関演算が実施されることとなり、その結果(ＰＯＣ値)が出力される。
【０１０９】
【数７】
2013020573.tif 000009
【０１１０】
以上の処理により、基準ウィンドウＷＢｍ内の画像と参照ウィンドウＷＲｍ内の画像との相関を示す演算結果(ＰＯＣ値)が得られ、例えば、図１６で示すような結果（ＰＯＣ値）が得られる。
【０１１１】
図１６は、ＰＯＣ値の例を示す図である。図１６においては、ウィンドウ(Ｎ1×Ｎ2)内で相関が高い箇所のＰＯＣ値が大きくなっており、ＰＯＣ値のピークＳを与える座標が、基準ウィンドウＷＢｍ内の画像と参照ウィンドウＷＲｍ内の画像との相関が最も高くなる視差（ずれ量）を示す。ＰＯＣ法を用いた候補点抽出処理では、探索部１５は、ＰＯＣ法を用いて特定された視差と、基準ウィンドウＷＢｍ内の注目点Ｎｍの位置とに基づいた対応点抽出処理Ｔ７（図１５）によって、基準ウィンドウＷＢｍ内の注目点Ｎｍに対応した参照ウィンドウＷＲｍ内の対応点ＣＰｍを抽出する。
【０１１２】
なお、ＰＯＣ法が採用される場合には、決定部１６（図２）は、ＰＯＣ値のピークＳを、処理対象の注目階層についての信頼度として決定する。
【０１１３】
以上のように、ＰＯＣ法を用いた対応点探索処理によれば、画像の振幅成分が除去され、画像の位相成分のみで相関演算が行われるため、輝度変動やノイズの影響が抑制されて対応点が精度良く検出される。
【０１１４】
なお、画像処理装置２００Ａにおいては、注目点Ｎｍ、および対応点ＣＰｍなどが、画素サイズ単位で特定されたとしても、また、画素サイズ以下のサブピクセル単位で特定されたとしても本発明の有用性を損なうものではない。本願の各図面においては、注目点、候補点、および対応点などが、画素単位で特定（抽出）される場合に対応した図面が適宜記載されている。
【０１１５】
＜（３−３−２）決定部１６の動作について＞
図２３のステップＳ４０において、注目階層における基準画像ＢＩｍ上の注目点Ｎｍに対する参照画像ＲＩｍ上の対応点ＣＰｍが抽出されると、決定部１６（図２）は、注目階層における対応点探索の結果に関する信頼度を決定する（図２２のステップＳ１７０）。既述したように、決定部１６は、ＳＡＤ法が採用される場合には、相関値ＣＯＲｐの最大値を該信頼度として決定し、ＰＯＣ法が採用される場合には、ＰＯＣ値のピークＳを該信頼度として決定する。
【０１１６】
上述した対応点探索の結果、注目階層の注目点に対する対応点と、該対応点についての対応点探索の結果に関する信頼度とが決定されると、探索部１５は、多重解像度立体画像２３の複数の階層の全階層をそれぞれ注目階層とした対応点探索処理が終了したか否かを判定する（図２２のステップＳ１８０）。ステップＳ１８０での判定の結果、全階層についての対応点探索処理が終了していなければ、注目階層の上位階層を新たな注目階層として設定することによって、注目階層の更新を行う（図２２のステップＳ１９０）。さらに、探索部１５は、図１０を用いて既述したように、更新前の注目階層において抽出された対応点に基づいて当該新たな注目階層における探索基準情報（探索基準点）を設定する探索基準情報の更新処理を行ない（図２２のステップＳ２００）、ＣＰＵ１１Ａは処理をステップＳ１６０（図２２）に戻す。
【０１１７】
上述したように、探索部１５は、注目階層を下位の階層から上位の階層に向けて逐次設定しながら対応点探索処理と、注目階層を更新するための各種の設定処理とを行なうことによって、多重解像度立体画像２３の各階層において、基準画像上の注目点に対応する参照画像上の対応点を探索する。
【０１１８】
また、決定部１６は、注目階層の更新に応じて、多重解像度立体画像２３の複数の階層について対応点探索の結果の信頼度をそれぞれ決定する。また、決定された各信頼度３３（図２）は、演算部１７に供給される。
【０１１９】
ステップＳ１８０での判定の結果、全階層についての対応点探索処理が終了していれば、ＣＰＵ１１Ａは、処理をステップＳ２１０（図２２）に移す。
【０１２０】
＜（３−４）演算部１７の動作について＞
各信頼度３３が決定部１６から供給されると、演算部１７（図２）は、各信頼度３３を総合した総合信頼度ＲＡ１（図２）を算出する（図２２のステップＳ２１０）。
【０１２１】
ステップＳ２１０が開始されると、演算部１７は、各信頼度３３の変動態様に依存しない算出規則である第１規則を規定した第１規則情報５７（図１、図２）を記憶装置４６から取得し、取得した第１規則を各信頼度３３に対して適用することによって各信頼度３３の全体的な状況を表現した基準値ＲＳ１を算出する（図２４のステップＳ３１０）。
【０１２２】
具体的には、第１規則としては、例えば、各信頼度３３の積和演算が採用され、演算部１７は、（１３）式によって、基準値ＲＳ１を算出する。なお、（１３）式において、各信頼度３３は、信頼度Ｒ(k3)として表示されている。
【０１２３】
【数８】
2013020573.tif 000010
【０１２４】
基準値ＲＳ１が算出されると、演算部１７は、多重解像度立体画像２３の複数の階層のうち互いに隣接した各階層組みのそれぞれの間にわたる各信頼度３３の変化である各信頼度変化ＤＲ(k3)を、例えば、（１４）式によって算出する（図２４のステップＳ３２０）。
【０１２５】
図１９は、多重解像度立体画像２３の各階層間における信頼度変化の分布例を示す図である。図１９に示された各信頼度変化は、図１８に示された各信頼度に（１４）式を適用することによって求められている。
【０１２６】
【数９】
2013020573.tif 000011
【０１２７】
各信頼度変化が求められると、演算部１７は、求めた各信頼度変化のうち一部の信頼度変化を特定する（図２４のステップＳ３３０）。該一部の信頼度変化は、他の信頼度変化よりも強調されて補正値ＲＳ２の算出に用いられ、補正値ＲＳ２によって、基準値ＲＳ１が補正される。
【０１２８】
図２４のステップＳ３３０が開始されると、演算部１７は、各信頼度変化ＤＲ(k3)の増減パターンの中に予め設定された増減パターンが存在するか否かを判定する（図２５のステップＳ４１０）。なお、該所定の増減パターンは、記憶装置４６などから取得される。ステップＳ４１０での判定の結果、該所定の増減パターンに該当する各信頼度変化が存在しなければ、ＣＰＵ１１Ａは、処理をＳ３４０（図２４）に移す。
【０１２９】
ステップＳ４１０での判定の結果、該所定の増減パターンに該当する各信頼度変化が存在していれば、演算部１７は、該所定のパターンを構成する各信頼度変化の幅が予め設定された閾値以上であるか否かを判定する（図２５のステップＳ４２０）。ステップＳ４２０での判定の結果、該所定のパターンを構成する各信頼度変化の幅が予め設定された閾値未満であれば、ＣＰＵ１１Ａは、処理をＳ３４０（図２４）に移す。
【０１３０】
テップＳ４２０での判定の結果、該所定のパターンを構成する各信頼度変化の幅が予め設定された閾値以上であれば、演算部１７は、該当する各信頼度変化を一部の信頼度変化として特定する（図２５のステップＳ４３０）。ステップＳ４３０において特定される一部の信頼度変化は、各信頼度変化ＤＲ(k3)の増減方向と値とに応じて特定された信頼度変化である。そして、ＣＰＵ１１Ａは、処理をＳ３４０（図２４）に移す。
【０１３１】
なお、ステップＳ４１０の判定に使用される所定のパターンとしては、例えば、連続した２つの各信頼度変化ＤＲ(k3)のうち、多重解像度立体画像２３において下位階層側に対応した一方の信頼度変化の値が負であり、上位階層側に対応した他方の信頼度変化の値が正であるパターンなどが記憶装置４６から取得されて採用される。
【０１３２】
図１９に示される例においては、負の値Ｄ２の信頼度変化の絶対値は、判定用の負の閾値ＴＨ２の絶対値よりも大きく、また、正の値Ｄ１の信頼度変化は、判定用の正の閾値ＴＨ１の絶対値よりも大きい。従って、図１９に示される例においては、例えば、値Ｄ２の信頼度変化と、値Ｄ１の信頼度変化とが一部の信頼度変化として特定される。
【０１３３】
演算部１７は、特定した一部の信頼度変化に対して、例えば、（１５）式で示される関数ＢＬによって一部の信頼度変化に該当することを示す値１を割り当てる。
【０１３４】
なお、各信頼度変化についての該関数ＢＬの値は、（１６）式によって、予め、一部の信頼度変化に該当しないことを示す値０に初期化されている。従って、各信頼度変化のうちステップＳ４３０において一部の信頼度変化として特定された信頼度変化以外の他の信頼度変化についての関数ＢＬの値には値０が割り当てられている。
【０１３５】
【数１０】
2013020573.tif 000012
【０１３６】
処理が、ステップＳ３４０（図２４）に移されると、演算部１７は、基準値ＲＳ１の補正に用いられる補正値ＲＳ２を算出する（ステップＳ３４０）。具体的には、演算部１７は、先ず、補正値ＲＳ２を取得する算出規則である第２規則を規定した第２規則情報５８（図１、図２）を記憶装置４６から取得する。第２規則は、各信頼度変化ＤＲ(k3)のうちステップＳ３３０において特定した一部の信頼度変化を他の信頼度変化よりも強調することによって補正値ＲＳ２を取得する算出規則である。演算部１７は、取得した第２規則を各信頼度変化ＤＲ(k3)に適用することによって補正値ＲＳ２を算出する。なお、第２規則としては、例えば、（１７）式などが採用される。（１７）式において、各信頼度変化ＤＲ(k3)の絶対値が十分に小さい場合には、（１７）式による演算結果に対する該信頼度変化の寄与度は、小さくなる。従って、図２５のステップＳ４２０における判定処理が行なわれないとしても、本発明の有用性を損なうものではない。すなわち、各信頼度変化ＤＲ(k3)の増減方向と値とのうち増減方向のみに応じて一部の信頼度変化が特定されたとしても本発明の有用性を損なうものではない。
【０１３７】
【数１１】
2013020573.tif 000013
【０１３８】
また、演算部１７は、多重解像度立体画像２３の複数の階層のうち特定された一部の信頼度変化に係る階層の階層順位に応じて、該一部の信頼度変化を強調して補正値ＲＳ２を算出することもできる。なお、該階層順位が上位階層側であればあるほど、該一部の信頼度変化に係る階層における基準画像と参照画像との解像度は高くなる。
【０１３９】
演算部１７は、具体的には、例えば、（１８）式を採用して補正値ＲＳ２を算出することによって、特定された一部の信頼度変化を強調して補正値ＲＳ２を算出できる。より詳細には、（１８）式が採用された場合には、特定された一部の信頼度変化に係る階層順位が上位階層側、すなわち高解像側であればあるほど該一部の信頼度変化が強調されて補正値ＲＳ２が算出される。
【０１４０】
図２０は、多重解像度立体画像２３の各階層における対応点探索の信頼度の分布例を示す図である。例えば、図２０に示される各信頼度の分布例に、（１８）式が適用される場合には、円ｃ１に内包された一部の各信頼度に係る信頼度変化よりも、円ｃ２に内包された一部の各信頼度に係る信頼度変化の方が強調されて、補正値ＲＳ２が算出される。
【０１４１】
【数１２】
2013020573.tif 000014
【０１４２】
補正値ＲＳ２の算出がされると、演算部１７は、（１９）式によって総合信頼度ＲＡ１を算出する（ステップＳ３５０）。ここで、（１３）式が図１８に示される各信頼度に対して適用されて算出される基準値ＲＳ１は、（１３）式が図１７に示される各信頼度に対して適用されて算出される基準値ＲＳ１よりも低くなる。しかしながら、図１８に示される各信頼度に対して最終的に算出される総合信頼度ＲＡ１は、図１７に示される各信頼度に対して最終的に算出される総合信頼度ＲＡ１とほぼ同じ値となる。従って、図１８に示されるように一部の階層において信頼度が悪化した場合であっても、総合信頼度ＲＡ１は、該悪化が存在しない場合と同程度にまで改善される。なお、ＣＰＵ１１Ａは、総合信頼度ＲＡ１に基づいて、多重解像度立体画像２３のうち最上位階層において探索された対応点が正しく探索されたか否かを判定する。
【０１４３】
【数１３】
2013020573.tif 000015
【０１４４】
上述したように、画像処理装置２００Ａにおいては、多重解像度立体画像２３の複数の階層についての対応点探索の結果に関する各信頼度３３の全体的な状況を表現した基準値ＲＳ１が算出される。そして、該複数の階層のうち互いに隣接した各階層組みのそれぞれの間にわたる各信頼度３３についての各信頼度変化のうち一部の信頼度変化が、他の信頼度変化よりも強調されて補正値ＲＳ２が算出される。そして、補正値ＲＳ２を用いて基準値ＲＳ１が補正されることによって、総合信頼度ＲＡ１が算出される。従って、画像処理装置２００Ａによれば、一部の階層において信頼度が悪化した場合に算出される総合信頼度が改善され得る。
【０１４５】
＜変形例について：＞
以上、本発明の実施の形態について説明してきたが、本発明は上記実施の形態に限定されるものではなく様々な変形が可能である。
【０１４６】
例えば、多重解像度立体画像２３における各階層のうち、一部または全部の階層についての基準画像および参照画像の解像度が、第１画像１および第２画像２の解像度よりも高い解像度である多重解像度立体画像２３が取得部１２よって取得されたとしても本発明の有用性を損なうものではない。
【符号の説明】
【０１４７】
１００Ａ  画像処理システム
２００Ａ  画像処理装置
３００  ステレオカメラ
１１Ａ  ＣＰＵ
１  第１画像
２  第２画像
２３  多重解像度立体画像
３１  各注目点情報
３３  各信頼度
４９  信号線
５７  第１規則情報
５８  第２規則情報
７０  被写体
９１  第１カメラ
９２  第２カメラ
ＤＬ  データ線
ＭＢ  複数の基準画像
ＭＲ  複数の参照画像
ＲＡ１  総合信頼度
Ｔ  階層数
ＲＲ  解像度変倍率
ＷＸ，ＷＹ  ウィンドウサイズ
【図１】
2013020573.tif 000016
【図２】
2013020573.tif 000017
【図３】
2013020573.tif 000018
【図４】
2013020573.tif 000019
【図５】
2013020573.tif 000020
【図６】
2013020573.tif 000021
【図７】
2013020573.tif 000022
【図８】
2013020573.tif 000023
【図９】
2013020573.tif 000024
【図１０】
2013020573.tif 000025
【図１１】
2013020573.tif 000026
【図１２】
2013020573.tif 000027
【図１３】
2013020573.tif 000028
【図１４】
2013020573.tif 000029
【図１５】
2013020573.tif 000030
【図１６】
2013020573.tif 000031
【図１７】
2013020573.tif 000032
【図１８】
2013020573.tif 000033
【図１９】
2013020573.tif 000034
【図２０】
2013020573.tif 000035
【図２１】
2013020573.tif 000036
【図２２】
2013020573.tif 000037
【図２３】
2013020573.tif 000038
【図２４】
2013020573.tif 000039
【図２５】
2013020573.tif 000040