(57)【特許請求の範囲】
【請求項１】
互いに対応する画像内容を含んだ第１画像と第２画像とを取得する取得部と、
前記第２画像上に複数の第１参照ブロックを設定する第１設定部と、
前記第１画像上に予め設定された注目点を空間的に内包する第１基準ブロックと、前記複数の第１参照ブロックのそれぞれとの第１ブロックマッチングにより、前記第１基準ブロックと、前記複数の第１参照ブロックのそれぞれとの画像内容の類似度をそれぞれ表現した複数の第１指標値を取得する第１演算部と、
前記複数の第１指標値に基づいて、前記注目点に対応した対応点の複数の候補点を前記第２画像においてそれぞれ抽出する抽出部と、
前記複数の候補点のうちの各１点のみをそれぞれ空間的に内包する複数の第２基準ブロックを設定する第２設定部と、
前記複数の第２基準ブロックのそれぞれと、前記第１画像上に予め設定された第２参照ブロックとの第２ブロックマッチングにより、前記複数の候補点のそれぞれについて、前記対応点としての選択の適性を表現した複数の第２指標値を取得する第２演算部と、
前記複数の第２指標値に基づいて、前記複数の候補点の中から１つを選択することにより、前記対応点を決定する決定部と、
を備えたことを特徴とする画像処理装置。
【請求項２】
請求項１に記載された画像処理装置であって、
前記第１設定部は、
前記第２画像上に予め設定された複数の探索基準点をそれぞれ空間的な基準点として、前記複数の探索基準点のそれぞれに対して、画像空間におけるブロックの設定に関する第１規則をそれぞれ適用することにより前記複数の第１参照ブロックをそれぞれ設定し、
前記第２設定部は、
前記複数の候補点をそれぞれ空間的な基準点として、前記複数の候補点のそれぞれに対して、画像空間におけるブロックの設定に関する第２規則をそれぞれ適用することにより前記複数の第２基準ブロックをそれぞれ設定し、
前記第１規則と前記第２規則とは、
空間的な基準点に対するブロックの設定態様が空間的に互いに異なることを特徴とする画像処理装置。
【請求項３】
請求項２に記載された画像処理装置であって、
前記第１規則と前記第２規則とは、
共通の空間的な基準点に対して、前記第１規則と前記第２規則とがそれぞれ適用されることにより設定される２つのブロックの形状が、互いに異なることを特徴とする画像処理装置。
【請求項４】
請求項２に記載された画像処理装置であって、
前記第１規則と前記第２規則とは、
共通の空間的な基準点に対して、前記第１規則と前記第２規則とがそれぞれ適用されることにより設定される２つのブロックの空間的な大きさが、互いに異なることを特徴とする画像処理装置。
【請求項５】
請求項２に記載された画像処理装置であって、
前記第１規則と前記第２規則とは、
共通の空間的な基準点に対して、前記第１規則と前記第２規則とがそれぞれ適用されることにより設定される２つのブロックのそれぞれの位置が互いに異なることを特徴とする画像処理装置。
【請求項６】
請求項２から請求項５の何れか１つの請求項に記載された画像処理装置であって、
前記第２規則は、
前記複数の候補点のうち注目候補点を空間的な基準点として、当該注目候補点に対して前記第２規則が適用されることにより設定される前記第２基準ブロックに、前記複数の候補点のうち当該注目候補点のみが内包されるように、当該第２基準ブロックを設定する規則であることを特徴とする画像処理装置。
【請求項７】
請求項６に記載された画像処理装置であって、
前記第２規則は、
前記注目候補点に対して前記第２規則が適用されることにより設定される前記第２基準ブロックに、前記複数の候補点のうち前記注目候補点のみが内包されるように、前記複数の候補点の相互の位置関係に応じて当該第２基準ブロックを設定する規則であることを特徴とする画像処理装置。
【請求項８】
請求項６に記載された画像処理装置であって、
前記第２規則は、
前記注目候補点に対して当該第２規則が適用されることにより設定される前記第２基準ブロックに、前記複数の候補点のうち前記注目候補点のみが内包されるように、前記第２画像の画像空間における前記複数の第１指標値の空間的な分布状態に応じて当該第２基準ブロックを設定する規則であることを特徴とする画像処理装置。
【請求項９】
請求項１から請求項８の何れか１つの請求項に記載された画像処理装置であって、
前記第２演算部が、
前記複数の第２基準ブロックのそれぞれと、前記第２参照ブロックとのブロックマッチングを、前記第２参照ブロックの位置を前記第１画像上でずらしながら行うことによって前記第２ブロックマッチングを行い、
該第２ブロックマッチングにより前記複数の候補点にそれぞれ対応した複数の対応点を前記第１画像上でそれぞれ特定するとともに、前記注目点と、当該複数の対応点のそれぞれとの各距離に基づいて前記複数の第２指標値をそれぞれ取得することを特徴とする画像処理装置。
【請求項１０】
請求項１から請求項８の何れか１つの請求項に記載された画像処理装置であって、
前記第２演算部が、
前記複数の第２基準ブロックのそれぞれと、前記第２参照ブロックとのブロックマッチングを、前記第２参照ブロックの位置を前記第１画像上でずらしながら行うことによって前記第２ブロックマッチングを行い、
前記第２ブロックマッチングの結果に基づいて、前記複数の第２基準ブロックのそれぞれ毎に、前記第２参照ブロックとの最も高い各類似度を取得し、
取得した前記各類似度に基づいて前記複数の第２指標値をそれぞれ取得することを特徴とする画像処理装置。
【請求項１１】
請求項１から請求項８の何れか１つの請求項に記載された画像処理装置であって、
前記第２参照ブロックが、前記注目点を空間的な基準点として設定された１のブロックであり、
前記第２演算部が、
前記複数の第２基準ブロックのそれぞれと、前記第２参照ブロックとのブロックマッチングによって前記第２ブロックマッチングを行い、前記複数の第２基準ブロックのそれぞれと前記第２参照ブロックとの各類似度に基づいて前記複数の第２指標値をそれぞれ取得することを特徴とする画像処理装置。
【請求項１２】
請求項６から請求項８の何れか１つの請求項に記載された画像処理装置であって、
前記第２参照ブロックは、
前記注目点を空間的な基準点として、前記複数の候補点がそれぞれ前記注目候補点であるときの各前記第２規則が、前記注目点に対してそれぞれ適用されることによって前記複数の候補点のそれぞれ毎に第１画像上に予めそれぞれ設定され、
前記第２演算部が、
前記複数の候補点のうち１の候補点に対応する前記第２参照ブロックと、前記複数の第２基準ブロックのうち前記１の候補点に対応するブロックとのブロックマッチングを、前記複数の候補点の中で前記１の候補点として設定される候補点を変更しながら行なうことにより前記第２ブロックマッチングを行い、
前記第２ブロックマッチングの結果に基づいて、前記複数の第２基準ブロックのそれぞれ毎に、対応する前記第２参照ブロックとの各類似度を取得し、
取得した前記各類似度に基づいて前記複数の第２指標値をそれぞれ取得することを特徴とする画像処理装置。
【請求項１３】
画像処理装置に搭載されたコンピューターにおいて実行されることにより、
当該画像処理装置を請求項１から請求項１２の何れか１つの請求項に記載された画像処理装置として機能させることを特徴とするプログラム。
【請求項１４】
第１画像上に予め設定された注目点を空間的に内包する第１基準ブロックと、前記第１画像と互いに対応する画像内容を含んだ第２画像上に設定された複数の第１参照ブロックのそれぞれとの第１ブロックマッチングにより、前記第１基準ブロックと、前記複数の第１参照ブロックのそれぞれとの画像内容の類似度をそれぞれ表現した複数の第１指標値を取得する第１演算工程と、
前記複数の第１指標値に基づいて、前記注目点に対応した対応点の複数の候補点を前記第２画像においてそれぞれ抽出する抽出工程と、
前記複数の候補点のうちの各１点のみをそれぞれ空間的に内包する複数の第２基準ブロックのそれぞれと、前記第１画像上に予め設定された第２参照ブロックとの第２ブロックマッチングにより、前記複数の候補点のそれぞれについて、前記対応点としての選択の適性を表現した複数の第２指標値を取得する第２演算工程と、
前記複数の第２指標値に基づいて、前記複数の候補点の中から１つを選択することにより、前記対応点を決定する決定工程と、
を有することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、１の画像に設定された注目点の対応点を、他の画像から探索する対応点探索技術に関する。
【背景技術】
【０００２】
異なる視点から撮影された測定対象物に関する複数の画像のうち、１の画像上の注目点に対応する他の画像上の対応点を、双方の画像間でブロックマッチングを行なうことにより探索し、得られた対応点と注目点とに基づいて、測定対象物の３次元形状などを求める装置が知られている。
【０００３】
ブロックマッチングを用いる対応点探索方法においては、１の画像上に、例えば、注目点を略中心とする探索ブロック（「基準ブロック」、「基準ウィンドウ」とも称される）が設定されるとともに、対応点の存在が見込まれる参照画像上の領域にも基準ウィンドウと同じ大きさの探索ブロック（「参照ブロック」、「参照ウィンドウ」とも称される）が設定される。
【０００４】
次に、参照ブロックの位置が他の画像上でずらされつつ、基準ブロックと参照ブロックとのそれぞれの画像の相関演算が行なわれて、相関（「類似度」とも称される）が最も高くなる探索ブロックが特定される。そして、特定された探索ブロックにおいて対応点が特定される。
【０００５】
ところで、ブロックマッチングを用いる対応点探索においては、マッチング対象の各画像間で、例えば、類似した画像内容の組み合わせが複数存在する場合には、誤った対応点が探索される誤対応が生じる場合がある。
【０００６】
特許文献１では、ブロックマッチングによって探索された対応点の信頼性を検証する画像処理装置が開示されている。該画像処理装置では、先ず、１の画像上の基準点を内包する基準ブロックと、他の画像とのブロックマッチングによって、該他の画像上で基準点に対応した対応点が探索される。次に、該対応点を内包する他の画像上の検証ブロックに対応した該１の画像上のブロックが特定され、特定されたブロックが、該検証ブロックと一致していれば、探索された対応点の信頼性は高い（探索成功）と判定され、一致していなければ該信頼性は低い（誤対応）と判定される。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００４−１８４２４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１の画像処理装置には、誤対応によって探索された対応点を検出できるものの、誤対応に関する対応点よりも信頼度の高い対応点を探索することができないといった問題がある。
【０００９】
本発明は、こうした問題を解決するためになされたもので、探索される対応点の信頼度が改善され得る技術を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記の課題を解決するため、第１の態様に係る画像処理装置は、互いに対応する画像内容を含んだ第１画像と第２画像とを取得する取得部と、前記第２画像上に複数の第１参照ブロックを設定する第１設定部と、前記第１画像上に予め設定された注目点を空間的に内包する第１基準ブロックと、前記複数の第１参照ブロックのそれぞれとの第１ブロックマッチングにより、前記第１基準ブロックと、前記複数の第１参照ブロックのそれぞれとの画像内容の類似度をそれぞれ表現した複数の第１指標値を取得する第１演算部と、前記複数の第１指標値に基づいて、前記注目点に対応した対応点の複数の候補点を前記第２画像においてそれぞれ抽出する抽出部と、前記複数の候補点のうちの各１点のみをそれぞれ空間的に内包する複数の第２基準ブロックを設定する第２設定部と、前記複数の第２基準ブロックのそれぞれと、前記第１画像上に予め設定された第２参照ブロックとの第２ブロックマッチングにより、前記複数の候補点のそれぞれについて、前記対応点としての選択の適性を表現した複数の第２指標値を取得する第２演算部と、前記複数の第２指標値に基づいて、前記複数の候補点の中から１つを選択することにより、前記対応点を決定する決定部とを備えたことを特徴とする。
【００１１】
第２の態様に係る画像処理装置は、第１の態様に係る画像処理装置であって、前記第１設定部は、前記第２画像上に予め設定された複数の探索基準点をそれぞれ空間的な基準点として、前記複数の探索基準点のそれぞれに対して、画像空間におけるブロックの設定に関する第１規則をそれぞれ適用することにより前記複数の第１参照ブロックをそれぞれ設定し、前記第２設定部は、前記複数の候補点をそれぞれ空間的な基準点として、前記複数の候補点のそれぞれに対して、画像空間におけるブロックの設定に関する第２規則をそれぞれ適用することにより前記複数の第２基準ブロックをそれぞれ設定し、前記第１規則と前記第２規則とは、空間的な基準点に対するブロックの設定態様が空間的に互いに異なることを特徴とする。
【００１２】
第３の態様に係る画像処理装置は、第２の態様に係る画像処理装置であって、前記第１規則と前記第２規則とは、共通の空間的な基準点に対して、前記第１規則と前記第２規則とがそれぞれ適用されることにより設定される２つのブロックの形状が、互いに異なることを特徴とする。
【００１３】
第４の態様に係る画像処理装置は、第２の態様に係る画像処理装置であって、前記第１規則と前記第２規則とは、共通の空間的な基準点に対して、前記第１規則と前記第２規則とがそれぞれ適用されることにより設定される２つのブロックの空間的な大きさが、互いに異なることを特徴とする。
【００１４】
第５の態様に係る画像処理装置は、第２の態様に係る画像処理装置であって、前記第１規則と前記第２規則とは、共通の空間的な基準点に対して、前記第１規則と前記第２規則とがそれぞれ適用されることにより設定される２つのブロックのそれぞれの位置が互いに異なることを特徴とする。
【００１５】
第６の態様に係る画像処理装置は、第２から第５の何れか１つの態様に係る画像処理装置であって、前記第２規則は、前記複数の候補点のうち注目候補点を空間的な基準点として、当該注目候補点に対して前記第２規則が適用されることにより設定される前記第２基準ブロックに、前記複数の候補点のうち当該注目候補点のみが内包されるように、当該第２基準ブロックを設定する規則であることを特徴とする。
【００１６】
第７の態様に係る画像処理装置は、第６の態様に係る画像処理装置であって、前記第２規則は、前記注目候補点に対して前記第２規則が適用されることにより設定される前記第２基準ブロックに、前記複数の候補点のうち前記注目候補点のみが内包されるように、前記複数の候補点の相互の位置関係に応じて当該第２基準ブロックを設定する規則であることを特徴とする。
【００１７】
第８の態様に係る画像処理装置は、第６の態様に係る画像処理装置であって、前記第２規則は、前記注目候補点に対して当該第２規則が適用されることにより設定される前記第２基準ブロックに、前記複数の候補点のうち前記注目候補点のみが内包されるように、前記第２画像の画像空間における前記複数の第１指標値の空間的な分布状態に応じて当該第２基準ブロックを設定する規則であることを特徴とする。
【００１８】
第９の態様に係る画像処理装置は、第１から第８の何れか１つの態様に係る画像処理装置であって、前記第２演算部が、前記複数の第２基準ブロックのそれぞれと、前記第２参照ブロックとのブロックマッチングを、前記第２参照ブロックの位置を前記第１画像上でずらしながら行うことによって前記第２ブロックマッチングを行い、該第２ブロックマッチングにより前記複数の候補点にそれぞれ対応した複数の対応点を前記第１画像上でそれぞれ特定するとともに、前記注目点と、当該複数の対応点のそれぞれとの各距離に基づいて前記複数の第２指標値をそれぞれ取得することを特徴とする。
【００１９】
第１０の態様に係る画像処理装置は、第１から第８の何れか１つの態様に係る画像処理装置であって、前記第２演算部が、前記複数の第２基準ブロックのそれぞれと、前記第２参照ブロックとのブロックマッチングを、前記第２参照ブロックの位置を前記第１画像上でずらしながら行うことによって前記第２ブロックマッチングを行い、前記第２ブロックマッチングの結果に基づいて、前記複数の第２基準ブロックのそれぞれ毎に、前記第２参照ブロックとの最も高い各類似度を取得し、取得した前記各類似度に基づいて前記複数の第２指標値をそれぞれ取得することを特徴とする。
【００２０】
第１１の態様に係る画像処理装置は、第１から第８の何れか１つの態様に係る画像処理装置であって、前記第２参照ブロックが、前記注目点を空間的な基準点として設定された１のブロックであり、前記第２演算部が、前記複数の第２基準ブロックのそれぞれと、前記第２参照ブロックとのブロックマッチングによって前記第２ブロックマッチングを行い、前記複数の第２基準ブロックのそれぞれと前記第２参照ブロックとの各類似度に基づいて前記複数の第２指標値をそれぞれ取得することを特徴とする。
【００２１】
第１２の態様に係る画像処理装置は、第６から第８の何れか１つの態様に係る画像処理装置であって、前記第２参照ブロックは、前記注目点を空間的な基準点として、前記複数の候補点がそれぞれ前記注目候補点であるときの各前記第２規則が、前記注目点に対してそれぞれ適用されることによって前記複数の候補点のそれぞれ毎に第１画像上に予めそれぞれ設定され、前記第２演算部が、前記複数の候補点のうち１の候補点に対応する前記第２参照ブロックと、前記複数の第２基準ブロックのうち前記１の候補点に対応するブロックとのブロックマッチングを、前記複数の候補点の中で前記１の候補点として設定される候補点を変更しながら行なうことにより前記第２ブロックマッチングを行い、前記第２ブロックマッチングの結果に基づいて、前記複数の第２基準ブロックのそれぞれ毎に、対応する前記第２参照ブロックとの各類似度を取得し、取得した前記各類似度に基づいて前記複数の第２指標値をそれぞれ取得することを特徴とする。
【００２２】
第１３の態様に係るプログラムは、画像処理装置に搭載されたコンピューターにおいて実行されることにより、当該画像処理装置を第１から第１２の何れか１つの態様に記載された画像処理装置として機能させることを特徴とする。
【００２３】
第１４の態様に係る画像処理方法は、第１画像上に予め設定された注目点を空間的に内包する第１基準ブロックと、前記第１画像と互いに対応する画像内容を含んだ第２画像上に設定された複数の第１参照ブロックのそれぞれとの第１ブロックマッチングにより、前記第１基準ブロックと、前記複数の第１参照ブロックのそれぞれとの画像内容の類似度をそれぞれ表現した複数の第１指標値を取得する第１演算工程と、前記複数の第１指標値に基づいて、前記注目点に対応した対応点の複数の候補点を前記第２画像においてそれぞれ抽出する抽出工程と、前記複数の候補点のうちの各１点のみをそれぞれ空間的に内包する複数の第２基準ブロックのそれぞれと、前記第１画像上に予め設定された第２参照ブロックとの第２ブロックマッチングにより、前記複数の候補点のそれぞれについて、前記対応点としての選択の適性を表現した複数の第２指標値を取得する第２演算工程と、前記複数の第２指標値に基づいて、前記複数の候補点の中から１つを選択することにより、前記対応点を決定する決定工程とを有することを特徴とする。
【発明の効果】
【００２４】
本願記載の発明によれば、第１ブロックマッチングによって第１画像上の注目点に対応した対応点の複数の候補点が、第２画像においてそれぞれ抽出される。そして、複数の候補点をそれぞれ空間的に内包する複数の第２基準ブロックと、第１画像上の第２参照ブロックとの第２ブロックマッチングの結果に基づいて、該複数の候補点の中から対応点が決定されるので、決定された対応点の信頼度が改善され得る。
【図面の簡単な説明】
【００２５】
【図１】実施形態に係る画像処理装置を用いた画像処理システムの構成例を示す機能ブロック図である。
【図２】実施形態に係る画像処理装置の要部の構成例を示す機能ブロック図である。
【図３】実施形態に係る画像処理装置の動作例の概要を説明するための図である。
【図４】実施形態に係る画像処理装置の動作例の概要を説明するための図である。
【図５】第１参照ブロックと第１指標値との対応を示すグラフを例示する図である。
【図６】第２基準ブロックと第２指標値との対応を示すグラフを例示する図である。
【図７】第１基準ブロックおよび第１参照ブロックの設定例を示す図である。
【図８】第２基準ブロックおよび第２参照ブロックの設定例を示す図である。
【図９】ＳＡＤ法を用いた候補点抽出処理の例を説明する図である。
【図１０】ＳＡＤ法における参照ブロックの走査態様を例示する図である。
【図１１】ＰＯＣ法を用いた候補点抽出処理の手順の１例を示す図である。
【図１２】ＰＯＣ値の例を示す図である。
【図１３】第２基準ブロックの設定例を示す図である。
【図１４】第２基準ブロックの設定例を示す図である。
【図１５】第２基準ブロックの設定例を示す図である。
【図１６】第２基準ブロックの設定例を示す図である。
【図１７】第２基準ブロックの設定例を示す図である。
【図１８】第２基準ブロックの設定例を示す図である。
【図１９】第２基準ブロックの設定例を示す図である。
【図２０】第２基準ブロックの設定例を示す図である。
【図２１】第２ブロックマッチング処理の一例を説明するための図である。
【図２２】第２ブロックマッチング処理の一例を説明するための図である。
【図２３】第２ブロックマッチング処理の一例を説明するための図である。
【図２４】実施形態に係る画像処理装置の動作フローを例示する図である。
【図２５】実施形態に係る画像処理装置の動作フローを例示する図である。
【発明を実施するための形態】
【００２６】
以下、本発明の一実施形態を図面に基づいて説明する。図面では同様な構成および機能を有する部分に同じ符号が付され、下記説明では重複説明が省略される。また、各図面は模式的に示されたものであり、例えば、各図面における画像上の表示物のサイズおよび位置関係等は正確に図示されたものではない。また、画像データと、該画像データに基づいて表示される画像とをまとめて「画像」と適宜総称する。更に、各図面では、画像の左上の画素が原点とされ、該画像の長辺に沿った方向（ここでは、横方向）がＸ軸方向とされ、該画像の短辺に沿った方向（ここでは縦方向）がＹ軸方向とされる。そして、各画像の右方向が＋Ｘ方向とされ、各画像の下方向が＋Ｙ方向とされる。なお、図３、図４、図７〜図１０、および図１３〜図２３には、直交するＸＹの２軸が付されている。
【００２７】
＜実施形態について：＞
＜（１）画像処理システム１００Ａについて＞
図１は、実施形態に係る画像処理装置２００Ａを用いた画像処理システム１００Ａの構成例を示す機能ブロック図である。図１に示されるように、画像処理システム１００Ａは、ステレオカメラ３００と画像処理装置２００Ａとを主に備えて構成されている。画像処理システム１００Ａでは、被写体７０をステレオカメラ３００が撮影することにより取得した第１画像１および第２画像２を画像処理装置２００Ａが取得する。画像処理装置２００Ａは、第１画像１および第２画像２を処理することによって、第１画像１上の注目点２１（図３）に対応した、第２画像２上の対応点２５（図３）を決定する。注目点２１と対応点２５とは、被写体７０上の同一の点にそれぞれ対応しており、対応点２５に関する座標情報などの対応点情報３５（図２）は、画像処理装置２００Ａの記憶装置４６に記憶される。画像処理装置２００Ａは、例えば、注目点２１と対応点２５との画像空間におけるズレ量（「視差」とも称される）などに基づいて、被写体７０の距離情報を取得する。
【００２８】
＜（１−１）ステレオカメラ３００について＞
図１に示されるように、ステレオカメラ３００は、第１カメラ９１と第２カメラ９２とを主に備えて構成されている。第１カメラ９１および第２カメラ９２は、それぞれ、不図示の撮影光学系と、所定の画素数の撮像素子を有する制御処理回路とを主に備えて構成されている。ステレオカメラ３００の各種動作は、画像処理装置２００Ａから入出力部４１およびデータ線ＤＬを介して供給される制御信号に基づいて制御される。
【００２９】
第１カメラ９１と第２カメラ９２とは、所定の基線長を隔てて設けられており、ステレオカメラ３００は、画像処理装置２００Ａからの制御信号に応じて、互いに異なる方向から同一の被写体７０をそれぞれ撮影する。ステレオカメラ３００は、撮影した被写体７０からの光線情報を第１カメラ９１と第２カメラ９２とで同期して処理することによって、例えば、３４５６画素×２５９２画素の画素数を有し、被写体のステレオ画像を構成する第１画像１および第２画像２を生成する。第１画像１および第２画像２は、互いに異なる視点から被写体７０がそれぞれ撮影された画像であり、互いに対応する画像内容を含んでいる。生成された第１画像１および第２画像２は、データ線ＤＬを介して画像処理装置２００Ａの入出力部４１へと供給される。
【００３０】
＜（１−２）画像処理装置２００Ａについて＞
図１に示されるように、画像処理装置２００Ａは、ＣＰＵ１１Ａ、入出力部４１、操作部４２、表示部４３、ＲＯＭ４４、ＲＡＭ４５および記憶装置４６を主に備えて構成されており、例えば、汎用のコンピューターでプログラムを実行することなどによって実現される。
【００３１】
○入出力部４１：
入出力部４１は、例えばＵＳＢインタフェース、またはＢｌｕｅｔｏｏｔｈ（登録商標）インタフェースなどの入出力インタフェース、マルチメディアドライブ、およびネットワークアダプタなどのＬＡＮやインターネットに接続するためのインタフェースなどを備えて構成され、ＣＰＵ１１Ａとの間でデータの授受を行うものである。具体的には、入出力部４１は、例えば、ＣＰＵ１１Ａがステレオカメラ３００を制御するための各種の制御信号を、通信回線ＤＬなどを介して入出力部４１に接続されたステレオカメラ３００へと供給する。また、入出力部４１は、ステレオカメラ３００が撮影した第１画像１および第２画像２を画像処理装置２００Ａに供給する。なお、入出力部４１は、予め第１画像１および第２画像２が記憶された光ディスクなどの記憶媒体を受け付けることなどによっても、第１画像１および第２画像２を画像処理装置２００Ａにそれぞれ供給する。
【００３２】
○操作部４２：
操作部４２は、例えば、キーボードあるいはマウスなどによって構成されており、操作者が操作部４２を操作することによって、画像処理装置２００Ａへの各種制御パラメータの設定、画像処理装置２００Ａの各種動作モードの設定などが行われる。また、画像処理装置２００Ａの各機能部は、操作部４２から設定される各動作モードに応じた処理を行うことができるように構成されている。
【００３３】
○表示部４３：
表示部４３は、例えば、パララックスバリア方式などの３次元表示方式に対応した３次元表示用の液晶表示画面などによって構成されており、被写体の立体画像を構成する第１画像１および第２画像２などが、該表示画面に表示される。また、表示部４３は、画像処理装置２００Ａに関する各種設定情報、および制御用ＧＵＩ（Graphical User Interface）などを、二次元の画像や文字情報として観察者に視認され得るように表示することもできる。
【００３４】
○ＲＯＭ４４：
ＲＯＭ（Read Only Memory）４４は、読出し専用メモリであり、ＣＰＵ１１Ａを動作させるプログラムＰＧ１などを格納している。なお、読み書き自在の不揮発性メモリ（例えば、フラッシュメモリ）が、ＲＯＭ４４に代えて使用されてもよい。
【００３５】
○ＲＡＭ４５：
ＲＡＭ（Random Access Memory）４５は、読み書き自在の揮発性メモリであり、画像処理装置２００Ａが取得、または処理した各種画像などを一時的に記憶する画像格納部として機能する。また、ＲＡＭ４５は、ＣＰＵ１１Ａの処理情報を一時的に記憶するワークメモリなどとしても機能する。なお、後述するＣＰＵ１１Ａにおける各機能部の間での画像（画像データ）などの授受は、ＲＡＭ４５を介して行なわれる。
【００３６】
○記憶装置４６：
記憶装置４６は、例えば、フラッシュメモリなどの読み書き自在な不揮発性メモリやハードディスク装置等によって構成されており、画像処理装置２００Ａの各種制御パラメータや各種動作モードなどの情報を恒久的に記録する。該各種制御パラメータとしては、例えば、第１規則情報５７および第２規則情報５８（図２）が、操作部４２を介した入力などによって記憶されている。第１規則情報５７は、画像空間におけるブロックの設定に関する第１規則を規定した情報であり、第２規則情報５８は、画像空間におけるブロックの設定に関する第２規則を規定した情報である。第１規則情報５７および第２規則情報５８には、例えば、画像空間における空間的な基準点に対するブロックの形状、空間的な大きさ、および該基準点に対するブロックの配置情報などの各パラメータが含まれる。第１規則情報５７および第２規則情報５８は、ＣＰＵ１１Ａによって取得され、画像空間におけるブロック（「空間ブロック」とも称される）の設定に用いられる。なお、ＣＰＵ１１Ａは、第１規則情報５７および第２規則情報５８を記憶装置４６に記憶された各パラメータのままで用いることができるだけでなく、ブロックが設定される画像の情報等に応じて、該各パラメータを変更して用いることもできる。また、記憶装置４６には、画像処理装置２００Ａが取得した対応点情報３５なども恒久的に記憶される。
【００３７】
○ＣＰＵ１１Ａ：
ＣＰＵ（Central Processing Unit）１１Ａは、画像処理装置２００Ａの各機能部を統轄制御する制御処理装置であり、ＲＯＭ４４に格納されたプログラムＰＧ１などに従った制御および処理を実行する。ＣＰＵ１１Ａは、図２を用いて後述するように、取得部１２、注目点設定部１３、第１設定部１４、第１演算部１５、抽出部１６、第２設定部１７、第２演算部１８、および決定部１９としても機能する。ＣＰＵ１１Ａは、これらの機能部などによって、第１画像１および第２画像２をそれぞれ処理することによって、第１画像１上に設定された注目点２１（図３）に対応する第２画像２上の対応点２５（図３）を決定する。決定された対応点２５に関する対応点情報３５は、記憶装置４６などに記憶され、ＣＰＵ１１Ａによって、撮影された被写体の距離情報の取得などに用いられる。また、ＣＰＵ１１Ａは、ステレオカメラ３００の撮像動作の制御を行うとともに、表示部４３を制御して、各種画像、算出結果、および各種制御情報などを表示部４３に表示させる。
【００３８】
また、ＣＰＵ１１Ａ、入出力部４１、操作部４２、表示部４３、ＲＯＭ４４、ＲＡＭ４５、記憶装置４６等のそれぞれは、信号線４９を介して電気的に接続されている。したがって、ＣＰＵ１１Ａは、例えば、入出力部４１を介したステレオカメラ３００の制御およびステレオカメラ３００からの画像情報の取得、および表示部４３への表示等を所定のタイミングで実行できる。なお、図２に示される構成例では、取得部１２、注目点設定部１３、第１設定部１４、第１演算部１５、抽出部１６、第２設定部１７、第２演算部１８、および決定部１９などの各機能部は、ＣＰＵ１１Ａで所定のプログラムＰＧ１を実行することによって実現されているが、これらの各機能部はそれぞれ、例えば、専用のハードウェア回路などによって実現されてもよい。
【００３９】
＜（１−３）画像処理装置２００Ａの要部の構成について＞
図２は、実施形態に係る画像処理装置２００Ａの要部の構成例を示す機能ブロック図である。図２に示されるように、画像処理装置２００Ａの要部は、ＣＰＵ１１Ａ、入出力部４１、記憶装置４６などによって構成される。また、ＣＰＵ１１Ａは、取得部１２、注目点設定部１３、第１設定部１４、第１演算部１５、抽出部１６、第２設定部１７、第２演算部１８、および決定部１９などの各機能部としても機能する。
【００４０】
図３および図４は、画像処理装置２００Ａの各機能部が行なう処理の概要を説明するための図である。注目点２１（図３、図４）は、第１画像１上に設定された注目点であり、第１画像１上に設定された第１基準ブロック５１（図３）は、注目点２１を空間的に内包するブロックである。第１参照ブロック５２ａおよび５２ｂ（図３）は、それぞれ、第２画像２上に設定された複数の第１参照ブロック５２（図３）を構成する各ブロックの１例である。
【００４１】
また、図５は、複数の第１参照ブロック５２のそれぞれと、第１指標値７１（図２）との対応関係を例示するグラフ８１を示す図である。第１指標値７１は、第１基準ブロック５１と、複数の第１参照ブロック５２とのそれぞれとの画像内容の類似度をそれぞれ表現した指標値である。閾値ＴＨ１（図５）は、対応点の候補であるか否かの判定に関する所定の閾値である。図５に示されるように、各第１指標値７１のうち、閾値ＴＨ１よりも大きい指標値は、第１指標値７１ａおよび７２ａの２つである。なお、第１指標値７１ａおよび７２ａは、第１参照ブロック５２ａおよび５２ｂ（図３）にそれぞれ対応した第１指標値７１である。図３に示されるように、第１参照ブロック５２ａおよび５２ｂには、候補点２３ａおよび２３ｂがそれぞれ空間的に内包されている。そして、候補点２３ａおよび２３ｂは、注目点２１に対応する第２画像２上の対応点２５（図３、図４）の複数の候補点２３（図３、図４）を構成している。
【００４２】
第２基準ブロック５３ａおよび５３ｂ（図４）は、候補点２３ａおよび２３ｂをそれぞれ内包するように第２画像２上にそれぞれ設定されたブロックである。第２基準ブロック５３ａおよび５３ｂは、複数の第２基準ブロック５３（図４）を構成している。また、第２参照ブロック５４（図４）は、第１画像１上に設定された１以上のブロックである。
【００４３】
図６は、複数の第２基準ブロック５３（図４）と、第２指標値７２（図２）との対応関係を例示するグラフ８２を示す図である。図６においては、候補点２３ａおよび２３ｂ（図３、図４）にそれぞれ対応した第２基準ブロック５３ａおよび５３ｂ（図４）と、第２指標値７２との関係が示されている。第２指標値７２は、複数の候補点２３、すなわち候補点２３ａおよび２３ｂのそれぞれについて、対応点２５としての選択の適性をそれぞれ表現した指標値である。グラフ８２に示されるように、第２基準ブロック５３ａについての第２指標値７２ａは、第２基準ブロック５３ｂについての第２指標値７２ｂよりも高い値である。すなわち、グラフ８２に示される例においては、第２基準ブロック５３ａに内包された候補点２３ａが、対応点２５であると決定される。
【００４４】
以下に、画像処理装置２００Ａの取得部１２、注目点設定部１３、第１設定部１４、第１演算部１５、抽出部１６、第２設定部１７、第２演算部１８、および決定部１９について説明する。
【００４５】
○取得部１２：
取得部１２は、入出力部４１から供給される第１画像１（図３）および第２画像２（図３）を取得する。取得された第１画像１および第２画像２は、互いに対応する画像内容を含んでおり、取得部１２から、注目点設定部１３、第１設定部１４、第１演算部１５、および第２演算部１８に供給される。
【００４６】
○注目点設定部１３：
注目点設定部１３は、各種の画像処理による画像上の特徴点の抽出、または、所定の規則による設定などにより、第１画像１上に注目点２１（図３）を設定し、設定した注目点２１の座標を注目点情報３１（図２）として取得する。取得された注目点情報３１は、第１設定部１４、抽出部１６、第２設定部１７、および第２演算部１８に供給される。
【００４７】
○第１設定部１４：
第１設定部１４は、注目点情報３１に基づいて、注目点２１を空間的に内包する第１基準ブロック５１（図３）を設定し、設定した第１基準ブロック５１の領域情報である第１基準ブロック情報６１（図２）を取得する。また、第１設定部１４は、第２画像２上に複数の第１参照ブロック５２（図３）を設定し、設定した複数の第１参照ブロック５２のそれぞれに関する領域情報である複数の第１参照ブロック情報６２（図２）を取得する。取得された第１基準ブロック情報６１および複数の第１参照ブロック情報６２は、第１演算部１５および抽出部１６に供給される。
【００４８】
なお、第１設定部１４は、画像空間におけるブロックの設定に関する第１規則を規定した第１規則情報５７を記憶装置４６から取得して、第１基準ブロック５１と、複数の第１参照ブロック５２とのうち少なくとも複数の第１参照ブロック５２の設定に用いる。より具体的には、第１設定部１４は、例えば、第２画像２上に予め設定された複数の探索基準点をそれぞれ空間的な基準点として、該複数の探索基準点のそれぞれに対して、第１規則をそれぞれ適用することにより複数の第１参照ブロック５２をそれぞれ設定する。
【００４９】
また、第１設定部１４は、初期設定（デフォルト）の動作モードにより、第１基準ブロック５１の設定にも、通常、第１規則を適用するが、動作モードの変更に応じて、第１規則以外の他の規則が適用されたとしても本発明の有用性を損なうものではない。該他の規則が用いられた結果、第１基準ブロック５１と、各第１参照ブロック５２との形状または空間的なサイズが異なる場合には、第１演算部１５における第１ブロックマッチングに先立って、双方の形状および空間的なサイズを等しくするために、例えば、画像のトリミング、変形、または拡張処理などが行なわれる。また、第１規則情報５７に係る第１規則と、後述する第２規則情報５８に係る第２規則とは、初期設定モードにおいては、空間的な基準点に対するブロックの設定態様が空間的に互いに異なっている。しかしながら、動作モードの変更に応じて、第１規則と第２規則との空間的な基準点に対するブロックの設定態様が空間的に互いに等しくされて用いられたとしても、本発明の有用性を損なうものではない。
【００５０】
○第１演算部１５：
第１演算部１５は、第１画像１、第２画像２、第１基準ブロック情報６１、および複数の第１参照ブロック情報６２に基づいて、注目点２１を空間的に内包する第１基準ブロック５１と、複数の第１参照ブロック５２のそれぞれとの第１ブロックマッチングを行なう。第１演算部１５は、該第１ブロックマッチングによって第１基準ブロック５１と、複数の第１参照ブロック５２のそれぞれとの画像内容の類似度をそれぞれ表現した複数の第１指標値７１（図２）を取得する。取得された複数の第１指標値７１は、抽出部１６および第２設定部１７へと供給される。
【００５１】
○抽出部１６：
抽出部１６は、注目点情報３１、複数の第１指標値７１、第１基準ブロック情報６１および複数の第１参照ブロック情報６２に基づいて、注目点２１に対応した対応点２５（図３）の複数の候補点２３（図３）を第２画像２においてそれぞれ抽出する。抽出部１６は、抽出した複数の候補点２３のそれぞれの座標情報である複数の候補点情報３３を取得し、複数の候補点情報３３を第２設定部１７、第２演算部１８、および決定部１９へと供給する。
【００５２】
○第２設定部１７：
第２設定部１７は、複数の候補点情報３３に基づいて、複数の候補点２３をそれぞれ空間的に内包する複数の第２基準ブロック５３を設定し、設定した第２基準ブロック５３の領域情報である第２基準ブロック情報６３（図２）を取得する。また、第２設定部１７は、動作モードに応じて注目点情報３１を適宜使用することなどによって、第１画像１上に１以上の第２参照ブロック５４を設定し、設定した第２参照ブロック５４のそれぞれに対して、領域情報である１以上の第２参照ブロック情報６４（図２）をそれぞれ取得する。取得された複数の第２基準ブロック情報６３と、１以上の第２参照ブロック情報６４とは、第２演算部１８に供給される。
【００５３】
なお、第２設定部１７は、画像空間におけるブロックの設定に関する第２規則を規定した第２規則情報５８を記憶装置４６から取得して、複数の第２基準ブロック５３と、１以上の第２参照ブロック５４とのうち、少なくとも複数の第２基準ブロック５３の設定に用いる。より具体的には、第２設定部１７は、複数の候補点２３をそれぞれ空間的な基準点として、複数の候補点２３のそれぞれに対して、第２規則をそれぞれ適用することにより複数の第２基準ブロック５３をそれぞれ設定する。
【００５４】
また、第２設定部１７は、初期設定（デフォルト）の動作モードにより、１以上の第２参照ブロック５４の設定にも、通常、第２規則を適用するが、動作モードの変更に応じて、第２規則以外の他の規則が適用されたとしても本発明の有用性を損なうものではない。該他の規則が用いられた結果、第２基準ブロック５３と、第２参照ブロック５４との形状または空間的なサイズが異なる場合には、第２演算部１８における第２ブロックマッチングに先立って、双方の形状および空間的なサイズを等しくするために、例えば、画像のトリミング、変形、または拡張処理などが行なわれる。
【００５５】
○第２演算部１８：
第２演算部１８は、複数の第２基準ブロック５３のそれぞれと、第１画像１上に予め設定された第２参照ブロック５４との第２ブロックマッチングにより、複数の候補点２３のそれぞれについて、対応点２５としての選択の適性を表現した複数の第２指標値７２（図２）を取得する。なお、第２演算部１８は、他の各機能部からそれぞれ供給される各情報のうち、少なくとも第１画像１、第２画像２、複数の第２基準ブロック情報６３、および１以上の第２参照ブロック情報６４に基づいて複数の第２指標値７２を取得する。また、取得された複数の第２指標値７２は、決定部１９に供給される。
【００５６】
○決定部１９：
決定部１９は、複数の候補点情報３３と複数の第２指標値７２とに基づいて、複数の候補点２３の中から１つを対応点２５として選択することにより、対応点２５を決定する。決定部１９は、決定した対応点２５の座標を対応点情報３５として取得し、記憶装置４６に記憶する。
【００５７】
上述したように、画像処理装置２００Ａにおいては、第１ブロックマッチングによって第１画像１上の注目点２１に対応した対応点２５の複数の候補点２３が、第２画像２においてそれぞれ抽出される。そして、複数の候補点２３をそれぞれ空間的に内包する複数の第２基準ブロック５３と、第１画像１上の第２参照ブロック５４との第２ブロックマッチングの結果に基づいて、該複数の候補点２３の中から対応点２５が決定される。従って、決定された対応点２５の対応点としての信頼度が改善され得る。
【００５８】
＜（２）画像処理装置２００Ａの動作について＞
図２４、および図２５は、実施形態に係る画像処理装置２００Ａが第１画像１上の注目点２１（図４）に対応した第２画像２上の対応点２５（図４）を決定する処理の動作フローＳ１０Ａの１例を示す図である。以下に、図２４、および図２５を適宜参照しつつ、画像処理装置２００Ａの動作について説明する。
【００５９】
＜（２−１）ステップＳ１０：画像の取得工程＞
画像処理装置２００Ａからの指示に応じたステレオカメラ３００による被写体７０の撮影動作によって、第１画像１および第２画像２が取得されて画像処理装置２００Ａに供給されると、取得部１２（図２）は、入出力部４１を介して第１画像１および第２画像２（図１〜図３）を取得する（図２４のステップＳ１０）。取得された第１画像１および第２画像２は、注目点設定部１３、第１設定部１４、第１演算部１５、および第２演算部１８に供給される。
【００６０】
＜（２−２）ステップＳ２０：注目点の設定工程＞
第１画像１および第２画像２が取得されると、注目点設定部１３（図２）は、各種の画像処理による画像上の特徴点の抽出、または、所定の規則による設定などにより、第１画像１上に注目点２１（図３）を設定（図２４のステップＳ２０）し、設定した注目点２１の座標を注目点情報３１（図２）として取得する。取得された注目点情報３１は、第１設定部１４、抽出部１６、第２設定部１７、および第２演算部１８に供給される。
【００６１】
＜（２−３）ステップＳ３０：第１基準ブロックの設定工程＞
注目点情報３１が取得されると、第１設定部１４（図２）は、注目点情報３１に基づいて、注目点２１を空間的に内包する第１基準ブロック５１（図３）を設定（図２４のステップＳ３０）し、設定した第１基準ブロック５１の領域情報である第１基準ブロック情報６１（図２）を取得する。取得された第１基準ブロック情報６１は、第１演算部１５および抽出部１６に供給される。
【００６２】
図７は、第１基準ブロック５１および第１参照ブロック５２の設定例を示す図である。図７に示されるように、第１設定部１４は、注目点２１を空間的な基準点として、例えば、第１規則情報５７に基づいて第１規則を適用することにより第１参照ブロック５２を第１画像１（図３）上に設定する。第１規則を規定した第１規則情報５７（図１、図２）には、例えば、画像空間における空間的な基準点に対するブロックの形状、空間的な大きさ、および該基準点に対するブロックの配置情報などの各パラメータが含まれる。また、該各パラメータは、適宜変更可能であり、また、初期設定時の該各パラメータも適宜変更可能である。なお、図７に関する第１規則は、初期設定時のパラメータに対応した第１規則である。
【００６３】
＜（２−４）ステップＳ４０：第１参照ブロックの設定工程＞
第１基準ブロック５１が設定されると、第１設定部１４は、第２画像２上に複数の第１参照ブロック５２（図３）を設定（図２４のステップＳ４０）し、設定した複数の第１参照ブロック５２のそれぞれに関する領域情報である複数の第１参照ブロック情報６２（図２）を取得する。具体的には、第１設定部１４は、例えば、先ず、第２画像２上に予め設定された複数の探索基準点をそれぞれ設定し、次に、設定された複数の探索基準点をそれぞれ空間的な基準点として、複数の第１参照ブロック５２をそれぞれ設定する。なお、複数の第１参照ブロック５２は、該複数の探索基準点のそれぞれに対して、第１規則がそれぞれ適用されることにより設定される。図７の設定例においては、第１設定部１４は、探索基準点２２を空間的な基準点として、第１規則によって第２画像２上（図３）に第１参照ブロック５２を設定している。第１設定部１４は、取得した複数の第１参照ブロック情報６２を第１演算部１５および抽出部１６に供給する。
【００６４】
なお、例えば、図１０に示されるように、探索基準点２２は、第２画像２上で画素サイズ単位でシフトされて設定されても良く、数画素毎のステップ移動、または不規則な離散的設定により設定されても良い。また、第２画像２が格子によって分割されて、各格子点がそれぞれ探索基準点２２として設定されても良い。
【００６５】
なお、後述するブロックマッチングの手法として周波数分析を行う手法が選択される場合には、高速フーリエ変換（ＦＦＴ）を用いて必要な演算回数を抑制し、処理の高速化を図る観点から、設定されるブロックのサイズは、水平方向画素数と垂直方向画素数とを２のべき乗で表される画素数とされることが望ましい。
【００６６】
＜（２−５）ステップＳ５０：第１ブロックマッチング工程＞
第１基準ブロック５１および複数の第１参照ブロック５２が設定されると、第１演算部１５は、第１画像１、第２画像２、第１基準ブロック情報６１、および複数の第１参照ブロック情報６２に基づいて、注目点２１を空間的に内包する第１基準ブロック５１と、複数の第１参照ブロック５２のそれぞれとの第１ブロックマッチングを行なう（図２４のステップＳ５０）。
【００６７】
＜（２−６）ステップＳ６０：第１指標値の取得工程＞
次に、第１演算部１５は、第１ブロックマッチングの演算結果に基づいて、第１基準ブロック５１と、複数の第１参照ブロック５２のそれぞれとの画像内容の類似度をそれぞれ表現した複数の第１指標値７１（図２）を取得する（図２４のステップＳ６０）。取得された複数の第１指標値７１は、抽出部１６および第２設定部１７へと供給される。ステップＳ５０およびＳ６０は、第１演算工程として機能する。
【００６８】
＜（２−７）ステップＳ７０：対応点の抽出工程＞
複数の第１指標値７１が取得されると、抽出部１６は、注目点情報３１、複数の第１指標値７１、第１基準ブロック情報６１および複数の第１参照ブロック情報６２に基づいて、注目点２１に対応した対応点２５（図３）の複数の候補点２３（図３）を第２画像２においてそれぞれ抽出する（図２４のステップＳ７０）。抽出部１６は、抽出した複数の候補点２３のそれぞれの座標情報である複数の候補点情報３３を取得し、複数の候補点情報３３を第２設定部１７、第２演算部１８、および決定部１９へと供給する。ステップＳ７０は、抽出工程として機能する。
【００６９】
ここで、上述したステップＳ５０〜Ｓ７０に関する第１ブロックマッチングおよび、後述するステップＳ１００〜Ｓ１１０に関する第２ブロックマッチングは、相関演算手法を用いたブロックマッチング（パターンマッチング）処理によって行なわれる。該相関演算手法としては、例えば、ＮＣＣ（Normalized Cross Correlation）法、ＳＡＤ（Sum of Absolute Difference）法、またはＰＯＣ（Phase Only Correlation）法などの相関演算手法が採用され得る。
【００７０】
次に、ＳＡＤ法とＰＯＣ法とがそれぞれ採用される場合を例として、基準ブロック５１と参照ブロック５２の画像間の相関を求める第１ブロックマッチングにより候補点２３を抽出する手法について説明する。
【００７１】
○ＳＡＤ法を用いた第１ブロックマッチングによる候補点抽出処理：
図９は、ＳＡＤ法を用いた第１ブロックマッチングによる候補点抽出処理（候補点探索処理）の例を説明する図である。図９に示される第１画像１上にはＸ座標がｈ２である注目点２１が設定されており、注目点２１に対して基準ブロック５１が設定されている。基準ブロック５１のＸ方向の両端のＸ座標は、ｈ１とｈ３である。また、第２画像２上には、注目点２１に対応する候補点２３が示されている。ここでは、ＳＡＤ法を用いて候補点２３が抽出される例について説明する。
【００７２】
また、図９に示されるように、第２画像２上には、Ｘ座標がｘｓである探索基準点２２ｓからＸ座標がｘｅである探索基準点２２ｅまで、Ｘ座標がｘｓ≦ｘ≦ｘｅの範囲で１画素ごとに複数の探索基準点２２（図３）が設定されている。そして、これら複数の探索基準点２２の代表として両端の探索基準点２２ｓ、２２ｅのみが記載されている。該複数の探索基準点２２には、それぞれ基準ブロック５１と同サイズの複数の参照ブロックが設定されており、該複数の参照ブロックの代表として両端の参照ブロック５２ｓ、５２ｅのみが記載されている。
【００７３】
ここで、図９においては説明を簡単にするため、注目点２１と複数の探索基準点２２ｓ〜２２ｅのＹ座標は同じであり、従って、基準ブロック５１と、参照ブロック５２ｓ〜５２ｅのＹ方向の座標のずれ量は無いように設定されている。また、注目点２１と、求められるべき候補点２３のＹ座標も一致するように設定されている。
【００７４】
次に、参照ブロック５２ｓ〜５２ｅの各参照ブロック内の各画像と、基準ブロック５１内の画像との相関値（類似度）が演算される。基準ブロックと参照ブロックのＸ方向、Ｙ方向の座標のずれ量（視差）をそれぞれ視差ｘｄ、ｙｄとする。図９の例では、視差ｘｄの範囲はｘｓ−ｈ２〜ｘｅ−ｈ２であり、視差ｙｄは０である。
【００７５】
基準ブロック５１内の各画素（xｉ，yｊ）の画素値をＩｍｇ１（xｉ，yｊ）、Ｘ方向、Ｙ方向の視差が、視差ｘｄ、ｙｄである参照ブロック５２内の各画素（ｘｉ＋ｘｄ，yｊ＋ｙｄ）の画素値をＩｍｇ２（ｘｉ＋ｘｄ，yｊ＋ｙｄ）とすると、（１）式、（２）式を用いた演算によって基準ブロック５１内の画像と参照ブロック５２内の画像の相関値ＣＯＲｐが算出される。
【００７６】
【数１】
0005712810.tif 000002
【００７７】
参照ブロックが５２ｓから５２ｅにわたって走査されるように、Ｘ方向の視差ｘｄをｘｓ−ｈ２〜ｘｅ−ｈ２の範囲で変更しつつ、（１）式および（２）式によって各視差ｘｄに対する相関値ＣＯＲｐが算出されると、図９に示すグラフＵ１のように第２画像２のＸ座標と相関値ＣＯＲｐとの関係が明らかになる。
【００７８】
図９の例では、座標ｘＭにおいて、グラフＵ１における相関値ＣＯＲｐの最大値が与えられているので、探索基準点のＸ座標がｘＭと一致する参照ブロックが、相関値ＣＯＲｐの最大値を与える参照ブロックであり、該参照ブロックの探索基準点と、注目点２１に対応する候補点２３とは一致する。
【００７９】
図１０はＳＡＤ法における参照ブロック５２の走査態様を例示する図であり、第２画像２の全域に参照ブロック５２を走査させている。ＳＡＤ法はＰＯＣ法に比べて演算量が少なく高速な処理が可能であるので、画素数が多い第２画像２にＳＡＤ法による候補点抽出処理を適用し、図１０に示される全域走査を行っても処理時間が短くなる。
【００８０】
従ってＳＡＤ法を用いる場合には、候補点２３に近い探索基準点２２を設定することなく、画像の全域にわたって参照ブロックの走査を行って視差特定をしても、周波数分析を行う手法を用いる場合に比べて短時間で候補点抽出処理を行うことができるので、探索基準点２２を求める処理コストを削減することが可能となる。
【００８１】
なお、ＳＡＤ法以外にも、例えば、ＳＳＤ（濃度差の二乗和）法などを差分型探索手法として採用しても本発明の有用性を損なうものではない。
【００８２】
○ＰＯＣ法を用いた第１ブロックマッチングによる候補点抽出処理：
図１１は、ＰＯＣ法を用いた第１ブロックマッチングによる候補点抽出処理（候補点探索処理）の手順の１例を示す図である。
【００８３】
ＰＯＣ法は、周波数分析を使用した相関法であって、かつ、振幅成分を抑制した相関法である。同様の相関法として、ＤＣＴ符号限定相関法（参考論文：「画像信号処理と画像パターン認識の融合−ＤＣＴ符号限定相関とその応用」貴塚仁志）などが知られている。これらの相関法は、パターンの周波数分析信号から、振幅成分を抑制した位相成分のみの信号に基づいて類似度演算を行うため、画像を取得するためのステレオカメラ３００における撮影条件の差（ここでは、第１カメラ９１、第２カメラ９２における撮影条件の差）や、ノイズなどの影響を受けにくく、ロバストな候補点探索が可能である。
【００８４】
また、ＳＡＤ法が、１組の基準ブロックと参照ブロックに対して１つの相関値（ＣＯＲｐ値）のみを出力するため、相関値が最も高い参照ブロック、すなわち、相関値が最も高い視差を特定するためには複数の参照ブロックにわたって、参照ブロックの走査を行う必要があるのに対して、ＰＯＣ法などの周波数分析を使用した相関法は、１組の基準ブロックと参照ブロックの画像に対して、画像間の相関値とともに、相関値が最も高くなる画像間の視差が求められるので、候補点が該参照ブロック内に存在する場合には、参照ブロックの走査を行う必要がない。
【００８５】
以下に、第１画像１に対する基準ブロック５１内の画像と、第２画像２に対する参照ブロック５２内の画像とを候補点抽出処理の対象として注目点に対して候補点を求める場合を例に、ＰＯＣ法の基本原理を説明する。
【００８６】
先ず、第１画像１に対して基準ブロック５１を設定する基準ブロック設定処理Ｔ１ａ、および第２画像２に対して参照ブロック５２を設定する参照ブロック設定処理Ｔ１ｂが行われる。
【００８７】
基準ブロック５１内の画像領域と、参照ブロック５２内の画像領域とは、次の（３）式、（４）式のように表されるものとする。
【００８８】
【数２】
0005712810.tif 000003
【００８９】
ここで、（３）式のｆ0(ｎ1,ｎ2)および（４）式のｇ0(ｎ1,ｎ2)は、基準ブロック５１内および参照ブロック５２内の画素の画素値を示している。また、Ｎ1およびＮ2は、例えばＮ1＝２Ｍ1＋１、Ｎ2＝２Ｍ2＋１と設定されている。
【００９０】
次に、周波数分析を行う前に、ブロック領域の端部での不連続性の影響を取り除くために窓関数を用いた窓関数処理Ｔ２ａおよびＴ２ｂを行う。
【００９１】
窓関数は、例えば、（５）式のH(ｎ1,ｎ2)で与えられるハニング窓が採用され、窓関数処理Ｔ２ａおよびＴ２ｂは、基準ブロック５１内および参照ブロック５２内の各画素の画素値に（５）式の窓関数の出力値を乗ずる演算（６）式および（７）式でそれぞれ与えられる。
【００９２】
【数３】
0005712810.tif 000004
【００９３】
窓関数としては、ハニング窓の他に、例えば、ハミング窓、カイザー窓などが採用される。
【００９４】
次に、基準ブロック５１、参照ブロック５２内の各画像領域に対し、（８）式、（９）式で示す演算式を用いて、図１１に示される２次元のフーリエ変換処理Ｔ３ａ、Ｔ３ｂが行われる。
【００９５】
【数４】
0005712810.tif 000005
【００９６】
なお、（８）式、（９）式の下部ただし書におけるＷの添字Ｐには、Ｎ1、Ｎ2が代入され、またｋの添字ｓには、１、２が代入される。ここで、周波数分析の処理は必ずしもフーリエ変換である必要はなく、離散コサイン変換、離散サイン変換、ウェーブレット変換又はアダマール変換の何れかを含んでいても良い。
【００９７】
このようなフーリエ変換処理Ｔ３ａ、Ｔ３ｂが施された各画像領域に対しては、（１０）式で示す演算式を用いて、画像の振幅成分を除去するための正規化処理Ｔ４ａ、Ｔ４ｂが行われる。
【００９８】
【数５】
0005712810.tif 000006
【００９９】
正規化処理Ｔ４ａ、Ｔ４ｂが完了すると、（１１）式で示す演算式を用いた正規化クロス・パワースペクトル算出処理Ｔ５が行われる。
【０１００】
【数６】
0005712810.tif 000007
【０１０１】
正規化クロス・パワースペクトル算出処理Ｔ５が完了すると、（１２）式で示す演算式を用いた２次元の逆フーリエ変換処理Ｔ６が行われる。これにより、基準ブロック５１と参照ブロック５２内の各画像間の相関演算が実施されることとなり、その結果(ＰＯＣ値)が出力される。
【０１０２】
【数７】
0005712810.tif 000008
【０１０３】
以上の処理により、基準ブロック５１内の画像と参照ブロック５２内の画像との相関を示す演算結果(ＰＯＣ値)が得られ、例えば、図１２で示すような結果（ＰＯＣ値）が得られる。
【０１０４】
図１２は、ＰＯＣ値の例を示す図である。図１２においては、ブロック(Ｎ1×Ｎ2)内で相関が高い箇所のＰＯＣ値が大きくなっている。ＰＯＣ値のピークＳを与える座標が、基準ブロック５１内の画像と参照ブロック５２内の画像との相関が最も高くなる視差を示す。
【０１０５】
ＰＯＣ法を用いた候補点抽出処理では、ＰＯＣ法を用いて特定された視差と、基準ブロック５１内の注目点２１の位置とに基づいた候補点抽出処理Ｔ７によって、注目点２１に対応した参照ブロック５２内の候補点２３が抽出される。
【０１０６】
以上のように、ＰＯＣ法を用いた候補点抽出処理によれば、画像の振幅成分が除去され、画像の位相成分のみに基づいて相関演算が行われるため、画素値の変動やノイズの影響が抑制されて候補点が精度良く検出される。
【０１０７】
なお、画像処理装置２００Ａにおいては、注目点２１、候補点２３、および対応点２５などが、画素サイズ単位で特定されたとしても、また、画素サイズ以下のサブピクセル単位で特定されたとしても本発明の有用性を損なうものではない。本願の各図面においては、注目点、候補点、および対応点などが、画素単位で特定（抽出）される場合に対応した図面が適宜記載されている。
【０１０８】
＜（２−８）ステップＳ８０：第２基準ブロックの設定工程＞
複数の候補点２３が抽出されると、第２設定部１７は、複数の候補点情報３３に基づいて、複数の候補点２３をそれぞれ空間的に内包する複数の第２基準ブロック５３を第２画像２上で設定し（図２５のステップＳ８０）、設定した第２基準ブロック５３の領域情報である第２基準ブロック情報６３（図２）を取得する。取得された複数の第２基準ブロック情報６３は、第２演算部１８に供給される。
【０１０９】
より具体的には、第２設定部１７は、複数の候補点２３をそれぞれ空間的な基準点として、複数の候補点２３のそれぞれに対して、第２規則をそれぞれ適用することにより複数の第２基準ブロック５３をそれぞれ設定する。第２規則を規定した第２規則情報５８（図１、図２）には、例えば、画像空間における空間的な基準点に対するブロックの形状、空間的な大きさ、および該基準点に対するブロックの配置情報などの各パラメータが含まれる。該各パラメータは、適宜変更可能であり、また、初期設定時の該各パラメータも適宜変更可能である。
【０１１０】
図８は、第２基準ブロック５３および第２参照ブロック５４の設定例を示す図である。図８に示されるように、第２設定部１７は、候補点２３を空間的な基準点として、第１規則情報５８により規定された第２規則を適用することにより第２基準ブロック５３を第２画像２（図３）上に設定する。なお、図８に関する第２規則は、初期設定時のパラメータに対応した第２規則である。
【０１１１】
図７および図８の設定例に示されるように、第１規則と第２規則とは、初期設定モードにおいては、空間的な基準点に対するブロックの設定態様が空間的に互いに異なっている。しかしながら、動作モードの変更などに応じて、第１規則と第２規則との空間的な基準点に対するブロックの設定態様が空間的に互いに等しくされて用いられたとしても、本発明の有用性を損なうものではない。
【０１１２】
次に、第２基準ブロック５３の各種の設定例について説明する。図１３〜図２０は、第２基準ブロック５３の設定例をそれぞれ示す図である。図１３〜図２０における第１参照ブロック５２は、複数の候補点２３の抽出に用いられた複数の第１参照ブロック５２（図３）の１つである。図１３〜図２０における第１参照ブロック５２は、それぞれ共通の第１規則によって設定されている。
【０１１３】
また、第１参照ブロック５２（図１３〜図２０）の中には、第２画像２上で抽出された複数の候補点２３の一部として注目候補点２３Ｓと候補点２３ｃとが内包されている。注目候補点２３Ｓ（図１３〜図２０）は、第１参照ブロック５２（図１３〜図２０）を対象とした第１ブロックマッチングによってそれぞれ第１参照ブロック５２（図１３〜図２０）の中心において抽出された候補点である。なお、第１参照ブロック５２（図１３〜図２０）のそれぞれとともに第１ブロックマッチングに供された第１画像１上の第１基準ブロック５１（不図示）もまた、第１規則によってそれぞれ設定されている。なお、注目候補点２３Ｓ（図１３〜図２０）は、第２基準ブロック５３（図１３〜図２０）の設定時に、空間的な基準点として用いられる候補点である。
【０１１４】
また、候補点２３ｃ（図１３〜図２０）は、第１参照ブロック５２（図１３〜図２０）以外の他の第１参照ブロック５２を対象とした第１ブロックマッチングによってそれぞれ抽出された候補点である。
【０１１５】
なお、図１３〜図１６に示された等距離線８３は、第２画像２の画像空間において、注目候補点２３Ｓと候補点２３ｃとのそれぞれから等距離にある線である。
【０１１６】
また、図１７に示されたグラフＶ１は、第１参照ブロック５２（図１７）に内包された画像空間において、所定のＹ座標において、Ｘ軸方向の第１指標値７１の分布を示すグラフである。なお、該所定のＹ座標が第１参照ブロック５２（図１７）の範囲内で変更されたとしても、変更後のＹ座標に対するグラフＶ１も、グラフＶ１（図１７）と略同一形状のグラフとなる。
【０１１７】
グラフＶ１に示されるように、Ｘ座標ｘａおよびｘｃにおいて、第１指標値７１は、極大値となり、座標ｘａにおける第１指標値７１の方が、座標ｘｃにおける第１指標値７１よりも大きくなっている。また、座標ｘａおよびｘｃの間の座標ｘｂにおける第１指標値７１は、極小値となっている。座標ｘｂは、境界領域８４（図１７〜図２０）のＸ座標である。従って、境界領域８４（図１７〜図２０）は、Ｘ軸方向の第１指標値７１の分布が極小値となる領域である。
【０１１８】
第２基準ブロック５３（図１３、図１７）の設定に使用された第２規則としては、空間的な基準点に対するブロックの設定態様が第１規則と等しい規則が採用されている。従って、第１参照ブロック５２（図３、図１７）と、第２基準ブロック５３（図３、図１７）とは、注目候補点２３Ｓに対して互いに空間的な設定態様が等しくなっており、第２基準ブロック５３（図３、図１７）においても、注目候補点２３Ｓと候補点２３ｃとの２つの候補点２３が含まれている。
【０１１９】
従って、第２基準ブロック５３（図１３、図１７）が、第２ブロックマッチングに用いられる場合には、候補点２３ｃの影響を受けることにより、注目候補点２３Ｓに対応した第２指標値７２に候補点２３に起因した誤差が含まれる恐れがある。
【０１２０】
そこで、図１４〜図１６、および図１８〜図２０に示された第２基準ブロック５３の設定例においては、注目候補点２３Ｓを空間的な基準点として、当該注目候補点２３Ｓに対して第２規則が適用されることにより設定される当該第２基準ブロック５３に、複数の候補点２３のうち当該注目候補点２３Ｓのみが内包されるように、第２規則の各パラメータが調整されている。
【０１２１】
例えば、第２基準ブロック５３（図１４〜図１６）は、当該第２基準ブロック５３に、複数の候補点２３のうち注目候補点２３Ｓのみが内包されるように、複数の候補点２３の相互の位置関係に応じて当該第２基準ブロックを設定する第２規則によって、それぞれ設定されている。具体的には、第１参照ブロック５２（図１４〜図１６）のうち、等距離線８３に対して候補点２３ｃ側にある領域が、含まれないように、第２基準ブロック５３（図１４〜図１６）がそれぞれ設定されている。
【０１２２】
より詳細には、第２基準ブロック５３（図１４）は、その空間的な大きさが、第１規則に対応した第１参照ブロック５２（図１４）よりも小さく設定されている。また、第２基準ブロック５３（図１５）は、第１参照ブロック５２（図１５）に対してその形状が変形され、第２基準ブロック５３（図１６）は、第１参照ブロック５２（図１６）に対して位置が変更されている。これらの変更によって、第２基準ブロック５３（図１４〜図１６）には、第１参照ブロック５２（図１４〜図１６）のうち、等距離線８３に対して候補点２３ｃ側にある領域が含まれていない。従って、注目候補点２３Ｓ（図１４〜図１６）にそれぞれ対する第２指標値７２に候補点２３ｃなどの他の候補点２３に起因した誤差が含まれる可能性を低減でき得る。また、第２規則が、複数の候補点２３の相互の位置関係に応じて当該第２基準ブロックを設定する規則であれば、該位置関係に基づいた簡単な計算によって、第２基準ブロック５３の設定を調整でき得る。
【０１２３】
なお、複数の候補点２３の相互の位置関係に応じて当該第２基準ブロックを設定する第２規則が採用されないとしても、第１規則と第２規則との空間的な基準点に対するブロックの設定態様が空間的に互いに異なっていれば、図１４〜図１６の例と同様に、他の候補点２３に起因した誤差が含まれる可能性を低減でき得る。従って、第１規則と第２規則との空間的な基準点に対するブロックの設定態様が空間的に互いに異なっていれば、該第２規則が、複数の候補点２３の相互の位置関係に応じて当該第２基準ブロックを設定する規則でないとしても、本発明の有用性を損なうものではない。
【０１２４】
また、例えば、第２基準ブロック５３（図１８〜図２０）は、当該第２基準ブロック５３に、複数の候補点２３のうち注目候補点２３Ｓのみが内包されるように、第２画像２の画像空間における複数の第１指標値７１の空間的な分布状態に応じて当該第２基準ブロックを設定する第２規則によって、それぞれ設定されている。具体的には、第１参照ブロック５２（図１８〜図２０）のうち、境界領域８４に対して候補点２３ｃ側にある領域が、含まれないように、第２基準ブロック５３（図１８〜図２０）がそれぞれ設定されている。
【０１２５】
より詳細には、第２基準ブロック５３（図１８）は、その空間的な大きさが、第１規則に対応した第１参照ブロック５２（図１８）よりも小さく設定されている。また、第２基準ブロック５３（図１９）は、第１参照ブロック５２（図１９）に対してその形状が変形され、第２基準ブロック５３（図２０）は、第１参照ブロック５２（図２０）に対して位置が変更されている。これらの変更によって、第２基準ブロック５３（図１８〜図２０）には、第１参照ブロック５２（図１８〜図２０）のうち、境界領域８４に対して候補点２３ｃ側にある領域が含まれていない。従って、注目候補点２３Ｓ（図１８〜図２０）にそれぞれ対する第２指標値７２に候補点２３ｃなどの他の候補点２３に起因した誤差が含まれる可能性を低減でき得る。
【０１２６】
なお、第２画像２の画像空間における複数の第１指標値７１の空間的な分布状態に応じて当該第２基準ブロックを設定する第２規則が採用されないとしても、第１規則と第２規則との空間的な基準点に対するブロックの設定態様が空間的に互いに異なっていれば、図１８〜図２０の例と同様に、他の候補点２３に起因した誤差が含まれる可能性を低減でき得る。従って、第１規則と第２規則との空間的な基準点に対するブロックの設定態様が空間的に互いに異なっていれば、該第２規則が、第２画像２の画像空間における複数の第１指標値７１の空間的な分布状態に応じて当該第２基準ブロックを設定する規則でないとしても、本発明の有用性を損なうものではない。
【０１２７】
なお、第２規則が、第２画像２の画像空間における複数の第１指標値７１の空間的な分布状態に応じて当該第２基準ブロックを設定する規則であれば、第２規則が、第２画像２の画像空間における複数の第１指標値７１の空間的な分布状態に応じて当該第２基準ブロックを設定する規則である場合に比べて、第１指標値７１の分布状態により直接的に対応した第２基準ブロック５３の設定が可能となる。
【０１２８】
＜（２−９）ステップＳ９０：第２参照ブロックの設定工程＞
複数の第２基準ブロック５３が設定されると、第２設定部１７は、動作モードに応じて注目点情報３１を適宜使用することなどによって、第１画像１上に１以上の第２参照ブロック５４を設定し（図２５のステップＳ９０）、設定した第２参照ブロック５４のそれぞれに対して、領域情報である１以上の第２参照ブロック情報６４（図２）をそれぞれ取得する。取得された１以上の第２参照ブロック情報６４は、第２演算部１８に供給される。
【０１２９】
図８に示される例においては、第２設定部１７は、注目点２１を空間的な基準点として、例えば、第２規則情報５８により規定される第２規則を適用することにより第２参照ブロック５４を第１画像１（図３）上に設定する。
【０１３０】
＜（２−１０）ステップＳ１００：第２ブロックマッチング工程＞
複数の第２基準ブロック５３および１以上の第２参照ブロック５４が設定されると、第２演算部１８は、複数の第２基準ブロック５３のそれぞれと、第１画像１上に予め設定された第２参照ブロック５４との第２ブロックマッチングを行なう（図２５のステップＳ１００）。第２ブロックマッチングは、第１ブロックマッチングと同様に、ＳＡＤ法などの相関演算手法を用いたブロックマッチング（パターンマッチング）処理によって行なわれる。なお、第１ブロックマッチングに使用される相関演算手法と、第２ブロックマッチングに使用される相関演算手法とが、互いに異なる手法であるとしても、本発明の有用性を損なうものではない。
【０１３１】
＜（２−１１）ステップＳ１１０：第２指標値の取得工程＞
次に、第２演算部１８は、第２ブロックマッチングの演算結果に基づいて、複数の候補点２３のそれぞれについて、対応点２５としての選択の適性を表現した複数の第２指標値７２（図２）を取得する（図２５のステップＳ１１０）。取得された複数の第２指標値７２は、決定部１９に供給される。ステップＳ１００およびＳ１１０は、第２演算工程として機能する。
【０１３２】
なお、第２演算部１８は、他の各機能部からそれぞれ供給される各情報のうち、少なくとも第１画像１、第２画像２、複数の第２基準ブロック情報６３、および１以上の第２参照ブロック情報６４に基づいて複数の第２指標値７２を取得する。
【０１３３】
図２１〜図２３は、第２ブロックマッチング処理によって取得される第２指標値７２（図２）の一例を説明するための図である。
【０１３４】
図２１においては、第２画像２上で抽出された候補点２３ａ、２３ｂを空間的な基準点として、第２基準ブロック５３ａ、５３ｂがそれぞれ設定されている。第１画像１上に設定された第２参照ブロック５４ａ、５４ｂは、第２設定部１７によって、予め、第１画像１上の複数の矢印Ｙ１に沿って位置をずらされつつ、それぞれ設定された複数の第２参照ブロック５４のうち一部の第２参照ブロックである。
【０１３５】
また、図２１の例では、第２演算部１８は、複数の第２基準ブロック５３ａ、５３ｂのそれぞれと、第２参照ブロック５４とのブロックマッチングを、当該第２参照ブロック５４の位置を第１画像１上でずらしながら行うことによって第２ブロックマッチングを行っている。具体的には、第２演算部１８は、予め、第２設定部１７により第１画像１上の複数の矢印Ｙ１に沿って設定された複数の第２参照ブロック５４のうちで、第２ブロックマッチングの対象となる第２参照ブロック５４の位置をずらしながら第２ブロックマッチングを行なっている。
【０１３６】
該第２ブロックマッチングによって、第２演算部１８は、第２設定部１７により第１画像１上の複数の矢印Ｙ１に沿って設定された複数の第２参照ブロック５４のうち、第２基準ブロック５３ａとの類似度が最も高い第２参照ブロック５４ａを特定している。第２演算部１８は、該類似度を第２指標値７２ａ（図２１）として取得している。また、同様に、第２演算部１８は、該複数の第２参照ブロック５４のうち第２基準ブロック５３ｂとの類似度が最も高い第２参照ブロック５４ｂを特定している。そして、第２演算部１８は、該類似度を第２指標値７２ｂ（図２１）として取得している。すなわち、第２演算部１８は、第２ブロックマッチングの結果に基づいて、複数の第２基準ブロック５３ａ、５３ｂのそれぞれ毎に、第２画像２上の第２参照ブロックとの最も高い各類似度を取得し、取得した各類似度に基づいて複数の第２指標値７２ａ、７２ｂをそれぞれ取得している。なお、第２指標値７２ａの方が第２指標値７２ｂよりも値が大きく、候補点２３ａが対応点２５として決定される。
【０１３７】
また、第２演算部１８は、動作モードに応じて、第２指標値７２ａ、７２ｂとは異なる第２指標値７２を取得することができる。具体的には、第２演算部１８は、先ず、特定した第２参照ブロック５４ａ、５４ｂ（図２１）に基づいて、複数の候補点２３ａ、２３ｂにそれぞれ対応した第１画像１上の複数の対応点（「参照対応点」とも称される）２４ａ、２４ｂをそれぞれ特定する。そして、第２演算部１８は、第１画像１上の注目点２１（図２１）と、複数の参照対応点２４ａ、２４ｂのそれぞれとの各距離を複数の第２指標値７２ｃ、７２ｄ（図２１）としてそれぞれ取得する。第２指標値７２ｃ、７２ｄは、候補点２３ａ、２３ｂにそれぞれ対応した第２指標値７２である。第２指標値７２ｃの方が、第２指標値７２ｄよりも小さく、候補点２３ａが対応点２５として決定される。
【０１３８】
図２２は、図２１を用いて上述した第２指標値７２の取得とは、異なる手法によって取得される第２指標値７２を説明するための図である。図２２においては、図２１の設定例と同様に、第２画像２上で第２基準ブロック５３ａ、５３ｂが設定されるとともに、候補点２３ａ、２３ｂがそれぞれ抽出されている。また、第２参照ブロック５４（図２２）は、注目点２１（図２２）を空間的な基準点として、第２設定部１７によって設定された１の第２参照ブロックである。
【０１３９】
第２演算部１８は、複数の第２基準ブロック５３ａ、５３ｂ（図２２）のそれぞれと、第２参照ブロック５４（図２２）とのブロックマッチングによって第２ブロックマッチングを行っている。そして、第２演算部１８は、複数の第２基準ブロック５３ａ、５３ｂのそれぞれと、第２参照ブロック５４との各類似度を第２指標値７２ｅ、７２ｆとして取得している。第２指標値７２ｅ、７２ｆは、候補点２３ａ、２３ｂにそれぞれ対応した第２指標値７２である。第２指標値７２ｅの方が、第２指標値７２ｆよりも大きく、候補点２３ａが対応点２５として決定される。
【０１４０】
図２３は、図２１、図２２を用いて上述した第２指標値７２の取得とは、異なる手法によって取得される第２指標値７２を説明するための図である。図２３においては、図２１の設定例と同様に、第２画像２上で第２基準ブロック５３ａ、５３ｂが設定されるとともに、候補点２３ａ、２３ｂがそれぞれ抽出されている。なお、第２基準ブロック５３ａ、第２基準ブロック５３ｂは、図１３〜図２０をそれぞれ用いて上述した各設定例と同様に、第２設定部１７によって予め設定されている。すなわち、第２基準ブロック５３ａ（５３ｂ）は、候補点２３ａ（２３ｂ）を空間的な基準点（注目候補点）として、候補点２３（２３ｂ）に対して第２規則が適用されることにより設定されている。そして、第２基準ブロック５３ａ（５３ｂ）には、各候補点のうち候補点２３ａ（２３ｂ）のみが内包されている。従って、候補点２３ａに対応した第２規則と、候補点２３ｂに対応した第２規則とは、パラメータが互いに異なっている。
【０１４１】
また、第２設定部１７は、注目点２１を空間的な基準点として、候補点２３ａに対応した第２規則と、候補点２３ｂに対応した第２規則とをそれぞれ注目点２１に対して適用することによって複数の候補点２３ａ、２３ｂのそれぞれ毎に第１画像１上に第２参照ブロック５４ａ、５４ｂを予めそれぞれ設定している。
【０１４２】
第２演算部１８は、複数の候補点２３ａ、２３ｂのうち１の候補点２３ａ（２３ｂ）に対応する第２参照ブロック５４ａ（５４ｂ）と、複数の第２基準ブロック５３ａ、５３ｂのうち１の候補点２３ａ（２３ｂ）に対応する第２基準ブロック５３ａ（５３ｂ）とのブロックマッチングを行なっている。従って、第２演算部１８は、複数の候補点２３ａ、２３ｂの中で１の候補点として設定される候補点を変更しながら該ブロックマッチングを行なうことにより第２ブロックマッチングを行っている。
【０１４３】
そして、第２演算部１８は、該第２ブロックマッチングの結果に基づいて、複数の第２基準ブロック５３ａ、５３ｂのそれぞれ毎に、対応する第２参照ブロック５４ａ、５４ｂとの各類似度をそれぞれ取得している。第２演算部１８は、取得した各類似度を第２指標値７２ｇ、７２ｈとしてそれぞれ取得している。第２指標値７２ｇ、７２ｈは、候補点２３ａ、２３ｂにそれぞれ対応した第２指標値７２である。第２指標値７２ｇの方が、第２指標値７２ｈよりも大きく、候補点２３ａが対応点２５として決定される。
【０１４４】
＜（２−１２）ステップＳ１２０：対応点の決定工程＞
複数の第２指標値７２が取得されると、決定部１９は、複数の候補点情報３３と複数の第２指標値７２とに基づいて、複数の候補点２３の中から１つを対応点２５として選択することにより、対応点２５を決定する（図２５のステップＳ１２０）。決定部１９は、決定した対応点２５の座標を対応点情報３５として取得し、記憶装置４６に記憶する。ステップＳ１２０は、決定工程として機能する。
【０１４５】
上述したように、画像処理装置２００Ａによれば、第１ブロックマッチングによって第１画像１上の注目点２１に対応した対応点２５の複数の候補点２３が、第２画像２においてそれぞれ抽出される。そして、複数の候補点２３をそれぞれ空間的に内包する複数の第２基準ブロック５３と、第１画像１上の第２参照ブロック５４との第２ブロックマッチングの結果に基づいて、該複数の候補点２３の中から対応点２５が決定される。従って、決定された対応点２５の対応点としての信頼度が改善され得る。
【０１４６】
＜変形例について＞
以上、本発明の実施の形態について説明してきたが、本発明は上記実施の形態に限定されるものではなく様々な変形が可能である。
【０１４７】
例えば、上述した画像処理システム１００Ａは、画像処理システム１００Ａにおける画像処理装置２００Ａが汎用のコンピューターでプログラムを実行することなどによって実現されている構成であるが、該構成に代えて、画像処理システム１００Ａが、例えば、デジタルカメラ、デジタルビデオカメラ、形態情報端末など１の装置にステレオカメラ３００と画像処理装置２００Ａとを備えたシステムとして実現されても良い。
【符号の説明】
【０１４８】
１００Ａ  画像処理システム
２００Ａ  画像処理装置
３００  ステレオカメラ
１  第１画像
２  第２画像
３１  注目点情報
３３  候補点情報
３５  対応点情報
５１  第１基準ブロック
５２  第１参照ブロック
５３  第２基準ブロック
５４  第２参照ブロック
６１  第１基準ブロック情報
６２  第１参照ブロック情報
６３  第２基準ブロック情報
６４  第２参照ブロック情報
７１  第１指標値
７２  第２指標値
９１  第１カメラ
９２  第２カメラ
【図１】
0005712810.tif 000009
【図２】
0005712810.tif 000010
【図３】
0005712810.tif 000011
【図４】
0005712810.tif 000012
【図５】
0005712810.tif 000013
【図６】
0005712810.tif 000014
【図７】
0005712810.tif 000015
【図８】
0005712810.tif 000016
【図９】
0005712810.tif 000017
【図１０】
0005712810.tif 000018
【図１１】
0005712810.tif 000019
【図１２】
0005712810.tif 000020
【図１３】
0005712810.tif 000021
【図１４】
0005712810.tif 000022
【図１５】
0005712810.tif 000023
【図１６】
0005712810.tif 000024
【図１７】
0005712810.tif 000025
【図１８】
0005712810.tif 000026
【図１９】
0005712810.tif 000027
【図２０】
0005712810.tif 000028
【図２１】
0005712810.tif 000029
【図２２】
0005712810.tif 000030
【図２３】
0005712810.tif 000031
【図２４】
0005712810.tif 000032
【図２５】
0005712810.tif 000033