(57)【要約】【課題】相互のズレが画像内で不均一な複数の画像について算出される類似度を向上させる。【解決手段】画像処理装置であって、第１と第２の画像とを取得する取得手段と、複数の部位で前記第２の画像を局所的に変形した派生画像の画像データを生成する生成手段と、前記第１の画像と前記派生画像との画像データに基づいたパターンマッチング演算によって、前記第１と前記第２の画像との類似度を算出する算出手段とを備える。そして、画素座標が互いに対応する画素として、前記第１の画像の注目画素と、前記第２の画像の対応画素と、前記派生画像の派生対応画素とを定義したとき、前記生成手段は、前記注目画素に対して、前記対応画素を空間的に内包する内包領域を前記第２の画像において設定する手段と、前記注目画素の画素値と、前記内包領域内の複数の画素の画素値との一致度に基づいて、前記派生対応画素の画素値の取得処理を行う画素値取得手段とを備える。【選択図】図２
2012093999.tif 000002
【特許請求の範囲】
【請求項１】
画像処理装置であって、
第１の画像と、第２の画像とを取得する取得手段と、
複数の部位で前記第２の画像を局所的に変形した派生画像の画像データを生成する生成手段と、
前記第１の画像と前記派生画像との画像データに基づいたパターンマッチング演算によって、前記第１の画像と、前記第２の画像との類似度を算出する算出手段と、
を備え、
画素座標が互いに対応する画素として、前記第１の画像の注目画素と、前記第２の画像の対応画素と、前記派生画像の派生対応画素とを定義したとき、
前記生成手段は、
前記注目画素に対して、前記対応画素を空間的に内包する内包領域を前記第２の画像において設定する内包領域設定手段と、
前記注目画素における前記第１の画像の画素値と、前記内包領域内の複数の画素における前記第２の画像の画素値との一致度に基づいて、前記派生対応画素の画素値の取得処理を行う画素値取得手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載された画像処理装置であって、
前記生成手段は、前記内包領域内の複数の画素のうち前記注目画素との画素値の差異が画素値の一致度に関する所定の基準を満足する１以上の画素の画素値に基づいて前記取得処理を行うことによって前記派生画像の画像データを生成することを特徴とする画像処理装置。
【請求項３】
請求項２に記載された画像処理装置であって、
前記生成手段は、前記内包領域内の複数の画素のうち前記注目画素との画素値の差異が最も小さい画素の画素値に基づいて前記取得処理を行うことによって前記画像データを生成することを特徴とする画像処理装置。
【請求項４】
請求項１から請求項３のいずれか１つの請求項に記載された画像処理装置であって、
前記取得手段は、第１の視点から撮影された画像に基づいて前記第１の画像データを取得するとともに、第２の視点から撮影された画像に基づいて前記第２の画像データを取得し、
前記内包領域は、前記第２の画像上での、前記第１の視点と前記第２の視点との基線長方向に沿って細長い形状であることを特徴とする画像処理装置。
【請求項５】
請求項１から請求項４のいずれか１つの請求項に記載された画像処理装置であって、
前記取得手段は、前記第１の画像を派生する第１の原画像と、前記第２の画像を派生する第２の原画像とを取得するとともに、前記第１の原画像の少なくとも一部に基づいて前記第１の画像を取得し、前記第２の原画像の少なくとも一部に基づいて前記第２の画像を取得することを特徴とする画像処理装置。
【請求項６】
請求項５に記載された画像処理装置であって、
前記取得手段は、前記第１の原画像の少なくとも一部を縮小化することによって前記第１の画像を取得し、前記第２の原画像の少なくとも一部を縮小化することによって前記第２の画像を取得することを特徴とする画像処理装置。
【請求項７】
画像処理装置であって、
第１の画像と、第２の画像とを取得する取得手段と、
複数の部位で前記第１の画像を局所的に変形した第１派生画像の画像データと、複数の部位で前記第２の画像を局所的に変形した第２派生画像の画像データとを生成する生成手段と、
前記第１派生画像と前記第２派生画像との画像データに基づいたパターンマッチング演算によって、前記第１の画像と、前記第２の画像との類似度を算出する算出手段と、
を備え、
画素座標が互いに対応する画素として、前記第１の画像の注目画素と、前記第２の画像の対応画素と、前記第１派生画像の第１派生対応画素と、前記第２派生画像の第２派生対応画素とを定義したとき、
前記生成手段は、
前記注目画素に対して、前記注目画素を空間的に内包する第１領域を前記第１の画像において設定するとともに、前記対応画素を空間的に内包する第２領域を前記第２の画像において設定する内包領域設定手段と、
前記第１領域内の複数の画素における前記第１の画像の画素値と、前記第２領域内の複数の画素における前記第２の画像の画素値との一致度に基づいて、前記第１派生対応画素と前記第２派生対応画素との画素値の取得処理を行う画素値取得手段と、
を備えることを特徴とする画像処理装置。
【請求項８】
画像処理装置に搭載されたコンピュータにおいて実行されることにより、当該画像処理装置を請求項１から請求項７の何れか１つの請求項に記載の画像処理装置として機能させることを特徴とするプログラム。
【請求項９】
画像処理方法であって、
第１の画像と、第２の画像とを取得する取得工程と、
複数の部位で前記第２の画像を局所的に変形した派生画像の画像データを生成する生成工程と、
前記第１の画像と前記派生画像との画像データに基づいたパターンマッチング演算によって、前記第１の画像と、前記第２の画像との類似度を算出する算出工程と、
を備え、
画素座標が互いに対応する画素として、前記第１の画像の注目画素と、前記第２の画像の対応画素と、前記派生画像の派生対応画素とを定義したとき、
前記生成工程は、
前記注目画素に対して、前記対応画素を空間的に内包する内包領域を前記第２の画像において設定する内包領域設定工程と、
前記注目画素における前記第１の画像の画素値と、前記内包領域内の複数の画素における前記第２の画像の画素値との一致度に基づいて、前記派生対応画素の画素値の取得処理を行う画素値取得工程と、
を備えることを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の類似度を求める画像処理技術に関する。
【背景技術】
【０００２】
近年、パターンマッチングによって画像の類似度を求める画像処理技術が、画像間で相互に対応した画素値を有する画素を探索する対応点探索処理、読み取った画像に類似する画像を画像データベースから検索する画像検索処理などに用いられている。
【０００３】
特許文献１のステレオカメラは、広い撮影視野で撮影された画像から切り出された部分画像と、狭い撮影視野で異なる視点から撮影された画像が減数処理された画像とのパターンマッチングを行って類似度を算出し、該類似度に基づいて、狭い撮影視野で撮影された画像に対応する部分画像を、広い撮影視野で撮影された画像において探索することによって、左右の撮影倍率が異なった状態でもステレオ画像を生成可能に構成されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−２１０２１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１のステレオカメラには、前景被写体と背景被写体との距離の違いなどに起因して、パターンマッチングの対象となる画像間でのズレが画像内の位置によって異なるため、該画像間の類似度が低下する、といった問題がある。
【０００６】
本発明は、こうした問題を解決するためになされたもので、相互のズレが画像内の位置によって異なっている複数の画像について算出される類似度を向上させ得る技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、請求項１の発明は、画像処理装置であって、第１の画像と、第２の画像とを取得する取得手段と、複数の部位で前記第２の画像を局所的に変形した派生画像の画像データを生成する生成手段と、前記第１の画像と前記派生画像との画像データに基づいたパターンマッチング演算によって、前記第１の画像と、前記第２の画像との類似度を算出する算出手段と、を備え、画素座標が互いに対応する画素として、前記第１の画像の注目画素と、前記第２の画像の対応画素と、前記派生画像の派生対応画素とを定義したとき、前記生成手段は、前記注目画素に対して、前記対応画素を空間的に内包する内包領域を前記第２の画像において設定する内包領域設定手段と、前記注目画素における前記第１の画像の画素値と、前記内包領域内の複数の画素における前記第２の画像の画素値との一致度に基づいて、前記派生対応画素の画素値の取得処理を行う画素値取得手段と、を備えることを特徴とする。
【０００８】
また、請求項２の発明は、請求項１に記載された画像処理装置であって、前記生成手段は、前記内包領域内の複数の画素のうち前記注目画素との画素値の差異が画素値の一致度に関する所定の基準を満足する１以上の画素の画素値に基づいて前記取得処理を行うことによって前記派生画像の画像データを生成することを特徴とする。
【０００９】
また、請求項３の発明は、請求項２に記載された画像処理装置であって、前記生成手段は、前記内包領域内の複数の画素のうち前記注目画素との画素値の差異が最も小さい画素の画素値に基づいて前記取得処理を行うことによって前記画像データを生成することを特徴とする。
【００１０】
また、請求項４の発明は、請求項１から請求項３のいずれか１つの請求項に記載された画像処理装置であって、前記取得手段は、第１の視点から撮影された画像に基づいて前記第１の画像データを取得するとともに、第２の視点から撮影された画像に基づいて前記第２の画像データを取得し、前記内包領域は、前記第２の画像上での、前記第１の視点と前記第２の視点との基線長方向に沿って細長い形状であることを特徴とする。
【００１１】
また、請求項５の発明は、請求項１から請求項４のいずれか１つの請求項に記載された画像処理装置であって、前記取得手段は、前記第１の画像を派生する第１の原画像と、前記第２の画像を派生する第２の原画像とを取得するとともに、前記第１の原画像の少なくとも一部に基づいて前記第１の画像を取得し、前記第２の原画像の少なくとも一部に基づいて前記第２の画像を取得することを特徴とする。
【００１２】
また、請求項６の発明は、請求項５に記載された画像処理装置であって、前記取得手段は、前記第１の原画像の少なくとも一部を縮小化することによって前記第１の画像を取得し、前記第２の原画像の少なくとも一部を縮小化することによって前記第２の画像を取得することを特徴とする。
【００１３】
また、請求項７の発明は、画像処理装置であって、第１の画像と、第２の画像とを取得する取得手段と、複数の部位で前記第１の画像を局所的に変形した第１派生画像の画像データと、複数の部位で前記第２の画像を局所的に変形した第２派生画像の画像データとを生成する生成手段と、前記第１派生画像と前記第２派生画像との画像データに基づいたパターンマッチング演算によって、前記第１の画像と、前記第２の画像との類似度を算出する算出手段と、を備え、画素座標が互いに対応する画素として、前記第１の画像の注目画素と、前記第２の画像の対応画素と、前記第１派生画像の第１派生対応画素と、前記第２派生画像の第２派生対応画素とを定義したとき、前記生成手段は、前記注目画素に対して、前記注目画素を空間的に内包する第１領域を前記第１の画像において設定するとともに、前記対応画素を空間的に内包する第２領域を前記第２の画像において設定する内包領域設定手段と、前記第１領域内の複数の画素における前記第１の画像の画素値と、前記第２領域内の複数の画素における前記第２の画像の画素値との一致度に基づいて、前記第１派生対応画素と前記第２派生対応画素との画素値の取得処理を行う画素値取得手段と、を備えることを特徴とする。
【００１４】
また、請求項８の発明は、プログラムであって、画像処理装置に搭載されたコンピュータにおいて実行されることにより、当該画像処理装置を請求項１から請求項７の何れか１つの請求項に記載の画像処理装置として機能させることを特徴とする。
【００１５】
また、請求項９の発明は、画像処理方法であって、第１の画像と、第２の画像とを取得する取得工程と、前記第２の画像から派生した派生画像の画像データを生成する生成工程と、前記第１の画像と前記派生画像との画像データに基づいたパターンマッチング演算によって、前記第１の画像と、前記第２の画像との類似度を算出する算出工程と、を備え、画素座標が互いに対応する画素として、前記第１の画像の注目画素と、前記第２の画像の対応画素と、前記派生画像の派生対応画素とを定義したとき、前記生成工程は、前記注目画素に対して、前記対応画素を空間的に内包する内包領域を前記第２の画像において設定する内包領域設定工程と、前記注目画素における前記第１の画像の画素値と、前記内包領域内の複数の画素における前記第２の画像の画素値との一致度に基づいて、前記派生対応画素の画素値の取得処理を行う画素値取得工程と、を備えることを特徴とする。
【発明の効果】
【００１６】
請求項１から請求項９の発明によれば、類似度を算出すべき第１と第２の画像とのうち少なくとも一方の画像については、他方の画像との関係において空間的に非一様な位置ズレを局所的に是正した派生画像を生成し、そのような派生画像を代理的に使用しつつ、第１と第２の画像の類似度を算出する。このため、空間的に非一様な位置ズレを相互に生じているような複数の画像について算出される類似度を向上させ得る。
【図面の簡単な説明】
【００１７】
【図１】実施形態に係る画像処理システムの主な構成を例示するブロック図である。
【図２】実施形態に係る画像処理装置の主な機能構成を例示するブロック図である。
【図３】第１原画像の１例を示す図である。
【図４】第１原画像の１例を示す図である。
【図５】第２原画像の１例を示す図である。
【図６】想定ズーム比に対応した部分画像が第２原画像に設定された様子を例示する図である。
【図７】部分画像が、第２原画像において逐次設定される様子を例示する図である。
【図８】相互に対応する第１画像および第２画像の１例を示す図である。
【図９】最も高い類似度を与えるものと誤検出される第２画像の１例を示す図である。
【図１０】第２画像についての第２派生画像の画像データを生成する処理の１例を説明する図である。
【図１１】第１画像および注目画素を例示する図である。
【図１２】第２画像に設定された内包領域を例示する図である。
【図１３】第１画像および第２画像にそれぞれ設定された内包領域を例示する図である。
【図１４】第２画像に設定される内包領域の１例を示す図である。
【図１５】第２画像に設定される内包領域の１例を示す図である。
【図１６】第２画像に設定される内包領域の１例を示す図である。
【図１７】第２画像に設定される内包領域の１例を示す図である。
【図１８】第２画像に設定される内包領域の１例を示す図である。
【図１９】第２画像の各部における内包領域のサイズの設定例を示す図である。
【図２０】第２画像の各部における内包領域のサイズの設定例を示す図である。
【図２１】ＰＯＣ法を用いた類似度算出の手順を説明する図である。
【図２２】ＰＯＣ値の例を説明する図である。
【図２３】実施形態に係る画像処理装置の動作フローの１例を示す図である。
【図２４】実施形態に係る画像処理装置の動作フローの１例を示す図である。
【図２５】実施形態に係る画像処理装置の動作フローの１例を示す図である。
【図２６】実施形態に係る画像処理装置の動作フローの１例を示す図である。
【図２７】実施形態に係る画像処理装置の動作フローの１例を示す図である。
【図２８】実施形態に係る画像処理装置の動作フローの１例を示す図である。
【発明を実施するための形態】
【００１８】
＜実施形態について：＞
＜◎画像処理システム１００Ａについて：＞
図１は、実施形態に係る画像処理システム１００Ａの主な構成を例示するブロック図である。図１に示されるように、画像処理システム１００Ａは、ステレオカメラ３００Ａと画像処理装置２００Ａとを主に備えて構成されている。
【００１９】
ステレオカメラ３００Ａは、焦点距離可変の撮像光学系を備えたズームカメラ３１と、焦点距離固定の撮像光学系を備えた単焦点カメラ３２とを主に備えて構成されたステレオカメラであり、動作設定に応じて静止画像または動画像を撮影することができる。
【００２０】
１の視点に設置されたステレオカメラ３００Ａは、ズームカメラ３１および単焦点カメラ３２によって被写体をそれぞれ撮像して第１原画像（「ズーム画像」とも称する）１および第２原画像（「基準画像」とも称する）２をそれぞれ取得し、画像処理装置２００Ａに供給する。なお、単焦点カメラ３２の撮影倍率に対するズームカメラ３１の撮影倍率の比である「ズーム比」、すなわち基準画像に対するズーム画像のズーム比は未知である。
【００２１】
なお、第１原画像１と第２原画像２とのそれぞれの撮影時におけるステレオカメラ３００Ａに対する被写体の位置関係が同じであれば、第１原画像１と第２原画像２とは、同時刻に撮影されていなくても良い。
【００２２】
画像処理装置２００Ａは、第１原画像１および第２原画像２の一部または全部を適宜縮小化することによって類似度算出の対象となる第１画像５１（図２）および第２画像５２（図２）をそれぞれ取得し、第１画像５１と第２画像５２との類似度６３（図２）を算出する。また、画像処理装置２００Ａは、算出した類似度に基づいてズーム画像のズーム比を求める。
【００２３】
上述した構成によって、画像処理システム１００Ａは、ズームカメラ３１が撮影したズーム画像のズーム比を求める画像処理システムを実現している。
【００２４】
また、画像処理装置２００Ａは、ステレオカメラ３００Ａの他、スキャナ３００Ｂ、或は画像データベースが格納された記憶装置３００Ｃなどの外部機器を接続可能に構成され、各機器からの画像データを取得可能に構成されている。そして、画像処理装置２００Ａは、接続された機器が、例えば、ステレオカメラ３００Ａであるか、または、スキャナ３００Ｂおよび記憶装置３００Ｃであるかを、各機器から画像処理装置２００Ａへ供給される認識信号に基づいて判別可能に構成されるとともに、機器または記憶媒体などから画像処理装置２００Ａに供給された画像データのデータ形式を判別可能に構成されている。
【００２５】
＜◎画像処理装置２００Ａの構成について：＞
図１に示されるように、画像処理装置２００Ａは、ＣＰＵ１１Ａ、入出力部４１、操作部４２、表示部４３、ＲＯＭ４４、ＲＡＭ４５および記憶装置４６を主に備えて構成されており、例えば、汎用のコンピュータでプログラムを実行することなどによって実現される。
【００２６】
入出力部４１は、例えばＵＳＢインタフェースなどの入出力インタフェース、マルチメディアドライブ、およびネットワークアダプタなどのＬＡＮやインターネットに接続するためのインタフェースなどを備えて構成され、ＣＰＵ１１Ａとの間でデータの授受を行うものである。具体的には、入出力部４１は、例えば、ＣＰＵ１１Ａがステレオカメラ３００Ａを制御するための各種の制御信号６１を、接続ケーブルなどを介して入出力部４１に接続されたステレオカメラ３００Ａへと供給する。また、入出力部４１は、ステレオカメラ３００Ａが撮影した第１原画像１および第２原画像２を画像処理装置２００Ａへとそれぞれ供給する。また、入出力部４１は、スキャナ３００Ｂおよび記憶装置３００Ｃが接続ケーブルを介して入出力部４１に接続された場合には、スキャナ３００Ｂが読み取った原稿の画像データを第１原画像１として画像処理装置２００Ａに供給するとともに、記憶装置３００Ｃに格納された画像データを第２原画像２として画像処理装置２００Ａに供給する。なお、入出力部４１は、予め第１原画像１および第２原画像２が記憶された光ディスクなどの記憶媒体を受け付けることなどによっても、第１原画像１および第２原画像２を画像処理装置２００Ａへとそれぞれ供給することができる。
【００２７】
操作部４２は、例えば、キーボードあるいはマウスなどによって構成されており、操作者が操作部４２を操作することによって、画像処理装置２００Ａへの各種制御パラメータの設定、画像処理装置２００Ａの各種動作モードの設定などが行われる。
【００２８】
操作部４２からは画像処理装置２００Ａの動作モードとして種々の動作モードが設定可能であり、画像処理装置２００Ａの機能部は、操作部４２から設定される各動作モードに応じた処理を行うことができるように構成されている。
【００２９】
表示部４３は、例えば、液晶ディスプレイなどによって構成されており、ステレオカメラ３００Ａから供給される画像、画像処理装置２００Ａが算出した第１画像５１と第２画像５２との類似度６３、算出されたズームカメラ３１の撮影倍率、ならびに画像処理システム１００Ａに関する各種情報および制御用ＧＵＩ（Graphical User Interface）などの表示を行う。
【００３０】
ＲＯＭ（Read Only Memory）４４は、読出し専用メモリであり、ＣＰＵ１１Ａを動作させるプログラムなどを格納している。なお、読み書き自在の不揮発性メモリ（例えば、フラッシュメモリ）が、ＲＯＭ４４に代えて使用されてもよい。
【００３１】
ＲＡＭ（Random Access Memory ）４５は、読み書き自在の揮発性メモリであり、画像処理装置２００Ａに入力された各種画像、ＣＰＵ１１Ａが算出した類似度６３およびズームカメラ３１の撮影倍率、およびＣＰＵ１１Ａの処理情報などを一時的に記憶するワークメモリなどとして機能する。
【００３２】
記憶装置４６は、例えば、フラッシュメモリなどの読み書き自在な不揮発性メモリやハードディスク装置等によって構成されており、画像処理装置２００Ａの各種制御パラメータや各種動作モードなどの情報を恒久的に記録する。
【００３３】
ＣＰＵ（Central Processing Unit）１１Ａは、画像処理装置２００Ａの各機能部を統轄制御する制御処理装置であり、ＲＯＭ４４に格納されたプログラムに従った制御および処理を実行する。ＣＰＵ１１Ａは、後述するように、取得部１２、生成部１３、および算出部１４としても機能する。
【００３４】
ＣＰＵ１１Ａは、これらの機能部などによって、第１原画像１および第２原画像２からの第１画像５１および第２画像５２のそれぞれの取得、第１画像５１と第２画像５２との類似度６３の算出、ズームカメラ３１の撮影倍率の算出、記憶装置３００Ｃの画像データベースに保存された傾き補正処理済みの各種原稿の画像データのうちスキャナ３００Ｂに読み込まれた原稿の画像データに対応する画像データの特定、ステレオカメラ３００Ａの撮像動作の制御、ズームカメラ３１のズーム動作の制御、スキャナ３００Ｂと記憶装置３００Ｃとの制御、入出力部４１に接続された外部機器の種類判別などを行う。また、ＣＰＵ１１Ａは、動作モードに応じて、第１画像５１と第２画像５２との相互の対応点を探索する対応点探索処理を類似度６３に基づいて行うこともできる。また、ＣＰＵ１１Ａは、各種画像、算出結果、および各種制御情報などの表示部４３への表示なども行う。
【００３５】
ＣＰＵ１１Ａ、入出力部４１、操作部４２、表示部４３、ＲＯＭ４４、ＲＡＭ４５、記憶装置４６等のそれぞれは、信号線４９を介して電気的に接続されている。したがって、ＣＰＵ１１Ａは、例えば、入出力部４１を介したステレオカメラ３００Ａの制御およびステレオカメラ３００Ａからの画像情報の取得、および表示部４３への表示等を所定のタイミングで実行できる。
【００３６】
なお、図１に示される構成例では、取得部１２、生成部１３、および算出部１４の各機能部は、ＣＰＵ１１Ａで所定のプログラムを実行することによって実現されているが、これらの各機能部はそれぞれ、例えば、専用のハードウェア回路などによって実現されてもよい。
【００３７】
＜◎画像処理装置２００Ａの各機能部の動作について：＞
図２は、実施形態に係る画像処理装置２００Ａの主な機能構成を例示するブロック図である。以下では、先ず、ステレオカメラ３００Ａによって撮影された第１原画像１と第２原画像２とが画像処理装置２００Ａに供給される場合を例に、図２に示される画像処理装置２００Ａの各機能部の動作について説明する。その後、スキャナ３００Ｂからの第１原画像１と、記憶装置３００Ｃからの第２原画像２とが画像処理装置２００Ａに供給される場合における画像処理装置２００Ａの動作についても説明する。
【００３８】
○取得部１２の動作：
図３および図４は、焦点距離が可変のズームカメラ３１が被写体を撮影した第１原画像１（図２）の１例として、第１原画像１Ａおよび第１原画像１Ｂをそれぞれ示す図である。なお、第１原画像１Ｂは、第１原画像１Ａに撮影されている被写体の一部がズームカメラ３１のズーム動作によって拡大されて撮影された画像である。また、図５は、焦点距離が固定の単焦点カメラ３２が被写体を撮影した第２原画像２（図２）の１例として、第２原画像２Ａを示す図である。取得部１２は、第１原画像１Ａ（１Ｂ）などの第１原画像と、第２原画像２Ａなどの第２原画像とを入出力部４１を介して取得する。ここで、第１原画像１および第２原画像２は、Ｘ軸方向の画素数×Ｙ軸方向の画素数が、例えば、１９２０×１０８０画素などであるデジタル画像である。なお、図３その他の本願の図面には、説明を容易にするために適宜座標軸を付されたものがある。
【００３９】
取得部１２は、取得した第１原画像１の全部または一部に基づいて第１画像５１（図２）を取得する。より具体的には、取得部１２は、例えば、第１原画像１Ａ（１Ｂ）の全部、または第１原画像１Ａ（１Ｂ）の一部である部分画像８Ａ（８Ｂ）（図３、図４）を、計算処理コストの軽減などのために画素数を更に削減する必要がある場合には、画素間引きなどの画像縮小化処理によって縮小化することによって第１画像５１を取得する。取得される第１画像５１は、例えば、６５×６５画素などの画素数を有するデジタル画像である。
【００４０】
また、取得部１２は、取得した第２原画像２の全部または一部に基づいて第２画像５２（図２）を取得する。より具体的には、取得部１２は、例えば、第２原画像２Ａの全部または、第２原画像２Ａの一部である部分画像８Ｃ（図６、図７）、または部分画像８Ｄ（図７）などについて、計算処理コストの軽減などのために画素数を更に圧縮する必要がある場合には、画素間引きなどによって部分画像を縮小化し、第２画像５２を取得する。
【００４１】
図６は、想定ズーム比が相互に異なる２つのズーム画像のそれぞれの撮影範囲が、取得部１２によって、第２原画像２Ａと同じ縮尺で第２原画像２Ａに部分画像８Ｃおよび８Ｄとしてそれぞれ設定された様子を例示する図である。また、図７は、取得部１２によって、図６に示された部分画像８Ｃが第２原画像２Ａにおいて空間順次に位置ずらしされて逐次設定される様子を例示する図である。
【００４２】
取得部１２は、ズーム画像について、例えば、１０倍から１倍まで０．１倍刻みで９１通りの想定ズーム比を順次設定し、設定された各想定ズーム比に対応した部分画像を、部分画像８Ｃおよび８Ｄ（図６）などと同様に、第２原画像２Ａにそれぞれ設定する。
【００４３】
また、取得部１２は、例えば、図７に矢印で例示された移動方向に沿って第２原画像２Ａ上でＸ軸方向およびＹ軸方向にそれぞれ、例えば、１０画素ずつずれた各位置に、各想定ズーム比にそれぞれ対応した部分画像を逐次設定し、設定された部分画像をそれぞれ第２画像５２として取得する。なお、各部分画像は、計算処理コストの軽減などのために画素数を更に削減する必要がある場合には縮小化され、第２画像５２は、例えば、第１画像５１と同様に６５×６５画素などの画素数を有するデジタル画像として取得される。例えば、上述した部分画像の設定手法においては、第２原画像２との画像サイズが、１９２０×１０８０画素であれば、取得部１２は、約１８８万通りの第２画像５２を取得する。なお、第１画像５１と第２画像５２とを対象としたパターンマッチング処理での便宜上、第１画像５１と第２画像５２とは、通常、含まれる画素数と、含まれる画素の配列形状とがそれぞれ相互に等しい画像として取得される。
【００４４】
画像処理装置２００Ａは、取得部１２によって取得された第１画像５１と、各第２画像５２との各組み合わせについて類似度６３（図２）をそれぞれ算出し、算出された類似度６３のうち最も高い類似度を与える第２画像５２を検出する。そして画像処理装置２００Ａは、検出された第２画像５２に係る想定ズーム比を、第１原画像１についてのズーム比として取得する。
【００４５】
該類似度は、算出部１４がパターンマッチング演算を行うことによって算出されるが、第１画像５１と第２画像５２とのそれぞれの画像データがそのままパターンマッチング演算に供された場合には、第１画像５１と第２画像５２との相互のズレが画像内の位置によって異なるために第１画像５１と第２画像５２との類似度が、第１画像５１と、第１画像５１との対応部分が少ない画像との類似度よりも低く算出されることによって、該対応部分が少ない画像が、最も高い類似度を与える第２画像５２として誤って求められることにより、第１原画像１に係るズーム比が誤って取得される場合がある。
【００４６】
・最も高い類似度を与える第２画像の誤検出について：
次に、最も高い類似度を与える第２画像の誤検出について以下に説明する。図８は、相互に対応する第１画像５１および第２画像５２の１例として第１画像５１Ｃと第２画像５２Ｃとを示す図である。図８に示される第１画像５１Ｃは、ズーム動作によって撮影倍率が単焦点カメラ３２の撮影倍率と等しくなったズームカメラ３１によって、被写体が撮影された第１原画像１Ａ（図３）の全体に基づいて取得されている。また、図８に示される第２画像５２Ｃは、単焦点カメラ３２によって該被写体が撮影された第２原画像２Ａ（図５）の全体に基づいて取得されている。
【００４７】
ここで、例えば、ズームカメラ３１と、単焦点カメラ３２との基線長方向が、垂直方向に沿っている場合には、第１画像５１Ｃと第２画像５２Ｃとを図８に示されるようにＸ軸方向に沿って並べると、被写体上の同一の点にそれぞれ対応した第１画像５１Ｃの注目画素３と、第２画像５２Ｃの画素７とは、例えば、ズレ９のような垂直方向（Ｙ軸方向）に沿ったズレを生じる。ズレ９は、ズームカメラ３１と単焦点カメラ３２との視差に起因した生じたものである。
【００４８】
図９は、最も高い類似度を与えるものと誤検出される第２画像５２の１例として第２画像５２Ｄを示す図である。第２画像５２Ｄは、第２原画像２Ａの一部に基づいて取得されており、第１画像５１との対応部分は、第２画像５２よりも少なくなっている。
【００４９】
この場合、相互に対応する第１画像５１Ｃと、第２画像５２Ｃとの類似度が最も高くなることが相当である。しかし、実際には、第１画像５１Ｃと、第２画像５２Ｃとの相互の対応部分のズレが画像内の位置によって異なること、および画像の縮小化処理に起因した情報量の減縮などのために、第１画像５１Ｃと、第２画像５２Ｃとの類似度が低下し、その結果、該類似度が、第１画像５１Ｃと、該第１画像５１Ｃとの対応部分が少ない第２画像５２Ｄとの類似度よりも低くなる逆転現象が発生することがある。そして該逆転現象のために第２画像５２Ｄが第１画像５１と最も類似度が高い画像として誤検出されることがある。
【００５０】
そこで、画像処理装置２００Ａでは、生成部１３が、動作設定に応じて、第１原画像１と第２原画像２とから第１派生画像５４（図２）の画像データと、第２派生画像５５（図２）の画像データとをそれぞれ生成する処理、または、第２画像５２から第２派生画像５５の画像データを生成する処理を行う。そして、算出部１４が、第１派生画像５４の画像データと、第２派生画像５５の画像データとに基づいたパターンマッチング演算、または第１画像５１の画像データと、第２派生画像５５の画像データとに基づいたパターンマッチング演算を行うことによって第１画像５１と第２画像５２との類似度６３（図２）を取得する処理を行う。このように、画像処理装置２００Ａでは、最も高い類似度を与える第２画像５２（図２）が誤って検出される頻度を、派生画像の画像データに基づいたパターンマッチング演算による類似度の算出処理によって低減している。
【００５１】
上述したように、第１派生画像５４の画像データと、第２派生画像５５の画像データとは、パターンマッチング演算に供されるため、画像として、表示部４３などに表示される必要は無いが、画像として表示部４３に表示されたとしても本発明の有用性を損なうものではない。
【００５２】
なお、本願においては、第１画像５１と第２画像５２とのそれぞれの画像データがそのままパターンマッチング演算に供されることによって算出される類似度を「実類似度」とも称し、第１派生画像５４と第２派生画像５５とのそれぞれの画像データが該パターンマッチング演算に供されることによって算出される類似度（第１派生画像５４と第２派生画像５５とに基づいたパターンマッチング演算を行うことによって算出される類似度）、または、第１画像５１と第２派生画像５５とのそれぞれの画像データが該パターンマッチング演算に供されることによって算出される類似度（第１画像５１と第２派生画像５５とに基づいたパターンマッチング演算によって算出される類似度）を「派生類似度」とも称する。
【００５３】
○生成部１３の動作について：
図１０は、第２画像５２Ｅについての派生画像である第２派生画像５５Ｅの画像データを生成部１３が生成する処理の１例を説明する図である。なお、図１０においては、ズームカメラ３１と単焦点カメラ３２との基線長方向が水平方向（Ｘ軸方向）に沿っている場合を例として説明する。
【００５４】
図１０に示される第１画像５１Ｅには、前景被写体６６と、背景被写体６７とが撮影されており、ステレオカメラ３００Ａと前景被写体６６との距離は、ステレオカメラ３００Ａと背景被写体６７との距離よりも短い。第１画像５１Ｅには、前景被写体６６における１の特徴点が注目画素３ａとして設定されるとともに、背景被写体６７における１の特徴点が注目画素３ｂとして設定されている。
【００５５】
また、図１０に示される第２画像５２Ｅは、前景被写体６６および背景被写体６７がステレオカメラ３００Ａに対して第１画像５１Ｅの撮影時と同じ位置関係で単焦点カメラ３２によって撮影された画像である。ここで、第１画像５１Ｅと第２画像５２Ｅとは、第１原画像１と第２原画像２とがそれぞれそのまま縮小化された画像である。第２画像５２Ｅにおける画素７ａと、第１画像５１Ｅにおける注目画素３ａとは、前景被写体６６における同一の特徴点にそれぞれ対応する画素であり、第２画像５２Ｅにおける画素７ｂと、第１画像５１Ｅにおける注目画素３ｂとは、背景被写体６７における同一の特徴点にそれぞれ対応する画素である。
【００５６】
ここでは、注目画素３ａと、画素７ａとの間に、水平方向の視差がズレ９ａとして生じており、注目画素３ｂと、画素７ｂとの間には、水平方向の視差がズレ９ｂとして生じている。そして、ズレ９ａは、ズレ９ｂよりも大きくなっており、第１画像５１Ｅにおける注目画素３ａおよび３ｂの画素間距離は、第２画像５２Ｅにおける画素７ａおよび７ｂの画素間距離よりも長くなっている。ズレ９ａとズレ９ｂとの差異は、前景被写体６６の方が、背景被写体６７よりもステレオカメラ３００Ａに近いことに起因して生じている。
【００５７】
このように、第１画像５１Ｅと、第２画像５２Ｅとは、同一の被写体を撮影した画像であるにもかかわらず、相互の対応部分間の座標のズレが画像内の位置によって異なっている、すなわち該相互のズレが画像内で不均一になっている。また、該不均一性は、原画像からの縮小化処理の過程における情報量の減縮などによって更に顕著になることがある。そして、該不均一性が、第１画像５１Ｅと、第２画像５２Ｅとをそのままパターンマッチング演算の対象として算出される実類似度が低下する現象の要因となっている。
【００５８】
そこで画像処理装置２００Ａでは、先ず、生成部１３によって、第２画像５２Ｅよりも第１画像５１Ｅとの類似度が高くなる第２派生画像５５Ｅ（図１０）の画像データを第２画像５２Ｅを局所的に変形することによって生成する。次に、画像処理装置２００Ａは、算出部１４によって、第１画像５１Ｅの画像データと、第２派生画像５５Ｅの画像データとを対象としたパターンマッチング演算を行って派生類似度を算出し、該派生類似度を第１画像５１Ｅと第２画像５２Ｅとの類似度６３とすることによって、相互に対応している第１画像５１Ｅと第２画像５２Ｅとの類似度をより高く求めている。
【００５９】
生成部１３は、画素座標が第１画像５１Ｅの注目画素３ａと対応する第２画像５２Ｅの画素である座標対応画素４ａに対して、座標対応画素４ａを内包する内包領域を第２領域５８として設定する。なお、本願では識別のために、後述する第１画像の注目画素についての該内包領域を「第１領域」とも称する。また、第２画像の座標対応画素についての内包領域を「第２領域」とも称する。
【００６０】
生成部１３は、複数の部位で第２画像５２Ｅを局所的に変形することによって第２画像５２Ｅから派生した第２派生画像５５Ｅにおいて、画素座標が第２画像５２Ｅの座標対応画素４ａに対応した画素の画素値、すなわち、画素座標が第１画像５１Ｅの注目画素３ａに対応した派生画素６ａの画素値を、第２領域５８に内包される複数画素の画素値に基づいて取得する取得処理を行う。また、生成部１３は、該取得処理を、注目画素３ａの画素値と、第２領域５８に内包される複数の画素の画素値との一致度に基づいて行う。
【００６１】
より具体的には、生成部１３は、例えば、注目画素３ａが対応した前景被写体６６の特徴点に対応する画素７ａの画素値、すなわち、注目画素３ａの画素値に最も一致した画素値を有する画素７ａの画素値を、派生画素６ａの画素値として取得する。なお、内包領域の設定方法、および派生画素の画素値の取得方法の詳細については後述する。
【００６２】
図１０に示される第２派生画像５５Ｅは、注目画素３ｂに対応した派生画素６ｂなど、第１画像５１Ｅの注目画素３ａ以外の注目画素に対応した第２派生画像５５Ｅの派生画素についても、生成部１３が派生画素６ａと同様に画素値を取得することによって生成した画像データに係る派生画像である。この場合、第２派生画像５５Ｅは、複数の部位において第２画像５２Ｅの画像を局所的に変形した画像となっている。生成部１３は、生成した第２派生画像５５Ｅの画像データを、算出部１４が行うパターンマッチング演算に供する。
【００６３】
生成された第２派生画像５５Ｅについては、第２派生画像５５Ｅの派生画素の画素値と、第１画像５１Ｅの注目画素の画素値との差が、第２画像５２Ｅの座標対応画素の画素値と、該注目画素の画素値との差以下になる。従って、前景被写体６６および背景被写体６７の第２派生画像５５Ｅにおける位置および画素値と、前景被写体６６および背景被写体６７の第１画像５１Ｅにおける位置および画素値との一致度は、より高くなる。
【００６４】
従って、画像処理装置２００Ａは、相互の対応部分間のズレが画像内の位置によって異なる第１画像５１Ｅと、第２画像５２Ｅとについて、第１画像５１Ｅと、第２画像５２Ｅから派生した第２派生画像５５Ｅとの派生類似度を、第１画像５１Ｅと、第２画像５２Ｅとの類似度以上に高めることが出来る。そして、画像処理装置２００Ａは、第２派生画像５５Ｅの画像データを代理的に使用したパターンマッチング演算によって算出される派生類似度を、第１画像５１Ｅと、第２画像５２Ｅとの類似度６３として取得することにより、第１画像５１Ｅと第２画像５２Ｅとの相互のズレが画像内の位置によって異なる場合でも、第１画像５１Ｅと、第２画像５２Ｅとの類似度をより高く求めることができる。すなわち、画像処理装置２００Ａは、第１画像５１Ｅと、第２画像５２Ｅとについて算出される類似度を向上させ得る。
【００６５】
これに対して、例えば、第１画像５１Ｃ（図８）と、第２画像５２Ｄ（図９）とのように、相互に大きな相違があり、相互の対応部分が少ない画像においては、第２画像５２Ｄから派生した第２派生画像の画像データを生成したとしても、第１画像５１Ｃと該第２派生画像との派生類似度は、第１画像５１Ｃと第２画像５２Ｄとの実類似度に比べてほとんど改善されないこととなる。
【００６６】
従って、画像処理装置２００Ａは、第１画像５１Ｅ（図１０）との類似度が最も高い第２画像として第２画像５２Ｅを検出できる可能性を高め得る。従って、画像処理装置２００Ａは、第１画像５１Ｃに係る第１原画像のズーム比を、派生画像の画像データを用いない場合に比べてより正確に求めることができる可能性を高め得る。
【００６７】
・派生画像の画像データ生成のための内包領域と、派生画像の画素値の取得について：
図１１は、第１画像５１および注目画素３を例示する図である。図１１において格子によって区切られた各矩形は、第１画像５１における各画素を表現している。図１１の第１画像５１では、図示の都合上、Ｘ軸方向およびＹ軸方向の画素数が実際の画素数よりもそれぞれ少なく表示されている。また、図１２〜図１８に表示された画像についても同様に画素数が実際よりも削減されて表示されている。
【００６８】
図１２は、第２派生画像５５の画像データを生成するために生成部１３によって第２画像５２に設定された第２領域（内包領域）５８Ａを例示する図である。第２領域５８Ａは、注目画素３（図１１）に対応した第２画像５２の座標対応画素４を中心とした３画素×３画素の領域である。生成部１３は、例えば、第２領域５８Ａ内に存在する９個の各画素について、各画素の画素値と、注目画素３の画素値との差の絶対値をそれぞれ算出し、該９個の各画素のうち、該算出値が最も小さくなる画素の画素値を、座標対応画素４、すなわち注目画素３に画素座標が対応した第２派生画像５５上の派生画素６の画素値として採用する取得処理を行う。また、第１原画像１および第２原画像２がカラー画像である場合には、生成部１３は、カラー画像に対応した動作設定に応じて、例えば、Ｒ成分、Ｇ成分、およびＢ成分などの色成分毎に該取得処理を行うことによって、派生画素６の各色成分の値を取得する。
【００６９】
また、生成部１３は、第１画像５１の他の注目画素に対応した第２画像５２の座標対応画素に対しても第２領域５８Ａと同様の第２領域を設定することによって、該他の注目画素に対応した第２派生画像５５の派生画素の画素値を取得する。すなわち、生成部１３は、第１画像５１のそれぞれの注目画素に対して、注目画素に座標が対応した第２画像５２の座標対応画素を空間的に内包する内包領域（第２領域）を第２画像５２において設定し、該座標対応画素に座標が対応した第２派生画像５５の派生画素の画素値を取得する。また、第２領域が第２画像５２からはみ出る場合には、生成部１３は、例えば、該第２領域のうち、第２画像５２からはみ出ない部分に内包された画素の画素値に基づいた取得処理を行うことによって、派生画素の画素値を取得する。
【００７０】
なお、生成部１３は、第１画像５１の全ての画素をそれぞれ注目画素として第２派生画像５５を生成する必要は無い。例えば、生成部１３は、第１画像５１の一部と他部とについて、該一部の画素のそれぞれを注目画素として、注目画素に対応する第２画像５２の座標対応画素に対して第２領域を設定し、該座標対応画素に対応した第２派生画像５５の派生画素の画素値を、注目画素の画素値と、第２領域内の複数の画素の画素値との一致度に基づいて取得するとともに、該他部の画素に座標が対応した第２派生画像５５の画素の画素値として、該他部の画素に座標が対応した第２画像５２の画素の画素値をそのまま取得することなどによって、第２派生画像５５の画像データを生成したとしても本発明の有用性を損なうものではない。
【００７１】
生成部１３は、動作モードに応じて、例えば、第２領域５８Ａ内に存在する９個の各画素のうち、画素値が注目画素３の画素値に近い順に上位３個の画素を抽出し、該３個の画素の画素値の平均値を注目画素３に画素座標が対応した第２派生画像５５上の派生画素の画素値として採用する取得処理を行うことも出来る。生成部１３が該取得処理を行ったとしても、通常、第１画像５１と第２派生画像５５との派生類似度を、第１画像５１と第２画像５２との実類似度以上に高めることが出来るので、本発明の有用性を損なうものではない。
【００７２】
また、生成部１３は、例えば、第２領域５８Ａ内に存在する９個の各画素のうち、注目画素３との画素値の差異が所定の閾値以下である画素を抽出し、抽出された画素の画素値平均値を注目画素３に画素座標が対応した第２派生画像５５上の派生画素の画素値として採用する取得処理を行うことも出来る。生成部１３が該取得処理を行ったとしても、通常、第１画像５１と第２派生画像５５との派生類似度を、第１画像５１と第２画像５２との実類似度以上に高めることが出来るので、本発明の有用性を損なうものではない。
【００７３】
このように、生成部１３は、第２領域５８Ａ内に存在する複数の画素のうち、画素値が注目画素３の画素値との一致度に関する所定の基準を満足する一以上の画素の画素値に基づいて注目画素３に画素座標が対応した第２派生画像５５上の派生画素の画素値を取得することによっても、第１画像５１と第２派生画像５５との派生類似度を、第１画像５１と第２画像５２との実類似度以上に高めることが出来る。
【００７４】
図１３は、動作モードに応じて第１派生画像５４および第２派生画像５５のそれぞれの画像データを生成するために生成部１３が第１画像５１および第２画像５２にそれぞれ設定した第１領域（内包領域）５７Ａおよび第２領域（内包領域）５８Ａを例示する図である。第１領域５７Ａは、注目画素３を中心とした３画素×３画素の領域である。また、第２領域５８Ａは、注目画素３に対応した座標対応画素４を中心とした３画素×３画素の領域である。生成部１３は、動作モードに応じて、第１領域５７Ａおよび第２領域５８Ａをそれぞれ設定し、例えば、第１領域５７Ａ内に存在する９個の画素と、第２領域５８Ａ内に存在する９個の画素との８１通りの組み合わせのうち、画素値間の差が最も小さい組み合わせを特定する。次に、生成部１３は、特定された組み合わせのうち第１領域５７Ａ内の画素の画素値を、画素座標が注目画素３に対応する第１派生画像５４の派生画素５の画素値として取得するとともに、特定された組み合わせのうち第２領域５８Ａ内の画素の画素値を、画素座標が座標対応画素４に対応する第２派生画像５５の派生画素６の画素値として取得する。すなわち、生成部１３は、第１領域５７Ａ内の複数の画素のそれぞれの画素値と、第２領域５８Ａ内の複数の画素のそれぞれの画素値との一致度を基準として、派生画素５の画素値と、派生画素６の画素値とを取得する。生成部１３は、注目画素３以外のそれぞれの注目画素に座標がそれぞれ対応した第１派生画像５４の派生画素と第２派生画像５５の派生画素についても、同様に画素値を取得することによって第１派生画像５４の画像データおよび第２派生画像５５の画像データをそれぞれ生成する。そして、第１派生画像５４と第２派生画像５５とは、第１画像５１の複数の部位と第２画像５２の複数の部位とにおいて、第１画像５１と第２画像５２との空間的に不均一なズレをそれぞれ局所的に是正した画像となっている。
【００７５】
この場合、派生画素５と派生画素６との画素値の差は、注目画素３と座標対応画素４との画素値の差以下になるため、第１派生画像５４と第２派生画像５５との派生類似度は、第１画像５１と第２画像５２との実類似度以上に高くなる。従って、画像処理装置２００Ａは、第１派生画像５４の画像データと、第２派生画像５５の画像データとを代理的に使用したパターンマッチング演算によって第１画像５１と、第２画像５２との類似度を算出することにより、第１画像５１と第２画像５２との相互の対応部分間のズレが画像内の位置によって異なる場合でも、第１画像５１と、第２画像５２とについて算出される類似度を向上させ得る。なお、上述した第１派生画像５４の画像データの生成処理においては、注目画素３の画素値と、派生画素５の画素値とが異なる場合も起こりえる。しかしながら、第１派生画像５４と第２派生画像５５Ｅとは派生類似度の算出に用いられるので、注目画素３の画素値と派生画素５の画素値とが異なるように第１派生画像５４の画像データが生成されるとともに、第１派生画像５４から派生した第２派生画像５５の画像データが生成されたとしても本発明の有用性を損なうものではない。
【００７６】
なお、生成部１３は、第１画像５１の全ての画素をそれぞれ注目画素として第１派生画像５４と第２派生画像５５とを生成する必要は無い。例えば、生成部１３が、第１画像５１の一部と他部とについて、該一部の画素のそれぞれを注目画素として、注目画素に対して第１領域を設定するとともに、注目画素に対応する第２画像５２の座標対応画素に対して第２領域を設定し、さらに、注目画素に対応した第１派生画像５４の派生画素の画素値と、該座標対応画素に対応した第２派生画像５５の派生画素の画素値とを、第１領域の複数の画素の画素値と、第２領域内の複数の画素の画素値との一致度に基づいてそれぞれ取得し、さらに、該他部の画素に座標が対応した第１派生画像５４の画素の画素値として該他部の画素の画素値をそのまま取得するとともに、該他部の画素に座標が対応した第２派生画像５５の画素の画素値として該他部の画素に座標が対応した第２画像５２の画素の画素値をそのまま取得することなどによって、第１派生画像５４と第２派生画像５５との画像データをそれぞれ生成したとしても本発明の有用性を損なうものではない。
【００７７】
・内包領域のバリエーションについて：
次に、各種の内包領域の設定方法などについて説明する。図１４〜図１８は、第２画像５２の座標対応画素４に対して設定される内包領域（第２領域）の１例をそれぞれ示す図である。図１４〜図１８には、第２画像５２についての各種の第２領域のみがそれぞれ例示されているが、第１派生画像５４の画像データも生成する場合には、第１画像５１の第１領域（図１３の第１領域５７Ａなど）についても図１４〜図１８にそれぞれ例示された第２領域と同様の第１領域がそれぞれ設定されても良い。なお、第１画像５１の第１領域と、第２画像５２の第２領域とは、それぞれに含まれる画素数が同じである必要は無く、また、それぞれに含まれる画素の配列形状が同じである必要も無い。
【００７８】
図１４に示された第２領域５８Ｂは、座標対応画素４を中心とする５画素×５画素の領域であり、第２派生画像５５の派生画素６の画素値は、設定動作に応じて、注目画素３（図１１）の画素値と、第２領域５８Ｂ内の複数の画素の画素値との一致度を基準として、第２領域５８Ｂの画素の画素値に基づいて取得される。このように、内包領域のサイズを大きくすれば、相互のズレが画像内の位置によって異なる第１画像５１と第２画像５２とについて、実類似度よりも派生類似度を高く算出し得る該ズレのバラツキ範囲を、内包領域のサイズが小さい場合に比べて、より大きくすることができる。
【００７９】
図１５に示された第２領域５８Ｃは、第２領域５８Ｂ（図１４）と、同じ画素サイズおよび同じ画素の配列形状であるが、第２領域５８Ｃでは、第２領域５８Ｃに内包された画素のうち網点が付された８個の画素と、座標対応画素４の画素値に基づいて第２派生画像５５の派生画素６の画素値が取得される。このように内包領域に内包される画素のうち一部の画素のみに基づいて派生画素の画素値を取得すれば、より少ない処理コストで、第１画像５１と第２画像５２との類似度を高く算出し得る。なお、該一部の画素に座標対応画素４が含まれていないとしても本発明の有用性を損なうものではない。
【００８０】
図１６および図１７にそれぞれ示される第２領域５８Ｄおよび５８Ｅは、Ｘ軸方向の画素数×Ｙ軸方向の画素数が、１画素×３画素の細長い矩形領域となっている。例えば、ズームカメラ３１と単焦点カメラ３２との基線長が垂直方向（Ｙ軸方向）に沿っており、ズームカメラ３１と単焦点カメラ３２との光軸が平行であり（輻輳角がなく）、第１画像５１と第２画像５２とに平行化処理が施されている場合、被写体上の同一点にそれぞれ対応した第１画像５１の画素と、第２画像５２の画素とのズレは、Ｙ軸方向に発生する。従って、第２領域５８Ｄおよび５８Ｅは、派生類似度を実類似度以上に高め得る第２派生画像５５の画像データの生成処理を低い処理コストでなし得るようにＹ軸方向に細長い矩形として設定されている。
【００８１】
また、この場合、被写体上の同一点にそれぞれ対応した第１画像５１の画素と、第２画像５２の画素とのズレは、第１画像５１の画素に対して一方向にのみ発生するので第２領域５８Ｅのように、座標対応画素４を端部として該一方向に細長い第２領域５８Ｅを採用することによって、相互のズレが画像内の位置によって異なる第１画像５１と第２画像５２とについて、実類似度よりも派生類似度を高く算出し得る該ズレのバラツキ範囲を、第２領域５８Ｄを採用する場合に比べて、さらに大きくすることができる。
【００８２】
また、図１８に示される第２領域５８Ｆは、座標対応画素４に対して第２領域５８Ｅ（図７）と同様の細長い矩形領域を設定し、さらに該矩形領域に対して、該矩形領域の座標対応画素４と反対側の一端の画素を中心として＋Ｘ方向および−Ｘ方向にそれぞれ１画素ずつの領域を付け加えた合計５画素の画素配列によって構成されている。第１画像５１と第２画像５２との平行化処理が施されていない場合や、ズームカメラ３１と単焦点カメラ３２との基線長方向が垂直方向からずれている場合には、相互のズレが画像内の位置によって異なる第１画像５１と第２画像５２との該ズレの方向も、Ｙ軸方向のみではなく、Ｘ軸方向へも発生する。この場合でも、第２領域５８Ｆを採用して第２派生画像５５の派生画素６の画素値を取得すれば、第１画像５１と第２画像５２とについて、実類似度よりも派生類似度を高く算出し得る該ズレのばらつき範囲を、低い計算処理コストで大きくすることができる。
【００８３】
なお、図１６〜図１８においては、ズームカメラ３１と単焦点カメラ３２との基線長が垂直方向（Ｙ軸方向）に沿っているとの前提に基づいて第２領域５８Ｄ〜第２領域５８Ｆが、それぞれ座標対応画素４を通ってＹ軸方向に細長い領域を有しているが、該基線長方向が水平方向（Ｘ軸方向）や垂直面内で斜め方向に沿っている場合には、該細長い領域が水平方向（Ｘ軸方向）や該斜め方向になるように第２領域５８Ｄ〜第２領域５８Ｆを設定すればよい。
【００８４】
図１９は、ステレオ画像間での類似度算出処理において、第２原画像２の縮小化によって生成された第２画像５２の各部における第２領域５８のサイズの設定例を示す図である。図１９に示される第２領域５８Ｇ〜５８Ｉは、座標対応画素４ｂ〜４ｄをそれぞれ第２領域の中心としており、第２領域５８Ｇ〜５８ＩのＸ軸方向×Ｙ軸方向の画素数はそれぞれ、３×３画素、５×５画素、７×７画素となっている。そして第２領域５８Ｇ〜５８Ｉは、第２派生画像５５における派生画素６ｂ〜６ｄの画素値の取得にそれぞれ用いられる。
【００８５】
ここで、図１０に示されるように、被写体における同一の特徴点にそれぞれ対応する第１画像５１の画素と、第２画像５２の画素との視差、すなわち、該特徴点に対応した第１画像５１と第２画像５２とのズレは、ステレオカメラ３００Ａと、該特徴点との距離が近いほど大きくなる。従って、第２画像５２の各部分における第１画像５１とのズレ、すなわち第２画像５２の各部分における視差に応じて、第２画像５２の各部分に設定される第２領域５８のサイズを設定することによって、第１画像５１と第２画像５２とについて、実類似度よりも派生類似度を高く算出するパターンマッチング演算に供される派生画像５５の画像データを低い処理コストで生成し得る。
【００８６】
ところで、画像の撮影においては、通常、主要被写体の像は、背景画像よりも画像の中央よりに撮像されるように撮影視野が設定される。また、通常、主要被写体は、背景画像に係る背景被写体よりもステレオカメラ３００Ａにより近い位置に位置する。従って、例えば、第２原画像２を縮小化して生成された第２画像５２においては、通常、画像中央部のズレ量（視差）が大きく、周辺部のズレ量（視差）は小さくなる。このため、第２画像５２においては、第２画像５２における第２領域の設定位置（座標対応画素４の座標）に応じて第２領域のサイズを設定したとしても本発明の有用性を損なうものではない。例えば、図１９に示される各第２領域５８のように、第２画像５２の中央部における第２領域５８をサイズを大きくし、第２画像５２の周辺部における第２領域５８のサイズを小さくしてもよい。また、被写体の撮影においては、画面の下部ほどカメラに近い被写体が撮影され、画面の上部ほど、カメラから遠い被写体が撮影されることも多い。従って、第２画像５２の下部（＋Ｙ側）における第２領域５８のサイズを大きく設定し、第２画像５２の上部（−Ｙ側）における第２領域５８のサイズを小さく設定したとしても本発明の有用性を損なうものではない。
【００８７】
また、第２画像５２が、第２原画像２をそのまま縮小化して取得されたものではなく、例えば、第２原画像の部分画像８Ｃ（図６）に基づいて取得された第２画像５２である場合には、第２画像５２の右下部（＋Ｙ端部かつ＋Ｘ端部）での視差が大きく、左上部（−Ｙ端部かつ−Ｘ端部）での視差が小さくなるので、例えば、第２画像５２の右下部から左上部への対角方向に第２領域５８のサイズが縮小していくように複数のサイズの第２領域５８を第２画像５２に設定することによって、少ない計算処理コストで第２派生画像５５の画像データを生成することができる。このように第２画像５２が第２原画像２の部分画像に基づいて取得されている場合には、該部分画像の各部位における視差量の違いを想定し該各部位における第２領域５８のサイズを設定したとしても本発明の有用性を損なうものではない。
【００８８】
次に、画像処理装置２００Ａに、スキャナ３００Ｂに読み込まれた原稿の画像データが第１原画像１として供給され、記憶装置３００Ｃの画像データベースに保存された傾き補正処理済みの各種原稿の画像データが第２原画像２として供給される場合を例として、第２画像５２の各部分における第２領域５８のサイズ設定例について説明する。このようなケースとしては、例えば、汚れ等によって印刷された画像や文字が劣化した原稿の画像データをスキャナ３００Ｂで読み込み、予め劣化が除去されて画像データベースに保存されている各種原稿の画像データの中から劣化した原稿に相当する画像データを画像間の類似度に基づいて特定し、印刷する処理などが想定される。
【００８９】
図２０は、スキャナ読取の原稿画像と、傾き補正処理済み原稿画像との類似度算出処理において、第２画像５２の各部における第２領域５８のサイズの設定例を示す図である。図２０に示される第２領域５８Ｊ〜５８Ｌは、座標対応画素４ｅ〜４ｇをそれぞれ第２領域の中心としており、第２領域５８Ｊ〜５８ＬのＸ軸方向×Ｙ軸方向の画素数はそれぞれ、７×７画素、５×５画素、３×３画素となっている。そして第２領域５８Ｊ〜５８Ｌは、第２派生画像５５における派生画素６ｅ〜６ｇの画素値の取得にそれぞれ用いられる。
【００９０】
ところで、スキャナによって原稿の画像データを読み込む場合、原稿がスキャナの読取走査方向に対して傾いて原稿台に載置されることなどによって、読み込まれた画像データの画像に傾きが生ずることがある。この場合には、傾くことなく載置された原稿が読み取られた画像データについての画像である整置画像と、傾いて載置された原稿が読み取られた画像データについての画像である傾き画像とにおいて、原稿上の同一特徴点にそれぞれ対応した整置画像の画素と、傾き画像の画素とのズレは、画像の部位によって異なる。より具体的には、例えば、傾き画像の中心部では該ズレは小さく、傾き画像の周辺部では、該ズレは大きくなる。また、例えば、しわがある原稿が読み込まれた場合と、しわがない原稿が読み込まれた場合とにおいても、読み込まれた画像間では、相互の対応部分間のズレが画像内での位置によって異なることがある。
【００９１】
そこで、スキャナ３００Ｂに読み込まれた原稿の画像データが第１原画像１として、また、傾き補正処理済みの各種原稿の画像データが第２原画像２として、それぞれ画像処理装置２００Ａによって取得される場合には、画像処理装置２００Ａは、第２原画像２を縮小化して生成される第２画像５２に設定される第２領域５８のサイズを、第２画像５２上での部位に応じて、例えば、図２０に示される第２領域５８Ｊ〜５８Ｌのように、第２画像５２での中央部では小さく、逆に第２画像５２の周辺部では大きく設定する。このような第２画像５２上での部位に応じた第２領域５８のサイズの変更によって、画像処理装置２００Ａは、第１原画像１を縮小化して生成される第１画像５１と、第２画像５２についての第１派生画像５４との派生類似度を、第１画像５１と第２画像５２との原類似度よりも高く算出できる第１派生画像５４の画像データを、第１画像５１の傾き補正処理を行うことなく、低い処理コストで生成することが出来る。
【００９２】
なお、図１９および図２０の例では、第２領域５８のサイズとしてそれぞれ３段種類のサイズが示されているが、より多くのサイズ種類を設定しても本発明の有用性を損なうものではない。また、逆に、第２領域５８のサイズとして２種類のみのサイズが設定されたとしても本発明の有用性を損なうものではない。
【００９３】
また、図１９および図２０の例では、第２領域５８の最小サイズとして、３×３画素の例が示されているが、第２画像５２の各部位のうち第１画像５１と第２画像５２とのズレが最も小さいと想定される部位においては、例えば、１画素サイズの第２領域５８が設定されたとしても本発明の有用性を損なうものではない。
【００９４】
また、図１９および図２０の例では、第２領域５８のサイズに関わらず第２領域についてのＸ軸方向の画素数とＹ軸方向の画素数とは等しく設定されているが、例えば、図１６〜図１８にそれぞれ示された第２領域と同様の画素の配列形状を有する領域が、第２画像５２の部位における第２領域のサイズに応じてスケーリングされて第２領域として設定されたとしても本発明の有用性を損なうものではない。
【００９５】
また、画像処理装置２００Ａに接続された機器の種類、または画像処理装置２００Ａに供給された画像データのデータ形式を判別することなどによって、画像処理装置２００Ａに供給された画像データがステレオカメラ３００Ａからの画像データであるか、または、スキャナ３００Ｂおよび画像データベースが格納された記憶装置３００Ｃからの画像データであるかを判別することによって、例えば、図１９に例示された第２領域５８のサイズ変更手法と、図２０に例示された第２領域５８のサイズ変更手法とを切り替えたとしても本発明の有用性を損なうものではない。
【００９６】
○算出部１４の動作：
図２に示される算出部１４は、動作モードに応じて、取得部１２から供給される第１画像５１と、生成部１３から供給される第２派生画像５５とのそれぞれの画像データに基づいてパターンマッチング演算行って第１画像５１と第２派生画像５５との派生類似度を算出し、該派生類似度を第１画像５１と第２画像５２との類似度６３として取得する。また、算出部１４は、動作モードに応じて、生成部１３からそれぞれ供給される第１派生画像５４の画像データと、第２派生画像５５の画像データとに基づいたパターンマッチング演算を行って、第１派生画像５４と第２派生画像５５との派生類似度を算出し、該派生類似度を第１画像５１と第２画像５２との類似度６３として取得する。また、算出部１４は、画像データ間のパターンマッチング演算において、動作モードに応じて、種々のパターンマッチング処理を実行可能に構成されている。
【００９７】
○ＮＣＣ法を用いた類似度算出：
次に、算出部１４がＮＣＣ（Normalized Cross Correlation）法を用いて第１画像５１（第１派生画像５４）と、第２派生画像５５との派生類似度を求める手法について説明する。
【００９８】
第１画像５１（第１派生画像５４）の画像座標系において、Ｘ座標およびＹ座標がそれぞれｉおよびｊである画素の画素値をＩ（ｉ，ｊ）とし、第２派生画像５５の画像座標系において、Ｘ座標およびＹ座標がそれぞれｉおよびｊである画素の画素値をＴ（ｉ，ｊ）とすると、算出部１４は、（１）式を用いた演算によって第１画像５１（第１派生画像５４）と、第２派生画像５５との派生類似度ＲＮＣＣを算出する。
【００９９】
【数１】
2012093999.tif 000003
【０１００】
なお、第１画像５１（第１派生画像５４）と、第２派生画像５５との類似度が高いほど、算出された派生類似度ＲＮＣＣは大きくなる。ＮＣＣ法を用いれば、第１画像５１（第１派生画像５４）と、第２派生画像５５との派生類似度を、第１画像５１と、第２画像５２との実類似度以上に高く求め得る。なお、算出部１４が、ＮＣＣ法以外にも、例えば、ＳＳＤ（Sum of Squared Difference）法、またはＳＡＤ（Sum of Absolute Difference）法などの差分型探索手法を採用して第１画像５１（第１派生画像５４）と、第２派生画像５５との派生類似度を算出したとしても本発明の有用性を損なうものではない。
【０１０１】
算出部１４がＳＳＤ法を用いて派生類似度を求める場合には、算出部１４は、（２）式および（３）式によって派生類似度ＲＳＳＤを算出する。なお、派生類似度ＲＮＣＣと同様に、第１画像５１（第１派生画像５４）と、第２派生画像５５との類似度が高いほど算出された派生類似度ＲＳＳＤは大きくなる。
【０１０２】
【数２】
2012093999.tif 000004
【０１０３】
また、算出部１４がＳＡＤ法を用いて派生類似度を求める場合には、算出部１４は、（４）式および（５）式によって派生類似度ＲＳＡＤを算出する。なお、派生類似度ＲＮＣＣと同様に、第１画像５１（第１派生画像５４）と、第２派生画像５５との類似度が高いほど算出された派生類似度ＲＳＡＤは大きくなる。
【０１０４】
【数３】
2012093999.tif 000005
【０１０５】
なお、ＮＣＣ法、ＳＳＤ法、およびＳＡＤ法などのように、パターンマッチング対象の２つ画像のうち画素座標が相互に対応する２つの画素の組み合わせ毎に所定の演算を行い、全ての画素座標についての該演算の結果の和に基づいてパターンマッチング対象の２つ画像間の相関を求める手法においては、派生画像の全ての画素についての画素値の取得が完了してからパターンマッチングを行う必要は無い。すなわち、ＮＣＣ法、ＳＳＤ法、およびＳＡＤ法などにおいては、例えば、派生画像の１の画素の画素値が算出された後に、派生画像の他の画素の画素値の取得を待つことなくパターンマッチング演算のうち該１の画素に係る演算を行う演算処理を、派生画像の全ての画素に対して繰り返し行い、派生画像の各画素についての該演算処理の結果の和を求めることによって画像間の相関を求めたとしても本発明の有用性を損なうものではない。
【０１０６】
○ＰＯＣ法を用いた類似度算出：
次に、算出部１４がＰＯＣ（Phase Only Correlation）法を用いて派生類似度を求める処理について説明する。図２１は、ＰＯＣ法を用いたパターンマッチングの手順の１例を示す図である。図２２は、ＰＯＣ値の例を示す図である。
【０１０７】
ＰＯＣ法は、周波数分析を使用した相関法であって、かつ、振幅成分を抑制した相関法である。同様の相関法として、ＤＣＴ符号限定相関法（参考論文：「画像信号処理と画像パターン認識の融合−ＤＣＴ符号限定相関とその応用」貴塚仁志）などが知られている。
【０１０８】
これらの相関法は、パターンの周波数分析信号から、振幅成分を抑制した位相成分のみの信号に基づいて類似度演算を行うため、ノイズなどの影響を受けにくく、ロバストな対応点検索が可能である。
【０１０９】
以下に、第１原画像１Ａに対する第１画像５１（第１派生画像５４）と、第２原画像２Ａに対する第２派生画像５５とを対象として派生類似度を算出する場合を例に、ＰＯＣ法の基本原理を説明する。
【０１１０】
先ず、算出部１４に供給される第１画像５１（第１派生画像５４）の画像データを取得する画像取得処理Ｔ１ａ（図２１）、および第１派生画像５４の画像データを取得する画像取得処理Ｔ１ｂ（図２１）が行われる。
【０１１１】
第１画像５１（第１派生画像５４）の画像領域と、第２派生画像５５の画像領域とは、次の（６）式、（７）式のように表されるものとする。
【０１１２】
【数４】
2012093999.tif 000006
【０１１３】
ここで、（６）式のｆ0(ｎ1,ｎ2)および（７）式のｇ0(ｎ1,ｎ2)は、第１画像５１（第１派生画像５４）および第２派生画像５５の画素の画素値を示している。また、Ｎ1およびＮ2は、例えばＮ1＝２Ｍ1＋１、Ｎ2＝２Ｍ2＋１と設定されている。
【０１１４】
次に、周波数分析を行う前に、画像領域の端部での不連続性の影響を取り除くために窓関数を用いた窓関数処理Ｔ２ａおよびＴ２ｂを行う。
【０１１５】
窓関数は、例えば、（８）式のH(ｎ1,ｎ2)で与えられるハニング窓が採用され、窓関数処理Ｔ２ａ（図２１）およびＴ２ｂ（図２１）は、第１画像５１内および第２画像５２内の各画素の画素値に（８）式の窓関数の出力値を乗ずる演算（９）式および（１０）式でそれぞれ与えられる。
【０１１６】
【数５】
2012093999.tif 000007
【０１１７】
窓関数としては、ハニング窓の他に、例えば、ハミング窓、カイザー窓などが採用される。
【０１１８】
次に、第１画像５１（第１派生画像５４）、第２派生画像５５に対し、（１１）式、（１２）式で示す演算式を用いて、２次元のフーリエ変換処理Ｔ３ａ（図２１）、Ｔ３ｂ（図２１）が行われる。
【０１１９】
【数６】
2012093999.tif 000008
【０１２０】
なお、（１１）式、（１２）式の下部ただし書におけるＷの添字Ｐには、Ｎ1、Ｎ2が代入され、またｋの添字ｓには、１、２が代入される。ここで、周波数分析の処理は必ずしもフーリエ変換である必要はなく、離散コサイン変換、離散サイン変換、ウェーブレット変換又はアダマール変換の何れかを含んでいても良い。
【０１２１】
このようなフーリエ変換処理Ｔ３ａ、Ｔ３ｂが施された各画像領域に対しては、（１３）式で示す演算式を用いて、画像の振幅成分を除去するための正規化処理Ｔ４ａ（図２１）、Ｔ４ｂ（図２１）が行われる。
【０１２２】
【数７】
2012093999.tif 000009
【０１２３】
正規化処理Ｔ４ａ、Ｔ４ｂが完了すると、（１４）式で示す演算式を用いた正規化クロス・パワースペクトル算出処理Ｔ５（図２１）が行われる。
【０１２４】
【数８】
2012093999.tif 000010
【０１２５】
正規化クロス・パワースペクトル算出処理Ｔ５が完了すると、（１５）式で示す演算式を用いた２次元の逆フーリエ変換処理Ｔ６（図２１）が行われる。これにより、第１画像５１（第１派生画像５４）と第２派生画像５５との相関演算が実施されることとなり、その結果(ＰＯＣ値)が出力される。
【０１２６】
【数９】
2012093999.tif 000011
【０１２７】
以上の処理により、第１画像５１（第１派生画像５４）と、第２派生画像５５との相関を示す演算結果(ＰＯＣ値)が得られ、例えば、図２２で示すような結果（ＰＯＣ値）が得られる。
【０１２８】
図２２は、ＰＯＣ値の例を示す図である。図２２においては、Ｎ1×Ｎ2画素のサイズの画像内で相関が高い箇所のＰＯＣ値が大きくなっており、ＰＯＣ値のピークＳが、第１画像５１（第１派生画像５４）と、第２派生画像５５との派生類似度となる。このピークＳを特定する処理が類似度取得処理Ｔ７（図２１）である。なお、ＰＯＣ値のピークＳを与える座標は、第１画像５１（第１派生画像５４）と第２画像５２との類似度が最も高くなるズレを示す。
【０１２９】
以上のように、ＰＯＣ法を用いた類似度算出によれば、画像の振幅成分が除去され、画像の位相成分のみに基づいて相関演算が行われるため、画素値の変動やノイズの影響が抑制されて類似度が精度良く検出される。そして、ＰＯＣ法を用いたとしても、第１画像５１（第１派生画像５４）と、第２派生画像５５との派生類似度を、第１画像５１と、第２画像５２との実類似度以上に高く求め得るので、本発明の有用性を損なうものではない。
【０１３０】
なお、ＰＯＣ法に替えて、例えば、ＳＩＦＴ（Scale Invariant Feature Transform）と呼ばれる画像の雑音、回転、拡大・縮小等に対して頑健な局所特徴量を算出する手法等が採用されたとしても本発明の有用性を損なうものではない。
【０１３１】
＜◎画像処理装置２００Ａの動作フローについて：＞
○ズームカメラ３１のズーム比検出処理：
次に、画像処理装置２００Ａがズームカメラ３１のズーム比を検出する動作フローについて説明する。図２３〜図２７は、画像処理装置２００Ａが、単焦点カメラ３２の撮影倍率に対するズームカメラ３１の撮影倍率の比であるズーム比、すなわち基準画像（第２原画像２）に対するズーム画像（第１原画像１）のズーム比を取得する処理の動作フローの１例を示す図である。
【０１３２】
先ず、図２３のステップＳ１００において、ズーム比の取得処理が開始されると、取得部１２は、入出力部４１を介してズームカメラ３１が撮影したズーム画像（第１原画像１）と、単焦点カメラ３２が撮影した基準画像（第２原画像２）とを取得する（ステップＳ１１０）。
【０１３３】
次に、取得部１２は、ズーム画像の部分画像を取得する動作モードが設定されているか否かを確認する（ステップＳ１２０）。部分画像を取得する動作モードが設定されていれば、取得部１２は、ズーム画像から、例えば、部分画像８Ａ（図３）などの部分画像を取得してＸ軸方向の画素数×Ｙ軸方向の画素数が、例えば、６５×６５画素となるように縮小化し、第１画像５１（図２）を取得する（ステップＳ１３０）。また、部分画像を取得する動作モードが設定されていなければ、取得部１２は、ズーム画像をそのまま同様に縮小化して第１画像５１を取得する（ステップＳ１４０）。
【０１３４】
第１画像５１が取得されると、取得部１２は、ズーム画像の想定ズーム比と、基準画像（第２原画像２）から想定ズーム比に基づいて取得される部分画像の中心座標とを初期化する（ステップＳ１５０）。次に、取得部１２は、取得された想定ズーム比と、部分画像の中心座標とに基づいて、基準画像から、例えば、部分画像８Ｃ（図６）などの部分画像を取得して第１画像５１と同サイズに縮小化し、第２画像５２（図２）を取得する（図２４のステップＳ１６０）。なお、ステップＳ１６０においては、ズーム画像の想定ズーム比が１の場合には、既述したように、取得部１２は、基準画像から部分画像を取得することなく基準画像の全体に基づいて第２画像５２（図２）を取得する。第２画像５２が取得されると、ＣＰＵ１１Ａは、パターンマッチング処理を開始し（ステップＳ１７０）、生成部１３は、第１派生画像５４の画像データを生成する動作モードが設定されているか否かを確認する（図２５のステップＳ３１０）。
【０１３５】
第１派生画像５４の画像データを生成する動作モードが設定されていなければ、生成部１３は、第２派生画像５５の画像データの生成を開始する（ステップＳ３２０）。なお、以下に説明する第２派生画像５５の画像データの生成処理については、図１１および図１２を適宜参照しつつ説明を行う。第２派生画像５５の生成においては、先ず、生成部１３は、第１画像５１（図１１）の注目画素３（図１１）を特定する（図２６のステップＳ４１０）。注目画素３が特定されると、生成部１３は、注目画素３に画素座標が対応した第２画像５２（図１２）の座標対応画素４（図１２）を特定し（ステップＳ４２０）、座標対応画素４を内包する内包領域（図１２の第２領域５８Ａ）を設定する（ステップＳ４３０）。内包領域が設定されると、生成部１３は、注目画素３の画素値と、内包領域（第２領域５８Ａ）内の複数の画素の画素値との一致度を、例えば、図１０〜図１２を参照して既述した手法などによって評価する（ステップＳ４４０）。そして、生成部１３は、該一致度に基づいて、第２画像５２から派生した第２派生画像５５（図１２）において、画素座標が座標対応画素４に対応した派生画素６（図１２）の画素値を取得する（ステップＳ４５０）。
【０１３６】
派生画素６の画素値を取得すると、生成部１３は、全ての注目画素３について、対応する派生画素６の画素値を取得する処理が完了したか否かを確認する（ステップＳ４６０）。確認の結果、該処理が完了していなければ生成部１３は、注目画素３を変更（ステップＳ４７０）し、処理をステップＳ４２０へと戻す。確認の結果、該処理が完了していれば、生成部１３は、第２派生画像５５の画像データの生成処理を終了して処理をステップＳ３３０（図２５）へと移す。次に、算出部１４は、動作モードに応じたパターンマッチング手法によって第１画像５１の画像データと、第２派生画像５５の画像データとのパターンマッチング演算を行って派生類似度を算出し（ステップＳ３３０）、算出された派生類似度を第１画像５１と、第２画像５２との類似度６３として取得する。
【０１３７】
ステップＳ３１０での確認の結果、第１派生画像５４の画像データを生成する動作モードが設定されていれば、生成部１３は、第１派生画像５４の画像データと、第２派生画像５５の画像データとの生成を開始する（ステップＳ３４０）。なお、以下に説明する第１派生画像５４の画像データと、第２派生画像５５の画像データとの生成処理については、図１３を適宜参照しつつ説明を行う。第１派生画像５４の画像データと、第２派生画像５５の画像データとの生成においては、先ず、生成部１３は、第１画像５１（図１３）の注目画素３（図１３）を特定し（図２７のステップＳ５１０）、注目画素３に画素座標が対応した第２画像５２（図１３）の座標対応画素４（図１３）を特定する（ステップＳ５２０）。
【０１３８】
次に、生成部１３は、注目画素３を内包する第１領域５７Ａ（図１３）と、座標対応画素４を内包する第２領域５８Ａ（図１３）とを設定する（ステップＳ５３０）。そして、生成部１３は、例えば、図１３を参照して既述した手法などによって、第１領域５７Ａ内の複数の画素のそれぞれの画素値と、第２領域５８Ａ内の複数の画素のそれぞれの画素値との一致度を評価する（ステップＳ５４０）。該一致度に基づいて、生成部１３は、第１画像５１から派生した第１派生画像５４（図１３）において、画素座標が注目画素３に対応した派生画素５（図１３）の画素値を取得（ステップＳ５５０）するとともに、第２画像５２から派生した第２派生画像５５（図１３）において、画素座標が座標対応画素４に対応した派生画素６（図１３）の画素値を取得する（ステップＳ５６０）。
【０１３９】
次に、生成部１３は、全ての注目画素３に対応した派生画素５および派生画素６についての画素値の取得処理が完了したか否かを確認する（ステップＳ５７０）。該取得処理が完了していなければ、生成部１３は、注目画素３を変更（ステップＳ５８０）し、処理をステップＳ５２０へと戻し、該取得処理が完了していれば、第１派生画像５４および第２派生画像５５の画像データの生成処理を終了して処理をステップＳ３５０（図２５）へと移す。次に、算出部１４は、動作モードに応じたパターンマッチング手法によって第１画像５１の画像データと、第２派生画像５５の画像データとのパターンマッチング演算を行って派生類似度を算出し（ステップＳ３５０）、算出された派生類似度を第１画像５１と、第２画像５２との類似度６３として取得する（ステップＳ３６０）。
【０１４０】
類似度６３が取得されると、処理は、図２４のステップＳ１８０へと移され、取得部１２は、基準画像（第２原画像２）の部分画像に係る全ての中心座標について、中心画像に基づいて設定された部分画像に対応した第２画像５２についての類似度６３の取得処理が終了したか否かを確認する（ステップＳ１８０）。該処理が終了していなければ、取得部１２は、基準画像から取得される部分画像の中心座標を変更し（ステップＳ１９０）、処理をステップＳ１６０へと戻す。一方、該処理が終了していれば、取得部１２は、ズーム画像（第１原画像１）の想定ズーム比の全てについて、想定ズーム比に対応した第２画像５２についての類似度６３の取得処理が終了したか否かを確認する（ステップＳ２００）。該処理が終了していなければ、取得部１２は、ズーム画像の想定ズーム比を変更し（ステップＳ２１０）、処理をステップＳ１６０へと戻す。一方、想定ズーム比に対応した第２画像５２についての類似度６３の取得処理が終了していれば、ＣＰＵ１１Ａは、取得された類似度６３のうち最大の類似度を特定し、最大の類似度に係る想定ズーム比を、ズーム画像のズーム比として検出する（ステップＳ２２０）。
【０１４１】
上述した動作フローに係る処理によって、ズームカメラ３１が撮影した第１原画像１に係る第１画像５１と、単焦点カメラ３２が撮影した第２原画像２に係る第２画像５２との相互の対応部分のズレが画像内の位置によって異なる場合であっても、画像処理装置２００Ａは、第１画像５１（第１派生画像５４）と、第２派生画像５５との派生類似度を、第１画像５１と、第２画像５２との実類似度以上に高く求めることができる。従って、画像処理装置２００Ａは、派生画像に基づいたパターンマッチング演算によって第１画像５１と、第２画像５２との類似度を算出することによって、第１画像５１と第２画像５２とについて算出される類似度を向上させることが出来る。そして、画像処理装置２００Ａは、最も高い類似度が算出された第２画像５２を特定することによって、単焦点カメラ３２の撮影倍率に対するズームカメラ３１の撮影倍率の比であるズーム比、すなわち基準画像（第２原画像２）に対するズーム画像（第１原画像１）のズーム比を精度良く取得することができる。
【０１４２】
○スキャナ３００Ｂの読み込み画像データに対応する画像データの特定処理：
次に、画像処理装置２００Ａに接続されたスキャナ３００Ｂ（図１）と、記憶装置３００Ｃ（図１）とについて、画像処理装置２００Ａが、記憶装置３００Ｃの画像データベースに保存された傾き補正処理済みの各種原稿の画像データのうちスキャナ３００Ｂに読み込まれた原稿の画像データに対応する画像データを特定する処理の動作フローを説明する。図２８および図２５〜図２６は、画像処理装置２００Ａが、該画像データを特定する処理の動作フローの１例を示す図である。
【０１４３】
先ず、図２８のステップＳ６００において、該画像データの取得処理が開始されると、取得部１２は、スキャナ３００Ｂが原稿を読み取った画像データを、入出力部４１を介して第１原画像１（図１、図２）として取得し、第１原画像１をそのままＸ軸方向の画素数×Ｙ軸方向の画素数が、例えば、６５×６５画素となるように縮小化して第１画像５１（図２）の画像データを取得する（ステップＳ６１０）。
【０１４４】
次に、取得部１２は、記憶装置に記憶された傾き補正処理済みの各種原稿の画像データのうち１の画像データを特定する（ステップＳ６２０）。そして、取得部１２は、特定された画像データを第１画像５１と同サイズになるように縮小化して第２画像５２（図２）を取得する（ステップＳ６３０）。
【０１４５】
第２画像５２が取得されると、ＣＰＵ１１Ａは、図２５〜図２７に示された第１画像５１と、第２画像５２とのパターンマッチング処理を行い、第１画像５１と第２画像５２との類似度６３を算出する（ステップＳ６４０）。なお、ステップＳ６４０におけるパターンマッチング処理は、図２４のステップＳ１７０におけるパターンマッチング処理と同様であるので、ステップＳ６４０におけるパターンマッチング処理の処理内容については、説明を省略する。
【０１４６】
第１画像５１と第２画像５２との類似度６３が算出されると、取得部１２は、記憶装置３００Ｃに記憶された全ての画像データに係る類似度６３の算出処理が終了したか否かを確認する（ステップＳ６５０）。
【０１４７】
該算出処理が終了していなければ、取得部１２は、記憶装置３００Ｃに記憶された画像データのうち未処理の画像データの１つを特定し（ステップＳ６６０）、処理をステップＳ６３０へと戻す。一方、該算出処理が終了していれば、処理はステップＳ６７０へと移されて、ＣＰＵ１１Ａは、取得された類似度６３のうち最大の類似度を特定し、記憶装置３００Ｃに記憶された画像データのうち、該最大の類似度に係る画像データを、スキャナ３００Ｂに読み込まれた原稿の画像データに対応した画像データとして特定する（ステップＳ６７０）。
【０１４８】
上述した動作フローに係る処理によって、記憶装置３００Ｃの画像データベースに保存された傾き補正処理済みの各種原稿の画像データに係る第１画像５１と、スキャナ３００Ｂに読み込まれた原稿の画像データに係る第２画像５２との相互の対応部分のズレが画像内の位置によって異なる場合であっても、画像処理装置２００Ａは、第１画像５１（第１派生画像５４）と、第２派生画像５５との派生類似度を、第１画像５１と、第２画像５２との実類似度以上に高く求めることができる。従って、画像処理装置２００Ａは、派生画像に基づいたパターンマッチング演算によって第１画像５１と、第２画像５２との類似度を算出することによって、第１画像５１と第２画像５２とについて算出される類似度を向上させることが出来る。そして、画像処理装置２００Ａは、最も高い類似度が算出された第２画像５２を特定することによって、記憶装置３００Ｃの画像データベースに保存された傾き補正処理済みの各種原稿の画像データのうちスキャナ３００Ｂに読み込まれた原稿の画像データに対応する画像データを精度良く特定することができる。
【０１４９】
なお、図２５に示されたパターンマッチング処理（ステップＳ１７０およびＳ６４０）においては、各派生画像の全ての画素に対応した画素値の取得が完了した後に、動作モードに応じたパターンマッチング手法によって派生類似度が算出されているが、ＮＣＣ法を用いた類似度算出についての説明欄にて既述したように、ＮＣＣ法、ＳＳＤ法、およびＳＡＤ法などにおいては、例えば、派生画像の１の画素の画素値が算出された後に、派生画像の他の画素の画素値の取得を待つことなくパターンマッチング演算のうち該１の画素に係る演算を行う演算処理を、派生画像の全ての画素に対して繰り返し行い、派生画像の各画素についての該演算処理の結果の和を求めることによって派生類似度を算出したとしても本発明の有用性を損なうものではない。
【０１５０】
＜変形例について：＞
以上、本発明の実施の形態について説明してきたが、本発明は上記実施の形態に限定されるものではなく様々な変形が可能である。
【０１５１】
例えば、上述した画像処理装置２００Ａに接続されたステレオカメラ３００Ａは、ズームカメラ３１と、単焦点カメラ３２とを備えて構成されていたが、ステレオカメラ３００Ａが、例えば、２つの単焦点カメラによって構成されたとしても本発明の有用性を損なうものではない。また、ステレオカメラ３００Ａが、撮影倍率が未知のズームカメラと、撮影倍率が既知のズームカメラとによって構成されたとしても本発明の有用性を損なうものではない。
【０１５２】
また、上述した画像処理装置２００Ａの生成部１３が行う第２派生画像５５の画像データの生成処理においては、注目画素３と、座標対応画素４との画像座標系における画素座標が一致していたが（図１１〜図１３など）、注目画素３と、座標対応画素４との画素座標が一致しておらず、例えば、数画素ずれていたとして本願発明の有用性を損なうものではない、すなわち、注目画素３と座標対応画素４との画素座標が対応していれば、本願発明の有用性を損なうものではない。
【０１５３】
また、図１１および図１２を参照して説明した生成部１３の動作においては、第１画像５１に注目画素３が設定されるとともに、注目画素３に座標が対応した、第２画像５２の座標対応画素４を内包した第２領域５８Ａが設定されて、第２派生画像５５の派生画素６の画素値が取得されていたが、第２画像５２を新たな第１画像として設定するとともに、第１画像５１を新たな第２画像５２として設定して、同様に、派生画素の画素値を取得したとしても本発明の有用性を損なうものではない。
【符号の説明】
【０１５４】
１００Ａ  画像処理システム
２００Ａ  画像処理装置
３００Ａ  ステレオカメラ
３００Ｂ  スキャナ
３００Ｃ  記憶装置
１，１Ａ，１Ｂ  第１原画像
２，２Ａ  第２原画像
３  注目画素
４  座標対応画素
５，６  派生画素
８Ａ，８Ｃ，８Ｄ  部分画像
３１  ズームカメラ
３２  単焦点カメラ
５１  第１画像
５２  第２画像
５４  第１派生画像
５５  第２派生画像
５７  第１領域
５８  第２領域
６１  制御信号
６３  類似度
６６  前景被写体
６７  背景被写体
【図１】
2012093999.tif 000012
【図２】
2012093999.tif 000013
【図６】
2012093999.tif 000014
【図７】
2012093999.tif 000015
【図１０】
2012093999.tif 000016
【図１１】
2012093999.tif 000017
【図１２】
2012093999.tif 000018
【図１３】
2012093999.tif 000019
【図１４】
2012093999.tif 000020
【図１５】
2012093999.tif 000021
【図１６】
2012093999.tif 000022
【図１７】
2012093999.tif 000023
【図１８】
2012093999.tif 000024
【図１９】
2012093999.tif 000025
【図２０】
2012093999.tif 000026
【図２１】
2012093999.tif 000027
【図２２】
2012093999.tif 000028
【図２３】
2012093999.tif 000029
【図２４】
2012093999.tif 000030
【図２５】
2012093999.tif 000031
【図２６】
2012093999.tif 000032
【図２７】
2012093999.tif 000033
【図２８】
2012093999.tif 000034
【図３】
2012093999.tif 000035
【図４】
2012093999.tif 000036
【図５】
2012093999.tif 000037
【図８】
2012093999.tif 000038
【図９】
2012093999.tif 000039