(57)【特許請求の範囲】
【請求項１】
画像から特徴点を検出し、前記特徴点毎に、前記特徴点を含む前記特徴点の周辺領域に基づいて前記特徴点の局所特徴量を算出する局所特徴量算出手段と、
第１の画像の前記特徴点の前記局所特徴量と、第２の画像の前記特徴点の前記局所特徴量との差を利用して、前記第１の画像の前記特徴点と前記第２の画像の前記特徴点との対応関係を特定する対応関係特定手段と、
前記第１の画像または前記第２の画像のいずれか一方の画像から、当該画像の特徴点を含む部分領域を検出する部分領域検出手段と、
前記部分領域毎に、前記部分領域に含まれる前記特徴点と、当該特徴点に対応する前記特徴点とに基づいて、前記第１の画像内の被写体と前記第２の画像内の被写体とが同一または類似であるか否かを判定する照合手段とを備え、
前記部分領域検出手段は、前記第１の画像の前記特徴点に付随する大きさの情報の集合である第１のスケール値情報群と、前記第２の画像の前記特徴点に付随する大きさの情報の集合である第２のスケール値情報群とを利用して、前記部分領域を検出するか、あるいは、前記第１の画像の前記特徴点に付随する方向情報の集合である第１の方向情報群と、前記第２の画像の前記特徴点に付随する方向情報の集合である第２の方向情報群とを利用して、前記部分領域を検出するか、あるいは、前記第１のスケール値情報群と、前記第１の方向情報群と、前記第２のスケール値情報群と、前記第２の方向情報群とを利用して、前記部分領域を検出する
ことを特徴とする画像処理装置。
【請求項２】
前記部分領域検出手段は、前記特徴点の座標値に基づいて前記部分領域を検出する
請求項１に記載の画像処理装置。
【請求項３】
前記部分領域検出手段は、前記部分領域の検出対象となる画像の前記特徴点の座標を、当該特徴点に付随する大きさの情報および方向情報、当該特徴点に対応する他方の画像の特徴点の座標、当該特徴点に対応する他方の画像の特徴点に付随する大きさの情報および方向情報を用いて変換する
請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記照合手段は、前記第１の画像の各前記特徴点に付随する大きさの情報の集合である第１のスケール値情報群と、前記第２の画像の各前記特徴点に付随する大きさの情報の集合である第２のスケール値情報群と、前記特徴点の座標値情報とに基づいて、前記第１の画像内の被写体と前記第２の画像内の被写体とが同一または類似であるか否かを判定する
請求項１から請求項３のうちのいずれか１項に記載の画像処理装置。
【請求項５】
前記照合手段は、前記第１の画像の各前記特徴点に付随する方向情報の集合である第１の方向情報群と、前記第２の画像の各前記特徴点に付随する方向情報の集合である第２の方向情報群と、特徴点の座標値情報とに基づいて、前記第１の画像内の被写体と前記第２の画像内の被写体とが同一または類似であるか否かを判定する
請求項１から請求項４のうちのいずれか１項に記載の画像処理装置。
【請求項６】
画像から特徴点を検出し、特徴点毎に、前記特徴点を含む前記特徴点の周辺領域に基づいて当該特徴点の局所特徴量を算出し、
第１の画像の前記特徴点の局所特徴量と、第２の画像の前記特徴点の局所特徴量との差を利用して、前記第１の画像の前記特徴点と前記第２の画像の前記特徴点との対応関係を特定し、
前記第１の画像の前記特徴点に付随する大きさの情報の集合である第１のスケール値情報群と、前記第２の画像の前記特徴点に付随する大きさの情報の集合である第２のスケール値情報群とを利用して、前記第１の画像または前記第２の画像のいずれか一方の画像から、当該画像の前記特徴点を含む部分領域を検出するか、あるいは、前記第１の画像の前記特徴点に付随する方向情報の集合である第１の方向情報群と、前記第２の画像の前記特徴点に付随する方向情報の集合である第２の方向情報群とを利用して、前記第１の画像または前記第２の画像のいずれか一方の画像から前記部分領域を検出するか、あるいは、前記第１のスケール値情報群と、前記第１の方向情報群と、前記第２のスケール値情報群と、前記第２の方向情報群とを利用して、前記第１の画像または前記第２の画像のいずれか一方の画像から前記部分領域を検出し、
前記部分領域毎に、前記部分領域に含まれる前記特徴点と、当該特徴点に対応する前記特徴点とに基づいて、前記第１の画像内の被写体と前記第２の画像内の被写体とが同一または類似であるか否かを判定する
ことを特徴とする画像処理方法。
【請求項７】
コンピュータに、
画像から特徴点を検出し、特徴点毎に、前記特徴点を含む前記特徴点の周辺領域に基づいて当該特徴点の局所特徴量を算出する局所特徴量算出処理、
第１の画像の特徴点の局所特徴量と、第２の画像の特徴点の局所特徴量との差を利用して、前記第１の画像の前記特徴点と前記第２の画像の前記特徴点との対応関係を特定する対応関係特定処理、
前記第１の画像の前記特徴点に付随する大きさの情報の集合である第１のスケール値情報群と、前記第２の画像の前記特徴点に付随する大きさの情報の集合である第２のスケール値情報群とを利用して、前記第１の画像または前記第２の画像のいずれか一方の画像から、当該画像の前記特徴点を含む部分領域を検出するか、あるいは、前記第１の画像の前記特徴点に付随する方向情報の集合である第１の方向情報群と、前記第２の画像の前記特徴点に付随する方向情報の集合である第２の方向情報群とを利用して、前記第１の画像または前記第２の画像のいずれか一方の画像から前記部分領域を検出するか、あるいは、前記第１のスケール値情報群と、前記第１の方向情報群と、前記第２のスケール値情報群と、前記第２の方向情報群とを利用して、前記第１の画像または前記第２の画像のいずれか一方の画像から前記部分領域を検出する部分領域検出処理、および、
前記部分領域毎に、前記部分領域に含まれる前記特徴点と、当該特徴点に対応する前記特徴点とに基づいて、前記第１の画像内の被写体と前記第２の画像内の被写体とが同一または類似であるか否かを判定する照合処理
を実行させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法およびコンピュータ可読記録媒体に関する。
【背景技術】
【０００２】
撮影サイズや角度の変化、オクルージョンが生じても、画像内の被写体（例えば、商品、建物、印刷物等）を頑健に識別するために、画像内の特徴的な点（特徴点）を多数検出し、各特徴点周辺の局所領域の特徴量（局所特徴量）を抽出する方式が提案されている。その代表的な方式として、特許文献１には、ＳＩＦＴ（Ｓｃａｌｅ  Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）特徴量を用いる画像処理装置が開示されている。【０００３】
また、特許文献２には、参照画像と探索画像とを用いて、参照画像内に含まれる対象物を探索画像から検出する検出装置が記載されている。特許文献２に記載の検出装置は、参照画像内の対象物から複数の特徴点を抽出し、各特徴点の局所特徴量を算出する。また、特許文献２に記載の検出装置は、探索画像内にマッチング領域を設定し、マッチング領域に含まれる各々の局所領域についての局所特徴量を算出する。ここで、マッチング領域は、参照領域内の対象物の領域である参照領域と同等の大きさの領域に設定される。特許文献２に記載の検出装置は、参照画像から得た局所特徴量と、探索画像に設定したマッチング領域内の局所特徴量とを用いて、類似度を算出する。【０００４】
また、特許文献３には、被写体の照合を行う画像処理装置が記載されている。特許文献３に記載された画像処理装置は、第１の画像に含まれる各特徴点の局所特徴量を抽出するとともに、第２の画像に含まれる各特徴点の局所特徴量を抽出する。そして、特許文献３に記載された画像処理装置は、第１の画像に含まれる各特徴点の位置に基づいて、第１の画像に含まれる各特徴点をクラスタリングし、クラスタ毎に、クラスタにおける第１の画像の特徴点群の局所特徴量と、第２の画像の全ての特徴点の局所特徴量とを用いて、被写体の同一性または類似性を判定する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許第６７１１２９３号明細書
【特許文献２】特開２０１０−１５２５４３号公報
【特許文献３】国際公開第ＷＯ２０１４／００２５５４号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に記載された技術を用いた一般的な画像処理装置（以下、単に一般的な画像処理装置と記す。）として、以下のような画像処理装置が考えられる。例えば、一般的な画像処理装置は、第１の画像から特徴点を多数検出し、各特徴点の座標値、スケール（大きさ）および角度（方向）に基づいて、個々の特徴点の局所領域毎に得られる局所特徴量の集合（第１の局所特徴量群）を算出し、同様に、第２の画像からも、局所特徴量の集合（第２の局所特徴量群）を算出する。そして、一般的な画像処理装置は、第１の局所特徴量群内の各局所特徴量と、第２の局所特徴量群内の各局所特徴量との距離に基づいて、第１の画像と第２の画像との間（以下、画像間と記す。）で、類似の特徴点を対応付ける。画像間で対応付けられた特徴点を対応点と記す。【０００７】
次に、一般的な画像処理装置は、対応点の位置関係から画像間での対応点の幾何学的検証を実施することによって、画像間で同一または類似の被写体を識別する。ここで、類似とは、被写体の一部が異なること、被写体の一部のみが写っていること、あるいは、画像間で被写体の撮影角度が異なるため被写体の見え方が異なること等を意味する。【０００８】
幾何学的検証では、対応点の位置関係から推定した画像間の幾何変換モデルが用いられる。幾何変換モデルには基礎行列や射影変換行列等が用いられ、その推定方法にはロバストな推定が可能なＲＡＮＳＡＣ（ＲＡＮｄｏｍ  ＳＡｍｐｌｅ  Ｃｏｎｓｅｎｓｕｓ）が用いられる。一般的な画像処理装置は、ＲＡＮＳＡＣで推定した幾何変換モデルに対して整合する対応点をｉｎｌｉｅｒと判定し、それ以外の対応点をｏｕｔｌｉｅｒと判定する。そして、ｏｕｔｌｉｅｒと判定された対応点に対してｉｎｌｉｅｒと判定された対応点が十分多ければ、推定した幾何変換モデルの信頼度が高いと判断できるため、画像間で同一または類似の被写体が含まれていると判定する。【０００９】
上記の一般的な画像処理装置は、画像間で検出した対応点の位置関係を全て用いて、画像間で同一または類似の被写体を判定する。この場合、以下のような問題が生じる。対応点に該当する第１の画像の特徴点と第２の画像の特徴点のペアには正しいペアもあれば、誤ったペアもある。一般的な画像処理装置は、誤った対応点を削除するために、第１の画像の特徴点の相対的な位置関係と、第２の画像の特徴点の相対的な位置関係とが幾何学的に正しいかを検証する。このとき、一方の画像で被写体の形状が変化すると、特徴点の特徴量が近くても、特徴点の相対的位置関係が大きく異なるため、特徴点のペアが正しいペアであるのか、誤ったペアであるのかを正確に判定できなくなる。そのため、例えば、被写体が折れ曲がったり、凹んだりする等、被写体の形状が変化した場合に、画像間の対応点の幾何変換モデルを推定できなくなり、被写体の識別精度が低下する。【００１０】
特許文献２に記載の検出装置は、参照画像から得た全ての局所特徴量と、探索画像に設定したマッチング領域内の全ての局所特徴量とを用いて、類似度を算出する。従って、上記と同様の問題が生じる。【００１１】
特許文献３に記載の画像処理装置は、クラスタ毎に、クラスタにおける第１の画像の特徴点群の局所特徴量と、第２の画像の全ての特徴点の局所特徴量とを用いて、被写体の同一性または類似性を判定する。従って、上記と同様の問題が生じる。【００１２】
そこで、本発明は、画像内の被写体の形状が変形している場合であっても、被写体の識別精度の低下を抑制することができる画像処理装置、画像処理方法およびコンピュータ可読記録媒体を提供することを主たる目的とする。
【課題を解決するための手段】
【００１３】
本発明の一態様による画像処理装置は、画像から特徴点を検出し、特徴点毎に、特徴点を含む当該特徴点の周辺領域に基づいて当該特徴点の局所特徴量を算出する局所特徴量算出手段と、第１の画像の特徴点の局所特徴量と、第２の画像の特徴点の局所特徴量とに基づいて、第１の画像の特徴点と第２の画像の特徴点との対応関係を特定する対応関係特定手段と、第１の画像または第２の画像のいずれか一方の画像から、当該画像の特徴点を含む部分領域を検出する部分領域検出手段と、部分領域毎に、部分領域に含まれる特徴点と、当該特徴点に対応する特徴点とに基づいて、第１の画像内の被写体と第２の画像内の被写体とが同一または類似であるか否かを判定する照合手段とを備えることを特徴とする。【００１４】
また、本発明の一態様による画像処理方法は、画像から特徴点を検出し、特徴点毎に、特徴点を含む当該特徴点の周辺領域に基づいて当該特徴点の局所特徴量を算出し、第１の画像の特徴点の局所特徴量と、第２の画像の特徴点の局所特徴量とに基づいて、第１の画像の特徴点と第２の画像の特徴点との対応関係を特定し、第１の画像または第２の画像のいずれか一方の画像から、当該画像の特徴点を含む部分領域を検出し、部分領域毎に、部分領域に含まれる特徴点と、当該特徴点に対応する特徴点とに基づいて、第１の画像内の被写体と第２の画像内の被写体とが同一または類似であるか否かを判定することを特徴とする。【００１５】
また、本発明の一態様によるコンピュータ可読記録媒体は、画像から特徴点を検出し、特徴点毎に、特徴点を含む当該特徴点の周辺領域に基づいて当該特徴点の局所特徴量を算出する局所特徴量算出処理、第１の画像の特徴点の局所特徴量と、第２の画像の特徴点の局所特徴量とに基づいて、第１の画像の特徴点と第２の画像の特徴点との対応関係を特定する対応関係特定処理、第１の画像または第２の画像のいずれか一方の画像から、当該画像の特徴点を含む部分領域を検出する部分領域検出処理、および、部分領域毎に、部分領域に含まれる特徴点と、当該特徴点に対応する特徴点とに基づいて、第１の画像内の被写体と第２の画像内の被写体とが同一または類似であるか否かを判定する照合処理とをコンピュータに実行させることを特徴とする画像処理プログラムを記録する。
【発明の効果】
【００１６】
本発明によれば、画像内の被写体の形状が変形している場合であっても、被写体の識別精度の低下を抑制することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の画像処理装置の概要を示すブロック図である。
【図２】本発明の第１の実施形態の画像処理装置の例を示すブロック図である。
【図３】特徴点を含む矩形を示す説明図である。
【図４】回転させた矩形の例を示す説明図である。
【図５】第１の実施形態の処理経過の例を示すフローチャートである。
【図６】本発明の第２の実施形態の画像処理装置の例を示すブロック図である。
【図７】スケール値の特性を示す模式図である。
【図８】第２の実施形態の処理経過の例を示すフローチャートである。
【図９】本発明の第３の実施形態の画像処理装置の例を示すブロック図である。
【図１０】方向情報の特定を示す模式図である。
【図１１】第３の実施形態の処理経過の例を示すフローチャートである。
【図１２】本発明の第４の実施形態の画像処理装置の例を示すブロック図である。
【図１３】第４の実施形態の処理経過の例を示すフローチャートである。
【図１４】本発明の第５の実施形態の画像処理装置の例を示すブロック図である。
【図１５】第５の実施形態の処理経過の例を示すフローチャートである。
【図１６】本発明の第６の実施形態の画像処理装置の例を示すブロック図である。
【図１７】第６の実施形態の処理経過の例を示すフローチャートである。
【図１８】本発明の第７の実施形態の画像処理装置の例を示すブロック図である。
【図１９】第７の実施形態の処理経過の例を示すフローチャートである。
【図２０】本発明の第８の実施形態の画像処理装置の例を示すブロック図である。
【図２１】第８の実施形態の処理経過の例を示すフローチャートである。
【図２２】本発明の第９の実施形態の画像処理装置の例を示すブロック図である。
【図２３】第９の実施形態の処理経過の例を示すフローチャートである。
【図２４】本発明の第１０の実施形態の画像処理装置の例を示すブロック図である。
【図２５】第１０の実施形態の処理経過の例を示すフローチャートである。
【図２６】本発明の画像処理装置の最小構成の例を示す模式図である。
【図２７】本発明の各実施形態における画像処理装置を実現するコンピュータの例を示す図である。
【発明を実施するための形態】
【００１８】
以下の説明において、図面内に示す参照符号は、理解を助けるために便宜的に付したものであって、発明の内容を限定することを意図するものではない。
本発明の実施形態において、各装置の各構成要素は、機能単位のブロックを示している。各装置の各構成要素は、例えば図２７に示すようなコンピュータ２０００とプログラムとの任意の組み合わせにより実現することができる。コンピュータ２０００は、一例として、以下のような構成を含む。
【００１９】
・ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２００１
・ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２００２
・ＲＡＭ（Ｒａｍｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２００３
・ＲＡＭ２００３にロードされるプログラム２００４
・プログラム２００４を格納する半導体メモリやハードディスク等の記憶装置２００５
・磁気記録媒体や光記録媒体等の記録媒体２００６の読み書きを行うドライブ装置２００７
・ネットワーク２００９と接続する通信インターフェース２００８
・データの入出力を行う入出力インターフェース２０１０
・各構成要素を接続するバス２０１１
各装置の実現方法には様々な変形例がある。例えば、各装置は、専用の装置として実現することができる。また、各装置は、複数の装置の組み合わせにより実現することができる。
【００２０】
最初に本発明の概要について説明する。図１は、本発明の画像処理装置の概要を示すブロック図である。本発明の画像処理装置１は、第１の局所特徴量算出部１１と、第２の局所特徴量算出部１２と、対応点検出部１３と、部分領域検出部１４と、照合部１５とを含む。
【００２１】
第１の局所特徴量算出部１１は、第１の画像から、１または２以上の特徴点を検出する。そして、第１の局所特徴量算出部１１は、検出した特徴点毎に、特徴点を含む周辺領域から、その特徴点に対応する局所特徴量を算出する。第１の画像から検出された各特徴点に対応する局所特徴量の集合を、第１の局所特徴量群と記す。
【００２２】
第２の局所特徴量算出部１２は、第２の画像から、１または２以上の特徴点を検出する。そして、第２の局所特徴量算出部１２は、検出した特徴点毎に、特徴点を含む周辺領域から、その特徴点に対応する局所特徴量を算出する。第２の画像から検出された各特徴点に対応する局所特徴量の集合を、第２の局所特徴量群と記す。
【００２３】
対応点検出部１３は、第１の局所特徴量群に含まれる局所特徴量に対応する特徴点（第１の画像の特徴点）と、第２の局所特徴量群に含まれる局所特徴量に対応する特徴点（第２の画像の特徴点）との対応関係を示す対応点情報を算出する。具体的には、対応点情報とは、第１の画像の任意の特徴点が第２の画像のどの特徴点に対応するかを示す情報である。対応点情報の集合を対応点情報群と記す。
【００２４】
部分領域検出部１４は、対応点情報群に基づいて、第１の画像中の対応点が含まれる領域を部分領域として検出する。部分領域は、第１の画像から検出される。部分領域は複数検出されてもよい。１つの部分領域に、第１の画像中の対応点が複数個含まれていてもよい。１つの部分領域において、部分領域に含まれる第１の画像中の対応点と、その対応点と対になる第２の画像中の対応点とを表す情報を部分領域情報と記す。前述のように、１つの部分領域に第１の画像中の対応点が複数個含まれていてもよいので、１つの部分領域で、複数の部分領域情報が生じ得る。１つの部分領域から得られる部分領域情報の集合を部分領域情報群と記す。部分領域検出部１４は、検出した部分領域毎に、部分領域情報群を生成する。
【００２５】
照合部１５は、部分領域検出部１４が出力した部分領域情報群に基づいて、部分領域毎に、第１の画像と、第２の画像を比較する。
【００２６】
個々の部分領域は、第１の画像の一部分の領域である。このような部分領域に着目した場合、個々の部分領域では、部分領域に含まれる第１の画像中の各対応点の相対的な位置関係の変化はあまり生じない。従って、上記のように、画像処理装置１が、部分領域毎に、第１の画像と第２の画像を比較することによって、画像内の被写体が変形している場合であっても、第１の画像中の被写体と第２の画像中の被写体を精度良く識別できる。
【００２７】
第１の局所特徴量算出部１１、第２の局所特徴量算出部１２、対応点検出部１３、部分領域検出部１４および照合部１５は、例えば、画像処理プログラムに従って動作するコンピュータのＣＰＵによって実現されてもよい。この場合、ＣＰＵが、プログラムの記録媒体から画像処理プログラムを読み込み、そのプログラムに従って、上記の各要素として動作すればよい。プログラムの記録媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント（ｎｏｎ−ｔｒａｎｓｉｅｎｔ）なものとすることができる。この点は、後述の各実施形態においても同様である。
【００２８】
以下、本発明の実施形態を図面を参照して説明する。
【００２９】
実施形態１．
図２は、本発明の第１の実施形態の画像処理装置の例を示すブロック図である。第１の実施形態の画像処理装置１０は、第１の局所特徴量算出部１０１と、第２の局所特徴量算出部１０２と、対応点検出部１０３と、部分領域検出部１０４と、照合部１０５とを含む。なお、本実施形態の画像処理装置１０は、図２に示す構成に限定されない。
【００３０】
第１の局所特徴量算出部１０１は、第１の画像から１または２以上の特徴点を検出し、各特徴点の座標値の集合である第１の座標値情報群を部分領域検出部１０４および照合部１０５に出力する。なお、第１の座標値情報群において、特徴点の座標値は、その特徴点のインデックス番号と対応付けられている。
【００３１】
また、第１の局所特徴量算出部１０１は、特徴点毎に、特徴点の座標値から局所特徴量を算出し、算出した局所特徴量の集合である第１の局所特徴量群を対応点検出部１０３に出力する。ここで、第１の局所特徴量算出部１０１は、例えば、特徴点の座標値に加えて、局所特徴量を算出する領域のスケールや方向の情報を用いて、局所特徴量を算出してもよい。スケールは、値で表されるので、スケール値と記す場合がある。また、第１の局所特徴量群において、特徴点の局所特徴量は、その特徴点のインデックス番号と対応付けられている。
【００３２】
特徴点のスケール値は、例えば、各特徴点に付随する大きさの情報であり、特徴点を含む周辺領域の画像からその値が算出される。特徴点のスケール値は、例えば、特徴点を含む周辺領域が拡大または縮小すると、それに応じて値が変化する性質を有することが望ましい。周辺領域の拡大または縮小に応じたスケール値の変化は、例えば、線形的な変化でもよく、非線形的な変化でもよく、対数的な変化でもよく、指数的な変化でもよい。
【００３３】
特徴点の方向情報は、例えば、各特徴点に付随する方向（角度）の情報であり、特徴点を含む周辺領域の画像からその値が算出される。特徴点の方向情報は、例えば、特徴点を含む周辺領域の画像が回転すると、それに応じてその角度も回転する性質を有することが望ましい。第１の局所特徴量算出部１０１は、例えば、特徴点を含む周辺領域で、輝度勾配の強度が最大となる方向を、特徴点の方向情報として算出してもよい。
【００３４】
以下に、局所特徴量の算出例を示す。第１の局所特徴量算出部１０１は、特徴点を含み、スケールに応じた大きさの矩形を設定する。図３は、特徴点を含む矩形を示す説明図である。初期状態の矩形２１は、特徴点２３を中央に含み、各辺が、画像２２の辺と平行になるように設定される。なお、ここでは、第１の画像および第２の画像も矩形であるものとして説明する。また、矩形２１は、基準方向を有する。基準方向は、図３において破線の矢印で示している。第１の局所特徴量算出部１０１は、設定した矩形２１を解析し、輝度勾配の強度が最大となる方向を特定し、その方向に合わせて、設定した矩形２１を回転させる。回転させた矩形の例を図４に示す。図４において、実線の矢印は、輝度勾配の強度が最大となる方向として特定された方向である。例えば、第１の局所特徴量算出部１０１は、輝度勾配の強度が最大となる方向と、基準方向とが所定の角度（図４に示す例では９０°）になるように、矩形２１を回転させればよい。矩形の回転に合わせて、その矩形における基準方向も回転する（図４参照）。第１の局所特徴量算出部１０１は、回転後の矩形における基準方向を０°方向として、基準方向からの所定の角度（例えば、０°、９０°等）毎に、再度、矩形内における輝度勾配の強度を算出する。基準方向からの所定の角度毎に算出された輝度勾配の強度が、特徴点に対応する局所特徴量である。第１の局所特徴量算出部１０１は、検出した特徴点毎に局所特徴量を算出する。なお、他の算出方法によって、局所特徴量を算出してもよい。
【００３５】
第２の局所特徴量算出部１０２は、第１の局所特徴量算出部１０１と同様に、第２の画像から特徴点を検出し、各特徴点の座標値の集合である第２の座標値情報群を部分領域検出部１０４および照合部１０５に出力する。なお、第２の座標値情報群において、特徴点の座標値は、その特徴点のインデックス番号と対応づけられている。
【００３６】
第２の局所特徴量算出部１０２は、第１の局所特徴量算出部１０１と同様の動作によって、特徴点毎に局所特徴量を算出し、算出した局所特徴量の集合である第２の局所特徴量群を対応点検出部１０３に出力する。第２の局所特徴量群において、特徴点の局所特徴量は、その特徴点のインデックス番号と対応付けられている。
【００３７】
なお、第２の画像の各特徴点の座標値および局所特徴量を事前に特定し、それらの情報を予め記憶した記憶手段（図示略）を備える構成であってもよい。この点は、本発明の全ての実施形態で同様である。この場合、第２の局所特徴量算出部１０２は設けられていなくてよい。この場合、部分領域検出部１０４および照合部１０５は、その記憶手段から、第２の座標値情報群を読み込み、対応点検出部１０３は、その記憶手段から、第２の局所特徴量群を読み込めばよい。
【００３８】
対応点検出部１０３は、第１の局所特徴量算出部１０１が出力した第１の局所特徴量群と、第２の局所特徴量算出部１０２が出力した第２の局所特徴量群とを用いて、所定の条件を満たす数の対応点情報を生成する。例えば、対応点情報の数が所定の閾値を超えることを、上記の所定の条件としてもよい。
【００３９】
具体的には、対応点検出部１０３は、第１の画像の任意の特徴点と、第２の画像の任意の特徴点との間の局所特徴量間距離を算出する。そして、対応点検出部１０３は、算出した局所特徴量間距離に基づき、第１の画像の特徴点と第２の画像の特徴点との対応関係を示す対応点情報を、所定の条件を満たす数、生成する。対応点情報は、第１の画像の特徴点のインデックス番号と第２の画像の特徴点のインデックス番号のペアを用いて、表してもよい。以下、第１の画像の特徴点のインデックス番号を符号ｑで表し、第２の画像の特徴点のインデックス番号を符号ｐで表す。すなわち、対応点情報は、（ｑ、ｐ）という形式で表されてもよい。また、対応点検出部１０３は、対応点情報に対して順番にインデックス番号を定める。以下、対応点情報のインデックス番号を符号ｋで表す。例えば、第１の画像のｑ１番目の特徴点と第２の画像のｐ１番目の特徴点とが対応しているとする。このとき、（ｑ１、ｐ１）という対応点情報がｋ１番目の対応点情報であれば、（ｑ１、ｐ１）に対して“ｋ１”というインデックス番号が定められる。
【００４０】
対応点検出部１０３は、局所特徴量間距離として、局所特徴量のユークリッド距離を算出してもよい。そして、対応点検出部１０３は、例えば、第１の画像の特徴点と、第２の画像の各特徴点との局所特徴量間距離をそれぞれ算出し、その第１の画像の特徴点との局所特徴量間距離が最小となる第２の画像の特徴点を特定することによって、その第１の画像の特徴点に対応する第２の画像の特徴点を定めてもよい。また、他方の画像の特徴点との間に対応関係が存在しない特徴点があってもよい。例えば、対応点検出部１０３は、最小の局所特徴量間距離と、２番目に小さい局所特徴量間距離との比率を評価尺として、対応関係の有無を判定してもよい。なお、対応点検出の方法は、適宜決定することが好ましく、上記の方法に限定されない。
【００４１】
対応点検出部１０３は、算出した対応点情報の集合である対応点情報群を部分領域検出部１０４および照合部１０５に出力する。
【００４２】
部分領域検出部１０４は、第１の局所特徴量算出部１０１が出力した第１の座標値情報群と、第２の局所特徴量算出部１０２が出力した第２の座標値情報群と、対応点検出部１０３が出力した対応点情報群とを用いて、第１の画像中の対応点が含まれる領域を部分領域として検出する。部分領域検出部１０４は、部分領域を、所定の条件を満たす数を超えて検出する（例えば、予め定められた閾値を超える数の部分領域を検出する）。
【００４３】
そして、部分領域検出部１０４は、検出された部分領域に含まれる第１の画像中の特徴点を対応点として定めている対応点情報を示す情報の集合を部分領域情報群として、部分領域毎に部分領域情報群を照合部１０５に出力する。例えば、対応点情報を示す情報として、対応点情報のインデックス番号ｋを用いてもよい。
【００４４】
具体的には、部分領域検出部１０４は、例えば、第１の画像を所定の大きさの分析領域に分割し、各分析領域をそれぞれ部分領域とみなしてよい。そして、部分領域検出部１０４は、部分領域毎に、部分領域に含まれる第１の画像中の特徴点を対応点として定めている対応点情報のインデックス番号ｋの集合を部分領域情報群としてよい。分析領域の形は矩形でもよいし、円形でもよい。また、分析する領域は画像全体でもよいし、画像の一部でもよい。画像の一部とは、第１の画像中の対応点群の外接矩形でもよいし、第１の画像中の対応点群を内包する円形でもよい。また、分析領域の大きさは固定でもよいし可変でもよい。さらに、隣接する分析領域は重複してもよいし、重複していなくてもよい。
【００４５】
また、部分領域検出部１０４は、例えば、第１の画像の対応点を、それらの座標値に基づいてクラスタリングし、各クラスタを部分領域とみなしてもよい。すなわち、部分領域検出部１０４は、個々のクラスタ毎に、クラスタに属する第１の画像の各対応点を包含する領域を部分領域として定めてもよい。そして、部分領域検出部１０４は、部分領域毎に、部分領域に含まれる第１の画像中の特徴点を対応点として定めている対応点情報のインデックス番号ｋの集合を部分領域情報群としてもよい。
【００４６】
部分領域検出部１０４は、第１の画像の対応点をクラスタリングする場合、第１の画像に含まれる二つの対応点の座標間の距離が近い場合、その二つの対応点を同一のクラスタに分類するという方法を用いてもよい。二つの対応点の座標間の距離が近いか否かは、例えば、距離が、予め定められた閾値以下であるか否かによって判定すればよい。部分領域検出部１０４は、第１の画像に含まれる二つの対応点の間の距離として、例えば、ユークリッド距離を算出してもよく、マハラノビス距離を算出してもよく、市街地距離を算出してもよい。
【００４７】
また、部分領域検出部１０４は、第１の画像の対応点をクラスタリングする場合、例えば、第１の画像に含まれる全ての対応点の組み合わせについて対応点の間の距離を算出し、算出した距離をグラフカットによってクラスタリングするという方法を用いてもよい。
この場合、部分領域検出部１０４は、例えば、第１の画像の対応点をノードとして、第１の画像の対応点間の距離をノード間のエッジとしたグラフを生成する。グラフカットには、例えば、一般的によく知られているノーマライズドカットを用いてもよいし、Ｍａｒｋｏｖ  Ｃｌｕｓｔｅｒアルゴリズムを用いてもよい。
【００４８】
また、部分領域検出部１０４は、第１の画像の対応点をクラスタリングする場合、例えば、一般的によく知られているｋ−ｍｅａｎｓ法を用いてもよいし、Ｍｅａｎ  Ｓｈｉｆｔ法を用いてもよい。
【００４９】
照合部１０５は、第１の局所特徴量算出部１０１が出力した第１の座標値情報群と、第２の局所特徴量算出部１０２が出力した第２の座標値情報群と、対応点検出部１０３が出力した対応点情報群と、部分領域検出部１０４が出力した部分領域情報群とを用いて、画像間で同一または類似の被写体が含まれているかを判定する。
【００５０】
具体的には、照合部１０５は、例えば、部分領域毎に、部分領域に含まれる対応点の座標値を用いて、画像間の対応点の幾何学的検証を実行し、幾何学的に整合の取れた対応点の数の総和に基づいて、画像間での被写体の同一性または類似性を判定してもよい。
【００５１】
また、照合部１０５は、幾何学的検証を実行するときに、例えば、画像間の対応点の幾何学的関係性を相似変換と仮定した上で、ロバスト推定手法を用いて幾何学的関係性を示す幾何変換モデルを推定してもよい。そして、照合部１０５は、第１の画像の対応点と第２の画像の対応点との組が、推定した幾何変換モデルに整合するか否かを判定してもよい。照合部１０５は、ロバスト推定手法として、例えば、ＲＡＮＳＡＣや最小二乗法を用いてもよい。また、画像間の対応点の幾何学的関係性には、例えば、アフィン変換や射影変換（ホモグラフィ）を用いてもよい。ここで、例えば、Ｔ１＜Ｔ２を満足する二つの閾値が予め定められているとする。例えば、照合部１０５は、推定した幾何変換モデルに整合する対応点の組の総和がＴ１未満であれば、画像間で被写体は同一でも類似でもないと判定する。また、照合部１０５は、推定した幾何変換モデルに整合する対応点の組の総和がＴ１以上Ｔ２未満であれば、画像間で被写体が類似していると判定する。また、推定した幾何変換モデルに整合する対応点の組の総和がＴ２以上であれば、画像間で被写体が同一であると判定する。
【００５２】
また、照合部１０５は、幾何学的に整合の取れている対応点の組の数と、幾何学的に整合の取れなかった対応点の組の数の比率に基づいて、画像間での被写体の同一性または類似性を判定してもよい。
【００５３】
第１の局所特徴量算出部１０１、第２の局所特徴量算出部１０２、対応点検出部１０３、部分領域検出部１０４および照合部１０５は、例えば、画像処理プログラムに従って動作するコンピュータのＣＰＵによって実現されてもよい。この場合、ＣＰＵが、プログラムの記録媒体から画像処理プログラムを読み込み、そのプログラムに従って、上記の各要素として動作すればよい。
【００５４】
次に、動作について説明する。図５は、第１の実施形態の処理経過の例を示すフローチャートである。
【００５５】
第１の局所特徴量算出部１０１は、第１の画像から１または２以上の特徴点を検出し、第２の局所特徴量算出部１０２は、第２の画像から１または２以上の特徴点を検出する（Ｓ１００１）。
【００５６】
次に、第１の局所特徴量算出部１０１および第２の局所特徴量算出部１０２はそれぞれ、各特徴点の座標値、スケールおよび方向の情報を用いて、特徴点毎に局所特徴量を算出する（ステップＳ１００２）。また、ステップＳ１００２において、第１の局所特徴量算出部１０１および第２の局所特徴量算出部１０２はそれぞれ、各特徴点の座標値情報も算出する。
【００５７】
次に、対応点検出部１０３は、第１の局所特徴量群の任意の局所特徴量と、第２の局所特徴量群の任意の局所特徴量との間の距離（局所特徴量間距離）を算出し、局所特徴量間距離に基づいて対応点を検出し、対応点情報を生成する（ステップＳ１００３）。
【００５８】
次に、部分領域検出部１０４は、対応点の座標値に基づいて、第１の画像中の対応点が含まれる部分領域を検出する（Ｓ１００４）。
【００５９】
照合部１０５は、部分領域毎に、画像間の対応点の幾何学的検証を実行し、幾何学的整合性の取れた対応点の総和に基づいて、画像間で同一または類似の被写体を識別する（Ｓ１００５）。
【００６０】
以上に説明したように、本発明の第１の実施形態の画像処理装置１０は、特徴点の座標値に基づいて検出した部分領域毎に対応点の幾何学的検証を実行するとともに、幾何学的整合性の取れた対応点の数に基づいて画像間で同一または類似の被写体を識別する。既に説明したように、個々の部分領域では、部分領域に含まれる第１の画像中の各対応点の相対的な位置関係の変化はあまり生じない。従って、部分領域毎に対応点の幾何学的検証を実行することにより、被写体の形状が変形した場合でも、第１の画像中の被写体と第２の画像中の被写体を精度良く識別できる。
【００６１】
実施形態２．
図６は、本発明の第２の実施形態の画像処理装置の例を示すブロック図である。第２の実施形態の画像処理装置２０は、特徴点のスケール値を用いて、部分領域を検出する。以下の説明では、既に説明した要素と同様の要素については、同一の符号を付し、適宜、説明を省略する。この点は、第３の実施形態以降についても同様である。
【００６２】
第２の実施形態の画像処理装置２０は、第１の局所特徴量算出部２０１と、第２の局所特徴量算出部２０２と、対応点検出部１０３と、部分領域検出部２０３と、照合部１０５とを含む。第１の局所特徴量算出部２０１、第２の局所特徴量算出部２０２および部分領域検出部２０３の動作は、第１の実施形態と一部異なる。
【００６３】
第１の局所特徴量算出部２０１は、第１の局所特徴量算出部１０１と同様の動作により、第１の局所特徴量群を算出し、対応点検出部１０３に出力する。また、第１の局所特徴量算出部２０１は、第１の局所特徴量算出部１０１と同様に、第１の座標値情報群を生成し、照合部１０５に出力する。さらに、第１の局所特徴量算出部２０１は、第１の画像から検出した各特徴点のスケール値の集合である第１のスケール値情報群を生成し、部分領域検出部２０３に出力する。
【００６４】
第２の局所特徴量算出部２０２は、第１の局所特徴量算出部２０１と同様の動作により、第２の局所特徴量群を算出し、対応点検出部１０３に出力する。また、第２の局所特徴量算出部２０２は、第１の局所特徴量算出部２０１と同様に、第２の座標値情報群を生成し、照合部１０５に出力する。さらに、第２の局所特徴量算出部２０２は、第２の画像から検出した各特徴点のスケール値の集合である第２のスケール値情報群を生成し、部分領域検出部２０３に出力する。
【００６５】
部分領域検出部２０３は、第１の局所特徴量算出部２０１が出力した第１のスケール値情報群と、第２の局所特徴量算出部２０２が出力した第２のスケール値情報群と、対応点検出部１０３が出力した対応点情報群とを用いて、第１の画像中の対応点が含まれる領域を部分領域として検出する。部分領域検出部２０３は、部分領域を、所定の条件を満たす数を超えて検出する（例えば、予め定められた閾値を超える数の部分領域を検出する）。
そして、部分領域検出部２０３は、部分領域毎に部分領域情報群を照合部１０５に出力する。
【００６６】
具体的には、部分領域検出部２０３は、例えば、対応点の相対スケールに基づいて、部分領域を算出してもよい。対応点の相対スケールとは、第１の画像側の対応点のスケール値と、第２の画像側の対応点のスケール値との違いの程度を表す値である。
【００６７】
部分領域検出部２０３は、対応点のスケール値の比率を、対応点の相対スケールとして用いてもよい。例えば、部分領域検出部２０３は、以下に示す式（１）の計算によって相対スケールを算出してもよい。
【００６８】
σ＝ｓ（ｑ）／ｓ（ｐ）      ・・・式（１）
【００６９】
式（１）において、σは、対応点の相対スケールである。ｓ（ｑ）は、第１の画像から検出したｑ番目の特徴点のスケール値である。ｓ（ｐ）は、第２の画像から検出したｐ番目の特徴点のスケール値である。この２つの特徴点は、対応付けられている。
【００７０】
また、部分領域検出部２０３は、例えば、特徴点のスケール値の対数値を用いて、対応点の相対スケールを算出してもよい。
【００７１】
また、例えば、第１の局所特徴量算出部２０１および第２の局所特徴量算出部２０２が、特徴点から対数関数の性質をもつスケール値を抽出する場合、部分領域検出部２０３は、対応点のスケール値の差分値を、対応点の相対スケールとして用いてもよい。例えば、部分領域検出部２０３は、以下に示す式（２）の計算によって対応点の相対スケールを算出してもよい。
【００７２】
σ’＝ｓ’（ｑ）−ｓ’（ｐ）      ・・・式（２）
【００７３】
式（２）において、σ’は、対応点の相対スケールである。ｓ’（ｑ）は、第１の画像から検出したｑ番目の特徴点のスケール値である。ｓ’（ｐ）は、第２の画像から検出したｐ番目の特徴点のスケール値である。この２つの特徴点は、対応付けられている。
【００７４】
ここで、図７を参照して、スケール値の特性について説明する。図７に示す第２の画像には、図７に示す第１の画像の２倍のサイズの被写体が写っている。図７に示す黒丸は対応点を示し、図７に示す矢印の大きさはスケール値の大きさを示す。特徴点のスケール値は、画像内の被写体サイズに応じて相対的に変化するという性質を持つ。例えば、図７に示すように、画像内の被写体のサイズが２倍になると、特徴点のスケール値も２倍になる。また、例えば、画像内の被写体のサイズが０．５倍になると、特徴点のスケール値も０．５倍になる。従って、式（１）あるいは式（２）で算出される対応点の相対スケールは、第１の画像の特徴点と第２の画像の特徴点との対応付けが正しい場合、被写体毎に一定になるという特性を持つ。
【００７５】
部分領域検出部２０３は、例えば、第１の画像を所定の大きさの分析領域に分割し、各分析領域をそれぞれ部分領域とみなしてよい。そして、部分領域検出部２０３は、部分領域毎に、部分領域に含まれる第１の画像中の特徴点を対応点として定めている対応点情報のインデックス番号ｋのうち、対応点の相対スケールが同一または類似となっている対応点の対応点情報のインデックス番号ｋの集合を部分領域情報群としてよい。分析領域の形状等に関しては第１の実施形態における分析領域の形状等と同様であり、説明を省略する。
【００７６】
部分領域検出部２０３は、対応点の相対スケールが類似であるか否かの判定を、例えば、以下のように行ってもよい。部分領域検出部２０３は、対応点の相対スケールの差の絶対値の逆数を類似度として算出し、その類似度が、閾値以上であれば類似であり、閾値未満であれば類似でないと判定してもよい。ただし、対応点の相対スケールが類似であるか否かの判定方法は、上記の方法に限定されない。
【００７７】
また、部分領域検出部２０３は、例えば、第１の画像の対応点を、それらの対応点を用いて算出した相対スケールに基づいてクラスタリングし、各クラスタを部分領域とみなし、クラスタ毎に、クラスタに属する対応点の対応点情報のインデックス番号の集合を部分領域情報群としてもよい。この場合、部分領域検出部２０３は、例えば、第１の画像に含まれる対応点の相対スケールと各クラスタ重心との距離を算出するとともに、算出した距離が最も小さくなるクラスタにその対応点を分類することによって、第１の画像の対応点をクラスタリングしてもよい。この際、任意のクラスタ内に、相対スケールの類似度が所定の閾値未満となっている対応点が含まれる場合、部分領域検出部２０３は、例えば、クラスタ重心までの距離が長い相対スケールを持つ対応点を、そのクラスタから除外して、別のクラスタに分類すればよい。ここで、クラスタ重心と相対スケールとの距離として、例えば、ユークリッド距離を用いてもよいし、マハラノビス距離を用いてもよいし、市街地距離を用いてもよい。クラスタリングに、第１の実施形態で示した方法と同様の方法を適用してもよい。
【００７８】
第１の局所特徴量算出部２０１、第２の局所特徴量算出部２０２、対応点検出部１０３、部分領域検出部２０３および照合部１０５は、例えば、画像処理プログラムに従って動作するコンピュータのＣＰＵによって実現されてもよい。この場合、ＣＰＵが、プログラムの記録媒体から画像処理プログラムを読み込み、そのプログラムに従って、上記の各要素として動作すればよい。
【００７９】
図８は、第２の実施形態の処理経過の例を示すフローチャートである。図８に示すステップＳ２００１〜Ｓ２００３およびステップＳ２００５は、図５に示すステップＳ１００１〜Ｓ１００３およびステップＳ１００５と同様であり、説明を省略する。
【００８０】
図８に示すステップＳ２００１〜Ｓ２００３の実行後、部分領域検出部２０３は、対応点のスケール値に基づいて、第１の画像中の対応点が含まれる部分領域を検出する（ステップＳ２００４）。その後、ステップＳ２００５に移行する。
【００８１】
本発明の第２の実施形態の画像処理装置２０は、特徴点のスケール値を用いて検出した部分領域毎に対応点の幾何学的検証を実行するとともに、幾何学的整合性の取れた対応点の数に基づいて画像間で同一または類似の被写体を識別する。本実施形態においても、部分領域毎に対応点の幾何学的検証を実行するので、被写体の形状が変形した場合でも、第１の画像中の被写体と第２の画像中の被写体を精度良く識別できる。
【００８２】
実施形態３．
図９は、本発明の第３の実施形態の画像処理装置の例を示すブロック図である。第３の実施形態の画像処理装置３０は、特徴点の方向情報を用いて、部分領域を検出する。
【００８３】
第３の実施形態の画像処理装置３０は、第１の局所特徴量算出部３０１と、第２の局所特徴量算出部３０２と、対応点検出部１０３と、部分領域検出部３０３と、照合部１０５とを含む。第１の局所特徴量算出部３０１、第２の局所特徴量算出部３０２および部分領域検出部２０３の動作は、前述の実施形態と一部異なる。
【００８４】
第１の局所特徴量算出部３０１は、第１の局所特徴量算出部１０１と同様の動作により、第１の局所特徴量群を算出し、対応点検出部１０３に出力する。また、第１の局所特徴量算出部３０１は、第１の局所特徴量算出部１０１と同様に、第１の座標値情報群を生成し、照合部１０５に出力する。さらに、第１の局所特徴量算出部３０１は、第１の画像から検出した各特徴点の方向情報の集合である第１の方向情報群を生成し、部分領域検出部３０３に出力する。
【００８５】
第２の局所特徴量算出部３０２は、第１の局所特徴量算出部３０１と同様の動作により、第２の局所特徴量群を算出し、対応点検出部１０３に出力する。また、第２の局所特徴量算出部３０２は、第１の局所特徴量算出部３０１と同様に、第２の座標値情報群を生成し、照合部１０５に出力する。さらに、第２の局所特徴量算出部３０２は、第２の画像から検出した各特徴点の方向情報の集合である第２の方向情報群を生成し、部分領域検出部３０３に出力する。
【００８６】
部分領域検出部３０３は、第１の局所特徴量算出部３０１が出力した第１の方向情報群と、第２の局所特徴量算出部３０２が出力した第２の方向情報群と、対応点検出部１０３が出力した対応点情報群とを用いて、第１の画像中の対応点が含まれる領域を部分領域として検出する。部分領域検出部３０３は、部分領域を、所定の条件を満たす数を超えて検出する（例えば、予め定められた閾値を超える数の部分領域を検出する）。そして、部分領域検出部３０３は、部分領域毎に部分領域情報群を照合部１０５に出力する。
【００８７】
具体的には、部分領域検出部３０３は、例えば、対応点の相対方向に基づいて、部分領域を算出してもよい。対応点の相対方向とは、第１の画像側の対応点の方向情報と、第２の画像側の対応点の方向情報との違いの程度を表す値である。
【００８８】
部分領域検出部３０３は、対応点の方向情報の差分値を、対応点の相対方向として用いてもよい。例えば、部分領域検出部３０３は、以下に示す式（３）の計算によって対応点の相対方向を算出してもよい。
【００８９】
ρ＝θ（ｑ）−θ（ｐ）      ・・・式（３）
【００９０】
式（３）において、ρは、対応点の相対方向である。θ（ｑ）は、第１の画像から検出したｑ番目の特徴点の方向情報である。θ（ｐ）は、第２の画像から検出したｐ番目の特徴点の方向情報である。この２つの特徴点は、対応付けられている。
【００９１】
また、例えば、第１の局所特徴量算出部３０１および第２の局所特徴量算出部３０２が、特徴点から指数関数の性質を持つ方向情報を抽出する場合、部分領域検出部３０３は、対応点の方向情報の比率を、対応点の相対方向として用いてもよい。例えば、部分領域検出部３０３は、以下に示す式（４）の計算によって対応点の相対方向を算出してもよい。
【００９２】
ρ’＝θ’（ｑ）／θ’（ｐ）      ・・・式（４）
【００９３】
式（４）において、ρ’は、対応点の相対方向である。θ’（ｑ）は、第１の画像から検出したｑ番目の特徴点の方向情報である。θ’（ｐ）は、第２の画像から検出したｐ番目の特徴点の方向情報である。この２つの特徴点は、対応付けられている。
【００９４】
ここで、図１０を参照して特徴点の方向情報の特定について説明する。図１０に示す第２の画像における被写体は、図１０に示す第１の画像における被写体に対して４５°回転している。図１０に示す黒丸は対応点を示し、図１０に示す矢印の方向は、特徴点の方向情報を示す。図１０に示すように、特徴点の方向情報は、画像内の被写体の回転に応じて相対的に変化するという性質を持つ。すなわち、画像内の被写体が４５°回転すると、当該被写体の全ての特徴点の方向情報が４５°回転する。従って、式（３）あるいは式（４）で算出された対応点の相対方向は、第１の画像の特徴点と第２の画像の特徴点との対応付けが正しい場合、被写体毎に一定になるという特性を持つ。
【００９５】
部分領域検出部３０３は、例えば、第１の画像を所定の大きさの分析領域に分割し、各分析領域をそれぞれ部分領域とみなしてよい。そして、部分領域検出部３０３は、部分領域毎に、部分領域に含まれる第１の画像中の特徴点を対応点として定めている対応点情報のインデックス番号ｋのうち、対応点の相対方向が同一または類似となっている対応点の対応点情報のインデックス番号ｋの集合を部分領域情報群としてよい。分析領域の形状等に関しては第１の実施形態における分析領域の形状等と同様であり、説明を省略する。
【００９６】
部分領域検出部３０３は、対応点の相対方向が類似であるか否かの判定を、例えば、以下のように行ってもよい。部分領域検出部３０３は、対応点の相対方向の差の絶対値の逆数を類似度として算出し、その類似度が閾値以上であれば類似であり、閾値未満であれば類似でないと判定してもよい。ただし、対応点の相対方向が類似であるか否かの判定方法は、上記の方法に限定されない。
【００９７】
また、部分領域検出部３０３は、例えば、第１の画像の対応点を、それらの対応点を用いて算出した相対方向に基づいてクラスタリングし、各クラスタを部分領域とみなし、クラスタ毎に、クラスタに属する対応点の対応点情報のインデックス番号の集合を部分領域情報群としてもよい。この場合、部分領域検出部３０３は、例えば、第１の画像に含まれる対応点の相対方向と各クラスタ重心との距離を算出するとともに、算出した距離が最も小さくなるクラスタにその対応点を分類することによって、第１の画像の対応点をクラスタリングしてもよい。この際、任意のクラスタ内に、相対方向の類似度が所定の閾値未満となっている対応点が含まれる場合、部分領域検出部３０３は、例えば、クラスタ重心までの距離が長い相対方向を持つ対応点を、そのクラスタから除外して、別のクラスタに分類すればよい。ここで、クラスタ重心と相対方向との距離として、例えば、ユークリッド距離を用いてもよいし、マハラノビス距離を用いてもよいし、市街地距離を用いてもよい。クラスタリングに、第１の実施形態で示した方法と同様の方法を適用してもよい。
【００９８】
第１の局所特徴量算出部３０１、第２の局所特徴量算出部３０２、対応点検出部１０３、部分領域検出部３０３および照合部１０５は、例えば、画像処理プログラムに従って動作するコンピュータのＣＰＵによって実現されてもよい。この場合、ＣＰＵが、プログラムの記録媒体から画像処理プログラムを読み込み、そのプログラムに従って、上記の各要素として動作すればよい。
【００９９】
図１１は、第３の実施形態の処理経過の例を示すフローチャートである。図１１に示すステップＳ３００１〜Ｓ３００３およびステップＳ３００５は、図５に示すステップＳ１００１〜Ｓ１００３およびステップＳ１００５と同様であり、説明を省略する。
【０１００】
図１１に示すステップＳ３００１〜Ｓ３００３の実行後、部分領域検出部３０３は、対応点の方向情報に基づいて、第１の画像中の対応点が含まれる部分領域を検出する（ステップＳ３００４）。その後、ステップＳ３００５に移行する。
【０１０１】
本発明の第３の実施形態の画像処理装置３０は、特徴点の方向情報を用いて検出した部分領域毎に対応点の幾何学的検証を実行するとともに、幾何学的整合性の取れた対応点の数に基づいて画像間で同一または類似の被写体を識別する。本実施形態においても、部分領域毎に対応点の幾何学的検証を実行するので、被写体の形状が変形した場合でも、第１の画像中の被写体と第２の画像中の被写体を精度良く識別できる。
【０１０２】
実施形態４．
図１２は、本発明の第４の実施形態の画像処理装置の例を示すブロック図である。第４の実施形態の画像処理装置４０は、特徴点のスケール値および特徴点の方向情報を用いて、部分領域を検出する。
【０１０３】
第４の実施形態の画像処理装置４０は、第１の局所特徴量算出部４０１と、第２の局所特徴量算出部４０２と、対応点検出部１０３と、部分領域検出部４０３と、照合部１０５とを含む。第１の局所特徴量算出部４０１、第２の局所特徴量算出部４０２および部分領域検出部４０３の動作は、前述の実施形態と一部異なる。
【０１０４】
第１の局所特徴量算出部４０１は、第１の局所特徴量算出部１０１と同様の動作により、第１の局所特徴量群を算出し、対応点検出部１０３に出力する。また、第１の局所特徴量算出部４０１は、第１の局所特徴量算出部１０１と同様に、第１の座標値情報群を生成し、照合部１０５に出力する。また、第１の局所特徴量算出部４０１は、第１の局所特徴量算出部２０１と同様に、第１のスケール値情報群を生成し、部分領域検出部４０３に出力する。さらに、第１の局所特徴量算出部４０１は、第１の局所特徴量算出部３０１と同様に、第１の方向情報群を生成し、部分領域検出部４０３に出力する。
【０１０５】
第２の局所特徴量算出部４０２は、第１の局所特徴量算出部４０１と同様の動作により、第２の局所特徴量群を算出し、対応点検出部１０３に出力する。また、第２の局所特徴量算出部４０２は、第１の局所特徴量算出部４０１と同様に、第２の座標値情報群を生成し、照合部１０５に出力する。また、第２の局所特徴量算出部４０２は、第１の局所特徴量算出部４０１と同様に、第２のスケール値情報群を生成し、部分領域検出部４０３に出力する。さらに、第２の局所特徴量算出部４０２は、第１の局所特徴量算出部４０１と同様に、第２の方向情報群を生成し、部分領域検出部４０３に出力する。
【０１０６】
部分領域検出部４０３は、第１の局所特徴量算出部４０１が出力した第１のスケール値情報群および第１の方向情報群と、第２の局所特徴量算出部４０２が出力した第２のスケール値情報群および第２の方向情報群と、対応点検出部１０３が出力した対応点情報群とを用いて、第１の画像中の対応点が含まれる領域を部分領域として検出する。部分領域検出部４０３は、部分領域を、所定の条件を満たす数を超えて検出する（例えば、予め定められた閾値を超える数の部分領域を検出する）。そして、部分領域検出部４０３は、部分領域毎に部分領域情報群を照合部１０５に出力する。
【０１０７】
部分領域検出部４０３は、例えば、対応点の相対スケールおよび対応点の相対方向に基づいて部分領域を算出してもよい。対応点の相対スケールの算出方法や、対応点の相対方向の算出方法については、それぞれ、第２の実施形態、第３の実施形態で説明したので、本実施形態以降では説明を省略する。
【０１０８】
具体的には、部分領域検出部４０３は、第１の画像中の対応点を、対応点の相対スケールが同一または類似となっていて、かつ、対応点の相対方向が同一または類似となっている対応点のグループに分ける。そして、部分領域検出部４０３は、グループ毎に、グループに属する対応点の対応点情報のインデックス番号ｋの集合を部分領域情報群としてよい。対応点の相対スケールが類似であるか否かの判定方法の例や、対応点の相対方法が類似であるか否かの判定方法の例については、既に説明したので、本実施形態以降では説明を省略する。
【０１０９】
第１の局所特徴量算出部４０１、第２の局所特徴量算出部４０２、対応点検出部１０３、部分領域検出部４０３および照合部１０５は、例えば、画像処理プログラムに従って動作するコンピュータのＣＰＵによって実現されてもよい。この場合、ＣＰＵが、プログラムの記録媒体から画像処理プログラムを読み込み、そのプログラムに従って、上記の各要素として動作すればよい。
【０１１０】
図１３は、第４の実施形態の処理経過の例を示すフローチャートである。図１３に示すステップＳ４００１〜Ｓ４００３およびステップＳ４００５は、図５に示すステップＳ１００１〜Ｓ１００３およびステップＳ１００５と同様であり、説明を省略する。
【０１１１】
図１３に示すステップＳ４００１〜Ｓ４００３の実行後、部分領域検出部４０３は、対応点のスケール値および方向情報に基づいて、第１の画像中の対応点が含まれる部分領域を検出する（ステップＳ４００４）。その後、ステップＳ４００５に移行する。
【０１１２】
本発明の第４の実施形態の画像処理装置４０によれば、第２の実施形態および第３の実施形態と同様の効果が得られる。また、第４の実施形態では、対応点のスケール値および方向情報を用いて部分領域を検出するので、第２の実施形態や第３の実施形態よりも、部分領域の検出精度を向上させることができる。従って、第２の実施形態や第３の実施形態よりも、被写体の識別精度を向上させることができる。
【０１１３】
実施形態５．
図１４は、本発明の第５の実施形態の画像処理装置の例を示すブロック図である。第５の実施形態の画像処理装置５０は、特徴点の座標値および特徴点のスケール値を用いて、部分領域を検出する。
【０１１４】
第５の実施形態の画像処理装置５０は、第１の局所特徴量算出部２０１と、第２の局所特徴量算出部２０２と、対応点検出部１０３と、部分領域検出部５０１と、照合部１０５とを含む。部分領域検出部５０１の動作は、前述の実施形態と一部異なる。
【０１１５】
第１の局所特徴量算出部２０１および第２の局所特徴量算出部２０２は、第２の実施形態におけるそれらの要素と同様である。なお、本実施形態では、第１の局所特徴量算出部２０１は、部分領域検出部５０１および照合部１０５に第１の座標値情報群を出力する。
同様に、第２の局所特徴量算出部２０２は、部分領域検出部５０１および照合部１０５に第２の座標値情報群を出力する。
【０１１６】
部分領域検出部５０１は、第１の局所特徴量算出部２０１が出力した第１の座標値情報群および第１のスケール値情報群と、第２の局所特徴量算出部２０２が出力した第２の座標値情報群および第２のスケール値情報群と、対応点検出部１０３が出力した対応点情報群とを用いて、第１の画像中の対応点が含まれる領域を部分領域として検出する。部分領域検出部５０１は、部分領域を、所定の条件を満たす数を超えて検出する（例えば、予め定められた閾値を超える数の部分領域を検出する）。そして、部分領域検出部５０１は、部分領域毎に部分領域情報群を照合部１０５に出力する。
【０１１７】
部分領域検出部５０１は、例えば、対応点の座標値および対応点の相対スケールに基づいて部分領域を算出してもよい。
【０１１８】
具体的には、部分領域検出部５０１は、第１の画像中の対応点を、第１の画像中の対応点の座標値が同一または類似となっていて、かつ、対応点の相対スケールが同一または類似となっている対応点のグループに分ける。そして、部分領域検出部５０１は、グループ毎に、グループに属する対応点の対応点情報のインデックス番号ｋの集合を部分領域情報群としてよい。第１の画像中の対応点の座標値が類似であるか否かは、例えば、以下のように判定すればよい。部分領域検出部５０１は、第１の画像中の対応点同士が、同じ分析領域に属していたり、あるいは、同じクラスタに分類されていることを条件にして、対応点の座標同士が類似していると判定してもよい。対応点の座標が類似であるか否かの判定方法は、上記の方法に限定されない。
【０１１９】
第１の局所特徴量算出部２０１、第２の局所特徴量算出部２０２、対応点検出部１０３、部分領域検出部５０１および照合部１０５は、例えば、画像処理プログラムに従って動作するコンピュータのＣＰＵによって実現されてもよい。この場合、ＣＰＵが、プログラムの記録媒体から画像処理プログラムを読み込み、そのプログラムに従って、上記の各要素として動作すればよい。
【０１２０】
図１５は、第５の実施形態の処理経過の例を示すフローチャートである。図１５に示すステップＳ５００１〜Ｓ５００３およびステップＳ５００５は、図５に示すステップＳ１００１〜Ｓ１００３およびステップＳ１００５と同様であり、説明を省略する。
【０１２１】
図１５に示すステップＳ５００１〜Ｓ５００３の実行後、部分領域検出部５０１は、対応点の座標値およびスケール値に基づいて、第１の画像中の対応点が含まれる部分領域を検出する（ステップＳ５００４）。その後、ステップＳ５００５に移行する。
【０１２２】
本発明の第５の実施形態の画像処理装置５０によれば、第２の実施形態と同様の効果が得られる。また、第５の実施形態では、対応点の座標値およびスケール値を用いて部分領域を検出するので、第２の実施形態よりも部分領域の検出精度を向上させることができる。従って、第２の実施形態よりも被写体の識別精度を向上させることができる。
【０１２３】
実施形態６．
図１６は、本発明の第６の実施形態の画像処理装置の例を示すブロック図である。第６の実施形態の画像処理装置６０は、特徴点の座標値および特徴点の方向情報を用いて、部分領域を検出する。
【０１２４】
第６の実施形態の画像処理装置６０は、第１の局所特徴量算出部３０１と、第２の局所特徴量算出部３０２と、対応点検出部１０３と、部分領域検出部６０１と、照合部１０５とを含む。部分領域検出部６０１の動作は、前述の実施形態と一部異なる。
【０１２５】
第１の局所特徴量算出部３０１および第２の局所特徴量算出部３０２は、第３の実施形態におけるそれらの要素と同様である。なお、本実施形態では、第１の局所特徴量算出部３０１は、部分領域検出部６０１および照合部１０５に第１の座標値情報群を出力する。
同様に、第２の局所特徴量算出部３０２は、部分領域検出部６０１および照合部１０５に第２の座標値情報群を出力する。
【０１２６】
部分領域検出部６０１は、第１の局所特徴量算出部３０１が出力した第１の座標値情報群および第１の方向情報群と、第２の局所特徴量算出部３０２が出力した第２の座標値情報群および第２の方向情報群と、対応点検出部１０３が出力した対応点情報群とを用いて、第１の画像中の対応点が含まれる領域を部分領域として検出する。部分領域検出部６０１は、部分領域を、所定の条件を満たす数を超えて検出する（例えば、予め定められた閾値を超える数の部分領域を検出する）。そして、部分領域検出部６０１は、部分領域毎に部分領域情報群を照合部１０５に出力する。
【０１２７】
部分領域検出部６０１は、例えば、対応点の座標値および対応点の相対方向に基づいて部分領域を算出してもよい。
【０１２８】
具体的には、部分領域検出部６０１は、第１の画像中の対応点を、第１の画像中の対応点の座標値が同一または類似となっていて、かつ、対応点の相対方向が同一または類似となっている対応点のグループに分ける。そして、部分領域検出部６０１は、グループ毎に、グループに属する対応点の対応点情報のインデックス番号ｋの集合を部分領域情報群としてよい。第１の画像中の対応点の座標値が類似であるか否かの判定方法の例については既に説明したので、ここでは説明を省略する。
【０１２９】
第１の局所特徴量算出部３０１、第２の局所特徴量算出部３０２、対応点検出部１０３、部分領域検出部６０１および照合部１０５は、例えば、画像処理プログラムに従って動作するコンピュータのＣＰＵによって実現されてもよい。この場合、ＣＰＵが、プログラムの記録媒体から画像処理プログラムを読み込み、そのプログラムに従って、上記の各要素として動作すればよい。
【０１３０】
図１７は、第６の実施形態の処理経過の例を示すフローチャートである。図１７に示すステップＳ６００１〜Ｓ６００３およびステップＳ６００５は、図５に示すステップＳ１００１〜Ｓ１００３およびステップＳ１００５と同様であり、説明を省略する。
【０１３１】
図１７に示すステップＳ６００１〜Ｓ６００３の実行後、部分領域検出部６０１は、対応点の座標値および方向情報に基づいて、第１の画像中の対応点が含まれる部分領域を検出する（ステップＳ６００４）。その後、ステップＳ６００５に移行する。
【０１３２】
本発明の第６の実施形態の画像処理装置６０によれば、第３の実施形態と同様の効果が得られる。また、第６の実施形態では、対応点の座標値および方向情報を用いて部分領域を検出するので、第３の実施形態よりも部分領域の検出精度を向上させることができる。
従って、第３の実施形態よりも被写体の識別精度を向上させることができる。
【０１３３】
実施形態７．
図１８は、本発明の第７の実施形態の画像処理装置の例を示すブロック図である。第７の実施形態の画像処理装置７０は、特徴点の座標値、スケール値および方向情報を用いて、部分領域を検出する。
【０１３４】
第７の実施形態の画像処理装置７０は、第１の局所特徴量算出部４０１と、第２の局所特徴量算出部４０２と、対応点検出部１０３と、部分領域検出部７０１と、照合部１０５とを含む。部分領域検出部７０１の動作は、前述の実施形態と一部異なる。
【０１３５】
第１の局所特徴量算出部４０１および第２の局所特徴量算出部４０２は、第４の実施形態におけるそれらの要素と同様である。なお、本実施形態では、第１の局所特徴量算出部４０１は、部分領域検出部７０１および照合部１０５に第１の座標値情報群を出力する。
同様に、第２の局所特徴量算出部４０２は、部分領域検出部７０１および照合部１０５に第２の座標値情報群を出力する。
【０１３６】
部分領域検出部７０１は、第１の局所特徴量算出部４０１が出力した第１の座標値情報群、第１のスケール値情報群および第１の方向情報群と、第２の局所特徴量算出部４０２が出力した第２の座標値情報群、第２のスケール値情報群および第２の方向情報群と、対応点検出部１０３が出力した対応点情報群とを用いて、第１の画像中の対応点が含まれる領域を部分領域として検出する。部分領域検出部７０１は、部分領域を、所定の条件を満たす数を超えて検出する（例えば、予め定められた閾値を超える数の部分領域を検出する）。そして、部分領域検出部７０１は、部分領域毎に部分領域情報群を照合部１０５に出力する。
【０１３７】
部分領域検出部７０１は、例えば、対応点の座標値、相対スケールおよび相対方向に基づいて部分領域を算出してよい。
【０１３８】
具体的には、部分領域検出部７０１は、第１の画像中の対応点を、第１の画像中の対応点の座標値が同一または類似となっていて、かつ、対応点の相対スケールが同一または類似となっていて、かつ、対応点の相対方向が同一または類似となっている対応点のグループに分ける。そして、部分領域検出部７０１は、グループ毎に、グループに属する対応点の対応点情報のインデックス番号ｋの集合を部分領域情報群としてよい。第１の画像中の対応点の座標値が類似であるか否かの判定方法の例については既に説明したので、ここでは説明を省略する。
【０１３９】
また、部分領域検出部７０１は、例えば、第１の画像中の対応点の座標値を任意の座標系での座標値に変換してから部分領域を検出してもよい。任意の座標系として、例えば、第２の画像中の被写体の任意の座標値を原点とする座標系を用いてもよい。これ以降、説明の便宜上、第１の画像中の対応点の座標値を、第２の画像中の被写体の中心座標値（被写体中心点）を原点とする座標系での座標値に変換する場合を例にして説明する。
【０１４０】
部分領域検出部７０１は、例えば、以下に示す式（５）を用いて、第１の画像の対応点の座標値を任意の座標系での座標値に変換してもよい。
【０１４１】
【数１】
0006593327.tif 000002
【０１４２】
式（５）において、添え字として示しているｑは、第１の画像の特徴点のインデックス番号であり、ｐは、第２の画像の特徴点のインデックス番号である。以下、第１の画像のｑ番目の特徴点を特徴点ｑと記し、第２の画像のｐ番目の特徴点を特徴点ｐと記す。特徴点ｑと特徴点ｐとは対応付けられている。ｖｑは、特徴点ｑの座標値である。σｑｐは、特徴点ｑおよび特徴点ｐのペアに関する対応点の相対スケールである。ρｑｐは、特徴点ｑおよび特徴点ｐのペアに関する対応点の相対方向である。ｃｑｐは、第１の画像中の被写体中心の座標値である。ｕ’ｐは、第２の画像の特徴点ｐから第２の画像の被写体中心へのベクトルである。部分領域検出部７０１は、ベクトルｕ’ｐを、例えば、以下に示す式（６）の計算によって算出してもよい。
【０１４３】
【数２】
0006593327.tif 000003
【０１４４】
式（６）において、ｘｐは、第２の画像の特徴点ｐのｘ座標値であり、ｙｐは、特徴点ｐのｙ座標値である。ｘｃは、第２の画像の被写体中心のｘ座標値であり、ｙｃは、第２の画像の被写体中心のｙ座標値である。
【０１４５】
式（５）および式（６）を用いて、第１の画像中の対応点の座標値を変換すると、同一被写体の対応点を一箇所に集約することができる。そのため、部分領域の検出精度を向上させることができる。
【０１４６】
なお、前述の各実施形態においても、上記と同様に第１の画像の特徴点を変換してから部分領域を検出してもよい。
【０１４７】
第１の局所特徴量算出部４０１、第２の局所特徴量算出部４０２、対応点検出部１０３、部分領域検出部７０１および照合部１０５は、例えば、画像処理プログラムに従って動作するコンピュータのＣＰＵによって実現されてもよい。この場合、ＣＰＵが、プログラムの記録媒体から画像処理プログラムを読み込み、そのプログラムに従って、上記の各要素として動作すればよい。
【０１４８】
図１９は、第７の実施形態の処理経過の例を示すフローチャートである。図１９に示すステップＳ７００１〜Ｓ７００３およびステップＳ７００５は、図５に示すステップＳ１００１〜Ｓ１００３およびステップＳ１００５と同様であり、説明を省略する。
【０１４９】
図１９に示すステップＳ７００１〜Ｓ７００３の実行後、部分領域検出部７０１は、対応点の座標値、スケール値、および方向情報に基づいて、第１の画像中の対応点が含まれる部分領域を検出する（ステップＳ７００４）。その後、ステップＳ７００５に移行する。
【０１５０】
本発明の第７の実施形態の画像処理装置７０によれば、第４の実施形態と同様の効果が得られる。また、第７の実施形態では、対応点の座標値、スケール値、および方向情報を用いて部分領域を検出するので、第４の実施形態よりも部分領域の検出精度を向上させることができる。その結果、第４の実施形態よりも、被写体の識別精度を向上させることができる。
実施形態８．
図２０は、本発明の第８の実施形態の画像処理装置の例を示すブロック図である。第８の実施形態の画像処理装置８０は、特徴点の座標値およびスケール値を用いて、部分領域ごとに、画像間で同一または類似の被写体が含まれているかを判定する。
【０１５１】
第８の実施形態の画像処理装置８０は、第１の局所特徴量算出部２０１と、第２の局所特徴量算出部２０２と、対応点検出部１０３と、部分領域検出部１０４と、照合部８０１とを含む。照合部８０１の動作は、前述の実施形態と一部異なる。
【０１５２】
第１の局所特徴量算出部２０１および第２の局所特徴量算出部２０２は、第２の実施形態におけるそれらの要素と同様である。なお、本実施形態では、第１の局所特徴量算出部２０１は、部分領域検出部１０４および照合部８０１に第１の座標値情報群を、照合部８０１に第１のスケール値情報群を出力する。同様に、第２の局所特徴量算出部２０２は、部分領域検出部１０４および照合部８０１に第２の座標値情報群を、照合部８０１に第２のスケール値情報群を出力する。
【０１５３】
照合部８０１は、第１の局所特徴量算出部２０１が出力した第１の座標値情報群および第１のスケール値情報群と、第２の局所特徴量算出部２０２が出力した第２の座標値情報群および第２のスケール値情報群と、対応点検出部１０３が出力した対応点情報群と、部分領域検出部１０４が出力した部分領域情報群とを用いて、画像間で同一または類似の被写体が含まれているかを判定する。
【０１５４】
具体的には、照合部８０１は、例えば、部分領域毎に、部分領域に含まれる対応点のうち、相対スケールが類似している対応点の座標値のみを用いて、画像間の対応点の幾何学的検証を実施する。そして、照合部８０１は、幾何学的に整合の取れた対応点の数の総和に基づいて、画像間での被写体の同一性または類似性を判定する。
【０１５５】
照合部８０１は、対応点の相対スケールが類似であるか否かの判定を、例えば、部分領域検出部２０３と同様の方法を用いて行ってもよい。
【０１５６】
また、照合部８０１は、幾何学的検証を実行するときに、例えば、相対スケールが類似している画像間の対応点の幾何学的関係性を相似変換と仮定した上で、ロバスト推定手法を用いて幾何学的関係性を示す幾何変換モデルを推定してもよい。そして、照合部８０１は、第１の画像の対応点と第２の画像の対応点との組が、推定した幾何変換モデルに整合するか否かを判定してもよい。照合部８０１は、ロバスト推定手法として、例えば、照合部１０５と同様の方法を用いてもよい。
【０１５７】
また、照合部８０１は、幾何学的に整合の取れている対応点の組の数と、幾何学的に整合の取れなかった対応点の組の数の比率に基づいて、画像間での被写体の同一性または類似性を判定してもよい。
【０１５８】
第１の局所特徴量算出部２０１、第２の局所特徴量算出部２０２、対応点検出部１０３、部分領域検出部１０４および照合部８０１は、例えば、画像処理プログラムに従って動作するコンピュータのＣＰＵによって実現されてもよい。この場合、ＣＰＵが、プログラムの記録媒体から画像処理プログラムを読み込み、そのプログラムに従って、上記の各要素として動作すればよい。
【０１５９】
図２１は、第８の実施形態の処理経過の例を示すフローチャートである。図２１に示すステップＳ８００１〜Ｓ８００４は、図５に示すステップＳ１００１〜Ｓ１００４と同様であり、説明を省略する。
【０１６０】
図２１に示すステップＳ８００１〜Ｓ８００４の実行後、照合部８０１は、対応点の座標値およびスケール値に基づいて、部分領域毎に、画像間の対応点の幾何学的検証を実行し、幾何学的整合性の取れた対応点の総和に基づいて、画像間で同一または類似の被写体を識別する（ステップ８００５）。
【０１６１】
本発明の第８の実施形態の画像処理装置８０によれば、第１の実施形態と同様の効果が得られる。また、第８の実施形態では、対応点の座標値およびスケール値に基づいて、相対スケールが類似した対応点の座標値のみを用いて、すなわち、第１の画像の特徴点と第２の画像の特徴点との対応付けが正しい特徴点のみを用いて、画像間で同一または類似の被写体を判定する。そのため、本実施形態の画像処理装置８０によれば、第１の実施形態よりも対応点の幾何学的整合性の判定精度を向上させることができる。その結果、第１の実施形態よりも、被写体の識別精度を向上させることができる。
実施形態９．
図２２は、本発明の第９の実施形態の画像処理装置の例を示すブロック図である。第９の実施形態の画像処理装置９０は、特徴点の座標値および方向情報を用いて、部分領域ごとに、画像間で同一または類似の被写体が含まれているかを判定する。
【０１６２】
第９の実施形態の画像処理装置９０は、第１の局所特徴量算出部３０１と、第２の局所特徴量算出部３０２と、対応点検出部１０３と、部分領域検出部１０４と、照合部９０１とを含む。照合部９０１の動作は、前述の実施形態と一部異なる。
【０１６３】
第１の局所特徴量算出部３０１および第２の局所特徴量算出部３０２は、第３の実施形態におけるそれらの要素と同様である。なお、本実施形態では、第１の局所特徴量算出部３０１は、部分領域検出部１０４および照合部９０１に第１の座標値情報群を、照合部９０１に第１の方向情報群を出力する。同様に、第２の局所特徴量算出部３０２は、部分領域検出部１０４および照合部９０１に第２の座標値情報群を、照合部９０１に第２の方向情報群を出力する。
【０１６４】
照合部９０１は、第１の局所特徴量算出部３０１が出力した第１の座標値情報群および第１の方向情報群と、第２の局所特徴量算出部３０２が出力した第２の座標値情報群および第２の方向情報群と、対応点検出部１０３が出力した対応点情報群と、部分領域検出部１０４が出力した部分領域情報群とを用いて、画像間で同一または類似の被写体が含まれているかを判定する。
【０１６５】
具体的には、照合部９０１は、例えば、部分領域毎に、部分領域に含まれる対応点のうち、相対方向が類似している対応点の座標値のみを用いて、画像間の対応点の幾何学的検証を実行する。そして、照合部９０１は、幾何学的に整合の取れた対応点の数の総和に基づいて、画像間での被写体の同一性または類似性を判定する。
【０１６６】
照合部９０１は、対応点の相対方向が類似であるか否かの判定を、例えば、部分領域検出部３０３と同様の方法を用いて行ってもよい。
【０１６７】
また、照合部９０１は、幾何学的検証を実行するときに、例えば、相対方向が類似している画像間の対応点の幾何学的関係性を相似変換と仮定した上で、ロバスト推定手法を用いて幾何学的関係性を示す幾何変換モデルを推定してもよい。そして、照合部９０１は、第１の画像の対応点と第２の画像の対応点との組が、推定した幾何変換モデルに整合するか否かを判定してもよい。照合部９０１は、ロバスト推定手法として、例えば、照合部１０５と同様の方法を用いてもよい。
【０１６８】
また、照合部９０１は、幾何学的に整合の取れている対応点の組の数と、幾何学的に整合の取れなかった対応点の組の数の比率に基づいて、画像間での被写体の同一性または類似性を判定してもよい。
【０１６９】
第１の局所特徴量算出部３０１、第２の局所特徴量算出部３０２、対応点検出部１０３、部分領域検出部１０４および照合部９０１は、例えば、画像処理プログラムに従って動作するコンピュータのＣＰＵによって実現されてもよい。この場合、ＣＰＵが、プログラムの記録媒体から画像処理プログラムを読み込み、そのプログラムに従って、上記の各要素として動作すればよい。
【０１７０】
図２３は、第９の実施形態の処理経過の例を示すフローチャートである。図２３に示すステップＳ９００１〜Ｓ９００４は、図５に示すステップＳ１００１〜Ｓ１００４と同様であり、説明を省略する。
【０１７１】
図２３に示すステップＳ９００１〜Ｓ９００４の実行後、照合部９０１は、対応点の座標値および方向情報に基づいて、部分領域毎に、画像間の対応点の幾何学的検証を実行し、幾何学的整合性の取れた対応点の総和に基づいて、画像間で同一または類似の被写体を識別する（ステップ９００５）。
【０１７２】
本発明の第９の実施形態の画像処理装置９０によれば、第１の実施形態と同様の効果が得られる。また、第９の実施形態では、対応点の座標値および方向情報に基づいて、相対方向が類似した対応点の座標値のみを用いて、すなわち、第１の画像の特徴点と第２の画像の特徴点との対応付けが正しい特徴点のみを用いて、画像間で同一または類似の被写体を判定する。そのため、本実施形態の画像処理装置９０によれば、第１の実施形態よりも対応点の幾何学的整合性の判定精度を向上させることができる。その結果、第１の実施形態よりも、被写体の識別精度を向上させることができる。
実施形態１０．
図２５は、本発明の第１０の実施形態の画像処理装置の例を示すブロック図である。第１０の実施形態の画像処理装置１００は、特徴点の座標値、スケール値、および方向情報を用いて、部分領域ごとに、画像間で同一または類似の被写体が含まれているかを判定する。
【０１７３】
第１０の実施形態の画像処理装置１００は、第１の局所特徴量算出部４０１と、第２の局所特徴量算出部４０２と、対応点検出部１０３と、部分領域検出部１０４と、照合部１００１とを含む。照合部１００１の動作は、前述の実施形態と一部異なる。
【０１７４】
第１の局所特徴量算出部４０１および第２の局所特徴量算出部４０２は、第４の実施形態におけるそれらの要素と同様である。なお、本実施形態では、第１の局所特徴量算出部４０１は、部分領域検出部１０４および照合部１００１に第１の座標値情報群を、照合部１００１に第１のスケール値情報群および第１の方向情報群を出力する。同様に、第２の局所特徴量算出部４０２は、部分領域検出部１０４および照合部１００１に第２の座標値情報群を、照合部１００１に第２のスケール値情報群および第２の方向情報群を出力する。
【０１７５】
照合部１００１は、第１の局所特徴量算出部４０１が出力した第１の座標値情報群、スケール値情報群、および第１の方向情報群と、第２の局所特徴量算出部４０２が出力した第２の座標値情報群、スケール値情報群、および第２の方向情報群と、対応点検出部１０３が出力した対応点情報群と、部分領域検出部１０４が出力した部分領域情報群とを用いて、画像間で同一または類似の被写体が含まれているかを判定する。
【０１７６】
具体的には、照合部１００１は、例えば、部分領域毎に、部分領域に含まれる対応点のうち、相対スケールおよび相対方向が類似している対応点の座標値のみを用いて、画像間の対応点の幾何学的検証を実行する。そして、照合部１００１は、幾何学的に整合の取れた対応点の数の総和に基づいて、画像間での被写体の同一性または類似性を判定する。
【０１７７】
照合部１００１は、対応点の相対スケールおよび相対方向が類似であるか否かの判定を、例えば、部分領域検出部４０３と同様の方法を用いて行ってもよい。
【０１７８】
また、照合部１００１は、幾何学的検証を実行するときに、例えば、相対スケールおよび相対方向が類似している画像間の対応点の幾何学的関係性を相似変換と仮定した上で、ロバスト推定手法を用いて幾何学的関係性を示す幾何変換モデルを推定してもよい。そして、照合部１００１は、第１の画像の対応点と第２の画像の対応点との組が、推定した幾何変換モデルに整合するか否かを判定してもよい。照合部１００１は、ロバスト推定手法として、例えば、照合部１０５と同様の方法を用いてもよい。
【０１７９】
また、照合部１００１は、幾何学的に整合の取れている対応点の組の数と、幾何学的に整合の取れなかった対応点の組の数の比率に基づいて、画像間での被写体の同一性または類似性を判定してもよい。
【０１８０】
第１の局所特徴量算出部４０１、第２の局所特徴量算出部４０２、対応点検出部１０３、部分領域検出部１０４および照合部１００１は、例えば、画像処理プログラムに従って動作するコンピュータのＣＰＵによって実現されてもよい。この場合、ＣＰＵが、プログラムの記録媒体から画像処理プログラムを読み込み、そのプログラムに従って、上記の各要素として動作すればよい。
【０１８１】
図２５は、第１０の実施形態の処理経過の例を示すフローチャートである。図２５に示すステップＳ１０００１〜Ｓ１０００４は、図５に示すステップＳ１００１〜Ｓ１００４と同様であり、説明を省略する。
【０１８２】
図２５に示すステップＳ１０００１〜Ｓ１０００４の実行後、照合部１００１は、対応点の座標値、スケール値、および方向情報に基づいて、部分領域毎に、画像間の対応点の幾何学的検証を実行する。そして、照合部１００１は、幾何学的整合性の取れた対応点の総和に基づいて、画像間で同一または類似の被写体を識別する（ステップ１０００５）。
【０１８３】
本発明の第１０の実施形態の画像処理装置１００によれば、第１の実施形態と同様の効果が得られる。また、第１０の実施形態では、対応点の座標値、スケール値、および方向情報に基づいて、相対スケールおよび相対方向が類似した対応点の座標値のみを用いて、すなわち、第１の画像の特徴点と第２の画像の特徴点との対応付けが正しい特徴点のみを用いて、画像間で同一または類似の被写体を判定する。そのため、本実施形態の画像処理装置１００によれば、第１の実施形態よりも対応点の幾何学的整合性の判定精度を向上させることができる。その結果、第１の実施形態よりも、被写体の識別精度を向上させることができる。
【０１８４】
以上の本発明の説明では、部分領域検出部が第１の画像から部分領域を検出する場合を示したが、各実施形態における部分領域検出部は、第２の画像から部分領域を検出してもよい。
【０１８５】
次に、本発明の画像処理装置の最小構成の例について説明する。図２６は、本発明の画像処理装置の最小構成の例を示す模式図である。本発明の画像処理装置８０は、特徴量算出手段８１と、対応関係特定手段８２と、部分領域検出手段８３と、照合手段８４とを備える。
【０１８６】
特徴量算出手段８１（例えば、第１の局所特徴量算出部１１，１０１，２０１，３０１，４０１）は、画像から特徴点を検出し、特徴点毎に、特徴点を含む当該特徴点の周辺領域に基づいて当該特徴点の局所特徴量を算出する。
【０１８７】
対応関係特定手段８２（例えば、対応点検出部１３，１０３）は、第１の画像の特徴点の局所特徴量と、第２の画像の特徴点の局所特徴量とに基づいて、第１の画像の特徴点と第２の画像の特徴点との対応関係を特定する。
【０１８８】
部分領域検出手段８３（例えば、部分領域検出部１４，１０４，２０３，３０３，４０３，５０１，６０１，７０１）は、第１の画像または第２の画像のいずれか一方の画像から、当該画像の特徴点を含む部分領域を検出する。
【０１８９】
照合手段８４（例えば、照合部１５，１０５）は、部分領域毎に、部分領域に含まれる特徴点と、当該特徴点に対応する特徴点とに基づいて、第１の画像内の被写体と第２の画像内の被写体とが同一または類似であるか否かを判定する。
【０１９０】
そのような構成により、画像内の被写体の形状が変形している場合であっても、被写体の識別精度の低下を抑制することができる。
【０１９１】
部分領域検出手段８３が、特徴点の座標値に基づいて部分領域を検出する構成であってもよい。
【０１９２】
部分領域検出手段８３が、第１の画像の各特徴点に付随する周辺領域の大きさの情報の集合である第１のスケール値情報群と、第２の画像の各特徴点に付随する周辺領域の大きさの情報の集合である第２のスケール値情報群とに基づいて、部分領域を検出する構成であってもよい。
【０１９３】
部分領域検出手段８３が、第１の画像の各特徴点に付随する方向情報の集合である第１の方向情報群と、第２の画像の各特徴点に付随する方向情報の集合である第２の方向情報群とに基づいて、部分領域を検出する構成であってもよい。
【０１９４】
部分領域検出手段８３が、部分領域の検出対象となる画像の特徴点の座標を、当該特徴点に付随する周辺領域の大きさの情報および方向情報、当該特徴点に対応する他方の画像の特徴点の座標、当該特徴点に対応する他方の画像の特徴点に付随する周辺領域の大きさの情報および方向情報を用いて変換する構成であってもよい。
【産業上の利用可能性】
【０１９５】
本発明は、異なる画像に写っている被写体が同一または類似であるか否かを判定する画像処理装置に好適に適用される。【０１９６】
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。【０１９７】
この出願は、２０１４年０５月０７日に出願された日本出願特願２０１４−０９５９５９を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【０１９８】
１１，１０１，２０１，３０１，４０１  第１の局所特徴量算出部
１２，１０２，２０２，３０２，４０２  第２の局所特徴量算出部
１３，１０３  対応点検出部
１４，１０４，２０３，３０３，４０３，５０１，６０１，７０１  部分領域検出部
１５，１０５，８０１，９０１，１００１  照合部
２０００  コンピュータ（番号を振りなおす必要あり）
２００１  ＣＰＵ
２００２  ＲＯＭ
２００３  ＲＡＭ
２００４  プログラム
２００５  記憶装置
２００６  記録媒体
２００７  ドライブ装置
２００８  通信インターフェース
２００９  ネットワーク
２０１０  入出力インターフェース
２０１１  バス
【図１】
0006593327.tif 000004
【図２】
0006593327.tif 000005
【図３】
0006593327.tif 000006
【図４】
0006593327.tif 000007
【図５】
0006593327.tif 000008
【図６】
0006593327.tif 000009
【図７】
0006593327.tif 000010
【図８】
0006593327.tif 000011
【図９】
0006593327.tif 000012
【図１０】
0006593327.tif 000013
【図１１】
0006593327.tif 000014
【図１２】
0006593327.tif 000015
【図１３】
0006593327.tif 000016
【図１４】
0006593327.tif 000017
【図１５】
0006593327.tif 000018
【図１６】
0006593327.tif 000019
【図１７】
0006593327.tif 000020
【図１８】
0006593327.tif 000021
【図１９】
0006593327.tif 000022
【図２０】
0006593327.tif 000023
【図２１】
0006593327.tif 000024
【図２２】
0006593327.tif 000025
【図２３】
0006593327.tif 000026
【図２４】
0006593327.tif 000027
【図２５】
0006593327.tif 000028
【図２６】
0006593327.tif 000029
【図２７】
0006593327.tif 000030