(57)【要約】  特徴点ペア探索部１１により探索された特徴点のペアを用いて、クエリ画像の画像変換に用いる射影変換パラメータを算出するとともに、その射影変換パラメータを用いて、クエリ画像内の特徴点の位置を変換する変換パラメータ算出部１２を設け、マッチング判定部１３が、変換パラメータ算出部１２による位置変換後のクエリ画像内の特徴点と参照画像内の特徴点を比較することで、クエリ画像と参照画像のマッチング判定を行う。
2012102018.tif 000002
【特許請求の範囲】
【請求項１】
検索対象の画像であるクエリ画像内の特徴点を抽出するとともに、上記特徴点周辺の局所的な特徴量を抽出する画像特徴量抽出手段と、参照画像内の特徴点及び上記特徴点周辺の局所的な特徴量を記録している特徴量記録手段と、上記画像特徴量抽出手段により抽出されたクエリ画像内の特徴点と上記特徴量記録手段に記録されている参照画像内の特徴点の中で、局所的な特徴量が対応している特徴点のペアを探索する特徴点ペア探索手段と、上記特徴点ペア探索手段により探索された特徴点のペアを用いて、画像変換に用いる変換パラメータを算出する変換パラメータ算出手段と、上記変換パラメータ算出手段により算出された変換パラメータを用いて、上記画像特徴量抽出手段により抽出されたクエリ画像内の特徴点の位置を変換し、位置変換後のクエリ画像内の特徴点と上記参照画像内の特徴点を比較することで、上記クエリ画像と上記参照画像のマッチング判定を行うマッチング判定手段とを備えた画像検索装置。
【請求項２】
特徴点ペア探索手段は、クエリ画像内の特徴点周辺の局所的な特徴量と、参照画像内の特徴点周辺の局所的な特徴量との距離の統計量を用いて閾値を設定し、局所的な特徴量が対応している特徴点のペアとして、上記距離が上記閾値より小さい特徴点のペアを探索することを特徴とする請求項１記載の画像検索装置。
【請求項３】
検索対象の画像であるクエリ画像内の特徴点を抽出するとともに、上記特徴点周辺の局所的な特徴量を抽出する画像特徴量抽出手段と、参照画像内の特徴点及び上記特徴点周辺の局所的な特徴量を記録している特徴量記録手段と、上記画像特徴量抽出手段により抽出されたクエリ画像内の特徴点と上記特徴量記録手段に記録されている参照画像内の特徴点の中で、局所的な特徴量が対応している特徴点のペアを探索する特徴点ペア探索手段と、上記特徴点ペア探索手段により探索された特徴点のペアを用いて、画像変換に用いる変換パラメータを算出する変換パラメータ算出手段と、上記変換パラメータ算出手段により算出された変換パラメータを用いて、上記クエリ画像の画像変換を行う画像変換手段とを備えた画像処理装置。
【請求項４】
変換パラメータ算出手段は、特徴点ペア探索手段により探索された特徴点のペアの中から、任意の特徴点のペアを選択する処理と、
上記特徴点のペアを用いて、画像変換に用いる変換パラメータを算出し、上記変換パラメータを用いて、上記クエリ画像内の特徴点の位置を変換する処理とを繰り返し、
任意の特徴点のペアを用いて算出した１以上の変換パラメータの中で、位置変換後のクエリ画像内の特徴点と上記参照画像内の特徴点の対応関係が最も高い変換パラメータを選択して、上記変換パラメータを画像変換手段に出力する
ことを特徴とする請求項３記載の画像処理装置。
【請求項５】
検索対象の画像であるクエリ画像内の特徴点を抽出するとともに、上記特徴点周辺の局所的な特徴量を抽出する画像特徴量抽出手段と、参照画像内の特徴点、上記特徴点周辺の局所的な特徴量及び上記参照画像全体の特徴量を記録している特徴量記録手段と、上記画像特徴量抽出手段により抽出されたクエリ画像内の特徴点と上記特徴量記録手段に記録されている参照画像内の特徴点の中で、局所的な特徴量が対応している特徴点のペアを探索する特徴点ペア探索手段と、上記特徴点ペア探索手段により探索された特徴点のペアを用いて、画像変換に用いる変換パラメータを算出する変換パラメータ算出手段と、上記変換パラメータ算出手段により算出された変換パラメータを用いて、上記クエリ画像の画像変換を行う画像変換手段と、上記画像変換手段による画像変換後のクエリ画像全体の特徴量を抽出し、上記画像変換手段による画像変換後のクエリ画像全体の特徴量と上記特徴量記録手段に記録されている参照画像全体の特徴量を比較することで、画像変換後のクエリ画像と上記参照画像のマッチング判定を行うマッチング判定手段とを備えた画像検索装置。
【請求項６】
変換パラメータ算出手段は、特徴点ペア探索手段により探索された特徴点のペアの中から、任意の特徴点のペアを選択する処理と、
上記特徴点のペアを用いて、画像変換に用いる変換パラメータを算出し、上記変換パラメータを用いて、上記クエリ画像内の特徴点の位置を変換する処理とを繰り返し、
任意の特徴点のペアを用いて算出した１以上の変換パラメータの中で、位置変換後のクエリ画像内の特徴点と上記参照画像内の特徴点の対応関係が最も高い変換パラメータを選択して、上記変換パラメータを画像変換手段に出力する
ことを特徴とする請求項５記載の画像検索装置。
【請求項７】
クエリ画像及び参照画像内の特徴点と上記特徴点周辺の局所的な特徴量が、Ｉｍａｇｅ  Ｓｉｇｎａｔｕｒｅであることを特徴とする請求項１記載の画像検索装置。
【請求項８】
クエリ画像及び参照画像内の特徴点と上記特徴点周辺の局所的な特徴量が、Ｉｍａｇｅ  Ｓｉｇｎａｔｕｒｅであることを特徴とする請求項５記載の画像検索装置。
【請求項９】
クエリ画像及び参照画像内の特徴点と上記特徴点周辺の局所的な特徴量が、Ｉｍａｇｅ  Ｓｉｇｎａｔｕｒｅであることを特徴とする請求項３記載の画像処理装置。
【請求項１０】
画像特徴量抽出手段が検索対象の画像であるクエリ画像内の特徴点を抽出するとともに、上記特徴点周辺の局所的な特徴量を抽出する画像特徴量抽出処理ステップと、特徴点ペア探索手段が上記画像特徴量抽出処理ステップで抽出されたクエリ画像内の特徴点と予め記録されている参照画像内の特徴点の中で、局所的な特徴量が対応している特徴点のペアを探索する特徴点ペア探索処理ステップと、変換パラメータ算出手段が上記特徴点ペア探索処理ステップで探索された特徴点のペアを用いて、画像変換に用いる変換パラメータを算出する変換パラメータ算出処理ステップと、マッチング判定手段が上記変換パラメータ算出処理ステップで算出された変換パラメータを用いて、上記画像特徴量抽出処理ステップで抽出されたクエリ画像内の特徴点の位置を変換し、位置変換後のクエリ画像内の特徴点と上記参照画像内の特徴点を比較することで、上記クエリ画像と上記参照画像のマッチング判定を行うマッチング判定処理ステップとを備えた画像検索方法。
【請求項１１】
画像特徴量抽出手段が検索対象の画像であるクエリ画像内の特徴点を抽出するとともに、上記特徴点周辺の局所的な特徴量を抽出する画像特徴量抽出処理ステップと、特徴点ペア探索手段が上記画像特徴量抽出処理ステップで抽出されたクエリ画像内の特徴点と予め記録されている参照画像内の特徴点の中で、局所的な特徴量が対応している特徴点のペアを探索する特徴点ペア探索処理ステップと、変換パラメータ算出手段が上記特徴点ペア探索処理ステップで探索された特徴点のペアを用いて、画像変換に用いる変換パラメータを算出する変換パラメータ算出処理ステップと、画像変換手段が上記変換パラメータ算出処理ステップで算出された変換パラメータを用いて、上記クエリ画像の画像変換を行う画像変換処理ステップとを備えた画像処理方法。
【請求項１２】
画像特徴量抽出手段が検索対象の画像であるクエリ画像内の特徴点を抽出するとともに、上記特徴点周辺の局所的な特徴量を抽出する画像特徴量抽出処理ステップと、特徴点ペア探索手段が上記画像特徴量抽出処理ステップで抽出されたクエリ画像内の特徴点と予め記録されている参照画像内の特徴点の中で、局所的な特徴量が対応している特徴点のペアを探索する特徴点ペア探索処理ステップと、変換パラメータ算出手段が上記特徴点ペア探索処理ステップで探索された特徴点のペアを用いて、画像変換に用いる変換パラメータを算出する変換パラメータ算出処理ステップと、画像変換手段が上記変換パラメータ算出処理ステップで算出された変換パラメータを用いて、上記クエリ画像の画像変換を行う画像変換処理ステップと、マッチング判定手段が上記画像変換処理ステップによる画像変換後のクエリ画像全体の特徴量を抽出し、上記クエリ画像全体の特徴量と予め記録されている参照画像全体の特徴量を比較することで、画像変換後のクエリ画像と上記参照画像のマッチング判定を行うマッチング判定処理ステップとを備えた画像検索方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、多数の画像の中からクエリ画像と類似している画像を探索する画像検索装置及び画像検索方法と、クエリ画像に画像処理を施す画像処理装置及び画像処理方法に関するものである。
【背景技術】
【０００２】
所望の画像検索を行うことで、多くのサービスをユーザに提供することが可能になる。
例えば、絵画、イラスト、ポスターなどが撮影された場合、その撮影画像に関連する情報を提供するなどのサービスが考えられる。
しかし、絵画やイラストなどを撮影する際に、正面から撮影することができないことがある。
例えば、図１３のように、撮影対象であるポスター等とカメラが非平行である場合、歪みが発生する現象、ポスター等の一部が途切れる現象、あるいは、本来含まれない余分な領域が撮影されてしまう現象などが発生し、画像検索の失敗の要因となる。【０００３】
このため、画像検索技術では、画像の回転・拡大・縮小・切り取りや、照明変動などに対するロバスト性の高さが重要であり、ロバスト性を高めるための様々な方法が提案されている。
例えば、以下の特許文献１には、対応関係がある局所的な特徴量のペアに基づいて、画像の領域を限定することで、よりロバストに画像検索を行う画像検索装置が開示されている。
また、以下の特許文献２には、画像の幾何学的な変動に基づく局所的な画像特徴量の変動に対してロバストに画像検索を行う画像検索装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−２０４９０８号公報（段落番号［００１０］、図１）
【特許文献２】特開２００８−２５７４６９号公報（段落番号［０００７］、図１）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来の画像検索装置は以上のように構成されているので、特許文献１の場合、クエリ画像に大きな歪みが発生していると、対応関係がある局所的な特徴量のペアを正確に特定することができず、検索精度が劣化することがある課題があった。
また、特許文献２の場合、余分な領域の写り込みや画像の歪みがあると、特徴量の変動が大きくなりやすく、画像がマッチングしないことがある課題があった。【０００６】
この発明は上記のような課題を解決するためになされたもので、余分な領域の写り込みや歪み等があるクエリ画像であっても、そのクエリ画像と類似している画像を正確に検索することができる画像検索装置及び画像検索方法を得ることを目的とする。
また、この発明は、余分な領域の写り込みや歪み等があるクエリ画像に画像処理を施して、そのクエリ画像と類似している画像を正確に検索することができるようにする画像処理装置及び画像処理方法を得ることを目的とする。
【課題を解決するための手段】
【０００７】
この発明に係る画像検索装置は、検索対象の画像であるクエリ画像内の特徴点を抽出するとともに、その特徴点周辺の局所的な特徴量を抽出する画像特徴量抽出手段と、参照画像内の特徴点及び特徴点周辺の局所的な特徴量を記録している特徴量記録手段と、画像特徴量抽出手段により抽出されたクエリ画像内の特徴点と特徴量記録手段に記録されている参照画像内の特徴点の中で、局所的な特徴量が対応している特徴点のペアを探索する特徴点ペア探索手段と、特徴点ペア探索手段により探索された特徴点のペアを用いて、画像変換に用いる変換パラメータを算出する変換パラメータ算出手段とを設け、マッチング判定手段が、変換パラメータ算出手段により算出された変換パラメータを用いて、画像特徴量抽出手段により抽出されたクエリ画像内の特徴点の位置を変換し、位置変換後のクエリ画像内の特徴点と参照画像内の特徴点を比較することで、クエリ画像と参照画像のマッチング判定を行うようにしたものである。
【発明の効果】
【０００８】
この発明によれば、検索対象の画像であるクエリ画像内の特徴点を抽出するとともに、その特徴点周辺の局所的な特徴量を抽出する画像特徴量抽出手段と、参照画像内の特徴点及び特徴点周辺の局所的な特徴量を記録している特徴量記録手段と、画像特徴量抽出手段により抽出されたクエリ画像内の特徴点と特徴量記録手段に記録されている参照画像内の特徴点の中で、局所的な特徴量が対応している特徴点のペアを探索する特徴点ペア探索手段と、特徴点ペア探索手段により探索された特徴点のペアを用いて、画像変換に用いる変換パラメータを算出する変換パラメータ算出手段とを設け、マッチング判定手段が、変換パラメータ算出手段により算出された変換パラメータを用いて、画像特徴量抽出手段により抽出されたクエリ画像内の特徴点の位置を変換し、位置変換後のクエリ画像内の特徴点と参照画像内の特徴点を比較することで、クエリ画像と参照画像のマッチング判定を行うように構成したので、余分な領域の写り込みや歪み等があるクエリ画像であっても、そのクエリ画像と類似している画像を正確に検索することができる効果がある。
【図面の簡単な説明】
【０００９】
【図１】この発明の実施の形態１による画像検索装置を示す構成図である。
【図２】この発明の実施の形態１による画像検索装置における画像マッチング部３の処理内容を示すフローチャートである。
【図３】この発明の実施の形態１による画像検索装置における変換パラメータ算出部１２の処理内容を示すフローチャートである。
【図４】クエリ画像における９点の特徴点Ｑ１〜Ｑ９の射影変換例を示す説明図である。
【図５】特徴点の対応付け例を示す説明図である。
【図６】この発明の実施の形態２による画像検索装置における特徴点ペア探索部１１の処理内容を示すフローチャートである。
【図７】この発明の実施の形態３による画像処理装置を示す構成図である。
【図８】この発明の実施の形態３による画像処理装置における変換パラメータ推定部４の処理内容を示すフローチャートである。
【図９】この発明の実施の形態４による画像処理装置における変換パラメータ算出部２２の処理内容を示すフローチャートである。
【図１０】変換パラメータ算出部２２による射影変換パラメータの精度向上処理を示すフローチャートである。
【図１１】この発明の実施の形態５による画像検索装置を示す構成図である。
【図１２】この発明の実施の形態５による画像検索装置における画像マッチング部６の処理内容を示すフローチャートである。
【図１３】ポスター等の一部の途切れの発生や、本来含まれない余分な領域が撮影されている様子を示す説明図である。
【発明を実施するための形態】
【００１０】
以下、この発明をより詳細に説明するため、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１はこの発明の実施の形態１による画像検索装置を示す構成図である。
図１において、画像特徴量抽出部１は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、検索対象の画像であるクエリ画像を入力すると、そのクエリ画像内の特徴点を抽出するとともに、その特徴点周辺の局所的な特徴量を抽出する処理を実施する。なお、画像特徴量抽出部１は画像特徴量抽出手段を構成している。
【００１１】
画像特徴量データベース２は例えばＲＡＭやハードディスクなどの記憶装置から構成されており、複数の参照画像内の特徴点と、その特徴点周辺の局所的な特徴量を記録している。なお、画像特徴量データベース２は特徴量記録手段を構成している。
画像マッチング部３は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、特徴点ペア探索部１１、変換パラメータ算出部１２及びマッチング判定部１３を実装している。
【００１２】
特徴点ペア探索部１１は画像特徴量抽出部１により抽出されたクエリ画像内の特徴点と、画像特徴量データベース２に記録されている参照画像内の特徴点の中で、局所的な特徴量が対応している特徴点のペアを探索する処理を実施する。なお、特徴点ペア探索部１１は特徴点ペア探索手段を構成している。
変換パラメータ算出部１２は特徴点ペア探索部１１により探索された特徴点のペアを用いて、クエリ画像の画像変換（あるいは、参照画像の画像変換）に用いる射影変換パラメータを算出するとともに、その射影変換パラメータを用いて、画像特徴量抽出部１により抽出されたクエリ画像内の特徴点の位置を変換する処理を実施する。なお、変換パラメータ算出部１２は変換パラメータ算出手段を構成している。
【００１３】
マッチング判定部１３は変換パラメータ算出部１２による位置変換後のクエリ画像内の特徴点と参照画像内の特徴点を比較することで、クエリ画像と参照画像のマッチング判定を行う。
なお、変換パラメータ算出部１２及びマッチング判定部１３からマッチング判定手段が構成されている。
【００１４】
図１の例では、画像検索装置の構成要素である画像特徴量抽出部１、画像特徴量データベース２及び画像マッチング部３のそれぞれが専用のハードウェアで構成されているものを想定しているが、画像検索装置の全部又は一部がコンピュータで構成されるようにしてもよい。この場合には、画像特徴量抽出部１、画像特徴量データベース２及び画像マッチング部３の処理内容を記述しているプログラムの全部又は一部をコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにすればよい。
図２はこの発明の実施の形態１による画像検索装置における画像マッチング部３の処理内容を示すフローチャートである。
また、図３はこの発明の実施の形態１による画像検索装置における変換パラメータ算出部１２の処理内容を示すフローチャートである。
【００１５】
次に動作について説明する。
画像特徴量抽出部１は、検索対象の画像であるクエリ画像を入力すると、そのクエリ画像内の特徴点を抽出するとともに、その特徴点周辺の局所的な特徴量を抽出する。
画像特徴量抽出部１は、クエリ画像内の特徴点と、その特徴点周辺の局所的な特徴量を抽出すると、その特徴点と局所的な特徴量を含むクエリ画像特徴量を画像マッチング部３に出力する。
画像特徴量抽出部１により抽出されるクエリ画像内の特徴点や局所的な特徴量の種類は問わないが、例えば、以下の非特許文献１に開示されているようなＳＩＦＴ（Ｓｃａｌｅ  Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）や、非特許文献２に開示されているような“Ｉｍａｇｅ  Ｓｉｇｎａｔｕｒｅ”が挙げられる。
【００１６】
ただし、画像特徴量抽出部１により抽出されるクエリ画像内の特徴点や局所的な特徴量の種類は、画像特徴量データベース２に記録されている参照画像内の特徴点や局所的な特徴量の種類と同一のものであるとする。
即ち、画像特徴量データベース２に記録されている参照画像内の特徴点や局所的な特徴量の種類がＳＩＦＴであれば、画像特徴量抽出部１では、クエリ画像内の特徴点や局所的な特徴量としてＳＩＦＴを抽出する。
また、画像特徴量データベース２に記録されている参照画像内の特徴点や局所的な特徴量の種類が“Ｉｍａｇｅ  Ｓｉｇｎａｔｕｒｅ”であれば、画像特徴量抽出部１では、クエリ画像内の特徴点や局所的な特徴量として“Ｉｍａｇｅ  Ｓｉｇｎａｔｕｒｅ”を抽出する。
【００１７】
・非特許文献１
David G. Lowe、 "Object recognition from local scale-invariant features、" IEEE Int. Conf. on Computer Vision、 Sep. 1999、 pp. 1150-1157.
・非特許文献２
M. Bober、 P. Brasnett、 "MPEG-7 visual signature tools、" IEEE Int. Conf. on Multimedia & Expo、 Aug. 2009、 pp.1540-1543.
【００１８】
画像マッチング部３は、画像特徴量抽出部１からクエリ画像特徴量を受けると、画像特徴量データベース２に記録されている複数の参照画像特徴量（参照画像内の特徴点、その特徴点周辺の局所的な特徴量）を順次取得し、そのクエリ画像特徴量と各参照画像特徴量を比較することで、そのクエリ画像と類似している参照画像を検索する。
画像マッチング部３は、クエリ画像と類似している参照画像の集合を検索結果として出力する。
以下、画像マッチング部３の処理内容を具体的に説明する。
【００１９】
画像マッチング部３の特徴点ペア探索部１１は、画像特徴量抽出部１からクエリ画像特徴量を受け、画像特徴量データベース２に記録されている任意の参照画像特徴量を取得すると、そのクエリ画像特徴量に含まれているクエリ画像内の特徴点と、その参照画像特徴量に含まれている参照画像内の特徴点の中で、局所的な特徴量が対応している特徴点のペア（以下、「対応候補ペア」と称する）を探索する（図２のステップＳＴ１）。
即ち、特徴点ペア探索部１１は、クエリ画像特徴量に含まれているクエリ画像内の局所的な特徴量と、参照画像特徴量に含まれている参照画像内の局所的な特徴量との距離（以下、「特徴量間距離」と称する）を算出し、その特徴量間距離が予め定められた閾値より小さければ、その特徴量間距離に係る特徴点のペアは対応候補ペアであると判定する。
例えば、クエリ画像内の特徴点の個数がＭ個、参照画像内の特徴点の個数がＮ個であれば、特徴点の組み合わせがＭ×Ｎ通りであるので、Ｍ×Ｎ通りの組み合わせについて特徴量間距離を算出して閾値と比較することで、その特徴量間距離に係る特徴点のペアが対応候補ペアであるか否かを判定する。
【００２０】
上記のようにして、特徴点ペア探索部１１が対応候補ペアの探索処理を行うと、幾つかの対応候補ペアが探索されるが、クエリ画像と参照画像が類似している画像であると認定するには、特徴点ペア探索部１１により探索された対応候補ペアのペア数が規定数以上である必要がある（言うまでもないが、クエリ画像と参照画像が類似していなければ、局所的な特徴量が類似している特徴点の個数が少なくなる）。
そこで、特徴点ペア探索部１１により探索された対応候補ペアのペア数をカウントするが、特徴点ペア探索部１１により探索された複数の対応候補ペアの中に、同じ特徴点が重複して含まれている可能性がある。
本来、クエリ画像内の特徴点と参照画像内の特徴点は一対一の関係にあるため、同じ特徴点を重複している対応候補ペアを除いて、特徴点ペア探索部１１により探索された対応候補ペアのペア数をカウントする必要がある。
【００２１】
例えば、クエリ画像内の特徴点がＱ１，Ｑ２，・・・，Ｑ９であり、参照画像内の特徴点がＲ１，Ｒ２，・・・，Ｒ９であるとき、特徴点ペア探索部１１により探索された対応候補ペアが以下の５ペアであるとする。
ペアＡ：Ｑ１とＲ２
ペアＢ：Ｑ１とＲ４
ペアＣ：Ｑ１とＲ７
ペアＤ：Ｑ３とＲ６
ペアＥ：Ｑ９とＲ１
この場合、特徴点ペア探索部１１により探索された対応候補ペアのペア数は５ペアであるが、ペアＡ、ペアＢ、ペアＣにおいて、特徴点Ｑ１が重複しており、同じ特徴点を重複している対応候補ペアを除いてカウントする必要があるため、対応候補ペアのペア数は３ペア（＝５ペア−２ペア）となる。ペアＡ、ペアＢ、ペアＣのうち、２つのペアは対応関係がないペアであるため、対応候補ペアのペア数から２ペアを減算している。
【００２２】
特徴点ペア探索部１１は、特徴点の重複がない対応候補ペアのペア数を規定数と比較し（ステップＳＴ２）、その対応候補ペアのペア数が規定数以上であれば、規定数以上の対応候補ペアを変換パラメータ算出部１２に出力する。
一方、その対応候補ペアのペア数が規定数に満たない場合、クエリ画像が当該参照画像と類似していないため、変換パラメータ算出部１２には対応候補ペアを出力しない。
例えば、規定数が４に設定されている場合、対応候補ペアのペア数が４以上であれば、対応候補ペアを変換パラメータ算出部１２に出力する。
【００２３】
変換パラメータ算出部１２は、特徴点ペア探索部１１から特徴点の重複がない対応候補ペアを受けると、その対応候補ペアを用いて、画像変換に用いる射影変換パラメータを算出する（ステップＳＴ３）。
射影変換パラメータは、クエリ画像を参照画像に変換するパラメータでもよいし、参照画像をクエリ画像に変換するパラメータでもよいが、絵画、イラスト、ポスターなどを撮影し、その撮影画像に類似している画像を検索する場合、クエリ画像を参照画像に変換して歪みを補正する方が実用的であるため、この実施の形態１では、クエリ画像を参照画像に変換する射影変換パラメータを算出するものとする。
以下、変換パラメータ算出部１２による射影変換パラメータの算出処理を具体的に説明する。
【００２４】
変換パラメータ算出部１２は、特徴点の重複がない規定数以上の対応候補ペアを受けると、規定数以上の対応候補ペアの中から、４組の対応候補ペアをランダムに選択し、下記の式（１）を計算することで、８つの射影変換パラメータａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈを算出する（図３のステップＳＴ１１）。
2012102018.tif 000003
【００２５】
式（１）から分かる通り、８つの射影変換パラメータａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈを算出するには、４組の変換前後の特徴点のＸ座標、Ｙ座標が必要である。
そのため、変換パラメータ算出部１２では、規定数以上の対応候補ペアの中から、４組の対応候補ペアをランダムに選択し、４組の対応候補ペアの特徴点の位置を変換前後のＸ座標、Ｙ座標として（対応候補ペアにおけるクエリ画像内の特徴点の位置を変換前の位置（Ｘ座標、Ｙ座標）とし、参照画像内の特徴点の位置を変換後の位置（Ｘ座標、Ｙ座標）とする）、式（１）から連立方程式を立て、その連立方程式を解くことで、射影変換パラメータａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈを算出する。
【００２６】
変換パラメータ算出部１２は、射影変換パラメータａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈを算出すると、その射影変換パラメータａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈを用いて、クエリ画像内の各特徴点を射影変換して、変換後の各特徴点の位置（座標）を算出する（ステップＳＴ１２）。
ここで、図４はクエリ画像における９点の特徴点Ｑ１〜Ｑ９の射影変換例を示す説明図である。Ｔ１〜Ｔ９はクエリ画像内の射影変換後の特徴点である。
【００２７】
変換パラメータ算出部１２は、クエリ画像内の各特徴点を射影変換すると、射影変換後の各特徴点と参照画像内の各特徴点との対応付けを実施し、対応関係がある特徴点のペア数を得票数としてカウントする（ステップＳＴ１３）。
特徴点の対応付けは、局所特徴量間の特徴量間距離と、特徴点間の空間距離の２つを用いて行う。また、この対応付けは、射影変換パラメータの算出に用いた特徴点を除いて行う。
特徴量間距離は、クエリ画像内の射影変換後の特徴点に対応するクエリ画像の局所的な特徴量と、参照画像の局所的な特徴量から算出する。クエリ画像内の射影変換後の特徴点に対応するクエリ画像の局所的な特徴量は、クエリ画像内の射影変換前の特徴点に対応するクエリ画像の局所的な特徴量をそのまま用いる。
空間距離は、平面における特徴点の座標間の距離を用いる。
【００２８】
変換パラメータ算出部１２は、特徴量間距離と空間距離が共に閾値（この閾値は、特徴量間距離と空間距離で異なっていてもよい）を下回る特徴点を対応ペアとする。この対応付けは、同じ特徴点が重複しないようにするために、１つの特徴点に対して２つ以上の対応候補がある場合、距離の重み付け和を参照して、いずれかの特徴点を除くようにする。
ここで、図５は特徴点の対応付け例を示す説明図である。
図５では、クエリ画像内の９点の特徴点Ｑ１〜Ｑ９の中の特徴点Ｑ１〜Ｑ４と参照画像内の９点の特徴点Ｒ１〜Ｒ９の中の特徴点Ｒ１〜Ｒ４とを用いて射影変換パラメータを算出し、残りの特徴点Ｑ５〜Ｑ９が射影変換された特徴点Ｔ５〜Ｔ９と残りの特徴点Ｒ５〜Ｒ９の距離を算出して、対応付けを行っている例を示している。
【００２９】
また、図５では、特徴量間距離の閾値を３．０、空間距離の閾値を２．５としており、この場合に、共に閾値を下回る対応ペアは、下記の３ペアである。
ペアＦ：Ｔ５とＲ５
ペアＧ：Ｔ５とＲ９
ペアＨ：Ｔ７とＲ６
この場合、ペアＦとペアＧにおいて、特徴点Ｔ５が重複しているため、特徴量間距離と空間距離の重み付和を算出し、より小さい方のみに投票を行う。
例えば、重みを共に“１”とする場合、ペアＦの方が和が小さくなるため、ペアＦとペアＨのみに投票が行われ、得票数が２となる。
【００３０】
変換パラメータ算出部１２は、対応関係がある特徴点のペア数を得票数としてカウントすると、その得票数が、以前にカウントしている最大の得票数より大きければ（ステップＳＴ１４）、今回算出した射影変換パラメータａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈと、クエリ画像内の射影変換後の特徴点とを記憶する（ステップＳＴ１５）。
ステップＳＴ１１〜ＳＴ１３の処理がＮ回目（Ｎ＝２，３，・・・）であれば、１回目からＮ−１回目の処理でカウントしている得票数の中の最大の得票数よりも、今回カウントした得票数が大きければ、今回算出した射影変換パラメータとクエリ画像内の射影変換後の特徴点とを記憶するが、１回目の処理の場合、比較対象がないため、今回カウントした得票数が最大の得票数であるとして、今回算出した射影変換パラメータとクエリ画像内の射影変換後の特徴点とを記憶する。
なお、今回算出した射影変換パラメータとクエリ画像内の射影変換後の特徴点とを記憶する場合、過去に記憶した射影変換パラメータとクエリ画像内の射影変換後の特徴点は破棄する。
【００３１】
変換パラメータ算出部１２は、ステップＳＴ１１〜ＳＴ１５の処理を予め設定された規定の回数だけ未だ実施していなければ、ステップＳＴ１１の処理に戻って、ステップＳＴ１１〜ＳＴ１５の処理を繰り返し実施する（ステップＳＴ１６）。
変換パラメータ算出部１２は、ステップＳＴ１１〜ＳＴ１５の処理を予め設定された規定の回数だけ実施すると、ステップＳＴ１５で最終的に記憶しているクエリ画像内の射影変換後の特徴点と、最大の得票数をマッチング判定部１３に出力する。
【００３２】
ここでは、ステップＳＴ１１で、４組の対応候補ペアをランダムに選択し、ステップＳＴ１６で、規定の回数だけ実施したか否かを判定して処理を収束させているが、例えば、高性能なＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を利用することが可能な場合などでは、全ての対応候補ペアについて、ステップＳＴ１１〜ＳＴ１６に至る処理を実施し、得票数が最大となる場合の射影変換パラメータとクエリ画像内の射影変換後の特徴点とを記憶するようにしてもよい。
この実施の形態１において、４組の対応候補ペアをランダムに選択しているのは、膨大な計算が必要になるのを防ぐためである。
また、得票数が非常に大きい場合には、規定の回数を実施せずに終了するようにしてもよい。
【００３３】
マッチング判定部１３は、以下のようにして、クエリ画像と参照画像のマッチング判定を行う（図２のステップＳＴ４）。
ただし、図２のステップＳＴ２において、特徴点ペア探索部１１により対応候補ペアのペア数が規定数に満たないと判定されている場合、クエリ画像と参照画像は即座にマッチングしていないと判定する。
【００３４】
マッチング判定部１３は、対応候補ペアのペア数が規定数以上ある場合、変換パラメータ算出部１２から出力されたクエリ画像内の射影変換後の特徴点と最大の得票数を用いて、下記の式（２）を計算することで、クエリ画像と参照画像のマッチングスコアＳを算出する。
2012102018.tif 000004
【００３５】
ここで、式（２）について簡単に説明する。
変換パラメータ算出部１２により射影変換されたクエリ画像内の特徴点の中には、図４に示すように、参照画像の範囲外になる特徴点がある（特徴点Ｔ６，Ｔ７）。
このため、式（２）の分母において、クエリ画像内の特徴点の数FAllから、射影変換後に参照画像の範囲外になったクエリ画像内の特徴点の数FOutを減算している。
式（２）の分子における“４”は、射影変換パラメータの算出に用いている特徴点の数である。
したがって、式（２）で算出されるマッチングスコアＳは、参照画像の範囲外に存在している特徴点が除かれたクエリ画像内の特徴点と、参照画像内の特徴点とが対応する割合を示している。
【００３６】
マッチング判定部１３は、クエリ画像と参照画像のマッチングスコアＳを算出すると、そのマッチングスコアＳと予め設定されている閾値Ｓｔｈを比較し、そのマッチングスコアＳが閾値Ｓｔｈより大きければ、クエリ画像と参照画像がマッチングしていると判定する。
なお、図４及び図５の例では、FMatch＝２、FAll＝９、FOut＝２となり、マッチングスコアＳが０．８５となる。
このため、閾値Ｓｔｈが０．８５より小さな値に設定されていれば、クエリ画像と参照画像がマッチングしていると判定される。
【００３７】
ここでは、マッチング判定部１３が、クエリ画像と参照画像のマッチングスコアＳを算出するに際して、クエリ画像内の特徴点の数FAllから、射影変換後に参照画像の範囲外になったクエリ画像内の特徴点の数FOutを減算するようにしているが、変換パラメータ算出部１２により射影変換されたクエリ画像内の特徴点が参照画像の範囲外であるか否かを判定する際、種々の要因による誤差を考慮し、参照画像の範囲を僅かに超えていても、参照画像の範囲内であると判定するようにしてもよい。
【００３８】
以上で明らかなように、この実施の形態１によれば、クエリ画像内の特徴点を抽出するとともに、その特徴点周辺の局所的な特徴量を抽出する画像特徴量抽出部１と、参照画像内の特徴点及び特徴点周辺の局所的な特徴量を記録している画像特徴量データベース２と、画像特徴量抽出部１により抽出されたクエリ画像内の特徴点と画像特徴量データベース２に記録されている参照画像内の特徴点の中で、局所的な特徴量が対応している特徴点のペアを探索する特徴点ペア探索部１１と、特徴点ペア探索部１１により探索された特徴点のペアを用いて、クエリ画像の画像変換に用いる射影変換パラメータを算出するとともに、その射影変換パラメータを用いて、画像特徴量抽出部１により抽出されたクエリ画像内の特徴点の位置を変換する変換パラメータ算出部１２とを設け、マッチング判定部１３が、変換パラメータ算出部１２による位置変換後のクエリ画像内の特徴点と参照画像内の特徴点を比較することで、クエリ画像と参照画像のマッチング判定を行うように構成したので、余分な領域の写り込みや歪みがあるクエリ画像や、一部が切れているクエリ画像であっても、そのクエリ画像と類似している画像を正確に検索することができる効果を奏する。
【００３９】
実施の形態２．
上記実施の形態１では、特徴点ペア探索部１１が画像特徴量抽出部１により抽出されたクエリ画像内の特徴点と、画像特徴量データベース２に記録されている参照画像内の特徴点の中で、局所的な特徴量が対応している特徴点のペア（対応候補ペア）を探索するものを示したが、特徴点ペア探索部１１が対応候補ペアを探索する際、クエリ画像内の特徴点周辺の局所的な特徴量と、参照画像内の特徴点周辺の局所的な特徴量との距離の統計量を用いて閾値を設定し、局所的な特徴量が対応している特徴点のペアとして、上記距離が上記閾値より小さい特徴点のペアを探索するようにしてもよい。
【００４０】
この実施の形態２は、上記実施の形態１と比較して、特徴点ペア探索部１１が対応候補ペアを探索する際の処理内容だけが相違しているので、以下、特徴点ペア探索部１１が対応候補ペアを探索する際の処理内容を具体的に説明する。
図６はこの発明の実施の形態２による画像検索装置における特徴点ペア探索部１１の処理内容を示すフローチャートである。
【００４１】
まず、特徴点ペア探索部１１は、画像特徴量抽出部１からクエリ画像特徴量を受けると、上記実施の形態１と同様に、画像特徴量データベース２に記録されている複数の参照画像特徴量（参照画像内の特徴点、その特徴点周辺の局所的な特徴量）を順次取得する。
特徴点ペア探索部１１は、画像特徴量データベース２に記録されている任意の参照画像特徴量を取得すると、クエリ画像特徴量に含まれているクエリ画像内の特徴点と、その参照画像特徴量に含まれている参照画像内の特徴点との全ての組み合わせについて、クエリ画像内の特徴点に対応する局所的な特徴量と、参照画像内の特徴点に対応する局所的な特徴量との距離である特徴量間距離を算出する（ステップＳＴ２１）。
例えば、クエリ画像内の特徴点の個数がＭ個、参照画像内の特徴点の個数がＮ個であれば、特徴点の組み合わせがＭ×Ｎ通りであるので、Ｍ×Ｎ通りの組み合わせについて特徴量間距離を算出する。
【００４２】
特徴点ペア探索部１１は、全ての組み合わせについて、特徴量間距離を算出すると、その特徴量間距離の統計量として、その特徴量間距離の平均値ＡｖｇＤと標準偏差ＳＤＤを算出する。
また、特徴点ペア探索部１１は、特徴量間距離の平均値ＡｖｇＤと標準偏差ＳＤＤを下記の式（３）（４）に代入することで、閾値の初期値Ｔｈと閾値の最大値ＴｈＭａｘを算出する（ステップＳＴ２２）。
Ｔｈ＝ＡｖｇＤ−α×ＳＤＤ                      （３）
ＴｈＭａｘ＝ＡｖｇＤ−ＳＤＤ                    （４）
ただし、αは１以上の定数である。
【００４３】
特徴点ペア探索部１１は、閾値の初期値Ｔｈと閾値の最大値ＴｈＭａｘを算出すると、全ての組み合わせについて、特徴量間距離と現在の閾値Ｔｈ（最初の段階では、閾値の初期値）を比較して、その特徴量間距離が現在の閾値Ｔｈより小さい特徴点のペア（クエリ画像内の特徴点と、参照画像内の特徴点との組み合わせ）を探索し、その特徴点のペアを対応候補ペアとする（ステップＳＴ２３）。
【００４４】
特徴点ペア探索部１１は、対応候補ペアを探索すると、その対応候補ペアの数がＮペア以上あるか否かを判定する（ステップＳＴ２４）。ここでは、Ｎは４以上であり、射影変換に必要なペア数である。
なお、Ｎが大きい場合、より多くの対応候補ペアが見つかるため、クエリ画像に大きな歪みがある場合などでもマッチングできるが、マッチング処理に時間がかかるので、許容されるマッチング処理時間の範囲内で、大きな値に設定される。
【００４５】
特徴点ペア探索部１１は、対応候補ペアの数がＮペア以上ある場合、対応候補ペアの探索処理を終了するが、対応候補ペアの数がＮペアに満たない場合、現在の閾値Ｔｈと閾値の最大値ＴｈＭａｘを比較する（ステップＳＴ２５）。
特徴点ペア探索部１１は、現在の閾値Ｔｈが閾値の最大値ＴｈＭａｘ以上であれば、対応候補ペアの探索処理を終了するが、現在の閾値Ｔｈが閾値の最大値ＴｈＭａｘ未満であれば、その閾値Ｔｈを大きくしてから（ステップＳＴ２６）、ステップＳＴ２３の処理に戻り、対応候補ペアの探索処理を継続する。
閾値Ｔｈを大きくする幅については任意であるが、例えば、０．５×ＳＤＤなどの値が考えられる。
【００４６】
以上で明らかなように、この実施の形態２によれば、特徴点ペア探索部１１が、クエリ画像内の特徴点周辺の局所的な特徴量と、参照画像内の特徴点周辺の局所的な特徴量との距離の統計量を用いて閾値を設定し、局所的な特徴量が対応している特徴点のペアとして、上記距離が上記閾値より小さい特徴点のペアを探索するように構成したので、対応候補ペアの探索時における特徴量間距離の閾値Ｔｈを動的に設定することで、対応候補ペアを適応的に探索することが可能になる。また、クエリ画像の歪みが大きい場合などでも、画像のマッチングが可能になる効果を奏する。
【００４７】
実施の形態３．
図７はこの発明の実施の形態３による画像処理装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
変換パラメータ推定部４は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、特徴点ペア探索部２１及び変換パラメータ算出部２２を実装している。
【００４８】
変換パラメータ推定部４の特徴点ペア探索部２１は、上記実施の形態１，２の特徴点ペア探索部１１と同様に、画像特徴量抽出部１により抽出されたクエリ画像内の特徴点と、画像特徴量データベース２に記録されている参照画像内の特徴点の中で、局所的な特徴量が対応している特徴点のペアを探索する処理を実施する。なお、特徴点ペア探索部２１は特徴点ペア探索手段を構成している。
変換パラメータ算出部２２は特徴点ペア探索部２１により探索された特徴点のペアを用いて、クエリ画像の画像変換に用いる射影変換パラメータを算出する処理を実施する。なお、変換パラメータ算出部２２は変換パラメータ算出手段を構成している。
【００４９】
画像処理部５は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、変換パラメータ推定部４の変換パラメータ算出部２２により算出された射影変換パラメータを用いて、クエリ画像の画像変換を実施し、変換後のクエリ画像を出力する処理を実施する。なお、画像処理部５は画像変換手段を構成している。
【００５０】
図７の例では、画像処理装置の構成要素である画像特徴量抽出部１、画像特徴量データベース２、変換パラメータ推定部４及び画像処理部５のそれぞれが専用のハードウェアで構成されているものを想定しているが、画像処理装置の全部又は一部がコンピュータで構成されるようにしてもよい。この場合には、画像特徴量抽出部１、画像特徴量データベース２、変換パラメータ推定部４及び画像処理部５の処理内容を記述しているプログラムの全部又は一部をコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにすればよい。
図８はこの発明の実施の形態３による画像処理装置における変換パラメータ推定部４の処理内容を示すフローチャートである。
【００５１】
次に動作について説明する。
画像特徴量抽出部１は、検索対象の画像であるクエリ画像を入力すると、上記実施の形態１と同様に、そのクエリ画像内の特徴点を抽出するとともに、その特徴点周辺の局所的な特徴量を抽出する。
画像特徴量抽出部１は、クエリ画像内の特徴点と、その特徴点周辺の局所的な特徴量を抽出すると、その特徴点と局所的な特徴量を含むクエリ画像特徴量を変換パラメータ推定部４に出力する。
【００５２】
変換パラメータ推定部４は、画像特徴量抽出部１からクエリ画像特徴量を受けると、画像特徴量データベース２に記録されている複数の参照画像特徴量（参照画像内の特徴点、その特徴点周辺の局所的な特徴量）を順次取得して、クエリ画像の画像変換に用いる射影変換パラメータの推定処理を実施する。
以下、変換パラメータ推定部４の処理内容を具体的に説明する。
【００５３】
変換パラメータ推定部４の特徴点ペア探索部２１は、画像特徴量抽出部１からクエリ画像特徴量を受けると、上記実施の形態１，２の特徴点ペア探索部１１と同様に、画像特徴量データベース２に記録されている参照画像特徴量を順次取得し、そのクエリ画像特徴量に含まれているクエリ画像内の特徴点と、その参照画像特徴量に含まれている参照画像内の特徴点の中で、局所的な特徴量が対応している特徴点のペア（対応候補ペア）を探索する（ステップＳＴ３１）。
【００５４】
特徴点ペア探索部２１は、１以上の対応候補ペアを探索すると、上記実施の形態１，２の特徴点ペア探索部１１と同様に、１以上の対応候補ペアの中から、同じ特徴点を重複している対応候補ペアを除き、特徴点の重複がない対応候補ペアのペア数を規定数と比較する（ステップＳＴ３２）。
特徴点ペア探索部２１は、対応候補ペアのペア数が規定数以上であれば、規定数以上の対応候補ペアを変換パラメータ算出部２２に出力する。
一方、その対応候補ペアのペア数が規定数に満たない場合、クエリ画像が当該参照画像と類似していないため、変換パラメータ算出部２２には対応候補ペアを出力しない。
例えば、規定数が４に設定されている場合、対応候補ペアのペア数が４以上であれば、対応候補ペアを変換パラメータ算出部２２に出力する。
【００５５】
変換パラメータ算出部２２は、特徴点ペア探索部２１から特徴点の重複がない対応候補ペアを受けると、上記実施の形態１，２の変換パラメータ算出部１２と同様に、その対応候補ペアを用いて、クエリ画像の画像変換に用いる射影変換パラメータを算出し（ステップＳＴ３３）、その射影変換パラメータを画像処理部５に出力する。
【００５６】
画像処理部５は、変換パラメータ推定部４の変換パラメータ算出部２２から射影変換パラメータを受けると、その射影変換パラメータを用いて、クエリ画像全体の射影変換処理を実施する。
この射影変換処理は、式（１）の射影変換式に則り、クエリ画像の各画素の位置を変換することで行われる。
画像処理部５は、上記の射影変換処理を行った上で、図４の一点鎖線で示す範囲の外側を取り除くことで、変換処理後のクエリ画像に含まれる歪みを取り除くとともに、そのクエリ画像に含まれる余分な部分を除き、変換処理後のクエリ画像の中で参照画像に対応する部分のみを抜き出すことができる。
画像処理部５は、参照画像に対応する部分のクエリ画像を変換画像として出力する。
【００５７】
以上で明らかなように、この実施の形態３によれば、クエリ画像内の特徴点を抽出するとともに、その特徴点周辺の局所的な特徴量を抽出する画像特徴量抽出部１と、参照画像内の特徴点及び特徴点周辺の局所的な特徴量を記録している画像特徴量データベース２と、画像特徴量抽出部１により抽出されたクエリ画像内の特徴点と画像特徴量データベース２に記録されている参照画像内の特徴点の中で、局所的な特徴量が対応している特徴点のペアを探索する特徴点ペア探索部２１と、特徴点ペア探索部２１により探索された特徴点のペアを用いて、クエリ画像の画像変換に用いる射影変換パラメータを算出する変換パラメータ算出部２２とを設け、画像処理部５が、変換パラメータ算出部２２により算出された射影変換パラメータを用いて、クエリ画像の画像変換を実施し、変換後のクエリ画像を出力するように構成したので、クエリ画像に余分な領域の写り込みや歪み等がある場合でも、そのクエリ画像と類似している画像を正確に検索することが可能になる。
【００５８】
実施の形態４．
上記実施の形態３では、変換パラメータ算出部２２が、特徴点ペア探索部２１により探索された対応候補ペアを用いて、クエリ画像の画像変換に用いる射影変換パラメータを算出するものを示し、この実施の形態４でも、クエリ画像の画像変換に用いる射影変換パラメータを算出するが、その射影変換パラメータの算出精度を高める処理を実施している点で、上記実施の形態３と相違している。
以下、変換パラメータ算出部２２の処理内容を具体的に説明する。
図９はこの発明の実施の形態４による画像処理装置における変換パラメータ算出部２２の処理内容を示すフローチャートである。
また、図１０は変換パラメータ算出部２２による射影変換パラメータの精度向上処理を示すフローチャートである。
【００５９】
変換パラメータ算出部２２は、特徴点ペア探索部２１から特徴点の重複がない対応候補ペアを受けると、上記実施の形態２の変換パラメータ算出部１２と同様に、規定数以上の対応候補ペアの中から、４組の対応候補ペアをランダムに選択して、射影変換パラメータを算出する（図９のステップＳＴ４１）。射影変換パラメータの算出方法は、上記実施の形態１と同様である。
変換パラメータ算出部２２は、射影変換パラメータを算出すると、上記実施の形態２の変換パラメータ算出部１２と同様に、その射影変換パラメータを用いて、クエリ画像内の各特徴点を射影変換して、変換後の各特徴点の位置（座標）を算出する（ステップＳＴ４２）。
【００６０】
変換パラメータ算出部２２は、クエリ画像内の各特徴点を射影変換すると、上記実施の形態２の変換パラメータ算出部１２と同様に、射影変換後の各特徴点と参照画像内の各特徴点との対応付けを実施し、対応関係がある特徴点のペア数を得票数としてカウントする（ステップＳＴ４３）。
特徴点の対応付けは、局所特徴量間の特徴量間距離と、特徴点間の空間距離の２つを用いて行う。また、この対応付けは、射影変換パラメータの算出に用いた特徴点を除いて行う。
特徴量間距離は、クエリ画像内の射影変換後の特徴点に対応するクエリ画像の局所的な特徴量と、参照画像の局所的な特徴量から算出する。クエリ画像内の射影変換後の特徴点に対応するクエリ画像の局所的な特徴量は、クエリ画像内の射影変換前の特徴点に対応するクエリ画像の局所的な特徴量をそのまま用いる。
空間距離は、平面における特徴点の座標間の距離を用いる。
【００６１】
変換パラメータ算出部２２は、上記実施の形態２の変換パラメータ算出部１２と同様に、特徴量間距離と空間距離が共に閾値（この閾値は、特徴量間距離と空間距離で異なっていてもよい）を下回る特徴点を対応ペアとする。この対応付けは、同じ特徴点が重複しないようにするために、１つの特徴点に対して２つ以上の対応候補がある場合、距離の重み付け和を参照して、いずれかの特徴点を除くようにする。
変換パラメータ算出部２２は、対応関係がある特徴点のペア数を得票数としてカウントし、その得票数が、以前にカウントしている最大の得票数より大きければ（ステップＳＴ４４）、今回算出した射影変換パラメータと、クエリ画像内の射影変換後の特徴点とを記憶する（ステップＳＴ４５）。
なお、今回算出した射影変換パラメータとクエリ画像内の射影変換後の特徴点とを記憶する場合、過去に記憶した射影変換パラメータとクエリ画像内の射影変換後の特徴点は破棄する。
【００６２】
変換パラメータ算出部２２は、ステップＳＴ４１〜ＳＴ４５の処理を予め設定された規定の回数だけ未だ実施していなければ、ステップＳＴ４１の処理に戻って、ステップＳＴ４１〜ＳＴ４５の処理を繰り返し実施する（ステップＳＴ４６）。
変換パラメータ算出部２２は、ステップＳＴ４１〜ＳＴ４５の処理を予め設定された規定の回数だけ実施すると、ステップＳＴ４５で最終的に記憶している射影変換パラメータの精度向上処理を行う（ステップＳＴ４７）。
【００６３】
以下、射影変換パラメータの精度向上処理を具体的に説明する。
変換パラメータ算出部２２は、ステップＳＴ４３で探索している対応ペアの中から、４組の対応ペアをランダムに選択して、射影変換パラメータを算出する（図１０のステップＳＴ５１）。射影変換パラメータの算出方法は、上記実施の形態１と同様である。
変換パラメータ算出部２２は、射影変換パラメータを算出すると、その射影変換パラメータを用いて、各対応ペアに含まれているクエリ画像内の特徴点を射影変換して、変換後の特徴点の位置（座標）を算出する（ステップＳＴ５２）。
【００６４】
変換パラメータ算出部２２は、各対応ペアに含まれているクエリ画像内の特徴点を射影変換して、変換後の特徴点の位置（座標）を算出すると、クエリ画像内の射影変換後の特徴点と、その特徴点と対応関係がある参照画像内の特徴点との空間距離を算出する（ステップＳＴ５３）。
変換パラメータ算出部２２は、全ての対応ペアについて、特徴点間の空間距離を算出すると、それらの空間距離の和を算出し、その和が、以前に算出している最小の空間距離の和より小さければ（ステップＳＴ５４）、今回算出した射影変換パラメータを記憶する（ステップＳＴ５５）。
ステップＳＴ５１〜ＳＴ５３の処理がＮ回目（Ｎ＝２，３，・・・）であれば、１回目からＮ−１回目の処理で算出している空間距離の和の中の最小の空間距離の和より、今回算出した空間距離の和が小さければ、今回算出した射影変換パラメータを記憶するが、１回目の処理の場合、比較対象がないため、今回算出した空間距離の和が最小であるとして、今回算出した射影変換パラメータを記憶する。
なお、今回算出した射影変換パラメータを記憶する場合、過去に記憶した射影変換パラメータは破棄する。
【００６５】
変換パラメータ算出部２２は、ステップＳＴ５１〜ＳＴ５５の処理を予め設定された規定の回数だけ未だ実施していなければ、ステップＳＴ５１の処理に戻って、ステップＳＴ５１〜ＳＴ５５の処理を繰り返し実施する（ステップＳＴ５６）。
ここでは、ステップＳＴ５１で、４組の対応ペアをランダムに選択し、ステップＳＴ５６で、規定の回数だけ実施したか否かを判定して処理を収束させているが、例えば、高性能なＣＰＵを利用することが可能な場合などには、全ての対応ペアについて、ステップＳＴ５１〜ＳＴ５６に至る処理を実施し、空間距離の和が最小の対応ペアについて、射影変換パラメータを算出するようにしてもよい。
この実施の形態１において、４組の対応ペアをランダムに選択しているのは、膨大な計算が必要になるのを防ぐためである。
【００６６】
画像の歪みなどの影響によって、クエリ画像内の特徴点と参照画像内の特徴点との間に誤差が生じることがあるが、ステップＳＴ４３で探索している対応ペアの中から、４組の対応ペアをランダムに選択して、再度、射影変換パラメータを算出するとともに、１以上の対応ペアに係る射影変換パラメータの中から、空間距離の和が最小になる対応ペアに係る射影変換パラメータを選択するようにしているので、最も確からしい射影変換パラメータを得ることができる。
【００６７】
以上で明らかなように、この実施の形態４によれば、変換パラメータ算出部２２が、特徴点ペア探索部２１により探索された対応候補ペアの中から、任意の対応候補ペアを選択する処理と、任意の対応候補ペアを用いて、クエリ画像と参照画像間の画像変換に用いる射影変換パラメータを算出し、その射影変換パラメータを用いて、クエリ画像内の特徴点の位置を変換する処理とを繰り返し、任意の対応候補ペアを用いて算出した１以上の射影変換パラメータの中で、位置変換後のクエリ画像内の特徴点と参照画像内の特徴点の対応関係が最も高い（空間距離の和が最小）となる射影変換パラメータを選択して、その射影変換パラメータを画像処理部５に出力するように構成したので、射影変換パラメータの算出精度を高めることができる効果を奏する。
【００６８】
実施の形態５．
図１１はこの発明の実施の形態５による画像検索装置を示す構成図であり、図において、図７と同一符号は同一または相当部分を示すので説明を省略する。
画像特徴量データベース６は例えばＲＡＭやハードディスクなどの記憶装置から構成されており、複数の参照画像内の特徴点と、その特徴点周辺の局所的な特徴量と、各参照画像全体の特徴量とを記録している。なお、画像特徴量データベース６は特徴量記録手段を構成している。
例えば、前述の“Ｉｍａｇｅ  Ｓｉｇａｎａｔｕｒｅ”は、画像全体の特徴量である“Ｇｌｏｂａｌ  Ｓｉｇｎａｔｕｒｅ”と画像の局所的な特徴量である“Ｌｏｃａｌ  Ｓｉｇｎａｔｕｒｅ”から構成されている。
【００６９】
画像マッチング部７は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、画像処理部５による画像変換後のクエリ画像全体の特徴量を抽出し、そのクエリ画像全体の特徴量と画像特徴量データベース６に記録されている参照画像全体の特徴量を比較することで、画像変換後のクエリ画像と参照画像のマッチング判定を行う。なお、画像マッチング部７はマッチング判定手段を構成している。
【００７０】
図１１の例では、画像検索装置の構成要素である画像特徴量抽出部１、画像特徴量データベース６、変換パラメータ推定部４、画像処理部５及び画像マッチング部７のそれぞれが専用のハードウェアで構成されているものを想定しているが、画像検索装置の全部又は一部がコンピュータで構成されるようにしてもよい。この場合には、画像特徴量抽出部１、画像特徴量データベース６、変換パラメータ推定部４、画像処理部５及び画像マッチング部７の処理内容を記述しているプログラムの全部又は一部をコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにすればよい。
図１２はこの発明の実施の形態５による画像検索装置における画像マッチング部７の処理内容を示すフローチャートである。
【００７１】
画像マッチング部７を実装している点以外は、上記実施の形態４と同様であるため、以下、画像マッチング部７の処理内容を説明する。
画像マッチング部７は、画像処理部５が、変換パラメータ推定部４により算出された射影変換パラメータを用いて、クエリ画像を射影変換すると、射影変換後のクエリ画像を取得する（ステップＳＴ６１）。
なお、射影変換後のクエリ画像の範囲は、参照画像の座標内に収まる範囲（図４の一点鎖線の範囲）であるとする。
【００７２】
画像マッチング部７は、射影変換後のクエリ画像を取得すると、そのクエリ画像全体の特徴量を抽出する（ステップＳＴ６２）。
画像マッチング部７により抽出される特徴量の種類は、画像特徴量データベース６に記録されている参照画像全体の特徴量の種類と同一である。
画像マッチング部７は、クエリ画像全体の特徴量を抽出すると、その特徴量と画像特徴量データベース６に記録されている参照画像全体の特徴量を比較することで、画像変換後のクエリ画像と参照画像のマッチング判定を行う（ステップＳＴ６３）。
即ち、クエリ画像全体の特徴量と参照画像全体の特徴量との差分が、所定の閾値より小さければ、画像変換後のクエリ画像と参照画像がマッチングしていると判定する。
画像マッチング部７は、マッチング判定を実施して、マッチングしている参照画像を検索結果として出力する。
【００７３】
画像マッチング部７では、クエリ画像全体の特徴量と参照画像全体の特徴量とを比較しているので、局所的な特徴点が偶然類似しているために、マッチングしていると誤判定してしまう状況化でも、正確にマッチングしているか否かを判定することができる。
【００７４】
以上で明らかなように、この実施の形態５によれば、画像マッチング部７が、画像処理部５による画像変換後のクエリ画像全体の特徴量を抽出し、そのクエリ画像全体の特徴量と画像特徴量データベース６に記録されている参照画像全体の特徴量を比較することで、画像変換後のクエリ画像と参照画像のマッチング判定を行うように構成したので、クエリ画像内の参照画像に相当する部分の全体と、参照画像全体のマッチングが可能になり、更に正確な画像検索を実施することができる効果を奏する。
【００７５】
上記実施の形態１〜５では、クエリ画像を射影変換して、画像の検索や画像処理を実施するものを示したが、クエリ画像を射影変換以外の変換処理（例えば、アフィン変換、画像の回転・拡大・縮小処理）を実施して、画像の検索や画像処理を実施するようにしてもよい。
射影変換以外の変換処理を実施する場合、対応候補ペア、もしくは、対応ペアは、その処理内容に応じて必要なペア数を変更した上で、変換パラメータの推定が行われることになる。
【００７６】
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【産業上の利用可能性】
【００７７】
以上のように、この発明に係る画像検索装置及び方法、画像処理装置及び方法は、余分な領域の写り込みや歪み等があるクエリ画像であっても、そのクエリ画像と類似している画像を正確に検索することができるようにしたため、多数の画像の中からクエリ画像と類似している画像を探索する画像検索装置及び画像検索方法と、クエリ画像に画像処理を施す画像処理装置及び画像処理方法等に用いるのに適している。
【符号の説明】
【００７８】
１  画像特徴量抽出部（画像特徴量抽出手段）、２，６  画像特徴量データベース（特徴量記録手段）、３  画像マッチング部、４  変換パラメータ推定部、５  画像処理部（画像変換手段）、７  画像マッチング部（マッチング判定手段）、１１  特徴点ペア探索部（特徴点ペア探索手段）、１２  変換パラメータ算出部（変換パラメータ算出手段、マッチング判定手段）、１３  マッチング判定部（マッチング判定手段）、２１  特徴点ペア探索部（特徴点ペア探索手段）、２２  変換パラメータ算出部（変換パラメータ算出手段）。
【図１】
2012102018.tif 000005
【図２】
2012102018.tif 000006
【図３】
2012102018.tif 000007
【図４】
2012102018.tif 000008
【図５】
2012102018.tif 000009
【図６】
2012102018.tif 000010
【図７】
2012102018.tif 000011
【図８】
2012102018.tif 000012
【図９】
2012102018.tif 000013
【図１０】
2012102018.tif 000014
【図１１】
2012102018.tif 000015
【図１２】
2012102018.tif 000016
【図１３】
2012102018.tif 000017
【手続補正書】
【提出日】平成25年3月7日(2013.3.7)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、多数の画像の中からクエリ画像と類似している画像を探索する画像検索装置及び画像検索方法と、クエリ画像に画像処理を施す画像処理装置及び画像処理方法に関するものである。
【背景技術】
【０００２】
所望の画像検索を行うことで、多くのサービスをユーザに提供することが可能になる。
例えば、絵画、イラスト、ポスターなどが撮影された場合、その撮影画像に関連する情報を提供するなどのサービスが考えられる。
しかし、絵画やイラストなどを撮影する際に、正面から撮影することができないことがある。
例えば、図１３のように、撮影対象であるポスター等とカメラが非平行である場合、歪みが発生する現象、ポスター等の一部が途切れる現象、あるいは、本来含まれない余分な領域が撮影されてしまう現象などが発生し、画像検索の失敗の要因となる。
【０００３】
このため、画像検索技術では、画像の回転・拡大・縮小・切り取りや、照明変動などに対するロバスト性の高さが重要であり、ロバスト性を高めるための様々な方法が提案されている。
例えば、以下の特許文献１には、対応関係がある局所的な特徴量のペアに基づいて、画像の領域を限定することで、よりロバストに画像検索を行う画像検索装置が開示されている。
また、以下の特許文献２には、画像の幾何学的な変動に基づく局所的な画像特徴量の変動に対してロバストに画像検索を行う画像検索装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−２０４９０８号公報（段落番号［００１０］、図１）
【特許文献２】特開２００８−２５７４６９号公報（段落番号［０００７］、図１）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来の画像検索装置は以上のように構成されているので、特許文献１の場合、クエリ画像に大きな歪みが発生していると、対応関係がある局所的な特徴量のペアを正確に特定することができず、検索精度が劣化することがある課題があった。
また、特許文献２の場合、余分な領域の写り込みや画像の歪みがあると、特徴量の変動が大きくなりやすく、画像がマッチングしないことがある課題があった。
【０００６】
この発明は上記のような課題を解決するためになされたもので、余分な領域の写り込みや歪み等があるクエリ画像であっても、そのクエリ画像と類似している画像を正確に検索することができる画像検索装置及び画像検索方法を得ることを目的とする。
また、この発明は、余分な領域の写り込みや歪み等があるクエリ画像に画像処理を施して、そのクエリ画像と類似している画像を正確に検索することができるようにする画像処理装置及び画像処理方法を得ることを目的とする。
【課題を解決するための手段】
【０００７】
この発明に係る画像検索装置は、検索対象の画像であるクエリ画像内の特徴点の位置を抽出するとともに、その特徴点周辺の局所的な特徴量を抽出する画像特徴量抽出手段と、参照画像内の特徴点の位置及び特徴点周辺の局所的な特徴量を記録している特徴量記録手段と、画像特徴量抽出手段により抽出されたクエリ画像内の特徴点と特徴量記録手段に記録されている参照画像内の特徴点の中で、局所的な特徴量が対応している特徴点のペアを探索する特徴点ペア探索手段と、特徴点ペア探索手段により探索された特徴点のペアを用いて、特徴点ペア間の位置関係に基づいて画像変換に用いる変換パラメータを算出する変換パラメータ算出手段とを設け、マッチング判定手段が、変換パラメータ算出手段により算出された変換パラメータを用いて、画像特徴量抽出手段により抽出されたクエリ画像内の特徴点の位置を変換し、位置変換後のクエリ画像内の特徴点の局所的な特徴量と参照画像内の特徴点の局所的な特徴量とを比較することで、クエリ画像と参照画像のマッチング判定を行うようにしたものである。
【発明の効果】
【０００８】
この発明によれば、検索対象の画像であるクエリ画像内の特徴点の位置を抽出するとともに、その特徴点周辺の局所的な特徴量を抽出する画像特徴量抽出手段と、参照画像内の特徴点の位置及び特徴点周辺の局所的な特徴量を記録している特徴量記録手段と、画像特徴量抽出手段により抽出されたクエリ画像内の特徴点と特徴量記録手段に記録されている参照画像内の特徴点の中で、局所的な特徴量が対応している特徴点のペアを探索する特徴点ペア探索手段と、特徴点ペア探索手段により探索された特徴点のペアを用いて、特徴点ペア間の位置関係に基づいて画像変換に用いる変換パラメータを算出する変換パラメータ算出手段とを設け、マッチング判定手段が、変換パラメータ算出手段により算出された変換パラメータを用いて、画像特徴量抽出手段により抽出されたクエリ画像内の特徴点の位置を変換し、位置変換後のクエリ画像内の特徴点の局所的な特徴量と参照画像内の特徴点の局所的な特徴量とを比較することで、クエリ画像と参照画像のマッチング判定を行うように構成したので、余分な領域の写り込みや歪み等があるクエリ画像であっても、そのクエリ画像と類似している画像を正確に検索することができる効果がある。
【図面の簡単な説明】
【０００９】
【図１】この発明の実施の形態１による画像検索装置を示す構成図である。
【図２】この発明の実施の形態１による画像検索装置における画像マッチング部３の処理内容を示すフローチャートである。
【図３】この発明の実施の形態１による画像検索装置における変換パラメータ算出部１２の処理内容を示すフローチャートである。
【図４】クエリ画像における９点の特徴点Ｑ１〜Ｑ９の射影変換例を示す説明図である。
【図５】特徴点の対応付け例を示す説明図である。
【図６】この発明の実施の形態２による画像検索装置における特徴点ペア探索部１１の処理内容を示すフローチャートである。
【図７】この発明の実施の形態３による画像処理装置を示す構成図である。
【図８】この発明の実施の形態３による画像処理装置における変換パラメータ推定部４の処理内容を示すフローチャートである。
【図９】この発明の実施の形態４による画像処理装置における変換パラメータ算出部２２の処理内容を示すフローチャートである。
【図１０】変換パラメータ算出部２２による射影変換パラメータの精度向上処理を示すフローチャートである。
【図１１】この発明の実施の形態５による画像検索装置を示す構成図である。
【図１２】この発明の実施の形態５による画像検索装置における画像マッチング部６の処理内容を示すフローチャートである。
【図１３】ポスター等の一部の途切れの発生や、本来含まれない余分な領域が撮影されている様子を示す説明図である。
【発明を実施するための形態】
【００１０】
以下、この発明をより詳細に説明するため、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１はこの発明の実施の形態１による画像検索装置を示す構成図である。
図１において、画像特徴量抽出部１は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、検索対象の画像であるクエリ画像を入力すると、そのクエリ画像内の特徴点を抽出するとともに、その特徴点周辺の局所的な特徴量を抽出する処理を実施する。なお、画像特徴量抽出部１は画像特徴量抽出手段を構成している。
【００１１】
画像特徴量データベース２は例えばＲＡＭやハードディスクなどの記憶装置から構成されており、複数の参照画像内の特徴点と、その特徴点周辺の局所的な特徴量を記録している。なお、画像特徴量データベース２は特徴量記録手段を構成している。
画像マッチング部３は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、特徴点ペア探索部１１、変換パラメータ算出部１２及びマッチング判定部１３を実装している。
【００１２】
特徴点ペア探索部１１は画像特徴量抽出部１により抽出されたクエリ画像内の特徴点と、画像特徴量データベース２に記録されている参照画像内の特徴点の中で、局所的な特徴量が対応している特徴点のペアを探索する処理を実施する。なお、特徴点ペア探索部１１は特徴点ペア探索手段を構成している。
変換パラメータ算出部１２は特徴点ペア探索部１１により探索された特徴点のペアを用いて、クエリ画像の画像変換（あるいは、参照画像の画像変換）に用いる射影変換パラメータを算出するとともに、その射影変換パラメータを用いて、画像特徴量抽出部１により抽出されたクエリ画像内の特徴点の位置を変換する処理を実施する。なお、変換パラメータ算出部１２は変換パラメータ算出手段を構成している。
【００１３】
マッチング判定部１３は変換パラメータ算出部１２による位置変換後のクエリ画像内の特徴点と参照画像内の特徴点を比較することで、クエリ画像と参照画像のマッチング判定を行う。
なお、変換パラメータ算出部１２及びマッチング判定部１３からマッチング判定手段が構成されている。
【００１４】
図１の例では、画像検索装置の構成要素である画像特徴量抽出部１、画像特徴量データベース２及び画像マッチング部３のそれぞれが専用のハードウェアで構成されているものを想定しているが、画像検索装置の全部又は一部がコンピュータで構成されるようにしてもよい。この場合には、画像特徴量抽出部１、画像特徴量データベース２及び画像マッチング部３の処理内容を記述しているプログラムの全部又は一部をコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにすればよい。
図２はこの発明の実施の形態１による画像検索装置における画像マッチング部３の処理内容を示すフローチャートである。
また、図３はこの発明の実施の形態１による画像検索装置における変換パラメータ算出部１２の処理内容を示すフローチャートである。
【００１５】
次に動作について説明する。
画像特徴量抽出部１は、検索対象の画像であるクエリ画像を入力すると、そのクエリ画像内の特徴点を抽出するとともに、その特徴点周辺の局所的な特徴量を抽出する。
画像特徴量抽出部１は、クエリ画像内の特徴点と、その特徴点周辺の局所的な特徴量を抽出すると、その特徴点と局所的な特徴量を含むクエリ画像特徴量を画像マッチング部３に出力する。
画像特徴量抽出部１により抽出されるクエリ画像内の特徴点や局所的な特徴量の種類は問わないが、例えば、以下の非特許文献１に開示されているようなＳＩＦＴ（Ｓｃａｌｅ  Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）や、非特許文献２に開示されているような“Ｉｍａｇｅ  Ｓｉｇｎａｔｕｒｅ”が挙げられる。
【００１６】
ただし、画像特徴量抽出部１により抽出されるクエリ画像内の特徴点や局所的な特徴量の種類は、画像特徴量データベース２に記録されている参照画像内の特徴点や局所的な特徴量の種類と同一のものであるとする。
即ち、画像特徴量データベース２に記録されている参照画像内の特徴点や局所的な特徴量の種類がＳＩＦＴであれば、画像特徴量抽出部１では、クエリ画像内の特徴点や局所的な特徴量としてＳＩＦＴを抽出する。
また、画像特徴量データベース２に記録されている参照画像内の特徴点や局所的な特徴量の種類が“Ｉｍａｇｅ  Ｓｉｇｎａｔｕｒｅ”であれば、画像特徴量抽出部１では、クエリ画像内の特徴点や局所的な特徴量として“Ｉｍａｇｅ  Ｓｉｇｎａｔｕｒｅ”を抽出する。
【００１７】
・非特許文献１
David G. Lowe、 "Object recognition from local scale-invariant features、" IEEE Int. Conf. on Computer Vision、 Sep. 1999、 pp. 1150-1157.
・非特許文献２
M. Bober、 P. Brasnett、 "MPEG-7 visual signature tools、" IEEE Int. Conf. on Multimedia & Expo、 Aug. 2009、 pp.1540-1543.
【００１８】
画像マッチング部３は、画像特徴量抽出部１からクエリ画像特徴量を受けると、画像特徴量データベース２に記録されている複数の参照画像特徴量（参照画像内の特徴点、その特徴点周辺の局所的な特徴量）を順次取得し、そのクエリ画像特徴量と各参照画像特徴量を比較することで、そのクエリ画像と類似している参照画像を検索する。
画像マッチング部３は、クエリ画像と類似している参照画像の集合を検索結果として出力する。
以下、画像マッチング部３の処理内容を具体的に説明する。
【００１９】
画像マッチング部３の特徴点ペア探索部１１は、画像特徴量抽出部１からクエリ画像特徴量を受け、画像特徴量データベース２に記録されている任意の参照画像特徴量を取得すると、そのクエリ画像特徴量に含まれているクエリ画像内の特徴点と、その参照画像特徴量に含まれている参照画像内の特徴点の中で、局所的な特徴量が対応している特徴点のペア（以下、「対応候補ペア」と称する）を探索する（図２のステップＳＴ１）。
即ち、特徴点ペア探索部１１は、クエリ画像特徴量に含まれているクエリ画像内の局所的な特徴量と、参照画像特徴量に含まれている参照画像内の局所的な特徴量との距離（以下、「特徴量間距離」と称する）を算出し、その特徴量間距離が予め定められた閾値より小さければ、その特徴量間距離に係る特徴点のペアは対応候補ペアであると判定する。
例えば、クエリ画像内の特徴点の個数がＭ個、参照画像内の特徴点の個数がＮ個であれば、特徴点の組み合わせがＭ×Ｎ通りであるので、Ｍ×Ｎ通りの組み合わせについて特徴量間距離を算出して閾値と比較することで、その特徴量間距離に係る特徴点のペアが対応候補ペアであるか否かを判定する。
【００２０】
上記のようにして、特徴点ペア探索部１１が対応候補ペアの探索処理を行うと、幾つかの対応候補ペアが探索されるが、クエリ画像と参照画像が類似している画像であると認定するには、特徴点ペア探索部１１により探索された対応候補ペアのペア数が規定数以上である必要がある（言うまでもないが、クエリ画像と参照画像が類似していなければ、局所的な特徴量が類似している特徴点の個数が少なくなる）。
そこで、特徴点ペア探索部１１により探索された対応候補ペアのペア数をカウントするが、特徴点ペア探索部１１により探索された複数の対応候補ペアの中に、同じ特徴点が重複して含まれている可能性がある。
本来、クエリ画像内の特徴点と参照画像内の特徴点は一対一の関係にあるため、同じ特徴点を重複している対応候補ペアを除いて、特徴点ペア探索部１１により探索された対応候補ペアのペア数をカウントする必要がある。
【００２１】
例えば、クエリ画像内の特徴点がＱ１，Ｑ２，・・・，Ｑ９であり、参照画像内の特徴点がＲ１，Ｒ２，・・・，Ｒ９であるとき、特徴点ペア探索部１１により探索された対応候補ペアが以下の５ペアであるとする。
ペアＡ：Ｑ１とＲ２
ペアＢ：Ｑ１とＲ４
ペアＣ：Ｑ１とＲ７
ペアＤ：Ｑ３とＲ６
ペアＥ：Ｑ９とＲ１
この場合、特徴点ペア探索部１１により探索された対応候補ペアのペア数は５ペアであるが、ペアＡ、ペアＢ、ペアＣにおいて、特徴点Ｑ１が重複しており、同じ特徴点を重複している対応候補ペアを除いてカウントする必要があるため、対応候補ペアのペア数は３ペア（＝５ペア−２ペア）となる。ペアＡ、ペアＢ、ペアＣのうち、２つのペアは対応関係がないペアであるため、対応候補ペアのペア数から２ペアを減算している。
【００２２】
特徴点ペア探索部１１は、特徴点の重複がない対応候補ペアのペア数を規定数と比較し（ステップＳＴ２）、その対応候補ペアのペア数が規定数以上であれば、規定数以上の対応候補ペアを変換パラメータ算出部１２に出力する。
一方、その対応候補ペアのペア数が規定数に満たない場合、クエリ画像が当該参照画像と類似していないため、変換パラメータ算出部１２には対応候補ペアを出力しない。
例えば、規定数が４に設定されている場合、対応候補ペアのペア数が４以上であれば、対応候補ペアを変換パラメータ算出部１２に出力する。
【００２３】
変換パラメータ算出部１２は、特徴点ペア探索部１１から特徴点の重複がない対応候補ペアを受けると、その対応候補ペアを用いて、画像変換に用いる射影変換パラメータを算出する（ステップＳＴ３）。
射影変換パラメータは、クエリ画像を参照画像に変換するパラメータでもよいし、参照画像をクエリ画像に変換するパラメータでもよいが、絵画、イラスト、ポスターなどを撮影し、その撮影画像に類似している画像を検索する場合、クエリ画像を参照画像に変換して歪みを補正する方が実用的であるため、この実施の形態１では、クエリ画像を参照画像に変換する射影変換パラメータを算出するものとする。
以下、変換パラメータ算出部１２による射影変換パラメータの算出処理を具体的に説明する。
【００２４】
変換パラメータ算出部１２は、特徴点の重複がない規定数以上の対応候補ペアを受けると、規定数以上の対応候補ペアの中から、４組の対応候補ペアをランダムに選択し、下記の式（１）を計算することで、８つの射影変換パラメータａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈを算出する（図３のステップＳＴ１１）。
2012102018.tif 000018
【００２５】
式（１）から分かる通り、８つの射影変換パラメータａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈを算出するには、４組の変換前後の特徴点のＸ座標、Ｙ座標が必要である。
そのため、変換パラメータ算出部１２では、規定数以上の対応候補ペアの中から、４組の対応候補ペアをランダムに選択し、４組の対応候補ペアの特徴点の位置を変換前後のＸ座標、Ｙ座標として（対応候補ペアにおけるクエリ画像内の特徴点の位置を変換前の位置（Ｘ座標、Ｙ座標）とし、参照画像内の特徴点の位置を変換後の位置（Ｘ座標、Ｙ座標）とする）、式（１）から連立方程式を立て、その連立方程式を解くことで、射影変換パラメータａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈを算出する。
【００２６】
変換パラメータ算出部１２は、射影変換パラメータａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈを算出すると、その射影変換パラメータａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈを用いて、クエリ画像内の各特徴点を射影変換して、変換後の各特徴点の位置（座標）を算出する（ステップＳＴ１２）。
ここで、図４はクエリ画像における９点の特徴点Ｑ１〜Ｑ９の射影変換例を示す説明図である。Ｔ１〜Ｔ９はクエリ画像内の射影変換後の特徴点である。
【００２７】
変換パラメータ算出部１２は、クエリ画像内の各特徴点を射影変換すると、射影変換後の各特徴点と参照画像内の各特徴点との対応付けを実施し、対応関係がある特徴点のペア数を得票数としてカウントする（ステップＳＴ１３）。
特徴点の対応付けは、局所特徴量間の特徴量間距離と、特徴点間の空間距離の２つを用いて行う。また、この対応付けは、射影変換パラメータの算出に用いた特徴点を除いて行う。
特徴量間距離は、クエリ画像内の射影変換後の特徴点に対応するクエリ画像の局所的な特徴量と、参照画像の局所的な特徴量から算出する。クエリ画像内の射影変換後の特徴点に対応するクエリ画像の局所的な特徴量は、クエリ画像内の射影変換前の特徴点に対応するクエリ画像の局所的な特徴量をそのまま用いる。
空間距離は、平面における特徴点の座標間の距離を用いる。
【００２８】
変換パラメータ算出部１２は、特徴量間距離と空間距離が共に閾値（この閾値は、特徴量間距離と空間距離で異なっていてもよい）を下回る特徴点を対応ペアとする。この対応付けは、同じ特徴点が重複しないようにするために、１つの特徴点に対して２つ以上の対応候補がある場合、距離の重み付け和を参照して、いずれかの特徴点を除くようにする。
ここで、図５は特徴点の対応付け例を示す説明図である。
図５では、クエリ画像内の９点の特徴点Ｑ１〜Ｑ９の中の特徴点Ｑ１〜Ｑ４と参照画像内の９点の特徴点Ｒ１〜Ｒ９の中の特徴点Ｒ１〜Ｒ４とを用いて射影変換パラメータを算出し、残りの特徴点Ｑ５〜Ｑ９が射影変換された特徴点Ｔ５〜Ｔ９と残りの特徴点Ｒ５〜Ｒ９の距離を算出して、対応付けを行っている例を示している。
【００２９】
また、図５では、特徴量間距離の閾値を３．０、空間距離の閾値を２．５としており、この場合に、共に閾値を下回る対応ペアは、下記の３ペアである。
ペアＦ：Ｔ５とＲ５
ペアＧ：Ｔ５とＲ９
ペアＨ：Ｔ７とＲ６
この場合、ペアＦとペアＧにおいて、特徴点Ｔ５が重複しているため、特徴量間距離と空間距離の重み付和を算出し、より小さい方のみに投票を行う。
例えば、重みを共に“１”とする場合、ペアＦの方が和が小さくなるため、ペアＦとペアＨのみに投票が行われ、得票数が２となる。
【００３０】
変換パラメータ算出部１２は、対応関係がある特徴点のペア数を得票数としてカウントすると、その得票数が、以前にカウントしている最大の得票数より大きければ（ステップＳＴ１４）、今回算出した射影変換パラメータａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈと、クエリ画像内の射影変換後の特徴点とを記憶する（ステップＳＴ１５）。
ステップＳＴ１１〜ＳＴ１３の処理がＮ回目（Ｎ＝２，３，・・・）であれば、１回目からＮ−１回目の処理でカウントしている得票数の中の最大の得票数よりも、今回カウントした得票数が大きければ、今回算出した射影変換パラメータとクエリ画像内の射影変換後の特徴点とを記憶するが、１回目の処理の場合、比較対象がないため、今回カウントした得票数が最大の得票数であるとして、今回算出した射影変換パラメータとクエリ画像内の射影変換後の特徴点とを記憶する。
なお、今回算出した射影変換パラメータとクエリ画像内の射影変換後の特徴点とを記憶する場合、過去に記憶した射影変換パラメータとクエリ画像内の射影変換後の特徴点は破棄する。
【００３１】
変換パラメータ算出部１２は、ステップＳＴ１１〜ＳＴ１５の処理を予め設定された規定の回数だけ未だ実施していなければ、ステップＳＴ１１の処理に戻って、ステップＳＴ１１〜ＳＴ１５の処理を繰り返し実施する（ステップＳＴ１６）。
変換パラメータ算出部１２は、ステップＳＴ１１〜ＳＴ１５の処理を予め設定された規定の回数だけ実施すると、ステップＳＴ１５で最終的に記憶しているクエリ画像内の射影変換後の特徴点と、最大の得票数をマッチング判定部１３に出力する。
【００３２】
ここでは、ステップＳＴ１１で、４組の対応候補ペアをランダムに選択し、ステップＳＴ１６で、規定の回数だけ実施したか否かを判定して処理を収束させているが、例えば、高性能なＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を利用することが可能な場合などでは、全ての対応候補ペアについて、ステップＳＴ１１〜ＳＴ１６に至る処理を実施し、得票数が最大となる場合の射影変換パラメータとクエリ画像内の射影変換後の特徴点とを記憶するようにしてもよい。
この実施の形態１において、４組の対応候補ペアをランダムに選択しているのは、膨大な計算が必要になるのを防ぐためである。
また、得票数が非常に大きい場合には、規定の回数を実施せずに終了するようにしてもよい。
【００３３】
マッチング判定部１３は、以下のようにして、クエリ画像と参照画像のマッチング判定を行う（図２のステップＳＴ４）。
ただし、図２のステップＳＴ２において、特徴点ペア探索部１１により対応候補ペアのペア数が規定数に満たないと判定されている場合、クエリ画像と参照画像は即座にマッチングしていないと判定する。
【００３４】
マッチング判定部１３は、対応候補ペアのペア数が規定数以上ある場合、変換パラメータ算出部１２から出力されたクエリ画像内の射影変換後の特徴点と最大の得票数を用いて、下記の式（２）を計算することで、クエリ画像と参照画像のマッチングスコアＳを算出する。
2012102018.tif 000019
【００３５】
ここで、式（２）について簡単に説明する。
変換パラメータ算出部１２により射影変換されたクエリ画像内の特徴点の中には、図４に示すように、参照画像の範囲外になる特徴点がある（特徴点Ｔ６，Ｔ７）。
このため、式（２）の分母において、クエリ画像内の特徴点の数FAllから、射影変換後に参照画像の範囲外になったクエリ画像内の特徴点の数FOutを減算している。
式（２）の分子における“４”は、射影変換パラメータの算出に用いている特徴点の数である。
したがって、式（２）で算出されるマッチングスコアＳは、参照画像の範囲外に存在している特徴点が除かれたクエリ画像内の特徴点と、参照画像内の特徴点とが対応する割合を示している。
【００３６】
マッチング判定部１３は、クエリ画像と参照画像のマッチングスコアＳを算出すると、そのマッチングスコアＳと予め設定されている閾値Ｓｔｈを比較し、そのマッチングスコアＳが閾値Ｓｔｈより大きければ、クエリ画像と参照画像がマッチングしていると判定する。
なお、図４及び図５の例では、FMatch＝２、FAll＝９、FOut＝２となり、マッチングスコアＳが０．８５となる。
このため、閾値Ｓｔｈが０．８５より小さな値に設定されていれば、クエリ画像と参照画像がマッチングしていると判定される。
【００３７】
ここでは、マッチング判定部１３が、クエリ画像と参照画像のマッチングスコアＳを算出するに際して、クエリ画像内の特徴点の数FAllから、射影変換後に参照画像の範囲外になったクエリ画像内の特徴点の数FOutを減算するようにしているが、変換パラメータ算出部１２により射影変換されたクエリ画像内の特徴点が参照画像の範囲外であるか否かを判定する際、種々の要因による誤差を考慮し、参照画像の範囲を僅かに超えていても、参照画像の範囲内であると判定するようにしてもよい。
【００３８】
以上で明らかなように、この実施の形態１によれば、クエリ画像内の特徴点を抽出するとともに、その特徴点周辺の局所的な特徴量を抽出する画像特徴量抽出部１と、参照画像内の特徴点及び特徴点周辺の局所的な特徴量を記録している画像特徴量データベース２と、画像特徴量抽出部１により抽出されたクエリ画像内の特徴点と画像特徴量データベース２に記録されている参照画像内の特徴点の中で、局所的な特徴量が対応している特徴点のペアを探索する特徴点ペア探索部１１と、特徴点ペア探索部１１により探索された特徴点のペアを用いて、クエリ画像の画像変換に用いる射影変換パラメータを算出するとともに、その射影変換パラメータを用いて、画像特徴量抽出部１により抽出されたクエリ画像内の特徴点の位置を変換する変換パラメータ算出部１２とを設け、マッチング判定部１３が、変換パラメータ算出部１２による位置変換後のクエリ画像内の特徴点と参照画像内の特徴点を比較することで、クエリ画像と参照画像のマッチング判定を行うように構成したので、余分な領域の写り込みや歪みがあるクエリ画像や、一部が切れているクエリ画像であっても、そのクエリ画像と類似している画像を正確に検索することができる効果を奏する。
【００３９】
実施の形態２．
上記実施の形態１では、特徴点ペア探索部１１が画像特徴量抽出部１により抽出されたクエリ画像内の特徴点と、画像特徴量データベース２に記録されている参照画像内の特徴点の中で、局所的な特徴量が対応している特徴点のペア（対応候補ペア）を探索するものを示したが、特徴点ペア探索部１１が対応候補ペアを探索する際、クエリ画像内の特徴点周辺の局所的な特徴量と、参照画像内の特徴点周辺の局所的な特徴量との距離の統計量を用いて閾値を設定し、局所的な特徴量が対応している特徴点のペアとして、上記距離が上記閾値より小さい特徴点のペアを探索するようにしてもよい。
【００４０】
この実施の形態２は、上記実施の形態１と比較して、特徴点ペア探索部１１が対応候補ペアを探索する際の処理内容だけが相違しているので、以下、特徴点ペア探索部１１が対応候補ペアを探索する際の処理内容を具体的に説明する。
図６はこの発明の実施の形態２による画像検索装置における特徴点ペア探索部１１の処理内容を示すフローチャートである。
【００４１】
まず、特徴点ペア探索部１１は、画像特徴量抽出部１からクエリ画像特徴量を受けると、上記実施の形態１と同様に、画像特徴量データベース２に記録されている複数の参照画像特徴量（参照画像内の特徴点、その特徴点周辺の局所的な特徴量）を順次取得する。
特徴点ペア探索部１１は、画像特徴量データベース２に記録されている任意の参照画像特徴量を取得すると、クエリ画像特徴量に含まれているクエリ画像内の特徴点と、その参照画像特徴量に含まれている参照画像内の特徴点との全ての組み合わせについて、クエリ画像内の特徴点に対応する局所的な特徴量と、参照画像内の特徴点に対応する局所的な特徴量との距離である特徴量間距離を算出する（ステップＳＴ２１）。
例えば、クエリ画像内の特徴点の個数がＭ個、参照画像内の特徴点の個数がＮ個であれば、特徴点の組み合わせがＭ×Ｎ通りであるので、Ｍ×Ｎ通りの組み合わせについて特徴量間距離を算出する。
【００４２】
特徴点ペア探索部１１は、全ての組み合わせについて、特徴量間距離を算出すると、その特徴量間距離の統計量として、その特徴量間距離の平均値ＡｖｇＤと標準偏差ＳＤＤを算出する。
また、特徴点ペア探索部１１は、特徴量間距離の平均値ＡｖｇＤと標準偏差ＳＤＤを下記の式（３）（４）に代入することで、閾値の初期値Ｔｈと閾値の最大値ＴｈＭａｘを算出する（ステップＳＴ２２）。
Ｔｈ＝ＡｖｇＤ−α×ＳＤＤ                      （３）
ＴｈＭａｘ＝ＡｖｇＤ−ＳＤＤ                    （４）
ただし、αは１以上の定数である。
【００４３】
特徴点ペア探索部１１は、閾値の初期値Ｔｈと閾値の最大値ＴｈＭａｘを算出すると、全ての組み合わせについて、特徴量間距離と現在の閾値Ｔｈ（最初の段階では、閾値の初期値）を比較して、その特徴量間距離が現在の閾値Ｔｈより小さい特徴点のペア（クエリ画像内の特徴点と、参照画像内の特徴点との組み合わせ）を探索し、その特徴点のペアを対応候補ペアとする（ステップＳＴ２３）。
【００４４】
特徴点ペア探索部１１は、対応候補ペアを探索すると、その対応候補ペアの数がＮペア以上あるか否かを判定する（ステップＳＴ２４）。ここでは、Ｎは４以上であり、射影変換に必要なペア数である。
なお、Ｎが大きい場合、より多くの対応候補ペアが見つかるため、クエリ画像に大きな歪みがある場合などでもマッチングできるが、マッチング処理に時間がかかるので、許容されるマッチング処理時間の範囲内で、大きな値に設定される。
【００４５】
特徴点ペア探索部１１は、対応候補ペアの数がＮペア以上ある場合、対応候補ペアの探索処理を終了するが、対応候補ペアの数がＮペアに満たない場合、現在の閾値Ｔｈと閾値の最大値ＴｈＭａｘを比較する（ステップＳＴ２５）。
特徴点ペア探索部１１は、現在の閾値Ｔｈが閾値の最大値ＴｈＭａｘ以上であれば、対応候補ペアの探索処理を終了するが、現在の閾値Ｔｈが閾値の最大値ＴｈＭａｘ未満であれば、その閾値Ｔｈを大きくしてから（ステップＳＴ２６）、ステップＳＴ２３の処理に戻り、対応候補ペアの探索処理を継続する。
閾値Ｔｈを大きくする幅については任意であるが、例えば、０．５×ＳＤＤなどの値が考えられる。
【００４６】
以上で明らかなように、この実施の形態２によれば、特徴点ペア探索部１１が、クエリ画像内の特徴点周辺の局所的な特徴量と、参照画像内の特徴点周辺の局所的な特徴量との距離の統計量を用いて閾値を設定し、局所的な特徴量が対応している特徴点のペアとして、上記距離が上記閾値より小さい特徴点のペアを探索するように構成したので、対応候補ペアの探索時における特徴量間距離の閾値Ｔｈを動的に設定することで、対応候補ペアを適応的に探索することが可能になる。また、クエリ画像の歪みが大きい場合などでも、画像のマッチングが可能になる効果を奏する。
【００４７】
実施の形態３．
図７はこの発明の実施の形態３による画像処理装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
変換パラメータ推定部４は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、特徴点ペア探索部２１及び変換パラメータ算出部２２を実装している。
【００４８】
変換パラメータ推定部４の特徴点ペア探索部２１は、上記実施の形態１，２の特徴点ペア探索部１１と同様に、画像特徴量抽出部１により抽出されたクエリ画像内の特徴点と、画像特徴量データベース２に記録されている参照画像内の特徴点の中で、局所的な特徴量が対応している特徴点のペアを探索する処理を実施する。なお、特徴点ペア探索部２１は特徴点ペア探索手段を構成している。
変換パラメータ算出部２２は特徴点ペア探索部２１により探索された特徴点のペアを用いて、クエリ画像の画像変換に用いる射影変換パラメータを算出する処理を実施する。なお、変換パラメータ算出部２２は変換パラメータ算出手段を構成している。
【００４９】
画像処理部５は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、変換パラメータ推定部４の変換パラメータ算出部２２により算出された射影変換パラメータを用いて、クエリ画像の画像変換を実施し、変換後のクエリ画像を出力する処理を実施する。なお、画像処理部５は画像変換手段を構成している。
【００５０】
図７の例では、画像処理装置の構成要素である画像特徴量抽出部１、画像特徴量データベース２、変換パラメータ推定部４及び画像処理部５のそれぞれが専用のハードウェアで構成されているものを想定しているが、画像処理装置の全部又は一部がコンピュータで構成されるようにしてもよい。この場合には、画像特徴量抽出部１、画像特徴量データベース２、変換パラメータ推定部４及び画像処理部５の処理内容を記述しているプログラムの全部又は一部をコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにすればよい。
図８はこの発明の実施の形態３による画像処理装置における変換パラメータ推定部４の処理内容を示すフローチャートである。
【００５１】
次に動作について説明する。
画像特徴量抽出部１は、検索対象の画像であるクエリ画像を入力すると、上記実施の形態１と同様に、そのクエリ画像内の特徴点を抽出するとともに、その特徴点周辺の局所的な特徴量を抽出する。
画像特徴量抽出部１は、クエリ画像内の特徴点と、その特徴点周辺の局所的な特徴量を抽出すると、その特徴点と局所的な特徴量を含むクエリ画像特徴量を変換パラメータ推定部４に出力する。
【００５２】
変換パラメータ推定部４は、画像特徴量抽出部１からクエリ画像特徴量を受けると、画像特徴量データベース２に記録されている複数の参照画像特徴量（参照画像内の特徴点、その特徴点周辺の局所的な特徴量）を順次取得して、クエリ画像の画像変換に用いる射影変換パラメータの推定処理を実施する。
以下、変換パラメータ推定部４の処理内容を具体的に説明する。
【００５３】
変換パラメータ推定部４の特徴点ペア探索部２１は、画像特徴量抽出部１からクエリ画像特徴量を受けると、上記実施の形態１，２の特徴点ペア探索部１１と同様に、画像特徴量データベース２に記録されている参照画像特徴量を順次取得し、そのクエリ画像特徴量に含まれているクエリ画像内の特徴点と、その参照画像特徴量に含まれている参照画像内の特徴点の中で、局所的な特徴量が対応している特徴点のペア（対応候補ペア）を探索する（ステップＳＴ３１）。
【００５４】
特徴点ペア探索部２１は、１以上の対応候補ペアを探索すると、上記実施の形態１，２の特徴点ペア探索部１１と同様に、１以上の対応候補ペアの中から、同じ特徴点を重複している対応候補ペアを除き、特徴点の重複がない対応候補ペアのペア数を規定数と比較する（ステップＳＴ３２）。
特徴点ペア探索部２１は、対応候補ペアのペア数が規定数以上であれば、規定数以上の対応候補ペアを変換パラメータ算出部２２に出力する。
一方、その対応候補ペアのペア数が規定数に満たない場合、クエリ画像が当該参照画像と類似していないため、変換パラメータ算出部２２には対応候補ペアを出力しない。
例えば、規定数が４に設定されている場合、対応候補ペアのペア数が４以上であれば、対応候補ペアを変換パラメータ算出部２２に出力する。
【００５５】
変換パラメータ算出部２２は、特徴点ペア探索部２１から特徴点の重複がない対応候補ペアを受けると、上記実施の形態１，２の変換パラメータ算出部１２と同様に、その対応候補ペアを用いて、クエリ画像の画像変換に用いる射影変換パラメータを算出し（ステップＳＴ３３）、その射影変換パラメータを画像処理部５に出力する。
【００５６】
画像処理部５は、変換パラメータ推定部４の変換パラメータ算出部２２から射影変換パラメータを受けると、その射影変換パラメータを用いて、クエリ画像全体の射影変換処理を実施する。
この射影変換処理は、式（１）の射影変換式に則り、クエリ画像の各画素の位置を変換することで行われる。
画像処理部５は、上記の射影変換処理を行った上で、図４の一点鎖線で示す範囲の外側を取り除くことで、変換処理後のクエリ画像に含まれる歪みを取り除くとともに、そのクエリ画像に含まれる余分な部分を除き、変換処理後のクエリ画像の中で参照画像に対応する部分のみを抜き出すことができる。
画像処理部５は、参照画像に対応する部分のクエリ画像を変換画像として出力する。
【００５７】
以上で明らかなように、この実施の形態３によれば、クエリ画像内の特徴点を抽出するとともに、その特徴点周辺の局所的な特徴量を抽出する画像特徴量抽出部１と、参照画像内の特徴点及び特徴点周辺の局所的な特徴量を記録している画像特徴量データベース２と、画像特徴量抽出部１により抽出されたクエリ画像内の特徴点と画像特徴量データベース２に記録されている参照画像内の特徴点の中で、局所的な特徴量が対応している特徴点のペアを探索する特徴点ペア探索部２１と、特徴点ペア探索部２１により探索された特徴点のペアを用いて、クエリ画像の画像変換に用いる射影変換パラメータを算出する変換パラメータ算出部２２とを設け、画像処理部５が、変換パラメータ算出部２２により算出された射影変換パラメータを用いて、クエリ画像の画像変換を実施し、変換後のクエリ画像を出力するように構成したので、クエリ画像に余分な領域の写り込みや歪み等がある場合でも、そのクエリ画像と類似している画像を正確に検索することが可能になる。
【００５８】
実施の形態４．
上記実施の形態３では、変換パラメータ算出部２２が、特徴点ペア探索部２１により探索された対応候補ペアを用いて、クエリ画像の画像変換に用いる射影変換パラメータを算出するものを示し、この実施の形態４でも、クエリ画像の画像変換に用いる射影変換パラメータを算出するが、その射影変換パラメータの算出精度を高める処理を実施している点で、上記実施の形態３と相違している。
以下、変換パラメータ算出部２２の処理内容を具体的に説明する。
図９はこの発明の実施の形態４による画像処理装置における変換パラメータ算出部２２の処理内容を示すフローチャートである。
また、図１０は変換パラメータ算出部２２による射影変換パラメータの精度向上処理を示すフローチャートである。
【００５９】
変換パラメータ算出部２２は、特徴点ペア探索部２１から特徴点の重複がない対応候補ペアを受けると、上記実施の形態２の変換パラメータ算出部１２と同様に、規定数以上の対応候補ペアの中から、４組の対応候補ペアをランダムに選択して、射影変換パラメータを算出する（図９のステップＳＴ４１）。射影変換パラメータの算出方法は、上記実施の形態１と同様である。
変換パラメータ算出部２２は、射影変換パラメータを算出すると、上記実施の形態２の変換パラメータ算出部１２と同様に、その射影変換パラメータを用いて、クエリ画像内の各特徴点を射影変換して、変換後の各特徴点の位置（座標）を算出する（ステップＳＴ４２）。
【００６０】
変換パラメータ算出部２２は、クエリ画像内の各特徴点を射影変換すると、上記実施の形態２の変換パラメータ算出部１２と同様に、射影変換後の各特徴点と参照画像内の各特徴点との対応付けを実施し、対応関係がある特徴点のペア数を得票数としてカウントする（ステップＳＴ４３）。
特徴点の対応付けは、局所特徴量間の特徴量間距離と、特徴点間の空間距離の２つを用いて行う。また、この対応付けは、射影変換パラメータの算出に用いた特徴点を除いて行う。
特徴量間距離は、クエリ画像内の射影変換後の特徴点に対応するクエリ画像の局所的な特徴量と、参照画像の局所的な特徴量から算出する。クエリ画像内の射影変換後の特徴点に対応するクエリ画像の局所的な特徴量は、クエリ画像内の射影変換前の特徴点に対応するクエリ画像の局所的な特徴量をそのまま用いる。
空間距離は、平面における特徴点の座標間の距離を用いる。
【００６１】
変換パラメータ算出部２２は、上記実施の形態２の変換パラメータ算出部１２と同様に、特徴量間距離と空間距離が共に閾値（この閾値は、特徴量間距離と空間距離で異なっていてもよい）を下回る特徴点を対応ペアとする。この対応付けは、同じ特徴点が重複しないようにするために、１つの特徴点に対して２つ以上の対応候補がある場合、距離の重み付け和を参照して、いずれかの特徴点を除くようにする。
変換パラメータ算出部２２は、対応関係がある特徴点のペア数を得票数としてカウントし、その得票数が、以前にカウントしている最大の得票数より大きければ（ステップＳＴ４４）、今回算出した射影変換パラメータと、クエリ画像内の射影変換後の特徴点とを記憶する（ステップＳＴ４５）。
なお、今回算出した射影変換パラメータとクエリ画像内の射影変換後の特徴点とを記憶する場合、過去に記憶した射影変換パラメータとクエリ画像内の射影変換後の特徴点は破棄する。
【００６２】
変換パラメータ算出部２２は、ステップＳＴ４１〜ＳＴ４５の処理を予め設定された規定の回数だけ未だ実施していなければ、ステップＳＴ４１の処理に戻って、ステップＳＴ４１〜ＳＴ４５の処理を繰り返し実施する（ステップＳＴ４６）。
変換パラメータ算出部２２は、ステップＳＴ４１〜ＳＴ４５の処理を予め設定された規定の回数だけ実施すると、ステップＳＴ４５で最終的に記憶している射影変換パラメータの精度向上処理を行う（ステップＳＴ４７）。
【００６３】
以下、射影変換パラメータの精度向上処理を具体的に説明する。
変換パラメータ算出部２２は、ステップＳＴ４３で探索している対応ペアの中から、４組の対応ペアをランダムに選択して、射影変換パラメータを算出する（図１０のステップＳＴ５１）。射影変換パラメータの算出方法は、上記実施の形態１と同様である。
変換パラメータ算出部２２は、射影変換パラメータを算出すると、その射影変換パラメータを用いて、各対応ペアに含まれているクエリ画像内の特徴点を射影変換して、変換後の特徴点の位置（座標）を算出する（ステップＳＴ５２）。
【００６４】
変換パラメータ算出部２２は、各対応ペアに含まれているクエリ画像内の特徴点を射影変換して、変換後の特徴点の位置（座標）を算出すると、クエリ画像内の射影変換後の特徴点と、その特徴点と対応関係がある参照画像内の特徴点との空間距離を算出する（ステップＳＴ５３）。
変換パラメータ算出部２２は、全ての対応ペアについて、特徴点間の空間距離を算出すると、それらの空間距離の和を算出し、その和が、以前に算出している最小の空間距離の和より小さければ（ステップＳＴ５４）、今回算出した射影変換パラメータを記憶する（ステップＳＴ５５）。
ステップＳＴ５１〜ＳＴ５３の処理がＮ回目（Ｎ＝２，３，・・・）であれば、１回目からＮ−１回目の処理で算出している空間距離の和の中の最小の空間距離の和より、今回算出した空間距離の和が小さければ、今回算出した射影変換パラメータを記憶するが、１回目の処理の場合、比較対象がないため、今回算出した空間距離の和が最小であるとして、今回算出した射影変換パラメータを記憶する。
なお、今回算出した射影変換パラメータを記憶する場合、過去に記憶した射影変換パラメータは破棄する。
【００６５】
変換パラメータ算出部２２は、ステップＳＴ５１〜ＳＴ５５の処理を予め設定された規定の回数だけ未だ実施していなければ、ステップＳＴ５１の処理に戻って、ステップＳＴ５１〜ＳＴ５５の処理を繰り返し実施する（ステップＳＴ５６）。
ここでは、ステップＳＴ５１で、４組の対応ペアをランダムに選択し、ステップＳＴ５６で、規定の回数だけ実施したか否かを判定して処理を収束させているが、例えば、高性能なＣＰＵを利用することが可能な場合などには、全ての対応ペアについて、ステップＳＴ５１〜ＳＴ５６に至る処理を実施し、空間距離の和が最小の対応ペアについて、射影変換パラメータを算出するようにしてもよい。
この実施の形態１において、４組の対応ペアをランダムに選択しているのは、膨大な計算が必要になるのを防ぐためである。
【００６６】
画像の歪みなどの影響によって、クエリ画像内の特徴点と参照画像内の特徴点との間に誤差が生じることがあるが、ステップＳＴ４３で探索している対応ペアの中から、４組の対応ペアをランダムに選択して、再度、射影変換パラメータを算出するとともに、１以上の対応ペアに係る射影変換パラメータの中から、空間距離の和が最小になる対応ペアに係る射影変換パラメータを選択するようにしているので、最も確からしい射影変換パラメータを得ることができる。
【００６７】
以上で明らかなように、この実施の形態４によれば、変換パラメータ算出部２２が、特徴点ペア探索部２１により探索された対応候補ペアの中から、任意の対応候補ペアを選択する処理と、任意の対応候補ペアを用いて、クエリ画像と参照画像間の画像変換に用いる射影変換パラメータを算出し、その射影変換パラメータを用いて、クエリ画像内の特徴点の位置を変換する処理とを繰り返し、任意の対応候補ペアを用いて算出した１以上の射影変換パラメータの中で、位置変換後のクエリ画像内の特徴点と参照画像内の特徴点の対応関係が最も高い（空間距離の和が最小）となる射影変換パラメータを選択して、その射影変換パラメータを画像処理部５に出力するように構成したので、射影変換パラメータの算出精度を高めることができる効果を奏する。
【００６８】
実施の形態５．
図１１はこの発明の実施の形態５による画像検索装置を示す構成図であり、図において、図７と同一符号は同一または相当部分を示すので説明を省略する。
画像特徴量データベース６は例えばＲＡＭやハードディスクなどの記憶装置から構成されており、複数の参照画像内の特徴点と、その特徴点周辺の局所的な特徴量と、各参照画像全体の特徴量とを記録している。なお、画像特徴量データベース６は特徴量記録手段を構成している。
例えば、前述の“Ｉｍａｇｅ  Ｓｉｇａｎａｔｕｒｅ”は、画像全体の特徴量である“Ｇｌｏｂａｌ  Ｓｉｇｎａｔｕｒｅ”と画像の局所的な特徴量である“Ｌｏｃａｌ  Ｓｉｇｎａｔｕｒｅ”から構成されている。
【００６９】
画像マッチング部７は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、画像処理部５による画像変換後のクエリ画像全体の特徴量を抽出し、そのクエリ画像全体の特徴量と画像特徴量データベース６に記録されている参照画像全体の特徴量を比較することで、画像変換後のクエリ画像と参照画像のマッチング判定を行う。なお、画像マッチング部７はマッチング判定手段を構成している。
【００７０】
図１１の例では、画像検索装置の構成要素である画像特徴量抽出部１、画像特徴量データベース６、変換パラメータ推定部４、画像処理部５及び画像マッチング部７のそれぞれが専用のハードウェアで構成されているものを想定しているが、画像検索装置の全部又は一部がコンピュータで構成されるようにしてもよい。この場合には、画像特徴量抽出部１、画像特徴量データベース６、変換パラメータ推定部４、画像処理部５及び画像マッチング部７の処理内容を記述しているプログラムの全部又は一部をコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにすればよい。
図１２はこの発明の実施の形態５による画像検索装置における画像マッチング部７の処理内容を示すフローチャートである。
【００７１】
画像マッチング部７を実装している点以外は、上記実施の形態４と同様であるため、以下、画像マッチング部７の処理内容を説明する。
画像マッチング部７は、画像処理部５が、変換パラメータ推定部４により算出された射影変換パラメータを用いて、クエリ画像を射影変換すると、射影変換後のクエリ画像を取得する（ステップＳＴ６１）。
なお、射影変換後のクエリ画像の範囲は、参照画像の座標内に収まる範囲（図４の一点鎖線の範囲）であるとする。
【００７２】
画像マッチング部７は、射影変換後のクエリ画像を取得すると、そのクエリ画像全体の特徴量を抽出する（ステップＳＴ６２）。
画像マッチング部７により抽出される特徴量の種類は、画像特徴量データベース６に記録されている参照画像全体の特徴量の種類と同一である。
画像マッチング部７は、クエリ画像全体の特徴量を抽出すると、その特徴量と画像特徴量データベース６に記録されている参照画像全体の特徴量を比較することで、画像変換後のクエリ画像と参照画像のマッチング判定を行う（ステップＳＴ６３）。
即ち、クエリ画像全体の特徴量と参照画像全体の特徴量との差分が、所定の閾値より小さければ、画像変換後のクエリ画像と参照画像がマッチングしていると判定する。
画像マッチング部７は、マッチング判定を実施して、マッチングしている参照画像を検索結果として出力する。
【００７３】
画像マッチング部７では、クエリ画像全体の特徴量と参照画像全体の特徴量とを比較しているので、局所的な特徴点が偶然類似しているために、マッチングしていると誤判定してしまう状況化でも、正確にマッチングしているか否かを判定することができる。
【００７４】
以上で明らかなように、この実施の形態５によれば、画像マッチング部７が、画像処理部５による画像変換後のクエリ画像全体の特徴量を抽出し、そのクエリ画像全体の特徴量と画像特徴量データベース６に記録されている参照画像全体の特徴量を比較することで、画像変換後のクエリ画像と参照画像のマッチング判定を行うように構成したので、クエリ画像内の参照画像に相当する部分の全体と、参照画像全体のマッチングが可能になり、更に正確な画像検索を実施することができる効果を奏する。
【００７５】
上記実施の形態１〜５では、クエリ画像を射影変換して、画像の検索や画像処理を実施するものを示したが、クエリ画像を射影変換以外の変換処理（例えば、アフィン変換、画像の回転・拡大・縮小処理）を実施して、画像の検索や画像処理を実施するようにしてもよい。
射影変換以外の変換処理を実施する場合、対応候補ペア、もしくは、対応ペアは、その処理内容に応じて必要なペア数を変更した上で、変換パラメータの推定が行われることになる。
【００７６】
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【符号の説明】
【００７７】
１  画像特徴量抽出部（画像特徴量抽出手段）、２，６  画像特徴量データベース（特徴量記録手段）、３  画像マッチング部、４  変換パラメータ推定部、５  画像処理部（画像変換手段）、７  画像マッチング部（マッチング判定手段）、１１  特徴点ペア探索部（特徴点ペア探索手段）、１２  変換パラメータ算出部（変換パラメータ算出手段、マッチング判定手段）、１３  マッチング判定部（マッチング判定手段）、２１  特徴点ペア探索部（特徴点ペア探索手段）、２２  変換パラメータ算出部（変換パラメータ算出手段）。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
検索対象の画像であるクエリ画像内の特徴点の位置を抽出するとともに、該特徴点周辺の局所的な特徴量を抽出する画像特徴量抽出手段と、
参照画像内の特徴点の位置及び該特徴点周辺の局所的な特徴量を記録している特徴量記録手段と、
上記画像特徴量抽出手段により抽出された上記クエリ画像内の特徴点と上記特徴量記録手段に記録されている上記参照画像内の特徴点の中で、局所的な特徴量が対応している特徴点のペアを探索する特徴点ペア探索手段と、
上記特徴点ペア探索手段により探索された上記特徴点のペアを用いて、該特徴点ペア間の位置関係に基づいて画像変換に用いる変換パラメータを算出する変換パラメータ算出手段と、
上記変換パラメータ算出手段により算出された上記変換パラメータを用いて、上記画像特徴量抽出手段により抽出された上記クエリ画像内の特徴点の位置を変換し、上記位置変換後のクエリ画像内の特徴点の局所的な特徴量と上記参照画像内の特徴点の局所的な特徴量とを比較することで、上記クエリ画像と上記参照画像のマッチング判定を行うマッチング判定手段と
を備えた画像検索装置。
【請求項２】
上記特徴点ペア探索手段は、上記クエリ画像内の特徴点周辺の局所的な特徴量と、上記参照画像内の特徴点周辺の局所的な特徴量との距離の統計量を用いて閾値を設定し、局所的な特徴量が対応している特徴点のペアとして、上記距離が上記閾値より小さい特徴点のペアを探索することを特徴とする請求項１記載の画像検索装置。
【請求項３】
検索対象の画像であるクエリ画像内の特徴点の位置を抽出するとともに、該特徴点周辺の局所的な特徴量を抽出する画像特徴量抽出手段と、
参照画像内の特徴点の位置及び該特徴点周辺の局所的な特徴量を記録している特徴量記録手段と、
上記画像特徴量抽出手段により抽出された上記クエリ画像内の特徴点と上記特徴量記録手段に記録されている上記参照画像内の特徴点の中で、局所的な特徴量が対応している特徴点のペアを探索する特徴点ペア探索手段と、
上記特徴点ペア探索手段により探索された上記特徴点のペアを用いて、該特徴点ペア間の位置関係に基づいて画像変換に用いる変換パラメータを算出する変換パラメータ算出手段と、
上記変換パラメータ算出手段により算出された上記変換パラメータを用いて、上記クエリ画像の画像変換を行う画像変換手段と
を備えた画像処理装置。
【請求項４】
上記変換パラメータ算出手段は、上記特徴点ペア探索手段により探索された上記特徴点のペアの中から、任意の特徴点のペアを選択する処理と、該特徴点のペアを用いて、該特徴点ペア間の位置関係に基づいて画像変換に用いる変換パラメータを算出し、該変換パラメータを用いて、上記クエリ画像内の特徴点の位置を変換する処理とを繰り返し、上記任意の特徴点のペアを用いて算出した１以上の上記変換パラメータの中で、上記位置変換後のクエリ画像内の特徴点の局所的な特徴量と上記参照画像内の特徴点の局所的な特徴量との対応関係が最も高い変換パラメータを選択して、選択した上記変換パラメータを上記画像変換手段に出力することを特徴とする請求項３記載の画像処理装置。
【請求項５】
検索対象の画像であるクエリ画像内の特徴点の位置を抽出するとともに、該特徴点周辺の局所的な特徴量を抽出する画像特徴量抽出手段と、
参照画像内の特徴点の位置、該特徴点周辺の局所的な特徴量及び上記参照画像全体の特徴量を記録している特徴量記録手段と、
上記画像特徴量抽出手段により抽出された上記クエリ画像内の特徴点と上記特徴量記録手段に記録されている上記参照画像内の特徴点の中で、局所的な特徴量が対応している特徴点のペアを探索する特徴点ペア探索手段と、
上記特徴点ペア探索手段により探索された上記特徴点のペアを用いて、該特徴点ペア間の位置関係に基づいて画像変換に用いる変換パラメータを算出する変換パラメータ算出手段と、
上記変換パラメータ算出手段により算出された上記変換パラメータを用いて、上記クエリ画像の画像変換を行う画像変換手段と、
上記画像変換手段による上記画像変換後のクエリ画像全体の特徴量を抽出し、上記画像変換後のクエリ画像全体の特徴量と上記特徴量記録手段に記録されている上記参照画像全体の特徴量とを比較することで、上記画像変換後のクエリ画像と上記参照画像とのマッチング判定を行うマッチング判定手段と
を備えた画像検索装置。
【請求項６】
上記変換パラメータ算出手段は、上記特徴点ペア探索手段により探索された上記特徴点のペアの中から、任意の特徴点のペアを選択する処理と、該特徴点のペアを用いて、該特徴点ペア間の位置関係に基づいて画像変換に用いる変換パラメータを算出し、該変換パラメータを用いて、上記クエリ画像内の特徴点の位置を変換する処理とを繰り返し、上記任意の特徴点のペアを用いて算出した１以上の上記変換パラメータの中で、上記位置変換後のクエリ画像内の特徴点の局所的な特徴量と上記参照画像内の特徴点の局所的な特徴量との対応関係が最も高い変換パラメータを選択して、選択した上記変換パラメータを上記画像変換手段に出力することを特徴とする請求項５記載の画像検索装置。
【請求項７】
上記クエリ画像及び上記参照画像内の特徴点と該特徴点周辺の局所的な特徴量が、Ｉｍａｇｅ  Ｓｉｇｎａｔｕｒｅであることを特徴とする請求項１記載の画像検索装置。
【請求項８】
上記クエリ画像及び上記参照画像内の特徴点と該特徴点周辺の局所的な特徴量が、Ｉｍａｇｅ  Ｓｉｇｎａｔｕｒｅであることを特徴とする請求項５記載の画像検索装置。
【請求項９】
上記クエリ画像及び上記参照画像内の特徴点と該特徴点周辺の局所的な特徴量が、Ｉｍａｇｅ  Ｓｉｇｎａｔｕｒｅであることを特徴とする請求項３記載の画像処理装置。
【請求項１０】
画像特徴量抽出手段が検索対象の画像であるクエリ画像内の特徴点の位置を抽出するとともに、該特徴点周辺の局所的な特徴量を抽出する画像特徴量抽出処理ステップと、
特徴点ペア探索手段が上記画像特徴量抽出処理ステップで抽出された上記クエリ画像内の特徴点と予め記録されている参照画像内の特徴点の中で、局所的な特徴量が対応している特徴点のペアを探索する特徴点ペア探索処理ステップと、
変換パラメータ算出手段が上記特徴点ペア探索処理ステップで探索された上記特徴点のペアを用いて、該特徴点ペア間の位置関係に基づいて画像変換に用いる変換パラメータを算出する変換パラメータ算出処理ステップと、
マッチング判定手段が上記変換パラメータ算出処理ステップで算出された上記変換パラメータを用いて、上記画像特徴量抽出処理ステップで抽出された上記クエリ画像内の特徴点の位置を変換し、上記位置変換後のクエリ画像内の特徴点の局所的な特徴量と上記参照画像内の特徴点の局所的な特徴量とを比較することで、上記クエリ画像と上記参照画像のマッチング判定を行うマッチング判定処理ステップと
を備えた画像検索方法。
【請求項１１】
画像特徴量抽出手段が検索対象の画像であるクエリ画像内の特徴点の位置を抽出するとともに、該特徴点周辺の局所的な特徴量を抽出する画像特徴量抽出処理ステップと、
特徴点ペア探索手段が上記画像特徴量抽出処理ステップで抽出された上記クエリ画像内の特徴点と予め記録されている参照画像内の特徴点の中で、局所的な特徴量が対応している特徴点のペアを探索する特徴点ペア探索処理ステップと、
変換パラメータ算出手段が上記特徴点ペア探索処理ステップで探索された上記特徴点のペアを用いて、該特徴点ペア間の位置関係に基づいて画像変換に用いる変換パラメータを算出する変換パラメータ算出処理ステップと、
画像変換手段が上記変換パラメータ算出処理ステップで算出された上記変換パラメータを用いて、上記クエリ画像の画像変換を行う画像変換処理ステップと
を備えた画像処理方法。
【請求項１２】
画像特徴量抽出手段が検索対象の画像であるクエリ画像内の特徴点の位置を抽出するとともに、該特徴点周辺の局所的な特徴量を抽出する画像特徴量抽出処理ステップと、
特徴点ペア探索手段が上記画像特徴量抽出処理ステップで抽出された上記クエリ画像内の特徴点と予め記録されている参照画像内の特徴点の中で、局所的な特徴量が対応している特徴点のペアを探索する特徴点ペア探索処理ステップと、
変換パラメータ算出手段が上記特徴点ペア探索処理ステップで探索された上記特徴点のペアを用いて、該特徴点ペア間の位置関係に基づいて画像変換に用いる変換パラメータを算出する変換パラメータ算出処理ステップと、
画像変換手段が上記変換パラメータ算出処理ステップで算出された上記変換パラメータを用いて、上記クエリ画像の画像変換を行う画像変換処理ステップと、
マッチング判定手段が上記画像変換処理ステップによる上記画像変換後のクエリ画像全体の特徴量を抽出し、上記画像変換後のクエリ画像全体の特徴量と予め記録されている上記参照画像全体の特徴量とを比較することで、上記画像変換後のクエリ画像と上記参照画像とのマッチング判定を行うマッチング判定処理ステップと
を備えた画像検索方法。
【手続補正書】
【提出日】平成26年1月24日(2014.1.24)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
この発明に係る画像検索装置は、検索対象の画像であるクエリ画像内の特徴点の位置を抽出するとともに、その特徴点周辺の局所的な特徴量を抽出する画像特徴量抽出手段と、参照画像内の特徴点の位置及び特徴点周辺の局所的な特徴量を記録している特徴量記録手段と、画像特徴量抽出手段により抽出されたクエリ画像内の特徴点と特徴量記録手段に記録されている参照画像内の特徴点の中で、局所的な特徴量が対応している特徴点のペアを探索する特徴点ペア探索手段と、特徴点ペア探索手段により探索された特徴点のペアを用いて、特徴点ペア間の位置関係に基づいて画像変換に用いる変換パラメータを算出する変換パラメータ算出手段とを設け、マッチング判定手段が、変換パラメータ算出手段により算出された変換パラメータを用いて、画像特徴量抽出手段により抽出されたクエリ画像内の特徴点の位置のみを変換し、位置変換後のクエリ画像内の特徴点の局所的な特徴量の位置と参照画像内の特徴点の局所的な特徴量の位置とを比較することで、クエリ画像と参照画像のマッチング判定を行うようにしたものである。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
この発明によれば、検索対象の画像であるクエリ画像内の特徴点の位置を抽出するとともに、その特徴点周辺の局所的な特徴量を抽出する画像特徴量抽出手段と、参照画像内の特徴点の位置及び特徴点周辺の局所的な特徴量を記録している特徴量記録手段と、画像特徴量抽出手段により抽出されたクエリ画像内の特徴点と特徴量記録手段に記録されている参照画像内の特徴点の中で、局所的な特徴量が対応している特徴点のペアを探索する特徴点ペア探索手段と、特徴点ペア探索手段により探索された特徴点のペアを用いて、特徴点ペア間の位置関係に基づいて画像変換に用いる変換パラメータを算出する変換パラメータ算出手段とを設け、マッチング判定手段が、変換パラメータ算出手段により算出された変換パラメータを用いて、画像特徴量抽出手段により抽出されたクエリ画像内の特徴点の位置のみを変換し、位置変換後のクエリ画像内の特徴点の局所的な特徴量の位置と参照画像内の特徴点の局所的な特徴量の位置とを比較することで、クエリ画像と参照画像のマッチング判定を行うように構成したので、余分な領域の写り込みや歪み等があるクエリ画像であっても、そのクエリ画像と類似している画像を正確に検索することができる効果がある。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
【図１】この発明の実施の形態１による画像検索装置を示す構成図である。
【図２】この発明の実施の形態１による画像検索装置における画像マッチング部３の処理内容を示すフローチャートである。
【図３】この発明の実施の形態１による画像検索装置における変換パラメータ算出部１２の処理内容を示すフローチャートである。
【図４】クエリ画像における９点の特徴点Ｑ１〜Ｑ９の射影変換例を示す説明図である。
【図５】特徴点の対応付け例を示す説明図である。
【図６】この発明の実施の形態２による画像検索装置における特徴点ペア探索部１１の処理内容を示すフローチャートである。
【図７】この発明の実施の形態３による画像処理装置を示す構成図である。
【図８】この発明の実施の形態３による画像処理装置における変換パラメータ推定部４の処理内容を示すフローチャートである。
【図９】この発明の実施の形態４による画像処理装置における変換パラメータ算出部２２の処理内容を示すフローチャートである。
【図１０】変換パラメータ算出部２２による射影変換パラメータの精度向上処理を示すフローチャートである。
【図１１】この発明の実施の形態５による画像検索装置を示す構成図である。
【図１２】この発明の実施の形態５による画像検索装置における画像マッチング部７の処理内容を示すフローチャートである。
【図１３】ポスター等の一部の途切れの発生や、本来含まれない余分な領域が撮影されている様子を示す説明図である。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】変更
【補正の内容】
【００２９】
また、図５では、特徴量間距離の閾値を３．０、空間距離の閾値を２．５としており、この場合に、共に閾値を下回る対応ペアは、下記の３ペアである。
ペアＦ：Ｔ5とＲ5
ペアＧ：Ｔ9とＲ5
ペアＨ：Ｔ7とＲ6
この場合、ペアＦとペアＧにおいて、特徴点Ｒ5が重複しているため、特徴量間距離と空間距離の重み付和を算出し、より小さい方のみに投票を行う。
例えば、重みを共に“１”とする場合、ペアＦの方が和が小さくなるため、ペアＦとペアＨのみに投票が行われ、得票数が２となる。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００６５
【補正方法】変更
【補正の内容】
【００６５】
変換パラメータ算出部２２は、ステップＳＴ５１〜ＳＴ５５の処理を予め設定された規定の回数だけ未だ実施していなければ、ステップＳＴ５１の処理に戻って、ステップＳＴ５１〜ＳＴ５５の処理を繰り返し実施する（ステップＳＴ５６）。
ここでは、ステップＳＴ５１で、４組の対応ペアをランダムに選択し、ステップＳＴ５６で、規定の回数だけ実施したか否かを判定して処理を収束させているが、例えば、高性能なＣＰＵを利用することが可能な場合などには、全ての対応ペアについて、ステップＳＴ５１〜ＳＴ５６に至る処理を実施し、空間距離の和が最小の対応ペアについて、射影変換パラメータを算出するようにしてもよい。
この実施の形態４において、４組の対応ペアをランダムに選択しているのは、膨大な計算が必要になるのを防ぐためである。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００７３
【補正方法】変更
【補正の内容】
【００７３】
画像マッチング部７では、クエリ画像全体の特徴量と参照画像全体の特徴量とを比較しているので、局所的な特徴量が偶然類似しているために、マッチングしていると誤判定してしまう状況化でも、正確にマッチングしているか否かを判定することができる。
【手続補正７】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
検索対象の画像であるクエリ画像内の特徴点の位置を抽出するとともに、該特徴点周辺の局所的な特徴量を抽出する画像特徴量抽出手段と、
参照画像内の特徴点の位置及び該特徴点周辺の局所的な特徴量を記録している特徴量記録手段と、
上記画像特徴量抽出手段により抽出された上記クエリ画像内の特徴点と上記特徴量記録手段に記録されている上記参照画像内の特徴点の中で、局所的な特徴量が対応している特徴点のペアを探索する特徴点ペア探索手段と、
上記特徴点ペア探索手段により探索された上記特徴点のペアを用いて、該特徴点ペア間の位置関係に基づいて画像変換に用いる変換パラメータを算出する変換パラメータ算出手段と、
上記変換パラメータ算出手段により算出された上記変換パラメータを用いて、上記画像特徴量抽出手段により抽出された上記クエリ画像内の特徴点の位置のみを変換し、上記位置変換後のクエリ画像内の特徴点の局所的な特徴量の位置と上記参照画像内の特徴点の局所的な特徴量の位置とを比較することで、上記クエリ画像と上記参照画像のマッチング判定を行うマッチング判定手段と
を備えた画像検索装置。
【請求項２】
上記特徴点ペア探索手段は、上記クエリ画像内の特徴点周辺の局所的な特徴量と、上記参照画像内の特徴点周辺の局所的な特徴量との距離の統計量を用いて閾値を設定し、局所的な特徴量が対応している特徴点のペアとして、上記距離が上記閾値より小さい特徴点のペアを探索することを特徴とする請求項１記載の画像検索装置。
【請求項３】
検索対象の画像であるクエリ画像内の特徴点の位置を抽出するとともに、該特徴点周辺の局所的な特徴量を抽出する画像特徴量抽出手段と、
参照画像内の特徴点の位置及び該特徴点周辺の局所的な特徴量を記録している特徴量記録手段と、
上記画像特徴量抽出手段により抽出された上記クエリ画像内の特徴点と上記特徴量記録手段に記録されている上記参照画像内の特徴点の中で、局所的な特徴量が対応している特徴点のペアを探索する特徴点ペア探索手段と、
上記特徴点ペア探索手段により探索された上記特徴点のペアを用いて、該特徴点ペア間の位置関係に基づいて画像変換に用いる変換パラメータを算出する変換パラメータ算出手段と、
上記変換パラメータ算出手段により算出された上記変換パラメータを用いて、上記参照画像を画像変換せずに上記クエリ画像の画像変換を行う画像変換手段と
を備えた画像処理装置。
【請求項４】
上記変換パラメータ算出手段は、上記特徴点ペア探索手段により探索された上記特徴点のペアの中から、任意の特徴点のペアを選択する処理と、該特徴点のペアを用いて、該特徴点ペア間の位置関係に基づいて画像変換に用いる変換パラメータを算出し、該変換パラメータを用いて、上記クエリ画像内の特徴点の位置を変換する処理とを繰り返し、上記任意の特徴点のペアを用いて算出した１以上の上記変換パラメータの中で、上記位置変換後のクエリ画像内の特徴点の局所的な特徴量と上記参照画像内の特徴点の局所的な特徴量との対応関係が最も高い変換パラメータを選択して、選択した上記変換パラメータを上記画像変換手段に出力することを特徴とする請求項３記載の画像処理装置。
【請求項５】
検索対象の画像であるクエリ画像内の特徴点の位置を抽出するとともに、該特徴点周辺の局所的な特徴量を抽出する画像特徴量抽出手段と、
参照画像内の特徴点の位置、該特徴点周辺の局所的な特徴量及び上記参照画像全体の特徴量を記録している特徴量記録手段と、
上記画像特徴量抽出手段により抽出された上記クエリ画像内の特徴点と上記特徴量記録手段に記録されている上記参照画像内の特徴点の中で、局所的な特徴量が対応している特徴点のペアを探索する特徴点ペア探索手段と、
上記特徴点ペア探索手段により探索された上記特徴点のペアを用いて、該特徴点ペア間の位置関係に基づいて画像変換に用いる変換パラメータを算出する変換パラメータ算出手段と、
上記変換パラメータ算出手段により算出された上記変換パラメータを用いて、上記参照画像を画像変換せずに上記クエリ画像の画像変換を行う画像変換手段と、
上記画像変換手段による上記画像変換後のクエリ画像全体の特徴量を抽出し、上記画像変換後のクエリ画像全体の特徴量と上記特徴量記録手段に記録されている上記参照画像全体の特徴量とを比較することで、上記画像変換後のクエリ画像と上記参照画像とのマッチング判定を行うマッチング判定手段と
を備えた画像検索装置。
【請求項６】
上記変換パラメータ算出手段は、上記特徴点ペア探索手段により探索された上記特徴点のペアの中から、任意の特徴点のペアを選択する処理と、該特徴点のペアを用いて、該特徴点ペア間の位置関係に基づいて画像変換に用いる変換パラメータを算出し、該変換パラメータを用いて、上記クエリ画像内の特徴点の位置を変換する処理とを繰り返し、上記任意の特徴点のペアを用いて算出した１以上の上記変換パラメータの中で、上記位置変換後のクエリ画像内の特徴点の局所的な特徴量と上記参照画像内の特徴点の局所的な特徴量との対応関係が最も高い変換パラメータを選択して、選択した上記変換パラメータを上記画像変換手段に出力することを特徴とする請求項５記載の画像検索装置。
【請求項７】
上記クエリ画像及び上記参照画像内の特徴点と該特徴点周辺の局所的な特徴量が、Ｉｍａｇｅ  Ｓｉｇｎａｔｕｒｅであることを特徴とする請求項１または請求項２記載の画像検索装置。
【請求項８】
上記クエリ画像及び上記参照画像内の特徴点と該特徴点周辺の局所的な特徴量が、Ｉｍａｇｅ  Ｓｉｇｎａｔｕｒｅであることを特徴とする請求項５または請求項６記載の画像検索装置。
【請求項９】
上記クエリ画像及び上記参照画像内の特徴点と該特徴点周辺の局所的な特徴量が、Ｉｍａｇｅ  Ｓｉｇｎａｔｕｒｅであることを特徴とする請求項３または請求項４記載の画像処理装置。
【請求項１０】
画像特徴量抽出手段が検索対象の画像であるクエリ画像内の特徴点の位置を抽出するとともに、該特徴点周辺の局所的な特徴量を抽出する画像特徴量抽出処理ステップと、
特徴点ペア探索手段が上記画像特徴量抽出処理ステップで抽出された上記クエリ画像内の特徴点と予め記録されている参照画像内の特徴点の中で、局所的な特徴量が対応している特徴点のペアを探索する特徴点ペア探索処理ステップと、
変換パラメータ算出手段が上記特徴点ペア探索処理ステップで探索された上記特徴点のペアを用いて、該特徴点ペア間の位置関係に基づいて画像変換に用いる変換パラメータを算出する変換パラメータ算出処理ステップと、
マッチング判定手段が上記変換パラメータ算出処理ステップで算出された上記変換パラメータを用いて、上記画像特徴量抽出処理ステップで抽出された上記クエリ画像内の特徴点の位置のみを変換し、上記位置変換後のクエリ画像内の特徴点の局所的な特徴量の位置と上記参照画像内の特徴点の局所的な特徴量の位置とを比較することで、上記クエリ画像と上記参照画像のマッチング判定を行うマッチング判定処理ステップと
を備えた画像検索方法。
【請求項１１】
画像特徴量抽出手段が検索対象の画像であるクエリ画像内の特徴点の位置を抽出するとともに、該特徴点周辺の局所的な特徴量を抽出する画像特徴量抽出処理ステップと、
特徴点ペア探索手段が上記画像特徴量抽出処理ステップで抽出された上記クエリ画像内の特徴点と予め記録されている参照画像内の特徴点の中で、局所的な特徴量が対応している特徴点のペアを探索する特徴点ペア探索処理ステップと、
変換パラメータ算出手段が上記特徴点ペア探索処理ステップで探索された上記特徴点のペアを用いて、該特徴点ペア間の位置関係に基づいて画像変換に用いる変換パラメータを算出する変換パラメータ算出処理ステップと、
画像変換手段が上記変換パラメータ算出処理ステップで算出された上記変換パラメータを用いて、上記参照画像を画像変換せずに上記クエリ画像の画像変換を行う画像変換処理ステップと
を備えた画像処理方法。
【請求項１２】
画像特徴量抽出手段が検索対象の画像であるクエリ画像内の特徴点の位置を抽出するとともに、該特徴点周辺の局所的な特徴量を抽出する画像特徴量抽出処理ステップと、
特徴点ペア探索手段が上記画像特徴量抽出処理ステップで抽出された上記クエリ画像内の特徴点と予め記録されている参照画像内の特徴点の中で、局所的な特徴量が対応している特徴点のペアを探索する特徴点ペア探索処理ステップと、
変換パラメータ算出手段が上記特徴点ペア探索処理ステップで探索された上記特徴点のペアを用いて、該特徴点ペア間の位置関係に基づいて画像変換に用いる変換パラメータを算出する変換パラメータ算出処理ステップと、
画像変換手段が上記変換パラメータ算出処理ステップで算出された上記変換パラメータを用いて、上記参照画像を画像変換せずに上記クエリ画像の画像変換を行う画像変換処理ステップと、
マッチング判定手段が上記画像変換処理ステップによる上記画像変換後のクエリ画像全体の特徴量を抽出し、上記画像変換後のクエリ画像全体の特徴量と予め記録されている上記参照画像全体の特徴量とを比較することで、上記画像変換後のクエリ画像と上記参照画像とのマッチング判定を行うマッチング判定処理ステップと
を備えた画像検索方法。
【手続補正書】
【提出日】平成26年4月16日(2014.4.16)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
この発明に係る画像検索装置は、検索対象の画像であるクエリ画像内の特徴点の位置を抽出するとともに、その特徴点周辺の局所的な特徴量を抽出する画像特徴量抽出手段と、参照画像内の特徴点の位置及び特徴点周辺の局所的な特徴量を記録している特徴量記録手段と、画像特徴量抽出手段により抽出されたクエリ画像内の特徴点と特徴量記録手段に記録されている参照画像内の特徴点の中で、局所的な特徴量が対応している特徴点のペアを探索する特徴点ペア探索手段と、特徴点ペア探索手段により探索された特徴点のペアを用いて、特徴点ペア間の位置関係に基づいて画像変換に用いる変換パラメータを算出する変換パラメータ算出手段とを設け、マッチング判定手段が、変換パラメータ算出手段により算出された変換パラメータを用いて画像特徴量抽出手段により抽出されたクエリ画像内のみの特徴点の位置を変換し、位置変換後のクエリ画像内の特徴点の局所的な特徴量及び位置と参照画像内の特徴点の局所的な特徴量及び位置とを比較して算出した局所特徴量間の特徴量間距離及び特徴点間の空間距離が共に閾値を下回る特徴点のペアの数を用いて、クエリ画像と参照画像のマッチング判定を行うようにしたものである。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
この発明によれば、検索対象の画像であるクエリ画像内の特徴点の位置を抽出するとともに、その特徴点周辺の局所的な特徴量を抽出する画像特徴量抽出手段と、参照画像内の特徴点の位置及び特徴点周辺の局所的な特徴量を記録している特徴量記録手段と、画像特徴量抽出手段により抽出されたクエリ画像内の特徴点と特徴量記録手段に記録されている参照画像内の特徴点の中で、局所的な特徴量が対応している特徴点のペアを探索する特徴点ペア探索手段と、特徴点ペア探索手段により探索された特徴点のペアを用いて、特徴点ペア間の位置関係に基づいて画像変換に用いる変換パラメータを算出する変換パラメータ算出手段とを設け、マッチング判定手段が、変換パラメータ算出手段により算出された変換パラメータを用いて画像特徴量抽出手段により抽出されたクエリ画像内のみの特徴点の位置を変換し、位置変換後のクエリ画像内の特徴点の局所的な特徴量及び位置と参照画像内の特徴点の局所的な特徴量及び位置とを比較して算出した局所特徴量間の特徴量間距離及び特徴点間の空間距離が共に閾値を下回る特徴点のペアの数を用いて、クエリ画像と参照画像のマッチング判定を行うように構成したので、余分な領域の写り込みや歪み等があるクエリ画像であっても、そのクエリ画像と類似している画像を正確に検索することができる効果がある。
【手続補正３】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
検索対象の画像であるクエリ画像内の特徴点の位置を抽出するとともに、該特徴点周辺の局所的な特徴量を抽出する画像特徴量抽出手段と、
参照画像内の特徴点の位置及び該特徴点周辺の局所的な特徴量を記録している特徴量記録手段と、
上記画像特徴量抽出手段により抽出された上記クエリ画像内の特徴点と上記特徴量記録手段に記録されている上記参照画像内の特徴点の中で、局所的な特徴量が対応している特徴点のペアを探索する特徴点ペア探索手段と、
上記特徴点ペア探索手段により探索された上記特徴点のペアを用いて、該特徴点ペア間の位置関係に基づいて画像変換に用いる変換パラメータを算出する変換パラメータ算出手段と、
上記変換パラメータ算出手段により算出された上記変換パラメータを用いて上記画像特徴量抽出手段により抽出された上記クエリ画像内のみの特徴点の位置を変換し、上記位置変換後のクエリ画像内の特徴点の局所的な特徴量及び位置と上記参照画像内の特徴点の局所的な特徴量及び位置とを比較して算出した局所特徴量間の特徴量間距離及び特徴点間の空間距離が共に閾値を下回る特徴点のペアの数を用いて、上記クエリ画像と上記参照画像のマッチング判定を行うマッチング判定手段と
を備えた画像検索装置。
【請求項２】
上記特徴点ペア探索手段は、上記クエリ画像内の特徴点周辺の局所的な特徴量と、上記参照画像内の特徴点周辺の局所的な特徴量との距離の統計量を用いて閾値を設定し、局所的な特徴量が対応している特徴点のペアとして、上記距離が上記閾値より小さい特徴点のペアを探索することを特徴とする請求項１記載の画像検索装置。
【請求項３】
上記クエリ画像及び上記参照画像内の特徴点と該特徴点周辺の局所的な特徴量が、Ｉｍａｇｅ  Ｓｉｇｎａｔｕｒｅであることを特徴とする請求項１または請求項２記載の画像検索装置。
【請求項４】
画像特徴量抽出手段が検索対象の画像であるクエリ画像内の特徴点の位置を抽出するとともに、該特徴点周辺の局所的な特徴量を抽出する画像特徴量抽出処理ステップと、
特徴点ペア探索手段が上記画像特徴量抽出処理ステップで抽出された上記クエリ画像内の特徴点と予め記録されている参照画像内の特徴点の中で、局所的な特徴量が対応している特徴点のペアを探索する特徴点ペア探索処理ステップと、
変換パラメータ算出手段が上記特徴点ペア探索処理ステップで探索された上記特徴点のペアを用いて、該特徴点ペア間の位置関係に基づいて画像変換に用いる変換パラメータを算出する変換パラメータ算出処理ステップと、
マッチング判定手段が上記変換パラメータ算出処理ステップで算出された上記変換パラメータを用いて上記画像特徴量抽出処理ステップで抽出された上記クエリ画像内のみの特徴点の位置を変換し、上記位置変換後のクエリ画像内の特徴点の局所的な特徴量及び位置と上記参照画像内の特徴点の局所的な特徴量及び位置とを比較して算出した局所特徴量間の特徴量間距離及び特徴点間の空間距離が共に閾値を下回る特徴点のペアの数を用いて、上記クエリ画像と上記参照画像のマッチング判定を行うマッチング判定処理ステップと
を備えた画像検索方法。
【国際調査報告】
2012102018.tif 000020
2012102018.tif 000021