(57)【特許請求の範囲】
【請求項１】
クエリ画像取得部と特徴抽出部と特徴重要度算出部と検索部とを含む、画像検索装置における、画像検索方法であって、
前記特徴抽出部は、複数の学習用画像から幾何学的な特徴の各々を抽出し、前記複数の学習用画像の各々について、抽出された特徴の各々の数を予め定められた順番で並べた特徴ベクトルを、該学習用画像の特徴ベクトルとして作成し、
前記特徴重要度算出部は、前記特徴の各々について、全特徴が抽出された総数を前記特徴が抽出された数で割った値の対数をとった値であるＩＴＦＦ（Inverse Total Feature Frequency）を前記特徴の重みとして算出し、
前記クエリ画像取得部が、クエリとなるクエリ画像を取得し、
前記特徴抽出部が、前記クエリ画像から特徴の各々を抽出し、前記クエリ画像の特徴ベクトルを作成し、
前記検索部は、前記学習用画像の各々について、該学習用画像の特徴ベクトルと、取得した前記クエリ画像の特徴ベクトルとに基づいて、前記学習用画像の特徴ベクトルと前記クエリ画像の特徴ベクトルとの要素毎の差に、前記特徴の重みを掛け合わせた結果を、前記学習用画像と前記クエリ画像との特徴ベクトル間の距離として算出し、算出された特徴ベクトル間の距離に基づいて、前記複数の学習用画像から、前記クエリ画像に類似する画像を検索する
ことを特徴とする画像検索方法。
【請求項２】
前記特徴重要度算出部により特徴の重みを算出することは、前記ＩＴＦＦの値が予め定められた閾値未満である場合には、前記特徴の重みを０とし、前記ＩＴＦＦの値が前記閾値以上である場合には、前記特徴の重みを前記ＩＴＦＦの値とする請求項１記載の画像検索方法。
【請求項３】
クエリとなるクエリ画像を取得するクエリ画像取得部と、
複数の学習用画像から幾何学的な特徴の各々を抽出し、前記複数の学習用画像の各々について、抽出された特徴の各々の数を予め定められた順番で並べた特徴ベクトルを、該学習用画像の特徴ベクトルとして作成し、前記クエリ画像から特徴の各々を抽出し、前記クエリ画像の特徴ベクトルを作成する特徴抽出部と、
前記特徴の各々について、全特徴が抽出された総数を前記特徴が抽出された数で割った値の対数をとった値であるＩＴＦＦ（Inverse Total Feature Frequency）を前記特徴の重みとして算出する特徴重要度算出部と、
前記学習用画像の各々について、該学習用画像の特徴ベクトルと、取得した前記クエリ画像の特徴ベクトルとに基づいて、前記学習用画像の特徴ベクトルと前記クエリ画像の特徴ベクトルとの要素毎の差に、前記特徴の重みを掛け合わせた結果を、前記学習用画像と前記クエリ画像との特徴ベクトル間の距離として算出し、算出された特徴ベクトル間の距離に基づいて、前記複数の学習用画像から、前記クエリ画像に類似する画像を検索する検索部と、
を含む画像検索装置。
【請求項４】
前記特徴重要度算出部は、前記ＩＴＦＦの値が予め定められた閾値未満である場合には、前記特徴の重みを０とし、前記ＩＴＦＦの値が前記閾値以上である場合には、前記特徴の重みを前記ＩＴＦＦの値とする請求項３記載の画像検索装置。
【請求項５】
コンピュータを、請求項３又は４に記載の画像検索装置の各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、抽出された特徴の重要度を算出するための重要度算出装置、方法、及びプログラムに関するものである。
【背景技術】
【０００２】
従来、IDF（Inverse Document Frequency）と呼ばれる重み算出方法がよく用いられる。IDFは事前に取得された対象（画像や文書など）から特徴を抽出し、各特徴が含まれる対象の数（画像であれば事前に取得された画像郡の中で着目特徴を含む画像数、文書であれば着目単語を含む文書数）を算出する。k番目の特徴のIDFであるidf(vk)は、全体の数量Nを算出した数dkで除算しlogをとった下記（１）式で求まる値として算出される。ここで、dkは、対象となるｋ番目の特徴を含んでいる対象の数である。
【０００３】
【数１】
0006427480.tif 000002
【０００４】
idf(vk)の値により、より少ない対象にしか含まれない特徴（dkが小さい特徴）にはより大きな重みが、より多くの対象に含まれる特徴には小さい重みが与えられることになる。idf(vk)の値を類似値の算出に反映させることにより、少ない出現頻度の特徴同士が比較対象間に存在していれば、類似値がより大きくなり類似していると判定されやすく、逆に多くの画像から抽出されやすく、出現頻度が高い特徴同士に対しては小さい重みが与えられるため、類似値への影響は小さくなる。そのため、何も重みを与えない場合と比較し、より精度の高い類似性の比較が可能となる。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Sivic, J., Zisserman, A.: Video google: A text retrieval approach to object matching in videos. In: International Conference on Computer Vision. pp. 1470-1477 (2003)
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、対象となる画像から非常に多くの特徴を抽出したり、一つの文章が非常に多くの特徴となる単語を含んでいたりする場合、各特徴が含まれる画像や文章の数が増加することでIDFの値は0に近づき、また特徴間の差が小さくなることで、精度の高い類似性の判定が出来なくなるという問題がある。
【０００７】
また、IDFは同じ対象から着目特徴が一つだけ抽出されても、複数抽出されても、当該対象に着目特徴が含まれるという情報は同じであり、dkは変わらないため、IDFの値も変わらず、幾つ抽出されても影響がない。しかし、一つだけ抽出されたか、複数抽出されたかの違いは、対象間の類似性に関係がある為、IDFのこのような性質は好ましくないという問題もある。
【０００８】
また、IDFが0に近くなって重要度が小さくなった特徴が非常に多く抽出された場合、類似値が多数積算されることにより、より類似していると誤検出される可能性が増加したり、類似値の計算処理回数が増えて、処理時間や必要メモリ量が増大したりするという問題がある。
【０００９】
本発明では、上記問題点を解決するために成されたものであり、抽出される特徴数が多くても、適切な重みを算出することができる重要度算出装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、第１の発明に係る重要度算出方法は、特徴抽出部と特徴重要度算出部とを含む、重要度算出装置における、重要度算出方法であって、前記特徴抽出部は、複数の学習用データから特徴の各々を抽出し、前記特徴重要度算出部は、前記特徴の各々について、全特徴が抽出された総数を前記特徴が抽出された数で割った値の対数をとった値であるＩＴＦＦ（Inverse Total Feature Frequency）を前記特徴の重みとして算出する。
【００１１】
第２の発明に係る重要度算出装置は、複数の学習用データから特徴の各々を抽出する特徴抽出部と、前記特徴の各々について、全特徴が抽出された総数を前記特徴が抽出された数で割った値の対数をとった値であるＩＴＦＦ（Inverse Total Feature Frequency）を前記特徴の重みとして算出する特徴重要度算出部と、を含んで構成される。
【００１２】
第１及び第２の発明によれば、特徴抽出部により、複数の学習用データから特徴の各々を抽出し、特徴重要度算出部により、特徴の各々について、全特徴が抽出された総数を特徴が抽出された数で割った値の対数をとった値であるＩＴＦＦ（Inverse Total Feature Frequency）を特徴の重みとして算出する。
【００１３】
このように、複数の学習用データから特徴の各々を抽出し、特徴の各々について、全特徴が抽出された総数を特徴が抽出された数で割った値の対数をとった値であるＩＴＦＦを特徴の重みとして算出することにより、抽出される特徴数が多くても、適切な重みを算出することができる。
【００１４】
また、第１及び第２の発明において、前記特徴重要度算出部により特徴の重みを算出することは、前記ＩＴＦＦの値が予め定められた閾値未満である場合には、前記特徴の重みを０とし、前記ＩＴＦＦの値が前記閾値以上である場合には、前記特徴の重みを前記ＩＴＦＦの値としてもよい。
【００１５】
また、第１及び第２の発明において、前記特徴抽出部により特徴を抽出することは、更にクエリデータから特徴の各々を抽出し、前記学習用データ毎の特徴の各々と、前記クエリデータの特徴の各々と、前記特徴毎の重みとに基づいて、前記複数の学習用データから、前記クエリデータに類似する学習用データを検索する検索部を更に含んでもよい。
【００１６】
また、本発明のプログラムは、コンピュータを、上記の重要度算出装置を構成する各部として機能させるためのプログラムである。
【発明の効果】
【００１７】
以上説明したように、本発明の重要度算出装置、方法、及びプログラムによれば、複数の学習用データから特徴の各々を抽出し、特徴の各々について、全特徴が抽出された総数を特徴が抽出された数で割った値の対数をとった値であるＩＴＦＦを特徴の重みとして算出することにより、抽出される特徴数が多くても、適切な重みを算出することができる。
【００１８】
また、閾値処理により重要ではない特徴の重みを０とすることにより、誤検出の可能性を低下させたり、類似値の計算処理量や必要なメモリ量を削減したりすることが可能となる。
【図面の簡単な説明】
【００１９】
【図１】第１の実施形態に係る重要度算出装置の機能的構成を示すブロック図である。
【図２】第１の実施形態に係る重要度算出装置における重み学習処理ルーチンを示すフローチャートである。
【図３】第１の実施形態に係る重要度算出装置における検索処理ルーチンを示すフローチャートである。
【図４】第２の実施形態に係る重要度算出装置の機能的構成を示すブロック図である。
【図５】第２の実施形態に係る重要度算出装置における重み学習処理ルーチンを示すフローチャートである。
【図６】実験結果の例を示す図である。
【発明を実施するための形態】
【００２０】
以下、図面を参照して本発明の実施形態を詳細に説明する。
【００２１】
＜本発明の実施形態の概要＞
まず、本実施形態の概要について説明する。
【００２２】
本実施形態において用いる重みを算出する方法は、抽出する特徴数が多かったり、一つの対象が非常に多くの特徴を含んでいたりする場合においても、より適切な特徴の重みを算出することができる。
【００２３】
本実施形態において用いる重みを算出する方法は、着目特徴を含んでいる対象の数ではなく、抽出された特徴の数を利用することで、抽出特徴数が多くても、特徴間の差を反映したり、重みが０に近づいたりしないようにする。
【００２４】
具体的には、ｋ番目の特徴がｎ番目の対象から抽出された数fknとすると、ｋ番目の特徴に対する重みitffkは、下記（２）式に従って算出される。
【００２５】
【数２】
0006427480.tif 000003
【００２６】
ここで、ITFF（Inverse Total Feature Frequency）は、全ての特徴抽出数に対する、着目特徴の抽出数の比率に基づいているため、全ての対象から抽出されたとしても重みは０にはならない。また、特徴抽出数に基づくため、ある対象から１つだけ抽出された場合と、複数抽出された場合では、異なる値が算出され、より特徴間の差を強調する値となる。
【００２７】
なお、IDFkについては、上述の（１）式に従って算出することができる。
【００２８】
＜第１の実施形態に係る重要度算出装置の構成＞
次に、第１の実施形態に係る重要度算出装置の構成について説明する。図１に示すように、第１の実施形態に係る重要度算出装置１００は、ＣＰＵと、ＲＡＭと、後述する各種処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この重要度算出装置１００は、機能的には図１に示すように入力部１０と、演算部２０と、出力部９０とを含んで構成されている。
【００２９】
入力部１０は、特徴の各々、及び当該特徴の重みを学習するための学習用データである学習用画像の各々を受け付ける。また、入力部１０は、クエリとしてクエリデータである画像（以後、クエリ画像）を受け付ける。
【００３０】
演算部２０は、記憶部２２と、特徴抽出部２４と、特徴重要度算出部２６と、検索部２８とを含んで構成されている。
【００３１】
記憶部２２には、入力部１０において受け付けた学習用画像の各々が記憶されている。なお、後述の特徴抽出部２４の処理後においては、記憶されている学習用画像の各々に、当該学習用画像の特徴ベクトルが紐付けられて記憶されている。また、記憶部２２には、後述の特徴重要度算出部２６の処理後においては、各特徴の重要度が記憶されている。
【００３２】
特徴抽出部２４は、記憶部２２に記憶されている学習用画像の各々について、当該学習用画像から特徴の各々を抽出する。また、特徴抽出部２４は、学習用画像の各々について、当該学習用画像から抽出された特徴の各々の数を、予め定められた順番に並べた特徴ベクトルを、当該学習用画像の特徴ベクトルとして作成し、記憶部２２に記憶する。なお、第１の実施形態においては、特徴を抽出する対象が画像であることから、特徴抽出部２４は、対象となる画像から色や幾何学的な情報を特徴として抽出する。
【００３３】
また、特徴抽出部２４は、入力部１０において受け付けたクエリ画像からも同様に特徴の各々を抽出し、当該クエリ画像の特徴ベクトルを作成する。なお、特徴抽出部２４において抽出される特徴は幾何学的な情報を取得することが出来ればどのような手法を用いてもよい。また、各特徴は、ベクトルとして取得される。
【００３４】
特徴重要度算出部２６は、特徴抽出部２４において取得した学習用画像毎の特徴の各々に基づいて、上記（２）式に従って、各特徴の重みとして、ＩＴＦＦを算出する。また、特徴重要度算出部２６は、取得した各特徴の重みを記憶部２２に記憶する。
【００３５】
検索部２８は、特徴抽出部２４において取得したクエリ画像の特徴ベクトルと、記憶部２２に記憶されている各特徴の重みと、記憶部２２に記憶されている学習用画像毎の特徴ベクトルとに基づいて、クエリ画像に類似する学習用画像を類似画像として検索し、出力部９０から出力する。
【００３６】
具体的には、検索部２８は、学習用画像の各々について、当該学習用画像の特徴ベクトルと、取得したクエリ画像の特徴ベクトルとに基づいて、学習用画像の特徴ベクトルとクエリ画像の特徴ベクトルとの要素毎の差に、各特徴の重みを掛け合わせた結果を、学習用画像とクエリ画像との特徴ベクトル間の距離として算出する。そして、検索部２８は、算出された特徴ベクトル間の距離の各々に基づいて、当該ベクトル間の距離が予め定められた閾値以下である学習用画像を類似画像として取得し、出力部９０から出力する。
【００３７】
＜第１の実施形態に係る重要度算出装置の作用＞
次に、第１の実施形態に係る重要度算出装置１００の作用について説明する。重要度算出装置１００は、入力部１０によって、学習用画像の各々を受け付け記憶部２２に記憶すると、重要度算出装置１００によって、図２に示す重み学習処理ルーチンが実行される。また、重要度算出装置１００は、入力部１０によって、クエリ画像を受け付けると、重要度算出装置１００によって、図３に示す検索処理ルーチンが実行される。
【００３８】
まず、図２に示す重み学習処理ルーチンについて説明する。
【００３９】
図２に示す重み学習処理のステップＳ１００で、記憶部２２に記憶されている学習用画像の各々を読み込む。
【００４０】
次に、ステップＳ１０２で、ステップＳ１００において取得した学習用画像毎に、当該学習用画像の特徴の各々を抽出し、当該抽出された特徴の各々に基づいて、当該学習用画像の特徴ベクトルを作成し、記憶部２２に記憶する。
【００４１】
次に、ステップＳ１０４で、ステップＳ１０２において取得した学習用画像毎の特徴の各々に基づいて、上記（２）式に従って、各特徴の重みとしてＩＴＦＦを算出する。
【００４２】
次に、ステップＳ１０６で、ステップＳ１０４において取得した各特徴の重みの各々を記憶部２２に記憶し、重み学習処理ルーチンを終了する。
【００４３】
次に、図３に示す検索処理ルーチンについて説明する。
【００４４】
図３に示す検索処理のステップＳ１２０で、記憶部２２に記憶されている特徴ベクトルが紐付けられている学習用画像の各々と、各特徴の重みとを読み込む。
【００４５】
次に、ステップＳ１２２で、入力部１０において受け付けたクエリ画像から特徴の各々を抽出する。
【００４６】
次に、ステップＳ１２４で、ステップＳ１２２において取得したクエリ画像の特徴の各々に基づいて、当該クエリ画像の特徴ベクトルを作成する。
【００４７】
次に、ステップＳ１２６で、ステップＳ１２４において取得したクエリ画像の特徴ベクトルと、ステップＳ１２０において取得した各学習用画像の特徴ベクトルと、ステップＳ１２０において取得した各特徴の重みと、予め定められたベクトル間の距離の閾値とに基づいて、クエリ画像に類似する画像を検索する。
【００４８】
次に、ステップＳ１２８で、ステップＳ１２６において取得したクエリ画像に類似する画像を出力部９０から出力して、検索処理ルーチンを終了する。
【００４９】
以上説明したように、第１の実施形態に係る重要度算出装置によれば、複数の学習用データから特徴の各々を抽出し、特徴の各々について、全特徴が抽出された総数を特徴が抽出された数で割った値の対数をとった値であるＩＴＦＦを特徴の重みとして算出することにより、抽出される特徴数が多くても、適切な重みを算出することができる。
【００５０】
また、処理対象となる画像や文書などから特徴を抽出し、抽出された特徴同士を比較することにより対象間の類似性を評価することで、類似画像検索や類似文書検索などを実現する処理において、抽出された特徴の重要度を表す重みの算出処理を行うことができる。
【００５１】
また、類似性を表す類似値や距離値を算出する際に、各特徴の重要度となる重みを反映させることで、より精度が高い類似性の評価が可能となる。
【００５２】
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００５３】
次に、第２の実施形態について説明する。
【００５４】
第２の実施形態については、特定の条件を満たす特徴の重みを０にする点が、第１の実施形態と主に異なる。なお、第１の実施形態に係る重要度算出装置１００と同様の構成、及び作用については、同一の符号を付すことにより説明を省略する。
【００５５】
＜第２の実施形態に係る重要度算出装置の構成＞
第２の実施形態に係る重要度算出装置の構成について説明する。図４に示すように、第２の実施形態に係る重要度算出装置２００は、ＣＰＵと、ＲＡＭと、後述する各種処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この重要度算出装置２００は、機能的には図４に示すように入力部１０と、演算部２２０と、出力部９０とを含んで構成されている。
【００５６】
演算部２２０は、記憶部２２２と、特徴抽出部２４と、特徴重要度算出部２２６と、検索部２８とを含んで構成されている。
【００５７】
記憶部２２２には、入力部１０において受け付けた学習用画像の各々が記憶されている。なお、後述の特徴抽出部２４の処理後においては、記憶されている学習用画像の各々に、当該学習用画像の特徴ベクトルが紐付けられて記憶されている。また、記憶部２２２には、後述の特徴重要度算出部２２６の処理後においては、各特徴の重要度が記憶されている。
【００５８】
特徴重要度算出部２２６は、特徴重要度算出部２２６は、特徴抽出部２４において取得した学習用画像毎の特徴の各々に基づいて、上記（２）式に従って、各特徴のＩＴＦＦを算出する。そして、各特徴について、ＩＴＦＦの値が予め定められた閾値（例えば、１）未満である場合には、当該特徴の重みを０とする。なお、ＩＴＦＦの値が閾値以上である場合には、ＩＴＦＦの値を、当該特徴の重みとする。また、当該閾値は、予め実験により適切な値を定めておくものとする。
【００５９】
また、特徴重要度算出部２２６は、取得した各特徴の重みを記憶部２２２に記憶する。
【００６０】
なお、重要度算出装置２００の他の構成は、第１の実施形態に係る重要度算出装置１００と同様のため、説明は省略する。
【００６１】
＜第２の実施形態に係る重要度算出装置の作用＞
次に、第２の実施形態に係る重要度算出装置２００の作用について説明する。重要度算出装置２００は、入力部１０によって、学習用画像の各々を受け付け記憶部２２２に記憶すると、重要度算出装置２００によって、図５に示す重み学習処理ルーチンが実行される。また、重要度算出装置２００は、入力部１０によって、クエリ画像を受け付けると、重要度算出装置２００によって、図３に示す検索処理ルーチンが実行される。
【００６２】
図５に示す重み学習処理のステップＳ２０４で、ステップＳ１０２において取得した学習用画像毎の特徴の各々に基づいて、上記（２）式に従って、各特徴のＩＴＦＦ値を算出し、当該ＩＴＦＦの値と、予め定められた閾値とに基づいて、重みを算出する。
【００６３】
なお、重要度算出装置２００の他の作用については、第１の実施形態に係る重要度算出装置１００の作用と同一であるため、説明を省略する。
【００６４】
＜実験例＞
第１の実施形態に係る重要度算出装置１００、及び第２の実施形態に係る重要度算出装置２００を用いて、１００枚の検索クエリ画像に対し、類似している３１４枚及び異なる５０００枚の計５３１４枚の画像からどれだけ類似した画像が検出できるのかの評価実験結果を図６に示す。各数値は上位Ｍ個に類似した画像が含まれている割合を示す。
【００６５】
図６の結果から、ＩＴＦＦを用いた結果の方が、従来のＩＤＦを用いた結果よりも検索精度が高いということがいえる。更に、閾値処理をしたＩＴＦＦ（Thresholded ITFF）を用いた結果の方が、ＩＴＦＦをそのまま用いた結果よりも検索精度が高いということがいえる。また、ＩＤＦに限らず、着目特徴が対象に含まれているか否かのみの情報dkを用いる、ＢＭ２５などの異なる重み計算法においても、着目特徴の抽出特徴数fknを用いる方法を適用することが可能である。
【００６６】
以上のことより、第２の実施形態に係る重要度算出装置は、検索精度を向上させることができ、また、検索時間を短縮することができる。
【００６７】
また、閾値処理により重要ではない特徴の重みを０とすることにより、誤検出の可能性を低下させたり、類似値の計算処理量や必要なメモリ量を削減したりすることが可能となる。
【００６８】
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００６９】
例えば、第１及び第２の実施形態においては、対象を画像とする場合について説明する場合について説明したが、これに限定されるものではなく、例えば、対象は画像でなく、例えば、文章等の任意のものであってもよい。この場合、特徴抽出部において抽出される特徴は、対象に対応した特徴を抽出する。例えば、対象が文章である場合には、当該文書に含まれる単語等を特徴として抽出する。
【００７０】
また、第１及び第２の実施形態においては、類似度を特徴ベクトル間の距離に基づいて判断する場合について説明したが、これに限定されるものではない。例えば、任意の方法を用いてもよい。
【００７１】
また、第１及び第２の実施形態においては、学習用画像、及びクエリ画像について、特徴ベクトルを作成する場合について説明したが、これに限定されるものではない。例えば、任意の方法により各画像について特徴を表現してもよい。
【００７２】
また、第２の実施形態においては、ＩＴＦＦの値が閾値未満である特徴の重みを０として記憶し、当該特徴についても処理の対象とする場合について説明したがこれに限定されるものではない。例えば、ＩＴＦＦの値が閾値未満である特徴については、処理の対象としないようにしてもよい。そのため、当該場合、ＩＴＦＦの値が閾値未満である特徴については、学習用画像の各々、及びクエリ画像についての各処理において対象としないものとする。
【００７３】
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能であるし、ネットワークを介して提供することも可能である。
【符号の説明】
【００７４】
１０   入力部
２０   演算部
２２   記憶部
２４   特徴抽出部
２６   特徴重要度算出部
２８   検索部
９０   出力部
１００ 重要度算出装置
２００ 重要度算出装置
２２０ 演算部
２２２ 記憶部
２２６ 特徴重要度算出部
【図１】
0006427480.tif 000004
【図２】
0006427480.tif 000005
【図３】
0006427480.tif 000006
【図４】
0006427480.tif 000007
【図５】
0006427480.tif 000008
【図６】
0006427480.tif 000009