(57)【要約】【課題】情報検索の効率を改善する。【解決手段】本願に係る検索装置は、クエリ情報または検索対象となる情報から抽出された特徴量のうち、類似する情報の検索に有用ではない非有用特徴量を抽出する抽出部と、前記抽出部により抽出された非有用特徴量以外の特徴量を用いて、クエリ情報と類似する情報を検索する検索部とを有することを特徴とする。【選択図】図１
2019160000.tif 000002
【特許請求の範囲】
【請求項１】
クエリ情報または検索対象となる情報から抽出された特徴量のうち、類似する情報の検索に有用ではない非有用特徴量を抽出する抽出部と、
前記抽出部により抽出された非有用特徴量以外の特徴量を用いて、クエリ情報と類似する情報を検索する検索部と
を有することを特徴とする検索装置。
【請求項２】
前記抽出部は、検索対象となる情報から抽出された特徴量から前記非有用特徴量を抽出する
ことを特徴とする請求項１に記載の検索装置。
【請求項３】
前記抽出部は、前記検索対象となる情報から抽出された特徴量のうち、相互に類似する複数の特徴量を前記非有用特徴量として抽出する
ことを特徴とする請求項２に記載の検索装置。
【請求項４】
前記検索対象となる情報から抽出された特徴量と、複数の所定の特徴量とが類似するか否かを判定する判定部と、
前記検索対象となる情報から抽出された特徴量ごとに、前記所定の特徴量と類似する判定された回数を計数する計数部と
を有し、
前記抽出部は、前記計数部により計数された回数が所定の閾値を超える特徴量を前記非有用特徴量として抽出する
ことを特徴とする請求項２または３に記載の検索装置。
【請求項５】
前記判定部は、前記複数の所定の特徴量として、所定の数以上の特徴量であって、予め定められた手法により生成された特徴量と、前記検索対象となる情報から抽出された特徴量とが類似するか否かを判定する
ことを特徴とする請求項４に記載の検索装置。
【請求項６】
前記検索対象となる情報から、当該情報と類似する類似情報を生成する生成部
を有し、
前記判定部は、前記生成部により生成された類似情報から抽出された特徴量と、前記検索対象となる情報から抽出された特徴量とが類似するか否かを判定する
ことを特徴とする請求項４または５に記載の検索装置。
【請求項７】
前記判定部は、前記生成部により生成された類似情報から抽出された特徴量と、前記検索対象となる情報のうち、前記類似情報を生成した情報とは異なるカテゴリに属する情報から抽出された特徴量とが類似するか否かを判定する
ことを特徴とする請求項６に記載の検索装置。
【請求項８】
前記判定部は、複数の前記検索対象となる情報から抽出された特徴量同士が類似するか否かを判定する
ことを特徴とする請求項４〜７のうちいずれか１つに記載の検索装置。
【請求項９】
前記判定部は、前記所定の特徴量として、クエリ情報から抽出された特徴量と前記検索対象となる情報から抽出された特徴量とが類似するか否かを判定する
ことを特徴とする請求項４〜８のうちいずれか１つに記載の検索装置。
【請求項１０】
検索対象となる情報から抽出された特徴量が登録された記憶装置から、前記抽出部により抽出された非有用特徴量を削除する削除部
を有することを特徴とする請求項２〜９のうちいずれか１つに記載の検索装置。
【請求項１１】
前記抽出部は、クエリ情報または検索対象となる情報から抽出された特徴量から、所定の数以下の前記非有用特徴量を抽出する
ことを特徴とする請求項１〜１０のうちいずれか１つに記載の検索装置。
【請求項１２】
前記抽出部により抽出された非有用特徴量が有する特徴をモデルに学習させる学習部
を有することを特徴とする請求項１〜１１のうちいずれか１つに記載の検索装置。
【請求項１３】
前記抽出部は、前記学習部により学習されたモデルを用いて、前記クエリ情報から抽出された特徴量から前記非有用特徴量を抽出する
ことを特徴とする請求項１２に記載の検索装置。
【請求項１４】
前記抽出部は、前記学習部により学習されたモデルを用いて、前記検索対象となる情報から抽出された特徴量から前記非有用特徴量を抽出する
ことを特徴とする請求項１２または１３に記載の検索装置。
【請求項１５】
検索対象となる情報から抽出された特徴量と、複数の所定の特徴量とが類似するか否かを判定する判定部と、
前記検索対象となる情報から抽出された特徴量ごとに、所定の特徴量と類似すると判定された回数を計数する計数部と
を有し、
前記抽出部は、前記計数部により計数された回数が所定の第１閾値以上となる特徴量を第１非有用特徴量として抽出するとともに、前記計数部により計数された回数が前記第１閾値よりも大きい第２閾値以上となる特徴量を第２非有用特徴量として抽出し、
前記検索部は、前記第１非有用特徴量以外の特徴量を用いて、前記クエリ情報と類似する情報を検索し、
前記学習部は、前記第２非有用特徴量が有する特徴を前記モデルに学習させる
ことを特徴とする請求項１２〜１４のうちいずれか１つに記載の検索装置。
【請求項１６】
前記抽出部は、検索対象となる情報のうち、相互に異なるカテゴリに属する情報から抽出された特徴量同士の比較結果に基づいて、前記非有用特徴量を抽出する
ことを特徴とする請求項１〜１５のうちいずれか１つに記載の検索装置。
【請求項１７】
前記抽出部は、第１取引対象と関連する情報から抽出された特徴量と、当該第１取引対象とは異なる種別の第２取引対象と関連する情報から抽出された特徴量との比較結果に基づいて、前記非有用特徴量を抽出する
ことを特徴とする請求項１〜１６のうちいずれか１つに記載の検索装置。
【請求項１８】
前記抽出部は、クエリ画像、または、検索対象となる画像から抽出された特徴量のうち、類似する画像の検索に有用ではない非有用特徴量を抽出する
ことを特徴とする請求項１〜１７のうちいずれか１つに記載の検索装置。
【請求項１９】
検索装置が実行する検索方法であって、
クエリ情報または検索対象となる情報から抽出された特徴量のうち、類似する情報の検索に有用ではない非有用特徴量を抽出する抽出工程と、
前記抽出工程により抽出された非有用特徴量以外の特徴量を用いて、クエリ情報と類似する情報を検索する検索工程と
を含むことを特徴とする検索方法。
【請求項２０】
クエリ情報または検索対象となる情報から抽出された特徴量のうち、類似する情報の検索に有用ではない非有用特徴量を抽出する抽出手順と、
前記抽出手順により抽出された非有用特徴量以外の特徴量を用いて、クエリ情報と類似する情報を検索する検索手順と
をコンピュータに実行させるための検索プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、検索装置、検索方法および検索プログラムに関する。
【背景技術】
【０００２】
従来、検索クエリとなる情報が有する特徴量と、検索対象となる情報が有する特徴量とを比較することで、検索クエリと類似する情報を検索する技術が知られている。このような技術の一例として、検索クエリとなる画像から抽出した複数の局所的な特徴量と、検索対象となる画像が有する複数の特徴量との類似度に加え、特徴量を抽出した範囲の座標関係の類似度に基づいて、検索クエリとなる画像と類似する画像を検索する技術が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−１５７４４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来技術では、情報検索を効率的に行っているとは言えない場合がある。
【０００５】
例えば、検索対象となる複数の画像が、取引対象と背景とにより構成される場合がある。このような場合において、背景部分から抽出された特徴量同士を比較した結果を用いて、類似画像検索を行った場合には、異なる取引対象が撮像された画像同士を類似すると判定してしまう恐れがある。また、検索クエリや検索対象から抽出される特徴量の数が増大するに従い、情報検索に要する検索コストが増大してしまう。
【０００６】
本願は、上記に鑑みてなされたものであって、情報検索の効率を改善することを目的とする。
【課題を解決するための手段】
【０００７】
本願に係る検索装置は、クエリ情報または検索対象となる情報から抽出された特徴量のうち、類似する情報の検索に有用ではない非有用特徴量を抽出する抽出部と、前記抽出部により抽出された非有用特徴量以外の特徴量を用いて、クエリ情報と類似する情報を検索する検索部とを有することを特徴とする。
【発明の効果】
【０００８】
実施形態の一態様によれば、情報検索の効率を改善できる。
【図面の簡単な説明】
【０００９】
【図１】図１は、実施形態に係る情報提供装置が実行する検索処理の一例を示す図である。
【図２】図２は、実施形態に係る情報提供装置が類似画像を用いて頻出特徴量を抽出する処理の一例を示す図である。
【図３】図３は、実施形態に係る情報提供装置の構成例を示す図である。
【図４】図４は、実施形態に係る検索対象データベースに登録される情報の一例を示す図である。
【図５】図５は、実施形態に係る情報提供装置が実行する検索処理の流れの一例を示すフローチャートである。
【図６】図６は、ハードウェア構成の一例を示す図である。
【発明を実施するための形態】
【００１０】
以下に、本願に係る検索装置、検索方法および検索プログラムを実施するための形態（以下、「実施形態」と記載する。）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る検索装置、検索方法および検索プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略する。
【００１１】
[実施形態]
〔１−１．情報提供装置の一例について〕
まず、図１を用いて、検索装置の一例である情報提供装置が実行する検索処理の一例について説明する。図１は、実施形態に係る情報提供装置が実行する検索処理の一例を示す図である。
【００１２】
図１では、インターネット等の所定のネットワークＮ（例えば、図３参照）を介して、各利用者が使用する端末装置１００と情報提供装置１０は、相互に通信可能である。また、情報提供装置１０は、端末装置１００以外にも、各種の外部サーバと相互に通信可能であるものとする。また、情報提供装置１０は、任意の数の端末装置１００と通信可能であってもよい。
【００１３】
端末装置１００は、スマートフォンやタブレット等のスマートデバイスであり、３Ｇ（3rd  Generation）やＬＴＥ（Long  Term  Evolution）等の無線通信網を介して任意のサーバ装置と通信を行うことができる携帯端末装置である。なお、端末装置１００は、スマートデバイスのみならず、デスクトップＰＣ（Personal  Computer）やノートＰＣ等の情報処理装置であってもよい。
【００１４】
情報提供装置１０は、検索処理を実行する情報処理装置であり、例えば、サーバ装置やクラウドシステム等により実現される。例えば、情報提供装置１０は、端末装置１００から検索クエリとなる画像を受信すると、受信したクエリ画像と類似する内容の画像を検索し、検索した画像や、検索した画像を示す情報（例えば、ＵＲＬ（Uniform  Resource  Locator）やサムネイル等）を検索結果として端末装置１００に提供する検索処理を実行する。
【００１５】
より具体的な例を挙げると、情報提供装置１０は、電子商店街において取引対象を示す画像を保持する。例えば、端末装置１００は、取引対象となる商品が撮像された画像や、取引対象となる役務と関連する画像（以下、「取引対象の画像」と総称する。）を保持する。このような取引対象の画像は、例えば、電子商店街に取引対象を出品する出品者により登録された画像である。
【００１６】
例えば、情報提供装置１０は、電子商店街に出品された取引対象を検索するための検索クエリとして、クエリ画像を端末装置１００から受信すると、受信したクエリ画像と類似する取引対象の画像を検索する。そして、情報提供装置１０は、検索した画像と対応する取引対象（すなわち、画像に撮像された取引対象）を説明するコンテンツや取引対象を購入するコンテンツへのリンクをまとめた検索結果を端末装置１００へと送信する。
【００１７】
〔１−２．特徴量を用いた検索について〕
以下、情報提供装置１０が実行する検索処理として、取引対象の画像のうち、クエリ画像と類似する画像を検索する処理の流れについて説明する。なお、以下の説明では、検索対象となる取引対象の画像を検索対象画像と総称する。なお、以下の説明では、特徴量を用いて、クエリ画像に類似する検索対象画像を検索する処理の一例について説明するが、実施形態は、これに限定されるものではない。後述する説明で明らかとなるように、情報提供装置１０は、特徴量同士を比較することで、クエリ画像に類似する検索対象画像を検索するのであれば、任意の検索手法により、クエリ画像に類似する検索対象画像を検索してよい。
【００１８】
例えば、特徴点を用いた検索においては、処理の処理により、検索対象画像の中から特徴的な複数の点が特徴点として選択され、各特徴点ごとに、特徴量の算出を行う範囲が設定される。例えば、このような特徴量が算出される範囲は、各種のアフィン変換等が行われた場合にも、特徴量があまり変化しないように設定される。この結果、各特徴点は、不規則な位置となり、特徴量が算出される範囲（半径）も様々な大きさのものが採用されることとなる。なお、図１では、特徴量が算出される範囲を点線の円形で疑似的に示したが、実際には、特徴量が算出される範囲は、楕円や矩形等、任意の形状が採用される。
【００１９】
なお、以下の説明では、検索対象画像から算出した各特徴量を「検索対象画像の特徴量」と記載する。続いて、情報提供装置１０は、クエリ画像についても同様に、自動的に選択された特徴的な点及び範囲（半径）及び方向に基づいて、その範囲における特徴量を算出する。なお、以下の説明では、クエリ画像から算出した各特徴量を「クエリ画像の特徴量」と記載する。
【００２０】
なお、上述した検索対象画像およびクエリ画像の特徴量は、GIST（http://ilab.usc.edu/siagian/Research/Gist/Gist.html）、カラーヒストグラム、色分布などの広域特徴量やＳＩＦＴ（Scale-Invariant  Feature  Transform）、ＳＵＲＦ（Speed-Up  Robust  Features）、特徴量等、画像が有する特徴量を取得する任意の技術が採用可能である。なお、ニューラルネットで生成される特徴量も利用可能である。
【００２１】
そして、情報提供装置１０は、クエリ画像の特徴量と検索対象画像の特徴量とをそれぞれ比較することで、検索対象画像の特徴量のうち、クエリ画像の特徴量と類似する特徴量を特定する。例えば、情報提供装置１０は、クエリ画像の特徴量ごとに、ＮＧＴ（Neighborhood  Graph  and  Tree）等といった技術を用いて、各検索対象画像の特徴量と類似するか否かを判定する。そして、情報提供装置１０は、クエリ画像の特徴量と、各検索対象画像の特徴量のうち、クエリ画像の特徴量と最も類似すると判定された特徴量とを対応付ける。
【００２２】
そして、情報提供装置１０は、検索対象画像のうち、クエリ画像の特徴量と対応付けられた特徴量の数が所定の閾値を超える検索対象画像を、クエリ画像の類似候補として選択する。すなわち、情報提供装置１０は、特徴量同士の類似性に基づく投票形式で、クエリ画像と類似する検索対象画像を類似画像の候補として選択する。なお、以下の説明では、上述した特徴量同士が類似するか否かを判定する処理を「特徴量照合処理」と記載する場合がある。
【００２３】
ここで、類似画像の候補をそのまま検索結果として出力する手法も考えられるが、情報提供装置１０は、さらに精度を高めるため、以下に説明する座標照合処理を実行する。例えば、情報提供装置１０は、類似画像の候補となった画像（以下、「候補画像」と記載する。）の特徴量とクエリ画像の特徴量のうち、相互に対応付けられた特徴量を特定する。
【００２４】
続いて、情報提供装置１０は、クエリ画像から特定した各特徴量の特徴点の座標をアフィン変換（例えば、回転、平行移動、拡大もしくは縮小）した際に、候補画像から特定した各特徴量の座標と類似するか否かを判定する。そして、情報提供装置１０は、クエリ画像の特徴点の座標と、候補画像の特徴点の座標とが類似すると判定した場合は、クエリ画像とその候補画像とが類似すると判定する。
【００２５】
すなわち、情報提供装置１０は、上述した特徴量照合処理において、検索対象画像の特徴量とクエリ画像が有する特徴量とが類似するか否かを判定し、判定結果に基づく投票により、クエリ画像が有する一部の特徴点を、複数の検索対象画像のうち一部の特徴点と対応付ける。そして、情報提供装置１０は、上述した座標照合処理において対応付けされた一部の特徴点を用いて、座標照合処理を実行することで、対応付けされた特徴点同士の座標の照合を行う。すなわち、情報提供装置１０は、クエリ画像の各特徴点の座標をアフィン変換した際に、検索対象画像の特徴点の座標と一致（若しくは類似）するかを判定し、座標が一致した特徴点の数が所定の数を超えるか否か等に基づいて、対応する特徴量同士の座標関係が類似するか否かを判定する。
【００２６】
なお、情報提供装置１０は、座標照合処理において、クエリ画像の全ての特徴量と、候補画像の全ての特徴量とを比較し直し、相互に類似するクエリ画像の特徴量と候補画像の特徴量との対応付けをやり直してもよい。そして、情報提供装置１０は、新たに対応付けられた特徴量同士の位置関係に基づいて、クエリ画像と候補画像とが類似するか否かを判定してもよい。このような処理の結果、情報提供装置１０は、類似画像の検索精度を向上させることができる。
【００２７】
〔１−３．検索処理の概要について〕
しかしながら、上述した特徴量照合処理や座標照合処理では、情報検索を適切に行っているとは言えない場合がある。例えば、同一の撮像対象が含まれる複数の画像から特徴量を抽出する処理について説明する。例えば、同一の撮像対象が含まれる複数の画像から特徴点を抽出した場合、撮像対象が有する特徴的な場所以外にも、背景が有する特徴的な場所が特徴点として選択されうる。この結果、例えば、クエリ画像と検索対象画像とに異なる撮像対象が含まれていたとしても、背景が共通若しくは類似する場合には、クエリ画像と検索対象画像とを類似する画像として判定してしまう恐れがある。
【００２８】
また、例えば、ある撮像対象が含まれる画像から特徴点を抽出した場合、撮像対象と背景との境界、すなわち、撮像対象の形状を示す位置が特徴点として選択される場合がある。例えば、撮像対象が有する角や直線部分等が特徴点として選択される。このような特徴点からは、撮像対象の角や直線部分を示す特徴量が算出されるが、このような角や直線部分は、多くの撮像対象が有する。このため、このような角や直線部分等、多くの撮像対象が共通して有する特徴を比較対象としても、類似画像検索に有用であるとは言えない。
【００２９】
すなわち、画像から抽出される特徴量には、取引対象の特徴であって、その取引対象が独自に有する特長を示す特徴量とは異なり、多くの取引対象が共通して有する特徴を示す特徴量（以下、「頻出特徴量」と記載する。）が存在する。このような頻出特徴量を用いて類似画像検索を行った場合、撮像された取引対象が異なる画像同士が、類似する画像と判定される恐れがある。
【００３０】
また、クエリ画像や各検索対象画像からは、複数の特徴点が選択される。このため、画像から抽出された全ての特徴量同士を比較した場合、検索に要する時間や計算コストが増大してしまう。
【００３１】
そこで、情報提供装置１０は、以下の検索処理を実行する。まず、情報提供装置１０は、クエリ画像または検索対象画像から抽出された特徴量のうち、類似する情報の検索に有用ではない非有用特徴量を抽出する。そして、情報提供装置１０は、抽出された非有用特徴量以外の特徴量を用いて、クエリ画像と類似する情報を検索する。
【００３２】
例えば、情報提供装置１０は、検索対象画像から抽出された特徴量から非有用特徴量を抽出する。より具体的には、情報提供装置１０は、検索対象画像から抽出された特徴量のうち、相互に類似する複数の特徴量、すなわち、頻出特徴量を非有用特徴量として抽出する。そして、情報提供装置１０は、検索対象画像から抽出された特徴量が登録されたデータベースから、抽出された頻出特徴量を削除する。
【００３３】
このような処理の結果、情報提供装置１０は、頻出特徴量以外の特徴量、すなわち、検索対象画像やクエリ画像が独自に有する特徴を示す特徴量同士を比較することとなる。この結果、情報提供装置１０は、類似する背景を有する画像同士を類似するといった誤判定を削減することができるので、検索精度を向上させることができる。また、情報提供装置１０は、比較対象となる特徴量の数を削減するので、検索に要する時間や計算コストを削減することができる。
【００３４】
〔１−４．頻出特徴量の抽出について〕
ここで、情報提供装置１０は、頻出特徴量等、類似画像の検索に有用ではない特徴量を抽出することができるのであれば、任意の条件を満たす特徴量を非有用特徴量として抽出してよい。
【００３５】
例えば、それぞれ異なる取引対象が撮像された検索対象画像＃Ａと検索対象画像＃Ｂが存在する場合を考える。このような場合、検索対象画像＃Ａと検索対象画像＃Ｂとから抽出された特徴量のうち、相互に類似する特徴量は、背景や一般的な形状等、意味的な類似画像検索にとってあまり有用ではない特徴量であると考えられる。そこで、情報提供装置１０は、複数の検索対象画像から抽出された特徴量同士が類似するか否かを判定し、他の特徴量と類似すると判定された回数が所定の閾値を超える特徴量を頻出特徴量（すなわち、非有用特徴量）として抽出する。
【００３６】
例えば、情報提供装置１０は、検索対象画像から抽出された特徴量と、複数の所定の特徴量とが類似するか否かを判定し、検索対象画像から抽出された特徴量ごとに、所定の特徴量と類似する判定された回数を計数する。そして、情報提供装置１０は、計数された回数が所定の閾値を超える特徴量を頻出特徴量として抽出してもよい。また、情報提供装置１０は、複数の所定の特徴量として、所定の数以上の特徴量であって、予め定められた手法により生成された特徴量と、検索対象画像から抽出された特徴量とが類似するか否かを判定してもよい。
【００３７】
例えば、情報提供装置１０は、検索対象画像から任意の画像を１つ選択し、選択した検索対象の特徴量と他の検索対象画像の特徴量とが類似するか否かを判定する。そして、情報提供装置１０は、他の特徴量と類似すると判定された回数が所定の閾値を超える特徴量を頻出特徴量として抽出してもよい。
【００３８】
また、情報提供装置１０は、ネットワーク上に存在する各種の画像等、任意の画像を取得し、取得した画像から特徴量を抽出する。そして、情報提供装置１０は、検索対象画像の特徴量と取得した画像の特徴量とを比較し、検索対象画像の特徴量のうち、取得した画像の特徴量と類似すると判定された回数が所定の閾値を超える特徴量を抽出特徴量として抽出してもよい。
【００３９】
また、例えば、情報提供装置１０は、所定の期間内に受け付けたクエリ画像から抽出された特徴量と検索対象画像から抽出された特徴量とが類似するか否かを判定する。そして、情報提供装置１０は、検索対象画像の特徴量のうちクエリ画像の特徴量と類似すると判定された回数が所定の閾値を超える特徴量を頻出特徴量として抽出してもよい。
【００４０】
また、例えば、情報提供装置１０は、所定のアルゴリズム若しくはランダムに疑似的な特徴量（以下、「疑似特徴量」と記載する。）を複数生成し、生成した疑似特徴量を検索対象の特徴量とが類似するか否かを判定する。そして、情報提供装置１０は、検索対象画像の特徴量のうち疑似特徴量と類似すると判定された回数が所定の閾値を超える特徴量を頻出特徴量として抽出してもよい。
【００４１】
すなわち、情報提供装置１０は、類似画像検索において比較対象となる特徴量のうち、検索対象画像が示す撮像対象（すなわち、取引対象）が独自に有する特徴を示す特徴量以外の特徴量を頻出特徴量とすることができるのであれば、任意の画像から抽出された特徴量や任意の手段により生成された特徴量と、検索対象画像の特徴量との比較結果に基づいて、頻出特徴量を抽出してよい。
【００４２】
このように、情報提供装置１０は、類似画像検索において比較対象となる特徴量の中で頻出する特徴量をあまり重要ではない特徴量、すなわち、あまり特徴的ではない特徴を示す特徴量として抽出する。そして、情報提供装置１０は、抽出した特徴量以外の特徴量を用いて、類似画像検索を行う。この結果、情報提供装置１０は、類似画像検索の効率を改善できる。
【００４３】
〔１−５．カテゴリの考慮について〕
ここで、情報提供装置１０は、カテゴリを考慮した頻出特徴量の抽出を行ってもよい。例えば、情報提供装置１０は、検索対象画像のうち、相互に異なるカテゴリに属する情報から抽出された特徴量同士の比較結果に基づいて、非有用特徴量を抽出してもよい。例えば、情報提供装置１０は、第１取引対象と関連する情報から抽出された特徴量と、第１取引対象とは異なる種別の第２取引対象と関連する情報から抽出された特徴量との比較結果に基づいて、非有用特徴量を抽出してもよい。すなわち、情報提供装置１０は、検索対象画像から任意の画像を１つ選択し、選択した検索対象の特徴量と、選択した検索対象画像とは異なるカテゴリに属する他の検索対象画像の特徴量とが類似するか否かを判定してもよい。
【００４４】
例えば、情報提供装置１０は、カテゴリ＃Ａに属する取引対象の画像を選択した場合、カテゴリ＃Ｂに属する取引対象の画像を比較対象として抽出する。そして、情報提供装置１０は、カテゴリ＃Ａに属する取引対象の画像から抽出した特徴量と、カテゴリ＃Ｂに属する取引対象の画像から抽出した特徴量とが類似するか否かを判定し、カテゴリ＃Ｂに属する取引対象の画像から抽出した特徴量のうち、カテゴリ＃Ａに属する取引対象の画像から抽出した特徴量と類似すると判定された回数が所定の閾値を超える特徴量を頻出特徴量としてもよい。
【００４５】
ここで、カテゴリ＃Ａおよびカテゴリ＃Ｂは、任意の関係性が採用可能である。例えば、情報提供装置１０は、電子商店街においてカテゴリ＃Ａに属する取引対象が撮像された検索対象画像と、カテゴリ＃Ａとは異なるカテゴリであって、１段階上位のカテゴリが共通するカテゴリ＃Ｂに属する取引対象が撮像された検索対象画像との特徴量同士を比較してもよい。また、情報提供装置１０は、電子商店街においてカテゴリ＃Ａに属する取引対象が撮像された検索対象画像と、カテゴリ＃Ａとは異なるカテゴリであって、２段階以上上位のカテゴリが共通するカテゴリ＃Ｂに属する取引対象が撮像された検索対象画像との特徴量同士を比較してもよい。
【００４６】
また、情報提供装置１０は、同じカテゴリに属する取引対象が撮像された検索対象画像の特徴量同士を比較し、他の特徴量と類似すると判定された回数を特徴量ごとに計数する。このような処理を行った場合、他の特徴量と類似すると判定された回数が所定の閾値を超える特徴量は、そのカテゴリに属する取引対象が共通して有する特徴量であると言える。そこで、情報提供装置１０は、他の特徴量と類似すると判定された回数が所定の閾値を下回る特徴量を頻出特徴量としてもよい。
【００４７】
また、情報提供装置１０は、各検索対象画像の特徴量同士を比較し、同じカテゴリに属する取引対象が撮像された検索対象画像の特徴量と類似すると判定された回数と、異なるカテゴリに属する取引対象が撮像された検索対象画像の特徴量と類似すると判定された回数とをそれぞれ計数する。そして、情報提供装置１０は、同じカテゴリに属する取引対象が撮像された検索対象画像の特徴量と類似すると判定された回数が所定の閾値を下回り、異なるカテゴリに属する取引対象が撮像された検索対象画像の特徴量と類似すると判定された回数が所定の閾値を上回る特徴量を頻出特徴量として抽出してもよい。
【００４８】
〔１−６．類似画像を用いた処理について〕
また、情報提供装置１０は、検索対象画像やクエリ画像等、任意の画像から類似画像を生成し、生成した類似情報から抽出された特徴量と、検索対象画像から抽出された特徴量とが類似するか否かを判定する。そして、情報提供装置１０は、他の特徴量と類似すると判定された回数が所定の閾値を超える特徴量を頻出特徴量として抽出してもよい。
【００４９】
例えば、図２は、実施形態に係る情報提供装置が類似画像を用いて頻出特徴量を抽出する処理の一例を示す図である。例えば、情報提供装置１０は、検索対象画像が登録されたデータベースから、検索対象画像Ｔ１を処理対象として選択する。そして、情報提供装置１０は、抽出した検索対象画像Ｔ１と類似する画像、すなわち、類似画像ＴＶ１〜ＴＶ３の生成を行う。
【００５０】
例えば、情報提供装置１０は、選択した検索対象画像の画像解析を行い、背景が撮像された範囲と主な撮像対象が撮像された範囲とを特定し、背景が撮像された範囲を削除した類似画像ＴＶ１を生成する。なお、情報提供装置１０は、異なる背景の合成を行った類似画像を生成してもよい。また、情報提供装置１０は、撮像対象を回転、拡大、縮小若しくは変形させた画像等、撮像対象が撮像された範囲をアフィン変換した類似画像ＴＶ２を生成してもよい。また、情報提供装置１０は、撮像対象の色を変換した類似画像ＴＶ３を生成してもよい。
【００５１】
また、情報提供装置１０は、検索対象画像全体に対して各種のアフィン変換を適用した画像を生成してもよい。また、情報提供装置１０は、各範囲や画像全体にぼかしを加えた画像を生成してもよい。また、情報提供装置１０は、解像度の変更等、任意の画像変換手法により、類似画像の生成を行えばよい。
【００５２】
なお、どの程度まで変化させた画像を類似画像とするかについては、情報提供装置１０が実行する類似画像検索の目的に応じて任意の設定が採用可能である。すなわち、情報提供装置１０は、類似画像として生成した画像がクエリ画像として入力された際に、元となる検索対象画像をクエリ画像に類似する画像として選択することができる程度に類似するのであれば、任意の画像変換を行った画像を類似画像として採用してよい。また、このような類似画像の生成は、各種の画像解析技術や画像生成技術により実現可能である。
【００５３】
続いて、情報提供装置１０は、生成した類似画像ＴＶ１〜ＴＶ３の特徴量を抽出する。例えば、情報提供装置１０は、類似画像ＴＶ１〜ＴＶ３から特徴量群ＴＶ１〜ＴＶ３を抽出する。また、情報提供装置１０は、元の検索対象画像Ｔ１の特徴量群Ｔ１を取得する。続いて、情報提供装置１０は、検索対象画像Ｔ１とは異なるカテゴリの取引対象が撮像された検索対象画像Ｔ２を選択し、選択した検索対象画像Ｔ２の特徴量群Ｔ２を抽出する。そして、情報提供装置１０は、特徴量群Ｔ１、Ｔ２、ＴＶ１〜ＴＶ３に含まれる各特徴量を相互に比較し、特徴量群Ｔ２に含まれる特徴量のうち、特徴量群Ｔ１、ＴＶ１〜ＴＶ３に含まれる特徴量と類似すると判定された回数が所定の閾値を超える特徴量を頻出特徴量として抽出する。
【００５４】
〔１−７．カテゴリ考慮の必要性について〕
なお、上述した各種の処理においてカテゴリを考慮する必要は必ずしも存在しない。例えば、情報提供装置１０は、実際の処理においては、様々なカテゴリに属する検索対象画像の特徴量同士を比較し、他の特徴量と類似すると判定された回数を計数する処理を繰り返し実行する。このような処理十分な回数行った場合や、検索対象画像と対応するカテゴリや取引対象の数が十分に多ければ、あるカテゴリに属する取引対象が共通して有する特徴であって、検索に有用な特徴を示す特徴量が他の特徴量と類似すると判定された回数よりも、検索に有用ではない特徴量を示す特徴量（多くの画像が共通して有する特徴を示す特徴量）が他の特徴量と類似すると判定される回数の方が多くなると考えられる。
【００５５】
そこで、情報提供装置１０は、上述した処理を各種任意の組み合わせで繰り返し実行することで、他の特徴量と類似すると判定された回数を計数し、計数した回数が所定の閾値を超える特長量を頻出特徴量として抽出すればよい。
【００５６】
〔１−８．閾値について〕
また、情報提供装置１０は、頻出特徴量を抽出する際の閾値として、任意の閾値を採用してもよい。例えば、情報提供装置１０は、全ての検索対象画像の全ての特徴量のうち、他の特徴量と類似すると判定された回数が多い順に所定の数の特徴量を選択し、選択した特徴量を頻出特徴量として抽出してもよい。また、情報提供装置１０は、他の特徴量と類似すると判定された回数が、所定の閾値以上となる特徴量を全て頻出特徴量としてもよい。
【００５７】
一方、検索対象画像から抽出された特徴量から多くの特徴量を削除した場合、検索精度が低下してしまう恐れがある。そこで、情報提供装置１０は、削除する頻出特徴量の数に上限を設けてもよい。例えば、情報提供装置１０は、クエリ画像または検索対象画像から抽出された特徴量から、所定の数以下の非有用特徴量を抽出してもよい。より具体的には、情報提供装置１０は、検索対象画像１つ当たりの特徴量のうち、頻出特徴量以外の特徴量の数が所定の閾値を下回らないように、頻出特徴量の抽出を行ってもよい。また、情報提供装置１０は、検索対象画像の全特徴量のうち、頻出特徴量とする特徴量の割合の下限値や上限値を設定してもよい。
【００５８】
〔１−９．検索処理の一例〕
以下、図１を用いて、情報提供装置１０が実行する検索処理の一例を説明する。例えば、情報提供装置１０は、検索対象となる各検索対象画像の特徴量をあらかじめ抽出する（ステップＳ１）。例えば、情報提供装置１０は、検索対象画像Ｔ１の中から複数の特徴点ＰＴ１−１、ＰＴ１−２・・・を所定のアルゴリズムで選択し、選択した特徴点ごとに特徴量ＦＴ１−１、ＦＴ１−２・・・を抽出する。また、情報提供装置１０は、検索対象画像Ｔ２の中から複数の特徴点ＰＴ２−１、ＰＴ２−２・・・を所定のアルゴリズムで選択し、選択した特徴点ごとに特徴量ＦＴ２−１、ＦＴ２−２・・・を抽出する。
【００５９】
続いて、情報提供装置１０は、抽出した特徴量同士、すなわち、検索対象画像として登録された画像の特徴量同士を比較し、特徴量ごとに他の特徴量と類似すると判定された回数を計数する。そして、情報提供装置１０は、他の特徴量と類似すると判定された回数が所定の閾値を超える特徴量を頻出特徴量として抽出する（ステップＳ２）。例えば、情報提供装置１０は、特徴量ＦＴ１−１と他の特徴量ＦＴ１−２、ＦＴ２−１、ＦＲ２−２・・・とを比較し、特徴量ＦＴ１−１との類似度が所定の閾値以下となる特徴量の数を類似特徴量数として計数する。また、情報提供装置１０は、他の特徴量についても同様に、類似特徴量数の計数を行う。そして、情報提供装置１０は、計数した類似特徴量数の値が高い方から順に所定の数の特徴量を頻出特徴量として抽出する。
【００６０】
続いて、情報提供装置１０は、抽出した頻出特徴量を削除する（ステップＳ３）。例えば、情報提供装置１０は、各検索対象画像の特徴量が登録されたデータベースから、類似特徴量数が所定の閾値を超えた特徴量ＦＴ１−１やＦＴ２−２等を削除する。
【００６１】
ここで、情報提供装置１０は、クエリ画像を端末装置１００から取得した場合は（ステップＳ４）、クエリ画像の特徴量と頻出特徴量以外の特徴量との比較結果に基づいて、クエリ画像と類似する画像を検索する（ステップＳ６）。例えば、情報提供装置１０は、データベースに登録された特徴量と、クエリ画像から抽出された特徴量との比較結果に基づいて、クエリ画像と類似する画像を検索する。
【００６２】
そして、情報提供装置１０は、検索結果を端末装置１００に送信する（ステップＳ６）。例えば、情報提供装置１０は、類似すると判定された画像のデータやサムネイル等を端末装置１００に送信する。なお、情報提供装置１０は、例えば、特徴量照合処理や座標照合処理の結果に応じたランキング形式で、検索した検索対象画像の情報を配信してもよい。例えば、情報提供装置１０は、各照合処理の結果に基づいて、各検索対象画像とクエリ画像と類似する確度を算出し、算出した確度に応じたランキング形式で、検索した検索対象画像の情報を配信してもよい。
【００６３】
〔１−１０．検索処理の結果を用いた処理〕
なお、情報提供装置１０は、上述した特徴量照合処理により受付けたクエリ画像と検索対象画像の特徴量とが類似するか否かを比較することとなる。そこで、情報提供装置１０は、例えば、検索対象画像の特徴量ごとに、特徴量照合処理によりクエリ画像の特徴量と類似すると判定された回数の計数を行ってもよい。例えば、情報提供装置１０は、場合は、検索対象画像から抽出されたある特徴量が、特徴量照合処理によりクエリ画像の特徴量と類似すると判定された場合は、その特徴量の類似特徴量数に１を加算してもよい。
【００６４】
〔１−１１．頻出特徴量の特徴について〕
ここで、頻出特徴量として抽出される特徴量には、所定の特徴が現れる可能性がある。そこで、情報提供装置１０は、頻出特徴量が有する特徴をモデルに学習させてもよい。例えば、情報提供装置１０は、ＤＮＮ（Deep  Neural  Network）やＳＶＭ（Support  Vector  Machine）等、任意のモデルに対して、頻出特徴量が有する特徴をモデルに学習させてもよい。
【００６５】
また、情報提供装置１０は、頻出特徴量以外の特徴量の特徴をモデルに学習させてもよい。例えば、情報提供装置１０は、類似特徴量数が所定の閾値を下回る特徴量を非頻出特徴量として抽出する。そして、情報提供装置１０は、頻出特徴量が有する特徴と、非頻出特徴量が有する特徴との差をモデルに学習させることで、頻出特徴量が独自に有する特徴を精度良く学習させてもよい。
【００６６】
このような学習が行われた学習モデルは、特徴量から頻出特徴量を抽出することができると推定される。そこで、情報提供装置１０は、学習モデルを用いて、検索対象画像から抽出された特徴量から頻出特徴量を抽出してもよい。例えば、情報提供装置１０は、検索対象画像から抽出された特徴量を学習モデルに入力することで、頻出特徴量であるか否かを判定し、頻出特徴量ではないと判定された特徴量のみをデータベースに登録してもよい。
【００６７】
また、情報提供装置１０は、学習モデルを用いて、クエリ画像から抽出された特徴量から頻出特徴量を抽出し、抽出した頻出特徴量以外の特徴量と、検索対象画像から抽出された特徴量との比較結果に基づいて、クエリ画像と類似する画像の検索を行ってもよい。例えば、情報提供装置１０は、運用時に、学習モデルを用いて、クエリ画像から抽出された特徴量から頻出特徴量を抽出する。そして、情報提供装置１０は、抽出した頻出特徴量外の特徴量と、検索対象画像から抽出した全ての特徴量との比較結果に基づいて、クエリ画像と類似する画像の検索を行ってもよい。
【００６８】
また、情報提供装置１０は、クエリ画像の特徴量から学習モデルを用いて抽出された頻出特徴量以外の特徴量と、検索対象画像の特徴量から上述した各種の手法で抽出した頻出特徴量以外の特徴量、もしくは、検索対象画像の特徴量から学習モデルを用いて抽出した頻出特徴量以外の特徴量との比較結果に基づいて、クエリ画像と類似する画像の検索を行ってもよい。
【００６９】
なお、情報提供装置１０は、画像検索に用いる頻出特徴量と、モデルの学習に用いる有用特徴量とを異なるものとしてもよい。例えば、モデルに頻出特徴量が有する特徴を精度良く学習させるためには、モデルの学習に用いる頻出特徴量が実際に有用ではない確度がより高い方が良いと考えられる。そこで、情報提供装置１０は、異なる閾値を用いて、画像検索の際に考慮する頻出特徴量と、モデルの学習に用いる頻出特徴量とをそれぞれ個別に抽出してもよい。
【００７０】
例えば、情報提供装置１０は、検索対象画像から抽出された特徴量と、各種の特徴量とが類似するか否かを判定する。また、情報提供装置１０は、検索対象画像から抽出された特徴量ごとに、各種の特徴量と類似すると判定された回数を計数する。そして、情報提供装置１０は、計数された回数が所定の第１閾値以上となる特徴量を第１頻出特徴量として抽出するとともに、計数された回数が第１閾値よりも大きい第２閾値以上となる特徴量を第２頻出特徴量として抽出する。その後、情報提供装置１０は、第１頻出特徴量以外の特徴量を用いて、クエリ画像と類似する情報を検索する。一方、情報提供装置１０は、第２頻出特徴量が有する特徴をモデルに学習させてもよい。この結果、情報提供装置１０は、画像から抽出された特徴量が画像検索に有用ではない頻出特徴量であるか否かを精度良く判定する学習モデルを生成することができる。
【００７１】
〔１−１２．処理の対象について〕
ここで、上述した例では、情報提供装置１０は、クエリ画像と類似する検索対象画像の検索を行った。しかしながら、実施形態は、これに限定されるものではない。例えば、情報提供装置１０は、文章や音楽等、任意のコンテンツについて、上述した検索処理を適用可能である。
【００７２】
例えば、情報提供装置１０は、検索対象が文章である場合、クエリ文章や検索対象となる文章の中から特徴点としていくつかの単語を選択し、選択した単語の前後に存在する複数の単語を抽出する。また、情報提供装置１０は、抽出した単語の特徴量を、特徴量として算出するとともに、単語の相対的な出現位置（例えば、特徴点として選択した単語から次の単語までの間に存在する単語の数等）を座標とみなす。そして、情報提供装置１０は、特徴量同士の比較結果に基づいて、頻出特徴量を抽出してもよい。
【００７３】
また例えば、情報提供装置１０は、検索対象が音声である場合、クエリ音声や検索対象となる音声の中から特徴点としていくつかの再生位置を選択し、選択した再生位置の前後に存在する音声の周波数特性から特徴量を算出する、また、情報提供装置１０は、再生位置を座標とみなす。そして、情報提供装置１０は、特徴量同士の比較結果に基づいて、頻出特徴量を抽出してもよい。
【００７４】
なお、情報提供装置１０は、異種間の情報検索を行ってもよい。例えば、情報提供装置１０は、クエリ文章と類似する対象音声の検索を行ってもよく、クエリ音声と類似する対象文章の検索を行ってもよい。また、このような異種間の情報検索において頻出特徴量を抽出し、抽出した頻出特徴量以外の特徴量を用いて、類似する情報の検索を行えばよい。すなわち、情報提供装置１０は、局所的な特徴を示す多次元量を特徴量として設定することができるコンテンツであれば、任意のコンテンツについて、上述した検索処理を適用し、有用特徴量の抽出を行ってよい。
【００７５】
〔２．情報提供装置の構成〕
以下、上記した検索処理を実現する情報提供装置１０が有する機能構成の一例について説明する。図３は、実施形態に係る情報提供装置の構成例を示す図である。図３に示すように、情報提供装置１０は、通信部２０、記憶部３０、および制御部４０を有する。
【００７６】
通信部２０は、例えば、ＮＩＣ（Network  Interface  Card）等によって実現される。そして、通信部２０は、ネットワークＮと有線または無線で接続され、端末装置１００との間で情報の送受信を行う。
【００７７】
記憶部３０は、例えば、ＲＡＭ（Random  Access  Memory)、フラッシュメモリ（Flash  Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。また、記憶部３０は、検索対象データベース３１および学習モデル３２を記憶する。
【００７８】
検索対象データベース３１には、検索対象となる対象情報が登録されている。例えば、図４は、実施形態に係る検索対象データベースに登録される情報の一例を示す図である。図４に示す例では、検索対象データベース３１には、「検索対象ＩＤ（Identifier）」、「検索対象データ」、「カテゴリ」、「特徴量」、「類似特徴量数」、および「種別」といった情報が登録されている。
【００７９】
ここで、「検索対象ＩＤ」とは、検索対象画像を識別する識別子である。また、「検索対象データ」とは、検索対象画像のデータである。また、「カテゴリ」とは、対応付けられた検索対象画像に関連する取引対象が属するカテゴリであり、例えば、電子商店街において撮像された取引対象が属するカテゴリを示す情報である。また、「特徴量」とは、特徴量である。また、「類似特徴量数」とは、上述した各種の処理により、他の特徴量と類似すると判定された回数である。また、「種別」とは、対応付けられた特徴量が頻出特徴量であるかその他の通常特徴量であるかを示す情報である。
【００８０】
例えば、図４に示す例では、検索対象データベース３１には、検索対象ＩＤ「Ｔ１」、検索対象データ「ＴＤ＃１」、カテゴリ「飲料」、類似特徴量数「２３０」および種別「頻出」が対応付けて登録されている。このような情報は、検索対象ＩＤ「Ｔ１」が示す検索対象画像のデータが「ＴＤ＃１」であり、カテゴリ「飲料」に関する取引対象が撮像された画像であり、特徴量が「ＦＴ１−１」である旨を示す。また、このような情報は、特徴量「ＦＴ１−１」の類似特徴量数、すなわち、特徴量「ＦＴ１−１」と類似する他の特徴量の数が「２３０」であり、種別が「頻出」、すなわち頻出特徴量である旨を示す。
【００８１】
なお、図４に示した各種の値は、概念的なものであり、実際には、検索対象データベース３１には、各特徴量等を示す数値が登録されるものとする。また、検索対象データベース３１には、図４に示す情報以外にも、特徴量と対応する特徴点や、検索対象画像と対応する取引対象に関する各種の情報等、任意の情報が登録されていてよい。
【００８２】
図３に戻り、説明を続ける。学習モデル３２は、頻出特徴量の特徴を学習した学習モデルである。例えば、学習モデルは、ＤＮＮやＳＶＭ等、頻出特徴量の特徴を学習した学習モデルの各種パラメータである。
【００８３】
制御部４０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central  Processing  Unit）、ＭＰＵ（Micro  Processing  Unit）等のプロセッサによって、情報提供装置１０内部の記憶装置に記憶されている各種プログラムがＲＡＭ等を作業領域として実行されることにより実現される。また、制御部４０は、コントローラ（controller）であり、例えば、ＡＳＩＣ（Application  Specific  Integrated  Circuit）やＦＰＧＡ（Field  Programmable  Gate  Array）等の集積回路により実現されてもよい。
【００８４】
図４に示すように、制御部４０は、抽出部４１、判定部４２、計数部４３、検索部４４、生成部４５、および学習部４６を有する。
【００８５】
抽出部４１は、クエリ画像または検索対象画像から抽出された特徴量のうち、類似する情報の検索に有用ではない非有用特徴量、すなわち、頻出特徴量を抽出する。例えば、抽出部４１は、検索対象画像から抽出された特徴量から頻出特徴量を抽出する。
【００８６】
また、抽出部４１は、検索対象画像から抽出された特徴量のうち、相互に類似する複数の特徴量を頻出特徴量として抽出する。例えば、抽出部４１は、検索対象画像のうち、相互に異なるカテゴリに属する情報から抽出された特徴量同士の比較結果に基づいて、頻出特徴量を抽出してもよい。より具体的な例を挙げると、抽出部４１は、第１取引対象と関連する情報から抽出された特徴量と、第１取引対象とは異なる種別の第２取引対象と関連する情報から抽出された特徴量との比較結果に基づいて、頻出特徴量を抽出してもよい。
【００８７】
例えば、抽出部４１は、所定の情報処理装置（図示は、省略）から検索対象画像を受付けた場合は、検索対象画像の特徴量を抽出し、検索対象画像と各特徴量とを検索対象データベース３１に登録する。また、抽出部４１は、所定の時間間隔で、検索対象データベース３１を参照し、各特徴量の類似特徴量数を参照し、参照した類似特徴量数に基づいて、各特徴量が頻出特徴量であるか否かを判定する。例えば、抽出部４１は、類似特徴量数が所定の閾値を超える特徴量や、類似特徴量数が高い方から順に所定の数の特徴量を頻出特徴量として選択する。そして、抽出部４１は、頻出特徴量として選択した特徴量に対し、種別「頻出」を対応付け、他の特徴量に対して種別「通常」を対応付ける。すなわち、抽出部４１は、計数部４３により計数された回数が所定の閾値を超える特徴量を頻出特徴量として抽出することとなる。
【００８８】
なお、抽出部４１は、学習モデル３２の学習に用いる頻出特徴量を抽出する場合、類似画像検索を行う際とは異なる閾値で頻出特徴量を抽出してもよい。例えば、抽出部４１は、計数部４３により計数された回数が所定の第１閾値以上となる特徴量を第１頻出特徴量として抽出し、抽出した特徴量に対し、種別「頻出」を対応付ける。また、抽出部４１は、検索対象データベース３１に登録された頻出特徴量のうち、計数部４３により計数された回数が第１閾値よりも大きい第２閾値以上となる頻出特徴量を第２頻出特徴量として抽出する。そして、抽出部４１は、抽出した第２頻出特徴量を学習データとして学習部４６に通知する。
【００８９】
なお、抽出部４１は、学習部により学習されたモデルを用いて、検索対象画像から抽出された特徴量から頻出特徴量を抽出してもよい。例えば、抽出部４１は、学習モデル３２に検索対象画像の各特徴量を入力し、各特徴量が頻出特徴量であるか否かを判定してもよい。また、抽出部４１は、学習モデル３２を用いて、クエリ画像から抽出された特徴量から頻出特徴量を抽出してもよい。例えば、抽出部４１は、クエリ画像を受付けると、クエリ画像から特徴量を抽出する。そして、抽出部４１は、抽出した特徴量を学習モデル３２に入力し、頻出特徴量であると判定された特徴量以外の特徴量を判定部４２に提供してもよい。
【００９０】
また、抽出部４１は、クエリ画像または検索対象画像から抽出された特徴量から、所定の数以下の頻出特徴量を抽出してもよい。例えば、抽出部４１は、１つの画像から抽出される特徴量のうち、頻出特徴量以外の特徴量の数が所定の閾値以上となるように、頻出特徴量の抽出を行ってよい。例えば、抽出部４１は、類似特徴量数の数がより多い特徴量や、学習モデル３２により頻出特徴量である確度がより高いと推定された特徴量を優先的に頻出特徴量としてもよい。また、抽出部４１は、検索対象画像から抽出された特徴量が登録された検索対象データベース３１から、抽出された頻出特徴量を削除してもよい。
【００９１】
判定部４２は、検索対象画像から抽出された特徴量と、複数の所定の特徴量とが類似するか否かを判定する。例えば、判定部４２は、複数の所定の特徴量として、所定の数以上の特徴量であって、予め定められた手法により生成された特徴量と、検索対象画像から抽出された特徴量とが類似するか否かを判定する。そして、計数部４３は、検索対象画像から抽出された特徴量ごとに、所定の特徴量と類似する判定された回数を計数する。
【００９２】
例えば、判定部４２は、所定のアルゴリズムまたはランダムに特徴量を生成し、生成した特徴量と検索対象データベース３１に登録された各特徴量とが類似するか否かを判定する。そして、計数部４３は、検索対象データベース３１に登録された各特徴量のうち、生成した特徴量と類似すると判定された特徴量の類似特徴量数に１を加算する。
【００９３】
また、判定部４２は、検索対象データベース３１に登録された各特徴量同士が類似するか否かを判定してもよい。例えば、判定部４２は、検索対象データベース３１に登録された特徴量のうち、いずれかの特徴量を選択し、選択した特徴量と他の特徴量とが類似するか否かを判定する。そして、計数部４３は、選択した特徴量と類似すると判定された他の特徴量の類似特徴量数に１を加算する。
【００９４】
また、判定部４２は、生成部４５により生成された類似情報から抽出された特徴量と、検索対象画像から抽出された特徴量とが類似するか否かを判定する。例えば、判定部４２は、生成部４５により生成された類似情報から抽出された特徴量と、検索対象画像のうち、類似情報を生成した画像とは異なるカテゴリに属する情報から抽出された特徴量とが類似するか否かを判定する。例えば、判定部４２は、生成部４５により生成された類似画像を取得すると、類似画像の特徴量を抽出する。なお、このような特徴量の抽出は、抽出部４１により実現されてもよい。
【００９５】
続いて、判定部４２は、検索対象データベース３１を参照し、類似画像の元となった検索対象画像のカテゴリを特定する。そして、判定部４２は、特定したカテゴリとは異なるカテゴリと対応付けられた検索対象画像の特徴量と、類似画像から抽出した特徴量とが類似するか否かを判定してもよい。このような場合において、計数部４３は、類似画像から抽出した特徴量と類似すると判定された特徴量の類似特徴量数に１を加算する。
【００９６】
また、判定部４２は、所定の特徴量として、クエリ画像から抽出された特徴量と検索対象画像から抽出された特徴量とが類似するか否かを判定してもよい。例えば、判定部４２は、クエリ画像から抽出された特徴量と検索対象データベース３１に登録された特徴量とが類似するか否かを判定する。そして、計数部４３は、検索対象データベース３１に登録された特徴量のうち、クエリ画像から抽出された特徴量と類似すると判定された特徴量の類似特徴量数に１を加算する。
【００９７】
なお、判定部４２は、類似画像検索の運用時において受付けたクエリ画像を記憶部３０に保持し、所定のタイミングで記憶部３０に保持したクエリ画像から抽出された特徴量と検索対象画像から抽出された特徴量とが類似するか否かを判定してもよい。また、判定部４２は、類似画像検索の運用時において受付けたクエリ画像と類似する検索対象画像を検索する際に、上述した処理を実行してもよい。
【００９８】
例えば、判定部４２は、類似画像検索の運用時においては、抽出部４１により抽出されたクエリ画像の特徴量を受付ける。ここで、抽出部４１から受付けた特徴量は、クエリ画像から抽出される全ての特徴量であってもよく、抽出部４１によって抽出された頻出特徴量以外の特徴量であってもよい。このような場合、判定部４２は、クエリ画像の各特徴量に対して、検索対象データベース３１に登録された頻出特徴量以外の特徴量のうち最も類似すると判定された特徴量を対応付ける。この際、計数部４３は、クエリ画像の各特徴量に対応付けられた特徴量の類似特徴量数に１を加算する。
【００９９】
そして、判定部４２は、対応付けた特徴量同士の座標関係が類似するか否かを判定する。すなわち、判定部４２は、上述した特徴量照合処理と座標照合処理とを実行する。
【０１００】
検索部４４は、頻出特徴量以外の特徴量を用いて、クエリ画像と類似する情報を検索する。例えば、検索部４４は、判定部４２による判定結果に基づいて、クエリ画像と類似する検索対象画像を検索する。例えば、検索部４４は、類似画像検索の運用時において、判定部４２による特徴量照合処理や座標照合処理の結果を取得する。そして、検索部４４は、座標照合処理の結果、類似する特徴量同士の位置関係が類似すると判定された検索対象画像を、クエリ画像と類似する画像として選択する。なお、抽出部４１によって類似特徴量数が第１閾値以上となる特徴量が頻出特徴量として抽出されるため、検索部４４は、類似特徴量数が第１閾値以上となる特徴量以外の特徴量を用いて、クエリ画像と類似する検索対象画像を検索することとなる。
【０１０１】
また、検索部４４は、クエリ画像と類似する画像のサムネイル等、各種の情報を配置した検索結果を生成する。そして、検索部４４は、クエリ画像の送信元となる端末装置１００に対し、生成した検索結果を提供する。
【０１０２】
生成部４５は、検索対象画像から、類似画像を生成する。例えば、生成部４５は、類似画像を用いて頻出特徴量の抽出を行う場合、検索対象データベース３１からいずれかの検索対象画像を選択し、各種の画像変換技術を用いて、選択した検索対象画像の類似画像を生成する。そして、生成部４５は、生成した類似画像を判定部４２に提供する。
【０１０３】
学習部４６は、頻出特徴量が有する特徴をモデルに学習させる。例えば、学習部４６は、第２頻出特徴量が有する特徴をモデルに学習させる。例えば、学習部４６は、抽出部４１により抽出された頻出特徴量の通知を受付けると、通知された頻出特徴量が有する特徴を学習モデル３２に学習させる。なお、学習部４６は、例えば、頻出特徴量が有する特徴と他の特徴量が有する特徴と差を学習モデル１２に学習させてもよい。
【０１０４】
〔３．情報提供装置が実行する処理の流れの一例〕
続いて、図５を用いて、情報提供装置１０が実行する処理の流れの一例を説明する。図５は、実施形態に係る情報提供装置が実行する検索処理の流れの一例を示すフローチャートである。
【０１０５】
例えば、情報提供装置１０は、検索対象画像の特徴量と所定の特徴量とを比較し（ステップＳ１０１）、特徴量ごとに他の特徴量と類似する数を計数する（ステップＳ１０２）。そして、情報提供装置１０は、計数した数が所定の閾値を超える特徴量を頻出特徴量として抽出する（ステップＳ１０３）。
【０１０６】
ここで、情報提供装置１０は、クエリ画像を端末装置１００から取得したか否かを判定し（ステップＳ１０４）、取得していない場合は（ステップＳ１０４：Ｎｏ）、取得するまで待機する。そして、情報提供装置１０は、クエリ画像を端末装置１００から取得した場合は(ステップＳ１０５：Ｙｅｓ)、クエリ画像の特徴量と頻出特徴量以外の特徴量とを比較し（ステップＳ１０５）、比較結果に基づいて、クエリ画像に類似する画像を検索対象画像から検索し（ステップＳ１０６）、処理を終了する。
【０１０７】
〔４．変形例〕
上記では、情報提供装置１０による検索処理の一例について説明した。しかしながら、実施形態は、これに限定されるものではない。以下、検索処理のバリエーションについて説明する。
【０１０８】
〔４−１．特徴量の比較について〕
上述した例では、情報提供装置１０は、クエリ情報の特徴量と、検索対象となる情報（以下、「対象情報」と記載する場合がある。）のクエリ特徴量とを比較した。ここで、情報提供装置１０は、任意の情報が有する特徴量を特徴量としてもよい。例えば、情報提供装置１０は、検索対象が画像である場合、特徴点の周囲の画素の彩度や明度の平均値等を特徴量としてもよく、検索対象が音声である場合、特徴点の周囲数秒の周囲の周波数特性を特徴量としてもよい。また、上述した処理以外にも、情報提供装置１０は、任意の特徴量比較技術を併用してもよい。
【０１０９】
〔４−２．その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、逆に、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
【０１１０】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
【０１１１】
また、上記してきた各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【０１１２】
〔４−３．プログラム〕
また、上述した実施形態に係る情報提供装置１０および端末装置１００は、例えば図６に示すような構成のコンピュータ１０００によって実現される。図６は、ハードウェア構成の一例を示す図である。コンピュータ１０００は、出力装置１０１０、入力装置１０２０と接続され、演算装置１０３０、一次記憶装置１０４０、二次記憶装置１０５０、出力ＩＦ（Interface）１０６０、入力ＩＦ１０７０、ネットワークＩＦ１０８０がバス１０９０により接続された形態を有する。
【０１１３】
演算装置１０３０は、一次記憶装置１０４０や二次記憶装置１０５０に格納されたプログラムや入力装置１０２０から読み出したプログラム等に基づいて動作し、各種の処理を実行する。一次記憶装置１０４０は、ＲＡＭ等、演算装置１０３０が各種の演算に用いるデータを一次的に記憶するメモリ装置である。また、二次記憶装置１０５０は、演算装置１０３０が各種の演算に用いるデータや、各種のデータベースが登録される記憶装置であり、ＲＯＭ(Read  Only  Memory)、ＨＤＤ（Hard  Disk  Drive）、フラッシュメモリ等により実現される。
【０１１４】
出力ＩＦ１０６０は、モニタやプリンタといった各種の情報を出力する出力装置１０１０に対し、出力対象となる情報を送信するためのインタフェースであり、例えば、ＵＳＢ（Universal  Serial  Bus）やＤＶＩ（Digital  Visual  Interface）、ＨＤＭＩ（登録商標）（High  Definition  Multimedia  Interface）といった規格のコネクタにより実現される。また、入力ＩＦ１０７０は、マウス、キーボード、およびスキャナ等といった各種の入力装置１０２０から情報を受信するためのインタフェースであり、例えば、ＵＳＢ等により実現される。
【０１１５】
なお、入力装置１０２０は、例えば、ＣＤ（Compact  Disc）、ＤＶＤ（Digital  Versatile  Disc）、ＰＤ（Phase  change  rewritable  Disk）等の光学記録媒体、ＭＯ（Magneto-Optical  disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等から情報を読み出す装置であってもよい。また、入力装置１０２０は、ＵＳＢメモリ等の外付け記憶媒体であってもよい。
【０１１６】
ネットワークＩＦ１０８０は、ネットワークＮを介して他の機器からデータを受信して演算装置１０３０へ送り、また、ネットワークＮを介して演算装置１０３０が生成したデータを他の機器へ送信する。
【０１１７】
演算装置１０３０は、出力ＩＦ１０６０や入力ＩＦ１０７０を介して、出力装置１０１０や入力装置１０２０の制御を行う。例えば、演算装置１０３０は、入力装置１０２０や二次記憶装置１０５０からプログラムを一次記憶装置１０４０上にロードし、ロードしたプログラムを実行する。
【０１１８】
例えば、コンピュータ１０００が情報提供装置１０として機能する場合、コンピュータ１０００の演算装置１０３０は、一次記憶装置１０４０上にロードされたプログラムを実行することにより、制御部４０の機能を実現する。また、例えば、コンピュータ１０００が端末装置１００として機能する場合、コンピュータ１０００の演算装置１０３０は、一次記憶装置１０４０上にロードされたプログラムを実行することにより、制御部４０の機能を実現する。
【０１１９】
〔５．効果〕
上述したように、情報提供装置１０は、クエリ画像等のクエリ情報または検索対象画像等の検索対象となる情報から抽出された特徴量のうち、頻出特徴量等、類似する情報の検索に有用ではない非有用特徴量を抽出する。そして、情報提供装置１０は、抽出された頻出特徴量以外の特徴量を用いて、クエリ情報と類似する情報を検索する。この結果、情報提供装置１０は、類似情報の検索精度を向上させるとともに、類似情報の検索に要する時間が検索コストを削減するので、情報検索における効率を改善できる。
【０１２０】
また、情報提供装置１０は、検索対象となる情報から抽出された特徴量から頻出特徴量を抽出する。また、情報提供装置１０は、検索対象となる情報から抽出された特徴量のうち、相互に類似する複数の特徴量を頻出特徴量として抽出する。例えば、情報提供装置１０は、検索対象となる情報から抽出された特徴量と、複数の所定の特徴量とが類似するか否かを判定する。また、情報提供装置１０は、検索対象となる情報から抽出された特徴量ごとに、所定の特徴量と類似する判定された回数を計数する。そして、情報提供装置１０は、計数された回数が所定の閾値を超える特徴量を頻出特徴量として抽出する。このため、情報提供装置１０は、情報検索に有用ではない頻出特徴量を適切に抽出できる。
【０１２１】
また、情報提供装置１０は、複数の所定の特徴量として、所定の数以上の特徴量であって、予め定められた手法により生成された特徴量と、検索対象となる情報から抽出された特徴量とが類似するか否かを判定する。また、情報提供装置１０は、検索対象となる情報から、その情報と類似する類似情報を生成し、生成された類似情報から抽出された特徴量と、検索対象となる情報から抽出された特徴量とが類似するか否かを判定する。ここで、情報提供装置１０は、生成された類似情報から抽出された特徴量と、検索対象となる情報のうち、類似情報を生成した情報とは異なるカテゴリに属する情報から抽出された特徴量とが類似するか否かを判定してもよい。また、情報提供装置１０は、複数の検索対象となる情報から抽出された特徴量同士が類似するか否かを判定してもよい。また、情報提供装置１０は、所定の特徴量として、クエリ情報から抽出された特徴量と検索対象となる情報から抽出された特徴量とが類似するか否かを判定してもよい。このような処理を実行することで、情報提供装置１０は、情報検索に有用ではない頻出特徴量を適切に抽出できるので、情報検索の効率を改善できる。
【０１２２】
また、情報提供装置１０は、索対象となる情報から抽出された特徴量が登録された記憶装置から、抽出部により抽出された頻出特徴量を削除する。この結果、情報提供装置１０は、情報検索における効率を改善できる。
【０１２３】
また、情報提供装置１０は、クエリ情報または検索対象となる情報から抽出された特徴量から、所定の数以下の頻出特徴量を抽出する。このため、情報提供装置１０は、情報検索における精度の悪化を防ぎつつ、情報検索の効率を改善できる。
【０１２４】
また、情報提供装置１０は、抽出された頻出特徴量が有する特徴をモデルに学習させる。そして、情報提供装置１０は、学習されたモデルを用いて、クエリ情報から抽出された特徴量から頻出特徴量を抽出する。また、情報提供装置１０は、学習されたモデルを用いて、検索対象となる情報から抽出された特徴量から頻出特徴量を抽出する。このため、情報提供装置１０は、情報検索の効率を改善できる。
【０１２５】
また、情報提供装置１０は、検索対象となる情報から抽出された特徴量と、複数の所定の特徴量とが類似するか否かを判定し、検索対象となる情報から抽出された特徴量ごとに、所定の特徴量と類似すると判定された回数を計数し、計数された回数が所定の第１閾値以上となる特徴量を第１頻出特徴量として抽出するとともに、計数された回数が第１閾値よりも大きい第２閾値以上となる特徴量を第２頻出特徴量として抽出する。そして、情報提供装置１０は、第１頻出特徴量以外の特徴量を用いて、クエリ情報と類似する情報を検索し、第２頻出特徴量が有する特徴をモデルに学習させる。このため、情報提供装置１０は、精度良く頻出特徴量を抽出可能なモデルを学習することができる。
【０１２６】
また、情報提供装置１０は、検索対象となる情報のうち、相互に異なるカテゴリに属する情報から抽出された特徴量同士の比較結果に基づいて、頻出特徴量を抽出する。例えば、情報提供装置１０は、第１取引対象と関連する情報から抽出された特徴量と、その第１取引対象とは異なる種別の第２取引対象と関連する情報から抽出された特徴量との比較結果に基づいて、頻出特徴量を抽出する。このため、情報提供装置１０は、情報検索に有用な特徴量を保持しつつ、有用ではない特徴量を頻出特徴量とすることができるので、情報検索の効率を改善できる。
【０１２７】
また、情報提供装置１０は、クエリ画像、または、検索対象となる画像から抽出された特徴量のうち、類似する画像の検索に有用ではない頻出特徴量を抽出する。このため、情報提供装置１０は、類似画像検索の効率を改善できる。
【０１２８】
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
【０１２９】
また、上記してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、抽出部は、抽出手段や抽出回路に読み替えることができる。
【符号の説明】
【０１３０】
１０  情報提供装置
２０  通信部
３０  記憶部
３１  検索対象データベース
３２  学習モデル
４０  制御部
４１  抽出部
４２  判定部
４３  計数部
４４  検索部
４５  生成部
４６  学習部
１００  端末装置
【図１】
2019160000.tif 000003
【図２】
2019160000.tif 000004
【図３】
2019160000.tif 000005
【図４】
2019160000.tif 000006
【図５】
2019160000.tif 000007
【図６】
2019160000.tif 000008