(57)【要約】【課題】類似検索の効率を改善する。【解決手段】本願に係る検索装置は、クエリ情報または検索対象となる情報から抽出された特徴量のうち、類似する情報の検索に有用な有用特徴量を抽出する抽出部と、前記抽出部により抽出された有用特徴量を用いて、クエリ情報と類似する情報を検索する検索部とを有することを特徴とする。【選択図】図１
2019159999.tif 000002
【特許請求の範囲】
【請求項１】
クエリ情報または検索対象となる情報から抽出された特徴量のうち、類似する情報の検索に有用な有用特徴量を抽出する抽出部と、
前記抽出部により抽出された有用特徴量を用いて、クエリ情報と類似する情報を検索する検索部と
を有することを特徴とする検索装置。
【請求項２】
前記抽出部は、検索対象となる情報から抽出された特徴量から前記有用特徴量を抽出する
ことを特徴とする請求項１に記載の検索装置。
【請求項３】
前記抽出部は、検索対象となる情報から抽出された特徴量と、当該情報と類似する類似情報から抽出された特徴量との比較結果に基づいて、当該検索対象となる情報から抽出された特徴量から前記有用特徴量を抽出する
ことを特徴とする請求項２に記載の検索装置。
【請求項４】
前記抽出部は、検索対象となる複数の情報から抽出された特徴量と、当該情報のうちいずれかの情報と類似する類似情報から抽出された特徴量との比較結果に基づいて、当該検索対象となる情報から抽出された特徴量から前記有用特徴量を抽出する
ことを特徴とする請求項２または３に記載の検索装置。
【請求項５】
検索対象となる情報から抽出された特徴量と、前記類似情報から抽出された特徴量とが類似するか否かを判定する判定部と、
前記検索対象となる情報から抽出された特徴量ごとに、前記類似情報から抽出された特徴量と類似すると判定された回数を計数する計数部と
を有し、
前記抽出部は、前記計数部により計数された回数に基づいて、当該検索対象となる情報から抽出された特徴量から前記有用特徴量を抽出する
ことを特徴とする請求項３または４に記載の検索装置。
【請求項６】
前記計数部は、前記検索対象となる情報から抽出された特徴量ごとに、前記類似情報から抽出された特徴量と最も類似すると判定された回数を計数する
ことを特徴とする請求項５に記載の検索装置。
【請求項７】
前記判定部は、検索対象となる情報から抽出された複数の特徴量のうち、前記類似情報から抽出された特徴量に類似すると判定された複数の対象特徴量の位置関係と、前記類似情報から抽出された複数の特徴量のうち、前記複数の対象特徴量に類似すると判定された複数の類似特徴量の位置関係とが類似するか否かを判定し、
前記計数部は、前記複数の対象特徴量の位置関係と前記類似特徴量の位置関係とが類似すると判定された回数を計数し、
前記抽出部は、前記計数部により計数された回数に基づいて、当該検索対象となる情報から抽出された特徴量から前記有用特徴量を抽出する
ことを特徴とする請求項５または６に記載の検索装置。
【請求項８】
前記判定部は、検索対象となる情報から抽出された特徴量と、第１クエリ情報から抽出された特徴量とが類似するか否かを判定し、
前記検索部は、前記判定部による判定結果に基づいて、第１クエリ情報と類似する情報を検索し、
前記抽出部は、前記検索部による検索結果に基づいて、前記第１クエリ情報と類似する情報の特徴量から有用特徴量を抽出し、
前記検索部は、前記抽出部により抽出された有用特徴量に基づいて、第２クエリ画像と類似する情報を検索する
ことを特徴とする請求項５〜７のうちいずれか１つに記載の検索装置。
【請求項９】
前記抽出部は、前記検索対象となる情報から抽出された特徴量のうち、前記計数部により計数された回数が所定の閾値以上となる特徴量を前記有用特徴量として抽出する
ことを特徴とする請求項５〜８のうちいずれか１つに記載の検索装置。
【請求項１０】
検索対象となる情報から抽出された特徴量が登録された記憶装置から、前記抽出部により抽出された有用特徴量以外の特徴量を削除する削除部
を有することを特徴とする請求項２〜９のうちいずれか１つに記載の検索装置。
【請求項１１】
前記検索部は、前記検索対象となる情報のうち、第１クエリ情報と類似する情報を検索し、
前記抽出部は、前記第１クエリ情報と類似する情報の検索結果に基づいて、前記検索対象となる情報から抽出された特徴量から前記有用特徴量を抽出し、
前記検索部は、前記抽出部により抽出された有用特徴量を用いて、第２クエリ情報と類似する情報を検索する
ことを特徴とする請求項１〜１０のうちいずれか１つに記載の検索装置。
【請求項１２】
前記検索対象となる情報から、当該情報と類似する類似情報を生成する生成部
を有し、
前記抽出部は、前記検索対象となる情報から抽出された特徴量と、前記生成部により生成された情報から抽出された特徴量との比較結果に基づいて、前記検索対象となる情報から抽出された特徴量から前記有用特徴量を抽出する
ことを特徴とする請求項１〜１１のうちいずれか１つに記載の検索装置。
【請求項１３】
前記抽出部により抽出された有用特徴量が有する特徴をモデルに学習させる学習部
を有することを特徴とする請求項１〜１２のうちいずれか１つに記載の検索装置。
【請求項１４】
前記抽出部は、前記学習部により学習されたモデルを用いて、前記クエリ情報から抽出された特徴量から前記有用特徴量を抽出する
ことを特徴とする請求項１３に記載の検索装置。
【請求項１５】
前記抽出部は、前記学習部により学習されたモデルを用いて、前記検索対象となる情報から抽出された特徴量から前記有用特徴量を抽出する
ことを特徴とする請求項１３または１４に記載の検索装置。
【請求項１６】
検索対象となる情報から抽出された特徴量と、当該情報と類似する類似情報から抽出された特徴量とが類似するか否かを判定する判定部と、
前記検索対象となる情報から抽出された特徴量ごとに、前記類似情報から抽出された特徴量と類似すると判定された回数を計数する計数部と
を有し、
前記抽出部は、前記計数部により計数された回数が所定の第１閾値以上となる特徴量を第１有用特徴量として抽出するとともに、前記計数部により計数された回数が前記第１閾値よりも大きい第２閾値以上となる特徴量を第２有用特徴量として抽出し、
前記検索部は、前記第１有用特徴量を用いて、前記クエリ情報と類似する情報を検索し、
前記学習部は、前記第２有用特徴量が有する特徴を前記モデルに学習させる
ことを特徴とする請求項１３〜１５のうちいずれか１つに記載の検索装置。
【請求項１７】
前記抽出部は、クエリ画像、または、検索対象となる画像から抽出された特徴量のうち、類似する画像の検索に有用な有用特徴量を抽出し、
前記検索部は、前記有用特徴量を用いて、クエリ画像と類似する画像を検索する
ことを特徴とする請求項１〜１６のうちいずれか１つに記載の検索装置。
【請求項１８】
前記抽出部は、前記類似する画像の検索に有用な有用特徴量として、撮像対象が類似する画像の検索に有用な有用特徴量を抽出する
ことを特徴とする請求項１７に記載の検索装置。
【請求項１９】
検索装置が実行する検索方法であって、
クエリ情報または検索対象となる情報から抽出された特徴量のうち、類似する情報の検索に有用な有用特徴量を抽出する抽出工程と、
前記抽出工程により抽出された有用特徴量を用いて、クエリ情報と類似する情報を検索する検索工程と
を含むことを特徴とする検索方法。
【請求項２０】
クエリ情報または検索対象となる情報から抽出された特徴量のうち、類似する情報の検索に有用な有用特徴量を抽出する抽出手順と、
前記抽出手順により抽出された有用特徴量を用いて、クエリ情報と類似する情報を検索する検索手順と
をコンピュータに実行させるための検索プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、検索装置、検索方法および検索プログラムに関する。
【背景技術】
【０００２】
従来、検索クエリとなる情報が有する特徴量と、検索対象となる情報が有する特徴量とを比較することで、検索クエリと類似する情報を検索する技術が知られている。このような技術の一例として、検索クエリとなる画像から抽出した複数の局所的な特徴量と、検索対象となる画像が有する複数の特徴量との類似度に加え、特徴量を抽出した範囲の座標関係の類似度に基づいて、検索クエリとなる画像と類似する画像を検索する技術が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−１５７４４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来技術では、類似検索を効率的に行っているとは言えない場合がある。
【０００５】
例えば、上述した従来技術では、検索クエリや検索対象となる画像から特徴的な特徴点を選択し、抽出した特徴点の周囲の情報に基づいて、特徴量を抽出する。しかしながら、検索クエリや検索対象となる画像に同一の撮像対象が含まれていたとしても、撮影された方向や角度等といった撮影条件によっては、特徴点として選択される位置や特徴量の値が変化してしまう。この結果、同一の撮像対象が含まれている検索クエリと検索対象とが類似しないと判定したり、異なる撮影対象が含まれている検索クエリと検索対象とを類似すると判定する恐れがある。また、検索クエリや検索対象から抽出される特徴量の数が増大するに従い、類似検索に要する検索コストが増大してしまう。
【０００６】
本願は、上記に鑑みてなされたものであって、類似検索の効率を改善することを目的とする。
【課題を解決するための手段】
【０００７】
本願に係る検索装置は、クエリ情報または検索対象となる情報から抽出された特徴量のうち、類似する情報の検索に有用な有用特徴量を抽出する抽出部と、前記抽出部により抽出された有用特徴量を用いて、クエリ情報と類似する情報を検索する検索部とを有することを特徴とする。
【発明の効果】
【０００８】
実施形態の一態様によれば、類似検索の効率を改善できる。
【図面の簡単な説明】
【０００９】
【図１】図１は、実施形態に係る情報提供装置が実行する検索処理の一例を示す図である。
【図２】図２は、実施形態に係る情報提供装置が実行する処理の関係を示す図である。
【図３】図３は、実施形態に係る情報提供装置の構成例を示す図である。
【図４】図４は、実施形態に係る検索対象データベースに登録される情報の一例を示す図である。
【図５】図５は、実施形態に係る情報提供装置が実行する検索処理の流れの一例を示すフローチャートである。
【図６】図６は、ハードウェア構成の一例を示す図である。
【発明を実施するための形態】
【００１０】
以下に、本願に係る検索装置、検索方法および検索プログラムを実施するための形態（以下、「実施形態」と記載する。）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る検索装置、検索方法および検索プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略する。
【００１１】
[実施形態]
〔１−１．情報提供装置の一例について〕
まず、図１を用いて、検索装置の一例である情報提供装置が実行する検索処理の一例について説明する。図１は、実施形態に係る情報提供装置が実行する検索処理の一例を示す図である。
【００１２】
図１では、インターネット等の所定のネットワークＮ（例えば、図３参照）を介して、各利用者が使用する端末装置１００と情報提供装置１０は、相互に通信可能である。また、情報提供装置１０は、端末装置１００以外にも、各種の外部サーバと相互に通信可能であるものとする。また、情報提供装置１０は、任意の数の端末装置１００と通信可能であってもよい。
【００１３】
端末装置１００は、スマートフォンやタブレット等のスマートデバイスであり、３Ｇ（3rd  Generation）やＬＴＥ（Long  Term  Evolution）等の無線通信網を介して任意のサーバ装置と通信を行うことができる携帯端末装置である。なお、端末装置１００は、スマートデバイスのみならず、デスクトップＰＣ（Personal  Computer）やノートＰＣ等の情報処理装置であってもよい。
【００１４】
情報提供装置１０は、検索処理を実行する情報処理装置であり、例えば、サーバ装置やクラウドシステム等により実現される。例えば、情報提供装置１０は、端末装置１００から検索クエリとなる画像を受信すると、受信したクエリ画像と類似する内容の画像を検索し、検索した画像や、検索した画像を示す情報（例えば、ＵＲＬ（Uniform  Resource  Locator）やサムネイル等）を検索結果として端末装置１００に提供する検索処理を実行する。
【００１５】
より具体的な例を挙げると、情報提供装置１０は、電子商店街において取引対象を示す画像を保持する。例えば、端末装置１００は、取引対象となる商品が撮影された画像や、取引対象となる役務と関連する画像（以下、「取引対象の画像」と総称する。）を保持する。このような取引対象の画像は、例えば、電子商店街に取引対象を出品する出品者により登録された画像である。
【００１６】
例えば、情報提供装置１０は、電子商店街に出品された取引対象を検索するための検索クエリとして、クエリ画像を端末装置１００から受信すると、受信したクエリ画像と類似する取引対象の画像を検索する。そして、情報提供装置１０は、検索した画像と対応する取引対象（すなわち、画像に撮影された取引対象）を説明するコンテンツや取引対象を購入するコンテンツへのリンクをまとめた検索結果を端末装置１００へと送信する。
【００１７】
〔１−２．特徴量を用いた検索について〕
以下、情報提供装置１０が実行する検索処理として、取引対象の画像のうち、クエリ画像と類似する画像を検索する処理の流れについて説明する。なお、以下の説明では、検索対象となる取引対象の画像を検索対象画像と総称する。なお、以下の説明では、特徴量を用いて、クエリ画像に類似する検索対象画像を検索する処理の一例について説明するが、実施形態は、これに限定されるものではない。後述する説明で明らかとなるように、情報提供装置１０は、特徴量同士を比較することで、クエリ画像に類似する検索対象画像を検索するのであれば、任意の検索手法により、クエリ画像に類似する検索対象画像を検索してよい。
【００１８】
例えば、特徴点を用いた検索においては、処理の処理により、検索対象画像の中から特徴的な複数の点が特徴点として選択され、各特徴点ごとに、特徴量の算出を行う範囲が設定される。例えば、このような特徴量が算出される範囲は、各種のアフィン変換等が行われた場合にも、特徴量があまり変化しないように設定される。この結果、各特徴点は、不規則な位置となり、特徴量が算出される範囲（半径）も様々な大きさのものが採用されることとなる。なお、図１では、特徴量が算出される範囲を点線の円形で疑似的に示したが、実際には、特徴量が算出される範囲は、楕円や矩形等、任意の形状が採用される。
【００１９】
なお、以下の説明では、検索対象画像から算出した各特徴量を「検索対象画像の特徴量」と記載する。続いて、情報提供装置１０は、クエリ画像についても同様に、自動的に選択された特徴的な点及び範囲（半径）及び方向に基づいて、その範囲における特徴量を算出する。なお、以下の説明では、クエリ画像から算出した各特徴量を「クエリ画像の特徴量」と記載する。
【００２０】
なお、上述した検索対象画像およびクエリ画像の特徴量は、GIST（http://ilab.usc.edu/siagian/Research/Gist/Gist.html）、カラーヒストグラム、色分布などの広域特徴量やＳＩＦＴ（Scale-Invariant  Feature  Transform）、ＳＵＲＦ（Speed-Up  Robust  Features）、特徴量等、画像が有する特徴量を取得する任意の技術が採用可能である。なお、ニューラルネットで生成される特徴量も利用可能である。
【００２１】
そして、情報提供装置１０は、クエリ画像の特徴量と検索対象画像の特徴量とをそれぞれ比較することで、検索対象画像の特徴量のうち、クエリ画像の特徴量と類似する特徴量を特定する。例えば、情報提供装置１０は、クエリ画像の特徴量ごとに、ＮＧＴ（Neighborhood  Graph  and  Tree）等といった技術を用いて、各検索対象画像の特徴量と類似するか否かを判定する。そして、情報提供装置１０は、クエリ画像の特徴量と、各検索対象画像の特徴量のうち、クエリ画像の特徴量と最も類似すると判定された特徴量とを対応付ける。
【００２２】
そして、情報提供装置１０は、検索対象画像のうち、クエリ画像の特徴量と対応付けられた特徴量の数が所定の閾値を超える検索対象画像を、クエリ画像の類似候補として選択する。すなわち、情報提供装置１０は、特徴量同士の類似性に基づく投票形式で、クエリ画像と類似する検索対象画像を類似画像の候補として選択する。なお、以下の説明では、上述した特徴量同士が類似するか否かを判定する処理を「特徴量照合処理」と記載する場合がある。
【００２３】
ここで、類似画像の候補をそのまま検索結果として出力する手法も考えられるが、情報提供装置１０は、さらに精度を高めるため、以下に説明する座標照合処理を実行する。例えば、情報提供装置１０は、類似画像の候補となった画像（以下、「候補画像」と記載する。）の特徴量とクエリ画像の特徴量のうち、相互に対応付けられた特徴量を特定する。
【００２４】
続いて、情報提供装置１０は、クエリ画像から特定した各特徴量の特徴点の座標をアフィン変換（例えば、回転、平行移動、拡大もしくは縮小）した際に、候補画像から特定した各特徴量の座標と類似するか否かを判定する。そして、情報提供装置１０は、クエリ画像の特徴点の座標と、候補画像の特徴点の座標とが類似すると判定した場合は、クエリ画像とその候補画像とが類似すると判定する。
【００２５】
すなわち、情報提供装置１０は、上述した特徴量照合処理において、検索対象画像の特徴量とクエリ画像が有する特徴量とが類似するか否かを判定し、判定結果に基づく投票により、クエリ画像が有する一部の特徴点を、複数の検索対象画像のうち一部の特徴点と対応付ける。そして、情報提供装置１０は、上述した座標照合処理において対応付けされた一部の特徴点を用いて、座標照合処理を実行することで、対応付けされた特徴点同士の座標の照合を行う。すなわち、情報提供装置１０は、クエリ画像の各特徴点の座標をアフィン変換した際に、検索対象画像の特徴点の座標と一致（若しくは類似）するかを判定し、座標が一致した特徴点の数が所定の数を超えるか否か等に基づいて、対応する特徴量同士の座標関係が類似するか否かを判定する。
【００２６】
なお、情報提供装置１０は、座標照合処理において、クエリ画像の全ての特徴量と、候補画像の全ての特徴量とを比較し直し、相互に類似するクエリ画像の特徴量と候補画像の特徴量との対応付けをやり直してもよい。そして、情報提供装置１０は、新たに対応付けられた特徴量同士の位置関係に基づいて、クエリ画像と候補画像とが類似するか否かを判定してもよい。このような処理の結果、情報提供装置１０は、類似画像の検索精度を向上させることができる。
【００２７】
〔１−３．検索処理の概要について〕
しかしながら、上述した特徴量照合処理や座標照合処理では、類似検索を適切に行っているとは言えない場合がある。例えば、同一の撮像対象が含まれる複数の画像から特徴量を抽出する処理について説明する。例えば、同一の撮像対象が含まれる複数の画像から特徴点を抽出した場合、撮像対象が有する特徴的な場所が特徴点として選択されうる。例えば、取引対象に付されたロゴや特徴的な形状や色彩が付された位置、すなわち、取引対象の特徴をより良く示す位置が特徴点として選択されやすくなる。しかしながら、このように取引対象の特徴をより良く示す位置を特徴点として抽出したとしても、撮影位置が異なる場合等は、取引対象が撮像されている位置や角度、背景の有無や照明の違い等により、特徴量が変化する場合がある。
【００２８】
より具体的な例を挙げると、取引対象となる商品のうち所定の位置を異なる方向から撮影した複数の画像から特徴量を抽出する例について説明する。例えば、取引対象となる商品に特徴的な色彩や形状を有する部分であって、どのような角度から見ても安定的にその取引対象を示すことができる部分が特徴点として選択された場合、商品を撮影した際の方向や照明が異なっていたとしても、類似する特徴量が抽出されると考えられる。一方、取引対象となる商品に特徴的な色彩や形状を有する部分であって、撮影方向によっては、特徴量が変化してしまうような部分が特徴点として選択された場合、商品を撮影した際の方向や照明が異なると、類似しない特徴量が抽出されると考えられる。
【００２９】
すなわち、画像から抽出される特徴量には、取引対象の特徴を安定的に示す特徴量と、取引対象の特徴を安定的に示すことが難しい特徴量とが存在する。このように、取引対象の特徴を安定的に示す特徴量は、意味的な検索に有用な特徴量であると考えられる。例えば、取引対象の特徴を安定的に示す特徴量同士を比較した場合、クエリ画像に撮影された取引対象と特徴が類似する取引対象が撮影された画像を検索することができると考えられる。
【００３０】
一方で、取引対象の特徴を安定的に示すことが難しい特徴量は、その取引対象とは異なる取引対象が有する特徴と類似してしまう恐れがある。この結果、取引対象の特徴を安定的に示すことが難しい特徴量を用いた検索を行った場合、意味的な検索を精度良く行うことができないと考えられる。
【００３１】
また、クエリ画像や各検索対象画像からは、複数の特徴点が選択される。このため、画像から抽出された全ての特徴量同士を比較した場合、検索に要する時間や計算コストが増大してしまう。
【００３２】
そこで、情報提供装置１０は、以下の検索処理を実行する。まず、情報提供装置１０は、クエリ情報または検索対象となる情報から抽出された特徴量のうち、類似する情報の検索に有用な有用特徴量を抽出する。そして、情報提供装置１０は、抽出された有用特徴量を用いて、クエリ情報と類似する情報を検索する。例えば、情報提供装置１０は、取引対象の特徴を安定的に示す特徴量等、検索に有用な有用特徴量を用いて、類似画像検索を行う。
【００３３】
例えば、情報提供装置１０は、検索対象となる情報から抽出された特徴量から有用特徴量をあらあかじめ抽出しておく。例えば、情報提供装置１０は、検索対象画像から抽出された特徴量のうち、類似する画像の検索に有用な有用特徴量をあらかじめ抽出しておく。より具体的な例を挙げると、情報提供装置１０は、撮影された取引対象、すなわち、撮像対象が類似する画像の検索に有用であると推定される特徴量（すなわち、撮像対象が有する特徴を安定的に示す特徴量）を有用特徴量として抽出する。そして、情報提供装置１０は、抽出した有用特徴量を用いて、クエリ画像と類似する画像の検索を行う。
【００３４】
〔１−４．有用特徴量について〕
ここで、情報提供装置１０は、類似画像の検索に有用な特徴量を抽出することができるのであれば、任意の条件を満たす特徴量を有用特徴量として抽出してよい。例えば、検索対象画像から抽出された特徴量と、検索対象画像に類似する類似画像から検出された特徴量とを比較することで、有用特徴量の抽出を行ってもよい。
【００３５】
例えば、あるクエリ画像＃Ａと類似する画像としてある検索対象画像＃Ａが存在する場合を考える。このような場合、クエリ画像＃Ａから抽出された特徴量には、検索対象画像＃Ａから抽出された特徴量と類似する特徴量が含まれると考えられる。そこで、情報提供装置１０は、検索対象画像の類似画像を取得し、検索対象画像から抽出される特徴量のうち、類似画像から抽出される特徴量との類似度が所定の条件を満たす特徴量を有用特徴量として抽出する。より具体的には、情報提供装置１０は、検索対象となる複数の情報から抽出された特徴量と、情報のうちいずれかの情報と類似する類似情報から抽出された特徴量との比較結果に基づいて、検索対象となる情報から抽出された特徴量から有用特徴量を抽出する。
【００３６】
以下、情報提供装置１０が有用特徴量を抽出する処理の一例について説明する。例えば、情報提供装置１０は、検索対象画像が登録されたデータベースから、いずれかの検索対象画像を処理対象として選択する。そして、情報提供装置１０は、抽出した検索対象画像と類似する画像、すなわち、類似画像の生成を行う。より具体的な例を挙げると、情報提供装置１０は、抽出した検索対象画像に撮影された取引対象と同一または類似の取引対象が撮影されていると認識されうる類似画像を生成する。
【００３７】
例えば、情報提供装置１０は、選択した検索対象画像の画像解析を行い、背景が撮影された範囲と主な撮影対象が撮影された範囲とを特定し、背景が撮影された範囲の削除や、異なる背景の合成等を行ってもよい。また、情報提供装置１０は、撮影対象を回転、拡大、縮小若しくは変形させた画像等、撮影対象が撮影された範囲をアフィン変換した画像を生成してもよい。また、情報提供装置１０は、検索対象画像全体に対して各種のアフィン変換を適用した画像を生成してもよい。また、情報提供装置１０は、各範囲や画像全体にぼかしを加えた画像を生成してもよい。また、情報提供装置１０は、解像度の変更等、任意の画像変換手法により、類似画像の生成を行えばよい。
【００３８】
なお、どの程度まで変化させた画像を類似画像とするかについては、情報提供装置１０が実行する類似画像検索の目的に応じて任意の設定が採用可能である。すなわち、情報提供装置１０は、類似画像として生成した画像がクエリ画像として入力された際に、元となる検索対象画像をクエリ画像に類似する画像として選択することができる程度に類似するのであれば、任意の画像変換を行った画像を類似画像として採用してよい。また、このような類似画像の生成は、各種の画像解析技術や画像生成技術により実現可能である。
【００３９】
続いて、情報提供装置１０は、生成した類似画像の特徴量を抽出し、類似画像から抽出した特徴量と、各検索対象画像から抽出された特徴量とをそれぞれ比較する。そして、情報提供装置１０は、検索対象画像から抽出された特徴量と、類似画像から抽出された特徴量とが類似するか否かを判定し、検索対象画像から抽出された特徴量ごとに、類似情報から抽出された特徴量と類似すると判定された回数を計数する。
【００４０】
例えば、情報提供装置１０は、各検索対象画像から抽出された各特徴量に対し、比較利用回数「０」と比較非利用回数「０」とをあらかじめ設定する。続いて、情報提供装置１０は、類似画像から抽出した特徴量から処理対象となる特徴量を１つ選択し、各検索対象画像から抽出された各特徴量と、処理対象となる特徴量とがそれぞれ類似するか否かを判定する。そして、情報提供装置１０は、各検索対象画像から抽出された各特徴量のうち、処理対象となる特徴量と最も類似すると判定された特徴量については、比較利用回数の値に１を加算し、各検索対象画像から抽出された各特徴量のうち、処理対象となる特徴量と最も類似すると判定されなかった特徴量については、比較非利用回数の値に１を加算する。また、情報提供装置１０は、上述した処理を類似画像から抽出したすべての特徴量について実行する。
【００４１】
また、情報提供装置１０は、上述した処理を全ての検索対象画像について実行する。そして、情報提供装置１０は、計数された回数に基づいて、検索対象画像から抽出された特徴量から有用特徴量を抽出する。例えば、検索対象画像から抽出された複数の特徴量のうち、比較利用回数の数が所定の閾値よりも多い特徴量は、その検索対象画像と類似する複数の類似画像の特徴量とマッチしやすい特徴量となる。このような特徴量は、検索対象画像と複数の類似画像とが共通して有する特徴であると言える。換言すると、検索対象画像から抽出された複数の特徴量のうち、比較利用回数の数が所定の閾値よりも多い特徴量は、撮影条件等の変動が生じても取引対象の特徴を安定的に示すことができる特徴量、すなわち、変動しにくい特徴量であると言える。
【００４２】
このような安定的な特徴量を用いて、類似画像検索を行った場合は、類似画像検索の精度を向上させることができると考えられる。また、このような安定的な特徴量以外の特徴量を類似画像検索の対象から除外した場合は、比較対象とする特徴量の数を削減できる結果、類似画像検索に要する時間や検索コストを削減できる。そこで、情報提供装置１０は、比較利用回数の値が所定の閾値を超える特徴量を有用特徴量として抽出する。そして、情報提供装置１０は、抽出した有用特徴量以外の特徴量を削除する。このような処理の結果、情報提供装置１０は、類似画像検索をより適切に行うことができる。
【００４３】
なお、比較非利用回数の値が所定の閾値を超える特徴量は、類似画像検索に有用な特徴量であるとは言えないと考えられる。そこで、情報提供装置１０は、比較非利用回数が所定の閾値を超える特徴量を削除対象としてもよい。また、情報提供装置１０は、比較利用回数が所定の閾値よりも多く、かつ、比較非利用回数が所定の閾値よりも少ない特徴量を有用特徴量としてもよい。また、情報提供装置１０は、比較利用回数と比較非利用回数とから、特徴量の有用性を示すスコアを算出し、算出したスコアが所定の閾値を超える特徴量を有用特徴量としてもよい。また、情報提供装置１０は、比較利用回数の値が高い方から順に所定の数の特徴量を有用特徴量としてもよい。
【００４４】
〔１−５．座標照合処理を用いた計数〕
ここで、上述した例では、情報提供装置１０は、検索対象画像の特徴量のうち、類似画像の特徴量に最も類似すると判定された回数が所定の閾値を超える特徴量を有用特徴量とした。すなわち、情報提供装置１０は、特徴量照合処理において利用された回数（類似画像の特徴量とマッチした回数）に基づいて、有用特徴量を抽出した。しかしながら、実施形態は、これに限定されるものではない。
【００４５】
例えば、情報提供装置１０は、検索対象画像から抽出された複数の特徴量のうち、類似画像から抽出された特徴量に類似すると判定された複数の特徴量を対象特徴量とし、類似情報から抽出された複数の特徴量のうち、対象特徴量に類似すると判定された複数の特徴量を類似特徴量とする。そして、情報提供装置１０は、対象特徴量の位置関係と類似特徴量の位置関係とが類似するか否かを判定し、位置関係とが類似すると判定された回数を計数し、計数された回数に基づいて、有用特徴量を抽出してもよい。すなわち、情報提供装置１０は、座標照合処理において利用された回数に基づいて、有用特徴量を抽出してもよい。
【００４６】
例えば、情報提供装置１０は、各検索対象画像から抽出された各特徴量に対し、座標利用回数「０」と座標非利用回数「０」とをあらかじめ設定する。続いて、情報提供装置１０は、複数の類似画像をクエリ画像として特徴量照合処理を実行し、検索対象画像から抽出された特徴量ごとに、クエリ画像の特徴量と最も類似すると判定された回数を比較利用回数として計数する。また、情報提供装置１０は、相互に類似すると判定されたクエリ画像の特徴量と、検索対象画像の特徴量とを対応付ける。また、情報提供装置１０は、クエリ画像の特徴量と対応付けられた特徴量の数が所定の閾値を超える検索対象画像を候補画像として抽出する。
【００４７】
続いて、情報提供装置１０は、候補画像においてクエリ画像の特徴量と対応付けられた特徴量の位置関係と、クエリ画像において候補画像の特徴量と対応付けられた特徴量の位置関係とが類似するか否かを判定し、類似すると判定した場合は、候補画像においてクエリ画像の特徴量と対応付けられた特徴量の座標利用回数に１を加算する。一方、情報提供装置１０は、候補画像においてクエリ画像の特徴量と対応付けられた特徴量の位置関係と、クエリ画像において候補画像の特徴量と対応付けられた特徴量の位置関係とが類似しないと判定された場合は、候補画像においてクエリ画像の特徴量と対応付けられた特徴量の座標非利用回数に１を加算する。
【００４８】
そして、情報提供装置１０は、座標利用回数や座標非利用回数に応じて、特徴量が有用特徴量であるか否かを判定する。例えば、情報提供装置１０は、比較利用回数が所定の閾値を超え、かつ、座標利用回数が所定の閾値を超える特徴量を有用特徴量としてもよい。また、情報提供装置１０は、比較利用回数、比較非利用回数、座標利用回数、および座標非利用回数に基づいて、特徴量が有用であるか否かを示すスコアを算出し、算出したスコアが所定の閾値を満たす特徴量を有用特徴量としてもよい。
【００４９】
〔１−６．特徴量照合処理について〕
上述した処理では、情報提供装置１０は、複数の検索対象画像から抽出した特徴量のうち、クエリ画像から抽出した特徴量と最も類似する特徴量を特定し、特定した特徴量の比較利用回数を計数した。しかしながら、実施形態は、これに限定されるものではない。
【００５０】
例えば、情報提供装置１０は、複数の検索対象画像から抽出した特徴量のうち、クエリ画像から抽出した特徴量との類似度が所定の閾値を超える全ての特徴量を抽出し、抽出した特徴量の比較利用回数に１を加算する。そして、情報提供装置１０は、比較利用回数が所定の閾値を満たす特徴量を有用特徴量としてもよい。すなわち、情報提供装置１０は、複数の検索対象画像から抽出した特徴量のうち、類似画像から抽出した特徴量との類似度が所定の閾値を超えると判定された回数が所定の閾値を満たす特徴量を有用特徴量としてもよい。
【００５１】
なお、情報提供装置１０は、クエリ画像と類似する検索対象画像を検索する際に、クエリ画像から抽出した特徴量との類似度が所定の閾値を超える全ての特徴量を抽出し、検索対象画像のうち、クエリ画像から抽出した特徴量との類似度が所定の閾値を超えると判定された特徴量の数が、所定の閾値以上となる検索対象画像を候補画像として抽出してもよい。
【００５２】
〔１−７．検索処理の一例〕
以下、図１を用いて、情報提供装置１０が実行する検索処理の一例を説明する。例えば、情報提供装置１０は、検索対象となる検索対象画像の特徴量をあらかじめ抽出する（ステップＳ１）。例えば、情報提供装置１０は、検索対象画像Ｔ１の中から複数の特徴点ＰＴ１−１、ＰＴ１−２・・・を所定のアルゴリズムで選択し、選択した特徴点ごとに特徴量ＦＴ−１、ＦＴ−２・・・を抽出する。
【００５３】
続いて、情報提供装置１０は、ある検索対象画像に類似する類似画像から、特徴量を抽出する（ステップＳ２）。例えば、情報提供装置１０は、検索対象画像Ｔ１に類似する類似画像として、検索対象画像Ｔ１に撮像されている取引対象と同じ取引対象が撮像された画像であって、検索対象画像Ｔ１とは異なる撮影条件で取引対象が撮像された類似画像ＡＴ１、ＡＴ２・・・を取得する。なお、このような類似画像ＡＴ１、ＡＴ２は、検索対象画像Ｔ１から生成された画像であってもよく、検索対象画像Ｔ１と類似する画像として所定の利用者から提供を受けた画像であってもよい。
【００５４】
続いて、情報提供装置１０は、検索対象画像Ｔ１から特徴点を抽出した際のアルゴリズムと同様のアルゴリズムを用いて、類似画像ＡＴ１から、特徴点ＰＡＴ１−１、ＰＡＴ１−２・・・を選択し、各特徴点から特徴量ＦＡＴ１−１、ＦＡＴ１−２・・・を算出する。同様に、情報提供装置１０は、検索対象画像Ｔ１から特徴点を抽出した際のアルゴリズムと同様のアルゴリズムを用いて、類似画像ＡＴ２から、特徴点ＰＡＴ２−１、ＰＡＴ２−２・・・を選択し、各特徴点から特徴量ＦＡＴ２−１、ＦＡＴ２−２・・・を算出する。
【００５５】
そして、情報提供装置１０は、類似画像をクエリ画像とした類似画像検索を行い、特徴量ごとに検索に利用された回数を計数する（ステップＳ３）。より具体的には、情報提供装置１０は、検索対象画像Ｔ１のみならず、データベースに登録された全ての検索対象画像を対象として、類似画像検索を行う。
【００５６】
例えば、情報提供装置１０は、ステップＳ２で抽出した全ての特徴量と、データベースに登録された全ての検索対象画像の全ての特徴量とを比較し、類似度が最も高い類似画像の特徴量と検索対象画像の特徴量とを対応付ける。そして、情報提供装置１０は、類似画像の特徴量と検索対象画像の特徴量との座標関係に基づいて、類似画像の検索を行う。すなわち、情報提供装置１０は、特徴量照合処理と座標照合処理とを実行する。
【００５７】
ここで、情報提供装置１０は、検索対象画像の特徴量ごとに、特徴量照合処理において類似画像の特徴量と対応付けられた回数を比較利用回数として計数し、特徴量照合処理において類似画像の特徴量と対応付けられなかった回数を比較非利用回数として計数する。また、情報提供装置１０は、検索対象画像の特徴量ごとに、座標照合処理において対応付けられた類似画像の特徴量と座標関係が一致したと判定された回数を座標利用回数として計数し、座標照合処理において対応付けられた類似画像の特徴量と座標関係が一致しないと判定された回数を座標非利用回数として計数する。すなわち、情報提供装置１０は、特徴量照合処理や、座標照合処理において利用された回数および利用されなかった回数の係数を行う。
【００５８】
そして、情報提供装置１０は、計数した回数に基づいて、検索に有用な有用特徴量を抽出する（ステップＳ４）。例えば、情報提供装置１０は、比較利用回数の値が所定の閾値を超える特徴量に種別「有用」を対応付け、それ以外の特徴量に種別「非有用」を対応付ける。なお、情報提供装置１０は、有用特徴量以外の有用特徴量をデータベースから削除してもよい。
【００５９】
ここで、情報提供装置１０は、クエリ画像を端末装置１００から取得した場合は（ステップＳ５）、クエリ画像の特徴量を有用特徴量との比較結果に基づいて、クエリ画像と類似する画像を検索する（ステップＳ６）。例えば、情報提供装置１０は、クエリ画像から特徴量ＦＱ１、ＦＱ２・・・を抽出する。そして、情報提供装置１０は、特徴量ＦＱ１、ＦＱ２・・・と、検索対象画像Ｔ１から抽出された特徴量のうち有用特徴量として抽出された特徴量ＦＴ１−１、１−３や、検索対象画像Ｔ２から抽出された特徴量のうち有用特徴量として抽出された特徴量ＦＴ２−４、２−７等とを比較する。また、情報提供装置１０は、比較結果に基づいて、上述した特徴量照合処理および座標照合処理を実行し、実行結果に基づいて、クエリ画像と類似する画像を検索する。
【００６０】
そして、情報提供装置１０は、検索結果を端末装置１００に送信する（ステップＳ７）。例えば、情報提供装置１０は、候補画像Ｔ１、Ｔ３のデータやサムネイル等を端末装置１００に送信する。なお、情報提供装置１０は、例えば、特徴量照合処理や座標照合処理の結果に応じたランキング形式で、検索した検索対象画像の情報を配信してもよい。例えば、情報提供装置１０は、各照合処理の結果に基づいて、各検索対象画像とクエリ画像と類似する確度を算出し、算出した確度に応じたランキング形式で、検索した検索対象画像の情報を配信してもよい。
【００６１】
〔１−８．検索処理の結果を用いた処理〕
ここで、上述した説明では、情報提供装置１０は、検索対象画像から類似画像を生成し、生成した類似画像をクエリ画像とした類似画像検索において、クエリ画像の特徴量と類似すると判定された回数に基づき、有用特徴量の抽出を行った。しかしながら、実施形態は、これに限定されるものではない。例えば、情報提供装置１０は、端末装置１００から受付けたクエリ画像と類似する類似画像検索、すなわち、類似画像検索の運用結果に基づいて、有用特徴量の抽出を行ってもよい。
【００６２】
例えば、情報提供装置１０は、検索対象画像のうち、第１クエリ画像と類似する情報を検索し、第１クエリ画像と類似する画像の検索結果に基づいて、検索対象画像から抽出された特徴量から有用特徴量を抽出する。そして、情報提供装置１０は、抽出された有用特徴量を用いて、第２クエリ画像と類似する画像を検索してもよい。例えば、情報提供装置１０は、検索対象画像から抽出された特徴量と、第１クエリ画像から抽出された特徴量とが類似するか否かを判定し、判定結果に基づいて、第１クエリ画像と類似する画像を検索する。ここで、情報提供装置１０は、検索結果に基づいて、第１クエリ画像と類似する検索対象画像の特徴量から有用特徴量を抽出し、抽出された有用特徴量に基づいて、第２クエリ画像と類似する情報を検索する。
【００６３】
例えば、情報提供装置１０は、類似画像検索の運用時において、利用者が提供したクエリ画像と類似する検索対象画像を検索し、検索結果を利用者に提供する。ここで、検索結果が示す検索対象画像のうち、利用者が選択した画像は、クエリ画像に最も類似する画像であると考えられる。
【００６４】
そこで、情報提供装置１０は、検索候補の中から利用者が選択した検索対象画像から抽出された特徴量のうち、利用者から受付けたクエリ画像から抽出された特徴量と対応付けられた特徴量（すなわち、最も類似する特徴量）や、類似度が所定の閾値を超えると判定された特徴量を特定し、特定した特徴量の比較利用回数に１を加算する。そして、情報提供装置１０は、比較利用回数の値が所定の閾値を超える特徴量を有用特徴量としてもよい。すなわち、情報提供装置１０は、検索候補の中から利用者が選択した検索対象画像から抽出された特徴量のうち、利用者から受付けたクエリ画像から抽出された特徴量と対応付けられた回数や、利用者から受付けたクエリ画像から抽出された特徴量との類似度が所定の閾値を超えると判定された回数が所定の閾値を超える特徴量を有用特徴量として抽出してもよい。
【００６５】
〔１−９．有用特徴量の特徴について〕
ここで、有用特徴量として抽出される特徴量には、所定の特徴が現れる可能性がある。そこで、情報提供装置１０は、有用特徴量が有する特徴をモデルに学習させてもよい。例えば、情報提供装置１０は、ＤＮＮ（Deep  Neural  Network）やＳＶＭ（Support  Vector  Machine）等、任意のモデルに対して、有用特徴量が有する特徴をモデルに学習させてもよい。
【００６６】
また、情報提供装置１０は、非有用特徴量の特徴をモデルに学習させてもよい。例えば、情報提供装置１０は、比較非利用回数や座標非利用回数が所定の閾値を超える特徴量を被有用特徴量として抽出する。なお、このようにして抽出される非有用特徴量は、有用特徴量以外の特徴量のうち、より検索に有用ではないと推定される特徴量となる。そして、情報提供装置１０は、有用特徴量と非有用特徴量との差をモデルに学習させることで、有用特徴量が独自に有する特徴を精度良く学習させてもよい。
【００６７】
このような学習が行われた学習モデルは、特徴量から有用特徴量を抽出することができると推定される。そこで、情報提供装置１０は、学習モデルを用いて、検索対象画像から抽出された特徴量から有用特徴量を抽出してもよい。例えば、情報提供装置１０は、検索対象画像から抽出された特徴量を学習モデルに入力することで、有用特徴量であるか否かを判定し、有用特徴量であると判定された特徴量のみをデータベースに登録してもよい。
【００６８】
また、情報提供装置１０は、学習モデルを用いて、クエリ画像から抽出された特徴量から有用特徴量を抽出し、抽出した有用特徴量と、検索対象画像から抽出された特徴量との比較結果に基づいて、クエリ画像と類似する画像の検索を行ってもよい。例えば、情報提供装置１０は、運用時に、学習モデルを用いて、クエリ画像から抽出された特徴量から有用特徴量を抽出する。そして、情報提供装置１０は、抽出した有用特徴量と、検索対象画像から抽出した全ての特徴量との比較結果に基づいて、クエリ画像と類似する画像の検索を行ってもよい。
【００６９】
また、情報提供装置１０は、クエリ画像の特徴量から学習モデルを用いて抽出された特徴量と、検索対象画像の特徴量から上述した各種の手法で抽出した有用特徴量、もしくは、検索対象画像の特徴量から学習モデルを用いて抽出した有用特徴量との比較結果に基づいて、クエリ画像と類似する画像の検索を行ってもよい。
【００７０】
なお、情報提供装置１０は、画像検索に用いる有用特徴量と、モデルの学習に用いる有用特徴量とを異なるものとしてもよい。例えば、モデルに有用特徴量が有する特徴を精度良く学習させるためには、モデルの学習に用いる有用特徴量が実際に有用である確度は、画像検索に用いる有用特徴量が実際に有用である確度よりも高い方が良いと考えられる。そこで、情報提供装置１０は、異なる閾値を用いて、画像検索に用いる有用特徴量と、モデルの学習に用いる有用特徴量とをそれぞれ個別に抽出してもよい。
【００７１】
例えば、情報提供装置１０は、検索対象画像から抽出された特徴量と、類似画像から抽出された特徴量とが類似するか否かを判定する。また、情報提供装置１０は、検索対象画像から抽出された特徴量ごとに、類似画像から抽出された特徴量と類似すると判定された回数を計数する。そして、情報提供装置１０は、計数された回数が所定の第１閾値以上となる特徴量を第１有用特徴量として抽出するとともに、計数された回数が第１閾値よりも大きい第２閾値以上となる特徴量を第２有用特徴量として抽出する。その後、情報提供装置１０は、第１有用特徴量を用いて、クエリ画像と類似する情報を検索する。一方、情報提供装置１０は、第２有用特徴量が有する特徴をモデルに学習させてもよい。この結果、情報提供装置１０は、画像から抽出された特徴量が画像検索に有用な有用特徴量であるか否かを精度良く判定する学習モデルを生成することができる。
【００７２】
〔１−１０．各処理の関係について〕
ここで、図２を用いて、情報提供装置１０が実行する各処理の関係性について説明する。図２は、実施形態に係る情報提供装置が実行する処理の関係を示す図である。例えば、情報提供装置１０は、クエリ画像を取得すると（ステップＳ１０）、クエリ画像の特徴量であるクエリ特徴量を抽出し（ステップＳ１１）、検索処理を実行する（ステップＳ１２）。例えば、情報提供装置１０は、クエリ特徴量と、検索対象画像の特徴量とを比較する特徴量照合処理、およびクエリ画像と検索対象画像とにおいて相互に類似する特徴量の位置関係を比較する座標照合処理を実行し、実行結果に基づいた類似判定を行う。
【００７３】
ここで、情報提供装置１０は、検索対象画像の特徴量ごとに、特徴量照合処理や座標照合処理において、クエリ画像の特徴量と類似したと判定された回数や、座標が類似したと判定された回数等、各種の利用回数を計数する（ステップＳ１３）。また、情報提供装置１０は、計数結果に基づいて、検索対象画像の有用特徴量と非有用特徴量とを設定する（ステップＳ１４）。そして、情報提供装置１０は、検索対象画像の特徴量のうち、有用特徴量を抽出し（ステップＳ１５）、抽出した有用特徴量とクエリ特徴量とを用いた検索処理を実行する（ステップＳ１２）。
【００７４】
一方、情報提供装置１０は、検索対象画像から類似画像を生成し（ステップＳ１６）、類似画像を検索クエリとして（ステップＳ１７）、検索処理を実行する（ステップＳ１２）。この結果、情報提供装置１０は、検索対象画像の特徴量ごとに、特徴量照合処理や座標照合処理において、類似画像の特徴量と類似したと判定された回数や、座標が類似したと判定された回数等、各種の利用回数を計数し（ステップＳ１３）、計数結果に基づいて、有用特徴量と非有用特徴量とを設定することができる（ステップＳ１４）。
【００７５】
また、情報提供装置１０は、有用特徴量が有する特徴を学習し（ステップＳ１８）、学習結果に基づいて、クエリ画像からクエリ特徴量を抽出し（ステップＳ１１）、抽出したクエリ特徴量を用いた検索処理を実行する（ステップＳ１２）。より具体的には、情報提供装置１０は、クエリ画像から抽出された特徴量のうち、検索対象画像から抽出された有用特徴量と類似する特徴を有する特徴量を有用特徴量として抽出し、抽出したクエリ画像の有用特徴量を用いて、検索処理を実行する（ステップＳ１２）。
【００７６】
〔１−１１．類似画像について〕
上述した例では、情報提供装置１０は、検索対象画像から抽出された特徴量のうち、クエリ画像から抽出された特徴量と類似すると判定された回数が所定の閾値を満たす特徴量を有用特徴量とした。このような処理の結果、情報提供装置１０は、クエリ画像と類似する検索対象画像を効率良く検索することができる。
【００７７】
ここで、上述した例では、クエリ画像と類似する画像として、クエリ画像に撮像された取引対象と同一または類似する取引対象が撮像された検索対象画像を検索するための処理について記載した。例えば、情報提供装置１０は、検索対象画像に撮像された取引対象と同一または類似する取引対象が撮像された画像を類似画像とし、検索対象画像の特徴量のうち、類似画像の特徴量と類似すると判定された回数が所定の閾値を超える特徴量を有用特徴量とした。しかしながら、実施形態は、これに限定されるものではない。
【００７８】
例えば、情報提供装置１０は、検索対象画像と外観が類似する画像を類似画像とし、検索対象画像の特徴量のうち、類似画像の特徴量と類似すると判定された回数が所定の閾値を超える特徴量を有用特徴量とすることで、検索対象画像と外観が類似する画像を検索する際に有用な特徴量を有用特徴量としてもよい。すなわち、実施形態における「類似」とは、撮像対象が「類似」するといった意味的な「類似」のみならず外観の「類似」をも含む概念である。
【００７９】
また、情報提供装置１０は、運用時にどのような観点からの「類似」を採用するかに応じて、有用特徴量の抽出を行ってよい。例えば、情報提供装置１０は、運用時においてある検索対象画像と「類似」すると判定したいクエリ画像を類似画像とし、検索対象画像の特徴量のうち、類似画像の特徴量と類似すると判定された回数が所定の閾値を超える特徴量を有用特徴量とすればよい。
【００８０】
〔１−１２．処理の対象について〕
ここで、上述した例では、情報提供装置１０は、クエリ画像と類似する検索対象画像の検索を行った。しかしながら、実施形態は、これに限定されるものではない。例えば、情報提供装置１０は、文章や音楽等、任意のコンテンツについて、上述した検索処理を適用可能である。
【００８１】
例えば、情報提供装置１０は、検索対象が文章である場合、クエリ文章や検索対象となる文章の中から特徴点としていくつかの単語を選択し、選択した単語の前後に存在する複数の単語を抽出する。また、情報提供装置１０は、抽出した単語の特徴量を、特徴量として算出するとともに、単語の相対的な出現位置（例えば、特徴点として選択した単語から次の単語までの間に存在する単語の数等）を座標とみなす。そして、情報提供装置１０は、特徴量の比較結果に基づいた検索処理を行うとともに、クエリ文章の特徴量と類似すると判定された回数に応じて、検索対象となる文章の特徴量から有用特徴量を抽出してもよい。
【００８２】
また例えば、情報提供装置１０は、検索対象が音声である場合、クエリ音声や検索対象となる音声の中から特徴点としていくつかの再生位置を選択し、選択した再生位置の前後に存在する音声の周波数特性から特徴量を算出する、また、情報提供装置１０は、再生位置を座標とみなす。そして、情報提供装置１０は、特徴量の比較結果に基づいた検索処理を行うとともに、クエリ音声の特徴量と類似すると判定された回数に応じて、検索対象となる音声の特徴量から有用特徴量を抽出してもよい。
【００８３】
なお、情報提供装置１０は、異種間の類似検索を行ってもよい。例えば、情報提供装置１０は、クエリ文章と類似する対象音声の検索を行ってもよく、クエリ音声と類似する対象文章の検索を行ってもよい。また、このような異種間の類似検索において有用な特徴量を、クエリや検索対象となる音声若しくは文章から抽出してもよい。すなわち、情報提供装置１０は、局所的な特徴を示す多次元量を特徴量として設定することができるコンテンツであれば、任意のコンテンツについて、上述した検索処理を適用し、有用特徴量の抽出を行ってよい。
【００８４】
〔２．情報提供装置の構成〕
以下、上記した検索処理を実現する情報提供装置１０が有する機能構成の一例について説明する。図３は、実施形態に係る情報提供装置の構成例を示す図である。図３に示すように、情報提供装置１０は、通信部２０、記憶部３０、および制御部４０を有する。
【００８５】
通信部２０は、例えば、ＮＩＣ（Network  Interface  Card）等によって実現される。そして、通信部２０は、ネットワークＮと有線または無線で接続され、端末装置１００との間で情報の送受信を行う。
【００８６】
記憶部３０は、例えば、ＲＡＭ（Random  Access  Memory)、フラッシュメモリ（Flash  Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。また、記憶部３０は、検索対象データベース３１および学習モデル３２を記憶する。
【００８７】
検索対象データベース３１には、検索対象となる対象情報が登録されている。例えば、図４は、実施形態に係る検索対象データベースに登録される情報の一例を示す図である。図４に示す例では、検索対象データベース３１には、「検索対象ＩＤ（Identifier）」、「検索対象データ」、「特徴量」、「比較利用回数」、「比較非利用回数」、「座標利用回数」、「座標非利用回数」、および「種別」といった情報が登録されている。
【００８８】
ここで、「検索対象ＩＤ」とは、検索対象画像を識別する識別子である。また、「検索対象データ」とは、検索対象画像のデータである。また、「特徴量」とは、特徴量である。また、「比較利用回数」、「比較非利用回数」、「座標利用回数」、および「座標非利用回数」とは、それぞれ、対応付けられた特徴量の比較利用回数、比較非利用回数、座標利用回数、および座標非利用回数である。また、「種別」とは、対応付けられた特徴量が有用特徴量であるか非有用特徴量であるかを示す情報である。
【００８９】
例えば、図４に示す例では、検索対象データベース３１には、検索対象ＩＤ「Ｔ１」、検索対象データ「ＴＤ＃１」、比較利用回数「５」、比較非利用回数「２」、座標利用回数「３」、座標非利用回数「２」および種別「有用」が対応付けて登録されている。このような情報は、検索対象ＩＤ「Ｔ１」が示す検索対象画像のデータが「ＴＤ＃１」であり、特徴量が「ＦＴ１−１」である旨を示す。また、このような情報は、特徴量「ＦＴ１−１」の比較利用回数が「５」、比較非利用回数が「２」、座標利用回数が「３」、および座標非利用回数が「２」である旨を示す。また、このような情報は、特徴量「ＦＴ１−１」が有用特徴量である旨を示す。
【００９０】
なお、図４に示した各種の値は、概念的なものであり、実際には、検索対象データベース３１には、各特徴量等を示す数値が登録されるものとする。また、検索対象データベース３１には、図４に示す情報以外にも、特徴量と対応する特徴点や、検索対象画像と対応する取引対象に関する各種の情報等、任意の情報が登録されていてよい。
【００９１】
図３に戻り、説明を続ける。学習モデル３２は、有用特徴量の特徴を学習した学習モデルである。例えば、学習モデルは、ＤＮＮやＳＶＭ等、有用特徴量の特徴を学習した学習モデルの各種パラメータである。
【００９２】
制御部４０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central  Processing  Unit）、ＭＰＵ（Micro  Processing  Unit）等のプロセッサによって、情報提供装置１０内部の記憶装置に記憶されている各種プログラムがＲＡＭ等を作業領域として実行されることにより実現される。また、制御部４０は、コントローラ（controller）であり、例えば、ＡＳＩＣ（Application  Specific  Integrated  Circuit）やＦＰＧＡ（Field  Programmable  Gate  Array）等の集積回路により実現されてもよい。
【００９３】
図４に示すように、制御部４０は、抽出部４１、判定部４２、計数部４３、検索部４４、生成部４５、および学習部４６を有する。
【００９４】
抽出部４１は、クエリ画像または検索対象画像から抽出された特徴量のうち、類似する情報の検索に有用な有用特徴量を抽出する。例えば、抽出部４１は、検索対象画像から抽出された特徴量から有用特徴量を抽出する。
【００９５】
例えば、抽出部４１は、検索対象画像から抽出された特徴量と、その情報と類似する類似情報から抽出された特徴量との比較結果に基づいて、その検索対象画像から抽出された特徴量から有用特徴量を抽出する。また、抽出部４１は、複数の検索対象から抽出された特徴量と、いずれかの検索対象画像と類似する類似情報から抽出された特徴量との比較結果に基づいて、その検索対象画像から抽出された特徴量から有用特徴量を抽出する。
【００９６】
ここで、抽出部４１は、クエリ画像、または、検索対象となる画像から抽出された特徴量のうち、類似する画像の検索に有用な有用特徴量を抽出することとなる。例えば、抽出部４１は、類似する画像の検索に有用な有用特徴量として、撮像対象が類似する画像の検索に有用な有用特徴量を抽出する。
【００９７】
より具体的には、抽出部４１は、計数部４３により計数された回数に基づいて、検索対象画像から抽出された特徴量から有用特徴量を抽出する。例えば、抽出部４１は、検索対象画像から抽出された特徴量のうち、計数部４３により計数された回数が所定の閾値以上となる特徴量を有用特徴量として抽出する。
【００９８】
例えば、抽出部４１は、所定の情報処理装置（図示は、省略）から検索対象画像を受付けた場合は、検索対象画像の特徴量を抽出し、検索対象画像と各特徴量とを検索対象データベース３１に登録する。また、抽出部４１は、所定の時間間隔で、検索対象データベース３１を参照し、各特徴量の比較利用回数、比較非利用回数、座標利用回数、および座標非利用回数を参照し、参照した各回数に基づいて、各特徴量が類似画像検索に有用であるか否かを示すスコアを算出する。例えば、抽出部４１は、比較利用回数や座標利用回数が多い程値が高くなり、比較非利用回数や座標非利用回数が多い程値が低くなるスコアを算出する。
【００９９】
そして、抽出部４１は、算出したスコアの値が所定の閾値を超える場合は、特徴量に種別「有用」を対応付け、算出したスコアの値が所定の閾値を下回る場合は、特徴量に種別「非有用」を対応付ける。なお、抽出部４１は、有用と非有用とを区別するための閾値を同じ閾値にしてもよく、異なる閾値にしてもよい。
【０１００】
なお、抽出部４１は、検索対象画像から抽出された特徴量が登録された記憶装置から、有用特徴量以外の特徴量を削除してもよい。例えば、抽出部４１は、種別「非有用」を対応付けた特徴量を、検索対象データベース３１から削除してもよい。
【０１０１】
また、抽出部４１は、学習部４６により学習されたモデルを用いて、クエリ画像から抽出された特徴量から有用特徴量を抽出してもよい。例えば、抽出部４１は、端末装置１００からクエリ画像を受付けた場合は、クエリ画像の特徴量を抽出する。また、抽出部４１は、学習モデル３２を記憶部３０から読出し、学習モデルを用いて、クエリ画像の特徴量のうち有用特徴量を抽出する。
【０１０２】
なお、抽出部４１は、学習モデル３２を用いて、検索対象画像の有用特徴量を抽出してもよい。例えば、抽出部４１は、学習モデル３２に検索対象画像の各特徴量を入力し、各特徴量が有用特徴量であるか否かを判定してもよい。
【０１０３】
また、抽出部４１は、検索対象画像から抽出された特徴量と、生成部４５により生成された類似画像から抽出された特徴量との比較結果に基づいて、検索対象画像から抽出された特徴量から有用特徴量を抽出してもよい。例えば、抽出部４１は、生成部４５から類似画像を取得すると、取得した類似画像から特徴量を抽出し、抽出した特徴量を計数部４３へと提供する。そして、抽出部４１は、検索対象データベース３１を参照し、計数部により計数された各種の利用回数に基づいて、検索対象画像から有用特徴量を抽出する。なお、抽出部４１は、学習モデルを用いて、類似画像から抽出された特徴量から有用特徴量を抽出し、抽出した有用特徴量を計数部４３に提供してもよい。
【０１０４】
ここで、検索対象データベース３１に登録される各利用回数は、判定部４２、計数部４３、および検索部４４による検索において計数されることとなる。このため、抽出部４１は、検索部４４による検索結果に基づいて、過去の画像（すなわち、第１クエリ画像）と類似する情報の特徴量から有用特徴量を抽出することとなる。すなわち、抽出部４１は、過去のクエリ画像と類似する画像の検索結果に基づいて、検索対象画像から抽出された特徴量から有用特徴量を抽出することとなる。
【０１０５】
なお、抽出部４１は、計数部により計数された回数が所定の第１閾値以上となる特徴量を第１有用特徴量として抽出するとともに、計数部により計数された回数が第１閾値よりも大きい第２閾値以上となる特徴量を第２有用特徴量として抽出してもよい。例えば、抽出部４１は、計数部４３により計数された回数が所定の第１閾値以上となる特徴量に対しては、種別「有用」を対応付けて検索対象データベース３１に登録する。一方、抽出部４１は、計数部４３により計数された回数が第１閾値よりも大きい第２閾値以上となる特徴量に対しては、種別「有用」を対応付けて検索対象データベース３１に登録するとともに、学習データとして学習部４６に通知してもよい。
【０１０６】
判定部４２は、検索対象画像から抽出された特徴量と、類似情報から抽出された特徴量とが類似するか否かを判定する。また、判定部４２は、検索対象画像から抽出された複数の特徴量のうち、類似情報から抽出された特徴量に類似すると判定された複数の対象特徴量の位置関係と、類似情報から抽出された複数の特徴量のうち、複数の対象特徴量に類似すると判定された複数の類似特徴量の位置関係とが類似するか否かを判定する。
【０１０７】
例えば、判定部４２は、類似画像検索の運用時においては、抽出部４１がクエリ画像から抽出した特徴量を受付ける。また、例えば、判定部４２は、生成部４５により生成された類似画像から抽出部４１が抽出した特徴量を受付ける。なお、このようなクエリ画像や類似画像の特徴量は、学習モデル３２を用いて抽出された有用特徴量であってもよい。
【０１０８】
このような場合、判定部４２は、検索対象データベース３１を参照し、受付けたクエリ画像または類似画像の特徴量と最も類似する特徴量を特定し、クエリ画像または類似画像の特徴量と、検索対象データベース３１から特定した特徴量とを対応付ける。そして、判定部４２は、対応付けた特徴量同士の位置関係が類似するか否かを判定する。すなわち、判定部４２は、特徴量照合処理と座標照合処理とを実行する。なお、判定部４２は、特徴量照合処理において、受付けたクエリ画像または類似画像の特徴量と類似度が所定の閾値を超える全ての特徴量を検索対象データベース３１から特定してもよい。
【０１０９】
計数部４３は、検索対象画像から抽出された特徴量ごとに、類似画像から抽出された特徴量と類似すると判定された回数を計数する。また、計数部４３は、検索対象画像から抽出された特徴量ごとに、類似画像から抽出された特徴量と最も類似すると判定された回数を計数する。また、計数部４３は、複数の対象特徴量の位置関係と類似特徴量の位置関係とが類似すると判定された回数を計数する。
【０１１０】
例えば、計数部４３は、検索対象データベース３１に登録された特徴量が、類似画像から抽出された特徴量と類似すると判定部４２により判定された場合は、その特徴量の比較利用回数に１を加算する。また、計数部４３は、検索対象データベース３１に登録された特徴量が、類似画像から抽出された特徴量と類似しないと判定部４２により判定された場合は、その特徴量の比較非利用回数に１を加算する。
【０１１１】
また、例えば、計数部４３は、検索対象データベース３１に登録された特徴量のうち、類似画像から抽出された特徴量と対応付けられた特徴量を対象特徴量とし、類似画像から抽出された特徴量のうち、対象特徴量と対応付けられた特徴量を類似特徴量とする。そして、計数部４３は、判定部４２により、ある検索対象画像の対象特徴量と、類似画像の築地特徴量との位置関係が類似すると判定された場合は、その対象特徴量の座標利用回数に１を加算する。一方、計数部４３は、判定部４２により、ある検索対象画像の対象特徴量と、類似画像の築地特徴量との位置関係が類似しないと判定された場合は、その対象特徴量の座標非利用回数に１を加算する。
【０１１２】
一方、計数部４３は、類似画像検索の運用時においては、以下の処理を実行する。まず、判定部４２による判定結果を一時的に保持する。また、計数部４３は、端末装置１００から、検索結果に含まれる検索対象画像のうち、利用者が選択した検索対象画像の通知を受付けると、通知された検索対象画像の特徴量のうち、クエリ画像から抽出された特徴量と類似すると判定された特徴量の比較利用回数に１を加算する。また、計数部４３は、通知された検索対象画像の特徴量のうち、クエリ画像から抽出された特徴量であって、対応付けられた特徴量との位置関係が類似すると判定部４２により判定された特徴量の座標利用回数に１を加算する。
【０１１３】
検索部４４は、有用特徴量を用いて、クエリ画像と類似する情報を検索する。例えば、検索部４４は、判定部４２による判定結果に基づいて、クエリ画像と類似する検索対象画像を検索する。例えば、検索部４４は、類似画像検索の運用時において、判定部４２による特徴量照合処理や座標照合処理の結果を取得する。そして、検索部４４は、座標照合処理の結果、類似する特徴量同士の位置関係が類似すると判定された検索対象画像を、クエリ画像と類似する画像として選択する。
【０１１４】
また、検索部４４は、クエリ画像と類似する画像のサムネイル等、各種の情報を配置した検索結果を生成する。そして、検索部４４は、クエリ画像の送信元となる端末装置１００に対し、生成した検索結果を提供する。
【０１１５】
生成部４５は、検索対象画像から、類似画像を生成する。例えば、生成部４５は、類似画像を用いて有用特徴量の抽出を行う場合、検索対象データベース３１からいずれかの検索対象画像を選択し、各種の画像変換技術を用いて、選択した検索対象画像の類似画像を生成する。そして、生成部４５は、生成した類似画像を抽出部４１に提供する。
【０１１６】
学習部４６は、有用特徴量が有する特徴をモデルに学習させる。例えば、学習部４６は、クエリ画像と類似する検索対象画像を検索する際に用いる有用特徴量よりもより有用性が高い特徴量を用いて、モデルの学習を行う。例えば、学習部４６は、抽出部４１により抽出された有用特徴量の通知を受付けると、通知された有用特徴量が有する特徴を学習モデル３２に学習させる。なお、学習部４６は、例えば、有用特徴量が有する特徴と非有用特徴量が有する特徴と差を学習モデル１２に学習させてもよい。
【０１１７】
〔３．情報提供装置が実行する処理の流れの一例〕
続いて、図５を用いて、情報提供装置１０が実行する処理の流れの一例を説明する。図５は、実施形態に係る情報提供装置が実行する検索処理の流れの一例を示すフローチャートである。
【０１１８】
例えば、情報提供装置１０は、検索対象画像から特徴量を抽出する（ステップＳ１０１）。続いて、情報提供装置１０は、類似画像をクエリ画像とした際に、検索に用いられた回数を特徴量ごとに計数する（ステップＳ１０２）。例えば、情報提供装置１０は、クエリ画像の特徴量と類似すると判定された回数や、クエリ画像の特徴量と位置関係が類似すると判定された回数等を計数する。
【０１１９】
そして、情報提供装置１０は、計数した回数に基づいて、有用特徴量を抽出する（ステップＳ１０３）。すなわち、情報提供装置１０は、類似画像検索においてクエリ画像の特徴量と類似すると判定された頻度が高い特徴量、すなわち、類似画像検索に有用な特徴量を有用特徴量として抽出する。
【０１２０】
ここで、情報提供装置１０は、クエリ画像を端末装置１００から取得したか否かを判定し（ステップＳ１０４）、取得していない場合は（ステップＳ１０４：Ｎｏ）、取得するまで待機する。そして、情報提供装置１０は、クエリ画像を端末装置１００から取得した場合は(ステップＳ１０５：Ｙｅｓ)、クエリ画像の特徴量と有用特徴量とを比較し（ステップＳ１０５）、比較結果に基づいて、クエリ画像に類似する画像を検索対象画像から検索し（ステップＳ１０６）、処理を終了する。
【０１２１】
〔４．変形例〕
上記では、情報提供装置１０による検索処理の一例について説明した。しかしながら、実施形態は、これに限定されるものではない。以下、検索処理のバリエーションについて説明する。
【０１２２】
〔４−１．特徴量の比較について〕
上述した例では、情報提供装置１０は、クエリ情報の特徴量と、検索対象となる情報（以下、「対象情報」と記載する場合がある。）のクエリ特徴量とを比較した。ここで、情報提供装置１０は、任意の情報が有する特徴量を特徴量としてもよい。例えば、情報提供装置１０は、検索対象が画像である場合、特徴点の周囲の画素の彩度や明度の平均値等を特徴量としてもよく、検索対象が音声である場合、特徴点の周囲数秒の周囲の周波数特性を特徴量としてもよい。また、上述した処理以外にも、情報提供装置１０は、任意の特徴量比較技術を併用してもよい。
【０１２３】
〔４−２．その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、逆に、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
【０１２４】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
【０１２５】
また、上記してきた各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【０１２６】
〔４−３．プログラム〕
また、上述した実施形態に係る情報提供装置１０および端末装置１００は、例えば図６に示すような構成のコンピュータ１０００によって実現される。図６は、ハードウェア構成の一例を示す図である。コンピュータ１０００は、出力装置１０１０、入力装置１０２０と接続され、演算装置１０３０、一次記憶装置１０４０、二次記憶装置１０５０、出力ＩＦ（Interface）１０６０、入力ＩＦ１０７０、ネットワークＩＦ１０８０がバス１０９０により接続された形態を有する。
【０１２７】
演算装置１０３０は、一次記憶装置１０４０や二次記憶装置１０５０に格納されたプログラムや入力装置１０２０から読み出したプログラム等に基づいて動作し、各種の処理を実行する。一次記憶装置１０４０は、ＲＡＭ等、演算装置１０３０が各種の演算に用いるデータを一次的に記憶するメモリ装置である。また、二次記憶装置１０５０は、演算装置１０３０が各種の演算に用いるデータや、各種のデータベースが登録される記憶装置であり、ＲＯＭ(Read  Only  Memory)、ＨＤＤ（Hard  Disk  Drive）、フラッシュメモリ等により実現される。
【０１２８】
出力ＩＦ１０６０は、モニタやプリンタといった各種の情報を出力する出力装置１０１０に対し、出力対象となる情報を送信するためのインタフェースであり、例えば、ＵＳＢ（Universal  Serial  Bus）やＤＶＩ（Digital  Visual  Interface）、ＨＤＭＩ（登録商標）（High  Definition  Multimedia  Interface）といった規格のコネクタにより実現される。また、入力ＩＦ１０７０は、マウス、キーボード、およびスキャナ等といった各種の入力装置１０２０から情報を受信するためのインタフェースであり、例えば、ＵＳＢ等により実現される。
【０１２９】
なお、入力装置１０２０は、例えば、ＣＤ（Compact  Disc）、ＤＶＤ（Digital  Versatile  Disc）、ＰＤ（Phase  change  rewritable  Disk）等の光学記録媒体、ＭＯ（Magneto-Optical  disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等から情報を読み出す装置であってもよい。また、入力装置１０２０は、ＵＳＢメモリ等の外付け記憶媒体であってもよい。
【０１３０】
ネットワークＩＦ１０８０は、ネットワークＮを介して他の機器からデータを受信して演算装置１０３０へ送り、また、ネットワークＮを介して演算装置１０３０が生成したデータを他の機器へ送信する。
【０１３１】
演算装置１０３０は、出力ＩＦ１０６０や入力ＩＦ１０７０を介して、出力装置１０１０や入力装置１０２０の制御を行う。例えば、演算装置１０３０は、入力装置１０２０や二次記憶装置１０５０からプログラムを一次記憶装置１０４０上にロードし、ロードしたプログラムを実行する。
【０１３２】
例えば、コンピュータ１０００が情報提供装置１０として機能する場合、コンピュータ１０００の演算装置１０３０は、一次記憶装置１０４０上にロードされたプログラムを実行することにより、制御部４０の機能を実現する。また、例えば、コンピュータ１０００が端末装置１００として機能する場合、コンピュータ１０００の演算装置１０３０は、一次記憶装置１０４０上にロードされたプログラムを実行することにより、制御部４０の機能を実現する。
【０１３３】
〔５．効果〕
上述したように、情報提供装置１０は、クエリ画像など、クエリとなる情報であるクエリ情報または検索対象画像等、検索対象となる情報から抽出された特徴量のうち、類似する情報の検索に有用な有用特徴量を抽出する。そして、情報提供装置１０は、抽出された有用特徴量を用いて、クエリ情報と類似する情報を検索する。この結果、情報提供装置１０は、類似検索に有用な特徴量を用いて、類似検索を行うので、検索精度を向上させるととともに、検索に要する時間や計算コストを削減する結果、類似検索の効率を改善できる。
【０１３４】
また、例えば、情報提供装置１０は、検索対象となる情報から抽出された特徴量から有用特徴量を抽出する。例えば、情報提供装置１０は、検索対象となる情報から抽出された特徴量と、その情報と類似する類似情報から抽出された特徴量との比較結果に基づいて、その検索対象となる情報から抽出された特徴量から有用特徴量を抽出する。また、情報提供装置１０は、検索対象となる複数の情報から抽出された特徴量と、その情報のうちいずれかの情報と類似する類似情報から抽出された特徴量との比較結果に基づいて、その検索対象となる情報から抽出された特徴量から有用特徴量を抽出する。
【０１３５】
また、情報提供装置１０は、検索対象となる情報から抽出された特徴量と、類似情報から抽出された特徴量とが類似するか否かを判定する。また、情報提供装置１０は、検索対象となる情報から抽出された特徴量ごとに、類似情報から抽出された特徴量と類似すると判定された回数を計数する。そして、情報提供装置１０は、計数された回数に基づいて、その検索対象となる情報から抽出された特徴量から有用特徴量を抽出する。例えば、情報提供装置１０は、検索対象となる情報から抽出された特徴量ごとに、類似情報から抽出された特徴量と最も類似すると判定された回数を計数する。これらの処理の結果、情報提供装置１０は、類似検索に有用な特徴量を抽出することができる。
【０１３６】
また、情報提供装置１０は、検索対象となる情報から抽出された複数の特徴量のうち、類似情報から抽出された特徴量に類似すると判定された複数の対象特徴量の位置関係と、類似情報から抽出された複数の特徴量のうち、複数の対象特徴量に類似すると判定された複数の類似特徴量の位置関係とが類似するか否かを判定し、複数の対象特徴量の位置関係と類似特徴量の位置関係とが類似すると判定された回数を計数し、計数部により計数された回数に基づいて、その検索対象となる情報から抽出された特徴量から有用特徴量を抽出する。このため、情報提供装置１０は、座標照合処理を実行する類似検索において有用な特徴量を有用特徴量として抽出できる。
【０１３７】
また、情報提供装置１０は、検索対象となる情報から抽出された特徴量と、第１クエリ情報から抽出された特徴量とが類似するか否かを判定し、判定結果に基づいて、第１クエリ情報と類似する情報を検索する。ここで、情報提供装置１０は、検索結果に基づいて、第１クエリ情報と類似する情報の特徴量から有用特徴量を抽出し、抽出された有用特徴量に基づいて、第２クエリ画像と類似する情報を検索する。このため、情報提供装置１０は、類似検索の運用時における検索結果に基づいて、有用特徴量を抽出できるので、例えば、検索対象となる情報と類似する情報を準備する手間を省くことができる。
【０１３８】
また、情報提供装置１０は、検索対象となる情報から抽出された特徴量のうち、計数された回数が所定の閾値以上となる特徴量を有用特徴量として抽出する。このため、情報提供装置１０は、適切な有用特徴量を抽出できる。
【０１３９】
また、情報提供装置１０は、検索対象となる情報から抽出された特徴量が登録された記憶装置から、有用特徴量以外の特徴量を削除する。このため、情報提供装置１０は、類似検索の効率を改善できる。
【０１４０】
また、情報提供装置１０は、検索対象となる情報のうち、第１クエリ情報と類似する情報を検索し、第１クエリ情報と類似する情報の検索結果に基づいて、検索対象となる情報から抽出された特徴量から有用特徴量を抽出し、抽出された有用特徴量を用いて、第２クエリ情報と類似する情報を検索する。このため、情報提供装置１０は、類似検索の運用時における検索結果に基づいて、有用特徴量を抽出できるので、例えば、検索対象となる情報と類似する情報を準備する手間を省くことができる。
【０１４１】
また、情報提供装置１０は、検索対象となる情報から、その情報と類似する類似情報を生成し、検索対象となる情報から抽出された特徴量と、生成部により生成された情報から抽出された特徴量との比較結果に基づいて、検索対象となる情報から抽出された特徴量から有用特徴量を抽出する。このため、情報提供装置１０は、類似検索に有用な特徴量を有用特徴量として抽出できる。
【０１４２】
また、情報提供装置１０は、有用特徴量が有する特徴をモデルに学習させる。また、情報提供装置１０は、学習されたモデルを用いて、クエリ情報から抽出された特徴量から有用特徴量を抽出する。また、情報提供装置１０は、学習されたモデルを用いて、検索対象となる情報から抽出された特徴量から有用特徴量を抽出する。このため、情報提供装置１０は、類似検索の効率を改善できる。
【０１４３】
また、情報提供装置１０は、検索対象となる情報から抽出された特徴量と、その情報と類似する類似情報から抽出された特徴量とが類似するか否かを判定する。また、情報提供装置１０は、検索対象となる情報から抽出された特徴量ごとに、類似情報から抽出された特徴量と類似すると判定された回数を計数する。また、情報提供装置１０は、計数された回数が所定の第１閾値以上となる特徴量を第１有用特徴量として抽出するとともに、計数された回数が第１閾値よりも大きい第２閾値以上となる特徴量を第２有用特徴量として抽出する。そして、情報提供装置１０は、第１有用特徴量を用いて、クエリ情報と類似する情報を検索し、第２有用特徴量が有する特徴をモデルに学習させる。この結果、情報提供装置１０は、有用特徴量を適切に抽出可能なモデルを学習できる。
【０１４４】
また、情報提供装置１０は、クエリ画像、または、検索対象となる画像から抽出された特徴量のうち、類似する画像の検索に有用な有用特徴量を抽出し、有用特徴量を用いて、クエリ画像と類似する画像を検索する。また、情報提供装置１０は、類似する画像の検索に有用な有用特徴量として、撮像対象が類似する画像の検索に有用な有用特徴量を抽出する。このため、情報提供装置１０は、類似検索の効率を改善できる。
【０１４５】
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
【０１４６】
また、上記してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、抽出部は、抽出手段や抽出回路に読み替えることができる。
【符号の説明】
【０１４７】
１０  情報提供装置
２０  通信部
３０  記憶部
３１  検索対象データベース
３２  学習モデル
４０  制御部
４１  抽出部
４２  判定部
４３  計数部
４４  検索部
４５  生成部
４６  学習部
１００  端末装置
【図１】
2019159999.tif 000003
【図２】
2019159999.tif 000004
【図３】
2019159999.tif 000005
【図４】
2019159999.tif 000006
【図５】
2019159999.tif 000007
【図６】
2019159999.tif 000008