(57)【要約】      （修正有）【課題】類似検索の精度を向上させる検索装置、方法及びプログラムを提供する。【解決手段】本検索装置（情報提供装置）は、クエリ情報が有する複数の特徴量のうち一部の特徴量と、検索対象となる対象情報が有する複数の特徴量とが類似するか否かを判定する判定部と、前記判定部による判定結果が所定の条件を満たす場合は、前記クエリ情報のうち、前記一部の特徴量と対応する比較領域を抽出する抽出部と、前記比較領域と、前記対象情報とを比較する比較部と、前記比較部による比較結果に基づいて、前記クエリ情報と類似する前記対象情報を検索する検索部とを有する。【選択図】図４
2019057261.tif 000002
【特許請求の範囲】
【請求項１】
クエリ情報が有する複数の特徴量のうち一部の特徴量と、検索対象となる対象情報が有する複数の特徴量とが類似するか否かを判定する判定部と、
前記判定部による判定結果が所定の条件を満たす場合は、前記クエリ情報のうち、前記一部の特徴量と対応する比較領域を抽出する抽出部と、
前記比較領域と、前記対象情報とを比較する比較部と、
前記比較部による比較結果に基づいて、前記クエリ情報と類似する前記対象情報を検索する検索部と
を有することを特徴とする検索装置。
【請求項２】
前記比較部は、前記比較領域と、前記対象情報の全体とを比較する
ことを特徴とする請求項１に記載の検索装置。
【請求項３】
前記抽出部は、前記比較領域のうち、所定のオブジェクトを含む範囲を抽出するとともに、前記対象情報のうち、所定のオブジェクトを含む範囲を抽出し、
前記比較部は、前記抽出部により前記比較領域から抽出された範囲と、前記抽出部により前記対象情報から抽出された範囲とを比較する
ことを特徴とする請求項１または２に記載の検索装置。
【請求項４】
前記抽出部は、前記比較領域のうち、前記複数の特徴量を含む範囲を抽出するとともに、前記対象情報のうち、前記一部の特徴量を含む範囲を抽出し、
前記比較部は、前記抽出部により前記比較領域から抽出された範囲と、前記抽出部により前記対象情報から抽出された範囲とを比較する
ことを特徴とする請求項１〜３のうちいずれか１つに記載の検索装置。
【請求項５】
前記比較部は、前記比較領域と前記対象情報とを複数の領域に分割し、分割した各領域のうち対応する領域同士を比較する
ことを特徴とする請求項１〜４のうちいずれか１つに記載の検索装置。
【請求項６】
前記比較部は、前記抽出部により抽出された範囲が有する特徴量と、前記対象情報が有する特徴量とを比較する
ことを特徴とする請求項１〜５のうちいずれか１つに記載の検索装置。
【請求項７】
前記判定部は、前記一部の特徴量と、前記対象情報が有する複数の特徴量とが類似する場合は、前記一部の特徴量の座標関係と、前記対象情報が有する複数の特徴量の座標関係とが類似するか否かを判定し
前記抽出部は、前記一部の特徴量の座標関係と、前記対象情報が有する複数の特徴量の座標関係とが類似すると判定された場合は、前記クエリ情報のうち、前記一部の特徴量と対応する比較領域を抽出する
ことを特徴とする請求項１〜６のうちいずれか１つに記載の検索装置。
【請求項８】
前記判定部は、クエリ情報となる画像が有する複数の特徴量のうち一部の特徴量と、検索対象となる画像が有する複数の特徴量とが類似するか否かを判定する
ことを特徴とする請求項１〜７のうちいずれか１つに記載の検索装置。
【請求項９】
前記比較部は、前記特徴量として、前記画像が有する色の分布に基づく特徴量を比較する
ことを特徴とする請求項８に記載の検索装置。
【請求項１０】
検索装置が実行する検索方法であって、
クエリ情報が有する複数の特徴量のうち一部の特徴量と、検索対象となる対象情報が有する複数の特徴量とが類似するか否かを判定する判定工程と、
前記判定工程による判定結果が所定の条件を満たす場合は、前記クエリ情報のうち、前記一部の特徴量と対応する比較領域を抽出する抽出工程と、
前記比較領域と、前記対象情報とを比較する比較工程と、
前記比較工程による比較結果に基づいて、前記クエリ情報と類似する前記対象情報を検索する検索工程と
を含むことを特徴とする検索方法。
【請求項１１】
クエリ情報が有する複数の特徴量のうち一部の特徴量と、検索対象となる対象情報が有する複数の特徴量とが類似するか否かを判定する判定手順と、
前記判定手順による判定結果が所定の条件を満たす場合は、前記クエリ情報のうち、前記一部の特徴量と対応する比較領域を抽出する抽出手順と、
前記比較領域と、前記対象情報とを比較する比較手順と、
前記比較手順による比較結果に基づいて、前記クエリ情報と類似する前記対象情報を検索する検索手順と
をコンピュータに実行させるための検索プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、検索装置、検索方法および検索プログラムに関する。
【背景技術】
【０００２】
従来、検索クエリとなる情報が有する特徴量と、検索対象となる情報が有する特徴量とを比較することで、検索クエリと類似する情報を検索する技術が知られている。このような技術の一例として、検索クエリとなる画像から抽出した複数の局所的な特徴量（以下、「局所特徴量」と記載する。）と、検索対象となる画像が有する複数の局所特徴量との類似度に加え、局所特徴量を抽出した範囲の座標関係の類似度に基づいて、検索クエリとなる画像と類似する画像を検索する技術が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−１５７４４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来技術では、類似検索の精度が必ずしも良いとは言えない場合がある。
【０００５】
例えば、上述した従来技術では、検索クエリから抽出した複数の局所特徴量と、検索対象となる画像が有する複数の局所特徴量とを比較し、類似する局所特徴量を特定する。そして、従来技術では、検索クエリから抽出した局所特徴量のうち特定した局所特徴量の座標関係と、検索対象となる画像が有する局所特徴量のうち特定した局所特徴量の座標関係との類似性を比較する。このように、上述した従来技術では、各情報が有する局所特徴量のうち一部の局所特徴量の座標関係に基づいて、類似性を判断するので、検索クエリとなる画像と類似しない画像を検索結果に含める恐れがある。
【０００６】
本願は、上記に鑑みてなされたものであって、類似検索の精度を向上させることを目的とする。
【課題を解決するための手段】
【０００７】
本願に係る検索装置は、クエリ情報が有する複数の特徴量のうち一部の特徴量と、検索対象となる対象情報が有する複数の特徴量とが類似するか否かを判定する判定部と、前記判定部による判定結果が所定の条件を満たす場合は、前記クエリ情報のうち、前記一部の特徴量と対応する比較領域を抽出する抽出部と、前記比較領域と、前記対象情報とを比較する比較部と、前記比較部による比較結果に基づいて、前記クエリ情報と類似する前記対象情報を検索する検索部とを有することを特徴とする。
【発明の効果】
【０００８】
実施形態の一態様によれば、類似検索の精度を向上させることができる。
【図面の簡単な説明】
【０００９】
【図１】図１は、実施形態に係る情報提供装置が実行する検索処理の一例を示す図である。
【図２】図２は、実施形態に係る情報提供装置が比較する領域の一例を説明する図である。
【図３】図３は、実施形態に係る情報提供装置が実行する検索処理の対象の一例を示す図である。
【図４】図４は、実施形態に係る情報提供装置の構成例を示す図である。
【図５】図５は、実施形態に係る検索対象データベースに登録される情報の一例を示す図である。
【図６】図６は、実施形態に係る情報提供装置が実行する表示処理の流れの一例を示すフローチャートである。
【図７】図７は、ハードウェア構成の一例を示す図である。
【発明を実施するための形態】
【００１０】
以下に、本願に係る検索装置、検索方法および検索プログラムを実施するための形態（以下、「実施形態」と記載する。）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る検索装置、検索方法および検索プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略する。
【００１１】
〔１−１．情報提供装置の一例について〕
まず、図１を用いて、検索装置の一例である情報提供装置が実行する検索処理の一例について説明する。図１は、実施形態に係る情報提供装置が実行する検索処理の一例を示す図である。
【００１２】
図１では、インターネット等の所定のネットワークＮ（例えば、図４参照）を介して、各利用者が使用する端末装置１００と情報提供装置１０は、相互に通信可能である。また、情報提供装置１０は、端末装置１００以外にも、各種の外部サーバと相互に通信可能であるものとする。また、情報提供装置１０は、任意の数の端末装置１００と通信可能であってもよい。
【００１３】
端末装置１００は、スマートフォンやタブレット等のスマートデバイスであり、３Ｇ（3rd  Generation）やＬＴＥ（Long  Term  Evolution）等の無線通信網を介して任意のサーバ装置と通信を行うことができる携帯端末装置である。なお、端末装置１００は、スマートデバイスのみならず、デスクトップＰＣ（Personal  Computer）やノートＰＣ等の情報処理装置であってもよい。
【００１４】
情報提供装置１０は、検索処理を実行する情報処理装置であり、例えば、サーバ装置やクラウドシステム等により実現される。例えば、情報提供装置１０は、端末装置１００から検索クエリとなるコンテンツ（以下、「クエリコンテンツ」と記載する。）を受信すると、受信したクエリコンテンツと類似する内容のコンテンツを検索し、検索したコンテンツや、検索したコンテンツを示す他のコンテンツを検索結果として端末装置１００に提供する検索処理を実行する。
【００１５】
より具体的な例を挙げると、情報提供装置１０は、検索対象となる複数の画像を保持する。そして、情報提供装置１０は、端末装置１００から検索クエリとなる画像（以下、「クエリ画像」と記載する。）を受信すると、受信したクエリ画像と類似する画像を検索し、クエリ画像と類似する画像の情報を検索結果として端末装置１００へと送信する。
【００１６】
〔１−２．検索処理の概要について〕
ここで、クエリコンテンツと類似するコンテンツを検索する手法として、各コンテンツが有する特徴量を用いる技術が知られている。例えば、クエリコンテンツの特徴量と、検索対象となるコンテンツの特徴量とを比較し、特徴量が類似するか否かに基づいて、クエリコンテンツと類似するコンテンツを特定する技術が知られている。
【００１７】
以下、コンテンツの一例として、クエリ画像と類似する画像を検索する手法の一例について説明するが、以下の説明は、検索処理の対象を画像に限定するものではない。すなわち、情報提供装置１０は、静止画像や動画像といった画像のみならず、文章、映画、音楽コンテンツ等、任意のコンテンツについて後述する検索処理を実行してよい。
【００１８】
例えば、特徴点を用いた検索においては、検索対象となる画像（以下、「対象画像」と記載する。）の中から自動的に選択された特徴的な点及び範囲（半径）及び方向に基づいて、その範囲における特徴量が算出される。このような処理の結果、各特徴点は、不規則な位置となり、特徴量が算出される範囲（半径）も様々な大きさのものが採用される。なお、特徴量が算出される範囲は、円形に限定されるものではなく、楕円や矩形等、任意の形状が採用可能である。なお、以下の説明では、対象画像から算出した各特徴量を「対象画像の局所特徴量」と記載する。続いて、情報提供装置１０は、クエリ画像についても同様に、自動的に選択された特徴的な点及び範囲（半径）及び方向に基づいて、その範囲における特徴量を算出する。なお、以下の説明では、クエリ画像から算出した各特徴量を「クエリ画像の局所特徴量」と記載する。 
【００１９】
なお、上述した対象画像およびクエリ画像の局所特徴量は、GIST（http://ilab.usc.edu/siagian/Research/Gist/Gist.html）、カラーヒストグラム、色分布などの広域特徴量やＳＩＦＴ（Scale-Invariant  Feature  Transform）、ＳＵＲＦ（Speed-Up  Robust  Features）、局所特徴量等、画像が有する特徴量を取得する任意の技術が採用可能である。なお、ニューラルネットで生成される特徴量も利用可能である。
【００２０】
そして、情報提供装置１０は、クエリ画像の局所特徴量と対象画像の局所特徴量とをそれぞれ比較することで、対象画像の局所特徴量のうち、クエリ画像の局所特徴量と類似する局所特徴量を特定する。例えば、情報提供装置１０は、ＮＧＴ（Neighborhood  Graph  and  Tree）等といった技術を用いて、クエリ画像の局所特徴量と類似する対象画像の局所特徴量を検索する。そして、情報提供装置１０は、対象画像のうち、クエリ画像の局所特徴量と類似する局所特徴量の数が閾値を超える対象画像をクエリ画像の類似候補として選択する。すなわち、情報提供装置１０は、局所特徴量同士の類似性に基づく投票形式で、クエリ画像と類似する対象画像を類似画像の候補として選択する。なお、以下の説明では、上述した局所特徴量同士が類似するか否かを判定する処理を「部分特徴量照合処理」と記載する場合がある。
【００２１】
ここで、類似候補の候補をそのまま検索結果として出力する手法も考えられるが、情報提供装置１０は、さらに精度を高めるため、以下に説明する部分特徴点座標照合処理を実行する。例えば、情報提供装置１０は、類似画像の候補となった画像（以下、「候補画像」と記載する。）の局所特徴量のうち、部分特徴量照合処理においてクエリ画像の局所特徴量と類似すると判定された局所特徴量を抽出し、抽出した局所特徴量を有する特徴点同士の座標関係が、クエリ画像において候補画像の局所特徴量と類似すると判定された局所特徴量の特徴点の座標関係と類似するかを判定する。
【００２２】
例えば、情報提供装置１０は、クエリ画像から特定した局所特徴量の特徴点の座標をアフィン変換（例えば、回転、平行移動、拡大もしくは縮小）した際に、候補画像から特定した局所特徴量の座標と類似するか否かを判定する。そして、情報提供装置１０は、クエリ画像の特徴点の座標と、候補画像の特徴点の座標とが類似すると判定した場合は、クエリ画像とその候補画像とが類似すると判定する。
【００２３】
すなわち、情報提供装置１０は、上述した部分特徴量照合処理において、対象画像の局所特徴量とクエリ画像が有する局所特徴量とが類似するか否かを判定し、判定結果に基づく投票により、クエリ画像が有する一部の局所特徴量が、複数の対象画像のうち一部の局所特徴量と対応付ける。そして、情報提供装置１０は、上述した部分特徴量座標照合処理において、対応付けされた一部の局所特徴量を用いて、部分特徴点座標照合処理を実行することで、座標の照合を行う。すなわち、情報提供装置１０は、クエリ画像の各特徴点の座標をアフィン変換した際に、対象画像の特徴点の座標と一致（若しくは類似）するかを判定し、座標が一致した特徴点の数が所定の数を超えるか否か等に基づいて、対応する局所特徴量同士の座標関係が類似するか否かを判定する。
【００２４】
しかしながら、このような部分特徴量照合処理や、部分特徴点座標照合処理とを用いた処理（以下、「部分特徴量を用いた処理」と記載する。）では、精度を向上させる余地が存在する。例えば、クエリ画像や対象画像には、商品等の主となる撮影対象のみが撮影されたもののみならず、背景が写り込んだものが含まれる場合がある。このように、画像に背景が含まれる場合、背景が撮影された範囲の局所特徴量同士を比較することで、主となる撮影対象が類似しない画像であるにも関わらず、背景が類似する画像を検索結果に含めてしまう恐れがある。
【００２５】
そこで、情報提供装置１０は、以下の検索処理を実行する。まず、情報提供装置１０は、クエリ情報が有する複数の特徴量のうち一部の特徴量と、検索対象となる対象情報が有する複数の特徴量とが類似するか否かを判定する。すなわち、情報提供装置１０は、部分特徴量照合処理や部分特徴点座標照合処理等といった部分特徴量を用いた処理を実行する。そして、情報提供装置１０は、判定結果が所定の条件を満たす場合は、クエリ情報のうち、対象情報の特徴量と類似すると判定された特徴量（以下、「類似特徴量」と記載する場合がある。）と対応する比較領域を抽出する。すなわち、情報提供装置１０は、クエリ情報から、類似特徴量となる一部の特徴量と対応する比較領域を抽出する。そして、情報提供装置１０は、比較領域と、対象情報とを比較し、比較結果に基づいて、クエリ情報と類似する対象情報を検索する。
【００２６】
例えば、電子商店街において商品の画像検索を行う場合、検索対象となる対象画像の大部分には、商品等といった主となる被写体が含まれると考えられる。このような対象画像との間で部分特徴量を用いた処理を実行した場合、クエリ画像が有する局所特徴量のうち、部分特徴量を用いた処理において対象画像の局所特徴量に類似すると判定された局所特徴量の位置は、クエリ画像のうち、主となる被写体が含まれている可能性が高い。
【００２７】
そこで、情報提供装置１０は、部分特徴量を用いた処理を実行した場合に、クエリ画像のうち、類似特徴量を抽出した特徴点と対応する領域を抽出することで、主となる被写体が含まれる可能性が高い領域を比較領域として抽出する。そして、情報提供装置１０は、比較領域と対象画像とを比較することで、クエリ画像と対象画像とが類似するか否かを判定する。このような処理の結果、例えば、情報提供装置１０は、クエリ画像の一部にのみ被写体が撮影されている場合にも、その被写体が撮影された範囲を比較領域として抽出し、抽出した比較領域と対象画像との比較を行うので、クエリ画像の一部に撮影された被写体と類似する被写体を含む対象画像を検索することができる結果、検索結果の精度を向上させることができる。
【００２８】
〔１−３．検索処理の一例について〕
次に、図１を用いて、情報提供装置１０が実行する検索処理の流れの一例について説明する。例えば、情報提供装置１０は、検索対象となる対象画像の局所特徴量をあらかじめ抽出する（ステップＳ１）。例えば、情報提供装置１０は、対象画像Ｔ１の中から自動的に選択された複数の特徴点Ｐ１、Ｐ２・・・ごとに、特徴点からそれぞれ自動的に決定された方向の、自動的に決定された範囲内（例えば、半径が数十ピクセルの範囲内）に含まれる画素の特徴量を局所特徴量ＦＰ１、ＦＰ２・・・として取得する。このように、各画像から特徴点を自動的に抽出した場合、同一物体を撮影した２画像から物体上の同じ位置が特徴点として抽出されるので、座標照合が可能となる。
【００２９】
続いて、情報提供装置１０は、端末装置１００から画像を取得する（ステップＳ２）。このような場合、情報提供装置１０は、取得した画像をクエリ画像とし、クエリ画像の局所特徴量と対象画像の局所特徴量とを比較する（ステップＳ３）。より具体的には、情報提供装置１０は、部分特徴量照合処理と部分特徴点座標照合処理とを実行する。
【００３０】
例えば、情報提供装置１０は、点線の縁で示すように、クエリ画像Ｑ１から自動的に選択された特徴点、範囲および方向について、それぞれ特徴量を局所特徴量として抽出する。そして、情報提供装置１０は、クエリ画像Ｑ１の各局所特徴量と、各対象画像の局所特徴量とを比較し、類似するか否かを判定する。より具体的には、情報提供装置１０は、クエリ画像が有する複数の局所特徴量から処理対象となる局所特徴量を選択し、各対象画像が有する局所特徴量のうち、クエリ画像から選択した局所特徴量と最も類似する局所特徴量を特定する。そして、情報提供装置１０は、選択したクエリ画像の局所特徴量と、特定した対象画像の局所特徴量とを対応付ける。 
【００３１】
例えば、情報提供装置１０は、対象画像Ｔ１の局所特徴量ＦＰ１が、クエリ画像Ｑ１の局所特徴量のうちいずれかの局所特徴量と最も類似する場合には、マッチすると判定し、対象画像Ｔ２の局所特徴量ＦＰ１０が、クエリ画像Ｑ１の局所特徴量のうちいずれの局所特徴量とも類似しない（他により類似する局所特徴量が存在する）場合には、マッチしないと判定する。続いて、情報提供装置１０は、対象画像のうち、クエリ画像Ｑ１の局所特徴量とマッチした局所特徴量の数が所定の閾値を超える対象画像を候補画像として選択する。例えば、情報提供装置１０は、マッチした局所特徴量の数が多い順に所定の数の対象画像を候補画像として選択する。 
【００３２】
また、情報提供装置１０は、処理対象となる候補画像を１つ選択する。また、情報提供装置１０は、クエリ画像の局所特徴量のうち、選択した候補画像の局所特徴量とマッチした局所特徴量をクエリ画像の類似特徴量とし、選択した候補画像の局所特徴量のうち、クエリ画像の局所特徴量とマッチした局所特徴量を候補画像の類似特徴量とする。例えば、情報提供装置１０は、クエリ画像の個々の局所特徴量に対して最も類似する候補画像の局所特徴量を対応付け、クエリ画像が有する局所特徴量のうち、候補画像が有する局所特徴量と対応付けられた局所特徴量を類似特徴量としてもよい。また、例えば、情報提供装置１０は、候補画像の個々の局所特徴量に対して最も類似するクエリ画像の個々の局所特徴量を対応付け、候補画像が有する局所特徴量のうち、クエリ画像が有する局所特徴量と対応付けられた局所特徴量を類似特徴量としてもよい。また、例えば、情報提供装置１０は、クエリ画像の個々の局所特徴量に対して最も類似する候補画像の局所特徴量を対応付け、候補画像の個々の局所特徴量に対して最も類似するクエリ画像の個々の局所特徴量を対応付ける。そして、情報提供装置１０は、対応付けが一致したクエリ画像の局所特徴量および候補画像の局所特徴量を類似特徴量としてもよい。
【００３３】
そして、情報提供装置１０は、クエリ画像の類似特徴量の座標関係と候補画像の類似特徴量の座標関係とを比較する（ステップＳ４）。すなわち、情報提供装置１０は、部分特徴点座標照合処理を実行する。すなわち、情報提供装置１０は、クエリ画像が有する局所特徴量のうち一部の局所特徴量と、候補画像の局所特徴量のうち、クエリ画像の局所特徴量と対応付けられた局所特徴量との座標関係を比較する。
【００３４】
例えば、部分特徴点座標照合処理において、クエリ画像Ｑ１の特徴点ＱＦ１〜ＱＦ３から求めた局所特徴量と、対象画像Ｔ１の特徴点Ｐ１〜Ｐ３から求めた局所特徴量がマッチすると判断されたものとする。このような場合、情報提供装置１０は、クエリ画像Ｑ１の特徴点ＱＦ１〜ＱＦ３の座標関係ＱＦＣと、対応する対象画像Ｔ１の特徴点Ｐ１〜Ｐ３の座標関係ＰＣとが類似するか否かを判定する。より具体的には、情報提供装置１０は、マッチする局所特徴量同士を対応する局所特徴量とする。そして、情報提供装置１０は、マッチする局所特徴量同士の対応関係に基づいて、クエリ画像から対象画像（若しくは、その逆）を実現するアフィン変換の係数を推定する。また、情報提供装置１０は、推定した係数で、クエリ画像の特徴点の座標を変換し、座標を変換した特徴点のうち、いくつの特徴点が対応する対象画像の特徴点の座標と一致（若しくは類似）したかを判定し、座標が一致した特徴点の数が所定の数を超えるか否か等に基づいて、対応する局所特徴量同士の座標関係が類似するか否かを判定する。
【００３５】
そして、情報提供装置１０は、各座標関係が類似する場合は、比較結果に基づいて、クエリ画像から比較領域を抽出する（ステップＳ５）。例えば、情報提供装置１０は、クエリ画像の類似特徴量を抽出した範囲を含む範囲を、クエリ画像の類似特徴量の座標関係と、対象画像の類似特徴量の座標関係とに基づいて決定する。より具体的な例を挙げると、情報提供装置１０は、クエリ画像Ｑ１の類似特徴点の座標関係を、対象画像Ｔ１の類似特徴点の座標関係（もしくは、類似する座標関係）へと変換するアフィン行列を推定する。そして、情報提供装置１０は、推定したアフィン行列の逆行列で対象画像Ｔ１の全体をクエリ画像Ｑ１に投影した領域を比較領域ＱＡ１とする。
【００３６】
なお、比較領域を抽出する処理は、上述した例に限定されるものではない。例えば、情報提供装置１０は、クエリ画像Ｑ１の類似特徴量と、対象画像Ｔ１の類似特徴量との類似度や、対応関係に応じて、比較領域を決定してもよい。また、情報提供装置１０は、クエリ画像Ｑ１の類似特徴量の位置に基づいて、決め打ちで比較領域を決定してもよい。また、例えば、情報提供装置１０は、各種の領域検出技術を用いて、類似特徴量と対応する特徴点を内包する領域を特定してもよい。
【００３７】
すなわち、情報提供装置１０は、クエリ画像Ｑ１が有する局所特徴量のうち、対象画像Ｔ１の局所特徴量と類似すると判定された局所特徴量に対応する対応点の位置に基づいて、クエリ画像Ｑ１のうち、対象画像Ｔ１に撮影されている撮影対象が含まれる可能性が高い領域を比較領域ＱＡ１として抽出するのであれば、任意の手法により比較領域ＱＡ１を抽出してよい。
【００３８】
続いて、情報提供装置１０は、比較領域ＱＡ１と対象画像Ｔ１とを比較する（ステップＳ６）。より具体的には、情報提供装置１０は、比較領域と、対象画像の全体とを比較する。そして、情報提供装置１０は、比較結果に基づいて、クエリ画像と類似する対象画像を検索する（ステップＳ７）。例えば、情報提供装置１０は、比較領域ＱＡ１の全体が有する特徴量と、対象画像Ｔ１の全体が有する特徴量とを比較してもよく、比較領域ＱＡ１から抽出した局所特徴量と、対象画像Ｔ１の局所特徴量とを比較してもよい。また、情報提供装置１０は、例えば、対象画像ＱＡ１の類似特徴量の座標関係と対象画像Ｔ１の類似特徴量の座標関係とを比較してもよい。そして、情報提供装置１０は、対象画像Ｔ１の各種特徴量とクエリ画像Ｑ１各種特徴量とが類似する場合は、対象画像Ｔ１がクエリ画像Ｑ１と類似すると判定する。
【００３９】
また、情報提供装置１０は、各対象画像について上述した処理を実行し、各対象画像がクエリ画像Ｑ１と類似するか否かを判定する。そして、情報提供装置１０は、例えば、クエリ画像Ｑ１と候補画像Ｔ１、Ｔ３が類似すると判定した場合は、クエリ画像Ｔ１の類似画像として、候補画像Ｔ１、Ｔ３を選択する。また、情報提供装置１０は、検索結果を端末装置１００に送信する（ステップＳ８）。例えば、情報提供装置１０は、候補画像Ｔ１、Ｔ３のデータやサムネイル等を端末装置１００に送信する。
【００４０】
なお、情報提供装置１０は、例えば、部分特徴量照合処理、部分特徴点座標照合処理の結果に応じたランキング形式で、検索した候補画像の情報を配信してもよい。例えば、情報提供装置１０は、各照合処理の結果に基づいて、各候補画像とクエリ画像と類似する確度を算出し、算出した確度に応じたランキング形式で、検索した候補画像の情報を配信してもよい。
【００４１】
〔１−４．比較領域の抽出について〕
上述した説明では、情報提供装置１０は、クエリ画像から比較領域を抽出し、比較領域と対象画像の全体とを比較した。しかしながら、実施形態は、これに限定されるものではない。例えば、対象画像には、主となる被写体以外にも、各種の被写体等といった背景が含まれる場合がある。
【００４２】
そこで、情報提供装置１０は、対象画像から主となる被写体等のオブジェクトを含む範囲をオブジェクト範囲として抽出し、抽出したオブジェクト範囲とクエリ画像から抽出した比較領域との比較を行ってもよい。また、情報提供装置１０は、比較領域の中からオブジェクト範囲と対応する範囲を比較範囲としてさらに抽出し、比較範囲とオブジェクト範囲とを比較してもよい。また、情報提供装置１０は、比較領域や比較範囲に含まれる類似特徴量と、オブジェクト範囲に含まれる類似特徴量との比較結果に応じて、比較対象となる領域をさらに狭めてもよい。
【００４３】
例えば、図２は、実施形態に係る情報提供装置が比較する領域の一例を説明する図である。なお、図２に示す例では、情報提供装置１０がクエリ情報と対象情報とを比較する際にどの領域を比較対象とするかについて、第１手法から第４手法について記載した。なお、実施形態は、これに限定されるものではなく、情報提供装置１０は、図２に示す手法以外にも、任意の手法を用いて、エリ情報と対象情報とを比較する際にどの領域を比較対象とするかを決定してもよい。
【００４４】
例えば、情報提供装置１０は、第１手法として、対象画像全体と、クエリ画像から抽出した抽出範囲とを比較してもよい。すなわち、情報提供装置１０は、図１に示したように、類似特徴点の座標関係から比較領域を決定し、クエリ画像から抽出した比較領域と対象画像の全体とが類似するか否かを判定してもよい。
【００４５】
また、例えば、情報提供装置１０は、比較領域のうち、所定のオブジェクトを含む範囲を抽出するとともに、対象情報のうち、所定のオブジェクトを含む範囲を抽出し、比較領域から抽出された範囲と、対象情報から抽出された範囲とを比較してもよい。例えば、情報提供装置１０は、第２手法として、対象画像からオブジェクトに含まれるオブジェクト範囲を設定しておき、比較範囲のうちオブジェクト範囲と対応する範囲と、対象画像のオブジェクト範囲とを比較してもよい。
【００４６】
例えば、情報提供装置１０は、各種の領域抽出技術を用いて、対象画像のうち主となるオブジェクトに含まれる範囲をオブジェクト範囲として抽出しておく（例えば、点線で示す領域）。なお、情報提供装置１０は、人手で設定されたオブジェクト範囲を採用してもよい。また、情報提供装置１０は、クエリ画像の類似特徴点の座標を、対象画像の類似特徴点の座標へと変換するアフィン行列を推定する。そして、情報提供装置１０は、推定したアフィン行列の逆行列で対象画像のうちオブジェクト範囲をクエリ画像に投影した領域を比較領域としてもよい。
【００４７】
また、情報提供装置１０は、比較領域のうち、類似特徴量を含む範囲を抽出するとともに、対象情報のうち、類似特徴量を含む範囲を抽出し、比較領域から抽出された範囲と、対象情報から抽出された範囲とを比較してもよい。例えば、情報提供装置１０は、第３手法として、比較範囲のうち類似特徴点を含む特徴範囲を抽出するとともに、対応する領域を対象画像から抽出し、抽出した範囲と特徴範囲を比較してもよい。
【００４８】
例えば、情報提供装置１０は、クエリ画像に含まれる局所特徴量と、対象画像に含まれる局所特徴量とを比較し、類似特徴量を特定する。また、情報提供装置１０は、クエリ画像に含まれる局所特徴量のうち、類似特徴量と判定された局所特徴量と対応する特徴点を特定し、特定した特徴点を含む矩形の領域を特徴範囲とする。また、情報提供装置１０は、対象画像のうち、特徴範囲と対応する矩形の領域をオブジェクト範囲として抽出する。そして、情報提供装置１０は、特徴範囲とオブジェクト範囲とを比較してもよい。
【００４９】
また、情報提供装置１０は、比較領域と対象情報とを複数の領域に分割し、分割した各領域のうち対応する領域同士を比較してもよい。例えば、情報提供装置１０は、第４手法として、対象画像をあらかじめグリッドに分割し、各グリッドの特徴量を抽出しておき、特徴範囲と対応する領域のグリッドの特徴量と、特徴範囲の特徴量とを比較してもよい。
【００５０】
例えば、情報提供装置１０は、対象画像をグリッド状の複数の領域に分割し、分割した各領域の特徴量を領域特徴量として算出しておく。また、情報提供装置１０は、第３手法と同様の処理を実行することで、クエリ画像から特徴範囲を抽出する。また、情報提供装置１０は、特徴範囲と対応するグリッドの領域特徴量を参照し、参照した領域特徴量と、特徴範囲の特徴量とを比較してもよい。
【００５１】
ここで、第２手法〜第４手法は、比較対象となる領域に背景が含まれにくくなるので、第１手法と比べて、意味的な類似検索の精度を向上させることができる。より具体的には、情報提供装置１０は、第２手法〜第４手法を用いることで、撮影された対象物の局所部分の類似性ではなく、対象物全体が類似するか否かをより精度よく判定することができる。
【００５２】
また、第２手法は対象画像のオブジェクト範囲が予め設定可能であるため、第３手法よりも処理コストを低減できる。一方、第３手法は、比較を行う領域をあらかじめ設定することができないものの、オブジェクトが撮影されている範囲のうち、より特徴的な範囲を比較することができるので、意味的な類似検索の精度をより向上させることができる。
【００５３】
ここで、情報提供装置１０は、各手法を適宜切替えてもよく、各手法を組みあわせて実行してもよい。また、情報提供装置１０は、各手法を同時並行的に実行してもよい。例えば、情報提供装置１０は、第１手法〜第４手法の中から、類似性や精度、および許容される処理負荷に応じていずれかの手法を採用してもよい。例えば、情報提供装置１０は、背景が含まれる対象画像から対象物を精度良く推定したい場合は、第２手法〜第４手法を利用してもよい。
【００５４】
例えば、オブジェクトが家具やインテリア等である場合、対象画像に背景が含まれる可能性が高くなる。そこで、情報提供装置１０は、クエリ画像に含まれるオブジェクトのカテゴリを特定し、特定したカテゴリに応じて、第１手法〜第４手法を切替えてもよい。例えば、情報提供装置１０は、クエリ画像に含まれるオブジェクトが家具やインテリアである場合は、第２手法を採用してもよい。また、例えば、オブジェクトの種別が、画像中においてオブジェクトが占める領域が相対的に少ないカテゴリ（例えば、鉛筆や万年筆等）に属する場合には、情報提供装置１０は、第３手法や第４手法を採用してもよい。
【００５５】
また、情報提供装置１０は、第３手法を実行する際、類似特徴点に含まれる矩形の範囲が第１閾値を超える場合は、第２手法に切替えて、クエリ画像から抽出した比較領域とオブジェクト範囲とを比較してもよい。また、情報提供装置１０は、第３手法を実行する際、類似特徴点に含まれる矩形の範囲が第１閾値よりも低い第２閾値を下回る場合は、第４手法に切替えてもよい。
【００５６】
ここで、第１手法〜第４手法において最終的な比較を行う際、特徴量を用いた比較を行った場合は、類似するか否かの確度を算出することができる。そこで、情報提供装置１０は、第１手法〜第４手法を同時並行的に実行し、確度が最も高い手法による結果を採用してもよい。また、例えば、情報提供装置１０は、第３手法や第４手法による結果を得る前に、第１手法や第２手法で確度が所定の閾値を超える結果を得られる場合には、第３手法や第４手法を終了してもよい。
【００５７】
〔１−５．特徴量について〕
上述した例では、情報提供装置１０は、クエリ画像のうち抽出された範囲が有する特徴量と、対象情報が有する特徴量とを比較した。より具体的には、情報提供装置１０は、部分特徴量照合の結果、クエリ画像が有する一部の局所特徴量と、対象画像が有する一部の局所特徴量とが類似する場合は、クエリ画像が有する一部の局所特徴量の座標関係と、対象画像が有する一部の局所特徴量の座標関係とが類似するか否かを判定した。そして、情報提供装置１０は、クエリ画像が有する一部の局所特徴量の座標関係と、対象画像が有する一部の局所特徴量の座標関係とが類似すると判定された場合は、クエリ画像が有する一部の局所特徴量と対応する範囲を比較領域としてクエリ画像から抽出した。すなわち、情報提供装置１０は、部分特徴量照合処理と部分特徴点座標照合処理の結果から、比較領域の抽出を行った。
【００５８】
ここで、部分特徴量照合処理や部分特徴点座標照合処理で比較する特徴量と、比較領域と対象画像とを比較する際の特徴量とは、同じものであってもよく、異なるものであってもよい。例えば、情報提供装置１０は、部分特徴量照合処理や部分特徴点座標照合処理を行う場合は、明度に基づく特徴量の比較を行い、比較領域と対象画像とを比較する場合は、色度や明度に基づく特徴量の比較を行ってもよい。このような処理を実行することで、情報提供装置１０は、例えば、色違いのロゴ等を異なるロゴとして識別し、識別結果に応じた類似検索を実現できる。
【００５９】
〔１−６．処理の対象について〕
ここで、上述した例では、情報提供装置１０は、クエリ画像と類似する対象画像の検索を行った。しかしながら、実施形態は、これに限定されるものではない。例えば、情報提供装置１０は、文章や音楽等、任意のコンテンツについて、上述した検索処理を適用可能である。
【００６０】
例えば、図３は、実施形態に係る情報提供装置が実行する検索処理の対象の一例を示す図である。なお、図３に示す例では、検索処理の対象として、文章や音楽を採用する際の処理の一例を記載した。例えば、情報提供装置１０は、検索対象が文章である場合、クエリ文章の中から特徴点としていくつかの単語を選択し、選択した単語の前後に存在する複数の単語を抽出する。そして、情報提供装置１０は、抽出した単語の特徴量を、局所特徴量ＱＦ１〜ＱＦ３として算出するとともに、単語の相対的な出現位置（例えば、特徴点として選択した単語から次の単語までの間に存在する単語の数等）を座標とみなす。例えば、情報提供装置１０は、局所特徴量ＱＦ１の特徴点となる単語から、局所特徴量ＱＦ２の特徴点となる単語までの間の単語数を座標Ｔ１とし、局所特徴量ＱＦ２の特徴点となる単語から、局所特徴量ＱＦ３の特徴点となる単語までの間の単語数を座標Ｔ２とする。
【００６１】
同様に、情報提供装置１０は、対象情報となる文章である対象文章の中から特徴点としていくつかの単語を選択し、選択した単語の前後に存在する複数の単語を抽出する。そして、情報提供装置１０は、抽出した単語の特徴量を、局所特徴量Ｆ１〜Ｆ３として算出するとともに、局所特徴量Ｆ１の特徴点となる単語から、局所特徴量Ｆ２の特徴点となる単語までの間の単語数を座標Ｔ３とし、局所特徴量Ｆ２の特徴点となる単語から、局所特徴量Ｆ３の特徴点となる単語までの間の単語数を座標Ｔ４とする。  そして、情報提供装置１０は、特徴量の比較を行う場合、各局所特徴量ＷＦ１〜ＱＦ３と、各局所特徴量Ｆ１〜Ｆ３の比較を行う。また、情報提供装置１０は、座標の比較を行う場合、座標Ｔ１を座標Ｔ３へと変換するアフィン変換により、座標Ｔ２が座標Ｔ４に一致するか否かを判定してもよい。
【００６２】
また、情報提供装置１０は、各局所特徴量ＷＦ１〜ＱＦ３と各局所特徴量Ｆ１〜Ｆ３とが類似し、かつ座標関係が類似する場合は、クエリ文章のうち、局所特徴量ＱＦ１〜ＱＦ３が含まれる範囲を比較領域として抽出し、比較領域と、対象文章全体との比較を行ってもよい。また、情報提供装置１０は、対象文章のうち、局所特徴量Ｆ１〜Ｆ３とが含まれる範囲をオブジェクト領域として抽出し、比較領域と、オブジェクト領域との比較を行ってもよい。
【００６３】
なお、情報提供装置１０は、音声の検索を行う場合、特徴点となる再生位置から前後所定の領域に含まれる音声から局所特徴量を算出し、特徴点となる再生位置の座標関係から、座標関係の類似性を判定すればよい。すなわち、情報提供装置１０は、クエリとなるコンテンツの局所的な範囲が有する特徴量と、検索対象となるコンテンツの局所的な範囲が有する特徴量とを比較する。また、情報提供装置１０は、局所的な範囲の出現位置や再生位置を座標とみなし、コンテンツ内における座標関係を比較する。そして、情報提供装置１０は、比較結果に基づいて、クエリコンテンツから比較領域や特徴領域を抽出し、対象コンテンツからオブジェクト領域を抽出し、抽出した領域を比較すればよい。
【００６４】
なお、情報提供装置１０は、異種間の類似検索を行ってもよい。例えば、情報提供装置１０は、クエリ文章と類似する対象音声の検索を行ってもよく、クエリ音声と類似する対象文章の検索を行ってもよい。すなわち、情報提供装置１０は、局所的な特徴を示す多次元量を局所特徴量として設定することができるコンテンツであれば、任意のコンテンツについて、上述した検索処理を適用してよい。
【００６５】
〔２．情報提供装置の構成〕
以下、上記した検索処理を実現する情報提供装置１０が有する機能構成の一例について説明する。図４は、実施形態に係る情報提供装置の構成例を示す図である。図４に示すように、情報提供装置１０は、通信部２０、記憶部３０、および制御部４０を有する。
【００６６】
通信部２０は、例えば、ＮＩＣ（Network  Interface  Card）等によって実現される。そして、通信部２０は、ネットワークＮと有線または無線で接続され、端末装置１００との間で情報の送受信を行う。
【００６７】
記憶部３０は、例えば、ＲＡＭ（Random  Access  Memory)、フラッシュメモリ（Flash  Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。また、記憶部３０は、検索対象データベース３１を記憶する。
【００６８】
検索対象データベース３１には、検索対象となる対象情報が登録されている。例えば、図５は、実施形態に係る検索対象データベースに登録される情報の一例を示す図である。図５に示す例では、検索対象データベース３１には、「検索対象ＩＤ（Identifier）」、「検索対象データ」、「オブジェクト範囲」、「特徴量ＩＤ」、「特徴量」、「座標情報」、「半径情報」、および「方向情報」といった情報が登録されている。
【００６９】
ここで、「検索対象ＩＤ」とは、検索対象となる対象情報を識別する識別子である。また、「検索対象データ」とは、対象情報のデータである。また、「オブジェクト範囲」とは、検索対象となる対象情報のうち、主体となる被写体であるオブジェクトが含まれる範囲を示す情報である。また、「特徴量ＩＤ」とは、対象情報から算出される局所特徴量を識別する識別子である。また、「特徴量」とは、局所特徴量である。また、「座標情報」とは、局所特徴量と対応する特徴点の座標である。なお、「座標情報」は、対象情報が音声である場合は、再生位置を示す情報であってもよく、対象情報が文章である場合は、特徴点となる単語の出現位置であってもよい。また、「半径情報」とは、局所特徴量を算出する際に用いた領域が特徴点を中心としてどれくらいの範囲であるかを示す。また、「方向情報」とは、局所特徴量を算出する際に用いた領域の方向である。
【００７０】
例えば、図５に示す例では、検索対象データベース３１には、検索対象ＩＤ「Ｔ１」、検索対象データ「ＴＤ＃１」、オブジェクト範囲「オブジェクト範囲＃１」、特徴量ＩＤ「Ｐ１」、特徴量「ＦＰ１」、座標情報「ＰＣ１」、半径情報「ＰＲ１」、および方向情報「ＰＤ１」が対応付けて登録されている。このような情報は、検索対象ＩＤ「Ｔ１」が示す検索対象Ｔ１のデータが「ＴＤ＃１」であり、オブジェクト範囲が「オブジェクト範囲＃１」である旨を示す。また、このような情報は、検索対象Ｔ１が、局所特徴量として、特徴量ＩＤ「Ｐ１」で示される局所特徴量を有する旨を示す。また、このような情報は、特徴量ＩＤ「Ｐ１」で示される局所特徴量の値が特徴量「ＦＰ１」であり、座標情報「ＰＣ１」が示す位置を中心として、半径情報「ＰＲ１」が示す円形の範囲内のうち、方向情報「ＰＤ１」が示す方向の情報（例えば、画素）に基づいて算出された特徴量である旨を示す。
【００７１】
なお、図５に示した各種の値は、概念的なものであり、実際には、検索対象データベース３１には、各特徴量や座標等を示す数値が登録されるものとする。また、検索対象データベース３１には、図５に示す情報以外にも、検索対象に関する任意の情報が登録されていてよい。
【００７２】
図４に戻り、説明を続ける。制御部４０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central  Processing  Unit）、ＭＰＵ（Micro  Processing  Unit）等のプロセッサによって、情報提供装置１０内部の記憶装置に記憶されている各種プログラムがＲＡＭ等を作業領域として実行されることにより実現される。また、制御部４０は、コントローラ（controller）であり、例えば、ＡＳＩＣ（Application  Specific  Integrated  Circuit）やＦＰＧＡ（Field  Programmable  Gate  Array）等の集積回路により実現されてもよい。図４に示すように、制御部４０は、判定部４１、抽出部４２、比較部４３、検索部４４、および提供部４５を有する。なお、以下の説明では、局所特徴量を単に「特徴量」と記載する場合がある。
【００７３】
判定部４１は、部分特徴量照合処理や部分特徴点座標照合処理を実行する。すなわち、判定部４１は、クエリ情報が有する複数の特徴量と、検索対象となる対象情報が有する複数の特徴量のうち一部の特徴量とが類似するか否かを判定する。例えば、判定部４１は、クエリ情報が部分的に有する特徴量と、対象情報が部分的に有する特徴量とが類似するか否かを判定する。より具体的な例を挙げると、判定部４１は、クエリ情報となる画像が有する複数の特徴量と、検索対象となる画像が有する複数の特徴量のうち一部の特徴量とが類似するか否かを判定する。
【００７４】
例えば、判定部４１は、クエリ情報を受付けると、クエリ情報から複数の局所特徴量を算出し、検索対象データベース３１に登録された各局所特徴量と比較する。そして、判定部４１は、検索対象データベース３１に登録された各局所特徴量が、クエリ情報のいずれかの局所特徴量と類似するか否かを判定する。
【００７５】
また、判定部４１は、クエリ情報が有する複数の特徴量と、対象情報が有する複数の特徴量のうち一部の特徴量とが類似する場合は、クエリ情報が有する複数の特徴量と、対象情報が有する一部の特徴量との座標関係が類似するか否かを判定する。例えば、判定部４１は、検索対象データベース３１に登録された対象情報のうち、所定の数の局所特徴量が、クエリ情報のいずれかの局所特徴量と類似すると判定された対象情報を候補情報として抽出する。そして、判定部４１は、クエリ情報の類似特徴量の座標関係と、対象情報の類似特徴量の座標関係とが類似するか否かを判定する。例えば、判定部４１は、クエリ情報の類似特徴量の座標を対象情報の類似特徴量の座標へと変換するアフィン変換により、クエリ情報の各類似特徴量の座標を変換し、変換後の各座標が、対象情報の類似特徴量の座標と一致するか否かを判定する。そして、判定部４１は、クエリ情報の類似特徴量の座標関係と、対象情報の類似特徴量の座標関係とが類似すると判定された場合は、その対象情報を候補情報として比較部４３に通知する。
【００７６】
なお、判定部４１は、対象情報の数が第１閾値を超える場合は、クエリ情報が有する複数の特徴量の座標関係と、対象情報が有する一部の特徴量の座標関係とが類似するか否かを判定してもよい。また、判定部４１は、クエリ情報が有する複数の特徴量の座標関係と、対象情報が有する一部の特徴量の座標関係との類似性を示すパラメータを対象情報ごとに算出してもよい。例えば、判定部４１は、パラメータとして、アフィン変換確度を採用してもよい。そして、判定部４１は、算出したパラメータを比較部４３に通知する。
【００７７】
抽出部４２は、判定結果が所定の条件を満たす場合は、クエリ情報のうち、類似特徴量と対応する比較領域を抽出する。例えば、抽出部４２は、例えば、抽出部４２は、判定部４１による部分特徴量照合や部分特徴点座標照合処理の結果、類似すると判定された対象情報を処理対象として選択する。すなわち、抽出部４２は、クエリ情報の類似特徴量の特徴点の座標関係と、対象情報の類似特徴量の特徴点の座標関係とが類似すると判定された場合は、クエリ情報のうち類似特徴量と対応する範囲を比較領域として抽出する。
【００７８】
また、抽出部４２は、クエリ情報の局所特徴量のうち、部分特徴量照合や部分特徴点座標照合処理において、処理対象として選択した対象情報の局所特徴量と類似すると判定された局所特徴量を類似特徴量とする。また、処理対象として選択した対象情報の局所特徴量うち、部分特徴量照合や部分特徴点座標照合処理において、クエリ情報の局所特徴量と類似すると判定された局所特徴量を類似特徴量とする。
【００７９】
続いて、抽出部４２は、類似特徴量の特徴点の座標関係に基づいて、クエリ情報のうち対象画像と対応すると推定される領域を比較領域として抽出する。そして、抽出部４２は、比較領域と対象情報とを比較部４３に出力する。
【００８０】
なお、抽出部４２は、第２手法を実行してもよい。例えば、抽出部４２は、処理対象となる対象情報のオブジェクト範囲を検索対象データベース３１から参照し、対象情報のうちオブジェクト範囲を抽出する。また、抽出部４２は、抽出したオブジェクト範囲と対応する領域を比較領域から抽出する。そして、抽出部４２は、比較領域から抽出した範囲とオブジェクト範囲とを比較部４３に出力してもよい。
【００８１】
また、抽出部４２は、第３手法を実行してもよい。例えば、抽出部４２は、類似特徴量の位置に基づいて、クエリ情報から比較領域を抽出する。例えば、抽出部４２は、クエリ情報に含まれる類似特徴量を含む範囲を特徴領域として抽出する。また、抽出部４２は、比較領域のうち、類似特徴量を含む範囲をオブジェクト範囲として抽出する。そして、抽出部４２は、特徴領域とオブジェクト範囲とを比較部４３に出力してもよい。
【００８２】
また、抽出部４２は、第４手法を実行してもよい。例えば、抽出部４２は、あらk締め対象情報を複数の領域に分割しておく。また、抽出部４２は、対象情報の複数の領域のうち、類似特徴量を含む領域をオブジェクト領域として抽出するとともに、クエリ情報の類似特徴量を含む範囲を特徴領域として抽出する。そして、抽出部４２は、特徴領域とオブジェクト範囲とを比較部４３に出力してもよい。
【００８３】
比較部４３は、比較領域と、対象情報とを比較する。例えば、比較部４３は、比較領域と対象情報とを抽出部４２から受付けた場合は、比較領域と対象領域の全体とが類似するか否かを比較する。例えば、比較部４３は、比較領域が有する特徴量と、対象情報が有する特徴量とを比較する。より具体的な例を挙げると、比較部４３は、画像が有する色の分布に基づく特徴量を比較する。
【００８４】
なお、比較部４３は、対象情報から抽出されたオブジェクト範囲と、比較領域から抽出された領域であって、オブジェクト範囲と対応する領域とを比較してもよい。また、比較部４３は、抽出部４２が第３手法や第４手法を用いて抽出した特徴領域とオブジェクト範囲とを比較してもよい。
【００８５】
検索部４４は、比較結果に基づいて、クエリ情報と類似する対象情報を検索する。例えば、検索部４４は、比較部４３にる比較の結果、クエリ情報と対象情報とが類似すると判定される場合は、対象情報がクエリ情報と類似すると判定する。
【００８６】
提供部４５は、検索結果を利用者に提供する。例えば、提供部４５は、検索部４４によってクエリ情報と類似すると判定された対象情報を示す情報を、類似度に応じたランキング形式で並べた検索結果を生成し、生成した検索結果を端末装置１００に提供する。
【００８７】
〔３．情報提供装置が実行する処理の流れの一例〕
続いて、図６を用いて、情報提供装置１０が実行する処理の流れの一例を説明する。図６は、実施形態に係る情報提供装置が実行する表示処理の流れの一例を示すフローチャートである。なお、図６に示す例では、検索処理の対象として、図２に示す第１処理形態でクエリ画像と類似する対象画像を検索する処理の流れの一例について記載した。
【００８８】
例えば、情報提供装置１０は、クエリ画像を受付ける（ステップＳ１０１）。このような場合、情報提供装置１０は、クエリ画像の局所特徴量を算出する（ステップＳ１０２）。そして、情報提供装置１０は、各対象画像の局所特徴量のうち、クエリ画像の局所特徴量と類似する局所特徴量を特定する（ステップＳ１０３）。
【００８９】
また、情報提供装置１０は、クエリ画像の類似特徴量の座標関係と、対象画像の類似特徴量の座標関係とを比較する（ステップＳ１０４）。そして、情報提供装置１０は、座標関係に基づいて、クエリ画像から比較範囲を抽出し（ステップＳ１０５）、比較範囲と対象画像とを比較する（ステップＳ１０６）。その後、情報提供装置１０は、比較結果に基づいて、類似画像を検索し（ステップＳ１０７）、処理を終了する。
【００９０】
〔４．変形例〕
上記では、情報提供装置１０による検索処理の一例について説明した。しかしながら、実施形態は、これに限定されるものではない。以下、検索処理のバリエーションについて説明する。
【００９１】
〔４−１．特徴量の比較について〕
上述した例では、情報提供装置１０は、クエリ情報の局所特徴量と、対象情報のクエリ特徴量とを比較した。ここで、情報提供装置１０は、任意の情報が有する特徴量を局所特徴量としてもよい。例えば、情報提供装置１０は、検索対象が画像である場合、特徴点の周囲の画素の彩度や明度の平均値等を特徴量としてもよく、検索対象が音声である場合、特徴点の周囲数秒の周囲の周波数特性を特徴量としてもよい。また、上述した処理以外にも、情報提供装置１０は、任意の特徴量比較技術を併用してもよい。
【００９２】
〔４−２．その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、逆に、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
【００９３】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
【００９４】
また、上記してきた各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【００９５】
〔４−３．プログラム〕
また、上述した実施形態に係る情報提供装置１０および端末装置１００は、例えば図７に示すような構成のコンピュータ１０００によって実現される。図７は、ハードウェア構成の一例を示す図である。コンピュータ１０００は、出力装置１０１０、入力装置１０２０と接続され、演算装置１０３０、一次記憶装置１０４０、二次記憶装置１０５０、出力ＩＦ（Interface）１０６０、入力ＩＦ１０７０、ネットワークＩＦ１０８０がバス１０９０により接続された形態を有する。
【００９６】
演算装置１０３０は、一次記憶装置１０４０や二次記憶装置１０５０に格納されたプログラムや入力装置１０２０から読み出したプログラム等に基づいて動作し、各種の処理を実行する。一次記憶装置１０４０は、ＲＡＭ等、演算装置１０３０が各種の演算に用いるデータを一次的に記憶するメモリ装置である。また、二次記憶装置１０５０は、演算装置１０３０が各種の演算に用いるデータや、各種のデータベースが登録される記憶装置であり、ＲＯＭ(Read  Only  Memory)、ＨＤＤ（Hard  Disk  Drive）、フラッシュメモリ等により実現される。
【００９７】
出力ＩＦ１０６０は、モニタやプリンタといった各種の情報を出力する出力装置１０１０に対し、出力対象となる情報を送信するためのインタフェースであり、例えば、ＵＳＢ（Universal  Serial  Bus）やＤＶＩ（Digital  Visual  Interface）、ＨＤＭＩ（登録商標）（High  Definition  Multimedia  Interface）といった規格のコネクタにより実現される。また、入力ＩＦ１０７０は、マウス、キーボード、およびスキャナ等といった各種の入力装置１０２０から情報を受信するためのインタフェースであり、例えば、ＵＳＢ等により実現される。
【００９８】
なお、入力装置１０２０は、例えば、ＣＤ（Compact  Disc）、ＤＶＤ（Digital  Versatile  Disc）、ＰＤ（Phase  change  rewritable  Disk）等の光学記録媒体、ＭＯ（Magneto-Optical  disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等から情報を読み出す装置であってもよい。また、入力装置１０２０は、ＵＳＢメモリ等の外付け記憶媒体であってもよい。
【００９９】
ネットワークＩＦ１０８０は、ネットワークＮを介して他の機器からデータを受信して演算装置１０３０へ送り、また、ネットワークＮを介して演算装置１０３０が生成したデータを他の機器へ送信する。
【０１００】
演算装置１０３０は、出力ＩＦ１０６０や入力ＩＦ１０７０を介して、出力装置１０１０や入力装置１０２０の制御を行う。例えば、演算装置１０３０は、入力装置１０２０や二次記憶装置１０５０からプログラムを一次記憶装置１０４０上にロードし、ロードしたプログラムを実行する。
【０１０１】
例えば、コンピュータ１０００が情報提供装置１０として機能する場合、コンピュータ１０００の演算装置１０３０は、一次記憶装置１０４０上にロードされたプログラムを実行することにより、制御部４０の機能を実現する。また、例えば、コンピュータ１０００が端末装置１００として機能する場合、コンピュータ１０００の演算装置１０３０は、一次記憶装置１０４０上にロードされたプログラムを実行することにより、制御部４０の機能を実現する。
【０１０２】
〔５．効果〕
上述したように、情報提供装置１０は、クエリ情報が有する複数の特徴量のうち一部の特徴量と、検索対象となる対象情報が有する複数の特徴量とが類似するか否かを判定する。また、情報提供装置１０は、判定結果が所定の条件を満たす場合は、クエリ情報のうち、一部の特徴量と対応する比較領域を抽出する。また、情報提供装置１０は、対象情報とを比較し、比較結果に基づいて、クエリ情報と類似する対象情報を検索する。このため、情報提供装置１０は、例えば、クエリ情報のうち、主となる情報が含まれている可能性が高い領域と、対象情報とを比較し、比較結果に基づいた検索を行うので、類似検索における検索精度を向上させることができる。
【０１０３】
また、情報提供装置１０は、比較領域と、対象情報の全体とを比較する。また、情報提供装置１０は、比較領域のうち、所定のオブジェクトを含む範囲を抽出するとともに、対象情報のうち、所定のオブジェクトを含む範囲を抽出し、比較領域から抽出された範囲と、対象情報から抽出された範囲とを比較する。また、情報提供装置１０は、比較領域のうち、複数の特徴量を含む範囲を抽出するとともに、対象情報のうち、一部の特徴量を含む範囲を抽出し、比較領域から抽出された範囲と、対象情報から抽出された範囲とを比較する。また、情報提供装置１０は、比較領域と記対象情報とを複数の領域に分割し、分割した各領域のうち対応する領域同士を比較する。このような処理の結果、情報提供装置１０は、クエリ情報および対象情報のうち主となる情報が含まれている可能性が高い領域同士の比較結果に基づいた検索を行うので、類似検索における検索精度をさらに向上させることができる。
【０１０４】
また、情報提供装置１０は、クエリ情報から抽出された範囲が有する特徴量と、対象情報が有する特徴量とを比較する。例えば、情報提供装置１０は、特徴量として、画像が有する色の分布に基づく特徴量を比較する。このため、情報提供装置１０は、類似検索を実現することができる。
【０１０５】
また、情報提供装置１０は、クエリ情報の特徴量と、対象情報の特徴量とが類似する場合は、クエリ情報の類似特徴量の座標関係と、対象情報の類似特徴量の座標関係とが類似するか否かを判定し、類似すると判定された場合は、クエリ情報のうち、一部の特徴量と対応する比較領域を抽出する。このため、情報提供装置１０は、部分特徴量照合処理や部分特徴点座標照合処理を用いた類似検索の結果をさらに向上させることができる。
【０１０６】
また、情報提供装置１０は、クエリ情報となる画像が有する複数の特徴量のうち一部の特徴量と、検索対象となる画像が有する複数の特徴量とが類似するか否かを判定する。このため、情報提供装置１０は、類似画像検索を実現できる。
【０１０７】
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
【０１０８】
また、上記してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、抽出部は、抽出手段や抽出回路に読み替えることができる。
【符号の説明】
【０１０９】
１０  情報提供装置
２０  通信部
３０  記憶部
３１  検索対象データベース
４０  制御部
４１  判定部
４２  抽出部
４３  比較部
４４  検索部
４５  提供部
１００  端末装置
【図１】
2019057261.tif 000003
【図２】
2019057261.tif 000004
【図３】
2019057261.tif 000005
【図４】
2019057261.tif 000006
【図５】
2019057261.tif 000007
【図６】
2019057261.tif 000008
【図７】
2019057261.tif 000009