(57)【特許請求の範囲】
【請求項１】
検索装置が、
類似画像検索用の画像の撮影位置に応じた位置情報を含む検索条件に基づいて、類似検索対象となる対象画像を絞り込み、
絞り込んだ結果として特定される対象画像の中から、前記類似画像検索用の画像に類似する類似画像を検索し、
絞り込んだ結果として特定される対象画像の数が予め定められた上限数を超えている場合に、対象画像の再絞り込みを行う
検索方法。
【請求項２】
請求項１に記載の検索方法であって、
前記位置情報に基づいて検索対象範囲を算出し、算出した検索対象範囲に基づいて対象画像を絞り込む
検索方法。
【請求項３】
請求項１または請求項２に記載の検索方法であって、
物体の種類を示す分類情報、または、撮影した状況に応じたカテゴリを示すカテゴリ情報、のうちの少なくとも一つを用いて、対象画像を絞り込む
検索方法。
【請求項４】
請求項１から請求項３までのうちのいずれか１項に記載の検索方法であって、
前記位置情報を用いた絞り込みを行う際に用いる条件を変更して、変更後の条件を用いて検索対象範囲を算出し、算出した検索対象範囲に基づいて対象画像の再絞り込みを行う
検索方法。
【請求項５】
請求項１から請求項４までのうちのいずれか１項に記載の検索方法であって、
類似画像検索用の画像中の物体領域を検出し、検出した物体領域のうちの少なくとも一部に対して類似画像検索を行う
検索方法。
【請求項６】
請求項１から請求項５までのいずれか１項に記載の検索方法であって、
検索した結果として特定される類似画像を出力する
検索方法。
【請求項７】
類似画像検索用の画像の撮影位置に応じた位置情報を含む検索条件に基づいて、類似検索対象となる対象画像を絞り込む絞り込み部と、
絞り込んだ結果として特定される対象画像の中から、前記類似画像検索用の画像に類似する類似画像を検索する類似画像検索部と、
を有し、
前記絞り込み部は、絞り込んだ結果として特定される対象画像の数が予め定められた上限数を超えている場合に、対象画像の再絞り込みを行う
検索装置。
【請求項８】
検索装置に、
類似画像検索用の画像の撮影位置に応じた位置情報を含む検索条件に基づいて、類似検索対象となる対象画像を絞り込む絞り込み部と、
絞り込んだ結果として特定される対象画像の中から、前記類似画像検索用の画像に類似する類似画像を検索する類似画像検索部と、
を実現させ、
前記絞り込み部は、絞り込んだ結果として特定される対象画像の数が予め定められた上限数を超えている場合に、対象画像の再絞り込みを行う
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、検索方法、検索装置、プログラムに関する。
【背景技術】
【０００２】
画像に基づいて、当該画像に類似する類似画像を検索する技術が知られている。
【０００３】
類似画像を検索する際に用いられる技術の一つとして、例えば、特許文献１がある。特許文献１には、オークションＩＤを指定した類似画像の検索要求を受信する手段と、各商品画像の特徴データが記録された特徴データベースから検索要求で指定されたオークションＩＤに対応付けられた特徴データを取得する手段と、特徴データベースを検索して、抽出した特徴データに類似した特徴データに対応付けられたオークションＩＤを抽出する手段と、画像データベースから、前記抽出したオークションＩＤに該当する画像データを取得する手段と、取得した画像データをユーザコンピュータへ送信する手段と、を備えるシステムが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−３０３１８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
例えば、警察における捜査などにおいて、現場に残された遺留品の写真画像をもとに、他の事案において撮影された類似画像の検索を行いたい場合がある。このような犯罪、事件などでは、時空間における相関があることがあるが、特許文献１に記載のような技術では、撮影位置などに応じた調整を行っていない。そのため、単に類似画像の検索を行うと、位置的に遠く離れた事案の類似画像など、関連性が低いと想定される類似画像も検索されてしまっていた。例えば、以上の例のように、位置的な関連性が想定される状況において、単に類似画像の検索を行うと、位置的に遠く離れた類似画像など関連性が低いと想定される画像も検索されてしまう。その結果、検索結果に基づいて関連性の高い画像を迅速に把握することが難しい、という課題が生じていた。
【０００６】
そこで、本発明の目的は、類似画像の検索を行う際に、検索結果に基づいて関連性の高い画像を迅速に把握することが難しい場合がある、という課題を解決する検索方法、検索装置、プログラムを提供することにある。
【課題を解決するための手段】
【０００７】
かかる目的を達成するため本発明の一形態である検索方法は、
検索装置が、
類似画像検索用の画像の撮影位置に応じた位置情報を含む検索条件に基づいて、類似検索対象となる対象画像を絞り込み、
絞り込んだ結果として特定される対象画像の中から、前記類似画像検索用の画像に類似する類似画像を検索する
という構成をとる。
【０００８】
また、本発明の他の形態である検索装置は、
類似画像検索用の画像の撮影位置に応じた位置情報を含む検索条件に基づいて、類似検索対象となる対象画像を絞り込む絞り込み部と、
絞り込んだ結果として特定される対象画像の中から、前記類似画像検索用の画像に類似する類似画像を検索する類似画像検索部と、
を有する
という構成をとる。
【０００９】
また、本発明の他の形態であるプログラムは、
検索装置に、
類似画像検索用の画像の撮影位置に応じた位置情報を含む検索条件に基づいて、類似検索対象となる対象画像を絞り込む絞り込み部と、
絞り込んだ結果として特定される対象画像の中から、前記類似画像検索用の画像に類似する類似画像を検索する類似画像検索部と、
を実現するためのプログラムである。
【００１０】
本発明は、以上のように構成されることにより、類似画像の検索を行う際に、検索結果に基づいて関連性の高い画像を迅速に把握することが可能な検索方法、検索装置、プログラムを提供することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本開示の第１の実施形態における検索装置の概要について説明するための図である。
【図２】検索装置の構成例を示すブロック図である。
【図３】物体検出部の処理例を説明するための図である。
【図４】絞り込み部による絞り込みの一例を説明するための図である。
【図５】検索装置の動作例を示すフローチャートである。
【図６】本開示の第２の実施形態における検索装置のハードウェア構成例を示す図である。
【図７】検索装置の構成例を示すブロック図である。
【発明を実施するための形態】
【００１２】
［第１の実施形態］
本発明の第１の実施形態を図１から図５までを参照して説明する。図１は、検索装置１００の概要について説明するための図である。図２は、検索装置１００の構成例を示すブロック図である。図３は、物体検出部１５２の処理例を説明するための図である。図４は、絞り込み部１５３による絞り込みの一例を説明するための図である。図５は、検索装置１００の動作例を示すフローチャートである。
【００１３】
本発明の第１の実施形態では、画像に類似する類似画像を検索する検索装置１００について説明する。図１で示すように、検索装置１００には、検索者などにより類似画像検索用の画像が入力される。この際、後述するように、検索装置１００には、画像とともに、位置情報を含む検索条件を入力することが出来る。画像と位置情報を含む検索条件とが入力された場合、検索装置１００は、位置情報を含む検索条件に基づいて、検索対象となる対象画像を絞りこむ。その後、検索装置１００は、絞り込んだ後の対象画像の中から、類似画像検索用の画像と類似する類似画像を検索する。
【００１４】
図２は、検索装置１００の構成例を示している。図２を参照すると、検索装置１００は、主な構成要素として、例えば、操作入力部１１０と、画面表示部１２０と、通信Ｉ／Ｆ部１３０と、記憶部１４０と、演算処理部１５０と、を有している。
【００１５】
操作入力部１１０は、キーボードやマウスなどの操作入力装置からなる。操作入力部１１１０は、検索装置１００を利用する利用者などの操作を検出して、演算処理部１５０に出力する。
【００１６】
画面表示部１２０は、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ、液晶ディスプレイ）などの画面表示装置からなる。画面表示部１２０は、演算処理部１５０からの指示に応じて、類似画像検索部１５４による類似画像検索の結果に応じた情報や記憶部１４０に保存された各種情報などを画面表示することが出来る。
【００１７】
通信Ｉ／Ｆ部１３０は、データ通信回路からなる。通信Ｉ／Ｆ部１３０は、無線通信などにより接続された外部装置との間でデータ通信を行う。
【００１８】
記憶部１４０は、ハードディスクやメモリなどの記憶装置である。記憶部１４０は、演算処理部１５０における各種処理に必要な処理情報やプログラム１４６を記憶する。プログラム１４６は、演算処理部１５０に読み込まれて実行されることにより各種処理部を実現する。プログラム１４６は、通信Ｉ／Ｆ部１３０などのデータ入出力機能を介して外部装置や記録媒体から予め読み込まれ、記憶部１４０に保存されている。記憶部１４０で記憶される主な情報としては、例えば、画像データ１４１、画像インデックス１４２、分類インデックス１４３、位置インデックス１４４、種別インデックス１４５などがある。
【００１９】
画像データ１４１は、後述する類似画像検索部１５４による類似画像検索において検索対象となる画像（対象画像）を含んでいる。画像データ１４１に含まれる画像は、例えば、物体検出部１５２が検出した各物体領域に対応するものであって構わない。画像データ１４１に含まれる画像は、通信Ｉ／Ｆ部１３０などのデータ入出力機能を介して外部装置や記録媒体などから読み込まれる、検索装置１００に入力された画像に基づいて物体検出部１５２が検出する、などの方法により予め取得され、記憶部１４０に保存されている。
【００２０】
画像インデックス１４２は、画像データ１４１に含まれる画像の特徴を抽出した情報である特徴情報を保存するインデックスである。特徴情報は、例えば、通信Ｉ／Ｆ部１３０などのデータ入出力機能を介して画像とともに読み込まれる、検索装置１００が当該検索装置１００に対して入力された画像から（または、物体検出部１５２による検出結果を用いて）抽出する、などの方法により予め取得されている。画像インデックス１４２は、後述する類似画像検索部１５４が類似画像検索を行う際などに利用することが出来る。
【００２１】
例えば、特徴情報には、画像から抽出した色、模様、輪郭の特徴量など画像の特徴を示す情報のうちの少なくとも１つが含まれている。特徴情報に含まれる画像の特徴は、大域特徴量やＳＩＦＴ（Scale-Invariant Feature Transform）などの局所特徴量など、既知の技術を用いて画像から抽出されたもので構わない。特徴情報には、上記例示した以外の画像の特徴を示す情報が含まれても構わない。
【００２２】
なお、画像データ１４１の中には、例えば、ガラスの割れ方や足跡など、色情報が検索に不要な画像も含まれうる。このような検索に不要な特徴が含まれる画像に対応する特徴情報には、例えば、グレースケール化や画像が属する分類に特化したフィルタをかけた結果として抽出される特徴など、所定の処理を行ったうえで抽出した画像の特徴を示す情報を含むことが出来る。換言すると、特徴情報には、対応する画像が属する分類などに応じた処理をしたうえで抽出された特徴を示す情報が含まれていても構わない。
【００２３】
分類インデックス１４３は、画像データ１４１に含まれる画像が属する分類を示す情報である分類情報を保存するインデックスである。分類情報は、例えば、パソコン、マウス、車、椅子、机、ガラスなど、画像が示す物体の種類などを示している。分類情報は、壊れていないパソコン、割れたガラス、椅子の背もたれなど、上記例示した場合よりもより細分化された分類を示しても構わないし、大分類、小分類など段階的な複数の分類を含んでいても構わない。分類情報は、例えば、通信Ｉ／Ｆ部１３０などのデータ入出力機能を介して画像とともに読み込まれる、画像を読み込んだ後に（または、物体検出部１５２による検出の後に）操作入力部１１０に対する操作により入力される、検索装置１００に入力された画像データを事前に学習したクラス分類モデルなどに入力することで検索装置１００が分類する、などの方法により予め取得されている。分類インデックス１４３は、後述する類似画像検索部１５４が類似画像検索を行う際などに利用することが出来る。
【００２４】
なお、クラス分類モデルは、例えば、人間がラベル付けすることで生成した教師データを用いた学習を行うことで、生成することが出来る。例えば、クラス分類モデルは、予め用意した画像（画像の特徴量）に対して当該画像が属する分類を人間がラベル付けすることにより教師データを生成し、生成した教師データを用いた機械学習を行うことなどにより生成することが出来る。
【００２５】
位置インデックス１４４は、画像データ１４１に含まれる画像を撮影した位置を示す情報である位置情報を保存するインデックスである。位置情報は、例えば、ＧＰＳ（Global Positioning System）座標などの撮影位置を特定可能な情報である。位置情報は、例えば、通信Ｉ／Ｆ部１３０などのデータ入出力機能を介して画像とともに読み込まれる、画像を読み込んだ後に（または、物体検出部１５２による検出の後に）操作入力部１１０に対する操作により入力される、などの方法により予め取得されている。位置インデックス１４４は、後述する類似画像検索部１５４が類似画像検索を行う際などに利用することが出来る。
【００２６】
種別インデックス１４５は、画像データ１４１に含まれる画像のカテゴリなどを示す情報であるカテゴリ情報を保存するインデックスである。カテゴリ情報は、例えば、どの種類の犯罪現場を撮影した画像であるか（または、どの事案に該当するか）、どの時期に撮影された画像であるか、どのイベントを示す画像であるか、など、画像を撮影した状況などに応じたカテゴリを示している。カテゴリ情報は、例えば、通信Ｉ／Ｆ部１３０などのデータ入出力機能を介して画像とともに読み込まれる、画像を読み込んだ後に（または、物体検出部１５２による検出の後に）操作入力部１１０に対する操作により入力される、などの方法により予め取得されている。種別インデックス１４５は、後述する類似画像検索部１５４が類似画像検索を行う際などに利用することが出来る。
【００２７】
演算処理部１５０は、ＭＰＵなどのマイクロプロセッサとその周辺回路を有する。演算処理部１５０は、記憶部１４０からプログラム１４６を読み込んで実行することにより、上記ハードウェアとプログラム１４６とを協働させて各種処理部を実現する。演算処理部１５０で実現される主な処理部としては、例えば、取得部１５１、物体検出部１５２、絞り込み部１５３、類似画像検索部１５４、出力部１５５などがある。
【００２８】
取得部１５１は、通信Ｉ／Ｆ部１３０などを介して、記憶部１４０に保存するための画像や類似検索を行うための画像などを取得する。
【００２９】
例えば、取得部１５１は、記憶部１４０に保存する旨を示す指示とともに、画像を取得する。取得部１５１は、画像とともに、特徴情報、分類情報、位置情報、カテゴリ情報などを取得しても構わない。そして、取得部１５１は、取得した画像などを記憶部１４０に保存する。換言すると、取得部１５１は、取得した画像を画像データ１４１として記憶部１４０に保存するとともに、画像とともに取得した情報に基づいて各種インデックスを生成して記憶部１４０に保存することが出来る。
【００３０】
また、取得部１５１は、類似画像検索用の画像を取得する。この際、取得部１５１は、上記類似画像検索用の画像とともに、類似画像を検索する際に用いる検索条件を示す情報を取得することが出来る。ここで、本実施形態の場合、検索条件には、少なくとも位置情報が含まれている。位置情報は、ＧＰＳ座標などであり、例えば撮像装置を用いて画像を取得する際に画像の撮影位置を示す情報として画像とともに取得されている。なお、検索条件には、分類情報やカテゴリ情報など、位置情報以外の情報が含まれていても構わない。例えば、以上のように、取得部１５１は、類似画像の検索指示とともに、検索対象の画像と、位置情報を少なくとも含む検索条件を示す情報と、を取得する。
【００３１】
物体検出部１５２は、取得部１５１が取得した画像中の物体領域を検出する。また、物体検出部１５２は、検出した物体領域（物体領域部分の画像）が属する分類を判定することが出来る。
【００３２】
例えば、物体検出部１５２は、予め学習された物体検出モデルを用いて、取得部１５１が取得した類似画像検索用の画像中の物体領域を検出する。図３は、物体検出部１５２による処理例を説明するための図である。図３で例示する場合、物体検出部１５２は、画像を物体検出モデルに入力することで、例えば、３つの物体領域を検出する。
【００３３】
なお、物体検出部１５２が用いる物体検出モデルは、既知の技術を用いて生成されたもので構わない。例えば、物体検出モデルは、ディープラーニングや局所特徴量などを用いた機械学習（例えば、クラス分類モデルと同様に教師データを用いた機械学習）などにより生成することが出来る。
【００３４】
また、物体検出部１５２は、検出した物体領域が属する分類を判定する。例えば、物体検出部１５２は、上述したクラス分類モデルを用いて、検出した物体領域が属する分類を判定する。図３で示す画像の場合、上述したように、物体検出部１５２は３つの物体領域を検出している。物体検出部１５２は、クラス分類モデルを用いて、検出した３つの物体領域が属する分類を判定する。例えば、図３の場合、物体検出部１５２は、３つの物体領域が、人、机、椅子にそれぞれ属することを判定する。なお、物体検出部１５２は、それぞれの物体領域が属する分類の確からしさを示す値を上記判定とともに算出しても構わない。
【００３５】
例えば、以上のように、物体検出部１５２は、物体領域を検出するとともに、物体領域が属する分類を判定する。なお、物体検出部１５２は、物体の検出と分類を同時に行う検出・分類モデルを用いて上述した処理を行っても構わない。検出・分類モデルは、クラス分類モデルや物体検出モデルなどと同様に、機械学習などを行うことで予め生成することが出来る。
【００３６】
絞り込み部１５３は、取得部１５１が取得した位置情報を含む検索条件と記憶部１４０に格納された各種インデックスに基づいて、類似画像検索部１５４が類似画像検索を行う対象となる画像である対象画像の絞り込みを行う。換言すると、絞り込み部１５３は、位置情報を含む検索条件に基づいて、画像データ１４１に含まれる画像のうち類似画像検索による検索対象となる画像を絞り込む。
【００３７】
絞り込み部１５３は、検索条件に含まれる位置情報に基づく絞り込みを、位置インデックス１４４を参照して行う。例えば、絞り込み部１５３は、検索条件に含まれる位置情報と予め定められた第１条件とに基づいて、検索対象範囲を算出する。ここで、第１条件は、例えば、半径ｘｋｍ、同一県内、同一市内、など、位置情報に基づいて検索範囲を指定する際に用いられる条件である。絞り込み部１５３は、検索条件に含まれる位置情報と予め定められた第１条件とを用いることで、検索条件に含まれる位置情報が示す位置から半径ｘｋｍなど検索対象範囲を算出する。そして、絞り込み部１５３は、位置インデックス１４４を参照して、画像データ１４１に含まれる画像のうち位置情報が検索対象範囲内の画像を特定する。つまり、絞り込み部１５３は、画像データ１４１に含まれる画像のうち位置情報が検索対象範囲内の画像を検索対象の画像とする。
【００３８】
図４は、絞り込み部１５３による位置情報を用いた絞り込み処理の一例を示している。図４で示すように、位置情報を用いた絞り込み処理を行うことで、位置情報が示す画像撮影箇所に基づいて設定される検索対象範囲内で撮影された画像が検索対象の画像となる。言い換えると、位置情報が示す画像撮影箇所に基づいて設定される検索対象範囲よりも外側で撮影された画像が検索対象外の画像となることになる。
【００３９】
なお、検索条件に位置情報以外が含まれる場合、絞り込み部１５３は、検索条件に含まれる各情報を満たすように、絞り込みを行うことが出来る。例えば、検索条件に位置情報と分類情報とが含まれるとする。この場合、絞り込み部１５３は、画像データ１４１に含まれる画像のうち、位置情報が検索対象範囲内であり、かつ、分類情報が検索条件で示されるものである画像を検索対象の画像とする。例えば、以上のように、絞り込み部１５３は、検索条件に含まれる複数の情報を用いて対象画像の絞り込みを行うことが出来る。検索条件に３つ以上の情報が含まれる場合も、同様である。
【００４０】
また、絞り込み部１５３は、上述した絞り込みの結果と、予め定められた上限数とに基づいて、再絞り込みを行うことが出来る。例えば、上述した処理により絞り込まれた検索対象の画像数が上限数を超えているとする。このような場合、絞り込み部１５３は、第１条件を変更して再絞り込みを行うことが出来る。例えば、絞り込み部１５３は、半径を所定値分狭くする、同一県内から隣接市内に変更する、同一市内から半径ｚｋｍに変更する、などのように、第１条件よりも狭い範囲となるように、予め定められた基準に従って第１条件を変更する。そして、絞り込み部１５３は、変更した第１条件に基づいて、再絞り込みを行う。再絞り込みの際にどのように第１条件を変更するかは、任意に設定して構わない。
【００４１】
なお、検索条件に位置情報以外が含まれる場合、絞り込み部１５３は、検索条件に含まれる各情報が示す条件を予め定められた基準に従って変更したうえで、再絞り込みを行うことが出来る。例えば、絞り込み部１５３は、より細かな分類にする、カテゴリをより特定する、などの方法により、条件を変更することが出来る。絞り込み部１５３は、検索条件に位置情報以外が含まれる場合、まず、位置情報に対応する第１条件のみを変更して再絞り込みを行い、再絞り込みの結果でも上限数を超えている場合に、その他の情報が示す条件を変更するよう構成しても構わない。
【００４２】
類似画像検索部１５４は、絞り込み部１５３が絞り込んだ結果として特定される対象画像の中から、類似画像検索用の画像に類似する画像を検索する。物体検出部１５２が類似画像検索用の画像から複数の物体領域を検出していた場合、類似画像検索部１５４は、物体検出部１５２が検出した複数の物体領域（物体領域部分の画像）それぞれについて、類似画像検索を行うことが出来る。
【００４３】
類似画像検索部１５４は、画像の内容に基づいて類似画像検索を行うＣＢＩＲ（Content-based Image Retrieval）など、既知の技術を用いて類似画像検索を行うことが出来る。例えば、類似画像検索部１５４は、類似画像検索用の画像（例えば、物体領域部分の画像）から特徴量を算出する。この際、類似画像検索部１５４は、グレースケール化、画像が属する分類に特化したフィルタの適用など、類似画像検索用の画像に対して所定の前処理を行ったうえで、特徴量の算出を行うことが出来る。また、類似画像検索部１５４は、算出した特徴量と画像インデックス１４２が示す対象画像の特徴量などとに基づいて、類似画像検索用の画像と各対象画像間の類似度を算出する。そして、類似画像検索部１５４は、算出した類似度が類似閾値以下となる対象画像を、類似画像検索用の画像に類似する類似画像として特定する。例えば、以上のように、類似画像検索部１５４は、画像の特徴量など画像の内容に基づいて、絞り込み部１５３が絞り込んだ対象画像の中から類似画像検索用の画像に類似する類似画像を検索する。
【００４４】
なお、物体検出部１５２が画像から複数の物体領域を検出していた場合、類似画像検索部１５４は、物体検出部１５２が検出した複数の物体領域すべてに対して類似画像検索を行っても構わないし、物体検出部１５２が検出した複数の物体領域のうちの一部に対して類似画像検索を行っても構わない。例えば、類似画像検索部１５４は、物体検出部１５２が検出した複数の物体領域のうち、操作入力部１１０の操作により指定された物体領域や、予め定められた条件により指定された物体領域のみについて、類似画像検索を行っても構わない。
【００４５】
また、類似画像検索部１５４は、所定の前処理を行うか否かを、物体検出部１５２が判定した分類などに基づいて判断するよう構成することが出来る。例えば、類似画像検索部１５４は、割れたガラスや足跡など、類似画像検索の対象となる画像が属する分類が予め定められたものである場合、対応する前処理を行うよう構成することが出来る。
【００４６】
出力部１５５は、類似画像検索部１５４による類似画像検索の結果に応じた出力を行う。例えば、出力部１５５は、類似画像検索部１５４により検索される類似画像を画面表示部１２０に画面表示したり、外部装置に対して送信したりする。物体検出部１５２が複数の物体領域それぞれについて類似画像検索を行った場合、出力部１５５は、対応する物体領域を判別可能なように、各物体領域部分の画像に類似する類似画像を画面表示等することが出来る。なお、出力部１５５は、絞り込み部１５３が絞りこんだ結果に応じた画像数（対象画像の画像数）など、上記例示したもの以外を出力しても構わない。
【００４７】
以上が、検索装置１００の構成例である。
【００４８】
なお、取得部１５１が記憶部１４０に保存する旨を示す指示とともに画像を取得した際に、検索装置１００は、各種インデックスのための情報生成などを行っても構わない。例えば、検索装置１００は、物体検出部１５２による物体領域の検出を行って、検出した物体領域ごとの画像を画像データ１４１に保存することが出来る。また、検索装置１００は、物体検出部１５２により物体領域が属する分類を判定して、判定した結果を分類インデックス１４３に保存することが出来る。また、検索装置１００は、類似画像検索部１５４による特徴量の算出を行って、算出した結果を画像インデックス１４２に保存することが出来る。また、上述したように、検索装置１００は、画像とともに取得した位置情報やカテゴリ情報に基づいて、位置インデックスや種別インデックスを保存することが出来る。なお、１つの画像に基づいて物体検出部１５２が複数の物体領域を検出した場合、各物体領域に対応する位置インデックス１４４が示す位置情報は、例えば、同一のものとなる（異なるものとしても構わない）。例えば、以上のように、取得部１５１が記憶部１４０に保存するための画像を取得した際、検索装置１００は、各種インデックスのための情報生成を行って、生成した情報を各インデックスに保存することが出来る。
【００４９】
また、検索装置１００は、類似画像検索用に取得した画像、検索条件、類似画像検索の際に判定した分類、特徴量などを、別の類似画像検索の際に用いるために、記憶部１４０に格納するよう構成することが出来る。つまり、検索装置１００は、予め格納された画像と過去の類似画像検索に用いられた画像の中から類似する画像を検索するよう構成することが出来る。
【００５０】
続いて、図５を参照して、検索装置１００の動作例について説明する。図５を参照すると、取得部１５１は、類似画像の検索指示とともに、検索対象の画像と、位置情報を少なくとも含む検索条件を示す情報と、を取得する（ステップＳ１０１）。
【００５１】
物体検出部１５２は、取得部１５１が取得した類似画像検索用の画像中の、物体領域を検出する。また、物体検出部１５２は、検出した物体領域（物体領域部分の画像）が属する分類を判定する（ステップＳ１０２）。例えば、物体検出部１５２は、予め学習された物体検出モデルを用いて、取得部１５１が取得した類似画像検索用の画像中の物体領域を検出する。また、物体検出部１５２は、予め学習されたクラス分類モデルを用いて、検出した物体領域が属する分類を判定する。
【００５２】
絞り込み部１５３は、取得部１５１が取得した位置情報を含む検索条件に基づいて、類似画像検索部１５４が類似画像検索を行う対象となる画像の絞り込みを行う（ステップＳ１０３）。
【００５３】
ステップＳ１０３の処理により絞り込まれた対象画像の数が上限数を超えている場合、（ステップＳ１０４、Ｎｏ）、絞り込み部１５３は、第１条件を変更して再絞り込みを行う（ステップＳ１０５）。
【００５４】
なお、ステップＳ１０３の処理は、ステップＳ１０２の処理の前、または、ステップＳ１０２の処理と並行して、行われても構わない。
【００５５】
ステップＳ１０３の処理により絞り込まれた対象画像の数が上限数以下である場合（ステップＳ１０４、Ｙｅｓ）、類似画像検索部１５４は、類似画像検索を行う（ステップＳ１０６）。類似画像検索部１５４は、画像の内容に基づいて類似画像検索を行うＣＢＩＲ（Content-based Image Retrieval）など、既知の技術を用いて類似画像検索を行うことが出来る。なお、ステップＳ１０２の処理により物体検出部１５２が画像から複数の物体領域を検出した場合、類似画像検索部１５４は、物体検出部１５２が検出した複数の物体領域（物体領域部分の画像）それぞれについて、類似画像検索を行うことが出来る。
【００５６】
出力部１５５は、類似画像検索部１５４による類似画像検索の結果に応じた出力を行う（ステップＳ１０７）。例えば、出力部１５５は、類似画像を画面表示部１２０に画面表示したり、類似画像を外部装置に対して送信したりすることが出来る。
【００５７】
以上が、検索装置１００の動作例である。
【００５８】
このように、検索装置１００は、絞り込み部１５３と、類似画像検索部１５４と、を有している。このような構成により、類似画像検索部１５４は、絞り込み部１５３が位置情報を含む検索条件に基づいて絞り込んだ結果の中から類似画像検索を行うことが出来る。これにより、より迅速な検索を実現することが出来る。また、検索条件に基づいて関連性の低いと判断される画像を事前に検索対象外とするため、関連性の高いと想定される類似画像をより精度よく検索することが出来る。その結果、類似画像の検索を行う際に、検索結果に基づいて関連性の高い画像を迅速に把握することが可能となる。
【００５９】
なお、本実施形態において、検索装置１００は、絞り込み部１５３による絞り込みの後に、類似画像検索部１５４による類似画像検索を行うとした。しかしながら、検索装置１００は、類似画像検索部１５４が画像データ１４１全体から類似画像検索を行った後に、絞り込み部１５３により類似画像検索部１５４による検索結果の絞り込みを行うよう構成しても構わない。絞り込み部１５３による絞り込みの後に類似画像検索部１５４による類似画像検索を行う方が、類似画像検索の際の負荷を軽減させることなどが出来るため、より好ましい方法である。しかしながら、類似画像検索を行った後に絞り込む方法でも、本発明の目的は達成できる。
【００６０】
また、検索装置１００は、物体領域の検出を行わずに画像全体に対して類似画像検索を行うよう構成しても構わない。このように構成する場合、検索装置１００は、物体検出部１５２の代わりに物体分類部を有しても構わない。
【００６１】
また、本実施形態においては、１台の情報処理装置により検索装置１００としての機能を実現する場合について例示した。しかしながら、検索装置１００としての機能は、ネットワークを介して接続された複数台の情報処理装置により実現されても構わない。例えば、検索装置１００は、クラウドなどを利用して実現されても構わない。
【００６２】
［第２の実施形態］
次に、図６、図７を参照して、本開示の第２の実施形態について説明する。第２の実施形態では、検索装置２００の構成の概要について説明する。
【００６３】
図６は、検索装置２００のハードウェア構成例を示している。図６を参照すると、検索装置２００は、一例として、以下のようなハードウェア構成を有している。
・ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２０１（演算装置）
・ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２０２（記憶装置）
・ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２０３（記憶装置）
・ＲＡＭ２０３にロードされるプログラム群２０４
・プログラム群２０４を格納する記憶装置２０５
・情報処理装置外部の記録媒体２１０の読み書きを行うドライブ装置２０６
・情報処理装置外部の通信ネットワーク２１１と接続する通信インタフェース２０７
・データの入出力を行う入出力インタフェース２０８
・各構成要素を接続するバス２０９
【００６４】
また、検索装置２００は、プログラム群２０４をＣＰＵ２０１が取得して当該ＣＰＵ２０１が実行することで、図７に示す絞り込み部２２１、類似画像検索部２２２としての機能を実現することが出来る。なお、プログラム群２０４は、例えば、予め記憶装置２０５やＲＯＭ２０２に格納されており、必要に応じてＣＰＵ２０１がＲＡＭ２０３などにロードして実行する。また、プログラム群２０４は、通信ネットワーク２１１を介してＣＰＵ２０１に供給されてもよいし、予め記録媒体２１０に格納されており、ドライブ装置２０６が該プログラムを読み出してＣＰＵ２０１に供給してもよい。
【００６５】
なお、図６は、検索装置２００のハードウェア構成例を示している。検索装置２００のハードウェア構成は上述した場合に限定されない。例えば、検索装置２００は、ドライブ装置２０６を有さないなど、上述した構成の一部から構成されてもよい。
【００６６】
絞り込み部２２１は、類似画像検索用の画像の撮影位置に応じた位置情報を含む検索条件に基づいて、類似検索対象となる対象画像を絞り込む。例えば、検索装置２００は、類似画像検索用の画像と、位置情報を含む検索条件と、を取得する。すると、検索装置２００は、位置情報を含む検索条件に基づいて、類似検索対象となる対象画像を絞り込む。
【００６７】
類似画像検索部２２２は、絞り込んだ結果として特定される対象画像の中から、類似画像検索用の画像に類似する類似画像を検索する。
【００６８】
このように、検索装置２００は、絞り込み部２２１と、類似画像検索部２２２と、を有している。このような構成により、類似画像検索部２２２は、絞り込み部２２１が絞り込んだ結果として特定される対象画像の中から、類似画像検索用の画像に類似する類似画像を検索することが出来る。これにより、関連性の高いと想定される類似画像をより精度よく検索することが出来る。その結果、類似画像の検索を行う際に、検索結果に基づいて関連性の高い画像を迅速に把握することが可能となる。
【００６９】
なお、上述した検索装置２００は、当該検索装置２００に所定のプログラムが組み込まれることで実現できる。具体的に、本発明の他の形態であるプログラムは、検索装置２００に、類似画像検索用の画像の撮影位置に応じた位置情報を含む検索条件に基づいて、類似検索対象となる対象画像を絞り込む絞り込み部２２１と、絞り込み部２２１が絞り込んだ結果として特定される対象画像の中から、前記類似画像検索用の画像に類似する類似画像を検索する類似画像検索部２２２と、を実現するためのプログラムである。
【００７０】
また、上述した検索装置２００により実現される検索方法は、検索装置２００が、類似画像検索用の画像の撮影位置に応じた位置情報を含む検索条件に基づいて、類似検索対象となる対象画像を絞り込み、絞り込んだ結果として特定される対象画像の中から、前記類似画像検索用の画像に類似する類似画像を検索する、という方法である。
【００７１】
上述した構成を有する、プログラム（または記録媒体）、または、検索方法、の発明であっても、上述した検索装置２００と同様の作用・効果を有するために、上述した本発明の目的を達成することが出来る。
【００７２】
＜付記＞
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における検索方法などの概略を説明する。但し、本発明は、以下の構成に限定されない
【００７３】
（付記１）
検索装置が、
類似画像検索用の画像の撮影位置に応じた位置情報を含む検索条件に基づいて、類似検索対象となる対象画像を絞り込み、
絞り込んだ結果として特定される対象画像の中から、前記類似画像検索用の画像に類似する類似画像を検索する
検索方法。
（付記２）
付記１に記載の検索方法であって、
前記位置情報に基づいて検索対象範囲を算出し、算出した検索対象範囲に基づいて対象画像を絞り込む
検索方法。
（付記３）
付記１または付記２に記載の検索方法であって、
物体の種類を示す分類情報、または、撮影した状況に応じたカテゴリを示すカテゴリ情報、のうちの少なくとも一つを用いて、対象画像を絞り込む
検索方法。
（付記４）
付記１から付記３までのいずれか１項に記載の検索方法であって、
絞り込んだ結果として特定される対象画像の数に応じて対象画像の再絞り込みを行う
検索方法。
（付記５）
付記４に記載の検索方法であって、
絞り込んだ結果として特定される対象画像の数が予め定められた上限数を超えている場合に、対象画像の再絞り込みを行う
検索方法。
（付記６）
付記４または付記５に記載の検索方法であって、
前記位置情報を用いた絞り込みを行う際に用いる条件を変更して、変更後の条件を用いて検索対象範囲を算出し、算出した検索対象範囲に基づいて対象画像の再絞り込みを行う
検索方法。
（付記７）
付記１から付記６までのうちのいずれか１項に記載の検索方法であって、
類似画像検索用の画像中の物体領域を検出し、検出した物体領域のうちの少なくとも一部に対して類似画像検索を行う
検索方法。
（付記８）
付記１から付記７までのいずれか１項に記載の検索方法であって、
検索した結果として特定される類似画像を出力する
検索方法。
（付記９）
検索装置が、
類似画像検索用の画像に類似する類似画像を検索し、
類似画像検索用の画像の撮影位置に応じた位置情報を含む検索条件に基づいて、検索した結果を絞り込む
検索方法。
（付記１０）
類似画像検索用の画像の撮影位置に応じた位置情報を含む検索条件に基づいて、類似検索対象となる対象画像を絞り込む絞り込み部と、
絞り込んだ結果として特定される対象画像の中から、前記類似画像検索用の画像に類似する類似画像を検索する類似画像検索部と、
を有する
検索装置。
（付記１１）
検索装置に、
類似画像検索用の画像の撮影位置に応じた位置情報を含む検索条件に基づいて、類似検索対象となる対象画像を絞り込む絞り込み部と、
絞り込んだ結果として特定される対象画像の中から、前記類似画像検索用の画像に類似する類似画像を検索する類似画像検索部と、
を実現するためのプログラム。
【００７４】
なお、上記各実施形態及び付記において記載したプログラムは、記憶装置に記憶されていたり、コンピュータが読み取り可能な記録媒体に記録されていたりする。例えば、記録媒体は、フレキシブルディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等の可搬性を有する媒体である。
【００７５】
以上、上記各実施形態を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることが出来る。
【符号の説明】
【００７６】
１００  検索装置
１１０  操作入力部
１２０  画面表示部
１３０  通信Ｉ／Ｆ部
１４０  記憶部
１４１  画像データ
１４２  画像インデックス
１４３  分類インデックス
１４４  位置インデックス
１４５  種別インデックス
１４６  プログラム
１５０  演算処理部
１５１  取得部
１５２  物体検出部
１５３  絞り込み部
１５４  類似画像検索部
１５５  出力部
２００  検索装置
２０１  ＣＰＵ
２０２  ＲＯＭ
２０３  ＲＡＭ
２０４  プログラム群
２０５  記憶装置
２０６  ドライブ装置
２０７  通信インタフェース
２０８  入出力インタフェース
２０９  バス
２１０  記録媒体
２１１  通信ネットワーク
２２１  絞り込み部
２２２  類似画像検索部
【要約】
【課題】類似画像の検索を行う際に、検索結果に基づいて関連性の高い画像を迅速に把握することが難しい場合がある。
【解決手段】検索装置が、類似画像検索用の画像の撮影位置に応じた位置情報を含む検索条件に基づいて、類似検索対象となる対象画像を絞り込み、絞り込んだ結果として特定される対象画像の中から、前記類似画像検索用の画像に類似する類似画像を検索する。
【選択図】図２【図１】
0006904619.tif 000002
【図２】
0006904619.tif 000003
【図３】
0006904619.tif 000004
【図４】
0006904619.tif 000005
【図５】
0006904619.tif 000006
【図６】
0006904619.tif 000007
【図７】
0006904619.tif 000008