(57)【要約】【課題】検索装置の検索精度をより容易に評価できるようにする。【解決手段】実施形態の検索装置は、検索部と抽出部と表示制御部とを備える。検索部は、検索クエリを使用した画像検索処理により、検索対象画像から複数の検索画像領域を検索する。抽出部は、前記検索クエリを使用した画像検索処理により、前記画像検索処理の学習に使用された学習画像から、複数の学習画像領域を抽出する。表示制御部は、前記複数の検索画像領域と、前記複数の学習画像領域とを表示部に表示する。【選択図】図１
2020042684.tif 000002
【特許請求の範囲】
【請求項１】
検索クエリを使用した画像検索処理により、検索対象画像から複数の検索画像領域を検索する検索部と、
前記検索クエリを使用した画像検索処理により、前記画像検索処理の学習に使用された学習画像から、複数の学習画像領域を抽出する抽出部と、
前記複数の検索画像領域と、前記複数の学習画像領域とを表示部に表示する表示制御部と、
を備える検索装置。
【請求項２】
前記検索対象画像に含まれる画像領域の属性を示す第１領域属性を解析する解析部と、
前記検索クエリを１以上の検索属性に変換する変換部と、を更に備え、
前記検索部は、前記検索属性との類似度が閾値以上である第１領域属性を有する画像領域を、前記検索画像領域として検索する、
請求項１に記載の検索装置。
【請求項３】
前記検索属性は、名称、色、模様、形、長さ、大きさ、年齢、性別及び行動のうち、少なくとも１つを含む、
請求項２に記載の検索装置。
【請求項４】
前記学習画像と、前記学習画像に含まれる画像領域の属性を示す第２領域属性とを記憶する記憶部を更に備え、
前記抽出部は、前記検索属性との類似度が前記閾値以上である第２領域属性を有する画像領域を、前記学習画像領域として抽出する、
請求項２に記載の検索装置。
【請求項５】
表示された前記学習画像領域の選択を受け付け、選択された前記学習画像領域が有する第２領域属性を、選択された前記学習画像領域の抽出に使用された前記検索属性の検索基準に設定する設定部を更に備え、
前記検索部は、前記検索基準が設定された検索属性を使用して、前記検索対象画像を検索する場合、前記検索基準として設定された第２領域属性との類似度が前記閾値以上である第１領域属性を有する画像領域を、前記検索画像領域として検索する、
請求項４に記載の検索装置。
【請求項６】
前記検索基準が設定された検索属性と、前記検索基準として設定された第２領域属性とを関連付けて記憶部に記憶し、前記変換部により得られた検索属性に検索基準が設定されているか否かを、前記記憶部を参照して確認する記憶制御部を更に備え、
前記検索部は、前記変換部により得られた検索属性に検索基準が設定されている場合、前記検索基準として設定された第２領域属性との類似度が前記閾値以上である第１領域属性を有する画像領域を、前記検索画像領域として検索する、
請求項５に記載の検索装置。
【請求項７】
前記表示制御部は、前記複数の学習画像領域を前記類似度が高い順に表示し、前記複数の学習画像領域から前記検索基準の選択を受け付ける検索基準選択欄と、前記複数の検索画像領域を前記類似度が高い順に表示する検索結果表示欄とを含む表示情報を前記表示部に表示する、
請求項５に記載の検索装置。
【請求項８】
前記表示制御部は、前記検索結果表示欄を前記表示部に表示した後、所定の時間が経過した後に、前記検索基準選択欄を前記表示部に表示する、
請求項７に記載の検索装置。
【請求項９】
前記表示制御部は、前記学習画像領域を、前記学習画像領域が有する前記第２領域属性に応じたアイコン画像に変換し、前記学習画像領域の代わりに前記アイコン画像を含む検索基準選択欄を前記表示部に表示する、
請求項７に記載の検索装置。
【請求項１０】
前記検索装置の異常を通知する通知制御部を更に備える、
請求項１に記載の検索装置。
【請求項１１】
検索クエリを使用した画像検索処理により、検索対象画像から複数の検索画像領域を検索するステップと、
前記検索クエリを使用した画像検索処理により、前記画像検索処理の学習に使用された学習画像から、複数の学習画像領域を抽出するステップと、
前記複数の検索画像領域と、前記複数の学習画像領域とを表示部に表示するステップと、
を含む検索方法。
【請求項１２】
コンピュータを、
検索クエリを使用した画像検索処理により、検索対象画像から複数の検索画像領域を検索する検索部と、
前記検索クエリを使用した画像検索処理により、前記画像検索処理の学習に使用された学習画像から、複数の学習画像領域を抽出する抽出部と、
前記複数の検索画像領域と、前記複数の学習画像領域とを表示部に表示する表示制御部、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は検索装置、検索方法及びプログラムに関する。
【背景技術】
【０００２】
画像から検索対象を検索する技術が従来から知られている。例えば、監視カメラ映像に映り込んだ人物を、当該人物の服装の色を特定するテキスト等の検索クエリを使用して、監視カメラ映像から検索し、検索された人物を表示する技術が従来から知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第５６６４５５３号公報
【非特許文献】
【０００４】
【非特許文献１】Ｔ．  Ｗａｔａｎａｂｅ，  ｅｔ  ａｌ．：  Ｃｏ−ｏｃｃｕｒｒｅｎｃｅ  ｈｉｓｔｏｇｒａｍｓ  ｏｆ  ｏｒｉｅｎｔｅｄ  ｇｒａｄｉｅｎｔｓ  ｆｏｒ  ｐｅｄｅｓｔｒｉａｎ  ｄｅｔｅｃｔｉｏｎ，  ２００９．
【非特許文献２】Ｙ．  Ｌｉｎ，  ｅｔ  ａｌ．：  Ｉｍｐｒｏｖｉｎｇ  Ｐｅｒｓｏｎ  Ｒｅ−ｉｄｅｎｔｉｆｉｃａｔｉｏｎ  ｂｙ  Ａｔｔｒｉｂｕｔｅ  ａｎｄ  Ｉｄｅｎｔｉｔｙ  Ｌｅａｒｎｉｎｇ，  ２０１７．
【非特許文献３】Ｊ．  Ｃ．  Ｎｉｅｂｌｅｓ，  ｅｔ  ａｌ．：  Ｕｎｓｕｐｅｒｖｉｓｅｄ  ｌｅａｒｎｉｎｇ  ｏｆ  ｈｕｍａｎ  ａｃｔｉｏｎ  ｃａｔｅｇｏｒｉｅｓ  ｕｓｉｎｇ  ｓｐａｔｉａｌ−ｔｅｍｐｏｒａｌ  ｗｏｒｄｓ，  ２００８．
【発明の概要】
【発明が解決しようとする課題】
【０００５】
検索クエリは、ユーザが自然に扱えるクエリ形式として有効であるが、テキスト形式の検索クエリの性質上、テキスト表現により特定される画像には幅がある。そのため、ユーザが考える表現の幅とシステム設計者が考える幅とが一致しないとき、意図した検索結果が得られないことがある。
【０００６】
例えば、「青い服」という検索クエリを受け付けた場合、水色、紺色及び藍色等、青色と呼んでも差し支えのない周辺色に対して、どの範囲の色までを青色に含むのかどうかは事前のシステム設計に依存する。しかしながら、ユーザは、システム設計の情報を知りえないため、所望の画像が得られるまで、検索クエリのテキスト表現を試行錯誤する必要があるという課題がある。
【０００７】
また、「髪の長さ」、「鞄の大きさ」、「体型」、及び、「服の模様」等の長さ及び大きさ等の尺度を持つテキスト表現においても同様の問題が起こりうる。例えば、「長い髪の女性」という検索クエリを受け付けた場合、どの程度の髪の長さを長いとするかは、事前のシステム設計に依存する。
【０００８】
また、画像から服装及び服飾品等を解析する際に、誤認識も起こるため、所望の画像が検索によって得られない場合、その原因が検索クエリのテキスト表現にあるのか、誤認識にあるのかをユーザが判断できないという課題がある。
【０００９】
さらには、テキストクエリに対する検索できる画像の範囲を変更することができないため、範囲に含まれる大量の候補をすべて目視する必要があり、非効率的であるという課題もある。
【００１０】
本発明が解決しようとする課題は、検索装置の検索精度をより容易に評価することができる検索装置、検索方法及びプログラムを提供することである。
【課題を解決するための手段】
【００１１】
実施形態の検索装置は、検索部と抽出部と表示制御部とを備える。検索部は、検索クエリを使用した画像検索処理により、検索対象画像から複数の検索画像領域を検索する。抽出部は、前記検索クエリを使用した画像検索処理により、前記画像検索処理の学習に使用された学習画像から、複数の学習画像領域を抽出する。表示制御部は、前記複数の検索画像領域と、前記複数の学習画像領域とを表示部に表示する。
【図面の簡単な説明】
【００１２】
【図１】第１実施形態の検索装置の機能構成の例を示す図。
【図２】第１実施形態の表示情報の例１を示す図。
【図３】第１実施形態の表示情報の例２を示す図。
【図４】第１実施形態の表示情報の例３を示す図。
【図５】第２実施形態の検索装置の機能構成の例を示す図。
【図６】第２実施形態の表示情報の例１を示す図。
【図７】第２実施形態の表示情報の例２を示す図。
【図８】第３実施形態の検索装置の機能構成の例を示す図。
【図９】第４実施形態の検索装置の機能構成の例を示す図。
【図１０】第４実施形態の表示情報の例１を示す図。
【図１１】第４実施形態の表示情報の例２を示す図。
【図１２】第１乃至第４実施形態の検索装置のハードウェア構成の例を示す図。
【発明を実施するための形態】
【００１３】
以下に添付図面を参照して、検索装置、検索方法及びプログラムの実施形態を詳細に説明する。
【００１４】
（第１実施形態）
はじめに、実施形態の検索装置１００の機能構成の例について説明する。
【００１５】
［機能構成の例］
図１は第１実施形態の検索装置１００の機能構成の例を示す図である。第１実施形態の検索装置１００は、解析部１、変換部２、検索部３、記憶部４、抽出部５及び表示制御部６を備える。
【００１６】
解析部１は、検索対象画像を受け付ける。検索対象画像は任意でよい。検索対象画像は、例えば大規模施設に設置された複数の監視カメラにより撮像された画像（映像）である。解析部１は、検索対象画像を受け付けると、当該検索対象画像に含まれる画像領域の属性を示す第１領域属性を解析する。画像領域の属性は、例えば名称、色、模様、形、長さ、大きさ、年齢及び性別等のうち、少なくとも１つを含む。例えば、青いシャツを着た人物が写っている画像領域は、「青い」及び「シャツ」等の属性を有する。
【００１７】
解析部１は、例えば「シャツ」等の属性を解析するためには、まず検索対象画像から、「シャツ」を着た人物を検出する必要がある。人物検出に関しては、例えば非特許文献１の検出方法が利用可能である。また、属性の解析方法としては、例えば非特許文献２の解析方法が利用可能である。
【００１８】
なお、解析部１は、上述の第１領域属性以外にも、画像の時系列データを用いて、人物の行動等を解析してもよい。行動の解析方法としては、例えば非特許文献３の解析方法が利用可能である。
【００１９】
解析部１は、解析された情報を、例えば画像が撮像されたカメラを識別するカメラ番号、及び、当該画像の撮像時刻とともに、検索対象画像のメタデータとして出力する。
【００２０】
変換部２は、検索クエリを１以上の検索属性に変換する。検索クエリは、検索対象を特定するテキスト等を含む。検索対象は任意でよい。検索対象は、例えば、人物及び車両等である。例えば、検索クエリにより人物を特定する場合、性別、年齢層、並びに、服装及び服飾品等の名称（種類）、色及び模様等を特定するテキストである。具体的には、検索クエリは、例えば「青いシャツ」等である。
【００２１】
検索属性は、例えば名称、色、模様、形、長さ、大きさ、年齢、性別及び行動等のうち、少なくとも１つを含む。検索クエリを検索属性に変換する方法の具体例について説明する。まず、変換部２は、検索クエリを受け付けると、当該検索クエリに含まれるテキストを形態素解析する。形態素解析には、例えばＭｅＣａｂライブラリが用いられる。変換部２は、例えば、形態素の文字列と属性との関係を記述したテーブルを使用して、各形態素を、属性に変換する。例えば、「青いシャツ」という検索クエリであれば、「青い／シャツ」という形態素に分離される。また、シャツという名詞はＵｐｐｅｒ  Ｃｌｏｔｈｅｓという属性に変換され、青いという形容詞は、Ｂｌｕｅという属性へ変換される。次に、変換部１は、係り受けを解析し、属性の種類はＵｐｐｅｒ  Ｃｌｏｔｈｅｓで、色はＢｌｕｅであると解析する。以上の処理により、「青いシャツ」という検索クエリは、２つの検索属性Ｕｐｐｅｒ  Ｃｌｏｔｈｅｓ及びＢｌｕｅに変換される。
【００２２】
検索部３は、検索クエリを使用した画像検索処理により、検索対象画像から複数の検索画像領域を検索する。具体的には、検索部３は、上述の検索属性との類似度が閾値以上である上述の第１領域属性を有する画像領域を、検索画像領域として検索する。検索部３は、検索された複数の検索画像領域を、類似度が高い順にソートする。
【００２３】
類似度の具体的な評価方法は任意でよい。類似度として、例えば画像領域の属性を示す第１領域属性の認識スコアが利用されてもよい。認識スコアは、画像領域に対応付けられた第１領域属性の確からしさを示す。例えば検索属性がＵｐｐｅｒ  Ｃｌｏｔｈｅｓである場合、第１領域属性としてＵｐｐｅｒ  Ｃｌｏｔｈｅｓが対応付けられた画像領域のうち、Ｕｐｐｅｒ  Ｃｌｏｔｈｅｓの認識スコアが高い画像領域ほど類似度が高いと判定される。なお、検索画像領域の第１領域属性として、複数の属性が指定されている場合、各属性の認識スコアの平均によって、類似度が判定される。
【００２４】
記憶部４は、学習画像と、当該学習画像に含まれる画像領域の属性を示す第２領域属性とを記憶する。学習画像は、検索部３の画像検索処理の学習に使用された画像である。そのため、第２領域属性の尤度は、上述の第１領域属性の尤度よりも高い（より正確である）。この理由は、解析部１が、例えば画像検索処理の学習では想定されていなかった画像を受け付けた場合、当該検索対象画像に含まれる画像領域に、不適切な第１領域属性を対応付ける可能性があるためである。なお、第１領域属性より属性値が正確な表示用の画像群が別途提供される場合には、当該画像群を学習画像の代わりに使用し、第２領域属性として、当該画像群の属性値を使用してもよい。
【００２５】
記憶部４に記憶される学習画像及び第２領域属性の具体的な記憶形式は任意でよい。第２領域属性は、例えば学習画像に含まれる画像領域に、当該学習画像の画像認識処理の学習によって対応づけられたラベル値でもよい。具体的には、学習画像に含まれる画像領域に、例えば各属性の正解が手動でラベル付けされていてもよい。なお、ラベル値は、あり（正解）／なし（不正解）等を示す離散値ではなく、連続値であってもよい。例えば、髪の長さであれば、長い方を１、短い方を０として、０から１の範囲の実数により表されていてもよい。この場合、解析部１は、連続値のラベルに基づいて出力を回帰するように学習を行ったモデルを用いて画像を解析する。なお、画像領域に付与されるラベル値が色である場合は、輝度、彩度及び色相等をそれぞれ教示して学習されたモデルを用いてもよい。
【００２６】
なお、記憶部４は、学習に用いた学習画像すべてを保持していてもよいし、ランダムに選択して（枚数を減らして）、保持してもよい。また、クラスタリングしたクラスタの代表値のみを記憶部４に記憶しておいて、より少数の枚数で学習画像の範囲を表現するようにしてもよい。
【００２７】
抽出部５は、検索クエリを使用した画像検索処理により、当該画像検索処理の学習に使用された学習画像から、複数の学習画像領域を抽出する。抽出部５は、抽出された複数の学習画像領域を、類似度が高い順にソートする。
【００２８】
具体的には、抽出部５は、変換部２によって、検索クエリから変換された検索属性と、学習画像領域に対応付けられた第２領域属性（例えばラベル）との類似度に基づいて、当該類似度が高い順に複数の学習画像領域を抽出する。なお、抽出部５は、ラベルが連続値である場合、当該連続値に従って、抽出された複数の学習画像領域をソートしてもよい。また、抽出部５は、検索クエリから変換された検索属性が複数ある場合は、それぞれの検索属性に応じて学習画像領域を抽出してもよいし、すべての検索属性が含まれる学習画像領域を抽出してもよい。
【００２９】
具体的な事例としては、抽出部５は、例えば検索属性に青という色指定が含まれていた場合、水色、紺色及び紫色といった第２領域属性がラベル付けされている複数の学習画像領域を抽出し、当該複数の学習画像領域を、検索属性との類似度が高い順にソートする。
【００３０】
表示制御部６は、複数の検索画像領域と、複数の学習画像領域とを含む表示情報を、液晶ディスプレイ等の表示部に表示する。具体的には、表示制御部６は、例えば複数の学習画像領域を上述の類似度が高い順に表示し、複数の学習画像領域から検索基準の選択を受け付ける学習画像領域表示欄（検索基準選択欄）と、複数の検索画像領域を上述の類似度が高い順に表示する検索結果表示欄とを含む表示情報を表示部に表示する。
【００３１】
［表示情報の例］
図２は第１実施形態の表示情報の例１を示す図である。図２の例は、表示情報が、複数の検索画像領域を類似度が高い順に表示する検索結果表示欄（図２上段）と、複数の学習画像領域を類似度が高い順に表示する学習画像領域表示欄（図２下段）とを含む場合を示す。
【００３２】
なお、検索結果表示欄（図２上段）、及び、学習画像領域表示欄（図２下段）に表示される画像は、静止画であっても動画であってもよい。表示制御部６は、例えば検索属性に行動が含まれていた場合、検索結果を動画で表示する。
【００３３】
図２の例では、検索結果表示欄の左側に表示されている検索画像領域ほど、類似度が高い。同様に、学習画像領域表示欄の左側に表示されている学習画像領域ほど、類似度が高い。学習画像領域表示欄の一番左側に表示されている学習画像領域には、現在の検索（認識）基準を示す表示１０１が表示されている。
【００３４】
図２の例では、ユーザが検索した人物のシャツが紺色に近い青であった場合に、「青いシャツ」というクエリで検索したが、彩度の高い青いシャツばかりが検索され、ユーザが探したい画像は見つかっていない場合を示す。
【００３５】
一方で、学習画像領域表示欄は、彩度の高い青色のシャツ（水色のシャツ）を含む学習画像領域から、彩度の低い青色のシャツ（紺色のシャツ）を含む学習画像領域までを含む。これにより、ユーザは、彩度の高い青色のシャツから、彩度の低い青色のシャツまでを検索できることを視覚的に確認できる。このことから、ユーザは「青いシャツ」という検索クエリは妥当であったことが理解できる。したがって、ユーザは、検索結果の下位までに所望の画像が含まれていない場合には、検索対象画像の誤認識であると判断することができる（例えば、図３の表示情報の例２を参照）。
【００３６】
図３は第１実施形態の表示情報の例２を示す図である。図３の例は、学習画像領域表示欄（図３下段）には、ユーザが探したい画像に類似する学習画像領域を含むが、検索結果表示欄（図２上段）には、ユーザが探したい画像に類似する検索結果が含まれていない場合を示す。したがって、ユーザは、所望の画像が検索によって得られない原因は、検索クエリのテキスト表現にあるのではなく、検索対象画像の誤認識の可能性があると判断することができる。
【００３７】
検索クエリの指定の仕方は自由度が高く、様々な画像が検索対象画像になり得る。そのため、検索クエリの指定の仕方によっては、学習画像の段階では、正常に動作していた検索処理が、実際の運用環境（監視カメラ等）で得られた検索対象画像を検索対象にした場合に、正常に動作しない場合が起こり得る。実施形態の検索装置１００は、図３のような表示情報を表示することにより、検索装置１００の検索精度をより容易に評価することができる。
【００３８】
なお、検索クエリが複数ある場合は、例えば、それぞれの検索クエリに対応する学習画像領域表示欄が複数表示されてもよい。また例えば、抽出部５で、複数の検索クエリを統合することにより得られた検索属性で学習画像領域が抽出されている場合は、当該学習画像領域が表示されてもよい。
【００３９】
学習画像領域が、上述の認識スコアに基づく類似度によりソートされている場合、検索結果として得られる検索画像領域も、同じ検索（認識）基準で、出力される。そのため、類似度が最も高いラベル値を有する学習画像領域に、例えば「システムの認識基準」及び「システムの検索基準」等の表示１０１が付与されていてもよい。
【００４０】
表示制御部６は、抽出部５から学習画像領域が複数出力されている場合は、そのすべてを表示する。その際に、表示制御部６は、学習画像領域に対応付けられた属性の名称をキャプションとして表示し、その周辺に複数の学習画像領域を列挙する（例えば、図４の表示情報の例３を参照）。
【００４１】
図４は第１実施形態の表示情報の例３を示す図である。図４の例は、検索クエリに対応する学習画像領域だけでなく、検索クエリ（青いシャツの人）に類似するその他のクエリ（水色のシャツの人、及び、紺色のシャツの人）に対応する学習画像領域も表示される場合を示す。図４のような表示情報が表示されることによって、指定された検索クエリでは、所望の画像に類似した学習画像領域が表示されていない場合に、検索クエリの選択を補助することができる。
【００４２】
また、表示制御部６は、学習画像領域を直接表示するのではなく、アイコン化して、表示してもよい。例えば、表示制御部６は、学習画像領域を、当該学習画像領域が有する第２領域属性に応じたアイコン画像に変換し、当該学習画像領域の代わりに当該アイコン画像を含む検索基準選択欄を表示部に表示してもよい。具体的には、属性値に対して、アイコン画像を紐づけて置く。例えば、表示制御部６は、色に関しては、色合いをアイコン画像に重畳し、そのアイコン画像を表示する。また例えば、表示制御部６は、髪の長さであれば、アイコン画像の髪の部分の長さを変動させて表示させてもよい。
【００４３】
以上、説明したように、第１実施形態の検索装置１００では、検索部３が、検索対象画像から複数の検索画像領域を検索する。抽出部５が、検索クエリを使用した画像検索処理により、当該画像検索処理の学習に使用された学習画像から、複数の学習画像領域を抽出する。そして、表示制御部６が、複数の検索画像領域と、複数の学習画像領域とを表示部に表示する。これにより、第１実施形態の検索装置１００によれば、検索装置１００の検索精度をより容易に評価することができる。例えば、検索クエリに対する検索（認識）基準をユーザに明示できるので、ユーザは、検索クエリの妥当性（例えば、探したい人物等が入力したクエリで適合しているのか等）を理解できる。よって、ユーザは、所望の画像が得られなかったときに、検索クエリを修正すべきなのか、誤認識等の検索装置１００の不具合なのかを判断することができる。
【００４４】
（第２実施形態）
次に第２実施形態について説明する。第２実施形態の説明では、第１実施形態と同様の説明については省略し、第１実施形態と異なる箇所について説明する。
【００４５】
［機能構成の例］
図５は第２実施形態の検索装置１００−２の機能構成の例を示す図である。第２実施形態の検索装置１００−２は、解析部１、変換部２、検索部３、記憶部４、抽出部５、表示制御部６及び設定部７を備える。第２実施形態の解析部１、解析部２、記憶部４及び抽出部５は、第１実施形態と同様である。
【００４６】
設定部７は、表示された学習画像領域の選択を受け付け、選択された学習画像領域が有する上述の第２領域属性を、選択された学習画像領域の抽出に使用された検索属性の検索基準に設定する。これにより、ユーザは、例えば表示された複数の学習画像領域から、ユーザの検索したい人物に類似した学習画像領域を選び、検索基準を変えて、再度検索することができる。
【００４７】
検索部３は、上述の検索基準が設定された検索属性を使用して、検索対象画像を検索する場合、検索基準として設定された第２領域属性との類似度が閾値以上である第１領域属性を有する画像領域を、検索画像領域として検索する。
【００４８】
具体的には、設定部７は、ユーザの学習画像領域の選択操作に応じて設定された上述の検索基準として、検索クエリにより抽出されている学習画像領域に付与されているラベル値を検索部３に入力する。
【００４９】
検索部３は、学習画像領域に連続値のラベル値が与えられているとき、選択された学習画像領域のラベル値を原点として、その距離の近さを類似度として、検索画像領域をソートして出力する。
【００５０】
表示制御部６は、検索部３によって再度検索された結果を表示部に表示し、現在の検索装置１００−２の検索（認識）基準を示す表示１０１を選択されている学習画像領域の付近に表示する（図６参照）。
【００５１】
［表示情報の例］
図６は第２実施形態の表示情報の例１を示す図である。図６の例では、現在の検索装置１００−２の検索（認識）基準を示す表示１０１が、入力デバイス（マウス等）により選択された左から４番目の学習画像領域に表示されている。図６の例では、検索基準として、左から４番目の学習画像領域が選択されることにより、所望の検索結果が得られる場合を示している。
【００５２】
なお、表示制御部６は、上段の検索結果の表示、及び、下段の学習画像領域の表示を同時に行わなくてもよい。例えば、表示制御部６は、検索結果表示欄を表示部に表示した後、所定の時間が経過した後に、検索基準選択欄を表示部に表示してもよい。また例えば、表示制御部６は、検索結果を表示する前に、学習画像領域の例を示し、ユーザに検索基準を選択させたのちに、その検索基準を使用した検索による検索結果を示してもよい。また例えば、表示制御部６は、検索結果のみを表示したのちに、当該検索結果に含まれる検索候補の表示を切り替えるスクロールの量に応じて、学習画像領域の表示を新たにしてもよい。
【００５３】
また、表示制御部６は、スライドバー２０１により、検索基準の選択操作を受け付けてもよい（図７参照）。
【００５４】
図７は第２実施形態の表示情報の例２を示す図である。図７の例では、学習画像領域が、属性値（例えば、青色の明るさを示す連続値）によってソートされた順番で表示されている。また、図７の例では、学習画像領域の下にスライドバー２０１が表示されている。検索部３は、スライドバー２０１が移動されると、スライドバー２０１により選択された学習画像領域が検索される検索基準を使用して、再度検索を行い、検索結果を表示する。図７の例では、検索基準として、左から４番目の学習画像領域が選択されることにより、所望の検索結果が得られる場合を示している。
【００５５】
以上、説明したように、第２実施形態の検索装置１００−２によれば、所望の画像に近い学習画像領域を選択し、当該学習画像領域の検索基準を再設定することができる。これにより、ユーザは検索クエリを試行錯誤しながら変えることなく、所望の画像を検索することが可能となる。また、ユーザは、学習画像領域表示欄に所望の画像に類似した学習画像領域が含まれているにもかかわらず、検索結果に所望の画像が含まれていない場合は、検索対象画像の誤認識であると理解することもできる。さらには、ユーザは、スライドバー２０１等を使用して、所望の画像に近い検索基準を設定できるため、当該検索基準の設定に応じて、検索上位に所望の画像が上がってくることで、検索結果に含まれる検索候補を目視する時間を短縮することが可能である。
【００５６】
（第３実施形態）
次に第３実施形態について説明する。第３実施形態の説明では、第２実施形態と同様の説明については省略し、第２実施形態と異なる箇所について説明する。
【００５７】
［機能構成の例］
図８は第３実施形態の検索装置１００−３の機能構成の例を示す図である。第３実施形態の検索装置１００−３は、解析部１、変換部２、検索部３、記憶部４ａ、抽出部５、表示制御部６、設定部７、記憶制御部８及び記憶部４ｂを備える。第３実施形態の解析部１、検索部３、抽出部５、表示制御部６及び設定部７は、第２実施形態と同様である。また、第２実施形態の記憶部４ａは、第２実施形態の記憶部４と同様である。なお、記憶部４ａ及び４ｂは、同一のハードウェアにより実現されていてもよいし、別々のハードウェアにより実現されていてもよい。
【００５８】
記憶制御部８は、上述の検索基準が設定された検索属性（例えば、Ｂｌｕｅ）と、当該検索基準として設定された第２領域属性（例えば、青さを示すラベル値）とを関連付けて記憶部４ｂに記憶する。そして、記憶制御部８は、変換部２により得られた検索属性に検索基準が設定されているか否かを、記憶部４ｂを参照して確認する。
【００５９】
検索部３は、変換部２により得られた検索属性に検索基準が設定されている場合、検索基準として設定された第２領域属性との類似度が閾値以上である第１領域属性を有する画像領域を、検索画像領域として検索する。
【００６０】
上述の検索部３及び記憶制御部８により、第３実施形態では、設定された検索基準に対して新規クエリ名（例えば、Ｂｌｕｅ２）を発行し、再度そのクエリが入力された場合は、その検索基準での検索を可能にする。具体的には、記憶部４ｂは、例えば新規クエリ名を、検索基準が設定された検索属性へ変換する変換テーブルである。記憶制御部８は、新規に発行されたクエリ名、検索属性及び検索基準を関連付けて変換テーブルに記憶する。変換部２は、検索クエリから変換された検索属性（Ｂｌｕｅ）と、変換テーブルに記憶されているクエリ名（Ｂｌｕｅ２）とが、類似（または一致）する場合は、その検索属性に関しては、新規発行クエリを用いて、検索基準が設定された検索属性へ変換する。
【００６１】
以上、説明したように、第３実施形態の検索装置１００−３によれば、ユーザは、例えば過去に検索基準を設定したクエリを別の名前で保存することができ、当該クエリを再利用することができる。これにより、検索装置１００−３の検索利便性をより向上させることができる。
【００６２】
（第４実施形態）
次に第４実施形態について説明する。第４実施形態の説明では、第１実施形態と同様の説明については省略し、第１実施形態と異なる箇所について説明する。
【００６３】
［機能構成の例］
図９は第４実施形態の検索装置１００−４の機能構成の例を示す図である。第４実施形態の検索装置１００−４は、解析部１、変換部２、検索部３、記憶部４、抽出部５、表示制御部６及び通知制御部９を備える。第４実施形態の解析部１、検索部３、記憶部４、抽出部５は、第１実施形態と同様である。
【００６４】
通知制御部９は、検索装置１００−４の異常を通知する。例えば、通知制御部９は、ユーザが誤認識をしていると判断したときに、当該ユーザの操作入力に応じて、検索装置１００−４の管理者へ異常を通知する。
【００６５】
［表示情報の例］
図１０は第４実施形態の表示情報の例１を示す図である。図１０の例では、ユーザの操作入力を受け付ける異常通知ボタン２０２が追加されている。図１０の例では、学習画像領域表示欄（図１０下段）には、所望の画像に類似した学習画像領域が含まれているが、検索結果表示欄（図１０上段）に所望の画像が含まれていない。ユーザが、検索対象画像の検索処理で、誤認識があると判断し、異常通知ボタン２０２を押下すると、通知制御部９は、検索装置１００−４の管理者へ異常を通知する。
【００６６】
図１１は第４実施形態の表示情報の例２を示す図である。図１１の例では、学習画像領域表示欄（図１０下段）には、所望の画像に類似した学習画像領域が含まれていないが、検索結果表示欄（図１０上段）に所望の画像が含まれている。ユーザが、学習画像から学習画像領域を抽出する抽出処理で、誤認識があると判断し、異常通知ボタン２０２を押下すると、通知制御部９は、検索装置１００−４の管理者へ異常を通知する。
【００６７】
表示制御部６は、異常通知ボタン２０２が押下された場合、異常の内容を記述できる入力エリアが設けられた表示情報を表示部に表示し、当該入力エリアで受け付けた異常内容を通知制御部９に入力する。
【００６８】
通知制御部９は、検索クエリ、検索基準及び異常内容を含む通知情報を、管理者サーバ等へ通知することにより、検索装置１００−４の管理者へ異常を通知する。
【００６９】
以上、説明したように、第４実施形態の検索装置１００−４によれば、検索装置１００−４の管理者は、検索結果表示欄の異常（例えば図１０上段）、及び、学習画像領域表示欄（例えば図１１下段）の異常を発見したユーザから、検索装置１００−４の異常の通知を受け付けることができる。これにより、検索装置１００−４の管理者は、検索装置１００−４に異常が発生した場合、当該検索装置１００−４の検索精度を改善するための処置をより迅速に行うことができる。
【００７０】
最後に、第１乃至第４実施形態の検索装置１００，１００−２，１００−３及び１００−４のハードウェア構成の例について説明する。第２乃至第４実施形態の検索装置１００−２，１００−３及び１００−４のハードウェア構成は、第１実施形態の検索装置１００のハードウェア構成と同様のため、第１実施形態の検索装置１００の場合を例にして説明する。
【００７１】
［ハードウェア構成の例］
図１３は第１実施形態の検索装置１００のハードウェア構成の例を示す図である。第１実施形態の検索装置１００は、制御装置３０１、主記憶装置３０２、補助記憶装置３０３、表示装置３０４、入力装置３０５及び通信装置３０６を備える。制御装置３０１、主記憶装置３０２、補助記憶装置３０３、表示装置３０４、入力装置３０５及び通信装置３０６は、バス３１０を介して接続されている。
【００７２】
制御装置３０１は、補助記憶装置３０３から主記憶装置３０２に読み出されたプログラムを実行する。主記憶装置３０２は、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、及び、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等のメモリである。補助記憶装置３０３は、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）、及び、メモリカード等である。
【００７３】
表示装置３０４は表示情報を表示する。表示装置３０４は、例えば液晶ディスプレイ等である。入力装置３０５は、検索装置１００を操作するためのインタフェースである。入力装置３０５は、例えばキーボードやマウス等である。検索装置１００がスマートフォン及びタブレット型端末等のスマートデバイスの場合、表示装置３０４及び入力装置３０５は、例えばタッチパネルである。通信装置３０６は、他の装置と通信するためのインタフェースである。
【００７４】
実施形態の検索装置１００で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、メモリカード、ＣＤ−Ｒ及びＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）等のコンピュータで読み取り可能な記憶媒体に記録されてコンピュータ・プログラム・プロダクトとして提供される。
【００７５】
また実施形態の検索装置１００で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また実施形態の検索装置１００で実行されるプログラムをダウンロードさせずにインターネット等のネットワーク経由で提供するように構成してもよい。
【００７６】
また実施形態の検索装置１００のプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。
【００７７】
実施形態の検索装置１００で実行されるプログラムは、上述の機能ブロックのうち、プログラムによっても実現可能な機能ブロックを含むモジュール構成となっている。当該各機能ブロックは、実際のハードウェアとしては、制御装置３０１が記憶媒体からプログラムを読み出して実行することにより、上記各機能ブロックが主記憶装置３０２上にロードされる。すなわち上記各機能ブロックは主記憶装置３０２上に生成される。
【００７８】
なお上述した各機能ブロックの一部又は全部をソフトウェアにより実現せずに、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）等のハードウェアにより実現してもよい。
【００７９】
また複数のプロセッサを用いて各機能を実現する場合、各プロセッサは、各機能のうち１つを実現してもよいし、各機能のうち２以上を実現してもよい。
【００８０】
また実施形態の検索装置１００の動作形態は任意でよい。実施形態の検索装置１００を、例えばネットワーク上のクラウドシステムとして動作させてもよい。
【００８１】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００８２】
１  解析部
２  変換部
３  検索部
４  記憶部
５  抽出部
６  表示制御部
７  設定部
８  記憶制御部
９  通知制御部
１００  検索装置
３０１  制御装置
３０２  主記憶装置
３０３  補助記憶装置
３０４  表示装置
３０５  入力装置
３０６  通信装置
３１０  バス
【図１】
2020042684.tif 000003
【図２】
2020042684.tif 000004
【図３】
2020042684.tif 000005
【図４】
2020042684.tif 000006
【図５】
2020042684.tif 000007
【図６】
2020042684.tif 000008
【図７】
2020042684.tif 000009
【図８】
2020042684.tif 000010
【図９】
2020042684.tif 000011
【図１０】
2020042684.tif 000012
【図１１】
2020042684.tif 000013
【図１２】
2020042684.tif 000014