(57)【特許請求の範囲】
【請求項１】
予め親画像を記憶した第１データベースと、前記親画像のいずれかと対応する子画像を記憶した第２データベースとから、クエリ画像と対応する画像を検索し、前記クエリ画像と対応する子画像がヒットした場合には、その子画像と対応する親画像を取得する画像検索手段と、
前記クエリ画像を子画像として前記第２データベースに追加するとともに、前記クエリ画像に付随する付加情報を第５データベースに追加するクエリ画像追加手段と、
前記クエリ画像と前記親画像との対応関係を第３データベースに追加する親子関係追加手段と、を備え、
前記画像検索手段は、前記クエリ画像と対応する子画像がヒットした場合には、その子画像に付随する付加情報を取得する、画像検索装置。
【請求項２】
予め親画像を記憶した第１データベースと、前記親画像のいずれかと対応する子画像を記憶した第２データベースとから、クエリ画像と対応する画像を検索し、前記クエリ画像と対応する子画像がヒットした場合には、その子画像と対応する親画像を取得する画像検索手段と、
前記クエリ画像を子画像として前記第２データベースに追加するクエリ画像追加手段と、
前記クエリ画像と前記親画像との対応関係を第３データベースに追加する親子関係追加手段と、
前記親画像および子画像のそれぞれについて、前記画像検索手段による検索でヒットした回数をカウントするカウント手段と、を備え、
前記画像検索手段は、検索でヒットした回数を考慮して、前記クエリ画像に対応する画像を検索する画像検索装置。
【請求項３】
予め親画像を記憶した第１データベースと、前記親画像のいずれかと対応する子画像を記憶した第２データベースとから、クエリ画像と対応する画像を検索し、前記クエリ画像と対応する子画像がヒットした場合には、その子画像と対応する親画像を取得する画像検索手段と、
前記クエリ画像を子画像として前記第２データベースに追加するクエリ画像追加手段と、
前記クエリ画像と前記親画像との対応関係を第３データベースに追加する親子関係追加手段と、
前記子画像のそれぞれについて、前記画像検索手段による検索でヒットした回数をカウントし、ヒットした回数が所定数以下である子画像を前記第２データベースから削除するカウント手段と、を備える画像検索装置。
【請求項４】
前記親画像に付随する付加情報が第４データベースに保存されており、
前記画像検索手段は、前記第４データベースから、検索によって得られた親画像に付随する付加情報も取得する、請求項１乃至３のいずれかに記載の画像検索装置。
【請求項５】
前記クエリ画像追加手段は、前記クエリ画像に付随する付加情報を第５データベースに追加する、請求項２または３に記載の画像検索装置。
【請求項６】
前記クエリ画像を前記第２データベースに追加するか否かの判定を行う判定手段を備え、
前記クエリ画像追加手段は、追加すると判定された場合のみ、前記クエリ画像を前記第２データベースに追加する、請求項１乃至５のいずれかに記載の画像検索装置。
【請求項７】
前記判定手段は、ユーザからの指示に基づいて判定を行う、請求項６に記載の画像検索装置。
【請求項８】
前記画像検索手段による検索結果を前記ユーザに提示する検索結果提示手段を備え、
前記判定手段は、前記検索結果が適切か否かを示す前記ユーザからの指示に基づいて判定を行う、請求項７に記載の画像検索装置。
【請求項９】
前記判定手段は、前記クエリ画像を前記第２データベースに追加することを許可するか否かを示す前記ユーザからの指示に基づいて判定を行う、請求項７に記載の画像検索装置。
【請求項１０】
前記親画像および子画像のそれぞれについて、前記画像検索手段による検索でヒットした回数をカウントするカウント手段を備え、
前記画像検索手段は、検索でヒットした回数を考慮して、前記クエリ画像に対応する画像を検索する、請求項１に記載の画像検索装置。
【請求項１１】
画像検索手段が、予め親画像を記憶した第１データベースと、前記親画像のいずれかと対応する子画像を記憶した第２データベースとから、クエリ画像と対応する画像を検索し、前記クエリ画像と対応する子画像がヒットした場合には、その子画像と対応する親画像を取得するステップと、
クエリ画像追加手段が、前記クエリ画像を子画像として前記第２データベースに追加するとともに、前記クエリ画像に付随する付加情報を第５データベースに追加するステップと、
親子関係追加手段が、前記クエリ画像と前記親画像との対応関係を第３データベースに追加するステップと、を備え、
前記画像検索手段は、前記クエリ画像と対応する子画像がヒットした場合には、その子画像に付随する付加情報を取得する、画像検索方法。
【請求項１２】
画像検索手段が、予め親画像を記憶した第１データベースと、前記親画像のいずれかと対応する子画像を記憶した第２データベースとから、クエリ画像と対応する画像を検索し、前記クエリ画像と対応する子画像がヒットした場合には、その子画像と対応する親画像を取得するステップと、
クエリ画像追加手段が、前記クエリ画像を子画像として前記第２データベースに追加するステップと、
親子関係追加手段が、前記クエリ画像と前記親画像との対応関係を第３データベースに追加するステップと、
カウント手段が、前記親画像および子画像のそれぞれについて、前記画像検索手段による検索でヒットした回数をカウントするステップと、を備え、
前記画像検索手段は、検索でヒットした回数を考慮して、前記クエリ画像に対応する画像を検索する画像検索方法。
【請求項１３】
画像検索手段が、予め親画像を記憶した第１データベースと、前記親画像のいずれかと対応する子画像を記憶した第２データベースとから、クエリ画像と対応する画像を検索し、前記クエリ画像と対応する子画像がヒットした場合には、その子画像と対応する親画像を取得するステップと、
クエリ画像追加手段が、前記クエリ画像を子画像として前記第２データベースに追加するステップと、
親子関係追加手段が、前記クエリ画像と前記親画像との対応関係を第３データベースに追加するステップと、
カウント手段が、前記子画像のそれぞれについて、前記画像検索手段による検索でヒットした回数をカウントし、ヒットした回数が所定数以下である子画像を前記第２データベースから削除するステップと、を備える画像検索方法。
【請求項１４】
コンピュータに、
予め親画像を記憶した第１データベースと、前記親画像のいずれかと対応する子画像を記憶した第２データベースとから、クエリ画像と対応する画像を検索し、前記クエリ画像と対応する子画像がヒットした場合には、その子画像と対応する親画像を取得するステップと、
前記クエリ画像を子画像として前記第２データベースに追加するとともに、前記クエリ画像に付随する付加情報を第５データベースに追加するステップと、
前記クエリ画像と前記親画像との対応関係を第３データベースに追加するステップと、を実行させるための画像検索プログラムであって、
前記クエリ画像と対応する子画像がヒットした場合には、その子画像に付随する付加情報を取得する、画像検索プログラム。
【請求項１５】
コンピュータに、
予め親画像を記憶した第１データベースと、前記親画像のいずれかと対応する子画像を記憶した第２データベースとから、クエリ画像と対応する画像を検索し、前記クエリ画像と対応する子画像がヒットした場合には、その子画像と対応する親画像を取得するステップと、
前記クエリ画像を子画像として前記第２データベースに追加するステップと、
前記クエリ画像と前記親画像との対応関係を第３データベースに追加するステップと、
前記親画像および子画像のそれぞれについて、前記クエリ画像と対応する画像の検索でヒットした回数をカウントするステップと、を実行させるための画像検索プログラムであって、
前記クエリ画像と対応する画像を検索する際、検索でヒットした回数を考慮して、前記クエリ画像に対応する画像を検索する、画像検索プログラム。
【請求項１６】
コンピュータに、
予め親画像を記憶した第１データベースと、前記親画像のいずれかと対応する子画像を記憶した第２データベースとから、クエリ画像と対応する画像を検索し、前記クエリ画像と対応する子画像がヒットした場合には、その子画像と対応する親画像を取得するステップと、
前記クエリ画像を子画像として前記第２データベースに追加するステップと、
前記クエリ画像と前記親画像との対応関係を第３データベースに追加するステップと、
前記子画像のそれぞれについて、前記クエリ画像と対応する画像の検索でヒットした回数をカウントし、ヒットした回数が所定数以下である子画像を前記第２データベースから削除するステップと、を実行させるための画像検索プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、クエリ画像と対応する画像を検索する画像検索装置、画像検索方法および画像検索プログラムに関する。
【背景技術】
【０００２】
近年、ある画像と別の画像とが同じ被写体を撮影したものであるか否かを判定する物体認識技術が発展しており、この技術を利用したサービスが普及しつつある（特許文献１，２など）。例えば、スマートフォンでＤＶＤのパッケージを撮影すると特定の店の当該ＤＶＤの在庫情報が得られるサービスや、本の表紙を撮影するとその本を購入可能なＷｅｂページに簡単に移動できるサービスなどがある。
物体認識技術においては、予め準備された画像を検索対象として、クエリ画像と類似する画像の検索が行われる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−０８１７７０号公報
【特許文献２】国際公開第２０１１／０８１１９４号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、クエリ画像は検索用に取得された画像でない場合も多く、検索に適した画像であるとは限らない。そのような場合、予め準備された画像中に、クエリ画像と同じ被写体を撮影した画像があるにも関わらず、クエリ画像と類似する画像がヒットしないこともある。そのため、検索の精度は必ずしも高いものとは言えない。
【０００５】
本発明はこのような問題点に鑑みてなされたものであり、本発明の課題は、高精度に画像検索を行うことができる画像検索装置、画像検索方法および画像検索プログラムを提供することである。
【課題を解決するための手段】
【０００６】
本発明の一態様によれば、予め検索対象画像を記憶した第１データベースから、クエリ画像と対応する検索対象画像を検索する画像検索手段と、前記クエリ画像を新たな検索対象画像として第２データベースに追加するクエリ画像追加手段と、前記クエリ画像と既存の検索対象画像との関係を第３データベースに追加する親子関係追加手段と、を備える画像検索装置が提供される。この構成により、クエリ画像を新たな検索対象画像として追加するため、検索精度が向上する。
【０００７】
前記検索対象画像に付随する付加情報が第４データベースに保存されており、前記画像検索手段は、前記第４データベースから、検索によって得られた検索対象画像に付随する付加情報も取得してもよい。また、前記クエリ画像追加手段は、前記クエリ画像に付随する付加情報を第５データベースに追加してもよい。この構成により、付加情報も保存するため、利便性が向上する。
【０００８】
前記画像検索手段は、前記第１データベースおよび前記第２データベースから、前記クエリ画像と対応する検索対象画像を検索するのが望ましい。この構成により、新たな検索対象画像も検索対象となり、検索精度が向上する。
【０００９】
前記クエリ画像を前記第２データベースに追加するか否かの判定を行う判定手段を備え、前記クエリ画像追加手段は、追加すると判定された場合のみ、前記クエリ画像を前記第２データベースに追加するのが望ましい。この構成により、クエリ画像を追加するか否かの判定を行うため、必要な場合にのみクエリ画像の追加を行うことができる。
【００１０】
具体的には、前記判定手段は、ユーザからの指示に基づいて判定を行ってもよい。
【００１１】
さらに具体的には、前記画像検索手段による検索結果を前記ユーザに提示する検索結果提示手段を備え、前記判定手段は、前記検索結果が適切か否かを示す前記ユーザからの指示に基づいて判定を行ってもよい。この構成により、検索結果が適切な場合にのみクエリ画像を追加するため、検索精度が向上する。
【００１２】
あるいは、前記判定手段は、前記クエリ画像を前記第２データベースに追加することを許可するか否かを示す前記ユーザからの指示に基づいて判定を行ってもよい。この構成により、ユーザの許可を得てクエリ画像を追加するため、ユーザの満足度を向上できる。
【００１３】
前記検索対象画像のそれぞれについて、前記画像検索手段による検索でヒットした回数をカウントするカウント手段を備え、前記画像検索手段は、検索でヒットした回数を考慮して、前記クエリ画像に対応する検索対象画像を検索するのが望ましい。この構成により、ヒット回数を考慮した検索結果を得ることができる。
【００１４】
また、本発明の別の態様によれば、予め検索対象画像を記憶した第１データベースから、クエリ画像と対応する検索対象画像を検索するステップと、前記クエリ画像を新たな検索対象画像として第２データベースに追加するステップと、前記クエリ画像と既存の検索対象画像との関係を第３データベースに追加するステップと、を備える画像検索方法が提供される。
【００１５】
また、本発明の別の態様によれば、コンピュータに、予め検索対象画像を記憶した第１データベースから、クエリ画像と対応する検索対象画像を検索するステップと、前記クエリ画像を新たな検索対象画像として第２データベースに追加するステップと、前記クエリ画像と既存の検索対象画像との関係を第３データベースに追加するステップと、を実行させるための画像検索プログラムが提供される。
【発明の効果】
【００１６】
クエリ画像を新たな検索対象画像として追加するため、検索精度が向上する。
【図面の簡単な説明】
【００１７】
【図１】本発明の第１の実施形態に係る画像検索システム１００の概略構成を示すブロック図。
【図２】親画像データベース４１の構造の一例を示す図。
【図３】親画像付加情報データベース４２の構造の一例を示す図。
【図４】子画像データベース４３の構造の一例を示す図。
【図５】親子関係保存データベース４５の構造の一例を示す図。
【図６】図１の画像検索システム１００の処理動作の一例を示すフローチャート。
【図７】本発明の第２の実施形態に係る画像検索システム１００ａの概略構成を示すブロック図。
【図８】図７の画像検索システム１００ａの処理動作の一例を示すフローチャート。
【図９】本発明の第３の実施形態に係る画像検索システム１００ｂの概略構成を示すブロック図。
【図１０】親画像データベース４１の構造の一例を示す図。
【発明を実施するための形態】
【００１８】
以下、本発明に係る実施形態について、図面を参照しながら具体的に説明する。
【００１９】
（第１の実施形態）
第１の実施形態は、検索を行うたびに、クエリ画像を検索対象の画像に追加するものである。
図１は、本発明の第１の実施形態に係る画像検索システム１００の概略構成を示すブロック図である。画像検索システム１００は、入力インターフェース１と、出力インターフェース２と、制御部３と、記憶装置４とを備えている。
【００２０】
入力インターフェース１は、クエリ画像の指定など、ユーザが画像検索システム１００に対して所定の指示などを行うためのものであり、マウス、キーボード、タッチパネル、マイクなどである。出力インターフェース２は、検索結果などをユーザに出力するものであり、ディスプレイやスピーカなどである。
【００２１】
制御部３は、画像検索手段３１と、クエリ画像追加手段３２と、親子関係追加手段３３と、検索結果提示手段３４とを有する。これら各部の少なくとも一部は、画像検索システム１００におけるプロセッサが所定のプログラムを実行することによって実現されてもよいし、ハードウェアで実装されてもよい。
【００２２】
画像検索手段３１は、ユーザから指定されたクエリ画像に対応する検索対象画像、すなわち、クエリ画像と類似する検索対象画像を、後述する親画像データベース４１および子画像データベース４３から検索する。
【００２３】
クエリ画像追加手段３２は、クエリ画像を、後述する子画像データベース４３に検索対象画像として追加する。
【００２４】
親子関係追加手段３３は、クエリ画像と、親画像データベース４１（および／または子画像データベース４３）に記憶された検索対象画像との関係を、後述する親子関係保存データベース４５に追加する。
【００２５】
検索結果提示手段３４は、画像検索手段３１による検索結果をユーザに提示すべく、検索結果を出力インターフェース２から出力する。
【００２６】
記憶装置４は、親画像データベース４１と、親画像付加情報データベース４２と、子画像データベース４３と、子画像付加情報データベース４４と、親子関係保存データベース４５とを記憶している。なお、記憶装置４は、これらのデータベースを１つの記憶装置内に記憶してもよいし、複数の記憶装置に分散して記憶していてもよい。
【００２７】
図２は、親画像データベース４１の構造の一例を示す図である。親画像データベース４１は、検索対象となる多数の検索対象画像を、予め、すなわち、本画像検索システム１００の使用前から記憶している。親画像データベース４１に予め記憶されている検索対象画像を親画像とも呼ぶ。図示のように、各親画像には親画像ＩＤが付されており、以下では、親画像ＩＤがＸである親画像を「親画像Ｘ」とも表記する。
【００２８】
図３は、親画像付加情報データベース４２の構造の一例を示す図である。各親画像には付加情報が付随していてもよく、親画像付加情報データベース４２は付加情報を記憶している。図示のように、各付加情報には、どの親に付随する付加情報であるかを特定すべく、親画像ＩＤが関連付けられている。図３の例において、「いいね」および「きらい」なる付加情報は、親画像Ｐ０１に付随していることを示す。
【００２９】
付加情報とは、親画像に関連する情報である。例えば、付加情報は親画像に対するユーザのコメントや評価などであってもよい。また、親画像が特定の製品の画像である場合にはその値段などでもよいし、親画像が特定の店舗の画像である場合にはその営業時間などでもよい。１つの親画像に対して、複数のユーザがコメントを付したり、１ユーザが複数のコメントを付したりすることもあるので、１つの親画像に複数の付加情報が付随していてもよい。
【００３０】
図４は、子画像データベース４３の構造の一例を示す図である。子画像データベース４３は、ユーザが指定して画像検索手段３１によって検索に用いられたクエリ画像を、検索対象画像として追加的に記憶している。子画像データベース４３に記憶されている検索対象画像を子画像とも呼ぶ。図示のように、各子画像には子画像ＩＤが付されており、以下では、子画像ＩＤがＹである子画像を「子画像Ｙ」とも表記する。
【００３１】
子画像付加情報データベース４４は、親画像付加情報データベース４２と同様の構造となっている。すなわち、付加情報が付随するクエリ画像がユーザにより指定された場合には、クエリ画像の付加情報が、子画像の付加情報として子画像付加情報データベース４４に保存される。
【００３２】
図５は、親子関係保存データベース４５の構造の一例を示す図である。親子関係保存データベース４５は、子画像データベース４３における各子画像が、親画像データベース４１におけるどの親画像と対応しているのかを示す。すなわち、各子画像ＩＤと、対応する親画像ＩＤとが関連付けられている。
【００３３】
複数の子画像が１つの親画像に対応していてもよい。その場合には、親子関係保存データベース４５は子画像同士の対応関係をさらに記憶していてもよい。同図の親子関係保存データベース４５の例では、子画像Ｃ０１，Ｃ０３が親画像Ｐ０１と対応することが記憶されており、さらに子画像Ｃ０１と子画像Ｃ０３とが対応することが記憶されていてもよい。
【００３４】
図６は、図１の画像検索システム１００の処理動作の一例を示すフローチャートである。なお、親画像データベース４１には予め多数の親画像が記憶されているが、子画像データベース４３には初めは子画像が記憶されていなくてもよい。
【００３５】
まず、画像検索手段３１はクエリ画像を設定する（ステップＳ１）。典型的には、画像検索手段３１は、入力インターフェース１を介したユーザの操作に応じて、クエリ画像を受け取る。クエリ画像はユーザが任意に指定することができ、Ｗｅｂ上の画像でもよいし、画像検索システム１００内に保存されている画像でもよいし、ＳＤカード（登録商標）など外部記憶装置に保存されている画像でもよい。また、クエリ画像は、例えばＤＶＤのパッケージや本の表紙であってもよいし、動画における特定の１フレームであってもよい。
【００３６】
ここで、クエリ画像は必ずしも画像検索用に用意された画像であるとは限らず、歪んでいたり、被写体が正面から撮影されていなかったり、被写体への照明にムラがあったりすることもあり得る。
【００３７】
続いて、画像検索手段３１はクエリ画像と対応する検索対象画像を検索する（ステップＳ２）。すなわち、画像検索手段３１は親画像データベース４１を参照し、親画像を検索対象画像として、クエリ画像と対応する親画像を検索する。子画像データベース４３に子画像が既に保存されている場合、画像検索手段３１は子画像データベース４３も参照し、子画像も検索対象画像として、クエリ画像と対応する子画像を検索してもよい。対応する検索対象画像が見つかると、画像検索手段３１は検索結果を取得する。
【００３８】
より具体的には、検索でヒットした検索対象画像が親画像である場合、画像検索手段３１は、親画像データベース４１からその親画像を取得する。さらに、画像検索手段３１は、親子関係保存データベース４５を参照して、その親画像に対応する子画像を子画像データベース４３から取得してもよい。また、画像検索手段３１は、親画像付加情報データベース４２を参照して、取得された親画像に付随する付加情報を取得してもよい。さらに、画像検索手段３１は、親子関係保存データベース４５および子画像付加情報データベース４４を参照して、親画像に対応する子画像に付随する付加情報を取得してもよい。
【００３９】
一方、検索でヒットした検索対象画像が子画像である場合、画像検索手段３１は、親子関係保存データベース４５を参照し、その子画像に対応する親画像を親画像データベース４１から取得する。このとき、画像検索手段３１は子画像も合わせて取得してもよい。また、画像検索手段３１は、親画像付加情報データベース４２を参照して、取得された親画像に付随する付加情報を取得してもよい。さらに、画像検索手段３１は、親子関係保存データベース４５および子画像付加情報データベース４４を参照して、その親画像に対応する子画像（検索で得られた子画像に加え、親画像が共通する他の子画像であってもよい）に付随する付加情報を取得してもよい。
【００４０】
なお、画像検索手段３１は、クエリ画像と最も類似する１つの検索対象画像を検索してもよいし、クエリ画像との類似度が所定の閾値以上である複数の検索対象画像を検索してもよい。
【００４１】
具体的な検索手法の例として、画像検索手段３１は、クエリ画像における特徴点の局所画像特徴量および位置情報と、検索対象画像における特徴点の局所画像特徴量および位置情報とを比較し、一致点の数を類似度として、クエリ画像と類似する検索対象画像を検索することができる（例えば特開２０１４−１７８８５７号公報参照）。
【００４２】
検索結果は検索結果提示手段３４によって出力インターフェース２から出力される（ステップＳ３）。出力の態様は任意でよく、上記のようにして取得された検索対象画像および／または付加情報が表示されればよい。一例として、検索結果提示手段３４は、クエリ画像に対応する親画像と、その親画像および対応する子画像に付随する付加情報とを出力する。
【００４３】
次いで、クエリ画像追加手段３２は、ステップＳ１で設定されたクエリ画像を、子画像すなわち新たな検索対象画像として、子画像データベース４３に追加する（ステップＳ４）。このとき、子画像には子画像ＩＤが付される。クエリ画像に付加情報が付随している場合、クエリ画像追加手段３２は、その付随情報を子画像と関連付けて、子画像付加情報データベース４４に追加してもよい。
【００４４】
また、親子関係追加手段３３は、ステップＳ２で取得された既存の検索対象画像とそのクエリ画像とが対応することを、親子関係保存データベース４５に保存する（ステップＳ５）。より具体的には、検索でヒットした検索対象画像が親画像である場合、親子関係追加手段３３は、その親画像のＩＤと、クエリ画像のＩＤとを関連付けて保存する。一方、検索でヒットした検索対象画像が子画像である場合、親子関係追加手段３３は、その子画像に対応する親画像のＩＤと、クエリ画像のＩＤとを関連付けて保存する。あるいは、親子関係追加手段３３は、その子画像のＩＤと、クエリ画像のＩＤとを関連付けて保存してもよい。
【００４５】
以上のようにして、画像検索手段３１が検索を行うたびに子画像データベース４３に検索対象画像が追加されていく。例えば、ある親画像に対応する子画像として、歪んだ画像、被写体が正面から撮影されていない画像、被写体への照明にムラがある画像などが追加されることになる。そのため、クエリ画像によっては、対応する親画像がヒットしない場合でも、対応する追加された子画像であればヒットすることもある。そして、子画像がヒットすれば、対応する親画像を取得できる。
このように、第１の実施形態では、クエリ画像を検索対象画像として追加するため、検索の精度を向上することができる。
【００４６】
（第２の実施形態）
上述した第１の実施形態は、検索のたびにクエリ画像を子画像データベース４３に追加するものであった。これに対し以下に説明する第２の実施形態では、クエリ画像を子画像データベース４３に追加するか否かを判定した上で、追加するものである。以下、第１の実施形態との相違点を中心に説明する。
【００４７】
図７は、本発明の第２の実施形態に係る画像検索システム１００ａの概略構成を示すブロック図である。図７の制御部３ａはさらに判定手段３５を有する。判定手段３５はクエリ画像を子画像データベース４３に追加するか否かの判定を行う。
【００４８】
図８は、図７の画像検索システム１００ａの処理動作の一例を示すフローチャートである。本実施形態では、判定手段３５がクエリ画像を子画像データベース４３に追加するか否かの判定を行うステップＳ１１を含む。そして、追加すると判定された場合に限って、ステップＳ４，Ｓ５の処理が行われる（ステップＳ１１のＹＥＳ）。
【００４９】
判定の一例として、判定手段３５は、検索結果が適切な場合に、追加すると判定してもよい。より具体的には、ステップＳ３において、検索結果提示手段３４は検索でヒットした検索対象画像を表示する。そして、判定手段３５は、表示された検索対象画像が検索結果として適切か否かをユーザに問い合わせるためのＧＵＩを、出力インターフェース２に表示する。そして、ユーザが、適切か否かを示す指示を入力インターフェース１を介して行い、その指示に基づいて判定手段３５は判定を行う。
【００５０】
検索対象画像が表示されれば、ユーザは一見して検索結果が適切か否か分かることも少なくない。そのため、ユーザから見て検索結果が適切である場合にのみ、クエリ画像を子画像データベース４３に追加することで、検索精度の向上を図れる。
【００５１】
判定の別の例として、判定手段３５は、クエリ画像を追加することをユーザが許可する場合に限って、追加すると判定してもよい。より具体的院は、判定手段３５は、クエリ画像の追加を許可するか否かをユーザに問い合わせるためのＧＵＩを、出力インターフェース２に表示する。そして、ユーザが、許可するか否かを示す指示を入力インターフェース１を介して行い、その指示に基づいて判定手段３５は判定を行う。
【００５２】
クエリ画像にユーザのプライバシー情報が含まれている場合など、クエリ画像が検索対象画像に追加されるのをユーザが好ましく思わないこともある。そのため、ユーザが追加されるのを望まないクエリ画像については、子画像データベース４３に追加しないことで、ユーザの安全性や満足度の向上を図れる。
【００５３】
以上説明したように、判定手段３５は、ユーザからの入力インターフェース１を介した指示に応じて、判定を行ってもよい。あるいは、判定手段３５は、ユーザからの指示に基づかず、自動的に判定を行ってもよい。例えば、検索対象画像がヒットした場合でも、検索精度が低いと思われる場合、判定手段３５はそのクエリ画像を追加しないと判定してもよい。あるいは、クエリ画像と、ヒットした検索対象画像とがほぼ一致する場合、そのようなクエリ画像を追加しても検索精度の向上はあまり期待できず記憶装置４の容量を消費してしまうだけなので、判定手段３５はそのクエリ画像を追加しないと判定してもよい。
【００５４】
このように、第２の実施形態では、クエリ画像を追加するか否かの判定を行った上で、クエリ画像を子画像データベース４３に追加する。そのため、検索精度やユーザの満足度向上が図れる。
【００５５】
（第３の実施形態）
上述した第１および第２の実施形態においては、画像検索システムを使用するほど、検索対象画像が増えていく。しかしながら、検索対象画像の中には、必ずしも検索対象画像として適切ではなく、あまり画像検索手段３１による検索でヒットしないもの含まれ得る。そこで、以下に説明する第３の実施形態では、過去の検索でヒットした回数を考慮して、画像検索を行うものである。
【００５６】
図９は、本発明の第３の実施形態に係る画像検索システム１００ｂの概略構成を示すブロック図である。図９の制御部３ｂはさらにカウント手段３６（必要に応じて、図７と同様の判定手段３３も）を有する。カウント手段３６は、親画像のそれぞれについて、検索でヒットした回数をカウントし、親画像データベース４１に記憶する。同様に、カウント手段３６は、子画像のそれぞれについて、検索でヒットした回数をカウントし、子画像データベース４３に記憶する。ただし、カウント手段３６は親画像および子画像のいずれかのみのヒット回数をカウントしてもよい。
【００５７】
図１０は、親画像データベース４１の構造の一例を示す図である。図示のように、本実施形態では、各親画像について、検索でのヒット回数も記憶される。子画像データベース４３も同様の構造である。
【００５８】
本実施形態において、画像検索手段３１は、親画像データベース４１および子画像データベース４３からクエリ画像と対応する検索対象画像を検索する際、ヒット回数も参照し、ヒット回数も考慮して画像検索を行う。
【００５９】
例えば、画像検索手段３１は、クエリ画像との類似度が等しい２つの検索対象画像（親画像であってもよいし子画像であってもよい、以下同じ）がある場合、ヒット回数が多い方を優先的に取得してもよい。また、画像検索手段３１は、クエリ画像との類似度が閾値以上である検索対象画像が多数ある場合、ヒット回数が多い順に所定数だけ検索対象画像を取り出してもよい。そして、カウント手段３６は、画像検索手段３１が画像検索を行って取得された検索対象画像のヒット回数を、１だけインクリメントする。
【００６０】
また、検索結果提示手段３４は、ヒット回数を考慮して、検索結果を出力インターフェース２から出力してもよい。例えば、検索結果提示手段３４は、複数の検索対象画像が取得された場合、ヒット回数が多い順に並べて表示してもよい。また、ユーザが入力インターフェース１を介した所定の操作を行うことに応じて、検索結果提示手段３４は、複数の検索対象画像をヒット回数順が多い順に並べるか、類似度が高い順に並べるかを切り替えるようにしてもよい。
【００６１】
なお、ヒット回数を他の用途に用いてもよい。例えば、カウント手段３６は、ヒット回数が少ない子画像を子画像データベース４３から削除してもよい。また、ある親画像のヒット数より、対応する子画像のヒット数の方が多い場合、カウント手段３６はこれら親画像と子画像とを入れ替えてもよい。
【００６２】
このように、第３の実施形態では、過去の検索でヒットした回数をカウントする。そのため、ヒット回数を考慮して画像検索を行うことができ、検索精度が向上する。
【００６３】
なお、以上説明した図１などの画像検索システムは、その全体が１つの装置内にあってもよいし、複数の装置に分散していてもよい。複数の装置に分散する例として、画像検索システムは、入力インターフェース１および出力インターフェース２を含むユーザ端末（例えばスマートフォンやタブレット）、制御部３を含むサーバ（画像検索装置）、および、外付けの記憶装置４から構成され、これらがネットワークを介して接続されていてもよい。この場合、ユーザ端末から制御部３の画像検索手段３１にクエリ画像が送信され、検索結果を示すデータが検索結果提示手段３４からユーザ端末に送信されて出力インターフェース２から出力されるようにしてもよい。
【００６４】
上述した実施形態は、本発明が属する技術分野における通常の知識を有する者が本発明を実施できることを目的として記載されたものである。上記実施形態の種々の変形例は、当業者であれば当然になしうることであり、本発明の技術的思想は他の実施形態にも適用しうることである。したがって、本発明は、記載された実施形態に限定されることはなく、特許請求の範囲によって定義される技術的思想に従った最も広い範囲とすべきである。
【符号の説明】
【００６５】
１  入力インターフェース
２  出力インターフェース
３  制御部
３１  画像検索手段
３２  クエリ画像追加手段
３３  親子関係追加手段
３４  検索結果提示手段
３５  判定手段
３６  カウント手段
４  記憶装置
４１  親画像データベース
４２  親画像付加情報データベース
４３  子画像データベース
４４  子画像付加情報データベース
４５  親子関係保存データベース
１００，１００ａ，１００ｂ  画像検索システム
【図１】
0006420162.tif 000002
【図２】
0006420162.tif 000003
【図３】
0006420162.tif 000004
【図４】
0006420162.tif 000005
【図５】
0006420162.tif 000006
【図６】
0006420162.tif 000007
【図７】
0006420162.tif 000008
【図８】
0006420162.tif 000009
【図９】
0006420162.tif 000010
【図１０】
0006420162.tif 000011