(57)【要約】【課題】動画像の絞り込み検索を簡単な操作で行えるようにする。【解決手段】検索対象となる物体が表示部に載置されたことを検知した場合に、撮像部の動画像信号から、前記表示部上の物体を画像として解析し、データベースの検索用画像と一致するかを検索する検索部を有し、前記検索部にて一致したと判断された物体が複数個だった場合に、前記複数の物体間の距離が所定の値未満であるかどうかを計測した結果、所定の値以上の場合は、前記複数の物体の検索条件の論理和から検索条件を生成し、所定の値未満の場合は、前記検索条件の論理積から検索条件を生成し、生成された前記検索条件をユーザ選択画面として前記表示部に表示する。【選択図】図２
2016009277.tif 000002
【特許請求の範囲】
【請求項１】
検索対象となる物体を認識し、前記認識した物体と関連付けられた画像をデータベースから検索し表示する画像検索システムにおいて、
前記データベースは、検索用画像、画像リスト、検索条件を組としたテーブルと検索対象の画像データを持ち、
前記検索対象となる物体を載置可能で、前記画像データや、前記検索条件を表示する表示部と、
前記表示部上にあり、ユーザからの入力を受け付けるタッチパネル部と、
前記表示部上の物体を動画像信号として、撮像することが可能な撮像部と、
前記検索対象となる物体が前記表示部に載置されたことを検知する検知部と、
前記検知部にて物体が前記表示部に載置されたと判断した場合に、前記撮像部の動画像信号から、前記表示部上の物体を画像として解析することが可能な画像解析部と、
前記画像解析部で取得した画像が、前記データベースの検索用画像と一致するかを検索する検索部と、
前記検索部にて一致したと判断された物体が複数個だった場合に、前記複数の物体間の距離が所定の値未満であるかどうかを計測する計測部と、
前記計測部の結果が、所定の値以上である場合は、前記複数の物体の検索条件の論理和をとって検索条件を生成し、所定の値未満である場合は、前記検索条件の論理積をとって検索条件を生成する検索条件生成部と、
前記検索条件生成部によって生成された前記検索条件をユーザ選択画面として前記表示部に表示することを制御する表示制御部とを有することを特徴とする画像処理システム。
【請求項２】
前記表示制御部は、前記タッチパネル部にて前記ユーザ選択画面に表示されている前記検索条件が選択された場合、前記データベースの画像データから、前記検索条件に一致する画像データを表示することを特徴とする請求項１に記載の画像処理システム。
【請求項３】
前記検索条件は、静止画像のＥｘｉｆ情報や、動画像のストリームや管理ファイルに保存するタグ情報であることを特徴とする請求項１に記載の画像処理システム。
【請求項４】
前記表示制御部は、前記検索条件に一致する画像データを表示する際に、前記表示部に載置された物体の近傍に検索結果の画像を表示することを特徴とする請求項１に記載の画像処理システム。
【請求項５】
前記検索条件生成部は、前記検索条件を文字列一致や、数値の大小が可能な検索条件を対象として生成することを特徴とする請求項１に記載の画像処理システム。
【請求項６】
前記表示制御部は、前記検索条件生成部にて、検索条件が生成できない場合は、検索条件を表示しないことを特徴とする請求項１に記載の画像処理システム。
【請求項７】
前記データベースに保存されている画像は、前記検索用画像を複数、関連付けすることを特徴とする請求項１に記載の画像処理システム。
【請求項８】
前記検索用画像は、前記データベースに保存されている画像を複数、関連付けすることを特徴とする請求項１に記載の画像処理システム。
【請求項９】
前記検索条件は、いくつかの種類に区別する事が可能で、少なくとも１つ以上のカテゴリ情報を持つことを特徴とする請求項１に記載の画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理システムに関する。
【背景技術】
【０００２】
従来より、記録媒体に保存された動画や静止画像の各画像に対して、検索用のキーワード画像を関連付けて保存し、ユーザが画像を検索する際に、キーワード画像を選択するだけで、それに関連付けられた動画像や静止画像が表示される記録装置が提案されている。特許文献１では、静止画像を記録することが可能なデジタルスチルカメラにおいて、撮影前にキーワード画像を選択して撮影を行うと、その後に撮影した画像に対して、自動的にキーワード画像が関連付けられたり、撮影後の画像に対してもキーワード画像を関連付けたりすることが可能である。そして、検索時に先ほどのキーワード画像を選択することで、関連付けられた静止画像を検索し表示することが可能である。
【０００３】
また、動画像や静止画像を簡単な操作で表示する方法として、所定の物体に対して、動画像や静止画データを関連付け、ユーザが物体をカメラなどの撮像装置に認識させると、その物体に関連付けられた、記録媒体に保存されている動画像データを表示するといった表示装置が提案されている。特許文献２では、物体を載置可能な表示画面上に、所定の形状の物体を置くと、その物体の識別情報を読み出し、その物体に関連付けられた画像を表示することが可能となっている。
【０００４】
これらの検索方法の利点は、ユーザが関連付けたい画像群を容易に連想させるような物体にすることで、テキストをキーとした検索よりも、より直感的な絞り込み検索をすることが可能である。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平７−１１１６２８号公報
【特許文献２】特開２００５−１６５８６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献１では、大量の動画像に対して、同じキーワード画像を関連付けしてしまった場合に、検索結果をそのまま表示しただけでは、そこから所望の画像を探し出すのは困難であるといえる。また上記特許文献２では、一つの物体について、大量の動画像が関連付けられた場合や、複数の物の関連付けられた画像から所望の画像のみを簡単に表示するといった事は考慮されておらず、検索を容易にする操作方法に関しては述べられていない。
【０００７】
本発明は、以上のことを鑑みてなされたものであって、物体に対して、動画像や静止画像を関連付けて保存し、かつ複数の物体間での論理和や論理積での動画像の絞り込み検索を簡単な操作で行えるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
本発明の構成は、検索対象となる物体を認識し、前記認識した物体と関連付けられた画像をデータベースから検索し表示する画像検索システムにおいて、前記データベースは、検索用画像、画像リスト、検索条件を組としたテーブルと検索対象の画像データを持ち、前記検索対象となる物体を載置可能で、前記画像データや、前記検索条件を表示する表示部と、前記表示部上にあり、ユーザからの入力を受け付けるタッチパネル部と、前記表示部上の物体を動画像信号として、撮像することが可能な撮像部と、前記検索対象となる物体が前記表示部に載置されたことを検知する検知部と、前記検知部にて物体が前記表示部に載置されたと判断した場合に、前記撮像部の動画像信号から、前記表示部上の物体を画像として解析することが可能な画像解析部と、前記画像解析部で取得した画像が、前記データベースの検索用画像と一致するかを検索する検索部と、前記検索部にて一致したと判断された物体が複数個だった場合に、前記複数の物体間の距離が所定の値未満であるかどうかを計測する計測部と、前記計測部の結果が、所定の値以上である場合は、前記複数の物体の検索条件の論理和をとって検索条件を生成し、所定の値未満である場合は、前記検索条件の論理積をとって検索条件を生成する検索条件生成部と、前記検索条件生成部によって生成された前記検索条件をユーザ選択画面として前記表示部に表示することを制御する表示制御部とを有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、データベースに保存された、複数の物体に関連付けられている大量の動画像データから、論理積や論理和の絞り込み検索を簡単な操作で行うことが可能となる。
【図面の簡単な説明】
【００１０】
【図１】画像処理システムの構成を示す図である。
【図２】画像処理装置の構成を示す図である。
【図３】表示画面を示す図である。
【図４】データベースに保存されたテーブルを示す図である。
【図５】検索条件の生成結果を示す図である。
【図６】検索処理を示すフローチャートである。
【図７】検索処理を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、図面を参照しながら本発明を説明する。
【００１２】
（第１の実施形態）
図１は、本発明の実施形態としての画像検索システムの概略図である。図１に示すように、実施形態の画像検索システムは、撮像部１０１と、本体部１０２から構成されている。撮像部１０１は、ズームレンズやフォーカスレンズ等の光学系、ＣＣＤ等のイメージセンサ、アイリス、撮影した動画像信号をデジタル信号に変換するＡＤ変換器、撮影された動画像に必要な処理を施す処理回路、動画像信号を外部に出力する回路を持ち、公知の撮像装置として用いられているものである。本体部１０２の上面には物体を載置することが可能となっており、画像の検索結果は上面の表示画面に表示される。本体部１０２の詳細は、図２を用いて説明する。
【００１３】
図２は、本発明の実施形態としての画像検索システム２００の本体部分の構成を示すブロック図である。図２において、撮像処理制御部２０１は外部に接続された撮像部１０１に対する操作コマンドの受け渡しをするためのものである。信号入力部２０２は、制御部２１１からの指示により、外部に接続された撮像部１０１からの動画像信号をメモリ２０３に展開するものである。
【００１４】
メモリ２０３は、信号入力部２０２からの動画像信号や、その他のデータを記憶する。また画像解析部２０６から静止画切り出しの指示があると、メモリ２０３に保存された動画像信号に対してＪＰＥＧ等の公知の符号化処理を施し、静止画像として再度メモリ２０３に記憶する。また、信号処理部２０４は、データベース２１５の、動画像ファイルや静止画ファイルに対して、再生時に復号処理を行う。また、動画像や静止画像のサムネイル表示の際にも復号処理を行う。検知部２０５は、表示部２０８に載置された物体を検知するものである。例えば、赤外線センサー、感圧センサー、デジタイザー、タブレットなどである。また、検知部２０５は、物体を検知した場合に制御部２１１に対して検知したことを伝え、検知した物体の表示部２０８上の位置情報と、個数情報も同時に通知する。
【００１５】
画像解析部２０６は、制御部２１１から画像切り出しの指示があると、メモリ２０３に保存されている動画像信号から、物体の有無を解析し、物体が有ると判断した領域の画像切出しを信号処理部２０４へ指示する。複数の物体がある場合は、物体毎に切り出しの指示を行う。表示制御部２０７は、制御部２１１からの指示に従い、データベース２１５に保存されている検索条件や、検索条件生成部２１４にて生成した新しい検索条件を、ユーザがタッチパネル部２１０によって選択できる選択画面を生成して、表示部２０８に表示する。また、制御部２１１からの指示に従い、表示部２０８に載置されている物体の近傍に、検索部２１３の検索結果の動画像や静止画像を再生したり、サムネイル画像を表示するように制御して表示部２０８に表示する。
【００１６】
表示部２０８は、液晶パネル等、公知の表示装置を含む。操作部２０９は、タッチパネル部２１０からの位置情報を、画面操作用の位置情報に変換して、制御部２１１に伝えるものである。また、操作部２０９は、電源スイッチ、メニュースイッチ等の各種のスイッチを備える。タッチパネル部２１０は、ユーザがタッチした位置情報を操作部２０９に伝えるものである。
【００１７】
制御部２１１は、操作部２０９からのユーザの指示を受け付ける。制御部２１１はマイコンやその他必要なメモリを有し、操作部２０９からの指示や、検知部２０６からの物体の検知情報により、画像検索システム２００の各部を制御する。
【００１８】
再生部２１２は、制御部２１１からの指示に従い、データベース２１５の動画像や静止画像を信号処理部２０４で伸張したものを再生する。また、データベース２１５の動画像や静止画像のサムネイル画像も信号処理部２０４で伸張させて再生する。また、再生部２１２は、ＦＡＴ等の公知のファイルシステムに従い、データベース２１５に保存した動画像や静止画像の各種のデータをファイルとして管理する。
【００１９】
検索部２１３は、制御部２１１からの指示に従い、データベース２１５に保存されている検索用画像と、画像解析部２０６で切り出した画像とを照合し、照合結果を制御部２１１に伝え、メモリ２０３に照合結果を保存する。また、検索部２１３は、ユーザが、表示部２０８に表示された検索条件の選択画面にて、検索条件を選択した場合に、制御部２１１から選択された検索条件でデータベース２１５を検索するように指示される。
【００２０】
検索条件生成部２１４は、制御部２１１の指示により、検索部２１３にて照合された物体の個数が複数だった場合に、計測部２０６で計測された物体間の距離に応じて、論理積や論理和となる検索条件を生成するものである。
【００２１】
データベース２１５は画像検索システム２００に内蔵されている。データベース２１５は、例えば、大容量のフラッシュメモリやハードディスク（ＨＤＤ）等のランダムアクセスな記録媒体である。ここには、画像解析部２０６で切り出した画像と照合するための、検索用画像と、検索用画像に関連付けられた動画像、静止画像のリストと、それに関連付けられた絞り込み検索用の検索条件がテーブルとして予め保存されている。また、先ほど述べた動画像や静止画像リストに書かれている動画像データや静止画データも保存されている。
【００２２】
計測部２１６は、制御部２１１からの指示に従い、複数の物体が表示部２０８にある場合に、物体間の距離を計測するものである。また、内部バス２１７は、画像検索システム２００の各部の間で、各種のデータやコマンドを転送するために用いられる。
【００２３】
次に、画像検索システム２００の基本的な検索処理について説明する。図６は本実施形態の検索処理を示したフローチャートである。ここでは、図６のフローチャートにおいて、物体を単体で置いた場合のみを説明する。
【００２４】
操作部２０９により画像検索システム２００の電源が投入されると、制御部２１１は、各部を制御して、待機状態となる。待機状態では、検知部２０５が常に表示部２０８に物が載置されていないかを監視している（Ｓ６０１）。
【００２５】
ユーザが、表示部２０８に物体を載置すると、検知部２０５が物体を検知した事を、位置情報と個数情報と共に制御部２１１に伝える（Ｓ６０２）。制御部２１１は、検知部２０５から物体を検知した事を伝えられると、各部を制御し、検知した物体の静止画像の取得動作を開始する（Ｓ６０３）。撮像処理制御部２０１は、制御部２１１からの指示により、動画像信号を出力するように撮像部１０１に指示を出す。撮像部１０１から出力の応答があった場合、制御部２１１は、信号入力部２０２に対して、メモリ２０３へ入力信号を保存するように指示を出す。ここで保存するのは、所定の時間分のみであり、所定時間以上経過したものは破棄する。画像解析部２０６は、制御部２１１から物体の静止画像の切り出しを指示されると、先ほどのメモリ２０３の動画像信号から公知の画像解析技術を用いて、物体の画像領域を算出する。
【００２６】
そして、画像解析部２０６は、算出した結果を信号処理部２０４に通知して、静止画像の切り出しを行う（Ｓ６０３）。物体の個数が単体の場合は、ここで全ての静止画像の切り出しが行われたと判断し（Ｓ６０４）、制御部２１１は、検索部２１３に対して、切り出した静止画像がデータベース２１５の検索用画像として登録されているかの照合を指示する（Ｓ６０５）。照合には、図４（ａ）で示した検索用画像と、先ほどの切り出した静止画像を公知の照合技術を用いて行う。切り出した静止画像が、図４（ａ）の物体の検索用画像と照合して一致したと判断された場合、一致した物体の情報をメモリ２０３に保存し、制御部２１１に伝える（Ｓ６０６）。
【００２７】
一度の静止画切り出しで精度が低い場合は、画像解析部２０６にて異なる時間の動画像信号から複数回物体の画像を切り出して、検索部２１３で照合し、それでも一致しなかった場合に、検索対象からはずすようにしてもよい。次に、制御部２１１は、検知された物体が見つかったかどうかをメモリ２０３に保存した照合情報に基づいて判断する。ここで、検索対象の物体が見つからなかった場合、処理を終了する。一致した物体があった場合（Ｓ６０７）、制御部２１１は、一致した物体が単体か複数かを判断する（Ｓ６０８）。ここで、単体であった場合（Ｓ６０９）、制御部２１１は、新しく生成する検索条件は必要ないと判断し（Ｓ６１４）、検索部２１３に対して、データベース２１５に保存されている、照合した物体に関連付けられた検索条件を表示するように表示制御部２０７に指示を出す（Ｓ６１５）。
【００２８】
ここで、図４（ａ）は、データベース２１５に保存されているテーブルを示している。検索条件とは、例えば図４（ａ）の物体Ａにおける、「小１」、「小４」、「小６」の事を示している。
【００２９】
また、データベース２１５に保存されている図４（ａ）の物体Ａの検索条件を表示した場合の画面の例を図３の（ａ）に示す。図３（ａ）は、表示制御部２０７が、物体に関連付けられた検索条件を、選択画面として、表示部２０８に表示した時の画面である。この図３（ａ）のように、表示制御部２０７は、物体Ａ（３０１）の近傍に、３つの検索条件（３０３、３０４、３０５）と、「全ファイル表示」（３０２）を表示する。ここで、ユーザが図３（ａ）の検索条件３０３「小１」をタッチパネル部２１０によって選択すると（Ｓ６１６）、制御部２１１は、検索部２１３に対して検索条件「小１」で検索するように指示する（Ｓ６１７）。このとき、検索する対象は図４（ａ）の物体Ａに関連付けられた画像リスト「画像１．ｊｐｇ〜画像１０００．ｊｐｇ」である。ここで、「全ファイル表示」が選択された場合は、検索部２１３は、図４（ａ）の物体Ａに関連付けられた全画像リスト「画像１．ｊｐｇ〜画像１０００．ｊｐｇ」が対象であることを制御部２１１に伝える。
【００３０】
検索方法としては、例えば、静止画像の場合は、各画像のＥｘｉｆ情報などに、予め「小１」タグが保存しておき、検索時にはこのタグを検索するなどで行う。また、動画像データの場合にも、ストリームファイル、もしくはストリームファイルとは別の管理ファイルなどに予め「小１」タグを保存しておき、検索時はこのタグを検索するなどで行う。検索が終了したら、検索部２１３は制御部２１１に対して、検索終了を伝え、検索結果である画像リストを渡す。制御部２１１は、再生部２１２に対して、検索結果の画像リストのサムネイル画像の表示を指示する。再生部２１２は、制御部２１１からの指示により、信号処理部２０４に対して、この画像リストにある動画像や静止画像のサムネイル画像を伸張処理を指示に、メモリ２０３に保存させる。伸張処理するのは、メモリの制約もあることから、サムネイル表示に必要な最低限の数のみでもよい。
【００３１】
次に、制御部２１１は、表示制御部２０７に対して、メモリ２０３に保存した伸張処理したサムネイル画像を物体の近傍に調整して表示部２０８に表示するように指示を出す。これにより、表示部２０８には、検索結果のサムネイル画像が、物体の近傍に表示される（Ｓ６１８）。図３（ｂ）には、図３（ａ）にて、「小１」を選択した場合に表示されるサムネイル画像を表示した画面を示している。このように、どの検索条件での検索結果かが分かるように「小１」３０７などのように表示するようにする。ここで、タッチパネル部２１０によって、ユーザからサムネイル画像が選択された場合、制御装置２１１は、再生部２１２に対して、画像を再生するように指示を出す。再生部２１２は、制御装置２１１からの指示により、信号処理部２０４にて、選択された画像の伸張処理を行わせてメモリ２０３に保存する。
【００３２】
伸張処理の終了を再生部２１２から通知されると、制御部２１１は、表示制御部２０７に対して、再生画面を生成し、メモリ２０３に保存された画像を表示する。また、図３（ｃ）には、図３（ｂ）にてサムネイル画像３０６を選択した場合に表示される再生画面を示している。表示画面の中央には、画像３（３０８）が表示され、右上には全体の枚数分の現在再生しているシーン番号（３０９）が表示されている。
【００３３】
次に、画像検索システム２００の複数の物体を置いた場合の検索処理について説明する。図６は本実施形態の複数の物体による検索処理を示したフローチャートである。先ほど解説した単体の物体での検索処理と処理が同様のものは省略して解説する。
【００３４】
検知された物体が、画像解析部２０６により複数見つかった場合（Ｓ６０９）、制御部２１１は、計測部２１６に対して、各物体の載置されている位置情報から、物体間の距離を計測するように指示を出す（Ｓ６１０）。ここで、距離の計測方法は、検知部２０５で検知した表示部２０８上の座標情報や、精度が足りない場合は、画像解析部２０６で解析したメモリ２０３に保存している動画像信号を使用して、物体同士が一番近接している箇所同士の距離や、重心の位置同士の距離などを使用する。このとき、制御部２１１は、計測部２１６で計測した物体間の距離の結果を元に、所定の距離以下かどうかを判断する（Ｓ６１１）、所定の距離以下であった場合、制御部２１１は、検索条件生成部２１４に対して、検索条件を論理積にして、新しい検索条件を生成するように指示を出す（Ｓ６１２）。所定の距離以上であった場合、制御部２１１は、検索条件生成部２１４に対して、検索条件を論理積にして、新しい検索条件を生成するように指示を出す（Ｓ６１３）。
【００３５】
図５（ａ）、（ｂ）は、図４（ａ）の物体Ａと物体Ｂの検索条件から、（ａ）論理積、（ｂ）論理和の検索条件を生成した場合の全条件を示している。図５（ａ）は、図４（ａ）の物体Ａの検索条件「小１」、「小４」、「小６」と物体Ｂの検索条件「小１」、「小６」から、各条件を論理積とすることで、「小１」と「小６」という２つの検索条件が生成されることを示している。図５（ｂ）では、図４（ａ）の物体Ａの検索条件「小１」、「小４」、「小６」と物体Ｂの検索条件「小１」、「小６」から、各条件を論理和とすることで、結果をして、「小１」、「小１、小４」と「小１、小６」、「小６」、「小４、小６」、「小６」という５つの検索条件が生成されることを示している。
【００３６】
制御部２１１は、検索条件の生成が終了したことを、検索条件生成部２１４から伝えられると、表示制御部２０７に対して、検索条件を選択可能な選択画面を表示するように表示部２０８に指示する（Ｓ６１５）。
【００３７】
図３の（ｄ）、（ｅ）では、表示制御部２０７が、検索条件を表示部２０８に表示した場合の選択画面を示している。図３（ｄ）では、物体Ａと物体Ｂを所定の距離以下に近付けた場合に、論理積の検索条件が生成されて表示された表示画面を示している。このとき「ＡＮＤ」３１０のように表示することで、論理積の検索条件が表示されていることが簡単に分かるようにしている。ただし、物体が１つの場合の時は表示されない。このとき、ユーザがタッチパネル２１０により「小１」３１１を選択した場合（Ｓ６１６）、制御部２１１は、データベース２１５に保存されている図４（ａ）で示した物体Ａと物体Ｂの画像リストの中から、「小１」がタグとして保存された画像で、かつ物体Ａと物体Ｂ両方に関連付けられている画像を検索するように検索部２１３に指示を出す。
【００３８】
また、「全ファイルＡＮＤ表示」が選択された場合は、物体Ａと物体Ｂの両方に関連付けられている全ての画像を表示するように検索部２１３に指示を出す。図３（ｅ）では、物体Ａと、物体Ｂが所定の距離より離れている場合に、論理和の検索条件が生成されて表示された表示画面を示している。このとき、「ＯＲ」３１２のように表示することで、論理和の検索条件が表示されていることが簡単に分かるようにしている。ここで、ユーザがタッチパネル２１０により、「小１」３１３を選択した場合（Ｓ６１６）、制御部２１１は、データベース２１５に保存されている、図４（ａ）で示した物体Ａと物体Ｂの画像リストの中から、「小１」がタグとして保存された全ての画像を検索するように検索部２１３に指示を出す。
【００３９】
また、「全ファイルＯＲ表示」のが選択された場合は、物体Ａと物体Ｂにそれぞれに関連付けられている全ての画像を表示するように検索部２１３に指示を出す。検索が終了したら、検索部２１３は制御部２１１に対して、検索終了を伝え、画像リストを渡す。制御部２１１は、再生部２１２に対して、検索結果の画像リストのサムネイル画像の表示を指示する。そして、表示制御部２０７に対して、伸張処理したサムネイル画像を物体の近傍に調整して表示部２０８に表示するように指示を出す。これにより、表示部２０８には、検索結果のサムネイル画像が、物体の近傍に表示される（Ｓ６１８）。このとき、重複しているサムネイル画像に関しては、１枚しか表示しない。
【００４０】
図３（ｆ）では、図５（ｅ）で「小１」を選択した場合の、検索結果のサムネイル画像が表示された表示画面を示している。このように検索結果のサムネイル画像は、物体Ａと物体Ｂが置かれた以外の領域に表示される。画像数が多い場合は、スクロールバー（３１４）などで、全サムネイル画像を閲覧できるようにする。
【００４１】
また、図６のフローチャートには明記していないが、検索結果を表示後に、検索対象となる物体が表示部２０８上から外すなどの、検索対象となる物体の個数が変化した場合、制御部２１１は、表示制御部２０７に対して、表示していた検索結果の画像を非表示とするように指示し、再度、ステップ６０１の状態に戻る。
【００４２】
以上の説明をしたとおり、本発明の実施の形態１では、物体に対して、動画や静止画像を関連付けし、その物体をカメラで撮影して認識させることで、関連付けられた動画像や静止画像、もしくは、関連付けられた検索条件を表示し、複数の物体を載せた場合は、その距離によって、論理和や論理積で検索条件の表示を変更することで、複数の物体による絞り込み検索を直感的かつ簡単な操作で行えるようになる。
【００４３】
（第２の実施形態）
実施形態２では、実施形態１で示した検索条件をさらにカテゴリに分けて絞り込み検索を行う場合を示す。その他の処理については、実施形態１と共通であるため、その部分は省略して説明する。
【００４４】
図７は本実施形態２の検索処理を示したフローチャートである。検知された物体が、画像解析部２０６により複数見つかった場合（Ｓ７０９）、制御部２１１は、計測部２１６に対して、各物体の載置されている位置情報から、物体間の距離を計測するように指示を出す（Ｓ７１０）。このとき、制御部２１１は、計測部２１６で計測した物体間の距離の結果を元に、所定の距離以下かどうかを判断する（Ｓ７１１）、所定の距離以下であった場合、制御部２１１は、検索条件生成部２１４に対して、検索条件を論理積にして、新しい検索条件を生成するように指示を出す（Ｓ７１２）。所定の距離以上であった場合、制御部２１１は、検索条件生成部２１４に対して、検索条件を論理積にして、新しい検索条件を生成するように指示を出す（Ｓ７１３）。また、物体が単体の場合は、新しい検索条件を生成しない（Ｓ７１４）。
【００４５】
ここで、図４（ｂ）では、検索条件をさらに３つのカテゴリ「期間、イベント、場所」に分けて、データベース２１５に保存したテーブルを示している。このカテゴリは、「小１」、「運動会」、「○○小学校」などの各タグに対して予め割り当てて保存するようにする。カテゴリの管理方法は、タグ情報と同様に、静止画像の場合は、各画像のＥｘｉｆ情報などに保存し、動画像データの場合には、ストリームファイル、もしくはストリームファイルとは別の管理ファイルなどに保存する。検索条件生成部２１４は、このカテゴリ毎に検索式を生成する。
【００４６】
図５（ａ）〜（ｆ）は、図４（ｂ）の物体Ａと物体Ｂの検索条件から、論理積、論理和の検索条件を生成した場合の全条件を示している。図５（ａ）、（ｂ）のカテゴリ「期間」における生成結果に関しては、実施形態１で前述しているため省略する。図５（ｃ）、（ｄ）は、「イベント」カテゴリにおける、論理積（ｃ）と論理和（ｄ）の生成結果を示している。図５（ｃ）は、図４（ｂ）の物体Ａの検索条件「運動会」、「サッカー大会」、「遠足」と物体Ｂの検索条件「サッカー大会」から、各条件を論理積とすることで、「サッカー大会」という１つの検索条件が生成されることを示している。図５（ｄ）では、図４（ｂ）の物体Ａの検索条件「運動会」、「サッカー大会」、「遠足」と物体Ｂの検索条件「サッカー大会」から、各条件を論理和とすることで、結果をして、「運動会、サッカー大会」、「サッカー大会」と「サッカー大会、遠足」という３つの検索条件が生成されることを示している。図５（ｅ）、（ｆ）は、「場所」カテゴリにおける、論理積（ｅ）と論理和（ｆ）の生成結果を示している。図５（ｅ）は、図４（ｂ）の物体Ａの検索条件「○○小学校」、「□動物園」と物体Ｂの検索条件「○○小学校」から、各条件を論理積とすることで、「○○小学校」という１つの検索条件が生成されることを示している。図５（ｆ）では、図４（ｂ）の物体Ａの検索条件「○○小学校」、「□動物園」と物体Ｂの検索条件「○○小学校」から、各条件を論理和とすることで、結果をして、「○○小学校」、「○○小学校、□動物園」という２つの検索条件が生成されることを示している。
【００４７】
制御部２１１は、検索条件の生成が終了したことを、検索条件生成部２１４から伝えられると、検索条件生成部２１４からの検索条件の情報を元に検索条件が、カテゴリ別に分けられているかどうかを判断する（Ｓ７１５）。ここで、カテゴリに分けられていない場合は、そのまま検索条件を表示する（Ｓ７１９）。カテゴリに分けられている場合は、表示制御部２０７に対して、カテゴリを選択可能な選択画面を表示するように表示部２０８に指示する（Ｓ７１６）。
【００４８】
図３の（ｇ）では、物体ＡとＢが所定の距離未満であった場合に、表示制御部２０７が、カテゴリを表示部２０８に表示した場合の選択画面を示している。このとき、ユーザがタッチパネル２１０により「全カテゴリ」３１５を選択した場合（Ｓ７１７）、制御部２１１は、全カテゴリの論理積の検索条件（図５（ａ）、（ｃ）、（ｅ）で示した検索条件）を選択できる選択画面を表示するように表示部２０８に指示を出す（Ｓ７１８）。
【００４９】
図３（ｈ）では、このときに表示される選択画面を示している。このように、すべてのカテゴリにおける論理積の検索式がそれぞれ表示される。また、「全カテゴリ」３１６のように表示してどのカテゴリが選択されたかを分かるようにしたり、スクロールバーとすることで、検索条件が多くなった場合にも対応する。「全カテゴリ」の表示は、ステップ７１９で検索条件を表示した場合には表示されない。この選択画面にて、「小１」が選択された場合（Ｓ７２０）、データベース２１５に保存されている図４（ａ）で示した物体Ａと物体Ｂの画像リストの中から、「小１」がタグとして保存された画像で、かつ物体Ａと物体Ｂ両方に関連付けられている画像を検索するように検索部２１３に指示を出す（Ｓ７２１）。検索が終了したら、検索部２１３は制御部２１１に対して、検索終了を伝え、画像リストを渡す。制御部２１１は、再生部２１２に対して、検索結果の画像リストのサムネイル画像の表示を指示する。そして、表示制御部２０７に対して、伸張処理したサムネイル画像を物体の近傍に調整して表示部２０８に表示するように指示を出す。これにより、表示部２０８には、検索結果のサムネイル画像が、物体の近傍に表示される（Ｓ７２２）。このとき、重複しているサムネイル画像に関しては、１枚しか表示しない。
【００５０】
以上の説明をしたとおり、本発明の実施の形態２では、絞り込み検索において使用する検索条件の種類が増えてしまった場合でも、直感的かつ簡単な操作で絞り込み検索が行えるようになる。
【００５１】
以上、本発明をその好適な実施形態１、２に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
【００５２】
また、実施例１、２において、撮像装置１０１は外部にあるとしたが、画像検索システムに内蔵されていてもよい。また、表示部２０８とデータベース２１５は内蔵されているとしてが、外部にあるものとしてもよい。
【００５３】
また、実施例１、２において、複数の物体の距離が所定の値未満の場合は、検索条件の論理積を、所定の値以上の場合は、検索条件の論理和として新たな検索条件式を生成するとしたが、これを逆にして、検索条件の論理積を所定の値以上、検索条件の論理和を所定の値未満としてもよい。
【００５４】
また、実施例１、２において、検索条件は「小１」や「運動会」を例に挙げたが、これに限るものではなく、比較可能な文字列や数値を含む。
【符号の説明】
【００５５】
１０１  撮像部、１０２  本体部
【図５】
2016009277.tif 000003
【図１】
2016009277.tif 000004
【図２】
2016009277.tif 000005
【図３】
2016009277.tif 000006
【図４】
2016009277.tif 000007
【図６】
2016009277.tif 000008
【図７】
2016009277.tif 000009