(57)【要約】【課題】画像を容易に検索できるようにする。【解決手段】検索対象となる物体が表示部に載置されたことを検知した場合に、撮像部の動画像信号から、前記表示部上の物体と前記人物を解析する画像解析部と、前記画像解析部で取得した物体と人物が、データベースの検索用画像と人物画像に一致するかを検索する検索部と、前記検索部により一致したと判断された場合、前記表示部上に載置された物体が前記撮像部の所定の撮像範囲を超えていると判断された場合、前記データベースから、前記検索部で一致した物体の前記アイコン画像を表示するかどうかのユーザ選択画面を表示する。【選択図】図２
2016009278.tif 000002
【特許請求の範囲】
【請求項１】
検索対象となる物体を認識し、前記認識した物体と関連付けられた画像をデータベースから検索し表示する画像検索システムにおいて、
前記データベースは、検索用画像、画像リスト、人物画像、アイコン画像を組としたテーブルと検索対象の画像データを持ち、
前記検索対象となる物体を載置可能で、前記画像データ、人物画像、アイコン画像を表示する示部と、
前記表示部上にあり、ユーザからの入力を受け付けるタッチパネル部と、
前記表示部上の物体と、前記表示部から所定の距離の範囲までにいる人物を動画像信号として、撮像することが可能な撮像部と、
前記検索対象となる物体が前記表示部に載置されたことを検知する検知部と、
前記検知部にて物体が前記表示部に載置されたと判断した場合に、前記撮像部の動画像信号から、前記表示部上の物体と前記人物を画像として解析することが可能な画像解析部と、
前記画像解析部で取得した物体と人物の画像が、前記データベースの検索用画像と人物画像に一致するかを検索する検索部と、
前記検索部により、一致したと判断された場合、前記表示部上に載置された物体が前記撮像部の所定の撮像範囲を超えているかどうかを判断する計測部と、
前記計測部により、所定の認識範囲を超えていたと判断された場合、前記データベースから、前記検索部で一致した物体の前記アイコン画像を表示するかどうかのユーザ選択画面を表示し、所定の認識範囲以内である場合は、前記ユーザ選択画面を表示しない表示制御部とを有する画像処理システム。
【請求項２】
前記表示制御部は、前記ユーザ選択画面により、前記アイコン画像を表示すると選択された場合は、前記アイコン画像を前記表示部上に表示し、前記データベースから前記画像リストの画像データを前記アイコンの近傍に表示し、アイコンを表示しなかった場合は、前記検索対象となる物体が載置された近傍に表示することを特徴とする請求項１に記載の画像処理システム。
【請求項３】
前記アイコン画像が表示されたとき、前記アイコン画像が表示されてからの経過時間を、アイコン画像毎に計測する時間計測部を持つことを特徴とする請求項１に記載の画像処理システム。
【請求項４】
前記時間計測部での計測時間が、所定の時間経過した場合、前記表示制御部は、前記画像データや前記人物画像、前記アイコン画像の表示を継続するか終了するかの選択画面の表示を制御することを特徴とする請求項１に記載の画像処理システム。
【請求項５】
前記表示制御部は、前記アイコン画像が表示された後、前記人物解析部で、前記アイコン画像に関連している人物が確認出来ないと判断した場合に、前記画像データや前記人物画像、前記アイコン画像が非表示となるように制御することを特徴とする請求項１に記載の画像処理システム。
【請求項６】
前記計測部は、前記検索部にて一致したと判断された物体が複数個だった場合、前記複数の物体間の距離、もしくは、前記表示制御部にてアイコン画像が表示されている場合は、アイコン画像との距離が所定の値未満であるかどうかを計測することを特徴とする請求項１に記載の画像処理システム。
【請求項７】
前記計測部の結果が、所定の値以上である場合は、前記複数の物体に関連付けられている全画像を表示し、所定の値未満である場合は、前記複数の物体に共通に関連付けられている全画像を表示することを特徴とする請求項１に記載の画像処理システム。
【請求項８】
前記データベースに保存されている画像は、前記検索用画像を複数、関連付けすることが可能な請求項１に記載の画像処理システム。
【請求項９】
前記検索用画像は、前記データベースに保存されている画像を複数、関連付けすることが可能な請求項１に記載の画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理システムに関する。
【背景技術】
【０００２】
従来、動画像や静止画像を簡単な操作で表示する方法として、所定の物体に対して、動画像や静止画データを関連付け、ユーザが物体をカメラなどの撮像装置に認識させると、その物体に関連付けられた、記録媒体に保存されている動画像や静止画データを表示するといった表示装置が提案されている。特許文献１では、物体を載置可能な表示画面上に、所定の形状の物体を置くと、その物体の識別情報を読み出し、その物体に関連付けられた画像を表示することが可能となっている。この検索方法の利点は、ユーザが関連付けたい画像群を、容易に連想させるような物体にすることで、テキストをキーとした検索よりも、より直感的な絞り込み検索をすることが可能であるという事である。
【０００３】
また、従来、データベース検索において、検索条件を直感的に分かりやすく表示する事が可能な、データベース検索システムが提案されている。特許文献２では、ユーザが入力した検索条件がアイコン化されてディスプレイに表示され、複数の条件を組み合わせて、論理積や論理和といった条件式を作成するように指示すると、アイコンの表示方法が重畳関係によって、自動的に変化し、簡単に論理積や論理和といった検索条件が分かるようなＵＩが提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１６５８６４号公報
【特許文献２】特開平６−３２５１０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１では、物体に付けている識別情報が認識出来ないような形状をした、大きな物体に対する動作については考慮されておらず、そのような物体に対する操作性の問題がある。また上記特許文献２では、検索条件はユーザが毎回入力する必要があるため、ユーザが検索条件を詳細に覚えておかないと、大量の動画像ファイルの中から所望の動画像を見つけ出すのは困難であるという問題がある。
【０００６】
本発明は、画像を容易に検索できるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、検索対象となる物体を認識し、前記認識した物体と関連付けられた画像をデータベースから検索し表示する画像検索システムにおいて、前記データベースは、検索用画像、画像リスト、人物画像、アイコン画像を組としたテーブルと検索対象の画像データを持ち、前記検索対象となる物体を載置可能で、前記画像データ、人物画像、アイコン画像を表示する示部と、前記表示部上にあり、ユーザからの入力を受け付けるタッチパネル部と、前記表示部上の物体と、前記表示部から所定の距離の範囲までにいる人物を動画像信号として、撮像することが可能な撮像部と、前記検索対象となる物体が前記表示部に載置されたことを検知する検知部と、前記検知部にて物体が前記表示部に載置されたと判断した場合に、前記撮像部の動画像信号から、前記表示部上の物体と前記人物を画像として解析することが可能な画像解析部と、前記画像解析部で取得した物体と人物の画像が、前記データベースの検索用画像と人物画像に一致するかを検索する検索部と、前記検索部により、一致したと判断された場合、前記表示部上に載置された物体が前記撮像部の所定の撮像範囲を超えているかどうかを判断する計測部と、前記計測部により、所定の認識範囲を超えていたと判断された場合、前記データベースから、前記検索部で一致した物体の前記アイコン画像を表示するかどうかのユーザ選択画面を表示し、所定の認識範囲以内である場合は、前記ユーザ選択画面を表示しない表示制御部とを有する。
【発明の効果】
【０００８】
本発明によれば、物体の大きさに関わらず、データベースに保存された、物体に関連付けられた動画像や静止画像データから、簡単な操作で論理積や論理和の絞り込み検索を行うことが可能となる。
【図面の簡単な説明】
【０００９】
【図１】画像処理システムの構成を示す図である。
【図２】画像処理装置の構成を示すブロック図である。
【図３】画像検索時の表示画面を示す図である。
【図４】データベースに保存されたテーブルを示す図である。
【図５】画像検索処理を示すフローチャートである。
【図６】画像検索処理を示すフローチャートである。
【図７】画像検索処理を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、図面を参照しながら本発明を説明する。
【００１１】
（第１の実施形態）
図１は、本発明の実施形態としての画像検索システムの概略図である。図１に示すように、実施形態の画像検索システムは、撮像部１０１と、本体部１０２から構成されている。撮像部１０１は、ズームレンズやフォーカスレンズ等の光学系、ＣＣＤ等のイメージセンサ、アイリス、撮影した動画像信号をデジタル信号に変換するＡＤ変換器、撮影された動画像に必要な処理を施す処理回路、動画像信号を外部に出力する回路を持ち、公知の撮像装置として用いられているものである。本体部１０２の上面には物体を載置することが可能となっており、画像の検索結果は上面の表示画面に表示される。本体部１０２の詳細は、図２を用いて説明する。
【００１２】
図２は、本発明の実施形態としての画像検索システム２００の本体部分の構成を示すブロック図である。図２において、撮像処理制御部２０１は外部に接続された撮像部１０１に対する操作コマンドの受け渡しをするためのものである。信号入力部２０２は、制御部２１１からの指示により、外部に接続された撮像部１０１からの動画像信号をメモリ２０３に展開するものである。メモリ２０３は、信号入力部２０２からの動画像信号や、その他のデータを記憶する。また画像解析部２０６から静止画切り出しの指示があると、メモリ２０３に保存された動画像信号に対してＪＰＥＧ等の公知の符号化処理を施し、静止画像として再度メモリ２０３に記憶する。また、信号処理部２０４は、データベース２１５の、動画像や静止画像に対して、再生時に復号処理を行う。また、動画像や静止画像のサムネイル表示の際にも復号処理を行う。
【００１３】
検知部２０５は、表示部２０８に載置された物体を検知するものである。例えば、赤外線センサー、感圧センサー、デジタイザー、タブレットなどである。また、検知部２０５は、物体を検知した場合に制御部２１１に対して検知したことを伝え、検知した物体の表示部２０８上の位置情報と、個数情報を同時に通知する。画像解析部２０６は、制御部２１１から画像切り出しの指示があると、メモリ２０３に保存されている動画像信号から、物体の有無を解析し、物体が有ると判断した領域の画像切出しを信号処理部２０４へ指示する。複数の物体がある場合は、物体毎に切り出しの指示を行う。また、画像解析部２０６は、画像検索システム２００の本体部から、所定の距離に存在する人物を解析するように制御部２１１から指示される。画像解析部２０６は、メモリ２０３に保存されている動画像信号から、公知の顔画像解析技術を用いて、人物画像の静止画切り出し処理を行う。表示制御部２０７は、制御部２１１からの指示に従い、表示部２０８に載置されている物体の近傍に、検索部２１３のデータベース２１５に保存されている、物体に関連付けられた人物画像や、アイコン画像、また検索結果におけるサムネイル画像の表示や、動画像や静止画像の再生表示などを制御して表示部２０８に表示する。表示部２０８は、液晶パネル等、公知の表示装置を含む。
【００１４】
操作部２０９は、タッチパネル部２１０からの位置情報を、画面操作用の位置情報に変換して、制御部２１１に伝えるものである。また、操作部２０９は、電源スイッチ、メニュースイッチ等の各種のスイッチを備える。タッチパネル部２１０は、ユーザがタッチした位置情報を操作部２０９に伝えるものである。制御部２１１は、操作部２０９からのユーザの指示を受け付ける。制御部２１１はマイコンやその他必要なメモリを有し、操作部２０９からの指示や、検知部２０６からの物体の検知情報により、画像検索システム２００の各部を制御する。
【００１５】
再生部２１２は、制御部２１１からの指示に従い、データベース２１５の動画像や静止画像を信号処理部２０４で伸張したものを再生する。また、データベース２１５の動画像や静止画像のサムネイル画像も信号処理部２０４で伸張させて再生する。また、再生部２１２は、ＦＡＴ等の公知のファイルシステムに従い、データベース２１５に保存した動画像や静止画像の各種のデータをファイルとして管理する。検索部２１３は、制御部２１１からの指示に従い、データベース２１５に保存されている検索用画像や人物画像と、画像解析部２０６で切り出した物体画像や人物画像をそれぞれ照合し、照合結果を制御部２１１に伝える。
【００１６】
計測部２１４は、制御部２１１からの指示に従い、複数の物体が表示部２０８にある場合に、物体間の距離を計測するものである。また、画像検索システム２００の本体部に対して、所定の認識範囲内に物体が載置されているかどうかの距離を計測するものである。データベース２１５は画像検索システム２００に内蔵されている。データベース２１５は、例えば、大容量のフラッシュメモリやハードディスク（ＨＤＤ）等のランダムアクセスな記録媒体である。ここには、画像解析部２０６で切り出した画像と照合するための、検索用画像と人物画像、検索用画像と人物画像の組み合わせに関連付けられた動画像、静止画像のリストと、アイコン画像がテーブルとして予め保存されている。また、先ほど述べた動画像や静止画像のリストに書かれている動画像データや静止画データも保存されている。
【００１７】
時間計測部２１６は、表示制御部２０７が、表示部２０８において、データベース２１５に保存されているアイコン画像を表示した時点で、制御部２１１から時間の計測開始を指示され、アイコンが表示される度にそれぞれ経過時間を計測してメモリ２０３に保存する。内部バス２１７は、画像検索システム２００の各部の間で、各種のデータやコマンドを転送するために用いられる。
次に、画像検索システム２００の基本的な検索処理について説明する。図５は本実施形態の検索処理を示したフローチャートである。また図４は、データベース２１５に保存されている、検索用画像、人物画像、画像リスト、アイコン画像を示している。
【００１８】
操作部２０９により画像検索システム２００の電源が投入されると、制御部２１１は、各部を制御して、待機状態となる。待機状態では、検知部２０５が常に表示部２０８に物が載置されていないかを監視している（Ｓ５０１）。ユーザが、表示部２０８に物体を載置すると、検知部２０５が物体を検知した事を、位置情報と個数情報と共に制御部２１１に伝える（Ｓ５０２）。制御部２１１は、検知部２０５から物体を検知した事を伝えられると、各部を制御し、検知した物体の静止画像の取得動作を開始する。撮像処理制御部２０１は、制御部２１１からの指示により、動画像信号を出力するように撮像部１０１に指示を出す。撮像部１０１から出力の応答があった場合、制御部２１１は、信号入力部２０２に対して、メモリ２０３へ入力信号を保存するように指示を出す。ここで保存するのは、所定の時間分のみであり、所定時間以上経過したものは破棄する。画像解析部２０６は、制御部２１１から物体の静止画像の切り出しを指示されると、先ほどのメモリ２０３の動画像信号から公知の画像解析技術を用いて、物体の画像領域を算出する。そして、画像解析部２０６は、算出した結果を信号処理部２０４に通知して、静止画像の切り出しを行う（Ｓ５０３）。
【００１９】
ここで全ての静止画像の切り出しが行われた場合（Ｓ５０４）、制御部２１１は、画像解析部２０６に対して、人物解析を行うように指示を出す。画像解析部２０６は、制御部２１１からの指示により、メモリ２０３の動画像信号から公知の顔情報解析技術を用いて、人物画像の静止画切り出しを行う（Ｓ５０５）。人物画像の切り出し処理の終了を画像解析部２０６から通知されると、制御部２１１は、検索部２１３に対して、切り出した物体の静止画像を、データベース２１５の検索用画像と照合するように指示する（Ｓ５０６）。照合には、図４で示した検索用画像と、先ほどの切り出した静止画像を公知の照合技術を用いて行う。制御部２１１は、切り出した静止画像が、図４の検索用画像と一致したと画像解析部２０６から通知された場合、一致した物体における、図４で示した人物画像と、画像解析部２０６で切り出した人物の画像情報とを照合するように指示を出す。
【００２０】
ここで、図４で示したテーブルについて解説すると、「物体Ａ」で示したように、同一の検索用画像に対して、別の人物画像を関連付けることが可能である。また、アイコン画像は人物によって異なる画像とすることが可能である。これにより、認識された人物専用のアイコン画像を表示する事が可能となる。
【００２１】
照合の結果、人物画像が一致すると判断された場合、制御部２１１はメモリ２０３に照合結果を保存する。このとき、切り出した物体や人物の静止画像の精度が低い場合は、画像解析部２０６にて異なる時間の動画像信号から複数回、物体の画像を切り出して、検索部２１３で照合し、それでも照合できなかった場合に、検索対象からはずすようにしてもよい。全ての物体を検索していない場合はステップ５０６に戻り、全ての物体の照合が終了した場合（Ｓ５０９）は、制御部２１１は、メモリ２０３に保存した照合結果を参照し、一致した物体が見つかったかどうかを判断する（Ｓ５１０）。一致した物体が見つかった場合、計測部２１４に対して、表示部２０８に載置された物体が所定の範囲内に載置されているかを計測するように指示を出す。一致した物体が見つからなかった場合は、何も処理をせずに終了する。ここでの終了はステップ５０１に戻る事と同じである。
【００２２】
ここで、図３（ａ）、（ｂ）は、所定の範囲外に物体がはみ出ている場合の表示画面を示している。図３（ａ）のように、図４で示した物体Ｂ（３０１）が表示部画面（３０２）上に載置されている時、計測部２１４は、制御部２１１からの指示により、所定の範囲内（３０３）に物体Ｂ（３０１）が収まっているかどうかを判断する（Ｓ５１１）。このとき、検知部２０５での物体の位置情報と、メモリ２０３の動画像信号から、物体が所定の範囲よりもはみ出しているかどうかを判断し、制御部２１１に結果を通知する。物体が所定の範囲内に収まっていたと判断された場合、制御部２１１は他の一致した物体についても、同様に計測するように計測部２１４へ指示を出す。所定の範囲外に物体の一部でもはみ出していた場合、制御部２１１は、表示制御部２０７に対して、物体に関連付けられたアイコン画像を表示するかを選択できる、図３（ａ）で示したような選択画面３０４を生成するように指示を出す。
【００２３】
表示制御部２０７は、制御部２１１からの指示により、選択画面を表示部２０８に表示する（Ｓ５１２）。ここで、選択画面３０４で「いいえ」が選択された場合、他の一致した物体についての計測処理を行う。「はい」が選択された場合、制御部２１１は、メモリ２０３に保存した照合結果を元に、再生部２１２に対して、対応するアイコン画像の表示を指示する。再生部２１２は、制御部２１１からの指示により、信号処理部２０４に対して、このアイコン画像を伸張処理をさせて、メモリ２０３に保存させる。これにより、表示部２０８には、アイコン画像が、物体の近傍に表示される（Ｓ５１４）。そして、制御部２１１は、時間計測部２１６に対して、物体のアイコン画像の表示を行った時からの経過時間をメモリ２０３に保存するように指示を出す。
【００２４】
時間計測部２１６は、アイコン画像として表示する物体が複数個あった場合は、それぞれのアイコン画像に対する経過時間をメモリ２０３に周期的に更新して保存する。また、制御部２１１より、アイコン画像の表示を止めたと通知された場合は、その時点で計測をやめ、メモリ２０３から時間情報を消去する。
【００２５】
図３（ｂ）は、図４で示した物体Ｂのアイコン画像（３０５）を表示した際の、表示部２０８を示している。アイコン画像は物体の近傍に表示され、ユーザがタッチパネル２１０に触れる事により、動かす事が可能である。また、アイコン画像が表示された後は、物体Ｂ（３０１）を表示部２０８上から移動させても、アイコン画像は表示されたままとなる。
【００２６】
全ての物体に対して、アイコン化するかどうかの測定が終了した場合（Ｓ５１６）、制御部２１１は、メモリ２０３に保存した照合結果から、一致した物体が複数個あるかどうかを判断する（Ｓ５１７）。物体が単数であった場合、制御部２１１は、検索部２１３に対して、物体に関連付けられた全ての画像リストを検索するように指示を出す。
【００２７】
検索部２１３は、検索結果の画像リストを、制御部２１１に渡す（Ｓ５２２）。物体が、複数個あった場合、制御部２１１は、計測部２１４に対して、各物体の載置されている位置情報から、物体間の距離を計測するように指示を出す（Ｓ５１８）。ここで、距離の計測方法は、検知部２０５で検知した表示部２０８上の座標情報や、精度が足りない場合は、画像解析部２０６で解析した際の位置情報を使用し、物体同士が一番近接している箇所同士の距離や、重心の位置同士の距離などを使用する。そして、制御部２１１は、計測部２１４で計測した物体間の距離の結果を元に、所定の距離以下かどうかを判断する（Ｓ５１９）、所定の距離以下であった場合、制御部２１１は、検索部２１３に対して、それぞれの物体に関連付けられている画像リストの中で、共通の画像のみを検索するように指示を出す（Ｓ５２０）。また、所定の距離以上であった場合、制御部２１１は、それぞれの物体に関連付けられている画像リストの全画像を検索するように指示を出す（Ｓ５２１）。検索部２１３は、検索が終了したら、検索部２１３は制御部２１１に対して、検索終了を伝え、画像リストを渡す。物体が単数と複数、どちらの場合も、制御部２１１は、再生部２１２に対して、検索結果の画像リストのサムネイル画像の表示を指示する。
【００２８】
再生部２１２は、制御部２１１からの指示により、信号処理部２０４に対して、この画像リストにある動画像や静止画像のサムネイル画像を伸張処理をさせて、メモリ２０３に保存する。伸張処理するのは、メモリの制約もあるため、サムネイル表示に必要な最低限の数のみでもよい。次に、制御部２１１は、表示制御部２０７に対して、メモリ２０３に保存した伸張処理したサムネイル画像を物体の近傍に調整して表示部２０８に表示するように指示を出す。これにより、表示部２０８には、検索結果のサムネイル画像が、物体の近傍に表示される（Ｓ５２３）。
【００２９】
ここで、図３（ｃ）〜（ｄ）は、物体Ｂがアイコン画像として表示された場合の表示部２０８を示している。物体Ｂが単体で置かれ、かつアイコン表示された場合、図３（ｃ）のように、図４の画像リスト「画像２００〜画像６００」までのサムネイル画像が検索結果として表示される。画面上に表示出来ない場合は、スクロールバー（３０６）でスクロールさせて見ることが出来る。また、関連する人物画像（３０７）を表示することで、認識している人物をユーザに分かるようにしている。
【００３０】
次に、物体Ｂがアイコンで表示され、物体Ｃを物体Ｂから離れた位置に載置した場合を図３（ｄ）に示す。このとき、図４における物体Ｂの画像リスト「画像２００〜画像６００」と物体Ｃの画像リスト「画像１〜画像１０、画像７００〜画像８００」の全ての画像を表示する。離れた位置に載置した場合の検索結果が、論理和の画像リストとして表示されている事をユーザに伝えるため、図４（ｄ）で示した「ＯＲ」（３０８）のように表示してもよい。次に、物体Ｃを物体Ｂと近い距離に移動させた場合を図４（ｅ）に示す。このとき、図４における物体Ｂの画像リスト「画像２００〜画像６００」と物体Ｃの画像リスト「画像１〜画像１０、画像７００〜画像８００」のうち、共通の画像「画像２００〜６００」を表示する。検索結果は、論理積の画像リストとなるので、それが分かるように「ＡＮＤ」（３０９）のように表示してもよい。
【００３１】
ここで、サムネイル画像が選択された場合の処理を補足すると、制御部２１１は、サムネイル画像がタッチパネル２１０によって、ユーザから選択されたと操作部２０９から通知されると、再生部２１２に対して、選択された画像を再生するように指示を出す。再生部２１２は、制御部２１１からの指示により、信号処理部２０４に対して、選択された画像の伸張処理を行わせてメモリ２０３に保存させる。伸張処理の終了を再生部２１２から通知されると、制御部２１１は、表示制御部２０７に対して、再生画面を生成し、メモリ２０３に保存された画像を表示するように指示をする。図３（ｆ）には、図３（ｃ）にてサムネイル画像２００を選択した場合に表示される再生画面を示している。表示画面の中央には、画像２００（３１０）が表示され、右上には全体の枚数と、これまでに再生した画像の枚数（３１１）が表示されている。この画面では、ユーザがタッチパネル２１０上でフリック動作を行うだけで、次の画像に切り換えられる。
【００３２】
次に、画像検索システム２００において、検索結果の画像を表示した後の処理について説明する。図６は本実施形態における検索結果の画像を表示した後の処理を示したフローチャートである。
【００３３】
制御部２１１は、メモリ２０３に保存されている、照合して一致した物体が、表示部２０８上に載置されているかを、検知部２０５からの検知情報を元に周期的に監視している（Ｓ６０１）。ここで、物体がないと確認できた場合は、検索結果画像を非表示にする処理に進む。また、このフローチャートでは明記していないが、新たに物体が置かれたと判断した場合は、図５のフローチャートで示した検索処理を実行する。そして、物体があると判断された場合、制御部２１１は、検知している物体の中で、アイコン画像を表示している物体があるかどうかを表示制御部２０７に対して問い合わせる（Ｓ６０２）。表示制御部２０７から、アイコン画像を表示している物体がないと通知された場合、ステップ６０１に戻る。アイコン表示をしている物体があると通知してきた場合、制御部２１１は、時間計測部２１６に対して、アイコン画像が表示されてからの経過時間を問い合わせる（Ｓ６０３）。
【００３４】
制御部２１１は、時間計測部２１６から通知されたアイコン画像表示後からの経過時間が、所定の時間よりも経過していた場合、表示制御部２０７に対して、アイコン表示を行うかどうかの選択画面を生成して、表示部２０８に表示するように指示を出す（Ｓ６０４）。所定の時間よりも経過していなかった場合は、ステップ６０１に戻る。ここで、図３（ｇ）は、アイコン表示されてから所定時間経過した場合に、表示部２０８に表示される選択画面（３１２）を示している。ここで、ユーザが「はい」を選んだ場合は（Ｓ６０５）、ステップ６０１に戻り、「いいえ」を選んだ場合、制御部２１１は、アイコン画像、人物画像、検索結果画像などの表示部２０８に表示されている、物体に関する情報を、非表示とするように表示制御部２０７に指示する。表示制御部２０７は制御部２１１の指示により、物体に関わる情報を非表示とする（Ｓ６０６）。このとき、検知された物体が他にもある場合は、ステップ６０１に戻る（Ｓ６０７）。全物体の処理が終わって、検索表示すべき物体がまだ残っていた場合は、再度、図５で示したフローチャート処理を行う。図３（ｈ）には、検索結果の画像を表示中に、物体が表示部２０８上から外された場合、アイコン表示を継続しないと選択した場合に表示される表示画面を示している。
【００３５】
以上の説明をしたとおり、本発明の実施の形態１では、物体に対して、動画や静止画像を関連付けし、その物体と人物をカメラで撮影して認識させることで、関連付けられた動画像や静止画像を表示し、物体が所定の範囲よりも大きい場合には、その物体に関連付けられたアイコン画像を表示させ、アイコン画像を操作させることにより、簡単に複数の物体による検索を行えるようにする。また、アイコン画像を表示してから、所定の時間経過すると、継続表示するかをユーザに対して促すようになっており、アイコン表示に制限を付けることによって、他の人物が自由にアイコン画像を使用して検索結果を見る事を防ぐことが出来る。
【００３６】
（第２の実施形態）
実施形態２では、実施形態１における図５のフローチャートの処理の一部と、検索結果の画像を表示した後の処理について異なっている。ここでは、実施形態１と共通部分は省略して説明する。
【００３７】
実施形態２では、図５のフローチャートのステップ５１５で示した、アイコン画像の表示後の時間の計測は行わずに検索処理を終了する。他の検索処理については、実施例１と同様である。
【００３８】
図７は本実施形態における検索結果の画像を表示した後の処理を示したフローチャートである。制御部２１１は、メモリ２０３に保存されている、照合にて一致した物体が、表示部２０８上に載置されているかを、検知部２０５からの検知情報を元に周期的に監視している（Ｓ７０１）。ここで、物体がないと確認できた場合は、検索結果画像を非表示にする処理に進む。また、このフローチャートでは明記していないが、新たに物体が置かれたと判断した場合は、図５のフローチャートで示した検索処理を実行する。そして、物体があると判断された場合、制御部２１１は、検知している物体の中で、アイコン画像を表示している物体があるかどうかを表示制御部２０７に対して問い合わせる（Ｓ７０２）。表示制御部２０７から、アイコン画像を表示している物体がないと通知された場合、ステップ７０１に戻る。アイコン表示をしている物体があると通知してきた場合、制御部２１１は、画像解析部２０６に対して、図４のアイコン画像と関連付けられている人物が撮像部１０１が認識できる範囲にいるかどうかを問い合わせる（Ｓ７０３）。
【００３９】
画像解析部２０６は、前述した人物画像解析と同様の処理を行い、人物の解析を行う（Ｓ７０４）。人物がいると通知された場合は、ステップ７０１に戻る。人物がいないと通知された場合は、制御部２１１は、制御部２１１は、アイコン画像、人物画像、検索結果画像などの表示部２０８に表示されている、物体に関する情報を、非表示とするように表示制御部２０７に指示する。表示制御部２０７は制御部２１１の指示により、物体に関わる情報を非表示とする（Ｓ７０４）。このとき、検知された物体が他にもある場合は、ステップ７０１に戻る（Ｓ７０５）。全物体の処理が終わって、検索表示すべき物体がまだ残っていた場合は、再度、図５で示したフローチャート処理を行う。図３（ｈ）には、検索結果の画像を表示中に、物体が表示部２０８上から外された場合、アイコン表示中に検索していた人物が認識出来なくなった場合に表示される表示画面を示している。
【００４０】
以上の説明をしたとおり、本発明の実施の形態２では、物体に対して、動画や静止画像を関連付けし、その物体と人物をカメラで撮影して認識させることで、関連付けられた動画像や静止画像を表示し、物体が所定の範囲よりも大きい場合には、その物体に関連付けられたアイコン画像を表示させ、アイコン画像を操作させることにより、簡単に複数の物体による検索を行えるようにする。また、アイコン画像を表示してから、アイコン画像に関連している人物を所定の範囲内にいるかどうかを解析し、人物がいないと判断した場合に、強制的に検索結果の画像を非表示にすることで、他の人物が自由にアイコン画像を使用して検索結果を見る事を防ぐことが出来る。
【００４１】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
【００４２】
また、実施例１、２において、撮像装置１０１は外部にあるとしたが、画像検索システムに内蔵されていてもよい。また、表示部２０８とデータベース２１５は内蔵されているとしてが、外部にあるものとしてもよい。
【００４３】
また、実施例１、２の図５のフローチャートにおいて、「物体の画像情報の取得」、「人物画像の取得」、「物体の大きさが所定の範囲かどうかの測定」、「複数の物体間の距離の測定」を１パターンの順序のみで示したが、これに限るものではなく、最終的な結果が同じであれば、処理の順序が入れ替わってもよい。
【００４４】
また、実施例１、２において、物体の大きさが所定の範囲よりも大きい場合に、アイコン表示を行うかの選択画面を表示するようにしているが、選択画面を表示せずに自動的にアイコン画像を表示するようにしてもよい。
【００４５】
また、実施例１において、アイコン画像が表示されてから、所定の時間経過すると、アイコン画像とそれに関連する画像を非表示するかどうかの選択画面を表示するとしたが、強制的に非表示にしてもよい。
【００４６】
また、実施例１、２において、図３における物体の大きさを測定するための所定の範囲３０３を表示部２０８よりも広く表現しているがこれに限るものではなく、任意の範囲に設定が可能である。
【符号の説明】
【００４７】
１０１  撮像部、１０２  本体部１０２
【図１】
2016009278.tif 000003
【図２】
2016009278.tif 000004
【図３】
2016009278.tif 000005
【図４】
2016009278.tif 000006
【図５】
2016009278.tif 000007
【図６】
2016009278.tif 000008
【図７】
2016009278.tif 000009