(57)【要約】【課題】本発明は、取得した画像データから類似画像検索し、検索結果をサムネイル画像として地図画像に重畳表示し、かつ行動軌跡線を表示することを目的とするものである。【解決手段】本発明の画像表示装置は、所定の対象画像に対して類似度の高い類似画像の入力やユーザによる操作の入力を受け付ける受付部と、受付部にて受け付けた類似画像と記憶している地図情報に基づいて表示内容を生成する制御部と、制御部の制御に基づいて少なくとも地図と受け付けた類似画像からなる表示内容を表示する表示部と、を備え、類似画像は少なくとも撮影したカメラ情報と撮影された時間情報を有しており、制御部は、類似画像の一部または全部を、カメラ情報に基づいて地図上の撮影位置に対応する場所に描画することを特徴とする。【選択図】  図１
2014164402.tif 000002
【特許請求の範囲】
【請求項１】
所定の対象画像に対して類似度の高い類似画像の入力やユーザによる操作の入力を受け付ける受付部と、
前記受付部にて受け付けた類似画像と記憶している地図情報に基づいて表示内容を生成する制御部と、
前記制御部の制御に基づいて少なくとも地図と前記受け付けた類似画像からなる表示内容を表示する表示部と、を備え、
前記類似画像は少なくとも撮影したカメラ情報と撮影された時間情報を有しており、
前記制御部は、前記類似画像の一部または全部を、前記カメラ情報に基づいて前記地図上の撮影位置に対応する場所に描画することを特徴とする画像表示装置。
【請求項２】
前記地図上に表示される類似画像は複数であり、
前記制御部は、前記類似画像の時間情報を参照し、前記類似画像の中で時間が近い画像間に軌跡を描画することを特徴とする請求項１に記載の画像表示装置。
【請求項３】
前記地図上に表示された類似画像の削除指示を受け付けると、
前記制御部は、前記削除指示された類似画像の表示を削除し、前記地図上に表示された類似画像に基づいて軌跡を再描画することを特徴とする請求項２に記載の画像表示装置。
【請求項４】
前記軌跡上にポインタを合わせる指示を受け付けると、
前記制御部は、前記軌跡上のポインタの位置に応じて当該ポインタ位置を通過したであろう時間を算出し、当該時間に撮影された類似画像があれば前記ポインタ位置の付近に前記類似画像と前記時間を描画することを特徴とする請求項２または請求項３に記載の画像表示装置。
【請求項５】
前記制御部は、前記地図上に表示された類似画像に、さらに撮影された前記時間情報を合わせて描画することを特徴とする請求項１乃至請求項４に記載の画像表示装置。
【請求項６】
所定の対象画像に対して類似度の高い類似画像の入力を受け付け、
受け付けた類似画像と地図情報に基づいて、前記類似画像の一部または全部を、前記類似画像が有する撮影したカメラ情報に基づいて地図上の撮影位置に対応する場所に表示することを特徴とする画像表示方法。
【請求項７】
前記地図上に表示される類似画像は複数であり、
前記類似画像が有する撮影された時間情報に基づいて、前記類似画像の中で時間が近い画像間に軌跡を表示することを特徴とする請求項６に記載の画像表示方法。
【請求項８】
前記地図上に表示された類似画像の削除指示を受け付けると、
前記削除指示された類似画像の表示を削除し、前記地図上に表示された類似画像に基づいて軌跡を再描画することを特徴とする請求項７に記載の画像表示方法。
【請求項９】
前記軌跡上にポインタを合わせる指示を受け付けると、
前記軌跡上のポインタの位置に応じて当該ポインタ位置を通過したであろう時間を算出し、当該時間に撮影された類似画像があれば前記ポインタ位置の付近に前記類似画像と前記時間を描画することを特徴とする請求項７または請求項８に記載の画像表示装置。
【請求項１０】
前記地図上に表示された類似画像に、さらに撮影された前記時間情報を合わせて描画することを特徴とする請求項６乃至請求項９に記載の画像表示方法。
【請求項１１】
所定の対象画像に対して類似度の高い類似画像の入力を受け付ける処理と、
受け付けた類似画像と地図情報に基づいて、前記類似画像の一部または全部を、前記類似画像が有する撮影したカメラ情報に基づいて地図上の撮影位置に対応する場所に表示する処理と、をコンピュータに実行させることを特徴とする画像表示プログラム。
【請求項１２】
前記地図上に表示される類似画像は複数であり、
前記類似画像が有する撮影された時間情報に基づいて、前記類似画像の中で時間が近い画像間に軌跡を表示する処理をコンピュータに実行させることを特徴とする請求項１１に記載の画像表示プログラム。
【請求項１３】
前記地図上に表示された類似画像の削除指示を受け付けると、
前記削除指示された類似画像の表示を削除し、前記地図上に表示された類似画像に基づいて軌跡を再描画する処理をコンピュータに実行させることを特徴とする請求項１２に記載の画像表示プログラム。
【請求項１４】
前記軌跡上にポインタを合わせる指示を受け付けると、
前記軌跡上のポインタの位置に応じて当該ポインタ位置を通過したであろう時間を算出し、当該時間に撮影された類似画像があれば前記ポインタ位置の付近に前記類似画像と前記時間を描画する処理をコンピュータに実行させることを特徴とする請求項１２または請求項１３に記載の画像表示プログラム。
【請求項１５】
前記地図上に表示された類似画像に、さらに撮影された前記時間情報を合わせて描画する処理をコンピュータに実行させることを特徴とする請求項１１乃至請求項１４に記載の画像表示プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示装置、画像表示方法および画像表示プログラムに関し、特に類似画像検索結果の表示に関するものである。
【背景技術】
【０００２】
従来の、画像を録画する監視システムで、録画した画像の画像データに加えて、映像ＩＤと、撮影時刻情報と、撮影位置情報とを記憶し、さらに、録画した画像に撮影された人物の顔特徴量と、着衣情報とを記憶し、検索対象画像から、顔特徴量と、着衣情報と、撮影時刻情報と、撮影位置情報とを算出し、その撮影時刻情報、撮影位置情報、前記着衣情報のうちいずれかに対する重み値を用いて、検索対象画像と録画した画像に撮影された人物の類似度を判断する技術が開示されている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１９９３２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の監視システムでは、人物と撮影場所の関係や人物の移動を確認するためには別途地図を参照して見比べるしかなかった。
本発明は、取得した画像データから類似画像検索し、検索結果をサムネイル画像として地図画像に重畳表示し、かつ行動軌跡線を表示することを目的とするものである。
【課題を解決するための手段】
【０００５】
本発明の画像表示装置は、所定の対象画像に対して類似度の高い類似画像の入力やユーザによる操作の入力を受け付ける受付部と、受付部にて受け付けた類似画像と記憶している地図情報に基づいて表示内容を生成する制御部と、制御部の制御に基づいて少なくとも地図と受け付けた類似画像からなる表示内容を表示する表示部と、を備え、類似画像は少なくとも撮影したカメラ情報と撮影された時間情報を有しており、制御部は、類似画像の一部または全部を、カメラ情報に基づいて地図上の撮影位置に対応する場所に描画することを特徴とする。
【０００６】
本発明の画像表示方法は、所定の対象画像に対して類似度の高い類似画像の入力を受け付け、受け付けた類似画像と地図情報に基づいて、類似画像の一部または全部を、類似画像が有する撮影したカメラ情報に基づいて地図上の撮影位置に対応する場所に表示することを特徴とする。
【０００７】
本発明の画像表示プログラムは、所定の対象画像に対して類似度の高い類似画像の入力を受け付ける処理と、受け付けた類似画像と地図情報に基づいて、類似画像の一部または全部を、類似画像が有する撮影したカメラ情報に基づいて地図上の撮影位置に対応する場所に表示する処理と、をコンピュータに実行させることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、類似対象物検索結果をサムネイル画像とし、対象物が通過した軌跡線と共に地図画像に重畳表示することにより、類似対象物の移動経路情報を視覚的に認識することが可能になる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施の形態に係る画像表示装置を含むシステムの構成図である。
【図２】本発明の実施の形態に係る画像表示装置の要部構成を示すブロック図である。
【図３】本発明の一実施例に係るカメラ配置の表示の一例を示す図である。
【図４】本発明の一実施例である類似対象物検索結果をサムネイル画像として地図画像に重畳表示の一例を示す図である。
【図５】本発明の一実施例である類似対象物が移動した軌跡線表示の一例を示す図である。
【図６】本発明の一実施例であるサムネイル画像削除後の軌跡線再描画を説明するための図である。
【図７】本発明の一実施例である類似対象物が移動した軌跡線にポインティングデバイスを重ねた場合の表示の一例を示す図である。
【図８】本発明の一実施例である画像表示装置の軌跡表示線、軌跡線再描画の処理を説明するための図である。
【図９】本発明の一実施例である画像表示装置で表示した軌跡線上にサムネイル画像を追加表示するための処理を説明するための図である。
【発明を実施するための形態】
【００１０】
本発明の実施形態について図面を用いて説明する。
図１は、本発明の実施の形態に係る画像表示装置２０を含むシステムの構成図である。
図１において、カメラ１１−１〜１１−Ｎと、類似顔画像検索サーバ１３と、カメラ管理サーバ１４と、録画サーバ１５と、地図情報データベースサーバ１６と、画像表示装置２０は、ネットワーク１２で接続している。
【００１１】
カメラ１１−１〜１１−Ｎは所定の範囲を撮影している。カメラ１１−１〜１１−Ｎの設置場所はカメラ管理サーバ１４で管理している。カメラ１１−１〜１１−Ｎの撮影画像は録画サーバ（録画装置）１５に記憶している。
カメラ管理サーバ１４と地図情報データベースサーバ１６は１つのサーバであってもよい。
【００１２】
本発明の一実施例では、検索する類似対象物が顔画像の場合である。類似顔画像の検索は類似顔画像検索サーバ１３が録画サーバ（録画装置）１５に記憶している画像データを読出して行う。
録画画像から検索する類似対象物は、人間の体格、服装、動物等でもよい。
画像表示装置２０は、類似顔画像検索サーバ１３の検索結果をカメラ１１−１〜１１−Ｎの設置場所を表示した地図画像と共に表示するものである。
【００１３】
図２は、本発明の実施の形態に係る画像表示装置２０の要部構成を示すブロック図である。
画像表示装置２０は、画像情報記憶部２１と、地図情報記憶部２２と、メモリ部２３と、ネットワークインターフェース（ネットワークＩＦ）部２４と、制御部２５と、表示部２６と、操作部２７と、画像情報入出力部２８で構成している。
画像表示装置２０は、パーソナルコンピュータ（ＰＣ）でもよい。
【００１４】
画像情報記憶部２１は、録画サーバ１５から取得した画像データや撮影時刻等の画像情報を記憶するものである。
地図情報記憶部２２は、カメラ管理サーバ１４および地図情報データベースサーバ１６から取得した地図情報を記憶するものである。
メモリ部２３は、サムネイル画像や表示部２６に表示する画像データ等を記憶するものである。
ネットワークインターフェース（ネットワークＩＦ）部２４は、ネットワーク１２とデータの送受信を行うためのインタフェースである。
制御部２５は、画像表示装置２０の全体を制御するものである。
表示部２６は、画像データや画像情報を表示するものである。
操作部２７は、操作者が操作を行うためのキーボード、ポインティングデバイス（マウス）、タッチパネル等である。
画像情報入出力部２８は、外部情報機器と送受信を行うためのインタフェースである。
【００１５】
（カメラ配置表示）
図３は、本発明の一実施例に係るカメラ配置を表示部２６に表示した場合の一例を示す図である。
図３において、表示部２６はカメラ１１−１〜１１−９の配置を建物の各フロアー図面画像上に示している。１階フロアー図３１にはカメラ１１−１〜１１−５の配置を表示し、２階フロアー図３２にはカメラ１１−６〜１１−９の配置を表示している。
なお、カメラ１１−１〜１１−Ｎの配置表示は、地図情報データベースサーバ１６の地図画像情報を用いた地図画像上でもよい。
【００１６】
（サムネイル画像表示）
本発明の一実施例の詳細な動作について、図１〜図９を用いて説明する。
はじめに、本発明の一実施例である類似対象物検索結果をサムネイル画像として地図画像に重畳表示する一例について、図４と図８を用いて説明する。
図４は、本発明の一実施例である類似対象物検索結果をサムネイル画像として地図画像に重畳表示する一例を示す図である。
図８は、本発明の一実施例である画像表示装置の軌跡表示線、軌跡線再描画の処理を説明するための図である。
【００１７】
図８において、制御部２５は、キー画像入力により指定された所定の人物に類似する画像の所定数を類似顔画像検索サーバ１３に要求する（８０１）。このとき、類似度が例えば９０％以上など、類似度によって類似画像を絞り込んでもよい。
類似顔画像検索サーバ１３は、要求の画像を検索して類似顔検索結果を制御部２５に応答する（８０２）。
類似顔検索結果は、類似性の高い顔画像の順序に整理されている。また、類似顔検索結果には、カメラ名称、類似度、撮影日付、撮影時刻等が含まれている。
【００１８】
制御部２５は、類似顔検索結果を取出し（８０３）、類似性の高い顔画像の順番に画像を撮影したカメラの配置情報をカメラ管理サーバ１４に要求する（８０４）。
カメラ管理サーバ１４は、指定されたカメラの配置情報を制御部２５に応答する（８０５）。
制御部２５は、類似顔検索結果からサムネイル画像を録画サーバ１５に要求する（８０６）。
録画サーバ１５は、指定された画像情報からサムネイル画像を作成し、制御部２５に応答する（８０７）。
【００１９】
制御部２５は、表示部２６に対してカメラの配置画像と共にカメラが撮影した場所の近辺にサムネイル画像の表示を指示する（８０８）。
表示部２６は、カメラの配置画像と共にサムネイル画像を表示する（８０９）。
制御部２５は、類似顔検索結果に次の類似顔画像が有るかを判定し（８１０）、有る場合（ＹＥＳ）は８０３の処理に戻り、無い場合（ＮＯ）は次の処理に進む。
図４は、表示部２６にカメラの配置画像と共にサムネイル画像４１−１〜４１−６を表示した一例である。
なお、複数のサムネイル画像が一つのカメラで撮影されている場合は、サムネイル画像を重ね、かつサムネイル画像が複数あることが判るように表示する。重なったサムネイル画像は、見えている部分をクリック等で選択することで最上位に表示される。
【００２０】
（軌跡線表示）
次に、制御部２５は、サムネイル画像の撮影時刻が一番近い同士を繋げる軌跡線を作成し（８１１）、表示部２６に対して軌跡線の表示を指示する（８１２）。
表示部２６は、所定のサムネイル画像間に軌跡線を表示する（８１３）。
制御部２５は、軌跡線の無いサムネイル画像（未軌跡線のサムネイル有る？）の有無を判定し（８１４）、有る場合（ＹＥＳ）は８１１の処理に戻り、無い場合（ＮＯ）は次の処理に進む。
図５は、本発明の一実施例である類似対象物が移動した軌跡線５１−１〜５１−５の表示の一例を示す図である。
【００２１】
（サムネイル画像削除後の軌跡線再描画）
次に、本発明の一実施例であるサムネイル画像削除後の軌跡線再描画の動作について図６と図８を用いて説明する。
図６は、本発明の一実施例であるサムネイル画像削除後の軌跡線再描画を説明するための図である。
サムネイル表示された類似画像が所定の人物とは別人である場合には、表示対象から削除すべきであり、操作者の操作によって削除される。
画像表示装置２０の操作者が、例えば、図６のサムネイル画像４１−４をポインティングデバイス（マウス）のポインタ６３で選択し、サムネイル削除ボタン６１を押下した場合について説明する。削除操作者は、サムネイル画像を選択し、メニューウィンドウを開き、削除を選択することで削除されてもよい。
図８において、制御部２５は、「サムネイル削除」を検知すると（８１５）、表示部２６に対してサムネイル画像４１−４の消去を指示する（８１６）。
表示部２６は、サムネイル画像４１−４を消去する（８１７）。
【００２２】
次に操作者が図６の軌跡線再描画ボタン６２を押下した場合について説明する。
図６は、表示部２６において、軌跡線再描画で軌跡線５１−６を新たに表示した場合の一例である。
制御部２５は、「軌跡線再描画」を検知すると（８１８）、表示部２６に対してサムネイル画像４１−４の軌跡線５１−３と軌跡線５１−４の消去を指示し、８１４の処理に戻る（８２１）。
表示部２６は、軌跡線５１−３と軌跡線５１−４を消去する（８２０）。
【００２３】
制御部２５は、軌跡線の無いサムネイル画像（未軌跡線のサムネイル有る？）の有無を判定し（８１４）、有る場合（ＹＥＳ）であるため、８１１の処理に戻り、サムネイル画像の撮影時刻が一番近い同士を繋げる軌跡線を作成し（８１１）、表示部２６に対して軌跡線の表示を指示する（８１２）。
表示部２６は、軌跡線５１−６を新たに表示する（８１３）。
軌跡線は、サムネイル画像が削除されたら、削除されたサムネイル画像の前後に軌跡線で結ばれていたサムネイル画像同士（削除後に１番撮影時刻が近いもの同士）を結ぶように自動的に再描画されてもよい。
【００２４】
（軌跡線上にサムネイル画像の追加表示）
次に、本発明の一実施例である軌跡線上にポインティングデバイスのポインタ７１を重ねた時の動作について、図７と図９を用いて説明する。
図７は、本発明の一実施例である類似対象物が移動した軌跡線にポインティングデバイスのポインタを重ねた場合の表示の一例を示す図である。
図９は、本発明の一実施例である画像表示装置で表示した軌跡線上にサムネイル画像を追加表示するための処理を説明するための図である。
【００２５】
図９において、８０１〜８１４の処理については図８で説明しているため、省略する。
表示部２６は、図７の軌跡線５１−４上にポインティングデバイス（マウス）のポインタ７３が重なった時（９１５）、制御部２５に対してサムネイル画像の取得を要求する（９１６）。
【００２６】
制御部２５は、軌跡線５１−４上のポインタの位置から取得すべきサムネイル画像の撮影日時を計算で求める（９１７）。
例えば、軌跡線５１−４の中央（センター）にポインティングデバイス（マウス）のポインタ７１が重なった時、サムネイル画像４１−４の撮影日時７２が２０１３年２月１日１０時０４分であり、サムネイル画像４１−５の撮影日時７３が２０１３年２月１日１０時０６分である場合は、計算結果から撮影日時７５の２０１３年２月１日１０時０５分が求まる。軌跡線上のどの位置にポインタ７１がいるかによって、前後のサムネイル画像の撮影時刻からポインタ７１の位置の割合に応じて計算される。
【００２７】
制御部２５は、この計算結果に基づいたサムネイル画像取得を録画サーバ１５に要求する（９１８）。
録画サーバ１５は、指定された画像情報からサムネイル画像を作成し、制御部２５に応答する（９１９）。
【００２８】
制御部２５は、表示部２６に対してポインタ７１の近辺に取得したサムネイル画像７４の表示を指示する（９２０）。
表示部２６は、サムネイル画像７４を表示する（９２１）。このとき、軌跡線５１−４の両端のサムネイル画像４１−４，４１−５と、サムネイル画像７４に撮影時刻７２，７３，７５を表示してもよい。類似するサムネイル画像がない場合には、時刻のみ表示する。
【００２９】
本発明によれば、類似対象物検索結果をサムネイル画像とし、対象物が通過した軌跡線と共に地図画像に重畳表示することにより、サムネイル画像間の移動に要した経過時間が容易に確認できる。
また、類似対象物の移動経路情報を視覚的に知ることが可能になる。
【００３０】
以上本発明について詳細に説明したが、本発明は、ここに記載された画像表示装置に限定されるものではなく、上記以外の画像表示装置に広く適用することができることは言うまでもない。
なお、類似画像を検索する対象は、リアルタイムに取得している画像であってもよく、記録された画像であってもよい。また、軌跡は実線で表示されてもよく、他のアイコン等の手段で表示されてもよい。また、表示する類似画像は、人物の一部分を切り出したサムネイル画像あってもよいし、元の全体画像であってもよい。
【符号の説明】
【００３１】
１１−１〜１１−Ｎ：カメラ、１２：ネットワーク、１３：類似顔画像検索サーバ、１４：カメラ管理サーバ、１５：録画サーバ、１６：地図情報データベースサーバ、２０：画像表示装置。
【図１】
2014164402.tif 000003
【図２】
2014164402.tif 000004
【図３】
2014164402.tif 000005
【図４】
2014164402.tif 000006
【図５】
2014164402.tif 000007
【図６】
2014164402.tif 000008
【図７】
2014164402.tif 000009
【図８】
2014164402.tif 000010
【図９】
2014164402.tif 000011