(57)【要約】【課題】ネットワークを介して送信される映像と映像の解析によって得られた動体の位置情報との合成の遅延を低減することが可能な技術を提供する。【解決手段】カメラ２１によって撮像された撮像フレームにフレーム撮像時刻を付与する時刻情報付与部２２４と、フレーム撮像時刻が付与された撮像フレームを、ネットワーク５０を介して送信させる映像送信制御部２２５と、を備える、映像配信装置２２と、撮像フレームを解析して撮像フレームに映る動体の位置情報を得る解析部２３３と、位置情報にフレーム撮像時刻を付与する前記第１の時刻情報付与部と同期した時刻情報付与部２３５と、フレーム撮像時刻が付与された位置情報を、ネットワーク５０を介して送信させる解析結果送信制御部２３６と、を備える、映像解析装置２３と、を有する、監視システム１が提供される。【選択図】図１
2016063278.tif 000002
【特許請求の範囲】
【請求項１】
カメラによって撮像された撮像フレームにフレーム撮像時刻を付与する第１の時刻情報付与部と、
前記フレーム撮像時刻が付与された前記撮像フレームを、ネットワークを介して送信させる映像送信制御部と、
を備える、映像配信装置と、
前記撮像フレームを解析して前記撮像フレームに映る動体の位置情報を得る解析部と、
前記位置情報に前記フレーム撮像時刻を付与する前記第１の時刻情報付与部と同期した第２の時刻情報付与部と、
前記フレーム撮像時刻が付与された前記位置情報を、前記ネットワークを介して送信させる解析結果送信制御部と、
を備える、映像解析装置と、
を有する、監視システム。
【請求項２】
前記監視システムは、
前記フレーム撮像時刻が付与された撮像フレームを、前記ネットワークを介して取得する映像取得部と、
前記フレーム撮像時刻が付与された位置情報を、前記ネットワークを介して取得する解析結果取得部と、
前記フレーム撮像時刻がそれぞれ付与された前記撮像フレームと前記位置情報とを合成し、合成して得られた合成フレームを表示させる表示制御部と、
を備える、表示制御装置、
を有する、請求項１に記載の監視システム。
【請求項３】
前記表示制御装置は、
前記フレーム撮像時刻がそれぞれ付与された前記撮像フレームおよび前記位置情報の前記表示制御装置への到達の先後を判定する判定部と、
過去に取得された位置情報に基づいて前記フレーム撮像時刻における位置情報を推定する動体位置推定部と、
を備え、
前記表示制御部は、前記判定部により、前記撮像フレームが前記位置情報よりも早く到達したと判定された場合に、前記撮像フレームと推定された前記位置情報とを合成し、前記位置情報が前記撮像フレームよりも早く到達したと判定された場合に、前記撮像フレームと取得された前記位置情報とを合成する、
請求項２に記載の監視システム。
【請求項４】
前記動体位置推定部は、過去に取得された前記位置情報に基づいて探索範囲を設定し、前記探索範囲から動体の画像特徴量と一致または類似する画像特徴量を有する領域の位置情報を前記フレーム撮像時刻における前記位置情報として推定する、
請求項３に記載の監視システム。
【請求項５】
フレーム撮像時刻が付与された撮像フレームを、ネットワークを介して取得する映像取得部と、
前記フレーム撮像時刻が付与された位置情報を、前記ネットワークを介して取得する解析結果取得部と、
前記フレーム撮像時刻がそれぞれ付与された前記撮像フレームと前記位置情報とを合成し、合成して得られた合成フレームを表示させる表示制御部と、
を備える、表示制御装置。
【請求項６】
前記表示制御装置は、
前記フレーム撮像時刻それぞれ付与された前記撮像フレームおよび前記位置情報の前記表示制御装置への到達の先後を判定する判定部と、
過去に取得された位置情報に基づいて前記フレーム撮像時刻における位置情報を推定する動体位置推定部と、
を備え、
前記表示制御部は、前記判定部により、前記撮像フレームが前記位置情報よりも早く到達したと判定された場合に、前記撮像フレームと推定された前記位置情報とを合成し、前記位置情報が前記撮像フレームよりも早く到達したと判定された場合に、前記撮像フレームと取得された前記位置情報とを合成する、
請求項５に記載の表示制御装置。
【請求項７】
前記動体位置推定部は、過去に取得された前記位置情報に基づいて予測移動範囲を設定し、前記予測移動範囲から動体の画像特徴量と一致または類似する画像特徴量を有する領域の位置情報を前記フレーム撮像時刻における前記位置情報として推定する、
請求項６に記載の表示制御装置。
【請求項８】
フレーム撮像時刻が付与された撮像フレームを、ネットワークを介して取得することと、
前記フレーム撮像時刻が付与された位置情報を、前記ネットワークを介して取得することと、
前記フレーム撮像時刻がそれぞれ付与された前記撮像フレームと前記位置情報とを合成し、合成して得られた合成フレームを表示させることと、
を含む、表示制御方法。
【請求項９】
コンピュータを、
フレーム撮像時刻が付与された撮像フレームを、ネットワークを介して取得する映像取得部と、
前記フレーム撮像時刻が付与された位置情報を、前記ネットワークを介して取得する解析結果取得部と、
前記フレーム撮像時刻がそれぞれ付与された前記撮像フレームと前記位置情報とを合成し、合成して得られた合成フレームを表示させる表示制御部と、
を備える表示制御装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視システム、表示制御装置、表示制御方法およびプログラムに関するものである。
【背景技術】
【０００２】
従来、カメラによって撮像された映像を解析することによって移動体（以下、「動体」とも言う。）の位置情報を取得し、映像に動体の位置情報を合成する技術が存在する。例えば、飛行場に設置されたカメラによって撮像された映像を映像解析装置において解析することによって航空機の位置情報を取得し、カメラから受信された映像に映像解析装置から受信された航空機の位置情報（航空機の位置に配置される矩形オブジェクトなど）を表示制御装置において合成する技術が開示されている（例えば、非特許文献１参照）。
【０００３】
ここで、例えば、カメラからネットワークを介して表示制御装置に送信される映像は、ネットワーク帯域などによっては、圧縮されて送信される場合も想定される。かかる例のような場合には、圧縮後の映像に対して解析が行われるよりも圧縮前の映像に対して解析が行われたほうが動体の位置を高精度に検出することが可能である。そこで、映像解析装置によって映像が解析されてから動体の位置情報と映像とがネットワークを介して表示制御装置に送信されることが想定される。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Steps Towards the Virtual Tower :Remote Airport Traffic ControlCenter(RAiCe) ENRI International Workshop on ATM/CNS. Tokyo, Japan.(EIWAC2009).
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、映像の解析には時間を要するため、映像の解析によって動体の位置情報が得られてから映像と動体の位置情報とをネットワークを介して表示制御装置に送信するようにすると、表示制御装置への映像の到達が遅延してしまい、映像への動体の位置情報の合成が遅延してしまう可能性がある。一方、映像の解析が終わる前にネットワークを介して映像を表示制御装置に送信し始めるようにすれば、表示制御装置において動体の位置情報と映像との対応関係を把握することが困難となる。
【０００６】
そこで、本発明は、上記問題に鑑みてなされたものであり、ネットワークを介して送信される映像と映像の解析によって得られた動体の位置情報との合成の遅延を低減することが可能な技術を提供する。
【課題を解決するための手段】
【０００７】
上記問題を解決するために、本発明のある観点によれば、カメラによって撮像された撮像フレームにフレーム撮像時刻を付与する第１の時刻情報付与部と、前記フレーム撮像時刻が付与された前記撮像フレームを、ネットワークを介して送信させる映像送信制御部と、を備える、映像配信装置と、前記撮像フレームを解析して前記撮像フレームに映る動体の位置情報を得る解析部と、前記位置情報に前記フレーム撮像時刻を付与する第１の時刻情報付与部と同期した第２の時刻情報付与部と、前記フレーム撮像時刻が付与された前記位置情報を、前記ネットワークを介して送信させる解析結果送信制御部と、を備える、映像解析装置と、を有する、監視システムが提供される。
【０００８】
前記監視システムは、前記フレーム撮像時刻が付与された撮像フレームを、前記ネットワークを介して取得する映像取得部と、前記フレーム撮像時刻が付与された位置情報を、前記ネットワークを介して取得する解析結果取得部と、前記フレーム撮像時刻がそれぞれ付与された前記撮像フレームと前記位置情報とを合成し、合成して得られた合成フレームを表示させる表示制御部と、を備える、表示制御装置、を有してもよい。
【０００９】
前記表示制御装置は、前記フレーム撮像時刻がそれぞれ付与された前記撮像フレームおよび前記位置情報の前記表示制御装置への到達の先後を判定する判定部と、過去に取得された位置情報に基づいて前記フレーム撮像時刻における位置情報を推定する動体位置推定部と、を備え、前記表示制御部は、前記判定部により、前記撮像フレームが前記位置情報よりも早く到達したと判定された場合に、前記撮像フレームと推定された前記位置情報とを合成し、前記位置情報が前記撮像フレームよりも早く到達したと判定された場合に、前記撮像フレームと取得された前記位置情報とを合成してもよい。
【００１０】
前記動体位置推定部は、過去に取得された前記位置情報に基づいて探索範囲を設定し、前記探索範囲から動体の画像特徴量と一致または類似する画像特徴量を有する領域の位置情報を前記フレーム撮像時刻における前記位置情報として推定してもよい。
【００１１】
また、本発明の他の観点によれば、フレーム撮像時刻が付与された撮像フレームを、ネットワークを介して取得する映像取得部と、前記フレーム撮像時刻が付与された位置情報を、前記ネットワークを介して取得する解析結果取得部と、前記撮像時刻がそれぞれ付与された前記撮像フレームと前記位置情報とを合成し、合成して得られた合成フレームを表示させる表示制御部と、を備える、表示制御装置が提供される。
【００１２】
前記表示制御装置は、前記フレーム撮像時刻それぞれが付与された前記撮像フレームおよび前記位置情報の前記表示制御装置への到達の先後を判定する判定部と、過去に取得された位置情報に基づいて前記フレーム撮像時刻における位置情報を推定する動体位置推定部と、を備え、前記表示制御部は、前記判定部により、前記撮像フレームが前記位置情報よりも早く到達したと判定された場合に、前記撮像フレームと推定された前記位置情報とを合成し、前記位置情報が前記撮像フレームよりも早く到達したと判定された場合に、前記撮像フレームと取得された前記位置情報とを合成してもよい。
【００１３】
前記動体位置推定部は、過去に取得された前記位置情報に基づいて予測移動範囲を設定し、前記予測移動範囲から動体の画像特徴量と一致または類似する画像特徴量を有する領域の位置情報を前記フレーム撮像時刻における前記位置情報として推定してもよい。
【００１４】
また、本発明の他の観点によれば、フレーム撮像時刻が付与された撮像フレームを、ネットワークを介して取得することと、前記フレーム撮像時刻が付与された位置情報を、前記ネットワークを介して取得することと、前記フレーム撮像時刻がそれぞれ付与された前記撮像フレームと前記位置情報とを合成し、合成して得られた合成フレームを表示させることと、を含む、表示制御方法が提供される。
【００１５】
また、本発明の他の観点によれば、コンピュータを、フレーム撮像時刻が付与された撮像フレームを、ネットワークを介して取得する映像取得部と、前記フレーム撮像時刻が付与された位置情報を、前記ネットワークを介して取得する解析結果取得部と、前記フレーム撮像時刻がそれぞれ付与された前記撮像フレームと前記位置情報とを合成し、合成して得られた合成フレームを表示させる表示制御部と、を備える表示制御装置として機能させるためのプログラムが提供される。
【発明の効果】
【００１６】
以上説明したように本発明によれば、ネットワークを介して送信される映像と映像の解析によって得られた動体の位置情報との合成の遅延を低減することが可能な技術が提供される。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施形態に係る監視システムの構成例を示した説明図である。
【図２】映像配信装置の機能構成例を示すブロック図である。
【図３】映像解析装置の機能構成例を示すブロック図である。
【図４】表示制御装置の機能構成例を示すブロック図である。。
【図５】ｔ番目フレームの到達時刻よりもｔ番目フレームを解析して得られた動体の位置情報の到達時刻のほうが早い場合における動作の例を説明するための図である。
【図６】図５に示した場合における動作の例を示すシーケンス図である。
【図７】ｔ番目フレームを解析して得られた動体の位置情報の到達時刻よりもｔ番目フレームの到達時刻のほうが早い場合における動作の例を説明するための図である。
【図８】ｔ番目フレームの動体予測位置を推定する手法の例を説明するための図である。
【図９】図７に示した場合における動作の例を示すシーケンス図である。
【発明を実施するための形態】
【００１８】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１９】
また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットまたは数字を付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
【００２０】
（１．実施形態）
以下、図面を参照しながら、本発明の実施形態について説明する。
【００２１】
（１−１．監視システムの構成）
図１を参照しながら、本発明の実施形態に係る監視システム１の構成例について説明する。図１は、本発明の実施形態に係る監視システム１の構成例を示した説明図である。図１に示したように、監視システム１は、表示制御装置１０、カメラ２１、映像配信装置２２、映像解析装置２３およびＮＴＰ（Ｎｅｔｗｏｒｋ  Ｔｉｍｅ  Ｐｒｏｔｏｃｏｌ）サーバ２４を備える。
【００２２】
また、図１に示したように、カメラ２１、映像配信装置２２、映像解析装置２３およびＮＴＰサーバ２４は、遠隔地に設置され、表示制御装置１０は、監視者Ｋが存在する監視地に設置され、監視地と遠隔地とは、ネットワーク５０を介して接続されている。遠隔地は、典型的には飛行場であってよいが、遠隔地は飛行場に限定されず、監視され得る他の場所（例えば、船舶の通過する航路、電車の線路など）であってもよい。本明細書においては、遠隔地が飛行場である場合を想定しており、遠隔地には動体（航空機）Ｍ１が存在している。
【００２３】
ここで、例えば、ネットワーク５０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク５０は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ  Ｐｒｉｖａｔｅ  Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
【００２４】
カメラ２１は、監視対象領域を撮像することによって映像を取得する機能を有する。例えば、カメラ２１は撮像範囲が固定された固定カメラであってよい。カメラ２１によって撮像された映像は、映像配信装置２２および映像解析装置２３に出力される。映像配信装置２２は、カメラ２１によって撮像された映像を、ネットワーク５０を介して表示制御装置１０に配信する機能を有する。
【００２５】
映像解析装置２３は、カメラ２１によって撮像された映像を解析することによって映像に映る動体の位置情報を取得する機能を有する。映像解析装置２３は、取得した動体の位置情報を、ネットワーク５０を介して表示制御装置１０に送信する。ここで、カメラ２１の数は特に限定されない。また、映像解析装置２３が映像の解析によって映像に映る動体の位置情報を取得する手法は特に限定されない。
【００２６】
例えば、映像解析装置２３は、映像のうち変化が生じた位置を動体の位置として検出してもよい。変化が生じた領域は、背景差分技術を用いて検出されてもよいし、フレーム間差分技術を用いて検出されてもよいし、オプティカルフローに基づいて検出されてもよい。あるいは、映像解析装置２３は、映像に映る可能性のある物体（例えば、航空機、車、人など）の画像特徴量をあらかじめ学習しておき、映像からその画像特徴量を検出した場合に、物体が検出された位置を動体の位置として検出してもよい。
【００２７】
表示制御装置１０は、ネットワーク５０を介して受信された映像と動体の位置情報とを表示させる。例えば、表示制御装置１０は、ネットワーク５０を介して受信された映像に動体の位置情報を合成して表示させる。これにより、監視者Ｋは、表示されている動体の位置情報によって映像に映る動体の位置を容易に把握することができる。なお、映像が表示される領域は、表示制御装置１０の内部に存在してもよいし、表示制御装置の外部に存在してもよい。
【００２８】
以上、本発明の実施形態に係る監視システム１の構成例について説明した。
【００２９】
（１−２．背景）
続いて、本発明の実施形態の背景について説明する。例えば、カメラ２１からネットワーク５０を介して表示制御装置１０に送信される映像は、ネットワーク５０の帯域などによっては、圧縮されて送信される場合も想定される。かかる例のような場合には、圧縮後の映像に対して解析が行われるよりも圧縮前の映像に対して解析が行われたほうが動体の位置を高精度に検出することが可能である。そこで、映像解析装置２３によって映像が解析されてから動体の位置情報と映像とがネットワーク５０を介して表示制御装置１０に送信されることが想定される。
【００３０】
しかしながら、映像の解析には時間を要するため、映像の解析によって動体の位置情報が得られてから映像と動体の位置情報とをネットワーク５０を介して表示制御装置１０に送信するようにすると、表示制御装置１０への映像の到達が遅延してしまい、映像への動体の位置情報の合成が遅延してしまう可能性がある。一方、映像の解析が終わる前にネットワーク５０を介して映像を表示制御装置１０に送信し始めるようにすれば、表示制御装置１０において動体の位置情報と映像との対応関係を把握することが困難となる。
【００３１】
そこで、本明細書においては、ネットワーク５０を介して送信される映像と映像の解析によって得られた動体の位置情報との合成の遅延を低減することが可能な技術を提案する。
【００３２】
以上、本発明の実施形態の背景について説明した。
【００３３】
（１−３．ＮＴＰサーバの機能構成）
続いて、本発明の実施形態で利用するＮＴＰサーバ２４について説明する。ＮＴＰサーバ２４は、各装置が持つ時計を正しい時刻に同期させるためのサーバであり、映像配信装置２２及び映像解析装置２３は、このＮＴＰサーバ２４にアクセスすることで正しい時刻を取得する。
【００３４】
（１−４．映像配信装置の機能構成）
続いて、本発明の実施形態に係る映像配信装置２２の機能構成例について説明する。図２は、本発明の実施形態に係る映像配信装置２２の機能構成例を示すブロック図である。図２に示したように、本発明の実施形態に係る映像配信装置２２は、制御部２２１、通信部２２６および記憶部２２７を備える。
【００３５】
制御部２２１は、映像配信装置２２の動作全体を制御する機能を有し、専用のハードウェアによって構成されてもよいし、映像配信装置２２に内蔵されたＣＰＵがＲＯＭに記憶されたプログラムをＲＡＭに展開して実行することにより実現されてもよい。かかるプログラムが提供され得る他、かかるプログラムを記憶させた記憶媒体も提供され得る。制御部２２１は、映像取得部２２２、時刻情報取得部２２３、時刻情報付与部２２４および映像送信制御部２２５を備える。
【００３６】
映像取得部２２２は、カメラ２１によって撮像されたフレームを撮像フレームとして取得する。時刻情報取得部２２３は、内部時計を備えており、システム起動時及び／または所定のタイミングで、ＮＴＰサーバ２４に対して時刻情報の要求を行ない、内部時計の時刻を校正する。時刻情報付与部２２４は、時刻情報取得部２２３の内部時計の時刻に基づき、撮像フレームにフレーム撮像時刻を付与する。そして、映像送信制御部２２５は、フレーム撮像時刻が付与された撮像フレームを、ネットワーク５０を介して表示制御装置１０に送信させる。
【００３７】
通信部２２６は、ネットワーク５０を介して表示制御装置１０との間で各種情報を送受信するための通信インタフェースである。例えば、通信部２２６は、ネットワーク５０を介して表示制御装置１０に映像を送信することが可能である。また、例えば、通信部２２６は、ＮＴＰサーバ２４と接続し時刻情報を受信することが可能である。
【００３８】
記憶部２２７は、制御部２２１を動作させるためのプログラムやデータを記憶することができる。また、記憶部２２７は、制御部２２１の動作の過程で必要となる各種データを一時的に記憶することもできる。本発明の実施形態では、記憶部２２７は、映像を記憶することができる。
【００３９】
以上、本発明の実施形態に係る映像配信装置２２の機能構成例について説明した。
【００４０】
（１−５．映像解析装置の機能構成）
続いて、本発明の実施形態に係る映像解析装置２３の機能構成例について説明する。図３は、本発明の実施形態に係る映像解析装置２３の機能構成例を示すブロック図である。図３に示したように、本発明の実施形態に係る映像解析装置２３は、制御部２３１、通信部２３７および記憶部２３８を備える。
【００４１】
制御部２３１は、映像解析装置２３の動作全体を制御する機能を有し、専用のハードウェアによって構成されてもよいし、映像解析装置２３に内蔵されたＣＰＵがＲＯＭに記憶されたプログラムをＲＡＭに展開して実行することにより実現されてもよい。かかるプログラムが提供され得る他、かかるプログラムを記憶させた記憶媒体も提供され得る。制御部２３１は、映像取得部２３２、解析部２３３、時刻情報取得部２３４、時刻情報付与部２３５および解析結果送信制御部２３６を備える。
【００４２】
映像取得部２３２は、カメラ２１によって撮像されたフレームを撮像フレームとして取得する。解析部２３３は、上記したような手法などにより、撮像フレームを解析して撮像フレームに映る動体の位置情報を得る。時刻情報取得部２３４は、内部時計を備えており、システム起動時及び／または所定のタイミングで、ＮＴＰサーバ２４に対して時刻情報の要求を行ない、内部時計の時刻を校正する。ＮＴＰサーバ２４から出力されたフレーム撮像時刻を取得する。時刻情報付与部２３５は、動体の位置情報にフレーム撮像時刻を付与する。そして、解析結果送信制御部２３６は、時刻情報取得部２３４の内部時計の時刻に基づき、フレーム撮像時刻が付与された動体の位置情報を、ネットワーク５０を介して表示制御装置１０に送信させる。
【００４３】
通信部２３７は、ネットワーク５０を介して表示制御装置１０との間で各種情報を送受信するための通信インタフェースである。例えば、通信部２３７は、ネットワーク５０を介して表示制御装置１０に動体の位置情報を送信することが可能である。また、例えば、通信部２３７は、ＮＴＰサーバ２４と接続し時刻情報を受信することが可能である。
【００４４】
記憶部２３８は、制御部２３１を動作させるためのプログラムやデータを記憶することができる。また、記憶部２３８は、制御部２３１の動作の過程で必要となる各種データを一時的に記憶することもできる。本発明の実施形態では、記憶部２３８は、動体の位置情報を記憶することができる。
【００４５】
以上、本発明の実施形態に係る映像解析装置２３の機能構成例について説明した。
【００４６】
（１−６．表示制御装置の機能構成）
続いて、本発明の実施形態に係る表示制御装置１０の機能構成例について説明する。図４は、本発明の実施形態に係る表示制御装置１０の機能構成例を示すブロック図である。図４に示したように、本発明の実施形態に係る表示制御装置１０は、制御部１１０、入力部１２０、通信部１３０、記憶部１４０および表示部１５０を備える。
【００４７】
制御部１１０は、表示制御装置１０の動作全体を制御する機能を有し、専用のハードウェアによって構成されてもよいし、表示制御装置１０に内蔵されたＣＰＵがＲＯＭに記憶されたプログラムをＲＡＭに展開して実行することにより実現されてもよい。かかるプログラムが提供され得る他、かかるプログラムを記憶させた記憶媒体も提供され得る。制御部１１０は、映像取得部１１１、解析結果取得部１１２、判定部１１３、動体位置推定部１１４および表示制御部１１５を備える。
【００４８】
映像取得部１１１は、フレーム撮像時刻が付与された撮像フレームを、ネットワーク５０を介して取得する。解析結果取得部１１２は、フレーム撮像時刻が付与された位置情報を、ネットワーク５０を介して取得する。表示制御部１１５は、同一のフレーム撮像時刻が付与された撮像フレームと動体の位置情報とを合成し、合成して得られた合成フレームを表示させる。
【００４９】
入力部１２０は、監視者Ｋから各種情報の入力を受け付ける機能を有する。例えば、入力部１２０は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチなどによって構成されてよい。例えば、入力部１２０は、表示部１５０によって表示された各種画面からボタンを選択する操作、映像から各種領域を選択する操作などの入力を受け付けることができる。入力部１２０がタッチパネルによって構成される場合には、入力部１２０は、表示部１５０に積層されていてよい。
【００５０】
通信部１３０は、ネットワーク５０を介して映像配信装置２２および映像解析装置２３との間で各種情報を送受信するための通信インタフェースである。例えば、通信部１３０は、ネットワーク５０を介して映像配信装置２２から映像を受信することが可能である。また、例えば、通信部１３０は、ネットワーク５０を介して映像解析装置２３から動体の位置情報を受信することが可能である。
【００５１】
記憶部１４０は、制御部１１０を動作させるためのプログラムやデータを記憶することができる。また、記憶部１４０は、制御部１１０の動作の過程で必要となる各種データを一時的に記憶することもできる。本発明の実施形態では、記憶部１４０は、映像、動体の位置情報を記憶することができる。
【００５２】
表示部１５０は、各種画面を表示する機能を有する。例えば、表示部１５０は、動体の位置情報が合成された映像を表示する機能を有する。例えば、表示部１５０は、ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）装置、ランプなどの表示装置であってよい。
【００５３】
以上、本発明の実施形態に係る表示制御装置１０の機能構成例について説明した。
【００５４】
以上に説明したように、撮像フレームおよび動体の位置情報それぞれにフレーム撮像時刻を付与するようにすれば、表示制御装置１０においてフレームと動体の位置情報との対応関係を把握することが可能となる。したがって、映像の解析が終わる前にネットワーク５０を介して映像を表示制御装置１０に送信し始めるようにすることができるため、ネットワーク５０を介して送信される映像と映像の解析によって得られた動体の位置情報との合成の遅延を低減することが可能となる。
【００５５】
（１−７．監視システムの機能詳細）
続いて、本発明の実施形態に係る監視システム１の機能詳細について説明する。以下では、ネットワーク５０を介して送信される映像と動体の位置情報との合成の遅延をより低減させる例について説明する。すなわち、表示制御装置１０は、撮像フレームが動体の位置情報よりも早く到達したと判定された場合に、動体の位置情報を自ら推定し始める。そして、表示制御装置１０は、自ら推定した動体の位置情報を撮像フレームに合成する。
【００５６】
より具体的には、判定部１１３は、同一のフレーム撮像時刻がそれぞれ付与された撮像フレームおよび動体の位置情報の表示制御装置１０への到達の先後を判定する。また、動体位置推定部１１４は、過去に取得された動体の位置情報に基づいてフレーム撮像時刻における動体の位置情報を推定する。そして、表示制御部１１５は、撮像フレームが動体の位置情報よりも早く到達したと判定された場合に、撮像フレームと推定された動体の位置情報とを合成し、動体の位置情報が撮像フレームよりも早く到達したと判定された場合に、撮像フレームと取得された動体の位置情報とを合成する。
【００５７】
まず、図５を参照しながら、ｔ番目フレームの到達時刻Ｔよりもｔ番目フレームを解析して得られた動体の位置情報の到達時刻Ｔ’のほうが早い場合について説明する。図５は、ｔ番目フレームの到達時刻Ｔよりもｔ番目フレームを解析して得られた動体の位置情報の到達時刻Ｔ’のほうが早い場合における動作の例を説明するための図である。図５を参照すると、同一の時刻情報が付されたフレームと動体の位置情報とが対応付けられている。なお、図５に示した例では、フレームと動体の位置情報とが１対１に対応している例が示されているが、かかる例に限定されない。例えば、対応する動体の位置情報が存在しないフレームが存在してもよい（例えば、動体の位置情報は複数フレームごとに一回送信されてもよい）。
【００５８】
図５に示したように、表示制御部１１５は、ｔ番目フレームの到達時刻Ｔよりもｔ番目フレームを解析して得られた動体の位置情報の到達時刻Ｔ’のほうが早いと判定された場合には、ｔ番目フレームの動体位置（ｘ’’，ｙ’’）にマーカＭＫを付すればよい。なお、図５には、動体の画像特徴量も示されているが、表示制御装置１０は、自ら動体の位置情報を推定するときのために、映像解析装置２３から受信された動体の画像特徴量を保持しておくとよい。あるいは、表示制御装置１０において前フレームの動体の位置情報と画像から移動体の画像特徴量を抽出してもよい。
【００５９】
続いて、ｔ番目フレームの到達時刻Ｔよりもｔ番目フレームを解析して得られた動体の位置情報の到達時刻Ｔ’のほうが早い場合の動作について説明する。図６は、図５に示した場合における動作の例を示すシーケンス図である。なお、図６に示したシーケンス図は、ｔ番目フレームの到達時刻Ｔよりもｔ番目フレームを解析して得られた動体の位置情報の到達時刻Ｔ’のほうが早い場合の動作の一例に過ぎない。したがって、かかる動作の流れは、図６に示したシーケンス図に限定されない。また、紙面の都合上、図６においては、「ｔ番目フレーム」を単に「フレーム」と示す。
【００６０】
まず、前処理として映像配信装置２２と映像解析装置２３の同期処理が行われる。映像配信装置２２及び映像解析装置２３は各々内部時計を備えており、システム起動時及び／または所定のタイミングで、ＮＴＰサーバ２４に対して時刻情報の要求を行う（ステップＳ１１〜Ｓ１３）。この要求を受けたＮＴＰサーバ２４は正確な時刻情報を、映像配信装置２２及び映像解析装置２３に送信する（ステップＳ２１〜Ｓ２３）。映像配信装置２２及び映像解析装置２３は受信した時刻情報により内部時計の時刻を校正することで、映像配信装置２２及び映像解析装置２３の内部時計の同期が確保される。
【００６１】
この前処理終了後に、映像配信装置２２の映像取得部２２２は、カメラ２１からｔ番目フレームを取得する（ステップＳ１０１）。映像解析装置２３の映像取得部２３２も、カメラ２１からｔ番目フレームを取得する（ステップＳ１１１）。
【００６２】
続いて、映像解析装置２３の時刻情報取得部２３４は、自身の内部時計からフレーム撮像時刻を取得する（ステップＳ１１２）。また、映像配信装置２２の時刻情報取得部２２３も、自身の内部時計からフレーム撮像時刻を取得する（ステップＳ１０２）。この結果、映像配信装置２２の時刻情報付与部２２４と映像解析装置２３の時刻情報付与部２３５とで各々付与するフレーム撮影時刻の同期を取ることが可能となる。
【００６３】
続いて、映像配信装置２２の時刻情報付与部２２４は、ｔ番目フレームにフレーム撮像時刻を付与し（ステップＳ１０３）、映像送信制御部２２５は、フレーム時刻が付与されたｔ番目フレームを、通信部２２６およびネットワーク５０を介して送信する（ステップＳ１０４）。一方、映像解析装置２３の解析部２３３は、ｔ番目フレームの解析により動体の位置情報を取得し（ステップＳ１１３）、時刻情報付与部２３５は、動体の位置情報にフレーム撮像時刻を付与し（ステップＳ１１４）、解析結果送信制御部２３６は、フレーム撮像時刻が付与された動体の位置情報を、通信部２３７およびネットワーク５０を介して送信する（ステップＳ１１５）。
【００６４】
表示制御装置１０においては、映像取得部１１１がネットワーク５０および通信部１３０を介してｔ番目フレームを受信する前に（ステップＳ１３２）、解析結果取得部１１２がネットワーク５０および通信部１３０を介して動体の位置情報を受信したとする（ステップＳ１３１）。かかる場合、判定部１１３は、ｔ番目フレームの到達時刻よりも動体の位置情報の到達時刻のほうが早いと判定し、表示制御部１１５は、動体位置にマーカＭＫが付されたｔ番目フレームを表示部１５０に表示させる（ステップＳ１３３）。
【００６５】
続いて、図７を参照しながら、ｔ番目フレームを解析して得られた動体の位置情報の到達時刻Ｔ’よりもｔ番目フレームの到達時刻Ｔのほうが早い場合について説明する。図７は、ｔ番目フレームを解析して得られた動体の位置情報の到達時刻Ｔ’よりもｔ番目フレームの到達時刻Ｔのほうが早い場合における動作の例を説明するための図である。図７を参照すると、同一の時刻情報が付されたフレームと動体の位置情報とが対応付けられている。
【００６６】
図５に示したように、表示制御部１１５は、ｔ番目フレームの到達時刻Ｔよりもｔ番目フレームを解析して得られた動体の位置情報の到達時刻Ｔ’のほうが早いと判定された場合には、ｔ番目フレームにおける動体予測位置（ｘ’’，ｙ’’）にマーカＭＫを付すればよい。ここで、動体予測位置（ｘ’’，ｙ’’）の推定手法の例について、図８を参照しながら説明する。図８は、ｔ番目フレームの動体予測位置を推定する手法の例を説明するための図である。
【００６７】
図８に示すように、まず、動体位置推定部１１４は、過去に取得された動体の位置情報に基づいて探索範囲を設定する。例えば、動体位置推定部１１４は、動体位置が時刻の変化に対して線形的に変化すると予測して、過去複数回に取得された動体の位置情報およびフレーム撮像時刻から探索範囲の位置を線形的に算出してよい。例えば、動体位置推定部１１４は、ｔ−１番目フレームの解析により得られた動体位置（ｘ’，ｙ’）およびｔ−２番目フレームの解析により得られた動体位置（ｘ，ｙ）に基づいて、式（１）により探索範囲の位置を算出してよい。
【００６８】
ｘ’’＝（ｘ−ｘ’）×（ｔ−（ｔ−１））／（（ｔ−２）−（ｔ−１））＋ｘ’
ｙ’’＝（ｙ−ｙ’）×（ｔ−（ｔ−１））／（（ｔ−２）−（ｔ−１））＋ｙ’
・・・（１）
【００６９】
なお、式（１）においては、過去２回に取得された動体の位置情報として、ｔ番目フレームより１つ前のフレーム（ｔ−１番目フレーム）および２つ前のフレーム（ｔ−２番目フレーム）に対応する動体の位置情報が用いられている。しかし、過去２回に取得された動体の位置情報は、ｔ−１番目フレームおよびｔ−２番目フレームに限定されず、ｔ番目フレームより前のフレームのうち何れか２つであってもよい。
【００７０】
探索範囲は、算出した探索範囲の位置を基準とした所定の領域（例えば、算出した探索範囲の位置を中心とした矩形領域）であってよい。次に、動体位置推定部１１４は、算出した探索範囲から動体の画像特徴量と一致または類似する画像特徴量を有する領域をテンプレートマッチングにより探索し、見つかった領域の位置情報をｔ番目フレームの動体予測位置として推定する。上記したように、動体の画像特徴量は、あらかじめ映像解析装置２３から取得しておけばよい。あるいは、前フレームの動体の位置情報と画像から移動体の画像特徴量を抽出してもよい。
【００７１】
続いて、ｔ番目フレームを解析して得られた動体の位置情報の到達時刻Ｔ’よりもｔ番目フレームの到達時刻Ｔのほうが早い場合の動作について説明する。図９は、図７に示した場合における動作の例を示すシーケンス図である。なお、図９に示したシーケンス図は、ｔ番目フレームを解析して得られた動体の位置情報の到達時刻Ｔ’よりもｔ番目フレームの到達時刻Ｔのほうが早い場合の動作の一例に過ぎない。したがって、かかる動作の流れは、図９に示したシーケンス図に限定されない。また、紙面の都合上、図９においては、「ｔ番目フレーム」を単に「フレーム」と示す。
【００７２】
まず、前処理として映像配信装置２２と映像解析装置２３の同期処理が行われる。映像配信装置２２及び映像解析装置２３は各々内部時計を備えており、システム起動時及び／または所定のタイミングで、ＮＴＰサーバ２４に対して時刻情報の要求を行う（ステップＳ１１〜Ｓ１３）。この要求を受けたＮＴＰサーバ２４は正確な時刻情報を、映像配信装置２２及び映像解析装置２３に送信する（ステップＳ２１〜Ｓ２３）。映像配信装置２２及び映像解析装置２３は受信した時刻情報により内部時計の時刻を校正することで、映像配信装置２２及び映像解析装置２３の内部時計の同期が確保される。
【００７３】
この前処理終了後に、映像配信装置２２の映像取得部２２２は、カメラ２１からｔ番目フレームを取得する（ステップＳ１０１）。映像解析装置２３の映像取得部２３２も、カメラ２１からｔ番目フレームを取得する（ステップＳ１１１）。
【００７４】
続いて、映像解析装置２３の時刻情報取得部２３４は、自身の内部時計からフレーム撮像時刻を取得する（ステップＳ１１２）。また、映像配信装置２２の時刻情報取得部２２３も、自身の内部時計からフレーム撮像時刻を取得する（ステップＳ１０２）。
【００７５】
続いて、映像配信装置２２の時刻情報付与部２２４は、ｔ番目フレームにフレーム撮像時刻を付与し（ステップＳ１０３）、映像送信制御部２２５は、フレーム時刻が付与されたｔ番目フレームを、通信部２２６およびネットワーク５０を介して送信する（ステップＳ１０４）。一方、映像解析装置２３の解析部２３３は、ｔ番目フレームの解析により動体の位置情報を取得し（ステップＳ１１３）、時刻情報付与部２３５は、動体の位置情報にフレーム撮像時刻を付与し（ステップＳ１１４）、解析結果送信制御部２３６は、フレーム撮像時刻が付与された動体の位置情報を、通信部２３７およびネットワーク５０を介して送信する（ステップＳ１１５）。
【００７６】
表示制御装置１０においては、解析結果取得部１１２がネットワーク５０および通信部１３０を介して動体の位置情報を受信する前に（ステップＳ１３１）、映像取得部１１１がネットワーク５０および通信部１３０を介してｔ番目フレームを受信したとする（ステップＳ１３２）。そこで、動体位置推定部１１４は、過去に取得された動体の位置情報に基づいてフレーム撮像時刻における動体の位置情報を推定し（ステップＳ１３４）、判定部１１３は、動体の位置情報の到達時刻よりもｔ番目フレームの到達時刻のほうが早いと判定し、表示制御部１１５は、推定された動体位置にマーカＭＫが付されたｔ番目フレームを表示部１５０に表示させる（ステップＳ１３３）。
【００７７】
（１−８．まとめ）
本発明の実施形態によれば、撮像フレームおよび動体の位置情報それぞれにフレーム撮像時刻が付与され、表示制御装置１０においてフレームと動体の位置情報との対応関係を把握することが可能となる。したがって、映像の解析が終わる前にネットワーク５０を介して映像を表示制御装置１０に送信し始めるようにすることができるため、ネットワーク５０を介して送信される映像と映像の解析によって得られた動体の位置情報との合成の遅延を低減することが可能となる。
【００７８】
さらに、判定部１１３は、同一のフレーム撮像時刻がそれぞれ付与された撮像フレームおよび動体の位置情報の表示制御装置１０への到達の先後を判定し、表示制御部１１５は、撮像フレームが動体の位置情報よりも早く到達したと判定された場合に、撮像フレームと推定された動体の位置情報とを合成するとよい。これにより、ネットワーク５０を介して送信される映像と動体の位置情報との合成の遅延をより低減させることが可能となる。
【００７９】
また、上記したように、ｔ番目フレームより前のフレームのうち何れか２つを用いれば、動体の予測位置を探索するための探索範囲を算出することが可能である。したがって、映像配信装置２２から送信される映像と映像解析装置２３から送信される動体の位置情報との送信周期が異なる場合であっても（例えば、映像の解析に時間を要するため、動体の位置情報の送信周期が映像の送信周期より長くなってしまっている場合であっても）、ネットワーク５０を介して送信される映像と映像の解析によって得られた動体の位置情報との合成の遅延を低減することが可能となる。
【００８０】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【００８１】
例えば、上記したように、映像解析装置２３によって映像が解析されてから動体の位置情報と映像とがネットワーク５０を介して表示制御装置１０に送信される典型的な状況として、映像解析装置２３から送信される映像が圧縮される状況が想定される。かかる状況では、表示制御装置１０において映像解析装置２３から受信された映像を解凍する処理が必要となる。また、他の典型例としては、表示制御装置１０による映像解析に要する処理時間を低減したい場合などが想定される。
【００８２】
あるいは、上記実施形態ではＮＴＰサーバ２４を用いて、時刻情報付与部２２４と同期した時刻情報付与部２３５の同期を担保しているが、カメラ２１がＩＰカメラの場合は、映像データがＲＴＳＰ（Ｒｅａｌ−Ｔｉｍｅ  Ｓｔｒｅａｍｉｎｇ  Ｐｒｏｔｏｃｏｌ）でパケットにタイムスタンプが付与されているため、このタイムスタンプを映像配信装置２２及び映像解析装置２３各々でフレーム撮影時刻として利用すれば、ＮＴＰサーバ２４を利用する必要が無くなる。
【符号の説明】
【００８３】
１      監視システム
１０    表示制御装置
１１０  制御部
１１１  映像取得部
１１２  解析結果取得部
１１３  判定部
１１４  動体位置推定部
１１５  表示制御部
１２０  入力部
１３０  通信部
１４０  記憶部
１５０  表示部
２１    カメラ
２２    映像配信装置
２２１  制御部
２２２  映像取得部
２２３  時刻情報取得部
２２４  時刻情報付与部
２２５  映像送信制御部
２２６  通信部
２２７  記憶部
２３    映像解析装置
２３１  制御部
２３２  映像取得部
２３３  解析部
２３４  時刻情報取得部
２３５  時刻情報付与部
２３６  解析結果送信制御部
２３７  通信部
２３８  記憶部
２４    ＮＴＰサーバ
３０    ネットワーク
５０    ネットワーク
Ｋ      監視者
ＭＫ    マーカ
【図１】
2016063278.tif 000003
【図２】
2016063278.tif 000004
【図３】
2016063278.tif 000005
【図４】
2016063278.tif 000006
【図５】
2016063278.tif 000007
【図６】
2016063278.tif 000008
【図７】
2016063278.tif 000009
【図８】
2016063278.tif 000010
【図９】
2016063278.tif 000011