(57)【要約】【課題】被監視サイトであるビル等への不正侵入者の追跡を迅速に行うことができ、設備異常などの被害領域の把握ができる映像監視システムを提供する。【解決手段】監視サイトに設置された監視端末１４の画像データ要求を受信した管理サーバ６は、被監視サイト１に設置されている合成用カメラ４a〜４ｃからカメラ画像を抽出し、現地における画像取得時刻と画像合成の完了時刻の時間差を算出する。そして、この時間差が所定時間を超えたとき、フレームレートを削減して画像合成を行う。【選択図】図１
2018207279.tif 000002
【特許請求の範囲】
【請求項１】
被監視サイトと、監視端末を備える監視サイトと、管理サーバとをネットワーク回線で接続した映像監視システムにおいて、
前記被監視サイトは、
複数のカメラと、前記複数のカメラの画像を記録する記録装置と、前記記録装置で記録した画像または前記カメラからの画像に撮影した時刻を付加して、ネットワーク回線に送信する通信装置と、を備え、
前記管理サーバは、
前記被監視サイトから送信された画像を受信するとともに、前記管理サーバで処理された画像をネットワーク回線に送信する通信部と、
前記被監視サイトの前記複数のカメラからの画像データを合成する画像合成部と、
前記被監視サイトから送られる画像データに付加されている時刻と、前記画像合成部で画像合成された時刻との時間差を検知する遅延検知部と、
前記遅延検知部で検知された前記時間差が所定時間を超えているか否かを判定する遅延処理部と、  前記画像合成部、前記遅延検知部及び前記遅延処理部の処理に関わる制御を行う制御部と、を備え、
前記監視サイトの前記監視端末は、
前記被監視サイトから送られる複数の画像データを１画面上に表示する分割表示と、前記画像合成部で合成された合成画像を１画面上に表示する拡大表示を切り換えて表示する表示部と、を備え、
前記管理サーバの前記遅延処理部において、前記被監視サイトから送られる画像データに付加されている時刻と、前記画像合成部で画像合成された時刻との時間差が所定時間以上であると判定された場合に、画像データを送信するフレームレートを変更する、
映像監視システム。
【請求項２】
前記画像データのフレームレートの変更は、前記管理サーバの前記遅延処理部で所定時間以上である場合に、前記管理サーバの前記遅延処理部において行われる、
請求項１に記載の映像監視システム。
【請求項３】
前記画像データのフレームレートの変更は、前記管理サーバの前記遅延処理部で所定時間以上であると判定された場合に、前記管理サーバから前記被監視サイトにフレームレート変更を含む指令を送り、前記被監視サイトにおいて、前記フレームレートの変更指令に基づいて行われる、
請求項１に記載の映像監視システム。
【請求項４】
前記管理サーバは、不揮発性ストレージからなるデータベースを備え、
前記データベースは、
現地である前記被監視サイトに関するエリアの名称を格納する現地情報格納エリアと、
前記被監視サイトを区別するためのＩＰアドレスを格納するＩＰアドレス格納エリアと、
前記被監視サイトに設置された前記複数のカメラで撮影された画像データを格納する画像格納エリアと、
前記被監視サイトに設置された前記複数のカメラによって、前記画像データが取得された時刻を格納する現地画像取得時間エリアと、
前記画像合成部における処理が完了した時刻を格納する合成完了時間エリアと、を有する
請求項１〜３のいずれか一項に記載の映像監視システム。
【請求項５】
複数のカメラにより撮影された被監視サイトからの映像データを1画面に合成して表示する映像監視装置において、
前記被監視サイトからの複数の画像データ及び前記画像データが撮影された時刻を受信する通信部と、
前記複数のカメラからの画像データを合成する画像合成部と、
前記被監視サイトから送られる画像データが撮影された時刻と、前記画像合成部で画像合成された時刻との時間差を検知する遅延検知部と、
前記遅延検知部で検知された時間差が所定時間以上になった場合に、前記画像データのフレームレートを変更する遅延処理部と、
前記画像合成部、前記遅延検知部及び前記遅延処理部の処理に関わる制御を行う制御部と、
前記被監視サイトから送られる画像データの複数画面のそれぞれの画面の分割表示、または前記画像合成部で合成された合成画像の拡大表示を切り換えて表示する表示部と、を備える、
映像監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像監視システム及び映像監視装置に関する。
【背景技術】
【０００２】
駅舎やビルなどの監視業務は人件費が嵩むため、通常は、人件費削減のために監視される側の被監視サイトには常駐の警備員を配置せずに、監視カメラやカメラ画像の記録装置を設置している。そして、駅舎の監視拠点やビルのオーナーの事務所等の監視する側に設けられた監視サイトからパソコン等の端末装置を用いて、不正侵入者や機器の故障等の監視を行っている。
監視者が被監視サイトへの不正侵入や、被監視サイトに備えられる機器の故障等の異常状況を確認したときには、監視者は警備会社や巡回担当者に連絡し、被監視サイトに向かわせるための対応を取っている。
【０００３】
一方、被監視サイトを広域で監視するため、複数のカメラを設置し、表示装置の一画面内に、複数の被監視サイトを分割して表示するのが一般的である。しかし、複数のカメラからの映像を分割して表示する場合には、広域の映像が確認できないことが多くなり、また当然のことながら、各カメラの位置を把握しておかなくてはならないという問題がある。
そこで、被監視サイトの状況を遠隔位置から詳細に把握するために、単独の監視カメラの画像だけではなく、複数の監視カメラの画像を監視者が一括して確認できるような映像監視システムが提案されている（例えば、特許文献１参照）。
また、表示する合成画像のずれを修正するために最適化を施す技術も提案されている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許５３１４７４１号公報
【特許文献２】特開２０１５−１０６８６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
一般的に、被監視サイトおける不正侵入や機器の故障の遠隔監視機能を備えた映像監視システムにおいて、不正侵入や機器の故障の発生時の画像から現地の異常状況を確認するとき、画像合成処理により複数のカメラ映像を１画面で表示することがある。しかし、このとき、ネットワークの遅延や、サーバの処理能力などにより、複数のカメラ画像の画面にずれが生じる場合があり、これは、画像を長時間にわたり見続けなければならない監視員にとって好ましくない。
【０００６】
例えば、複数のカメラで撮影した、動きが激しい道路の画像Ａと動きが少ない敷地の画像Ｂを合成すると、動きの激しい方の画像Ａの情報量が増え、合成する一方の画像Ａの方に遅延が発生する。このため、同じ時刻に撮影した画像であっても、画像Ａと画像Ｂの間で時間差が発生し、画像合成後の画面のＡ画像とＢ画像のつなぎ目で物体が消えるという現象が生じる。
このため、合成画面上での画面ずれの発生を防ぐための画像処理を行う必要があるが、この画像処理を行うとリアルタイム性を損なうという問題もあった。
【０００７】
本発明は、上述した従来技術における問題点を解消するためになされたものであり、その目的は、被監視サイトへの不正侵入や被監視サイトの機器の故障に関する異常状況の詳細な情報を迅速に把握することができる映像監視システム及び映像監視装置を提供することにある。
【課題を解決するための手段】
【０００８】
上記技術的課題を解決するため、本発明は、被監視サイトと、監視端末を備える監視サイトと、管理サーバとをネットワーク回線で接続した映像監視システムである。
被監視サイトは、複数のカメラと、これらのカメラの画像を記録する記録装置と、この記録装置で記録した画像またはカメラからの画像をネットワーク回線に送信する通信装置と、を備える。
【０００９】
また、管理サーバは、被監視サイトから送信された画像を受信するとともに、管理サーバ内で処理された画像をネットワーク回線に送信する通信部と、被監視サイトからの画像データを合成する画像合成部を備える。さらに、被監視サイトから送られる画像データに付加されている時刻と、画像合成部で画像合成された時刻との時間差を検知する遅延検知部と、遅延検知部で検知された時間差が所定時間以上であるか否かを判定する遅延処理部と、通信部、画像合成部、遅延検知部及び遅延処理部の処理に関わる制御を行う制御部と、を備える。
そして、管理サーバの遅延処理部において、被監視サイトから送られる画像データに付加されている時刻と、画像合成部で画像合成された時刻との時刻差が所定時間以上であると判定された場合に、画像データを送信するフレームレートを変更する制御が行われる。
【００１０】
なお、監視サイトは、少なくとも管理サーバと通信可能な監視端末を備え、この監視端末は、その表示部に、被監視サイトから送られる複数の画像データを１画面上に分割して表示する分割表示と、画像合成部で合成された合成画像を１画面で表示する拡大表示を切り換えて表示することができるようになっている。
【発明の効果】
【００１１】
本発明の映像監視システムによれば、不正侵入者の追跡を迅速に行うことができ、かつ設備の異常などの被害領域の把握を容易に行うことが可能となる。
上記した以外の課題、構成及び効果は、以下の実施の形態例の説明により明らかにされる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１の実施の形態の例に係る映像監視システムの全体的構成を示した概略図である。
【図２】本発明の第１の実施の形態の例に係る映像監視システムに用いられる管理サーバ並びに監視サイト及び被監視サイトで用いられる端末のハードウェア構成を示す図である。
【図３】図１に示す画像合成用カメラから送信される画像データのデータ構造のテーブルを示す図である。
【図４】図１に示す画像合成用カメラから送信される画像データを管理サーバ内で処理した後の画像データのデータ構造のテーブルを示す図である。
【図５】本発明の第１の実施の形態の例に示す映像監視システムの被監視サイト側のカメラ設置位置のイメージ図である。
【図６】本発明の第１の実施の形態の例に示す映像監視システムの監視サイトの側の端末装置の監視画面を示す図であり、図６Ａは分割表示の例、図６Ｂと図６Ｃは合成表示の例を示す図である。
【図７】本発明の第１の実施の形態の例に係わる映像監視システムの各部における動作処理の手順を示すフローチャートである。
【図８】本発明の第２の実施の形態の例に係わる映像監視システムの各部における動作処理の手順を示したフローチャートである。
【発明を実施するための形態】
【００１３】
［第１の実施の形態例の全体構成と機能］
以下、本発明の第１の実施の形態例（以下、「本例」と称する）である映像監視システムについて、図面を参照して説明する。
図１は、本例に係るビル設備機器用の映像監視システムの全体的構成を示した概略図である。図２は、本例の映像監視システムを構成する管理サーバと監視端末のハードウェア構成を示す図である。
【００１４】
図１に示すように、本例の映像監視システムは、複数の被監視サイト１１〜１ｎ、管理サーバ６及び複数の監視サイト１３１〜１３ｍが、広域ネットワーク２に接続されて構成されている。ここで被監視サイト１１〜１ｎは、通常駅舎やビルなどの建物を指しており、被監視サイト１１〜１ｎを総称して述べるときには、被監視サイト１という。または図１に示す実施の形態例に合わせて単にビル１ということもある。また、複数の監視サイト１３１〜１３ｍを総称して述べるときには監視サイト１３という。
【００１５】
被監視サイト１１〜１ｎは、ネットワーク回線２との接続を行う通信装置３と、画像合成用カメラ４a〜４ｄと、画像合成用カメラ４a〜４ｄの画像データを記録する記録装置５を備える。なお、画像合成用カメラ４a〜４ｄを総称して単にカメラ４または監視カメラ４と呼ぶこともある。
【００１６】
画像合成用カメラ４a〜４ｄは、広域の映像を取得するため、通常、図５に示すように、ビル１の屋上などの高さがある位置に設置される。
通信装置３は、画像合成用カメラ４a〜４ｄで撮影された画像を、広域のネットワーク網であるネットワーク回線２を介して、管理サーバ６に向けて送信する。また、ビル１内の記録装置５は、画像合成用カメラ４a〜４ｄで撮影された画像の画像データを記録するデータベースである。この記録装置５は通常、不揮発性メモリによって形成される。
【００１７】
管理サーバ６は、通信部７、制御部８、画像合成部９、遅延検知部１０，遅延処理部１１及びデータベース１２から構成されている。通信部７は、広域ネットワーク網を形成するネットワーク回線２と接続され、ネットワーク回線２経由で、被監視サイト１からの画像データを管理サーバ６に取り込む。制御部８は、ＣＰＵ(Computer Processing Unit)であり、通信部７、画像合成部９、遅延検知部１０，遅延処理部１１の処理を制御すると共に、データベース１２への書き込みと読み出しの制御を行う。
【００１８】
画像合成部９は、画像合成用カメラ４a〜４ｄで取得した画像データの中の複数の画像データを合成する。但し、後述する図６では、３つのカメラ４ａ、４ｂ、４ｃの画像データとその合成した画像データを示し、カメラ４ｄで撮影した画像データは示されていない。
遅延検知部１０は、画像合成用カメラ４a〜４ｄから送られてくる画像データに付加されている撮影した時刻を取得し、この時刻（現地画像取得時刻）と、画像合成部９により、画像合成用カメラ４a〜４ｄからのカメラ画像が合成された時刻（合成完了時刻）との差を検知する。
【００１９】
遅延処理部１１は、遅延検知部１０で検知された時刻差が所定時間（例えば５秒）以上であるかどうかを判定する。そして、遅延検知部１０で検知された時刻差が所定時間（例えば５秒）以上であるときは、遅延処理部１１で画像データのフレームレートを変更するか、あるいはフレームレートの変更を含む指令を被監視サイト１に送信する。
【００２０】
なお、複数のカメラ４の絵をつなぎ合わせる場合、重なり会う部分が存在する。この場合、重なりある部分の２点に着目し、例えば、座標と色が同じ値であるとき、制御部８は画像合成部９に合成画像を生成させる。このとき、重なり会った部分の画像については、どちらのカメラ４の画像を優先して表示するかを予め決めておけばよい。後述するが、被監視サイト１のビルを上空から取った写真などの標準となる画像と色データは、データベース１２に予め登録されており、画像データの合成の際に用いられる。
【００２１】
また、制御部８は、複数のカメラ５からの画像データの中で、同じ値となる２点が重なりあう際の時間差によって、フレームレートを変更する。例えば、１ｆｐｓ（flame per second）の場合、１秒毎に１フレームの映像を表示するのであるが、ネットワーク要因などにより、２秒毎に表示する必要がある場合には、合成処理するフレームは、０．５ｆｐｓに変更されることになる。  
【００２２】
また、管理サーバ６のデータベース１２には、現地情報格納エリア１２ａ、ＩＰアドレス格納エリア１２ｂ、画像格納エリア１２ｃ、現地画像取得時間エリア１２ｄ及び合成完了時間エリア１２ｅが設けられている。
現地情報格納エリア１２ａには、例えば、ビル名称や、エリア名称などの現地の被監視サイト１の情報が格納される。ＩＰアドレス格納エリア１２ｂには、被監視サイト１１〜１ｎを区別するためのＩＰ（インターネット・プロトコル）アドレスが格納される。画像格納エリア１２ｃには、被監視サイト１１〜１ｎに設置された画像合成用カメラ４a〜４ｄで撮影された画像データが格納される。
【００２３】
また、現地画像取得時間エリア１２ｄには、被監視サイト１から送られてきた画像合成用カメラ４a〜４ｄの画像データに付加されている画像取得時の時刻が格納される。そして、合成完了時間エリア１２ｅには、画像合成部９において画像合成用カメラ４a〜４ｄの画像データの合成処理が完了した時刻が格納される。
【００２４】
監視サイト１３１〜１３ｍは、管理サーバ６で収集され、合成された画像データを監視することが可能な監視端末１４１〜１４ｍを備える。但し、図１では監視端末１４１のみが示されている。なお、監視端末１４１〜１４ｍを総称して述べるときは単に監視端末１４ということにする。監視端末１４は、図２にそのハードウェア構成を示すが、ネットワーク回線２と接続可能な通常のパソコンやタブレット等の通信端末から構成される。ここで監視端末１４の数ｍと被監視サイト１の数ｎとは必ずしも一致させる必要はないが、ｍ＝ｎであってもかまわない。
【００２５】
[管理サーバ及び監視端末のハードウェア構成]
図２は、本例の映像監視システムに用いられる、管理サーバ６と監視端末１４のハードウェア構成を示す図である。図２（Ａ）は、管理サーバ６のハードウェア構成を示し、図２（Ｂ）は、監視端末１４のハードウェア構成を示している。
【００２６】
図２（Ａ）に示すように、管理サーバ６は、バス２０に接続されたＣＰＵ（Central Processing Unit）２１、ＲＯＭ（Read Only Memory）２２、ＲＡＭ（Random Access Memory）２３、不揮発性ストレージ２４を備える。また、外部との通信を行うためのネットワークインタフェース２５を備える。
【００２７】
ＣＰＵ２１は、本例の映像監視システムに関係する管理サーバ７の各部の機能を実現するソフトウェアのプログラムコードをＲＯＭ２１から読み出して実行する。ＲＡＭ２２には、管理サーバ６内で行われる演算処理の途中で発生した変数等が一時的に書き込まれる。ＣＰＵ２１がＲＯＭ２２に記録されているプログラムコードを実行することにより、管理サーバ６内の各種機能が実現される。
【００２８】
不揮発性ストレージ２４は、ＳＳＤ（Solid State Drive）等の不揮発性のメモリで構成され、図１のデータベース１２に対応するものである。ＲＯＭ２２と不揮発性ストレージ２４には、ＣＰＵ２１が動作するために必要なプログラムやデータ等が、半永久的に記憶され、格納されている。ここでは、図１で説明した、現地情報格納エリア１２ａ、ＩＰアドレス格納エリア１２ｂ、画像格納エリア１２ｃ、現地画像取得時間エリア１２ｄ及び合成完了時間エリア１２ｅの各記憶領域が不揮発性ストレージ２４内に形成されている。
【００２９】
ネットワークインタフェース２５としては、例えば、ＮＩＣ（Network Interface Card）等が用いられ、このネットワークインタフェース２５を通して、被監視サイト１及び監視サイト１３の監視端末１４との通信が行われる。
【００３０】
図２（Ｂ）は、監視サイト１３に設けられる監視端末１４のハードウェア構成を示す。図２（Ｂ）に示すＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３は、図２（Ａ）に示すＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３と同じなのでここでは説明を省略する。
図２（Ｂ）に示す監視端末１４の不揮発性ストレージ３４は、スマートフォン等が備えるＳＳＤ等の不揮発性のメモリと同じ構成とされ、ＣＰＵ３１が動作するために必要なプログラムやデータ等が、半永久的に記憶され、格納されている。
【００３１】
監視端末１４の通信部３５は、ネットワーク回線２と接続するためのものである。
また、監視端末１４には、入力部３６と表示部３７が設けられる。入力部３６は、例えば後述する画面の合成や表示画面の分割等の操作を行うために用いられる入力アイコン等である。また、表示部３７は、図６で後述する画像データを表示するために利用される。
【００３２】
本例の映像監視システムでは、管理サーバ６内で、全ての複数のカメラ４からの画像の合成処理を行うようにした。これに対して、現地情報格納エリア１２ａ、ＩＰアドレス格納エリア１２ｂ、画像格納エリア１２ｃ、現地画像取得時間エリア１２ｄ及び合成完了時間エリア１２ｅの各記憶領域を、監視端末１４の不揮発性ストレージ３４に設け、管理サーバ６と同様な画像処理を監視端末１４で行うようにしてもよい。この場合には、監視端末１４が映像監視装置として機能することになる。
【００３３】
［画像データのデータ構造及びデータベースに記憶されるデータ構造］
図３は、画像合成用カメラ４a〜４ｄもしくは記録装置５から送られてくる画像データのデータ構造のテーブルを示す図である。また、図４は、管理サーバ６のデータベース１２に格納される画像データのデータ構造のテーブルを示す図である。
【００３４】
図３では、３つの画像合成用カメラ４a〜４ｃもしくは記録装置５から送られてくる画像データに関連して、画像データフィールド１２ｃ、ＩＰアドレスフィールド１２ｂ及び現地時間フィールド１２ｄが示されている。画像合成用カメラ４ａ〜４ｃで撮影された画像データは、図１に示す画像格納エリア１２ｃに格納され、それぞれのカメラ４ａ〜４ｃのＩＰアドレスは、図１のデータベース１２のＩＰアドレス格納エリア１２ｂに格納される。また、カメラ４ａ〜４ｃで画像を取得したときの現地時間は図１の現地画像取得時間エリア１２ｄに格納される。
【００３５】
図３では、画像データフィールド、ＩＰアドレスフィールド及び現地時間フィールドをそれぞれのデータが格納されるデータベース１２の画像格納エリア１２ｃ、ＩＰアドレス格納エリア１２ｂ、現地画像取得時間エリア１２ｄのエリア名と同じ記号を用いて表記している。なお、図３には記載していないが、画像合成用カメラ４a〜４ｃもしくは記録装置５から送られてくる画像データには、これらの情報の他に、ビルの名称、住所等の現地情報格納エリア１２ａに格納される情報も含まれる。
【００３６】
図３では、後述する画像合成に関係する画像合成用カメラ４ａ〜４ｃの３つのカメラ画像のみが被監視サイト１から管理サーバ６に送信されるものとして、カメラ４ａ画像、カメラ４ｂ画像及びカメラ４ｃ画像のみが示されている。画像合成用カメラ４ｄ及びさらに多くのカメラが用いられる場合には、これらのカメラ画像を含めてよいことは勿論である。
【００３７】
図３の現地時間フィールド１２ｄに示されるように、カメラ４ａ、カメラ４ｂ及びカメラ４ｃは、１秒間に２フレームの画像を撮影して、カメラ画像を管理サーバ６に送信していることが分かる。例えばカメラ４ａ画像を見ると、現地時間１２ｄ１「10:10:20:500」と１２ｄ２「10:10:21:000」の２フレームが示されている。これは現地時間10時10分20秒から21秒までの１秒間に２フレームの画像が撮影され、送信されることを示している。同様にカメラ４ｂ画像及びカメラ４ｃ画像もカメラ４ａ画像と同じ時間に撮影され、１秒の間に２フレームが送信される（現地時間１２ｄ４〜１２ｄ６参照）。もちろん、全てのカメラ４ａ〜４ｃの時間は一致していなければならない。
【００３８】
図４は、画像合成用カメラ４ａからの画像データを管理サーバ６内で処理した後のデータ構造のテーブル例を示す図である。
図４には、画像データフィールド１２ｃ、現地時間フィールド１２ｂの他に、管理サーバ６における画像の合成処理が完了した時間を記す合成完了時間フィールド１２ｅが示されている。この合成完了時間フィールド１２ｅは、図１に示すデータベース１２の合成完了時間エリア１２ｅに相当するものであり、図４でも図１の合成完了時間エリア１２ｅと同じ記号を用いている。なお、図４では、カメラ４ａ画像のみを示しているが、カメラ４ｂ画像及びカメラ４ｃ画像についても同様な処理が行われることは言うまでもない。
【００３９】
図４に示されるように、現地時間「10:10:20:500」に撮影されたカメラ４ａ画像は、合成完了時間１２ｅ１が「10:10:21:500」になっている。つまり、１秒後には画像合成が完了している。同様に現地時間「10:10:21:000」及び現地時間「10:10:21:500」に撮影されたカメラ４ａ画像も１秒後には画像合成が完了している（合成完了時間１２ｅ２、１２ｅ３参照）。
【００４０】
しかし、現地時間「11:21:20:000」に撮影されたカメラ４ａ画像は、その合成完了時間１２ｅ４が「11:21:25:000」になっており、画像の取得時刻から画像合成が完了する時刻までに５秒が経過している。
現地時間「11:21:20:500」に撮影されたカメラ４ａ画像に対応する合成完了時間１２ｅ５は、空白になっている。この空白は、現地時間「11:21:20:500」に撮影されたカメラ４ａ画像が合成画像として用いられなかったこと、つまり間引かれたことを意味する。
【００４１】
最後に、現地時間「11:21:21:000」に撮影されたカメラ４ａ画像は、合成完了時間１２ｅ６が、現地時間「11:21:25:200」になっており、カメラ画像の取得時間とその合成完了時間までの4.2秒になっている。このことは、その前に撮影されて送信されたカメラ４ａ画像が間引かれたことにより、画像取得から画像合成までの時間が５秒以内になったことを意味している。
【００４２】
［画像合成用カメラのビルにおける配置関係］
図５は、本例の映像監視システムにおいて、被監視サイト１であるビルに設置されている画像合成用カメラ４a〜４ｄの設置位置を示す図である。図３に示すテーブル例では、画像合成用カメラ４ａ〜４ｃの３台しか示されていないが、図５では４台のカメラ４ａ〜４ｄをビル１の屋上に配置する例を示している。図５に示すように、ビル１の屋上等に東西南北の四方を監視できるように４台のカメラ４を配置することで、ビル１内への不正侵入者等を広域的に監視することが可能である。  
【００４３】
［複数のカメラ画像とその合成処理］
図６Ａ、Ｂ、Ｃは、本例の映像監視システムにおける監視サイト１３に設置された監視端末１４の監視画面のイメージ図である。
図６Ａは、監視端末１４の表示部３７に複数のカメラ画像を分割して表示した例であり、図６Ｂ、図６Ｃは、これら複数のカメラ画像と合成した１画面を表示した例である。ここでは、３個の監視カメラ４ａ〜４ｃで撮影したカメラ画像を用いて画像合成を行う例を示している。なお、図６Ｂは、図の右側の道路に車が１台表示されており、画像合成が上手くいった成功例を示す。
【００４４】
これに対して、図６Ｃは、本来１台で表示されるべき車が２台表示されており、画像合成が上手くいかなかった例、つまり失敗例を示している。これはエリア１６Ｃに示す車を含む動画像にエリア１６Ａ、１６ｂの画像に比べて多くの遅延が生じ、フレームレートの変更が正確に為されなかった場合などに起こると考えられる。なお、図６Ｃでは、本来１台であるべき車が２台表示されてしまった例を示したが、逆に表示されるべき１台の車が表示されない場合もある。
【００４５】
本例の映像監視システムでは、被監視サイト１１〜１ｎは、画像合成用カメラ４a〜４ｃで撮影した画像を一旦記録装置５に保存する。そして、記録装置５に保存された画像データが、ネットワーク回線２を介して、管理サーバ６に送信される。管理サーバ６は、被監視サイト１１〜１ｎからの画像データを通信部７で受信し、制御部８の制御の下でデータベース１２に格納する。
【００４６】
画像合成部９は、被監視サイト１１〜１ｎからの画像データに応じて、制御部８の制御下で、複数の画像データの合成処理を行うが、図６Ｂ、Ｃに示されるように、その合成画像には、カメラ４ａ、４ｂ、４ｃからの画像だけでなく、被監視サイトであるビル１の上面図等の画像データも用いられる。被監視サイト１であるビルの上面図等の画像の合成に必要とされる画像データは、画像格納エリア１２ｃに予め登録されてものである。
また、制御部８は、遅延検知部１０を起動し、受信した画像データに付加されている時刻を取得する。そして、遅延検知部１０で取得した時刻と、画像合成部９で画像が合成されたときの時刻との差を比較する。
【００４７】
そして、遅延検知部１０の比較結果において、画像を取得した時刻と画像合成が完了した時刻との間で、５秒以上の遅延が発生していると判断された場合には、遅延処理部１１がフレームレートを変更する処理を行う。
その後、管理サーバ６は、ネットワーク回線２を経由して、監視サイト１３の監視端末１４にカメラ４ａ〜４ｃの画像データ及び合成処理された画像データを送信する。監視端末１４は、これらの画像データに基づいて、後述する図６Ａ〜図６Ｃに示す表示を行う。
【００４８】
図６Ａに示すように、監視端末１４の表示部３７の表示画面は、合成前の複数のカメラを一画面で表示するため、複数のカメラ毎にエリア１６Ａ〜１６Ｄに分割されている。ここでは、３つのカメラ４ａ、４ｂ、４ｃの画像をエリア１６Ａ、１６Ｄ、１６Ｃに示している。エリア１６Ｄには、表示するカメラ画像がないために、空白になっているが、例えば４番目のカメラ４ｄで取得した画像を表示することも可能である。
【００４９】
また図６Ａには、画像合成釦１６Ｅが設けられ、この画像合成釦１６Ｅにタッチすることにより、合成用カメラ４a〜４ｃからの３つの画像が合成されて、図６Ｂ、図６Ｃに示すような全画面１６Ｆ表示に切り替えられる。
【００５０】
［本例の映像監視システムの動作手順］
図７は、本例の映像監視システムを構成する、被監視サイト１（ビル１）に設けられる記録装置５と、管理サーバ６と、監視サイト１３における監視端末１４との間の動作処理の手順を示すフローチャートである。
【００５１】
図７に示すように、監視端末１４から管理サーバ６に対して、合成画像データの表示要求が送信される（ステップＳＡ１）。管理サーバ６は、通信部７を介して監視端末１４からの表示要求を受信する（ステップＳＢ１）。
そして、管理サーバ６の制御部８は、ビル１内に設置されている画像合成用カメラ４a〜４ｃもしくは記録装置５に、画像データの送信要求を行う（ステップＳＢ２）。
【００５２】
被監視サイト１の通信装置３は、管理サーバ７からの送信要求を受信し（ステップＳＣ１）、画像合成用カメラ４a〜４ｃに現地の画像データを取得させるか、あるいは予め取得されて記録装置５に記憶されている画像データを現地の画像データとして取得する（ステップＳＣ２）。
そして、被監視サイト１（ビル１）内の通信装置３から、ネットワーク回線２を介して、現地の画像データが管理サーバ６に送信される（ステップＳＣ３）。
【００５３】
管理サーバ６は、その通信部７で被監視サイト１から送信された画像データを受信する（ステップＳＢ３）。管理サーバ６内の制御部８は、遅延検知部１０を起動して、受信した画像データに付与されている現地画像取得時間をデータベース１２内の現地画像取得時間エリア１２ｄに格納する。続いて、制御部８は、受信した現地画像取得時間と、合成完了時間エリア１２ｅに格納されている合成完了時間とを比較し、５秒以上の遅れがあるかどうかを判断する（ステップＳＢ４）。
【００５４】
ステップＳＢ４にて５秒以上の遅れがあった場合には（ステップＳＢ４のＮＯ）、制御部８は、遅延処理部１１を起動して、画像データのフレームレートを２ｆｐｓから１ｆｐｓへの変換処理を行う（ステップＳＢ５）。つまり、連続する２フレームの画像データのうちの先行する１つのフレームの画像データを間引く。なお、ここで、画像合成用カメラ４a〜４ｃで取得している画像は、図３に示すように、１秒間に２フレームを取得している（つまりフレームレートが２ｆｐｓ）であるとした。
【００５５】
次に、制御部８は、画像合成部９を起動し、ステップＳＢ５で変更されたフレームレートで、ステップＳＢ４にて５秒以上の遅れがあった場合の画像の合成処理を行う（ステップＳＢ６）。その後、制御部８は、通信部７、ネットワーク回線２を経由して、合成された画像データを監視サイト１３の監視端末１４へ送信する（ステップＳＢ７）。
また、制御部８は、画像の合成処理が完了した時刻を合成完了時間エリア１３ｅに格納する（ステップＳＢ８）。監視サイト１３の監視端末１４は、管理サーバ６から送られた画像合成データを受信し（ステップＳＡ２）、この合成した画像を、監視端末１４の表示部３７の画面１６Ｆに表示する（ステップＳＡ３）。
【００５６】
また、ステップＳＢ４において、５秒以上の遅れがないと判断された場合（ステップＳＢ４のＹＥＳ）には、制御部８は、遅延処理部１１を起動することなく、つまりステップＳＢ５の１フレーム分の画像データを間引くことなく、ステップＳＢ６の画像合成処理を行う。
【００５７】
本例の映像監視システムでは、遅延処理に伴うフレームレート変更を２ｆｐｓから１ｆｐｓに変換する処理のみを記載したが、フレームレートを１ｆｐｓから０．５ｆｐｓなどに変換するなどのフレームレートの変換処理を行うようにしてもよい。
【００５８】
以上説明した本例の映像監視システムによれば、管理サーバ６の遅延検知部１０と遅延処理部１１の作用により、複数のカメラ画像の最適な合成が可能となる。すなわち、複数のカメラ画像を合成する際の画像合成完了時刻と現地の撮影時刻との間に時間差があっても、フレームレートを変更することで複数のカメラ画像の最適な合成のリアルタイム性を確保することができる。そして、監視サイトで不正侵入者の追跡や、詳細な情報の取得を迅速に行うことができるため、設備などの異常状態がどこまで広がっているのかを迅速に把握することが可能となる。
【００５９】
また、本例の映像監視システムでは、管理サーバ６を設け、画像合成、遅延検知、及び遅延処理を行っているが、管理サーバ６を用いることなく、監視サイト１３の監視端末１４の内部でこれらの処理を行うことも可能である。
【００６０】
［本発明の第２の実施形態例の説明］
図８は、本発明の第２の実施形態例における監視サイト１３、管理サーバ６及び被監視サイト１（ビル）間での通信動作を説明するためのフローチャートである。
この第２の実施形態例は、監視サイト１３の監視端末１４から、ネットワーク回線２を介して、管理サーバ６から被監視サイト１に対する画像データの送信要求の中に、フレームレートの変更依頼が含まれている場合の例であり、このような場合には、被監視サイト１においてフレームレートの変更が行われる。
【００６１】
第２の実施形態例では、ます、監視サイト１３の監視端末１４から、ネットワーク回線２を介して、管理サーバ６に対して、合成画像データ表示の要求が送信される（ステップＳＡ１）。管理サーバ６の制御部８は、監視端末１４から合成画像データ表示要求を受信し（ステップＳＤ１）、被監視サイト１への画像データの要求データを作成する（ステップＳＤ２）。このステップＳＤ２における要求データの作成は、図７のステップＳＢ４と同様の処理によって行われるが、このとき、管理サーバ６からの要求の中に、フレームレートの変更依頼を含めるようにしている。
【００６２】
すなわち、ステップＳＤ２では、管理サーバ６のデータベース１２の現地画像取得時間エリア１２ｄに保存されている現地画像の取得時刻と、合成完了時間エリア１２ｅに保存されている画像の合成が完了した時刻とを比較する。そして、ステップＳＤ２で、５秒以上の遅れがあるかどうかを判断した後に、被監視サイト１に送信する要求データが作成される。現地画像の取得時刻と画像合成の完了時刻に５秒以上の遅れがある場合には、管理サーバ６は、フレームレートを変更する依頼を要求データに含めて、被監視サイト１に送信する（ステップＳＤ３）。
【００６３】
被監視サイト１では、管理サーバ６からの要求データを受信し（ステップＳＦ１）、画像合成用カメラ４a〜４ｃもしくは記録装置５から対象となる現地の画像データを取得する（ステップＳＦ２）。
そして、ステップＳＤ２によって作成された要求データに従い、要求データ内にフレームレートの変更依頼が含まれているか否かを判断する（ステップＳＦ３）。ステップＳＦ３で、要求データ内にフレームレートの変更依頼が含まれていると判定された場合には（ステップＳＦ３のＮＯ）、被監視サイト１内で、１秒間に２フレームを送信するフレームレート２ｆｐｓから１秒間に１フレームを送信するフレームレート１ｆｐｓに、フレームレートを変更する（ステップＳＦ４）。
【００６４】
一方、ステップＳＦ３で、要求データ内にフレームレートの変更依頼が含まれていないと判定された場合には（ステップＳＦ３のＹＥＳ）、被監視サイト１は、フレームレートを変更することなく、通信装置３からネットワーク回線２を経由して管理サーバ６に画像データを送信する（ステップＳＦ５）。
管理サーバ６は、被監視サイト１から画像データを受信し（ステップＳＤ４）、制御部８は、画像合成部９を起動して、画像の合成処理を行う（ステップＳＤ５）。そして、管理サーバ６は監視サイト１３の監視端末１４へ画像合成データを送信する（ステップＳＤ６）。
【００６５】
制御部８は、画像の合成処理が完了した時刻を合成完了時間エリア１２ｅに格納する（ステップＳＤ７）。監視サイト１３の監視端末１４は、図７の第１の実施形態と同様に、画像合成データを受信し（ステップＳＡ２）、各画像合成用カメラ４ａ〜４ｃの画像を監視端末１４の画面１６Ａ〜Ｃに分割表示するとともに、画像合成データを監視端末１４の画面１６Ｆに表示する（ステップＳＡ３）。
また、上述した第２の実施形態例によれば、被監視サイト１側でフレームレートを変更する（画像を間引く）ことができるので、被監視サイト１側から管理サーバ６へ送信する画像を減らすことができる。
【００６６】
［変形例］
また、変形例として、管理サーバ６の遅延検知部１０で、画像を取得した現地時刻と複数のカメラ画像の合成完了時刻とに、時間遅延が発生していると判断された場合に、管理サーバ６のリソース（ＣＰＵ、メモリ）を一時的に増加させ、遅延が解消されたと判断された場合に、元のリソースに割当てることも考えられる。
【００６７】
上述した各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現することもできる。また、上記の各構成、機能などは、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
【００６８】
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
なお、本発明は、明細書または図面に開示した実施形態例に限定されるものではなく、特許請求の範囲に記載した内容を逸脱しない限りにおいて、他の応用例及び変形例を含むことは勿論である。
【符号の説明】
【００６９】
１１〜１ｎ・・・被監視サイト（ビル）、２・・・ネットワーク回線、３・・・通信装置、４ａ〜４ｄ・・・画像合成用カメラ、５・・・記録装置、６・・・管理サーバ、７・・・通信部、８・・・制御部、９・・・画像合成部、１０・・・遅延検知部、１１・・・遅延処理部、１２・・・データベース、１２ａ・・・  現地情報格納エリア、１２ｂ・・・ＩＰアドレス格納エリア、１２ｃ・・・画像格納エリア、１２ｄ・・・現地画像取得時間エリア、１２ｅ・・・合成完了時間エリア、１３１〜１３ｍ・・・監視サイト、１４・・・監視端末、１６Ａ〜１６Ｄ・・・分割表示領域、１６Ｅ、１６Ｇ・・・画面切替釦、１６Ｆ・・・合成画面表示領域
【図１】
2018207279.tif 000003
【図２】
2018207279.tif 000004
【図３】
2018207279.tif 000005
【図４】
2018207279.tif 000006
【図５】
2018207279.tif 000007
【図６】
2018207279.tif 000008
【図７】
2018207279.tif 000009
【図８】
2018207279.tif 000010