(57)【要約】      （修正有）【課題】複数のカメラにより撮像された映像について画像処理を行う。【解決手段】被写対象を撮像し、撮像映像についてネットワーク送信可能な符号化映像情報を出力する複数のＩＰカメラ１１−１〜１１−３と、ネットワーク１０と、ネットワーク１０に接続され、複数のＩＰカメラ１１−１〜１１−３が送出した映像情報に含まれている少なくともＩフレームを取り込み画像処理用の１画面分のディジタル画像情報へ変換するデコーダ２１と、前記デコーダ２１がデコードした複数のＩＰカメラ１１−１〜１１−３に対応するディジタル画像情報を並列処理にて画像解析し、事象検出を行う画像処理手段２２とを具備する。【選択図】図１
2007221582.tif 000002
【特許請求の範囲】
【請求項１】
被写対象を撮像するカメラを含み、撮像映像についてネットワーク送信可能な符号化映像情報を出力する複数の映像送出部と、
前記複数の映像送出部が接続されるネットワークと、
前記ネットワークに接続され、前記複数の映像送出部が送出した映像情報に含まれている少なくともＩフレームを取り込み１画面分のディジタル画像情報へ変換するデコーダと、
前記デコーダが変換した複数の映像送出部に対応するディジタル画像情報を並列処理にて画像解析し、事象検出を行う画像処理手段と
を具備することを特徴とする監視システム。
【請求項２】
前記画像処理手段は、解析結果に応じて対応する映像送出部の送出に係るディジタル画像情報に関するＣＰＵリソースの割当割合を変更することを特徴とする請求項１に記載の監視システム。
【請求項３】
前記画像処理手段は、１台の装置において実現されることを特徴とする請求項１または請求項２に記載の監視システム。
【請求項４】
前記画像処理手段は、複数台の装置にそれぞれ設けられることを特徴とする請求項１または請求項２に記載の監視システム。
【請求項５】
前記画像処理手段は、解析結果に応じて対応するカメラのディジタル画像情報について処理する画像処理手段へ通知することを特徴とする請求項１に記載の監視システム。
【請求項６】
前記カメラは、ズーム機構、旋回機構を備えており、
前記画像処理手段による解析結果に応じて対応するカメラにおけるズーム機構、旋回機構の制御を行うカメラ制御手段が具備されていることを特徴とする請求項１乃至請求項５のいずれか１項に記載の監視システム。
【請求項７】
旋回角度情報に旋回速度情報及びズーム情報が対応付けられたパトロール用データテーブルを備え、
前記カメラ制御手段は上記パトロール用データテーブルの情報に基づき対応するカメラにおけるズーム機構、旋回機構の制御を行うことを特徴とする請求項６に記載の監視システム。
【請求項８】
カメラ制御手段は、送られる事象発生情報をネットワークを介して受け取り、この事象発生情報に応じて対応するカメラにおけるズーム機構、旋回機構の制御を行うことを特徴とする請求項５に記載の監視システム。
【請求項９】
画像処理手段は、複数台の装置にそれぞれ設けられたカメラ制御手段へ解析結果に応じた通知を行う一方、
通知を受けた装置におけるカメラ制御手段は、通知に応じて対応するカメラのズーム機構、旋回機構の制御を行うことを特徴とする請求項６に記載の監視システム。
【請求項１０】
幾つかのカメラにより得られた映像情報に基づきパノラマ映像を作成する加工映像作成手段を備えていることを特徴とする請求項１乃至請求項９のいずれか１項に記載の監視システム。
【請求項１１】
幾つかのカメラにより得られた映像情報に基づき移動体の移動状況を示す鳥観図映像を作成する加工映像作成手段を備えていることを特徴とする請求項１乃至請求項９のいずれか１項に記載の監視システム。
【請求項１２】
映像送出部により送出された映像情報をネットワークから取り込み蓄積する映像蓄積手段と、
事象発生時の画像情報に、事象発生前後の映像を前記映像蓄積手段から取得する情報をセットした事象発生報知画像をクライアントへ送出する事象発生報知画像提供手段と
を具備することを特徴とする請求項１乃至請求項９のいずれか１項に記載の監視システム。
【請求項１３】
映像情報に含まれている少なくともＩフレームを取り込み1画面分のディジタル画像情報へ変換するデコーダと、
前記デコーダが変換したディジタル画像情報を並列処理にて画像解析し、事象検出を行う画像処理手段と
を具備することを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、カメラを用いて道路監視や侵入監視などの各種監視を行う場合に好適な監視システム及び画像処理装置に関するものである。
【背景技術】
【０００２】
従来の監視システムにおいては、図２２に示されるように監視カメラ１０１−１、１０１−２、・・・により撮像した監視対象のアナログ映像信号をそのまま伝送して事象検出装置１０２へ導くものであった。アナログ映像信号を伝送するために、その劣化を抑制するイコライザー１０３を伝送路に設ける必要があった。事象検出装置１０２は映像信号を取り込んでＡ／Ｄ変換し、画像処理を行って事象検出を行うものであるが、監視カメラ１０１−１、１０１−２、・・・により得られた映像について複数のものを１台の事象検出装置１０２にて処理する場合には、映像分配器１０４によりアナログ映像信号を切り換えて事象検出装置１０２へ送出する構成であった。
【０００３】
このシステムにおいては、映像分配器１０４による瞬時な切り換えが不可能であり、また映像分配器１０４により事象検出装置１０２を切り換える制御を行うことはできず、所要の監視カメラにより撮像された映像について次々に時分割による画像処理を実行することはできないものであった。また、レコーダ１０５によりアナログ映像信号を録画するものであるが、事象検出装置１０２からの制御により必要なアナログ映像信号を選択して録画するように構成されており、過去に録画した映像信号について後になって読み出して画像解析を行うことは不可能であった。
【０００４】
一方、複数の監視カメラにより得られた映像信号についてＭＰＥＧにて伝送を行い、日時情報と共に保存して、再生時には日時情報に基づき複数の画像を表示するものが特許文献１に開示されている。また、通常時にＩフレームのみを送り、所定の動きを検出した際にはＩフレーム、Ｂフレーム、Ｐフレームを送る監視システムが特許文献２に示されている。
【特許文献１】特開２００３−１６３９２３号公報
【特許文献２】特開２０００−１６５８４７号公報
【０００５】
しかしながら、複数のカメラにより撮像された映像について画像処理を行う場合に、１つまたは複数の監視側端末において効率的に解析を行う観点からシステム構築されたものはなく、複数のカメラにより撮像された映像について画像処理を行う場合に好適な監視システム及び画像処理装置の出現が求められている。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明が解決する課題は、複数のカメラにより撮像された映像について画像処理を行う場合に好適なシステムがないことであり、本発明の目的は、複数のカメラにより撮像された映像について画像処理を行う場合に好適な監視システム及び画像処理装置を提供することにある。
【課題を解決するための手段】
【０００７】
本発明に係る監視システムは、被写対象を撮像するカメラを含み、撮像映像についてネットワーク送信可能な符号化映像情報を出力する複数の映像送出部と、前記複数の映像送出部が接続されるネットワークと、前記ネットワークに接続され、前記複数の映像送出部が送出した映像情報に含まれている少なくともＩフレームを取り込み１画面分のディジタル画像情報へ変換するデコーダと、前記デコーダが変換した複数の映像送出部に対応するディジタル画像情報を並列処理にて画像解析し、事象検出を行う画像処理手段とを具備することを特徴とする。
【０００８】
本発明に係る監視システムでは、前記画像処理手段は、解析結果に応じて対応する映像送出部の送出に係るディジタル画像情報に関するＣＰＵリソースの割当割合を変更することを特徴とする。
【０００９】
本発明に係る監視システムでは、前記画像処理手段は、１台の装置にそれぞれ設けられることを特徴とする。
【００１０】
本発明に係る監視システムでは、前記画像処理手段は、複数台の装置により実現されることを特徴とする。
【００１１】
本発明に係る監視システムでは、前記画像処理手段は、解析結果に応じて対応するカメラのディジタル画像情報について処理する画像処理手段へ通知することを特徴とする。
【００１２】
本発明に係る監視システムでは、前記カメラは、ズーム機構、旋回機構を備えており、前記画像処理手段による解析結果に応じて対応するカメラにおけるズーム機構、旋回機構の制御を行うカメラ制御手段が具備されていることを特徴とする。
【００１３】
本発明に係る監視システムでは、旋回角度情報に旋回速度情報及びズーム情報が対応付けられたパトロール用データテーブルを備え、前記カメラ制御手段は上記パトロール用データテーブルの情報に基づき対応するカメラにおけるズーム機構、旋回機構の制御を行うことを特徴とする。
【００１４】
本発明に係る監視システムでは、カメラ制御手段は、送られる事象発生情報をネットワークを介して受け取り、この事象発生情報に応じて対応するカメラにおけるズーム機構、旋回機構の制御を行うことを特徴とする。
【００１５】
本発明に係る監視システムでは、画像処理手段は、複数台の装置にそれぞれ設けられたカメラ制御手段へ解析結果に応じた通知を行う一方、通知を受けた装置におけるカメラ制御手段は、通知に応じて対応するカメラのズーム機構、旋回機構の制御を行うことを特徴とする。
【００１６】
本発明に係る監視システムでは、幾つかのカメラによる映像情報に基づきパノラマ映像を作成する加工映像作成手段を備えていることを特徴とする。
【００１７】
本発明に係る監視システムでは、幾つかのカメラによる映像情報に基づき移動体の移動状況を示す鳥観図映像を作成する加工映像作成手段を備えていることを特徴とする。
【００１８】
本発明に係る監視システムでは、映像送出部により送出された映像情報をネットワークから取り込み蓄積する映像蓄積手段と、事象発生時の画像情報に、事象発生前後の映像を前記映像蓄積手段から取得する情報をセットした事象発生報知画像をクライアントへ送出する事象発生報知画像提供手段とを具備することを特徴とする。
【００１９】
本発明に係る画像処理装置は、映像情報に含まれている少なくともＩフレームを取り込み1画面分のディジタル画像情報へ変換するデコーダと、前記デコーダが変換したディジタル画像情報を並列処理にて画像解析し、事象検出を行う画像処理手段とを具備することを特徴とする。
【発明の効果】
【００２０】
本発明に係る監視システムでは、被写対象を撮像するカメラを含み、撮像映像についてネットワーク送信可能な符号化映像情報を出力する複数の映像送出部からネットワークを介して、前記複数の映像送出部が送出した映像情報に含まれている少なくともＩフレームを取り込み１画面分のディジタル画像情報へ変換し、変換した複数の映像送出部に対応するディジタル画像情報を並列処理にて画像解析し、事象検出を行うので、複数のカメラにより撮像された映像について適切な画像処理を行うことが可能となる効果がある。本発明に係る画像処理装置では、映像情報に含まれている少なくともＩフレームを取り込み1画面分のディジタル画像情報へ変換し、変換したディジタル画像情報を並列処理にて画像解析し、事象検出を行うので、カメラにより撮像された映像について適切な画像処理を行うことが可能となる効果がある。
【００２１】
本発明に係る監視システムでは、解析結果に応じて対応する映像送出部の送出に係るディジタル画像情報に関するＣＰＵリソースの割当割合を変更し、また、解析結果に応じて対応するカメラのディジタル画像情報について処理する画像処理手段へ通知するので、解析結果に応じて適切な並列処理が進行することになる。
【発明を実施するための最良の形態】
【００２２】
本発明に係る監視システムは、映像情報に含まれている少なくともＩフレームを取り込み１画面分のディジタル画像情報へ変換し、変換した複数の映像送出部に対応するディジタル画像情報を並列処理にて画像解析し、事象検出を行う構成を採用することにより、複数のカメラにより撮像された映像について適切な画像処理を行うという目的を達成したものである。
【実施例１】
【００２３】
以下添付図面を参照して、本発明に係る監視システム及び画像処理装置の実施例を説明する。各図において、同一の構成要素には同一の符号を付して重複する説明を省略する。図１には、本発明に係る監視システムの実施例が示されている。この監視システムでは、被写対象を撮像するカメラを含み、撮像映像についてネットワーク送信可能な符号化映像情報（ＭＰＥＧ２、ＭＰＥＧ４の映像情報等）を出力する複数の映像送出部であるＩＰカメラ１１−１、１１−２、１１−３がネットワーク１０に接続されている。映像送出部としては、ＩＰカメラに限られるものではなく、図２に示されるように、ＮＴＳＣ信号などの映像信号を出力するアナログカメラ１２とアナログ映像信号をエンコードして符号化映像情報（ＭＰＥＧ２、ＭＰＥＧ４の映像情報等）へ変換して出力するエンコーダ１３とにより構成することもできる。映像送出部は、複数であれば３台に限定されない。
【００２４】
ネットワーク１０には、パーソナルコンピュータにより構成される監視側端末２０が接続されている。監視側端末２０には、パーソナルコンピュータのディスプレイによる画像表示部３０が接続されていると共に、デコーダ２１、画像処理手段２２、表示制御手段２３が備えられている。デコーダ２１は、上記複数の映像送出部であるＩＰカメラ１１−１、１１−２、１１−３が送出した映像情報に含まれている少なくともＩフレームを取り込み画像処理用の１画面分のディジタル画像情報へ変換するものである。画像処理手段２２は、上記デコーダ２１がデコードした複数のＩＰカメラ１１−１、１１−２、１１−３に対応するディジタル画像情報を並列処理にて画像解析し、事象検出を行うものである。
【００２５】
表示制御手段２３は、画像処理手段２２による画像解析、事象検出結果を用いて、ＩＰカメラ１１−１、１１−２、１１−３が送出した映像情報についてデコードした画像情報に基づく表示を行うものである。
【００２６】
パーソナルコンピュータにより構成される監視側端末２０にあっては、ＣＰＵが図３に示されるフローチャートに対応するプログラムに基づき動作を行うことにより、デコーダ２１、画像処理手段２２、表示制御手段２３として機能するので、このフローチャートに基づき動作を説明する。スタートとなり、３台のＩＰカメラ１１−１、１１−２、１１−３が送出した映像情報を取り込みデコードして、これらに対する画像処理を均等な並列処理により行い（Ｓ１１）、事象発生の検出を行う（Ｓ１２）。上記における映像情報には、Ｉフレーム、Ｂフレーム及びＰフレームが含まれるが、ここではＩフレームのみを取り込み、各画素対応の輝度情報へのデコードを行う。このため、Ｉフレームは１秒間に最大２フレーム分が到達するので、３台のＩＰカメラ１１−１、１１−２、１１−３についてＩフレームのみを取り込む。また、画像処理手段２２による画像処理においては、間欠的な映像であっても物体を検出可能な画像処理アルゴリズム、例えば、エッジ抽出処理などを用いる。
【００２７】
ステップＳ１２における事象発生の検出において、事象発生がなければステップＳ１１へ戻って処理を続ける一方、ステップＳ１２において事象発生が確認されると、事象発生のカメラ１台に対応するデコード結果の画像情報に多くのリソースを割り当てて画像処理を行う（Ｓ１３）。例えば、映像情報のデコードと画像処理ソフトウエアとが図４に示されるように、ＩＰカメラ１１−１に係る映像対応用のタスクＴ１、ＩＰカメラ１１−２に係る映像対応用のタスクＴ２、ＩＰカメラ１１−３に係る映像対応用のタスクＴ３に独立しており、ＣＰＵリソースを使用しており、タスクマネージャＴＭが上記のタスクＴ１〜Ｔ３のいずれのタスクに多くのリソースを割り当てて処理を行うかを制御する。この結果、当初はステップＳ１１において図５（ａ）に示されるようにタスクＴ１〜Ｔ３に均等にリソースを配分していたのに対し、例えば図５（ｂ）に示されるようにタスクＴ１に多くのリソースを配分して処理を行う。リソースを多く配分されたタスクでは、デコードの対象としてＩフレームのみならず、Ｐフレーム更にはＢフレームを用いたデコードを行ったり、白黒画像へのデコードからカラー画像へのデコードを行ったり、処理のアルゴリズムの変更や幾つかのアルゴリズムを組み合わせて画像処理行うなどして処理精度を向上させる。なお、画像表示部３０に対しては、例えば事象発生に係る１台のカメラのカメラ映像についてデコードした画像を表示させる(表示制御手段２３)。
【００２８】
ステップＳ１３による処理の結果について、発生していた事象が消滅したかを検出し（Ｓ１４）、事象が消滅した場合にはステップＳ１１へ戻り、画像処理を均等な並列処理により行う。ステップＳ１４における判定の結果、事象の消滅がなければ、更に残り２台のカメラに対応するデコード結果の画像情報についての処理結果に事象が発生したかを検出し（Ｓ１５）、ステップＳ１５にて事象発生が検出できなければステップＳ１３へ戻って処理を続ける一方、ステップＳ１５にて事象発生が検出されると、この時点において事象発生しているカメラ２台に対応するデコード結果の画像情報に多くのリソースを割り当てて画像処理を行う（Ｓ１６）。例えば図５（ｃ）に示されるように事象発生がないタスクＴ３の処理を停止し、タスクＴ１、Ｔ２のみにリソースを配分して処理を行う。なお、画像表示部３０に対しては、例えば事象発生に係る２台のカメラのカメラ映像についてデコードした画像を画面を２分割するなどして表示させる(表示制御手段２３)。
【００２９】
ステップＳ１６に次いで、発生していた事象が消滅したかを検出し（Ｓ１７）、事象が消滅した場合にはステップＳ１３へ戻り、ステップＳ１７における判定の結果、事象の消滅がなければ、ステップＳ１６による処理を継続する。このような処理によって、事象の発生と消滅とに応じてリソース配分が行われ、複数のカメラにより撮像された映像に対する画像処理が適切に行われることになる。
【実施例２】
【００３０】
図６には、本発明に係る監視システムの第２の実施例が示されている。この監視システムでは、３台の監視側端末２０−１、２０−２、２０−３がネットワーク１０に接続されている。監視側端末２０−１には画像表示部３０−１が備えられ、監視側端末２０−２には画像表示部３０−２が備えられ、監視側端末２０−３には画像表示部３０−３が備えられている。２１−１、２１−２、２１−３はデコーダ、２２−１、２２−２、２２−３は画像処理手段、２３−１、２３−２、２３−３は表示制御手段を示している。監視側端末２０−１には図７に示されるように、２つの処理要請先のアドレス（監視側端末２０−２、２０−３に対応するアドレス）とビジーフラグとがセットにされた処理要請情報が設けられている。
【００３１】
監視側端末２０−１のＣＰＵは図８に示されるフローチャートに対応する処理を行うのに対し、監視側端末２０−２、２０−３のＣＰＵは監視側端末２０−１からの処理要請を受けて図９に示されるフローチャートに対応する画像処理を行う。表示制御手段２３−１、２３−２、２３−３は画像表示部３０−１、３０−２、３０−３に対して、画像処理している対応のカメラのカメラ映像についてデコードした画像を画面を表示させる(表示制御手段２３)。以下、このシステムの動作を図８、図９に示されるフローチャートを参照して説明する。監視側端末２０−１のＣＰＵはスタートとなり、３台のＩＰカメラ１１−１、１１−２、１１−３が送出した映像情報を取り込みデコードして、これらに対する画像処理を均等な並列処理により行い（Ｓ１１）、事象発生の検出を行う（Ｓ１２）。
【００３２】
ステップＳ１２における事象発生の検出において、事象発生がなければステップＳ１１へ戻って処理を続ける一方、ステップＳ１２において事象発生が確認されると、図７に示した処理要請情報を参照して次の（フラグのセットされていない）監視側端末を検索し、この監視側端末（例えば３０−２）へ事象発生に係るカメラに対応するカメラ映像の画像処理を要請してフラグをセットし、事象発生していない２台のカメラに対応するカメラ映像についてデコードして画像処理を行う（Ｓ２３）。これにより、監視側端末２０−１のＣＰＵは２台のカメラに対応するカメラ映像について画像処理を行うため、１台分についてリソースを多く割り当てることができ、Ｉフレームのみならず、Ｐフレーム更にはＢフレームを用いたデコードを行ったり、白黒画像へのデコードからカラー画像へのデコードを行ったり、処理のアルゴリズムの変更や幾つかのアルゴリズムを組み合わせて画像処理行うなどして処理精度を向上させる。なお、画像表示部３０−１に対しては、例えば事象発生していない２台のカメラのカメラ映像についてデコードした画像を表示させる(表示制御手段２３)。
【００３３】
ステップＳ２３による処理に続いて、処理要請先の監視側端末から事象が消滅した旨の通知が到来したかを検出し（Ｓ２４）、事象消滅通知があった場合にはステップＳ１１へ戻り、画像処理を均等な並列処理により行う。ステップＳ２４における判定の結果、事象消滅の通知がなければ、更に残り２台のカメラに対応するデコード結果の画像情報についての処理結果において事象が発生したかを検出し（Ｓ２５）、ステップＳ２５にて事象発生が検出できなければステップＳ２３へ戻って処理を続ける一方、ステップＳ２５にて事象発生が検出されると、図７に示した処理要請情報を参照して次の（フラグのセットされていない）監視側端末を検索し、この監視側端末（例えば３０−３）へ事象発生に係るカメラに対応するカメラ映像の画像処理を要請してフラグをセットし、事象発生していない１台のカメラに対応するカメラ映像についてデコードして画像処理を行う（Ｓ２６）。このとき、画像表示部３０−１に対しては、例えば事象発生していない１台のカメラのカメラ映像についてデコードした画像を表示させる。
【００３４】
ステップＳ２６に次いで、処理要請先の監視側端末から事象が消滅した旨の通知が到来したかを検出し（Ｓ２７）、事象消滅通知があった場合にはステップＳ２３へ戻り、ステップＳ２７における判定の結果、事象消滅の通知がなければ監視側端末３０−１が担当する画像処理について事象発生が検出された場合でも、ステップＳ２６による処理を継続する。このような処理によって、事象の発生と消滅とに応じて負荷分散が行われ、複数のカメラにより撮像された映像に対する画像処理が適切に行われることになる。
【００３５】
一方、監視側端末２０−２、２０−３のＣＰＵは、監視側端末２０−１からの処理要請を受けて図９に示されるフローチャートに対応のプログラムをスタートさせて、要請された１台のカメラが送出した映像情報を取り込みデコードして、これらに対する画像処理を行い（Ｓ３１）、事象の消滅について検出を行う（Ｓ３２）。
【００３６】
上記ステップＳ３２において事象消滅が検出できなければ、ステップＳ３１へ戻って処理を続ける。このとき、画像表示部３０−２または画像表示部３０−３に対しては、処理要請に係る１台のカメラのカメラ映像についてデコードした画像を表示させる。また、上記ステップＳ３２において事象消滅を検出した場合には、事象消滅の通知を処理要請元に係る監視側端末２０−１へ送出して（Ｓ３３）、エンドとなる。
【実施例３】
【００３７】
第３の実施例に係る監視システムにあっては、システムの構成は図６に示した通りであるが、ＩＰカメラ１１−１、１１−２、１１−３が隣接する視界を有しており、例えばＩＰカメラ１１−１により捕らえた移動体がＩＰカメラ１１−１の視界からＩＰカメラ１１−２の視界へ移り、更にＩＰカメラ１１−２の視界からＩＰカメラ１１−３の視界へ移るような状況に配置されている。また、監視側端末２０−１、２０−２、２０−３のＣＰＵは、それぞれに割り当てられたＩＰカメラ１１−１、１１−２、１１−３により送られた映像情報をデコードして、図１０に示されるフローチャートに対応する処理を行うので、以下、このシステムの動作を図１０に示されるフローチャートを参照して説明する。
【００３８】
なお、ここではＩＰカメラ１１−１により捕らえた移動体がＩＰカメラ１１−１の視界からＩＰカメラ１１−２の視界へ移り、更にＩＰカメラ１１−２の視界からＩＰカメラ１１−３の視界へ移るものとし、監視側端末２０−１は視界が隣接する監視側端末２０−２のアドレスを保持しており、監視側端末２０−２は視界が隣接する監視側端末２０−３のアドレスを保持している。監視側端末２０−１、２０−２、２０−３のＣＰＵはスタートとなり、割り当てられたカメラが送出した映像情報を取り込みデコードして、これらに対する画像処理を行い（Ｓ４１）、移動体ありの検出を行う（Ｓ４２）。
【００３９】
上記ステップＳ４２において移動体を検出できなかった場合には、隣接する監視側端末から「移動体あり」の通知がなされたかを検出し（Ｓ４３）、「移動体あり」の通知が到来していなければステップＳ４１へ戻って処理を続ける。また、ステップＳ４２において移動体を検出した場合、またはステップＳ４３において「移動体あり」の通知到来を検出した場合には、移動体検出の場合に定められた処理内容によって画像処理を行って（Ｓ４４）、隣接するカメラ視界へ移動したかについて、予め定められた位置情報（例えば画面の端から横方向へ幾つの画素というような情報）を超えて隣接カメラ方向へ移動した状態かに基づき検出する（Ｓ４５）。
【００４０】
ステップＳ４５において移動体が隣接するカメラ視界へ移動していないことが検出されると、ステップＳ４４へ戻って処理を続け、ステップＳ４５において移動体が隣接するカメラ視界へ移動したことが検出された場合には、隣接するカメラに対応する監視側端末へ移動体ありの通知を行い（Ｓ４６）、ステップＳ４１へ戻って処理を行う。これによって、各監視側端末２０−１、２０−２、２０−３では、早い段階から移動体検出の場合に定められた処理内容によって画像処理を行うことができ、ここでは、デコードの対象としてＩフレームのみならず、Ｐフレーム更にはＢフレームを用いたデコードを行ったり、白黒画像へのデコードからカラー画像へのデコードを行ったり、処理のアルゴリズムの変更や幾つかのアルゴリズムを組み合わせて画像処理行うなどして処理精度を向上させることが可能である。
【実施例４】
【００４１】
図１１には、本発明に係る監視システムの第４の実施例が示されている。この監視システムでは、複数の映像送出部であるＩＰカメラ１１Ａ−１、１１Ａ−２、１１Ａ−３がそれぞれズーム機構と旋回機構とを具備しており、監視側端末２０Ａに備えられたカメラ制御手段２４からの制御情報によりＩＰカメラ１１Ａ−１、１１Ａ−２、１１Ａ−３におけるズーム機構と旋回機構を制御してズームと旋回を行うように構成されている。
【００４２】
カメラ制御手段２４がＩＰカメラ１１Ａ−１、１１Ａ−２、１１Ａ−３についてズームと旋回を行わせるための情報が格納されたパトロール用データテーブル２５が監視側端末２０Ａに備えられている。パトロール用データテーブル２５には図１２に示すように、カメラＩＤに対応して、各フェーズにおける旋回角度と旋回の速度及びズーム比のデータが対応付けられたものが格納されている。図１２におけるカメラＩＤがａのカメラはＩＰカメラ１１Ａ−１に対応し、カメラＩＤがｂのカメラはＩＰカメラ１１Ａ−２に対応している。カメラＩＤがａのカメラにおいてフェーズＦ１では、０度から９０度までの旋回を速度（１秒当たり１度）で行い、ズーム比はｋｋであり、フェーズＦ２では、９１度から９５度までの旋回を速度（１秒当たり０．３度）で行い、ズーム比はｔｔであることを示している。また、カメラＩＤがｂのカメラにおいてフェーズＦ１では、０度から１９０度までの旋回を速度（１秒当たり０．３度）で行い、ズーム比はｋｋであり、フェーズＦ２では、１９１度から２９５度までの旋回を速度（１秒当たり１度）で行い、ズーム比はｔｔであることを示している。
【００４３】
監視側端末２０ＡのＣＰＵは、ＩＰカメラ１１−１、１１−２、１１−３により送られた映像情報をデコードして、図１３に示されるフローチャートに対応する処理を行うので、以下、このシステムの動作を図１３に示されるフローチャートを参照して説明する。監視側端末２０ＡのＣＰＵは、スタートとなりパトロール用データテーブル２５の情報に従ってＩＰカメラ１１−１、１１−２、１１−３へフェーズＦ１から制御情報を送出して旋回及びズームの制御を行い、映像情報の取り込み及びデコードを行って画像処理を行い（Ｓ５１）、事象発生となったかを検出する（Ｓ５２）。この画像処理では、ＩＰカメラ１１−１、１１−２、１１−３からの映像情報の取り込み及びデコードと画像処理は均等にリソース配分して行う。
【００４４】
ステップＳ５２において、事象発生が検出されなければステップＳ５１へ戻って処理を行う一方、ステップＳ５２において、事象発生が検出された場合には、該当カメラに対して予め定められた値（例えば、最大値）までズームを行うように制御を行い、旋回速度を予め定められた値（例えば、最低値或いは停止）まで速度を落して、所定秒間のカメラ制御を行い、映像情報の取り込み及びデコードを行って画像処理を行う（Ｓ５３）。
【００４５】
上記ステップＳ５３に次いで、ステップＳ５３における旋回角度、速度、ズーム比を保存し、パトロール用データテーブル２５の情報と比較して（Ｓ５４）、該旋回角度、速度、ズーム比が一致しているかを調べる（Ｓ５５）。ステップＳ５５において一致していることが検出されると、ステップＳ５１へ戻り処理を続け、ステップＳ５５において不一致が検出されると、パトロール用データテーブル２５へ上記旋回角度、速度、ズーム比を反映させて（Ｓ５６）、ステップＳ５１へ戻り処理を続ける。このようにして、事象発生が起こる旋回場所（旋回範囲）に対して旋回速度やズーム比を適切にしてカメラによるパトロール監視がなされる。なお、本実施例では、１回の事象発生によりパトロール用データテーブル２５へ旋回角度、速度、ズーム比の反映を行ったが、同一旋回角度のときに所定回数の事象発生があったことを条件として反映を行うようにしても良い。
【実施例５】
【００４６】
図１４には、本発明に係る監視システムの第５の実施例が示されている。この監視システムでは、３台の監視側端末２０Ａ−１、２０Ａ−２、２０Ａ−３がネットワーク１０に接続されている。監視側端末２０Ａ−１、２０Ａ−２、２０−３には図６の構成に加えて、カメラ制御手段２４−１、２４−２、２４−３が備えられている。ＩＰカメラ１１Ａ−１、１１Ａ−２、１１Ａ−３が旋回により同一の移動体を撮像可能となっており、例えばＩＰカメラ１１Ａ−１により捕らえた移動体を捕らえた場合にＩＰカメラ１１−２とＩＰカメラ１１−３のパーンを行うことで同一の移動体を撮像可能な状況に各カメラが配置されている。また、監視側端末２０Ａ−１、２０Ａ−２、２０Ａ−３のＣＰＵは、それぞれに割り当てられたＩＰカメラ１１Ａ−１、１１Ａ−２、１１Ａ−３により送られた映像情報をデコードして、図１５に示されるフローチャートに対応する処理を行うので、以下、このシステムの動作を図１５に示されるフローチャートを参照して説明する。
【００４７】
なお、ここではＩＰカメラ１１Ａ−１により移動体が捕らえられＩＰカメラ１１−２とＩＰカメラ１１−３をパーンさせる場合について説明するものとし、監視側端末２０Ａ−１、２０Ａ−２、２０Ａ−３は、それぞれ他の監視側端末のアドレスを保持している。監視側端末２０Ａ−１、２０Ａ−２、２０Ａ−３のＣＰＵはスタートとなり、割り当てられたカメラが送出した映像情報を取り込みデコードして、これらに対する画像処理を行い（Ｓ６１）、移動体ありの検出を行う（Ｓ６２）。
【００４８】
上記ステップＳ６２において移動体を検出できなかった場合には、他の監視側端末から「移動体あり」の通知がなされたかを検出し（Ｓ６３）、「移動体あり」の通知が到来していなければステップＳ６１へ戻って処理を続ける。また、ステップＳ６２において移動体を検出した場合、予め定められたカメラに対応する監視側端末（ここでは、２０Ａ−２、２０Ａ−３）へ移動体ありの通知を行い（Ｓ６７）、ＩＰカメラ１１Ａ−１に対して移動体に合わせて旋回制御を行わせながら、ＩＰカメラ１１Ａ−１から送られる映像情報を取り込みデコードして画像処理を行う（Ｓ６８）。このとき、カメラの旋回については、移動体が画面の中央領域に映るように制御する。
【００４９】
ステップＳ６８による旋回制御の結果、追跡範囲を超えたかを旋回角度により求めて判定し（Ｓ６５）、追跡範囲を超えていないときにはステップＳ６８による処理を継続し、追跡範囲を超えるとＩＰカメラ１１Ａ−１に対しホームポジションへ戻る旋回制御を行って（Ｓ６６）、ステップＳ６１へ戻り処理行う。
【００５０】
ステップＳ６２において、移動体を検出できなかった場合には、他の監視側端末から「移動体あり」の通知がなされたかを検出し（Ｓ６３）、「移動体あり」の通知が到来していなければステップＳ６１へ戻って処理を続ける。また、ステップＳ６２において移動体を検出した場合には、ＩＰカメラ１１Ａ−１に対し移動体検出の場合に定められた角度だけ旋回制御を行い、移動体に合わせて旋回制御を行うと共に画像処理を行う（Ｓ６４）。このステップＳ６４に次いで、追跡範囲を超えたかを旋回角度により求めて判定し（Ｓ６５）、追跡範囲を超えていないときにはステップＳ６８による処理を継続し、追跡範囲を超えるとＩＰカメラ１１Ａ−１に対しホームポジションへ戻る旋回制御を行って（Ｓ６６）、ステップＳ６１へ戻り処理行う。
【００５１】
監視側端末２０Ａ−２、２０Ａ−３のＣＰＵは、監視側端末２０Ａ−１からの「移動体あり」の通知により、ステップＳ６３においてＹＥＳへ分岐して処理続けることから、監視側端末２０Ａ−１において「移動体あり」の検出がなされた場合に、ＩＰカメラ１１Ａ−２、１１Ａ−３がパーンされて移動体の追跡が始まることから、画像処理を行う場合に、デコードの対象としてＩフレームのみならず、Ｐフレーム更にはＢフレームを用いたデコードを行ったり、白黒画像へのデコードからカラー画像へのデコードを行ったり、処理のアルゴリズムの変更や幾つかのアルゴリズムを組み合わせて画像処理行うなどして処理精度を向上させることが可能である。
【実施例６】
【００５２】
第６の実施例は図１６に示すように、図６に示した監視システムにおける例えば監視側端末２０−１に、加工映像作成手段２６、事象発生報知画像提供手段２７及び映像配信手段２８を具備させて構成したものである。監視側端末２０−１備えられている他の手段は図６における実施例にて説明したものであり、ここでは図示を省略する。この監視システムにおいては、加工映像情報の配信先であるクライアント端末４０（ここでは、１台であるが、複数でも良い）がネットワーク１０に接続されており、また、ＩＰカメラ１１−１、１１−２、１１−３によって構成される映像送出部により送出された映像情報をネットワーク１０から取り込み蓄積する映像蓄積手段である映像蓄積サーバ５０がネットワーク１０に接続されている。
【００５３】
加工映像作成手段２６は、幾つかのカメラによる映像情報に基づきパノラマ映像を作成するものであり、また、幾つかのカメラによる映像情報に基づき移動体の移動状況を示す鳥観図映像を作成するものである。また、事象発生報知画像提供手段２７は、事象発生時の画像情報に、事象発生前後の映像を映像蓄積手段から取得する情報をセットした事象発生報知画像をクライアントへ送出するものである。映像配信手段２８は上記加工映像作成手段２６により作成されたパノラマ映像、鳥観図映像の画像情報、事象発生報知画像提供手段２７による事象発生報知画像情報などを、例えばパーソナルコンピュータにより構成されているクライアント端末４０へ配信するものである。
【００５４】
加工映像作成手段２６は例えば、ＩＰカメラ１１−１、１１−２、１１−３の画角（背景）が類似する場合にパノラマ映像を作成するように構成され、ＩＰカメラ１１−１、１１−２、１１−３の画角（背景）が異なる場合に鳥観図映像を作成するように構成される。加工映像作成手段２６は監視側端末２０−１のＣＰＵが図１７、図１８に示すフローチャートに対応するプログラムを実行することにより実現されるので、以下、図１７、図１８に示すフローチャートに基づき動作を説明する。
【００５５】
移動体検出があると、図１７に示すフローチャートに対応するプログラムをパノラマ映像を作成する。まず、画像処理手段２２の画像処理により移動体の移動速度を求め、各カメラにより送られる映像情報の取得時刻を決定し（Ｓ７１）、取得時刻に各ＩＰカメラ１１−１、１１−２、１１−３から送られる映像情報を取り込み、静止画の画像情報を得て、背景が繋がるように、例えば各画面の側部における定められた長さ部分を重ねて画像を合成する（Ｓ７２）。
【００５６】
ステップＳ７２における各ＩＰカメラ１１−１（ＩＤ：ａ）、１１−２（ＩＤ：ｂ）、１１−３（ＩＤ：ｃ）から送られる映像情報の取得において、図１９の左側に示すようにカメラａ画像、カメラｂ画像、カメラｃ画像が得られた場合には、これらを横方向に連ねて合成し、進行方向を示す破線の矢印画像を重ねてパノラマ映像Ｐ１が得られる。このようにして得られたパノラマ映像は映像配信手段２８は、予め保持しているクライアント端末４０のアドレスを用いてクライアント端末４０へ配信する（Ｓ７３）。
【００５７】
また鳥観図映像を作成する場合には、移動体検出があると、図１８に示すフローチャートに対応するプログラムを実行する。まず、画像処理手段２２の画像処理により移動体の移動速度を求め、各カメラにより送られる映像情報の取得時刻を決定し、取得時刻に各ＩＰカメラ１１−１、１１−２、１１−３から送られる映像情報を取り込みデコードする（Ｓ８１）。次に、各カメラ対応のデコード画像において各カメラから移動体までの距離と位置を画面上の座標から検出する処理を行い、各距離と位置を鳥観図の画面における位置座標へ変換する（Ｓ８２）。上記距離検出及び距離と位置から鳥観図の位置座標への変換には、例えば、予め作成された変換テーブルが用いられる。
【００５８】
ステップＳ８２において求められた位置座標に、移動体のマークＭを図１９における鳥観図映像Ｐ２に示すように配置し、移動体の進行方向を示す破線の矢印画像を配置して、鳥観図映像Ｐ２が完成され、この鳥観図映像Ｐ２は映像配信手段２８により、予め保持しているクライアント端末４０のアドレスを用いてクライアント端末４０へ配信される（Ｓ８３）。
【００５９】
監視側端末２０−１はＷＷＷサーバとしてクライアント端末４０へ、例えば図示せぬカメラの映像情報を表示するＷｅｂデータを転送して、当初は図２１に示す監視画面Ｈのうち、事象発生表示Ｅのないものをクライアント端末４０の表示器に表示させる機能を有する。事象発生があると、監視側端末２０−１のＣＰＵは図２０に示すフローチャートに対応するプログラムを起動し、事象発生報知画像提供手段２７による事象発生報知画像の画像情報の提供を行う。
【００６０】
即ち、事象発生を受けて図２０に示すフローチャートに対応するプログラムが起動されると、ＣＰＵは事象発生時のデコード画像情報（事象発生表示Ｅに表示するもの）に、映像蓄積サーバ５０に蓄積されている上記事象発生に係るＮ秒前後の映像情報が蓄積されている映像を取り出すプログラム（リンク先アドレス等）をチェーンして、クライアント端末４０へ送る（Ｓ９１）。これによりクライアント端末４０のＷｅｂブラウザは、図２１の監視画面Ｈを表示する。事象発生表示Ｅの部分には、事象発生に係るＮ秒前後の映像情報が蓄積されている映像を取り出すプログラムがチェーンされており、事象発生表示Ｅの部分をマウスでクリックすると、事象発生に係るＮ秒前後の映像情報が映像蓄積サーバ５０から送られて、事象発生に係るＮ秒前後の動画映像がクライアント端末４０の表示器に表示される。以上のように、この実施例によりパノラマ映像、鳥観図映像、事象発生に係るＮ秒前後の映像をクライアント端末にて図２１に示すように動画再生することができ、事象発生について効果的な報知が可能となるものである。この第６の実施例の構成は第１の実施例等、他の実施例の構成と共に採用することができ、より効率的な監視を行うことができる。
【図面の簡単な説明】
【００６１】
【図１】本発明における第１の実施例に係る監視システムの構成を示す図。
【図２】本発明の監視システムに用いられる映像送出部の他の構成例を示す図。
【図３】本発明における第１の実施例に係る監視システムの動作を説明するためのフローチャート。
【図４】本発明における第１の実施例に係る監視システムによる並列処理のためのタスク構成を示す図。
【図５】本発明における第１の実施例に係る監視システムによるリソース配分の変遷を説明するための図。
【図６】本発明における第２の実施例に係る監視システムの構成を示す図。
【図７】本発明における第２の実施例に係る監視システムにて用いられる処理要請情報の内容を示す図。
【図８】本発明における第２の実施例に係る監視システムの動作を説明するためのフローチャート。
【図９】本発明における第２の実施例に係る監視システムの動作を説明するためのフローチャート。
【図１０】本発明における第３の実施例に係る監視システムの動作を説明するためのフローチャート。
【図１１】本発明における第４の実施例に係る監視システムの構成を示す図。
【図１２】本発明における第４の実施例に係る監視システムにて用いられるパトロール用データテーブルの内容を示す図。
【図１３】本発明における第４の実施例に係る監視システムの動作を説明するためのフローチャート。
【図１４】本発明における第５の実施例に係る監視システムの構成を示す図。
【図１５】本発明における第５の実施例に係る監視システムの動作を説明するためのフローチャート。
【図１６】本発明における第６の実施例に係る監視システムの構成を示す図。
【図１７】本発明における第６の実施例に係る監視システムの動作を説明するためのフローチャート。
【図１８】本発明における第６の実施例に係る監視システムの動作を説明するためのフローチャート。
【図１９】本発明における第６の実施例に係る監視システムにおける加工映像作成動作を説明するための図。
【図２０】本発明における第６の実施例に係る監視システムの動作を説明するためのフローチャート。
【図２１】本発明における第６の実施例に係る監視システムにおける事象発生報知画像作成動作を説明するための図。
【図２２】従来例に係る監視システムの構成を示す図。
【符号の説明】
【００６２】
１０  ネットワーク 
１１−１〜１１−３、１１Ａ−１〜１１Ａ−３  ＩＰカメラ 
１２  アナログカメラ 
１３  エンコーダ 
２０、２０−１〜２０−３、２０Ａ、２０Ａ−１〜２０Ａ−３  監視側端末 
２１、２１−１〜２１−３  デコーダ 
２２  画像処理手段 
２３  表示制御手段 
２４  カメラ制御手段 
２５  パトロール用データテーブル 
２６  加工映像作成手段 
２７  事象発生報知画像提供手段 
２８  映像配信手段 
３０、３０−１〜３０−３  画像表示部 
４０  クライアント端末 
５０  映像蓄積サーバ
【図１】
2007221582.tif 000003
【図２】
2007221582.tif 000004
【図３】
2007221582.tif 000005
【図４】
2007221582.tif 000006
【図５】
2007221582.tif 000007
【図６】
2007221582.tif 000008
【図７】
2007221582.tif 000009
【図８】
2007221582.tif 000010
【図９】
2007221582.tif 000011
【図１０】
2007221582.tif 000012
【図１１】
2007221582.tif 000013
【図１２】
2007221582.tif 000014
【図１３】
2007221582.tif 000015
【図１４】
2007221582.tif 000016
【図１５】
2007221582.tif 000017
【図１６】
2007221582.tif 000018
【図１７】
2007221582.tif 000019
【図１８】
2007221582.tif 000020
【図１９】
2007221582.tif 000021
【図２０】
2007221582.tif 000022
【図２２】
2007221582.tif 000023
【図２１】
2007221582.tif 000024