(57)【要約】【課題】  監視カメラの映像に基づいて対応処理を行なう場合に、適切なタイミングで対応処理を行なえるようにする。【解決手段】映像中の変化した領域を特定するための変化領域情報を入力する手段と、変化した領域が未監視対象の場合に、識別子を付して監視対象とするとともに、監視対象の位置情報を含む、監視対象が現れた旨の情報を出力する手段と、監視対象となっている領域が所定の距離移動した場合に、監視対象の位置情報を含む、監視対象が移動した旨の情報を出力する手段と、監視対象となっている領域が所定の距離移動していない場合に、あらかじめ定めた間隔で、監視対象の位置情報を含む、所定時間が経過した旨の情報を出力する手段とを備えた映像情報出力装置。【選択図】図１
2009017031.tif 000002
【特許請求の範囲】
【請求項１】
映像中の変化した領域を特定するための変化領域情報を入力する入力手段と、
変化した領域が未監視対象の場合に、識別子を付して監視対象とするとともに、監視対象の位置情報を含む、監視対象が現れた旨の情報を出力する監視対象認識手段と、
監視対象となっている領域が所定の距離移動した場合に、監視対象の位置情報を含む、監視対象が移動した旨の情報を出力する移動認識手段と、
監視対象となっている領域が所定の距離移動していない場合に、あらかじめ定めた間隔で、監視対象の位置情報を含む、所定時間が経過した旨の情報を出力する経時認識手段とを備えることを特徴とする映像情報出力装置。
【請求項２】
請求項１に記載の映像情報出力装置であって、
前記あらかじめ定めた間隔は、前記所定時間が経過した旨の情報を連続して出力する毎に、所定の上限値まで、長く設定されることを特徴とする映像情報出力装置。
【請求項３】
映像信号を出力する監視カメラと、前記映像信号に基づく映像中の変化した領域を特定するための変化領域情報を出力する映像変化検出装置と、請求項１または２に記載の映像情報出力装置とを備えた監視カメラシステム。
【請求項４】
前記監視カメラが出力する映像信号に基づく映像と、前記映像情報出力装置が出力する情報に基づく領域を示す表示とを重畳させて表示する監視装置をさらに備えることを特徴とする請求項３に記載の監視カメラシステム。
【請求項５】
監視カメラが撮影した映像中の変化した領域を特定するための変化領域情報を入力して、映像に関する情報を出力するカメラ制御装置における映像情報出力方法であって、
変化した領域が未監視対象の場合に、識別子を付して監視対象とするとともに、監視対象の位置情報を含む、監視対象が現れた旨の情報を出力する監視対象認識処理と、
監視対象となっている領域が所定の距離移動した場合に、監視対象の位置情報を含む、監視対象が移動した旨の情報を出力する移動認識処理と、
監視対象となっている領域が所定の距離移動していない場合に、あらかじめ定めた間隔で、監視対象の位置情報を含む、所定時間が経過した旨の情報を出力する経時認識処理とを含むことを特徴とする映像情報出力方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視カメラの映像に基づく情報を出力する映像情報出力装置、監視カメラシステム、及び映像情報出力方法に関する。
【背景技術】
【０００２】
近年、ビデオカメラ装置を用いた監視が広く行なわれている。ビデオカメラ装置による監視では、映像中の動いている物体を自動検出することで監視担当者の監視業務を支援する技術が知られている。さらに、動いている物体を検出してビデオカメラ装置を追尾させる技術も知られている（例えば、特許文献１）。
【特許文献１】特開平５−３３４５７２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
動いている物体の検出は、一般に、映像の前後のフレームを比較することで行なわれる。そして、前後のフレームで変化があった場合に、変化のあった領域に動いている物体が存在していると見なして、警告、カメラ追尾等の対応処理を行なう。つまり、映像の変化の検出がトリガーとなって対応処理が行なわれることになる。
【０００４】
ところが微細な映像の変化を検出した場合にも対応処理を行なうとすると、制御が煩雑となり、不必要な処理も多くなる。一方で、ある程度大きな変化を検出しないと対応処理を行なわないようにすると、重要な動きを見逃してしまうおそれがある。
【０００５】
また、不審物が映し出された場合でも、その後、停止したり、置き去りにされて変化が検出されない場合にはその後の対応処理が行なわれないことになり、監視支援処理として不適切な状況も起こり得る。
【０００６】
このように、どのタイミングで対応処理を行なうかは監視支援処理上非常に重要な問題である。本発明は、このような状況を鑑みてなされたものであり、監視カメラの映像に基づいて対応処理を行なう場合に、適切なタイミングで対応処理を行なえるようにするための映像情報出力装置、監視カメラシステム、及び映像情報出力方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、本発明に係る映像情報出力装置は、映像中の変化した領域を示す変化情報を入力する入力手段と、変化した領域が未監視対象の場合に、識別子を付して監視対象とするとともに、監視対象の位置情報を含む、監視対象が現れた旨の情報を出力する監視対象認識手段と、監視対象となっている領域が所定の距離移動した場合に、監視対象の位置情報を含む、監視対象が移動した旨の情報を出力する移動認識手段と、監視対象となっている領域が所定の距離移動していない場合に、あらかじめ定めた間隔で、監視対象の位置情報を含む、所定時間が経過した旨の情報を出力する経時認識手段とを備える。
【０００８】
本発明によれば、監視対象物が所定の距離移動した場合に加え、所定距離移動しない場合でもあらかじめ定めた間隔で監視対象の位置情報を含む情報を出力するため、この情報に基づいて対応処理を行なうことにより、適切なタイミングで対応処理を行なうことができる。
【０００９】
ここで、あらかじめ定めた間隔は、前記所定時間が経過した旨の情報を連続して出力する毎に、所定の上限値まで、長く設定してもよい。これにより、監視対象物の動きが少ない場合に、扱う情報量を削減することができる。
【００１０】
上記課題を解決するため、本発明に係る監視カメラシステムは、映像信号を出力する監視カメラと、映像信号に基づく映像中の変化した領域を示す変化情報を出力する映像変化検出装置と、上述の映像情報出力装置とを備える。
【００１１】
また、監視カメラが出力する映像信号に基づく映像と、前記映像情報出力装置が出力する情報に基づく領域を示す表示とを重畳させて表示する監視装置をさらに備えるようにしてもよい。
【００１２】
本発明によれば、映像信号に基づく映像に変化した領域を重畳させて表示する対応処理を行なうことで、監視担当者の監視処理を支援することができる。
【００１３】
上記課題を解決するため、本発明に係る映像情報出力方法は、監視カメラが撮影した映像中の変化した領域を示す変化情報を入力して、映像に関する情報を出力するカメラ制御装置における映像情報出力方法であって、変化した領域が未監視対象の場合に、識別子を付して監視対象とするとともに、監視対象の位置情報を含む、監視対象が現れた旨の情報を出力する監視対象認識処理と、監視対象となっている領域が所定の距離移動した場合に、監視対象の位置情報を含む、監視対象が移動した旨の情報を出力する移動認識処理と、監視対象となっている領域が所定の距離移動していない場合に、あらかじめ定めた間隔で、監視対象の位置情報を含む、所定時間が経過した旨の情報を出力する経時認識処理とを含む。
【００１４】
本発明によれば、監視対象物が所定の距離移動した場合に加え、所定距離移動しない場合でもあらかじめ定めた間隔で監視対象の位置情報を含む情報を出力するため、この情報に基づいて対応処理を行なうことにより、適切なタイミングで対応処理を行なうことができる。
【発明の効果】
【００１５】
本発明によれば、監視カメラの映像に基づいて対応処理を行なう場合に、適切なタイミングで対応処理を行なえるようになる。
【発明を実施するための最良の形態】
【００１６】
本発明の実施の形態について図面を参照して詳細に説明する。図１は、本発明の実施形態が適用された監視カメラシステムの構成を示すブロック図である。本図に示すように監視カメラシステムは、監視カメラ１０とカメラ制御装置２０と監視装置３０とを備えて構成される。
【００１７】
監視カメラ１０は、撮影した映像を映像信号として外部に出力する。また、制御部１１に入力される制御信号により動作するズーム、パン・チルト機能を備えている。ズームの倍率、パン・チルトの角度を示す情報は映像信号とともに外部に出力される。この情報により、映像に映っている領域を特定することができる。ただし、監視カメラ１０は、固定式であってもかまわない。また、監視カメラ１０が出力する映像信号は圧縮処理を施したものであってもよい。
【００１８】
カメラ制御装置２０は、監視カメラ１０から入力した映像信号を解析して監視対象物を検出し、必要に応じて監視対象物に関するイベントデータを生成する。イベントデータには、監視対象物の映像中の位置を示す情報が含まれる。また、カメラ制御装置２０は、生成したイベントデータに基づいて制御信号を出力し、監視カメラ１０を操作する。このため、カメラ制御装置２０は、映像変化検出部２１とイベント生成部２２とカメラ操作部２３とを備えている。
【００１９】
映像変化検出部２１は、映像を構成する前後のフレームを比較し、変化のあった領域を検出する。変化の検出は、所定間隔（例えば、数フレーム毎）で連続的に行ない、変化が検出された領域を特定する変化領域情報をイベント生成部２２に出力する。変化が検出された領域を特定する情報は、例えば、フレーム中の矩形領域を示す座標および検出時刻とすることができる。なお、変化検出アルゴリズムは特に限定せず、既知の技術を用いることができる。
【００２０】
イベント生成部２２は、映像変化検出部２１が出力した変化領域情報に基づいて、監視対象物を認識し、必要に応じてイベントデータを生成する。イベント生成部２２の詳細な処理およびイベントデータの内容については後述する。
【００２１】
カメラ操作部２３は、イベント生成部２２が出力したイベントデータに基づいて、監視カメラ１０が監視対象物を追従するように動作させるための制御信号を出力する。イベントデータには、監視対象物の映像中の位置を示す情報が含まれるため、この情報に基づいて、ズーム、パン・チルトを指示することができる。監視対象物の追従アルゴリズムは特に限定せず、既知の技術を用いることができる。また、監視カメラ１０が固定式の場合は、カメラ操作部２３は不要である。
【００２２】
監視装置３０は、データ入力部３１と画像処理部３２と映像表示部３３と記録部３４とを備えている。データ入力部３１は、監視カメラ１０が出力する映像信号とカメラ制御装置２０のイベント生成部２２が出力するイベントデータとを入力する。両データは必ずしも同一の伝送路で伝送する必要はなく、また、同期させたり合成する必要もない。すなわち、映像信号とイベントデータとは別経路で非同期に伝送することができる。
【００２３】
画像処理部３２は、映像信号に基づく映像画面にイベントデータが示す領域枠を重畳させた画面を生成する。映像信号およびイベントデータは、時間情報を持っているため両者を同期させることができる。また、映像信号に付随する監視カメラ１０のズーム、パン・チルト情報と、イベントデータが含む領域情報とから、両者の位置的な調正を行なうことができる。映像表示部３３は、画像処理部３２が生成した重畳映像を表示するモニタ装置である。
【００２４】
図２は、画像処理部３２が生成して映像表示部３３に映し出される重畳画面の一例を示す図である。本図の例では、「人物」を監視対象物として認識しており、イベントデータは「人物」を含む領域を示している。画像処理部３２は、本図に示すように監視対象物を矩形枠５０１で表示し、映像信号の映像５００に重畳する。
【００２５】
記録部３４は、映像信号とイベントデータとを記録する。ただし、映像信号のみを記録するようにしてもよい。また、重畳映像を記録してもよい。なお、記録部３４は、常時記録するようにしてもよいし、監視対象物が存在している期間およびその前後のみを記録するようにしてもよい。
【００２６】
本実施形態において、監視カメラ１０は監視対象場所に設置され、カメラ制御装置２０は監視カメラ１０の近傍に設置されるようにする。これに対して、監視装置３０は、監視場所から離れた場所に設置することができる。監視カメラ１０およびカメラ制御装置２０から監視装置３０へのデータ転送は、専用線を用いてもよいし、インターネット等のネットワークを介してもよい。
【００２７】
監視カメラ１０とカメラ制御装置２０とを近傍に設置することにより、映像信号の伝送遅延を最小限にすることでき、映像信号に基づくイベントの生成および監視対象物を追従するカメラ操作をリアルタイムに行なうことができる。一方、監視装置３０では、多少の映像信号の伝送遅延が発生しても、映像表示部３３で、監視対象物を含む映像と矩形枠とが同期しておれば監視自体に大きな影響はないと考えられる。
【００２８】
すなわち、カメラ操作を監視カメラ１０から離れた監視装置３０で行なおうとすると、映像信号の伝送遅延が発生した場合に、監視対象物の実際の動きとカメラ操作の指示とにタイムラグが生じて監視対象物の追従に失敗するおそれがあるのに対して、本実施形態では、カメラ操作を監視カメラ１０の近くに設置されたカメラ制御装置２０で行なうことにより、追従精度を高めることができる。
【００２９】
つぎに、カメラ制御装置２０のイベント生成部２２が行なう処理について説明する。本実施形態では、監視カメラ１０が撮影した映像のうち、変化が検出された領域には動体が存在しているものとして、その動体に識別子を割り振って監視対象とする。
【００３０】
図３は、動体を認識して監視対象とする処理の流れを説明するフロー図である。イベント生成部２２は、映像変化検出部２１から、変化領域情報を連続的に入力する（Ｓ１０１）。そして、変化領域情報から映像に変化した領域があったことを検知すると（Ｓ１０２：Ｙｅｓ）、その領域に対応する物体が初めて登場した物体であるかどうかを判断する（Ｓ１０３）。初めて登場した物体かどうかの判断は、その物体がすでに監視対象になっているかどうか、すなわち、その物体に対してすでに識別子が付与されているかどうかで判断することができる。一般的には、映像の領域外から領域内に入ってきた物体が初めて登場した物体に該当する。
【００３１】
初めて登場した物体であると判断した場合（Ｓ１０３：Ｙｅｓ）は、その物体に対して識別子を付与し、監視対象として設定する。また、新たな監視対象物が登場したとしてイベントデータを生成する（Ｓ１０４）。一旦、監視対象となると、その後の動きの有無にかかわらず、同一識別子でその領域を認識し続ける。なお、退場した後、再登場した場合には新たに識別子を付与する。一般に、変化領域情報だけでは、再登場か初登場かの判断はできないからである。
【００３２】
図４は、新たな監視対象物が登場した場合に生成するイベントデータの一例を示す図である。本例ではイベントデータは、ＸＭＬ（Extensible Markup Language）で記述するものとするが、他の記述様式であってもかまわない。イベントデータは、１行目でイベントデータであることを示し、２行目で生成日時を記述している。３行目、４行目では新たな動きが検出された領域の頂点座標（例えば、左下頂点）が記録され、５行目に割り振った識別子が記録される。そして、６行目でイベントデータの発生要因として「Object Entered」が記録される。８行目、９行目では領域の大きさが示される。さらに画面そのものの幅と高さが１０行目、１１行目で記述されている。また、必須ではないが、物体の移動方向、速度、色が１２〜１４行目に記述されている。監視装置３０の画像処理部３２は、このようなイベントデータを取得することで、図２に示したような矩形枠が重畳された映像を生成することができる。
【００３３】
一方、初めて登場した物体でないと判断した場合（Ｓ１０３：Ｎｏ）は、監視対象物が退場したかどうかを判断する（Ｓ１０５）。監視対象物の退場は、すでに監視対象物になっている物体に対応した領域が映像の領域外から出てしまった場合が該当する。なお、領域内で停止して動きが検出されない場合は、監視対象として継続する。
【００３４】
監視対象物が退場したと判断した場合（Ｓ１０５：Ｙｅｓ）は、監視対象から解除し、監視対象物が退場したことを示すイベントデータを生成する（Ｓ１０６）。
【００３５】
以上の登場、退場の判断処理を変化が検出された全領域に対して行ない（Ｓ１０７）、すべての対象を処理すると（Ｓ１０７：Ｙｅｓ）、次の変化領域情報の入力を待つ（Ｓ１０１）。
【００３６】
つぎに、イベント生成部２２が行なう監視対象物に対する監視処理について図５のフロー図を参照して説明する。イベント生成部２２は、タイマを内蔵しており、以下に示す処理をすべての監視対象物に対して行なう。
【００３７】
まず、タイマの初期値を設定して（Ｓ２０１）、タイマをスタートさせる（Ｓ２０２）。ここで、タイマは、監視対象物に動きが検出されない場合でも、ある程度の時間間隔でイベントデータを発生させるために用いられる。タイマの初期値は任意であるが、例えば、１秒とすることができる。
【００３８】
また、イベント生成部２２は、監視対象物に閾値以上の動きがあったかどうかを判断する（Ｓ２０３）。ここでは、閾値以上の動きの判断は、所定距離の移動があったかどうかを判断するものとする。一般に、映像変化検出部２１は、監視対象物の小さな動きも検出することができる。しかしながら小さな動きが検出されるたびにイベントデータを生成するとしたらイベントデータの数が膨大になる。また、そのようなイベントデータに基づいて監視カメラ１０を監視対象物に追従させようとすると、パン・チルトが頻繁に発生してぶれた映像になってしまい、監視映像としてはふさわしくない。
【００３９】
このため、本実施形態では、所定距離の移動を検出した場合（Ｓ２０３：Ｙｅｓ）に、監視対象物が移動したことを示すイベントデータを生成することとしている（Ｓ２０４）。図６は、監視対象物が移動したことを示すイベントデータの一例を示す図である。基本的な構成は、図４に示した例と同様であるため詳しい説明は省略するが、６行目のイベントデータの発生要因として「Object Moved」が記録される点が異なる。監視装置３０の画像処理部３２は、このようなイベントデータに基づいて矩形枠を更新することで、監視対象物の移動を示すことができる。
【００４０】
なお、距離は監視対象物の実際の移動距離を取得できる場合は実際の移動距離とすることができるが、実際の移動距離を取得できない場合は、映像中における見かけ上の距離（座標変化）とすることができる。この際、ズーム倍率、パン・チルトの角度を考慮して座標変化を算出してもよい。
【００４１】
本実施形態では、監視対象物が所定距離の移動を行なっていない場合にも、タイマに基づいてイベントデータを発生するようにしている。このため、閾値以上の動きがない場合（Ｓ２０３：Ｎｏ）には、タイマがタイムアップしているかどうかを判断する（Ｓ２０５）。
【００４２】
その結果、タイムアップしていた場合（Ｓ２０５：Ｙｅｓ）には、「Time Up」を発生要因としたイベントデータを生成する（Ｓ２０６）。これにより、監視対象物が静止している場合でもその位置を示すイベントデータを生成することができる。
【００４３】
また、タイムアップによるイベントデータ生成は、特に監視対象物がゆっくりと少しずつ動いている場合に効果的である。なぜならば、監視対象物が少しずつ動いている場合には、移動によるイベントデータだけでは、ある程度の時間をかけて物体が所定距離移動しなければイベントが発生せず、その間の少しずつの移動は把握することができないからである。この結果、監視対象物の実際の位置と、映像表示部３３に表示される矩形枠５０１との間に乖離が生じることになる。また、所定距離を移動してはじめてイベントが生成されるために、矩形枠５０１が急に移動する状況も起こり得る。
【００４４】
これに対して本実施形態では、移動によるイベントデータに加え、タイムアップによるイベントデータを発生させることで、監視対象物の実際の位置を把握し、監視対象物の監視精度を高めることができる。さらには、所定距離の移動はしていないが、監視対象物の大きさが変化している状況、監視対象物が短い距離を往復している等の状況も把握することができる。
【００４５】
なお、本実施期待では、タイムアップによるイベントデータを発生させた後に、タイマ値を再設定するようにしている（Ｓ２０７）。ここで、タイマ値の再設定では、変化の少ない監視対象物についてはタイムアップの間隔を徐々に長くする制御を行なうものとする。すなわち、初期値を１秒としてタイムアップした場合は、再設定値として倍の２秒を設定する。以降、タイムアップする毎に４秒、８秒、１６秒と倍に設定していくものとする。ただし、最大は１６秒として、それ以上は大きくしないものとする。もちろん、本制御は一例であり、他の設定方法を採用してもよいし、固定値としてもよい。
【００４６】
また、タイムアップして、タイマ値を再設定した後に、閾値以上の動きを検出した場合（Ｓ２０３）には、移動によるイベントデータを発生させて（Ｓ２０４）、タイマ値は初期値に戻すものとする（Ｓ２０１）。
【図面の簡単な説明】
【００４７】
【図１】監視カメラシステムの構成を示すブロック図である。
【図２】画像処理部が生成して映像表示部に映し出される重畳画面の一例を示す図である。
【図３】動体を認識して監視対象とする処理の流れを説明するフロー図である。
【図４】新たな監視対象物が登場した場合に生成するイベントデータの一例を示す図である。
【図５】イベント生成部が行なう監視対象物に対する監視処理を説明するフロー図である。
【図６】監視対象物が移動したことを示すイベントデータの一例を示す図である。
【符号の説明】
【００４８】
１０…監視カメラ、１１…制御部、２０…カメラ制御装置、２１…映像変化検出部、２２…イベント生成部、２３…カメラ操作部、３０…監視装置、３１…データ入力部、３２…画像処理部、３３…映像表示部、３４…記録部
【図１】
2009017031.tif 000003
【図２】
2009017031.tif 000004
【図３】
2009017031.tif 000005
【図４】
2009017031.tif 000006
【図５】
2009017031.tif 000007
【図６】
2009017031.tif 000008