(57)【特許請求の範囲】
【請求項１】
監視地点の撮影を行う監視カメラと、動き補償予測機能を持ち前記カメラの撮影画像を符号化・圧縮して監視室に伝送する動画像コーデックとを備えた遠隔監視システムにおいて、
前記動画像コーデックの動き補償予測機能で算出されたマクロブロック単位かつ互いに隣り合う動きベクトルの相関度を全てのマクロブロックに対して求め、各動きベクトル間の相関度が一定値より大きいか否かで監視地点に侵入物又は侵入者があるか否かを検出する侵入物検出部と、
前記侵入物検出部が侵入物又は侵入者を検出したときに動画像コーデックからの画像を前記監視室に自動発呼で伝送させる自動発呼制御部とを備えたことを特徴とする遠隔監視方式。
【請求項２】
前記侵入物検出部は、「前記相関度」に、「前記動画像コーデックの動き補償予測機能で算出されたマクロブロック単位の動きベクトルの絶対値の総和」と、「前記監視画像全体の動きベクトルの総和の絶対値」とを組み合わせて侵入物又は侵入者を検出することを特徴とする請求項１に記載の遠隔監視方式。
【請求項３】
前記侵入物検出部は、前記カメラの移動に起因するベクトル成分を前記マクロブロックの動きベクトルの平均値から推測し、このベクトル成分を前記動きベクトルから減算して侵入物又は侵入者を検出することを特徴とする請求項１または２に記載の遠隔監視方式。
【請求項４】
前記侵入物検出部は、前記マクロブロックの動きベクトルの２次元ヒストグラムのうちの最も高いベクトル値から前記カメラの移動に起因するベクトル成分を推測し、このベクトル成分を前記動きベクトルから減算して侵入物又は侵入者を検出することを特徴とする請求項１または２に記載の遠隔監視方式。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像コーデックを利用した遠隔監視システム等において、動画像コーデックが持っている動き補償予測回路を利用して、非通信時に監視映像による侵入物検出を行い、さらにその検出信号を利用してホスト局に自動発呼することにより監視業務の効率を改善する遠隔監視方式に関する。
【０００２】
【従来の技術】
図８は、動画像コーデックを備える遠隔監視システムを示す。Ａ，Ｂ，Ｃなどの各地点に設けられ、位置・姿勢制御されるカメラ１1〜１3により監視地点の撮影を行い、各カメラによる映像信号を動画像コーデック部２1〜２3により符号化と圧縮をし、この動画像データをＩＳＤＮ等のディジタルネットワーク３を通して監視室などの中央に伝送し、中央では圧縮伝送された動画像データを動画像コーデック部（図示省略）により復号化し、ディスプレイ４に監視画像として表示する。
【０００３】
同図の構成で遠隔地の監視を行うとき、監視者（以下、オペレータと呼ぶ）は任意の監視ポイントと定期的に接続し（ポーリング）、送られてくる画像を監視する。
【０００４】
【発明が解決しようとする課題】
従来のシステムにおいて、監視地域内の侵入物又は侵入者を検出するには、以下の不都合がある。
【０００５】
（１）侵入物又は侵入者が存在しないときにも定期的にポーリングを行う必要があるため、通信コストがかさむ。
【０００６】
（２）ポーリングの合間に監視ポイントに異常が発生した場合、オペレータはその異常を発見できないか、または発見が遅れる。
【０００７】
（３）オペレータの業務に負担が掛かる。
【０００８】
本発明の目的は、ポーリングによることなく侵入物又は侵入者を確実、容易に検出する遠隔監視方式を提供することにある。
【０００９】
【課題を解決するための手段】
（第１の発明）
監視地点の撮影を行う監視カメラと、動き補償予測機能を持ち前記カメラの撮影画像を符号化・圧縮して監視室に伝送する動画像コーデックとを備えた遠隔監視システムにおいて、
前記動画像コーデックの動き補償予測機能で算出されたマクロブロック単位かつ互いに隣り合う動きベクトルの相関度を全てのマクロブロックに対して求め、各動きベクトル間の相関度が一定値より大きいか否かで監視地点に侵入物又は侵入者があるか否かを検出する侵入物検出部と、
前記侵入物検出部が侵入物又は侵入者を検出したときに動画像コーデックからの画像を前記監視室に自動発呼で伝送させる自動発呼制御部とを備えたことを特徴とする。
【００１２】
（第２の発明）
前記侵入物検出部は、「前記相関度」に、「前記動画像コーデックの動き補償予測機能で算出されたマクロブロック単位の動きベクトルの絶対値の総和」と、「前記監視画像全体の動きベクトルの総和の絶対値」とを組み合わせて侵入物又は侵入者を検出することを特徴とする。
【００１３】
（第３の発明）
前記侵入物検出部は、前記カメラの移動に起因するベクトル成分を前記マクロブロックの動きベクトルの平均値から推測し、このベクトル成分を前記動きベクトルから減算して侵入物又は侵入者を検出することを特徴とする。
【００１４】
（第４の発明）
前記侵入物検出部は、前記マクロブロックの動きベクトルの２次元ヒストグラムのうちの最も高いベクトル値から前記カメラの移動に起因するベクトル成分を推測し、このベクトル成分を前記動きベクトルから減算して侵入物又は侵入者を検出することを特徴とする。
【００１５】
【発明の実施の形態】
（第１の実施形態）
図１は、本発明の実施形態を示すシステム構成図である。同図のシステムは、１つの監視地点でのコーデック部構成を示し、ＩＴＵ−Ｔ勧告によるＨ.２６１を実現する動画像コーデック１１とＩＳＤＮ用のネットワークインターフェース部１２、侵入物検出部１３、自動発呼制御部（コンピュータ）１４で構築されている。以下に各々の構成要素についての説明をする。
【００１６】
Ｈ.２６１を実現する動画像コーデック１１は、図２に示す機能ブロック構成になり、符号化単位を図３に示すようにマクロブロック（１６×１６の画素ブロック）とし、１６×１６画素の輝度信号に対して、現在のフレームと１つ前のフレームとの動き補償予測を行う機能を持つ。
【００１７】
この動き補償予測回路により、マクロブロック単位の動きベクトルＭＶｘｙ（図２、３参照）を算出する。また、通常、非通信時には図２のスイッチ１及び２は接続されていないが、本システムでは非通信時においてもスイッチ１に回路が接続しており、常にカメラからの入力映像に関する動きベクトルＭＶxyを算出することができる。
【００１８】
侵入物（侵入者）検出部１３には、Ｈ.２６１による動画像コーデックから算出された動きベクトルを入力する。この動きベクトルを基に、次の（１）式により動画像の変化を検出する。
【００１９】
【数１】
0003684672.tif 000002
【００２０】
ここで、関数ＢＯＯＬ（）は、（）内の式が真のとき１、偽のとき０なる関数である。
【００２１】
つまり、動きベクトルの絶対値の総和をとることにより、監視画像全体の動き量を知ることができる。
【００２２】
自動発呼制御部（コンピュータ）１４では、侵入物検出部１３で検出された監視画像全体の動き量が定数ｄ1より大きい場合は、何か侵入物（異常）が検出されたとして、あらかじめ指定されたオペレータ側（ホスト局）に自動発呼をし、子局側のコーデックと接続させ、その侵入物が検出された監視地点の映像を伝送する。
【００２３】
例えば、この時オペレータ側では、監視ポイントからの呼を自動着信し、送られてくる監視画像を自動的にディスプレイ上に表示することで、オペレータにその異常を知らせることができる。
【００２４】
このように、監視ポイントが異常を感知して自動的に発呼することによって、オペレータ側の監視業務は大きく軽減され、かつ、異常の発生を見落とすことがなくなる。
【００２５】
（第２の実施形態）
上記の第１の実施形態では、マクロブロック単位の絶対値の総和（（１）式参照）をとって監視画像全体の動き量を算出している。その為、監視画像内に写しだされている物体に微振動などがあった場合にも、（１）式による計算の結果、監視画像の動き量が大きいと判断され、侵入物があったものとしてとらえてしまう可能性がある。
【００２６】
例えば、風に木の葉が揺れている楊合を考える。図４に示すように、一つ一つのマクロブロック単位の動きベクトルを見ると方向性が一定でない場合が多い。このような場合、（１）式により算出される動きベクトルの総和から、実際の画像の動きよりも多くの動きがあったと認識されてしまい、結果としてオペレータに誤報することになる。
【００２７】
よって、本実施形態では、マクロブロック単位の動きベクトルの総和の絶対値を、監視画像全体の動き量とする。この演算は、次の（２）式になる。
【００２８】
【数２】
0003684672.tif 000003
【００２９】
この（２）式を用いて監視画像全体の動き量を求めることにより、監視画像内に写し出されている物体に微振動などがあった場合でも、侵入物があったと認識されず、オペレータへの誤報を減らすことができる。
【００３０】
（第３の実施形態）
上記までの第１及び第２の実施形態では、個々の動きベクトルに注目していたが、本実施形態では、互いに隣り合う動きベクトルの相関に注目する。動きベクトルの相関度を計る指標として、互いの動きベクトルの内積値を利用する。
【００３１】
つまり、二つの動きベクトルルＭＶxy，ＭＶｘ’ｙ’（ＭＶxy，ＭＶｘ’ｙ’は互いに隣り合う（上下左右）ベクトル）の相関度Ｃｍｎ−ｍ’ｎ’は次式で表される。
【００３２】
【数３】
0003684672.tif 000004
【００３３】
ここで、全てのマクロブロックに対して式（３）を当てはめ、各動きベクトル間の相関度Ｃｍｎ−ｍ’ｎ’をすべて算出する（図５参照）。
【００３４】
さらに、相関度Ｃｍｎ−ｍ’ｎ’が何等かの意昧を持った動きとして捉えるために、次式を設定する。
【００３５】
【数４】
0003684672.tif 000005
【００３６】
ここでｄは、予め設定する定数で、値が大きければ検出感度は鈍くなり、小さければ検出感度は敏感になる。
【００３７】
次に、（４）式を満たす相関度Ｃｍｎ−ｍ’ｎ’の数を数える関数Ｆ（Ｃｍｎ−ｍ’ｎ’）を用意し、それが次式を満たすとき、何等かの意昧を持った動きが入力された連続画像に検出されたと判断する。
【００３８】
【数５】
0003684672.tif 000006
【００３９】
ここで、ｅは、予め設定する定数で、値が大きければ検出感度は鈍くなり、小さければ検出感度は敏感になる。
【００４０】
（第４の実施形態）
上記までの各実施形態における動物体を検出する方法は、互いに独立しているため、それらを単独で用いるだけでなく、組み合わせて利用することができる。つまり、次式を用いることで、複数の検出関数を組み合わせた検出をすることができる。
【００４１】
【数６】
0003684672.tif 000007
【００４２】
ここで、ｄ4は、値１、２、３をとる。
【００４３】
よって、式（６）により、パラメータｄ1、ｄ2、ｄ3、ｄ4、ｅ3を調節することで、検出対象、検出地域に適応した検出レベルをより詳細に設定することができる。
【００４４】
（第５の実施形態）
以上までの各実施形態では、監視カメラが固定されている場合において有効である。カメラの移動操作（パン、チルト）が行われる場合においては、監視画像内の動きにカメラ自身の動きが重畳されるため、侵入物がない場合でも監視画像全体の動き量が大きくなり誤判定を起こしてしまう可能性がある。
【００４５】
例えば、監視カメラがパンしている場合を考える。図６のように各マクロブロックの動きベクトルルＭＶxyは、監視カメラの移動（パン、チルト）に起因して発生するベクトル成分Ｖcameraと、監視画像固有の動きに起因するベクトル成分ＭＶrealxyを用いて、次式のように表せる。
【００４６】
【数７】
0003684672.tif 000008
【００４７】
従って、実際には動物体がないマクロブロック（ＭＶrealxy＝０）においても動き量が検出され、監視画像全体の動き量が増加し、侵入物が検出されたとしてオペレータに誤報することになる。
【００４８】
よって、本実施形態では、監視画像の各マクロブロックの動きベクトルから監視カメラの移動に起因するベクトル成分（Ｖcamera）を推定し、これを減算することによって、カメラの移動操作（パン、チルト）の影響をキャンセルし、真の動きベクトルＭＶrealxyを求める。
【００４９】
ＭＶrealxyは、上記の（７）式から以下の通り求めることができる。
【００５０】
【数８】
0003684672.tif 000009
【００５１】
ＭＶxyは、コーデックからの出力であり、既知の値である。よって、Ｖcameraを推定することでＭＶrealxyを知ることができる。
【００５２】
監視カメラの移動操作（パン、チルト）が行われている場合、各マクロブロックの動きベクトルは監視カメラの移動に起因するベクトル成分にほぼ等しい値が大多数を占めると考えられる。すなわち、カメラをパン、チルト操作したときはその動きベクトル（ｍｎ×Ｖcamera）は真の動きベクトル（ＭＶrealxy）よりも十分に大きく（ｍｎ×Ｖcamera≫ΣΣＭＶrealxy）、各マクロブロックＭＶxyを総和したベクトルΣΣＭＶxyがカメラのパン、チルト操作に基づく動きベクトルの総和（ｍｎ×Ｖcamera）に近いと見なすことができる。
【００５３】
従って、全マクロブロックの動きベクトルの平均値Ｖcameraestを求めることで、監視カメラの移動（パン、チルト）に起因するベクトル成分Ｖcameraに置き換えることができる。ここで、Ｖcameraestは次式により求めることができる。
【００５４】
【数９】
0003684672.tif 000010
【００５５】
よって、ＭＶrealxyは、次式で導かれる。
【００５６】
【数１０】
0003684672.tif 000011
【００５７】
先の実施形態で上げた（１）、（２）、〈５）式のＭＶxyをＭＶrealxyで置き換えることにより、監視カメラの移動操作（パン、チルト）が行われている場合でも、カメラの動きに惑わされること無く、動物体を正確に検出することができる。
【００５８】
（第６の実施形態）
第４及び第５の実施形態では、監視カメラの移動（パン、チルト）に起因するベクトル成分Ｖcameraを各マクロブロックの動きベクトルの乎均値にほぼ等しいと仮定している。その為、動物体を表示しているマクロブロックの数が少なくてもその動きベクトルが非常に大きい場合、推定した値が真の値と大きく異なり、うまくキャンセルできない可能性がある。
【００５９】
よって、本実施形態では、図７に示すように、各マクロブロックの動きベクトルのｘ、ｙ成分について２次元ヒストグラムを作成し、最も頻度の高いベクトル値を監視カメラの移動に起因したベクトル成分の推定値（Ｖcameraest）として用いる。すなわち、第５の実施形態における全マクロブロックの動きベクトルの平均値（Ｖcameraest）に代えて、最も頻度の高いベクトル値そのものをＶcameraとして採用する。なお、第５の実施形態と同様に、カメラをパン、チルト操作したときはその動きベクトル（ｍｎ×Ｖcamera）は真の動きベクトル（ＭＶrealxy）よりも十分に大きくなることから、仮に動物体がマクロブロックに存在する場合でもそれに影響されることは少ない。
【００６０】
この推定値を各マクロブロックの動きベクトルＭＶxyから減算することにより、第４及び第５の実施形態の場合と同様に（ｌ０）式を使って、真の動きベクトルＭＶrealxyを求めることができる。
【００６１】
この場合、カメラの動きに惑わされること無く、かつ、動物体の動き量の大きさに関係なく、動物体を正確に検出することができる。
【００６２】
【発明の効果】
以上のとおり、本発明によれば、動画像コーデックが持っている動き補償予測機能を利用して、非通信時にマクロブロック単位の動きベクトルの絶対値の総和等から監視映像による侵入物検出を行い、その検出信号を利用して監視室側に自動発呼で伝送するようにしたため、ポーリングによる監視の非通信時にも侵入者や侵入物があると自動的にオペレータ側で検出できるし、侵入物等の見落としもなくなる。
【図面の簡単な説明】
【図１】本発明の実施形態を示すシステム構成。
【図２】Ｈ.２６１における動画像コーデックの機能ブロック。
【図３】Ｈ.２６１におけるマクロブロック単位の符号化。
【図４】マクロブロック単位の動きベクトル例。
【図５】動きベクトル間の相関度例。
【図６】監視カメラがパンしている場合のマクロブロック単位の動きベクトル例。
【図７】マクロブロック単位の動きベクトルのヒストグラム例。
【図８】遠隔監視システムの例。
【符号の説明】
１1、１2、１3…監視カメラ
２1、２2、２3…動画像コーデック部
１１…動画像コーデック
１２…ネットワークインタフェース部
１３…侵入物検出部
１４…自動発呼制御部
【図１】
0003684672.tif 000012
【図２】
0003684672.tif 000013
【図３】
0003684672.tif 000014
【図４】
0003684672.tif 000015
【図５】
0003684672.tif 000016
【図６】
0003684672.tif 000017
【図７】
0003684672.tif 000018
【図８】
0003684672.tif 000019