(57)【要約】【課題】動画像を処理するために消費される電力を削減できるようにしながら、異常検知精度を良好に保つことができるようにする。【解決手段】監視領域を撮影して生成した映像を分析して異常検知を行うとともに、前記監視領域中の音声を集音し、前記監視領域中の異常検知を音声により行う異常監視装置であって、前記音声による異常検知をトリガとして前記映像による異常検知動作を開始するようにして、常時は動画処理部分の動作を休止させることにより消費電力を削減できるようにするとともに、異常が発生した場合には前記動画処理部分の動作を開始するようにすることにより、消費電力を節約しながら高度な異常検知精度を確保できるようにする。【選択図】　　　　図１
2004120595.tif 000002
【特許請求の範囲】
【請求項１】
監視領域を撮影して生成した映像を分析して異常検知を行うとともに、前記監視領域中の音声を集音し、前記監視領域中の異常検知を音声により行う異常監視装置であって、
前記音声による異常検知をトリガとして前記映像による異常検知動作を開始するようにしたことを特徴とする異常監視装置。
【請求項２】
所定の監視領域の全体を撮影する固定ビデオカメラ装置と、
前記監視領域中の特定領域をズームアップして撮影可能な雲台付きズームビデオカメラ装置と、
前記雲台付きズームビデオカメラ装置の動作を制御するズームビデオカメラ制御手段と、
前記監視領域中の特定領域の音声を集音する複数のマイクロフォン装置と、
前記雲台付きズームビデオカメラ装置、固定ビデオカメラ装置及び前記複数のマイクロフォン装置によって集められる映像及び音声に基づいて異常を検知する異常検知手段と、
前記固定ビデオカメラ装置で撮影している映像と予め撮影しておいた監視領域の映像との差分により、前記監視領域中で動いている物体を表す動画像を抽出する動画像抽出手段と、
前記雲台付きズームビデオカメラ装置で撮影した動画象、固定ビデオカメラ装置で撮影した動画像、及び前記動画像抽出手段から出力された動画像を圧縮符号化して圧縮映像信号を生成する映像圧縮符号化手段と、
前記複数のマイクロフォン装置で集音した音声を圧縮符号化して圧縮音声信号を生成する音声圧縮符号化手段と、
前記映像圧縮符号化手段で圧縮された圧縮映像信号及び音声圧縮符号化手段で圧縮された圧縮音声信号とを重畳して、異常発生情報とともに通信回線を介して監視センターに送信することにより前記監視領域に異常が発生したことを通知するデータ送信手段とを備えた異常監視装置であって、
前記異常検知手段は、前記複数のマイクロフォン装置のそれぞれから得られる音声信号のエネルギーが所定の閾値以上になると、前記雲台付きズームビデオカメラ装置及び固定ビデオカメラ装置と、前記動画像抽出手段と、前記映像圧縮符号化手段と、前記音声圧縮符号化手段と、前記データ送信手段とを起動するように制御することを特徴とする異常監視装置。
【請求項３】
前記異常検知手段は、前記複数のマイクロフォン装置のそれぞれから得られる音声信号の音圧がある閾値を越えたときに、前記動画像抽出手段から動画像が出力されていれば、前記監視領域の異常を検知したとみなして、前記異常発生情報と、圧縮符号化した圧縮映像信号及び圧縮音声信号とを前記データ送信手段により送信することを特徴とする請求項２に記載の異常監視装置。
【請求項４】
前記映像圧縮符号化手段は、前記音声信号の音圧の高低によって符号化ビットレートの高低を逐次制御するビットレート制御手段を有することを特徴とする請求項２または３に記載の異常監視装置。
【請求項５】
前記ズームビデオカメラ制御手段は、前記複数のマイクロフォン装置のそれぞれから得られる音声信号の音圧がある閾値を越えたときに、前記複数のマイクロフォン装置のそれぞれから得られる音声信号を分析して、最もエネルギーの大きな音声信号が得られたマイクロフォンが設置されている方向に前記雲台付きズームビデオカメラ装置を向けるとともに、前記動画像抽出手段によって抽出された動画像領域からズームファクタを計算して前記雲台付きズームビデオカメラ装置のズーム動作を制御することを特徴とする請求項２〜４の何れか１項に記載の異常監視装置。
【請求項６】
前記映像圧縮符号化手段は、ＭＰＥＧ−４動画圧縮方式を用いて前記映像を圧縮符号化することを特徴とする請求項２〜５の何れか１項に記載の異常監視装置。
【請求項７】
監視領域を撮影して生成した映像を分析して異常検知を行うとともに、前記監視領域中の音声を集音し、前記監視領域中の異常検知を音声により行う異常監視方法であって、
前記音声による異常検知をトリガとして前記映像による異常検知動作を開始するように制御処理を行うことを特徴とする異常監視方法。
【請求項８】
所定の監視領域の全体を固定ビデオカメラ装置で撮影する処理と、
前記監視領域中の特定領域をズームアップして撮影可能な雲台付きズームビデオカメラ装置を用いて撮影する処理と、
前記雲台付きズームビデオカメラ装置の動作を制御するズームビデオカメラ制御処理と、
前記監視領域中の特定領域の音声を複数のマイクロフォン装置で集音する集音処理と、
前記雲台付きズームビデオカメラ装置、固定ビデオカメラ装置及び前記複数のマイクロフォン装置によって集められる映像及び音声に基づいて異常を検知する異常検知処理と、
前記固定ビデオカメラ装置で撮影している映像と予め撮影しておいた監視領域の映像との差分により、前記監視領域中で動いている物体を表す動画像を抽出する動画像抽出処理と、
前記雲台付きズームビデオカメラ装置で撮影した動画象、固定ビデオカメラ装置で撮影した動画像、及び前記動画像抽出手段から出力された動画像を圧縮符号化して圧縮映像信号を生成する映像圧縮符号化処理と、
前記複数のマイクロフォン装置で集音した音声を圧縮符号化して圧縮音声信号を生成する音声圧縮符号化処理と、
前記映像圧縮符号化処理で圧縮された圧縮映像信号及び前記音声圧縮符号化処理で圧縮された圧縮音声信号とを重畳して、異常発生情報とともに通信回線を介して監視センターに送信することにより前記監視領域に異常が発生したことを通知するデータ送信処理とを行う異常監視方法であって、
前記異常検知処理は、前記複数のマイクロフォン装置のそれぞれから得られる音声信号のエネルギーが所定の閾値以上になると、前記雲台付きズームビデオカメラ装置及び固定ビデオカメラ装置による撮影処理と、前記動画像抽出処理と、前記映像圧縮符号化処理と、前記音声圧縮符号化処理と、前記データ送信処理とを実行させることを特徴とする異常監視方法。
【請求項９】
前記異常検知処理は、前記複数のマイクロフォン装置のそれぞれから得られる音声信号の音圧値が予め設定した所定の閾値を越えたときに、前記動画像抽出処理による動画像が出力されていれば、前記監視領域の異常を検知したとみなして、前記異常発生情報と、圧縮符号化した映像信号及び音声信号とを前記データ送信処理により送信することを特徴とする請求項８に記載の異常監視方法。
【請求項１０】
前記映像圧縮符号化処理は、前記音声信号の音圧の高低によって符号化ビットレートの高低を逐次制御するビットレート制御処理を有することを特徴とする請求項８または９に記載の異常監視方法。
【請求項１１】
前記ズームビデオカメラ制御処理は、前記複数のマイクロフォン装置のそれぞれから得られる音声信号の音圧値が予め設定した所定の閾値を越えたときに、前記複数のマイクロフォン装置のそれぞれから得られる音声信号を分析して、最もエネルギーの大きな音声信号が得られたマイクロフォンが設置されている方向に前記雲台付きズームビデオカメラ装置を向けるとともに、前記動画像抽出処理によって抽出された動画像領域からズームファクタを計算して前記雲台付きズームビデオカメラ装置のズーム動作を制御することを特徴とする請求項８〜１０の何れか１項に記載の異常監視方法。
【請求項１２】
前記映像圧縮符号化処理は、ＭＰＥＧ−４動画圧縮方式を用いて圧縮符号化することを特徴とする請求項８〜１１の何れか１項に記載の異常監視方法。
【請求項１３】
監視領域を撮影して生成した映像を分析して異常検知を行うとともに、前記監視領域中の音声を集音し、前記監視領域中の異常検知を音声により行う異常監視方法をコンピュータに実行させるコンピュータコンピュータプログラムであって、
前記音声による異常検知をトリガとして前記映像による異常検知動作を開始するようにする制御処理をコンピュータに実行させることを特徴とするコンピュータプログラム。
【請求項１４】
所定の監視領域の全体を固定ビデオカメラ装置で撮影する処理と、
前記監視領域中の特定領域をズームアップして撮影可能な雲台付きズームビデオカメラ装置を用いて撮影する処理と、
前記雲台付きズームビデオカメラ装置の動作を制御するズームビデオカメラ制御処理と、
前記監視領域中の特定領域の音声を複数のマイクロフォン装置で集音する集音処理と、
前記雲台付きズームビデオカメラ装置、固定ビデオカメラ装置及び前記複数のマイクロフォン装置によって集められる映像及び音声に基づいて異常を検知する異常検知処理と、
前記固定ビデオカメラ装置で撮影している映像と予め撮影しておいた監視領域の映像との差分により、前記監視領域中で動いている物体を表す動画像を抽出する動画像抽出処理と、
前記雲台付きズームビデオカメラ装置で撮影した動画象、固定ビデオカメラ装置で撮影した動画像、及び前記動画像抽出手段から出力された動画像を圧縮符号化して圧縮映像信号を生成する映像圧縮符号化処理と、
前記複数のマイクロフォン装置で集音した音声を圧縮符号化して圧縮音声信号を生成する音声圧縮符号化処理と、
前記映像圧縮符号化処理で圧縮された圧縮映像信号及び前記音声圧縮符号化処理で圧縮された圧縮音声信号とを重畳して、異常発生情報とともに通信回線を介して監視センターに送信することにより前記監視領域に異常が発生したことを通知するデータ送信処理とを行う異常監視方法をコンピュータに実行させるコンピュータプログラムであって、
前記異常検知処理は、前記複数のマイクロフォン装置のそれぞれから得られる音声信号のエネルギーが所定の閾値以上になると、前記雲台付きズームビデオカメラ装置及び固定ビデオカメラ装置による撮影処理と、前記動画像抽出処理と、前記映像圧縮符号化処理と、前記音声圧縮符号化処理と、前記データ送信処理とをコンピュータに実行させることを特徴とするコンピュータプログラム。
【請求項１５】
前記請求項１３または１４に記載のコンピュータプログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は異常監視装置、異常監視方法、コンピュータプログラム及びコンピュータ読み取り可能な記録媒体に関し、特に、監視領域の異常を映像と音声とを利用して自動的に検出する異常監視装置に用いて好適なものである。
【０００２】
【従来の技術】
映像と音声とを利用して異常事態の発生を検出する異常監視装置が実用化されている。前記のような映像と音声とを利用した従来の異常監視装置は、倉庫や閉店後の店舗等のような人気のない場所に設置され、不審者や侵入者を自動的に検知するために利用されている。
【０００３】
このような従来の異常監視装置では、映像や音声から異常を検知した場合、専用回線や一般公衆回線、もしくは、インターネットやＬＡＮなどのネットワークなどを経由して監視センターなどに異常が発生したことを通知するとともに、その時に撮影した映像や、集音した音声を圧縮符号化して蓄積したり、もしくは、前述したネットワークを経由して送信したりする仕組みになっている。
【０００４】
この場合、映像の全てを符号化すると符号量が増大してしまい、蓄積する記憶容量が増大する。あるいは、伝送する符号量が増えるといった問題が生じるため、撮影した動画像から、動きのある物体の動画像のみを抽出する動体抽出を行うとともに、予め作成しておいた背景静止画像とともに符号化するようにして、蓄積及び伝送する符号量を減らす工夫がなされている。
【０００５】
【発明が解決しようとする課題】
ところが、このような動体抽出を行ってから画像を符号化するような異常監視装置では、動体を抽出する処理の負担が重いので、抽出動作を常に行うようにすると消費電力が増大してしまうという問題があった。
【０００６】
さらに、ビデオカメラからの映像を用いて異常発生の検知を行う既存の異常監視装置では、撮影した映像を常に分析する必要があるため、動画撮影や映像分析を止めることができないという不都合があった。
本発明は前述の問題点にかんがみ、動画像を処理するために消費される電力を削減できるようにしながら、監視領域の異常を検知する精度を良好に保つことができるようにすることを目的とする。
【０００７】
【課題を解決するための手段】
本発明の異常監視装置は、監視領域を撮影して生成した映像を分析して異常検知を行うとともに、前記監視領域中の音声を集音し、前記監視領域中の異常検知を音声により行う異常監視装置であって、前記音声による異常検知をトリガとして前記映像による異常検知動作を開始するようにしたことを特徴としている。
また、本発明の他の特徴とするところは、所定の監視領域の全体を撮影する固定ビデオカメラ装置と、前記監視領域中の特定領域をズームアップして撮影可能な雲台付きズームビデオカメラ装置と、前記雲台付きズームビデオカメラ装置の動作を制御するズームビデオカメラ制御手段と、前記監視領域中の特定領域の音声を集音する複数のマイクロフォン装置と、前記雲台付きズームビデオカメラ装置、固定ビデオカメラ装置及び前記複数のマイクロフォン装置によって集められる映像及び音声に基づいて異常を検知する異常検知手段と、前記固定ビデオカメラ装置で撮影している映像と予め撮影しておいた監視領域の映像との差分により、前記監視領域中で動いている物体を表す動画像を抽出する動画像抽出手段と、前記雲台付きズームビデオカメラ装置で撮影した動画象、固定ビデオカメラ装置で撮影した動画像、及び前記動画像抽出手段から出力された動画像を圧縮符号化して圧縮映像信号を生成する映像圧縮符号化手段と、前記複数のマイクロフォン装置で集音した音声を圧縮符号化して圧縮音声信号を生成する音声圧縮符号化手段と、前記映像圧縮符号化手段で圧縮された圧縮映像信号及び音声圧縮符号化手段で圧縮された圧縮音声信号とを重畳して、異常発生情報とともに通信回線を介して監視センターに送信することにより前記監視領域に異常が発生したことを通知するデータ送信手段とを備えた異常監視装置であって、前記異常検知手段は、前記複数のマイクロフォン装置のそれぞれから得られる音声信号のエネルギーが所定の閾値以上になると、前記雲台付きズームビデオカメラ装置及び固定ビデオカメラ装置と、前記動画像抽出手段と、前記映像圧縮符号化手段と、前記音声圧縮符号化手段と、前記データ送信手段とを起動するように制御することを特徴としている。
【０００８】
本発明の異常監視方法は、監視領域を撮影して生成した映像を分析して異常検知を行うとともに、前記監視領域中の音声を集音し、前記監視領域中の異常検知を音声により行う異常監視方法であって、前記音声による異常検知をトリガとして前記映像による異常検知動作を開始するように制御処理を行うことを特徴としている。
また、本発明の他の特徴とするところは、所定の監視領域の全体を固定ビデオカメラ装置で撮影する処理と、前記監視領域中の特定領域をズームアップして撮影可能な雲台付きズームビデオカメラ装置を用いて撮影する処理と、前記雲台付きズームビデオカメラ装置の動作を制御するズームビデオカメラ制御処理と、前記監視領域中の特定領域の音声を複数のマイクロフォン装置で集音する集音処理と、前記雲台付きズームビデオカメラ装置、固定ビデオカメラ装置及び前記複数のマイクロフォン装置によって集められる映像及び音声に基づいて異常を検知する異常検知処理と、前記固定ビデオカメラ装置で撮影している映像と予め撮影しておいた監視領域の映像との差分により、前記監視領域中で動いている物体を表す動画像を抽出する動画像抽出処理と、前記雲台付きズームビデオカメラ装置で撮影した動画象、固定ビデオカメラ装置で撮影した動画像、及び前記動画像抽出手段から出力された動画像を圧縮符号化して圧縮映像信号を生成する映像圧縮符号化処理と、前記複数のマイクロフォン装置で集音した音声を圧縮符号化して圧縮音声信号を生成する音声圧縮符号化処理と、前記映像圧縮符号化処理で圧縮された圧縮映像信号及び前記音声圧縮符号化処理で圧縮された圧縮音声信号とを重畳して、異常発生情報とともに通信回線を介して監視センターに送信することにより前記監視領域に異常が発生したことを通知するデータ送信処理とを行う異常監視方法であって、前記異常検知処理は、前記複数のマイクロフォン装置のそれぞれから得られる音声信号のエネルギーが所定の閾値以上になると、前記雲台付きズームビデオカメラ装置及び固定ビデオカメラ装置による撮影処理と、前記動画像抽出処理と、前記映像圧縮符号化処理と、前記音声圧縮符号化処理と、前記データ送信処理とを実行させることを特徴としている。
【０００９】
本発明のコンピュータプログラムは、監視領域を撮影して生成した映像を分析して異常検知を行うとともに、前記監視領域中の音声を集音し、前記監視領域中の異常検知を音声により行う異常監視方法をコンピュータに実行させるコンピュータプログラムであって、前記音声による異常検知をトリガとして前記映像による異常検知動作を開始するようにする制御処理をコンピュータに実行させることを特徴としている。
また、本発明の他の特徴とするところは、所定の監視領域の全体を固定ビデオカメラ装置で撮影する処理と、前記監視領域中の特定領域をズームアップして撮影可能な雲台付きズームビデオカメラ装置を用いて撮影する処理と、前記雲台付きズームビデオカメラ装置の動作を制御するズームビデオカメラ制御処理と、前記監視領域中の特定領域の音声を複数のマイクロフォン装置で集音する集音処理と、前記雲台付きズームビデオカメラ装置、固定ビデオカメラ装置及び前記複数のマイクロフォン装置によって集められる映像及び音声に基づいて異常を検知する異常検知処理と、前記固定ビデオカメラ装置で撮影している映像と予め撮影しておいた監視領域の映像との差分により、前記監視領域中で動いている物体を表す動画像を抽出する動画像抽出処理と、前記雲台付きズームビデオカメラ装置で撮影した動画象、固定ビデオカメラ装置で撮影した動画像、及び前記動画像抽出手段から出力された動画像を圧縮符号化して圧縮映像信号を生成する映像圧縮符号化処理と、前記複数のマイクロフォン装置で集音した音声を圧縮符号化して圧縮音声信号を生成する音声圧縮符号化処理と、前記映像圧縮符号化処理で圧縮された圧縮映像信号及び前記音声圧縮符号化処理で圧縮された圧縮音声信号とを重畳して、異常発生情報とともに通信回線を介して監視センターに送信することにより前記監視領域に異常が発生したことを通知するデータ送信処理とを行う異常監視方法をコンピュータに実行させるコンピュータプログラムであって、前記異常検知処理は、前記複数のマイクロフォン装置のそれぞれから得られる音声信号のエネルギーが所定の閾値以上になると、前記雲台付きズームビデオカメラ装置及び固定ビデオカメラ装置による撮影処理と、前記動画像抽出処理と、前記映像圧縮符号化処理と、前記音声圧縮符号化処理と、前記データ送信処理とをコンピュータに実行させることを特徴としている。
【００１０】
本発明のコンピュータ読み取り可能な記録媒体は、前記に記載のコンピュータプログラムを格納したことを特徴としている。
【００１１】
【発明の実施の形態】
次に、添付図面を参照しながら本発明の異常監視装置、異常監視方法、コンピュータプログラム及びコンピュータ読み取り可能な記録媒体の実施の形態について説明する。
図１は、第１の実施の形態を示し、異常監視装置の一構成例を示す構成図である。図１に示した構成において、１は雲台付きズームビデオカメラであり、カメラ制御部２から送出される制御信号に従って、監視範囲の特定領域をズームアップして撮影することが可能である。この雲台付きズームビデオカメラ１によって撮影された動画信号は動画圧縮部３に送出される。
【００１２】
２はカメラ制御部であり、バス１０を介して送信されるカメラ制御コマンドに従って、雲台付きズームカメラ１に制御信号を適宜送出する。３は動画圧縮部であり、雲台付きズームカメラ１や動体抽出部５から送出される動画信号を適宜フォーマットに圧縮符号化し、ＣＰＵ１５から送出される制御信号に従って圧縮符号化した動画データをバス１０を介して適宜各構成要素に送信することができる。
【００１３】
なお、本実施の形態においては、動画圧縮方式としてＭＰＥＧ−４ビデオ符号化方式が用いられている。前記ＭＰＥＧ−４ビデオ符号化方式を用いることによって、動体抽出部５で抽出された任意形状の動画をそのまま圧縮符号化することが可能である。
【００１４】
４は固定カメラであり、本実施の形態における監視範囲全体の映像を撮影して動体抽出部５に送出する。５は動体抽出部であり、固定カメラ４から送出される映像信号と、予め用意しておいた背景静止画像との差分を分析して、映像に捕らえられている動作する物体の画像を抜き出して、動画圧縮部３へ送出する。
【００１５】
６はマイクロフォン装置であり、監視領域中に複数本が設置されていて、それぞれの設置場所近辺に発生する音声を集音し、背景雑音フィルタ７へ音声信号を送信する。前記背景雑音フィルタ７は、前記複数のマイクロフォン装置６から送出された各音声信号から、空調音や機械音などの背景雑音を除去し、音圧・位置判定ミキサー８に送出する。
【００１６】
音圧・位置判定ミキサー８は、背景雑音フィルタ７から送出される各音声信号の音圧を測定し、最も音圧の大きな音声信号の音圧値を、バス１０を介してＣＰＵ１５に送出する。同時に、各音声信号の全てを適宜ミキシングして音声圧縮部９に送出する。
【００１７】
音声圧縮部９は、音圧・位置判定ミキサー８から送信される音声信号を適宜フォーマットに圧縮符号化し、ＣＰＵ１５から送出される制御信号に従って圧縮符号化した動画データをバス１０を介して適宜各構成要素に送信する。
【００１８】
バス１０は、ＣＰＵ１５の制御の対象とする構成要素を指示するアドレス信号を転送し、ＣＰＵ１５の制御の対象とする各構成要素のコントロール信号を転送し、各構成機器相互間のデータ転送を行う。
【００１９】
１１はデータ送信部であり、本発明の異常監視装置をＬＡＮやインターネットなどを経由して外部のシステムと接続するための機器である。本実施の形態の異常監視装置は、必要に応じてこの接続を経由して、監視センター、もしくは警備室などに圧縮した映像や音声を重畳して送信することが可能である。
【００２０】
１２はＲＡＭであり、書込み可能のランダムアクセスメモリである。各構成要素からの各種データの一時記憶と、本実施の形態における各種処理が記述されたプログラムを読み込み、このプログラムに基づいてＣＰＵ１５が各種処理を行うために用いられる。
【００２１】
１３はＲＯＭであり、読出し専用の固定メモリである。ＲＯＭ１３には本実施の形態の構成例における基本Ｉ／Ｏプログラムが格納される。　１４は外部記憶部であり、データやプログラム等を記憶するための外部記憶領域である。データやプログラム等は必要に応じて保管され、また、保管されたデータやプログラムは必要な時に呼び出される。
【００２２】
前記ＣＰＵ１５は、監視処理のための演算、論理判断等を行ない、１０のバスを介して、バスに接続された各構成要素を制御する。なお、本実施の形態において、異常検知の判断は全てＣＰＵ１５によって行われる。
【００２３】
１６はデバイス制御部である。バス１０を介して伝達されるＣＰＵ１５の指示によって、デバイス制御部１６に接続されている機器を制御し、また、接続されている機器が出力する信号やデータを、バス１０を介してＣＰＵ１０や外部記憶部を主とする各構成要素に適宜転送する。
【００２４】
１７はメディアドライブである。記録メディア１８に記録されているプログラムやデータはこのメディアドライブ１７が読み取ることにより本異常監視装置にロードされる。また、外部記憶部１４に蓄えられた圧縮映像、音声などの各種データを、メディアドライブ１７を通じて記録メディア１８に書き込むことができる。
【００２５】
記録メディア１８であり、これは、具体的にはＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、ＤＶＤ−ＶＩＤＥＯ、ＤＶＤ−ＡＵＤＩＯ、ＣＤ−ＤＡ、ＣＤ−ＲＯＭ、ＣＤ−Ｖ、ＣＤ−Ｒ、ＣＤ−ＲＷなどのＤＶＤ規格もしくはＣＤ規格のメディアを総称したものである。本実施の形態において、記録メディア１８は関連データ、もしくはプログラムなどの大容量データの読み書きに用いられる。
【００２６】
かかる各構成要素からなる本発明の異常監視装置においては、マイクロフォン装置６からの音声入力に応じて作動するものであって、マイクロフォン６に音声入力が供給されると、背景雑音フィルタ７と音圧・位置判定ミキサー８とを経由して、インタラプト信号がＣＰＵ１５に送られる。これによって、ＣＰＵ１５がＲＯＭ１３内に記憶してある各種の制御信号を読出し、それらの制御信号に従って、各種の制御が行なわれる。
【００２７】
本実施の形態の装置は、基本Ｉ／Ｏプログラム、ＯＳ，及び監視処理プログラムをＣＰＵ１５が実行することによって動作する。基本Ｉ／ＯプログラムはＲＯＭ１３中に書き込まれており、ＯＳは外部記憶部１４に書き込まれている。そして、本装置の電源がＯＮにされると、基本Ｉ／Ｏプログラム中のＩＰＬ（イニシャルプログラムローディング）機能により外部記憶部１４からＯＳがＲＡＭ１２に読み込まれ、ＯＳの動作が開始される。
【００２８】
本監視処理プログラムは、図６に示される監視処理手順のフローチャートに基づいてプログラムコード化されたものである。
図２は、本監視処理プログラム及び関連データを記録メディア１８に記録したときの記録メディア１８の内容を示す構成図である。
【００２９】
本実施の形態において、本監視処理プログラム及び関連データは記録メディア１８に記録されている。図示したように記録メディア１８の先頭領域には、この記録メディア１８のボリューム情報とディレクトリ情報が記録されており、その後にこの記録メディア１８のコンテンツである本監視処理プログラムと、監視処理プログラム関連データが記録されている。
【００３０】
図３は、本実施の形態の異常監視装置に、本監視処理プログラムを導入する模式図である。記録メディア１８に記録された監視処理プログラム及び関連データは、図３に示したようにメディアドライブ１７を通じて本実施の形態の異常監視装置にロードすることができる。
【００３１】
この記録メディア１８をメディアドライブ１７にセットすると、ＯＳ及び基本Ｉ／Ｏプログラムの制御のもとに本監視処理プログラム及び関連データが記録メディア１８から読み出され、外部記憶部１４に格納される。その後、再起動時にこれらの情報がＲＡＭ１２にロードされて動作可能となる。
【００３２】
図４は、本監視処理プログラムがＲＡＭ１２にロードされ実行可能となった状態のメモリマップを示す。このとき、ＲＡＭ１２上のワークエリアには、雲台制御テーブル１９、音圧値２０、位置ＩＤ２１が存在する。このうち、雲台制御テーブル１９は、雲台付きズームビデオカメラ１の雲台を制御するためのテーブルであり、図５を用いて制御内容を後述する。
【００３３】
また、音圧値２０には、マイクロフォン６で集音した音声信号のうち、最も音圧の高い音声信号の音圧値が逐次更新されて格納される。また、位置ＩＤ２１には、最も音圧の高い音声信号を集音したマイクロフォン６の識別番号が逐次更新されて格納される。
【００３４】
図５は、本実施の形態における雲台制御テーブル１９の構成例である。図示したように、本実施の形態において、雲台制御テーブル１９に格納される各データは、位置ＩＤと、パン角度と、チルド角度によって構成される。このうち、位置ＩＤは、マイクロフォン６が設置されている監視領域の各位置に一意に割り振られる識別記号である。
【００３５】
また、パン角度とチルト角度は、雲台付きズームカメラ１が位置ＩＤで示される場所を撮影するときの上下左右の首振り角度を示しており、マイクロフォン６を設置するときに予め定められて格納される値である。なお、本実施の形態において、テーブル中の各角度の基準点は雲台の正面を０°とし、パンは右を＋方向、チルトは上を＋方向としている。本テーブルは位置ＩＤをキーにして検索することが可能である。
【００３６】
以下、本実施の形態における監視処理の手順をフローチャートに従って説明する。
図６は、本実施の形態における監視処理全体の処理手順を説明するフローチャートである。
まず、ステップＳ１においては、マイクロフォン装置６によって集音した各音声信号を、背景雑音フィルタ７に通して背景雑音を除去し、音圧・位置判定ミキサー８によって最も音圧の大きな音声信号の音圧を測定し、音圧値と最も音圧の大きな音声を集音したマイクロフォン装置の位置ＩＤをバス１０を介してＣＰＵ１５に送出する音声検知処理を行う。
【００３７】
なお、この音声検知処理において、各音声信号は音圧・位置判定ミキサー８によって同時に適宜ミキシングされ、音声圧縮部９によって圧縮された音声信号はバス１０を介して適宜外部記憶部１４に格納される。前記音声検知処理を終えると、次に、ステップＳ２へ処理が進む。
【００３８】
ステップＳ２においては、ＣＰＵ１５において、ステップＳ１で測定した音圧値が予め設定した規定の閾値を超えているかどうかを判定する処理を行う。なお、このときに、ＣＰＵ１５によって音圧値と位置ＩＤはそれぞれＲＡＭ１２上に付した符号２０、２１の領域に同時に格納される。この判定の結果、音圧値が閾値以下の場合は、前述したステップＳ１の処理に戻る。一方、音圧値が閾値以上である場合は、ステップＳ３の処理に進む。
【００３９】
ステップＳ３においては、ＣＰＵ１５から制御信号を送信することにより、雲台付きズームビデオカメラ１、カメラ制御部２、動画圧縮部３、固定カメラ４、動体抽出部５によって構成される映像処理部分を起動する処理を行う。これらの処理を終えると、ステップＳ４及びステップＳ５へと処理が進む。
【００４０】
ステップＳ４の処理は、動体抽出部５において、固定カメラ４で捉えた映像と、予め作成しておいた背景静止画との差分をとることによって動体を抽出する動体抽出処理である。この動体抽出処理によって抽出された動体の映像は直ちに動画圧縮部３に送出されて、雲台付きズームビデオカメラ１で撮影された動画像と同時にＭＰＥＧ−４圧縮符号化され、バス１０を介して外部記憶部１４に格納される。処理を終えると、ステップＳ６へと処理が進む。
【００４１】
一方、ステップＳ５の処理は、ＲＡＭ１２上の位置ＩＤによってＲＡＭ１２上の雲台制御テーブル１９を検索し、得られた制御情報に従って雲台付きズームビデオカメラ１の向きを制御する処理である。この処理の詳細は、図７を用いて後述する。前記雲台制御処理を終えると、ステップＳ６へと処理が進む。
【００４２】
ステップＳ６においては、ステップＳ５で抽出された動体の動画像をＣＰＵ１５で分析して、実際に侵入者などがいるかどうかを判定する処理を行う。この種の処理はこのような異常監視装置において一般的に行われており、公知であるので詳細な説明を省略する。この判定の結果、侵入者などの動体が抽出されている場合は、異常が発生したとみなしてステップＳ７へ処理が進む。一方、前記ステップＳ６の判定の結果、動体が抽出されていない場合は、ステップＳ９へと処理が進む。
【００４３】
ステップＳ７においては、データ送信部１１を介して、異常が発生したことを外部の監視センターや警備室などに伝達する処理を行う。この伝達処理において、異常発生情報とともに、外部記憶部１４に蓄積された符号化された映像と音声もＬＡＮやＩＮＴＥＲＮＥＴなどのネットワークを介して送出される。前記伝達処理を終えると、ステップＳ８へ処理が進む。
【００４４】
ステップＳ８においては、前記ステップＳ５で抽出された動体の映像上の大きさを測定し、それによって雲台付きズームビデオカメラ１のズーム制御処理を行う。このズーム制御処理の詳細は図８を用いて後述する。前記ズーム制御処理を終えるとステップＳ１に戻り、前述した処理を繰り返し行う。
【００４５】
一方、ステップＳ９に進んだ場合には、ステップＳ６の判定に従って、ステップＳ３で起動した映像処理を行う各構成要素の動作を停止する処理を行う。よって、本実施の形態における異常監視装置では、異常が認められない場合には、映像処理によって消費される電力を最小限に抑えることができる。この各構成要素の動作を停止する処理は、ＣＰＵ１５から各構成要素に停止信号を送出することによって実行される。
【００４６】
なお、本実施の形態において、音声処理を行う構成要素はこの後も引き続き動作する。また、ステップＳ３で起動してからステップＳ９において停止するまでに外部蓄積部１４に格納された圧縮符号化された映像及び音声のデータは、この処理において破棄される。こうすることによって、余分な圧縮符号化データが外部蓄積部１４に蓄積することを防ぐことができる。処理を終えると、Ｓ１に処理が進む。
【００４７】
図７は、本実施の形態におけるステップＳ４の雲台制御処理の手順を詳細に説明するためのフローチャートである。
まず、ステップＳ１１においては、ＲＡＭ上の位置ＩＤ２１によってＲＡＭ上の雲台制御テーブル１９を検索する処理を行う。前記テーブル上の位置ＩＤ２１は、設置されたマイクロフォン６の数だけ用意されているため雲台のパン角度とチルド角度が一意に検索される。
【００４８】
前記検索処理を終えると、次に、ステップＳ１２へ処理が進む。ステップＳ１２は、ステップＳ１１で検索された雲台のパン角度とチルド角度の値から適宜制御コマンドを作成し、バス１０を介してカメラ制御部２に作成した制御コマンドを送信する処理を行う。前記コマンド送信処理を終えると、ステップＳ１３へ処理が進む。
【００４９】
ステップＳ１３においては、カメラ制御部２において、ステップＳ１２で作成された制御コマンドに従って雲台付きズームビデオカメラ１の雲台を操作する処理を行う。この結果、雲台付きズームビデオカメラ１の向きが、最も大きな音圧の音声信号を集音したマイクロフォン６が設置されている場所に向けられる。雲台操作処理を終えると、雲台制御処理を終了してリターンする。
【００５０】
図８は、本実施の形態におけるステップＳ８のズーム制御処理を詳細化したフローである。
まず、ステップＳ２１においては、ステップＳ５によって抽出された動体の動画像より、画像が納まる矩形の大きさを画素単位で算出する処理を行う。この種の処理は動画像処理において一般的に行われており、公知であるので詳細な説明を省略する。前記矩形算出処理を終えると、ステップＳ２２へ処理が進む。
【００５１】
ステップＳ２２においては、ＣＰＵ１５において、ステップＳ２１で算出された矩形の大きさと、雲台付きズームビデオカメラ１のオートフォーカス焦点距離とにより、動体全体が雲台付きズームビデオカメラ１が撮影する画面内に丁度納まるように、雲台付きズームビデオカメラ１のズームファクタを算出する処理を行う。この種の算出処理は雲台付きズームビデオカメラ１の制御方法として一般的に行われており、公知であるので詳細な説明を省略する。前記算出処理を終えると、ステップＳ２３へ処理が進む。
【００５２】
ステップＳ２３においては、ステップＳ２２で算出されたズームファクタからズーム制御コマンドを作成して、カメラ制御部２へ送出する処理を行う。前記送信処理を終えると、ステップＳ２４へ処理が進む。
【００５３】
ステップＳ２４においては、ステップＳ２３で作成したズーム制御コマンドによって雲台付きズームビデオカメラ１のズーム制御を実際に処理行う。この操作によって、動体の詳細な映像を自動的に捉えることが可能になり、侵入者の姿をより高精彩な動画像に収めることができる。前記ズーム処理を終えると、ズーム制御処理を終了してリターンする。
【００５４】
次に、図９〜図１２を参照しながら本発明の第２の実施の形態を説明する。
図９は、本実施の形態における動画ビットレート制御テーブルの構成例を示す図である。図９に示したように、本実施の形態においては、図１０に示したＲＡＭ上の動画ビットレート制御テーブル２２０に格納される各データは、音圧値と、動画ビットレートとによって構成されている。
【００５５】
このうち、音圧値は、音圧・位置判定ミキサー８によって測定された音圧の値であり、ｄＢで表される値である。また、動画ビットレートは、動画圧縮部３において作成される動画ビットストリームのビットレートを示す。図９に示した動画ビットレート制御テーブルは音圧をキーにして検索することが可能である。
【００５６】
図１０は、本実施の形態における監視処理プログラムがＲＡＭ１２にロードされ実行可能となった状態の監視装置のメモリマップを示す。このとき、ＲＡＭ１２上のワークエリアには、雲台制御テーブル２１９、ビットレート制御テーブル２２０、音圧値２２１、位置ＩＤ２２２が存在する。このうち、雲台制御テーブル２１９は、図５を用いて前述したものと同一である。また、映像ビットレート制御テーブル２２０は、図９を用いて前述したものである。
【００５７】
また、音圧値２２１には、マイクロフォン６で集音した音声信号のうち、最も音圧の高い音声信号の音圧値が逐次更新されて格納される。また、位置ＩＤ２２２には、最も音圧の高い音声信号を集音したマイクロフォン６の識別番号が逐次更新されて格納される。
【００５８】
以下、本実施の形態における異常監視処理の手順について、図１１のフローチャートを参照しながら説明する。
図１１は、本実施の形態における監視処理全体の処理手順を説明するフローチャートである。
まず、最初のステップＳ２０１は、マイクロフォン６によって集音した各音声信号を、背景雑音フィルタ７に通して背景雑音を除去し、音圧・位置判定ミキサー８によって最も音圧の大きな音声信号の音圧を測定し、音圧値と最も音圧の大きな音声を集音したマイクロフォン６の位置ＩＤ２２１を、バス１０を介してＣＰＵ１５に送出する音声検知処理である。
【００５９】
なお、この処理において、同時に各音声信号は音圧・位置判定ミキサー８によって適宜ミキシングされ、音声圧縮部９によって圧縮された音声信号はバス１０を介して適宜外部記億部１４に格納される。この音声検知処理を終えると、ステップＳ２０２へ処理が進む。
【００６０】
次に、ステップＳ２０２においては、ＣＰＵ１５において、ステップＳ２０１で測定した音圧が規定の閾値を超えているかどうか判定する処理である。なお、このときに同時にＣＰＵ１５によって音圧値２２１と位置ＩＤ２２２はそれぞれＲＡＭ１２上の雲台制御テーブル２１９、音圧値２２１に格納される。本実施の形態の場合は、音圧の閾値は２０ｄＢであるため、音圧値が２０ｄＢ以下の場合は、ステップＳ２０１に戻る。また、音圧値が２０ｄＢ以上である場合は、ステップＳ２０３へ処理が進む。
【００６１】
ステップＳ２０３においては、ＲＡＭ上に格納された音圧値２２１によって動画ビットレートを変更する動画ビットレート変更処理を行う。この処理の詳細は図１１を用いて後述する。前記動画ビットレート変更処理を終えると、ステップＳ２０４とステップＳ２０５へ処理が進む。
【００６２】
ステップＳ２０４においては、動体抽出部５において、固定カメラ４で捉えた映像と、予め作成しておいた背景静止画との差分をとることによって動体を抽出する動体抽出処理を行う。この動体抽出処理によって抽出された動体の映像は直ちに動画圧縮部３に送出されて、雲台付きズームビデオカメラ１で撮影された動画像と同時にＭＰＥＧ−４により圧縮符号化され、バス１０を介して外部記億部１４に格納される。この動体抽出処理を終えると、ステップＳ２０６へと処理が進む。
【００６３】
一方、ステップＳ２０５においては、ＲＡＭ上の位置ＩＤ２２２によってＲＡＭ上の雲台制御テーブル２１９を検索し、得られた制御情報に従って、前述したように、雲台付きズームビデオカメラ１の向きを制御する処理を行う。この雲台制御処理を終えると、ステップＳ２０６へ処理が進む。
【００６４】
ステップＳ２０６においては、ＣＰＵ１５において、ステップＳ２０５で抽出された動体の動画像を分析して、実際に侵入者などがいるかどうかを判定する動体動画像処理を行う。この種の処理はこのような監視装置において一般的に行われており、公知であるので詳細な説明を省略する。この判定の結果、侵入者などの動体が抽出されている場合は、異常が発生したとみなして、ステップＳ２０７へ処理が進む。また、動体が抽出されていない場合は、ステップＳ２０１に戻り前述した処理を繰り返し行う。
【００６５】
ステップＳ２０７においては、データ送信部１１を介して、異常が発生したことを外部の監視センターや警備室などに伝達する処理を行う。この伝達処理において、異常発生情報とともに、外部記憶部１４に蓄積された符号化された映像と音声もＬＡＮやＩＮＴＥＲＮＥＴ、などのネットワークを介して送出される。前記伝達処理を終えると、ステップＳ２０８へ処理が進む。
【００６６】
ステップＳ２０８においては、ステップＳ２０５で抽出された動体の映像上の大きさを測定し、それによって雲台付きズームカメラ１のズーム制御処理を行う。この処理の詳細は、図１２を用いて後述する。前記ズーム制御処理を終えると、ステップＳ２０１に戻って前述した処理を繰り返し行う。
【００６７】
図１２は、本実施の形態におけるステップＳ２０３の動画ビットレート変更処理を詳細化したフローチャートある。
動画ビットレート変更処理が開始されると、まず、ステップＳ３１１において、ＲＡＭ上の音圧値２２０によってＲＡＭ上の動画ビットレート制御テーブル２２０を検索する処理を行う。本実施の形態において、この検索によって、動画ビットレート制御テーブル２２０のデータは音圧値２２１を超えない最大のものが選択される。
【００６８】
例えば、音圧値２２１に格納された値が３５ｄＢの場合、動画ビットレート制御テーブル上の音圧値３０ｄＢの列である動画ビットレートである９６ｋｂｐｓが、検索結果として選択される。この動画ビットレート変更処理を終えると、ステップＳ３１２へ進む。
【００６９】
ステップＳ３１２においては、ステップＳ３１１によって選択された動画ビットレートに基づき、ＣＰＵ１５においてビットレート変更用の制御コマンドを作成し、バス１０を介して動画圧縮部３に制御コマンドを送信する処理を行う。このコマンド送信処理を終えると、ステップＳ３１３へ進む。
【００７０】
ステップＳ３１３においては、動画圧縮部３において、ステップＳ３１２で送信された制御コマンドに従って動画圧縮符号化ビットレートを変更する処理を行う。このビットレート変更処理の結果、動画圧縮部３から出力されるビットストリームのビットレートが変更される。この処理を終えると、動画ビットレート変更処理を終了してリターンする。
【００７１】
なお、本発明は前述した実施の形態に限定されるものではない。すなわち、前述の実施の形態では、異常検知判定に音声と映像のみを利用しているが、異常検知精度を高めるためにその他のセンサ、例えば、温度センサ、赤外線センサ、圧力センサ、磁気センサなどを併用した場合においても、映像処理部分の動作停止制御やズームカメラ制御において本発明を適用することが可能であり、同様な効果が得られる。その他、本発明はその要旨を逸脱しない範囲で種種変形して実施することができる。
【００７２】
（本発明の他の実施の形態）
本発明は複数の機器から構成されるシステムに適用しても１つの機器からなる装置に適用してもよい。
【００７３】
また、前述した実施の形態の機能を実現するように各種のデバイスを動作させるように、前記各種デバイスと接続された装置あるいはシステム内のコンピュータに対し、記憶媒体から、またはインターネット等の伝送媒体を介して前記実施の形態の機能を実現するためのソフトウェアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）に格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。
【００７４】
また、この場合、前記ソフトウェアのプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は本発明を構成する。かかるプログラムコードを記憶する記憶媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００７５】
また、コンピュータが供給されたプログラムコードを実行することにより、前述の実施の形態で説明した機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）あるいは他のアプリケーションソフト等の共同して前述の実施の形態で示した機能が実現される場合にもかかるプログラムコードは本発明の実施の形態に含まれることは言うまでもない。
【００７６】
さらに、供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合にも本発明に含まれる。
【００７７】
【発明の効果】
以上説明してきたように、本発明によれば、異常検知時に映像と音声を圧縮符号化して伝送する異常監視装置において、通常は処理の重い映像処理部分を停止しておき、音声により監視領域に異常が認められた場合のみ映像処理部分を起動するようにしたので、映像処理部分で消費される電力を抑えつつ、監視領域の異常検知精度を高精度に維持することができる。
また、本発明の他の特徴によれば、音声の異常が認められた場所を雲台付きズームビデオカメラ装置で的確に捉えるようにしたので、侵入者や異常な状態をより詳細な映像で自動的に捉えることができる。
【００７８】
また、本発明の他の特徴によれば、映像の圧縮符号化のビットレートを音圧の上下に応じて逐次制御するようにしたので、映像では捉えることができない変化が生じた場合でも、音の変化によって侵入者や監視領域の変化をより鮮明な動画像で捉えるようにすることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態を示し、実施の形態における異常監視装置の一構成例を示す図である。
【図２】実施の形態における監視処理プログラムを格納した媒体の内容構成例を示す図である。
【図３】実施の形態において異常監視装置に監視処理プログラムを導入するイメージを示す図である。
【図４】実施の形態における異常監視装置のメモリマップ構成を示す図である。
【図５】実施の形態における雲台制御テーブルの一例を示す図である。
【図６】実施の形態における異常監視装置の処理手順を示すフローチャートである。
【図７】実施の形態における雲台制御処理の手順を示すフローチャートである。
【図８】実施の形態におけるズーム制御処理の手順を示すフローチャートである。
【図９】第２の実施の形態における動画ビットレート制御テーブルの一例を示す図である。
【図１０】第２の実施の形態における異常監視装置のメモリマップ構成を示す図である。
【図１１】第２の実施の形態における異常監視装置の処理手順を示すフローチャートである。
【図１２】第２の実施の形態における動画ビットレート変更処理の手順を示すフローチャートである。
【符号の説明】
１　雲台付きズームビデオカメラ
２　カメラ制御部
３　動画圧縮部
４　固定ビデオカメラ
５　動体抽出部
６　マイクロフォン
７　背景雑音フィルタ
８　音圧・位置判定ミキサー
９　音声圧縮部
１０　バス
１１　データ送信部
１２　ＲＡＭ
１３　ＲＯＭ
１４　外部記憶部
１５　ＣＰＵ
１６　デバイス制御部
１７　メディアドライブ
１８　記録メディア
１９　ＲＡＭ上の雲台制御テーブル
２０　ＲＡＭ上の音圧値
２１　ＲＡＭ上の位置ＩＤ
【図１】
2004120595.tif 000003
【図２】
2004120595.tif 000004
【図３】
2004120595.tif 000005
【図４】
2004120595.tif 000006
【図５】
2004120595.tif 000007
【図６】
2004120595.tif 000008
【図７】
2004120595.tif 000009
【図８】
2004120595.tif 000010
【図９】
2004120595.tif 000011
【図１０】
2004120595.tif 000012
【図１１】
2004120595.tif 000013
【図１２】
2004120595.tif 000014