(57)【特許請求の範囲】
【請求項１】
撮影装置から入力される画像をブロックに分割する手段と、
上記ブロックごとに直交変換を行う直交変換部と、
直交変換された上記ブロックごとに、高周波成分であるＡＣ成分の右上半分の画素群の水平方向絶対値総和を求め、またＡＣ成分の左下半分の画素群の垂直方向絶対値総和を求め、上記水平方向絶対値総和と上記垂直方向絶対値総和の加算値が所定の閾値以上であればエッジが存在すると判断し、上記水平方向絶対値総和を上記垂直方向絶対値総和で除算したものを縦横エッジ比として算出するＡＣ成分縦横エッジ比算出部と、
上記ブロックごとに、処理対象フレームの画像データと、直前のフレームの画像データとを比較して、エッジの有無及び縦横エッジ比変化率に応じて異常物体候補を抽出する物体候補抽出部と、
上記異常物体候補が異常物体であるか否か判定する物体判定部とを備え、
上記物体判定部は、
上記異常物体候補の移動が所定時間追跡できた場合は異常物体とすることを特徴とする画像監視装置。
【請求項２】
上記物体候補抽出部は、
上記ブロックデータの直交変換を行って取得した周波数成分の経時変化を基に上記異常物体候補を抽出することを特徴とする請求項１に記載の画像監視装置。
【請求項３】
上記物体候補抽出部は、上記ブロックごとに、処理対象フレームと直前フレームとを比較して、上記縦横エッジ比の差分から縦横エッジ比変化率を算出し、上記処理対象フレームと上記直前フレームのエッジの存在有無が変化するか、または変化しない場合であっても上記縦横エッジ比変化率が所定の閾値以上となる場合に異常物体の候補と判定して抽出することを特徴とする請求項１に記載の画像監視装置。
【請求項４】
上記物体候補抽出部は、上記ブロックごとに、処理対象フレームと直前フレームとを比較して、上記縦横エッジ比の差分から縦横エッジ比変化率を算出し、上記処理対象フレームと上記直前フレームのエッジの存在有無に変化があり、かつ、直流成分であるＤＣ成分の差分値が所定の閾値以上である場合、または、上記のエッジの存在有無に変化がなく、かつ、上記縦横エッジ比変化率が所定の別の閾値以上となる場合、のいずれかの場合に、異常物体の候補と判定して抽出することを特徴とする請求項１に記載の画像監視装置。
【請求項５】
上記物体候補抽出部は、さらに、異常物体の候補として抽出したブロックのうち、連結数が所定の閾値未満であるブロックを抽出対象から除外することを特徴とする請求項３または４に記載の画像監視装置。
【請求項６】
入力装置及び通信装置と、
上記入力装置を介して入力された指示に応じて、上記通信装置を介してあらかじめ定められた通信先のうちの少なくとも一つに対して通信を行う通信制御部とを、さらに備えることを特徴とする請求項１ないし５のいずれかに記載の画像監視装置。
【請求項７】
撮影装置から入力される画像をブロックに分割するステップと、
上記ブロックごとに直交変換を行うステップと、
直交変換された上記ブロックごとに、高周波成分であるＡＣ成分の右上半分の画素群の水平方向絶対値総和を求め、またＡＣ成分の左下半分の画素群の垂直方向絶対値総和を求め、上記水平方向絶対値総和と上記垂直方向絶対値総和の加算値が所定の閾値以上であればエッジが存在すると判断し、上記水平方向絶対値総和を上記垂直方向絶対値総和で除算したものを縦横エッジ比として算出するＡＣ成分縦横エッジ比算出ステップと、
上記ブロックごとに、処理対象フレームの画像データと、直前のフレームの画像データとを比較して、エッジの有無及び縦横エッジ比変化率に応じて異常物体候補を抽出する物体候補抽出ステップと、
上記異常物体候補が異常物体であるか否か判定する物体判定ステップとを備え、
上記物体判定ステップは、
上記異常物体候補の移動が所定時間追跡できた場合は異常物体とするステップを含むことを特徴とする画像監視方法。
【請求項８】
上記物体候補抽出ステップは、上記ブロックごとに、処理対象フレームと直前フレームとを比較して、上記縦横エッジ比の差分から縦横エッジ比変化率を算出し、上記処理対象フレームと上記直前フレームのエッジの存在有無が変化するか、または変化しない場合であっても上記縦横エッジ比変化率が所定の閾値以上となる場合に異常物体の候補と判定して抽出することを特徴とする請求項７に記載の画像監視方法。
【請求項９】
上記物体候補抽出ステップは、上記ブロックごとに、処理対象フレームと直前フレームとを比較して、上記縦横エッジ比の差分から縦横エッジ比変化率を算出し、上記処理対象フレームと上記直前フレームのエッジの存在有無に変化があり、かつ、直流成分であるＤＣ成分の差分値が所定の閾値以上である場合、または、上記のエッジの存在有無に変化がなく、かつ、上記縦横エッジ比変化率が所定の別の閾値以上となる場合、のいずれかの場合に、異常物体の候補と判定して抽出することを特徴とする請求項７に記載の画像監視方法。
【請求項１０】
請求項７，８および９に記載の画像監視方法を実現するためのコンピュータプログラムを保持することを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、道路交通分野の監視、建物構内の監視、屋外監視等において、カメラで撮影した監視対象シーンを監視する技術に係り、特に、監視対象シーンの画像データを画像処理して異常を検出画像監視装置及び画像監視方法と、該方法を実現するためのコンピュータプログラムを保持する記憶媒体とに関する。
【０００２】
【従来の技術】
従来の画像監視装置として、カメラで撮影した画像を経時的な差分画像を含む圧縮データに符号化し、この圧縮データの中の経時的な差分画像をそのまま利用して監視映像の変化を判定して異常検知を行う方法がある（特開2000-20857号公報）。
【０００３】
しかし、この方法には、例えば蛍光灯のフリッカーや照明装置の点灯消灯による明るさ変動、太陽光や雲等の日照変動等、輝度が経時的に変動する状況下ではこれらを異常として検出してしまうという問題がある。また、動きの方向が規則的に振幅する木々の揺れやカーテンの動き等も、輝度が経時的に変動するため、この方法ではこれらも異常として検出してしまう場合がある。
【０００４】
また、カメラで撮影した画像を複数のブロックに分割し、各々のブロックに離散コサイン変換を施し圧縮して伝送し、該伝送された圧縮画像のエッジ情報が含まれる高周波成分のみを伸張して、予め記憶した背景画像との差分から異常検知を行う方法も提案されている（特開平8-50649号公報）。
【０００５】
しかし、この方法では、圧縮画像が伸張されるるため、圧縮する場合に比べて画像情報が多くなってしまうとともに、処理時間や伸張装置が必要となるためコストが高いという問題がある。更に、動きの方向が規則的に振幅する木々の揺れやカーテンの動き等も、背景画像と比較して変化するため、この方法ではこれらも異常として検出してしまうという問題がある。
【０００６】
【発明が解決しようとする課題】
そこで本発明は、圧縮画像のままで蛍光灯のフリッカーや照明装置の点灯消灯による明るさ変動、太陽光や雲等の日照変動等の輝度が経時的に変動する環境の他に、動きが規則的に振幅する木々の揺れやカーテンの動きが存在する環境でも、異常物体を安価な構成で高速・高精度に検出する画像監視装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記目的を達成するため、本発明では、撮影装置から入力される画像をブロックに分割するステップと、ブロックごとに、処理対象フレームの画像データと、直前のフレームの画像データとを比較して、エッジの有無及び縦横エッジ比変化率に応じて異常物体候補を抽出する物体候補抽出ステップと、異常物体候補が異常物体であるか否か判定する物体判定ステップとを備え、物体判定ステップが、異常物体候補の移動が所定時間追跡できた場合は異常物体とするステップを含む画像監視方法が提供される。また、本発明では、この本発明の画像監視方法を実現するためのコンピュータプログラムを保持することを特徴とするコンピュータ読み取り可能な記憶媒体が提供される。
【０００８】
さらに、本発明では、上述した本発明の画像監視方法を用いた画像監視装置が提供される。すなわち、本発明では、撮影装置から入力される画像をブロックに分割する手段と、該ブロックごとに、処理対象フレームの画像データ及び直前のフレームの画像データを比較して、エッジの有無及び縦横エッジ比変化率に応じて異常物体候補を抽出する物体候補抽出部と、該異常物体候補が異常物体であるか否か判定する物体判定部とを備え、物体判定部は、異常物体候補の移動が所定時間追跡できた場合は異常物体とする画像監視装置が提供される。
【０００９】
なお、物体候補抽出部は、ブロックデータの直交変換を行って取得した周波数成分の経時変化を基に上記異常物体候補を抽出するようにすることができる。ここで、直交変換には、離散コサイン変換及び／又は直交ウェーブレット変換を用いることができる。
【００１０】
また、本発明の画像監視装置は、物体判定部により検出された異常物体を追尾するための追尾データ算出部と、該追尾データに基づき、撮影装置の光軸の角度を変化させるための撮影装置用制御信号を作成して出力する撮影装置制御部とを、さらに有することが望ましい。このようにすれば、検出した異常物体を追尾したシーンを自動的に撮影することができる。
【００１１】
なお、追尾データは、検出した異常物体の、水平方向及び垂直方向のうち少なくともいずれかの移動量を少なくとも含むことが望ましい。また、撮影装置用制御信号は、この異常物体の移動量から換算した撮影装置の光軸角度の変化量に応じた制御信号を含むことが望ましい。
【００１２】
さらに、本発明の画像監視装置は、検出された異常物体に関する表示用情報を作成する付加データ作成部を、さらに有することが望ましい。このようにすれば、検出した異常物体とともに付加データを表示することで、異常物体に関する情報を監視員が用意に認識することができる。
【００１３】
また、本発明の画像監視装置は、入力装置及び通信装置と、入力装置を介して入力された指示に応じて、通信装置を介してあらかじめ定められた通信先のうちの少なくとも一つに対して通信を行う通信制御部とを、さらに備えることが望ましい。このようにすれば、異常物体を認識した監視員が、即座に異常発生現場の対策員と連絡することができる。
【００１４】
【発明の実施の形態】
本発明の画像監視装置では、例えば、カメラから入力される画像を圧縮符号化する画像符号化装置の圧縮符号最小単位のブロックデータを、ブロックデータ算出手段が算出する。該ブロックデータは、直交変換が施された周波数成分であり、該周波数成分に対して、物体候補抽出手段は、該周波数成分の輝度情報を用いて縦横エッジ比を算出し、該縦横エッジ比の時間経過による変化を比較判定して抽出する。
【００１５】
物体判定手段は、前記物体候補抽出手段で抽出したブロック及び／又は周辺も含む該ブロックに対して、前記画像符号化装置の符号化データに対応する同一ブロック間及び／又は前記画像復号化再生装置で再生された画像信号間で現時刻データと前時刻データの相関処理を行って、閾値以下の場合、異常物体であると判定する。
【００１６】
また、本発明の画像監視装置は、カメラから入力される画像を画像変換装置が複数のブロックに分割し、各ブロックデータの直交変換を行って取得した周波数成分に対して、物体候補抽出手段が、該周波数成分の輝度情報を用いて縦横エッジ比を算出し、該縦横エッジ比の時間経過による変化を比較判定して抽出するようにしてもよい。
【００１７】
このようにする場合、物体判定手段は、前記物体候補抽出手段で抽出したブロック及び／又は周辺も含む該ブロックに対して、カメラ入力画像及び／又はブロックごとの直交変換した周波数成分に対して、同一ブロック間で現時刻データと前時刻データの相関処理を行って、閾値以下の場合、異常物体であると判定する。
【００１８】
また、本発明の画像監視装置は、撮影装置として、カメラの光軸角度を変更可能な雲台とカメラとを有する装置を用いてもよい。この場合、この撮影装置のカメラから順次入力される映像に対して、逐次、圧縮符号化する画像符号化装置の圧縮符号最小単位のブロックデータを、ブロックデータ算出手段が算出する。該ブロックデータは、直交変換が施された周波数成分であり、該周波数成分に対して、物体候補抽出手段は、該周波数成分の輝度情報を用いて縦横エッジ比を算出し、該縦横エッジ比の時間経過による変化を比較判定して抽出する。
【００１９】
物体判定手段は、前記物体候補抽出手段で抽出したブロック及び／又は周辺も含む該ブロックに対して、前記画像符号化装置の符号化データに対応する同一ブロック間及び／又は前記画像復号化再生装置で再生された画像信号間で現時刻データと前時刻データの相関処理を行って、閾値以下の場合、異常物体であると判定することを特徴とし、物体判定手段で異常物体が検知された場合、異常物体を追尾するため異常物体の水平方向移動量及び／又は垂直方向移動量を算出する追尾データ算出手段と、追尾データ算出手段で算出された水平方向移動量からカメラの水平方向移動量を、垂直方向移動量からカメラの垂直方向移動量を換算してカメラ移動の制御情報を雲台付きカメラに送出するカメラ制御手段とを備える。
【００２０】
また、本発明の画像監視装置は、付加データ作成手段を有していてもよい。この場合も、カメラから入力される映像に対して、圧縮符号化する画像符号化装置の圧縮符号最小単位のブロックデータを、ブロックデータ算出手段が算出する。該ブロックデータは、直交変換が施された周波数成分であり、該周波数成分に対して、物体候補抽出手段は、該周波数成分の輝度情報を用いて縦横エッジ比を算出し、該縦横エッジ比の時間経過による変化を比較判定して抽出する。物体判定手段は、前記物体候補抽出手段で抽出したブロック及び／又は周辺も含む該ブロックに対して、前記画像符号化装置の符号化データに対応する同一ブロック間及び／又は前記画像復号化再生装置で再生された画像信号間で現時刻データと前時刻データの相関処理を行って、閾値以下の場合、異常物体であると判定することを特徴とし、物体判定手段で異常物体が検知された場合、付加データ作成手段で該異常物体に対応した付加情報を作成し、付加情報格納手段において該付加情報作成手段で作成したデータを格納する。画像符号化装置の符号化データを再生する場合、該付加情報格納手段で格納したデータを所期の映像に対応して選択し表示する表示データ選択手段を備える。
【００２１】
また、本発明の画像監視装置は、対策員に対して異常を伝達することのできるインターフェースを備えていてもよい。この場合も、カメラから入力される映像に対して、圧縮符号化する画像符号化装置の圧縮符号最小単位のブロックデータを、ブロックデータ算出手段が算出する。該ブロックデータは、直交変換が施された周波数成分であり、該周波数成分に対して、物体候補抽出手段は、該周波数成分の輝度情報を用いて縦横エッジ比を算出し、該縦横エッジ比の時間経過による変化を比較判定して抽出する。物体判定手段は、前記物体候補抽出手段で抽出したブロック及び／又は周辺も含む該ブロックに対して、前記画像符号化装置の符号化データに対応する同一ブロック間及び／又は前記画像復号化再生装置で再生された画像信号間で現時刻データと前時刻データの相関処理を行って、閾値以下の場合、異常物体であると判定する。物体判定手段で異常物体が検知された場合、画像復号化再生手段が前記画像符号化装置の符号化データを再生し、該画像復号化再生手段で再生した画像を表示装置に表示して監視員が異常と判断した場合、該監視対象エリアを管轄している対策員に、該表示装置画面上の所定位置を指示して異常を伝達するインターフェースを備える。
【００２２】
以下、本発明の一実施例について図面を用いて説明する。
【００２３】
＜実施例１＞
Ａ．装置構成
（１）全体構成
本実施例の画像監視装置は、図１に示すように、処理装置本体10、復号化再生・表示装置50を備える。なお、本実施例では処理装置本体10にカメラ1000を含めたが、処理装置本体20にカメラ1000を含めず、処理装置本体20、カメラ1000、復号化再生・表示装置50により画像監視装置を構成してもよい。
【００２４】
本実施例の処理装置本体10は、対象シーンを撮影するカメラ1000と、該カメラ1000から入力される映像を圧縮符号化する画像符号化装置2000と、異常物体を検出する物体検出装置4000とを備える。また、復号化再生・表示装置50は、画像を表示する画像表示装置8000と、画像符号化装置2000の符号化データを復号化して表示装置8000に表示する画像復号化再生装置6000とを備える。
【００２５】
ここで、カメラ1000、画像符号化装置2000、画像復号化再生装置6000、表示装置8000には、従来の標準的な装置を用いることができる。また、本実施例ではカメラ1000と画像符号化装置2000とを別々の装置としたが、これらが一体になった装置を用いてもよく、撮影された映像を圧縮符号化したデータの出力が得られれば、撮影や符号化のための構成は特に限定されるものではない。
【００２６】
なお、本実施例の画像監視装置では、物体検出装置4000が処理装置本体10に設けられているが、図３に示すように、処理装置本体10b又は20bではなく、復号化再生・表示装置50bに物体検出装置4000を設けてもよい。
【００２７】
なお、カメラ1000、画像符号化装置2000、物体検出装置4000、画像復号化再生装置6000、画像表示装置8000などの位置関係は特に限定されるものではなく、これらのいずれかが遠隔地にあっても構わない。これらの間のデータ転送を行う回線は有線であると無線であるとを問わず、任意の手段を用いることができる。カメラ1000又は画像表示装置8000などが遠隔地にある場合、それらとの間の通信には、標準的な通信回線、例えば、電話回線やＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）などを用いることができ、インターネット（World Wide Web）を使用した通信を用いてもよい。
【００２８】
（２）画像符号化装置
本実施例の画像符号化装置2000は、図４に示すように、変換部2100と、差分部2200と、ＤＣＴ／量子化部2300と、可変長符号化部2400と、逆量子化／逆ＤＣＴ部2500と、加算部2600と、フレームメモリ2700と、動き予測部2800とを備える。
【００２９】
変換部2100は、カメラ1000より入力されるビデオ信号の1フレーム分を輝度信号と２つの色差信号（青色差信号と赤色差信号）に分離し、マクロブロック（以下、MBとする）単位に分割して差分部2200及び動き予測部2800へ出力する。1個のＭＢは16画素×16ラインの輝度信号からなる輝度ブロック（8画素×8ラインの輝度信号からなるブロック4個分）と、8画素×8ラインの青色差信号からなる青色差ブロックと、8画素×8ラインの赤色差信号からなる赤色差ブロックの6個のブロックから構成される。ただし、青色差信号と赤色差信号は、水平・垂直とも１/２サンプリングされている。ここでは、ｎフレームを現フレームとし、ｎフレームに近い過去又は未来のフレームをｍフレームとして、これを参照フレームとする。
【００３０】
動き予測部2800は、輝度ブロック単位でｎフレームの画素pに対して、ｍフレーム中の隣接する画素を用いて作成した補間画像から画素pに類似している画素p*を0.5画素単位で探索する操作を行う。ここで、画素ごとの輝度差の絶対値差分の総和が最小である輝度ブロックを最大類似ブロックＹＢｓとし、ＹＢｓと空間的に対応する青色差ブロックＣｂＢｓ及び赤色差ブロックＣｒＢｓの3個を参照ブロックと称する。
【００３１】
差分部2200は、変換部2100から入力されたＭＢとＭＢの参照ブロックとの差分で表わされる予測誤差を算出してＤＣＴ／量子化部2300へ出力する。ＤＣＴ／量子化部2300は、8画素×8ラインのブロック単位に分割した情報から輝度データの直交変換である離散コサイン変換（ＤＣＴ）を行い、その結果であるＤＣＴ係数の量子化を行って、可変長符号化部2400及び逆量子化/逆ＤＣＴ部2500へ出力する。ここで用いられるＤＣＴ変換を、つぎの式（数１）に示す。
【００３２】
【数１】
0003926572.tif 000002
【００３３】
逆量子化/逆ＤＣＴ部2500は、ＤＣＴ／量子化部2300で量子化されたデータに対して逆量子化と逆ＤＣＴを行い、予測誤差を復号して、該復号したデータと参照ブロックとの加算を加算部2600で行って符号化中のフレームを再生して、ブロック単位にフレームメモリ2700に格納する。フレームメモリ2700には、同様にして再生された直前のフレームも格納されている。
【００３４】
更に、動き予測部2800は、参照フレームの参照ブロックＹＢｓと現フレームの輝度ブロックから、現フレームにおける動きベクトルを算出する。動きベクトルは、現フレームの輝度ブロックと参照ブロックＹＢｓとの空間的な位置関係を示し、水平成分と垂直成分とで表わされる。動き予測部2800は、このように算出されるＹＢｓ、ＣｂＢｓ、ＣｒＢｓを差分部2200へ出力し、更に動きベクトルを可変長符号化部2400へ出力する。
【００３５】
可変長符号化部2400は、ＤＣＴ／量子化部2300で作成される量子化データと動き予測部2800から得られる動きベクトル等を可変長符号化してデータ出力する。なお、画像符号化装置2000には、ビデオ信号を符号化する標準的な構成の装置を用いることができる。
【００３６】
（３）物体検出装置
本実施例の物体検出装置4000は、図５に示すように、ブロックデータ算出部4200と、物体候補抽出部4700と、物体判定部4800と、符号化データ格納部4900とを備える。本実施例では、物体検出装置4000は、中央演算処理装置と主記憶装置と、外部記憶装置とを備える情報処理装置により実現される。なお、回線を介して外部からプログラムを読み込む場合など、不要であれば外部記憶装置は設けなくてもよい。
【００３７】
符号化データ格納部4900は、主記憶装置又は外部記憶装置に確保された記憶領域である。ブロックデータ算出部4200、物体候補抽出部4700及び物体判定部4800は、外部記憶装置などを介して記憶媒体（光ディスク、光磁気ディスク、磁気ディスクなど）から主記憶装置に読み込まれたプログラムを中央演算処理装置が実行することにより実現される。このように、本実施例では物体検出装置4000の各部はソフトウエアにより実現されるが、本発明はこれに限定されるものではなく、ハードワイヤードロジックを含む専用装置（チップ）などにより物体検出装置4000を実現してもよい。
【００３８】
ブロックデータ算出部4200は、ＤＣＴ／量子化部2300で行ったＤＣＴの結果のブロックデータを取り出し、該取り出したブロックデータに対するエッジ比を算出する。物体候補抽出部4700は、該算出したエッジ比を利用して前フレームと現フレームとを比較し、変化が所定以上の場合を異常物体の候補として抽出する。物体判定部4800は、物体候補抽出部4700で候補とした領域の変化状態等により物体判定を行い、物体と判定した場合、該フレームの圧縮符号化した符号化データを符号化データ格納部4900へ格納する。
【００３９】
本実施例のブロックデータ算出部4200は、図６に示すように、ＤＣＴデータ抽出部4210と、ＡＣ成分縦横エッジ比算出部4230と、算出データ格納メモリ4250とを備える。
【００４０】
ＤＣＴデータ抽出部4210は、ＤＣＴ／量子化部2300で行った8画素×8ラインのブロック単位のＤＣＴの結果であるＤＣＴ係数のうち、8画素×8ラインの輝度信号からなる輝度ブロックのブロックデータを取り出す。ＡＣ成分縦横エッジ比算出部4230は、ＤＣＴデータ抽出部4210で算出したＤＣＴ係数の高周波成分であるＡＣ成分を用いて、水平方向のエッジ値及び垂直方向のエッジ値を計算した後、縦横エッジ比を算出し、該算出した比を算出データ格納メモリ4250へ格納する。算出データ格納メモリ4250は、算出された縦横エッジ比を保持するための記憶領域である。
【００４１】
なお、図７に示すように、ブロックデータ算出部4200に、さらにＤＣ成分算出部4270を設けてもよい。ＤＣ成分算出部4270は、ＤＣＴデータ抽出部4210で算出したＤＣＴ係数のうち低周波成分であるＤＣ成分を取り出す。該ＤＣ成分算出部4270とＡＣ成分縦横エッジ比算出部4230で算出した値は、算出データ格納メモリ4260へ格納される。このようにする場合には、これらＡＣ成分縦横エッジ比算出部4230とＤＣ成分算出部4270で算出し、算出データ格納メモリ4260へ格納した値を用いて、物体候補抽出部4700が異常物体候補を抽出する。
【００４２】
（４）画像復号化再生装置
本実施例の画像復号化再生装置6000は、図２０に示すように、画像復号化部6010と、画像表示部6020と、検知位置表示部6030と、検知情報表示部6040と、表示画面合成部6050とを備える。
【００４３】
画像復号化部6010は、映像信号を再生する標準的な構成でよく、画像符号化装置2000の符号化の逆の手順を行ってデータの復号化を行う。検知情報表示部6040は、物体検知装置4000で検知した異常物体（異常に移動している物体）が撮影されていたシーン名や日時等の異常物体の付属情報等の表示データを作成し、検知情報表示部6030が、物体検知装置4000で検知した異常物体位置の明示的な表示データを作成する。画像表示部6020は、画像復号化部6010で再生した映像信号を表示する。表示画面合成部6050は、画像表示部6020の再生映像に検知情報表示部6040や検知情報表示部6030の表示データを貼り付けたり合成したりして、監視員が異常物体情報を一目瞭然に目視で判別できるように表示データを生成し、表示装置8000の表示画面に表示する。
【００４４】
Ｂ．符号化データの構成
本実施例における画像符号化装置2000の符号化データは、図１２に示すように、最上位層をシーケンス層4101とし、以下、下層へ向かって順次、ＧＯＰ層4102、ピクチャ層4103、スライス層4104、マクロブロック層4105、ブロック層4110とする階層構造によって構成されている。最上位層のシーケンス層4101は、Sequence Header（SH）とGroup of Pictures（GOP）とを含む。符号化データのデータ構造には、一般的なものを用いることができる。
【００４５】
ＤＣＴ／量子化部2300で行った8画素×8ラインのブロック単位のＤＣＴの結果であるＤＣＴ係数は、ブロック層4110に保持される。ＤＣＴ係数の最初の画素4120がＤＣ成分であり、それ以外の63画素、即ち、h1画素4121，h2画素4122，…、hi画素4123、v1画素4130、b1画素4131、hi+1画素4132、…、v2画素4140、vj+1画素4141、b2画素4142、…、vj画素4150、…がＡＣ成分である。ＤＣ成分算出部4270が計算に用いる値は、ＤＣＴ係数の最初の画素4120の、そのままの値である。ＡＣ成分縦横エッジ比算出部4230が計算に用いる値は、ＡＣ成分のうち、ブロックの右上半分の画素群4111、即ち、h1画素4121，h2画素4122，…、hi画素4123、…、hi+1画素4132、…を水平エッジ算出に、ブロックの左下半分の画素群4112、即ち、v1画素4130，v2画素4140、vj+1画素4141、…、vj画素4150、…を垂直エッジ算出に用いる。
【００４６】
Ｃ．処理の流れ
本実施例の画像監視装置は、画像符号化装置2000が符号化した画像データに基づいて物体検出装置4000が検出した物体を、画像復号化再生装置6000により表示装置8000に表示する。画像の符号化及び復号化には、通常の技術を用いることができる。そこで、ここでは物体検出装置4000における処理の流れについて主に説明する。
【００４７】
物体検出装置4000では、ＤＣＴデータ抽出部4210がブロックデータを抽出し、このブロックデータについて、ＡＣ成分縦横エッジ比算出部4230が縦横エッジ比を算出し、これを用いて物体候補抽出部4700が異常物体候補を抽出し、この候補が物体か否かを物体判定部4800が判定して、物体と判定されたフレームの符号化データを符号化データ格納部4900へ格納する。
【００４８】
（１）ＡＣ成分縦横エッジ比算出部
本実施例のＡＣ成分縦横エッジ比算出部4230における処理の流れを図１３に示す。ＡＣ成分縦横エッジ比算出部4230は、まず、現入力画像（現フレーム）のブロック層4110におけるブロックごとにＡＣ成分の右上半分の画素群4111の水平方向絶対値総和を算出しｆｊ（ｈ）とする（ステップ4231）。次にＡＣ成分縦横エッジ比算出部4230は、現入力画像（現フレーム）のブロック層4110におけるブロックごとにＡＣ成分の左下半分の画素群4112の垂直方向絶対値総和を算出しｆｊ（v）とする（ステップ4232）。
【００４９】
ここで、ｆｊ（ｈ）は水平方向絶対値総和でなく、右上半分の画素群4111の中から選択した絶対値の任意の組み合わせの加算でもよい。また、ｆｊ（v）は垂直方向絶対値総和でなく、左下半分の画素群4112の中から選択し、右上半分の画素群4111の中から選択した絶対値の任意の組み合わせと同じ規則性を持たせた組み合わせの加算でもよい。なお、同じ規則性を持たせた組み合わせの加算とは、例えば、ｆｊ（ｈ）がh1画素4121の絶対値とh2画素4122の絶対値を加算したとすれば、ｆｊ（v）もv1画素4130の絶対値とv2画素4140の絶対値を加算することを意味する。
【００５０】
続いてＡＣ成分縦横エッジ比算出部4230は、ステップ4231で算出したｆｊ（ｈ）とステップ4232で算出したｆｊ（v）との加算値が閾値以上か否かチェックする（ステップ4233）。ステップ4233の判定で、閾値未満であった場合、ステップ4237でブロックにはエッジが存在しない、即ち、ブロック画像が均一状態であることを意味するので、ＡＣ成分縦横エッジ比算出部4230は、無エッジに相当する値を設定する（ステップ4238）。また、ステップ4233の判定で、閾値以上であった場合、これはブロックにエッジが存在することを意味するので、ＡＣ成分縦横エッジ比算出部4230は、ステップ4235で該ブロックのｆｊ（ｈ）÷ｆｊ（v）を縦横エッジ比（Rbj）として算出し（ステップ4234）、算出した値を該ブロック自身に格納する（ステップ4236）。ここで、縦横エッジ比（Rbj）は比率が算出できればよく、例えばｆｊ（v）÷ｆｊ（ｈ）でもよい。
【００５１】
最後にＡＣ成分縦横エッジ比算出部4230は、現フレーム内の全ブロックが終了したか否か判定して（ステップ4239）、終了していない場合、処理をステップ4231へ戻す。
【００５２】
なお、図７に示したようにブロックデータ算出部4200にＤＣ成分算出部4270を設ける場合には、図１６に示すように、ＤＣ成分算出部4270による、現フレームのブロックごとに低周波成分であるＤＣ成分の値（BDCj）を算出する処理（ステップ4271）を追加する。なお、図１６では、このステップ4271の処理はＡＣ成分縦横エッジ比算出部4230によるステップ4232の処理とステップ4233の処理との間に挿入されているが、本発明はこれには限られず、物体候補抽出部4700における処理の前に、全ブロックについてこの処理が行われていればよい。
【００５３】
（２）物体候補抽出部
本実施例における物体候補抽出部4700の処理の流れを図１４に示す。物体候補抽出部4700は、まず、現フレームのブロックごとに当該エッジ比を格納したメモリをRiとし、前フレームのメモリをRi-1とする（ステップ4701）。ここで、前フレームは、直前フレームや基準フレーム等でもよい。
【００５４】
続いて物体候補抽出部4700は、縦横エッジ比の現フレームブロック（BRi）と対応する前フレームブロック(BRi-1)との間で、縦横比変化率（RVHi）を算出する（ステップ4702）。縦横比変化率（RVHi）は、例えば、
RVHi  ＝  ｜BRi-1 −  BRi｜÷｛（BRi-1 ＋ BRi）÷2｝
とする。また、
RVHi  ＝  ｜BRi-1 −  BRi｜
としてもよく、
RVHi  ＝  ｜BRi-1 −  BRi｜÷BRi
等でもよい。
【００５５】
次に物体候補抽出部4700は、対応する現フレームブロックと前フレームブロック間において、エッジの有無と縦横エッジ比変化率を比較して判定する（ステップ4703）。比較判定は、▲１▼前フレームブロックと現フレームブロックとの両方ともエッジ無しの場合には「変化無し」とし、▲２▼前フレームブロックと現フレームブロックとの両方ともエッジが有る場合には、縦横比変化率（RVHi）が閾値以上であれば「変化有り」とし、縦横比変化率（RVHi）が閾値未満であれば「変化なし」とし、▲３▼前フレームブロックがエッジ有りで現フレームブロックがエッジ無しの場合には「変化有り」とし、▲４▼前フレームブロックがエッジ無しで現フレームブロックがエッジ有りの場合には「変化有り」とすることにより行う。
【００５６】
続いて物体候補抽出部4700は、変化有りと判定したブロックを抽出し（ステップ4704）、フレーム内の全ブロックが終了したか否かチェックする（ステップ4705）。物体候補抽出部4700は、ステップ4705において終了していないとされた場合にはステップ4701へ処理を戻し、終了したと判定した場合にはステップ4706を実行する。
【００５７】
ステップ4706において物体候補抽出部4700は、「変化有り」として抽出したブロックの連結数をチェックする。ここで物体候補抽出部4700は、連結数が閾値以上であった場合、当該ブロックを異常物体の候補領域とし（ステップ4707）、閾値未満であった場合、当該ブロックは孤立ブロックであるので、ノイズとして異常物体の候補領域でないとする（ステップ4708）。
【００５８】
図１５に、ステップ4704において「変化有り」と判定して抽出したブロックを示す。抽出したブロックには、孤立ブロック4732や連結ブロック4731がある。そこで、ステップ4706では、連結数の閾値（本実施例では3ブロックとする）以上の連結ブロック4731が異常物体の候補領域とされ、連結ブロックが3個未満の領域4732や4733等はノイズとして除外される。
【００５９】
なお、図７に示したようにブロックデータ算出部4200にＤＣ成分算出部4270を設ける場合には、上述のステップ4271の処理により、ブロックごとのＤＣ成分の値BDCjが算出データ格納メモリ4260に保持されている。この場合の物体候補抽出部4700における処理の流れを図１７に示す。
【００６０】
この場合、物体候補抽出部4700は、ステップ4701とステップ4702との間に、現フレームのブロックごとのＤＣ成分の値をBDCiとし、前フレームのＤＣ成分の値をBDCi-1とする処理を行う（ステップ4752）。ここでも、前フレームは、直前フレームや基準フレーム等でもよい。
【００６１】
また、物体候補抽出部4700は、ステップ4703の代わりに、エッジの有無及び縦横エッジ比変化率に加えてさらにＤＣ成分値をも用いて変化の有無を判定する処理（ステップ4754）を行う。
【００６２】
このステップ4754において物体候補抽出部4700は、対応する現フレームブロックと前フレームブロック間において、エッジの有無と縦横エッジ比変化率を比較して判定する。この場合の比較判定は、▲１▼前フレームブロックと現フレームブロックとの両方ともエッジ無しの場合には「変化無し」とし、▲２▼前フレームブロックと現フレームブロックとの両方ともエッジ有りの場合には、縦横比変化率（RVHi）が閾値以上ならば「変化有り」とし、閾値未満ならば「変化なし」とし、▲３▼前フレームブロックがエッジ有りで現フレームブロックがエッジ無しの場合には、ＤＣ成分の差の絶対値（｜BDC i-1 −  BDCi｜）が閾値以上ならば「変化有り」とし、閾値未満ならば「変化なし」とし、▲４▼前フレームブロックがエッジ無しで現フレームブロックがエッジ有りの場合には、ＤＣ成分の差の絶対値（｜BDC i-1  −  BDCi｜）が閾値以上ならば「変化有り」とし、閾値未満ならば「変化なし」とすることにより行われる。
【００６３】
（３）物体判定部
本実施例における物体判定部4800の処理の流れを図１８に示す。物体判定部4800は、まず、物体候補抽出部4700の処理結果をチェックし（ステップ4801）、処理対象のフレームブロックが異常物体の候補であればステップ4802へ処理を進める。ここで、異常物体候補ではない場合、物体判定部4800は「異常物体なし」と決定して（ステップ4811）、処理を終了する。
【００６４】
ステップ4802において物体判定部4800は、画像符号化データの復号化再生信号及び／又は入力映像信号に対し、異常物体候補領域及び／又は異常物体候補領域周辺も含む領域の前フレームと現フレームとの同一領域間（±１画素程度に拡張した場合も含む）で相関処理を行う。なお、前フレームは直前フレームや基準フレームでもよい。
【００６５】
ここで行われる相関処理は、式（数２）の正規化相関処理により相関の有無を類似度として数値化する処理である。即ち、物体判定部4800は、あらかじめ登録されているテンプレートパターンと対象画像との輝度をそれぞれ正規化して、これらにおける輝度の差を求める（3F-8  車番認識システムの濃淡パターンマッチング処理の応用、情報処理学会第49回全国大会、平成6年後期）。
【００６６】
【数２】
0003926572.tif 000003
【００６７】
なお、式（数２）において、ｒ（ｕ，ｖ）は（ｕ，ｖ）座標における類似度を示し、ｆ（ｕ+ｉ，ｖ+ｊ）は（ｕ，ｖ）点近傍の対象画像の濃度値を示し、Ｔ（ｉ，ｊ）はテンプレート画像の（ｉ，ｊ）点の濃度値を示し、ｐ，ｑはそれぞれテンプレート画像のｘ，ｙサイズを示す。
【００６８】
続いて物体判定部4800は、ステップ4802における相関処理の結果を判定し（ステップ4803）、相関が不能の場合はステップ4806へ、相関が可能な場合はステップ4804へ処理を進める。なお、相関処理において、相関不能とは処理対象の相関対象領域における輝度が一様でエッジが存在しない場合であって、特徴もなく分散値も小さい場合である。
【００６９】
相関可能な場合、物体判定部4800は、相関値が相関閾値以下か否か判定する（ステップ4804）。ここで、相関値が閾値以下であれば、処理対象が互いに類似してない（非類似である）ことを意味するため、物体判定部4800は、処理対象の異常物体候補を出現物体とした後（ステップ4805）、処理をステップ4806へ進める。また、ステップ4804において相関値が閾値より大きければ、処理対象の異常物体候補は出現物体ではないため、物体判定部4800は、はそのまま処理をステップ4806へ進める。なお、ここで用いられる相関の閾値には、0.0〜1.0の範囲の値を用いることができ、例えば本実施例では0.7を閾値とする。
【００７０】
ステップ4806において物体判定部4800は、異常物体候補領域をすべて終了したか否かチェックし、終了しない場合はステップ4802へ処理を戻し、次の候補領域に対して同様の処理（ステップ4802〜4805）を行う。
【００７１】
ステップ4806において、すべての候補領域について処理を終了していた場合、物体判定部4800は、出現物体があったか否か判定する（ステップ4807）。出現物体がなかった場合、物体判定部4800は、「異常物体なし」と決定して（ステップ4811）、処理を終了する。
【００７２】
出現物体があった場合、物体判定部4800は、候補物体の前フレーム及び／又は直前フレームの出現位置と現フレームの出現位置から追跡を行って（ステップ4808）、所定時間追跡できるか否か判定する（ステップ4809）。ここで、追跡には、出現位置として異常物体候補領域の中心や重心等を用い、最も近い距離間等を対応させることにより行うことができる。すなわち、物体判定部4800は、例えば、図１９に示すように、時刻tiに異常物体候補4820が出現し、時刻ti+1に異常物体候補4821及び異常物体候補4822が出現した場合、異常物体候補4820に移動距離が小さい方の異常物体候補である候補4821を対応させ、異常物体候補4820が候補4821に移動したものとすることにより、異常物体候補を追跡する。この追跡は、新たな入力フレームを処理対象の現フレームとして更新しつつ、順次、フレーム内に同じ物体が移動した結果である異常物体候補が存在するか否かの判定を繰り返すことにより行われる。
【００７３】
所定時間追跡できた場合、物体判定部4800は「異常物体あり」と決定して（ステップ4810）、処理を終了する。また、所定時間追跡できなかった場合、物体判定部4800は「異常物体なし」と決定して（ステップ4811）処理を終了する。なお、ここでの所定時間は、所期の検知対象物体が撮影シーンに滞在する滞在時間程度でも、それ以下（ただし0より大きいこと）でも良く、動く外乱と検知物体とを区別できる時間であればよい。
【００７４】
＜実施例２＞
実施例１では、画像データを画像符号化装置2000により一旦符号化した後、物体検出装置4000において異常物体を検出し、画像データを画像復号化再生装置6000により復号化して表示装置8000に表示した。これに対して、本実施例では、図２に示すように、画像変換前の画像データを用いた画像表示が可能な構成となっている。なお、本実施例の画像監視装置は、これ以外の点については実施例１の装置とほぼ同様である。そこで、ここでは実施例１との相違点についてのみ説明し、共通点については説明を省略する。
【００７５】
本実施例では画像監視装置を、図２に示すように、画像監視装置を処理装置本体10a及び復号化再生・表示装置50a、又は、処理装置本体20a、カメラ1000及び復号化再生・表示装置50aにより構成する。
【００７６】
本実施例の処理装置本体10aは、対象シーンを撮影するカメラ1000と、該カメラ1000から入力した画像を複数のブロックに分割し、ブロックごとにデータの直交変換を施す画像変換装置3000と、異常物体を検出する物体検出装置5000とを備える。また、復号化再生・表示装置50aは、画像を表示する表示装置8000と、カメラ1000の映像を表示装置8000に表示する画像再生装置7000とを備える。カメラ1000、画像再生装置7000及び表示装置8000には、従来の標準的な装置を用いることができる。また、カメラ1000と画像変換装置3000とが一体になったチップを用いてもよい。
【００７７】
本実施例の画像変換装置3000は、図８に示すように、ブロック領域生成部3400と、ＤＣＴデータ計算部3500とを備える。ブロック領域生成部3400は、カメラ1000で撮影した画像から、ブロック単位の直交変換を行うため、例えば、8画素×8ラインのブロック単位に分割して複数ブロックを生成する。ＤＣＴデータ計算部3500は、8画素×8ラインのブロック単位に分割した情報から輝度データの直交変換を行い、周波数成分を取得する。
【００７８】
なお、周波数成分を取得する直交変換は、本実施例では、前述の（数１）に示す離散コサイン変換（ＤＣＴ）としたが、直交ウェーブレット変換やK−L変換等、低周波領域への集中度が優れている直交変換でもよい。なお、ブロック領域生成部3400による分割は、8画素×8ラインのほか16画素×16ライン等の分割でもよい。
【００７９】
本実施例のＤＣＴデータ計算部3500は、図１０に示すように、ＤＣＴデータ抽出部3510と、ＡＣ成分縦横エッジ比算出部4230と、算出データ格納メモリ4250とを備える。本実施例のＤＣＴデータ抽出部3510は、周波数成分を取得する直交変換、例えば、分割したブロックごとの輝度データに式（数１）に示す離散コサイン変換（ＤＣＴ）を行ってＤＣＴ係数を得る。これを用いてＡＣ成分縦横エッジ比算出部4230がＡＣ成分の縦横エッジ比を算出し、結果を算出データ格納メモリ4250へ格納するのは、実施例１と同様である。
【００８０】
なお、実施例１の場合と同様、本実施例においても、ＤＣＴデータ計算部3500に、さらにＤＣ成分算出部4270を設け、物体候補抽出部4700が異常物体候補を抽出する際に、このＤＣ成分算出部4270が算出し、算出データ格納メモリ4260へ格納したＤＣ成分値を用いるようにしてもよい。この場合ＤＣＴデータ計算部3500の構成を、図１１に示す。
【００８１】
続いて、ＤＣＴデータ計算部3500により取得された画像の周波数成分を用いて、物体検出装置5000が異常物体を検出する。本実施例の物体検出装置5000も、実施例１の物体検出装置4000と同様、情報処理装置であり、図９に示すように物体候補抽出部4700及び物体判定部4800を備える。これら各部4700，4800の構成及び機能は、実施例１のものと同様である。
【００８２】
この異常物体検出装置5000による検出結果は、画像再生装置7000により表示装置8000に表示される。本実施例の画像再生装置7000は、実施例１の画像復号化再生装置6000とほぼ同様の構成を備えるが、図２１に示すように、画像復号化部6010が設けられていない。このため、本実施例の画像表示部7020は、カメラ1000で入力した映像信号を表示画面合成部6050へ出力し、表示画面合成部はこの映像信号に検知情報表示部6040や検知情報表示部6030の表示データを貼り付けたり合成したりして、表示装置8000に監視員が異常物体情報を一目瞭然に目視で判別できるように表示データを生成して表示する。
【００８３】
＜実施例３＞
本実施例では、異常物体を自動的に追尾するように、画像監視装置を構成する。本実施例の画像監視装置は、図２２に示すように、処理装置本体30、及び、実施例１と同様の再生・表示装置50を備える。本実施例の処理装置本体30は、撮影装置1010と、画像符号化装置2000と、物体追尾機能を有する物体検出装置9000とを備える。本実施例においても、他の実施例と同様、処理装置本体に撮影装置を含めず、処理装置本体40、撮影装置1100及び再生・表示装置50により画像監視装置を構成してもよい。
【００８４】
本実施例の画像監視装置は、撮影のための機構として、カメラ1000に加えてその光軸方向を変更するための駆動機構を有する点と、物体検出装置9000が物体追尾機能を有する点とを除けば、実施例１の画像監視装置とほぼ同様の構成を有する。そこで、ここでは実施例１の装置との相違点についてのみ説明し、共通点については説明を省略する。
【００８５】
本実施例の撮影装置1010は、カメラ1000と、該カメラを取り付けられた雲台1010とを有する。雲台1010は、上に取り付けられたカメラ1000のレンズの光軸方向の角度を変更するための角度変更機構を有する。なお、撮影装置1010としては、駆動可能な雲台を有する従来のカメラを用いることができる。
【００８６】
また、本実施例の物体検出装置9000は、図２３に示すように、追尾機能付き物体検知部9100と、カメラ制御部9700とを有する。カメラ制御部9700は、撮影装置1100の雲台1010に通信回線を介して接続されており、該雲台1010の駆動機構及びカメラ1000の動作を制御するための制御信号を出力する。追尾機能付き物体検知部9100は、図２４に示すように、実施例１の物体検出装置4000と同様の構成に加えて、さらに追尾データ算出部9130を有し、物体判定部4800が検出した異常物体の水平方向移動量及び／又は垂直方向移動量等の追尾用データを算出し、カメラ制御部9700へ通知する。これを受けたカメラ制御部9700は、入力された追尾用データを撮影装置1100用の制御信号に変換し、雲台1010へ出力する。これにより、本実施例では、検出された異常物体を追尾したシーンを撮影装置1100が撮影することができる。
【００８７】
追尾データ算出部9130の具体的処理手順を、図２５を用いて説明する。まず、追尾データ算出部9130は、異常物体の有無をチェックする（ステップ9131）。物体判定部が異常物体ありとした場合、追尾データ算出部9130は、移動ベクトルの方向・大きさとして、前フレームにおける検知物体の中心や重心位置等から現フレームにおける検知物体の中心や重心位置等までの水平方向移動量及び／又は垂直方向移動量等を算出し（ステップ9132）、カメラ制御部9700を介して、雲台1010へ算出した水平方向移動量及び／又は垂直方向移動量等に対応したカメラのパン及び／又はチルト等の制御データを出力する（ステップ9133）。一方、ステップ9131において物体がないと判定した場合、追尾データ算出部9130は、カメラ制御部9700を介して、雲台1010へ制御情報がないことを意味する制御データを出力する（ステップ9134）。
【００８８】
なお、物体が複数存在した場合、カメラ1000が複数台ならば、１つの物体に1台のカメラを対応させることができる。また、カメラ1000が１台の場合には、あらかじめ定められた優先順位に従って、追尾する物体を決定するようにしてもよい。
【００８９】
＜実施例４＞
本実施例の画像監視装置は、異常物体（移動物体）を検出すると、該物体に対応した付加情報を作成し、異常物体の画像とともに表示装置に表示する。また、本実施例の画像監視装置には、異常発生現場での対策員との間で通信を行うための通信機能が設けられている。
【００９０】
本実施例の画像監視装置は、図２６に示すように、カメラ1000、画像符号化装置2000及び付加データ作成機能付き物体検出装置10000を有する処理装置本体60と、画像復号化再生装置6000及び表示装置8000に加えてさらに付加データ再生装置9500を有する再生・表示装置80と、入力装置11000と、通信装置12000とを備える。本実施例においても、他の実施例と同様、処理装置本体にカメラを含めず、処理装置本体70、カメラ1000、再生・表示装置50、入力装置11000、及び、通信装置12000により画像監視装置を構成してもよい。
【００９１】
本実施例の画像監視装置は、検出した異常物体に関する付加データを表示するため、物体検出装置10000に付加データ作成部10010を有し、これによって作成された付加データを表示するための付加データ再生装置9500が再生・表示装置80に設けられている。また、異常発生現場との通信のための機構として、入力装置11000、通信装置12000を備え、物体検出装置10000に通信制御部10020が設けられている。これらの点を除けば、本実施例の画像監視装置は実施例１の装置とほぼ同様の構成を有する。そこで、ここでは実施例１の装置との相違点についてのみ説明し、共通点については説明を省略する。
【００９２】
本実施例の物体検出装置10000は、実施例１の物体検出装置4000と同様の構成に加えて、図２６に示すように付加データ作成部10010及び通信制御部10020を有する。また、本実施例の付加データ再生装置9500は、図２７に示すように、表示データ選択部9510と、付加情報格納部9520とを有する。なお、本実施例では、付加データ再生装置9500は再生・表示装置80に設けられているが、処理装置本体60に設けてもよく、物体検出装置10000に設けてもよい。また、通信制御部10020は物体検出装置10000に設けられているが、通信装置12000など、他の装置に設けてもよい。
【００９３】
付加データ作成部10010は、物体判定部4800が検出した異常物体について、該物体のニックネーム、撮影シーン名称、異常物体検出時刻、物体のシーン内での位置、物体面積、物体の特徴（縦長、横長、暗い物体、明るい物体等）、アイコン等の付加データを作成し、付加データ再生装置9500の付加情報格納部9520へ格納する。表示データ選択部9510は、表示装置8000に表示する表示対象シーンに対して、付加情報格納部9520に保持している付加情報のうち、表示するものを選択して、画像符号化再生装置6000に送り、表示装置8000の表示画面に表示させる。
【００９４】
本実施例における表示装置8000の表示画面例を図２８に示す。本実施例の画像監視装置は、異常物体（移動物体）が検知された場合、該異常物体が撮影されているシーン8001に加えて、異常物体の前フレームとの動きを示すベクトル8002と、付加データ再生装置9500が作成した該検知シーンの付加データ8004とを表示画面8100に表示する。これによって、本装置のユーザである監視員は、異常シーンの付帯情報を一目瞭然で認識することができる。
【００９５】
さらに、本実施例の画像監視装置では、発生現場の対策員との双方向通信が可能となるインターフェースが提供される。すなわち、本実施例における表示画像には、対策通知を支持するための選択領域（ボタン）8005が設けられている。入力装置11000を介してこの領域8005が選択（クリック）されると、通信制御部10020は、あらかじめ登録されている通信先から、当該表示されている異常物体に最も近い通信先を選択し、通信装置12000を介して、該通信先との通信回線（携帯電話回線など）を開く。これによって、本画像監視装置のユーザである監視員は、異常発生現場の対策員との間で双方向通信を行うことができる。
【００９６】
【発明の効果】
本発明によれば、圧縮符号化したままの画像データの周波数成分の縦横エッジ比を利用し、前フレームと現フレームとの該エッジ比の変化率を用いて異常物体候補の有無判定を行う。従って、周波数成分の縦横エッジ比を利用して２フレーム間で比較するので、処理時間とメモリが大幅に短縮できる効果があるとともに、エッジ比を用いることにより照度変動に影響されないという効果がある。また、画像の圧縮符号化データのまま処理するので、画像処理時間が短縮でき、更に、画像伝送も時間短縮ができるという2重の効果がある。また、異常物体判定に、相関処理を用いるので、益々、異常判定の高精度化が図れるという効果がある。一方、雲台付きカメラを用いた場合、物体追跡を行うので、少ないカメラで広範囲を撮影でき、安価なシステム構成を構築できる効果もある。
【図面の簡単な説明】
【図１】  実施例１の画像監視装置を示す機能ブロック図である。
【図２】  実施例２の画像監視装置を示す機能ブロック図である。
【図３】  実施例１の画像監視装置の他の例を示す機能ブロック図である。
【図４】  実施例１の画像符号化装置を示す機能ブロック図である。
【図５】  実施例１の物体検出装置を示す機能ブロック図である。
【図６】  実施例１のブロックデータ算出部を示す機能ブロック図である。
【図７】  実施例１のブロックデータ算出部の他の例を示す機能ブロック図である。
【図８】  実施例２の画像変換装置を示す機能ブロック図である。
【図９】  実施例２の物体検出装置を示す機能ブロック図である。
【図１０】  実施例２のＤＣＴデータ計算部を示す機能ブロック図である。
【図１１】  実施例２のＤＣＴデータ計算部の他の例を示す機能ブロック図である。
【図１２】  実施例１における符号化データの構成を示す説明図である。
【図１３】  実施例１のＡＣ成分縦横エッジ比算出部の処理手順を示す流れ図である。
【図１４】  実施例１の物体候補抽出部の処理手順を示す流れ図である。
【図１５】  実施例１においてステップ変化有りとして抽出したブロックを示す説明図である。
【図１６】  実施例１においてＤＣ成分値を用いる場合の、ＡＣ成分縦横エッジ比算出部及びＤＣ成分算出部における処理手順を示す流れ図である。
【図１７】  実施例１においてＤＣ成分値を用いる場合の、物体候補抽出部における処理手順を示す流れ図である。
【図１８】  実施例１における物体判定部の処理手順を示す流れ図である。
【図１９】  実施例１における候補物体の追跡処理を示す説明図である。
【図２０】  実施例１の画像復号化再生装置を示す機能ブロック図である。
【図２１】  実施例２の画像再生装置を示す機能ブロック図である。
【図２２】  実施例３の画像監視装置を示す機能ブロック図である。
【図２３】  実施例３の物体追尾機能付き物体検出装置を示す機能ブロック図である。
【図２４】  実施例３の追尾機能付き物体検知部を示す機能ブロック図である。
【図２５】  実施例３における追尾データ算出部の処理手順を示す流れ図である。
【図２６】  実施例４の画像監視装置を示す機能ブロック図である。
【図２７】  実施例４の付加データ再生装置を示す機能ブロック図である。
【図２８】  実施例４における表示装置の表示画面例を示す説明図である。
【符号の説明】
1000…カメラ、1010…雲台、1100…撮影装置、2000…画像符号化装置、3000…画像変換装置、4000 …物体検出装置、6000…画像復号化再生装置、6000…録画再生装置、7000 …画像再生装置、8000 …表示装置、9000 …物体追尾機能付き物体検出装置、10000 …付加データ作成機能付き異常物体検出装置。
【図１】
0003926572.tif 000004
【図２】
0003926572.tif 000005
【図３】
0003926572.tif 000006
【図４】
0003926572.tif 000007
【図５】
0003926572.tif 000008
【図６】
0003926572.tif 000009
【図７】
0003926572.tif 000010
【図８】
0003926572.tif 000011
【図９】
0003926572.tif 000012
【図１０】
0003926572.tif 000013
【図１１】
0003926572.tif 000014
【図１２】
0003926572.tif 000015
【図１３】
0003926572.tif 000016
【図１４】
0003926572.tif 000017
【図１５】
0003926572.tif 000018
【図１６】
0003926572.tif 000019
【図１７】
0003926572.tif 000020
【図１８】
0003926572.tif 000021
【図１９】
0003926572.tif 000022
【図２０】
0003926572.tif 000023
【図２１】
0003926572.tif 000024
【図２２】
0003926572.tif 000025
【図２３】
0003926572.tif 000026
【図２４】
0003926572.tif 000027
【図２５】
0003926572.tif 000028
【図２６】
0003926572.tif 000029
【図２７】
0003926572.tif 000030
【図２８】
0003926572.tif 000031