(57)【要約】【課題】少ないメモリ領域で、適切に監視対象物の動きを検出する。【解決手段】外部から入力された動画像と所定の画像変形係数とに基づいて、動画像に含まれる物体までの距離に係わらず物体の原寸に応じた大きさになるように、動画像を変形することにより変形画像を生成する画像変形部２０３と、変形された変形画像を所定のブロックに分割し、この分割されたブロック毎に、このブロックの特徴を示す代表画素値を抽出する代表画素抽出部２０４と、抽出された代表画素値の時間的な変化に基づいて、ブロックの状態に変化があるか否かを判定する状態変化検出部２０５と、状態に変化があると判定されたブロックを集合化した集合化ブロックのブロック数が、所定の集合化ブロックサイズ範囲内である場合に、この集合化ブロックを動き検出の対象物と判定する対象物判定部２０６とを備える。【選択図】      図１
2011008750.tif 000002
【特許請求の範囲】
【請求項１】
外部から入力された動画像と所定の画像変形係数とに基づいて、前記動画像に含まれる物体までの距離に係わらず前記物体の原寸に応じた大きさになるように、前記動画像を変形することにより変形画像を生成する画像変形手段と、
前記画像変形手段により変形された変形画像を所定のブロックに分割し、この分割されたブロック毎に、このブロックの特徴を示す代表画素値を抽出する代表画素抽出手段と、
前記代表画素抽出手段により抽出された代表画素値の時間的な変化に基づいて、前記ブロックの状態に変化があるか否かを判定する状態変化検出手段と、
前記状態変化検出手段により状態に変化があると判定された隣接するブロック同士を集合化した集合化ブロックのブロック数が、所定数の範囲内である場合に、この集合化ブロックを動き検出の対象物と判定する対象物判定手段と、
を備えることを特徴とする動き検出装置。
【請求項２】
前記対象物判定手段は、
前記状態変化検出手段により状態に変化があると判定された隣接するブロック同士を、前記変形画像の変形の方向に応じて定められた重み付けに基づいて集合化し、この集合化された集合化ブロックのブロック数が、所定数の範囲内である場合に、この集合化ブロックを動き検出の対象物と判定する
ことを特徴とする請求項１記載の動き検出装置。
【請求項３】
前記対象物判定手段により集合化ブロックが動き検出の対象物と判定された場合、前記対象物が検出されたことを発報する警報出力手段
を更に備えたことを特徴とする請求項１又は２記載の動き検出装置。
【請求項４】
前記対象物判定手段により集合化ブロックが動き検出の対象物と判定された場合、前記対象物の前記変換画像におけるアドレスを前記動画像におけるアドレスに変換するアドレス変換手段
を更に備えたことを特徴とする請求項１又は２記載の動き検出装置。
【請求項５】
請求項４記載の動き検出装置を備える記録装置であって、
前記動き検出装置におけるアドレス変換手段により変換されたアドレスと、前記動き検出装置に外部から入力される動画像とを関連づけて、記憶媒体に記憶する記録制御手段
を備えたことを特徴とする記録装置。
【請求項６】
請求項４記載の動き検出装置を備える表示装置であって、
前記動き検出装置におけるアドレス変換手段により変換されたアドレスに基づいて、前記動き検出装置に外部から入力される動画像上に、前記動き検出装置における対象物判定手段により判定された対象物を強調表示する表示制御手段
を備えたことを特徴とする表示装置。
【請求項７】
前記動画像上に前記対象物判定手段により判定された前記対象物を強調表示するか、又は前記動き検出装置における画像変形手段により生成された変形画像上に前記対象物判定手段により判定された前記対象物を強調表示するかを、切り替えて前記表示制御手段に表示させる切り替え手段
を更に備えた請求項６記載の表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影された撮影画像に含まれる対象物の動きを検出する動き検出装置、記録装置、及び表示装置に関する。
【背景技術】
【０００２】
防犯を目的として、オフィスビル、工場、大型店舗、及び公共施設等において、監視カメラが撮影した画像を監視員が監視できるようにモニタに表示すると共に、撮影された画像を証拠画像をとして記録する監視システムが普及している。
【０００３】
また、近年では、監視員による監視効率を高めるため、又は監視システムのリソースを節約するため、撮影された画像の変化を検出した場合に、画像に含まれる物体に動きがあったと判定し、警報を発報すると共に、変化が検出された画像のみを記録する監視システムが提案されている。
【０００４】
しかしながら、撮影された画像の変化を検出する場合、天候や太陽光の乱反射等の環境変化により撮影された画像が変化するので、これにより、撮影された画像に含まれる物体に動きがあったと誤検出する場合があった。
【０００５】
そこで、特許文献１には、撮影した画像データを複数エリアのブロックに分割し、分割された画像ブロックの画像データを平滑化し、平滑化された画像データの状態変化を検出する監視端末装置が提案されている。
【０００６】
また、特許文献２には、動き検出する際のブロック領域の分割数を、画像の上部エリア及び下部エリアで変更し、画像に含まれる物体の相対的な大きさを揃えることにより、撮影された画像に含まれる物体を検出する動き検出装置が提案されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−１０２５５６号公報
【特許文献２】特開２００８−９７６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１に記載の監視端末装置では、撮影した画像データを複数エリアのブロックに分割し、分割された画像ブロックの画像データの状態変化を検出することにより動きを検出するので、動きを検出したい監視対象物を限定することが困難であった。例えば、人物を監視対象物とする場合において、ネズミや鳥等の小動物のような非監視対象物の動きも検出してしまう場合があった。
【０００９】
また、特許文献２に記載の動き検出装置では、ブロック領域の分割数を、画像の上部エリア及び下部エリアで変更し、画像に含まれる物体の相対的な大きさを揃えることにより、撮影された画像に含まれる物体を検出するので、分割されたブロック領域の境界において、物体の大きさが離散的になるという問題があった。
【００１０】
本発明は、上記課題に鑑みてなされたものであり、その目的は、少ないメモリ領域で、適切に監視対象物の動きを検出する動き検出装置、記録装置、及び表示装置を提供することにある。
【課題を解決するための手段】
【００１１】
上記目的を達成するため、本発明に係る動き検出装置の第１の特徴は、外部から入力された動画像と所定の画像変形係数とに基づいて、前記動画像に含まれる物体までの距離に係わらず前記物体の原寸に応じた大きさになるように、前記動画像を変形することにより変形画像を生成する画像変形手段と、前記画像変形手段により変形された変形画像を所定のブロックに分割し、この分割されたブロック毎に、このブロックの特徴を示す代表画素値を抽出する代表画素抽出手段と、前記代表画素抽出手段により抽出された代表画素値の時間的な変化に基づいて、前記ブロックの状態に変化があるか否かを判定する状態変化検出手段と、前記状態変化検出手段により状態に変化があると判定されたブロックを集合化した集合化ブロックのブロック数が、所定の集合化ブロックサイズ範囲内である場合に、この集合化ブロックを動き検出の対象物と判定する対象物判定手段とを備えることにある。
【００１２】
上記目的を達成するため、本発明に係る動き検出装置の第２の特徴は、前記対象物判定手段は、前記状態変化検出手段により状態に変化があると判定された隣接するブロック同士を、前記変形画像の変形の方向に応じて定められた重み付けに基づいて集合化し、この集合化された集合化ブロックのブロック数が、所定数の範囲内である場合に、この集合化ブロックを動き検出の対象物と判定することにある。
【００１３】
上記目的を達成するため、本発明に係る動き検出装置の第３の特徴は、前記対象物判定手段により集合化ブロックが動き検出の対象物と判定された場合、前記対象物が検出されたことを発報する警報出力手段と、を更に備えたことにある。
【００１４】
上記目的を達成するため、本発明に係る動き検出装置の第４の特徴は、前記対象物判定手段により集合化ブロックが動き検出の対象物と判定された場合、前記対象物の前記変換画像におけるアドレスを前記動画像におけるアドレスに変換するアドレス変換手段とを更に備えたことにある。
【００１５】
上記目的を達成するため、本発明に係る記録装置の第１の特徴は、前記動き検出装置が適用された記録装置であって、前記アドレス変換手段により変換されたアドレスと前記動画像とを関連づけて、記憶媒体に記憶する記録制御手段とを備えたことにある。
【００１６】
上記目的を達成するため、本発明に係る表示装置の第１の特徴は、前記動き検出装置が適用された表示装置であって、前記アドレス変換手段により変換されたアドレスに基づいて、前記動画像上に前記対象物判定手段により判定された対象物を強調表示する表示制御手段とを備えたことにある。
【００１７】
上記目的を達成するため、本発明に係る表示装置の第２の特徴は、前記動画像上に前記対象物判定手段により判定された前記対象物を強調表示するか、又は前記変形画像上に前記対象物判定手段により判定された前記対象物を強調表示するかを、切り替えて前記表示制御手段に表示させる切り替え手段とを更に備えたことにある。
【発明の効果】
【００１８】
本発明の動き検出装置、記録装置、及び表示装置によれば、少ないメモリ領域で、適切に監視対象物の動きを検出することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施例１である動き検出装置が適用された画像処理装置を含む監視システムの構成を示した構成図である。
【図２】本発明の実施例１である動き検出装置が適用された画像処理装置と接続された監視カメラの設置状況を説明した図である。
【図３】本発明の実施例１である動き検出装置が適用された画像処理装置と接続された監視カメラにより撮影された画像の一例を示した図である。
【図４】本発明の実施例１である動き検出装置が適用された画像処理装置を含む監視システムによる動き検出記録処理の処理フローを示したフローチャートである。
【図５】本発明の実施例１である動き検出装置が備えるＣＰＵによる画像変換係数の算出方法を説明した図である。
【図６】図３に示した監視カメラにより撮影された画像が、本発明の実施例１である動き検出装置が備える画像変形部により変形された変形画像の一例を示した図である。
【図７】本発明の実施例１である動き検出装置が備える画像変形部により変形された変形画像において、代表画素抽出部によるブロック毎の代表画素値抽出の動作を説明するためにブロック境界を概念的に付加した図である。
【図８】図７に示した変形画像に基づいて、本発明の実施例１である動き検出装置が備える対象物判定部により検出された集合化ブロックの一例を示した図である。
【図９】監視カメラにより撮影された画像に基づいて、本発明の実施例１である動き検出装置が備える対象物判定部により検出された集合化ブロックの一例を示した図である。
【図１０】本発明の実施例１である動き検出装置が備える対象物判定部により集合化ブロックサイズ範囲内である集合化ブロックが抽出された変形画像の一例を示した図である。
【図１１】本発明の実施例１である動き検出装置が適用された画像処理装置を含む監視システムによる表示処理の処理フローを示したフローチャートである。
【図１２】本発明の実施例１である動き検出装置が適用された画像処理装置と接続された監視モニタに表示させた表示画面の一例を示した図である。
【図１３】本発明の実施例２である動き検出装置が適用された画像処理装置を含む監視システムの構成を示した構成図である。
【図１４】本発明の実施例３である動き検出装置が備える画像変形部により変形された変形画像において、代表画素抽出部によるブロック毎の代表画素値抽出の動作を説明するためにブロック境界を概念的に付加した図である。
【図１５】本発明の実施例３である動き検出装置が適用された画像処理装置を含む監視システムによる重み付け係数生成処理の処理フローを示したフローチャートである。
【図１６】（ａ）は、画像変形が行われる前の動画像において、基準ブロックと移動ブロックとの位置関係の一例を示した図であり、（ｂ）は、画像変形が行われた変形画像において、基準ブロックと移動ブロックとの位置関係の一例を示した図である。
【図１７】本発明の実施例３である動き検出装置が備えるＣＰＵにより算出される重み付け係数を説明した図である。
【図１８】図１４に示した変形画像に基づいて、本発明の実施例３である動き検出装置が備える対象物判定部により検出された集合化ブロックの一例を示した図である。
【発明を実施するための形態】
【００２０】
以下、本発明の実施の形態について図面を参照して説明する。
【実施例１】
【００２１】
本発明の実施例１では、監視対象物の動きを検出する動き検出装置が適用された画像処理装置を含む監視システムを例に挙げて説明する。
【００２２】
＜監視システムの構成＞
図１は、本発明の実施例１である動き検出装置が適用された画像処理装置を含む監視システムの構成を示した構成図である。
【００２３】
監視システム１００は、本発明の実施例１である動き検出装置が適用された画像処理装置１と、監視カメラ１０−１〜１０−ｎと、監視モニタ３０と、センサ警告灯４０−１〜４０−ｎと、操作パネル５０とを備えている。
【００２４】
監視カメラ１０−１〜１０−ｎは、それぞれの監視エリアを撮影するビデオカメラであり、この撮影した動画像のアナログ信号を画像処理装置１へ供給する。
【００２５】
図２は、本発明の実施例１である動き検出装置が適用された画像処理装置１と接続された監視カメラ１０−１の設置状況を説明した図である。なお、図２では、監視カメラ１０−１の設置状況を説明するが、監視カメラ１０−２〜１０−ｎについても同様である。
【００２６】
図２に示すように、監視カメラ１０−１は、見通しのよい場所に、撮影範囲が上方から見下ろす画角となるように設置されている。
【００２７】
また、図２に示した例では、人物６１、人物６２、及び鳥６３が、監視カメラ１０−１の撮影範囲内にあるので、監視カメラ１０−１により撮影された画像には、監視対象物である人物６１及び人物６２と、非監視対象物である鳥６３とが含まれる。ここで、監視対象物とは、監視システム１００が監視すべき動作する物体であり、非監視対象物とは、監視対象物以外の動作する物体である。ここでは、人物を監視対象物とし、人物以外を非監視対象物とする。
【００２８】
図３は、本発明の実施例１である動き検出装置が適用された画像処理装置１と接続された監視カメラ１０−１により撮影された画像の一例を示した図である。
【００２９】
図３に示すように、監視カメラ１０−１により撮影された画像には、監視対象物として、人物６１及び人物６２と、非監視対象物として鳥６３とが含まれている。
【００３０】
ここで、監視カメラ１０−１により撮影された画像は奥行きがある、即ち、撮影された画像に含まれる物体（人物６１、人物６２、又は鳥６２）から監視カメラ１０−１までのそれぞれの距離は一定ではない。そのため、撮影された画像に含まれる物体（人物６１、人物６２、又は鳥６２）の画像上の大きさは、撮影された画像に含まれる物体（人物６１、人物６２、又は鳥６２）の実際の大きさ（原寸）、及び監視カメラ１０−１からの距離により定まることになる。
【００３１】
図３に示した例では、人物６１と人物６２との実際の大きさ（原寸）は、ほぼ同じ大きさであるが、監視カメラ１０−１から人物６２までの距離より、監視カメラ１０−１から人物６１までの距離の方が長いので、画像上の人物６１の大きさは画像上の人物６２の大きさより小さくなる。
【００３２】
また、鳥６３の原寸は、人物６１の原寸より小さいが、監視カメラ１０−１から鳥６３までの距離より、監視カメラ１０−１から人物６１までの距離の方が長いので、画像上の人物６１の大きさと鳥６３の大きさとは同程度となる。
【００３３】
また、図１に示した監視モニタ３０は、画像処理装置１から供給された出力信号に基づいて、画像を表示する。
【００３４】
センサ／警告灯４０−１〜４０−ｎは、監視カメラ１０−１〜１０−ｎにそれぞれ対応して設けられ、監視システムが有するドアセンサ等の状況を画像処理装置１に通知したり、異常を検出したり、画像処理装置１により監視対象物が検出された場合に、例えば、監視対象物が検出されたことを示す警告音等を発報したりする。また、センサ／警告灯４０−１〜４０−ｎは、ドアセンサの状態と画像による動き検出の双方を連動させて異常状態の検出したりする。なお、センサ／警告灯４０−１〜４０−ｎと監視カメラ１０−１〜１０−ｎとは、１対１に対応するように配置されていてもよいし、複数の監視カメラ１０−１〜１０−ｎを、１つ又は少数のセンサ／警告灯４０−１〜４０−ｎに対応させて配置させてもよい。
【００３５】
操作パネル５０は、各種操作ボタンを備えており、利用者による操作ボタンの操作に基づいて、操作信号を生成する。
【００３６】
画像処理装置１は、入力信号処理部２０１と、バッファメモリ２０２と、画像変形部２０３と、代表画素検出部２０４と、状態変化検出部２０５と、対象物判定部２０６と、アドレス変換部２０７と、圧縮処理部２０８と、ＣＰＵ２０９と、メモリ２１０と、記録部２１１と、係数記憶部２１２と、伸張処理部２１３と、出力信号処理部２１４と、アラーム処理部２１５とを備える。ここで、画像変形部２０３と、代表画素検出部２０４と、状態変化検出部２０５と、対象物判定部２０６と、アドレス変換部２０７と、アラーム処理部２１５とを動き検出装置といい、この動き検出装置と、後述するＣＰＵ２０９の記録制御部２０９ａと、記録部２１１とを記録装置といい、動き検出装置と、出力信号処理部２１４とを表示装置という。
【００３７】
入力信号処理部２０１は、監視カメラ１０−１〜１０−ｎから供給された動画像のアナログ信号をディジタル信号へ変換し、ディジタル信号に変換された動画像をバッファメモリ２０２に供給する。
【００３８】
バッファメモリ２０２は、例えば、揮発性半導体により構成されており、その機能上、画像情報記憶部２０２ａと、動画像記憶部２０２ｂとを備えている。
【００３９】
画像情報記憶部２０２ａは、後述する画像変形部２０３により変形された変形画像を分割されたブロック毎に、後述する代表画素抽出部２０４により画像情報として抽出されたブロックの特徴を示す代表画素値を記憶する。
【００４０】
動画像記憶部２０２ｂは、入力信号処理部２０１によりディジタル信号に変換された動画像を記憶する。
【００４１】
画像変形部２０３は、動画像記憶部２０２ｂに記憶された動画像と、後述する係数記憶部２１２に記憶された画像変形係数とに基づいて、動画像に含まれる物体までの距離に係わらず物体の原寸に応じた大きさになるように動画像記憶部２０２ｂから読み出し、動画像を変形することにより変形画像を生成する。
【００４２】
代表画素検出部２０４は、画像変形部２０３により変形された変形画像を所定のブロックに分割し、この分割されたブロック毎に、このブロックの特徴を示す代表画素値として平均輝度値を抽出する。
【００４３】
状態変化検出部２０５は、代表画素検出部２０４により抽出された代表画素値（平均輝度値）の時間的な変化に基づいて、ブロックの状態に変化があるか否かを判定する。
【００４４】
対象物判定部２０６は、状態変化検出部２０５により状態に変化があると判定されたブロックを集合化した集合化ブロックのブロック数が、所定の集合化ブロックサイズ範囲内である場合に、この集合化ブロックを動き検出の対象物、即ち監視対象物と判定する。
【００４５】
アドレス変換部２０７は、対象物判定部２０６により集合化ブロックが動き検出の対象物（監視対象物）と判定された場合、監視対象物の変形画像におけるアドレスを動画像におけるアドレスに変換する。
【００４６】
圧縮処理部２０８は、バッファメモリ２０２の動画像記憶部２０２ｂに記憶された動画像をＪＰＥＧ方式等の圧縮方式により圧縮処理することにより、符号化データを生成する。
【００４７】
ＣＰＵ２０９は、画像処理装置１の中枢的な制御を行う。
【００４８】
また、ＣＰＵ２０９は、その機能上、記録制御部２０９ａを備えている。
【００４９】
記録制御部２０９ａは、アドレス変換部２０７により変換されたアドレスを含む付加情報と、圧縮処理部２０８により生成された符号化データとを関連づけて、記録部２１１に記憶する。
【００５０】
メモリ２１０は、揮発性半導体等で構成され、ＣＰＵ２０９が各種処理を実行する上で必要なデータ等を記憶する。
【００５１】
記録部２１１は、ハードディスクやフラッシュメモリ等の記録媒体で構成され、ＣＰＵ２０９の記録制御部２０９ａにより、付加情報と符号化データとが関連付けられて記録される。
【００５２】
係数記憶部２１２は、画像変形係数、差分閾値、及び集合化ブロックサイズ範囲等を記憶する。
【００５３】
伸張処理部２１３は、記録部２１１に記録された符号化データを伸張（復号化）し、出力画像を生成する。
【００５４】
出力信号処理部２１４は、アドレス変換部２０７により変換されたアドレスに基づいて、監視モニタ３０に、動画像上に対象物判定部２０６により判定された監視対象物を強調表示させる。
【００５５】
アラーム処理部２１５は、対象物判定部２０６により集合化ブロックが動き検出の対象物（監視対象物）と判定された場合、監視対象物が検出されたことを発報する。
【００５６】
＜監視システム１００の作用＞
本発明の実施例１である動き検出装置が適用された画像処理装置１を含む監視システム１００の作用を説明する。
【００５７】
本発明の実施例１である動き検出装置が適用された画像処理装置１を含む監視システム１００は、主に動き検出記録処理及び表示処理を行う。そのため、各々の処理について以下に詳細に説明する。
【００５８】
≪動き検出記録処理≫
本発明の実施例１である動き検出装置が適用された画像処理装置１を含む監視システム１００による動き検出記録処理について説明する。
【００５９】
図４は、本発明の実施例１である動き検出装置が適用された画像処理装置１を含む監視システム１００による動き検出記録処理の処理フローを示したフローチャートである。
【００６０】
図４に示すように、画像処理装置１は、監視カメラ１０−１〜１０−ｎから動画像が供給されると（ステップＳ１０１）、入力信号処理部２０１は、供給された動画像のアナログ信号をディジタル信号へ変換し、ディジタル信号に変換された動画像をバッファメモリ２０２の動画像記憶部２０２ｂに記憶する（ステップＳ１０２）。
【００６１】
なお、本発明の実施例１では、輝度信号の有効画素が１フレームあたり６４０ピクセル×４８０ライン（１フィールドあたり６４０ピクセル×２４０ライン、色差信号は輝度信号に対して１ラインあたりのピクセル数が半分）の８ビットコンポーネント信号として供給される。
【００６２】
次に、画像変形部２０３は、動画像記憶部２０２ｂに記憶された動画像と、係数記憶部２１２に記憶された画像変形係数とに基づいて、動画像記憶部２０２ｂに記憶された動画像に含まれる物体までの距離に係わらず物体の原寸に応じた大きさになるように、動画像を変形することにより変形画像を生成する（ステップＳ１０３）。具体的には、画像変形部２０３は、従来技術である下記の（数式１）及び（数式２）を用いて逆透視変換を行う。
【００６３】
Ｘ＝ａｘ＋ｂｙ＋ｃ／ｇｘ＋ｈｙ＋ｉ  ・・・（数式１）
Ｙ＝ｄｘ＋ｅｙ＋ｆ／ｇｘ＋ｈｙ＋ｉ  ・・・（数式２）
ここで、Ｘ，Ｙは、変形画像のアドレスを示し、ｘ，ｙは、動画像のアドレスを示し、ａ〜ｉは、画像変換係数を示している。この画像変換係数ａ〜ｉは、予めＣＰＵ２０９により算出され、係数記憶部２１２に記憶されている。
【００６４】
図５は、ＣＰＵ２０９による画像変換係数ａ〜ｉの算出方法を説明した図である。
【００６５】
ＣＰＵ２０９は、図５に示すようなＡ１，Ｂ１，Ｃ１，Ｄ１を頂点とする四角形３０１を設定し、画面奥の注目点であるＡ１からＢ１の画面上の距離が、画面の手前の注目点であるＣ１からＤ１の画面上の距離に等しくなるよう辺ＣＩＤ１を基準として変換した四辺形３０２の頂点Ａ２Ｂ２Ｃ２Ｄ２の座標と共に、（数式１）及び（数式２）に代入して得られる８元連立方程式を解くことによって、それぞれの画像変換係数ａ〜ｉを算出する。
【００６６】
そして、ＣＰＵ２０９は、算出された画像変換係数ａ〜ｉを係数記憶部２１２に記憶する。
【００６７】
この際、監視カメラ１０−１が移動可能なＰＴＺ（パン・チルト・ズーム）カメラのように複数の画角をプリセット可能な機能を有する場合は、それぞれのポジション（パン・チルト・ズームそれぞれの制御値）毎に予め画像変換係数の算出を行い、画像変換係数をポジションごとに別の領域に記憶しておく、そして、ポジションが変更される際に、変更されたポジションに対応する画像変換係数を読み出すようにしてもよい。
【００６８】
次に、画像変形部２０３は、逆透視変換された同次座標表現を用いたマトリックス演算を逐次実行することで得られる読み出しアドレスのデータに、バイリニア法やバイキュービック法などによる演算処理を加えることで行い動画像を変形することにより変形画像を生成する。
【００６９】
図６は、図３に示した監視カメラ１０−１により撮影された画像が、画像変形部２０３により変形された変形画像の一例を示した図である。
【００７０】
図６に示すように、人物６１と人物６２との実際の大きさ（原寸）は、ほぼ同じであるので、画像変形部２０３によって変形されることにより、監視カメラ１０−１から人物６１及び人物６２それぞれまでの距離にかかわらず、画像上の人物６１の大きさと画像上の人物６２の大きさとは同程度になっている。
【００７１】
また、鳥６３の原寸は、人物６１の原寸より小さいので、監視カメラ１０−１から人物６１及び鳥６３それぞれまでの距離にかかわらず、それぞれの原寸に応じた大きさ、即ち、画像上の人物６１は、画面上の鳥６３より大きくなっている。
【００７２】
このようにして、画像変形部２０３は、動画像記憶部２０２ｂに記憶された動画像と、係数記憶部２１２に記憶された画像変形係数とに基づいて、動画像記憶部２０２ｂに記憶された動画像に含まれる物体までの距離に係わらず物体の原寸に応じた大きさになるように、動画像を変形することにより変形画像を生成する。
【００７３】
なお、本発明の実施例１では、後述するように、代表画素抽出部２０４が、ブロック単位で代表画素値を抽出するので、読み出しアドレスの最近傍の画素を算出することにより、動画像を変形して変形画像を生成するようにしてもよい。
【００７４】
また、本発明の実施例１では、動画像の変形を行うための読み出しアドレス自体は毎フレームごとに同じ結果となることから、監視カメラ１０−１の設置を行った際に、予め読み出しアドレス算出をＣＰＵ２０９で行い、その算出結果を係数記憶部２１２に記憶し、画像変形部２０３が動画像を変形する際、係数記憶部２１２に記憶されたアドレスデータに基づいて、動画像を変形して変形画像を生成するものとして説明している。
【００７５】
次に、図４に示すように、代表画素抽出部２０４は、画像変形部２０３により変形された変形画像を所定のブロックに分割し、この分割されたブロック毎に、このブロックの特徴を示す代表画素値として平均輝度値を抽出する（ステップＳ１０４）。具体的には、代表画素抽出部２０４は、画像変形部２０３により変形された変形画像について、ＣＰＵ２０９から指示されたブロックサイズに従って（本発明の実施例１では、２０ドット×１０ラインを１ブロックとするフィールド処理を行うものとする）平滑化（平均化）し、分割されたブロックのアドレスであるブロックアドレスに対応する平均の輝度値を平均輝度値とて抽出する。
【００７６】
図７は、画像変形部２０３により変形された変形画像において代表画素抽出部２０４により分割されたブロックの一例を説明した図である。
【００７７】
図７に示すように、画像変形部２０３により変形された変形画像は、２０ドット×１０ラインを１ブロックとして、分割されており、この分割されたブロック毎に、平均輝度値が抽出される。
【００７８】
次に、代表画素抽出部２０４は、変形画像におけるブロックアドレスと、抽出された平均輝度値の値とを関連づけて、画像情報としてバッファメモリ２０２の画像情報記憶部２０２ａに記憶する（ステップＳ１０５）。
【００７９】
次に、ＣＰＵ２０９は、前回の画像情報が記憶されているか否かを判定する（ステップＳ１０６）。具体的には、ＣＰＵ２０９は、１フレーム前の奇数フィールドの画像に対応する画像情報が画像情報記憶部２０２ａに記憶されているか否かを判定する。
【００８０】
ステップＳ１０６において、前回の画像情報が記憶されていると判定された場合、状態変化検出部２０５は、ブロックアドレス毎に、前回の平均輝度値の値と今回の平均輝度値の値との差分を算出する（ステップＳ１０７）。
【００８１】
そして、状態変化検出部２０５は、ステップＳ１０７において算出された平均輝度値の差分が差分閾値を超えたブロックがあるか否かを判定する（ステップＳ１０８）。
【００８２】
次に、対象物判定部２０６は、ステップＳ１０８において判定された差分閾値を超えたブロックの集合化を行う（ステップＳ１０９）。具体的には、対象物判定部２０６は、差分閾値を超えた連続するブロックを１つの集合化ブロックとする。
【００８３】
図８は、図７に示した変形画像に基づいて、対象物判定部２０６により検出された集合化ブロックの一例を示した図である。
【００８４】
図８では、網掛け部分を平均輝度値の差分が差分閾値を超えたブロックとして示している。
【００８５】
そして、対象物判定部２０６は、差分閾値を超えた連続するブロックを、それぞれ集合化ブロック６１Ａ，６２Ａ，６３Ａとする。
【００８６】
図８に示すように、対象物判定部２０６は、図７に示した変形画像における人物６１の動きを集合化ブロック６１Ａとして検出している。同様に、対象物判定部２０６は、図７に示した変形画像における人物６２の動きを集合化ブロック６２Ａとして検出しており、鳥６３の動きを集合化ブロック６３Ａとして検出している。
【００８７】
人物６１と人物６２との実際の大きさ（原寸）は、ほぼ同じ大きさであるので、監視カメラ１０−１から人物６１及び人物６２それぞれまでの距離にかかわらず、集合化ブロック６１Ａと、集合化ブロック６２Ａとは同程度の大きさになっている。具体的には、集合化ブロック６１Ａ及び集合化ブロック６２Ａのブロック数は共に“１０”となっている。
【００８８】
また、鳥６３の原寸は、人物６１の原寸より小さいので、集合化ブロック６３Ａは、監視カメラ１０−１から人物６１及び鳥６３それぞれまでの距離にかかわらず、集合化ブロック６１Ａより小さくなっている。具体的には、集合化ブロック６１Ａのブロック数は“１０”であるのに対して、集合化ブロック６３Ａのブロック数は“３”である。
【００８９】
このように、対象物判定部２０６は、物体の原寸に応じた大きさに対応した集合化ブロック６１Ａ，６２Ａ，６３Ａを検出する。
【００９０】
また、比較のため、対象物判定部２０６が、画像変形部２０３により変形されることなく、即ち、監視カメラ１０−１により撮影された画像に基づいて、集合化ブロックを検出した場合について説明する。
【００９１】
図９は、監視カメラ１０−１により撮影された画像に基づいて、対象物判定部２０６により検出された集合化ブロックを示した図である。
【００９２】
図９に示すように、対象物判定部２０６は、図３に示した動画像における人物６１の動きを集合化ブロック６１Ｂとして検出している。同様に、対象物判定部２０６は、図３に示した動画像における人物６２の動きを集合化ブロック６２Ｂとして検出しており、鳥６３の動きを集合化ブロック６３Ｂとして検出している。
【００９３】
人物６１と人物６２との実際の大きさ（原寸）は、ほぼ同じ大きさであるが、監視カメラ１０−１から人物６１及び人物６２それぞれまでの距離が異なるので、集合化ブロック６１Ａと、集合化ブロック６２Ａとは異なる大きさとなっている。具体的には、集合化ブロック６１Ｂのブロック数は“３”であるのに対して、集合化ブロック６２Ｂのブロック数は“１１”である。
【００９４】
また、鳥６３の原寸は、人物６１の原寸より小さいが、監視カメラ１０−１から人物６１までの距離の方が、監視カメラ１０−１から鳥６３までの距離より長いので、集合化ブロック６３Ｂは集合化ブロック６１Ｂと同程度の大きさとなっている。具体的には、集合化ブロック６１Ｂのブロック数は“３”であり、集合化ブロック６３Ｂのブロック数は“４”である。
【００９５】
このように、対象物判定部２０６が、画像変形部２０３により変形されることなく、監視カメラ１０−１により撮影された画像に基づいて集合化ブロックを検出する場合、物体の原寸のみならず、監視カメラ１０−１からの距離によって大きさが異なる集合化ブロックとして検出してしまう。
【００９６】
本発明の実施例１である動き検出装置が適用された画像処理装置１では、対象物判定部２０６が、画像変形部２０３により変形された変形画像から集合化ブロックを検出するので、監視カメラ１０−１からの距離にかかわらず、物体の原寸に応じた大きさの集合化ブロックを検出する。
【００９７】
次に、図４に示すように、対象物判定部２０６は、ステップＳ１０９において集合化された集合化ブロックのブロック数が、係数記憶部２１２に記憶された集合化ブロックサイズ範囲内となる集合化ブロックが存在するか否かを判定する（ステップＳ１１０）。
【００９８】
なお、係数記憶部２１２に記憶された集合化ブロックサイズ範囲は、監視対象物を特定するために設定される範囲設定値であり、広すぎると、監視すべき人物以外についても監視対象物として検出し、狭すぎると、人物の個体差により、人物を監視対象物として検出できなくなる。そのため、例えば、“９”〜“１１”といったように、監視対象物とすべき物体の原寸に応じて予め提供者等が実測に基づいた適正な値を予め算出し、提供者や利用者等が予め適正な値を設定しておく必要がある。
【００９９】
例えば、集合化ブロックサイズ範囲が、“９”〜“１１”と設定されている場合、図８に示した変形画像における集合化ブロック６１Ａ，６２Ａ，６３Ａのうち、集合化ブロック６１Ａ，６２Ａは、集合化されたブロック数が共に“１０”であるので、状態変化検出部２０５は、これらのブロック数は集合化ブロックサイズ範囲内であると判定する。また、集合化ブロック６１Ａ，６２Ａ，６３Ａのうち、集合化ブロック６３Ａは、集合化されたブロック数が共に“３”であるので、対象物判定部２０６は、これらのブロック数は集合化ブロックサイズ範囲外であると判定する。
【０１００】
このように、集合化ブロック６１Ａ，６２Ａのブロック数が集合化ブロックサイズ範囲内であるので、対象物判定部２０６は、集合化ブロックのブロック数が集合化ブロックサイズ範囲内となる集合化ブロックが存在すると判定する。
【０１０１】
ステップＳ１１０において、集合化ブロックのブロック数が集合化ブロックサイズ範囲内となる集合化ブロックが存在すると判定された場合、対象物判定部２０６は、集合化ブロックサイズ範囲内である集合化ブロックを抽出する（ステップＳ１１１）。
【０１０２】
図１０は、対象物判定部２０６により集合化ブロックサイズ範囲内である集合化ブロックが抽出された変形画像の一例を示した図である。
【０１０３】
図１０に示すように、集合化ブロック６１Ａ，６２Ａ，６３Ａのうち、集合化ブロック６１Ａ，６２Ａのブロック数は集合化ブロックサイズ範囲内であるので抽出される。
【０１０４】
一方、集合化ブロック６１Ａ，６２Ａ，６３Ａのうち、集合化ブロック６３Ａのブロック数は集合化ブロックサイズ範囲外であるので削除される。
【０１０５】
次に、図４に示すように、アラーム処理部２１５は、監視カメラ１０−１に対応するセンサ／警告灯４０−１に警報を発報させる（ステップＳ１１２）。
【０１０６】
次に、アドレス変換部２０７は、集合化ブロックサイズ範囲内である集合化ブロックのアドレスを逆変換する（ステップＳ１１３）。図８に示した例では、アドレス変換部２０７は、上述した（数式１）及び（数式２）を用いて、集合化ブロック６１Ａ，６２Ａ，６３Ａのうち、変形画像における集合化ブロック６１Ａ，６２Ａのアドレスを、元画像におけるアドレス、即ち監視カメラ１０−１により撮影された画像におけるアドレスに逆変換する。
【０１０７】
次に、圧縮処理部２０８は、バッファメモリ２０２の動画像記憶部２０２ｂに記憶された動画像を、ＪＰＥＧ方式などの圧縮方式によって圧縮処理することにより、符号化データを生成する（ステップＳ１１４）。
【０１０８】
そして、ＣＰＵ２０９は、ステップＳ１１４において符号化された符号化データに、監視エリアの位置情報（監視カメラを識別する情報）、現在時刻情報、及びステップＳ１１３において逆変換された集合化ブロックのアドレスとを付加情報として多重化させる（ステップＳ１１５）。
【０１０９】
次に、ＣＰＵ２０９の記録制御部２０９ａは、符号化データと、この符号化データに多重化された付加情報とを関連付けて、記録部２１１に記憶する（ステップＳ１１６）。
【０１１０】
以上のように、本発明の実施例１である動き検出装置が適用された画像処理装置１を含む監視システム１００によれば、外部から入力された動画像と画像変形係数に基づいて、動画像に含まれる物体までの距離に係わらず物体の原寸に応じた大きさになるように、動画像を変形し、この変形された変形画像を所定のブロックに分割し、この分割されたブロック毎に、このブロックの特徴を示す代表画素値（平均輝度値）を抽出し、この抽出された代表画素値（平均輝度値）に時間的な変化に基づいて、ブロックの状態に変化があるか否かを判定し、変化があると判定された連続するブロックの集合である集合化ブロックの数が集合化ブロックサイズ範囲内である場合に、このブロックの集合を監視対象物と判定するので、監視対象物以外の物体の動きを検出することなく、監視対象物の動きのみを適切に検出することができる。
【０１１１】
また、本発明の実施例１である動き検出装置が適用された画像処理装置１を含む監視システム１００によれば、バッファメモリ２０２の画像情報記憶部２０２ａには、動きを検出するために、画像自体が記憶されることはなく、変形画像におけるブロックアドレスと平均輝度値の値とが関連付けられて画像情報として記憶されるので、大容量のメモリ領域を必要としない。具体的には、画像自体が記憶する場合に比較して、必要なメモリ容量を約１／４００の抑制することができる。これにより、比較的少ないメモリ領域で監視対象物の動きのみを適切に検出することができる。
【０１１２】
≪表示処理≫
次に、本発明の実施例１である動き検出装置が適用された画像処理装置１を含む監視システム１００による表示処理について説明する。
【０１１３】
図１１は、本発明の実施例１である動き検出装置が適用された画像処理装置１を含む監視システム１００による表示処理の処理フローを示したフローチャートである。
【０１１４】
図１１に示すように、ＣＰＵ２０９は、表示が要求されたか否かを判定する（ステップＳ２０１）。具体的には、ＣＰＵ２０９は、操作パネル５０から選択された動画像の表示を要求する操作信号が供給されたか否かを判定する。
【０１１５】
ステップＳ２０１において、表示が要求されたと判定された場合、供給された操作信号に基づいて、ＣＰＵ２０９は、記録部２１１から、選択された動画像に対応する符号化データと付加情報とを読み出す（ステップＳ２０２）。
【０１１６】
そして、伸張処理部２１３は、ステップＳ２０２により読み出された符号化データを伸張（復号化）し、出力画像を生成する（ステップＳ２０３）。
【０１１７】
次に、出力信号処理部２１４は、ステップＳ２０３において生成された出力画像を、監視モニタ３０の入力フオーマットに合わせて、例えばＮＴＳＣ信号方式等に変換し、この変換された出力画像に、ステップＳ２０２において読み出された付加情報を、キャラクタデータとして多重化させて、監視モニタ３０に表示させるための表示画面を生成する（ステップＳ２０４）。
【０１１８】
そして、出力信号処理部２１４は、生成した表示画面を監視モニタ３０に表示させる（ステップＳ２０５）。
【０１１９】
図１２は、監視モニタ３０に表示させた表示画面の一例を示した図である。
【０１２０】
図１２に示すように、例えば、監視対象物である人物６１の表示を強調するように、人物６１の周辺に枠６５が表示されており、監視対象物である人物６２の表示を強調するように、人物６２の周辺に枠６６が表示される。一方、非監視対象物である鳥６３の周辺には、これを囲む枠は表示されない。
【０１２１】
以上のように、本発明の実施例１である動き検出装置が適用された画像処理装置１を含む監視システム１００によれば、動きのある監視対象物の表示を強調して表示することができる。
【０１２２】
なお、本発明の実施例１では、現在の変形画像と１フレーム前の変形画像について状態の変化を検出したが、任意のタイミングで保存された基準となる変形画像との状態変化を検出する方式、変形画像のエッジ検出を行い求められたエッジから状態変化を検出する方式、テンプレートマッチング方式によって状態変化を検出する方式を用いてもよい。
【０１２３】
また、本発明の実施例１では、分割されたブロックの平滑化によって得られる平均輝度値を代表画素値とする場合について説明してきたが、平均輝度値以外の値を用いて代表画素値の抽出を行うようにしてもよい。
【０１２４】
さらに、本実施例においては、生成された変形画像の全領域を使用して状態変化を検出し動きを検出する場合について説明してきたが、ブロックごとに動き検出を行うか否かの設定を行うことで、さらに検出精度の向上を図っても良い。
【０１２５】
また、本発明の実施例１では、動画像に含まれる奇数フィールドのデータに基づいて、２０ドット×１０ラインを１ブロックとして平滑化（平均化）し、分割されたブロックのアドレスであるブロックアドレスに対応する平均輝度値を抽出したが、これに限らず、偶数フィールドのデータにおいても、同様の処理を行うことによりフレーム処理を実行するようにしてもよい。この場合においても、画像自体が記憶する場合に比較して、必要なメモリ容量を約１／２００の抑制することができる。
【０１２６】
さらに、本発明の実施例１では、透視変換の技術を利用して動画像の変形を行ったが、これに限らず、本発明の実施例１における画像の変形は、変形後の変形画像を動き検出の状態変化の検出のみに使用し、さらにその検出結果を逆変換で元の動画像に対応させるため、必ずしも幾何学的に正確な変換演算を行う必要はない。このため、下記の（数式３）及び（数式４）を用いて、アフィン変換の拡張による簡易的な動き検出用画像の変形を行い、画像変換の演算量を減らすことも可能であるし、監視カメラを設置する高さと監視カメラの俯角および撮像素子のサイズなどから変換係数を得る方法による変換方法であっても良い。
【０１２７】
特に、下記のような拡張アフィン変換による変形では、監視カメラの設置位置が検知対象領域に対して正対していない画角に、検出対象領域を画面の中心になるよう変形する場合にも、変換における各アドレスに視点の中心点をオフセットすることで容易に実現でき好適である。
【０１２８】
Ｘ  ＝Ａ（ｘ−ｍ）＋Ｃ    ・・・（数式３）
Ｙ  ＝Ａ（ｙ−ｎ）＋Ｆ    ・・・（数式４）
ただし、Ｘ、Ｙ：変換後のアドレス、ｘ、ｙ ： 変換前のアドレス
Ａ：画像変換係数  ただし、Ａ＝（j＋ky）
m、n:変換の視点オフセット量、
Ｃ、Ｆ：本来の移動量に視点オフセット量を加味した移動量
なお、上記のような変換の場合には、透視変換による変形と比較して演算量が大幅に削減できるため、変形のための読み出しアドレスの演算を逐次行う方式で行っても良い。
【０１２９】
さらに、本発明の実施例１では、監視カメラからの距離に応じて動画像を変形したが、これに限らず、動画像の変形は監視カメラからの距離に無関係であっても良く、上記のように視点の中心点をオフセットする場合の他に、例えば画面内にある出入り口付近を拡大することで、この出入り口付近を重点的に注目して監視を行う際に利用しても良い。
【０１３０】
また、本発明の実施例１では、一つの監視カメラ１０−１からの供給された動画像について動きを検出する場合について説明してきたが、複数の監視カメラ１０−１〜１０−ｎから供給される動画像を並列で同時に処理し、動きを検出するようにしても良い。
【０１３１】
さらに、本発明の実施例１では、監視カメラ１０−１〜１０−ｎは、アナログ信号を出力するカメラであるが、これに限らず、複数の監視カメラ１０をそれぞれネットワーク出力のカメラで構成し、ネットワークを介して画像処理装置１に供給するようにしてもよい。
【０１３２】
この場合には、監視カメラ１０で撮像された動画像は、当該監視カメラ１０内でＪＰＥＧデータ等の符号化データに変換して画像処理装置１に供給し、画像処理装置１において復号化を行った後に、動き検知処理を行うことが好ましい。
【０１３３】
また、本発明の実施例１では、画像処理装置１において動き検出を行ったが、これに限らず、監視カメラ１０に本実施例で説明した動き検出機能を組み込んでもよい。
【実施例２】
【０１３４】
本発明の実施例１では、監視カメラにより撮影された動画像に動きのある監視対象物の表示を強調して表示する画像処理装置１を含む監視システム１００を例に挙げて説明した。
【０１３５】
本発明の実施例２では、監視カメラにより撮影された動画像に動きのある監視対象物の表示を強調して表示するか、又は変形された変形画像に動きのある監視対象物の表示を強調して表示するかを切り替える画像処理装置１Ａを含む監視システム１００Ａを例に挙げて説明する。
【０１３６】
図１３は、本発明の実施例２である動き検出装置が適用された画像処理装置１Ａを含む監視システム１００Ａの構成を示した構成図である。なお、監視システム１００Ａが備える監視カメラ１０−１〜１０−ｎと、監視モニタ３０と、センサ警告灯４０−１〜４０−ｎと、操作パネル５０とは、本発明の実施例１に係る監視システム１００Ａが備えるそれぞれ同一符号が付された構成と同一であるので、説明を省略する。
【０１３７】
画像処理装置１Ａは、入力信号処理部２０１と、バッファメモリ２０２と、画像変形部２０３と、代表画素検出部２０４と、状態変化検出部２０５と、対象物判定部２０６と、アドレス変換部２０７と、圧縮処理部２０８と、ＣＰＵ２０９と、メモリ２１０と、記録部２１１と、係数記憶部２１２と、伸張処理部２１３と、出力信号処理部２１４と、アラーム処理部２１５と、出力切替部２１７とを備える。
【０１３８】
なお、画像処理装置１Ａが備えるこれらの構成のうち、出力切替部２１７以外の構成については、本発明の実施例１に係る監視システム１００Ａが備えるそれぞれ同一符号が付された構成と同一であるので、説明を省略する。
【０１３９】
出力切替部２１７は、監視カメラ１０−１〜１０−ｎにより撮影された動画像に動きのある監視対象物の表示を強調して表示するか、又は変形された変形画像に動きのある監視対象物の表示を強調して表示するかを切り替える。
【０１４０】
このように、本発明の実施例２である動き検出装置が適用された画像処理装置１Ａを含む監視システム１００Ａによれば、実際の変形による補正状況とブロック分割の状況を視覚的に確認することで、カメラ設置と変形による補正が正しく行えているかを容易に確認することができるとともに、動き検出を行うか否かの領域を選択する際にも、視覚的に確認しながら設定が行えるため、誤設定を防止することができ、好適である。
【実施例３】
【０１４１】
本発明の実施例１では、状態変化検出部２０５により状態に変化があると判定された隣接するブロック同士を集合化する動き検出装置を例に挙げて説明した。
【０１４２】
本発明の実施例３では、動きのある監視対象物をより適切に検出するために、状態変化検出部２０５により状態に変化があると判定された隣接するブロック同士を、変形画像の変形の方向に応じて定められた重み付けに基づいて集合化する動き検出装置を例に挙げて説明する。
【０１４３】
図１４は、監視カメラ１０−１により撮影された画像が、画像変形部２０３により変形された変形画像の一例を示した図である。
【０１４４】
なお、図１４および本実施例では、説明をわかりやすくするために、図２に示される監視カメラの設置状況の例に加えて新た監視対象物である人物６４が撮像されているものとして説明を行う。
【０１４５】
例えば、画像変形部２０３が、動画像を大きく変形すると、即ち、係数記憶部２１２に動画像を大きく変形させる画像変換係数ａ〜ｉが記憶されている場合、図１４に示すように、変形された変形画像中の人物６１、人物６２、鳥６３、人物６４は斜め方向に大きく傾いたような画像となる場合がある。
【０１４６】
このように、変形画像中の人物６２、鳥６３、人物６４が大きく傾くと、人物６２と、人物６４とは、距離が近いので、人物６２と、人物６４とを１つの集合化ブロックとしてしまう場合も考えられる。
【０１４７】
そこで、本発明の実施例３では、状態変化検出部２０５により状態に変化があると判定された隣接するブロック同士を、変形画像の変形の方向に応じて定められた重み付けに基づいて集合化する。
【０１４８】
本発明の実施例３である動き検出装置が適用された画像処理装置１Ｂを含む監視システム１００Ｂは、本発明の実施例１である動き検出装置が適用された画像処理装置１を含む監視システム１００が備える対象物判定部２０６及び係数記憶部２１２以外について、同一の構成を有するので、対象物判定部２０６及び係数記憶部２１２以外の説明を省略する。
【０１４９】
対象物判定部２０６は、状態変化検出部２０５により状態に変化があると判定された隣接するブロック同士を、変形画像の変形の方向に応じて定められた重み付けに基づいて集合化する。
【０１５０】
係数記憶部２１２は、画像変形係数、差分閾値、集合化ブロックサイズ範囲、及び重み付け係数等を記憶する。
【０１５１】
＜監視システム１００Ｂの作用＞
本発明の実施例３である動き検出装置が適用された画像処理装置１Ｂを含む監視システム１００Ｂの作用を説明する。
【０１５２】
本発明の実施例３である動き検出装置が適用された画像処理装置１Ｂを含む監視システム１００Ｂは、主に、重み付け係数生成処理、動き検出記録処理及び表示処理を行う。
【０１５３】
ここで、表示処理については、本発明の実施例１である動き検出装置が適用された画像処理装置１を含む監視システム１００における表示処理と同一であるので、説明を省略する。
【０１５４】
≪重み付け係数生成処理≫
本発明の実施例３である動き検出装置が適用された画像処理装置１Ｂを含む監視システム１００Ｂによる重み付け係数生成処理について説明する。
【０１５５】
なお、通常の画像処理では画面の左上を原点として水平方向右側および垂直方向下側にアドレスが増加するが、本実施例では説明の都合上画面の左下を原点として水平方向右側および垂直方向上側にアドレスが増加する系として説明を行っている。通常の画像処理の系には、本実施例の説明における垂直アドレス比較部分の符号を入れ替えることで適用可能である。
【０１５６】
図１５は、本発明の実施例３である動き検出装置が適用された画像処理装置１Ｂを含む監視システム１００Ｂによる重み付け係数生成処理の処理フローを示したフローチャートである。なお、重み付け係数生成処理は、例えば、監視カメラ１０−１〜１０−ｎが設置された場合等において、初期設定処理の１つとして実行される。
【０１５７】
図１５に示すように、画像処理装置１ＢのＣＰＵ２０９は、画像変形が行われる前の動画像の全てのブロックについて、所定の値だけ垂直方向に移動したブロックを設定する（ステップＳ３０１）。ここで、画像変形が行われる前の動画像における任意のブロックを基準ブロックといい、この基準ブロックから所定の値だけ垂直方向に移動されたブロックを移動ブロックという。
【０１５８】
図１６（ａ）は、画像変形が行われる前の動画像において、基準ブロックと移動ブロックとの位置関係の一例を示した図であり、図１６（ｂ）は、画像変形が行われた変形画像において、基準ブロックと移動ブロックとの位置関係の一例を示した図である。
【０１５９】
図１６（ａ）に示すように、画像変形が行われる前の動画像において、基準ブロックＥ１（Ｅｘ１，Ｅｙ１）から所定の値だけ垂直方向に移動されたブロックを、移動ブロックＦ１（Ｆｘ１，Ｆｙ１）とし、基準ブロックＧ１（Ｇｘ１，Ｇｙ１）から所定の値だけ垂直方向に移動されたブロックを、移動ブロックＨ１（Ｈｘ１，Ｈｙ１）とし、基準ブロックＩ１（Ｉｘ１，Ｉｙ１）から所定の値だけ垂直方向に移動されたブロックを、移動ブロックＪ１（Ｊｘ１，Ｊｙ１）とする。
【０１６０】
この際に、通常は基準ブロックから垂直方向下側に所定の値だけ移動した位置に移動ブロックを設定するが、図垂直方向最下ブロックから所定の値の範囲以内にあるブロックについては、移動ブロックＪ１（Ｊｘ１，Ｊｙ１）のように基準ブロックから垂直方向上側に所定の値だけ移動した位置に移動ブロックを設定する。
【０１６１】
そして、図１６（ａ）に示した画像変形が行われる前の動画像における基準ブロックＥ１、移動ブロックＦ１、基準ブロックＧ１、移動ブロックＨ１、基準ブロックＩ１、及び移動ブロックＪ１は、画像変形部２０３により変形されて、それぞれ図１６（ｂ）に示した変形画像における基準ブロックＥ２、移動ブロックＦ２、基準ブロックＧ２、移動ブロックＨ２、基準ブロックＩ２、及び移動ブロックＪ２に位置する。例えば、図１６（ａ）に示す基準ブロックＥ１は、画像変形された変形画像において、図１６（ｂ）に示す基準ブロックＥ２に対応しており、図１６（ａ）に示す移動ブロックＦ１は、画像変形された変形画像において、図１６（ｂ）に示す移動ブロックＦ２に対応している。
【０１６２】
そして、図１５に示すように、ＣＰＵ２０９は、図１６（ａ）に示した画像変形が行われる前の画像の全てのブロックに対応する図１６（ｂ）に示した変形画像における基準ブロックのブロックアドレスと、図１６（ａ）に示した移動ブロックに対応する図１６（ｂ）に示した変形画像における移動ブロックのブロックアドレスとを算出する（ステップＳ３０２）。なお、ここでは、基準ブロックＥ１（Ｅｘ１，Ｅｙ１）と、移動ブロックＦ１（Ｆｘ１，Ｆｙ１）とを例に挙げて説明するが、ＣＰＵ２０９は、画像変形が行われる前の動画像の全てのブロックについて、以下のステップＳ３０３〜Ｓ３１７の処理を実行する。
【０１６３】
ＣＰＵ２０９は、（Ｅｙ１−Ｆｙ１）が“０”未満であるか否かを判定する（ステップＳ３０３）。
【０１６４】
ステップＳ３０３において、（Ｅｙ１−Ｆｙ１）が“０”未満であると判定された場合（ＹＥＳの場合）、ＣＰＵ２０９は、基準ブロックＥ２（Ｅｘ２，Ｅｙ２）と、移動ブロックＦ２（Ｆｘ２，Ｆｙ２）とのブロックアドレスを入れ替える（ステップＳ３０４）。
【０１６５】
一方、ステップＳ３０３において、（Ｅｙ１−Ｆｙ１）が“０”以上であると判定された場合（ＮＯの場合）、ＣＰＵ２０９は、Ｅｘ２とＦｘ２との関係に基づいて、処理を次ステップへ移行する（ステップＳ３０５）。具体的には、ＣＰＵ２０９は、（Ｅｘ２＜Ｆｘ２）と判定された場合、処理をステップＳ３０６へ移行し、（Ｅｘ２＞Ｆｘ２）と判定された場合、処理をステップＳ３１１へ移行し、（Ｅｘ２＝Ｆｘ２）と判定された場合、処理をステップＳ３１６へ移行する。
【０１６６】
ステップＳ３０５において、（Ｅｘ２＜Ｆｘ２）と判定された場合、即ち、変形画像における基準ブロックと移動ブロックと結ぶ直線の傾きが負であると判定された場合、ＣＰＵ２０９は、−（Ｅｘ２−Ｆｘ２）と、（Ｆｙ２−Ｅｙ２）との関係に基づいて、処理を次ステップへ移行する（ステップＳ３０６）。具体的には、ＣＰＵ２０９は、−（Ｅｘ２−Ｆｘ２）＞（Ｆｙ２−Ｅｙ２）と判定された場合、処理をステップＳ３０９へ移行し、−（Ｅｘ２−Ｆｘ２）＜（Ｆｙ２−Ｅｙ２）と判定された場合、処理をステップＳ３０７へ移行し、−（Ｅｘ２−Ｆｘ２）＝（Ｆｙ２−Ｅｙ２）と判定された場合、処理をステップＳ３０８へ移行する。
【０１６７】
ステップＳ３０６において、−（Ｅｘ２−Ｆｘ２）＞（Ｆｙ２−Ｅｙ２）と判定された場合、即ち、変形画像における基準ブロックと移動ブロックと結ぶ直線の傾きが“−１”より大きい場合、ＣＰＵ２０９は、左右重視となるような重み付け係数を算出する（ステップＳ３０９）。
【０１６８】
図１７は、ＣＰＵ２０９により算出される重み付け係数を説明した図である。
【０１６９】
図１７に示すように、注目ブロック３０１に対する周辺の８ブロックについての重み付け係数ｐ〜ｗを算出する。注目ブロック３０１に対するｑ，ｖの方向を上下方向、ｓ，ｔの方向を左右方向、ｒ，ｕ，ｐ，ｗの方向を斜め方向という。
【０１７０】
ステップＳ３０９において、ＣＰＵ２０９は、注目ブロック３０１に対して、左右方向のブロックの重み付けを高くし、上下方向のブロックの重み付けを低くするように、重み付け係数ｐ〜ｗを算出する。具体的には、ＣＰＵ２０９は、重み付け係数をそれぞれｑ＝ｖ＝０．０５、ｓ＝ｔ＝０．２５、ｒ＝ｕ＝０、ｐ＝ｗ＝０．２として設定する。
【０１７１】
ステップＳ３０６において、−（Ｅｘ２−Ｆｘ２）＜（Ｆｙ２−Ｅｙ２）と判定された場合、即ち、変形画像における基準ブロックと移動ブロックと結ぶ直線の傾きが“−１”より小さい場合、ＣＰＵ２０９は、上下重視となるような重み付け係数を算出する（ステップＳ３０７）。具体的には、ＣＰＵ２０９は、注目ブロック３０１に対して、上下方向のブロックの重み付けを高くし、左右方向のブロックの重み付けを低くするように、重み付け係数をそれぞれｑ＝ｖ＝０．２５、ｓ＝ｔ＝０．０５、ｒ＝ｕ＝０、ｐ＝ｗ＝０．２として設定する。
【０１７２】
ステップＳ３０６において、−（Ｅｘ２−Ｆｘ２）＝（Ｆｙ２−Ｅｙ２）と判定された場合、即ち、変形画像における基準ブロックと移動ブロックと結ぶ直線の傾きが“−１”である場合、ＣＰＵ２０９は、斜め方向重視となるような重み付け係数を算出する（ステップＳ３０８）。具体的には、ＣＰＵ２０９は、注目ブロック３０１に対して、右肩下がり斜め方向のブロックの重み付けを高くし、重み付け係数をそれぞれｑ＝ｖ＝０．１、ｓ＝ｔ＝０．１、ｒ＝ｕ＝０、ｐ＝ｗ＝０．３として設定する。
【０１７３】
一方、ステップＳ３０５において、（Ｅｘ２＞Ｆｘ２）と判定された場合、即ち、変形画像における基準ブロックと移動ブロックと結ぶ直線の傾きが正であると判定された場合、ＣＰＵ２０９は、（Ｅｘ２−Ｆｘ２）と、（Ｆｙ２−Ｅｙ２）との関係に基づいて、処理を次ステップへ移行する（ステップＳ３１１）。具体的には、ＣＰＵ２０９は、（Ｅｘ２−Ｆｘ２）＞（Ｆｙ２−Ｅｙ２）と判定された場合、処理をステップＳ３１４へ移行し、（Ｅｘ２−Ｆｘ２）＜（Ｆｙ２−Ｅｙ２）と判定された場合、処理をステップＳ３１２へ移行し、（Ｅｘ２−Ｆｘ２）＝（Ｆｙ２−Ｅｙ２）と判定された場合、処理をステップＳ３１３へ移行する。
【０１７４】
ステップＳ３１１において、（Ｅｘ２−Ｆｘ２）＞（Ｆｙ２−Ｅｙ２）と判定された場合、即ち、変形画像における基準ブロックと移動ブロックと結ぶ直線の傾きが“１”より小さい場合、ＣＰＵ２０９は、左右重視となるような重み付け係数を算出する（ステップＳ３１４）。具体的には、ＣＰＵ２０９は、注目ブロック３０１に対して、左右方向のブロックの重み付けを高くし、上下方向のブロックの重み付けを低くするように、重み付け係数をそれぞれｑ＝ｖ＝０．０５、ｓ＝ｔ＝０．２５、ｒ＝ｕ＝０．２、ｐ＝ｗ＝０として設定する。
【０１７５】
ステップＳ３１１において、（Ｅｘ２−Ｆｘ２）＜（Ｆｙ２−Ｅｙ２）と判定された場合、即ち、変形画像における基準ブロックと移動ブロックと結ぶ直線の傾きが“１”より大きい場合、ＣＰＵ２０９は、上下重視となるような重み付け係数を算出する（ステップＳ３１２）。具体的には、ＣＰＵ２０９は、注目ブロック３０１に対して、上下方向のブロックの重み付けを高くし、左右方向のブロックの重み付けを低くするように、重み付け係数をそれぞれｑ＝ｖ＝０．２５、ｓ＝ｔ＝０．０５、ｒ＝ｕ＝０．２、ｐ＝ｗ＝０として設定する。
【０１７６】
ステップＳ３１１において、（Ｅｘ２−Ｆｘ２）＝（Ｆｙ２−Ｅｙ２）と判定された場合、即ち、変形画像における基準ブロックと移動ブロックと結ぶ直線の傾きが“１”である場合、ＣＰＵ２０９は、斜め方向重視となるような重み付け係数を算出する（ステップＳ３１３）。具体的には、ＣＰＵ２０９は、注目ブロック３０１に対して、斜め方向のブロックの重み付けを高くするように、重み付け係数をそれぞれｑ＝ｖ＝０．１、ｓ＝ｔ＝０．１、ｒ＝ｕ＝０．３、ｐ＝ｗ＝０として設定する。
【０１７７】
また、ステップＳ３０５において、（Ｅｘ２＝Ｆｘ２）と判定された場合、ＣＰＵ２０９は、上下方向重視となるような重み付け係数を算出する（ステップＳ３１６）。具体的には、ＣＰＵ２０９は、注目ブロック３０１に対して、上下方向のブロックの重み付けを高くするように、重み付け係数をそれぞれｑ＝ｒ＝０．４、ｓ＝ｔ＝０．１、ｒ＝ｕ＝０、ｐ＝ｗ＝０として設定する。
【０１７８】
次に、ＣＰＵ２０９は、ステップＳ３０７，Ｓ３０８，Ｓ３０９，Ｓ３１２，Ｓ３１３，Ｓ３１４，又はＳ３１６により設定された重み付け係数ｐ〜ｗを、ブロック毎に係数記憶部２１２に記憶させる（ステップＳ３１７）。
【０１７９】
≪動き検出記録処理≫
本発明の実施例３である動き検出装置が適用された画像処理装置１Ｂを含む監視システム１００Ｂによる動き検出記録処理について説明する。
【０１８０】
監視システム１００Ｂによる動き検出記録処理は、図４に示した本発明の実施例１である動き検出装置が適用された画像処理装置１を含む監視システム１００による動き検出記録処理のフローチャートに示したステップＳ１０９以外の処理については、同一であるので、説明を省略する。
【０１８１】
監視システム１００Ｂによる動き検出記録処理におけるステップＳ１０９では、対象物判定部２０６は、係数記憶部２１２に記憶された重み付け係数ｐ〜ｗに基づいて、ステップＳ１０８において判定された差分閾値を超えたブロックの集合化を行う。具体的には、対象物判定部２０６は、差分閾値を超えた注目ブロックに連続するブロックのうち、係数記憶部２１２に記憶された重み付け係数ｐ〜ｗの値または重み付け係数ｐ〜ｗの合計値が、所定の閾値（例えば“０．２”）を越えたブロックを１つの集合化ブロックとする。
【０１８２】
図１８は、図１４に示した変形画像に基づいて、対象物判定部２０６により検出された集合化ブロックの一例を示した図である。
【０１８３】
図１８では、網掛け部分を平均輝度値の差分が差分閾値を超えたブロックとして示している。
【０１８４】
そして、対象物判定部２０６は、差分閾値を超えた連続するブロックを、それぞれ集合化ブロック６１Ｃ，６２Ｃ，６３Ｃ，６４Ｃとする。
【０１８５】
図１８に示すように、対象物判定部２０６は、図１４に示した変形画像における人物６１の動きを集合化ブロック６１Ｃとして検出している。同様に、対象物判定部２０６は、図１４に示した変形画像における人物６２の動きを集合化ブロック６２Ｃとして検出しており、人物６４の動きを集合化ブロック６４Ｃとして検出しており、鳥６３の動きを集合化ブロック６３Ｃとして検出している。
【０１８６】
このように、人物６２と人物６４とは、変形画像上の距離が近いが、係数記憶部２１２に記憶された重み付け係数ｐ〜ｗに基づいて、差分閾値を超えたブロックの集合化を行うので、人物６２と人物６４とを別々の監視対象物として認識することができる。具体的には、集合化ブロック６１Ｃと、集合化ブロック６２Ｃと、集合化ブロック６４Ｃとは、変形画像において、それぞれ矢印３０３，３０４，３０５の方向に変形されているので、重み付け係数に基づいて、それぞれ矢印３０３，３０４，３０５の方向の結びつきが強く集合化される。
【０１８７】
以上のように、本発明の実施例３では、状態変化検出部２０５により状態に変化があると判定された隣接するブロック同士を、変形画像の変形の方向に応じて定められた重み付けに基づいて集合化するので、動きのある監視対象物をより適切に検出することができる。
【符号の説明】
【０１８８】
１，１Ａ，１Ｂ…画像処理装置
１０−１〜１０−ｎ…監視カメラ
３０…監視モニタ
４０−１〜４０−ｎ…センサ／警告灯
５０…操作パネル
１００，１００Ａ，１００Ｂ…監視システム
２０１…入力信号処理部
２０２…バッファメモリ
２０２ａ…画像情報記憶部
２０２ｂ…動画像記憶部
２０３…画像変形部
２０４…代表画素抽出部
２０５…状態変化検出部
２０６…対象物判定部
２０７…アドレス変換部
２０８…圧縮処理部
２０９…ＣＰＵ
２０９ａ…記録制御部
２１０…メモリ
２１１…記録部
２１２…係数記憶部
２１３…伸張処理部
２１４…出力信号処理部（表示制御手段）
２１５…アラーム処理部（警報出力手段）
２１７…出力切替部（切り替え手段）
【図１】
2011008750.tif 000003
【図２】
2011008750.tif 000004
【図３】
2011008750.tif 000005
【図４】
2011008750.tif 000006
【図５】
2011008750.tif 000007
【図６】
2011008750.tif 000008
【図７】
2011008750.tif 000009
【図８】
2011008750.tif 000010
【図９】
2011008750.tif 000011
【図１０】
2011008750.tif 000012
【図１１】
2011008750.tif 000013
【図１２】
2011008750.tif 000014
【図１３】
2011008750.tif 000015
【図１４】
2011008750.tif 000016
【図１５】
2011008750.tif 000017
【図１６】
2011008750.tif 000018
【図１７】
2011008750.tif 000019
【図１８】
2011008750.tif 000020