(57)【特許請求の範囲】
【請求項１】
ズーム機能と旋回機能の内の少なくとも一方を有するカメラから得られる映像信号に基づき画像認識を行う画像処理装置において、
入力画像との差分を得るための過去画像を記憶するための過去画像メモリと、
この過去画像メモリに記憶された過去画像と入力画像との差分を二値化して、移動物体画像を作成する移動物体抽出画像作成部と、
前記カメラから到来する相前後するフレームの画像の差分処理を行って、画素毎の差分値を二値化して、画素毎に変化のあった画素か否かを決定する変化画素特定手段と、
１フレーム画像中の変化画素数を求めて、閾値と比較し、雑音か否かを判定する雑音判定手段と、
雑音判定手段が雑音と判定した場合に、前記過去画像メモリに入力画像を書き込む手段と、
雑音判定手段が雑音でないと判定した場合に、前記変化画素特定手段により処理された１フレーム画像を第１の所定画素数のブロックに分割し、各ブロックにおける変化画素数が所定割合以上の場合に変化ブロックと判定し、１フレーム画像を第１の所定画素数とは異なる第２の所定画素数のブロックに分割し、各ブロックにおける変化画素数が所定割合以上の場合に変化ブロックと判定する変化ブロック判定手段と、
第１の所定画素数と第２の所定画素数の場合に、変化ブロックが全ブロックに占める割合の和が所定値より大の場合に広域的変化と決定し、割合の和が所定値以下の場合に局所的変化と決定する広域・局所決定手段と、
前記広域・局所決定手段が広域的変化と決定した場合に、複数フレームの画像について、各フレーム画像を第３の所定画素数のブロックに分割し、各ブロックにおける画素の輝度について、平均値、二乗平均値、中央値、最も多い輝度値のいずれかを求めて代表値を得て、各フレーム画像を第３の所定画素数とは異なる第４の所定画素数のブロックに分割し、各ブロックにおける画素の輝度について、平均値、二乗平均値、中央値、最も多い輝度値のいずれかを求めて代表値とし、代表値の移動軌跡により、ブロックの移動ベクトルを求める移動ベクトル算出手段と、
前記過去画像メモリ内の画素について、移動ベクトル算出手段により算出された移動ベクトルが示す方向へ移動行うか拡大縮小を行う画像変形部と
を具備することを特徴とする画像処理装置。
【請求項２】
変化ブロック判定手段は、ブロックへの分割を第１、第２の所定画素数以外にも複数種により行い、
広域・局所決定手段は、複数種の所定画素数の場合に、それぞれ変化ブロックが全ブロックに占める割合の和が所定値より大の場合に広域的変化と決定し、割合の和が所定値以下の場合に局所的変化と決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
移動ベクトル算出手段は、ブロックへの分割を第３、第４の所定画素数以外にも複数種により行い、各ブロックにおける画素の輝度について、平均値、二乗平均値、中央値、最も多い輝度値のいずれかを求めて代表値とし、代表値の移動軌跡により、ブロックの移動ベクトルを求めることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
ズーム機能と旋回機能の内の少なくとも一方を有するカメラから得られる入力画像との差分を得るための過去画像を記憶するための過去画像メモリを備え、前記カメラから得られる映像信号に基づき画像認識を行う画像処理装置における画像処理方法において、
この過去画像メモリに記憶された過去画像と入力画像との差分を二値化して、移動物体画像を作成する移動物体抽出画像作成ステップと、
前記カメラから到来する相前後するフレームの画像の差分処理を行って、画素毎の差分値を二値化して、画素毎に変化のあった画素か否かを決定する変化画素特定ステップと、
１フレーム画像中の変化画素数を求めて、閾値と比較し、雑音か否かを判定する雑音判定ステップと、
雑音判定ステップにおいて雑音と判定した場合に、前記過去画像メモリに入力画像を書き込むステップと、
雑音判定ステップにおいて雑音でないと判定した場合に、前記変化画素特定ステップにより処理された１フレーム画像を第１の所定画素数のブロックに分割し、各ブロックにおける変化画素数が所定割合以上の場合に変化ブロックと判定し、１フレーム画像を第１の所定画素数とは異なる第２の所定画素数のブロックに分割し、各ブロックにおける変化画素数が所定割合以上の場合に変化ブロックと判定する変化ブロック判定ステップと、
第１の所定画素数と第２の所定画素数の場合に、変化ブロックが全ブロックに占める割合の和が所定値より大の場合に広域的変化と決定し、割合の和が所定値以下の場合に局所的変化と決定する広域・局所決定ステップと、
前記広域・局所決定ステップが広域的変化と決定した場合に、複数フレームの画像について、各フレーム画像を第３の所定画素数のブロックに分割し、各ブロックにおける画素の輝度について、平均値、二乗平均値、中央値、最も多い輝度値のいずれかを求めて代表値を得て、各フレーム画像を第３の所定画素数とは異なる第４の所定画素数のブロックに分割し、各ブロックにおける画素の輝度について、平均値、二乗平均値、中央値、最も多い輝度値のいずれかを求めて代表値とし、代表値の移動軌跡により、ブロックの移動ベクトルを求める移動ベクトル算出ステップと、
前記過去画像メモリ内の画素について、移動ベクトル算出ステップにより算出された移動ベクトルが示す方向へ移動行うか拡大縮小を行う画像変形ステップと
を具備することを特徴とする画像処理方法。
【請求項５】
変化ブロック判定ステップでは、ブロックへの分割を第１、第２の所定画素数以外にも複数種により行い、
広域・局所決定ステップは、複数種の所定画素数の場合に、それぞれ変化ブロックが全ブロックに占める割合の和が所定値より大の場合に広域的変化と決定し、割合の和が所定値以下の場合に局所的変化と決定することを特徴とする請求項４に記載の画像処理方法。
【請求項６】
移動ベクトル算出ステップは、ブロックへの分割を第３、第４の所定画素数以外にも複数種により行い、各ブロックにおける画素の輝度について、平均値、二乗平均値、中央値、最も多い輝度値のいずれかを求めて代表値とし、代表値の移動軌跡により、ブロックの移動ベクトルを求めることを特徴とする請求項４または５に記載の画像処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明はズーム機能と旋回機能の内の少なくとも一方を有するカメラから得られる映像信号に基づき画像認識を行う画像処理装置及び画像処理方法に関するものである。
【０００２】
【従来の技術】
従来、電力会社の施設や道路、鉄道などの様々な分野においてカメラ監視システムが用いられており、画像処理により侵入者や車両等の移動物体の検出を行うために複数位置に固定カメラを設置してそれぞれのカメラから得られる画像を個別対応の画像処理装置により処理する構成が採られている。このため従来のシステムは大規模となっている。
【０００３】
そこで旋回・ズーム機能を有するカメラを用いることで、１台のカメラで広範囲の監視を実現する手法が検討されている。しかしながら、旋回・ズーム機能を有するカメラが旋回・ズームを行っている状態において得られる画像について画像処理を行って移動物体の検出を行うことは困難である。
【０００４】
【発明が解決しようとする課題】
このため、従来においては旋回・ズーム機能を有するカメラを用い、固定した状態で移動物体を検出し、その後に移動物体の動きに合わせてカメラを旋回させ或いはズーム動作させることにより移動物体の撮像を自動継続できるようにしたシステムが多数提案されている。例えば、特開平９−４４６８１号、特開平９−２１２６４８号、特開平１０−２４３３４０号、特開平１０−２２２６６５号などである。
【０００５】
本発明は上記のようなカメラ監視システムにおける現状に鑑みてなされたもので、その目的は、旋回・ズーム機能を有するカメラが旋回・ズームを行っている状態において得られる画像について、画像処理を行って移動物体の検出を行うことを可能とする画像処理装置及び画像処理方法を提供することである。
【０００６】
【課題を解決するための手段】
本発明に係る画像処理装置は、ズーム機能と旋回機能の内の少なくとも一方を有するカメラから得られる映像信号に基づき画像認識を行う画像処理装置において、入力画像との差分を得るための過去画像を記憶するための過去画像メモリと、この過去画像メモリに記憶された過去画像と入力画像との差分を二値化して、移動物体画像を作成する移動物体抽出画像作成部と、前記カメラから到来する相前後するフレームの画像の差分処理を行って、画素毎の差分値を二値化して、画素毎に変化のあった画素か否かを決定する変化画素特定手段と、１フレーム画像中の変化画素数を求めて、閾値と比較し、雑音か否かを判定する雑音判定手段と、雑音判定手段が雑音と判定した場合に、前記過去画像メモリに入力画像を書き込む手段と、雑音判定手段が雑音でないと判定した場合に、前記変化画素特定手段により処理された１フレーム画像を第１の所定画素数のブロックに分割し、各ブロックにおける変化画素数が所定割合以上の場合に変化ブロックと判定し、１フレーム画像を第１の所定画素数とは異なる第２の所定画素数のブロックに分割し、各ブロックにおける変化画素数が所定割合以上の場合に変化ブロックと判定する変化ブロック判定手段と、第１の所定画素数と第２の所定画素数の場合に、変化ブロックが全ブロックに占める割合の和が所定値より大の場合に広域的変化と決定し、割合の和が所定値以下の場合に局所的変化と決定する広域・局所決定手段と、前記広域・局所決定手段が広域的変化と決定した場合に、複数フレームの画像について、各フレーム画像を第３の所定画素数のブロックに分割し、各ブロックにおける画素の輝度について、平均値、二乗平均値、中央値、最も多い輝度値のいずれかを求めて代表値を得て、各フレーム画像を第３の所定画素数とは異なる第４の所定画素数のブロックに分割し、各ブロックにおける画素の輝度について、平均値、二乗平均値、中央値、最も多い輝度値のいずれかを求めて代表値とし、代表値の移動軌跡により、ブロックの移動ベクトルを求める移動ベクトル算出手段と、前記過去画像メモリ内の画素について、移動ベクトル算出手段により算出された移動ベクトルが示す方向へ移動行うか拡大縮小を行う画像変形部とを具備することを特徴とする。
【０００７】
本発明に係る画像処理装置は、変化ブロック判定手段は、ブロックへの分割を第１、第２の所定画素数以外にも複数種により行い、広域・局所決定手段は、複数種の所定画素数の場合に、それぞれ変化ブロックが全ブロックに占める割合の和が所定値より大の場合に広域的変化と決定し、割合の和が所定値以下の場合に局所的変化と決定することを特徴とする。
【０００８】
本発明に係る画像処理装置は、移動ベクトル算出手段は、ブロックへの分割を第３、第４の所定画素数以外にも複数種により行い、各ブロックにおける画素の輝度について、平均値、二乗平均値、中央値、最も多い輝度値のいずれかを求めて代表値とし、代表値の移動軌跡により、ブロックの移動ベクトルを求めることを特徴とする。
【０００９】
本発明に係る画像処理方法は、ズーム機能と旋回機能の内の少なくとも一方を有するカメラから得られる入力画像との差分を得るための過去画像を記憶するための過去画像メモリを備え、前記カメラから得られる映像信号に基づき画像認識を行う画像処理装置における画像処理方法において、この過去画像メモリに記憶された過去画像と入力画像との差分を二値化して、移動物体画像を作成する移動物体抽出画像作成ステップと、前記カメラから到来する相前後するフレームの画像の差分処理を行って、画素毎の差分値を二値化して、画素毎に変化のあった画素か否かを決定する変化画素特定ステップと、１フレーム画像中の変化画素数を求めて、閾値と比較し、雑音か否かを判定する雑音判定ステップと、雑音判定ステップにおいて雑音と判定した場合に、前記過去画像メモリに入力画像を書き込むステップと、雑音判定ステップにおいて雑音でないと判定した場合に、前記変化画素特定ステップにより処理された１フレーム画像を第１の所定画素数のブロックに分割し、各ブロックにおける変化画素数が所定割合以上の場合に変化ブロックと判定し、１フレーム画像を第１の所定画素数とは異なる第２の所定画素数のブロックに分割し、各ブロックにおける変化画素数が所定割合以上の場合に変化ブロックと判定する変化ブロック判定ステップと、第１の所定画素数と第２の所定画素数の場合に、変化ブロックが全ブロックに占める割合の和が所定値より大の場合に広域的変化と決定し、割合の和が所定値以下の場合に局所的変化と決定する広域・局所決定ステップと、前記広域・局所決定ステップが広域的変化と決定した場合に、複数フレームの画像について、各フレーム画像を第３の所定画素数のブロックに分割し、各ブロックにおける画素の輝度について、平均値、二乗平均値、中央値、最も多い輝度値のいずれかを求めて代表値を得て、各フレーム画像を第３の所定画素数とは異なる第４の所定画素数のブロックに分割し、各ブロックにおける画素の輝度について、平均値、二乗平均値、中央値、最も多い輝度値のいずれかを求めて代表値とし、代表値の移動軌跡により、ブロックの移動ベクトルを求める移動ベクトル算出ステップと、前記過去画像メモリ内の画素について、移動ベクトル算出ステップにより算出された移動ベクトルが示す方向へ移動行うか拡大縮小を行う画像変形ステップとを具備することを特徴とする。
【００１０】
本発明に係る画像処理方法は、変化ブロック判定ステップでは、ブロックへの分割を第１、第２の所定画素数以外にも複数種により行い、広域・局所決定ステップは、複数種の所定画素数の場合に、それぞれ変化ブロックが全ブロックに占める割合の和が所定値より大の場合に広域的変化と決定し、割合の和が所定値以下の場合に局所的変化と決定することを特徴とする。
【００１１】
本発明に係る画像処理方法は、移動ベクトル算出ステップは、ブロックへの分割を第３、第４の所定画素数以外にも複数種により行い、各ブロックにおける画素の輝度について、平均値、二乗平均値、中央値、最も多い輝度値のいずれかを求めて代表値とし、代表値の移動軌跡により、ブロックの移動ベクトルを求めることを特徴とする。
【００１３】
【発明の実施の形態】
以下添付図面を参照して、本発明に係る画像処理装置及び画像処理方法の実施の形態を説明する。各図において同一の構成要素には同一の符号を付し重複する説明を省略する。図１に第１の実施の形態に係る画像処理装置を用いたカメラ監視システムの構成を示す。
【００１４】
カメラ監視システムは、旋回装置２により旋回されるズーム機能付カメラ１と、画像処理装置３及びＣＲＴディスプレイ装置やプリンタ装置等により構成される出力装置４を具備する。以下の各例では、ズームと旋回の双方を行うが、少なくとも一方の機能を備えていれば本発明は適用可能である。
【００１５】
旋回装置２とズーム機構に対してはカメラ制御卓（カメラ制御装置）５から制御信号が与えられ、必要な旋回とズームとがなされる。
【００１６】
画像処理装置３は例えばワークステーションやパーソナルコンピュータにより構成され、その各部はプログラムにより実現されるものである。勿論、画像処理装置３の各部をハードウエア又はコンピュータにより実現しても良い。
【００１７】
画像処理装置３には、フレームワーク検出部３１、変化領域検出部３２、移動物体抽出画像作成部３３、画像変形部３４、過去画像蓄積メモリ３５及び移動物体認識部３６が備えられている。
【００１８】
上記の変化領域検出部３２は、ズーム機能付カメラ１から得られる映像信号による画像における変化を検出する画像変化検出手段を構成する。変化領域検出部３２は、図２に示すフローチャートに基づき動作を行うもので、概略的には入力画像を複数のブロックに分割し、入力画像において変化が局所的に生じているか広域的に生じているのかを検出する。
【００１９】
局所的変化が検出された場合には、ズーム機能付カメラ１におけるカメラワーク（ズーミング、パンニング、チルティング、ローテーション）に変化がなく、移動物体が存在したものと判定し、移動物体抽出画像作成部３３と移動物体認識部３６による処理に移行する。
【００２０】
広域的変化が検出された場合には、ズーム機能付カメラ１におけるカメラワークがなされたものと判定し、フレームワーク検出部３１が図３に示すフローチャートに基づき動作を行う。フレームワーク検出部３１は概略的には、複数の入力フレーム画像を複数ブロックに分割してブロックにおける移動ベクトル分布を算出し、なされたフレームワークの種類と変量（これらを合わせてフレームワーク情報）を推定する（推定手段）。
【００２１】
画像変形部３４は上記フレームワーク情報をフレームワーク検出部３１から受け取り、これに基づき過去画像蓄積メモリ３５に蓄積されている過去の画像の変形・編集を行う画像変形手段を構成する。画像変形部３４により変形・編集された結果の画像は過去画像蓄積メモリ３５へ蓄積される。
【００２２】
移動物体抽出画像作成部３３は、過去画像蓄積メモリ３５に蓄積されている過去画像（変形・編集済みの画像）を読み出して入力画像との差分をとり、２値化して、移動物体抽出画像を作成して移動物体認識部３６へ送る。このように移動物体抽出画像作成部３３は、変形を加えられた画像とズーム機能付カメラ１から得られている映像信号による画像に基づき移動物体の画像を抽出する抽出手段を構成する。
【００２３】
移動物体認識部３６は移動物体抽出画像を受け取ってラベリング処理を行い、抽出されたラベリング領域の外接矩形面積や縦横比等を特徴量として算出して、移動物体の認識を行う認識処理手段を構成する。この移動物体認識部３６による処理は、例えば車両判別に関するものを例とするならば、特願２００１−８２２０３号に示した手法を用いるものとする。
【００２４】
以上の説明においては各部における処理時間を考慮していないが、実際には処理には時間を要する。このため、例えばフレームワーク検出部３１や移動物体抽出画像作成部３３は入力画像蓄積のためのバッファを備える必要があり、また、変化領域検出部３２による検出結果である広域／局所により過去画像蓄積メモリ３５へフレームワーク適合画像が蓄積されるまでの時間が異なるので、蓄積されたときに処理の開始を変化領域検出部３２または画像変形部３４から移動物体抽出画像作成部３３へ通知するものとする。
【００２５】
次に上記のように構成された画像処理装置３の動作を詳細に説明する。ズーム機能付カメラ１から映像信号が到来するとディジタル化され入力画像とされ、フレームワーク検出部３１、変化領域検出部３２、移動物体抽出画像作成部３３へ与えられる。
【００２６】
そこで、まず変化領域検出部３２が図２のフローチャートに基づき処理を行う。変化領域検出部３２は連続して到来する入力画像（InImage(t)) とその１フレーム前の入力画像（InImage(t-1)) との差分（ChImage(t)) を得て（Ｓ１）、この差分を２値化して変化画像（ThImage(t)) を作成して（Ｓ２）、変化画素数の計数を行う（Ｓ３）。
【００２７】
次に予め保持している雑音として発生し得る変化画素数を閾値とし、上記ステップＳ３において得た変化画素数と比較する（Ｓ４）。雑音と考えられるときには上記入力画像（InImage(t)) を過去画像蓄積メモリ３５へ蓄積し（Ｓ５）、ステップＳ１へ戻って次の入力画像に対し同様の処理を行う。
【００２８】
一方、ステップＳ４において、雑音ではなく画像に変化ありと判定した場合には、入力画像（InImage(t)) をブロックに分割したブロック分割画像BkImage(m)を複数（ｍ）作成する（Ｓ６）。例えば、８×８画素ブロックと１６×１６画素ブロックと３２×３２画素ブロックと６４×６４画素ブロックと、４通りのブロック分割画像を作成したときには、ｍ＝４となる。
【００２９】
次に各ブロック分割画像BkImage(m)についてステップＳ７とステップＳ１５との間をｍ回繰り返す。また、ステップＳ８とステップＳ１３との間を１つのブロック分割画像BkImage(m)を構成するブロック数ｌづつ繰り返す。上記のように４通りにブロック分割をした場合には、まず、８×８画素ブロック毎に変化画素を計数した値ＣＰを求め（Ｓ９）、そのブロックの全画素数（８×８）に対するがＣＰの占める割合ＣＰRateを求める（Ｓ１０）。
【００３０】
そして上記割合ＣＰRateが所定値より大であるかを検出し（Ｓ１１）、大である場合にはこの８×８の１ブロックを変化ブロックとしてその数の累積値である計数値ＣＰＢを求める（Ｓ１２）。このようにしてステップＳ８とステップＳ１３との間を繰り返し、８×８画素ブロック全てについて処理を終了すると、全ブロック数（８×８画素ブロックの総数）に対する変化ブロック数ＣＰＢの占める割合ＣＰＢRate(1) を求める（Ｓ１４）。
【００３１】
次に、１６×１６画素ブロックについて同じ処理を行う。１６×１６画素ブロック全てについて処理を終了すると、次に３２×３２画素ブロックについて同じ処理を行って終了すると、次に６４×６４画素ブロックについて同じ処理を行う。以上によりこの例では変化ブロック数ＣＰＢの占める割合ＣＰＢRate(1) 、ＣＰＢRate(2) 、ＣＰＢRate(3) 、ＣＰＢRate(4) が求まっている。
【００３２】
次に、ブロック分割数が小さい程に大きな値をとる重み係数Ｗm を与えて、広域的変化確率Ｐ＝Ｗ1 ×ＣＰＢRate(1) ＋Ｗ2 ×ＣＰＢRate(2) ・・・を求め（Ｓ１６）、求めた広域的変化確率Ｐが所定値より大であるかを検出する（Ｓ１７）。求めた広域的変化確率Ｐが所定値より大である場合には広域的変化であるという情報を、求めた広域的変化確率Ｐが所定値より大でない場合には局所的変化であるという情報を、それぞれフレームワーク検出部３１へ送出する。
【００３３】
上記ステップＳ１７において局所的変化であることが検出された場合には、前述の通り移動物体抽出画像作成部３３へ通知がなされ、直ちに移動物体抽出画像作成部３３により処理が実行される。
【００３４】
上記のようにして変化領域検出部３２から広域／局所情報を受けたフレームワーク検出部３１は情報を分析し（Ｓ２１）、「局所」であれば処理を行わないが、「広域」である場合には、続けてｎフレーム（InImage(t)〜InImage(t+n)）の入力画像を保持し（Ｓ２２）、このｎフレームの各フレームの入力画像に対してステップＳ２３からステップＳ３０までの処理を繰り返す。
【００３５】
まず、各入力画像を複数のブロック（例えば、８×８画素ブロックと１６×１６画素ブロックと３２×３２画素ブロックと６４×６４画素ブロック）に分割したものを複数種類ｍ（上記では４種類）用意する（Ｓ２４）。
【００３６】
この用意された複数種類のブロックは、BkImage(m)(t) 〜BkImage(m)(t+n) と表す。具体的には、８×８画素ブロックの場合にはBkImage(1)(t) 〜BkImage(1)(t+n) となり、１６×１６画素ブロックの場合にはBkImage(2)(t) 〜BkImage(2)(t+n) となり、・・・、６４×６４画素ブロックの場合にはBkImage(4)(t) 〜BkImage(4)(t+n) となる。
【００３７】
そして、各BkImage(m)(t) 〜BkImage(m)(t+n) の各ブロックにおける代表値を得る（Ｓ２７）。代表値は、平均値、二乗平均値、中央値、もっも多く発生している輝度値等の１つが採用される。ステップＳ２５〜ステップＳ３０は各BkImage(m)(t) 〜BkImage(m)(t+n) の各ブロックの全てについて求めることを示している。
【００３８】
次にステップＳ３１からステップＳ３６の繰り返しにより各BkImage(m)(t) 〜BkImage(m)(t+n) の各ブロックについて、フレーム間（例えば、BkImage(m)(t) とBkImage(m)(t+1) の８近傍マッチング処理を行い（Ｓ３３）、各ブロックがどこのブロックに移動したのかを検出してブロック移動ベクトルを求め保持を行う（Ｓ３４）。ブロック移動ベクトルはマッチング結果の累積により得られるもので、各ブロックがどのように（どの方向に）どれだけづつ移動したかの情報（つまり、方向と長さの情報）を持つ。
【００３９】
以上のブロック移動ベクトルがｎフレームの入力画像Image(t)〜Image(t+n)にわたり足跡のように連なるものを残し、追跡ができなかったブロックに関するブロック移動ベクトルを廃棄する。そしてｎフレームの入力画像Image(t)〜Image(t+n)にわたり足跡のように連なるブロック移動ベクトルが、上記例によれば４種類のブロック分割画像（８×８画素ブロック、１６×１６画素ブロック、・・・、６４×６４画素ブロック）について求まる。そこで、複数のブロック分割画像に対するブロックの移動ベクトル分布（ＢＭVector（m)）を作成し（Ｓ３７）、フレームワークの判定を行う（Ｓ３８）。
【００４０】
次に、上記ステップＳ３８においてどのようにして判定がなされるかを詳細に設明する。例えばブロック移動べクトルの分布の様子が図４に示すように、ＢＭVector(m) が縦方向（上下方向）で画像全体にわたるという結果が、全てのブロック分割画像で同様に得られた際には「チルティング」と判定する。
【００４１】
図５に示されるようにＢＭVector(m) が横方向（左右方向）で画像全体にわたりという結果が、全てのブロック分割画像同様に得られた際には「パンニング」と判定する。
【００４２】
図６に示されるように各ブロックの移動べクトルの分布が一意的でないときは、「ズーミング」が発生していると判定する。この場合は、図７に示す画像中心を基準としたＡ〜Ｈで表す８種類のブロック群に着目して、ベクトルの分布を調べる。画面外側の方が大きなべクトル変化を示し、中央付近は小さいベクトル変化となることが確認できたら「ズーミング」と判定する。
【００４３】
この３種類の判定処理を実施し、それぞれの判定結果の論理和をとって判定結果とする。変量（変化量）は、最も小さく分割したブロック分割画像Bklmage における各ブロックの移動量の平均値にブロック数を乗じて求める。処理の結果であるフレームワークの種類と変量からなるフレームワーク情報を画像変形手段３４へ出力する。
【００４４】
画像変形手段３４では、受け取ったフレームワークの種類と変化量を用いて過去画像蓄積メモリ３５に保存されている過去画像（以前処理された過去画像、初期値は入力画像となる）の変形・編集を行う。画像の変化時間は微小時間であるため、新たに出現した部分は微小であると仮定し、過去画像の各画素を移動あるいは拡大、縮小等をして編集し、過去画像蓄積メモリ３５へ格納する。例えば、「チルティング」と判定すると、フレームワークの変化量に基づき上下移動を行う。「パンニング」と判定すると、フレームワークの変化量に基づき左右移動を行う。「ズーミング」と判定すると、フレームワークの変化量に基づき拡大、縮小を行う。
【００４５】
以上のようにして過去画像蓄積メモリ３５にフレームワーク適合画像が蓄積されると移動物体抽出画像作成手段３３が起動され、移動物体抽出画像作成手段３３は、過去画像蓄積メモリ３５に格納されている過去画像を読み出し、入力画像とのフレーム間差分をとり２値化して、移動物体抽出画像を生成し、移動物体認識手段３６へ出力する。移動物体認識手段３６では、移動物体抽出画像を用いてラベリング処理を実施し、抽出されたラベル領域の外接矩形面積や縦横比を特徴量として算出し、所望の検出対象物体であるか否かの判定を行う。
【００４６】
本実施の形態によれば、カメラ制御装置であるカメラ制御卓５からフレームワーク情報を得られない場合にあってもフレームワーク情報を推定して適切な画像
処理を保証する。
【００４７】
図８には、第２の実施の形態に係るカメラ監視システムが示されている。このカメラ監視システムの画像処理装置３Ａでは、フレームワーク検出部３１、変化領域検出部３２を備えることなく、カメラ制御装置であるカメラ制御卓５からフレームワーク情報である制御情報を得て、この制御情報に基づき画像変形手段３４が過去画像蓄積メモリ３５内の過去の画像に対して変形を加える。
【００４８】
フレームワーク情報がフレームワークの固定状態を示すときには、画像変形手段３４が過去画像蓄積メモリ３５内の過去の画像に対して変形を加えることなく、移動物体抽出画像作成手段３３による処理が行われる。その他の構成は第１の実施の形態と同様である。
【００４９】
この第２の実施の形態によれば、フレームワーク情報を推定する必要がなく、従って複雑な処理を称することなくズームや旋回の行われているカメラにより得られた画像に対して適切な画像処理を保証する。
【００５０】
図９には、第３の実施の形態に係るカメラ監視システムが示されている。このカメラ監視システムの画像処理装置３Ｂにおいては、過去画像蓄積メモリ３５に代えて背景画像蓄積メモリ３７が備えられている。背景画像蓄積メモリ３７には、ズーム機能付カメラ１により実現あらゆるズーム状態及び旋回状態において固定されたときに得られた画像の背景画像がそのときのフレームワーク情報に対応付けられて記憶されている。上記の対応関係の情報は、背景画像管理部３８が備えている。
【００５１】
上記の対応関係の情報は、背景画像管理部３８が備えている。背景画像管理部３８は、システムの運用前等において入力画像及びフレームワーク情報を得て上記の対応関係の情報を作成しながら背景画像蓄積メモリ３７へ記憶を行う。フレームワーク情報に、時刻や天候などの情報を付加しておくのであれば、より詳細にフレームワーク情報と背景画像とを対応付けておくことがで可能である。
【００５２】
システムの運用時においては、背景画像管理部３８はフレームワーク情報と対応する背景画像を選択して画像変形部３４へ供給する。画像変形部３４は、フレームワーク情報に基づき背景画像を変形・編集する。この変形・編集は、フレームワーク情報の経時的変化（フレームワーク情報が例えば同じズーム比を表していてもその１フレーム前のズーム比が異なる場合等）により生じる差を反映させるものである。具体的には、１フレーム前のフレームワーク情報が現在のフレームワーク情報と大きく異なるときには２つの背景画像の合成を行う等の処理行い、結果を背景画像蓄積メモリ３７へ記憶する。この変形・編集された背景画像がフレームワーク適合画像として移動物体抽出画像作成手段３３へ送られる。
【００５３】
移動物体抽出画像作成手段３３は上記の背景画像と入力画像とのフレーム間差分をとり２値化して、移動物体抽出画像を生成し、移動物体認識手段３６へ出力する。移動物体認識手段３６では、移動物体抽出画像を用いてラベリング処理を実施し、抽出されたラベル領域の外接矩形面積や縦横比を特徴量として算出し、所望の検出対象物体であるか否かの判定を行う。
【００５４】
この第３の実施の形態によると、背景画像を用いた画像処理を行うので、常に変化しない或いは移動物体が含まれない画像を入力画像から差し引くことができ、より適切な監視が可能となる。
【００５５】
【発明の効果】
以上説明したように本発明によれば、入力画像からカメラにおいてなされたフレームワークを推定して推定に基づき過去の画像に対して変形を加えた画像とカメラから得られている映像信号による画像に基づき移動物体の画像を抽出して、この抽出結果に対して画像認識処理を行うので、フレームワーク情報を得られない場合にあってもカメラにおいてなされたフレームワークあわせて過去の画像に対して変形を加え画像処理を行うことができ適切な画像処理及び監視業務を保証できる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る画像処理装置を用いたカメラ監視システムを示す構成図。
【図２】本発明の第１の実施形態に係る画像処理装置における変化領域検出部３２の動作を説明するためのフローチャート。
【図３】本発明の第１の実施形態に係る画像処理装置におけるフレームワーク検出部３１の動作を説明するためのフローチャート。
【図４】「チルティング」が行われた場合のブロック移動べクトルの分布の様子を示す図。
【図５】「パンニング」が行われた場合のブロック移動べクトルの分布の様子を示す図。
【図６】「ズーミング」が行われた場合のブロック移動べクトルの分布の様子を示す図。
【図７】カメラにおいてなされたフレームワークを分析する際にベクトルの分布を調べるために画像領域を分けたブロック群を示す図。
【図８】本発明の画像処理装置を用いたカメラ監視システムに係る第２の実施の形態を示す構成図。
【図９】本発明の画像処理装置を用いたカメラ監視システムに係る第３の実施の形態を示す構成図。
【符号の説明】
１  ズーム機能付カメラ
２  旋回装置
３、３Ａ、３Ｂ  画像処理装置
４  出力装置
５  カメラ制御卓
３１  フレームワーク検出部
３２  変化領域検出部
３３  移動物体抽出画像作成部
３４  画像変形部
３５  過去画像蓄積メモリ
３６  移動物体認識部
３７  背景画像蓄積メモリ
３８  背景画像管理部
【図１】
0004109837.tif 000002
【図２】
0004109837.tif 000003
【図３】
0004109837.tif 000004
【図４】
0004109837.tif 000005
【図５】
0004109837.tif 000006
【図６】
0004109837.tif 000007
【図７】
0004109837.tif 000008
【図８】
0004109837.tif 000009
【図９】
0004109837.tif 000010