(57)【特許請求の範囲】
【請求項１】
監視対象地域の画像の現画像のデータを一時的に記録する現画像蓄積部と、
上記画像の背景画像データを記録する背景画像蓄積部と、
上記現画像蓄積部の現画像データを上記背景画像蓄積部の背景画像データと比較し、画像内の移動物、変化物に当たる多値変化領域を差分として抽出する背景差分抽出部と、
上記変化領域の特徴を示す所定の特徴量を演算する特徴量演算部と、
予め設定された発報対象の上記特徴量の設定値範囲である特徴量パラメータを記憶する発報対象特徴量記憶部と、
この発報対象特徴量記憶部の特徴量パラメータに元づいて上記特徴量演算部での特徴量が正規の発報対象のものに該当することを認識する認識処理手段と、
この認識処理手段の認識に従って発報対象である時に発報を行う発報処理手段と、
を備え、上記認識処理手段が、
同一の移動物、変化物に属すと思われる変化領域を統合する変化領域統合処理手段と、
異なった移動物、変化物の変化領域が誤って領域統合される途中合体や１つの変化領域が途中から分裂する途中分裂に対し、合体や分裂の前後の変化領域のフェレ径数の比較から上記途中合体、途中分裂の発生を識別する途中合体、途中分裂識別処理手段と、
を含むことを特徴とする監視用画像処理装置。
【請求項２】
上記途中合体、途中分裂識別処理手段が、合体や分裂の前後の変化領域の色情報を比較して上記途中合体、途中分裂の発生を識別することを特徴とする請求項１に記載の監視用画像処理装置。
【請求項３】
上記途中合体、途中分裂識別処理手段が、合体や分裂の前後の変化領域の面積を比較して上記途中合体、途中分裂の発生を識別することを特徴とする請求項１に記載の監視用画像処理装置。
【請求項４】
上記途中合体、途中分裂識別処理手段が、繰り返し途中合体、途中分裂が発生する場合に、過去の途中合体、途中分裂を発生した変化領域のフェレ径の情報を蓄積しておき、この情報との関連から上記途中合体、途中分裂の発生を識別することを特徴とする請求項１に記載の監視用画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、テレビカメラ等で得た画像をもとに監視を行う監視用画像処理装置に関するものである。
【０００２】
【従来の技術】
図９は従来のこの種の監視用画像処理装置の構成を示す図である。図において、１はこの監視用画像処理装置で処理される映像を受けるビデオ入力部、２はビデオ入力部１から入る映像を量子化するＡ／Ｄコンバータ等からなるＡ／Ｄ変換部、３はＡ／Ｄ変換部２からの出力を受け現在の映像データを記憶する現画像蓄積部、４はＡ／Ｄ変換部２からの出力を受け相応の演算を行い作成した、比較用の背景画像を記憶する背景画像蓄積部、５は背景画像蓄積部４のデータを一定ルールで演算し背景更新する背景更新部である。例えば、過去５枚の現画像の平均を背景画像とする。
【０００３】
６は現画像蓄積部３と背景画像蓄積部４の２つの画像を比較し、その差分即ち背景差分データを算出する背景差分抽出部、７は背景差分抽出部６のデータを２値化するためのしきい値を算出するしきい値演算部である。背景差分データを元に最適しきい値を求めるのが一般的である。８はしきい値演算部７で求めたしきい値で背景差分データを２値化する２値化部である。
【０００４】
９は２値化部８から出力される２値データを受け、その特徴量を算出する特徴量演算部、１０は正規発報対象(例えば人物、車両等)の特徴量パラメータを予め記憶した発報対象特徴量記憶部てある。１１は特徴量演算部９から出力される特徴量データと、発報対象特徴量記憶部１０の特徴量パラメータを比較し、イベント発生か否かを判断する認識処理手段、１２はイベント発見を知らせる通知である。１３は通知１２を受け発報(例えばＢＥＥＰ音等)する発報処理手段ある。
【０００５】
また図１０は図９の認識処理手段１１の動作をさらに詳細に示したフローチャートである。
【０００６】
以下、従来の動作について代表的な例を説明する。図１０において、外部から装置に与えられた映像信号はビデオ入力部１で受け取り、Ａ／Ｄ変換部２に送られる。Ａ／Ｄ変換部２では受け取ったビデオ信号を後の処理のためにディジタルデータに変換する。１画素当たり８ビットの多値データに変換するのが一般的である。
【０００７】
現画像蓄積部３では入力された現画像データを蓄積し後の処理に備える。背景画像蓄積部４では入力された現画像データを元に作成された背景画像を蓄積し後の処理に備える。背景更新部５では、背景画像蓄積部４に蓄積してある背景画像を定期的に一定ルールで背景更新処理する。これは定期的にサンプリングされた現画像を元に演算処理されるのが一般で、例えば過去５シーンの現画像の平均値を背景画像とする方法や、一定時間前のフレームの映像である場合が多い。
【０００８】
背景差分抽出部６は現画像蓄積部３および背景画像蓄積部４の出力を比較し、各画素毎に差を求め、その差である差分データをフレーム画像として出力する。差分データは一般的には映像中の輝度の変化した部分を表す。通常は人物や車両のような移動物が主であるが、まれに「太陽光の照り陰りによる影の出現」や「夜間の車のヘッドライトの反射」のような、非発報対象の輝度変化を出力する場合もある。
【０００９】
しきい値演算部７は背景差分抽出部６から送られる差分データを２値化するためのしきい値を求める。通常、背景データは多値データであり、そのまま認識処理するには不的確である。以降の判断を高速に行うためにも２値化して２値データに変換するのが一般的である。２値化部８は上記しきい値をもって多値変化領域を２値化する。その結果、以降の処理では変化領域は２値データとなる。ただし装置によってはこの２値化を行わずに直接“多値変化領域”を認識処理する場合があるので、ここは参考である。
【００１０】
図１１を例にこの変化領域について説明する。図１１は通常の正門の映像である。今、人物が画像内を移動している。この場合、移動している人物の位置がそのまま変化領域となる。図１２において、黒く染まっている部分が変化領域である。その変化領域の外接四角形はフェレ径である。
【００１１】
特徴量演算部９は、入力された変化領域データを受け、その変化領域の特徴量を演算する。今、例としてこの特徴量「面積」「縦横寸法」「速度」とする。発報対象特徴量記憶部１０には、この装置が発報対象としている対象物(例えば人物や車両)の特徴量が予め記憶されている。
【００１２】
認識処理手段１１は特徴量演算部９からの特徴量データを受け、その特徴量が発報対象特徴量記憶部１０に記憶されている発報対象の特徴量パラメータと近似しているか否かの判断を行う。近似していると判断されれば、イベント(正規発報対象)発見となり、その通知１２を出力する。
【００１３】
なお、認識処理では図１０に示す以下の手順で認識を行う。ただしここに示すのは一例である。ステップＳ１の変化領域統合処理では、２値化データから変化領域を見て、同一の移動物に属すると思われる変化領域を統合して１つの変化領域にまとめる。ステップＳ２〜Ｓ５では、ステップＳ１で統合された変化領域が、発報対象か否かを判断する。ここでは予め定めてあった発報対象特徴量記憶部１０に記憶された正規発報対象の特徴量パラメータに対し、この変化領域の特徴量が合致するかを判断する。ここで所定条件に合致した特徴量を持つ変化領域は、正規発報対象と見なされる。
【００１４】
ここでは、例として以下のような判断を行う。ステップＳ２では、変化領域が一定時間連続で存在するかを見る。ステップＳ３では、変化領域が所定の面積であるか否かを見る。ステップＳ４では、変化領域が所定の縦横寸法か否かを見る。そしてステップＳ５では、変化領域が所定の移動速度か否かを見る。「面積」「縦横寸法」「移動速度」は、ステップＳ２にある一定時間中の平均を算出して参照されるのが一般的である。
【００１５】
しかし逆に、ここに仮に正規発報対象ではない全く別の物が現れても(例えば太陽光の照り陰りによる建物の影の出現)ここで特徴量の条件が合致すれば、装置はイベントと判断し、そのまま誤った発報に至る。このような、非発報対象による誤った発報を、以降と不要検知とする。不要検知であれ正常検知であれ、イベントはステップＳ６の発報対象発見により図９の発報処理手段１３に伝えられ、そこで発報処理を行う。通常は、上位にあるＰＣ(パーソナルコンピュータ)等に特定の信号を送ったり、装置のブザーを鳴らしたりという処理である。
【００１６】
条件に合致しない場合は、ステップＳ７で発報対象は無かったと見なし、イベントの通知１２は出力されない。従ってこの場合は発報処理手段１３はなにも報告されないため、発報はされない。なお認識処理手段１１および発報処理手段１３はソフトウエアによって処理されるのが一般的である。
【００１７】
【発明が解決しようとする課題】
従来の監視用画像処理装置は以上のように構成されているため、以下のような課題があった。
１）入力画像が低照度、背景画像と輝度のコントラストが十分にとれていないこと等が原因による劣化映像により１つのイベント対象の変化領域が複数に分断された場合、領域統合により同一対象物と判断するが、画面上に複数のイベント対象の変化領域が現れた場合、その変化領域が近傍にあると複数のイベント対象を統合してしまう。
２）本来、発報されるべき複数のイベント対象を１つに領域統合した結果、個々のイベント対象を判別できなくなる。
３）本来、発報されるはずのない複数のイベント対象を領域統合した結果、記憶されている特徴量パラメータに合致してしまい、不要検知が発生する。
４）本来  発報されるべき複数のイベント対象を１つに領域統合した結果、個々のイベント対象の発見が遅れ、認識処理の遅延を招く。
【００１８】
この発明は上記のような課題を解消するためになされたもので、
１）複数のイベント対象(正規発報対象)を領域統合しても途中合体、途中分裂の発生を判断でき、
２）イベント対象(正規発報対象)の正確な抽出が行え、
３）途中合体、途中分裂による不要検知が低減された、
監視用画像処理装置を提供することを目的とする。
【００１９】
【課題を解決するための手段】
上記の目的に鑑み、この発明は、監視対象地域の画像の現画像のデータを一時的に記録する現画像蓄積部と、上記画像の背景画像データを記録する背景画像蓄積部と、上記現画像蓄積部の現画像データを上記背景画像蓄積部の背景画像データと比較し、画像内の移動物、変化物に当たる多値変化領域を差分として抽出する背景差分抽出部と、上記変化領域の特徴を示す所定の特徴量を演算する特徴量演算部と、予め設定された発報対象の上記特徴量の設定値範囲である特徴量パラメータを記憶する発報対象特徴量記憶部と、この発報対象特徴量記憶部の特徴量パラメータに元づいて上記特徴量演算部での特徴量が正規の発報対象のものに該当することを認識する認識処理手段と、この認識処理手段の認識に従って発報対象である時に発報を行う発報処理手段と、を備え、上記認識処理手段が、同一の移動物、変化物に属すと思われる変化領域を統合する変化領域統合処理手段と、異なった移動物、変化物の変化領域が誤って領域統合される途中合体や１つの変化領域が途中から分裂する途中分裂に対し、合体や分裂の前後の変化領域のフェレ径数の比較から上記途中合体、途中分裂の発生を識別する途中合体、途中分裂識別処理手段と、を含むことを特徴とする監視用画像処理装置にある。
【００２０】
またこの発明は、上記途中合体、途中分裂識別処理手段が、合体や分裂の前後の変化領域の色情報を比較して上記途中合体、途中分裂の発生を識別することを特徴とする監視用画像処理装置にある。
【００２１】
またこの発明は、上記途中合体、途中分裂識別処理手段が、合体や分裂の前後の変化領域の面積を比較して上記途中合体、途中分裂の発生を識別することを特徴とする監視用画像処理装置にある。
【００２２】
またこの発明は、上記途中合体、途中分裂識別処理手段が、繰り返し途中合体、途中分裂が発生する場合に、過去の途中合体、途中分裂を発生した変化領域のフェレ径の情報を蓄積しておき、この情報との関連から上記途中合体、途中分裂の発生を識別することを特徴とする監視用画像処理装置にある。
【００２３】
【発明の実施の形態】
以下、この発明を各実施の形態に従って説明する。
実施の形態１．
図１はこの発明の一実施の形態による監視用画像処理装置の構成を示す図である。図において、従来のものと同一もしくは相当部分は同一符号で示し、説明を省略する。１１ａはこの発明による認識処理手段である。
【００２４】
図２はこの実施の形態による認識処理手段１１ａの動作を示したフローチャートである。また図３には途中合体および途中分裂の概念を示した。図２において、ステップＳ１、Ｓ２〜Ｓ７については、従来のものと同様のため説明を省略する。ステップＳ１１では１画面中に存在するフェレ径数の変化を見る。ステップＳ１２では前画像との比較を行い、途中合体、途中分裂の発生を判断する。ステップＳ１３は途中合体、途中分裂時の処理を行う。途中合体時は合体後でも個々の判別が可能となり、途中分裂時は分裂前の個々の判別が可能となる。
【００２５】
なお、ステップＳ１が変化領域統合処理手段を構成し、ステップＳ１１〜ステップＳ１３が途中合体、途中分裂識別処理手段を構成する。
【００２６】
また、図２のステップＳ１２の前画像比較部を更に詳細に示したフローチャートを図４に示す。ステップＳ１２１は前画像の変化領域内の代表色を参照する。ステップＳ１２２はステップＳ１２１で参照した代表色を現画像の変化領域内の代表色と照合する。ステップＳ１２３はステップＳ１２２で照合した結果情報を付加する。
【００２７】
次に動作について代表的な例を説明する。図２において、ステップＳ１の変化領域統合処理部で統合されたフェレ径に対し、ステップＳ１１のフェレ径数判断部で前画像のフェレ径数との比較を行う。比較の結果、フェレ径が増加した場合は、途中分裂発生の可能性がある。比較の結果、フェレ径が減少した場合は、途中合体発生の可能性がある。判断の結果は、ステップＳ１２の前画像比較部に伝達される。
【００２８】
ステップＳ１２の前画像比較部では、以下のように動作し、途中分裂、途中合体の確認を行う。以下は、動作例である。なお、以下の説明において、前画像とは途中合体や途中分裂を起こしてないと思われる時点の画像であり、現画像とは、途中合体や途中分裂を起こしたと思われる時点の画像である。
【００２９】
最初に途中合体の確認手順を記す。図４において、ステップＳ１２１の前画像代表色参照部で前画像の変化領域内の代表色を算出する。いま、例としてここに途中合体前の２つのフェレ径があることとする。各々の代表色をＡ、Ｂと定める。なお、代表色の求め方については特に限定しない。
【００３０】
ステップＳ１２２の現画像代表色照合部では、前画像のフェレ径にあわせて、現画像のフェレ径を仮想的に分離する。前画像ではフェレ径が２つの前提であった。例として、現画像ではフェレ径が１つであるとする。この場合は、２つのフェレ径が１つのフェレ径に途中合体したと判断できる。それに従い、現画像のフェレ径を２等分分割する。
【００３１】
ステップＳ１２２の現画像代表色照合部で分割された各々のフェレ径において、変化領域内の代表色を算出する。このとき、変化領域は実際は一体であることが多いが、仮想的に定めたフェレ径により、別の変化領域として途中から分断する。そこで求めた代表色をＣ、Ｄとする。その後、ステップＳ１２２の現画像代表色照合部において、Ａ、Ｂ、Ｃ、Ｄの色の比較が行われる。
【００３２】
仮にＡ、Ｂ、Ｃ、Ｄが類似色であった場合は、途中合体が発生していたと判断される。Ａ、ＢとＣ、Ｄが類似色ではない場合は、途中合体が発生していなかったと判断される。ステップＳ１２２の現画像代表色照合部の結果に基づき、ステップＳ１２３の途中合体分裂情報付加部にて、各フェレ径に結果情報を付加する。
【００３３】
ステップＳ１２２の現画像代表色照合部で結果情報を付加されたフェレ径は、図２のステップＳ１３の途中合体、分裂処理部において、連結処理を行う。以下は、連結処理の一例である。
【００３４】
前画像で発見された代表色Ａが、現画像で発見された代表色Ｃと類似であると報告を受けたステップＳ１２３の途中合体分裂情報付加部では、Ａを有するフェレ径(以降フェレ径Ａとする)が、Ｃを有するフェレ径(以降フェレ径Ｃとする)と同一のものであったと判断し、同一物との認識において処理を行う。従って、途中合体後もフェレ径Ａは存在を継続する。
【００３５】
図２のステップＳ２の「変化領域が一定時間そこにあるか」以降の処理において、フェレ径Ｃは、フェレ径Ａとして判断され、フェレ径Ｃの全ての特徴量はフェレ径Ａのものとして認識される。図２のステップＳ２以降の動作は従来例と同様のため省略する。
【００３６】
引き続き、途中分裂の確認手順を記す。ここでは、図３に示すように前述の途中合体が発生し、さらに次の時点で２つのフェレ径に分裂した場合について記述する。
【００３７】
ステップＳ１２１の前画像代表色参照部で前画像の変化領域内の代表色を算出する。いま、例としてここに２つのフェレ径が途中合体した１つのフェレ径があることとする。その代表色をＣ、Ｄと定める。なお、代表色の求め方は特に限定しない。
【００３８】
ステップＳ１２２の現画像代表色照合部では、現画像のフェレ径の変化領域内の代表色を算出する。前画像ではフェレ径が１つの前提であった。例として、現画像ではフェレ径が２つであるとする。この場合は、１つのフェレ径が２つのフェレ径に途中分裂したと判断できる。ここで求めた代表色をＥ、Ｆとする。その後、ステップＳ１２２の現画像代表色照合部において、Ｃ、Ｄ、Ｅ、Ｆの色の比較が行われる。
【００３９】
仮にＣ、ＤとＥ、Ｆが類似色であった場合は、途中分裂が発生していたと判断される。Ｃ、ＤとＥ、Ｆが類似色ではない場合は、途中分裂が発生していなかったと判断される。ステップＳ１２２の現画像代表色照合部の結果に基づき、ステップＳ１２３の途中合体分裂情報付加部にて、各フェレ径に結果情報を付加する。
【００４０】
ステップＳ１２３の途中合体分裂情報付加部にて結果情報を付加されたフェレ径は、図２のステップＳ１３の途中合体、分裂処理部において、連結処理を行う。以下は、連結処理の一例である。
【００４１】
前画像で発見された代表色Ｃが、現画像で発見された代表色Ｅと類似であると報告を受けたステップＳ１２３の途中合体分裂情報付加部では、Ｃを有するフェレ径(以降フェレ径Ｃとする)が、Ｅを有するフェレ径(以降フェレ径Ｅとする)と同一の物であったと判断し、同一物との認識において処理を行う。従って、途中分裂後もフェレ径Ｃは存在を継続する。
【００４２】
図２のステップＳ２の「変化領域が一定時間そこにあるか」以降の処理において、フェレ径Ｅはフェレ径Ｃとして判断され、フェレ径Ｅの全ての特徴量はフェレ径Ｃのものとして認識される。図２のステップＳ２以降の動作は従来例と同様のため省略する。
【００４３】
以上の通り、この発明によると、領域統合により複数のイベント対象を統合した場合でも、個々のイベント対象を正確に抽出でき、判定精度を向上する効果を有する。
【００４４】
実施の形態２．
図５には、この発明の別の実施の形態による監視用画像処理装置における、図２のステップＳ１２の前画像比較部を詳細に示したフローチャートを示した。監視用画像処理装置の全体構成は図１、認識処理手段１１ａの全体の流れは図２に同じである。また図６にこの実施の形態における途中合体、途中分裂の概念を示した。
【００４５】
図５において、ステップＳ１２１では前画像の変化領域内の面積を参照する。ステップＳ１２２では参照した面積を現画像の変化領域内の面積と照合する。ステップＳ１２３ではステップＳ１２２で照合した結果情報を付加する。
【００４６】
次に動作について代表的な例を説明する。図２において、ステップＳ１の変化領域統合処理部で統合されたフェレ径に対し、ステップＳ１１のフェレ径数判断部で前画像のフェレ径数との比較を行う。比較の結果、フェレ径が増加した場合は、途中分裂発生の可能性がある。比較の結果、フェレ径が減少した場合は、途中合体案生の可能性がある。
【００４７】
判断の結果は、ステップＳ１２の前画像比較部に伝達される。ステップＳ１２の前画像比較部では、以下のように動作し、途中分裂、途中合体の確認を行う。以下は、動作例である。なお、以下の説明において、前画像とは途中合体や途中分裂を起こしてないと思われる時点の画像であり、現画像とは、途中合体や途中分裂を起こしたと思われる時点の画像である。
【００４８】
最初に図６の(ａ)に示す途中合体の確認手順を記す。図５において、ステップＳ１２１の前画像面積参照部で前画像の変化領域内の面積を参照する。いま、例としてここに途中合体前の２つのフェレ径があることとする。各々の面積をＡ、Ｂと定める。面積値は特徴量演算部９にて算出される。
【００４９】
ステップＳ１２２の現画像面積照合部では、前画像のフェレ径にあわせて、現画像のフェレ径を仮想的に分離する。前画像ではフェレ径が２つの前提であった。例として、現画像ではフェレ径が１つであるとする。この場合は、２つのフェレ径が１つのフェレ径に途中合体したと判断できる。それに従い、現画像のフェレ径をＡとＢの面積比に合わせ分割する。
【００５０】
ステップＳ１２２の現画像面積照合部で分割された各々のフェレ径において、変化領域内の面積を算出する。このとき、変化領域は実際は一体であることが多いが、仮想的に定めたフェレ径により、別の変化領域として途中から分断する。そこで求めた面積をＣ、Ｄとする。その後、Ａ、Ｂ、Ｃ、Ｄの面積の比較が行われる。
【００５１】
仮にＡ、ＢとＣ、Ｄが近似値であった場合は、途中合体が発生していたと判断される。Ａ、ＢとＣ、Ｄが近似値ではない場合は、途中合体が発生していなかったと判断される。ステップＳ１２２の現画像面積照合部の結果に基づき、ステップＳ１２３の途中合体分裂情報付加部にて各フェレ径に結果情報を付加する。結果情報を付加されたフェレ径は、図２のステップＳ１３の途中合体、分裂処理部において、連結処理を行う。以下は、連結処理の一例である。
【００５２】
前画像で発見された面積Ａが、現画像で発見された面積Ｃと類似であると報告を受けたステップＳ１２３の途中合体分裂情報付加部では、Ａを有するフェレ径(以降フェレ径Ａとする)が、Ｃを有するフェレ径(以降フェレ径Ｃとする)と同一のものであったと判断し、同一物との認識において処理を行う。従って、途中合体後もフェレ径Ａは存在を継続する。
【００５３】
図２のステップＳ２の「変化領域が一定時間そこにあるか」以降の処理において、フェレ径Ｃはフェレ径Ａとして判断され、フェレ径Ｃの全ての特徴量はフェレ径Ａのものとして認識される。図２のステップＳ２以降は上述のように従来例と同様のため説明を省略する。
【００５４】
引き続き図６の(ｂ)に示す途中分裂の確認手順を記す。ステップＳ１２１の前画像面積参照部で前画像の変化領域内の面積を算出する。いま、例としてここに１つのフェレ径があることとする。その面積をＧと定める。面積値は特徴量演算部９にて算出される。
【００５５】
ステップＳ１２２の現画像面積照合部では、現画像のフェレ径の変化領域内の面積を参照する。前画像ではフェレ径が１つの前提であった、例として、現画像ではフェレ径が２つであるとする。この場合は、１つのフェレ径が２つのフェレ径に途中分裂したと判断できる。ここで求めた面積をＥ、Ｆとする。次にＥ、Ｆの面積比にあわせ、前画像のフェレ径を分割する。
【００５６】
ステップＳ１２２の現画像面積照合部で分割された前画像のフェレ径において、変化領域の面積を算出する。このとき、変化領域は実際は一体であることが多いが、仮想的に定めたフェレ径により、別の変化領域として途中から分断する。そこで求めた面積をＣ、Ｄとする。ＣとＤの和はＧとなる。その後、ステップＳ１２２の現画像面積照合部においてＣ、Ｄ、Ｅ、Ｆの面積の比較が行われる。
【００５７】
仮にＣ、ＤとＥ、Ｆが近似値であった場合は、途中分裂が発生していたと判断される。Ｃ、ＤとＥ、Ｆが近似値ではない場合は、途中分裂が発生していなかったと判断される。ステップＳ１２２の現画像面積照合部の結果に基づき、ステップＳ１２３の途中合体分裂情報付加部にて各フェレ径に結果情報を付加する。結果情報を付加されたフェレ径は、図２のステップＳ１３の途中合体、分裂処理部において、連結処理を行う。以下は、連結処理の一例である。
【００５８】
前画像で発見された面積Ｃが、現画像で発見された面積Ｅと類似であると報告を受けたステップＳ１２３の途中合体分裂情報付加部では、Ｃを有するフェレ径(以降フェレ径Ｃとする)が、Ｅを有するフェレ径(以降フェレ径Ｅとする)と同一のものであったと判断し、同一物との認識において処理を行う。従って、途中分裂後もフェレ径Ｃは存在を継続する。
【００５９】
図２のステップＳ２の「変化領域が一定時間そこにあるか」以降の処理において、フェレ径Ｅはフェレ径Ｃとして判断され、フェレ径Ｅの全ての特徴量はフェレ径Ｃのものとして認識される。図２のステップＳ２以降の動作は従来例と同様のため省略する。
【００６０】
以上の通り、この発明によると、領域統合により複数のイベント対象を統合した場合でも、個々のイベント対象を正確に抽出でき、判定精度を向上する効果を有する。また、実施の形態１では、途中合体情報が付加されたフェレ径に対してのみ、途中分裂を判断することができたが、この実施の形態においては、途中合体情報の有無にかかわらず、途中分裂の判断ができる利点を有する。
【００６１】
実施の形態３．
図７には、この発明のさらに別の実施の形態による監視用画像処理装置における、図２のステップＳ１２の前画像比較部を詳細に示したフローチャートを示した。監視用画像処理装置の全体構成は図１、認識処理手段１１ａの全体の流れは図２に同じである。また図８にこの実施の形態における途中合体、途中分裂の概念を示した。
【００６２】
図７において、ステップＳ１２１では過去に起こった途中合体、途中分裂の発生箇所を参照する。ステップＳ１２２では前画像の変化領域内の特徴量を参照する。ステップＳ１２３ではステップＳ１２２で参照した特徴量を現画像の変化領域内の特徴量と照合する。ステップＳ１２４ではステップＳ１２３で照合した結果情報を付加する。そしてステップＳ１２５では途中合体、途中分裂の発生箇所を適宜更新、蓄積する。
【００６３】
次に動作について代表的な例を説明する。図２において、ステップＳ１の変化領域統合処理部で統合されたフェレ径に対し、ステップＳ１１のフェレ径数判断部で前画像のフェレ径数との比較を行う。比較の結果、フェレ径が増加した場合は、途中分裂発生の可能性がある。比較の結果、フェレ径が減少した場合は、途中合体発生の可能性がある。
【００６４】
判断の結果は、ステップＳ１２の前画像比較部に伝達される。このステップＳ１２前画像比較部２１では、以下のように動作し、途中分裂、途中合体の確認を行う。以下は、動作例である。なお、以下の説明において、前画像とは途中合体や途中分裂を起こしてないと思われる時点の画像であり、現画像とは、途中合体や途中分裂を起こしたと思われる時点の画像である。
【００６５】
最初に図８の途中合体の確認手順を記す。ステップＳ１２１の累積情報参照部で過去に起こった途中合体、途中分裂の発生箇所を参照する。ステップＳ１２２の前画像参照部では前画像の変化領域内の特徴量(色、面積、場所等)を算出する。いま、例としてここに途中合体前の２つのフェレ径があることとする。各々の特徴量をＡ、Ｂと定める。なお、特徴量の求め方は特には限定しない。
【００６６】
ステップＳ１２３の現画像照合部では、前画像のフェレ径にあわせて、現画像のフェレ径を仮想的に分離する。前画像ではフェレ径が２つの前提であった。例として、現画像ではフェレ径が１つであるとする。この場合は、２つのフェレ径が１つのフェレ径に途中合体したと判断できる。それに従い、現画像のフェレ径を２等分分割する。
【００６７】
ステップＳ１２３の現画像照合部で分割された各々のフェレ径において、変化領域内の特徴量を算出する。このとき、変化領域は実際は一体であることが多いが、仮想的に定めたフェレ径により、別の変化領域として途中から分断する。そこで求めた特徴量をＣ、Ｄとする。
【００６８】
その後、ステップＳ１２３の現画像照合部においてＡ、Ｂ、Ｃ、Ｄの色の比較が行われる。このとき、現画像の途中合体の発生箇所とステップＳ１２１の累積情報参照部で参照した過去の発生箇所に該当する場合には、照合の判定基準を緩くする。仮にＡ、ＢとＣ、Ｄが近似であった場合は、途中合体が発生していたと判断される。Ａ、ＢとＣ、Ｄが近似ではない場合は、途中合体が発生していなかったと判断される。
【００６９】
ステップＳ１２３の現画像照合部の結果に基づき、ステップＳ１２４の途中合体分裂情報付加部にて各フェレ径に、結果情報を付加するとともに、ステップＳ１２５の累積情報蓄積部では、累積情報を適宜更新、蓄積する。ステップＳ１２５の途中合体分裂情報付加部にて結果情報を付加されたフェレ径は、図２のステップＳ１３の途中合体、分裂処理部において、連結処理を行う。
【００７０】
以下は、連結処理の一例である。前画像で発見された特徴量Ａが、現画像で発見された特徴量Ｃと類似であると報告を受けたステップＳ１２４の途中合体分裂情報付加部では、Ａを有するフェレ径(以降フェレ径Ａとする)が、Ｃを有するフェレ径(以降フェレ径Ｃとする)と同一の物であったと判断し、同一物との認識において処理を行う。従って、途中合体後もフェレ径Ａは存在を継続する。
【００７１】
図２のステップＳ２の「変化領域が一定時間そこにあるか」以降の処理において、フェレ径Ｃはフェレ径Ａとして判断され、フェレ径Ｃの全ての特徴量はフェレ径Ａのものとして認識される。図２のステップＳ２以降の動作は従来例と同様のため省略する。
【００７２】
引き続き図８の途中分裂の確認手順を記す。ステップＳ１２２の前画像参照部で前画像の変化領域内の特徴量Ｇ(色、面積、場所等)を算出する。いま、例としてここに１つのフェレ径があることとする。ステップＳ１２３の現画像照合部では、現画像のフェレ径の変化領域内の特徴量を参照する。前画像ではフェレ径が１つの前提であった。例として、現画像ではフェレ径が２つであるとする。この場合は、１つのフェレ径が２つのフェレ径に途中分裂したと判断できる。ここで求めた特徴量をＥ、Ｆとする。次にＥ、Ｆの特徴量にあわせ、前画像のフェレ径を分割する。
【００７３】
ステップＳ１２３の現画像照合部で分割された前画像のフェレ径において、変化領域の特徴量を算出する。このとき、変化領域は実際は一体であることが多いが、仮想的に定めたフェレ径により、別の変化領域として途中から分断する。そこで求めた特徴量をＣ、Ｄとする。
【００７４】
その後、ステップＳ１２３の現画像照合部においてＣ、Ｄ、Ｅ、Ｆの面積の比較が行われる。このとき、現画像の途中分裂の発生箇所とステップＳ１２１の累積情報参照部で参照した過去の発生箇所に該当する場合には、照合の判定基準を緩くする。仮にＣ、ＤとＥ、Ｆが近似であった場合は、途中分裂が発生していたと判断される。Ｃ、ＤとＥ、Ｆが近似ではない場合は、途中分裂が発生していなかったと判断される。
【００７５】
ステップＳ１２３の現画像照合部の結果に基づき、ステップＳ１２４の途中合体分裂情報付加部にて各フェレ径に結果情報を付加するとともに、ステップＳ１２５の累積情報蓄積部では、累積情報を適宜更新、蓄積する。この結果情報を付加されたフェレ径は、図２のステップＳ１３の途中合体、分裂処理部において、連結処理を行う。以下は、連結処理の一例である。
【００７６】
前画像で発見された特徴量Ｃが、現画像で発見された特徴量Ｅと類似であると報告を受けたステップＳ１２４の途中合体分裂情報付加部では、Ｃを有するフェレ径(以降フェレ径Ｃとする)が、Ｅを有するフェレ径(以降フェレ径Ｅとする)と同一のものであったと判断し、同一物との認識において処理を行う。従って、途中分裂後もフェレ径Ｃは存在を継続する。
【００７７】
図２のステップＳ２の「変化領域が一定時間そこにあるか」以降の処理において、フェレ径Ｅはフェレ径Ｃとして判断され、フェレ径Ｅの全ての特徴量はフェレ径Ｃのものとして認識される。図２のステップＳ２以降の動作は従来例と同様のため省略する。
【００７８】
以上のようにこの発明によると、領域統合により複数のイベント対象を統合した場合でも、個々のイベント対象を正確に抽出でき、判定精度を向上する効果を有する。また、上記各実施の形態では、前画像との比較により途中合体、途中分裂の発生を判断することができたが、この実施の形態においては、前画像の他、過去に発生した箇所の情報を参照することで、同一箇所で反復して発生する途中合体、途中分裂の判断ができ、判断の見落としを減少させる利点を有する。
【００７９】
【発明の効果】
以上のようにこの発明では、監視対象地域の画像の現画像のデータを一時的に記録する現画像蓄積部と、上記画像の背景画像データを記録する背景画像蓄積部と、上記現画像蓄積部の現画像データを上記背景画像蓄積部の背景画像データと比較し、画像内の移動物、変化物に当たる多値変化領域を差分として抽出する背景差分抽出部と、上記変化領域の特徴を示す所定の特徴量を演算する特徴量演算部と、予め設定された発報対象の上記特徴量の設定値範囲である特徴量パラメータを記憶する発報対象特徴量記憶部と、この発報対象特徴量記憶部の特徴量パラメータに元づいて上記特徴量演算部での特徴量が正規の発報対象のものに該当することを認識する認識処理手段と、この認識処理手段の認識に従って発報対象である時に発報を行う発報処理手段と、を備え、上記認識処理手段が、同一の移動物、変化物に属すと思われる変化領域を統合する変化領域統合処理手段と、異なった移動物、変化物の変化領域が誤って領域統合される途中合体や１つの変化領域が途中から分裂する途中分裂に対し、合体や分裂の前後の変化領域の所定のファクタの比較から上記途中合体、途中分裂の発生を識別する途中合体、途中分裂識別処理手段と、を含む監視用画像処理装置としたので、領域統合処理により複数の変化領域を統合した変化領域に対し、途中合体の発生を判断でき、また途中合体した変化領域の分裂に対して途中分裂の発生を判断することにより、正規の発報対象の個々の変化領域を正確に抽出でき、判定精度を向上させる効果を有する。
【００８０】
またこの発明では、上記途中合体、途中分裂識別処理手段が、合体や分裂の前後の変化領域の色情報を比較して上記途中合体、途中分裂の発生を識別するようにしたので、色情報の比較により、領域統合処理により複数の変化領域を統合した変化領域に対し、途中合体の発生を判断でき、また途中合体した変化領域の分裂に対して途中分裂の発生を判断することにより、正規の発報対象の個々の変化領域を正確に抽出でき、判定精度を向上させる効果を有する。
【００８１】
またこの発明では、上記途中合体、途中分裂識別処理手段が、合体や分裂の前後の変化領域の面積を比較して上記途中合体、途中分裂の発生を識別するようにしたので、個々の変化領域をより正確に抽出でき、さらに判定精度を向上させる効果を有する。
【００８２】
またこの発明では、上記途中合体、途中分裂識別処理手段が、繰り返し途中合体、途中分裂が発生する場合に、過去の途中合体、途中分裂を発生した変化領域の所定のファクタの情報を蓄積しておき、この情報との関連から上記途中合体、途中分裂の発生を識別するようにしたので、上記の効果に加えてさらに、同一箇所での発生の反復性を参照することにより、個々の変化領域をより正確に抽出でき、判定精度をさらに向上させる効果を有する。
【図面の簡単な説明】
【図１】  この発明の一実施の形態による監視用画像処理装置の構成を示す図である。
【図２】  この発明による認識処理手段の動作を示したフローチャート図である。
【図３】  実施の形態１における途中合体および途中分裂の概念を示した図である。
【図４】  実施の形態１における図２の前画像比較部を更に詳細に示したフローチャート図である。
【図５】  実施の形態２における図２の前画像比較部を更に詳細に示したフローチャート図である。
【図６】  実施の形態２における途中合体および途中分裂の概念を示した図である。
【図７】  実施の形態３における図２の前画像比較部を更に詳細に示したフローチャート図である。
【図８】  実施の形態３における途中合体および途中分裂の概念を示した図である。
【図９】  従来のこの種の監視用画像処理装置の構成を示す図である。
【図１０】  図９の認識処理手段の動作をさらに詳細に示したフローチャート図である。
【図１１】  変化領域を説明するための図である。
【図１２】  変化領域を説明するための図である。
【符号の説明】
１  ビデオ入力部、２  Ａ／Ｄ変換部、３  現画像蓄積部、４  背景画像蓄積部、５  背景更新部、６  背景差分抽出部、７  しきい値演算部、８  ２値化部、９  特徴量演算部、１０  発報対象特徴量記憶部、１１ａ  認識処理手段、１３  発報処理手段である。
【図１】
0004071336.tif 000002
【図２】
0004071336.tif 000003
【図３】
0004071336.tif 000004
【図４】
0004071336.tif 000005
【図５】
0004071336.tif 000006
【図６】
0004071336.tif 000007
【図７】
0004071336.tif 000008
【図８】
0004071336.tif 000009
【図９】
0004071336.tif 000010
【図１０】
0004071336.tif 000011
【図１１】
0004071336.tif 000012
【図１２】
0004071336.tif 000013