(57)【特許請求の範囲】
【請求項１】
時系列なフレーム画像を入力する第１のステップと、
入力されたフレーム画像から各対象物の変化を検出するために記憶手段に記憶された背景画像と、入力された第１のフレーム画像とを比較することにより、当該第１のフレーム画像から対象物の変化が検出された場合に、当該第１のフレーム画像から、対象物が存在するか否かを判定する第２のステップと、
前記記憶手段に記憶された前記背景画像を、入力された複数の過去のフレーム画像の画素値を加重平均して生成された新たな背景画像で更新する第３のステップと、
を有し、
前記第３のステップは、
前記第１のフレーム画像よりも前に入力されたフレーム画像に対象物が存在し、当該第１のフレーム画像に当該対象物が存在しない判定されたときには、それ以降、前記第１のフレーム画像よりも前に入力されたフレーム画像に対象物が存在せず、当該第１のフレーム画像に当該対象物が存在すると判定された場合よりも少なく、かつ最近のフレーム画像を用いて前記新たな背景画像を生成し、
前記第１のフレーム画像よりも前に入力されたフレーム画像に対象物が存在せず、当該第１のフレーム画像に当該対象物が存在する判定されたときには、それ以降、前記第１のフレーム画像よりも前に入力されたフレーム画像に対象物が存在し、当該第１のフレーム画像に当該対象物が存在しないと判定された場合よりも多くの過去のフレーム画像を用いて前記新たな背景画像を生成することを特徴とする画像監視方法。
【請求項２】
前記第１のフレーム画像よりも前に入力されたフレーム画像には存在せず、当該第１のフレーム画像に存在する対象物と、前記第１のフレーム画像よりも前に入力されたフレーム画像には存在し、当該第１のフレーム画像に存在しない対象物とをそれぞれ区別して呈示する第４のステップをさらに有することを特徴とする請求項１記載の画像監視方法。
【請求項３】
前記第４のステップは、前記第１のフレーム画像よりも前に入力されたフレーム画像には存在せず、当該第１のフレーム画像に存在する対象物の画像と、前記第１のフレーム画像よりも前に入力されたフレーム画像には存在し、当該第１のフレーム画像に存在しない対象物の画像のうちの少なくとも一方を呈示することを特徴とする請求項２記載の画像監視方法。
【請求項４】
前記第４のステップは、前記第１のフレーム画像よりも前に入力されたフレーム画像には存在し、当該第１のフレーム画像に存在しない対象物の画像を、当該対象物が存在していたときの過去のフレーム画像または背景画像から切り出して呈示することを特徴とする請求項２記載の画像監視方法。
【請求項５】
時系列なフレーム画像を入力する画像入力手段と、
前記画像入力手段で入力されたフレーム画像から各対象物の変化を検出するための背景画像を記憶する記憶手段と、
前記記憶手段に記憶されている前記背景画像と前記画像入力手段で入力された第１のフレーム画像とを比較して、当該第１のフレーム画像から対象物の変化を検出する検出手段と、
対象物の変化の検出された第１のフレーム画像から、対象物が存在するか否かを判定する判定手段と、
複数の過去のフレーム画像の画素値を加重平均して生成された新たな背景画像で前記記憶手段に記憶された背景画像を更新する更新手段と、
を備え、
前記更新手段は、
前記第１のフレーム画像よりも前に入力されたフレーム画像に対象物が存在し、当該第１のフレーム画像に当該対象物が存在しないと判定された場合には、それ以降、前記第１のフレーム画像よりも前に入力されたフレーム画像に対象物が存在せず、当該第１のフレーム画像に当該対象物が存在すると判定された場合よりも少なく、かつ最近のフレーム画像を用いて前記新たな背景画像を生成し、
前記第１のフレーム画像よりも前に入力されたフレーム画像に対象物が存在せず、当該第１のフレーム画像に当該対象物が存在する判定されたときには、それ以降、前記第１のフレーム画像よりも前に入力されたフレーム画像に対象物が存在し、当該第１のフレーム画像に当該対象物が存在しないと判定された場合よりも多くの過去のフレーム画像を用いて前記新たな背景画像を生成することを特徴とする画像監視装置。
【請求項６】
前記第１のフレーム画像よりも前に入力されたフレーム画像には存在せず、当該第１のフレーム画像に存在する対象物と、前記第１のフレーム画像よりも前に入力されたフレーム画像には存在し、当該第１のフレーム画像に存在しない対象物とをそれぞれ区別して呈示する呈示手段をさらに具備したことを特徴とする請求項５記載の画像監視装置。
【請求項７】
前記呈示手段は、前記第１のフレーム画像よりも前に入力されたフレーム画像には存在せず、当該第１のフレーム画像に存在する対象物の画像と、前記第１のフレーム画像よりも前に入力されたフレーム画像には存在し、当該第１のフレーム画像に存在しない対象物の画像のうちの少なくとも一方を呈示することを特徴とする請求項６記載の画像監視装置。
【請求項８】
前記呈示手段は、前記第１のフレーム画像よりも前に入力されたフレーム画像には存在し、当該第１のフレーム画像に存在しない対象物の画像を、当該対象物が存在していたときの過去のフレーム画像または背景画像から切り出して呈示することを特徴とする請求項６記載の画像監視装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像を用いて対象物を監視する画像監視装置に関する。
【０００２】
【従来の技術】
特開平７−３２００６３号公報では、各画素について時間方向にヒステリシス特性を持たせた平滑化を行い背景更新をする画像監視装置が開示されている。この装置は、ビデオノイズ等の影響を受けにくい背景更新方法をとっているものの、対象物が存在するか否かによる処理の切り替えは行われていない。
【０００３】
また、特開平７−７９４２９号公報では、移動物体が抽出されなくなったことを検出した時に背景を更新する画像監視装置が開示されている。この装置においては、静止物体が背景上に加わった場合には、背景更新が即時に行われ変化検出期間が短く、後段の例えば認識処理などに十分な情報を提供できない場合がある。また、背景から対象物が取り除かれた場合には、現在監視している画像だけからは何が取り除かれたかを知ることができない。
【０００４】
【発明が解決しようとする課題】
このように、監視領域中の対象物の変化（有無）を検知した際に、背景画像の更新を行う場合、検出対象物が存在しない状態から存在する状態になった場合と対象物がもともと背景内に存在して、その対象物が無くなった場合とでは、その画像処理にかかる時間が異なるにもかかわらず、それに応じた時間幅で背景画像の更新が行えず、適切な状態変化の検出処理等が継続して行えない。また、例えば、画像処理結果が画面表示の動きと同期して呈示されないため、ユーザに対し多少なりとも違和感を与え使いずらいという問題点があった。
【０００５】
また、背景画像との違いにより、変化した部分を検出するような画像監視装置においては、検出対象物が存在しない状態から存在する状態になった場合には、変化部分を見ることで対象物が何であるかを判断できるが、対象物がもともと背景内に存在して、その対象物が無くなった場合には、変化部分を見ても何がそこに存在したのかを判断することができないという問題点があった。
【０００６】
そこで、本発明は、監視領域中の対象物の変化（監視領域中の対象物の有無）を検知した際に、その検知した変化に応じた適切な呈示が行える画像監視方法およびそれを用いた画像監視装置を提供することを目的とする。
【０００７】
より具体的には、監視領域中の対象物の変化（監視領域中の対象物の有無）を検知した際に、背景画像の更新を行う場合、検出対象物が存在しない状態から存在する状態に変化したときと、対象物がもともと背景内に存在している状態から存在しない状態に変化したときとで画像処理の内容に応じた背景更新を行う。
【０００８】
また、監視領域中の対象物が新たに加わった旨と取り除かれた旨とを区別して呈示する。
【０００９】
【課題を解決するための手段】
本発明の画像監視方法は、時系列な画像情報から対象物の有無の状態変化を検知したとき、背景画像を更新すると共に、該状態変化に応じて該背景画像の更新に要する時間の長さを変化させることにより、監視領域中の対象物の変化（監視領域中の対象物の有無）を検知した際に、その検知した変化に応じた適切な呈示が行え、適切な変化検出のための処理等が継続できると共に、ユーザにとって使い勝手がよい。
【００１０】
好ましくは、前記対象物の状態変化が無しから有りと検知されたときの背景画像の更新が完了するまでに要する時間は、有りから無しと検知されたときの背景画像の更新が完了するまでに要する時間より長い。
【００１１】
また、本発明の画像監視方法は、時系列な画像情報から対象物の有無の状態変化を検知したとき、該状態変化が有りから無しと検知された対象物と、無しから有りと検知された対象物とをそれぞれ区別して呈示することにより、監視領域中の対象物の変化（監視領域中の対象物の有無）を検知した際に、その検知した変化に応じた適切な呈示が行え、ユーザにとって使い勝手がよい。
【００１２】
好ましくは、少なくとも前記状態変化が有りから無しと検知された対象物の画像および該対象物の画像の位置のいずれか一方を呈示する。
【００１３】
本発明の画像監視装置は、時系列な画像情報から対象物の有無の状態変化を検知する検知手段と、この検知手段が前記対象物の状態変化を検知したとき、背景画像を更新すると共に、該状態変化に応じて該背景画像の更新に要する時間の長さを変化させる更新手段とを具備したことにより、監視領域中の対象物の変化（監視領域中の対象物の有無）を検知した際に、その検知した変化に応じた適切な呈示が行え、適切な変化検出のための処理等が継続できると共に、ユーザにとって使い勝手がよい。
【００１４】
好ましくは、前記検知手段で前記対象物の状態変化が無しから有りと検知されたときの背景画像の更新が完了するまでに要する時間は、有りから無しと検知されたときの背景画像の更新が完了するまでに要する時間より長い。
【００１５】
また、本発明の画像監視装置は、時系列な画像情報から対象物の有無の状態変化を検知する検知手段と、この検知手段で状態変化が有りから無しと検知された対象物と、無しから有りと検知された対象物とをそれぞれ区別して呈示する呈示手段とを具備したことにより、監視領域中の対象物の変化（監視領域中の対象物の有無）を検知した際に、その検知した変化に応じた適切な呈示が行え、ユーザにとって使い勝手がよい。
【００１６】
好ましくは、少なくとも前記状態変化が有りから無しと検知された対象物の画像および該対象物の画像の位置のいずれか一方を呈示する。
【００１７】
【発明の実施の形態】
以下、図面を参照して本発明の一実施形態について説明する。
【００１８】
図１は本発明の一実施形態である画像監視装置の構成例を示した図である。
【００１９】
本実施形態は、図示されない撮像手段等から入力される画像データを入力する画像入力部１と、画像入力部１でディジタル化された画像データを記憶する画像メモリ５と、背景画像を記憶する背景画像メモリ６と、入力画像と背景画像の差分から変化部分を検出する変化検出部２と、対象物の存在時と非存在時の画像特徴量を記憶する特徴量メモリ７と、入力画像から算出される画像特徴量と特徴量メモリに記憶された特徴量とを比較することで、対象物の存在を判定する存在判定部３と、背景を更新する背景更新部４と、検出結果等を表示する出力制御部８とで構成される。
【００２０】
以下処理の流れに沿って説明する。まず、事前に検出対象物が存在する場合の画像、存在しない場合の画像からそれぞれの場合の画像特徴量を算出しておき、特徴量メモリ７に記憶させておく。画像特徴量は、例えば画素値のヒストグラムを用いることができる。図２は、対象物が存在しない場合（図２（ａ））と存在する場合（図２（ｂ））の画素値のヒストグラムの違いを示したものである。特徴量としては例えばヒストグラムの値を正規化して記憶しておく。
【００２１】
監視時の処理はまず、外部から入力された画像信号を画像入力部１でディジタル化し画像メモリ５に格納する。画像メモリ５は複数フレーム分のデータを記憶することができ、例えば、過去ｎフレーム（ｎは、正の整数）分の画像データを記憶する。
【００２２】
次に、変化検出部２において背景画像メモリ６に予め記憶されている背景画像と入力された画像との差を画素毎に算出し、この差が予め定められたしきい値以上であれば変化部分であると検出する。
【００２３】
次に、存在検出部３で入力画像の画像特徴量を算出し、特徴量メモリ７に記憶されている特徴量と比較することで、検出対象物が存在するか否かを判定する。存在検出は画像全体で行っても良いし、画像を分割した各々の領域毎に行っても良い。画素値のヒストグラムを画像特徴量として用いた場合には、変化部分の各画素値のヒストグラムを正規化し、対象が存在する場合のヒストグラムと、存在しない場合のヒストグラムについて比較することで行う。画素値が「０」から「ｍ」まであり、特徴量メモリ７に記憶されているヒストグラムの画素値ｉの正規化された頻度をＤ（ｉ）、入力画像の１つの変化部分のヒストグラムの正規化された頻度をＧ（ｉ）と表すと、次式を用いて、検出対象物が存在する場合と存在しない場合のそれぞれについて値ｖを算出し、このｖの値が小さい方を存在検出の結果とする。
【００２４】
【数１】
0003637241.tif 000002
【００２５】
存在検出の他の方法として、ヒストグラムが複数の正規分布の和で構成されていると仮定して、分布数が特徴量メモリ７に記憶されている特徴量に近い方を存在検出の結果としても良い。
【００２６】
次に、背景更新部４で背景画像を更新する。背景更新部４では存在検出部３の検出結果を利用し、対象物が存在する状態から存在しない状態に変化した場合と、対象物が存在しない状態から存在する状態に変化した場合とで、背景更新処理を切り替える。背景更新の一例を説明する。
【００２７】
背景更新が過去フレームにおける画素値の加重平均で算出されるものとする。このときに対象物が無い状態から有る状態に変化した場合には、図３に示す様に時間的に緩やかに背景更新を行い、逆に対象物が有る状態から無い状態に変化した場合には、図４に示す様に素早く背景更新を行う。緩やかに背景更新をするには、多くの過去フレームまで利用して加重平均し、素早く背景更新をするには、最近のフレームのみを利用して加重平均すれば良い。
【００２８】
このように、対象物の有無の状態変化の方向により背景更新の時間幅を変えることにより、対象物が無い状態から有る状態に変化した場合には長い時間幅にわたって変化部分が検出され、有る状態から無い状態に変化した場合には短い時間幅で変化部分が検出されることになる。つまり、移動物体が画像中にある場合などは図５のように、移動物体に対応する画素値は頻繁に変動しており、その画素は常に変化部分として検出される。静止物体が背景上に加わった場合には、図６のように画素値の大きな変動は１度だけであるので、背景更新が行われるまでの時間幅で変化部分として検出される。逆に、背景にあった物体が取り除かれた場合には、画素値は図７のように変動し、短い時間幅で変化部分として検出される。
【００２９】
つまり、背景上に新たに加わった物体は変化部分として長く検出され、検出物の認識等の後処理に必要な情報を十分提供できる。逆に背景からとり除かれた物体は、それまでの過去画像や背景画像に情報があるため、長い時間幅での変化検出は必要なく、素早い背景更新によりその後の変化検出に備えることができる。
【００３０】
背景更新の他の例として、対象物の有無の変化の方向により、背景更新までの時間的遅れを変化させる方法を説明する。図８に示すように、対象物が無い状態から有る状態に変化した場合には、長い時間的遅れを持って背景更新処理をする。逆に対象物が有る状態から無い状態に変化した場合には、短い時間的遅れを持って背景更新処理をする。このようにすることで、１つ目の例と同様、背景上に新たに加わった物体は変化部分として長く検出され、検出物の認識等の後処理に必要な情報を十分提供でき、背景からとり除かれた物体は、素早い背景更新によりその後の変化検出に備えることができる。
【００３１】
次に、出力制御部８の動作について説明する。処理の流れとしては、背景更新部４と出力制御部８に前後関係はなく、フレーム毎に並列に処理が進む。本発明の出力制御部８は、変化部分の検出結果を表示する他に、背景上に加わった変化部分と、背景から取り除かれた変化部分を区別して表示装置９に表示する。
【００３２】
例えば、図９のように、表示画面中には変化部分が重ね書きされた監視画像が表示される領域（画像表示領域）Ｇ１の他に、背景上に新たに加わった検出対象物の画像が表示される領域Ｇ２と、背景から取り除かれた検出対象物の画像が表示される領域Ｇ３とがある。
【００３３】
存在検出部３は、無しから有りと検出された対象物については、画像表示領域Ｇ１に当該対象物の存在する画像領域の位置を例えば当該対象物の輪郭や外接矩形を強調・特殊表示する等して他と区別して表示すると共に、表示領域Ｇ２に監視画像から切り出された当該対象物の部分画像を表示する。また、有りから無しと検出された対象物については、画像表示領域Ｇ１に当該対象物の存在していた画像領域の位置を例えば当該対象物の輪郭や外接矩形を強調・特殊表示する等して他と区別して表示すると共に、当該対象物の存在していたときの過去の監視画像または背景画像中から対応する部分（対象物）の画像を切り出し、表示領域Ｇ３に表示する。
【００３４】
このようにすることで、ユーザは、出力装置９の表示画面を一見すれば、監視している画像中に何が加わり、何が取り除かれたかを容易に理解することができる。特に取り除かれたものについては、従来の監視画像からだけではわからないため、本発明による表示法を用いることで、ユーザに理解容易な情報を提供することができる。
【００３５】
以上説明したように、上記実施形態によれば、検出対象物が存在する場合と存在しない場合を区別し適切な背景更新を行うことで、背景上に新たに加わった物体に対しては、検出物の認識等の後処理に必要な情報を十分提供でき、背景からとり除かれた部分に対しては、素早い背景更新によりその後の変化検出に備えることができる。
【００３６】
また、画像中に加わった部分と取り除かれた部分を区別して表示することで、監視者に理解容易な情報を提供することができ、本発明の効果は多大である。
【００３７】
以上、種々の例を説明したが、本発明はこれらの例に限定されるものではなく、種々変形して応用可能である。
【００３８】
また、発明の実施の形態に記載した本発明の手法は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フロッピーディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤなど）、半導体メモリなどの記録媒体に格納して頒布することもできる。
【００３９】
【発明の効果】
以上説明したように、本発明によれば、監視領域中の対象物の変化（有無）を検知した際に、その検知した変化に応じた適切な呈示が行える。
【図面の簡単な説明】
【図１】本発明の実施形態にかかる画像監視装置の構成例を示した図。
【図２】対象物が有る場合と無い場合の画像特徴量としての画素値のヒストグラムの違いを説明するための図。
【図３】対象物が無い状態から有る状態へ変化した場合の背景画像更新例を説明するための図。
【図４】対象物が有る状態から無い状態へ変化した場合の背景画像更新例を説明するための図。
【図５】移動物体を検出する場合の背景画像の更新について説明するための図。
【図６】静止物体を検出する場合の背景画像の更新について説明するための図。
【図７】監視画像中の対象物が有りから無しと検出された場合の背景画像の更新について説明するための図。
【図８】背景更新の他の例について説明するための図。
【図９】検出結果の表示例を示した図。
【符号の説明】
１…画像入力部
２…変化検出部
３…存在検出部
４…背景更新部
５…画像メモリ
６…背景画像メモリ
７…特徴量メモリ
８…出力制御部
９…出力装置
１１…画像監視装置
【図１】
0003637241.tif 000003
【図２】
0003637241.tif 000004
【図３】
0003637241.tif 000005
【図４】
0003637241.tif 000006
【図５】
0003637241.tif 000007
【図６】
0003637241.tif 000008
【図７】
0003637241.tif 000009
【図８】
0003637241.tif 000010
【図９】
0003637241.tif 000011