(57)【特許請求の範囲】
【請求項１】
撮像装置によって入力画像を得る入力画像処理と、該入力画像と該入力画像の過去の入力画像から生成された基準となる背景画像とを差分処理して得られた差分画像に基づいて侵入物体を検出する侵入物体検出処理と、前記入力画像と前記背景画像とから前記背景画像を更新する背景画像更新処理と、から成る侵入物体検出方法において、
前記侵入物体検出処理で侵入物体を検出したならば前記差分画像の発生元となった前記更新前の背景画像を保持し、前記侵入物体検出処理で侵入物体を検出した場合に該侵入物体の移動の速さを検出し、該速さが所定値以内であれば、前記侵入物体と判断された侵入物体は停止状態であると判断し、前記侵入物体を前記背景画像に取り込み新たな背景画像を生成して、該背景画像を基準として侵入物体を検出するとともに、前記侵入物体の移動の速さが前記所定値以上であれば前記侵入物体は移動状態であると判断し、以後の背景画像を前記更新前の背景画像として侵入物体を検出することを特徴とする侵入物体検出方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、カメラ等の撮像装置により得られた画像から侵入物体を自動的に検出する装置に関するものである。
【０００２】
【従来の技術】
映像監視システムは、画像処理技術を利用しカメラ等の撮像装置により得られた画像から自動的に侵入物体を検出する。侵入物体の検出は、撮像装置から得られた入力画像と侵入物体の映っていない背景画像との輝度値の差分をもとに行う。そして、このシステムは、検出した侵入物体の位置、大きさ等の情報を履歴として保持し、その履歴の情報と最新の検出した侵入物体の情報により移動方向、速度等の情報を取得し、侵入物体の判別や警報処置等の処理をする。
【０００３】
この侵入物体検出画像処理を図６に示す。侵入者の出現してから１回目の処理の流れが破線枠の処理６０１に囲まれた部分で、その直後の２回目の処理の流れが実線枠の処理６０２に囲まれた部分である。１０１は背景画像、１０８は減算器、６０３は１回目の入力画像、６０４は１回目の差分画像、６０５は１回目の２値化画像、６０６は１回目の処理結果画像、６０７は２回目の入力画像、６０８は２回目の差分画像、６０９は２回目の２値化画像、６１０は２回目の処理結果画像、６１１は追跡処理を施して軌跡を加えた処理結果画像、１０９は２値化器、１１０は物体判別器、６１２および６１３はそれぞれ１回目、２回目の物体の履歴データ、６１４は追跡処理器である。１回目の処理６０１では、背景画像１０１と入力画像６０３で減算器１０８により差分画像６０４を得る。その結果として侵入物体６１５が輝度値の差分として出現する。２値化器１０９は差分画像６０４の画素毎の輝度値に対して、所定のしきい値に満たない輝度値を０、しきい値異常の輝度値を２５５として２値化画像６０５を生成する。これにより、侵入物体６１５が輝度値２５５を持った侵入物体６１６として検出される。侵入物体器１１０はこの２値化の侵入物体６１６をもとに大きさ、座標等の侵入物体の情報を作成し、処理結果画像６０６の侵入物体位置６１７にマーキング等の描画を施す。ここで、この情報を履歴データ６１２として保持し、１回目の処理６０１を終了する。２回目の処理では、入力画像６０７を取得し、減算器１０８により背景画像１０１との差分画像６０８を得る。この差分画像６０８から２値化器１０９より２値化画像６０９が得られ、さらに、侵入物体器１１０により処理結果画像６１０が得られる。このときの物体の情報を履歴データ６１３として保持する。ここで、前回の履歴データがある場合（この場合は、１回目の物体６１７の位置、大きさなどのデータがある。すなわち、履歴データ６１２である）に追跡処理器６１４により、物体の情報を連結させる追跡処理が実行され、軌跡や移動方向、移動速度などの情報が得られ、それらの情報を付加した処理結果画像６１１を得る。
【０００４】
図５がこの処理のフローチャートの実施例である。背景画像１０１を作成するステップ５０１では、侵入物体がない状態で一定間隔で取り込んだ入力画像に所定の回数分の加重平均演算を施し、背景画像１０１を作成する。画像入力ステップ５０２では、カメラなどの撮像装置（図示せず）で取り込んだ画像に、必要であれば補正や加工等の処理を施し入力画像６０３、６０７を得る。差分処理ステップ５０３において、背景画像１０１と入力画像６０３、６０７の差分演算をし、差分画像６０４、６０８を得る。２値化処理ステップ５０４では、差分画像６０４、６０８から２値化画像６０５、６０９を生成する。侵入物体の判断をするステップ３０１では、２値化画像６０５、６０９をもとに、侵入物体の大きさ、位置などの侵入物体の情報を生成する。この侵入物体情報をもとに、物体追跡処理ステップ３０４において、履歴データ６１２、６１３の作成、更新を行う。条件分岐ステップ３０７では、この履歴データ６１２、６１３をもとに所定の警報を出力する条件を満たす場合に、警報処置３０８を施すか否かを判断する。背景画像の更新処理ステップ３１０では、入力画像６０３、６０７と背景画像１０１とで加重平均演算を行ない、撮像装置の撮像範囲内の太陽光などの光源の光量の変化に対して追従して忠実な背景画像１０１を更新する。そして、画像入力ステップ５０１に戻り、上記の一連の処理を繰り返して、侵入物体を監視し、検出したならば警報を鳴らす。
【０００５】
図７に示すように、図５の背景画像１０１の更新処理ステップ３１０は、入力画像６０３と背景画像１０１にそれぞれ係数ａ、ｂを乗算した画像を加算し、係数の和（ａ＋ｂ）で除算し、更新背景画像７０１を生成する。７０２はこの演算を行なう加重平均演算器である。この更新処理ステップ３１０の結果、入力画像６０３の侵入物体７０３は、更新背景画像７０１に虚像７０４として残る。そして、侵入物体７０３が停止したまま、時間経過と共に徐々に更新背景画像７０１の虚像７０４が明確になってしまい、停止した侵入物体７０３について、入力画像６０３と更新された背景画像との差分が生じなくなり検出できなくなってしまう。
【０００６】
また、背景画像１０１の更新が徐々に進行することによって、その過程において検出精度が悪くなってしまう。この一例を図８で説明する。８０１は入力画像、８０２は背景画像、８０３は差分画像、８０４は２値化画像である。入力画像８０１の自動車８０６は、侵入物体８０５よりも時間的に早く現れ、駐車したものである。その後、侵入物体８０５が侵入し、自動車８０６に近づいてきたものである。このとき、更新処理ステップ３１０によって、背景画像８０２には駐車している自動車８０６を完全には取り込んでいない状況で、自動車８０６の虚像８０７が実像の自動車８０６と明確に輝度差があるとする。この場合に、入力画像８０１と背景画像８０２から、減算器１０８により差分画像８０３を生成すると、侵入物体の差分８０８は、自動車の差分８０９よりも僅かに輝度値の差は大きくなるが、２値化器１０９により２値化画像８０４を生成すると、侵入物体の差分領域８０８、自動車の差分領域８０９が同一の２値化物体８１０として検出されることになる。
【０００７】
【発明が解決しようとする課題】
本発明は、侵入物体の停止状態にあるか否かを判断して、停止状態にあれば当該侵入物体を背景画像に取り込み、また停止状態から移動状態へ変化したならば背景画像から停止状態にあった当該侵入物体を取り除くことにより、加重平均演算処理による背景画像の更新過程で侵入物体が停止状態では背景画像に徐々に取り込まれていくということで、一方侵入物体が停止状態から移動状態の変化ではまだ停止状態で背景画像に取り込まれてたままとなっていることで、当該侵入物体を正確に検出することができなくなるという問題を回避することができ、侵入物体の検出精度を向上させる侵入物体検出方法を提供することにある。
【０００８】
【課題を解決するための手段】
撮像装置によって入力画像を得る入力画像処理と、該入力画像と該入力画像の過去の入力画像から生成された基準となる背景画像との差分処理して得られた差分画像に基づいて侵入物体を検出する侵入物体検出処理と、前記入力画像と前記背景画像とから前記背景画像を更新する背景画像更新処理と、から成る侵入物体検出方法において、    前記侵入物体検出処理で侵入物体を検出した場合に該侵入物体の移動の速さを検出し、該速さが所定値以内であれば前記侵入物体と判断された侵入物体は停止状態であると判断し、前記侵入物体を前記背景画像に取り込み新たな背景画像を生成して、該背景画像を基準として侵入物体を検出するようにしたものである。
【０００９】
また、前記侵入物体検出処理で侵入物体を検出したならば前記差分画像の発生元となった前記更新前の背景画像を保持し、前記侵入物体検出処理で侵入物体を検出した場合に該侵入物体の移動の速さのを検出し、該速さが所定値以内であれば、前記侵入物体と判断された侵入物体は停止状態であると判断し、前記侵入物体を前記背景画像に取り込み新たな背景画像を生成して、該背景画像を基準として侵入物体を検出するとともに、前記侵入物体の移動の速さが前記所定値以上であれば前記侵入物体は移動状態であると判断し、以後の背景画像を前記更新前の背景画像として侵入物体を検出するようにしたものである。
【００１０】
【発明の実施の形態】
本発明の一実施例を図１〜図５で説明する。
【００１１】
図５の物体追跡処理ステップ３０４における追跡処理の方法とそれを利用した停止判断処理の方法について図４で説明する。検出された侵入物体の中心点４０３から所定の半径の基準円４０１を求め、この基準円４０１を追跡範囲とし、奥行き等の影響を考慮する場合、状況に応じてこの基準円４０１に補正をかけ、楕円４０２のように追跡範囲を変更する。この基準円４０１内に履歴データ内の侵入物体の中心点４０４が存在する場合、この物体情報に履歴データを連結させる。この連結した履歴データによって中心点４０３と４０４により移動量が求められ、履歴データに出現時間を記憶しておくことで、移動速度が求められる。  この物体追跡処理を利用し、移動量の少ない場合に停止していると判断する停止判断処理を追加する。基準円４０１に対して、その内部に含まれ中心点を同じくする円４０５を決め、これを停止範囲とする。侵入物体がこの停止範囲円４０５の内部でしか動かない場合に停止状態にあると判断する。しかし、停止範囲円４０５に大きさがあるため、停止していると判断される速度で侵入移動する物体が存在することを考慮しなければならない。履歴データに位置、大きさを記憶する領域を確保し、停止判断を開始した時点から停止と判断するまでの侵入物体の存在した位置を連結した領域４０６を記憶しておき、停止と判断される速度で動き続けた場合、移動方向のベクトルの総和が一定方向に所定の大きさを持つ場合は、ごく低速で動くものと判断し、それ以外では停止と判断する。
【００１２】
そして、このような侵入物体の移動状態にあるまたは停止状態にある、という判断の処理を次のように用いる。
【００１３】
侵入物体が停止状態にあると判断されたならば、、前記侵入物体を前記背景画像に取り込み新たな背景画像を生成して、該背景画像を基準として侵入物体を検出する。また、侵入物体検の出処理で侵入物体を検出したならば前記差分画像の発生元となった前記更新前の背景画像を保持し、前記侵入物体検出処理で侵入物体を検出した場合に該侵入物体の移動の速さのを検出し、該速さが所定値以内であれば、前記侵入物体と判断された侵入物体は停止状態であると判断し、前記侵入物体を前記背景画像に取り込み新たな背景画像を生成して、該背景画像を基準として侵入物体を検出するとともに、前記侵入物体の移動の速さが前記所定値以上であれば前記侵入物体は移動状態であると判断し、以後の背景画像を前記更新前の背景画像として侵入物体を検出する。
【００１４】
この停止判断処理を行った処理について、図１では停止状態と判断した場合、図２では停止状態にあった物体が再び動き出した場合の処理を説明する。
【００１５】
図３に処理フローを示す。この図３は、図５の侵入物体判断処理ステップ３０１から更新処理ステップ３１０までを置き換えた処理フローである。
【００１６】
図１について、入力画像１０２には停止状態にある侵入物体１１１と自動車１１２が存在する。侵入物体１１１、１１２の判断ステップ３０１において、形状、大きさにより侵入物体１１１は特に警戒する侵入物体と判断し、自動車１１２は停止状態にあっては背景画像１０１に取り込む侵入物体と判断したものである。これらの履歴データから、侵入物体１１１に関しては、背景画像１０１の更新処理ステップ３１０の前段階ステップに停止処理（前処理）ステップ３１１を設け、背景画像に取り込まれないように、自動車１１２に関しては、背景画像１０１の該当部分を入力画像１０２の自動車１１２の領域に入れ換えて新しい背景画像１０４を生成し、入れ換えたもとの部分の画像を停止状態における保持画像１０３として保持する。ここで生成した新しい背景画像１０４と入力画像１０２で減算器１０８によって、差分画像１０５を得て、この差分画像１０５を２値化器１０９により２値化画像１０６を生成する。この２値化画像１０６を物体判断のための物体判別器１１０によって、侵入物体と判断し、入力画像１０２において侵入物体１１１にマーキングを施した侵入物体１１３が表示された結果画像１０７を生成する。結果として、侵入物体１１１は検出され、自動車１１２は背景画像１０１に取り込まれて新しい背景画像となり、警戒すべき侵入物体１１１のみが検出され警報の対象となる物体１１３として残ることになる。
【００１７】
次に図２について、停止状態にあった自動車２０８が後になって動き出した入力画像２０１と背景画像１０４で減算器１０８により差分画像２０２を得て、この差分画像２０２から２値化器１０９により２値化画像２０３を得た場合、動き出した自動車２０８とは形状、大きさが異なる２値化物体２０９が出現してしまう。これは停止状態の自動車２０８の背景画像に自動車２０８の付近に後に動いた２０８Ａが出現するためである。したがって、停止情報テーブルを用いて、停止状態にある自動車２０８付近に２値化物体２０９が出現した場合、停止状態になった時に作成しておいた図１中の保持画像１０３と背景画像１０４の停止状態にある自動車の存在する領域２１０を入れ換えて、新しい背景画像２０４を生成する。ただし、このとき、元の背景画像１０４を保持しておく。新しい背景画像２０４と入力画像２０１で、減算器１０８によって差分画像２０５を作り、この差分画像２０５から、２値化器１０９により２値化画像２０６を生成する。この結果、動き出した物体２０８が２値化物体２１１として出現し、侵入物体判別器１１０によって、処理結果画像２０７に正しい検出物体２１２として現れる。ここで侵入物体判別器１１０によって、停止状態にあった元の侵入物体と形状、大きさ等の判断により異なる物体であると判断した場合は、新しい背景画像２０４を破棄し、元の背景画像１０４に戻し、判断対象となる２値化画像２０３から処理結果画像を生成する。侵入物体判別器１１０によって、同一物体と判断した場合は元の背景画像１０４を破棄し、新しい背景画像２０４を保持し、同時に該当する部分２１０の停止情報データを削除する。
【００１８】
以上の図１、図２の停止判断に係わる処理を追加した部分のフローチャートが図３となる。侵入物体の判断ステップ３０１の後に、２値化物体が停止情報テーブルにより停止位置付近に在るか否かを判断する分岐ステップ３０２を設け、停止位置付近に存在した場合、物体判断再処理ステップ３０３を行なう。この物体判断再処理ステップ３０３は、図２に示した処理であり、保持画像１０３より新しい背景画像２０４を生成し、侵入物体判別器１１０により処理結果画像２０７を得て、背景画像１０４と２０４のどちらを残すか判断する処理ステップとなる。次に物体追跡処理ステップ３０４を実行し、履歴データを作成し、図４で示した処理で停止状態に在るか否かの分岐ステップ３０５により、停止状態にある物体が存在する場合に停止情報テーブル作成ステップ３０６に移る。その後、警報出力の条件分岐ステップ３０７で条件を満たしている場合に警報処置ステップ３０８を実行する。そして、停止情報テーブルにデータが在るか否かの判断ステップ３０９において、データがある場合に停止処理（前処理）ステップ３１１を施して、図１における背景画像１０１から自動車１１２の領域を切り取り保持した画像１０３を生成する。背景画像の更新処理ステップ３１０を実行後の停止処理（後処理）ステップ３１２において、停止情報テーブルに保持画像の情報を追記し、図５の画像入力ステップ５０２に戻る。停止情報テーブルにデータがない場合は、背景画像の更新処理ステップ３１０のみを実行し、図５の画像入力ステップ５０２に戻る。
【００１９】
【発明の効果】
本発明によれば、前記侵入物体検出処理で判断された侵入物体の所定位置の移動量が所定の時間経過後にあるいは前記一連の侵入物体検出処理の所定の回数後に所定値以内であれば、侵入物体と判断された前記侵入物体は停止状態であると判断し、また前記移動量が前記所定値以上であれば前記侵入物体は移動していると判断して、
停止状態の場合には侵入物体を背景画像に取り込み検出しないようにし、また停止状態にあり背景画像に取り込まれた後に再び動き出した物体を検出して背景画像から取り除いて、停止した物体および停止状態から再び動き出した物体を正確に検出することができる。
【図面の簡単な説明】
【図１】  本発明の一実施例における侵入物体の停止後の動作を示す図
【図２】  本発明の一実施例における侵入物体の停止後の再移動時の動作を示す図
【図３】  本発明の一実施例における処理フロー図
【図４】  本発明の停止状態の判定を説明する図
【図５】  従来技術における侵入物体検出の処理フロー図
【図６】  従来技術のおける物体物体検出の処理フローを説明する図
【図７】  背景画像の更新処理を説明する図
【図８】  従来技術における侵入物体の誤検出を説明する図
【符号の説明】
１０１：背景画像、１０２：入力画像、１０３：保持画像、１０４：背景画像、１０５：差分画像、１０６：２値化画像、１０７：処理結果画像、１０８：減算器、１０９：２値化器、１１０：物体判別器、１１１：侵入物体、１１２：自動車、１１３：侵入物体、２０１：入力画像、２０２：差分画像、２０３：２値化画像、２０４：背景画像、２０５：差分画像、２０６：２値化画像、２０７：処理結果画像、２０８：自動車、２０９：２値化物体、２１０：置換領域、２１１：２値化物体、２１２：自動車、３０１：侵入物体判断処理ステップ、３０２：分岐ステップ、３０３：判断再処理ステップ、３０４：物体追跡処理ステップ、３０５：分岐ステップ、３０６：情報格納処理ステップ、３０７：分岐ステップ、３０８：警報処理ステップ、３０９：分岐ステップ、３１０：更新処理ステップ、３１１：更新前処理ステップ、３１２：更新後処理ステップ、４０１：基準円、４０２：楕円、４０３：侵入物体の中心点、４０４：侵入物体の中心点、４０５：円、４０６：履歴データ、５０１：背景画像の作成処理ステップ、５０２：画像入力処理ステップ、５０３：差分処理ステップ、５０４：２値化処理ステップ、６０１：１回目の処理ループ、６０２：２回目の処理ループ、６０３：１回目の入力画像、６０４：１回目の差分画像、６０５：１回目の２値化画像、６０６：１回目の処理結果画像、６０７：２回目の入力画像、６０８：２回目の差分画像、６０９：２回目の２値化画像、６１０：２回目の処理結果画像、６１１：処理結果画像、６１２：履歴データ、６１３：履歴データ、６１４：追跡処理器、６１５：侵入物体、６１６：侵入物体、６１７：侵入物体、７０１：背景画像、７０２：加重平均演算器、７０３：侵入物体、７０３：侵入物体の虚像、８０１：入力画像、８０２：背景画像、８０３：差分画像、８０４：２値化画像、８０５：侵入物体、８０６：自動車、８０７：自動車の虚像、８０８：物体の差分領域、８０９：自動車の差分領域、８１０：２値化物体
【図１】
0004421121.tif 000002
【図２】
0004421121.tif 000003
【図３】
0004421121.tif 000004
【図４】
0004421121.tif 000005
【図５】
0004421121.tif 000006
【図６】
0004421121.tif 000007
【図７】
0004421121.tif 000008
【図８】
0004421121.tif 000009