(57)【要約】【課題】様々な外乱要因のある条件でもロバストに静止領域を検出する。【解決手段】静止領域検出装置１０の初期背景作成部２は画像入力装置から取得された画像を用いて加重平均画像を計算して前記背景画像を作成すると共に定常的な揺らぎを正規分布によってモデル化して前記閾値画像を作成する。前景箇所抽出部３は前記取得された画像と前記作成された背景画像との差分計算を前記閾値画像に基づき行い前景を算出する。次に前記取得された画像と前記作成された背景画像に基づく指標値を計算することで前記両者の画像を比較する差分計算により前景を算出する。そして、前記二つの前景の論理積を計算して前景領域を算出する。逐次背景更新部処理５は前記取得された画像と前記作成された背景モデルを用いて前景箇所抽出３で前景と判断されなかった領域と静止箇所評価部４で静止領域と判断された領域について背景モデルを新たに作成する。【選択図】図１
2010015469.tif 000002
【特許請求の範囲】
【請求項１】
画像から静止領域を検出する静止領域検出方法であって、
初期背景作成手段が画像入力装置から取得された画像を用いて背景画像と各画素値が静止判定閾値である閾値画像とから成る背景モデルを作成する初期背景作成手順と、
前景箇所抽出手段が前記取得された画像と前記作成された背景モデルとを背景差分演算により比較して前景領域を抽出する前景箇所抽出手順と、
静止箇所評価手段が前記抽出された前景領域が前景として継続的に現れた回数をカウントして得た静止時間が予め定めた静止判定閾値以上になった箇所を静止領域として判断する静止箇所評価手順と、
逐次背景更新手段が、前記取得された画像と前記作成された背景モデルを用いて、前記前景箇所抽出手順で前景と判断されなかった領域と前記静止箇所評価手順で静止領域と判断された領域について新たな背景モデルを作成する逐次背景更新手順と
を有し、
前記初期背景作成手順は、
前記画像入力装置から取得された複数の画像を用いて加重平均画像を計算することで前記背景画像を作成する手順と、
定常的な揺らぎを正規分布によってモデル化することで前記閾値画像を作成する手順と
を有し、
前記前景箇所抽出手順は、
前記画像入力装置から取得された画像と前記作成された背景画像との差分計算を前記閾値画像に基づき行うことで前景を算出する背景差分手順と、
前記画像入力装置から取得された画像と前記作成された背景画像に基づく指標値を計算することで前記両者の画像を比較する差分計算によって前景を算出する指標値計算差分手順と、
前記背景差分手順で算出した前景と前記指標値計算差分手順で算出した前景の論理積を計算することにより前景領域を算出する前景判定手順と
を有すること
を特徴とする静止領域検出方法。
【請求項２】
前記指標値計算差分手順では、前記画像入力装置から取得した画像と前記初期背景作成手順で作成した背景画像の対数微分画像の比を前記指標値として計算すること
を特徴とする請求項１に記載の静止領域検出方法。
【請求項３】
前記指標値計算差分手順では、前記画像入力装置から取得した画像と前記初期背景作成手順で作成した背景画像の注目画素周辺の領域について正規化相互相関と正規化２乗差を計算し、前記注目領域周辺の領域における画素値の偏差に基づく重みに従って前記正規化相互相関の値と前記正規化２乗差の値の重み付き和を前記指標値として計算すること
を特徴とする請求項１に記載の静止領域検出方法。
【請求項４】
前記静止箇所評価手順は、
前記画像入力装置から取得される画像における予め定められた注目領域内の静止領域の判定結果に基づき前記注目領域内への物体の侵入を検出する手順をさらに有すること
を特徴とする請求項１から３のいずれか１項に記載の静止領域検出方法。
【請求項５】
画像から静止領域を検出する静止領域検出装置であって、
画像入力装置から取得された画像を用いて、背景画像と各画素値が静止判定閾値である閾値画像とから成る背景モデルを作成する初期背景作成手段と、
前記画像入力装置から取得された画像と前記作成された背景モデルとを背景差分演算により比較して前景領域を抽出する前景箇所抽出手段と、
前記抽出された前景領域が前景として継続的に現れた回数をカウントして得た静止時間が予め定めた静止判定閾値以上になった箇所を静止領域として判断する静止箇所評価手段と、
前記取得された画像と前記作成された背景モデルを用いて、前記前景箇所抽出手順で前景と判断されなかった領域と前記静止箇所評価手順で静止領域と判断された領域について新たな背景モデルを作成する逐次背景更新手段と
を有し、
前記初期背景作成手段は、
前記画像入力装置から取得された複数の画像を用いて加重平均画像を計算することで前記背景画像を作成する手段と、
定常的な揺らぎを正規分布によってモデル化することで前記閾値画像を作成する手段と
を有し、
前記前景箇所抽出手段は、
前記画像入力装置から取得された画像と前記作成された背景画像との差分計算を前記閾値画像に基づき行うことで前景を算出する背景差分手段と、
前記画像入力装置から取得された画像と前記作成された背景画像に基づく指標値を計算することで前記両者の画像を比較する差分計算によって前景を算出する指標値計算差分手段と、
前記背景差分手段によって算出した前景と前記指標値計算差分手段によって算出した前景の論理積を計算することにより前景領域を算出する前景判定手段と
を有すること
を特徴とする静止領域検出装置。
【請求項６】
前記指標値計算差分手段は、前記画像入力装置から取得した画像と前記初期背景作成手段によって作成した背景画像の対数微分画像の比を前記指標値として計算すること
を特徴とする請求項５に記載の静止領域検出装置。
【請求項７】
前記指標値計算差分手段は、前記画像入力装置から取得した画像と前記初期背景作成手段によって作成した背景画像の注目画素周辺の領域について正規化相互相関と正規化２乗差を計算し、前記注目領域周辺の領域における画素値の偏差に基づく重みに従って前記正規化相互相関の値と前記正規化２乗差の値の重み付き和を前記指標値として計算すること
を特徴とする請求項５に記載の静止領域検出装置。
【請求項８】
前記静止箇所評価手段は、前記画像入力装置から取得された画像における予め定められた注目領域内の静止領域の判定結果に基づき前記注目領域内への物体の侵入を検出すること
を特徴とする請求項５から７のいずれか１項に記載の静止領域検出装置。
【請求項９】
請求項５から８のいずれか１項に記載の静止領域検出装置を構成する各手段としてコンピュータを機能させることを特徴とするプログラム。
【請求項１０】
請求項９に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は映像中で静止している領域を検出する方法とその装置及びプログラムとその記録媒体に関する。
【背景技術】
【０００２】
映像モニタリングにおいて、放置された物体、持ち去られた物体など映像中で静止する領域を検出する機能がある。映像から静止領域を検出するには、一般に背景画像を作成し、背景画像と現在の画像を比較することで前景を計算し、前景の静止時間を評価する方法が用いられる。
【０００３】
ここで問題となるのは、画像に含まれるさまざまな外乱である。静止領域検出の際に問題となる外乱は、例えば日照変動など照明環境の変化、通行人による移動物体の一時的な遮り、木の葉の揺れなど定常ノイズ、カメラのＡＧＣ：Ａｕｔｏ Ｇａｉｎ Ｃｏｎｔｒｏｌ、ＡＷＢ：Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ、撮像素子のノイズなどがある。
【０００４】
ロバストに検出を行うためには、複合的にかかってくる前記外乱を効率よく軽減する必要がある。外乱を除去する方法には、入力画像における高域除去フィルタ、低域除去フィルタなどのノイズ除去処理、背景差分方法における適応的閾値法など、静止領域検出にかかる各ステップにおいて、多岐にわたる方法がある。
【０００５】
定常的な揺らぎや一時的な遮蔽に対応する方法として適応的な背景の更新方法がある。例えば、背景の揺らぎをモデル化する方法として、非特許文献１などがあるが、これらの方法のみでは定常的ではない日照変動や、物体の影の影響に対応することが困難である。
【０００６】
日照や物体の影にロバストな方法としては、微分を用いるものや相関を用いるものがある。例えば、相関を用いるものであれば非特許文献２等があるが、相関や微分を用いる方法は、高周波ノイズに弱く木の葉の揺れのようなノイズや素子ノイズの影響を排除することが難しい。
【非特許文献１】Ｚｏｒａｎ Ｚｉｖｋｏｖｉｃ，Ｉｍｐｒｏｖｅｄ Ａｄａｐｔｉｖｅ Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ ｆｏｒ Ｂａｃｋｇｒｏｕｎｄ Ｓｕｂｔｒａｃｔｉｏｎ，ＩＣＰＲ２００４
【非特許文献２】伊藤誠也，金子俊一，選択的正規化相関による高速なロバスト画像照合，電気学会（実環境におけるマシンビジョン適用技術特集号），２００４
【非特許文献３】奈良先端科学技術大学院大学，ＯｐｅｎＣＶ，プログラミングブック制作チーム著，ＯｐｅｎＣＶ，プログラミングブック，２００７
【特許文献１】特開２００４−２４１９４５
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上記のように従来の静止領域を検出する技術では前記外乱のうち一部のみに対応する手法は様々なものがあり用いられているが、実用途で用いるには複数の外乱要因に同時に対応しなければ誤検出、検出漏れが発生し、安定性に問題が起こる。
【０００８】
本発明は、かかる事情に鑑みなされたもので、静止領域の検出に関わる処理を複数のステップに分けそれぞれにおいて外乱に強い方法を用いることで同時に複数の外乱があっても安定して静止領域の検出が可能な静止領域検出方法とその装置、プログラム及び記録媒体の提供にある。
【課題を解決するための手段】
【０００９】
そこで、前記課題を解決するための請求項１の静止領域検出方法は、画像から静止領域を検出する静止領域検出方法であって、初期背景作成手段が画像入力装置から取得された画像を用いて背景画像と各画素値が静止判定閾値である閾値画像とから成る背景モデルを作成する初期背景作成手順と、前景箇所抽出手段が前記取得された画像と前記作成された背景モデルとを背景差分演算により比較して前景領域を抽出する前景箇所抽出手順と、静止箇所評価手段が前記抽出された前景領域が前景として継続的に現れた回数をカウントして得た静止時間が予め定めた静止判定閾値以上になった箇所を静止領域として判断する静止箇所評価手順と、逐次背景更新手段が、前記取得された画像と前記作成された背景モデルを用いて、前記前景箇所抽出手順で前景と判断されなかった領域と前記静止箇所評価手順で静止領域と判断された領域について新たな背景モデルを作成する逐次背景更新手順とを有し、前記初期背景作成手順は、前記画像入力装置から取得された複数の画像を用いて加重平均画像を計算することで前記背景画像を作成する手順と、定常的な揺らぎを正規分布によってモデル化することで前記閾値画像を作成する手順とを有し、前記前景箇所抽出手順は、前記画像入力装置から取得された画像と前記作成された背景画像との差分計算を前記閾値画像に基づき行うことで前景を算出する背景差分手順と、前記画像入力装置から取得された画像と前記作成された背景画像に基づく指標値を計算することで前記両者の画像を比較する差分計算によって前景を算出する指標値計算差分手順と、前記背景差分手順で算出した前景と前記指標値計算差分手順で算出した前景の論理積を計算することにより前景領域を算出する前景判定手順とを有する。
【００１０】
請求項２の静止領域検出方法は、請求項１の静止領域検出方法において、前記指標値計算差分手順では、前記画像入力装置から取得した画像と前記初期背景作成手順で作成した背景画像の対数微分画像の比を前記指標値として計算する。
【００１１】
請求項３の静止領域検出方法は、請求項１の静止領域検出方法において、前記指標値計算差分手順では、前記画像入力装置から取得した画像と前記初期背景作成手順で作成した背景画像の注目画素周辺の領域について正規化相互相関と正規化２乗差を計算し、前記注目領域周辺の領域における画素値の偏差に基づく重みに従って前記正規化相互相関の値と前記正規化２乗差の値の重み付き和を前記指標値として計算する。
【００１２】
請求項４の静止領域検出方法は、請求項１から３のいずれかの静止領域検出方法において、前記静止箇所評価手順は、前記画像入力装置から取得される画像における予め定められた注目領域内の静止領域の判定結果に基づき前記注目領域内への物体の侵入を検出する手順をさらに有する。
【００１３】
請求項５の静止領域検出装置は、画像から静止領域を検出する静止領域検出装置であって、画像入力装置から取得された画像を用いて、背景画像と各画素値が静止判定閾値である閾値画像とから成る背景モデルを作成する初期背景作成手段と、前記画像入力装置から取得された画像と前記作成された背景モデルとを背景差分演算により比較して前景領域を抽出する前景箇所抽出手段と、前記抽出された前景領域が前景として継続的に現れた回数をカウントして得た静止時間が予め定めた静止判定閾値以上になった箇所を静止領域として判断する静止箇所評価手段と、前記取得された画像と前記作成された背景モデルを用いて、前記前景箇所抽出手順で前景と判断されなかった領域と前記静止箇所評価手順で静止領域と判断された領域について新たな背景モデルを作成する逐次背景更新手段とを有し、前記初期背景作成手段は、前記画像入力装置から取得された複数の画像を用いて加重平均画像を計算することで前記背景画像を作成する手段と、定常的な揺らぎを正規分布によってモデル化することで前記閾値画像を作成する手段とを有し、前記前景箇所抽出手段は、前記画像入力装置から取得された画像と前記作成された背景画像との差分計算を前記閾値画像に基づき行うことで前景を算出する背景差分手段と、前記画像入力装置から取得された画像と前記作成された背景画像に基づく指標値を計算することで前記両者の画像を比較する差分計算によって前景を算出する指標値計算差分手段と、前記背景差分手段によって算出した前景と前記指標値計算差分手段によって算出した前景の論理積を計算することにより前景領域を算出する前景判定手段とを有する。
【００１４】
請求項６の静止領域検出装置は、請求項５の静止領域検出装置において、前記指標値計算差分手段は、前記画像入力装置から取得した画像と前記初期背景作成手段によって作成した背景画像の対数微分画像の比を前記指標値として計算する。
【００１５】
請求項７の静止領域検出装置は、請求項５の静止領域検出装置において、前記指標値計算差分手段は、前記画像入力装置から取得した画像と前記初期背景作成手段によって作成した背景画像の注目画素周辺の領域について正規化相互相関と正規化２乗差を計算し、前記注目領域周辺の領域における画素値の偏差に基づく重みに従って前記正規化相互相関の値と前記正規化２乗差の値の重み付き和を前記指標値として計算する。
【００１６】
請求項８の静止領域検出装置は、請求項５から７のいずれかの静止領域検出装置において、前記静止箇所評価手段は、前記画像入力装置から取得された画像における予め定められた注目領域内の静止領域の判定結果に基づき前記注目領域内への物体の侵入を検出する。
【００１７】
請求項９のプログラムは、請求項５から８のいずれかの静止領域検出装置を構成する各手段としてコンピュータを機能させるプログラムである。
【００１８】
請求項１０の記録媒体は、請求項９のプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【００１９】
以上の発明によれば外乱要因のある条件のもとでもロバストに静止領域を検出できる。
【発明を実施するための最良の形態】
【００２０】
図１は発明の実施形態に係る静止領域検出装置の概略構成を示したブロック図である。
【００２１】
静止領域検出装置１０は入力画像取得処理部１と初期背景作成部２と前景箇所抽出部３と静止箇所評価部４と逐次背景更新部５とを備える。
【００２２】
静止領域検出装置１０は通常のコンピュータの構成要素、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ）、メモリ（ＲＡＭ）、ハードディスクドライブ装置、通信デバイスなどのハートウェア資源を備え、このハードウェア資源とインストール済みのソフトウェアとの協働によって前記各機能ブロック１〜５に係る処理が実行される。そして、この処理によって得られた画像は図示省略のディスプイ（表示装置）にて表示できるようになっている。
【００２３】
入力画像取得処理部１はＳ１０１の入力画像取得ステップを実行する。具体的にはカメラ、ＤＶＲ、ＶＴＲなどの画像入力装置から画像を取得する。入力画像取得部２は前記画像入力装置と接続された既知の通信デバイスなどで実現できる。
【００２４】
初期背景作成処理部２はＳ１０２の初期背景作成ステップを実行する。Ｓ１０２ではＳ１０１の入力画像取得ステップで取得された一枚または複数の画像を用いて背景モデルを作成する。このＳ１０２では、画像の揺らぎが正規分布をなすと想定して背景モデルを作成する方法を用いることで、背景領域に存在する木の葉が風で揺れるなどの定常的な揺らぎの影響をモデル化することができる。この方法は非特許文献３に記載の正規分布を用いた背景差分法の方法で実現することができる。
【００２５】
前記背景モデルは背景画像と閾値画像から構成される。画像の閾値処理において通常は全画素同一の閾値が用いられる。画素毎に異なる閾値を用いる場合、各画素に対応した閾値を記録する画像でこれを表現する。この画像を閾値画像と称している。例えば、画像Ａの座標（ｘ，ｙ）について閾値処理を行う際の閾値は、閾値画像の座標（ｘ，ｙ）を参照することで得られる。
【００２６】
前記背景画像は複数枚の画像の加重平均をとることにより計算され、閾値画像は定常的な揺らぎを正規分布によってモデル化することにより計算される。これにより一時的な揺らぎの影響を受けにくい背景画像を作成できる。
【００２７】
各閾値画像の各画素値は、Ｎフレーム分の画素値の標準偏差を計算することによって求められる。または次式のように各画素における背景差分値の自系列の平均値を用いてもよい。すなわち、既にある閾値画像Ｔの画素値をＴ（ｘ，ｙ）、差分画像Ｄの画素値をＤ（ｘ，ｙ）とすると、新しい閾値画像Ｔ’の画素値Ｔ’（ｘ，ｙ）は以下の式で表せる。
【００２８】
Ｔ’（ｘ，ｙ）＝（１−α）×Ｔ（ｘ，ｙ）＋α×Ｄ（ｘ，ｙ）
背景画像は画像の加重平均によって求められる。すなわち、既にある背景画像Ｍの画素値をＭ（ｘ，ｙ）、現在の画像Ｉの画素値をＩ（ｘ，ｙ）とすると、新しい背景画像Ｍ’の画素値Ｍ’（ｘ，ｙ）は以下の式で表せる。
【００２９】
Ｍ’（ｘ，ｙ）＝（１−α）×Ｍ（ｘ，ｙ）＋α×Ｉ（ｘ，ｙ）
Ｍの初期値は、最初に取得した１枚、あるいは複数の画像の平均を用いればよい。
【００３０】
閾値画像をＴとしたとき、背景差分計算は、ＭとＩの絶対差Ｄが、閾値にある定数ｋをかけた値よりも大きい場合に差分ありとする。
【００３１】
Ｄ（ｘ，ｙ）＝｜Ｍ（ｘ，ｙ）−Ｉ（ｘ，ｙ）｜
Ｄ（ｘ，ｙ）≧ｋ×Ｔ（ｘ，ｙ）  ：前景
Ｄ（ｘ，ｙ）＜ｋ×Ｔ（ｘ，ｙ）  ：背景
前景箇所抽出部３はＳ１０３の前景箇所抽出ステップを実行する。Ｓ１０３ではＳ１０１の入力画像取得ステップで取得された画像と既に作成されている背景を比較して差分のある箇所を前景として抽出する。
【００３２】
より具体的には前景箇所抽出部３はＳ１０１で取得された画像とＳ１０２で作成された背景画像との差分計算を前記閾値画像に基づき行うことで前景を算出する（背景差分手順）。次に、Ｓ１０１で取得された画像とＳ１０２で作成された背景画像に基づく指標値を計算することで前記両者の画像を比較する差分計算によって前景を算出する（指標値計算差分手順）。そして、前記背景差分手順で算出した前景と前記指標値計算差分手順で算出した前景の論理積を計算することにより前景領域を算出する（前景判定手順）。前記指標値としては、例えば、Ｓ１０１で取得された画像とＳ１０２で作成された背景画像の対数微分画像の比が挙げられる。他の指標値としては、Ｓ１０１で取得された画像とＳ１０２で作成された背景画像の注目画素周辺の領域について正規化相互相関と正規化２乗差を計算し、前記注目領域周辺の領域における画素値の標準偏差に基づく重みに従って算出された前記正規化相互相関の値と前記正規化２乗差の値の重み付き和が例示される。
【００３３】
静止箇所は、非特許文献３に記載の正規分布を用いた背景差分法の方法によって計算された前景箇所と対数微分による差分方法によって計算された前景箇所との論理積、あるいは前記背景モデルを用いた背景差分方法によって計算された前景箇所と相関ベースの差分方法によって計算された前景箇所との論理積によって計算される。各差分結果については、膨張処理、周辺画素の和をとる処理などの強調処理を加えてもよい。
【００３４】
前景箇所抽出部３で適用される対数微分による差分方法と相関ベースの差分方法は明るさ変化の影響を受けにくい比較方法である。
【００３５】
対数微分による差分方法は、特許文献１で示されているような画像の対数をとる処理、微分をとる処理を組み合わせることによって実現される。対数微分による差分方法は、先ず、画像の画素値の対数をとり対数画像を得る。次に、画像の空間微分によって対数微分画像を得る。背景画像について求めた対数微分画像と、現フレーム画像について求めた対数微分画像の比を取り、一定値以上の変化があった箇所を前景箇所とする。
【００３６】
前記対数微分による差分方法は具体的には次の原理を用いて実現される。
【００３７】
ある時点の画像の画素値をＩとし、それに環境中の明るさ変化やカメラのＡＧＣ、ＡＷＢなどによる輝度変化が加わった画像の画素値をａＩとすると、以下の数式のように記述できる。
【００３８】
【数１】
2010015469.tif 000003
【００３９】
ただし、ａは輝度変化を示す係数である。
【００４０】
ここで、対数をとった画像について空間微分をとると以下の数式のように記述できる。
【００４１】
【数２】
2010015469.tif 000004
【００４２】
ここで、輝度変化が空間方向に一様に線形に働くとすれば、式２の第一項は空間微分によりゼロとなり、式３が得られる。実際には前記輝度変化は非線形であることが多く厳密にはゼロにはならないが、これにより輝度変化の影響を受けにくい値に変換される。
【００４３】
式２、式３はｘ方向の空間微分を示しているがｙ方向についても同様である。
【００４４】
空間微分の計算は画像処理においてｓｏｂｅｌフィルタを用いて代用してもよい。
【００４５】
比較処理は、Ｓ１０１で得られた画像に対して式１から式３の処理を適用した画像と、Ｓ１０２またはＳ１０５で得られた背景に対して式１から式３の処理を適用した画像の比をとることによって実現される。
【００４６】
比は２枚の画像の除算で計算されるが、スケール変換をとる処理、及び１未満の箇所は逆数をとる処理を加える。さらに、膨張処理、周辺画素の和をとる処理などの強調処理を加えてもよい。
【００４７】
また、予め決めた閾値処理により差の有無を２値画像としてもよい。
【００４８】
以上が、対数微分による差分方法の原理である。
【００４９】
相関ベースの差分方法は、画像中の注目画素の周囲ｎ×ｎ画素の領域の画素値について２枚の画像ＩとＩ’の正規化相互相関と、正規化２乗差分の２種類の相関値を用いた重み付き和で計算される。重みはｎ×ｎ画素の領域の標準偏差に応じた値を用いる。但し、ｎは予め決めた任意の整数である。
【００５０】
正規化相互相関Ａは次式により求められる。
【００５１】
【数３】
2010015469.tif 000005
【００５２】
正規化２乗差分Ｂは次式により求められる。
【００５３】
【数４】
2010015469.tif 000006
【００５４】
前記正規化相互相関Ａと正規化２乗差分Ｂの重み付き和Ｄは次式で計算される。
【００５５】
Ｄ＝αＡ＋（１−α）Ｂ
αはＩnの標準偏差とＩの標準偏差の平均値に応じてあらかじめ決めた０〜１の範囲の定数である。
【００５６】
例えば標準偏差が２０以上ならα＝０．８、２０未満であればα＝０．６などのように決めておくことができる。
【００５７】
ｎ×ｎ画素の領域の決め方については、全画素について画素周囲のｎ×ｎ画素を用いてもよいし、注目画素を選択し、選択された注目画素のみの計算としてもよい。
【００５８】
また、予め決めた閾値処理により前記Ｄに応じて２値化してもよい。例えば、所定の閾値ｔｈを用いて、Ｄ≦ｔｈの場合は前景とし、Ｄ＞ｔｈの場合は背景とする閾値処理が例として挙げられる。
【００５９】
静止箇所評価部４はＳ１０４の静止箇所評価ステップを実行する。Ｓ１０４ではＳ１０３の前景箇所抽出ステップで計算された前景箇所を評価し、静止領域として検出するかどうか判定する。具体的には、前景箇所を時系列に見て継続して前景箇所として算出された時間をカウントアップし、カウントが予め定めた静止判定閾値以上になった箇所を静止領域として判定する。ここで、さらに収縮処理、膨張処理、ラベリング処理などを用いてノイズ除去や、領域のクラスタリングを行ってもよい。
【００６０】
逐次背景更新部５はＳ１０５の逐次背景更新ステップを実行する。Ｓ１０５ではＳ１０１の入力画像取得ステップで取得された画像と既に作成されている背景を用いて新しい背景モデルを作成する。更新箇所は、Ｓ１０３の前景箇所抽出ステップにて背景として計算された背景領域、及びＳ１０４の静止箇所評価ステップで計算された静止領域として判定された領域である。背景モデルの更新は、該背景領域、及び該静止領域を非特許文献３に記載の正規分布を用いた背景差分法の方法を用いて計算することによって行われる。
【００６１】
具体的には先に説明したＳ１０２での背景画像Ｍ’と閾値画像Ｔ’の下記の計算方法に基づき該背景領域、及び該静止領域についてのみ計算される。
【００６２】
Ｍ’（ｘ，ｙ）＝（１−α）×Ｍ（ｘ，ｙ）＋α×Ｉ（ｘ，ｙ）
Ｔ’（ｘ，ｙ）＝（１−α）×Ｔ（ｘ，ｙ）＋α×Ｄ（ｘ，ｙ）
以上により一定時間静止した領域の検出が可能となる。
【００６３】
また、これを画像中の特定の注目領域内への物体の侵入を検出する領域内侵入検出として用いることもできる。領域内侵入検出として用いる場合は、入力画像取得時に注目領域を切り取るか、もしくは静止箇所評価結果について注目領域内の判断結果のみを用いるかして判定する。また、前記静止判定閾値の値を小さい値にすれば、領域内へ侵入した物体を即座に検出することも可能である。
【００６４】
図２は静止領域検出装置１０のより具体的なシステム構成を例示したブロック図である。
【００６５】
静止領域検出装置１０の前景箇所抽出部３は図２に示されたような機能ブロック３１〜３７，４１〜４７を備える。機能ブロック３１〜３７，４１〜４７に係る処理は先に説明したハードウェア資源とインストール済みのソフトウェアとの協働によって実現できる。尚、背景保持部３１及び背景候補保持部４５はコンピュータのメモリまたはハードディスクなどの記憶機能を有する装置によって構成すればよい。
【００６６】
図２を参照しながら静止領域検出装置１０による静止領域検出の手順（Ｓ２０１〜Ｓ２２０）について説明する。
【００６７】
Ｓ２０１：画像入力装置１１から撮像または蓄積した映像が出力される。画像入力装置１１としてはカメラ等の撮像装置、ＤＶＲ、ＶＴＲ等の映像蓄積装置、または映像配信装置等が例示される。
【００６８】
Ｓ２０２：入力画像取得処理部１は、Ｓ２０１の過程で画像入力装置１１から出力された映像を取得して初期背景作成処理部２、現画像−背景差分処理部３２、対数微分現画像−背景差分処理部４１へ配信する。
【００６９】
Ｓ２０３：初期背景作成処理部２は、Ｓ２０２の過程で入力画像取得処理部１から取得した複数枚の画像を用いて、前述の非特許文献３に記載の正規分布を用いた背景差分法の方法により、背景モデルを作成する。
【００７０】
Ｓ２０４：背景保持部３１は、Ｓ２０３で作成された背景モデル、若しくはＳ２１６（背景更新処理部４６）、若しくはＳ２１８（逐次背景更新処理部５）で更新された背景モデルを記憶領域に保持する。
【００７１】
Ｓ２０５：現画像−背景差分処理部３２は、Ｓ２０２の過程で取得した画像と背景保持部３１から取得した背景モデルとを用いて、前述の非特許文献３に記載の正規分布を用いた背景差分法の方法によって差分計算を行い、差分画像を出力する。
【００７２】
Ｓ２０６：前景／背景マスク作成処理部３３は、Ｓ２０５で計算された差分画像から、前述の非特許文献３に記載の正規分布を用いた背景差分法の方法に基づき前景領域マスク画像及び背景領域マスク画像を作成する。
【００７３】
Ｓ２０７：現画像−背景候補差分処理部３４は、前述の非特許文献３に記載の正規分布を用いた背景差分法の方法に基づきＳ２０２の過程で取得した画像と背景候補保持部４５から取得した背景候補画像との差分計算を行い、差分画像を出力する。
【００７４】
Ｓ２０８：静止候補マスク作成処理部３５は、Ｓ２０７で計算された差分画像から前述の非特許文献３に記載の正規分布を用いた背景差分法の方法に基づき静止候補領域マスク画像を作成する。
【００７５】
Ｓ２０９：静止時間評価処理部３６は、Ｓ２０６で計算された前景領域マスク画像とＳ２０８で計算された静止候補領域マスク画像を用いて前述の非特許文献３に記載の正規分布を用いた背景差分法の方法に基づき静止箇所の静止時間を評価し静止時間カウント画像を作成する。
【００７６】
Ｓ２１０：静止箇所マスク作成処理部３６は、Ｓ２０９で作成された静止時間カウント画像から前述の非特許文献３に記載の正規分布を用いた背景差分法の方法に基づき静止領域マスク画像を作成する。
【００７７】
Ｓ２１１：対数微分現画像−背景差分処理部４１は、Ｓ２０２（入力画像取得処理部１）で取得された画像と背景保持部３１から取得した背景モデルを用いて、前記対数微分による差分方法の原理に基づき差分計算を行い、差分画像を出力する。
【００７８】
Ｓ２１２：対数微分前景マスク作成処理部４２は、Ｓ２１１で計算された差分画像に対して予め決めた閾値に基づく閾値処理を行い対数微分による前景領域マスク画像を計算する。
【００７９】
Ｓ２１３：対数微分静止時間評価処理部４３は、Ｓ２１２で求めた対数微分による前景領域マスク画像についてマスク領域を時系列に計数することで静止時間を評価し、対数微分による静止時間カウント画像を作成する。
【００８０】
Ｓ２１４：対数微分静止箇所マスク作成処理部４４は、Ｓ２１３で作成された対数微分による静止時間カウント画像に対して予め決めた閾値に基づく閾値処理を行い対数微分による静止領域マスク画像を作成する。
【００８１】
Ｓ２１５：背景候補保持部４５は、背景候補更新処理部４７によるＳ２１７の過程で作成された背景候補モデルを記憶領域に保持する。
【００８２】
Ｓ２１６：背景更新処理部４６は、Ｓ２０２の過程で取得した画像とＳ２０６の過程で計算された背景領域マスク画像とを用いて、背景モデルを前述の非特許文献３に記載の正規分布を用いた背景差分法の方法に基づき更新する。
【００８３】
Ｓ２１７：背景候補更新処理部４７は、Ｓ２０２の過程で取得した画像とＳ２０８の過程で計算された背景候補領域マスク画像とを用いて、背景候補モデルを前記非特許文献３に記載の正規分布を用いた背景差分法の方法に基づき更新する。
【００８４】
Ｓ２１８：逐次背景更新処理部５は、静止箇所評価処理部４によるＳ２１９の過程で静止領域として判定された領域について前述の非特許文献３に記載の正規分布を用いた背景差分法の方法に基づき背景モデルと背景候補モデルとを更新する。更新された背景モデルは背景保持部３１（Ｓ２０４）に出力される。一方、更新された背景候補モデルは背景候補保持部４５（Ｓ２１５）に出力される。
【００８５】
Ｓ２１９：静止箇所評価処理部４は、Ｓ２１０の過程で作成した静止領域マスク画像とＳ２１４の過程で作成した対数微分による静止領域マスク画像との論理積をとることで静止領域を確定する。この過程においては収縮処理、膨張処理、ラベリング処理などを用いてノイズ除去や、領域のクラスタリングを組み合わせてもよい。
【００８６】
Ｓ２２０：Ｓ２１９の過程で得られた静止領域の位置、サイズ、領域、検出時刻などの情報が外部に出力される。具体的には静止領域検出装置１０に付帯されたディスプレイ等の提示装置によって前記情報が提示される。また、前記情報は、静止領域検出装置１０の内部または外部に具備された記録装置（ハードディスクなどの記録媒体）に格納されたデータベースに記録されるか、または遠隔地への警報などの情報としてネットワークを介して外部に送信される。
【００８７】
Ｓ２１１〜Ｓ２１４の処理は図３に例示された相関ベースの方法を適用した機能ブロック５１〜５７によって各々実行されるＳ３０１〜Ｓ３０４の処理に代えてもよい。図３に示された機能ブロック５１〜５４に係る処理は先に説明したハードウェア資源とインストール済みのソフトウェアとの協働によって実現できる。
【００８８】
Ｓ３０１：相関ベース現画像−背景差分処理部５１は、Ｓ２０２の過程で取得した画像とＳ２０４の取得した背景モデルを用いて相関ベースの差分方法の原理に基づき差分計算によって差分画像を出力する。
【００８９】
Ｓ３０２：相関ベース前景マスク作成処理部５２は、Ｓ３０１の過程で計算された差分画像に対して予め決めた閾値に基づく閾値処理を行い相関ベースの前景領域マスク画像を計算する。
【００９０】
Ｓ３０３：相関ベース静止時間評価処理部５３は、Ｓ３０２の過程で作成された相関ベースの前景領域マスク画像についてマスク領域を時系列に計数することにより静止時間を評価し、相関ベースの静止時間カウント画像を作成する。
【００９１】
Ｓ３０４：相関ベース静止箇所マスク作成処理部５４は、Ｓ３０３の過程で作成された相関ベースの静止時間カウント画像に対して予め決めた閾値に基づく閾値処理を行い相関ベースの静止領域マスク画像を作成する。
【００９２】
図４〜図７は、非特許文献３に記載の正規分布を用いた背景差分法の方法、及び本発明に係る方法において、静止領域（背景ではなく、前景が一定時間静止した領域）の出現のない窓際の映像２４時間分について、３０秒静止した箇所を静止領域として判断し、４０秒静止した箇所を背景に同化するようにして処理した結果を示す。
【００９３】
図４はＱＶＧＡで、およそ１０ｆｐｓで撮影した０時から２４時までの一日分の映像の一部のフレームを例示する。
【００９４】
図５及び図６は背景差分方法を用いて図４の画像を処理した結果を示した特性図である。縦軸は画像全体における静止領域として判断された領域の総ピクセル数であり、縦軸は時間軸である。
【００９５】
図５は非特許文献３に記載の正規分布を用いた背景差分法の方法のみを用いて図４の画像を処理した結果を示した特性図である。
【００９６】
図６は発明に係る静止領域検出装置１０において対数微分による差分方法を適用して図４の画像を処理した結果を示した特性図である。
【００９７】
図７は発明に係る静止領域検出装置１０において相関ベースの差分方法を適用して図４の画像を処理した結果を示した特性図である。ここで、相関ベースの差分は、画像を３２×２４の領域に分割し、１０×１０の注目領域とする間引き計算を行っている。
【００９８】
使用した映像は日照変動の様子のみを撮影した映像で、物体の遮りや、置き去り／持ち去りなどは映っていないものであるので、理想的には全フレームを背景として検出することが望ましい。静止領域として検出した画素とは、すなわち、日照変動を背景ではなく静止領域が出現したとして誤検出した画素であり、誤検出した画素数を示す図５〜図７によって、各方法の優劣の比較ができる。
【００９９】
図５の特性図からわかるように、非特許文献３に記載の正規分布を用いた背景差分法の方法のみを用いた場合は、日照変動などによる一時的な変化ではない変動が静止領域として誤検出される。
【０１００】
図６，図７の特性図と図５の特性図との比較から明らかなように本発明に係る静止領域検出装置１０によれば日照変動による誤検出を大幅に抑制できていることがわかる。
【０１０１】
図８〜図１１は本発明においてＱＶＧＡ、２０ｆｐｓのある映像を３０秒静止した箇所を静止領域として判断し、４０秒静止した箇所を背景に同化するようにして処理した結果である。図８に用いた映像を示す。ここで映像は撮影開始後７秒後に静止領域の置き去りがあり、２分後に持ち去りが発生し、静止領域の前を人が何度も往来する映像であり、背景のブラインドは風で揺らいでおり、撮影時刻は日没時である。カメラは安価なネットワークカメラを用いており、ＡＧＣ、ＡＷＢが適用されている。
【０１０２】
図９は非特許文献３に記載の背景のリアルタイム更新の方法で処理した結果を示した特性図及び画像である。
【０１０３】
図１０は発明に係る静止領域検出装置１０において対数微分による差分方法を用いた場合の処理結果を示した特性図及び画像である。
【０１０４】
図１１は発明に係る静止領域検出装置１０において相関ベースの差分方法を用いた場合の処理結果を示した特性図及び画像である。
【０１０５】
図９〜図１１では、静止領域が置かれた付近を正解エリアマスクとして、マスク内で検出された静止領域として判断された領域の総ピクセル数が正解値、マスク外で検出された静止領域として判断された領域の総ピクセル数が不正解値としてプロットされている。
【０１０６】
図９の特性図から明らかなように非特許文献３に係る背景のリアルタイム更新方法で処理した場合には若干の不正解領域（Ｗｒｏｎｇ）が発生しているが、図１０及び図１１に示されたように本発明に係る静止領域検出方法を用いた場合は、誤検出なく静止領域のみを検出できていることがわかる。
【０１０７】
従来の静止領域検出方法では、照明環境の変化、移動領域の一時的な遮り、定常ノイズ、カメラのＡＧＣ、ＡＷＢ、撮像素子のノイズなど複数の外乱の影響により誤検出が発生しやすいが、上述の説明から明らかなように発明の実施形態に係る静止領域検出装置１０によればこれらの様々な外乱要因のある条件においてロバストに静止領域の検出が可能となる。
【０１０８】
尚、本発明は、上述の実施形態に限定されるものでなく、静止領域検出装置１０を構成する各機能ブロック１〜５，３１〜３７，４１〜４７，５１〜５４に係る処理としてコンピュータを機能させるプログラムの態様としてもよい。前記プログラムはコンピュータ読み取り可能な既知の記録媒体に格納して提供またはネットワークを通じて提供することもできる。
【図面の簡単な説明】
【０１０９】
【図１】発明の実施形態に係る静止領域検出装置の概略構成を示したブロック図。
【図２】発明の実施形態に係る前景箇所抽出部の具体的なシステム構成を示したブロック図。
【図３】発明の実施形態に係る前景箇所抽出部に適用される相関ベースの差分法を実行するシステム構成を示したブロック図。
【図４】ＱＶＧＡで、およそ１０ｆｐｓで撮影した０時から２４時までの一日分の映像を一部のフレームを時系列的に例示した図。
【図５】非特許文献３に記載の正規分布を用いた背景差分法の方法のみを用いて図４の画像を処理した結果を示す特性図。
【図６】発明の実施形態に係る静止領域検出装置において対数微分による差分方法を適用して図４の画像を処理した結果を示す特性図。
【図７】発明の実施形態に係る静止領域検出装置において相関ベースの差分方法を適用して図４の画像を処理した結果を示す特性図。
【図８】撮影開始後７秒後に静止領域の置き去りがあり、２分後に持ち去りが発生するときの映像及び正解エリアマスクを表示した画像。
【図９】非特許文献３に記載の背景のリアルタイム更新の方法で処理した結果を示した特性図及び画像。
【図１０】発明の実施形態に係る静止領域検出装置において対数微分による差分方法を用いた場合の処理結果を示した特性図及び画像。
【図１１】発明の実施形態に係る静止領域検出装置において相関ベースの差分方法を用いた場合の処理結果を示した特性図及び画像。
【符号の説明】
【０１１０】
１…入力画像取得処理部
２…初期背景作成処理部（初期背景作成手段）
３…前景箇所抽出部（前景箇所抽出手段）
４…静止箇所評価部（静止箇所評価手段）
５…逐次背景更新部（逐次背景更新手段）
１０…静止領域検出装置
４１…対数微分現画像−背景差分処理部
４２…対数微分前景マスク作成処理部
４３…対数微分静止時間評価処理部
４４…対数微分静止箇所マスク作成処理部
５１…相関ベース現画像−背景差分処理部
５２…相関ベース前景マスク作成処理部
５３…相関ベース静止時間評価処理部
５４…相関ベース静止箇所マスク作成処理部
【図１】
2010015469.tif 000007
【図２】
2010015469.tif 000008
【図３】
2010015469.tif 000009
【図５】
2010015469.tif 000010
【図６】
2010015469.tif 000011
【図７】
2010015469.tif 000012
【図４】
2010015469.tif 000013
【図８】
2010015469.tif 000014
【図９】
2010015469.tif 000015
【図１０】
2010015469.tif 000016
【図１１】
2010015469.tif 000017