(57)【要約】      （修正有）【課題】監視対象の環境変化にも対応可能で、背景領域とその他の領域を精度よく切り分けることができる画像処理装置を提供する。【解決手段】画像処理装置１０は、監視対象を撮影した監視画像を取得する画像取得部１１０と、監視画像の各画素ごとに特徴量の値の出現度合いを表した背景モデルを記憶する記憶部１５０と、監視画像における注目画素に対して、注目画素の特徴量の値およびその注目画素の近傍画素の特徴量の値を算出する特徴量算出部１２０と、背景モデルにおける注目画素について、特徴量算出部１２０により算出された注目画素の特徴量の値及び近傍画素の特徴量の値に対応する出現度合いを高くするように、背景モデルを更新する背景モデル作成部１３０とを有する。【選択図】図２
2010003177.tif 000002
【特許請求の範囲】
【請求項１】
監視対象を撮影した監視画像から、移動物体を背景モデルを用いて検出する画像処理装置であって、
監視画像を取得する画像取得部と、
前記監視画像の各画素ごとに特徴量の値の出現度合いを表した背景モデルを記憶する記憶部と、
前記監視画像における注目画素に対して、当該注目画素の前記特徴量の値および当該注目画素の近傍画素の前記特徴量の値を算出する特徴量算出部と、
前記背景モデルにおける前記注目画素について、前記特徴量算出部により算出された前記注目画素の特徴量の値及び前記近傍画素の特徴量の値に対応する出現度合いを高くするように、前記背景モデルを更新する背景モデル作成部と、
を有することを特徴とした画像処理装置。
【請求項２】
さらに、前記監視画像から、監視対象内の設置物でない物体に対応する前景領域と非前景領域とを分離する分離部を有し、
前記背景モデル作成部は、前記非前景領域に含まれる画素の特徴量に対する第１の重みと前記前景領域に含まれる画素の特徴量に対する第２の重みを異ならせ、前記非前景領域に含まれる画素が前記注目画素である場合、前記背景モデルにおける前記注目画素の特徴量の値に対応する出現度合いを前記第１の重みに応じて高くし、前記前景領域に含まれる画素が前記注目画素である場合、前記背景モデルにおける前記注目画素の特徴量の値に対応する出現度合いを前記第２の重みに応じて高くするように前記背景モデルを更新する、請求項１に記載の画像処理装置。
【請求項３】
前記第１の重みを前記第２の重みよりも大きくする、請求項２に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、固定設置カメラにより取得された画像から背景と前景を切り分ける画像処理装置に関する。特に、屋外監視システムのように、取得された画像内に、植栽の揺れまたはカメラの揺れによる輝度変動が生じる環境下で使用される画像処理装置に関する。
【背景技術】
【０００２】
従来より、固定設置カメラの画像から移動物体を検出するために、その画像中の背景に相当する領域と前景に相当する領域を切り分ける手法として、取得された画像と背景画像との差分二値化処理を行う手法が知られている。しかしながら、単純な差分二値化処理では、植栽の揺れまたはカメラの揺れによって生じる輝度変動のために、背景領域と前景領域を正確に切り分けることは困難であった。例えば、カメラの撮影範囲内で植栽の揺れが生じる場合、植栽に相当する画素では、その揺れのために輝度変動が激しくなることがある。そのため、一定の二値化閾値を用いて差分二値化処理を行っても、画像が取得されるタイミングによって、本来背景領域に分類されるべき画素が前景に分類されてしまう可能性がある。そして、その輝度変動により誤って前景に分類された背景画素が特定領域に集中すると、その特定領域が移動物体として誤検出されてしまうおそれがあった。
【０００３】
一方、背景と前景を切り分ける手法には、上記のような差分二値化による方法の他に、画素値の統計的な特徴量を用いて、切り分けを行う方法がある。このような方法では、例えば、過去に観測され、蓄積された撮影領域内の各画素の輝度値などの統計情報に基づいて作成された、「背景モデル」と呼ばれるモデルを使用する。背景モデルは、画素ごとに、「この画素はこの輝度となることが多い若しくは少ない」ということを表す各輝度の出現度合いの組からなる。そして、背景と前景の切り分けを行う画像における注目画素の輝度値が、対応する背景モデルにおいて出現度合いが高ければ、その注目画素は背景であると判定され、出現度合いが低ければ、その注目画素は前景であると判定される。特に、特許文献１には、画素ごとに過去の観測結果に基づく出現頻度を保持することで、過去の植栽の揺れによる各画素が取り得る輝度値のバラエティを学習し、植栽の揺れを移動物体として誤検出することを抑制する方法が開示されている。
【０００４】
【特許文献１】特開平０５−０３５８７４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の方法では、背景モデルの作成に注目画素自身の輝度値のみを利用しているため、背景モデルの作成に必要な輝度情報を得るのに時間を要してしまう。そのため、背景モデルの更新が、例えば、風向きが変わるといった環境の変化を追従し切れず、適切な背景モデルを作成できない場合があった。また、係る方法は、背景と認定された画素についてのみ、その輝度値の出現頻度を利用するため、一度背景に相当する領域に含まれる画素を、背景でない領域に含まれる画素として誤認識してしまうと、以後、その画素は背景でない領域に含まれる画素としてずっと誤認識されることになる。
【０００６】
そこで、本発明の目的は、監視対象の環境変化にも対応可能で、背景領域とその他の領域を精度よく切り分けることができる画像処理装置を提供することにある。
【課題を解決するための手段】
【０００７】
かかる課題を解決するための本発明は、監視対象を撮影した監視画像から、移動物体を背景モデルを用いて検出する画像処理装置が提供される。係る画像処理装置は、監視画像を取得する画像取得部と、監視画像の各画素ごとに特徴量の値の出現度合いを表した背景モデルを記憶する記憶部と、監視画像における注目画素に対して、その注目画素の特徴量の値および注目画素の近傍画素の特徴量の値を算出する特徴量算出部と、背景モデルにおける注目画素について、特徴量算出部により算出された注目画素の特徴量の値及び近傍画素の特徴量の値に対応する出現度合いを高くするように、背景モデルを更新する背景モデル作成部とを有する。
【０００８】
また、本発明にかかる画像処理装置は、監視画像から、監視対象内の設置物でない物体に対応する前景領域と非前景領域とを分離する分離部をさらに有し、背景モデル作成部は、非前景領域に含まれる画素の特徴量に対する第１の重みと前景領域に含まれる画素の特徴量に対する第２の重みを異ならせ、非前景領域に含まれる画素が注目画素である場合、背景モデルにおける注目画素の特徴量の値に対応する出現度合いを第１の重みに応じて高くし、前景領域に含まれる画素が注目画素である場合、背景モデルにおける注目画素の特徴量の値に対応する出現度合いを第２の重みに応じて高くするように背景モデルを更新することが好ましい。
【０００９】
さらに、上記の場合において、第１の重みを第２の重みよりも大きくすることが好ましい。
【発明の効果】
【００１０】
本発明にかかる画像処理装置は、環境変化にも対応可能で、背景領域とその他の領域を精度よく切り分けることができるという格別の効果を奏する。
【発明を実施するための最良の形態】
【００１１】
以下、本発明にかかる画像処理装置を画像センサに適用し、その画像センサを用いた屋外用画像監視システムについて図を参照しつつ説明する。
本発明を適用した画像センサは、監視対象を撮影した監視画像と、監視画像の各画素における特徴量の値の出現度合いを表す背景モデルから、監視対象内に侵入した移動物体を検知する。特に、この画像センサは、背景モデルを作成または更新するために、注目画素の特徴量の値だけでなく、注目画素近傍の画素における特徴量の値を利用して、背景モデル作成に要する期間を短縮するとともに、背景モデルの正確性を向上させるものである。
【００１２】
図１は、本発明を適用した画像監視システム１０００の全体システム構成を示す図である。図１に示すように、画像監視システム１０００は、少なくとも一つの画像センサ１と、コントローラ３と警備センタ装置５とを有する。そして画像センサ１とコントローラ３とは、監視対象またはその近傍に設置され、信号線２により接続される。一方警備センタ装置５は、遠隔地にある警備センタに設置され、公衆電話回線４を介してコントローラ３と接続される。
そして画像センサ１が、監視対象内に侵入した移動物体を検知すると、移動物体を検知したことを示す検知信号を、信号線２を通じてコントローラ３へ送信する。コントローラ３は、画像センサ１から検知信号を受信すると、警備センタ装置５に電話を掛けて、検知信号及び画像センサ１または対応する監視対象若しくはコントローラ３の識別コードなどの情報を警備センタ装置５へ送信する。
【００１３】
図２に、画像センサ１の概略構成を示す。図２に示すように、画像センサ１は、画像処理装置１０と撮像装置２０とを有する。
【００１４】
撮像装置２０は、移動物体の検知を行う監視対象に設定された監視領域を撮影し、監視画像を取得する。そのために、撮像装置２０は、ＣＣＤ、Ｃ−ＭＯＳセンサなどの光電変換器で構成された２次元検出器と、その２次元検出器上に監視領域の像を結像する結像光学系などで構成される。また撮像装置２０は、ＮＴＳＣタイプのカメラでもよく、あるいはハイビジョン対応などの高解像度タイプのデジタルカメラでもよい。そして撮像装置２０は、一定の時間間隔（例えば１／５秒）ごとに撮影を行い、監視画像を取得する。監視画像は、各画素が例えば0〜255の輝度値を有するデジタル画像データとして表現される。撮像装置２０は、監視画像を取得する度に、その監視画像を画像処理装置１０へ送信する。
【００１５】
画像処理装置１０は、画像取得部１１０、特徴量算出部１２０、背景モデル作成部１３０、移動物体検出部１４０、記憶部１５０及び通信部１６０を有する。このうち、画像取得部１１０は、RS232C、USB2.0、SCSI-3、イーサネット（登録商標）などの規格に準じる通信インターフェース回路及びそれらを駆動するドライバソフトウェアなどで構成される。同様に、通信部１６０も、イーサネット（登録商標）、IEEE1394b、IEEE802.11などの通信規格に準じる通信インターフェース回路及びそれらを駆動するドライバソフトウェアなどで構成される。また、記憶部１５０は、半導体メモリ、磁気ディスク（ＨＤＤ）、またはＣＤ−ＲＯＭ、ＤＶＤ−ＲＡＭなどの光ディスクドライブおよびその記録媒体により構成される。そして特徴量算出部１２０、背景モデル作成部１３０及び移動物体検出部１４０は、ＣＰＵまたは数値演算プロセッサなどの演算装置上で動作するソフトウェアとして実装される。
以下、画像処理装置１０の各部について詳細に説明する。
【００１６】
画像取得部１１０は、撮像装置２０と接続される。そして撮像装置２０から受信した監視画像を、画像処理装置１０の各部へ出力する。
【００１７】
特徴量算出部１２０は、監視画像の各画素について、移動物体の検出、背景モデルの作成または更新に利用される特徴量を算出する。特徴量は、観測された画素の輝度値から一意に定められるものであればよく、例えば、輝度値そのもの、色情報、近傍画素間のエッジ強度、あるいはそれらの組み合わせとすることができる。本実施形態では、特徴量として画素の輝度値を用いた。
特徴量算出部１２０は、算出した特徴量を背景モデル作成部１３０及び移動物体検出部１４０へ出力する。
【００１８】
背景モデル作成部１３０は、背景モデルを作成または更新する。背景モデルは、監視対象に移動物体が存在しない場合における、監視画像の各画素の特徴量の統計的な傾向を表すモデルであり、各画素ごとの特徴量の値の出現頻度の組、すなわち出現度合いの組として構成される。
図３に、背景モデルのうちの一つの画素に対するモデルの例を示す。図３の横軸は特徴量の値（本実施形態では輝度値）を表し、縦軸は発生頻度を表す。そして図３に示すように、背景モデルのうちの一つの画素に対するモデル３００は、各特徴量値に対する発生頻度の組、すなわち、特徴量の値のヒストグラムとして表される。特に、その発生頻度が所定の閾値Th1以上である特徴量の値（以下、背景特徴量値という）が、監視画像中のその画素における背景に対応する特徴量の値であることを示す。したがって、ある時点において取得された監視画像中の注目画素における特徴量の値が、背景モデルの対応する画素における何れの背景特徴量値とも乖離していれば、その注目画素は、監視対象に侵入した移動物体など、背景以外の物が写っている可能性が高いと判断することができる。
なお、閾値Th1は、ノイズなどの影響により、本来背景でないものが写ったときの特徴量値が背景特徴量値とならないように定められる。そして閾値Th1は、背景モデル作成に使用される監視画像のフレーム数が大きくなるほど大きな値に設定することができるが、ノイズなどの影響を考慮して設定され、例えば、２以上の整数値とすることができる。
【００１９】
上記のように、背景モデルは、監視画像の各画素における特徴量の発生頻度に基づいている。そのため、背景モデル作成部１３０は、一定期間以上に渡って順次取得される複数の監視画像から得られる各画素の特徴量を用いて、背景モデルを作成または更新することができる。
【００２０】
ここで、監視画像中に写りこんだ植栽に対応する領域のように、環境要因によって位置または形状などが変化する領域に含まれる画素に注目する。例えば、静止状態において植栽の一部分に相当する画素を注目画素とする。このとき、風のために植栽が揺れると、注目画素には、植栽の別の部分あるいは植栽の影となっていた構造物が写ることになる。そのため、注目画素の特徴量は、植栽の揺れにしたがって、静止状態のときとは異なる値となる。しかし、風が止むと植栽は元の位置に戻り、監視画像上での形状も元に戻る。また、風の強さ、向きなどが変わらなければ、風が吹いている間に取得された複数の監視画像において、注目画素に写る物も、比較的同じようなものとなる。そのため、ある程度の期間にわたって注目画素の特徴量を観察すれば、注目画素の特徴量は、幾つかの値に偏ることになる。
この様子を図４（ａ）に示す。図４（ａ）は、植栽など、環境要因によって位置または形状などが変化する領域に含まれる画素の特徴量の発生頻度分布の一例を示す。図４（ａ）において、横軸は特徴量値を表し、縦軸は発生頻度を表す。そして各棒グラフは、特徴量値に対応する発生頻度を表す。図４（ａ）に示すように、特徴量の発生頻度は、特徴量値４０１と、特徴量値４０１よりも相対的に高い特徴量値４０２の何れかを中心として集中している。
【００２１】
一方、風の強さまたは向きが変化して、植栽の揺れ方が変化すれば、上記のような特徴量の発生傾向も変化する。そのため、余りに長期間にわたって観測された特徴量を用いて背景モデルを作成すると、正確な背景モデルを作成することはできなくなる。したがって、背景モデルの作成に使用する特徴量は、直近に取得された監視画像から得られるものに限定することが好ましい。
しかし、直近の一定期間に取得された監視画像の注目画素のみから得られる特徴量だけを用いて背景モデルを作成すると、使用可能な特徴量の数が少ないために、上記のような特徴量の発生傾向を正確に反映することができなくなる。この様子を図４（ｂ）に示す。図４（ｂ）は、注目画素のみの特徴量を一定期間にわたって取得した場合の発生頻度分布の一例を示す。図４（ｂ）において、横軸は特徴量値を表し、縦軸は発生頻度を表す。そして各棒グラフは、特徴量値に対応する発生頻度を表す。図４（ｂ）に示すように、特徴量の値は、植栽の揺れなどによってばらつくため、図４（ａ）に示すような傾向を再現できないことが分かる。特に、ノイズによる悪影響を避けるために、所定の閾値Th1以下の発生頻度しかない特徴量値を背景によるものではないと判定すれば、本来、背景に対応する特徴量値もノイズと扱われてしまうことになる。
【００２２】
一方、注目画素の近傍画素も、当然ながら、注目画素に写っている構造と比較的近い構造が写っている可能性が高い。そのため、背景モデルの作成または更新の際、近傍画素の特徴量も考慮すれば、限られた数の監視画像からでも、注目画素における特徴量の発生傾向を再現するのに十分な数の特徴量を得ることができる。この様子を図４（ｃ）に示す。図４（ｃ）は、注目画素の特徴量だけでなく、その近傍画素の特徴量を一定期間にわたって取得した場合の発生頻度分布の一例を示す。図４（ｃ）において、横軸は特徴量値を表し、縦軸は発生頻度を表す。そして各棒グラフは、特徴量値に対応する発生頻度を表す。図４（ｃ）に示すように、特徴量の値の発生頻度の傾向が、図４（ａ）に示すような傾向を再現できていることが分かる。
そこで、背景モデル作成部１３０は、注目画素の特徴量だけでなく、注目画素の近傍画素の特徴量も考慮して背景モデルを作成または更新する。
【００２３】
図５のフローチャートを参照しつつ、背景モデル作成部１３０による、背景モデルを更新する処理について説明する。
まず、背景モデル作成部１３０は、特徴量算出部１２０から監視画像の各画素の特徴量を取得し、各画素の特徴量値に取得時間を関連付けて記憶部１５０に記憶する（ステップＳ１０１）。次に、背景モデル作成部１３０は、各画素のうち、何れかの画素を注目画素に設定する（ステップＳ１０２）。そして背景モデル作成部１３０は、背景モデルのうちの、注目画素に対応する特徴量の発生頻度の情報、すなわち特徴量のヒストグラムを記憶部１５０から読み出す（ステップＳ１０３）。そして背景モデル作成部１３０は、注目画素の特徴量値に相当する発生頻度を１加算する。同様に、背景モデル作成部１３０は、注目画素の各近傍画素の特徴量値に相当する発生頻度を、それぞれ１加算する（ステップＳ１０４）。なお、本実施形態では、注目画素の近傍画素として、８近傍画素（注目画素に隣接する全ての画素）を使用することとした。しかし、注目画素の近傍画素として、別の近傍画素の組を用いてもよい。例えば、注目画素の近傍画素として、上下左右の４近傍画素または２４近傍画素（注目画素から２画素以内の距離に含まれる全ての画素）を使用してもよい。
【００２４】
次に、背景モデル作成部１３０は、注目画素の特徴量のヒストグラムから、所定時間よりも前に取得された注目画素及びその近傍画素の特徴量値に相当する発生頻度をそれぞれ１減算する（ステップＳ１０５）。なお、所定時間は、背景モデルが正確に監視対象内の構造を表すことができる特徴量値の数を確保しつつ、風向き、雲の動き、照明の点灯／消灯など監視対象の環境変動に対応して背景モデルを更新するのに十分な期間に設定される。本実施形態では、所定時間を５０フレーム分の監視画像を取得する時間に設定した。
その後、背景モデル作成部１３０は、更新されたヒストグラムを記憶部１５０に記憶する。そして背景モデル作成部１３０は、注目画素に設定されていない画素が存在するか否か調べる（ステップＳ１０６）。そして注目画素に設定されていない画素が存在すれば、背景モデル作成部１３０は、制御をステップＳ１０２へ戻し、ステップＳ１０２〜Ｓ１０６の処理を繰り返す。一方、ステップＳ１０６において、注目画素に設定されていない画素がなく、全ての画素についてステップＳ１０２〜Ｓ１０５の処理が終了していれば、背景モデル作成部１３０は、上記の所定時間よりも前に取得された各画素の特徴量を記憶部１５０から消去する（ステップＳ１０７）。そして背景モデルの更新処理が終了する。
なお、画像センサ１の起動時など、背景モデルを新規に作成する場合も、背景モデル作成部１３０は、上記の更新処理と同様の手順を実行する。ただし、上記の所定時間分に相当する特徴量値が蓄積されるまで、ステップＳ１０５及びＳ１０７の処理は省略される。
【００２５】
また、上記のステップＳ１０４及びＳ１０５において、注目画素の特徴量と近傍画素の特徴量とで異なる重みを与え、その重みを、特徴量値の出現頻度と加減算するようにしてもよい。この場合、近傍画素の特徴量が背景モデルに与える影響が過剰になりすぎないように、近傍画素の特徴量についての重みを、注目画素の特徴量についての重みよりも小さくすることが好ましい。例えば、注目画素の特徴量値に対する重みを上記と同様に１とし、近傍画素の特徴量値に対応する重みを0.5としてもよい。さらに、注目画素から近傍画素までの距離が離れるほど、出現頻度に加減算する重み値を小さくすることが好ましい。
【００２６】
移動物体検出部１４０は、監視画像及び背景モデルを用いて、監視対象内に侵入した移動物体を検知する。そのために、移動物体検出部１４０は、移動物体画素抽出手段１４１と、ラベリング手段１４２と、属性算出手段１４３と、判定手段１４４とを有する。
【００２７】
移動物体画素抽出手段１４１は、監視画像と背景モデルから、移動物体に対応する可能性の高い画素を移動物体候補画素として抽出する。
図６を参照しつつ、移動物体候補画素をどのように抽出するかについて説明する。図６は、注目画素における特徴量値６０１と、背景モデルの関係を示す。図６において、横軸は特徴量の値を示し、縦軸は、出現頻度を表す。そして特徴量値６１１〜６１６に対応する各棒グラフは、それら特徴量値の出現頻度を表す。図６に示すように、特徴量値６１１〜６１３及び６１６の出現頻度が上記の閾値Th1を上回っているので、特徴量値６１１〜６１３及び６１６が、背景特徴量値となる。
注目画素の特徴量６０１が、何れの背景特徴量値とも大きく離れていれば、注目画素は背景ではないと考えられる。そこで、注目画素の特徴量６０１と、背景特徴量値のうちの最も近い値６１６との差の絶対値ｓが所定の閾値Th2よりも大きい場合、注目画素は移動物体候補画素となる。なお、閾値Th2は、監視対象、撮像装置２０に用いられるカメラの特性及び特徴量の種類に応じて、実験または経験的に定めることができる。あるいは、閾値Th2を、監視画像が取得される度、あるいは一定時間ごとに、過去所定時間内に取得された監視画像における特徴量変動の度合いに応じて決定してもよい。例えば、閾値Th2を、直近に取得された５０フレーム分の監視画像において、連続して取得された二つの監視画像の対応画素間の輝度値差を求め、その絶対値のメディアン値を定数倍（例えば３倍）した値とすることができる。
【００２８】
図７のフローチャートを参照しつつ、移動物体画素抽出手段１４１の動作を説明する。
まず、移動物体画素抽出手段１４１は、特徴量算出部１２０から監視画像の各画素の特徴量を取得する（ステップＳ２０１）。次に、移動物体画素抽出手段１４１は、各画素のうち、何れかの画素を注目画素に設定する（ステップＳ２０２）。
注目画素を設定すると、移動物体画素抽出手段１４１は、背景モデルから、注目画素に対応する特徴量のヒストグラムを選択する（ステップＳ２０３）。そして移動物体画素抽出手段１４１は、そのヒストグラムから、出現頻度が閾値Th1よりも大きい特徴量値を全て求め、その特徴量値を背景特徴量値とする（ステップＳ２０４）。
【００２９】
次に、移動物体画素抽出手段１４１は、注目画素の特徴量値と背景特徴量値との差の絶対値のうち、最小となる値ｓを算出する（ステップＳ２０５）。そして、移動物体画素抽出手段１４１は、その値ｓが閾値Th2より大きいか否か判定する（ステップＳ２０６）。値ｓが閾値Th2よりも大きければ、移動物体画素抽出手段１４１は、注目画素を移動物体候補画素と判定する（ステップＳ２０７）。一方、ステップＳ２０６において、値ｓが閾値Th2以下であれば、移動物体画素抽出手段１４１は、注目画素を背景に相当する画素と判定する（ステップＳ２０８）。
【００３０】
その後、移動物体画素抽出手段１４１は、注目画素に設定されていない画素が存在するか否か調べる（ステップＳ２０９）。そして注目画素に設定されていない画素が存在すれば、移動物体画素抽出手段１４１は、制御をステップＳ２０２へ戻し、ステップＳ２０２〜Ｓ２０９の処理を繰り返す。一方、ステップＳ２０９において、注目画素に設定されていない画素がなく、全ての画素についてステップＳ２０２〜Ｓ２０８の処理が終了していれば、移動物体画素抽出手段１４１は、移動物体候補画素抽出処理を終了する。
移動物体画素抽出手段１４１は、抽出した移動物体候補画素を示す情報を、ラベリング手段１４２へ出力する。
【００３１】
ラベリング手段１４２は、移動物体画素抽出手段１４１により抽出された移動物体候補画素に対してラベリング処理を行い、互いに連結した移動物体候補画素群を一つの移動物体候補領域とする。そしてラベリング手段１４２は、互いに独立した移動物体候補領域、すなわち、互いに連結されない移動物体候補領域ごとに異なるラベルを付す。なお、ラベリング処理は公知の技術であるので、ここでは詳細な説明は省略する。そしてラベリング手段１４２は、ラベルを付された各移動物体候補領域を示す情報を属性算出手段１４３へ出力する。
【００３２】
属性算出手段１４３は、各移動物体候補領域について、移動物体らしさを表す属性情報を算出する。その属性情報には、例えば、移動物体候補領域に含まれる画素数（あるいは移動物体候補領域の面積）、移動物体候補領域の縦横比、輝度分散値などのテクスチャ情報若しくは色情報などが含まれる。
属性算出手段１４３は、移動物体候補領域ごとに、面積、すなわち、その領域に含まれる画素数を算出する。そして、属性算出手段１４３は、算出した面積が予め設定した面積閾値以下であれば、その領域は移動物体に相当するものではなく、ノイズにより生じた領域と判断して削除し、以降の処理対象としない。
一方、属性算出手段１４３は、算出した面積が検出対象として想定される移動物体の大きさに相当する面積閾値よりも大きければ、各種属性情報を算出し、その移動物体候補領域に関連付けて判定手段１４４へ出力する。なお、本実施形態においては、様々な公知の属性情報を利用でき、その算出方法も公知であるので、属性情報の算出方法の詳細な説明は省略する。
【００３３】
判定手段１４４は、各移動物体候補領域に関連付けられた属性情報が、移動物体と考えられる所定の条件を満たすか否か判定する。そしてそれら属性情報が所定の条件を満たす場合、判定手段１４４は、対応する移動物体候補領域が監視対象に侵入した移動物体に相当すると判定する。そして判定手段１４４は、通信部１６０を介して、移動物体を検知したことを示す移動物体検知信号をコントローラ３へ出力する。
なお、判定手段１４４は、属性情報が所定の条件を満たすか否か判定するために、様々な公知の方法を利用することができる。例えば、判定手段１４４は、特開２００１−２４３４７５号公報に開示されるように、「移動物体らしさ」を表す類似度をファジー理論のメンバシップ関数を用いて算出し、得られた類似度が所定の閾値以上となれば、属性情報が所定の条件を満たすと判定してもよい。あるいは判定手段１４４は、そのような類似度と、他の基準により求められた特徴量に基づいて、属性情報が所定の条件を満たすか否かを判定してもよい。
【００３４】
図８のフローチャートを参照しつつ、移動物体検出部１４０による移動物体検出処理の全体動作を示す。なお、移動物体検出部１４０は、背景モデル作成部１３０と別個に動作する。そのため、画像処理装置１０は、監視画像を取得する度に、移動物体検出処理と背景モデル更新処理のどちらか一方を先に実行してもよく、あるいは、移動物体検出処理と背景モデル更新処理とを並列に実行してもよい。
【００３５】
移動物体検出部１４０は、画像取得部１１０を介して撮像装置２０から監視画像を取得する（ステップＳ３０１）。そして移動物体検出部１４０は、記憶部１５０から背景モデルを読み込む（ステップＳ３０２）。次に、移動物体検出部１４０は、移動物体画素抽出手段１４１により、監視画像と背景モデルから、移動物体候補画素を抽出する（ステップＳ３０３）。なお、移動物体候補画素抽出処理の詳細については、移動物体画素抽出手段１４１の説明において述べたとおりである。
移動物体候補画素が抽出されると、移動物体検出部１４０は、ラベリング手段１４２により、ラベリング処理を実行して、移動物体候補領域を求める（ステップＳ３０４）。
【００３６】
次に、移動物体検出部１４０は、各移動物体候補領域のうち、何れかの領域を注目領域に設定する（ステップＳ３０５）。注目領域を設定すると、移動物体検出部１４０は、属性情報算出手段１４３により、その注目領域の属性情報を算出する（ステップＳ３０６）。そして移動物体検出部１４０は、判定手段１４４により、算出された属性情報が移動物体としての条件を満たすか否か判定する（ステップＳ３０７）。それら属性情報が、移動物体としての条件を満たす場合、移動物体検出部１４０は、通信部１６０を介して、コントローラ３へ移動物体検知信号を送信する（ステップＳ３０８）。その際、移動物体検出部１４０は、上記のように、画像センサ１の識別コードなどもコントローラ３へ送信する。一方、ステップＳ３０７において、算出された属性情報が移動物体としての条件を満たさない場合、移動物体検出部１４０は、注目領域に設定されていない移動物体候補領域が存在するか否か調べる（ステップＳ３０９）。そして注目領域に設定されていない移動物体候補領域が存在すれば、移動物体検出部１４０は、制御をステップＳ３０５へ戻し、ステップＳ３０５〜Ｓ３０９の処理を繰り返す。一方、ステップＳ３０９において、注目領域に設定されていない移動物体候補領域がなく、全ての移動物体候補領域についてステップＳ３０５〜Ｓ３０８の処理が終了していれば、移動物体検出部１４０は、移動物体検出処理を終了する。
なお、複数の移動物体が監視画像に含まれている場合もあるので、ステップＳ３０８の処理の後、直ちに移動物体抽出処理を終了せず、ステップＳ３０９の処理に移行してもよい。
【００３７】
記憶部１５０は、画像処理装置１０の動作を制御するソフトウェア、パラメータ、画像処理装置１０の各種処理で使用される情報、背景モデルなどを記憶する。そして、記憶部１５０は、画像処理装置１０の各部からの要求に応じて、必要な情報を提供する。
【００３８】
通信部１６０は、画像処理装置１０によって移動物体が検知されたことを示す検知信号を、画像センサ１の識別コードまたは／及び画像センサ１が設置された監視対象の識別コードとともにコントローラ３へ出力する。
【００３９】
以上説明してきたように、本発明を適用した画像センサは、移動物体を背景と切り分けるために利用される背景モデルを作成または更新するために、注目画素の特徴量値だけでなく、注目画素近傍の画素における特徴量値を参照して、注目画素の特徴量の出現頻度を計算する。そのため、かかる画像センサは、注目画素の特徴量値の出現頻度だけを調べて背景モデルを作成するよりも、少ないフレーム数の監視画像から背景モデルを作成でき、かつ短期間で背景モデルを更新できる。したがって、かかる画像センサは、監視対象の環境変動が生じても、その変動に応じた背景モデルを作成し、移動物体の検出に使用することが可能となる。したがって、かかる画像センサは、このような背景モデルを利用することにより、背景の一部を移動物体と誤認識する可能性を低減し、移動物体を精度よく検出することができる。
【００４０】
次に、本発明の別の実施形態に係る画像センサについて説明する。本発明の別の実施形態に係る画像センサは、監視画像から、監視対象内の設置物でない物体に対応する領域（以下、前景領域という）と背景である可能性が高い領域（以下、非前景領域という）とを分離し、背景モデルの作成または更新の際、非前景領域に属する画素の特徴量に関する重みを、前景領域に属する画素の特徴量に関する重みよりも大きくして、その重みを特徴量のヒストグラムに加減算するものである。
【００４１】
図９に、本発明の別の実施形態に係る画像センサ６を示す。かかる画像センサ６は、上記の実施形態に係る画像センサ１と比較して、画像処理装置１０が分離部１７０を有する点でのみ異なる。そこで、以下では、画像センサ６に関して、画像センサ１と異なる点についてのみ説明する。
【００４２】
分離部１７０は、監視画像を前景領域と非前景領域に区分する。そのために、分離部１７０は、既知の様々な手法を利用することができる。例えば、予め、監視対象に侵入した移動物体が存在しないときに撮影した監視画像から作成される背景画像を準備し、記憶部１５０に記憶しておく。そして分離部１７０は、新たに監視画像が取得されると、その監視画像と背景画像の差分を行って各画素ごとに差分絶対値を求め、その差分画像の各画素のうち、差分絶対値が所定の二値化閾値よりも大きい画素を前景領域とし、差分絶対値がその二値化閾値以下の画素を非前景領域とする。また、移動物体の位置は時間的に変化する可能性が高いと考えられるので、分離部１７０は、監視画像と背景画像の差分を行う代わりに、連続して取得される複数の監視画像間でフレーム間差分を行って、各画素ごとに差分絶対値を求めてもよい。
あるいは、分離部１７０は、移動物体画素抽出手段１４１による移動物体候補画素抽出処理と同様の処理を行って、前景領域と非前景領域を区分してもよい。さらに、分離部１７０は、移動物体候補画素抽出処理に加えて、ラベリング手段１４２による移動物体候補領域抽出処理と同様の処理を行って、前景領域と非前景領域を区分してもよい。この場合、分離部１７０は、監視画像中の注目画素における特徴量値と背景特徴量値の差の絶対値の最小値ｓが上記の閾値Th2より大きければ、その注目画素を前景領域とし、差の絶対値の最小値ｓが上記の閾値Th2以下であれば、その注目画素を非前景領域とする。またこの場合、分離部１７０は、閾値Th2の代わりに別の閾値を用いてもよい。
分離部１７０は、前景領域と非前景領域を示す情報を背景モデル作成部１３０へ送信する。
【００４３】
背景モデル作成部１３０は、前景領域に属する画素についての重みをK1、非前景領域に属する画素についての重みをK2とする。そして、背景モデル作成部１３０は、上記の図５に示した背景モデル更新処理のフローチャートのステップＳ１０４において、注目画素の特徴量値に対応する出現頻度に、注目画素またはその近傍画素が前景領域に含まれていればK1、注目画素またはその近傍画素が非前景領域に含まれていればK2を加算する。同様に、背景モデル作成部１３０は、背景モデル更新処理のフローチャートのステップＳ１０５において、注目画素の特徴量値に対応する出現頻度から、注目画素またはその近傍画素が前景領域に含まれていればK1、注目画素またはその近傍画素が非前景領域に含まれていればK2を減算する。
【００４４】
前景領域に含まれる画素についての重みK1は、非前景領域に含まれる画素についての重みK2よりも小さくし、例えば、K1=0.5、K2=1に設定することができる。これにより、前景領域に含まれると判断された画素の特徴量値は、非前景領域に含まれると判断された画素の特徴量値よりも背景モデルに反映され難くなる。そのため、移動物体検出部１４０は、前景領域に含まれると判断された画素が移動物体に相当する場合、当該画素を移動物体候補画素として確実に抽出することができる。一方、非前景領域に含まれると判断された画素の特徴量値は、相対的に短期間で背景モデルに反映される。そのため、非前景領域に含まれると判断された画素が移動物体でない場合に、移動物体検出部１４０が当該画素を一時的に移動物体候補画素として誤抽出したとしても、時間経過とともに、当該画素を移動物体候補画素として誤抽出し難くなる。
【００４５】
なお、K1の値及びK2の値は、上記の例に限られない。K1の値をK2の値に近づけるほど、前景領域に含まれる画素の特徴量値が背景モデルに反映され易くなる。そのため、前景領域に含まれる画素が移動物体でない場合に、移動物体検出部１４０が当該画素を一時的に移動物体候補画素として誤抽出したとしても、比較的短い期間のうちに、当該画素を移動物体候補画素として誤抽出し難くなる。
一方、K1の値とK2の値の差を大きくするほど、検出すべき移動物体が監視対象内で静止している場合でも、移動物体に相当する領域が前景領域として区分されている限り、前景領域に含まれる画素を誤って移動物体候補画素として誤抽出する可能性は低くなる。
【００４６】
なお、この実施形態においても、画像センサ１に関して説明したように、背景モデルの作成または更新の際、注目画素の特徴量値に対する重みを、その近傍画素の特徴量値に対する重みよりも大きくしてもよい。そして背景モデル作成部１３０は、その重みを、注目画素の特徴量値に対応する出現頻度と加減算するようにしてもよい。
さらに、上記の実施形態では、近傍画素の重みを、その近傍画素が前景か非前景かで異ならせているが、それに代えて、近傍画素の重みを注目画素が前景か非前景かで異ならせてもよい。
【００４７】
以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、上記の実施形態では、背景モデルは、特徴量値の出現頻度により表した。しかし、背景モデルを、各特徴量値の出現頻度を、全ての特徴量値の出現頻度の合計で除して正規化した、各特徴量値の出現確率により表してもよい。さらに、背景モデルを、離散的な特徴量値の出現頻度に基づいたものとする代わりに、背景モデルを、特徴量値の発生を確率分布で表したものとしてもよい。このような背景モデルを用いる場合、背景モデルの作成または更新について、例えば、島田、有田、谷口、「混合ガウス分布による動的背景モデルの分布数増減法」、MIRU2006、2006年、に開示されているオンラインＥＭ法を用いた背景モデルの作成または更新方法を、近傍画素の特徴量値を利用するよう拡張すればよい。
【００４８】
すなわち、背景モデルの各画素について、各特徴量が発生する確率（モデル）を混合正規分布で表すものとする。つまり、ある画素が背景（Ｂ）であるときに、時刻tにて特徴量xtが取得される確率P(xt|B)は、以下に示す（１）式で記述できる。
【数１】
2010003177.tif 000003
ここで、N(xt;mi,σi2)は、平均mi、分散σi2である正規分布において特徴量xtが得られる確率密度を表す。またwiは、添え字iについて、1からKまでの総和が1という条件を満たす重み係数である。Kは一つの画素に用いる正規分布の数である。
ここで、新たな特徴量が得られたとき、重み係数wiを、以下に示す（２）式に従って更新する。
【数２】
2010003177.tif 000004
ここで、M0iは0または1の何れかの値を取る変数である。そして、wi/σi2の値が大きい順にwiの和を求めて、所定の値を超えない添え字iに対応するN(xt;mi,σi2)について、miとxtとの差の絶対値が標準偏差σiに対して一定の範囲にあるならば、変数M0iを1に設定し、そうでないならば0に設定する。なお、更新後においても、wi(i=1,2,...,K)の総和が1となるように更新される。また、αは学習率と呼ばれる設計パラメータであり、この値を大きくするほど新たに取得された特徴量の値を背景モデルに反映させ易くなる。
【００４９】
次に、変数M0iの値が1であるN(xt;mi,σi2)について、新たに取得された特徴量xtを用いて、平均mi、分散σi2を、それぞれ下記の（３）、（４）式にしたがって更新する。
【数３】
2010003177.tif 000005
ここで、βは、N(xt;mi,σi2)にαを乗算したものである。
【００５０】
本発明においては、まず更新対象の注目画素の特徴量を上記のxtとして、（２）式〜（４）式に従って各変数を更新する。同様に、注目画素の近傍画素の特徴量を上記のxtとして、（２）式〜（４）式に従って各変数を更新する。更新対象の注目画素及びその近傍画素の特徴量に基づいて上記の処理が終了すると、（１）式により、その注目画素のモデルが更新されたことになる。
なお、近傍画素の特徴量を用いずに背景モデルの各画素のモデルを更新する手順が前述の非特許文献「混合ガウス分布による動的背景モデルの分布数増減法」に記載されているので、背景モデルを更新する詳細な手順については、その文献に開示された手順に従えばよい。また、確率分布により表された背景モデルを利用して移動物体候補画素と背景画素を識別する詳細な手順についても、その文献に開示された手順に従えばよいので、ここではその詳細な説明は省略する。
【００５１】
なお、注目画素の特徴量に対する学習率と近傍画素の特徴量に対する学習率を、それぞれα1、α2として異ならせてもよい。この際には、近傍画素の特徴量が背景モデルに与える影響が過剰になり過ぎないように、α1>α2とすることが好ましい。さらに、注目画素から近傍画素までの距離が離れるほど、学習率を小さくすることが好ましい。
また、上述した別の実施形態と同様に、注目画素や近傍画素が前景領域に含まれるか非前景領域に含まれるかに応じて、学習率αを変えることもできる。例えば、その画素が前景領域に含まれる場合の学習率をα3、非前景領域に含まれる場合の学習率をα4とすると、α3<α4とすることが好ましい。このように学習率を設定することで、前景領域に含まれると判断された画素の特徴量値は、非前景領域に含まれると判断された画素の特徴量値よりも、背景モデルに反映され難くなる。
さらには、上記のように、近傍画素の特徴量に対する学習率を、その近傍画素が前景領域に含まれるか非前景領域に含まれるかで決めるのではなく、注目画素が前景領域に含まれるか非前景領域に含まれるかで決定しても同様の効果が得られる。
【００５２】
また、背景モデルの作成または更新の際、監視画像中の画素の位置に応じて、近傍画素の特徴量値に対する重みを変えてもよい。例えば、監視対象において、撮像装置２０からの距離が遠い領域ほど、背景に相当する画素の特徴量値は、植栽の揺れなどの影響を受け難くなる。そのため、そのような遠方に相当する監視画像中の画素については、近傍画素の特徴量値を参酌する必要性が低下する。そこで、近傍画素の特徴量値に対する重みを少なくすることが好ましい。例えば、撮像装置２０が建物の天井または壁の上方などに取り付けられ、上方から下方へ向けて撮影する場合、監視画像では、上側の領域ほど遠方に対応することになる。そこでこのような場合には、背景モデル作成部１３０は、監視画像内の上側の画素ほど、近傍画素の特徴量値に対する重みを小さくする。
【００５３】
以上のように、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。
【図面の簡単な説明】
【００５４】
【図１】本発明を適用した画像センサを利用する画像監視システムの全体システム構成を示す図である。
【図２】本発明の一実施形態にかかる画像センサの概略構成図である。
【図３】背景モデルのうちの一つの画素に対するモデルの例を示す図である。
【図４】（ａ）は、環境要因によって位置または形状などが変化する領域に含まれる画素の特徴量の発生頻度分布の一例を示し、（ｂ）は、その画素の特徴量のみを一定期間にわたって観測した場合の発生頻度の一例を示し、（ｃ）は、その画素の特徴量及び近傍画素の特徴量をその一定期間にわたって観測した場合の発生頻度の一例を示す。
【図５】背景モデルを更新する動作を示すフローチャートである。
【図６】注目画素における特徴量値と、背景モデルの関係を示す図である。
【図７】移動物体候補画素を抽出する動作を示すフローチャートである。
【図８】移動物体検出処理の動作を示すフローチャートである。
【図９】本発明の別の実施形態にかかる画像センサの概略構成図である。
【符号の説明】
【００５５】
１、６    画像センサ
２    通信線
３    コントローラ
４    公衆電話回線
５    警備センタ装置
１０    画像処理装置
２０    撮像装置
１１０    画像取得部
１２０    特徴量算出部
１３０    背景モデル作成部
１４０    移動物体検出部
１５０    記憶部
１６０    通信部
１７０    分離部
【図１】
2010003177.tif 000006
【図２】
2010003177.tif 000007
【図３】
2010003177.tif 000008
【図４】
2010003177.tif 000009
【図５】
2010003177.tif 000010
【図６】
2010003177.tif 000011
【図７】
2010003177.tif 000012
【図８】
2010003177.tif 000013
【図９】
2010003177.tif 000014