(57)【要約】【課題】画面全体からゆらぎ領域を確実に検出でき、監視対象とする物体を精度良く検知することが可能な画像処理装置、画像処理方法及びプログラムを提供する。【解決手段】一の画像の画像データと、一の画像より過去に撮影された過去画像の画像データの差分を算出する差分処理部と、差分の時間変化を算出し、時間変化の周期性に基づいて、自然界のゆらぎを撮影した部分に相当する画面内のゆらぎ領域と、ゆらぎ領域ではない非ゆらぎ領域を抽出するゆらぎ検出部と、ゆらぎ領域と非ゆらぎ領域に応じて検知精度を変化させて画面内を移動する物体を検知する物体検知部とを備える。【選択図】図１
2011123562.tif 000002
【特許請求の範囲】
【請求項１】
一の画像の画像データと、前記一の画像より過去に撮影された過去画像の画像データの差分を算出する差分処理部と、
前記差分の時間変化を算出し、前記時間変化の周期性に基づいて、自然界のゆらぎを撮影した部分に相当する画面内のゆらぎ領域と、前記ゆらぎ領域ではない非ゆらぎ領域を抽出するゆらぎ検出部と、
前記ゆらぎ領域と前記非ゆらぎ領域に応じて検知精度を変化させて前記画面内を移動する物体を検知する物体検知部と
を備える、画像処理装置。
【請求項２】
前記差分処理部は、画素単位の前記差分を算出し、
前記ゆらぎ検出部は、
前記画素単位の前記差分の周期性を算出し、自然界のゆらぎを撮影した部分に相当するゆらぎ画素を検出するゆらぎ画素判定部と、
前記ゆらぎ画素に対して重みづけ処理をするゆらぎ重みづけ部と、
前記ゆらぎ画素の重みづけに応じて、前記画面内の前記ゆらぎ領域と前記非ゆらぎ領域を抽出するゆらぎ領域判定部と
を有する、請求項１に記載の画像処理装置。
【請求項３】
前記ゆらぎ画素判定部は、
前記画素単位の画素値の差分が単位時間当たり第一の閾値以上である回数、及び前記画素単位の画素値の差分が単位時間当たり前記第一の閾値より低い第二の閾値以上である回数に基づいて、前記ゆらぎ画素を検出する、請求項２に記載の画像処理装置。
【請求項４】
前記物体検知部は、前記ゆらぎ領域よりも前記非ゆらぎ領域において前記画面内を移動する物体を検知し易く設定されている、請求項１〜３のいずれか１項に記載の画像処理装置。
【請求項５】
差分処理部が、一の画像の画像データと、前記一の画像より過去に撮影された過去画像の画像データの差分を算出するステップと、
ゆらぎ検出部が、前記差分の時間変化を算出し、前記時間変化の周期性に基づいて、自然界のゆらぎを撮影した部分に相当する画面内のゆらぎ領域と、前記ゆらぎ領域ではない非ゆらぎ領域を抽出するステップと、
物体検知部が、前記ゆらぎ領域と前記非ゆらぎ領域に応じて検知精度を変化させて前記画面内を移動する物体を検知するステップと
を備える、画像処理方法。
【請求項６】
一の画像の画像データと、前記一の画像より過去に撮影された過去画像の画像データの差分を算出する手段、
前記差分の時間変化を算出し、前記時間変化の周期性に基づいて、自然界のゆらぎを撮影した部分に相当する画面内のゆらぎ領域と、前記ゆらぎ領域ではない非ゆらぎ領域を抽出する手段、
前記ゆらぎ領域と前記非ゆらぎ領域に応じて検知精度を変化させて前記画面内を移動する物体を検知する手段
としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
監視カメラ等の撮像装置を用いて不審者などを監視する場合、常にモニターを注視して不審者を探すことは監視者に多大な負担をかける。そこで、監視カメラ等を使用した監視において、画像処理技術の一つである、映像内の動いている物体（以下、「動体」ともいう。）を検出する動体検知の技術が用いられる。
【０００３】
動体検知は、映像内に動体が現れると変化する画像中の動体領域の輝度値を利用する。即ち、映像内で輝度値に差異が生じた領域を差異領域として検出することで動体の検知をする。動体検知のため画像の差異領域を検出する技術としては、（１）フレーム間差分を用いた差異検知法と、（２）背景画像を用いた背景差分法がある。
【０００４】
フレーム間差分を用いた差異検知法では、現在の時刻に撮影された画像と、単位時間前に撮影された画像との輝度値の差分を計算することで差異を検出する。そして、輝度値に差異が生じた領域に動体が存在すると判定する。一方、背景画像を用いた背景差分法では、予め動体の映っていない画像を背景画像として記録しておく。そして、現在の時刻に撮影された画像と、背景画像を比較することで、動体領域を検知する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−１０７４５７号公報
【特許文献２】特開２０００−３２２５８１号公報
【特許文献３】特開平９−５０５８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、図１３に示すように、従来の動体検知では、映像５０内において、実際に監視対象としたい人５４や車両等だけでなく、木のゆらぎ５２や波のゆれなどの自然界に存在する外乱（ゆらぎ）も動体として検知してしまう。ゆらぎを動体として検知してしまう理由は、監視対象である人や車両等とゆらぎの違いを、１フレームの輝度変化で区別することが難しいためである。図１３は、監視対象や背景などが表示された映像の一例を示す説明図である。
【０００７】
ゆらぎは、図１４（Ａ）に示すように、短時間で輝度値のゆれ戻しがあり、輝度値が周期的に移動する物体である。これに対して、背景は、図１４（Ｂ）に示すように、輝度値の移動がない。また、人や車両などの検知対象は、図１４（Ｃ）に示すように、輝度値が一定方向に移動する。図１４は、画像内の画素又はブロックの輝度値の時間変化を示すグラフである。
【０００８】
特許文献１では、ゆらぎと動体の判定をするため、複数の過去画像と現在画像を比較し、複数フレームにおける動体の輝度変化を算出する。しかし、上記の手法では画面全体の検知精度が一様である。そのため、ゆらぎを動体と誤検出することを抑えるために検知精度を鈍くすると、暗い領域などにおいて動体を検知できず、検知漏れが発生するという問題がある。
【０００９】
また、特許文献２では、ゆらぎを移動物体と区別するため動きのある画像領域を検出し、検出された画像領域のトラッキングを行う。そして、ゆらぎが周期的に移動することを利用して、検出された画像領域が往復移動を行っていれば移動物体ではなくゆらぎであると判断する。しかし、対象によっては精度良くトラッキングし続けることが困難であり、周期性を判断できないことがある。
【００１０】
更に、特許文献３では、検知された物体の形状や速度によって、ゆらぎと動体を判別している。これは横長な動体や、設定速度よりも早い動体をゆらぎと判定するものである。しかし、ゆらぎには縦長のものや移動速度の遅いものも存在するため、除外できないゆらぎもある。
【００１１】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、画面全体からゆらぎ領域を確実に検出でき、監視対象とする物体を精度良く検知することが可能な、新規かつ改良された画像処理装置、画像処理方法及びプログラムを提供することにある。
【課題を解決するための手段】
【００１２】
上記課題を解決するために、本発明のある観点によれば、一の画像の画像データと、一の画像より過去に撮影された過去画像の画像データの差分を算出する差分処理部と、差分の時間変化を算出し、時間変化の周期性に基づいて、自然界のゆらぎを撮影した部分に相当する画面内のゆらぎ領域と、ゆらぎ領域ではない非ゆらぎ領域を抽出するゆらぎ検出部と、ゆらぎ領域と非ゆらぎ領域に応じて検知精度を変化させて画面内を移動する物体を検知する物体検知部とを備える画像処理装置が提供される。
【００１３】
上記差分処理部は、画素単位の差分を算出し、ゆらぎ検出部は、画素単位の差分の周期性を算出し、自然界のゆらぎを撮影した部分に相当するゆらぎ画素を検出するゆらぎ画素判定部と、ゆらぎ画素に対して重みづけ処理をするゆらぎ重みづけ部と、ゆらぎ画素の重みづけに応じて、画面内のゆらぎ領域と非ゆらぎ領域を抽出するゆらぎ領域判定部とを有してもよい。
【００１４】
上記ゆらぎ画素判定部は、画素単位の画素値の差分が単位時間当たり第一の閾値以上である回数、及び画素単位の画素値の差分が単位時間当たり第一の閾値より低い第二の閾値以上である回数に基づいて、ゆらぎ画素を検出してもよい。
【００１５】
上記物体検知部は、ゆらぎ領域よりも非ゆらぎ領域において画面内を移動する物体を検知し易く設定されてもよい。
【００１６】
また、上記課題を解決するために、本発明の別の観点によれば、差分処理部が、一の画像の画像データと、一の画像より過去に撮影された過去画像の画像データの差分を算出するステップと、ゆらぎ検出部が、差分の時間変化を算出し、時間変化の周期性に基づいて、自然界のゆらぎを撮影した部分に相当する画面内のゆらぎ領域と、ゆらぎ領域ではない非ゆらぎ領域を抽出するステップと、物体検知部が、ゆらぎ領域と非ゆらぎ領域に応じて検知精度を変化させて画面内を移動する物体を検知するステップとを備える画像処理方法が提供される。
【００１７】
また、上記課題を解決するために、本発明の別の観点によれば、一の画像の画像データと、一の画像より過去に撮影された過去画像の画像データの差分を算出する手段、差分の時間変化を算出し、時間変化の周期性に基づいて、自然界のゆらぎを撮影した部分に相当する画面内のゆらぎ領域と、ゆらぎ領域ではない非ゆらぎ領域を抽出する手段、ゆらぎ領域と非ゆらぎ領域に応じて検知精度を変化させて画面内を移動する物体を検知する手段としてコンピュータを機能させるためのプログラムが提供される。
【発明の効果】
【００１８】
以上説明したように本発明によれば、画面全体からゆらぎ領域を確実に検出でき、監視対象とする物体を精度良く検知することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の一実施形態に係る撮像装置１００を示すブロック図である。
【図２】同実施形態に係る画像処理部１１０を示すブロック図である。
【図３】同実施形態に係るゆらぎ領域検出部１１５を示すブロック図である。
【図４】同実施形態に係るゆらぎ画素判定部１２０を示すブロック図である。
【図５】画素が上記三つの候補のいずれであるかを判定する方法を示す説明図である。
【図６】二つの閾値による判定結果を統合する方法を示す説明図である。
【図７】ある画素の差分値の時間変化を示すグラフである。
【図８】ある画素の差分値の時間変化を示すグラフである。
【図９】ゆらぎ重み値とゆらぎの可能性を示す説明図である。
【図１０】図１０（Ａ）は、ゆらぎ領域を明示した映像１５０の一例を示す説明図である。図１０（Ｂ）は、監視対象や背景などが表示された映像の一例を示す説明図である。
【図１１】図１１（Ａ）は、ある画素の輝度値の時間変化を示すグラフである。図１１（Ｂ）〜（Ｄ）は、差分値の時間変化を示すグラフである。
【図１２】図１２（Ａ）は、ある画素の輝度値の時間変化を示すグラフである。図１２（Ｂ）〜（Ｄ）は、差分値の時間変化を示すグラフである。
【図１３】監視対象や背景などが表示された映像の一例を示す説明図である。
【図１４】画像内の画素又はブロックの輝度値の時間変化を示すグラフである。
【発明を実施するための形態】
【００２０】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２１】
なお、説明は以下の順序で行うものとする。
１．一実施形態の構成
２．一実施形態の動作
【００２２】
＜１．一実施形態の構成＞
［撮像装置１００］
まず、図１を参照して、本発明の一実施形態に係る撮像装置１００の構成について説明する。図１は、本実施形態に係る撮像装置１００を示すブロック図である。
撮像装置１００は、例えば監視カメラ等であり、ある場所に固定されて、撮像範囲内を通過する人や車両等の監視対象を撮影する。撮像装置１００は、撮影して得られた画像データを、モニターを有する監視盤などに伝送する。本実施形態によれば、監視者が常にモニターを注視することなく、監視対象とする物体を精度良く検知できる。
【００２３】
撮像装置１００は、撮像部１０２と、撮像信号処理部１０４と、撮像データ処理部１０６と、伝送部１０８と、画像処理部１１０などからなる。
【００２４】
撮像部１０２は、例えばレンズ等の光学系と、ＣＣＤイメージセンサ又はＣＭＯＳイメージセンサ等の撮像素子などからなる。撮像部１０２は、被写体からの光を受けて、光を電気信号に変換する。撮像部１０２は、生成した電気信号を撮像信号処理部１０４に送る。
【００２５】
撮像信号処理部１０４は、撮像部１０２から受けた信号をカラー画像等の映像信号に変更したり、映像信号に対してノイズ除去処理などをしたりする。撮像信号処理部１０４は、処理済みの映像信号を撮像データ処理部１０６や画像処理部１１０に送る。
【００２６】
撮像データ処理部１０６は、撮像信号処理部１０４で処理された映像信号を圧縮処理などして、伝送部１０８から映像信号を伝送できるような形式に変更する。
【００２７】
伝送部１０８は、撮像データ処理部１０６から受けた映像信号と、画像処理部１１０から受けたメタデータを関連付けて外部に送る。伝送部１０８からの映像信号やメタデータの出力先は、例えばネットワークであり、更にネットワークに接続された監視盤などである。
【００２８】
画像処理部１１０は、撮像信号処理部１０４で処理された映像信号を受けて、映像信号を画像処理してメタデータを生成する。本実施形態では、メタデータは、監視対象とする物体が撮像範囲内を通過したという情報であり、例えばアラーム信号などである。
【００２９】
なお、本実施形態では、伝送部１０８が映像信号とメタデータの両者を外部に送るとしたが、本発明はこの例に限定されない。例えば、伝送部１０８は、映像信号を出力せず、アラーム等のメタデータのみを外部に出力するとしてもよい。
【００３０】
また、上述の説明では、撮像部１０２を有する監視カメラ等の撮像装置１００について説明したが、本発明は、撮像部１０２を有さない信号変換装置でもよい。信号変換装置は、撮像部１０２の代わりにアナログ映像信号を出力するカメラと接続可能な入力部を有する。信号処理装置は、アナログ映像信号に基づいてメタデータを生成し、外部にメタデータを出力する。
【００３１】
更に、上述では、撮像データ処理部１０６を有する撮像装置１００について説明したが、本発明は、画像処理専用装置でもよい。画像処理専用装置は、例えばパーソナルコンピュータ、サーバー等である。画像処理専用装置は、映像信号を受けてメタデータを生成する画像処理部１１０を有する。生成されたメタデータは、外部に出力されてもよいし、画像処理専用装置に接続されたモニターや警告灯などに出力されてもよい。
【００３２】
［画像処理部１１０］
次に、画像処理部１１０について説明する。図２は、本実施形態に係る画像処理部１１０を示すブロック図である。
画像処理部１１０は、画像保存部１１１と、差分処理部１１２と、ラベリング処理部１１３と、トラッキング処理部１１４と、ゆらぎ領域検出部１１５と、閾値画像生成部１１６などからなる。
【００３３】
画像保存部１１１は、撮像部１０２によって撮影され撮像信号処理部１０４で処理された現画像を保存し、過去画像を出力する。
【００３４】
差分処理部１１２は、撮像信号処理部１０４から現画像を受け、同時に画像保存部１１１から過去画像を受ける。そして、差分処理部１１２は、現画像と複数の過去画像に対して差分処理する。その結果、差分処理部１１２は、画素単位の動体検出を行うことができ、画像に動体が含まれる場合は動体画像を出力する。
【００３５】
ラベリング処理部１１３は、差分処理部１１２から動体画像を受けて、差分処理部１１２において画素単位で検出された動体情報を連結して、動体領域を生成する。そして、ラベリング処理部１１３は、生成した動体領域に対してラベル番号を付与し、ラベル番号を付与したラベル画像を出力する。
【００３６】
トラッキング処理部１１４は、ラベル付けされた動体領域について一つ前のフレームの動体情報との対応付けを行う。トラッキング処理部１１４は、現フレームと一つ前のフレームにおいて対応付けができた場合、動体情報を更新・継承する。そして、トラッキング処理部１１４は、更新・継承した動体領域を出力する。
【００３７】
ここで、ラベリング処理部１１３とトラッキング処理部１１４の組み合わせは、物体検知部の一例であり、画面内を移動する物体を検知する。
【００３８】
ゆらぎ領域検出部１１５は、撮像信号処理部１０４から現画像を受け、同時に画像保存部１１１から過去画像を受ける。そして、ゆらぎ領域検出部１１５は、画像を用いて木々や波などの自然界に存在する外乱（ゆらぎ）を撮影した部分に相当する画面内のゆらぎ領域と、ゆらぎ領域ではない非ゆらぎ領域を検出する。そして、ゆらぎ領域検出部１１５は、ゆらぎ領域を閾値画像生成部１１６に出力する。
【００３９】
閾値画像生成部１１６は、ゆらぎ領域検出部１１５で得られたゆらぎ領域と、ゆらぎ領域ではない非ゆらぎ領域それぞれに対して、画素単位で異なる値を割り当てる。そして、閾値画像生成部１１６は、ゆらぎ領域から、閾値処理を施すことが可能な閾値画像を生成する。閾値画像生成部１１６は、生成した閾値画像を差分処理部１１２に出力する。
【００４０】
上記のように、本実施形態によれば、ゆらぎ領域検出部１１５と閾値画像生成部１１６によって、ゆらぎ領域と非ゆらぎ領域を区別できる。そして、ラベリング処理部１１３、トラッキング処理部１１４において、ゆらぎ領域と非ゆらぎ領域とで異なる検知レベルを設定できる。例えば、トラッキング処理部１１４は、ゆらぎ領域よりも非ゆらぎ領域において画面内を移動する物体を検知し易く設定する。その結果、ゆらぎ領域では移動物体を比較的鈍感に検知し、非ゆらぎ領域では移動物体を比較的敏感に検知できる。従って、本実施形態は、領域毎に検知精度を変えることができるので、ゆらぎの誤検知や、移動物体の検知漏れを防止できる。
【００４１】
［ゆらぎ領域検出部１１５］
次に、ゆらぎ領域検出部１１５について説明する。図３は、本実施形態に係るゆらぎ領域検出部１１５を示すブロック図である。
ゆらぎ領域検出部１１５は、平滑化処理部１１７と、平滑画像保存部１１８と、平滑差分処理部１１９と、ゆらぎ画素判定部１２０と、ゆらぎ重み画像保存部１２１と、ゆらぎ重みづけ部１２２と、ブロック化処理部１２３などからなる。
【００４２】
平滑化処理部１１７は、現画像と複数枚の過去画像を受けて、現画像と複数枚の過去画像の平均を取ることによって、画像中のノイズを除去する。平滑化処理部１１７は、ノイズ除去がされた現平滑画像を平滑画像保存部１１８と平滑差分処理部１１９に出力する。
【００４３】
平滑画像保存部１１８は、平滑化処理部１１７から現平滑画像を受けて、現平滑画像を保存する。平滑画像保存部１１８は、保存されていた過去平滑画像を平滑差分処理部１１９に出力する。
【００４４】
平滑差分処理部１１９は、平滑化処理部１１７から現平滑画像を受け、同時に平滑画像保存部１１８から過去平滑画像を受けて、現平滑画像に対する過去平滑画像の画素単位の差分値を算出し、差分値からなる差分画像を生成する。平滑差分処理部１１９は、生成した差分画像をゆらぎ画素判定部１２０に出力する。
【００４５】
ゆらぎ画素判定部１２０は、ゆらぎ検出部の一例であり、平滑差分処理部１１９から差分画像を受けて、複数枚の差分画像から差分の時間変化の周期性を算出する。そして、ゆらぎ画素判定部１２０は、差分の時間変化の周期性に基づいて、自然界のゆらぎを撮影した部分に相当する画像中のゆらぎ画素の検出を行う。そして、ゆらぎ画素判定部１２０は、ゆらぎ画像をゆらぎ重みづけ部１２２に出力する。ゆらぎ画像は、ゆらぎ画素の位置情報を含む画像である。
【００４６】
ゆらぎ重み画像保存部１２１は、ゆらぎ重み画像をゆらぎ重みづけ部１２２から受けて、ゆらぎ重み画像を保存する。ゆらぎ重み画像は、ゆらぎである可能性の高さを画素ごとに示す。また、ゆらぎ重み画像保存部１２１は、過去のゆらぎ重み画像をゆらぎ重みづけ部１２２に出力する。
【００４７】
ゆらぎ重みづけ部１２２は、ゆらぎ画素判定部１２０からゆらぎ画像を、トラッキング処理部１１４から前フレームの動体領域に関する情報を、ゆらぎ重み画像保存部１２１からゆらぎ重み画像を受ける。ゆらぎ重みづけ部１２２は、前フレームの動体領域を除いたゆらぎ重み画像の各画素に対して、ゆらぎ画素であれば加算、非ゆらぎ画素であれば減算することで重み値を算出する。そして、ゆらぎ重みづけ部１２２は、重み値からなるゆらぎ重み画像を更新する。ゆらぎ重みづけ部１２２は、更新したゆらぎ重み画像をゆらぎ重み画像保存部１２１とブロック化処理部１２３に送る。
【００４８】
ブロック化処理部１２３は、ゆらぎ重みづけ部１２２からゆらぎ重み画像を受けて、ゆらぎ重み画像をブロックごとに分割する。ブロックとは、画素の集合である。ブロック化処理部１２３は、ブロック内の画素の重み値の正負を識別する。そして、ブロック化処理部１２３は、一定割合以上の画素が正の値の場合、ブロック全体がゆらぎ領域であると判定し、座標や範囲を指定してゆらぎ領域を閾値画像生成部１１６に出力する。
【００４９】
［ゆらぎ画素判定部１２０］
次に、ゆらぎ画素判定部１２０について説明する。図４は、本実施形態に係るゆらぎ画素判定部１２０を示すブロック図である。
ゆらぎ画素判定部１２０は、高閾値判定部１２４と、低閾値判定部１２５と、結果統合部１２６などからなる。
【００５０】
高閾値判定部１２４は、平滑差分処理部１１９から差分画像を受けて、差分画像に対して画素単位で閾値処理を行う。そして、高閾値判定部１２４は、画素の差分が第一の閾値以上である回数をカウントし、結果統合部１２６にカウントして得られた回数を高閾値判定結果として出力する。
【００５１】
低閾値判定部１２５は、平滑差分処理部１１９から差分画像を受けて、差分画像に対して画素単位で閾値処理を行う。そして、低閾値判定部１２５は、画素の差分が第二の閾値以上である回数をカウントし、結果統合部１２６にカウントして得られた回数を低閾値判定結果として出力する。
【００５２】
結果統合部１２６は、高閾値判定部１２４から高閾値判定結果を、低閾値判定部１２５から低閾値判定結果を受けて、高閾値判定結果と低閾値判定結果を統合する。そして、結果統合部１２６は、ゆらぎ候補であると判断された画素の位置情報を含むゆらぎ画像を生成し、生成したゆらぎ画像をゆらぎ重みづけ部１２２に出力する。
【００５３】
＜２．一実施形態の動作＞
次に、本実施形態に係る画像処理部１１０のゆらぎ領域検出処理について説明する。
【００５４】
ゆらぎ領域検出の処理の際に、ノイズが多いシーンでは、ノイズが誤ってゆらぎと判定されてしまうことがある。そこで、まず画像からノイズの除去を行う。現画像と過去Ｋフレーム分の画像の平均を各画素について算出する。これにより、ノイズが除去された平滑画像が生成される。
【００５５】
次に、生成された現フレームの現平滑画像と過去Ｎ枚の過去平滑画像の差分画像を生成する。そして、生成された差分画像に基づいて、現在と過去の差分から動体である可能性のある画素（動体候補の画素）、ゆらぎである可能性のある画素（ゆらぎ候補）、背景である可能性のある画素（背景候補の画素）を求める。
【００５６】
図５は、画素が上記三つの候補のいずれであるかを判定する方法を示す説明図である。例えば、過去Ｎ枚の過去平滑画像のうち、現在と過去の差分値が閾値Ｔｈ以上である回数が０回のときは、対象画素が背景候補画素と判定する。現在と過去の差分値が閾値Ｔｈ以上である回数がＮ回のときは対象画素が動体候補画素と判定する。一方、現在と過去の差分値が閾値Ｔｈ以上である回数が、それ以外の１〜Ｎ−１回のときは、対象画素がゆらぎ候補画素であると判定する。この際、差分画像の生成に使用する過去平滑画像には、保存されている平滑画像のうち、古いものを優先的にＮ枚用いる。これにより、時間的に離れているほど動体領域において差分が大きくなるため、動体候補とゆらぎ候補を区別しやすくなる。
【００５７】
以上の処理を２つの閾値、高閾値Ｔｈ１と低閾値Ｔｈ２に対して行い、以下に示す統合方法を用いて結果を統合する。そして、ゆらぎ候補であると判断された画素の位置情報を含むゆらぎ画像を生成する。ここで高閾値Ｔｈ１、低閾値Ｔｈ２の値は、例えば検出対象とするゆらぎにおいて発生する可能性のある輝度変化の最大値、最低値である。
【００５８】
図６は、二つの閾値による判定結果を統合する方法を示す説明図である。図７及び図８は、ある画素の差分値の時間変化を示すグラフである。まず、図６のＢ，Ｄ，Ｅのように、少なくともどちらかの閾値でゆらぎ候補と判定された画素をゆらぎ画素と決定する（図６の網掛け部分）。そして、ゆらぎ画素であるので、ゆらぎ重みづけ部１２２はゆらぎ重み画像の画素に対して加算する。
【００５９】
例えば、図６のＢは、図７（Ｂ）に示すように、高閾値Ｔｈ１以上である回数が０回であり、低閾値Ｔｈ２以上である回数が１〜Ｎ−１回である。よって、当該画素は、高閾値判定結果は背景候補となり、低閾値判定結果はゆらぎ候補となる。同様に、図６のＤは、図８（Ａ）に示すように、高閾値Ｔｈ１以上である回数が１〜Ｎ−１回であり、低閾値Ｔｈ２以上である回数も１〜Ｎ−１回である。よって、当該画素は、高閾値判定結果と低閾値判定結果は両者ともゆらぎ候補となる。図６のＥは、図８（Ｂ）に示すように、高閾値Ｔｈ１以上である回数が１〜Ｎ−１回であり、低閾値Ｔｈ２以上である回数はＮ回である。よって、当該画素は、高閾値判定結果はゆらぎ候補となり、低閾値判定結果は動体候補となる。
【００６０】
また、図６のＣのように、対象画素が高閾値判定結果は背景候補となり、低閾値判定結果は動体候補となるときも、ゆらぎ画素と決定する。そして、ゆらぎ画素であるので、ゆらぎ重みづけ部１２２はゆらぎ重み画像の画素に対して加算する。図６のＣは、図７（Ｃ）に示すように、高閾値Ｔｈ１以上である回数が０回であり、低閾値Ｔｈ２以上である回数はＮ回である。なお、図６のＣのようなケースは、ゆらぎ画素ではなく、動体画素と決定してもよい。
【００６１】
そして、図６のＦのように、二つの閾値の両者で動体候補画素と判定された画素を動体画素と決定する。そして、動体画素であるので、ゆらぎ重みづけ部１２２はゆらぎ重み画像の画素に対して加算も減算もしない。図６のＦは、図８（Ｃ）に示すように、高閾値Ｔｈ１以上である回数がＮ回であり、低閾値Ｔｈ２以上である回数もＮ回である。
【００６２】
更に、図６のＡのように、二つの閾値の両者で背景候補画素と判定された画素を背景画素と決定する。そして、背景画素であるので、ゆらぎ重みづけ部１２２はゆらぎ重み画像の画素に対して減算する。図６のＡは、図７（Ａ）に示すように、高閾値Ｔｈ１以上である回数が０回であり、低閾値Ｔｈ２以上である回数も０回である。
【００６３】
こうして、ゆらぎ重み画像を更新する。ゆらぎ重み画像は、対象画素がゆらぎ画素の場合に値を加算し、背景画素の場合に減算して生成されたものである。ゆらぎ重み画像は、時系列に見て対象画素がゆらぎである可能性が高いのかを示す。従って、ゆらぎ重み画像は、図９のように値が正の方向に大きいほどゆらぎである可能性が高いことを示し、負の方向に大きいほど背景である可能性が高いことを示す。図９は、ゆらぎ重み値とゆらぎの可能性を示す説明図である。なお、動体画素と決定された場合は、重みづけ値を変動させないこととしたので、ゆらぎ重み画像は背景であるか又はゆらぎであるかを区別できる。
【００６４】
次に、ゆらぎ重み画像に対してブロック化を行い、画素単位で検出されたゆらぎである可能性のある画素をゆらぎ領域として連結する。まず、画像を任意のブロックサイズで分割する。そして、各ブロックの画素のうち一定以上の割合の画素が正の値であるとき、該当ブロック全体をゆらぎ領域と判定する。以上の処理を全てのブロックに対して行い、画像全体のゆらぎ領域を求める。
【００６５】
以上、本実施形態によれば、現画像と複数枚の過去画像の差分から各画素の輝度変化を算出し、図１０（Ａ）に示すように、映像１５０内でゆらいでいる画素を検出する。図１０（Ａ）は、ゆらぎ領域を明示した映像１５０の一例を示す説明図である。更に、ゆらぎの出現頻度を評価することで、ゆらぎ領域１５２と、ゆらぎ領域１５２ではない背景領域を判定する。そして、図１０（Ｂ）に示すように、映像１５０内に侵入してきた人や車両等の監視対象を検知して、映像１５０に検知枠１５２を表示する。このとき、判定によって得られた領域のうち、ゆらぎ領域に対しては鈍感に、背景領域に対しては敏感に動体を検知する。図１０（Ｂ）は、監視対象や背景などが表示された映像の一例を示す説明図である。このように、それぞれの領域に異なる処理を与えることで、ゆらぎを誤って動体と検知するゆらぎの誤検知を防止でき、今まで検知できなかった動体を検知することができて検知漏れも防止できる。
【００６６】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【００６７】
例えば、上記実施形態では、ゆらぎの検出方法は、二つの閾値を設定して、画素の差分が閾値以上である回数によって、画素がゆらぎ候補であるか否かを判定したが、本発明はこの例に限定されない。例えば、ある時刻の画素の輝度値と、その時刻以前の輝度値の波形を比較して、ゆらぎを検出してもよい。
【００６８】
例えば、図１１（Ａ）は、ある画素の輝度値の時間変化を示すグラフであって、動体が通過したときの輝度値の変化を表す。時刻Ａの輝度値と時刻Ａ以前の輝度値の波形との差分は、図１１（Ｂ）に示すようになる。同様に、時刻Ｂ、時刻Ｃについては、図１１（Ｃ），（Ｄ）のようになる。図１１（Ｂ）〜（Ｄ）は差分値の時間変化を示すグラフである。一方、図１２（Ａ）も、ある画素の輝度値の時間変化を示すグラフであるが、ゆらぎが発生しているときの輝度値の変化を表す。時刻Ａの輝度値と時刻Ａ以前の輝度値の波形との差分は、図１２（Ｂ）に示すようになる。同様に、時刻Ｂ、時刻Ｃについては、図１２（Ｃ），（Ｄ）のようになる。図１２（Ｂ）〜（Ｄ）は差分値の時間変化を示すグラフである。
【００６９】
図１１（Ｂ）〜（Ｄ）と図１２（Ｂ）〜（Ｄ）を比較すると分かるように、差分値の時間変化は、動体画素の場合、負の傾きのみが発生するのに対して、ゆらぎ画素の場合、正の傾きも発生する。これは、ゆらぎが短時間でゆれ戻しがあるためである。そこで、差分値の時間変化を表す波形において、正の傾きを含む場合、その画素をゆらぎ候補と判断する。このような判断手法によれば、動体がゆらぎであるとして誤判定されるケースが減少する。後段は上述した実施形態と同様であり、ゆらぎ重み画像の更新は、対象画素がゆらぎ候補画素の場合、値を加算し、背景画素の場合、値を減算する。
【符号の説明】
【００７０】
１００      撮像装置
１０２      撮像部
１０４      撮像信号処理部
１０６      撮像データ処理部
１０８      伝送部
１１０      画像処理部
１１１      画像保存部
１１２      差分処理部
１１３      ラベリング処理部
１１４      トラッキング処理部
１１５      ゆらぎ領域検出部
１１６      閾値画像生成部
１１７      平滑化処理部
１１８      平滑画像保存部
１１９      平滑差分処理部
１２０      ゆらぎ画素判定部
１２１      ゆらぎ重み画像保存部
１２２      ゆらぎ重みづけ部
１２３      ブロック化処理部
１２４      高閾値判定部
１２５      低閾値判定部
１２６      結果統合部
【図１】
2011123562.tif 000003
【図２】
2011123562.tif 000004
【図３】
2011123562.tif 000005
【図４】
2011123562.tif 000006
【図５】
2011123562.tif 000007
【図６】
2011123562.tif 000008
【図７】
2011123562.tif 000009
【図８】
2011123562.tif 000010
【図９】
2011123562.tif 000011
【図１０】
2011123562.tif 000012
【図１１】
2011123562.tif 000013
【図１２】
2011123562.tif 000014
【図１３】
2011123562.tif 000015
【図１４】
2011123562.tif 000016