(57)【要約】【課題】照明条件を含むカメラの周辺環境条件の変化に対応し、精度の高い対象物検出を実現する。【解決手段】入力されるフレーム画像の、対象物が存在すると予測される予測領域と、存在しないと予測される非予測領域と、を特定する。そして、予測領域と差分が求められる領域と、非予測領域と差分が求められる領域と、で生成方式を異ならせた対比用背景画像を生成する。特に、対比用背景画像の非予測領域と等しい位置の領域を、小ブロック毎に最も類似する小ブロック背景モデル画像を選択することによって生成する。【選択図】図９
2009265827.tif 000002
【特許請求の範囲】
【請求項１】
カメラの撮影に基づく被検出画像を順次取得し、前記被検出画像と対比用背景画像との差分結果に基づいて前記カメラの撮影領域内における対象物を検出する対象物検出装置であって、
前記被検出画像中の前記対象物が存在すると予測される予測領域と、当該予測領域以外の領域である非予測領域とを特定するマスクを生成するマスク生成部と、
前記マスクによって特定される前記予測領域と差分が求められる領域と、前記非予測領域と差分が求められる領域と、で生成方式を異ならせて前記対比用背景画像を生成する対比用背景画像生成部と、
を備える
ことを特徴とする対象物検出装置。
【請求項２】
前記対比用背景画像生成部が、前記被検出画像の前記非予測領域に基づいて、前記対比用背景画像の前記予測領域と差分が求められる領域と、前記非予測領域と差分が求められる領域と、のそれぞれを生成する
ことを特徴とする請求項１に記載の対象物検出装置。
【請求項３】
前記撮影領域内に前記対象物が含まれない状態で撮影された複数の画像を保持する画像保持部と、
前記画像保持部に保持された前記複数の画像から複数のモデル画像を生成するモデル生成部と、
前記モデル生成部で生成された前記モデル画像を保持するモデル保持部と、
をさらに備え、
前記対比用背景画像生成部が、前記モデル保持部に保持された前記モデル画像を用いて前記対比用背景画像を生成するものであるとともに、前記被検出画像の前記非予測領域と類似する前記モデル画像を用いて、少なくとも前記対比用背景画像の前記非予測領域と差分が求められる領域を生成する生成方式を使用する
ことを特徴とする請求項２に記載の対象物検出装置。
【請求項４】
前記被検出画像を細分化した領域である小ブロックのそれぞれに対応する複数の小ブロック背景モデル画像が、前記モデル保持部に保持され、
前記対比用背景画像生成部が、前記対比用背景画像の前記非予測領域と差分が求められる領域を生成する際に、
前記被検出画像の前記非予測領域の前記小ブロック毎に、最も類似する前記小ブロック背景モデル画像を前記モデル保持部からそれぞれ選択し、選択された当該小ブロック背景モデル画像を用いて前記対比用背景画像の前記非予測領域と差分が求められる領域を生成する生成方式を使用する
ことを特徴とする請求項３に記載の対象物検出装置。
【請求項５】
前記被検出画像の全体と対応する複数の背景モデル画像が、前記モデル保持部に保持され、
前記対比用背景画像生成部が、前記対比用背景画像の前記予測領域と差分が求められる領域を生成する際に、
記非予測領域と等しい位置の領域が最も類似する前記背景モデル画像を前記モデル保持部から選択し、選択された当該背景モデル画像から前記予測領域と等しい位置の領域を抽出して用いることで、前記対比用背景画像の前記非予測領域と差分が求められる領域を生成する生成方式を使用する
ことを特徴とする請求項４に記載の対象物検出装置。
【請求項６】
前記対比用背景画像が、前記対比用背景画像生成部により前記モデル保持部に保持された複数の前記小ブロック背景モデル画像の中から選択されるとともに組み合わせられて成るものであり、
前記対比用背景画像生成部から出力された前記対比用背景画像に用いられた前記小ブロック背景モデル画像の、組み合わせの履歴である合成履歴を保持するモデル合成履歴保持部をさらに備え、
前記対比用背景画像生成部が、前記対比用背景画像の前記予測領域と差分が求められる領域を生成する際に、
前記合成履歴と、前記対比用背景画像の前記非予測領域と差分が求められる領域を成す前記小ブロック背景モデル画像の組み合わせと、に基づいて、前記対比用背景画像の前記予測領域と差分が求められる領域に用いられる前記小ブロック背景モデル画像を選択して生成する生成方式を使用する
ことを特徴とする請求項４に記載の対象物検出装置。
【請求項７】
前記モデル合成履歴保持部が、前記合成履歴に基づいて前記小ブロック同士の前記小ブロック背景画像の選択結果についての相関を求め、この情報を前記合成履歴に含ませるとともに、
前記対比用背景画像生成部が、前記対比用背景画像の前記予測領域と差分が求められる領域を生成するために前記小ブロック背景モデル画像を選択する際に、
前記小ブロック背景画像を選択しようとする前記小ブロックと相関が高い前記小ブロックに用いられる前記小ブロック背景モデル画像に基づいて、前記対比用背景画像の前記予測領域と差分が求められる領域の前記小ブロック背景モデル画像を選択して生成する生成方式を使用する
ことを特徴とする請求項６に記載の対象物検出装置。
【請求項８】
撮影によって被検出画像を得るカメラと、
請求項１〜請求項７の何れかに記載の対象物検出装置と、
を備える
ことを特徴とする対象物検出システム。
【請求項９】
撮影によって被検出画像を得るカメラ及び前記被検出画像に基づく画像を表示する表示装置を備えるシステムに用いられ、且つ、前記カメラから前記被検出画像を順次取得し、前記被検出画像と対比用背景画像との差分結果に基づいて前記カメラの撮影領域内における対象物を検出する対象物検出方法であって、
前記対比用背景画像を生成する際に、
前記被検出画像中の前記対象物が存在すると予測される予測領域と、当該予測領域以外の領域である非予測領域とを特定し、
前記対比用背景画像の前記非予測領域と差分が求められる領域と、前記予測領域と差分が求められる領域と、で生成方式を異ならせる
ことを特徴とする対象物検出方法。
【請求項１０】
カメラの撮影によって順次得られる被検出画像と対比用背景画像との差分結果に基づいて前記カメラの撮影領域内における対象物を検出する機能をコンピュータに実現させるためのプログラムであって、
前記被検出画像中の前記対象物が存在すると予測される予測領域と、当該予測領域以外の領域である非予測領域とを特定する機能と、
前記非予測領域と差分が求められる領域と、前記予測領域と差分が求められる領域と、で生成方式を異なるものとして前記対比用背景画像を生成する機能と、
を前記コンピュータに実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラの取得画像を用いて対象物を検出する対象物検出装置及び対象物検出方法並びに対象物検出システムに関する。また、それらに対応するプログラムに関する。
【背景技術】
【０００２】
カメラの取得画像を用いた対象物の検出及び抽出処理は、一般的に、２枚の画像を比較することで実現される。この比較には、予め用意した背景画像と現在の取得画像との差分を求め所定の閾値と比較する背景差分や、時間的に連続する２枚の画像の差分を求め所定の閾値と比較するフレーム間差分が用いられる。しかしながら、この種の対象物検出方法を用いる場合、比較される２枚の画像間で、検出されるべき対象物以外に変化があると精度の高い対象物検出が困難となる。その代表的な要因がカメラの撮影環境の照明変化である。カメラの撮影環境は太陽光や照明装置の照明光等によって照らされるが、この撮影環境の照明変化によって取得画像の明るさや色合いが変化する。例えば、照明変化によって比較される２枚の画像間の明るさが異なってくると、本来検出されるべき対象物領域だけでなく背景領域に対してまでも所定の閾値以上の差分値が得られてしまい、対象物と背景の区別が困難となる。
【０００３】
具体的に例えば、室内等を撮影している最中に、照明装置の電源のオン／オフを切り替えることとすると、大幅に且つ瞬時に撮影環境の照明の照度が変化しうる。このように急激な照度変化が発生する場合、対象物の検出に背景差分を用いた場合は勿論のこと、フレーム間差分を用いた場合であっても変化速度によっては精度の高い対象物検出ができなくなる。
【０００４】
尚、特許文献１には、差分値を検出して得られた結果に対して、定常変化（例えば、樹木の揺らぎや水面の乱反射など）であるのか、非定常変化（例えば、人の移動など）であるのかを、領域毎の生起確率に基づいて事後的に判定して検出を行う対象物検出方法が提案されている。
【０００５】
【特許文献１】特開平８−４４８７４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながらこの方法を用いたとしても、上述のような照明装置のオン／オフによる変化が定常的なもの（例えば、頻繁かつ所定の周期でオン／オフされるもの）でない限り、対象物の動きであると誤って検出する可能性がある。そして、通常の撮影環境の変化は非定常変化となりやすいため、誤検出が頻発して検出精度が低くなる可能性がある。
【０００７】
そこで本発明は、照明条件を含むカメラの周辺環境条件の変化に対応し、精度の高い対象物検出を実現することができる対象物検出装置、対象物検出システム、対象物検出方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために本発明に係る対象物検出装置は、カメラの撮影に基づく被検出画像を順次取得し、前記被検出画像と対比用背景画像との差分結果に基づいて前記カメラの撮影領域内における対象物を検出する対象物検出装置であって、前記被検出画像中の前記対象物が存在すると予測される予測領域と、当該予測領域以外の領域である非予測領域とを特定するマスクを生成するマスク生成部と、前記マスクによって特定される前記予測領域と差分が求められる領域と、前記非予測領域と差分が求められる領域と、で生成方式を異ならせて前記対比用背景画像を生成する対比用背景画像生成部と、を備えることを特徴とする。
【０００９】
これにより、それぞれの領域毎に、それぞれの領域に適した対比用背景画像を生成することが可能となる。したがって、精度の高い対象物検出を実現することが可能となる。尚、それぞれの領域毎に適した対比用背景画像とは、適切な差分処理が行われることを可能とする対比用背景画像を示すものである。また、適切な差分処理とは、カメラの周辺環境条件の変化に応じた誤検出が発生しにくく、対象物の検出精度が高い差分処理を示すものである。
【００１０】
具体的には例えば、前記対比用背景画像生成部が、前記被検出画像の前記非予測領域に基づいて、前記対比用背景画像の前記予測領域と差分が求められる領域と、前記非予測領域と差分が求められる領域と、のそれぞれを生成する。
【００１１】
したがって、被検出画像の非予測領域に基づいて対比用背景画像を生成すると、効果的にカメラの周辺環境条件を反映させた対比用背景画像を生成することが可能となる。
【００１２】
さらに、具体的には例えば、前記撮影領域内に前記対象物が含まれない状態で撮影された複数の画像を保持する画像保持部と、前記画像保持部に保持された前記複数の画像から複数のモデル画像を生成するモデル生成部と、前記モデル生成部で生成された前記モデル画像を保持するモデル保持部と、をさらに備え、前記対比用背景画像生成部が、前記モデル保持部に保持された前記モデル画像を用いて前記対比用背景画像を生成するものであるとともに、前記被検出画像の前記非予測領域と類似する前記モデル画像を用いて、少なくとも前記対比用背景画像の前記非予測領域と差分が求められる領域を生成する生成方式を使用する。
【００１３】
これにより、被検出画像の非予測領域と類似するモデル画像を用いて、対比用背景画像が生成される。したがって、精度の高い対象物検出を実現することを可能とする対比用背景画像を生成することが可能となる。
【００１４】
そして例えば、前記被検出画像を細分化した領域である小ブロックのそれぞれに対応する複数の小ブロック背景モデル画像が、前記モデル保持部に保持され、前記対比用背景画像生成部が、前記対比用背景画像の前記非予測領域と差分が求められる領域を生成する際に、前記被検出画像の前記非予測領域の前記小ブロック毎に、最も類似する前記小ブロック背景モデル画像を前記モデル保持部からそれぞれ選択し、選択された当該小ブロック背景モデル画像を用いて前記対比用背景画像の前記非予測領域と差分が求められる領域を生成する生成方式を使用する。
【００１５】
このように構成すると、被検出画像の非予測領域に最も類似した小ブロック背景モデル画像を、小ブロック毎に選択することができる。尚、小ブロック背景モデル画像は、上記のモデル画像に含まれるものである。
【００１６】
さらに具体的には例えば、前記被検出画像の全体と対応する複数の背景モデル画像が、前記モデル保持部に保持され、前記対比用背景画像生成部が、前記対比用背景画像の前記予測領域と差分が求められる領域を生成する際に、記非予測領域と等しい位置の領域が最も類似する前記背景モデル画像を前記モデル保持部から選択し、選択された当該背景モデル画像から前記予測領域と等しい位置の領域を抽出して用いることで、前記対比用背景画像の前記非予測領域と差分が求められる領域を生成する生成方式を使用する。
【００１７】
このように、被検出画像の非予測領域に類似した背景モデル画像を選択し、予測領域と等しい位置の領域だけ抽出して使用することとすると、対比用背景画像の予測領域と差分が求められる領域に対して、効果的にカメラの周辺環境条件を反映させることが可能となる。尚、背景モデル画像は、上記のモデル画像に含まれるものである。
【００１８】
或いは例えば、前記対比用背景画像が、前記対比用背景画像生成部により前記モデル保持部に保持された複数の前記小ブロック背景モデル画像の中から選択されるとともに組み合わせられて成るものであり、前記対比用背景画像生成部から出力された前記対比用背景画像に用いられた前記小ブロック背景モデル画像の、組み合わせの履歴である合成履歴を保持するモデル合成履歴保持部をさらに備え、前記対比用背景画像生成部が、前記対比用背景画像の前記予測領域と差分が求められる領域を生成する際に、前記合成履歴と、前記対比用背景画像の前記非予測領域と差分が求められる領域を成す前記小ブロック背景モデル画像の組み合わせと、に基づいて、前記対比用背景画像の前記予測領域と差分が求められる領域に用いられる前記小ブロック背景モデル画像を選択して生成する生成方式を使用する。
【００１９】
尚、対比用背景画像の予測領域と差分が求められる領域における小ブロック背景モデル画像の組み合わせを決定する際に、対比用背景画像の非予測領域と差分が求められる領域を成す小ブロック背景モデル画像の組み合わせを条件として、合成履歴から最も可能性が高くなる（生起確率が大きくなる）小ブロック背景画像の組み合わせを選択するように構成してもよい。
【００２０】
さらに例えば、前記モデル合成履歴保持部が、前記合成履歴に基づいて前記小ブロック同士の前記小ブロック背景画像の選択結果についての相関を求め、この情報を前記合成履歴に含ませるとともに、前記対比用背景画像生成部が、前記対比用背景画像の前記予測領域と差分が求められる領域を生成するために前記小ブロック背景モデル画像を選択する際に、前記小ブロック背景画像を選択しようとする前記小ブロックと相関が高い前記小ブロックに用いられる前記小ブロック背景モデル画像に基づいて、前記対比用背景画像の前記予測領域と差分が求められる領域の前記小ブロック背景モデル画像を選択して生成する生成方式を使用する。
【００２１】
このように構成すると、モデルを選択したい（しようとしている）小ブロックに関し、相関が高い小ブロックにおいて選択された小ブロック背景モデル画像に基づいて、小ブロック背景モデル画像を選択することが可能となる。したがって、保持するデータや計算量を減少させることが可能となる。
【００２２】
また、上記目的を達成するために本発明に係る対象物検出システムは、撮影によって被検出画像を得るカメラと、上記の何れかに記載の対象物検出装置と、を備えることを特徴とする。
【００２３】
また、上記目的を達成するために本発明に係る対象物検出方法は、撮影によって被検出画像を得るカメラ及び前記被検出画像に基づく画像を表示する表示装置を備えるシステムに用いられ、且つ、前記カメラから前記被検出画像を順次取得し、前記被検出画像と対比用背景画像との差分結果に基づいて前記カメラの撮影領域内における対象物を検出する対象物検出方法であって、前記対比用背景画像を生成する際に、前記被検出画像中の前記対象物が存在すると予測される予測領域と、当該予測領域以外の領域である非予測領域とを特定し、前記対比用背景画像の前記非予測領域と差分が求められる領域と、前記予測領域と差分が求められる領域と、で生成方式を異ならせることを特徴とする。
【００２４】
また、上記目的を達成するために本発明に係るプログラムは、カメラの撮影によって順次得られる被検出画像と対比用背景画像との差分結果に基づいて前記カメラの撮影領域内における対象物を検出する機能をコンピュータに実現させるためのプログラムであって、前記被検出画像中の前記対象物が存在すると予測される予測領域と、当該予測領域以外の領域である非予測領域とを特定する機能と、前記非予測領域と差分が求められる領域と、前記予測領域と差分が求められる領域と、で生成方式を異なるものとして前記対比用背景画像を生成する機能と、を前記コンピュータに実現させることを特徴とする。
【発明の効果】
【００２５】
本発明によれば、照明条件を含むカメラの周辺環境条件の変化に対応し、精度の高い対象物検出を実現することができる。
【００２６】
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【発明を実施するための最良の形態】
【００２７】
以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。また、最初に本発明の実施形態に係る対象物検出システムの構成及び動作について説明し、その後に各構成部分の具体的な実施例について説明する。
【００２８】
＜＜全体構成＞＞
まず、本発明の実施形態に係る対象物検出システムの全体構成について、図面を参照して説明する。図１は、本発明の実施形態に係る対象物検出システムの全体ブロック図である。対象物検出システムは、カメラ１、検出処理部２及び表示部３を備え、カメラ１の撮影画像に基づいてカメラ１の撮影領域（換言すれば、カメラ１の視野）内に存在しうる検出対象物を検出する。以下の説明では、検出対象物（以下、単に「対象物」と略記する）が、主として人物である場合を想定する。
【００２９】
カメラ１として、ＣＣＤ（Charge Coupled Devices）を用いたカメラや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを用いたカメラが用いられる。検出処理部２は、集積回路等を用いて形成される。表示部３は、液晶ディスプレイパネル等から形成される表示装置である。
【００３０】
カメラ１は、所定のフレーム周期にて順次撮影を行う。この順次撮影によってフレーム周期毎に得られる各画像を、以下「フレーム画像」という。フレーム画像を表す画像データは、検出処理部２に送られる。カメラ１の撮影領域は固定されているものとする。また、本実施形態では、カメラ１の撮影領域が家屋等の室内である場合を想定し、また、カメラ１の撮影領域を照らす光源に蛍光灯などの照明装置と太陽光とが含まれている場合を想定する。ただし、カメラ１の撮影領域を室外とすることも可能であるし、また、光源の数及び種類は任意である。太陽光及び室内に設けられた照明装置の照明光以外の外光（例えば、ネオンの光）によってカメラ１の撮影領域が一時的に照らされる場合もあり、そのような外光も、カメラ１の撮影領域を照らす光源の一種と捉えられる。
【００３１】
検出処理部２は、符号１１〜１４にて参照される各部位を備える。検出処理部２の各部位の機能を概略的に説明する。尚、検出処理部２内の各部位は、検出処理部２内の他部位で生成される各データを必要に応じて自由に参照可能となっている。
【００３２】
画像取得部１１は、順次、カメラ１から出力される画像データを読み出すことにより各フレーム画像を取得する。差分処理部１２は、フレーム画像と対比用背景画像供給部１４から与えられる対比用背景画像との差分処理を行ってフレーム画像内の対象物を抽出する。表示制御部１３は、その抽出結果をフレーム画像に反映させた画像が表示部３にて表示されるように表示用の画像データを生成して出力する。尚、「対比用背景画像」とは、カメラ１の撮影領域の背景のみを示した画像（即ち、対象物が含まれない画像）であり、フレーム画像と差分処理を行うための画像である。
【００３３】
図２に、フレーム画像及び対比用背景画像と両画像に対して差分処理を施すことで得られる抽出結果の一例である、差分結果画像の例を示す。この差分結果画像から対象物としての人物が抽出される。例えば、いわゆる背景差分法を用いて差分結果画像を得ることができる。尚、図２のフレーム画像には、部屋の角、部屋の床、部屋の２つの壁及び一方の壁に沿って直立している人物が描写されている。また、この差分結果画像は二値（それぞれの値を白と黒で表現）で示されたものであり、一方の値となる領域（白色の領域）が対象物の領域、他方の値となる領域（黒色の領域）が対象物ではない領域を示している。以下、差分結果画像を示す場合は、この差分結果画像と同様の方法で示すこととする。
【００３４】
また、図３に表示部３で表示される表示用画像の一例を示す。図３において、符号２００が表示用画像であり、符合２０１が付された破線四角枠は、重畳表示された対象物領域を囲む枠である。この表示用画像は、表示制御部１３が、差分処理部１２から入力される抽出結果と、画像取得部から入力されるフレーム画像と、に基づいて生成される。
【００３５】
対象物が抽出されるべきフレーム画像を、特に「被検出画像」と呼ぶ。各フレーム画像が、順次、差分処理部１２に送られて被検出画像として取り扱われる。以下の説明において、現時点において被検出画像として取り扱われるフレーム画像を、現フレーム画像又は今回のフレーム画像と呼び、そのフレーム画像が得られるフレームを現フレーム又は今回のフレームと呼ぶ。後述の、過去、前回、次回という記述は、今回のフレームを基準として述べたものである。尚、本明細書において、「フレーム」という文言は、画像を意味する文言ではなく、時間を表す文言として解釈されるものとする。フレームは、フレーム画像を得るための撮影タイミング或いは撮影区間とも換言される。例えば、或る着目したタイミングにおける被写体をカメラ１によって撮影した場合、その撮影によって得られるフレーム画像が現フレーム画像であるとすると、現フレームという文言及び今回のフレームという文言は、上記の着目したタイミングを意味している。また、本発明の実施形態に係る対象物検出システムは、異なる生成方式を使い分けて対比用背景画像を生成し、出力する対比用背景画像供給部を備える。尚、「生成方式」とは、生成を行うための或る決まったやり方を示すものである。また、対比用背景画像供給部について以下で説明する。
【００３６】
＜＜対比用背景画像供給部＞＞
対比用背景画像供給部の第１及び第２構成例について図面を参照して説明する。また、最初に各構成例において共通する基本構成について説明し、その後に各構成例についてそれぞれ説明する。
【００３７】
＜対比用背景画像供給部の基本構成＞
図４は、図１の対比用背景画像供給部の基本構成を示すブロック図である。図４に示すように、対比用背景画像供給部１４は、マスク生成部１５と、画像保持部１６と、モデル生成部１７と、モデル保持部１８と、対比用背景画像生成部１９と、を備える。
【００３８】
マスク生成部１５は、差分処理部１２から出力される抽出結果（例えば、図２に示す差分結果画像など）に基づいて「マスク」を生成して出力する。このマスクについて図５に示す。図５は、図４のマスク生成部から出力されるマスクの模式図であり、マスクの一例であるマスク画像について示すものである。また、図５に示すマスク画像は、図２に示した差分結果画像に対応するものである。
【００３９】
図５に示すように、マスク画像２１０には予測領域２１２と非予測領域２１１とが備えられる。予測領域２１２とは、現フレーム画像の差分結果において検出された対象物が、次回のフレーム画像中において存在し得ると予測される領域である。端的には、この予測領域２１２は、前回のフレーム画像から検出された対象物の領域よりも若干大きい領域となるように設定される。一方、非予測領域２１１は、マスク画像２１０中の予測領域２１２以外の領域となる。即ち、前回のフレーム画像で検出された対象物が、現フレーム画像において存在し得ないと予測される領域である。尚、ここで「予測」とは、例えば可能性が高いと判断することなどを意味するものとする。
【００４０】
また、予測領域２１２と非予測領域２１１との説明を簡単にするために、マスクをマスク画像２１０として説明したが、マスクはマスク画像２１０に限られるものではない。特に、対比用背景画像生成部１９が、入力されるマスクに基づいて、現フレーム画像中の非予測領域と予測領域とを特定することができるものであれば、どのような形式のデータであっても構わない。ただし、以下においては説明を簡単にするために、マスクがマスク画像２１０であるものとして説明する。
【００４１】
また、マスク生成部１５は、差分処理部１２から出力される抽出結果であれば、差分結果画像以外でも（対象物の領域と、それ以外の領域と、を二値化して表現した画像以外でも）マスクを生成することが可能である。しかしながら、以下では説明を簡単にするために、抽出結果を差分結果画像で表現し、マスクが差分結果画像に基づいて得られるものとして説明する。
【００４２】
モデル生成部１７は、画像保持部１６に保持されているサンプル背景画像に基づいて「統計モデル」を生成する。この統計モデルについて、図６を参照して説明する。図６は、統計モデルを説明するための図である。統計モデルを作成するために、対象物の実際の検出を行うに先立って事前に多数のフレーム画像をカメラ１によって取得させ、画像保持部１６に保持させる。この事前に取得された各フレーム画像を、サンプル背景画像という。全てのサンプル背景画像の撮影時において、カメラ１の撮影領域内に対象物が含まれていないものとする。一方で、取得された多数のサンプル背景画像の中には、カメラ１の周辺の照明条件（以下、単に照明条件という）が互いに異なる複数のサンプル背景画像が含まれているものとする。ただし、照明条件が同じ状態で撮影された複数のサンプル背景画像も、多数のサンプル背景画像の中に含まれうる。
【００４３】
これを実現するために、例えば、対象物の実際の検出を行うに先立ってサンプル背景画像取得用の期間を設け、その期間中において、カメラ１に多数のフレーム画像をサンプル背景画像として取得させる。この期間中には、カメラ１の撮影領域を照らす照明装置の電源オン／オフや、カメラ１の撮影領域を照らす太陽光の照度変化などが生じている。尚、照明条件は、カメラ１の撮影領域を照らす光源の状態を意味し、照明状態とも換言される。照明条件が異なれば、カメラ１の撮影領域を照らす光源の照度や色温度が異なり、得られるフレーム画像の明るさや色合いも異なってくる。
【００４４】
図６に示すように、統計モデルは複数個生成され、生成される複数の統計モデルはモデル保持部１８に保持される。生成される統計モデルの個数を、Ｎで表す（Ｎは２以上の整数）。各統計モデルは、背景画像をモデル化した１枚の背景モデル画像と、差分処理部１２での差分処理にて参照される偏差リストと、から形成される。１つの統計モデルの背景モデル画像は、基本的に、似通ったサンプル背景画像を集めて平均化することにより生成され、異なる統計モデル間で背景モデル画像の明るさや色合いなどが異なる。
【００４５】
尚、背景画像とは、カメラ１の撮影領域内に対象物が存在していない状態においてカメラ１によって撮影された画像、換言すれば、対象物を含まないフレーム画像を意味する。また、背景モデルとは、対象物を含まない撮影領域についての画像情報をモデル化した背景モデル画像とその他の情報を組み合わせたものである。統計モデルは、背景モデルの一種である。
【００４６】
さらに、モデル生成部１７は、上述した統計モデルの他に、小ブロック統計モデルも生成する。この小ブロック統計モデルについて、図７を参照して説明する。図７は、小ブロック統計モデルを説明するための図である。図７に示すように、小ブロック統計モデルは、画像保持部１６に保持されているサンプル画像を小ブロック単位にそれぞれ分類したものに基づいて生成される。
【００４７】
尚、小ブロックとはフレーム画像を細分化したものであり、例えば、８×８の画素から成る。この例の場合であり、かつフレーム画像が３２０×２４０の画素から成るとすると、小ブロックは合計で４０×３０＝１２００個となる。また、種々の処理をこの小ブロック単位で行うこともできる（小ブロック単位で行われる処理の具体例については後述の実施例に示す）。そのため、上述したマスク画像２１０の予測領域２１２と非予測領域２１１とがこの小ブロック単位で分けられることとすると、処理の都合上好適となる場合がある。以下では説明を簡単にするため、予測領域２１２と非予測領域２１１とが、小ブロック単位で分けられるものとして説明する。
【００４８】
小ブロック統計モデルは、統計モデルと同様に複数個生成され、生成される複数の小ブロック統計モデルがモデル保持部１８に保持される。ここで、フレーム画像がＭ個の小ブロックに分けられ、それぞれの小ブロックについてＰ個の小ブロック統計モデルが作成されることとすると、合計でＭ×Ｐ個の小ブロック統計モデルが生成される（Ｍ、Ｐは２以上の整数）。また、各小ブロック統計モデルは、背景画像の或る小ブロックをモデル化した１枚の小ブロック背景モデル画像と、差分処理部１２での差分処理にて参照される偏差リストと、から形成される。統計モデルと同様、１つの小ブロック統計モデルの背景モデル画像も、基本的に、似通ったサンプル背景画像の小ブロックを集めて平均化することにより生成され、異なる小ブロック統計モデル間で小ブロック背景モデル画像の明るさや色合いなどが異なる。
【００４９】
対比用背景画像生成部１９は、モデル保持部１８から統計モデルや小ブロック統計モデルを取得するとともに、これらに含まれる背景モデル画像及び小ブロック背景モデル画像の少なくとも一種類を用いて対比用背景画像を生成する。このとき、マスク生成部１５から入力されるマスクに基づいて、現フレーム画像の非予測領域と予測領域とを特定し、それぞれの領域に対して異なる生成方式を用いることによって対比用背景画像を生成する。これにより、それぞれの領域に適した対比用背景画像を生成することが可能となる。尚、それぞれの領域に適した対比用背景画像とは、適切な差分処理が行われることを可能とする対比用背景画像を示すものである。また、適切な差分処理とは、カメラの周辺環境条件の変化に応じた誤検出が発生しにくく、対象物の検出精度が高い差分処理を示すものである。
【００５０】
また、対比用背景画像生成部１９は、現フレーム画像の非予測領域に基づいて上記のモデル画像を選択し、対比用背景画像を生成する。現フレーム画像の非予測領域は、保持している背景と同様となる可能性が高い領域であり、現在のカメラの周辺環境条件（背景の状態）を把握するのに適した領域である。そのため、この領域を利用することで、適切な差分処理を行うことができる対比用背景画像を生成することが可能となる。尚、対比用背景画像を生成する際に使用する生成方式の具体例や、対比用背景画像供給部の具体的な構成例について、以下において説明する。
【００５１】
＜対比用背景画像供給部の第１構成例＞
対比用背景画像供給部の第１構成例について図面を参照して説明する。図８は、図１の対比用背景画像供給部の第１構成例を示すブロック図である。図８に示すように、対比用
背景画像供給部１４ａの構成は、上述した図４の基本構成と同様である。ただし、対比用背景画像生成部１９ａが、予測領域合成部１９１と、非予測領域合成部１９２と、を備えた構成としている。尚、予測領域合成部１９１と非予測領域合成部１９２とを分離せずに一体としても構わないが、説明の都合上分離し、それぞれの動作について以下において説明する。
【００５２】
図８に示した対比用背景画像供給部１４ａの動作について図９を用いて説明する。図９は、図８の対比用背景画像供給部の第１構成例の動作を説明するための模式図である。特に、ｔ−１番目フレーム画像３００の対象物検出処理によって差分結果画像３０１及びマスク画像３０２が得られている場合の、ｔ番目フレーム画像３１０に対する対比用背景画像３１４を生成する方法について示すものである。
【００５３】
図９に示すように、ｔ−１番目フレーム画像３００の対象物検出処理によってマスク画像３０２が得られると、マスク画像３０２の非予測領域３０３によってｔ番目フレーム画像の非予測領域３１１（以下、ｔ番目フレーム画像［非予測領域］とする）と、予測領域（以下、ｔ番目フレーム画像［予測領域］とする）と、が特定される。そして、非予測領域合成部１９２が、ｔ番目フレーム画像［非予測領域］３１１に基づいて、後の差分処理でｔ番目フレーム画像［非予測領域］３１１と差分が求められる対比用背景画像中の領域３１２（以下、対比用背景画像［非予測領域］とする）を生成する。
【００５４】
このとき、非予測領域合成部１９２は、小ブロック毎に、ｔ番目フレーム画像［非予測領域］３１１に最も類似する小ブロック背景モデル画像（図７）をそれぞれ選択する生成方式によって、対比用背景画像［非予測領域］３１２を生成する。そして、小ブロック毎に、Ｐ個の小ブロック背景モデル画像の中から一つが選択されることとなる。尚、図９に示す対比用背景画像［非予測領域］３１２は、選択された小ブロック背景モデル画像を組み合わせて示したものである。尚、「類似する」とは、比較する二つの画像のそれぞれの画素の画素値（例えば、輝度信号や色差信号、ＲＧＢ信号などの各種信号値）が近いことを意味するものとする。例えば、比較する二つの画素の画素値の差分と或る閾値とを比較して、差分が或る閾値よりも小さい場合に画素値が近いものとする。即ち、類似するものとする。
【００５５】
一方、予測領域合成部１９１は、ｔ番目フレーム画像［非予測領域］３１１に基づいて、後の差分処理でｔ番目フレーム画像［予測領域］と差分が求められる対比用背景画像中の領域３１３（以下、対比用背景画像［予測領域］とする）を生成する。特に、予測領域合成部１９１は、ｔ番目フレーム画像［非予測領域］３１１と最も類似する背景モデル画像（図６）を選択する生成方式によって、対比用背景画像［予測領域］３１３を生成する。このとき、背景モデル画像の非予測領域３０３と等しい位置の領域と、ｔ番目フレーム画像［非予測領域］３１１と、について類似の判定が行われ、Ｎ個の背景モデル画像の中から最も類似する一つが選択されることとなる。尚、図９に示す対比用背景画像［予測領域］３１３は、選択された背景モデル画像の、予測領域３０４と等しい位置の領域を抽出したものを示したものである。
【００５６】
上記のように、異なる生成方式によって得られる対比用背景画像［非予測領域］３１２と、対比用背景画像［予測領域］３１３と、を組み合わせることによって、対比用背景画像３１４が得られる。そして、差分処理部１２において、この対比用背景画像３１４とｔ番目フレーム画像３１０とが差分処理されることにより、対象物検出処理が行われる。そして、抽出結果として差分結果画像３１５が差分処理部１２で生成されるとともに出力され、マスク生成部１５が差分結果画像３１５に基づいてマスク画像３１６を生成する。
【００５７】
ｔ＋１番目フレーム画像３２０の対象物検出処理も、ｔ番目フレーム画像３１０に対する対象物検出処理と同様のものとなる。そして、ｔ＋１番目フレーム画像３２０の対象物検出処理においては、前回（ｔ番目）のマスク画像３１６の予測領域３１８と、非予測領域３１７と、が用いられる。
【００５８】
対比用背景画像［非予測領域］３１２は、小ブロック毎に、ｔ番目フレーム画像［非予測領域］３１１に最も類似した小ブロック背景モデル画像を選択して組み合わせたものとなる。そのため、対象物検出処理を行ったときに、この領域から対象物が誤検出されることを抑制することが可能となる。例えば、カメラの周辺環境条件が変化して部分的に明るくなるような場合が生じたとしても、その部分に対して最も類似した小ブロック背景モデル画像が充てられるため、カメラの周辺環境条件の変化を対象物であると誤検出することが抑制される。したがって、この方法で生成される対比用背景画像３１４を用いることで、カメラの周辺環境条件の部分的な変化に対しても対応することが可能となる。
【００５９】
一方、対比用背景画像［予測領域］３１３は、ｔ番目フレーム画像［非予測領域］３１１に最も類似した統計モデルを選択することによって得られる。換言すると、対象物が存在する可能性があるため上述のように類似する小ブロック統計モデルを選択して用いることができない領域（予測領域）に対しては、ｔ番目フレーム画像３１０の対象物が存在しないと予測される領域（非予測領域）からｔ番目フレーム画像３１０の背景の状態を推測し、それに見合った統計モデルを選択することで対応する。そのため、対比用背景画像［予測領域］３１３として、ｔ番目フレーム画像３１０に適した背景モデル画像を充てることが可能となる。したがって、精度の高い対象物検出を行うことができる対比用背景画像３１４を生成することが可能となる。
【００６０】
＜対比用背景画像供給部の第２構成例＞
次に、対比用背景画像供給部の第２構成例について図面を参照して説明する。図１０は、図１の対比用背景画像供給部の第２構成例を示すブロック図である。図１０に示すように、対比用背景画像供給部１４ｂの構成は、上述した図４の基本構成や図８の第１構成例と同様である。ただし、本構成例では、モデル合成履歴保持部２０を備えている。尚、対比用背景画像生成部１９ｂの非予測領域合成部１９２は、第１構成例と同様の動作を行うため、同じ符号を付している。一方、予測領域合成部１９３は、第１構成例の予測領域合成部１９１と異なる動作をするため、異なる番号を付している。
【００６１】
モデル合成履歴保持部２０は、対比用背景画像生成部１９ｂから出力される対比用背景画像の構成の履歴（以下、合成履歴とする）を保持するものである。そして、予測領域合成部１９３は、このモデル合成履歴保持部２０に保持された合成履歴に基づいて、差分処理において被検出画像の予測領域と差分が求められる対比用背景画像の領域を生成する。この動作の詳細について、以下に図１１を参照して説明する。
【００６２】
図１１は、図１０の対比用背景画像供給部１４ｂの第２構成例の動作を説明するための模式図であり、第１構成例に示した図９に相当するものである。尚、図９と図１１とは、対比用背景画像の生成に使用される生成方式が異なるだけであるため、この部分について中心に説明する。また、他の部分の詳細な説明については同様のものであるとして省略する。
【００６３】
上述したように、非予測領域合成部１９２の動作は、第１構成例で示したものと同様となる。一方、予測領域合成部１９３は、対比用背景画像［非予測領域］３１２で選択された小ブロック背景モデル画像の組み合わせに基づいて、対比用背景画像［予測領域］４１３の小ブロック背景モデル画像を選択する生成方式によって、対比用背景画像［予測領域］４１３を生成する。さらに、モデル合成履歴保持部２０には以前に出力された対比用背景画像の小ブロック背景モデル画像の組み合わせの履歴（合成履歴）が保持されており、予測領域合成部１９３は合成履歴も参照する。例えば、予測領域合成部１９３は、対比用背景画像［非予測領域］３１２で選択された小ブロック背景モデル画像の組み合わせを認識するとともに合成履歴を参照して、ブランクとなっている予測領域に対して生起確率が最も大きくなるような組み合わせの小ブロック背景モデル画像を選択する生成方式を使用する。
【００６４】
上記の生成方式によって得られる対比用背景画像［予測領域］４１３と、対比用背景画像［非予測領域］３１２と、を組み合わせることによって、対比用背景画像４１４が得られる。尚、この方法によって得られる対比用背景画像４１４は、小ブロック背景モデル画像によって構成されるものとなる。そして、第１構成例と同様に、この対比用背景画像４１４を用いて対象物検出処理が行われる。
【００６５】
非予測領域合成部１９２による対比用背景画像［非予測領域］３１２の生成方式については、第１構成例と同様であるため、本構成例でも同様の効果を得ることができる。即ち、この方法で生成される対比用背景画像４１４を用いることで、カメラの周辺環境条件の部分的な変化に対しても対応することが可能となる。
【００６６】
一方、対比用背景画像［予測領域］４１３は、ｔ番目より前に出力された対比用背景画像の合成履歴と、ｔ番目フレーム画像［非予測領域］４１１に基づいて得られる対比用背景画像［非予測領域］４１２の小ブロック背景モデル画像と、に基づいて生成される。そのため、第１構成例と同様に、ｔ番目フレーム画像３１０の対象物が存在しないと予測される領域（非予測領域）に基づいて、対比用背景画像［予測領域］４１３を得るものとなる。したがって、ｔ番目フレーム画像３１０に適した対比用背景画像［予測領域］４１３を得ることが可能となる。
【００６７】
さらに、対比用背景画像［予測領域］４１３は、合成履歴を参照して最も可能性が高い（生起確率が大きい）組み合わせとなるように、小ブロック背景モデル画像が選択されて成る。そのため、予測領域においても、小ブロック背景モデル画像を組み合わせて生成することが可能となる。そして、履歴を蓄えることによって、よりｔ番目フレーム画像３１０に適した対比用背景画像４１４を得る可能性を高くすることができる。
【００６８】
尚、本構成例では、対比用背景画像［予測領域］４１３の或る小ブロックに或る小ブロック背景モデル画像が選択されたことに基づいて、対比用背景画像［予測領域］４１３の他の小ブロックの小ブロック背景モデル画像が選択されることも含まれることとする。このような場合であっても、対比用背景画像［非予測領域］３１２で選択された小ブロック背景モデル画像の組み合わせと、合成履歴と、に基づいて順次選択されていくものとなるため、これらに基づいて選択されたものであると言える。
【００６９】
また、合成履歴に、対比用背景画像［非予測領域］３１２で用いられた小ブロック背景モデル画像の組み合わせのみを記録しても構わないし、推定されて選択されたものを含む対比用背景画像４１４に用いられた小ブロック背景モデル画像の組み合わせを全て記録しても構わない。前者であれば、実際に得られた画像に直接対比させることで得られた組み合わせのみを記録することができるため、合成履歴に蓄えられる情報をより精度の高いものとすることができる。一方、後者では、常にフレーム画像全体に対応するデータが蓄えられるため、欠落した組み合わせがないものとなる。そのため、小ブロック同士の相互関係をもれなく合成履歴に蓄えることが可能となるとともに、短期間に合成履歴のデータ量を増やすことが可能となる。
【００７０】
＜＜実施例＞＞
以下、上述した対象物検出システムのより詳細な動作や構成を説明する実施例として、第１〜第６実施例を説明する。或る実施例に記載した事項は、矛盾なき限り、他の実施例にも適用可能である。
【００７１】
＜第１実施例＞
まず、第１実施例を説明する。第１実施例では、図５に示したマスク画像２１０の予測領域２１２の設定方法の一例について説明する。
【００７２】
例えば、図２示した差分結果画像から図５に示したマスク画像２１０を作成する場合、まず、差分結果画像内において対象物を検出したことを示す領域（例えば、或る画素値となる画素群から形成される領域そのもの、又は、その領域を例えば矩形領域などでとり囲んだ領域）の位置を、対象物領域の位置として特定する。そして、一方でその対象物領域以外の領域の位置を背景領域の位置として特定する。そして、このように特定した対象物領域及び背景領域の位置に基づいて、予測領域２１２及び非予測領域２１１を設定する。特に、予測領域２１２を、上述したように特定した対象物領域を若干大きくした領域として設定する。
【００７３】
予測領域２１２は、対象物（例えば、人）の移動速度（例えば、歩く速度）を考慮して設定することができる。この場合、現フレーム画像で特定された対象物領域から、対象物が所定の移動速度で移動したとしても存在し得る領域を、予測領域２１２として設定する。また、オプティカルフロー（画面上のみかけの速度）を用いて予測領域２１２を設定することも可能である。対象物が含まれる領域のオプティカルフローは、例えば、時間的に連続する複数のフレーム画像において対象物の一部（または、全部）の領域のマッチングを行うことや、差分処理部１２が出力する抽出結果を用いることなどによって得ることができる。そして、現フレーム画像（または、現フレーム画像及び過去のフレーム画像）の対象物のオプティカルフローによって次回のフレーム画像中に対象物が存在し得る領域を求め、予測領域２１２として設定する。尚、これらの予測領域２１２の設定方法は一例に過ぎず、他の方法で予測領域２１２を設定しても構わない。
【００７４】
以上のような方法によって予測領域２１２を設定することとすると、次回のフレーム画像の予測領域２１２に対象物が存在し得る可能性を高めることができる。また、無用に予測領域２１２を大きくして非予測領域２１１が小さくなることを抑制することができる。
【００７５】
尚、対象物処理装置の起動時には、マスク画像２１０が生成されていないことになる。この場合、例えば、起動して最初に入力されるフレーム画像については、全ての領域を非予測領域としてもよい。ただし、このように設定する場合、起動時にカメラ１の撮影領域内に対象物が入っていないものとする。
【００７６】
＜第２実施例＞
次に、第２実施例について説明する。第２実施例では、図６及び図７に示した統計モデル、小ブロック統計モデルの生成方法の一例について説明する。
【００７７】
上述したように、事前に多数のサンプル背景画像がカメラ１によって取得される。モデル生成部１７は、クラスタリングを行って、この多数のサンプル背景画像をクラス分けすることによって、図６に示す統計モデルを得る。一方、サンプル背景画像を小ブロック毎に分類し、小ブロック毎になったサンプル背景画像をそれぞれ対応する小ブロック毎にクラス分けすることによって、図７に示す小ブロック統計モデルを得る。
【００７８】
クラスタリングの方法として、例えば、階層的クラスタリングを採用することができる。つまり、類似したサンプル背景画像をまとめてクラスタを形成し、更に、総クラスタ数が、統計モデルであればＮ個、小ブロック統計モデルであればＰ個となるまで、類似するクラスタを併合する処理を繰り返していく。これにより、各サンプル背景画像がＮ個（Ｐ個）のクラスタの何れかに分類される。尚、統計モデルの生成元となるサンプル背景画像の集まりを、総称して、サンプル背景画像群ともよぶ。また、小ブロック統計モデルの生成元となる小ブロック毎に分類したサンプル背景画像の集まりを、小ブロック毎サンプル背景画像群ともよぶ。尚、統計モデルも小ブロック統計モデルも同様の方法によってクラスタリングをすることができる。そのため、以下では小ブロック統計モデルについて主に説明し、統計モデルの詳細な説明については省略する。
【００７９】
クラスタリングの手法として公知の任意の手法を用いることできるが、以下に、一手法を例示する。図１２に、小ブロックサンプル背景画像が小ブロック毎にそれぞれ１０枚備えられ且つＰ＝４である場合の或る小ブロック統計モデルのクラスタリングの様子を示す。まず、１０枚の所定の小ブロックサンプル背景画像のそれぞれを１つの要素から成るクラスタと考えて、異なるクラスタ間の類似度を評価する。画像特徴によってベクトル値が定まる多次元ベクトル空間におけるクラスタ間の距離を類似度の指標として取り扱い、クラスタ間の距離が最も短いクラスタ同士（即ち、類似度の最も高いクラスタ同士）を順次併合していくことによって、クラスタリングを進める。類似度を、第３実施例にて後述する特徴ベクトルに基づいて評価することも可能であるし、公知の任意の、画像間の類似度評価方法を採用して評価することも可能である。
【００８０】
例えば、ウォード法を用いてクラスタリングを行う。ウォード法は、クラスタ同士の類似度の評価の際、着目したクラスタが要素として内包しているクラスタの要素数に重みをつける方法である。例えば、クラスタＡ及びクラスタＢを要素として内包するクラスタＣとクラスタＸとの類似度ｄxcは、下記式（１）に従って算出される。ここで、ｄxa、ｄxb及びｄabは、それぞれ、クラスタＸとクラスタＡの類似度、クラスタＸとクラスタＢの類似度及びクラスタＡとクラスタＢの類似度を表し、ｎx、ｎa、ｎb及びｎcは、それぞれ、クラスタＸが要素として内包しているクラスタの要素数、クラスタＡが要素として内包しているクラスタの要素数、クラスタＢが要素として内包しているクラスタの要素数及びクラスタＣが要素として内包しているクラスタの要素数（今の例において、２）を表す。
【００８１】
【数１】
2009265827.tif 000003
【００８２】
総クラスタ数がＰ個になるまでクラスタリングが進んだ時点でクラスタリングを終了して、Ｐ個の小ブロック統計モデルを作成する。例えば、Ｐ＝４であって、最終的に第１〜第４のクラスタが生成された場合、第ｋのクラスタに内包される全ての小ブロックサンプル背景画像に基づいて第ｋの小ブロック統計モデルを生成する（ここで、ｋは１以上４以下の整数）。各小ブロック統計モデルは、図７を示して説明したように、１枚の小ブロック背景モデル画像と偏差リストを有している。
【００８３】
或る１つの小ブロック統計モデルに着目し、小ブロック統計モデルを形成する小ブロック背景モデル画像と偏差リストの生成方法について説明する。説明の具体化のため、着目した小ブロック統計モデルに対応するクラスタに内包される全ての小ブロックサンプル背景画像が、第１〜第３の小ブロックサンプル背景画像から成るものとする。着目した小ブロック統計モデルの小ブロック背景モデル画像は、第１〜第３の小ブロックサンプル背景画像を平均化した画像とされる。即ち、図１３に示す如く、第１の小ブロックサンプル背景画像内の或る着目した座標位置における画素のＲ、Ｇ及びＢ信号値を、それぞれ、Ｒ1、Ｇ1及びＢ1で表し、且つ、それと同一の座標位置における第２の小ブロックサンプル背景画像内の画素のＲ、Ｇ及びＢ信号値を、それぞれ、Ｒ2、Ｇ2及びＢ2で表し、且つ、それと同一の座標位置における第３の小ブロックサンプル背景画像内の画素のＲ、Ｇ及びＢ信号値を、それぞれ、Ｒ3、Ｇ3及びＢ3で表した場合、それと同一の座標位置における背景モデル画像内の画素のＲ、Ｇ及びＢ信号値は、それぞれ（Ｒ1＋Ｒ2＋Ｒ3）／３、（Ｇ1＋Ｇ2＋Ｇ3）／３及び（Ｂ1＋Ｂ2＋Ｂ3）／３、とされる。
【００８４】
モデル生成部１７は、小ブロック背景モデル画像の生成に合わせて、第１〜第３の小ブロックサンプル背景画像の画素値の標準偏差を、画素ごとに且つＲ、Ｇ及びＢ信号値のそれぞれに対して算出する。例えば、上述の着目した座標位置の画素に対しては、下記式（２ａ）、（２ｂ）及び（２ｃ）に従って、Ｒ、Ｇ及びＢ信号値についての標準偏差σR、σG及びσBが算出される。
【００８５】
【数２】
2009265827.tif 000004
【００８６】
標準偏差σR、σG及びσBを小ブロック内の全画素に対して（換言すれば、小ブロック内の全座標位置に対して）算出してリスト化したものを、偏差リストと呼ぶ。第１〜第３の小ブロックサンプル背景画像に基づく小ブロック背景モデル画像と偏差リストを併せたものが小ブロック統計モデルとして生成される（図７参照）。尚、説明を省略した統計モデルに備えられる、背景モデル画像及び標準偏差についても、上述した方法と同様の方法で生成することができる。
【００８７】
＜第３実施例＞
次に、第３実施例について説明する。第３実施例では、例えば、図９及び図１１に示した、ｔ番目フレーム画像［非予測領域］３１１のそれぞれの小ブロックに対して、最も類似する小ブロック背景モデル画像を選択する場合に用いることができる比較方法の例について説明する。また、図９に示した、ｔ番目フレーム画像［非予測領域］３１１に対して、最も類似する背景モデル画像を選択する場合にも、以下の比較方法を用いることができる。また、以下では小ブロック背景モデル画像を用いた比較方法について主に説明し、背景モデル画像を用いた比較方法の詳細な説明については同様のものとして省略する。
【００８８】
『第１比較方法』
第１比較方法について説明する。図９及び図１１に示すように、対比用背景画像［非予測領域］３１２を生成する際に、ｔ番目フレーム画像［非予測領域］３１１と、モデル保持部１８に保持されたＰ個の小ブロック背景モデル画像のそれぞれと、が小ブロック毎に比較される。今、或る小ブロックの１つの小ブロック統計モデルに着目し、その着目した小ブロック統計モデルと、これに対応するｔ番目フレーム画像［非予測領域］３１１中の或る小ブロックの画像と、の比較方法について説明する。
【００８９】
まず、ｔ番目フレーム画像［非予測領域］３１１中の或る小ブロックの画像と、着目した小ブロック統計モデルの小ブロック背景モデル画像と、を画素ごとに且つＲ、Ｇ及びＢ信号値ごとに比較する。そして、比較された両画像間で画素値の相違が比較的大きい画素（即ち、相違画素）と相違が比較的小さい画素（即ち、非相違画素）とを画素ごとに判別する。
【００９０】
具体的には、ｔ番目フレーム画像［非予測領域］３１１中の或る小ブロックの或る着目した座標位置における画素のＲ、Ｇ及びＢ信号値を、それぞれ、ＲCF、ＧCF及びＢCFで表し、それと同一の座標位置における小ブロック統計モデルの小ブロック背景モデル画像内の画素のＲ、Ｇ及びＢ信号値を、それぞれ、ＲBM、ＧBM及びＢBMで表した場合、下記の３つの不等式（３ａ）、（３ｂ）及び（３ｃ）が成立するか否かを判断する。そして、その３つの不等式が全て満たされる場合は、その着目した座標位置における画素は非相違画素であると判断し、３つの不等式の何れか１つでも満たされない場合は、その着目した座標位置における画素は相違画素であると判断する。この際、不等式（３ａ）、（３ｂ）及び（３ｃ）におけるσR、σG及びσBは、着目した小ブロック統計モデルの偏差リストに基づく、着目した座標座標についてのＲ、Ｇ及びＢ信号値の標準偏差とする。また、α1は、所定の正の係数である。上述のようにして、全ての画素を相違画素と非相違画素のどちらかに分類した後、相違画素の個数を計数する。
【００９１】
【数３】
2009265827.tif 000005
【００９２】
この相違画素の個数の計数を、ｔ番目フレーム画像［非予測領域］３１１中の或る小ブロックと、モデル生成部１７に保持されたＰ個の小ブロック統計モデルのそれぞれと、の間で行い、その個数が最も小さくなる小ブロック統計モデルを、ｔ番目フレーム画像［非予測領域］３１１中の或る小ブロックに対して最も類似する小ブロック背景モデル画像を備える小ブロック統計モデルである、と判断する。
【００９３】
尚、背景モデル画像の比較をする場合も、同様の方法で対応する画素毎に比較を行うことができる。この場合、上述のような小ブロック毎で比較をする方法には限られない。また、フレーム画像全体の比較を行うことも可能である。また、差分処理部１２における現フレーム画像と対比用背景画像との差分処理にも適用することができる。差分処理部１２が行う差分処理に適用する場合、不等式（３ａ）、（３ｂ）及び（３ｃ）に示したα1の値を異なるものとしてもよい。また、小ブロック背景モデル画像内の画素の信号値を示すＲBM、ＧBM及びＢBMや、小ブロック統計モデルの標準偏差σR、σG及びσBを、適宜読み替えて使用することとする。
【００９４】
『第２比較方法』
第２比較方法について説明する。尚、第２比較方法を採用する場合は、図６及び図７に示す統計モデルや小ブロック統計モデル内の偏差リストは利用されない。尚、第１比較方法と同様に、本比較方法でも小ブロック統計モデルについて主に説明し、統計モデルについての詳細な説明は同様のものとして省略する。また、第１比較方法の説明に用いた例と同じ例を用いて第２比較方法について説明する。
【００９５】
第２比較方法では、ｔ番目フレーム画像［非予測領域］３１１中の或る小ブロックと、モデル保持部１８に保持されたＰ個の小ブロック統計モデルのそれぞれと、を被演算画像として取り扱い、被演算画像の特徴量及び特徴ベクトルを以下のように算出する。図１４を参照する。また、説明の具体化のため、図１４に示す如く小ブロックが８×８の画素から形成されることとする。
【００９６】
まず、小ブロック内のＲ信号値のヒストグラム、Ｇ信号値のヒストグラム及びＢ信号値のヒストグラムを求める。２５６段階のヒストグラムにおける各度数から特徴量を定義することも可能であるが、微小な信号値差異を無視し且つ演算量の低減を図るため、ヒストグラムにおける解像度を低下させて６４段階のヒストグラム（即ち、０〜２５５の信号値を６４段階に分類したヒストグラム）を求めるようにする。尚、図１４及び後述の図１５の各ヒストグラムにおいて、横軸はヒストグラムにおける分類段階番号を表し縦軸は度数を表している。このようにして小ブロックごとに且つＲ、Ｇ及びＢ信号値ごとに求められた６４段階のヒストグラムの各度数を被演算画像の特徴量として定義し、全ての特徴量を要素とするベクトルを、被演算画像の特徴ベクトルとして求める。
【００９７】
尚、小ブロック背景モデル画像の比較を行う場合、必要となる特徴ベクトルは６４×３＝１９２次元のベクトルになる。一方、背景モデル画像の比較を行う場合、図９のｔ番目フレーム画像［非予測領域］３１１に含まれる小ブロックの数をβとすると、必要となる特徴ベクトルはβ×６４×３＝１９２β次元のベクトルになる。また、上述した例でも示したように、フレーム画像が３２０×２４０の画素から成る場合であり、フレーム画像全体と背景モデル画像とを比較するような場合では、必要となる特徴ベクトルは１２００×６４×３＝２３０４００次元のベクトルとなる。
【００９８】
上述のようにして、ｔ番目フレーム画像［非予測領域］３１１中の或る小ブロックと、小ブロック背景モデル画像と、のそれぞれの特徴ベクトルを算出した後、類似度を特徴ベクトルに基づいて評価する。以下に、ｔ番目フレーム画像［非予測領域］３１１中の或る小ブロックと、１つの着目した小ブロック背景モデル画像と、の類似度の評価方法を説明する。
【００９９】
まず、ｔ番目フレーム画像［非予測領域］３１１中の或る小ブロックの６４段階のヒストグラムと、着目した小ブロック背景モデル画像の小ブロックについての６４段階のヒストグラムと、を対比する。前者の小ブロックについての、Ｒ、Ｇ及びＢ信号値のヒストグラムをそれぞれ符号２５１Ｒ、２５１Ｇ及び２５１Ｂによって参照し、後者の小ブロックについての、Ｒ、Ｇ及びＢ信号値のヒストグラムをそれぞれ符号２５２Ｒ、２５２Ｇ及び２５２Ｂによって参照する。図１５には、それらのヒストグラムが示されている。
【０１００】
そして、同色の信号値に関するヒストグラムを重ね合わせた時に重複した面積が大きいほど、対比される小ブロック内の画像の類似度が高いと判断する。具体的には、ヒストグラム２５１Ｒ及び２５２Ｒの第ｉ段階の度数をそれぞれＸRi及びＹRiで表し、ヒストグラム２５１Ｇ及び２５２Ｇの第ｉ段階の度数をそれぞれＸGi及びＹGiで表し、ヒストグラム２５１Ｂ及び２５２Ｂの第ｉ段階の度数をそれぞれＸBi及びＹBiで表した場合、ブロック評価値ｄb2を、下記式（４）によって算出する。ブロック評価値ｄb2は、比較する小ブロック同士の類似度を表し、比較する小ブロック内の画像の類似度が高いほど、ブロック評価値ｄb2は小さくなる。
【０１０１】
【数４】
2009265827.tif 000006
【０１０２】
ｔ番目フレーム画像［非予測領域］３１１中の或る小ブロックと、各小ブロック背景モデル画像と、のブロック評価値ｄb2を順次算出する。そして、最小のブロック評価値ｄb2となる小ブロック背景モデル画像を、或る小ブロックに最も類似する小ブロック背景モデル画像であると判断する。
【０１０３】
尚、図９に示した、ｔ番目フレーム画像［非予測領域］３１１と、背景モデル画像と、を比較する場合であり、ｔ番目フレーム画像［非予測領域］３１１が複数の小ブロックを備える場合、これらの比較にはそれぞれのブロック評価値ｄb2の総和である類似性評価値Ｓを用いる。そして、各統計モデルの背景モデル画像について類似性評価値Ｓをそれぞれ求め、最小の類似性評価値Ｓとなる背景モデル画像を、最も類似する背景モデル画像であると判断する。
【０１０４】
また、上述の例のように、フレーム画像が４０×３０＝１２００個の小ブロックに細分化でき、フレーム画像全体と各背景モデル画像とを比較する場合は、式（５）に示す類似性評価値Ｓを求める。式（５）中では、上述したブロック評価値ｄb2をｄxy2として示している。このｘ、ｙは、フレーム画像中の小ブロックの位置を示すものであり、１≦ｘ≦４０、１≦ｙ≦３０を満たすものとする。また、ｘはフレーム画像の水平方向おける位置、ｙは垂直方向の位置をそれぞれ表し、ｘが大きくなるほど、その水平位置は右方向に向かい、ｙが大きくなるほど、その垂直位置は下方向に向かうものとする。
【０１０５】
【数５】
2009265827.tif 000007
【０１０６】
＜第４実施例＞
次に、第４実施例について説明する。第４実施例では、図１１に示した、対比用背景画像［予測領域］４１３に充てる小ブロック背景モデル画像の選択方法の例について図１６を参照して説明する。図１６には、選択方法を説明するための、簡単な例を示している。図１６を用いて、小ブロックＡ，Ｂで選択された小ブロック背景モデル画像に基づいて、小ブロックＥに充てる小ブロック背景モデル画像を選択する場合について説明する。尚、説明の具体化のために、図１６や以降の説明において、モデル保持部１８に保持される小ブロック背景モデル画像がそれぞれの小ブロックについて３つずつであり、１〜３のＩＤで示されるものとする。また、合成履歴には、１０回分の合成結果が記録されているものとし、現在Ａ＝１、Ｂ＝３であることが得られているものとする。
【０１０７】
図１６に示す如く、小ブロックＡ，Ｂ及びＥに用いられた小ブロック背景モデル画像の１０回分の組み合わせ（モデル合成履歴リスト）から、小ブロックＡ及びＢに用いられる小ブロック背景モデル画像の組み合わせと小ブロックＥに用いられる小ブロック背景モデル画像との相関関係（組み合わせ出現確率リスト）と、小ブロックＡ、Ｂ及びＥのそれぞれに用いられた小ブロック背景モデル画像の確率（事前確率リストＰ（Ａ）、Ｐ（Ｂ）及びＰ（Ｅ））と、が得られる。尚、これらの表の全てを合成履歴としてモデル合成履歴保持部２０に保持しても構わないし、一部（例えば、モデル合成履歴リストや、組み合わせ出現確率リスト）を保持し、残りを必要に応じて算出することとしても構わない。
【０１０８】
第４実施例では、これらの値を用いて、以下の式（６）に示すようなベイズ推定を行う。尚、式（６）中、例えばＰ（Ｅ1）とは、Ｅ＝１である場合の確率を示すものとする。この確率は、例えば図１６の事前確率リストから得ることができる。また、例えば、Ｐ（Ａ1，Ｂ3|Ｅ1）とは、Ｅ＝１であるときに、Ａ＝１及びＢ＝３である条件付確率を示すものとする。この条件付確率は、例えば図１６の組み合わせ出現確率リストから得ることができる。
【０１０９】
【数６】
2009265827.tif 000008
【０１１０】
式（６）からは、Ａ＝１、Ｂ＝３である条件の元で、Ｅ＝１であると推定される確率が求められる。実際に図１６に示す値を代入すると、Ｐ（Ｅ1|Ａ1，Ｂ3）＝０．０３／０．１３≒２３．１％となる。同様に、Ｐ（Ｅ2|Ａ1，Ｂ3）≒３０．８％、Ｐ（Ｅ3|Ａ1，Ｂ3）≒４６．１％となり、Ｅ＝３となる確率が最も高いことがわかる。このようにして、対比用背景画像［予測領域］４１３に充てる小ブロック背景モデル画像を推定し、選択することができる。
【０１１１】
尚、上述の例では簡単のために２つの小ブロックＡ，Ｂに基づいて小ブロックＥに充てられる小ブロック背景モデル画像を選択することとしたが、小ブロックＡ，Ｂ以外の小ブロックに基づいて小ブロックＥに充てられる小ブロック背景モデル画像を選択することも可能である。しかしながら、無制限に参照する小ブロックを増やすと、計算量が増大して円滑な動作が阻害される。また、利用する少ブロックの数をｕ、１つの小ブロックに対する小ブロック統計モデルの数をＰとすると、組み合わせ出現確率リストのセルがＰuとなる。そのため、利用する少ブロックの数ｕを増大させると、保持するデータ量や計算量が指数関数的に増大してしまう。そこで、例えば以下に示す方法によって、求める小ブロックと相関が高い小ブロックを予め求めておくと、無駄なデータを保持することや計算量の増大化を抑制することができるため好ましい。
【０１１２】
小ブロックの相関を求める方法の一例について、図１７を参照して説明する。また、説明の具体化のために、図１６に示した小ブロックＡ及びＥの相関を求める場合を例として説明する。図１７は、小ブロックＡに充てられる小ブロック背景モデル画像と、小ブロックＥに充てられる小ブロック背景モデル画像と、の組み合わせを示した相関表である。この相関表を用いて、名義尺度間の相関を求める。具体的には、クラメール係数を求めて評価することによって行う。
【０１１３】
まず、カテゴリ毎の期待値を以下の式（７）に示すように算出する。尚、以下において、Ｅijがカテゴリ（ｉ，ｊ）期待値、即ち（Ａの小ブロック背景モデル画像のＩＤ，Ｅの小ブロック背景モデル画像のＩＤ）の期待値を示すものとする。また、１≦ｉ≦３、１≦ｊ≦３となる。そして、Ｏijがカテゴリ（ｉ，ｊ）の値、ｎiがＡ＝ｉである場合の総和、ｎjがＥ＝ｊである場合の総和、ｎが全体の総和（即ち、１０）を示す。
【０１１４】
【数７】
2009265827.tif 000009
【０１１５】
また、得られるＥijを用いて、この表におけるカイ二乗分布χ02を以下の式（８）を用いて求める。
【０１１６】
【数８】
2009265827.tif 000010
【０１１７】
得られるカイ二乗分布χ02の値を用いて、属性相関係数φを以下の式（９）を用いて求める。
【０１１８】
【数９】
2009265827.tif 000011
【０１１９】
得られる属性相関係数φの値を用いて、クラメール係数Ｖを以下の式（１０）を用いて求める。なお、以下の式中、ｔは表の大きさ（Ａ及びＥが取り得る値の数のうち、少ない方の数。本例の場合、Ａ及びＥはともに３通りの値をとるためｔ＝３となる）を示すものである。
【０１２０】
【数１０】
2009265827.tif 000012
【０１２１】
このようにして得られるクラメール係数Ｖによって、相関を比較することができる。そして、或る小ブロックに充てる小ブロック背景モデル画像を求める場合、例えば、相関が大きい（クラメール係数Ｖが大きい）５つの小ブロックに充てられた小ブロック背景モデル画像と、合成履歴と、について上述のように求めることができる。尚、小ブロックを予め５つに限定しておくと、１つの小ブロックに対する小ブロック統計モデルの数Ｐが３０であったとしても、上述したセルを３０5≒２４００万程度とすることができる。
【０１２２】
また、上述したような相関の大きい小ブロックの選定は、事前に行うことが好ましい。また、定期的に行って更新することが好ましい。そのため、例えば１日１回、対象物検出システムがあまり操作されずシステムに負荷がかかりにくい時間帯（夜中など）に自動的に行うようにするとさらに好ましい。
【０１２３】
また、上述のように相関が大きい小ブロックを選定することとすると、図１６の組み合わせ出現確率リストに示すように、組み合わせによっては確率が０となるものしか含まれない領域（例えば、Ａ＝２，Ｂ＝１である場合）が現れる可能性がある。この場合、この表に基づいて計算したとしても推定することができなくなってしまう。このような場合に対しては、例えば、以下に示すような方法で対処することが可能である。
【０１２４】
このような現象が発生する場合、２通りの状況が考えられる。１つは、参照する小ブロックの１つに、これまで観測されたことのない小ブロック背景モデル画像が充てられた場合（図１６の事前確率リストが０となる小ブロック背景モデル画像が充てられた場合）である。この場合、この小ブロックを外さない限り計算することができないため、例えば、参照している小ブロックの次に相関が高い小ブロックと、この小ブロックとを入れ替えるなどして、この小ブロックを外す。
【０１２５】
もう１つは、各小ブロックにおいては観測されたことがあるが、組み合わせにするとこれまで観測されていない組み合わせの場合（例えば、上述のＡ＝２，Ｂ＝１である場合）である。この場合、例えば、参照している小ブロックのうち相関が最も低いものと、参照している小ブロックの次に相関が高い小ブロックと、を入れ替えても構わない。また、相関が最も低い小ブロックを無視しても構わない。そして、上述したベイズ推定を行い、推定できるようになるまでこれらの操作を繰り返すこととしても構わない。
【０１２６】
尚、以上の対処方法は一例に過ぎず、他の対処方法を用いることとしても構わない。
【０１２７】
＜第５実施例＞
第５実施例では、上述した統計モデル及び小ブロック統計モデル以外のモデルである、「推定モデル」を用いた対象物検出方法の一例について図面を参照して説明する。まず、図１８を参照して推定モデルについて説明する。
【０１２８】
図１８は、推定モデルを説明するための図である。推定モデルは、現フレームから見た直近過去の所定数フレーム分のフレーム画像を用いて生成される。例えば、その所定数が３０である場合、現フレームを起点として、３０フレーム前から前回フレームまでの合計３０フレーム分のフレーム画像を用いて推定モデルが生成される。推定モデルは、上述した統計モデルと同様の構成となり、背景モデル画像と差分処理部１２での差分処理にて参照される偏差リストと、から形成される。尚、統計モデルが備える背景モデル画像と、推定モデルが備える背景モデル画像と、は生成方法が異なるが、背景画像をモデル化している点で共通する。そのため、共に背景モデル画像とよび、どのモデルに備えられているかを示すことにより区別する。また、推定モデルも、上述した背景モデルに含まれる。
【０１２９】
推定モデルの背景モデル画像は、例えば、上記の直近過去の所定数フレーム分のフレーム画像を平均化することによって生成される。平均化の方法としては、上述の第２実施例において、図１３を参照して説明したような、複数の画像（直近過去の複数のフレーム画像）の対応する画素を平均化する方法などを用いることができる。偏差リストも同様であり、上述の第２実施例で示した方法などを用いて生成することができる。
【０１３０】
また、図１９を参照して、上述した統計モデル及び小ブロック統計モデルに加え、推定モデルを用いる構成とした対象物検出システムの一例について説明する。なお、図１９は、本発明の実施形態に係る対象物検出システムを示した図１に相当するものであり、同様の構成となる部分については同じ符号を付し、詳細な説明については省略する。
【０１３１】
本実施例の対象物検出システムは、推定モデルを生成する推定モデル生成部２１と、推定モデル生成部２１で生成された推定モデルを保持する推定モデル保持部２２と、対比用背景画像を差分処理部１２に供給する対比用背景画像選択部２３と、を備える。対比用背景画像選択部２３は、推定モデル保持部２２から供給される推定モデルから生成される対比用背景画像と、対比用背景画像供給部１４から供給される統計モデル及び小ブロック統計モデルの少なくとも一方から生成される対比用背景画像と、のどちらを使用するかを選択する。そして、選択して得た対比用背景画像を差分処理部１２に供給する。このように、本実施例では、推定モデル生成部２１で生成される推定モデルに基づいた対比用背景画像が、差分処理部１２において用いられる場合がある。また、この対象物検出システムの動作例について、図２０のフローチャートを参照して説明する。
【０１３２】
図２０に、本実施例に係る対象物検出システムの全体的な動作の流れを表すフローチャートを示す。ステップＳ１〜Ｓ１２から成るループ処理を、各フレーム画像に対して実行する。フレーム周期は、例えば、１／３〜１／５秒である。ステップＳ１の処理は画像取得部１１によって実行され、ステップＳ２〜Ｓ６の各処理は対比用背景画像選択部２３によって実行され、ステップＳ７、Ｓ８及びＳ１０の各処理は差分処理部１２によって実行され、ステップＳ９の処理は推定モデル生成部２１によって実行され、ステップＳ１１の処理は表示制御部１３及び表示部３によって実行され、ステップＳ１２の処理は対比用背景画像供給部１４に備えられるマスク生成部１５によって実行される。
【０１３３】
各ステップの概要を説明する。ステップＳ１において、カメラ１から現フレーム画像を取得する。続くステップＳ２において、対比用背景画像供給部１４のモデル保持部１８に保持されたＮ個の統計モデルのそれぞれと、現フレーム画像とを比較し、ステップＳ３において、現フレーム画像に対して最も類似する背景モデル画像を含む１つの統計モデルを探索する。
【０１３４】
そして、ステップＳ４において、現フレーム画像に対する探索結果が前回のフレーム画像に対する探索結果と同じであるか否かを判断する。即ち、現フレーム画像に対して探索された統計モデルと前回のフレーム画像に対して探索された統計モデルとが同じであるか否かを判断する。同じである場合は、前回のフレーム画像の撮影時における照明条件と今回のそれとが同じであると推測されるため、対象物の検出に推定モデルを用いることができる。そこで、両探索結果が同じである場合は、前回と今回のフレーム間において照明条件が変化していないと推定してステップＳ５に移行し、ステップＳ５において推定モデルから対比用背景画像を生成する。一方、現フレーム画像に対する探索結果と前回のフレーム画像に対する探索結果が異なる場合は、前回のフレーム画像の撮影時における照明条件と今回のそれとが異なると推測されるため、対象物の検出に推定モデルを用いるのは適切ではない。そこで、両探索結果が異なる場合は、前回と今回のフレーム間において照明条件が変化したと推定してステップＳ６に移行し、ステップＳ６において統計モデル及び小ブロック統計モデルの少なくとも一方から対比用背景画像を生成する。即ち、図９に示す対比用背景画像３１４や、図１１に示す対比用背景画像４１４を生成する。尚、照明条件に関して、変化がないとは、完全に変化がない状態を含むだけでなく、変化があってもそれが無視できる程度に小さい状態をも含む。
【０１３５】
ステップＳ５又はＳ６で対比用背景画像が生成されるとステップＳ７に移行し、その対比用背景画像と現フレーム画像との間で差分処理を行う。この差分処理の結果に基づき、現フレーム画像の全体領域から対象物領域及び背景領域が抽出される。対象物領域の抽出及び背景領域の抽出は、それぞれ、ステップＳ１０及びＳ８にて実行される。対象物領域とは、対象物が描画されている領域を意味し、背景領域とは、対象物を含まない背景が描画されている領域を意味する。従って、フレーム画像の全体領域は、対象物領域と背景領域の合成領域に相当する。
【０１３６】
対象物領域及び背景領域が抽出された後、ステップＳ９において、その抽出結果に基づき推定モデルが更新されると共に、ステップＳ１１において、対象物領域の抽出結果が表示部３の表示画面上に表示される。例えば、対象物領域と背景領域を区別して視認可能なように、図１の表示制御部１３が、現フレーム画像に対象物領域を囲む枠を重畳した表示用画像を生成し、これを表示部３の表示画面上に表示させる。即ち、図３に示したような表示用画像を生成する。
【０１３７】
また、マスク生成部１５は、ステップＳ１０で差分処理部１２によって抽出されて出力される差分結果画像から、図５に示したようなマスク画像２１０を生成する。そして、ステップＳ９、Ｓ１１及びＳ１２の処理を終えると、ステップＳ１に戻り、次回のフレーム画像に対してステップＳ１〜Ｓ１２の各処理が実行される。
【０１３８】
カメラ１の照明条件（特に、照度）は、日中の太陽光の照度変化等によって比較的緩やかに変化する一方で、照明装置の電源オン／オフ等によって大幅に且つ瞬時に変化しうる。前者の変化の状態は推定モデルに逐次反映されるため、推定モデルを用いれば前者の変化に対して適切な対象物検出を実現可能である。一方、推定モデルを用いたのでは、後者の変化の状態に対応しきれないことがある。そこで、照明条件に大幅な瞬時変化が生じたと推定される場合は、多数のサンプル背景画像から統計的に作成された統計モデルや小ブロック統計モデルを用いて対象物の検出処理を行うこととしている。そのため、本実施例の構成とすることにより、カメラ１の照明条件の変化を推定し、その推定結果に応じて推定モデルと統計モデル及び小ブロック統計モデルを使い分けることが可能となる。したがって、照明条件の緩やかな変化と大幅な瞬時変化の双方に対応した精度の高い対象物検出が可能となる。
【０１３９】
以下、上述の各ステップにおける具体例について説明する。
【０１４０】
ステップＳ２における各統計モデルと現フレーム画像とを比較する際に、第２実施例で示した第１比較方法及び第２比較方法を適用することができる。また、ステップＳ７における差分処理は、上述したように第２実施例の『第１比較方法』などの方法を適用することが可能である。さらに、それによって得られる差分結果画像から対象物領域や背景領域を抽出する（ステップＳ８，Ｓ１０）際に、第１実施例に示したマスク画像を生成する際の、対象物領域及び背景領域の特定方法を用いても構わない。
【０１４１】
また、ステップＳ９の推定モデルの更新の具体例について図２１を参照して説明する。現フレーム画像２２０から対象物領域を抜き取った時の残りの画像と対比用背景画像２２１中の対象物領域内の画像とを合成することにより、擬似的に欠損のない現時点の背景画像としてのストック背景画像２２５を生成する。具体的には、現フレーム画像２２０から対象物領域（差分結果画像２２２に基づいて特定された対象物領域）に位置する一部画像を除去し、除去後の残りの画像を対象物除去画像２２３として生成する。図２１において、対象物除去画像２２３内の破線で囲まれた領域内が除去された領域を表している。一方で、対比用背景画像２２１から対象物領域（差分結果画像２２２に基づいて特定された対象物領域）に位置する一部画像を抽出し、この抽出画像を対象物位置背景画像２２４とする。そして、対象物位置背景画像２２４を対象物除去画像２２３に嵌め込むことによって両画像を合成し、その合成画像をストック背景画像２２５とする。
【０１４２】
ストック背景画像２２５は、ストック背景画像群の構成要素として、推定モデル生成部２１に追加されて保持される。保持されるストック背景画像の上限枚数は決まっており、既に上限枚数分のストック背景画像が記憶されている場合は、最も古くに加えられたストック背景画像を消去して新たなストック背景画像２２５を推定モデル生成部２１が保持する。これにより、ストック背景画像群が更新され、その更新されたストック背景画像群に基づいて新たに推定モデルを作成し直す。そして、新たに作成された推定モデル（即ち、今回のステップＳ９にて更新された推定モデル）は、推定モデル保持部２２に保持され、次回のフレーム画像に対する推定モデルとして利用される。
【０１４３】
このように、順次取得されるフレーム画像に基づいて推定モデルを更新していくことにより、比較的緩やかな照度変化に適応した対象物検出が可能となる。
【０１４４】
尚、ステップＳ４にて現フレーム画像に対する探索結果が前回のフレーム画像に対する探索結果と異なると判断されてステップＳ６に移行した場合、照明条件が急激に変化したと推定されるため、今まで保持していた推定モデルは対象物の検出処理に向かない。そこで、この場合、ステップＳ９においてストック背景画像群を一旦全て消去してもよい。また、同時に、その時点で保持されている推定モデルを破棄してもよい。
【０１４５】
この場合、Ｓ６において生成される対比用背景画像を用いて、図２１の対象物位置背景画像２２４と同様の画像を生成するとともに、現フレーム画像から対象物除去画像２２３と同様の画像を生成して、代替となるストック背景画像を生成してもよい。
【０１４６】
さらにこの場合において、現フレーム画像に対する探索結果が前回のフレーム画像に対する探索結果と同じであるという判断条件が、図２０のステップＳ４にて一旦不成立となると、次回以降のフレーム画像に対して該判断条件が満たされていたとしても、例外的処理を行うようにしてもよい。例外的処理とは、ステップＳ４からステップＳ５に移行することなく強制的にステップＳ６に移行し、統計モデルに基づく対比用背景画像を用いて、差分処理、対象物領域及び背景領域の抽出処理並びに代替となるストック背景画像の生成処理を行うことを意味する。例外的処理の実行によって、ストック背景画像の枚数が増加していく。ただし、この例外的処理は、推定モデル保持部２２に保持されるストック背景画像の枚数が規定枚数に到達した時点で行われなくなるものとする。逆に言えば、ストック背景画像の枚数が規定枚数に到達していない時には、上記判断条件の充足／不充足に拘らず例外的処理が行われる（従って、対象物検出システムの起動直後は例外的処理が行われる）。ストック背景画像の枚数が規定枚数に到達すると、ステップＳ９において、図１９の推定モデル生成部２１は、その規定枚数分のストック背景画像を用いて推定モデルを生成し、その推定モデルを保持する。その後は、上記の判断条件が成立するならば原則どおりステップ４からステップＳ５に移行して、その推定モデルを用いた対比用背景画像の生成処理及び差分処理等が行われる。
【０１４７】
例えば、規定回数が３０回である場合において、上記の判断条件が一旦不成立となった後、次回以降のフレーム画像に対して継続して該判断条件が満たされた場合を考える。この場合、次回以降の３０フレーム分のフレーム画像に対して例外的処理が行われて該３０フレーム分のフレーム画像を用いて３０枚のストック背景画像が生成され、その３０枚のストック背景画像を用いて推定モデルが生成される。その後は、上記の判断条件が成立するならば原則どおりステップＳ４からステップＳ５に移行して、その推定モデルを用いた対比用背景画像の生成処理及び差分処理等が行われる。新たに生成された推定モデルは、その時点の照明条件に適合した背景モデルとなる。
【０１４８】
＜＜第６実施例＞＞
次に、第６実施例について説明する。第６実施例では、図１の対象物検出システムを、実際のシステムに適用する際のシステム構成の例示などを行う。図２２は、第６実施例に係る対象物検出システムの全体ブロック図を表している。図２２の対象物検出システムは、撮像モジュール５０と及び監視装置６０を少なくとも有し、これらに端末機器７０及びインターネット網などのネットワーク８０が接続されている。端末機器７０は、通信機能を備えた端末機器であり、パーソナルコンピュータ、携帯電話機、携帯情報端末などである。端末機器７０及びネットワーク８０を、対象物検出システムの構成要素として捉えることも可能である。
【０１４９】
撮像モジュール５０は、符号５１〜５３にて参照される各部位を備え、対象物が存在しうる屋内等に設置される。監視装置６０は、符号６１〜６５にて参照される各部位を備え、監視者の居室に設置される。端末機器７０は、符号７１〜７３にて参照される各部位を備える。端末機器７０の使用者を、監視者の一人と捉えることもできる。
【０１５０】
図２２のカメラ５１及び表示部６３は、それぞれ、図１のカメラ１及び表示部３と同じものであってカメラ１及び表示部３として機能する。通信部５３は、撮像モジュール５０をネットワーク８０に接続するための部位であり、通信部６１は、監視装置６０をネットワーク８０に接続するための部位であり、通信部７１は、端末機器７０をネットワーク８０に接続するための部位である。通信部５３、６１及び７１は、ネットワーク８０を介して、通信部５３に接続されたモジュール側処理部５２と通信部６１に接続された監視側処理部６２と通信部７１に接続された端末側処理部７２との間のデータのやり取りを実現する。
【０１５１】
モジュール側処理部５２及び監視側処理部６２が協働して、図１の検出処理部２が形成される。即ち、検出処理部２にて行うべき処理の一部がモジュール側処理部５２にて実行され、検出処理部２にて行うべき残りの処理が監視側処理部６２にて実行される。
【０１５２】
例えば、図１の符号１１、１２、１４にて参照される各部位をモジュール側処理部５２に設け、図１の表示制御部１３を監視側処理部６２に設ける。尚、説明の便宜上、対比用背景画像供給部１４に備えるとした各部材（符号１５〜１９）を、異なる場所に設けることも可能である。また、統計モデル及び小ブロック統計モデルを生成するためのサンプル背景画像群の画像データを記憶部６５に記憶しておくようにし、記憶部６５の記憶内容に基づいて監視側処理部６２が各統計モデルを生成する。勿論、これは、検出処理部２にて行うべき処理の、モジュール側処理部５２と監視側処理部６２への割り振り方の一例であり、その割り振り方を任意に変形することが可能である。
【０１５３】
また、カメラ５１にて得られるフレーム画像の画像データに対する対象物領域の抽出結果を、撮像モジュール５０の通信部５３又は監視装置６０の通信部６１からネットワーク８０及び通信部７１を介して端末側処理部７２に伝達することにより、抽出結果を反映した、表示部６３にて表示される画像と同等の画像（例えば、図３の表示用画像２００）を表示部７３で表示させることも可能である。勿論、撮像モジュール５０側又は監視装置６０側で図３の表示用画像２００のような表示用画像を生成し、その表示用画像の画像データを端末機器７０に送ることで、その表示用画像を表示部７３上で表示させても良い。端末側処理部７２は、表示部７３の表示内容を制御する表示制御部としても機能し、その表示制御部を図１の表示制御部１３と等価なものとすることもできる。
【０１５４】
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。この他、上述の実施形態の変形例または注釈事項を以下に列記する。
【０１５５】
上述の対象物検出システムは、カメラ（１又は５１）の撮影領域内に対象物としての人物がいるか否かを検出するためのシステムとして利用可能である。特に例えば、カメラ（１又は５１）をステレオ画像を生成可能なように形成しておく。そして、ステレオ画像内における対象物領域を検出して、検出した対象物領域の画像を時系列で並べて解析すると対象物としての人物の姿勢をも検出することが可能となる。その姿勢の検出結果から人物が倒れていないか等を判断することも可能である。この他、対象物としての人物を不審者と捉えることにより、上述の対象物検出システムを防犯上の監視システムとすることもできる。また、対象物としての人物の数を計数することにより、カメラ（１又は５１）の撮影領域内の人物の数を計数するシステムを形成することもできる。
【０１５６】
また、対象物が人物である場合を想定して本発明の実施形態を説明したが、対象物は人物以外の任意の物体となりうる（尚、人物も物体に含まれる）。人物を含む物体は、移動物体と解釈することもできるし、カメラ（１又は５１）の撮影領域内への進入物体と解釈することもできる。
【０１５７】
また、上述の実施形態では対象物の検出結果を表示部を用いて対象物検出システムの外部に位置する監視者に報知するようにしているが、その検出結果を音声によって報知するようにしてもよい。この場合、例えば、対象物が検出されるべきフレーム画像から対象物が検出されたか否かを、図示されない音声出力部を用いて音声出力すればよい。
【０１５８】
また、カメラ１の撮影によって得られるフレーム画像の画像特徴（明るさや色合い）は、様々な要因によって変化する。この変化は、主として、カメラ１の照明条件（即ち、カメラ１の撮影領域を照らす光源の状態）の変化によってもたらされる。しかし、例えば、カメラ１の撮影領域内又は撮影領域周辺に位置する物体（部屋の壁など）の色や光沢が異なったり、その物体の配置位置が異なったりすると、光源自体に変化がなかったとしても、得られるフレーム画像の画像特徴は変化しうる。つまり、照明条件は、得られるフレーム画像の画像特徴に影響を与えるカメラ１の周辺環境条件の一種といえ、上記の物体の色や光沢、配置位置も該周辺環境条件の一種といえる。従って、上述の実施形態で述べた照明条件をカメラ１の周辺環境条件と読み替えることもできる。つまり、上述の対象物検出システムは、照明条件を含むカメラ１の周辺環境条件の変化に応じて、適切な差分処理が行われることを可能とする対比用背景画像を出力するシステムであると考えることもできる。
【０１５９】
また、図１の検出処理部２は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。ソフトウェアを用いて検出処理部２を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。検出処理部２にて行う必要のある演算処理の全部又は一部を、プログラムとして記述し、該プログラムをプログラム実行装置上で実行することによって、その演算処理の全部または一部を実現するようにしてもよい。
【０１６０】
同様に、図２２のモジュール側処理部５２及び監視側処理部６２のそれぞれは、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。ソフトウェアを用いてそれらを構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。モジュール側処理部５２及び監視側処理部６２にて行う必要のある演算処理の全部又は一部を、プログラムとして記述し、該プログラムをプログラム実行装置上で実行することによって、その演算処理の全部または一部を実現するようにしてもよい。
【０１６１】
例えば、以下のように考えることができる。被検出画像中の予測領域と非予測領域とを特定するマスクを生成する生成部は、図４のマスク生成部１５によって形成され、対比用背景画像を生成する対比用背景画像生成部は、図４の対比用背景画像生成部１９によって形成される。そして例えば、そのマスク生成部及び対比用背景画像生成部と図１の差分処理部１２とを含んで形成される部分が、対象物検出装置（又は物体検出装置）を形成する。この対象物検出装置（又は物体検出装置）に、図１の画像取得部１１、表示制御部１３、図４のモデル生成部１７の全部或いはそれらの内の何れかが更に含まれていると考えることも可能である。
【０１６２】
上記の対象物検出装置が実現する機能をプログラムとして記述し、そのプログラムを読み込ませたコンピュータ（不図示）に該機能を実現させる場合は、図１、図４、図８、図１０及び図１９の差分処理部１２、マスク生成部１５、及び対比用背景画像生成部１９，１９ａ及び１９ｂなどの処理内容や、図９及び図１１に示す模式図や図２０に示すフローチャートをプログラムとして記述すれば良い。
【０１６３】
以上、本発明における実施形態についてそれぞれ説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実行することができる。
【図面の簡単な説明】
【０１６４】
【図１】本発明の実施形態に係る対象物検出システムの全体ブロック図である。
【図２】図１の対象物検出システムによる対象物の検出方法の原理を説明するための図である。
【図３】図１の表示部３に表示される画像の例を示す図である。
【図４】図１の対比用背景画像供給部の基本構成を示すブロック図である。
【図５】図４のマスク生成部から出力されるマスクの模式図である。
【図６】図４のモデル生成部にて生成される統計モデルを説明するための図である。
【図７】図４のモデル生成部にて生成される小ブロック統計モデルを説明するための図である。
【図８】図１の対比用背景画像供給部の第１構成例を示すブロック図である。
【図９】図８の対比用背景画像供給部の第１構成例の動作を説明するための模式図である。
【図１０】図１の対比用背景画像供給部の第２構成例を示すブロック図である。
【図１１】図１０の対比用背景画像供給部の第２構成例の動作を説明するための模式図である。
【図１２】多数のサンプル背景画像がクラスタリングされる様子を表す図である。
【図１３】統計モデルに含まれる背景モデル画像の生成方法を説明するための図である。
【図１４】画像の特徴量及び特徴ベクトルがヒストグラムによって表現されることを示す図である。
【図１５】対比されるべき一方の画像のヒストグラムと、他方の画像のヒストグラムを示す図である。
【図１６】本発明の第４実施例に係り、対比用画像［非予測領域］と合成履歴とに基づいて、対比用画像［予測領域］に充てる小ブロック背景モデル画像の組み合わせを推定する方法について説明するための図である。
【図１７】小ブロックの相関を求める方法を説明するための図である。
【図１８】推定モデルを説明するための図である。
【図１９】本発明の第５実施例に係る対象物検出システムの全体ブロック図である。
【図２０】本発明の第５実施例に係る対象物検出システムの全体的な動作の流れを表すフローチャートである。
【図２１】現フレーム画像と推定モデルに基づく対比用背景画像との差分処理の様子を示す図である。
【図２２】本発明の第６実施例に係る対象物検出システムの全体ブロック図である。
【符号の説明】
【０１６５】
１  カメラ
２  検出処理部
３  表示部
１１  画像取得部
１２  差分処理部
１３  表示制御部
１４  対比用背景画像供給部
１５  マスク生成部
１６  画像保持部
１７  モデル生成部
１８  モデル保持部
１９，１９ａ，１９ｂ  対比用背景画像生成部
【図１】
2009265827.tif 000013
【図２】
2009265827.tif 000014
【図３】
2009265827.tif 000015
【図４】
2009265827.tif 000016
【図６】
2009265827.tif 000017
【図７】
2009265827.tif 000018
【図８】
2009265827.tif 000019
【図１０】
2009265827.tif 000020
【図１２】
2009265827.tif 000021
【図１３】
2009265827.tif 000022
【図１４】
2009265827.tif 000023
【図１５】
2009265827.tif 000024
【図１６】
2009265827.tif 000025
【図１７】
2009265827.tif 000026
【図１８】
2009265827.tif 000027
【図１９】
2009265827.tif 000028
【図２０】
2009265827.tif 000029
【図２１】
2009265827.tif 000030
【図２２】
2009265827.tif 000031
【図５】
2009265827.tif 000032
【図９】
2009265827.tif 000033
【図１１】
2009265827.tif 000034