(57)【特許請求の範囲】
【請求項１】
背景画像の時系列画像と入力画像を比較し、入力画像における変化領域を検出する変化領域検出装置であって、
背景画像の時系列画像から画素毎に同じ画像内の他の画素との明度の大小比較を行い、大小関係に基づいて符号を割り当て、各符号が生起し、かつ明度差の絶対値が所定値より大きくなる確率値を算出して記憶する第１処理手段と、
第１処理手段により算出された生起確率の確率値に基づいて、画素毎に同じ画像内の１つまたは複数の所定方向における他の画素を探索し、生起確率の確率値が所定値より最初に大きくなった画素をペア点として決定し、このペア点における増分符号１の確率値と増分符号０における確率値とを比較し、明度の大小関係を示す増分符号系列を算出して記憶する第２処理手段と、
入力画像に対し、第２処理手段により算出されたペア点と増分符号系列を用いて、入力画像の画素毎にペア点位置に対応する点との明度の大小比較を行い、大小関係に基づいて符号を割り当て、増分符号系列が一致した数が所定のしきい値より少ない点を変化領域として判定する第３処理手段と
を備えることを特徴とする変化領域検出装置。
【請求項２】
背景画像の時系列画像と入力画像を比較し、入力画像における変化領域を検出する変化領域検出方法であって、
背景画像の時系列画像から画素毎に同じ画像内の他の画素との明度の大小比較を行い、大小関係に基づいて符号を割り当て、各符号が生起し、かつ明度差の絶対値が所定値より大きくなる確率値を算出して記憶する第１ステップと、
第１ステップにより算出された生起確率の確率値に基づいて、画素毎に同じ画像内の１つまたは複数の所定方向における他の画素を探索し、生起確率の確率値が所定値より最初に大きくなった画素をペア点として決定し、このペア点における増分符号１の確率値と増分符号０における確率値とを比較し、明度の大小関係を示す増分符号系列を算出して記憶する第２ステップと、
入力画像に対し、第２ステップにより算出されたペア点と増分符号系列を用いて、入力画像の画素毎にペア点位置に対応する点との明度の大小比較を行い、大小関係に基づいて符号を割り当て、増分符号系列が一致した数が所定のしきい値より少ない点を変化領域として判定する第３ステップと、
を備えることを特徴とする変化領域検出方法。
【請求項３】
入力された背景画像の時系列画像から画素毎に同じ画像内の他の画素との明度の大小比較を行い、大小関係に基づいて符号を割り当て、各符号が生起しかつ明度差の絶対値が所定値より大きくなる確率値を算出する生起確率演算部と、
前記生起確率演算部が算出した生起確率の確率値に基づいて、画素毎に同じ画像内の１つまたは複数の所定方向における他の画素を探索し、生起確率の確率値が所定値より最初に大きくなった画素をペア点として決定し、このペア点における増分符号１の確率値と増分符号０における確率値とを比較し、明度の大小関係を示す増分符号系列を算出するペア点系列・増分符号系列演算部と、
入力された入力画像に対し、前記ペア点系列・増分符号系列演算部により算出されたペア点と増分符号系列を用いて、入力画像の画素毎にペア点位置に対応する点との明度の大小比較を行い、大小関係に基づいて符号を割り当て、増分符号系列が一致した数が所定のしきい値より少ない点を変化領域として判定する変動判定部と、
を備えることを特徴とする変化領域検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、背景差分法に用いて好適な変動領域を検出する変化領域検出装置及び変動領域検出方法に関するものであり、具体的には、背景画像の時系列画像と入力画像を比較し、入力画像における変化領域を増分符号相関に基づき検出する変動領域検出装置及び変動領域検出方法に関するものである。
【背景技術】
【０００２】
背景差分法は比較的容易な実装で、情景中の背景と対象物体（前景）を分離することができるため、多くの画像処理、監視カメラシステムで用いられている技術である。最も簡単な方法としては、明度値の単純な差分に基づく方法であるが、明るさの変動の影響を直接的に受ける問題がある。特に、屋外を長時間監視するような用途においては、天候により明度変化が大きく、風による木々の揺れなどの影響も大きな問題となる。このような問題に対応するため、多数の背景画像から統計的にモデルを構築するアプローチなどが提案されている。しかし、計算量が膨大で、実装面に課題を残している（非特許文献１）。
【０００３】
また、別の方法として、非特許文献２における増分符号相関による背景差分法がある。この背景差分法は、隣接画素間の明度の増減に着目した明度変化にロバストな画像照合方法である。この方法においては、画素間の大小を“０”と“１”の符号で表し、テンプレートと対象画像との符号の一致を測る。参照点を含む領域の一様な明度変化の影響を受けず、一様でない変化であっても明度の大小関係が反転しなければ影響を受けない性質を持つ。
【０００４】
また、特許文献１に記載されている画像処理方法は、増分符号相関の考え方を導入した照明変動にロバストな背景差分法である。背景画像のテクスチャの状態に応じてピクセル単位で適応的に増分符号の参照点（ペア点）を決めるメカニズムにより、様々な情景において安定した背景差分を実現している。しかし、一枚ないし複数の画像の平均画像を背景画像として用いており、時間経過とともに変化する部分など、背景の推定に時系列情報が必要な場合に対応できない。
【０００５】
特許文献２に記載されているオブジェクト検出方法においては、時系列画像から出現オブジェクトを検出する場合に、時系列画像から増分符号の生起確率を求め、背景との類似度に反映させており、木々の揺れなどの変動を学習することができる。しかし、増分符号の参照点（ペア点）は隣接１点のみであり、領域ごとに類似度を求めるため、検出結果の空間分解能が低下する。
【非特許文献１】C. Stauffer and W. E. L. Grimson, “Adaptive Background Mixture Models for Real-Time Tracking”, Proc. IEEE CVPR99, vol.2, pp.246-253, 1999
【非特許文献２】村瀬一朗、金子俊一、五十嵐悟、「増分符号相関によるロバスト画像照合」，信学論D-II, Vol.J83-D-II, No.5, pp.1323-1331, 2000
【特許文献１】特許第３８３１２３２号
【特許文献２】特開２００６−１８５２０６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
前述したように、従来の背景差分法においては、更に解決されるべき問題が多く存在する。例えば、背景差分法を用いて屋外を長時間監視するような用途においては、風による木々の揺れなどの影響が大きな問題となり、非特許文献１に記載のようなアプローチを取る場合においても、計算量が膨大であり、実装面に多くの課題が残る。
【０００７】
特許文献１に記載されている画像処理方法では、一枚ないし複数の画像の平均画像を背景画像として用いているので、時間経過とともに変化する部分など、背景の推定に時系列情報が必要な場合に対応できない。また、特許文献２に記載されているオブジェクト検出方法では、増分符号の参照点（ペア点）は隣接１点のみであり、領域ごとに類似度を求めるため、検出結果の空間分解能が低下する。
【０００８】
本発明は、このような従来の技術における様々な問題を解決するためになされたものであり、本発明の目的は、背景画像の時系列画像と入力画像を比較し、入力画像における変化領域を増分符号相関に基づき検出する変動領域検出装置及び変動領域検出方法を提供することにある。
【課題を解決するための手段】
【０００９】
上記のような課題を解決するため、本発明においては、基本的な構成として、明度変動だけでなく屋外環境における様々な外乱に対してロバストな背景差分を実現するために，ＲＲＣ（Ｒａｄｉａｌ  Ｒｅａｃｈ  Ｃｏｒｒｅｌａｔｉｏｎ）に対し多数の背景画像から統計的に増分符号を評価してペア点を決定するメカニズムを導入する。
【００１０】
具体的に、本発明は、第１の態様として、本発明よる変動領域検出装置は、背景画像の時系列画像と入力画像を比較し、入力画像における変化領域を検出する変化領域検出装置であって、背景画像の時系列画像から画素毎に同じ画像内の他の画素との明度の大小比較を行い、大小関係に基づいて符号を割り当て、各符号が生起し、かつ明度差の絶対値が所定値より大きくなる確率値を算出して記憶する第１処理手段と、第１処理手段により算出された生起確率の確率値に基づいて、画素毎に同じ画像内の１つまたは複数の所定方向における他の画素を探索し、生起確率の確率値が所定値より最初に大きくなった画素をペア点として決定し、このペア点における確率値を比較し、明度の大小関係を示す増分符号系列を算出して記憶する第２処理手段と、入力画像に対し、第２処理手段により算出されたペア点と増分符号系列を用いて、入力画像の画素毎にペア点位置に対応する点との明度の大小比較を行い、大小関係に基づいて符号を割り当て、増分符号系列が一致した数が所定のしきい値より少ない点を変化領域として判定する第３処理手段とを備えることを特徴とするものである。
【００１１】
また、本発明は、第２の態様として、本発明による変動領域検出方法が、背景画像の時系列画像と入力画像を比較し、入力画像における変化領域を検出する変化領域検出方法であって、背景画像の時系列画像から画素毎に同じ画像内の他の画素との明度の大小比較を行い、大小関係に基づいて符号を割り当て、各符号が生起し、かつ明度差の絶対値が所定値より大きくなる確率値を算出して記憶する第１ステップと、第１ステップにより算出された生起確率の確率値に基づいて、画素毎に同じ画像内の１つまたは複数の所定方向における他の画素を探索し、生起確率の確率値が所定値より最初に大きくなった画素をペア点として決定し、このペア点における確率値を比較し、明度の大小関係を示す増分符号系列を算出して記憶する第２ステップと、入力画像に対し、第２ステップにより算出されたペア点と増分符号系列を用いて、入力画像の画素毎にペア点位置に対応する点との明度の大小比較を行い、大小関係に基づいて符号を割り当て、増分符号系列が一致した数が所定のしきい値より少ない点を変化領域として判定する第３ステップとを備えることを特徴とするものである。
【００１２】
また、本発明は、第３の形態として、本発明による変動領域検出装置が、入力された背景画像の時系列画像から画素毎に同じ画像内の他の画素との明度の大小比較を行い、大小関係に基づいて符号を割り当て、各符号が生起しかつ明度差の絶対値が所定値より大きくなる確率値を算出する生起確率演算部と、前記生起確率演算部が算出した生起確率の確率値に基づいて、画素毎に同じ画像内の１つまたは複数の所定方向における他の画素を探索し、生起確率の確率値が所定値より最初に大きくなった画素をペア点として決定し、このペア点における確率値を比較し、明度の大小関係を示す増分符号系列を算出するペア点系列・増分符号系列演算部と、入力された入力画像に対し、前記ペア点系列・増分符号系列演算部により算出されたペア点と増分符号系列を用いて、入力画像の画素毎にペア点位置に対応する点との明度の大小比較を行い、大小関係に基づいて符号を割り当て、増分符号系列が一致した数が所定のしきい値より少ない点を変化領域として判定する変動判定部とを備えることを特徴とするものである。
【発明の効果】
【００１３】
このような特徴を有する本発明の変動領域検出装置及び変動領域検出方法によれば、従来においては、１つの閾値のみで決定していたペア点の探索を，多数の背景画像から得られる生起確率に従って決定することにより，背景画像中の経時的な変化を考慮したよりロバストな背景差分を実現することができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施の形態を一実施例に基づいて、図１乃至図４を適宜参酌しながら説明する。図１は、本発明にかかる変化領域検出装置の構成を説明する図であり、図２は背景推定部１１１の処理手順を説明するフローチャートであり、図３は変化領域検出部１１０の処理手順を説明するフローチャートである。また、図４は、背景差分法におけるＲＲＣ（Ｒａｄｉａｌ  Ｒｅａｃｈ  Ｃｏｒｒｅｌａｔｉｏｎ）のリーチの方向ベクトルを説明する図である。
【００１５】
変化領域検出装置は、図１に示すように、大きくは２つのデータ処理ブロックから構成される。具体的には、入力画像を受け付けて変化領域を検出する変化領域検出部１１０および背景画像の時系列画像を受け付けてペア点と増分符号系列を生成する背景推定部１１１から構成されており、背景画像の時系列画像と入力画像を比較して、入力画像における変化領域を検出する。
【００１６】
変化領域検出部１１０は、変動判定部１０５およびペア点系列・増分符号系列記憶部１０４から構成される。位置ペア点系列・増分符号系列記憶部１０４には、背景推定部１１１により算出された前記ペア点と増分符号系列が予め記憶されており、変動判定部１０５が、ペア点系列・増分符号系列記憶部１０４に記憶されているペア点と増分符号系列を用いて、画素毎にペア点位置に対応する点との明度の大小比較を行い、大小関係に基づいて符号を割り当て、増分符号系列が一致した数が所定のしきい値より少ない点を変化領域として判定する。
【００１７】
背景推定部１１１は、生起確率演算部１０１、生起確率記憶部１０２、およびペア点系列・増分符号系列演算部１０３の要素から構成され、前処理として、入力される背景画像の時系列画像に基づいて、ペア点と増分符号系列を生成して、変化領域検出部１１０のペア点系列・増分符号系列記憶部１０４に記憶する。
【００１８】
背景推定部１１１においては、生起確率演算部１０１が、入力された背景画像の時系列画像から画素毎に同じ画像内の他の画素との明度の大小比較を行い、大小関係に基づいて符号を割り当て、各符号が生起しかつ明度差の絶対値が所定値より大きくなる確率値を算出する。ここで算出した確率値を生起確率として、生起確率記憶部１０２に記憶する。次に、ペア点系列・増分符号系列演算部１０３が、生起確率記憶部１０２に記憶されている生起確率の確率値に基づいて、画素毎に同じ画像内の１つまたは複数の所定方向における他の画素を探索し、生起確率の確率値が所定値より最初に大きくなった画素をペア点として決定し、このペア点における確率値を比較し、明度の大小関係を示す増分符号系列を算出する。この算出されたペア点と増分符号系列は、変化領域検出部１１０のペア点系列・増分符号系列記憶部１０４に記憶される。
【００１９】
背景推定部１１１においては、図２に示す処理手順により、ペア点系列・増分符号系列記憶部１０４のペア点系列ｑ（ｋ，ｐ）と、増分符号系列ｂ（ｋ，ｐ）を求める。
【００２０】
この処理手順では、着目点から、方向ベクトルｄ（ｋ）にリーチを伸ばして、これらの方向へのリーチ長ｒ（ｋ）を求め、ペア点を探索する。例えば、図４に示すような８方向の場合には、リーチの方向ベクトルｄ（ｋ）（ただしｋ＝１，２，…，８）を、それぞれｄ（１）＝（１，０）Ｔ，ｄ（２）＝（１，１）Ｔ，ｄ（３）＝（０，１）Ｔ，ｄ（４）＝（−１，１）Ｔ，ｄ（５）＝（−１，０）Ｔ，ｄ（６）＝（−１，−１）Ｔ，ｄ（７）＝（０，−１）Ｔ，ｄ（８）＝（１，−１）Ｔのように定義する。
【００２１】
まず、ステップＳ１０１の処理においては、生起確率演算部１０１の処理によって、次の生起確率を算出し、生起確率記憶部１０２に格納する。すなわち、Ｎ枚の背景画像Ｉ１，Ｉ２，…，ＩＮに対する着目点ｐ，リーチ方向ｋ，任意のリーチ長ｒにおける増分符号がｓ（＝“０”または“１”）となる生起確率Ｐ（ｓ，ｋ，ｐ，ｒ）は、
【数１】
0005004095.tif 000002
となる。ここで、Ｑｎ（ｓ，ｋ，ｐ，ｒ）は、
【数２】
0005004095.tif 000003
とする。ＴＰは明度差分の閾値とする。このＴＰは撮像系のノイズレベルに応じて定められる。二値関数のδは、
【数３】
0005004095.tif 000004
である。また、ここでのｂｎ（ｋ，ｐ，ｒ）は、背景画像Ｉｎ中の点ｐと点ｐ＋ｒｄ（ｋ）によって定まる増分符号であり、
【数４】
0005004095.tif 000005
とする。Ｑｎ（ｓ，ｋ，ｐ，ｒ）は、この増分符号がｓとなり、かつ両点間の明度差分がＴＰ以上となるときに“１”となる値である。
【００２２】
次に、ステップＳ１０２の処理において、ペア点系列・増分符号系列演算部１０３は、生起確率記憶部１０２の生起確率Ｐ（ｓ，ｋ，ｐ，ｒ）を参照し、リーチ長ｒ（ｋ，ｐ）を次のように決定する。
【数５】
0005004095.tif 000006
ここでＴＲは確率の閾値である。０．９を使用した場合では、全背景画像群の９割において、同一の増分符号を持つ参照点を選択することになる。このように決定されたリーチ長を持つペア点系列「ｑ（ｋ，ｐ）＝ｒ（ｋ，ｐ）ｄ（ｋ）」を、ペア点列・増分符号系列記憶部１０２に記憶する。
【００２３】
最後にステップＳ１０３において、増分符号系列ｂ（ｋ，ｐ）を生起確率記憶部１０２の生起確率Ｐ（ｓ，ｋ，ｐ，ｒ）を参照し、
【数６】
0005004095.tif 000007
として求め、ペア点列・増分符号系列記憶部１０４に記憶する。
【００２４】
次に、変化領域検出部１１０による背景および前景の分離処理の手順について、図３を参照して説明する。
【００２５】
ステップＳ２０１の処理により、変動判定部１０５において、ペア点列・増分符号系列記憶部１０４に記憶されているペア点系列ｑ（ｋ，ｐ）と、入力画像Ｊの着目点ｐ＝（ｘ，ｙ）における増分符号系列ｂ’（ｋ，ｐ）を次のように算出する。
【数７】
0005004095.tif 000008
【００２６】
次に、ステップＳ２０２の処理により、ペア点系列・増分符号系列記憶部１０４に記憶されているペア点と増分符号系列を用いて、背景画像の増分符号系列ｂ（ｋ，ｐ）を参照し、一致数（放射リーチ相関）Ｂ（ｐ）を、
【数８】
0005004095.tif 000009
として求める。
【００２７】
次に、ステップＳ２０３の処理において、放射リーチ相関Ｂ（ｐ）をある判定しきい値ＴＢと比較し、変化領域検出結果の画像Ｃ（ｐ）を以下のように決定して、出力する。
【数９】
0005004095.tif 000010
ここで、“１”の画素は変化領域（前景）、“０”の画素は背景であると判断されたことを示す。なお、特許文献１と同様に領域の画素併合処理を後処理として加えるような処理としても良い。
【００２８】
本発明の変化領域検出装置は、汎用のデータ処理装置（パーソナルコンピュータ）にインストールされたプログラムの処理によっても実現可能である。その場合には、図１により説明した変化領域検出装置の中のデータ処理要素に対応したプログラムモジュールが実装されて実現される。すなわち、次のような処理モジュールが設けられたシステムとして構成される。
【００２９】
生起確率演算部１０１および生起確率記憶部１０２に対応して、背景画像の時系列画像から画素毎に同じ画像内の他の画素との明度の大小比較を行い、大小関係に基づいて符号を割り当て、各符号が生起し、かつ明度差の絶対値が所定値より大きくなる確率値を算出して記憶する第１処理手段が設けられ、ペア点系列・増分符号系列演算部１０３およびペア点列・増分符号系列記憶部１０４に対応して、算出された生起確率の確率値に基づいて、画素毎に同じ画像内の１つまたは複数の所定方向における他の画素を探索し、生起確率の確率値が所定値より最初に大きくなった画素をペア点として決定し、このペア点における確率値を比較し、明度の大小関係を示す増分符号系列を算出して記憶する第２処理手段が設けられ、また、変動判定部１０５に対応して、入力画像に対し、算出されたペア点と増分符号系列を用いて、入力画像の画素毎にペア点位置に対応する点との明度の大小比較を行い、大小関係に基づいて符号を割り当て、増分符号系列が一致した数が所定のしきい値より少ない点を変化領域として判定する第３処理手段が設けられたシステムとして構成される。
【００３０】
また、本発明による変化領域検出方法をコンピュータのデータ処理の実行により実施する場合には、コンピュータのプログラム処理により、背景画像の時系列画像から画素毎に同じ画像内の他の画素との明度の大小比較を行い、大小関係に基づいて符号を割り当て、各符号が生起し、かつ明度差の絶対値が所定値より大きくなる確率値を算出して記憶する第１ステップと、第１ステップにより算出された生起確率の確率値に基づいて、画素毎に同じ画像内の１つまたは複数の所定方向における他の画素を探索し、生起確率の確率値が所定値より最初に大きくなった画素をペア点として決定し、このペア点における確率値を比較し、明度の大小関係を示す増分符号系列を算出して記憶する第２ステップと、入力画像に対し、第２ステップにより算出されたペア点と増分符号系列を用いて、入力画像の画素毎にペア点位置に対応する点との明度の大小比較を行い、大小関係に基づいて符号を割り当て、増分符号系列が一致した数が所定のしきい値より少ない点を変化領域として判定する第３ステップの処理を、コンピュータにより実行することで実現される。
【００３１】
本発明による変化領域検出装置の有効性を示すため、評価実験を行った。この評価実験で用いたサンプル映像（背景画像、入力画像）は屋外を撮影したもので、歩行者や車、揺らめく樹木などが含まれている。太陽光の変動が大きく、全体の明度変動や強い影、ハイライトなどの影響により単一モデルによる背景差分を行う場合には非常に難しい課題となっている。
【００３２】
実験結果を図５に示す。ここでの平均画像は、各画素の平均をとったものである。この画像を単純背景差分、及び特許文献１による背景画像として用いた。
【００３３】
図５の入力画像については、左側の画像ほど日照が強く、屋根の庇や樹木などの強い影も現れている。右側の画像では雲に覆われ薄暗くなっている。上空の雲は時間経過とともに移動している。
【００３４】
以下はそれぞれの方法による背景差分の処理結果であり、白画素が前景として検出された部分を示している。
【００３５】
図５の固定閾値（閾値は４０）による単純背景差分の結果では、日照の影響により建物の壁面や道路面など閾値を越えた明度変動があるため、過検出／未検出が多く見られる。特に、背景画像に対して明度変動の大きい右端および左端では過検出が顕著で、歩行者が確認できない。
【００３６】
図５の特許文献１による結果では、閾値として、ＴＰ＝１０，ＴＢ＝６を用いている。歩行者を良好に検出しているが同時に、時間経過とともに現れるハイライト部分、テクスチャの変化を伴う影、上空を移動している雲など、増分符号の反転を引き起こす変化が検出されている。
【００３７】
図５の本発明による結果では、閾値として、ＴＰ＝１０，ＴＢ＝６、背景推定のための確率の閾値はＴＲ＝０．９を用いている。特許文献１が空間的な評価基準のみでペア点を決定しているのに対し、時空間にわたる評価によってロバストなペア点を決定するこの方法では、特許文献１で問題となった過検出が良好に除去されていることがわかる。極めて厳しい条件でありながら歩行者のみを良好に検出している。
【図面の簡単な説明】
【００３８】
【図１】本発明にかかる変化領域検出装置の構成を説明する図である。
【図２】背景推定部１１１の処理手順を説明するフローチャートである。
【図３】変化領域検出部１１０の処理手順を説明するフローチャートである。
【図４】背景差分法におけるＲＲＣ（Ｒａｄｉａｌ  Ｒｅａｃｈ  Ｃｏｒｒｅｌａｔｉｏｎ）のリーチの方向ベクトルを説明する図である。
【図５】評価実験の実験結果を説明する図である。
【符号の説明】
【００３９】
１０１  生起確率演算部
１０２  生起確率記憶部
１０３  ペア点系列・増分符号系列演算部
１０４  ペア点系列・増分符号系列記憶部
１０５  変動判定部
１１０  変化領域検出部
１１１  背景推定部
【図１】
0005004095.tif 000011
【図２】
0005004095.tif 000012
【図３】
0005004095.tif 000013
【図４】
0005004095.tif 000014
【図５】
0005004095.tif 000015