(57)【要約】  基準画像及び画像シーケンス内の各入力画像を規定する画像データが処理されて、画像における変化が検出される。画素ごとに、当該画素における画像データの均一性の空間変化率を規定する値が計算される。各画像内の画素の異なる複数の領域が選択され、各領域内の値が連結されて、領域ごとにベクトルが規定される。ベクトルはその後処理されて、各画像内の対応する領域が比較される。比較の結果は、変化が起こった画像内のエリアを識別する相関マップを規定する。
2009544090.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像及び第２の画像における変化を検出するために、該第１の画像及び該第２の画像を規定する画像データを処理する方法であって、
前記第１の画像の画像データを処理することであって、該第１の画像内の異なる複数の画素位置において前記画像データの均一性の空間変化率を表すデータを生成する、処理すること、
前記第２の画像の画像データを処理することであって、該第２の画像内の異なる複数の画素位置において前記画像データの均一性の空間変化率を表すデータを生成する、処理すること、
前記第１の画像内の異なる複数の画素位置に関して生成される前記空間変化率データを結合することであって、前記第１の画像内の複数の画素の代表値を生成する、結合すること、
前記第２の画像内の異なる複数の画素位置に関して生成される前記空間変化率データを結合することであって、前記第２の画像内の複数の画素の代表値を生成する、結合すること、及び
前記第１の画像の前記代表値と前記第２の画像の前記代表値とを比較することであって、前記画像間の差異を確認する、比較すること、
を含む、方法。
【請求項２】
前記画像データに対してフィルタを適用して該画像データの均一性の比較的高い空間変化率を増幅することによって、前記第１の画像の前記画像データ及び前記第２の画像の前記画像データが処理されて、該画像データの前記均一性の空間変化率を表す前記データが生成される、請求項１に記載の方法。
【請求項３】
前記画像データに対してフィルタを適用して該画像データの均一性の比較的低い空間変化率を減衰させることによって、前記第１の画像の前記画像データ及び前記第２の画像の前記画像データが処理されて、該画像データの前記均一性の空間変化率を表す前記データが生成される、請求項１又は２に記載の方法。
【請求項４】
線形フィルタが前記第１の画像の前記画像データ及び前記第２の画像の前記画像データに適用されて、該画像データの前記均一性の空間変化率を表す前記データが生成される、請求項２又は３に記載の方法。
【請求項５】
前記線形フィルタは、勾配フィルタ、ラプラシアンフィルタ、及びウェーブレットフィルタのうちの１つを含む、請求項４に記載の方法。
【請求項６】
前記代表値を比較する処理は、
前記代表値間の相関を表す相関値を計算すること、及び
前記相関値を閾値と比較すること、
を含む、請求項１〜５のいずれか一項に記載の方法。
【請求項７】
前記第１の画像内の異なる複数の画素位置の前記空間変化率データが結合されて、前記第１の画像内の異なるサイズの複数の領域のそれぞれの各代表値が生成され、
前記第２の画像内の異なる複数の画素位置の前記空間変化率データが結合されて、前記第２の画像内の異なるサイズの複数の領域のそれぞれの各代表値が生成され、前記第２の画像内の前記領域は前記第１の画像内の前記領域と同じサイズを有し、
前記代表値を比較する処理は、前記第１の画像及び前記第２の画像からの同じサイズの領域の前記代表値を比較することを含む、請求項１〜６のいずれか一項に記載の方法。
【請求項８】
前記第１の画像内の異なる複数の画素位置の前記空間変化率データが結合されて、前記第１の画像内の異なる位置における複数の領域のそれぞれの各代表値が生成され、
前記第２の画像内の異なる複数の画素位置の前記空間変化率データが結合されて、前記第２の画像内の異なる位置における複数の領域のそれぞれの各代表値が生成され、前記第２の画像内の前記領域の前記位置は前記第１の画像内の前記領域の前記位置と同じであり、
前記代表値を比較する処理は、前記第１の画像及び前記第２の画像内の同じ位置における領域の前記代表値を比較することを含む、請求項１〜７のいずれか一項に記載の方法。
【請求項９】
前記第１の画像及び前記第２の画像のそれぞれにおける前記異なる複数の領域は、該領域が画像内で重なり合うように選択される、請求項７又は８に記載の方法。
【請求項１０】
前記代表値を比較する処理は、重なり合う領域の比較結果を結合することであって、該重なり合いにおける各画素のそれぞれの結果を生成する、結合することをさらに含む、請求項９に記載の方法。
【請求項１１】
前記第１の画像の前記空間変化率データが結合されて、該第１の画像の全体の代表値が生成され、
前記第２の画像の前記空間変化率データが結合されて、該第２の画像の全体の代表値が生成され、
前記第１の画像の全体の前記代表値と前記第２の画像の全体の前記代表値とが比較されて、前記画像間の差異が確認される、請求項１〜６のいずれか一項に記載の方法。
【請求項１２】
前記方法は、第１の画素値閾値を上回るか又は第２の画素値閾値を下回る値を有する、前記第１の画像内の画素を識別することをさらに含み、
前記第１の画像内の前記識別された画素及び前記第２の画像内の同じ位置を有する画素は、前記比較処理中、考慮に入れられない、請求項１〜１１のいずれか一項に記載の方法。
【請求項１３】
前記方法は、前記第１の画素値閾値を上回るか又は前記第２の画素値閾値を下回る値を有する、前記第２の画像内の画素を識別することをさらに含み、
前記第２の画像内の前記識別された画素及び前記第１の画像内の同じ位置を有する画素は、前記比較処理中、考慮に入れられない、請求項１２に記載の方法。
【請求項１４】
各前記識別された画素と、他方の前記画像内の同じ位置における対応する画素とに、該画素の前記空間変化率データとして０の値が割り当てられ、それによって、該画素は前記比較処理中、考慮に入れられない、請求項１２又は１３に記載の方法。
【請求項１５】
前記第１の画像の前記画像データの前記均一性の空間変化率を表すデータを生成する処理は、前記第１の画像データを処理することであって、複数の異なる方向における前記第１の画像データの前記均一性の空間変化率を規定するデータを生成する、処理することを含み、
前記第２の画像の前記画像データの前記均一性の空間変化率を表すデータを生成する処理は、前記第２の画像データを処理することであって、複数の異なる方向における前記第２の画像データの前記均一性の空間変化率を規定するデータを生成する、処理することを含み、前記方向は前記第１の画像の前記画像データ及び前記第２の画像の前記画像データに関して同じである、請求項１〜１４のいずれか一項に記載の方法。
【請求項１６】
前記方法は、
前記第１の画像において前記異なる方向に関して生成される前記空間変化率データにおいて、同じ位置における画素の前記空間変化率データを結合することであって、画素の各対のそれぞれの結合値を生成する、結合すること、及び
各前記結合値を検査することであって、該各結合値が結合値閾値を下回るか否かを判断する、検査すること、
をさらに含み、
前記結合値が前記結合値閾値を下回る画素と、前記第２の画像内の同じ位置を有する画素とは、前記比較処理中、考慮に入れられない、請求項１５に記載の方法。
【請求項１７】
前記方法は、
前記第２の画像において前記異なる方向に関して生成される前記空間変化率データにおいて、同じ位置における画素の前記空間変化率データを結合することであって、画素の各対のそれぞれの結合値を生成する、結合すること、及び
各前記結合値を検査することであって、該各結合値が前記結合値閾値を下回るか否かを判断する、検査すること、
をさらに含み、
前記結合値が前記結合値閾値を下回る画素と、前記第１の画像内の同じ位置を有する画素とは、前記比較処理中、考慮に入れられない、請求項１６に記載の方法。
【請求項１８】
前記結合値が前記閾値を下回っていた各画素と、他方の前記画像内の同じ位置における各画素とに、前記空間変化率データとして値０が割り当てられ、それによって、該画素は、前記比較処理中、考慮に入れられない、請求項１６又は１７に記載の方法。
【請求項１９】
前記方法は、
前記第１の画像において前記異なる方向に関して生成される前記空間変化率データにおいて、同じ位置における画素の前記空間変化率データを結合することであって、画素の各対のそれぞれの結合値を生成する、結合すること、
前記第２の画像において前記異なる方向に関して生成される前記空間変化率データにおいて、同じ位置における画素の前記空間変化率データを結合することであって、画素の各対のそれぞれの結合値を生成する、結合すること、及び
各前記結合値を検査することであって、該各結合値が結合値閾値を下回るか否かを判断する、検査すること、
をさらに含み、
前記第１の画像及び前記第２の画像の両方の、前記結合値が前記結合値閾値を下回る画素は、前記比較処理中、考慮に入れられない、請求項１５に記載の方法。
【請求項２０】
前記結合値が前記第１の画像及び前記第２の画像において前記閾値を下回っていた、両方の前記画像内の各画素に、前記空間変化率として値０が割り当てられ、それによって、該画素は、前記比較処理中、考慮に入れられない、請求項１９に記載の方法。
【請求項２１】
前記方法は、前記第１の画像及び前記第２の画像内の各画素の前記空間変化率データの符号無しの値を計算することをさらに含み、
前記符号無しの値が結合されて、前記代表値のそれぞれが生成される、請求項１〜２０のいずれか一項に記載の方法。
【請求項２２】
前記第１の画像の前記代表値と、前記第２の画像の前記代表値とを比較する処理は、符号無しの相関値を計算することを含む、請求項１〜２０のいずれか一項に記載の方法。
【請求項２３】
前記第１の画像及び前記第２の画像のそれぞれの前記空間変化率データを結合する処理は、前記画像内の異なる複数の画素位置の前記データを連結してベクトルを形成することを含み、
前記第１の画像の前記代表値と前記第２の画像の前記代表値とを比較する処理は、
前記第１の画像のベクトルと前記第２の画像のベクトルとの符号無しの積を計算すること、及び
前記符号無しの積に従って符号無しの相関値を生成すること、
を含む、請求項２２に記載の方法。
【請求項２４】
前記第１の画像の前記代表値と前記第２の画像の前記代表値とは、線形スケール不変比較処理を使用して比較される、請求項１〜２３のいずれか一項に記載の方法。
【請求項２５】
前記第１の画像及び前記第２の画像のそれぞれの前記空間変化率データを結合する処理は、前記画像内の異なる複数の画素位置の前記データを連結してベクトルを形成することを含み、
前記代表値を比較する処理は、前記ベクトル間の角度の尺度を求めることを含む、請求項２４に記載の方法。
【請求項２６】
前記代表値を比較する処理は、前記ベクトル間の角度の余弦を求めることを含む、請求項２５に記載の方法。
【請求項２７】
前記方法は、
前記第１の画像内の前記複数の画素内の異なる複数の画素位置の前記空間変化率データを重み付けすること、及び
前記第２の画像内の前記複数の画素内の異なる複数の画素位置の前記空間変化率データを重み付けすること、
をさらに含み、
前記第１の画像の前記代表値及び前記第２の画像の前記代表値は、前記重み付けされた空間変化率データ値を含む、請求項１〜２６のいずれか一項に記載の方法。
【請求項２８】
前記方法は、前記第１の画像及び前記第２の画像のそれぞれを処理することであって、異なる解像度のそれぞれの複数の画像を生成する、処理することをさらに含み、
前記空間変化率を計算する処理、前記空間変化率データを結合する処理、及び前記代表値を比較する処理は、各解像度において前記第１の画像及び前記第２の画像に関して実行される、請求項１〜６のいずれか一項に記載の方法。
【請求項２９】
前記方法は、
少なくとも１つのさらなる画像の画像データを処理することであって、各該さらなる画像内の異なる複数の画素位置において前記画像データの前記均一性の空間変化率を表すデータを生成する、処理すること、及び
各前記さらなる画像の前記空間変化率データと、前記第１の画像の前記空間変化率データとを合成することであって、合成された変化率データを生成する、合成すること、
をさらに含み、
前記第１の画像内の異なる複数の画素位置の前記空間変化率データを結合する処理は、異なる複数の画素位置の前記合成された空間変化率データを結合することを含む、請求項１〜２８のいずれか一項に記載の方法。
【請求項３０】
前記空間変化率データを合成する処理は、前記第１の画像及び各前記さらなる画像からの、各画素位置の前記空間変化率データのそれぞれの中央値を計算することを含む、請求項２９に記載の方法。
【請求項３１】
第１の画像及び第２の画像における変化を検出するために、該第１の画像及び該第２の画像を規定する画像データを処理する装置であって、
空間変化率計算手段であって、
前記第１の画像の画像データを処理して、該第１の画像内の異なる複数の画素位置において前記画像データの均一性の空間変化率を表すデータを生成すると共に、
前記第２の画像の画像データを処理して、該第２の画像内の異なる複数の画素位置において前記画像データの均一性の空間変化率を表すデータを生成する
ように動作可能な空間変化率計算手段と、
結合手段であって、
前記第１の画像内の異なる複数の画素位置に関して生成される前記空間変化率データを結合して、前記第１の画像内の複数の画素の代表値を生成すると共に
前記第２の画像内の異なる複数の画素位置に関して生成される前記空間変化率データを結合して、前記第２の画像内の複数の画素の代表値を生成する
ように動作可能な結合手段と、
前記第１の画像の前記代表値と前記第２の画像の前記代表値とを比較して、前記画像間の差異を確認するように動作可能な比較手段と、
を備える、装置。
【請求項３２】
前記空間変化率計算手段は、前記画像データに対してフィルタを適用して該画像データの均一性の比較的高い空間変化率を増幅することによって、前記第１の画像の前記画像データ及び前記第２の画像の前記画像データを処理して、該画像データの前記均一性の空間変化率を表す前記データを生成するように動作可能である、請求項３１に記載の装置。
【請求項３３】
前記空間変化率計算手段は、画像データに対してフィルタを適用して該画像データの均一性の比較的低い空間変化率を減衰させることによって、前記第１の画像の前記画像データ及び前記第２の画像の前記画像データを処理して、該画像データの前記均一性の空間変化率を表す前記データを生成するように動作可能である、請求項３１又は３２に記載の装置。
【請求項３４】
前記空間変化率計算手段は、前記第１の画像の前記画像データ及び前記第２の画像の前記画像データに線形フィルタを適用して、該画像データの前記均一性の空間変化率を表す前記データを生成するように動作可能である、請求項３２又は３３に記載の装置方法。
【請求項３５】
前記空間変化率計算手段は、勾配フィルタ、ラプラシアンフィルタ、及びウェーブレットフィルタのうちの１つを含む線形フィルタを適用するように動作可能である、請求項３４に記載の装置。
【請求項３６】
前記比較手段は、
前記代表値間の相関を表す相関値を計算するように動作可能な相関値計算手段と、
前記相関値を閾値と比較する手段と、
を含む、請求項３１〜３５のいずれか一項に記載の装置。
【請求項３７】
前記結合手段は、
前記第１の画像内の異なる複数の画素位置の前記空間変化率データを結合して、前記第１の画像内の異なる複数のサイズの領域のそれぞれの各代表値を生成すると共に
前記第２の画像内の異なる複数の画素位置の前記空間変化率データを結合して、前記第２の画像内の異なる複数のサイズの領域のそれぞれの各代表値を生成するように動作可能であり、前記第２の画像内の前記領域は前記第１の画像内の前記領域と同じサイズを有し、
前記比較手段は、前記第１の画像及び前記第２の画像からの同じサイズの領域の前記代表値を比較するように構成される、請求項３１〜３５のいずれか一項に記載の装置。
【請求項３８】
前記結合手段は、
前記第１の画像内の異なる複数の画素位置の前記空間変化率データを結合して、前記第１の画像内の異なる位置における複数の領域のそれぞれの各代表値を生成すると共に
前記第２の画像内の異なる複数の画素位置の前記空間変化率データを結合して、前記第２の画像内の異なる位置における複数の領域のそれぞれの各代表値を生成するように動作可能であり、前記第２の画像内の前記領域の前記位置は前記第１の画像内の前記領域の前記位置と同じであり、
前記比較手段は、前記第１の画像及び前記第２の画像内の同じ位置における領域の前記代表値を比較するように構成される、請求項３１〜３７のいずれか一項に記載の装置。
【請求項３９】
前記結合手段は、前記第１の画像及び前記第２の画像のそれぞれにおける前記異なる複数の領域を、該領域が画像内で重なり合うように選択するように構成される、請求項３７又は３８に記載の装置。
【請求項４０】
前記結合手段は、重なり合う領域の比較結果を結合して、該重なり合いにおける各画素のそれぞれの結果を生成するようにさらに動作可能である、請求項３９に記載の装置。
【請求項４１】
前記空間変化率計算手段は、
前記第１の画像の前記空間変化率データを結合して、該第１の画像の全体の代表値を生成すると共に
前記第２の画像の前記空間変化率データを結合して、該第２の画像の全体の代表値を生成するように動作可能であり、
前記比較手段は、前記第１の画像の全体の前記代表値と前記第２の画像の全体の前記代表値とを比較して、前記画像間の差異を確認するように動作可能である、請求項３１〜３６のいずれか一項に記載の装置。
【請求項４２】
前記装置は、第１の画素値閾値を上回るか又は第２の画素値閾値を下回る値を有する、前記第１の画像内の画素を識別するように動作可能な画素識別手段をさらに備え、
前記比較手段は、前記第１の画像内の前記識別された画素及び前記第２の画像内の同じ位置を有する画素を考慮に入れない比較処理を実行するように構成される、請求項３１〜４１のいずれか一項に記載の装置。
【請求項４３】
前記画素識別手段は、前記第１の画素値閾値を上回るか又は前記第２の画素値閾値を下回る値を有する、前記第２の画像内の画素を識別するように動作可能であり、
前記比較手段は、前記第２の画像内の前記識別された画素及び前記第１の画像内の同じ位置を有する画素を考慮に入れない比較処理を実行するように構成される、請求項４２に記載の装置。
【請求項４４】
前記画素識別手段は、各前記識別された画素と、他方の前記画像内の同じ位置における対応する画素とに、該画素の前記空間変化率データとして０の値を割り当てるように動作可能であり、それによって、該画素は、前記比較処理中、前記比較手段によって考慮に入れられない、請求項４２又は４３に記載の装置。
【請求項４５】
前記空間変化率計算手段は、
前記第１の画像データを処理して、複数の異なる方向における該第１の画像データの前記均一性の空間変化率を規定するデータを生成すると共に
前記第２の画像データを処理して、複数の異なる方向における該第２の画像データの前記均一性の空間変化率を規定するデータを生成するように動作可能であり、前記方向は前記第１の画像の前記画像データ及び前記第２の画像の前記画像データに関して同じである、請求項３１〜４４のいずれか一項に記載の装置。
【請求項４６】
前記装置は、
前記第１の画像において前記異なる方向に関して生成される前記空間変化率データにおいて、同じ位置における画素の前記空間変化率データを結合して、画素の各対のそれぞれの結合値を生成するように動作可能な結合値生成手段と、
各前記結合値を検査して、該各結合値が結合値閾値を下回るか否かを判断するように動作可能な結合値検査手段と、
をさらに備え、
前記比較手段は、前記結合値が前記結合値閾値を下回る画素と、前記第２の画像内の同じ位置を有する画素とを考慮に入れない比較処理を実行するように構成される、請求項４５に記載の装置。
【請求項４７】
前記結合値生成手段は、前記第２の画像において前記異なる方向に関して生成される前記空間変化率データにおいて、同じ位置における画素の前記空間変化率データを結合して、画素の各対のそれぞれの結合値を生成するように動作可能であり、
前記結合値検査手段は、前記第２の画像の各前記結合値を検査して、該各結合値が前記結合値閾値を下回るか否かを判断するように動作可能であり、
前記比較手段は、前記結合値が前記結合値閾値を下回る画素と、前記第１の画像内の同じ位置を有する画素とを考慮に入れない比較処理を実行するように構成される、請求項４６に記載の装置。
【請求項４８】
前記結合値検査手段は、前記結合値が前記閾値を下回っていた各画素と、他方の前記画像内の同じ位置における各画素とに、前記空間変化率データとして値０を割り当てるように構成され、それによって、該画素は、前記比較処理中、前記比較手段によって考慮に入れられない、請求項４６又は４７に記載の装置。
【請求項４９】
前記装置は、
結合値生成手段であって、
前記第１の画像において前記異なる方向に関して生成される前記空間変化率データにおいて、同じ位置における画素の前記空間変化率データを結合して、画素の各対のそれぞれの結合値を生成すると共に
前記第２の画像において前記異なる方向に関して生成される前記空間変化率データにおいて、同じ位置における画素の前記空間変化率データを結合して、画素の各対のそれぞれの結合値を生成する
ように動作可能である、結合値生成手段と、
各前記結合値を検査して、該各結合値が結合値閾値を下回るか否かを判断するように動作可能である結合値検査手段と、
をさらに備え、
前記比較手段は、前記第１の画像及び前記第２の画像の両方の、前記結合値が前記結合値閾値を下回る画素を考慮に入れない比較処理を実行するように構成される、請求項４５に記載の装置。
【請求項５０】
前記結合値検査手段は、前記結合値が前記第１の画像及び前記第２の画像において前記閾値を下回っていた、両方の前記画像内の各画素に、前記空間変化率として値０を割り当てるように構成され、それによって、該画素は、前記比較処理中、前記比較手段によって考慮に入れられない、請求項４９に記載の装置。
【請求項５１】
前記装置は、前記第１の画像及び前記第２の画像内の各画素の前記空間変化率データの符号無しの値を計算する手段をさらに備え、
前記結合手段は、前記符号無しの値を結合して、前記代表値のそれぞれを生成するように構成される、請求項３１〜５０のいずれか一項に記載の装置。
【請求項５２】
前記比較手段は、前記第１の画像の前記代表値と、前記第２の画像の前記代表値とを比較して、符号無しの相関値を計算するように動作可能である、請求項３１〜５０のいずれか一項に記載の装置。
【請求項５３】
前記結合手段は、前記画像内の異なる複数の画素位置の前記データを連結してベクトルを形成することによって、前記第１の画像及び前記第２の画像のそれぞれの前記空間変化率データを結合するように動作可能であり、
前記比較手段は、
前記第１の画像のベクトルと前記第２の画像のベクトルとの符号無しの積を計算すること、及び
前記符号無しの積に従って符号無しの相関値を生成すること、
によって、前記第１の画像の前記代表値と前記第２の画像の前記代表値とを比較するように動作可能である、請求項５２に記載の装置。
【請求項５４】
前記比較手段は、線形スケール不変比較処理を使用して、前記第１の画像の前記代表値と前記第２の画像の前記代表値とを比較するように動作可能である、請求項３１〜５３のいずれか一項に記載の装置。
【請求項５５】
前記結合手段は、前記画像内の異なる複数の画素位置の前記データを連結してベクトルを形成することによって、前記第１の画像及び前記第２の画像のそれぞれの前記空間変化率データを結合するように動作可能であり、
前記比較手段は、前記ベクトル間の角度の尺度を求めることによって前記代表値を比較するように動作可能である、請求項５４に記載の装置。
【請求項５６】
前記比較手段は、前記ベクトル間の角度の余弦を求めることによって前記代表値を比較するように動作可能である、請求項５５に記載の装置。
【請求項５７】
前記装置は、
重み付け手段であって、
前記第１の画像内の前記複数の画素内の異なる複数の画素位置の前記空間変化率データを重み付けすると共に
前記第２の画像内の前記複数の画素内の異なる複数の画素位置の前記空間変化率データを重み付けする
ように動作可能である、重み付け手段をさらに備え、
前記結合手段は、前記重み付けされた空間変化率データ値を結合して、前記第１の画像の前記代表値及び前記第２の画像の前記代表値を生成するように動作可能である、請求項３１〜５６のいずれか一項に記載の装置。
【請求項５８】
前記装置は、前記第１の画像及び前記第２の画像のそれぞれを処理する手段であって、異なる解像度のそれぞれの複数の画像を生成する、処理する手段をさらに備え、
前記空間変化率計算手段、前記結合手段、及び前記比較手段は、各解像度における前記第１の画像及び前記第２の画像を処理するように動作可能である、請求項３１〜３６のいずれか一項に記載の装置。
【請求項５９】
前記空間変化率計算手段は、少なくとも１つのさらなる画像の画像データを処理して、各該さらなる画像内の異なる複数の画素位置において前記画像データの前記均一性の空間変化率を表すデータを生成するように動作可能であり、
前記装置は、各前記さらなる画像の前記空間変化率データと、前記第１の画像の前記空間変化率データとを合成して、合成された変化率データを生成するように動作可能な合成手段をさらに備え、
前記結合手段は、異なる複数の画素位置の前記合成された空間変化率データを結合することによって前記第１の画像内の異なる複数の画素位置の前記空間変化率データを結合するように動作可能である、請求項３１〜５８のいずれか一項に記載の装置。
【請求項６０】
前記合成手段は、前記第１の画像及び各前記さらなる画像からの、各画素位置の前記空間変化率データのそれぞれの中央値を計算することによって前記空間変化率データを合成するように動作可能である、請求項５９に記載の装置。
【請求項６１】
プログラム可能なコンピュータ処理装置を、請求項１〜３０のうちの少なくとも一項に記載の方法を実行するように動作可能になるようにプログラムするためのコンピュータプログラム命令を記憶する記憶媒体。
【請求項６２】
プログラム可能なコンピュータ処理装置を、請求項１〜３０のうちの少なくとも一項に記載の方法を実行するように動作可能になるようにプログラムするためのコンピュータプログラム命令を搬送する信号。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理の分野に関し、より詳細には、画像における変化、特に（しかし排他的ではない）物体の動きを検出するための、画像シーケンスを規定する画像データの処理に関する。そして、このような変化の検出は、たとえば、他方の画像データからの変化に関連する画像データを分割し且つ／又は外部装置及び処理を制御するために使用することができる。
【背景技術】
【０００２】
同じシーンの異なる画像の間の変化を確認することは、多くのコンピュータビジョン用途における基本的動作である。衛星イメージングのような幾つかの用途では、課題は、比較的長い時間スケールにわたって変化を検出すること（たとえば、地形の侵食の効果若しくは構造を観察すること、又は農地利用における変化を確認すること)である。対照的に、ビデオ分析では、目標は、短い時間スケールにわたって変化を検出することであり得る。ビデオシーケンス内の間隔が狭いフレーム間で変化が測定される場合、問題のうちの１つは、シーン内の物体の動きを検出することである。
【０００３】
閉回路テレビ（ＣＣＴＶ）ビデオ監視は、取得されるビデオデータの量が、通常、人による観察及び分析の能力をはるかに超えている用途の一例である。大抵の状況では、制御室内のモニタよりもはるかに多くのカメラが存在し、それと人間の操作者との比は言うまでもない。他の顕著な特徴は、このビデオデータの大部分が興味を引かないものであることである（カメラの視野は長い期間にわたって無人であるか若しくは変化がない）か、又は操作者が特定のタイプの行動の監視にしか興味を示さない場合があることである。
【０００４】
これらの理由によって、画像シーケンスの何らかの自動分析を実行することは著しい実利をもたらす。適切なコンピュータビジョンアルゴリズムを実施することによって、興味を引かないビデオを放棄することができるか、又は逆に、興味対象のイベントを、人間の操作者に気付いてもらうために強調することができる。このように、視覚情報をより効率的且つ効果的に管理することができる。
【０００５】
監視ビデオの１つの基本的分析機能は、動きの検出及び位置特定である。動き検出器はそれ自体で、操作者にシーン内の行動に注意するよう呼びかけるか又はビデオストリームの記録を誘発することができる。さらに、ビデオフレーム内の移動物体（複数可）の位置を特定することができる場合、システムは、特定のゾーンへの侵入のようなより複雑なイベントを検査することができる。動き分割もさらなる分析のための重要な基盤である。物体追跡アルゴリズムは、履歴データと比較するために、検出された物体又はこれらの物体の測定された属性からイニシャライズすることができる。
【０００６】
このような動的な物体の動きは、興味対象となり得る、ビデオシーケンス内の変化の唯一のタイプではないことに留意されたい。数分又は数時間の期間にわたって、たとえば、シーン内の、静的な他の物体の到着又は出発を検出することが望ましい場合がある。したがって、本明細書で使用される場合の用語「動き」は、このような状況、及びさらには他の同様の状況の両方を包含するように使用される。フルレートビデオシーケンスが利用可能である場合、これは、動き検出とフレーム毎の物体追跡との組み合わせによって達成することができる。しかし、変化がより長い時間基準にわたって直接検出される可能性がある場合、２つのフレームの直接比較によって同じ結果がはるかにより簡単に達成され得る。さらには、動き分析及び物体追跡のアルゴリズムのうちの多数は、物体は連続するフレーム間でわずかに（インクリメンタルに）動くという仮定に依存し、この仮定は、たとえば低速度撮影ビデオ記録の場合のようには必ずしも満たされない。
【０００７】
画像シーケンス内の変化を検出するための様々な方法を上記で提示した。これらの方法及びこれらの方法の不利な点を以下で要約する。
【０００８】
背景差分
１つの既知の方法は、現在のフレームから基準又は「背景」画像を減算するという着想、すなわちフレーム差分(frame differencing)又は背景差分(background subtraction)である。この手法のほとんどの基本用途では、各時点における基準画像は単に前のフレームである。より複雑な背景モデルは、性能の向上をもたらし得る。線形フィルタリング及び非線形フィルタリング、予測、及び統計的モデリングを含む、前のフレームの履歴を統合する様々な方法が提案されている。これら方法のうちの幾つかの概説及び評価は、Cheung及びKamath（非特許文献１)によって提供されている。
【０００９】
背景差分を使用する最良の既知の方法のうちの１つは、Stauffer及びGrimsonによる「混合ガウス分布」背景モデルである（非特許文献２)。このアルゴリズムでは、背景強度／色の統計的モデルは画素ごとに構築される。これは、少数のガウス分布の混合モデルとして表現される。各ガウスは平均偏差及び標準偏差によって特徴付けられる。したがって、新しいフレームごとに、各画素はその混合モデル内の全成分と比較され、平均の２．５標準偏差内にある場合に、一致が宣言される。その後、画素ごとのモデルのパラメータは、次のフレームに進む前に更新される。
【００１０】
別の多モードの背景モデルは、Haritaoglu他（非特許文献３）からの「Ｗ４」システムにおいて使用される。この場合では、ビデオシーケンス内の固定画素から背景モデルを学習するためにトレーニング期間がまず使用される。このモデルは、トレーニング期間にわたる最小値、最大値、及び最大差異値によって特徴付けられる。
【００１１】
勾配法
Javed他（非特許文献４）は色とエッジベースの背景差分とを組み合わせる。Javed他は、画素色統計値のガウスモデルだけでなく、勾配の大きさ及び方向のガウスモデルも構築する。
【００１２】
近傍変化検出
幾人かの著者は、画素ごとの差分手法は、有用ではあるが、特にシーン照度が変化する状況において、複数の欠点を有することを述べている。これに応じて、これらの著者らは様々な局所的な近傍ベースの方法を提案している。Durucan及びEbrahimi（非特許文献５）は、周囲の近傍内の画素値を連結してベクトルを形成することによって各画素をモデル化するように提案している。２つのこのようなベクトル間の変化を測定するために、著者らは、これらのベクトルが一次独立であるか否かを評価する２つの異なる手段を開発している。基本となる仮定は、変化する照度はベクトルの線形スケーリングによってモデル化することができ、それによって、一次独立の程度（degree）の測定は、このような変化に対して単純な差分よりもロバストになるというものである。
【００１３】
Nagaya他（特許文献１）は同様の方法を提案している。Nagaya他は、画像内の画素の「スリット」又は線形スライス（linear slice）からベクトルを構築し、照度変化がこのベクトルの大きさを変更するが、このベクトルの方向は変更しないことを述べている。したがって、Nagaya他は、ベクトルがまず単位球面に投影され、その後比較される、正規化ベクトル距離を規定している。この距離はスケーリングに対して不変であり、したがって、アルゴリズムは照度変化に対してロバストであるはずである。Aoki他（特許文献２）は、画素のブロックからベクトルを構築し、同等の正規化距離を、２つのベクトル間の角度を直接測定するために内積を使用することによって計算することができることに言及している。
【００１４】
Matsuyama他（非特許文献６）は、距離値の空間統計値及び時間統計値を記録することによって、正規化ベクトル距離の概念をさらに発展させている。このようにすることで、Matsuyama他は、画像シーケンスのコンテンツ（content）に対する決定関数をより良好に採用するように意図している。
【００１５】
Kondo他（特許文献３）は、近傍の画素値のベクトルを比較するために正規化相関を使用している。この種類の距離測定は、線形スケーリングのみでなく、考慮されている２つの画像間の相加因子（additive factor）に対しても不変性を達成する。
【００１６】
Li及びLeung（非特許文献７）は、近傍ベースの比較の概念と画像勾配の使用とを組み合わせて、画像テクスチャ内の差異を測定する。しかし、Li及びLeungの論文で提案されている距離関数は依然として、（線形スケーリングによってモデル化されるような）照度の変化の影響を受けやすい。
【００１７】
照度補償
Bassman他（特許文献４）はまた、画素値の線形スケーリングによって照度変化をモデル化している。しかし、Bassman他は、これを大域的効果として扱い、したがって、スケーリング係数及びオフセットをフレーム全体にわたって評価する。これらのパラメータは、通常の画素ごとの差分を実行する前に、基準画像を変更して変化を補償するために使用される。
【００１８】
自動視覚分析アルゴリズムが、実際のシーンにおいて遭遇する広範な環境変化に対してロバストであるということは非常に重要である。これは特に、視覚監視のような、セキュリティが重要である用途に当てはまる。システムは、興味対象のイベント（及び複数の潜在的脅威）と、悪意によらない変化による画像変化とを区別することができなければならない。照明条件を変えることは、このような悪意によらないが、遍在する変化の一例である。
【００１９】
上記に挙げた従来技術の変化検出アルゴリズムのうちの多数は、多かれ少なかれ、照度変化に敏感である。画素ベースの背景差分方法は、検出された強度及び色の変化を動きの証拠として解釈する場合に、誤認警報を生成することになる。照度変化を正規化又は補償するように試みる方法のうち、大抵の方法は、局所的近傍において、又は画像全体にわたって大域的に、のいずれかで、強度変化の線形モデルに基づく。大域的仮定は自然の複雑なシーンにおいては直ぐに崩壊する。３次元シーンが、均一な照度又は全体における均一な照度変化のいずれかを有することは稀である。局所的仮定は、単一の物体又は表面にわたるような、画像の幾つかの部分においては有効であるが、不可避的に、相互反射、シャドーイング、及び不均一な照度が存在する場合では、線形モデルが機能しなくなる不連続（物体境界又は照度境界）が生じることになる。
【００２０】
従来技術の技法はしたがって、特に以下の、多数の問題を抱える：
差異が局所的な照明変化によってモデル化される場合があるため、強度が均一な移動領域の内部を均一な背景にわたって検出することができない、局所的近傍方法が直面するいわゆる「窓問題」（さらに詳細に後述する）。
複雑な背景モデルを維持する必要。
照度変化の影響を吸収する背景更新メカニズムへの依存、特に、背景差分に基づく方法は、物体の動きと動態的な他の変化とを区別する。したがって、速い照度変化及びゆっくり移動する物体はエラーをもたらす。
【先行技術文献】
【特許文献】
【００２１】
【特許文献１】米国特許出願公開第２００２／００３０７３９号
【特許文献２】米国特許出願公開第２００１／０００４４００号
【特許文献３】米国特許出願公開第２００５／０２５９８７０号
【特許文献４】米国公開特許第６０４４１６６号
【非特許文献】
【００２２】
【非特許文献１】Sen-Ching S. Cheung及びChandrika Kamath著「Robust techniques for background subtraction in urban traffic video」（IS&T/SPIE's Symposium on Electronic Imaging, San Jose, CA, United States January 18-22, 2004）
【非特許文献２】C. Stauffer及びW. E. L. Grimson著「Adaptive background mixture models for real-time tracking」（Proc. IEEE Conf. on Computer Vision and Pattern Recognition, p. 246-252, 1999）
【非特許文献３】Ismail Haritaoglu、David Harwood、及びLarry S. Davis著「W4 : Real-Time Surveillance of People and Their Activities」（IEEE Trans. on Pattern Analysis and Machine Intelligence, Vol. 22, No. 8, p 809-830, Aug. 2000）
【非特許文献４】Omar Javed、Khurram Shafique、及びMubarak Shah著「A Hierarchical Approach to Robust Background Subtraction using Color and Gradient Information」（Proc. IEEE Workshop on Motion and Video Computing, Orlando, Dec. 5-6, 2002）
【非特許文献５】Emrullah Durucan及びTouradj Ebrahimi「Change Detection and Background Extraction by Linear Algebra」（Proc. of the IEEE, Vol. 89, No. 10, p 1368-1381, Oct. 2001）
【非特許文献６】Takashi Matsuyama、Takashi Ohya、及びHitoshi Habe著「Background Subtraction for Non-Stationary Scenes」（Proc. 4th Asian Conference on Computer Vision, p. 662-667, 2000）
【非特許文献７】Liyuan Li及びMaylor K. H. Leung著「Integrating Intensity and Texture Differences for Robust Change Detection」（IEEE Trans. Image Processing, Vol. 11, No. 2, pp. 105-112, February 2002）
【００２３】
本発明は、従来技術の検出方法の問題のうちの少なくとも１つに対処することを目標とする。
【００２４】
本発明によれば、
第１の画像内の画素値がその画素において変化する割合を表す、第１の画像内の各画素の値を計算すること、
第２の画像内の画素値がその画素において変化する割合を表す、第２の画像内の各画素の値を計算すること、
第１の画像の異なる複数の領域における計算された値を結合することであって、各領域のそれぞれの代表値を生成する、結合すること、
第２の画像の異なる複数の領域における計算された値を結合することであって、各領域のそれぞれの代表値を生成する、結合すること、
第１の画像及び第２の画像の対応する領域の代表値を比較すること、並びに
比較結果に従って画像間の差異を確認すること、
によって、第１の画像及び第２の画像を規定する画像データが処理されて、画像間の差異が検出される、画像処理装置及び方法が提供される。
【００２５】
好ましくは、領域は異なるサイズを有し、第１の画像及び第２の画像においてサイズは同じである。これは、差異の検出を複数のスケールで実行することを可能にし、上述した「窓問題」に対処する。
【００２６】
好ましくは、代表値の比較は、代表値Ｒ１が代表値Ｒ２と比較される場合と、Ｒ１がαＲ２と比較される（αは線形スケーリング係数である）場合とにおいて同じ比較結果をもたらす線形不変比較処理によって実行される。この方法では、比較は、照度の変化によって引き起こされる差異と、物体の動作によって引き起こされる差異とを区別することができる。
【００２７】
代表値は、画素値が変化する割合を規定する符号無しの値を使用して生成することができる。この符号無しの値の使用は、代表値が画像内の画素値の変化の方向から独立しており、それによって、照度変化によって引き起こされる方向の変化が無効になるという利点を有する。
【００２８】
代替的に、画素値の変化の方向の変化を引き起こす照度変化の問題は、代表値を比較して符号無しの比較結果を生成することによって対処することができる。
【００２９】
各領域における計算された値を、互いに対して重み付けして、画像間の差異のより精密な位置特定を可能にすることができる。
【００３０】
画像のうちの一方を少なくとも１つのさらなる画像と共に処理して、他方の画像の代表領域値との比較のために代表領域値を生成することができる。たとえば、画素値が変化する割合を表す計算された値を異なる複数の画像に関して結合して、画素ごとに結合値を生成することができる（たとえば、同じ位置における画素の値の中央値をとることによる）。代表領域値はその後、結合値から生成することができる。これは、背景モデルを、照度条件及び移動物体から独立して合成することを可能にする。
【００３１】
本発明は、プログラム可能な処理装置を、上述したような装置として構成されるように又は上述したような方法を実行するように動作可能になるようにプログラムするための、コンピュータプログラム命令を記憶する記憶媒体のようなコンピュータプログラム製品、又はコンピュータプログラム命令を搬送する信号も提供する。
【００３２】
本発明の一実施の形態は、（強度値(intensity values)、又は赤、緑、及び青の値のような）画像画素値の偏導関数を使用して、照度に対して概ね不変である方法で画像における変化を検出する。
【００３３】
本発明の一実施形態は、基準画像と入力画像との間の勾配構造における変化の検出によって物体の動きを検出及び分割する。この手法は、複数の副次的な利益をもたらす。たとえば、簡単だが強力な背景モデルを、勾配領域において有利に構築することができる。
【００３４】
一実施の形態では、構造変化は、様々なサイズ(varying sizes)の近傍にわたって測定される。これは、この実施の形態が、カメラから異なる距離における異なるサイズの物体を一様に効率的に扱うと共に、上述した窓問題にも対処することを可能にする。
【００３５】
本発明の一実施の形態は、実世界のシーンの照度変化の柔軟なモデルを提供し、それによって、このような変化に対するロバスト性を向上させる。
【００３６】
本発明の一実施の形態は、計算的に単純な一連の処理を通じてロバスト変化検出を達成し、それによって、最大の効率性及び精度を提供する。
【００３７】
これより、本発明の実施形態を、例としてのみ、添付の図面を参照して説明する。
【図面の簡単な説明】
【００３８】
【図１】処理装置の構成要素がコンピュータプログラム命令によってプログラムされたときにその中に構成されたとみなされることができる概念的な機能処理ユニットと共に、本発明の第１の実施形態の構成要素を示す概略図である。
【図２】図１の処理装置によって実行される処理動作を示す図である。
【図３ａ】図２のステップＳ２−４において実行される処理動作を示す図である。
【図３ｂ】図２のステップＳ２−４において実行される処理動作を示す図である。
【図４ａ】変化する照度条件の効果を示す一例を示す図である。
【図４ｂ】変化する照度条件の効果を示す一例を示す図である。
【図５ａ】ステップＳ３−６ａ及びＳ３−６ｂにおける処理において異なるサイズの領域を選択する理由を示す一例を示す図である。
【図５ｂ】ステップＳ３−６ａ及びＳ３−６ｂにおける処理において異なるサイズの領域を選択する理由を示す一例を示す図である。
【図６】代表領域値を比較するために、第１の実施形態においてステップＳ２−６で実行される処理を示す図である。
【図７ａ】ステップＳ２−６における処理における相関マップ内の相関値の割り当てを示す図である。
【図７ｂ】ステップＳ２−６における処理における相関マップ内の相関値の割り当てを示す図である。
【図７ｃ】ステップＳ２−６における処理における相関マップ内の相関値の割り当てを示す図である。
【図８】代表領域値を比較するために、第２の実施形態においてステップＳ２−６で実行される処理を示す図である。
【発明を実施するための形態】
【００３９】
第１の実施形態
図１を参照すると、本発明の一実施形態は、従来の様態で、１つ又は複数のプロセッサ、メモリ、グラフィックカード等を、従来のパーソナルコンピュータモニタのような表示装置４と、キーボード、マウス等のようなユーザ入力装置６と共に含む、パーソナルコンピュータ（ＰＣ）のようなプログラム可能な処理装置２を含む。
【００４０】
処理装置２は、たとえば、（光学ＣＤ  ＲＯＭ、半導体ＲＯＭ、磁気記録媒体等のような）データ記憶媒体１２上に記憶されるデータ、及び／若しくは信号１４（たとえば、インターネットのような通信ネットワーク（図示せず）を介する送信若しくは大気を通じる送信による、たとえば遠隔データベースからの処理装置２に対する電気信号入力若しくは光信号入力）として入力され、且つ／又はユーザによってキーボードのようなユーザ入力装置６を介して入力される、プログラミング命令に従って動作するようにプログラムされる。
【００４１】
より詳細に後述されるように、プログラミング命令は、シーンの画像シーケンス内の各画像と基準画像とを比較して、これらの画像の間で変化が生じたか否かを判断するように構成されるように、処理装置２をプログラムするための命令を含む。この比較方法は、２つの画像内の対応する領域における画像構造を調査すると共に、照度の変化によって差異が説明され得るか否かを評価することによって動作する。このように説明することができない差異が存在する場合、重要な変化が生じたとみなされる。
【００４２】
プログラミング命令によってプログラムされた場合、処理装置２は、処理動作を実行する複数の機能装置として構成されていると考えることができる。このような機能装置及びこれらの相互接続の例は図１に示されている。しかし、図１に示されている装置及び相互接続は、概念的なものであり、理解を助けるように例示のためにのみ示されている。これらは、必ずしも、処理装置２のプロセッサ、メモリ等がその中に実際に構成される装置及び接続を表していない。
【００４３】
図１に示されている機能装置を参照すると、中央コントローラ２０は、ユーザ入力装置６からの入力を処理すると共に、さらに他の機能装置に制御及び処理を提供するように動作可能である。作業メモリ３０が、中央コントローラ２０及び他の機能装置による使用のために設けられる。
【００４４】
入力データインタフェース４０は、処理装置２内の入力データの記憶を制御するように動作可能である。データは、たとえば記憶媒体４２上に記憶されるデータ又は処理装置２に送信される信号４４として、処理装置２に対する入力とすることができる。この実施形態では、入力データは、変化が検出されるシーンの基準画像と、基準画像に対する変化を検出するためにリアルタイムで処理されるシーンの画像シーケンスとを規定するデータを含む。  
【００４５】
基準画像記憶装置５０は、基準画像の画像データと、基準画像データが処理されるときに当該データから導出される他のデータとを記憶するために設けられる。同様に、入力画像記憶装置６０は、シーケンス内の各画像の画像データと、後続の処理において当該データから導出されるデータとを記憶するために設けられる。
【００４６】
水平勾配計算器７０及び垂直勾配計算器８０は、基準画像の画像データ、及び画像のシーケンス内の各入力画像の画像データを処理して、それらにおける画素ごとの水平及び垂直の勾配成分をそれぞれ計算するように動作可能である。
【００４７】
絶対値計算器９０は、水平勾配計算器７０及び垂直勾配計算器８０によって計算された勾配成分の絶対値（符号から独立した大きさ又は振幅である）を計算するように動作可能である。
【００４８】
結合振幅計算器９４は、水平及び垂直の勾配成分を処理して、画像内の画素ごとの結合勾配振幅値を計算するように動作可能である。
【００４９】
領域選択器１００は、絶対値計算器９０によって生成される絶対値の画像から領域を選択するように動作可能である。この実施形態では、領域選択器１００は、画像内の異なるサイズの領域及び異なる位置の領域を選択するように動作可能である。
【００５０】
連結器１１０は、領域選択器１００によって選択される対応する領域のセット内の絶対値を連結して、対応する領域の各セットの各代表領域値を生成するように動作可能である。
【００５１】
相関器１２０は、連結器１１０によって生成される、基準画像及び入力画像の対応する領域の代表領域値を比較して相関マップを生成するように動作可能である。
【００５２】
画像変化検出器１３０は、相関器１２０によって生成される相関マップを処理して、そこから、基準画像と、基準画像と比較される入力画像との間の差異を検出するように動作可能である。
【００５３】
ディスプレイコントローラ１４０は、中央コントローラ２０の制御下で、表示装置４を制御してこの表示装置上に画像データを表示するように動作可能である。画像データは、たとえば、基準画像及び処理装置２に入力された入力画像のシーケンス、並びに／又は処理装置２による処理の結果（たとえば変化が検出された領域を識別するためにマークされた入力画像）を含むことができる。
【００５４】
出力データインタフェース１５０は、処理装置２からのデータの出力を制御するように動作可能である。この実施形態では、出力データは、変化が検出された入力画像の領域を画定するか、又は単に変化が検出されたことを示す信号を含むことができる。出力データインタフェース１５０は、たとえば、（光学ＣＤ  ＲＯＭ、半導体ＲＯＭ、磁気記録媒体等のような）記憶媒体１５２上のデータ、及び／又は信号１５４（たとえばインターネットのような通信ネットワークを介して若しくは大気を通じて送信される電気信号若しくは光信号）としてデータを出力するように動作可能である。出力データの記録は、記録装置（図示せず）を使用して、出力信号１５４を直接又は間接的に記録することによって（たとえば第１の記録を「マスタ」として行い、その後、後続の記録をマスタ又はマスタから派生した記録から行うことによって）行うことができる。
【００５５】
図２は、この実施形態において、入力データを処理するために処理装置２によって実行される処理動作を示している。この実施形態では、処理は、入力画像が処理装置２によって受信されるときにリアルタイムで実行される。しかし、当業者は理解するように、入力画像のシーケンスは、代わりに、処理装置２内に記憶して非リアルタイムで処理することができる。
【００５６】
図２を参照すると、ステップＳ２−２において、次の入力画像が処理のために選択される（初めてステップＳ２−２が実行される場合は、これは第１の入力画像である）。
【００５７】
ステップＳ２−４において、処理が実行されて、基準画像記憶装置５０に記憶されている基準画像の代表領域値と、ステップＳ２−２において選択された入力画像の代表領域値とが生成される。
【００５８】
図３は、ステップＳ２−４においてこの実施形態で実行される処理動作を示している。特定の処理は、基準画像及び入力画像に対して別個に実行される。これらの処理は、図３において、基準画像処理の場合は「ａ」で終わるステップ番号によって指定され、入力画像処理の場合は「ｂ」で終わるステップ番号によって指定されている。処理が基準画像及び入力画像の両方で同じ場合、以下の説明は、両方に言及するために包括的な用語「画像」を使用して処理を説明している。
【００５９】
図３を参照すると、処理における第１の段階は、基準画像（ステップＳ３−２ａ）及び入力画像（ステップＳ３−２ｂ）のそれぞれにおける画像データの均一性の空間変化率を規定する、これらの画像における画素値の空間導関数成分の計算である。この処理は、両方のステップＳ３−２ａ及びＳ３−２ｂにおいて同じであり、画像の画像関数の偏導関数を評価することから成る。導関数は、各特定の用途に最も適切な様態で評価することができる。この実施形態では、水平及び垂直の勾配は偏導関数として計算される。しかし、当業者は理解するように、異なる方向における勾配を（互いに直交であるか否かを問わず）適切な場合に代わりに使用することができる。さらに、異なるタイプの導関数を後述するように計算することができる。
【００６０】
この実施形態では、水平勾配計算器７０及び垂直勾配計算器８０は、ステップＳ３−２ａ及びＳ３−２ｂにおいて、ソーベルオペレータを使用して水平及び垂直の勾配計算を実行する。ソーベルフィルタ係数は水平方向及び垂直方向のそれぞれに関して以下の通りである：
【００６１】
【数１】
2009544090.tif 000003
【００６２】
これらのフィルタは有利には、勾配に対応する方向においては係数［１  ０  −１］、逆の方向においては係数［１  ２  １］を用いる分離可能フィルタリングを介して実施することができる。本発明は、オペレータのこの選択には限定されず、当業者には既知であるように、ソーベルフィルタの代わりに使用することができる多くの他の離散微分近似法が存在することに留意されたい。同様に、勾配オペレータのサイズは目下説明されている実施形態のサイズには限定されない。
【００６３】
この実施形態では、画像強度(image intensity)の勾配が計算される。しかし、画像色成分のような他の画素値の勾配も計算することができる。たとえば、赤、緑、及び青の色成分の導関数を計算することができる。
【００６４】
ステップＳ３−２ａにおける処理の結果として、２つの勾配画像が基準画像に関して生成され、一方は画素ごとの各水平勾配値を含み、他方は画素ごとの各垂直勾配値を含む。同様に２つの勾配画像がステップＳ３−２ｂにおいて入力画像に関して生成される（Ｒ、Ｇ、Ｂ色成分の勾配が計算された場合、６つの勾配画像が画像ごとに結果的に生じるであろう。すなわち色成分ごとに水平及び垂直の勾配画像が生じる)。
【００６５】
ステップＳ３−３における処理は任意選択の処理であり、この処理では、その値が基準画像又は入力画像のいずれかにおいて画素値のダイナミックレンジの極値であるか又は当該極値に近い画素が識別及び処理され、それによってこれらの画素は後続の処理において無視される。たとえば、［０、２５５］の範囲内の画素値の場合、基準画像又は入力画像のいずれかにおける、第１の閾値（たとえば２５０）よりも大きい強度を有する画素、及び第２の閾値（たとえば５）よりも小さい強度を有する画素は無視することができる。これは、画像のうちの１つにおいて、照度の変化がクリッピング／飽和をもたらす場合に有益である。クリップされた画像にはないがクリップされていない画像には存在する細部は、後続の相関処理（後述する）において変化が誤って検出されることをもたらす可能性がある。この実施形態では、ステップＳ３−２ａにおいて生成される勾配画像の両方、及びステップＳ３−２ｂにおいて生成される勾配画像の両方において、この種の画素が識別され、画素の対応する勾配値がゼロに設定される。このように、基準画像又は入力画像のいずれかにおける、第１の閾値を上回るか又は第２の閾値を下回る強度を有する画素は、４つの全ての勾配画像（基準画像から２つ及び入力画像から２つ）においてその勾配成分をゼロに設定することによって、後続の処理において無視される。
【００６６】
ステップＳ３−４ａ及びＳ３−４ｂにおいて、処理が実行されて、ステップＳ３−２ａ及びＳ３−２ｂにおいて計算された各勾配値の符号（すなわち、プラス又はマイナスの符号）が除去され、各値が符号無しの値に変換される。この実施形態では、これは、ステップＳ３−２ａ及びＳ３−２ｂにおいて計算された各勾配値の絶対値（すなわち、符号から独立している振幅又は大きさ）を計算する絶対値計算器９０によって行われる。この処理の理由は、勾配特性の極（正又は負）が、照度条件に従って、たとえば、照度の主な方向が変化する場合に、変化し得るということである。この効果は、図４ａ及び図４ｂに示されており、これらの図は、小さなウィンドウ内の理想的な物体の１つのエッジに沿う照度条件における変化の予測される効果を示している。図４ａでは、第１の面２００が照明され、第２の面２１０は暗くなっている。図４ｂでは状況は逆であり、第１の面２００が暗くなっており、第２の面２１０が照明されている。このエッジに沿う垂直及び水平の勾配成分は、極（符号)を逆にされるが、その比率は同じままである。理由を理解するために、水平導関数と垂直導関数との比率はエッジの方向を符号化し、これは照明の変化の影響を受けないことに留意されたい。後に説明されるように、この実施形態において画像ブロックに関して使用される比較関数は、勾配振幅成分の比率を保つ効果に対して不変である。したがって、図４ａ及び図４ｂの画像の場合、構造変化ではなく、照度変化が生じたと判断される。
【００６７】
ステップＳ３−４ａにおける処理の結果として、画素ごとの符号無しの勾配値（この実施形態では絶対勾配値）を備える２つの勾配画像が基準画像に関して生成される。同様に、画素ごとの符号無しの勾配値を備える２つの勾配画像が、ステップＳ３−４ｂにおいて入力画像に関して生成される。
【００６８】
ステップＳ３−５における処理は任意選択の処理である。この処理では、ステップＳ３−４ａにおいて基準画像に関して生成された勾配画像が処理されて、勾配画像内の対応する画素（すなわち、水平及び垂直の勾配画像において同じ位置を有する画素）の対ごとに結合勾配振幅値が計算される。同様に、ステップＳ３−４ｂにおいて入力画像に関して生成された勾配画像が処理されて、これらの勾配画像内の対応する画素の対ごとに結合勾配振幅値が計算される。基準画像及び入力画像の両方における、振幅閾値を下回る結合勾配振幅値を有する画素は、識別及び処理され、それによって後続の処理において無視される。
【００６９】
より詳細には、この実施形態では、結合勾配振幅値
【００７０】
【数２】
2009544090.tif 000004
【００７１】
は水平勾配画像及び垂直勾配画像において同じ位置にある画素の対ごとに、結合振幅計算器９４によって以下のように計算される：
【００７２】
【数３】
2009544090.tif 000005
【００７３】
式中、
【００７４】
【数４】
2009544090.tif 000006
【００７５】
及び
【００７６】
【数５】
2009544090.tif 000007
【００７７】
は、基準画像の処理の場合にステップＳ３−４ａにおいて生成され又は入力画像の処理の場合にステップＳ３−４ｂにおいて生成された勾配画像から得られる、水平方向及び垂直方向における画像導関数（勾配成分値）である。
【００７８】
結合振幅計算器９４は、基準画像に関して計算された各結合勾配振幅値と振幅閾値とを比較して、この閾値を下回る結合勾配振幅値を識別する。同様に、結合振幅計算器９４は、入力画像に関して計算された各結合勾配振幅値と同じ振幅閾値とを比較し、この閾値を下回る結合勾配振幅値を識別する。結合振幅計算器９４はその後、基準画像及び入力画像の両方において、振幅閾値を下回る結合勾配振幅値を有する画素を識別する。その後、このような識別された画素ごとに、結合振幅計算器９４は、ステップＳ３−４ａにおいて基準画像に関して生成された２つの勾配画像において、またステップＳ３−４ｂにおいて入力画像に関して生成された２つの勾配画像において、これらの画素の絶対勾配値を０に設定する。勾配絶対値を０に設定することは、画素が後続の処理において考慮されないことを確実にする。
【００７９】
ステップＳ３−５において実行される閾値化(thresholding)の利点は、不安定な測定値を除去することである。非常に小さい勾配成分値を有する画素は、付加ノイズによって影響を受ける可能性がより高く、構造は後続の処理において振幅の相対比率によって測定されるため、初期値が小さい場合、小さい振幅変化でさえ結果を乱す可能性がある。このように除去される画素は、画像内の「フラットな」（均一な）領域に対応し、構造のみが、ランダムで大部分が不可視の変化に起因する。このような領域は重要な変化の検出に関して情報を提供しないため、これらを無視することは損害をもたらさない。
【００８０】
上述した結合振幅値以外の特性は代替的に、水平方向及び垂直方向における絶対値の和又は単に絶対値の最大値のように、測定及び閾値化することができることに留意されたい。
【００８１】
ステップＳ３−５の後の後続の処理では、画素の近傍セット（すなわち、画素の対応する領域）が共に処理される。したがって、ステップＳ３−６ａにおいて、領域選択器１００は、ステップＳ３−４ａにおいて生成された（且つステップＳ３−５において変更された）、基準画像の勾配振幅画像から近傍（領域）を選択し、ステップＳ３−６ｂにおいて入力画像に関して同じ処理を実行する。ステップＳ３−６ａ及びＳ３−６ｂにおいて選択された領域は同じであり、その結果、これらの領域は基準画像及び入力画像では同一である。この実施形態では、領域は正方形又は矩形のブロックであるが、概して、任意の形状の領域から成ることができる。幾つかの実施態様では、矩形ブロックが、２の累乗である寸法を有することが有利である。なぜなら、これが、メモリアドレス指定をより効率的にし、したがって良い計算効率を提供するためである。この実施形態では、ブロックのサポートが空間において連続しているが、これは必須条件ではない。穴又は非連続サポートを有するブロック又は近傍は同様に有効である。形状にかかわらず、これらのブロックは、照明不変構造比較（後述する）において使用される領域を選択する。
【００８２】
この実施形態では、様々なサイズの領域が選択される。さらに、この実施形態では、領域のうちの幾つかは重なり合うように、複数の位置における領域が選択される。より詳細には、３つの異なるサイズの領域が、３２×３２画素、１６×１６画素、及び８×８画素と画定される。それぞれのサイズごとに、半分の領域サイズのシフトステップが各方向において使用され、画像内の異なる位置における領域が画定される。
【００８３】
異なるサイズのブロックを選択する理由は、図５ａ及び図５ｂに示されている。図５ａは、異なる（しかし均一でもある）強度の背景に対して均一の強度の楕円形物体の画像を表す。基準画像は均一の背景のみを含むと仮定する。構造のブロックごとの比較は、中央ではなく、物体の周辺の辺りの線影付けされたブロックにおける変化を検出する。近傍ブロック３００、３１０、及び３２０はこの物体の存在によって有効化されない。これは、各ブロック内の画素の全てが同じように変化し、結果として強度の変化を照度変化でモデル化することができるためである。換言すると、外見上の構造が変化しないため、システムはここでは何も検出しない。これが、上述した「窓」問題である。
【００８４】
図５ｂでは、対照的に、窓問題はない。これは近傍のより大きいサイズによって、ブロックが物体を完全にカバーすることができるためである。当然のことながら、検出されるエリア全体が大きくなるため、代わりに位置特定精度が低減するという不利益が生じる。このため、この実施形態は、様々な異なるスケール（すなわち、異なる領域サイズ）にわたって得られる測定値を統合し、それによって窓問題に対処する。
【００８５】
任意選択的に、幾つかの状況では、ステップＳ３−６ａ及びＳ３−６ｂにおいて選択された近傍内の画素を重み付けすることが有利である。たとえば、正方形領域の場合、画素値は、正方形の中央に配される（centred）ガウス関数によって重み付けすることができる。テーパ関数(tapered function)によって、このように重み付けすることは、近傍の中央近くの画素が、後続の比較の結果に対して、比較的大きい影響を有することを意味する。これは、構造変化を位置特定する際に利益をもたらす。
【００８６】
ステップＳ３−６ａにおける処理の結果として、複数の領域が、基準画像の勾配画像のそれぞれにおいて画定されており、各領域は絶対値を含む。各勾配画像内の領域は、他方の勾配画像内の領域の位置と同じ位置を有する。同様に、１つの勾配画像内で画定される領域の異なるサイズは、他方の勾配画像内で画定される領域の異なるサイズと同じである。結果として、同じサイズ及び同じ位置を有する対応する領域が勾配画像内に存在する。勾配画像からの対応する領域は、本明細書では対応する領域の「セット」と呼ばれる。同じように、ステップＳ３−６ｂにおける処理は、入力画像の勾配画像内の絶対値の同じ領域を生成する。
【００８７】
ステップ３−８ａ〜Ｓ３−１２ａにおいて、基準画像に関して処理が実行されて、対応する領域のセットごとの代表領域値が生成される。同じ処理がステップＳ３−８ｂ〜Ｓ３−１２ｂにおいて入力画像に関して実行される。この処理は、基準画像に関して後述されるが、入力画像の処理は同じである。
【００８８】
より詳細には、ステップＳ３−８ａにおいて、連結器１１０は、基準画像の勾配画像から対応する領域の次のセットを選択する。この実施形態では、２つの勾配画像（水平及び垂直)が存在するため、セットは２つの領域を含む。各領域は自身のそれぞれの勾配画像において同じ位置及びサイズを有する。
【００８９】
ステップＳ３−１０ａにおいて、連結器１１０は、ステップＳ３−８ａにおいて選択された領域内の勾配絶対値を連結して領域ベクトルを形成する。
【００９０】
より詳細には、セットの領域内の全ての（場合によっては重み付けされる）絶対画素勾配値が連結されて、単一の領域ベクトルが形成される。ベクトルの次元は、領域のサイズ及び勾配画像の数によって決まる。この実施形態では、画素強度が考慮されるため、画像ごとに２つの勾配画像が存在する。したがってステップＳ３−１０ａにおいて生成される領域ベクトルの次元は２ＮBであり、ここで、ＮBは各領域内の画素の数である。より多くの勾配画像が、たとえば複数の色チャネルのそれぞれに関して計算される場合、２ＮCＮBの要素が各ベクトル内に存在することになり、ここで、ＮCはチャネルの数である。
【００９１】
絶対画素勾配値がベクトル内で配置される順序は、ステップＳ３−１０ａ及びＳ３−１０ｂにおける処理中に、基準画像及び入力画像にそれぞれ、同じ順序が使用されているならば、問題ではない。
【００９２】
ステップＳ３−１２ａにおいて、連結器１１０は、対応する領域の別のセットが処理されるために残っているか否かを判断する。ステップＳ３−８ａ〜Ｓ３−１２ａは、対応する領域の各セットが上述したように処理されるまで繰り返される。
【００９３】
この処理の結果として、代表領域値（この実施形態ではベクトル）が基準画像内の複数の領域のそれぞれに関して生成されたことになる。各領域は異なるサイズ及び位置を基準画像内で有し、各領域値は領域内の画素の勾配値の振幅を表す。
【００９４】
上述したように、基準画像に関してステップＳ３−８ａ〜Ｓ３−１２ａにおいて実行された処理と同じ処理がステップＳ３−８ｂ〜Ｓ３−１２ｂにおいて入力画像に関して実行され、それによって入力画像内の領域ごとの代表領域値が生成される（基準画像の領域と入力画像の領域とは同じである）。
【００９５】
再び図２を参照すると、ステップＳ２−６において、相関器１２０が、基準画像及び選択された入力画像の対応する領域（すなわち、基準画像及び入力画像内の同じ位置及びサイズを有する領域）からの代表領域値を比較して相関マップを生成する。より詳細には、代表領域値の対ごとに相関値が生成され、後述するように、相関値が相関マップ内に記憶される。
【００９６】
ステップＳ２−６において実行される相関処理は、勾配振幅の線形スケーリングに対して不変であるように設計される。この実施形態では、これは、対応する領域ベクトル（すなわち、ステップＳ３−１０ａにおいて基準画像内の領域に関して生成される領域ベクトル、及びステップＳ３−１０ｂにおいて同じ位置及びサイズを有する入力画像内の領域に関して生成される領域ベクトル）の各対の間の角度の余弦を計算することによって達成される。ベクトルの対が線形スケーリングによって関連付けられる場合、２つの間の角度はゼロになる。したがって、余弦は１になる。この実施形態では、余弦は、内積を使用して以下のように計算される：
【００９７】
【数６】
2009544090.tif 000008
【００９８】
式中、ｖinは入力画像領域ベクトルであり、ｖrefは基準画像領域ベクトルであり、｜ｖ｜はベクトルノルム(vector norm)を示す。
【００９９】
このステップにおいて式（２）によって規定されるロバスト比較方法の数値的に効率的な実施に関しては幾つかの可能性がある。余弦公式を個別のベクトル成分に関して展開することによって、余弦公式は画素ごとの乗算の総和から成るようにみなすことができる：
【０１００】
【数７】
2009544090.tif 000009
【０１０１】
式中、ｖ（ｉ）はベクトルｖのｉ番目の要素を示す。各乗算は１回のみ実施されるべきであり、入力ブロックがシフトパターンに起因して重なり合う場合、結果は再使用のために記憶される。したがって、３つの積画像（product image）が規定される：
【０１０２】
【数８】
2009544090.tif 000010
【０１０３】
ここで、余弦計算は、これらの積画像からの要素の選択及び総和にのみに依存し、その後、単一の乗算、平方根、及び除算が生じる。さらに、このような総和を実現する効率的な方法が存在する。たとえば、入力ブロックが各ステップにおいて１画素だけシフトされる場合、総和は、積画像のそれぞれに対する線形フィルタリング演算に等価である。そして、分離可能フィルタを選択することによって計算をさらに向上させることができる。同時に、線形フィルタの使用は、上述したテーパ中心重み付けの簡単な実現を可能にし、フィルタ係数はまさに説明した重みであることに留意されたい。式（４)、（５）、及び（６）を評価するためにこの実施形態において実行される処理は図６に示されている。
【０１０４】
重み付けが必要でなく且つ入力近傍が矩形の形状（又は少なくとも矩形の結合)に制約される用途では、代替の効率的な実施態様が、エリア総和テーブル（summed area tables）（F. Crow著「Summed-area tables for texture mapping」（in Proc. SIGGRAPH, 18 (3): 207-212, 1984）)としても既知である、積分画像(integral images)の方法（P. Viola及びM. Jones著「Rapid object detection using a boosted cascade of simple features」（In Proc . IEEE Conference on Computer Vision and Pattern Recognition, Dec. 2001）)によって達成される。データの積分表現への変換は、高速な計算を提供し、４つのみの画素基準値（矩形の角の座標値）と、総和ごとの３回の加算演算とを伴う。重要なことに、これは、ブロックサイズにかかわらず、総和の計算コストを一定にする。
【０１０５】
この手法に従事する一実施形態では、積分積画像は以下のように生成することができる：
【０１０６】
【数９】
2009544090.tif 000011
【０１０７】
これは、各場合において、画像上のシングルパスによって達成され、画素ごとの２回の加算演算を伴う。
【０１０８】
上記において、幾つかの画素は有利には、画像の強度又は結合勾配振幅が測定値を信頼できないものにするか又は不安定にするため、ステップＳ３−３及び／又はステップＳ３−５において無視することができることを述べた。したがって、画素の領域の全体が「無視された」画素から成ることが生じ得る。この状況に対処するために様々な方法が存在する。この実施形態では、ステップＳ２−６における処理においてｃｏｓθ＝１の値がこのような領域に割り当てられ、これは、無視された画素は構造において何の変化も含まないことを暗に仮定している。
【０１０９】
領域内の画素の幾つかのみが無視される場合、相関／余弦計算が通常通り進行するため問題はない。この場合では、無視される勾配値をゼロ（ステップＳ３−３）、又は勾配振幅をゼロ（ステップＳ３−５)に事前に設定することによって、非ゼロ成分間の角度の余弦のみが効率的に計算される。
【０１１０】
概して、各余弦尺度は、基準領域及び入力領域における勾配振幅成分が、互いのスケーリングされたコピーであるとき、すなわち、ｖin＝αｖrefであるとき、１の最大値に達する。この状況は、図４ａ及び図４ｂに示されている照度極の変化を含む。
【０１１１】
上述したように、ステップＳ２−６における処理は、（基準画像内の領域と、同じ位置にあり且つ同じサイズを有する入力画像内の領域とを含む）対応する領域の各対の相関値（この実施形態では余弦値）を生成する。
【０１１２】
基準画像及び入力画像と同じサイズの相関マップを生成するために、画像空間にわたって且つ複数のスケールにわたって、結果的に得られた余弦値の割り当て及び結合を実施する多くの異なる方法が存在する。選択は典型的には、所望の計算複雑性及び位置特定精度に依存する。
【０１１３】
たとえば、領域の単一のサイズがステップＳ３−６a及びＳ３−６ｂにおいて選択され、且つ重ね合わせを一切伴わないブロックシフトパターンが使用される、非常に基本的な実施形態の場合、領域ごとの余弦計算の結果は、相関マップ内のこの領域内の全ての画素に割り当てることができる。シフトパターン及び出力割り当ては、相関マップの実行解像度を決定する。
【０１１４】
領域がステップＳ３−６ａ及びＳ３−６ｂにおいて重なり合うように選択される場合、（たとえば領域をブロックの中央領域に割り当てることによって）領域が重なり合わないように出力余弦値を割り当てるか又は領域が重なり合ように出力余弦値を割り当てるかが選択される。後者の場合では、隣接し重なり合うブロックからの測定値を統合するために結合の或る方法が必要である。同様に、結合は、処理が様々な異なるスケールにおいて行われる場合に一般的に必要である。異なるサイズ及び／又は異なる位置の領域の余弦値の結合は、総和（若しくは平均化）、最小値、最大値、又は積（若しくは幾何平均）を含む（しかしこれらに限定されない）任意の適切な規則を採用することができる。総和規則は、たとえば、基準画像及び入力画像と同じサイズのアキュムレータアレイを維持することによって実施することができる。（任意のサイズの）処理される領域ごとに、結果的に得られる余弦値がアキュムレータ内の各出力領域画素のそれぞれに加えられる。その後、各画素が出力領域の同じ数、すなわちＮoverlapによってカバーされる場合、累算された値は正確な範囲［０、Ｎoverlap］内にある。
【０１１５】
この実施形態では、半分のブロックサイズのシフトステップが各方向において使用される。余弦測定の結果は、図７ａ、図７ｂ、及び図７ｃに示されているように、相関マップ内の各ブロックの中央象限(central quadrant)における各画素に割り当てられる。これらの図では、入力ブロックはより大きい正方形によって実線で示されており、一方、より小さい出力ブロックが点線によって示されている。図は、基準画像及び入力画像内のブロック５００の３つの例の位置と、相関マップ内の関連付けられているブロック５１０とを強調している。これは、基準画像及び入力画像内のブロック選択の重なり合っているパターンにもかかわらず、相関マップ内のブロックがどのように重なり合わないかを示している。この例では、ブロック５００の余弦測定値は、相関マップ内のブロック５１０内の全ての画素に割り当てられる。
【０１１６】
この実施形態では、３２×３２画素、１６×１６画素、及び８×８画素のブロックを有する３つのスケールが使用されている。結果的に得られる相関マップ（スケールごとに１つ）は、総和によって結合され、最終的な相関マップが生成される。
【０１１７】
再び図２を参照すると、ステップＳ２−８において、画像変化検出器１３０が、ステップＳ２−６において生成された相関マップを処理して、基準画像と入力画像との間の重要な構造変化を検出する。上述したように、この実施形態における相関マップは、垂直方向及び水平方向において基準画像及び入力画像と同じ数の画素を有し、画素ごとに単一の実数値の数を含む。したがって、単純な実施形態では、ステップＳ２−８における処理は、各値の閾値に対する比較を含み、値は閾値を下回る場合は値１に置き換えられ、そうでない場合は値０に置き換えられる。これは、値１を有する画素が画像における重要な構造変化のロケーションを規定するバイナリマップを提供する。
【０１１８】
より発展した実施形態では、出力をさらに処理して、誤って検出された変化を抑制することが有利であり得る。このような後処理は、たとえば、特定のエリアよりも小さい、値１を有する画素の連続する「ブロブ」が拒絶される、サイズベースの処理を含むことができる。この後処理はまた、たとえば「Digital Image Processing」（Second Edition by Gonzalez and Woods, Practice-Hall 2003, pages 519 to 560）において記載されているような技法を使用して特定の形状（及びサイズ）のブロブ(blobs)が拒絶される形態学的処理(morphological processing)（グレースケール又はバイナリのいずれか）を含むことができる。概して、このタイプの処理は、興味対象の構造が特定のサイズ及び形状属性を有し、これらがこれらの構造をノイズに起因する反応から区別するという仮定を反映するであろう。
【０１１９】
後処理は時間領域及び空間領域において作用することができる。たとえば、有効な物体が特定の最小持続時間を有すると仮定される場合、より短い持続時間を有する検出は除外することができる。これは、誤った検出が素早く連続して現れて消失する「ちらつき」ノイズの低減をもたらすことができる。
【０１２０】
再び図２を参照すると、ステップＳ２−１０において、シーケンス内の別の入力画像が処理されるべきか否かが判断される。ステップＳ２−２〜Ｓ２−１０は、各入力画像が上述したように処理されるまで繰り返される。
【０１２１】
第２の実施形態
本発明の第２の実施形態をこれより説明する。
【０１２２】
第１の実施形態では、（図４ａ及び図４ｂにおいて示されており且つこれらを参照して説明されたような）勾配極変化をもたらす照度変化の問題が対処されたが、これは、勾配成分の符号無しの値を使用することによるものであった。第２の実施形態では、この問題は、代わりに、ステップＳ２−６において余弦相関値の符号無しの値を計算することによって対処される。
【０１２３】
第２の実施形態の構成要素、及びこれらによって実行される処理動作は、以下の例外を除いて第１の実施形態におけるものと同じである：
第２の実施形態では、絶対値計算器９０は図１に示されている構成要素から省かれる。
第２の実施形態では、ステップＳ３−４ａ及びＳ３−４ｂは図３に示されている処理から省かれ、後続のステップにおける処理は絶対勾配値ではなく勾配値を使用して実行される。結果として、第２の実施形態では、図３における処理の結果として生成される各代表領域ベクトルは、符号付き勾配成分値を含む。
第２の実施形態においてステップＳ２−６において相関器１２０によって実行される処理は、第１の実施形態において実行される処理とは異なる。第２の実施形態において実行される処理は後述する。
【０１２４】
第１の実施形態におけるように、第２の実施形態においてステップＳ２−６において実行される相関処理は勾配の線形スケーリングに対して不変であるように設計される。
【０１２５】
第２の実施形態では、ステップＳ２−６において、相関器１２０は、対応する領域ベクトル（すなわち、ステップＳ３−１０ａにおいて基準画像内の領域に関して生成される領域ベクトル、及びステップＳ３−１０ｂにおいて生成される、同じ位置及びサイズを有する、入力画像内の領域ベクトル）の各対の間の角度の符号無しの余弦尺度を計算する。より詳細には、第２の実施形態では、相関器１２０は、内積を使用して以下のように絶対余弦値を計算する：
【０１２６】
【数１０】
2009544090.tif 000012
【０１２７】
式中、ｖinは入力画像領域ベクトルであり、ｖrefは基準画像領域ベクトルであり、‖ｖ‖はベクトルノルムを示し、｜ｖ｜は絶対値を示す。絶対値オペレータの適用によって、ｖin又はｖrefが極（符号）を変える場合、計算の結果は影響を受けないことが確実になる。
【０１２８】
このステップにおいて式（１０）によって規定されるロバスト比較方法の数値的に効率的な実施に関しては幾つかの可能性がある。余弦公式を個別のベクトル成分に関して展開することによって、余弦公式は画素ごとの乗算の総和から成るようにみなすことができる：
【０１２９】
【数１１】
2009544090.tif 000013
【０１３０】
式中、ｖ（ｉ）はベクトルｖのｉ番目の要素を示す。各乗算は１回のみ実施されるべきであり、入力ブロックがシフトパターンに起因して重なり合う場合、結果は再使用のために記憶される。したがって、３つの積画像が規定される：
【０１３１】
【数１２】
2009544090.tif 000014
【０１３２】
ここで、余弦計算は、これらの積画像からの要素の選択及び総和にのみに依存し、その後、単一の乗算、絶対値、平方根、及び除算が生じる。さらに、このような総和を実現する効率的な方法が存在する。たとえば、入力ブロックが各ステップにおいて１画素だけシフトされる場合、総和は、積画像のそれぞれに対する線形フィルタリング演算に等価である。そして、分離可能フィルタを選択することによって計算をさらに向上させることができる。同時に、線形フィルタの使用は、上述したテーパ中心重み付けの簡単な実現を可能にし、フィルタ係数はまさに説明した重みであることに留意されたい。式（１２)、（１３）、及び（１４）を評価するためにこのような実施形態において実行される処理は図８に示されている。
【０１３３】
実験(Experiments)は、少なくとも幾つかの場合では、余弦の絶対値は、決して最適でないパフォーマンスを提供することを示した。したがって、この実施形態では、変更された余弦尺度が計算される。式（１２)の積画像の代わりに、その絶対値が計算される：
【０１３４】
【数１３】
2009544090.tif 000015
【０１３５】
構造は、（全体の領域ベクトルにわたってではなく）個別の画素において極の変化に対して不変である。すなわち、入力画像勾配成分
【０１３６】
【数１４】
2009544090.tif 000016
【０１３７】
が
【０１３８】
【数１５】
2009544090.tif 000017
【０１３９】
に置き換えられる場合、ｐ（ｘ、ｙ）の値は影響を受けない。同じことが基準画像勾配成分にも当てはまる。
【０１４０】
変更
多くの変更を、添付の特許請求の範囲内で、上述した実施形態に対して行うことができる。
【０１４１】
たとえば、上述したように、勾配画像の使用は、シーン背景の効率的なモデリングにおいてさらなる利益をもたらす。上記の実施形態では、単一の基準画像が使用される。理想的には、これは、人間の操作者又は或る他の手段のいずれかによって選択される、無人の背景シーンの画像とすることができる。多くの用途では、しかし、このように基準画像を得ることは可能ではないであろう。これは、たとえば、シーンが常に往来若しくは対象物を含むか、又は人間の操作者が大規模ネットワークにおいて全てのカメラをこのように初期設定することは非常に時間がかかるためである。このような状況では、背景モデルを経時的な複数の画像から合成することが可能である。
【０１４２】
この場合、システムのより発展した実施形態は、指定された時間期間にわたる異なる入力画像に関してステップＳ３−２ｂにおいて生成される複数の勾配画像を記録することができる。その場合、背景モデルは、各画素の勾配成分の中央値を経時的にとることによって形成される。このように勾配領域内の中央値をとることによって、結果的に得られる基準背景モデルは、画像のバッチにおける現在の照度及び移動物体の存在の両方から独立する。これの根拠は、典型的な自然シーンの大規模な反応の希薄さと組み合わされる照度変化の下での画像勾配の相対的恒常性である。他方、画像強度の中央値が代わりに使用される場合、基準背景モデルは学習期間の間、照度変化の影響に対して敏感になるだろう。基準背景モデルはまた、学習期間の間、背景を曖昧にする移動物体の影響をよりはるかに受けやすくなるであろう。
【０１４３】
上述した学習期間は、オフラインで（すなわち、システムが物体の検出を開始する前に）又はオンラインで（すなわち、物体を検出している間)実行することができる。オンライン学習期間は、各画素における勾配履歴の「スライディングウィンドウ」にわたるメジアンフィルタリング(median filtering)から成り、それによってシーンに対する長期間の変化は、所定のレートでゆっくりと基準モデルに組み込まれる。
【０１４４】
上記の実施形態では、基準画像及び各入力画像は、後続の処理における使用のために、ステップＳ３−２ａ及びＳ３−２ｂにおいて勾配画像を生成するために処理される。勾配画像は、そこから画像構造が分析されると共に変化が測定される強力なプラットフォームを提供するが、同様の強度を提供し、特定の状況ではさらなる利益を伴う他のタイプのフィルタを代わりに使用することができる。画像強度関数の第２の導関数が計算されるラプラシアンフィルタリングが一例であり、ウェーブレットフィルタバンクが別の例である。全ての場合においてアスペクトを統一することは、フィルタリングが、異なる複数の画素位置において画像データの均一性の空間変化率を規定するデータを生成し、ハイパス又はバンドパスのいずれかである、すなわち、空間領域における均一性の低周波数の変化を減衰させ、均一性における中域〜高域周波数変化を減衰（増幅）させるということである。低周波数をこのように抑制することは、典型的には輝度を変化させることによってもたらされるような、領域にわたる一定又は概ね一定の変化を無視するため、有益である。
【０１４５】
上記の第１の実施形態においてステップＳ３−４ａ及びＳ３−４ｂで実行される処理では、各勾配値の符号（すなわち、プラス符号又はマイナス符号）は各勾配値の絶対値を計算することによって除去される。しかし、符号を除去すると同時に結果的に得られる符号無しの値内で或る形態で振幅を維持する任意の他の処理を、代わりに実行することができる。したがって、たとえば、各勾配値の２乗の計算の処理を実行して符号無しの値を生成することができる。
【０１４６】
上述の実施形態では、ステップＳ２−６における処理は、対応する領域ベクトルの各対の間の角度の余弦（第１の実施形態）又は絶対値余弦（absolute cosine）（第２の実施形態）を計算する。しかし、余弦以外の角度の尺度を代わりに用いてもよい。自明なことであるが、たとえば、角度θ自体をその余弦の代わりに使用することができる。別の代替案は、各ベクトルをその大きさによって正規化することであり、それによって、両方が単位半径の円弧上にあるようになる。弧上のこれらの２つの点の間のユークリッド距離(the Euclidean distance)は、ベクトル間の角度に以下のように関連する：
【０１４７】
【数１６】
2009544090.tif 000018
【０１４８】
実際に、このような正規化ユークリッド距離Ｄは、正規化ベクトル距離に等しい。概して、ベクトル間の角度に関連する任意の関数形式を一実施形態において使用することができ、特に、直前に述べた例のように角度と単調な関係を維持するものを使用することができる。
【０１４９】
ステップＳ２−８における比較を実行するために使用される余弦評価に対する変更として、比較を実行するために、領域内の導関数構造（derivative structure）の比較を実行する任意の処理を代わりに用いることができる。しかし、既に述べたように、比較が線形スケーリングに対して不変であることが有利である。このような不変比較方法は、正規化ベクトル距離、正規化相関、一次従属検出器、及びロンスキアン検出器を含み（しかしこれらに限定されない）、これらの全ては既に参照した「Neighbourhood Change Detection」と題する著作に記載されている。特性を統一することは、近傍コンテンツ及びスケーリング係数αから独立して、ｖｒｅｆとαｖｒｅｆとの比較が同じ結果をもたらすということである。
【０１５０】
別の変更は、ステップＳ２−８における相関マップからノイズを除去するノイズフィルタリングに関する。上述した形態学的フィルタリングの他にまた（又はその代わりに）、各ブロブによって覆われているエリアに関する余弦距離尺度を計算することによって、検出されたブロブを有効にすることが可能である。このように代替のエリアにわたって比較を評価することは、変化を検査するための、場合によってはよりロバストな別の方法を提供する。これは、初期処理段階の固定された近傍の代わりに適応性がある近傍を使用する、第２のレベルの構造分析とみなすことができる。より詳細には、ステップＳ３−６ａ及びＳ３−６ｂが次の入力画像に関して後に実行されるときに領域を設定するために、変化を表す相関マップ内の領域が使用される。（上述した積分画像の実施態様を使用する場合）矩形ブロックの余弦尺度を評価することは労力がかからないため、たとえば検出された各ブロブのバウンディングボックス(the bounding box)のような矩形領域に対してこのような有効化を実行することは有利であろう。
【０１５１】
別の代替の実施形態では、（様々なサイズの領域がステップＳ３−６ａ及びＳ３−６ｂにおいて基準画像及び各入力画像に関して選択され、後に分析される）先の実施形態の多重スケールの実施態様は、多重解像度の実施態様で置き換えることができる。このような実施形態では、一定の解像度の画像からの異なるサイズの領域の選択の代わりに、入力画像及び基準画像は適切にダウンサンプリングされ、それによって、解像度が低減された画像の対に作用する一定サイズのウィンドウが、より大きいスケールの構造を比較する所望の機能を達成する。多重スケールとは対照的な多重解像度処理の１つの典型的な利点は、領域サイズが一定のままであり、代わりに画像サイズが縮小するため、計算量が、大きいほうの（すなわち、粗いほうの）スケールにおいて増加するのではなく低減するということである。特定の用途では、多重解像度システム、又は多重スケール手法及び多重解像度手法の両方のハイブリッドな組み合わせ（画像サイズ及びブロックサイズの両方が変更されて構造分析の所望のスケールが達成される）のいずれかを使用するさらなる利点が存在する。たとえば、勾配オペレータのサイズを、処理及び／又は近傍サイズのスケールに適合するようにすることができる。
【０１５２】
さらに別の変更は、シーンにおける変化の性質のさらなる洞察を得るための複数の基準画像の使用である。たとえば、入力画像は、まず「背景」基準フレームと比較され、次に最近の、記憶されている入力画像と比較されることができる。第１の比較は、背景とは異なる任意の領域のブロブをもたらし、一方、第２の比較は、短い時間スケールにわたって変化した、すなわち物体の動きに起因する領域のブロブをもたらす。このように、２つの出力を比較することによって、この手法は、（たとえば、物体の到着又は出発に起因する）静的な変化と動的な変化とを区別する。特定の用途に適するように、システムはその後、静的な変化を無視してそれらを基準背景モデルに吸収させるか、又は（窃盗若しくは物体の放棄のような)警報を引き起こすことができる。
【０１５３】
上記の実施形態におけるステップＳ３−３における処理において、入力画像及び基準画像の両方における各画素の値は、第１の強度閾値を上回っているか又は第２の強度閾値を下回っているかを判断するために検査される。それぞれの閾値を上回っているか又は下回っている強度を有すると識別された各画素、及び他方の画像内の同じ位置における画素（その強度値は問わない）は、その後、後続の処理において無視されように処理される。しかし、代わりに、１つのみの画像（入力画像又は基準画像）内の各画素の値を検査することができ、結果的に上記の実施形態と比較して処理が低減される。この場合では、第１の閾値を上回るか又は第２の閾値を下回る強度を有する画素、及び他方の（検査されていない）画像内の同じ位置における画素は、全ての４つの勾配画像において勾配成分をゼロに設定することによって、後続の処理中、依然として無視されるであろう。
【０１５４】
ステップＳ３−５における処理では、結合勾配振幅値（第１の実施形態）又は結合勾配値（第２の実施形態）が、入力画像内の各画素に関して計算されるとともに基準画像内の各画素に関して計算され、その後、入力画像及び基準画像の両方における閾値を下回る結合値を有する画素が、後続の処理において無視されるように処理される。代替的に、入力画像又は基準画像のいずれかにおいても閾値を下回る結合値を有する任意の画素は、他方の画像内の同じ位置における画素（その結合値は問わない）と共に、後続の処理において無視されるように処理することができる。これは、入力画像の２つの勾配画像及び基準画像の２つの勾配画像において、絶対勾配値をゼロに設定することによって達成される（それによってこれらの画素は両方の画像において依然として無視される）。さらなる変更として、結合値を、計算して、画像のうちの一方のみにおける各画素の閾値と比較することができ、それによって処理要件が低減する。閾値を下回る結合値を有する各画素、及び他方の（検査されていない）画像内の対応する位置における画素は、その後、後続の処理において無視されるように処理される。
【０１５５】
上述したように、ステップＳ３−３及びＳ３−５における処理は任意選択である。この処理を省く実施形態では、ステップＳ３−２ａ〜Ｓ３−１２ａにおける基準画像データに対する処理は１回だけ実行することができ、結果が記憶され、それによって処理は新しい入力画像が処理されるごとに実行される必要はない。したがって、この場合では、ステップＳ３−２ａ〜Ｓ３−１２ａにおける基準画像に対する処理は、何らかの入力画像データが受信される前に「オフライン」で非リアルタイムに実行することができる。
【０１５６】
導入部において述べたように、変化検出はコンピュータビジョンにおける基本的機能である。本発明の実施形態は、変化検出が必要とされるあらゆる分野において適用することができ、ロバスト性ｒが勾配成分の（概ね）線形のスケーリングをもたらす要素に対して望まれる場合、（背景差分のような）より単純な方法よりも優れる場合が多いであろう。これらは、たとえば、標準画像における変化する照度、コントラスト、輝度、若しくは適応利得制御、又は赤外画像における温度変化を含むことができる。
【０１５７】
上記の実施形態は照明のような効果を考慮に入れずに検出変化に関して説明されたが、同じ技法を静的なシーンにおける照度変化の検出に適用することが可能であろう。たとえば、上記のロバストな変化検出処理の出力は、背景差分のようなロバストでない変化検出技法と組み合わせることができる。したがって、後者の技法によって強調されるが、ロバスト比較をパスする変化は、照度変化の証拠とみなすことができる。
【０１５８】
上述の実施形態では、処理は、コンピュータプログラム命令によって規定される処理ルーチンを使用するプログラム可能なコンピュータ処理装置によって実行される。しかし、幾つかの又は全ての処理は、代わりにハードウェアを使用して実行することができる。
【０１５９】
当然のことながら、他の変更が可能である。
【図１】
2009544090.tif 000019
【図２】
2009544090.tif 000020
【図３ａ】
2009544090.tif 000021
【図３ｂ】
2009544090.tif 000022
【図４ａ】
2009544090.tif 000023
【図４ｂ】
2009544090.tif 000024
【図５ａ】
2009544090.tif 000025
【図５ｂ】
2009544090.tif 000026
【図６】
2009544090.tif 000027
【図７ａ】
2009544090.tif 000028
【図７ｂ】
2009544090.tif 000029
【図７ｃ】
2009544090.tif 000030
【図８】
2009544090.tif 000031
【国際調査報告】
2009544090.tif 000032
2009544090.tif 000033
2009544090.tif 000034