(57)【要約】  映像データを前景部分と背景部分にセグメント化する方法は、画素の統計的モデリングを利用する。背景の統計モデルが各画素ごとに構築され、入力映像フレーム内の各画素がその画素の背景統計モデルと比較される。比較に基づき、画素が前景または背景であると判定される。映像データをセグメントする方法は、さらに、インテリジェント映像監視システムを実施する方法に組み込まれてもよい。映像データをセグメント化する方法は、ハードウェアとしても実施されてもよい。【選択図】  図１１
2009533778.tif 000002
【特許請求の範囲】
【請求項１】
映像の前景部分と背景部分とを区別する２パスの映像セグメント化の方法を行うように構成された回路であって、
前記方法が、
入力映像ストリームからフレームシーケンスを獲得するステップと、
前記フレームシーケンスの各フレームごとに、
前記フレームを場面モデルと位置合わせする工程と、
背景統計モデルを更新する工程と、
前記背景統計モデルを仕上げる工程と、
を備える第１のパスの方法を実行するステップと、
前記フレームシーケンスの各フレームごとに、
前記フレームの各領域にラベル付けする工程と、
前記フレームの前記領域の空間／時間フィルタリングを行う工程と
を備える第２のパスの方法を実行するステップと、
を備える、回路。
【請求項２】
背景統計モデルを更新する前記ステップが、
前記フレームの前記領域に対応する値をコンパイルする工程と、
前記フレームの各領域ごとに標準偏差を算出する工程と、
を備える請求項１に記載の回路。
【請求項３】
前記背景統計モデルを仕上げる前記ステップが、
前記フレームの各領域ごとに、コンパイルされた値に基づいて統計モードを決定する工程と、
各領域の前記統計モードを前記背景統計モデルにおける前記各領域の値として割り当てる工程と、
を備える、請求項１に記載の回路。
【請求項４】
前記フレームの各領域にラベル付けする前記ステップが、
前記領域が前記背景統計モデルとマッチするか否か判定する工程と、
前記判定する工程の結果に基づいてラベルを割り当てる工程と、
を備える、請求項１に記載の回路。
【請求項５】
判定する前記ステップが、前記フレームの前記領域の値が前記背景統計モデル内の前記領域の対応する値に関するある範囲内に入るかどうか判定する工程を備え、
ラベルを割り当てる前記ステップが、
前記フレームの前記領域の前記値が前記範囲内に入る場合に第１のラベルを割り当てる工程と、
前記フレームの前記領域の前記値が前記範囲内に入らない場合に第２のラベルを割り当てる工程と、
を備える、請求項４に記載の回路。
【請求項６】
前記第１のラベルが背景であり、前記第２のラベルが前景である、請求項５に記載の回路。
【請求項７】
判定する前記ステップが、
前記フレームの前記領域の値が前記背景統計モデル内の前記領域の対応する値に関する第１の範囲内に入るかどうか判定する工程と、
前記フレームの前記領域の前記値が前記第１の範囲内に入らない場合に、前記フレームの前記領域の前記値が前記背景統計モデル内の前記領域の前記対応する値に関する第２の範囲内に入るかどうか判定する工程と、
を備え、
ラベルを割り当てる前記ステップが、
前記フレームの前記領域の前記値が前記第１の範囲内に入る場合に、第１のラベルを割り当てる工程と、
前記フレームの前記領域の前記値が前記第１の範囲内に入らず、前記第２の範囲内にある場合に、第２のラベルを割り当てる工程と、
前記フレームの前記領域の前記値が前記第２の範囲内に入らない場合に、第３のラベルを割り当てる工程と、
を備える、請求項４に記載の回路。
【請求項８】
前記第１のラベルが背景であり、前記第２のラベルが前景であり、前記第３のラベルが明確な前景である、請求項７に記載の回路。
【請求項９】
前記フレームの各領域にラベル付けする前記ステップが、
前記領域が前記背景統計モデルとマッチするか否か判定する工程であり、前記フレームの前記領域の値が、前記背景統計モデル内の前記領域の対応する値に関する任意の数の範囲のそれぞれに入るか否かについての判定を行うことを備える前記工程と、
前記判定するステップの結果に基づいてラベルを割り当てる工程と、
を備える、請求項１に記載の回路。
【請求項１０】
空間／時間フィルタリングを行う前記ステップが、前記フレームの各領域ごとに、
近隣フィルタリングを行う工程と、
空間フィルタリング、時間フィルタリング、または前記空間フィルタリングと前記時間フィルタリングの組み合わせを行う工程と、
を備える、請求項１に記載の回路。
【請求項１１】
空間フィルタリング、時間フィルタリング、または前記空間フィルタリングと前記時間フィルタリングの組み合わせを行う前記ステップが、２次元または３次元で行われる形態学的侵食および膨張を行う工程を備える、請求項１０に記載の回路。
【請求項１２】
形態学的侵食および膨張を行う前記ステップが、
明確な前景とラベル付けされた領域は侵食されないｎ回の侵食を行う工程と、
ｎ回の侵食を行う前記工程に続いてｎ回の膨張を行う工程と、
ｎ回の膨張を行う前記工程に続いて第２の回数、ｍ回の膨張を行う工程と、
を備える、請求項１１に記載の回路。
【請求項１３】
近隣フィルタリングを行う前記ステップが、背景とラベル付けされていない前記フレームの各領域Ｐｉごとに、
Ｐｉに対応する前記場面モデル内の位置Ｐｍを求める工程と、
Ｐｍの周囲の近隣領域Ｐ’ｍを求める工程と、
前記Ｐ’ｍのうちのいずれかがＰｉとマッチするかどうか判定する工程と、
前記Ｐ’ｍのうちのいずれかがＰｉとマッチする場合に、Ｐｉの周囲の近隣領域Ｐ’ｉを求める工程と、
前記Ｐ’ｉのいずれかがＰｍとマッチするかどうか判定する工程と、
前記Ｐ’ｍのいずれかがＰｉとマッチする場合に、Ｐｉに背景とラベル付けし直す工程と、
を備える、請求項１０に記載の回路。
【請求項１４】
映像の前景部分と背景部分とを区別する１パスの映像セグメント化の方法を行うように構成された回路であって、
前記方法が、
映像ストリームからフレームシーケンスを獲得するステップと、
前記フレームシーケンス内の各フレームごとに、
前記フレームを場面モデルと位置合わせする工程と、
背景統計モデルを構築する工程と、
前記フレームの領域にラベル付けする工程と、
空間／時間フィルタリングを行う工程と、
を行うステップと、
を備える、回路。
【請求項１５】
空間／時間フィルタリングを行う前記ステップが、前記フレームの各領域ごとに、
近隣フィルタリングを行う工程と、
空間フィルタリング、時間フィルタリング、または前記空間フィルタリングと前記時間フィルタリングの組み合わせを行う工程と、
を備える、請求項１４に記載の回路。
【請求項１６】
空間フィルタリング、時間フィルタリング、または前記空間フィルタリングと前記時間フィルタリングの組み合わせを行う前記ステップが、２次元または３次元で行われる形態学的侵食および膨張を行う工程を備える、請求項１５に記載の回路。
【請求項１７】
形態学的侵食および膨張を行う前記ステップが、
明確な前景とラベル付けされた領域は侵食されないｎ回の侵食を行う工程と、
ｎ回の侵食を行う前記工程に続いて、ｎ回の膨張を行う工程と、
ｎ回の膨張を行う前記工程に続いて、第２の回数、ｍ回の膨張を行う工程と、
を備える、請求項１６に記載の回路。
【請求項１８】
近隣フィルタリングを行う前記ステップが、背景とラベル付けされていない前記フレームの各領域Ｐｉごとに、
Ｐｉに対応する前記場面モデル内の位置Ｐｍを求める工程と、
Ｐｍの周囲の近隣領域Ｐ’ｍを求める工程と、
前記Ｐ’ｍのうちのいずれかがＰｉとマッチするかどうか判定する工程と、
前記Ｐ’ｍのうちのいずれかがＰｉとマッチする場合に、Ｐｉの近隣領域Ｐ’ｉを求める工程と、
前記Ｐ’ｉのうちのいずれかがＰｍとマッチするかどうか判定する工程と、
前記Ｐ’ｉのうちのいずれかがＰｍとマッチする場合に、Ｐｉを背景とラベル付けし直す工程と、
を備える、請求項１５に記載の回路。
【請求項１９】
背景統計モデルを構築する前記ステップが、
前記フレームの各領域ごとに、
前記背景統計モデルが成熟しており、安定しているかどうか判定することと、
前記背景統計モデルが成熟しており、安定しているか場合に、前記領域の値が前記背景統計モデルの対応する値とマッチするかどうか判定することと、
前記領域の前記値が前記背景統計モデルの前記値とマッチする場合に、前記領域の前記値を使って前記背景統計モデルを更新することと、
を行う工程を備える、請求項１４に記載の回路。
【請求項２０】
前記背景統計モデルが成熟しており、安定しているかどうか判定する前記ステップが、
前記背景統計モデルが成熟しているかどうか判定し、そうでない場合に、前記領域の前記値を使って前記背景統計モデルを更新する工程と、
前記背景統計モデルが成熟していると判定される場合に、前記背景統計モデルが安定しているかどうか判定する工程と、
前記背景統計モデルが安定していないと判定される場合に、前記領域の前記値を使って前記背景統計モデルを更新する工程と、
を備える、請求項１９に記載の回路。
【請求項２１】
前記領域の前記値を使って前記背景統計モデルを更新する各ステップが、
前記領域の実行中の平均値を更新する工程と、
前記領域の実行中の標準偏差値を更新する工程と、
を備える、請求項２０に記載の回路。
【請求項２２】
前記領域の前記値を使って前記背景統計モデルを更新する前記ステップが、
前記領域の実行中の平均値を更新する工程と、
前記領域の実行中の標準偏差値を更新する工程と、
を備える、請求項１９に記載の回路。
【請求項２３】
背景統計モデルを構築する前記ステップが、前記背景統計モデルを仕上げる工程をさらに備える、請求項１９に記載の回路。
【請求項２４】
前記フレームの前記領域にラベル付けする前記ステップが、前記フレームの各領域ごとに、
当該領域の前記背景統計モデルの成熟性および安定性についての判定を行う工程と、
当該領域の前記背景統計モデルの値が当該領域の場面モデルの値とマッチするかどうか判定する工程と、
前記領域の値が当該領域の前記場面モデルの前記値とマッチするかどうか判定する工程と、
前記領域の前記値が当該領域の前記背景統計モデルの前記値とどの程度までマッチするか判定する工程と、
を備え、前記判定する各工程の結果に基づいて前記領域にラベルが割り当てられる、請求項１４に記載の方法。
【請求項２５】
前記背景統計モデルの成熟性および安定性についての判定を行う前記ステップが、
前記背景統計モデルが成熟しているか否か判定する工程と、
前記背景統計モデルが安定しているか否か判定する工程と、
前記背景統計モデルが安定していない場合に、前記背景統計モデルが以前に安定していたかどうか判定する工程と、
を備える、請求項２４に記載の回路。
【請求項２６】
前記背景統計モデルが安定しているかどうか判定する前記ステップが、前記背景統計モデルが成熟していると判定される場合に限って実行され、前記背景統計モデルが成熟していないと判定される場合、前記領域の値が当該領域の前記場面モデルの前記値とマッチするかどうか判定する前記ステップが実行される、請求項２５に記載の回路。
【請求項２７】
前記背景統計モデルが安定していると判定される場合、当該領域の前記背景統計モデルの値が当該領域の前記場面モデルの値とマッチするかどうか判定する前記ステップが実行される、請求項２５に記載の回路。
【請求項２８】
前記背景統計モデルが以前に安定していたかどうか判定する前記ステップが肯定的結果を返す場合、前記領域の値が当該領域の前記場面モデルの前記値とマッチするかどうか判定する前記ステップが実行され、前記背景統計モデルが以前に安定していたかどうか判定する前記ステップが否定的結果を返す場合、前記領域が明確な前景とラベル付けされる、請求項２５に記載の回路。
【請求項２９】
前記領域の値が当該領域の前記場面モデルの前記値とマッチするかどうか判定する前記ステップが肯定的結果を返す場合、前記領域が背景とラベル付けされ、否定的結果を返す場合、前記領域が前景とラベル付けされる、請求項２４に記載の回路。
【請求項３０】
当該領域の前記背景統計モデルの値が当該領域の前記場面モデルの値とマッチするかどうか判定する前記ステップが肯定的結果を返す場合、前記領域の前記値が当該領域の前記背景統計モデルの前記値とどの程度までマッチするか判定する前記ステップが実行され、当該領域の前記背景統計モデルの値が当該領域の前記場面モデルの値とマッチするかどうか判定する前記ステップが否定的結果を返す場合、前記領域の値が当該領域の前記場面モデルの前記値とマッチするかどうか判定する前記ステップが実行される、請求項２４に記載の回路。
【請求項３１】
前記領域の前記値が当該領域の前記背景統計モデルの前記値とどの程度までマッチするか判定する前記ステップが、
前記領域の前記値が当該領域の前記背景統計モデルの前記値とマッチするかどうか判定する工程と、
前記領域の前記値が当該領域の前記背景統計モデルの前記値とマッチするかどうか判定する前記ステップである場合、前記領域に背景とラベル付けする工程と、
前記領域の前記値が当該領域の前記背景統計モデルの前記値とマッチするかどうか判定する前記ステップが否定的結果を返す場合、前記領域の前記値が前記背景統計モデルと程遠いかどうか判定する工程と、
を備える、請求項２４に記載の回路。
【請求項３２】
前記領域の前記値が前記背景統計モデルと程遠いかどうか判定する前記ステップが、閾値比較を行う工程を備え、
前記領域の前記値が前記背景統計モデルと程遠いかどうか判定する前記ステップが肯定的結果を返す場合、前記領域に明確な前景とラベル付けし、
前記領域の前記値が前記背景統計モデルと程遠いかどうか判定する前記ステップが否定的結果を返す場合、前記領域に前景とラベル付けする、請求項３１に記載の回路。
【請求項３３】
映像の前景部分と背景部分とを区別する１パスの映像セグメント化の方法を行うように構成された回路であって、
前記方法が、
映像ストリームからフレームシーケンスを獲得するステップと、
前記フレームシーケンス内の各フレームごとに、
前記フレームを場面モデルと位置合わせする工程と、
背景統計モデルおよび２次統計モデルを構築する工程と、
前記フレームの前記領域にラベル付けする工程と、
空間／時間フィルタリングを行う工程と
を行うステップと、
を備える回路。
【請求項３４】
空間／時間フィルタリングを行う前記ステップが、前記フレームの各領域ごとに、
近隣フィルタリングを行う工程と、
空間フィルタリング、時間フィルタリング、または前記空間フィルタリングと前記時間フィルタリングの組み合わせを行う工程と、
を備える、請求項３３に記載の回路。
【請求項３５】
空間フィルタリング、時間フィルタリング、または前記空間フィルタリングと前記時間フィルタリングの組み合わせを行う前記ステップが、２次元または３次元で行われる形態学的侵食および膨張を行う工程を備える、請求項３４に記載の回路。
【請求項３６】
形態学的侵食および膨張を行う前記ステップが、
明確な前景とラベル付けされた領域は侵食されないｎ回の侵食を行う工程と、
ｎ回の侵食を行う前記工程に続いて、ｎ回の膨張を行う工程と、
ｎ回の膨張を行う前記工程に続いて、第２の回数、ｍ回の膨張を行う工程と、
を備える、請求項３５に記載の回路。
【請求項３７】
近隣フィルタリングを行う前記ステップが、背景とラベル付けされていない前記フレームの各領域Ｐｉごとに、
Ｐｉに対応する前記場面モデル内の位置Ｐｍを求める工程と、
Ｐｍの周囲の近隣領域Ｐ’ｍを求める工程と、
Ｐ’ｍのうちのいずれかがＰｉにマッチするかどうか判定する工程と、
Ｐ’ｍのうちのいずれかがＰｉにマッチする場合に、Ｐｉの周囲の近隣領域Ｐ’ｉを求める工程と、
Ｐ’ｉのうちのいずれかがＰｍとマッチするかどうか判定する工程と、
Ｐ’ｉのうちのいずれかがＰｍとマッチする場合に、Ｐｉに背景とラベル付けし直す工程と、
を備える、請求項３４に記載の回路。
【請求項３８】
背景統計モデルを構築する前記ステップが、
前記フレームの各領域ごとに、
前記背景統計モデルが成熟しており、安定しているかどうか判定することと、
前記背景統計モデルが成熟しており、安定している場合に、前記領域の値が前記背景統計モデルの対応する値とマッチするかどうか判定することと、
前記領域の前記値が前記背景統計モデルの前記値とマッチする場合に、前記領域の前記値を使って前記背景統計モデルを更新することと、
前記領域の前記値が前記背景統計モデルの前記値とマッチしない場合に、前記領域の前記値を使って前記２次統計モデルを更新することと、
を行う工程
を備える、請求項３３に記載の回路。
【請求項３９】
前記背景統計モデルが成熟しており、安定しているかどうか判定する前記ステップが、
前記背景統計モデルが成熟しているかどうか判定し、そうでない場合に、前記領域の前記値を使って前記背景統計モデルを更新する工程と、
前記背景統計モデルが成熟していると判定される場合に、前記背景統計モデルが安定しているかどうか判定する工程と、
前記背景統計モデルが成熟していないと判定される場合に、前記領域の前記値を使って前記背景統計モデルを更新する工程と、
を備える、請求項３８に記載の回路。
【請求項４０】
前記領域の前記値を使って前記背景統計モデルを更新する各ステップが、
前記領域の実行中の平均値を更新する工程と、
前記領域の実行中の標準偏差値を更新する工程と、
を備える、請求項３９に記載の回路。
【請求項４１】
前記領域の前記値を使って前記背景統計モデルを更新する前記ステップが、
前記領域の実行中の平均値を更新する工程と、
前記領域の実行中の標準偏差値を更新する工程と、
を備える、請求項３８に記載の回路。
【請求項４２】
前記２次統計モデルを更新する前記ステップが、
前記２次統計モデルが成熟しているかどうか判定する工程と、
前記２次統計モデルが成熟していない場合に、前記領域の前記値を使って前記２次統計モデルを更新する工程と、
前記２次統計モデルが成熟している場合に、前記２次統計モデルが安定しているかどうか判定する工程と、
前記２次統計モデルが安定していない場合に、前記領域の前記値を使って前記２次統計モデルを更新する工程と、
前記２次統計モデルが安定している場合に、前記領域の前記背景統計モデルを前記領域の前記２次統計モデルと置き換える工程と、
を備える、請求項３８に記載の回路。
【請求項４３】
背景統計モデルを構築する前記ステップが、前記背景統計モデルを仕上げる工程をさらに備える、請求項３８に記載の回路。
【請求項４４】
前記フレームの前記領域にラベル付けする前記ステップが、前記フレームの各領域ごとに、
当該領域の前記背景統計モデルの成熟性および安定性についての判定を行う工程と、
当該領域の背景統計モデルの前記値が当該領域の前記場面モデルの値とマッチするかどうか判定する工程と、
前記領域の値が当該領域の前記場面モデルの前記値とマッチするかどうか判定する工程と、
前記領域の前記値が当該領域の前記背景統計モデルの前記値とどの程度までマッチするか判定する工程と
を備え、前記判定する各判定する工程の結果に基づいて前記領域にラベルが割り当てられる、請求項３３に記載の方法。
【請求項４５】
前記背景統計モデルの成熟性および安定性についての判定を行う前記ステップが、
前記背景統計モデルが成熟しているか否か判定する工程と、
前記背景統計モデルが安定しているか否か判定する工程と、
前記背景統計モデルが安定していない場合に、前記背景統計モデルが以前に安定していたかどうか判定する工程と
を備える、請求項４４に記載の回路。
【請求項４６】
前記背景統計モデルが安定しているかどうか判定する前記ステップが、前記背景統計モデルが成熟していると判定される場合に限って実行され、前記背景統計モデルが成熟していないと判定される場合、前記領域の値が当該領域の前記場面モデルの前記値とマッチするかどうか判定する前記ステップが実行される、請求項４５に記載の回路。
【請求項４７】
前記背景統計モデルが安定していると判定される場合、当該領域の前記背景統計モデルの値が当該領域の前記場面モデルの値とマッチするかどうか判定する前記ステップが実行される、請求項４５に記載の回路。
【請求項４８】
前記背景統計モデルが以前に安定していたかどうか判定する前記ステップが肯定的結果を返す場合、前記領域の値が当該領域の前記場面モデルの前記値とマッチするかどうか判定する前記ステップが実行され、前記背景統計モデルが以前に安定していたかどうか判定する前記ステップが否定的結果を返す場合、前記領域が明確な前景とラベル付けされる、請求項４５に記載の回路。
【請求項４９】
前記領域の値が当該領域の前記場面モデルの前記値とマッチするかどうか判定する前記ステップが肯定的結果を返す場合、前記領域が背景とラベル付けされ、否定的結果を返す場合、前記領域が前景とラベル付けされる、請求項４４に記載の回路。
【請求項５０】
当該領域の前記背景統計モデルの値が当該領域の前記場面モデルの値とマッチするかどうか判定する前記ステップが肯定的結果を返す場合、前記領域の前記値が当該領域の前記背景統計モデルの前記値とどの程度までマッチするか判定する前記ステップが実行され、当該領域の前記背景統計モデルの値が当該領域の前記場面モデルの値とマッチするかどうか判定する前記ステップが否定的結果を返す場合、前記領域の値が当該領域の前記場面モデルの前記値とマッチするかどうか判定する前記ステップが実行される、請求項４４に記載の回路。
【請求項５１】
前記領域の前記値が当該領域の前記背景統計モデルの前記値とどの程度までマッチするか判定する前記ステップが、
前記領域の前記値が当該領域の前記背景統計モデルの前記値とマッチするかどうか判定する工程と、
前記領域の前記値が当該領域の前記背景統計モデルの前記値とマッチするかどうか判定する前記ステップである場合に、前記領域に背景とラベル付けする工程と、
前記領域の前記値が当該領域の前記背景統計モデルの前記値とマッチするかどうか判定する前記ステップが否定的結果を返す場合に、前記領域の前記値が前記背景統計モデルと程遠いと判定する工程と
を備える、請求項４４に記載の回路。
【請求項５２】
前記領域の前記値が前記背景統計モデルと程遠いかどうか判定する前記ステップが、閾値比較を行う工程を備え、
前記領域の前記値が前記背景統計モデルと程遠いかどうか判定する前記ステップが肯定的結果を返す場合、前記領域に明確な前景とラベル付けし、
前記領域の前記値が前記背景統計モデルと程遠いかどうか判定する前記ステップが否定的結果を返す場合、前記領域に前景とラベル付けする、請求項５１に記載の回路。
【請求項５３】
映像の前景部分と背景部分とを区別する２パスの映像セグメント化の方法を行うように構成された回路であって、
前記方法が、
入力映像ストリームからフレームシーケンスを獲得するステップと、
前記フレームシーケンスの各フレームごとに、
前記フレームを場面モデルと位置合わせする工程と、
前記フレームシーケンスの各フレームの各領域に対応する値および前記領域の分散を備える背景統計モデルを更新する工程と、
前記背景統計モデルを仕上げる工程と、
を備える第１のパスの方法を実行するステップと、
前記フレームシーケンスの各フレームごとに、
前記フレームの各領域にラベル付けする工程と、
前記フレームの前記領域の空間／時間フィルタリングを行う工程と
を備える第２のパスの方法を実行するステップと、
を備える回路。
【請求項５４】
映像の前景部分と背景部分とを区別する１パスの映像セグメント化の方法を行うように構成された回路であって、
前記方法が、
映像ストリームからフレームシーケンスを獲得するステップと、
前記フレームシーケンス内の各フレームごとに、
前記フレームを場面モデルと位置合わせする工程と、
前記フレームシーケンスの各フレームの各領域に対応する値および前記領域の分散を備える背景統計モデルを構築する工程と、
前記フレームの前記領域にラベル付けする工程と、
空間／時間フィルタリングを行う工程と、
を行うステップと、
を備える回路。
【請求項５５】
映像の前景部分と背景部分とを区別する１パスの映像セグメント化の方法であって、
リアルタイム映像ストリームを獲得するステップと、
前記リアルタイムフレームストリーム内の各フレームごとに、
前記フレーム内の画素にラベル付けする工程と、
空間／時間フィルタリングを行う工程と、
前記画素がラベル付けされた後で背景統計モデルを更新する工程と、
前記画素がラベル付けされた後で、少なくとも１つの前景統計モデルを構築し、および／または更新する工程と、
を行うステップと、
を備える方法。
【請求項５６】
前記リアルタイムフレームストリーム内の各フレームごとに、
前記背景統計モデルにオブジェクトを挿入するステップ
をさらに行う、請求項５５に記載の方法。
【請求項５７】
前記フレーム内の画素にラベル付けする前記ステップが、
前記フレームへの大域的照明変化を補償する工程
を備える、請求項５５に記載の方法。
【請求項５８】
前記背景統計モデルおよび前記前景統計モデルを更新する前記ステップが、
前記フレームへの大域的照明変化を補償する工程
を備える、請求項５５に記載の方法。
【請求項５９】
前記フレームにおいて前記フレーム内の関心領域の画素がラベル付けされる、請求項５５に記載の方法。
【請求項６０】
前記背景統計モデルおよび前記前景統計モデルの画素が、前記フレーム内の関心領域について構築され、および／または更新される、請求項５５に記載の方法。
【請求項６１】
前記背景統計モデルが前記背景統計モデルの以前の統計値に基づいて更新される、請求項５５に記載の方法。
【請求項６２】
前記背景統計モデルが、前記背景統計モデルの以前の統計値に適用される無限インパルス応答フィルタに基づいて更新される、請求項６１に記載の方法。
【請求項６３】
前記前景統計モデルが前記前景統計モデルの以前の統計値に基づいて更新される、請求項５５に記載の方法。
【請求項６４】
前記前景統計モデルが、前記前景統計モデルの以前の統計値に適用される無限インパルス応答フィルタに基づいて更新される、請求項６３に記載の方法。
【請求項６５】
コンピュータと、
請求項５５に記載の方法を実施するソフトウェアを含むコンピュータ可読媒体と、
を備えるコンピュータシステム。
【請求項６６】
請求項１に記載の方法を実施するソフトウェアを備えるコンピュータ可読媒体。
【請求項６７】
映像の前景部分と背景部分とを区別する１パスの映像セグメント化の方法を行うように構成された回路であって、
前記方法が、
リアルタイム映像ストリームを獲得するステップと、
前記リアルタイムフレームストリーム内の各フレームごとに、
前記フレーム内の画素にラベル付けする工程と、
空間／時間フィルタリングを行う工程と、
前記画素がラベル付けされた後で、背景統計モデルを更新する工程と、
前記画素がラベル付けされた後で、少なくとも１つの前景統計モデルを構築し、および／または更新する工程と、
を行うステップと、
を備える回路。
【請求項６８】
前記リアルタイムフレームストリーム内の各フレームごとに、
前記背景統計モデルにオブジェクトを挿入するステップ
をさらに行う、請求項６７に記載の方法。
【請求項６９】
前記フレーム内の画素にラベル付けする前記ステップが、
前記フレームへの大域的照明変化を補償する工程
を備える、請求項６７に記載の方法。
【請求項７０】
前記背景統計モデルおよび前記前景統計モデルを更新する前記ステップが、
前記フレームへの大域的照明変化を補償する工程
を備える、請求項６７に記載の方法。
【請求項７１】
前記フレームにおいて前記フレーム内の関心領域の画素がラベル付けされる、請求項６７に記載の方法。
【請求項７２】
前記背景統計モデルおよび前記前景統計モデルの画素が、前記フレーム内の関心領域について構築され、および／または更新される、請求項６７に記載の方法。
【請求項７３】
前記背景統計モデルが前記背景統計モデルの以前の統計値に基づいて更新される、請求項６７に記載の方法。
【請求項７４】
前記背景統計モデルが、前記背景統計モデルの以前の統計値に適用される無限インパルス応答フィルタに基づいて更新される、請求項７３に記載の方法。
【請求項７５】
前記前景統計モデルが前記前景統計モデルの以前の統計値に基づいて更新される、請求項６７に記載の方法。
【請求項７６】
前記前景統計モデルが、前記前景統計モデルの以前の統計値に適用される無限インパルス応答フィルタに基づいて更新される、請求項７５に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
[0001]本発明は、例えば、セキュリティ、監視および関連する国土安全保障およびテロ対策システムで利用される閉回路テレビシステム（ＣＣＴＶ）の一部として、または同システムと連動させて使用されるインテリジェント映像監視（ＩＶＳ）システム、市場調査目的で店内人間挙動の傾向を確認するために小売店における監視映像を処理するＩＶＳシステム、誤った方向の通行、故障車両、事故および道路封鎖を検出するために車両交通を監視するＩＶＳシステム、ならびに映像圧縮システムなどの映像処理システムで使用するための映像フレームの処理に関する。ＩＶＳシステムとは、映像セグメント化ステップの後で、前景オブジェクトを、動物、乗り物、その他の動く未分類オブジェクトといった一般的なクラスとして分類し、あるいは人間、小型もしくは大型の人間以外の動物、自動車、航空機、船、トラック、樹木、旗、または水域のようなより具体的なクラスとして分類するオブジェクト分類を行うために映像をさらに処理するシステムである。ＩＶＳシステムでは、このような映像セグメント化および分類が行われた後で、検出されたオブジェクトは、これらのオブジェクトの位置、動きおよび挙動がユーザ定義の仮想映像仕掛け線、および仮想関心領域（関心領域は視野全体または場面全体とすることもできる）にどのように関連するか判定するために処理される。次いで、発生したユーザ定義のイベントに、勤務中の保安警官または保安要員に伝えられる関心対象イベントとしてフラグが立てられる。このようなイベントの例には、人間もしくは乗り物が仮想映像仕掛け線を横切る、人もしくは乗り物が仮想関心領域もしくは場面を徘徊し、もしくはそこに入る、またはオブジェクトが仮想領域もしくは場面に放置され、もしくはそこから持ち去られるなどが含まれる。詳細には、本発明は、映像フレームを構成する各領域の統計的特性を使って、映像フレームをその構成部分にセグメント化する方法を扱う。
【背景技術】
【０００２】
[0002]オブジェクトベースの映像圧縮、映像オブジェクトを検出し、追跡するための映像セグメント化、ならびに他の種類のオブジェクト指向映像処理では、入力映像が２つのストリームに分離される。一方のストリームは静止背景情報を表す情報を含み、他方のストリームは前景情報として表すべきである、映像の動く部分を表す情報を含む。背景情報は場面モデルを含む背景モデル、すなわち、例えば、映像フレームのシーケンスに見られるような、一連の関連画像から合成された合成画像として表される。また、背景モデルは追加のモデルおよびモデリング情報を含んでいてもよい。場面モデルは、（例えば点および／または領域をマッチさせるなど）画像を位置合わせし、画像間のオーバーラップを判定することによって生成される。効率のよい送信または格納方式では、場面モデルは一度送信されるだけでよく、前景情報は各フレームごとに送信される。例えば、パン、チルト、ロール、およびズーム型の移動だけを生じる観測装置（すなわち、映像源であるカメラなど）の場合には、場面モデルは一度送信されるだけでよい。というのは、場面モデルの外観は、観測装置の動きに基づいて明確に定義されるような変化以外には、フレームごとに変化せず、観測装置の動きは動きパラメータを送信することによって容易に説明することができるからである。このような技法は、パン、チルト、ロール、およびズーム以外の、別の移動形態の場合にも適用できることに留意されたい。ＩＶＳシステムにおいては、別々の動く前景オブジェクトと背景オブジェクトを作成することにより、カメラのパン、チルト、およびズーム移動により背景画素に明らかな動きが生じているときでさえも、システムに動く関心対象オブジェクトの分類を試みさせることが可能になる。
【０００３】
[0003]自動オブジェクト指向映像処理を実現できるようにするには、移動または変化している映像シーケンス中の各領域を区別し、これらの領域を静止背景領域から分離する（すなわちセグメント化する）ことができる必要がある。このセグメント化は、例えば、パン、チルト、ロール、および／またはズームする観測装置によって（または実際の観測装置の移動を含む別の移動関連の現象によって）誘発されるような、明白な動きが存在する中で行われなければならない。この動きを明らかにするために、まず画像が位置合わせされる。すなわち、前述のように、画像内の対応する位置（すなわち各フレーム）が特定される。この位置合わせの後、実際に移動または変化しているオブジェクトを、静止背景に対して、場面内の静止オブジェクトからセグメント化することができる。次いで、静止領域を使って場面モデルが作成（または更新）され、動く前景オブジェクトが各フレームごとに識別される。
【０００４】
[0004]動く前景と静止した背景である映像オブジェクトを識別し、自動的に区別するのは、特に、前述のような観測装置の動きがある場合には、容易ではない。さらに、最大限の圧縮度または別の映像処理技術の最大限の精密さまたは正確さを提供するには、前景オブジェクトを可能な限り細かくセグメント化することが望ましい。というのは、これにより、例えば、連続する映像フレーム間の滑らかさおよび個々のフレーム内の鮮明さを維持することを可能になるからである。しかしながら、公知の技術は、小さい前景オブジェクトでは使用するのが難しく、不正確であることが分かっており、過大な処理能力およびメモリを必要とする。したがって、従来技術の制限を受けずに、前景情報と背景情報との間の正確なセグメント化、および前景オブジェクトの正確で鮮明な表現を可能にする技術があれば望ましい。
【発明の開示】
【課題を解決するための手段】
【０００５】
[0005]本発明は、ソース映像の統計的特性に基づく、映像の前景情報と背景情報とへのセグメント化の方法を対象とする。より詳細には、この方法は、映像の各領域の特性に関する統計情報、および統計情報に基づくこれらの領域の（すなわち前景または背景としての）ラベル付けを作成し、更新することに基づくものである。例えば、一実施形態では、各領域は画素であり、特性は彩度である。以下で明らかになるように、他の多くの可能な方法も存在する。より特定の実施形態では、本発明は、本発明の映像セグメント化方法を使ってインテリジェント映像監視システムを実施する方法を対象とする。
【０００６】
[0006]本発明の実施形態では、少なくとも２つの構成要素を含む背景モデルが作成される。第１の構成要素は場面モデルであり、例えば、前述の米国特許出願で論じられているように構築され、更新され得る。第２の構成要素は背景統計モデルである。
【０００７】
[0007]第１の実施形態では、本発明の方法は２パスの映像セグメント化プロセスを備える。この実施形態の２つのパスは、背景統計モデルが構築され、更新される第１のパスと、フレーム内の各領域がセグメント化される第２のパスとを備える。第１のパスの一実施形態は、各映像フレームを場面モデルと位置合わせするステップと、位置合わせされたフレームデータに基づいて背景統計モデルを更新するステップとを備える。第２のパスの実施形態は、各フレームごとに、そのフレームの各領域にラベル付けするステップと、空間フィルタリングを行うステップとを備える。
【０００８】
[0008]第２の実施形態では、本発明の方法は１パスの映像セグメント化プロセスを備える。この単一のパスは、映像ストリームのフレームシーケンス内の各フレームごとに、フレームを場面モデルと位置合わせするステップと、背景統計モデルを構築するステップと、フレームの各領域にラベル付けするステップと、空間／時間フィルタリングを行うステップと、を備える。
【０００９】
[0009]別の実施形態では、本発明の方法は、前述の１パスの映像セグメント化プロセスの変形バージョンを備える。この実施形態は、背景統計モデルを構築するステップが、背景統計モデルおよび２次統計モデルを構築するステップと置き換えられることを除いて、前述の実施形態と同様である。
【００１０】
[0010]第４の実施形態では、本発明の方法は１パスの映像セグメント化プロセスを備える。この単一のパスは、リアルタイム映像ストリーム内の各フレームごとに、フレーム内の各画素にラベル付けするステップと、フレーム内の各画素の空間／時間フィルタリングを行うステップと、任意選択で画素ラベル付けを改良するステップと、背景および前景の統計モデルを構築／更新するステップと、背景統計モデルにオブジェクトを挿入するステップと、を備える。
【００１１】
[0011]これらの実施形態は、それぞれ、各実施形態のステップを実行するソフトウェアを走らせるコンピュータシステム、および各実施形態のステップを表現するソフトウェアを含むコンピュータ可読媒体として実施されてもよい。
【００１２】
[0012]これらの実施形態は、それぞれ、ハードウェア装置として実施されてもよい。
定義
【００１３】
[0013]本発明を説明するに際して、（以上を含む）本明細書全体において以下の定義が適用される。
【００１４】
[0014]「コンピュータ」とは、構造化入力を受け入れ、規定の規則に従って構造化入力を処理し、処理の結果を出力として生成することのできる任意の装置をいう。コンピュータの例には、コンピュータ、汎用コンピュータ、スーパーコンピュータ、メインフレーム、スーパーミニコンピュータ、ミニコンピュータ、ワークステーション、マイクロコンピュータ、サーバ、双方向テレビ、コンピュータと双方向テレビのハイブリッド結合体、コンピュータおよび／またはソフトウェアをエミュレートする特定用途向けハードウェアがなど含まれる。コンピュータは単一のプロセッサまたは複数のプロセッサを有することができ、各プロセッサは並列に、および／または並列以外で動作することができる。また、コンピュータは、コンピュータ間で情報を送信し、または受信するためにネットワークを介して相互に接続されている２台以上のコンピュータもいう。このようなコンピュータの例には、ネットワークによってリンクされたコンピュータを介して情報を処理する分散コンピュータシステムが含まれる。
【００１５】
[0015]「コンピュータ可読媒体」とは、コンピュータからアクセス可能なデータを格納するのに使用される任意の記憶装置をいう。コンピュータ可読媒体の例には、磁気ハードディスク、フロッピーディスク、ＣＤ−ＲＯＭやＤＶＤのような光ディスク、磁気テープ、およびメモリチップなどが含まれる。
【００１６】
[0016]「ソフトウェア」とはコンピュータを動作させるための規定された規則をいう。ソフトウェアの例には、ソフトウェア、コードセグメント、命令、コンピュータプログラム、およびプログラム論理などが含まれる。
【００１７】
[0017]「コンピュータシステム」とは、コンピュータを動作させるソフトウェアを実施するコンピュータ可読媒体を備えるコンピュータを有するシステムをいう。
【００１８】
[0018]「ネットワーク」とは、通信設備によって接続されている何台かのコンピュータおよび関連機器をいう。ネットワークは、ケーブルなどの永続的接続、または電話もしくはその他の通信リンクを介して行われる接続などの一時的接続を伴う。ネットワークの例には、インターネットなどの相互接続ネットワーク、イントラネット、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、および相互接続ネットワークやイントラネットといったネットワークの結合体などが含まれる。
【００１９】
[0019]「映像」とは、アナログおよび／またはディジタルの形で表される動画をいう。映像の例には、セキュリティ、監視およびテロ対策用途におけるＣＣＴＶシステムからの映像フィード、テレビ、映画、カメラまたはその他の観測装置からの画像シーケンス、コンピュータで生成される画像シーケンスなどが含まれる。これらの映像は、例えば、有線または無線のライブフィード、記憶装置、ＦｉｒｅＷｉｒｅインターフェース、映像ディジタイザ、映像ストリーミングサーバ、機器もしくはソフトウェアコンポーネント、コンピュータグラフィックスエンジン、またはネットワーク接続などから獲得することができる。
【００２０】
[0020]「映像処理」とは、例えば圧縮や編集などを含む、任意の映像操作をいう。
【００２１】
[0021]「フレーム」とは、映像内の個々の画像またはその他の個別の単位をいう。
【００２２】
[0022]「ビデオカメラ」とは、可視記録のための装置をいう。ビデオカメラの例には、ビデオカメラ、ディジタルビデオカメラ、カラーカメラ、白黒カメラ、カメラ、カムコーダ、ＰＣカメラ、ウェブカム、赤外線（ＩＲ）ビデオカメラ、低光量ビデオカメラ、熱映像カメラ、閉回路テレビ（ＣＣＴＶ）カメラ、パン、チルト、ズーム（ＰＴＺ）カメラ、映像感知機器のうちの１つ以上が含まれ得る。ビデオカメラは、関心領域の監視を行うように配置され得る。
【００２３】
[0023]次に本発明を、添付の図面と関連してさらに詳細に説明する。
【００２４】
[0039]同一のオブジェクトは、同一のオブジェクトを含むすべての図面において同じ符号でラベル付けされることに留意されたい。
【発明を実施するための最良の形態】
【００２５】
[0040]前述のように、本発明は、映像ストリームの、動くオブジェクトに対応する前景情報と、映像の静止部分に対応する背景情報とへのセグメント化を対象とするものである。本発明は、いくつかの方法で実施することができ、以下では、そのうちの４つの具体的方法について論じる。これらの実施形態は、それだけに限定されるのではなく、例示のためのものである。
【００２６】
[0041]以下の考察では「画素」および「彩度」に言及する。しかしながら、本発明の方法はこれだけに限定されるものではない。そうではなく、処理は、画素のみならず（複数の画素を備える領域を含む）任意の種類の領域に関与し、彩度のみならず、そのような領域に対して測定され、またはそのような領域に関連する任意の種類の特性を使用し得る。
【００２７】
１．第１の実施形態  ２パスのセグメント化
[0042]図１には本発明の第１の実施形態が示されており、これは２パスのセグメント化の方法に対応する。図１に示すように、この方法ではまず映像ストリームからフレーム（または映像）シーケンスを獲得する（ステップ１）。フレームシーケンスは、好ましくは、映像ストリームの２つ以上のフレームを含む。フレームシーケンスは、例えば、映像ストリームの一部または映像ストリーム全体とすることができる。映像ストリームの一部として、フレームシーケンスは、例えば、映像ストリームの１つの連続するフレームシーケンスまたは映像ストリームの２つ以上の不連続のフレームシーケンスなどとすることができる。また、位置合わせステップの一部として、場面モデルも構築され、更新される。
【００２８】
[0043]ステップ１の後、ステップ２で、すべてのフレームがすでに処理されているか否かが判定される。まだ処理されていない場合には、次のフレームが取り込まれ、下にある映像ストリームの場面モデルと位置合わせされる（ステップ３）。このような位置合わせについては前述しており、他の多数の参照文献でも論じられている。
【００２９】
[0044]本発明の方法は統計的モデリングを使って、個々の画素を前景オブジェクトまたは前景オブジェクトの一部であると分類すべきか、それとも背景または背景の一部であると分類すべきか判定することに基づくものである。ステップ４では、ステップ３で位置合わせされた各フレームを使った、背景の統計モデルの構築および更新を扱う。
【００３０】
[0045]本発明の統計モデルは、１次統計および２次統計を備える。以下の考察では、このような１次統計および２次統計として平均および標準偏差が使用される。しかしながら、これは単に、使用され得る統計を例示するものにすぎない。
【００３１】
[0046]一般には、Ｎサンプルの平均値
【数１】
2009533778.tif 000003
は、各サンプルの和を取り、これをＮで割ることによって、すなわち、
【数２】
2009533778.tif 000004
によって算出され、式中、ｘｉは所与の画素（または領域）に対応する個々のサンプルであり、この事例では、例えば、所与の画素（または領域）に対応する第ｉのサンプルの測定された彩度などとすることができる。この設定では、その場合、そのような平均値が各画素または領域ごとに算出される。
【００３２】
[0047]式（１）はサンプル平均値の一般式を与えるものであるが、この式を使用することが常に最適であるとは限らない。映像処理用途では、ある画素のサンプル値は、オブジェクトがその画素を通るときに急激に変化し、動くオブジェクトがもはやその画素内にはなくなった後で、その画素の元の値の前後の値に（急激に）戻ることがある。この種の問題に対処するために、本発明では、前の値に現在の値よりも多く重み付けする加重平均を利用する。詳細には、以下の式が使用される。
【数３】
2009533778.tif 000005
式中、Ｗｐは過去の値の重みであり、Ｗｎは最新の値に割り当てられる重みである。さらに、
【数４】
2009533778.tif 000006
は、Ｊサンプルにわたって取られる加重平均を表し、ｘＫは第Ｋのサンプルを表す。ＷｐおよびＷｎは、過去の値が最新の値より多く重み付けされるように、ＷｐとＷｎの和が１であり、Ｗｎ＜Ｗｐであるような、０と１との間の任意の値の対に設定される。例えば、発明者らは、Ｗｐ＝０．９およびＷｎ＝０．１を使って成功している。
【００３３】
[0048]標準偏差σは、考慮される値の分散σ２の平方根として求められる。一般に、分散は、以下の式によって求められる。
【数５】
2009533778.tif 000007
式中、
【数６】
2009533778.tif 000008
はｘ２の平均を表す。したがって、標準偏差は、
【数７】
2009533778.tif 000009
によって与えられる。本発明の方法は実行中の統計を使用するため、これは、
【数８】
2009533778.tif 000010
になり、式中、
【数９】
2009533778.tif 000011
は、上記式（２）で定義されるとおりであり、
【数１０】
2009533778.tif 000012
は、第Ｎのサンプルまでの各サンプルの二乗値の加重平均として定義され、
【数１１】
2009533778.tif 000013
によって与えられる。各サンプル値の加重平均の場合と同様に、重みを使って、過去の値が現在の値よりも多く重み付けされるようにする。
【００３４】
[0049]以上が与えられるものと仮定して、ステップ４は、各フレームごとに、各画素ごとの式（４ａ）の値を算出することによって統計モデルを作成し、更新するように機能する。また、ステップ４では各画素の値が、（各画素が受け取られるように、すなわち、フレームごとにではなく）画素ごとに格納される。すなわち、一連の値がそのフレームシーケンスにわたって各画素ごとにコンパイルされる。代替の実施形態では、ステップ４ではこの値の格納を行うだけであることに留意されたい。
【００３５】
[0050]ステップ４に続き、方法はステップ２に戻って、すべてのフレームが処理されているか否かチェックする。すべてのフレームが処理されている場合、方法はステップ５に進み、この実施形態の第２のパスを開始する。
【００３６】
[0051]ステップ５では、統計的背景モデルが仕上げられる。これは、各画素ごとの格納された値を使用し、これらの値のモード、すなわち、最も頻繁に生じる値を求めることによって行われる。これは、例えば、格納された値のヒストグラムを取り、そのヒストグラムが最高値を有する値を選択することによって達成され得る。次いで、各画素のモードがその画素の背景統計モデルの値として割り当てられる。
【００３７】
[0052]ステップ５に続き、方法はステップ６に進み、すべてのフレームがすでに処理されているか否か判定する。まだ処理されていない場合、方法はステップ７に進み、そこでフレーム内の各画素が前景（ＦＧ）画素または背景（ＢＧ）画素であるとラベル付けされる。このステップの動作の２つの選択可能な実施形態を図２Ａおよび図２Ｂのフローチャートに示す。
【００３８】
[0053]図２Ａには２判定レベルの方法が示されている。図２Ａでは、画素ラベル付けステップ７はステップ７１から開始し、そこでフレーム内のすべての画素が処理されているか否かが判定される。まだ処理されていない場合、方法はステップ７２に進んで次の画素を調べる。ステップ７２では、画素が背景統計モデルとマッチするか否か、すなわち、画素の値がその画素のモデルとマッチするかどうかを判定する。これは、画素値とその画素の背景統計モデルの値（すなわちモード）との絶対差を取り、この絶対差を閾値と比較することによって行われる。すなわち、
【数１２】
2009533778.tif 000014
が閾値θと比較される。式（６）において、ｘｐｉｘｅｌは画素の値を表し、ｍｐｉｘｅｌはその画素の統計的背景モデルの値を表す。
【００３９】
[0054]閾値θは多くの方法で求められる。例えば、閾値θは、（所与の画素）の標準偏差σの関数であるとみなすこともできる。特定の例示的実施形態では、θ＝３σである。別の実施形態では、θ＝Ｋσであり、Ｋはユーザによって選択される。別の例として、θには（やはり各画素ごとに）所定の値、またはユーザが選択した値が割り当てられてもよい。
【００４０】
[0055]Δ≦θである場合、画素値は背景統計モデルとマッチするとみなされる。この場合、画素はステップ７３で背景（ＢＧ）とラベル付けされ、アルゴリズムはステップ７１に戻る。そうでなく、Δ＞θである場合、画素値は背景統計モデルとマッチしないとみなされ、画素はステップ７４で前景（ＦＧ）とラベル付けされる。この場合もやはり、アルゴリズムは次いでステップ７１に戻る。ステップ７１で（フレーム内の）すべての画素が処理されていると判定された場合、ステップ７は終了する。
【００４１】
[0056]図２Ｂには、７’と表示された３判定レベルの方法が示されている。図２Ｂでは、プロセスはやはり、すべての画素が処理されているか否か判定するステップであるステップ７１から開始する。まだ処理されていない場合、プロセスは次の画素を処理されるものとみなし、処理中の画素が背景統計モデルとマッチするか否か判定するステップであるステップ７２を実行する。これは、図２Ａと同様に行われる。マッチする場合、画素がＢＧとラベル付けされ（ステップ７３）、プロセスは折り返してステップ７１に戻る。そうでない場合、プロセスはステップ７５に進む。これが図２Ｂのプロセスを図２Ａのプロセスと区別するステップである。
【００４２】
[0057]ステップ７５では、プロセスは、考慮される画素が背景統計モデルとマッチするというには程遠いか否かを判定する。これは、ステップ７２と同様の閾値テストによって達成され、ステップ７５でのみ、θにはより大きな値が与えられる。ステップ７２の場合と同様に、θはユーザよって割り当てられても、前もって決定されてもよい。一実施形態では、θ＝Ｎσであり、Ｎは所定のまたはユーザ設定の数であり、Ｎ＞Ｋである。別の実施形態では、Ｎ＝６である。
【００４３】
[0058]ステップ７５の結果がΔ≦θである場合、画素はＦＧとラベル付けされる（ステップ７４）。そうでない場合、画素はステップ７６で明確な前景（ＤＦＧ）とラベル付けされる。いずれの場合も、プロセスは折り返してステップ７１に戻る。ステップ７１で、フレーム内のすべての画素が処理されていると判定した後で、ステップ７’が完了する。
【００４４】
[0059]図１に戻って、フレームのすべての画素にラベル付けされた後で、プロセスはステップ８に進み、そこで空間／時間フィルタリングが行われる。図１では連続したステップとして示されているが、ステップ８は代替としてステップ７と並列に行われてもよい。ステップ８の詳細を図３Ａおよび図３Ｂのフローチャートに示す。
【００４５】
[0060]図３Ａにおいて、ステップ８は、フレームのすべての画素が処理されているか否かに関するテストから開始する（ステップ８１）。まだ処理されていない場合、ステップ８５で、アルゴリズムは処理のための次の画素Ｐｉを選択し、ステップ８２に進み、そこで画素がＢＧとラベル付けされているか否かが判定される。ＢＧとラベル付けされている場合、プロセスはステップ８１に戻る。そうでない場合、画素はステップ８３およびステップ８４においてさらに処理される。
【００４６】
[0061]ステップ８３の近隣フィルタリングは、画像が位置合わせされたときの位置合わせ不良を補正するのに使用される。現在の画像が、作成中の背景統計モデルとわずかにずれている場合、特に強い縁部付近では、背景統計モデルを使用する本発明のセグメント化手順は、画素に前景とラベル付けすることになる。近隣フィルタリングはこれを補正する。ステップ８３の一実施形態が図３Ｂのフローチャートに示されている。
【００４７】
[0062]図３Ｂにおいて、ステップ８３はステップ８３１から開始し、そこでＰｉに対応する場面モデル位置Ｐｍの判定が行われる。次に、場面モデル内のＰｍを取り囲む画素Ｐ’ｍを備える近隣が選択される（ステップ８３２）。次に、ステップ８３３で、近隣内のすべての画素が処理されているかどうか判定する。処理されている場合、ステップ８３は完了し、Ｐｉのラベルは以前のままとされる。そうでない場合、プロセスはステップ８３４に進み、そこで次の近隣画素Ｐ’ｍが考慮される。次いで、ステップ８３５で、ＰｉがＰ’ｍとマッチするか否か判定するテストを行う。このマッチテストは、Ｐｉを考慮中の画素として、Ｐ’ｍを「対応する」背景統計モデル点として使用する、変形された方式のラベル付けステップ（ステップ７またはステップ７’）を実行することによって達成される。ラベル付けステップがＦＧまたはＤＦＧのラベルを返す場合には、マッチは存在せず、ＢＧのラベルを返す場合には、マッチが存在する。マッチが存在しない場合、プロセスは折り返してステップ８３３に戻る。マッチが存在する場合、これは、Ｐｉが誤ってラベル付けされているおそれがあることを示すものであり、プロセスはステップ８３６に進む。ステップ８３６では、フレーム内のＰｉを取り囲む画素Ｐ’ｉを備える近隣が選択され、類似のプロセスが行われる。すなわち、ステップ８３３では、近隣内のすべての画素Ｐ’ｉが考慮されているか否かが判定される。考慮されている場合、ステップ８３は完了し、Ｐｉのラベルは以前のままとされる。そうでない場合、プロセスはステップ８３８に進み、そこで次の近隣画素Ｐ’ｉが考慮される。ステップ８３９では、ＰｍがＰ’ｉとマッチするかどうか判定するテストを行う。これは，ステップ８３３と同様に行われ、考慮中のＰ’ｉが考慮される画素として、ＰｍがＰ’ｉの「対応する」背景統計モデル点として使用される。マッチしない場合、プロセスは折り返してステップ８３７に戻る。マッチする場合、ＰｉはＢＧとラベル付けし直され、ステップ８３が完了する。
【００４８】
[0063]図３Ａに戻って、ステップ８３に続いてステップ８４が実行され、そこで形態学的侵食および膨張が行われる。まず、所定の回数ｎの侵食が行われ、誤ってラベル付けされた前景が除去される。ＤＦＧとラベル付けされた画素は、いずれにしてもほぼ確実に前景である画素を表すため、侵食されていないと考えられることに留意されたい。これに続いてｎ回の膨張が行われ、前景として正しくラベル付けされたが侵食された画素を復元する。最後に、第２の所定の回数ｍの膨張が行われて前景オブジェクト内の穴が充填される。侵食および膨張は、従来の侵食および膨張技術を使って行われ、ユーザ指定のパラメータに従って適用され、前述のように、ＤＦＧとラベル付けされた画素が侵食されないように修正される。
【００４９】
[0064]代替の実施形態では、ステップ８４が、形態学的侵食および膨張の代わりに、またはこれらに加えてフィルタリング法を備えていてもよい。一般に、ステップ８４は、任意の形態の空間および／または時間フィルタリングを用いる。
【００５０】
[0065]図１に戻って、ステップ８に続いて、アルゴリズムはステップ６に戻り、すべてのフレームが処理されているか否か判定する。処理されている場合、そのフレームシーケンスの処理が完了し、プロセスが終了する（ステップ９）。
【００５１】
[0066]この２パスの実施形態には、比較的簡単であるという利点があり、即座の、または低待ち時間の処理を必要としない用途に許容される手法である。このような用途の例には、オフライン映像圧縮、非線形映像編集ならびにセキュリティおよび監視映像の法科学的処理などが含まれる。他方、適時のイベント報告が不可欠である映像セキュリティおよび監視など他の多くの用途にはこのような要件があり、以下で論じる実施形態はこれらの要件に対処するように構成される。
【００５２】
２．第２の実施形態  １パスのセグメント化
[0067]図４に、本発明の第２の実施形態による１パスのセグメント化プロセスのフローチャートを示す。図４を図１（第１の実施形態）と比較すると、第２の実施形態には、各フレームシーケンスごとに単一の処理のパスしかないという違いがある。図４のステップ２、３、３１、３２、８に示すようなこの単一パスは、以下で論じるように、第２のパスの各プロセス（図１のステップ５〜８）と第１のパス（図１のステップ２〜４）とを、変形した形としてではあるが、合併したものである。
【００５３】
[0068]第１の実施形態の場合と同様に、図４に示す第２の実施形態（１パスのプロセス）ではまず、フレームシーケンスを獲得する（ステップ１）。第１の実施形態の場合と同様に、次いでプロセスは、すべてのフレームが処理されているか否か判定するテストを行う（ステップ２）。また、第１の実施形態と同様に、判定結果がＮＯである場合、次に処理すべきフレームが場面モデルと位置合わせされる（ステップ３）。前述のように、背景モデルの場面モデル構成要素がステップ３の一部として構築、更新され、そのため、背景モデルの各位置ごとに、常に少なくとも１つの決定論的に決まる値がある。
【００５４】
[0069]この時点において、プロセスは、背景統計モデルを構築するステップを含む（ステップ３１）。これは図５にさらに詳細に示すように、図１のステップ４とは異なる。プロセスは、処理中のフレーム内のすべての画素が処理されているか否か判定するステップから開始する（ステップ３１１）。まだ処理されていない場合、プロセスは、背景統計モデルが「成熟」しているか否か（ステップ３１２）、「安定」しているか否か（ステップ３１３）を判定する。
【００５５】
[0070]ステップ３１２およびステップ３１３を行う理由は、統計的背景モデルが、最初は、各画素の特性について正確な判定を行うのに十分なほど発達していないためである。これを克服するためには、画素がラベル付けされる前にいくつかのフレームを処理する必要がある（すなわち、背景統計モデルが「成熟」している必要がある）。本発明の一実施形態ではこれはユーザ定義のパラメータである。これは、「先読み」手順として実施されてもよく、先読み手順では、画素ラベル付けの前に、限られた数のフレームを使って背景統計モデルが累積される（図４のステップ３２）。
【００５６】
[0071]成熟した統計モデルを提供するには単にユーザ定義の数のフレームを処理するだけで十分であるが、第２の問題は安定度であり（ステップ３１３）、これは背景統計モデルの標準偏差に依存する。詳細には、以下で論じるように、統計的背景モデルは各画素ごとの標準偏差を含む。（個々の画素の）統計モデルは、そのモデルの分散（すなわち、そのモデルの標準偏差）が適度に小さくなると「安定」していると定義される。本発明の一実施形態では、ステップ３１３で、標準偏差とユーザ定義の閾値パラメータとを比較することによってこれを判定する。標準偏差がこの閾値より小さい場合、（その画素の）統計的背景モデルは安定していると判定される。
【００５７】
[0072]ステップ３１の流れに関して、図５で、背景統計モデルが成熟していると判定された場合（ステップ３１２）、背景統計モデルが安定しているか否かが判定される（ステップ３１３）。これらのテスト（ステップ３１２およびステップ３１３）のどちらかに失敗した場合、プロセスはステップ３１５に進み、そこで処理中の画素の背景統計モデルが、その画素の現在の値を使って更新される。ステップ３１５について以下でさらに説明する。
【００５８】
[0073]背景統計モデルが（ステップ３１２およびステップ３１３で）成熟しており、かつ安定していると判定された場合、プロセスはステップ３１４に進み、そこで処理中の画素が背景統計モデルとマッチするか否かが判定される。マッチする場合、背景統計モデルは現在の画素値を使って更新される（ステップ３１５）。マッチしない場合、プロセスは折り返しステップ３１１に戻って、フレーム内のすべての画素が処理されているかどうか判定する。
【００５９】
[0074]ステップ３１４は、現在の背景統計モデルに従って、現在の画素値が画素の平均値のある範囲内にあるか否か判定するように動作する。本発明の一実施形態では、この範囲はユーザ定義の範囲である。別の実施形態では、これはユーザ定義の数の標準偏差であると判定される。すなわち、画素値ｘは、
【数１３】
2009533778.tif 000015
である場合に背景統計モデルとマッチし、式中、Ｋはユーザ定義の標準偏差σの数であり、ｘｐｉｘｅｌは現在の画素値であり、
【数１４】
2009533778.tif 000016
は背景統計モデルにおける現在の画素の平均値である。ステップ３１４を実行する目的は、可能な範囲で、背景統計モデルを作成し、更新するのに背景画素だけが使用されるようにするためである。
【００６０】
[0075]ステップ３１５で、背景統計モデルが更新される。この実施形態では、背景統計モデルは、（そのフレームシーケンスにおよぶ）各画素ごとの値の平均値および標準偏差からなる。これらは上記の式（２）および式（４ａ）に従って算出される。
【００６１】
[0076]ステップ３１５の後で、プロセスは折り返しステップ３１１に戻り、（現在のフレーム内の）すべての画素が処理されているかどうか判定する。すべての画素が処理された後で、プロセスはステップ３１６に進み、背景統計モデルが仕上げられる。この仕上げは、各画素に、その画素の現在の平均値および標準偏差（すなわち、その点までのすべてのフレームを処理した結果）を割り当てることからなる。
【００６２】
[0077]所与の画素の背景統計モデルが決して安定しないこともあり得ることに留意されたい。これは、一般に、その特定の画素がフレームシーケンスにおける背景画素ではなく、したがって、その画素に背景統計モデルのための値を割り当てる必要がないことを示すものである。前述のように、場面モデルもまた構築され、更新されることに留意すると、背景モデルにおいては、常に、各画素と関連付けられた、少なくとも１つの決定論的に決まる値がある。
【００６３】
[0078]ステップ３１６の後で、プロセスは図４に示すようにステップ３２に進み、そこでフレーム内の各画素が、その画素の種類（すなわち明確な前景、前景または背景）に従ってラベル付けされる。ステップ３２を図６Ａおよび図６Ｂのフローチャートにさらに詳細に示す。
【００６４】
[0079]以下の概念は、後続のステップ３２の説明において具体化される。理想的には、ラベル付けは常に、各画素を、背景統計モデル内のその画素に対応する点に対してテストすることによって行われるが、これは常に可能であるとは限らない。背景統計モデルが、処理されたフレームの数に基づいて使用できる状態（すなわち「成熟」状態）にない場合、プロセスは、場面モデル内の対応する点に対するテストに頼らなければならない。背景統計モデルが使用できる状態にあるが、まだ落ち着いていない（すなわち「安定」していない）場合、これは、その画素が変動しており、前景であるとラベル付けされるべきであるという兆候である。背景統計モデルが、何らかの理由で（すなわち、場面モデルとマッチしなかったため、または再度落ち着かない状態になったために）使用不能になった場合には、プロセスはこの場合もはやり場面モデルに対するテストに頼らなければならない。
【００６５】
[0080]図６Ａに示すように、ステップ３２はステップ３２１から開始し、そこで、（現在のフレーム内の）すべての画素が処理されているか否かが判定される。処理されている場合、ステップ３２は完了する。そうでない場合、次の画素がステップ３２２以下のステップで処理される。
【００６６】
[0081]ステップ３２２では、背景統計モデルが成熟しているか否か判定する。これは、前述の図５のステップ３１２の場合と同様に行われる。成熟していない場合、プロセスはステップ３２３に進み、そこで、その画素が、場面モデルの対応する点の背景彩度データとマッチするか否かが判定される。
【００６７】
[0082]ステップ３２３は、所与の画素が、背景彩度データ値のある範囲内に入るか否か判定するテストを実行することによって行われる。これは図５のステップ３１４と同様であり、統計的平均値を背景彩度データ値で置き換える。閾値も同様に（前もって設定する、ユーザが設定するなど）決定され得る。
【００６８】
[0083]ステップ３２３で、画素が背景彩度データとマッチすると判定した場合には、図６Ｂのステップ３２９で（コネクタＡに続いて）画素がＢＧとラベル付けされる。ステップ３２９からプロセスは折り返し（コネクタＤを介して）ステップ３２１に戻る。
【００６９】
[0084]ステップ３２３で、画素が背景彩度データとマッチしないと判定した場合には、図６Ｂのステップ３２１０で（コネクタＢに続いて）画素がＦＧとラベル付けされる。ステップ３２１０からプロセスは折り返し（コネクタＤを介して）ステップ３２１に戻る。
【００７０】
[0085]ステップ３２２で、背景統計モデルが成熟していると判定した場合には、処理はステップ３２４に進み、背景統計モデルが安定しているか否か判定する。ステップ３２４はこのタスクを、前述の、図５のステップ３１３と同様に行う。安定していない場合、プロセスはステップ３２５に進み、そこで、背景統計モデルがかつて安定していたかどうか（すなわち、背景統計モデルが以前は安定していたが、今は不安定であるかどうか）が判定される。安定している場合、プロセスはステップ３２３に分岐し、プロセスはそこから前述のように進む。そうでない場合、図６Ｂのステップ３２１１で（コネクタＣに続いて）画素がＤＦＧとラベル付けされ、その後、プロセスは折り返し（コネクタＤを介して）ステップ３２１に戻る。
【００７１】
[0086]ステップ３２４で、背景統計モデルが安定していると判定した場合、プロセスはステップ３２６に進む。ステップ３２６では、背景統計モデルが背景彩度データとマッチするかどうかテストする。前述のマッチテストと同様に、このテストは、画素の背景統計モデルの値（すなわち平均値）と画素の（すなわち場面モデルの）背景彩度データとの絶対差を取る。次いで、この絶対差が、前述のような（前もって設定された、ユーザによって設定されたなどの）何らかの閾値と比較される。
【００７２】
[0087]ステップ３２６で、背景統計モデルと背景彩度データとの間にマッチがないと判定された場合、プロセスはステップ３２３に分岐し、そこで、処理は前述と同様に進む。他方、ステップ３２６で、マッチがあると判定された場合には、プロセスはステップ３２７に進む。
【００７３】
[0088]ステップ３２７では、現在の画素が背景統計モデルとマッチするか否か判定する。このステップは、前述の、図５のステップ３１４と同様に行われる。現在の画素がマッチする場合（これは、前述のように、現在の画素を現在の画素に対応する平均値と比較することによって判定される）、図６Ｂのステップ３２９で（コネクタＡに続いて）画素がＢＧとラベル付けされ、次いでプロセスは折り返し（コネクタＤを介して）ステップ３２１に戻る。そうでない場合、ステップ３２８で次のテストが行われる。
【００７４】
[0089]ステップ３２８では、現在の画素値が、ＢＧ画素を表さないものと仮定して、ＦＧ画素を表すか、それともＤＦＧ画素を表すか判定する。これは、画素値が背景統計モデルとマッチするというには程遠いかどうか判定することによって行われる。前述のように、ＦＧ画素は、ＦＧ画素の値が特定の量、例えば、いくつかの標準偏差（式（７）参照）を超えるほど平均値と異なるかどうか判定することによって（ステップ３２５で）ＢＧ画素から区別される。ステップ３２８では、同じテストを、より大きな範囲を使用して適用する。この場合もやはり、閾値は、所定のパラメータとして、算出されるパラメータとして、またはユーザ定義のパラメータとして設定され、平均値からの標準偏差の数、すなわち、
【数１５】
2009533778.tif 000017
として与えられ、式中、Ｎは式（７）のＫより大きい数である。画素値が、例えば、式（８）などによって定義される範囲外にある場合には、図６Ｂのステップ３２１１で（コネクタＣに続いて）画素がＤＦＧとラベル付けされ、プロセスは折り返し（コネクタＤを介して）ステップ３２１に戻る。画素値が範囲内にある場合には、図６Ｂのステップ３２１０で（コネクタＢに続いて）画素がＦＧとラベル付けされ、プロセスは（コネクタＤを介して）ステップ３２１に進む。
【００７５】
[0090]ステップ３２が完了した後、プロセスは図４に示すようにステップ８に進み、そこで、フレーム内の各画素に対して空間／時間フィルタリングが行われる。ステップ８は、本発明のこの実施形態では、図６Ａおよび図６Ｂの画素ラベル付けアルゴリズムが（２パスの実施形態で使用される画素ラベル付けアルゴリズムとは異なり）ステップ８３のステップ８３３およびステップ８３７に使用されることを除いて、２パスの実施形態に実施されるのと同様に実施される。ステップ８に続いて、プロセスは折り返しステップ２に戻り、そこで、すべてのフレームが処理されている場合、プロセスは終了する。
【００７６】
[0091]本明細書で提示するような単一パスの手法には、第２のパスを必要とせず、したがって、そのプロセスに伴う待ち時間が低減されるという利点がある。これは、例えば、テレビ会議、ウェブキャスティング、リアルタイムゲームなどのような、高待ち時間が有害となる用途では有用である。
【００７７】
３．第３の実施形態  変形の１パスのセグメント化
[0092]前述の１パスの手法は、２パスの手法より待ち時間が低いが、この手法には背景統計モデルに関して不利な点を有する。詳細には、本発明の１パスの実施形態で使用される累積的統計的モデリングの手法は、ある要素（すなわち、画素、領域など、考慮中の任意のサイズの要素）についての非代表的統計モデルで安定化することもある。映像場面の特定の要素に対応するフレーム要素の値（彩度値など）が根本的に変化した場合（すなわち、例えば、駐車した車が走り去る、走行中の車が駐車する、照明が変化するなど、何か映像を変化させることが発生した場合）、その場面モデル要素は、もはや、実際の場面を正確に表さなくなる。これには、背景統計モデルがいつでも映像に示される場面の実際の特性を正確に表すように、背景統計モデルを動的に更新する機構を利用することによって対処することができる。このような機構が、図７の本発明の実施形態に示されている。
【００７８】
[0093]図７において、ステップ１〜３、３２、８および９は、上記の１パスの実施形態で説明されているとおりである。図７は、所与のフレームが場面モデルと位置合わせされた（ステップ３）後で、プロセスがステップ３１０を実行し、そこで、背景統計モデル、および同時に、２次背景統計モデルが構築されるという点で図４の実施形態とは異なる。ステップ３１０について、図８Ａおよび図８Ｂと関連してより詳細に説明する。
【００７９】
[0094]図８Ａに示すように、ステップ３１０は、（同じ符号を使って示されている）図５のステップ３１に示されているステップすべてを含み、すべての画素がすでに処理されているか否か判定するステップ（ステップ３１１）から開始する。まだ処理されていない場合にはステップ３１２に進んで次の画素が処理される。ステップ３１２で、背景統計モデルが成熟しているか否かが判定される。そうでない場合、プロセスはステップ３１５に分岐し、そこで、その画素を使って背景統計モデルが更新される。ステップ３１５に続き、プロセスは折り返しステップ３１１に戻る。
【００８０】
[0095]ステップ３１２で、背景統計モデルが成熟していると判定した場合、プロセスはステップ３１３に進み、そこで、背景統計モデルが安定しているか否かが判定される。安定していない場合、ステップ３１２における否定判定の場合と同様に、プロセスはステップ３１５に分岐する（次いで折り返しステップ３１１に戻る）。そうでない場合、プロセスはステップ３１４に進む。
【００８１】
[0096]ステップ３１４で、考慮中の画素が背景統計モデルとマッチするか否かが判定される。マッチする場合、プロセスはステップ３１５に進み（次いで折り返しステップ３１１に戻り）、そうでない場合、プロセスは図８Ｂに示す各ステップを実行し、２次背景統計モデルを構築し、更新する。この２次背景統計モデルは、図８Ｂに表すように、背景統計モデルと同時に構築され、背景統計モデルを構築し、更新するのに使用されるのと同じ手順を使用し、背景統計モデルとマッチしない画素値を表す。
【００８２】
[0097]ステップ３１４の否定判定に続いて、プロセスは、２次背景統計モデルが成熟しているか否かについての判定を行う（ステップ３１０７）。この判定は、ステップ３１３の場合と同様に行われる。成熟していない場合、プロセスはステップ３１０９に分岐し、そこで、２次背景統計モデルが、背景統計モデルの手順と同じ手順を使って更新される（ステップ３１５）。ステップ３１０９から、プロセスは折り返し（図８Ａの）ステップ３１１に戻る。
【００８３】
[0098]ステップ３１０７で、２次背景統計モデルが成熟していると判定した場合、プロセスはステップ３１０８に進み、（ステップ３１４と同じ手順を使って）２次背景統計モデルが安定しているか否か判定する。安定していない場合、プロセスはステップ３１０９に（そこからステップ３１１に）進む。安定している場合、プロセスはステップ３１０１０に分岐し、そこで、背景統計モデルが２次背景統計モデルと置き換えられ、その後プロセスは折り返しステップ３１１に戻る。加えて、ステップ３１０１０における背景統計モデルの２次背景統計モデルによる置換えと同時に、場面モデルデータも、２次統計モデルの平均値と置き換えられる。この時点において、２次背景統計モデルはゼロにリセットされ、後続のデータを使って新しい２次背景統計モデルが構築される。
【００８４】
[0099]この変形された１パスの実施形態には、１パスの実施形態に優る改善された統計的正確さという利点があり、変化する背景画像の潜在的問題を解決する。この実施形態はこの利点を、２パスの実施形態に優る改善された待ち時間を維持しつつ、１パスの実施形態と比べて処理速度がほんのわずかに減少するだけで行う。
【００８５】
４．第４の実施形態：リアルタイム映像ストリームの１パスのセグメント化
[0100]第１、第２、および第３の例示的実施形態の中心は、圧縮用途のためのセグメント化である。圧縮用途では、その概念は、映像シーケンスまたは映像シーケンスの一部分を表す統計的背景モデルを保持するというものである。したがって、その概念は、背景モデルを作成し、次いで、映像シーケンスをセグメント化する期間にわたってその背景モデルを一定に保つというものである。
【００８６】
[0101]監視用途では、処理は、一般に、映像シーケンス（すなわち有限な映像フレームセット）に対して行われるのではなく、リアルタイムの映像ストリーム（識別できる終点のない連続する映像フレームセット）に対して行われる。したがって、一般には、２つの理由で映像場面を表す背景モデルを作成することが不可能である。第１に、場面は、照明条件および（雨、影、雲、昼／夜の変化などによる）気象条件のために動的に変化しており、第２に、場面内の構成要素が変化する（車が駐車する、オブジェクトが追加され、除去され、または場面内で移動させるなど）。リアルタイム監視用途においてこれらの条件に適応するために、この実施形態では、１パスのアルゴリズムに対する、（１）背景モデルに加えて１つ以上の前景モデルが追加される、（２）背景または前景モデルが「成熟」しているという概念が排除される、（３）自動利得制御（ＡＧＣ）補償が追加される、（４）オブジェクト挿入機構が追加される、（５）リアルタイム処理要件に対応するために処理順序が異なる、および（６）マスキング機構を使って処理される必要のある画素数が低減される、という６つの変更が用いられる。
【００８７】
[0102]６つの違いに関して、第１に、背景モデルに加えて、前景とラベル付けされる領域を記述するために前景モデルが使用される。前述の第３の実施形態では、２次背景モデルを使って、１次背景が「成熟」した後で発生する背景場面内の変化がモデル化される。第４の実施形態では、１つ（または複数の）前景モデルを使って、前景として検出された画素（またはオブジェクト）が記述される。１つ以上の前景モデルを作成する理由は、前景オブジェクト（車など）が場面のある領域内で停止する場合をカバーするためである。そのような場合には、前景オブジェクトをオブジェクト検出のための背景として扱い始めることが望ましくなる（車が駐車し、人がその車の前を歩く場合など）。前景モデルは、「前景」とラベル付けされた画素に適用される以外は、背景モデルと全く同じやり方で作成され、維持される。相互に遮蔽し合う複数のオブジェクトを記述するために複数の前景モデルを有することもあり得る。例えば、ある車が駐車し、１つの前景モデルでモデル化される。次に、別の車が第１の車の前に駐車し、第２の前景モデルでモデル化される。
【００８８】
[0103]第２に、第４の実施形態からは、モデルが成熟するという概念が排除される。この実施形態では、映像シーケンスではなく映像ストリームが処理され、モデルは、成熟するのではなく、あるいは、例えば、太陽が移動するにつれて影が短くなったり、長くなったりする；太陽が雲によって遮蔽され、または遮蔽から現れる；場面において雨、雪または霧が出始め、または止む；場面において昼と夜が交替するなどといった、ゆっくりとした環境変化に適応するように、絶えず、動的に変化するものと想定される。この実施形態では、背景モデル（および前景モデル）は、各モデルが、以前に作成され、ずっと以前の過去に作成されていた可能性さえもある成熟モデルに基づくのではなく、背景の「現在の」状態を最もよく反映するように、フレームごとまたは画素ごとに絶えず変更される。
【００８９】
[0104]第３に、第４の実施形態では、ＡＧＣ補償が用いられる。ＡＧＣは、映像画像生成器が画像全体の輝度およびコントラストを自動的に調整して画像のダイナミックレンジを最適化しようとするためのプロセスである。このプロセスは非常に高速に行うことができ、実際には前景オブジェクトが存在しないときに背景画素が前景画素として表示されるように背景画素の強度を変更することができる。したがって、ＡＧＣ補償要素が追加されるのは、映像画像におけるＡＧＣ調整の場合に背景モデルを変更するためである。
【００９０】
[0105]第４に、第４の実施形態には、外部信号に背景モデルにおけるオブジェクトの挿入を制御させるために、オブジェクト挿入機構が追加される。ここでの意図は、例えば、場面内で車が駐車するときには、その車を表すすべての画素の前景モデルが生じるというものである。外部プロセスは、これらの画素が車を表し、その車が実際に駐車していると判定してもよい。この判定が行われた後で、外部プロセスは、背景モデルに前景モデルを（「焼き付ける」など）追加すべきであると指示する通知を提供する。この前景モデルは、セグメント化のために背景の一部として扱われる。
【００９１】
[0106]第５に、リアルタイム処理では、（オフライン処理または待ち時間のある処理の場合のように）フレームが処理された後で戻って画素ラベル付けを改善する時間がない。したがって、リアルタイムアルゴリズムの各ステップの順序は異なる。最初に、新しいフレームが入力されると、既存の背景モデルが各画素をラベル付けするのに使用される。次に、他の様々なプロセス（例えば、空間／時間フィルタリングなど）を使ってラベル付けが改善され、次いで、モデルが更新される。この順序は、リアルタイム処理において各フレームごと優れたセグメント化結果を提供する。
【００９２】
[0107]第６に、第４の実施形態では、無視すべき画素を指定するためのマスクが追加される。この機能が追加されるのは、セグメント化を適用すべきでない映像画像の領域を設定するためである。これを行う理由は、リアルタイム性能を維持するように処理リソースを節約するためである。そのため、セグメント化が必要とされないことが事前に分かっている映像場面の領域（いわゆる「無関心領域」）がある場合、これらの画素にマスキングすることができる。（代替として、「関心領域」が画成されてもよい）。さらに、自動化されたアルゴリズムを用いて、セグメント化を適用する必要のないこれらの無関心領域を判定してもよい。このような無関心領域が存在し得るのは、カメラが、実際の画像データのない映像フレームの縁部の周囲に様々な「未使用の」画素を生成するためである。また、このような無関心領域は、処理が不要であり、またはあまり適切に機能しない（例えば空などの）場面の領域にも存在し得る。
【００９３】
[0108]図１１に、本発明の第４の実施形態のフローチャートを示す。ブロック１１０１で、リアルタイム映像ストリームから映像フレームが抽出される。
【００９４】
[0109]任意選択のブロック１１０２（ブロックが任意選択であることは破線の輪郭で示されている）では、抽出されたフレームが、カメラの動き（例えば、ジッタや、パン、チルト、ズーム、並進運動といった意図的な動きなど）に適応するように場面モデルと位置合わせされてもよい。
【００９５】
[0110]ブロック１１０３で、フレーム内の各画素が、背景、前景、または明確な前景と（あるいは必要に応じてもっと多くの細分度に）ラベル付けされる。これは、フレームの背景構成要素と前景構成要素へのセグメント化を構成する。一実施形態では、図２Ｂに対して論じた背景統計モデルを用いる技法がブロック１１０３に使用されてもよい。別の実施形態では、背景統計モデルおよび／または前景統計モデルが使用されてもよい。
【００９６】
[0111]ブロック８で、結果を改善するために、セグメント化の空間／時間フィルタリングが行われる。
【００９７】
[0112]任意選択のブロック１１０４には、セグメント化に影響を与え、または改善し得る別のプロセスが含まれていてもよい。例えば、ブロック１１０４には、オブジェクトの追跡および分類が含まれていてもよい。別の例として、ブロック１１０４には、静止目標検出が含まれていてもよい。
【００９８】
[0113]ブロック１１０５で、セグメント化を使って各画素ごとに背景および前景の統計モデルが構築され、および／または更新される。
【００９９】
[0114]ブロック１１０６で、背景統計モデルにオブジェクトが挿入される。任意選択で、挿入を行うべきであることをブロック１１０７からの外部プロセスが判断してもよい。
【０１００】
[0115]任意選択のブロック１１０７では、静止目標検出器が、特定の画素グループが、場面内に移動してきて停止しているオブジェクト（車が場面に入ってきて駐車するなど）を表すと判定してもよい。プロセスはこれ以後、（これらの画素のところに停止したオブジェクトがあると判定されるため）これらの画素を背景として処理するべきであると判断してもよい。
【０１０１】
[0116]図２に図１１のブロック１１０３のフローチャートを示す。ブロック１２０１で、各フレームがしかるべく処理される。
【０１０２】
[0117]任意選択のブロック１２０２で、ＡＧＣ（または別の大域的照明変化）の補償が行われる。
【０１０３】
[0118]ブロック１２０３で、フレーム内の各画素がしかるべく処理される。
【０１０４】
[0119]ブロック１２０４で、フレーム内の各画素がすでに解析されている場合、フローはブロック１２１４に進む。そうでない場合、フローはブロック１２０５に進む。
【０１０５】
[0120]任意選択のブロック１２０５で、画素が関心領域内にあるか否かが判定される。関心領域内の画素はラベル付けされ、関心領域外の画素はラベル付けされない。画素が関心領域内にあるかどうかの判定は、（任意選択のブロック１２１３からの）マスクまたは他の任意のそのような機構を用いて行われてもよい。マスクは（任意選択のブロック１２１２のように）手作業で生成されてもよく、（任意選択のブロック１２１１のように）関心領域がフレーム内であり得ると判定する自動プロセスによって生成されてもよい。関心領域はフレーム全体にわたって連続していても、連続していなくてもよく、フレーム内に１つ以上の画素グループを含んでいてもよい。画素が関心領域内にある場合、フローはブロック１２０６に進む。そうでない場合、フローはブロック１２０３に戻る。
【０１０６】
[0121]ブロック１２０６〜ブロック１２１０では、前述の他の実施形態と同様の方式で画素のラベル付けを行う。ブロック１２０６で、画素の強度の値が背景統計モデル内のその画素の平均値に十分に近い場合、ブロック１２０９でその画素は背景とラベル付けされる。ブロック１２０７で、画素の強度の値は背景統計モデル内のその画素の平均値からさらに遠い場合、ブロック１２１０でその画素が前景とラベル付けされる。ブロック１２０８で、画素の強度の値が背景統計モデル内のその画素の平均値からはるかに遠い場合、その画素は明確な前景とラベル付けされる。ブロック１２０８、１２０９、および１２１０の後、フローはブロック１２０３に戻る。
【０１０７】
[0122]数学的には、ブロック１２０６〜１２１０は以下のように要約されることができる。ブロック１２０６およびブロック１２０９について、
【数１６】
2009533778.tif 000018
である場合、画素ｉ（ｘ）に背景とラベル付けし、式中、ｉ（ｘ）は位置ｘにおける画素強度であり、
【数１７】
2009533778.tif 000019
は位置ｘにおける背景統計モデル平均値の平均値であり、Ｔｉは閾値であり、σ（ｘ）は位置ｘにおける背景統計モデルの標準偏差である。ブロック１２０７およびブロック１２１０について、
【数１８】
2009533778.tif 000020
である場合、画素ｉ（ｘ）に前景とラベル付けし、式中、Ｔ２はＴ１より高い閾値である。ブロック１２０７およびブロック１２０８について、
【数１９】
2009533778.tif 000021
である場合、画素ｉ（ｘ）に明確な前景とラベル付けする。
【０１０８】
[0123]図１３に、図１１のブロック１１０５のフローチャートを示す。ブロック１３０１で、各フレームがしかるべく処理される。
【０１０９】
[0124]任意選択のブロック１２０２で、ＡＧＣ（または別の大域的照明変化）の補償が行われる。
【０１１０】
[0125]ブロック１３０３で、フレーム内の各画素がしかるべく処理される。
【０１１１】
[0126]ブロック１３０４で、フレーム内の各画素がすでに解析されている場合、フローはブロック１３１８に進む。そうでない場合、フローはブロック１３０５に進む。
【０１１２】
[0127]任意選択のブロック１３０５で、画素が関心領域内にあるか否かが判定される。関心領域内の画素はラベル付けされ、関心領域外の画素はラベル付けされない。画素が関心領域内にあるかどうかの判定は（任意選択のブロック１３１３からの）マスクまたは他の任意のそうした機構を用いて行われてもよい。マスクは（任意選択のブロック１３１３のように）手作業で生成されてもよく、（任意選択のブロック１３１１のように）関心領域がフレーム内であり得ると判定する自動プロセスによって生成されてもよい。関心領域はフレーム全体にわたって連続していても、連続していなくてもよく、フレーム内に１つ以上の画素グループを含んでいてもよい。画素が関心領域内にある場合、フローはブロック１３０６に進む。そうでない場合、フローはブロック１３０３に戻る。
【０１１３】
[0128]次に、図１１のブロック１１０３、８および１１０４で生成された前景マスクをフィルタとして使って背景および前景の統計モデルが更新される。ブロック１３１６で、前景マスクが獲得される。
【０１１４】
[0129]任意選択のブロック１３１７で、前景マスクは、前景オブジェクトの縁部上の画素が背景モデルを汚染しないようにするために、膨張など何らかの形態学的処理によってフィルタリングされてもよい。
【０１１５】
[0130]ブロック１３０６で、画素が前景画素でも明確な前景画素でもない場合、フローはブロック１３０７に進む。そうでない場合、フローはブロック１３０８に進む。
【０１１６】
[0131]ブロック１３０７で、背景統計モデルの平均値および分散が、その画素位置における現在のフレームからの情報を用いて更新される。背景統計モデルがまだ存在しない場合には、前述の実施形態における考察に基づいて背景統計モデルが構築され得る。
【０１１７】
[0132]ブロック１３０８で、画素は前景または明確な前景の画素である。前景モデルが存在する場合、フローはブロック１３０９へと処理される。そうでない場合、フローはブロック１３１２に進む。
【０１１８】
[0133]ブロック１３１２では、前景統計モデルが画素位置に存在せず、新しい前景統計モデルが作成される。モデルは、
【数２０】
2009533778.tif 000022
の形のものであり、式中、
【数２１】
2009533778.tif 000023
は画素位置ｘにおける前景統計モデルの平均値を表し、σｆ（ｘ）は画素位置ｘにおける前景統計モデルの標準偏差を表し、Ｄはデフォルト値である。
【０１１９】
[0134]ブロック１３０９では、前景統計モデルがこの位置に存在し、現在の画素からのデータを用いて更新される。
【０１２０】
[0135]ブロック１３１０で、画素が長期間にわたって前景の状態にある場合、フローはブロック１３１１に進む。そうでない場合、フローはブロック１３０３に進む。
【０１２１】
[0136]ブロック１３１１では、画素が長期間にわたって前景の状態にあり、背景とみなされ始め得る。このセグメント化の移動は、以下のように、背景モデルをこの位置の前景モデルと置き換えることによって行われる。
【数２２】
2009533778.tif 000024
【０１２２】
[0137]第４の実施形態では、前の３つの実施形態とは異なり、ブロック１３０７とブロック１３０９における背景モデルと前景モデルの更新が異なり得る。前述の実施形態では、実行中の平均値および標準偏差が使用される。（昼が夜になる、およびその逆などのように）背景が絶えず大きく変化し得るこの実施形態のリアルタイムの事例では、実行中の平均値および標準偏差は、正確であるはずのない統計モデルを提供することになる。このリアルタイムの実施形態では、現在の平均値および標準偏差は現在の時刻における背景を表す。したがって、古い情報よりも新しい情報により多くの重みが与えられるべきである。このために、以前の統計値を考慮するフィルタ、例えば、無限インパルス応答（ＩＩＲ）フィルタなどを使って背景モデルおよび前景モデルが更新される必要がある。フィルタは以下のように適用され得る。
【数２３】
2009533778.tif 000025
式中、αは混合定数である。混合定数αは、標準の混合時間定数にマップされ得る。
【０１２３】
[0138]図１４に、図１２および図１３のブロック１２０２のフローチャートを示す。ブロック１４０１で、各フレームがしかるべく処理される。
【０１２４】
[0139]任意選択のブロック１４０２で、関心領域内の各画素がしかるべく処理される。関心領域は、任意選択のブロック１４０８によって提供され得る。
【０１２５】
[0140]ブロック１４０３で、各背景画素がしかるべく処理される。背景画素は、ブロック１４０９で提供される前景マスクに含まれない画素であると判定され得る。
【０１２６】
[0141]ブロック１４０４で、ブロック１４１１からの背景モデルとブロック１４１０からの現在のフレームとの間の差分ヒストグラムが生成される。この差分ヒストグラムは、背景モデル内の各画素強度ごとに背景モデルと現在のフレームとの間に存在する差の量を測定する。一例として、強度値１０を有する背景モデル内の画素では、これらの画素と、現在のフレーム内のこれらの画素に対応する画素との間の平均強度差は５グレーレベル５と表される。強度値１００を有する画素では、平均差は３０グレーレベルである。
【０１２７】
[0142]ブロック１４０５で、フレームは、任意の大域的ＡＧＣ効果を検出するために解析される。フレームは、ヒストグラム値の平均を調べることによって解析される。ヒストグラム値がすべて相当に低い場合、これは、背景画素が、強度の点から見て、現在のフレームの画素と基本的にマッチすることを意味する。ヒストグラム値がすべて相当に高い場合、これは、平均して、現在のフレームと背景モデルとの間に大きな強度の差があり、したがって、フレームに大域的ＡＧＣ効果（または大域的照明変化）があることを意味する。フレームにおいて大域的ＡＧＣ効果が検出された場合、フローはブロック１４０６に進む。そうでない場合、フローはブロック１４０１に戻る。
【０１２８】
[0143]ブロック１４０６で、ＡＧＣ効果が検出され、背景モデルが更新される。背景モデルは、ブロック１４０４からの差分ヒストグラムをルックアップ表として使用することによって更新される。背景モデル内の各画素の平均値は、現在のフレームの強度データと（背景平均強度のこの値についての）背景モデルの強度データとの間の平均差によって調整される。この更新は以下のように要約される。
ｉ（ｘ）＝Ｈ（ｉ（ｘ））＋ｉ（ｘ）
式中、Ｈ（ｉ）は背景モデル内の強度ｉの画素と現在のフレーム内のこれらに対応する画素との間の平均強度差である。
【０１２９】
[0144]ブロック１４０７で、ＡＧＣが存在するためにモデルパラメータが調整される。例えば、ＡＧＣが検出された場合、図１３のブロック１３０７およびブロック１３０９で更新に使用される混合定数αが減らされ得る。混合定数αを減らすことによって、ブロック１３０７とブロック１３０９で、それぞれ、背景モデルと前景モデルが更新されるときに、各モデルがより高速に更新され、大域的強度変化にあまり影響されないように、現在のフレームからのデータにより多くの重みが与えられる。ＡＧＣが検出されないとき、αは増化され、これによって、ブロック１３０７およびブロック１３０９のモデル更新プロセスはより強度変化の影響を受けやすくなる。
【０１３０】
[0145]図５に、図１１のブロック１１０６のフローチャートを示す。一例として、オブジェクトが検出、追跡されて、静止していると判定される場合（車が駐車するなど）には、背景モデルが引き続きその領域内で前景を検出してもよいようにこれらのオブジェクトを背景モデルに焼き付けるのが望ましい。
【０１３１】
[0146]ブロック１５０２で、オブジェクトを背景モデルに挿入すべきかどうか判定される。任意選択で、オブジェクトを背景モデルに挿入すべきであることを（任意選択のブロック１１０７からの）外部プロセスが判定してもよい。オブジェクトが挿入されるべきである場合、フローはブロック１５０３に進む。そうでない場合、フローはブロック１５０５に進んで終了する。
【０１３２】
[0147]ブロック１５０３で、オブジェクト内の各画素ごとに、フローはしかるべくすすむ。オブジェクトは、（任意選択のブロック１５０６からの）任意選択のオブジェクトマスクまたは他の任意の機構によって記述され得る。
【０１３３】
[0148]ブロック１５０４で、マスク内の各画素ごとに、（ブロック１５０７からの）その位置にある背景モデルは、（ブロック１５０８からの）その位置にある前景モデルで置き換えられ、結果としてオブジェクト全体がまとめて１ステップで背景に挿入されることになる。
【０１３４】
５．その他の実施形態および備考
[0149]以上の考察では２段階および３段階の画素ラベル付けアルゴリズムを考察しているが、この実施形態はこれらの事例だけに限定されるものではない。実際には、様々な範囲（すなわち閾値）に対応する任意の数の判定レベルが使用されてもよいことが企図されている。そのような場合、セグメント化プロセスの後続の各ステップにおいては、ファジィ論理または軟判定論理を使用して判定が行われる。
【０１３５】
[0150]以上の考察では、主に、画素および（ＲＧＢ、ＹＵＶ、強度などとすることのできる）彩度値について論じている。しかしながら、前述のように、本発明はこれらの量だけに限定されるものではない。画素以外の領域も使用されてもよく、彩度以外の量も使用されてもよい。
【０１３６】
[0151]前述のように、本発明は、以上の各項で論じた実施形態すべてを含み、コンピュータシステムとしても、本発明を実施するソフトウェアを含むコンピュータ可読媒体としても実施され得る。これは、本発明のためのコンピュータシステムの平面図を示す図９に示されている。コンピュータ９１は、本発明を実施するソフトウェアおよび／または本発明に従ってコンピュータ９１を動作させるソフトウェアを実施するコンピュータ可読媒体９２を含む。コンピュータ９１は、図示のように、映像ストリームを受け取り、セグメント化された映像を出力する。代替として、セグメント化された映像がコンピュータ内でさらに処理されてもよい。
【０１３７】
[0152]コンピュータおよびソフトウェアを用いて本明細書で述べる実施形態すべてを実施することに加えて、本明細書で論じる実施形態はすべて、回路および／またはハードウェアとしても実施され得る。回路には、例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）や、特定用途向け集積回路（ＡＳＩＣ）や、ディジタル信号プロセッサ（ＤＳＰ）、汎用プロセッサ（ＧＰＰ）またはその他の処理装置上の、またはこれらに結合されたハードウェアアクセラレータなどが含まれる。回路は、例えば、チップおよび／またはチップセットを用いて実施されてもよい。回路は、例えば、プリント回路基板上、アドオンカード上、および／またはアドオンスロット内に位置していてもよい。回路は、例えば、ビデオカメラ、映像ルータ、映像符号器、および／またはディジタル映像レコーダ（ＤＶＲ）などに位置していてもよい。当業者には、他の回路ベースの実施形態および／またはハードウェアベースの実施形態も明らかになる。
【０１３８】
[0153]また、以上で論じたように、前述の統計的画素モデリングの方法は、インテリジェント映像監視システムを実施する方法に組み込まれていてもよい。図１０にそのような方法の一実施形態を示す。詳細には、ブロック１００１が、たとえば、前述のような統計的画素モデリングの使用を表す。統計的画素モデリングが完了した後、ブロック１００２でその結果を使ってオブジェクトを識別し、分類する。ブロック１００２では、例えば、そのような識別および分類を行う統計的方法またはテンプレート指向の方法など使用する。識別および分類を行う際に、所与のオブジェクトが関心対象オブジェクトであるか否かが判定される。例えば、監視下にある領域を通る人々の動きを追跡しようとする場合には、人々が「関心対象オブジェクト」になる。ブロック１００３で、関心対象オブジェクトの挙動が解析される。例えば、ある人が制限領域に入ったかどうかが判定され得る。最後に、ブロック１００４で、必要な場合には、様々な通知が送出され、または他の適切な措置が取られる。
【０１３９】
[0154]本明細書では本発明を好ましい実施形態に対して詳細に説明しているが、以上の説明を読めば当業者には、本発明の幅広い態様において本発明から逸脱することなく変更および改変が加えられ得ることが明らかになるであろう。したがって、本発明は、添付の特許請求の範囲で定義されるように、かかるすべての変更および改変を本発明の真の精神の範囲内にあるものとして包含するものである。
【図面の簡単な説明】
【０１４０】
【図１】本発明の第１の実施形態の実装形態に対応するフローチャートである。
【図２Ａ】図１のフローチャートのラベル付けステップの代替の実施形態に対応するフローチャートである。
【図２Ｂ】図１のフローチャートのラベル付けステップの代替の実施形態に対応するフローチャートである。
【図３Ａ】図１のフローチャートの空間／時間フィルタリングステップの実装形態に対応するフローチャートである。
【図３Ｂ】図１のフローチャートの空間／時間フィルタリングステップの実装形態に対応するフローチャートである。
【図４】本発明の第２の実施形態の実装形態に対応するフローチャートである。
【図５】図４のフローチャートのステップのうちの１つの実装形態に対応するフローチャートである。
【図６Ａ】図４のフローチャートのステップのうちの別の１つの実装形態に対応するフローチャートである。
【図６Ｂ】図４のフローチャートのステップのうちの別の１つの実装形態に対応するフローチャートである。
【図７】本発明の第３の実施形態の実装形態に対応するフローチャートである。
【図８Ａ】図７のフローチャートのステップのうちの１つの実装形態に対応するフローチャートである。
【図８Ｂ】図７のフローチャートのステップのうちの１つの実装形態に対応するフローチャートである。
【図９】本発明の一実施形態を、コンピュータシステムの一部とすることのできるコンピュータ可読媒体上に実施されたソフトウェアとして示す図である。
【図１０】本発明の一実施形態によるインテリジェント映像監視システムを実施する方法を示すフローチャートである。
【図１１】本発明の第４の実施形態の実装形態に対応するフローチャートである。
【図１２】図１１のフローチャートのブロックのうちの１つの実装形態に対応するフローチャートである。
【図１３】図１１のフローチャートのブロックのうちの１つの実装形態に対応するフローチャートである。
【図１４】図１２および図１３のフローチャートのブロックのうちの１つの実装形態に対応するフローチャートである。
【図１５】図１１のフローチャートのブロックのうちの１つの実装形態に対応するフローチャートである。
【図１】
2009533778.tif 000026
【図２Ａ】
2009533778.tif 000027
【図２Ｂ】
2009533778.tif 000028
【図３Ａ】
2009533778.tif 000029
【図３Ｂ】
2009533778.tif 000030
【図４】
2009533778.tif 000031
【図５】
2009533778.tif 000032
【図６Ａ】
2009533778.tif 000033
【図６Ｂ】
2009533778.tif 000034
【図７】
2009533778.tif 000035
【図８Ａ】
2009533778.tif 000036
【図８Ｂ】
2009533778.tif 000037
【図９】
2009533778.tif 000038
【図１０】
2009533778.tif 000039
【図１１】
2009533778.tif 000040
【図１２】
2009533778.tif 000041
【図１３】
2009533778.tif 000042
【図１４】
2009533778.tif 000043
【図１５】
2009533778.tif 000044
【国際調査報告】
2009533778.tif 000045