(57)【要約】【課題】ビデオ圧縮の技術を提供する。【解決手段】物体の動きが目標画像と参照画像の間の位置の変化によって表される物体に対する初期動きベクトルを推定する段階、物体が現れて移動する背景エリアに対する初期ベクトルを推定する段階、推定されたベクトルを用いて１回目の繰返しの動的モデル解を求める段階、及び物体の境界を抽出するために動的モデル解の少なくとも１回の次の繰返しを完了する段階を含む、移動物体境界を抽出する方法。【選択図】図１
2009509417.tif 000002
【特許請求の範囲】
【請求項１】
電子データプロセッサによって実施される方法であって、
動きが目標画像と参照画像の間の位置の変化によって表される物体に対して初期動きベクトルを推定する段階と、
前記物体が現れて移動する背景エリアに対して初期ベクトルを推定する段階と、
前記推定されたベクトルを用いて、１回目の繰返しの動的モデル解を求める段階と、
前記物体の境界を抽出するために、前記動的モデル解の少なくとも１回の次の繰返しを完了する段階と、
を含むことを特徴とする方法。
【請求項２】
前記動的モデル解の前記又は各次の繰返しは、時間ステップの繰返しを含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記動的モデルは、予測誤差項、安定性項、画像結合項、及びテンプレート項から成る群からの項を含むことを特徴とする請求項１に記載の方法。
【請求項４】
前記動的モデルは、予測誤差項を含み、
前記予測誤差項は、前記物体に関連付けられた動きベクトルを用いることによって得られる予測誤差と、前記背景エリアに関連付けられた動きベクトルを用いることによって得られる予測誤差との間の差を含む、
ことを特徴とする請求項１に記載の方法。
【請求項５】
前記動的モデルは、安定性項を含み、
前記安定性項は、前記境界の曲率の抽出に関連付けられた曲率項を含み、かつ
前記安定性項は、前記移動物体の滑らかさ又はコンパクト性の抽出に関連付けられた拡散項を含む、
ことを特徴とする請求項１に記載の方法。
【請求項６】
前記動的モデルは、画像結合項を含み、
前記画像結合項は、前記物体境界に対して法線方向の強度勾配と関連付けられ、
前記強度勾配は、前記物体に近接する前記目標画像の一部分に関連付けられている、
ことを特徴とする請求項１に記載の方法。
【請求項７】
前記動的モデルは、テンプレート項を含み、
前記テンプレート項は、前記移動物体境界のためのテンプレートを提供する、
ことを特徴とする請求項１に記載の方法。
【請求項８】
前記動的モデル解のあらゆる繰返しは、
前記目標画像内のピクセルが、未来の参照フレームに対して推定遮蔽エリアに近接する場合には、過去の参照フレームが、前記予測誤差を推定するのに用いられ、かつ
前記目標画像内の前記ピクセルが、前記過去の参照フレームに対して推定遮蔽エリアに近接する場合には、未来の参照フレームが、前記予測誤差を推定するのに用いられる、
予測誤差推定処理を含む、
ことを特徴とする請求項１に記載の方法。
【請求項９】
前記予測誤差推定処理は、前記背景動きフィールドに関する仮説試験手順を含み、
前記仮説試験手順は、
前記物体の現在の状態との整合性に関して、過去の参照フレームに基づく第１の背景動きフィールドを試験し、
前記物体の前記現在の状態との整合性に関して、未来の参照フレームに基づく第２の背景動きフィールドを試験し、
前記試験の結果を用いて前記第１又は前記第２の背景のフィールドのいずれかを選択する、
ものである、
ことを特徴とする請求項８に記載の方法。
【請求項１０】
前記予測誤差推定処理は、前記物体動きフィールドに関する仮説試験手順を含み、
前記仮説試験手順は、
Ｂ（ｘ、ｙ）≧Ｓである場合は、
ｖohyp＝ｍｉｎv（ε（ｖopast）、ε（ｖ＝ｖofuture））を選択し、
それ以外の場合は、ｖohyp＝ｍａｘv（ε（ｖ＝ｖopast）、ε（ｖ＝ｖofuture））を選択する、
ものであり、
ｖopast/futureは、過去又は未来の参照フィールドに基づく前記物体に関する動きベクトルを含み、εは、前記予測誤差を含み、ｖohypは、該動きベクトルに関する仮説を含み、Ｓは、閾値を含み、Ｂ（ｘ、ｙ）は、ピクセル（ｘ、ｙ）での境界フィールド状態を含む、
ことを特徴とする請求項８に記載の方法。
【請求項１１】
前記動的モデルは、
Ｂ（ｘ、ｙ、ｔ＋τ）＝Ｂ（ｘ、ｙ、ｔ）＋τＴ│∇Ｂ（ｘ、ｙ、ｔ）│
を含み、
Ｂ（ｘ、ｙ、ｔ）は、全てのピクセル（ｘ、ｙ）に対して時間ｔにおける物体又は背景の状態を定める時間ｔにおけるピクセル（ｘ、ｙ）での前記境界フィールドの状態を含み、方程式は、該境界フィールドの勾配を含み、Ｔは、複数の境界特徴からの影響を組み合わせる複合駆動項を含み、τは、時間ｔからｔ＋τに状態を進める時間ステップパラメータを含む、
ことを特徴とする請求項１に記載の方法。
【請求項１２】
Ｔは、
Ｔ＝λ1Ｔpast/futurep redictionーerror＋λ2Ｔstability＋λ3Ｔimageーcoupling＋λ4Ｔtemplate
を含み、
λ1、λ2、λ3、λ4は、重み付け係数を含み、Ｔpast/future predictionーerrorは、予測誤差項を含み、Ｔstabilityは、安定性項を含み、Ｔimageーcouplingは、画像結合項を含み、Ｔtemplateは、テンプレート項を含む、
ことを特徴とする請求項１１に記載の方法。
【請求項１３】
前記動的モデル解の特定数の繰返しを完了した後の前記物体に対して第２の動きベクトルを推定する段階と、
前記動的モデル解の前記特定数の繰返しを完了した後の前記背景エリアに対して第２の動きベクトルを推定する段階と、
を更に含むことを特徴とする請求項１に記載の方法。
【請求項１４】
前記物体に対して及び前記背景エリアに対して前記第２の動きベクトルを推定する段階は、
前記物体の移動を表すバルク動きベクトルと局所境界動きベクトルとを推定する段階と、
前記推定された局所境界動きベクトルを用いて、非剛体的動きを有する前記物体内の領域に近接するピクセルに対して前記動的モデルにおける前記予測誤差項を計算する段階と、
を含む、
ことを特徴とする請求項１３に記載の方法。
【請求項１５】
処理システムによって実行された時に該システムに、
動きが目標画像と参照画像の間の位置の変化によって表される物体に対して初期動きベクトルを推定する段階と、
前記物体が現れて移動する背景エリアに対して初期ベクトルを推定する段階と、
前記推定されたベクトルを用いて、１回目の繰返しの動的モデル解を求める段階と、
前記物体の境界を抽出するために、前記動的モデル解の少なくとも１回の次の繰返しを完了する段階と、
を含む方法を実施させる命令のプログラムを記憶するコンピュータ可読媒体。
【請求項１６】
前記動的モデル解の前記又は各次の繰返しは、時間ステップの繰返しを含むことを特徴とする請求項１５に記載のコンピュータ可読媒体。
【請求項１７】
前記動的モデルは、予測誤差項、安定性項、画像結合項、及びテンプレート項から成る群からの項を含むことを特徴とする請求項１５に記載のコンピュータ可読媒体。
【請求項１８】
前記動的モデルは、予測誤差項を含み、
前記予測誤差項は、前記物体に関連付けられた動きベクトルを用いることによって得られる予測誤差と、前記背景エリアに関連付けられた動きベクトルを用いることによって得られる予測誤差との間の差を含む、
ことを特徴とする請求項１５に記載のコンピュータ可読媒体。
【請求項１９】
前記動的モデルは、安定性項を含み、
前記安定性項は、前記境界の曲率の抽出に関連付けられた曲率項を含み、かつ
前記安定性項は、前記移動物体の滑らかさ又はコンパクト性の抽出に関連付けられた拡散項を含む、
ことを特徴とする請求項１５に記載のコンピュータ可読媒体。
【請求項２０】
前記動的モデルは、画像結合項を含み、
前記画像結合項は、前記物体境界に対して法線方向の強度勾配と関連付けられ、
前記強度勾配は、前記物体に近接する前記目標画像の一部分に関連付けられている、
ことを特徴とする請求項１５に記載のコンピュータ可読媒体。
【請求項２１】
前記動的モデルは、テンプレート項を含み、
前記テンプレート項は、前記移動物体境界のためのテンプレートを提供する、
ことを特徴とする請求項１５に記載のコンピュータ可読媒体。
【請求項２２】
前記動的モデル解のあらゆる繰返しは、
前記目標画像内のピクセルが、未来の参照フレームに対して推定遮蔽エリアに近接する場合には、過去の参照フレームが、前記予測誤差を推定するのに用いられ、かつ
前記目標画像内の前記ピクセルが、前記過去の参照フレームに対して推定遮蔽エリアに近接する場合には、未来の参照フレームが、前記予測誤差を推定するのに用いられる、
予測誤差推定処理を含む、
ことを特徴とする請求項１５に記載のコンピュータ可読媒体。
【請求項２３】
前記予測誤差推定処理は、前記背景動きフィールドに関する仮説試験手順を含み、
前記仮説試験手順は、
前記物体の現在の状態との整合性に関して、参照フレームに基づく第１の背景動きフィールドを試験し、
前記物体の前記現在の状態との整合性に関して、未来の参照フレームに基づく第２の背景動きフィールドを試験し、
前記試験の結果を用いて前記第１又は前記第２の背景のフィールドのいずれかを選択する、
ものである、
ことを特徴とする請求項２２に記載のコンピュータ可読媒体。
【請求項２４】
前記予測誤差推定処理は、前記物体動きフィールドに関する仮説試験手順を含み、
前記仮説試験手順は、
Ｂ（ｘ、ｙ）≧Ｓである場合は、
ｖohyp＝ｍｉｎv（ε（ｖ＝ｖopast）、ε（ｖ＝ｖofuture））を選択し、
それ以外の場合は、ｖohyp＝ｍａｘv（ε（ｖ＝ｖopast）、ε（ｖ＝ｖofuture））を選択する、
ものであり、
ｖopast/futureは、過去又は未来の参照フィールドに基づく前記物体に関する動きベクトルを含み、εは、前記予測誤差を含み、ｖohypは、該動きベクトルに関する仮説を含み、Ｓは、閾値を含み、Ｂ（ｘ、ｙ）は、ピクセル（ｘ、ｙ）での境界フィールド状態を含む、
ことを特徴とする請求項２２に記載のコンピュータ可読媒体。
【請求項２５】
前記動的モデルは、
Ｂ（ｘ、ｙ、ｔ＋τ）＝Ｂ（ｘ、ｙ、ｔ）＋τＴ│∇Ｂ（ｘ、ｙ、ｔ）│
を含み、
Ｂ（ｘ、ｙ、ｔ）は、時間ｔにおけるピクセル（ｘ、ｙ）での前記境界フィールドの状態を含み、▽は、該境界フィールドの勾配を含み、Ｔは、複数の境界特徴からの影響を組み合わせる複合駆動項を含み、τは、時間ｔからｔ＋τに状態を進める時間ステップパラメータを含む、
ことを特徴とする請求項２２に記載のコンピュータ可読媒体。
【請求項２６】
Ｔは、
Ｔ＝λ1Ｔpast/futurep redictionーerror＋λ2Ｔstability＋λ3Ｔimageーcoupling＋λ4Ｔtemplate
を含み、
λ1、λ2、λ3、λ4は、重み付け係数を含み、Ｔpast/future predictionーerrorは、予測誤差項を含み、Ｔstabilityは、安定性項を含み、Ｔimageーcouplingは、画像結合項を含み、Ｔtemplateは、テンプレート項を含む、
ことを特徴とする請求項２５に記載のコンピュータ可読媒体。
【請求項２７】
前記動的モデル解の特定数の繰返しを完了した後の前記物体に対して第２の動きベクトルを推定する段階と、
前記動的モデル解の前記特定数の繰返しを完了した後の前記背景エリアに対して第２の動きベクトルを推定する段階と、
を更に含むことを特徴とする請求項１５に記載のコンピュータ可読媒体。
【請求項２８】
前記物体に対して及び前記背景エリアに対して前記第２の動きベクトルを推定する段階は、
前記物体の移動を表すバルク動きベクトルと局所境界動きベクトルとを推定する段階と、
前記推定された局所境界動きベクトルを用いて、非剛体的動きを有する前記物体内の領域に近接するピクセルに対して前記動的モデルにおける前記予測誤差項を計算する段階と、
を含む、
ことを特徴とする請求項２７に記載のコンピュータ可読媒体。
【請求項２９】
動きが目標画像と参照画像の間の位置の変化によって表される物体に対して初期の動きベクトルを推定し、該物体が現れて移動する背景エリアに対して初期ベクトルを推定し、該推定されたベクトルを用いて１回目の繰返しの動的モデル解を求め、かつ該物体の境界を抽出するために該動的モデル解の少なくとも１回の次の繰返しを完了するマイクロプロセッサ、
を含むことを特徴とする装置。
【請求項３０】
前記動的モデル解の前記又は各次の繰返しは、時間ステップの繰返しを含むことを特徴とする請求項２９に記載の装置。
【請求項３１】
前記動的モデルは、予測誤差項、安定性項、画像結合項、及びテンプレート項から成る群からの項を含むことを特徴とする請求項２９に記載の方法。
【請求項３２】
前記動的モデルは、予測誤差項を含み、
前記予測誤差項は、前記物体に関連付けられた動きベクトルを用いることによって得られる予測誤差と、前記背景エリアに関連付けられた動きベクトルを用いることによって得られる予測誤差との間の差を含む、
ことを特徴とする請求項２９に記載の装置。
【請求項３３】
前記動的モデルは、安定性項を含み、
前記安定性項は、前記境界の曲率の抽出に関連付けられた曲率項を含み、かつ
前記安定性項は、前記移動物体の滑らかさ又はコンパクト性の抽出に関連付けられた拡散項を含む、
ことを特徴とする請求項２９に記載の装置。
【請求項３４】
前記動的モデルは、画像結合項を含み、
前記画像結合項は、前記物体境界に対して法線方向の強度勾配と関連付けられ、
前記強度勾配は、前記物体に近接する前記目標画像の一部分に関連付けられている、
ことを特徴とする請求項２９に記載の装置。
【請求項３５】
前記動的モデルは、テンプレート項を含み、
前記テンプレート項は、前記移動物体境界のためのテンプレートを提供する、
ことを特徴とする請求項２９に記載の装置。
【請求項３６】
前記マイクロプロセッサは、
前記目標画像内のピクセルが、未来の参照フレームに対して推定遮蔽エリアに近接する場合には、過去の参照フレームが、前記予測誤差を推定するのに用いられ、かつ
前記目標画像内の前記ピクセルが、前記過去の参照フレームに対して推定遮蔽エリアに近接する場合には、未来の参照フレームが、前記予測誤差を推定するのに用いられる、
予測誤差推定処理を用いて前記動的モデル解のあらゆる繰返しを実施する、
ことを特徴とする請求項２９に記載の装置。
【請求項３７】
前記予測誤差推定処理は、前記背景動きフィールドに関する仮説試験手順を含み、
前記仮説試験手順は、
前記物体の現在の状態との整合性に関して、過去の参照フレームに基づく第１の背景動きフィールドを試験し、
前記物体の前記現在の状態との整合性に関して、未来の参照フレームに基づく第２の背景動きフィールドを試験し、
前記試験の結果を用いて前記第１又は前記第２の背景のフィールドのいずれかを選択する、
ものである、
ことを特徴とする請求項３６に記載の装置。
【請求項３８】
前記予測誤差推定処理は、前記物体動きフィールドに関する仮説試験手順を含み、
前記仮説試験手順は、
Ｂ（ｘ、ｙ）≧Ｓである場合は、
ｖohyp＝ｍｉｎv（ε（ｖ＝ｖopast）、ε（ｖ＝ｖofuture））を選択し、
それ以外の場合は、ｖohyp＝ｍａｘv（ε（ｖ＝ｖopast）、ε（ｖ＝ｖofuture））を選択する、
ものであり、
ｖopast/futureは、過去又は未来の参照フィールドに基づく前記物体に関する動きベクトルを含み、εは、前記予測誤差を含み、ｖohypは、該動きベクトルに関する仮説を含み、Ｓは、閾値を含み、Ｂ（ｘ、ｙ）は、ピクセル（ｘ、ｙ）での境界フィールド状態を含む、
ことを特徴とする請求項３６に記載の装置。
【請求項３９】
前記動的モデルは、
Ｂ（ｘ、ｙ、ｔ＋τ）＝Ｂ（ｘ、ｙ、ｔ）＋τＴ│∇Ｂ（ｘ、ｙ、ｔ）│
を含み、
Ｂ（ｘ、ｙ、ｔ）は、時間ｔにおけるピクセル（ｘ、ｙ）での前記境界フィールドの状態を含み、▽は、該境界フィールドの勾配を含み、Ｔは、複数の境界特徴からの影響を組み合わせる複合駆動項を含み、τは、時間ｔからｔ＋τに状態を進める時間ステップパラメータを含む、
ことを特徴とする請求項２９に記載の装置。
【請求項４０】
Ｔは、
Ｔ＝λ1Ｔpast/futurep redictionーerror＋λ2Ｔstability＋λ3Ｔimageーcoupling＋λ4Ｔtemplate
を含み、
λ1、λ2、λ3、λ4は、重み付け係数を含み、Ｔpast/future predictionーerrorは、予測誤差項を含み、Ｔstabilityは、安定性項を含み、Ｔimageーcouplingは、画像結合項を含み、Ｔtemplateは、テンプレート項を含む、
ことを特徴とする請求項２９に記載の装置。
【請求項４１】
前記マイクロプロセッサは、前記動的モデル解の特定数の繰返しを完了した後に前記物体に対して第２の動きベクトルを推定し、かつ該動的モデル解の該特定数の繰返しを完了した後に前記背景エリアに対して第２の動きベクトルを推定することを特徴とする請求項２９に記載の装置。
【請求項４２】
前記マイクロプロセッサは、前記物体の移動を表すバルク動きベクトルと局所境界動きベクトルとを推定し、かつ該推定された局所境界動きベクトルを用いて非剛体的動きを有する該物体内の領域に近接するピクセルに対して前記動的モデルにおける前記予測誤差項を計算することにより、該物体に対して及び前記背景エリアに対して前記第２の動きベクトルを推定することを特徴とする請求項４１に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ圧縮の分野に関する。
【背景技術】
【０００２】
移動物体抽出方法は、ビデオシーケンスにおける移動物体の輪郭を抽出するためにビデオ圧縮技術に従来から用いられている。従来の方法は、多くの場合に輪郭を抽出するためにモデルを明示的に導入する。これらの従来の方法は、輪郭の離散化、及び輪郭が発展する時に長さ及び曲率を制御する難しさのような大きな問題を有する可能性がある。
【０００３】
例えば、予測誤差を低減するために、動きブロックの簡単な分割を実施して複数の移動物体を捕捉することができる。この処理は、大きな予測誤差を有するブロックを動き推定の改善のためのサブブロックに四分木分割することによって達成することができる。一般的に、大きな予測誤差を有するブロックは、移動物体の境界の直線モデルを用いて四分木分割される。
【０００４】
動き分割における他の手法は、オプティカルフロー推定又はパラメトリック（すなわち、アフィン）動きモデルに依存している。これらの手法は、物体境界の近くの遮蔽効果のような問題を有する。分割フィールドにおける及び従って物体境界におけるある程度の滑らかさは、事前確率項を含むＭＡＰ／ベイジアン法を用いて達成することができる。これらの方法は、物体境界及び動きフィールドに対処するために明示的に結合されたいかなるモデルも用いることなく分割フィールドの接続性を制約する。
【０００５】
一部の従来の手法では、移動物体境界を捕捉するために曲率発展モデルが用いられる。しかし、これらの手法は、動き推定を伴わず、物体境界発展のためのモデルにおける時間差演算子のみに依存する。
【０００６】
初期条件から物体を成長させ、かつ予測誤差の低減、境界安定性（すなわち、物体において穴がないこと及び輪郭に対する滑らかさ）、及び画像特徴への結合の間の均衡をもたらす状態に達するように領域競合を実施する移動物体抽出方法に対する必要性が存在する。
【発明の開示】
【０００７】
移動物体境界を抽出する方法は、物体の動きが目標画像と参照画像の間の位置の変化によって表される物体に対する初期動きベクトルを推定する段階、物体が現れて移動する背景エリアに対する初期ベクトルを推定する段階、推定されたベクトルを用いて１回目の繰返しの動的モデル解を求める段階、及び物体の境界を抽出するために動的モデル解の少なくとも１回の次の繰返しを完了する段階を含む。
【０００８】
本発明は、例示的に示しており、添付図面と共に以下の説明を参照することによってより良く理解することができる。
【発明を実施するための最良の形態】
【０００９】
以下の説明では、本明細書の一部を形成し、本発明を実施することができる特定的な実施形態を具体例によって示す添付図面を参照する。他の実施形態も利用することができ、本発明の範囲から逸脱することなく構造的変更を加えることができることは理解されるものとする。例えば、様々な実施形態を説明するために用いるフィールド、フレーム、又は画像という用語は、一般的にビデオデータに関連して用いられるものと互換的である。
【００１０】
物体抽出方法は、動的モデルを用いて物体の境界を発展させることによってビデオ画像内に表される移動前景物体の輪郭を推定する。動的モデルは、コンパクトかつコヒーレントな構造が出現することを可能にする。一部の実施形態では、動的モデルは、物体境界を抽出するのに制約された又はパラメータ化された境界モデルを必要としないように画像内の各ピクセルに形成された２次元境界フィールドを用いる。動的モデルはまた、物体の局所的な動きフィールドを用いて、物体の非格子的動きを説明する境界に沿った動きベクトルを得る。動的モデルは、境界を画像勾配特徴に結合するために拡散項及びアニーリング項を組み込んでいる。物体抽出方法は、遮蔽によって引き起こされる誤差を最小限に止めるように過去及び未来の仮説試験を実施する。本方法は、物体の境界における物体の動きベクトルが物体のより複雑な局所的動きを処理することを可能にする。本方法は、動き分割又はビデオ符号化用途で用いることができ、目標画像の時間予測を改善するために動きベクトルのサンプリングを発生させる。
【００１１】
背景領域から移動物体境界を抽出する方法が背景から単一の物体の輪郭を抽出する例を図１に示している。１１０では、動的モデルが形成される。１２０では、目標画像の領域内に境界フィールドに対する初期シードを入れる。１２５では、動きベクトルの初期値が判断される。１３０では、時間ステップで動的モデルの状態を進めて境界フィールドを発展させる。１４０では、背景及び移動物体を表す動きベクトルを推定し直す。１５０では、方法は、停止基準に達したか否かを判断する。この判断が真である場合には、方法は１６０で終了する。そうでなければ、方法は１３０に戻る。
【００１２】
境界フィールドに対する動的モデル
２次元境界フィールドＢ（ｘ、ｙ）の動的モデルが形成され、ここで、Ｂは、画像内の位置（ｘ、ｙ）におけるピクセルに関する値である。Ｂの正の値は、対応するピクセルが物体内に存在することを示し、負の値は、ピクセルが背景内に存在することを示している。方法は、Ｂ（ｘ、ｙ）における初期条件で始まり、反復的に境界フィールドを発展させて物体境界のより良好な推定を定める。
【００１３】
一部の実施形態では、方法は、動的モデルを数値的に解き、モデルを時間に対して進めることによって境界フィールドを発展させる。続いて、境界フィールドは、時間の関数Ｂ（ｘ、ｙ、ｔ）として表現され、ここで、初期条件Ｂ0（ｘ、ｙ）は、次式のように初期時間０で始まる。
【数１】
2009509417.tif 000003
初期条件は、物体内の領域において、
【数２】
2009509417.tif 000004
であり、他の場所では、
【数３】
2009509417.tif 000005
であり、２つの状態の間に緩やかな遷移を有する。初期条件はまた、物体境界に関する事前知識が利用可能な場合には、そのような知識によってシードを供給することができる。一部の実施形態では、境界フィールドにおける初期値は、次式になる。
【数４】
2009509417.tif 000006
ここで、（ｘ0、ｙ0）は、シードの中心であり、ａは、シードのサイズを示している。
【００１４】
方法は、境界フィールドＢ（ｘ、ｙ）の勾配∇の周囲にシードを成長させ、ここで、Ｂ（ｘ、ｙ）〜０であり、以下の発展方程式：
【数５】
2009509417.tif 000007
を用いて、以下に従って動的モデルを発展させる。
【数６】
2009509417.tif 000008
ここで、Ｔは複合駆動項、τは、状態を時間ｔからｔ＋τに進めるための時間ステップパラメータである。方法は、収束のような停止基準に達するまで繰り返される。
【００１５】
動的モデルを用いて成長した境界フィールドの例を図２に示している。目標画像をブロック２０５に示している。目標画像２０５内で物体２０２の境界を判断するために、ブロック２１０に示すように目標画像内にシード２１２を入れる。物体２０４の境界を判断するために、ブロック２１０に示すように目標画像内にシード２１４を入れる。ブロック２２０及び２３０に示すように、シード２１２の境界が発展し、白色エリア２２２によって表される物体領域が形成される。同様に、シード２１４の境界が発展し、灰色エリア２２４で表される物体領域が形成される。ブロック２３０に示すように、シード２１４から決定された灰色の全体の物体領域２３４は、大きな部分と連結していない小さな部分、並びにその大きな部分内に背景領域を有する。同様に、白色エリアによって表される全体の物体領域２３２は、一部の非連結部分を有する。以下に解説する安定性駆動項は、非連結領域を制御するために用いられる。ブロック２４０に示すように、物体２０２全体の境界２４２が捕捉される。同様に、物体２０４全体の境界２４４が捕捉されるまでシード２１４の境界が発展する。
【００１６】
式（２）における複合駆動項Ｔは、以下のように予測誤差、安定性、結合、及びテンプレート駆動項のような項の組合せである。
【数７】
2009509417.tif 000009
各重み付け値｛λi｝は、対応する駆動項の相対強度を判断する。過去／未来予測誤差駆動項は、過去及び未来の参照画像処理からの誤差を含む。この駆動項は、以下に解説するように、遮蔽及び露出領域を説明する仮説試験方法中に考慮される。安定性駆動項Ｔstabilityは、抽出される動きレーヤがある程度のコンパクト性を有し、抽出される移動物体境界がある程度の接続性を有するように、Ｂ（ｘ、ｙ）が滑らかさを維持することを保証するために用いられる。結合駆動項Ｔimageーcouplingは、画像内の空間活動に関連する。例えば、物体は、物体境界と画像勾配の間の相関性のような局所空間活動への相関性を有することができる。駆動項Ｔtemplateは、利用可能な場合には、画像内の境界に関する現存知識を考慮する。
【００１７】
式（３）からの駆動項の表現を式（２）からの動的モデルの中に含めることにより、次式が得られる。
【数８】
2009509417.tif 000010
【００１８】
過去及び未来予測誤差駆動項
過去及び未来予測誤差駆動項は、何らかのピクセル位置において背景動きベクトルと物体動きベクトルとを用いることの間の予測誤差の差を表している。背景動きベクトルの推定は、ｖb（ｘ、ｙ）で表され、物体動きベクトルは、ｖo（ｘ、ｙ）で表される。この駆動項は、次式で表現される。
【数９】
2009509417.tif 000011
ここで、ε2（ｖo）は、動きベクトルｖo（ｘ、ｙ）が用いられる時の何らかのピクセル位置における予測誤差であり、ε2（ｖb）は、動きベクトルｖb（ｘ、ｙ）が用いられる時のそのピクセル位置における予測誤差である。この項を式（３）の動的モデルに入れると、この項の寄与として次式が得られる。
【数１０】
2009509417.tif 000012
【００１９】
すなわち、ピクセル位置（ｘ、ｙ）において、物体動きベクトルが用いられる時に予測誤差が小さい場合には（すなわち、ε2（ｖb）−ε2（ｖ0）が正）、時間導関数が正であることからＢ（ｘ、ｙ）は増大し、このピクセルは物体に向って移行し、これは、ピクセル位置が正のＢ（ｘ、ｙ）値を有することとして表現される。同様に、ピクセル位置（ｘ、ｙ）において、背景動きベクトルが用いられる時に予測誤差が小さい場合には（ε2（ｖb）−ε2（ｖ0）が負）、時間導関数が負であることからＢ（ｘ、ｙ）は減少し、このピクセルは、背景に向って移行し、これは、ピクセル位置が負のＢ（ｘ、ｙ）値を有することとして表現される。
【００２０】
予測誤差は、遮蔽が参照画像内に存在する場合に増大する。図３Ａは、過去又は未来のいずれか一方の参照画像のみが用いられる時に境界抽出によって生成される遮蔽の例を示している。ブロック３１０では、目標画像は、過去の参照画像では物体３１５によって覆われているが、目標画像では物体３１５によって覆われていないピクセルである遮蔽領域３１７を有する。過去の参照画像に依存するこの遮蔽領域の結果、移動物体の境界を抽出する時に動的モデルを反復的に解くのに１つの過去の参照フィールドが用いられているので、遮蔽領域３１７の近くで真の物体境界への低い対応性しか持たない移動物体境界が存在する。遮蔽を生成するのを回避するためには、遮蔽領域３１７内のピクセルが未来の参照画像内で物体３１５によって覆われていないので、利用可能である場合は遮蔽領域におけるピクセルを予測するのに未来の参照画像が用いられるべきである。同様に、ブロック３２０では、遮蔽領域３２７は、目標画像内では物体３１５によって覆われていないが未来の参照画像内では物体３１５によって覆われている領域である。その結果は、移動物体の境界を抽出する時に動的モデルを反復的に解くのに１つの未来の参照フィールドのみが用いられる場合に、遮蔽領域３２７の近くで真の物体境界に低い対応性しか持たない移動物体境界である。従って、遮蔽領域３２７内のピクセルを予測するのに、利用可能である場合は過去の参照画像が用いられるべきである。
【００２１】
図３Ａに示す遮蔽領域は、図３Ｂ、３Ｃ、及び３Ｄに示す移動物体境界を抽出する時に過去及び未来の両方の参照画像を用いることによって回避することができる。遮蔽を処理するために、過去及び未来の動き情報が用いられる。動的モードの繰返しにおけるいずれかの時点で、動き推定においてピクセルが過去又は未来のいずれの参照画像を用いるべきかを判断するために、物体の成長状態、並びに物体及び背景の動きが用いられる。図３Ｂに示すように、目標画像３４０内の移動物体の境界を抽出するのに、未来の参照画像３３０及び過去の参照画像３５０が用いられる。図３Ｃに示すように、黒色の正方形によって表している背景領域及び移動物体の境界内のシード３４２を生成するために、ブロック３７０の黒色領域３４１内で動的モデルが初期化される。ブロック３８０に示すように、動的モデルを反復的に解いて移動物体の境界を拡張し、移動物体領域３４４を生成する。移動物体は、物体の動きが目標画像の右側に向って方向付けられていることを示す動きベクトル３４６を有する。従って、遮蔽領域を生成するのを回避するために、動的モデルは、未来の参照画像３３０を用いて、点線３４７の左の領域３８１における動きベクトル及び予測誤差を推定し、過去の参照画像３５０を用いて、点線３４７の右の領域３８２における動きベクトル及び予測誤差を推定する。一部の実施形態では、過去の参照画像又は未来の参照画像のいずれを用いるかの決定は、以下に説明するように、背景及び物体動きベクトルに対して仮説試験を実施することによって各ピクセルにおいて行われる。最終結果は、図３Ｄに物体の周囲を白色線で表している抽出された境界３４９として示しており、この境界は、遮蔽領域なしに生成され、従って、より良好な品質の抽出を有する。
【００２２】
過去の参照フィールドを用いるか又は未来の参照フィールドを用いるかに関するより詳細なピクセル毎の判断は、予測誤差駆動項を次式のように拡張することによって行われる。
【数１１】
2009509417.tif 000013
ここで、ｖhypは、ピクセル位置（ｘ、ｙ）での動きベクトルに関する仮説を表している。背景動きベクトルに関する仮説試験は、図４に示すように実施される。物体における動きベクトルは、過去又は未来の参照画像を用いて、ｖopast（ｘ、ｙ）又はｖofuture（ｘ、ｙ）のいずれかとして表される。背景における動きベクトルは、過去又は未来の参照画像を用いて、ｖbpast（ｘ、ｙ）又はｖofuture（ｘ、ｙ）のいずれかとして表される。４１０では、動きベクトルｖbpastが現在の物体の状態及び動きと一致し、ｖbfutureが一致しない場合には、４１５においてｖbpastを選択する。そうでなければ、４２０で動きベクトルｖbpastが、現在の物体の状態及び動きと一致せず、ｖbfutureが一致する場合には、４２５においてｖbfutureを選択する。そうでなければ、両方の動きベクトルが一致する場合には、４３５で以下のように最小予測誤差を有する動きベクトルを選択する。
【数１２】
2009509417.tif 000014
【００２３】
前景物体動きベクトルに関する仮説試験は、図５に示すように実施される。５０５では、境界フィールドＢ（ｘ、ｙ）に対する値を受信する。５１０では、Ｂ（ｘ、ｙ）≧Ｓであるかを判断する。そうである場合には、５２０で、ｖohyp＝ｍｉｎv（ε（ｖ＝ｖopast）、ε（ｖ＝ｖofuture））を選択する。そうでない場合には、５３０で、ｖohyp＝ｍａｘv（ε（ｖ＝ｖopast）、ε（ｖ＝ｖofuture））を選択する。従って、ピクセル（ｘ、ｙ）において現在の状態がＢ（ｘ、ｙ）≧Ｓであるような値を有し、すなわち、このピクセルが物体内に存在する見込みが高い場合には、方法は、ｖohyp＝ｍｉｎv（ε（ｖ＝ｖopast）、ε（ｖ＝ｖofuture））を用いて、物体動きベクトルに対して、物体の成長に有利に働く小さい予測誤差を選択する。一方、ピクセル（ｘ、ｙ）において現在の状態がＢ（ｘ、ｙ）＜Ｓである値を有し、すなわち、このピクセルが背景内に存在する見込みが高い場合には、方法は、背景の成長に有利に働くように、ｖohyp＝ｍａｘv（ε（ｖ＝ｖopast）、ε（ｖ＝ｖofuture））を用いて物体動きベクトルに対して大きな予測誤差を選択する。
【００２４】
この例では、物体と背景がゼロＢ（ｘ、ｙ）値によって分離されるので、パラメータＳは、０に設定される。物体又は背景動きベクトルの仮説選択は、遮蔽をより確実に処理するのに現在の物体状態情報と共に過去及び未来の参照画像情報を用いる。
【００２５】
安定性駆動項
安定性駆動項は、非線形モデルからコンパクトで安定した構造が出現するのを可能にし、この項は次式で表現される。
【数１３】
2009509417.tif 000015
ここで、
【数１４】
2009509417.tif 000016
は、境界フィールドに関する法線ベクトルであり、次式で定義される。
【数１５】
2009509417.tif 000017
これは、Ｂ（ｘ、ｙ）＝定数である曲線に対する法線方向である。この項を式（３）に入れると次式が得られる。
【数１６】
2009509417.tif 000018
従って、│∇Ｂ（ｘ、ｙ）│が非ゼロである境界の近くの物体の輪郭が、正の曲率（すなわち、正の領域から外向きの形状）を有する場合には、
【数１７】
2009509417.tif 000019
は正であり、Ｂ（ｘ、ｙ）は減少して曲線を直線化する。同様に、│∇Ｂ（ｘ、ｙ）│が非ゼロである境界の近くの物体の輪郭が、負の曲率（すなわち、正の領域から内向きの形状）を有する場合には、
【数１８】
2009509417.tif 000020
は負であり、Ｂ（ｘ、ｙ）は、増大して曲線を直線化する。
【００２６】
安定性駆動項は、物体境界トポロジーの曲率の程度を制御する。この項は、輪郭の長さを短縮する拡散項として機能する。図６は、境界フィールドの一部分６１０及び法線ベクトル６２０の例を示している。安定性駆動項は、破線６３０によって示すように境界フィールドの輪郭を直線化する。式（１０）に示すように、小さな正又は負の領域の除去（すなわち、拡散）をより直接的に制御するために式９に明示的な拡散項を追加することができる。
【数１９】
2009509417.tif 000021
式（１０）の右辺のラプラシアン項は、境界フィールドを比較的平滑で均質なものとする。
【００２７】
画像結合駆動項
移動物体境界は、何らかの局所空間画像活動との相関性を有することができる。例えば、多くの場合、物体境界は、境界に対して法線方向に強度勾配を有する。この種類の局所空間活動の相関性は、画像結合駆動項を用いてモデルの中に組み込まれる。
【数２０】
2009509417.tif 000022
ここで、
【数２１】
2009509417.tif 000023
は、境界フィールドに対して法線方向にあり、│∇Ｉ（ｘ、ｙ）│は、画像強度勾配のマグニチュードである。この項を式（３）に入れると、この因子の寄与が次式のように得られる。
【数２２】
2009509417.tif 000024
従って、画像勾配が物体境界幅に近い場合には、境界は、画像勾配に沿って整列する。図７は、画像結合駆動項の効果の例を示している。境界曲線７１０の一部分は、強度勾配における局所ピークのような画像構造７２０の近くにある。画像結合駆動項は、曲線７３０及び破線７４０に示すように境界を画像構造へと引きつける。
【００２８】
テンプレート駆動項
テンプレート駆動項は、例えば、前のシーケンスからシーン内の物体境界に関する情報を得るか、又は物体の予想形状に関する事前情報を有する実施形態で用いられる。この情報は、物体境界のためのテンプレートを供給する。物体境界テンプレート駆動因子は、２次元関数：
【数２３】
2009509417.tif 000025
の交点によって特徴付けることができる。テンプレート駆動項は、次式で表現される。
【数２４】
2009509417.tif 000026
【００２９】
すなわち、物体境界の近くのピクセル位置で、境界フィールドＢ（ｘ、ｙ）がテンプレート：
【数２５】
2009509417.tif 000027
よりも大きい場合には、Ｂ（ｘ、ｙ）は減少する。同様に、物体境界の近くのピクセル位置で、境界フィールドＢ（ｘ、ｙ）がテンプレート：
【数２６】
2009509417.tif 000028
よりも小さい場合には、Ｂ（ｘ、ｙ）は増大する。最終的に、
【数２７】
2009509417.tif 000029
であるところで平衡に達する。
【００３０】
動的モデルは、式（４）に従って空間的２次元境界フィールドＢ（ｘ、ｙ）を発展させる。パラメータ｛λ1、λ2λ3｝は、各項の相対重みを左右する。一部の実施形態では、λ3は、物体境界の成長の後期段階でより有効になるように最初に０に設定され、徐々に増大する。多くの場合、物体境界に関する事前知識が利用可能ではないので、λ4は、全方法において０に設定される。この駆動項は、境界フィールドＢ（ｘ、ｙ）及び動きフィールドの関数である。これらの駆動項の非線形の協働効果は、移動物体における境界フィールドの安定した発展及び出現を可能にする。
【００３１】
境界フィールドが、動的モデルにおいて更新される時に、各ピクセル「ｘ」において背景の動きを用いること及び物体の動きを用いることの間の予測誤差は、全ての繰返しにおいて計算すべきである。背景の動きは、通常は非常にロバストで安定しており、従って、単一の背景の動きを全ピクセルで用いることができる。しかし、一部の事例では、物体の動きは、非局所的又は非剛体的動きを伴う場合がある。これらの事例では、一部の実施形態において物体の動きに対してバルク及び局所的／境界の動きベクトルが用いられる。
【００３２】
図８は、物体において出現する境界フィールドの例を示している。時間ｔ1において、目標画像８００内の物体の識別部分を８１０に示しており、目標画像の残りは、背景領域と考えられる。時間ｔ2において、境界フィールドが発展すると、物体の識別部分は、８２０に示すように成長する。境界の動きベクトル８３０が、移動物体の境界に沿って配置され、動きベクトルに関する値が推定される。境界の動きベクトルの値は、現在の時間ｔ2において物体の一部として識別されるピクセルを用いて決定される。すなわち、物体８２０の識別部分の内側のピクセルのみが、境界の動きベクトル８３０を推定するのに用いられる。各境界の動きベクトルは、境界から所定の距離内にある物体の識別部分の内側の領域を用いて推定される。従って、各境界の動きベクトルは、物体の小さな部分の動きを示している。物体におけるバルクの動きベクトルｖbulkは、識別部分からのピクセルを用いて推定され、物体全体の総合的な動きを示している。
【００３３】
一般的に、バルクの動きベクトルｖbulkは、物体内の各ピクセルにおける物体の動きを表するのに用いることができる。物体のいくつかの部分が異なる方向に移動する非剛体的な動きを処理するために、境界に沿ったピクセルでは、このピクセルの近く又はこのピクセルと局所空間相関性を有する境界の動きベクトルを物体の動きを表すのに用いることができる。例えば、物体が人物であった場合には、バルクの動きベクトルは、人物が右に移動するのを示すことができ、人物の手に沿った境界の動きベクトルは、手がバルクの動きベクトルに対して左に移動していることを示すことができる。
【００３４】
一実施形態では、境界抽出方法は、図９に示すように、ビデオデータの画像（又はフレーム、又はフィールド）を符号化するためのビデオ符号化に用いられる。９１０で、符号器は、入力目標画像を受信する。目標画像に関連する復号された画像データを収容する１組の参照画像が、符号化処理中には符号器に対して利用可能であり、同様に、復号処理中には復号器に対して利用可能である。９１５では、移動物体境界を抽出する。９２０では、符号器は、目標画像に関連付けられた動きベクトルの不規則サンプリング又は分布を発生させる。９３０では、サンプリングパターン情報（例えば、パターンを表すビット）を復号器に伝送する。
【００３５】
９４０では、時間予測フィルタ処理を不規則な動きサンプリングパターンに適用する。この適応フィルタ処理は、動きベクトル、不規則なサンプリングパターン、及び参照画像を用いて目標画像の予測を発生させる。９５０では、動きベクトル値を符号化し、復号器に送信する。９６０では、目標画像の実際の目標データから適応フィルタリング処理からの予測誤差を差し引いた残差を発生させる。９７０では、残差を符号化し、９８０において復号器に送信する。
【００３６】
別の実施形態では、動きベクトルの適応サンプリングパターンは、図１０に示すようにビデオデータの画像（又はフレーム、又は画像）を復号するのに用いられる。１０１０では、符号化済み残差を受信する。１０２０では、復号器は、受信した符号化済み残差を復号する。１０３０では、復号器は、サンプリングパターン情報、参照画像、及び動きベクトル値を受信する。続いて１０４０において、復号器は、適応時間フィルタ手法を適用して時間予測を発生させる。１０５０では、復号済み残差を時間予測に加えることによって復号された目標画像を発生させる。
【００３７】
図１１は、適応影響エリアフィルタを用いるシステムの例を示している。デジタルビデオカメラ１１１０は、電子形式で画像を取り込み、圧縮及び符号化処理中に動きベクトル選択法を用いる圧縮デバイス１１２０を用いて画像を処理する。符号化された画像は、電子伝送媒体１１３０を通じてデジタル再生デバイス１１４０に送信される。画像は、復号処理中にフィルタを用いる復号デバイス１１５０によって復号される。カメラ１１１０は、本発明の実施形態を含む様々な画像処理装置（例えば、他の画像取り込みデバイス、画像エディタ、画像処理プロセッサ、パーソナル及び市販のコンピュータプラットフォーム等）を示している。同様に、復号デバイス１１５０は、画像データを復号する様々なデバイスを示している。
【００３８】
本発明を特定のシステム環境における実施形態に関して説明したが、本発明は、特許請求の精神及び範囲内の他の異なるハードウエア及びソフトウエア環境において修正を伴って実施することができることを当業者は認識するであろう。
【図面の簡単な説明】
【００３９】
【図１】背景領域から移動物体境界を抽出する方法の例を示す図である。
【図２】動的モデルによって成長した境界フィールドの例を示す図である。
【図３Ａ】動的モデルにおいて１つの参照画像を用いた場合に発生する可能性がある遮蔽の例を示す図である。
【図３Ｂ】動的モデルにおいて複数の参照画像を用いた場合に遮蔽を回避する例を示す図である。
【図３Ｃ】動的モデルにおいて複数の参照画像を用いた場合に遮蔽を回避する例を示す図である。
【図３Ｄ】動的モデルにおいて複数の参照画像を用いた場合に遮蔽を回避する例を示す図である。
【図４】背景動きフィールドに対して仮説を発生させる方法の例を示す図である。
【図５】物体動きフィールドに対して仮説を発生させる例を示す図である。
【図６】境界フィールドの一部分及び法線ベクトルの例を示す図である。
【図７】画像結合駆動項の効果の例を示す図である。
【図８】物体に対して出現する境界フィールドの例を示し、局所境界動きベクトルを示す図である。
【図９】移動物体境界を抽出する方法を用いるビデオデータの画像（又はフレーム又はフィールド）を符号化するためのビデオ符号化の例を示す図である。
【図１０】ビデオデータの画像（又はフレーム、又は画像）を復号する例を示す図である。
【図１１】移動物体境界を抽出する方法を用いるシステムの例を示す図である。
【符号の説明】
【００４０】
１１０  動的モデルが形成される段階
１２５  動きベクトルの初期値が判断される段階
１３０  境界フィールドを発展させる段階
【図１】
2009509417.tif 000030
【図２】
2009509417.tif 000031
【図３Ａ】
2009509417.tif 000032
【図３Ｂ】
2009509417.tif 000033
【図３Ｃ】
2009509417.tif 000034
【図３Ｄ】
2009509417.tif 000035
【図４】
2009509417.tif 000036
【図５】
2009509417.tif 000037
【図６】
2009509417.tif 000038
【図７】
2009509417.tif 000039
【図８】
2009509417.tif 000040
【図９】
2009509417.tif 000041
【図１０】
2009509417.tif 000042
【図１１】
2009509417.tif 000043
【国際調査報告】
2009509417.tif 000044