(57)【特許請求の範囲】
【請求項１】
画像のシーケンスにおいて前景を背景から分離する方法であって、
カメラによって前記画像のシーケンスおよびシーンの奥行きマップを取得するステップと、
前記奥行きマップに基づいてピクセルのスパース性グループを求めるステップと、
前記画像のシーケンスにおける仮現運動および前記スパース性グループに従って、前記画像のシーケンスをスパース前景成分と低ランク背景成分とに分解するステップと
を含み、
前記スパース性グループ内の前記ピクセルは、空間的に接続され、一定の奥行き勾配を有し、
前記ステップは、前記画像のシーケンスおよび前記奥行きマップを記憶するメモリに接続されたプロセッサにおいて実行される、方法。
【請求項２】
前記画像の背景は、位置合わせされていない、請求項１に記載の方法。
【請求項３】
前記画像のシーケンスから取得された運動ベクトルと、前記奥行きマップから取得された奥行きとを用いて前記背景を識別するステップと、
前記背景のホモグラフィックベクトルを求めるステップと、
前記ホモグラフィックベクトルを用いて前記画像のシーケンスをワープするステップと
をさらに含む、請求項２に記載の方法。
【請求項４】
最小二乗フィッティングを用いてホモグラフィーモデルの前記ホモグラフィックベクトルを求めるステップ
をさらに含む、請求項３に記載の方法。
【請求項５】
前記ホモグラフィックベクトルは、奥行きが強調され、前記方法は、
前記奥行きマップを組み込むことによって前記ホモグラフィーモデルを３次元モデルに拡張するステップ
をさらに含む、請求項４に記載の方法。
【請求項６】
前記カメラは、静止している、請求項１に記載の方法。
【請求項７】
前記カメラは、移動している、請求項２に記載の方法。
【請求項８】
前記スパース前景成分を閾値処理するステップ
をさらに含む、請求項１に記載の方法。
【請求項９】
前記奥行きマップ内のピクセルを用いて前記画像内のピクセルをセグメンテーションするステップ
をさらに含む、請求項１に記載の方法。
【請求項１０】
前記スパース性グループ内の前記ピクセルは、空間的に接続され、一定の奥行きを有する、請求項１に記載の方法。
【請求項１１】
前記画像のシーケンスは、グループオブピクチャである、請求項１に記載の方法。
【請求項１２】
前記分解は、ｌ２、１ノルムを用いる、請求項１に記載の方法。
【請求項１３】
前記ｌ２、１ノルムにおける重みは、前記奥行きマップにおける奥行きの単調増加関数に基づいている、請求項１２に記載の方法。
【請求項１４】
前記カメラは、カラーセンサーおよび奥行きセンサーを備える、請求項１に記載の方法。
【請求項１５】
前記ピクセルのスパース性グループは、前記カメラまでの異なる距離における前記シーン内の物体に対応する、請求項１に記載の方法。
【請求項１６】
前記奥行きマップを運動ベクトルと組み合わせて、前記画像のシーケンス内の画像ごとに大域的運動を照合するパラメトリック透視投影モデルを求めるステップ
をさらに含む、請求項３に記載の方法。
【請求項１７】
画像のシーケンスにおいて前景を背景から分離するシステムであって、
前記画像のシーケンスおよびシーンの奥行きマップを取得するカメラと、
前記画像のシーケンスおよび奥行きマップを記憶するメモリと、
前記奥行きマップに基づいてピクセルのスパース性グループを求め、前記画像のシーケンスにおける仮現運動および前記スパース性グループに従って、前記画像のシーケンスをスパース前景成分と低ランク背景成分とに分解する、前記メモリに接続されたプロセッサであって、前記スパース性グループは、奥行きに基づいており、前記スパース性グループ内の前記ピクセルは、空間的に接続され、一定の奥行き勾配を有する、プロセッサと
を備える、システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的には、画像処理に関し、より詳細には、画像のシーケンスにおいて、前景コンテンツを背景コンテンツから分離することに関する。
【背景技術】
【０００２】
前景／背景（ＦＧ／ＢＧ）分離は、前景コンテンツが背景コンテンツと異なる運動を有するビデオ監視、ヒューマンコンピューターインターラクション、およびパノラマ写真等の用途において用いることができる。例えば、ＦＧ／ＢＧ分離は、物体検出、物体分類、軌道分析、および通常でない運動の検出を改善し、画像のシーケンス（ビデオ）に表された事象の高レベルの理解をもたらすことができる。
【０００３】
ロバスト主成分分析（ＲＰＣＡ）がこの分離に用いられるとき、ＲＰＣＡは、観察されたビデオ信号
【数１】
0006489551.tif 000002
を、低ランク成分
【数２】
0006489551.tif 000003
と、補完的なスパース成分
【数３】
0006489551.tif 000004
とに分解することができることを前提としている。このため、ＦＧ／ＢＧ分離は、ＸおよびＳの最適化問題として、下式（１）により定式化することができ、
【数４】
0006489551.tif 000005
ここで、｜｜・｜｜＊は、行列の核ノルムであり、｜｜・｜｜１は、行列をベクトル化したもののｌ１ノルムであり、λは、正則化パラメーターである。ＲＰＣＡ問題の解法は、完全なまたは部分的な特異値分解（ＳＶＤ）を反復ごとに計算することを伴う。
【０００４】
複雑度を低減するために、低ランク行列フィッティング（ＬＭａＦｉｔ：Ｌａｗ−Ｒａｎｋ  Ｍａｔｒｉｘ  Ｆｉｔｔｉｎｇ）等のいくつかの技法が、低ランク因数を用いて説明されており、計算複雑度を制限するために、それらの因数にわたって最適化を行う。低ランク成分に関する行列の因数分解は、Ｘ＝ＬＲＴを表し、ここで、
【数５】
0006489551.tif 000006
であり、
【数６】
0006489551.tif 000007
であり、ｒ≧ｒａｎｋ（Ｘ）である。
【０００５】
因数分解に基づくＲＰＣＡ法は、以下のような拡張ラグランジュ交互方向法（ＡＤＭ）を用いて、下式（２）により定式化して解くことができ、
【数７】
0006489551.tif 000008
ここで、｜｜・｜｜Ｆは、行列のフロベニウスノルムであり、λは、正則化パラメーターであり、Ｙは、ラグランジュ双対変数であり、μは、拡張ラグランジュパラメーターであり、Ｅ＝Ｂ−ＬＲＴ−Ｓである。式（１）における核ノルム｜｜Ｘ｜｜＊は、
【数８】
0006489551.tif 000009
という知見に基づいて、式（２）では、
【数９】
0006489551.tif 000010
に置き換えられていることに留意されたい。ここで、Ｘ＝ＬＲＴであり、Ｔは、転置演算子である。
【０００６】
図３は、式（２）を解くのに用いられる反復のためのアルゴリズム１の擬似コードを示している。ステップ５におけるソフト閾値処理演算子は、
【数１０】
0006489551.tif 000011
であることに留意されたい。ここで、
【数１１】
0006489551.tif 000012
は、スパース成分に構造を課さない。
【０００７】
近年、構造化されたスパース性の技法が、ＲＰＣＡ法に適用されている。スパース技法は、過完備基底を学習して、データを効率的に表す。この技術では、スパース行列は、要素のほとんどがゼロである行列である。これとは対照的に、要素のほとんどが非ゼロである場合、行列は、密とみなされる。行列におけるゼロ要素（非ゼロの要素）の割合は、スパース性（密度）と呼ばれる。これは、スパースデータがランダムに位置していないことが多く、密集する傾向を有するという知見によって、主に動機付けられている。
【０００８】
例えば、動的グループスパース性（ＤＧＳ）と呼ばれる１つの学習定式化は、局所的クラスタリングに有利であるスパース成分を選択する際に、プルーニング（pruning）ステップを用いる。もう１つの手法は、式（１）におけるｌ１ノルムを以下のように定義される混合型のｌ２、１ノルムに置き換えることによって、グループスパース性を実施し、
【数１２】
0006489551.tif 000013
ここで、Ｓｇは、グループｇに対応する成分であり、ｇ＝１、・・・、ｓであり、ｗｇは、各グループに関連付けられた重みである。その結果得られる問題を定式化したものは、以下となる。
【０００９】
【数１３】
0006489551.tif 000014
【００１０】
ＰＣＡファミリーの最新のＦＧ／ＢＧ分離手法は、静止カメラを用いて取得された画像シーケンスおよび大部分が静的な背景にかなり効果的である。しかしながら、分離性能は、移動するカメラを用いた画像シーケンスの場合に低下し、その結果、運動ジッターが制限されていても、背景に仮現運動が生じる場合がある。そこで、ＲＰＣＡに基づくＦＧ／ＢＧ分離方法を適用する前に、大域的運動補償（ＭＣ）によって、画像が位置合わせされる。
【００１１】
移動するカメラのシーケンスでは、背景内の運動は、もはや低ランク仮定を満たさない。したがって、ＲＰＣＡを適用するために、ＲＰＣＡを用いる前の画像シーケンスに対する事前処理ステップにおいて、ホモグラフィーモデルを用いた大域的運動補償を用いることができる。
【００１２】
大域的運動補償を実行する１つの手法は、画像シーケンスのホモグラフィーモデルを計算することである。８パラメーターホモグラフィーモデルｈ＝［ｈ１、ｈ２、・・・、ｈ８］Ｔでは、現在の画像内の対応するピクセルＸ１＝（ｘ１、ｙ１）Ｔと、その基準画像内のピクセルＸ２＝（ｘ２、ｙ２）Ｔとが、以下の式に従って関係付けられる。
【００１３】
【数１４】
0006489551.tif 000015
【００１４】
現在の画像内のピクセルロケーション（ｘ１、ｙ１）を基準画像内のそれに対応するロケーション（ｘ２、ｙ２）に関連付ける局所的運動情報が与えられると、最小二乗（ＬＳ）フィッティング：ｂ＝Ａｈによってホモグラフィーモデルｈを推定することができる。ここで、ｂは、ベクトルＸ２をスタックすることによって構成されるベクトルであり、各Ｘ２に対応するＡの行は、以下のように指定される。
【００１５】
【数１５】
0006489551.tif 000016
【００１６】
対応する奥行きマップを有する画像シーケンスは、特に、マイクロソフト社のＫｉｎｅｃｔ（商標）のような奥行きセンサーの急速な成長および立体画像からの奥行き推定アルゴリズムの進歩に伴って、今や一般的である。奥行きデータおよびカラーデータを併せて用いることによって、優れた分離結果が生成される。また、奥行き強調は、照明の変化、陰影、反射、およびカモフラージュを、より良好に取り扱うことができる。
【発明の概要】
【００１７】
本発明の実施の形態は、画像のシーケンスを処理する方法を提供する。本方法は、背景差分問題を解くのに、奥行きに基づくグループスパース性を用いた新規なＰＣＡ枠組みを有する代数分解を用いる。
【００１８】
本方法は、画像のシーケンス、例えば、ビデオ内のグループオブピクチャ（ＧＯＰ）を、低ランク成分とグループスパース前景成分との和に分解する。低ランク成分は、シーケンスにおける背景を表し、グループスパース成分は、シーケンスにおける前景の移動する物体を表す。
【００１９】
移動するカメラを用いてシーンから取得されたビデオの場合、まず、運動ベクトルがビデオから抽出される。例えば、このビデオは、運動ベクトルを有するビットストリームとして符号化されている。次に、関連付けられた奥行きマップが、運動ベクトルと組み合わされて、ビデオ内の画像ごとの大域的運動を照合する１４個のパラメーターを有するパラメトリック透視投影モデルが計算される。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施の形態による画像のシーケンスを処理する方法の流れ図である。
【図２】本発明の実施の形態に従って画像を位置合わせおよびワープする流れ図である。
【図３】従来技術の因数分解型ＲＰＣＡアルゴリズムのブロック図である。
【図４】本発明の実施の形態による奥行き重み付きグループ単位アルゴリズムのブロック図である。
【発明を実施するための形態】
【００２１】
ＲＰＣＡ問題の定式化では、ビデオ背景は、低ランク成分Ｘを用いてモデル化することができる小さな変化を有するものと仮定される。Ｓによって表される、例えば、移動する物体等の前景コンテンツは、スパースであり、背景とは異なるタイプの運動を有すると仮定される。
【００２２】
従来技術のＦＧ／ＢＧ分離アルゴリズムは、一般に、分離の際に前景物体の構造を組み込まない。
【００２３】
本実施の形態は、例えば、移動するカメラによって取得されたシーケンスに対する大域的運動補償における位置合わせ不良を原因とする、背景におけるより大きな変化を克服することができる構造化されたグループスパース性に基づくＰＣＡ法を提供する。
【００２４】
奥行き重み付きグループ単位ＰＣＡ
実際の画像シーケンスでは、前景物体（スパース成分）は、均一に分布しているのではなく、空間的および時間的の双方において密集する傾向を有する。この知見が、ＲＰＣＡ手法へのグループスパース性の導入につながり、スパース成分を、より構造化されたグループに移すことになった。
【００２５】
本発明者らの方法は、ビデオの奥行きマップを用いて、奥行き重み付きグループ単位ＰＣＡ（ＤＧ−ＰＣＡ）法におけるグループ構造を定義する。
【００２６】
構造化されたスパース性を取り扱うために、因数分解されたＲＰＣＡ問題におけるｌ１ノルムは、式（５）に定義された混合型のｌ２、１ノルムに置き換えられる。このｌ２、１ノルムは、奥行きマップにおける奥行きの単調増加関数に基づいている。その結果得られる問題は、以下のものとなる。
【００２７】
【数１６】
0006489551.tif 000017
【００２８】
図１は、画像のシーケンス（ビデオ）において前景コンテンツを背景コンテンツから分離する方法１０５を示している。この方法は、本発明の実施の形態による奥行き重み付きグループ単位ＰＣＡ（ＤＧ−ＰＣＡ）１１０を用いる。カメラ１５０は、実世界のシーン１５１のビデオＶを取得する。カメラは、静止させておくこともできるし、移動させることもできる（１５５）。カメラは、カラーセンサーと、ビデオと同期した奥行きマップＤを取得する奥行きセンサーとを用いてカラー画像を取得するＫｉｎｅｃｔ（登録商標）とすることができる。
【００２９】
ビデオ内の背景は、事前処理ステップにおいて位置合わせすることができる（１６０）（図２参照）。背景が位置合わせされたビデオＢ＝Ａ（Ｙ）  １０１および奥行きに基づくピクセルグループＧ  １０２が、方法１０５に入力される。ＤＧ−ＰＣＡ１１０は、主として背景コンテンツ１１１に対応する低ランク成分Ｘ０  １１１と、主として前景コンテンツ１２１に対応するスパース成分Ｓ０  １２１とを出力する。出力ステップ１４０は、所定の閾値よりも大きな値を有するＳ内のピクセルを前景１４１としてマーク付けし、それ以外のピクセルは、背景１４２としてマーク付けされる。
【００３０】
図４は、本発明者らのＤＧ−ＰＣＡ手法の１つの好ましい実施の形態を記述したアルゴリズム２の擬似コードのブロック図を示している。このアルゴリズムへの入力は、背景が位置合わせされた画像シーケンスＢ  １０１および対応する奥行きグループＧ  １０２を含む。
【００３１】
奥行きマップＤを用いてピクセルグループＧを定義するために、演算子Ｇ（Ｄ）は、以下の手順を用いて奥行きマップをｓ個のグループ１０２にセグメンテーションする。本発明の１つの実施の形態では、奥行きレベルが０〜２５５の範囲を有すると仮定すると、奥行きｄを有するピクセルは、グループ
【数１７】
0006489551.tif 000018
に分類される。
【００３２】
その結果、Ｂ内のピクセルは、ｇ∈｛１、・・・、ｓ｝を有するＢｇグループにクラスタリングすることができる。各Ｂｇは、セグメントｇ内にマーク付けされたＢからの要素からなる。同様に、Ｌｇ、Ｒｇ、およびラグランジュ乗数Ｙｇもグループ化される。
【００３３】
次に、アルゴリズム２のステップ３および４が、Ｘ＝ＬＲＴを用いて低ランク成分（背景）を求める。
【００３４】
次に、アルゴリズム２のステップ５において、演算子Ｓλ／μ、ｇは、下式（１０）によるグループ単位ソフト閾値処理であり、
【数１８】
0006489551.tif 000019
ここで、
【数１９】
0006489551.tif 000020
であり、εは、０による除算を回避するための小さな定数であり、ｗｇは、式（５）におけるグループ重みを定義する。前景物体は、背景物体よりもカメラに近い、すなわち、背景物体よりも大きな奥行きを有する確率がより高いので、以下の式を用いて、グループ重みが設定され、
【数２０】
0006489551.tif 000021
ここで、ｃは、ある定数であり、ｄｇは、グループｇ内のピクセルの平均奥行きである。ｗｇは、カメラに最も近い物体、すなわち、ｄ＝２５５の場合には、１に等しく、カメラに最も遠い物体、すなわち、ｄ＝０の場合にはｃに等しい。ｃの選択によって、前景ピクセルをそれらの対応する奥行きに基づいて選択することを可能にする閾値が制御される。Ｓｇがグループｇごとに計算された後、全てのＳｇを総計することによって、スパース成分Ｓが取得される。
【００３５】
上記ステップは、アルゴリズムが収束するまで、または最大反復回数に達するまで反復される。
【００３６】
Ｓ内で大きな値を有するピクセル、例えば、所定の閾値よりも大きな値を有するピクセルは、前景ピクセル１４１として出力される。
【００３７】
本方法は、前景コンテンツ、例えば、物体がカメラのより近くにある場合に、グループ構造に有利である。空間的に接続されて、一定の奥行きを有するピクセルのセット、または一定の奥行き勾配を有する接続されたピクセルのセットとしてグループを定義することも、本発明者らの枠組みの範囲内で可能である。
【００３８】
式（９）における核ノルムに等価な項目
【数２１】
0006489551.tif 000022
が、アルゴリズム２を数値的に安定にすることについて言及することは、意味がある。核ノルムがない場合、アルゴリズム２のステップ３における
【数２２】
0006489551.tif 000023
は、
【数２３】
0006489551.tif 000024
になる。これは、行列
【数２４】
0006489551.tif 000025
が特異であるとき、例えば、画像が、Ｂ、Ｌ、Ｒ≒０である比較的暗いときに不安定である。
【００３９】
奥行き強調ホモグラフィーモデル
実際には、ピクセルロケーションを関連付ける局所的運動情報は、多くの場合、不正確である。この場合、式（７）における完全な８パラメーターモデルは、運動情報内の誤差の影響を受け易い。したがって、ホモグラフィーモデルにおいてパラメーターの数を削減したものが好ましく、このため、シーン１５１内の運動のタイプが制限される。
【００４０】
例えば、２パラメーターモデル、４パラメーターモデル、および６パラメーターモデルは、ｈにおけるいくつかの係数を０に設定することによって、それぞれ並進のみのモデル、幾何モデル、およびアフィンモデルに対応する。本発明者らは、４パラメーターの幾何モデルを本発明者らの出発点として選択する。ここで、ｈ＝［ｈ１、ｈ２、ｈ３、０、０、ｈ６、０、０］Ｔである。
【００４１】
しかしながら、ビデオシーケンス内の運動は、一般に平面的ではない。したがって、従来のホモグラフィーモデルを慎重に選択した後であっても、大きな運動推定誤差を有する可能性があり、これは、その後のＰＣＡと同様の手順における検出率を劇的に低下させる。したがって、本発明者らは、奥行き強調ホモグラフィーモデルを用いる。具体的には、奥行きに関係した６つの新たなパラメーターが追加され、ｈ＝［ｈ１、・・・、ｈ８、ｈ９、・・・、ｈ１４］Ｔが得られる。ｚ１およびｚ２が、対応するピクセルの奥行きを意味するものとすると、現在の画像内の対応するピクセルＸ１＝（ｘ１、ｙ１、ｚ１）Ｔと、その基準画像内のピクセルＸ２＝（ｘ２、ｙ２、ｚ２）Ｔとは、本発明者らの奥行き強調ホモグラフィーモデルによって、下式（１２）により関係付けられる。
【００４２】
【数２５】
0006489551.tif 000026
【００４３】
式（１２）において、奥行き値０は、物体がカメラから遠いこと、例えば、∞にあることを意味する。奥行きが大きいほど、物体がカメラのより近くにあることを意味する。ビデオシーケンスをより簡略にするために、ある特定の簡略化が可能である。例えば、ｚ２＝ｚ１である場合、運動は、同じ奥行き平面内にあるように制限される。
【００４４】
奥行き強調ホモグラフィーモデルｈが、式（１２）のように定義される場合、この問題は、最小二乗フィッティングを用いて解くことができる。現在の画像内のピクセルロケーション（ｘ１、ｙ１）と、基準画像内の対応するロケーション（ｘ２、ｙ２）とを関連付ける局所的運動情報が与えられると、ホモグラフィーモデルｈは、最小二乗（ＬＳ）フィッティング：ｂ＝Ａｈを解くことによって推定することができる。ここで、ｂは、ベクトルＸ２をスタックすることによって構成されるベクトルであり、各Ｘ２に対応するＡの行は、以下のように指定される。
【００４５】
【数２６】
0006489551.tif 000027
【００４６】
図２は、上述した奥行き強調ホモグラフィーモデルを用いてビデオＶを位置合わせするステップ１６０を示している。入力は、運動ベクトルＭＶｘ、ＭＶｙ、および奥行きマップ２０１を含む。背景からのものである可能性がより高いＭＶが識別される（２１０）。選択されたＭＶおよび入力された奥行きを用いて、ホモグラフィーモデルのパラメーターｈが、例えば、最小二乗フィッティングを介して求められる（２２０）。位置合わせされていない画像のグループが入力２０２として得られ、推定されたホモグラフィーモデルを用いてワープする（２３０）ことによって、位置合わせされる。最後に、背景が位置合わせされた画像シーケンス１０１が、さらなる処理１０５のために出力される。
【図１】
0006489551.tif 000028
【図２】
0006489551.tif 000029
【図３】
0006489551.tif 000030
【図４】
0006489551.tif 000031