(57)【特許請求の範囲】
【請求項１】
シーンからセンサーによって取得された画像をセグメント化する方法であって、
前記シーンの前記画像に対応する動きベクトルを取得するステップと、
動き消失点画像を生成するステップであって、該動き消失点画像内の各ピクセルは、該ピクセルにおける動きベクトル対の複数の交点を表す、ステップと、
前記動き消失点画像において、前記各動きベクトルの代表点を求めるステップと、
前記代表点に基づいて前記動きベクトル間の距離を求めるステップと、
エッジによって連結されたノードを含む動きグラフを構築するステップであって、該各ノードは、動きベクトルを表し、該各エッジは、該ノード間の前記距離に基づく重みを表す、構築するステップと、
グラフスペクトラルクラスタリングを前記動きグラフに対して実行して、前記画像のセグメントを作成するステップと、
前記セグメントを出力するステップと
を含み、前記ステップは、プロセッサにおいて実行される、方法。
【請求項２】
前記動き消失点画像は、前記動きベクトル対の全ての組み合わせの前記交点を用いることよって生成される、請求項１に記載の方法。
【請求項３】
前記動き消失点画像は、前記対における第１の動きベクトルと他の全ての動きベクトルとの前記交点を用いることによって生成される、請求項１に記載の方法。
【請求項４】
前記代表点は、前記動きベクトルの射線に沿って最大数の前記交点を有する前記ピクセルを用いて求められる、請求項１に記載の方法。
【請求項５】
複数の代表点が、極大数の交点の前記動きベクトルの射線に沿って求められ、前記方法は、
前記極大数の交点に基づいて、前記代表点が前記動きベクトルの消失点である確率を求めるステップ、
をさらに含む、請求項１に記載の方法。
【請求項６】
前記距離は、ユークリッド距離である、請求項４に記載の方法。
【請求項７】
前記距離は、前記確率に基づいている、請求項５に記載の方法。
【請求項８】
前記エッジは、近傍ノードを連結する、請求項１に記載の方法。
【請求項９】
前記エッジは、最も近い距離に基づいてノードを連結する、請求項１に記載の方法。
【請求項１０】
欠落した動きベクトルを、インペインティング法を用いて満たすステップ、
をさらに含む、請求項１に記載の方法。
【請求項１１】
前記グラフは、ノードｊに連結されたノードｉを含み、該ノードｉは、動きベクトルを有し、該ノードｊは、動きベクトルを有しておらず、前記方法は、
前記ノードｉから前記ノードｊの方向に沿ったエッジに沿って探索を行い、動きベクトルを有するノードｋを突き止めるステップと、
代表点Ｒｊを代表点Ｒｋと置き換え、代表点Ｒｉおよび前記代表点Ｒｋに基づいて前記ノードｉと前記ノードｊとの間の前記距離を設定するステップと、
をさらに含む、請求項１に記載の方法。
【請求項１２】
前記動きベクトルは、前記画像に対応する圧縮ビットストリームから取得される、請求項１に記載の方法。
【請求項１３】
前記動き消失点画像は、前記画像よりも大きい、請求項１に記載の方法。
【請求項１４】
画像をセグメント化するシステムであって、
シーンの前記画像を得るために構成された該シーンのセンサーと、
前記センサーに接続されたプロセッサと
を備え、前記プロセッサは、前記画像に対応する動きベクトルを取得することと、動き消失点画像を生成することであって、該動き消失点画像内の各ピクセルは、該ピクセルにおける動きベクトル対の複数の交点を表すことと、前記動き消失点画像において、前記各動きベクトルの代表点と、該代表点に基づく前記動きベクトル間の距離とを求めることと、エッジによって連結されたノードを含む動きグラフを構築することであって、該各ノードは、動きベクトルを表し、該各エッジは、前記ノード間の前記距離に基づく重みを表す、構築することと、グラフスペクトラルクラスタリングを前記動きグラフに対して実行して、前記画像のセグメントを作成することと、を行うシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的には、画像処理の分野に関し、より詳細には、センサーによってシーンから取得された画像を動きベクトルを用いてセグメント化することに関する。
【背景技術】
【０００２】
動きは、剛性物体の複数の部分が経時的に同様の動きを示すことが多いことを考慮した画像セグメンテーションタスクの重要なキューである。特に、シーンから取得された画像または画像シーケンス（ビデオ）内で、それぞれ異なる動きを有する物体をセグメント化することが、多くの場合に望ましい。
【０００３】
エピポーラー平面画像（ＥＰＩ）解析は、たとえどのような形状変化、テクスチャ変化または強度変化が画像に含まれていようとも、その画像が直線によって仕切られた同質の領域からなることを前提としている。そのような知見は、ビデオシーケンスから静的なシーンの３Ｄ幾何学的描写を構築するのに利用されてきた。これについては、非特許文献１を参照されたい。
【０００４】
エピポーラー幾何学は、動きセグメンテーションに用いることができる２つの画像間の固有射影幾何学である。これについては、非特許文献２を参照されたい。２つの画像を用いることの１つの不利点は、エピポーラー平面内の動きを検出するができないということである。この不利点を克服するために、エピポーラー制約を３つの画像に拡張することができる。例えば、「視差ベースマルチ平面制約」と呼ばれる３視点エピポーラー制約を用いて、各画像ピクセルを、静的な背景に属するものまたは前景を移動している物体に属するもの、のいずれかとして分類することができる。これについては、非特許文献３を参照されたい。
【０００５】
動きセグメンテーションの別の手法は、ビデオの時空間生成モデルに基づく動的テクスチャ解析を用いる。このモデルは、線形動的システムからの観測値としてビデオシーケンスを表す。別の方法は、様々な視覚プロセスの様相およびダイナミクスの双方の表現として、動的なテクスチャの混合体を用いる。これについては、非特許文献４を参照されたい。しかしながら、その手法は、シーンのエピポーラー幾何学を考慮していないので、強い遠近効果が存在する場合に劣化する。
【０００６】
スパース部分空間クラスタリング（ＳＳＣ）が、動きセグメンテーションに用いられてきた。これについては、非特許文献５を参照されたい。ＳＳＣでは、特徴点の軌道がビデオフレームから抽出される。スパース最適化が用いられ、他の特徴軌道のスパース線形結合を用いて各特徴軌道を推定することによって、軌道関連性が見つけられる。スパース重みを用いて、それらの特徴を関係付けるグラフが構築され、グラフスペクトラルクラスタリングを用いて、同じ部分空間を占有する特徴がセグメント化される。その手法の不利点は、この手法が複数の画像にわたる軌道の計算に依拠していることである。その上、スパース最適化問題の計算複雑度は、特徴点の数が増加するにつれて急速に高まる。
【０００７】
関連した手法では、「ハイパーグラフ」が、ノード対ではなく、より高次のタプルに関して定義された類似度に基づいて構築される。これについては、非特許文献６を参照されたい。
【０００８】
動きセグメンテーションのさらに別の手法は、移動する背景が移動する前景物体から分離されるロバスト主成分解析（ＲＰＣＡ）の一変形形態に依拠している。これについては、特許文献１を参照されたい。ＲＰＣＡを適用して低ランクの背景をスパースな移動する前景物体から抽出する前に、動きベクトルを用いて、画像を同じ透視画に位置合わせすることができる。その方式の１つの不利点は、背景の位置合わせが、物体が同じ奥行き平面にあることを前提としていることである。物体が同じ奥行き平面にあることは、必ずしも当てはまらない場合がある。もう１つの不利点は、この技法が、正確なセグメンテーションを作成するのに複数の画像を必要とすることである。
【０００９】
要約すれば、従来の方法に見られる共通の不利点は、特に、強い遠近効果がシーンに現われているとき、それらの方法が複雑な動きを取り扱うことができないということである。
【００１０】
物体のオプティカルフローが１つの拡張焦点（ＦＯＥ）を共有するという前提に基づいて、１つの動きセグメンテーション方法は、特徴点、例えば、金出・ルーカス・トマシ（ＫＬＴ：Kanade-Lucas-Tomasi）特徴点を抽出し、例えば、テンプレートマッチングを用いてオプティカルフロー（動きフィールド）を生成し、次いで、例えば、ランダムサンプルコンセンサス（ＲＡＮＳＡＣ）手法を用いて動きをグループ化する。これについては、特許文献２を参照されたい。特に、ＲＡＮＳＡＣ手法は、ｘ−ＭＶｘ平面およびｙ−ＭＶｙ平面において適用することができる。これらの平面において、任意の２つの点が直線を用いて接続され、この直線の許容範囲内にある点の数がカウントされ、最も多くの数の点を有する直線が選択される。許容範囲を有する選択された直線上の点は、動きの１つのグループとしてセグメント化される。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】Mansour他の米国特許出願公開第２０１５０１３０９５３号「Method for Video Background Subtraction Using Factorized Matrix Completion」
【特許文献２】Akita他の米国特許第８、２９０、２０９号
【非特許文献】
【００１２】
【非特許文献１】Bolles他「Epipolar-plane image analysis: A technique for analyzing motion sequences」（Readings in Computer Vision: Issues, Problem, Principles, and Paradigms, page 26, 2014）
【非特許文献２】Micusik他「Estimation of omnidirectional camera model from epipolar geometry」（Computer Vision and Pattern Recognition, 2003. Proceedings. 2003 IEEE Computer Society Conference on, volume 1, pages 1-485. IEEE, 2003）
【非特許文献３】Xu他「Motion segmentation by new three-view constraint from a moving camera」（Mathematical Problems in Engineering, 2015）
【非特許文献４】Chan他「Modeling, clustering, and segmenting video with mixtures of dynamic textures」（Pattern Analysis and Machine Intelligence, IEEE Transactions on, 30(5):909-926, 2008）
【非特許文献５】Elhamifar他「Sparse subspace clustering: Algorithm, theory, and applications」（Pattern Analysis and Machine Intelligence, IEEE Transactions on, 35(11):2765-2781, 2013）
【非特許文献６】Ochs他「Higher order motion models and spectral clustering」（Computer Vision and Pattern Recognition (CVPR), 2012 IEEE Conference on, pages 614-621. IEEE, 2012）
【発明の概要】
【発明が解決しようとする課題】
【００１３】
動きセグメンテーションは、動きベクトルに関連付けられた画像内のピクセル間のコヒーレントな関係を識別する。しかしながら、遠近差は、多くの場合、従来の動きセグメンテーション技法の性能を劣化させる可能性がある。
【課題を解決するための手段】
【００１４】
本発明の実施の形態は、動きベクトルを用いて、動き消失点に基づく動き表現を識別する動きセグメンテーションの方法およびシステムを提供する。セグメンテーションは、グラフが、画像ピクセルに関連付けられた動き消失点画像において定義された動き表現距離を用いて構築されるグラフスペクトラルクラスタリングを用いて達成される。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施の形態によって用いられる３Ｄワールド座標系および画像座標系における動き消失点の概略図である。
【図２Ａ】ピクセル画像２Ｄに対応する動き消失点画像を示す図である。
【図２Ｂ】ピクセル画像２Ｅに対応する動き消失点画像を示す図である。
【図２Ｃ】ピクセル画像２Ｆに対応する動き消失点画像を示す図である。
【図２Ｄ】ピクセル画像を示す図である。
【図２Ｅ】ピクセル画像を示す図である。
【図２Ｆ】ピクセル画像を示す図である。
【図３】本発明の実施の形態による４連結グラフの概略図である。
【図４】動き消失点画像における動きベクトル（ＭＶ）の代表点およびＭＶのうちの２つの間の距離の概略図である。
【図５】動きベクトルを有しないグラフノードに対応するピクセルまたはピクセルブロックからの距離の概略図である。
【図６】本発明の実施の形態による動きセグメンテーションの方法のフロー図である。
【発明を実施するための形態】
【００１６】
本発明の実施の形態は、センサーによってシーンから取得された動きベクトル（ＭＶ）に基づいて画像をセグメント化する方法およびシステムを提供する。１つの実施の形態では、動きベクトルは、画像を符号化したビットストリームから取得される。
【００１７】
１  画像平面内の動き消失点
１．１  動き消失点
幾何学的消失点は、多くのタスク、例えば、３次元（３Ｄ）構造についての情報を推論することに用いることができる。３Ｄワールド座標系の３つの直交方向（ｘ、ｙ、ｚ）に沿った３つの幾何学的消失点がある。
【００１８】
本発明者らは、動き消失点を対象としている。シーンの画像内のラインから導出される幾何学的消失点と異なり、動き消失点は、ＭＶの交点に存在する。
【００１９】
図１における概略図は、動き消失点ｖの概念を示している。３Ｄワールド座標系１０１において、対応する動きベクトルＰ１→Ｐ１’を有する、物体１００（棒線画によって表されている）上の点がＰ１からＰ１’に移動していると考える。同様に、同じ物体上の別の点の動きがＰ２→Ｐ２’によって表されている。遠近効果によって、対Ｐ１→Ｐ１’およびＰ２→Ｐ２’は、３Ｄワールド座標系における無限遠にある消失点Ｖにおいて交差する。
【００２０】
カメラ中心をＣに有するカメラの画像平面１０２上にこれらの動きを投影した場合、対応する動きベクトルは、画像平面内のｐ１→ｐ１’およびｐ２→ｐ２’となる。この動きベクトル対は、動き消失点ｖにおいて交差する。同じ物体上の全ての点の動きは、これらのベクトルが３Ｄワールド座標系内の同じ動き消失点Ｖを共有するのと同様に、画像平面内の同じ動き消失点ｖを共有することを見て取ることができる。
【００２１】
したがって、動き消失点間の距離は、それぞれ異なる移動物体を区別するのに用いることができるとともに、１つの物体の複数の部分が遠近効果に起因してそれぞれ異なる方向の動きを有するときであっても、その物体からのピクセルをグループ化するのに用いることができる。
【００２２】
いくつかの場合には、動き消失点は、ｚ軸に沿って幾何学的消失点と同じ場所に配置することができる。例えば、カメラがｚ軸に沿って移動し、大域的な動きを除いてシーンに動きがないとき、全てのピクセルの動きベクトルは、同じ動き消失点を共有し、この動き消失点は、正確にｚ方向における幾何学的消失点のロケーションである。そのような場合、特に、画像内に強いラインがないときまたはラインがランダムな方向を有するとき、動き消失点を用いて幾何学的消失点を検出することが有益であり得る。
【００２３】
動き消失点の概念を完成させるために、本発明者らの枠組みは、側方移動の場合、すなわち、３Ｄワールド内の物体の動きが画像平面に平行である場合も考慮する。そのような場合、画像平面上に投影された動きは、平行であり、動き消失点は、画像平面の原点から無限遠にあり、ｘ軸に対して動き方向θを有する。したがって、画像平面内の動き消失点は、必ずしも常に画像の範囲内に含まれるとは限らない。
【００２４】
１．２  動き消失点画像
１つの実施の形態では、Ｈ．２６５／ＨＥＶＣまたは同様の符号器によって符号化されたビデオビットストリームから動きベクトルＭＶｉが抽出される。その後、画像は、動きベクトルに基づいてセグメント化される。
【００２５】
∀ｉ、ｊ：ｉ≠ｊについてＭＶｉとＭＶｊとの間の動き消失点ｖｉｊをプロットすることによって、動き消失点画像Ｖが生成される。動き消失点画像の例は、移動車両に搭載されたセンサーによって取得された対応する画像２Ｄ、２Ｅおよび２Ｆの図２Ａ、図２Ｂおよび図２Ｃに示されている。様々な実施の形態では、このセンサーは、カメラ、奥行きセンサーまたはそれらの組み合わせとすることができる。
【００２６】
Ｖ内のロケーション（ｘ、ｙ）におけるピクセルは、（ｘ、ｙ）における同じ消失点を共有する複数の動きベクトル対（ｉ、ｊ）を表す。消失点画像２Ａ内の（ｘ、ｙ）における暗色は、動き消失点が存在することを示している。車が前方に直進し、他の移動物体が画像に存在しないとき、消失点は、単一の動き中心２０１の周囲に収束する。これは、幾何学的消失点が動き消失点と同じ場所にあるときの一例でもある。
【００２７】
シーンに２つ以上の動きが存在するとき、例えば、車が回転する動きを示しているとき、または図２Ｅにおける接近車両等の複数の移動物体がシーン内に現われているとき、消失点画像２Ｂは、複数の収束点２０２を有する。同様に、車が図２Ｆにおいて左に方向を変えると、図２Ｃにおける消失点画像は、より鋭い円形の境界２０３を示す。このように、動き統計と消失点画像との間には関係がある。動き消失点画像をピクセル画像よりも大きくするいくつかの動き消失点は、画像範囲に含まれない可能性がある。
【００２８】
例えば、ｋ平均クラスタリングを用いて、動き消失点画像内で動きセグメンテーションを直接行うことが可能であるが、本発明者らは、消失点画像を用いてグラフを構築し、グラフスペクトラルクラスタリングを実行して画像をセグメント化する。
【００２９】
２  グラフスペクトラル動きセグメンテーション
２．１  グラフスペクトラルクラスタリング
一般的なグラフ信号処理では、無向グラフＧ＝（Ｖ、Ｅ）は、エッジの集合Ｅ＝｛（ｉ、ｊ、ｗｉｊ）｝、ｉ、ｊ∈Ｖによって連結されたノードの集合Ｖ＝｛１、２、・・・、Ｎ｝を含む。ここで、（ｉ、ｊ、ｗｉｊ）は、重みｗｉｊを有する、ノードｉとｊとの間のエッジを示す。好ましい実施の形態では、重みは、動きベクトル間の距離に基づいている。
【００３０】
動きベクトルを用いて動きセグメンテーションを実行するために、各ＭＶは、グラフにおいてノードとして扱われる。各動きベクトルは、例えば、４×４ピクセルのブロックの単一のピクセルを表すことができる。グラフの隣接行列Ｗは、重みｗｉｊを有するＮ×Ｎ行列であり、ノードｉの次数ｄｉは、ノードｉに連結されたエッジの重みの和である。次数行列は、対角行列
【数１】
0006611681.tif 000002
であり、組み合わせラプラシアン行列は、
【数２】
0006611681.tif 000003
である。
【００３１】
正規化されたラプラシアン行列は、対称半正定値行列である
【数３】
0006611681.tif 000004
として定義される。したがって、固有値分解は、Ｌ＝ＵΛＵｔであり、ここで、Ｕ＝｛ｕ１、・・・、ｕＮ｝は、固有ベクトルの直交集合であり、Λ＝ｄｉａｇ｛λ１、・・・、λＮ｝は、対応する固有値行列である。上記ラプラシアン行列の固有ベクトルおよび固有値は、グラフ信号のスペクトル解釈を提供する。固有値｛λ１、・・・、λＮ｝は、グラフスペクトル周波数として扱うことができ、常に、実数直線上の区間［０、２］内に位置していることに留意されたい。固有値は、非降順、すなわち０＝λ１λ２・・・λＮでソートされる。
【００３２】
主固有ベクトル、例えば、０の固有値に対応する固有ベクトルを取り除いた後の最初のＫ個の固有ベクトル｛ｕ１、ｕ２、・・・、ｕＫ｝の中の固有ベクトルを用いて、ピクセルをｋ個のグループにクラスタリングすることができる。主固有ベクトルの行のｋ平均クラスタリングが用いられる。
【００３３】
以下で説明するように、グラフを構築した後、グラフスペクトラルクラスタリングが動きセグメンテーションを実行することに用いられる。
【００３４】
２．２  動きセグメンテーションのグラフ構築
グラフは、動き消失点に基づいて構築される。（１つのピクセルまたはピクセルブロックに関連付けられた）あらゆるＭＶがその空間近傍ＭＶ、例えば、４つまたは８つのすぐ隣の空間近傍ＭＶに連結されたスパースグラフ連結度が検討される。このトポロジーは、グラフにおける動きフィールドの局所的な変化を表すことができる。
【００３５】
図３は、ノード３０１がエッジ３０２によって４つの空間近傍ノードに連結された一例示のグラフを示している。他のグラフトポロジーも用いることができる。
【００３６】
２．２．１  ＭＶの代表点
グラフ重みが多くの場合にピクセル強度から求められる画像処理の従来の手法と異なり、本発明者らは、ＭＶに関連付けられた消失点のロケーションを用いて、グラフ重みを構築する。
【００３７】
１つの実施の形態では、各ＭＶについて、動き消失点画像Ｖにおいて最大数の交点を有する動きベクトルの射線に沿ったロケーションに対応する単一の代表点が選択される。この射線は、ＭＶと同じ方向におけるベクトルの延長したものであるが、無限の大きさを有するベクトルの延長したものと考えることができる。
【００３８】
図４は、動きベクトルＭＶｉの代表点Ｒｉを選択するプロセスを示している。図４は、ＭＶｉおよびＭＶｉを延長することによる対応する射線４１０も示している。ゼロ長ＭＶの場合、代表点Ｒは、画像内のピクセルの空間ロケーションと同じ場所に配置される。
【００３９】
１つの実施の形態では、各ＭＶについて、動きベクトル射線上の候補代表点の代表点集合Ｒが選択される。Ｒ内の各候補代表点について、割り当てられた確率が、真の消失点が物体およびＭＶに関連付けられている尤度を示す。
【００４０】
動き消失点画像は、処理されている画像よりも大きい可能性があるので、代表点は、画像範囲の外部にある可能性がある。強い遠近効果を有するシーンの画像の場合、精度を下げることなく、代表点を画像範囲内になるように調整することができる。
【００４１】
２．２．２  ２つのＭＶ間の透視距離
代表点の集合に基づいて、２つの動きベクトル間の距離が、動き消失点画像におけるそれらの対応する代表点間の距離を用いて測定される。
【００４２】
単一の代表点を有する図４では、ＭＶｉとＭＶｊとの間の透視距離４０１は、以下の式となる。
【００４３】
【数４】
0006611681.tif 000005
【００４４】
ここで、（Ｒｘｉ、Ｒｙｉ）は、ＭＶｉの代表点のロケーションである。
【００４５】
代表点集合が有効である実施の形態では、２つの動きベクトル間の透視距離は、以下の式となる。
【００４６】
【数５】
0006611681.tif 000006
【００４７】
ここで、ｐ（Ｒｉｍ）は、動き消失点に対するＲｉｍの確率である。これは以下の制約を満たす。
【００４８】
【数６】
0006611681.tif 000007
【００４９】
いくつかの特定の状況下では、透視距離は、透視不変動きセグメンテーションを達成するようにエッジ重みを定義するのに用いることができる。したがって、距離は、以下の式のように、動きベクトル間の透視距離ｄｐ、ｉｊおよびユークリッド距離ｄｍ、ｉｊの加重和となるように設定される。
【００５０】
【数７】
0006611681.tif 000008
【００５１】
グラフ隣接行列Ｗ＝｛ｗｉｊ｝は、以下の式となる。
【００５２】
【数８】
0006611681.tif 000009
【００５３】
ここで、βおよびεは所定の定数である。
【００５４】
２．２．３  平行なＭＶからの透視距離
遠近効果が弱いとき、１つの物体からのＭＶは、互いにほぼ平行になる傾向がある。平行な動きは、側方移動によっても発生する。すなわち、物体が、画像平面に平行な方向に沿って移動しているときも発生する。そのような場合、代表点Ｒｉは、画像範囲の外部である（θ、∞）、すなわち、画像平面の原点から角度θの無限遠にある。
【００５５】
動きベクトルＭＶｉおよびＭＶｊの双方の動き代表点が画像範囲の外部にある場合、距離は、以下の式にように動き方向の差となる。
【００５６】
【数９】
0006611681.tif 000010
【００５７】
ＭＶのうちの１つのみが、画像範囲に含まれない代表点を有する場合、距離は、最大値、例えば、
【数１０】
0006611681.tif 000011
を有し、ここで、ｗｉｄｔｈ（幅）およびｈｅｉｇｈｔ（高さ）は、画像の解像度を表す。なぜならば、ＭＶは、それぞれ異なる物体に関連付けられているからである。式（７）は、代表点の範囲が画像範囲よりも大きいとき、それに応じて変更することができる。
【００５８】
２．２．４  動きのないピクセルからの透視距離
実際のシステムでは、ピクセルが、Ｈ．２６５／ＨＥＶＣ符号器によるインター予測モードではなくイントラ予測モードにおいて符号化されると、いくつかのピクセルは、関連付けられた動き情報を有しない。動き情報を有しないピクセルは、穴ピクセルと呼ばれる。１つの実施の形態では、従来のインペインティング方法を用いて、欠落した動きベクトル（穴）が満たされる。
【００５９】
別の実施の形態では、グラフトポロジーの構築は、同じである。すなわち、ノードは、動きが利用可能であるか否かを問わず連結される。穴は、通常、動きからのディスオクルージョンによって引き起こされ、物体の境界周辺に現れるので、以下の手順が用いられる。
【００６０】
図５は、ＭＶが利用可能であるノードｉおよびｋ  ５０１と、ＭＶが欠落したノードｊ  ５０２とを含むグラフの一部を示している。ｉとｊとの間の距離を計算するために、延長されたグラフエッジに沿って、ノードｊからノードｉへの方向と反対の方向に探索が行われ、動きベクトルを有するノードｋが突き止められる。ノードｋを突き止めることができる場合、代表点ＲｊがＲｋに置き換えられ、ｉとｊとの間の距離が、ＲｉおよびＲｋを用いて計算される。そうではなく、ピクセルｋが見つからない場合、例えば、ｋの探索が画像境界において終了した場合、ｉとｊとの間の距離は、式（７）のような最大距離となるように設定される。ピクセルｉおよびｊの双方が、利用可能なＭＶを有しない場合、距離は、０に設定される。このように、イントラ符号化されたブロックの各側における動きの変化をまとめることができ、そのような変化を物体境界近くのグラフの重みに反映させることができる。
【００６１】
２．２．５  統合された手法
図６は、本発明者らの方法のステップを示している。
【００６２】
ステップ６０１：センサー６２０、例えば、奥行きセンサーのカメラによって取得されたシーン６１０の画像からベクトル（ＭＶ）を取得する。ＭＶは、画像を符号化したＨ．２６４／Ｈ．２６５ビットストリームまたは高密度オプティカルフロージェネレーターから抽出することができる。
【００６３】
ステップ６０２：動き消失点画像を生成する。この動き消失点画像内の各ピクセルは、そのピクセルにおける動きベクトル対の複数の交点を表す。
【００６４】
ステップ６０３：動き消失点画像において、各動きベクトルの代表点を求める。
【００６５】
ステップ６０４：エッジによって連結されたノードを含む動きグラフを構築する。各ノードは動きベクトルを表し、各エッジはノード間の距離に基づく重みを表す。
【００６６】
ステップ６０５：グラフスペクトラルクラスタリングを用いて動きグラフ上で動きセグメンテーションを実行して、画像のセグメントを作成する。
【００６７】
ステップ６０６：セグメンテーションを出力する。
【００６８】
上記ステップは、当該技術分野において知られているように、バスによってメモリおよび入力／出力インターフェースに接続されたプロセッサ６００において実行することができる。
【図１】
0006611681.tif 000012
【図２Ａ】
0006611681.tif 000013
【図２Ｂ】
0006611681.tif 000014
【図２Ｃ】
0006611681.tif 000015
【図２Ｄ】
0006611681.tif 000016
【図２Ｅ】
0006611681.tif 000017
【図２Ｆ】
0006611681.tif 000018
【図３】
0006611681.tif 000019
【図４】
0006611681.tif 000020
【図５】
0006611681.tif 000021
【図６】
0006611681.tif 000022