(57)【特許請求の範囲】
【請求項１】
１つの情景の異なるショットから得られた２つの画像において互いに相対的に動く２つの隣接するＡ領域及びＢ領域の相対的深度を検出する方法であって、
基準画像と呼ばれる、複数の画像のうちの１つの画像の空間的断片化を得る段階と、
前記２つの画像間の動きの局所的推定を得る段階であって、前記２つの画像の得られたベクトル場は局所的動きと呼ばれる、段階と、
前記Ａ領域及びＢ領域間の動き境界に沿った動き推定エラーを決定する段階と、
各々の境界に沿った前記動き推定エラーが前記境界の前記Ｂ領域に主に局所しているとき、Ａ領域はＢ領域の前方にあるという結論を出すように、前記動き境界に沿った前記動き推定エラーの局所化の分析を得る段階と、
を有する方法。
【請求項２】
前記動き推定は、前記第２画像から前記基準画像の推定を再構成するように、動き補償によって得られた画像と前記基準画像を比較することにより得られる、請求項１に記載の方法。
【請求項３】
前記動きは局所的動きである、請求項１に記載の方法。
【請求項４】
前記動きは、Ａ領域とＢ領域との間の境界に沿った局所化された領域の内側のバンドで調整される局所的モデルと呼ばれるモデルから求められる、請求項１に記載の方法。
【請求項５】
１つの局所的モデルのみが、前記境界の両側に延びるバンドの内側で推定される、請求項１に記載の方法。
【請求項６】
前記動き推定エラーは、領域の動き及び局所的動きを表す、領域モデルと呼ばれるモデルから求められた動きを比較することによって計算される、請求項１に記載の方法。
【請求項７】
各々の領域において、前記動きエラー推定は、２つの異なるモデルであって、領域モデルと呼ばれる、領域の動きを表す１つのモデルと、局所モデルと呼ばれる、Ａ領域とＢ領域との間の境界に沿った前記局所化領域の内側のバンドの動きを表す１つのモデルとにより与えられる動き推定を比較することにより得られる、請求項１に記載の方法。
【請求項８】
１つの局所的モデルのみが前記境界の両側に延びるバンドの内側で推定される、請求項１に記載の方法。
【請求項９】
前記領域の前記動きが、Ａ領域とＢ領域との間の前記境界からの距離の関数として測定値を加重しながらモデルを調整することによって計算される、請求項１に記載の方法。
【請求項１０】
前記領域の前記動きが、強力な推定方法を用いてモデルを調整することによって計算される、請求項１に記載の方法。
【請求項１１】
前記動き推定エラーが、共通媒体の各ボイントで、領域モデルから求められる動きと、局所的モデルから求められる動きとを比較することによって計算される、請求項１に記載の方法。
【請求項１２】
前記動き推定エラーが、領域モデルのパラメータと局所的モデルのパラメータとを比較することによって計算される、請求項１に記載の方法。
【請求項１３】
前記動き推定エラーが、領域モデルと局所的モデルとを結合モデリングにより比較することによって計算される、請求項１に記載の方法。
【請求項１４】
類似した動きを有する領域を融合する段階を有する、請求項１に記載の方法。
【請求項１５】
前記相対的深度が、前記境界の一方側のエラーの合計を第１の固定闘値と比較することにより、且つ前記境界の他方側のエラーの合計を第２の閾値と比較することによって得られる、請求項１に記載の方法。
【請求項１６】
前記２つの画像は時間的に連続して撮られた画像であり、点の動きが、一方の画像から他方の画像へ移行するときの前記点の移動を表す、請求項１に記載の方法。
【請求項１７】
前記２つの画像は異なる角度から撮られ、点の動きが、一方の画像から他方の画像へ移行するときの前記画像の平面におけるこの点の移動を表す、請求項１に記載の方法。
【請求項１８】
前記動き推定エラーが強力な推定技術によって計算される、請求項１に記載の方法。
【請求項１９】
前記断片化が形態学的方法に従って行われる、請求項１に記載の方法。

【発明の詳細な説明】
【０００１】
【発明が属する技術分野】
本発明は、一対の画像から１つの画像内の複数の物体の相対的深度を検出する方法に関するものである。
本発明の概要は、時間的に連続して撮られた画像であれ、異なる角度から撮られた画像であれ、異なるショットから得られる画像に見られる物体の相対的深度の評価である。
この方法は画像シーケンスの意味解析を必要とする多くの用途のシステムの一部である。特に、マルチメディアの分野において、オーディオヴィジュアル（AV）データの量の増大は新しい機能、例えば対話性や異なる種類の物体の集積化などの必要性を生み出している。新しいMPEG-4規格は情景（scene）を物体の成分として表すことができるが、情景の分析方法を明確にしていない。
【０００２】
【従来の技術】
この発明のシステムに関連した現在の技術では画像のシーケンスに現れるオクルージョン（occlusion）領域が研究されている。これらの技術については次のパラグラフでオクルージョンの一例を用いて説明する。
図１はオクルージョンが起こる典型的な状況を示している。センサ、ここでは目で表現するが、は２つの物体AおよびBを見る。すなわち、左方向に動く物体Bが右方向に動くもう１つの物体Aを覆っている。
この動き、すなわち複数の物体の相対的な移動が観察されるとき、相当数の状況で１つの物体がもう１つの物体の前を通過することが明らかになる。
【０００３】
ある物体の別の物体に対する相対的深度は、観察者の目から出てその情景の物体と交差する線に沿って観察者が有する視界に対する深度である。
この軸に沿って、複数の物体が異なる平面に存在している。
実際にここで求められているのは、深度自体を評価することではなく、その情景でどちらの物体が他の物体に対して前方にあるかを知ることである。この情報は多くの用途、特に画像の予測を行うことが求められる場合のコード化に必要である。この情報によって例えば画像の背景を再構築することができる。
【０００４】
実際に、上記の相対的深度がわかると、上記の画像の背景を規定することができ、場合によってはa)この背景を無効にしたり、b)ぼやかしたり、c)他の背景に替えたり、d)ごく少数のビットの情報に圧縮してこの情報の重要な部分を前方にある部分に集中させることができる。
従って、物体間の相対的深度の検出の目的は観察された情景のより良い理解を提供することにある。
物体の動き方が観察され、且つこの物体が、他の動かないまたは特有の動きをする物体の後方にあることが確認される場合、意味知識を全く導入せずに、すなわち情景中にある物体の種類を認識できない状態で情景の構成を規定することができる。
【０００５】
同じ動きを有するので、これがカラーとテクスチャが均一である一組の成分、すなわち、互いに関連した複数の均一な領域であることが単純にわかる。この複数の均一な領域はそれらに特有の動きを有するエンティティに組み立てられる。
異なるエンティティの間の動き境界を観察することによって、エンティティE1はエンティティE2の一部の前にあり、エンティティE2自体はエンティティE3の前にあると推論することができる。
これらの情報要素を画像を通して時間的に連続して集積化することによって、相対的な深度のある構造を得ることができる。
【０００６】
従って、上記領域の相対的深度を研究して上記領域の動き境界を検出する必要がある。従来技術において、これらの境界は動き断片によって得られる。
画像断片とは、１組のピクセルのモザイク画像への変換からなる周知な方法であり、このモザイク画像ではモザイクに関連する各粒子がテクスチャのカラー（すなわち輝度）の均一性または動きの均一性または複数の基準の組合せを有していることを想起されよう。動き断片の場合、各モザイクは動きの均一性を有している。
【０００７】
ここで、動き境界の変移を研究するために、入力情報によって情景の３つの画像を考慮に入れる必要がある。
実際に、従来の方法では、結論に達するために、動き境界を検出し、これらの境界の動きと、隣接する領域の動きとを比較する。ここで、この動きを推定するために、２つの連続した画像を分析する必要があり、上記境界の動きを推定するために、上記境界の２つの連続した位置が必要であり、３つの画像が分析される。
以下、図2(a)、2(b)、2(c)を参照してこの方法を詳細に説明する。
【０００８】
１つのシーケンスの２つの連続した画像I1、I2を分析することによって、上記情景の動きを推定することができる。この動きは上記情景を物体A, Bに断片化するのに使用でき、この物体A, Bの動きは独立している。図2(a)は２つの物体A, Bの動き並びに上記断片を示している。
この動き断片は上記２つの物体の相対的深度を演繹するための十分な情報を含んでいない。画像のもう１つの対I2とI3の動きを分析することで欠けている情報が与えられる。すなわち、２つの断片によって上記２つの物体間の輪郭（または境界）の動きの推定が可能になる。
【０００９】
上記輪郭（境界）の動きと、上記２つの側のテクスチャ（輝度）の動きとを比較することによって、相対的深度を演繹することができる。すなわち、上記輪郭と同じ動きを有する領域は遮蔽する物体に対応する。この例において、上記動きの２つの連続した断片（図2(a)と図2(b)）は輪郭が左方向に動くこと（図2(c)）を示している。この動きは右側領域の動きと同一であるので、右へ向かう物体は左へ向かう物体を覆っていると結論される。
【００１０】
文献には、この事実を利用した別の方法が記載されている。トンプソン(Thompson)、マッチ(Mutch)およびベルジン(Berzins)（下記のD14参照）は特徴的な点のペアリングを用いて２つの画像間の動きを説明する速度のまばらな場を得る。次いで彼らはこの速度の場における不連続性を検出する。速度の２つの場（２対の画像から計算された）を分析することによって相対的深度を演繹することができる。
第2の方法はダレル(Darrell)およびフリート（Fleet）（下記のD12参照）によって記載されている。この方法はもっぱら動き情報を用いて、上記情景をコヒーレントな動きを有する面に断片化するものである。これらの面の進行によって上記輪郭の動きを決定することができ、今度は相対的深度の推定が可能になる。
【００１１】
画像処理に通常用いられる記載された技術に関して以下に挙げる文献D1〜D18によって構成される従来技術を参照することもできる。
Dl:  S. Beucher. Segmentation dImages et Morphologie Mathematique (Image Segmentation and Mathematical Morphology), Phd thesis, E.N.S. des Mines de Paris, 1990.
D2:   J. Barron, D. Fleet and S. Beauchemin. Performance of Optical Flow Techniques. International Journal of Computer Vision, 12(1): 43-77, 1994.
D3:  K. M. Mutch and W. B. Thompson. Analysis of Accretion and Deletion at Boundaries in Dynamic Scenes. IEEE Transactions on Pattern Analysis and Machine Intelligence, 7: 133-138, 1985.
D4: E. Decenciere Ferrandiere, C. de Fouquet and F. Meyer. Applications of Kringing to Image Sequence Coding. Accepted for publication in Signal Processing: Image Communication, 1997.
D5:   F. Hampel, E. Ronchetti, P. Rousseeuw, and W. Stahel. Robust Statistics  The Approach Based on Influence Function. Wiley, 1986.
【００１２】
D6:  P. Huber. Robust Statistics. John Wiley, New York, 1981.
D7:  Peter Meer, Doron Mintz, Dong Yoon Kim, and Azriel Rosenfeld. Robust Regression Methods for Computer Vision. A Review. International Journal of Computer Vision, 6(1): 59-70, April 1991.
D8:  Nikhil R. Pal and Sankar K. Pal. A Review on Image Segmentation Techniques. Pattern Recognition, 26(9): 1277-1294, 1993.
D9:  J. Y. A. Wang and E. H. Adelson. Representing Moving Images with Layers. The IEEE Transactions on Image Processing Special Issue: Image Sequence Compression, 3(5): 625-638, September 1994.
D1O:  G. Wolberg. Digital Image Warping. IEEE Computer Press, 1990.
【００１３】
D11:    J. Cichosz and F. Meyer. Morphological Multiscale Image Segmentation. In Workshop on Image Analysis for Multimedia Interactive Services (WIAMIS97), pages 161-166, Louvain-la-Neuve (Belgium), June 1997.
D12:  Trevor Darrel and David Fleet. Second-Order Method for Occlusion Relationships in Motion Layers. Technical Report 314, MIT Media Lab Vismod, 1995.
D13:   B. K. P. Horn and B. G. Schunck. Determining Optical Flow. Artificial Intelligence, 17: 185-203, 1981.
D14:  W. B. Thompson, K. M. Mutch, and V. A. Berzins. Dynamic Occlusion Analysis in Optical Flow Fields. IEEE Transactions on Pattern Analysis and Machine Intelligence, 7: 374-383, 1985.
【００１４】
D15:  Zhengyou Zhang. Parameter Estimation Techniques: A Tutorial with Application to Conic Fitting. Technical Report 2676, Institut National de Recherche en Informatique et en Automatique, Sophia-Antipolis Cedex, France, October 1995.
D16:  P. Chauvet. Aide Memoire de geostatique lineaire. Ecole des Mines de Paris, 1993.
D17:  Michael J. Black and Allan D. Jepson. Estimating Optical Flow in Segmented Images Using Variable-Order Parametric Models With Local Deformations. IEEE Trans. Pattern Analysis and Machine Intelligence, 18(10): 972-986, October 1996.
D18:   L. Bergen and F. Meyer. Segmentation du mouvement des objets dans une scene (Segmentation of the Motion of the Objects in a Scene). In Coresa 97,1997.
【００１５】
【発明が解決しようとする課題】
上記パラグラフに記載の技術（文献D12、D14）の欠点は以下の通りである：
−これらの方法は動きに完全に基づいており、この動きは動き境界を不正確に位置させることにつながっている。
−これらの方法は３つの画像（２つの動き断片）を使用して上記輪郭の動きを決定しており、境界の位置の精度の欠如の問題が上記輪郭の動きの推定、従って上記深度の検出にまで及んでいる。しかも、これにより分析がさらに遅れる。
−さらに、これらの方法の用途の分野は上記動きが比較的大きい場合に制限される。
【００１６】
本発明の目的は、従来技術の欠点のない方法によって一対の画像から複数の物体の間の相対的深度を検出することにある。
【００１７】
【課題を解決するための手段】
これを目的として、本発明の対象は同じ情景の異なるショットからとられた一対の画像を用いて、上記動き境界を極めて正確に検出でき、且つ各境界ごとに各隣接する領域の相対的深度を特定できる方法にある。
【００１８】
以下、「点の動き」とは一方の画像から他方の画像へ移行する際のこの点の移動を意味するものとし、これらの画像は、例えば時間的に連続したショットであれ、同時ではあるが異なる角度のショットであれ、１つの情景の異なるショットから得られたものである。
従って、本発明の目的は特に、１つの情景の異なるショットから得られた２つの画像で互いに相対的に動く２つの隣接する領域の相対的深度を検出する方法において、
−前記画像の一方を基準画像として、空間的に断片化する段階と、
−前記２つの画像の間の動きを局所的に推定し、その結果として生じるベクトル場は局所的動きとする段階と、
−動き境界に沿った動き推定エラーを決定する段階と、
−動き境界に沿った動き推定エラーの位置を分析し、前記境界に沿った動き推定エラーがこの境界のBの側に主に局在するときA領域はB領域の前方にあるという結論を出す段階と
を主に含む方法である。
【００１９】
【発明の実施の形態】
他の特徴によれば、前記方法の最初の２つの段階の後に、前記領域を融合する段階を行って均一な動きの領域を得る。
上記空間的断片化は形態学的方法、特に境界変換（watershed transform; ligne de partage des eaux）に基づいた方法に従って行うのが好ましい。本発明の他の特徴は動き境界に沿って動き推定エラーを決定する各種実施例に関するものである。
本発明の他の特徴および利点は添付図面を参照した非限定的な例の以下の説明からより良く理解できよう。
【００２０】
【実施例】
本発明の方法は、以下に説明する別の段階を実施するためにマイクロコンピュータにロードされたプログラムによって、またはこの目的のために設計された電子デバイスによって実施することができる。
マイクロコンピュータ（図示せず）は1台または2台のカメラに接続することができ、このカメラは情景の２つの異なるショットU、Wを得ることができ、このショットは次の処理シーケンスで入力データとして使用され、デジタル化の後、ピクセルのマトリックスという形をとる。
その代わりに、処理ユニットと予め記録された画像とを備えたAV機器を使用することも当然可能である。
【００２１】
図３〜図８を参照して本発明のその他についてさらに詳細に説明する。
図３は処理操作のシーケンスを示している。
このシーケンスは2種の並列処理のセットを有し、一方のセットIでは１つの画像、例えば画像U（以下、基準画像とする）の空間的断片を得ることができ、他方のセットIIでは各ピクセルにおける動き推定を得ることができる。これは２つの画像U, Wの間の動きの局所的推定であり、その結果得られるベクトル場は局所的動きとよばれる(図６)。
【００２２】
これら処理操作の出力では、空間的断片から画像の区画Pが得られ、動き推定から各画像ポイントすなわち画素（ピクセル）の動きを説明する動きベクトル場Vが得られる。
空間的断片の各領域では、動きモデルが調整され、この領域の全ての動きをできるだけ詳細に説明している。これについてはあとで詳しく説明する。
次いで、空間的断片によって得られ、似た動きを有するこれらの領域を融合する段階が行われる(段階IIbis)。これによって、動き境界を出現させることができる。
【００２３】
上記の局所的動き推定は上記の動き境界に沿った間違った推定を生成するので、次いで推定エラーを決定することが求められ、覆われる領域の側を位置決めし、従って、識別する。なぜなら、このエラーは覆われた領域の側にしか現れないためである(段階III)。
この覆われた領域を識別することによって、互いに対して動いている２つの領域の相対的深度が検出される（段階IV）。
決定する（または上記エラーを計算する）ためには基準を必要とする。第1の選択された基準は「補償忠実性（compensation fidelity）」基準とよぶことができ、第２の選択された基準は「動き不一致（motion disparity）」基準とよぶことができる。
【００２４】
「補償忠実性」基準に関して、（テクスチャの）第２の画像の動きの補償はベクトル場Vに沿って行われ、上記基準画像の推定値が得られ、この補償エラーの分布が直接検討される。従って、下記操作モード（a, b, c）と同様に、上記エラーが最大になるバンド（BFgまたはBFd）を見つけることができる。
「動き不一致」基準に関して、動きモデルは動きベクトル場Vを基に、区画Pの各領域内で調整される。
【００２５】
各動き境界に沿って、観察バンドBFが構成される（または別の変形例では２つのバンドBFgとBFdが上記境界のそれぞれの側に構成される）。
a)  領域(regional)モデルは上記の局所的動きと比較されるか、または
b)  動きモデルはバンドBFの場Vから推定され、この動きは隣接する領域の動きと比較される。最も似た動きをする隣接領域は他方の前方に見られる領域であるか、または
c)  動きモデルは２つのバンドBFgとBFdの場Vを基に推定される。バンドBFxにおける推定と、その領域における全体の推定とが最も一致している領域Xは、他方の前方にある領域である。
【００２６】
ここで、図３〜図５を参照して上記方法の各段階を詳細に説明する。
I.  空間的断片化により、グレイレベルに関してカラーとテクスチャが均一である領域によって画像の構成を、動きを全く考慮せずに、規定することができる。この目的のために、動き断片の場合のように２つの入力画像を用いる必要はない。
ノイズの問題を克服して十分な情報を得るために、ウインドウの内側の動きを考慮する。すなわち、ウインドウの中心に割り当てられた動きベクトルはこの点での動きではなくウインドウの内側の支配的な動きを表している。これによって、特に動き境界に沿って不正確さが大きくなる。
【００２７】
従来技術の方法による動きの断片化によって得られる境界は、輝度またはカラーの断片化によって得られる境界に比べて精密でない。これは、速度の場を全てのポイントで推定しなければならない一方、グレイレベルまたはカラーは予測なしに各ポイントで直接見てよいという事実による。
空間的断片化法は例えばテクスチャが均一である領域並びに領域の境界を１つの画像Uから極めて詳細に得るのに使用することができる。
用いる方法は形態学的断片化法、特に画像勾配（image gradient）と境界変換（watershed transform; ligne de partage des eaux）を利用した方法にするのが好ましい。
【００２８】
II.  動き推定は第2の画像Wおよび第1の画像Uによって得られる。
この方法は各ピクセルの動きを説明する動きベクトル場Vを得るのに用いられる。用いる方法はこの動き推定を得るのにそれ自体標準的な微分法にするが好ましい。２つの画像は予めフィルターをかけて微分し、ＳＮ比を改善する。
同輝度の輪郭に対して垂直な速度成分しか得られないので、各ピクセルで観察される動きの情報は不完全であるから、各ピクセルのこの不完全な情報が各領域で動きモデルの調整によって集積化される。多項式の形式での表現を選択することができる。ノードの形式（nodal form）での表現を選択することもできる。ノードの数の選択は情景の複雑性に依存する。
【００２９】
固定ノードの数は動きの複雑さに応じて選択される。モデリングは、各ピクセルで観察される動きのできるだけよいレンダリングを内挿によって出力する動きを各ノードに割り当てることで行われる。用いる内挿の方法はクリギング(kriging)（D4,D16）とよばれる標準的な方法である。ある領域の各点での速度は固定ノードの速度の線型関数である。１つのノードが単純な並進運動を生成し、３つのノードが精巧なモデルを生成し、多数のノードがより複雑なモデルを生成するということが知られている。
【００３０】
領域の融合（段階IIbis）は繰返しによって行われる。各繰返しでは隣接する領域の全ての対が融合の対象である。パラメータの空間での動きの比較を試みる代わりに、パラメータの新しい一組を各対ごとに計算してモデリングの品質を評価する。このモデリングは最初の強力な推定（robust estimation）からくる重みを加重した、過度に決定された線形法の分解能によって行われる。
【００３１】
領域の融合の他の段階は下記の通り：
1)  この基準は領域の全ての対に関するモデリングの品質に基づいて、動きの相似性の一組の基準を取る段階（例えば超えない最大値）、
2)  最も似た動きを有する領域の対を融合する段階、
3)  融合の影響を受けた全ての領域（これらは融合した領域の１つを含んでいた領域の全ての対である）に関する相似性の基準を更新する段階、
4)  上記各段階を段階２から繰返す段階。
【００３２】
相似性の基準が予め規定された値より下がるとき融合段階を停止する。
この方法の次の段階IIIは次いで、既に述べたように、動き推定エラーを決定（または評価）することにある。
以下、この動き推定エラーを決定するために複数の操作モードを提案する。これらそれぞれのモードは図４および図５に示されている。
第1の操作モードは動き補償の使用に依存し、他の２つのモードは動き不一致に依存している。
【００３３】
第1の動作モードIII.１は「補償忠実性」基準を実施する。このため、動き推定エラーは基準画像U、すなわち空間的断片化によって得られた画像と、動き補償によって得られた画像とを比較することによって得られ、第2の画像から上記基準画像の推定を再構築する。動き補償の方法は広く知られた方法である。例えば参考文献D10を参照することができる。第1の変形例によれば、この動きは図４の局所的動き（III-1.1(a)）である。
【００３４】
別の変形例によれば、この動きは局所的モデルとよばれるモデルから求められ、この局所的モデルはAとBとの間の境界に沿った局所化された領域内のバンドで調整される（III.1.2.bおよびc）。bにおいては、２つのバンドBFg、BFdが考慮され、cにおいては単一のバンドBFが考慮される。
上記境界の両側に延びるバンド内で推定された１つの局所的モデルのみを取ることができる（III-1.2c）。
用いるモデルは例えば多項式モデルにすることができる。用いるモデルはノードモデル（nodal model）、例えば刊行物D4に記載のモデル等にすることもできる。
【００３５】
第2の操作モードIII.2では、動き不一致の基準を実施し、動き推定エラーは領域(regional)モデルとよばれるモデルから求められる、領域の動きを表す動きと、局所的動きとを比較することによって計算される（図４参照）。
エラーの計算は強力な推定方法によって行うのが好ましい。
強力な推定方法（M-推定値）の使用は周知であり、このような方法は文献、例えばD5,D6およびD7に記載されている。
【００３６】
しかし、動きモデルのパラメータの推定に適用されるこの強力な推定方法は、異常な動きベクトルの検出およびこのベクトルの推定への影響を排除または減少することを可能にすることは想起されよう。すなわち、観察された速度ベクトルの大部分に対応するパラメータが得られる。この強力な推定方法はまた、上記モデルの媒体の各ポイントでモデリングエラーを発生する。
【００３７】
第3の動作モードIII.3は、動き不一致基準を実施し：
−上記領域の動きを表す領域モデルとよばれるモデルと、
−AとBとの間の境界に沿った局所化された領域内のバンドのモデルを表す局所的モデルとよばれるモデルと
の２つの異なるモデルによって与えられた動き推定を比較することによって各領域における動き推定エラーを決定することにある。
【００３８】
この領域モデルは例えば多項式またはノードモデルにすることができる。このモデルの例は例えば刊行物D17および刊行物D4にそれぞれ記載されている。
局所的モデルは例えば多項式またはノードモデルにすることができる。同様に、これらのモデルも例えば刊行物D17および刊行物D4にそれぞれ開示されたモデルのようにすることができる。
1変形例によれば、単一の局所的モデルは上記境界の両側に延びるバンド内で推定される。
【００３９】
上記の最後の２つの操作モードによれば、上記領域の動きはAとBとの間の境界からの距離の関数として測定値を加重しながらモデルを調整することによって計算することができる（III.2.1.1またはIII.3.1.1）。
１つの可能性は境界に沿ったバンドからくる測定値を除外することにある（これは上記のモデリング中に上記測定値に重みゼロを割り当てることに相当する）。
【００４０】
上記の２つの動作モードに関する別の変形例によれば、上記領域の動きは強力な推定方法を用いるモデルの調整によって計算することができる（III.2.2.1またはIII.3.1.2）。
強力な推定（robust estimation）の実施は当業者の知見に含まれ、これらの方法は周知である。このような方法を記載している文献D5、D6およびD7を参照することもできる。
２つのモデルを用いる動作モードで第1の変形例によると、上記の動き推定エラーは、領域モデルからくる動きと局所的モデルからくる動きとを共通媒体の各ポイントで比較することによって計算される（III.2.2.1またはII.3.2.1.A）。
【００４１】
この動き推定エラーは領域モデルのパラメータと局所的モデルのパラメータとを比較することによって計算することもできる（III.3.2.1.B）。パラメータの空間における2つのモデルの比較はそれ自体周知なものであり、当業者はこの変形例の範囲内で容易に実施することができる。このような比較を記載している文献D9を参照することもできる。
別の変形例によれば、上記の動き推定エラーは領域モデルと局所的モデルとを結合モデリングにより比較することによって計算される（III.2.1.C）。このようなモデリングはそれ自体周知なものである。上述の論文D18を参照することができる。
【００４２】
覆われた領域の側のエラーは段階IVにおいて相対的深度の検出を可能にする。
このオクルージョンにより生じる異常な測定値は動き境界の周囲に位置している。
複数の動き境界のそれぞれの側のバンドにおける全てのエラーの合計をとる。明確な深度の順序を得るために２つの閾値ｔbottomおよびｔtopをとる。明確な順序は一方の側（A）のエラーの合計がｔbottom未満で且つ他方の側（B）のエラーの合計がｔtopを越えるときに存在する。他の全ての場合において、深度について言えることは何もない。低い方の閾値は覆う側の一定のエラーを許容し、高い方の閾値は覆われた領域を考慮するのに必要な最小のエラーを示す。
【００４３】
この形態において、上記の検出は最も単純な場合にしか効果がない。例えば領域の輪郭に沿って、動きのこの輪郭に対して垂直な成分がゼロでない部分がごく小さい場合、閾値は明確な順序が全く存在していないことを示す。これは、測定値が高い方の閾値を越えていないことによる。
従って、上記バンドを複数の区画またはサブバンドに分割するようになっている。この場合、投票メカニズム（voting mechanism）を適用する。すなわち、深度の順序を明らかに示す対のみがこの深度の検出に寄与する。
各サブバンドごとに得られた値の合計と、固定閾値とを比較すると、深度の順序がより強力に求められる。なぜなら、上記閾値の基準に合うサブバンドのみが上記深度の決定に関与するからである。
【００４４】
既に述べたように、局所的動きの推定はウインドウ内の動きを考慮に入れる。加えて、高い空間的勾配によって特徴付けられる動き境界をウインドウが含む場合、見掛けの動きは境界の動きによって支配される。ここで、境界のそれぞれの側の点をとると、覆う領域に属する点は上記境界と同じ動きを受ける。従って、この点は正確に推定されるが、覆われる領域のポイントの推定は不十分である。これは、高い空間的勾配を有する動き境界の両側で上記の動き推定エラーの分布において非対称性を生じるものである。
本発明の方法はこの非対称性を利用して、互いに対して動いている２つの領域の相対的深度を検出するものである。
【００４５】
隣接する領域の間の輝度またはクロミナンスのコントラストが大きければ大きいほど、この効果も明らかになる。
さらに、この効果は上記境界に沿って厳密に局在する。従ってこの境界を精密に検出するのが重要であり、これによって空間的断片化が可能になる。
最後に、本発明方法は上記の従来方法と対照的に、入力で２つの画像しか必要としない。考慮される動き境界は空間的境界のセットのサブセットである。
【図面の簡単な説明】
【図１】オクルージョン現象を概念的に示した図である。
【図２】  (a)〜(c)は従来技術の画像処理段階を概念的に示した図である。
【図３】本発明方法の画像処理段階を概念的に示したブロック図である。
【図４】本発明方法の画像処理段階を概念的に示したブロック図である。
【図５】本発明方法の画像処理段階を概念的に示したブロック図である。
【図６】本発明の別の処理段階で得られる画像を概念的に示した図である。
【図７】動き境界に沿って動き推定エラーを評価するための別の変形例を示した図である。
【図８】動き境界に沿って動き推定エラーを評価するための別の変形例を示した図である。
【図１】
0004880807.tif 000002
【図２】
0004880807.tif 000003
【図３】
0004880807.tif 000004
【図４】
0004880807.tif 000005
【図５】
0004880807.tif 000006
【図６】
0004880807.tif 000007
【図７】
0004880807.tif 000008
【図８】
0004880807.tif 000009