"ステレオ画像においてオクルージョンをハンドリングするための方法であって、前記ステレオ画像はオクルードされたピクセル及び可視ピクセルを含み、前記ステレオ画像ごとに、前記オクルードされたピクセルについて、初期サポート関数と、オクルージョンマップと、前記ステレオ画像内の前記オクルードされたピクセルの近傍の前記可視ピクセルの視差とを使用して、初期視差値及び前記期視差値のサポートを求めるステップと、前記オクルードされたピクセルについて、反復的なサポート及び決定プロセスにおいて、前記初期視差値と、最終サポート関数と、正規化関数とを使用して、最終視差値及び前記最終視差値のサポートを求めるステップとを含む、ステレオ画像においてオクルージョンをハンドリングするための方法。前記初期サポート関数は、近傍可視ピクセルの視差が前記ステレオ画像内の前記オクルードされたピクセルの初期視差候補のセットに等しい尤度を示す確率の重み付けされた和である請求項1記載の方法。対応する重みを用いて前記重み付けされた和は、前記オクルードされたピクセルと、前記近傍可視ピクセルとの間の幾何学的距離及び色距離のセットに基づく請求項2記載の方法。前記重みはガウス距離関数によって求められ、ここで、mは前記オクルードされたピクセルのインデックスであり、nは前記近傍可視ピクセルのインデックスであり、D,はユークリッド距離を表し、Iは3次元色ベクトルであり、σ2Sは前記幾何学的距離の重み付け定数であり、σ2Iは前記色距離の重み付け定数である請求項3記載の方法。前記初期サポート関数は、であり、wm,nは前記オクルードされたピクセルm及び前記可視ピクセルnに対応する重みであり、fd,dnは、dがdnに等しい場合に1に等しく、そうでない場合に0に等しいバイナリ関数であり、ここでdは前記初期視差候補であり、dnは近傍Nmにおける前記可視ピクセルnの前記視差であり、onは、前記ピクセルnが可視である場合に1に等しく、そうでない場合0に等しいバイナリ関数である請求項2記載の方法。前記初期視差値dm及び前記初期視差値のサポートSmは、以下のように求められ、ここで、関数argmaxdは、前記初期視差候補のセット間の最大値を返す請求項1記載の方法。前記最終サポート関数は、近傍のオクルードされたピクセルの前記初期視差値が前記ステレオ画像内の前記オクルードされたピクセルの最終視差候補のセットに等しい尤度を示す確率の、対応する重みを用いて重み付けされた和である請求項1記載の方法。前記重みは、現在のオクルードされたピクセルと、前記近傍のオクルードされたピクセルとの間の幾何学的距離及び色距離のセットに基づく請求項7記載の方法。前記重みは、ガウス距離関数によって求められ、ここで、mは前記現在のオクルードされたピクセルのインデックスであり、nは前記近傍のオクルードされたピクセルのインデックスであり、D,はユークリッド距離であり、Iは3次元色ベクトルであり、σ2Sは前記幾何学的距離の重み付け定数であり、σ2Iは前記色距離の重み付け定数である請求項7記載の方法。前記最終サポート関数は、であり、ここで、Stnはt番目の反復における前記最終サポート関数を表し、S0nはSnを使用して初期化され、正規化されていない中間サポート関数はである請求項7記載の方法。前記正規化関数はである請求項1記載の方法。前記最終視差値dt1m及び前記最終視差値のサポートSt1mは反復的に求められ、t1回の反復後、として求められ、ここで、mは前記オクルードされたピクセルのインデックスである請求項1記載の方法。反復回数は、予め定められている請求項12記載の方法。反復回数は、現在の反復の前記最終視差値と、前回の反復の前記最終視差値とを比較することによって求められる請求項12記載の方法。反復回数は、前記サポートの値に従って求められる請求項12記載の方法。前記方法は、ガウス-ザイデル法を使用して高速化される請求項1記載の方法。前記方法は、異なる解像度の画像の階層に適用される請求項1記載の方法。近傍ピクセルのセットNmを因果部Ncmと非因果部Nnmとに分割するステップと、前記最終サポート関数を、として表すステップとをさらに含む請求項17記載の方法。本発明の実施の形態は、サポート及び決定プロセスを使用してオクルージョンをハンドリングするための新規の方法を提供する。本方法は、特定の視差値を有する尤度を表すサポート関数を使用して、オクルードされたピクセルに視差値を割り当てる。複雑度を低減すると共に、オクルードされたピクセル間のサポート情報を効率的に伝播するための高速化技法も説明される。従来技術による方式と比較して、本発明において説明される方法は、その複雑度が視差探索範囲から独立しているという利点を有する。システム概観左視差マップ及び右視差マップ、たとえば図1A及び図1Bに示すマップから、左オクルージョンマップ及び右オクルージョンマップが求められる。これらの図では、白い領域は可視ピクセルを示し、黒い領域はオクルードされたピクセルを示している。オクルージョンマップは、従来の照合検査法crosscheckingmethodを使用して求めることができる。本発明の実施の形態は、視差値をオクルードされたピクセルに割り当てる。オクルージョン検出は、本発明によって特に扱われず、オクルージョン検出の目的のために任意の従来の方法を使用することができる。本方法は、従来技術において既知のメモリ及び入力/出力インターフェースに接続されたプロセッサ200において実行することができる。ステレオ画像内の数百万ピクセルの処理を知的にmentally実行することができないことも理解される。たとえば、大域最適化を使用して、又はオクルードされたピクセルが背景内の可視ピクセルと類似した視差値を有する可能性が高いという幾何学的制約を適用することによって、オクルードされたピクセルに視差値を割り当てるための方法が既知である。しかしながら、従来技術による方法は常に正確であるとは限らない。図2に示すように、オクルージョンハンドリングプロセスは、2つのステップ、すなわち、初期化210及び反復的なサポート及び決定プロセス220に分割することができる。プロセス220は、オクルードされたピクセルのサポートを決定すること221及び決定ステップ222を含む。方法への入力201は、可視ピクセルの視差値、並びに左ステレオ画像及び右ステレオ画像のオクルージョンマップである。出力202は、オクルードされたピクセルの最終視差値及びオクルードされたサポートである。初期化210の間、視差、及びオクルードされたピクセルの対応するサポートが、近傍可視ピクセルの視差を使用して求められ、決定215が生成される。このようにして、可視ピクセル情報がオクルードされた領域に伝播される。反復的なサポート及び決定プロセスは、最終視差、及びオクルードされたピクセルの対応するサポートを求める。反復的なプロセスは初期プロセスに幾分類似しているが、プロセス220がオクルードされたピクセルの該プロセス独自のサポートを使用し、オクルードされたピクセルごとにサポート値の正規化を実行するという点で異なる。オクルージョンハンドリングステップは、左視差マップ及び右視差マップに関して同じであるので、ステレオ画像のうちの一方についてのみ本方法を説明する。初期サポート関数本発明において説明される方法によれば、確率的投票フレームワークにおいてオクルージョンをハンドリングするためのサポート関数が規定される。初期サポート関数は、オクルードされたピクセルが、初期視差候補のセット間で、特定の視差値を有する尤度を表す。初期サポート関数Sm,dは以下のように規定される。ここで、pm,nは、ピクセルm及びnが同一の視差値を有する確率を表し、dは初期視差候補であり、dnは可視ピクセルnの視差である。d=dnの場合、fd、dn=1であり、そうでない場合d、dn=0である。可視である場合、on=1であり、そうでない場合、on=0である。初期サポート関数を求めるとき、N個の近傍ピクセルのセットが使用され、onは可視性関数visibilityfunctionである。初期サポート関数は、オクルードされたピクセルについてのみ、すなわち式1においてom=0のときに求められることに留意されたい。図3は、可視ピクセルの視差及びそれらの確率値を使用して、ピクセルmにおけるサポートを求めるプロセスを概略的に示している。各オクルードされたピクセル301について、近傍可視ピクセル302が視差候補に投票する。これは、オクルードされたピクセル及び近傍可視ピクセルが同じ視差値を有する確率に比例する、オクルードされたピクセルmにおけるそれらの近傍可視ピクセル302の視差値dnに対応する。換言すれば、オクルードされたピクセルは、高確率の近傍可視ピクセルがより多いとき、より大きなサポートを有する。初期化可視ピクセルとオクルードされたピクセルとの間の確率関数pm,nを規定するために、深度不連続性が、色不連続性に対応している可能性が高い、すなわち、類似の色を有する近傍ピクセルは通例、類似の視差値を有すると仮定する。この仮定は、ステレオマッチング及び動き推定のような対応問題において広く使用されてきた。これに従って、確率関数に比例する重み関数wを規定する。ここで、∝は比例記号であり、wm,nはガウス距離関数であり、幾何学的距離及び色距離の双方を含み、D,はユークリッド距離を表し、Iは本発明におけるRGB成分を有する3次元色ベクトルであるが、他の色空間も使用することができ、σ2Sは幾何学的距離の重み付け定数であり、σ2Iは色距離の重み付け定数である。式2を使用して、初期サポート関数SINIを以下のように規定することができる。上述したように、初期サポート関数SINIは、可視ピクセルの視差を使用して求められる。確率関数に比例する重み付け関数wは、バイラテラルフィルタリング及び異方性拡散フィルタリングと同様に、不連続性を位置特定するのに役立つ。正確なオクルージョンハンドリングのために、可視ピクセルから十分なサポートを収集して、初期視差、及びオクルードされたピクセルごとのサポートを決定することも必要とされている。初期サポート関数SINIを使用して、初期視差及び対応するサポートを以下のように求めることができる。ここで、関数argmaxdは初期視差候補のセット間の最大値を返す。サポート関数Sは、オクルードされたピクセルについて求められた初期視差の信頼度を表す。初期サポート関数SINIは近傍可視ピクセルの視差を使用して求められるので、初期サポート関数の最大値Sは、オクルードされたピクセルmが視差dmを有する尤度を表す。式2~式4によれば、説明されたオクルージョンハンドリング方法の初期サポートによって、近傍ピクセルの視差がオクルードされたピクセルの初期視差候補のセットに等しい尤度を示す確率の重み付けされた和、すなわち対応する重みに基づいて初期視差値が決まる。ここで、重みは可視ピクセルの距離及び輝度値の類似度に基づく。オクルードされたピクセルのサポート値によって、該オクルードされたピクセルにおける初期視差の信頼度が決まる。次に、反復的なサポート及び決定プロセス220において、オクルードされたピクセル間で視差値及びサポート値を伝播することによって、最終視差値及び対応するサポート値が求められる。反復的なサポート及び決定プロセス初期サポート及び決定プロセス210において得られた視差値及びサポート値を使用して、可視ピクセルからオクルードされたピクセルへ情報を伝播する。初期化は可視ピクセルの視差にのみ依存する一方、反復的なサポート及び決定プロセスはオクルードされたピクセルからの情報を使用する。反復的なサポート及び決定プロセスは、初期プロセスに類似しているが、反復的なプロセスが、オクルードされたピクセルの該プロセス独自のサポートを使用し、各反復中に、オクルードされたピクセルのサポート値の正規化を実行するという点で異なる。オクルードされたピクセルにおける最終サポート関数及び正規化関数は以下のように求めることができる。ここで、Stnはt番目の反復における最終サポート関数を表す。Snを使用してS0nを初期化し、正規化されていない中間サポート関数はである。したがって、視差関数及び最終サポート関数は以下のように求められる。t1番目の反復における最終サポートSt1mが、重みWによって正規化される。サポート及び決定プロセスの反復中、サポート値の和を保持するために正規化プロセスが必要とされる。初期サポート及び決定プロセスにおいて求められるサポート値の総和は、バイラテラルフィルタリング及び非局所平均フィルタリングのようなエッジ保存フィルタリング法に類似の反復フィルタリングプロセスにおいて維持される。本発明の1つの実施の形態では、反復回数は予め定められている。これは、固定処理及びタイミング制約を必要とする実施態様に有用である。本発明の別の実施の形態では、反復回数は、現在の反復の最終視差値と前回の反復の最終視差値とを比較することによって求められる。最小の変化が検出されるとき、プロセスは収束している。本発明の別の実施の形態では、反復回数はサポート値に従って確定される。このようにして、オクルードされたピクセルの最終視差値において或る特定のレベルの信頼度に達する。高速化技法本方法は、ガウス-ザイデル法及び階層方式を含む多数の方法を用いて高速化することができる。ガウス-ザイデル法は、リープマン法、又は連続変位法としても知られる。本方法は、連立一次方程式を解くのに使用される既知の反復法である。階層方式は、粗いレベルから精緻なレベルに配置された異なる解像度を有する画像を使用する。画像を連続してダウンサンプリングすることによって、様々な解像度を得ることができる。ガウス-ザイデル法の場合、オクルードされたピクセルの更新されたサポート値は、反復的なサポート及び決定プロセスにおいて求められると即座に使用される。近傍ピクセルのセットNmを、因果部NCmと非因果部Nnmとに分割する。Nmのこれらの2つの部分を使用して、式5の最終サポート関数を以下のように表すことができる。別の高速化手段は、本方法を階層的に適用することである。信頼性のあるオクルージョンハンドリングを保証するために、大きな距離においてサポート情報を収集することが必要である場合があるので、階層方式は、オクルードされたピクセル間でサポート情報を効率的に伝播することができる。階層法において、各レベルにおいて、より粗いレベルにおける最終値を使用することによって、最適サポートに近い値が初期化される。第1のフェーズにおいて、最も粗いレベルにおける最終サポート関数は、式4におけるSmを使用して初期化される。また、ステレオ画像は、各階層レベルにおける重み付け関数wを求めるためにサブサンプリングされる。次に、反復的なサポート及び決定プロセス220が各レベルにおいて実行される。T回反復した後、結果としての視差関数及び最終サポート関数を使用して、より精緻なレベルにおける視差関数及び最終サポート関数を初期化する。この方式において、異なる視差値を有するオクルードされたピクセルの最終サポート関数を用いてアップサンプリングステップを実行することが不可能であるので、視差関数及び最終サポート関数のアップサンプリングステップは実行されないことに留意されたい。"