(57)【要約】      （修正有）【課題】高品位のマットをリアルタイムに取得する。【解決手段】カメラによって或るシーンから収集される画像からアルファマットを抽出する。シーン内の前景のための深度面が選択される。シーンから収集される１組の画像からトライマップが求められる。１組の画像及びトライマップからエピポーラ面画像が構成される。エピポーラ面画像は走査線を含む。エピポーラ画像内の走査線に沿って輝度の分散が測定され、分散に従ってアルファマットが抽出される。【選択図】図１
2007095073.tif 000002
【特許請求の範囲】
【請求項１】
シーンから収集される画像からアルファマットを抽出するための方法であって、
シーン内の前景のための深度面を選択するステップと、
前記シーンから収集される１組の画像からトライマップを求めるステップと、
前記１組の画像及び前記トライマップから走査線を含むエピポーラ面画像を構成するステップと、
前記エピポーラ面画像内の前記走査線に沿って輝度の分散を測定するステップと、
前記分散に従ってアルファマットを抽出するステップと
を含む、シーンから収集される画像からアルファマットを抽出するための方法。
【請求項２】
前記深度面はユーザによってインタラクティブに選択される、請求項１に記載の方法。
【請求項３】
前記深度面は自動的に選択される、請求項１に記載の方法。
【請求項４】
前記１組の画像を特定の瞬間に同時に収集することをさらに含む、請求項１に記載の方法。
【請求項５】
画像の組のシーケンスを収集するステップと、
前記求めるステップ、前記構成するステップ、前記測定するステップと、前記抽出するステップとを前記画像の組毎に実行するステップと
をさらに含む、請求項１に記載の方法。
【請求項６】
前記１組の画像はカメラのアレイによって収集される、請求項１に記載の方法。
【請求項７】
前記カメラのアレイは水平軸に沿って直線的に配列される、請求項６に記載の方法。
【請求項８】
前記カメラのアレイは水平軸及び垂直軸に沿って直線的に配列される、請求項６に記載の方法。
【請求項９】
前記カメラのアレイの起動を同期させるステップをさらに含む、請求項６に記載の方法。
【請求項１０】
前記カメラのアレイを互いに較正するステップをさらに含む、請求項６に記載の方法。
【請求項１１】
前記カメラのアレイのためのホモグラフィを求めるステップをさらに含む、請求項６に記載の方法。
【請求項１２】
前記カメラのアレイのうちの１台のカメラを基準カメラと定義するステップと、
前記基準カメラによって収集される画像のためのアルファマットを抽出するステップと
をさらに含む、請求項６に記載の方法。
【請求項１３】
前記カメラのアレイのアパーチャを比較的大きく設定して、前記１組の画像において浅い被写界深度を与えるステップをさらに含む、請求項６に記載の方法。
【請求項１４】
前記１組の画像は予め記録され、
前記方法は、
複数の深度面を選択するステップと、
前記求めるステップと、前記構成するステップと、前記測定するステップと、前記抽出するステップとを各深度面において前記画像の組毎に実行することによって、前記シーン内の種々の深度要素のためのアルファマットを個別に抽出するステップと
をさらに含む、請求項１に記載の方法。
【請求項１５】
前記トライマップ内のピクセルを背景、前景又は未知に分類するステップをさらに含む、請求項１に記載の方法。
【請求項１６】
深度範囲が前記深度面に関連付けられ、
前記方法は、
前記１組の画像を、前記深度範囲に対応するサイズを有するコンボリューションカーネルでフィルタリングするステップをさらに含む、請求項１に記載の方法。
【請求項１７】
前記１組の画像の全てからの同一の走査線が前記エピポーラ面画像において重ねられ、前記シーン内の３Ｄ点が特定の走査線に対応し、該走査線の向きが該シーン内の該３Ｄ点の深度に対応する、請求項１に記載の方法。
【請求項１８】
前記アルファマットは、
【数１】
2007095073.tif 000014
であり、
ただし、ｖａｒ（Ｉ）は特定の画像内の全てのピクセルの前記輝度の分散であり、ｖａｒ（Ｂ）は前記特定の画像内の背景ピクセルの前記輝度の分散である、請求項１に記載の方法。
【請求項１９】
前記カメラの投影中心は同一平面上にある、請求項６に記載の方法。
【請求項２０】
シーンから収集される画像からアルファマットを抽出するためのシステムであって、
シーン内の前景のための深度面を選択するための手段と、
前記シーンの１組の画像を収集するように構成されるカメラのアレイと、
前記シーンから収集される１組の画像からトライマップを求めるための手段と、
前記１組の画像及び前記トライマップからエピポーラ面画像を構成するための手段であって、該エピポーラ面画像は走査線を含む、構成するための手段と、
前記エピポーラ面画像内の前記走査線に沿って輝度の分散を測定するための手段と、
前記分散に従ってアルファマットを抽出するための手段と
を備える、シーンから収集される画像からアルファマットを抽出するためのシステム。
【請求項２１】
前記カメラのアレイによって画像の組のシーケンスが収集され、該各組内の前記画像は時間的に同期され、前記アルファマットは前記シーケンス内の画像の組毎に抽出される、請求項２０に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的には、カメラによって収集される画像を処理することに関し、より詳細には、カメラのアレイによって収集される映像からマットを抽出することに関する。
【背景技術】
【０００２】
画像編集及び映像編集、３Ｄ写真撮影並びに映画制作では、マッティング及び合成が頻繁に用いられる。マッティングは、画像内のピクセル毎に色Ｆ及び不透明度αを推定することによって、入力画像から前景領域を分離する。合成は、マットを用いて、抽出された前景を新しい背景と混合して、新しいシーンを表す出力画像を生成する。不透明度αは、部分的な空間カバレージ又は部分的な時間カバレージに起因する前景領域の「カバレージ」、すなわちモーションブラーを測定する。全ての不透明度値αの集合はアルファマット、アルファチャネル、又は単に「マット」と呼ばれる。
【０００３】
マッティング問題は、以下のように定式化することができる。或るシーン内の不透明な黒色の背景に対する前景の画像をαＦとする。前景のない背景の画像をＢとする。アルファ画像又はマットをαとする。ただし、その画像内の各ピクセルは、前景による、そのピクセルの部分的なカバレージを表す。画像αは基本的には、白色に「塗られ」、均等に照明され、不透明な背景に対して保持される前景の物体の画像である。前景画像及び背景画像の縮尺及び解像度は、遠近法による奥行の短縮に起因して、異なる可能性がある。
【０００４】
アルファマット、プリマルチプライアルファ、及び合成の代数学の概念が、Porter他著「Compositing digital images」（Proceedings of the 11th Annual Conference on Computer Graphics and Interactive Techniques, ACM Press, pp. 253-259, 1984）によって定式化されている。Porter他は、カメラの場合に、以下のように、背景画像Ｂの前方の画像αＦを線形補間によって表すことができることを示した。
Ｉ＝αＦ＋（１−α）Ｂ
ただし、Ｉは画像であり、αＦは不透明な背景に対する前景のプリマルチプライ画像であり、Ｂは、前景が存在しない場合の不透明な背景の画像である。
【０００５】
マッティングは、Smith他著「Blue screen matting」（Proceedings of the 23rd Annual Conference on Computer Graphics and Interactive Techniques, ACM Press, pp. 259-268）及び１９７８年７月１１日にVlahosに対して発行された米国特許第４，１００，５６９号「Comprehensive electronic compositing system」によって包括的に記述されている。
【０００６】
従来のマッティングは、既知の一定の色を有する背景を必要とし、ブルースクリーンマッティングと呼ばれる。デジタルカメラが用いられる場合には、グリーンマットが好ましい。ブルースクリーンマッティングは映画及び放送業界において広く用いられる技法である。たとえば、放送スタジオでは、天気予報を提供するためにブルーマッティングが用いられる。背景はブルースクリーンであり、前景領域は、ブルースクリーンの前方に立っているキャスターを含む。前景が抽出され、その後、天気図の上に重ね合わせられて、キャスターが実際に天気図の前方に立っているように見えるようにする。しかしながら、ブルースクリーンマッティングはコストがかかり、一時的なユーザは容易に利用することができない。製作スタジオであっても、低コストで、煩わしくない代替法を好むであろう。
【０００７】
理想的には、随意の、すなわち未知の背景を有する画像又は映像から高品質のマットを抽出することが望ましい。この過程は、自然画像マッティングとして知られている。最近になって、この分野において大きな進展があった。Ruson他著「Alpha estimation in natural images」（CVPR, vol. 1, pp. 18-25, 2000）、Hillman他著「Alpha channel estimation in high resolution images and image sequences」（Proceedings of IEEE CVPR 2001, IEEE Computer Society, vol. 1, pp. 1063-1068, 2001）、Chuang他著「A Bayesian approach to digital matting」（Proceedings of IEEE CVPR 2001, IEEE Computer Society, vol. 2, pp. 264-271, 2001）、Chuang他著「Video matting of complex scenes」（ACM Trans. on Graphics 21, 3, pp.243-248, July, 2002）、及びSun他著「Poisson matting」（ACM Trans. on Graphics, August, 2004）を参照されたい。Sun他のポアソンマッティングは、前景及び背景がゆっくり変化するものと仮定することによって、マットのためのポアソン方程式を解く。Sun他の方法は、手作業で作成されたトライマップから開始することによって、ユーザと緊密に対話する。Sun他は、マット内の誤差を補正するための「ペインティング」ツールも提供する。
【０００８】
残念なことに、これらの方法は全て、かなり人手が介入することを必要とし、画像シーケンスが長い場合、及びユーザが専門家でない場合には、実施するのがかなり難しくなる(prohibitive)。ただ１つの画像からのマッティングは、基本的に制約不足であるので、困難が生じる。
【０００９】
煩わしくない技法を用いてマッティングを実行することが望ましい。すなわち、シーンが変更される必要がないことである。また、マッティングを自動的に実行することも望ましい。さらに、「豊かな」自然画像、すなわち多数の細かく複雑な構造を有する画像のためのマッティングを提供することが望ましい。
【００１０】
大部分の自然画像マッティング方法は、前景領域及び背景領域内の色の分布を求めるために、手作業で定義されるトライマップを必要とする。トライマップは、１つの画像を背景、前景及び未知のピクセルに区分する。トライマップを用いて、これらの方法は、未知のピクセルの前景色及び背景色の見込み値を推定し、それらの色を用いて、マッティング方程式を解く。
【００１１】
ベイズのマッティング技法、及びそれらの画像シーケンスへの拡張は、数多くの応用形態において最良の結果を生成する。しかしながら、これらの方法は、キーフレームのために手作業で定義されるトライマップを必要とする。これは、長い画像シーケンスの場合に手間がかかる。ユーザが介入する必要がなく、且つ画像シーケンスが収集されるのに応じてリアルタイムに動作することができる方法を提供することが望ましい。
【００１２】
別のマッティングシステムが、Zitnick他著「High-quality video view interpolation using a layered representation」（ACM Trans. on Graphics 23, 3, pp. 600-608, 2004）によって記述される。Zitnick他は、約２メートルにわたって離隔して配置される８台のカメラの水平な列を用いて映像を収集する。Zitnick他は、複雑な領域処理を用いて、ステレオ視差から深度の相違を測定し、その後、深度の不連続部からトライマップを作成する。実際のマッティングは、Chuang他のベイズのマッティングによって求められる。Zitnick他のシステムは、リアルタイムではない。そのシステムは、深度及びアルファマットの両方を求めるために、オフライン処理を必要とする。
【００１３】
複雑な自然のシーンのためのマットを抽出できるように、シーンの３Ｄ構造を回復することなくマットを抽出することが望ましい。
【００１４】
背景減算としても知られている、差分マッティングは、背景及びトライマップ画像を与えられるときに、α及びアルファ乗算前景αＦを求める。Qian他著「Video background replacement without a blue screen」（Proceedings of ICIP, vol. 4, 143-146, 1999）を参照されたい。しかしながら、差分マッティングは、前景の境界において識別能が制限される。
【００１５】
別の方法は、マットを求めるために、バックライティングを用いる。バックライティングは、数多くのコンピュータビジョンシステムにおいて用いられる一般的なセグメンテーション方法である。バックライティングは、イメージベースレンダリングシステムにおいても用いられている。Debevec他著「A lighting reproduction approach to live action compositing」（ACM Transactions on Graphics 21, 3, pp. 547-556, 2002）を参照されたい。その方法には２つの短所がある。第一に、能動的な照明が必要とされ、第二に、物体によっては、光のグレージング角付近で反射性が高くなるものもあるので、物体境界付近において、誤った結果が生成されることがある。
【００１６】
Favaro他著「Seeing beyond occlusions (and other marvels of a finite lens aperture)」（Proc. of the IEEE Intl. Conf. on Computer Vision and Pattern Recognition, p. 579, 2003）によって、シーン再構成が記述されている。この方法は、焦点はずれの画像と、二乗和誤差の下降勾配最小化とを用いる。この方法は、粗い深度及びバイナリアルファを求める。
【００１７】
別の方法は、分数のアルファを有する重なり合う物体を回復するために、デプスフロムフォーカスシステム(depth-from-focus、焦点からの距離)を用いる。Schechner他著「Separation of transparent layers using focus」（International Journal of Computer Vision, pp. 25-39, 2000）を参照されたい。Schechner他は、レンズの背後に軸方向に電動式ＣＣＤを配置し、焦点がわずかに異なる画像を収集する。最も焦点が合っている画像を有する画像面の位置を選択することによって、深度が回復される。この方法は、静止したシーンに限定される。
【００１８】
別の方法は、同じ投影中心を共有する、被写界深度及び焦点が異なる３台のカメラによって収集される３つの映像ストリームを用いて、制約の無い動的な背景を有するシーンのためのマットを抽出する。McGuire他著「Defocus Video Matting」（ACM Transactions on Graphics 24, 3, 2003）及び２００５年３月２９日にMcGuire他によって出願された米国特許出願第１１／０９２，３７６号「System and Method for Image Matting」を参照されたい。McGuire他は、共通の投影中心を共有するが、被写界深度及び焦点面が異なる３つの映像ストリームを用いて、自然映像ストリームのためのアルファマットを求める。しかしながら、彼らの方法は、フレーム当たり数分を要する。
【発明の開示】
【発明が解決しようとする課題】
【００１９】
本発明は、自然な実世界シーンから収集される画像から高品質のマットを抽出するためのリアルタイムシステム及び方法を提供する。
【課題を解決するための手段】
【００２０】
本発明において、そのシーンの前景領域のための深度面は近似的に選択される。その深度面に基づいて、トライマップが求められる。その後、本方法は、エピポーラ面画像（ＥＰＩ）の統計値を解析することによって、高品質のアルファマットを抽出する。その方法は、ピクセル当たり一定の時間を有する。
【００２１】
そのリアルタイム方法は、能動的な照明、又はブルースクリーンのような特殊な背景を用いることなく、高品質のアルファマットを抽出することができる。
【００２２】
複数のカメラから成る直線的なアレイを用いて、シーンの同期した画像の組が収集される。そのトライマップが、選択された深度面に従って求められる。次に、ＥＰＩの統計値、具体的には、ＥＰＩ内の走査線に沿って測定された輝度分散の解析に基づいて、高品質のアルファマットが抽出される。
【００２３】
１つの利点として、本方法は、背景の深度を求めないか、又は３Ｄシーンを再構成しない。この特性は、高品質のマットを生成する。本方法は、任意の複雑な背景シーンで良好に機能する。その処理時間は、収集されるピクセルの数に比例するので、本方法は実世界シーンのリアルタイム映像に適合させることができる。
【発明の効果】
【００２４】
本発明は、自然映像マッティングのためのリアルタイムシステム及び方法を提供する。本方法は効率的であり、深度情報又は３Ｄシーンの再構成を必要とすることなく、複雑な実世界シーンのための高品質のマットを生成する。
【発明を実施するための最良の形態】
【００２５】
図１は、本発明の一実施の形態によるアルファマットを抽出するためのシステム１００を示す。同期したカメラ１１０の直線的なアレイが、シーン１０１の画像の組１１１を収集する。たとえば、各組内の全ての画像が、或る特定の瞬間に同時に収集される。それらの組は、毎秒３０組まで収集される。
【００２６】
プロセッサ１２０が本発明の一実施の形態による方法２００を実行して、アルファマット１２１を生成する。
【００２７】
１つの好ましい実施の形態では、水平軸に沿って直線的に配列される８台のカメラが用いられる。垂直軸に沿って配列されるカメラの第２の直線的なアレイを用いることもできることに留意されたい。すなわち、本方法及びシステムは、カメラの投影中心が同一平面上にある、すなわち、それらの中心が同一の仮想面上にある限り、カメラの任意の配列で良好に機能することができる。
【００２８】
より多くのカメラ又はより少ないカメラを用いることができることは理解されたい。各カメラの解像度はベイヤーパターンにおいて６４０×４８０ピクセルである。そのカメラは、外部ハードウエアトリガを有し、毎秒３０組までの同期した画像の組を収集することができる。そのカメラは、ファイアワイヤリンク１１２を介して、３ＧＨｚプロセッサに接続される。各組１１１の同期した画像は、同時にプロセッサ１２０に与えることができる。
【００２９】
よく知られている従来のコンピュータビジョン技法を用いて、カメラアレイの外部パラメータ及び内部パラメータの両方を幾何学的に較正する。本発明のカメラの投影中心は直線的に配列される。さらに、従来の技法を用いて、全てのカメラ面を調整するホモグラフィを求める。本発明の方法２００は輝度値を用いるので、測光較正は不可欠ではない。
【００３０】
アレイの中央付近にある１台のカメラが、基準カメラＲ１０９と定義される。基準カメラの画像のためのアルファマットを抽出する。基準カメラには、高品質、高鮮明度の映画用カメラを用いることができ、残りのカメラには、低品質のカメラを用いることができる。
【００３１】
図２に示されるように、本発明のマッティング方法２００は、前景深度２１１を選択するステップ２１０、トライマップ２２１を求めるステップ２２０、エピポーラ面画像（ＥＰＩ）を構成し、且つＥＰＩにおけるピクセル輝度分散２２６を測定するステップ２２５、及びＥＰＩ内の走査線に沿って分散２２６に従ってアルファマット１２１を抽出するステップ２３０の主要ステップを有する。
【００３２】
前景深度を選択するステップ
前景深度２１１及び光照射野データを得るためのアパーチャを選択２１０するための直観的な方法が記述される。この過程は、参照により本明細書に援用されるIsaksen他著「Dynamically reparameterized light fields」（SIGGRAPH 2000, pp. 297-306, 2000）によって記述される動的再パラメータ化光照射野方法に類似である。
【００３３】
本発明のシステムの場合、ユーザが、合成深度面をインタラクティブに設定することができる。本発明では、アレイ１１０内の基準カメラ１０９の場所に対するカメラ位置を設定する。深度範囲調節法を用いて、深度面を自動的に選択することができる。さらに、相対的に大きなアパーチャを用いる。この結果として、被写界深度が浅くなる。したがって、その深度面にある、シーン１０１の前景領域の部分だけが、画像の組１１１において焦点が合っている。これは前景の深度を選択する比較的な簡単な方法であることがわかった。
【００３４】
画像の組１１１が予め記録されている場合には、種々の深度においてシーン要素のためのマッティング法を実行し、種々の深度要素のためのマットを個別に抽出することができる。
【００３５】
トライマップを求めるステップ
トライマップを求めるステップ２２０は、１つの画像内の全てのピクセルを、背景、前景又は未知に分類する。本発明のマッティングステップ２３０の場合、ピクセルを背景又は未知として明確に指定することだけが必要である。上記のように、前景深度２１１は予め選択されている２１０。そのトライマップ情報は、ＥＰＩを構成するのに十分である。
【００３６】
選択された深度面２１１において、ＥＰＩ内の線に沿ってピクセル輝度の分散を測定する。これはまた、全てのカメラ面上に投影される、３Ｄ内の点の値の輝度分散の測定として見ることもできる。
【００３７】
しかしながら、深度面は前景の深度のおおよその近似値にすぎない。それゆえ、前景の所定の深度範囲を仮定する。入力画像１１１の光照射野データを予めフィルタリングし、分散を測定する前に、この深度範囲を考慮に入れる。フィルタリングは、その深度範囲に対応するサイズを有するコンボリューションカーネルで実行することができる。
【００３８】
前景は通常、カメラアレイ１１０の最も近くにある物体に関連付けられるので、本発明の場合には、物体内の自己遮蔽を除いて、遮蔽は問題ではない。
【００３９】
本発明の方法は、カメラ１１０のアレイによってシーンの線形光照射野を収集することにより開始される。図３に示されるような、特定の１組の画像から構成される１つのエピポーラ面画像（ＥＰＩ）を考えてみる。
【００４０】
ＥＰＩを得るために、或る特定の瞬間に収集される、その組の全ての画像からの同一の走査線が重ねられる。そのシーン１０１内の３Ｄ点は、このＥＰＩ内の特定の走査線に対応し、走査線の向きは、その点の深度に対応する。前景にある点は遮蔽されないので、前景にある点はＥＰＩ全体に及ぶ。背景シーン要素は前景要素又は他の背景要素によって遮蔽されることがあるので、背景シーン要素は線分に対応する。
【００４１】
前景にある点の場合、アルファ値は０〜１であり、前景値及び背景値の両方を混合したものが記録される。アルファの値は、前景及び背景の混合係数である。本発明の定式化では、アレイ１１０のカメラによって種々の方向から同じ前景点を観察するときに、背景の値が変化するものと仮定する。前景点のためのアルファ値は、異なる場所から見ても一定であるものと仮定する。
【００４２】
マッティングを定式化する際に、３つの未知数、すなわちアルファマットα、前景Ｆ及び背景Ｂがある。一般的に、本発明では、アルファの値及びアルファ乗算前景の値を求めることだけに関心がある。
【００４３】
背景の値、及び画像において観察される対応する値、すなわち少なくとも２つの対がわかっている場合には、前景の値及びアルファの値を求めることができる。これは、前景深度を求めることと同じである。
【００４４】
しかしながら、本発明の手法では、３Ｄシーン再構成から生じ得る複雑さ、時間及び誤差のために、深度計算を避ける。
【００４５】
観察された輝度と背景値との間の一致を判定する代わりに、本発明では、エピポーラ面画像内の統計値を解析する。詳細には、前景及び背景の輝度分散を測定する。その後、これらの分散に関してアルファ値を導出する。
【００４６】
アルファ値を求めたい、図３の黒い実線３０１で表されるシーン点を考えてみる。また、白い実線３０２で表される、背景に属する最も近い点、及び黒い破線３０３で表される、前景内の最も近い点も考えてみる。
【００４７】
以下を仮定する。
・黒い破線３０３に沿った値は、２つの統計的に独立した変数、すなわち前景及び背景の一定の一次結合である。
・黒い破線３０３に沿った背景変数の二次の統計値、すなわち分散は、白い実線３０２に沿った統計値と同じである。或る時点で、白い線３０２上のシーン点が黒い破線３０３と交差するので、これが成り立つ。
・白い実線３０２に沿った前景変数の二次の統計値は、黒い実線３０１に沿った統計値と同じである。これは、前景点及び背景点の視点に依存しない特性、たとえばアルベドは全く異なることがあるが、その視点に依存する統計値、たとえば反射強度レベルは同じであることを述べていることと同じである。
【００４８】
白い破線３０４で表される背景の近似的な深度がわかっている場合には、線３０１〜３０３に対応する向きを有する線に沿った統計値だけを求めることが好都合である。これは、これらの線に沿った対応する輝度分散の、より良好な近似値が得られるためである。
【００４９】
ここで、その方法を形式的に記述する。画像Ｉのための従来のマッティング方程式は以下の通りである。
【００５０】
【数１】
2007095073.tif 000003
【００５１】
ただし、αはアルファマットであり、Ｆは前景であり、Ｂは背景である。Ｉ、Ｂ及びＦは統計変数であると仮定する。したがって、これらの変数の分散は以下のように表すことができる。
【００５２】
【数２】
2007095073.tif 000004
【００５３】
Ｂ及びＦが統計的に独立しているものと仮定すると、以下の式が成り立つ。
【００５４】
【数３】
2007095073.tif 000005
【００５５】
ただし、〈Ｘ〉はＸの平均値を表す。
【００５６】
Ｂ及びＦが統計的に独立しているという仮定は、式（３）の３行目に明示される。ただし、項（１−α）（Ｂ−〈Ｂ〉）は０であると仮定される。αを求めるために、以下の二次方程式を解く。
【００５７】
【数４】
2007095073.tif 000006
【００５８】
この二次方程式に対する解は以下の通りである。
【００５９】
【数５】
2007095073.tif 000007
【００６０】
図４は、アルファマットのための幾何学的な解に対応する放物線４０１を示す。その放物線は、以下の場所において最小値４０２を有し、軸ｘ＝αｍｉｎに沿って対称である。
【００６１】
【数６】
2007095073.tif 000008
【００６２】
ｖａｒ（Ｆ）＝ｖａｒ（Ｂ）である場合には、この二次式に対して常に２つの有効な解が存在する。それゆえ、この式だけを基にして、曖昧さを解消することはできない。
【００６３】
都合の良いことに、実際には、この放物線は、図４に示されるように、右に大きくシフトされる。これは、背景分散ｖａｒ（Ｂ）が典型的には、前景分散ｖａｒ（Ｆ）よりも数桁大きいためである。
【００６４】
それゆえ、以下の２つの場合がある。
【００６５】
【数７】
2007095073.tif 000009
【００６６】
そのシーンの照明が拡散している、すなわちｖａｒ（Ｆ）＝０であると仮定すると、その式は曖昧ではなくなり、αは以下のように求められる。
【００６７】
【数８】
2007095073.tif 000010
【００６８】
上記の導出は、直観的にも解釈される。それぞれ分散ｖａｒ（Ｆ）及びｖａｒ（Ｂ）を有する２つの変数Ｆ及びＢが一次結合される。ｖａｒ（Ｆ）がｖａｒ（Ｂ）よりも小さいものと仮定する。始めに、一次結合が変数Ｆに等しく、その後、一次結合が変数Ｂまで徐々に変化する。最初に、図４に示されるように、この一次結合の分散が減少する。これは、２つの変数を一次結合することによって、或る程度の平均化が実行されるためである。
【００６９】
最終的に、その分散はｖａｒ（Ｂ）に達するまで増加する。その分散がｖａｒ（Ｆ）から最小値まで減少し、その後、増加してｖａｒ（Ｂ）まで戻るときに、同じ分散を有する２つの同程度に信憑性がある一次結合が存在する。
【００７０】
式（３）をさらに高次の統計値に一般化することによって、２つの解の曖昧さをなくすことができる。
【００７１】
【数９】
2007095073.tif 000011
ただしμｎ（Ｘ）は、以下のように表される変数Ｘのｎ次のモーメントである。
【００７２】
【数１０】
2007095073.tif 000012
【００７３】
たとえば、３次のモーメントを満たす解を取り上げる。アルファのための式が与えられるとき、以下の式を用いてアルファ乗算前景を求めることができる。
【００７４】
【数１１】
2007095073.tif 000013
【００７５】
空間コヒーレンス
空間的コヒーレンスを確保することによって、その解を正則化することができる。その解は、その解内の他のビットを隣接するサンプルから補間することによって改善することができる。
【００７６】
事実上全ての実世界シーンの場合にｖａｒ（Ｂ）は比較的大きいので、その方法は良好に機能する。実際には、非常に反射性の高い表面であっても、ｖａｒ（Ｂ）よりも数桁小さいｖａｒ（Ｆ）を有する。
【００７７】
本発明の精神及び範囲内で、種々の他の改変及び変更を行うことができることは理解されたい。それゆえ、添付の特許請求の範囲の目的は、本発明の真の精神及び範囲内に入るような全てのそのような変形及び変更を包含することである。
【図面の簡単な説明】
【００７８】
【図１】本発明の一実施の形態によるマッティングのためのシステムの概略図である。
【図２】本発明の一実施の形態によるマッティングのための方法の流れ図である。
【図３】本発明の一実施の形態によるエピポーラ面画像を示す図である。
【図４】本発明の一実施の形態によるマッティングのための幾何学的な解を示す図である。
【図１】
2007095073.tif 000015
【図２】
2007095073.tif 000016
【図３】
2007095073.tif 000017
【図４】
2007095073.tif 000018
【外国語明細書】
2007095073.tif 000019
2007095073.tif 000020
2007095073.tif 000021
2007095073.tif 000022
2007095073.tif 000023
2007095073.tif 000024
2007095073.tif 000025
2007095073.tif 000026
2007095073.tif 000027
2007095073.tif 000028
2007095073.tif 000029
2007095073.tif 000030
2007095073.tif 000031
2007095073.tif 000032
2007095073.tif 000033
2007095073.tif 000034
2007095073.tif 000035
2007095073.tif 000036
2007095073.tif 000037
2007095073.tif 000038