(57)【要約】【課題】本発明は、ビデオから自動的にマットを抽出するシステム及び方法を提供する。【解決手段】本方法は、或るシーンについて取得されたビデオからアルファマットを抽出する。比較的深い被写界深度に設定されたカメラ開口によりシーンのピンホール又は狭開口画像ＩＰの組が取得される。シーンは背景Ｂ及び前景Ｆを含む。比較的浅い被写界深度に設定されたカメラ開口によりシーンの対応する広開口画像ＩＦの組が取得される。それぞれのピンホール画像及び広開口画像を合成して、α＝１＋（ＩＦ−ＩＰ）／（Ｂ−ＢＦ）に従ってアルファマットを抽出する。【選択図】図１
2007043686.tif 000002
【特許請求の範囲】
【請求項１】
比較的深い被写界深度及び狭い開口に設定された第１のカメラ開口によりシーンの狭開口画像ＩＰの組を取得するステップであって、前記シーンは背景Ｂ及び前景Ｆを含み、各狭開口画像ＩＰはＩＰ＝αＦ＋（１−α）Ｂとして表され、ここで、αＦは背景画像Ｂの前にある画像であり、αはアルファマットである、取得するステップと、
比較的浅い被写界深度及び広い開口に設定された第２のカメラ開口により前記シーンの対応する広開口画像ＩＦの組を取得するステップであって、各広開口画像ＩＦはＩＦ＝αＦ＋（１−α）ＢＦとして表され、ここで、
【数１】
2007043686.tif 000014
であり、ｈＢは点拡散関数である、取得するステップと、
α＝Ｃ＋（ＩＦ−ＩＰ）／（Ｂ−ＢＦ）に従ってアルファマットを抽出するステップであって、ここで、Ｃは定数である、抽出するステップと
を含む、或るシーンについて取得されたビデオからアルファマットを抽出する方法。
【請求項２】
α＝（Ｂ−ＢＦ＋ＩＦ−ＩＰ）／（Ｂ−ＢＦ）である
請求項１記載の方法。
【請求項３】
Ｃは１に等しい
請求項１記載の方法。
【請求項４】
前記狭開口画像及び前記広開口画像はカラー画像であり、前記アルファマットはα＝（‖Ｂ−ＢＦ＋ＩＦ−ＩＰ‖）／（‖Ｂ−ＢＦ‖）に従って抽出され、ここで‖・‖は色ベクトルの長さ演算子である
請求項１記載の方法。
【請求項５】
αＦ＝ＩＦ＋（α−１）ＢＦである
請求項１記載の方法。
【請求項６】
αＦ＝ＩＰ＋（α−１）Ｂである
請求項１記載の方法。
【請求項７】
αＦ＝０．５×（ＩＦ＋ＩＰ＋（α−１）（ＢＦ＋Ｂ））である
請求項１記載の方法。
【請求項８】
前記背景は、Ｂ＝ＢＦである場合に既知のパターンを含み、‖Ｂ−ＢＦ‖が実質的に０よりも大きいことが保証される
請求項１記載の方法。
【請求項９】
ＢＦ＝０．５×（Ｂｍｉｎ＋Ｂｍａｘ）であり、Ｂｍｉｎ及びＢｍａｘはそれぞれ背景の最小値及び最大値である
請求項１記載の方法。
【請求項１０】
前記狭開口画像及び前記広開口画像は、共通の投影中心を有する２つの光学系によって並行して取得される
請求項１記載の方法。
【請求項１１】
前記狭開口画像は、ピンホール光学系を用いて取得される
請求項１記載の方法。
【請求項１２】
前記狭開口画像及び前記広開口画像は、１つの光学系によって連続的に取得され、且つ時間インタリーブされる
請求項１記載の方法。
【請求項１３】
前記シーンは、自然なものであり、周辺光により照明される
請求項１記載の方法。
【請求項１４】
対応する前記狭開口画像及び前記広開口画像は、オプティカルフローに従って位置合わせされる
請求項１記載の方法。
【請求項１５】
比較的深い被写界深度及び狭い開口に設定されたカメラ開口によりシーンの狭開口画像ＩＰの組を取得するステップであって、前記シーンは背景Ｂ及び前景Ｆを含み、各狭開口画像ＩＰはＩＰ＝αＦ＋（１−α）Ｂとして表され、ここで、αＦは背景画像Ｂの前にある画像であり、αはアルファマットである、取得するステップと、
比較的浅い被写界深度及び広い開口に設定された前記カメラ開口により前記シーンの対応する広開口画像ＩＦの組を取得するステップであって、各広開口画像ＩＦはＩＦ＝αＦ＋（１−α）ＢＦとして表され、ここで、
【数２】
2007043686.tif 000015
であり、ｈＢは点拡散関数である、取得するステップと、
α＝Ｃ＋（ＩＦ−ＩＰ）／（Ｂ−ＢＦ）に従ってアルファマットを抽出するステップであって、ここで、Ｃは定数である、抽出するステップと
を含む、或るシーンについて取得されたビデオからアルファマットを抽出する方法。
【請求項１６】
前記取得するステップは、
前記シーンから放射されるライトフィールドを、第１の偏光を有する第１の偏光子に通過させること、
偏光回転子に選択的に電圧を印加しながら、前記ライトフィールドを前記偏光回転子に通過させること、及び
前記ライトフィールドを、前記第１の偏光子の前記偏光から９０°ずれた偏光を有する第２の偏光子に通過させることであって、前記第２の偏光子はスルーホールを有する、通過させることをさらに含む
請求項１５記載の方法。
【請求項１７】
比較的深い被写界深度及び狭い開口に設定された第１のカメラ開口によりシーンの狭開口画像ＩＰの組を取得するように構成される第１の光学系であって、前記シーンは背景Ｂ及び前景Ｆを含み、各狭開口画像ＩＰはＩＰ＝αＦ＋（１−α）Ｂとして表され、ここで、αＦは背景画像Ｂの前にある画像であり、αはアルファマットである、第１の光学系と、
比較的浅い被写界深度及び広い開口に設定された第２のカメラ開口により前記シーンの対応する広開口画像ＩＦの組を取得するように構成される第２の光学系であって、各広開口画像ＩＦはＩＦ＝αＦ＋（１−α）ＢＦとして表され、ここで、
【数３】
2007043686.tif 000016
であり、ｈＢは点拡散関数である、第２の光学系と、
α＝Ｃ＋（ＩＦ−ＩＰ）／（Ｂ−ＢＦ）に従ってアルファマットを抽出する手段であって、ここで、Ｃは定数である、抽出する手段と
を備える、或るシーンについて取得されたビデオからアルファマットを抽出するシステム。
【請求項１８】
比較的深い被写界深度に設定されたカメラ開口によりシーンの狭開口画像ＩＰの組を取得するように構成される光学系であって、前記シーンは背景Ｂ及び前景Ｆを含み、各狭開口画像ＩＰはＩＰ＝αＦ＋（１−α）Ｂとして表され、ここで、αＦは背景画像Ｂの前にある画像であり、αはアルファマットであり、
かつ、比較的浅い被写界深度及び広い開口に設定された前記カメラ開口により前記シーンの対応する広開口画像ＩＦの組を取得するようにさらに構成され、各広開口画像ＩＦはＩＦ＝αＦ＋（１−α）ＢＦとして表され、ここで、
【数４】
2007043686.tif 000017
であり、ｈＢは点拡散関数である、光学系と、
α＝Ｃ＋（ＩＦ−ＩＰ）／（Ｂ−ＢＦ）に従ってアルファマットを抽出する手段であって、ここで、Ｃは定数である、抽出する手段と
を備える、或るシーンについて取得されたビデオからアルファマットを抽出するシステム。
【請求項１９】
前記カメラ開口は、
第１の偏光子と、
前記第１の偏光子から９０°ずれた偏光を有する第２の偏光子であって、スルーホールを有する第２の偏光子と、
前記第１の偏光子と前記第２の偏光子の間に配設される偏光回転子とを有する
請求項１８記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的には画像の編集に関し、特にマッティングに関する。
【背景技術】
【０００２】
マッティング及び合成は、画像及びビデオの編集、３Ｄ写真撮影、及び映画の製作において頻繁に使用されている。マッティングは、画像中の各画素の色Ｆ及び不透明度αを推定することによって、前景領域を入力画像から分離する。合成は、マットを用いて、抽出された前景を新たな背景とブレンドし、新たなシーンを表す出力画像を作成する。不透明度αは前景領域の「カバレッジ」を測定する。これは、部分的な空間カバレッジ又は部分的な時間カバレッジ、すなわちモーションブラーによるものである。全不透明度値αの集合はアルファマット、アルファチャネル、又は単にマットと呼ばれる。
【０００３】
マッティングの問題は次のように定式化することができる。シーン中の不透明な黒の背景に対する前景の画像をαＦとする。前景を除く背景の画像をＢとする。各画素がその前景による部分的なカバレッジを表すアルファ画像をαとする。画像αは実質的に、白色に「塗られ」、均一に照明され、且つ不透明な背景に対して保持された前景物体の画像である。前景画像と背景画像のスケール及び解像度は透視短縮（perspective foreshortening）のために異なり得る。
【０００４】
合成のアルファマット、プリマルチプライアルファ、及び代数という概念はPorter他著「Compositing digital images」（Proceedings of the 11th Annual Conference on Computer Graphics and Interactive Techniques, ACM Press, pp. 253-259, 1984）に形式化されている。Porter他は、ピンホール（狭開口）カメラの場合、背景画像Ｂの前にある画像αＦを線形補間により次のように表現５１０できることを示した（図５を参照）。
【０００５】
【数１】
2007043686.tif 000003
【０００６】
ここで、ＩＰはピンホール（狭開口）画像であり、αＦは不透明な背景に対する前景のプリマルチプライ画像であり、Ｂは前景を除く不透明な背景の画像である。
【０００７】
マッティングは、合成画像の画素値
【０００８】
【数２】
2007043686.tif 000004
【０００９】
が与えられた状態で、変数（α，Ｆｒ，Ｆｇ，Ｆｂ，Ｂｒ，Ｂｇ，Ｂｂ）の未知の値を解く逆の問題であり、ここで、ｒ、ｇ、及びｂはカラーチャネルである。下付き文字「Ｐ」は、式（１）がピンホールカメラ、すなわち、シーン全体に焦点が合っている場合に該当することを示す。ピンホールカメラを非常に狭い開口により近似することができる。ブルースクリーンマッティングは、背景色Ｂが既知であるため容易に解ける。
【００１０】
マッティングは概して、Smith他著「Blue screen matting」（Proceedings of the 23rd Annual Conference on Computer Graphics and Interactive Techniques, ACM Press, pp. 259-268）、及びVlahosに対して１９７８年７月１１日付で発行された米国特許第４，１００，５６９号「Comprehensive electronic compositing system」に記載されている。
【００１１】
従来のマッティングは、ブルースクリーンマッティングと呼ばれる、既知の一定の色を有する背景を必要とする。デジタルカメラを用いる場合、グリーンマットが好ましい。ブルースクリーンマッティングは、映画業界及び放送業界における主流の技法である。例えば、放送スタジオは、天気予報を提示するためにブルーマッティングを用いる。背景はブルースクリーンであり、前景領域は、ブルースクリーンの前に立つ天気予報アナウンサーを含む。前景が抽出され、天気予報アナウンサーが実際に天気図の前に立っているように見えるように天気図に重ねられる。しかし、ブルースクリーンマッティングは費用がかかり、一時的なユーザには容易に利用できない。製作スタジオでさえ、より低費用で侵入性の低い（less intrusive）代案を好む。
【００１２】
理想的には、任意の、すなわち未知の背景を有する画像又はビデオから高品質のマットを抽出したい。このプロセスは自然画像マッティングとして知られる。最近では、この領域は大きく進歩している（Ruzon他著「Alpha estimation in natural images」（CVPR, vol. 1, pp. 18-25, 2000）、Hillman他著「Alpha channel estimation in high resolution images and image sequences」（Proceedings of IEEE CVPR 2001, IEEE Computer Society, vol. 1, pp. 1063-1068, 2001）、Chuang他著「A Bayesian approach to digital matting」（Proceedings of IEEE CVPR 2001, IEEE Computer Society, vol. 2, pp. 264-271, 2001）、Chuang他著「Video matting of complex scenes」（ACM Trans. on Graphics 21, 3, pp. 243-248, July, 2002）、及びSun他著「Poisson matting」（ACM Trans. on Graphics, August 2004））。残念ながら、これらの方法はすべて、かなりの手作業による介入を必要とし、長い画像シーケンス及び非専門的なユーザには使用できなくなる。１枚の画像からのマッティングは基本的に過少制約であるため、問題が生じる。
【００１３】
非侵入性の技法を用いてマッティングを行うことが望ましい。すなわち、シーンを修正する必要がない。マッティングを自動的に行うことも望ましい。さらに、「豊かな」自然画像、すなわち、多数の微細な細部構造を有する画像のマッティングを提供することが望ましい。
【００１４】
ほとんどの自然画像マッティング方法は、前景領域と背景領域における色の分布を判定するために、手作業で定義されたｔｒｉｍａｐを必要とする。ｔｒｉｍａｐは画像を背景画素、前景画素及び未知の画素に分割する。これらの方法は、ｔｒｉｍａｐを用いて未知の画素の前景色及び背景色の適当な値を推定し、これらの色を用いてマッティング式（１）を解く。
【００１５】
ベイズ理論に基づく（Bayesian）マッティングとその画像シーケンスへの拡張は、多くの用途において最良の結果を生成する。しかし、これらの方法は、手作業で定義されたｔｒｉｍａｐをキーフレームに必要とする。これは、長い画像シーケンスの場合、面倒である。ユーザの介入を必要とせず、画像シーケンスを取得する際にリアルタイムで動作することができる方法を提供することが望ましい。
【００１６】
従来技術の色分布の推定は、１つの未知の画素の近傍における前景と背景が十分に異なる場合にのみ機能する。したがって、前景画素と背景画素が十分に似た色分布を有するマットを抽出することができる方法を提供することが望ましい。
【００１７】
Sun他のポワソンマッティングは、前景と背景が徐々に変化していると仮定することによって、マットについてポワソン方程式を解く。Sun他の方法は、手作業で構築されたｔｒｉｍａｐから開始することによって、ユーザと密に対話する。Sun他はまた、マット中の誤差を補正するための「ペインティング」ツールを提供する。
【００１８】
無支援の自然ビデオのマッティングシステムがZitnick他著「High-quality video view interpolation using a layered representation」（ACM Trans. on Graphics 23, 3, pp. 600-608, 2004）に記載されている。Zitnick他は、約２メートル以上離間した８台のカメラの水平列によりビデオを取得する。Zitnick他は、高度な領域処理を用いてステレオ視差から奥行きの矛盾を測定し、次に、奥行きの矛盾からｔｒｉｍａｐを構築する。実際のマッティングは、Chuang他のベイズ理論に基づくマッティングによって求められる。しかし、この方法には、ステレオカメラでは不可避のビューに依存した問題、例えば反射、鏡面ハイライト、及び遮蔽がある。ビューに依存した問題を回避することが望ましい。
【００１９】
背景減算としても知られる差分マッティングは、背景及びｔｒｉｍａｐ画像が与えられた状態で、α及びアルファを乗算した前景αＦを解く（Qian他著「Video background replacement without a blue screen」（Proceedings of ICIP, vol. 4, 143-146, 1999））。しかし、差分マッティングでは、前景の境界における識別能が限られている。
【００２０】
別の方法は、背面照明を用いてマットを求める。背面照明は、多くのコンピュータビジョンシステムにおいて用いられる一般的な分割方法である。背面照明は、イメージベースドレンダリングシステムにおいても用いられている（Debevec他著「A lighting reproduction approach to live action compositing」（ACM Transactions on Graphics 21, 3, pp. 547-556, 2002））。この方法には２つの欠点がある。第１に、アクティブ照明が必要とされ、第２に、物体によっては光のグレージング角付近で反射率が高くなるものもあるため、物体の境界付近で不正確な結果が生成される可能性がある。
【００２１】
シーンの再構成は、Favaro他著「Seeing beyond occlusions (and other marvels of a finite lens aperture)」（Proc. of the IEEE Intl. Conf. on Computer Vision and Pattern Recognition, p. 579, 2003）によって記載されている。この方法は、デフォーカス画像及び誤差の二乗和の勾配降下による最小化を用いる。この方法は、粗い奥行き及び２値アルファ（binary alpha）を解く。
【００２２】
別の方法は、ｄｅｐｔｈ−ｆｒｏｍ−ｆｏｃｕｓシステムを用いて、部分アルファ（fractional alphas）を有する重なり合った物体を復元する（Schechner他著「Separation of transparent layers using focus」（International Journal of Computer Vision, pp. 25-39, 2000））。Schechner他は、レンズの背後に電動ＣＣＤを軸方向に配置して、わずかに焦点の異なる画像を取得する。奥行きは、焦点が最も良く合った画像を有する像平面の位置を選択することによって復元される。この方法は、静止シーンに限られている。
【００２３】
別の方法は、異なる被写界深度及びフォーカスを有し、同じ投影中心を共有する３台のカメラによって取得された３つのビデオストリームを用いて、制約なしの動的な背景を有するシーンのマットを抽出する（McGuire他著「Defocus Video Matting」（ACM Transactions on Graphics 24, 3, 2003）、及びMcGuire他により２００５年３月２９日付で出願された米国特許出願第１１／０９２，３７６号「System and Method for Image Matting」）。
【発明の開示】
【発明が解決しようとする課題】
【００２４】
マッティングは、画像又はビデオから高品質のアルファマット及び前景を抽出するためのプロセスである。従来の技法は、既知の背景、例えばブルースクリーン、又は広範囲の手作業による対話、例えば手作業により指定される前景領域及び背景領域を必要とする。マッティングは通常、画像が取得される際に十分な情報が得られないため、過少制約である。
【課題を解決するための手段】
【００２５】
本発明の１つの実施の形態は、ビデオから自動的にマットを抽出するシステム及び方法を提供する。ビデオは、並行して、又は時間インタリーブして生成されるピンホール（狭開口）画像の組及び広開口画像（フレーム）の組を含む。
【００２６】
パラレル画像組は、共通の投影中心を有する２つの光学系を有するカメラにより取得することができる。一方の光学系は、ピンホール画像を取得するために深い被写界深度を有し、他方の光学系は、広開口画像を取得するために浅い被写界深度を有する。
【発明の効果】
【００２７】
１台のカメラにより、高速切り換え開口を用いて時間インタリーブされた画像を取得することができる。開口は、異なる口径の間で高速に切り換えを行うことができる偏光素子を含む。利点として、口径は、光学技法を用いて操作される。したがって、開口は、可動部を必要とせず、機械式の開口を遥かに上回るレートで切り換えることができる。
【発明を実施するための最良の形態】
【００２８】
システム構造
図１は、本発明の１つの実施の形態による、シーン１２０について取得されたビデオ１１０からマット１４１を自動的に抽出するシステム１００及び方法５００を示す。シーン１２０は背景（Ｂ）１２１及び前景（Ｆ）１２２を含む。シーンは、周辺光のみで照明された自然な実世界のシーンであってもよい。
【００２９】
ビデオ１１０は、ピンホール（狭開口）光学系１０２及び前景光学系１０３を含むカメラ１０１によって取得される。光学系１０２及び１０３は、光軸１６０上に単一の投影中心を有し、ビームスプリッタ１５１を用いる。光学系は互いに対して較正される。ビデオ１１０は、方法５００を実施するプロセッサ１４０に供給される。
【００３０】
ビデオ１１０は、時間的に並行して取得された画像組１１１及び１１２を含む。画像ＩＰの組１１１は深い被写界深度１３１で取得される、すなわち、画像ＩＰ１１１は前景に合焦する非常に狭い開口により取得される。画像ＩＰ１１１は、ピンホールカメラモデルを用いて近似することができる（式（１）を参照）。対応する広開口画像ＩＦの組１１２は、前景に合焦する浅い被写界深度１３２で並行して取得される。
【００３１】
図２は、本発明の別の実施の形態を示す。カメラ２０１は単一の光学系を用い、組１１１及び１１２の画像ＩＰ及びＩＦは連続的に時間インタリーブされる。
【００３２】
画像は時間インタリーブされるため、シーン１２０が移動物体を含む場合、対応する狭開口画像ＩＰと広開口画像ＩＦの対は位置合わせされない可能性がある。この場合、従来のオプティカルフロープロセスを用いて、画像組ＩＰと画像組ＩＦを位置合わせすることができる。
【００３３】
カメラ開口
したがって、図３Ａに示すように、カメラ２０１は高速切り換え開口３００を用いる。ほとんどの従来のカメラ開口は機械シャッタを用いる。機械シャッタを開閉できる速度は、開口の羽根の重み並びに開口の羽根を駆動するネジ及びアクチュエータの強度によって制限される。開口機構を非常に頑丈にし、高エネルギーアクチュエータにより駆動しても、結果として生じる大きな機械的動きが、カメラアセンブリ内に振動を生じさせ、画像をぼかしてしまう。
【００３４】
ほとんどの従来のカメラ開口は機械式であり、可動部品を含む。このような開口には２つの主な問題がある。第１に、それらの開口は異なる被写界深度への切り換えが比較的遅く、第２に、部品の高速移動は、カメラ本体内に振動を生じ、特にイメージャがＣＣＤタイプの素子である場合に、この振動が画像にノイズを加える。したがって、機械的原理でなく光学的原理により動作する高速切り換えカメラ開口を提供することが望ましい。
【００３５】
開口３００は、カメラ２０１のフレームレート又はそれ以上のレート、例えば最高約１０ＫＨｚのレートで口径を切り換えることができる。開口機構３００は、第１の直径Ｄを有する２つの偏光子３０１及び３０３を含む。第２の偏光子３０３は、第２の直径ｄを有するピンホール又は狭開口（スルーホール）３０４を有する。偏光子３０１及び３０３の偏光は、図示のように互いに９０°回転する。したがって、光は、ピンホール３０４のみを通過する。
【００３６】
同じく直径Ｄを有する偏光回転素子３０２が偏光子３０１及び３０３の間に配設される。偏光回転素子３０２は、電圧（Ｖ）が印加されているとき、素子３０２を通過するライトフィールドの偏光を９０°回転させる。例えば、素子は強誘電性液晶である。したがって、素子に電圧が印加されると、光が３つの素子３０１〜３０３全てを通過するため、カメラ２０１は大きな口径Ｄを有する。そうでなく、電圧が印加されていない状態では、光は、口径ｄを有するピンホール３０４のみを通過する。市販の強誘電性液晶素子は、数分の１ミリアンペアでのおよそ数ボルトの電力入力により、１０マイクロ秒以内にゼロ回転状態から９０度回転状態へ切り換わることができる。他の偏光回転子も使用できる。例えば、カーセルにより偏光を回転させることができる。従来の超ねじれネマチック液晶もまた偏光を回転させることができる。
【００３７】
図３Ｂは、図３Ａに示す開口の端面図である。
【００３８】
図３Ｃ及び図３Ｄは、複数の開口設定が可能な別の実施の形態を示す。この開口は、偏光子３２１、３２３、３２５、並びに偏光回転子３２２及び３２４を含む。３つの開口設定を提供するために２つのスルーホール３３１及び３３２が示されている。この方法で任意数の高速切り換え開口設定を提供することができることを理解すべきである。開口の口径は、ライトフィールドが開口を通過する方向に小さくなる。
【００３９】
図３Ｅは、スルーホールが、異なる距離で離間したスリット３４１及び３４２である構成を示す。この構成は、ライトフィールド中の低周波成分（ＤＣ）及び高周波成分（ＡＣ）を分離するために用いることができる。図３Ｆは、１つ又は複数のスルーホール３５１が中心（光軸）からずれた１つの実施の形態を示す。図３Ｇは、スルーホール４６１がトーラスである１つの実施の形態を示す。
【００４０】
複数のスルーホールを用いる場合、開口を光軸に沿って移動させ、実質的に焦点面を変化させることが実際に可能であることに留意すべきである。これは機械式の開口では不可能である。
【００４１】
また、サイズ、形状、及び光軸からのずれの異なる様々なスルーホールの様々な組み合わせを用いることができることにも留意すべきである。
【００４２】
方法の動作
本発明の実施の形態に従って画像を取得するとき、以下の式５０２（図５）により広開口画像ＩＦ１１２を近似する。
【００４３】
【数３】
2007043686.tif 000005
【００４４】
ここで、
【００４５】
【数４】
2007043686.tif 000006
【００４６】
であり、ｈＢは点拡散関数（ＰＳＦ）である。
【００４７】
既知の背景が与えられる場合、αを直接解くことができる。本発明は、既知の背景から開始するが、２つの画像組、すなわちピンホール画像１１１及び広開口画像１１２を用いることによって差分マッティングの欠点の多くを回避する。
【００４８】
式（１）及び式（２）から、α１４１を求める式５０３：
【００４９】
【数５】
2007043686.tif 000007
【００５０】
を得る。ここで、Ｃは定数、例えば１である。
【００５１】
図５は、基本的な方法のステップを示す。
【００５２】
より正確な結果を得るために、本発明では次式を用いる。
【００５３】
【数６】
2007043686.tif 000008
【００５４】
カラー画像を用いる場合、Ｂ、ＢＦ、ＩＰ、及びＩＦはベクトルである。したがって、αを求める式は、
【００５５】
【数７】
2007043686.tif 000009
【００５６】
となる。ここで、‖・‖は色ベクトルの長さ演算子である。
【００５７】
αが与えられると、次式を用いてαＦを求めることができる。
【００５８】
【数８】
2007043686.tif 000010
【００５９】
又は
【００６０】
【数９】
2007043686.tif 000011
【００６１】
又は
【００６２】
【数１０】
2007043686.tif 000012
【００６３】
しかし、αの式は、Ｂ＝ＢＦである場合に悪条件となる。したがって、これらの画素のアルファ値は高い信頼度で求めることができない。
【００６４】
この問題には２つの可能な解がある。既知の背景パターンを用いて、‖Ｂ−ＢＦ‖が実質的にゼロよりも大きいことを保証することができる（下記参照）。代替的に、アルファ値は、近傍画素から補間することができる。分母‖Ｂ−ＢＦ‖に閾値を用い、分母が閾値未満である場合にアルファ値を近傍から補間するか、又は、分母の値に信頼度マップを用いることができる。この文脈では、既知の散乱データ補間方法、例えば、本明細書中に参照により援用されるGortler他著「The lumigraph」（Proceedings of the 23rd annual conference on Computer graphics and interactive techniques, ACM Press, pp. 43-54, 1996）に記載されているプッシュプルを使用することが可能である。
【００６５】
マット背景パターン
多くの用途では、完全なマッティング結果を保証することが必要である。この状況では、いかなるタイプの不正確なマッティング及び合成も全く許容できない。このような用途では、投光器を用いて背景を照明することができるか、又は背景が既知のパターンを含み、αを求めるために用いられる式が良条件となるようにすることができる。
【００６６】
式（６）によれば、分母‖Ｂ−ＢＦ‖はαの精度を決める。背景は、Ｂｍｉｎ〜Ｂｍａｘの値を有することができる。画像ＢＦは、背景をローパスしたものである。背景の最適なローパス（平均）値は次のように表される。
【００６７】
【数１１】
2007043686.tif 000013
【００６８】
Ｂの最適値はＢｍｉｎ及びＢｍａｘである。したがって、分母の値は常に０．５×（Ｂｍａｘ−Ｂｍｉｎ）である。Ｂｍｉｎ＝０である最良の場合、分母は０．５×Ｂｍａｘに単純化され、１ビット分のアルファ精度が失われる、例えば、Ｂｍａｘが８ビット値である場合、アルファの最高精度は７ビットとなる。
【００６９】
これらの最適な結果をもたらす多くの背景パターンがある。本明細書中では、１つの例示的な背景を記載した。ＰＳＦ  ｈＢが回転対称である場合、パターンは１Ｄで指定することができる。次に、パターンの許容周波数を求める。
【００７０】
ＰＳＦ  ｈＢのサイズがｋ画素である場合、パターンの最小周波数はｋ×０．５画素となる。被写界深度の深い画素がパターンと位置合わせされる場合、パターンの最大周波数は１画素となる。より高い周波数の場合、異なるパターンの値を平均化する。カラーの使用により、画素がパターン遷移と位置合わせされていない場合、問題の条件付けが向上する。異なる色毎にパターンをシフトして、分母の値が少なくとも１色について常に大きくなるようにすることが望ましい。
【００７１】
例えば、図４に示すように、赤色４０１の１次元のパターンを緑色のパターン４０２及び青色のパターン４０３に対してパターン周期の前に１／４だけシフトさせる。上記のパターンを重ねて、２Ｄの白い表面に印刷又は投影すると、赤色、白色、緑／青色、及び黒色の縦棒４１０の繰り返しが生成されて、所望の高周波背景パターンが生成される。実際の実装において、これらの棒は幅約２〜３ミリメートルである。このパターンは、サウンドステージ全体を覆う壁紙に容易に印刷できることを理解すべきである。
【００７２】
本発明を、好適な実施の形態の例として説明してきたが、本発明の精神及び範囲内で様々な他の適応及び修正を行ってもよいことが理解される。したがって、添付の特許請求の範囲の目的は、本発明の真の精神及び範囲に入るそのような変形形態及び修正形態をすべて網羅することである。
【図面の簡単な説明】
【００７３】
【図１】本発明の１つの実施の形態による、ビデオからマットを抽出する方法のブロック図である。
【図２】本発明の別の実施の形態による、ビデオからマットを抽出する方法のブロック図である。
【図３Ａ】本発明の１つの実施の形態によるカメラ開口の分解図である。
【図３Ｂ】図３Ａのカメラ開口の側面図である。
【図３Ｃ】本発明の１つの実施の形態によるカメラ開口の分解図である。
【図３Ｄ】図３Ｃのカメラ開口の側面図である。
【図３Ｅ】スリットの形態のカメラ開口の分解図である。
【図３Ｆ】光軸からずれた開口の図である。
【図３Ｇ】トーラスの形態のカメラ開口の図である。
【図４】本発明の１つの実施の形態による高周波背景パターンの図である。
【図５】本発明の１つの実施の形態による、マットを抽出する方法のブロック図である。
【図１】
2007043686.tif 000018
【図２】
2007043686.tif 000019
【図３Ａ】
2007043686.tif 000020
【図３Ｂ】
2007043686.tif 000021
【図３Ｃ】
2007043686.tif 000022
【図３Ｄ】
2007043686.tif 000023
【図３Ｅ】
2007043686.tif 000024
【図３Ｆ】
2007043686.tif 000025
【図３Ｇ】
2007043686.tif 000026
【図４】
2007043686.tif 000027
【図５】
2007043686.tif 000028
【外国語明細書】
2007043686.tif 000029
2007043686.tif 000030
2007043686.tif 000031
2007043686.tif 000032
2007043686.tif 000033
2007043686.tif 000034
2007043686.tif 000035
2007043686.tif 000036
2007043686.tif 000037
2007043686.tif 000038
2007043686.tif 000039
2007043686.tif 000040
2007043686.tif 000041
2007043686.tif 000042
2007043686.tif 000043
2007043686.tif 000044
2007043686.tif 000045
2007043686.tif 000046
2007043686.tif 000047
2007043686.tif 000048
2007043686.tif 000049
2007043686.tif 000050
2007043686.tif 000051
2007043686.tif 000052
2007043686.tif 000053
2007043686.tif 000054
2007043686.tif 000055
2007043686.tif 000056
2007043686.tif 000057
2007043686.tif 000058
2007043686.tif 000059
2007043686.tif 000060
2007043686.tif 000061