(57)【要約】【課題】非偏光状態の光により照明されたシーンの画像からアルファマットを抽出する方法を提示する。【解決手段】偏光を生成する背景の正面に前景物体が配置された状態で第１の画像対が取得される。第１の画像対の一方の画像はシーンの垂直偏光を測定し、第１の画像対の第２の画像はシーンの水平偏光を測定する。偏光を生成する背景について第２の画像対が取得される。第２の画像対の一方の画像は背景の垂直偏光を測定し、第２の画像対の第２の画像は背景の水平偏光を測定する。第１の画像対及び第２の画像対は合成されて、アルファマット及びアルファ乗算済みの前景が生成される。【選択図】図１
2007288784.tif 000002
【特許請求の範囲】
【請求項１】
偏光を生成する背景の正面に前景物体が配置されたシーンについて、第１の画像対の第１の画像が前記シーンの垂直偏光を測定し、前記第１の画像対の第２の画像が前記シーンの水平偏光を測定する、前記第１の画像対を取得するステップと、
前記偏光を生成する前記背景について、第２の画像対の第１の画像が垂直偏光を測定し、前記第２の画像対の第２の画像が水平偏光を測定する、前記第２の画像対を取得するステップと、
前記第１の画像対及び前記第２の画像対を合成してアルファマット及びアルファ乗算済みの前景を生成するステップと
を含む、非偏光状態の光により照明されたシーンの画像からアルファマットを抽出する方法。
【請求項２】
各対の前記第１の画像は、ビームスプリッタの後方に配置される第１のカメラにより取得され、
各対の前記第２の画像は、前記ビームスプリッタの後方で前記第１のカメラと直角に配置される第２のカメラにより取得される
請求項１記載の方法。
【請求項３】
第１の画像対シーケンスが取得され、前記アルファマット及び前記アルファ乗算済みの前景は、前記シーケンスの各第１の対を前記第２の画像対と合成することによって生成される
請求項１記載の方法。
【請求項４】
前記第１の対の前記画像を同期させるステップをさらに含む
請求項１記載の方法。
【請求項５】
前記第１の対及び前記第２の対の前記画像を同期させるステップをさらに含む
請求項１記載の方法。
【請求項６】
全ての画像を取得するための光路は、実質的に一致する投影中心を有する
請求項１記載の方法。
【請求項７】
各対の前記第１の画像は、ビームスプリッタの後方に配置される第１のセンサにより取得され、
各対の前記第２の画像は、前記ビームスプリッタの後方で前記第１のセンサと直角に配置される第２のセンサにより取得され、
前記ビームスプリッタの前方にレンズが配置される
請求項１記載の方法。
【請求項８】
各対の前記第１の画像は、偏光回転子及び偏光子がアライメントされているとき前記偏光回転子及び前記偏光子の後方に配置されるカメラにより取得され、
各対の前記第２の画像は、前記偏光回転子及び前記偏光子が９０度ずれているときに前記カメラにより取得される
請求項１記載の方法。
【請求項９】
前記２つの画像対は、偏光フィルタが正面に異なる方向で配置されているセンサ画素素子を有するカメラにより取得される
請求項１記載の方法。
【請求項１０】
前記センサ画素素子の異なる方向は、市松模様に配置される
請求項９記載の方法。
【請求項１１】
前記第１の画像対はＩ１及びＩ２であり、前記第２の画像対はＢ１及びＢ２であり、前記合成は前記アルファマットについて
【数１】
2007288784.tif 000007
であり、前記アルファ乗算済みの前景について
【数２】
2007288784.tif 000008
である
請求項１記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的にはコンピュータグラフィックス及びコンピュータビジョンに関し、特にアルファマット及びアルファ乗算済みの前景の抽出に関する。
【背景技術】
【０００２】
マッティング及び合成はコンピュータグラフィックス及びコンピュータビジョンの両方でよく知られた問題である。マッティングは、画像又はビデオ中の背景領域と前景領域とを分離する。高品質のマットが得られる実用的な方法は、特殊効果、テレビ及び映画業界にとって非常に重要である。残念ながら、ビデオから高品質のアルファマットを抽出するための従来技術の方法はほとんどが、ユーザ補助又は単色で一様な背景スクリーン（例えば青色若しくは緑色の背景）のいずれかを必要とする。マットは、前景及び背景（例えば、天気図の正面にいる天気予報アナウンサー）を合成するために用いられる。
【０００３】
カラースクリーンマッティングには２つの問題がある。第１に、前景はどの背景色も含んではならない。例えば、天気予報アナウンサーは背景と同じ色の服を着用してはならない。第２に、背景色が前景に「にじみ」出てしまう可能性があり、シーンの見た目を大きく変えてしまう。背景が正確に分かっていても、アルファマットの抽出は制約不足の問題となる。
【０００４】
マッティングは１９５０年代以降、広範に記述されている。Vlahosによる米国特許第３，０９５，３０４号「ナトリウム灯照明を利用した合成写真撮影（Composite photography utilizing sodium vapor illumination）」（１９５８年５月）を参照のこと。ブルースクリーンマッティングは、Smith及びBlinn著「ブルースクリーンマッティング（Blue screen matting）」（Proceedings of the 23rd Annual Conference on Computer Graphics and Interactive Techniques, ACM Press, pp. 259-268, 1996）により数学的に形式化された。
【０００５】
ブルースクリーンマッティングは、単色で一様な背景の使用、及び前景色を背景色と類似でないものに制約することに依拠している。Blinn及びSmithにより示されるように、既知の背景での静的シーンの撮影は、前景色に制約を課すことなく、アルファマット及び前景色の両方について正しい解を導出することを可能にする。
【０００６】
ブルースクリーンマッティング法は、複数の背景パターンを用いてより複雑な光輸送効果（例えば屈折）をカバーするように拡張されてきた（Zongker他著「環境のマッティング及び合成（Environment matting and compositing）」（Proceedings of the 26th Annual Conference on Computer Graphics and Interactive Techniques, ACM Press/ Addison-Wesley Publishing Co., pp. 205-214, 1999）、及びChuang他著「環境マッティングの拡張：より高い精度及びリアルタイムでの取り込みへ（Environment matting extensions: towards higher accuracy and real-time capture）」（Proceedings of the 27th Annual Conference on Computer Graphics and Interactive Techniques, ACM Press/ Addison-Wesley Publishing Co., pp. 121-130, 2000））。
【０００７】
ベイズ理論に基づくマッティングも静的シーンに用いることができる（Chuang他著「ベイズ理論に基づくデジタルマッティングの手法（A Bayesian approach to digital matting）」（Proceedings of IEEE CVPR 2001, vol. 2, pp. 264-271, 2001））。この方法は、ユーザ指定のｔｒｉｍａｐ及び低周波数の背景を前提とする。ベイズ理論に基づく技法はまた、ブルースクリーンマッティングを複雑なシーンに適応させることができる（Chuang他著「複雑なシーンのビデオマッティング（Video matting of complex scenes）」（ACM Transactions on Graphics, vol. 21, no. 3, pp. 243-248, July 2002））。この方法では、ユーザがビデオ中のキーフレームについてｔｒｉｍａｐを指定する。
【０００８】
別の方法は、カメラアレイ及びステレオプロセスを用いてｔｒｉｍａｐを自動的に求める（Zitnick他著「階層表現を用いた高品質なビデオビュー補間（High-quality video view interpolation using a layered representation）」（ACM Transactions on Graphics, vol. 23, no. 3, pp. 600-608, 2004））。
【０００９】
差分マッティングという別の技法（背景減算としても知られる）は、背景画像及びｔｒｉｍａｐ画像が与えられた状態でアルファマット及びアルファ乗算済みの前景を解く（Qian及びSezan著「ブルースクリーンを使用しないビデオ背景の置き換え（Video background replacement without a blue screen）」（Proceedings of ICIP, vol. 4, pp. 143-146, 1999））。
【００１０】
差分マットは、背景と前景との間の境界における識別能が制限されている。別の代案は、背面照明を用いてマットを抽出することである。背面照明は、多くの市販のコンピュータビジョンシステムにおいて用いられる一般的な分割方法である。背面照明は、イメージベースドレンダリングシステムにおいても用いられている（Debevec他著「ライブアクション合成のための照明再現手法（A lighting reproduction approach to live action compositing）」（ACM Transactions on Graphics, vol. 21, no. 3, pp. 547-556, July 2002））。この方法は、常に可能であるとは限らないアクティブ照明を必要とし、また、物体によっては入射光のグレージング角における反射率が高いものもあるため、物体の境界付近で不正確な結果を生じる可能性がある。
【００１１】
別の方法は、シーンを偏光照明するか、或いは偏光された背面光を使用すると共に、クロマキーのようなアルゴリズムを用いて偏光に基づいて画像を分割するインビジブルキー分割である（Ben-Ezra著「インビジブルキーイング信号を用いた分割（Segmentation with invisible keying signal）」（IEEE Computer Society Conference on Computer Vision and Pattern Recognition, vol. 1, pp. 1032-1038, 2000））。この方法は、自然照明下では機能することができず、また偏光を生成するために専用の照明アセンブリを必要とする。
【発明の開示】
【発明が解決しようとする課題】
【００１２】
したがって、周囲の大部分は非偏光状態の光により照明されるシーンの前景において任意の色を許容し、単色で一様な背景色の色にじみを生じないマッティング法を提供することが望ましい。
【課題を解決するための手段】
【００１３】
本発明の一つの実施の形態は、周囲光により照明されたシーンの画像からアルファマットを抽出するための方法を提供する。シーン中において、特殊スクリーンからの反射により偏光を生じる既知の背景の正面に前景物体が配置される。前景物体から反射される光は大部分が非偏光状態である。
【００１４】
カメラがシーンの画像対を取得する。カメラは、複数のレンズ及び複数のセンサを投影中心が実質的に一致するように有することができる。センサは、シーン中の光の異なる偏光（例えば水平偏光及び垂直偏光）を測定する。別の実施の形態において、カメラは、画像対においてシーン中の時分割された異なる偏光状態の光を測定する１つのレンズ及び１つのセンサを有する。
【００１５】
マッティング問題の解は、１つの投影中心を有するカメラにより取得された２つの同期された画像シーケンスを用いることにより制約される。ビデオシーケンスの各々は異なる偏光状態の光を測定する。前景は大部分が非偏光状態の光を反射又は発光し、背景は偏光を反射するため、２つの異なる背景（すなわち黒及び白）で前景物体を観測し、よってマッティング問題を制約することができる。
【００１６】
画像対の、垂直偏光を測定するために白の背景を有する第１の画像を、水平偏光を測定するために黒の背景を有する対応する第２の画像と合成することによって、アルファマットα及びアルファ乗算済みの前景αＦを抽出することができる。
【発明を実施するための最良の形態】
【００１７】
偏光差分マッティングのカメラ
図１は、本発明の第１の実施の形態を示す。背景１１０が、既知の偏光を持つ偏光１１１を生成する。偏光は反射により生成される。前景物体１２０が背景の正面に配置される。前景物体は何らかの光により照明され、大部分が非偏光状態の光１２１を生成する。背景光及び前景光はビームスプリッタ１３０を通過する。このビームスプリッタは光を垂直偏光成分１３１と水平偏光成分１３２とに分離する。
【００１８】
第１のカメラ１４０が、前景を有するシーンについて１つ又は複数の画像Ｉ１１４１を取得し、偏光（例えば垂直偏光された光）を測定する。第２のカメラ１５０が、前景を有するシーンについて１つ又は複数の画像Ｉ２１５１を取得し、異なる偏光状態の光（例えば水平偏光された光）を測定する。すなわち、画像Ｉ１及びＩ２は第１の画像対を形成する。
【００１９】
前景を除く、すなわち既知の背景１１０のみを有するシーンについて第２の画像対Ｂ１１７２及びＢ２１７３も取得することができる。これらの対の画像はそれぞれ垂直偏光及び水平偏光を測定する。背景は静的であるため、背景画像対１７２及び１７３は１度だけ取得すればよく、前処理ステップにおいて行って、後のリアルタイム動作中に使用するために記憶しておくことができる。
【００２０】
本発明の実施の形態によるシステム及び方法は、複数の画像対又は複数の画像対シーケンス（例えば２つの実質的に同期したビデオ）と共に使用することができることを理解すべきである。また、投影中心は様々な光路について実質的に一致することにも留意されたい。
【００２１】
２つの画像対Ｉ１及びＩ２並びにＢ１及びＢ２はプロセッサ１６０により合成されて、各画像対についてマットα１７０及びアルファ乗算済みの前景αＦ１７１が生成される（図６Ａ及び図６Ｂを参照）。静止シーンの場合、画像対Ｉ１及びＩ２並びにＢ１及びＢ２はいつでも取得することができる。しかし、シーンが動き及び／又は照明の変化により動的に変化している場合、第１の画像対Ｉ１及びＩ２の取得を実質的に同期させるとより良い結果が得られる。図２に示すように、別の実施の形態は１つのレンズ２２５と、２つのセンサ２４０及び２５０とを用いる。
【００２２】
図３に示すように、別の実施の形態は、偏光回転子３１０（例えば強誘電性液晶）と、偏光子３２０と、回転子３１０が９０度ずれるように回転し、回転子と偏光子がアライメントされた状態及びずれた状態に交互にされる際に画像Ｉ１及びＩ２を時分割方式で交互に取得する１台のカメラ３４０とを用いる。この装置は、シーン中の変化率がカメラのフレームレートよりも低い限り、妥当な結果を生じる。
【００２３】
図４は、カメラの異なるセンサ画素素子（例えばフォトサイト）の正面に偏光フィルタが異なる方向で配置されている変形センサを有する１台のカメラ４４０を示す。１つの配置は偏光フィルタに「市松」模様を用いる。この設計では、「白」のマスは垂直方向の偏光フィルタで覆われ、「黒」のマスは水平方向のフィルタで覆われる。この配置は、背景から前景へ偏光がにじむ影響を最小限にする。この市松模様におけるフィルタの偏光は経時的に交番してもよい。
【００２４】
背景及び前景の設計
偏光を生成する単純な背景は以下のように構築することができる。例えば、背景は、直線偏光フィルタ（例えばポリビニルアルコール−ヨウ素フィルタ）で覆われた白紙である。この場合、画像及び背景の偏光が一致すると（例えば垂直偏光画像Ｉ１）、背景画像Ｂ１の白の背景色に対して前景を観測することができる。しかし、偏光が９０度回転しているとき、前景はＢ２の黒の背景色に対して観測される（すなわち水平偏光画像Ｉ２）。
【００２５】
背景から前景への光のにじみを低減するために、前景により生成される光は、実質的に非偏光状態の周囲光である。しかし、強く偏光された背景の一部が前景で反射すると、前景から反射される光は偏光されるかもしれない。この問題を軽減するために、偏光方向が空間的に変化する偏光背景を構築することができる。例えば偏光フィルタを、図５Ａ、図５Ｂ、及び図５Ｃに示すように市松模様又はストライプ状に配置することができる。偏光が垂直又は水平であるとは、偏光が互いに９０度ずれているということだけを意味することを理解すべきである。すなわち、偏光は直交である。
【００２６】
背景画像及び前景画像
黒の背景に対する前景物体の画像をαＦとし、前景を除く背景の画像をＢとする。αを、各画素がその前景物体による部分的なカバレッジ（coverage）を表す画像とする。アルファ画像は本質的に、白く塗られ、均一に照明され、且つ黒の背景に対して保持された前景物体の画像である。
【００２７】
ワールド空間における前景画像及び背景画像のスケール及び解像度は異なる。透視短縮（perspective foreshortening：パースペクティブ短縮）により、αＦ及びαの画素は、アルファマット、プリマルチプライアルファ、及びそれらの代数的合成によって形式的に画定されている領域よりも小さなワールド空間領域に対応する（Porter及びDuff著「デジタル画像の合成（Compositing digital images）」（Proceedings of the 11th Annual Conference on Computer Graphics and Interactive Techniques, ACM Press, 253-259, 1984）（参照により本明細書中に援用される））。Porter及びDuffは、ピンホールカメラの場合、Ｂの正面にある（又はPorter及びDuffの表記によれば、その「上」にある）αＦの画像は、次式の直線補間により与えられることを示す。
【００２８】
【数１】
2007288784.tif 000003
【００２９】
Porter及びDuffによるα及び合成の定義は、サブピクセル単位のカバレッジにしか当てはまらない。すなわち、前景物体が不透明であり、モーションブラーにより、又は前景物体のシルエットが画素内にあるために各画素を部分的に遮蔽するとき（すなわち、従来のサブピクセル単位のカバレッジ）である。Porter及びDuffによる定義は、画像をぼかし各画素において補間パラメータを変更することによって焦点のずれ（すなわち、画素からの光線の「光束」のサブアパーチャ単位のカバレッジ）をモデル化するように拡張することができる。
【００３０】
αはリアルタイムレンダリング及びコンピュータグラフィックスにおいて、色付きのトランスペアレンシ、すなわちフィルタリングのようなものとして頻繁に用いられているが、その使用は、本明細書中において記載されるものとは異なる現象であり、式１の直線補間では正確にモデル化されない。したがって、αのこれら２つの異なる使用がここで厳密に区別される。
【００３１】
マッティングは、そのままでは（as posed）制約不足である。目的は、α、αＦ及びＢを回復することであることを思い起こされたい。ただし、合成したものＩＰが与えられるとＢは捨てられることが多い。式１のピンホール合成モデルでは、色（ｒｇｂ）について７つの未知数（Ｆｒ，Ｆｇ，Ｆｂ，α，Ｂｒ，Ｂｇ，Ｂｂ）があり、制約は３つ（ＩＰｒ，ＩＰｇ，ＩＰｂ）しかないため、各合成画像に固有のシーンがない。したがって、本発明による偏光マッティング法はこの問題を制約する。
【００３２】
マッティング法
本発明の実施形態によるマッティング法は、異なる光の偏光を測定する画像対Ｉ１１４１及びＩ２１５１、並びに偏光を生成する背景１１０を使用することによってマッティング問題を制約する。
【００３３】
例えば、次式のように、２つの対の各々の第１の画像Ｉ１及びＢ１は垂直偏光を測定し、各対の第２の画像Ｉ２及びＢ２は水平偏光を測定する。
【００３４】
【数２】
2007288784.tif 000004
【００３５】
事前に記録されている背景画像Ｂ１及びＢ２は既知であるため、本方法は、画像（Ｉ１及びＩ２）並びに（Ｂ１及びＢ２）を合成し、未知数α及びＦを解くことによってα及びＦを直接求める。式２及び式３を結合することによって、図６Ａ及び図６Ｂに示すように、アルファマット１７０の式
【００３６】
【数３】
2007288784.tif 000005
【００３７】
及びアルファ乗算済みの前景画像１７１の式
【００３８】
【数４】
2007288784.tif 000006
【００３９】
が得られる。別法として、‖Ｂ１−Ｂ２‖はユーザ指定の定数であるとみなすことができる。同様に、（Ｂ１−Ｂ２）もまたユーザ指定とすることができる。したがって、それらを明示的に測定する必要はない。
【００４０】
本発明を好ましい実施の形態の例として説明してきたが、本発明の精神及び範囲内で様々な他の適応及び修正を行うことができることが理解される。したがって、添付の特許請求の範囲の目的は、本発明の真の精神及び範囲に入るそのような変形及び修正をすべて網羅することである。
【図面の簡単な説明】
【００４１】
【図１】本発明の一つの実施の形態による、非偏光状態の光を用いてアルファマットを抽出するためのカメラシステムのブロック図である。
【図２】本発明の別の実施の形態による、非偏光状態の光を用いてアルファマットを抽出するためのカメラシステムのブロック図である。
【図３】本発明のさらに別の実施の形態による、非偏光状態の光を用いてアルファマットを抽出するためのカメラシステムのブロック図である。
【図４】本発明のさらに別の実施の形態による、非偏光状態の光を用いてアルファマットを抽出するためのカメラシステムのブロック図である。
【図５Ａ】本発明の一つの実施の形態による、背景上の空間的に配置された偏光フィルタのブロック図である。
【図５Ｂ】本発明の別の実施の形態による、背景上の空間的に配置された偏光フィルタのブロック図である。
【図５Ｃ】本発明のさらに別の実施の形態による、背景上の空間的に配置された偏光フィルタのブロック図である。
【図６Ａ】本発明の一実施の形態による、アルファマット及びアルファ乗算済みの前景を得るための一対の画像の合成のブロック図である。
【図６Ｂ】本発明の一実施の形態による、アルファマット及びアルファ乗算済みの前景を得るための一対の画像の合成のブロック図である。
【図１】
2007288784.tif 000009
【図２】
2007288784.tif 000010
【図３】
2007288784.tif 000011
【図４】
2007288784.tif 000012
【図５Ａ】
2007288784.tif 000013
【図５Ｂ】
2007288784.tif 000014
【図５Ｃ】
2007288784.tif 000015
【図６Ａ】
2007288784.tif 000016
【図６Ｂ】
2007288784.tif 000017
【外国語明細書】
2007288784.tif 000018
2007288784.tif 000019
2007288784.tif 000020
2007288784.tif 000021
2007288784.tif 000022
2007288784.tif 000023
2007288784.tif 000024
2007288784.tif 000025
2007288784.tif 000026
2007288784.tif 000027
2007288784.tif 000028
2007288784.tif 000029
2007288784.tif 000030
2007288784.tif 000031
2007288784.tif 000032
2007288784.tif 000033
2007288784.tif 000034
2007288784.tif 000035
2007288784.tif 000036
2007288784.tif 000037
2007288784.tif 000038