(57)【要約】　　　（修正有）【課題】任意の照明を有する現実的なシーンでコンピュータグラフィックスモデルをレンダリングできるように、さまざまな照明条件下において、任意の材質で作られているオブジェクトからコンピュータグラフィックスモデルを自動的に生成する。【解決手段】まず、複数の視点についてのオブジェクトのアルファマットを取得することにより、３次元オブジェクトをモデル化する。次に、アルファマットは、オブジェクトを完全に囲む表面ハルに投影され、オブジェクトの表面の不透明値を記憶する不透明ハルが構築される。オブジェクトは、画像が取得されている間、さまざまな照明条件で照明される。画像は、不透明ハルに投影され、任意の視点についての任意の照明条件下のオブジェクトがレンダリングされる。【選択図】　　　　図３
2004133888.tif 000002
【特許請求の範囲】
【請求項１】
３次元オブジェクトをモデル化する方法であって、
複数の視点について、前記オブジェクトのアルファマットを取得することと、
前記オブジェクトを完全に囲む、該オブジェクトの表面ハルを取得することと、
前記アルファマットを前記表面ハルに投影して、前記オブジェクトの前記表面の不透明値を記憶する不透明ハルを構築することと
を含む方法。
【請求項２】
着色されたパターンを有するバックライトの参照画像の組を複数のカメラによって取得することと、
前記着色されたパターンを有する前記バックライトにより、回転するオブジェクトを照射している間、該回転するオブジェクトのオブジェクト画像の組を、前記複数のカメラによってそれぞれ取得することと、
前記対応するアルファマットを生成するに、前記参照画像およびそれぞれの前記オブジェクト画像を結合することと
を含む請求項１に記載の方法。
【請求項３】
対応する２値シルエット画像を得るに、前記アルファマットを閾値処理することと、
前記シルエット画像から前記表面ハルを構築することと
をさらに含む請求項１に記載の方法。
【請求項４】
前記オブジェクトのシルエット内部の前記２値シルエット画像の穴を満たすこと、
をさらに含む請求項２に記載の方法。
【請求項５】
前記アルファマットは、パッシブなコンピュータビジョン処理によって取得される、請求項１に記載の方法。
【請求項６】
前記表面ハルは、レーザレンジ読み取りによって取得される、請求項１に記載の方法。
【請求項７】
前記表面ハルは、前記オブジェクトを取り囲む近似のバウンディングボックスである、請求項１に記載の方法。
【請求項８】
前記表面ハルは、表面点のモデルとして表される、請求項１に記載の方法。
【請求項９】
前記バックライトは、前記複数のカメラに対して前記オブジェクトの背後にあるバックライトと、前記オブジェクトの下にあるボトムライトとを含む、請求項２に記載の方法。
【請求項１０】
前記バックライトは、スクリーンプラズマモニタである、請求項２に記載の方法。
【請求項１１】
前記画像の組を取得している間、回転盤により前記オブジェクトを回転させること、
をさらに含む請求項２に記載の方法。
【請求項１２】
前記画像の組は、前記オブジェクトが、前記カメラと、前記オブジェクトの背後にある前記バックライトに直接対向した垂直面との間で前景となるように、前記バックライトに一様に向けられた半球の仰角に沿って等間隔で配置された複数のカメラによって取得される、請求項２に記載の方法。
【請求項１３】
前記オブジェクトは、前記複数の異なる視点から前記アルファマットを得るために回転される、請求項１に記載の方法。
【請求項１４】
前記組のそれぞれの画像は、指数関数的に増加する露光時間を有する複数の高ダイナミックレンジフレームから取得される、請求項２に記載の方法。
【請求項１５】
それぞれの表面点についてのアルファスフィアＡを記憶することをさらに含み、
Ａ（ｐ，ｗ）が、ある特定の表面点ｐにおいて外部を指す方向ｗから見た場合の不透明値αｐである、
請求項１に記載の方法。
【請求項１６】
前記不透明ハルを出力デバイス上にレンダリングすること、
をさらに含む請求項１に記載の方法。
【請求項１７】
前記レンダリングは、ｋ最近傍補間を使用して、任意の視点からの前記不透明ハルをレンダリングする、請求項１６に記載の方法。
【請求項１８】
回転する前記オブジェクトをオーバヘッドライトで照射している間、該回転するオブジェクトの放射輝度画像の組を取得すること
をさらに含む請求項２に記載の方法。
【請求項１９】
前記オーバヘッドライトは、固定されている、請求項１８に記載の方法。
【請求項２０】
前記オーバヘッドライトは、結合されて前記オブジェクトと共に回転し、前記オブジェクトの表面点についての放射輝度サンプルのコヒーレント性を提供する、請求項１８に記載の方法。
【請求項２１】
前記放射輝度の画像および前記不透明ハルは、ｋ最近傍補間を使用して任意の視点からレンダリングされる、請求項１８に記載の方法。
【請求項２２】
複数の回転するオーバヘッドライトで回転する前記オブジェクトを照射している間、それぞれのライトが順次点灯され、かつ、画像が前記複数のカメラのそれぞれによって取り込まれるそれぞれの回転位置についての、回転する前記オブジェクトの屈折画像の組を前記複数のカメラによって取得すること
をさらに含む請求項２に記載の方法。
【請求項２３】
ストライプのパターンを有する前記バックライトで前記回転するオブジェクトを照射している間、該回転するオブジェクトの屈折画像の組を前記複数のカメラによって取得すること、
をさらに含む請求項２に記載の方法。
【請求項２４】
前記屈折画像の組で前記不透明ハルをレンダリングすること、
をさらに含む請求項２３に記載の方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、総括的には、コンピュータグラフィックスに関し、より具体的には、３次元物理オブジェクト（３次元対象物）の画像を取得し、取得した画像を使用して現実的なシーンにレンダリングすることができる３Ｄコンピュータグラフィックスのモデルを生成することに関する。
【０００２】
【従来の技術】
３次元コンピュータグラフィックスのモデルは、多くのコンピュータグラフィックスの用途で使用される。手動で３Ｄモデルを生成することは、時間を要する作業であり、多くの実用的な用途にとってボトルネックの原因となる。複雑な形状をモデル化することの困難さに加えて、従来技術のパラメトリック反射モデルを使用して複雑なオブジェクトの幾何学図形および外観を複製することは不可能であることが多い。
【０００３】
驚くことではないが、物理オブジェクトを読み取る、または画像化することにより、３Ｄモデルを自動的に生成するシステムの重要性は、非常に増大してきた。理想的なシステムは、オブジェクトの形状および外観を自動的に取得し、そして、任意の新しい照明を有する任意の現実的なシーンに配置できる詳細な３Ｄモデルを構築するであろう。
【０００４】
最近、この目標に向けて多くの研究が行われてきているが、これまでのシステムのいずれも、これらの要件のすべてを満たしているわけではない。ほとんどの市販のシステムを含む多くのシステムは、正確な形状を取り込むことに焦点を合わせているが、正確な外観を取得することを無視している。他の方法は、３Ｄオブジェクトの反射特性を取り込み、これらの特性をパラメトリック双方向反射分布関数（ＢＲＤＦ）（Ｂｉ−ｄｉｒｅｃｔｉｏｎａｌ　ｒｅｆｌｅｃｔａｎｃｅ　ｄｉｓｔｒｉｂｕｔｉｏｎ　ｆｕｎｃｔｉｏｎ）に適合させる。しかしながら、それらの方法は、複雑な異方性ＢＲＤＦには機能せず、相互反射、自己遮蔽、透光性、サブサーフェス光散乱（ｓｕｂ−ｓｕｒｆａｃｅ　ｌｉｇｈｔ　ｓｃａｔｔｅｒｉｎｇ）、または屈折といった重要な外観の効果のモデル化を行わない。
【０００５】
また、複雑なオブジェクトを取得し、表現する多数の画像ベースの方法も存在する。しかし、それらは、３Ｄ形状モデルを欠くか、正確な３Ｄ幾何学図形を前提とするか、新しい任意の照明下でのオブジェクトのレンダリングを可能としていないか、または単一の視点に制限されているかのいずれかである。これらシステムのすべては、かなりの手動操作を伴う。
【０００６】
物理オブジェクトから高品質の３Ｄ形状を取得する多くの方法が存在し、これらの方法には、接触型デジタイザ（ｃｏｎｔａｃｔ　ｄｉｇｉｔｉｚｅｒ）、パッシブステレオ奥行き抽出（ｐａｓｓｉｖｅ　ｓｔｅｒｅｏ　ｄｅｐｔｈ−ｅｘｔｒａｃｔｉｏｎ）、およびアクティブな光画像システム（ａｃｔｉｖｅ　ｌｉｇｈｔ　ｉｍａｇｉｎｇ　ｓｙｓｔｅｍ）が含まれる。パッシブデジタイザは、デジタル化されるオブジェクトが十分なテクスチャを有しない場合に無力である。ほとんどすべてのパッシブな方法は、ＢＲＤＦが均等拡散（Ｌａｍｂｅｒｔｉａｎ）であるか、または、ＢＲＤＦが表面全体にわたって変化しないと仮定する。
【０００７】
Ｍａｇｄａ等は、「Ｂｅｙｏｎｄ　Ｌａｍｂｅｒｔ：　Ｒｅ−ｃｏｎｓｔｒｕｃｔｉｎｇ　Ｓｕｒｆａｃｅｓ　ｗｉｔｈ　Ａｒｂｉｔｒａｒｙ　ＢＲＤＦｓ」Ｐｒｏｃ．　ｏｆ　ＩＥＥＥ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ　ＩＣＣＶ，　２００１において、ヘルムホルツ相反（Ｈｅｌｍｈｏｌｔｚ　ｒｅｃｉｐｒｏｃｉｔｙ）を使用して、任意のＢＲＤＦによりオブジェクトから奥行きマップを抽出する立体視方法を記述している。しかしながら、彼らの方法は、滑らかなオブジェクトに対して強くはない。さらに、彼らの方法は、相互反射および自己遮蔽を考慮していない。
【０００８】
レーザレンジスキャナといったアクティブな光システムは、非常によく知られ、この分野で大きなモデルを取得するために使用されてきた。これについては、Ｌｅｖｏｙ等著「Ｔｈｅ　Ｄｉｇｉｔａｌ　Ｍｉｃｈｅｌａｎｇｅｌｏ　Ｐｒｏｊｅｃｔ：　３Ｄ　Ｓｃａｎｎｉｎｇ　ｏｆ　Ｌａｒｇｅ　Ｓｔａｔｕｅｓ」Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ，　ＳＩＧＧＲＡＰＨ　２０００　Ｐｒｏｃｅｅｄｉｎｇｓ，　ｐｐ．　１３１−１４４，　２０００およびＲｕｓｈｍｅｉｅｒ等著「Ａｃｑｕｉｒｉｎｇ　Ｉｎｐｕｔ　ｆｏｒ　Ｒｅｎｄｅｒｉｎｇ　ａｔ　Ａｐｐｒｏｐｒｉａｔｅ　Ｌｅｖｅｌｓ　ｏｆ　Ｄｅｔａｉｌ：　Ｄｉｇｉｔｉｚｉｎｇ　ａ　Ｐｉｅｔ’ａ」Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　９ｔｈ　Ｅｕｒｏｇｒａｐｈｉｃｓ　Ｗｏｒｋｓｈｏｐ　ｏｎ　Ｒｅｎｄｅｒｉｎｇ，　ｐｐ．　８１−９２，　１９９８を参照されたい。
【０００９】
アクティブな光システムは、別々に取得され、読み取られたメッシュを一列に並べる位置合わせステップを必要とすることが多い。これについては、Ｃｕｒｌｅｓｓ等著「Ａ　Ｖｏｌｕｍｅｔｒｉｃ　Ｍｅｔｈｏｄ　ｆｏｒ　Ｂｕｉｌｄｉｎｇ　Ｃｏｍｐｌｅｘ　Ｍｏｄｅｌｓ　ｆｒｏｍ　Ｒａｎｇｅ　Ｉｍａｇｅｓ」Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ，　ＳＩＧＧＲＡＰＨ　９６　Ｐｒｏｃｅｅｄｉｎｇｓ，　ｐｐ．　３０３−３１２，　１９９６、および、Ｔｕｒｋ等著「Ｚｉｐｐｅｒｅｄ　Ｐｏｌｙｇｏｎ　Ｍｅｓｈｅｓ　ｆｒｏｍ　Ｒａｎｇｅ　Ｉｍａｇｅｓ」Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ，　ＳＩＧＧＲＡＰＨ　９４　Ｐｒｏｃｅｅｄｉｎｇｓ，　ｐｐ．　３１１−３１８，　１９９４を参照されたい。あるいは、読み取られた幾何学図形は、別々に取得されたテクスチャ画像と一列に並べられる。これについては、Ｂｅｒｎａｒｄｉｎｉ等著「Ｈｉｇｈ−Ｑｕａｌｉｔｙ　Ｔｅｘｔｕｒｅ　Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ　ｆｒｏｍ　Ｍｕｌｔｉｐｌｅ　Ｓｃａｎｓ」ＩＥＥＥ　Ｔｒａｎｓ．　ｏｎ　Ｖｉｓ．　ａｎｄ　Ｃｏｍｐ．　Ｇｒａｐｈ．，　７（４）：３１８−３３２，　２００１を参照されたい。
【００１０】
その上、多くの場合、欠けているデータによるギャップを満たす必要がある。画像システムの照準線に沿って表面カラーの推定値を取得するために、複数のレーザを使用するシステムが構築されてきた。しかしながら、それらのシステムは、現実的な照明の下でオブジェクトを取り込むためには役に立たない。Ｈａｗｋｉｎｓ等によって、「Ａ　Ｐｈｏｔｏｍｅｔｒｉｃ　Ａｐｐｒｏａｃｈ　ｔｏ　Ｄｉｇｉｔｉｚｉｎｇ　Ｃｕｌｔｕｒａｌ　Ａｒｔｉｆａｃｔｓ」２ｎｄ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｓｙｍｐｏｓｉｕｍ　ｏｎ　Ｖｉｒｔｕａｌ　Ｒｅａｌｉｔｙ，　Ａｒｃｈａｅｏｌｏｇｙ，　ａｎｄ　ＣｕｌｔｕｒａｌＨｅｒｉｔａｇｅ，　２００１に詳述されるように、すべてのアクティブな光システムでは、読み取ることができる材質のタイプに制約がある。
【００１１】
任意の材質により構成されるオブジェクトをレンダリングするには、画像ベースのレンダリングを使用することができる。画像ベースの表現は、オブジェクトの幾何学図形および外観の複雑さに関係なく、オブジェクトを取り込み、表現するという利点を有する。従来技術の画像ベースの方法は、対応情報を使用してシーン内をナビゲーションすることを可能にしていた。これについては、Ｃｈｅｎ等著「Ｖｉｅｗ　Ｉｎｔｅｒｐｏｌａｔｉｏｎ　ｆｏｒ　Ｉｍａｇｅ　Ｓｙｎｔｈｅｓｉｓ」Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ，　ＳＩＧＧＲＡＰＨ　９３Ｐｒｏｃｅｅｄｉｎｇｓ，　ｐｐ．　２７９−２８８，　１９９３およびＭｃＭｉｌｌａｎ等著「Ｐｌｅｎｏｐｔｉｃ　Ｍｏｄｅｌｉｎｇ：　Ａｎ　Ｉｍａｇｅ−Ｂａｓｅｄ　Ｒｅｎｄｅｒｉｎｇ　Ｓｙｓｔｅｍ」Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ，　ＳＩＧＧＲＡＰＨ　９５　Ｐｒｏｃｅｅｄｉｎｇｓ，　ｐｐ．　３９−４６，　１９９５を参照されたい。この方法は、３Ｄオブジェクトのモデルを構築しないので、厳しく制約される。
【００１２】
ライトフィールド（光照射野（ｌｉｇｈｔ　ｆｉｅｌｄ））の方法は、幾何学情報は用いないが、増加した個数の画像を用いて、同様の結果を達成する。これについては、Ｇｏｒｔｌｅｒ等著「Ｔｈｅ　Ｌｕｍｉｇｒａｐｈ」Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ，　ＳＩＧＧＲＡＰＨ　９６　Ｐｒｏｃｅｅｄｉｎｇｓ，　ｐｐ．　４３−５４，　１９９６およびＬｅｖｏｙ等著「Ｌｉｇｈｔ　Ｆｉｅｌｄ　Ｒｅｎｄｅｒｉｎｇ」Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ，　ＳＩＧＧＲＡＰＨ　９６　Ｐｒｏｃｅｅｄｉｎｇｓ，　ｐｐ．　３１−４２，　１９９６を参照されたい。Ｇｏｒｔｌｅｒ等によって記載されるように、それらの方法の最もよいものは、改良された光線補間のために、オブジェクトのビジュアルハル（ｖｉｓｕａｌ　ｈｕｌｌ）を含んでいる。しかしながら、それらの方法は、静止した照明を使用し、新しい任意の現実的なシーンにオブジェクトを正確にレンダリングすることができない。
【００１３】
純粋なモデルベースの方法と純粋な画像ベースの方法との間の中間的な方法は、視点依存型テクスチャマッピングを使用する。これについては、Ｄｅｂｅｖｅｃ等著「Ｍｏｄｅｌｉｎｇ　ａｎｄ　Ｒｅｎｄｅｒｉｎｇ　Ａｒｃｈｉｔｅｃｔｕｒｅ　ｆｒｏｍ　Ｐｈｏｔｏｇｒａｐｈｓ：　Ａ　Ｈｙｂｒｉｄ　Ｇｅｏｍｅｔｒｙ−　ａｎｄ　Ｉｍａｇｅ−Ｂａｓｅｄ　Ａｐｐｒｏａｃｈ」Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ，　ＳＩＧＧＲＡＰＨ　９６　Ｐｒｏｃｅｅｄｉｎｇｓ，ｐｐ．　１１−２０，　１９９６、Ｄｅｂｅｖｅｃ等著「Ｅｆｆｉｃｉｅｎｔ　Ｖｉｅｗ−Ｄｅｐｅｎｄｅｎｔ　Ｉｍａｇｅ−Ｂａｓｅｄ　Ｒｅｎｄｅｒｉｎｇ　ｗｉｔｈ　Ｐｒｏｊｅｃｔｉｖｅ　Ｔｅｘｔｕｒｅ−Ｍａｐｐｉｎｇ」Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　９ｔｈ　Ｅｕｒｏｇｒａｐｈｉｃｓ　Ｗｏｒｋｓｈｏｐ　ｏｎ　Ｒｅｎｄｅｒｉｎｇ，　ｐｐ．　１０５−１１６，　１９９８、およびＰｕｌｌｉ等著「Ｖｉｅｗ−ＢａｓｅｄＲｅｎｄｅｒｉｎｇ：　Ｖｉｓｕａｌｉｚｉｎｇ　Ｒｅａｌ　Ｏｂｊｅｃｔｓ　ｆｒｏｍ　Ｓｃａｎｎｅｄ　Ｒａｎｇｅ　ａｎｄ　Ｃｏｌｏｒ　Ｄａｔａ」Ｅｕｒｏｇｒａｐｈｉｃｓ　Ｒｅｎｄｅｒｉｎｇ　Ｗｏｒｋｓｈｏｐ　１９９７，　ｐｐ．　２３−３４，　１９９７を参照されたい。それらは、単純な幾何学図形およびまばらなテクスチャデータを結合して、画像間を正確に補間する。それらの方法は、それらの近似した３Ｄ形状にもかかわらず効果的であるが、それらは、比較的少ない個数のテクスチャマップのために、高い反射率の鏡面に対して制約がある。
【００１４】
表面ライトフィールド（ｓｕｒｆａｃｅ　ｌｉｇｈｔ　ｆｉｅｌｄ）は、視点依存型テクスチャマップのより一般的で、より効率的な表現と考えることができる。これについては、Ｎｉｓｈｉｎｏ等著「Ｅｉｇｅｎ−Ｔｅｘｔｕｒｅ　Ｍｅｔｈｏｄ：　Ａｐｐｅａｒａｎｃｅ　Ｃｏｍｐｒｅｓｓｉｏｎ　ｂａｓｅｄ　ｏｎ　３Ｄ　Ｍｏｄｅｌ」Ｐｒｏｃ．　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ　ａｎｄ　Ｐａｔｔｅｒｎ　Ｒｅｃｏｇｎｉｔｉｏｎ，　ｐｐ．　６１８−６２４，　１９９９、Ｍｉｌｌｅｒ等著「Ｌａｚｙ　Ｄｅｃｏｍｐｒｅｓｓｉｏｎ　ｏｆ　Ｓｕｒｆａｃｅ　Ｌｉｇｈｔ　Ｆｉｅｌｄｓ　ｆｏｒ　Ｐｒｅｃｏｍｐｕｔｅｄ　Ｇｌｏｂａｌ　Ｉｌｌｕｍｉｎａｔｉｏｎ」Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　９ｔｈ　Ｅｕｒｏｇｒａｐｈｉｃｓ　Ｗｏｒｋｓｈｏｐ　ｏｎ　Ｒｅｎｄｅｒｉｎｇ，　ｐｐ．　２８１−２９２，　１９９８、Ｎｉｓｈｉｎｏ等著「Ａｐｐｅａｒａｎｃｅ　Ｃｏｍｐｒｅｓｓｉｏｎ　ａｎｄ　Ｓｙｎｔｈｅｓｉｓ　ｂａｓｅｄ　ｏｎ　３Ｄ　Ｍｏｄｅｌ　ｆｏｒ　Ｍｉｘｅｄ　Ｒｅａｌｉｔｙ」Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ＩＥＥＥ　ＩＣＣＶ　’９９，　ｐｐ．　３８−４５，　１９９９、Ｇｒｚｅｓｚｃｚｕｋ著「Ａｃｑｕｉｓｉｔｉｏｎ　ａｎｄ　Ｖｉｓｕａｌｉｚａｔｉｏｎ　ｏｆ　Ｓｕｒｆａｃｅ　Ｌｉｇｈｔ　Ｆｉｅｌｄｓ」Ｃｏｕｒｓｅ　Ｎｏｔｅｓ，　ＳＩＧＧＲＡＰＨ　２００１，　２００１、およびＷｏｏｄ等著「Ｓｕｒｆａｃｅ　Ｌｉｇｈｔ　Ｆｉｅｌｄ　ｆｏｒ　３Ｄ　Ｐｈｏｔｏｇｒａｐｈｙ」Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ，　ＳＩＧＧＲＡＰＨ　２０００　Ｐｒｏｃｅｅｄｉｎｇｓ，　ｐｐ．　２８７−２９６，　２０００を参照されたい。Ｗｏｏｄ等は、正確な高密度幾何学図形の表面ライトフィールドのデータを記憶する一方、Ｎｉｓｈｉｎｏ等は、より粗い３角形のメッシュを、幾何学的複雑さの低いオブジェクトに使用する。
【００１５】
表面ライトフィールドは、相互反射および自己遮蔽といった重要なグローバル照明効果（大域照明効果（ｇｌｏｂａｌ　ｌｉｇｈｔｉｎｇ　ｅｆｆｅｃｔ））を再現することができる。表面ライトフィールドにより生成される画像は、通常、固定された照明条件下のオブジェクトを示す。この制限を克服するために、インバースレンダリング（ｉｎｖｅｒｓｅ　ｒｅｎｄｅｒｉｎｇ）方法が、オブジェクトの画像および幾何学形状から表面ＢＲＤＦを推定する。
【００１６】
コンパクトなＢＲＤＦ表現を達成するために、ほとんど方法は、パラメトリック反射モデルを画像データに適合させる。これについては、Ｌｅｎｓｃｈ等著「Ｉｍａｇｅ−Ｂａｓｅｄ　Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ　ｏｆ　Ｓｐａｔｉａｌｌｙ　Ｖａｒｙｉｎｇ　Ｍａｔｅｒｉａｌｓ」Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　１２ｔｈ　Ｅｕｒｏｇｒａｐｈｉｃｓ　Ｗｏｒｋｓｈｏｐ　ｏｎ　Ｒｅｎｄｅｒｉｎｇ，　２００１、Ｓａｔｏ等著「Ｏｂｊｅｃｔ　Ｓｈａｐｅ　ａｎｄ　Ｒｅｆｌｅｃｔａｎｃｅ　Ｍｏｄｅｌｉｎｇ　ｆｒｏｍ　Ｏｂｓｅｒｖａｔｉｏｎ」Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ，　ＳＩＧＧＲＡＰＨ　９７　Ｐｒｏｃｅｅｄｉｎｇｓ，　ｐｐ．　３７９−３８７，　１９９７、およびＹｕ等著「Ｉｎｖｅｒｓｅ　Ｇｌｏｂａｌ　Ｉｌｌｕｍｉｎａｔｉｏｎ：　Ｒｅｃｏｖｅｒｉｎｇ　Ｒｅｆｌｅｃｔａｎｃｅ　Ｍｏｄｅｌｓ　ｏｆ　Ｒｅａｌ　Ｓｃｅｎｅｓ　ｆｒｏｍ　Ｐｈｏｔｏｇｒａｐｈｓ」Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ，　ＳＩＧＧＲＡＰＨ　９９　Ｐｒｏｃｅｅｄｉｎｇｓ，　ｐｐ．　２１５−２２４，　１９９４を参照されたい。
【００１７】
Ｓａｔｏ等およびＹｕ等は、ＢＲＤＦの鏡面部分が、オブジェクトの大きな領域上で一定である一方、拡散成分が、より高速に変化すると仮定する。Ｌｅｎｓｃｈ等は、Ｌａｆｏｒｔｕｎｅ　ＢＲＤＦモデルをオブジェクト表面のそれぞれの点に適合させる。しかしながら、単純なパラメトリックＢＲＤＦは、実際のシーンに見られる広範囲の反射を表現することができない。Ｈａｗｋｉｎｇｓ等によって記載されたように、グラス、毛皮、毛髪、布、葉、または羽毛の特徴を有するオブジェクトは、このように表現することが非常に困難であるか、または不可能である。
【００１８】
代替的な方法は、画像ベースであって、パラメトリックでない表現をオブジェクトの反射に対して使用する。これについては、Ｍａｒｓｃｈｎｅｒ等著「Ｉｍａｇｅ−ｂａｓｅｄ　ＢＲＤＦ　Ｍｅａｓｕｒｅｍｅｎｔ　Ｉｎｃｌｕｄｉｎｇ　Ｈｕｍａｎ　Ｓｋｉｎ」Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　１０ｔｈ　Ｅｕｒｏｇｒａｐｈｉｃｓ　Ｗｏｒｋｓｈｏｐ　ｏｎ　Ｒｅｎｄｅｒｉｎｇ，　ｐｐ．　１３９−１５２，　１９９９を参照されたい。彼らは、表形式のＢＲＤＦ表現を使用し、凸面のオブジェクトの反射特性をデジタルカメラを用いて測定する。彼らの方法は、均一なＢＲＤＦを有するオブジェクトに制限され、彼らは、３Ｄレンジスキャナによって生じる幾何学的エラー（ｇｅｏｍｅｔｒｉｃ　ｅｒｒｏｒ）に関連する問題に陥っている。画像ベースの再照明法（リライティング（ｒｅｌｉｇｈｔｉｎｇ））は、表面反射がランバート性であると仮定することにより、実際の人間の顔にも適用することができる。これについては、Ｇｅｏｒｇｈｉａｄｅｓ等著「Ｉｌｌｕｍｉｎａｔｉｏｎ−Ｂａｓｅｄ　Ｉｍａｇｅ　Ｓｙｎｔｈｅｓｉｓ：　Ｃｒｅａｔｉｎｇ　Ｎｏｖｅｌ　Ｉｍａｇｅｓ　ｏｆ　Ｈｕｍａｎ　Ｆａｃｅｓ　ｕｎｄｅｒ　Ｄｉｆｆｅｒｉｎｇ　Ｐｏｓｅ　ａｎｄ　Ｌｉｇｈｔｉｎｇ」ＩＥＥＥ　Ｗｏｒｋｓｈｏｐ　ｏｎ　Ｍｕｌｔｉ−Ｖｉｅｗ　Ｍｏｄｅｌｉｎｇ　ａｎｄ　Ａｎａｌｙｓｉｓ　ｏｆ　Ｖｉｓｕａｌ　Ｓｃｅｎｅｓ，　ｐｐ．　４７−５４，　１９９９を参照されたい。
【００１９】
より最近のアプローチは、画像データベースを使用して、完全なＢＲＤＦ（ｆｕｌｌ　ＢＲＤＦ）を取得することなく、固定された視点からのオブジェクトのモデルを再照明（リライト（ｒｅ−ｌｉｇｈｔ））する。これについては、Ｄｅｂｅｖｅｃ等著「Ａｃｑｕｉｒｉｎｇ　ｔｈｅ　Ｒｅｆｌｅｃｔａｎｃｅ　Ｆｉｅｌｄ　ｏｆ　ａ　Ｈｕｍａｎ　Ｆａｃｅ」Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ，　ＳＩＧＧＲＡＰＨ　２０００　Ｐｒｏｃｅｅｄｉｎｇｓ，　ｐｐ．　１４５−１５６，　２０００、Ｈａｗｋｉｎｓ等著「Ａ　Ｐｈｏｔｏｍｅｔｒｉｃ　Ａｐｐｒｏａｃｈ　ｔｏ　Ｄｉｇｉｔｉｚｉｎｇ　Ｃｕｌｔｕｒａｌ　Ａｒｔｉｆａｃｔｓ」２ｎｄ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｓｙｍｐｏｓｉｕｍ　ｏｎ　Ｖｉｒｔｕａｌ　Ｒｅａｌｉｔｙ，　Ａｒｃｈａｅｏｌｏｇｙ，　ａｎｄ　Ｃｕｌｔｕｒａｌ　Ｈｅｒｉｔａｇｅ，　２００１、Ｋｏｕｄｅｌｋａ等著「Ｉｍａｇｅ−ｂａｓｅｄ　Ｍｏｄｅｌｉｎｇ　ａｎｄ　Ｒｅｎｄｅｒｉｎｇ　ｏｆ　Ｓｕｒｆａｃｅｓ　ｗｉｔｈ　Ａｒｂｉｔｒａｒｙ　ＢＲＤＦｓ」Ｐｒｏｃ．　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ　ａｎｄ　Ｐａｔｔｅｒｎ　Ｒｅｃｏｇｎｉｔｉｏｎ，　２００１、およびＭａｌｚｂｅｎｄｅｒ等著「Ｐｏｌｙｎｏｍｉａｌ　Ｔｅｘｔｕｒｅ　Ｍａｐｓ」Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ，　ＳＩＧＧＲＡＰＨ　２００１　Ｐｒｏｃｅｅｄｉｎｇｓ，　ｐｐ．　５１９−５２８，　２００１を参照されたい。
【００２０】
それらは、固定されたカメラ位置を有する照明ステージ（ｌｉｇｈｔ　ｓｔａｇｅ）および回転する光源を使用して、人間の顔または文化遺物の反射フィールド（ｒｅｆｌｅｃｔａｎｃｅ　ｆｉｅｌｄ）を取得する。Ｍａｌｚｂｅｎｄｅｒ等により記述された多項式テクスチャマップシステムは、ほぼ平面の幾何学図形および乱反射特性を有するオブジェクトに対して同様の技術を使用する。Ｋｏｕｄｅｌｋａ等は、Ｄｅｂｅｖｅｃ等と本質的に同じ方法を使用して、任意のＢＲＤＦによりオブジェクトをレンダリングする。それら反射フィールドのアプローチは、単一の視点からのレンダリングに制限される。Ｄｅｂｅｖｅｃ等では、皮膚反射のパラメトリックモデルは、データに適合して、任意の方向からの視野を合成する。Ｋａｕｄｅｌｋａ等に記述されているように、そのアプローチは、複雑な材質に一般化されない。
【００２１】
従来技術では、オブジェクトの表面反射フィールド（ｓｕｒｆａｃｅ　ｒｅｆｌｅｃｔａｎｃｅ　ｆｉｅｌｄ）は、照明のすべての可能な入射フィールドの下で、表面からの放射光として定義される。反射という用語にもかかわらず、表面反射フィールドは、表面テクスチャまたは外観、屈折、拡散、サブサーフェス散乱、および非均一な材質変化を含むすべての可能な表面および照明効果を取り込むことに留意することは重要である。
【００２２】
Ｚｏｎｇｋｅｒ等は、鏡のようなオブジェクトおよび透明なオブジェクトを取り込み、それらオブジェクトを任意の背景上で正確に合成する環境マッティング（ｅｎｖｉｒｏｎｍｅｎｔ　ｍａｔｔｉｎｇ）の技術を記載している。これについては、Ｚｏｎｇｋｅｒ等著「Ｅｎｖｉｒｏｎｍｅｎｔ　Ｍａｔｔｉｎｇ　ａｎｄ　Ｃｏｍｐｏｓｉｔｉｎｇ」Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ，　ＳＩＧＧＲＡＰＨ　１９９９　Ｐｒｏｃｅｅｄｉｎｇｓ，　ｐｐ．　２０５−２１４，　Ａｕｇｕｓｔ　１９９９を参照されたい。彼らのシステムは、光沢のあるオブジェクトまたは屈折性のオブジェクトを一組のコード化された光パターンで照射することにより、反射光線および屈折光線の方向および広がりを決定することができる。それらは、表面反射を２Ｄ環境マット（ｅｎｖｉｒｏｎｍｅｎｔ　ｍａｔｔｅ）にパラメータ化する。環境マッティングの拡張には、より正確な取り込み方法、および、移動するオブジェクトの実時間取り込み用の単純化され、正確さに劣る手順が含まれる。しかしながら、それらのシステムは、固定された視点についての環境マットを取り込むだけであり、それらは、オブジェクトの３Ｄ形状を再構築しない。
【００２３】
【発明が解決しようとする課題】
したがって、任意の照明を有する現実的なシーンでコンピュータグラフィックスモデルをレンダリングできるように、さまざまな照明条件下において、任意の材質で作られているオブジェクトからコンピュータグラフィックスモデルを自動的に生成することが望まれている。
【００２４】
【課題を解決するための手段】
本発明は、物理オブジェクトの高品質なグラフィカルモデルを取得し、レンダリングするシステムおよび方法を提供する。この物理オブジェクトには、従来のスキャナで取り扱うのが困難な高い反射率の鏡面材質、透明材質、または毛皮および羽毛といった毛羽立った材質から構成されるオブジェクトが含まれる。本システムは、回転盤、デジタルカメラの配列、指向性ライト（ｄｉｒｅｃｔｉｏｎａｌ　ｌｉｇｈｔ）の回転配列、およびマルチカラーバックライトを含む。本システムは、取得された画像の同じ組を使用して、オブジェクトのモデルの構築、ならびに、任意の照明および視点についてのオブジェクトのレンダリングの双方を行う。
【００２５】
本システムは、マルチバックグラウンドマッティング技法を使用して、オブジェクトを回転盤上に置くことにより複数の視点から３Ｄオブジェクトのアルファマットを取得する。アルファマットは、不透明ハル（ｏｐａｃｉｔｙ　ｈｕｌｌ）を構築するために使用される。不透明ハルは、オブジェクトの表面ハル（ｓｕｒｆａｃｅ　ｈｕｌｌ）の新しい形状モデルであり、視点依存型の不透明パラメータ化機能を有する。不透明ハルにより、複雑なオブジェクトシルエットのレンダリングおよびオブジェクトのシームレスなブレンドを任意の現実的なシーンに行うことが可能となる。
【００２６】
本発明によるコンピュータグラフィックスモデルは、放射輝度画像、反射画像、および屈折画像を取得することにより構築される。レンダリング中、表面反射モデルを使用してモデルを任意の方向から照射し、純粋な画像ベースの外観表現を生成することもできる。本システムは、任意の視点からの変化する照明の下で、表面外観を取得し、レンダリングする点においてユニークである。本システムは、完全に自動化され、使い易く、簡単な設定およびキャリブレーションを有する。オブジェクトから取得されたモデルは、人工のシーンに正確に合成することができる。
【００２７】
【発明の実施の形態】
（システム構造）
図１は、本発明により３Ｄオブジェクト１５０をモデル化し、レンダリングするシステム１００を示している。システム１００は、指向性オーバヘッドライト１１０の配列、マルチカラーバックライト１２０およびマルチカラーボトムライト１２１、カメラ１３０、ならびに回転盤１４０を含む。カメラ１３０の出力、すなわち、画像１６１〜１６６の組は、プロセッサ１６０に接続される。プロセッサ１６０は、取得されたモデル１８０を任意の現実的なシーンにレンダリングするために、出力デバイス１７０に接続することができる。カメラ１３０または回転盤１４０のいずれかを回転させて、複数の視点からオブジェクトを画像化できることに留意すべきである。回転は、サンプリングされた表面点のコヒーレント性を提供する。
【００２８】
オーバヘッドライト１１０の配列は、回転させることができる。これらのライトは、半球の仰角に沿ってほぼ等間隔に配置されている。オブジェクトを画像化している間、オーバヘッドライトを固定しておくこともできるし、一定の視点を得るためにオブジェクトの周りを回転させることもできるし、またはオブジェクトと共に回転させることもできる。ライトの配列１１０は、４つ、６つ、またはそれより多くの指向性光源を有することができる。それぞれのライトは、３２ワットのＨＭＩハロゲンランプおよび指向性光源を無限遠に近づけるための光コリメータを使用する。オーバヘッドライトは、電子電灯スイッチおよび調光器によって制御される。オーバヘッドライトがカメラによって直接見える視点に対し、カメラの画像センサが飽和しないように、調光器は設定される。これらのライトは、個別に制御することができる。
【００２９】
マルチカラーバックライトおよびボトムライト１２０〜１２１は、組み合わせて「バックライト群」と呼ばれ、任意の選択された色彩の光によってオブジェクトを照射することができる大スクリーン高解像度プラズマカラーモニタの形をとる。これら２つのプラズマモニタは、１０２４×７６８ピクセルの解像度を有する。我々は、後述するように、個々のピクセルを異なる色彩に点灯する。
【００３０】
我々は、１３６０×１０３６ピクセルのカラーＣＣＤ画像センサを有する６つのＱＩｍａｇｉｎｇ　ＱＩＣＡＭカメラ（ＱＩｍａｇｉｎｇ社のＱＩＣＡＭカメラ）を使用する。カメラ１３０は、毎秒１１フレームで最大解像度のＲＧＢ画像を取得することができる。これらのカメラは、光度測定に基づいてキャリブレーションされる。これについては、２０００年４月２４日にＢｅａｒｄｓｌｅｙによって出願された「Ｃａｌｉｂｒａｔｉｏｎ　ｏｆ　Ｍｕｌｔｉｐｌｅ　Ｃａｍｅｒａｓ　ｆｏｒ　ａ　Ｔｕｒｎｔａｂｌｅ−Ｂａｓｅｄ　３Ｄ　ｓｃａｎｎｅｒ」という発明の名称の米国特許出願第１０／１２８，８２７号を参照されたい。この米国特許出願は、本願に参照して援用される。
【００３１】
カメラ１３０は、ファイアワイヤリンクを介してプロセッサ１６０に接続される。プロセッサ１６０は、５１２ＭＢのＲＡＭを有する７００ＭＨｚのＰｅｎｔｉｕｍ　ＩＩＩ　ＰＣである。あるいは、我々は、取得されるオブジェクトのサイズに応じて、１５ｍｍまたは８ｍｍのＣマウントレンズを使用する。オブジェクトが、カメラとバックライト群との間で前景になるように、カメラ１３０も、バックライト群に一様に向けられた半球の仰角に沿って等間隔に配置される。一貫した背面照明を容易にするために、我々は、バックライト１２０と正反対に位置する同じ垂直面にカメラを粗く取り付ける。
【００３２】
デジタル化、モデル化、およびレンダリングされるオブジェクト１５０は、ボトムライト１２１の上に置かれる。ボトムライトは、回転盤１４０の上に置かれている。カメラ１３０は、さまざまな角度（視点）からオブジェクトに向けられる。一貫した背面照明を容易にするために、我々は、バックライト１２０と同じ垂直面にカメラを粗く取り付ける。バックライト１２０は、カメラの反対側に置かれ、カメラから見たときにほぼ背後からオブジェクトを照射する。ボトムライトは、オブジェクト１５０の下に置かれる。
【００３３】
（システム動作）
図２に示すように、我々の３Ｄデジタルシステム１００は、アクティブおよびパッシブな画像化プロセス２００の双方を動作中に結合する。オブジェクト１５０は、画像１６１〜１６６の組が取得されている間、回転盤上で回転される。回転は、６×３６の異なる視点からオブジェクトを画像化するように、１０度のステップで行うことができる。または、回転盤の位置をユーザ指定することができる。すべての画像が、取得されたキャリブレーションパラメータ２１１を使用して相互に位置合わせされるように、回転盤の角度位置は、再現可能である。
【００３４】
システムの動作中、カメラ１３０は、最大で６つの組の画像１６１〜１６６、すなわち、キャリブレーション画像１６１、参照画像１６２、オブジェクト画像１６３、放射輝度画像１６４、反射画像１６５、および屈折画像１６６をそれぞれ取得する。画像の処理は、図示するような順序で行われるべきではあるが、取得の順序は、重要ではない。キャリブレーションは、回転盤およびカメラのある特定の配置に対する前置処理ステップで一度だけ実行する必要がある。オブジェクトが回転盤に置かれた後の画像の取得および処理は、完全に自動化することができる。換言すると、モデル１８０は、完全に自動的に取得される。
【００３５】
キャリブレーション画像１６１の組は、公知のキャリブレーションパターンにより装飾されたキャリブレーションオブジェクトから取得される。参照画像１６２の組は、背景パターンが、前景オブジェクト１５０がシーンに存在しない状態でモニタ１２０〜１２１に表示されている間に取得される。オブジェクト画像１６３の組は、オブジェクト１５０がバックライトおよびボトムライトによって照射されてアルファマット（ａｌｐｈａ　ｍａｔｔ）を構築している間に取得される。放射輝度画像（ｒａｄｉａｎｃｅ　ｉｍａｇｅ）、反射画像、および屈折画像１６４〜１６６の組は、後に詳述するように、表面反射フィールド２５１を構築するために使用される。我々は、表面反射フィールドの従来の定義を使用する。この従来の定義は、照明のすべての可能な入射フィールドに基づいて、オブジェクト表面からの放射光をモデル化する。
【００３６】
我々は、４つのフレームを取得することにより、高ダイナミックレンジで画像を取得する。すべてのオブジェクトに対して、我々は、それぞれの視点からのアルファマッティング用に２つのオブジェクト画像を取得する。我々は、それぞれの視点から１つの放射輝度画像を取得し、合計６×３６×４×（２＋１）＝２５９２個の画像を取得する。我々は、それぞれの視点から４×１５個の光の方向を使用して反射画像を取得し、合計６×３６×４×（６０＋２）＝５３５６８個の画像を取得する。屈折画像は、それぞれの視点から１８個の構造化された背景画像を使用して取得され、合計６×３６×４×（１８＋２）＝１７２８０個の画像が取得される。さまざまな視点からの他の個数の画像を使用できることに留意すべきである。
【００３７】
従来技術との重要な相違は、我々のシステムが、複数の視点に対するアルファマットの抽出のため、および、本発明による不透明ハル（ｏｐａｃｉｔｙ　ｈｕｌｌ）の構築のために、マルチカラーバックライトおよびマルチカラーボトムライトを使用することである。後述するように、近似の幾何学図形および視点依存型アルファマットを利用できることにより、モデル化されるオブジェクトは、さまざまなタイプに大きく広がる。従来技術との別の重要な相違は、我々のシステムが、オーバヘッドライト、バックライト群、および回転盤の回転の組み合わせを使用して、オブジェクトの表面反射フィールドを複数の視点から取得することである。
【００３８】
他の均等なシステムを構築できることに留意すべきである。例えば、回転盤を使用する代わりに、カメラをオブジェクトの回りに回転させることもでき、複数のプラズマモニタをオブジェクトの回りに置くことができ、従来のパッシブなコンピュータビジョン技術を使用してアルファマットを取得することができる。
【００３９】
（画像取得プロセス）
（高ダイナミックレンジ画像）
我々の画像１６１〜１６２は、高ダイナミックレンジ（ＨＤＲ）（ｈｉｇｈ　ｄｙｎａｍｉｃ　ｒａｎｇｅ）技術を使用して取得される。カメラ１３０からの生の出力が利用可能であるので、露光時間と放射輝度値との関係は、動作範囲のほとんどで線形である。それぞれの視点に対して、我々は、指数関数的に増加する露光時間で４つのフレームを取り込み、最小２乗直線当てはめを使用してこの応答ラインを決定する。我々のＨＤＲイメージャは、１０ビットの精度を有する。したがって、我々が用語「画像」を使用する場合に、我々は、４つの個々のダイナミックレンジフレームから構成されるＨＤＲ画像を意味する。
【００４０】
スケールの両極端における非線形の飽和効果のために、我々は、５から１０００の範囲の強度値のみを我々の最小２乗当てはめに使用する。我々は、カメラのＣＣＤの熱雑音および固定パターン雑音によるＤＣオフセットを無視することができる。この雑音は、我々のカメラ１３０にとって無視することができる。したがって、我々は、応答ラインの傾きのみを、ピクセルごとに１つの浮動小数点数として記憶する。この画像表現は、ビューイング時における画像の所望の露出時間の指定の柔軟性を有する。
【００４１】
（キャリブレーション画像）
画像取得シーケンス２００は、キャリブレーションオブジェクトを回転盤１４０の上に置き、必要に応じて、カメラ１３０の位置および絞りを調整することにより開始する。我々は、既知のキャリブレーションオブジェクト、例えば既知のパターンを有する立方体のキャリブレーション画像１６１の組を取得する（２１０）。回転されるキャリブレーションターゲットの３６画像シーケンスが、カメラのそれぞれから取り込まれる。固有のカメラパラメータおよび付帯的なカメラパラメータ２１１が、複数のカメラを有する回転盤システムのキャリブレーション手順を使用して決定される。
【００４２】
（参照画像）
次に、我々は、マルチカラーのアルファマッティングに使用されるパターン化された背景の参照画像１６２の組を取得する（２２０）。それぞれの視点に対して、それぞれのパターン化された背景が、前景のオブジェクト１５０なしに単独で撮影される。参照画像は、キャリブレーション後に一度だけ取得される必要がある。それら参照画像は、次のオブジェクトモデル化のために記憶され、使用される。
【００４３】
（オブジェクト画像）
続いて、オブジェクト１５０は、回転盤１４０の上に置かれ、プラズマモニタ１２０〜１２１が、下および背後からパターン化された背景でオブジェクト１５０を照射している間、オブジェクト画像１６３の組が取得され（２３０）、一方で、回転盤１４０は、最初の回転を完了する。参照画像１６２およびオブジェクト画像１６３は、後述するように、アルファマットおよび不透明ハルを決定するために使用される。後述するように、我々は、１つまたは２つ以上の位相の異なる有色の背景を使用して参照画像およびオブジェクト画像を取得する。
【００４４】
（放射輝度画像）
放射輝度画像１６４の組は、オーバヘッド指向性ライト１１０の配列だけを使用して取得される（２４０）。指向性ライト１１０は、固定することもできるし、または、オブジェクトと共に回転させることもできる。共に回転させることにより、ハイライトといった視点依存型効果が、表面の同じ位置に留まるので、それぞれの表面点の放射輝度サンプルのコヒーレント性が大きくなる。１つまたは２つ以上のライトを使用することができる。周辺ライトが、放射輝度画像１６４の組に濃い影およびハイコントラストができるのを避けるために追加使用されると、我々は、最良の結果を得る。我々は、黒色の反射しない材質、例えば黒色フェルトのたれよけ布（ｄｒｏｐ−ｃｌｏｔｈｓ）でシーン内のすべての装置を覆うことにより、鏡面反射を回避する。放射輝度画像は、レンダリング中に使用することができる表面反射フィールド２５１を構築するために使用される。
【００４５】
（反射画像）
我々は、レンダリング中にオブジェクトから生成されるモデルを任意に照射したい場合、反射画像１６５の組を取得して（２５０）、表面反射フィールド２５１を構築することができる。鏡面反射を回避するために、我々は、オブジェクトの位置を乱すことなく、黒色フェルトで表示面を覆う。図５ｂを参照しながら詳述するように、我々は、ライト１１０のみを回転させて、セクタΩｌを覆う。オブジェクトが定位置にいる間、ライト１１０の配列は、オブジェクト１５０の回りを回転する。それぞれの回転位置に対して、ライト配列の仰角に沿ったそれぞれのライトが順次点灯され、画像はそれぞれのカメラにより取り込まれる。我々は、それぞれのカメラ位置について合計４×１５個の画像を取得するために、４つのライトを使用し、通常、２４度ずつ回転角を増加させる。この手順は、すべての視点について繰り返される。反射画像１６５は、後述するように、低解像度の表面反射フィールド２５１を構築するために使用される。
【００４６】
（屈折画像）
また、我々は、屈折画像１６６の組も任意選択で取得して（２６０）、表面反射フィールド２５１を高解像度で作成することができる。この取得プロセスは、プラズマモニタの水平方向、垂直方向、および対角線方向に所定時間で掃引される１Ｄガウスプロファイル（１Ｄ　Ｇａｕｓｓｉａｎ　ｐｒｏｆｉｌｅ）により、背景の前にある前景オブジェクトの複数の画像を取り込むことを含む。続いて、非線形の最適化手法を使用して、我々は、ａおよび２Ｄガウシアン（２Ｄ　Ｇａｕｓｓｉａｎ）Ｇのパラメータについて解く。
【００４７】
非線形パラメータの推定のための記憶および計算時間を節約するために、我々は、オブジェクトのシルエットの外側の領域を識別し、除去する。環境マット（ｅｎｖｉｒｏｎｍｅｎｔ　ｍａｔｔｅ）が、８×８のピクセルブロックに細分される。この視野から見ることができる不透明ハル上のそれぞれの表面点が、画像内に投影される。少なくとも１つのバック投影された表面点を含むそれらのブロックのみが、記憶され、処理される。
【００４８】
カメラ配列のある位置に関して、プラズマモニタの周縁が、視野の多くを利用できなくする透明オブジェクトを通して見ることができる。その結果、我々は、下端の１つのカメラおよび上端の２つのカメラを、環境マットの取得のためだけに使用する。下端のカメラは、背景モニタの前に直接、水平に配置される。上端の２つのカメラは、回転盤上のモニタの上に配置される。次に、後述するように、我々の環境マット補間を使用して、我々は、任意の視点のもっともらしい結果をレンダリングすることができる。
【００４９】
（３Ｄモデルの双方向サブサーフェス反射分布フィールド）
画像１６１〜１６６を使用して、我々は、光がオブジェクト１５０の表面でどのように散乱するかを求めるために、近似の双方向サブサーフェス反射分布フィールド（ＢＳＳＲＤＦ）（ｂｉ−ｄｉｒｅｃｔｉｏｎａｌ　ｓｕｂ−ｓｕｒｆａｃｅ　ｒｅｆｌｅｃｔａｎｃｅ　ｄｉｓｔｒｉｂｕｔｉｏｎ　ｆｉｅｌｄ）モデルを作成する。我々のモデルは、単一のカメラによる単一の視野から作成されるのではなく、複数のカメラ１３０（図１参照）による複数の視野から作成される点において、従来技術のＢＳＳＲＤＦモデル（以下のＣｈｕａｎｇ参照）と異なる。従来技術のＢＳＳＲＤＦとの他の相違点は、以下に言及される。
【００５０】
古典物理学を使用し、かつ入射光はオブジェクト表面から無限遠で発せられると仮定すると、それぞれのカメラピクセルに到達する光は、以下のように記述することができる。
【００５１】
【数１】
2004133888.tif 000003
【００５２】
値Ｃは、それぞれのカメラピクセルにおいて記録されるカラー値であり、Ｅは、方向ωｉからの環境照明であり、Ｗは、環境から前景オブジェクト１５０を通じてカメラ１３０へ光伝達を行うすべての手段を備える重み関数である。積分は、半球Ωの全体にわたって、およびそれぞれの波長に対して実行される。以下、この波長依存性を反映するために、すべての方程式は、Ｒ、ＧおよびＢのカラーチャネルについて別々に評価される。
【００５３】
あるピクセルにおいて測定されたカメラ強度Ｃおよび環境Ｅを考慮して、我々は、そのピクセルを通り抜ける光線に対応するオブジェクト表面点の関数Ｗの近似値を求めたい。
【００５４】
我々の読み取りシステム１００は、環境用に複数の照明フィールドを提供する。図５ａに示すように、第１の照明は、プラズマモニタ１２０〜１２１にカラーパターンを表示することによって、バックライト群により生成される高解像度２Ｄテクスチャマップと一体になっている。第２の照明は、図５ｂに示すように、残りの半球上のまばらな組の方向からのオーバヘッドライト配列１１０によるものである。
【００５５】
我々は、高解像度テクスチャマップより覆われる環境半球のセクタをΩｈと呼び、ライト配列Ωｌにより覆われる残りのセクタをΩｌと呼ぶ。さらに、我々は、セクタΩｈにおける光伝達が２つの成分によって記述できるという簡易化した仮定を置く。
【００５６】
図５ａに示すように、我々は、オブジェクトを通り抜ける光の複雑になり得る経路を、光線表面交差から背景モニタへの２つの直線光束によって近似している。他方で、セクタΩｌの１つまたは２つ以上の指向性光源Ｌ（ωｉ）からの光は、ピクセルＣ５００に到達する前にオブジェクトによって屈折および反射される。ここで、我々は、セクタΩｌの入射ライトフィールド（ｉｎｃｉｄｅｎｔ　ｌｉｇｈｔ　ｆｉｅｌｄ）が、オブジェクトの背後からの高解像度モニタ１２０〜１２１から直接到来するセクタΩｈの光よりも実質的に低い解像度でサンプリング可能であると仮定する。
【００５７】
したがって、上記式は、次のようになる。
【００５８】
【数２】
2004133888.tif 000004
【００５９】
我々は、Ｗｈ（ｘ）を記述するためにガウシアンの和を使用している。後述するように、ｋ最近傍補間の間、適合するガウシアンを見出すために、我々は、表面点ごとに２つのガウス関数の最大値に自身を制限する。したがって、
【００６０】
【数３】
2004133888.tif 000005
【００６１】
ここで、Ｇ１およびＧ２は、楕円指向型２Ｄユニットガウシアン（ｅｌｌｉｐｔｉｃａｌ，　ｏｒｉｅｎｔｅｄ　２Ｄ　ｕｎｉｔ−Ｇａｕｓｓｉａｎ）である。ａ１およびａ２は、それぞれそれらの振幅である。ｘは、カメラピクセルの座標である。Ｃｉは、それぞれのガウシアンの中心である。σｉは、それらの標準偏差であり、θｉは、それらの方向である。より詳細については、Ｃｈｕａｎｇ等著「Ｅｎｖｉｒｏｎｍｅｎｔ　Ｍａｔｔｉｎｇ　Ｅｘｔｅｎｓｉｏｎｓ：　Ｔｏｗａｒｄｓ　Ｈｉｇｈｅｒ　Ａｃｃｕｒａｃｙ　ａｎｄ　Ｒｅａｌ−Ｔｉｍｅ　Ｃａｐｔｕｒｅ」Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ，　ＳＩＧＧＲＡＰＨ　２０００　Ｐｒｏｃｅｅｄｉｎｇｓ，　ｐｐ．　１２１−１３０，　２０００を参照されたい。
【００６２】
我々は、ｎ個の光源Ｌ（ωｉ）１１０の離散的な組によりセクタΩｌを照射しているので、重み関数Ｗｈ（ｘ）を以下のように書き換えることができる。
【００６３】
【数４】
2004133888.tif 000006
【００６４】
我々は、我々の発明によりレンダリングする間、この式を使用してＢＳＳＲＤＦをモデル化する。
【００６５】
環境マッティング（ｅｎｖｉｒｏｎｍｅｎｔ　ｍａｔｔｉｎｇ）および反射フィールド（ｒｅｆｌｅｃｔａｎｃｅ　ｆｉｅｌｄ）を使用して、我々は、観測データＣ、すなわち複数の視点からの画像１６１〜１６６のピクセルの値を用いてパラメータａおよびＧを推定する。それぞれの視点について、推定されたパラメータは、（ａ１，Ｇ１，ａ２，Ｇ２）として環境マットに記憶され、ｎ個の反射画像は、Ｒ（ωｉ）として記憶される。
【００６６】
後述するように、我々が、このモデルに従ってレンダリングするとき、我々は、オブジェクト１５０の再構築される形状Ｓ上の可視表面点を決定する。それぞれの可視表面点は、ｋ最近傍環境マットおよび反射画像からパラメータａ、ＧおよびＲを調べるために再び投影される。我々は、非構造化ルミグラフ補間または視点依存型テクスチャマッピングを使用して、任意の新しい視点にパラメータを補間する。その結果、パラメータは、上記方程式を使用して結合され、ピクセルＣｎの色彩が決定される。
【００６７】
この式は、Ｃｈｕａｎｇによって記述されたように、高品質環境マッティングと、我々の３Ｄ取得システム１００との間の折衷案である。理想的な状況では、我々は、オブジェクトを高解像度モニタで取り囲み、複数のモニタ上に分布した任意の個数の重み関数Ｗのパラメータを取得する。
【００６８】
あるいは、そうせずに、実際的な理由のため、我々は、ピクセルに到達する屈折光線および反射光線のほとんどが、オブジェクト背後の入射ライトフィールドから発せられていると仮定する。これは、大部分はかすめ角の強い反射成分および強い屈折成分を有するほとんどのオブジェクトにとって真である。このことは、水晶のシャンデリアといった大規模な内部構造または表面に切子面を有する透明なオブジェクトには必ずしも正しくない。しかしながら、実際には、このアプローチは、合理的にうまく機能する。
【００６９】
視野方向に高解像度環境テクスチャを使用することは、ライト配列のみを使用して入射照明を提供することよりも優れている。例えば、通常のガラス張りの窓を通してまっすぐに見ると、その最大解像度で背景が見える。他方で、高解像度照明環境を使用することは、環境マッティングによってのみ実現可能である。他の手段は、それぞれの視点について非常に多くの反射画像を記憶することであるが、これは非現実的である。環境マットは、本質的に、高解像度表面反射フィールドのための非常にコンパクトな表現である。
【００７０】
表面反射フィールドという用語にもかかわらず、我々は、屈折、拡散、サブサーフェス散乱、および非均一な材質変化を含む、より一層幅広い配列の効果を捕らえることに留意することは重要である。通常、まねることが高価であるか、または、不可能であるこれらの効果は、妥当な時間で我々のモデルからレンダリングすることができる。
【００７１】
表面反射フィールドは、ＢＳＳＲＤＦとほとんど等価である。主な相違は、我々が、光線表面交差の正確な物理的位置を知らないこと、および光の入射方向が、表面のいずれの点でも同じであるということである。
【００７２】
我々のモデルは、モニタから入射する光線束の数を２つに限定する点、およびＣｈｕａｎｇにおける前景カラーＦを表面反射関数Ｆｉにわたる和で置き換える点で、Ｃｈｕａｎｇ等のものと異なる。オブジェクトでの反射および屈折によって、視野の光線が、背景に当たる２つの別個の光線束に分離するならば（図５ａ参照）、第１の仮定は妥当である。第２の仮定は、結果として、セクタΩｌからの照明が、オブジェクトの前景カラーにどのように影響するかについてのより正確な推定になる。複数のモニタを使用することにより、我々は、部分的なピクセルカバレージ（α）および透明性の効果を正確に分離することができる。
【００７３】
高解像度および低解像度の表面反射画像を取得することにより、我々は、高頻度の環境マップを取り扱うことができる。環境マットの使用、改良された補間方式、およびアルファマット取得の改良により、我々は、高い透明性を有するオブジェクトを取得し、レンダリングすることが可能となる。
【００７４】
（不透明ハルの構築）
この上で、我々は不透明ハルをパラメータ化する、画像ベースの表面ハルを構築するために、我々は、さまざまな視点からシルエット画像を抽出する。従来技術の方法は、通常、白熱または蛍光の「白色」光を使用して、シルエットの視界を取得する。これについては、Ｍａｔｕｓｉｋ等著「Ｉｍａｇｅ−Ｂａｓｅｄ　Ｖｉｓｕａｌ　Ｈｕｌｌｓ」Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ，　ＳＩＧＧＲＡＰＨ　２０００　Ｐｒｏｃｅｅｄｉｎｇｓ，　ｐｐ．　３６９−３７４，　２０００を参照されたい。背景照明は、市販の２次元マシンビジョンシステムで多く使用される共通のセグメンテーション手法（ｓｅｇｍｅｎｔａｔｉｏｎ　ａｐｐｒｏａｃｈ）である。バックライトは、露光されたエリアの画像センサを飽和させる。次に、シルエット画像は、閾値処理され、オブジェクトの２値セグメンテーション（ｂｉｎａｒｙ　ｓｅｇｍｅｎｔａｔｉｏｎ）が行われる。しかしながら、２値の閾値処理は、我々がモデル化したい毛髪といった小さなシルエット特徴を有するオブジェクトにとって十分正確ではない。また、２値の閾値処理は、オブジェクトのモデルの現実的なシーンへのサブピクセルアキュレート合成（ｓｕｂ−ｐｉｘｅｌ　ａｃｃｕｒａｔｅ　ｃｏｍｐｏｓｉｔｉｎｇ）を可能にしない。
【００７５】
別の問題として、カラースピル（ｃｏｌｏｒ　ｓｐｉｌｌ）がある。これについては、Ｓｍｉｔｈ等著「Ｂｌｕｅ　Ｓｃｒｅｅｎ　Ｍａｔｔｉｎｇ」Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ，　Ｖｏｌ．　３０　ｏｆ　ＳＩＧＧＲＡＰＨ　９６　Ｐｒｏｃｅｅｄｉｎｇｓ，　ｐｐ．　２５９−２６８，　１９９６を参照されたい。カラースピルは、前景オブジェクト１５０におけるバックライトの反射が原因である。フレネル効果が、かすめ角付近で、材質のセキュラリティ（ｓｅｃｕｌａｒｉｔｙ）を増加させるので、カラースピルは、通常、オブジェクトのシルエットのエッジ付近で起こる。単一カラーのアクティブバックライトにより、スピルは、光沢のある金属またはセラミックといった高い反射率の表面に特に顕著である。
【００７６】
（マルチカラー背景マッティング）
図３に示すように、我々は、マルチカラーの背景マッティング技法を使用して、それぞれ視点からオブジェクト１５０のアルファマット３１０を取得することによるこれら問題を解決する。オブジェクトの正確はアルファマットは、異なるカラーを有する２つの背景を背にしてオブジェクトを画像化することにより得ることができる。したがって、我々は、カラーモニタ１２０〜１２１を使用する。背景は、それぞれのピクセルのカラーが異なる。
【００７７】
我々は、以下の正弦曲線のカラーパターンを使用する。
【００７８】
【数５】
2004133888.tif 000007
【００７９】
ここで、Ｃｉ（ｘ，ｙ，ｎ）は、ピクセル位置（ｘ，ｙ）におけるカラーチャネルｉ＝０，１，２の強度である。ｎは、位相差である。λは、ストライプの幅である。２つの背景間のピクセルあたりの差を最大にするために、パターンは、１８０度だけ位相シフトされる（ｎ＝−１または＋１）。ユーザは、正弦曲線のストライプの幅をパラメータλで定義する。このパターンは、実質的にグレーの照明を提供することにより、スピル効果を最小にする。
【００８０】
ピクセルあたりのアルファα０は、以下の式に示すように、すべてのカラーチャネル上、我々の場合にはＲＧＢ上での加算結合を使用して決定される（３０５）。
【００８１】
【数６】
2004133888.tif 000008
【００８２】
ここで、Ｏｎ３０１およびＯチルダｎ３０２は、オブジェクト画像１６３のピクセルあたりの前景カラーであり、Ｒｎ３０３およびＲチルダｎ３０４は、参照画像１６２のピクセルあたりの背景カラーである。
【００８３】
我々が、それぞれの背景に対して、オブジェクトがあるピクセルおよびオブジェクトがないピクセルの双方で同じカラーを測定するならば、方程式（２）は、ゼロに等しくなる。これは、背景からカメラへまっすぐ通過してマッピングするピクセルに対応する。方程式（１）のカラーチャネルの位相シフトは、方程式（２）の分母が決してゼロでないことを保証する。正弦曲線パターンは、スピルが原因で観測されるピクセルカラーが、参照画像のピクセルカラーに一致する機会を低減する。それにもかかわらず、まだ、高い反射率の鏡面オブジェクトに対してスピルエラーを観測することができる。
【００８４】
これらのエラーを低減するために、我々は、背景パターンの波長を変えるごとに、同じ手順を複数回適用する。最終的なアルファマットを得るために、我々は、すべての中間的なマットから最大のアルファを記憶する。画像を追加して取り込むオーバヘッドは小さく、我々は、最終的なアルファマットのみを記憶する必要がある。この方法は、鏡面材質および毛羽立った材質を含む多種多様なオブジェクトに対して非常によく機能する。
【００８５】
（２値閾値処理）
次に、我々は、さまざまな視点からのアルファマット３１０を使用することにより、表面ハル３４０を構築する。まず、我々は、２値閾値処理３２０をアルファマットに使用して、２値シルエット画像３１１を得る。理論上、α＞０であるそれぞれのピクセル、すなわち透明でないそれぞれのピクセルは、オブジェクト１５０に関連する。実際には、システムの雑音、残存するスピル問題、および僅かなキャリブレーションの誤りのために、我々は、僅かに高い閾値を使用する。
【００８６】
我々の高ダイナミックレンジ画像に対して、我々は、α＞０．０５の閾値が、オブジェクトのすべておよび背景の一部を覆うセグメンテーションを与えることを見出している。また、不透明値（ｏｐａｃｉｔｙ　ｖａｌｕｅ）がこの閾値未満である場合に、オブジェクトは正確にモデル化されないので、この閾値は、我々のシステムの上限も与える。
【００８７】
しかしながら、我々は、非常に透明なオブジェクトによって１つの特定の問題に直面した。光が、オブジェクト、例えば非常に薄いガラスによって十分に屈折されないならば、オブジェクト内部のピクセルは、背景のピクセルにまっすぐ通過してマッピングされる。これらのピクセルは、オブジェクトのシルエット内に含まれるにもかかわらず、ゼロのアルファ値を割り当てられる。これは、２値シルエット画像の穴の原因となる。
【００８８】
この問題を訂正するために、我々は、穴を満たす簡易で貪欲な手順を使用する。ピクセルは、そのアルファ値が閾値ｔａ未満であると、空とみなされる。つながった空のピクセルの個数が、ユーザ定義の閾値ｎａ未満であると、我々は、空のピクセルの領域を満たす。通常のオブジェクトに対して、ｎａは、５から１００の範囲内の値とすることができる。シルエット内部のピクセルは、アルファ値１を割り当てられる。
【００８９】
我々は、最初に測定されたアルファ値を、２値シルエットのエッジに沿ったピクセルに割り当てる。再び、我々は、簡易で貪欲な手順を使用する。ある小さな近傍においてピクセルを取り囲む空のピクセルが存在しないならば、それらピクセルは、２値シルエットの内部とみなされる。我々は、４つのピクセル近傍で良好な結果を達成している。他のすべてのピクセルは、シルエットのエッジの近くであるとみなされ、測定されたアルファ値を割り当てられる。
【００９０】
次に、２値シルエットは、画像ベースの表面ハル３４０を構築するために使用される（３３０）。不適切に分類された前景領域が、他のすべての領域と一貫性を有しないならば、このプロセスは、当該領域の除去も行う。我々は、後述するように、高密度の組の表面点にＩＢＶＨをサンプリングし直す。
【００９１】
（不透明ハルの構築）
次に、アルファマット３１０は、表面ハル３４０に投影され（３５０）、不透明ハル３６０を構築する。自己遮蔽を最小にするために、それぞれの表面点のそれぞれの画像への可視性が、エピポーラ幾何学を使用して決定される。不透明ハル３６０は、それぞれの表面点の不透明値を記憶する。
【００９２】
（アルファスフィア（ａｌｐｈａｓｐｈｅｒｅ））
不透明ハルは、それぞれの表面点のアルファスフィアＡを記憶する。ｗが、表面点ｐにおいて外部を向く方向であるならば、Ａ（ｐ，ｗ）は、方向ｗから見た不透明値αｐである。アルファスフィアＡを定義する関数は、球全体で連続であるべきであることに留意すべきである。しかしながら、どの物理システムも、離散的なサンプルのまばらな組のみを取得することができる。我々は、それぞれのアルファスフィアＡを定義するパラメトリック関数を推定することができる。しかしながら、アルファスフィアをパラメトリック関数で近似することは、多くの場合、非常に困難である。
【００９３】
その結果、後述するように、我々は、ｋ最近傍補間を使用して、任意の視点からの不透明ハルをレンダリングする。不透明ハルが、視点依存型表現であることに留意することは重要である。不透明ハルは、背景に関して前景オブジェクトの視点依存型の部分的占有を取り込む。
【００９４】
これは、直感的には、オブジェクトの部分的占有がそれぞれの視点で異なるという観測に対応する。視点依存型の特徴は、ボリュームグラフィックスで頻繁に使用されるｖｏｘｅｌシェルを除いて、不透明ハルを設定する。これについては、Ｕｄｕｐａ等著「Ｓｈｅｌｌ　Ｒｅｎｄｅｒｉｎｇ」ＩＥＥＥ　Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ　＆　Ａｐｐｌｉｃａｔｉｏｎｓ，　１３（６）：５８−６７，　１９９３を参照されたい。Ｖｏｘｅｌ　ｓｈｅｌｌは、品質のよいシルエットの特徴を正確に表すことができないが、このことは、我々の不透明ハルの利点である。
【００９５】
従来技術では、同心の半透明できめのあるシェルが、毛髪および毛皮のようなオブジェクトをレンダリングするために使用されてきた。これについては、Ｌｅｎｇｙｅｌ等著「Ｒｅａｌ−Ｔｉｍｅ　Ｆｕｒ　ｏｖｅｒ　Ａｒｂｉｔｒａｒｙ　Ｓｕｒｆａｃｅ」Ｓｙｍｐｏｓｉｕｍ　ｏｎ　Ｉｎｔｅｒａｃｔｉｖｅ　３Ｄ　Ｇｒａｐｈｉｃｓ，　ｐｐ．　２２７−２３２，　２００１を参照されたい。彼らは、テクスチャードフィン（ｔｅｘｔｕｒｅｄ　ｆｉｎ）と呼ばれる幾何学図形を使用して、オブジェクトのシルエットの外観を改良していた。フィンテクスチャの単一のインスタンスは、オブジェクトのすべてのエッジに使用される。
【００９６】
対照的に、不透明ハルは、オブジェクトのすべての表面点に対して視点依存型の不透明値を有するテクスチャとして見ることができる。視点依存型の不透明性は、取得可能であり、オブジェクトを完全に囲む任意の表面幾何学図形（表面ハル）に歪ませることができる。すなわち、表面は、「防水」であると言われる。例えば、表面ハルは、レーザレンジ読み込みから取得された正確な幾何学図形から構築することもできるし、または、バウンディングボックスの幾何学図形を構築することによって取得することもできる。不透明ハルと、不透明ハルが投影（３５０）されるオブジェクトの表面ハル３４０を構築するために使用される特定の方法との相違は重要ではない。
【００９７】
我々の幾何学図形によると、不透明ハルを、高い複雑さのシルエットをレンダリングするために使用することができる。
【００９８】
不透明ハルを構築するのと同様に、我々は、取得された放射輝度画像１６４を、ＩＢＶＨ上の表面点から放射される光線に再パラメータ化する。この表現は、我々の表面反射フィールド２５１に使用される。
【００９９】
表面ライトフィールドは、Ｍｉｌｌｅｒ等著「Ｌａｚｙ　Ｄｅｃｏｍｐｒｅｓｓｉｏｎ　ｏｆ　Ｓｕｒｆａｃｅ　Ｌｉｇｈｔ　Ｆｉｅｌｄ　ｆｏｒ　Ｐｒｅｃｏｍｐｕｔｅｄ　Ｇｌｏｂａｌ　Ｉｌｌｕｍｉｎａｔｉｏｎ」Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　９ｔｈ　Ｅｕｒｏｇｒａｐｈｉｃｓ　Ｗｏｒｋｓｈｏｐ　ｏｎ　Ｒｅｎｄｅｒｉｎｇ，　ｐｐ．　２８１−２９２，　１９９８およびＷｏｏｄ等著「ＳｕｒｆａｃｅＬｉｇｈｔ　Ｆｉｅｌｄｓ　ｆｏｒ　３Ｄ　Ｐｈｏｔｏｇｒａｐｈｙ」Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ，　ＳＩＧＧＲＡＰＨ　２０００　Ｐｒｏｃｅｅｄｉｎｇｓ，　ｐｐ．　２８７−２９６，　２０００によって記述されていた。それらの表面ライトフィールドは、読み取られた３次元のメッシュから生成された。これと対照的に、我々の表面放射輝度フィールド（ｓｕｒｆａｃｅ　ｒａｄｉａｎｃｅ　ｆｉｅｌｄ）は、不透明ハル上に生成される。我々のシステムは、幾何学図形および放射輝度のための複数の読み取りを、同じ視点を使用して形状および放射輝度画像の組を取得する自動化されたプロセスに取り替える。
【０１００】
表面放射輝度画像１６４は、固定された照明の下で、モデル１８０をレンダリングするために使用することができる。我々は、表面反射モデルではなく一定の外部に向かう放射輝度関数によりモデルを生成するので、このことは、応用範囲にいくつかの制限を加える。
【０１０１】
この制限に対処するために、我々は、反射画像１６５をも取得する。不透明ハルを構築するのと同様に、我々は、取得された反射画像１６５を、不透明ハルの表面点から放射された光線に再パラメータ化する。Ｄｅｂｅｖｅｃ等は、表面反射フィールドを記載した。しかしながら、彼等は、表面反射フィールドを単一視点から取得し、レンダリングする。かれらのシステムと対照的に、我々は、オブジェクト１５０の回りの複数の視点の反射フィールドを取得する。
【０１０２】
直接照明の下では、表面反射フィールド２５１は、６次元関数Ｒである。それぞれの表面点Ｐｒに対して、関数Ｒは、入来する光の方向ｗｉを、反射方向ｗｒに沿って反射されたカラー値にマッピングする。したがって、Ｒ＝Ｒ（Ｐｒ，ｗｉ，ｗｒ）となる。反射方向ｗｒでピクセル（ｘ，ｙ）を通過するそれぞれの光線に対して、我々は、入来する光の方向ｗｉから照射されるオブジェクトの反射関数Ｒｘｙ（ｗｉ，ｗｒ）を観測する。取得の間、我々は、４次元関数Ｒｘｙを一組の視点ｗｒ（ｋ）および一組の光の方向ｗｉ（ｌ）からサンプリングする。
【０１０３】
従来技術の反射フィールド技術では、光の方向のサンプリングは、密度が高く、例えばｌ＝６４×３２であり、視点については、単一の視点のみ、すなわちｋ＝１である。代わって、我々は、反射フィールドを多くの方向から、例えばｋ＝６×３６でサンプリングする。我々が取得し、記憶するデータ量を制限するために、我々のシステムは、ｌ＝４×１５の光の方向のまばらなサンプリングを使用することができる。
【０１０４】
我々は、後述するように、Ｒｘｙ（ｋ，ｌ）のデータサンプルを記憶する。入来する方向オーババーｗｉからの新たな照明により新たな視野方向オーババーｗｒからの画像を再構築する処理は、２つの通過プロセスとなる。まず、我々は、新たな照明の下で、すべてのオリジナルの視野方向ｗｒ（ｋ）についての画像を補間する。オリジナルの視野方向ｗｒのそれぞれからの、位置（ｘ，ｙ）におけるピクセルのサンプルは、以下のように、光源Ｌ（ｗｉ）の加重結合として決定することができる。
【０１０５】
【数７】
2004133888.tif 000009
【０１０６】
ここで、ｄＡは、オリジナルの照明方向のそれぞれによって覆われる立体角であり、我々の場合、ｄＡ＝ｓｉｎφである。
【０１０７】
我々は、新しい照明の下で、すべてのオリジナルな視点について画像Ｌ（ｗｒ（ｋ））を構築した後、ｋ最近傍補間を使用して、画像データを新たな視点に補間する。これについては後に詳述する。
【０１０８】
代わりのアプローチは、反射用のパラメトリック関数またはＢＲＤＦを、取得されたデータに適合させることである。これは、特定用途にうまく機能する。例えば、人間の顔の表面反射フィールドを取得することができ、パラメトリック関数を、測定された反射フィールドに適合させることができる。パラメトリック反射関数を任意の材質に適合させることができる。
【０１０９】
後述するように、高い反射率の鏡面エリア、透明エリア、または自己遮蔽エリアの点についての反射関数は、非常に複雑であり、滑らかな基底関数を使用しても容易に近似することができない。我々は、我々が画像化する材質の反射特性について仮定を置かない。
【０１１０】
透明な材質を異なる屈折率で正確にレンダリングするために、我々は、屈折画像、すなわち「環境マット」をも取得する。後述するように、我々は、取得した屈折画像１６６を、不透明ハルの表面点からオブジェクト１５０の回りの複数の視点に向けて放射された光線に再パラメータ化する。
【０１１１】
（ポイントサンプリングされたデータの構造）
モデルを構築するために、我々は、レイヤデプスキューブ（ＬＤＣ）（ｌａｙｅｒｅｄ　ｄｅｐｔｈ　ｃｕｂｅ）ツリーに基づく拡張された点表現を我々の形状モデルとして使用し、この形状モデルにおいて、我々は、視点依存型の外観データをパラメータ化する。これについては、Ｐｆｉｓｔｅｒ等著「Ｓｕｒｆｅｌｓ：　Ｓｕｒｆａｃｅ　Ｅｌｅｍｅｎｔｓ　ａｓ　Ｒｅｎｄｅｒｉｎｇ　Ｐｒｉｍｉｔｉｖｅｓ」Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ，　ＳＩＧＧＲＡＰＨ　２０００　Ｐｒｏｃｅｅｄｉｎｇｓ，　ｐｐ．　３３５−３４２，２０００、および、本願に引用して援用される、２００２年５月２８日にＰｆｉｓｔｅｒ等に発行された「Ｍｅｔｈｏｄ　ｆｏｒ　ｍｏｄｅｌｉｎｇ　ｇｒａｐｈｉｃａｌ　ｏｂｊｅｃｔｓ　ｒｅｐｒｅｓｅｎｔｅｄ　ａｓ　ｓｕｒｆａｃｅ　ｅｌｅｍｅｎｔｓ」という発明の名称の米国特許第６，３９６，４９６号を参照されたい。
【０１１２】
前置処理ステップにおいて、我々は、３つの直交正投影を使用して、不透明ハルからｏｃｔｒｅｅベースのＬＤＣツリーを構築する。この３つのツリー直交不透明ハル（ｔｒｅｅ　ｏｒｔｈｏｇｏｎａｌ　ｏｐａｃｉｔｙ　ｈｕｌｌ）は、レイヤデプス画像（ｌａｙｅｒｅｄ　ｄｅｐｔｈ　ｉｍａｇｅ）にサンプリングされる。サンプリング密度は、モデルの複雑さに依存し、ユーザ指定される。次に、レイヤデプス画像は、単一のｏｃｔｒｅｅモデルに融合される。我々の不透明ハルは、仮想的な正投影視点から生成されるので、それらの位置合わせは、正確である。この融合によっても、モデルが均等にサンプリングされることが保証される。
【０１１３】
（可視性ベクトル）
図４に示すように、ＬＤＣツリーのそれぞれの表面要素（ｓｕｒｆｅｌ（ｓｕｒｆａｃｅ　ｅｌｅｍｅｎｔ））４００は、位置４０１、表面正常値４０２、およびカメラ可視性ビットベクトル４０３を記憶する。表面要素が画像空間解像度を有するならば、奥行き（ｄｅｐｔｈ）値のみを記憶する必要がある。可視性ベクトルは、表面要素が見えるそれぞれのカメラ位置に対して１の値、すなわち画像１６１〜１６６の組を記憶する。ビットベクトル４０３は、エピポーラ幾何学を使用して不透明ハルを構築中に計算することができる。
【０１１４】
それぞれのカメラ位置に対して、我々は、その視点に関連した放射輝度画像、反射画像、および屈折画像を記憶する。そして、ビットベクトルが使用され、特定の表面要素が、ある特定の視点について記憶画像を使用してレンダリングされるべきかどうかが決定される。我々は、必要に応じて、ｋ最近傍補間により、記憶画像から直接レンダリングする。
【０１１５】
ポイントサンプルは、３Ｄモデルの用途にとっていくつかの利点を有する。モデル化の観点からすると、点群表現により、トポロジーまたは接続性を確立する必要性が取り除かれる。これは、複数のソースからのデータの融合を容易にする。
【０１１６】
また、ポイントサンプルは、テクスチャマッピングのための表面の一貫したパラメータ化を計算する困難なタスクも回避する。我々は、ポイントサンプリングされたモデルが、盆栽の木または羽毛といった複雑な有機体の形状を、ポリゴンメッシュよりも簡単に表現できることを見出している。特に、ポリゴンモデルおよびテクスチャマッピングを使用して、視点依存型不透明値を不透明ハルのそれぞれの点に表現することは困難である。
【０１１７】
（画像圧縮）
生の反射画像データは、約７６ＧＢの記憶容量を必要とする。オブジェクトシルエット内のピクセルブロックを記憶するだけでも、オブジェクトのサイズに応じて２０から３０ＧＢを必要とする。このデータをより扱いやすくするために、我々は、主成分分析（ＰＣＡ）（ｐｒｉｎｃｉｐａｌ　ｃｏｍｐｏｎｅｎｔ　ａｎａｌｙｓｉｓ）を使用する簡易な圧縮方式を使用する。
【０１１８】
反射画像は、８×８の画像ブロックに分割される。我々は、同じ視点および変化する照明に対応するすべてのブロックにＰＣＡを適用する。我々は、ＲＭＳ再構築エラー用のグローバル閾値を設定する。次に、それぞれのブロックは、可変の個数の固有値および主成分として記憶される。我々が、すべての反射画像の平均放射輝度値の１％以内にグローバルＲＭＳ再構築エラーを設定すると、主成分の平均個数は、通常、１ブロックあたり４から５となる。ＰＣＡ分析は、通常、反射データ量を１０分の１に削減する。
【０１１９】
（レンダリング）
我々のポイントサンプリングモデルをレンダリングするために、我々は、高品質ＥＷＡ表面スプラッティング（ｓｕｒｆａｃｅ　ｓｐｌａｔｔｉｎｇ）アプローチを使用する。これについては、Ｚｗｉｃｋｅｒ等著「Ｓｕｒｆａｃｅ　Ｓｐｌａｔｔｉｎｇ」Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ，　ＳＩＧＧＲＡＰＨ　２００１　Ｐｒｏｃｅｅｄｉｎｇｓ，　２００１および２０００年２月２８日にＺｗｉｃｋｅｒ等によって出願された「Ｖｉｓｉｂｉｌｉｔｙ　Ｓｐｌａｔｔｉｎｇ　ａｎｄ　Ｉｍａｇｅ　Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ　ｆｏｒ　Ｓｕｒｆａｃｅ　Ｅｌｅｍｅｎｔｓ」という発明の名称の米国特許出願第０９／５１４，５４５号を参照されたい。これらはすべて引用により本願に援用される。
【０１２０】
我々は、楕円加重平均（ＥＷＡ）（ｅｌｌｉｐｔｉｃａｌ　ｗｅｉｇｈｔｅｄ　ａｖｅｒａｇｅ）表面スプラッティングを使用して不透明ハルのモデルをレンダリングする。階層的なフォワードワーピング（ｆｏｒｗａｒｄ−ｗａｒｐｉｎｇ）プロセスは、表面点をスクリーン空間に投影し、スクリーン空間において、ＥＷＡフィルタは画像を再構築する。修正Ａバッファ法（ｍｏｄｉｆｉｅｄ　Ａ−ｂｕｆｆｅｒ）は、オーダ独立型透明ブレンド（ｏｒｄｅｒ−ｉｎｄｅｐｅｎｄｅｎｔ　ｔｒａｎｓｐａｒｅｎｃｙ　ｂｌｅｎｄｉｎｇ）およびエッジのアンチエイリアスを提供する。
【０１２１】
レンダリング時間のほとんどは、オブジェクト表面のそれぞれの点のカラー（Ｃ）の計算に費やされる。後述するように、我々は、新しい環境マップチルダＴで開始する。例えば、このマップは、自然のシーンの球状の高ダイナミックレンジライトプローブ画像であり得る。我々は、まず、この新しい照明環境についてのオリジナルの視点からの新しい反射画像を再構築する。次に、我々は、オリジナルの環境マットの２Ｄガウシアンを新しい環境マップに投影する。環境「マット」と環境「マップ」との相違に留意すべきである。アルファマット、反射画像、および環境マットを新しい視点に補間するために、我々は、非構造化ルミグラフ補間を使用する。次に、補間された値は、以下の式の値を求めるために使用される。
【０１２２】
【数８】
2004133888.tif 000010
【０１２３】
まず、我々は、新しいライト構成の下でオブジェクトを示す表面反射フィールドデータ２５１から新しい画像を生成する。この新しいライトのカラーおよび方向は、環境マップチルダＴの低解像度版によって指定される。この低解像度マップは、Ωｌのライトの位置の解像度に一致しなければならない。
【０１２４】
我々の場合、低解像度マップは、４×１１ピクセルを含む。それぞれの視点について、我々は、８×８の反射ブロックの組を有する。それぞれのブロックＲは、ＰＣＡ分析を使用して以下の式に圧縮される。
【０１２５】
【数９】
2004133888.tif 000011
【０１２６】
ここで、λｉは、我々がそれぞれのブロックについて記憶するｋ個の固有値である。γｉは、その主成分である。ｍ個の指向性ライトチルダＬｉの新しい組が与えられると、我々は、ブロックのピクセルＣの新しいカラーを、ＰＣＡベースの係数の線形結合として直接計算することができる。
【０１２７】
【数１０】
2004133888.tif 000012
【０１２８】
この直接計算により、ＰＣＡベースからの反射データの再構築が回避される。我々は、それぞれの視点についての一組の反射画像を、新しい照明下でのオブジェクトを示す１つの放射輝度画像に変換することに留意すべきである。この計算は、環境マップのそれぞれの変更のために実行される。
【０１２９】
（環境マットの投影）
我々の取得された環境マットは、背景モニタ１２０の平面Ｔ上にパラメータ化される。しかしながら、レンダリングのため、このマットは、グローバル環境マップチルダＴ上にパラメータ化される必要がある。図６は、この状況の２Ｄ図面を示している。システムキャリブレーションの間に、我々は、それぞれの視点について、それぞれのモニタ平面Ｔの位置を決定する。この情報は、視点ごとに包括的に記憶される。マップチルダＴは、新しい環境マップのパラメータ化平面である。ＴからチルダＴへのマッピングは、例えば球状環境マップについては、非線形であり得る。
【０１３０】
オブジェクト上の３Ｄの表面点Ｐは、環境マットＥのピクセルに投影される。環境マットＥは、２ＤガウシアンＧのパラメータを記憶する。我々は、投影されたガウシアンＧを、パラメータ化された表面チルダＴ上に最もよく近似するガウシアンチルダＧを計算する。我々は、次のパラメータを使用して新しいガウシアンチルダＧを表す。パラメータは、Ｇの振幅ａ、３Ｄ方向ベクトルチルダＣ、開き角（α，β）、および新しい回転角チルダθである。この投影は、環境マップのそれぞれの変更について実行される。
【０１３１】
（アルファおよび放射輝度の補間）
それぞれの表面点について、我々は、点の位置およびグローバルカメラパラメータを使用して、ｋ最近傍（ｋ＝４）可視視点を計算する。上述したように、可視性は、不透明ハルの構築中に決定され、可視性ベクトルに記憶される。我々は、非構造化ルミグラフ補間に従って、４つの最近接視点の補間重み係数ｗｉを計算する。この重み係数は、カメラ視野とエピポール一貫性との間の連続的な遷移を保証する。すなわち、オリジナルのカメラ視点からのオブジェクトのレンダリングは、オリジナルの画像を正確に再現する。
【０１３２】
次に、グローバルカメラパラメータを使用して、それぞれの表面点が、その４つの最近接アルファマット、反射画像、および環境マットに投影される。我々は、アルファマットから視点依存型アルファを補間し、かつ再構築された反射画像からカラー放射輝度値を補間するために補間重み係数ｗｉを使用する。
【０１３３】
（環境マットの補間）
環境マットからの放射輝度の寄与度の計算は、新しいガウシアンハットＧを補間するステップと、この新しいガウシアンを環境マップと畳み込み演算するステップであって、それによってその結果のカラーを計算する、畳み込み演算するステップとの２つのステップからなる。まず、我々は、ｋ＝４の再投影されたガウシアンハットＧｉのパラメータを補間する。ｗｉを使用して、我々は、振幅ａｉおよび方向ベクトルチルダＣｉの線形結合を計算する。角度パラメータ（α，β）およびチルダθは、四元数の補間を使用してブレンドされる。その結果、新しい視点に変換された、ガウシアンチルダＧの補間版である新しいガウシアンハットＧが得られる。この補間は、環境マットからの一致するガウシアンに基づいて実行される必要がある点に留意すべきである。
【０１３４】
図７は、マッチングプロセスの簡易化された１Ｄ図面を示している。我々は、環境マットピクセルあたり２つのガウシアンＧｉのみを記憶する。ここで、それぞれのピクセルは、図７の視点光線Ｖｉに対応する。ピクセルあたりの２つのガウシアンは、リフレクティブ（ｒｅｆｌｅｃｔｉｖｅ）（ハットＧｉｒ）またはトランスミッシブ（ｔｒａｎｓｍｉｓｓｉｖｅ）（ハットＧｉｔ）として分類される。我々は、表面の法線Ｎにより、それらの中心ベクトルハットＧｉｒおよびハットＧｉｔの方向、すなわち角度φを計算する。φ＞９０度ならば、我々は、ガウシアンをトランスミッシブとして分類する。そうでなければ、我々は、ガウシアンをリフレクティブとして分類する。双方のガウシアンとも、リフレクティブまたはリフラクティブ（ｒｅｆｒａｃｔｉｖｅ）ならば、我々は、大きな振幅ａを有する１つだけを記憶する。この計算は、再投影されたガウシアンチルダＧの計算後、環境マップのそれぞれの変更に対して実行されなければならない。
【０１３５】
補間の間、我々は、リフラクティブガウシアンおよびリフレクティブガウシアンをマッチングさせる。換言すると、新しいガウシアンチルダＧｉｒおよびチルダＧｉｔは、ハットＧｉｒおよびハットＧｉｔからそれぞれ補間される。このマッチングは、Ｃｈｕａｎｇ等によって記述されたように、我々が、環境マットピクセルあたり３つ以上のガウシアンを記憶していると、より一層難しくなることに留意すべきである。
【０１３６】
それぞれの視点光線についてのカラーＣ”を補間された環境マットから計算するために、我々は、以下の式を使用する。
【０１３７】
【数１１】
2004133888.tif 000013
【０１３８】
ここで、演算○×は、畳み込み演算を示している。最終的なピクセルカラーＣは、我々のモデル化方程式によると、低解像度反射フィールドのカラーＣ´と高解像度反射フィールドのカラーＣ”との和になる。
【０１３９】
【発明の効果】
我々は、任意の材質から構成され、任意のライトにより照射されるオブジェクトの高品質レンダリングの生成に最適化された３Ｄモデル化システムを説明してきた。我々の画像化アプローチの基本的前提は、正確な幾何学図形に頼るのではなく、大量の放射輝度情報を使用して、オブジェクトの正確なレンダリングを生成することである。従来技術のスキャナと異なり、我々のシステムは、毛羽立った表面、透明な表面、半透明な表面、および高い反射率の表面を有するオブジェクトのモデルを確実に取得し、レンダリングする。
【０１４０】
表面反射フィールドを使用して、我々のシステムは、第１に、変化する照明下で任意の複雑度の形状および材質を有するオブジェクトを新しい視点からレンダリングする。さらに、表面屈折フィールドの使用により、我々は、さまざまな屈折特性を有するオブジェクトの透明な部分を正確にレンダリングすることができる。
【０１４１】
本システムは、完全に自動化され、使い易い。我々は、不透明ハル、オブジェクトの表面ハル上にパラメータ化された視点依存型不透明度を記憶する新しい形状表現を提供した。我々は、同じ画像の組を使用して、不透明ハルを構築し、かつ、表面の放射輝度および反射を表す。これにより、いかなる位置合わせの不正確さも回避され、ロバスト性が極度に改良される。不透明ハルおよび放射輝度データの高密度の組により、オブジェクトのレンダリングのための正確な３Ｄ幾何学図形は必要性なくなる。
【０１４２】
好ましい実施の形態を例にして本発明を説明してきたが、本発明の精神および範囲内で他のさまざまな適応および変更を行い得ることは理解されるであろう。したがって、併記特許請求項の目的は、このようなすべての変形および変更を、本発明の真の精神および範囲内に入るものとして網羅することにある。
【図面の簡単な説明】
【図１】本発明によるシステムの図である。
【図２】本発明によって使用される画像を取得する方法の流れ図である。
【図３】本発明による不透明ハル（ｏｐａｃｉｔｙ　ｈｕｌｌ）を構築する方法の流れ図である。
【図４】表面要素データ構造のブロック図である。
【図５ａ】照明セクタの概略図である。
【図５ｂ】照明セクタの概略図である。
【図６】ガウシアン環境マットの再投影の概略図である。
【図７】マッチングする反射ガウシアンおよび屈折ガウシアンの概略図である。
【図１】
2004133888.tif 000014
【図２】
2004133888.tif 000015
【図３】
2004133888.tif 000016
【図４】
2004133888.tif 000017
【図５ａ】
2004133888.tif 000018
【図５ｂ】
2004133888.tif 000019
【図６】
2004133888.tif 000020
【図７】
2004133888.tif 000021
【外国語明細書】
2004133888.tif 000022
2004133888.tif 000023
2004133888.tif 000024
2004133888.tif 000025
2004133888.tif 000026
2004133888.tif 000027
2004133888.tif 000028
2004133888.tif 000029
2004133888.tif 000030
2004133888.tif 000031
2004133888.tif 000032
2004133888.tif 000033
2004133888.tif 000034
2004133888.tif 000035
2004133888.tif 000036
2004133888.tif 000037
2004133888.tif 000038
2004133888.tif 000039
2004133888.tif 000040
2004133888.tif 000041
2004133888.tif 000042
2004133888.tif 000043
2004133888.tif 000044
2004133888.tif 000045
2004133888.tif 000046
2004133888.tif 000047
2004133888.tif 000048
2004133888.tif 000049
2004133888.tif 000050
2004133888.tif 000051
2004133888.tif 000052
2004133888.tif 000053
2004133888.tif 000054
2004133888.tif 000055
2004133888.tif 000056
2004133888.tif 000057
2004133888.tif 000058
2004133888.tif 000059
2004133888.tif 000060
2004133888.tif 000061
2004133888.tif 000062
2004133888.tif 000063