(57)【要約】皮膚組織をレンダリングして（図５の要素１６０）本物そっくりな結果を実現するための計算処理上効率的な方法は、二次元光マップにぼかしアルゴリズムを適用する段階（図５の要素１５６）を含んでいる。このアルゴリズムは、コンパクトで、半透明性の物質の表面下散乱の複雑な数学的モデルから導き出されてはいないが（図１の要素１０８）、より複雑なモデルと同様の結果を実現することができる。本方法は、デジタルオブジェクトに関する三次元の面ジオメトリと表面から反射されたモデル化された光を定義するための他の情報を受け取る段階と、面ジオメトリにマップされた光度値の二次元マトリクスを生成する段階（図１の要素１０５）と、コンパクトなアルゴリズムを使ってマトリクスをぼかす段階と、ぼかした光度値を使ってオブジェクトをレンダリングする段階（図５の要素１６０）と、を含んでいる。
2006506742.tif 000002
【特許請求の範囲】
【請求項１】
デジタルオブジェクトをレンダリングするための方法において、
デジタルオブジェクトを定義する情報を受け取る段階であって、前記デジタルオブジェクトは三次元の面ジオメトリを備えており、前記情報は、モデル化された照明環境で前記デジタルオブジェクトの前記面ジオメトリから反射されたモデル化された光を定義するのに十分である、そのような情報を受け取る段階と、
二次元光度マトリクスを生成する段階であって、各マトリクス入力は前記面ジオメトリの独自の面要素にマップされ、各マトリクス入力は前記デジタルオブジェクトのマップされた独自の面要素に相関付けられたモデル化された光度を表現している、そのようなマトリクスを生成する段階と、
前記光度マトリクスをぼかし、これによりぼかしたマトリクスを作成する段階と、
前記デジタルオブジェクトに関するピクセル光度値を求めるために前記ぼかしたマトリクスからのマトリクス入力を使って、前記デジタルオブジェクトをレンダリングする段階と、から成る方法。
【請求項２】
前記生成する段階は、詳細な皮膚のトポグラフィデータを使って、各マトリクス入力のモデル化された光度を計算する段階を更に含んでいる、請求項１に記載の方法。
【請求項３】
前記生成する段階は、前記詳細な皮膚のトポグラフィデータをバンプマップの形態で処理する段階を更に含んでいる、請求項１に記載の方法。
【請求項４】
皮膚の表面サンプルの三次元構造を測定することにより、前記詳細な皮膚のトポグラフィデータを入手する段階を更に含んでいる、請求項２に記載の方法。  
【請求項５】
前記レンダリングする段階は、前記デジタルオブジェクトのピクセルカラー値を求めるために、カラーマップからのカラー値を使用する段階を更に含んでいる、請求項１に記載の方法。
【請求項６】
前記レンダリングする段階は、前記ぼかした光度マトリクスをミップマッピングすることにより、前記ピクセル光度値を求める段階を更に含んでいる、請求項１に記載の方法。
【請求項７】
二次元マトリクスを備えたカラーマップを生成する段階を更に含んでおり、前記カラーマップの各マトリクス入力は前記デジタルオブジェクトの前記独自の面要素のカラーを表現している、請求項６に記載の方法。
【請求項８】
前記ぼかす段階は、前記光度マトリクスを畳み込み処理する段階を更に含んでいる、請求項１に記載の方法。
【請求項９】
前記ぼかす段階は、高速フーリエ変換関数を使って、前記光度マトリクスを処理する段階を更に含んでいる、請求項１に記載の方法。
【請求項１０】
前記ぼかす段階は、ｘとｙをそれぞれルーメル数により示すぼかしカーネルの横方向及び縦方向の幅とし、ｅを自然対数の底とし、σを拡散パラメータとした場合に、数式
【数１】
2006506742.tif 000013
のぼかしアルゴリズムを実行する段階を更に含んでいる、請求項１に記載の方法。
【請求項１１】
前記生成する段階は、３つのカラー分離チャネルそれぞれについて光度マトリクスを生成する段階を更に含んでいる、請求項１に記載の方法。
【請求項１２】
前記ぼかす段階は、Ｉｘ、ｙを（ｘ，ｙ）番目の各ルーメルのぼかし値とし、Ｖｘ，ｙを所定の幅を有するぼかしカーネルを定義している（ｘ，ｙ）番目の各ルーメルの減衰係数とし、Ｉ０，０を前記光度マップの（ｘ，ｙ）番目の各ルーメルのぼかしていない値とした場合に、一般式
【数２】
2006506742.tif 000014
に従って、各チャネルの前記光度マップをぼかす段階を更に含んでいる、請求項１１に記載の方法。
【請求項１３】
前記ぼかす段階は、ｘ及びｙは−ｈＲＧＢからｈＲＧＢの範囲に亘って計算され、ｈＲＧＢを各チャネル毎のぼかしカーネルの対応するｈＲ、ｈＧ、又はｈＢの半幅であるとし、ＰＲＧＢを各チャネル毎の対応するＰＲ、ＰＧ、又はＰＢ出力係数として、各チャネル毎に前記ぼかしカーネル
【数３】
2006506742.tif 000015
を算出する段階を更に含んでいる、請求項１２に記載の方法。
【請求項１４】
前記ぼかす段階は、２から４の範囲内で各カラーチャネル毎に、ＰＲ、ＰＧ、及びＰＢの対応する値を使ってＶｘ，ｙを計算する段階を更に含んでいる、請求項１２に記載の方法。
【請求項１５】
前記ぼかす段階は、Ｗをルーメル数により示す光マップの幅又は最大寸法とし、ＫＲＧＢを５から２０の範囲内で各カラーチャネル毎の対応するカーネルサイズ計数ＫＲ、ＫＧ、及びＫＢとし、ａを１０００から２０００の範囲とし、ｂを０から１の範囲として、
【数４】
2006506742.tif 000016
により求められた半幅ｈＲＧＢに亘ってＶｘ，ｙを算出する段階を更に含んでいる、請求項１２に記載の方法。
【請求項１６】
デジタルオブジェクトをレンダリングするためのシステムにおいて、
二次元の光度マトリクスを保持しているメモリであって、各マトリクス入力は、前記デジタルオブジェクトの独自の面要素に対してマップされ、前記デジタルオブジェクトのマップされた独自の面要素に相関付けられたモデル化された光度を表現しており、前記光度マトリクスはぼかされたマトリクスである、そのようなマトリクスを保持しているメモリと、
前記メモリに作動的に連結されたプロセッサであって、前記ぼかされたマトリクスからのマトリクス入力を使って前記デジタルオブジェクトをレンダリングするためのピクセル光度値を求めるプロセッサと、を備えているシステム。
【請求項１７】
前記プロセッサは、ぼかされていない光度マトリクスとぼかしアルゴリズムを使って、前記ぼかされたマトリクスの各マトリクス入力の値を求める、請求項１６に記載のシステム。
【請求項１８】
前記メモリは、前記デジタルオブジェクトの二次元カラーマップを更に保持しており、前記プロセッサは、前記カラーマップを使って前記デジタルオブジェクトをレンダリングするためのピクセルカラー値を求める、請求項１６に記載のシステム。
【請求項１９】
前記メモリは、二次元バンプマップを更に保持しており、前記バンプマップは、前記デジタルオブジェクトの面と前記デジタルオブジェクトのモデル化された３Ｄジオメトリの間の細かな面変化を記述している、請求項１６に記載のシステム。
【請求項２０】
前記プロセッサは、前記バンプマップとモデル化された照明環境を使って、二次元のぼかされていない光度マトリクスを計算する、請求項１９に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル画像化の分野の方法に、より厳密には、皮膚組織又は類似物をデジタル的にレンダリングしてより自然又は本物そっくりの外観を提供する方法に関する。
【背景技術】
【０００２】
本出願は、３５Ｕ．Ｓ．Ｃ．第１１９条（ｅ）に従い、２００２年１１月１５日出願の米国仮特許出願第６０／４２６，５６０号に関する優先権を主張し、同仮出願の全内容を参考文献として本願に援用する。
【０００３】
本特許出願は、著作権保護の対象となる内容を含んでいる。著作権の所有者であるＴｉｍｅ  Ｗａｒｎｅｒ  Ｅｎｔｅｒｔａｉｍｅｎｔ  Ｃｏｍｐａｎｙ  ＬＰは、米国又は他国の特許商標局の出願にあるものとして本特許出願が複製されることに対し意義を唱えるものではないが、それ以外のことに関しては全ての権利を留保する。
【０００４】
この数十年の間に、例えば、テレビ、映画、コンピュータゲーム、及び工学モデル構築など、動画を利用する殆ど全ての用途で、それら動画を生成及び／又は修正するためにコンピュータが益々使用されるようになってきた。コンピュータの処理能力が向上してゆくにつれ、シーンの全てをより写実的で本物そっくりにデジタル表現することに、より多くの注目が向けられるようになってきた。写実的デジタル表現の利点は、映画やコンピュータゲームの様な娯楽や類似用途では疑いなく明らかである。写実的デジタル表現は、訓練、地図製作、医療的画像化、又は全ての物理的モデル製作を使用する用途の様な多くの非娯楽的用途においても極めて有用である。一般に、写実的デジタル表現は、動いていているにしろ静止しているにしろ、デジタル操作が可能なモデルを使用して、実際の物理的対象物の外観をシミュレートするのが望ましいあらゆる用途において有益である。デジタル式モデル化の使用は、今後、更に普及していくものと確信される。
【０００５】
写実的デジタル画像化の分野では、数多くの未解決の問題が認識されている。問題の多くは、人間（又は、人間以外の動物、実際の又は空想上の）を写実的で本物そっくりにデジタル表現することに関係する。そのような場合、デジタル表現を使用していることが注意深い視聴者に分からないようにすることが望ましい。視聴者は、人間、特に多様な照明条件下での人間の顔及び他の皮膚領域に関係する品質に対して極めて洞察が鋭く感受性が高い。従って、多くの用途において、皮膚、特に顔の露出した領域を写実的に表現することが望ましい。
【０００６】
しかしながら、皮膚組織の写実的レンダリングは、効果的なアルゴリズムが存在しないため実現が難しかった。レンダリングアルゴリズムは、複雑すぎて時間を消費するか、或いは、結果的に蝋かプラスチックの様なもの又は生命観を欠くものになるか、の何れかである。現在、顔又は他の露出した皮膚領域を含むシーンを写実的に表現するため、デジタルレンダリング分野の視覚効果技術者の骨身を惜しまない努力が必要とされている。
【０００７】
レンダリングに対する自動化の取り組みは、アルゴリズムを使ってカラー及び輝度値を自動的に計算することにより、視覚効果技術者の必要性を減らすことになる。一般に、皮膚組織と光の相互作用は極めて複雑で、皮膚を本物そっくりにレンダリングすることは難しいか、又は少なくとも資源集約的である。皮膚のレンダリングにおける難しさは、部分的には、皮膚組織の半透明性、及び皮膚組織に自然に生じる表面下散乱と透光性に起因している。皮膚組織の様な半透明な物質を正確にレンダリングするための数学的モデルは、存在してはいるが、それらのモデルは計算的に複雑である。例えば、双方向反射率分布関数（ＢＲＤＦ）、双方向表面散乱分布関数（ＢＳＳＲＤＦ）又はモンテカルロ光線追跡法を採用している方法は、全て計算集約型である。従って、計算要件のゆえに、これらの先行技術による方法は、映画、テレビ及び他のビデオ作品の様な比較的高容量及び／又は高速のレンダリングを必要とするレンダリング用途、及びビデオゲームのようなリアルタイムの用途に対しては、望ましくないか又は適していない。これまで長い間認識されてきた光と皮膚組織の相互作用により生じる複雑性の観点から、皮膚の本物そっくりなレンダリングを実現する効率的でコンパクトなアルゴリズムがあれば、有用であり、且つ驚きをもって迎えられることになるであろう。
【特許文献１】米国仮特許出願第６０／４２６，５６０号
【特許文献２】米国特許出願第１０／２１０，５３７号
【非特許文献１】Ｒｏｓａｌｅｅ  Ｗｏｌｆｅによる「視覚的に教えるテクスチャマッピング（Ｔｅａｃｈｉｎｇ  Ｔｅｘｔｕｒｅ  Ｍａｐｐｉｎｇ  Ｖｉｓｕａｌｌｙ）」コンピュータグラフィクス誌（Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ）、１９９７年１１月発行
【発明の開示】
【課題を解決するための手段】
【０００８】
本発明は、先行技術の限界を超えて人間の皮膚をデジタル的にレンダリングするための方法を提供する。改良された方法により人間の皮膚のデジタルレンダリングが行われ、表面下散乱効果を含め本物そっくりに外観を作成することができる。意外にも、表面下散乱に関する数学的モデルに基づくアルゴリズム無しに、写実的な結果が実現することができる。この方法は、人間の顔の表現を構築する際にとりわけ有効であり、身体の他の部分、動物、又は恐らく選択された他の半透明物質にも使用することができる。本方法は、米国特許出願第１０／２１０，５３７号「空間内の三次元オブジェクトの外観と動作をデジタル的にレンダリングするための方法と装置」に記載されている顔の表情を捕捉するための動作捕捉法の様な、人間の顔の表情をモデル化するための他の方法と組み合わせて、人間の顔の写実的なデジタル動画を作成することもできる。
【０００９】
より写実的な皮膚外観を提供するために、皮膚における光の表面下散乱を、新奇な方法を使ってシミュレートしている。この新奇な方法は、先行技術による表面下散乱に関する数学的モデルを利用すること無く、部分的に半透明な人間の皮膚が周囲の光を受けたときの散乱効果をシミュレートするコンパクトなアルゴリズムを使用することを含んでいる。このアルゴリズムは、並外れてコンパクトであり、半透明物質内の光の散乱に関する数学的モデルから導き出されたものではないが、少なくとも皮膚組織の場合には、より高度な（且つ、より計算集約的な）方法による結果にかなり近似した結果を驚くほど達成することができる。この方法は、顔の皮膚だけでなく、あらゆる皮膚に適用して、生体の皮膚組織の外観をシミュレートすることができる。
【００１０】
本物そっくりの結果を実現するように皮膚組織をレンダリングするこの新奇な方法は、二次元光マップにぼかしアルゴリズムを適用することを含んでいる。本方法は、デジタルオブジェクトに関わる三次元の面ジオメトリと、表面から反射されたモデル化された光を定義するための他の情報を受け取る段階と、面ジオメトリにマップされた光度値の二次元マトリクスを生成する段階と、ぼかしアルゴリズムを使ってマトリクスをぼかす段階と、ぼかした光度値を使ってオブジェクトをレンダリングする段階と、を含んでいる。
【００１１】
本発明の別の態様では、顔の様な重要な領域の詳細な三次元の皮膚の肌理が、レンダリングに使うため正確に記録される。皮膚の肌理を記録するため、塑像（石膏塑像など）が被写体の顔又は他の皮膚領域から製作される。塑像は、毛穴、しわ、傷跡などの様な被写体の皮膚の細かい点が忠実に再現されるように作られる。塑像は、次に、レーザースキャナ又は他の適した装置を使ってデジタル式に走査され、スキャナの出力データから皮膚のデジタルモデルが作成される。デジタル皮膚モデルは、通常、走査された塑像で視認できる程度の細やかさを含んでいる。その後、デジタル皮膚モデルは、塑像の元である被写体の頭部又は他の身体部分のデジタルモデルに対する肌理として適用される。
【００１２】
測定された三次元の皮膚の肌理を使用すれば、表面下散乱をシミュレートするための方法によって実現される結果を強化することができるが、必ず使用しなければならないわけではない。皮膚の肌理を定義するには、異なるソースからの皮膚の肌理を複合したもの、美術的に作成された皮膚の肌理、又は肌理生成アルゴリズムにより作成された皮膚の肌理を使用することを含め、望ましければどの様な方法を使用してもよい。
【００１３】
当業者には、以下に記す好適な実施形態の詳細な説明を考察することによって、本発明による方法をもっと完全に理解し、本発明の別の利点や目的も認識頂けるであろう。添付図面については、図面の簡単な説明で、簡単に触れている。
【発明を実施するための最良の形態】
【００１４】
本発明の或る態様では、先行技術の限界が方法１００によって克服されており、その典型的な段階を図１に示している。
当該技術では既知のように、レンダリング対象の３−Ｄモデルは、適した何れのやり方でレンダリングしてもよい。図２は、人間の頭部の典型的な３−Ｄモデル３０２を示している。本発明の目的は、デジタルオブジェクト、特に生体を表現するデジタルオブジェクトをレンダリングして、より本物らしい又は自然な外観を作り出すことである。本発明は、人間の顔及び頭部をレンダリングするのに特に有用であるが、同程度の表面下光散乱特性を備えた他の天然のオブジェクトをレンダリングするのにも有用であると予想される。
【００１５】
図１に戻るが、ステップ１０２で、写実的な皮膚の肌理が生成される。これは、人間である対象物の露出した皮膚領域のゴム鋳型を石膏塑像に転写することにより行われる。次いで、石膏塑像が高分解能でレーザー走査され、毛穴、しわなどを含む細かな皮膚の造形を有する３−Ｄの肌理が作成される。図３は、上に述べたように、塑像形成及び走査技法を使って、人間である対象物から収集できる様な典型的な皮膚の肌理のデータ３０４を表している。皮膚の肌理のデータを捕捉又は作成するのに、適していれば他のどの様な方法を使用してもよい。
【００１６】
ステップ１０４では、細かな皮膚の肌理が、レンダリング対象の３−Ｄモデルにマップされ、皮膚の肌理のモデルが作られる。例えば、顔の皮膚の肌理が人間の頭部に適用される。デジタルの皮膚データと３−Ｄモデルの間の対応が正確なことは稀なので、このマッピングには、しばしばグラフィックアーティストの作業が必要になる。例えば、図２と図３に示す頭部を比較すると、２つの頭部の形状は、概ね類似しているが幾らか細かい点で違っているのが分かる。図３に示す皮膚データ３０４は、幾らか調整しなければ、図２に示す３−Ｄモデル３０２に完全に重なることはない。グラフィックアーティストは、当該技術では既知のように、このような調整を行い又は監督する。別の状況下では、グラフィックアーティストは、類似オブジェクトからの肌理データを使用せずに、３−Ｄモデルに対して直接皮膚の肌理を作成する場合もある。例えば、アーティストは、異なるデータソースからの異なる皮膚の肌理を用いて複合的な皮膚の肌理のモデルを作成し、手作業により皮膚の肌理を作成し、適したアルゴリズムを使ってきめを生成し、或いはこれらの方法の幾つかを組み合わせて採用してもよい。皮膚の覆われた領域、例えば頭髪や服に覆われている領域には、皮膚の肌理を与える必要はない。
【００１７】
皮膚の肌理のデータが３−Ｄオブジェクトの表面にマップされた後、ステップ１０５で、皮膚の肌理のモデルを使って２−Ｄバンプマップが生成される。バンプマップは、当該技術では既知のように、３Ｄオブジェクトからの面の肌理のデータを定義された２Ｄ領域上にマップしたものである。バンプマッピングは、レンダリングされた３−Ｄオブジェクトの詳細を保存すると同時に、より小さな又は単純化された３−Ｄメッシュを許容する既知の技法である。基本的に、バンプマッピングは、皮膚の肌理の様な詳細な３−Ｄ面トポグラフィーと、３−Ｄモデルの関係付けられたメッシュの間の、面法線における変位及び／又は差を計算する段階を含んでいる。バンプマッピングは、今日のアプリケーションの殆どに望ましいと信じられているが、本発明によって本物そっくりの結果を実現するために欠かせないか又は必要であると考えるべきではない。例えば、バンプマッピングの代わりに、細かな皮膚の詳細は、３−Ｄオブジェクト自体の一部としてモデル化してもよいし、或る種の自動アルゴリズムを使って、或いは他の適したやり方で生成してもよい。
【００１８】
バンプマップの各マトリクス入力（即ち「テクセル」）の変位値及び／又は面法線値は、対応する２−Ｄ面に、任意の方法でマップすることができる。バンプマップを計算するには、当該技術で既知の多種多様な方法を使用することができる。図３に示す皮膚の肌理のデータ３０４と図２に示すモデル３０２から生成した、典型的なバンプマップ３０６のグレイスケールプリントを図４に示している。シェーディングは、３−Ｄモデルのメッシュに関する皮膚の肌理の変位に対応している。明るい色は比較的「高い」造形を示し、暗い色（眼の表面は例外で、除外される）は比較的「低い」造形を示している。顔面領域には、沢山の位相幾何学的細部が存在する。
【００１９】
図１に戻るが、ステップ１０６で、レンダリングに使用される照明環境が定義される。従来のレンダリングで行われているように光源を定義する方法、又は画像ベースの照明システムを使用する方法を含め、適していればどの様な方法を使用してもよい。ステップ１０８では、皮膚は、複雑な三次元の計算を行うことなく、写実的な結果を実現するために表面下散乱の効果をシミュレートする新奇のアルゴリズムと方法を使ってレンダリングされる。ステップ１０８で用いられるレンダリング法１５０は、それ自体が複数のステップの工程であり、これについては図５に示しており後に説明する。最終的な結果は、どの様な照明環境でも、写実的に生き生きと見えるレンダリング後の皮膚である。動画を生成する場合は、各動画のフレーム毎に方法１５０が繰り返される。或いは、選択されたキーフレームに対して方法１５０を実行し、その間に介在するフレームについては当該技術で既知のように補間を行ってもよい。
【００２０】
表面下散乱の効果を疑似するための方法１５０の典型的なステップを図５に示しているが、これは人間の皮膚をレンダリングするのに特に有用であり、他の物質にも使用することができる。これに要する計算は、表面下散乱及び透過を計算又はシミュレートするための先行技術による方法に必要な計算より遙かに単純である。最初のステップ１５２で、人間の頭部の様なレンダリング対象の二次元面カラーマップが作成される。時には「テクスチャマップ」と呼ばれることもある二次元面カラーマップを作成するため、当該技術では様々な技法が知られている。バンプマップは、時にはテクスチャマップとも呼ばれるが、ここでは、テクスチャマップは、以下に述べるようにカラーマップだけを指すものとする。「テクセル」という用語は、ここでは、カラーマップ又はバンプマップの何れかの要素を指すのに用いる。
【００２１】
簡単に言えば、二次元カラーマップは、三次元オブジェクトの表面から取ったカラー値の二次元マトリクスから成り、各マトリクス要素と三次元面の要素は１対１の対応が定義されている。例えば、人間の頭部から得られた表面のカラーが二次元の矩形面に「広げられる」。三次元オブジェクトの表面の各点を二次元マップに対応付ける、即ち「マップ」するのに、当該技術では多種多様な方法が使用される。適していれば当該技術で既知のどの様なマッピング法を使用してもよい。多種多様なテクスチャマッピング技法の要約が、１９９７年１１月発行のコンピュータグラフィクス誌（Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ）の、Ｒｏｓａｌｅｅ  Ｗｏｌｆｅによる「視覚的に教えるテクスチャマッピング（Ｔｅａｃｈｉｎｇ  Ｔｅｘｔｕｒｅ  Ｍａｐｐｉｎｇ  Ｖｉｓｕａｌｌｙ）」という記事に見出せる。参考文献として本願に援用している米国特許出願第１０／２１０、５３７号は、人間の顔をデジタルレンダリングする際のカラーマップの使用について開示しており、カラーマップは「平坦な造形のトポグラフィー」と呼ばれている。
【００２２】
このようなカラーマップ又は平坦な造形のトポグラフィーは、しばしば、マップ情報を二次元形態で処理又は使用し易くすることによりデジタルオブジェクトの処理を簡素化するため、三次元オブジェクトのレンダリングで使用される。カラーマップは、後でレンダリングの際に使用するための前処理用ツールとして生成してもよい。例えば、光線追跡時に反射光を計算するためカラー値を割り当てるのに、二次元カラーマップを使用することができる。光線追跡では、光線は所望の視点と照明環境の間で追跡されるが、但し照明環境は定義されている。カラー値は、光線が視認されたオブジェクトに当たる点の関数として各反射光線に対して割り当てられるものであり、この点がカラーマップの１つ又は複数のテクセルに相当する。或いは、光マップをカラーマップと組み合わせて使用し、レンダリングされたオブジェクトのピクセルにカラー値と輝度値を割り当ててもよい。何れの場合も、３−Ｄデジタルオブジェクト及び／又は視点がセットの周りを動くにつれて、同一のカラーマップを異なるフレームに使用することができる。
【００２３】
カラーマップは、各種アプリケーションに好都合であると分かっているように、別個のカラーチャネルに分離してもよい。例えば、フィルム製作のアプリケーションに使用する場合には、赤（Ｒ）、緑（Ｇ）、又は青（Ｂ）のチャネルに分離することができる。図６には、図２及び図３に示す３−Ｄモデル３０２と皮膚トポグラフィーのデータ３０４から生成された赤色チャネル（白黒で図示）用の典型的なカラーマップ３０８を示している。青及び緑のチャネルについても同様のカラーマップを生成することができる。組み合わせると、３つのカラーチャネルは３−Ｄオブジェクトを正確に彩色する。チャネルに分離するのは、ビデオゲームの様な純粋なコンピュータグラフィックのアプリケーションには望ましくない。このようなアプリケーションでは、カラーマップは、フルスペクトル（ＲＧＢ）テクセル値を備えている。
【００２４】
各フレームの、又は選択されたキーフレーム用の二次元光マップは、ステップ１５４で示すように生成される。光度マトリクス又は「光マップ」は、これが三次元オブジェクトの表面に関係する二次元マトリクスであるという点では、カラーマップ又はバンプマップに似ている。マトリクスの各入力は、三次元面の対応する点又は表面要素と１対１の関係を有している。この１対１の対応を確立するには、適していれば、テクスチャマッピングのための当該技術で既知のどの様な方法を使用してもよい。カラーマップとは異なり、光マップは、モデル化されたオブジェクトの標準（例えば、均等拡散グレー）面からの拡散反射を表す光度（明るさ又は明度）値のマップ（又はマトリクス）を保有している。光マップの各要素は、これがテクスチャマッピングで使用される「テクセル」に概念上同様なことを示して、ここでは「ルーメル」と呼ぶ。すなわち、テクスチャマップの各マトリクス入力は、カラー（鏡面反射）データに関係し、当該技術ではテクセルとして知られており、同様に、光マップの各マトリクス入力は、標準面から反射された拡散光に関係し、主に光度を含んでおり、ここではルーメルと呼ばれる。
【００２５】
光マップは、光線追跡に関係しており、光マップの光度値は光線追跡技法によって求められる。要約すると、従来の光線追跡で行われているように、モデルの各表面要素に当たる光線が計算され、選択された視点に対する反射光の結果としての光度が計算される。光線が視認された三次元オブジェクトに当たる各点で、選択された視点へと出て行く光線の強さと色、即ちルーメルが、二次元マップに記憶される。光度マップは、中立（例えば、標準的グレー）の表面色彩を有するオブジェクトからの、所与の照明環境における拡散反射によるものとして、三次元視認オブジェクト上の光度と色を表現している。当該技術で既知のように、標準的なグレーの色彩は、等量の赤、緑、青を含んでいるので、反射光の色は、グレー表面からの反射による影響を受けない。
【００２６】
光線追跡には反射光に対して拡散寄与を用いた単純な反射率モデルを使用することができるので、結果的に出来上がった光マップは、オブジェクトの表面下散乱の効果を含んでいない。これにより、光線追跡の計算が大幅に簡素化される。光マップは、バンプマップからのデータを使って計算されるので、光マップは、バンプマップに捕捉された面トポグラフィーの細かな詳細を正確に反映している。
【００２７】
二次元光マップと三次元オブジェクトの間の対応を確立するのに使用されるマッピング法が、ステップ１５２でテクスチャマップを作成するのに使用した方法と同じである場合は、その後のレンダリングが簡単になる。光マッピングを実行可能なソフトウェアは、ドイツ、ベルリンのメンタルイメージＧｍｂＨ＆Ｃｏ．ＫＧ（www.mentalray.com）から入手可能で、具体的な製品名はメンタルレイである。皮膚の肌理のデータと図２及び図３に示す３−Ｄモデルとを使ってこのソフトウェアで作成した典型的な光マップ３１０を図７に示している。細かな詳細のシャープな浮き彫りに注目頂きたいが、これがレンダリングの結果に非写実的な外観を添えることになる。非常に正確で高分解能の皮膚の肌理のデータを使用したにもかかわらず、皮膚の肌理の光に不自然さがある。皮膚組織の表面下散乱及び透過性の効果が考慮に入れられていないのである。
【００２８】
バンプマップや事前処理型のテクスチャマップとは異なり、光マップは、特定の照明条件下でオブジェクトから放射される光の強さを表している。従って、オブジェクトがセットの周りを移動する様な変化する照明条件の下でオブジェクトを正確にレンダリングするには、所望の照明条件及び／又は場所毎に光マップを計算するのが望ましい。複数の光マップによって課される計算上の負担は、選択されたキーフレームについて光マップを計算し、キーフレームの間のフレームを補間することにより幾分軽減される。
【００２９】
光マップの各ルーメルは、最小でも、光度を表すスカラ値を含んでいる。一般的には、各ルーメルが、標準的グレー表面から反射される拡散光の色を表しているのが望ましく、この色は、言わば「入射」光の色である。本発明の或る実施形態では、光マップは、ステップ１５２で計算したカラーマップと組み合わされる。カラーマップは、オブジェクトの表面色彩を表している。ピクセル明度は、光マップのルーメルから求められる。ピクセルカラーは、光マップのルーメルからの「入射」光の色を、カラーマップのテクセルから鏡面的に反射された光の色と、光線追跡技法を用いるなどして組み合わせることによって求められる。意外にも、各ピクセルは、表面下散乱及び拡散をモデル化する計算集約的技法を使って求められるものに近似する色と光度を有しており、レンダリングされたオブジェクトには、これによって迅速に写実的な外観が付与される。基本的には、３−Ｄオブジェクトは、ミップマッピングの様な何らかの適したマッピング技法を使って、光マップ及びカラーマップの両方を３−Ｄオブジェクトのジオメトリに逆マッピングし、その結果を視界面に投影することにより、レンダリングされる。
【００３０】
光マップとテクスチャマップは、時には、ビデオゲームの様にレンダリングされた結果の写実性の精密さよりも処理速度の方が重要なアプリケーション用のシーンをレンダリングするのに使用される。しかしながら、方法１５０のステップ１５６又は等価的なぼかし段階が実行されない限り、このようなレンダリングは、皮膚の様な半透明の物質に対して最適な写実性を有する結果を実現することは、一般にはありえない。ぼかしステップ又は等価な処置なしで、ビデオゲームの様な或る種のアプリケーションで許容可能な結果を達成できることもある。しかし、そのようなアプリケーションでも、ある種のレンダリングオブジェクト、及び特に人間又は人間のようなキャラクターにはより高い写実性が望ましいはずである。無論、高度の写実性、即ちそのような物質の表面下散乱効果を捕捉する写実性は、映画の様な多くのレンダリングアプリケーションにとって大抵は望ましい。
【００３１】
従って、図５に戻るが、適した光マップが作成された後、ステップ１５６でこの光マップはぼかされる。光マップは、何らの適した平滑化又はぼかしアルゴリズムを使ってぼかされる。図８Ａと図８Ｂは、一様な値を有するルーメルの２−Ｄ円形クラスタに対する、ガウスのぼかしの様なぼかしアルゴリズムの効果を説明している。図８Ａと図８Ｂは、一般的な意味での、典型的なぼかし効果を実証するための単なる概念図に過ぎない。図８Ａに示すドット２５０は、一定の光度値を有する光のドット又は区域を示している。ぼかしステップの後、ルーメルの各ドット又はクラスタは、図８Ｂに示すぼかされたドット２５２の様な、ぼかされた光のドットに変換される。
【００３２】
適していればどの様なぼかしアルゴリズムを使用してもよい。図示の例では、ガウスのぼかしアルゴリズムが使用されており、
【００３３】
【数１】
2006506742.tif 000003
と定義されるが、ここに、ｒは光のドットの中心からの距離（デカルト座標ではｘ２＋ｙ２に等しい）、σは拡散パラメータである。アルゴリズムは、レンダリングされている肌の効果を模擬するために大まかにキャリブレートされる。肌は、被写体をレーザーポインタのような平行光源で指して、皮膚表面での拡散する輝きのパターンを観察することによってキャリブレートされる。例えば、人間の皮膚にレーザーポインタを当てると、通常は直径約１ｃｍの円形の輝きが現れる。拡散光は、輝いている区域の中心で最も強く、その中心からの半径方向距離の関数として急激に低下する。この効果を実現するためにガウスのぼかしはキャリブレートされる。このアルゴリズムによって実現される精度の高いぼかし効果は、概ね上記のような特性を呈する限り、際どいと思われてはいない。
【００３４】
当該技術では既知であるように、効率的なやり方でぼかしアルゴリズムを実施するために畳み込みを使用してもよい。代わりに、当該技術では既知であるように、ぼかしカーネルが円形に対称である場合には、一次元畳み込みマスクを連続的に用いて、２−Ｄマスクと同じ結果を実現することもできる。
【００３５】
計算時間を短縮するには、高速フーリエ変換（ＦＦＴ）技法を使って画像をぼかすのが効果的だが、これに関する詳細は当該技術では広く理解されている。ＦＦＴは、計算上効率的であるという利点を提供し、ガウスのぼかし並びにその他の望ましいぼかし効果を実現するのに使用することができる。一般に、どのような計算技法を使用しようと、この計算処理は本質的に二次元である。従って、本方法は、眼に見える表面下散乱を呈する物質をレンダリングするために従来から使用されている３次元計算処理よりも、計算集約性が遙かに低い。
【００３６】
実際には、図８Ａと図８Ｂに関連して論じた概念的なガウスのぼかしと同じ程度に実際にコンパクトですっきりしたぼかしアルゴリズムを使用して有効な結果が実現できた。２次元光マップは、レンダリング対象画像の赤（Ｒ）、緑（Ｇ）及び青（Ｂ）チャネル毎に別々にぼかしてもよい。別の言い方をすれば、ＲＧＢの各色毎に別々に計算してもよい。初期の（ぼかされていない）光マップは３つのチャネル全てについて同じである。ぼかし操作の結果３つのぼかされた光マップが生成され、各光マップは対応するＲＧＢチャネルに特定される。以下の数式で使用する場合、光マップの各ルーメルは、対応するデカルト（ｘ、ｙ）座標により識別される。各チャネルは次の一般式に従ってぼかされ、
【００３７】
【数２】
2006506742.tif 000004
ここに、Ｉｘ、ｙは、ぼかされていない画像の各ルーメルに関する（ｘ，ｙ）番目のルーメルの、画像の（ｘ，ｙ）番目の各ルーメルを取り囲む所定の幅のぼかしカーネルの中のＲ、Ｇ及びＢ値であり、Ｖｘ，ｙは、（ｘ，ｙ）番目のルーメルの減衰係数であって、ぼかし「カーネル」であり、Ｉ０，０は（ｘ，ｙ）番目の各ルーメルのＲ、Ｇ及びＢ光度である。ぼかしは、標準的な畳み込みを使用して、Ｒ、Ｇ及びＢの各チャネルを、Ｒ、Ｇ及びＢの各チャネルの異なるカーネルに対して畳み込み処理することにより実施される。カーネルＶｘ，ｙは、一般には、次のように表され、
【００３８】
【数３】
2006506742.tif 000005
ここに、ＰＲＧＢは、下に定義するように対応するＰＲ、ＰＧ、及びＰＢ出力係数であり、ｘ及びｙは、ｈＲＧＢを、ルーメルで下に定義するように各チャネルの対応するｈＲ、ｈＧ及びｈＢのカーネルサイズの半幅として、−ｈＲＧＢからｈＲＧＢの範囲に亘って計算される。
【００３９】
【数４】
2006506742.tif 000006
【００４０】
【数５】
2006506742.tif 000007
【００４１】
【数６】
2006506742.tif 000008
ＰＲＧＢの最適値は、レンダリング対象の皮膚の特性と照明条件により変化する。ＰＲＧＢの厳密な値はそれほど重要ではないと考えられ、これら値の有効な範囲の限界は、変動する。上記値は、有用な結果を作り出すと考えられる。各チャネルのカーネルサイズの半幅ｈＲＧＢは、次の式で求められ、
【００４２】
【数７】
2006506742.tif 000009
ここに、Ｗはルーメル数で示す光マップの幅又は最大寸法であり、ＫＲＧＢは、下に定義する各チャネルの対応するカーネルサイズ係数ＫＲ、ＫＧ及びＫＢである。ここでも、定数の厳密な値「１５３６」及び「０．５」はそれほど重要ではないと考えられ、これらの値の有効範囲の限界は変動する。上記値は、有用な結果を作り出すと考えられる。各ＲＧＢチャネルのカーネルサイズ因数は以下のように定義される。
【００４３】
【数８】
2006506742.tif 000010
【００４４】
【数９】
2006506742.tif 000011
【００４５】
【数１０】
2006506742.tif 000012
図９は、上に述べたぼかしアルゴリズムを適用した後の典型的なぼかし光マップ３１２を示している。別々のＲＧＢカラーマップを使用する場合、上記アルゴリズムを使用して合計３つの対応するＲＧＢぼかし光マップが生成される。ぼかし光マップ２１３でも細かな皮膚詳細は依然として見ることができるが、ぼかされていないマップ３１０と比較すると明らかに柔らかい外観を呈している。
【００４６】
再び図５に戻るが、単数又は複数の適した光マップ及びカラーマップが準備されると、ステップ１６０で三次元オブジェクトがレンダリングされる。レンダリングステップ１６０は、基本的には、カラーマップにより割り当てられたカラーで、光マップを３次元オブジェクト上にマッピングし戻す段階を含んでいる。二次元マップを三次元オブジェクトに転換し戻すための適した方法は当該技術では周知である。オブジェクトを２−Ｄマップからレンダリングするには、適していれば、ミップマッピングの様などの様な方法を使ってもよい。
【００４７】
色分けされたＲＧＢ光マップを使用するアプリケーションの場合、各光マップを、図６に示すカラーマップ３０８の様な対応するＲ、Ｇ又はＢカラーマップと共に使用して、デジタルオブジェクトの色分けされたレンダリングを生成する。色分けされたレンダリングを当該技術では既知のように組み合わせて、最終的な結果が生成される。図１０は、レンダリングされたオブジェクト３０２の典型的な最終的レンダリング画３１４（白黒表示）を示している。無論、実際の最終的なレンダリング画はフルカラーで表される。被写体の右上（向かって左上）に対する明らかに強い光源にもかかわらず、レンダリングされたオブジェクト３０４は、実際の人を撮った写真と殆ど見分けがつかない。
【００４８】
方法１００及び１５０を実施する際に必要な計算が簡素化されていることを考えると、このように高度な写実性は誠に注目に値する。方法１００及び１５０を実施する場合、デジタルレンダリングで普通に使用されている計算に付け加えるべき計算は比較的少ない。上記方法は計算処理的に簡単であるにもかかわらず、もたらされる効果は驚くほど写実的である。本方法は、ビデオゲームの様なアプリケーションに実装できるほど計算処理的に単純であると考えられる。
【００４９】
同じ照明環境にあるオブジェクト３０２の別の視点を、画３１４を生成するのに使用したのと同じ光マップとカラーマップを使用して生成することができる。本発明のこの態様は、対話式ゲームの様なアプリケーションには特に有用であり、写実性の度合いを損なうことなく、同じオブジェクトを異なる視点で投影するという計算的に単純で臨機応変の対応により、レンダリング対象の周りをユーザーが「飛び回る」ことができるようになる。
【００５０】
随意的には、光マップをぼかす前又は後、そしてデジタルオブジェクトをレンダリングする前に、特別な皮膚の領域を考慮して光マップに調整を加えてもよい。例えば、人間の耳やアヒルの足の水かき部分など或る種の組織は非常に薄く、被写体に裏から光が当たった場合には光が透過することになり、及び／又は際立って強い表面下散乱を呈する。逆に、手のひらの硬くなった領域や足のかかとの様な他の領域は、比較的僅かな表面下散乱を呈する。従って、再度図５に戻るが、ステップ１５８では、薄い皮膚や厚くて硬くなった皮膚の様な効果を考慮して光マップを随意的に修正してもよい。半透明性の程度が低いか又は高い皮膚の領域を光マップ上で識別してもよい。ステップ１５６で光マップをぼかす際に、割り当てられた半透明性の値に基づいて、ぼかしアルゴリズムを選択してもよい。例えば、或る皮膚領域に比較的高い半透明性の値が割り当てられている場合には、より高いσ値を有するガウスの青を使うなどして、ぼかす程度を強くしてもよい。逆に、半透明性の低い領域は、ぼかす程度を弱くしてもよい。服に覆われた領域の様に半透明性でない領域は、無論ぼかさずに残される。
【００５１】
当業者には、未来の映画の制作の様な高容量のアプリケーションを必要とする複雑なマルチプロセッサネットワーク型システムから、ビデオゲームの様な携帯型アプリケーション用の単純なシングルプロセッサのスタンドアローン型システムまで、本発明の各段階を実行するために様々なシステムが想起されるであろう。このように多岐に亘るシステムが、本発明の提供可能な写実的な結果と省力計算処理の恩恵を被るであろう。基本的に、本発明による方法を実行するためのシステムは、表面下散乱効果をシミュレートするために本発明に従ってぼかされた光度マトリクスを保有するメモリと、メモリに作動的に接続され、システムメモリ内の対応する単数又は複数のぼかし光マップを使用してデジタルオブジェクトをレンダリングするようにプログラムされたプロセッサと、を備えている。
【００５２】
この基本的なフレームワーク内で、非常に多くの変形が可能である。例えば、複数の光マップをぼかして、事前にシステムメモリに記憶させ、システム入力に従い必要に応じてレンダリングに使用するようにしてもよい。或いは、ユーザー入力に応じて「大急ぎで」光度マップを計算してぼかすようにしてもよい。同様に、カラーマップ、バンプマップ、及びモデル化された照明環境を作成する段階、及びこれらのツールを使って３Ｄデジタルオブジェクトをレンダリングする段階の様な先に述べた他のステップは、当業者による各種の複雑性を備えたシステム内でぼかされた光度マップを使用しながら実施してもよい。
【００５３】
以上、皮膚組織のデジタル表現のための方法の好適な実施形態について説明してきたが、当業者には、システム内で或る一定の利点が実現されていることがお分かり頂けるであろう。なお、先に述べたように、本発明の範囲と精神の中で、様々な変更、適合、及び代わりの実施形態を作り出せることも理解頂けるであろう。例えば、特定のぼかしアルゴリズムを開示しているが、本発明はこれによって制限されるものではない。当業者であれば、本発明の範囲を逸脱することなく、このアルゴリズムを修正し、異なるアルゴリズムを使用し、又はそれ以外のやり方で光マップをぼかすステップと等価なステップを実行して、表面下散乱効果をシミュレートすることができるであろう。本発明は特許請求の範囲の内容により定義される。
【図面の簡単な説明】
【００５４】
【図１】本発明の或る実施形態による、皮膚組織を捕捉しレンダリングするための典型的な段階を示すフローチャートである。
【図２】本発明の方法で使用するのに適した人間の頭部の典型的な３−Ｄモデルを示している。
【図３】人間の頭部の高分解能レーザー走査による、皮膚の肌理のデータの典型的なレンダリングを示している。
【図４】図３に示す皮膚の肌理のデータを使用して生成された典型的なバンプマップを示している白黒写真である。
【図５】表面下散乱の効果を模擬した、皮膚反射率を計算するための典型的な段階を示すフローチャートである。
【図６】図２に示す３−Ｄモデルを使用して頭部をレンダリングするための典型的なカラーマップを示す白黒写真である。
【図７】ぼかし処理前の、図２に示す３−Ｄモデル用の典型的な光度マップを示す白黒写真である。
【図８】図８Ａは、ぼかしていない光のドットを示す概念図であり、図８Ｂは、ぼかした光のドットを示す概念図である。
【図９】典型的なぼかし処理後の、図８の光度マップを示す白黒写真である。
【図１０】図２、図４、図７、及び図９それぞれに示した、３−Ｄモデル、バンプマップ、カラーマップ、及びぼかした光マップを使用して行った典型的なレンダリングの結果を示す白黒写真である。
【図１】
2006506742.tif 000017
【図２】
2006506742.tif 000018
【図３】
2006506742.tif 000019
【図４】
2006506742.tif 000020
【図５】
2006506742.tif 000021
【図６】
2006506742.tif 000022
【図７】
2006506742.tif 000023
2006506742.tif 000024
【図９】
2006506742.tif 000025
【図１０】
2006506742.tif 000026
【国際調査報告】
2006506742.tif 000027