"物体クラスからの物体の新たな画像を合成するための方法であって、前記物体クラスは既知であり、前記物体クラスからのトレーニング物体の反射フィールドを得るステップと、前記トレーニング物体の前記反射フィールドの結合を使用して、前記物体クラスの反射フィールドモデルを構築するステップと、前記反射フィールドモデルのパラメーターを最適化することによって、前記物体クラスからの特定の物体に前記反射フィールドモデルを適合させるステップであって、前記特定の物体の1つ又は複数の入力画像に基づいて特定の反射フィールドを推定する、適合させるステップと、前記特定の反射フィールドの照射入力を変更することによって、前記特定の物体の新たな画像を合成するステップとを含む、物体クラスからの物体の新たな画像を合成するための方法。構築された前記反射フィールドモデルは、前記トレーニング物体の反射フィールドの線形結合として定義される請求項1記載の方法。構築された前記反射フィールドモデルは、前記トレーニング物体の反射フィールドの平均と、前記トレーニング物体の反射フィールドの主成分の線形結合とを加えたものとして定義される請求項1記載の方法。構築された前記反射フィールドモデルは、線形照射フィールドモデルと別個の線形テクスチャーモデルとの積として定義される請求項1記載の方法。前記線形照射フィールドモデルは、前記トレーニング物体の照射フィールドの線形結合として定義される請求項4記載の方法。前記線形照射フィールドモデルは、前記トレーニング物体の照射フィールドの平均と、前記トレーニング物体の照射フィールドの主成分の線形結合とを加えたものとして定義される請求項4記載の方法。前記線形テクスチャーモデルは、テクスチャー画像のセットの線形結合として定義される請求項4記載の方法。前記線形テクスチャーモデルは、テクスチャー画像のセットの平均と、前記テクスチャー画像のセットの主成分の線形結合とを加えたものとして定義される請求項4記載の方法。前記テクスチャー画像のセットは、前記トレーニング物体の反射フィールドから導出される請求項7記載の方法。前記テクスチャー画像のセットは、前記トレーニング物体の反射フィールドから導出される請求項8記載の方法。各テクスチャー画像は、前記物体クラスからの物体の正面から照明された画像から得られる請求項7記載の方法。各テクスチャー画像は、前記物体クラスからの物体の正面から照明された画像から得られる請求項8記載の方法。各テクスチャー画像は、全ての照射方向にわたって反射フィールドを平均化することによって、前記トレーニング物体の反射フィールドから得られる請求項9記載の方法。各テクスチャー画像は、全ての照射方向にわたって反射フィールドを平均化することによって、前記トレーニング物体の反射フィールドから得られる請求項10記載の方法。前記反射フィールドは、テンソルスプラインによって表される請求項1記載の方法。前記反射フィールドの反射関数は、球面調和関数によって表される請求項1記載の方法。前記反射フィールドの反射関数は、直接光結合法によって表される請求項1記載の方法。前記照射フィールドは、テンソルスプラインによって表される請求項5記載の方法。前記照射フィールドは、テンソルスプラインによって表される請求項6記載の方法。前記照射フィールドの照射関数は、球面調和関数によって表される請求項5記載の方法。前記照射フィールドの照射関数は、球面調和関数によって表される請求項6記載の方法。前記照射フィールドの照射関数は、直接光結合法によって表される請求項5記載の方法。前記照射フィールドの照射関数は、直接光結合法によって表される請求項6記載の方法。前記合成するステップは、前記新たな画像に商マッピングを適用するステップをさらに含む請求項1記載の方法。前記合成するステップを、異なる照射入力を用いて反復するステップであって、複数の新たな画像を生成する、反復するステップと、前記新たな画像を前記1つ又は複数の入力画像と共に格納するステップであって、拡張ギャラリーを形成する、格納するステップとをさらに含む請求項1記載の方法。前記拡張ギャラリーは、前記物体クラス内の物体を認識するために使用される請求項25記載の方法。前記物体クラスからの2つ以上の特定の物体について前記適合させるステップ及び合成するステップを反復するステップをさらに含む請求項1記載の方法。前記物体クラスは、顔である請求項1記載の方法。前記特定の物体の入力画像のうちの少なくとも1つは、実質的に正面方向から照明される請求項1記載の方法。前記特定の物体の入力画像の全ては、互いにピクセルごとにアラインされる請求項1記載の方法。本発明の実施の形態は、物体クラスからの物体の画像を、変動する照射を有するように見えるように合成するための方法を提供する。本明細書において説明する本方法のステップは、メモリ及び入力/出力インターフェースを備えるプロセッサにおいて実行することができる。通常、プロセッサは画像内のピクセルを操作して、変動する照射を有する画像を合成する。物体クラスは、外観が類似しているが同一でない物体のセットである。例には、人間の顔、心臓若しくは他の臓器、自動車、同様の機械部品、又は物体のクラスの多数のインスタンスのCADコンピューター支援設計モデルを含む。唯一の要件は、物体クラスのインスタンスが類似の形状及びテクスチャーを有することである。他の応用例では、物体は人間の顔である。いかなる2つの顔も、それらのうちの一方が顔でないランダムな物体に類似しているよりもはるかに互いに類似しているため、全ての顔は類似の形状及びテクスチャーを有していると断言することができる。しかしながら、照明変動によって、顔の外観に大きな差異が生じ得る。本発明の1つの目的は、画像の照射が変動し、照明における自然な変動の効果を模倣するように、任意の顔の画像を合成することである。本発明は、顔認識の目的のために顔画像を合成する観点から説明されているが、本方法を他の物体クラス及び他の用途に適用することができることが理解される。反射フィールド本発明者らの反射フィールドモデルを説明することから始める。反射フィールドは、物体の表面に到達する4D入射光フィールドと、表面によって反射される4D放射光フィールドとの8次元関数である。遠隔点光源及び正面図を想定する。このため、従来の反射フィールドの4Dスライスのみを考察する。この4D反射フィールドは、放射光の表面座標の2つの次元x,y及び入射光の方向の2つの角度θ、φを有する。従来技術は表面座標を表面上の3D点の2Dパラメーター化となるように定義したが、本発明者らは、物体の表面を2D平面としてモデル化する。このため、本発明者らの表面座標は厳密に2D画像座標に対応する。便宜上、反射フィールドの出力を、従来の放射輝度値radiancevalueではなく、明度値として定義する。本明細書において、用語反射フィールドを使用して、入力が画像座標x,y及び入射光の方向θ、φであり出力が明度値であるこの4D関数を表す。用語反射関数を使用して、反射フィールドを画像内の固定ロケーションピクセルに限定することによって得られる2D球関数を指す。このため、本明細書において、反射フィールドは、ピクセルごとに1つの、反射関数の2Dフィールドである。反射フィールド及び反射関数のこれらの定義において、入射光は単一点光源としてモデル化される。しかしながら、本発明者らの方法はこれよりも普遍性があり、複数の光源を有する照射条件、及び非点状光源nonpointlightsourceを含む、任意の照射条件について使用することができる。そのような場合、照射条件は、2つ以上の次元を有する場合がある、θ,φとは異なるパラメーター化を使用して表すことができる。照射条件を2つ以上の次元を用いてパラメーター化することによって、反射フィールドが入力の4つ以上の次元を有すると共に、反射関数が入力の2つ以上の次元を有することになる。応用例:拡張ギャラリー図1に示すように、物体クラスからの物体の画像のギャラリー101を拡張することによる物体認識140のための本発明者らの方法は、以下の主要部分を含む。第1に、トレーニング画像102を使用して、顔のような物体クラスのモーフィング可能な反射フィールドモデル300を構築する110。トレーニング画像からトレーニング反射フィールド103を得る。次に、1つ又は複数の照射条件下の、ギャラリー101内の画像を有するクラスからの任意の選択された物体について、モデル300を物体のギャラリー101からの画像に適合させ120、物体の推定反射フィールド121を得る。次にその推定反射フィールド121を使用して、変動する照射条件129下の物体の出力画像131を合成する130。次に、合成画像をギャラリー101に追加して画像の拡張ギャラリー105を形成することができる。拡張ギャラリーを物体認識140顔認識等に使用することができる。物体認識140は、物体クラスからの物体の1つ又は複数のプローブ画像141の所与のセットについて、該物体のアイデンティティ142を求めることを含む。これは、ギャラリー内に表される物体が存在する場合、それらのうちのいずれがプローブ画像複数可に対応するのかを求めることから成る。拡張ギャラリーを、物体クラスからの物体の画像のギャラリー顔画像のギャラリー等を使用する任意の認識システムに供給することができるため、物体認識のための本発明者らの方法は、認識に使用される分類器から独立している。本発明者らの方法の第1の部分は、反射フィールドモデル300を構築すること110を含む。モデルは、物体クラス内の物体の実際の反射フィールドにおいて見られる十分な量の変動を捕捉し、それによって、モデルは、様々な照明条件下のクラスからの任意の物体の画像に容易に適合することができる。任意の照射の下でのクラス内の任意の物体の画像を近似するのに十分な表現力がある反射フィールドモデルを得た後、該モデル300をギャラリー101からの入力画像に適合させる120。物体の推定反射フィールド121を得るために、後述するように、モデルは1つ又は複数の照射条件下で物体のギャラリー画像101に適合される120。モデルを物体に適合させた後、適合されたモデルの照射入力を変更して様々な照明条件129下の物体の新たな合成画像131をレンダリングする130ことができる。ギャラリー101内の物体の合成画像131をギャラリーに追加して、拡張ギャラリー105を得ることができる。本発明者らのモデルは、従来技術の技法によって使用される従来のモデルと異なる。本発明者らのモデルは3D形状情報を組み込むが、該情報は球関数の2Dフィールドによって完全に定義される。これによって、本発明のモデルを、3Dから2Dへの投影を一切行うことなく入力画像に適合させることが可能になる。反射フィールドモデル3つの異なるタイプのモーフィング可能な反射フィールドモデルを考える。各モデルは物体の集団にわたるほぼ全範囲の可能な反射フィールドを包含することができる。好ましい実施の形態は本明細書において列挙される3つのタイプのモデルのうちの第3のものを利用する。後述するように、第1のタイプのモーフィング可能な反射フィールドモデルは、物体クラスからの複数の物体の任意の数のトレーニング画像102から得られる反射フィールド103から開始する。次に、クラスからの任意の入力物体の反射フィールドが、これらのトレーニング反射フィールドの線形結合として近似される。このモデルをより効率的かつ潜在的により信頼性の高いものにするために、主成分分析PCAのような次元削減技法を使用して、線形反射フィールドモデルの次元を削減することができる。第2のタイプのモーフィング可能な反射フィールドモデルも同様に、トレーニング画像から得られた反射フィールド103から開始する。これらのトレーニング反射フィールドのそれぞれは、まず照射フィールド以下で定義されるとテクスチャー画像との積に因数分解される。これによって、トレーニング照射フィールドのセット及びトレーニングテクスチャー画像のセットが生じる。次に、2つの線形モデルを構築する。1つは照射フィールドの線形モデル任意の照射フィールドをトレーニング照射フィールドの線形結合として近似することができるであり、1つはテクスチャー画像の線形モデル任意のテクスチャー画像がトレーニングテクスチャー画像の線形結合としてモデル化されるである。これらの線形モデルのいずれか又は双方を、PCA又は何らかの他の次元削減技法を使用して次元削減することができる。次に、クラスからの任意の物体の反射フィールドが、物体の1つ又は複数の画像の所与のセットから照射フィールド及びテクスチャー画像の積として近似される。照射フィールド及びテクスチャー画像のそれぞれは、それぞれの線形モデルを使用して推定される。第3のタイプのモーフィング可能な反射フィールドモデルは、トレーニング画像のセットから得られる反射フィールドのみでなく、トレーニング画像の異なる可能性があるセットから得られるテクスチャー画像からも開始する。これらの反射フィールドのそれぞれは、対応するテクスチャー画像によって正規化され、トレーニング照射フィールドが得られる。これ以降、本方法は第2のタイプの反射フィールドモデルと全く同様に機能する。照射フィールド及びテクスチャー画像について別個の線形モデルを構築する。次に、クラスからの任意の物体の反射フィールドが、物体の1つ又は複数の画像の所与のセットから照射フィールド線形照射フィールドモデルを使用して表現されるとテクスチャー画像線形テクスチャー画像モデルを使用して表現されるとの積として近似される。本明細書において詳細に説明される好ましい実施の形態では、この第3のタイプのモーフィング可能な反射フィールドモデルを使用する。これを行う1つの理由は、多数のトレーニング反射フィールドしたがって多数のトレーニング照射フィールドを得ることができる大量のデータを取得することは困難であり得るが、大量のテクスチャー画像データ多数のトレーニングテクスチャー画像を得るのは比較的簡単であるためである。このため、トレーニング反射フィールドの数したがってトレーニング照射フィールドの数が厳しく制限されている場合であっても、線形テクスチャーモデルにより多くのトレーニング画像及びより多くの次元を使用することによって、豊富なrichモーフィング可能な反射フィールドモデルを得ることが可能である。驚くべきことに、照射モデルへの所与の反射フィールドとテクスチャーとの分離は従来技術において十分に定義されていない。ほとんどの場合、テクスチャーの定義及び照射モデルの定義は、想定される双方向反射分布関数BRDFに依拠する。たとえば、ランバートモデルでは、各ピクセルにおける定数スケーリングファクターであるアルベドは、一般的にテクスチャーとして受けとられる一方で、コサイン項は、照射関数ランバート物体の表面にわたって一定であるであるとみなされる。ピクセルにおけるランバート反射関数は、アルベドと照射関数との積である。用語照射関数を使用して、照射パラメーターたとえば照射方向を入力として取り、スカラー明度値を出力する、各ピクセルにおける関数を指す。照射フィールドは、ピクセルごとに1つの、そのような照射関数のフィールドである。いかなる特定のBRDFとも無関係のテクスチャーの定義及び照射モデルの定義を使用することを選択した。本発明者らの方法では、反射フィールドを、テクスチャー画像と照射フィールドとの積に因数分解する。照射フィールドは、反射フィールドをテクスチャー画像で除算することによって得られる商として定義される。特に、ピクセルごとの照射関数は、ピクセルの反射関数全ての照明方向にわたるが該ピクセルにおけるテクスチャー画像の値で除算されるときに得られる商関数として定義される式1を参照されたい。用語正規化を使用して、反射フィールドをテクスチャー画像で除算して照射フィールドを得るプロセスを指す。テクスチャー画像は、複数の方法で定義することができる。ここでは2つの可能性を与える。第1の方法は、物体クラスからの任意の物体のテクスチャー画像を、物体の正面から照明された画像として定義することである。第2の方法は、物体のテクスチャー画像を、全ての照射方向にわたって物体の反射フィールドを平均化することによって得られる画像として定義することである。好ましい実施の形態では、照明条件は、無限遠の1つ又は複数の点光源の組み合わせとして定義される。このため、物体の反射フィールドと、照射フィールドと、テクスチャー画像との間の関係は、によって与えられる。ここで、Rx,y,θ,φは反射フィールドであり、Lx,y,θ,φは照射フィールドであり、Tx,yはテクスチャー画像であり、x,yはピクセルロケーションであり、θ,φは照射方向である。好ましい実施の形態では、テクスチャーを正面から照明された画像であると定義する上述したテクスチャーを定義する第1の方法。大部分は実際的な理由から、テクスチャーのその定義を使用する。本発明者らのモデルを後述するように構築するために、テクスチャー画像の大きな収集物を必要とするので、概ね正面から照明された画像たとえば正面から照明された顔の大きな収集物を得るのは非常に簡単である。全ての照射方向にわたる反射フィールドの平均のような何らかの他の形で物体のテクスチャー画像を定義することもできるが、この平均を求めることができる反射フィールドの大きなセットを得ることは実際困難である場合がある。図2A~図2Cは、本発明の実施の形態による、反射フィールド例の因数分解をテクスチャーと照射フィールドとの積として示す画像である。図2Aは、本発明の実施の形態による、それぞれが異なる照射に対応する物体の4次元4D反射フィールドの2次元2Dスライスの例である。図2Bは、本発明の実施の形態による物体のテクスチャー画像の例である。図2Cは、本発明の実施の形態による、図2Aに示す照射フィールドを図2Bのテクスチャー画像によって正規化することによって得られた、物体の4D照射フィールドの2Dスライスの例である。照射モデル上述した第1のタイプのモーフィング可能な反射フィールドモデルは、反射フィールドの表現を必要とする該表現は各ピクセルにおける反射関数を含む。上述した第2のタイプのモーフィング可能な反射フィールドモデル及び第3のタイプのモーフィング可能な反射フィールドモデルは、照射フィールドの表現を必要とする該表現は各ピクセルにおける照射関数から成る。各反射関数、及び同様に各照射関数は、照明条件たとえば照明方向を入力としてとり、スカラー出力ピクセルの明度値を生成する。これより、反射フィールド及び照射フィールドを表す3つの異なる方法、すなわちテンソルスプラインを使用する方法、球面調和関数を使用する方法、又は直接光結合法directlightcombinationmethodと呼ばれるものを使用する方法を説明する。好ましい実施の形態では、照射フィールドをモデル化するのにテンソルスプラインを使用する。好ましい実施の形態におけるテンソルスプライン及びそれらの役割を以下でより詳細に説明する。球面調和関数を使用して照射関数及び反射関数をモデル化することもできる。球面調和関数は、任意の球面関数を少数の基底関数の線形結合として近似する方法を提供する。従来技術では、球面調和関数は照射条件をモデル化するのに使用されてきた。しかしながら、本発明者らは球面調和関数を異なる目的、すなわち反射関数及び照射関数をモデリングするのに使用する。個々のピクセルの全ての反射関数及び照射関数が結合され、反射フィールド又は照射フィールドがそれぞれ生成される。球面調和関数を使用して反射フィールド及び照射フィールドをモデル化することは、照明条件が好ましい実施の形態におけるように個々の点光源を使用してモデル化されるか、又は個々の点光源の線形結合としてモデル化されるときに効果的である。しかし、照明条件自体が球面調和関数を使用してモデル化されるとき、より一層効果的である。なぜなら、その場合、反射フィールドの表現が照明条件の表現に正確に合致するためである。反射関数又は照射関数を表現する第3の方法は、直接光結合法と呼ばれるものである。この場合、任意の照明条件が、トレーニング反射フィールドを生成するのに使用したトレーニング画像内にあった光源の線形結合として推定される。この直接光結合法では、反射関数又は照射関数は、従来の平滑球関数として表されるのではなく、トレーニング反射フィールド又はトレーニング照射フィールドが得られたトレーニング画像において提供された入力照明方向ごとに1つの、明度出力値の離散集合として表される。この直接光結合法は、トレーニングデータに最も近い可能な合致を提供する。トレーニング照明方向の数が特定の用途には大きすぎる場合、次元削減技法PCA等を使用して、反射フィールド及び照射フィールドの直接光結合モデルの次元を削減することができる。好ましい実施の形態では、トレーニング反射フィールドを求めるのに使用されるトレーニング画像は、まずピクセルごとの対応にワープされる。トレーニング反射フィールドを使用してモーフィング可能な反射フィールドモデルを構築した後、該モーフィング可能な反射フィールドモデルを任意の画像又は画像のセットに適合させる前に、同じ方法後述する2Dモーフィング可能なモデルを使用して画像複数可もピクセルごとの対応にワープする。好ましい実施の形態では、3次テンソルスプラインを使用して各反射フィールド及び照射フィールドをモデル化する。このフレームワークでは、ピクセルx,yにおける反射関数は、照射方向を入力としてとり、スカラーを出力する球関数である。反射フィールドは、によって与えられる。ここで、γklmx,yは実数値のテンソル係数であり、インデックスk、l、及びmは非負の整数であり、デカルト座標における照射方向は、ν1=sinθcosφ、ν2=sinθsinφ、及びν3=cosθによって与えられる。この反射関数の記述は、各ピクセルx,yにおいて10個のテンソル係数を必要とする。反射関数が複数のピクセルロケーションにわたって平滑に変動するというさらなる制約を課す。クマールKumar他に従って、トレーニング物体の反射フィールドを、9個以上のトレーニング画像9個以上の照明条件の下での物体の画像から回復することができる。平滑性制約は、Bスプライン基底を使用して課されるため、用語テンソルスプラインを使用して反射フィールドの本発明者らの表現を指すことができる。これらのテンソル係数ピクセルごとに10個のテンソル係数は、物体の反射フィールドを記述する。物体のテクスチャー画像によってテンソルをスケールダウン正規化して、物体の照射フィールドテクスチャーから概ね独立しているのテンソル係数を得る。テンソルスプライン表現によって、本発明者らの照射モデルは、従来のランバートモデルの能力を超えて、鏡面性、及び投じられた付随する影を捕捉することが可能になる。テンソルスプラインのフレームワークは、3D形状モデルを物体に適合させる必要なく、投じられた影のような、全体形状によって生じる光効果を計上する方法を提供する。物体の9個以上のトレーニング画像を使用して、物体のトレーニング反射フィールドを得ることができる。好ましい実施の形態では、物体ごとに9個の照射画像を必要とする方法を使用して、トレーニング画像の反射フィールドがオフラインで一度習得される。上述したように、物体クラスからの多数の物体のトレーニング反射フィールドを使用して、物体クラスのモーフィング可能な反射フィールドモデルを構築する。この反射フィールドモデルを構築した後、本発明は、モデルをクラスからの任意の物体に適合させるために、9個の画像を必要としない。実際、本発明者らの方法は、入力として物体の単一の画像しか必要としないが、より多くの画像を使用してもよい。好ましい実施の形態における効率性のために、トレーニング照射フィールドに主成分分析PCAを適用し、第1のいくつかの主成分の線形結合及びトレーニング照射フィールドの平均を使用してギャラリー内の任意の物体画像の照射フィールドを表す。照射フィールドの3次テンソルスプライン表現は、ピクセルごとに10個の係数を含む。j番目のトレーニング照射フィールドについて、M個のピクセルの全てにおいて10個全ての係数を連結して、長さ10Mの単一のベクトルLjにする。PCAを適用することによって、照射モデルの正規直交基底li[ハット]がもたらされ、任意の照射フィールドを、なお、li[ハット]は、liの上に^ハットがあることを表現している。として近似することができる。ここで、この線形モデルにおいて、スカラーαiはi番目の照射基底ベクトルの係数であり、L[アッパーライン]はトレーニング照射フィールドの平均である。なお、L[アッパーライン]は、Lの上にラインがあることを表現している。テクスチャーモデル好ましい実施の形態では、物体のテクスチャーを、物体の正面から照明された画像であると定義する。本発明者らのモデルを任意の画像に適合させるために、物体のテクスチャーが大きな集団にわたってどのように変動し得るかをモデル化する。これを行うために、全て正面照射の下で取得されたトレーニングテクスチャーのセットにPCAを適用する。これらは最初にピクセルごとに対応される。次に、任意のテクスチャー画像Tを、PCAを使用して得られた基底テクスチャーtj[ハット]の線形結合と、平均トレーニングテクスチャーT[アッパーライン]とを加えたものとして近似することができる。ここで、βjはj番目のテクスチャー基底ベクトルの係数であり、T[アッパーライン]はトレーニングテクスチャーの平均である。最小の固有値を有するPCA成分を取り除くことによって、テクスチャー及び照射モデルにおける項の数を、計算要件及び品質要件に従って選択することができる。集合は本発明者らのモーフィング可能な反射フィールドモデル300である。図3は、モデル300を構築するためのプロセスの擬似コードを要約している。ピクセルごとの対応好ましい実施の形態では、本発明者らのモーフィング可能な反射フィールドモデルの照射フィールド及びテクスチャーの全てがピクセルごとの対応している。これによって、照射フィールド及びテクスチャーの線形結合が、より現実的な照射フィールド及びテクスチャーをもたらすことが可能になる。本発明者らの方法はまた、ピクセルごとの対応と対照的に概算のアラインメントのみで使用することができるが、合成画像の品質は劣化する。ピクセルごとの対応を達成するために、2Dのモーフィング可能なモデル2DMMを使用する。2DMMは、基準画像、物体の2D形状がどのように変動し得るかを表すワープフィールドのセット、及び物体の形状自在の外観がどのように変動し得るかを表すテクスチャー画像のセットを含む。2DMMは、テクスチャーの最適な線形結合を見つける非線形最適化を使用して入力画像に適合され、それによって、入力画像は、形状の最適な線形結合によってワープされると、最小L2誤りで再構築される。形状の最適な線形結合の結果生じるワープフィールドW=Wx,Wyによって、2DMMの基準画像と入力画像との間のピクセルごとの対応が与えられる。Wxx,yは基準画像内のピクセルをとり、入力画像内の対応するx位置を出力する。Wyx,yは入力画像内の対応するy位置を出力する。2DMMを入力画像に適合させる前に、物体検出器及び特徴検出器を実行して少なくとも2つの特徴点を見つけることによって画像がクロッピング及び修正される。次に、これらの特徴点を使用して、物体を標準のスケール、回転、及び位置にアラインする類似度変換を求める。全ての照射フィールド及びテクスチャーはこのようにしてクロッピング及び修正され、その結果、初期の粗いアラインメントが行われる。2DMMは、2DMM基準画像と、トレーニング反射フィールドを計算するのに使用されるトレーニング画像のそれぞれとの間のピクセルごとの対応を見つけるのにも使用された。このため、トレーニング画像の全てが対応されたため、照射フィールド固有ベクトルは、全て対応している。同様にまた、トレーニングテクスチャー画像の全てが2DMM基準画像とのピクセルごとの対応にワープされ、全てが対応しているテクスチャー固有ベクトルがもたらされた。モデル適合未知の照射条件下好ましい実施の形態では、各未知の照射条件は未知の方向の点光源であるでの物体クラスからの物体のK個の画像Ikを所与とすると1≦k≦K、ここでの問題は、本発明者らの照射フィールドモデルを入力画像複数可に適合させることである。未知のものには、入力画像をモデルにアラインする非剛性変形W、K個の画像のそれぞれにおける照射方向、テクスチャーモデル係数、及び照射フィールドモデル係数が含まれる。これらの未知のパラメーターを、以下の目的関数を最小化することによって回復する。ここで、Wx及びWyは、基準画像から入力画像への対応を与える非剛性変形のx成分及びy成分であり、θk,φkはk番目の入力画像の照射方向であり、αiは照射係数であり、βjはテクスチャー係数である。関数Dは、x,yにおける推定照射関数の10個のテンソル係数、x,yにおける推定スカラーテクスチャー値、及び照射方向θk,φkをとり、テンソルスプライン基底を使用して各ピクセルにおける明度を求める。ここで、Sは10個のテンソルスプライン基底関数のベクトルであり、以下のように定義される。ここで、ν1,ν2,ν3は照射方向のデカルト座標である。上記で定義した目的関数に加えて、以下のチーホノフ正則化を式5にさらに加えることによって照射モデルの探索空間を制約する。ここで、λは正則化パラメーターである。リッジ回帰としても知られるチーホノフ正則化は、不良設定問題illposedproblemの正則化の一般的に使用される方法である。この制約は、推定照射フィールドが、トレーニング照射フィールドから導出されるモデルから過度に逸れないようにし、制約の結果としてアーチファクトのない再照明された合成画像が生じる。未知のものを回復するためのプロセスは4つのステップで実行される。第1のステップにおいて、入力画像が照射モデルとアラインされる。好ましい実施の形態では、各物体の少なくとも1つの入力画像が2DMMの良好な性能を保証するために実質的に正面から照明されると想定する。各物体の1つの入力画像しか必要とされない。しかしながら、物体の2つ以上の入力画像が提供される場合、画像間のピクセルごとのアラインメントを想定する。上述した自動物体検出器及び2DMMを使用して、実質的な正面照射を有する入力画像から非剛性変形パラメーターを求める。このステップの出力は、変形パラメーターWx及びWyであり、これらを使用して、入力画像複数可を、本発明者らのモーフィング可能な反射フィールドモデルの固有照射フィールド及び固有テクスチャーとのピクセルごとの対応にワープする。第2のステップにおいて、非線形最適化手順を使用して、を最小化することによって、残りの未知のものを求める。未知のものが回復された後、入力画像の反射フィールドの推定値を得るが、該推定値は基準画像とピクセルごとにアラインされるようにさらにワープされる。本発明者らのモデル適合プロセスの第3のステップにおいて、反射フィールドを入力画像とピクセルごとに対応させるために以前に求められた変形パラメーターを使用して、推定反射フィールドをワープする。プロセス全体が2つの登録ステップワープを含むため、結果としての反射フィールドは粒子が粗く見える画像を提供する。これらの補間アーチファクトを除去するために、適合プロセスに、商マッピングと呼ばれる最終ステップを組み込んでいる。実質的に正面から照明された入力画像と同じ照射方向を使用して、推定反射フィールドから合成画像を生成する。この画像の照射方向は、上述した最適化手順の一部として求められた。次に、ほぼ正面から照明された画像を、該画像の合成推定値で除算することによって、商マップを求める。商マップを使用して、推定反射フィールド全体をスケーリングする。これは、反射フィールドのワープ中に補間及び補外によってもたらされるアーチファクトを抑圧する。上述したモデルを適合させるためのプロセスの擬似コードが図4に要約されている。本発明を好ましい実施の形態の例として説明してきたが、本発明の精神及び範囲内で様々な他の適合及び変更を行うことができることを理解されたい。したがって、添付の特許請求の範囲の目的は、本発明の真の精神及び範囲に入る全ての変形形態及び変更形態を包含することである。"