(57)【特許請求の範囲】
【請求項１】
選択可能な１点の衣服を着用している人物の人工ピクチャを生成する方法であって、
ａ．人物の少なくとも一部分の３Ｄ人物モデルを提供するステップと、
ｂ．３Ｄ人物モデルに対応する人物の写真を提供するステップと、
ｃ．写真に関する照明条件データを提供するステップと、
ｄ．１点の衣服を選択するステップと、
ｅ．写真および選択された１点の衣服の描画された３Ｄ衣服モデルの組合せとして人工ピクチャを生成するステップとを含み、３Ｄ衣服モデルを描画することが、照明条件データおよび３Ｄ人物モデルを考慮し、
前記ステップｅ．が、
−  照明条件データに基づいて描画された３Ｄ人物モデルと、
−  照明条件データに基づいて描画された３Ｄ人物モデルであって、そのうち３Ｄ衣服モデルによって覆われた部分が不可視に設定されている、描画された３Ｄ人物モデルとの差として、光層を計算することを含む、方法。
【請求項２】
不可視に設定することが、３Ｄ衣服モデルに属さない画素をレンダラによって省略すること、および／または前記画素をポストプロダクション中に除去することを含む、請求項１に記載の方法。
【請求項３】
ステップｅ．が、写真、光層、および描画された３Ｄ衣服モデルのレイヤリングをさらに含む、請求項１または２に記載の方法。
【請求項４】
ステップｅ．で３Ｄ人物モデルを考慮することが、３Ｄ衣服モデルを３Ｄ人物モデルに適用すること、および／または３Ｄ人物モデルからの光輸送を３Ｄ衣服モデルに適用することを含む、請求項１から３の１つに記載の方法。
【請求項５】
３Ｄ衣服モデルを３Ｄ人物モデルに適用することが、３Ｄ人物モデルの幾何学的特性を３Ｄ衣服モデルに適用することをさらに含む、請求項４に記載の方法。
【請求項６】
ステップｅ．で照明条件データを考慮することが、照明条件データを３Ｄ衣服モデルおよび／または３Ｄ人物モデルに適用することを含む、請求項１から５の１つに記載の方法。
【請求項７】
ステップａ．が、
−  ３Ｄスキャナを用いて３Ｄ人物モデルを提供するステップ、
−  深さセンサを用いて３Ｄ人物モデルを提供するステップ、または
−  写真測量を用いて３Ｄ人物モデルを提供するステップの少なくとも１つを含む、請求項１から６の１つに記載の方法。
【請求項８】
３Ｄ人物モデルが、シルエットを含み、写真が、人物のシルエットを含み、方法は、シルエットが互いからずれている場合にシルエットを合致させるステップをさらに含む、請求項１から７の１つに記載の方法。
【請求項９】
シルエットを合致させるステップが、
−  写真の人物のシルエットを抽出すること、
−  ３Ｄ人物モデルのシルエットが写真から抽出されたシルエットに整合するように３Ｄ人物モデルをワーピングすること、および／または写真が３Ｄ人物モデルのシルエットに整合するように写真をワーピングすることをさらに含む、請求項８に記載の方法。
【請求項１０】
ワーピングすることが、２つのシルエットの一方または両方を変形させることを含む、請求項９に記載の方法。
【請求項１１】
ワーピングすることが、不自然な変形を回避するために物理的シミュレーションを適用することをさらに含む、請求項１０に記載の方法。
【請求項１２】
照明条件データを提供するステップが、周囲センサによって集められるデータに基づいて行われる、請求項１から１１の１つに記載の方法。
【請求項１３】
周囲センサが、
−  球面撮像システム、または
−  ミラーボールの１つを備える、請求項１２に記載の方法。
【請求項１４】
照明条件データが、環境マップを含む、請求項１から１３の１つに記載の方法。
【請求項１５】
環境マップは、写真が撮られたセットのシミュレートされた３Ｄモデルを含む、請求項１４に記載の方法。
【請求項１６】
照明条件データを適用することが、環境マップから３Ｄ人物モデルおよび３Ｄ衣服モデルへの光輸送を考慮することを含む、請求項１４または１５に記載の方法。
【請求項１７】
３Ｄ人物モデルがテクスチャを含む、請求項１から１６に記載の方法。
【請求項１８】
テクスチャが、１つまたは複数のカメラによって撮られた人物の１つまたは複数の写真に基づく、請求項１７に記載の方法。
【請求項１９】
１つまたは複数のカメラのパラメータを記憶するステップをさらに含み、パラメータが、
−  カメラの位置、
−  向き、
−  焦点距離の少なくとも１つを含む、請求項１８に記載の方法。
【請求項２０】
パラメータが、基準視点を計算するのに適している、請求項１９に記載の方法。
【請求項２１】
ステップｅ．が、基準視点を考慮する、請求項２０に記載の方法。
【請求項２２】
写真および３Ｄ人物モデルが、人物を同じポーズで示す、請求項１から２１の１つに記載の方法。
【請求項２３】
選択可能な１点の衣服を着用している人物の人工ピクチャを生成する装置であって、
ａ．人物の少なくとも一部分の３Ｄ人物モデルを提供する手段と、
ｂ．３Ｄ人物モデルに対応する人物の写真を提供する手段と、
ｃ．写真に関する照明条件データを提供する手段と、
ｄ．１点の衣服を選択する手段と、
ｅ．写真および選択された１点の衣服の描画された３Ｄ衣服モデルの組合せとして人工ピクチャを生成する手段とを備え、３Ｄ衣服モデルを描画することが、照明条件データおよび３Ｄ人物モデルを考慮し、
前記手段ｅ．が、
−  照明条件データに基づいて描画された３Ｄ人物モデルと、
−  照明条件データに基づいて描画された３Ｄ人物モデルであって、そのうち３Ｄ衣服モデルによって覆われた部分が不可視に設定されている、描画された３Ｄ人物モデルとの差として、光層を計算することを含む、装置。
【請求項２４】
人物の少なくとも一部分の３Ｄ人物モデルを提供する手段が、
−  ３Ｄスキャナ、
−  深さセンサ、または
−  複数の写真測量用カメラの少なくとも１つを備える、請求項２３の装置。
【請求項２５】
３Ｄ人物モデルに対応する人物の写真を提供する手段が、カメラを備える、請求項２３または２４の１つに記載の装置。
【請求項２６】
カメラが、写真測量用カメラの１つである、請求項２４または２５に記載の装置。
【請求項２７】
写真に関する照明条件データを提供する手段が、周囲センサを備え、周囲センサが、
−  球面撮像システム、または
−  ミラーボールの少なくとも１つを備える、請求項２３から２６の１つに記載の装置。
【請求項２８】
１点の衣服を選択する手段が、
−  ユーザインターフェース、
−  データベース、および／または
−  ファイルの少なくとも１つまたは複数を備える、請求項２３から２７の１つに記載の装置。
【請求項２９】
人工ピクチャを生成する手段が、請求項１から２２のいずれかに記載の方法によって、選択可能な１点の衣服を着用している人物の人工ピクチャを生成するように構成される、請求項２３から２８の１つに記載の装置。
【請求項３０】
請求項１から２２の１つに記載の方法を実行する命令を含むコンピュータプログラム。                                                              
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、選択可能な１点の衣服を着用している人物の人工ピクチャを生成する方法および装置に関する。
【背景技術】
【０００２】
現在、モデルに着せた製品の写真技術は、アパレル産業において、Ｔシャツ、ズボン、帽子などのようなアパレル製品を提示するための事実上の標準と見なされている。この目的のため、前記アパレル製品を着用している人間のモデルの写真が写真撮影会中に撮られる。これらの写真は、アパレル製品の外観、機能、および適合性を１枚の写真のみから顧客が直ちに認識することを可能にする。そのような写真は、ファッションカタログ、ファッション雑誌などからよく知られている。
【０００３】
しかし残念ながら、写真撮影を実行することは、かなり時間がかかり、かつ高価である。モデル、カメラマン、照明技師、メーキャップアーチスト、および美容師などがすべて、同じ写真スタジオに同時に集合しなければならない。写真撮影会中に撮ることができる写真の数は制限されており、したがって写真撮影会中に撮影することができる衣服の数も制限される。
【０００４】
さらに、写真撮影会が数日にわたって続くとき、撮影会の間毎日照明などのような環境条件を同じにすることはほとんど不可能である。したがって、その結果得られる写真の印象は、個々の写真が撮影された日の環境条件に応じて、わずかに変動することがある。
【０００５】
したがって、前述の写真撮影会に取って代わるコンピュータ援用の解決策が開発されてきた。
【０００６】
米国特許出願第２０１１／０２９８８９７号は、アバター上での衣服の３Ｄ仮想試着の方法および装置を開示している。人物の身体に対する衣服のオンライン適合方法は、衣服の仕様を受け取ることと、１つまたは複数の適合モデルの身体仕様を受け取ることと、１つまたは複数の等級ルールを受け取ることと、１つまたは複数の生地仕様を受け取ることと、消費者の身体の仕様を受け取ることとを含むことができる。
【０００７】
米国特許出願第２０１４／０１７６５６５号は、少数の測定値および単一の写真を衣服の１つまたは複数の画像と組み合わせて作成された人物の仮想身体モデルを生成および共用する方法を開示している。
【０００８】
米国特許出願第２０１０／００３０５７８号は、社会環境におけるオンライン共同制作方法に関する方法およびシステムを開示している。これらの方法およびシステムは、ユーザが自身の身体プロファイルの３次元モデルを作成させることを可能にするオンライン衣服モデリングシステムに関係する。ユーザは、オンライン環境内で様々な商品および／またはサービスを購入し、他のユーザと共同制作することができる。
【０００９】
ＷＯ０１／７５７５０Ａ１は、販売すべき着用物品の仮想ディスプレイを有する複数のベンダステーションを含む着用物品の電子ショッピングシステムを開示している。各着用物品に対する３次元画像および少なくとも１つの材料特性を表す第１のデータが提供される。このシステムはまた、着用物品の１つまたは複数を選択し、その着用物品に関連付けられた第１のデータをダウンロードするためのベンダステーションへのアクセスを有する少なくとも１つの購入者ステーションを含む。購入者ステーションには人物の仮想３次元モデルが記憶され、この仮想３次元モデルは、人物の３つの次元を表す第２のデータを含む。
【００１０】
さらなるコンピュータ援用の技法は、Divivier et al.: “Topics in Realistic, Individualized Dressing in Virtual Reality”, Bundesministerium fur Bildung und Forschung (BMBF): Virtual and Augmented Reality Status Conference 2004, Proceedings CD-ROM, Leipzig, 2004に提案されている。
【００１１】
しかし、前述の手法はいずれも、従来の写真撮影会に完全に取って代わるのに成功していない。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】米国特許出願第２０１１／０２９８８９７号
【特許文献２】米国特許出願第２０１４／０１７６５６５号
【特許文献３】米国特許出願第２０１０／００３０５７８号
【特許文献４】ＷＯ０１／７５７５０Ａ１
【非特許文献】
【００１３】
【非特許文献１】Divivier et al.: “Topics in Realistic, Individualized Dressing in Virtual Reality”, Bundesministerium fur Bildung und Forschung (BMBF): Virtual and Augmented Reality Status Conference 2004, Proceedings CD-ROM, Leipzig, 2004
【発明の概要】
【発明が解決しようとする課題】
【００１４】
したがって、本発明の根本的な目的は、選択可能な１点の衣服を着用している人物の人工ピクチャを生成する改善された方法および対応する装置を提供することである。
【課題を解決するための手段】
【００１５】
本発明は、以下の態様を含む。
【００１６】
［１］選択可能な１点の衣服を着用している人物（１１）の人工ピクチャ（７）を生成する方法であって、
ａ．人物（１１）の少なくとも一部分の３Ｄ人物モデル（１）を提供するステップと、
ｂ．３Ｄ人物モデル（１）に対応する人物の写真（３）を提供するステップと、
ｃ．写真（３）に関する照明条件データ（２）を提供するステップと、
ｄ．１点の衣服を選択するステップと、
ｅ．写真（３）および選択された１点の衣服の描画された３Ｄ衣服モデル（２１）の組合せとして人工ピクチャ（７）を生成するステップとを含み、３Ｄ衣服モデル（２１）を描画することが、照明条件データ（２）および３Ｄ人物モデル（１）を考慮する、方法。
【００１７】
［２］方法ステップｅ．が、
−  照明条件データ（２）に基づいて描画された３Ｄ人物モデル（１）と、
−  照明条件データ（２）に基づいて描画された３Ｄ人物モデル（１）であって、そのうち３Ｄ衣服モデル（６）によって覆われた部分が不可視に設定されている、描画された３Ｄ人物モデル（１）との差として、光層（１９）を計算することを含む、［１］に記載の方法。
【００１８】
［３］不可視に設定することが、３Ｄ衣服モデル（２１）に属さない画素をレンダラ(renderer)によって省略すること、および／または前記画素をポストプロダクション中に除去することを含む、［２］に記載の方法。
【００１９】
［４］ステップｅ．が、写真（３）、光層（１９）、および描画された３Ｄ衣服モデル（２１）のレイヤリング(layering)をさらに含む、［２］または［３］に記載の方法。
【００２０】
［５］ステップｅ．で３Ｄ人物モデル（１）を考慮することが、３Ｄ衣服モデル（５）を３Ｄ人物モデル（１）に適用すること、および／または３Ｄ人物モデル（１）からの光輸送を３Ｄ衣服モデル（５）に適用することを含む、［１］から［４］の１つに記載の方法。
【００２１】
［６］３Ｄ衣服モデル（５）を３Ｄ人物モデル（１）に適用することが、３Ｄ人物モデル（１）の幾何学的特性を３Ｄ衣服モデル（５）に適用することをさらに含む、［５］に記載の方法。
【００２２】
［７］ステップｅ．で照明条件データ（２）を考慮することが、照明条件データ（２）を３Ｄ衣服モデル（５）および／または３Ｄ人物モデル（１）に適用することを含む、［１］から［６］の１つに記載の方法。
【００２３】
［８］ステップａ．が、
−  ３Ｄスキャナ（１３）を用いて３Ｄ人物モデル（１）を提供するステップ、
−  深さセンサ（１５）を用いて３Ｄ人物モデル（１）を提供するステップ、または
−  写真測量を用いて３Ｄ人物モデル（１）を提供するステップの少なくとも１つを含む、［１］から［７］の１つに記載の方法。
【００２４】
［９］３Ｄ人物モデル（１）が、シルエット（２３）を含み、写真（３）が、人物（１１）のシルエット（２５）を含み、方法は、シルエット（２３、２５）が互いからずれている場合にシルエット（２３、２５）を合致させるステップをさらに含む、［１］から［８］の１つに記載の方法。
【００２５】
［１０］シルエット（２３、２５）を合致させるステップが、
−  写真（３）の人物（１１）のシルエット（２５）を抽出すること、
−  ３Ｄ人物モデル（１）のシルエット（２３）が写真（３）から抽出されたシルエット（２５）に整合するように３Ｄ人物モデル（１）をワーピングすること、および／または写真（３）が３Ｄ人物モデル（１）のシルエット（２３）に整合するように写真（３）をワーピング(warping)することをさらに含む、［９］に記載の方法。
【００２６】
［１１］ワーピングすることが、２つのシルエット（２３、２５）の一方または両方を変形させることを含む、［１０］に記載の方法。
【００２７】
［１２］ワーピングすることが、不自然な変形を回避するために物理的シミュレーションを適用することをさらに含む、［１１］に記載の方法。
【００２８】
［１３］照明条件データ（２）を提供するステップが、周囲センサによって集められるデータに基づいて、好ましくは人物（１１）の写真（３）が撮られるときと本質的に同じ時点に行われる、［１］から［１２］の１つに記載の方法。
【００２９】
［１４］周囲センサが、
−  球面撮像システム、または
−  ミラーボールの１つを備える、［１３］に記載の方法。
【００３０】
［１５］照明条件データ（２）が、環境マップを含む、［１］から［１４］の１つに記載の方法。
【００３１】
［１６］環境マップは、写真（３）が撮られたセットのシミュレートされた３Ｄモデルを含む、［１５］に記載の方法。
【００３２】
［１７］照明条件データ（２）を適用することが、環境マップから３Ｄ人物モデル（１）および３Ｄ衣服モデル（６）への光輸送を考慮することを含む、［１５］または［１６］に記載の方法。
【００３３】
［１８］３Ｄ人物モデル（１）がテクスチャを含む、［１］から［１７］に記載の方法。
【００３４】
［１９］テクスチャが、１つまたは複数のカメラ（９）によって撮られた人物（１１）の１つまたは複数の写真に基づく、［１８］に記載の方法。
【００３５】
［２０］１つまたは複数のカメラのパラメータ（１０）を記憶するステップをさらに含み、パラメータ（１０）が、
−  カメラの位置、
−  向き、
−  焦点距離の少なくとも１つを含む、［１９］に記載の方法。
【００３６】
［２１］パラメータが、基準視点を計算するのに適している、［２０］に記載の方法。
【００３７】
［２２］ステップｅ．が、基準視点を考慮する、［２１］に記載の方法。
【００３８】
［２３］写真（３）および３Ｄ人物モデル（１）が、人物を同じポーズで示す、［１］から［２２］の１つに記載の方法。
【００３９】
［２４］選択可能な１点の衣服を着用している人物（１１）の人工ピクチャ（７）を生成する装置であって、
ａ．人物（１１）の少なくとも一部分の３Ｄ人物モデル（１）を提供する手段（９、１３、１５）と、
ｂ．３Ｄ人物モデル（１）に対応する人物（１１）の写真（３）を提供する手段（９）と、
ｃ．写真（３）に関する照明条件データ（２）を提供する手段と、
ｄ．１点の衣服を選択する手段と、
ｅ．写真（３）および選択された１点の衣服の描画された３Ｄ衣服モデル（２１）の組合せとして人工ピクチャ（７）を生成する手段とを備え、３Ｄ衣服モデル（６）を描画することが、照明条件データ（２）および３Ｄ人物モデル（１）を考慮する、装置。
【００４０】
［２５］人物（１１）の少なくとも一部分の３Ｄ人物モデル（１）を提供する手段が、
−  ３Ｄスキャナ（１３）、
−  深さセンサ（１５）、または
−  複数の写真測量用カメラ（９）の少なくとも１つを備える、［２４］の装置。
【００４１】
［２６］３Ｄ人物モデル（１）に対応する人物（１１）の写真（３）を提供する手段（９）が、カメラ（９）を備える、［２４］または［２５］の１つに記載の装置。
【００４２】
［２７］カメラ（９）が、写真測量用カメラ（９）の１つである、［２５］または［２６］の１つに記載の装置。
【００４３】
［２８］写真（３）に関する照明条件データ（２）を提供する手段が、周囲センサを備え、周囲センサが、
−  球面撮像システム、または
−  ミラーボールの少なくとも１つを備える、［２４］から［２７］の１つに記載の装置。
【００４４】
［２９］１点の衣服を選択する手段が、
−  ユーザインターフェース、
−  データベース、および／または
−  ファイルの少なくとも１つまたは複数を備える、［２４］から［２８］の１つに記載の装置。
【００４５】
［３０］人工ピクチャ（７）を生成する手段が、［１］から［２３］のいずれかに記載の方法によって、選択可能な１点の衣服を着用している人物（１１）の人工ピクチャ（７）を生成するように構成される、［２４］から［２９］の１つに記載の装置。
【００４６】
［３１］［１］から［２３］の１つに記載の方法を実行する命令を含むコンピュータプログラム。
【００４７】
［３２］［１］から［２３］の１つの方法によって生成される選択可能な１点の衣服を着用している人物（１１）の人工ピクチャ（７）。
【００４８】
前述の問題は、［１］に記載の方法、［２４］に記載の装置、［３１］に記載のコンピュータプログラム、および［３２］に記載の人工ピクチャによって、少なくとも部分的に解決される。
【００４９】
本発明の一態様によれば、選択可能な１点の衣服を着用している人物の人工ピクチャを生成する方法が提供され、この方法は、（ａ）人物の少なくとも一部分の３Ｄ人物モデルを提供するステップと、（ｂ）３Ｄ人物モデルに対応する人物の写真を提供するステップと、（ｃ）写真に関する照明条件データを提供するステップと、（ｄ）１点の衣服を選択するステップと、（ｅ）写真および選択された１点の衣服の描画された３Ｄ衣服モデルの組合せとして人工ピクチャを生成するステップとを含み、３Ｄ衣服モデルを描画することが、照明条件データおよび３Ｄ人物モデルを考慮する。
【００５０】
本出願人は、衣服を着用している人物の人工ピクチャは、３Ｄ衣服モデルを描画し、その描画と前記人物の写真とを組み合わせることによって、改善された品質で生成することができることを見出した。
【００５１】
しかし、少なくとも部分的に現実的なピクチャを実現するには、３Ｄ衣服モデルを後に描画するために、身長、腹囲、肩幅などのような人物のパラメータを使用して、人物の３Ｄモデルを提供することができる。
【００５２】
さらに、本発明は、最終的な人工画像内で３Ｄ人物モデルに取って代わる人物の写真を使用する。
【００５３】
ピクチャの照明は、ピクチャの品質に影響を及ぼすさらなる要因となる可能性がある。したがって、照明条件データを提供することで、照明条件データを人工ピクチャに統合してピクチャの品質をさらに改善することを可能にすることができる。
【００５４】
例として、人物は写真が撮られる間に左上側から照明されたと仮定し、３Ｄ衣服モデルは描画中に右上側から照明されたと仮定すると、これは、描画された３Ｄ衣服モデルを写真に継ぎ目なく統合することを妨げるはずである。その理由は、別個に作成された画像を組み合わせるときは照明条件が重要になる可能性があるからである。写真および描画された３Ｄ衣服モデルの照明条件が大幅にずれる場合、描画された３Ｄ衣服モデル上および人物の写真上の陰影および反射もまた互いからずれ、したがって人工ピクチャでは不自然に見える可能性がある。その結果、見る人が、生成されたピクチャを人工的なピクチャとして容易に識別することが可能になることがある。
【００５５】
さらに、３Ｄ人物モデルに関する前述のパラメータは、３Ｄ衣服モデルの形状を調整するために使用することができる。したがって、描画された３Ｄ衣服モデルは、人物によって着用されているように見えることができる。写真の人物に対して３Ｄ衣服モデルを厳密に適合させることで、生成された人工ピクチャの品質をさらに増大させることができる。
【００５６】
前述の結果は、３Ｄシーンのいかなる退屈な調整も、いかなる時間のかかるポストプロダクションステップもなく、実現することができる。追加として、人工ピクチャで使用するために３Ｄ人物モデルを描画することを回避することによって、人工ピクチャの品質に関するさらに改善された結果も、本発明によって実現することができる。
【００５７】
前述の方法ステップｅ．は、照明条件データに基づいて描画された３Ｄ人物モデル（アパレル製品なし）と、照明条件データに基づいて描画された３Ｄ人物モデルであって、そのうち３Ｄ衣服モデルによって覆われた部分が不可視に設定されている、描画された３Ｄ人物モデル（アパレル製品あり）との差として、光層を計算することを含むことができる。
【００５８】
２つの画像の差は、３Ｄ衣服モデルから３Ｄ人物モデルへ、したがって人物の写真への光輸送を表すことができる。
【００５９】
たとえば、３Ｄ衣服モデルが眼鏡を着用していると仮定する。眼鏡のフレームは、３Ｄ人物モデルの顔側から照明されるとき、前記側に影を生じさせる可能性がある。光層を計算するには、眼鏡を着用していない、したがって影のない３Ｄ人物モデルを描画することができる。その後、眼鏡を着用している、したがって顔側に影を含む３Ｄ人物モデルを、再び描画することができる。しかし、眼鏡は、描画中に不可視に設定することができる。したがって、眼鏡のフレームの影を有する描画された３Ｄ人物モデルのみを示すことができる。これらの２つの描画の差を計算するとき、影のみを残すことができる。したがって、影のみを光層内に記憶することができる。
【００６０】
不可視に設定することは、３Ｄ衣服モデルに属さない画素をレンダラによって省略すること、および／または前記画素をポストプロダクション中に除去することを含むことができる。
【００６１】
人工ピクチャを生成することは、写真、光層、および描画された３Ｄ衣服モデルのレイヤリングをさらに含むことができる。
【００６２】
どちらも照明条件データが考慮された３Ｄ人物モデルおよび３Ｄ衣服モデルを含む複雑な３Ｄシーンを描画するのではなく、良好な品質の人工ピクチャを実現するには、上記の生成された部分のレイヤリングのみを必要とすることができる。特に、光層は、人物の写真の上にレイヤリングすることができる。したがって、着用された衣服から人物への光輸送を人工ピクチャ内で表すことができる。次いで、描画された３Ｄ衣服モデルは、光層および人物の写真の組合せの上にレイヤリングすることができる。その結果、選択された衣服を「仮想上」着用している人物の人工ピクチャを実現することができる。
【００６３】
ステップｅ．で３Ｄ人物モデルを考慮することは、３Ｄ衣服モデルを３Ｄ人物モデルに適用すること、および／または３Ｄ人物モデルからの光輸送を３Ｄ衣服モデルに適用することを含むことができる。
【００６４】
３Ｄ衣服モデルを３Ｄ人物モデルに適用することは、３Ｄ人物モデルの幾何学的特性を３Ｄ衣服モデルに適用すること、および／または３Ｄ人物モデルからの光輸送を３Ｄ衣服モデルに適用することをさらに含むことができる。
【００６５】
幾何学的特性を３Ｄ衣服モデルに適用することは、たとえば衣服の生地のしわのシミュレーションを可能にすることができ、これは、良好な品質の人工ピクチャを提供するさらなる要因となることができる。なぜなら、生地の何らかの不自然な挙動、たとえば不自然な突出または不自然な堅さなどは、人工ピクチャの品質に負の影響を与えることがあるからである。
【００６６】
さらに、人工ピクチャの品質を改善するために、３Ｄ人物モデルから描画された３Ｄ衣服モデルへの光輸送を考慮することができる。したがって、たとえば３Ｄ人物モデルの腕または手が３Ｄ衣服モデル上に影を生じさせるとき、人工ピクチャの品質を維持するには、描画された３Ｄ衣服上でもこの影が可視であることが必要とされる可能性がある。
【００６７】
ステップｅ．で照明条件データを考慮することは、照明条件データを３Ｄ衣服モデルおよび／または３Ｄ人物モデルに適用することを含むことができる。
【００６８】
人工ピクチャの良好な品質を実現するには、地球環境の光源、地球環境の影、地球環境の反射、または環境から３Ｄモデルへの光輸送に影響しうるあらゆる他の物体のような照明条件データが、描画内に正確に表されなければならない可能性がある。
【００６９】
３Ｄ人物モデルを提供するステップは、
−  ３Ｄスキャナを用いて３Ｄ人物モデルを提供するステップ、
−  深さセンサを用いて３Ｄ人物モデルを提供するステップ、または
−  写真測量を用いて３Ｄ人物モデルを提供するステップの少なくとも１つをさらに含むことができる。
【００７０】
３Ｄ人物モデルを提供するために、３Ｄスキャナを使用して、人物の身体形状を検出することができる。追加または別法として、Ｍｉｃｒｏｓｏｆｔ  Ｋｉｎｅｃｔ（商標）コントローラのような深さセンサを使用することができる。たとえば、身体部分の事前定義された形状に基づくことができるアルゴリズムを用いて、走査される人物の身体形状を再構築することができる。さらなる代替として、写真測量を使用することができる。いくつかの方向からいくつかのピクチャを撮ることによって、３Ｄモデルを近似させることができる。この技法は、人物の写真を同時に提供することができ、この人物の写真を使用して、人工ピクチャ内の３Ｄ人物モデルを置き換えることができる。
【００７１】
３Ｄ人物モデルは、シルエットを含むことができ、写真はまた、人物のシルエットを含むことができる。この方法は、シルエットが互いからずれている場合にシルエットを合致させるステップをさらに含むことができる。
【００７２】
３Ｄ人物モデルを提供するために使用される技法に応じて、シルエットが互いに一致するように、シルエットを調整することが必要になる可能性がある。シルエットが一致していない場合、たとえば光層の計算がいくつかの誤りを含む可能性があるため、人工ピクチャの品質は大幅に悪くなる可能性がある。写真測量を使用するときは、人物の写真および３Ｄ人物モデルを本質的に同じ時点で生成することができるため、どちらのシルエットも自動的に一致することができる。シルエットの好ましくないずれを防止するとき、タイミングのいくつかの軽微な公差は許容可能とすることができる。しかし、Ｍｉｃｒｏｓｏｆｔ  Ｋｉｎｅｃｔ（商標）コントローラまたは３Ｄスキャナを使用するときは、３Ｄ人物モデルの生成には数秒を必要とする可能性がある。この時間中、人物は、わずかに動く可能性があり、または人物の写真が撮られたときとは別の呼吸周期にある可能性がある。このとき、シルエットを調整することが必要になる可能性がある。
【００７３】
シルエットを合致させるステップは、写真の人物のシルエットを抽出すること、３Ｄ人物モデルのシルエットが写真から抽出されたシルエットに整合するように３Ｄ人物モデルをワーピングすること、および／または写真が３Ｄ人物モデルのシルエットに整合するように写真をワーピングすることをさらに含むことができる。
【００７４】
さらなる柔軟性を提供するために、写真の人物のシルエットに一致することができるように３Ｄ人物モデルのシルエットをワーピングすることができ、または逆も同様である。
【００７５】
ワーピングすることは、２つのシルエットの一方または両方を変形させることを含むことができる。
【００７６】
そのような変形は、アルゴリズムによって実現することができ、たとえば、シルエットの「エッジ」または「境界」を互いに一致するまで動かすように構成することができる。
【００７７】
ワーピングすることは、不自然な変形を回避するために物理的シミュレーションを適用することをさらに含むことができる。
【００７８】
シルエットの自動化された調整は、写真の人物または３Ｄ人物モデルの一方または両方の不自然な変形を招く可能性があるため、制御方策として物理的シミュレーションを適用することができる。特に、ワーピングするための変形は、身体の特定の部分または身体全体のサイズを不自然に増大または減少させる可能性があり、これは人工ピクチャの品質に負の影響を与える可能性がある。したがって、人体の特性（たとえば、手のサイズと腕のサイズの比）を物理的シミュレーションによって概略的に考慮するとき、そのような不自然な変形を防止することができる。
【００７９】
照明条件データを提供するステップは、周囲センサによって集められるデータに基づいて、好ましくは人物の写真が撮られるときと本質的に同じ時点に行うことができる。周囲センサは、球面撮像システムまたはミラーボールの１つを備えることができる。
【００８０】
球面画像システム、たとえば球面カメラシステムを周囲センサとして使用することで、照明条件データを提供することを大幅に簡略化することができる。そのような画像システムは、対応する３Ｄ人物モデルおよび／または人物の写真の生成中、人物を取り囲む３６０°のパノラマ視野を捕捉することができる。その結果、セットを取り囲む関連する光源および物体などを捕捉し、パノラマ画像内に記憶することができる。たとえば、３６０°のパノラマ視野の１つまたは複数の部分のみ、たとえば１８０°または任意の他の適した角度範囲のみを捕捉することも可能であることに留意されたい。ミラーボールが使用される場合も、類似の結果を実現することができる。
【００８１】
本質的に同じ時点で照明条件データを提供することは、照明条件が写真に一致するだけでなく、人物の写真が撮られる時点に生成することができる３Ｄ人物モデルにも一致することを確実にすることができる。したがって、３つすべての構成要素（人物の写真、照明条件データ、および３Ｄ人物モデル）は、互いに一致することができる。したがって、写真が撮られる時点で照明条件データを提供することで、選択された１点の衣服を描画するために前記データを後に使用することを可能にすることができる。特に、選択された１点の衣服の３Ｄモデルを描画すると同時に、照明条件データならびに人物の３Ｄモデルを考慮することで、この方法により、モデルの身体比率と、人物の写真が撮られたときと同じ照明条件とに合わせて、描画された３Ｄ衣服モデルを調整することを可能にすることができる。
【００８２】
詳細には、照明条件データを考慮することで、描画された照明されている３Ｄ衣服モデルを人物の写真内へ本質的に継ぎ目なく統合することを可能にすることができ、それにより人工ピクチャの品質を大幅に改善することができる。
【００８３】
「本質的に同時」という用語は、同じ時点であることを意味するが、当技術分野で避けられない典型的な時間公差を含む。
【００８４】
照明条件データは、環境マップを含むことができる。環境マップは、写真が撮られたセットのシミュレートされた３Ｄモデルを含むことができる。
【００８５】
たとえばデジタル写真として記憶された前述のパノラマ視野を、環境マップとして使用することができる。より詳細には、このデジタル画像を使用して、３Ｄ衣服モデルおよび／または３Ｄ人物モデルを取り囲むことができる。次いで、環境マップから３Ｄモデルへの光輸送を計算することができる。
【００８６】
別法として、人物の写真が撮られたセットを表すモデル化された３Ｄシーンを、少なくとも部分的に環境マップとして使用することができる。この解決策により、照明条件データを検出または提供するための周囲センサの使用を回避することができ、人工ピクチャおよび／または３Ｄモデルを作成するために必要とされる構成要素のセットアップを簡略化することができる。
【００８７】
照明条件データを適用することは、環境マップから３Ｄ人物モデルおよび３Ｄ衣服モデルへの光輸送を考慮することを含むことができる。
【００８８】
上記ですでに論じたように、良好な品質の人工ピクチャを実現するために、環境マップを使用して環境マップから３Ｄモデルへの光輸送を計算することができる。
【００８９】
３Ｄ人物モデルは、テクスチャを含むことができる。さらに、テクスチャは、１つまたは複数のカメラによって撮られた人物の１つまたは複数の写真に基づくことができる。
【００９０】
人物のテクスチャ化された３Ｄモデルを使用することで、上記のように描画の品質をさらに改善することができ、したがって人工ピクチャの品質もさらに改善することができる。これは、テクスチャ化された３Ｄ人物モデルが、前記モデルから３Ｄ衣服モデルへの光輸送のより正確な計算を可能にすることができるからである。計算が正確であればあるほど、その品質に関する人工ピクチャのより良好な結果を得ることができる。たとえば、１点の衣服が、小さい鏡などのような反射部分を備えており、その中に３Ｄ人物モデルが（少なくとも部分的に）可視であるとき、３Ｄ人物モデルの表面の正確な反射を計算することができるため、３Ｄ衣服モデルの描画結果を改善することができる。
【００９１】
この方法は、１つまたは複数のカメラのパラメータを記憶するステップを含むことができ、パラメータは、カメラの位置、向き、および焦点距離の少なくとも１つを含むことができる。さらに、パラメータは、基準視点を計算するのに適したものとすることができ、ステップｅ．（上記で定義）は、基準視点を考慮することができる。
【００９２】
上記に挙げたパラメータを記憶することで、人物の写真の上に光層および描画された３Ｄ衣服モデルの自動化されたレイヤリングを可能にすることができ、それにより、その結果得られる人工ピクチャは、人物が描画された衣服を着用しているように見えることができる。より詳細には、前記パラメータが既知であり、レンダラへ渡されるとき、その結果得られる３Ｄ衣服モデルの描画された画像および計算された光層は、人物の写真の上に適合することができ、それにより、人物が衣服を着用しているように見える。これは、レンダラが、人物の写真を撮るために使用されるカメラに対応する位置にその仮想カメラを位置決めすることができるからである。追加として、焦点距離および向きを考慮するとき、レンダラのカメラの視野は、人物の写真を撮るために使用されるカメラにさらに一致することができる。その結果、撮られた人物の写真と同じまたは類似の視野から、すべての描画された画像（またはその一部分）を描画することができる。したがって、人物の写真の上に描画結果をレイヤリングするのに、画像のさらなる（たとえば、手動の）調整を不要にすることができる。これは、記載する方法の大幅な簡略化を招く。
【００９３】
写真および３Ｄ人物モデルは、人物を同じポーズで示すことができる。
【００９４】
同じポーズを有することで、人物の写真の上の描画のレイヤリングをさらに簡略化し、それによりあらゆるさらなる調整を回避することができる。調整は何らかの不自然な変形および他の欠陥を招く可能性があるため、何らかの調整は品質に負の影響を与えるリスクを負う可能性がある。
【００９５】
本発明のさらなる態様は、選択可能な１点の衣服を着用している人物の人工ピクチャを生成する装置に関し、この装置は、（ａ）人物の少なくとも一部分の３Ｄ人物モデルを提供する手段と、（ｂ）３Ｄ人物モデルに対応する人物の写真を提供する手段と、（ｃ）写真に関する照明条件データを提供する手段と、（ｄ）１点の衣服を選択する手段と、（ｅ）写真および選択された１点の衣服の描画された３Ｄ衣服モデルの組合せとして人工ピクチャを生成する手段とを備え、３Ｄ衣服モデルを描画することは、照明条件データおよび３Ｄ人物モデルを考慮する。
【００９６】
そのような装置は、前述の方法の１つに記載の方法を実行することを簡略化することができる。たとえば、そのような装置は、写真スタジオに取って代わることができる。さらに、この装置は、１人だけで制御することができるように設計することができる。さらに、そのような装置は、写真が撮られて３Ｄモデルが作成される人物によって制御することができる。
【００９７】
人物の少なくとも一部分の３Ｄ人物モデルを提供する装置の手段は、３Ｄスキャナ、深さセンサ、および／または複数の写真測量用カメラの少なくとも１つを備えることができる。
【００９８】
３Ｄ人物モデルに対応する人物の写真を提供する装置の手段は、カメラを備えることができる。
【００９９】
人物の写真を提供する手段のカメラは、写真測量用カメラの１つとすることができる。
【０１００】
写真に関する照明条件データを提供する装置の手段は、周囲センサを備えることができ、周囲センサは、球面撮像システムまたはミラーボールの少なくとも１つを備えることができる。
【０１０１】
１点の衣服を選択する装置の手段は、ユーザインターフェース、データベース、および／またはファイルの少なくとも１つまたは複数を備えることができる。
【０１０２】
そのようなインターフェースは、１点の衣服の容易な選択を可能にし、衣服は、データベースおよび／またはファイル内に記憶することができる。さらに、データベースおよび／またはファイルから２つ以上の衣服を選択することができる。したがって、方法ステップｅ．によって２点以上の衣服を同時に処理することができる。その結果、人工ピクチャは、２点以上の衣服を一度に着用している人物を示すことができる。
【０１０３】
人工ピクチャを生成する装置の手段は、前述の方法によって、選択可能な１点の衣服を着用している人物の人工ピクチャを生成するように構成することができる。
【０１０４】
本発明のさらなる態様は、前述の方法のいずれかを実行する命令を含むことができるコンピュータプログラムに関する。
【０１０５】
本発明のさらなる態様は、前述の方法のいずれかによって生成される選択可能な１点の衣服を着用している人物の人工ピクチャに関する。
【０１０６】
以下、本発明の実施形態について、図に関して詳細に説明する。
【図面の簡単な説明】
【０１０７】
【図１】本発明のいくつかの実施形態による１つまたは複数の選択可能な１点の衣服を着用している人物の人工ピクチャを生成するプロセスを示す図である。
【図２】本発明のいくつかの実施形態による人物の３Ｄモデルを示す図である。
【図３】本発明のいくつかの実施形態による例示的なカメラセットアップを形成するように配置された人物およびカメラを示す図である。
【図４】本発明のいくつかの実施形態による人物および３Ｄスキャナを示す図である。
【図５】本発明のいくつかの実施形態による人物および深さセンサを示す図である。
【図６】本発明のいくつかの実施形態による人物の写真を示す図である。
【図７】本発明のいくつかの実施形態による３Ｄ衣服モデルを示す図である。
【図８】本発明のいくつかの実施形態による描画された３Ｄ衣服モデルを示す図である。
【図９】本発明のいくつかの実施形態による描画された３Ｄ人物モデルと、描画された３Ｄ人物モデルであって、そのうち衣服によって覆われた例示的な部分が不可視に設定されている、３Ｄ人物モデルと、光層とを示す図である。
【図１０】本発明のいくつかの実施形態による人物の写真と、光層と、描画された３Ｄ衣服モデルと、人工ピクチャと、３Ｄ衣服モデルを着用している人物の光層なしの人工ピクチャと、３Ｄ衣服モデルを着用している人物の光層を含む人工ピクチャとを示す図である。
【図１１】本発明のいくつかの実施形態による描画された３Ｄモデルおよびそのシルエット、ならびに写真の人物のシルエットを示す図である。
【発明を実施するための形態】
【０１０８】
以下、本発明の実施形態および変形形態について、図に関して詳細に説明する。
【０１０９】
図１は、本発明のいくつかの実施形態によるプロセス４０を示す。プロセス４０は、プロセスステップ３０、３３、３６、および３９のいずれかまたはすべてを含むことができることを理解されたい。しかし、プロセスステップ３０、３３、３６、および３９は、順序を変えることができ、プロセスステップ３０、３３、３６、および３９のいくつかを統合または省略することができる。追加として、さらなるプロセスステップ（図示せず）をプロセス４０内または単一のプロセスステップ３０、３３、３６、および３９内に組み込むことができる。
【０１１０】
プロセス４０は、本発明のいくつかの実施形態による人工ピクチャ７を生成することが意図される。人工ピクチャ７は、いくつかの層から合成することができ、これらの層は、人物の写真３と、光層１９と、１つまたは複数の描画された３Ｄ衣服モデル２１とを含むことができる。人工ピクチャ７は、フォトリアリスティックな性質のものとすることができる。人工ピクチャ７に関する「フォトリアリスティックな性質」、「フォトリアリズム」、「現実的」などという用語は、本当の写真のような印象を提供することであると理解することができる。しかし、特有の公差を許容可能とすることができる。たとえば、公差は、いくつかの構成要素は実際には現実的でないが、人工ピクチャ７を見る人が、たとえばカメラを用いて撮られた本当の写真を見ているという印象を有することができる限り、許容可能とすることができる。より詳細には、上記の用語は、本明細書では、「本当の」写真を見ているという印象を見る人に与えると同時に、人工ピクチャ７のいくつかの部分は、合成で構築されたように見える可能性があり、したがって現実の厳密な表現ではない可能性がある（たとえば、人工ピクチャの詳細な説明によって認識可能）と理解されるべきである。
【０１１１】
たとえば、いくつかの例では、描画すべき３Ｄモデルによって反射される可能性がある光線の追跡は、特定の数の反射に制限することができる。たとえば描画ソフトウェア（「レンダラ」とも呼ばれる）内に制御されるそのような制限は、３Ｄ衣服モデル５を描画する演算時間を大幅に最適化（たとえば、低減）することができるが、その影響で、描画のいくつかの部分は、現実を厳密に表しているように見えない可能性がある。しかし、見る人は、制限された数の光線反射を有する描画された３Ｄモデルと、制限された数の光線反射を有していない描画された３Ｄモデルとを区別することができない可能性がある。したがって、見る人はそれでもなお、そのような描画を見たときにフォトリアリスティックな印象を有することができる。
【０１１２】
そのようなフォトリアリスティックな印象を実現するには、本発明のいくつかの実施形態による人工ピクチャ７を生成するとき、プロセス４０に関して以下で説明するいくつかの態様を考慮しなければならない可能性がある。
【０１１３】
プロセス４０は、３Ｄ人物モデル１、カメラパラメータ１０、照明条件データ２、および／または人物の写真３を提供するプロセスステップ３０を含むことができる。
【０１１４】
本発明のいくつかの実施形態による例示的な３Ｄ人物モデル１を図２に示す。３Ｄ人物モデル１は、図１のプロセス３０で提供することができる。３Ｄ人物モデル１は、人物１１の３Ｄ表現とすることができる。３Ｄ人物モデル１は、３Ｄ人物モデル１が基づく対応する人物１１の身体の形状の詳細な表現とすることができる。３Ｄ人物モデル１は、たとえば互いに接続された特有の量の点を含むことができ、したがって多角形を形成することができる。しかし、詳細度は変動することができる。したがって、３Ｄ人物モデル１は、複数の多角形を含むことができる。一般に、３Ｄ人物モデル１を形成するためにより多くの多角形が使用されるとき、詳細度を増大させることができる。３Ｄモデルは、たとえばＣＡＤソフトウェアなどのようないわゆる３Ｄモデル化ソフトウェアから、当業者には概して知られている。３Ｄ人物モデル１は、テクスチャを含むことができ、または合成表面を含むことができ（図１に示すように、テクスチャなし）、たとえば単色表面を含むことができる。
【０１１５】
３Ｄ人物モデル１は、人体の形状に限定されるものではないことに留意されたい。さらに、たとえば動物および物体の３Ｄモデルも、本発明のいくつかの実施形態に準拠するのに適している。
【０１１６】
３Ｄ人物モデル１は、本発明のいくつかの実施形態による図３に例示的に示す写真測量用カメラ９によって生成することができる。写真測量用カメラ９は、人物１１を取り囲むことができる。すべてのカメラ９が、同じ時点で人物１１のピクチャを撮る。ここで、「同じ時点」という用語は、上記ですでに定義したように、公差が許容されるような時点であると理解されたい。公差は、いくつかのカメラが同時に起動されるときに一般に生じる範囲内で見られるものであり、たとえばトリガ信号の信号実行時間などに起因する。
【０１１７】
その後、たとえば、３Ｄ人物モデル１は、撮られたピクチャに基づいて、たとえば写真測量アルゴリズムを使用して構築することができる。より詳細には、写真測量とは、とりわけ表面点の厳密な位置を回復するために写真から測定を行う技法である。したがって、この技法は、人物１１の表面点を再構築して対応する３Ｄ人物モデル１を構築するために使用することができる。
【０１１８】
追加または別法として、３Ｄ人物モデル１は、図４に示す本発明のいくつかの実施形態による３Ｄスキャナ１３によって生成することができる。３Ｄスキャナ１３は、人物１１の身体の形状を走査することができ、走査された表面点の結果を３Ｄ人物モデル１として記憶することができる。
【０１１９】
追加または別法として、３Ｄ人物モデル１は、図５に示す本発明のいくつかの実施形態による深さセンサ１５によって生成することができる。深さセンサ１５は、たとえば、Ｍｉｃｒｏｓｏｆｔ  Ｋｉｎｅｃｔ（商標）コントローラとすることができる。そのようなコントローラは、赤外スペクトル内の点の不規則なパターンを「シーン」内へ投影することができる。次いで、対応する反射を、コントローラの赤外カメラによって追跡することができる。次いで、パターンの歪みを考慮することによって、単一の点の深さ（赤外カメラまでの距離）を計算することができる。前記点の３Ｄ人物モデル１を構築するために、１つまたは複数の利用可能な標準モデルに変形が適用される。
【０１２０】
本発明のいくつかの実施形態による例示的な人物の写真３を図６に示す。人物１１は、前述の３Ｄ人物モデル１を生成するために使用されるのと同じ人物１１とすることができる。人物の写真３は、カメラ９、たとえばデジタルカメラ、カムコーダなどを用いて撮ることができる。カメラ９は、たとえば、図３に関して上述した写真測量用カメラ９の１つとすることができる。人物の写真３の分解能は、変動することができる。分解能が高ければ高いほど、人物の写真３の詳細度が高くなり、次いでその結果、より良好な品質の写真３を得ることができる。写真３は、人物の写真３が３Ｄ人物モデル１によるポーズで人物１１を示すように撮ることができる。しかし、ずれは後に補正および／または調整することができるため（さらに後述）、ずれも許容可能とすることができる。人物の写真３を撮るために利用されるカメラ９は、位置、向き、および／または焦点距離のようなカメラパラメータ１０を含むことができる。カメラパラメータ１０は、他のプロセスステップ３３、３６、および／または３９の１つの中で再び使用することができるように、記憶または保存することができる。
【０１２１】
人物の写真３は、人物１１に限定されるものではないことに留意されたい。さらに、たとえば動物および物体の写真も、本発明のいくつかの実施形態に準拠するのに適している。
【０１２２】
人物の写真３は、特有の照明条件になったときに撮ることができる。たとえば、写真３内に示される人物１１は、特有の角度、特有の方向、および／または特有の高さから照明することができる。たとえば、１つまたは複数のスポットライト、鏡、および／または鏡のような反射器のような照明要素を使用して、写真３が撮られるときに人物１１を照明することができる。したがって、光線を人物へ誘導して、照明された「シーン」を作成することができる。そのような照明は、写真スタジオから周知のものとすることができ、前述の照明要素の１つまたは複数を使用して、たとえば人物１１を含む「シーン」を照明することができ、次いでこのシーンから、写真３を撮ることができる。
【０１２３】
提供すべき照明条件データは、球面画像システムおよび／またはミラーボールのような周囲センサによって検出することができる。たとえば、球面画像システムは、対応する３Ｄ人物モデル１の生成中に人物１１を取り囲む環境の３６０°のパノラマピクチャを作成することを可能にすることができるカメラに基づくことができる。その結果、セットを取り囲む関連する光源および物体などを捕捉し、パノラマ画像内に記憶することができる。たとえば、３６０°のパノラマ視野の１つまたは複数の部分のみ、たとえば１８０°または任意の他の適した角度範囲のみを捕捉することも可能であることに留意されたい。たとえば、Ｓｐｈｅｒｏｎ（商標）ＳｃｅｎｅＣａｍのような球面画像システムを使用することができる。球面画像システムではなくミラーボールが使用される場合も、類似の結果を実現することができることに留意されたい。
【０１２４】
プロセス４０のプロセスステップ３３は、３Ｄ衣服モデル５のシミュレーションを実行することができる。このプロセスステップ３３で、３Ｄ衣服モデル５は、たとえば、身長、幅、腹囲などのような３Ｄ人物モデル１の幾何学的特性を３Ｄ衣服モデル５に適用することによってシミュレートすることができる。
【０１２５】
本発明のいくつかの実施形態による例示的な３Ｄ衣服ＣＡＤモデル５を図７に示す。３Ｄ衣服モデル５は、Ｔシャツ、ズボン、靴、帽子、眼鏡、手袋、コート、マスク、被り物、ケープなどの３Ｄモデルを含むことができるが、それだけに限定されるものではない。概して、３Ｄ衣服モデル５は、（人間の）人物１１によって着用可能な任意の種類の衣服または器具、たとえば眼鏡、補綴などに対応することができる。
【０１２６】
３Ｄ衣服モデル５は、多角形、線、点などを含むことができる。３Ｄ衣服モデルは、たとえばＣＡＤソフトウェアなどのようないわゆる３Ｄモデル化ソフトウェアから、当業者には概して知られている。
【０１２７】
３Ｄ衣服モデル５は、テクスチャを含むことができ、または単色もしくは多色表面（テクスチャなし）を含むことができ、またはその組合せを含むことができる。したがって、後に３Ｄ衣服モデルにテクスチャを適用することができ、または表面の色を調整することができる。追加として、３Ｄ衣服モデル５の表面を設計するために、色およびテクスチャの組合せを可能とすることができる。
【０１２８】
３Ｄ衣服モデルはまた、対応する１点の衣服を製造することを意図することができる生地の情報を含むことができる。
【０１２９】
前述の衣服シミュレーション３３は、Ｖ−Ｓｔｉｔｃｈｅｒ、Ｃｌｏ３Ｄ、Ｖｉｄｙａなどのような服装シミュレーションツールによって実行することができる。しかし、そのようなプロセス内に他のソフトウェア構成要素を含むこともできる。このシミュレーションは、３Ｄ人物モデル１の前述の幾何学的特性に一致するように３Ｄ衣服モデル５を調整することができる。シミュレーション中、生地（または生地の組合せ）の物理的特徴を考慮することができる。たとえば、絹のような生地は、羊毛などとは異なるしわが寄る。したがって、シミュレーションは、製造が意図される生地の物理的特性を考慮して、３Ｄ人物モデル１によって提供される身体の形状に３Ｄ衣服モデル５が一致するように、３Ｄ衣服モデル５をどのように修正するかを計算することを可能にすることができる。物理的特性は、生地の厚さ、伸縮および曲げ剛性、生地の色、生地の織り方のタイプ、３Ｄ衣服モデル５の全体的なサイズなどを含むことができるが、それだけに限定されるものではない。
【０１３０】
２つ以上の３Ｄ衣服モデル５を服装シミュレーションツールに渡すことができることに留意されたい。したがって、シミュレーションは、１つまたは複数の衣服に同時に適用することができる。たとえば、１枚のＴシャツおよび１本のズボンを選択することができる。次いで、服装シミュレーションツールは、上記の説明によって両方の３Ｄ衣服モデル５をシミュレートすることができる。
【０１３１】
その結果、プロセスステップ３３は、（人間の）人物１１によって着用されているように見える適合された３Ｄ衣服モデル６を生成することができる。
【０１３２】
追加または別法として、３Ｄ衣服モデル５は、最終的には任意の数の他の３Ｄ衣服モデル５とともに、データベース内に記憶することができる。追加または別法として、３Ｄ衣服モデル５は、ファイル、たとえばコンピュータまたはデータファイル内に記憶することができる。３Ｄ衣服モデル５は、ユーザインターフェースを利用することによって、データベースまたはファイル（または任意の他の種類のメモリ）から選択することができる。そのようなユーザインターフェースは、デスクトップアプリケーション、ウェブベースのアプリケーション、タッチスクリーンアプリケーション向けのインターフェース、大型ディスプレイ向けのアプリケーションなどを含むコンピュータアプリケーションとして実施することができる。追加または別法として、ユーザインターフェースは、物理的なボタン、物理的なスイッチ、物理的なダイアラ、物理的なロッカスイッチなどを含むことができる。この選択を使用して、プロセスステップ３３によって、３Ｄ衣服モデル５を対応するシミュレータに渡すことができる。
【０１３３】
３Ｄ衣服モデル５は、人間向けの衣服に限定されるものではないことに留意されたい。さらに、たとえば、動物向けの衣服または任意の種類の物体に適用することができる生地も、本発明のいくつかの実施形態に準拠するのに適している。
【０１３４】
プロセス４０のプロセスステップ３６は、レンダラおよび／または３Ｄ描画ソフトウェアを使用して、１つまたは複数の描画ステップを実行することができる。描画中、３Ｄ人物モデル１、適合された３Ｄ衣服モデル６、および照明条件データ２を考慮することができる。プロセスステップ３６は、少なくとも、適合された３Ｄ衣服モデル６を描画し、光層１９を提供する目的を果たすことができる。１つまたは複数の光層１９を提供することができることに留意されたい。たとえば、２つ以上の適合された３Ｄ衣服モデル６が描画されるとき、それぞれの適合された３Ｄ衣服モデル６から３Ｄ人物モデル１への光輸送を、別個の光層１９内に記憶することができる。
【０１３５】
描画前、カメラパラメータ１０に従って基準視点を計算することができる。次いで、この基準視点を使用して、人物の写真３を撮るために使用されたカメラの位置および向きに従って、仮想カメラの位置および向きを決めることができる。そのような基準点を使用することで、描画結果の視野が人物の写真３が撮られた視野に合致するように、すべての描画ステップを実行することを可能にすることができる。したがって、描画および人物の写真３の合成（さらに後述）を簡略化することができる。
【０１３６】
追加または別法として、図１１は、３Ｄ人物モデル１のシルエット２３および人物の写真３のシルエット２５を示す（図１１（ａ））。たとえば、３Ｄ人物モデル１および／または人物の写真３の生成の精度に応じて、シルエット２３、２５はずれる可能性がある（図１１（ｂ））。これはたとえば、３Ｄ人物モデルが生成される時点で人物の写真３が撮られないときに生じる可能性がある。そのようなずれは、シルエット２３、２５の一方または両方をワーピングし、ワーピング後に互いに一致するようにすることによって補償することができる（図１１（ｃ））。
【０１３７】
より詳細には、ワーピングは、シルエット２３、２５を変形させることによって行うことができる。そのような変形は、たとえば、シルエット２３、２５の「エッジ」または「境界」を互いに一致しない限り動かすように構成されたアルゴリズムによって実現することができる。エッジは、たとえば、よく知られているエッジ検出アルゴリズムであるＳｏｂｅｌオペレータに基づくアルゴリズムを使用することによって検出することができる。追加として、ワーピングは、不自然な変形を回避するために、物理的シミュレーションを適用することをさらに含むことができる。これは、人物の写真３内に示されまたは３Ｄ人物モデル１によって表される身体のその特有の部分が不自然に変形することを回避することができる。たとえば、特有の部分のサイズが変更されるとき、これは、不自然な印象を招く可能性がある。より詳細には、たとえば、変形中に一方の手が拡大され、それにより一方の手が他方の手のサイズを著しく超過するとき、これは、上述したように、不自然な変形を招く可能性がある。そのような物理的シミュレーションをワーピングプロセスに適用するとき、そのような変形を防止することができる。したがって、対応するワーピングアルゴリズムは、人体の特性などを知っていることができ、シルエットをワーピングする間にこれらの特性を考慮することができる。
【０１３８】
適合された３Ｄ衣服モデル６を描画することは、３Ｄ人物モデル１および照明条件データに基づいて行うことができる。３Ｄ人物モデル１および適合された３Ｄ衣服モデル６のシーンは、３Ｄ人物モデル１が適合された３Ｄ衣服モデル６を仮想上着用しているように配置することができる。次いで、照明条件データ２は、両方の３Ｄモデル１、６に適用することができる。
【０１３９】
照明条件データ２を適用することは、３Ｄ人物モデル１および適合された３Ｄ衣服モデル６を環境マップで取り囲むことを含むことができる。たとえば、３Ｄモデルの周りに仮想チューブを垂直に配置することができ、それにより３Ｄ人物モデル１および適合された３Ｄ衣服モデル６がチューブの中に配置される。次いで、たとえばデジタル写真の形式で、仮想チューブの内側を環境マップでテクスチャ化することができる。チューブの中にカメラ（３Ｄモデルを描画することができる視野を表す）を配置することができ、その結果、チューブの外側は、３Ｄモデル１、６の描画された画像上で見えなくなる。チューブの内側を環境マップでテクスチャ化することで、テクスチャからの光輸送を３Ｄモデル１、６に適用することができる。したがって、３Ｄモデル１、６は、環境マップに従って照明することができる。追加または別法として、従来技術から知られている他の技法も、環境マップを利用して３Ｄモデル１、６を照明するのに適したものとすることができることに留意されたい。たとえば、いくつかのレンダラは、入力パラメータとして環境マップを受け入れることができ、それにより、明確なモデル化（前述のチューブに関して記述）が不要になる。
【０１４０】
追加または別法として、人物の写真３が撮られた環境を表す３Ｄシーンを提供して、環境マップに置き換えることができ、または環境マップを補完することができる。この例では、３Ｄ人物モデル１および適合された３Ｄ衣服モデル６（３Ｄ人物モデル１によって着用される）は、人物の写真３が撮られた環境を表す３Ｄシーン内に配置することができる。したがって、３Ｄ人物モデル１および適合された３Ｄ衣服モデル６は、環境を表す３Ｄシーン内に位置することができる。その結果、３Ｄシーンから３Ｄモデル１、６への光輸送を計算することができる。
【０１４１】
たとえば手動でモデル化されたものとすることができる３Ｄシーンを使用することで、環境マップを生成するための周囲センサの使用を回避する。したがって、人物の写真３および／または３Ｄ人物モデル１を生成するセットアップが大幅に簡略化される。
【０１４２】
適合された３つの衣服モデル６を仮想上着用している３Ｄ人物モデル１が不可視に設定された状態で、適合された３Ｄ衣服モデル６を描画することができる。そのような描画技法は、３Ｄ人物モデル１（不可視に設定されている場合でも）から適合された３Ｄ衣服モデル６への光輸送を考慮することができる。たとえば、３Ｄ人物モデル１によって生じる影（環境マップの照明から生じる可能性がある）を、描画された３Ｄ衣服モデル２１上で可視とすることができる。また、３Ｄ人物モデル１から適合された３Ｄ衣服モデル６への任意の他の光輸送（反射など）も、描画された３Ｄ衣服モデル２１上で可視とすることができる。その結果、描画された３Ｄ衣服モデル２１は、２Ｄ画像と見なすことができ、適合された３Ｄ衣服モデル６のうち、３Ｄ人物モデル１によって覆われていない部分だけが可視になる。したがって、たとえば、着用されているＴシャツの襟の開きの裏面の一部分は、３Ｄ人物モデル１の首によって覆うことができるため、描画された３Ｄ衣服モデル２１内に示さないことができる。そのような描画技法は、人物の写真３および描画された３Ｄ衣服モデル２１の合成（さらに後述）を容易にすることができる。
【０１４３】
しかしたとえば、レンダラは、３Ｄ人物モデル１が不可視に設定された状態で適合された３Ｄ衣服モデル６を描画することに対応しない可能性がある。そのような場合、描画された３Ｄ衣服モデル２１の画像内で描画された３Ｄ衣服モデル２１に属さない画素は、描画後にマスキングすることができる。これらの画素は、たとえば、３Ｄ人物モデル１または任意の他の環境画素に属する可能性がある。マスキングは、たとえばポストプロダクションなどの間にＰｈｏｔｏｐｓｈｏｐ（商標）などのような画像処理ソフトウェアを用いて、画像から画素を除去することであると理解することができる。
【０１４４】
追加または別法として、プロセスステップ３６内で、光層１９が計算され、２Ｄ画像の形式で記憶することができる。本発明のいくつかの実施形態による図９に示すように、適合された３Ｄ衣服モデル６を着用していない３Ｄ人物モデル１を描画することができる。その後、３Ｄ人物モデル１を再び描画することができるが、このときは適合された３Ｄ衣服モデル６を着用している。しかし、３Ｄ人物モデル１のうち、適合された３Ｄ衣服モデル６によって覆われる部分は、不可視に設定することができる。次いで、不可視に設定された着用衣服１７を有する描画された３Ｄ人物モデル１は、着用されている適合された３Ｄ衣服モデル６によって覆われていない部分のみを示すことができる。対応するレンダラはそれでもなお、着用されている適合された３Ｄ衣服モデル６から３Ｄ人物モデル１への光輸送を考慮することができることに留意されたい。光層１９を計算するとき、２つの描画間の差が計算され、その結果、適合された３Ｄ衣服モデル２１から３Ｄ人物モデル１への輸送された光（影、反射）のみを示すことができる光層１９が得られる。
【０１４５】
それぞれの適合された３Ｄ衣服モデル６に対して光層１９を別個に描画することも可能であることに留意されたい。
【０１４６】
プロセス４０のプロセスステップ３９は、人物の写真３（図１０（ａ））、光層１９（図１０（ｂ））、および描画された３Ｄ衣服モデル２１（図１０（ｃ））の合成を実行することができ、これらの構成要素を、本発明のいくつかの実施形態による図１０に示す。合成は、たとえば、人物の写真３が背景として使用されるレイヤリングとすることができる。次いで、人物の写真３の上に、光層１９をレイヤリングすることができる。２つ以上の光層１９が計算されているとき、これらの光層１９を互いに重ねてレイヤリングすることができる。その後、人物の写真３および光層１９の組合せの上に、描画された３Ｄ衣服モデル２１をレイヤリングすることができる。次いで、そのような合成の結果、人工ピクチャ７（図１０（ｄ）および図１０（ｆ））を得ることができる。
【０１４７】
その後、人工ピクチャ７は、１点または複数の衣服を着用している人物１１を示すことができる。人工ピクチャ７は、人工ピクチャがたとえばカメラによって撮られた写真であると見る人が考えることができるような品質を含むことができる。
【０１４８】
したがって、人工ピクチャ７は、フォトリアリスティックな性質のものとすることができる。これは、ピクチャのすべての構成要素がサイズ、視野、および照明の点で合致することができるからであろう。特に、これは、３Ｄ人物モデル１の幾何学的特性を３Ｄ衣服モデル６に適用することおよび前記３Ｄモデルのシミュレーションを実行することに起因することができる。追加または別法として、フォトリアリスティックな印象は、３Ｄ人物モデル１から３Ｄ衣服モデル６への光輸送および逆の光輸送を考慮することから生じることができる。
【０１４９】
フォトリアリスティックな性質を含む人工ピクチャ７と、フォトリアリスティックな性質を有していない人工ピクチャ７との間の差を、図１０（ｅ）および図１０（ｆ）に例示的に示す。見ることができるように、フォトリアリスティックな性質を有していない人工ピクチャの一部分を示す図１０（ｅ）は、いかなる影または３Ｄ衣服モデル６から３Ｄ人物モデル１への光輸送も含まない。対照的に、図１０（ｅ）に提示するのと同じ部分を示す図１０（ｆ）は、影および光輸送を含む。見ることができるように、図１０（ｅ）はフォトリアリスティックな性質を提供しないが、図１０（ｆ）はフォトリアリスティックな性質を提供する。
【０１５０】
本発明のいくつかの実施形態によれば、プロセス４０はまた、いわゆる仮想試着室で利用することができる。いくつかの衣服を試着したいと考える顧客は、上記のように、３Ｄ人物モデルおよび自身の写真３を生成することができる。次いで、たとえば、スクリーンまたはディスプレイなど（たとえば、アパレル店に位置する）が、写真３を表示することができる。次いで、顧客は、たとえば前述のユーザインターフェースを利用して、衣服を選択することができ、次いでプロセス４０に従って、衣服を生成し、写真の上にレイヤリングすることができる。そのような方法は、顧客がすべての衣服を自身で試着しなくてよいため、衣服の買物中の時間を節約することができる。
【０１５１】
本発明のいくつかの実施形態によれば、プロセス４０を使用して、オンライン衣服ショッピングポータルを実現することができる。顧客は、たとえば本発明による装置を備える対応するアパレル業者の店舗内に、上記のように３Ｄ人物モデルおよび写真３を一度生成することができる。次いで、３Ｄ人物モデル１および人物の写真３は、いつでも、たとえば家でオンライン衣服ショッピングポータルを訪問したときに、再び使用することができるように、記憶することができる。したがって、本発明のいくつかの実施形態は、オンライン衣服ショッピングポータルで衣服を買物するときに家で衣服を仮想上「試着」することを可能にすることができる。
【符号の説明】
【０１５２】
１  ３Ｄ人物モデル
２  照明条件データ
３  人物の写真
５  ３Ｄ衣服モデル
６  適合された３Ｄ衣服モデル
７  人工ピクチャ
９  写真測量用カメラ
１０  カメラパラメータ
１１  人物
１３  ３Ｄスキャナ
１５  深さセンサ
１７  不可視に設定された着用衣服
１９  光層
２１  描画された３Ｄ衣服モデル
２３  シルエット
２５  シルエット
【図１】
0006419116.tif 000002
【図２】
0006419116.tif 000003
【図３】
0006419116.tif 000004
【図４】
0006419116.tif 000005
【図５】
0006419116.tif 000006
【図６】
0006419116.tif 000007
【図７】
0006419116.tif 000008
【図８】
0006419116.tif 000009
【図９】
0006419116.tif 000010
【図１０】
0006419116.tif 000011
【図１１】
0006419116.tif 000012