(57)【要約】  ３次元画像の合成画像を低負荷で生成可能な仮想試着技術を提供する。仮想試着装置は、モデルの頭部画像および当該モデルの体型情報を端末装置より受け付けるモデル情報受付部と、身体の同一部位において任意の複数の衣服および当該任意の複数の衣服の着衣順序を受け付ける衣服情報受付部と、複数の衣服の着衣状態を２次元画像に変換した画像情報データベースより任意の複数の衣服に対応する２次元画像を抽出し、着衣順序に基づいて２次元画像を重合した重合画像を生成する生成処理部と、重合画像を体型情報に基づいて３次元画像に変換をする変換処理部と、３次元画像および頭部画像を端末装置へ送信する送信部と、を含んで構成されている。
2020009066.tif 000002
【特許請求の範囲】
【請求項１】
モデルの頭部画像および当該モデルの体型情報を端末装置より受け付けるモデル情報受付部と、
身体の同一部位において任意の複数の衣服および当該任意の複数の衣服の着衣順序を受け付ける衣服情報受付部と、
前記複数の衣服の着衣状態を２次元画像に変換した画像情報データベースより前記任意の複数の衣服に対応する２次元画像を抽出し、前記着衣順序に基づいて前記２次元画像を重合した重合画像を生成する生成処理部と、
前記重合画像を前記体型情報に基づいて３次元画像に変換をする変換処理部と、
前記３次元画像および前記頭部画像を前記端末装置へ送信する送信部と、
を含むことを特徴とする仮想試着装置。
【請求項２】
前記生成処理部は、任意の中間ポリゴンモデルを共通に使用して変換された前記２次元画像を重合することで前記重合画像を生成する
ことを特徴とする請求項１に記載の仮想試着装置。
【請求項３】
前記変換処理部は、前記体型情報を基に前記任意の中間ポリゴンモデルを補正することで前記モデルの仮想人体モデルを生成し、
前記変換処理部は、前記仮想人体モデルに前記重合画像を更に重合することで前記重合画像を前記３次元画像に変換する
ことを特徴とする請求項２に記載の仮想試着装置。
【請求項４】
前記生成処理部は、前記複数の衣服の２次元画像に含まれる距離画像および法線画像を重合することで前記重合画像を生成する
ことを特徴とする請求項３に記載の仮想試着装置。
【請求項５】
前記生成処理部は、前記法線画像が含む一法線方向における前記距離画像が持つ距離の大きさを最内側衣服から最外側の衣服に向けて加算することで前記一法線方向における距離を算出することで前記重合画像を生成する
ことを特徴とする請求項４に記載の仮想試着装置。
【請求項６】
前記生成処理部は、前記法線画像が含む複数の法線方向のうち一法線方向における前記距離画像が持つ距離の大きさと、当該一法線方向の近傍の法線方向における距離画像が持つ距離の大きさとの差異に応じて、小さい距離を持つ法線方向の距離を大きい距離を持つ法線方向の距離に近づけることで前記重合画像を生成する
ことを特徴とする請求項５に記載の仮想試着装置。
【請求項７】
前記画像情報データベースは、前記複数の衣服の素材情報または剛性情報を更に含み、
前記生成処理部は、前記素材情報または剛性情報を基に前記法線方向の距離を補正することで前記重合画像を生成する
ことを特徴とする請求項６に記載の仮想試着装置。
【請求項８】
前記２次元画像は、色彩画像を更に含み、
前記生成処理部は、前記３次元画像の色彩として、前記複数の衣服の２次元画像に含まれる前記距離画像および法線画像を重合した際に法線方向において最も外側に距離を持つ箇所の色彩を当該法線方向における色彩とすることで前記重合画像を生成する
ことを特徴とする請求項７に記載の仮想試着装置。
【請求項９】
前記生成処理部は、前記複数の衣服の外側衣服および当該外側衣服の内側衣服の色彩、および前記外側衣服の透過度に基づいて当該法線方向における色彩を補正することで前記重合画像を生成する
ことを特徴とする請求項８に記載の仮想試着装置。
【請求項１０】
前記生成処理部は、前記複数の衣服の２次元画像に含まれる距離画像および２次元画像の不透明度を表すアルファに基づいて、前記重合画像を生成する
請求項３に記載の仮想試着装置。
【請求項１１】
モデルの頭部画像および当該モデルの体型情報を端末装置より受け付けるステップと、
身体の同一部位において任意の複数の衣服および当該任意の複数の衣服の着衣順序を受け付けるステップと、
前記複数の衣服の着衣状態を２次元画像に変換した画像情報データベースより前記任意の複数の衣服に対応する２次元画像を抽出し、前記着衣順序に基づいて前記２次元画像を重合した重合画像を生成するステップと、
前記重合画像を前記体型情報に基づいて３次元画像に変換をするステップと、
前記３次元画像および前記頭部画像を前記端末装置へ送信するステップと、
を含むことを特徴とする仮想試着方法。
【請求項１２】
コンピュータに、
モデルの頭部画像および当該モデルの体型情報を端末装置より受け付ける機能と、
身体の同一部位において任意の複数の衣服および当該任意の複数の衣服の着衣順序を受け付ける機能と、
前記複数の衣服の着衣状態を２次元画像に変換した画像情報データベースより前記任意の複数の衣服に対応する２次元画像を抽出し、前記着衣順序に基づいて前記２次元画像を重合した重合画像を生成する機能と、
前記重合画像を前記体型情報に基づいて３次元画像に変換をする機能と、
前記３次元画像および前記頭部画像を前記端末装置へ送信する機能と、
を実現させることを特徴とする仮想試着プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想試着装置、仮想試着方法、および仮想試着プログラムに関する。
【背景技術】
【０００２】
衣服を購入する際に試着をすることが通常行なわれる。試着をするために購入者は、衣服を販売する店舗に出向き、衣服を選択した上で試着用に設けられた空間に移動して試着を行なう。試着をするために購入者は、それまで着ていた衣服を脱衣する必要があり、これを狭い試着用の空間で行なうことは困難を伴う場合もあり、購入者にストレスを与える可能性がある。【０００３】
一方、衣服などを購入するタイミングや場所に制限されないインターネットショップで衣服を購入することも近年では当たり前に行なわれている。しかし、この場合、購入者は、購入するか否かを迷っている商品の試着をできないため、購入を決断できずに購入を断念する場合や、購入したとしてもサイズが合わずに衣服を着衣することがないままになる場合がある。【０００４】
このような状況を改善すべく、インターネットを通じて購入を迷っている衣服を試着できるシステムが開発されている。例えば、特許文献１には、撮像部によりコード画像が形成されたコードラベルが取り付けられた試着者を撮像して、撮像画像内のコード画像の位置であるコード位置を検出して、服飾の画像を検出したコード位置を基準にして撮像画像上に配置した合成画像を生成することで合成画像を生成する仮想試着システムが開示されている。このシステムでは、試着者の一部位に一つの衣服を試着することができる。例えば、ハット、トップス、ボトムスのそれぞれに一つの衣服を選択可能としている。よって、この場合、試着者は、複数の衣服を重ねて試着することができない。【０００５】
重ね着を仮想空間で実現するために、３次元画像を複数重ねることが可能である。３次元画像を重ね合わせると、複数の衣服同士の上下関係を正確に再現することができず、内側の衣服が外側の衣服を突き抜けてしまう所謂「突き抜け」が発生してしまう場合がある。図１６は、複数の衣服の３次元画像を合成およびその結果を示す模式図である。図からも明らかな通り、単に３次元画像を合成しただけでは、不確実性が高く、衣服同士の上下関係が適切に表現できない。このような合成画像は、試着画像としては不適切であり、購入者の衣服の購入の支援とならない可能性が高い。【０００６】
また、物理演算によって複数の衣服の３次元画像を合成することも可能である。物理演算を使用した合成結果の一例として、図１７は、近接ポリゴンに強制的に近づける方法を用いて得られた合成画像を示す模式図である。図１７に示すように、近接ポリゴンに強制的に近づける方法としてＳｈｒｉｎｋ  Ｗｒａｐと呼ばれる方法がある。図１６に示す一般的な３次元画像の合成と比較すると、衣服同士の上下関係が適切に処理されていることがわかる。しかし、それでも表面上の凹凸を維持できなかったり、衣服の存在しない領域で不具合が生じたり、更に処理結果を事前に予測することができなかったり、実用性には乏しい。物理演算は、非常に計算負荷が高く、通常の機器では即座に処理を完了することは不可能であり、衣服の試着のように多数の３次元画像の合成画像を短時間で生成するような場合には不適切な方法である。一方、計算負荷を下げてしまうと、低品質な物理演算となり、場合によっては、衣服の突き抜けが発生することもある。仮想試着画像を得るために、物理演算を使用する場合、即座に３次元画像の合成処理を完了することは不可能であり、ユーザにストレスを与える可能性が高く、仮想試着画像を視聴できないため、衣服の購買にも至らない可能性がある。【０００７】
３次元画像の合成画像の精度を上げるために、ＤＣＣツール上で処理可能な方法としてサーフェースディフォームなどの方法を取り入れることも考えられるが、計算負荷が高く、衣服の試着のように多数の３次元画像の合成画像を短時間で生成するような場合には不適切な方法である。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１７−１５６９５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
そこで、発明者らは、計算負荷が低く、且つ、３次元画像の合成画像の精度を高める仮想試着装置、仮想試着方法、および仮想試着プログラムを考案するに至った。すなわち、本発明は上記事情に鑑みてなされたものであり、３次元画像の合成画像を低負荷で生成可能な仮想試着装置、仮想試着方法、および仮想試着プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
（１）本発明の第１態様は、モデルの頭部画像および当該モデルの体型情報を端末装置より受け付けるモデル情報受付部と、身体の同一部位において任意の複数の衣服および当該任意の複数の衣服の着衣順序を受け付ける衣服情報受付部と、複数の衣服の着衣状態を２次元画像に変換した画像情報データベースより任意の複数の衣服に対応する２次元画像を抽出し、着衣順序に基づいて２次元画像を重合した重合画像を生成する生成処理部と、重合画像を体型情報に基づいて３次元画像に変換をする変換処理部と、３次元画像および頭部画像を端末装置へ送信する送信部と、を含むことを特徴とする仮想試着装置に関する。【００１１】
（２）上記（１）において、生成処理部は、任意の中間ポリゴンモデルを共通に使用して変換された２次元画像を重合することで重合画像を生成してもよい。【００１２】
（３）上記（２）において、変換処理部は、体型情報を基に任意の中間ポリゴンモデルを補正することでモデルの仮想人体モデルを生成してもよく、変換処理部は、仮想人体モデルに重合画像を更に重合することで重合画像を３次元画像に変換してもよい。【００１３】
（４）上記（２）または（３）において、生成処理部は、複数の衣服の２次元画像に含まれる距離画像および法線画像を重合することで重合画像を生成してもよい。【００１４】
（５）上記（４）において、生成処理部は、法線画像が含む一法線方向における距離画像が持つ距離の大きさを最内側衣服から最外側の衣服に向けて加算することで一法線方向における距離を算出することで重合画像を生成してもよい。【００１５】
（６）上記（５）において、生成処理部は、法線画像が含む複数の法線方向のうち一法線方向における距離画像が持つ距離の大きさと、当該一法線方向の近傍の法線方向における距離画像が持つ距離の大きさとの差異に応じて、小さい距離を持つ法線方向の距離を大きい距離を持つ法線方向の距離に近づけることで重合画像を生成してもよい。【００１６】
（７）上記（５）または（６）において、画像情報データベースは、複数の衣服の素材情報または剛性情報を更に含んでもよく、生成処理部は、素材情報または剛性情報を基に法線方向の距離を補正することで重合画像を生成してもよい。【００１７】
（８）上記（４）〜（７）のいずれかにおいて、２次元画像は、色彩画像を更に含んでもよく、生成処理部は、３次元画像の色彩として、複数の衣服の２次元画像に含まれる距離画像および法線画像を重合した際に法線方向において最も外側に距離を持つ箇所の色彩を当該法線方向における色彩とすることで重合画像を生成してもよい。【００１８】
（９）上記（８）において、生成処理部は、複数の衣服の外側衣服および当該外側衣服の内側衣服の色彩、および外側衣服の透過度に基づいて当該法線方向における色彩を補正することで重合画像を生成してもよい。【００１９】
（１０）本発明の第２態様は、モデルの頭部画像および当該モデルの体型情報を端末装置より受け付けるステップと、身体の同一部位において任意の複数の衣服および当該任意の複数の衣服の着衣順序を受け付けるステップと、複数の衣服の着衣状態を２次元画像に変換した画像情報データベースより任意の複数の衣服に対応する２次元画像を抽出し、着衣順序に基づいて２次元画像を重合した重合画像を生成するステップと、重合画像を体型情報に基づいて３次元画像に変換をするステップと、３次元画像および頭部画像を端末装置へ送信するステップと、を含むことを特徴とする仮想試着方法に関する。【００２０】
（１１）本発明の第３態様は、コンピュータに、モデルの頭部画像および当該モデルの体型情報を端末装置より受け付ける機能と、身体の同一部位において任意の複数の衣服および当該任意の複数の衣服の着衣順序を受け付ける機能と、複数の衣服の着衣状態を２次元画像に変換した画像情報データベースより任意の複数の衣服に対応する２次元画像を抽出し、着衣順序に基づいて２次元画像を重合した重合画像を生成する機能と、重合画像を体型情報に基づいて３次元画像に変換をする機能と、３次元画像および頭部画像を端末装置へ送信する機能と、を実現させることを特徴とする仮想試着プログラムに関する。
【発明の効果】
【００２１】
本発明によると、複数の衣服の２次元画像を重合した重合画像に基づいて３次元画像への変換を行なうため、３次元画像の合成画像を低負荷で生成可能な仮想試着装置、仮想試着方法、および仮想試着プログラムを提供することができる。
【図面の簡単な説明】
【００２２】
【図１】仮想試着システムによる処理の一例を説明するための模式図である。
【図２】仮想試着システムの概略構成の一例を示す図である。
【図３】ユーザの端末装置の概略構成の一例を示す図である。
【図４】サーバの概略構成の一例を示す図である。
【図５】複数の衣服の詳細情報を記憶する衣服データベースの一例を示す表である。
【図６】複数のユーザの情報を記憶するユーザデータベースの一例を示す表である。
【図７】任意の衣服の距離画像の一例を示す。
【図８】任意の衣服の法線画像の一例を示す。
【図９】任意の衣服の色彩画像の一例を示す。
【図１０】着衣順序が最内側となる衣服の２次元画像を示す模式図である。
【図１１】最内側の衣服の次の着衣順序を持つ衣服の２次元画像を示す模式図である。
【図１２】インナーおよびアウターの２次元画像を重合した結果を示す模式図である。
【図１３】変換部による２次元画像の重合画像の３次元画像への変換を説明するための図である。
【図１４】本実施形態にかかる仮想試着システムによるユーザの新規会員登録処理の一連の流れの動作シーケンスの一例を示す図である。
【図１５】本実施形態にかかる仮想試着システムによる複数の衣服の仮想試着画像の生成処理の一連の流れの動作シーケンスの一例を示す図である。
【図１６】複数の衣服の３次元画像を合成およびその結果を示す模式図である。
【図１７】近接ポリゴンに強制的に近づける方法を用いて得られた合成画像を示す模式図である。
【図１８】第２実施形態に係り、着衣順序が最内側となる衣服の２次元画像（衣服の画像）を示す模式図である。
【図１９】第２実施形態に係り、着衣順序が最内側となる衣服の２次元画像（ベクター・ディスプレイスメント・マップ）を示す模式図である。
【図２０】第２実施形態に係り、着衣順序が最外側となる衣服の２次元画像（衣服の画像）を示す模式図である。
【図２１】第２実施形態に係り、着衣順序が最外側となる衣服の２次元画像（ベクター・ディスプレイスメント・マップ）を示す模式図である。
【図２２】着衣順序が最内側となる衣服に関して、ベクター・ディスプレイスメント・マップに衣服の画像のアルファチャンネルを適用した画像を示す模式図である。
【図２３】着衣順序が最外側となる衣服に関して、ベクター・ディスプレイスメント・マップに衣服の画像のアルファチャンネルを適用した画像を示す模式図である。
【図２４】最内側の衣服の画像と最外側の衣服の画像とを重合した画像（衣服の画像同士のアルファ合成）を示す模式図である。
【図２５】最内側の衣服の画像と最外側の衣服の画像とを重合した画像（ベクター・ディスプレイスメント・マップ同士のアルファ合成）を示す模式図である。
【発明を実施するための形態】
【００２３】
以下、本開示の一側面に係る仮想試着装置、仮想試着方法、および仮想試着プログラムについて図を参照しつつ説明する。但し、本開示の技術的範囲はそれらの実施の形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。
【００２４】
［第１実施形態］
（仮想試着システム１による処理の概要）
図１は、仮想試着システム１による処理の一例を説明するための模式図である。
【００２５】
仮想試着システム１は、複数のユーザの端末装置２を含み、これらの複数のユーザの端末装置２と相互に通信されるサーバ３を有する。サーバ３は、複数の衣服の情報を記憶する衣服データベース３１１および複数のユーザの情報を記憶するユーザデータベース３１２を備えている。なお、本発明において、仮想試着を求める複数のユーザのことをモデルと称する。
【００２６】
サーバ３は、複数のユーザの端末装置２から衣服データベース３１１に記憶されている複数の衣服の選択を受け付ける。更にサーバ３は、当該複数の衣服の着衣順序を併せて受け付ける。サーバ３は、複数のユーザの端末装置２から受け付けた情報およびユーザデータベース３１２に記憶される複数のユーザの情報に基づいて、複数のユーザのそれぞれから選択を受け付けた複数の衣服の試着画像を生成して、複数のユーザの端末装置２に当該試着画像を送信する。本発明は、サーバ３によって複数の衣服の試着画像を生成する技術に特徴を有する。
【００２７】
なお、上述した図１の説明は、本発明の内容への理解を深めるための説明にすぎない。本発明は、具体的には、次に説明する各実施の形態において実施され、且つ、本発明の原則を実質的に超えずに、さまざまな変形例によって実施されてもよい。このような変形例はすべて、本発明および本明細書の開示範囲に含まれる。
【００２８】
（仮想試着システム１の概略構成）
図２は、仮想試着システム１の概略構成の一例を示す図である。
【００２９】
仮想試着システム１は、複数のユーザの端末装置２、２、２・・・と、サーバ３と、を有する。以下では、複数のユーザの端末装置２を単にユーザの端末装置２と称する場合がある。ユーザの端末装置２、２、２・・・およびサーバ３は、例えば、インターネット４などの通信ネットワークを介してそれぞれ相互に接続される。また、ここではインターネット４が１つ例示されているが、インターネット４が複数のネットワークからなる場合は、それぞれのネットワーク間にゲートウェイ（図示しない）を適宜設けてもよい。サーバ３で実行されるプログラム（例えば、管理プログラム）とは、ハイパーテキスト転送プロトコル（ＨＴＴＰ）などの通信プロトコルを用いて通信を行う。
【００３０】
（ユーザの端末装置２の概略構成）
図３は、ユーザの端末装置２の概略構成の一例を示す図である。
【００３１】
端末装置２は、無線通信ネットワークへの接続、Ｗｅｂアクセスなどを実行する。そのために、端末装置２は、端末通信部２１１と、端末記憶部２１２と、端末操作部２１３と、端末表示部２１４と、端末処理部２１５とを備える。
【００３２】
なお、端末装置２としては、多機能携帯電話（所謂「スマートフォン」）を想定するが、本発明はこれに限定されない。端末装置２は、本発明が適用可能であればよく、例えば、タブレットＰＣやノートＰＣ、携帯電話（所謂「フィーチャーフォン」）、携帯情報端末（ＰＤＡ）、携帯ゲーム機、携帯音楽プレイヤ、タブレット端末、などでもよい。
【００３３】
端末通信部２１１は、通信インターフェース回路を備え、端末装置２をインターネット４に接続する。端末通信部２１１は、ネットワークを介して端末処理部２１５から供給されたデータをサーバ３などに送信する。また、端末通信部２１１は、ネットワークを介してサーバ３などから受信したデータを端末処理部２１５に供給する。
【００３４】
端末記憶部２１２は、例えば、半導体メモリ装置を備える。端末記憶部２１２は、端末処理部２１５での処理に用いられるオペレーティングシステムプログラム、ドライバプログラム、アプリケーションプログラム、データなどを記憶する。例えば、端末記憶部２１２は、ドライバプログラムとして、端末操作部２１３を制御する入力デバイスドライバプログラム、端末表示部２１４を制御する出力デバイスドライバプログラムなどを記憶する。また、端末記憶部２１２は、アプリケーションプログラムとして、店舗関係者が端末操作部２１３を操作することによって入力された検索条件、特徴情報および特徴画像などをサーバ３に登録するための登録画面を表示する閲覧プログラムなどを記憶する。各種プログラムは、例えばＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭなどのコンピュータ読み取り可能な可搬型記録媒体から、公知のセットアッププログラムなどを用いて端末記憶部２１２にインストールされてもよい。また、端末記憶部２１２は、所定の処理に係る一時的なデータを一時的に記憶してもよい。
【００３５】
端末操作部２１３は、端末装置２の操作が可能であればどのようなデバイスでもよく、例えば、タッチパネルであるが、マウス、またはキーボタンなどを端末装置２の外部に接続してもよい。ユーザは、端末操作部２１３を用いて、情報の選択や解除、文字や数字などを入力することができる。端末操作部２１３は、ユーザにより操作されると、その操作に対応する信号を発生する。そして、発生した信号は、端末処理部２１５に送信される。
【００３６】
端末表示部２１４も、映像や画像などの表示が可能であればどのようなデバイスでもよく、例えば、液晶ディスプレイや有機ＥＬ（Electro−Luminescence）ディスプレイなどである。端末表示部２１４は、端末処理部２１５から供給された映像データに応じた映像や、画像データに応じた画像などを表示する。
【００３７】
端末処理部２１５は、一または複数個のプロセッサおよびその周辺回路を備える。端末処理部２１５は、端末装置２の全体的な動作を統括的に制御するものであり、例えば、ＣＰＵである。端末処理部２１５は、端末装置２の各種処理が端末記憶部２１２に記憶されているプログラムや端末操作部２１３の操作などに基づいて適切な手順で実行されるように、端末通信部２１１や端末表示部２１４などの動作を制御する。端末処理部２１５は、端末記憶部２１２に記憶されているプログラム（オペレーティングシステムプログラムやドライバプログラム、アプリケーションプログラムなど）に基づいて処理を実行する。また、端末処理部２１５は、複数のプログラム（アプリケーションプログラムなど）を並列に実行することができる。
【００３８】
端末処理部２１５は、端末装置２の外部から受信した画面表示情報をユーザに閲覧可能な画面表示として処理をする機能や、ユーザからの端末操作部２１３の操作内容に基づく処理を端末装置２の外部に送信可能な信号に変換して端末通信部２１１に送る機能を備える。これらの機能は、端末処理部２１５が備えるプロセッサで実行されるプログラムにより実現される機能モジュールである。あるいは、これらの各部は、独立した集積回路、マイクロプロセッサ、またはファームウェアとして端末装置２に実装されてもよい。
【００３９】
（サーバ３の概略構成）
図４は、サーバ３の概略構成の一例を示す図である。
【００４０】
サーバ３は、複数の衣服の情報を記憶する衣服データベース３１１および複数のユーザの情報を記憶するユーザデータベース３１２を含むサーバ記憶部３１３を備える。サーバ３は、複数のユーザの端末装置２からの検索条件に応じて衣服データベース３１１から所望の衣服の検索結果をユーザの端末装置２に送信する。また、サーバ３は、複数のユーザの端末装置２から選択された複数の衣服の試着画像の生成要求を受信すると、ユーザデータベース３１２に記憶されているユーザの体型情報および衣服データベース３１１に記憶される２次元画像を基に選択された複数の衣服の仮想試着画像としての３次元画像を複数のユーザの端末装置２に送信する。以上のような機能を実現するために、サーバ３は、サーバ記憶部３１３の他に、受付部３１４、生成部３１５、および変換部３１６を含むサーバ処理部３１７およびサーバ通信部３１８を更に備える。
【００４１】
衣服データベース３１１は、複数の衣服識別情報に対応付けて、衣服の販売元情報、メーカー情報、製造サイズ情報、衣服カテゴリ情報、販売価格情報、販売可能時期情報、などを記憶している。更に衣服データベース３１１は、複数の衣服識別情報ごとに該当する衣服の２次元画像を記憶している。
【００４２】
ユーザデータベース３１２は、複数のユーザのユーザ識別情報（ユーザＩＤ）に対応付けて、ユーザのメールアドレス、ユーザの性別、ユーザの年代、などが記憶されている。更にユーザデータベース３１２は、ユーザの体型情報を記憶している。
【００４３】
サーバ記憶部３１３は、例えば、半導体メモリ、磁気ディスク装置および光ディスク装置の内の少なくとも一つを有し、バスを介してサーバ３と接続される。サーバ記憶部３１３は、サーバ処理部３１７による処理に用いられるドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム、データなどを記憶する。例えば、サーバ記憶部３１３は、ドライバプログラムとして、サーバ通信部３１８を制御する通信デバイスドライバプログラムなどを記憶する。コンピュータプログラムは、例えばＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭなどのコンピュータ読み取り可能な可搬型記録媒体から、公知のセットアッププログラムなどを用いてサーバ記憶部３１３にインストールされてもよい。また、サーバ記憶部３１３は、衣服データベース３１１およびユーザデータベース３１２などを記憶する。
【００４４】
また、サーバ記憶部３１３は、複数のユーザの端末装置２から選択を受け付けた衣服の衣服識別情報やユーザ識別情報、および２次元画像を重合した重合画像や当該重合画像を３次元画像（仮想試着画像）に変換した画像などを一時的に記憶する一時記憶部としても機能する。
【００４５】
なお、サーバ記憶部３１３は、一つの記憶領域からなってもよく、複数の記憶領域からなってもよい。更に、サーバ記憶部３１３は、サーバ３の内部に存在しない場合があってもよい。例えば、クラウドサーバなどがその一例である。
【００４６】
サーバ処理部３１７は、受付部３１４、生成部３１５、および変換部３１６を含む。サーバ処理部３１７による機能は、サーバ処理部３１７が備えるプロセッサで実行されるプログラムにより実現される機能モジュールである。あるいは、これらの各部は、独立した集積回路、マイクロプロセッサ、またはファームウェアとしてサーバ３に実装されてもよい。なお、サーバ処理部３１７の処理内容は後述する。また、サーバ処理部３１７の構成要素の切り分けは、一例であって、どの構成要素がどの処理を行うかは、本実施形態の記載に限定されない。
【００４７】
受付部３１４は、後述するサーバ通信部３１８を介して複数のユーザの端末装置２から受信した様々な情報を一括に受け付ける。具体的に受付部３１４は、ユーザからの新規のユーザ登録を受け付ける。この際、サーバ３は、ユーザデータベース３１２に記憶されている情報を事前にユーザに登録するようユーザに促すとよい。例えば、受付部３１４は、ユーザの頭部画像やユーザの体型情報を受け付ける。なお、頭部画像は、ユーザの端末装置２によって３Ｄスキャンされた３次元画像であってもよく、ユーザの端末装置２によって撮像された２次元画像であってもよい。更に、ユーザは、ユーザ自身の頭部画像の代わりに任意の頭部画像をユーザデータベース３１２に記憶する構成としてもよい。なお、この画像はアニメーションなどであってもよい。そして、ユーザ登録後に受付部３１４は、複数のユーザの端末装置２から衣服データベース３１１に記憶されている複数の衣服の検索条件を受け付けたり、仮想試着のために衣服データベース３１１に記憶されている複数の衣服から任意の衣服の選択入力および当該衣服の着衣順序を受け付けたりする。更に、受付部３１４は、仮想試着を可視化した試着画像を生成するための要求を受け付ける。本発明において、受付部３１４は、モデル情報受付部および衣服情報受付部に相当することができる。なお、サーバ記憶部３１３は、受付部３１４が受け付けた各種情報を衣服データベース３１１、ユーザデータベース３１２、および一時保存領域に記憶する。どの情報をそれぞれのデータベースや記憶領域が記憶するかは、本発明において任意であり、特に本発明を限定する事項ではない。
【００４８】
まず、生成部３１５は、複数のユーザの端末装置２から受け付けた衣服データベース３１１から任意の衣服を選択するための検索条件に基づいて衣服情報を抽出する。生成部３１５は、複数のユーザの端末装置２から選択入力された複数の衣服に対応する２次元画像を衣服データベース３１１から抽出して、併せて複数のユーザの端末装置２から受け付けた着衣順序に基づいて２次元画像を重合した重合画像を生成する。生成部３１５の生成処理については、詳細を後述する。なお、生成部３１５は、本発明における生成処理部に相当することができる。なお、生成部３１５は、複数の部位の衣服同士の着衣順序を考慮することとしてもよい。すなわち、トップスをボトムスの中に入れた着衣方法とするかトップスがボトムスの外に出た着衣方法とするかをユーザが選択できるようになる。この場合、受付部３１４が、同一部位における衣服の着衣順序の他に、異なる部位においける衣服同士の着衣順序を受け付けてもよい。
【００４９】
変換部３１６は、受付部３１４が受け付けたユーザの体型情報を基に共通の中間ポリゴンモデルを補正して頭部画像を合成することでユーザの仮想人体モデルを生成し、当該仮想人体モデルに、生成部３１５が生成した重合画像を更に重合することで重合画像を３次元画像（すなわち仮想試着画像）に変換する。ここで、ユーザの頭部画像が３次元画像である場合、変換部３１６は、頭部画像を合成することで実際にユーザが衣服を試着してるような仮想試着画像を生成することができる。一方、ユーザの頭部画像が２次元画像である場合、変換部３１６は、衣服の２次元画像と共にユーザの頭部の２次元画像を３次元画像に変換する必要がある。すなわち、サーバ３は、２次元画像の段階で生成部３１５が複数の衣服の画像を重合し、重合画像を３次元画像に変換するため、複数の衣服画像の重ね着結果である３次元画像を生成することができる。なお、変換部３１６は、本発明における変換処理部に相当することができる。
【００５０】
サーバ通信部３１８は、サーバ３をインターネット４に接続するための通信インターフェース回路を有する。サーバ通信部３１８は、複数のユーザの端末装置２から検索要求や試着画像の生成要求を受付部３１４に送信する。また、サーバ通信部３１８は、生成部３１５が衣服データベース３１１から抽出した衣服画像を複数のユーザの端末装置２に送信したり生成部３１５および変換部３１６が生成した３次元画像を複数のユーザの端末装置２に送信したりする。なお、サーバ通信部３１８は、本発明における送信部に相当することができる。
【００５１】
（テーブルのデータ構造）
図５および６は、衣服データベース３１１およびユーザデータベース３１２の構造の一例を示す図である。
【００５２】
図５は、複数の衣服の詳細情報を記憶する衣服データベース３１１の一例を示す表である。衣服データベース３１１は、複数の衣服識別情報（衣服ＩＤ）に対応付けて、衣服のメーカー情報、サイズ情報、衣服カテゴリ情報、販売価格情報、販売可能時期情報、などを記憶している。更に衣服データベース３１１は、複数の衣服識別情報ごとに該当する衣服の２次元画像を記憶している。この衣服の２次元画像は、後述する通り、距離画像、法線画像、および色彩画像を含んでいる。なお、図５に示す衣服データベース３１１においては、２次元画像を呼び出すためのパスのみが記憶されている。衣服の２次元画像は、衣服のパターンから作成されてもよく、完成した衣服の３Ｄスキャンなどに基づいて作成されてもよい。本実施形態において２次元画像は、３Ｄスキャンされた画像を多種の画像またはマップとして衣服データベース３１１に記憶されている。なお、３Ｄスキャンされた画像を記憶する衣服データベース３１１は、本発明における画像情報データベースに相当することができる。
【００５３】
図５の通り、同一の衣服についてサイズ違いは、衣服識別番号として枝番号を付与することで衣服データベース３１１が管理する。これによって、ユーザは、同一デザインの衣服についてサイズ違いの商品を検索し易くなる。また、メーカー、カテゴリ、および色は、ユーザの検索の利便性のために入力されている情報である。販売価格および、販売可能時期としての販売開始時期および販売終了時期は、仮想試着システム１が、衣服の販売を併せて行なう場合に必要な情報となる。
【００５４】
図７は、任意の衣服の距離画像の一例を示す。なお、距離画像は、仮想試着システム１が事前に準備してもよく、仮想試着システム１の外部で作成されてもよい。距離画像は、任意の中間ポリゴンモデルを用意し、当該中間ポリゴンモデルと当該任意の衣服のポリゴンモデルとの差異を取得することで各ピクセルにおける距離（ディスプレイスメント）を求めている。距離画像は、この各ピクセルにおける距離を２次元画像化（ベイク）することで得られる。なお、中間ポリゴンモデルには、ＵＶマップ（ポリゴンモデルを平面に展開する割当情報）が設定してある。
【００５５】
図８は、任意の衣服の法線画像の一例を示す。なお、法線画像は、仮想試着システム１が事前に準備してもよく、仮想試着システム１の外部で作成されてもよい。法線画像は、当該任意の衣服のポリゴンモデルの各面の方向（法線）を示す画像である。法線画像は、この各ピクセルにおける法線方向を２次元画像化（ベイク）することで得られる。法線画像は、画像同様に共通の中間ポリゴンモデルと衣服のポリゴンモデルとを重ねることで衣服のポリゴンモデルの各面の方向を得る構成としてもよい。
【００５６】
図９は、任意の衣服の色彩画像の一例を示す。なお、色彩画像は、仮想試着システム１が事前に準備してもよく、仮想試着システム１の外部で作成されてもよい。色彩画像は、当該任意の衣服を２次元画像化（ベイク）した際に各ピクセルにおける色彩を得ることで得られる。
【００５７】
これらの距離画像、法線画像、および色彩画像を合わせて任意の衣服の２次元画像と呼ぶ。複数の異なる衣服に共通の中間ポリゴンモデルを用いることで、共通の基準を持った衣服の２次元画像を衣服データベース３１１が記憶することができる。すなわち、生成部３１５は、共通の中間ポリゴンモデルを用いた複数の衣服の２次元画像の重合を行なうため、容易に変換部３１６が３次元画像を当該重合画像から変換することができる。なお、衣服は通常複数のサイズが製造されているが、本発明では、共通の中間ポリゴンモデルを複数のサイズにおいても共通で使用して２次元画像を得ることが好ましい。すなわち、ユーザが異なるサイズの衣服を複数試着した際の仮想試着画像を得たい場合、異なる中間ポリゴンモデルを基に得た２次元画像を重合することになる。その場合、複数の２次元画像の距離画像がそれぞれ異なる基準点を有してしまうため、複数の衣服の距離が反転（入れ替わる）してしまう可能性がある。
【００５８】
図６は、複数のユーザの情報を記憶するユーザデータベース３１２の一例を示す表である。ユーザデータベース３１２は、複数のユーザのユーザ識別情報（ユーザＩＤ）に対応付けて、ユーザのメールアドレス、ユーザの性別、ユーザの年代、などが記憶されている。更にユーザデータベース３１２は、ユーザの体型情報を記憶している。ユーザの体型情報は、ユーザによって入力されるものであり、身長や体重などの情報である。ユーザの情報は、ユーザにより適宜修正することもでき、ユーザが入力を拒否する項目については、データを記憶しない項目もあってもよい。正確な仮想試着画像を得るために、身長および体重については、必須とすることが好ましい。
【００５９】
また、ユーザデータベース３１２は、複数のユーザの体型情報を基に衣服同様に距離画像および法線画像として２次元画像化した２次元画像を更に記憶している。なお、ここで体型情報は、身長および体重といった簡易な情報のみを含むこととしてもよいが、胸囲、腕長、太もも周囲長、などの詳細な体型情報を含んでもよい。
【００６０】
（生成部３１５による２次元画像の重合処理）
図１０〜１２は、任意の複数の衣服の重合処理を説明するための図である。図１０は、着衣順序が最内側となる衣服の２次元画像を示す模式図である。最内側の衣服とは、インナーである。また、図１１が最内側の衣服の次の着衣順序を持つ衣服の２次元画像を示す模式図である。ここでは、アウターと呼ぶ。そして、図１２が、インナー（図１０）およびアウター（図１２）の２次元画像を重合した結果を示す模式図である。
【００６１】
生成部３１５は、ユーザによって選択された複数の衣服の着衣順序に基づいて最内側の衣服の２次元画像を衣服データベース３１１から抽出して、次に着衣順序の衣服の２次元画像を衣服データベース３１１から抽出して重合する。すなわち、生成部３１５は、同一ピクセル（位置）におけるそれぞれの距離画像に含まれる距離の値を法線画像に含まれる当該ピクセルの方向に加算する。距離の累積値が、そのピクセルにおける最外側の衣服の位置となる。この累積値をそれぞれのピクセルにおいて、距離方向を持たせることで、各ピクセルのベクトルが定まる。なお、距離画像の重合は、法線画像以外に、色彩画像の透過値をファクターとして使用することで、より正確な重合画像を得ることができる。そして、生成部３１５は、各ピクセルにおいて最外側の衣服の色彩を当該ピクセルにおける色彩として決定する。
【００６２】
すなわち、生成部３１５は、複数の衣服を共通の中間ポリゴンモデルを用いて生成した２次元画像を重合することで複数の衣服の重ね着を２次元画像として表現した重合画像を生成することができる。生成部３１５は、共通の中間ポリゴンモデルを用いて画像処理を行なうことで、衣服の種類やサイズを問わず様々な衣服も同一の座標に対応する情報が乗っていることを保証することができる。
【００６３】
（変換部３１６による３次元画像への変換処理）
図１３は、変換部３１６による２次元画像の重合画像の３次元画像への変換を説明するための図である。変換部３１６は、生成部３１５が生成した重合画像を共通の中間ポリゴンモデルに割り当てることで、３次元画像に変換する。更に、変換部３１６は、複数のユーザの端末装置２から受け付けたユーザの頭部画像を合成することでユーザが複数の衣服を試着してる状態を可視するための仮想試着画像を生成することができる。なお、図１３では、ユーザの頭部画像の合成を割愛している。
【００６４】
複数の衣服の２次元画像を得るために使用した共通の中間ポリゴンモデルは、標準的な体型を基準としていることから、個々のユーザの体型に、より近い試着状態の試着画像を得るために、変換部３１６は、共通の中間ポリゴンモデルの法線方向の距離の値をユーザデータベース３１２に含まれるユーザの体型情報を基に補正する。具体的に変換部３１６は、ユーザの体重が任意の身長において標準的な体型よりも小さい場合は、法線方向の距離を標準体重との差異に基づいて減算する。個々のピクセルの減算度合いは、予め身長（身長のレンジ）ごとに予め定められており、体重の差異によって体型に影響が出やすい身体の部位を実験的または統計的にマップのような情報でサーバ記憶部３１３が予め記憶している。ユーザの体重が任意の身長において標準的な体型よりも大きい場合の変換部３１６の処理は、標準的な体型よりも小さい場合の処理の逆となるため、詳細な説明は割愛する。
【００６５】
ユーザによって、詳細な体型情報が入力されている場合も、任意のポリゴンモデルを基準に標準より小さいか大きいかを考慮して法線方向の距離の値を補正すればよい。なお、複数の衣服の２次元画像を得るために使用した共通の中間ポリゴンモデルは、男性または女性における標準的な身長を基準としているため、ユーザの身長と標準的な身長との差異に応じて衣服の丈（衣服の最下位部の位置）が変化する。
【００６６】
（新規会員登録処理）
図１４は、本実施形態にかかる仮想試着システム１によるユーザの新規会員登録処理の一連の流れの動作シーケンスの一例を示す図である。すなわち、ユーザが新規に個人情報を登録して、仮想試着システム１を使用する際の処理となる。
【００６７】
以下に説明する動作シーケンスは、予めサーバ記憶部３１３に記憶されているプログラムに基づいて、主にサーバ処理部３１７により、サーバ３の各要素と協働して実行される。更に、以下に説明する動作シーケンスは、予めユーザの端末装置２の端末記憶部２１２に記憶されているプログラムに基づいて、主にユーザの端末装置２の端末処理部２１５により、端末装置２の各要素と協働して実行される。また、以下に説明する動作シーケンスにおいて、サーバ３は、サーバ通信部３１８を介して端末装置２と各種の情報を送受信する。
【００６８】
本処理は、ユーザが新規ログインユーザとなるために「新規会員登録ボタン」などを押下した場合に行なわれる。まず、サーバ３は、ユーザのメールアドレスの入力がされたか否かを判断する（ステップＳ１０１）。このステップにおいて、確認用に重複してメールアドレスをユーザに入力させるようにしてもよい。サーバは、ユーザのメールアドレスの入力が確認できない場合（ステップＳ１０１がＮＯ）、ステップＳ１０１を繰り返す。
【００６９】
一方、ユーザのメールアドレスの入力が確認できた場合（ステップＳ１０１がＹＥＳ）、サーバ３は、入力されたユーザのメールアドレスが既に登録済みのアドレスであるか否かを判断する（ステップＳ１０２）。入力されたユーザのメールアドレスが既に登録済みである場合（ステップＳ１０２がＹＥＳ）、処理はステップＳ１０１に戻され、サーバ３は、別のメールアドレスの入力をユーザに促す。
【００７０】
入力されたユーザのメールアドレスが既に登録済みではない場合（ステップＳ１０２がＮＯ）、サーバ３は、ユーザの個人情報の入力を待つ（ステップＳ１０３）。ここで個人情報とは、ユーザの氏名、電話番号、性別、身長、体重、などをいう。これらの情報は、仮想試着システム１の提供者が自由に設定することができる。また、仮想試着システム１が衣服の販売も行なう場合、個人情報としてクレジットカードなどの決済情報を個人情報として受け付けることが好ましい。サーバは、ユーザのメールアドレスの入力が確認できない場合（ステップＳ１０３がＮＯ）、ステップＳ１０３を繰り返す。
【００７１】
一方、ユーザの個人情報の入力が確認できた場合（ステップＳ１０３がＹＥＳ）、サーバ３は、入力されたユーザの個人情報が全項目入力済みか否かを判断する（ステップＳ１０４）。ユーザの個人情報の入力に不備（欠損）がある場合（ステップＳ１０４がＮＯ）、処理はステップＳ１０３に戻され、サーバ３は、未入力の項目をハイライトするなどの補助を個人情報入力画面に施して、ユーザに未入力の項目の入力を促す。なお、ここのステップＳ１０４でサーバ３は、ユーザの体型情報として身長と体重の入力をユーザに求めるが、次のステップＳ１０５に含めることとしてもよい。その場合、ステップＳ１０５についても入力必須項目とすることが好ましい。
【００７２】
ユーザの個人情報が全項目入力済である場合（ステップＳ１０４がＹＥＳ）、サーバ３は、ユーザの詳細な体型情報の入力を促す（ステップＳ１０５）。詳細な体型情報とは、身長および体重以外の詳細な体型に関する数値情報である。具体的には、胸囲、腕長、太もも周囲長、などを含むが、これらの項目は本発明を特に限定するものではない。更に、詳細な体型情報にはユーザの頭部画像が含まれてもよい。これらの詳細な体型情報の入力は任意であり、未入力であっても新規会員登録は可能である。
【００７３】
続くステップＳ１０６で、サーバ３は、ユーザが入力した個人情報などの最終確認を行なう要求を受け付けるための「最終確認に進むボタン」を押下するのを待つ。サーバは、「最終確認に進むボタン」が押下されていない場合（ステップＳ１０６がＮＯ）、ステップＳ１０６を繰り返す。
【００７４】
一方、ユーザが最終確認に進むためのボタンを押下した場合（ステップＳ１０６がＹＥＳ）、サーバ３は、ユーザが入力した個人情報に誤りがないかをユーザに確認させる画面を生成してユーザの端末装置２に送信する（ステップＳ１０７）。また、この画面には、ユーザが入力した個人情報などの最終確認が完了して、会員登録を要求する場合に押下する「登録ボタン」が表示されている。また、ユーザが個人情報などの入力に誤りがあって、入力画面に戻るための「戻るボタン」が表示されている。この「戻るボタン」が押下された場合の説明は、割愛する。
【００７５】
次に、サーバ３は、ユーザが会員登録の要求を送信するために「登録ボタン」を押下するのを待つ（ステップＳ１０８）。サーバ３は、「登録ボタン」が押下されていない場合（ステップＳ１０８がＮＯ）、ステップＳ１０８を繰り返す。
【００７６】
一方、「登録ボタン」が押下された場合（ステップＳ１０８がＹＥＳ）、サーバ３は、ユーザが入力した個人情報および新たに付与するユーザ識別情報を対応付けてサーバ記憶部３１３のユーザデータベース３１２に記憶する（ステップＳ１０９）。そして、サーバ３は、新規会員登録処理を終了させる。
【００７７】
（生成部３１５および変換部３１６による仮想試着画像の生成処理）
図１５は、本実施形態にかかる仮想試着システム１による複数の衣服の仮想試着画像の生成処理の一連の流れの動作シーケンスの一例を示す図である。すなわち、ユーザが衣服データベース３１１から選択した任意の複数の衣服を試着した際の仮想試着状態を仮想の３次元画像と生成する際の処理である。
【００７８】
以下に説明する動作シーケンスは、予めサーバ記憶部３１３に記憶されているプログラムに基づいて、主にサーバ処理部３１７により、サーバ３の各要素と協働して実行される。更に、以下に説明する動作シーケンスは、予めユーザの端末装置２の端末記憶部２１２に記憶されているプログラムに基づいて、主に端末装置２の端末処理部２１５により、端末装置２の各要素と協働して実行される。また、以下に説明する動作シーケンスにおいて、サーバ３は、サーバ通信部３１８を介してユーザの端末装置２と各種の情報を送受信する。
【００７９】
本処理は、ユーザが複数の衣服を衣服データベース３１１から選択する工程を終えた後に行なわれるため、ユーザによる衣服データベース３１１から衣服を選択する処理については、本実施形態において割愛する。また、本実施形態は、複数の衣服の仮想試着画像を生成することに特徴を有するが、単一の衣服の仮想試着画像を生成する機能を有してもよい。
【００８０】
まず、サーバ３は、ユーザの端末装置２から複数の衣服の選択入力および当該選択入力された衣服の着衣順序の入力がされたか否かを判断する（ステップＳ２０１）。サーバ３は、複数の衣服の選択入力および当該選択入力された衣服の着衣順序の入力が確認できない場合（ステップＳ２０１がＮＯ）、ステップＳ２０１を繰り返す。なお、ここで複数の衣服の着衣順序をユーザが入力し忘れていた場合などは、ユーザの端末装置２に警告表示などを表示し、ユーザによる着衣順序の入力を促す。また、複数の衣服の選択入力および当該選択入力された衣服の着衣順序の入力の確認は、「試着するボタン」などをユーザが押下した際に行なわれる。
【００８１】
次にサーバ３は、ユーザが選択入力した複数の衣服のそれぞれについて２次元画像を衣服データベースから抽出する（ステップＳ２０２）。
【００８２】
そして、サーバ３は、抽出した複数の２次元画像の距離画像および法線画像を重合して重合画像を生成する（ステップＳ２０３）。この重合画像は、サーバ３内で生成されるものであり、ユーザの端末装置２に送信されるものではない。
【００８３】
サーバ３は、ユーザの頭部画像および体型情報をユーザデータベース３１２から抽出して、抽出したユーザの体型情報を基に共通の中間ポリゴンモデルを補正して頭部画像を合成することでユーザの仮想人体モデルを生成する（ステップＳ２０４）。
【００８４】
サーバ３は、ステップＳ２０４で生成されたユーザの仮想人体モデルにステップＳ２０３で生成された重合画像を更に重合することで、当該重合画像を試着画像としての３次元画像に変換する（ステップＳ２０５）。
【００８５】
生成部３１５および変換部３１６による仮想試着画像の生成処理は、ユーザが仮想試着システム１にログインした状態で行なわれていることを前提としているが、仮想試着画像の生成処理は、未ログイン状態でも使用可能であり、本処理の任意のタイミングでログインをユーザに求めてよい。例えば、ステップＳ２０５の変換処理では、ユーザの体型情報をユーザデータベースから抽出する必要があるため、この処理に移行する直前にログインを必須としたり、ログインを促したりするとよい。
【００８６】
以上説明したように、本実施形態にかかる仮想試着システム１は、複数の衣服の重ね着を、２次元画像を重合するという簡易な処理により衣服を正確に重ね合わせ、更に重合画像を最終的に３次元画像に戻すことで容易に３次元画像を生成することができる。すなわち、サーバ３の処理を軽減することができ、３次元画像の生成にかかる処理速度も早めることが可能となる。また、仮想試着システム１は、複数の衣服を共通の中間ポリゴンモデルを用いて２次元画像に変換して衣服データベース３１１に記憶しているため、複数の衣服およびユーザの体型を共通の中間ポリゴンモデルを用いて更に重合することで３次元画像を容易に得ることができる。
【００８７】
当業者は、本発明の精神および範囲から外れることなく、様々な変更、置換および修正をこれに加えることが可能であることを理解されたい。
【００８８】
（変形例１）
本実施形態において生成部３１５は、複数の衣服の２次元画像に含まれる同一法線方向における距離画像の値をピクセルごとに単純に加算したが、実際は人体または衣服の凹凸に応じて最外側の衣服の凹凸は、複数の重合画像の重合結果よりも滑らかになる。すなわち、女性の胸部や衣服のホタンなどの凹凸を考慮して最外側の衣服の凹凸を滑らかに処理することが好ましい。
【００８９】
よって、生成部３１５は、法線画像が含む複数の法線方向のうち一法線方向における前記距離画像が持つ距離の大きさと、当該一法線方向の近傍の法線方向における距離画像が持つ距離の大きさとの差異に応じて、小さい距離を持つ法線方向の距離を大きい距離を持つ法線方向の距離に近づける補正を行なった上で重合画像を生成する。この補正によって、仮想試着画像を実際に試着した際の試着状態に近づけることができる。この処理は、着衣される衣服ごとに行なってもよく、加算された距離が算出された後に１回だけ行なわれるようにしてもよい。
【００９０】
（変形例２）
本実施形態において生成部３１５は、衣服の素材の種類に問わず単純に複数の衣服の２次元画像に含まれる同一法線方向における距離画像の値をピクセルごとに加算したが、衣服の素材によっては、単純に距離を加算してしまうと実際の試着時の衣服状態と異なる仮想試着画像が生成されてしまう可能性がある。
【００９１】
そこで、生成部３１５は、衣服データベース３１１に含まれる複数の衣服の素材情報または剛性情報に基づいて法線方向の距離を補正することで重合画像を生成する。すなわち、生成部３１５は、人体や下層の衣服の影響を受けやすい素材や受けにくい素材に応じて、最外側の距離を補正する。本変形例においても、変形例１同様に小さい距離を持つ法線方向の距離を大きい距離を持つ法線方向の距離に近づける補正を行なうとよい。なお、本変形例は、変形例１と組み合わせてもよい。
【００９２】
（変形例３）
本実施形態において生成部３１５は、複数の衣服の２次元画像に含まれる距離画像および法線画像を重合した際に法線方向において最も外側に距離を持つ箇所の色彩を当該法線方向における色彩とすることで重合画像を生成したが、外側の衣服の透過度によっては、実際の試着した際の色彩と異なる場合がある。
【００９３】
よって、生成部３１５は、複数の衣服の外側衣服および当該外側衣服の内側衣服の色彩、および外側衣服の透過度に基づいて当該法線方向における色彩を補正することで重合画像を生成する。すなわち、外側衣服の透過度が大きい場合は、その下の層の衣服の色が透過する。透過度に応じて、下の層の衣服の色彩を外側衣服の色彩に加える割合を変更することでより正確な仮想試着画像を得ることができる。
【００９４】
（本発明の適用範囲）
本実施形態にかかる仮想試着システム１は、複数のユーザの端末装置２のウェブブラウザをユーザが相互に制御してインターネット４などを介してサーバ３が複数の衣服の重ね着を可視した仮想試着画像を複数のユーザの端末装置２に送信することを前提としている。別の態様として、複数のユーザの端末装置２がサーバ３からダウンロードしたアプリケーションソフトウェアの機能として、仮想試着を実施することも可能である。すなわち、アプリケーションは、サーバ３のサーバ記憶部に記憶されている衣服データベース３１１を参照して、任意の複数の衣服を選択入力する。また、衣服データベース３１１がサーバ３ではなく、外部のサーバやユーザの端末装置２に含まれる構成とすることも可能である。複数の衣服の選択入力を受け付けた場合に、ユーザの端末装置は、アプリケーションソフトウェアと共同して、２次元画像の重合画像を生成したり、重合画像を３次元に変換したりする。この場合、上述の生成部３１５および変換部３１６の制御を端末処理部２１５が担うことになる。
【００９５】
［第２実施形態］
次に、第２実施形態について説明する。なお、第２実施形態では、第１実施形態と異なる部分のみ説明し、第１実施形態と同様の部分の説明を省略する。
【００９６】
第２実施形態の仮想試着システム１では、生成部３１５は、複数の衣服の２次元画像に含まれる距離画像および２次元画像の不透明度を表すアルファに基づいて、重合画像を生成する。
距離画像には、例えば、ベクター・ディスプレイスメント・マップ（Ｖｅｃｔｏｒ  Ｄｉｓｐｌａｃｅｍｅｎｔ  Ｍａｐ）を利用する。ベクター・ディスレイスメント・マップは、赤色・緑色・青色（ＲＧＢ）それぞれのチャンネルで３次元の変位を示すことができる。
【００９７】
ベクター・ディスプレイスメント・マップは、仮想試着システム１によって、又は、仮想試着システム１の外部に配される装置において、例えば、次のように生成される。
まず、仮想試着システム１等は、ＵＶマップに基づいて、３次元モデル（中間モデル）の空間上の座標から第１のポジションマップ（Ｘ，Ｙ，Ｚ座標をそれぞれＲ，Ｇ，Ｂで保存したもの）を生成する。次に、仮想試着システム１等は、例えば、シュリンクラップ（あるモデルの頂点を別のモデルの表面に投影する技術）等を利用して、３次元モデル（中間モデル）を、形状を取得したい対象を示すモデルに変形させることに基づいて、第２のポジションマップを生成する。ベクター・ディスプレイスメント・マップは、第２のポジションマップの値から第１のポジションマップの値を引くことにより算出される。
なお、ＵＶマップは、３次元モデルを構成する面を２次元平面にどのように展開するかを示すデータである。３次元モデルを構成する面は、それ単体では平面とみなすことができる。ＵＶマップは、３次元モデルの各平面に画像をどのように割り当てるのかを示すデータである。
【００９８】
アルファは、例えば、画像編集ソフトによるペイント処理に基づいて、２次元画像から取得される。又は、アルファは、例えば、ベイク（転写）処理により、衣服に関する他のモデルの色及び不透明度に基づいて取得される。
【００９９】
図１８は、第２実施形態に係り、着衣順序が最内側となる衣服の２次元画像（衣服の画像）を示す模式図である。図１９は、第２実施形態に係り、着衣順序が最内側となる衣服の２次元画像（ベクター・ディスプレイスメント・マップ）を示す模式図である。図２０は、第２実施形態に係り、着衣順序が最外側となる衣服の２次元画像（衣服の画像）を示す模式図である。図２１は、第２実施形態に係り、着衣順序が最外側となる衣服の２次元画像（ベクター・ディスプレイスメント・マップ）を示す模式図である。図２２は、着衣順序が最内側となる衣服に関して、ベクター・ディスプレイスメント・マップに衣服の画像のアルファチャンネルを適用した画像を示す模式図である。図２３は、着衣順序が最外側となる衣服に関して、ベクター・ディスプレイスメント・マップに衣服の画像のアルファチャンネルを適用した画像を示す模式図である。図２４は、最内側の衣服の画像と最外側の衣服の画像とを重合した画像（衣服の画像同士のアルファ合成）を示す模式図である。図２５は、最内側の衣服の画像と最外側の衣服の画像とを重合した画像（ベクター・ディスプレイスメント・マップ同士のアルファ合成）を示す模式図である。
【０１００】
生成部３１５は、着衣順序が最内側となる衣服の２次元画像を衣服データベース３１１から抽出して、ベクター・ディスプレイスメント・マップ（図１９）に衣服の画像（図１８）のアルファチャンネルを適用する。その適用した結果は、図２２に示すようになる。
生成部３１５は、着衣順序が最外側となる衣服の２次元画像を衣服データベース３１１から抽出して、ベクター・ディスプレイスメント・マップ（図２１）に衣服の画像（図２０）のアルファチャンネルを適用する。その適用した結果は、図２３に示すようになる。
【０１０１】
次に、生成部３１５は、最内側の衣服と最外側の衣服とを重合する。具体的には、生成部３１５は、最内側の衣服の画像（図１８）と、最外側の衣服の画像（図２０）とをアルファ合成する。アルファ合成は、ＲＧＢ及びアルファの値を持つ画像の各画素の色（ＲＧＢ）を透過情報（アルファ）を使用して合成する処理である。そのアルファ合成の結果は、図２４に示すようになる。これにより、生成部３１５は、透過度に応じて衣服の「色」を合成することができる。「重合」は、複数の画像を合成する、又は、複数の画像を重畳するような処理である。
【０１０２】
生成部３１５は、最内側の衣服のベクター・ディスプレイスメント・マップ（図２２）と、最外側の衣服のベクター・ディスプレイスメント・マップ（図２３）とをアルファ合成する。ベクター・ディスプレイスメント・マップは、本来、３次元の変位（Ｘ，Ｙ，Ｚ座標）を示すＲＧＢチャンネルしかない。しかし、本実施形態では、生成部３１５によってベクター・ディスプレイスメント・マップに衣服の画像から取得したアルファチャンネルを追加しているため、アルファ合成の手法が適用可能になる。そのアルファ合成の結果は、図２５に示すようになる。これにより、生成部３１５は、透過度に応じて衣服の「変位量」を合成することができる。
【０１０３】
変換部３１６は、生成部３１５によって重合された２次元画像に基づいて、第１実施形態と同様に、３次元画像を生成する。
【符号の説明】
【０１０４】
１        仮想試着システム
２        端末装置
２１１    端末通信部
２１２    端末記憶部
２１３    端末操作部
２１４    端末表示部
２１５    端末処理部
３        サーバ
３１１    衣服データベース
３１２    ユーザデータベース
３１３    サーバ記憶部
３１４    受付部
３１５    生成部
３１６    変換部
３１７    サーバ処理部
３１８    サーバ通信部
【図１】
2020009066.tif 000003
【図２】
2020009066.tif 000004
【図３】
2020009066.tif 000005
【図４】
2020009066.tif 000006
【図５】
2020009066.tif 000007
【図６】
2020009066.tif 000008
【図７】
2020009066.tif 000009
【図８】
2020009066.tif 000010
【図９】
2020009066.tif 000011
【図１０】
2020009066.tif 000012
【図１１】
2020009066.tif 000013
【図１２】
2020009066.tif 000014
【図１３】
2020009066.tif 000015
【図１４】
2020009066.tif 000016
【図１５】
2020009066.tif 000017
【図１６】
2020009066.tif 000018
【図１７】
2020009066.tif 000019
【図１８】
2020009066.tif 000020
【図１９】
2020009066.tif 000021
【図２０】
2020009066.tif 000022
【図２１】
2020009066.tif 000023
【図２２】
2020009066.tif 000024
【図２３】
2020009066.tif 000025
【図２４】
2020009066.tif 000026
【図２５】
2020009066.tif 000027
【手続補正書】
【提出日】令和1年10月25日(2019.10.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
モデルの頭部画像および当該モデルの体型情報を端末装置より受け付けるモデル情報受付部と、
身体の同一部位において任意の複数の衣服および当該任意の複数の衣服の着衣順序を受け付ける衣服情報受付部と、
前記複数の衣服の着衣状態を２次元画像に変換した画像情報データベースより前記任意の複数の衣服に対応する２次元画像を抽出し、前記着衣順序に基づいて前記２次元画像を重合した重合画像を生成する生成処理部と、
前記重合画像を前記体型情報に基づいて３次元画像に変換をする変換処理部と、
前記３次元画像および前記頭部画像を前記端末装置へ送信する送信部と、を含み、
前記生成処理部は、任意の中間ポリゴンモデルを共通に使用して変換された前記２次元画像を重合することで前記重合画像を生成する
ことを特徴とする仮想試着装置。
【請求項２】
前記変換処理部は、前記体型情報を基に前記任意の中間ポリゴンモデルを補正することで前記モデルの仮想人体モデルを生成し、
前記変換処理部は、前記仮想人体モデルに前記重合画像を更に重合することで前記重合画像を前記３次元画像に変換する
ことを特徴とする請求項１に記載の仮想試着装置。
【請求項３】
前記生成処理部は、前記複数の衣服の２次元画像に含まれる距離画像および法線画像を重合することで前記重合画像を生成する
ことを特徴とする請求項２に記載の仮想試着装置。
【請求項４】
前記生成処理部は、前記法線画像が含む一法線方向における前記距離画像が持つ距離の大きさを最内側衣服から最外側の衣服に向けて加算することで前記一法線方向における距離を算出することで前記重合画像を生成する
ことを特徴とする請求項３に記載の仮想試着装置。
【請求項５】
前記生成処理部は、前記法線画像が含む複数の法線方向のうち一法線方向における前記距離画像が持つ距離の大きさと、当該一法線方向の近傍の法線方向における距離画像が持つ距離の大きさとの差異に応じて、小さい距離を持つ法線方向の距離を大きい距離を持つ法線方向の距離に近づけることで前記重合画像を生成する
ことを特徴とする請求項４に記載の仮想試着装置。
【請求項６】
前記画像情報データベースは、前記複数の衣服の素材情報または剛性情報を更に含み、
前記生成処理部は、前記素材情報または剛性情報を基に前記法線方向の距離を補正することで前記重合画像を生成する
ことを特徴とする請求項５に記載の仮想試着装置。
【請求項７】
前記２次元画像は、色彩画像を更に含み、
前記生成処理部は、前記３次元画像の色彩として、前記複数の衣服の２次元画像に含まれる前記距離画像および法線画像を重合した際に法線方向において最も外側に距離を持つ箇所の色彩を当該法線方向における色彩とすることで前記重合画像を生成する
ことを特徴とする請求項６に記載の仮想試着装置。
【請求項８】
前記生成処理部は、前記複数の衣服の外側衣服および当該外側衣服の内側衣服の色彩、および前記外側衣服の透過度に基づいて当該法線方向における色彩を補正することで前記重合画像を生成する
ことを特徴とする請求項７に記載の仮想試着装置。
【請求項９】
前記生成処理部は、前記複数の衣服の２次元画像に含まれる距離画像および２次元画像の不透明度を表すアルファに基づいて、前記重合画像を生成する
請求項２に記載の仮想試着装置。
【請求項１０】
モデルの頭部画像および当該モデルの体型情報を端末装置より受け付けるステップと、
身体の同一部位において任意の複数の衣服および当該任意の複数の衣服の着衣順序を受け付けるステップと、
前記複数の衣服の着衣状態を２次元画像に変換した画像情報データベースより前記任意の複数の衣服に対応する２次元画像を抽出し、前記着衣順序に基づいて前記２次元画像を重合した重合画像を生成する生成ステップと、
前記重合画像を前記体型情報に基づいて３次元画像に変換をするステップと、
前記３次元画像および前記頭部画像を前記端末装置へ送信するステップと、を含み、
前記生成ステップは、任意の中間ポリゴンモデルを共通に使用して変換された前記２次元画像を重合することで前記重合画像を生成する
むことを特徴とする仮想試着方法。
【請求項１１】
コンピュータに、
モデルの頭部画像および当該モデルの体型情報を端末装置より受け付ける機能と、
身体の同一部位において任意の複数の衣服および当該任意の複数の衣服の着衣順序を受け付ける機能と、
前記複数の衣服の着衣状態を２次元画像に変換した画像情報データベースより前記任意の複数の衣服に対応する２次元画像を抽出し、前記着衣順序に基づいて前記２次元画像を重合した重合画像を生成する生成機能と、
前記重合画像を前記体型情報に基づいて３次元画像に変換をする機能と、
前記３次元画像および前記頭部画像を前記端末装置へ送信する機能と、を実現させ、
前記生成機能は、任意の中間ポリゴンモデルを共通に使用して変換された前記２次元画像を重合することで前記重合画像を生成する
ことを特徴とする仮想試着プログラム。
【国際調査報告】
2020009066.tif 000028
2020009066.tif 000029
2020009066.tif 000030
2020009066.tif 000031