(57)【要約】人に関するユーザ入力を受信するステップであって、前記ユーザ入力は前記人の画像または写真の少なくとも一つを含み、前記人の少なくとも一つの画像に前記人の顔があるステップと、人体情報を用いて他の体部分の要求を識別するステップと、識別した要求に基づいて他の人体部分の画像または写真の少なくとも一つを受信するステップと、前記人体情報を用いて前記他の人体部分の画像または写真とともに前記人の前記画像を処理して前記人体モデルを生成するステップであって、前記体モデルはその画像や写真がユーザ入力として受信された人を代表し、前記体モデルは前記人の顔を含むステップと、前記人体モデルの形状とサイズに応じて衣類の画像を受信するステップと、及び前記人体モデルと前記衣類の画像を結合して前記衣類を着ている前記人体モデルを表示するステップとを含み、前記人体情報は、前記人の画像における前記人の顔の方向、前記人の画像における前記人の体の方向、前記人の肌トーン、前記人の画像に表示される体部分のタイプ、前記人の画像における一つまたは複数の体部分のロケーションとジオメトリー、体や体部分の形状、前記人のサイズ、前記人の重量、前記人の高さ、顔特徴情報、顔特徴の近接ポーションの少なくとも一つまたはそれらの組み合わせを含み、前記顔特徴情報は、顔、目、顎、首、唇、鼻、耳の少なくとも一つまたはそれらの組み合わせを含むことを特徴とする衣類を着ている人の人体モデルを生成する方法である。【選択図】図１７
2019510297.tif 000002
【特許請求の範囲】
【請求項１】
人に関するユーザ入力を受信するステップであって、前記ユーザ入力は前記人の画像または写真の少なくとも一つを含み、前記人の少なくとも一つの画像に前記人の顔があるステップと、
人体情報を用いて他の体部分の要求を識別するステップと、
識別した要求に基づいて他の人体部分の画像または写真の少なくとも一つを受信するステップと、
前記人体情報を用いて前記他の人体部分の画像または写真とともに前記人の前記画像を処理して前記人体モデルを生成するステップであって、前記体モデルはその画像や写真がユーザ入力として受信された人を代表し、前記体モデルは前記人の顔を含むステップと、
前記人体モデルの形状とサイズに応じて衣類の画像を受信するステップと、及び
前記人体モデルと前記衣類の画像を結合して前記衣類を着ている前記人体モデルを表示するステップとを含み、
前記人体情報は、前記人の画像における前記人の顔の方向、前記人の画像における前記人の体の方向、前記人の肌トーン、前記人の画像に表示される体部分のタイプ、前記人の画像における一つまたは複数の体部分のロケーションとジオメトリー、体や体部分の形状、前記人のサイズ、前記人の重量、前記人の高さ、顔特徴情報、顔特徴の近接ポーションの少なくとも一つまたはそれらの組み合わせを含み、前記顔特徴情報は、顔、目、顎、首、唇、鼻、耳の少なくとも一つまたはそれらの組み合わせを含むことを特徴とする衣類を着ている人の人体モデルを生成する方法。
【請求項２】
前記人体モデルと前記衣類の画像を結合して顔表情または体運動の少なくとも一つまたはそれらの組み合わせを有して前記衣類を着ている前記人体モデルを表示することを特徴とする請求項１に記載の方法。
【請求項３】
前記人体情報は、ユーザによってユーザ入力として収集され、或いは前記ユーザ入力を分析や処理することにより確定されることを特徴とする請求項1または請求項2のいずれかに記載の方法。
【請求項４】
前記人体情報は首または顎の少なくとも一つまたはそれらの組み合わせをクリックすることによって前記ユーザから受信した選択入力であり、前記方法は、
前記選択入力を処理することによって前記画像や写真から顔を抽出することと、および
前記他の体部分の画像や写真とともに前記抽出した顔を処理して前記人体モデルを生成することとをさらに含むことを特徴とする請求項3に記載の方法。
【請求項５】
前記人体モデルと前記衣類の画像を処理することによって前記人体モデルと前記衣類の画像を結合して、前記衣類を着ている前記人体モデルを表示する単一画像を生成することを特徴とする請求項1〜4のいずれかに記載の方法。
【請求項６】
前記方法は、前記人体モデルと前記画像を結合して、前記衣類を着ている前記人体モデルを表示する、前記衣類が前記体モデルに重なる画像を有するシーンを生成することを含むことを特徴とする請求項1〜4のいずれかに記載の方法。
【請求項７】
前記衣類の画像は前記人体情報、または前記人体モデルのパラメータ情報の少なくとも一つまたはそれらの組み合わせに基づいてデータベースから提供され、前記パラメータ情報は前記人体モデルの形状とサイズに関することを特徴とする請求項1〜6のいずれかに記載の方法。
【請求項８】
前記人体情報とパラメータ情報の少なくとも一つまたはそれらの組み合わせに基づいて処理した後、前記衣類の画像を提供することを特徴とする請求項1〜7のいずれかに記載の方法。
【請求項９】
前記人に関するユーザ入力は、前記人の画像における前記人の顔の方向、前記人の画像における前記人の体の方向、前記人の肌トーン、前記人の画像に表示される体部分の前記タイプ、前記人の画像における一つまたは複数の体部分の前記ロケーションと前記ジオメトリー、前記体や体部分の形状、前記人のサイズ、前記人の重量、前記人の高さ、顔特徴情報、顔特徴の近接ポーションの少なくとも一つまたはそれらの組み合わせに関する情報をさらに含み、顔特徴情報は、顔、目、顎、首、唇、鼻、耳の少なくとも一つまたはそれらの組み合わせの形状またはロケーションの少なくとも一つまたはそれらの組み合わせを含むことを特徴とする請求項1〜8のいずれかに記載の方法。
【請求項１０】
前記人の画像を処理して前記人の画像における未露出の体ポーションを識別して、さらに、少なくとも一つの未露出の体ポーションを除去し、そして、未露出のポーションに使われるように適合する前記要求の他の人部分を識別することを含むことを特徴とする請求項1〜9のいずれかに記載の方法。
【請求項１１】
未露出の体ポーションの識別は、
前記画像における前記人の肌トーンを検出することと、及び
未露出の体ポーションにおける前記体部分を認識することと
の少なくとも一つまたはそれらの組み合わせによって行われることを特徴とする請求項10に記載の方法。
【請求項１２】
前記人に関するユーザ入力に基づいて未露出の体ポーションを識別して、ユーザ入力は未露出の体ポーションの前記人の画像へのマークを含むことを特徴とする請求項10に記載の方法。
【請求項１３】
前記人体情報を用いて前記人の画像を処理して、そして顔ポーションを抽出して、他の人体部分を提供して、顔ポーションの前記顔と他の人体部分とを首で統合するよう処理をして、前記人体モデルを生成することを含み、
前記顔ポーションは、前記人の画像における前記人の肩や首の上の、顔を囲む一部であることを特徴とする請求項1〜12のいずれかに記載の方法。
【請求項１４】
前記顔ポーションは前記人の画像の背景の若干を含むことを特徴とする請求項13に記載の方法。
【請求項１５】
顔ポーションの既存の背景部分を処理または編集することによって新の背景を有する前記顔ポーションを生成することを含むことを特徴とする請求項14に記載の方法。
【請求項１６】
前記既存の背景部分と他の追加画像を処理または編集することによって新の背景を有する前記顔ポーションを生成することを含むことを特徴とする請求項15に記載の方法。
【請求項１７】
前記顔ポーションはさらに編集されて前記人の画像の背景を除去することを特徴とする請求項13に記載の方法。
【請求項１８】
前記人体モデルと付加的な背景を処理することによって付加的な背景を有する前記人体モデルの画像を生成することを含むことを特徴とする請求項13または請求項17のいずれかに記載の方法。
【請求項１９】
前記人に関する前記ユーザ入力または前記人に関する前記体情報に基づいて顔特徴情報を識別して、識別した顔特徴情報に基づいて前記顔ポーションを抽出して、顔ポーションの前記顔と他の人体部分を首で統合することを特徴とする請求項13〜18のいずれかに記載の方法。
【請求項２０】
360度平面における異なる角度または方向の前記人の画像が提供され、前記人の画像における方向またはキャプチャされた角度に応じて体モデルを生成することを特徴とする請求項1〜19のいずれかに記載の方法。
【請求項２１】
前記人体モデルの方向に応じて前記衣類の画像が提供され、前記体モデルに対して最適なフィットが提供されることを特徴とする請求項1〜20のいずれかに記載の方法。
【請求項２２】
衣類入力を受信することと、及び
前記衣類入力に基づいて衣類の画像を受信することとを含むことを特徴とする請求項1〜21のいずれかに記載の方法。
【請求項２３】
一つ以上の衣類の画像を受信することと、
それぞれのレイヤーに一つずつ前記衣類の画像を提供することと、及び
レイヤーにおいて前記人体モデルと衣類の画像を結合して前記衣類を着ている前記人体モデルを表示することとを含むことを特徴とする請求項1〜22のいずれかに記載の方法。
【請求項２４】
添加される衣類を選択することによって添加入力を受信して衣類を添加することと、
前記添加入力に基づいて特定のレイヤーにおいて前記選択した衣類を添加して、また前記選択した衣類を相応のレイヤーに配置することによって変更した衣類のセットを提供することと、及び
前記人体モデルと変更した衣類のセットを結合して前記衣類を着ている前記人体モデルを表示することとを含むことを特徴とする請求項23に記載の方法。
【請求項２５】
除去される衣類を選択することによって除去入力を受信して衣類を除去することと、
前記除去入力に基づいて特定のレイヤーから前記選択した衣類を除去することによって変更した衣類のセットを提供することと、及び
前記人体モデルと変更した衣類のセットを結合して前記衣類を着ている前記人体モデルを表示することを含むことを特徴とする請求項23に記載の方法。
【請求項２６】
置換する衣類を選択することによって置換入力を受信して衣類に置換することと、
前記置換入力に基づいて特定のレイヤーにおいて現れる別の衣類を前記選択した衣類に置換することによって変更した衣類のセットを提供することと、及び
前記人体モデル と変更した衣類のセットを結合して前記衣類を着ている前記人体モデルを表示することを含むことを特徴とする請求項23に記載の方法。
【請求項２７】
前記肌トーンに関する人体情報または前記人の肌トーンの前記ユーザ入力に基づいてデータベースから、或いは前記肌トーンにかかる人体情報または前記人の肌トーンの前記ユーザ入力に基づいて前記他の人体部分を処理することによって、前記他の人体部分の画像が提供されることを含むことを特徴とする請求項1〜26のいずれかに記載の方法。
【請求項２８】
化粧が付与される前記人体モデルの体部分に関する化粧入力と前記体部分に付与される前記化粧に関する情報を提供することと、
前記化粧入力に基づいて前記人体モデルの前記体部分を検出することと、及び
前記化粧入力を用いて前記化粧にかかる情報に関する化粧画像を受信して、前記人体モデルの体部分へ前記化粧画像を処理すること、または
前記化粧入力を用いて前記体部分の色またはトーンを変化して前記体部分に前記化粧を付与すること
の少なくともの一つまたはそれらの組み合わせによって化粧を付与することと、
を含むことを特徴とする請求項1〜27のいずれか1項に記載の方法。
【請求項２９】
顔特徴の運動、唇歌いと音の少なくとも一つを含む顔表情入力を提供することと、
前記顔表情入力を用いて前記人体モデルを処理して前記顔表情を有する体モデルを提供することと、及び
前記体モデルと前記衣類の画像を結合して前記顔表情を有する前記服を着ている前記人体モデルを表示することを含むことを特徴とする請求項1〜請求項28のいずれかに記載の方法。
【請求項３０】
顔特徴の運動、唇歌いと音の少なくとも一つの顔表情入力を提供することと、
及び
前記顔表情入力を用いて前記衣類の画像に結合された体モデルを処理して前記顔表情を有する前記衣類を着ている前記人体モデルを表示することを含むことを特徴とする請求項1〜29のいずれかに記載の方法。
【請求項３１】
前記衣類の画像に結合された体モデルが表示される環境において提供される点灯条件に関する環境点灯入力を提供することと、及び
前記衣類の画像に結合された体モデルの色、対比度、輝度、彩度の少なくとも一つを変化させることによって前記環境点灯入力をて前記衣類の画像に結合された体モデルを処理することを含むことを特徴とする請求項1〜30のいずれかに記載の方法。
【請求項３２】
前記ユーザ入力は一つまたは複数の方向における前記人の顔を表示する前記画像または写真に関しており、
前記人の顔を表示する前記人の画像や写真を用いることによって前記人の3D顔モデルを生成することと、
異なる角度と方向において前記顔モデルをレンダして、異なる角度と方向における前記人の顔の画像を生成することと. 
異なる方向における前記人の顔の画像と相応のそれぞれ方向における前記人体部分の画像を用いて前記人体モデルを生成することとを含むことを特徴とする請求項1〜31のいずれかに記載の方法。
【請求項３３】
前記ファッションアクセサリーが掛けられる体部分に関する着用入力と前記体モデルの部分に掛けられるファッションアクセサリーを受信することと、
前記着用入力と前記人体情報の少なくとも一つと前記人に関するユーザ入力を処理して、前記ファッションアクセサリーが掛けられる前記人体モデルの体部分を識別することと、前記着用入力に応じて前記アクセサリーの画像やビデオを受信することと、及び
前記識別した人体モデルの体部分と前記アクセサリーの画像やビデオを処理して、前記衣類と前記アクセサリーを着用している結合された前記体モデルを表示することとを含むことを特徴とする請求項1〜32のいずれかに記載の方法。
【請求項３４】
前記受信した他の人体部分の画像または写真の少なくとも一つは、適切に可視ではないか、または異なるレバルの透明を有する体部分のポーションを少なくとも一つ有することを特徴とする請求項1〜33のいずれかに記載の方法。
【請求項３５】
前記衣類の画像は透明または半透明的であり、前記透明または半透明的な衣類を着ている前記人体モデルをディスプレイデバイスに表示させることを特徴とする前記請求項のいずれかに記載の方法。
【請求項３６】
前記衣類の画像はクライアントサーバー環境においてクライアントデバイスで前記人体モデルに統合され、前記衣類を着ている人体モデルを前記ディスプレイデバイスに表示させることを特徴とする前記請求項のいずれかに記載の方法。
【請求項３７】
前記人体モデルはリグを有するグラフィックモデルで、出力として衣類を有する体モデルのアニメーションを作成することを特徴とする前記請求項のいずれかに記載の方法。
【請求項３８】
衣類を着ている人体モデルを表示するためのシステムであって、
一つまたは複数の入力装置と、
表示装置と、
他の人体部分の一つまたは複数の画像と一つまたは複数の衣類の画像を格納するデータベースと、及び
一つまたは複数のプロセーサにより実行される前記システムに下記の動作を行わせる機械可読な命令とを含み、
前記動作は、
人に関するユーザ入力を受信するステップであって、前記ユーザ入力は前記人の画像または写真の少なくとも一つを含み、前記人の少なくとも一つの画像に前記人の顔があるステップと、
人体情報を用いて他の体部分の要求を識別するステップと、
識別した要求に基づいて他の人体部分の画像または写真の少なくとも一つを受信するステップと、
前記人体情報を用いて前記他の人体部分の画像または写真とともに前記人の前記画像を処理して前記人体モデルを生成するステップであって、前記体モデルはその画像や写真がユーザ入力として受信された人を代表し、前記体モデルは前記人の顔を含むステップと、
前記人体モデルの形状とサイズに応じて衣類の画像を受信するステップと、及び
前記人体モデルと前記衣類の画像を結合して前記衣類を着ている前記人体モデルを表示するステップとを含み、
人体情報は、前記人の画像における前記人の顔の方向、前記人の画像における前記人の体の方向、前記人の肌トーン、前記人の画像に表示される体部分のタイプ、前記人の画像における一つまたは複数の体部分のロケーションとジオメトリー、体や体部分の形状、前記人のサイズ、前記人の重量、前記人の高さ、顔特徴情報、顔特徴の近接ポーションの少なくとも一つまたはそれらの組み合わせを含み、顔特徴情報は、顔、目、顎、首、唇、鼻、耳の少なくとも一つまたはそれらの組み合わせを含むことを特徴とするシステム。
【請求項３９】
前記ディスプレイデバイスは、着用可能なディスプレイまたは非着用可能なディスプレイ、またはそれらの組み合わせであって、
前記非着用可能なディスプレイは、LCD、LED、プラズマ、OLED、ビデオ壁、箱形のディス  プレイのような電子視覚ディスプレイ、または一つ以上の電子視覚ディスプレイによりなるディスプレイ、またはプロジェクターによるディスプレイ、またはそれらの組み合わせを含み、
プロジェクターおよび／または電子ディスプレイによって照明される透明的な傾斜ホイルスクリーンにより作成される一つまたは複数の面を有するペッパーズゴーストによるディスプレイを含み、プロジェクターおよび／または電子ディスプレイはペッパーズゴーストによるディスプレイの異なる面において異なるカメラ角度でレンダした同じ仮想物体の異なる画像を表示して、一つの箇所に配置されて異なる側がペッパーズゴースト技術によってペッパーズゴーストによるディスプレイの異なる面を介して見られる仮想物体のイリュージョンを提供し、
装着可能ディスプレイはヘッドマウントディスプレイを含み、ヘッドマウントディスプレイは、ヘルメット、眼鏡またはバイザーに嵌込されたレンズと半透明ミラーを有する一つまたは二つの小さなディスプレイを含む。ディスプレイユニットは小型化で、全解像度を増加させるため、CRT、LCD、エルコス（LCOS）、またはOLEDまたは複数のマイクロディスプレイを含み、
前記ヘッドマウントディスプレイはまた、一つまたは二つの目のための一つまたは二つのディスプレイを有してさらに湾曲ミラーによるディスプレイまたは導波路によるディスプレイをさらに含むシースルーヘッドマウントディスプレイまたは光学ヘッドマウントディスプレイを含み、
前記ヘッドマウントディスプレイはまた、わずかに異なる二つのパースペクティブを同じビューのレンダリングに供給して衣類を有するユーザー体モデルの完全な3D ビューイングを作成することによって衣類を有するユーザー体モデルの完全な3Dビューイングのためのビデオシースルーヘッドマウントディスプレイまたは没入型ヘッドマウントディスプレイを含むことを特徴とする請求項３８に記載の方法。
【請求項４０】
コンピューター可読媒体に格納され、一つまたは複数のプロセーサで実行されるように構成されるコンピュータープログラムプロダクトであって、前記コンピューター可読媒体および前記一つまたは複数のプロセーサは通信ネットワークインターフェースに結合されるように構成されており、コンピュータープログラムプロダクトが実行されると前記一つまたは複数のプロセーサが下記のステップを実行することが可能になり、
前記ステップは、
人に関するユーザ入力を受信するステップであって、前記ユーザ入力は前記人の画像または写真の少なくとも一つを含み、前記人の少なくとも一つの画像に前記人の顔があるステップと、
人体情報を用いて他の体部分の要求を識別するステップと、
識別した要求に基づいて他の人体部分の画像または写真の少なくとも一つを受信するステップと、
前記人体情報を用いて前記他の人体部分の画像または写真とともに前記人の前記画像を処理して前記人体モデルを生成するステップであって、前記体モデルはその画像や写真がユーザ入力として受信された人を代表し、前記体モデルは前記人の顔を含むステップと、
前記人体モデルの形状とサイズに応じて衣類の画像を受信するステップと、及び
前記人体モデルと前記衣類の画像を結合して前記衣類を着ている前記人体モデルを表示するステップとを含み、
人体情報は、前記人の画像における前記人の顔の方向、前記人の画像における前記人の体の方向、前記人の肌トーン、前記人の画像に表示される体部分のタイプ、前記人の画像における一つまたは複数の体部分のロケーションとジオメトリー、体や体部分の形状、前記人のサイズ、前記人の重量、前記人の高さ、顔特徴情報、顔特徴の近接ポーションの少なくとも一つまたはそれらの組み合わせを含み、顔特徴情報は、顔、目、顎、首、唇、鼻、耳の少なくとも一つまたはそれらの組み合わせを含むことを特徴とするコンピュータープログラムプロダクト。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に画像加工の分野に関し、特にユーザの画像と仮想的に衣服を着ることを利用して真実のユーザの人体モデルを生成する方法とシステムに関する。
【背景技術】
【０００２】
従来のオンラインショッピングにおいて、衣類は着られていない状態で見せられている。特定な衣類を着ていればどのように見えるかについて、衣類を見るだけでユーザが想像できない。
【０００３】
ところで、体験を提供するために、モデルに着られる状態で衣類を表示することがオンラインセーラーにより行われている。ところが、モデルは特定の人体計測及び曲線を有し、ユーザの人体計測及び曲線とかなり異なる可能性がある。一般的に、ユーザにとって、予定サイズの衣類を着ているモデルを見るだけで想像によって特定サイズの衣類に自分のサイズを合わせることが難しい。
【０００４】
そして、特定サイズの衣類が、着られる人によって非常に異なるように見え、着たら好きかどうかはユーザの想像にまったく依存する。ユーザは複数のドレスを選択して着てみてそれらを着ることが好きかどうか確定することが多い。サイズとフィッテイングは大丈夫だが、それを着ることが嫌いなのでユーザは特定の衣類を拒絶することがある。このような体験は、特定サイズの衣類またはいずれ他のサイズの衣類を着るモデルによってだれも提供できない。
【０００５】
着たら嫌いの原因の一つは、それぞれの衣類は特定の肌トーンに対して異なる対比度または調和度を有することにある。顔特徴までも衣類を着る気を変える。また、それぞれの体は異なる曲線を有し、カラーパターンが特定のカバーで異なる。このユーザの体における異なる曲線でのカラーパターンの変化にともなってユーザの衣類に対する好きと嫌いも変化する。同じような人体計測、人体曲線、肌トーンと顔特徴で着られている衣類を見る場合の体験を有し得る時に最適なユーザの想像が得られる。
【０００６】
さらに、ユーザは、自分の着用体験を異なる衣類と異なる店で繰り返したであろう。
【０００７】
ユーザへ衣類を着る気を与えるために、若干の方法が提案されている。
・人の3Dモデルの生成は時間がかかる。3Dモデルを生成した後、3D衣類を3Dモデルに着せて、不真実な感覚が与えられる。
・ユーザによって写真がアップロードされ、そして衣類の画像が写真上にドラッグされる。しかし、写真への衣類のズームインズームアウト、衣類のロケーション付けの不正確、複数のレイヤーの衣類の写真への一般不可能という問題がある。なお、この方法は、非接触スクリーン媒体を用いるユーザへの不便さもある。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明の目的は、仮想的にユーザーに真実で衣類を着ている感覚を提供することにある。
【課題を解決するための手段】
【０００９】
本発明の目的は、請求項１に記載の方法、請求項３８に記載のシステム、及び請求項４０に記載のコンピュータ・プロブラム・プロダクトによって達成される。
【００１０】
前記方法の一つの実施形態によれば、前記方法は、
人に関するユーザ入力を受信するステップであって、前記ユーザ入力は前記人の画像または写真の少なくとも一つを含み、前記人の少なくとも一つの画像に前記人の顔があるステップと、
人体情報を用いて他の体部分（the other body part）の要求を識別するステップと、
識別した要求に基づいて他の人体部分（other human body part）の画像または写真の少なくとも一つを受信するステップと、
前記人体情報を用いて前記他の人体部分の画像または写真とともに前記人の前記画像を処理して前記人体モデルを生成するステップであって、前記体モデルはその画像や写真がユーザ入力として受信された人を代表し、前記体モデルは前記人の顔を含むステップと、
前記人体モデルの形状とサイズに応じて衣類の画像を受信するステップと、及び
前記人体モデルと前記衣類の画像を結合して前記衣類を着ている前記人体モデルを表示するステップとを含む方法である。
人体情報は、前記人の画像における前記人の顔の方向、前記人の画像における前記人の体の方向、前記人の肌トーン、前記人の画像に表示される体部分のタイプ、前記人の画像における一つまたは複数の体部分のロケーションとジオメトリー、体や体部分の形状、前記人のサイズ、前記人の重量、前記人の高さ、顔特徴情報、顔特徴の近接ポーションの少なくとも一つまたはそれらの組み合わせを含む。顔特徴情報は、顔、目、顎、首、唇、鼻、耳の少なくとも一つまたはそれらの組み合わせを含む。
【００１１】
前記方法の別の実施形態によれば、前記人体モデルと前記衣類の画像を結合して顔表情または体運動の少なくとも一つまたはそれらの組み合わせを有して前記衣類を着ている前記人体モデルを表示する。
【００１２】
前記方法のさらに別の実施形態によれば、前記人体情報は、ユーザによってユーザ入力として収集され、或いは前記ユーザ入力を分析や処理することにより確定される。
【００１３】
前記方法の一つの実施形態によれば、前記人体情報は首または顎の少なくとも一つまたはそれらの組み合わせをクリックすることによって前記ユーザから受信した選択入力であり、前記方法は、
前記選択入力を処理することによって前記画像や写真から顔を抽出することと、および
前記他の体部分の画像や写真とともに前記抽出した顔を処理して前記人体モデルを生成することとをさらに含む。
【００１４】
前記方法の別の実施形態によれば、前記人体モデルと前記衣類の画像を処理することによって前記人体モデルと前記衣類の画像を結合して、前記衣類を着ている前記人体モデルを表示する単一画像を生成する。
【００１５】
前記方法のさらに別の実施形態によれば、前記方法は、前記人体モデルと前記画像を結合して、前記衣類を着ている前記人体モデルを表示する、前記衣類が前記体モデルに重なる画像を有するシーンを生成することを含む。
【００１６】
前記方法の一つの実施形態によれば、前記衣類の画像は前記人体情報、または前記人体モデルのパラメータ情報の少なくとも一つまたはそれらの組み合わせに基づいてデータベースから提供され、前記パラメータ情報は前記人体モデルの形状とサイズに関する。
【００１７】
前記方法の別の実施形態によれば、前記人体情報とパラメータ情報の少なくとも一つまたはそれらの組み合わせに基づいて処理した後、前記衣類の画像を提供する。
【００１８】
前記方法のさらに別の実施形態によれば、前記人に関するユーザ入力は、前記人の画像における前記人の顔の方向、前記人の画像における前記人の体の方向、前記人の肌トーン、前記人の画像に表示される体部分の前記タイプ、前記人の画像における一つまたは複数の体部分の前記ロケーションと前記ジオメトリー、前記体や体部分の形状、前記人のサイズ、前記人の重量、前記人の高さ、顔特徴情報、顔特徴の近接ポーションの少なくとも一つまたはそれらの組み合わせに関する情報をさらに含み、顔特徴情報は、顔、目、顎、首、唇、鼻、耳の少なくとも一つまたはそれらの組み合わせの形状またはロケーションの少なくとも一つまたはそれらの組み合わせを含む。
【００１９】
前記方法の一つの実施形態によれば、前記方法は、前記人の画像を処理して前記人の画像における未露出の体ポーションを識別して、さらに、少なくとも一つの未露出の体ポーションを除去し、そして、未露出のポーションに使われるように適合する前記要求の他の人部分を識別することを含む。
【００２０】
前記方法の別の実施形態によれば、未露出の体ポーションの識別は、
前記画像における前記人の肌トーンを検出することと、及び
未露出の体ポーションにおける前記体部分を認識することと
の少なくとも一つまたはそれらの組み合わせによって行われる。
【００２１】
前記方法のさらに別の実施形態によれば、前記人に関するユーザ入力に基づいて未露出の体ポーションを識別して、ユーザ入力は未露出の体ポーションの前記人の画像へのマークを含む。
【００２２】
前記方法の一つの実施形態によれば、前記方法は、前記人体情報を用いて前記人の画像を処理して、そして顔ポーションを抽出して、他の人体部分を提供して、顔ポーションの前記顔と他の人体部分とを首で統合するよう処理をして、前記人体モデルを生成することを含み、
前記顔ポーションは、前記人の画像における前記人の肩や首の上の、顔を囲む一部である。
【００２３】
前記方法の別の実施形態によれば、前記顔ポーションは前記人の画像の背景の若干を含む。
【００２４】
前記方法の一つの実施形態によれば、前記方法は、顔ポーションの既存の背景部分を処理または編集することによって新の背景を有する前記顔ポーションを生成することを含む。
【００２５】
前記方法のさらに別の実施形態によれば、前記方法は、前記既存の背景部分と他の追加画像を処理または編集することによって新の背景を有する前記顔ポーションを生成することを含む。
【００２６】
前記方法の別の実施形態によれば、前記顔ポーションはさらに編集されて前記人の画像の背景を除去する。
【００２７】
前記方法のさらに別の実施形態によれば、前記方法は、前記人体モデルと付加的な背景を処理することによって付加的な背景を有する前記人体モデルの画像を生成することを含む。
【００２８】
前記方法の一つの実施形態によれば、前記人に関する前記ユーザ入力または前記人に関する前記体情報に基づいて顔特徴情報を識別して、識別した顔特徴情報に基づいて前記顔ポーションを抽出して、顔ポーションの前記顔と他の人体部分を首で統合する。
【００２９】
前記方法の別の実施形態によれば、360度平面における異なる角度または方向の前記人の画像が提供され、前記人の画像における方向またはキャプチャされた角度に応じて体モデルを生成する。
【００３０】
前記方法のさらに別の実施形態によれば、前記人体モデルの方向に応じて前記衣類の画像が提供され、前記体モデルに対して最適なフィットが提供される。
【００３１】
前記方法の一つの実施形態によれば、前記方法は、
衣類入力を受信することと、及び
前記衣類入力に基づいて衣類の画像を受信することとを含む。
【００３２】
前記方法の別の実施形態によれば、前記方法は、
一つ以上の衣類の画像を受信することと、
それぞれのレイヤーに一つずつ前記衣類の画像を提供することと、及び
レイヤーにおいて前記人体モデルと衣類の画像を結合して前記衣類を着ている前記人体モデルを表示することとを含む。
【００３３】
前記方法の別の実施形態によれば、前記方法は、さらに、
添加される衣類を選択することによって添加入力を受信して衣類を添加することと、
前記添加入力に基づいて特定のレイヤーにおいて前記選択した衣類を添加して、また前記選択した衣類を相応のレイヤーに配置することによって変更した衣類のセットを提供することと、及び
前記人体モデルと変更した衣類のセットを結合して前記衣類を着ている前記人体モデルを表示することとを含む。
【００３４】
前記方法のさらに別の実施形態によれば、前記方法は、
除去される衣類を選択することによって除去入力を受信して衣類を除去することと、
前記除去入力に基づいて特定のレイヤーから前記選択した衣類を除去することによって変更した衣類のセットを提供することと、及び
前記人体モデルと変更した衣類のセットを結合して前記衣類を着ている前記人体モデルを表示することを含む。
【００３５】
前記方法の別の実施形態によれば、前記方法は、
置換する衣類を選択することによって置換入力を受信して衣類に置換することと、
前記置換入力に基づいて特定のレイヤーにおいて現れる別の衣類を前記選択した衣類に置換することによって変更した衣類のセットを提供することと、及び
前記人体モデル と変更した衣類のセットを結合して前記衣類を着ている前記人体モデルを表示することを含む。
【００３６】
前記方法のさらに別の実施形態によれば、前記方法は、
前記肌トーンに関する人体情報または前記人の肌トーンの前記ユーザ入力に基づいてデータベースから、或いは前記肌トーンにかかる人体情報または前記人の肌トーンの前記ユーザ入力に基づいて前記他の人体部分を処理することによって、前記他の人体部分の画像が提供されることを含む。
【００３７】
前記方法の一つの実施形態によれば、前記方法は、
化粧が付与される前記人体モデルの体部分に関する化粧入力と前記体部分に付与される前記化粧に関する情報を提供することと、
前記化粧入力に基づいて前記人体モデルの前記体部分を検出することと、及び
前記化粧入力を用いて前記化粧にかかる情報に関する化粧画像を受信して、前記人体モデルの体部分へ前記化粧画像を処理すること、または
前記化粧入力を用いて前記体部分の色またはトーンを変化して前記体部分に前記化粧を付与すること
の少なくともの一つまたはそれらの組み合わせによって化粧を付与することと、
を含む。
【００３８】
前記方法のさらに別の実施形態によれば、前記方法は、
顔特徴の運動、唇歌いと音の少なくとも一つを含む顔表情入力を提供することと、
前記顔表情入力を用いて前記人体モデルを処理して前記顔表情を有する体モデルを提供することと、及び
前記体モデルと前記衣類の画像を結合して前記顔表情を有する前記服を着ている前記人体モデルを表示することを含む。
【００３９】
前記方法の一つの実施形態によれば、前記方法は、
顔特徴の運動、唇歌いと音の少なくとも一つの顔表情入力を提供することと、
及び
前記顔表情入力を用いて前記衣類の画像に結合された体モデルを処理して前記顔表情を有する前記衣類を着ている前記人体モデルを表示することを含む。
【００４０】
前記方法の別の実施形態によれば、前記方法は、
前記衣類の画像に結合された体モデルが表示される環境において提供される点灯条件に関する環境点灯入力を提供することと、及び
前記衣類の画像に結合された体モデルの色、対比度、輝度、彩度の少なくとも一つを変化させることによって前記環境点灯入力をて前記衣類の画像に結合された体モデルを処理することを含む。
【００４１】
前記方法の別の実施形態によれば、前記ユーザ入力は一つまたは複数の方向における前記人の顔を表示する前記画像または写真に関しており、
前記方法は、
前記人の顔を表示する前記人の画像や写真を用いることによって前記人の3D顔モデルを生成することと、
異なる角度と方向において前記顔モデルをレンダして、異なる角度と方向における前記人の顔の画像を生成することと. 
異なる方向における前記人の顔の画像と相応のそれぞれ方向における前記人体部分の画像を用いて前記人体モデルを生成することとを含む。
【００４２】
前記方法のさらに別の実施形態によれば、前記方法は、
前記ファッションアクセサリーが掛けられる体部分に関する着用入力と前記体モデルの部分に掛けられるファッションアクセサリーを受信することと、
前記着用入力と前記人体情報の少なくとも一つと前記人に関するユーザ入力を処理して、前記ファッションアクセサリーが掛けられる前記人体モデルの体部分を識別することと、
前記着用入力に応じて前記アクセサリーの画像やビデオを受信することと、及び
前記識別した人体モデルの体部分と前記アクセサリーの画像やビデオを処理して、前記衣類と前記アクセサリーを着用している結合された前記体モデルを表示することとを含む。
【００４３】
前記方法の一つの実施形態によれば、前記受信した他の人体部分の画像または写真の少なくとも一つは、適切に可視ではないか、または異なるレバルの透明を有する体部分のポーションを少なくとも一つ有する。
【００４４】
前記方法の別の実施形態によれば、前記衣類の画像は透明または半透明的であり、前記透明または半透明的な衣類を着ている前記人体モデルをディスプレイデバイスに表示させる。
【００４５】
前記方法のさらに別の実施形態によれば、前記衣類の画像はクライアントサーバー環境においてクライアントデバイスで前記人体モデルに統合され、前記衣類を着ている人体モデルを前記ディスプレイデバイスに表示させる。
【００４６】
前記方法の一つの実施形態によれば、前記人体モデルはリグを有するグラフィックモデルで、出力として衣類を有する体モデルのアニメーションを作成する。
【図面の簡単な説明】
【００４７】
【図１】図1(a)及び1(b)は、ユーザにより提供される写真や画像、顔の検出と画像からの抽出を図示する。
【図２】図2(a)及び2(b)は、ユーザにより提供される画像の先の背景を編集と処理することによって生成される背景を有する抽出した顔の配置を図示する。
【図３】図3(a)-(c)は、抽出した顔を有するユーザの体モデルの生成を図示する。
【図４】図4(a)及び4(b)は、ユーザの体モデルに着られる衣類の選択とユーザの体モデルへの衣類のフィテイングを図示する。
【図５】図5(a)及び5(b)は、異なるユーザの体形状とサイズに対する体モデルの選択を図示する。
【図６】図6(a)及び6(b)は、ユーザにより提供される写真や画像、顔の検出と画像からの背景のない抽出を図示する。
【図７】図7(a)-(c)は、図6（b）に定義される抽出した顔を有するユーザの体モデルの生成を図示する。
【図８】図8(a)及び8(b)は、図7（c）で生成するユーザの体モデルに着られる衣類の選択とユーザの体モデルへの衣類のフィティングを図示する。
【図９】図9(a)及び9(b)は、異なるユーザの体形状とサイズに対する体モデルの選択を図示する。
【図１０】図10(a)及び10(b)は、画像の形状とサイズの変化を概念的に図示する。
【図１１】図1l(a)-(e)は、他の衣類、アクセサリーと化粧の着用を図示する。例えば、ユーザはメガネ、化粧、もっと多くの衣類と靴を自分の体モデルに仮想的に着用する。
【図１２】図12(a)-(c)は、第三者の体部分を用いてユーザの体モデルの生成を図示する。
【図１３】図13(a)及び13(b)は、12（c）で生成するユーザの体モデルによるドレスの着用を図示する。
【図１４】図14は、異なる角度と方向においてユーザの体モデルによるドレスの着用を図示する。
【図１５】図15(a)-(d)は、非透明の衣類、半透明的な衣類を着ている女性の体モデルと光影の衣類での効果を図示する。
【図１６】図16は、発明を実施するシステムのブロック図を示す。
【図１７】図17(a)-図17(b)は、発明を実施する別の実施例のシステムのブロック図を示す。
【図１８】図18(a)-(c)は、ライトフィット、タイトフィット、ルーズフィットのTシャツを着ている女性の体モデルを示し、図18（a'）-（c'）は、衣類の体でのタイトネスを仮想的にわかるよう、異なるフィットにおける衣類のタイトネスをカラースペクタルにて図示する。
【図１９】図19(a)-(b)は、訓練したモデルを用いて画像を処理して顔表情を作成するための顔特徴と顔部分の画分を抽出することによって特定されるユーザの顔における顔特徴を表示するポイントを図示する。図19(c)-(f)は、ユーザの顔を処理することによって作成されるユーザの顔における異なる顔表情を示す。
【図２０】図20(a)-(c)は、前画像、側画像のユーザ入力とアンラップ顔を図示する。
【図２１】図21(a)-(b)は、生成したユーザの顔の3Dモデルによって異なる角度と方向において生成した顔を図示する。
【発明を実施するための形態】
【００４８】
本発明は、様々な図面によって説明される。
【００４９】
図1(a)は、ユーザにより提供される画像や写真を示す。画像102は背景104に現れるユーザ101を示す。顔検出技術を用いて画像102を処理して、すなわち、それを画像102に適用して、ユーザ101の顔を検出して、そしてユーザ101の顔を抽出して、背景104を除去または編集して、第一の処理後画像103を図1（b）に示すように提供する。第一の処理後画像103は中間出力で、ユーザ101の顔を囲む顔ポーション106が形成されており、ユーザを囲む顔ポーション106は抽出した顔と若干の背景104を有して、画像の残った部分は、画像102を処理して背景を除去して顔を抽出した後、空いていると示されている。
【００５０】
図2(a)は、ユーザの顔101と若干の先の背景104を有する抽出した顔ポーション106を有する画像202を示す。先の背景104の若干を選択的に用いることによって、或いは画像処理によって、新の背景204を生成する。
【００５１】
背景204を用いてさらに第一の処理後画像103を処理して、編集した背景205を有するユーザ101の顔を表示する第二の処理後画像203を提供する。第二の処理後画像203の図示は図2（b）に示される。
【００５２】
さらに、ユーザは自分または自分が処理したい誰か他人の体の形状またはサイズの少なくとも一つの入力を提供するように要求される。ユーザ入力に基づいて、図3（a）に示すように、体モデル304の画像301が取られる。画像に背景305が備えられている。その後、体モデル304の体をユーザ101の顔と統合することによって第二の処理後画像203はさらに体モデル304の画像301を用いて処理されて、第三の処理後画像302を図3（b）に示すように提供する。第三の処理後画像302は体モデル304の体が顔101と統合されたポーション306を有する。第三の処理後画像302はまた第二の処理後画像203に現れた背景205を有する。その後、第三の処理後画像302はさらに処理されて、首ポーションでユーザ101の顔を体モデル304との統合を処理して顔と体の統合がシームレスになって、仮想的な体モデルを図3（c）に示すように提供する。図3（c）は顔101、体304と背景205を有する仮想的な体モデルを有する最終処理後画像303を表示する。
【００５３】
図4(a)は、システムで生成され、体モデル304に適合にフィットするドレス401を表示する。ドレス401は、図4（b）に示すように仮想的な体モデルにドレスがぴったりと着られるよう最終処理後画像303上へ処理される。
【００５４】
図5(a)は、背景505を有する特定のサイズの体モデル503を表示する画像501を示す。図5（b）は体モデル503に関して異なる形状とサイズの体モデル504を表示する別の画像502を示す。ユーザ入力に基づいて、体モデルは自動的に生成され、体モデル503、504はそれぞれのユーザ入力に基づいて生成した例示的な体モデルである。これら体モデル503、504は、ユーザ入力を受信すると同時に生成されか、またはユーザ入力に基づいて体モデルが格納されるデータベースから取られる。データベースに格納されているそれぞれの体モデルは異なる形状とサイズにマップされてもよくて、この場合は、マッピングにおける形状とサイズは、それぞれの体モデルに対して連続的なレンジを有してもよいが、予測値（discreet values）を有しても良い。これら体モデルは、ユーザの顔を有する異なる形状および／またはサイズの仮想的な体モデルを生成するために使用可能で、そして、衣類とアクセサリーを着用している生成仮想モデルを表示する画像を生成する。
【００５５】
図6(a)は、ユーザにより提供される画像や写真を示す。画像602は背景604に現れるユーザ601を表示する。顔検出技術を用いて画像602を処理して、すなわち、それを画像602に適用して、ユーザ601の顔を検出して、そしてユーザ601の顔を抽出して、背景604を除去して、第一の処理後画像603を図6（b）に示すように提供する。第一の処理後画像603は中間出力で、ユーザ601の顔と、除去した背景604を意味しているユーザ601の顔を囲む空き領域605とを備える顔ポーション606が形成されている。
【００５６】
さらに、ユーザは自分または自分が処理したい誰か他人の体の形状またはサイズの少なくとも一つの入力を提供するように要求される。ユーザ入力に基づいて、図7（a）に示すように、体モデル704の画像701が取られる。画像に背景705が備えられている。その後、体モデル704の体をユーザ601の顔と統合することによって体モデル704の画像701を用いて第一の処理後画像603はさらに処理されて、第三の処理後画像702を図3（b）に示すように提供する。第三の処理後画像702は体モデル304の体が顔601と統合されたポーション706を有する。第三の処理後画像702は画像701に現れた背景705を有する。その後、第三の処理後画像702はさらに処理されて、首ポーションでユーザ601の顔を処理して体モデル704との統合を顔と体の統合がシームレスになって、仮想的な体モデルを図7（c）に示すように提供する。図7（c）は顔601、体704と背景705を有する仮想的な体モデルを有する最終処理後画像703を表示する。
【００５７】
図8(a)は、システムで生成され、体モデル704に適合にフィットするドレス801を表示する。ドレス801は、図4（b）に示すように仮想的な体モデルにドレスがぴったりと着られるよう最終処理後画像703上へ処理される。
【００５８】
図9(a)は、背景905を有する特定のサイズの体モデル903を表示する画像901を示す。図9（b）は体モデル903に関して異なる形状とサイズの体モデル904を表示する別の画像902を示す。ユーザ入力に基づいて、体モデルは自動的に生成され、体モデル903、904はそれぞれのユーザ入力に基づいて生成する例示的な体モデルである。これら体モデル903、904は、ユーザ入力を受信すると同時に生成されるか、またはユーザ入力に基づいて体モデルが格納されるデータベースから取られる。データベースに格納されているそれぞれの体モデルは異なる形状とサイズにマップされてもよくて、この場合は、マッピングにおける形状とサイズは、それぞれの体モデルに対して連続的なレンジを有してもよいが、予測値を有しても良い。これら体モデルは、ユーザの顔を有する異なる形状および／またはサイズの仮想的な体モデルを生成するために使用可能で、そして、衣類とアクセサリーを着用している生成仮想モデルを表示する画像を生成する。
【００５９】
図10(a)は、リング形状1001を有する画像1002を示す。様々なノード1003が画像1002に表示されており、接続されるとイマジナリーネットがリング101上に描かれて、それぞれのイマジナリーピースに分割されるリング全体が表示されている。図10（b）はリング1001のワーピングを示し、ワーピングとは、ポイントをポイントにマップさせることを意味する。これは、（一部の）平面から平面への任意の函数に数学的に基づいてもよい。関数が単射である場合、オリジナルなものを再生成することができる。関数が二等分である場合、いずれの画像も逆変換することができる。ワーピングが行われると、リング1001の形状が変化する。リング1001の新たな形状では、ノード1003のポジションが変化し、ノード1003を接続する線の形状も変化することが明らかである。これは、リング1002の形状の実質的な変化に至っている。
【００６０】
図1l(a)-(e)は、他の衣類、アクセサリーと化粧を着用している仮想モデルを図示する。これら図示は、ユーザによる自分の仮想モデルへのメガネ、化粧、もっと多くの衣類と靴の仮想的な着用の例示である。図11（a）はドレス1103、顔1101と背景1105を有する仮想モデル1104を有する画像1102を表示する。メガネの仮想的な着用について、まず、顔1101から目を検出して、次に、メガネの画像とともに画像1102を処理して画像1106を生成して、図11（b）に示すように、メガネ1107が仮想モデル1104にかけられている。
【００６１】
唇に口紅をつける場合を例として、画像1106を処理して仮想モデル1104の唇1109を識別して、そして唇1109に化粧を表示するよう唇の色、対比度、色相、輝度その他性質を変化させることによって口紅は仮想モデル1104に付与されていると表示され、それに応じて画像1108を図11（c）に示すように生成する。画像1110はズームにおいての唇1109を表示する。
【００６２】
衣類をレイヤーにおいて着用する場合を例として、別の衣類の画像1113を用いて画像1108をさらに処理して、仮想モデルがすでに着用している衣類1103の上にレイヤーにおいて別の衣類1113を着用している仮想モデルの画像1111を生成する。
【００６３】
さらに仮想モデルに靴を履かせる場合を例として、靴1114の画像とともに画像1111を処理して、靴1114を履いている仮想モデル1104を有する画像1112を生成する。
【００６４】
図12(a)-(c)は、仮想モデルを生成する変形例を示す。図12（a）はユーザにより提供されている女性の体1204を表示する画像1201を示す。図12（b）はストレージから取られる第三者の体部分1202を示す。画像1201と体部分1202は図12（c）に示すように体部分1202が女性の体1204における適合な箇所に配置されるよう処理され、画像1203に表示されるような仮想モデル1205を生成する。
【００６５】
図13(a)及び13(b)は、図12（c）で生成される仮想モデル1205によるドレスの着用を図示する。図13（a）は仮想モデル1205に着られるドレスの画像1301を示す。画像1203とともにドレスの画像1301を処理して画像1302を生成して、図13（b）に示すように、適当な体部分でドレス1301を着ている仮想モデル1205が示されている。
【００６６】
図14は、異なる角度と方向においてユーザの体モデルによるドレスの着用を図示する。1401はフロントポジションにおける他人の体部分とともにフロントポジションにおけるユーザの顔を処理することと、フロントポジションにおける衣類を処理することによって作成される。一方、1402は異なる方向におけるユーザの顔を同方向における他人の体部分とともに処理することと、同方向における衣類を処理することなどによって作成される。
【００６７】
図15(a)-(d)は、環境点灯条件を変化させることによって非透明の衣類、半透明的な衣類を着ている女性の体モデルと光影の衣類での効果を図示し、衣類の画像が結合されている人体モデルの色、対比度、輝度、彩度の少なくとも一つを変化させることによって環境点灯入力を用いて衣類の画像が結合されている人体モデを処理することにより、衣類の画像が結合されている体モデルが表示されている。
【００６８】
図16は、例示的なクライアントデバイス1612の要部を表示する簡略的なブロック図である。クライアントデバイスは、例として一つまたは複数の無線または有線通信インターフェースが備えられたコンピュータであるが、これに限定されない。
【００６９】
図16に示すように、クライアントデバイス1612は、システムバス、ネットワークその他接続機構を介して通信可能に互いに接続される通信インターフェース1602、ユーザインターフェース1603、プロセッサー1604とデータストレージ1605を含んでもよい。
【００７０】
通信インターフェース1602は、クライアントデバイス1612は他のデバイスとの通信、ネットワークへのアクセスおよび／またはネットワークの転送ができるよう機能する。このため、通信インターフェース1602は、回線交換および／またはパケット交換通信、例えばPOTS通信および／またはIPその他パケット化通信を容易にすることができる。例えば、通信インターフェース1602は、ラジオアクセスネットワークまたはアクセスポイントと無線通信するように配置されたチップセット及びアンテナを備えてもよい。また、通信インターフェース1602は、イーサネット、トークンリング、またはUSBポートのようなワイヤラインインターフェースの形態であってもよい。通信インターフェース1602は、WiFi、BluetoothR、グローバルポジショニングシステム（GPS）、または広域無線インターフェース（例えばWiMAXまたはLTE）のような無線インターフェースの形態であってもよい。しかしながら、他の形態の物理層インタフェースおよび他のタイプの標準または独自の通信プロトコルが、通信インターフェース102に使用されてもよい。さらに、通信インターフェース1502は、複数の物理的通信インターフェース（例えば、WiFiインタフェース、BluetoothRインターフェース、および広域無線インターフェース）を含んでもよい。
【００７１】
ユーザインターフェース1603は、クライアントデバイス1612はユーザからの入力受信、ユーザへの出力送信のような人間または非人間のユーザとの対話ができるよう機能する。このため、ユーザインターフェース1603はキーパッド、キーボード、タッチセンシティヴまたはプレセンスセンシティヴパネル、コンピュータマウス、ジョイスティック、マイクロホン、静止カメラおよび/またはビデオカメラ、ジェスチャーセンサー、触覚型入力装置のような入力ユニットを含んでもよい。また、入力ユニットは、マウスなどのポインティングデバイスと、ジェスチャー案内入力、眼球運動またはボイスコマンドのセンサーによる捕捉、赤外線センサと、ターチ入力と、着用可能なディスプレイ、またはモバイルデバイスまたは移動ディスプレイが取り付けられる加速度計および／またはジャイロスコープおよび/または磁力計のロケーション/方向を変更することによって受信される入力と、バーチャルアシスタントへのコマンドとを含む。
【００７２】
ユーザインターフェース1603は、プロジェクタまたは自体によって照らされるオブジェクトを表示するためのカットトゥシェイプディスプレイスクレーン、プロジェクタまたは自体によって照らされるバーチャルアシスタントを表示するためのカットトゥシェイプディスプレイスクレーンのような一つまたは複数の出力ユニットを含んでもよい。
【００７３】
また、ユーザインターフェース1603は、スピーカ、スピーカジャック、オーディオ出力ポート、オーディオ出力デバイス、イヤホン、および／またはその他現在公知または後に開発される同じようなデバイスを経て、可聴出力を生成するよう構成されてもよい。実施例として、ユーザインターフェース1603は、ソフトウェア、回路、または外部のユーザI／Oデバイスからデータを送信および／または受信可能な別の形態のロジックを含んでもよい。限定例または変形例として、クライアントデバイス112は、通信インターフェース1602を介して、または別の物理インターフェースを介して別のデバイスからのリモートアクセスをサポートできてもよい。
【００７４】
プロセッサ1604は、一つまたは複数の汎用プロセッサ（例えば、マイクロプロセッサ）および／または一つまたは複数の特別目的プロセッサ（例えば、DSP、CPU、FPU、ネットワークプロセッサ、またはASIC）を含んでもよい。
【００７５】
データストレージ1605は、一つ以上の揮発性および／または不揮発性記憶素子、例えば、磁気、光学、フラッシュ、または有機記憶装置を含んでもよくて、全体または一部がプロセッサ1604に集積されてもよい。データストレージ1605は、取り外し可能なおよび／または非取り外し可能な構成要素を含んでもよい。
【００７６】
一般に、プロセッサ1604は、本明細書で説明された外部機能を実行するために、データストレージ1505に格納されたプログラム命令1607（例えばコンパイルされたかコンパイルされていないプログラムロジックおよび／またはマシンコード）を実行できるようにしてもよい。
【００７７】
したがって、データストレージ1605は、非一時的なコンピュータ可読媒体を含み、クライアントデバイス1612によって実行されると、クライアント装置1612が、本明細書および／または添付図面で開示された方法、プロセス、または機能のいずれかを実行するようにするプログラム命令を格納してもよい。プロセッサ1604によるプログラム命令1607の実行は、プロセッサ1604にデータ1606を使用することになってもよい。
【００７８】
一例として、プログラム命令1607は、オペレーティングシステム1611（例えばオペレーティングシステムカーネル、デバイスドライバ、および／または他のモジュール）およびクライアントデバイス1612にインストールされた一つまたは複数のアプリケーションプログラム1610を含んでもよい。同じように、データ1606は、オペレーティングシステムデータ1609およびアプリケーションデータ1608を含んでもよい。オペレーティングシステムデータ1609は、主にオペレーティングシステム1611にアクセス可能であり、アプリケーションデータ1608は、一つまたは複数のアプリケーションプログラム1610に主にアクセス可能である。アプリケーションデータ1608は、クライアントデバイス1612のユーザから可視または非可視のファイルシステムに配置されてもよい。
【００７９】
アプリケーションデータ1608は、他の人体部分の画像または写真、衣類／アクセサリーの画像、背景の画像、影を作成する画像と、および／または顔特徴／表情／アニメーションを作成する訓練モデルを含む訓練モデルデータと、および／またはユーザによりユーザ入力として提供されるか、ユーザ画像を含むユーザ入力を処理することによって生成する人体情報に関する情報を含むユーザ情報であって、次回はユーザが何かのログインアイデンティティにより識別された時に利用できるので、ユーザが再びユーザ体モデルを生成する必要がなく、ユーザデータから検索して衣類をそれに着せてみることができるユーザ情報と、および／またはユーザ画像を処理して生成して次回で利用できるユーザ体を含むユーザデータと、および／またはリグを有するグラフィックのユーザ体部分を含むグラフィックデータであって、グラフィックによってアニメーションを作成することができ、ユーザ顔をもってアニメーションを処理して衣類を有するユーザ体モデルを作成して、モデルがアニメーションまたは体部分運動を表示することができるグラフィックデータとを含み、人体情報は人の画像における人の顔の方向、人の画像における人の体の方向、人の肌トーン、人の画像に示される体部分のタイプ、人の画像における一つまたは複数の体部分のロケーションとジオメトリー、体／体部分の形、人のサイズ、人の重量、人の高さ、顔特徴情報、顔特徴の近接ポーションの少なくとも一つまたはそれらの組み合わせを含み、顔特徴情報は、顔、目、顎、首、唇、鼻、耳の少なくとも一つまたはそれらの組み合わせを含む。
【００８０】
図17(a)に示される一実施例において、画像処理エンジン131は、画像データ132 a、訓練モデルデータ132 b、ユーザデータ132 c、ユーザ情報データ132d、画像処理ライブラリ133を用いてそれぞれユーザの入力として出力135を生成する。
【００８１】
図17(b)に示される別の実施例において、体部分運動付きのユーザ体を生成する必要がある場合、グラフィックデータ132eも用いられ、そのリグを有する肌によってアニメーションを作成してレンダリングエンジンにより出力135を作成することができる。
【００８２】
衣服を着た人の人体モデルを生成するために、前記方法は、
人に関するユーザ入力を受信するステップであって、前記ユーザ入力は前記人の画像または写真の少なくとも一つを含み、前記人の少なくとも一つの画像に前記人の顔があるステップと、
人体情報を用いて他の体部分（the other body part）の要求を識別するステップと、
識別した要求に基づいて他の人体部分（other human body part）の画像または写真の少なくとも一つを受信するステップと、
前記人体情報を用いて前記他の人体部分の画像または写真とともに前記人の前記画像を処理して前記人体モデルを生成するステップであって、前記体モデルはその画像や写真がユーザ入力として受信された人を代表し、前記体モデルは前記人の顔を含むステップと、
前記人体モデルの形状とサイズに応じて衣類の画像を受信するステップと、及び
前記人体モデルと前記衣類の画像を結合して前記衣類を着ている前記人体モデルを表示するステップとを含み、
人体情報は、前記人の画像における前記人の顔の方向、前記人の画像における前記人の体の方向、前記人の肌トーン、前記人の画像に表示される体部分のタイプ、前記人の画像における一つまたは複数の体部分のロケーションとジオメトリー、体や体部分の形状、前記人のサイズ、前記人の重量、前記人の高さ、顔特徴情報、顔特徴の近接ポーションの少なくとも一つまたはそれらの組み合わせを含み、
顔特徴情報は、顔、目、顎、首、唇、鼻、耳の少なくとも一つまたはそれらの組み合わせを含む。
【００８３】
画像処理ライブラリ133は、顔特徴抽出、顔検出、体部位検出、表情生成／アニメーション、画像統合／混合、ユーザ顔の前面及び側面画像を用いた3Dモデル生成、衣類を有するかまたは有しないユーザ体モデルへのリグ生成に関するライブラリを含む。
【００８４】
画像処理エンジンはデータベースを用いて衣類を有するユーザ体モデルを作成するが、別の実施例においてユーザ体モデルが131で作成され、衣類の画像は統合されて単一の画像をクライアントデバイスに制作して、またはユーザ体モデルとともにレイヤーに配置されてユーザモデルが衣類を着ているよう見える。別の実施例において衣類を有するユーザモデルは異なる顔表情および／または異なる体運動、および／または顔および／または体運動のアニメーションを有して生成されている。
【００８５】
ディスプレイシステムは着用可能なディスプレイまたは非着用可能なディスプレイ、またはそれらの組み合わせであってもよい。
【００８６】
非着用可能なディスプレイは、LCD、LED、プラズマ、OLED、ビデオ壁、箱形のディスプレイのような電子視覚ディスプレイ、または一つ以上の電子視覚ディスプレイによりなるディスプレイ、またはプロジェクターによるディスプレイ、またはそれらの組み合わせを含む。
【００８７】
非着用可能なディスプレイはまた、プロジェクターおよび／または電子ディスプレイによって照明される透明的な傾斜ホイルスクリーンにより作成される一つまたは複数の面を有するペッパーズゴーストによるディスプレイを含み、プロジェクターおよび／または電子ディスプレイはペッパーズゴーストによるディスプレイの異なる面において異なるカメラ角度でレンダした同じ仮想物体の異なる画像を表示して、一つの箇所に配置されて異なる側がペッパーズゴースト技術によってペッパーズゴーストによるディスプレイの異なる面を介して見られる仮想物体のイリュージョンを提供する。
【００８８】
装着可能ディスプレイはヘッドマウントディスプレイを含む。ヘッドマウントディスプレイは、ヘルメット、眼鏡またはバイザーに嵌込されたレンズと半透明ミラーを有する一つまたは二つの小さなディスプレイを含む。ディスプレイユニットは小型化で、全解像度及び視野を増加させるため、CRT、LCD、エルコス（LCOS）、またはOLEDまたは複数のマイクロディスプレイを含んでもよい。
【００８９】
ヘッドマウントディスプレイはまた、一つまたは二つの目のための一つまたは二つのディスプレイを有してさらに湾曲ミラーによるディスプレイまたは導波路によるディスプレイをさらに含むシースルーヘッドマウントディスプレイまたは光学ヘッドマウントディスプレイを含む。シースルーヘッドマウントディスプレイは、透明または半透明的なディスプレイで、3Dモデルをユーザの目の前に表示するとともに自体の周りを見せることもできる。
【００９０】
ヘッドマウントディスプレイはまた、わずかに異なる二つのパースペクティブを同じビューのレンダリングに供給して衣類を有するユーザー体モデルの完全な3D ビューイングを作成することによって衣類を有するユーザー体モデルの完全な3D ビューイングのためのビデオシースルーヘッドマウントディスプレイまたは没入型ヘッドマウントディスプレイを含む。没入型ヘッドマウントディスプレイは、没入的な仮想環境において衣類を有するユーザー体モデルを表示する。
【００９１】
図18(a)-(c)は、ライトフィット、タイトフィット、ルーズフィットのTシャツを着ている女性の体モデルを図示する。これはユーザが異なるフィットを自分の体モデルに着せたい例である。異なるフィットの衣類を用いて以下の結果が得られる。一実施例において、一つのフィットの衣類は処理されて他のフィットの衣類を作成して、そしてユーザの体モデルとともに表示される。図18（a）〜（c）は衣類の体でのタイトネスを仮想的にわかるために異なるフィットにおける衣類のタイトネスをカラースペクタルによって図示する。システムは、衣類の仕様情報とユーザの体情報に基づいて通常、タイト、またはルーズフィットを推定して、異なる色で生地のストレッチを表示するロジックを用いる。このような異なるスペクトルのイメージは、リアルタイムで準備されてもよくて、体と衣類の異なる組合せに基づいてデータベースに格納されてもよい。
【００９２】
図19(a)-(b)は、訓練モデルを用いて画像を処理して顔表情を作成するための顔特徴と顔部分の画分を抽出することによって特定されるユーザの顔における顔特徴を表示するポイントを図示する。一方、図19（c）〜（f）はユーザ顔を処理することによって作成するユーザ顔における異なる顔表情を表示する。
【００９３】
図20(a)-(b)は、顔の前画像、側画像のユーザ入力を図示する。図20（c）は顔の前画像、側画像を用いて顔の3Dモデルを制作するロジックによって作成する顔のアンラップを表示する。
【００９４】
図21(a)-(b)は、生成したユーザの顔の3Dモデルによって異なる角度と方向において生成した顔を図示する。3Dモデルが生成されると、レンダされて何れの角度または方向における顔を作成して何れの角度または方向におけるユーザ体モデルを作成して、前記レンダは同じまたは同じような方向および/または角度における他人の体部分の画像を用いて行われる。
【００９５】
肌トーンによる画分、特徴による検出、テンプレートマッチングまたはニューラルネットワークによる検出のいずれかに基づく顔検出のためのさまざまな方法がある。
【００９６】
例えば、ハール特徴（Haar特徴）を基とするヴィオラジョーンズ（Viola Jones）の精巧な仕事は、顔快速検出のための多数の顔検出ライブラリに広く用いられている。
【００９７】
ハール特徴とは、以下のように定義される。
【００９８】
ロケーション（x, y）のエントリーが該ロケーションの上と左のすべての画素値の和であるようにロケーションのそれぞれにエントリーが含まれている、エリア総和テーブルと同じような「インテグラルイメージ」を考えてみよう。
【００９９】
2019510297.tif 000003
ただし、ii(x, y)はインテグラルイメージであり、i(x, y)はオリジナルイメージである。
【０１００】
インテグラルイメージにおいて、この検出器に用いられる特徴（この方法においてハールライク（Haar-like）特徴にされている）を非常に快速的に計算できる。白い矩形内にある画素の合計は、灰色の矩形内の画素の合計から減算される。インテグラルイメージの場合、二つの矩形特徴を計算するに六つだけの配列リファレンスを必要として、三つの矩形特徴に八つだけの配列リファレンスを必要とするなどで、特徴は連続的なタイムO（1）で計算される。
【０１０１】
特徴を抽出した後、学習アルゴリズムを用いて非常に大きな潜在的特徴のセットから少数の重要な視覚特徴を選択する。この方法は、学習アルゴリズムと分類器カスケードを用いて結果を学習した後、大きな特徴のセットからの少数の重要な特徴のみを使用して、リアルタイム的な顔検出システムを制作する。
【０１０２】
現実的なシナリオにおいてユーザが異なる方向と角度における写真をアップロードする。この場合、ニューラルネットワークによる顔検出アルゴリズムを用いて畳み込みネットワークの分類と特徴抽出に対する大容量を活用して、単一分類器を学習して複数のビューとポジションから顔を検出する。最終の顔検出器をえるためにスライディングウィンドウ方式が用いられ、複雑さがより小さく、選択的検索などの追加モジュールから独立しているからである。まず、完全に接続されたレイヤーは、レイヤーパラメータを変形することによって畳み込みレイヤーに変換される。これにより、任意のサイズの画像に畳み込みニューラルネットワークを効率よく実行し、顔分類器のヒートマップを得ることができる。
【０１０３】
顔が検出されると、次に、異なる顔特徴（例えば、目の角、眉、口、鼻先など）のロケーションを正確的に発見する。
【０１０４】
例えば、計算効率的に顔のランドマークのポジションを正確に推定するためには、デリブ（dlib）ライブラリを用いて顔特徴やランドマークポイントを抽出してもよい。
【０１０５】
リグレッサーのカスケードの利用による方法がある。リグレッサーのカスケードは以下のように定義されてもよい。 
2019510297.tif 000004
が画像Iにおいて第iの顔ランドマークのx,y座標とされる。そして、ベクタ
2019510297.tif 000005
は、Iにおいてすべてp個の顔ランドマークの座標を示す。ベクタSは形を代表する。カスケードにおけるリグレッサーそれぞれは画像から更新ベクタを予測する。カスケードにおけるリグレッサーそれぞれが学習されると、カスケードの異なるレベルにおいて予測された特徴ポイントは、基本的なヴィオラジョーンズ顔検出器の出力を中心とする平均形状に初期化される。
【０１０６】
その後、抽出された特徴ポイントは、表情解析および幾何学駆動の写実的表情合成に用いられてもよい。
【０１０７】
唇に化粧をつける場合、顔において唇領域を識別する必要がある。そのために、顔特徴ポイントが決まった後、入力画像のほぼ全体唇領域をキャプチャする滑らかなベジエ曲線が得られる。また、色情報に基づいて色によるセグメンテーション方法によって唇検出を実現することができる。また、顔特徴検出方法において、異なる光、照明、レースおよび顔姿勢に対して全ての例において不変な顔特徴ポイント（x,y座標）が若干与えられている。これらポイントは唇領域を覆う。しかし、スマートなベジエ曲線を描くことで、顔特徴ポイントを用いて唇の領域全体をキャプチャすることができる。
【０１０８】
一般に、様々な人間の肌トーンは、HSB色空間（色相、彩度、輝度）の色相と彩度の特定な範囲にある。ほとんどのシナリオでは明度のみが肌のトーンによって色相と彩度の範囲で変化する。一定の点灯条件では、色は方向不変的である。研究では、異なるレース、年齢、性別の異なる肌の色にもかかわらず、この異なりは主に明度に集中して、さまざまな人々の肌のトーンの分布は、異なる人々の肌の色の分布は色空間除去の輝度にクラスタリングを有する。RGB色空間にもかかわらず、HSVまたはYCbCr色空間は、肌色による画分に用いられる。
【０１０９】
画像の統合、混合またはスティッチは、処理された画像に接合エリアやシームが現れないよう二つ以上の画像を結合するテクニックである。画像混合の非常に基本的なテクニックは、二つの画像を結合または統合して一つの画像にする線形混合であり、つまり、パラメータXは両画像の接合エリア（または重複領域）において使用される。接合エリアの画素値を出力する。
【０１１０】
2019510297.tif 000006
ただし、0 < X < 1であり、画像の残った領域はそのまま変化しない。
「ポアソン画像編集（ペレス等）」(Poisson Image Editing (Perez et al.) )、 「ハールウェーブレット2D積分法に基づく画像のシームレスステッチ（アイオアナ等）」(Seamless Stitching Of Images Based On Haar Wavelet 2d Integration Method (Ioana et al.) )または「非オーバーラップ画像のアラインメントとモザイク化（ヤイル等）」 (Alignment and Mosaicing of Non-Overlapping Images (Yair et al.) ) などの技術は混合に用いられても良い。
【０１１１】
真に迫った顔アニメーションを達成するために、性能駆動技術、統計的外観モデルその他を含む様々なテクニックが使われている。性能駆動技術手法を実行するために、特徴ポイントはユーザーによってアップロードされた画像の面に位置付けされ、これら特徴ポイントの経時的な変位を用いて多角形モデルの頂点ロケーションを更新するか、または下層にある筋肉によるモデルにマップされる。
【０１１２】
顔表情の特徴ポイントが決まって、対応する表情画像を計算するために、一つの実行可能なことは、物理的なシミュレーションのような何かのメカニズムを使用して、顔の上における各々のポイントの幾何学的変形を計算して、そして結果的な表面をレンダすることである。例的な表情のセットが決まって、凸結合によって写実的顔表情を生成することができる。
2019510297.tif 000007
は例的な表情であるとされ、ただし、 
2019510297.tif 000008
は、ジオメトリーを代表し、また、
2019510297.tif 000009
は、テクスチャ画像である。すべてのテクスチャ画像I iは画素整列されてなると仮定する。
2019510297.tif 000010
は、これら例の全ての可能な凸結合のセットであるとされる。すると、
【０１１３】
2019510297.tif 000011
になる。
【０１１４】
一方、形状変化のモデルとテクスチャ変化のモデルを結合して統計的外観モデルを生成する。テクスチャーは、イメージパッチ全域での強度または色のパターンとして定義される。モデルを作るために、対応するポイントが各例にマークされている注釈画像の訓練セットが必要である。人物に顔アニメーションを適用するために使用される主なテクニックは、モーフターゲットアニメーション、骨駆動アニメーション、テクスチャベースのアニメーション（2Dまたは3D）、及び生理的なモデルを含む。
【図１】
2019510297.tif 000012
【図２】
2019510297.tif 000013
【図３】
2019510297.tif 000014
【図４】
2019510297.tif 000015
【図５】
2019510297.tif 000016
【図６】
2019510297.tif 000017
【図７】
2019510297.tif 000018
【図８】
2019510297.tif 000019
【図９】
2019510297.tif 000020
【図１０】
2019510297.tif 000021
【図１１】
2019510297.tif 000022
【図１２】
2019510297.tif 000023
【図１３】
2019510297.tif 000024
【図１４】
2019510297.tif 000025
【図１５】
2019510297.tif 000026
【図１６】
2019510297.tif 000027
【図１７】
2019510297.tif 000028
【図１８】
2019510297.tif 000029
【図１９】
2019510297.tif 000030
【図２０】
2019510297.tif 000031
【図２１】
2019510297.tif 000032
【国際調査報告】
2019510297.tif 000033
2019510297.tif 000034