(57)【要約】【課題】コンピューティングデバイスにおいて、３Ｄ顔形状を生成する方法を提供すること。【解決手段】本方法は、２Ｄ画像を得るステップと、２Ｄ画像に対して深層ニューラルネットワーク（ＤＮＮ）動作を実行して、テクスチャ成分として、２Ｄ画像の複数の顔特徴の各々を分類し、顔特徴がテクスチャ成分に属する確率を得るステップであって、テクスチャ成分は、３Ｄ顔メッシュにより表され、コンピューティングデバイスにおいて予め規定されている、ステップと、最も高い確率を有するテクスチャ成分とコンピューティングデバイスにおいて予め規定されている３Ｄ顔テンプレートとに基づいて、３Ｄ顔モデルを生成するステップと、を含む。【選択図】図２
2020177620.tif 000002
【特許請求の範囲】
【請求項１】
コンピューティングデバイスにおいて、アバター用の３Ｄ顔形状を生成する方法であって、
２Ｄ画像を得るステップと、
前記２Ｄ画像に対してランドマーク検出動作を実行して、ランドマークを用いて少なくとも１つの顔特徴を得るステップと、
前記ランドマークの相対距離に基づいて、前記顔特徴の複数の分類についての重みを決定するステップであって、前記複数の分類は、前記コンピューティングデバイスにおいて予め規定されている、ステップと、
前記２Ｄ画像に対して深層ニューラルネットワーク（ＤＮＮ）動作を実行して、テクスチャ成分として、前記２Ｄ画像の複数の顔特徴の各々を分類し、前記顔特徴が前記テクスチャ成分に属する確率を得るステップであって、前記テクスチャ成分は、３Ｄ顔メッシュにより表され、前記コンピューティングデバイスにおいて予め規定されている、ステップと、
前記顔特徴の前記複数の分類に対応する３Ｄパラメータ、対応する前記重み、及び、最も高い確率を有するテクスチャ成分とともに、前記コンピューティングデバイスにおいて予め規定されている３Ｄ顔テンプレートに基づいて、３Ｄ顔モデルを生成するステップと、
を含む、方法。
【請求項２】
前記テクスチャ成分は、唇色、目の下のたるみ、眉テクスチャ、顔ひげテクスチャ、髪色、髪型、及びモーフターゲットを含む、請求項１に記載の方法。
【請求項３】
前記眉テクスチャは、高いアーチ、濃い、細い、真っ直ぐ、及び、なめらかなアーチを含み、前記顔ひげテクスチャは、やぎひげ、耳前からのあごひげ、無精ひげ、カーテンのようなあごひげ、スペードのようなひげ、もみあげとつながり上端が細く下端が広がったほおひげ、古いオランダ人のようなひげ、及び流行のひげを含み、前記髪色は、黒、茶、金、及びグレーを含み、前記モーフターゲットは、尖った鼻、だんご鼻、上向きの鼻、及びわし鼻を含み、前記髪型は、ショート、ミディアム、ロング、及び毛無を含む、請求項２に記載の方法。
【請求項４】
前記複数の顔特徴は、顔形状、目、眉、鼻、及び口を含む、請求項１に記載の方法。
【請求項５】
前記ランドマークの前記相対距離に基づいて、前記顔特徴の前記複数の分類のうちの少なくとも１つの分類を決定するステップ
をさらに含む、請求項４に記載の方法。
【請求項６】
前記ランドマークの前記相対距離に基づいて、前記顔特徴の前記複数の分類のうちの少なくとも１つの分類を決定することは、
前記ランドマークの前記相対距離に基づいて、前記顔特徴の幅及び長さを決定して、前記顔特徴の比を得ることと、
前記比に基づいて、前記顔特徴の前記少なくとも１つの分類を決定することと、
を含む、請求項５に記載の方法。
【請求項７】
前記ランドマークの相対距離に基づいて、前記顔特徴の複数の分類についての重みを決定することは、
前記ランドマークの前記相対距離に基づいて、前記顔特徴の幅及び長さを決定して、前記顔特徴の比を得ることと、
前記比に基づいて、前記顔特徴の前記複数の分類についての重みを決定することと、
を含む、請求項１に記載の方法。
【請求項８】
アバターシミュレーションシステムであって、
２Ｄ画像を得るカメラと、
３Ｄ顔モデルを生成するコンピューティングデバイス又はクラウドと、
を有し、
前記コンピューティングデバイス又は前記クラウドは、
プログラムを実行する処理ユニットと、
前記プログラムを記憶する、前記処理ユニットに接続されている記憶ユニットであって、前記プログラムは、
２Ｄ画像を得るステップと、
前記２Ｄ画像に対してランドマーク検出動作を実行して、ランドマークを用いて少なくとも１つの顔特徴を得るステップと、
前記ランドマークの相対距離に基づいて、前記顔特徴の複数の分類についての重みを決定するステップであって、前記複数の分類は、前記コンピューティングデバイス又は前記クラウドにおいて予め規定されている、ステップと、
前記２Ｄ画像に対して深層ニューラルネットワーク（ＤＮＮ）動作を実行して、テクスチャ成分として、前記２Ｄ画像の複数の顔特徴の各々を分類し、前記顔特徴が前記テクスチャ成分に属する確率を得るステップであって、前記テクスチャ成分は、３Ｄ顔メッシュにより表され、前記コンピューティングデバイス又は前記クラウドにおいて予め規定されている、ステップと、
前記顔特徴の前記複数の分類に対応する３Ｄパラメータ、対応する前記重み、及び、最も高い確率を有するテクスチャ成分とともに、前記コンピューティングデバイス又は前記クラウドにおいて予め規定されている３Ｄ顔テンプレートに基づいて、３Ｄ顔モデルを生成するステップと、
を実行するように、前記処理ユニットに命令する、記憶ユニットと、
を含む、アバターシミュレーションシステム。
【請求項９】
アバター用の３Ｄ顔形状を生成するコンピューティングデバイスであって、
プログラムを実行する処理ユニットと、
前記プログラムを記憶する、前記処理ユニットに接続されている記憶ユニットであって、前記プログラムは、
２Ｄ画像を得るステップと、
前記２Ｄ画像に対してランドマーク検出動作を実行して、ランドマークを用いて少なくとも１つの顔特徴を得るステップと、
前記ランドマークの相対距離に基づいて、前記顔特徴の複数の分類についての重みを決定するステップであって、前記複数の分類は、前記コンピューティングデバイスにおいて予め規定されている、ステップと、
前記２Ｄ画像に対して深層ニューラルネットワーク（ＤＮＮ）動作を実行して、テクスチャ成分として、前記２Ｄ画像の複数の顔特徴の各々を分類し、前記顔特徴が前記テクスチャ成分に属する確率を得るステップであって、前記テクスチャ成分は、３Ｄ顔メッシュにより表され、前記コンピューティングデバイスにおいて予め規定されている、ステップと、
前記顔特徴の前記複数の分類に対応する３Ｄパラメータ、対応する前記重み、及び、最も高い確率を有するテクスチャ成分とともに、前記コンピューティングデバイスにおいて予め規定されている３Ｄ顔テンプレートに基づいて、３Ｄ顔モデルを生成するステップと、
を実行するように、前記処理ユニットに命令する、記憶ユニットと、
を有する、コンピューティングデバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、３Ｄ顔復元に関し、より詳細には、ゲーム及びシミュレーションのために、単一２Ｄ画像から３Ｄ顔モデルを生成する方法に関する。
【背景技術】
【０００２】
２Ｄ画像を用いた３Ｄ顔モデルの復元は、ゲームへの没入感及びシミュレーション設計のための継続中の課題である。例えば、ユーザは、スクリーン上で見ているアバターがあたかも自分自身であり、アバターの体験が自分自身の体験であるかのように感じることを望む。そのため、人の自身の外観をゲーム又はシミュレーションに挿入する目的で、３Ｄ顔復元の領域において、多くの研究がなされている。しかしながら、ほとんどの既存の方法は、３Ｄ顔モデルを生成するために、少なくとも２つの画像及び複雑な計算を必要とする。
【０００３】
過去において、単一画像を用いた顔復元のために、いくつかの方法が提案されている。それらの方法のうちで、例に基づく方法は、まず、例の集合から、３Ｄ顔モデルの低次元パラメトリック表現を構築し、次いで、パラメトリックモデルを入力２Ｄ画像に当てはめる。周知の例のうちの１つは、畳み込みニューラルネットワーク（ＣＮＮ）とともに適用される３Ｄモーフィングモデル（３ＤＭＭ）である。３ＤＭＭは、その単純さに起因して、普及しているパラメトリック顔モデルであり、他のより高度な顔復元方法の基礎となっている。しかしながら、そのような方法は、個々の特徴を含む顔を生成することができず、特定の条件下で顔認識のために使用され得るだけである。加えて、十分なトレーニングデータの欠如は、ＣＮＮにおける大きな問題であり、したがって、浅い残差ネットワークになる。
【０００４】
単一画像復元に対する別の手法は、これを、陰影の変化からの典型的なコンピュータビジョン問題の３Ｄ形状復元であるＳＦＳ（shape  from  shading）として解決することである。例えば、Kemelmacher-Shlizerman及びBasriは、基準顔形状を用いて、照明パラメータ及び反射率パラメータを推定することにより、顔入力画像から、奥行き情報を復元している。これらの既存の手法は、単一画像から、高い質の復元をもたらし得るが、制限も付随する。
【０００５】
３ＤＭＭ方法は、単純で効率的であるが、対象とする顔が、例の集合における顔と大きく異なる場合には、満足のいかない結果をもたらし得る。さらに、低次元モデルの制限された自由度に起因して、この方法は、対象とする顔に固有の微細な形状詳細（しわ等）を再生成することができないことが多い。一方、ＳＦＳに基づく方法は、入力画像の外観から、微細スケールの顔詳細を捕捉することができる。しかしながら、これは、復元問題の曖昧さを解決するために、形状又は照明に関する前もっての知識を必要とし、入力画像が仮定を満たさない場合には不正確になり得る。
【発明の概要】
【０００６】
したがって、上記の問題を解決するための、３Ｄ顔モデルを生成する方法を提供することが目的である。
【０００７】
本開示は、コンピューティングデバイスにおいて、３Ｄ顔形状を生成する方法を開示する。当該方法は、２Ｄ画像を得るステップと、前記２Ｄ画像に対してランドマーク検出動作を実行して、ランドマークを用いて少なくとも１つの顔特徴を得るステップと、前記ランドマークの相対距離に基づいて、前記顔特徴の複数の分類についての重みを決定するステップであって、前記複数の分類は、前記コンピューティングデバイスにおいて予め規定されている、ステップと、前記２Ｄ画像に対して深層ニューラルネットワーク（ＤＮＮ）動作を実行して、テクスチャ成分として、前記２Ｄ画像の複数の顔特徴の各々を分類し、前記顔特徴が前記テクスチャ成分に属する確率を得るステップであって、前記テクスチャ成分は、３Ｄ顔メッシュにより表され、前記コンピューティングデバイスにおいて予め規定されている、ステップと、前記顔特徴の前記複数の分類に対応する３Ｄパラメータ、対応する前記重み、及び、最も高い確率を有するテクスチャ成分とともに、前記コンピューティングデバイスにおいて予め規定されている３Ｄ顔テンプレートに基づいて、３Ｄ顔モデルを生成するステップと、を含む。
【０００８】
本開示は、アバターシミュレーションシステムを開示する。当該アバターシミュレーションシステムは、２Ｄ画像を得るカメラと、３Ｄ顔モデルを生成するコンピューティングデバイス又はクラウドと、を有し、前記コンピューティングデバイス又は前記クラウドは、プログラムを実行する処理ユニットと、前記プログラムを記憶する、前記処理ユニットに接続されている記憶ユニットであって、前記プログラムは、２Ｄ画像を得るステップと、前記２Ｄ画像に対してランドマーク検出動作を実行して、ランドマークを用いて少なくとも１つの顔特徴を得るステップと、前記ランドマークの相対距離に基づいて、前記顔特徴の複数の分類についての重みを決定するステップであって、前記複数の分類は、前記コンピューティングデバイス又は前記クラウドにおいて予め規定されている、ステップと、前記２Ｄ画像に対して深層ニューラルネットワーク（ＤＮＮ）動作を実行して、テクスチャ成分として、前記２Ｄ画像の複数の顔特徴の各々を分類し、前記顔特徴が前記テクスチャ成分に属する確率を得るステップであって、前記テクスチャ成分は、３Ｄ顔メッシュにより表され、前記コンピューティングデバイス又は前記クラウドにおいて予め規定されている、ステップと、前記顔特徴の前記複数の分類に対応する３Ｄパラメータ、対応する前記重み、及び、最も高い確率を有するテクスチャ成分とともに、前記コンピューティングデバイス又は前記クラウドにおいて予め規定されている３Ｄ顔テンプレートに基づいて、３Ｄ顔モデルを生成するステップと、を実行するように、前記処理ユニットに命令する、記憶ユニットと、を含む。
【０００９】
本開示は、アバター用の３Ｄ顔形状を生成するコンピューティングデバイスを開示する。当該コンピューティングデバイスは、プログラムを実行する処理ユニットと、前記プログラムを記憶する、前記処理ユニットに接続されている記憶ユニットであって、前記プログラムは、２Ｄ画像を得るステップと、前記２Ｄ画像に対してランドマーク検出動作を実行して、ランドマークを用いて少なくとも１つの顔特徴を得るステップと、前記ランドマークの相対距離に基づいて、前記顔特徴の複数の分類についての重みを決定するステップであって、前記複数の分類は、前記コンピューティングデバイスにおいて予め規定されている、ステップと、前記２Ｄ画像に対して深層ニューラルネットワーク（ＤＮＮ）動作を実行して、テクスチャ成分として、前記２Ｄ画像の複数の顔特徴の各々を分類し、前記顔特徴が前記テクスチャ成分に属する確率を得るステップであって、前記テクスチャ成分は、３Ｄ顔メッシュにより表され、前記コンピューティングデバイスにおいて予め規定されている、ステップと、前記顔特徴の前記複数の分類に対応する３Ｄパラメータ、対応する前記重み、及び、最も高い確率を有するテクスチャ成分とともに、前記コンピューティングデバイスにおいて予め規定されている３Ｄ顔テンプレートに基づいて、３Ｄ顔モデルを生成するステップと、を実行するように、前記処理ユニットに命令する、記憶ユニットと、を有する。
【００１０】
本発明のこのような目的及び他の目的は、様々な図に例示されている好ましい実施形態の以下の詳細な説明を読んだ後、当業者に疑いなく明らかになるであろう。
【図面の簡単な説明】
【００１１】
【図１】本開示の一実施形態に従った３Ｄ顔形状生成デバイスの概略図。
【図２】本開示の一実施形態に従ったフローチャート。
【図３】本開示の一実施形態に従ったテクスチャ成分の概略図。
【図４】本開示の一実施形態に従ったテクスチャ成分の概略図。
【図５】本開示の一実施形態に従った２Ｄ画像の概略図。
【図６】本開示の一実施形態に従った３Ｄ顔モデルの概略図。
【発明を実施するための形態】
【００１２】
図１は、本開示の一実施形態に従った３Ｄ顔形状生成デバイス１０の概略図である。３Ｄ顔形状生成デバイス１０は、ローカルコンピューティングデバイス又はクラウドであってよく、マイクロプロセッサ又は特定用途向け集積回路（ＡＳＩＣ）等の処理ユニット１００と、記憶ユニット１１０と、通信インタフェースユニット１２０と、を含む。記憶ユニット１１０は、処理ユニット１００によりアクセスされる、プログラムコード１１４を記憶することができる任意のデータ記憶デバイスであってよい。記憶ユニット１１０の例は、加入者識別モジュール（ＳＩＭ）、読み取り専用メモリ（ＲＯＭ）、フラッシュメモリ、ランダムアクセスメモリ（ＲＡＭ）、ＣＤ−ＲＯＭ、磁気テープ、ハードディスク、及び光データ記憶デバイスを含むが、これらに限定されるものではない。通信インタフェースユニット１２０は、処理ユニット１００の処理結果に従って、カメラ及び／又はディスプレイデバイス（図１には示されていない）と信号を交換するための有線通信又は無線通信に対して適用される。すなわち、３Ｄ顔形状生成デバイス１０の通信インタフェースユニット１２０は、カメラから２Ｄ画像を受信するために使用され、生成された３Ｄ顔モデルをディスプレイデバイスに送信するために使用されてよい。したがって、ディスプレイデバイスは、ＶＲへの没入感を増大させるために、生成された３Ｄ顔モデルを用いてアバターを表示することができる。一実施形態において、カメラ、ディスプレイデバイス、及び、ローカルコンピューティングデバイス又はクラウドである３Ｄ顔形状生成デバイス１０は、アバターシミュレーションシステムを形成する。
【００１３】
図２を参照すると、本開示の一実施形態に従ったプロセス２０のフローチャートが示されている。プロセス２０は、ゲーム（例えばＶＲゲーム）及びシミュレーション（例えばアバター）のために単一２Ｄ画像に基づいて３Ｄ顔モデルを生成するために、図１の３Ｄ顔形状生成デバイス１０において使用されてよい。プロセス２０は、記憶ユニット１１０に記憶されるプログラムコード１１４にコンパイルされてよく、以下のステップを含んでよい。
【００１４】
ステップ２００：２Ｄ画像を得る。
【００１５】
ステップ２１０：２Ｄ画像に対してランドマーク検出動作を実行して、ランドマークを用いて少なくとも１つの顔特徴を得る。
【００１６】
ステップ２２０：ランドマークの相対距離に基づいて、顔特徴の複数の分類についての重みを決定し、ここで、複数の分類は、３Ｄ顔形状生成デバイス１０において予め規定されている。
【００１７】
ステップ２３０：２Ｄ画像に対して深層ニューラルネットワーク（ＤＮＮ）動作を実行して、テクスチャ成分として、２Ｄ画像の顔特徴の各々を分類し、顔特徴がテクスチャ成分に属する確率を得、ここで、テクスチャ成分は、３Ｄ顔メッシュにより表され、３Ｄ顔形状生成デバイス１０において予め規定されている。
【００１８】
ステップ２４０：顔特徴の複数の分類に対応する３Ｄパラメータ、対応する重み、及び、最も高い確率を有するテクスチャ成分とともに、３Ｄ顔形状生成デバイス１０において予め規定されている３Ｄ顔テンプレートに基づいて、３Ｄ顔モデルを生成する。
【００１９】
プロセス２０に従って、３Ｄ顔形状生成デバイス１０は、通信インタフェースユニットにより、カメラから；複数の２Ｄ画像を予め記憶している記憶ユニット１１０から；又は、インターネット／ウェブサイト上のデータベースから；１つの２Ｄ画像を受信し、次いで、ランドマーク検出動作及びＤＮＮ動作により、１つの２Ｄ画像に基づいて、アバター用の３Ｄ顔モデルを生成する。
【００２０】
詳細には、３Ｄ顔形状生成デバイス１０は、各顔面形状（例えば、顔形状、目形状、鼻形状、及び口形状）の分類を認識するために、２Ｄ画像上のランドマークによって、顔、目、鼻、及び口等の顔特徴を抽出する。一実施形態において、顔面形状の分類は、アプリケーション／ソフトウェアにおいて予め規定されている又は設計されている。例えば、顔形状は、丸い顔、角ばった顔、長い顔、ハート形の顔、菱形の顔、又は楕円形の顔に分類され得るが、このように限定されるものではない。各顔形状タイプ／分類について、設計者は、顔形状のジオメトリに関連付けられる３Ｄパラメータを設定することに留意されたい。すなわち、各顔形状タイプ／分類は、３Ｄパラメータにより表される。この項目における３Ｄパラメータは、あごの幅及び長さの湾曲に対応するパラメータの集合であり得るが、このように限定されるものではないことに留意されたい。同様に、目、鼻、及び口も、複数のタイプに分類される。
【００２１】
顔特徴の分類に基づいて、３Ｄ顔形状生成デバイス１０は、人工知能（ＡＩ）／機械学習技術を用いて、顔特徴の各分類についての重みを決定する。例えば、丸い顔、角ばった顔、長い顔、ハート形の顔、菱形の顔、及び楕円形の顔等の６つのタイプの顔形状が存在し、これらの顔形状は、以下の式における３ＤパラメータT1〜T6として表される。ＡＩ／機械学習技術を適用することにより、３Ｄ顔形状生成デバイス１０は、ランドマーク顔形状が、６つの顔タイプに属する確率を計算し、確率に基づいて、６つの顔タイプについての、以下の式におけるW1〜W6として表される重みを決定することができる。３Ｄ顔形状は、３Ｄ顔モデル=S0+T1W1+T2W2...+T6W6（S0は、３Ｄ顔形状テンプレートである）により表される。
【００２２】
上述したコンセプトは、顔面形状に基づいてアバター用の３Ｄ顔モデルを生成するために、目、鼻、及び口についても適用され得る。
【００２３】
一方で、３Ｄ顔形状生成デバイス１０は、ＤＮＮ動作により、顔特徴を抽出し、したがって、２Ｄ画像の顔特徴は、形状によって表されるだけでなく、眉テクスチャ、顔ひげテクスチャ、髪型、及びモーフターゲット（morph  target）、目の下のたるみ（eye  bag）、唇色、髪色等といったテクスチャ成分によっても表される。さらに、ＤＮＮ動作は、顔特徴がテクスチャ成分に属する確率を計算することができる。すなわち、ＤＮＮ動作は、テクスチャ成分が現れているかどうかを判定するために用いられる。
【００２４】
一実施形態において、テクスチャ成分は、アプリケーション／ソフトウェアにおいて予め規定されており又は設計されており、３Ｄ顔メッシュにより表される。要するに、各テクスチャ成分について、設計者は、テクスチャ成分に基づいてアバター用の３Ｄ顔モデルを生成するために、３Ｄ顔テンプレートの表面上に顔面テクスチャを提示するための３Ｄ顔メッシュを設定する。図３〜図４を参照すると、これらは、本開示の一実施形態に従ったテクスチャ成分の概略図である。図３に示されているように、眉テクスチャは、高いアーチ、濃い、細い、真っ直ぐ、及び、なめらかなアーチを含み、これらは、３Ｄ顔メッシュとして見ることができる。図４において、顔ひげテクスチャは、やぎひげ、耳前からのあごひげ、無精ひげ、カーテンのようなあごひげ、スペードのようなひげ、もみあげとつながり上端が細く下端が広がったほおひげ、古いオランダ人のようなひげ、及び流行のひげを含み、各顔ひげテクスチャは、３Ｄ顔メッシュに対応する。
【００２５】
加えて、髪色は、黒、茶、金、及びグレーを含む。モーフターゲットは、尖った鼻、だんご鼻、上向きの鼻、及びわし鼻を含み、髪型は、ショート、ミディアム、ロング、及び毛無を含む。
【００２６】
さらに、顔特徴がテクスチャ成分に属する確率に基づいて、３Ｄ顔形状生成デバイス１０は、３Ｄ顔モデルを生成するために、最も高い確率を有するテクスチャ成分を選択する。例えば、眉については、高いアーチ、濃い、細い、真っ直ぐ、なめらかなアーチ等、５つのテクスチャ成分が存在する。ＤＮＮ動作により、３Ｄ顔形状生成デバイス１０は、２Ｄ画像上の顔の眉が高いアーチテクスチャに属する確率が０．１であり、２Ｄ画像上の顔の眉が濃いテクスチャに属する確率が０．９であり、２Ｄ画像上の顔の眉が他のテクスチャに属する確率が０であるという確率を得る。したがって、３Ｄ顔形状生成デバイス１０は、３Ｄ顔テンプレートとともに、濃いテクスチャに対応する３Ｄ顔メッシュを使用して、３Ｄ顔モデルを生成する。
【００２７】
そのようなやり方で、３Ｄ顔形状生成デバイス１０は、完全な顔特徴（すなわち顔面形状及び顔面テクスチャ）を有する３Ｄ顔モデルを生成するために、ＤＮＮ動作により計算された確率に基づいて、モーフターゲット、唇色、髪色、髪型、及び顔ひげについてのテクスチャ成分を選択する。
【００２８】
一実施形態において、ＤＮＮ動作は、顔帰属予測を実現するために、図５に示されているような２Ｄ画像において適用され、ここで、ＤＮＮ動作は、テクスチャ成分が現れているかどうかを確率で示すラベルを出力する。例えば、label_1は、やぎひげについての確率が０．８であることを示し、label_2は、耳前からのあごひげについての確率が０．１であることを示す。したがって、３Ｄ顔形状生成デバイス１０は、やぎひげが３Ｄ顔モデルにおいて提示される、ということを決定する。要するに、５つの髪色が存在する場合、５つのラベルが、５つの髪色についての確率を示すために使用される。同じコンセプトが、３Ｄ顔モデルにおいて提示されるテクスチャ成分を決定するために、モーフターゲット、髪型、唇色、眉、目の下のたるみ等についても適用され得る。最後に、最も高い確率を有するテクスチャ成分についての上述したラベルを用いて、３Ｄ顔形状生成デバイス１０は、図６に示されているような３Ｄ顔モデルを生成する。
【００２９】
ＤＮＮ動作についての詳細な動作は、以下の通りである。
１．トレーニングデータ（ラベル付けされた顔特徴を含む画像）を準備する。
２．損失関数（すなわちバイナリ交差エントロピー）を定める。
３．トレーニングデータをネットワークに与え、オプティマイザを使用して、出力損失関数を最小化するようにネットワークのパラメータを調整する。
４．顔帰属予測のためにネットワークをデプロイする。
【００３０】
提案されているステップを含む、プロセスの上述したステップは、ハードウェア；ハードウェアデバイスと、ハードウェアデバイス上に読み取り専用ソフトウェアとして存在するコンピュータ命令及びデータと、の組み合わせとして知られているファームウェア；又は、電子システム；であり得る手段により実現され得る。ハードウェアの例は、マイクロ回路、マイクロチップ、又はシリコンチップとして知られている、アナログ回路、デジタル回路、及び混合回路を含み得る。電子システムの例は、システムオンチップ（ＳＯＣ）、システムインパッケージ（ＳｉＰ）、コンピュータオンモジュール（ＣＯＭ）、及び３Ｄ顔形状生成デバイス１０を含み得る。
【００３１】
まとめると、本開示は、ランドマーク検出動作及びＤＮＮ動作により、３Ｄ顔復元に対処する。詳細には、最も高い質の最も写実的な３Ｄ顔モデルを生成するために、ＤＮＮ動作の顔帰属予測に基づいて、顔特徴に対応するテクスチャ成分についての確率が、正確に決定され得る。この方法は、従来の方法に比して、優れた正確さを示している。
【００３２】
当業者は、本発明の教示を保持している間に、デバイス及び方法の多数の変更及び変形が可能であることを観察するであろう。したがって、上記の開示は、請求項の範囲及び境界によってのみ限定されるとして解釈されるべきである。
【符号の説明】
【００３３】
１０    ３Ｄ顔形状生成デバイス
１００  処理ユニット
１１０  記憶ユニット
１１４  プログラムコード
【図１】
2020177620.tif 000003
【図２】
2020177620.tif 000004
【図３】
2020177620.tif 000005
【図４】
2020177620.tif 000006
【図５】
2020177620.tif 000007
【図６】
2020177620.tif 000008