(57)【要約】【課題】画像及び深度データを用いて３Ｄ人物顔面モデルを発生させるための仮想現実ベースの装置及び方法を提供する。【解決手段】３Ｄ人物顔面モデルを発生させるための仮想現実ベースの装置及び方法は、少なくとも中立表情における既存の３Ｄ顔面モデル又は平均形状顔面モデルである３Ｄ顔面モデルのストレージを含む。第１のユーザの顔の点クラウドが、第１のユーザの顔の複数の色画像及び深度情報に基づいて発生される。中立表情を有する第１のユーザの第１の３Ｄ顔面モデルが、格納された３Ｄ顔面モデルに対する形状ベースのモデル当て嵌めによって発生される。第１の３Ｄ顔面モデルの形状は、第１の３Ｄ顔面モデルと形状ベースのモデル当て嵌めと発生された点クラウドとの間の差に基づいて精緻化される。精緻化された第１の３Ｄ顔面モデルの表示は、第１のユーザの顔の形状及び外見からの最小の偏倚しか示さないように制御される。【選択図】図１
2018170005.tif 000002
【特許請求の範囲】
【請求項１】
仮想現実ベースの装置であって、
既存の３Ｄ顔面モデルである３次元（３Ｄ）顔面モデルを格納するように構成されたメモリデバイスと、
感知デバイスに通信可能に結合された回路と、
を含み、
前記回路は、
第１のユーザの顔の点クラウドを中立表情における該顔の１又は２以上の視野角から前記感知デバイスによって取り込まれた該第１のユーザの該顔の複数の色画像及び対応する深度情報に基づいて発生させ、
前記発生された点クラウドを使用する前記格納された３Ｄ顔面モデルに対する形状ベースのモデル当て嵌めにより、中立表情を有する前記第１のユーザの前記顔の第１の３Ｄ顔面モデルを発生させ、
前記第１の３Ｄ顔面モデルの形状を前記形状ベースのモデル当て嵌めと、該第１の３Ｄ顔面モデル及び前記第１のユーザの前記顔の前記発生された点クラウド間の差とに基づいて精緻化し、かつ
前記仮想現実ベースの装置上の前記第１のユーザの前記顔の前記精緻化された第１の３Ｄ顔面モデルの表示を、該精緻化された第１の３Ｄ顔面モデル上の複数の外見属性が前記取り込まれた複数の色画像内の該第１のユーザの該顔の形状及び外見からの最小の偏倚しか示さないように制御する、
ように構成され、
を含むことを特徴とする装置。
【請求項２】
前記メモリデバイスは、前記格納された３Ｄ顔面モデルの一部として前記中立表情における平均形状顔面モデル及び該平均形状顔面モデルの複数の形状成分と、該平均形状顔面モデルに関連する複数の任意顔面表情とを格納するように更に構成されることを特徴とする請求項１に記載の仮想現実ベースの装置。
【請求項３】
前記回路は、２次元（２Ｄ）顔面ランドマーク検出に基づいて、前記第１のユーザの前記顔の前記取り込まれた複数の色画像の各色画像から複数の特徴点を検出するように更に構成されることを特徴とする請求項１に記載の仮想現実ベースの装置。
【請求項４】
前記回路は、
前記発生された点クラウド上の前記検出された複数の特徴点と平均形状顔面モデル上の複数のランドマーク点とに基づいてアフィン変換を推定し、かつ
前記発生された点クラウドへの前記推定アフィン変換の適用によって剛的に位置合わせされた点クラウドを発生させる、
ように更に構成される、
ことを特徴とする請求項３に記載の仮想現実ベースの装置。
【請求項５】
前記回路は、
２Ｄ空間の前記剛的に位置合わせされた点クラウド上の前記複数の点の各点の近接性にしたがう前記剛的に位置合わせされた点クラウド上の複数の点の接続に基づいて、前記発生された剛的に位置合わせされた点クラウドに複数のエッジを追加し、かつ
前記剛的に位置合わせされた点クラウドへの前記複数のエッジの前記追加に基づいて前記第１のユーザの顔の入力メッシュを導出する、
ように更に構成される、
ことを特徴とする請求項４に記載の仮想現実ベースの装置。
【請求項６】
前記回路は、
前記第１のユーザの前記顔の前記導出された入力メッシュに基づいて、事前格納された平均形状顔面モデルを変形し、かつ
前記事前格納された平均形状顔面モデルの前記変形に基づいて、変形された平均形状顔面モデルを発生させる、
ように更に構成される、
ことを特徴とする請求項５に記載の仮想現実ベースの装置。
【請求項７】
前記回路は、
前記第１の３Ｄ顔面モデルの頂点と前記剛的に位置合わせされた点クラウドの対応する頂点との最小差に基づいて、前記メモリデバイスに格納された複数の形状成分のうちの各形状成分に対する重みを推定し、かつ
前記モデル当て嵌めにおいて前記格納された３Ｄ顔面モデルからの前記複数の重み付き形状成分のうちの各重み付き形状成分を組み合わせて前記第１のユーザの前記顔の前記第１の３Ｄ顔面モデルを発生させる、
ように更に構成される、
ことを特徴とする請求項５に記載の仮想現実ベースの装置。
【請求項８】
前記回路は、前記第１のユーザの前記顔の前記発生された第１の３Ｄ顔面モデルの複数の頂点と該第１のユーザの該顔の前記発生された剛的に位置合わせされた点クラウドとの差に基づいて顔面モデル残差を評価するように更に構成され、
前記顔面モデル残差は、前記第１のユーザの前記顔の前記第１の３Ｄ顔面モデルの対応する複数の頂点に関する複数の部分残差を含む、
ことを特徴とする請求項１に記載の仮想現実ベースの装置。
【請求項９】
前記回路は、
前記評価された顔面モデル残差に変形を適用して前記第１のユーザの前記顔の前記第１の３Ｄ顔面モデルに対する変形顔面モデル残差を導出し、かつ
前記変形顔面モデル残差を前記第１のユーザの前記顔の前記第１の３Ｄ顔面モデルと組み合わせて該第１のユーザの該顔の前記精緻化された第１の３Ｄ顔面モデルを取得する、
ように更に構成される、
ことを特徴とする請求項８に記載の仮想現実ベースの装置。
【請求項１０】
前記評価された顔面モデル残差の前記適用された変形は、ラプラシアン変形であることを特徴とする請求項９に記載の仮想現実ベースの装置。
【請求項１１】
前記回路は、前記中立表情において前記メモリデバイスに格納された平均形状顔面モデルと、該メモリデバイスに格納された複数の任意顔面表情の各々における該平均形状顔面モデルとの間の変換セットを評価するように更に構成されることを特徴とする請求項１に記載の仮想現実ベースの装置。
【請求項１２】
前記回路は、
前記評価された変換セットを前記中立表情における前記第１のユーザの前記精密化された第１の３Ｄ顔面モデルに対して適用し、かつ
前記第１のユーザの前記顔の前記複数の任意顔面表情に対応する前記適用された変形セットに基づいて該第１のユーザの前記精緻化された第１の３Ｄ顔面モデルから配合形状セットを導出する、
ように更に構成される、
ことを特徴とする請求項１１に記載の仮想現実ベースの装置。
【請求項１３】
前記回路は、前記導出された配合形状セットに基づいて前記第１のユーザの前記取り込まれた顔面表情に対応する該第１のユーザの前記顔の第２の３Ｄ顔面モデルを発生させるように更に構成されることを特徴とする請求項１２に記載の仮想現実ベースの装置。
【請求項１４】
現実的な３次元（３Ｄ）人物顔面モデルを発生させる方法であって、
メモリデバイスと、感知デバイスに通信可能に結合された回路とを含む仮想現実ベースの装置において、
前記回路により、前記メモリデバイスに既存の３Ｄ顔面モデルである３Ｄ顔面モデルを格納する段階と、
前記回路により、第１のユーザの顔の点クラウドを、中立表情における該顔の１又は２以上の視野角から前記感知デバイスによって取り込まれた該第１のユーザの該顔の複数の色画像及び対応する深度情報に基づいて発生させる段階と、
前記回路により、前記発生された点クラウド使用する前記格納された３Ｄ顔面モデルに対する形状ベースのモデル当て嵌めによって中立表情を有する前記第１のユーザの前記顔の第１の３Ｄ顔面モデルを発生させる段階と、
前記回路により、前記第１の３Ｄ顔面モデルの形状を、前記形状ベースのモデル当て嵌めと該第１の３Ｄ顔面モデル及び前記第１のユーザの前記顔の前記発生された点クラウド間の差とに基づいて精緻化する段階と、
前記回路により、前記仮想現実ベースの装置上の前記第１のユーザの前記顔の前記精緻化された第１の３Ｄ顔面モデルの表示を、該精緻化された第１の３Ｄ顔面モデル上の複数の外見属性が前記取り込まれた複数の色画像内の該第１のユーザの該顔の形状及び外見からの最小の偏倚しか示さないように制御する段階と、
を含むことを特徴とする方法。
【請求項１５】
前記回路により、２次元（２Ｄ）顔面ランドマーク検出に基づいて、前記第１のユーザの前記顔の前記取り込まれた複数の色画像のうちの各色画像から複数の特徴点を検出する段階と、
前記回路により、前記発生された点クラウド上の前記検出された複数の特徴点と平均形状顔面モデル上の複数のランドマーク点とに基づいてアフィン変換を推定する段階と、
前記回路により、前記発生された点クラウドへの前記推定されたアフィン変換の適用によって剛的に位置合わせされた点クラウドを発生させる段階と、
を更に含むことを特徴とする請求項１４に記載の方法。
【請求項１６】
前記回路により、２Ｄ空間の前記剛的に位置合わせされた点クラウド上の前記複数の点の各点の近接性にしたがう前記剛的に位置合わせされた点クラウド上の複数の点の接続に基づいて、前記発生された剛的に位置合わせされた点クラウドに複数のエッジを追加する段階と、
前記回路により、前記剛的に位置合わせされた点クラウドへの前記複数のエッジの前記追加に基づいて前記第１のユーザの顔の入力メッシュを導出する段階と、
を更に含むことを特徴とする請求項１５に記載の方法。
【請求項１７】
前記回路により、前記第１のユーザの前記顔の前記導出された入力メッシュに基づいて、事前格納された平均形状顔面モデルを変形する段階と、
前記回路により、前記事前格納された平均形状顔面モデルの前記変形に基づいて、変形された平均形状顔面モデルを発生させる段階と、
を更に含むことを特徴とする請求項１６に記載の方法。
【請求項１８】
前記回路により、前記第１のユーザの前記顔の前記発生された第１の３Ｄ顔面モデルの複数の頂点と該第１のユーザの該顔の前記発生された剛的に位置合わせされた点クラウドとの差に基づいて、該第１のユーザの該顔の該第１の３Ｄ顔面モデルの対応する複数の頂点に関する複数の部分残差を含む顔面モデル残差を評価する段階を更に含むことを特徴とする請求項１４に記載の方法。
【請求項１９】
前記回路により、前記評価された顔面モデル残差に変形を適用し、前記第１のユーザの前記顔の前記第１の３Ｄ顔面モデルに対する変形された顔面モデル残差を導出する段階と、
前記回路により、前記変形された顔面モデル残差を前記第１のユーザの前記顔の前記第１の３Ｄ顔面モデルと組み合わせて、該第１のユーザの該顔の前記精緻化された第１の３Ｄ顔面モデルを取得する段階と、
を更に含むことを特徴とする請求項１８に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
〔関連出願への相互参照／引用による組み込み〕
本出願は、これにより内容全体が引用によって本明細書に組み込まれる２０１７年３月１日出願の米国仮特許出願第６２／４６５，５３４号に対する優先権を主張するものである。
【０００２】
本開示の様々な実施形態は、３次元（３Ｄ）モデリング、仮想ヒューマンテクノロジー、及び仮想現実に関する。より具体的には、本開示の様々な実施形態は、画像及び深度データを用いて３Ｄ人物顔面モデルを発生させるための仮想現実ベースの装置及び方法に関する。
【背景技術】
【０００３】
３次元（３Ｄ）コンピュータグラフィックスモデリングの分野における進歩は、３Ｄモデルを作成し、現実の物体を３Ｄコンピュータグラフィックス環境内で視覚化する能力をもたらした。アニメーション映画、ゲーム、及び仮想現実システムにおいてユーザ体験を向上させるために、３Ｄキャラクターモデル等の３Ｄコンテンツが益々用いられてきている。３Ｄモデルは、特定の物体の形状に似た静的３Ｄメッシュである。一般的にそのような３Ｄモデルは、一般的にモデラーとして公知のコンピュータグラフィックスアーチストがモデリングソフトウェアアプリケーションを用いて手作業で設計する。そのような３Ｄモデルは、アニメーション又は様々な仮想現実のシステム又はアプリケーションにおいて同じ様式で用いられない場合がある。更に一部の事例では、３Ｄモデルの顔部分は、３Ｄモデルの最も重要な部分のうちの１つであると考えられる場合がある。現在、現実的な３Ｄ人物顔面モデルを作成することは、コンピュータグラフィックス及びコンピュータビジョンの分野において最も困難な課題のうちの１つである。仮想現実、３Ｄゲーム、及び仮想シミュレーションの分野における３Ｄ仮想ヒューマンテクノロジーの用途が増加するに伴って、現実の人々に基づいて現実的な３Ｄ人物顔面モデルを発生させるための開発技術が益々重要になってきた。
【０００４】
ある一定のシナリオでは、３Ｄ顔面モデラーは、ユーザの顔の入力画像を３Ｄモデルを構築するための土台として利用することができる。３Ｄ顔面モデラーは、人物の顔のメッシュ等の面表現を構築することができる。顔面モデラーは、様々な配合形状を構築することによって人物の顔の様々な表情を３Ｄ顔面モデルに導入することもできる。３Ｄ顔面モデルを作成するのに必要とされる異なる視野角からの入力画像データを取り込むことにはいくつかの複雑な問題が伴う。更に、ユーザの顔の３Ｄモデルは、ユーザの実際の顔面細部に似ていない場合がある。例えば、人物の顔の構造及び面の表現は、ユーザの顔に似ていない場合があり、顔面モデルの表情は、人物の顔の表情に実時間又は近実時間で一致しない場合がある。ユーザの実際の顔に対する３Ｄ顔面モデルの構造、特徴、及び表情におけるこの不一致は、現実的表示目的及び仮想現実用途にとって望ましくない場合がある。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
当業者には、説明したシステムと、本出願の残りの部分において図面を参照しながら示す本開示の一部の態様との比較により、これまでの従来手法の更なる制限及び欠点が明らかになるであろう。
【課題を解決するための手段】
【０００６】
実質的に図のうちの少なくとも１つに関連して示し及び／又は説明し、特許請求の範囲においてより完全に示すような画像及び深度データを用いて３次元（３Ｄ）人物顔面モデルを発生させるための仮想現実ベースの装置及び方法を提供する。
【０００７】
本開示の上記及びその他の特徴及び利点は、以下に続く本開示の詳細説明、並びに同様の参照番号が同様の部分を示す添付図面の精査から認められるであろう。
【図面の簡単な説明】
【０００８】
【図１】本開示の実施形態による３Ｄ人物顔面モデルを発生させるための例示的ネットワーク環境を示すブロック図である。
【図２】本開示の実施形態による例示的な仮想現実ベースの装置を示すブロック図である。
【図３Ａ】本開示の実施形態による画像及び深度データを用いた３Ｄ人物顔面モデルの例示的発生を他の図と共に集合的に示す図である。
【図３Ｂ】本開示の実施形態による画像及び深度データを用いた３Ｄ人物顔面モデルの例示的発生を他の図と共に集合的に示す図である。
【図３Ｃ】本開示の実施形態による画像及び深度データを用いた３Ｄ人物顔面モデルの例示的発生を他の図と共に集合的に示す図である。
【図３Ｄ】本開示の実施形態による画像及び深度データを用いた３Ｄ人物顔面モデルの例示的発生を他の図と共に集合的に示す図である。
【図３Ｅ】本開示の実施形態による画像及び深度データを用いた３Ｄ人物顔面モデルの例示的発生を他の図と共に集合的に示す図である。
【図３Ｆ】本開示の実施形態による画像及び深度データを用いた３Ｄ人物顔面モデルの例示的発生を他の図と共に集合的に示す図である。
【図３Ｇ】本開示の実施形態による画像及び深度データを用いた３Ｄ人物顔面モデルの例示的発生を他の図と共に集合的に示す図である。
【図３Ｈ】本開示の実施形態による画像及び深度データを用いた３Ｄ人物顔面モデルの例示的発生を他の図と共に集合的に示す図である。
【図３Ｉ】本開示の実施形態による画像及び深度データを用いた３Ｄ人物顔面モデルの例示的発生を他の図と共に集合的に示す図である。
【図３Ｊ】本開示の実施形態による画像及び深度データを用いた３Ｄ人物顔面モデルの例示的発生を他の図と共に集合的に示す図である。
【図３Ｋ】本開示の実施形態による画像及び深度データを用いた３Ｄ人物顔面モデルの例示的発生を他の図と共に集合的に示す図である。
【図３Ｌ】本開示の実施形態による画像及び深度データを用いた３Ｄ人物顔面モデルの例示的発生を他の図と共に集合的に示す図である。
【図４Ａ】本開示の実施形態による画像及び深度データを用いて現実的な３Ｄ人物顔面モデルを発生させるための例示的作動を示す流れ図を他の図と共に集合的に示す図である。
【図４Ｂ】本開示の実施形態による画像及び深度データを用いて現実的な３Ｄ人物顔面モデルを発生させるための例示的作動を示す流れ図を他の図と共に集合的に示す図である。
【図４Ｃ】本開示の実施形態による画像及び深度データを用いて現実的な３Ｄ人物顔面モデルを発生させるための例示的作動を示す流れ図を他の図と共に集合的に示す図である。
【発明を実施するための形態】
【０００９】
以下に説明する実施は、ＲＧＢＤデータを用いて３Ｄ人物顔面モデルを発生させるための本開示の仮想現実（ＶＲ）ベースの装置及び方法に見ることができる。本開示の例示的態様は、感知デバイスに通信的に結合することができるＶＲベースの装置を含むことができる。ＶＲベースの装置は、３Ｄ顔面モデルを格納するように構成されたメモリデバイスを含むことができる。格納３Ｄ顔面モデルは、既存の３Ｄ顔面モデル、例えば、メモリデバイス内に事前に格納された主成分分析（ＰＣＡ）モデルとすることができる。ＰＣＡモデルは、複数の異なる顔、例えば様々なユーザの約１００〜３００個の顔の走査及び登録から構築することができる。様々なユーザの複数の異なる顔は、より優れた表現に向けて女性と男性の両方を含むことができる。
【００１０】
ＶＲベースの装置は、第１のユーザの顔の複数の色画像及び対応する深度情報に基づいて第１のユーザの顔の点クラウドを発生させるように構成することができる。第１のユーザの顔の複数の色画像及び対応する深度情報は、感知デバイスが中立表情における顔の１又は２以上の視野角から取り込むことができる。ＶＲベースの装置は、発生された点クラウドを用いた格納３Ｄ顔面モデル（すなわち既存の３Ｄ顔面モデル）に対する形状ベースのモデル当て嵌めによって中立表情を有する第１のユーザの顔の第１の３Ｄ顔面モデルを発生させるように更に構成することができる。ＶＲベースの装置は、第１のユーザの顔の第１の３Ｄ顔面モデルと発生された点クラウドとの間の差に基づき、更に形状ベースのモデル当て嵌めに基づいて第１の３Ｄ顔面モデルの形状を精緻化することができる。ＶＲベースの装置は、それ自体の上での第１のユーザの顔の精緻化された第１の３Ｄ顔面モデルの表示を制御するように更に構成することができる。精緻化された第１の３Ｄ顔面モデルの表示制御は、このモデル上の複数の外見属性が、複数の取り込み色画像内の第１のユーザの顔の形状及び外見からの最小の偏倚しか示さないように行うことができる。
【００１１】
実施形態により、メモリデバイスは、中立表情における平均形状顔面モデル及びこのモデルの複数の形状成分も格納３Ｄ顔面モデルの一部として格納し、更に平均形状顔面モデルに関連する複数の任意表情を格納するように更に構成することができる。例えば、３Ｄ平均形状顔面モデルの複数の任意表情は、顔面表情テンプレートとして格納することができる。仮想現実ベースの装置は、２次元（２Ｄ）顔面ランドマーク検出に基づいて第１のユーザの顔の複数の感受色画像の各色画像から複数の特徴点を検出するように構成することができる。ＶＲベースの装置は、発生された点クラウド上の複数の検出特徴点と、平均形状顔面モデル上の複数のランドマーク点とに基づいてアフィン変換を推定するように構成することができる。ＶＲベースの装置は、発生された点クラウドに対する推定アフィン変換の適用によって剛的に位置合わせされた点クラウドを発生させるように構成することができる。
【００１２】
実施形態により、ＶＲベースの装置は、発生された剛的に位置合わせされた点クラウドに複数のエッジを追加するように構成することができる。複数のエッジは、剛的に位置合わせされた点クラウド上の複数の点のうちの各点の２Ｄ空間内の近接性に従う剛的に位置合わせされた点クラウド上の複数の点の接続に基づいて追加することができる。更にＶＲベースの装置は、剛的に位置合わせされた点クラウドへの複数のエッジの追加に基づいて第１のユーザの顔の入力メッシュを導出するように構成することができる。
【００１３】
実施形態により、ＶＲベースの装置は、第１のユーザの顔の導出入力メッシュに基づいて事前格納平均形状顔面モデルを変形するように構成することができる。ＶＲベースの装置は、事前格納平均形状顔面モデルの変形に基づいて変形平均形状顔面モデルを発生させることができる。
【００１４】
ＶＲベースの装置は、各形状成分の頂点と、それに対応する剛的に位置合わせされた点クラウドの頂点との最小差に基づいて、メモリデバイスに格納された複数の形状成分の各形状成分に対する重みを推定することができる。ＶＲベースの装置は、第１のユーザの顔の第１の３Ｄ顔面モデルを発生させるためのモデル当て嵌めにおいて、格納３Ｄ顔面モデルからの複数の重み付き形状成分の各重み付き形状成分を組み合わせることができる。
【００１５】
実施形態により、ＶＲベースの装置は、第１のユーザの顔の発生された第１の３Ｄ顔面モデルの複数の頂点と第１のユーザの顔の発生された剛的に位置合わせされた点クラウドとの差に基づいて顔面モデル残差を評価するように構成することができる。顔面モデル残差は、第１のユーザの顔の第１の３Ｄ顔面モデルの対応する複数の頂点に関する複数の部分残差を含むことができる。ＶＲベースの装置は、評価顔面モデル残差に変形を適用して第１のユーザの顔の第１の３Ｄ顔面モデルに対する変形顔面モデル残差を導出するように構成することができる。ＶＲベースの装置は、第１のユーザの顔の精緻化された第１の３Ｄ顔面モデルを取得するために、変形顔面モデル残差を第１のユーザの顔の第１の３Ｄ顔面モデルと組み合わせるように構成することができる。評価顔面モデルの適用変形は、ラプラシアン変形とすることができる。
【００１６】
実施形態により、ＶＲベースの装置は、中立表情における事前格納平均形状顔面モデルと、メモリデバイスに格納された複数の任意表情の各々における事前格納平均形状顔面モデルとの間の変換セットを評価するように構成することができる。ＶＲベースの装置は、評価変換セットを中立表情における第１のユーザの顔の精密化された第１の３Ｄ顔面モデルに対して適用するように構成することができる。更にＶＲベースの装置は、第１のユーザの顔の複数の任意表情に対応する適用変形セットに基づいて、第１のユーザの精緻化された第１の３Ｄ顔面モデルから配合形状セットを導出するように構成することができる。ＶＲベースの装置は、導出配合形状セットに基づいて、第１のユーザの取り込み顔面表情に対応する第１のユーザの顔の第２の３Ｄ顔面モデルを発生させるように構成することができる。
【００１７】
図１は、本開示の実施形態による現実的な３Ｄ人物顔面モデルを発生させるための例示的ネットワーク環境を示すブロック図である。図１を参照すると、ネットワーク環境１００が示されている。ネットワーク環境１００は、仮想現実（ＶＲ）ベースの装置１０２と、サーバ１０４と、感知デバイス１０６と、通信ネットワーク１０８と、第１のユーザ１１０とを含むことができる。感知デバイス１０６は、画像センサ１０６Ａと深度センサ１０６Ｂとを更に含むことができる。第１のユーザ１１０は、ＶＲベースの装置１０２に関連付けることができる。ＶＲベースの装置１０２は、サーバ１０４及び感知デバイス１０６に通信ネットワーク１０８を通じて通信的に結合することができる。
【００１８】
ＶＲベースの装置１０２は、３Ｄ人物顔面モデルを発生させるように構成することができる適切な論理部、インタフェース、及び／又はコードを含むことができる。３Ｄ人物顔面モデルは、目、眉、鼻、耳、及び／又は人物の顔を定義するその他の同様の特徴部等の複数の特徴点を含むことができる。ＶＲベースの装置１０２は、発生３Ｄ顔面モデルに人物の顔の複数の特徴点及び／又はその他の特徴部を実時間又は近実時間で導入（又は追加）するように構成することができる。ＶＲベースの装置１０２の例は、コンピュータデバイス、ビデオ会議システム、拡張現実ベースのデバイス、ゲームデバイス、メインフレーム機、サーバ、コンピュータワークステーション、及び／又は消費者電子（ＣＥ）デバイスを含むことができるが、これらに限定されない。
【００１９】
サーバ１０４は、既存の３Ｄ顔面モデルである３Ｄ顔面モデルを格納するように構成することができる適切な回路、インタフェース、及び／又はコードを含むことができる。既存の３Ｄ顔面モデルは、主成分分析（ＰＣＡ）モデルとすることができる。サーバ１０４は、中立表情における平均形状顔面モデル及びこのモデルの複数の形状成分を格納３Ｄ顔面モデルの一部として格納するように更に構成することができる。平均形状顔面モデル及び複数の形状成分は、ＰＣＡモデルとすることができる格納３Ｄ顔面モデル等の既存のモデルから取得することができる。平均形状は、いくつかの顔、例えば１００〜３００個の顔の平均とすることができ、主成分は、全ての顔と平均形状との間の差の主成分とすることができる。一部の実施形態では、ＰＣＡ顔面モデルは、いくつかの顔、例えば１００〜３００個の顔の走査及び登録に基づいて学習させることができる。
【００２０】
サーバ１０４は、平均形状顔面モデルに関連する複数の任意表情を格納するように構成することができる。サーバ１０４は、第１のユーザ１１０の顔の発生３Ｄ顔面モデルを格納するように更に構成することができる。サーバ１０４の例は、アプリケーションサーバ、クラウドサーバ、ウェブサーバ、データベースサーバ、ファイルサーバ、ゲームサーバ、メインフレームサーバ、又はこれらの組み合わせを含むことができるが、これらに限定されない。
【００２１】
感知デバイス１０６は、第１のユーザ１１０の顔の複数の色画像及び対応する深度情報を取り込むように構成することができる適切な論理部、インタフェース、及び／又はコードを含むことができる。顔の複数の色画像及び対応する深度情報は、中立表情において１又は２以上の視野角から取り込むことができる。感知デバイス１０６は、第１のユーザ１１０の顔の１又は２以上の顔面表情を実時間、近実時間、又はある一定の遅延時間で取り込むように構成することができる。感知デバイス１０６は、取り込み顔面表情に基づいて第１のユーザ１１０の顔の外見属性を決定するように更に構成することができる。感知デバイス１０６は、取り込んだ複数の色画像及び対応する深度情報を通信ネットワーク１０８を通じてＶＲベースの装置１０２に送信するように構成することができる。感知デバイス１０６は、複数の任意表情におけるユーザの顔を異なる視野角から取り込むことができる深度センサ、色センサ（赤−緑−青（ＲＧＢ）センサのような）、及び／又は赤外線（ＩＲ）センサの組み合わせ等の複数のセンサを含むことができる。感知デバイス１０６の例は、深度センサ、ＲＧＢセンサ、ＩＲセンサ、物体を移動させるために用いられる３Ｄメッシュ構造発生器、画像センサ、及び／又はモーション検出器デバイスを含むことができるが、これらに限定されない。
【００２２】
通信ネットワーク１０８は、ＶＲベースの装置１０２をサーバ１０４及び感知デバイス１０６に通信的に結合することを可能にする通信媒体を含むことができる。通信ネットワーク１０８の例は、インターネット、クラウドネットワーク、ワイヤレスフィデリティ（ＷｉＦｉ）ネットワーク、パーソナルエリアネットワーク（ＰＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、及び／又はメトロポリタンエリアネットワーク（ＭＡＮ）を含むことができるが、これらに限定されない。ネットワーク環境１００内の様々なデバイスは、有線及び無線の様々な通信プロトコルに従って通信ネットワーク１０８につながるように構成することができる。そのような有線及び無線の通信プロトコルの例は、送信制御プロトコル及びインターネットプロトコル（ＴＣＰ／ＩＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、ハイパーテキスト転送プロトコル（ＨＴＴＰ）、ファイル転送プロトコル（ＦＴＰ）、ＺｉｇＢｅｅ、ＥＤＧＥ、ＩＥＥＥ  ８０２．１１、ライトフィデリティ（Ｌｉ−Ｆｉ）、８０２．１６、ＩＥＥＥ  ８０２．１１ｓ、ＩＥＥＥ  ８０２．１１ｇ、マルチホップ通信、無線アクセスポイント（ＡＰ）、デバイス対デバイス通信、セルラー通信プロトコル、及び／又はＢｌｕｅｔｏｏｔｈ（登録商標）（ＢＴ）通信プロトコル、又はこれらの組み合わせを含むことができるが、これらに限定されない。
【００２３】
第１のユーザ１１０は、現実的な３Ｄ顔面モデルを発生すべき注目物体を指すものとすることができる。第１のユーザ１１０は、人物又は現実の人物に似ている場合があるロボットとすることができる。第１のユーザ１１０は、感知デバイス及び／又はＶＲベースの装置１０２に関連付けることができる。
【００２４】
作動時には、ＶＲベースの装置１０２は、既存の３Ｄ顔面モデルである３Ｄ顔面モデルを格納するように構成することができる。格納３Ｄ顔面モデルは、主成分分析（ＰＣＡ）モデルとすることができる。ＰＣＡモデルは、複数の異なる顔、例えば様々なユーザの約２００個の顔から構築することができる。ＰＣＡは、大きい相関データ成分セットからある一定の重要な非相関データ成分を識別して抽出することができる。ＶＲベースの装置１０２は、格納３Ｄ顔面モデルの一部として中立表情における平均形状顔面モデル及びこのモデルの複数の形状成分を格納するように更に構成することができる。平均形状顔面モデルは、複数の異なる顔、例えば約２００個の顔の平均とすることができる。ＶＲベースの装置１０２は、平均形状顔面モデルに関連する複数の任意表情を格納するように構成することができる。第１のユーザ１１０は、感知デバイス１０６の前に位置決めすることができる。感知デバイス１０６は、中立表情における第１のユーザ１１０の顔の複数の色画像及び対応する深度情報を異なる視野角から取り込むように構成することができる。感知デバイス１０６の画像センサ１０６Ａは、感知デバイス１０６の前に座っている中立表情における第１のユーザ１１０の顔の色画像を取り込むように構成することができる。第１のユーザ１１０の顔の中立表情は、喜び、悲しみ、怒り、又はいずれかの他の感情等の強い感情の欠如を示唆する第１のユーザ１１０の顔の特徴部の中立位置によって特徴付けられる。例えば、眉、唇、口、頬、又は額の筋肉は、オリジナル位置又は中立位置に留まり、このことは、喜び、悲しみ、怒り、笑い、緊張、及び同様のもの等の様々な感情の欠如を意味する。深度センサ１０６Ｂは、色画像の取り込み時に感知デバイス１０６の前に中立表情で位置決めされた第１のユーザ１１０の顔の対応する深度情報を取り込むように構成することができる。第１のユーザ１１０の顔の取り込み深度情報は、第１のユーザ１１０の顔の「Ｚ」座標についての情報を含むことができる。例えば、ほくろ等の突起量、鼻の隆起、額領域に対する頬領域の深度、及び顔の様々な領域の異なる深度は、第１のユーザ１１０の顔の各領域の深度情報なしには正確に推定することができない。第１のユーザ１１０の色画像とそれに対応する深度情報とは、同時にまとめて取り込むことができ、同じ視野を表すことができるように、色画像とそれに対応する深度情報とを互いに位置合わせすることができる。色画像とそれに対応する深度情報との位置合わせは、位置合わせアルゴリズムを用いて行うことができる。色画像のみを用いる場合には、第１のユーザ１１０の顔の２次元（２Ｄ）情報が与えられる。それとは対照的に、同じ視野の深度情報とそれに対応する詳細色画像との両方の組み合わせを用いる場合には、３次元の観点から顔の各領域の形状、様々な顔面特徴部、及び深度の高い理解が与えられ、第１のユーザ１１０の入り組んだ細部が確保される。ＶＲベースの装置１０２は、感知デバイス１０６によって取り込まれた第１のユーザの顔の色画像及び対応する深度情報を通信ネットワーク１０８を通じて受信するように構成することができる。
【００２５】
ＶＲベースの装置１０２は、１又は２以上の色画像を選択し、選択した色画像の顔部分の上に境界ボックスを置くように構成することができる。１又は２以上の選択色画像は、異なる視野角を表す色画像の集約を表す。ＶＲベースの装置１０２は、顔部分を含む境界ボックス内の複数の特徴点を２Ｄ顔面ランドマーク検出に基づいて検出するように構成することができる。ＶＲベースの装置１０２は、境界ボックスの内側にある点を３Ｄ空間に投影することによって点クラウドを発生させるように構成することができ、この場合、点クラウドは、目、鼻、唇、及び同様のもの等の特徴点の３Ｄ座標も含む。点クラウドは、通常は３Ｄ座標系内で「Ｘ、Ｙ、及びＺ」座標によって定義されるデータ点セットを含む。点クラウドは、物体の外面、例えばこの場合には第１のユーザ１１０の顔部分を表すために発生させることができる。点クラウドは、感知デバイス１０６からの異なる視野角からの中立表情における第１のユーザ１１０の顔の複数の色画像の集約をそれに対応する深度情報と共に用いることによって高精度で最低ノイズしか伴わずに発生させることができる。例えば、第１のユーザ１１０の顔の１枚の画像は、顔部分の構成要素の色又は位置に関して第１のユーザ１１０の顔部分を正確に表さない可能性がある。従って、第１のユーザ１１０の顔の複数の画像の集約は、第１のユーザ１１０の実際の顔部分を正確に取り込むことができる。
【００２６】
ＶＲベースの装置１０２は、点クラウド上の特徴点の３Ｄ座標と、それに対応する平均形状顔面モデル上のある一定のランドマークの３Ｄ座標との間のアフィン変換を推定するように更に構成することができる。ランドマークは、点クラウド上の特徴点に類似する目、鼻、唇、及び同様のもの等の平均形状顔面モデル上の際立った点に対応する。ＶＲベースの装置１０２は、発生された点クラウドへの推定アフィン変換の適用によって剛的に位置合わせされた点クラウドを発生させるように構成することができる。ＶＲベースの装置１０２は、第１のユーザ１１０の顔の複数の特徴点を位置合わせするために剛的位置合わせ作動を実行するように構成することができる。複数の特徴点は、目、鼻、唇、眉、又は他のそのような特徴点で構成することができる。剛的位置合わせの例は、例えば図３Ｃに示し、更に詳しく説明する。
【００２７】
ＶＲベースの装置１０２は、剛的に位置合わせされた点クラウド上の複数の点のうちの各点の２Ｄ空間内の近接性に従う剛的に位置合わせされた点クラウド上の複数の点の接続に基づいて、発生された剛的に位置合わせされた点クラウドに複数のエッジを追加するように更に構成することができる。ＶＲベースの装置１０２は、第１のユーザ１１０の顔の剛的に位置合わせされた点クラウドへのエッジの追加に基づいて、第１のユーザ１１０の顔の入力メッシュを導出するように構成することができる。更にＶＲベースの装置１０２は、中立表情における第１のユーザ１１０の顔の導出入力メッシュに基づいて、中立表情における格納平均形状顔面モデルを変形するように構成することができる。ＶＲベースの装置１０２は、格納平均形状顔面モデルの変形に基づいて、変形平均形状顔面モデルを発生させるように構成することができる。発生された変形平均形状顔面モデルは、第１のユーザ１１０の顔に似たもの又はそっくりなものとすることができる。ＶＲベースの装置１０２は、変形平均形状顔面モデルと、発生された第１のユーザ１１０の顔の点クラウドとの間で最も近い点を推定することによって対応性を計算するように構成することができる。平均形状顔面モデル上の各頂点に、発生された点クラウドからの対応性を割り当てることができる。第１のユーザ１１０の導出入力メッシュ及び顔の変形平均形状顔面モデルの例は、例えば図３Ｄに示して説明する。
【００２８】
ＶＲベースの装置１０２は、格納平均形状顔面モデルと発生された点クラウドとの間の差を最小化するために、計算した対応性を最小化することができる。人物顔面モデルは、人物の顔を様々な基本形状成分の線形結合として表すことができる。これらの様々な成分の係数は、線形最適化を用いて最適化することができる。ＶＲベースの装置１０２は、計算した最小対応性に基づいて第１のユーザ１１０の顔の様々な基本形状成分の各形状成分に対する重みを推定するように構成することができる。ＶＲベースの装置１０２は、第１のユーザ１１０の顔の第１の３Ｄ顔面モデルを発生させるために、第１のユーザ１１０の顔の各重み付き形状成分を結合するように構成することができる。第１のユーザ１１０の顔の複数の重み付き形状成分の例は、例えば図３Ｅに示して説明する。
【００２９】
第１の３Ｄ顔面モデルは、発生された点クラウドを用いて中立表情における格納３Ｄ顔面モデルに平均形状顔面モデルを当て嵌めることによって発生させることができ、従って、ほくろ、しわ、又はいくつかの他の個人的外見属性等の第１のユーザ１１０の顔の複数の個人的外見属性を含まない。ＶＲベースの装置１０２は、第１のユーザ１１０の顔の発生された第１の３Ｄ顔面モデルの複数の頂点の位置と第１のユーザの顔の発生された剛的に位置合わせされた点クラウドの位置との差に基づいて顔面モデル残差を評価するように構成することができる。評価残差は、第１のユーザ１１０の顔の発生された第１の３Ｄ顔面モデルの対応する複数の頂点に関する複数の部分残差、例えば、第１、第２、及び第３の部分残差を含むことができる。第１の部分残差は、発生された第１の３Ｄ顔面モデルの複数の頂点と、発生された点クラウド内で対応する複数の頂点との間の差とすることができる。第２の部分残差は、第１の３Ｄ顔面モデルの複数の特徴点と、それに対応する発生された点クラウドの複数の特徴点との間の差とすることができる。第１の部分残差は、発生された第１の３Ｄ顔面モデルの形状と第１のユーザ１１０の顔の形状との間の差を最小化するために用いることができる。第２の部分残差は、発生された第１の３Ｄ顔面モデルの目、唇、頬、口等の重要な顔面特徴部と第１のユーザ１１０の実際の顔面特徴部との間の差を最小化するために用いることができる。第３の部分残差は、発生された第１の３Ｄ顔面モデルを平滑化にするために用いることができる。ＶＲベースの装置１０２は、評価顔面モデル残差に変形を適用して第１のユーザ１１０の顔の第１の３Ｄ顔面モデルに対する変形顔面モデル残差を導出するように構成することができる。評価顔面モデルに適用される変形は、ラプラシアン変形とすることができる。更にＶＲベースの装置１０２は、導出顔面モデル残差を第１のユーザ１１０の顔に適用し、第１のユーザの顔の精緻化された第１の３Ｄ顔面モデルを取得するように構成することができる。取得された精緻化された第１の３Ｄ顔面モデルは、第１のユーザ１１０の顔上の中立位置に配置された特徴点及び外見属性を模擬する中立表情における第１の３Ｄモデルとすることができる。例えば、精緻化された第１の３Ｄ顔面モデルの特徴点の形状及び全体的な外見は、第１のユーザ１１０の顔の特徴点及び外見と中立表情に関してのみ同様になる（笑い、怒り、及び同様のもの等のいかなる特定の感情もない）。第１及び第２の部分残差の評価に関する例は、例えば図３Ｇ及び図３Ｈそれぞれに示して説明する。
【００３０】
ＶＲベースの装置１０２は、それ自体の上における第１のユーザ１１０の顔の精緻化された第１の３Ｄ顔面モデルの表示をこのモデル上の複数の外見属性が複数の取り込み色画像内の中立表情における第１のユーザ１１０の顔の形状及び外見からの最小の偏倚しか示さないように制御するように構成することができる。一部の実施形態では、ＶＲベースの装置１０２は、遠隔表示デバイス（図示していない）上における第１のユーザ１１０の顔の精緻化された第１の３Ｄ顔面モデルの表示を制御するように構成することができる。精緻化された第１の３Ｄ顔面モデルは、第１のユーザ１１０の顔の形状及び外見からの最小偏倚しか示さないことから、精緻化された第１の３Ｄ顔面モデルの表示は本質的に現実的である。第１のユーザ１１０の顔の外見属性は、ＶＲベースの装置１０２の表示画面上で明瞭に視認可能である。更に、表示制御中に精緻化された第１の３Ｄ顔面モデルの向上した鮮明な可視化に向けて、精緻化された第１の３Ｄ顔面モデルの顔部分に第１のユーザ１１０の完全な３Ｄモデルの他の部分と比較して多めのピクセルを配分することができる。更に、顔部分の内部には、表示画面上で見た時にかなり目立つ唇、目、及び額等の特徴部に富むいくつかの顔領域が存在する可能性がある。特徴部に富むそのような顔領域には、精緻化された第１の３Ｄ顔面モデルの表示中に顔部分の他の領域よりも更に多い個数のピクセルを配分することができる。
【００３１】
実施形態により、ＶＲベースの装置１０２は、中立表情における格納平均形状顔面モデルと複数の任意表情における格納平均形状顔面モデルとの間の変換セットを評価するように構成することができる。中立表情における格納平均形状顔面モデルと任意表情における格納平均形状顔面モデルとの間の変換セットの評価の例は、全体として図３Ｉ及び図３Ｊに示して説明する。
【００３２】
実施形態により、ＶＲベースの装置１０２は、配合形状セットを導出するように構成することができる。配合形状セットは、中立表情における第１のユーザ１１０の顔の精緻化された第１の３Ｄ顔面モデルに対する第１のユーザ１１０の顔の複数の任意表情に対応する評価変換セットの適用によって導出することができる。中立表情における第１のユーザ１１０の顔の精緻化された第１の３Ｄ顔面モデルに対する評価変換セットの適用による配合形状セットの導出の例は、例えば図３Ｋに示して説明する。ＶＲベースの装置１０２は、評価配合形状セットに基づいて複数の任意表情における第１のユーザ１１０の顔の複数の第２の３Ｄ顔面モデルを発生させることができる。導出配合形状セットに基づく任意表情における第１のユーザ１１０の顔の第２の３Ｄ顔面モデルの発生の例は、例えば図３Ｌに示して説明する。実施形態により、ＶＲベースの装置１０２は、サーバ１０４内に格納された精緻化された第１の３Ｄ顔面モデルを取り出すことができる。実施形態により、ＶＲベースの装置１０２の機能又は作動は、本開示の範囲から逸脱することなくサーバ１０４が実施することができる。
【００３３】
図２は、本開示の実施形態による例示的ＶＲベースの装置を示すブロック図である。図２は、図１に記載の要素に関連付けて説明する。図２を参照すると、ＶＲベースの装置１０２が示されている。ＶＲベースの装置１０２は、回路２０２と、メモリ２０４と、入力／出力（Ｉ／Ｏ）デバイス２０６とを含むことができる。回路２０２は、ネットワークインタフェース２０８と、プロセッサ２１０と、顔面モデラー２１２と、形状精緻化回路２１４とを更に含むことができる。Ｉ／Ｏデバイス２０６は、アプリケーションインタフェース２１６をレンダリングするために利用することができる表示画面２０６Ａを含むことができる。ネットワークインタフェース２０８と、プロセッサ２１０と、顔面モデラー２１２と、形状精緻化回路２１４とを含むことができる回路２０２は、メモリ２０４及びＩ／Ｏデバイス２０６に通信的に結合することができる。回路２０２は、ネットワークインタフェース２０８を用いてサーバ１０４及び感知デバイス１０６と通信するように構成することができる。
【００３４】
回路２０２は、３Ｄ人物顔面モデルを発生させる段階に関与する様々な作動を実行するように構成することができる適切な論理部、回路、及び／又はインタフェースを含むことができる。回路２０２は、第１のユーザ１１０（例えば、実際の人物）の顔の第１の３Ｄ顔面モデルを実時間又は近実時間で発生させるように構成することができる。回路２０２は、第１のユーザ１１０の顔の発生された第１の３Ｄ顔面モデルの形状を精緻化し、精緻化された第１の３Ｄ顔面モデルを発生させるように構成することができる。更に回路２０２は、ＶＲ用途に向けてＶＲベースの装置１０２上における第１のユーザ１１０の顔の精緻化された第１の３Ｄ顔面モデルの表示を制御するように構成することができる。回路２０２は、プロセッサ２１０、顔面モデラー２１２、及び形状精緻化回路２１４によって上述の作動を実行するように構成することができる。
【００３５】
メモリ２０４は、回路２０２によって実行可能な命令セットを格納するように構成することができる適切な論理部、回路、及び／又はインタフェースを含むことができる。メモリ２０４は、オペレーティングシステム及び関連のアプリケーションを格納するように構成することができる。実施形態により、メモリ２０４は、既存の３Ｄ顔面モデルである３Ｄ顔面モデルを格納するように更に構成することができる。メモリ２０４は、格納３Ｄ顔面モデルの一部として中立表情における平均形状顔面モデル及びその複数の形状成分を格納するように更に構成することができる。メモリ２０４は、平均形状顔面モデルに関連する複数の任意表情を格納するように構成することができる。メモリ２０４は、第１のユーザ１１０の複数の発生３Ｄ顔面モデルを格納するように構成することができる。メモリ２０４の例は、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、電気的消去可能プログラム可能読取専用メモリ（ＥＥＰＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、固体ドライブ（ＳＳＤ）、ＣＰＵキャッシュ、及び／又はセキュアデジタル（ＳＤ）カードを含むことができるが、これらに限定されない。
【００３６】
Ｉ／Ｏデバイス２０６は、第１のユーザ１１０から入力を受信するように構成することができる適切な論理部、インタフェース、及び／又はコードを含むことができる。Ｉ／Ｏデバイス２０６は、第１のユーザ１１０に出力を提供するように更に構成することができる。Ｉ／Ｏデバイス２０６は、回路２０２と通信するように構成することができる様々な入力デバイス及び出力デバイスを含むことができる。入力デバイスの例は、タッチ画面、キーボード、マウス、ジョイスティック、及び／又はマイクロフォンを含むことができるが、これらに限定されない。出力デバイスの例は、表示画面２０６Ａ及び／又はスピーカを含むことができるが、これらに限定されない。
【００３７】
表示画面２０６Ａは、３Ｄ人物顔面モデルを表示するためにアプリケーションインタフェース２１６をレンダリングするように構成することができる適切な論理部、インタフェース、及び／又はコードを含むことができる。実施形態により、表示画面２０６Ａはタッチ画面とすることができ、この場合、第１のユーザ１１０からの入力は、アプリケーションインタフェース２１６を介して受信することができる。表示画面２０６Ａは、第１のユーザ１１０から受信した入力に基づいて入力を取り込むことができる。第１のユーザ１１０は、タッチ画面上に表示された複数のボタン又はＵＩ要素を用いて入力を与えることができる。タッチ画面は、抵抗タッチ画面、静電容量タッチ画面、又は熱タッチ画面のうちの少なくとも１つに対応するものとすることができる。実施形態により、表示画面２０６Ａは、仮想キーパッド、スタイラス、ジェスチャーベースの入力、及び／又はタッチベースの入力を通じて入力を受信することができる。表示画面２０６Ａは、液晶ディスプレイ（ＬＣＤ）ディスプレイ技術、発光ダイオード（ＬＥＤ）ディスプレイ技術、プラズマディスプレイ技術、及び／又は有機ＬＥＤ（ＯＬＥＤ）ディスプレイ技術、及び／又はその他のディスプレイのうちの少なくとも１つ等であるがこれらに限定されないいくつかの公知の技術を通じて実現することができる。実施形態により、表示画面２０６Ａは、スマート眼鏡デバイス、シースルーディスプレイ、投影ベースのディスプレイ、エレクトロクロミックディスプレイ、及び／又は透明ディスプレイの表示画面を指す場合がある。
【００３８】
ネットワークインタフェース２０８は、ＶＲベースの装置１０２とサーバ１０４と感知デバイス１０６との間で通信ネットワーク１０８を通じて通信を確立するように構成することができる適切な論理部、インタフェース、及び／又はコードを含むことができる。ネットワークインタフェース２０８は、通信ネットワーク１０８を用いたＶＲベースの装置１０２の有線又は無線の通信に対応する様々な公知の技術を用いて実施することができる。ネットワークインタフェース２０８は、アンテナ、無線周波（ＲＦ）送受信機、１又は２以上の増幅器、同調器、１又は２以上の発振器、デジタル信号プロセッサ、コーダデコーダ（ＣＯＤＥＣ）チップセット、加入者識別モジュール（ＳＩＭ）カード、及び／又はローカルバッファを含むことができるが、これらに限定されない。ネットワークインタフェース２０８は、インターネット、イントラネット、及び／又はセルラー電話ネットワーク、無線ローカルエリアネットワーク（ＬＡＮ）、及び／又はメトロポリタンエリアネットワーク（ＭＡＮ）等の無線ネットワーク等のネットワークとの無線通信を介して通信を行うことができる。無線通信は、移動体通信のための世界システム（ＧＳＭ（登録商標））、拡張データＧＳＭ（登録商標）環境（ＥＤＧＥ）、広帯域符号分割多重アクセス（Ｗ−ＣＤＭＡ）、長期的進化（ＬＴＥ）、符号分割多重アクセス（ＣＤＭＡ）、時分割多重アクセス（ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ワイヤレスフィデリティ（Ｗｉ−Ｆｉ）（ＩＥＥＥ８０２．１１ａ、ＩＥＥＥ８０２．１１ｂ、ＩＥＥＥ８０２．１１ｇ、及び／又はＩＥＥＥ８０２．１１ｎ等）、ボイスオーバーインターネットプロトコル（ＶｏＩＰ）、ライトフィデリティ（Ｌｉ−Ｆｉ）、Ｗｉ−ＭＡＸ、ｅメールのためのプロトコル、インスタントメッセージング、及び／又はショートメッセージサービス（ＳＭＳ）等の複数の通信規格、プロトコル、及び技術のうちのいずれかを用いることができる。
【００３９】
プロセッサ２１０は、メモリ２０４内に格納された命令セットを実行するように構成することができる適切な論理部、インタフェース、及び／又はコードを含むことができる。プロセッサ２１０は、当該技術分野で公知のいくつかのプロセッサ技術に基づいて実施することができる。プロセッサ２１０の例は、グラフィック処理ユニット（ＧＰＵ）、中央処理ユニット（ＣＰＵ）、Ｘ８６ベースのプロセッサ、縮小命令セットコンピューティング（ＲＩＳＣ）プロセッサ、特定用途向け集積回路（ＡＳＩＣ）プロセッサ、複合命令セットコンピューティング（ＣＩＳＣ）プロセッサ、その他のプロセッサ、及び／又はこれらの組み合わせとすることができる。
【００４０】
顔面モデラー２１２は、第１のユーザ１１０の３Ｄ顔面モデルを発生させるように構成することができる適切な論理部、インタフェース、及び／又はコードを含むことができる。顔面モデラー２１２は、平均形状顔面モデルを感知デバイス１０６によって取り込まれた第１のユーザ１１０の顔の複数の色画像及び対応する深度情報と位置合わせするように構成することができる。更に顔面モデラー２１２は、複数の任意表情における格納平均形状顔面モデルに基づいて第１のユーザ１１０の複数の任意表情に対する配合形状を発生させるように構成することができる。顔面モデラー２１２は、ＶＲベースの装置１０２内の別個のプロセッサ又は回路として実施することができる。顔面モデラー２１２とプロセッサ２１０は、統合プロセッサとして又は顔面モデラー２１２及びプロセッサ２１０の機能を実施するプロセッサの集合体として実施することができる。顔面モデラー２１２は、プロセッサ２１０による実行時にＶＲベースの装置１０２のための機能及び作動を実施することができるメモリ２０４内に格納された命令セットとして実施することができる。
【００４１】
形状精緻化回路２１４は、第１のユーザ１１０の顔の複数の外見属性を含む第１のユーザ１１０の顔の３Ｄモデルを発生させるように構成することができる適切な論理部、インタフェース、及び／又はコードを含むことができる。形状精緻化回路２１４は、第１のユーザ１１０の第１の３Ｄ顔面モデルの形状を精緻化するように構成することもできる。形状精緻化回路２１４は、ＶＲベースの装置１０２内の別個のプロセッサ又は回路として実施することができる。形状精緻化回路２１４とプロセッサ２１０は、統合プロセッサとして又は形状精緻化回路２１４及びプロセッサ２１０の機能を実施するプロセッサの集合体として実施することができる。形状精緻化回路２１４は、プロセッサ２１０による実行時にＶＲベースの装置１０２のための機能及び作動を実施することができるメモリ２０４内に格納された命令セットとして実施することができる。
【００４２】
アプリケーションインタフェース２１６は、表示画面２０６Ａ等の表示画面上にレンダリングされたユーザインタフェース（ＵＩ）に対応するものとすることができる。アプリケーションインタフェース２１６は、第１のユーザ１１０の発生３Ｄ顔面モデルを表示することができる。３Ｄ顔面モデルは、アプリケーションインタフェース２１６を用いて複数の視点から見ることができる。アプリケーションインタフェース２１６の例は、グラフィカルユーザインタフェース（ＧＵＩ）を含むことができるが、それに限定されない。
【００４３】
図３Ａ、図３Ｂ、図３Ｃ、図３Ｄ、図３Ｅ、図３Ｆ、図３Ｇ、図３Ｈ、図３Ｉ、図３Ｊ、図３Ｋ、及び図３Ｌは全体として本開示の実施形態による現実的な３Ｄ人物顔面モデルの例示的発生を示す図である。図３Ａ、図３Ｂ、図３Ｃ、図３Ｄ、図３Ｅ、図３Ｆ、図３Ｇ、図３Ｈ、図３Ｉ、図３Ｊ、図３Ｋ、及び図３Ｌは、図１及び図２に記載の要素に関連付けて説明する。図３Ａを参照すると、作動３０２から３２２を用いて３Ｄ人物顔面モデルの発生を描くための処理パイプラインが示されている。
【００４４】
３０２において、感知デバイス１０６は、中立表情に関して第１のユーザ１１０の顔の複数の色画像及び対応する深度情報を異なる視野角から取り込むように構成することができる。感知デバイス１０６は、ＶＲベースの装置１０２から受信した要求に基づいて複数の色画像及び対応する深度情報を取り込むように構成することができる。
【００４５】
３０４において、プロセッサ２１０は、ネットワークインタフェース２０８を用いて感知デバイス１０６から第１のユーザ１１０の顔の複数の色画像及び対応する深度情報を受信するように構成することができる。複数の色画像及び対応する深度情報は、通信ネットワーク１０８を通じて受信することができる。その後、顔面モデラー２１２は、感知デバイス１０６から受信した情報に基づいて点クラウドを実時間又は近実時間で発生させるように構成することができる。点クラウドは、３Ｄ座標系内で「Ｘ、Ｙ、及びＺ」座標によって定義されるデータ点セットである。点クラウドは、第１のユーザ１１０（すなわち現実の人物）の少なくとも顔部分の外面を表すように発生させることができる。
【００４６】
３０６において、顔面モデラー２１２は、発生された点クラウドを格納平均形状顔面モデルと位置合わせするように構成することができる。顔面モデラー２１２は、目、鼻、唇、及び／又はその他の特徴点等の第１のユーザ１１０の顔の複数の特徴点を格納平均形状顔面モデルと位置合わせして剛的に位置合わせされた点クラウドを発生させるように構成することができる。顔面モデラー２１２は、非剛的位置合わせ作動において、第１のユーザ１１０の顔の全ての点を格納平均形状顔面モデルと位置合わせするように構成することができる。顔面モデラー２１２は、格納平均形状顔面モデルに対して剛的位置合わせ作動と非剛的位置合わせ作動とを適用した後に中立表情における変形平均形状顔面モデルを発生させるように構成することができる。
【００４７】
３０８において、顔面モデラー２１２は、発生された点クラウドを用いて格納３Ｄ顔面モデルに平均形状顔面モデルを当て嵌めるように構成することができる。格納３Ｄ顔面モデルは、第１のユーザ１１０の顔を様々な基本形状成分の線形結合として表す。顔面モデラー２１２は、モデル当て嵌め作動において、格納３Ｄ顔面モデルの様々な基本形状成分の重みを推定するように構成することができる。
【００４８】
３１０において、形状精緻化回路２１４は、第１のユーザ１１０の顔の第１の３Ｄ顔面モデルの形状を精緻化するように構成することができる。形状精緻化回路２１４は、第１のユーザ１１０の顔の第１の３Ｄ顔面モデルにユーザ特有の外見属性を含めるように構成することができる。形状精緻化回路２１４は、第１のユーザ１１０の顔の精緻化された第１の３Ｄ顔面モデルを発生させるように構成することができる。従来のシステムでは、入力データのＺ座標（深度情報）の不足及び３Ｄモデルを当て嵌めるために用いられる対応性の低い数値に起因して、通常、再現３Ｄモデルは十分に正確なものではない。本開示の方法は、３Ｄモデル当て嵌めに向けて深度情報を利用し、第１の３Ｄ顔面モデル上の全ての頂点に関して対応性を計算し、それに３Ｄ顔モデリングの精度を大幅に改善する形状精緻化回路２１４による精緻化が続く。
【００４９】
３１２において、顔面モデラー２１２は、事前格納平均形状顔面モデルの複数の顔面表情に基づいて第１のユーザ１１０の顔の様々な任意表情に対する配合形状セットを発生させるように構成することができる。
【００５０】
３１４において、感知デバイス１０６は、任意表情における第１のユーザ１１０の顔の１又は２以上の色画像及び対応する深度情報を１又は２以上を視野角から取り込むように構成することができる。感知デバイス１０６は、３０２で行ったようにＶＲベースの装置１０２から受信した要求に基づいて１又は２以上の色画像及び対応する深度情報を取り込むように構成することができる。
【００５１】
３１６において、プロセッサ２１０は、任意表情（例えば、中立表情以外の）の第１のユーザ１１０の顔の１又は２以上の色画像及び対応する深度情報を感知デバイス１０６から通信ネットワーク１０８を通じて受信するように更に構成することができる。顔面モデラー２１２は、３０４において行ったように感知デバイス１０６から受信した情報に基づいて任意表情における第１のユーザ１１０の顔に対する点クラウドを発生させるように構成することができる。任意表情の例は、第１のユーザ１１０による悲しみ、怒り、開いた口、ゆがんだ頬、上がった眉、又はいずれかの任意表情を含むことができるが、これらに限定されない。
【００５２】
３１８において、顔面モデラー２１２は、任意表情に関して、３０６において処理したように、発生された点クラウドを中立表情における第１のユーザ１１０の顔の精緻化された第１の３Ｄ顔面モデルと位置合わせするように構成することができる。顔面モデラー２１２は、目、鼻、唇、及び／又はその他の特徴点等の第１のユーザ１１０の顔の複数の特徴点を中立表情における第１のユーザ１１０の顔の精緻化された第１の３Ｄ顔面モデルと位置合わせして剛的に位置合わせされた点クラウドを発生させるように構成することができる。顔面モデラー２１２は、非剛的位置合わせ作動において、第１のユーザ１１０の顔の全ての点を格納平均形状顔面モデルと位置合わせするように構成することができる。顔面モデラー２１２は、格納平均形状顔面モデルに対して剛的位置合わせ作動と非剛的位置合わせ作動を適用した後に任意表情における変形平均形状顔面モデルを発生させるように構成することができる。
【００５３】
３２０において、顔面モデラー２１２は、任意表情内で第１のユーザ１１０の発生された点クラウドを当て嵌めて任意表情内に第１のユーザ１１０の顔の第２の３Ｄ顔面モデルを発生させるように構成することができる。顔面モデラー２１２は、モデル当て嵌め作動において、第１のユーザ１１０の顔の様々な任意表情に対して異なる配合形状を推定するように構成することができる。一般的に従来のシステムでは、顔面表情を有する３Ｄ顔面モデルを構築するためにも用いられる配合形状の発生は、キャラクター又は実際のユーザにカメラの前で異なる基本顔面表情を作るように依頼し、異なる基本顔面表情の再現３Ｄモデルを配合形状として用いることを必要とする。そのような従来のシステム及び方法は、的確で、不変で、又は即時使用可能な基本顔面表情を常に提供することができるわけではない第１のユーザ１１０等の実際のユーザの過度の関与を必要とし、見劣りのする結果しか生じない。本開示のシステムは、説明するように配合形状を利用可能な基準顔面表情テンプレートに従って自動的に発生させることから、実際のユーザのそのような関与を不要にする。
【００５４】
３２２において、形状精緻化回路２１４は、任意表情における第１のユーザ１１０の顔の第２の３Ｄ顔面モデルの形状を精緻化するように構成することができる。形状精緻化回路２１４は、任意表情における第１のユーザ１１０の顔の第１の３Ｄ顔面モデルにユーザ特有の外見属性を含めるように構成することができる。形状精緻化回路は、任意表情における第１のユーザ１１０の顔の精緻化された第１の３Ｄ顔面モデルを発生させるように構成することができる。
【００５５】
図３Ｂは、本開示の実施形態による第１のユーザ１１０の３Ｄ人物顔面モデルに対する点クラウドの発生を例示している。図３Ｂを参照すると、複数の色画像の集約（集約色画像３２４と記している）と、複数の特徴点３２６と、複数の特徴点の投影３２８と、点クラウド３３０とが示されている。図３Ｂでは、図３Ａに記載の処理パイプラインにおける中立表情内の第１のユーザ１１０の３Ｄ人物顔面モデルに対する点クラウドの発生に関連する図３Ａに記載の作動３０４と、任意表情内の第１のユーザ１１０の３Ｄ人物顔面モデルに対する点クラウドの発生に関連する図３Ａに記載の作動３１６とを更に詳細に説明する。
【００５６】
顔面モデラー２１２は、感知デバイス１０６から通信ネットワーク１０８を通じて受信した第１のユーザ１１０の顔の複数の色画像及び対応する深度情報の集約色画像３２４に基づいて第１のユーザ１１０の３Ｄ人間顔面モデルに対する点クラウド３３０を発生させるように構成することができる。顔面モデラー２１２は、感知デバイス１０６が感受した集約色画像３２４の上に境界ボックスを置くように構成することができる。更に顔面モデラー２１２は、境界ボックスの内側に配置された複数の特徴点３２６を投影３２８に示しているように３Ｄ空間に投影するように構成することができる。複数の特徴点３２６は、いかなる人物の顔を定義するのにも不可欠な目、鼻、唇、耳、及び／又はその他の特徴点等の第１のユーザ１１０の重要な特徴点を含むことができる。
【００５７】
実施形態により、顔面モデラー２１２は、第１のユーザ１１０の顔の複数の特徴点３２６を２Ｄ顔面ランドマーク検出器を用いて検出するように構成することができる。２Ｄから３Ｄへの複数の特徴点３２６の投影３２８は、３Ｄ人物顔面モデルに対する点クラウド３３０を発生させる。点クラウド３３０は、３Ｄ座標系内で第１のユーザ１１０の顔の外面を表すデータ点セットを指す。顔面モデラー２１２は、点クラウド３３０を最小ノイズしか伴わずに高い精度で発生させるように、感知デバイス１０６によって取り込まれた第１のユーザ１１０の顔の複数の色画像及び対応する深度情報を集約するように（例えば、集約色画像３２４）更に構成することができる。
【００５８】
図３Ｃは、格納平均形状顔面モデル３３２に対する点クラウド３３０の剛的位置合わせを例示している。図３Ｃでは、図３Ａに記載の処理パイプラインにおける第１のユーザ１１０の３Ｄ人物顔面モデルに対する発生された点クラウドの位置合わせに関連する図３Ａに記載の作動３０６を更に詳しく説明する。
【００５９】
顔面モデラー２１２は、点クラウド３３０上の特徴点３３０Ａの３Ｄ座標と中立表情における平均形状顔面モデル３３２上のランドマーク３３２Ａの３Ｄ座標との間のアフィン変換を推定するように構成することができる。アフィン変換は、点、直線、及び平面を維持する関数を指す。実施形態により、第１のユーザ１１０の顔の点クラウド３３０の特徴点と平均形状顔面モデル３３２とを位置合わせするためのアフィン変換を推定することができる。顔面モデラー２１２は、目、鼻、唇、頬、又はその他の特徴点等の第１のユーザ１１０の顔の特徴点３３０Ａを位置合わせするためのアフィン変換を推定するように構成することができる。剛的に位置合わせされた点クラウド３３４を取得するために、推定アフィン変換は、抽出点クラウドとして公知の境界ボックスから抽出された点クラウド３３０に対して適用される。アフィン変換は、下記に示す式（１）によって推定することができる。
2018170005.tif 000003
式中のｆは、点クラウド３３０の特徴点３３０Ａを表し、ｆ’は、平均形状顔面モデル３３２のランドマーク３３２Ａを表す。
アフィン変換は、抽出点クラウドに対して下記に示す式（２）によって適用することができる。
2018170005.tif 000004
式中の”ｖ”は、点クラウド３３０を表し、”
2018170005.tif 000005
”は、剛的に位置合わせされた点クラウド３３４を表し、「Ｒ」及び「ｔ」は、点クラウド３３０に適用される回転及び平行移動を表す。
【００６０】
図３Ｄは、剛的に位置合わせされた点クラウド３３４（図３Ｃに記載の）と平均形状顔面モデル３３２との非剛的位置合わせを例示している。図３Ｄを参照すると、入力メッシュ３３６及び変形平均形状顔面モデル３３８が更に示されている。図３Ｄでは、図３Ａに記載の処理パイプラインにおける第１のユーザ１１０の３Ｄ人物顔面モデルに対する発生された点クラウドの位置合わせに関連する図３Ａに記載の作動３０６を更に詳細に説明する。
【００６１】
顔面モデラー２１２は、剛的に位置合わせされた点クラウド３３４上で点を接続してエッジを形成し、入力メッシュ３３６を取得するように構成することができる。顔面モデラー２１２は、図示しているように平均形状顔面モデル３３２を入力メッシュ３３６に対して変形し、変形平均形状顔面モデル３３８を発生させるように構成することができる。実施形態により、顔面モデラー２１２は、変形平均形状顔面モデル３３８と剛的に位置合わせされた点クラウド３３４との間の最近点の推定に基づいて対応性を計算するように構成することができる。変形は、下記に示す式（３）を用いて実施することができる。
2018170005.tif 000006
と仮定して、
2018170005.tif 000007
式中のｖiは、平均形状顔面モデル３３２の変形頂点を表し、ｃiは、それに対応する入力メッシュ３３６の頂点を表し、
2018170005.tif 000008
は、変形平滑度を表し、
2018170005.tif 000009
は、変形恒等式を表し、
2018170005.tif 000010
は、最近接有効点を表し、Ｔiは、１つの三角形に対するアフィン変換を表し、ｗs、ｗI、ｗcは、それぞれＥs、ＥI、Ｅcの重みを表し、ｓkは、マーカーｋに対する始点インデックスを表し、ｍkは、入力メッシュ３３６上のマーカーｋの位置を表す。
【００６２】
図３Ｅは、図３Ａに記載の処理パイプラインにおける３Ｄ人物顔面モデルを発生させるためのモデル当て嵌め作動を例示している。図３Ｆを参照すると、第１の３Ｄ顔面モデル３４４と異なる形状成分３４２に対する重み係数３４０とが示されている。図３Ｅでは、図３Ａに記載の処理パイプラインにおける第１のユーザ１１０の顔の第１の３Ｄ顔面モデル３４４の形状の精緻化に関連するモデル当て嵌め作動（すなわち図３Ａに記載の作動３０８）を更に詳細に説明する。
【００６３】
第１のユーザ１１０の顔の第１の３Ｄ顔面モデル３４４は、第１のユーザ１１０の顔の複数の外見属性を含まないものとすることができる第１のユーザ１１０の３Ｄ顔面モデルとすることができる。外見属性は、第１のユーザ１１０の顔の外面上に存在するほくろ、しわ、又はその他の属性を含むことができる。異なる形状成分３４２は、目、鼻、唇、頬、額、及び同様のもの等の人物の顔の複数の異なる構成要素を指す。人物の顔のこれらの基本構成要素の形状は、人物の顔の特定の形状を生じる。重み係数３４０は、第１のユーザ１１０の顔のターゲットとする第１の３Ｄ顔面モデルを発生させるためにこれらの形状成分３４２の各々に割り当てられる重みを指す。
【００６４】
顔面モデラー２１２は、点クラウド３３０からの第１の３Ｄ顔面モデル３４４上の各頂点の対応性を最小化するように構成することができる。線形顔面モデルは、顔を異なる形状成分３４２の線形結合として表すことができる。顔面モデラー２１２は、異なる形状成分３４２に対する重み係数３４０を推定し、中立表情における第１のユーザ１１０の顔に対する第１の３Ｄ顔面モデル３４４を発生させるように構成することができる。第１のユーザ１１０の顔の第１の３Ｄ顔面モデル３４４は、下記に示す式（４）によって発生させることができる。
2018170005.tif 000011
式中のＦは、第１の３Ｄ顔面モデル３４４を表し、μは、第１のユーザ１１０の顔の平均形状を表し、Ｕは、全てが単位ベクトルであり、互いに対して直交するベクトルを有するベクトル空間に対する基底を指す正規直交基底を表し、Σuは、所与の条件下で微分方程式が非ゼロ解を有するパラメータ値セットの各々を指す固有値を表し、αは、係数を表す。
異なる形状成分３４２の係数の値は、下記に示す式（５）によって計算することができる。
2018170005.tif 000012
式中のＶi、Ｆiは、モデル上の頂点及び点クラウド（ｎ）からのこの頂点の対応を表し、ｖj、Ｆjは、モデル上のランドマーク及び点クラウド（ｍ）からのこのランドマークの対応を表し、ｗは、ランドマークに対する重みを表す。
【００６５】
図３Ｆは、３Ｄ人物顔面モデルを発生させるための形状精緻化を例示している。図３Ｆを参照すると、点クラウド３３０と、第１の３Ｄ顔面モデル３４４と、残差３４６と、オプティマイザ３４８と、精緻化された残差３５０と、精緻化された第１の３Ｄ顔面モデル３５２とが示されている。図３Ｆでは、図３Ａに記載の処理パイプラインにおける第１のユーザ１１０の顔の第１の３Ｄ顔面モデル３４４の形状の精緻化に関連する形状精緻化作動（すなわち図３Ａに記載の作動３１０）を更に詳細に説明する。
【００６６】
形状精緻化回路２１４は、第１のユーザ１１０の顔の第１の３Ｄ顔面モデル３４４内に第１のユーザ１１０の顔の複数の外見属性を含める又は追加するように構成することができる。形状精緻化回路２１４は、第１の３Ｄ顔面モデル３４４と点クラウド３３０との間の残差３４６を計算するように構成することができる。残差３４６は、第１の３Ｄ顔面モデル３４４と点クラウド３３０との間の差とすることができる。オプティマイザ３４８は、算出残差３４６を最適化し、精緻化された残差３５０を取得するように構成することができる。オプティマイザ３４８は、残差３４６を最適化する上でラプラシアン変形を適用することができる。更に形状精緻化回路２１４は、精緻化された残差３５０を第１の３Ｄ顔面モデル３４４に追加して精緻化された第１の３Ｄ顔面モデル３５２を発生させるように構成することができる。形状精緻化回路２１４は、下記に示す式（６）によって形状精緻化作動を実行することができる。
2018170005.tif 000013
式中のｖ2は、精緻化された第１の３Ｄ顔面モデル３５２を表し、ｖ1は、第１の３Ｄ顔面モデル３４４を表し、Δｖは、最適な残差を表す。
オプティマイザ３４８は、下記に示す式（７）を用いることによって残差を最適化することができる。
2018170005.tif 000014
式中の
2018170005.tif 000015
について、ｐiが入力メッシュ３３６の頂点を表し、ｖiが第１の３Ｄ顔面モデル３４４の頂点を表す時に
2018170005.tif 000016
が成り立ち、
2018170005.tif 000017
について、ｕjが第１のユーザ１１０の顔の検出２Ｄ特徴部を表し、ｖ’jが第１のユーザ１１０の顔の投影３Ｄ特徴部の点を表し、Ｐが投影行列を表す時に
2018170005.tif 000018
が成り立ち、ＣL＝Ｌ（ｍ）Δｖは、Ｌ（ｍ）が頂点の各々に対して当該頂点の隣接頂点間での当該頂点の平滑度に基づいて割り当てられる重みを表す時のラプラシアン平滑化項を表す。
顔面モデラー２１２は、入力メッシュ３３６の全ての頂点をそれに対応する第１の３Ｄ顔面モデル３４４の頂点に当て嵌めるために式（８）を利用することができる。更に顔面モデラー２１２はまた、第１のユーザ１１０の顔の検出２Ｄ特徴部の点を第１のユーザ１１０の顔の第１の３Ｄ顔面モデル３４４の投影３Ｄ特徴部の点に当て嵌めるために式（９）を利用することができる。
【００６７】
図３Ｇは、第１のユーザ１１０の顔の第１の３Ｄ顔面モデル３４４のあらゆる頂点をそれに対応する入力メッシュ３３６内の頂点に当て嵌める作動を例示している。図３Ｇを参照すると、入力メッシュ３３６の複数の頂点３５４と、第１のユーザ１１０の顔の第１の３Ｄ顔面モデルの複数の頂点３５６とが示されている。
【００６８】
形状精緻化回路２１４は、第１のユーザ１１０の顔の第１の３Ｄ顔面モデル３４４の全ての頂点３５６をそれに対応する入力メッシュ３３６の頂点３５４に当て嵌めるように構成することができる。例えば、図３Ｇに示しているように、第１のユーザ１１０の顔の第１の３Ｄ顔面モデル３４４の頂点Ｖ、ｖ２、及びｖ３は、これらに対応する入力メッシュ３３６の頂点ｐ１、ｐ２、及びｐ３に当て嵌められる。形状精緻化回路２１４は、式（８）を利用して第１のユーザ１１０の顔の第１の３Ｄ顔面モデル３４４の全ての頂点３５６をそれに対応する入力メッシュ３３６の頂点３５４に当て嵌めるように構成することができる。
【００６９】
図３Ｈは、第１のユーザ１１０の顔の検出２Ｄ特徴部の点３５８を第１のユーザ１１０の顔の第１の３Ｄ顔面モデル３４４の投影３Ｄ特徴部の点３６０に当て嵌める作動を例示している。図３Ｈを参照すると、第１のユーザ１１０の顔の検出２Ｄ特徴部の複数の点３５８と、第１のユーザ１１０の顔の第１の３Ｄ顔面モデル３４４の投影３Ｄ特徴部の点３６０とが示されている。形状精緻化回路２１４は、第１のユーザ１１０の顔の検出２Ｄ特徴部の点３５８を第１のユーザ１１０の顔の第１の３Ｄ顔面モデル３４４の投影３Ｄ特徴部の点３６０に当て嵌めるために式（９）を利用するように構成することができる。
【００７０】
第１のユーザ１１０の顔の精緻化された第１の３Ｄ顔面モデル３５２は、第１のユーザ１１０の顔の取り込み顔部分の顔面属性を含むことができる。精緻化された第１の３Ｄ顔面モデル３５２は、実際の第１のユーザ１１０の顔に似ている。第１のユーザ１１０の顔の顔面属性は、第１のユーザ１１０の顔の上に存在するほくろ、しわ、及び同様のものを含むことができる。精緻化された第１の３Ｄ顔面モデルは、中立表情における第１のユーザ１１０の顔を表す。
【００７１】
図３Ａに記載の処理パイプラインにおける第１のユーザ１１０の顔の任意表情における第１のユーザ１１０の３Ｄ顔面モデルの発生に関連する配合形状の発生作動（すなわち図３Ａに記載の作動３１２）を全体として図３Ｉ、図３Ｊ、及び図３Ｋ更に詳細に説明する。
【００７２】
図３Ｉは、第１のユーザ１１０の顔に対して特定の任意表情を有する３Ｄ顔面モデルを発生させるための作動を例示している。図３Ｉを参照すると、中立表情における平均形状顔面モデル３３２と、格納任意表情３６２における平均形状顔面モデルとが示されている。更に、中立表情における平均形状顔面モデル３３２の三角形３６４Ａと、格納任意表情３６２における平均形状顔面モデルの三角形３６４Ｂと、中立表情と任意表情の間で推定された第１の変換３６６とが示されている。
【００７３】
顔面モデラー２１２は、中立表情における平均形状顔面モデル３３２と格納３Ｄ顔面モデルの複数の格納任意表情からの任意表情３６２における平均形状顔面モデルとの間の第１の変換３６６を計算するように構成することができる。複数の任意表情は、悲しみ、笑い、大きな口、上がった眉、及び同様のもの等の第１のユーザ１１０の顔面表情に対応するものとすることができる。顔面モデラー２１２は、中立表情における平均形状顔面モデル３３２の各三角形３６４Ａと任意表情３６２における平均形状顔面モデルの各三角形３６４Ｂとの間の変換を計算するように構成することができる。３Ｄ顔面モデル（例えば、中立表情における平均形状顔面モデル３３２及び格納任意表情における平均形状顔面モデル３６２）上の三角形は、図３Ｉに示しているように３Ｄ顔面モデル上で最も近い３つの頂点を接続することによって形成することができ、この形成は、全ての３Ｄ顔面モデルに対して固定のものとすることができる。例えば、図３Ｉに示しているように、平均形状顔面モデル３３２の三角形３６４Ａの頂点ｖ０１*、ｖ０２*、ｖ０３*及び三角形３６４Ａの中心にある仮想頂点ｖ０４*によって形成される四面体と、それに対応する格納任意表情３６２における平均形状顔面モデルの三角形３６４Ｂの頂点ｖｉ１*、ｖｉ２*、ｖｉ３*及び中心にある仮想頂点ｖｉ４*によって形成される四面体との間の第１の変換Ｓ１*が計算される。
【００７４】
図３Ｊは、図３Ｉに引き続き第１のユーザ１１０の顔に対して特定の任意顔面表情を有する３Ｄ顔面モデルを発生させるための作動を例示している。図３Ｊを参照すると、中立表情における平均形状顔面モデル３３２と、格納任意顔面表情３６２における平均形状顔面モデルと、平均形状顔面モデル３３２の複数の不動頂点３６８と、全変換３７０とが示されている。
【００７５】
顔面モデラー２１２は、平均形状顔面モデル３３２の複数の不動頂点３６８と格納任意顔面表情３６２における平均形状顔面モデルとの間の変換を計算するように構成することができる。複数の不動頂点３６８は、顔面表情が中立表情からいずれかの任意顔面表情へと変化した場合であっても変化しない頂点で構成することができる。任意顔面表情３６２は、悲しみ、笑い、怒り、大きな口、上がった眉、及び同様のもの等の複数の任意顔面表情のうちのいずれかとすることができる。全変換３７０は、算出された第１の変換３６６と複数の不動頂点３６８間の変換との組み合わせとすることができる。顔面モデラー２１２は、複数の事前格納顔面表情からの望ましい任意顔面表情に関する全変換３７０を計算するように構成することができる。例えば、図３Ｊに示しているように、中立表情における平均形状顔面モデル３３２と任意顔面表情３６２における平均形状顔面モデルとの間の全変換３７０（Ｔｉ*によっても表している）を計算することができる。
【００７６】
図３Ｋは、中立表情における第１のユーザ１１０の顔の発生された精緻化された第１の３Ｄ顔面モデル３５２に対する算出全変換３７０の適用を例示している。図３Ｋを参照すると、中立表情における平均形状顔面モデル３３２と任意顔面表情３６２における平均形状顔面モデルとの間の算出全変換３７０が示されている。更に、任意顔面表情における第１のユーザ１１０の顔の３Ｄ顔面モデル３７２を発生させるための中立表情における第１のユーザ１１０の精緻化された第１の３Ｄ顔面モデル３５２に対する算出全変換３７０の適用が示されている。
【００７７】
顔面モデラー２１２は、中立表情における第１のユーザ１１０の顔の精緻化された第１の３Ｄ顔面モデルに対する算出変換セット（又は算出全変換３７０）の適用によって配合形状セットを導出するように構成することができる。配合形状セットは、第１のユーザ１１０の顔の複数の任意顔面表情に対応する。例えば、図３Ｋに示しているように、第１のユーザの顔の３Ｄ顔面モデル３７２は、中立表情における第１のユーザ１１０の顔の精緻化された第１の３Ｄ顔面モデル３５２への当該顔面表情における算出全変換３７０の適用によって発生される。
【００７８】
任意顔面表情における第１のユーザ１１０の顔の３Ｄ顔面モデルを発生させるために、図３Ａに示している処理パイプラインの作動３１４から３１８が実行される。感知デバイス１０６は、任意顔面表情における第１のユーザ１１０の顔の１又は２以上の色画像及び対応する深度情報を１又は２以上の視野角から取り込むように構成することができる。顔面モデラー２１２は、取り込み色画像に基づいて任意顔面表情に対する点クラウドを発生させるように構成することができる。顔面モデラー２１２は、任意顔面表情に関する発生された点クラウドを中立表情における第１のユーザ１１０の顔の精緻化された第１の３Ｄ顔面モデル３５２と位置合わせするように構成することができる。
【００７９】
図３Ｌは、特定の任意顔面表情における第１のユーザ１１０の顔の３Ｄ顔面モデルを発生させるためのモデル当て嵌め作動を例示している。図３Ｌを参照すると、第２の３Ｄ顔面モデル３７８と、配合形状３７４のセットと、配合形状セットからの各配合形状に対する重み係数３７６とが示されている。図３Ｌでは、図３Ａに記載の処理パイプラインにおける第１のユーザ１１０の顔の任意顔面表情内の第１のユーザ１１０の３Ｄ顔面モデルの発生に関連する任意顔面表情に対するモデル当て嵌め作動（すなわち図３Ａに記載の作動３２０）を更に詳細に説明する。
【００８０】
第１のユーザ１１０に対して望ましい特定の任意顔面表情を有する顔面モデルは、複数の配合形状３７４の組み合わせと考えることができる。顔面モデラー２１２は、第１のユーザ１１０の顔の３Ｄ顔面モデルに対する特定の任意顔面表情を得るために必要とされることになる各配合形状に対する重み係数３７６を推定するように構成することができる。顔面モデラーは、特定の任意顔面表情における第１のユーザ１１０の顔に対して第２の３Ｄ顔面モデル３７８を発生させるように構成することができる。第１のユーザ１１０の顔の第２の３Ｄ顔面モデル３７８は、下記に示す式（１０）を用いることによって発生させることができる。
2018170005.tif 000019
式中のＦは、第２の３Ｄ顔面モデル３７８を表し、ｂoは、第１のユーザ１１０の顔の中立表情を表し、ｂiは、第１のユーザ１１０の顔の配合形状３７４を表し、ｅは係数を表す。
様々な配合形状３７４の係数の値は、下記に示す式（１１）を用いることによって計算することができる。
2018170005.tif 000020
式中のＶi、Ｆiは、モデル上の頂点及び点クラウド（ｎ）からのこの頂点の対応を表し、ｖj、Ｆjは、モデル上のランドマーク及び点クラウド（ｍ）からのこのランドマークの対応を表し、ｗ’は、ランドマークに対する重みを表す。
【００８１】
図４Ａ、図４Ｂ、及び図４Ｃは、全体として本開示の実施形態による仮想現実ベースの装置を用いて現実的な３Ｄ人物顔面モデルを発生させるための例示的作動を示す流れ図を描いている。図４Ａ、図４Ｂ、及び図４Ｃを参照すると、流れ図４００が示されている。流れ図４００は、図１、図２、及び図３Ａから図３Ｌに関連付けて説明されている。作動４０４から４４６は、ＶＲベースの装置１０２に実施することができる。流れ図４００は、４０２で始まり、４０４に進む。
【００８２】
４０４では、３Ｄ顔面モデルをＶＲベースの装置１０２内に格納することができる。ＶＲベースの装置は、格納３Ｄ顔面モデルの一部として中立表情における平均形状顔面モデル及びこのモデルの複数の形状成分を格納することもできる。ＶＲベースの装置１０２は、平均形状顔面モデルに関連する複数の任意顔面表情を格納するように更に構成することができる。平均形状顔面モデルの複数の任意顔面表情は、異なる任意顔面表情の顔面表情テンプレートとして格納することができる。
【００８３】
４０６では、第１のユーザ１１０の顔の複数の色画像及び対応する深度情報は、中立表情において１又は２以上の視野角から取り込むことができる。第１のユーザ１１０の顔の複数の色画像及び対応する深度情報は、感知デバイス１０６が取り込むことができる。取り込み色画像及びそれに対応する取り込み深度情報は、互いに対して位置合わせすることができる。ＶＲベースの装置１０２は、第１のユーザ１１０の顔の複数の色画像及び対応する深度情報を感知デバイス１０６から通信ネットワーク１０８を通じて受信するように構成することができる。
【００８４】
４０８では、第１のユーザ１１０の顔の複数の取り込み色画像の集約色画像３２４から複数の特徴点３２６を検出することができる。複数の特徴点３２６は、ＶＲベースの装置１０２が２Ｄ顔面ランドマーク検出に基づいて検出することができる。複数の検出特徴点３２６は、目、鼻、唇、又はその他の特徴点等の特徴点を含むことができる。図３Ｂに示して説明した例は、集約色画像３２４から検出された複数の特徴点３２６を描いている。
【００８５】
４１０では、第１のユーザ１１０の顔の複数の色画像及び対応する深度情報に基づいて第１のユーザ１１０の顔の点クラウド（例えば、点クラウド３３０）を発生させることができる。ＶＲベースの装置１０２は、複数の色画像から検出された複数の特徴点３２６に更に基づいて中立表情における点クラウド３３０を発生させるように構成することができる。発生された点クラウド３３０は、第１のユーザ１１０の顔の外面を表すことができるデータ点の集合とすることができる。図３Ｂに示して説明した例は、集約色画像３２４から検出された複数の特徴点３２６に基づいて発生された点クラウド３３０を描いている。
【００８６】
４１２では、発生された点クラウド３３０上の複数の検出特徴点３２６と平均形状顔面モデル３３２上の複数のランドマーク点とに基づいてアフィン変換を推定することができる。アフィン変換は、点、直線、及び平面を維持する線形写像のための方法とすることができる。顔面モデラー２１２は、例えば図３Ｃに示しているように、点クラウド３３０上の特徴点３３０Ａの３Ｄ座標と、平均形状顔面モデル３３２上のランドマーク３３２Ａの３Ｄ座標との間のアフィン変換を推定するように構成することができる。
【００８７】
４１４では、中立表情において発生された点クラウド３３０に対する推定アフィン変換の適用に基づいて剛的に位置合わせされた点クラウド（例えば、剛的に位置合わせされた点クラウド３３４）を発生させることができる。剛的に位置合わせされた点クラウド３３４内では、第１のユーザ１１０の顔の複数の特徴点３２６を位置合わせすることができる。発生された点クラウド３３０に対して適用されたアフィン変換に基づく剛的に位置合わせされた点クラウド３３４の発生の例は、図３Ｃに説明されている。
【００８８】
４１６では、発生された剛的に位置合わせされた点クラウド３３４に複数のエッジを追加することができる。エッジの追加は、剛的に位置合わせされた点クラウド３３４上の複数の点のうちの各点の２Ｄ空間内の近接性に従う剛的に位置合わせされた点クラウド３３４上の複数の点の接続に基づくものとすることができる。
【００８９】
４１８では、剛的に位置合わせされた点クラウド３３４への複数のエッジの追加に基づいて第１のユーザ１１０の顔の入力メッシュ（例えば、入力メッシュ３３６）を導出することができる。剛的に位置合わせされた点クラウド３３４への複数のエッジの追加に基づいて導出された入力メッシュ３３６の例は、図３Ｄに説明されている。
【００９０】
４２０では、第１のユーザ１１０の顔の導出入力メッシュ３３６に基づいて平均形状顔面モデル３３２を変形することができる。顔面モデラー２１２は、第１のユーザ１１０の顔の導出入力メッシュ３３６に基づいて平均形状顔面モデル３３２を変形するように構成することができる。
【００９１】
４２２では、平均形状顔面モデルの変形に基づいて第１のユーザ１１０の顔の変形平均形状顔面モデル（例えば、変形平均形状顔面モデル３３８）を発生させることができる。図３Ｄに示して説明した例は、導出入力メッシュ３３６に基づく平均形状顔面モデル３３２の変形によって発生された変形平均形状顔面モデル３３８を描いている。
【００９２】
４２４では、格納３Ｄ顔面モデルの複数の事前格納形状成分３４２の各形状成分に対する重み（例えば、重み係数３４０）を推定することができる。この推定は、第１の３Ｄ顔面モデル３４４の頂点と、それに対応するする剛的に位置合わせされた点クラウド３３４の頂点との間の最小差に基づいて行うことができる。
【００９３】
４２６では、第１のユーザ１１０の顔の第１の３Ｄ顔面モデル３４４を発生させるために、モデル当て嵌めにおいて格納３Ｄ顔面モデルからの複数の重み付き形状成分３４２の各重み付き形状成分を組み合わせることができる。第１のユーザ１１０の顔の第１の３Ｄ顔面モデル３４４を発生させるために、顔面モデラー２１２は、例えば図３Ｅに示しているように複数の重み付き形状成分３４２の各重み付き形状成分を組み合わせるように構成することができる。
【００９４】
４２８では、中立表情を有する第１のユーザ１１０の顔の第１の３Ｄ顔面モデル（例えば、第１の３Ｄ顔面モデル３４４）を発生させることができる。顔面モデラー２１２は、発生された点クラウド３３０を用いた格納３Ｄ顔面モデルに対する形状ベースのモデル当て嵌め作動に基づいて中立表情を有する第１の３Ｄ顔面モデル３４４を発生させるように構成することができる。図３Ｅに示して説明した例は、第１のユーザ１１０の顔に関して取得された形状成分３４２の各々の推定重み係数３４０に基づいて発生された中立表情における第１のユーザ１１０の顔の第１の３Ｄ顔面モデル３４４を描いている。
【００９５】
４３０では、第１のユーザ１１０の顔の発生された第１の３Ｄ顔面モデル３４４の複数の頂点と、第１のユーザ１１０の顔の導出された剛的に位置合わせされた点クラウド３３４との差に基づいて顔面モデル残差（例えば、残差３４６）を推定することができる。推定顔面モデル残差（例えば、残差３４６）は、第１のユーザ１１０の顔の第１の３Ｄ顔面モデル３４４の対応する複数の頂点に関する複数の部分残差を含むことができる。
【００９６】
４３２では、第１のユーザ１１０の顔の第１の３Ｄ顔面モデル３４４に対する変形顔面モデル残差（例えば、精緻化された残差３５０）を導出するために推定顔面モデル残差（例えば、残差３４６）に変形を適用することができる。推定顔面モデル残差（例えば、残差３４６）は、それを最適化するように変形することができる。
【００９７】
４３４では、変形顔面モデル残差（例えば、精緻化された残差３５０）を第１のユーザ１１０の顔の第１の３Ｄ顔面モデル３４４と組み合わせることができる。形状精緻化回路２１４は、例えば図３Ｆに示しているように変形顔面モデル残差（例えば、精緻化された残差３５０）を第１のユーザ１１０の顔の第１の３Ｄ顔面モデル３４４と組み合わせるように構成することができる。
【００９８】
４３６では、変形顔面モデル残差（例えば、精緻化された残差３５０）と第１のユーザ１１０の顔の第１の３Ｄ顔面モデル３４４との組み合わせに基づいて第１のユーザ１１０の顔の第１の３Ｄ顔面モデル３４４の形状を精緻化することができる。第１のユーザ１１０の顔の第１の３Ｄ顔面モデル３４４の形状は、形状精緻化回路が、例えば図３Ｆに示しているように精緻化することができる。
【００９９】
４３８では、第１のユーザ１１０の顔の精緻化された第１の３Ｄ顔面モデル３５２の表示を制御することができる。第１のユーザ１１０の顔の精緻化された第１の３Ｄ顔面モデル３５２は、複数の取り込み色画像内の第１のユーザ１１０の顔の形状及び外見からの最小の偏倚しか持たない第１のユーザ１１０の顔の複数の外見属性を含むことができる。従って、精緻化された第１の３Ｄ顔面モデル３５２の表示は、本質的に現実的なものとすることができ、第１のユーザ１１０の顔の外見属性は、ＶＲベースの装置１０２の表示画面２０６Ａ上で明確に見ることができるものとすることができる。表示画面２０６Ａ上での第１のユーザ１１０の顔の精緻化された第１の３Ｄ顔面モデル３５２の表示は、ＶＲベースの装置１０２が制御することができる。表示制御中に、精緻化された第１の３Ｄ顔面モデル３５２の向上した鮮明な可視化に向けて、精緻化された第１の３Ｄ顔面モデル３５２の顔部分に第１のユーザ１１０の完全な３Ｄモデルの他の部分と比較して多めのピクセルを配分することができる。更に、顔部分の内部には、表示画面２０６Ａ上で見た時にかなり目立つ唇、目、及び額等の特徴部に富むいくつかの顔領域が存在する可能性がある。特徴部に富む顔領域には、表示中に、精緻化された第１の３Ｄ顔面モデル３５２の顔部分の他の領域よりも更に多い個数のピクセルを配分することができる。
【０１００】
４４０では、中立表情における格納平均形状顔面モデル３３２と複数の任意顔面表情における格納平均形状顔面モデルとの間の変換セットを評価することができる。図３Ｊに示して説明した例は、中立表情における平均形状顔面モデル３３２から特定の顔面表情を得るための算出全変換３７０を描いている。この変換は、顔面モデラー２１２が評価することができる。評価変換は、格納平均形状顔面モデル上の各頂点に対する第１の変換３６６と、格納平均形状顔面モデル上の各不動頂点３６８に対する変換とを含む。
【０１０１】
４４２では、評価変換セットを中立表情における第１のユーザ１１０の精緻化された第１の３Ｄ顔面モデル３５２に対して適用することができる。図３Ｋに示して説明した例は、顔面モデラー２１２による中立表情における第１のユーザ１１０の精緻化された第１の３Ｄ顔面モデル３５２に対する算出全変換３７０の適用を描いている。
【０１０２】
４４４では、第１のユーザ１１０の顔の複数の任意顔面表情に対応する適用された変形セットに基づいて第１のユーザ１１０の精緻化された第１の３Ｄ顔面モデル３５２から配合形状３７４のセットを発生させることができる。発生された配合形状３７４のセットは、複数の任意顔面表情における格納平均形状顔面モデルに対応する複数の任意顔面表情における第１のユーザ１１０の顔の精緻化された第１の３Ｄ顔面モデル３５２を含むことができる。
【０１０３】
４４６では、４０６から４２２までの作動を繰り返すことができる。しかし、４４６では、中立表情における第１のユーザ１１０の顔の複数の色画像及び対応する深度情報を取り込む（４０６で解説したように）代わりに、任意顔面表情に関して第１のユーザ１１０の顔の１又は２以上の色画像及び対応する深度情報を取り込むことができる。更に、任意表情の場合には、任意表情における第１のユーザ１１０の１つの正面視野の画像取り込みで十分とすることができる。従って、任意表情では、位置合わせは、任意表情に対する第１のユーザ１１０の顔の新しい点クラウドと、精緻化された第１の３Ｄ顔面モデル３５２との間のものとすることができる。基本的に、第２の顔面モデルに対しては、異なる点クラウド又は入力メッシュが必要とされる。図３Ａでは、この異なる点クラウド又は入力メッシュは、３１４〜３１８である。
【０１０４】
４４８では、第１のユーザ１１０の顔の第２の３Ｄ顔面モデル３７８を発生させることができる。発生された第２の３Ｄ顔面モデル３７８は、導出された配合形状３７４のセットに基づいて第１のユーザ１１０の取り込み顔面表情に対応するものとすることができる。特定の任意顔面表情における３Ｄ顔面モデルは、複数の配合形状の組み合わせと考えることができる。ＶＲベースの装置１０２は、第１のユーザ１１０の特定の任意顔面表情を得るために、配合形状３７４のセットからの各配合形状に対する重み係数３７６を推定することができる。図３Ｌに示して説明した例は、任意顔面表情における第１のユーザ１１０の顔の第２の３Ｄ顔面モデル３７８を発生させるために必要とされる様々な配合形状３７４の組み合わせを描いている。中立表情において発生された第１のユーザ１１０の顔の精緻化された第１の３Ｄ顔面モデル３５２及び任意顔面表情において発生された第１のユーザ１１０の顔の第２の３Ｄ顔面モデル３７８は、仮想実在環境及びゲーム環境の作成に利用することができる。制御は、終了４５０に渡すことができる。
【０１０５】
本開示の実施形態により、現実的な３Ｄ人物顔面モデルの発生のための仮想現実ベースの装置を開示する。ＶＲベースの装置１０２（図１）等の装置は、メモリデバイス（メモリ２０４等）と、感知デバイス（感知デバイス１０６等）に結合された１又は２以上の回路（プロセッサ２１０、顔面モデラー２１２、及び形状精緻化回路２１４（図２）等）とを含むことができる。メモリ２０４は、中立表情における平均形状顔面モデル（平均形状顔面モデル３３２（図３Ｃ）等）と、平均形状顔面モデルの複数の任意顔面表情とを格納するように構成することができる。プロセッサ２１０は、ユーザ（図１に記載の第１のユーザ１１０等）の顔の複数の色画像及び対応する深度情報（図３Ｂに記載の集約色画像３２４等）を受信するように構成することができる。更に、顔面モデラー２１２は、感知デバイス１０６から受信した第１のユーザの顔の複数の色画像及び対応する深度情報に基づいて第１のユーザの顔の点クラウド（図３Ｂに記載の点クラウド３３０等）を発生させるように構成することができる。顔面モデラー２１２は、中立表情を有する第１のユーザ１１０の顔の第１の３Ｄ顔面モデル（例えば、図３Ｅに記載の第１の３Ｄ顔面モデル３４４等）を発生させるように更に構成することができる。第１の３Ｄ顔面モデルは、発生された点クラウド３３０を用いた平均形状顔面モデル３３２に対する形状ベースのモデル当て嵌めによって発生させることができる。形状精緻化回路２１４は、第１のユーザ１１０の顔の第１の３Ｄ顔面モデル３４４と発生された点クラウド３３０との間の差に基づいて第１の３Ｄ顔面モデル３４４の形状を精緻化するように構成することができる。形状精緻化回路２１４は、第１のユーザ１１０の顔の精緻化された第１の３Ｄ顔面モデル（図３Ｆに記載の精緻化された第１の３Ｄ顔面モデル３５２等）を発生させるように更に構成することができる。更に、プロセッサ２１０は、精緻化された第１の３Ｄ顔面モデル３５２上の複数の外見属性が、複数の取り込み色画像内の第１のユーザ１１０の顔の形状及び外見からの最小の偏倚しか示さないように、ＶＲベースの装置１０２上での第１のユーザ１１０の顔の精緻化された第１の３Ｄ顔面モデル３５２の表示を制御することができる。
【０１０６】
従来の３Ｄ仮想現実環境では、ユーザの３Ｄ顔面モデルを作成するのに必要とされる入力画像データを異なる視野角から取り込む段階に伴ういくつかの複雑な問題が存在している。更に、ユーザの顔の従来の３Ｄモデルは、ユーザの実際の顔面細部に似ていない場合がある。例えば、人物の顔の構造及び面の表現がユーザの顔に似ていない場合があり、顔面モデルの顔面表情が人物の顔の顔面表情と一致しない場合がある。ユーザの実際の顔に対する３Ｄ顔面モデルの構造、特徴、及び顔面表情の不一致は、現実的な実時間表示目的及び仮想現実用途には望ましくない場合がある。従って、３Ｄ人物顔面モデルを実際の人物の顔により現実的に似たものにするために、発生３Ｄモデルの形状は、ユーザの顔の取り込み顔面細部に基づいて精緻化される。この精緻化は、発生３Ｄ顔面モデルとユーザの顔の取り込み顔面細部との間の差の推定を必要とする。その結果、人物の顔の構造及び面の表現において不一致を示すそのような３Ｄ顔面モデルの表示は、更に非現実的なアニメーションを発生させる場合がある。更に、複数の任意顔面表情におけるユーザの顔の３Ｄ顔面モデルを発生させるために、異なる基本顔面表情を作り、これらの顔面表情の再現モデルを配合形状として用いることがユーザに要求される場合があり、それによってユーザの過度の関与が要求される場合がある。このことから、複数の任意顔面表情におけるユーザの顔の３Ｄ顔面モデルを発生させるために、平均形状顔面モデルの複数の格納任意顔面表情に基づいて発生される異なる任意顔面表情に対する配合形状の組み合わせが用いられる。
【０１０７】
ＶＲベースの装置１０２等の本開示の装置の様々な実施形態は、感知デバイスから受信したユーザの顔の複数の色画像及び対応する深度情報に基づいて複数の任意顔面表情におけるユーザの顔の３Ｄ顔面モデルを発生させることができるプロセッサ２１０と、顔面モデラー２１２と、形状精緻化回路２１４とのような１又は２以上の回路を含む。従って、本開示の装置は、複数のユーザの画像及びそれに対応する深度情報に基づいて複数の任意顔面表情における複数の３Ｄ顔面モデルを発生させることができる。更に、本開示の装置は、従来のアニメーション３Ｄ環境と比較してユーザの顔の外見により現実的に似ているユーザの顔の複数の外見属性を発生３Ｄ顔面モデルの面上に含むことができる。例えば、第２の３Ｄ顔面モデル等の発生された３Ｄ顔面モデルの構造及び面の表現は、ユーザの顔の構造及び面の表現と類似のものとすることができる。従って、顔面モデラー２１２及び形状精緻化回路２１４は、ＶＲベースの装置１０２等の装置がユーザの現実的な３Ｄ顔面モデルを発生して表示することを可能にする。ＶＲベースの装置１０２等の装置は、感知デバイス１０６によって感受されたユーザの顔の画像及びそれに対応する深度情報を用いることによってユーザの顔の現実的な３Ｄ顔面モデルを発生させることができ、それによって３Ｄ仮想現実環境において特定の改善がもたらされる。
【０１０８】
本開示の様々な実施形態は、感知デバイスに通信的に結合された１又は２以上の回路を含む機械及び／又はコンピュータによって実行可能な命令セットが格納された非一時的コンピュータ可読媒体及び／又はストレージ媒体、及び／又は非一時的機械可読媒体及び／又はストレージ媒体を提供することができる。命令セットは、平均形状顔面モデルの複数の任意顔面表情の格納を含む段階を実施するために機械及び／又はコンピュータによって実行することができる。異なる視野角からのユーザの顔の複数の色画像及び対応する深度情報は、感知デバイスから受信することができる。受信されたユーザの顔の複数の色画像及び対応する深度情報に基づいて、ユーザの顔の点クラウドを発生させることができる。発生された点クラウドを用いた平均形状顔面モデルに対する形状ベースのモデル当て嵌めにより、中立表情におけるユーザの顔の第１の３Ｄ顔面モデルを発生させることができる。第１のユーザの顔の第１の３Ｄ顔面モデルと、形状ベースのモデル当て嵌めと、発生された点クラウドとの間の差に基づいて、第１のユーザ１１０の顔の精緻化された第１の３Ｄ顔面モデルを発生させることができる。表示画面２０６Ａ上の第１のユーザ１１０の顔の精緻化された第１の３Ｄ顔面モデルの表示は、このモデル上の複数の外見属性が複数の取り込み色画像内の第１のユーザの顔の形状及び外見からの最小の偏倚しか示さないように制御することができる。
【０１０９】
本開示の例示的態様により、ＶＲベースの装置１０２は、仮想現実ベース又は拡張現実ベースのデバイスとすることができる。従って、本開示に説明するように、ＶＲベースの装置１０２によって実行される作動は、仮想現実ベース又は拡張現実ベースのデバイスによって実行することもできる。例えば、仮想現実ベースのデバイスは、第１の人物の第２の３Ｄ顔面モデル３７８等の第２の３Ｄ顔面モデルを第２の人物に提供することができる。第２の３Ｄ顔面モデル３７８は、複数の任意顔面表情における第１の人物の顔を実時間又は近実時間で模擬することができる。第１の人物の顔に似るように、第２の３Ｄ顔面モデル３７８はまた、画像データを用いて質感付けすることができる。すなわち、仮想現実ベースのデバイスによる第２の３Ｄ顔面モデル３７８の表示は、第２の人物に対して遠隔地での第１の人物の仮想実在を作り出す。
【０１１０】
本開示の別の例示的態様により、ＶＲベースの装置１０２は、ゲームデバイスとすることができる。すなわち、本開示に説明するようにＶＲベースの装置１０２によって実行される作動は、ゲームデバイスによって実行することもできる。例えば、ゲームデバイスは、ゲーム環境内で第２の３Ｄ顔面モデル３７８等のゲームキャラクターを競技者に提示することができる。更に、ゲームデバイスは、ゲームキャラクターに競技者の顔の１又は２以上のポーズを模倣させることができる。すなわち、競技者がゲーム環境内でゲームキャラクターの動きを制御することを可能にすることができる。例えば、競技者が自分の頭を動かし始めた場合に、ゲームキャラクターは、競技者の動く頭を模倣することができる。ゲーム環境は、多競技者ゲームとすることもできる。そのような場合は、ゲームデバイスは、マルチ競技者ゲーム内の複数の競技者のうちの１人を各々が模倣する複数のゲームキャラクターを提示することができる。
【０１１１】
本開示の更に別の例示的態様により、ＶＲベースの装置１０２は、３Ｄモデルベースの会議システムとすることができる。すなわち、本開示に説明するようにＶＲベースの装置１０２によって実行される作動は、３Ｄモデルベースの会議システムによって実行することもできる。通常、従来のビデオ会議システムは、円滑なビデオ送信のための高ネットワーク帯域幅を必要とする。ネットワーク帯域幅要件が満たされない場合は、ビデオ会議は妨げられる。ＶＲベースの装置１０２等の３Ｄモデルベースの会議デバイスは、ビデオ送信のための高ネットワーク帯域幅を必要としないと考えられるビデオレス会議を可能にする。例えば、３Ｄモデルベースの会議デバイスは、会議に関わっている第１の個人の１又は２以上の顔面表情を追跡することができる。続いて３Ｄモデルベースの会議デバイスは、追跡している第１の個人の１又は２以上の顔面表情に基づいて第２の３Ｄ顔面モデル３７８等の第２の３Ｄ顔面モデルをアニメートすることができる。アニメートされた第２の３Ｄ顔面モデルは、第１の個人の記録音声と共に会議内の第２の個人に提示することができる。更に、３Ｄモデルベースの会議デバイスは、第２の個人の１又は２以上の顔面表情を模倣する別のアニメートされた３Ｄ顔面モデルを第１の個人に提示することができる。このようにして３Ｄモデルベースの会議デバイスは、第１の個人及び第２の個人が会議に参加することを可能にする。
【０１１２】
本開示は、ハードウェア又はハードウェアとソフトウェアの組み合わせに実現することができる。本開示は、少なくとも１つのコンピュータシステムに集中様式で実現するか、又はいくつかの相互接続されたコンピュータシステムにわたって異なる要素を分散させることができる分散様式で実現することができる。本明細書で説明する方法を実施するように適応されたコンピュータシステム又は他の装置が適切である場合がある。ハードウェアとソフトウェアの組み合わせは、読み込まれて実行された時に本明細書で説明する方法を実施するようにコンピュータシステムを制御することができるコンピュータプログラムを有する汎用コンピュータシステムとすることができる。本開示は、他の機能も実行する集積回路の一部分を含むハードウェアに実現することができる。
【０１１３】
本開示はまた、本明細書で説明した方法の実施を可能にしてコンピュータシステムに読み込まれた時にこれらの方法を実施することができる全ての特徴を含むコンピュータプログラム製品に埋め込むことができる。この関連でのコンピュータプログラムは、特定の機能を直接に実施するか、又はａ）別の言語、コード、又は表記への変換、ｂ）異なる材料形態における複製のどちらか又は両方の後に実施するかのどちらかで情報処理能力を有するシステムに行わせることを意図した命令セットのいずれかの言語、コード、又は表記におけるいずれかの表現を意味する。
【０１１４】
本開示をある一定の実施形態を参照して説明したが、本開示の範囲から逸脱することなく様々な変更を加えることができ、均等物で置換することができることは当業者によって理解されるであろう。これに加えて、特定の状況又は材料に適応するように本開示の教示にその範囲から逸脱することなく多くの修正を加えることができる。従って、本開示は、開示する特定の実施形態に限定されず、むしろ添付の特許請求の範囲に収まる全ての実施形態を含むことになることを意図している。
【符号の説明】
【０１１５】
１００  ネットワーク環境
１０２  仮想現実（ＶＲ）ベースの装置
１０４  サーバ
１０６  感知デバイス
１１０  第１のユーザ
【図１】
2018170005.tif 000021
【図２】
2018170005.tif 000022
【図３Ａ】
2018170005.tif 000023
【図３Ｂ】
2018170005.tif 000024
【図３Ｃ】
2018170005.tif 000025
【図３Ｄ】
2018170005.tif 000026
【図３Ｅ】
2018170005.tif 000027
【図３Ｆ】
2018170005.tif 000028
【図３Ｇ】
2018170005.tif 000029
【図３Ｈ】
2018170005.tif 000030
【図３Ｉ】
2018170005.tif 000031
【図３Ｊ】
2018170005.tif 000032
【図３Ｋ】
2018170005.tif 000033
【図３Ｌ】
2018170005.tif 000034
【図４Ａ】
2018170005.tif 000035
【図４Ｂ】
2018170005.tif 000036
【図４Ｃ】
2018170005.tif 000037
【外国語明細書】
2018170005000001.pdf