(57)【要約】本開示の実施例は、仮想オブジェクトの変形処理方法及び装置、機器並びに記憶媒体を提供する。前記仮想オブジェクトの変形処理方法は、複数の骨を含む３次元プリセット仮想オブジェクトモデルに対応する第１骨パラメータ及び第１ブレンドシェイプデータを取得するステップであって、前記第１ブレンドシェイプデータはプリセット仮想オブジェクトの変形程度を示すことに用いられるステップと、３次元ターゲット仮想オブジェクトモデルに対応する第２骨パラメータを取得し、第２骨パラメータと前記第１骨パラメータとの間の変換関係を特定するステップと、前記第２骨パラメータと前記第１骨パラメータとの間の変換関係及び前記第１ブレンドシェイプデータに基づいて、前記３次元仮想オブジェクト顔モデルに対応する第２ブレンドシェイプデータを特定するステップと、を含む。
2021527862.tif 000002
【特許請求の範囲】
【請求項１】
仮想オブジェクトの変形処理方法であって、
複数の骨を含む３次元プリセット仮想オブジェクトモデルに対応する第１骨パラメータ及び第１ブレンドシェイプデータを取得するステップであって、前記第１ブレンドシェイプデータはプリセット仮想オブジェクトの変形程度を示すことに用いられるステップと、
３次元ターゲット仮想オブジェクトモデルに対応する第２骨パラメータを取得し、前記第２骨パラメータと前記第１骨パラメータとの間の変換関係を特定するステップと、
前記第２骨パラメータと前記第１骨パラメータとの間の変換関係及び前記第１ブレンドシェイプデータに基づいて、前記３次元ターゲット仮想オブジェクトモデルに対応する第２ブレンドシェイプデータを特定するステップと、を含むことを特徴とする
仮想オブジェクトの変形処理方法。
【請求項２】
前記第２骨パラメータと前記第１骨パラメータとの間の変換関係及び前記第１ブレンドシェイプデータに基づいて、前記３次元ターゲット仮想オブジェクトモデルに対応する第２ブレンドシェイプデータを特定するステップは、
前記３次元プリセット仮想オブジェクトモデルに対応する第１グリッドデータを取得するステップと、
前記３次元ターゲット仮想オブジェクトモデルに対応する第２グリッドデータを取得するステップと、
前記第２グリッドデータ及び前記第１グリッドデータに基づいて、前記３次元ターゲット仮想オブジェクトモデルに対応する第２ブレンドシェイプデータを特定するステップと、を含むことを特徴とする
請求項１に記載の方法。
【請求項３】
前記３次元プリセット仮想オブジェクトモデルに対応する第１グリッドデータを取得するステップは、
前記第１骨パラメータに対応する標準グリッドデータを取得するステップと、
前記標準グリッドデータ及び前記第１ブレンドシェイプデータに基づいて、前記第１ブレンドシェイプデータに対応する第１グリッドデータを得るステップと、を含むことを特徴とする
請求項２に記載の方法。
【請求項４】
前記３次元ターゲット仮想オブジェクトモデルに対応する第２グリッドデータを取得するステップは、
前記第２骨パラメータ及び前記第１骨パラメータに基づいて、前記３次元ターゲット仮想オブジェクトモデル内のすべての骨の変換行列を特定するステップと、
前記変換行列を前記第１グリッドデータに応用することで、前記３次元ターゲット仮想オブジェクトモデルに対応する第２グリッドデータを特定するステップと、を含むことを特徴とする
請求項２又は３に記載の方法。
【請求項５】
前記第２骨パラメータ及び前記第１骨パラメータに基づいて、前記３次元ターゲット仮想オブジェクトモデル内のすべての骨の変換行列を特定するステップは、
前記３次元プリセット仮想オブジェクトモデルに対応する第１骨パラメータに基づいて、前記３次元プリセット仮想オブジェクトモデル内の各骨の第１位置行列を取得するステップと、
前記３次元ターゲット仮想オブジェクトモデルに対応する第２骨パラメータに基づいて、前記３次元ターゲット仮想オブジェクトモデル内の各骨の第２位置行列を取得するステップと、
前記第２位置行列及び前記第１位置行列に基づいて、各骨の変換行列を取得するステップと、を含むことを特徴とする
請求項４に記載の方法。
【請求項６】
前記仮想オブジェクトモデルは顔モデルであり、前記仮想オブジェクトモデルに含まれる骨は頭部骨であり、
前記３次元ターゲット仮想オブジェクトモデルは、
３次元ターゲット顔モデルの骨パラメータ調整情報を取得するステップと、
前記骨パラメータ調整情報に基づいて、前記３次元ターゲット顔モデルに対応する頭部骨パラメータを調整するステップと、
調整後の前記頭部骨パラメータに基づいて、３次元ターゲット顔モデルを生成するステップと、によって生成されることを特徴とする
請求項１〜５のいずれか１項に記載の方法。
【請求項７】
前記３次元ターゲット顔モデルの骨パラメータ調整情報を取得するステップは、
骨パラメータ調整命令を受信するステップと、
前記骨パラメータ調整命令に基づいて前記骨パラメータ調整情報を特定するステップと、を含むことを特徴とする
請求項６に記載の方法。
【請求項８】
前記骨パラメータ調整情報に基づいて、前記３次元ターゲット顔モデルに対応する頭部骨パラメータを調整するステップは、
前記頭部骨パラメータから、前記骨パラメータ調整情報に関連付けられる少なくとも１つの頭部骨の骨パラメータを取得し、前記骨パラメータ調整情報に基づいて前記少なくとも１つの頭部骨の骨パラメータを調整するステップを含むことを特徴とする
請求項６又は７に記載の方法。
【請求項９】
少なくとも１つの頭部骨は複数の頭部骨であり、
前記骨パラメータ調整情報に基づいて前記少なくとも１つの頭部骨の骨パラメータを調整するステップは、
前記骨パラメータ調整情報に基づいて前記複数の頭部骨の骨パラメータを同時に調整するステップを含むことを特徴とする
請求項８に記載の方法。
【請求項１０】
前記骨パラメータ調整情報に基づいて前記少なくとも１つの頭部骨の骨パラメータを調整するステップは、
前記骨パラメータ調整情報の調整範囲を取得するステップと、
前記骨パラメータ調整情報に関連付けられる各骨パラメータの調整範囲を取得するステップと、
調整範囲内の前記骨パラメータ調整情報の変化率に基づいて、前記骨パラメータ調整情報に関連付けられる前記少なくとも１つの頭部骨の骨パラメータを調整するステップと、を含むことを特徴とする
請求項８又は９に記載の方法。
【請求項１１】
前記骨パラメータ調整命令に基づいて前記骨パラメータ調整情報を特定するステップは、
前記骨パラメータ調整命令に対して設定されたコントロールの出力変化量を取得し、前記出力変化量に基づいて前記骨パラメータ調整情報を特定するステップを含むことを特徴とする
請求項６〜１０のいずれか１項に記載の方法。
【請求項１２】
前記方法は、
前記３次元ターゲット顔モデルの骨パラメータに基づいて、メイクアップに対応する複数の領域を含むフェイスマップを生成するステップと、
前記領域に対して、対応するメイクアップの交換可能な素材マップを取得するステップと、
各メイクアップに対して取得した交換可能な素材マップと前記フェイスマップとを合わせ、合わせたマップを得るステップと、
前記合わせたマップを前記３次元ターゲット顔モデルにマッピングして、前記３次元ターゲット顔モデルのフェイスメイクアップを生成するステップと、をさらに含むことを特徴とする
請求項６〜１１のいずれか１項に記載の方法。
【請求項１３】
仮想オブジェクトの変形処理装置であって、
複数の骨を含む３次元プリセット仮想オブジェクトモデルに対応する第１骨パラメータ及び第１ブレンドシェイプデータを取得するように構成される第１取得ユニットであって、前記第１ブレンドシェイプデータはプリセット仮想オブジェクトの変形程度を示すことに用いられる第１取得ユニットと、
３次元ターゲット仮想オブジェクトモデルに対応する第２骨パラメータを取得し、前記第２骨パラメータと前記第１骨パラメータとの間の変換関係を特定するように構成される第２取得ユニットと、
前記第２骨パラメータと前記第１骨パラメータとの間の変換関係及び前記第１ブレンドシェイプデータに基づいて、前記３次元ターゲット仮想オブジェクトモデルに対応する第２ブレンドシェイプデータを特定するように構成される特定ユニットと、を備えることを特徴とする
仮想オブジェクトの変形処理装置。
【請求項１４】
前記特定ユニットは、具体的に、
前記３次元プリセット仮想オブジェクトモデルに対応する第１グリッドデータを取得し、
前記３次元ターゲット仮想オブジェクトモデルに対応する第２グリッドデータを取得し、
前記第２グリッドデータ及び前記第１グリッドデータに基づいて、前記３次元ターゲット仮想オブジェクトモデルに対応する第２ブレンドシェイプデータを特定する、ように構成されることを特徴とする
請求項１３に記載の装置。
【請求項１５】
前記特定ユニットは、前記３次元プリセット仮想オブジェクトモデルに対応する第１グリッドデータを取得するように構成される場合、具体的に、
前記第１骨パラメータに対応する標準グリッドデータを取得し、
前記標準グリッドデータ及び前記第１ブレンドシェイプデータに基づいて、前記第１ブレンドシェイプデータに対応する第１グリッドデータを得る、ように構成されることを特徴とする
請求項１４に記載の装置。
【請求項１６】
前記特定ユニットは、前記３次元ターゲット仮想オブジェクトモデルに対応する第２グリッドデータを取得するように構成される場合、具体的に、
前記第２骨パラメータ及び前記第１骨パラメータに基づいて、前記３次元ターゲット仮想オブジェクトモデル内のすべての骨の変換行列を特定し、
前記変換行列を前記第１グリッドデータに応用することで、前記３次元ターゲット仮想オブジェクトモデルに対応する第２グリッドデータを特定する、ように構成されることを特徴とする
請求項１４又は１５に記載の装置。
【請求項１７】
前記特定ユニットは、前記第２骨パラメータ及び前記第１骨パラメータに基づいて、前記３次元ターゲット仮想オブジェクトモデル内のすべての骨の変換行列を特定する場合、具体的に、
前記３次元プリセット仮想オブジェクトモデルに対応する第１骨パラメータに基づいて、前記３次元プリセット仮想オブジェクトモデル内の各骨の第１位置行列を取得し、
前記３次元ターゲット仮想オブジェクトモデルに対応する第２骨パラメータに基づいて、前記３次元ターゲット仮想オブジェクトモデル内の各骨の第２位置行列を取得し、
前記第２位置行列及び前記第１位置行列に基づいて、各骨の変換行列を取得する、ように構成されることを特徴とする
請求項１６に記載の装置。
【請求項１８】
前記仮想オブジェクトモデルは顔モデルであり、前記仮想オブジェクトモデルに含まれる骨は頭部骨であり、前記第２取得ユニットは、
３次元ターゲット顔モデルの骨パラメータ調整情報を取得し、
前記骨パラメータ調整情報に基づいて、前記３次元ターゲット顔モデルに対応する頭部骨パラメータを調整し、
調整後の前記頭部骨パラメータに基づいて、３次元ターゲット顔モデルを生成する、ように構成される３次元ターゲット顔モデル生成ユニットをさらに備えることを特徴とする
請求項１３〜１７のいずれか１項に記載の装置。
【請求項１９】
前記３次元ターゲット顔モデル生成ユニットは、３次元ターゲット顔モデルの骨パラメータ調整情報を取得するように構成される場合、具体的に、
骨パラメータ調整命令を受信し、
前記骨パラメータ調整命令に基づいて前記骨パラメータ調整情報を特定する、ように構成されることを特徴とする
請求項１８に記載の装置。
【請求項２０】
前記３次元ターゲット顔モデル生成ユニットは、前記骨パラメータ調整情報に基づいて、前記３次元ターゲット顔モデルに対応する頭部骨パラメータを調整するように構成される場合、具体的に、
前記頭部骨パラメータから、前記骨パラメータ調整情報に関連付けられる少なくとも１つの頭部骨の骨パラメータを取得し、前記骨パラメータ調整情報に基づいて前記少なくとも１つの頭部骨の骨パラメータを調整するように構成されることを特徴とする
請求項１８又は１９に記載の装置。
【請求項２１】
少なくとも１つの頭部骨は複数の頭部骨であり、前記３次元ターゲット顔モデル生成ユニットは、前記骨パラメータ調整情報に基づいて前記少なくとも１つの頭部骨の骨パラメータを調整するように構成される場合、具体的に、
前記骨パラメータ調整情報に基づいて前記複数の頭部骨の骨パラメータを同時に調整するように構成されることを特徴とする
請求項２０に記載の装置。
【請求項２２】
前記３次元ターゲット顔モデル生成ユニットは、前記骨パラメータ調整情報に基づいて前記少なくとも１つの頭部骨の骨パラメータを調整するように構成される場合、具体的に、
前記骨パラメータ調整情報の調整範囲を取得し、
前記骨パラメータ調整情報に関連付けられる各骨パラメータの調整範囲を取得し、
調整範囲内の前記骨パラメータ調整情報の変化率に基づいて、前記骨パラメータ調整情報に関連付けられる前記少なくとも１つの頭部骨の骨パラメータを調整する、ように構成されることを特徴とする
請求項２０又は２１に記載の装置。
【請求項２３】
前記３次元ターゲット顔モデル生成ユニットは、前記骨パラメータ調整情報に基づいて、前記頭部骨パラメータを調整するように構成される場合、具体的に、
前記骨パラメータ調整命令に対して設定されたコントロールの出力変化量を取得し、前記出力変化量に基づいて前記骨パラメータ調整情報を特定するように構成されることを特徴とする
請求項１８〜２２のいずれか１項に記載の装置。
【請求項２４】
仮想オブジェクトの変形処理機器であって、記憶媒体、プロセッサを備え、前記記憶媒体は、プロセッサ上で実行可能なマシン実行可能命令を記憶するように構成され、前記プロセッサは、前記マシン実行可能命令を実行するときに請求項１〜１２のいずれか１項に記載の方法を実現するように構成されることを特徴とする
仮想オブジェクトの変形処理機器。
【請求項２５】
マシン実行可能命令が記憶されているマシン可読記憶媒体であって、前記マシン実行可能命令がプロセッサによって実行されるときに請求項１〜１２のいずれか１項に記載の方法が実現されることを特徴とする
マシン可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は仮想現実の分野に関し、具体的に仮想オブジェクトの変形処理方法及び装置、機器並びに記憶媒体に関する。
【背景技術】
【０００２】
ゲーム業界及び仮想現実の発展に伴い、デジタル化仮想キャラクタは広く応用されている。仮想キャラクタについては、単一のアバターからプレイヤーが自主的に設計したキャラクタに進化しており、これには、独自性のある形象の創造、表情の自動実行などが含まれる。
【０００３】
現在、ユーザは自主的に仮想オブジェクトモデルをカスタマイズした後、通常、既存のブレンドシェイプデフォーマ（ｂｌｅｎｄｓｈａｐｅ）のデータで仮想オブジェクトの表情を駆動するが、カスタマイズされたモデルの変形が大きい場合、既存のブレンドシェイプデータを引き続き使用して表情を実行すると、大きな誤差が発生してしまう。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本開示の１つ又は複数の実施例は、仮想オブジェクトの変形処理方法及び装置、機器並びに記憶媒体を提供することを目的とする。
【課題を解決するための手段】
【０００５】
第１態様では、仮想オブジェクトの変形処理方法を提供する。前記方法は、
複数の骨を含む３次元プリセット仮想オブジェクトモデルに対応する第１骨パラメータ及び第１ブレンドシェイプデータを取得するステップであって、前記第１ブレンドシェイプデータはプリセット仮想オブジェクトの変形程度を示すことに用いられるステップと、
３次元ターゲット仮想オブジェクトモデルに対応する第２骨パラメータを取得し、第２骨パラメータと前記第１骨パラメータとの間の変換関係を特定するステップと、
前記第２骨パラメータと前記第１骨パラメータとの間の変換関係及び前記第１ブレンドシェイプデータに基づいて、前記３次元ターゲット仮想オブジェクトモデルに対応する第２ブレンドシェイプデータを特定するステップと、を含む。
【０００６】
本開示に係るいずれかの実施形態に加え、前記第２骨パラメータと前記第１骨パラメータとの間の変換関係及び前記第１ブレンドシェイプデータに基づいて、３次元ターゲット仮想オブジェクトモデルに対応する第２ブレンドシェイプデータを特定するステップは、
前記３次元プリセット仮想オブジェクトモデルに対応する第１グリッドデータを取得するステップと、
前記３次元ターゲット仮想オブジェクトモデルに対応する第２グリッドデータを取得するステップと、
前記第２グリッドデータ及び前記第１グリッドデータに基づいて、前記３次元ターゲット仮想オブジェクトモデルに対応する第２ブレンドシェイプデータを特定するステップと、を含む。
【０００７】
本開示に係るいずれかの実施形態に加え、前記３次元プリセット仮想オブジェクトモデルに対応する第１グリッドデータを取得するステップは、
前記第１骨パラメータに対応する標準グリッドデータを取得するステップと、
前記標準グリッドデータ及び前記第１ブレンドシェイプデータに基づいて、前記第１ブレンドシェイプデータに対応する第１グリッドデータを得るステップと、を含む。
【０００８】
本開示に係るいずれかの実施形態に加え、前記３次元ターゲット仮想オブジェクトモデルに対応する第２グリッドデータを取得するステップは、
前記第２骨パラメータ及び前記第１骨パラメータに基づいて、前記３次元ターゲット仮想オブジェクトモデル内のすべての骨の変換行列を特定するステップと、
前記変換行列を前記第１グリッドデータに応用することで、前記３次元ターゲット仮想オブジェクトモデルに対応する第２グリッドデータを特定するステップと、を含む。
【０００９】
本開示に係るいずれかの実施形態に加え、前記第２骨パラメータ及び前記第１骨パラメータに基づいて、前記３次元ターゲット仮想オブジェクトモデル内のすべての骨の変換行列を特定するステップは、
前記プリセット仮想オブジェクトに対応する第１骨パラメータに基づいて、プリセット仮想オブジェクトモデル内の各骨の第１位置行列を取得するステップと、
仮想オブジェクトモデルに対応する第２骨パラメータに基づいて、３次元ターゲット仮想オブジェクトモデル内の各骨の第２位置行列を取得するステップと、
前記第２位置行列及び前記第１位置行列に基づいて、各骨の変換行列を取得するステップと、を含む。
【００１０】
本開示に係るいずれかの実施形態に加え、前記仮想オブジェクトモデルは顔モデルであり、前記仮想オブジェクトモデルに含まれる骨は頭部骨であり、３次元ターゲット仮想オブジェクトモデルは、
３次元ターゲット顔モデルの骨パラメータ調整情報を取得するステップと、
前記骨パラメータ調整情報に基づいて、前記３次元ターゲット顔モデルに対応する頭部骨パラメータを調整するステップと、
調整後の前記頭部骨パラメータに基づいて、３次元ターゲット顔モデルを生成するステップと、によって生成される。
【００１１】
本開示に係るいずれかの実施形態に加え、前記３次元ターゲット顔モデルの骨パラメータ調整情報を取得するステップは、
骨パラメータ調整命令を受信するステップと、
前記骨パラメータ調整命令に基づいて前記骨パラメータ調整情報を特定するステップと、を含む。
【００１２】
本開示に係るいずれかの実施形態に加え、前記骨パラメータ調整情報に基づいて、前記３次元ターゲット顔モデルに対応する頭部骨パラメータを調整するステップは、
前記頭部骨パラメータから、前記骨パラメータ調整情報に関連付けられる少なくとも１つの頭部骨の骨パラメータを取得し、前記骨パラメータ調整情報に基づいて前記少なくとも１つの頭部骨の骨パラメータを調整するステップを含む。
【００１３】
本開示に係るいずれかの実施形態に加え、少なくとも１つの頭部骨は複数の頭部骨であり、前記骨パラメータ調整情報に基づいて前記少なくとも１つの頭部骨の骨パラメータを調整するステップは、
前記骨パラメータ調整情報に基づいて前記複数の頭部骨の骨パラメータを同時に調整するステップを含む。
【００１４】
本開示に係るいずれかの実施形態に加え、前記骨パラメータ調整情報に基づいて前記少なくとも１つの頭部骨の骨パラメータを調整するステップは、
前記骨パラメータ調整情報の調整範囲を取得するステップと、
前記骨パラメータ調整情報に関連付けられる各骨パラメータの調整範囲を取得するステップと、
調整範囲内の前記骨パラメータ調整情報の変化率に基づいて、前記骨パラメータ調整情報に関連付けられる前記少なくとも１つの頭部骨の骨パラメータを調整するステップと、を含む。
【００１５】
本開示に係るいずれかの実施形態に加え、前記骨パラメータ調整命令に基づいて前記骨パラメータ調整情報を特定するステップは、
前記骨パラメータ調整命令に対して設定されたコントロールの出力変化量を取得し、前記出力変化量に基づいて前記骨パラメータ調整情報を特定するステップを含む。
【００１６】
第２態様では、仮想オブジェクトの変形処理装置を提供する。前記装置は、
複数の骨を含む３次元プリセット仮想オブジェクトモデルに対応する第１骨パラメータ及び第１ブレンドシェイプデータを取得するように構成される第１取得ユニットであって、前記第１ブレンドシェイプデータはプリセット仮想オブジェクトの変形程度を示すことに用いられる第１取得ユニットと、
３次元ターゲット仮想オブジェクトモデルに対応する第２骨パラメータを取得し、第２骨パラメータと前記第１骨パラメータとの間の変換関係を特定するように構成される第２取得ユニットと、
前記第２骨パラメータと前記第１骨パラメータとの間の変換関係及び前記第１ブレンドシェイプデータに基づいて、前記３次元ターゲット仮想オブジェクトモデルに対応する第２ブレンドシェイプデータを特定するように構成される特定ユニットと、を備える。
【００１７】
第３態様では、仮想オブジェクトの変形処理機器を提供する。前記機器は、記憶媒体、プロセッサを備え、前記記憶媒体は、プロセッサ上で実行可能なマシン実行可能命令を記憶するように構成され、前記プロセッサは、前記マシン実行可能命令を実行するときに本開示のいずれかの前記仮想オブジェクトの変形処理方法を実現するように構成される。
【００１８】
第４態様では、マシン実行可能命令が記憶されているマシン可読記憶媒体を提供する。前記マシン実行可能命令がプロセッサによって実行されるときに本開示のいずれかの前記仮想オブジェクトの変形処理方法が実現される。
【発明の効果】
【００１９】
本開示の１つ又は複数の実施例に係る仮想オブジェクトの変形処理方法及び装置、機器並びに記憶媒体によれば、仮想オブジェクトモデルを調整することで生成された３次元ターゲット仮想オブジェクトモデルに対して、予め取得したプリセット仮想オブジェクトモデルの骨パラメータと第１ブレンドシェイプデータ、及びターゲット仮想オブジェクトモデルに対応する骨パラメータに基づいて、ターゲット仮想オブジェクトモデルに対応する第２ブレンドシェイプデータを取得することで、プリセット仮想オブジェクトモデルの調整に対してブレンドシェイプデフォーマのデータを同期に更新して、ブレンドシェイプデフォーマを新しい仮想オブジェクトモデル（即ち、ターゲット仮想オブジェクトモデル）に適合させることができる。例示的に、ブレンドシェイプデータを表情の作成に用いるとき、表情駆動の精度を向上させることができる。
【図面の簡単な説明】
【００２０】
【図１】図１は本開示の少なくとも１つの実施例に係る仮想オブジェクトの変形処理方法の例である。
【図２Ａ】図２Ａは骨に基づいて作成されたプリセット顔モデルの模式図を示す。
【図２Ｂ】図２Ｂは図２Ａのプリセット顔モデルに対応するグリッドの例である。
【図３】図３は本開示の少なくとも１つの実施例に係る第２ブレンドシェイプデータを取得する方法の例である。
【図４】図４は本開示の少なくとも１つの実施例に係る骨の変換行列を取得する方法の例である。
【図５】図５は本開示の少なくとも１つの実施例に係るターゲット顔モデルを生成する方法の例である。
【図６】図６は本開示の少なくとも１つの実施例に係る調整パラメータの設定の例である。
【図７Ａ】図７Ａは本開示の少なくとも１つの実施例に係る両目の全体的な大きさを調整するための二層パラメータの設定方法の例である。
【図７Ｂ】図７Ｂは本開示の少なくとも１つの実施例に係る両目の全体的な大きさを調整するためのコントロールの例である。
【図７Ｃ】図７Ｃ及び図７Ｄは本開示の少なくとも１つの実施例に係る調整前の顔モデルの例及びターゲット顔モデルの例である。
【図７Ｄ】図７Ｃ及び図７Ｄは本開示の少なくとも１つの実施例に係る調整前の顔モデルの例及びターゲット顔モデルの例である。
【図８】図８は本開示の少なくとも１つの実施例に係るフェイスメイクアップを生成する方法の例である。
【図９Ａ】図９Ａは本開示の少なくとも１つの実施例に係るフェイスマップの例である。
【図９Ｂ】図９Ｂは本開示の少なくとも１つの実施例に係る交換可能な素材のマップの例である。
【図９Ｃ】図９Ｃは本開示の少なくとも１つの実施例に係るマップテクスチャを生成する例である。
【図１０Ａ】図１０Ａ及び図１０Ｂは本開示の少なくとも１つの実施例に係るメイクアップを生成する前の顔モデル及びメイクアップを生成した後の顔モデルである。
【図１０Ｂ】図１０Ａ及び図１０Ｂは本開示の少なくとも１つの実施例に係るメイクアップを生成する前の顔モデル及びメイクアップを生成した後の顔モデルである。
【図１１Ａ】図１１Ａは本開示の少なくとも１つの実施例に係る仮想オブジェクトの変形処理装置の例である。
【図１１Ｂ】図１１Ｂは本開示の少なくとも１つの実施例に係る別の仮想オブジェクトの変形処理装置の例である。
【図１２】図１２は本開示の少なくとも１つの実施例に係る仮想オブジェクトの変形処理機器の例である。
【発明を実施するための形態】
【００２１】
本開示の１つ又は複数の実施例の技術案をより明確に説明するために、以下、実施例に必要な図面を簡単に説明するが、当然ながら、以下に説明される図面は単に本開示に記載の実施例の一部であり、当業者であれば、創造的な労働を必要とせず、これらの図面に基づいて他の図面を得ることもできる。
【００２２】
当業者が本開示の１つ又は複数の実施例の技術案をよく理解できるようにするために、以下、本開示の１つ又は複数の実施例の図面を参照しながら、本開示の１つ又は複数の実施例の技術案を明確且つ完全に説明する。勿論、説明される実施例は単に本開示の一部の実施例に過ぎず、すべての実施例ではない。本開示の１つ又は複数の実施例に基づいて、当業者が創造的な労働を必要とせずに得るすべての他の実施例は、いずれも本開示の保護範囲に属すべきである。
【００２３】
本開示の仮想オブジェクトモデルは、コンピュータでシミュレートされた３次元動物モデル又は３次元人体モデルなどであってもよく、それは限定されない。以下では主に顔モデルを例として仮想オブジェクトの変形処理を説明する。ユーザは自主的に仮想オブジェクトモデルをカスタマイズすることができ、例えば、プリセット仮想オブジェクトモデルの構造パラメータ（例えば、骨パラメータ）を調整することでモデルの外観を変更することができる。
【００２４】
仮想オブジェクトの変形処理ではブレンドシェイプデータが利用される。ブレンドシェイプデータは、ブレンドシェイプデフォーマに記憶されているデータであって、仮想オブジェクト（例えば、顔）の変形程度を示すことに用いられ、モデルがある形状から別の形状に融合するとき、対応するグリッドデータ間の差であってもよい。標準ブレンドシェイプデータがプリセット仮想オブジェクトモデルに対して作成されたものであるため、プリセット仮想オブジェクトモデルを調整した（例えば、顔を調整した）後、標準ブレンドシェイプデータに適合できるか否かの問題が存在し、したがって、標準ブレンドシェイプデータを更新する必要がある。以下の説明では、仮想オブジェクトが顔であることを例とし、プリセット顔は標準顔であってもよく、関連技術に一般に使用されるデフォルトパラメータで生成される。
【００２５】
区別して説明しやすくするために、以下では、当該プリセット仮想オブジェクトモデルに対応する骨パラメータを第１骨パラメータと呼び、対応するブレンドシェイプデータを第１ブレンドシェイプデータと呼び、ターゲット仮想オブジェクトモデルに対応する骨パラメータを第２骨パラメータと呼び、対応するブレンドシェイプデータを第２ブレンドシェイプデータと呼ぶ。
【００２６】
上記問題に鑑みて、本開示の少なくとも１つの実施例は仮想オブジェクトの変形処理方法を提供する。図１は、当該方法の一実施例の流れであり、当該方法は以下のステップ１０１〜１０３を含む。
【００２７】
ステップ１０１では、複数の骨を含む３次元プリセット仮想オブジェクトモデルに対応する第１骨パラメータ及び第１ブレンドシェイプデータを取得する。
【００２８】
本ステップでは、第１ブレンドシェイプデータは、プリセット仮想オブジェクト（例えば、顔）の変形程度を示すことに用いられる。即ち、前記第１ブレンドシェイプデータをプリセット顔モデルに応用すると、前記プリセット顔モデルに、対応する変形を発生させることができる。
【００２９】
骨（ｂｏｎｅｓ）に基づいて生成されたプリセット仮想オブジェクトモデルでは、各骨は複数のパラメータを有することができる。例えば、変位パラメータｔ、回転パラメータｒ、スケーリングパラメータｓのうちの少なくとも１つを含む。プリセット仮想オブジェクトモデル、例えばプリセット顔モデルについては、当該顔モデルに含まれる骨が頭部骨であり、各骨の骨パラメータが通常ｘ軸、ｙ軸、ｚ軸の数値を含むため、Ｂｉ＝（ｔｘ，ｔｙ，ｔｚ，ｒｘ，ｒｙ，ｒｚ，ｓｘ，ｓｙ，ｓｚ）でプリセット顔モデルの骨パラメータを示すことができ、ただし、ｉ＝１、２…Ｎｂ、Ｎｂはモデルに含まれる骨の数である。
【００３０】
図２Ａは骨に基づいて作成されたプリセット顔モデルの模式図を示す。当該プリセット顔モデルは、４８個の骨に基づいて骨格を作成し、骨格に基づきスキニング処理を行うことで得られたモデルであり、図２Ａの白い線は骨を示す。
【００３１】
当業者であれば、プリセット仮想オブジェクトモデルに基づいて、他のタイプのデータを取得することができ、上記に限定されないことを理解すべきである。
【００３２】
ステップ１０２では、３次元ターゲット仮想オブジェクトモデルに対応する第２骨パラメータを取得し、第２骨パラメータと前記第１骨パラメータとの間の変換関係を特定する。
【００３３】
本ステップでは、ターゲット仮想オブジェクトモデルは、プリセット仮想オブジェクトモデルを調整して得られるものであってもよく、ここでの調整はプリセット仮想オブジェクトモデルの第１骨パラメータを調整することであってもよく、それにより、ターゲット仮想オブジェクトモデルの第２骨パラメータが得られる。当該第２骨パラメータは、第１骨パラメータとは、データフォーマットが同じであるが、数値が異なる。取得した第２骨パラメータ及び第１骨パラメータによって、両者間の変換関係を特定することができる。
【００３４】
ステップ１０３では、前記第２骨パラメータと前記第１骨パラメータとの間の変換関係及び前記第１ブレンドシェイプデータに基づいて、前記３次元ターゲット仮想オブジェクトモデルに対応する第２ブレンドシェイプデータを特定する。
【００３５】
第２骨パラメータが第１骨パラメータに基づき調整して取得されるものであるので、両者の間に変換関係が存在する。第２骨パラメータと第１骨パラメータとの間の変換関係を第１ブレンドシェイプデータに応用することで、第２骨パラメータに対応する、即ち、３次元ターゲット仮想オブジェクトモデルに対応する第２ブレンドシェイプデータを取得することができる。
【００３６】
本実施例では、プリセット仮想オブジェクトモデルを調整することで３次元ターゲット仮想オブジェクトモデルを生成することができる。予め取得したプリセット仮想オブジェクトモデルの第１骨パラメータと第１ブレンドシェイプデータ、及びターゲット仮想オブジェクトモデルに対応する第２骨パラメータに基づいて、ターゲット仮想オブジェクトモデルに対応する第２ブレンドシェイプデータを取得する。このように、プリセット仮想オブジェクトモデルの調整に対してブレンドシェイプデフォーマのデータを同期に更新して、ブレンドシェイプデフォーマを新しい仮想オブジェクトモデル（即ち、ターゲット仮想オブジェクトモデル）に適合させることができる。例示的に、ブレンドシェイプデータを表情の作成に用いるとき、表情駆動の精度を向上させることができる。
【００３７】
ブレンドシェイプデータを表情の作成に用いる場合、プリセット仮想オブジェクトモデルの第１ブレンドシェイプデータは、表情に対応するグリッドデータと標準グリッドデータとの差であってもよい。ここでの標準グリッドデータは、プリセット仮想オブジェクトモデルの骨に対応するグリッド頂点データを含んでもよい。
【００３８】
プリセット仮想オブジェクトモデルを調整した後、骨パラメータが変化し、特に、変化が大きい場合、依然として標準ブレンドシェイプデータで表情を実行すると、適合しない問題が発生し、表情の誤差が大きくなり、モデルのリアリティ及び活気に悪影響を与える。したがって、ブレンドシェイプデータを更新する必要があり、それにより、調整して得られた３次元ターゲット仮想オブジェクトモデルに適合させ、表情をより正確に実行することができる。
【００３９】
一例では、第２ブレンドシェイプデータを取得する方法は、図３に示すように、以下のステップ３０１〜３０３を含む。
【００４０】
ステップ３０１では、前記３次元プリセット仮想オブジェクトモデルに対応する第１グリッドデータを取得する。
【００４１】
一例では、前記３次元プリセット仮想オブジェクトモデルに対応する第１グリッドデータを取得するステップは、
前記第１骨パラメータに対応する標準グリッドデータを取得するステップと、前記標準グリッドデータ及び前記第１ブレンドシェイプデータに基づいて、前記第１ブレンドシェイプデータに対応する第１グリッドデータを得るステップと、を含む。
【００４２】
プリセット仮想オブジェクトモデルに対応する第１骨パラメータを取得すると、その骨パラメータに対応する標準グリッドデータを取得することができる。図２Ｂは、プリセット顔モデル（表情を実行しない）の骨パラメータに対応する標準グリッドデータの例を示し、当該標準グリッドデータは、表情を実行しない時のプリセット顔モデルの骨に対応するグリッド頂点データを含んでもよい。
【００４３】
ブレンドシェイプデフォーマに記憶されたものは表情に対応するグリッドデータと標準グリッドデータとの差であるため、標準グリッドデータを取得した後、それと第１ブレンドシェイプデフォーマ（第１ブレンドシェイプデータに対応するブレンドシェイプデフォーマ）に記憶された差とを加算することで、第１ブレンドシェイプデータに対応する第１グリッドデータを還元することができる。
【００４４】
例を挙げて、プリセット顔モデルに対応する標準グリッドデータがベクトル［１，１，１，…，１，１］であり、目の大きさを制御するためのブレンドシェイプデフォーマに記憶されたブレンドシェイプデータがベクトル［０，０，０．５，…，０，０］（２つのベクトルのサイズが同じである）であるとする。当該ブレンドシェイプデフォーマを実行する場合、記憶された第１ブレンドシェイプデータと標準グリッドデータとを加算することで、プリセット顔に目が大きくなるという効果を得ることができる。即ち、標準グリッドデータと第１ブレンドシェイプデータとを加算したベクトル［１，１，１．５，…，１，１］は、目が大きくなるという表情に対応する第１グリッドデータである。当業者であれば、以上のグリッドデータフォーマットが例示的なものに過ぎず、本開示のグリッドデータフォーマットに限定されないことを理解すべきである。
【００４５】
ステップ３０２では、前記３次元ターゲット仮想オブジェクトモデルに対応する第２グリッドデータを取得する。
【００４６】
一例では、前記３次元ターゲット仮想オブジェクトモデルに対応する第２グリッドデータを取得するステップは、
前記第２骨パラメータ及び前記第１骨パラメータに基づいて、前記３次元ターゲット仮想オブジェクトモデル内のすべて又は一部の骨の変換行列を特定するステップと、
前記変換行列を前記第１グリッドデータに応用することで、前記３次元ターゲット仮想オブジェクトモデルに対応する第２グリッドデータを特定するステップと、を含む。
【００４７】
前述ターゲット仮想オブジェクトモデルとプリセット仮想オブジェクトモデルとの間ですべて又は一部の骨をトラバースして、各骨の変換行列、即ち第２骨パラメータと第１骨パラメータとの間の変換関係を取得することができる。
【００４８】
図４は各骨の変換行列を取得する方法の一実施例の流れを示す。図４に示すように、当該方法は、以下のステップ４０１〜４０３を含む。
【００４９】
ステップ４０１では、前記プリセット仮想オブジェクトモデルに対応する第１骨パラメータに基づいて、プリセット仮想オブジェクトモデル内の各骨の第１位置行列を取得する。
【００５０】
ステップ４０２では、ターゲット仮想オブジェクトモデルに対応する第２骨パラメータに基づいて、３次元ターゲット仮想オブジェクトモデル内の各骨の第２位置行列を取得する。
【００５１】
ステップ４０３では、前記第２位置行列及び前記第１位置行列に基づいて、各骨の変換行列を取得する。
【００５２】
一例では、前記第２位置行列を前記第１位置行列で割ることで、各骨の変換行列を取得することができる。
【００５３】
例えば、下式で計算して骨の変換行列を取得することができる。
【００５４】
Ｔ＝Ｔｎｅｗ＊ｉｎｖｅｒｓｅ（Ｔｎｏｒｍａｌ）            （１）
ただし、Ｔは骨の変換行列を示し、Ｔｎｅｗはプリセット仮想オブジェクトモデルに対応する骨の第１位置行列を示し、Ｔｎｏｒｍａｌはターゲット仮想オブジェクトモデルに対応する骨の第２位置行列を示し、ｉｎｖｅｒｓｅ（）は逆行列を求める演算を示す。
【００５５】
骨の変換行列を第１グリッドデータに応用すると、新しいグリッド頂点データを得ることができる。それは主に骨格スキニングのアイデアを利用し、骨格の変化状態及び各グリッド頂点のバインディング情報に基づいて、新しいグリッド頂点座標、即ち、ターゲット仮想オブジェクトモデルに対応する第２グリッドデータを算出する。例えば、下式で計算することができる。
【００５６】
【化１】
2021527862.tif 000003
【００５７】
ただし、Ｖｅｒｔｅｘｎｅｗ、Ｖｅｒｔｅｘｏｒｉはそれぞれ新しいグリッド頂点及び初期のグリッド頂点を示し、ｋは当該頂点がｋ個の骨の影響を受けることを示し、Ｔｉ及びｗｅｉｇｈｔｉはそれぞれ骨の変換行列及び対応する重みを示す。
【００５８】
ステップ３０３では、前記第２グリッドデータ及び前記第１グリッドデータに基づいて、前記３次元ターゲット仮想オブジェクトモデルに対応する第２ブレンドシェイプデータを特定する。
【００５９】
一例では、前記第２グリッドデータから前記第１グリッドデータを差し引くことで、ターゲット仮想オブジェクトモデルに対応する第２ブレンドシェイプデータを得ることができる。
【００６０】
依然として目の大きさを制御するためのブレンドシェイプデフォーマを例とし、ステップ３０１で得られた第１グリッドデータは、プリセット顔モデルに目が大きくなるという効果を取得するのに対応するグリッドデータに対応する。ステップ３０２で得られた第２グリッドデータは、ターゲット顔モデルに目が大きくなるという効果を取得するグリッドデータに対応する。当該第２グリッドデータから当該第１グリッドデータを差し引くことで得られる第２ブレンドシェイプデータは、ターゲット顔モデルに対応するブレンドシェイプデフォーマに記憶されたデータである。
【００６１】
本実施例では、ターゲット仮想オブジェクトモデルを生成した後、骨の変換行列をプリセット仮想オブジェクトモデルに対応するブレンドシェイプデフォーマに同期に応用して更新し、ターゲット仮想オブジェクトモデルに適合させることで、表情駆動の精度を向上させる。
【００６２】
当業者であれば、本実施例の仮想オブジェクトの変形処理方法は、上述したターゲット仮想オブジェクトモデルの生成方法で生成された顔モデルに応用するのに限定されず、プリセット仮想オブジェクトモデルを任意にカスタマイズする時のブレンドシェイプデータの更新に用いてもよいことを理解すべきである。カスタマイズ後のモデルのブレンドシェイプデータの更新については、その変換行列では、Ｔｎｅｗはカスタマイズ後のモデルに対応する骨の位置行列を示し、Ｔｎｏｒｍａｌはカスタマイズ前のモデルに対応する骨の位置行列を示す。
【００６３】
前述仮想オブジェクトの変形処理方法が応用されるターゲット仮想オブジェクトモデルは顔モデルであってもよく、当該顔モデルに含まれる骨は頭部骨であり、当該顔モデルは以下の方式で生成される。図５はターゲット顔モデルを生成する方法の一実施例の流れを示し、図５に示すように、当該方法は、以下のステップ５０１〜５０３を含む。
【００６４】
ステップ５０１では、３次元ターゲット顔モデルの骨パラメータ調整情報を取得する。
【００６５】
本実施例では、骨パラメータ調整命令を受信し、前記骨パラメータ調整命令に基づいて前記骨パラメータ調整情報を特定することができる。
【００６６】
取得した骨パラメータ調整情報は、少なくとも変化量、又は相対的変化量又は変化率のうちの１つである。
【００６７】
ステップ５０２では、前記骨パラメータ調整情報に基づいて、前記３次元ターゲット顔モデルに対応する頭部骨パラメータを調整する。
【００６８】
本ステップでは、前記骨パラメータ調整情報に含まれる変化量、又は相対的変化量又は変化率に基づいて、頭部骨パラメータを調整することで、前記頭部骨パラメータに、対応する変化を発生させ、例えば、対応する変化量又は相対的変化量を増減し、又は対応する変化率を増減する。頭部骨パラメータを調整した後に、調整後の１組の骨パラメータを得ることができる。
【００６９】
ステップ５０３では、調整後の前記頭部骨パラメータに基づいて、３次元ターゲット顔モデルを生成する。
【００７０】
頭部骨パラメータが調整されると、即ち、３次元ターゲット顔モデルの骨が調整され、それにより、モデルの骨構造を変更し、所望の３次元ターゲット顔モデルを得る。
【００７１】
本実施例では、骨パラメータ調整情報によって、頭部骨パラメータを調整し、頭部の少なくとも１つの骨パラメータの同時調整を実現し、それにより、モデルの全体的な形状及び局所細部の同時調整を実現することができ、迅速な調整の目的を達成できるとともに、精細な調整を行うこともできる。以下の説明では、３次元ターゲット顔モデルの生成方法をより詳細に説明する。
【００７２】
本実施例の方法を応用して３次元ターゲット仮想オブジェクトモデルを生成するとき、３次元ターゲット仮想オブジェクトモデルの骨パラメータを調整するための調整パラメータを予め設定することができる。当該調整パラメータは上記骨パラメータ調整情報の一実施形態である。
【００７３】
当該調整パラメータが３次元ターゲット仮想オブジェクトモデルの骨パラメータに基づいて設定されるものであるため、まず、３次元ターゲット仮想オブジェクトモデルの骨パラメータ（即ち、頭部骨パラメータ）を取得する。
【００７４】
３次元ターゲット仮想オブジェクトモデルの骨パラメータは、例えばＢｉ＝（ｔｘ，ｔｙ，ｔｚ，ｒｘ，ｒｙ，ｒｚ，ｓｘ，ｓｙ，ｓｚ）であってもよく、ただし、ｉ＝１、２…Ｎｂ、Ｎｂは３次元ターゲット仮想オブジェクトモデルに含まれる骨の数である。骨パラメータＢｉを調整することで、骨の位置、方向、サイズのうちの１つ又は複数の項目を変化させることができ、それにより、３次元ターゲット仮想オブジェクトモデルの骨構造を変更することができる。しかし、調整可能なパラメータの自由度が高すぎると、ユーザが局所細部を調整する難度は高くなってしまう。したがって、本実施例では、３次元ターゲット仮想オブジェクトモデルの骨パラメータの調整パラメータを設定して、骨構造を調整する。
【００７５】
当該調整パラメータは頭部内の少なくとも１つの骨のパラメータに関連付けられる。ここでの関連とは、調整パラメータを変更すると、前記少なくとも１つの骨の１つ又は複数のパラメータが同時に変化することを指す。したがって、当該調整パラメータは、それに関連する骨パラメータのコントローラ（ｃｏｎｔｒｏｌｌｅｒ）と見なすことができる。当該少なくとも１つの骨は、頭部内の少なくとも１つの局所領域に属する骨であってもよい。
【００７６】
一例では、以下の方法で上記調整パラメータの設定を実現することができる。当該方法は、以下のステップを含む。
【００７７】
まず、前記調整パラメータに関連付けられる骨を取得する。
【００７８】
各調整パラメータがどの骨に関連するかは、予め設定されてもよい。当該調整パラメータを調整すると、当該調整パラメータに関連付けられる骨のパラメータが同時に調整される。
【００７９】
各調整パラメータに対しては、１つの局所領域内の複数の骨のパラメータを当該調整パラメータに関連付けることができる。当該局所領域内のすべての骨であってもよく、一部の骨であってもよい。例えば、両目の全体的な大きさを調整するための眼部骨コントローラについては、眼部領域でＥ１個の骨があるが、そのうちのＥ２（Ｅ２＜Ｅ１）個の骨を調整するだけで、目の大きさの変化を制御できるとする場合、当該眼部骨コントローラはこのＥ２個の骨を制御すればよい。図７Ａに示すように、両目の全体的な大きさを調整するための眼部骨コントローラと骨ｅｙｅ＿０１、ｅｙｅ＿０２、ｅｙｅ＿０３（ｅｙｅ＿０１、ｅｙｅ＿０２、ｅｙｅ＿０３は眼部領域の骨を示す）のパラメータとを関連付けることで、当該眼部骨コントローラはこの３つの骨を制御することができる。次に、各前記骨の骨パラメータのうち、前記調整パラメータに関連付けられる骨パラメータを取得する。
【００８０】
上記調整パラメータに関連付けられる各骨については、調整パラメータはそのすべての９つのパラメータを制御してもよく、そのうちの１つ又は複数のパラメータを制御してもよい。各骨のどのパラメータが調整パラメータに関連付けられるかは、予め設定されてもよい。
【００８１】
図６の図示を例とし、ｃｏｎｔｒｏｌｌｅｒ１、ｃｏｎｔｒｏｌｌｅｒ２、…、ｃｏｎｔｒｏｌｌｅｒＭは各コントローラであり、ただし、Ｍはコントローラの数であり、ここで、コントローラｃｏｎｔｒｏｌｌｅｒ１は３つの骨ｂｏｎｅ１、ｂｏｎｅ２、ｂｏｎｅ３を制御でき、ｃｏｎｔｒｏｌｌｅｒ１は、ｂｏｎｅ１の並進パラメータ（ｔｘ，ｔｙ）、ｂｏｎｅ２のスケーリングパラメータ（ｓｘ，ｓｙ，ｓｚ）、ｂｏｎｅ３の回転パラメータ（ｒｘ）という各骨のパラメータを制御できる。即ち、ｃｏｎｔｒｏｌｌｅｒ１の調整パラメータを調整することで、この３つの骨の上記パラメータを同時に調整することができる。
【００８２】
最後、前記調整パラメータに関連付けられる各骨パラメータを設定することで、前記調整パラメータの変化に基づいて、前記骨パラメータを同時に調整する。
【００８３】
調整パラメータに関連付けられる１つ又は複数の骨パラメータを特定した後、関連する各骨パラメータを設定することで、当該調整パラメータの変化に基づいて当該骨パラメータを同時に調整し、それにより、調整パラメータによる関連する骨パラメータへの制御を実現する。例示的に、調整パラメータと同じ変化率で、当該調整パラメータに関連付けられる１つ又は複数の骨パラメータを調整することができる。例えば、調整パラメータの値の調整幅は１／１０増加する場合、それに関連する１つ又は複数の骨パラメータの値の調整幅も同時に１／１０増加する。
【００８４】
一例では、以下の方法で調整パラメータによる骨パラメータへの調整を実現することができる。当該方法は以下のステップを含む。
【００８５】
まず、前記調整パラメータの変化範囲を取得する。当該変化範囲は予め設定されてもよい。当該範囲が調整パラメータの相対的変化量を特定するためのものであるため、その具体的な範囲の設定は本開示の技術案の実現に影響を与えない。
【００８６】
次に、前記調整パラメータに関連付けられる各骨パラメータの変化範囲を取得する。当該変化範囲は予め設定されてもよく、それは実際に調整する必要がある骨の変位、方向、距離などに基づいて、具体的に骨パラメータの変化範囲を設定することができる。例示的に、ある骨パラメータの変化範囲が０である場合、このパラメータが調整不能であり、即ち、当該調整パラメータの制御を受けないことを意味する。
【００８７】
その後、前記調整パラメータに関連付けられる各骨パラメータを設定することで、変化範囲内の前記調整パラメータの変化率に基づいて、骨パラメータの変化範囲内に同じ変化率の変化を同時に行う。ここでの変化率は、相対的変化量で示すこともできる。例を挙げて、図６のｃｏｎｔｒｏｌｌｅｒ１については、その調整パラメータの変化範囲が［０，１］であり、調整パラメータの値が０．２から０．３まで変化する場合、相対的変化量が１／１０であり、即ち、変化率が１／１０である。このようにして、ｃｏｎｔｒｏｌｌｅｒ１に関連するｂｏｎｅ１、ｂｏｎｅ２、ｂｏｎｅ３の骨パラメータの値は同時に１／１０アップする。それにより、調整パラメータと当該調整パラメータに関連付けられる骨パラメータとの同時調整を実現する。例示的に、以上の骨パラメータが調整パラメータに等比的に変化することは、線形補間アルゴリズムで実現することができる。
【００８８】
当業者であれば、異なる骨パラメータに対して異なる変化方式を設定してもよいことを理解すべきであり、例えば、ｃｏｎｔｒｏｌｌｅｒ１の調整パラメータの値が０．２から０．３まで変化する場合、ｂｏｎｅ１の骨パラメータを１／１０アップさせるが、ｂｏｎｅ２及びｂｏｎｅ３の骨パラメータを１／５アップさせることができる。つまり、異なる骨パラメータに異なる変化傾向を発生させることができる。なお、調整パラメータの値が０から１まで変化する場合、それに対応して、各骨パラメータもそれぞれの変化区間内に最小値から最大値まで変化するが、一方、各骨パラメータの変化過程が異なってもよいということに過ぎない。例示的に、以上の異なる骨パラメータが調整パラメータにつれて異なる傾向で変化することは、非線形補間アルゴリズムで実現することができる。
【００８９】
本開示の少なくとも１つの実施例では、前記骨パラメータ調整情報の取得は、
骨パラメータ調整命令を受信するステップと、
前記骨パラメータ調整命令に基づいて前記骨パラメータ調整情報を特定するステップと、を含む。
【００９０】
前記骨パラメータ調整命令とは、前記調整パラメータへの調整命令を指す。前記調整パラメータの調整命令に基づいて、前記骨パラメータ調整情報を特定することができる。
【００９１】
前記骨パラメータ調整情報を取得した後、前記骨パラメータ調整情報に関連付けられる少なくとも１つの頭部骨の骨パラメータを取得し、即ち、前記調整パラメータに関連付けられる少なくとも１つの頭部骨の骨パラメータを取得し、前記骨パラメータ調整情報に基づいて前記少なくとも１つの頭部骨の骨パラメータを調整する。
【００９２】
前記少なくとも１つの頭部骨が１つの骨である場合、前記骨パラメータ調整情報に基づいて当該骨の骨パラメータを調整し、前記少なくとも１つの頭部骨が複数の骨である場合、前記骨パラメータ調整情報に基づいて前記複数の頭部骨の骨パラメータを同時に調整する。
【００９３】
一例では、前記骨パラメータ調整情報に基づいて前記少なくとも１つの頭部骨の骨パラメータを調整するステップは、
前記骨パラメータ調整情報の調整範囲を取得するステップと、
前記骨パラメータ調整情報に関連付けられる各骨パラメータの調整範囲を取得するステップと、
調整範囲内の前記骨パラメータ調整情報の変化率に基づいて、前記骨パラメータ調整情報に関連付けられる前記少なくとも１つの頭部骨の骨パラメータを調整するステップと、を含み、骨パラメータの調整は当該骨パラメータの調整範囲内で行われる。
【００９４】
一例では、骨パラメータ調整命令に対して、スライダなどのコントロールを予め設定することができ、当該コントロールを操作することで調整パラメータの調整命令を生成する。モデルを生成するとき、当該コントロールの出力変化量を取得し、即ち、調整命令に対応する骨パラメータ調整情報を取得することで、関連する骨パラメータを調整することができる。
【００９５】
以下、図７Ａの両目の全体的な大きさを調整することを例として、具体的に調整パラメータによる顔モデルへの制御を説明する。
【００９６】
例えば、両目の全体的な大きさを調整するためのコントローラｃｏｎｔｒｏｌｌｅｒ１＿ｅｙｅのパラメータ変化範囲を［０，１］として設定し、即ち、その調整パラメータの値は［０，１］間の任意値であり、スライダを操作することで、その調整パラメータの値をこの区間で変化させることができ、これは図７Ｂに示すとおりである。
【００９７】
コントローラｃｏｎｔｒｏｌｌｅｒ１＿ｅｙｅは眼部領域の３つの骨ｅｙｅ＿０１、ｅｙｅ＿０２、ｅｙｅ＿０３を制御でき、コントローラｃｏｎｔｒｏｌｌｅｒ１＿ｅｙｅは、骨ｅｙｅ＿０１のスケーリングパラメータ（ｓｘ，ｓｙ，ｓｚ）、骨ｅｙｅ＿０２のスケーリングパラメータ（ｓｘ，ｓｙ，ｓｚ）、骨ｅｙｅ＿０３のスケーリングパラメータ（ｓｘ，ｓｙ，ｓｚ）という各骨のパラメータを制御でき、例示的に、各パラメータの調整範囲はいずれも［−１，１］であり、即ち、各パラメータ値は当該区間内の任意数値である。例示的に、この３つの骨の他のパラメータの調整範囲は０であり、即ち、コントローラｃｏｎｔｒｏｌｌｅｒ１＿ｅｙｅによって調整できず、且つ制御リストに表示しない。
【００９８】
コントローラｃｏｎｔｒｏｌｌｅｒ１＿ｅｙｅのスライダを操作することで、その調整パラメータの値を変化させ、当該数値を取得する。次に、当該数値を利用して、コントローラｃｏｎｔｒｏｌｌｅｒ１＿ｅｙｅに対応する上記３つの骨のパラメータに対して、対応する調整範囲内で線形補間を行って、各パラメータの調整後の数値を得る。即ち、パラメータ範囲内におけるコントローラｃｏｎｔｒｏｌｌｅｒ１＿ｅｙｅの調整パラメータの値の変化に基づいて、関連する骨パラメータの値をその調整範囲内で等比的に変化させる。それにより、両目の全体的な大きさの調整を実現する。図７Ｃは原両目の全体的な大きさの模式図を示し、ただし、左の各フレームは骨パラメータを示し、それぞれ、頭部の全体的なパラメータ（ｈｅａｄ＿ａｌｌ＿ｐ＿Ｎ）、左頬の全体的なパラメータ（ｃｈｅｅｋ＿ｐ＿Ｌ）、左頬パラメータ（ｃｈｅｅｋ＿０１＿ｐ＿Ｌ、ｃｈｅｅｋ＿０２＿ｐ＿Ｌ、ｃｈｅｅｋ＿０３＿ｐ＿Ｌ）、右頬の全体的なパラメータ（ｃｈｅｅｋ＿ｐ＿Ｒ）、右頬パラメータ（ｃｈｅｅｋ＿０１＿ｐ＿Ｒ、ｃｈｅｅｋ＿０２＿ｐ＿Ｒ、ｃｈｅｅｋ＿０３＿ｐ＿Ｒ）、眼部の全体的なパラメータ（ｅｙｅ＿ｐ＿Ｌ）、眼部パラメータ（ｅｙｅ＿０１＿ｐ＿Ｌ、ｅｙｅ＿０２＿ｐ＿Ｌ、ｅｙｅ＿０３＿ｐ＿Ｌ、ｅｙｅ＿０４＿ｐ＿Ｌ、）、右は各コントローラのスライダコントロールである。例えば、図７Ｂに示されるスライダを操作して、その調整パラメータの値を小さくすることで、図７Ｄに示される両目が全体的に小さくなるという効果を得る。当業者であれば、図７Ｃ〜図７Ｄに示されるのは骨格図に基づきスキニングして得られた３次元モデルであるが、それから骨の変化による効果を反映できることを分かっている。
【００９９】
一例では、調整された骨が対称な骨である場合、調整された骨に対称な骨のパラメータは、それに対応して変化する。図２Ａに示すように、顔の骨はほとんど対称であり、対称な骨については、一方を調整すると、他方も変化する。つまり、対称な骨のパラメータが関連し、一方のパラメータが変化すると、他方のパラメータも対応して変化する。
【０１００】
対称な骨を対応して変化させることで、調整ステップを減少させるとともに、顔の対称性の維持に有利である。
【０１０１】
本開示に記載の局所領域は、１つの領域であってもよく、調整パラメータがある効果を実現するために制御する必要がある複数の領域であってもよい。調整パラメータが実現できる効果に基づいて、当該調整パラメータに対応するコントロールを命名することができる。図７Ｃ〜図７Ｄに示すように、「眉の左右調整」、「眉の上下調整」などと命名されたコントロールが含まれ、当該コントロールが実現できる効果を直感的に反映し、ユーザは操作しやすい。
【０１０２】
生成された顔モデルに対しては、通常、モデル分割の方式でカスタマイズメイクアップを生成し、キャラクタモデルに基づき、各交換可能な素材のために１つの単独のモデルを分離するが、この方式がレンダリング段階で複数のドローコール（ｄｒａｗ  ｃａｌｌ）を引き起こすため、プログラムの性能に大きな影響を与える。
【０１０３】
それに鑑みて、以下の実施例では、生成された顔モデルに対してフェイスメイクアップを生成する方法を提供し、図８に示すように、以下のステップ８０１〜８０４を含む。
【０１０４】
ステップ８０１では、前記顔モデルの骨パラメータに基づいてフェイスマップを生成する。
【０１０５】
本ステップでは、前記顔モデルの骨パラメータに基づいてフェイスマップを生成することができる。当該フェイスマップは、メイクアップに対応する複数の領域を含み、異なる骨パラメータによって、各矩形領域のサイズ及び位置は通常異なる。ここでのメイクアップとは、顔モデルにとって交換可能なフェイス素材を指し、例えば、眉、頬紅、唇、髭などであるが、生成されたモデルが有した、交換不能なフェイス部位ではない。当業者であれば、交換可能なフェイス素材は上記に限定されず、他のフェイスメイクアップを含んでもよいことを理解すべきである。
【０１０６】
当業者であれば、当該フェイスマップは、他の方式で作成、生成されたフェイスマップであってもよく、上記顔モデルの骨パラメータに基づいて生成されたものに限定されないことを理解すべきである。
【０１０７】
図９Ａに示すように、当該フェイスマップには、眉、頬紅、唇又は唇及び髭に対応する矩形領域が含まれる。各矩形領域は、幅、高さ、座標横方向オフセット値、座標縦方向オフセット値というパラメータのうちの少なくとも１つを含む。
【０１０８】
ステップ８０２では、前記領域に対して、対応するメイクアップの交換可能な素材マップを取得する。
【０１０９】
矩形領域を例として、本ステップでは、矩形領域のパラメータに基づいて、対応するメイクアップの交換可能な素材マップを作成、生成してもよく、対応するマップを呼び出し、インポートしてもよい。マップの例は図９Ｂを参照し、各交換可能な素材のマップと対応する矩形領域との幅及び高さは合致する。
【０１１０】
各交換可能な素材のマップの色を変更でき、マップに１層の細部テクスチャを追加できる。
【０１１１】
一例では、交換可能な素材マップの透明度情報とテクスチャ情報を混合することで、前記交換可能な素材マップのテクスチャを生成することができる。当該テクスチャ情報は交換可能な素材のマップに対して選択されたテクスチャ情報であり、混合式は以下のとおりである。
【０１１２】
【化２】
2021527862.tif 000004
【０１１３】
ただし、Ｃｏｌｏｒｆｉｎａｌはマップの最終的な色を示し、ＣｏｌｏｒｂａｓｅはＡｌｐｈａ！＝１のときに表示するフェイスマップの色を示し、ＣｏｌｏｒｄｅｔａｉｌはＡｌｐｈａ＝＝１のときに表示する交換可能な素材マップの色を示す。
【０１１４】
ステップ８０３では、各メイクアップに対して取得した交換可能な素材マップと前記フェイスマップとを合わせ、合わせたマップを得る。
【０１１５】
一例では、以下の方式で各メイクアップの交換可能な素材マップとフェイスマップとを合わせることができる。
【０１１６】
交換可能な素材マップに対応する矩形領域の座標横方向オフセット値及び座標縦方向オフセット値に応じて、前記交換可能な素材マップをフェイスマップの対応する矩形領域にコピーし、フェイスマップと前記交換可能な素材マップとを透明度情報に従って混合する。前記透明度情報は前記交換可能な素材マップの透明度情報である。
【０１１７】
一例では、まず、フェイスマップをレンダテクスチャ（ＲｅｎｄｅｒＴｅｘｔｕｒｅ）にコピーし、次に、各交換可能な素材マップをフェイスマップの対応する矩形領域にコピーし、レンダテクスチャを利用して交換可能な素材マップとフェイスマップとの合わせを実現する。
【０１１８】
一例では、フェイスマップ及びそれに対応するシェーダー（ｓｈａｄｅｒ）をともにレンダテクスチャにコピーする。
【０１１９】
交換可能な素材マップとフェイスマップとを合わせた結果は図９Ｃに示される。
【０１２０】
ステップ８０４では、前記合わせたマップを前記顔モデルにマッピングして、前記顔モデルのフェイスメイクアップを生成する。
【０１２１】
一例では、まず、前記フェイスマップを１つのフレームバッファオブジェクト（ＦｒａｍｅＢｕｆｆｅｒＯｂｊｅｃｔ）にレンダリングし、前記顔モデルのテクスチャ座標ＵＶに基づいて、ＧＰＵの顔モデルに対応するマップオブジェクトに当該フレームバッファオブジェクトを関連付け、それにより、前記合わせたマップから前記顔モデルまでのマッピングを実現する。
【０１２２】
図１０Ａは初期の顔モデルを示し、図１０Ｂは上記方法でフェイスメイクアップを生成した後の顔モデルを示す。
【０１２３】
本実施例では、フェイスマップとフェイスマップの各矩形領域に対応するメイクアップの交換可能なマップとを生成することで、合わせてから描く方法を利用して、レンダリング効率を向上させる。
【０１２４】
図１１Ａは仮想オブジェクトの変形処理装置を提供し、図１１Ａに示すように、当該装置は、
複数の骨を含む３次元プリセット仮想オブジェクトモデルに対応する第１骨パラメータ及び第１ブレンドシェイプデータを取得するように構成される第１取得ユニット１１０１であって、前記第１ブレンドシェイプデータはプリセット仮想オブジェクトの変形程度を示すことに用いられる第１取得ユニット１１０１と、
３次元ターゲット仮想オブジェクトモデルに対応する第２骨パラメータを取得し、第２骨パラメータと前記第１骨パラメータとの間の変換関係を特定するように構成される第２取得ユニット１１０２と、
前記第２骨パラメータと前記第１骨パラメータとの間の変換関係及び前記第１ブレンドシェイプデータに基づいて、前記３次元ターゲット仮想オブジェクト顔モデルに対応する第２ブレンドシェイプデータを特定するように構成される特定ユニット１１０３と、を備える。
【０１２５】
図１１Ｂは別の仮想オブジェクトの変形処理装置を提供し、図１１Ｂに示すように、第２取得ユニット１１０２は、ターゲット顔モデルを生成するように構成される顔モデル生成サブユニット１１０２＿１を備え、前記顔モデル生成サブユニット１１０２＿１は、具体的に、
３次元ターゲット顔モデルの骨パラメータ調整情報を取得し、
前記骨パラメータ調整情報に基づいて、前記３次元ターゲット顔モデルに対応する頭部骨パラメータを調整し、
調整後の前記頭部骨パラメータに基づいて、３次元ターゲット顔モデルを生成する、ように構成される。
【０１２６】
図１２は本開示の少なくとも１つの実施例に係る仮想オブジェクトの変形処理機器であり、図１２に示すように、当該機器は、記憶媒体１２０１、プロセッサ１２０２を備え、前記記憶媒体１２０１は、プロセッサ上で実行可能なマシン実行可能命令を記憶するように構成され、前記プロセッサ１２０２は、前記マシン実行可能命令を実行するときに本開示のいずれかの実施例に記載の仮想オブジェクトの変形処理方法を実現するように構成される。
【０１２７】
本開示の少なくとも１つの実施例は、マシン実行可能命令が記憶されているマシン可読記憶媒体をさらに提供し、前記マシン実行可能命令がプロセッサによって実行されるときに本開示のいずれかの前記仮想オブジェクトの変形処理方法が実現される。
【０１２８】
当業者であれば、本開示の１つ又は複数の実施例は方法、システム又はコンピュータプログラム製品として提供され得ることを分かっている。したがって、本開示の１つ又は複数の実施例は、完全なハードウェア実施例、完全なソフトウェア実施例又はソフトウェアとハードウェアを組み合わせた実施例の形態を用いることができる。さらに、本開示の１つ又は複数の実施例は、コンピュータ使用可能プログラムコードが含まれる１つ又は複数のコンピュータ使用可能記憶媒体（磁気ディスクメモリ、ＣＤ−ＲＯＭ、光学メモリなどを含むが、それらに限定されない）上で実装されるコンピュータプログラム製品の形態を用いることができる。
【０１２９】
本開示の各実施例はいずれも進歩的な方式で説明され、各実施例の同じ又は類似の部分は相互に参照すればよい。各実施例の説明の焦点は他の実施例との相違点である。特に、データ処理機器の実施例については、基本的に方法実施例と類似するため、説明が簡単であり、関連する部分は方法実施例の説明を参照すればよい。
【０１３０】
本開示の特定の実施例については、上記で説明した。他の実施例は添付の特許請求の範囲内にある。場合によっては、特許請求の範囲に記載のアクション又はステップは、実施例とは異なる順序で実行されてもよく、所望の結果が依然として実現され得る。また、図面に図示した過程は、所望の結果を実現するために、必ずしも特定の順序又は連続的な順序を必要とするとは限らない。いくつかの実施形態では、マルチタスク処理及び並列処理は可能であるか、又は有利である可能性がある。
【０１３１】
本開示で説明される主題及び機能操作の実施例は、デジタル電子回路、有形に具体化されたコンピュータソフトウェア又はファームウェア、本開示に開示された構造及びそれらの構造的等価物を含むコンピュータハードウェア、又はそれらのうちの１つ又は複数の組み合わせで実現できる。本開示で説明される主題の実施例は、１つ又は複数のコンピュータプログラムとして、即ち、有形の非一時的なプログラムキャリアに符号化されて、データ処理装置によって実行されるか、又はデータ処理装置の操作を制御するためのコンピュータプログラム命令の１つ又は複数のモジュールとして実現できる。代替的に又は加えて、プログラム命令は、人為的に生成された伝搬信号、例えばマシンによって生成された電気信号、光信号又は電磁信号上で符号化されてもよく、当該信号は、情報を符号化して適切な受信機装置に伝送してデータ処理装置によって実行されるように生成される。コンピュータ記憶媒体は、マシン可読記憶機器、マシン可読記憶基板、ランダム又はシリアルアクセスメモリデバイス、又はそれらのうちの１つ又は複数の組み合わせであってもよい。
【０１３２】
本開示で説明された処理及び論理流れは、１つ又は複数のコンピュータプログラムを実行する１つ又は複数のプログラマブルコンピュータによって実行されてもよく、それにより、入力データに基づいて操作して出力を生成することで対応する機能を実行する。前記処理及び論理流れは、例えばＦＰＧＡ（フィールドプログラマブルゲートアレイ）又はＡＳＩＣ（特定用途向け集積回路）などの専用論理回路によって実行されてもよく、装置は専用論理回路として実現されてもよい。
【０１３３】
コンピュータプログラムの実行に適用できるコンピュータは、例えば、汎用及び／又は専用マイクロプロセッサ、又はいずれか他のタイプの中央処理装置を含む。通常、中央処理装置は、読み出し専用メモリ及び／又はランダムアクセスメモリから命令とデータを受信する。コンピュータの基本コンポーネントは、命令を実施又は実行するための中央処理装置、及び命令とデータを記憶するための１つ又は複数のメモリデバイスを含む。通常、コンピュータは、データを記憶するための１つ又は複数の大容量記憶機器、例えば磁気ディスク、光磁気ディスク又は光ディスクなどを含むか、又はコンピュータは、この大容量記憶機器に操作可能に結合して、それからデータを受信する又はそれにデータを伝送し、或いは、両方であってもよい。しかし、コンピュータは必ずしもこのような機器を有する必要がない。また、コンピュータは、携帯電話、携帯情報端末（ＰＤＡ）、モバイルオーディオ又はビデオプレーヤー、ゲームコンソール、全地球測位システム（ＧＰＳ）受信機、又はユニバーサルシリアルバス（ＵＳＢ）フラッシュドライバの携帯記憶機器などの別の機器に組み込むことができ、ここで、いくつかの例を挙げるだけである。
【０１３４】
コンピュータプログラム命令とデータの記憶に適用できるコンピュータ可読媒体は、すべての形態の不揮発性メモリ、メディア及びメモリデバイスを含み、例えば、半導体メモリデバイス（例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ及びフラッシュデバイス）、磁気ディスク（例えば、内部ハードディスク又はモバイルディスク）、光磁気ディスク及びＣＤ  ＲＯＭとＤＶＤ−ＲＯＭディスクを含む。プロセッサとメモリは、専用論理回路で補完されてもよく、又は専用論理回路に組み込まれてもよい。
【０１３５】
本開示は多くの具体的な実施細部を含むが、これらは、本開示の範囲又は保護される範囲を限定するものとして解釈されるべきではなく、主に具体的な実施例の特徴を説明するためのものである。本開示の複数の実施例で説明されたある特徴は、単一の実施例で組み合わせて実施することもできる。逆に、単一の実施例で説明された様々な特徴は複数の実施例で個別に、又はいずれかの適切なサブコンビネーションで実施することもできる。また、特徴は、ある組み合わせで作動するものとして上記で説明され、ひいては最初にこのようなものとして保護されるが、保護される組み合わせからの１つ又は複数の特徴は、場合によっては、当該組み合わせから削除することができ、また保護される組み合わせは、サブコンビネーション又はサブコンビネーションの変形を対象としてもよい。
【０１３６】
同様に、図面では特定の順序で操作を図示したが、所望の結果を実現するために、これらの操作が示された特定の順序で実行され又はシーケンシャルな順序で実行されること、又はすべての例示された操作が実行されること、を要求していると理解されるべきではない。場合によっては、マルチタスク及び並列処理は有利である可能性がある。また、上記実施例の様々なシステムモジュール及びコンポーネントの分離は、すべての実施例でこのような分離を要求していると理解されるべきではない。なお、説明されたプログラムコンポーネント及びシステムは、通常、全体として単一のソフトウェア製品に集積されてもよく、又は複数のソフトウェア製品としてパッケージされてもよい。
【０１３７】
主題の特定の実施例は説明された。他の実施例は添付の特許請求の範囲内にある。場合によっては、特許請求の範囲に記載のアクションは、異なる順序で実行されてもよく、所望の結果が依然として実現され得る。また、図面に図示した処理は、所望の結果を実現するために、必ずしも示された特定の順序又はシーケンシャルな順序を必要とするとは限らない。いくつかの実施形態では、マルチタスク及び並列処理は有利である可能性がある。
【図１】
2021527862.tif 000005
【図２Ａ】
2021527862.tif 000006
【図２Ｂ】
2021527862.tif 000007
【図３】
2021527862.tif 000008
【図４】
2021527862.tif 000009
【図５】
2021527862.tif 000010
【図６】
2021527862.tif 000011
【図７Ａ】
2021527862.tif 000012
【図７Ｂ】
2021527862.tif 000013
【図７Ｃ】
2021527862.tif 000014
【図７Ｄ】
2021527862.tif 000015
【図８】
2021527862.tif 000016
【図９Ａ】
2021527862.tif 000017
【図９Ｂ】
2021527862.tif 000018
【図９Ｃ】
2021527862.tif 000019
【図１０Ａ】
2021527862.tif 000020
【図１０Ｂ】
2021527862.tif 000021
【図１１Ａ】
2021527862.tif 000022
【図１１Ｂ】
2021527862.tif 000023
【図１２】
2021527862.tif 000024
【手続補正書】
【提出日】令和2年10月21日(2020.10.21)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
仮想オブジェクトの変形処理方法であって、
複数の骨を含む３次元プリセット仮想オブジェクトモデルに対応する第１骨パラメータ及び第１ブレンドシェイプデータを取得するステップであって、前記第１ブレンドシェイプデータはプリセット仮想オブジェクトの変形程度を示すことに用いられるステップと、
３次元ターゲット仮想オブジェクトモデルに対応する第２骨パラメータを取得し、前記第２骨パラメータと前記第１骨パラメータとの間の変換関係を特定するステップと、
前記第２骨パラメータと前記第１骨パラメータとの間の変換関係及び前記第１ブレンドシェイプデータに基づいて、前記３次元ターゲット仮想オブジェクトモデルに対応する第２ブレンドシェイプデータを特定するステップと、を含むことを特徴とする
仮想オブジェクトの変形処理方法。
【請求項２】
前記第２骨パラメータと前記第１骨パラメータとの間の変換関係及び前記第１ブレンドシェイプデータに基づいて、前記３次元ターゲット仮想オブジェクトモデルに対応する第２ブレンドシェイプデータを特定するステップは、
前記３次元プリセット仮想オブジェクトモデルに対応する第１グリッドデータを取得するステップと、
前記３次元ターゲット仮想オブジェクトモデルに対応する第２グリッドデータを取得するステップと、
前記第２グリッドデータ及び前記第１グリッドデータに基づいて、前記３次元ターゲット仮想オブジェクトモデルに対応する第２ブレンドシェイプデータを特定するステップと、を含むことを特徴とする
請求項１に記載の方法。
【請求項３】
前記３次元プリセット仮想オブジェクトモデルに対応する第１グリッドデータを取得するステップは、
前記第１骨パラメータに対応する標準グリッドデータを取得するステップと、
前記標準グリッドデータ及び前記第１ブレンドシェイプデータに基づいて、前記第１ブレンドシェイプデータに対応する第１グリッドデータを得るステップと、を含むことを特徴とする
請求項２に記載の方法。
【請求項４】
前記３次元ターゲット仮想オブジェクトモデルに対応する第２グリッドデータを取得するステップは、
前記第２骨パラメータ及び前記第１骨パラメータに基づいて、前記３次元ターゲット仮想オブジェクトモデル内のすべての骨の変換行列を特定するステップと、
前記変換行列を前記第１グリッドデータに応用することで、前記３次元ターゲット仮想オブジェクトモデルに対応する第２グリッドデータを特定するステップと、を含むことを特徴とする
請求項２又は３に記載の方法。
【請求項５】
前記第２骨パラメータ及び前記第１骨パラメータに基づいて、前記３次元ターゲット仮想オブジェクトモデル内のすべての骨の変換行列を特定するステップは、
前記３次元プリセット仮想オブジェクトモデルに対応する第１骨パラメータに基づいて、前記３次元プリセット仮想オブジェクトモデル内の各骨の第１位置行列を取得するステップと、
前記３次元ターゲット仮想オブジェクトモデルに対応する第２骨パラメータに基づいて、前記３次元ターゲット仮想オブジェクトモデル内の各骨の第２位置行列を取得するステップと、
前記第２位置行列及び前記第１位置行列に基づいて、各骨の変換行列を取得するステップと、を含むことを特徴とする
請求項４に記載の方法。
【請求項６】
前記仮想オブジェクトモデルは顔モデルであり、前記仮想オブジェクトモデルに含まれる骨は頭部骨であり、
前記３次元ターゲット仮想オブジェクトモデルは、
３次元ターゲット顔モデルの骨パラメータ調整情報を取得するステップと、
前記骨パラメータ調整情報に基づいて、前記３次元ターゲット顔モデルに対応する頭部骨パラメータを調整するステップと、
調整後の前記頭部骨パラメータに基づいて、３次元ターゲット顔モデルを生成するステップと、によって生成されることを特徴とする
請求項１〜５のいずれか１項に記載の方法。
【請求項７】
前記３次元ターゲット顔モデルの骨パラメータ調整情報を取得するステップは、
骨パラメータ調整命令を受信するステップと、
前記骨パラメータ調整命令に基づいて前記骨パラメータ調整情報を特定するステップと、を含むことを特徴とする
請求項６に記載の方法。
【請求項８】
前記骨パラメータ調整情報に基づいて、前記３次元ターゲット顔モデルに対応する頭部骨パラメータを調整するステップは、
前記頭部骨パラメータから、前記骨パラメータ調整情報に関連付けられる少なくとも１つの頭部骨の骨パラメータを取得し、前記骨パラメータ調整情報に基づいて前記少なくとも１つの頭部骨の骨パラメータを調整するステップを含むことを特徴とする
請求項６又は７に記載の方法。
【請求項９】
少なくとも１つの頭部骨は複数の頭部骨であり、
前記骨パラメータ調整情報に基づいて前記少なくとも１つの頭部骨の骨パラメータを調整するステップは、
前記骨パラメータ調整情報に基づいて前記複数の頭部骨の骨パラメータを同時に調整するステップを含むことを特徴とする
請求項８に記載の方法。
【請求項１０】
前記骨パラメータ調整情報に基づいて前記少なくとも１つの頭部骨の骨パラメータを調整するステップは、
前記骨パラメータ調整情報の調整範囲を取得するステップと、
前記骨パラメータ調整情報に関連付けられる各骨パラメータの調整範囲を取得するステップと、
調整範囲内の前記骨パラメータ調整情報の変化率に基づいて、前記骨パラメータ調整情報に関連付けられる前記少なくとも１つの頭部骨の骨パラメータを調整するステップと、を含むことを特徴とする
請求項８又は９に記載の方法。
【請求項１１】
前記骨パラメータ調整命令に基づいて前記骨パラメータ調整情報を特定するステップは、
前記骨パラメータ調整命令に対して設定されたコントロールの出力変化量を取得し、前記出力変化量に基づいて前記骨パラメータ調整情報を特定するステップを含むことを特徴とする
請求項６〜１０のいずれか１項に記載の方法。
【請求項１２】
前記方法は、
前記３次元ターゲット顔モデルの骨パラメータに基づいて、メイクアップに対応する複数の領域を含むフェイスマップを生成するステップと、
前記領域に対して、対応するメイクアップの交換可能な素材マップを取得するステップと、
各メイクアップに対して取得した交換可能な素材マップと前記フェイスマップとを合わせ、合わせたマップを得るステップと、
前記合わせたマップを前記３次元ターゲット顔モデルにマッピングして、前記３次元ターゲット顔モデルのフェイスメイクアップを生成するステップと、をさらに含むことを特徴とする
請求項６〜１１のいずれか１項に記載の方法。
【請求項１３】
仮想オブジェクトの変形処理装置であって、
複数の骨を含む３次元プリセット仮想オブジェクトモデルに対応する第１骨パラメータ及び第１ブレンドシェイプデータを取得するように構成される第１取得ユニットであって、前記第１ブレンドシェイプデータはプリセット仮想オブジェクトの変形程度を示すことに用いられる第１取得ユニットと、
３次元ターゲット仮想オブジェクトモデルに対応する第２骨パラメータを取得し、前記第２骨パラメータと前記第１骨パラメータとの間の変換関係を特定するように構成される第２取得ユニットと、
前記第２骨パラメータと前記第１骨パラメータとの間の変換関係及び前記第１ブレンドシェイプデータに基づいて、前記３次元ターゲット仮想オブジェクトモデルに対応する第２ブレンドシェイプデータを特定するように構成される特定ユニットと、を備えることを特徴とする
仮想オブジェクトの変形処理装置。
【請求項１４】
仮想オブジェクトの変形処理機器であって、記憶媒体、プロセッサを備え、前記記憶媒体は、プロセッサ上で実行可能なマシン実行可能命令を記憶するように構成され、前記プロセッサは、前記マシン実行可能命令を実行するときに請求項１〜１２のいずれか１項に記載の方法を実現するように構成されることを特徴とする
仮想オブジェクトの変形処理機器。
【請求項１５】
マシン実行可能命令が記憶されているマシン可読記憶媒体であって、前記マシン実行可能命令がプロセッサによって実行されるときに請求項１〜１２のいずれか１項に記載の方法が実現されることを特徴とする
マシン可読記憶媒体。
【請求項１６】
コンピュータに、請求項１〜１２のいずれか１項に記載の方法を実行させることを特徴とする
コンピュータプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
第４態様では、マシン実行可能命令が記憶されているマシン可読記憶媒体を提供する。前記マシン実行可能命令がプロセッサによって実行されるときに本開示のいずれかの前記仮想オブジェクトの変形処理方法が実現される。
例えば、本願は以下の項目を提供する。
（項目１）
仮想オブジェクトの変形処理方法であって、
複数の骨を含む３次元プリセット仮想オブジェクトモデルに対応する第１骨パラメータ及び第１ブレンドシェイプデータを取得するステップであって、前記第１ブレンドシェイプデータはプリセット仮想オブジェクトの変形程度を示すことに用いられるステップと、
３次元ターゲット仮想オブジェクトモデルに対応する第２骨パラメータを取得し、前記第２骨パラメータと前記第１骨パラメータとの間の変換関係を特定するステップと、
前記第２骨パラメータと前記第１骨パラメータとの間の変換関係及び前記第１ブレンドシェイプデータに基づいて、前記３次元ターゲット仮想オブジェクトモデルに対応する第２ブレンドシェイプデータを特定するステップと、を含むことを特徴とする
仮想オブジェクトの変形処理方法。
（項目２）
前記第２骨パラメータと前記第１骨パラメータとの間の変換関係及び前記第１ブレンドシェイプデータに基づいて、前記３次元ターゲット仮想オブジェクトモデルに対応する第２ブレンドシェイプデータを特定するステップは、
前記３次元プリセット仮想オブジェクトモデルに対応する第１グリッドデータを取得するステップと、
前記３次元ターゲット仮想オブジェクトモデルに対応する第２グリッドデータを取得するステップと、
前記第２グリッドデータ及び前記第１グリッドデータに基づいて、前記３次元ターゲット仮想オブジェクトモデルに対応する第２ブレンドシェイプデータを特定するステップと、を含むことを特徴とする
項目１に記載の方法。
（項目３）
前記３次元プリセット仮想オブジェクトモデルに対応する第１グリッドデータを取得するステップは、
前記第１骨パラメータに対応する標準グリッドデータを取得するステップと、
前記標準グリッドデータ及び前記第１ブレンドシェイプデータに基づいて、前記第１ブレンドシェイプデータに対応する第１グリッドデータを得るステップと、を含むことを特徴とする
項目２に記載の方法。
（項目４）
前記３次元ターゲット仮想オブジェクトモデルに対応する第２グリッドデータを取得するステップは、
前記第２骨パラメータ及び前記第１骨パラメータに基づいて、前記３次元ターゲット仮想オブジェクトモデル内のすべての骨の変換行列を特定するステップと、
前記変換行列を前記第１グリッドデータに応用することで、前記３次元ターゲット仮想オブジェクトモデルに対応する第２グリッドデータを特定するステップと、を含むことを特徴とする
項目２又は３に記載の方法。
（項目５）
前記第２骨パラメータ及び前記第１骨パラメータに基づいて、前記３次元ターゲット仮想オブジェクトモデル内のすべての骨の変換行列を特定するステップは、
前記３次元プリセット仮想オブジェクトモデルに対応する第１骨パラメータに基づいて、前記３次元プリセット仮想オブジェクトモデル内の各骨の第１位置行列を取得するステップと、
前記３次元ターゲット仮想オブジェクトモデルに対応する第２骨パラメータに基づいて、前記３次元ターゲット仮想オブジェクトモデル内の各骨の第２位置行列を取得するステップと、
前記第２位置行列及び前記第１位置行列に基づいて、各骨の変換行列を取得するステップと、を含むことを特徴とする
項目４に記載の方法。
（項目６）
前記仮想オブジェクトモデルは顔モデルであり、前記仮想オブジェクトモデルに含まれる骨は頭部骨であり、
前記３次元ターゲット仮想オブジェクトモデルは、
３次元ターゲット顔モデルの骨パラメータ調整情報を取得するステップと、
前記骨パラメータ調整情報に基づいて、前記３次元ターゲット顔モデルに対応する頭部骨パラメータを調整するステップと、
調整後の前記頭部骨パラメータに基づいて、３次元ターゲット顔モデルを生成するステップと、によって生成されることを特徴とする
項目１〜５のいずれか１項に記載の方法。
（項目７）
前記３次元ターゲット顔モデルの骨パラメータ調整情報を取得するステップは、
骨パラメータ調整命令を受信するステップと、
前記骨パラメータ調整命令に基づいて前記骨パラメータ調整情報を特定するステップと、を含むことを特徴とする
項目６に記載の方法。
（項目８）
前記骨パラメータ調整情報に基づいて、前記３次元ターゲット顔モデルに対応する頭部骨パラメータを調整するステップは、
前記頭部骨パラメータから、前記骨パラメータ調整情報に関連付けられる少なくとも１つの頭部骨の骨パラメータを取得し、前記骨パラメータ調整情報に基づいて前記少なくとも１つの頭部骨の骨パラメータを調整するステップを含むことを特徴とする
項目６又は７に記載の方法。
（項目９）
少なくとも１つの頭部骨は複数の頭部骨であり、
前記骨パラメータ調整情報に基づいて前記少なくとも１つの頭部骨の骨パラメータを調整するステップは、
前記骨パラメータ調整情報に基づいて前記複数の頭部骨の骨パラメータを同時に調整するステップを含むことを特徴とする
項目８に記載の方法。
（項目１０）
前記骨パラメータ調整情報に基づいて前記少なくとも１つの頭部骨の骨パラメータを調整するステップは、
前記骨パラメータ調整情報の調整範囲を取得するステップと、
前記骨パラメータ調整情報に関連付けられる各骨パラメータの調整範囲を取得するステップと、
調整範囲内の前記骨パラメータ調整情報の変化率に基づいて、前記骨パラメータ調整情報に関連付けられる前記少なくとも１つの頭部骨の骨パラメータを調整するステップと、を含むことを特徴とする
項目８又は９に記載の方法。
（項目１１）
前記骨パラメータ調整命令に基づいて前記骨パラメータ調整情報を特定するステップは、
前記骨パラメータ調整命令に対して設定されたコントロールの出力変化量を取得し、前記出力変化量に基づいて前記骨パラメータ調整情報を特定するステップを含むことを特徴とする
項目６〜１０のいずれか１項に記載の方法。
（項目１２）
前記方法は、
前記３次元ターゲット顔モデルの骨パラメータに基づいて、メイクアップに対応する複数の領域を含むフェイスマップを生成するステップと、
前記領域に対して、対応するメイクアップの交換可能な素材マップを取得するステップと、
各メイクアップに対して取得した交換可能な素材マップと前記フェイスマップとを合わせ、合わせたマップを得るステップと、
前記合わせたマップを前記３次元ターゲット顔モデルにマッピングして、前記３次元ターゲット顔モデルのフェイスメイクアップを生成するステップと、をさらに含むことを特徴とする
項目６〜１１のいずれか１項に記載の方法。
（項目１３）
仮想オブジェクトの変形処理装置であって、
複数の骨を含む３次元プリセット仮想オブジェクトモデルに対応する第１骨パラメータ及び第１ブレンドシェイプデータを取得するように構成される第１取得ユニットであって、前記第１ブレンドシェイプデータはプリセット仮想オブジェクトの変形程度を示すことに用いられる第１取得ユニットと、
３次元ターゲット仮想オブジェクトモデルに対応する第２骨パラメータを取得し、前記第２骨パラメータと前記第１骨パラメータとの間の変換関係を特定するように構成される第２取得ユニットと、
前記第２骨パラメータと前記第１骨パラメータとの間の変換関係及び前記第１ブレンドシェイプデータに基づいて、前記３次元ターゲット仮想オブジェクトモデルに対応する第２ブレンドシェイプデータを特定するように構成される特定ユニットと、を備えることを特徴とする
仮想オブジェクトの変形処理装置。
（項目１４）
前記特定ユニットは、具体的に、
前記３次元プリセット仮想オブジェクトモデルに対応する第１グリッドデータを取得し、
前記３次元ターゲット仮想オブジェクトモデルに対応する第２グリッドデータを取得し、
前記第２グリッドデータ及び前記第１グリッドデータに基づいて、前記３次元ターゲット仮想オブジェクトモデルに対応する第２ブレンドシェイプデータを特定する、ように構成されることを特徴とする
項目１３に記載の装置。
（項目１５）
前記特定ユニットは、前記３次元プリセット仮想オブジェクトモデルに対応する第１グリッドデータを取得するように構成される場合、具体的に、
前記第１骨パラメータに対応する標準グリッドデータを取得し、
前記標準グリッドデータ及び前記第１ブレンドシェイプデータに基づいて、前記第１ブレンドシェイプデータに対応する第１グリッドデータを得る、ように構成されることを特徴とする
項目１４に記載の装置。
（項目１６）
前記特定ユニットは、前記３次元ターゲット仮想オブジェクトモデルに対応する第２グリッドデータを取得するように構成される場合、具体的に、
前記第２骨パラメータ及び前記第１骨パラメータに基づいて、前記３次元ターゲット仮想オブジェクトモデル内のすべての骨の変換行列を特定し、
前記変換行列を前記第１グリッドデータに応用することで、前記３次元ターゲット仮想オブジェクトモデルに対応する第２グリッドデータを特定する、ように構成されることを特徴とする
項目１４又は１５に記載の装置。
（項目１７）
前記特定ユニットは、前記第２骨パラメータ及び前記第１骨パラメータに基づいて、前記３次元ターゲット仮想オブジェクトモデル内のすべての骨の変換行列を特定する場合、具体的に、
前記３次元プリセット仮想オブジェクトモデルに対応する第１骨パラメータに基づいて、前記３次元プリセット仮想オブジェクトモデル内の各骨の第１位置行列を取得し、
前記３次元ターゲット仮想オブジェクトモデルに対応する第２骨パラメータに基づいて、前記３次元ターゲット仮想オブジェクトモデル内の各骨の第２位置行列を取得し、
前記第２位置行列及び前記第１位置行列に基づいて、各骨の変換行列を取得する、ように構成されることを特徴とする
項目１６に記載の装置。
（項目１８）
前記仮想オブジェクトモデルは顔モデルであり、前記仮想オブジェクトモデルに含まれる骨は頭部骨であり、前記第２取得ユニットは、
３次元ターゲット顔モデルの骨パラメータ調整情報を取得し、
前記骨パラメータ調整情報に基づいて、前記３次元ターゲット顔モデルに対応する頭部骨パラメータを調整し、
調整後の前記頭部骨パラメータに基づいて、３次元ターゲット顔モデルを生成する、ように構成される３次元ターゲット顔モデル生成ユニットをさらに備えることを特徴とする
項目１３〜１７のいずれか１項に記載の装置。
（項目１９）
前記３次元ターゲット顔モデル生成ユニットは、３次元ターゲット顔モデルの骨パラメータ調整情報を取得するように構成される場合、具体的に、
骨パラメータ調整命令を受信し、
前記骨パラメータ調整命令に基づいて前記骨パラメータ調整情報を特定する、ように構成されることを特徴とする
項目１８に記載の装置。
（項目２０）
前記３次元ターゲット顔モデル生成ユニットは、前記骨パラメータ調整情報に基づいて、前記３次元ターゲット顔モデルに対応する頭部骨パラメータを調整するように構成される場合、具体的に、
前記頭部骨パラメータから、前記骨パラメータ調整情報に関連付けられる少なくとも１つの頭部骨の骨パラメータを取得し、前記骨パラメータ調整情報に基づいて前記少なくとも１つの頭部骨の骨パラメータを調整するように構成されることを特徴とする
項目１８又は１９に記載の装置。
（項目２１）
少なくとも１つの頭部骨は複数の頭部骨であり、前記３次元ターゲット顔モデル生成ユニットは、前記骨パラメータ調整情報に基づいて前記少なくとも１つの頭部骨の骨パラメータを調整するように構成される場合、具体的に、
前記骨パラメータ調整情報に基づいて前記複数の頭部骨の骨パラメータを同時に調整するように構成されることを特徴とする
項目２０に記載の装置。
（項目２２）
前記３次元ターゲット顔モデル生成ユニットは、前記骨パラメータ調整情報に基づいて前記少なくとも１つの頭部骨の骨パラメータを調整するように構成される場合、具体的に、
前記骨パラメータ調整情報の調整範囲を取得し、
前記骨パラメータ調整情報に関連付けられる各骨パラメータの調整範囲を取得し、
調整範囲内の前記骨パラメータ調整情報の変化率に基づいて、前記骨パラメータ調整情報に関連付けられる前記少なくとも１つの頭部骨の骨パラメータを調整する、ように構成されることを特徴とする
項目２０又は２１に記載の装置。
（項目２３）
前記３次元ターゲット顔モデル生成ユニットは、前記骨パラメータ調整情報に基づいて、前記頭部骨パラメータを調整するように構成される場合、具体的に、
前記骨パラメータ調整命令に対して設定されたコントロールの出力変化量を取得し、前記出力変化量に基づいて前記骨パラメータ調整情報を特定するように構成されることを特徴とする
項目１８〜２２のいずれか１項に記載の装置。
（項目２４）
仮想オブジェクトの変形処理機器であって、記憶媒体、プロセッサを備え、前記記憶媒体は、プロセッサ上で実行可能なマシン実行可能命令を記憶するように構成され、前記プロセッサは、前記マシン実行可能命令を実行するときに項目１〜１２のいずれか１項に記載の方法を実現するように構成されることを特徴とする
仮想オブジェクトの変形処理機器。
（項目２５）
マシン実行可能命令が記憶されているマシン可読記憶媒体であって、前記マシン実行可能命令がプロセッサによって実行されるときに項目１〜１２のいずれか１項に記載の方法が実現されることを特徴とする
マシン可読記憶媒体。
【国際調査報告】
2021527862.tif 000025
2021527862.tif 000026
2021527862.tif 000027
2021527862.tif 000028