(57)【要約】  本願は、顔モデルの生成方法、装置及び電子機器を提供する。前記方法は、現在顔画像に対してキーポイント検出を行って前記現在顔画像の少なくとも１つのキーポイント特徴を取得するステップと、前記少なくとも１つのキーポイント特徴により前記現在顔画像とマッチングする目標骨格パラメータを取得するステップと、前記目標骨格パラメータと基準３次元顔モデルに基づいて前記現在顔画像に対応する仮想３次元顔モデルを生成するステップと、を含む。【選択図】図１
2022500790.tif 000002
【特許請求の範囲】
【請求項１】
現在顔画像に対してキーポイント検出を行って前記現在顔画像の少なくとも１つのキーポイント特徴を取得するステップと、
前記少なくとも１つのキーポイント特徴により前記現在顔画像とマッチングする目標骨格パラメータを取得するステップと、
前記目標骨格パラメータと基準３次元顔モデルとに基づいて前記現在顔画像に対応する仮想３次元顔モデルを生成するステップと、を含むことを特徴とする顔モデルの生成方法。
【請求項２】
所定数量の顔画像サンプルと前記基準３次元顔モデルにより参照モデルデータベースを決定するステップであって、前記参照モデルデータベースは、所定数量の顔画像サンプルから決定される少なくとも１つの参照キーポイント特徴及び前記少なくとも１つの参照キーポイント特徴のそれぞれに対応する参照骨格パラメータを含むステップを更に含み、
前記少なくとも１つのキーポイント特徴により前記現在顔画像とマッチングする目標骨格パラメータを取得するステップは、
前記少なくとも１つのキーポイント特徴により前記参照モデルデータベースから前記現在顔画像とマッチングする目標骨格パラメータを取得するステップを含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記所定数量の顔画像サンプルと前記基準３次元顔モデルにより前記参照モデルデータベースを決定するステップは、
前記所定数量の顔画像サンプルを含む顔画像サンプル集合を取得するステップであって、前記顔画像サンプル集合は、少なくとも１つの局所的顔領域を表す多種の画像形式を含むステップと、
各前記顔画像サンプルについて、前記基準３次元顔モデルに基づいて前記顔画像サンプルに対応する参照顔モデルを生成するステップであって、前記参照顔モデルは、前記顔画像サンプルに対応する前記参照骨格パラメータを含むステップと、
各前記顔画像サンプルに対応する参照顔モデルにより、前記参照モデルデータベースを決定するステップと、を含み、
前記参照モデルデータベースは、各前記局所的顔領域の各種の前記画像形式を表す前記参照キーポイント特徴と前記参照骨格パラメータとの対応関係を含むことを特徴とする請求項２に記載の方法。
【請求項４】
前記基準３次元顔モデルに基づいて前記顔画像サンプルに対応する前記参照顔モデルを生成するステップは、
前記顔画像サンプルに対して規範化処理を行って、基準顔画像の頭部姿勢と画像サイズに合致する前処理顔画像を取得するステップであって、前記基準顔画像は、前記基準３次元顔モデルに対応する２次元顔画像であるステップと、
前記前処理顔画像に対してキーポイント検出を行って、前記顔画像サンプルの参照キーポイント集合を取得するステップであって、前記参照キーポイント集合は、前記顔画像サンプルにおける各前記局所的顔領域を表す参照キーポイント組合せを含むステップと、
各前記参照キーポイント組合せに基づいて前記基準３次元顔モデル中の対応の骨格パラメータを調整して、前記顔画像サンプルに対応する前記参照顔モデルを生成するステップと、を含むことを特徴とする請求項３に記載の方法。
【請求項５】
前記現在顔画像に対してキーポイント検出を行って前記現在顔画像の少なくとも１つのキーポイント特徴を取得するステップは、
前記現在顔画像に対してキーポイント検出を行って所定数量のキーポイントの位置座標を取得するステップと、
前記所定数量のキーポイントの位置座標により、前記現在顔画像における少なくとも１つの局所的顔領域を表すキーポイント特徴を決定するステップと、を含むことを特徴とする請求項１〜４のいずれか一項に記載の方法。
【請求項６】
前記所定数量のキーポイントの位置座標により、前記現在顔画像における少なくとも１つの局所的顔領域を表す前記キーポイント特徴を決定するステップは、
前記所定数量のキーポイントの位置座標に基づいて、前記現在顔画像における第１局所的顔領域を表すキーポイント座標組合せを、当該第１局所的顔領域を表す前記キーポイント特徴として決定するステップであって、当該第１局所的顔領域は、前記少なくとも１つの局所的顔領域のうちのいずれか１つであるステップ、及び／又は、
当該第１局所的顔領域を表す前記キーポイント座標組合せにより、フィッティングを介して得られる当該第１局所的顔領域を表す特徴曲線を、当該第１局所的顔領域を表す前記キーポイント特徴とするステップを含むことを特徴とする請求項５に記載の方法。
【請求項７】
前記少なくとも１つのキーポイント特徴により前記参照モデルデータベースから前記現在顔画像とマッチングする目標骨格パラメータを取得するステップは、
前記現在顔画像における各局所的顔領域について、前記参照モデルデータベース中の、前記局所的顔領域のキーポイント特徴とマッチングする参照キーポイント特徴を、前記局所的顔領域の目標参照キーポイント特徴として決定するステップと、
前記現在顔画像中の各前記局所的顔領域の目標参照キーポイント特徴に対応する参照骨格パラメータに基づいて、前記現在顔画像の目標骨格パラメータを決定するステップと、を含むことを特徴とする請求項２〜６のいずれか一項に記載の方法。
【請求項８】
前記参照モデルデータベース中の、前記局所的顔領域のキーポイント特徴とマッチングする参照キーポイント特徴を、前記局所的顔領域の目標参照キーポイント特徴として決定するステップは、
前記局所的顔領域のキーポイント特徴と前記参照モデルデータベース中の対応の参照キーポイント特徴との類似度を決定するステップと、
類似度が最も高い前記参照キーポイント特徴を、前記局所的顔領域の前記目標参照キーポイント特徴として決定するステップと、を含むことを特徴とする請求項７に記載の方法。
【請求項９】
前記局所的顔領域のキーポイント特徴と前記参照モデルデータベース中の対応の参照キーポイント特徴との類似度を決定するステップは、
前記局所的顔領域のキーポイント座標組合せにより、フィッティングを介して前記局所的顔領域を表す特徴曲線を取得するステップと、
前記特徴曲線と前記参照モデルデータベース中の対応の参照特徴曲線との距離により、前記局所的顔領域のキーポイント特徴と前記参照モデルデータベース中の対応の参照キーポイント特徴との類似度を決定するステップと、を含むことを特徴とする請求項８に記載の方法。
【請求項１０】
前記局所的顔領域が少なくとも２つのサブ領域を含む場合に、前記局所的顔領域のキーポイント特徴と前記参照モデルデータベース中の１つの顔画像サンプルの対応の参照キーポイント特徴との類似度を決定するステップは、
前記局所的顔領域中の各前記サブ領域について、前記サブ領域のキーポイント特徴と前記参照モデルデータベース中の当該顔画像サンプルの対応のサブ領域の参照キーポイント特徴との類似度を決定して、前記サブ領域に対応する局所的類似度を取得するステップと、
各前記サブ領域に対応する前記局所的類似度により、前記局所的顔領域と当該顔画像サンプル中の対応の局所的顔領域との全体的な類似度を、前記局所的顔領域のキーポイント特徴と前記参照モデルデータベース中の当該顔画像サンプルの対応の参照キーポイント特徴との類似度として決定するステップと、を含むことを特徴とする請求項８又は９に記載の方法。
【請求項１１】
現在顔画像に対してキーポイント検出を行って前記現在顔画像の少なくとも１つのキーポイント特徴を取得するためのキーポイント検出モジュールと、
前記少なくとも１つのキーポイント特徴により前記現在顔画像とマッチングする目標骨格パラメータを取得するためのパラメータマッチングモジュールと、
前記目標骨格パラメータと基準３次元顔モデルとに基づいて前記現在顔画像に対応する仮想３次元顔モデルを生成するためのモデル生成モジュールと、を含むことを特徴とする顔モデルの生成装置。
【請求項１２】
データベース作成モジュールを更に含み、
前記データベース作成モジュールは、所定数量の顔画像サンプルと前記基準３次元顔モデルにより参照モデルデータベースを決定するために用いられ、前記参照モデルデータベースは、所定数量の顔画像サンプルから決定される少なくとも１つの参照キーポイント特徴及び前記少なくとも１つの参照キーポイント特徴のそれぞれに対応する参照骨格パラメータを含み、
前記パラメータマッチングモジュールは、具体的には、前記少なくとも１つのキーポイント特徴により前記参照モデルデータベースから前記現在顔画像とマッチングする目標骨格パラメータを取得するために用いられることを特徴とする請求項１１に記載の装置。
【請求項１３】
前記データベース作成モジュールは、サンプル取得サブモジュールと、参照モデル生成サブモジュールと、データベース決定サブモジュールとを含み、
前記サンプル取得サブモジュールは、前記所定数量の顔画像サンプルを含む顔画像サンプル集合を取得するために用いられ、前記顔画像サンプル集合は、少なくとも１種の局所的顔領域を表す多種の画像形式を含み、
前記参照モデル生成サブモジュールは、前記基準３次元顔モデルに基づいて前記顔画像サンプルに対応する参照顔モデルを生成するために用いられ、前記参照顔モデルは、前記顔画像サンプルに対応する前記参照骨格パラメータを含み、
前記データベース決定サブモジュールは、各前記顔画像サンプルに対応する参照顔モデルにより、前記参照モデルデータベースを決定するために用いられ、
前記参照モデルデータベースは、各前記局所的顔領域の各種の前記画像形式を表す前記キーポイント特徴と前記参照骨格パラメータとの対応関係を含むことを特徴とする請求項１２に記載の装置。
【請求項１４】
前記参照モデル生成サブモジュールは、画像前処理ユニットと、キーポイント検出ユニットと、参照モデル生成ユニットとを含み、
前記画像前処理ユニットは、前記顔画像サンプルに対して規範化処理を行って、基準顔画像の頭部姿勢と画像サイズに合致する前処理顔画像を取得するために用いられ、前記基準顔画像は、前記基準３次元顔モデルに対応する２次元顔画像であり、
前記キーポイント検出ユニットは、前記前処理顔画像に対してキーポイント検出を行って、前記顔画像サンプルの参照キーポイント集合を取得するために用いられ、前記参照キーポイント集合は、前記顔画像サンプルにおける各前記局所的顔領域を表す参照キーポイント組合せを含み、
前記参照モデル生成ユニットは、各前記参照キーポイント組合せに基づいて前記基準３次元顔モデル中の対応の骨格パラメータを調整して、前記顔画像サンプルに対応する前記参照顔モデルを生成するために用いられることを特徴とする請求項１３に記載の装置。
【請求項１５】
前記キーポイント検出モジュールは、
前記現在顔画像に対してキーポイント検出を行って所定数量のキーポイントの位置座標を取得するためのキーポイント位置決定サブモジュールと、
前記所定数量のキーポイントの位置座標により、前記現在顔画像における少なくとも１つの局所的顔領域を表すキーポイント特徴を決定するためのキーポイント特徴決定サブモジュールと、を含むことを特徴とする請求項１１〜１４のいずれか一項に記載の装置。
【請求項１６】
前記キーポイント特徴決定サブモジュールは、座標組合せ決定ユニット及び／又は特徴曲線決定ユニットを含み、
前記座標組合せ決定ユニットは、前記所定数量のキーポイントの位置座標に基づいて、前記現在顔画像における第１局所的顔領域を表すキーポイント座標組合せを、当該第１局所的顔領域を表す前記キーポイント特徴として決定するために用いられ、当該第１局所的顔領域は、前記少なくとも１つの局所的顔領域のうちのいずれか１つであり、
前記特徴曲線決定ユニットは、当該第１局所的顔領域を表す前記キーポイント座標組合せにより、フィッティングを介して得られる当該第１局所的顔領域を表す特徴曲線を、当該第１局所的顔領域を表す前記キーポイント特徴とするために用いられることを特徴とする請求項１５に記載の装置。
【請求項１７】
前記パラメータマッチングモジュールは、
前記現在顔画像における各局所的顔領域について、前記参照モデルデータベース中の、前記局所的顔領域のキーポイント特徴とマッチングする参照キーポイント特徴を、前記局所的顔領域の目標参照キーポイント特徴として決定するための特徴マッチングサブモジュールと、
前記現在顔画像中の各前記局所的顔領域の目標参照キーポイント特徴に対応する参照骨格パラメータに基づいて、前記現在顔画像の目標骨格パラメータを決定するための骨格パラメータ決定サブモジュールと、を含むことを特徴とする請求項１２〜１６のいずれか一項に記載の装置。
【請求項１８】
前記特徴マッチングサブモジュールは、
前記局所的顔領域のキーポイント特徴と前記参照モデルデータベース中の対応の参照キーポイント特徴との類似度を決定するための類似度決定ユニットと、
類似度が最も高い前記参照キーポイント特徴を、前記局所的顔領域の前記目標参照キーポイント特徴として決定するための目標特徴決定ユニットと、を含むことを特徴とする請求項１７に記載の装置。
【請求項１９】
前記類似度決定ユニットは、
前記局所的顔領域のキーポイント座標組合せにより、フィッティングを介して前記局所的顔領域を表す特徴曲線を取得するための曲線フィッティングサブユニットと、
前記特徴曲線と前記参照モデルデータベース中の対応の参照特徴曲線との距離により、前記局所的顔領域のキーポイント特徴と前記参照モデルデータベース中の対応の参照キーポイント特徴との類似度を決定するための類似度決定サブユニットと、を含むことを特徴とする請求項１８に記載の装置。
【請求項２０】
前記類似度決定ユニットは、
１つの前記局所的顔領域が少なくとも２つのサブ領域を含む場合に、前記局所的顔領域中の各前記サブ領域について、前記参照モデルデータベース中の各顔画像サンプルに対して、前記サブ領域のキーポイント特徴と前記参照モデルデータベース中の当該顔画像サンプルの対応のサブ領域の参照キーポイント特徴との類似度を決定して、前記サブ領域に対応する局所的類似度を取得するための局所的類似度決定サブユニットと、
前記参照モデルデータベース中の各顔画像サンプルについて、各前記サブ領域に対応する前記局所的類似度により、前記局所的顔領域と当該顔画像サンプル中の対応の局所的顔領域との全体的な類似度を、前記局所的顔領域のキーポイント特徴と前記参照モデルデータベース中の当該顔画像サンプルの対応の参照キーポイント特徴との類似度して決定するための全体的類似度決定サブユニットと、を含むことを特徴とする請求項１８又は１９に記載の装置。
【請求項２１】
コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、前記コンピュータプログラムがプロセッサにより実行されるときに上記請求項１〜１０のいずれか一項に記載の方法が実現されるコンピュータ可読記憶媒体。
【請求項２２】
メモリと、プロセッサと、前記メモリに記憶されて前記プロセッサ上で作動可能なコンピュータプログラムとを含み電子機器であって、前記プロセッサが前記プログラムを実行するときに上記請求項１〜１０のいずれか一項に記載の方法を実現する電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、３次元モデリング技術に関し、特に、顔モデルの生成方法、装置及び電子機器に関する。
【背景技術】
【０００２】
携帯端末やコンピュータ技術が発展するにつれて、ゲームアプリ、バーチャルソーシャルアプリ等のユーザが徐々に増えている。ゲームアプリやバーチャルソーシャルアプリにおいて、仮想キャラクターの個別化設計が求められており、それによってフェースカスタマイズに対する需要が大幅に高まっている。フェースカスタマイズとは、仮想キャラクターの３次元顔モデルを生成することである。フェースカスタマイズの効率及び正確率をどのように向上させるかは当業者に研究されている技術となっている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本願の実施例は、顔モデルの生成方法、装置及び電子機器を提供する。
【課題を解決するための手段】
【０００４】
本願の実施例の第１態様によれば、現在顔画像に対してキーポイント検出を行って前記現在顔画像の少なくとも１つのキーポイント特徴を取得するステップと、前記少なくとも１つのキーポイント特徴により前記現在顔画像とマッチングする目標骨格パラメータを取得するステップと、前記目標骨格パラメータと基準３次元顔モデルとに基づいて前記現在顔画像に対応する仮想３次元顔モデルを生成するステップと、を含むことを特徴とする顔モデルの生成方法を提供する。
【０００５】
本願で提供されたいずれか１つの方法の実施例によれば、前記方法は、所定数量の顔画像サンプルと前記基準３次元顔モデルにより、参照モデルデータベースを決定するステップであって、前記参照モデルデータベースは、所定数量の顔画像サンプルから決定される少なくとも１つの参照キーポイント特徴及び前記少なくとも１つの参照キーポイント特徴のそれぞれに対応する参照骨格パラメータを含むステップを更に含む。それに対応するように、前記少なくとも１つのキーポイント特徴により前記現在顔画像とマッチングする目標骨格パラメータを取得するステップは、前記少なくとも１つのキーポイント特徴により前記参照モデルデータベースから前記現在顔画像とマッチングする目標骨格パラメータを取得するステップを含む。
【０００６】
本願で提供されたいずれか１つの方法の実施例によれば、前記所定数量の顔画像サンプルと前記基準３次元顔モデルにより前記参照モデルデータベースを決定するステップは、前記所定数量の顔画像サンプルを含む顔画像サンプル集合を取得するステップであって、前記顔画像サンプル集合は、少なくとも１つの局所的顔領域を表す多種の画像形式を含むステップと、各前記顔画像サンプルについて、前記基準３次元顔モデルに基づいて前記顔画像サンプルに対応する参照顔モデルを生成するステップであって、前記参照顔モデルは、前記顔画像サンプルに対応する前記参照骨格パラメータを含むステップと、各前記顔画像サンプルに対応する参照顔モデルにより、前記参照モデルデータベースを決定するステップと、を含む。ここで、前記参照モデルデータベースは各前記局所的顔領域の各種の前記画像形式を表す前記参照キーポイント特徴と前記参照骨格パラメータとの対応関係を含む。
【０００７】
本願で提供されたいずれか１つの方法の実施例によれば、前記基準３次元顔モデルに基づいて前記顔画像サンプルに対応する前記参照顔モデルを生成するステップは、前記顔画像サンプルに対して規範化処理を行って、基準顔画像の頭部姿勢と画像サイズに合致する前処理顔画像を取得するステップであって、前記基準顔画像は、前記基準３次元顔モデルに対応する２次元顔画像であるステップと、前記前処理顔画像に対してキーポイント検出を行って、前記顔画像サンプルの参照キーポイント集合を取得するステップであって、前記参照キーポイント集合は、前記顔画像サンプルにおける各前記局所的顔領域を表す参照キーポイント組合せを含むステップと、各前記参照キーポイント組合せに基づいて前記基準３次元顔モデル中の対応の骨格パラメータを調整して、前記顔画像サンプルに対応する前記参照顔モデルを生成するステップと、を含む。
【０００８】
本願で提供されたいずれか１つの方法の実施例によれば、前記現在顔画像に対してキーポイント検出を行って前記現在顔画像の少なくとも１つのキーポイント特徴を取得するステップは、前記現在顔画像に対してキーポイント検出を行って所定数量のキーポイントの位置座標を取得するステップと、前記所定数量のキーポイントの位置座標により、前記現在顔画像における少なくとも１つの局所的顔領域を表すキーポイント特徴を決定するステップと、を含む。
【０００９】
本願で提供されたいずれか１つの方法の実施例によれば、前記所定数量のキーポイントの位置座標により、前記現在顔画像における少なくとも１つの局所的顔領域を表す前記キーポイント特徴を決定するステップは、前記所定数量のキーポイントの位置座標に基づいて、前記現在顔画像における第１局所的顔領域を表すキーポイント座標組合せを、当該第１局所的顔領域を表す前記キーポイント特徴として決定してステップであって、当該第１局所的顔領域は、前記少なくとも１つの局所的顔領域のうちのいずれか１つであるステップ、及び／又は、当該第１局所的顔領域を表す前記キーポイント座標組合せにより、フィッティングを介して得られる当該第１局所的顔領域を表す特徴曲線を、当該第１局所的顔領域を表す前記キーポイント特徴とするステップを含む。
【００１０】
本願で提供されたいずれか１つの方法の実施例によれば、前記少なくとも１つのキーポイント特徴により前記参照モデルデータベースから前記現在顔画像とマッチングする目標骨格パラメータを取得するステップは、前記現在顔画像における各局所的顔領域について、前記参照モデルデータベース中の、前記局所的顔領域のキーポイント特徴とマッチングする参照キーポイント特徴を、前記局所的顔領域の目標参照キーポイント特徴として決定するステップと、前記現在顔画像中の各前記局所的顔領域の目標参照キーポイント特徴に対応する参照骨格パラメータに基づいて、前記現在顔画像の目標骨格パラメータを決定するステップと、を含む。
【００１１】
本願で提供されたいずれか１つの方法の実施例によれば、前記参照モデルデータベース中の、前記局所的顔領域のキーポイント特徴とマッチングする参照キーポイント特徴を、前記局所的顔領域の目標参照キーポイント特徴として決定するステップは、前記局所的顔領域のキーポイント特徴と前記参照モデルデータベース中の対応の参照キーポイント特徴との類似度を決定するステップと、類似度が最も高い前記参照キーポイント特徴を、前記局所的顔領域の前記目標参照キーポイント特徴として決定するステップと、を含む。
【００１２】
本願で提供されたいずれか１つの方法の実施例によれば、前記局所的顔領域のキーポイント特徴と前記参照モデルデータベース中の対応の参照キーポイント特徴との類似度を決定するステップは、前記局所的顔領域のキーポイント座標組合せにより、フィッティングを介して前記局所的顔領域を表す特徴曲線を取得するステップと、前記特徴曲線と前記参照モデルデータベース中の対応の参照特徴曲線との距離により、前記局所的顔領域のキーポイント特徴と前記参照モデルデータベース中の対応の参照キーポイント特徴との類似度を決定するステップと、を含む。
【００１３】
本願で提供されたいずれか１つの方法の実施例によれば、前記局所的顔領域が少なくとも２つのサブ領域を含む場合に、前記局所的顔領域のキーポイント特徴と前記参照モデルデータベース中の１つの顔画像サンプルの対応の参照キーポイント特徴との類似度を決定するステップは、前記局所的顔領域中の各前記サブ領域について、前記サブ領域のキーポイント特徴と前記参照モデルデータベース中の当該顔画像サンプルの対応のサブ領域の参照キーポイント特徴の類似度を決定して、前記サブ領域に対応する局所的類似度を取得するステップと、各前記サブ領域に対応する前記局所的類似度により、前記局所的顔領域と当該顔画像サンプル中の対応の局所的顔領域との全体的な類似度を、前記局所的顔領域のキーポイント特徴と前記参照モデルデータベース中の当該顔画像サンプルの対応の参照キーポイント特徴との類似度として決定するステップと、を含む。
【００１４】
本願の実施例の第２態様によれば、現在顔画像に対してキーポイント検出を行って前記現在顔画像の少なくとも１つのキーポイント特徴を取得するためのキーポイント検出モジュールと、前記少なくとも１つのキーポイント特徴により前記現在顔画像とマッチングする目標骨格パラメータを取得するためのパラメータマッチングモジュールと、前記目標骨格パラメータと基準３次元顔モデルとに基づいて前記現在顔画像に対応する仮想３次元顔モデルを生成するためのモデル生成モジュールと、を含む顔モデルの生成装置を提供する。
【００１５】
本願で提供されたいずれか１つの装置の実施例によれば、前記装置は、データベース作成モジュールを更に含む。前記データベース作成モジュールは、所定数量の顔画像サンプルと前記基準３次元顔モデルにより参照モデルデータベースを決定するために用いられ、前記参照モデルデータベースは、所定数量の顔画像サンプルから決定される少なくとも１つの参照キーポイント特徴及び前記少なくとも１つの参照キーポイント特徴のそれぞれに対応する参照骨格パラメータを含む。このような場合に、前記パラメータマッチングモジュールは、具体的には、前記少なくとも１つのキーポイント特徴により前記参照モデルデータベースから前記現在顔画像とマッチングする目標骨格パラメータを取得するために用いられる。
【００１６】
本願で提供されたいずれか１つの装置の実施例によれば、前記データベース作成モジュールは、サンプル取得サブモジュールと、参照モデル生成サブモジュールと、データベース決定サブモジュールとを含む。前記サンプル取得サブモジュールは、前記所定数量の顔画像サンプルを含む顔画像サンプル集合を取得するために用いられ、前記顔画像サンプル集合は、少なくとも１種の局所的顔領域を表す多種の画像形式を含み、前記参照モデル生成サブモジュールは、前記基準３次元顔モデルに基づいて前記顔画像サンプルに対応する参照顔モデルを生成するために用いられ、前記参照顔モデルは、前記顔画像サンプルに対応する前記参照骨格パラメータを含み、前記データベース決定サブモジュールは、各前記顔画像サンプルに対応する参照顔モデルにより、前記参照モデルデータベースを決定するために用いられる。ここで、前記参照モデルデータベースは各前記局所的顔領域の各種の前記画像形式を表す前記キーポイント特徴と前記参照骨格パラメータとの対応関係を含む。
【００１７】
本願で提供されたいずれか１つの装置の実施例によれば、前記参照モデル生成サブモジュールは、画像前処理ユニットと、キーポイント検出ユニットと、参照モデル生成ユニットとを含む。前記画像前処理ユニットは、前記顔画像サンプルに対して規範化処理を行って、基準顔画像の頭部姿勢と画像サイズに合致する前処理顔画像を取得するために用いられ、前記基準顔画像は、前記基準３次元顔モデルに対応する２次元顔画像であり、前記キーポイント検出ユニットは、前記前処理顔画像に対してキーポイント検出を行って、前記顔画像サンプルの参照キーポイント集合を取得するために用いられ、前記参照キーポイント集合は、前記顔画像サンプルにおける各前記局所的顔領域を表す参照キーポイント組合せを含み、前記参照モデル生成ユニットは、各前記参照キーポイント組合せに基づいて前記基準３次元顔モデル中の対応の骨格パラメータを調整して、前記顔画像サンプルに対応する前記参照顔モデルを生成するために用いられる。
【００１８】
本願で提供されたいずれか１つの装置の実施例によれば、前記キーポイント検出モジュールは、前記現在顔画像に対してキーポイント検出を行って所定数量のキーポイントの位置座標を取得するためのキーポイント位置決定サブモジュールと、前記所定数量のキーポイントの位置座標により、前記現在顔画像における少なくとも１つの局所的顔領域を表すキーポイント特徴を決定するためのキーポイント特徴決定サブモジュールと、を含む。
【００１９】
本願で提供されたいずれか１つの装置の実施例によれば、前記キーポイント特徴決定サブモジュールは、座標組合せ決定ユニット及び／又は特徴曲線決定ユニットを含む。前記座標組合せ決定ユニットは、前記所定数量のキーポイントの位置座標に基づいて、前記現在顔画像における第１局所的顔領域を表すキーポイント座標組合せを、当該第１局所的顔領域を表す前記キーポイント特徴として決定するために用いられ、当該第１局所的顔領域は、前記少なくとも１つの局所的顔領域のうちのいずれか１つであり、前記特徴曲線決定ユニットは、当該第１局所的顔領域を表す前記キーポイント座標組合せにより、フィッティングを介して得られる当該第１局所的顔領域を表す特徴曲線を、当該第１局所的顔領域を表す前記キーポイント特徴とするために用いられる。
【００２０】
本願で提供されたいずれか１つの装置の実施例によれば、前記パラメータマッチングモジュールは、前記現在顔画像における各局所的顔領域について、前記参照モデルデータベース中の、前記局所的顔領域のキーポイント特徴とマッチングする参照キーポイント特徴を、前記局所的顔領域の目標参照キーポイント特徴として決定するための特徴マッチングサブモジュールと、前記現在顔画像中の各前記局所的顔領域の目標参照キーポイント特徴に対応する参照骨格パラメータに基づいて、前記現在顔画像の目標骨格パラメータを決定するための骨格パラメータ決定サブモジュールと、を含む。
【００２１】
本願で提供されたいずれか１つの装置の実施例によれば、前記特徴マッチングサブモジュールは、前記局所的顔領域のキーポイント特徴と前記参照モデルデータベース中の対応の参照キーポイント特徴との類似度を決定するための類似度決定ユニットと、類似度が最も高い前記参照キーポイント特徴を、前記局所的顔領域の前記目標参照キーポイント特徴として決定するための目標特徴決定ユニットと、を含む。
【００２２】
本願で提供されたいずれか１つの装置の実施例によれば、前記類似度決定ユニットは、前記局所的顔領域のキーポイント座標組合せにより、フィッティングを介して前記局所的顔領域を表す特徴曲線を取得するための曲線フィッティングサブユニットと、前記特徴曲線と前記参照モデルデータベース中の対応の参照特徴曲線との距離により、前記局所的顔領域のキーポイント特徴と前記参照モデルデータベース中の対応の参照キーポイント特徴との類似度を決定するための類似度決定サブユニットと、を含む。
【００２３】
本願で提供されたいずれか１つの装置の実施例によれば、前記類似度決定ユニットは、１つの前記局所的顔領域が少なくとも２つのサブ領域を含む場合に、前記局所的顔領域中の各前記サブ領域について、前記参照モデルデータベース中の各顔画像サンプルに対して、前記サブ領域のキーポイント特徴と前記参照モデルデータベース中の当該顔画像サンプルの対応のサブ領域の参照キーポイント特徴との類似度を決定して、前記サブ領域に対応する局所的類似度を取得するための局所的類似度決定サブユニットと、前記参照モデルデータベース中の各顔画像サンプルについて、各前記サブ領域に対応する前記局所的類似度により、前記局所的顔領域と当該顔画像サンプル中の対応の局所的顔領域との全体的な類似度を、前記局所的顔領域のキーポイント特徴と前記参照モデルデータベース中の当該顔画像サンプルの対応の参照キーポイント特徴との類似度として決定するための全体的類似度決定サブユニットと、を含む。
【００２４】
本願の実施例の第３態様によれば、コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、前記コンピュータプログラムがプロセッサにより実行されるときに上記第１態様のいずれか一項に記載の方法が実現されるコンピュータ可読記憶媒体を提供する。
【００２５】
本願の実施例の第４態様によれば、メモリと、プロセッサと、メモリに記憶されてプロセッサ上で作動可能なコンピュータプログラムとを含む電子機器であって、前記プロセッサが前記プログラムを実行するときに上記第１態様のいずれか一項に記載の方法を実現することを特徴とする電子機器を提供する。
【発明の効果】
【００２６】
本願の実施例で提供された顔モデルの生成方法によれば、コンピュータシステムは、局所的顔領域を表すキーポイント特徴に基づいて顔画像に対応する目標骨格パラメータを自動的に取得し、上記目標骨格パラメータに基づいて基準３次元顔モデルの骨格パラメータを自動的に調整することで、前記現在顔画像に適合する仮想３次元顔モデルを自動的に生成できる。モデル生成全過程で、ユーザは自ら主観的に判断することにより、複雑な骨格パラメータを絶え間なく手動で調整してみることがなく、ユーザの操作難度が低くなった。
【００２７】
いくつかの実施例では、コンピュータシステムは参照モデルデータベースを事前に設置することで、参照モデルデータベースから顔画像に対応する目標骨格パラメータを高速に見出すことができる。顔局所領域特徴の規則性のため、参照モデルデータベースのデータ量が大きくなく、それによってコンピュータシステムは現在顔画像のキーポイント特徴により上記参照モデルデータベースからマッチング可能な目標骨格パラメータを高速に見出すことができ、更に該目標骨格パラメータに基づいて効率的且つ比較的正確に現在顔画像とマッチングする仮想３次元顔モデルを生成することができる。
【００２８】
以上の一般説明と以下の詳細説明は解釈するための例示的なものに過ぎず、本願を制限できないことを理解すべきである。
【図面の簡単な説明】
【００２９】
ここの図面は明細書に組み込まれて本明細書の一部を構成し、本願に合致する実施例を示し、明細書と共に本願の原理を解釈するために用いられる。
【００３０】
【図１】本願の例示的な一実施例に係る顔モデルの生成方法のフローチャートである。
【図２】本願の例示的な一実施例に係る顔モデルの生成の応用シナリオの模式図である。
【図３−１．３−２】本願の別の例示的な実施例に係る顔モデルの生成の応用シナリオの模式図である。
【図４】本願の別の例示的な実施例に係る顔モデルの生成方法のフローチャートである。
【図５】本願の別の例示的な実施例に係る顔モデルの生成方法のフローチャートである。
【図６】本願の別の例示的な実施例に係る顔モデルの生成方法のフローチャートである。
【図７】本願の別の例示的な実施例に係る顔モデルの生成の応用シナリオの模式図である。
【図８】本願の別の例示的な実施例に係る顔モデルの生成方法のフローチャートである。
【図９−１．９−２．９−３】本願の別の例示的な実施例に係る顔モデルの生成の応用シナリオの模式図である。
【図１０】本願の別の例示的な実施例に係る顔モデルの生成方法のフローチャートである。
【図１１】本願の別の例示的な実施例に係る顔モデルの生成方法のフローチャートである。
【図１２】本願の別の例示的な実施例に係る顔モデルの生成方法のフローチャートである。
【図１３】本願の別の例示的な実施例に係る顔モデルの生成方法のフローチャートである。
【図１４】本願の例示的な一実施例に係る顔モデルの生成装置のブロック図である。
【図１５】本願の別の例示的な実施例に係る顔モデルの生成装置のブロック図である。
【図１６】本願の別の例示的な実施例に係る顔モデルの生成装置のブロック図である。
【図１７】本願の別の例示的な実施例に係る顔モデルの生成装置のブロック図である。
【図１８】本願の別の例示的な実施例に係る顔モデルの生成装置のブロック図である。
【図１９】本願の別の例示的な実施例に係る顔モデルの生成装置のブロック図である。
【図２０】本願の別の例示的な実施例に係る顔モデルの生成装置のブロック図である。
【図２１】本願の別の例示的な実施例に係る顔モデルの生成装置のブロック図である。
【図２２】本願の別の例示的な実施例に係る顔モデルの生成装置のブロック図である。
【図２３】本願の別の例示的な実施例に係る顔モデルの生成装置のブロック図である。
【図２４】本願の別の例示的な実施例に係る電子機器の構造模式図である。
【発明を実施するための形態】
【００３１】
ここで、例示的な実施例を詳述し、その例を図面に示す。以下、図面に関連して説明する時に、特に断らない限り、異なる図面における同じ数字が同じな要素又は類似する要素を表す。以下の例示的な実施例に記載の実施形態は本願と一致する全ての実施形態を表すものではない。逆に、それらは添付の特許請求の範囲に詳述された本願のいくつかの態様と一致する装置と方法の例に過ぎない。
【００３２】
本願において使用された用語は、単に特定の実施例を説明するためのものにすぎず、本願を限定するものではない。本願および添付の特許請求の範囲において使用された単数形「一種」、「前記」および「該」は、文脈に特に示さない限り、複数形も含むことを意図する。なお、本明細書において使用された用語「および／または」は、関連して列挙された項目の一つ以上の任意のまたは全ての可能な組み合わせを意味し、かつこれらの組み合わせを含むことを理解すべきである。
【００３３】
なお、本願において用語第一、第二、第三などを使用して各種の情報を説明することがあるが、これらの情報はこれらの用語に限定されないことを理解されたい。これらの用語は同一タイプの情報を互いに区別するためのものにすぎない。例えば、本願の範囲から逸脱することなく、第一情報は第二情報と呼ばれてもよく、同様に、第二情報は第一情報と呼ばれてもよい。文脈によって、ここで使用された字句「場合」は、「時」または「にあたり」または「決定に応じて」という意味に解釈され得る。
【００３４】
ゲーム業界と仮想現実に推進されていることで、デジタル化仮想キャラクターは広く応用されている。ゲームの応用シナリオを例とすると、「仮想キャラクター」はすでに単一な仮想キャラクターからプレーヤーが自ら設計可能なキャラクターに変化し、このように個別的なキャラクターを生成することが可能になった。
【００３５】
本願の実施例では、仮想骨格制御手法に基づいて仮想キャラクターの３次元顔モデルを生成する方法を提供する。この方法に係る実行主体はコンピュータシステムを含んでもよいし、顔画像を取得するカメラを含んでもよい。
【００３６】
上記コンピュータシステムは、サーバ、サーバークラスター又はクラウドプラットフォームに設置されてもよく、パーソナルコンピュータ、携帯端末等の電子機器に設置されてもよい。上記携帯端末は、具体的には、スマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ、携帯情報端末）、タブレット、ゲーム機等の電子機器であってもよい。具体的な実現過程で、カメラとコンピュータシステムはそれぞれ独立したものでありながら、本願の実施例で提供された顔モデルの生成方法を共同で実現するように相互に関連している。
【００３７】
図１に例示的な一実施例に係る顔モデルの生成方法のフローチャートを示し、この方法は、以下のステップを含んでよい。
【００３８】
ステップ１１０、現在顔画像に対してキーポイント検出を行って前記現在顔画像の少なくとも１つのキーポイント特徴を取得する。各前記キーポイント特徴は前記現在顔画像における１つ又は複数の局所的顔領域を表してもよい。
【００３９】
ゲームシナリオを例とすると、ゲームアプリの画面にユーザ操作インタフェースがあってもよい。そのようにして、ゲームプレーヤーがこのユーザ操作インタフェースによって１枚の顔画像を入力することで、コンピュータシステムのバックグラウンドプログラムによりこの顔画像に基づいて対応する仮想３次元顔モデルが生成されることは期待する。言い換えると、コンピュータシステムは、フェースカスタマイズ機能によってゲームプレーヤーの入力した顔画像に基づいて仮想３次元顔モデルを生成して、ゲームプレーヤーのゲームキャラクターに対する個別化要求を満たすことができる。
【００４０】
上記現在顔画像はゲームプレーヤーが撮影したものであってもよいし、ゲームプレーヤーが写真データベースから選択したものであってもよい。上記現在顔画像は実世界中の人物を撮影した画像であってもよいし、手動又は作図ソフトウェアで設計された仮想人物画像であってもよい。本願の実施例は現在顔画像の取得手法及び画像中の人物の実世界での実在性を限定するものではない。
【００４１】
それに対応するように、コンピュータシステムは、ユーザの入力した現在顔画像を受信した後、先に現在顔画像に対して規範化処理を行って特定頭部姿勢と特定画像サイズの顔領域画像を取得するようにしてよい。例えば、事前に訓練されたニューラルネットワークを用いて顔検出、顔姿勢補正、画像縮小拡大等の処理を行って、特定頭部姿勢に合致する特定画像サイズの顔画像を取得する。
【００４２】
続いて、コンピュータシステムは、当業者に知られている任意の顔キーポイント検出方法を利用して上記前処理された顔領域画像に対してキーポイント検出を行い、現在顔画像のキーポイント特徴を取得することができる。
【００４３】
本願では、現在顔画像のキーポイント特徴は、キーポイントの位置座標情報を含んでもよく、複数のキーポイントの位置座標情報に基づいてフィッティングを介して得られる、局所的顔領域を表す特徴曲線、例えばまぶた線、唇線等の輪郭線を含んでもよい。
【００４４】
ステップ１２０、前記キーポイント特徴により前記現在顔画像とマッチングする目標骨格パラメータを取得する。
【００４５】
一例によれば、ステップ１２０は具体的には、前記キーポイント特徴により、参照モデルデータベースから前記現在顔画像とマッチングする目標骨格パラメータを取得するようになってよい。ここで、参照モデルデータベースは所定数量の顔画像サンプルから決定される参照キーポイント特徴及び前記参照キーポイント特徴のそれぞれに対応する参照骨格パラメータを含む。
【００４６】
本願では、面部の五官が高い規則性を有することに鑑みて、各部位を限りのある画像形式で表してよい。例えば、限りのあるいくつかの目の形によって大部分の人の目の特徴を表すことができ、限りのある眉形式画像で大部分の人の眉の特徴を表すことができる。図２に示すように、１２種の眉の形で大部分の人の顔の眉特徴を表すことができる。
【００４７】
それに基づければ、本願の実施例では、コンピュータシステムは事前に所定数量の顔画像サンプルにより参照モデルデータベースを決定してよい。ここで、参照モデルデータベースには顔画像サンプルから決定される参照キーポイント特徴及び参照キーポイント特徴のそれぞれに対応する参照骨格パラメータを含み、前記参照骨格パラメータは前記顔画像サンプルの参照顔モデルを生成（ｒｅｎｄｅｒ）することに利用可能である。
【００４８】
コンピュータシステムは、現在顔画像のキーポイント特徴を取得した後、前記キーポイント特徴に最も似ている参照キーポイント特徴を、目標参照キーポイント特徴として検出して、続いて、参照モデルデータベースから上記目標参照キーポイント特徴に対応する参照骨格パラメータを、前記現在顔画像に適合する目標骨格パラメータとして取得することができる。
【００４９】
本願では参照モデルデータベースのデータ構成が限定されないことに説明すべきである。例えば、参照モデルデータベースは、顔画像サンプルの参照顔モデルの生成のための参照骨格パラメータ、及び前記顔画像サンプルから取得される参照キーポイント特徴と前記参照骨格パラメータの対応関係を含んでよい。
【００５０】
現在顔画像のキーポイント特徴が決定された後、特定局所的顔領域を表すキーポイント特徴に基づいて参照モデルデータベースとマッチングして、その中から該キーポイント特徴に対応する参照骨格パラメータを取得して、現在顔画像中のこの局所的顔領域の目標骨格パラメータとするようにしてよい。上記手法によれば、現在顔画像中の各局所的顔領域の目標骨格パラメータ、例えば目部、口部、眉、鼻、顔輪郭等の領域の目標骨格パラメータを取得して、現在顔画像に適合する１セットの目標骨格パラメータを取得することができる。
【００５１】
ステップ１３０、前記目標骨格パラメータと基準３次元顔モデルに基づいて前記現在顔画像に対応する仮想３次元顔モデルを生成する。
【００５２】
現在顔画像に対応する目標骨格パラメータが決定された後、コンピュータシステムは上記目標骨格パラメータに基づいて基準３次元顔モデル中の骨格のパラメータを調整して、現在顔画像の顔特徴を反映する仮想３次元顔モデルを生成することができる。
【００５３】
この仮想３次元顔モデルは真実の人物の顔特徴に近似する仮想３次元顔モデルであってもよく、人物の表情や態度を反映するアニメ化仮想３次元顔モデルであってもよい。本願の実施例は最後に出力される３次元顔モデルが必ず実世界の人物の顔特徴に近似するものでなければならないように限定するものではない。
【００５４】
一例として、図３−１に例示的な一実施例に係る基準３次元顔モデルの模式図を示し、この基準３次元顔モデルはアニメ化仮想３次元顔モデルである。それに対応するように、図３−２に上記基準顔３次元モデルの骨格模式図を示す。モデル全体は所定数量の骨格、例えば６１本の骨格で構成される。図３−２における２点ずつの連結線は１本の骨格を表す。各部位は１本又は複数本の骨格に関連し、例えば、鼻部位は３本の骨格に関連し、この３本の骨格のパラメータを調整することによって様々の３次元鼻モデルを生成できる。
【００５５】
以上から分かるように、本願の実施例では、コンピュータシステムは、局所的顔領域を表すキーポイント特徴に基づいて顔画像に対応する目標骨格パラメータを自動的に取得し、上記目標骨格パラメータに基づいて基準３次元顔モデルの骨格パラメータを自動的に調整することで、前記現在顔画像に適合する仮想３次元顔モデルを自動的に生成できる。モデル生成の全過程では、ユーザが自ら主観的に判断することにより複雑な骨格パラメータを絶え間なく手動で調整してみる必要はなく、ユーザにとって操作難度が低くなった。
【００５６】
また、いくつかの実施例では、コンピュータシステムは参照モデルデータベースを事前に設置することで、参照モデルデータベースから顔画像に対応する目標骨格パラメータを高速に見出すことができる。ここで、顔局所領域特徴の規則性のため、参照モデルデータベースのデータ量が大きくなく、それによってコンピュータシステムは現在顔画像のキーポイント特徴により参照モデルデータベースからマッチング可能な目標骨格パラメータを高速に見出すことができ、更に該目標骨格パラメータに基づいて効率的且つ比較的正確に現在顔画像とマッチングする仮想３次元顔モデルを生成することができ、優れた一般性を有する。
【００５７】
システムにおいて参照モデルデータベースが作成されていない場合に、例えば、システムの初回作動又はシステムの初期化の時に、上記方法は参照モデルデータベースを作成するステップを更に含む。
【００５８】
図４に示すように、上記ステップ１１０の前に、前記顔モデルの生成方法は、所定数量の顔画像サンプルと基準３次元顔モデルにより参照モデルデータベースを決定するステップ１００を更に含んでもよい。前記参照モデルデータベースは所定数量の顔画像サンプルから決定される少なくとも１つの参照キーポイント特徴及び前記少なくとも１つの参照キーポイント特徴のそれぞれに対応する参照骨格パラメータを含む。更に、ステップ１２０は、前記少なくとも１つのキーポイント特徴により、上記参照モデルデータベースから現在顔画像とマッチングする目標骨格パラメータを取得するステップを含んでよい。
【００５９】
本願の実施例では、所定数量の顔画像サンプルを取得し、手動の注釈付きを介して上記顔画像サンプル中の各部位の画像形式を得るようにしてよい。続いて、上記注釈付きの顔画像サンプルと基準３次元顔モデルとに基づいて、骨格制御手法を介して対応する仮想３次元顔モデルを生成する。本願の実施例では、顔画像サンプルと基準３次元顔モデルにより生成した仮想３次元顔モデルを参照顔モデルと称する。
【００６０】
一例として、２０１個の顔画像サンプルを有すると仮定すれば、コンピュータシステムは対応するように２０１個の参照顔モデルを生成し、この２０１個の参照顔モデルの関連データに基づいて上記参照モデルデータベースを生成する。
【００６１】
参照モデルデータベースを作成する実行主体とその後で参照モデルデータベースを利用して顔モデルを生成する実行主体は、必ず同一のコンピュータシステムでなければならいというわけではないことを説明する必要がある。例えば、参照モデルデータベースを作成する実行主体は、例えばクラウドサーバのようなクラウドコンピュータシステムであってよく、上記ステップ１１０〜１３０の実行主体は端末装置となるコンピュータシステムであってよい。現在の端末装置の計算能力が増加しており、そして本願の実施例で大きい数量の顔画像サンプルデータを必要としないことに鑑みて、本願の別の実施例では、参照モデルデータベースの決定過程と後続の顔モデル生成過程はいずれも端末装置のコンピュータシステムによって実行されてもよい。
【００６２】
図５に示すように、上記ステップ１００には、以下のステップを含んでよい。
【００６３】
ステップ１０１、所定数量の顔画像サンプルを含む顔画像サンプル集合を取得する。前記顔画像サンプル集合は少なくとも１つの局所的顔領域を表す多種の画像形式を含む。
【００６４】
本願の実施例では、顔画像サンプル集合には所定数量の顔画像サンプルを含んでよい。ここで、対応的に生成される参照モデルデータベースにはできる限り全面的な参照データ、例えば参照キーポイント特徴、参照骨格パラメータ等を含むことを確保するために、上記所定数量の顔画像サンプルには例えば額部、目部、鼻部、唇部等の各顔部位の様々の画像形式をできる限り全面的に含む。
【００６５】
顔画像サンプル集合に含まれる顔画像サンプルの数量は以下の条件を満たしてよい。ランダムに取得された１枚の２次元顔画像Ａに対して、上記顔画像サンプル集合に含まれる各顔部位の画像形式から、上記画像Ａにおける別々の局所的顔領域に対応する画像形式を見出すことができる。又は、上記所定数量の顔画像サンプルから別々の局所的顔領域、例えば五官部位の画像形式を選択的に抽出して組み合わせることで、上記画像Ａと類似する顔画像を大体形成できるという。
【００６６】
本願の実施例では、実世界に存在する一般の五官の形に応じて所定数量の顔画像サンプルを収集して顔画像サンプル集合を取得するようにしてよい。
【００６７】
本願の一実施例では、実世界での異なる人の眉、目、鼻、口、顔輪郭の形に応じて、２０１枚の顔画像サンプルを収集して上記顔画像サンプル集合の決定に用いた。この２０１個の顔画像サンプルは各局所的顔領域の多種の画像形式を含んでよい。ここで、局所的顔領域とは２次元顔画像から認識された眉領域、目領域、鼻領域、顔輪郭等の領域を指す。
【００６８】
例えば、この２０１個の顔画像サンプルには上記図２に示す眉領域に対応する１２種の眉の形を含む。これによって類推すると、この２０１個の顔画像サンプルは口部、目部、鼻、顔輪郭等の局所的顔領域のそれぞれに対応する多種の画像形式を含む。
【００６９】
ステップ１０２、基準３次元顔モデルに基づいて各顔画像サンプルに対応する基準３次元顔モデルを生成する。
【００７０】
本願の実施例では、各顔画像サンプルに対して生成した仮想３次元顔モデルを参照３次元顔モデルと称する。それぞれの基準３次元顔モデルはそれぞれ１セットの骨格制御パラメータに対応する。
【００７１】
どのように基準３次元顔モデルと顔画像サンプルに基づいて参照３次元顔モデルを生成するかについて、図６を参照してよく、上記ステップ１０２には、以下のステップを含んでよい。
【００７２】
ステップ１０２１、顔画像サンプルに対して規範化処理を行って、基準顔画像の頭部姿勢と画像サイズに合致する前処理顔画像を取得する。基準顔画像は基準３次元顔モデルに対応する２次元顔画像である。
【００７３】
本願では、参照モデルデータベースを作成する工程で、それぞれの顔画像サンプルに対して顔領域検出、頭部姿勢補正、画像縮小拡大等の規範化処理を行って、基準顔画像の頭部姿勢と画像サイズに合致する前処理顔画像を取得するようにしてよい。この前処理顔画像は、基準顔画像と比べると、同一のカメラが同じ画像取得パラメータで、同じ撮影距離での同じ頭部姿勢の２人をそれぞれ撮影して取得した顔画像と理解してよい。
【００７４】
基準顔画像は、基準３次元顔モデルの特定画像座標系での投影画像と理解してよい。言い換えると、基準３次元顔モデルは、コンピュータシステムが基準顔画像に対してキーポイント検出を行った後、取得されたキーポイント集合、例えば２４０個のキーポイントの位置座標、及び所定数量の骨格、例えば６１本の骨格により生成した仮想３次元顔モデルである。
【００７５】
ステップ１０２２、前処理顔画像に対してキーポイント検出を行って、前記顔画像サンプルの参照キーポイント集合を取得する。前記参照キーポイント集合は、前記顔画像サンプルにおける各局所的顔領域を表す参照キーポイント組合せを含む。
【００７６】
前処理顔画像が取得された後、当業者に知られている任意のキーポイント検出方法によって、この前処理顔画像から６８個のキーポイント、１０６個のキーポイント又は２４０個のキーポイントのような所定数量のキーポイントを抽出してよい。抽出されたキーポイントの数量が多いほど、局所的顔領域を詳細に表すことができる。
【００７７】
顔領域画像のキーポイント検出の過程で、例えばエッジ検出ｒｏｂｅｒｔアルゴリズム、ソーベルｓｏｂｅｌアルゴリズム等の特定アルゴリズムを用いてもよく、例えば動的輪郭ｓｎａｋｅモデル等の関連モデルによってキーポイント検出を行ってもよい。
【００７８】
本願の別の実施例では、顔キーポイント検出のためのニューラルネットワークによってキーポイントの位置を決定してもよい。更にサードパーティアプリによって顔キーポイント検出を行ってもよく、図７に示すように、例えばサードパーティツールキットＤｌｉｂによって顔キーポイントの位置を決定し、６８個の顔キーポイントを検出した。更に、２４０顔キーポイント位置決定技術を用いて２４０個のキーポイントの位置座標を決定して、現在顔画像及び／又は顔画像サンプルにおける眉、目、鼻、唇、顔輪郭、面部表情等の重要部位の細部特徴の位置決定を実現するようにしてもよい。
【００７９】
参照キーポイント組合せについては、本願の別の実施例では、予め設定された規則で各参照キーポイントの番号を決定し、且つ各局所的顔領域を表す参照キーポイント組合せを決定するようにしてよい。例えば、図７に示す例において、顔画像サンプルから６８個のキーポイントが抽出され、１８〜２２番目の参照キーポイントで構成された参照キーポイント組合せが左眉領域を表す。それによって類推して、異なるキーポイント組合せで異なる局所的顔領域を表す。
【００８０】
本願では、各キーポイントの情報はそれぞれ番号と座標位置を含む。異なる顔画像サンプルにおいて、同一の局所的顔領域を表すキーポイントは番号、数量が同じであるが、座標位置が異なる。上記の例に示すように、基準顔画像から抽出された１８〜２２番目のキーポイント組合せが基準顔画像における左眉領域も表すが、各キーポイントの座標位置が図７に示す例における１８〜２２番目のキーポイントの座標位置と異なる。
【００８１】
キーポイントの座標位置とは、図７に示すＸＯＹ座標系のような予め設定された画像座標系でのキーポイントの位置を指すことを説明する必要がある。前処理顔画像のサイズが同じなので、各前処理顔画像については、後続の距離計算の便宜上、異なる前処理顔画像中のキーポイントの位置座標を同じ画像座標系で表してもよい。
【００８２】
ステップ１０２３、各前記参照キーポイント組合せに基づいて基準３次元顔モデル中の対応の骨格パラメータを調整して、前記顔画像サンプルに対応する参照顔モデルを生成する。そのように、顔画像サンプルに対応する参照顔モデルは顔画像サンプルに対応する参照骨格パラメータを含む。言い換えると、参照骨格パラメータは顔画像サンプルの参照顔モデルの生成（ｒｅｎｄｅｒ）に利用可能である。
【００８３】
本願の実施例では、システムにおいて、キーポイント組合せと骨格とのマッピング関係が事前に設定されている。該マッピング関係は、対応する３次元顔モデル中のキーポイント組合せで表される局所的顔領域を生成する時に、どの骨格のパラメータを調整する必要があるかを示すことができる。
【００８４】
一例として、前記基準３次元顔モデルにおける鼻領域がＧ１〜Ｇ３で示す３本の骨格に関連すると仮定すれば、上記３本の骨格のパラメータを調整することによって、生成された鼻の３次元モデルが顔画像サンプル中の鼻の形状に近似するようになったと判断されると、鼻部位の３次元モデルの生成が完了したとすることができる。それに対応するように、現在の３本の骨格の骨格制御パラメータは前記顔画像サンプル中の鼻の画像形式に対応する参照骨格パラメータである。
【００８５】
それによって類推して、各局所的顔領域の骨格パラメータを調整することによって、生成した仮想３次元顔モデルがユーザの期待に応えられる時に、参照顔モデルの生成が完了する。また、現在顔画像サンプル中の各参照キーポイント組合せに対応する参照骨格パラメータ、即ち前記顔画像サンプル中の各局所的顔領域の画像形式に対応する参照骨格パラメータを決定して、現在顔画像サンプルに対応する参照顔モデルデータを取得することができる。この参照顔モデルデータは各局所的顔領域の参照キーポイント組合せと参照骨格パラメータとの対応関係を含んでよい。
【００８６】
本願の実施例では、１つの顔画像サンプルに対して仮想３次元顔モデル、即ち参照顔モデルを生成した後、各局所的顔領域を表す参照キーポイント組合せと参照骨格パラメータとの対応関係により、１つの顔画像サンプルに対応する参照顔モデルデータを取得してよい。
【００８７】
上記ステップ１０２１〜ステップ１０２３で１枚の顔画像サンプルに基づいて対応する参照顔モデルを生成する過程を説明した。
【００８８】
ステップ１０３、各顔画像サンプルに対応する参照顔モデルにより参照モデルデータベースを決定する。参照モデルデータベースは各局所的顔領域の各種の画像形式を表す参照キーポイント特徴と参照骨格パラメータとの対応関係を含む。
【００８９】
本願の実施例では、図６に示す方法でそれぞれの顔画像サンプルに対応する参照顔モデルを生成し、更にそれぞれの顔画像サンプルに対応する参照顔モデルデータを決定するようにしてよい。
【００９０】
それぞれの顔画像サンプルの参照顔モデルデータが取得された後、参照モデルデータベースを作成してよい。この参照モデルデータベースは、各局所的顔領域の画像形式を表す参照キーポイント組合せと参照骨格パラメータとの対応関係、各顔画像サンプルの参照キーポイント特徴データ、及び各参照顔モデルの参照骨格パラメータを含んでよい。骨格に基づくモデル生成手法において、骨格に親子骨格関係があることを説明する必要があり、親骨格が移動すると、子骨格もそれに伴って移動し、例えば、手首の骨格の運動に伴って掌の骨格も運動する。１つの局所的顔領域の骨格パラメータが調整されると、顔モデル全体における他の骨格の調整パラメータに関連することがある。従って、本願の実施例では、参照モデルデータベースにおいて、参照顔モデル全体に対応する１セットの参照骨格パラメータでデータを記憶する。
【００９１】
以上、参照モデルデータベースをどのように作成するかについて詳細に説明した。
【００９２】
実際に応用する段階で、コンピュータシステムは入力された現在顔画像に対してキーポイント検出を行ってキーポイント特徴を取得した後、自動的に現在顔画像のキーポイント特徴に基づいて参照モデルデータベースで検索して、参照モデルデータベースからマッチング可能な別々の局所的顔領域の目標骨格パラメータを見出す。
【００９３】
上記ステップ１１０の実施については、図８に示すように、上記ステップ１１０は、以下のステップを含んでよい。
【００９４】
ステップ１１０１、現在顔画像に対してキーポイント検出を行って所定数量のキーポイントの位置座標を取得する。
【００９５】
上述したように、コンピュータシステムは現在顔画像に対して、顔領域検出、頭部姿勢補正、画像縮小拡大等の規範化処理を行って、基準顔画像のサイズと同じ前処理画像を取得してよい。続いて、顔キーポイント位置決定技術で前処理画像に対してキーポイント検出を行ってよい。例えば、２４０顔キーポイント位置決定技術で前処理画像に対してキーポイント検出を行って２４０個の顔キーポイントの位置座標を取得してよい。
【００９６】
ステップ１１０２、前記所定数量のキーポイントの位置座標により前記現在顔画像における少なくとも１つの局所的顔領域を表すキーポイント特徴を決定する。
【００９７】
本願の実施例では、現在顔画像のキーポイント位置座標が取得された後、現在顔画像における少なくとも１つの局所的顔領域を表すキーポイント特徴を決定できる。
【００９８】
例えば、眉領域のような局所的顔領域について、そのキーポイント特徴は以下の少なくとも２種の表現方式を含んでよい。
【００９９】
方式１、キーポイントの位置座標組合せを利用して局所的顔領域のキーポイント特徴を表す。例えば、１つの局所的顔領域を表すキーポイント座標組合せをこの局所的顔領域のキーポイント特徴としてよい。例えば、図９−１に示すように、１８〜２２番目のキーポイントの座標位置組合せを左眉領域のキーポイント特徴とする。
【０１００】
本願では、相対的に一定したキーポイント（キーポイント数量と各キーポイントの番号を含む）で局所的顔領域を表すが、異なる顔画像において同一番号のキーポイントの画像座標系での座標位置が異なる。例えば、第１顔画像において、キーポイント１８の座標位置が（８０，１５）、即ち８０行目１５列目の画素で決まった位置である。第２顔画像において、キーポイント１８の座標位置が（１００，２０）、即ち１００行目２０列目の画素で決まった位置であってよい。従って、キーポイント組合せの位置座標で別々の人の顔特徴を効果的に区別できる。
【０１０１】
方式２、キーポイント座標組合せのフィッティング曲線を利用して局所的顔領域のキーポイント特徴を表す。例えば、１つの局所的顔領域を表すキーポイント座標組合せにより、この局所的顔領域を表す特徴曲線をフィッティングし、且つこの特徴曲線をこの局所的顔領域のキーポイント特徴とするようにしてよい。図９−２に示すように、１８〜２２番目のキーポイントの座標位置によりフィッティングした特徴曲線を左眉領域のキーポイント特徴とする。同様に図９−３に示すように、目部キーポイント１〜１２の位置座標によりまぶた特徴曲線をフィッティングして、左目のキーポイント特徴とする。
【０１０２】
別々の人の顔の各キーポイントの位置座標が異なるので、キーポイント位置座標によりフィッティングした曲線の形状も異なる。従って、上記特徴曲線を現在顔画像中の局所的顔領域を表すキーポイント特徴として別々の人の顔を区別することができる。
【０１０３】
上記ステップ１２０の実施について、キーポイント特徴同士の類似度によって参照モデルデータベースから現在顔画像とマッチングする目標骨格パラメータを検索してよい。図１０に示すように、上記ステップ１２０には、以下のステップを含んでよい。
【０１０４】
ステップ１２１、現在顔画像中の各局所的顔領域については、参照モデルデータベース中の、該局所的顔領域のキーポイント特徴とマッチングする参照キーポイント特徴を、この局所的顔領域の目標参照キーポイント特徴として決定する。
【０１０５】
図１１に示すように、現在顔画像中の各局所的顔領域について、上記ステップ１２１では、以下のステップを含んでよい。
【０１０６】
ステップ１２１１、局所的顔領域のキーポイント特徴と参照モデルデータベース中の対応の参照キーポイント特徴との類似度を決定する。参照モデルデータベース中の対応の参照キーポイント特徴は、参照モデルデータベースにおける該局所的顔領域の位置に対応する参照キーポイント特徴であってよい。
【０１０７】
本願の実施例では、キーポイント特徴の表現形式によっては、異なる判定方式で参照モデルデータベースからマッチング可能な参照キーポイント特徴を検索してよい。
【０１０８】
例えば、参照モデルデータベースに記憶された参照キーポイント特徴が参照キーポイント座標組合せである場合に、キーポイント座標組合せ同士のユークリッド距離により局所的顔領域のキーポイント特徴と参照キーポイント特徴との類似度を決定してよい。
【０１０９】
図９−１に示すように、現在顔画像中のキーポイント１８〜２２の位置座標と任意の顔画像サンプル中のキーポイント１８〜２２の位置座標との間のユークリッド距離をそれぞれ計算してよく、それぞれｌ１８、ｌ１９、ｌ２０、ｌ２１、ｌ２２で表す。ｌ１８は現在顔画像のキーポイント１８の位置座標と顔画像サンプル中のキーポイント１８の位置座標との間のユークリッド距離を表し、それによって類推する。２つの画像中の左眉領域の類似度はキーポイント１８〜２２のユークリッド距離の和Ｌで表してよい。一実施例では、Ｌは以下の式で表してよい。
Ｌ＝ｌ１８＋ｌ１９＋ｌ２０＋ｌ２１＋ｌ２２
【０１１０】
本願の別の実施例では、上記類似度は更にキーポイント間のユークリッド距離の加重値で表してもよい。再度上記の例を参照し、実際の応用シナリオに応じて各キーポイントに所定の重みを設置してよく、例えば、キーポイント１８〜２２にそれぞれ重みα１、α２、α３、α４、α５を設置すれば、Ｌは以下の式で表してよい
Ｌ＝α１＊ｌ１８＋α２＊ｌ１９＋α３＊ｌ２０＋α４＊ｌ２１＋α５＊ｌ２２
【０１１１】
２つのキーポイント座標組合せ間のユークリッド距離が小さいほど、これら２つのキーポイント座標組合せで表される局所的顔領域間の類似度が高いことを示す。
【０１１２】
参照モデルデータベースに記憶された参照キーポイント特徴が参照特徴曲線である場合に、図１２に示すように、上記ステップ１２１１には、以下のステップを含んでよい。
【０１１３】
ステップ１２１１１、局所的顔領域のキーポイント座標組合せにより、フィッティングを介して該局所的顔領域を表す特徴曲線を取得する。
【０１１４】
再度図９−１を参照し、現在顔画像から１８〜２２番目のキーポイントの位置座標が決定された後、図９−２に示すように、所定規則、例えば左から右への順序でフィッティングを介して特徴曲線を得る。
【０１１５】
ステップ１２１１２、前記特徴曲線と参照モデルデータベース中の対応の参照特徴曲線との距離により、該局所的顔領域のキーポイント特徴と参照モデルデータベース中の対応の参照キーポイント特徴との類似度を決定する。
【０１１６】
本願の実施例では、フレシェｆｒｅｃｈｅｔ距離値でキーポイント特徴間の類似性を判定してよい。２本の特徴曲線間のｆｒｅｃｈｅｔ距離値が小さいほど、２本の特徴曲線の形状が近似し、即ち、類似度が高いことを示し、それに対応するように、２本の特徴曲線のそれぞれに対応する局所的顔領域間の類似度が大きい。
【０１１７】
本願の別の実施例では、二者を組み合わせることで上記目標参照キーポイント特徴を決定してもよい。具体的には、現在顔画像における任意の局所的顔領域のキーポイント座標組合せについて、該キーポイント座標組合せと参照モデルデータベースにおけるそれぞれの対応参照キーポイント座標組合せとのユークリッド距離をそれぞれ計算してよい。前記参照モデルデータベースにおける少なくとも２つの参照キーポイント座標組合せと該キーポイント座標組合せとのユークリッド距離値が同じであれば、更に前記少なくとも２つの参照キーポイント座標組合せのうちの各前記参照キーポイント組合せと前記キーポイント座標組合せとの間のｆｒｅｃｈｅｔ距離値を計算し、それによって現在顔画像中の該キーポイント座標組合せに対応する特徴曲線の形状に最も近似する目標参照キーポイント特徴を効果的に識別する。
【０１１８】
本願の別の実施例では、更に局所的顔領域の分布特徴により、対応するポリシーを用いて前記局所的顔領域のキーポイント特徴と参照モデルデータベース中の対応の参照キーポイント特徴との類似度を決定してもよい。
【０１１９】
例えば、局所的顔領域が少なくとも２つのサブ領域を含み、即ち該局所的顔領域が少なくとも２つのサブ領域のキーポイント特徴で表されることが可能である場合に、図１３に示すように、該局所的顔領域のキーポイント特徴と参照モデルデータベースにおける１つの顔画像サンプルに対応する参照キーポイント特徴との類似度を決定する時に、上記ステップ１２１１には、以下のステップを含んでよい。
【０１２０】
ステップ１２１１−１、該局所的顔領域中の各サブ領域について、該サブ領域のキーポイント特徴と参照モデルデータベース中の該顔画像サンプルの対応のサブ領域の参照キーポイント特徴との類似度を決定して、該サブ領域に対応する局所的類似度を取得する。
【０１２１】
該顔画像サンプルの対応のサブ領域とは、該顔画像サンプルにおける、該局所的顔領域の処理中のサブ領域の位置に対応するサブ領域をいう。例えば、目領域のキーポイント特徴は左目領域と右目領域のそれぞれに対応するキーポイント特徴を含む。眉領域のキーポイント特徴は左眉領域と右眉領域のそれぞれに対応するキーポイント特徴を含む。口領域のキーポイント特徴は上唇領域と下唇領域のそれぞれに対応するキーポイント特徴を含む。
【０１２２】
目領域を例とすると、上記のいずれか１種の決定方法で左目領域のキーポイント特徴と参照モデルデータベース中の各左目参照キーポイント特徴との類似度、及び右目領域のキーポイント特徴と参照モデルデータベース中の各右目参照キーポイント特徴との類似度を決定することができる。本願の実施例では、１つのサブ領域のキーポイント特徴と参照モデルデータベース中の対応のサブ領域の参照キーポイント特徴との類似度を局所的類似度と称する。現在顔画像中の左、右目領域のキーポイント特徴を参照モデルデータベース中の１つの参照顔モデルの左、右目領域の参照キーポイント特徴と比較した後、１対の局所的類似度が得られる。
【０１２３】
上記の例によれば、２０１個の顔画像サンプルで生成した参照モデルデータベースについて、現在顔画像中の目部領域のキーポイント特徴に対して２０１対の局所的類似度が得られる。
【０１２４】
ステップ１２１１−２、各サブ領域に対応する局所的類似度により、前記局所的顔領域と該顔画像サンプルの対応の局所的顔領域との全体的な類似度を、該局所的顔領域のキーポイント特徴と参照モデルデータベース中の該顔画像サンプルの対応参照キーポイント特徴との類似度として決定する。
【０１２５】
例えば目、口、眉等の２つのサブ領域のキーポイント特徴で表せる局所的顔領域について、各サブ領域の対応の局所的類似度が計算された後、２つの局所的類似度の和又は加重和を求めて、現在顔画像と１つの顔画像サンプルの対応領域の類似度としてよい。
【０１２６】
本願の実施例では、局所的顔領域が複数のサブ領域を含む場合に、複数のサブ領域の局所的類似度に基づいて上記目、眉、口等のこの局所的顔領域の全体的な類似度をより正確に比較し、更に参照モデルデータベースからより正確にこの局所的顔領域の目標骨格パラメータを決定することができる。
【０１２７】
ステップ１２１２、類似度が最も高い参照キーポイント特徴を前記局所的顔領域の目標参照キーポイント特徴とする。
【０１２８】
上記ステップ１２１１に記載のいずれか１種の方法で、現在顔画像中の局所的顔領域のキーポイント特徴と参照モデルデータベース中の各顔画像サンプルの対応の参照キーポイント特徴との類似度をそれぞれ計算し、且つ類似度が最も高い参照キーポイント特徴を現在顔画像中の該局所的顔領域の目標参照キーポイント特徴とする。
【０１２９】
ステップ１２２、現在顔画像中の各局所的顔領域の目標参照キーポイント特徴に対応する参照骨格パラメータに基づいて、現在顔画像の目標骨格パラメータを決定する。
【０１３０】
本願の一実施例では、参照モデルデータベースには、各局所的顔領域の各種画像形式に対応する参照キーポイント特徴、及び上記参照キーポイント特徴と参照骨格パラメータとの間の対応関係が記憶されている。
【０１３１】
各顔画像からそれぞれＭ個の局所的顔領域、例えば、眉、目、鼻、口、顔輪郭の５つの局所的顔領域を区画できると仮定する。
【０１３２】
１つの局所的顔領域に対応する画像形式の数をｎとすれば、上記参照モデルデータベースには少なくともＮ個の参照キーポイント特徴が記憶されており、Ｎ＝ｎ１＋ｎ２＋……＋ｎＭ、ここで、ｎｉは局所的顔領域の画像形式の数を表し、ｉは１つの局所的顔領域を表し、ｉ∈（１，Ｍ）である。一例として、数字１が眉を表すとすれば、ｎ１は眉の形の数を表し、それに対応するように、図２に示す例において、ｎ１＝１２。
【０１３３】
各参照キーポイント特徴はそれぞれ１セットの参照骨格パラメータに対応し、従って、上記参照モデルデータベースには少なくともＮ個の参照キーポイント特徴に対応するＮセットの参照骨格パラメータが記憶されている。
【０１３４】
上記参照キーポイント特徴が参照キーポイントの座標位置によりフィッティングを介して得られる参照特徴曲線であれば、上記参照モデルデータベースには少なくともＮ本の参照特徴曲線に対応するＮセットの参照骨格パラメータが記憶されている。
【０１３５】
上記参照キーポイント特徴が参照キーポイントの座標位置組合せ、即ち参照キーポイント座標組合せであれば、上記参照モデルデータベースには少なくともＮ個の参照キーポイント座標組合せに対応するＮセットの参照骨格パラメータが記憶されている。
【０１３６】
コンピュータシステムは、現在顔画像から局所的顔領域のキーポイント特徴を取得した後、参照モデルデータベースからこのキーポイント特徴とマッチングする参照キーポイント特徴、例えば最も近似する参照キーポイント特徴を、目標参照キーポイント特徴として決定し、更に目標参照キーポイント特徴に対応する参照骨格パラメータにより、上記キーポイント特徴に適合する目標骨格パラメータを決定することができる。例えば、直接に、目標参照キーポイント特徴に対応する参照骨格パラメータを、現在顔画像における上記キーポイント特徴に対応する局所的顔領域に適合する目標骨格パラメータとする。
【０１３７】
本願の実施例では、キーポイント特徴の表現方式に応じてユークリッド距離又はｆｒｅｃｈｅｔ距離を利用して、現在顔画像における局所的顔領域のキーポイント特徴と参照モデルデータベース中の対応の参照キーポイント特徴との類似度を判定することで、比較的正確で且つ高速に参照モデルデータベースに基づいて現在顔画像における局所的顔領域の目標骨格パラメータを決定し、生成すべき顔モデルの骨格調整パラメータを決定することができ、それによって、例えばゲームシナリオのような特定の応用シナリオでのフェースカスタマイズ機能の用途のユーザ体験を効果的に向上させることができる。
【０１３８】
本明細書における様々な実施例は漸進的に説明され、各実施例間の同一または類似の部分については相互に参照すればよく、各実施例は他の実施例との相違点に集中して説明した。特に、データ処理装置の実施例については、それは基本的に方法実施例と類似するので、説明は比較的簡単であり、関連部分は方法実施例の説明の一部を参照すればよい。
【０１３９】
上述した各方法の実施例については、簡単に説明するために、シリーズ的な動作組合せとして説明したが、本開示に基づければ一部のステップを他の順序で実行してもよく、又は同時に実行してもよいので、本開示が記述された動作順序に限定されないことが当業者に知られている。
【０１４０】
そして、明細書に記述された実施例は全て選択可能な実施例であり、関連する動作やモジュールは必ず本開示に不可欠なものであるというわけでないことも当業者に知られている。
【０１４１】
前記の応用機能の実現方法の実施例に対応するように、本開示は応用機能の実現装置及び対応端末の実施例を更に提供する。
【０１４２】
それに対応するように、本願の実施例は、顔モデルの生成装置を提供する。図１４に示すように、前記装置は、現在顔画像に対してキーポイント検出を行って前記現在顔画像の少なくとも１つのキーポイント特徴を取得するためのキーポイント検出モジュール２１と、前記少なくとも１つのキーポイント特徴により前記現在顔画像とマッチングする目標骨格パラメータを取得するためのパラメータマッチングモジュール２２と、前記目標骨格パラメータと基準３次元顔モデルとに基づいて前記現在顔画像に対応する仮想３次元顔モデルを生成するためのモデル生成モジュール２３とを含んでよい。
【０１４３】
本願の装置の実施例では、前記モデル生成モジュール２３が出力する前記現在顔画像に対応する仮想３次元顔モデルは、前記現在顔画像に対応するアニメ化仮想３次元顔モデルであってよい。
【０１４４】
本願の別の装置の実施例では、前記モデル生成モジュール２３の出力する前記現在顔画像に対応する仮想３次元顔モデルは、前記現在顔画像中の真実の顔に似ている仮想３次元顔モデル、即ち真実の顔に見える仮想３次元顔モデルであってもよい。
【０１４５】
図１５に示すように、図１４に示す装置の実施例を基礎として、前記装置は、更に、所定数量の顔画像サンプルと前記基準３次元顔モデルにより参照モデルデータベースを決定するためのデータベース作成モジュール２０を含んでよい。前記参照モデルデータベースは所定数量の顔画像サンプルから決定される少なくとも１つの参照キーポイント特徴及び前記少なくとも１つの参照キーポイント特徴のそれぞれに対応する参照骨格パラメータを含む。このような場合に、前記パラメータマッチングモジュール２２は、具体的には、前記少なくとも１つのキーポイント特徴により前記参照モデルデータベースから前記現在顔画像とマッチングする目標骨格パラメータを取得するために用いられる。
【０１４６】
図１６に示すように、図１５に示す装置の実施例を基礎として、前記データベース作成モジュール２０は、サンプル取得サブモジュール２０１と、参照モデル生成サブモジュール２０２と、データベース決定サブモジュール２０３とを含んでよい。前記サンプル取得サブモジュール２０１は、前記所定数量の顔画像サンプルを含む顔画像サンプル集合を取得するために用いられ、前記顔画像サンプル集合は、少なくとも１種の局所的顔領域を表す多種の画像形式を含み、前記参照モデル生成サブモジュール２０２は、前記基準３次元顔モデルに基づいて前記顔画像サンプルに対応する参照顔モデルを生成するために用いられ、前記参照顔モデルは、前記顔画像サンプルに対応する前記参照骨格パラメータを含み、前記データベース決定サブモジュール２０３は、各前記顔画像サンプルに対応する参照顔モデルにより、前記参照モデルデータベースを決定するために用いられ、前記参照モデルデータベースは、各前記局所的顔領域の各種の前記画像形式を表す前記キーポイント特徴と前記参照骨格パラメータとの対応関係を含む。
【０１４７】
図１７に示すように、図１６に示す装置の実施例を基礎として、前記参照モデル生成サブモジュール２０２は、画像前処理ユニット２０２１とキーポイント検出ユニット２０２２と参照モデル生成ユニット２０２３とを含んでよい。前記画像前処理ユニットは２０２１、前記顔画像サンプルに対して規範化処理を行って、基準顔画像の頭部姿勢と画像サイズに合致する前処理顔画像を取得するために用いられ、前記基準顔画像は、前記基準３次元顔モデルに対応する２次元顔画像であり、前記キーポイント検出ユニット２０２２は、前記前処理顔画像に対してキーポイント検出を行って、前記顔画像サンプルの参照キーポイント集合を取得するために用いられ、前記参照キーポイント集合は、前記顔画像サンプルにおける各前記局所的顔領域を表す参照キーポイント組合せを含み、前記参照モデル生成ユニット２０２３は、各前記参照キーポイント組合せに基づいて前記基準３次元顔モデル中の対応の骨格パラメータを調整して、前記顔画像サンプルに対応する前記参照顔モデルを生成するために用いられる。
【０１４８】
図１８に示すように、図１４〜図１７のいずれか一項に示す装置の実施例を基礎として、前記キーポイント検出モジュール２１は、前記現在顔画像に対してキーポイント検出を行って所定数量のキーポイントの位置座標を取得するためのキーポイント位置決定サブモジュール２１１と、前記所定数量のキーポイントの位置座標により、前記現在顔画像における少なくとも１つの局所的顔領域を表すキーポイント特徴を決定するためのキーポイント特徴決定サブモジュール２１２と、を含んでよい。
【０１４９】
本願の実施例では、前記キーポイント特徴はキーポイント座標組合せ及び／又は特徴曲線を含んでよい。
【０１５０】
それに対応するように、図１９に示すように、図１８に示す装置の実施例を基礎として、前記キーポイント特徴決定サブモジュール２１２は、座標組合せ決定ユニット２１２１と特徴曲線決定ユニット２１２２とを含んでよい。前記座標組合せ決定ユニット２１２１は、前記所定数量のキーポイントの位置座標に基づいて、前記現在顔画像における第１局所的顔領域を表すキーポイント座標組合せを、当該第１局所的顔領域を表す前記キーポイント特徴として決定するために用いられ、当該第１局所的顔領域は、前記少なくとも１つの局所的顔領域のうちのいずれか１つであり、前記特徴曲線決定ユニット２１２２は、当該第１局所的顔領域を表す前記キーポイント座標組合せにより、フィッティングを介して得られる当該第１局所的顔領域を表す特徴曲線を、当該第１局所的顔領域を表す前記キーポイント特徴とするために用いられる。
【０１５１】
本願では、前記少なくとも１種の局所的顔領域は、眉、目、鼻、口、顔輪郭の少なくとも一項を含む。
【０１５２】
上記の図１９に示す装置の実施例はキーポイント特徴決定サブモジュール２１２が座標組合せ決定ユニット２１２１と特徴曲線決定ユニット２１２２を含む場合に対応する。本願の別の装置の実施例では、キーポイント特徴決定サブモジュール２１２は座標組合せ決定ユニット２１２１又は特徴曲線決定ユニット２１２２を含んでもよい。
【０１５３】
図２０に示すように、図１４〜図１９のいずれか一項に示す装置の実施例を基礎として、前記パラメータマッチングモジュール２２は、前記現在顔画像における各局所的顔領域について、前記参照モデルデータベース中の、前記局所的顔領域のキーポイント特徴とマッチングする参照キーポイント特徴を、前記局所的顔領域の目標参照キーポイント特徴として決定するための特徴マッチングサブモジュール２２１と、前記現在顔画像中の各前記局所的顔領域の目標参照キーポイント特徴に対応する参照骨格パラメータに基づいて、前記現在顔画像の目標骨格パラメータを決定するための骨格パラメータ決定サブモジュール２２２と、を含んでよい。
【０１５４】
図２１に示すように、図２０に示す装置の実施例を基礎として、前記特徴マッチングサブモジュール２２１は、前記局所的顔領域のキーポイント特徴と前記参照モデルデータベース中の対応の参照キーポイント特徴との類似度を決定するための類似度決定ユニット２２１１と、類似度が最も高い前記参照キーポイント特徴を前記局所的顔領域の前記目標参照キーポイント特徴として決定するための目標特徴決定ユニット２２１２と、を含んでよい。
【０１５５】
本願の装置の実施例では、前記キーポイント特徴は、キーポイント位置座標によりフィッティングを介して得られる特徴曲線であってよい。それに対応するように、図２２に示すように、図２１に示す装置の実施例を基礎として、前記類似度決定ユニット２２１１は、局所的顔領域のキーポイント座標組合せにより、フィッティングを介して前記局所的顔領域を表す特徴曲線を取得するための曲線フィッティングサブユニット２２０１と、前記特徴曲線と前記参照モデルデータベース中の対応の参照特徴曲線の距離により、前記局所的顔領域のキーポイント特徴と前記参照モデルデータベース中の対応の参照キーポイント特徴との類似度を決定するための類似度決定サブユニット２２０２とを含んでよい。
【０１５６】
本願の実施例では、前記距離はユークリッド距離又はフレシェｆｒｅｃｈｅｔ距離を含んでよい。それに対応するように、前記目標特徴決定ユニット２２１２は、前記距離値が最も小さい参照特徴曲線を前記目標参照キーポイント特徴とすることに利用可能である。
【０１５７】
図２３に示すように、図２１に示す装置の実施例を基礎として、前記類似度決定ユニット２２１１は、１つの前記局所的顔領域が少なくとも２つのサブ領域を含む場合に、前記局所的顔領域中の各前記サブ領域について、前記参照モデルデータベース中の各顔画像サンプルに対して、前記サブ領域のキーポイント特徴と前記参照モデルデータベース中の当該顔画像サンプルの対応のサブ領域の参照キーポイント特徴との類似度を決定して、前記サブ領域に対応する局所的類似度を取得するための局所的類似度決定サブユニット２２１１１と、前記参照モデルデータベース中の各顔画像サンプルについて、各前記サブ領域に対応する前記局所的類似度により、前記局所的顔領域と当該顔画像サンプル中の対応の局所的顔領域との全体的な類似度を、前記局所的顔領域のキーポイント特徴と前記参照モデルデータベース中の当該顔画像サンプルの対応の参照キーポイント特徴との類似度として決定するための全体的類似度決定サブユニット２２１１２と、を含んでよい。
【０１５８】
装置実施例は、基本的に方法実施例に対応するので、関連部分については方法実施例の一部の説明を参照すればよい。上述した装置実施例は単に例示的なものであり、そのうち、前記の分離部材として説明したユニットは物理的に分離されたものであってもなくてもよく、ユニット表示の部材としては物理ユニットであってもなくてもよく、一箇所に位置してもよく、または複数のネットワークユニットに分布してもよい。実際の必要に応じてその一部または全てのモジュールを選択して本願の解決手段の目的を実現できる。当業者であれば、創造的な労力を要することなく、理解し実施することができる。
【０１５９】
上記の顔モデルの生成方法に対して、本願の実施例は、本願に係る例示的な一実施例の電子機器の構造模式図を更に提供する。図２４に示すように、ハードウェアの面で、この電子機器はプロセッサ２４１、内部バス２４２、ネットワークインタフェース２４３、メモリ２４５及び非揮発性メモリ２４６を含み、勿論、更に他の業務に必要なハードウェアを含むこともできる。プロセッサ２４１は非揮発性メモリ２４６から対応するコンピュータプログラムをメモリ２４５に読み取ってから作動させ、論理の面で知能化運転制御装置を形成する。勿論、ソフトウェアによる実現形態の他に、本願は、例えばロジックデバイス又はソフトウェアとハードウェアの組合せのような他の実現形態等で実現されてもよく、つまり、以下の処理プロセスの実行主体は各ロジックユニットに限定されず、ハードウェア又はロジックデバイスであってもよい。
【０１６０】
本明細書の１つ又は複数の実施例は方法、システム又はコンピュータプログラム製品として提供可能であることが当業者に理解されるべきである。従って、本明細書の１つ又は複数の実施例は、完全ハードウェア実施例、完全ソフトウェア実施例又はソフトウェアとハードウェアを組み合わせた実施例の形態を採用してもよい。また、本明細書の１つ又は複数の実施例は、コンピュータ利用可能プログラムコードを含む１つ又は複数のコンピュータ利用可能記憶媒体（磁気ディスク記憶装置、ＣＤ−ＲＯＭ、光学記憶装置等を含むが、それらに限定されない）上で実施されるコンピュータプログラム製品の形態を採用してもよい。
【０１６１】
本明細書の実施例は、コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、前記プログラムがプロセッサにより実行される時に本明細書の図１〜図１３のいずれか１つの実施例で提供された顔モデルの生成方法のステップを実現するコンピュータ可読記憶媒体を更に提供する。
【０１６２】
本明細書で説明された主旨及び機能操作の実施例は、デジタル電子回路、具形化したコンピュータソフトウェア又はファームウエア、本明細書で開示された構造及びその構造上同等な物を含むコンピュータハードウェア、或いはそれらの１つ又は複数の組合せで実現可能である。本明細書で説明された主旨の実施例は、１つ又は複数のコンピュータプログラムとして実現可能であり、即ち、有形非一時的プログラムキャリアに符号化されてデータ処理装置により実行されるか又はデータ処理装置の操作を制御するコンピュータプログラムコマンド中の１つ又は複数のモジュールとして実現可能である。人工で生成する伝播信号、例えば機械で生成する電気、光又は電磁信号にプログラムコマンドが符号化されるような代替又は追加は可能であり、該当信号が生成されて情報を符号化して適切な受信装置に伝送してデータ処理装置により実行させる。コンピュータ記憶媒体は、機械可読記憶装置、機械可読記憶基板、ランダム又はシリアルアクセス記憶装置、或いはそれらの１つ又は複数の組合せであってもよい。
【０１６３】
本明細書に記載の処理及び論理フローは１つ又は複数のコンピュータプログラムを実行する１つ又は複数のプログラマブルコンピュータにより実行されて、入力データにより操作し出力を生成することによって対応する機能を実行してもよい。前記処理及び論理フローは、更に専用論理回路、例えばＦＰＧＡ（フィールド・プログラマブル・ゲート・アレイ）又はＡＳＩＣ（専用集積回路）によって実行されてもよく、また、装置は専用論理回路として実現されてもよい。
【０１６４】
コンピュータプログラムを実行するのに適するコンピュータは、例えば汎用及び／又は専用マイクロプロセッサ、又は任意の他の種類の中央処理装置を含む。一般的には、中央処理装置は読出し専用メモリ及び／又はランダムアクセスメモリからコマンドやデータを受信する。コンピュータの基本的なコンポーネントは、コマンドを実施又は実行するための中央処理装置及びコマンドやデータを記憶するための１つ又は複数の記憶装置を含む。一般的には、コンピュータは更にデータを記憶するための１つ又は複数の大容量記憶装置、例えば磁気ディスク、光磁気ディスク又は光ディスク等を含み、又は、コンピュータは操作可能にこの大容量記憶装置に接続されてそのものに対するデータ受信又はデータ伝送を行い、又は、それらの両方が考えられている。しかしながら、コンピュータはこのような装置を有しなければならないということではない。なお、コンピュータは、例えば携帯電話、携帯用情報端末（ＰＤＡ）、携帯型オーディオ又はビデオプレーヤ、遊戯操作部、全地球測位システム（ＧＰＳ）受信装置、又は例えば汎用シリアルバス（ＵＳＢ）フラッシュドライブの携帯型記憶装置のような別の装置に嵌め込まれてもよく、それらは例に過ぎない。
【０１６５】
コンピュータプログラムコマンドやデータを記憶するのに適するコンピュータ可読媒体は全ての形態の不揮発性メモリ、媒体及び記憶装置を含み、例えば、半導体記憶装置（例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ及びフラッシュ装置）、磁気ディスク（例えば、内蔵ハードディスク又はリムーバブルハードディスク）、光磁気ディスク及びＣＤ  ＲＯＭとＤＶＤ−ＲＯＭディスクを含む。プロセッサとメモリは専用論理回路によって補充されるか、専用論理回路に組み合わせられることが可能である。
【０１６６】
本明細書に具体的な実施詳細を多く含むが、それらは発明の範囲又は保護しようとする範囲に何の制限を与えるものと解釈してもならなく、主に特定の発明の具体的な実施例の特徴を説明するためのものである。本明細書においては複数の実施例で説明された幾つかの特徴は単一の実施例で組み合わせて実施してもよい。一方、単一の実施例で説明された様々な特徴は、複数の実施例で別々に実施してもよいし、いかなる適切なサブ組合せで実施してもよい。なお、特徴は以上のとおり幾つかの組合せで作用を発揮することができ、更に最初にそのように保護しようしていたが、保護しようとする組合せからの１つ又は複数の特徴はこの組合せから除去してもよいことがあり、また保護しようとする組合せはサブ組合せ又はサブ組合せの変形であってもよい。
【０１６７】
類似的に、図面において特定の順序で操作を説明したが、所望の結果を遂げるために、これらの操作を示された特定の順序で実行したり、順に実行したりすることを要求し、又は全ての例示的な操作を実行することを要求すると理解してならない。マルチタスクや並列処理は役立つものになることがある。なお、上記実施例における様々のシステムモジュールとコンポーネントの分離は全ての実施例に必要なものとなると理解してならなく、説明されたプログラムコンポーネントとシステムは一般的には単一のソフトウェア製品に統合するか、複数のソフトウェア製品として実装することができるのを理解すべきである。
【０１６８】
以上のとおり、主旨となる特定の実施例を説明した。他の実施例は添付した特許請求の範囲内にある。特許請求の範囲に記載の動作を異なる順序で実行しても所望の結果を実現できることがある。なお、図面に記載の処理は、所望の結果を遂げるために、必ず示された特定の順序又は順次順序によるというわけでない。マルチタスクと並列処理は役立つものになる実施形態がある。
【０１６９】
上述したのは本明細書の１つ又は複数の実施例の好ましい実施例に過ぎず、本明細書の１つ又は複数の実施例を限定するものではなく、本明細書の１つ又は複数の実施例の主旨と原則から逸脱しない限り行った修正、同等な取替、改良等は、全て本明細書の１つ又は複数の実施例の保護する範囲に含まれるものである。
【図１】
2022500790.tif 000003
【図２】
2022500790.tif 000004
【図３−１】
2022500790.tif 000005
【図３−２】
2022500790.tif 000006
【図４】
2022500790.tif 000007
【図５】
2022500790.tif 000008
【図６】
2022500790.tif 000009
【図７】
2022500790.tif 000010
【図８】
2022500790.tif 000011
【図９−１】
2022500790.tif 000012
【図９−２】
2022500790.tif 000013
【図９−３】
2022500790.tif 000014
【図１０】
2022500790.tif 000015
【図１１】
2022500790.tif 000016
【図１２】
2022500790.tif 000017
【図１３】
2022500790.tif 000018
【図１４】
2022500790.tif 000019
【図１５】
2022500790.tif 000020
【図１６】
2022500790.tif 000021
【図１７】
2022500790.tif 000022
【図１８】
2022500790.tif 000023
【図１９】
2022500790.tif 000024
【図２０】
2022500790.tif 000025
【図２１】
2022500790.tif 000026
【図２２】
2022500790.tif 000027
【図２３】
2022500790.tif 000028
【図２４】
2022500790.tif 000029
【手続補正書】
【提出日】令和3年3月22日(2021.3.22)
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】変更
【補正の内容】
【００３０】
【図１】本願の例示的な一実施例に係る顔モデルの生成方法のフローチャートである。
【図２】本願の例示的な一実施例に係る眉の形の模式図である。
【図３−１】本願の例示的な一実施例に係る基準３次元顔モデルの模式図である。
【図３−２】本願の別の例示的な実施例に係る顔モデルの生成の応用シナリオの模式図である。
【図４】本願の別の例示的な実施例に係る顔モデルの生成方法のフローチャートである。
【図５】本願の別の例示的な実施例に係る顔モデルの生成方法のフローチャートである。
【図６】本願の別の例示的な実施例に係る顔モデルの生成方法のフローチャートである。
【図７】本願の例示的な一実施例に係るキーポイントの座標位置の模式図である。
【図８】本願の別の例示的な実施例に係る顔モデルの生成方法のフローチャートである。
【図９−１】本願の例示的な一実施例に係る左眉領域のキーポイント特徴の模式図である。
【図９−２】本願の別の例示的な実施例に係る左眉領域のキーポイント特徴の模式図である。
【図９−３】本願の例示的な一実施例に係る左目のキーポイント特徴の模式図である。
【図１０】本願の別の例示的な実施例に係る顔モデルの生成方法のフローチャートである。
【図１１】本願の別の例示的な実施例に係る顔モデルの生成方法のフローチャートである。
【図１２】本願の別の例示的な実施例に係る顔モデルの生成方法のフローチャートである。
【図１３】本願の別の例示的な実施例に係る顔モデルの生成方法のフローチャートである。
【図１４】本願の例示的な一実施例に係る顔モデルの生成装置のブロック図である。
【図１５】本願の別の例示的な実施例に係る顔モデルの生成装置のブロック図である。
【図１６】本願の別の例示的な実施例に係る顔モデルの生成装置のブロック図である。
【図１７】本願の別の例示的な実施例に係る顔モデルの生成装置のブロック図である。
【図１８】本願の別の例示的な実施例に係る顔モデルの生成装置のブロック図である。
【図１９】本願の別の例示的な実施例に係る顔モデルの生成装置のブロック図である。
【図２０】本願の別の例示的な実施例に係る顔モデルの生成装置のブロック図である。
【図２１】本願の別の例示的な実施例に係る顔モデルの生成装置のブロック図である。
【図２２】本願の別の例示的な実施例に係る顔モデルの生成装置のブロック図である。
【図２３】本願の別の例示的な実施例に係る顔モデルの生成装置のブロック図である。
【図２４】本願の別の例示的な実施例に係る電子機器の構造模式図である。
【手続補正３】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
現在顔画像に対してキーポイント検出を行って前記現在顔画像の少なくとも１つのキーポイント特徴を取得するステップと、
前記少なくとも１つのキーポイント特徴により前記現在顔画像とマッチングする目標骨格パラメータを取得するステップと、
前記目標骨格パラメータと基準３次元顔モデルとに基づいて前記現在顔画像に対応する仮想３次元顔モデルを生成するステップと、を含むことを特徴とする顔モデルの生成方法。
【請求項２】
所定数量の顔画像サンプルと前記基準３次元顔モデルにより参照モデルデータベースを決定するステップであって、前記参照モデルデータベースは、所定数量の顔画像サンプルから決定される少なくとも１つの参照キーポイント特徴及び前記少なくとも１つの参照キーポイント特徴のそれぞれに対応する参照骨格パラメータを含むステップを更に含み、
前記少なくとも１つのキーポイント特徴により前記現在顔画像とマッチングする目標骨格パラメータを取得するステップは、
前記少なくとも１つのキーポイント特徴により前記参照モデルデータベースから前記現在顔画像とマッチングする目標骨格パラメータを取得するステップを含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記所定数量の顔画像サンプルと前記基準３次元顔モデルにより前記参照モデルデータベースを決定するステップは、
前記所定数量の顔画像サンプルを含む顔画像サンプル集合を取得するステップであって、前記顔画像サンプル集合は、少なくとも１つの局所的顔領域を表す多種の画像形式を含むステップと、
各前記顔画像サンプルについて、前記基準３次元顔モデルに基づいて前記顔画像サンプルに対応する参照顔モデルを生成するステップであって、前記参照顔モデルは、前記顔画像サンプルに対応する前記参照骨格パラメータを含むステップと、
各前記顔画像サンプルに対応する参照顔モデルにより、前記参照モデルデータベースを決定するステップと、を含み、
前記参照モデルデータベースは、各前記局所的顔領域の各種の前記画像形式を表す前記参照キーポイント特徴と前記参照骨格パラメータとの対応関係を含むことを特徴とする請求項２に記載の方法。
【請求項４】
前記基準３次元顔モデルに基づいて前記顔画像サンプルに対応する前記参照顔モデルを生成するステップは、
前記顔画像サンプルに対して規範化処理を行って、基準顔画像の頭部姿勢と画像サイズに合致する前処理顔画像を取得するステップであって、前記基準顔画像は、前記基準３次元顔モデルに対応する２次元顔画像であるステップと、
前記前処理顔画像に対してキーポイント検出を行って、前記顔画像サンプルの参照キーポイント集合を取得するステップであって、前記参照キーポイント集合は、前記顔画像サンプルにおける各前記局所的顔領域を表す参照キーポイント組合せを含むステップと、
各前記参照キーポイント組合せに基づいて前記基準３次元顔モデル中の対応の骨格パラメータを調整して、前記顔画像サンプルに対応する前記参照顔モデルを生成するステップと、を含むことを特徴とする請求項３に記載の方法。
【請求項５】
前記現在顔画像に対してキーポイント検出を行って前記現在顔画像の少なくとも１つのキーポイント特徴を取得するステップは、
前記現在顔画像に対してキーポイント検出を行って所定数量のキーポイントの位置座標を取得するステップと、
前記所定数量のキーポイントの位置座標により、前記現在顔画像における少なくとも１つの局所的顔領域を表すキーポイント特徴を決定するステップと、を含むことを特徴とする請求項１〜４のいずれか一項に記載の方法。
【請求項６】
前記所定数量のキーポイントの位置座標により、前記現在顔画像における少なくとも１つの局所的顔領域を表す前記キーポイント特徴を決定するステップは、
前記所定数量のキーポイントの位置座標に基づいて、前記現在顔画像における第１局所的顔領域を表すキーポイント座標組合せを、当該第１局所的顔領域を表す前記キーポイント特徴として決定するステップであって、当該第１局所的顔領域は、前記少なくとも１つの局所的顔領域のうちのいずれか１つであるステップ、及び／又は、
当該第１局所的顔領域を表す前記キーポイント座標組合せにより、フィッティングを介して得られる当該第１局所的顔領域を表す特徴曲線を、当該第１局所的顔領域を表す前記キーポイント特徴とするステップを含むことを特徴とする請求項５に記載の方法。
【請求項７】
前記少なくとも１つのキーポイント特徴により前記参照モデルデータベースから前記現在顔画像とマッチングする目標骨格パラメータを取得するステップは、
前記現在顔画像における各局所的顔領域について、前記参照モデルデータベース中の、前記局所的顔領域のキーポイント特徴とマッチングする参照キーポイント特徴を、前記局所的顔領域の目標参照キーポイント特徴として決定するステップと、
前記現在顔画像中の各前記局所的顔領域の目標参照キーポイント特徴に対応する参照骨格パラメータに基づいて、前記現在顔画像の目標骨格パラメータを決定するステップと、を含むことを特徴とする請求項２〜６のいずれか一項に記載の方法。
【請求項８】
前記参照モデルデータベース中の、前記局所的顔領域のキーポイント特徴とマッチングする参照キーポイント特徴を、前記局所的顔領域の目標参照キーポイント特徴として決定するステップは、
前記局所的顔領域のキーポイント特徴と前記参照モデルデータベース中の対応の参照キーポイント特徴との類似度を決定するステップと、
類似度が最も高い前記参照キーポイント特徴を、前記局所的顔領域の前記目標参照キーポイント特徴として決定するステップと、を含むことを特徴とする請求項７に記載の方法。
【請求項９】
前記局所的顔領域のキーポイント特徴と前記参照モデルデータベース中の対応の参照キーポイント特徴との類似度を決定するステップは、
前記局所的顔領域のキーポイント座標組合せにより、フィッティングを介して前記局所的顔領域を表す特徴曲線を取得するステップと、
前記特徴曲線と前記参照モデルデータベース中の対応の参照特徴曲線との距離により、前記局所的顔領域のキーポイント特徴と前記参照モデルデータベース中の対応の参照キーポイント特徴との類似度を決定するステップと、を含むことを特徴とする請求項８に記載の方法。
【請求項１０】
前記局所的顔領域が少なくとも２つのサブ領域を含む場合に、前記局所的顔領域のキーポイント特徴と前記参照モデルデータベース中の１つの顔画像サンプルの対応の参照キーポイント特徴との類似度を決定するステップは、
前記局所的顔領域中の各前記サブ領域について、前記サブ領域のキーポイント特徴と前記参照モデルデータベース中の当該顔画像サンプルの対応のサブ領域の参照キーポイント特徴との類似度を決定して、前記サブ領域に対応する局所的類似度を取得するステップと、
各前記サブ領域に対応する前記局所的類似度により、前記局所的顔領域と当該顔画像サンプル中の対応の局所的顔領域との全体的な類似度を、前記局所的顔領域のキーポイント特徴と前記参照モデルデータベース中の当該顔画像サンプルの対応の参照キーポイント特徴との類似度として決定するステップと、を含むことを特徴とする請求項８又は９に記載の方法。
【請求項１１】
現在顔画像に対してキーポイント検出を行って前記現在顔画像の少なくとも１つのキーポイント特徴を取得するためのキーポイント検出モジュールと、
前記少なくとも１つのキーポイント特徴により前記現在顔画像とマッチングする目標骨格パラメータを取得するためのパラメータマッチングモジュールと、
前記目標骨格パラメータと基準３次元顔モデルとに基づいて前記現在顔画像に対応する仮想３次元顔モデルを生成するためのモデル生成モジュールと、を含むことを特徴とする顔モデルの生成装置。
【請求項１２】
コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、前記コンピュータプログラムがプロセッサにより実行されるときに上記請求項１〜１０のいずれか一項に記載の方法が実現されるコンピュータ可読記憶媒体。
【請求項１３】
メモリと、プロセッサと、前記メモリに記憶されて前記プロセッサ上で作動可能なコンピュータプログラムとを含み電子機器であって、前記プロセッサが前記プログラムを実行するときに上記請求項１〜１０のいずれか一項に記載の方法を実現する電子機器。
【国際調査報告】
2022500790.tif 000030
2022500790.tif 000031
2022500790.tif 000032
2022500790.tif 000033