(57)【要約】  本出願は、顔姿勢推定及び３次元顔再構築のための方法、装置、及び電子デバイスを開示する。顔姿勢推定方法は、処理するための２次元顔画像を取得するステップと、２次元顔画像に対応する３次元顔モデルを構築するステップと、３次元顔モデルの顔特徴点及び２次元顔画像の顔特徴点に基づいて、２次元顔画像の顔姿勢を決定するステップと、を含む。本手法では、顔姿勢推定は、３次元平均顔モデルのみに基づくのではなく、２次元顔画像に対応する３次元顔モデルに基づいて行われる。その結果、角度が大きく表情が誇張された顔に対してさえも、高精度の姿勢推定を得ることができる。したがって、姿勢推定のロバスト性を効果的に向上させることができる。
2021535499.tif 000002
【特許請求の範囲】
【請求項１】
処理するための２次元顔画像を取得するステップと、
前記２次元顔画像に対応する３次元顔モデルを構築するステップと、
前記３次元顔モデルの顔特徴点及び前記２次元顔画像の顔特徴点に基づいて、前記２次元顔画像の顔姿勢を決定するステップと、
を含む、顔姿勢推定方法。
【請求項２】
前記２次元顔画像に対応する前記３次元顔モデルを前記構築するステップが、
顔形状フィッティング・アルゴリズムを使用することによって、前記２次元顔画像に対応する前記３次元顔モデルを構築するステップ、
を含む、請求項１に記載の方法。
【請求項３】
前記顔形状フィッティング・アルゴリズムが、
前記２次元顔画像の内部顔特徴点及び３次元平均顔モデルの内部顔特徴点に基づいて、前記３次元平均顔モデルから前記２次元顔画像への射影マッピング行列を決定するステップと、
前記射影マッピング行列及び３次元特徴顔空間の特徴ベクトルに基づいて、前記２次元顔画像に対応する第１の３次元顔モデルを構築するステップと、
前記２次元顔画像の顔輪郭特徴点に基づいて、前記第１の３次元顔モデルに対して輪郭特徴点フィッティングを実行するステップと、
前記２次元顔画像と前記顔輪郭特徴点がフィッティングされた前記第１の３次元顔モデルとの間の誤差が予め設定された誤差未満であることに応答して、前記顔輪郭特徴点がフィッティングされた前記第１の３次元顔モデルを前記３次元顔モデルとして採用するステップと、
を含む、請求項２に記載の方法。
【請求項４】
前記誤差が前記予め設定された誤差以上であることに応答して、前記顔輪郭特徴点がフィッティングされた前記第１の３次元顔モデルに基づいて、前記２次元顔画像に対応する前記３次元顔モデルを構築するステップ、
をさらに含む、請求項３に記載の方法。
【請求項５】
前記２次元顔画像に対応する前記３次元顔モデルを前記構築するステップが、
表情フィッティング・アルゴリズムを使用することによって、前記２次元顔画像に対応する前記３次元顔モデルを構築するステップ、
を含む、請求項１に記載の方法。
【請求項６】
前記２次元顔画像に対応する前記３次元顔モデルを前記構築するステップが、
顔形状及び表情フィッティング・アルゴリズムを使用することによって、前記２次元顔画像に対応する前記３次元顔モデルを構築するステップ、
を含む、請求項１に記載の方法。
【請求項７】
前記顔形状及び表情フィッティング・アルゴリズムが、
前記２次元顔画像の内部顔特徴点及び３次元平均顔モデルの内部顔特徴点に基づいて、前記３次元平均顔モデルから前記２次元顔画像への射影マッピング行列を決定するステップと、
前記射影マッピング行列及び３次元特徴顔空間の特徴ベクトルに基づいて、前記２次元顔画像に対応する第１の３次元顔モデルを構築するステップと、
前記２次元顔画像の顔輪郭特徴点に基づいて、前記第１の３次元顔モデルに対して輪郭特徴点フィッティングを実行するステップと、
前記２次元顔画像の内部特徴点及び前記３次元平均顔モデルに対応する少なくとも１つの表情のベースに基づいて、輪郭特徴点がフィッティングされた前記第１の３次元顔モデルに対して表情フィッティングを実行するステップと、
前記２次元顔画像と前記表情がフィッティングされた前記第１の３次元顔モデルとの間の誤差が予め設定された誤差未満であることに応答して、前記表情がフィッティングされた前記第１の３次元顔モデルを前記３次元顔モデルとして採用するステップと、
を含む、請求項６に記載の方法。
【請求項８】
前記誤差が前記予め設定された誤差以上であることに応答して、前記表情がフィッティングされた前記３次元顔モデルに基づいて、前記２次元顔画像に対応する前記３次元顔モデルを構築するステップ、
をさらに含む、請求項７に記載の方法。
【請求項９】
前記２次元顔画像の前記顔輪郭特徴点に基づいて、前記第１の３次元顔モデルに対して前記輪郭特徴点フィッティングを前記実行するステップが、
前記第１の３次元顔モデルから、前記２次元顔画像の前記顔輪郭特徴点に対応する３次元点を初期の３次元輪郭特徴点として選択するステップと
前記射影マッピング行列を使用することによって、前記初期の３次元輪郭特徴点を前記２次元顔画像にマッピングするステップと、
最近傍マッチング・アルゴリズムを使用することによって、２次元輪郭特徴点に対応するマッピングされた３次元点を前記第１の３次元顔モデルの顔輪郭特徴点として選択するステップと、
を含む、請求項３又は７に記載の方法。
【請求項１０】
３次元顔モデル・サンプルに基づいて、前記３次元平均顔モデル及び前記特徴ベクトルを決定するするステップ、
をさらに含む、請求項３又は７に記載の方法。
【請求項１１】
３次元顔モデル・サンプルに基づいて、前記３次元平均顔モデルに対応する少なくとも１つの表情のベースを決定するステップ、
をさらに含む、請求項７に記載の方法。
【請求項１２】
処理するための２次元顔画像を取得するステップと、
前記２次元顔画像の内部特徴点及び３次元平均顔モデルの内部特徴点に基づいて、前記３次元平均顔モデルから前記２次元顔画像への射影マッピング行列を決定するステップと、
前記射影マッピング行列及び３次元特徴顔空間の特徴ベクトルに基づいて、前記２次元顔画像に対応する第１の３次元顔モデルを構築するステップと、
前記２次元顔画像の顔輪郭特徴点に基づいて、前記第１の３次元顔モデルに対して輪郭特徴点フィッティングを実行するステップと、
前記２次元顔画像とフィッティングされた前記第１の３次元顔モデルとの間の誤差が予め設定された誤差未満であることに応答して、フィッティングされた前記第１の３次元顔モデルを前記２次元顔画像の３次元顔モデルとして採用するステップと、
を含む、３次元顔再構築方法。
【請求項１３】
前記２次元顔画像の前記顔輪郭特徴点に基づいて、前記第１の３次元顔モデルに対して前記輪郭特徴点フィッティングを実行した後、
前記２次元顔画像の内部顔特徴点及び前記３次元平均顔モデルに対応する少なくとも１つの表情のベースに基づいて、輪郭特徴点がフィッティングされた前記３次元顔モデルに対して表情フィッティングを実行するステップ、
をさらに含む、請求項１２に記載の方法。
【請求項１４】
前記射影マッピング行列及び前記３次元特徴顔空間の前記特徴ベクトルに基づいて、前記２次元顔画像に対応する前記第１の３次元顔モデルを前記構築した後、
前記３次元平均顔モデルに対応する少なくとも１つの表情のベースに基づいて、前記第１の３次元顔モデルに対して表情フィッティングを実行するステップをさらに含み、
前記２次元顔画像の前記顔輪郭特徴点に基づいて前記第１の３次元顔モデルに対して前記輪郭特徴点フィッティングを実行する前記ステップが、
前記２次元顔画像の前記顔輪郭特徴点に基づいて、前記表情がフィッティングされた前記第１の３次元顔モデルに対して前記輪郭特徴点フィッティングを実行するステップ、を含む、
請求項１２に記載の方法。
【請求項１５】
前記２次元顔画像の前記顔輪郭特徴点に基づいて、前記第１の３次元顔モデルに対して前記輪郭特徴点フィッティングを前記実行するステップが、
前記第１の３次元顔モデルから、前記２次元顔画像の前記顔輪郭特徴点に対応する３次元点を初期の３次元輪郭特徴点として選択するステップと
前記射影マッピング行列を使用することによって、前記初期の３次元輪郭特徴点を前記２次元顔画像にマッピングするステップと、
最近傍マッチング・アルゴリズムを使用することによって、２次元輪郭特徴点に対応するマッピングされた３次元点を前記第１の３次元顔モデルの顔輪郭特徴点として選択するステップと、
を含む、請求項１２に記載の方法。
【請求項１６】
前記誤差が前記予め設定された誤差以上であることに応答して、前記フィッティングされた３次元顔モデルに基づいて、前記２次元顔画像に対応する前記３次元顔モデルを構築するステップ、
をさらに含む、請求項１２に記載の方法。
【請求項１７】
３次元顔モデル・サンプルに基づいて、前記３次元平均顔モデル及び前記特徴ベクトルを決定するステップ、
をさらに含む、請求項１２に記載の方法。
【請求項１８】
３次元顔モデル・サンプルに基づいて、前記３次元平均顔モデルに対応する少なくとも１つの表情のベースを決定するステップ、
をさらに含む、請求項１３又は１４に記載の方法。
【請求項１９】
処理するための２次元顔画像を取得するように構成された２次元顔画像取得ユニットと、
前記２次元顔画像に対応する３次元顔モデルを構築するように構成された３次元顔モデル構築ユニットと、
前記３次元顔モデルの顔特徴点及び前記２次元顔画像の顔特徴点に基づいて、前記２次元顔画像の顔姿勢を決定するように構成された顔姿勢決定ユニットと、
を備える、顔姿勢推定装置。
【請求項２０】
処理するための２次元顔画像を取得するように構成された２次元顔画像取得ユニットと、
前記２次元顔画像の内部顔特徴点及び３次元平均顔モデルの内部顔特徴点に基づいて、前記３次元平均顔モデルから前記２次元顔画像への射影マッピング行列を決定するように構成された射影行列決定サブユニットと、
前記射影マッピング行列及び３次元特徴顔空間の特徴ベクトルに基づいて、前記２次元顔画像に対応する第１の３次元顔モデルを構築するように構成された第１のモデル構築サブユニットと、
前記２次元顔画像の顔輪郭特徴点に基づいて、前記第１の３次元顔モデルに対して輪郭特徴点フィッティングを実行するように構成された輪郭フィッティング・サブユニットと、
前記２次元顔画像とフィッティングされた３次元顔モデルとの間の誤差が予め設定された誤差未満であることに応答して、フィッティングされた３次元顔モデルを前記２次元顔画像の３次元顔モデルとして使用するように構成された第２のモデル決定ユニットと、
を備える、３次元顔再構築装置。
【請求項２１】
プロセッサと、
顔姿勢推定方法を実施するためのプログラムを記憶するように構成されたメモリと、を備える、電子デバイスであって、電源が投入され、前記プロセッサを介して前記顔姿勢推定方法の前記プログラムを実行した後、以下のステップ、すなわち、
処理するための２次元顔画像を取得するステップと、
前記２次元顔画像に対応する３次元顔モデルを構築するステップと、
前記３次元顔モデルの顔特徴点及び前記２次元顔画像の顔特徴点に基づいて、前記２次元顔画像の顔姿勢を決定するステップと、
を実行する、電子デバイス。
【請求項２２】
プロセッサと、
３次元顔再構築方法を実施するためのプログラムを記憶するように構成されたメモリと、を備える、電子デバイスであって、電源が投入され、前記プロセッサを介して前記３次元顔再構築方法の前記プログラムを実行した後、以下のステップ、すなわち、
処理するための２次元顔画像を取得するステップと、
前記２次元顔画像の顔の内部特徴点及び３次元平均顔モデルの顔の内部特徴点に基づいて、前記３次元平均顔モデルから前記２次元顔画像への射影マッピング行列を決定するステップと、
前記射影マッピング行列及び３次元特徴顔空間の特徴ベクトルに基づいて、前記２次元顔画像に対応する第１の３次元顔モデルを構築するステップと、
前記２次元顔画像の顔輪郭特徴点に基づいて、前記第１の３次元顔モデルに対して輪郭特徴点フィッティングを実行するステップと、
前記２次元顔画像とフィッティングされた前記第１の３次元顔モデルとの間の誤差が予め設定された誤差未満であることに応答して、フィッティングされた３次元顔モデルを前記２次元顔画像の３次元顔モデルとして採用するステップと、
を実行する、電子デバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本出願は、２０１８年８月２７日に出願された「顔姿勢推定／３次元顔再構築方法、装置、及び電子デバイス」と題する中国特許出願第２０１８１０９８３０４０．０号の優先権を主張するものであり、その全体が参照により本明細書に組み込まれる。
【０００２】
本出願は、画像処理技術の分野に関し、詳細には、顔姿勢推定及び３次元顔再構築のための方法、装置、及び電子デバイスに関する。
【背景技術】
【０００３】
顔姿勢推定は、コンピュータ分野におけるホットな話題である。顔姿勢推定は、顔画像に基づいて顔配向の角度情報を決定すること、すなわち、顔画像の特徴に基づいて、ピッチ角（ｐｉｔｃｈ）、ヨー角（ｙａｗ）、及びロール角（ｒｏｌｌ）の３つの偏向角を算出することを指す。
【０００４】
現在、顔姿勢推定のための多くの方法があり、これらは、モデル・ベースの方法、外観ベースの方法、及び分類ベースの方法に分類することができる。このうち、モデル・ベースの方法によって得られる顔姿勢は連続値であり、姿勢推定精度が高いため、モデル・ベースの方法が一般的な方法となっている。典型的なモデル・ベースの顔姿勢推定方法のプロセスは、以下の通りである。まず、２次元顔画像における重要点（特徴点）座標を特定して、顔の特徴、輪郭などの２次元重要点を取得する。次いで、中性の無表情の平均的な顔の３次元モデルを構築し、この３次元モデルから２次元重要点と同じ意味を有する３次元重要点を抽出する。次に、２次元重要点の座標値と、３次元重要点の座標値と、カメラ焦点距離と、に基づいて３次元平均顔モデルから２次元顔画像への回転行列を取得する。最後に、回転行列に基づいて２次元顔画像の顔姿勢を決定する。
【０００５】
しかしながら、本発明を実施する際に、本発明者は、既存の技術が少なくとも以下の問題を有することを見出した。すなわち、３次元平均顔モデルと２次元顔画像とは通常異なるため、角度が大きく誇張された表情に対して姿勢推定が実行されると、姿勢推定の精度が大きく低下する。要約すると、既存の技術は、３次元平均顔モデルに基づく姿勢推定のロバスト性が低いという問題を有する。
【発明の概要】
【０００６】
本出願は、顔姿勢推定方法、装置、及び電子デバイスを開示し、従来技術における３次元平均顔モデルに基づく顔姿勢推定のロバスト性が低いという問題を解決する。本出願はまた、３次元顔再構築方法、装置、及び電子デバイスを開示する。
【０００７】
本出願は、
処理するための２次元顔画像を取得するステップと、
２次元顔画像に対応する３次元顔モデルを構築するステップと、
３次元顔モデルの顔特徴点及び２次元顔画像の顔特徴点に基づいて、２次元顔画像の顔姿勢を決定するステップと、
を含む顔姿勢推定方法を開示する。
【０００８】
任意選択で、２次元顔画像に対応する３次元顔モデルを構築するステップは、
顔形状フィッティング・アルゴリズムを使用することによって、２次元顔画像に対応する３次元顔モデルを構築するステップ、
を含む。
【０００９】
任意選択で、顔形状フィッティング・アルゴリズムは、
２次元顔画像の顔内部特徴点及び３次元平均顔モデルの顔内部特徴点に基づいて、３次元平均顔モデルから２次元顔画像への射影マッピング行列を決定するステップと、
射影マッピング行列及び３次元特徴顔空間の特徴ベクトルに基づいて、２次元顔画像に対応する第１の３次元顔モデルを構築するステップと、
２次元顔画像の顔輪郭特徴点に基づいて、第１の３次元顔モデルに対して輪郭特徴点フィッティングを実行するステップと、
２次元顔画像と顔輪郭特徴点がフィッティングされた第１の３次元顔モデルとの間の誤差が予め設定された誤差未満であることに応答して、顔輪郭特徴点がフィッティングされた第１の３次元顔モデルを３次元顔モデルとして採用するステップと、
を含む。
【００１０】
任意選択で、本方法は、
誤差が予め設定された誤差以上であることに応答して、顔輪郭特徴点がフィッティングされた第１の３次元顔モデルに基づいて、２次元顔画像に対応する３次元顔モデルを構築するステップ、
をさらに含む。
【００１１】
任意選択で、２次元顔画像に対応する３次元顔モデルを構築するステップは、
表情フィッティング・アルゴリズムを使用することによって、２次元顔画像に対応する３次元顔モデルを構築するステップ、
を含む。
【００１２】
任意選択で、２次元顔画像に対応する３次元顔モデルを構築するステップは、
顔形状及び表情フィッティング・アルゴリズムを使用することによって、２次元顔画像に対応する３次元顔モデルを構築ステップ、
を含む。
【００１３】
任意選択で、顔形状及び表情フィッティング・アルゴリズムは、
２次元顔画像の内部顔特徴点及び３次元平均顔モデルの内部顔特徴点に基づいて、３次元平均顔モデルから２次元顔画像への射影マッピング行列を決定するステップと、
射影マッピング行列及び３次元特徴顔空間の特徴ベクトルに基づいて、２次元顔画像に対応する第１の３次元顔モデルを構築するステップと、
２次元顔画像の顔輪郭特徴点に基づいて、第１の３次元顔モデルに対して輪郭特徴点フィッティングを実行するステップと、
２次元顔画像の内部顔特徴点及び３次元平均顔モデルに対応する少なくとも１つの表情ベースに基づいて、輪郭特徴点がフィッティングされた第１の３次元顔モデルに対して表情フィッティングを実行するステップと、
２次元顔画像と表情がフィッティングされた第１の３次元顔モデルとの間の誤差が予め設定された誤差未満であることに応答して、表情がフィッティングされた第１の３次元顔モデルを３次元顔モデルとして採用するステップと、
を含む。
【００１４】
任意選択で、本方法は、
誤差が予め設定された誤差以上であることに応答して、表情がフィッティングされた３次元顔モデルに基づいて、２次元顔画像に対応する３次元顔モデルを構築するステップ、
をさらに含む。
【００１５】
任意選択で、射影マッピング行列及び３次元特徴顔空間の特徴ベクトルに基づいて、２次元顔画像に対応する第１の３次元顔モデルを構築するステップは、
次式、
【００１６】
【数１】
2021535499.tif 000003
を用いてエネルギー関数を最小化することによって、３次元顔形状パラメータを決定するステップを含み、
ここで、
Ｅは、エネルギー関数を示し、
Ｎは、内部顔特徴点の数を示し、
【００１７】
【数２】
2021535499.tif 000004
は、射影マッピング行列を介して３次元平均顔モデルの内部顔特徴点を２次元空間に射影することによって得られる２次元内部顔特徴点の座標を示し、
ｙｉは、２次元顔画像の内部顔特徴点の座標を示し、
【００１８】
【数３】
2021535499.tif 000005
は、２次元顔画像の内部顔特徴点の共分散行列を示し、
αは、３次元顔形状パラメータを示す。
【００１９】
任意選択で、２次元空間に射影された２次元内部特徴点の座標は、次式、
【００２０】
【数４】
2021535499.tif 000006
を使用することによって得られ、
ここで、
Ｕは、３次元平均顔モデルの内部顔特徴点に対応する特徴ベクトルで構成される行列を示し、
Ｐは、射影マッピング行列を示し、
Ｖは、３次元平均顔上の意味的に関連する内部特徴点に対応する頂点座標データを示す。
【００２１】
任意選択で、２次元顔画像の顔輪郭特徴点に基づいて、第１の３次元顔モデルに対して輪郭特徴点フィッティングを実行するステップは、
第１の３次元顔モデルから、２次元顔画像の顔輪郭特徴点に対応する３次元点を初期の３次元輪郭特徴点として選択するステップと、
射影マッピング行列を使用することによって、初期の３次元輪郭特徴点を２次元顔画像にマッピングするステップと、
最近傍マッチング・アルゴリズムを使用することによって、２次元輪郭特徴点に対応するマッピングされた３次元点を第１の３次元顔モデルの顔輪郭特徴点として選択するステップと、
を含む。
【００２２】
任意選択で、本方法は、
３次元顔モデル・サンプルに基づいて、３次元平均顔モデル及び特徴ベクトルを決定するステップ、
をさらに含む。
【００２３】
任意選択で、本方法は、
３次元顔モデル・サンプルに基づいて、３次元平均顔モデルに対応する少なくとも１つの表情ベースを決定するステップ、
をさらに含む。
【００２４】
本出願はまた、
処理するための２次元顔画像を取得するステップと、
２次元顔画像の顔内部特徴点及び３次元平均顔モデルの顔内部特徴点に基づいて、３次元平均顔モデルから２次元顔画像への射影マッピング行列を決定するステップと、
射影マッピング行列及び３次元特徴顔空間の特徴ベクトルに基づいて、２次元顔画像に対応する第１の３次元顔モデルを構築するステップと、
２次元顔画像の顔輪郭特徴点に基づいて、第１の３次元顔モデルに対して輪郭特徴点フィッティングを実行するステップと、
２次元顔画像とフィッティングされた第１の３次元顔モデルとの間の誤差が予め設定された誤差未満であることに応答して、フィッティングされた第１の３次元顔モデルを２次元顔画像の３次元顔モデルとして採用するステップと、
を含む、３次元顔再構築方法を開示する。
【００２５】
任意選択で、２次元顔画像の顔輪郭特徴点に基づいて、第１の３次元顔モデルに対して輪郭特徴点フィッティングを実行した後、本方法は、
２次元顔画像の内部顔特徴点及び３次元平均顔モデルに対応する少なくとも１つの表情ベースに基づいて、輪郭特徴点がフィッティングされた第１の３次元顔モデルに対して表情フィッティングを実行するステップ、
をさらに含む。
【００２６】
任意選択で、射影マッピング行列及び３次元特徴顔空間の特徴ベクトルに基づいて、２次元顔画像に対応する第１の３次元顔モデルを構築した後、本方法は、
３次元平均顔モデルに対応する少なくとも１つの表情ベースに基づいて、第１の３次元顔モデルに対して表情フィッティングを実行するステップをさらに含み、
２次元顔画像の顔輪郭特徴点に基づいて、第１の３次元顔モデルに対して輪郭特徴点フィッティングを実行するステップが、
２次元顔画像の顔輪郭特徴点に基づいて、表情がフィッティングされた第１の３次元顔モデルに対して輪郭特徴点フィッティングを実行するステップ、
を含む。
【００２７】
任意選択で、射影マッピング行列及び３次元特徴顔空間の特徴ベクトルに基づいて、２次元顔画像に対応する第１の３次元顔モデルを構築するステップは、
次式、
【００２８】
【数５】
2021535499.tif 000007
を用いてエネルギー関数を最小化することによって、３次元顔形状パラメータを決定するステップを含み、
ここで、
Ｅは、エネルギー関数を示し、
Ｎは、内部顔特徴点の数を示し、
【００２９】
【数６】
2021535499.tif 000008
は、射影マッピング行列を介して３次元平均顔モデルの内部顔特徴点を２次元空間に射影することによって得られる２次元内部顔特徴点の座標を示し、
ｙｉは、２次元顔画像の内部顔特徴点の座標を示し、
【００３０】
【数７】
2021535499.tif 000009
は、２次元顔画像の内部顔特徴点の共分散行列を示し、
αは、３次元顔形状パラメータを示す。
【００３１】
任意選択で、２次元空間に射影された２次元内部特徴点の座標は、次式、
【００３２】
【数８】
2021535499.tif 000010
を使用することによって得られ、
ここで、
Ｕは、３次元平均顔モデルの内部顔特徴点に対応する特徴ベクトルで構成される行列を示し、
Ｐは、射影マッピング行列を示し、
Ｖは、３次元平均顔上の意味的に関連する内部特徴点に対応する頂点座標データを示す。
【００３３】
任意選択で、２次元顔画像の顔輪郭特徴点に基づいて、第１の３次元顔モデルに対して輪郭特徴点フィッティングを実行するステップは、
第１の３次元顔モデルから、２次元顔画像の顔輪郭特徴点に対応する３次元点を初期の３次元輪郭特徴点として選択するステップと、
射影マッピング行列を使用することによって、初期の３次元輪郭特徴点を２次元顔画像にマッピングするステップと、
最近傍マッチング・アルゴリズムを使用することによって、２次元輪郭特徴点に対応するマッピングされた３次元点を第１の３次元顔モデルの顔輪郭特徴点として選択するステップと、
を含む。
【００３４】
任意選択で、本方法は、
誤差が予め設定された誤差以上であることに応答して、フィッティングされた３次元顔モデルに基づいて、２次元顔画像に対応する３次元顔モデルを構築するステップ、
をさらに含む。
【００３５】
任意選択で、本方法は、
３次元顔モデル・サンプルに基づいて、３次元平均顔モデル及び特徴ベクトルを決定するステップ、
をさらに含む。
【００３６】
任意選択で、本方法は、
３次元顔モデル・サンプルに基づいて、３次元平均顔モデルに対応する少なくとも１つの表情ベースを決定するステップ、
をさらに含む。
【００３７】
本出願は、
処理するための２次元顔画像を取得するように構成された２次元顔画像取得ユニットと、
２次元顔画像に対応する３次元顔モデルを構築するように構成された３次元顔モデル構築ユニットと、
３次元顔モデルの顔特徴点及び２次元顔画像の顔特徴点に基づいて、２次元顔画像の顔姿勢を決定するように構成された顔姿勢決定ユニットと、
を備える、顔姿勢推定装置をさらに開示する。
【００３８】
任意選択で、３次元顔モデル構築ユニットは、具体的には、顔形状フィッティング・アルゴリズムを使用することによって、２次元顔画像に対応する３次元顔モデルを構築するように構成されている。
【００３９】
任意選択で、３次元顔モデル構築ユニットは、
２次元顔画像の内部顔特徴点及び３次元平均顔モデルの内部顔特徴点に基づいて、３次元平均顔モデルから２次元顔画像への射影マッピング行列を決定するように構成された射影行列決定サブユニットと、
射影マッピング行列及び３次元特徴顔空間の特徴ベクトルに基づいて、２次元顔画像に対応する第１の３次元顔モデルを構築するように構成された第１のモデル構築サブユニットと、
２次元顔画像の顔輪郭特徴点に基づいて、第１の３次元モデルに対して輪郭特徴点フィッティングを実行するように構成された輪郭フィッティング・サブユニットと、
２次元顔画像とフィッティングされた第１の３次元顔モデルとの間の誤差が予め設定された誤差未満であることに応答して、顔輪郭特徴点がフィッティングされた第１の３次元顔モデルを３次元顔モデルとして採用するように構成された第２のモデル決定サブユニットと、
を備える。
【００４０】
任意選択で、３次元顔モデル構築ユニットは、
誤差が予め設定された誤差以上であることに応答して、フィッティングされた第１の３次元顔モデルに基づいて、２次元顔画像に対応する３次元顔モデルを構築するように構成された第３のモデル構築サブユニット、
をさらに備える。
【００４１】
任意選択で、３次元顔モデル構築ユニットは、具体的には、表情フィッティング・アルゴリズムを使用することによって、２次元顔画像に対応する３次元顔モデルを構築するように構成されている。
【００４２】
任意選択で、３次元顔モデル構築ユニットは、具体的には、顔形状及び表情フィッティング・アルゴリズムを使用することによって、２次元顔画像に対応する３次元顔モデルを構築するように構成されている。
【００４３】
任意選択で、３次元顔モデル構築ユニットは、
２次元顔画像の内部顔特徴点及び３次元平均顔モデルの内部顔特徴点に基づいて、３次元平均顔モデルから２次元顔画像への射影マッピング行列を決定するように構成された射影行列決定サブユニットと、
射影マッピング行列及び３次元特徴顔空間の特徴ベクトルに基づいて、２次元顔画像に対応する第１の３次元顔モデルを構築するように構成された第１のモデル構築サブユニットと、
２次元顔画像の顔輪郭特徴点に基づいて、第１の３次元モデルに対して輪郭特徴点フィッティングを実行するように構成された輪郭フィッティング・サブユニットと、
２次元顔画像の内部顔特徴点及び３次元平均顔モデルに対応する少なくとも１つの表情ベースに基づいて、輪郭特徴点がフィッティングされた第１の３次元顔モデルに対して表情フィッティングを実行するように構成された表情フィッティング・サブユニットと、
２次元顔画像と表情がフィッティングされた３次元顔モデルとの間の誤差が予め設定された誤差未満であることに応答して、表情がフィッティングされた３次元顔モデルを３次元顔モデルとして採用するように構成された第２のモデル決定サブユニットと、
を備える。
【００４４】
任意選択で、本装置は、
誤差が予め設定された誤差以上であることに応答して、表情がフィッティングされた３次元顔モデルに基づいて、２次元顔画像に対応する３次元顔モデルを構築するように構成された第３のモデル構築サブユニット、
をさらに備える。
【００４５】
任意選択で、輪郭フィッティング・サブユニットは、
第１の３次元顔モデルから、２次元顔画像の顔輪郭特徴点に対応する３次元点を初期の３次元輪郭特徴点として選択するように構成された第１の輪郭特徴点選択サブユニットと、
射影マッピング行列を使用することによって、初期の３次元輪郭特徴点を２次元顔画像にマッピングするように構成された輪郭特徴点マッピング・サブユニットと、
最近傍マッチング・アルゴリズムを使用することによって、２次元輪郭特徴点に対応するマッピングされた３次元点を第１の３次元顔モデルの顔輪郭特徴点として選択するように構成された第２の輪郭特徴点選択サブユニットと、
を備える。
【００４６】
任意選択で、本装置は、
３次元顔モデル・サンプルに基づいて、３次元平均顔モデル及び特徴ベクトルを決定するように構成された第１の事前データ決定ユニット、
をさらに備える。
【００４７】
任意選択で、本装置は、
３次元顔モデル・サンプルに基づいて、３次元平均顔モデルに対応する少なくとも１つの表情ベースを決定するように構成された第２の事前データ決定ユニット、
をさらに備える。
【００４８】
本出願は、
処理するための２次元顔画像を取得するように構成された２次元顔画像取得ユニットと、
２次元顔画像の内部顔特徴点及び３次元平均顔モデルの内部顔特徴点に基づいて、３次元平均顔モデルから２次元顔画像への射影マッピング行列を決定するように構成された射影行列決定サブユニットと、
射影マッピング行列及び３次元特徴顔空間の特徴ベクトルに基づいて、２次元顔画像に対応する第１の３次元顔モデルを構築するように構成された第１のモデル構築サブユニットと、
２次元顔画像の顔輪郭特徴点に基づいて、第１の３次元モデルに対して輪郭特徴点フィッティングを実行するように構成された輪郭フィッティング・サブユニットと、
２次元顔画像とフィッティングされた３次元顔モデルとの間の誤差が予め設定された誤差未満であることに応答して、フィッティングされた３次元顔モデルを２次元顔画像の３次元顔モデルとして採用するように構成された第２のモデル決定ユニットと、
を備える、３次元顔再構築装置をさらに開示する。
【００４９】
任意選択で、本装置は、
２次元顔画像の内部顔特徴点及び３次元平均顔モデルに対応する少なくとも１つの表情ベースに基づいて、顔輪郭特徴点がフィッティングされた３次元顔モデルに対して表情フィッティングを実行するように構成された第１の表情フィッティング・ユニット、
をさらに備える。
【００５０】
任意選択で、本装置は、
３次元平均顔モデルに対応する少なくとも１つの表情ベースに基づいて、第１の３次元顔モデルに対して表情フィッティングを実行するように構成された第２の表情フィッティング・ユニット、
をさらに備え、
輪郭フィッティング・サブユニットが、具体的には、２次元顔画像の顔輪郭特徴点に基づいて、表情がフィッティングされた第１の３次元顔モデルに対して輪郭特徴点フィッティングを実行するように構成されている。
【００５１】
任意選択で、輪郭フィッティング・サブユニットは、
第１の３次元顔モデルから、２次元顔画像の顔輪郭特徴点に対応する３次元点を初期の３次元輪郭特徴点として選択するように構成された第１の輪郭特徴点選択サブユニットと、
射影マッピング行列を使用することによって、初期の３次元輪郭特徴点を２次元顔画像にマッピングするように構成された輪郭特徴点マッピング・サブユニットと、
最近傍マッチング・アルゴリズムを使用することによって、２次元輪郭特徴点に対応するマッピングされた３次元点を第１の３次元顔モデルの顔輪郭特徴点として選択するように構成された第２の輪郭特徴点選択サブユニットと、
を備える。
【００５２】
任意選択で、本装置は、
誤差が予め設定された誤差以上であることに応答して、フィッティングされた３次元顔モデルに基づいて、２次元顔画像に対応する３次元顔モデルを構築するように構成された第３のモデル構築サブユニット、
をさらに備える。
【００５３】
任意選択で、本装置は、
３次元顔モデル・サンプルに基づいて、３次元平均顔モデル及び特徴ベクトルを決定するように構成された第１の事前データ決定ユニット、
をさらに備える。
【００５４】
任意選択で、本装置は、
３次元顔モデル・サンプルに基づいて、３次元平均顔モデルに対応する少なくとも１つの表情ベースを決定するように構成された第２の事前データ決定ユニット、
をさらに備える。
【００５５】
本出願は、
プロセッサと、
顔姿勢推定方法を実施するためのプログラムを記憶するように構成されたメモリと、を備える、電子デバイスであって、電源が投入され、プロセッサを介して顔姿勢推定方法のプログラムを実行した後、以下のステップ、すなわち、処理するための２次元顔画像を取得するステップと、２次元顔画像に対応する３次元顔モデルを構築するステップと、３次元顔モデルの顔特徴点及び２次元顔画像の顔特徴点に基づいて２次元顔画像の顔姿勢を決定するステップと、を実行する、
電子デバイスをさらに開示する。
【００５６】
本出願は、
プロセッサと、
３次元顔再構築方法を実施するためのプログラムを記憶するように構成されたメモリと、を備える、電子デバイスであって、電源が投入され、プロセッサを介して３次元顔再構築方法のプログラムを実行した後、以下のステップ、すなわち、処理するための２次元顔画像を取得するステップと、２次元顔画像の内部顔特徴点及び３次元平均顔モデルの内部顔特徴点に基づいて、３次元平均顔モデルから２次元顔画像への射影マッピング行列を決定するステップと、射影マッピング行列及び３次元特徴顔空間の特徴ベクトルに基づいて、２次元顔画像に対応する第１の３次元顔モデルを構築するステップと、２次元顔画像の顔輪郭特徴点に基づいて、第１の３次元顔モデルに対して輪郭特徴点フィッティングを実行するステップと、２次元顔画像とフィッティングされた第１の３次元顔モデルとの間の誤差が予め設定された誤差未満であることに応答して、フィッティングされた第１の３次元顔モデルを２次元顔画像の３次元顔モデルとして採用するステップと、を実行する、電子デバイスをさらに開示する。
【００５７】
本出願は、コンピュータ可読記憶媒体をさらに開示する。コンピュータ可読記憶媒体は、コンピュータ上で実行されると、コンピュータに上記の様々な方法を実行させる命令を記憶する。
【００５８】
本出願は、コンピュータ上で実行されると、コンピュータに上記の様々な方法を実行させる命令を含むコンピュータ・プログラム製品をさらに開示する。
【００５９】
従来技術と比較して、本出願は、以下の利点を有する。
【００６０】
本出願の実施形態によって開示される顔姿勢推定方法は、処理するために取得された２次元顔画像に対応する３次元顔モデルを構築する。３次元顔モデルの顔特徴点及び２次元顔画像の顔特徴点に基づいて、２次元顔画像の顔姿勢が決定される。本手法では、顔姿勢推定は、３次元平均顔モデルのみに基づくのではなく、２次元顔画像に対応する３次元顔モデルに基づいて行われ、その結果、角度が大きく誇張された表情に対してさえも高い姿勢推定精度を得ることができる。したがって、姿勢推定のロバスト性を効果的に向上させることができる。
【００６１】
本出願の実施形態によって開示される３次元顔再構築方法は、処理するための２次元顔画像を取得する。２次元顔画像の内部特徴点及び３次元平均顔モデルの内部顔特徴点に基づいて、３次元平均顔モデルから２次元顔画像への射影マッピング行列が決定される。射影マッピング行列及び３次元特徴顔空間の特徴ベクトルに基づいて、２次元顔画像に対応する第１の３次元顔モデルが構築される。２次元顔画像の顔輪郭特徴点に基づいて、第１の３次元顔モデルに対して輪郭特徴点フィッティングが実行される。２次元顔画像とフィッティングされた第１の３次元顔モデルとの間の誤差が予め設定された誤差未満であることに応答して、フィッティングされた第１の３次元顔モデルが２次元顔画像の３次元顔モデルとして使用される。本手法により、前の３次元顔データに基づく３次元顔モデルのフィッティングが可能になり、内部顔特徴点と外部輪郭特徴点との組合せが考慮されて、フィッティングの反復が実行される。その結果、本手法により、３次元顔モデルと２次元顔画像との間の誤差が最小限に抑えられ、可能な限り忠実に実際の顔を復元することが可能になり、その結果、再構築された３次元顔モデルが顔の生物学的特徴に適合するようになり、それによって、３次元顔再構築の精度を効果的に向上させることができる。
【図面の簡単な説明】
【００６２】
【図１】本開示の一実施形態による、顔姿勢推定方法の流れ図である。
【図２】本開示の一実施形態による、顔姿勢推定方法のための２次元顔画像の概略図である。
【図３】本開示の一実施形態による、顔姿勢推定方法の顔形状フィッティングの流れ図である。
【図４】本開示の一実施形態による、顔姿勢推定方法の３次元平均顔モデルの概略図である。
【図５】本開示の一実施形態による、顔姿勢推定方法の顔形状フィッティングの例示的な流れ図である。
【図６】本開示の一実施形態による、顔姿勢推定方法の顔形状及び表情フィッティングの流れ図である。
【図７】本開示の一実施形態による、顔姿勢推定方法の３次元平均顔モデルの様々な表情の概略図である。
【図８】本開示の一実施形態による、顔姿勢推定方法の顔形状及び表情フィッティングの例示的な流れ図である。
【図９】本開示の一実施形態による、顔姿勢推定装置の概略図である。
【図１０】本開示の一実施形態による、顔姿勢推定装置の例示的な概略図である。
【図１１】本開示の一実施形態による、電子デバイスの概略図である。
【図１２】本開示の一実施形態による、３次元顔再構築方法の流れ図である。
【図１３】本開示の一実施形態による、３次元顔再構築方法の例示的な流れ図である。
【図１４】本開示の一実施形態による、３次元顔再構築方法の別の例示的な流れ図である。
【図１５】本開示の一実施形態による、３次元顔再構築装置の概略図である。
【図１６】本開示の一実施形態による、電子デバイスの概略図である。
【発明を実施するための形態】
【００６３】
以下の説明では、本出願の完全な理解を与えるために多くの詳細が提供される。しかしながら、本出願は、本明細書に記載されているものとは異なる他の多くの仕方で実施することができ、当業者は、本出願の内容から逸脱することなく類似の修正を行うことができる。したがって、本出願は、以下に開示される実施形態に限定されない。
【００６４】
本出願は、顔姿勢推定のための方法、装置、及び電子デバイス、ならびに３次元顔再構築のための方法、装置、及び電子デバイスを開示する。顔姿勢推定は、３次元空間での顔再構築及び仮想試着において重要な役割を果たす。例えば、顔姿勢推定は、３次元拡張現実ステッカ（ＡＲステッカ）、３次元顔交換、３次元ＡＲメガネなどの分野に適用することができる。詳細な説明は、以下の実施形態において提供される。
【００６５】
第１の実施形態
図１は、本開示の一実施形態による、顔姿勢推定方法の流れ図を示す。本方法の実行者は、顔姿勢推定装置であり、この装置は、通常、サーバ上に展開されるが、サーバに限定されない。本方法の実行者は、顔姿勢推定方法を実施することができる任意の装置であってもよい。本出願は、以下を含む顔姿勢推定方法を開示する。
【００６６】
ステップＳ１０１：処理するための２次元顔画像を取得するステップ。
【００６７】
２次元顔画像は、カメラなどの画像取得装置を使用することによって撮影された２次元顔画像であってもよい。２次元顔画像は、複数のピクセルを含む。例えば、図２に示す２次元顔画像は、２５６×２５６ピクセルを含む。
【００６８】
ステップＳ１０３：２次元顔画像に対応する３次元顔モデルを構築するステップ。
【００６９】
本出願で開示される顔姿勢推定方法は、３次元顔再構築技術を導入することによって、２次元顔画像に対応する３次元顔モデルを再構築し、２次元顔画像と同じ意味関係を有する特徴点を３次元顔モデルから抽出して、２次元顔姿勢をさらに解明する。
【００７０】
一例では、顔形状フィッティング・アルゴリズムを使用することによって、２次元顔画像に対応する３次元顔モデルが構築される。このようにして、対応する２次元顔画像と顔角度が類似する３次元顔モデルが構築される。したがって、角度の大きな顔に対して顔姿勢推定を行う場合でも、依然として高精度の姿勢推定を得ることができる。したがって、姿勢推定のロバスト性を効果的に向上させることができる。
【００７１】
別の例では、表情フィッティング・アルゴリズムを使用することによって、２次元顔画像に対応する３次元顔モデルが構築される。このようにして、対応する２次元顔画像と表情が類似する３次元顔モデルが構築される。したがって、表情が誇張された顔に対して姿勢推定を行う場合でも、依然として高精度な姿勢推定を得ることができる。したがって、姿勢推定のロバスト性を効果的に向上させることができる。
【００７２】
さらに別の例では、顔形状及び表情フィッティング・アルゴリズムを使用することによって、２次元の顔画像に対応する３次元顔モデルが構築される。このようにして、対応する２次元顔画像と顔角度及び表情が類似する３次元顔モデルが構築される。したがって、角度が大きく表情が誇張された顔に対して姿勢推定を行う場合でも、依然として高精度の姿勢推定を得ることができる。したがって、姿勢推定のロバスト性を効果的に向上させることができる。
【００７３】
ステップＳ１０５：３次元顔モデルの顔特徴点及び２次元顔画像の顔特徴点に基づいて２次元顔画像の顔姿勢を決定するステップ。
【００７４】
上記のステップによって、２次元顔画像に対応する３次元顔モデルを再構築した後、再構築された３次元顔モデルに基づいて、２次元顔画像に対して顔姿勢推定を行うことができる。本実施形態では、２次元顔画像の顔姿勢は、３次元顔モデルの顔特徴点及び２次元顔画像の顔特徴点に基づいて決定することができる。
【００７５】
顔特徴点は、顔特徴点位置決めアルゴリズムを用いて解析することによって取得することができる。図２に示す６６個の顔特徴点は、４９個の内部特徴点及び１７個の輪郭特徴点を含む。
【００７６】
顔特徴点位置決めアルゴリズムは、以下のカテゴリ、すなわち、１）ＡＳＭ（アクティブ形状モデル）、ＡＡＭ（アクティブ外観モデル）、ＣＬＭ（制限付きローカルモデル）などの最適化ベースの方法、２）ＣＰＲ（カスケード式姿勢回帰）、ＳＤＭ（教師あり降下法）、ＥＳＲ（明示的形状回帰）などの回帰ベースの方法、３）ＣＮＮ（畳み込みニューラルネットワーク）、ＤＡＥ（ディープオートエンコーダ）、ＲＢＭ（制限付きボルツマンマシン）などの深層学習ベースの方法を含むが、これらに限定されない。
【００７７】
一例では、ステップＳ１０５のプロセスは、以下のように説明される。まず、顔特徴点位置決めアルゴリズムを使用することによって２次元顔画像上で顔特徴点座標を決定し、２次元重要点を取得する。再構築された３次元モデルから、２次元重要点と同じ意味を有する３次元の重要点を抽出する。次いで、２次元重要点の座標、３次元重要点の座標、及びカメラの焦点距離に基づいて、再構築された３次元顔モデルから２次元顔画像への回転行列を取得する。最後に、回転行列に基づいて２次元顔画像の顔姿勢を決定する。
【００７８】
図３は、本開示の一実施形態による、顔姿勢推定方法の顔形状フィッティングの流れ図を示す。本実施形態で採用される顔形状フィッティング・アルゴリズムは、３次元顔事前データに基づいて実施されるため、以下ではまず、３次元顔事前データ及びその生成プロセスについて説明する。
【００７９】
３次元顔事前データは、３次元平均顔モデル、３次元特徴顔空間の特徴ベクトル、及び各３次元顔モデル・サンプルの特徴量を含むことができる。
【００８０】
３次元平均顔モデルは、複数の３次元顔モデル・サンプルに基づいて算出された３次元平均顔モデルを含む。各３次元顔モデル・サンプルは、多次元ベクトルに変換することができる。３次元顔モデル・サンプルのベクトル集合を取得した後、ベクトル集合内のベクトルをトラバースして累積し、次いでベクトルの平均値をとって３次元平均顔モデルを取得する。図４は、本実施形態における３次元平均顔モデルを示しており、本モデルは、中性表情を有する３次元平均顔モデルである。
【００８１】
一例では、以下のステップを使用することによって、３次元顔モデル・サンプルが生成される。１）Ｓｕｒｒｅｙ  Ｆａｃｅ  Ｍｏｄｅｌ（ＳＦＭ）データ集合、Ｂａｓｅｌ  Ｆａｃｅ  Ｍｏｄｅｌ（ＢＦＭ）データ集合などの、複数の３次元顔データ集合を取得ステップであり、ここで、Ｓｕｒｒｅｙ  Ｆａｃｅ  Ｍｏｄｅｌ顔データ集合は、１６９個の中性表情を有する３次元顔モデルを含み、各モデルは３４４８個の頂点を含み、Ｂａｓｅｌ  Ｆａｃｅ  Ｍｏｄｅｌ顔データ集合は、１００人の欧州人男性の３次元顔モデル及び１００人の欧州人女性の３次元顔モデルを含み、各モデルは５３２１５個の頂点を含む。２）頂点の数が異なり、３次元ネットワーク・トポロジ構造が異なるモデルのデータを、頂点の数が同じで３次元ネットワーク・トポロジ構造が同じモデルのデータに統合するステップであり、統合されたデータが３次元顔モデル・サンプルとしての役目を果たす。
【００８２】
本実施形態では、３次元顔モデル・サンプルは、ＳＦＭ及びＢＦＭデータ集合に基づいて構築される。ＳＦＭもＢＦＭも、元の３次元顔モデル・データを提供せず、主成分分析（ＰＣＡ）を使用した特徴圧縮後のファイルＭ、Ｖ、及びＥのみを提供し、ここで、Ｍは、平均顔データを示し、Ｖは、３次元特徴顔空間の特徴ベクトルを示し、Ｅは、特徴量及び再パラメータ化された顔を示す。したがって、本実施形態では、まずランダムサンプリングによって特徴量の正及び負の標準偏差を取得し、式Ｓ３Ｄ＝Ｍ＋Ｖ＊Ｅｎｅｗを使用することによって３次元顔構造データを再構築する。本実施形態では、ＳＦＭデータ集合に基づいて２００個の中性表情の３次元顔構造データを構築し、ＢＦＭ特徴データ集合に基づいて２００個の顔の３次元顔構造データを構築する。
【００８３】
ＳＦＭ及びＢＦＭに対応する３次元モデル・データの空間スケールが異なるため、２つの特徴データ集合の次元を統一する必要がある。本実施形態では、２つの特徴データ集合の次元は、ＳＦＭデータ集合の３次元平均顔のスケールに一律に調整される。具体的な方法は、２つのモデル・データ集合の変換行列を３次元（ｘ、ｙ、ｚ）で解くことによって変換を実行することであってもよい。具体的なステップは、以下の通りである。
１）２つの３次元平均顔モデルにおいて、ツール（例えば、顔特徴点位置決めアルゴリズム）を使用することによって、２次元顔画像のキー位置決めセマンティクスに関連する６６個の３次元キーインデックス値を取得する。
２）６６個の３次元点対に基づいて反復最接近点（ＩＣＰ）アルゴリズムを使用することによって、２つのデータ集合をそれぞれＰ及びＱとして設定する。
【００８４】
【数９】
2021535499.tif 000011
【００８５】
この２つの３次元点集合を使用することによって、２つの３次元点集合間の空間変換パラメータＲ（３×３回転行列）及びＴ（ｔｘ、ｔｙ、ｔｚ）を解く。３次元空間における２つの３次元顔モデルの３次元点が、
【００８６】
【数１０】
2021535499.tif 000012
であると仮定する。
【００８７】
二組の点間のユークリッド距離は、
【００８８】
【数１１】
2021535499.tif 000013
として表すことができる。
【００８９】
２つのモデル間の座標正規化の目的は、ＰとＱとの間の変換行列Ｒ及びＴを見つけることである。
【００９０】
【数１２】
2021535499.tif 000014
に対して（ここで、ｉ＝０、１、２．．．６６）、最適な変換パラメータＲ及びＴが最小二乗法、したがって、
【００９１】
【数１３】
2021535499.tif 000015
を使用することによって解かれ、ここで、Ｎは、６６個の重要点を示す。
３）前のステップによって、３次元空間スケールにおける二組の３次元モデルの最適な変換行列Ｒ及びＴが得られる。パラメータは、その後変更されてもよい。本実施形態では、ＢＦＭに基づいて構築された２００個の３次元顔モデル・スケールがＳＦＭモデル・スケールに変換される。
４）ステップ３）によって、同じ空間座標スケールの３次元モデルが得られる。しかしながら、２つの３次元モデルの頂点の数が異なるため、ＢＦＭの５３２１５個の頂点からＳＦＭセマンティクスに関連する３４４８個の頂点インデックス値を選択する必要がある。具体的な方法は、ＳＦＭモデルの各頂点からＢＦＭの頂点までの距離を比較し、距離が最も小さい頂点のインデックスを記録することであってもよい。このようにして、３３４８個の頂点インデックス値が得られる。これらの頂点インデックス値に基づいて、ＢＦＭの２００個の３次元顔モデルをセグメント化することによってモデルが得られる。こうして、ＳＦＭの３次元データと頂点の数が同じで、ネットワーク・トポロジ構造が同じ３次元顔モデルが得られる。したがって、中性表情を有する４００個の３次元顔モデル・サンプルが構築される。
【００９２】
３次元顔モデル・サンプルを取得した後、次元削減アルゴリズムを使用することによって、３次元平均顔モデル、特徴ベクトル、及び特徴量を算出することができる。本実施形態では、ＰＣＡアルゴリズムを使用することによって、サンプルデータに対して次元削減処理が実行される。ＰＣＡアルゴリズムは、任意の特定の人間の顔を低次元の特徴部分空間によって表すことができ、この特徴部分空間を使用することによって近似的に再構築することができることを示す。ＰＣＡアルゴリズムを使用することによって選択された特徴は、３次元顔モデル・サンプル間の差異を最大化するが、照明及び表情によって引き起こされるいくつかの不要な変化も保持する。同じ人物の照明による変化は、異なる人間間の変化よりも大きい場合がある。ＰＣＡアルゴリズムは、次元削減のプロセスを実施しているため、データ処理がより簡単かつより高速になる。本実施形態では、具体的な方法は、以下のステップを含むことができる。
１）中性表情を有する４００個の３次元顔モデル・サンプルに基づいて、
【００９３】
【数１４】
2021535499.tif 000016
を計算することによって、すべてのモデルの平均顔モデルが得られ、ここで
【００９４】
【数１５】
2021535499.tif 000017
は、３次元平均顔モデルであり、Ｓｉは、３次元平均顔モデル・サンプルであり、Ｎ＝４００である。
２）すべてのモデルから３次元平均顔モデルを差し引くことによって距離データ
【００９５】
【数１６】
2021535499.tif 000018
が得られる。ＰＣＡアルゴリズムを使用して、中性表情を有する４００個の３次元顔モデル・サンプルのデータを圧縮することによって顔形状の共分散行列Ｃｓが得られる。共分散行列の対応する特徴ベクトルＳｉによって形成される直交基底表現（対応する特徴量が降順でソートされる）
【００９６】
【数１７】
2021535499.tif 000019
も得られ、
ここで、α＝［α１，α２，．．．，αｍ−１］Ｔであり、パラメータαの確率は
【００９７】
【数１８】
2021535499.tif 000020
であり、
ここで、
【００９８】
【数１９】
2021535499.tif 000021
は、顔形状の共分散行列Ｃｓの固有値である。
【００９９】
ここまでで、４００個の３次元平均顔モデル・サンプルに基づいて、３次元平均顔モデル
【０１００】
【数２０】
2021535499.tif 000022
、顔形状特徴ベクトル集合｛Ｓ１，Ｓ２，．．．，Ｓ３ｎ｝、及び対応する固有値集合｛σＳ，１，σＳ，２，．．．，σＳ，３ｎ｝が決定され、ここで、ｎは、３次元顔モデルの頂点の数を示す。
【０１０１】
３次元顔事前データを取得した後、図３に示す顔形状フィッティング・アルゴリズムを使用して、２次元顔画像に対応する３次元顔モデルを構築することができる。
【０１０２】
図３に示すように、本実施形態における顔形状フィッティング・アルゴリズムは、以下のステップを含む。
【０１０３】
ステップＳ３０１：２次元顔画像の内部顔特徴点及び３次元平均顔モデルの内部顔特徴点に基づいて、３次元平均顔モデルから２次元顔画像への射影マッピング行列を決定するステップ。
【０１０４】
２次元顔画像及び３次元平均顔モデルを取得した後、及び顔特徴点位置決めアルゴリズムを使用することによって、２次元顔画像の内部顔特徴点（以下、２次元内部特徴点と呼ぶ）及び３次元平均顔モデルの内部顔特徴点（以下、３次元内部特徴点と呼ぶ）を決定した後、２次元内部特徴点及び３次元内部特徴点に基づいて、３次元平均顔モデルから２次元顔画像への射影マッピング行列を決定することができる。
【０１０５】
顔の内部特徴点とは、顔輪郭特徴点を除く顔特徴点、例えば、目、鼻先、口角点、眉、及び他の重要な特徴点を指す。
【０１０６】
２次元内部特徴点及び３次元内部特徴点は、同じ意味を有し、すなわち、２次元内部特徴点は、目、鼻先、口角点、眉などの特徴点を含み、３次元内部特徴点も、目、鼻先、口角点、眉を含む。
【０１０７】
射影マッピング行列は、数学的表現Ｐ＝Ｋ［Ｒ｜Ｔ］によって表すことができ、ここで、Ｐは、射影マッピング行列、Ｋは、カメラの内部パラメータ行列、Ｒは回転行列、Ｔは、並進行列を示す。射影マッピング行列に基づいて、３次元顔モデルを２次元平面に射影して、２次元顔画像を取得することができる。射影プロセスは、回転、スケーリング、変形などの変換を含む。［Ｒ｜Ｔ］及びＫは、
【０１０８】
【数２１】
2021535499.tif 000023
のように表される。
【０１０９】
射影マッピング行列は、以下に説明する方法を使用することによって決定することができる。
【０１１０】
２次元顔画像の特徴点の座標がｐｉ＝（ｘｉ，ｙｉ）であり、３次元平均顔モデルの対応する特徴点の座標がＰｉ＝（Ｘｉ，Ｙｉ，Ｚｉ）であり、２次元顔画像の特徴点と３次元平均顔モデルの特徴点との間の対応する関係が（ｐｉ，Ｐｉ）＝（ｘｉ，ｙｉ，Ｘｉ，Ｙｉ，Ｚｉ）であると仮定する。両者間の射影マッピング行列を解くことができる。３つの回転角がロール、ヨー、ピッチであると仮定すると、Ｒ＝（ｒ１，ｒ２，ｒ３）＝Ｒｒｏｌｌ×Ｒｙａｗ×Ｒｐｉｔｃｈであり、ここで、
【０１１１】
【数２２】
2021535499.tif 000024
である。
【０１１２】
カメラ撮像原理によると、
ｘｉ＝ｆ×（ｒ×Ｐｉ＋Ｔ１）／（ｒ３×Ｐｉ＋Ｔ３）、ｙｉ＝ｆ×（ｒ２×Ｐｉ）／（ｅ３×Ｐｉ＋Ｔ３）
であり、
ここで、Ｔ＝（Ｔ１，Ｔ２，Ｔ３，Ｔ４）であり、
透視モデルに基づいて、次式、Ｋ×［Ｒ（ｒｏｌｌ、ｙａｗ、ｐｉｔｃｈ）×Ｐｉ＋Ｔ］を得ることができる。姿勢推定では、Ｋは、既知のカメラパラメータであり、Ｐｉは、３次元平均顔モデルの特徴点の座標であり、ｐｉは、得られた２次元画像の座標である。このようにして得られた座標は、顔の重要点の座標と比較して偏差を有するため、問題は、最適化問題に変換される。すなわち、（ｒｏｌｌ、ｙａｗ、ｐｉｔｃｈ）＝ａｒｇｍｉｎ｛ｐｉ−Ａｑ×［Ｒ（ｒｏｌｌ、ｙａｗ、ｐｉｔｃｈ）×Ｐｉ＋Ｔ］｝（ｉ＝０，１，２，…，ｎ）。次のステップは、最小二乗法を使用することによってこの式の最適解を得ることである。本実施形態では、複数の反復後に比較的安定した値を得ることができる。このようにして、回転行列Ｒ及びオフセット行列Ｔを得ることができ、変換、すなわち、射影マッピング行列を介して３次元座標点から２次元座標点への変換関係Ｐを得ることができる。
【０１１３】
ステップＳ３０３：射影マッピング行列及び３次元特徴顔空間の特徴ベクトルに基づいて、２次元顔画像に対応する第１の３次元顔モデルを構築するステップ。
【０１１４】
前のステップにおいて、３次元内部特徴点から２次元内部特徴点への射影マッピング行列Ｐが得られる。本ステップでは、まず、顔の外部輪郭を考慮せずに、射影マッピング行列及び特徴ベクトルに基づいて、粗い精度の３次元顔形状（すなわち、第１の３次元顔モデル）をフィッティングする必要がある。
【０１１５】
一例では、ステップＳ３０３は、以下の方法で実施することができる。すなわち、射影マッピング行列を取得した後、特徴ベクトルを使用して、顔形状パラメータαをフィッティングすることができ、これは、具体的にはエネルギー関数を最小化することによって得ることができる。この関数は、以下の通りである。
【０１１６】
【数２３】
2021535499.tif 000025
ここで、Ｎは、顔の内部特徴点の数（例えば、４９個）を示し、ｙｐｒｏ＿２Ｄ，ｉは、射影マッピング行列を介して３次元内部特徴点を２次元空間に射影することによって得られる２次元内部特徴点の座標値を示し、ｙｉは、顔特徴点位置決めアルゴリズムを使用することによって得られた２次元内部特徴点の座標値を示し、
【０１１７】
【数２４】
2021535499.tif 000026
は、顔特徴点位置決めアルゴリズムを使用することによって得られた２次元内部特徴点の共分散行列を示し、αは、解くべき形状パラメータであり、形状係数とも呼ばれる。
【０１１８】
具体的な実施態様において、形状パラメータαは、以下のやり方で解くことができる。すなわち、顔形状データの訓練された特徴ベクトルから（３次元特徴顔空間の特徴ベクトル）｛ｓ１，ｓ２，．．．，ｓ３ｎ｝（ここで、ｎは３次元顔モデルの頂点の量であり、ｓｉは特徴ベクトルである）、対応する４９個の３次元内部特徴点と同じ意味情報を有するインデックス値を取得し（インデックス値は、３行ごとに１つの頂点の座標を表す４９×３行のベクトル基底を主に含み、０から４８までの３次元頂点のシーケンス番号に対応する）、得られた特徴ベクトルを新しい行列Ｕに形成し、次いで、射影マッピング行列Ｐを使用することによって行列Ｕをマッピングする。すなわち、
【０１１９】
【数２５】
2021535499.tif 000027
ここで、αが解くべき係数である。このようにして、３次元内部特徴点を、対応する２次元顔画像に対応する座標点に変換し、２次元顔画像における元の２次元内部特徴点との誤差を算出し、Ｅを最小化する。αが得られた後、第１の３次元顔モデルの数学的表現が以下のように得られる。すなわち、
【０１２０】
【数２６】
2021535499.tif 000028
ここで、ｓｉは、顔形状特徴ベクトルを示し、
【０１２１】
【数２７】
2021535499.tif 000029
は、訓練された平均顔データを示す。
【０１２２】
ステップＳ３０５：２次元顔画像の顔輪郭特徴点に基づいて、第１の３次元顔モデルに対して輪郭特徴点フィッティングを実行するステップ。
【０１２３】
前のステップにおいて２次元顔画像に対応する粗い精度の第１の３次元顔モデルを取得した後、本ステップでは、第１の３次元顔モデルに顔輪郭情報を追加して、より正確な３次元顔モデルを生成する。
【０１２４】
一例では、ステップＳ３０５は、以下のサブステップ、すなわち、１）第１の３次元顔モデルから、２次元顔画像の顔輪郭特徴点に対応する３次元点（例えば、最も近い点）を初期の３次元輪郭特徴点として選択するステップと、２）射影マッピング行列Ｐを使用することによって、初期の３次元輪郭特徴点を２次元顔画像にマッピングするステップと、３）最近傍マッチング法（例えば、ｋｄｔｒｅｅ）に基づいて、マッピングを介して得られた２次元輪郭特徴点に対応する３次元点のインデックス値を選択し、それによって、第１の３次元顔モデルの顔輪郭特徴点を取得ステップすると、を含むことができる。
【０１２５】
ステップＳ３０７：２次元顔画像と顔輪郭特徴点がフィッティングされた３次元顔モデルとの間の誤差が予め設定された誤差未満であることに応答して、顔輪郭特徴点がフィッティングされた３次元顔モデルを３次元顔モデルとして採用するステップ。
【０１２６】
前のステップにおいて得られた第１の３次元顔モデルの顔輪郭特徴点と、第１の３次元顔モデルの内部顔特徴点とを組み合わせて、顔輪郭特徴点が追加された第１の３次元顔モデルを取得する。２次元顔画像と顔輪郭特徴点がフィッティングされた３次元顔モデルとの間の誤差が予め設定された誤差未満であることに応答して、顔輪郭特徴点がフィッティングされた３次元顔モデルが、２次元顔画像に対応する３次元顔モデルとして使用される。
【０１２７】
図５は、本開示の一実施形態による、顔姿勢推定方法の顔形状フィッティングの例示的な流れ図を示す。上記の誤差が予め設定された誤差以上である場合、顔輪郭特徴点がフィッティングされた３次元顔モデルに基づいて、前述のステップＳ３０１、Ｓ３０３、Ｓ３０５、及びＳ３０７が実行される。すなわち、これらのステップにおける３次元平均顔モデルは、前回構築された顔輪郭特徴点がフィッティングされた３次元顔モデルに置き換えられ、毎回、新たな３次元顔モデルが形成される。前述のプロセスを何度も繰り返した後、誤差が予め設定された誤差未満になったときに、反復を停止し、２次元顔画像の３次元顔モデルが再構築される。
【０１２８】
以上、本出願に開示された方法において使用することができる顔形状フィッティング・アルゴリズムについて説明し、以下、表情フィッティング・アルゴリズムについて説明する。
【０１２９】
図６は、本開示の一実施形態による、顔姿勢推定方法の顔形状及び表情フィッティングの流れ図を示す。本実施形態で使用する表情フィッティング・アルゴリズムは、３次元顔事前データに含まれる表情ベース・データに基づいて実施されるため、まず、表情ベース・データ及びその生成プロセスについて説明する。
【０１３０】
一例では、上で構築された中性表情を有する４００個の３次元顔モデル・サンプルについて、顔ごとに、追加の４６個の表情を構築する。これは、４００×４７個の３次元顔モデル・サンプルを構築して、それによって表情フィッティング・データを取得するのと等価である。図７は、本実施形態における１つの３次元顔モデル・サンプルに対応する４７個の表情を示す。
【０１３１】
表情は、怒り、臆病、うんざり、退屈、驚き、心配、幸せ、憎しみ、悲しみなどの基本的な表情であってもよい。表情はまた、例えば、怒り＋うんざり、怒り＋驚き、非常な怒り、非常なうんざり、非常な驚き、幸せ＋うんざり、うれしい＋驚き、悲しい＋怒り、悲しい＋うんざり、悲しい＋怖い、悲しい＋驚きなどの複合的な表情であってもよい。
【０１３２】
実施中、既存の技術における様々な表情構築方法を使用して、中性表情を有する３次元顔モデルに対して追加の４６個の表情の３次元顔モデルを構築することができる。例えば、以下の表情構築方法を使用して、追加の４６個の表情の３次元顔モデルを構築することができる。二組の３次元モデルの三角形メッシュ間の形状移行（ｓｈａｐｅ  ｔｒａｎｓｆｅｒ）は、ソース・モデル及びターゲット・モデルが同じ数の頂点もしくは三角形、又は同じ接続性を有することを必要としない。一組の頂点マークを指定することによって、ユーザは、ソース・モデルの三角形とターゲット・モデルの三角形との間の対応関係を確立する。ソース・モデルとターゲット・モデルとの間の対応関係のマッピング変換行列を計算し、最適化問題を解くことによって、元のモデルをターゲット形状に変換する。
【０１３３】
４６個の表情の３次元顔モデル・サンプルを取得した後、４６個の表情（すなわち、表情ベース）の差分データを計算することができる。実施中、３次元平均顔モデルに対応する様々な表情ベースＸを、以下のステップ、すなわち、１）表情ごとに、表情に対応する４００個の３次元顔モデル・サンプルに基づいて、平均表情とも呼ばれる表情の３次元平均顔モデルを取得し、それによって、中性表情に対応する平均表情を含む４７個の平均表情を取得するステップと、２）表情ごとに、表情の各３次元顔モデル・サンプルから表情の平均表情を差し引いて、それによって、４６個の表情の差分データ
【０１３４】
【数２８】
2021535499.tif 000030
を取得するステップと、によって得ることができ、ここで、Ｇｅｘｐ，ｊは、ｊ番目のタイプの表情に対応する差分データを示し、Ｎは、各表情の３次元顔モデル・サンプルの数（例えば、４００個）を示し、
【０１３５】
【数２９】
2021535499.tif 000031
は、平均表情を示し、Ｓｅｘｐ，ｉは、ｉ番目の３次元顔モデル・サンプルを示す。
【０１３６】
３次元平均顔モデルに対応する様々な表情ベースＸを取得した後、３次元平均顔モデルＭを表情ベースＸに加算して、様々な表情の３次元平均顔モデル、Ｓ［ｉ］＝Ｍ＋Ｘ［ｉ］（ｉ＝０，１，２，．．．，ｎ）を得ることができる。表情ベースＸは、顔ごとに同じであることに留意されたい。
【０１３７】
図６から分かるように、本実施形態では、表情フィッティング・ステップが図３に追加されている。４９個の内部顔特徴点に基づいてフィッティングされた第１の３次元顔モデルを取得した後、３次元モデルに基づいて表情フィッティングをさらに行う。２次元顔画像は、任意の表情であってもよく、３次元モデルは、無表情であるため、表情フィッティングを行う必要がある。本実施形態では、顔形状及び表情フィッティング・プロセスは、以下のステップを含むことができる。
【０１３８】
ステップＳ６０１：２次元顔画像の内部顔特徴点及び３次元平均顔モデルの内部顔特徴点に基づいて、３次元平均顔モデルから２次元顔画像への射影マッピング行列を決定するステップ。
【０１３９】
ステップＳ６０３：射影マッピング行列及び３次元特徴顔空間の特徴ベクトルに基づいて、２次元顔画像に対応する第１の３次元顔モデルを構築するステップ。
【０１４０】
ステップＳ６０５：２次元顔画像の顔輪郭特徴点に基づいて、第１の３次元顔モデルに対して輪郭特徴点フィッティングを実行するステップ。
【０１４１】
ステップＳ６０７：２次元顔画像の内部顔特徴点及び３次元平均顔モデルに対応する少なくとも１つの表情ベースに基づいて、輪郭特徴点がフィッティングされた３次元顔モデルに対して表情フィッティングを実行するステップ。
【０１４２】
前のステップにおいて４６個の表情ベースが得られる。本ステップにおいて、二次計画法又は非負最小アルゴリズムを使用することによって、表情ベースのフィッティングされた表情係数を解くことができる。したがって、表情がフィッティングされた３次元顔モデルが得られ、その数学的表現は、以下の通りである。
Ｓｅｘｐ＿ｍｏｄｅｌ＝Ｓｍｏｄｅｌ＋Ｇ＊α
【０１４３】
【数３０】
2021535499.tif 000032
ここで、
【０１４４】
【数３１】
2021535499.tif 000033
【０１４５】
Ｓｍｏｄｅｌは、輪郭特徴点がフィッティングされた３次元顔モデルを示し、Ｓｅｘｐ＿ｍｏｄｅは、表情がフィッティングされた３次元顔モデルを示し、Ｇは、表情ベースを示し、αは、フィッティングされた表情係数を表す。
【０１４６】
図８は、本開示の一実施形態による、顔姿勢推定方法の顔形状及び表情フィッティングの例示的な流れ図を示す。図８から分かるように、本実施形態では、表情フィッティング・ステップが図５に追加されている。４９個の内部顔特徴点に基づいてフィッティングされた第１の３次元顔モデルを取得した後、３次元モデルに基づいて表情フィッティングをさらに行う。２次元顔画像は、任意の表情であり、３次元モデルは、無表情であるため、表情フィッティングを行う必要がある。
【０１４７】
ステップＳ６０９：２次元顔画像と表情がフィッティングされた３次元顔モデルとの間の誤差が予め設定された誤差未満であることに応答して、表情がフィッティングされた３次元顔モデルを３次元顔モデルとして採用するステップ。
【０１４８】
一例では、本方法は、以下のステップ、すなわち、誤差が予め設定された誤差以上であることに応答して、表情がフィッティングされた３次元顔モデルに基づいて、２次元顔画像に対応する３次元顔モデルを構築するステップをさらに含む。すなわち、表情がフィッティングされた３次元顔モデルに基づいて上記のステップＳ６０１〜ステップＳ６０９を実行する。これらのステップにおける３次元平均顔モデルは、前回構築された表情がフィッティングされた３次元顔モデルに置き換えられ、毎回、新たな３次元顔モデルが形成される。前述のプロセスを何度も繰り返した後、誤差が予め設定された誤差未満になったときに、反復を停止し、２次元顔画像の３次元顔モデルが再構築される。
【０１４９】
前述の実施形態から分かるように、本出願に開示される顔姿勢推定方法は、処理するための２次元顔画像を取得し、２次元顔画像に対応する３次元顔モデルを構築し、３次元顔モデルの顔特徴点及び２次元顔画像の顔特徴点に基づいて２次元顔画像の顔姿勢を決定する。本手法では、顔姿勢推定は、３次元平均顔モデルのみに基づくのではなく、２次元顔画像に対応する３次元顔モデルに基づいて行われる。その結果、角度が大きく表情が誇張された顔に対してさえも、高精度の姿勢推定を得ることができる。したがって、姿勢推定のロバスト性を効果的に向上させることができる。
【０１５０】
第２の実施形態
前述の実施形態では、顔姿勢推定方法が開示されている。これに対応して、本出願では、顔姿勢推定装置がさらに開示される。本装置は、前述の方法の実施形態に対応する。
【０１５１】
図９は、本開示の一実施形態による、顔姿勢推定装置の概略図を示す。装置の実施形態は、基本的に方法の実施形態と同様であるため、説明は比較的簡単である。関連する部分については、方法の実施形態の説明を参照することができる。以下に説明する装置の実施形態は、単なる例示である。
【０１５２】
本出願は、
処理するための２次元顔画像を取得するように構成された２次元顔画像取得ユニット９０１と、
２次元顔画像に対応する３次元顔モデルを構築するように構成された３次元顔モデル構築ユニット９０３と、
３次元顔モデルの顔特徴点及び２次元顔画像の顔特徴点に基づいて、２次元顔画像の顔姿勢を決定するように構成された顔姿勢決定ユニット９０５と、
を備える、顔姿勢推定装置をさらに開示する。
【０１５３】
任意選択で、３次元顔モデル構築ユニット９０３は、具体的には、顔形状フィッティング・アルゴリズムを使用することによって、２次元顔画像に対応する３次元顔モデルを構築するように構成されている。
【０１５４】
任意選択で、３次元顔モデル構築ユニット９０３は、
２次元顔画像の内部顔特徴点及び３つの内部顔特徴点に基づいて、３次元平均顔モデルから２次元顔画像への射影マッピング行列を決定するように構成された射影行列決定サブユニット９０３１と、
射影マッピング行列及び３次元特徴顔空間の特徴ベクトルに基づいて、２次元顔画像に対応する第１の３次元顔モデルを構築するように構成された第１のモデル構築サブユニット９０３３と、
２次元顔画像の顔輪郭特徴点に基づいて、第１の３次元モデルに対して輪郭特徴点フィッティングを実行するように構成された輪郭フィッティング・サブユニット９０３５と、
２次元顔画像と顔輪郭特徴点がフィッティングされた３次元顔モデルとの間の誤差が予め設定された誤差未満であることに応答して、顔輪郭特徴点がフィッティングされた第１の３次元顔モデルを３次元顔モデルとして採用するように構成された第２のモデル決定サブユニット９０３７と、
を備える。
【０１５５】
任意選択で、３次元顔モデル構築ユニット９０３は、
誤差が予め設定された誤差以上であることに応答して、顔輪郭特徴点がフィッティングされた３次元顔モデルに基づいて、２次元顔画像に対応する３次元顔モデルを構築するように構成された第３のモデル構築サブユニットをさらに備える。
【０１５６】
任意選択で、３次元顔モデル構築ユニット９０３は、具体的には、表情フィッティング・アルゴリズムを使用することによって、２次元顔画像に対応する３次元顔モデルを構築するように構成されている。
【０１５７】
任意選択で、３次元顔モデル構築ユニット９０３は、具体的には、顔形状及び表情フィッティング・アルゴリズムを使用することによって、２次元顔画像に対応する３次元顔モデルを構築するように構成されている。
【０１５８】
任意選択で、図１０を参照すると、３次元顔モデル構築ユニット９０３は、
２次元顔画像の内部顔特徴点及び３次元平均顔モデルの内部顔特徴点に基づいて、３次元平均顔モデルから２次元顔画像への射影マッピング行列を決定するように構成された射影行列決定サブユニットと、
射影マッピング行列及び３次元特徴顔空間の特徴ベクトルに基づいて、２次元顔画像に対応する第１の３次元顔モデルを構築するように構成された第１のモデル構築サブユニットと、
２次元顔画像の顔輪郭特徴点に基づいて、第１の３次元モデルに対して輪郭特徴点フィッティングを実行するように構成された輪郭フィッティング・サブユニットと、
２次元顔画像の内部顔特徴点及び３次元平均顔モデルに対応する少なくとも１つの表情ベースに基づいて、輪郭特徴点がフィッティングされた第１の３次元顔モデルに対して表情フィッティングを実行するように構成された表情フィッティング・サブユニットと、
２次元顔画像と表情がフィッティングされた３次元顔モデルとの間の誤差が予め設定された誤差未満であることに応答して、表情がフィッティングされた３次元顔モデルを３次元顔モデルとして採用するように構成された第２のモデル決定サブユニットと、
を備える。
【０１５９】
任意選択で、本装置は、
誤差が予め設定された誤差以上であることに応答して、表情がフィッティングされた３次元顔モデルに基づいて、２次元顔画像に対応する３次元顔モデルを構築するように構成された第３のモデル構築サブユニット、
をさらに備える。
【０１６０】
任意選択で、輪郭フィッティング・サブユニットは、
第１の３次元顔モデルから、２次元顔画像の顔輪郭特徴点に対応する３次元点を初期の３次元輪郭特徴点として選択するように構成された第１の輪郭特徴点選択サブユニットと、
射影マッピング行列を使用することによって、初期の３次元輪郭特徴点を２次元顔画像にマッピングするように構成された輪郭特徴点マッピング・サブユニットと、
最近傍マッチング・アルゴリズムを使用することによって、マッピングによって得られた２次元輪郭特徴点に対応する３次元点を第１の３次元顔モデルの顔輪郭特徴点として選択するように構成された第２の輪郭特徴点選択サブユニットと、
を備える。
【０１６１】
任意選択で、本装置は、
３次元顔モデル・サンプルに基づいて、３次元平均顔モデル及び特徴ベクトルを決定するように構成された第１の事前データ決定ユニット、
をさらに備える。
【０１６２】
任意選択で、本装置は、
３次元顔モデル・サンプルに基づいて、３次元平均顔モデルに対応する少なくとも１つの表情ベースを決定するように構成された第２の事前データ決定ユニット、
をさらに備える。
【０１６３】
第３の実施形態
図１１は、本開示の一実施形態による、電子デバイスの概略図を示す。デバイスの実施形態は、基本的に方法の実施形態と同様であるため、以下の説明は比較的簡単である。関連する部分については、方法の実施形態の説明を参照することができる。以下に説明するデバイスの実施形態は、単なる例示である。
【０１６４】
電子デバイスが本実施形態において開示される。電子デバイスは、プロセッサ１１０１及びメモリ１１０２を備える。メモリは、顔姿勢推定方法を実施するためのプログラムを記憶するように構成されている。デバイスは、電源が投入され、プロセッサを介して顔姿勢推定方法のプログラムを実行した後、以下のステップ、すなわち、処理するための２次元顔画像を取得するステップと、２次元顔画像に対応する３次元顔モデルを構築するステップと、３次元顔モデルの顔特徴点及び２次元顔画像の顔特徴点に基づいて、２次元顔画像の顔姿勢を決定するステップと、を実行する。
【０１６５】
第４の実施形態
前述の顔姿勢推定方法に対応して、３次元顔再構築方法が本出願においてさらに開示される。本方法の実行者は、３次元顔再構築装置を含む。
【０１６６】
図１２は、本開示の一実施形態による、３次元顔再構築法の流れ図を示す。第１の実施形態と同じ内容を有する本実施形態の部分は、本明細書では繰り返されない。第１の実施形態における対応する部分を参照することができる。本出願に開示される３次元顔再構築方法は、以下を含む。
【０１６７】
ステップＳ１２００：処理するための２次元顔画像を取得するステップ。
【０１６８】
ステップＳ１２０１：２次元顔画像の内部顔特徴点及び３次元平均顔モデルの内部顔特徴点に基づいて、３次元平均顔モデルから２次元顔画像への射影マッピング行列を決定するステップ。
【０１６９】
ステップＳ１２０３：射影マッピング行列及び３次元特徴顔空間の特徴ベクトルに基づいて、２次元顔画像に対応する第１の３次元顔モデルを構築するステップ。
【０１７０】
ステップＳ１２０５：２次元顔画像の顔輪郭特徴点に基づいて、第１の３次元顔モデルに対して輪郭特徴点フィッティングを実行するステップ。
【０１７１】
ステップＳ１２０７：２次元顔画像とフィッティングされた第１の３次元顔モデルとの間の誤差が予め設定された誤差未満であることに応答して、フィッティングされた第１の３次元顔モデルを２次元顔画像の３次元顔モデルとして採用するステップ。
【０１７２】
図１３を参照すると、本方法は、以下のステップをさらに含むことができる。
【０１７３】
ステップＳ１３０１：誤差が予め設定された誤差以上であることに応答して、フィッティングされた３次元顔モデルに基づいて、２次元顔画像に対応する３次元顔モデルを構築するステップ。
【０１７４】
図１４を参照すると、２次元顔画像の顔輪郭特徴点に基づいて、第１の３次元顔モデルに対して輪郭特徴点フィッティングを実行するステップの後、本方法は、以下のステップをさらに含むことができる。
【０１７５】
ステップＳ１４０１：２次元顔画像の内部顔特徴点及び３次元平均顔モデルに対応する少なくとも１つの表情ベースに基づいて、輪郭特徴点がフィッティングされた３次元顔モデルに対して表情フィッティングを実行するステップ。
【０１７６】
一例では、射影マッピング行列及び３次元特徴顔空間の特徴ベクトルに基づいて、２次元顔画像に対応する第１の３次元顔モデルを構築した後、本方法は、以下のステップ、すなわち、３次元平均顔モデルに対応する少なくとも１つの表情ベースに基づいて、第１の３次元顔モデルに対して表情フィッティングを実行するステップをさらに含むことができる。これに対応して、ステップＳ１２０５は、以下のように、すなわち、２次元顔画像の顔輪郭特徴点に基づいて、表情がフィッティングされた第１の３次元顔モデルに対して輪郭特徴点フィッティングを実行するように実施されてもよい。
【０１７７】
一例では、２次元顔画像の顔輪郭特徴点に基づいて、表情がフィッティングされた第１の３次元モデルに対して輪郭特徴点フィッティングを実行するステップは、以下のサブステップ、すなわち、１）第１の３次元顔モデルから２次元顔画像の顔輪郭特徴点に対応する３次元点を初期の３次元輪郭特徴点として選択するステップと、２）射影マッピング行列を使用することによって、初期の３次元輪郭特徴点を２次元顔画像にマッピングするステップと、３）最近傍マッチング・アルゴリズムを使用することによって、マッピングにより得られた２次元輪郭特徴点に対応する３次元点を、第１の３次元顔モデルの顔輪郭特徴点として選択するステップと、を含むことができる。
【０１７８】
一例では、本方法は、以下のステップ、すなわち、３次元顔モデル・サンプルに基づいて、３次元平均顔モデル及び特徴ベクトルを決定するステップをさらに含むことができる。
【０１７９】
一例では、本方法は、以下のステップ、すなわち、３次元顔モデル・サンプルに基づいて、３次元平均顔モデルに対応する少なくとも１つの表情ベースを決定するステップをさらに含むことができる。
【０１８０】
前述の実施形態から分かるように、本出願に開示される顔姿勢推定方法は、処理するための２次元顔画像を取得し、２次元顔画像に対応する３次元顔モデルを構築し、３次元顔モデルの顔特徴点及び２次元顔画像の顔特徴点に基づいて２次元顔画像の顔姿勢を決定する。本手法では、顔姿勢推定は、３次元平均顔モデルのみに基づくのではなく、２次元顔画像に対応する３次元顔モデルに基づいて行われる。その結果、角度が大きく表情が誇張された顔に対してさえも、高精度の姿勢推定を得ることができる。したがって、姿勢推定のロバスト性を効果的に向上させることができる。
【０１８１】
前述の実施形態から分かるように、本出願に開示される３次元顔再構築方法は、処理するための２次元顔画像を取得し、２次元顔画像の内部特徴点及び３次元平均顔モデルの内部顔特徴点に基づいて、３次元平均顔モデルから２次元顔画像への射影マッピング行列を決定し、射影マッピング行列及び３次元特徴顔空間の特徴ベクトルに基づいて、２次元顔画像に対応する第１の３次元顔モデルを構築し、２次元顔画像の顔輪郭特徴点に基づいて、第１の３次元顔モデルに対して輪郭特徴点フィッティングを実行し、２次元顔画像と第１のフィッティングされた３次元顔モデルとの間の誤差が予め設定された誤差未満であることに応答して、フィッティングされた第１の３次元顔モデルを２次元顔画像の３次元顔モデルとして採用する。本手法では、３次元顔事前データに基づいて３次元顔モデル・フィッティングが駆動され、内部顔特徴点と外部輪郭顔特徴点との組合せが考慮される。さらに、３次元顔モデルと２次元顔画像との間の誤差を最小限に抑えるためにフィッティングを繰り返し実行して、実際の顔を最大限に復元する。さらに、再構築された３次元顔モデルは、顔の生物学的特徴に適合する。したがって、３次元顔モデルの再構築精度を効果的に向上させることができる。
【０１８２】
第５の実施形態
前述の実施形態では、３次元顔再構築方法が開示されている。これに対応して、３次元顔再構築装置が本出願においてさらに開示される。本装置は、前述の方法の実施形態に対応する。
【０１８３】
図１５は、本開示の一実施形態による、３次元顔再構築装置の概略図を示す。装置の実施形態は、基本的に方法の実施形態と同様であるため、以下の説明は比較的簡単である。関連する部分については、方法の実施形態の説明を参照することができる。以下に説明する装置の実施形態は、単なる例示である。
【０１８４】
本出願は、
処理するための２次元顔画像を取得するように構成された２次元顔画像取得ユニット１５００と、
２次元顔画像の内部顔特徴点及び３次元平均顔モデルの内部顔特徴点に基づいて、３次元平均顔モデルから２次元顔画像への射影マッピング行列を決定するように構成された射影行列決定サブユニット１５０１と、
射影マッピング行列及び３次元特徴顔空間の特徴ベクトルに基づいて、２次元顔画像に対応する第１の３次元顔モデルを構築するように構成された第１のモデル構築サブユニット１５０３と、
２次元顔画像の顔輪郭特徴点に基づいて、第１の３次元顔モデルに対して輪郭特徴点フィッティングを実行するように構成された輪郭フィッティング・サブユニット１５０５と、
２次元顔画像とフィッティングされた３次元顔モデルとの間の誤差が予め設定された誤差未満であることに応答して、フィッティングされた第１の３次元顔モデルを２次元顔画像の３次元顔モデルとして採用するように構成された第２のモデル決定ユニット１５０７と、
を備える３次元顔再構築装置をさらに開示する。
【０１８５】
任意選択で、本装置は、
２次元顔画像の内部顔特徴点及び３次元平均顔モデルに対応する少なくとも１つの表情ベースに基づいて、輪郭特徴点がフィッティングされた３次元顔モデルに対して表情フィッティングを実行するように構成された第１の表情フィッティング・ユニット、
をさらに備える。
【０１８６】
任意選択で、本装置は、
３次元平均顔モデルに対応する少なくとも１つの表情ベースに基づいて、第１の３次元顔モデルに対して表情フィッティングを実行するように構成された第２の表情フィッティング・ユニット、
をさらに備える。
【０１８７】
輪郭フィッティング・サブユニットは、具体的には、２次元顔画像の顔輪郭特徴点に基づいて、表情がフィッティングされた第１の３次元顔モデルに対して輪郭特徴点フィッティングを実行するように構成されている。
【０１８８】
任意選択で、輪郭フィッティング・サブユニット１５０５は、
第１の３次元顔モデルから、２次元顔画像の顔輪郭特徴点に対応する３次元点を初期の３次元輪郭特徴点として選択するように構成された第１の輪郭特徴点選択サブユニットと、
射影マッピング行列を使用することによって、初期の３次元輪郭特徴点を２次元顔画像にマッピングするように構成された輪郭特徴点マッピング・サブユニットと、
最近傍マッチング・アルゴリズムを使用することによって、マッピングによって得られた２次元輪郭特徴点に対応する３次元点を第１の３次元顔モデルの顔輪郭特徴点として選択するように構成された第２の輪郭特徴点選択サブユニットと、
を備える。
【０１８９】
任意選択で、本装置は、
誤差が予め設定された誤差以上であることに応答して、フィッティングされた３次元顔モデルに基づいて、２次元顔画像に対応する３次元顔モデルを構築するように構成された第３のモデル構築サブユニット、
をさらに備える。
【０１９０】
任意選択で、本装置は、
３次元顔モデル・サンプルに基づいて、３次元平均顔モデル及び特徴ベクトルを決定するように構成された第１の事前データ決定ユニット、
をさらに備える。
【０１９１】
任意選択で、本装置は、
３次元顔モデル・サンプルに基づいて、３次元平均顔モデルに対応する少なくとも１つの表情ベースを決定するように構成された第２の事前データ決定ユニット、
をさらに備える。
【０１９２】
第６の実施形態
図１６は、本開示の一実施形態による、電子デバイスの概略図を示す。デバイスの実施形態は、基本的に方法の実施形態と同様であるため、以下の説明は比較的簡単である。関連する部分については、方法の実施形態の説明を参照することができる。以下に説明するデバイスの実施形態は、単なる例示である。
【０１９３】
本出願は、プロセッサ１６０１及びメモリ１６０２を含む電子デバイスを開示する。メモリは、３次元顔再構築方法を実行するためのプログラムを記憶するように構成されている。デバイスは、電源が投入され、プロセッサを介して３次元顔再構築方法のプログラムを実行した後、以下のステップ、すなわち、処理するための２次元顔画像を取得するステップと、２次元顔画像の内部顔特徴点及び３次元平均顔モデルの内部顔特徴点に基づいて、３次元平均顔モデルから２次元顔画像への射影マッピング行列を決定するステップと、射影マッピング行列及び３次元特徴顔空間の特徴ベクトルに基づいて、２次元顔画像に対応する第１の３次元顔モデルを構築するステップと、２次元顔画像の顔輪郭特徴点に基づいて、第１の３次元顔モデルに対して輪郭特徴点フィッティングを実行するステップと、２次元顔画像とフィッティングされた第１の３次元顔モデルとの間の誤差が予め設定された誤差未満であることに応答して、フィッティングされた第１の３次元顔モデルを２次元顔画像の３次元顔モデルとして採用するステップと、を実行する。
【０１９４】
本出願は上記のような好ましい実施形態を開示しているが、これらの実施形態は、本出願を限定することを意図していない。当業者は、本出願の主旨及び範囲から逸脱することなく、可能な修正及び改善を行うことができる。したがって、本出願の保護範囲は、本出願の添付の特許請求の範囲によって定義された範囲に従うべきである。
【０１９５】
典型的な構成では、コンピューティング・デバイスは、１つ又は複数のプロセッサ（ＣＰＵ）、入力／出力インターフェース、ネットワーク・インターフェース、及び内部メモリを含む。
【０１９６】
内部メモリは、コンピュータ可読媒体の非永続的メモリ、ランダム・アクセス・メモリ（ＲＡＭ）、及び／又は不揮発性内部メモリ、例えば、読み取り専用メモリ（ＲＯＭ）及びフラッシュ・メモリ（フラッシュＲＡＭ）などを含むことができる。内部メモリは、コンピュータ可読媒体の一例である。
【０１９７】
１．コンピュータ可読媒体は、永続的媒体及び非永的続媒体、取り外し可能媒体及び取り外し不可能媒体を含み、情報記憶は、任意の方法又は技術によって実施することができる。情報は、コンピュータ可読命令、データ構造、プログラム・モジュール、又は他のデータであってもよい。コンピュータ記憶媒体の例としては、相変化メモリ（ＰＲＡＭ）、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）、ダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）、他のタイプのランダム・アクセス・メモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュ・メモリもしくは他のメモリ技術、コンパクト・ディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）もしくは他の光メモリ、磁気カセット、磁気テープ、磁気ディスク記憶装置もしくは他の磁気記憶装置、又はコンピューティング・デバイスによってアクセス可能な情報を記憶するために使用することができる任意の他の非伝送媒体が挙げられるが、これらに限定されない。本明細書に基づいて、コンピュータ可読媒体は、変調されたデータ信号及び搬送波などの非一時的なコンピュータ可読媒体（一時的媒体）を含まない。
【０１９８】
２．当業者は、本出願の実施形態が方法、システム又はコンピュータ・プログラム製品として提供することができることを理解されたい。したがって、本出願は、ハードウェアのみの実施形態、ソフトウェアのみの実施形態、又はソフトウェアとハードウェアを組み合わせた実施形態の形態を使用することができる。さらに、本出願は、コンピュータ使用可能なプログラム・コードを含む１つ又は複数のコンピュータ使用可能な記憶媒体（ディスク・メモリ、ＣＤ−ＲＯＭ、光メモリなどを含むが、これらに限定されない）上に実装されたコンピュータ・プログラム製品の形態を使用することができる。
【図１】
2021535499.tif 000034
【図２】
2021535499.tif 000035
【図３】
2021535499.tif 000036
【図４】
2021535499.tif 000037
【図５】
2021535499.tif 000038
【図６】
2021535499.tif 000039
【図７】
2021535499.tif 000040
【図８】
2021535499.tif 000041
【図９】
2021535499.tif 000042
【図１０】
2021535499.tif 000043
【図１１】
2021535499.tif 000044
【図１２】
2021535499.tif 000045
【図１３】
2021535499.tif 000046
【図１４】
2021535499.tif 000047
【図１５】
2021535499.tif 000048
【図１６】
2021535499.tif 000049
【手続補正書】
【提出日】令和3年4月9日(2021.4.9)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
処理するための２次元顔画像を取得するステップと、
前記２次元顔画像に対応する３次元顔モデルを構築するステップと、
前記３次元顔モデルの顔特徴点及び前記２次元顔画像の顔特徴点に基づいて、前記２次元顔画像の顔姿勢を決定するステップと、
を含む、顔姿勢推定方法。
【請求項２】
前記２次元顔画像に対応する前記３次元顔モデルを前記構築するステップが、
顔形状フィッティング・アルゴリズムを使用することによって、前記２次元顔画像に対応する前記３次元顔モデルを構築するステップ、
を含み、任意選択で、前記顔形状フィッティング・アルゴリズムが、
前記２次元顔画像の内部顔特徴点及び３次元平均顔モデルの内部顔特徴点に基づいて、前記３次元平均顔モデルから前記２次元顔画像への射影マッピング行列を決定するステップと、
前記射影マッピング行列及び３次元特徴顔空間の特徴ベクトルに基づいて、前記２次元顔画像に対応する第１の３次元顔モデルを構築するステップと、
前記２次元顔画像の顔輪郭特徴点に基づいて、前記第１の３次元顔モデルに対して輪郭特徴点フィッティングを実行するステップと、
前記２次元顔画像と前記顔輪郭特徴点がフィッティングされた前記第１の３次元顔モデルとの間の誤差が予め設定された誤差未満であることに応答して、前記顔輪郭特徴点がフィッティングされた前記第１の３次元顔モデルを前記３次元顔モデルとして採用するステップと、
を含み、
任意選択で、
前記誤差が前記予め設定された誤差以上であることに応答して、前記顔輪郭特徴点がフィッティングされた前記第１の３次元顔モデルに基づいて、前記２次元顔画像に対応する前記３次元顔モデルを構築するステップ、
をさらに含む、請求項１に記載の方法。
【請求項３】
前記２次元顔画像に対応する前記３次元顔モデルを前記構築するステップが、
表情フィッティング・アルゴリズムを使用することによって、前記２次元顔画像に対応する前記３次元顔モデルを構築するステップ、
を含み、又は、
前記２次元顔画像に対応する前記３次元顔モデルを前記構築するステップが、
顔形状及び表情フィッティング・アルゴリズムを使用することによって、前記２次元顔画像に対応する前記３次元顔モデルを構築するステップ、
を含み、任意選択で、前記顔形状及び表情フィッティング・アルゴリズムが、
前記２次元顔画像の内部顔特徴点及び３次元平均顔モデルの内部顔特徴点に基づいて、前記３次元平均顔モデルから前記２次元顔画像への射影マッピング行列を決定するステップと、
前記射影マッピング行列及び３次元特徴顔空間の特徴ベクトルに基づいて、前記２次元顔画像に対応する第１の３次元顔モデルを構築するステップと、
前記２次元顔画像の顔輪郭特徴点に基づいて、前記第１の３次元顔モデルに対して輪郭特徴点フィッティングを実行するステップと、
前記２次元顔画像の内部特徴点及び前記３次元平均顔モデルに対応する少なくとも１つの表情のベースに基づいて、輪郭特徴点がフィッティングされた前記第１の３次元顔モデルに対して表情フィッティングを実行するステップと、
前記２次元顔画像と前記表情がフィッティングされた前記第１の３次元顔モデルとの間の誤差が予め設定された誤差未満であることに応答して、前記表情がフィッティングされた前記第１の３次元顔モデルを前記３次元顔モデルとして採用するステップと、
を含み、
任意選択で、
前記誤差が前記予め設定された誤差以上であることに応答して、前記表情がフィッティングされた前記３次元顔モデルに基づいて、前記２次元顔画像に対応する前記３次元顔モデルを構築するステップ、
をさらに含む、請求項１に記載の方法。
【請求項４】
前記２次元顔画像の前記顔輪郭特徴点に基づいて、前記第１の３次元顔モデルに対して前記輪郭特徴点フィッティングを前記実行するステップが、
前記第１の３次元顔モデルから、前記２次元顔画像の前記顔輪郭特徴点に対応する３次元点を初期の３次元輪郭特徴点として選択するステップと
前記射影マッピング行列を使用することによって、前記初期の３次元輪郭特徴点を前記２次元顔画像にマッピングするステップと、
最近傍マッチング・アルゴリズムを使用することによって、２次元輪郭特徴点に対応するマッピングされた３次元点を前記第１の３次元顔モデルの顔輪郭特徴点として選択するステップと、
を含む、請求項２又は３に記載の方法。
【請求項５】
３次元顔モデル・サンプルに基づいて、前記３次元平均顔モデル及び前記特徴ベクトルを決定するするステップ、
をさらに含む、請求項２又は３に記載の方法。
【請求項６】
３次元顔モデル・サンプルに基づいて、前記３次元平均顔モデルに対応する少なくとも１つの表情のベースを決定するステップ、
をさらに含む、請求項３に記載の方法。
【請求項７】
処理するための２次元顔画像を取得するステップと、
前記２次元顔画像の内部特徴点及び３次元平均顔モデルの内部特徴点に基づいて、前記３次元平均顔モデルから前記２次元顔画像への射影マッピング行列を決定するステップと、
前記射影マッピング行列及び３次元特徴顔空間の特徴ベクトルに基づいて、前記２次元顔画像に対応する第１の３次元顔モデルを構築するステップと、
前記２次元顔画像の顔輪郭特徴点に基づいて、前記第１の３次元顔モデルに対して輪郭特徴点フィッティングを実行するステップと、
前記２次元顔画像とフィッティングされた前記第１の３次元顔モデルとの間の誤差が予め設定された誤差未満であることに応答して、フィッティングされた前記第１の３次元顔モデルを前記２次元顔画像の３次元顔モデルとして採用するステップと、
を含む、３次元顔再構築方法。
【請求項８】
前記２次元顔画像の前記顔輪郭特徴点に基づいて、前記第１の３次元顔モデルに対して前記輪郭特徴点フィッティングを実行した後、
前記２次元顔画像の内部顔特徴点及び前記３次元平均顔モデルに対応する少なくとも１つの表情のベースに基づいて、輪郭特徴点がフィッティングされた前記３次元顔モデルに対して表情フィッティングを実行するステップ、
をさらに含む、請求項７に記載の方法。
【請求項９】
前記射影マッピング行列及び前記３次元特徴顔空間の前記特徴ベクトルに基づいて、前記２次元顔画像に対応する前記第１の３次元顔モデルを前記構築した後、
前記３次元平均顔モデルに対応する少なくとも１つの表情のベースに基づいて、前記第１の３次元顔モデルに対して表情フィッティングを実行するステップをさらに含み、
前記２次元顔画像の前記顔輪郭特徴点に基づいて前記第１の３次元顔モデルに対して前記輪郭特徴点フィッティングを実行する前記ステップが、
前記２次元顔画像の前記顔輪郭特徴点に基づいて、前記表情がフィッティングされた前記第１の３次元顔モデルに対して前記輪郭特徴点フィッティングを実行するステップ、を含む、
請求項７に記載の方法。
【請求項１０】
前記２次元顔画像の前記顔輪郭特徴点に基づいて、前記第１の３次元顔モデルに対して前記輪郭特徴点フィッティングを前記実行するステップが、
前記第１の３次元顔モデルから、前記２次元顔画像の前記顔輪郭特徴点に対応する３次元点を初期の３次元輪郭特徴点として選択するステップと
前記射影マッピング行列を使用することによって、前記初期の３次元輪郭特徴点を前記２次元顔画像にマッピングするステップと、
最近傍マッチング・アルゴリズムを使用することによって、２次元輪郭特徴点に対応するマッピングされた３次元点を前記第１の３次元顔モデルの顔輪郭特徴点として選択するステップと、
を含み、又は、
前記誤差が前記予め設定された誤差以上であることに応答して、前記フィッティングされた３次元顔モデルに基づいて、前記２次元顔画像に対応する前記３次元顔モデルを構築するステップ、
をさらに含み、又は、
３次元顔モデル・サンプルに基づいて、前記３次元平均顔モデル及び前記特徴ベクトルを決定するステップ、
をさらに含む、請求項７に記載の方法。
【請求項１１】
３次元顔モデル・サンプルに基づいて、前記３次元平均顔モデルに対応する少なくとも１つの表情のベースを決定するステップ、
をさらに含む、請求項８又は９に記載の方法。
【請求項１２】
処理するための２次元顔画像を取得するように構成された２次元顔画像取得ユニットと、
前記２次元顔画像に対応する３次元顔モデルを構築するように構成された３次元顔モデル構築ユニットと、
前記３次元顔モデルの顔特徴点及び前記２次元顔画像の顔特徴点に基づいて、前記２次元顔画像の顔姿勢を決定するように構成された顔姿勢決定ユニットと、
を備える、顔姿勢推定装置。
【請求項１３】
処理するための２次元顔画像を取得するように構成された２次元顔画像取得ユニットと、
前記２次元顔画像の内部顔特徴点及び３次元平均顔モデルの内部顔特徴点に基づいて、前記３次元平均顔モデルから前記２次元顔画像への射影マッピング行列を決定するように構成された射影行列決定サブユニットと、
前記射影マッピング行列及び３次元特徴顔空間の特徴ベクトルに基づいて、前記２次元顔画像に対応する第１の３次元顔モデルを構築するように構成された第１のモデル構築サブユニットと、
前記２次元顔画像の顔輪郭特徴点に基づいて、前記第１の３次元顔モデルに対して輪郭特徴点フィッティングを実行するように構成された輪郭フィッティング・サブユニットと、
前記２次元顔画像とフィッティングされた３次元顔モデルとの間の誤差が予め設定された誤差未満であることに応答して、フィッティングされた３次元顔モデルを前記２次元顔画像の３次元顔モデルとして使用するように構成された第２のモデル決定ユニットと、
を備える、３次元顔再構築装置。
【請求項１４】
プロセッサと、
顔姿勢推定方法を実施するためのプログラムを記憶するように構成されたメモリと、を備える、電子デバイスであって、電源が投入され、前記プロセッサを介して前記顔姿勢推定方法の前記プログラムを実行した後、以下のステップ、すなわち、
処理するための２次元顔画像を取得するステップと、
前記２次元顔画像に対応する３次元顔モデルを構築するステップと、
前記３次元顔モデルの顔特徴点及び前記２次元顔画像の顔特徴点に基づいて、前記２次元顔画像の顔姿勢を決定するステップと、
を実行する、電子デバイス。
【請求項１５】
プロセッサと、
３次元顔再構築方法を実施するためのプログラムを記憶するように構成されたメモリと、を備える、電子デバイスであって、電源が投入され、前記プロセッサを介して前記３次元顔再構築方法の前記プログラムを実行した後、以下のステップ、すなわち、
処理するための２次元顔画像を取得するステップと、
前記２次元顔画像の顔の内部特徴点及び３次元平均顔モデルの顔の内部特徴点に基づいて、前記３次元平均顔モデルから前記２次元顔画像への射影マッピング行列を決定するステップと、
前記射影マッピング行列及び３次元特徴顔空間の特徴ベクトルに基づいて、前記２次元顔画像に対応する第１の３次元顔モデルを構築するステップと、
前記２次元顔画像の顔輪郭特徴点に基づいて、前記第１の３次元顔モデルに対して輪郭特徴点フィッティングを実行するステップと、
前記２次元顔画像とフィッティングされた前記第１の３次元顔モデルとの間の誤差が予め設定された誤差未満であることに応答して、フィッティングされた３次元顔モデルを前記２次元顔画像の３次元顔モデルとして採用するステップと、
を実行する、電子デバイス。
【国際調査報告】
2021535499.tif 000050
2021535499.tif 000051
2021535499.tif 000052
2021535499.tif 000053