(57)【要約】【課題】本発明は、情報処理方法及び情報処理装置を提供する。【解決手段】該情報処理方法は、人物の顔面を含む２次元画像中の第一組特徴点及び平均顔面３次元モデル中の第二組特徴点間の対応関係に基づいて、形状パラメータ及び表情パラメータのうちの少なくとも１つを計算し；及び、前記形状パラメータ及び前記表情パラメータのうちの少なくとも１つを用いて顔面形状変化モデルを構成し、前記２次元画像中の顔面に対応する特定３次元モデルを得ることを含む。【選択図】図３
2018200690.tif 000002
【特許請求の範囲】
【請求項１】
情報処理方法であって、
人物の顔面を含む２次元画像中の第一組特徴点と、平均顔面３次元モデル中の第二組特徴点との間の対応関係に基づいて、形状パラメータ及び表情パラメータのうちの少なくとも１つを計算し；及び
前記形状パラメータ及び前記表情パラメータのうちの少なくとも１つを用いて顔面形状変化モデルを構成し、前記２次元画像中の顔面に対応する特定３次元モデルを得ることを含む、方法。
【請求項２】
請求項1に記載の情報処理方法であって、
修正された表情パラメータを用いて前記顔面形状変化モデルを構成し、もう１つの表情を有する特定３次元モデルを得ることをさらに含む、方法。
【請求項３】
請求項1に記載の情報処理方法であって、
前記第一組特徴点と前記第二組特徴点との間の対応関係に基づいて、前記第一組特徴点のうちの各特徴点と、前記第二組特徴点のうちの対応する特徴点との間の距離が最小であるように前記形状パラメータ及び前記表情パラメータのうちの少なくとも１つを計算することをさらに含む、方法。
【請求項４】
請求項1に記載の情報処理方法であって、
前記顔面形状変化モデルは、形状特徴及び表情特徴を含み、
前記形状パラメータ及び前記表情パラメータのうちの少なくとも１つを用いて顔面形状変化モデルを構成することは、
前記形状パラメータを用いて前記顔面形状変化モデルの形状特徴に対して加重を行い；及び／又は
前記表情パラメータを用いて前記顔面形状変化モデルの表情特徴に対して加重を行うことを含む、方法。
【請求項５】
請求項1に記載の情報処理方法であって、
前記第一組特徴点と前記第二組特徴点との間の対応関係に基づいて、カメラ較正パラメータを計算することをさらに含む、方法。
【請求項６】
請求項5に記載の情報処理方法であて、
前記第一組特徴点と前記第二組特徴点との間の対応関係に基づいて、前記第一組特徴点のうちの各特徴点と、前記第二組特徴点のうちの対応する特徴点との間の距離が最小であるように前記カメラ較正パラメータを計算することをさらに含む、方法。
【請求項７】
請求項5に記載の情報処理方法であって、
前記カメラ較正パラメータを用いて、前記特定３次元モデルの姿態及び縮拡比率のうちの少なくとも１つを構成し、前記特定３次元モデルが前記２次元画像中の顔面に対応するようにさせることをさらに含む、方法。
【請求項８】
請求項7に記載の情報処理方法であって、
修正されたカメラ較正パラメータを用いて前記特定３次元モデルを構成し、もう１つの姿態又は縮拡比率を有する特定３次元モデルを得ることをさらに含む、方法。
【請求項９】
情報処理方法であって、
中性表情を有する複数の第一顔面モデルに基づいて、平均顔面モデル及び形状特徴を計算し；
前記複数の第一顔面モデル、及び非中性表情を有する複数の第二顔面モデルに基づいて、表情特徴を計算し；及び
前記平均顔面モデル、前記形状特徴及び前記表情特徴を用いて、顔面形状変化モデルを形成することを含む、方法。
【請求項１０】
情報処理装置であって、
処理回路を含み、
前記処理回路は、請求項1〜9のうちの任意の１項に記載の方法を実行するように構成される、装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理技術に関し、具体的には、人物顔画像を処理する方法及び装置に関する。
【背景技術】
【０００２】
今のところ、人物顔画像処理技術、例えば、人物顔認識、人物顔画像エンハンスメント（enhancement）などが幅広く応用されている。画像中の人物顔が人物の容貌に関係するだけでなく、他の要因、例えば、人物の表情や姿態にも関係するので、人物顔画像から顔面表情又は顔面姿態を抽出することは、人物顔画像エンハンスメントにとって非常に有用である。
【０００３】
よって、人物の表情又は姿態を用いた人物顔画像処理技術が望ましい。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の目的は、人物顔画像を処理するための方法及び装置を提供することにある。
【課題を解決するための手段】
【０００５】
本発明の一側面によれば、情報処理方法が提供され、それは、人物の顔面を含む２次元画像中の第一組特徴点及び平均顔面３次元モデル中の第二組特徴点間の対応関係に基づいて、形状パラメータ及び表情パラメータのうちの少なくとも１つを計算し；及び、前記形状パラメータ及び前記表情パラメータのうちの少なくとも１つを用いて顔面形状変化モデルを構成し、前記２次元画像中の顔面に対応する特定３次元モデルを得ることを含む。
【０００６】
本発明の他の側面によれば、情報処理方法が提供され、それは、中性表情を有する複数の第一顔面モデルに基づいて、平均顔面モデル及び形状特徴を計算し；前記複数の第一顔面モデルと、非中性表情を有する複数の第二顔面モデルとの差に基づいて、表情特徴を計算し；及び、前記平均顔面モデル、前記形状特徴及び前記表情特徴を用いて、顔面形状変化モデルを構成することを含む。
【０００７】
本発明の他の側面によれば、情報処理装置が提供され、それは、処理回路を含み、前記処理回路は、上述の情報処理方法を実行するように構成される。
【図面の簡単な説明】
【０００８】
【図１】顔面形状変化モデルを得るための処理を示す図である。
【図２】顔面形状変化モデルを得るための処理のフローチャートである。
【図３】人物顔２次元画像に基づいて人物顔３次元モデルを形成するための処理のフローチャートである。
【図４】人物顔３次元モデルを用いて人物顔２次元画像に対してエンハンスメントを行う一例のフローチャートである。
【図５】人物顔３次元モデルを用いて人物顔２次元画像に対してエンハンスメントを行う他の例のフローチャートである。
【図６】コンピュータハードウェアの構成図である。
【発明を実施するための形態】
【０００９】
以下、添付した図面を参照しながら、本発明を実施するための好適な形態を詳細に説明する。なお、このような実施形態は、例示に過ぎず、本発明を限定するものでない。
【００１０】
図1は、顔面形状変化モデルを得るための処理を示す図である。データベースに、中性表情を有する複数の人物顔３次元モデルSid及び非中性表情を有する複数の人物顔３次元モデルSexpを含む複数の人物顔３次元（3D）モデルが予め記憶されているとする。非中性表情は、中性表情以外の全ての表情を含む。また、任意の１つの非中性表情の人物顔３次元モデルSexpは、それに対応する中性表情３次元モデルSidを有する。ここで言う“対応する”とは、両者が同一人物の顔の３次元モデルであるが、表情が異なることを指す。
【００１１】
顔面形状変化モデルを得る処理では、まず、データベースに記憶の複数の中性表情の人物顔３次元モデルSidに基づいて、平均人物顔モデルSaを計算し、その後、算出された平均人物顔モデルSa及び該複数の中性表情の人物顔３次元モデルSidを用いて、中性表情特徴空間の特徴ベクトルAidを取得する。中性表情特徴空間の特徴ベクトルAidは、中性表情を有する人物顔３次元モデルに対応する。
【００１２】
また、データベースに記憶の複数の中性表情３次元モデルSid及び複数の非中性表情３次元モデルSexpに基づいて、非中性表情特徴空間の特徴ベクトルAexpを取得する。非中性表情特徴空間の特徴ベクトルAexpは、非中性表情を有する人物顔３次元モデルに対応する。
【００１３】
その後、得られた特徴ベクトルAid及びAexpを用いて、顔面形状変化モデルを形成することができる。顔面形状変化モデルは、基礎モデルであり、該モデルを調整することで、異なる人物顔３次元モデルを得ることができる。以下、図2に基づいて、顔面形状変化モデルを得るための処理を詳しく説明する。
【００１４】
図2に示すように、まず、ステップS201において、以下の公式（1）により、データベースに記憶の複数の中性表情３次元モデルSid（サンプル集とも言う）に基づいて、平均人物顔モデルSaを計算する。
【数１】
2018200690.tif 000003
【００１５】
ここで、Sid,iは、第i個目の中性表情３次元モデルSid、即ち、第i個目のサンプルを表し、且つi=1,2,…,mであり、αiは、第i個目の中性表情３次元モデルのための加重係数（weighting  coefficient）を表し、例えば、αiは、1/mであっても良い。
【００１６】
ステップS202において、PCA（Principal  Component  Analysis）により、算出された平均人物顔モデルSa及び複数の中性表情３次元モデルSidに基づいて、中性表情特徴空間の特徴ベクトルAidを計算する。PCAの原理は、１つの特徴ベクトル行列を用いて、１つの高次元ベクトルを１つの低次元のベクトル空間に投影し、１つの低次元のベクトルとして表し、且つ僅かな副次的な情報を失うということである。言い換えると、低次元ベクトル及び特徴ベクトル行列を用いることで、オリジナルな高次元ベクトルを再構成することができる。なお、PCAは、当業者に既知であるため、その詳しい説明は、省略される。人物顔画像処理では、特徴ベクトル行列は特徴空間とも称される。
【００１７】
上述のように、公式（1）により平均人物顔モデルSaを得ているため、次に、以下の公式（2）により、サンプル集の共分散行列（covariance matrix）を計算する。
【数２】
2018200690.tif 000004
【００１８】
その後、共分散行列の特徴ベクトル及び対応する特徴値を計算する。これらの特徴ベクトルからなる特徴ベクトル行列は、人物顔空間の直交基底（orthonormal  basis）であり、それらの線形組み合わせを用いて、サンプル集の中の任意の中性表情３次元モデルを再構成することができる。
【００１９】
その後、算出された特徴値を降順で並べ替え、前の所定数の特徴値に対応する特徴ベクトルにより主成分を形成し、そして、主成分により次元削減（dimensionality  reduction）の特徴サブ空間を形成し、これにより、任意の人物顔画像（高次元ベクトル）は、該特徴サブ空間に投影して低次元ベクトルを得ることができる。このような方式で得られた主成分は、中性表情特徴空間の特徴ベクトルAidである。
【００２０】
同様に、ステップS203において、PCAにより）、非中性表情３次元モデルSexp及びそれに対応する中性表情３次元モデルSidに基づいて、非中性表情特徴空間の特徴ベクトルAexpを計算することができる。
【００２１】
その後、ステップS204において、算出された特徴ベクトルAid及びAexpを用いて、顔面形状変化モデルSbを形成することができる。具体的には、以下の公式（3）に示す通りである。
【数３】
2018200690.tif 000005
【００２２】
顔面形状変化モデルSbは、基礎モデルであり、それに特定人物顔のユニークな特徴を適用することで、例えば、特定の人物顔の特徴を用いて公式（3）中の特徴ベクトルAid及びAexpに対して加重を行うことで、該特定人物顔に対応する人物顔３次元モデルを生成することができる。
【００２３】
以下、図3を用いて、人物顔２次元画像に基づいて人物顔３次元モデルを形成する処理を説明する。図3に示すように、まず、ステップS301において、人物顔上の一組の検出位置に基づいて、それぞれ、人物顔２次元画像及び上述のように得られた平均人物顔モデルSaの中で、各自の一組の特徴点を検出する。なお、人物顔の特徴点検出は、当業者に既知の任意の技術を採用しても良く、本発明は、これについて限定しない。
【００２４】
ステップS302において、それぞれ検出された２組の特徴点を用いてフィッティング（あてはめ）を行う。例えば、２組の特徴点間の対応関係に基づいて、第一組特徴点のうちの各特徴点と、第二組特徴点のうちの対応する特徴点との間の距離が最小であるようにさせる方式で、形状加重パラメータαid、表情加重パラメータαexp、及びカメラ較正（calibration）パラメータを、以下の公式（4）のように計算することができる。本文では、対応する特徴点とは、人物顔上の同一検出位置（例えば、左眼、鼻など）について、人物顔２次元画像及び平均人物顔モデルSa中でそれぞれ検出された２つの特徴点を指す。
【数４】
2018200690.tif 000006
【００２５】
公式（4）では、tは、変換ベクトルであり、f及びRは、カメラ較正パラメータを示し、P2Dは、人物顔２次元画像上で検出された特徴点であり、P2Dtは、次のような２次元画像上でのP2Dに対応する特徴点であり、即ち、平均人物顔モデルSaにカメラ較正パラメータを適用した後にそれを２次元空間にマッピングすることで得られた２次元画像である。
【００２６】
カメラ較正パラメータは、縮拡（縮小・拡大）係数f及び回転行列R(α,β,γ)を含み、ここで言う縮拡係数fは、人物顔３次元モデルのサイズを調整するために用いられ、α,β,γは、それぞれ、人物顔３次元モデルのピッチ角、ヨー角及びロール角を表す。よって、カメラ較正パラメータは、人物顔３次元モデルの縮拡比率及び姿態を限定することで、再構成された人物顔３次元モデルと２次元画像中の人物顔がサイズ及び姿態の面でマッチングするようにさせることができる。
【００２７】
公式（4）により計算された形状加重パラメータαid及び表情加重パラメータαexpは、２次元画像中の人物顔の、平均人物顔に対してのユニークな特徴を表し、相貌の面でのユニークな特徴（αid）及び表情の面でのユニークな特徴（αexp）を含む。
【００２８】
その後、ステップS303において、算出された形状加重パラメータαid及び表情加重パラメータαexpを用いて、図2中の処理により得られた顔面形状変化モデルSbを構成する。具体的に言えば、それぞれ、形状加重パラメータαid及び表情加重パラメータαexpを用いて、中性表情特徴空間の特徴ベクトルAid及び非中性表情特徴空間の特徴ベクトルAexpに対して加重を行い、これにより、２次元画像中の人物顔に対応する３次元モデルSを、以下の公式（5）に示すように得ることができる。
【数５】
2018200690.tif 000007
【００２９】
得られた３次元モデルSは、２次元画像中の人物顔と同じ相貌及び表情を有する。このときに、形成された３次元モデルSに対してステップS302で得られたカメラ較正パラメータをさらに適用することで、該３次元モデルが相貌及び表情の面において２次元画像中の人物顔にマッチングし、且つ、サイズ及び姿態の面においても２次元画像中の人物顔にマッチングするようにさせることができる。
【００３０】
なお、先にカメラ較正パラメータを用いて顔面形状変化モデルSbの縮拡比率及び姿態を調整し、その後に形状加重パラメータαid及び表情加重パラメータαexpを用いて、カメラ較正を受けた顔面形状変化モデルSbを構成しても良い。このような処理による結果は、上述のステップS303による結果と同じである。
【００３１】
これにより、人物顔を含む２次元画像に基づいて、該人物顔に対応する人物顔３次元モデルを再形成することができる。
【００３２】
図4は、人物顔３次元モデルを用いて人物顔２次元画像に対してエンハンスメント（拡張）を行う一例を示す。図4に示すように、ステップS401において、一組の検出位置に基づいて、それぞれ、特定人物顔を含む２次元画像及び平均人物顔モデルSaのうちから特徴点を検出する。ステップS402において、それぞれ検出された２組の特徴点を用いて特徴点フィッティングを行い、これにより、形状加重パラメータαid、表情加重パラメータαexp、及びカメラ較正パラメータを計算する。その後、ステップS403において、得られた形状加重パラメータαid及び表情加重パラメータαexpを用いて、それぞれ、中性表情特徴空間の特徴ベクトルAid及び非中性表情特徴空間の特徴ベクトルAexpに対して加重を行い、且つカメラ較正パラメータを用いて縮拡比率及び姿態を調整し、これにより、２次元画像中の人物顔に対応する３次元モデルSを取得する。ステップS401〜S403は、図3中のステップS301〜S303と同じであるから、ここでは、その詳しい説明を省略する。
【００３３】
その後、ステップS404において、表情加重パラメータαexpを修正し、そして、修正後の表情加重パラメータを用いて顔面形状変化モデルSbを構成し、これにより、修正後の人物顔３次元モデルを取得する。該修正後の人物顔３次元モデルは、オリジナルな表情と異なる表情を有するが、人物顔の相貌が変わらない。α′expで修正後の表情加重パラメータを示すとすると、修正後の人物顔３次元モデルS′は、以下の公式（6）により表すことができる。
【数６】
2018200690.tif 000008
【００３４】
特に、他の人物の２次元画像のうちから抽出された表情特徴に基づいて、表情加重パラメータαexpを修正し、これにより、修正後の人物顔３次元モデルS′に該他の人物の表情を持たせることができる。言い換えると、他の人物の表情を用いて該人物顔３次元モデルを駆動することができる（他の人物の表情を該人物顔３次元モデルに適用することができる）。
【００３５】
その後、ステップS405において、修正後の３次元モデルS′を２次元画像にマッピングし、これにより、新しい人物顔２次元画像を取得し、新しい２次元画像に含まれる人物顔は、オリジナルな２次元画像中の人物表情と異なる表情を有する。修正後の３次元モデルS′を用いて新しい人物顔２次元画像I2Dを得る処理は、以下の公式（7）で表すことができる。
【数７】
2018200690.tif 000009
【００３６】
ここで、Pは、投影行列であり、tは、変換ベクトルである。なお、人物顔３次元モデルを２次元画像にマッピングする処理は、当業者に既知の任意の方法を採用しても良く、本発明は、これについて限定しない。
【００３７】
上述のように、本例では、オリジナルな人物顔２次元画像に基づいて、３次元モデルを形成することで、より多くの異なる表情を有する人物顔画像を生成し、これにより、オリジナルな人物顔画像に対して拡張を行うことができる。
【００３８】
以下、図5をもとに、人物顔３次元モデルを用いて人物顔２次元画像に対してエンハンスメント（拡張）を行う他の例を示す。図5に示すように、ステップS501において、一組の検出位置に基づいて、それぞれ、特定人物顔を含む２次元画像及び上述のように得られた平均人物顔モデルSaの中で特徴点を検出する。その後、ステップS502において、それぞれ検出された２組の特徴点を基づいて、フィッティングにより、形状加重パラメータαid、表情加重パラメータαexp、及びカメラ較正パラメータを取得する。その後、ステップS503において、得られた形状加重パラメータαid及び表情加重パラメータαexpを用いて、２次元画像中の人物顔に対応する３次元モデルを、上述の公式（5）に示すように形成する。なお、ステップS503で形成された人物顔３次元モデルは、カメラ較正を受けた３次元モデルであっても良い。ステップS501〜S503は、図3中のステップS301〜S303と同じであるため、ここでは、その詳しい説明を省略する。
【００３９】
ステップS504において、表情加重パラメータαexpを修正し、これにより、新しい表情を有する修正後の人物顔３次元モデルS′を、上述の公式（6）に示すように取得する。
【００４０】
続いて、ステップS505において、さらにカメラ較正パラメータに対して修正を行っても良く、例えば、縮拡係数及び回転行列のうちの１つ、又は２つすべてを修正しても良い。回転行列については、例えば、ピッチ角、ヨー角及びロール角（α,β,γ）のうちの１つ又は複数を修正しても良い。以下、f′で修正後の縮拡係数を示し、R′（α,β,γ）で修正後の回転行列を示すとする。
【００４１】
ステップS506において、修正後のカメラ較正パラメータを用いて修正後の人物顔３次元モデルS′を構成し、そして、３次元モデルを２次元画像にマッピングする。得られた２次元画像I2Dは、以下の公式（8）に示す通りである。
【数８】
2018200690.tif 000010
【００４２】
ここで、Pは、投影行列であり、tは、変換ベクトルである。公式（8）に基づいて生成された人物顔２次元画像I2Dは、オリジナルな２次元画像中の人物顔と異なる表情、サイズ及び姿態を有しても良い。
【００４３】
なお、図5のステップS504及びS505においてこの順で表情加重パラメータ及びカメラ較正パラメータを修正したが、この２つのステップの実行順序は、図示と異なっても良い。例えば、先にカメラ較正パラメータを修正し、それから表情加重パラメータを修正しても良い。また、本例では、ステップS504は、オプションであり、即ち、表情加重パラメータを修正する処理ステップを省略しても良い。このような場合、生成された新しい人物顔２次元画像は、オリジナルな２次元画像中の人物と異なるサイズ又は姿態のみを有する。
【００４４】
上述のように、本例では、人物顔３次元モデルを形成することで、異なるサイズ又は姿態又は表情を有する２次元画像を生成し、これにより、オリジナルな人物顔２次元画像に対しての拡張を実現することができる。
【００４５】
本発明は、人物顔２次元画像に基づいて人物顔３次元モデルを形成する方法、及び、形成された３次元モデルを用いて新しい表情及び／又は姿態を有する人物顔２次元画像を生成することでオリジナルな２次元画像に対してエンハンスメント（又は、拡張）を行う方法を提供する。初期設定完成後に、このような方法は、完全に自動で実行することができ、即ち、手動操作が不要である。よって、本発明は、自動で大量の人物顔画像を生成する必要がある応用シナリオに適用することができる。例えば、本発明は、畳み込みニューラルネットワーク（CNN）の訓練（トレーニング）のために、異なる表情及び姿態を有する大量の訓練画像を自動で生成することができ。このような訓練により得られたCNNは、人物顔表情及び姿態の変化に非常に強い（より高いロバスト性を有する）。
【００４６】
上述の実施例に説明した各種の処理は、ソフトウェア、ハードウェア、又はソフトウェアとハードウェアとの組み合わせにより実現することができる。ソフトウェアに関連するプログラムは、予め装置の内部又は外部に設置された記憶媒体に記憶することができる。一例として、実行するときに、これらのプログラムは、RAMに記憶されて処理器（例えば、CPU）により実行されることにより、上述の実施例に説明した方法及び処理を実現することができる。本発明は、このようなプログラムコード、プログラムプロダクト、及び該プログラムコードを記憶したコンピュータ可読記憶媒体も含む。
【００４７】
図6は、プログラムに基づいて本発明の方法を実行し得るコンピュータハードウェアの構成例を示す。
【００４８】
コンピュータ600では、CPU  601、ROM  602、及びRAM  603がバス604により接続される。
【００４９】
I／Oインターフェース605がさらにバス604に接続される。I／Oインターフェース605には、次のようなものが接続され、即ち、キーボード、マウス、マイクなどにより形成された入力ユニット606、表示器、スピーカーなどにより形成された出力ユニット607、ハードディスク、不揮発性記憶器などにより形成された記憶ユニット608、ネットワークインターフェースカード（例えば、LANカード、モデムなど）により形成された通信ユニット609、取り外し可能な媒体611を駆動するドライブ610であり、また、該取り外し可能な媒体611は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体記憶器である。
【００５０】
上述のような構成を有するコンピュータでは、CPU  601は、記憶ユニット608に記憶のプログラムをI／Oインターフェース605及びバス604を経由してRAM  603にロードし、且つ該プログラムを実行することにより、上述の処理を行うことができる。
【００５１】
コンピュータ（CPU  601）により実行されるプログラムは、パッケージメディアとしての取り外し可能な媒体611に記憶することができ、該パッケージメディアは、例えば、磁気ディスク（フロッピーディスクを含む）、光ディスク（CD-ROM、DVDなどを含む）、光磁気ディスク、又は半導体記憶器により形成することができる。また、コンピュータ（CPU  601）により実行されるプログラムは、例えば、LAN、インターネット、又は、他の有線又は無線ネットワークから提供されても良い。
【００５２】
取り外し可能な媒体611がドライブ610にセットされているときに、I／Oインターフェース605を経由して記憶ユニット608にプログラムをインストールすることができる。また、有線又は無線ネットワークを経由して通信ユニット609によりプログラムを受信し、そして、該プログラムを記憶ユニット608にインストールすることができる。或いは、プログラムを予めROM  602又は記憶ユニット608に記憶することができる。
【００５３】
また、コンピュータにより実行されるプログラムは、本明細書に説明の順序で処理を実行するプログラムであっても良く、又は、処理を並列に実行するプログラムであっても良い、又は、必要に応じて（例えば、コールされるときに）処理を実行するプログラムであっても良い。
【００５４】
また、上述の各実施例に関し、さらに次のような付記を開示する。
【００５５】
（付記1）
情報処理方法であって、
人物の顔面を含む２次元画像中の第一組特徴点及び平均顔面３次元モデル中の第二組特徴点間の対応関係に基づいて、形状パラメータ及び表情パラメータのうちの少なくとも１つを計算し；及び
前記形状パラメータ及び前記表情パラメータのうちの少なくとも１つを用いて顔面形状変化モデルを構成し、前記２次元画像中の顔面に対応する特定３次元モデルを得ることを含む、方法。
【００５６】
（付記2）
付記1に記載の情報処理方法であって、
修正された表情パラメータを用いて前記顔面形状変化モデルを構成し、もう１つの表情を有する特定３次元モデルを得ることをさらに含む、方法。
【００５７】
（付記3）
付記1に記載の情報処理方法であって、
前記第一組特徴点及び前記第二組特徴点間の対応関係に基づいて、前記第一組特徴点のうちの各特徴点と前記第二組特徴点のうちの対応する特徴点との間の距離が最小であるように前記形状パラメータ及び前記表情パラメータのうちの少なくとも１つを計算することをさらに含む、方法。
【００５８】
（付記4）
付記1に記載の情報処理方法であって、
前記顔面形状変化モデルは、形状特徴及び表情特徴を含み、
前記形状パラメータ及び前記表情パラメータのうちの少なくとも１つを用いて顔面形状変化モデルを構成することは、
前記形状パラメータを用いて前記顔面形状変化モデルの形状特徴に対して加重を行い；及び／又は
前記表情パラメータを用いて前記顔面形状変化モデルの表情特徴に対して加重を行うことを含む、方法。
【００５９】
（付記5）
付記1に記載の情報処理方法であって、
前記第一組特徴点及び前記第二組特徴点間の対応関係に基づいて、カメラ較正パラメータを計算することをさらに含む、方法。
【００６０】
（付記6）
付記5に記載の情報処理方法であて、
前記第一組特徴点及び前記第二組特徴点間の対応関係に基づいて、前記第一組特徴点のうちの各特徴点と前記第二組特徴点のうちの対応する特徴点との間の距離が最小であるように前記カメラ較正パラメータを計算することをさらに含む、方法。
【００６１】
（付記7）
付記5に記載の情報処理方法であって、
前記カメラ較正パラメータを用いて、前記特定３次元モデルの姿態及び縮拡比率のうちの少なくとも１つを構成し、前記特定３次元モデルが前記２次元画像中の顔面に対応するようにさせることをさらに含む、方法。
【００６２】
（付記8）
付記7に記載の情報処理方法であって、
修正されたカメラ較正パラメータを用いて前記特定３次元モデルを構成し、もう１つの姿態又は縮拡比率を有する特定３次元モデルを得ることをさらに含む、方法。
【００６３】
（付記9）
情報処理方法であって、
中性表情を有する複数の第一顔面モデルに基づいて、平均顔面モデル及び形状特徴を計算し；
前記複数の第一顔面モデル、及び非中性表情を有する複数の第二顔面モデルに基づいて、表情特徴を計算し；及び
前記平均顔面モデル、前記形状特徴及び前記表情特徴を用いて、顔面形状変化モデルを形成することを含む、方法。
【００６４】
（付記10）
情報処理装置であって、
処理回路を含み、
前記処理回路は、付記1〜9のうちの任意の１項に記載の方法を実行するように構成される、装置。
【００６５】
（付記11）
プログラムを記憶したコンピュータ可読記憶媒体であって、
前記プログラムは、実行されるときに、コンピュータに、付記1〜9のうちの任意の１項に記載の方法を実行させる、記憶媒体。
【００６６】
以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の技術的範囲に属する。
【図１】
2018200690.tif 000011
【図２】
2018200690.tif 000012
【図３】
2018200690.tif 000013
【図４】
2018200690.tif 000014
【図５】
2018200690.tif 000015
【図６】
2018200690.tif 000016