(57)【要約】本開示の実施例は顔画像の処理方法および装置、電子機器ならびに記憶媒体を開示する。前記方法は、顔画像における顔キーポイントおよび顔回転角度を取得することと、前記顔キーポイントおよび前記顔回転角度に基づき、前記顔画像におけるサブマラートライアングルの中心を特定することと、前記顔キーポイントおよび前記サブマラートライアングルの中心に基づき、前記顔画像におけるサブマラートライアングル領域を特定することと、前記サブマラートライアングル領域に色を充填することと、を含む。本開示はサブマラートライアングル領域の位置を正確に特定でき、正確に位置特定したサブマラートライアングル領域に基づいてサブマラートライアングルに対して充填処理を行い、より自然な充填効果を得ることができる。
2021501924.tif 000002
【特許請求の範囲】
【請求項１】
顔画像における顔キーポイントおよび顔回転角度を取得することと、
前記顔キーポイントおよび前記顔回転角度に基づき、前記顔画像におけるサブマラートライアングルの中心を特定することと、
前記顔キーポイントおよび前記サブマラートライアングルの中心に基づき、前記顔画像におけるサブマラートライアングル領域を特定することと、
前記サブマラートライアングル領域に色を充填することと、を含む、顔画像の処理方法。
【請求項２】
前記顔キーポイントおよび前記顔回転角度に基づき、前記顔画像におけるサブマラートライアングルの中心を特定する前記ステップは、
前記顔キーポイントに対して補間処理を行い、前記顔画像におけるサブマラートライアングルの中心の推定位置を特定することと、
前記顔回転角度に基づき、前記サブマラートライアングルの中心の推定位置を調整し、前記顔画像におけるサブマラートライアングルの中心を得ることと、を含む、請求項１に記載の方法。
【請求項３】
前記顔キーポイントおよび前記サブマラートライアングルの中心に基づき、前記顔画像におけるサブマラートライアングル領域を特定する前記ステップは、
前記顔キーポイントを繋ぎ、前記顔キーポイントに対応する多角形を得ることと、
前記多角形内の前記サブマラートライアングルの中心を円心とした最大の円を前記顔画像におけるサブマラートライアングルの外輪郭円として特定することと、
前記サブマラートライアングルの外輪郭円に基づき、前記顔画像におけるサブマラートライアングル領域を特定することと、を含む、請求項１または２に記載の方法。
【請求項４】
前記サブマラートライアングルの外輪郭円に基づき、前記顔画像におけるサブマラートライアングル領域を特定する前記ステップは、
前記顔画像における顔輪郭線を用いて前記サブマラートライアングルの外輪郭円を調整し、前記顔画像におけるサブマラートライアングル領域を得ることを含む、請求項３に記載の方法。
【請求項５】
前記顔画像における顔輪郭線を用いて前記サブマラートライアングルの外輪郭円を調整し、前記顔画像におけるサブマラートライアングル領域を得る前記ステップは、
前記顔画像における顔輪郭線に対してサンプリングし、前記顔輪郭線におけるサンプリングポイントを得ることと、
前記サブマラートライアングルの外輪郭円に対してサンプリングし、前記サブマラートライアングルの外輪郭円におけるサンプリングポイントを得ることと、
前記顔輪郭線におけるサンプリングポイントと前記サブマラートライアングルの外輪郭円におけるサンプリングポイントとに対してカーブフィッティングを行い、前記顔画像におけるサブマラートライアングル領域を得ることと、を含む、請求項４に記載の方法。
【請求項６】
前記サブマラートライアングル領域に色を充填する前記ステップは、
前記サブマラートライアングル領域における各画素に対応する第一目標画素をそれぞれ特定することであって、前記画素に対応する第一目標画素が、前記サブマラートライアングルの中心と前記画素との連結線に位置する、ことと、
前記各画素の値を対応する第一目標画素の値にそれぞれ更新することと、を含む、請求項１から５のいずれか一項に記載の方法。
【請求項７】
前記サブマラートライアングル領域における各画素に対応する第一目標画素をそれぞれ特定する前記ステップは、
サブマラートライアングルの充填程度係数に基づき、前記サブマラートライアングル領域における各画素に対応する第一目標画素をそれぞれ特定することを含む、請求項６に記載の方法。
【請求項８】
前記サブマラートライアングル領域における各画素に対応する第一目標画素をそれぞれ特定する前記ステップは、
二次導関数が常に０より大きい下に凸関数を採用して、前記サブマラートライアングル領域における各画素に対応する第一目標画素をそれぞれ特定することを含む、請求項６または７に記載の方法。
【請求項９】
前記サブマラートライアングル領域に色を充填する前記ステップは、
前記顔画像における第一基準ポイントを特定することと、
前記サブマラートライアングルの中心が前記第一基準ポイントに指しているベクトルを第一基準ベクトルとして特定することと、
前記第一基準ベクトルに基づき、前記サブマラートライアングル領域における各画素に対応する第二目標画素をそれぞれ特定することであって、前記画素に対応する第二目標画素が前記画素に指しているベクトルが、前記第一基準ベクトルの方向と同じである、ことと、
前記各画素の値を対応する第二目標画素の値にそれぞれ更新することと、を含む、請求項１から８のいずれか一項に記載の方法。
【請求項１０】
前記第一基準ポイントと鼻先キーポイントとの距離は前記サブマラートライアングルの中心と鼻先キーポイントとの距離よりも大きい、請求項９に記載の方法。
【請求項１１】
前記第一基準ベクトルに基づき、前記サブマラートライアングル領域における各画素に対応する第二目標画素をそれぞれ特定する前記ステップは、
前記サブマラートライアングルの中心と前記サブマラートライアングル領域における第一画素との間の第一距離を特定することと、
サブマラートライアングルの外輪郭円の半径、前記第一距離および前記第一基準ベクトルのノルムに基づき、第一係数を特定することと、
前記第一画素、前記第一係数および前記第一基準ベクトルに基づき、前記第一画素に対応する第二目標画素を特定することと、を含む、請求項９または１０に記載の方法。
【請求項１２】
サブマラートライアングルの外輪郭円の半径、前記第一距離および前記基準ベクトルのノルムに基づき、第一係数を特定する前記ステップは、
前記サブマラートライアングルの外輪郭円の半径の二乗と前記第一距離の二乗との第一の差を計算することと、
前記第一の差を前記第一基準ベクトルのノルムの二乗と加算し、第一の和を得ることと、
前記第一の差と前記第一の和との比を計算し、前記第一係数を得ることと、を含む、請求項１１に記載の方法。
【請求項１３】
前記第一画素、前記第一係数および前記第一基準ベクトルに基づき、前記第一画素に対応する第二目標画素を特定する前記ステップは、
第一基準画素が前記第一画素に指しているベクトルを、第一画素ベクトルとして特定することと、
前記第一係数と前記第一基準ベクトルとの第一の積を計算することと、
前記第一画素ベクトルと第一の積との差を計算し、前記第一画素に対応する第二目標画素ベクトルを得ることと、
前記第一基準画素の位置、および前記第一画素に対応する第二目標画素ベクトルに基づき、前記第一画素に対応する第二目標画素を特定することと、を含む、請求項１１または１２に記載の方法。
【請求項１４】
前記サブマラートライアングル領域に色を充填する前記ステップは、
前記顔画像における第二基準ポイントを特定することと、
前記サブマラートライアングルの中心が前記第二基準ポイントに指しているベクトルを、第二基準ベクトルとして特定することと、
前記第二基準ベクトルに基づき、前記サブマラートライアングル領域における各画素に対応する第三目標画素をそれぞれ特定することであって、前記画素に対応する第三目標画素が前記画素に指しているベクトルが、前記第二基準ベクトルの方向と同じである、ことと、
前記各画素の値を対応する第三目標画素の値にそれぞれ更新することと、を含む、請求項１から１３のいずれか一項に記載の方法。
【請求項１５】
前記第二基準ポイントは前記サブマラートライアングルの中心と下瞼キーポイントとの連結線に位置する、請求項１４に記載の方法。
【請求項１６】
前記第二基準ベクトルに基づき、前記サブマラートライアングル領域における各画素に対応する第三目標画素をそれぞれ特定する前記ステップは、
前記サブマラートライアングルの中心と前記サブマラートライアングル領域における第二画素との間の第二距離を特定することと、
サブマラートライアングルの外輪郭円の半径、前記第二距離および前記第二基準ベクトルのノルムに基づき、第二係数を特定することと、
前記第二画素、前記第二係数および前記第二基準ベクトルに基づき、前記第二画素に対応する第三目標画素を特定することと、を含む、請求項１４または１５に記載の方法。
【請求項１７】
サブマラートライアングルの外輪郭円の半径、前記第二距離および前記第二基準ベクトルのノルムに基づき、第二係数を特定する前記ステップは、
前記サブマラートライアングルの外輪郭円の半径の二乗と前記第二距離の二乗との第二の差を計算することと、
前記第二の差を前記第二基準ベクトルのノルムの二乗と加算し、第二の和を得ることと、
前記第二の差と前記第二の和との比を計算し、前記第二係数を得ることと、を含む、請求項１６に記載の方法。
【請求項１８】
前記第二画素、前記第二係数および前記第二基準ベクトルに基づき、前記第二画素に対応する第三目標画素を特定する前記ステップは、
第二基準画素が前記第二画素に指しているベクトルを、第二画素ベクトルとして特定することと、
前記第二係数と前記第二基準ベクトルとの第二の積を計算することと、
前記第二画素ベクトルと第二の積との差を計算し、前記第二画素に対応する第三目標画素ベクトルを得ることと、
前記第二基準画素の位置、および前記第二画素に対応する第三目標画素ベクトルに基づき、前記第二画素に対応する第三目標画素を特定することと、を含む、請求項１６または１７に記載の方法。
【請求項１９】
前記サブマラートライアングル領域に色を充填する前記ステップは、
前記サブマラートライアングル領域における各画素に対応する第一目標画素をそれぞれ特定することであって、前記画素に対応する第一目標画素が、前記サブマラートライアングルの中心と前記画素との連結線に位置する、ことと、
前記各画素の値を対応する第一目標画素の値にそれぞれ更新することと、
前記顔画像における第一基準ポイントを特定することであって、前記第一基準ポイントと鼻先キーポイントとの距離が前記サブマラートライアングルの中心と鼻先キーポイントとの距離よりも大きい、ことと、
前記サブマラートライアングルの中心が前記第一基準ポイントに指しているベクトルを第一基準ベクトルとして特定することと、
前記第一基準ベクトルに基づき、前記サブマラートライアングル領域における各画素に対応する第二目標画素をそれぞれ特定することであって、前記画素に対応する第二目標画素が前記画素に指しているベクトルが、前記第一基準ベクトルの方向と同じである、ことと、
前記各画素の値を対応する第二目標画素の値にそれぞれ更新することと、
前記サブマラートライアングルの中心と下瞼キーポイントとの連結線に位置する前記顔画像における第二基準ポイントを特定することと、
前記サブマラートライアングルの中心が前記第二基準ポイントに指しているベクトルを、第二基準ベクトルとして特定することと、
前記第二基準ベクトルに基づき、前記サブマラートライアングル領域における各画素に対応する第三目標画素をそれぞれ特定することであって、前記画素に対応する第三目標画素が前記画素に指しているベクトルが、前記第二基準ベクトルの方向と同じである、ことと
前記各画素の値を対応する第三目標画素の値にそれぞれ更新することと、を含む、請求項１から５のいずれか一項に記載の方法。
【請求項２０】
顔画像における顔キーポイントおよび顔回転角度を取得するように構成される取得モジュールと、
前記顔キーポイントおよび前記顔回転角度に基づき、前記顔画像におけるサブマラートライアングルの中心を特定するように構成される第一特定モジュールと、
前記顔キーポイントおよび前記サブマラートライアングルの中心に基づき、前記顔画像におけるサブマラートライアングル領域を特定するように構成される第二特定モジュールと、
前記サブマラートライアングル領域に色を充填するように構成される充填モジュールと、を含む、顔画像の処理装置。
【請求項２１】
前記第一特定モジュールは、
前記顔キーポイントに対して補間処理を行い、前記顔画像におけるサブマラートライアングルの中心の推定位置を特定するように構成される第一特定サブモジュールと、
前記顔回転角度に基づき、前記サブマラートライアングルの中心の推定位置を調整し、前記顔画像におけるサブマラートライアングルの中心を得るように構成される調整サブモジュールと、を含む、請求項２０に記載の装置。
【請求項２２】
前記第二特定モジュールは、
前記顔キーポイントを繋ぎ、前記顔キーポイントに対応する多角形を得るように構成される連結サブモジュールと、
前記多角形内の前記サブマラートライアングルの中心を円心とした最大の円を前記顔画像におけるサブマラートライアングルの外輪郭円として特定するように構成される第二特定サブモジュールと、
前記サブマラートライアングルの外輪郭円に基づき、前記顔画像におけるサブマラートライアングル領域を特定するように構成される第三特定サブモジュールと、を含む、請求項２０または２１に記載の装置。
【請求項２３】
前記第三特定サブモジュールは、
前記顔画像における顔輪郭線を用いて前記サブマラートライアングルの外輪郭円を調整し、前記顔画像におけるサブマラートライアングル領域を得るように構成される、請求項２２に記載の装置。
【請求項２４】
前記第三特定サブモジュールは、
前記顔画像における顔輪郭線に対してサンプリングし、前記顔輪郭線におけるサンプリングポイントを得るように構成される第一サンプリングユニットと、
前記サブマラートライアングルの外輪郭円に対してサンプリングし、前記サブマラートライアングルの外輪郭円におけるサンプリングポイントを得るように構成される第二サンプリングユニットと、
前記顔輪郭線におけるサンプリングポイントと前記サブマラートライアングルの外輪郭円におけるサンプリングポイントとに対してカーブフィッティングを行い、前記顔画像におけるサブマラートライアングル領域を得るように構成されるカーブフィッティングユニットと、を含む、請求項２３に記載の装置。
【請求項２５】
前記充填モジュールは、
前記サブマラートライアングル領域における各画素に対応する第一目標画素をそれぞれ特定するように構成される第四特定サブモジュールであって、前記画素に対応する第一目標画素が、前記サブマラートライアングルの中心と前記画素との連結線に位置する、第四特定サブモジュールと、
前記各画素の値を対応する第一目標画素の値にそれぞれ更新するように構成される第一更新サブモジュールと、を含む、請求項２０から２４のいずれか一項に記載の装置。
【請求項２６】
前記第四特定サブモジュールは、
サブマラートライアングルの充填程度係数に基づき、前記サブマラートライアングル領域における各画素に対応する第一目標画素をそれぞれ特定するように構成される、請求項２５に記載の装置。
【請求項２７】
前記第四特定サブモジュールは、
二次導関数が常に０より大きい下に凸関数を採用し、前記サブマラートライアングル領域における各画素に対応する第一目標画素をそれぞれ特定するように構成される、請求項２５または２６に記載の装置。
【請求項２８】
前記充填モジュールは、
前記顔画像における第一基準ポイントを特定するように構成される第五特定サブモジュールと、
前記サブマラートライアングルの中心が前記第一基準ポイントに指しているベクトルを第一基準ベクトルとして特定するように構成される第六特定サブモジュールと、
前記第一基準ベクトルに基づき、前記サブマラートライアングル領域における各画素に対応する第二目標画素をそれぞれ特定するように構成される第七特定サブモジュールであって、前記画素に対応する第二目標画素が前記画素に指しているベクトルが、前記第一基準ベクトルの方向と同じである、第七特定サブモジュールと、
前記各画素の値を対応する第二目標画素の値にそれぞれ更新するように構成される第二更新サブモジュールと、を含む、請求項２０から２７のいずれか一項に記載の装置。
【請求項２９】
前記第一基準ポイントと鼻先キーポイントとの距離は前記サブマラートライアングルの中心と鼻先キーポイントとの距離よりも大きい、請求項２８に記載の装置。
【請求項３０】
前記第七特定サブモジュールは、
前記サブマラートライアングルの中心と前記サブマラートライアングル領域における第一画素との間の第一距離を特定するように構成される第一特定ユニットと、
サブマラートライアングルの外輪郭円の半径、前記第一距離および前記第一基準ベクトルのノルムに基づき、第一係数を特定するように構成される第二特定ユニットと、
前記第一画素、前記第一係数および前記第一基準ベクトルに基づき、前記第一画素に対応する第二目標画素を特定するように構成される第三特定ユニットと、を含む、請求項２８または２９に記載の装置。
【請求項３１】
前記第二特定ユニットは、
前記サブマラートライアングルの外輪郭円の半径の二乗と前記第一距離の二乗との第一の差を計算するように構成される第一計算サブユニットと、
前記第一の差を前記第一基準ベクトルのノルムの二乗と加算し、第一の和を得るように構成される第二計算サブユニットと、
前記第一の差と前記第一の和との比を計算し、前記第一係数を得るように構成される第三計算サブユニットと、を含む、請求項３０に記載の装置。
【請求項３２】
前記第三特定ユニットは、
第一基準画素が前記第一画素に指しているベクトルを、第一画素ベクトルとして特定するように構成される第一特定サブユニットと、
前記第一係数と前記第一基準ベクトルとの第一の積を計算するように構成される第四計算サブユニットと、
前記第一画素ベクトルと第一の積との差を計算し、前記第一画素に対応する第二目標画素ベクトルを得るように構成される第五計算サブユニットと、
前記第一基準画素の位置、および前記第一画素に対応する第二目標画素ベクトルに基づき、前記第一画素に対応する第二目標画素を特定するように構成される第二特定サブユニットと、を含む、請求項３０または３１に記載の装置。
【請求項３３】
前記充填モジュールは、
前記顔画像における第二基準ポイントを特定するように構成される第八特定サブモジュールと、
前記サブマラートライアングルの中心が前記第二基準ポイントに指しているベクトルを、第二基準ベクトルとして特定するように構成される第九特定サブモジュールと、
前記第二基準ベクトルに基づき、前記サブマラートライアングル領域における各画素に対応する第三目標画素をそれぞれ特定するように構成される第十特定サブモジュールであって、前記画素に対応する第三目標画素が前記画素に指しているベクトルが、前記第二基準ベクトルの方向と同じである、第十特定サブモジュールと、
前記各画素の値を対応する第三目標画素の値にそれぞれ更新するように構成される第三更新サブモジュールと、を含む、請求項２０から３２のいずれか一項に記載の装置。
【請求項３４】
前記第二基準ポイントは前記サブマラートライアングルの中心と下瞼キーポイントとの連結線に位置する、請求項３３に記載の装置。
【請求項３５】
前記第十特定サブモジュールは、
前記サブマラートライアングルの中心と前記サブマラートライアングル領域における第二画素との間の第二距離を特定するように構成される第四特定ユニットと、
サブマラートライアングルの外輪郭円の半径、前記第二距離および前記第二基準ベクトルのノルムに基づき、第二係数を特定するように構成される第五特定ユニットと、
前記第二画素、前記第二係数および前記第二基準ベクトルに基づき、前記第二画素に対応する第三目標画素を特定するように構成される第六特定ユニットと、を含む、請求項３３または３４に記載の装置。
【請求項３６】
前記第五特定ユニットは、
前記サブマラートライアングルの外輪郭円の半径の二乗と前記第二距離の二乗との第二の差を計算するように構成される第六計算サブユニットと、
前記第二の差を前記第二基準ベクトルのノルムの二乗と加算し、第二の和を得るように構成される第七計算サブユニットと、
前記第二の差と前記第二の和との比を計算し、前記第二係数を得るように構成される第八計算サブユニットと、を含む、請求項３５に記載の装置。
【請求項３７】
前記第六特定ユニットは、
第二基準画素が前記第二画素に指しているベクトルを、第二画素ベクトルとして特定するように構成される第三特定サブユニットと、
前記第二係数と前記第二基準ベクトルとの第二の積を計算するように構成される第九計算サブユニットと、
前記第二画素ベクトルと第二の積との差を計算し、前記第二画素に対応する第三目標画素ベクトルを得るように構成される第十計算サブユニットと、
前記第二基準画素の位置、および前記第二画素に対応する第三目標画素ベクトルに基づき、前記第二画素に対応する第三目標画素を特定するように構成される第四特定サブユニットと、を含む、請求項３５または３６に記載の装置。
【請求項３８】
前記充填モジュールは、
前記サブマラートライアングル領域における各画素に対応する第一目標画素をそれぞれ特定するように構成される第四特定サブモジュールであって、前記画素に対応する第一目標画素が、前記サブマラートライアングルの中心と前記画素との連結線に位置する、第四特定サブモジュールと、
前記各画素の値を対応する第一目標画素の値にそれぞれ更新するように構成される第一更新サブモジュールと、
前記顔画像における第一基準ポイントを特定するように構成される第五特定サブモジュールであって、前記第一基準ポイントと鼻先キーポイントとの距離が前記サブマラートライアングルの中心と鼻先キーポイントとの距離よりも大きい、第五特定サブモジュールと、
前記サブマラートライアングルの中心が前記第一基準ポイントに指しているベクトルを第一基準ベクトルとして特定するように構成される第六特定サブモジュールと、
前記第一基準ベクトルに基づき、前記サブマラートライアングル領域における各画素に対応する第二目標画素をそれぞれ特定するように構成される第七特定サブモジュールであって、前記画素に対応する第二目標画素が前記画素に指しているベクトルが、前記第一基準ベクトルの方向と同じである、第七特定サブモジュールと、
前記各画素の値を対応する第二目標画素の値にそれぞれ更新するように構成される第二更新サブモジュールと、
前記サブマラートライアングルの中心と下瞼キーポイントとの連結線に位置する前記顔画像における第二基準ポイントを特定するように構成される第八特定サブモジュールと、
前記サブマラートライアングルの中心が前記第二基準ポイントに指しているベクトルを、第二基準ベクトルとして特定するように構成される第九特定サブモジュールと、
前記第二基準ベクトルに基づき、前記サブマラートライアングル領域における各画素に対応する第三目標画素をそれぞれ特定するように構成される第十特定サブモジュールであって、前記画素に対応する第三目標画素が前記画素に指しているベクトルが、前記第二基準ベクトルの方向と同じである、第十特定サブモジュールと、
前記各画素の値を対応する第三目標画素の値にそれぞれ更新するように構成される第三更新サブモジュールと、を含む、請求項２０から２４のいずれか一項に記載の装置。
【請求項３９】
プロセッサおよびプロセッサ実行可能命令を記憶するためのメモリを含む電子機器であって、
前記プロセッサは前記コンピュータプログラムを実行する時、請求項１から１９のいずれか一項に記載の方法を実行するために用いられる、電子機器。
【請求項４０】
プロセッサに実行される時に請求項１から１９のいずれか一項に記載の方法を実現するコンピュータプログラム命令が記憶されている、コンピュータ読み取り可能記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本願は２０１８年９月２８日に出願された、出願番号２０１８１１１４１２７０．９の中国特許出願に基づいて提出され、該中国特許出願の優先権を主張し、その開示の全てが参照によって本願に組み込まれる。
【０００２】
本開示はコンピュータビジョンの技術分野に関し、特に顔画像の処理方法および装置、電子機器ならびに記憶媒体に関する。
【背景技術】
【０００３】
ふっくらとしたサブマラートライアングル（ｓｕｂｍａｌａｒ  ｔｒｉａｎｇｌｅ）は顔の輪郭を柔らかくし、突出した頬骨の輪郭を滑らかにし、笑う時により親和力を身に付けることができる。顔画像におけるサブマラートライアングルを自然にふっくらとさせるために、どのように顔画像に対してサブマラートライアングルを正確に充填するかは、早急な解決の待たれた問題である。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本開示の実施例は顔画像処理の技術的解決手段を提供する。
【課題を解決するための手段】
【０００５】
本開示の実施例の第一態様によれば、顔画像における顔キーポイントおよび顔回転角度を取得することと、前記顔キーポイントおよび前記顔回転角度に基づき、前記顔画像におけるサブマラートライアングルの中心を特定することと、前記顔キーポイントおよび前記サブマラートライアングルの中心に基づき、前記顔画像におけるサブマラートライアングル領域を特定することと、前記サブマラートライアングル領域に色を充填することと、を含む顔画像の処理方法が提供される。
【０００６】
可能な一実施形態では、前記顔キーポイントおよび前記顔回転角度に基づき、前記顔画像におけるサブマラートライアングルの中心を特定するステップは、前記顔キーポイントに対して補間処理を行い、前記顔画像におけるサブマラートライアングルの中心の推定位置を特定することと、前記顔回転角度に基づき、前記サブマラートライアングルの中心の推定位置を調整し、前記顔画像におけるサブマラートライアングルの中心を得ることと、を含む。
【０００７】
可能な一実施形態では、前記顔キーポイントおよび前記サブマラートライアングルの中心に基づき、前記顔画像におけるサブマラートライアングル領域を特定するステップは、前記顔キーポイントを繋ぎ、前記顔キーポイントに対応する多角形を得ることと、前記多角形内の前記サブマラートライアングルの中心を円心とした最大の円を前記顔画像におけるサブマラートライアングルの外輪郭円として特定することと、前記サブマラートライアングルの外輪郭円に基づき、前記顔画像におけるサブマラートライアングル領域を特定することと、を含む。
【０００８】
可能な一実施形態では、前記サブマラートライアングルの外輪郭円に基づき、前記顔画像におけるサブマラートライアングル領域を特定するステップは、前記顔画像における顔輪郭線を用いて前記サブマラートライアングルの外輪郭円を調整し、前記顔画像におけるサブマラートライアングル領域を得ることを含む。
【０００９】
可能な一実施形態では、前記顔画像における顔輪郭線を用いて前記サブマラートライアングルの外輪郭円を調整し、前記顔画像におけるサブマラートライアングル領域を得るステップは、前記顔画像における顔輪郭線に対してサンプリングし、前記顔輪郭線におけるサンプリングポイントを得ることと、前記サブマラートライアングルの外輪郭円に対してサンプリングし、前記サブマラートライアングルの外輪郭円におけるサンプリングポイントを得ることと、前記顔輪郭線におけるサンプリングポイントと前記サブマラートライアングルの外輪郭円におけるサンプリングポイントとに対してカーブフィッティングを行い、前記顔画像におけるサブマラートライアングル領域を得ることと、を含む。
【００１０】
可能な一実施形態では、前記サブマラートライアングル領域に色を充填するステップは、前記サブマラートライアングル領域における各画素に対応する、前記サブマラートライアングルの中心と前記画素との連結線に位置する第一目標画素をそれぞれ特定することと、前記各画素の値を対応する第一目標画素の値にそれぞれ更新することと、を含む。
【００１１】
可能な一実施形態では、前記サブマラートライアングル領域における各画素に対応する第一目標画素をそれぞれ特定するステップは、サブマラートライアングルの充填程度係数に基づき、前記サブマラートライアングル領域における各画素に対応する第一目標画素をそれぞれ特定することを含む。
【００１２】
可能な一実施形態では、前記サブマラートライアングル領域における各画素に対応する第一目標画素をそれぞれ特定するステップは、二次導関数が常に０より大きい下に凸関数を採用し、前記サブマラートライアングル領域における各画素に対応する第一目標画素をそれぞれ特定することを含む。
【００１３】
可能な一実施形態では、前記サブマラートライアングル領域に色を充填するステップは、前記顔画像における第一基準ポイントを特定することと、前記サブマラートライアングルの中心が前記第一基準ポイントに指しているベクトルを第一基準ベクトルとして特定することと、前記第一基準ベクトルに基づき、前記サブマラートライアングル領域における各画素に対応する、前記画素に指しているベクトルが前記第一基準ベクトルの方向と同じである第二目標画素をそれぞれ特定することと、前記各画素の値を対応する第二目標画素の値にそれぞれ更新することと、を含む。
【００１４】
可能な一実施形態では、前記第一基準ポイントと鼻先キーポイントとの距離は前記サブマラートライアングルの中心と鼻先キーポイントとの距離よりも大きい。
【００１５】
可能な一実施形態では、前記第一基準ベクトルに基づき、前記サブマラートライアングル領域における各画素に対応する第二目標画素をそれぞれ特定するステップは、前記サブマラートライアングルの中心と前記サブマラートライアングル領域における第一画素との間の第一距離を特定することと、サブマラートライアングルの外輪郭円の半径、前記第一距離および前記第一基準ベクトルのノルムに基づき、第一係数を特定することと、前記第一画素、前記第一係数および前記第一基準ベクトルに基づき、前記第一画素に対応する第二目標画素を特定することと、を含む。
【００１６】
可能な一実施形態では、サブマラートライアングルの外輪郭円の半径、前記第一距離および前記基準ベクトルのノルムに基づき、第一係数を特定するステップは、前記サブマラートライアングルの外輪郭円の半径の二乗と前記第一距離の二乗との第一の差を計算することと、前記第一の差を前記第一基準ベクトルのノルムの二乗と加算し、第一の和を得ることと、前記第一の差と前記第一の和との比を計算し、前記第一係数を得ることと、を含む。
【００１７】
可能な一実施形態では、前記第一画素、前記第一係数および前記第一基準ベクトルに基づき、前記第一画素に対応する第二目標画素を特定するステップは、第一基準画素が前記第一画素に指しているベクトルを、第一画素ベクトルとして特定することと、前記第一係数と前記第一基準ベクトルとの第一の積を計算することと、前記第一画素ベクトルと第一の積との差を計算し、前記第一画素に対応する第二目標画素ベクトルを得ることと、前記第一基準画素の位置、および前記第一画素に対応する第二目標画素ベクトルに基づき、前記第一画素に対応する第二目標画素を特定することと、を含む。
【００１８】
可能な一実施形態では、前記サブマラートライアングル領域に色を充填するステップは、前記顔画像における第二基準ポイントを特定することと、前記サブマラートライアングルの中心が前記第二基準ポイントに指しているベクトルを、第二基準ベクトルとして特定することと、前記第二基準ベクトルに基づき、前記サブマラートライアングル領域における各画素に対応する、前記画素に指しているベクトルが前記第二基準ベクトルの方向と同じである第三目標画素をそれぞれ特定することと、前記各画素の値を対応する第三目標画素の値にそれぞれ更新することと、を含む。
【００１９】
可能な一実施形態では、前記第二基準ポイントは前記サブマラートライアングルの中心と下瞼キーポイントとの連結線に位置する。
【００２０】
可能な一実施形態では、前記第二基準ベクトルに基づき、前記サブマラートライアングル領域における各画素に対応する第三目標画素をそれぞれ特定するステップは、前記サブマラートライアングルの中心と前記サブマラートライアングル領域における第二画素との間の第二距離を特定することと、サブマラートライアングルの外輪郭円の半径、前記第二距離および前記第二基準ベクトルのノルムに基づき、第二係数を特定することと、前記第二画素、前記第二係数および前記第二基準ベクトルに基づき、前記第二画素に対応する第三目標画素を特定することと、を含む。
【００２１】
可能な一実施形態では、サブマラートライアングルの外輪郭円の半径、前記第二距離および前記第二基準ベクトルのノルムに基づき、第二係数を特定するステップは、前記サブマラートライアングルの外輪郭円の半径の二乗と前記第二距離の二乗との第二の差を計算することと、前記第二の差を前記第二基準ベクトルのノルムの二乗と加算し、第二の和を得ることと、前記第二の差と前記第二の和との比を計算し、前記第二係数を得ることと、を含む。
【００２２】
可能な一実施形態では、前記第二画素、前記第二係数および前記第二基準ベクトルに基づき、前記第二画素に対応する第三目標画素を特定するステップは、第二基準画素が前記第二画素に指しているベクトルを、第二画素ベクトルとして特定することと、前記第二係数と前記第二基準ベクトルとの第二の積を計算することと、前記第二画素ベクトルと第二の積との差を計算し、前記第二画素に対応する第三目標画素ベクトルを得ることと、前記第二基準画素の位置、および前記第二画素に対応する第三目標画素ベクトルに基づき、前記第二画素に対応する第三目標画素を特定することと、を含む。
【００２３】
可能な一実施形態では、前記サブマラートライアングル領域に色を充填するステップは、前記サブマラートライアングル領域における各画素に対応する、前記サブマラートライアングルの中心と前記画素との連結線に位置する第一目標画素をそれぞれ特定することと、前記各画素の値を対応する第一目標画素の値にそれぞれ更新することと、その鼻先キーポイントとの距離が前記サブマラートライアングルの中心と鼻先キーポイントとの距離よりも大きい前記顔画像における第一基準ポイントを特定することと、前記サブマラートライアングルの中心が前記第一基準ポイントに指しているベクトルを第一基準ベクトルとして特定することと、前記第一基準ベクトルに基づき、前記サブマラートライアングル領域における各画素に対応する、前記画素に指しているベクトルが前記第一基準ベクトルの方向と同じである第二目標画素をそれぞれ特定することと、前記各画素の値を対応する第二目標画素の値にそれぞれ更新することと、前記サブマラートライアングルの中心と下瞼キーポイントとの連結線に位置する前記顔画像における第二基準ポイントを特定することと、前記サブマラートライアングルの中心が前記第二基準ポイントに指しているベクトルを、第二基準ベクトルとして特定することと、前記第二基準ベクトルに基づき、前記サブマラートライアングル領域における各画素に対応する、前記画素に指しているベクトルが前記第二基準ベクトルの方向と同じである第三目標画素をそれぞれ特定することと、前記各画素の値を対応する第三目標画素の値にそれぞれ更新することと、を含む。
【００２４】
本開示の実施例の第二態様によれば、
顔画像における顔キーポイントおよび顔回転角度を取得するように構成される取得モジュールと、
前記顔キーポイントおよび前記顔回転角度に基づき、前記顔画像におけるサブマラートライアングルの中心を特定するように構成される第一特定モジュールと、
前記顔キーポイントおよび前記サブマラートライアングルの中心に基づき、前記顔画像におけるサブマラートライアングル領域を特定するように構成される第二特定モジュールと、
前記サブマラートライアングル領域に色を充填するように構成される充填モジュールと、を含む顔画像の処理装置が提供される。
【００２５】
可能な一実施形態では、前記第一特定モジュールは、
前記顔キーポイントに対して補間処理を行い、前記顔画像におけるサブマラートライアングルの中心の推定位置を特定するように構成される第一特定サブモジュールと、
前記顔回転角度に基づき、前記サブマラートライアングルの中心の推定位置を調整し、前記顔画像におけるサブマラートライアングルの中心を得るように構成される調整サブモジュールと、を含む。
【００２６】
可能な一実施形態では、前記第二特定モジュールは、
前記顔キーポイントを繋ぎ、前記顔キーポイントに対応する多角形を得るように構成される連結サブモジュールと、
前記多角形内の前記サブマラートライアングルの中心を円心とした最大の円を前記顔画像におけるサブマラートライアングルの外輪郭円として特定するように構成される第二特定サブモジュールと、
前記サブマラートライアングルの外輪郭円に基づき、前記顔画像におけるサブマラートライアングル領域を特定するように構成される第三特定サブモジュールと、を含む。
【００２７】
可能な一実施形態では、前記第三特定サブモジュールは、
前記顔画像における顔輪郭線を用いて前記サブマラートライアングルの外輪郭円を調整し、前記顔画像におけるサブマラートライアングル領域を得るように構成される。
【００２８】
可能な一実施形態では、前記第三特定サブモジュールは、
前記顔画像における顔輪郭線に対してサンプリングし、前記顔輪郭線におけるサンプリングポイントを得るように構成される第一サンプリングユニットと、
前記サブマラートライアングルの外輪郭円に対してサンプリングし、前記サブマラートライアングルの外輪郭円におけるサンプリングポイントを得るように構成される第二サンプリングユニットと、
前記顔輪郭線におけるサンプリングポイントと前記サブマラートライアングルの外輪郭円におけるサンプリングポイントとに対してカーブフィッティングを行い、前記顔画像におけるサブマラートライアングル領域を得るように構成されるカーブフィッティングユニットと、を含む。
【００２９】
可能な一実施形態では、前記充填モジュールは、
前記サブマラートライアングル領域における各画素に対応する、前記サブマラートライアングルの中心と前記画素との連結線に位置する第一目標画素をそれぞれ特定するように構成される第四特定サブモジュールと、
前記各画素の値を対応する第一目標画素の値にそれぞれ更新するように構成される第一更新サブモジュールと、を含む。
【００３０】
可能な一実施形態では、前記第四特定サブモジュールは、
サブマラートライアングルの充填程度係数に基づき、前記サブマラートライアングル領域における各画素に対応する第一目標画素をそれぞれ特定するように構成される。
【００３１】
可能な一実施形態では、前記第四特定サブモジュールは、
二次導関数が常に０より大きい下に凸関数を採用し、前記サブマラートライアングル領域における各画素に対応する第一目標画素をそれぞれ特定するように構成される。
【００３２】
可能な一実施形態では、前記充填モジュールは、
前記顔画像における第一基準ポイントを特定するように構成される第五特定サブモジュールと、
前記サブマラートライアングルの中心が前記第一基準ポイントに指しているベクトルを第一基準ベクトルとして特定するように構成される第六特定サブモジュールと、
前記第一基準ベクトルに基づき、前記サブマラートライアングル領域における各画素に対応する、前記画素に指しているベクトルが前記第一基準ベクトルの方向と同じである第二目標画素をそれぞれ特定するように構成される第七特定サブモジュールと、
前記各画素の値を対応する第二目標画素の値にそれぞれ更新するように構成される第二更新サブモジュールと、を含む。
【００３３】
可能な一実施形態では、前記第一基準ポイントと鼻先キーポイントとの距離は前記サブマラートライアングルの中心と鼻先キーポイントとの距離よりも大きい。
【００３４】
可能な一実施形態では、前記第七特定サブモジュールは、
前記サブマラートライアングルの中心と前記サブマラートライアングル領域における第一画素との間の第一距離を特定するように構成される第一特定ユニットと、
サブマラートライアングルの外輪郭円の半径、前記第一距離および前記第一基準ベクトルのノルムに基づき、第一係数を特定するように構成される第二特定ユニットと、
前記第一画素、前記第一係数および前記第一基準ベクトルに基づき、前記第一画素に対応する第二目標画素を特定するように構成される第三特定ユニットと、を含む。
【００３５】
可能な一実施形態では、前記第二特定ユニットは、
前記サブマラートライアングルの外輪郭円の半径の二乗と前記第一距離の二乗との第一の差を計算するように構成される第一計算サブユニットと、
前記第一の差を前記第一基準ベクトルのノルムの二乗と加算し、第一の和を得るように構成される第二計算サブユニットと、
前記第一の差と前記第一の和との比を計算し、前記第一係数を得るように構成される第三計算サブユニットと、を含む。
【００３６】
可能な一実施形態では、前記第三特定ユニットは、
第一基準画素が前記第一画素に指しているベクトルを、第一画素ベクトルとして特定するように構成される第一特定サブユニットと、
前記第一係数と前記第一基準ベクトルとの第一の積を計算するように構成される第四計算サブユニットと、
前記第一画素ベクトルと第一の積との差を計算し、前記第一画素に対応する第二目標画素ベクトルを得るように構成される第五計算サブユニットと、
前記第一基準画素の位置、および前記第一画素に対応する第二目標画素ベクトルに基づき、前記第一画素に対応する第二目標画素を特定するように構成される第二特定サブユニットと、を含む。
【００３７】
可能な一実施形態では、前記充填モジュールは、
前記顔画像における第二基準ポイントを特定するように構成される第八特定サブモジュールと、
前記サブマラートライアングルの中心が前記第二基準ポイントに指しているベクトルを、第二基準ベクトルとして特定するように構成される第九特定サブモジュールと、
前記第二基準ベクトルに基づき、前記サブマラートライアングル領域における各画素に対応する、前記画素に指しているベクトルが前記第二基準ベクトルの方向と同じである第三目標画素をそれぞれ特定するように構成される第十特定サブモジュールと；
前記各画素の値を対応する第三目標画素の値にそれぞれ更新するように構成される第三更新サブモジュールと、を含む。
【００３８】
可能な一実施形態では、前記第二基準ポイントは前記サブマラートライアングルの中心と下瞼キーポイントとの連結線に位置する。
【００３９】
可能な一実施形態では、前記第十特定サブモジュールは、
前記サブマラートライアングルの中心と前記サブマラートライアングル領域における第二画素との間の第二距離を特定するように構成される第四特定ユニットと、
サブマラートライアングルの外輪郭円の半径、前記第二距離および前記第二基準ベクトルのノルムに基づき、第二係数を特定するように構成される第五特定ユニットと、
前記第二画素、前記第二係数および前記第二基準ベクトルに基づき、前記第二画素に対応する第三目標画素を特定するように構成される第六特定ユニットと、を含む。
【００４０】
可能な一実施形態では、前記第五特定ユニットは、
前記サブマラートライアングルの外輪郭円の半径の二乗と前記第二距離の二乗との第二の差を計算するように構成される第六計算サブユニットと、
前記第二の差を前記第二基準ベクトルのノルムの二乗と加算し、第二の和を得るように構成される第七計算サブユニットと、
前記第二の差と前記第二の和との比を計算し、前記第二係数を得るように構成される第八計算サブユニットと、を含む。
【００４１】
可能な一実施形態では、前記第六特定ユニットは、
第二基準画素が前記第二画素に指しているベクトルを、第二画素ベクトルとして特定するように構成される第三特定サブユニットと、
前記第二係数と前記第二基準ベクトルとの第二の積を計算するように構成される第九計算サブユニットと、
前記第二画素ベクトルと第二の積との差を計算し、前記第二画素に対応する第三目標画素ベクトルを得るように構成される第十計算サブユニットと、
前記第二基準画素の位置、および前記第二画素に対応する第三目標画素ベクトルに基づき、前記第二画素に対応する第三目標画素を特定するように構成される第四特定サブユニットと、を含む。
【００４２】
可能な一実施形態では、前記充填モジュールは、
前記サブマラートライアングル領域における各画素に対応する、前記サブマラートライアングルの中心と前記画素との連結線に位置する第一目標画素をそれぞれ特定するように構成される第四特定サブモジュールと、
前記各画素の値を対応する第一目標画素の値にそれぞれ更新するように構成される第一更新サブモジュールと、
その鼻先キーポイントとの距離が前記サブマラートライアングルの中心と鼻先キーポイントとの距離よりも大きい前記顔画像における第一基準ポイントを特定するように構成される第五特定サブモジュールと、
前記サブマラートライアングルの中心が前記第一基準ポイントに指しているベクトルを第一基準ベクトルとして特定するように構成される第六特定サブモジュールと、
前記第一基準ベクトルに基づき、前記サブマラートライアングル領域における各画素に対応する、前記画素に指しているベクトルが前記第一基準ベクトルの方向と同じである第二目標画素をそれぞれ特定するように構成される第七特定サブモジュールと、
前記各画素の値を対応する第二目標画素の値にそれぞれ更新するように構成される第二更新サブモジュールと、
前記サブマラートライアングルの中心と下瞼キーポイントとの連結線に位置する前記顔画像における第二基準ポイントを特定するように構成される第八特定サブモジュールと、
前記サブマラートライアングルの中心が前記第二基準ポイントに指しているベクトルを、第二基準ベクトルとして特定するように構成される第九特定サブモジュールと、
前記第二基準ベクトルに基づき、前記サブマラートライアングル領域における各画素に対応する、前記画素に指しているベクトルが前記第二基準ベクトルの方向と同じである第三目標画素をそれぞれ特定するように構成される第十特定サブモジュールと、
前記各画素の値を対応する第三目標画素の値にそれぞれ更新するように構成される第三更新サブモジュールと、を含む。
【００４３】
本開示の実施例の第三態様によれば、プロセッサおよびプロセッサ実行可能命令を記憶するためのメモリを含む電子機器であって、
前記プロセッサは前記コンピュータプログラムを実行する時、上記顔画像の処理方法を実行するために用いられる電子機器が提供される。
【００４４】
本開示の実施例の第四態様によれば、プロセッサに実行される時に上記顔画像の処理方法を実現するコンピュータプログラム命令が記憶されているコンピュータ読み取り可能記憶媒体が提供される。
【００４５】
本開示の実施例では、顔画像における顔キーポイントおよび顔回転角度を取得し、顔キーポイントおよび顔回転角度に基づき、顔画像におけるサブマラートライアングルの中心を特定し、顔キーポイントおよびサブマラートライアングルの中心に基づき、顔画像におけるサブマラートライアングル領域を特定し、そしてサブマラートライアングル領域に色を充填することで、サブマラートライアングル領域の位置を正確に特定でき、正確に位置特定したサブマラートライアングル領域に基づいてサブマラートライアングルに対して充填処理を行い、より自然な充填効果を得ることができる。
【００４６】
以下の図面と関連付けられた例示的な実施例に対する詳細な説明によれば、本開示の他の特徴および態様は明確になる。
【図面の簡単な説明】
【００４７】
明細書に含まれかつ明細書の一部となる図面は明細書と共に本開示の例示的な実施例、特徴および態様を示すものであり、かつ本開示の原理を解釈するために用いられる。
【図１】本開示の実施例に係る顔画像の処理方法のフローチャートを示す。
【図２ａ】本開示の実施例に係る顔画像の処理方法における、サブマラートライアングル領域に色を充填する前の顔画像の模式図を示す。
【図２ｂ】本開示の実施例に係る顔画像の処理方法における、サブマラートライアングル領域に色を塗った後の顔画像の模式図を示す。
【図３】本開示の実施例に係る顔画像の処理方法におけるステップＳ１２の一例示的フローチャートを示す。
【図４】本開示の実施例に係る顔画像の処理方法におけるステップＳ１３の一例示的フローチャートを示す。
【図５】本開示の実施例に係る顔画像の処理方法におけるサブマラートライアングルの外輪郭円の模式図を示す。
【図６】本開示の実施例に係る顔画像の処理方法において該顔画像における顔の輪郭線を用いてサブマラートライアングルの外輪郭円を調整し、該顔画像におけるサブマラートライアングル領域を得る一例示的フローチャートを示す。
【図７】本開示の実施例に係る顔画像の処理方法におけるステップＳ１４の一例示的フローチャートを示す。
【図８】本開示の実施例に係る顔画像の処理方法におけるステップＳ１４１の模式図を示す。
【図９】本開示の実施例に係る顔画像の処理方法におけるステップＳ１４の一例示的フローチャートを示す。
【図１０】本開示の実施例に係る顔画像の処理方法におけるステップＳ１４５の一例示的フローチャートを示す。
【図１１】本開示の実施例に係る顔画像の処理方法におけるサブマラートライアングルの中心Ｏ、第一基準ポイントＭ１、第一画素Ｐ２、第一画素に対応する第二目標画素Ｐ２’およびサブマラートライアングルの外輪郭円の半径Ｒの模式図を示す。
【図１２】本開示の実施例に係る顔画像の処理方法におけるステップＳ１４５２の一例示的フローチャートを示す。
【図１３】本開示の実施例に係る顔画像の処理方法におけるステップＳ１４５３の一例示的フローチャートを示す。
【図１４】本開示の実施例に係る顔画像の処理方法におけるステップＳ１４の一例示的フローチャートを示す。
【図１５】本開示の実施例に係る顔画像の処理方法におけるステップＳ１４９の一例示的なフローチャートを示す。
【図１６】本開示の実施例に係る顔画像の処理方法におけるサブマラートライアングルの中心Ｏ、第二基準ポイントＭ２、第二画素Ｐ３、第二画素に対応する第三目標画素Ｐ３’およびサブマラートライアングルの外輪郭円の半径Ｒの模式図を示す。
【図１７】本開示の実施例に係る顔画像の処理方法におけるステップＳ１４９２の一例示的フローチャートを示す。
【図１８】本開示の実施例に係る顔画像の処理方法におけるステップＳ１４９３の一例示的フローチャートを示す。
【図１９】本開示の実施例に係る顔画像の処理方法におけるステップＳ１４の一例示的フローチャートを示す。
【図２０】本開示の実施例に係る顔画像の処理装置の構成模式図を示す。
【図２１】本開示の実施例に係る顔画像の処理装置の一例示的構成模式図を示す。
【図２２】一例示的実施例により示された電子機器８００の構成模式図である。
【図２３】一例示的実施例により示された電子機器１９００の構成模式図である。
【発明を実施するための形態】
【００４８】
以下に図面を参照しながら本開示の様々な例示的実施例、特徴および態様を詳細に説明する。図面における同じ符号は同じまたは類似する機能の要素を表す。図面において実施例の様々な態様を示したが、特に断らない限り、比例に従って図面を作る必要がない。
【００４９】
ここの用語「例示的」とは、「例、実施例として用いられることまたは説明的なもの」を意味する。ここで「例示的」に説明したいかなる実施例も他の実施例より優れたものと理解すべきではない。
【００５０】
また、本開示の実施例をより効果的に説明するために、以下の具体的な実施形態において様々な具体的詳細を示す。当業者であれば、何らかの具体的詳細がなくなるにも関わらず、本開示は同様に実施できるということを理解すべきである。いくつかの実施例では、本開示の趣旨を強調するよう、当業者に既知の方法、手段、要素および回路に対する詳細な説明を省略する。
【００５１】
図１は本開示の実施例に係る顔画像の処理方法のフローチャートを示す。図１に示すように、該方法はステップＳ１１からステップＳ１４を含む。
【００５２】
ステップＳ１１で、顔画像における顔キーポイントおよび顔回転角度を取得する。
【００５３】
可能な一実施形態では、顔キーポイントは目キーポイント、鼻キーポイント、口キーポイント、顔キーポイントおよび顔輪郭キーポイントなどの少なくとも一つを含むことができる。
【００５４】
可能な一実施形態では、顔回転角度は正面顔に対する顔のヨー角を表すことができる。例えば、顔が正面顔である場合、顔回転角度は０であってもよく、顔が正面顔に対して左に振る場合、顔回転角度は振った顔と正面顔との間の夾角と同等になってもよく、顔が正面顔に対して右に振る場合、顔回転角度の絶対値は振った顔と正面顔との夾角と同等になってもよく、かつ顔回転角度は負数である。
【００５５】
ステップＳ１２で、顔キーポイントおよび顔回転角度に基づき、該顔画像におけるサブマラートライアングルの中心を特定する。
【００５６】
可能な一実施形態では、顔キーポイントのうちの目キーポイント、鼻キーポイントおよび顔キーポイント、ならびに顔回転角度に基づき、該顔画像におけるサブマラートライアングルの中心を特定することができる。
【００５７】
本開示の実施例は顔キーポイントおよび顔回転角度と関連付けて顔画像におけるサブマラートライアングルの中心を特定し、特定されるサブマラートライアングルの中心の正確度を向上させ、それにより特定されるサブマラートライアングル領域の正確度を向上させることができる。
【００５８】
本開示の実施例では、サブマラートライアングルは笑筋（Ｒｉｓｏｒｉｕｓ）と呼ばれてもよく、目の下２センチメートルの部位での逆三角形の組織をいい、微笑みまたは表情を作る時に顔の筋肉が押し合うことによってやや隆起し、つやつやした光沢のあるリンゴに見えることから、「サブマラートライアングル」と名付けられるものである。
【００５９】
ステップＳ１３で、顔キーポイントおよびサブマラートライアングルの中心に基づき、該顔画像におけるサブマラートライアングル領域を特定する。
【００６０】
本開示の実施例では、サブマラートライアングルの中心および一部の顔キーポイントに基づいて顔画像におけるサブマラートライアングル領域を特定し、それによってサブマラートライアングル領域の計算量を低減することができる。
【００６１】
ステップＳ１４で、サブマラートライアングル領域に色を充填する。
【００６２】
可能な一実施形態では、円形凸レンズ変形方法および円形液化変形方法の一方または両方を用いて、サブマラートライアングル領域に色を塗り、サブマラートライアングルをふっくらとさせてサブマラートライアングルの輪郭線を引き立てるという効果を達成することができる。
【００６３】
図２ａは本開示の実施例に係る顔画像の処理方法における、サブマラートライアングル領域に色を充填する前の顔画像の模式図を示す。図２ｂは本開示の実施例に係る顔画像の処理方法における、サブマラートライアングル領域に色を塗った後の顔画像の模式図を示す。
【００６４】
本開示の実施例は顔画像における顔キーポイントおよび顔回転角度を取得し、顔キーポイントおよび顔回転角度に基づき、顔画像におけるサブマラートライアングルの中心を特定し、顔キーポイントおよびサブマラートライアングルの中心に基づき、顔画像におけるサブマラートライアングル領域を特定し、サブマラートライアングル領域に色を充填することで、サブマラートライアングル領域の位置を正確に特定でき、正確に位置特定したサブマラートライアングル領域に基づいてサブマラートライアングルに対して充填処理を行い、より自然な充填効果を得ることができる。
【００６５】
図３は本開示の実施例に係る顔画像の処理方法におけるステップＳ１２の一例示的フローチャートを示す。図３に示すように、ステップ１２はステップＳ１２１およびステップＳ１２２を含むことができる。
【００６６】
ステップＳ１２１で、顔キーポイントに対して補間処理を行い、該顔画像におけるサブマラートライアングルの中心の推定位置を特定する。
【００６７】
本開示の実施例では、サブマラートライアングルの中心は通常目の下２センチメートルから３センチメートルの位置にある。顔キーポイントに対して補間処理を行うことで、該顔画像におけるサブマラートライアングルの中心の推定位置を特定できる。例えば、目キーポイント、鼻キーポイントおよび顔キーポイントを用いて補間し、該顔画像におけるサブマラートライアングルの中心の推定位置を得ることができる。
【００６８】
ステップＳ１２２で、顔回転角度に基づき、サブマラートライアングルの中心の推定位置を調整し、該顔画像におけるサブマラートライアングルの中心を得る。
【００６９】
本開示の実施例では、顔回転角度が０である場合、サブマラートライアングルの中心の推定位置を調整することなく、サブマラートライアングルの中心の推定位置をそのまま該顔画像におけるサブマラートライアングルの中心とすることができる。顔回転角度が０でない場合、顔回転角度に基づいてサブマラートライアングルの中心の推定位置を調整し、該顔画像におけるサブマラートライアングルの中心を得る。
【００７０】
図４は本開示の実施例に係る顔画像の処理方法におけるステップＳ１３の一例示的フローチャートを示す。図４に示すように、ステップ１３はステップＳ１３１からステップＳ１３３を含むことができる。
【００７１】
ステップＳ１３１で、顔キーポイントを繋ぎ、顔キーポイントに対応する多角形を得る。
【００７２】
可能な一実施形態では、顔キーポイントにおける一部の顔輪郭キーポイント、一部の鼻キーポイントおよび一部の目キーポイントを互いに繋ぎ、これらの顔キーポイントに対応する多角形を得ることができる。ここで、目キーポイントは下瞼部のキーポイントであってもよい。
【００７３】
ステップＳ１３２で、多角形内のサブマラートライアングルの中心を円心とした最大の円を該顔画像におけるサブマラートライアングルの外輪郭円として特定する。
【００７４】
本開示の実施例では、サブマラートライアングルの中心を円心とし、該多角形を境界として円を描き、該顔画像におけるサブマラートライアングルの外輪郭円を得る。
【００７５】
図５は本開示の実施例に係る顔画像の処理方法におけるサブマラートライアングルの外輪郭円の模式図を示す。図５に示す例では、顔画像におけるサブマラートライアングルの外輪郭円はＣ１およびＣ２を含む。
【００７６】
ステップＳ１３３で、サブマラートライアングルの外輪郭円に基づき、該顔画像におけるサブマラートライアングル領域を特定する。
【００７７】
可能な一実施形態では、サブマラートライアングルの外輪郭円に基づき、該顔画像におけるサブマラートライアングル領域を特定するステップは、サブマラートライアングルの外輪郭円が存在する領域を顔画像におけるサブマラートライアングル領域として特定することを含む。
【００７８】
別の可能な実施形態では、サブマラートライアングルの外輪郭円に基づき、該顔画像におけるサブマラートライアングル領域を特定するステップは、該顔画像における顔輪郭線を用いてサブマラートライアングルの外輪郭円を調整し、該顔画像におけるサブマラートライアングル領域を得ることを含む。該実施形態では、該顔画像における顔輪郭線を用いてサブマラートライアングルの外輪郭円を制限し、それによってサブマラートライアングル領域を顔輪郭範囲内に収めることができる。該実施形態では、目以下、口元以上の部分の顔輪郭線を用いてサブマラートライアングルの外輪郭円を調整し、該顔画像におけるサブマラートライアングル領域を得ることができる。
【００７９】
図６は本開示の実施例に係る顔画像の処理方法において該顔画像における顔輪郭線を用いてサブマラートライアングルの外輪郭円を調整し、該顔画像におけるサブマラートライアングル領域を得る一例示的フローチャートを示す。図６に示すように、該顔画像における顔輪郭線を用いてサブマラートライアングルの外輪郭円を調整し、該顔画像におけるサブマラートライアングル領域を得るステップは、ステップＳ１３３１からステップＳ１３３３を含むことができる。
【００８０】
ステップＳ１３３１で、該顔画像における顔輪郭線に対してサンプリングし、顔輪郭線におけるサンプリングポイントを得る。
【００８１】
可能な一実施形態では、目以下、口元以上の部分の顔輪郭線に対してサンプリングし、顔輪郭線におけるサンプリングポイントを得ることができる。
【００８２】
ステップＳ１３３２で、サブマラートライアングルの外輪郭円に対してサンプリングし、サブマラートライアングルの外輪郭円におけるサンプリングポイントを得る。
【００８３】
ステップＳ１３３３で、顔輪郭線におけるサンプリングポイントとサブマラートライアングルの外輪郭円におけるサンプリングポイントとに対してカーブフィッティングを行い、該顔画像におけるサブマラートライアングル領域を得る。
【００８４】
可能な一実施形態では、Ｃａｔｍｕｌｌ−Ｒｏｍカーブフィッティングの方法を用いて、顔輪郭線におけるサンプリングポイントとサブマラートライアングルの外輪郭円におけるサンプリングポイ域ントとのカーブフィッティングを行い、該顔画像におけるサブマラートライアングル領を得ることができる。
【００８５】
図７は本開示の実施例に係る顔画像の処理方法におけるステップＳ１４の一例示的フローチャートを示す。図７に示すように、ステップＳ１４はステップＳ１４１およびステップＳ１４２を含むことができる。
【００８６】
ステップＳ１４１で、サブマラートライアングル領域における各画素に対応する第一目標画素をそれぞれ特定し、画素に対応する第一目標画素がサブマラートライアングルの中心と画素との連結線に位置する。
【００８７】
可能な一実施形態では、サブマラートライアングル領域における各画素に対応する第一目標画素をそれぞれ特定する前記ステップは、サブマラートライアングルの充填程度係数に基づき、サブマラートライアングル領域における各画素に対応する第一目標画素をそれぞれ特定することを含む。ここで、サブマラートライアングルの充填程度係数はユーザによってカスタマイズ可能である。サブマラートライアングルの充填程度係数はサブマラートライアングルの変形程度を表す。例えば、サブマラートライアングルの充填程度係数が大きければ大きいほど、サブマラートライアングルの変形程度が大きくなり、サブマラートライアングルの充填程度係数が小さければ小さいほど、サブマラートライアングルの変形程度が小さくなる。
【００８８】
可能な一実施形態では、サブマラートライアングル領域における各画素に対応する第一目標画素をそれぞれ特定するステップは、二次導関数が常に０より大きい下に凸関数を採用し、サブマラートライアングル領域における各画素に対応する第一目標画素をそれぞれ特定することを含む。例えば、該関数は
【００８９】
【数１】
2021501924.tif 000003
【００９０】
である。ここで、
【００９１】
【数２】
2021501924.tif 000004
【００９２】
はサブマラートライアングル領域におけるある画素を表し、
【００９３】
【数３】
2021501924.tif 000005
【００９４】
はサブマラートライアングルの中心と該画素との間の距離を表し、
【００９５】
【数４】
2021501924.tif 000006
【００９６】
は該画素に対応する第一目標画素を表し、
【００９７】
【数５】
2021501924.tif 000007
【００９８】
はサブマラートライアングルの中心と該第一目標画素との間の距離を表し、
【００９９】
【数６】
2021501924.tif 000008
【０１００】
はサブマラートライアングルの充填程度係数を表す。ここで、
【０１０１】
【数７】
2021501924.tif 000009
【０１０２】
の値の範囲は［０，１］とする。該関数を用いる場合、変形の範囲をサブマラートライアングル領域内に収めることができ、かつサブマラートライアングル領域内での変化が連続的になる。二次導関数が常に０より大きい下に凸関数を採用することで、サブマラートライアングル領域内の画素を半径方向に沿って外へ拡散させるという効果を達成できる。
【０１０３】
図８は本開示の実施例に係る顔画像の処理方法におけるステップＳ１４１の模式図を示す。図８に示すように、画素Ｐ１の値を画素Ｐ１’の値にすることで、画素Ｐ１’を画素Ｐ１に移動させるという効果を達成できる。
【０１０４】
ステップＳ１４２で、各画素の値を対応する第一目標画素の値にそれぞれ更新する。
【０１０５】
図８に示す例では、画素Ｐ１の値を画素Ｐ１’の値に更新し、即ち、画素Ｐ１’の値を画素Ｐ１の値とする。
【０１０６】
図７および図８に示す例は円形凸レンズ変形方法を用いてサブマラートライアングル領域内の画素点の密度分布を変え、サブマラートライアングル領域中心の画素を半径方向に沿って外へ拡散させるという変形効果を達成し、それによってサブマラートライアングルに対して充填処理を行い、サブマラートライアングルをふっくらとさせるという効果を達成する。該例での変形はサブマラートライアングル領域およびサブマラートライアングルの中心の両方によって共に制限される。
【０１０７】
図９は本開示の実施例に係る顔画像の処理方法におけるステップＳ１４の一例示的フローチャートを示す。図９に示すように、ステップＳ１４はステップＳ１４３からステップＳ１４６を含むことができる。
【０１０８】
ステップＳ１４３で、該顔画像における第一基準ポイントを特定する。
【０１０９】
可能な一実施形態では、第一基準ポイントと鼻先キーポイントとの距離はサブマラートライアングルの中心と鼻先キーポイントとの距離よりも大きい。即ち、該実施形態では、第一基準ポイントはサブマラートライアングルの中心に比べて顔輪郭に近い。
【０１１０】
可能な一実施形態では、第一基準ポイントがサブマラートライアングル領域外にある。例えば、サブマラートライアングルの中心と第一基準ポイントとの間の距離はサブマラートライアングルの外輪郭円の半径の
【０１１１】
【数８】
2021501924.tif 000010
【０１１２】
倍である。
【０１１３】
例えば、該顔画像における第一基準ポイントは
【０１１４】
【数９】
2021501924.tif 000011
【０１１５】
である。
【０１１６】
ステップＳ１４４で、サブマラートライアングルの中心が第一基準ポイントに指しているベクトルを第一基準ベクトルとして特定する。
【０１１７】
例えば、サブマラートライアングルの中心が
【０１１８】
【数１０】
2021501924.tif 000012
【０１１９】
であり、
【０１２０】
【数１１】
2021501924.tif 000013
【０１２１】
が第一基準画素のサブマラートライアングルの中心に向かっているベクトルを表し、第一基準ポイントが
【０１２２】
【数１２】
2021501924.tif 000014
【０１２３】
であり、
【０１２４】
【数１３】
2021501924.tif 000015
【０１２５】
が、第一基準画素が第一基準ポイントに指しているベクトルを表すとすれば、第一基準ベクトルは
【０１２６】
【数１４】
2021501924.tif 000016
【０１２７】
で表すことができる。ここで、第一基準画素は座標軸の原点であってもよい。
【０１２８】
ステップＳ１４５で、第一基準ベクトルに基づき、サブマラートライアングル領域における各画素に対応する第二目標画素をそれぞれ特定し、画素に対応する第二目標画素が該画素に指しているベクトルが、第一基準ベクトルの方向と同じである。
【０１２９】
ステップＳ１４６で、各画素の値を対応する第二目標画素の値にそれぞれ更新する。
【０１３０】
例えば、サブマラートライアングル領域における画素
【０１３１】
【数１５】
2021501924.tif 000017
【０１３２】
に対応する第二目標画素が画素
【０１３３】
【数１６】
2021501924.tif 000018
【０１３４】
であれば、画素
【０１３５】
【数１７】
2021501924.tif 000019
【０１３６】
の値を画素
【０１３７】
【数１８】
2021501924.tif 000020
【０１３８】
の値に更新、即ち画素
【０１３９】
【数１９】
2021501924.tif 000021
【０１４０】
の値を画素
【０１４１】
【数２０】
2021501924.tif 000022
【０１４２】
の値とすることができる。
【０１４３】
図９に示す例は円形液化変形の方法によってサブマラートライアングル領域内の画素点の密度分布を変え、サブマラートライアングル領域内の画素を統一の方向に沿って拡散させるという効果を達成し、それによってサブマラートライアングルに対して充填処理を行い、サブマラートライアングルの輪郭線を引き立て、サブマラートライアングルをふっくらとさせて立体感を持たせるという効果を達成する。図９に示す例での変形範囲はサブマラートライアングル領域およびサブマラートライアングルの中心の両方によって共に制限されて決定される。
【０１４４】
図１０は本開示の実施例に係る顔画像の処理方法におけるステップＳ１４５の一例示的フローチャートを示す。図１０に示すように、ステップＳ１４５はステップＳ１４５１からステップＳ１４５３を含むことができる。
【０１４５】
ステップＳ１４５１で、サブマラートライアングルの中心とサブマラートライアングル領域における第一画素との間の第一距離を特定する。
【０１４６】
例えば、サブマラートライアングルの中心が
【０１４７】
【数２１】
2021501924.tif 000023
【０１４８】
であり、サブマラートライアングル領域における第一画素が
【０１４９】
【数２２】
2021501924.tif 000024
【０１５０】
であり、
【０１５１】
【数２３】
2021501924.tif 000025
【０１５２】
が第一基準画素のサブマラートライアングルの中心に向かっているベクトルを表し、
【０１５３】
【数２４】
2021501924.tif 000026
【０１５４】
が、第一基準画素が第一画素に指しているベクトルを表すとすれば、サブマラートライアングルの中心とサブマラートライアングル領域における第一画素との間の第一距離は
【０１５５】
【数２５】
2021501924.tif 000027
【０１５６】
で表すことができる。
【０１５７】
ステップＳ１４５２で、サブマラートライアングルの外輪郭円の半径、第一距離および第一基準ベクトルのノルムに基づき、第一係数を特定する。
【０１５８】
例えば、サブマラートライアングルの外輪郭円の半径はＲ、第一距離は
【０１５９】
【数２６】
2021501924.tif 000028
【０１６０】
、第一基準ベクトルのノルムは
【０１６１】
【数２７】
2021501924.tif 000029
【０１６２】
であれば、第一係数は
【０１６３】
【数２８】
2021501924.tif 000030
【０１６４】
となる。
【０１６５】
ステップＳ１４５３で、第一画素、第一係数および第一基準ベクトルに基づき、第一画素に対応する第二目標画素を特定する。
【０１６６】
図１１は本開示の実施例に係る顔画像の処理方法におけるサブマラートライアングルの中心Ｏ、第一基準ポイントＭ１、第一画素Ｐ２、第一画素に対応する第二目標画素Ｐ２’およびサブマラートライアングルの外輪郭円の半径Ｒの模式図を示す。
【０１６７】
図１２は本開示の実施例に係る顔画像の処理方法におけるステップＳ１４５２の一例示的フローチャートを示す。図１２に示すように、ステップＳ１４５２はステップＳ１４５２１からステップＳ１４５２３を含むことができる。
【０１６８】
ステップＳ１４５２１で、サブマラートライアングルの外輪郭円の半径の二乗と第一距離の二乗との第一の差を計算する。
【０１６９】
例えば、第一の差は
【０１７０】
【数２９】
2021501924.tif 000031
【０１７１】
に等しい。
【０１７２】
ステップＳ１４５２２で、第一の差を第一基準ベクトルのノルムの二乗と加算し、第一の和を得る。
【０１７３】
例えば、第一の和は
【０１７４】
【数３０】
2021501924.tif 000032
【０１７５】
に等しい。
【０１７６】
ステップＳ１４５２３で、第一の差と第一の和との比を計算し、第一係数を得る。
【０１７７】
例えば、第一係数は
【０１７８】
【数３１】
2021501924.tif 000033
【０１７９】
である。
【０１８０】
図１３は本開示の実施例に係る顔画像の処理方法におけるステップＳ１４５３の一例示的フローチャートを示す。図１３に示すように、ステップＳ１４５３はステップＳ１４５３１からステップＳ１４５３４を含むことができる。
【０１８１】
ステップＳ１４５３１で、第一基準画素が第一画素に指しているベクトルを第一画素ベクトルとして特定する。
【０１８２】
例えば、第一画素ベクトルは
【０１８３】
【数３２】
2021501924.tif 000034
【０１８４】
で表すことができる。
【０１８５】
ステップＳ１４５３２で、第一係数と第一基準ベクトルとの第一の積を計算する。
【０１８６】
例えば、第一係数と第一基準ベクトルとの第一の積は
【０１８７】
【数３３】
2021501924.tif 000035
【０１８８】
である。
【０１８９】
ステップＳ１４５３３で、第一画素ベクトルと第一の積との差を計算し、第一画素に対応する第二目標画素ベクトルを得る。
【０１９０】
例えば、第一画素に対応する第二目標画素ベクトルは
【０１９１】
【数３４】
2021501924.tif 000036
【０１９２】
である。
【０１９３】
ステップＳ１４５３４で、第一基準画素の位置、および第一画素に対応する第二目標画素ベクトルに基づき、第一画素に対応する第二目標画素を特定する。
【０１９４】
ここで、第一画素に対応する第二目標画素ベクトル
【０１９５】
【数３５】
2021501924.tif 000037
【０１９６】
は第一基準画素の第二目標画素
【０１９７】
【数３６】
2021501924.tif 000038
【０１９８】
に向かっているベクトルを表す。第一基準画素の位置、および第一画素に対応する第二目標画素ベクトル
【０１９９】
【数３７】
2021501924.tif 000039
【０２００】
によって、第一画素に対応する第二目標画素
【０２０１】
【数３８】
2021501924.tif 000040
【０２０２】
を特定できる。
【０２０３】
図１４は本開示の実施例に係る顔画像の処理方法におけるステップＳ１４の一例示的フローチャートを示す。図１４に示すように、ステップＳ１４はステップＳ１４７、ステップＳ１４８、ステップＳ１４９およびステップＳ１４０を含むことができる。
【０２０４】
ステップＳ１４７で、該顔画像における第二基準ポイントを特定する。
【０２０５】
可能な一実施形態では、第二基準ポイントと下瞼キーポイントとの距離はサブマラートライアングルの中心と下瞼キーポイントとの距離よりも小さい。
【０２０６】
可能な一実施形態では、第二基準ポイントはサブマラートライアングル領域外に存在する。
【０２０７】
可能な一実施形態では、第二基準ポイントはサブマラートライアングルの中心と下瞼キーポイントとの連結線に位置する。
【０２０８】
例えば、該顔画像における第二基準ポイントは
【０２０９】
【数３９】
2021501924.tif 000041
【０２１０】
である。
【０２１１】
ステップＳ１４８で、サブマラートライアングルの中心が第二基準ポイントに指しているベクトルを第二基準ベクトルとして特定する。
【０２１２】
例えば、サブマラートライアングルの中心が
【０２１３】
【数４０】
2021501924.tif 000042
【０２１４】
であり、
【０２１５】
【数４１】
2021501924.tif 000043
【０２１６】
が第二基準画素のサブマラートライアングルの中心に向かっているベクトルを表し、第二基準ポイントが
【０２１７】
【数４２】
2021501924.tif 000044
【０２１８】
であり、
【０２１９】
【数４３】
2021501924.tif 000045
【０２２０】
が、第二基準画素が第二基準ポイントに指しているベクトルを表すとすれば、第二基準ベクトルは
【０２２１】
【数４４】
2021501924.tif 000046
【０２２２】
で表すことができる。ここで、第二基準画素は座標軸の原点であってもよい。
【０２２３】
ステップＳ１４９で、第二基準ベクトルに基づき、サブマラートライアングル領域における各画素に対応する第三目標画素をそれぞれ特定し、各画素に対応する第三目標画素が該画素に指しているベクトルが、第二基準ベクトルの方向と同じである。
【０２２４】
ステップＳ１４０で、各画素の値を対応する第三目標画素の値にそれぞれ更新する。
【０２２５】
例えば、サブマラートライアングル領域における画素
【０２２６】
【数４５】
2021501924.tif 000047
【０２２７】
に対応する第三目標画素が画素
【０２２８】
【数４６】
2021501924.tif 000048
【０２２９】
であれば、画素
【０２３０】
【数４７】
2021501924.tif 000049
【０２３１】
の値を画素
【０２３２】
【数４８】
2021501924.tif 000050
【０２３３】
の値に更新、即ち画素
【０２３４】
【数４９】
2021501924.tif 000051
【０２３５】
の値を画素
【０２３６】
【数５０】
2021501924.tif 000052
【０２３７】
の値とすることができる。
【０２３８】
図１４に示す例は円形液化変形の方法によってサブマラートライアングルの位置を持ち上げ、サブマラートライアングルの全体的なリフトアップを達成し、顔により多くの活力を与えることができる。該例の変形範囲はサブマラートライアングル領域およびサブマラートライアングルの中心の両方によって共に制限されて決定される。
【０２３９】
図１５は本開示の実施例に係る顔画像の処理方法におけるステップＳ１４９の一例示的フローチャートを示す。図１５に示すように、ステップＳ１４９はステップＳ１４９１からステップＳ１４９３を含むことができる。
【０２４０】
ステップＳ１４９１で、サブマラートライアングルの中心とサブマラートライアングル領域における第二画素との間の第二距離を特定する。
【０２４１】
例えば、サブマラートライアングルの中心が
【０２４２】
【数５１】
2021501924.tif 000053
【０２４３】
であり、サブマラートライアングル領域における第二画素が
【０２４４】
【数５２】
2021501924.tif 000054
【０２４５】
であり、
【０２４６】
【数５３】
2021501924.tif 000055
【０２４７】
が第二基準画素のサブマラートライアングルの中心に向かっているベクトルを表し、
【０２４８】
【数５４】
2021501924.tif 000056
【０２４９】
が、第二基準画素が第二画素に指しているベクトルを表すとすれば、サブマラートライアングルの中心とサブマラートライアングル領域における第二画素との間の第二距離は
【０２５０】
【数５５】
2021501924.tif 000057
【０２５１】
で表すことができる。
【０２５２】
ステップＳ１４９２で、サブマラートライアングルの外輪郭円の半径、第二距離および第二基準ベクトルのノルムに基づき、第二係数を特定する。
【０２５３】
例えば、サブマラートライアングルの外輪郭円の半径がＲ、第二距離が
【０２５４】
【数５６】
2021501924.tif 000058
【０２５５】
、第二基準ベクトルのノルムが
【０２５６】
【数５７】
2021501924.tif 000059
【０２５７】
であれば、第二係数は
【０２５８】
【数５８】
2021501924.tif 000060
【０２５９】
となる。
【０２６０】
ステップＳ１４９３で、第二画素、第二係数および第二基準ベクトルに基づき、第二画素に対応する第三目標画素を特定する。
【０２６１】
図１６は本開示の実施例に係る顔画像の処理方法におけるサブマラートライアングルの中心Ｏ、第二基準ポイントＭ２、第二画素Ｐ３、第二画素に対応する第三目標画素Ｐ３’およびサブマラートライアングルの外輪郭円の半径Ｒの模式図を示す。
【０２６２】
図１７は本開示の実施例に係る顔画像の処理方法におけるステップＳ１４９２の一例示的フローチャートを示す。図１７に示すように、ステップＳ１４９２はステップＳ１４９２１からステップＳ１４９２３を含むことができる。
【０２６３】
ステップＳ１４９２１で、サブマラートライアングルの外輪郭円の半径の二乗と第二距離の二乗との第二の差を計算する。
【０２６４】
例えば、第二の差は
【０２６５】
【数５９】
2021501924.tif 000061
【０２６６】
に等しい。
【０２６７】
ステップＳ１４９２２で、第二の差を第二基準ベクトルのノルムの二乗と加算し、第二の和を得る。
【０２６８】
例えば、第二の和は
【０２６９】
【数６０】
2021501924.tif 000062
【０２７０】
に等しい。
【０２７１】
ステップＳ１４９２３で、第二の差と第二の和との比を計算し、第二係数を得る。
【０２７２】
例えば、第二係数は
【０２７３】
【数６１】
2021501924.tif 000063
【０２７４】
である。
【０２７５】
図１８は本開示の実施例に係る顔画像の処理方法におけるステップＳ１４９３の一例示的フローチャートを示す。図１８に示すように、ステップＳ１４９３はステップＳ１４９３１からステップＳ１４９３４を含むことができる。
【０２７６】
ステップＳ１４９３１で、第二基準画素が第二画素に指しているベクトルを第二画素ベクトルとして特定する。
【０２７７】
例えば、第二画素ベクトルは
【０２７８】
【数６２】
2021501924.tif 000064
【０２７９】
で表すことができる。
【０２８０】
ステップＳ１４９３２で、第二係数と第二基準ベクトルとの第二の積を計算する。
【０２８１】
例えば、第二係数と第二基準ベクトルとの第二の積は
【０２８２】
【数６３】
2021501924.tif 000065
【０２８３】
である。
【０２８４】
ステップＳ１４９３３で、第二画素ベクトルと第二の積との差を計算し、第二画素に対応する第三目標画素ベクトルを得る。
【０２８５】
例えば、第二画素に対応する第三目標画素ベクトルは
【０２８６】
【数６４】
2021501924.tif 000066
【０２８７】
である。
【０２８８】
ステップＳ１４９３４で、第二基準画素の位置、および第二画素に対応する第三目標画素ベクトルに基づき、第二画素に対応する第三目標画素を特定する。
【０２８９】
ここで、第二画素に対応する第三目標画素ベクトル
【０２９０】
【数６５】
2021501924.tif 000067
【０２９１】
は第二基準画素の第三目標画素
【０２９２】
【数６６】
2021501924.tif 000068
【０２９３】
に向かっているベクトルを表す。第二基準画素の位置、および第二画素に対応する第三目標画素ベクトル
【０２９４】
【数６７】
2021501924.tif 000069
【０２９５】
によって、第二画素に対応する第三目標画素
【０２９６】
【数６８】
2021501924.tif 000070
【０２９７】
を特定できる。
【０２９８】
可能な一実施形態では、ステップＳ１４は順にステップＳ１４１およびステップＳ１４２、ステップＳ１４３からステップＳ１４６、およびステップＳ１４７からステップＳ１４０を含むことができる。
【０２９９】
別の可能な実施形態では、ステップＳ１４は順にステップＳ１４１およびステップＳ１４２、およびステップＳ１４７からステップＳ１４０を含むことができる。
【０３００】
別の可能な実施形態では、ステップＳ１４は順にステップＳ１４１およびステップＳ１４２、ステップＳ１４７からステップＳ１４０、およびステップＳ１４３からステップＳ１４６を含むことができる。
【０３０１】
別の可能な実施形態では、ステップＳ１４は順にステップＳ１４３からステップＳ１４６、ステップＳ１４１およびステップＳ１４２、およびステップＳ１４７からステップＳ１４０を含むことができる。
【０３０２】
説明すべきは、以上の実施形態によりステップＳ１４を以上のように説明したが、当業者であれば、本開示の実施例はこれに限定されないことを理解すべきであるということである。ステップのうちのグループ１のステップ、グループ２のステップおよびグループ３のステップの一つ、二つまたは三つに従って実施すれば、当業者は実際の応用シーンでのニーズおよび／または個人的な好みに応じてステップＳ１４の具体的な実施形態を自由に設定できる。ここで、グループ１のステップはステップＳ１４１およびステップＳ１４２、グループ２のステップはステップＳ１４３からステップＳ１４６、グループ３のステップはステップＳ１４７からステップＳ１４０を表す。
【０３０３】
図１９は本開示の実施例に係る顔画像の処理方法におけるステップＳ１４の一例示的フローチャートを示す。図１９に示すように、ステップＳ１４はステップＳ１４１からステップＳ１４０を含むことができる。各ステップに対する説明は以上を参照すればよく、ここでは説明を省略する。
【０３０４】
ステップＳ１４１で、サブマラートライアングル領域における各画素に対応する、サブマラートライアングルの中心と画素との連結線に位置する第一目標画素をそれぞれ特定する。
【０３０５】
ステップＳ１４２で、各画素の値を対応する第一目標画素の値にそれぞれ更新する。
【０３０６】
ステップＳ１４３で、顔画像における第一基準ポイントを特定する。
【０３０７】
ステップＳ１４４で、サブマラートライアングルの中心が第一基準ポイントに指しているベクトルを第一基準ベクトルとして特定する。
【０３０８】
ステップＳ１４５で、第一基準ベクトルに基づき、サブマラートライアングル領域における各画素に対応する、画素に指しているベクトルが第一基準ベクトルの方向と同じである第二目標画素をそれぞれ特定する。
【０３０９】
ステップＳ１４６で、各画素の値を対応する第二目標画素の値にそれぞれ更新する。
【０３１０】
ステップＳ１４７で、顔画像における第二基準ポイントを特定する。
【０３１１】
ステップＳ１４８で、サブマラートライアングルの中心が第二基準ポイントに指しているベクトルを第二基準ベクトルとして特定する。
【０３１２】
ステップＳ１４９で、第二基準ベクトルに基づき、サブマラートライアングル領域における各画素に対応する、画素に指しているベクトルが第二基準ベクトルの方向と同じである第三目標画素をそれぞれ特定する。
【０３１３】
ステップＳ１４０で、各画素の値を対応する第三目標画素の値にそれぞれ更新する。
【０３１４】
本開示の実施例が採用するサブマラートライアングル色塗り方法は変形方法のみを採用し、顔の明暗分布を変えることが殆どないため、より自然なサブマラートライアングル充填効果を得ることができる。
【０３１５】
理解できるように、本開示の実施例において言及した上記各方法の実施例は、原理や論理に違反することなく、互いに結合して結合後の実施例を形成することができ、紙幅に限りがあるため、本開示はその説明を省略する。
【０３１６】
また、本開示の実施例はさらに、顔画像の処理装置、電子機器、コンピュータ読み取り可能記憶媒体、およびプログラムを提供し、これらはいずれも本開示が提供する任意の顔画像の処理方法を実現するために用いることができ、対応する技術的解決手段および説明は方法部分の対応する記載を参照すればよく、ここでは説明を省略する。
【０３１７】
図２０は本開示の実施例に係る顔画像の処理装置の構成模式図を示す。図２０に示すように、該装置は、顔画像における顔キーポイントおよび顔回転角度を取得するように構成される取得モジュール２１と、顔キーポイントおよび顔回転角度に基づき、該顔画像におけるサブマラートライアングルの中心を特定するように構成される第一特定モジュール２２と、顔キーポイントおよびサブマラートライアングルの中心に基づき、該顔画像におけるサブマラートライアングル領域を特定するように構成される第二特定モジュール２３と、サブマラートライアングル領域に色を充填するように構成される充填モジュール２４と、を含む。
【０３１８】
図２１は本開示の実施例に係る顔画像の処理装置の一例示的構成模式図を示す。図２１に示すように、
可能な一実施形態では、第一特定モジュール２２は、顔キーポイントに対して補間処理を行い、該顔画像におけるサブマラートライアングルの中心の推定位置を特定するように構成される第一特定サブモジュール２２１と、顔回転角度に基づき、サブマラートライアングルの中心の推定位置を調整し、該顔画像におけるサブマラートライアングルの中心を得るように構成される調整サブモジュール２２２と、を含む。
【０３１９】
可能な一実施形態では、第二特定モジュール２３は、顔キーポイントを繋ぎ、顔キーポイントに対応する多角形を得るように構成される連結サブモジュール２３１と、多角形内のサブマラートライアングルの中心を円心とした最大の円を該顔画像におけるサブマラートライアングルの外輪郭円として特定するように構成される第二特定サブモジュール２３２と、サブマラートライアングルの外輪郭円に基づき、該顔画像におけるサブマラートライアングル領域を特定するように構成される第三特定サブモジュール２３３と、を含む。
【０３２０】
可能な一実施形態では、第三特定サブモジュール２３３は、該顔画像における顔輪郭線を用いてサブマラートライアングルの外輪郭円を調整し、該顔画像におけるサブマラートライアングル領域を得るように構成される。
【０３２１】
可能な一実施形態では、第三特定サブモジュール２３３は、該顔画像における顔輪郭線に対してサンプリングし、顔輪郭線におけるサンプリングポイントを得るように構成される第一サンプリングユニットと、サブマラートライアングルの外輪郭円に対してサンプリングし、サブマラートライアングルの外輪郭円におけるサンプリングポイントを得るように構成される第二サンプリングユニットと、顔輪郭線におけるサンプリングポイントとサブマラートライアングルの外輪郭円におけるサンプリングポイントとに対してカーブフィッティングを行い、該顔画像におけるサブマラートライアングル領域を得るように構成されるカーブフィッティングユニットと、を含む。
【０３２２】
可能な一実施形態では、充填モジュール２４は、サブマラートライアングル領域における各画素に対応する、サブマラートライアングルの中心と画素との連結線に位置する第一目標画素をそれぞれ特定するように構成される第四特定サブモジュール２４１と、各画素の値を対応する第一目標画素の値にそれぞれ更新するように構成される第一更新サブモジュール２４２と、を含む。
【０３２３】
可能な一実施形態では、第四特定サブモジュール２４１は、サブマラートライアングルの充填程度係数に基づき、サブマラートライアングル領域における各画素に対応する第一目標画素をそれぞれ特定するように構成される。
【０３２４】
可能な一実施形態では、第四特定サブモジュール２４１は、二次導関数が常に０より大きい下に凸関数を採用し、サブマラートライアングル領域における各画素に対応する第一目標画素をそれぞれ特定するように構成される。
【０３２５】
可能な一実施形態では、充填モジュール２４は、該顔画像における第一基準ポイントを特定するように構成される第五特定サブモジュール２４３と、サブマラートライアングルの中心が第一基準ポイントに指しているベクトルを第一基準ベクトルとして特定するように構成される第六特定サブモジュール２４４と、第一基準ベクトルに基づき、サブマラートライアングル領域における各画素に対応する、該画素に指しているベクトルが第一基準ベクトルの方向と同じである第二目標画素をそれぞれ特定するように構成される第七特定サブモジュール２４５と、各画素の値を対応する第二目標画素の値にそれぞれ更新するように構成される第二更新サブモジュール２４６と、を含む。
【０３２６】
可能な一実施形態では、第一基準ポイントと鼻先キーポイントとの距離はサブマラートライアングルの中心と鼻先キーポイントとの距離よりも大きい。
【０３２７】
可能な一実施形態では、第七特定サブモジュール２４５は、サブマラートライアングルの中心とサブマラートライアングル領域における第一画素との間の第一距離を特定するように構成される第一特定ユニットと、サブマラートライアングルの外輪郭円の半径、第一距離および第一基準ベクトルのノルムに基づき、第一係数を特定するように構成される第二特定ユニットと、第一画素、第一係数および第一基準ベクトルに基づき、第一画素に対応する第二目標画素を特定するように構成される第三特定ユニットと、を含む。
【０３２８】
可能な一実施形態では、第二特定ユニットは、サブマラートライアングルの外輪郭円の半径の二乗と第一距離の二乗との第一の差を計算するように構成される第一計算サブユニットと、第一の差を第一基準ベクトルのノルムの二乗と加算し、第一の和を得るように構成される第二計算サブユニットと、第一の差と第一の和との比を計算し、第一係数を得るように構成される第三計算サブユニットと、を含む。
【０３２９】
可能な一実施形態では、第三特定ユニットは、第一基準画素が第一画素に指しているベクトルを第一画素ベクトルとして特定するように構成される第一特定サブユニットと、第一係数と第一基準ベクトルとの第一の積を計算するように構成される第四計算サブユニットと、第一画素ベクトルと第一の積との差を計算し、第一画素に対応する第二目標画素ベクトルを得るように構成される第五計算サブユニットと、第一基準画素の位置、および第一画素に対応する第二目標画素ベクトルに基づき、第一画素に対応する第二目標画素を特定するように構成される第二特定サブユニットと、を含む。
【０３３０】
可能な一実施形態では、充填モジュール２４は、該顔画像における第二基準ポイントを特定するように構成される第八特定サブモジュール２４７と、サブマラートライアングルの中心が第二基準ポイントに指しているベクトルを第二基準ベクトルとして特定するように構成される第九特定サブモジュール２４８と、第二基準ベクトルに基づき、サブマラートライアングル領域における各画素に対応する、該画素に指しているベクトルが第二基準ベクトルの方向と同じである第三目標画素をそれぞれ特定するように構成される第十特定サブモジュール２４９と、各画素の値を対応する第三目標画素の値にそれぞれ更新するように構成される第三更新サブモジュール２４０と、を含む。
【０３３１】
可能な一実施形態では、第二基準ポイントはサブマラートライアングルの中心と下瞼キーポイントとの連結線に位置する。
【０３３２】
可能な一実施形態では、第十特定サブモジュール２４９は、サブマラートライアングルの中心とサブマラートライアングル領域における第二画素との間の第二距離を特定するように構成される第四特定ユニットと、サブマラートライアングルの外輪郭円の半径、第二距離および第二基準ベクトルのノルムに基づき、第二係数を特定するように構成される第五特定ユニットと、第二画素、第二係数および第二基準ベクトルに基づき、第二画素に対応する第三目標画素を特定するように構成される第六特定ユニットと、を含む。
【０３３３】
可能な一実施形態では、第五特定ユニットは、サブマラートライアングルの外輪郭円の半径の二乗と第二距離の二乗との第二の差を計算するように構成される第六計算サブユニットと、第二の差を第二基準ベクトルのノルムの二乗と加算し、第二の和を得るように構成される第七計算サブユニットと、第二の差と第二の和との比を計算し、第二係数を得るように構成される第八計算サブユニットと、を含む。
【０３３４】
可能な一実施形態では、第六特定ユニットは、第二基準画素が第二画素に指しているベクトルを第二画素ベクトルとして特定するように構成される第三特定サブユニットと、第二係数と第二基準ベクトルとの第二の積を計算するように構成される第九計算サブユニットと、第二画素ベクトルと第二の積との差を計算し、第二画素に対応する第三目標画素ベクトルを得るように構成される第十計算サブユニットと、第二基準画素の位置、および第二画素に対応する第三目標画素ベクトルに基づき、第二画素に対応する第三目標画素を特定するように構成される第四特定サブユニットと、を含む。
【０３３５】
可能な一実施形態では、充填モジュール２４は、サブマラートライアングル領域における各画素に対応する、サブマラートライアングルの中心と画素との連結線に位置する第一目標画素をそれぞれ特定するように構成される第四特定サブモジュール２４１と、各画素の値を対応する第一目標画素の値にそれぞれ更新するように構成される第一更新サブモジュール２４２と、該顔画像における第一基準ポイントを特定するように構成される第五特定サブモジュール２４３と、サブマラートライアングルの中心が第一基準ポイントに指しているベクトルを第一基準ベクトルとして特定するように構成される第六特定サブモジュール２４４と、第一基準ベクトルに基づき、サブマラートライアングル領域における各画素に対応する、該画素に指しているベクトルが第一基準ベクトルの方向と同じである第二目標画素をそれぞれ特定するように構成される第七特定サブモジュール２４５と、各画素の値を対応する第二目標画素の値にそれぞれ更新するように構成される第二更新サブモジュール２４６と、該顔画像における第二基準ポイントを特定するように構成される第八特定サブモジュール２４７と、サブマラートライアングルの中心が第二基準ポイントに指しているベクトルを第二基準ベクトルとして特定するように構成される第九特定サブモジュール２４８と、第二基準ベクトルに基づき、サブマラートライアングル領域における各画素に対応する、該画素に指しているベクトルが第二基準ベクトルの方向と同じである第三目標画素をそれぞれ特定するように構成される第十特定サブモジュール２４９と、各画素の値を対応する第三目標画素の値にそれぞれ更新するように構成される第三更新サブモジュール２４０と、を含む。
【０３３６】
本開示の実施例は顔画像における顔キーポイントおよび顔回転角度を取得し、顔キーポイントおよび顔回転角度に基づき、顔画像におけるサブマラートライアングルの中心を特定し、顔キーポイントおよびサブマラートライアングルの中心に基づき、顔画像におけるサブマラートライアングル領域を特定し、サブマラートライアングル領域に色を充填することで、サブマラートライアングル領域の位置を正確に特定でき、正確に位置特定したサブマラートライアングル領域に基づいてサブマラートライアングルに対して充填処理を行い、より自然な充填効果を得ることができる。
【０３３７】
本開示の実施例はさらに、プロセッサに実行される時に上記方法を実現するコンピュータプログラム命令が記憶されているコンピュータ読み取り可能記憶媒体を提供する。コンピュータ読み取り可能記憶媒体は不揮発性コンピュータ読み取り可能記憶媒体であってもよい。
【０３３８】
本開示の実施例はさらに、プロセッサおよびプロセッサ執行可能命令を記憶するためのメモリを含む電子機器であって、前記プロセッサは前記コンピュータプログラムを実行する時、本開示の実施例に記載の方法を実行するために用いられる電子機器を提供する。
【０３３９】
電子機器は端末、サーバまたは他の形の機器として提供できる。
【０３４０】
図２２は一例示的実施例により示された電子機器８００の構成模式図である。例えば、電子機器８００は携帯電話、コンピュータ、デジタル放送端末、メッセージ送受信装置、ゲームコンソール、タブレットデバイス、医療機器、フィットネス機器、携帯情報端末などの端末であってもよい。
【０３４１】
図２２を参照すると、電子機器８００は処理コンポーネント８０２、メモリ８０４、電源コンポーネント８０６、マルチメディアコンポーネント８０８、オーディオコンポーネント８１０、入力／出力（Ｉ／Ｏ）のインタフェース８１２、センサコンポーネント８１４、および通信コンポーネント８１６の一つ以上を含むことができる。
【０３４２】
処理コンポーネント８０２は通常、電子機器８００の全体的な動作、例えば表示、電話の呼び出し、データ通信、カメラ動作および記録動作に関連する動作を制御する。処理コンポーネント８０２は、上記方法の全てまたは一部のステップを完了するために、一つ以上のプロセッサ８２０を含んで命令を実行することができる。また、処理コンポーネント８０２は、他のコンポーネントとの対話のために、一つ以上のモジュールを含むことができる。例えば、処理コンポーネント８０２は、マルチメディアコンポーネント８０８との対話のために、マルチメディアモジュールを含むことができる。
【０３４３】
メモリ８０４は電子機器８００での動作をサポートするために様々なタイプのデータを記憶するように構成される。これらのデータの例は電子機器８００において実行するためのあらゆるアプリケーションプログラムまたは方法の命令、連絡先データ、電話帳データ、メッセージ、ピクチャー、ビデオなどを含む。メモリ８０４は、例えば静的ランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクなどの様々なタイプの揮発性または非揮発性記憶機器またはそれらの組み合わせによって実現できる。
【０３４４】
電源コンポーネント８０６は電子機器８００の各コンポーネントに電力を供給する。電源コンポーネント８０６は電源管理システム、一つ以上の電源、および電子機器８００のための電力生成、管理および配分に関連する他のコンポーネントを含むことができる。
【０３４５】
マルチメディアコンポーネント８０８は前記電子機器８００とユーザとの間で出力インタフェースを提供する画面を含む。いくつかの実施例では、画面は液晶ディスプレイ（ＬＣＤ、Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）およびタッチパネル（ＴＰ、Ｔｏｕｃｈ  Ｐａｎｅｌ）を含むことができる。画面がタッチパネルを含む場合、ユーザからの入力信号を受信するために、タッチ画面として実現してもよい。タッチパネルは、タッチ、スライドおよびタッチパネルでのジェスチャを検知するために、一つ以上のタッチセンサを含む。前記タッチセンサはタッチまたはスライド動きの境界を検知するのみならず、前記タッチまたはスライド操作に関連する持続時間および圧力を検出することもできる。いくつかの実施例では、マルチメディアコンポーネント８０８は前面カメラおよび／または後面カメラを含む。電子機器８００が動作モード、例えば撮影モードまたは撮像モードになる場合、前面カメラおよび／または後面カメラは外部のマルチメディアデータを受信することができる。各前面カメラおよび後面カメラは固定された光学レンズ系または焦点距離および光学ズーム能力を有するものであってもよい。
【０３４６】
オーディオコンポーネント８１０はオーディオ信号を出力および／または入力するように構成される。例えば、オーディオコンポーネント８１０は、電子機器８００が動作モード、例えば呼び出しモード、記録モードおよび音声認識モードになる場合、外部のオーディオ信号を受信するように構成されるマイク（ＭＩＣ）を含む。受信されたオーディオ信号はさらにメモリ８０４に記憶されるか、または通信コンポーネント８１６によって送信されてもよい。いくつかの実施例では、オーディオコンポーネント８１０はさらに、オーディオ信号を出力するためのスピーカーを含む。
【０３４７】
Ｉ／Ｏインタフェース８１２は処理コンポーネント８０２と周辺インタフェースモジュールとの間でインタフェースを提供し、上記周辺インタフェースモジュールはキーボード、クリックホイール、ボタンなどであってもよい。これらのボタンはホームボタン、音量ボタン、スタートボタンおよびロックボタンを含むことができるが、これらに限定されない。
【０３４８】
センサコンポーネント８１４は電子機器８００に各面での状態評価を提供するための一つ以上のセンサを含む。例えば、センサコンポーネント８１４は電子機器８００のオン／オフ状態、コンポーネントの相対的位置決め、例えば前記コンポーネントが電子機器８００の表示装置およびキーパッドであることを検出でき、センサコンポーネント８１４はさらに、電子機器８００または電子機器８００のあるコンポーネントの位置の変化、ユーザと電子機器８００との接触の有無、電子機器８００の方位または加減速および電子機器８００の温度変化を検出できる。センサコンポーネント８１４は、いかなる物理的接触もない場合に近傍の物体の存在を検出するために用いられるように構成される近接センサを含む。センサコンポーネント８１４はさらに、相補型金属酸化物半導体（ＣＭＯＳ、Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）または電荷結合素子（ＣＣＤ、Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）イメージセンサのような、イメージングアプリケーションにおいて使用するための光センサを含むことができる。いくつかの実施例では、該センサコンポーネント８１４はさらに、加速度センサ、ジャイロスコープセンサ、磁気センサ、圧力センサまたは温度センサを含むことができる。
【０３４９】
通信コンポーネント８１６は電子機器８００と他の機器との間の有線または無線通信を実現するように配置される。電子機器８００は通信規格に基づく無線ネットワーク、例えばワイヤレスフィデリティ（ＷｉＦｉ）、２Ｇまたは３Ｇ、またはそれらの組み合わせにアクセスできる。一例示的実施例では、通信コンポーネント８１６は放送チャネルによって外部の放送管理システムの放送信号または放送関連情報を受信する。一例示的実施例では、前記通信コンポーネント８１６はさらに、近距離通信を促進させるために、近距離無線通信（ＮＦＣ）モジュールを含む。例えば、ＮＦＣモジュールでは無線周波数識別（ＲＦＩＤ、Ｒａｄｉｏ  Ｆｒｅｑｕｅｎｃｙ  Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）技術、赤外線データ協会（ＩｒＤＡ、Ｉｎｆｒａｒｅｄ  Ｄａｔａ  Ａｓｓｏｃｉａｔｉｏｎ）技術、超広帯域（ＵＷＢ、Ｕｌｔｒａ  Ｗｉｄｅｂａｎｄ）技術、ブルートゥース（登録商標）（ＢＴ、Ｂｌｕｅ  Ｔｏｏｔｈ）技術および他の技術によって実現できる。
【０３５０】
例示的な実施例では、電子機器８００は一つ以上の特定用途向け集積回路（ＡＳＩＣ、Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、デジタル信号プロセッサ（ＤＳＰ、Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ、Ｐｒｏｇｒａｍｍａｂｌｅ  Ｌｏｇｉｃ  Ｄｅｖｉｃｅ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ、Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子要素によって実現し、上記方法を実行するために用いることができる。
【０３５１】
例示的な実施例では、さらに、非揮発性コンピュータ読み取り可能記憶媒体、例えばコンピュータプログラム命令を含むメモリ８０４が提供され、上記コンピュータプログラム命令は電子機器８００のプロセッサ８２０によって実行して上記方法を完了することができる。
【０３５２】
図２３は一例示的実施例により示された電子機器１９００の構成模式図である。例えば、電子機器１９００はサーバとして提供できる。図２３を参照すると、電子機器１９００は、さらに一つ以上のプロセッサを含む処理コンポーネント１９２２、および、処理コンポーネント１９２２によって実行可能な命令、例えばアプリケーションプログラムを記憶するための、メモリ１９３２を代表とするメモリ資源を含む。メモリ１９３２に記憶されたアプリケーションプログラムはそれぞれが１グループの命令に対応する一つ以上のモジュールを含むことができる。また、処理コンポーネント１９２２は命令を実行し、それによって上記方法を実行するように構成される。
【０３５３】
電子機器１９００はさらに、電子機器１９００の電源管理を実行するように構成される電源コンポーネント１９２６、電子機器１９００をネットワークにアクセスするように構成される有線または無線ネットワークインタフェース１９５０、および入出力（Ｉ／Ｏ）インタフェース１９５８を含むことができる。電子機器１９００はメモリ１９３２に記憶されたオペレーティングシステム、例えばＷｉｎｄｏｗｓ（登録商標）  ＳｅｒｖｅｒＴＭ、Ｍａｃ  ＯＳ  ＸＴＭ、ＵｎｉｘＴＭ、ＬｉｎｕｘＴＭ、ＦｒｅｅＢＳＤＴＭまたは類似するものに基づいて動作できる。
【０３５４】
例示的な実施例では、さらに、非揮発性コンピュータ読み取り可能記憶媒体、例えばコンピュータプログラム命令を含むメモリ１９３２が提供され、上記コンピュータプログラム命令は電子機器１９００の処理コンポーネント１９２２によって実行して上記方法を完了することができる。
【０３５５】
本開示の実施例はシステム、方法および／またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品はプロセッサに本開示の実施例の各態様を実現させるためのコンピュータ読み取り可能プログラム命令がロードされているコンピュータ読み取り可能記憶媒体を含むことができる。
【０３５６】
コンピュータ読み取り可能記憶媒体は命令実行機器により使用される命令を保存および記憶可能な有形機器であってもよい。コンピュータ読み取り可能記憶媒体は例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置または上記の任意の適当な組み合わせであってもよいが、これらに限定されない。コンピュータ読み取り可能記憶媒体のさらに具体的な例（非包括的リスト）としては、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ、Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、読み取り専用メモリ（ＲＯＭ、Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、静的ランダムアクセスメモリ（ＳＲＡＭ、Ｓｔａｔｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、携帯型コンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、機械的符号化装置、例えば命令が記憶されているせん孔カードまたはスロット内突起構造、および上記の任意の適当な組み合わせを含む。ここで使用されるコンピュータ読み取り可能記憶媒体は瞬時信号自体、例えば無線電波または他の自由に伝播される電磁波、導波路または他の伝送媒体を経由して伝播される電磁波（例えば、光ファイバーケーブルを通過するパルス光）、または電線を経由して伝送される電気信号と解釈されるものではない。
【０３５７】
ここで記述したコンピュータ読み取り可能プログラム命令はコンピュータ読み取り可能記憶媒体から各計算／処理機器にダウンロードされてもよいし、またはネットワーク、例えばインターネット、ローカルエリアネットワーク、広域ネットワークおよび／または無線ネットワークによって外部のコンピュータまたは外部記憶装置にダウンロードされてもよい。ネットワークは銅伝送ケーブル、光ファイバー伝送、無線伝送、ルーター、ファイアウォール、交換機、ゲートウェイコンピュータおよび／またはエッジサーバを含むことができる。各計算／処理機器内のネットワークアダプタカードまたはネットワークインタフェースはネットワークからコンピュータ読み取り可能プログラム命令を受信し、該コンピュータ読み取り可能プログラム命令を転送し、各計算／処理機器内のコンピュータ読み取り可能記憶媒体に記憶する。
【０３５８】
本開示の動作を実行するためのコンピュータプログラム命令はアセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械語命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」言語または類似するプログラミング言語などの一般的な手続き型プログラミング言語を含む一つ以上のプログラミング言語の任意の組み合わせで書かれたソースコードまたは目標コードであってもよい。コンピュータ読み取り可能プログラム命令は、完全にユーザのコンピュータにおいて実行されてもよく、部分的にユーザのコンピュータにおいて実行されてもよく、スタンドアロンソフトウェアパッケージとして実行されてもよく、部分的にユーザのコンピュータにおいてかつ部分的にリモートコンピュータにおいて実行されてもよく、または完全にリモートコンピュータもしくはサーバにおいて実行されてもよい。リモートコンピュータに関与する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意の種類のネットワークを経由してユーザのコンピュータに接続されてもよく、または、（例えばインターネットサービスプロバイダを利用してインターネットを経由して）外部コンピュータに接続されてもよい。いくつかの実施例では、コンピュータ読み取り可能プログラム命令の状態情報を利用して、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）またはプログラマブル論理アレイ（ＰＬＡ）などの電子回路をパーソナライズすることで、該電子回路はコンピュータ読み取り可能プログラム命令を実行し、それにより本開示の各態様を実現できるようになる。
【０３５９】
なお、ここで本開示の実施例に係る方法、装置（システム）およびコンピュータプログラム製品のフローチャートおよび／またはブロック図を参照しながら本開示の各態様を説明しが、フローチャートおよび／またはブロック図の各ブロックおよびフローチャートおよび／またはブロック図の各ブロックの組み合わせは、いずれもコンピュータ読み取り可能プログラム命令によって実現できることを理解すべきである。
【０３６０】
これらのコンピュータ読み取り可能プログラム命令は、機械を製造するために、共通コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサへ提供されてもよく、それにより、これらの命令はコンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行され、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現する手段を創出する。また、これらのコンピュータ読み取り可能プログラム命令は、コンピュータ読み取り可能記憶媒体に記憶し、それによってコンピュータ、プログラマブルデータ処理装置および／または他の機器を特定の方式で動作させるようにしてもよく、それにより、中に保存された命令を有するコンピュータ読み取り可能記憶媒体は、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作の各態様を実現する命令を含む製品を備える。
【０３６１】
コンピュータ読み取り可能プログラムはコンピュータ、他のプログラマブルデータ処理装置、または他の機器にロードすることにより、コンピュータ実施プロセスを生成するように、コンピュータ、他のプログラマブルデータ処理装置または他の機器において一連の動作ステップを実行させるようにしてもよく、それにより、コンピュータ、他のプログラマブルデータ処理装置、または他の機器において実行される命令はフローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現する。
【０３６２】
図面のうちフローチャートおよびブロック図は本開示の複数の実施例に係るシステム、方法およびコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能および動作を示す。この点では、フローチャートまたはブロック図における各ブロックは一つのモジュール、プログラムセグメントまたは命令の一部分を代表することができ、前記モジュール、プログラムセグメントまたは命令の一部分は指定された論理機能を実現するための一つ以上の実行可能命令を含む。いくつかの置換としての実現形態では、ブロックに表記される機能は図面に付したものと異なる順序で実現してもよい。例えば、二つの連続的なブロックは実質的に同時に実行してもよく、また、係る機能によって、それらは逆な順序で実行してもよい場合がある。なお、ブロック図および／またはフローチャートにおける各ブロック、およびブロック図および／またはフローチャートにおけるブロックの組み合わせは、指定される機能または動作を実行するハードウェアに基づく専用システムによって実現してもよいし、または専用ハードウェアとコンピュータ命令との組み合わせによって実現してもよいことに注意すべきである。
【０３６３】
以上、本開示の各実施例を記述したが、上記説明は例示的なものに過ぎず、網羅的なものではなく、かつ披露された各実施例に限定されるものでもない。当業者にとって、説明された各実施例の範囲および精神から逸脱することなく、様々な修正および変更が自明である。本明細書に選ばれた用語は、各実施例の原理、実際の適用または市場における技術への技術的改善を好適に解釈するか、または他の当業者に本文に披露された各実施例を理解させるためのものである。
【図１】
2021501924.tif 000071
【図２ａ】
2021501924.tif 000072
【図２ｂ】
2021501924.tif 000073
【図３】
2021501924.tif 000074
【図４】
2021501924.tif 000075
【図５】
2021501924.tif 000076
【図６】
2021501924.tif 000077
【図７】
2021501924.tif 000078
【図８】
2021501924.tif 000079
【図９】
2021501924.tif 000080
【図１０】
2021501924.tif 000081
【図１１】
2021501924.tif 000082
【図１２】
2021501924.tif 000083
【図１３】
2021501924.tif 000084
【図１４】
2021501924.tif 000085
【図１５】
2021501924.tif 000086
【図１６】
2021501924.tif 000087
【図１７】
2021501924.tif 000088
【図１８】
2021501924.tif 000089
【図１９】
2021501924.tif 000090
【図２０】
2021501924.tif 000091
【図２１】
2021501924.tif 000092
【図２２】
2021501924.tif 000093
【図２３】
2021501924.tif 000094
【手続補正書】
【提出日】令和1年12月20日(2019.12.20)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
顔画像における顔キーポイントおよび顔回転角度を取得することと、
前記顔キーポイントおよび前記顔回転角度に基づき、前記顔画像におけるサブマラートライアングルの中心を特定することと、
前記顔キーポイントおよび前記サブマラートライアングルの中心に基づき、前記顔画像におけるサブマラートライアングル領域を特定することと、
前記サブマラートライアングル領域に色を充填することと、を含む、顔画像の処理方法。
【請求項２】
前記顔キーポイントおよび前記顔回転角度に基づき、前記顔画像におけるサブマラートライアングルの中心を特定する前記ステップは、
前記顔キーポイントに対して補間処理を行い、前記顔画像におけるサブマラートライアングルの中心の推定位置を特定することと、
前記顔回転角度に基づき、前記サブマラートライアングルの中心の推定位置を調整し、前記顔画像におけるサブマラートライアングルの中心を得ることと、を含む、請求項１に記載の方法。
【請求項３】
前記顔キーポイントおよび前記サブマラートライアングルの中心に基づき、前記顔画像におけるサブマラートライアングル領域を特定する前記ステップは、
前記顔キーポイントを繋ぎ、前記顔キーポイントに対応する多角形を得ることと、
前記多角形内の前記サブマラートライアングルの中心を円心とした最大の円を前記顔画像におけるサブマラートライアングルの外輪郭円として特定することと、
前記サブマラートライアングルの外輪郭円に基づき、前記顔画像におけるサブマラートライアングル領域を特定することと、を含む、請求項１または２に記載の方法。
【請求項４】
前記サブマラートライアングルの外輪郭円に基づき、前記顔画像におけるサブマラートライアングル領域を特定する前記ステップは、
前記顔画像における顔輪郭線を用いて前記サブマラートライアングルの外輪郭円を調整し、前記顔画像におけるサブマラートライアングル領域を得ることを含む、請求項３に記載の方法。
【請求項５】
前記顔画像における顔輪郭線を用いて前記サブマラートライアングルの外輪郭円を調整し、前記顔画像におけるサブマラートライアングル領域を得る前記ステップは、
前記顔画像における顔輪郭線に対してサンプリングし、前記顔輪郭線におけるサンプリングポイントを得ることと、
前記サブマラートライアングルの外輪郭円に対してサンプリングし、前記サブマラートライアングルの外輪郭円におけるサンプリングポイントを得ることと、
前記顔輪郭線におけるサンプリングポイントと前記サブマラートライアングルの外輪郭円におけるサンプリングポイントとに対してカーブフィッティングを行い、前記顔画像におけるサブマラートライアングル領域を得ることと、を含む、請求項４に記載の方法。
【請求項６】
前記サブマラートライアングル領域に色を充填する前記ステップは、
前記サブマラートライアングル領域における各画素に対応する第一目標画素をそれぞれ特定することであって、前記画素に対応する第一目標画素が、前記サブマラートライアングルの中心と前記画素との連結線に位置する、ことと、
前記各画素の値を対応する第一目標画素の値にそれぞれ更新することと、を含む、請求項１から５のいずれか一項に記載の方法。
【請求項７】
前記サブマラートライアングル領域における各画素に対応する第一目標画素をそれぞれ特定する前記ステップは、
サブマラートライアングルの充填程度係数に基づき、前記サブマラートライアングル領域における各画素に対応する第一目標画素をそれぞれ特定することを含む、請求項６に記載の方法。
【請求項８】
前記サブマラートライアングル領域における各画素に対応する第一目標画素をそれぞれ特定する前記ステップは、
二次導関数が常に０より大きい下に凸関数を採用して、前記サブマラートライアングル領域における各画素に対応する第一目標画素をそれぞれ特定することを含む、請求項６または７に記載の方法。
【請求項９】
前記サブマラートライアングル領域に色を充填する前記ステップは、
前記顔画像における第一基準ポイントを特定することと、
前記サブマラートライアングルの中心が前記第一基準ポイントに指しているベクトルを第一基準ベクトルとして特定することと、
前記第一基準ベクトルに基づき、前記サブマラートライアングル領域における各画素に対応する第二目標画素をそれぞれ特定することであって、前記画素に対応する第二目標画素が前記画素に指しているベクトルが、前記第一基準ベクトルの方向と同じである、ことと、
前記各画素の値を対応する第二目標画素の値にそれぞれ更新することと、を含む、請求項１から８のいずれか一項に記載の方法。
【請求項１０】
前記第一基準ポイントと鼻先キーポイントとの距離は前記サブマラートライアングルの中心と鼻先キーポイントとの距離よりも大きい、請求項９に記載の方法。
【請求項１１】
前記第一基準ベクトルに基づき、前記サブマラートライアングル領域における各画素に対応する第二目標画素をそれぞれ特定する前記ステップは、
前記サブマラートライアングルの中心と前記サブマラートライアングル領域における第一画素との間の第一距離を特定することと、
サブマラートライアングルの外輪郭円の半径、前記第一距離および前記第一基準ベクトルのノルムに基づき、第一係数を特定することと、
前記第一画素、前記第一係数および前記第一基準ベクトルに基づき、前記第一画素に対応する第二目標画素を特定することと、を含む、請求項９または１０に記載の方法。
【請求項１２】
サブマラートライアングルの外輪郭円の半径、前記第一距離および前記基準ベクトルのノルムに基づき、第一係数を特定する前記ステップは、
前記サブマラートライアングルの外輪郭円の半径の二乗と前記第一距離の二乗との第一の差を計算することと、
前記第一の差を前記第一基準ベクトルのノルムの二乗と加算し、第一の和を得ることと、
前記第一の差と前記第一の和との比を計算し、前記第一係数を得ることと、を含む、請求項１１に記載の方法。
【請求項１３】
前記第一画素、前記第一係数および前記第一基準ベクトルに基づき、前記第一画素に対応する第二目標画素を特定する前記ステップは、
第一基準画素が前記第一画素に指しているベクトルを、第一画素ベクトルとして特定することと、
前記第一係数と前記第一基準ベクトルとの第一の積を計算することと、
前記第一画素ベクトルと第一の積との差を計算し、前記第一画素に対応する第二目標画素ベクトルを得ることと、
前記第一基準画素の位置、および前記第一画素に対応する第二目標画素ベクトルに基づき、前記第一画素に対応する第二目標画素を特定することと、を含む、請求項１１または１２に記載の方法。
【請求項１４】
前記サブマラートライアングル領域に色を充填する前記ステップは、
前記顔画像における第二基準ポイントを特定することと、
前記サブマラートライアングルの中心が前記第二基準ポイントに指しているベクトルを、第二基準ベクトルとして特定することと、
前記第二基準ベクトルに基づき、前記サブマラートライアングル領域における各画素に対応する第三目標画素をそれぞれ特定することであって、前記画素に対応する第三目標画素が前記画素に指しているベクトルが、前記第二基準ベクトルの方向と同じである、ことと、
前記各画素の値を対応する第三目標画素の値にそれぞれ更新することと、を含む、請求項１から１３のいずれか一項に記載の方法。
【請求項１５】
前記第二基準ポイントは前記サブマラートライアングルの中心と下瞼キーポイントとの連結線に位置する、請求項１４に記載の方法。
【請求項１６】
前記第二基準ベクトルに基づき、前記サブマラートライアングル領域における各画素に対応する第三目標画素をそれぞれ特定する前記ステップは、
前記サブマラートライアングルの中心と前記サブマラートライアングル領域における第二画素との間の第二距離を特定することと、
サブマラートライアングルの外輪郭円の半径、前記第二距離および前記第二基準ベクトルのノルムに基づき、第二係数を特定することと、
前記第二画素、前記第二係数および前記第二基準ベクトルに基づき、前記第二画素に対応する第三目標画素を特定することと、を含む、請求項１４または１５に記載の方法。
【請求項１７】
サブマラートライアングルの外輪郭円の半径、前記第二距離および前記第二基準ベクトルのノルムに基づき、第二係数を特定する前記ステップは、
前記サブマラートライアングルの外輪郭円の半径の二乗と前記第二距離の二乗との第二の差を計算することと、
前記第二の差を前記第二基準ベクトルのノルムの二乗と加算し、第二の和を得ることと、
前記第二の差と前記第二の和との比を計算し、前記第二係数を得ることと、を含む、請求項１６に記載の方法。
【請求項１８】
前記第二画素、前記第二係数および前記第二基準ベクトルに基づき、前記第二画素に対応する第三目標画素を特定する前記ステップは、
第二基準画素が前記第二画素に指しているベクトルを、第二画素ベクトルとして特定することと、
前記第二係数と前記第二基準ベクトルとの第二の積を計算することと、
前記第二画素ベクトルと第二の積との差を計算し、前記第二画素に対応する第三目標画素ベクトルを得ることと、
前記第二基準画素の位置、および前記第二画素に対応する第三目標画素ベクトルに基づき、前記第二画素に対応する第三目標画素を特定することと、を含む、請求項１６または１７に記載の方法。
【請求項１９】
前記サブマラートライアングル領域に色を充填する前記ステップは、
前記サブマラートライアングル領域における各画素に対応する第一目標画素をそれぞれ特定することであって、前記画素に対応する第一目標画素が、前記サブマラートライアングルの中心と前記画素との連結線に位置する、ことと、
前記各画素の値を対応する第一目標画素の値にそれぞれ更新することと、
前記顔画像における第一基準ポイントを特定することであって、前記第一基準ポイントと鼻先キーポイントとの距離が前記サブマラートライアングルの中心と鼻先キーポイントとの距離よりも大きい、ことと、
前記サブマラートライアングルの中心が前記第一基準ポイントに指しているベクトルを第一基準ベクトルとして特定することと、
前記第一基準ベクトルに基づき、前記サブマラートライアングル領域における各画素に対応する第二目標画素をそれぞれ特定することであって、前記画素に対応する第二目標画素が前記画素に指しているベクトルが、前記第一基準ベクトルの方向と同じである、ことと、
前記各画素の値を対応する第二目標画素の値にそれぞれ更新することと、
前記サブマラートライアングルの中心と下瞼キーポイントとの連結線に位置する前記顔画像における第二基準ポイントを特定することと、
前記サブマラートライアングルの中心が前記第二基準ポイントに指しているベクトルを、第二基準ベクトルとして特定することと、
前記第二基準ベクトルに基づき、前記サブマラートライアングル領域における各画素に対応する第三目標画素をそれぞれ特定することであって、前記画素に対応する第三目標画素が前記画素に指しているベクトルが、前記第二基準ベクトルの方向と同じである、ことと
前記各画素の値を対応する第三目標画素の値にそれぞれ更新することと、を含む、請求項１から５のいずれか一項に記載の方法。
【請求項２０】
顔画像における顔キーポイントおよび顔回転角度を取得するように構成される取得モジュールと、
前記顔キーポイントおよび前記顔回転角度に基づき、前記顔画像におけるサブマラートライアングルの中心を特定するように構成される第一特定モジュールと、
前記顔キーポイントおよび前記サブマラートライアングルの中心に基づき、前記顔画像におけるサブマラートライアングル領域を特定するように構成される第二特定モジュールと、
前記サブマラートライアングル領域に色を充填するように構成される充填モジュールと、を含む、顔画像の処理装置。
【請求項２１】
プロセッサおよびプロセッサ実行可能命令を記憶するためのメモリを含む電子機器であって、
前記プロセッサは前記コンピュータプログラムを実行する時、請求項１から１９のいずれか一項に記載の方法を実行するために用いられる、電子機器。
【請求項２２】
プロセッサに実行される時に請求項１から１９のいずれか一項に記載の方法を実現するコンピュータプログラム命令が記憶されている、コンピュータ読み取り可能記憶媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００４６
【補正方法】変更
【補正の内容】
【００４６】
以下の図面と関連付けられた例示的な実施例に対する詳細な説明によれば、本開示の他の特徴および態様は明確になる。
本願明細書は、例えば、以下の項目も提供する。
（項目１）
顔画像における顔キーポイントおよび顔回転角度を取得することと、
前記顔キーポイントおよび前記顔回転角度に基づき、前記顔画像におけるサブマラートライアングルの中心を特定することと、
前記顔キーポイントおよび前記サブマラートライアングルの中心に基づき、前記顔画像におけるサブマラートライアングル領域を特定することと、
前記サブマラートライアングル領域に色を充填することと、を含む、顔画像の処理方法。
（項目２）
前記顔キーポイントおよび前記顔回転角度に基づき、前記顔画像におけるサブマラートライアングルの中心を特定する前記ステップは、
前記顔キーポイントに対して補間処理を行い、前記顔画像におけるサブマラートライアングルの中心の推定位置を特定することと、
前記顔回転角度に基づき、前記サブマラートライアングルの中心の推定位置を調整し、前記顔画像におけるサブマラートライアングルの中心を得ることと、を含む、項目１に記載の方法。
（項目３）
前記顔キーポイントおよび前記サブマラートライアングルの中心に基づき、前記顔画像におけるサブマラートライアングル領域を特定する前記ステップは、
前記顔キーポイントを繋ぎ、前記顔キーポイントに対応する多角形を得ることと、
前記多角形内の前記サブマラートライアングルの中心を円心とした最大の円を前記顔画像におけるサブマラートライアングルの外輪郭円として特定することと、
前記サブマラートライアングルの外輪郭円に基づき、前記顔画像におけるサブマラートライアングル領域を特定することと、を含む、項目１または２に記載の方法。
（項目４）
前記サブマラートライアングルの外輪郭円に基づき、前記顔画像におけるサブマラートライアングル領域を特定する前記ステップは、
前記顔画像における顔輪郭線を用いて前記サブマラートライアングルの外輪郭円を調整し、前記顔画像におけるサブマラートライアングル領域を得ることを含む、項目３に記載の方法。
（項目５）
前記顔画像における顔輪郭線を用いて前記サブマラートライアングルの外輪郭円を調整し、前記顔画像におけるサブマラートライアングル領域を得る前記ステップは、
前記顔画像における顔輪郭線に対してサンプリングし、前記顔輪郭線におけるサンプリングポイントを得ることと、
前記サブマラートライアングルの外輪郭円に対してサンプリングし、前記サブマラートライアングルの外輪郭円におけるサンプリングポイントを得ることと、
前記顔輪郭線におけるサンプリングポイントと前記サブマラートライアングルの外輪郭円におけるサンプリングポイントとに対してカーブフィッティングを行い、前記顔画像におけるサブマラートライアングル領域を得ることと、を含む、項目４に記載の方法。
（項目６）
前記サブマラートライアングル領域に色を充填する前記ステップは、
前記サブマラートライアングル領域における各画素に対応する第一目標画素をそれぞれ特定することであって、前記画素に対応する第一目標画素が、前記サブマラートライアングルの中心と前記画素との連結線に位置する、ことと、
前記各画素の値を対応する第一目標画素の値にそれぞれ更新することと、を含む、項目１から５のいずれか一項に記載の方法。
（項目７）
前記サブマラートライアングル領域における各画素に対応する第一目標画素をそれぞれ特定する前記ステップは、
サブマラートライアングルの充填程度係数に基づき、前記サブマラートライアングル領域における各画素に対応する第一目標画素をそれぞれ特定することを含む、項目６に記載の方法。
（項目８）
前記サブマラートライアングル領域における各画素に対応する第一目標画素をそれぞれ特定する前記ステップは、
二次導関数が常に０より大きい下に凸関数を採用して、前記サブマラートライアングル領域における各画素に対応する第一目標画素をそれぞれ特定することを含む、項目６または７に記載の方法。
（項目９）
前記サブマラートライアングル領域に色を充填する前記ステップは、
前記顔画像における第一基準ポイントを特定することと、
前記サブマラートライアングルの中心が前記第一基準ポイントに指しているベクトルを第一基準ベクトルとして特定することと、
前記第一基準ベクトルに基づき、前記サブマラートライアングル領域における各画素に対応する第二目標画素をそれぞれ特定することであって、前記画素に対応する第二目標画素が前記画素に指しているベクトルが、前記第一基準ベクトルの方向と同じである、ことと、
前記各画素の値を対応する第二目標画素の値にそれぞれ更新することと、を含む、項目１から８のいずれか一項に記載の方法。
（項目１０）
前記第一基準ポイントと鼻先キーポイントとの距離は前記サブマラートライアングルの中心と鼻先キーポイントとの距離よりも大きい、項目９に記載の方法。
（項目１１）
前記第一基準ベクトルに基づき、前記サブマラートライアングル領域における各画素に対応する第二目標画素をそれぞれ特定する前記ステップは、
前記サブマラートライアングルの中心と前記サブマラートライアングル領域における第一画素との間の第一距離を特定することと、
サブマラートライアングルの外輪郭円の半径、前記第一距離および前記第一基準ベクトルのノルムに基づき、第一係数を特定することと、
前記第一画素、前記第一係数および前記第一基準ベクトルに基づき、前記第一画素に対応する第二目標画素を特定することと、を含む、項目９または１０に記載の方法。
（項目１２）
サブマラートライアングルの外輪郭円の半径、前記第一距離および前記基準ベクトルのノルムに基づき、第一係数を特定する前記ステップは、
前記サブマラートライアングルの外輪郭円の半径の二乗と前記第一距離の二乗との第一の差を計算することと、
前記第一の差を前記第一基準ベクトルのノルムの二乗と加算し、第一の和を得ることと、
前記第一の差と前記第一の和との比を計算し、前記第一係数を得ることと、を含む、項目１１に記載の方法。
（項目１３）
前記第一画素、前記第一係数および前記第一基準ベクトルに基づき、前記第一画素に対応する第二目標画素を特定する前記ステップは、
第一基準画素が前記第一画素に指しているベクトルを、第一画素ベクトルとして特定することと、
前記第一係数と前記第一基準ベクトルとの第一の積を計算することと、
前記第一画素ベクトルと第一の積との差を計算し、前記第一画素に対応する第二目標画素ベクトルを得ることと、
前記第一基準画素の位置、および前記第一画素に対応する第二目標画素ベクトルに基づき、前記第一画素に対応する第二目標画素を特定することと、を含む、項目１１または１２に記載の方法。
（項目１４）
前記サブマラートライアングル領域に色を充填する前記ステップは、
前記顔画像における第二基準ポイントを特定することと、
前記サブマラートライアングルの中心が前記第二基準ポイントに指しているベクトルを、第二基準ベクトルとして特定することと、
前記第二基準ベクトルに基づき、前記サブマラートライアングル領域における各画素に対応する第三目標画素をそれぞれ特定することであって、前記画素に対応する第三目標画素が前記画素に指しているベクトルが、前記第二基準ベクトルの方向と同じである、ことと、
前記各画素の値を対応する第三目標画素の値にそれぞれ更新することと、を含む、項目１から１３のいずれか一項に記載の方法。
（項目１５）
前記第二基準ポイントは前記サブマラートライアングルの中心と下瞼キーポイントとの連結線に位置する、項目１４に記載の方法。
（項目１６）
前記第二基準ベクトルに基づき、前記サブマラートライアングル領域における各画素に対応する第三目標画素をそれぞれ特定する前記ステップは、
前記サブマラートライアングルの中心と前記サブマラートライアングル領域における第二画素との間の第二距離を特定することと、
サブマラートライアングルの外輪郭円の半径、前記第二距離および前記第二基準ベクトルのノルムに基づき、第二係数を特定することと、
前記第二画素、前記第二係数および前記第二基準ベクトルに基づき、前記第二画素に対応する第三目標画素を特定することと、を含む、項目１４または１５に記載の方法。
（項目１７）
サブマラートライアングルの外輪郭円の半径、前記第二距離および前記第二基準ベクトルのノルムに基づき、第二係数を特定する前記ステップは、
前記サブマラートライアングルの外輪郭円の半径の二乗と前記第二距離の二乗との第二の差を計算することと、
前記第二の差を前記第二基準ベクトルのノルムの二乗と加算し、第二の和を得ることと、
前記第二の差と前記第二の和との比を計算し、前記第二係数を得ることと、を含む、項目１６に記載の方法。
（項目１８）
前記第二画素、前記第二係数および前記第二基準ベクトルに基づき、前記第二画素に対応する第三目標画素を特定する前記ステップは、
第二基準画素が前記第二画素に指しているベクトルを、第二画素ベクトルとして特定することと、
前記第二係数と前記第二基準ベクトルとの第二の積を計算することと、
前記第二画素ベクトルと第二の積との差を計算し、前記第二画素に対応する第三目標画素ベクトルを得ることと、
前記第二基準画素の位置、および前記第二画素に対応する第三目標画素ベクトルに基づき、前記第二画素に対応する第三目標画素を特定することと、を含む、項目１６または１７に記載の方法。
（項目１９）
前記サブマラートライアングル領域に色を充填する前記ステップは、
前記サブマラートライアングル領域における各画素に対応する第一目標画素をそれぞれ特定することであって、前記画素に対応する第一目標画素が、前記サブマラートライアングルの中心と前記画素との連結線に位置する、ことと、
前記各画素の値を対応する第一目標画素の値にそれぞれ更新することと、
前記顔画像における第一基準ポイントを特定することであって、前記第一基準ポイントと鼻先キーポイントとの距離が前記サブマラートライアングルの中心と鼻先キーポイントとの距離よりも大きい、ことと、
前記サブマラートライアングルの中心が前記第一基準ポイントに指しているベクトルを第一基準ベクトルとして特定することと、
前記第一基準ベクトルに基づき、前記サブマラートライアングル領域における各画素に対応する第二目標画素をそれぞれ特定することであって、前記画素に対応する第二目標画素が前記画素に指しているベクトルが、前記第一基準ベクトルの方向と同じである、ことと、
前記各画素の値を対応する第二目標画素の値にそれぞれ更新することと、
前記サブマラートライアングルの中心と下瞼キーポイントとの連結線に位置する前記顔画像における第二基準ポイントを特定することと、
前記サブマラートライアングルの中心が前記第二基準ポイントに指しているベクトルを、第二基準ベクトルとして特定することと、
前記第二基準ベクトルに基づき、前記サブマラートライアングル領域における各画素に対応する第三目標画素をそれぞれ特定することであって、前記画素に対応する第三目標画素が前記画素に指しているベクトルが、前記第二基準ベクトルの方向と同じである、ことと
前記各画素の値を対応する第三目標画素の値にそれぞれ更新することと、を含む、項目１から５のいずれか一項に記載の方法。
（項目２０）
顔画像における顔キーポイントおよび顔回転角度を取得するように構成される取得モジュールと、
前記顔キーポイントおよび前記顔回転角度に基づき、前記顔画像におけるサブマラートライアングルの中心を特定するように構成される第一特定モジュールと、
前記顔キーポイントおよび前記サブマラートライアングルの中心に基づき、前記顔画像におけるサブマラートライアングル領域を特定するように構成される第二特定モジュールと、
前記サブマラートライアングル領域に色を充填するように構成される充填モジュールと、を含む、顔画像の処理装置。
（項目２１）
前記第一特定モジュールは、
前記顔キーポイントに対して補間処理を行い、前記顔画像におけるサブマラートライアングルの中心の推定位置を特定するように構成される第一特定サブモジュールと、
前記顔回転角度に基づき、前記サブマラートライアングルの中心の推定位置を調整し、前記顔画像におけるサブマラートライアングルの中心を得るように構成される調整サブモジュールと、を含む、項目２０に記載の装置。
（項目２２）
前記第二特定モジュールは、
前記顔キーポイントを繋ぎ、前記顔キーポイントに対応する多角形を得るように構成される連結サブモジュールと、
前記多角形内の前記サブマラートライアングルの中心を円心とした最大の円を前記顔画像におけるサブマラートライアングルの外輪郭円として特定するように構成される第二特定サブモジュールと、
前記サブマラートライアングルの外輪郭円に基づき、前記顔画像におけるサブマラートライアングル領域を特定するように構成される第三特定サブモジュールと、を含む、項目２０または２１に記載の装置。
（項目２３）
前記第三特定サブモジュールは、
前記顔画像における顔輪郭線を用いて前記サブマラートライアングルの外輪郭円を調整し、前記顔画像におけるサブマラートライアングル領域を得るように構成される、項目２２に記載の装置。
（項目２４）
前記第三特定サブモジュールは、
前記顔画像における顔輪郭線に対してサンプリングし、前記顔輪郭線におけるサンプリングポイントを得るように構成される第一サンプリングユニットと、
前記サブマラートライアングルの外輪郭円に対してサンプリングし、前記サブマラートライアングルの外輪郭円におけるサンプリングポイントを得るように構成される第二サンプリングユニットと、
前記顔輪郭線におけるサンプリングポイントと前記サブマラートライアングルの外輪郭円におけるサンプリングポイントとに対してカーブフィッティングを行い、前記顔画像におけるサブマラートライアングル領域を得るように構成されるカーブフィッティングユニットと、を含む、項目２３に記載の装置。
（項目２５）
前記充填モジュールは、
前記サブマラートライアングル領域における各画素に対応する第一目標画素をそれぞれ特定するように構成される第四特定サブモジュールであって、前記画素に対応する第一目標画素が、前記サブマラートライアングルの中心と前記画素との連結線に位置する、第四特定サブモジュールと、
前記各画素の値を対応する第一目標画素の値にそれぞれ更新するように構成される第一更新サブモジュールと、を含む、項目２０から２４のいずれか一項に記載の装置。
（項目２６）
前記第四特定サブモジュールは、
サブマラートライアングルの充填程度係数に基づき、前記サブマラートライアングル領域における各画素に対応する第一目標画素をそれぞれ特定するように構成される、項目２５に記載の装置。
（項目２７）
前記第四特定サブモジュールは、
二次導関数が常に０より大きい下に凸関数を採用し、前記サブマラートライアングル領域における各画素に対応する第一目標画素をそれぞれ特定するように構成される、項目２５または２６に記載の装置。
（項目２８）
前記充填モジュールは、
前記顔画像における第一基準ポイントを特定するように構成される第五特定サブモジュールと、
前記サブマラートライアングルの中心が前記第一基準ポイントに指しているベクトルを第一基準ベクトルとして特定するように構成される第六特定サブモジュールと、
前記第一基準ベクトルに基づき、前記サブマラートライアングル領域における各画素に対応する第二目標画素をそれぞれ特定するように構成される第七特定サブモジュールであって、前記画素に対応する第二目標画素が前記画素に指しているベクトルが、前記第一基準ベクトルの方向と同じである、第七特定サブモジュールと、
前記各画素の値を対応する第二目標画素の値にそれぞれ更新するように構成される第二更新サブモジュールと、を含む、項目２０から２７のいずれか一項に記載の装置。
（項目２９）
前記第一基準ポイントと鼻先キーポイントとの距離は前記サブマラートライアングルの中心と鼻先キーポイントとの距離よりも大きい、項目２８に記載の装置。
（項目３０）
前記第七特定サブモジュールは、
前記サブマラートライアングルの中心と前記サブマラートライアングル領域における第一画素との間の第一距離を特定するように構成される第一特定ユニットと、
サブマラートライアングルの外輪郭円の半径、前記第一距離および前記第一基準ベクトルのノルムに基づき、第一係数を特定するように構成される第二特定ユニットと、
前記第一画素、前記第一係数および前記第一基準ベクトルに基づき、前記第一画素に対応する第二目標画素を特定するように構成される第三特定ユニットと、を含む、項目２８または２９に記載の装置。
（項目３１）
前記第二特定ユニットは、
前記サブマラートライアングルの外輪郭円の半径の二乗と前記第一距離の二乗との第一の差を計算するように構成される第一計算サブユニットと、
前記第一の差を前記第一基準ベクトルのノルムの二乗と加算し、第一の和を得るように構成される第二計算サブユニットと、
前記第一の差と前記第一の和との比を計算し、前記第一係数を得るように構成される第三計算サブユニットと、を含む、項目３０に記載の装置。
（項目３２）
前記第三特定ユニットは、
第一基準画素が前記第一画素に指しているベクトルを、第一画素ベクトルとして特定するように構成される第一特定サブユニットと、
前記第一係数と前記第一基準ベクトルとの第一の積を計算するように構成される第四計算サブユニットと、
前記第一画素ベクトルと第一の積との差を計算し、前記第一画素に対応する第二目標画素ベクトルを得るように構成される第五計算サブユニットと、
前記第一基準画素の位置、および前記第一画素に対応する第二目標画素ベクトルに基づき、前記第一画素に対応する第二目標画素を特定するように構成される第二特定サブユニットと、を含む、項目３０または３１に記載の装置。
（項目３３）
前記充填モジュールは、
前記顔画像における第二基準ポイントを特定するように構成される第八特定サブモジュールと、
前記サブマラートライアングルの中心が前記第二基準ポイントに指しているベクトルを、第二基準ベクトルとして特定するように構成される第九特定サブモジュールと、
前記第二基準ベクトルに基づき、前記サブマラートライアングル領域における各画素に対応する第三目標画素をそれぞれ特定するように構成される第十特定サブモジュールであって、前記画素に対応する第三目標画素が前記画素に指しているベクトルが、前記第二基準ベクトルの方向と同じである、第十特定サブモジュールと、
前記各画素の値を対応する第三目標画素の値にそれぞれ更新するように構成される第三更新サブモジュールと、を含む、項目２０から３２のいずれか一項に記載の装置。
（項目３４）
前記第二基準ポイントは前記サブマラートライアングルの中心と下瞼キーポイントとの連結線に位置する、項目３３に記載の装置。
（項目３５）
前記第十特定サブモジュールは、
前記サブマラートライアングルの中心と前記サブマラートライアングル領域における第二画素との間の第二距離を特定するように構成される第四特定ユニットと、
サブマラートライアングルの外輪郭円の半径、前記第二距離および前記第二基準ベクトルのノルムに基づき、第二係数を特定するように構成される第五特定ユニットと、
前記第二画素、前記第二係数および前記第二基準ベクトルに基づき、前記第二画素に対応する第三目標画素を特定するように構成される第六特定ユニットと、を含む、項目３３または３４に記載の装置。
（項目３６）
前記第五特定ユニットは、
前記サブマラートライアングルの外輪郭円の半径の二乗と前記第二距離の二乗との第二の差を計算するように構成される第六計算サブユニットと、
前記第二の差を前記第二基準ベクトルのノルムの二乗と加算し、第二の和を得るように構成される第七計算サブユニットと、
前記第二の差と前記第二の和との比を計算し、前記第二係数を得るように構成される第八計算サブユニットと、を含む、項目３５に記載の装置。
（項目３７）
前記第六特定ユニットは、
第二基準画素が前記第二画素に指しているベクトルを、第二画素ベクトルとして特定するように構成される第三特定サブユニットと、
前記第二係数と前記第二基準ベクトルとの第二の積を計算するように構成される第九計算サブユニットと、
前記第二画素ベクトルと第二の積との差を計算し、前記第二画素に対応する第三目標画素ベクトルを得るように構成される第十計算サブユニットと、
前記第二基準画素の位置、および前記第二画素に対応する第三目標画素ベクトルに基づき、前記第二画素に対応する第三目標画素を特定するように構成される第四特定サブユニットと、を含む、項目３５または３６に記載の装置。
（項目３８）
前記充填モジュールは、
前記サブマラートライアングル領域における各画素に対応する第一目標画素をそれぞれ特定するように構成される第四特定サブモジュールであって、前記画素に対応する第一目標画素が、前記サブマラートライアングルの中心と前記画素との連結線に位置する、第四特定サブモジュールと、
前記各画素の値を対応する第一目標画素の値にそれぞれ更新するように構成される第一更新サブモジュールと、
前記顔画像における第一基準ポイントを特定するように構成される第五特定サブモジュールであって、前記第一基準ポイントと鼻先キーポイントとの距離が前記サブマラートライアングルの中心と鼻先キーポイントとの距離よりも大きい、第五特定サブモジュールと、
前記サブマラートライアングルの中心が前記第一基準ポイントに指しているベクトルを第一基準ベクトルとして特定するように構成される第六特定サブモジュールと、
前記第一基準ベクトルに基づき、前記サブマラートライアングル領域における各画素に対応する第二目標画素をそれぞれ特定するように構成される第七特定サブモジュールであって、前記画素に対応する第二目標画素が前記画素に指しているベクトルが、前記第一基準ベクトルの方向と同じである、第七特定サブモジュールと、
前記各画素の値を対応する第二目標画素の値にそれぞれ更新するように構成される第二更新サブモジュールと、
前記サブマラートライアングルの中心と下瞼キーポイントとの連結線に位置する前記顔画像における第二基準ポイントを特定するように構成される第八特定サブモジュールと、
前記サブマラートライアングルの中心が前記第二基準ポイントに指しているベクトルを、第二基準ベクトルとして特定するように構成される第九特定サブモジュールと、
前記第二基準ベクトルに基づき、前記サブマラートライアングル領域における各画素に対応する第三目標画素をそれぞれ特定するように構成される第十特定サブモジュールであって、前記画素に対応する第三目標画素が前記画素に指しているベクトルが、前記第二基準ベクトルの方向と同じである、第十特定サブモジュールと、
前記各画素の値を対応する第三目標画素の値にそれぞれ更新するように構成される第三更新サブモジュールと、を含む、項目２０から２４のいずれか一項に記載の装置。
（項目３９）
プロセッサおよびプロセッサ実行可能命令を記憶するためのメモリを含む電子機器であって、
前記プロセッサは前記コンピュータプログラムを実行する時、項目１から１９のいずれか一項に記載の方法を実行するために用いられる、電子機器。
（項目４０）
プロセッサに実行される時に項目１から１９のいずれか一項に記載の方法を実現するコンピュータプログラム命令が記憶されている、コンピュータ読み取り可能記憶媒体。
【国際調査報告】
2021501924.tif 000095
2021501924.tif 000096
2021501924.tif 000097
2021501924.tif 000098