(57)【要約】本開示の実施例は、顔画像内の処理待ち目標領域を決定するステップと、前記目標領域をＮ個のサブ領域に区画するステップであって、Ｎが２より大きい整数である、ステップと、各前記サブ領域内の画素点に対してそれぞれ伸縮変換を行って処理後の画像を取得するステップと、を含む画像処理方法及び装置、コンピュータ装置並びにコンピュータ記憶媒体を提供する。顔画像内の顎領域を複数の三角形サブ領域に区画して、伸縮変換アルゴリズムを用いて顎を調整する。
2021529605.tif 000002
【特許請求の範囲】
【請求項１】
画像処理方法であって、
顔画像内の処理待ち目標領域を決定するステップと、
前記目標領域をＮ個のサブ領域に区画するステップであって、Ｎが２以上の整数である、ステップと、
各前記サブ領域内の画素点に対してそれぞれ伸縮変換を行って処理後の画像を取得するステップと、を含む画像処理方法。
【請求項２】
前記顔画像内の処理待ち目標領域を決定するステップは、
取得された前記顎領域の第１特徴点集合と前記顎領域の顔角度情報に従って前記顎領域の充填方向を決定するステップと、
前記充填方向と第１特徴点集合に従って前記顎領域の中心点を決定するステップと、
前記中心点、前記第１特徴点集合及び調整パラメータに従って第２特徴点集合を決定するステップと、
前記第１特徴点集合と前記第２特徴点集合に対してそれぞれ予め設定された補間アルゴリズムにより補間して、前記第１点集合と第２点集合を対応的に取得するステップと、
前記中心点、前記第２点集合及び予め設定された比例に従って前記目標領域を決定するステップと、を含む請求項１に記載の画像処理方法。
【請求項３】
前記中心点、前記第１特徴点集合及び調整パラメータに従って第２特徴点集合を決定するステップは、
前記中心点と前記第１特徴点との第１距離を決定するステップと、
前記調整パラメータに従って第１調整比例を決定するステップと、
前記第１距離と前記第１調整比例に従って第１調整距離を決定するステップと、
前記第１特徴点を前記充填方向に沿って前記第１調整距離だけ延伸させて得た端点を前記第１特徴点に対応する第２特徴点とするステップと、
前記第１特徴集合内の各前記第１特徴点に対応する第２特徴点を取得して、第２特徴点集合を取得するステップと、を含む請求項２に記載の画像処理方法。
【請求項４】
前記目標領域をＮ個のサブ領域に区画するステップは、
前記目標領域の中心点と前記第２点集合の第ｉ個の第２点との第２距離、及び前記中心点と第ｉ＋１個の第２点との第３距離をそれぞれ決定するステップであって、ｉ＝１、２、…、Ｎである、ステップと、
前記第２距離、前記第３距離及び予め設定された第２調整比例に従って第ｉ調整点と第ｉ＋１調整点を決定するステップと、
前記中心点、第ｉ調整点及び第ｉ＋１調整点を順に連結して第ｉ個の三角形サブ領域を構成するステップと、を含む請求項２に記載の画像処理方法。
【請求項５】
前記第２距離、前記第３距離及び予め設定された第２調整比例に従って第ｉ調整点と第ｉ＋１調整点を決定するステップは、
前記第２距離、前記第３距離及び予め設定された第２調整比例に従って第２調整距離と第３調整距離を決定するステップと、
前記第ｉ個の第２点を前記充填方向に沿って前記第２調整距離だけ延伸させて得た端点を第ｉ調整点とするステップであって、前記第ｉ調整点は前記中心点と前記第ｉ個の第２点との第２連結線に位置するステップと、
前記第ｉ＋１個の第２点を前記充填方向に沿って前記第３調整距離だけ延伸させて得た端点を第ｉ＋１調整点とするステップと、を含む請求項４に記載の画像処理方法。
【請求項６】
各前記サブ領域内の画素点に対してそれぞれ伸縮変換を行って処理後の画像を取得するステップは、
第ｉ個の三角面サブ領域内の第ｊ個の画素点の位置情報を取得するステップと、
前記第ｊ個の画素点の位置情報、中心点、第ｉ個の第１点、第ｉ＋１個の第１点、第ｉ個の第２点、前記第ｉ＋１個の第２点、第ｉ調整点及び前記第ｉ＋１調整点に従って伸縮変換関数を決定するステップと、
前記第ｊ個の画素点の位置情報と前記伸縮変換関数に従って第ｊ個の目標位置を決定するステップと、
前記第ｊ個の目標位置に対応する画素値に従って前記第ｊ個の画素点の目標画素値を決定するステップと、
前記第ｊ個の画素点の画素値を前記目標画素値に更新して顎処理後の美化画像を取得するステップと、を含む請求項４に記載の画像処理方法。
【請求項７】
前記第ｊ個の画素点の位置情報、中心点、第ｉ個の第１点、第ｉ＋１個の第１点、第ｉ個の第２点、前記第ｉ＋１個の第２点、第ｉ調整点及び前記第ｉ＋１調整点に従って伸縮変換関数を決定するステップは、
前記中心点と前記第ｊ個の画素点との第４連結線を前記充填方向に沿って延伸させて、第ｉ個の第１点と第ｉ＋１個の第１点との連結線と第１交点で交わらせ、第ｉ個の第２点と前記第ｉ＋１個の第２点との連結線と第２交点で交わらせ、前記第ｉ調整点と前記第ｉ＋１調整点との連結線である三角面サブ領域の底辺と第３交点で交わらせるステップと、
前記中心点と前記第１交点との距離である第４距離、前記中心点と前記第２交点との距離である第５距離及び前記中心点と前記第３交点との距離である第６距離に従って伸縮変換関数を決定するステップと、を含む請求項６に記載の画像処理方法。
【請求項８】
第４距離、第５距離及び第６距離に従って伸縮変換関数を決定するステップは、前記第４距離と前記第６距離との第１比、前記第５距離と前記第６距離との第２比を決定するステップと、前記第１比と前記第２比により第１座標を決定するステップと、前記第１座標と原点座標との連結線の線形方程式を第１区分関数とするステップと、前記第１座標と予め設定された第２座標との連結線の線形方程式を第２区分関数とするステップと、前記第１区分関数と前記第２区分関数に従って伸縮変換関数を決定するステップと、を含む請求項７に記載の画像処理方法。
【請求項９】
前記第ｊ個の画素点の位置情報と前記伸縮変換関数に従って第ｊ個の目標位置を決定するステップは、前記第ｊ個の画素点の位置情報により前記第ｊ個の画素点と前記中心点との第７距離を決定するステップと、前記第７距離と前記第６距離との第３比を決定するステップと、前記第３比を前記伸縮変換関数の入力として出力値を取得するステップと、前記出力値と前記第６距離に従って、第ｊ個の目標位置と前記中心点との距離である第８距離を決定するステップと、前記第８距離と前記中心点により前記第ｊ個の目標位置を決定するステップと、を含む請求項６に記載の画像処理方法。
【請求項１０】
前記第ｊ個の目標位置に対応する画素値に従って前記第ｊ個の画素点の目標画素値を決定するステップは、前記目標位置の座標値が整数であることに応答して、前記目標位置の画素値を前記第ｊ個の画素点の目標画素値とするステップと、前記目標位置の座標値が整数でないことに応答して、予め設定されたアルゴリズムにより前記目標位置に対応する画素値を決定し、前記目標位置に対応する画素値を前記第ｊ個の画素点の目標画素値とするステップと、を含む請求項６に記載の画像処理方法。
【請求項１１】
画像処理装置であって、
顔画像内の処理待ち目標領域を決定するように構成される第１決定モジュールと、前記目標領域をＮ個のサブ領域に区画するように構成される区画モジュールであって、Ｎが２以上の整数である、区画モジュールと、各前記サブ領域内の画素点に対してそれぞれ伸縮変換を行って処理後の画像を取得するように構成される伸縮変換モジュールと、を含む画像処理装置。
【請求項１２】
前記第１決定モジュールは、取得された前記顎領域の第１特徴点集合と前記顎領域の顔角度情報に従って前記顎領域の充填方向を決定するように構成される第１決定ユニットと、前記充填方向と第１特徴点集合に従って前記顎領域の中心点を決定するように構成される第２決定ユニットと、前記中心点、前記第１特徴点集合及び調整パラメータに従って第２特徴点集合を決定するように構成される第３決定ユニットと、前記第１特徴点集合と前記第２特徴点集合に対してそれぞれ予め設定された補間アルゴリズムにより補間して、前記第１点集合と第２点集合を対応的に取得するように構成される補間ユニットと、前記中心点、前記第２点集合及び予め設定された比例に従って前記目標領域を決定するように構成される第４決定ユニットと、を含む請求項１１に記載の画像処理装置。
【請求項１３】
前記第３決定ユニットは、前記中心点と前記第１特徴点との第１距離を決定するように構成される第１決定サブユニットと、前記調整パラメータに従って第１調整比例を決定するように構成される第２決定サブユニットと、前記第１距離と前記第１調整比例に従って第１調整距離を決定するように構成される第２特徴点集合決定サブユニットと、前記第１特徴点を前記充填方向に沿って前記第１調整距離だけ延伸させて得た端点を前記第１特徴点に対応する第２特徴点とするように構成される第１調整ユニットと、前記第１特徴集合内の各前記第１特徴点に対応する第２特徴点を取得して第２特徴点集合を取得するように構成される第２特徴点集合決定サブユニットと、を含む請求項１２に記載の画像処理装置。
【請求項１４】
前記区画モジュールは、前記目標領域の中心点と前記第２点集合の第ｉ個の第２点との第２距離、及び前記中心点と第ｉ＋１個の第２点との第３距離をそれぞれ決定するように構成される第５決定ユニットであって、ｉ＝１、２、…、Ｎである、第５決定ユニットと、前記第２距離、前記第３距離及び予め設定された第２調整比例に従って第ｉ調整点と第ｉ＋１調整点を決定するように構成される第６決定ユニットと、前記中心点、第ｉ調整点及び第ｉ＋１調整点を順に連結して第ｉ個の三角形サブ領域を構成するように構成される連結ユニットと、を含む請求項１１に記載の画像処理装置。
【請求項１５】
前記第６決定ユニットは、前記第２距離、前記第３距離及び予め設定された第２調整比例に従って第２調整距離と第３調整距離を決定するように構成される第４決定サブユニットと、前記第ｉ個の第２点を前記充填方向に沿って前記第２調整距離だけ延伸させて得た端点を、前記中心点と前記第ｉ個の第２点との第２連結線に存在する第ｉ調整点とするように構成される第２調整ユニットと、前記第ｉ＋１個の第２点を前記充填方向に沿って前記第３調整距離だけ延伸させて得た端点を第ｉ＋１調整点とするように構成される第３調整ユニットと、を含む請求項１４に記載の画像処理装置。
【請求項１６】
前記伸縮変換モジュールは、第ｉ個の三角形サブ領域内の第ｊ個の画素点の位置情報を取得するように構成される第１取得ユニットと、前記第ｊ個の画素点の位置情報、中心点、第ｉ個の第１点、第ｉ＋１個の第１点、第ｉ個の第２点、前記第ｉ＋１個の第２点、第ｉ調整点及び前記第ｉ＋１調整点に従って伸縮変換関数を決定するように構成される第７決定ユニットと、前記第ｊ個の画素点の位置情報と前記伸縮変換関数に従って第ｊ個の目標位置を決定するように構成される第８決定ユニットと、前記第ｊ個の目標位置に対応する画素値に従って前記第ｊ個の画素点の目標画素値を決定するように構成される第９決定ユニットと、前記第ｊ個の画素点の画素値を前記目標画素値に更新して顎処理後の美化画像を取得するように構成される更新ユニットと、を含む請求項１１又は１４に記載の画像処理装置。
【請求項１７】
前記第７決定ユニットは、前記中心点と前記第ｊ個の画素点との第４連結線を前記充填方向に沿って延伸させて、第ｉ個の第１点と第ｉ＋１個の第１点との連結線と第１交点で交わらせ、前記第ｉ個の第２点と前記第ｉ＋１個の第２点との連結線と第２交点で交わらせ、前記第ｉ調整点と前記第ｉ＋１調整点との連結線である三角面サブ領域の底辺と第３交点で交わらせるように構成される第１延伸サブユニットと、前記中心点と前記第１交点との距離である第４距離、前記中心点と前記第２交点との距離である第５距離及び前記中心点と前記第３交点との距離である第６距離に従って伸縮変換関数を決定するように構成される伸縮サブユニットと、を含む請求項１６に記載の画像処理装置。
【請求項１８】
前記伸縮サブユニットは、前記第４距離と前記第６距離との第１比、前記第５距離と前記第６距離との第２比を決定し、前記第１比と前記第２比により第１座標を決定し、前記第１座標と原点座標との連結線の線形方程式を第１区分関数とし、前記第１座標と予め設定された第２座標との連結線の線形方程式を第２区分関数とし、前記第１区分関数と前記第２区分関数に従って伸縮変換関数を決定するように構成される請求項１７に記載の画像処理装置。
【請求項１９】
前記第８決定ユニットは、前記第ｊ個の画素点の位置情報により前記第ｊ個の画素点と前記中心点との第７距離を決定するように構成される第５決定サブユニットと、前記第７距離と前記第６距離との第３比を決定するように構成される第６決定サブユニットと、前記第３比を前記伸縮変換関数の入力として出力値を取得するように構成される出力サブユニットと、前記出力値と前記第６距離に従って、第ｊ個の目標位置と前記中心点との距離である第８距離を決定するように構成される第７決定サブユニットと、前記第８距離と前記中心点により前記第ｊ個の目標位置を決定するように構成される第８決定サブユニットと、を含む請求項１６に記載の画像処理装置。
【請求項２０】
前記第９決定ユニットは、前記目標位置の座標値が整数であることに応答して、前記目標位置の画素値を前記第ｊ個の画素点の目標画素値とするように構成される第９決定サブユニットと、前記目標位置の座標値が整数でないことに応答して、予め設定されたアルゴリズムにより前記目標位置に対応する画素値を決定し、前記目標位置に対応する画素値を前記第ｊ個の画素点の目標画素値とするように構成される第１０決定サブユニットと、を含む請求項１６に記載の画像処理装置。
【請求項２１】
コンピュータ実行可能コマンドを記憶したコンピュータ記憶媒体であって、前記コンピュータ実行可能コマンドが実行されると、請求項１〜１０のいずれか一項に記載の方法のステップを実現できるコンピュータ記憶媒体。
【請求項２２】
コンピュータ装置であって、
コンピュータ実行可能コマンドを記憶したメモリと、前記メモリ中のコンピュータ実行可能コマンドを作動させると、請求項１〜１０のいずれか一項に記載の方法のステップを実現できるプロセッサと、を含むコンピュータ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本願は、出願番号が２０１８１１２７８９２７．６で、出願日が２０１８年１０月３０日である中国特許出願に基づいて提出され、且つこの中国特許出願の優先権を主張し、この中国特許出願の全ての内容が参照によって本願に組み込まれる。
【０００２】
本開示の実施例は、コンピュータビジョン通信に関し、画像処理方法及び装置、コンピュータ装置並びにコンピュータ記憶媒体に関するが、それらに限定されない。
【背景技術】
【０００３】
一般的な審美観点から、顎や下顎線が顔型の重心であって美しい顔型輪郭線を提供できる。魅力的な顎は上顎、唇及び下顎の全体的な美感を作り出すことができる。従来の２次元（２−Ｄｉｍｅｎｓｉｏｎａｌ：２Ｄ）顎整形アルゴリズムは、主に顔検出技術と簡単な変形アルゴリズムを利用してイメージ内のヒトの顎に対して「ストレッチ」操作を行って、簡単な「顎」微調整効果を達成する。現在、従来の２Ｄ顎整形アルゴリズムには大きい限界性がある。変形アルゴリズムの効果は顔検出技術の正確度に対する依存性が非常に高く、微細な誤差により「整形失敗」を引き起こすことがあり、また、精度が高くて特徴点が密集しているような顔検出モデルは非常に多い時間がかかり、美顔カメラの撮影とライブプレビュー機能に受け入れられるものではなく、また、ヒトの顎が複雑な立体的形状を有しており、従来のアルゴリズムは一般的に簡単な前向きの顔の顎のみを処理でき、角度、大きさ及び形状が異なる顎の処理が困難であり、従って、２Ｄ美顔は立体感のある五官変形を達成できなく、単純に変形させることで、単に顎輪郭を簡単に伸縮させたりスライドさせたりでき、立体的でふくれているような効果を達成できない。
【発明の概要】
【０００４】
本開示の実施例は、画像処理方法及び装置、コンピュータ装置並びにコンピュータ記憶媒体を提供する。
【０００５】
本開示の実施例の技術的手段は以下のように実現される。
【０００６】
本開示の実施例は、顔画像内の処理待ち目標領域を決定するステップと、前記目標領域をＮ個のサブ領域に区画するステップであって、Ｎが２以上の整数である、ステップと、各前記サブ領域内の画素点に対してそれぞれ伸縮変換を行って処理後の画像を取得するステップと、を含む画像処理方法を提供する。
【０００７】
上記態様では、顔画像内の処理待ち目標領域を決定するステップは、
取得された前記顎領域の第１特徴点集合と前記顎領域の顔角度情報に従って前記顎領域の充填方向を決定するステップと、
前記充填方向と第１特徴点集合に従って前記顎領域の中心点を決定するステップと、
前記中心点、前記第１特徴点集合及び調整パラメータに従って第２特徴点集合を決定するステップと、
前記第１特徴点集合と前記第２特徴点集合に対してそれぞれ予め設定された補間アルゴリズムにより補間して、前記第１点集合と第２点集合を対応的に取得するステップと、
前記中心点、前記第２点集合及び予め設定された比例に従って前記目標領域を決定するステップと、を含む。
【０００８】
上記態様では、前記中心点、前記第１特徴点集合及び調整パラメータに従って第２特徴点集合を決定するステップは、
前記中心点と前記第１特徴点との第１距離を決定するステップと、
前記調整パラメータに従って第１調整比例を決定するステップと、
前記第１距離と前記第１調整比例に従って第１調整距離を決定するステップと、
前記第１特徴点を前記充填方向に沿って前記第１調整距離だけ延伸させて得た端点を前記第１特徴点に対応する第２特徴点とするステップと、
前記第１特徴集合内の各前記第１特徴点に対応する第２特徴点を取得して第２特徴点集合を取得するステップと、を含む。
【０００９】
上記態様では、前記目標領域をＮ個のサブ領域に区画するステップは、
前記目標領域の中心点と前記第２点集合の第ｉ個の第２点との第２距離、及び前記中心点と第ｉ＋１個の第２点との第３距離をそれぞれ決定するステップであって、ｉ＝１、２、…、Ｎである、ステップと、
前記第２距離、前記第３距離及び予め設定された第２調整比例に従って第ｉ調整点と第ｉ＋１調整点を決定するステップと、
前記中心点、第ｉ調整点及び第ｉ＋１調整点を順に連結して第ｉ個の三角形サブ領域を構成するステップと、を含む。
【００１０】
上記態様では、前記第２距離、前記第３距離及び予め設定された第２調整比例に従って第ｉ調整点と第ｉ＋１調整点を決定するステップは、
前記第２距離、前記第３距離及び予め設定された第２調整比例に従って第２調整距離と第３調整距離を決定するステップと、
前記第ｉ個の第２点を前記充填方向に沿って前記第２調整距離だけ延伸させて得た端点を第ｉ調整点とするステップであって、前記第ｉ調整点は前記中心点と前記第ｉ個の第２点との第２連結線に位置するステップと、
前記第ｉ＋１個の第２点を前記充填方向に沿って前記第３調整距離だけ延伸させて得た端点を第ｉ＋１調整点とするステップと、を含む。
【００１１】
上記態様では、各前記サブ領域内の画素点に対してそれぞれ伸縮変換を行って処理後の画像を取得するステップは、
第ｉ個の三角面サブ領域内の第ｊ個の画素点の位置情報を取得するステップと、
前記第ｊ個の画素点の位置情報、中心点、第ｉ個の第１点、第ｉ＋１個の第１点、第ｉ個の第２点、前記第ｉ＋１個の第２点、第ｉ調整点及び前記第ｉ＋１調整点に従って伸縮変換関数を決定するステップと、
前記第ｊ個の画素点の位置情報と前記伸縮変換関数に従って第ｊ個の目標位置を決定するステップと、
前記第ｊ個の目標位置に対応する画素値に従って前記第ｊ個の画素点の目標画素値を決定するステップと、
前記第ｊ個の画素点の画素値を前記目標画素値に更新して顎処理後の美化画像を取得するステップと、を含む。
【００１２】
上記態様では、前記第ｊ個の画素点の位置情報、中心点、第ｉ個の第１点、第ｉ＋１個の第１点、第ｉ個の第２点、前記第ｉ＋１個の第２点、第ｉ調整点及び前記第ｉ＋１調整点に従って伸縮変換関数を決定するステップは、
前記中心点と前記第ｊ個の画素点との第４連結線を前記充填方向に沿って延伸させて、第ｉ個の第１点と第ｉ＋１個の第１点との連結線と第１交点で交わらせ、第ｉ個の第２点と前記第ｉ＋１個の第２点との連結線と第２交点で交わらせ、前記第ｉ調整点と前記第ｉ＋１調整点との連結線である三角面サブ領域の底辺と第３交点で交わらせるステップと、
前記中心点と前記第１交点との距離である第４距離、前記中心点と前記第２交点との距離である第５距離及び前記中心点と前記第３交点との距離である第６距離に従って伸縮変換関数を決定するステップと、を含む。
【００１３】
上記態様では、第４距離、第５距離及び第６距離に従って伸縮変換関数を決定するステップは、前記第４距離と前記第６距離との第１比、前記第５距離と前記第６距離との第２比を決定するステップと、前記第１比と前記第２比により第１座標を決定するステップと、前記第１座標と原点座標との連結線の線形方程式を第１区分関数とするステップと、前記第１座標と予め設定された第２座標との連結線の線形方程式を第２区分関数とするステップと、前記第１区分関数と前記第２区分関数に従って伸縮変換関数を決定するステップと、を含む。
【００１４】
上記態様では、前記第ｊ個の画素点の位置情報と前記伸縮変換関数に従って第ｊ個の目標位置を決定するステップは、前記第ｊ個の画素点の位置情報により前記第ｊ個の画素点と前記中心点との第７距離を決定するステップと、前記第７距離と前記第６距離との第３比を決定するステップと、前記第３比を前記伸縮変換関数の入力として出力値を取得するステップと、前記出力値と前記第６距離に従って、第ｊ個の目標位置と前記中心点との距離である第８距離を決定するステップと、前記第８距離と前記中心点により前記第ｊ個の目標位置を決定するステップと、を含む。
【００１５】
上記態様では、前記第ｊ個の目標位置に対応する画素値に従って前記第ｊ個の画素点の目標画素値を決定するステップは、前記目標位置の座標値が整数であることに応答して、前記目標位置の画素値を前記第ｊ個の画素点の目標画素値とするステップと、前記目標位置の座標値が整数でないことに応答して、予め設定されたアルゴリズムにより前記目標位置に対応する画素値を決定し、前記目標位置に対応する画素値を前記第ｊ個の画素点の目標画素値とするステップと、を含む。
【００１６】
本開示の実施例は、少なくとも、顔画像内の処理待ち目標領域を決定するように構成される第１決定モジュールと、前記目標領域をＮ個のサブ領域に区画するように構成される区画モジュールであって、Ｎが２以上の整数である、区画モジュールと、各前記サブ領域内の画素点に対してそれぞれ伸縮変換を行って処理後の画像を取得するように構成される伸縮変換モジュールと、を含む画像処理装置を提供する。
【００１７】
上記態様では、前記第１決定モジュールは、取得された前記顎領域の第１特徴点集合と前記顎領域の顔角度情報に従って前記顎領域の充填方向を決定するように構成される第１決定ユニットと、前記充填方向と第１特徴点集合に従って前記顎領域の中心点を決定するように構成される第２決定ユニットと、前記中心点、前記第１特徴点集合及び調整パラメータに従って第２特徴点集合を決定するように構成される第３決定ユニットと、前記第１特徴点集合と前記第２特徴点集合に対してそれぞれ予め設定された補間アルゴリズムにより補間して、前記第１点集合と第２点集合を対応的に取得するように構成される補間ユニットと、前記中心点、前記第２点集合及び予め設定された比例に従って前記目標領域を決定するように構成される第４決定ユニットと、を含む。
【００１８】
上記態様では、前記第３決定ユニットは、前記中心点と前記第１特徴点との第１距離を決定するように構成される第１決定サブユニットと、前記調整パラメータに従って第１調整比例を決定するように構成される第２決定サブユニットと、前記第１距離と前記第１調整比例に従って第１調整距離を決定するように構成される第２特徴点集合決定サブユニットと、前記第１特徴点を前記充填方向に沿って前記第１調整距離だけ延伸させて得た端点を前記第１特徴点に対応する第２特徴点とするように構成される第１調整ユニットと、前記第１特徴集合内の各前記第１特徴点に対応する第２特徴点を取得して第２特徴点集合を取得するように構成される第２特徴点集合決定サブユニットと、を含む。
【００１９】
上記態様では、前記区画モジュールは、前記目標領域の中心点と前記第２点集合の第ｉ個の第２点との第２距離、及び前記中心点と第ｉ＋１個の第２点との第３距離をそれぞれ決定するように構成される第５決定ユニットであって、ｉ＝１、２、…、Ｎである、第５決定ユニットと、前記第２距離、前記第３距離及び予め設定された第２調整比例に従って第ｉ調整点と第ｉ＋１調整点を決定するように構成される第６決定ユニットと、前記中心点、第ｉ調整点及び第ｉ＋１調整点を順に連結して第ｉ個の三角形サブ領域を構成するように構成される連結ユニットと、を含む。
【００２０】
上記態様では、前記第６決定ユニットは、前記第２距離、前記第３距離及び予め設定された第２調整比例に従って第２調整距離と第３調整距離を決定するように構成される第４決定サブユニットと、前記第ｉ個の第２点を前記充填方向に沿って前記第２調整距離だけ延伸させて得た端点を、前記中心点と前記第ｉ個の第２点との第２連結線に存在する第ｉ調整点とするように構成される第２調整ユニットと、前記第ｉ＋１個の第２点を前記充填方向に沿って前記第３調整距離だけ延伸させて得た端点を第ｉ＋１調整点とするように構成される第３調整ユニットと、を含む。
【００２１】
上記態様では、前記伸縮変換モジュールは、第ｉ個の三角形サブ領域内の第ｊ個の画素点の位置情報を取得するように構成される第１取得ユニットと、前記第ｊ個の画素点の位置情報、中心点、第ｉ個の第１点、第ｉ＋１個の第１点、第ｉ個の第２点、前記第ｉ＋１個の第２点、第ｉ調整点及び前記第ｉ＋１調整点に従って伸縮変換関数を決定するように構成される第７決定ユニットと、前記第ｊ個の画素点の位置情報と前記伸縮変換関数に従って第ｊ個の目標位置を決定するように構成される第８決定ユニットと、前記第ｊ個の目標位置に対応する画素値に従って前記第ｊ個の画素点の目標画素値を決定するように構成される第９決定ユニットと、前記第ｊ個の画素点の画素値を前記目標画素値に更新して顎処理後の美化画像を取得するように構成され更新ユニットと、を含む。
【００２２】
上記態様では、前記第７決定ユニットは、前記中心点と前記第ｊ個の画素点との第４連結線を前記充填方向に沿って延伸させて、第ｉ個の第１点と第ｉ＋１個の第１点との連結線と第１交点で交わらせ、前記第ｉ個の第２点と前記第ｉ＋１個の第２点との連結線と第２交点で交わらせ、前記第ｉ調整点と前記第ｉ＋１調整点との連結線である三角面サブ領域の底辺と第３交点で交わらせるように構成される第１延伸サブユニットと、前記中心点と前記第１交点との距離である第４距離、前記中心点と前記第２交点との距離である第５距離及び前記中心点と前記第３交点との距離である第６距離に従って伸縮変換関数を決定するように構成される伸縮サブユニットと、を含む。
【００２３】
上記態様では、前記伸縮サブユニットは、前記第４距離と前記第６距離との第１比、前記第５距離と前記第６距離との第２比を決定しと、前記第１比と前記第２比により第１座標を決定し、前記第１座標と原点座標との連結線の線形方程式を第１区分関数とし、前記第１座標と予め設定された第２座標との連結線の線形方程式を第２区分関数とし、前記第１区分関数と前記第２区分関数に従って伸縮変換関数を決定するように構成される。
【００２４】
上記態様では、前記第８決定ユニットは、前記第ｊ個の画素点の位置情報により前記第ｊ個の画素点と前記中心点との第７距離を決定するように構成される第５決定サブユニットと、前記第７距離と前記第６距離との第３比を決定するように構成される第６決定サブユニットと、前記第３比を前記伸縮変換関数の入力として出力値を取得するように構成される出力サブユニットと、前記出力値と前記第６距離に従って、第ｊ個の目標位置と前記中心点との距離である第８距離を決定するように構成される第７決定サブユニットと、前記第８距離と前記中心点により前記第ｊ個の目標位置を決定するように構成される第８決定サブユニットと、を含む。
【００２５】
上記態様では、前記第９決定ユニットは、前記目標位置の座標値が整数であることに応答して、前記目標位置の画素値を前記第ｊ個の画素点の目標画素値とするように構成される第９決定サブユニットと、前記目標位置の座標値が整数でないことに応答して、予め設定されたアルゴリズムにより前記目標位置に対応する画素値を決定し、前記目標位置に対応する画素値を前記第ｊ個の画素点の目標画素値とするように構成される第１０決定サブユニットと、を含む。
【００２６】
本開示の実施例は、コンピュータ実行可能コマンドを含むコンピュータ記憶媒体であって、該コンピュータ実行可能コマンドが実行されると、本開示の実施例で提供される画像処理方法におけるステップを実現できるコンピュータ記憶媒体を提供する。
【００２７】
本開示の実施例は、コンピュータ実行可能コマンドを記憶したメモリと、前記メモリ中のコンピュータ実行可能コマンドを作動させると、本開示の実施例で提供される画像処理方法におけるステップを実現できるプロセッサと、を含むコンピュータ装置を提供する。
【００２８】
本開示の実施例では、顔画像内の顎領域をＮ個の連続した三角形サブ領域に区画し、更に予め設定された伸縮変換アルゴリズムを用いて顎を調整し、顎輪郭周囲の所定範囲の領域に対して全体的な変形を行うことによって、特徴点誤差による悪影響を低減できるだけでなく、全体的な効果がより安定であり、調整された顎がより美しくなる。
【図面の簡単な説明】
【００２９】
【図１Ａ】本開示の実施例のネットワークアーキテクチャの構成模式図である。
【図１Ｂ】本開示の実施例の画像処理方法の実現プロセスの模式図である。
【図１Ｃ】本開示の実施例の画像処理方法を実現するネットワークアーキテクチャの図である。
【図１Ｄ】本開示の実施例の画像処理方法を実現する別のネットワークアーキテクチャの図である。
【図２】本開示の実施例の画像処理方法の別の実現プロセスの模式図である。
【図３】本開示の実施例の画像処理方法の更に別の実現プロセスの模式図である。
【図４】本開示の実施例の顎と目標顎輪郭のフィッテング折れ線の模式図である。
【図５】本開示の実施例で顎を複数の三角面に分割した模式図である。
【図６】本開示の実施例の１つの三角面の構成図である。
【図７Ａ】本開示の実施例での顎のストレッチに対応する伸縮変換関数の曲線グラフである。
【図７Ｂ】本開示の実施例での顎の収縮に対応する伸縮変換関数の曲線グラフである。
【図８】本開示の実施例で１つの三角面に対してストレッチ変換を行う模式図である。
【図９】本開示の実施例で顎領域がストレッチされた効果図である。
【図１０】本開示の実施例で１つの三角面に対して収縮変換を行う模式図である。
【図１１】本開示の実施例で顎領域が収縮された効果図である。
【図１２】本開示の実施例の画像処理装置の構成模式図である。
【図１３】本開示の実施例のコンピュータ装置の構成模式図である。
【発明を実施するための形態】
【００３０】
本開示の目的、技術的解決手段及び利点をより明確にするために、以下に本開示の実施例における図面を参照しながら、発明の具体的な技術的手段を更に詳細に説明する。以下の実施例は、本開示を説明するためのものであり、本開示の範囲に制限を加えない。
【００３１】
本実施例はまずネットワークアーキテクチャを提供し、図１Ａは本開示の実施例のネットワークアーキテクチャの構成模式図であり、図１Ａに示すように、該ネットワークアーキテクチャには２つ又は複数のコンピュータ装置１１〜１Ｎ及びサーバ３０を含み、ここでコンピュータ装置１１〜１Ｎ及びサーバ３０はネットワーク２１を介して対話する。コンピュータ装置１１〜１Ｎは本開示の実施例で提供される画像処理方法を適用可能なＡＰＰをインストールした端末装置であると考えられ、ユーザが被処理顔画像を該ＡＰＰに入力すると、ＡＰＰが顔画像をサーバ３０に伝送し、次にサーバ３０が本実施例の画像処理方法を用いて該顔画像を処理し、処理後の画像を取得し、該ＡＰＰに返信し、最後に処理された画像をコンピュータ装置１１〜１Ｎの前記ＡＰＰで表示する。コンピュータ装置は、実現過程では、例えば、携帯電話、タブレットコンピュータ、デスクトップ型パソコン、携帯用情報端末、ナビゲーション装置、ディジタル電話、テレビ等を含む情報処理能力を有する各種のコンピュータ装置であってよい。本実施例は、２Ｄ美顔により立体感のある五官変形を達成できなく、単純に変形させることで、単に顎輪郭を簡単に伸縮させたりスライドさせたりでき、立体的でふくれているような効果を達成できないという問題を効果的に解決できる画像処理方法を提供し、該方法は、コンピュータ装置に用いられ、実現する機能がコンピュータ装置におけるプロセッサによってプログラムコードを呼び出すことで実現可能になり、プログラムコードがコンピュータ記憶媒体に保存されてよいことが勿論であり、そのように、該コンピュータ装置は少なくともプロセッサと記憶媒体を含む。
【００３２】
本開示の実施例は画像処理方法を提供し、本開示の実施例の画像処理方法を実現するフローチャートである図１Ｂに示すように、前記方法は以下ステップを含む。
【００３３】
ステップＳ１０１において、顔画像内の処理待ち目標領域を決定する。ここで、顔画像内の処理待ち目標領域を決定する前記ステップは、図５に示すように、点Ａを中心点として、顎実際輪郭及び目標輪郭における左右両側の端点と連結して、扇形領域を形成すると理解でき、該扇形領域が処理待ち目標領域となる。前記処理待ち目標領域は少なくとも顔画像内の顎領域を含み、前記顔画像は任意の角度で撮影された顎領域含有画像、例えば、自撮りした又は側面から撮影した顔画像であってよい。前記ステップＳ１０１はコンピュータ装置により実現されてよく、更に、前記コンピュータ装置は、例えば、移動電話（携帯電話）、タブレットコンピュータ、ノートパソコン等の無線通信能力を有する携帯端末装置、デスクトップパソコン等の移動しにくいインテリジェント端末装置のようなインテリジェント端末であってよい。前記コンピュータ装置は、処理待ち目標領域を処理するためのものである。
【００３４】
ステップＳ１０２において、前記目標領域をＮ個のサブ領域に区画する。ここで、前記Ｎ個のサブ領域はＮ個の連続した三角面であってよく、前記ステップＳ１０２は、前記目標領域をＮ個の連続した三角面に区画し、Ｎが２以上の整数であり、各前記三角面に同じ頂角を有する第１サブ三角面と同じ頂角を有する第２サブ三角面が埋め込まれていると理解できる。ここで、前記目標領域をＮ個の連続した三角面に区画するステップは、前記目標領域の輪郭の次元上で前記目標領域をＮ個の連続した三角面に区画し、即ち前記目標領域の輪郭に沿って前記目標領域をＮ個の連続した三角面に区画し、輪郭における被区画線分を前記三角面の底辺とするステップを含む。前記目標領域をＮ個の連続した三角面に区画する前記ステップは、顔画像内の顎領域をＮ個の連続した三角面に区画すると理解である。図５に示すように、中心点、顎実際輪郭及び目標輪郭における点で構成される扇形領域について、順に中心点Ａを頂点として、目標輪郭における２つの隣接する点の連結線を底辺として、Ｎ個の連続した三角面に区画する。前記第１サブ三角面の底辺は前記顎領域の実際輪郭における隣接する２つの点で形成され、前記第２サブ三角面は前記顎領域の目標輪郭（即ち、取得したい調整後の顎輪郭）における隣接する２つの点で形成される。
【００３５】
ステップＳ１０３において、各前記サブ領域内の画素点に対してそれぞれ伸縮変換を行って処理後の画像を取得する。ここで、ステップＳ１０３は、予め設定された伸縮変換アルゴリズムを用いて、各前記三角面の第１サブ三角面と第２サブ三角面の各頂点の位置情報により対応する三角面内の画素点に対して伸縮変換を行って処理後の画像を取得すると理解できる。Ｎ個の三角面内のそれぞれについて、予め設定された伸縮変化アルゴリズムを用いて該三角面内の画素点に対して伸縮変換を行う。予め設定された伸縮変換アルゴリズムを用いて三角面内の画素点に対して伸縮変換を行うステップは、予め設定された伸縮変化アルゴリズムを用いて第１サブ三角面内の画素点の画素値を第２サブ三角面のうち、該画素点に対応する第２サブ三角面内の画素点の画素値と取り替えると理解できる。顎をストレッチする時に、第１サブ三角面が第２サブ三角面内に埋め込まれ、顎を収縮する時に、第２サブ三角面が第１サブ三角面内に埋め込まれる。例えば、顎領域内の複数の三角面の１つがＡＢＣであり、頂角が角Ａであり、ＢＣが底辺であり、三角面ＡＢＣに第１サブ三角面ＡＤＥと第２サブ三角面ＡＦＧが埋め込まれ、顎領域をストレッチしようとする時に、予め設定された伸縮変換アルゴリズムにより領域ＤＥＦＧ内の画素点の画素値を第１サブ三角面ＡＤＥ内の画素点に対応する画素値と取り替え、それは底辺ＤＥの画素値を底辺ＦＧに移して顎領域をストレッチする効果を達成することに相当する。
【００３６】
本開示の実施例で提供される画像処理方法では、顔画像内の顎領域をＮ個の連続した三角形サブ領域に区画し、更に予め設定された伸縮変換アルゴリズムを用いて顎を調整し、顎輪郭周囲の所定範囲の領域に対して全体的な変形を行うことによって、顔の変形処理による誤差を減少できるだけでなく、顔変形の全体的な効果がより安定であり、調整された顎がより美しくなる。実現するプロセスで、本実施例で提供される画像処理方法は、ローカル装置で実現されてもよく、即ち、装置にアプリケーションがインストールされており、顎領域を含む顔画像が取得された時に、顎領域が適宜調整され、次に調整された画像がユーザに表示され、また、サーバ端末で実現されてもよく、即ち、装置により先に顎領域を含む１枚の画像が取得され、次に該画像がサーバに伝送され、サーバにより該顎領域が調整され、次に調整された顔画像（即ち、処理された画像）が装置に返信され、調整された顔画像が装置によりユーザに表示される。本実施例で提供される画像処理方法がローカル装置で実現される時に、装置にクライアントがインストールされ、即ちコンピュータ装置に画像処理を実行可能なアプリケーションがインストールされていてもよく、このように、図１Ｃに示すように、ユーザが本実施例で提供される画像処理方法を用いて画像処理を実行可能なアプリケーションがインストールされた装置１２を用いて撮影する時に、取得されたユーザ１３の顔画像内の顎領域が装置１２中のアプリケーションにより調整されてからユーザに表示される画像は、顎が調整された後の顔画像である。
【００３７】
いくつかの実施例では、本実施例で提供される画像処理方法はサーバ端末で実現されてもよく、図１Ｄに示すように、このように、取得された顎領域含有顔画像が装置１２によりサーバに送信され、装置１２からネットワーク２１を介して送信される顔画像がサーバ３０により受信され、このようにステップＳ１０１がサーバにより実現され、つまり、上記の方法がサーバ端末で実現される場合に、コンピュータ装置から送信される顔画像内の処理待ち目標領域がサーバにより受信され、即ち、サーバは、顔画像内の処理待ち目標領域を決定し、次に前記目標領域をＮ個の連続した三角面に区画し、最後に予め設定された伸縮変換アルゴリズムによって前記三角面内の画素点に対して伸縮変換を行い、処理された画像を取得するようになっており、以上のプロセスから分かるように、上記プロセスは全てサーバ端末で実行され、最後に処理された画像がサーバにより機器に送信可能であり、このように装置は処理された画像を受信した後、処理された画像をユーザに出力する。
【００３８】
いくつかの実施例では、前記ステップＳ１０３は、以下のステップを含む。ステップＳ１３１において、第ｉ個の三角形サブ領域内の第ｊ個の画素点の位置情報を取得する。ここで、前記第ｊ個の画素点は該三角面内のいずれか１つの点であってよく、前記位置情報は少なくとも該第ｊ個の画素点からその所在する三角面の頂点までの距離を含む。ステップＳ１３２において、前記第ｊ個の画素点の位置情報、中心点、第ｉ個の第１点、第ｉ＋１個の第１点、第ｉ個の第２点、前記第ｉ＋１個の第２点、第ｉ調整点及び前記第ｉ＋１調整点に従って伸縮変換関数を決定する。ここで、中心点は全ての三角面の頂点であり、第１点は第１特徴点集合に対して予め設定された補間アルゴリズムにより補間して得られる第１点集合内の点であり、前記第２点は予め設定された力パラメータにより第１点と中心点との連結線を調整して得られるものであり、顎をストレッチしようとする時に、前記予め設定された力パラメータが０〜１であり、予め設定された力パラメータ値が大きいほど、顎が長くストレッチされ、顎を収縮しようとする時に、前記予め設定された力パラメータが−１〜０であり、前記予め設定された力パラメータ値が小さいほど、顎が多く収縮され、即ち得られた収縮後の顎が短い。前記調整点は前記中心点と前記第ｉ個の第２点との第２連結線を前記充填方向に沿って前記第２調整距離で調整して得られるものである。例えば、中心点と第ｉ個の第２点との第２連結線を前記充填方向（即ち、伸び方向又は短縮方向）に沿って第２調整距離だけ延伸させて、第ｉ調整点を取得する。ステップＳ１３３において、前記第ｊ個の画素点の位置情報と前記伸縮変換関数に従って第ｊ個の目標位置を決定する。ここで、伸縮変換関数の出力値を比例係数として第６距離に掛ければ第ｊ個の目標位置と前記中心点との距離が得られ、前記第６距離は中心点と前記第３交点との距離であり、第３交点は前記中心点と前記第ｊ個の画素点との第４連結線を前記充填方向に沿って延伸させて、三角面の底辺と交わらせて得られるものである。ステップＳ１３４において、前記第ｊ個の目標位置に対応する画素値に従って前記第ｊ個の画素点の目標画素値を決定する。ここで、前記第ｊ個の目標位置に対応する画素値に従って前記第ｊ個の画素点の目標画素値を決定するステップは、目標位置の座標値が整数であることに応答して、前記目標位置の画素値を前記第ｊ個の画素点の目標画素値とすること、目標位置の座標値が整数でないことに応答して、予め設定されたアルゴリズムにより前記目標位置に対応する画素値を決定し、前記目標位置に対応する画素値を前記第ｊ個の画素点の目標画素値とすることという２種の場合を含む。ここで、前記目標位置の座標値が整数でない時に、双線形補間アルゴリズムを用いて前記目標位置に対応する画素値を決定する。第ｊ個の目標位置に対応する画素値を用いて前記第ｊ個の画素点の目標画素値を取り替え、即ち第ｊ個の画素点が第ｊ個の目標位置と取り替えられ、このように顎をストレッチしようとする時に、第ｊ個の画素点が第ｊ個の目標位置の下に位置するので、第ｊ個の目標位置の画素値を用いて第ｊ個の画素点の画素値を取り替えるのは、第ｊ個の画素点を後へ第ｊ個の目標位置の所在する位置に移したことに相当し、例えば、第ｊ個の画素点が顎の目標輪郭と顎実際輪郭との間の一点（即ち、第１サブ三角面の底辺と第２サブ三角面の底辺との間の一点）であれば、第ｊ個の画素点に対応する画素値がネックの色に対応する画素値であることが可能であり、第ｊ個の目標位置が第ｊ個の画素点の前に位置するべきであり、即ち第ｊ個の目標位置が顎の色に対応する画素値であることが可能であり、第ｊ個の目標位置の画素値を用いて第ｊ個の画素点の画素値を取り替えるのは、即ち顎の色に対応する画素値を用いて顎の下の延伸領域のネックの色に対応する画素値を取り替えることであり、顎をストレッチする効果を達成可能である。顎を収縮しようとする時に、第ｊ個の画素点が第ｊ個の目標位置の上に位置するため、第ｊ個の目標位置の画素値を用いて第ｊ個の画素点の画素値を取り替えるのは、第ｊ個の画素点を前へ第ｊ個の目標位置の所在する位置に移すしたことに相当し、例えば、第ｊ個の画素点が顎の目標輪郭と顎実際輪郭との間の一点（即ち、第１サブ三角面の底辺と第２サブ三角面の底辺との間の一点）であれば、第ｊ個の画素点に対応する画素値が依然として顎の色に対応する画素値であり、第ｊ個の目標位置が第ｊ個の画素点の後に位置するべきであり、即ち第ｊ個の目標位置がネックの色に対応する画素値であることが可能であり、第ｊ個の目標位置の画素値を用いて第ｊ個の画素点の画素値を取り替えるのは、顎の下のネックの色に対応する画素値を用いて顎の色に対応する画素値を取り替えることであり、顎を収縮する効果を達成可能である。ステップＳ１３５において、前記第ｊ個の画素点の画素値を前記目標画素値に更新して顎処理後の美化画像を取得する。ここで、前記第ｊ個の画素点の画素値を前記目標画素値に更新する前記ステップは、目標画素値を用いて第ｊ個の画素点の画素値を取り替えると理解できる。
【００３９】
本実施例では、目標位置の画素値を用いて対応する画素点の画素値を取り替えることによって、原顔画像内の顎領域のストレッチ又は短縮を実現する。
【００４０】
本開示の実施例は画像処理方法を提供し、本開示の実施例の画像処理方法を実現する別のフローチャートである図２に示すように、前記方法は以下のステップを含む。
【００４１】
ステップＳ２０１において、取得された前記顎領域の第１特徴点集合と前記顎領域の顔角度情報に従って前記顎領域の充填方向を決定する。ここで、前記顔角度情報は顔画像内の顔が正面から左へずれた角度又は正面から右へずれた角度であってよく、前記第１特徴点集合は顔検出アルゴリズムにより該顎領域を検出した後の特徴点であり、例えば、顎輪郭の左右両側と底部に分布した３つの特徴点が挙げられる。第１特徴点集合は顔検出アルゴリズムを用いて検出された顎領域の実際輪郭におけるいつくかの特徴点である。
【００４２】
ステップＳ２０２において、前記充填方向と第１特徴点集合に従って前記顎領域の中心点を決定する。ここで、前記顎領域の中心点については、図４に示すように、点Ａは中心点である。
【００４３】
ステップＳ２０３において、前記中心点、前記第１特徴点集合及び調整パラメータに従って第２特徴点集合を決定する。ここで、第１特徴点集合内の第１特徴点と中心点を連結して連結線（該連結線の長さが第１距離である）を形成し、次に調整パラメータに従って第１調整比例を決定し、第１距離に前記第１調整比例を掛け、第１調整距離が取得され、最後に前記第１特徴点を前記充填方向に沿って前記第１調整距離で連結して得られる端点を、対応する第２特徴点（即ち、中心点と第１特徴点との第１連結線を充填方向に沿って第１調整距離の長さでストレッチ又は短縮して得られる端点）とし、このように類推するように、第１特徴点集合に対応する点集合を取得し、該点集合が即ち第２特徴点集合となる。顎領域を延伸させようとする時に、前記調整パラメータが０〜１の値であり、調整パラメータの値が大きいほど、顎領域が長く延伸し、顎領域を収縮しようとする時に、前記調整パラメータが−１〜０の値であり、調整パラメータの値が小さいほど、顎領域が多く短縮される。
【００４４】
ステップＳ２０４において、前記第１特徴点集合と前記第２特徴点集合に対してそれぞれ予め設定された補間アルゴリズムにより補間して、前記第１点集合と第２点集合を対応的に取得する。ここで、予め設定された補間アルゴリズムとしては、ポリゴンフィッテング手法（Ｃａｔｍｕｌｌ−Ｒｏｍ）を採用してよく、第１特徴点集合と第２特徴点集合に従ってそれぞれ顎領域の実際輪郭と目標輪郭に対して補間して第１点集合と第２点集合を取得し、即ち、図４に示すように、第１特徴点集合が顎領域の実際輪郭４１における点集合である。前記第２特徴点集合が顎領域の目標輪郭４２における点集合である。
【００４５】
ステップＳ２０５において、前記中心点、前記第２点集合及び予め設定された比例に従って前記目標領域を決定する。ここで、予め設定された比例はストレッチ又は短縮しようとする長さに依存するものであり、例えば、顎領域をストレッチしようとする時に、予め設定された比例を１より大きい数に設定してよい。中心点と第２点集合内の点を連結して連結線を形成し予め設定された比例を掛け、該連結線を調整し、数量が第２点集合内の点数と同じな点集合を取得し、中心点と該点集合の最も左側の点とを連結し（即ち、連結線５１を形成）、中心点と該点集合の最も右側の点とを連結し、且つ連結線５２まで、連結線５１から逆時計回りに回転するように点集合中の各点を連結し、これらの２本の線間の領域が目標領域となる。図５に示すように、連結線５１と連結線５２との間の領域が目標領域となる。
【００４６】
ステップＳ２０６において、前記目標領域の中心点と第２点集合の第ｉ個の第２点との第２距離、前記中心点と第ｉ＋１個の第２点との第３距離をそれぞれ決定する。ここで、ｉ＝１、２、…、Ｎ、（Ｎ＋１）が第２点の総数であり、第２点が第２点集合内の点である。図６に示すように、前記中心点と第ｉ個の第２点との第２距離は、中心点Ａと顎の目標輪郭における点Ｆとの連結線ＡＦであると考えられる。そのように前記中心点と第ｉ＋１個の第２点との第３距離は、中心点Ａと顎目標輪郭における点Ｆに隣接する点Ｇとの連結線ＡＧであり、第２サブ三角面ＡＦＧの底辺がＦＧとなる。
【００４７】
ステップＳ２０７において、前記第２距離、前記第３距離及び予め設定された第２調整比例に従って第ｉ調整点と第ｉ＋１調整点を決定する。ここで、顎領域をストレッチしようとする時に、前記予め設定された第２調整比例を１．１に設定してよく、前記第２距離、前記第３距離及び予め設定された第２調整比例に従って第ｉ調整点と第ｉ＋１調整点を決定するステップは、前記第２距離、前記第３距離及び予め設定された第２調整比例に従って第２調整距離と第３調整距離を決定するステップと、前記第ｉ個の第２点を前記充填方向に沿って前記第２調整距離で連結して得られる端点を第ｉ調整点とするステップであって、前記第ｉ調整点は前記中心点と前記第ｉ個の第２点との第２連結線に位置するステップと、前記第ｉ＋１個の第２点を前記充填方向に沿って前記第３調整距離で連結して得られる端点を第ｉ＋１調整点とするステップと、を含む。図５に示すように、ＡＦを充填方向に沿って第２調整距離だけ延伸させて点Ｂ（即ち、第ｉ調整点）を取得し、ＡＧを充填方向に沿って第２調整距離だけ延伸させて点Ｃ（即ち、第ｉ＋１調整点）を取得する。
【００４８】
ステップＳ２０８において、前記中心点、第ｉ調整点及び第ｉ＋１調整点を順に連結して第ｉ個の三角形サブ領域を構成する。
【００４９】
ステップＳ２０９において、第ｉ個の三角形サブ領域内の第ｊ個の画素点の位置情報を取得する。ここで、前記第ｊ個の画素点の位置情報は少なくとも前記第ｊ個の画素点から中心点までの距離を含み、図６に示すように、第ｊ個の画素点は三角面ＡＢＣ内の任意点Ｐであってよい。
【００５０】
ステップＳ２１０において、前記第ｊ個の画素点の位置情報、中心点、第ｉ個の第１点、第ｉ＋１個の第１点、第ｉ個の第２点、前記第ｉ＋１個の第２点、第ｉ調整点及び前記第ｉ＋１調整点に従って伸縮変換関数を決定する。ここで、前記伸縮変換関数は中心点と第ｊ個の画素点に依存するものであり、得られた出力結果によれば第ｊ個の目標位置を決定でき、第ｊ個の目標位置を用いて第ｊ個の画素点の画素値を取り替えることが実現され、顎をストレッチ又は短縮する効果が実現される。
【００５１】
ステップＳ２１１において、前記第ｊ個の画素点の位置情報と前記伸縮変換関数に従って第ｊ個の目標位置を決定する。
【００５２】
ステップＳ２１２において、前記第ｊ個の目標位置に対応する画素値に従って前記第ｊ個の画素点の目標画素値を決定する。
【００５３】
ステップＳ２１３において、前記第ｊ個の画素点の画素値を前記目標画素値に更新して顎処理後の美化画像を取得する。ここで、前記第ｊ個の画素点の画素値を前記目標画素値に更新するステップは、第ｊ個の目標位置の画素値を用いて第ｊ個の画素点の画素値を取り替えると理解できる。
【００５４】
本実施例では、まず被処理顎領域を複数の三角面に分割し、次に各三角面内の各点の画素値を取り替えて、顎をストレッチ又は短縮する効果を達成する。
【００５５】
いくつかの実施例では、前記ステップＳ２０３、即ち前記中心点、前記第１特徴点集合及び調整パラメータに従って第２特徴点集合を決定するステップには、以下のステップを含む。ステップＳ２３１において、前記中心点と前記第１特徴点との第１距離を決定する。ここで、前記第１特徴点は第１特徴点集合内の点であり、図６に示すように、第１距離がＡＤである。ステップＳ２３２において、前記調整パラメータに従って第１調整比例を決定する。ここで、顎をストレッチしようとする時に、調整パラメータが正数であり、そのように第１調整比例が０より大きい比である。ステップＳ２３３において、前記第１距離と前記第１調整比例に従って第１調整距離を決定する。ステップＳ２３４において、前記第１特徴点を前記充填方向に沿って前記第１調整距離で連結して得られる端点を対応する第２特徴点とする。ここで、図６に示すように、ＡＤを充填方向に沿って第１調整距離で調整してＡＦを取得し、点Ｆが第２特徴点となる。ステップＳ２３５において、前記第１特徴集合内の各前記第１特徴点に対応する第２特徴点を取得して第２特徴点集合を取得する。
【００５６】
いくつかの実施例では、前記ステップＳ２０７、即ち前記第２距離、前記第３距離及び予め設定された第２調整比例に従って第ｉ調整点と第ｉ＋１調整点を決定するステップは、以下のステップを含む。ステップＳ２７１において、前記第２距離、前記第３距離及び予め設定された第２調整比例に従って第２調整距離と第３調整距離を決定する。ステップＳ２７２において、前記第ｉ個の第２点を前記充填方向に沿って前記第２調整距離だけ延伸させて得た端点を、前記中心点と前記第ｉ個の第２点との第２連結線に存在する第ｉ調整点とする。ステップＳ２７３において、前記第ｉ＋１個の第２点を前記充填方向に沿って前記第３調整距離だけ延伸させて得た端点を第ｉ＋１調整点とする。
【００５７】
いくつかの実施例では、前記第ｊ個の画素点の位置情報、中心点、第ｉ個の第１点、第ｉ＋１個の第１点、第ｉ個の第２点、前記第ｉ＋１個の第２点、第ｉ調整点及び前記第ｉ＋１調整点に従って伸縮変換関数を決定する前記ステップＳ２１０には以下の２つのステップを含む。ステップＡ１において、前記中心点と前記第ｊ個の画素点との第４連結線を前記充填方向に沿って延伸させて、第ｉ個の第１点と第ｉ＋１個の第１点との連結線と第１交点で交わらせ、第ｉ個の第２点と前記第ｉ＋１個の第２点との連結線と第２交点で交わらせ、前記第ｉ調整点と前記第ｉ＋１調整点との連結線である三角面サブ領域の底辺と第３交点で交わらせる。ここで、図６に示すように、第１サブ三角面がＡＤＥであり、第２サブ三角面がＡＦＧであり、第１交点が点Ｉであり、第２交点が点Ｊであり、第３交点が点Ｋである。顎領域をストレッチする時に、第１サブ三角面ＡＤＥが第２サブ三角面ＡＦＧの内部に位置し、即ち顎の目標輪郭が顎実際輪郭の上に位置し、このように顎の実際輪郭を目標輪郭までストレッチして、顎をストレッチする効果が達成され、また、顎領域を収縮する時に、第１サブ三角面ＡＤＥが第２サブ三角面ＡＦＧの外部に位置し、即ち顎の目標輪郭が顎実際輪郭の下にあり、このように顎の実際輪郭を目標輪郭まで収縮して、顎を収縮する効果が達成される。ステップＡ２において、前記中心点と前記第１交点との距離である第４距離、前記中心点と前記第２交点との距離である第５距離及び前記中心点と前記第３交点との距離である第６距離に従って伸縮変換関数を決定する。第４距離、第５距離及び第６距離に従って伸縮変換関数を決定する前記ステップＡ２には、前記第４距離と前記第６距離との第１比、前記第５距離と前記第６距離との第２比を決定するステップＡ２１と、前記第１比と前記第２比により第１座標を決定するステップＡ２２と、前記第１座標と原点座標との連結線の線形方程式を第１区分関数とするステップＡ２３と、前記第１座標と予め設定された第２座標との連結線の線形方程式を第２区分関数とするステップＡ２４と、前記第１区分関数と前記第２区分関数に従って伸縮変換関数を決定するステップＡ２５と、を含む。
【００５８】
本実施例では、ここで、図６に示すように、三角面ＡＢＣにおいて、第４距離、第５距離及び第６距離がそれぞれＡＩ、ＡＪ及びＡＫである。前記伸縮変換関数が区分関数であり、第１区分関数が点（０、０）と
2021529605.tif 000003
を通り、従って、伸縮変換関数の第１区分関数が
2021529605.tif 000004
であり、ただし、
2021529605.tif 000005
が入力される前記中心点と三角面内の第ｊ個の画素点との距離とＡＫの比（即ち、第７距離と前記第６距離との比）であり、得られた出力によれば、第ｊ個の目標位置と前記中心点との距離、即ち第８距離が決定可能になる。図６に示すように、第ｊ個の画素点が点Ｐである時に、ＡＰがＡＪ以下であれば、ＡＰとＡＫ（即ち、第６距離）との比を第１区分関数に入力し、そのため、点Ｐに対応する第ｊ個の目標位置が点Ｐ｀となり（例えば、顎領域をストレッチする場合に点Ｐ｀が点Ｐの前に位置し、顎領域を収縮する場合に点Ｐ｀が点Ｐの後に位置する）、点Ｐ｀の画素値を用いて点Ｐの画素値を取り替える。それによって顎をストレッチ又は収縮する効果が達成される。第２区分関数が点
2021529605.tif 000006
と点（１，１）を通り、そのように第２区分関数が
2021529605.tif 000007
となる。ＡＪ＞ＡＩの時に、第１区分関数と第２区分関数の曲線グラフは図７Ａに示すようになり、即ち第１区分関数が曲線７１であり、第２区分関数が曲線７２であり、ＡＪ＜ＡＩの時に、第１区分関数と第２区分関数の曲線グラフは図７Ｂに示すようになり、即ち、第１区分関数が曲線７３であり、第２区分関数が曲線７４である。
【００５９】
いくつかの実施例では、ステップＡ２には、以下のステップを含む。ステップＡ２６において、前記第４距離と前記第５距離を決定して第１座標を決定する。ステップＡ２７において、前記第１座標と原点座標との連結線の線形方程式を第１区分関数とする。ステップＡ２８において、第６距離に従って予め設定された第２座標を決定する。ステップＡ２９において、前記第１座標と予め設定された第２座標との連結線の線形方程式を第２区分関数とする。ステップＡ３０において、前記第１区分関数と前記第２区分関数に従って伸縮変換関数を決定する。
【００６０】
いくつかの実施例では、前記ステップＳ２１１には、以下のステップを含む。ステップＢ１において、前記第ｊ個の画素点の位置情報により前記第ｊ個の画素点と前記中心点との第７距離を決定する。ステップＢ２において、前記第７距離と前記第６距離との第３比を決定する。ステップＢ３において、前記第３比を前記伸縮変換関数の入力として出力値を取得する。ステップＢ４において、前記出力値と前記第６距離に従って、第ｊ個の目標位置と前記中心点との距離である第８距離を決定する。ステップＢ５において、前記第８距離と前記中心点により前記第ｊ個の目標位置を決定する。
【００６１】
いくつかの実施例では、前記ステップＳ２１３には、以下のステップを含む。ステップＣ１において、前記目標位置の座標値が整数であることに応答して、前記目標位置の画素値を前記第ｊ個の画素点の目標画素値とする。ステップＣ２において、前記目標位置の座標値が整数でないことに応答して、特定アルゴリズムにより目標位置に対応する画素値を決定する。ステップＣ３において、前記目標位置に対応する画素値を前記第ｊ個の画素点の目標画素値とする。
【００６２】
本実施例では、顔検出モデルでラベリングされた少量の特徴点に基づいてＣａｔｍｕｌｌ−Ｒｏｍポリゴンフィッテング手法を用いてポリゴンで顎輪郭を更にフィッテングする。カメラの美顔には非常に高い検出モデル精度と実行効率が要求されており、ポリゴンフィッテング手法を用いれば検出モデルの性能上の圧力を効果的に低減することができる。また、本実施例で提供される伸縮変換関数は線形複雑度を有し、効率がより速く、カメラのライブプレビュー機能に美顔アルゴリズムの高効率が求められることに対応することができる。また、本実施例は三角面により複雑な様々の立体的顎をフィッテングする。三角面によるフィッテングは全体的な領域を分割し、変形プロセスを簡単化し、３Ｄ数学モデルを高速に確立する作用を果たすことができ、角度、大きさ及び形状が異なる顎に柔軟的に対応可能である。また、本実施例で提供される画像処理方法は顎を自由にスライドでき、変形自由度がより高く、適用範囲がより広くなる。
【００６３】
本開示の実施例は画像処理方法を提供し、本実施例で提供される方法を用いて顔画像内の顎を調整する時に、調整プロセスで、前記方法は一定の誤差が許容可能であり、顎輪郭周囲の所定範囲の領域に対して全体的な変形を行うことができ、特徴点誤差による悪影響を低減可能であり、全体的な効果がより安定になる。
【００６４】
本実施例で提供される画像処理方法は、顔写真に対して３次元（３−Ｄｉｍｅｎｓｉｏｎａｌ：３Ｄ）の「顎整形」美顔を行うことができ、以下のステップを含む。ステップ１、顔検出モデルを用いて顎特徴点をラベリングし、Ｃａｔｍｕｌｌ−Ｒｏｍポリゴンフィッテング手法を用いて顎輪郭をフィッテングする。その後、時計回りに連続した三角面で立体的な顎を分割する。最後に、各三角面に対して伸縮変換公式を用いて伸縮変換を行って３Ｄ「顎整形」効果を達成する。ステップ２、三角面で任意のポリゴンをフィッテングし、全体的な領域を分割し、更に各三角面に単独して伸縮変換公式を用い、実現形態が簡単化され、アルゴリズム効率が大幅に高められた。ステップ３、伸縮変換公式を用いて高速且つ柔軟的に三角面を変形させる。ここで、前記伸縮変換公式はその他の点制御に基づくイメージ変形分野に用いても良い。
【００６５】
本実施例に記載の伸縮変換公式を用いて顔画像を処理する時に、顎をストレッチする効果を達成できるだけでなく、顎を収縮する効果も達成でき、柔軟的で容易である。
【００６６】
図３は本開示の実施例の画像処理方法を実現する別のフローチャートであり、図３に示すように、前記方法は以下のステップを含む。
【００６７】
ステップＳ３０１において、入力顔画像内の処理待ち目標領域と調整パラメータを取得する。ここで、顎領域をストレッチしようとすれば、調整パラメータが整数となり、対応する第１調整比例が０〜１の数であり、顎領域を収縮しようとすれば、調整パラメータが負数となり、対応する第１調整比例が−１〜０の数である。
【００６８】
ステップＳ３０２において、顔検出モデルを用いて目標領域を検出し、目標領域の顎実際輪郭における顎特徴点と顔角度情報を出力する。ここで、前記顎特徴点が第１特徴点集合内の点である。第１特徴点を前記充填方向に沿って前記第１調整距離で連結して得られる端点を対応する第２特徴点とし、第１特徴点集合に従って第２特徴点集合を取得するプロセスは、顔角度情報と顎特徴点を用いて「顎整形」の核心的なスケーリング方向を決定（即ち、充填方向を決定）し、次に「顎整形」のスケーリング中心（即ち、中心点）を決定するステップ１と、「顎整形」スケーリング中心と顎特徴点を順に連結し且つ調整し、調整パラメータに従って第１調整比例で線における点を調整して顎領域の目標輪郭における第２特徴点の位置を決定するステップ２と、Ｃａｔｍｕｌｌ−Ｒｏｍポリゴンフィッテング手法、第１特徴点集合及び第２特徴点集合を用いて顎輪郭（実際顎輪郭と目標顎輪郭を含む）におけるより多くの点を補間させ、これらの点を連結して顎実際輪郭のフィッテング折れ線（第１点集合で構成される）と顎目標輪郭のフィッテング折れ線（第２点集合で構成される）を構成するステップ３と、を含む。
【００６９】
ステップＳ３０３において、Ｃａｔｍｕｌｌ−Ｒｏｍポリゴンフィッテングアルゴリズム及び入力される第１特徴点集合と第２特徴点集合を用いて顎輪郭をフィッテングする。ここで、顎輪郭をフィッテングした後、第１点集合で構成される顎実際輪郭のフィッテング折れ線、及び第２点集合で構成される顎目標輪郭のフィッテング折れ線が得られる。
【００７０】
ステップＳ３０４において、調整パラメータと顎実際輪郭によって顎目標輪郭を決定し、第１特徴点集合と第２特徴点集合を用いて中心点を決定する。ここで、顔検出アルゴリズムにより検出された顔角度情報の属性に基づいて各角度の目標輪郭を修正する。
【００７１】
ステップＳ３０５において、顎実際輪郭、顎目標輪郭及び中心点により連続した三角面を用いて立体的顎をフィッテングする。ここで、図５に示すように、顎と目標顎輪郭のフィッテング折れ線及び「顎整形」のスケーリング中心を入力することによって、顎領域を複数の連続した三角面に分割し、次に中心点と顎目標輪郭における点（即ち、第２点集合）を順に連結して、三角面の側辺が得られ、更に目標輪郭における点を順に連結して、複数の連続した三角面の底辺が得られる。
【００７２】
ステップＳ３０６において、各三角面については、伸縮変換関数と双線形補間により三角面内の画素点に対して伸縮変換を行う。ここで、三角面の伸縮変換を制御するには合計７つの点が必要とされ、その中の３つの点Ａ、Ｂ、Ｃが三角面の３つの頂点であり、残りの４つの点Ｄ、Ｅ、Ｆ、Ｇがそれぞれ原顎輪郭と目標顎輪郭に対応する折線における点であり、図６に示すように、領域ＡＤＥが第１サブ三角面となり、領域ＡＦＧが第２サブ三角面となる。
【００７３】
ステップＳ３０７において、全ての三角面内の画素点を、伸縮変換関数を用いて変換するか否かを判断する。ここで、ＹＥＳの場合に、ステップＳ３０８に移行し、ＮＯの場合に、ステップＳ３０６に戻る。
【００７４】
ステップＳ３０８において、顎領域が処理された後の効果図を出力する。ここで、図９（ａ）は原画像であり、図９（ｂ）は顎領域をストレッチした後の画像であり、図１１（ａ）は原画像であり、図１１（ｂ）は顎領域を収縮した後の画像である。図９と図１１から分かるように、顎領域を収縮するかストレッチするかを問わず、本実施例で提供される画像処理方法を用いれば、いずれの場合にも効果的且つ著しい処理結果を実現でき、また、処理後の顎が一般的な審美観点に更に一致するようになる。入力される三角面内の任意の点Ｐに対して伸縮変換を行って伸縮変換関数に従って点ＰのマッピングしたＰ｀を取得し、そのように出力される三角面の対応位置の点Ｐに点Ｐ｀位置の画素値が取られ、それにより点Ｐ｀から点Ｐへの変位変換が完了される。Ｐ｀の座標が整数でない場合に、双線形補間アルゴリズムを用いて対応する画素値を取得することができる。三角面ＡＢＣにおいて、三角面内の各画素点Ｐに関しては、ＤＥ、ＦＧ及びＢＣとそれぞれＩ、Ｊ及びＫで交わらせるように、点Ｐを連結し調整する。ＡＰ、ＡＩ、ＡＪ及びＡＫの長さ（即ち、第４距離、第５距離及び第６距離）をそれぞれ求める。前記伸縮変換関数が区分関数であり、第１区分関数が点（０、０）と
2021529605.tif 000008
を通り、従って、伸縮変換関数の第１区分関数が
2021529605.tif 000009
であり（顎領域をストレッチする時に（ＡＪ＞ＡＩに対応する関数曲線、即ち図７Ａに示す関数曲線を採用する）、図７Ａに示すように、線分７１が第１区分関数となり、顎領域を短縮する時に（ＡＪ＜ＡＩに対応する関数曲線、即ち図７Ｂに示す関数曲線を採用する）、図７Ｂに示すように、線分７３が第１区分関数となる）、ただし、
2021529605.tif 000010
が入力される前記中心点と三角面内の第ｊ個の画素点との距離とＡＫの比（即ち、第７距離と前記第６距離との比）であり、得られた出力によれば、第ｊ個の目標位置と前記中心点との距離、即ち第８距離が決定可能になる。図６に示すように、第ｊ個の画素点が点Ｐである時に、ＡＰがＡＪ以下であれば、ＡＰとＡＫ（即ち、第６距離）との比を第１区分関数に入力し、そのため、点Ｐに対応する第ｊ個の目標位置が点Ｐ｀となり（例えば、顎領域をストレッチする場合に点Ｐ｀が点Ｐの前に位置し、顎領域を収縮する場合に点Ｐ｀が点Ｐの後に位置する）、点Ｐ｀の画素値を用いて点Ｐの画素値を取り替える。それによって顎をストレッチ又は収縮する効果が達成される。第２区分関数が点
2021529605.tif 000011
と点（１，１）を通り、そのように第２区分関数が
2021529605.tif 000012
となり（顎領域をストレッチする時に、図７Ａに示すように、線分７２が第２区分関数となり、顎領域を短縮する時に、図７Ｂに示すように、線分７４が第２区分関数となる）。そのようにして、三角面内の任意の点Ｐはいずれも対応する点Ｐ｀位置の画素値を取って伸縮変換が完了される。図８（ａ）に示すように、顎領域をストレッチする時に、点Ｐから伸縮変換関数によって取得されたマッピング点Ｐ｀が点Ｐの前に位置し、例えば、点Ｐが点Ｊである時に、ＡＪを関数（例えば、図７Ａに示す関数曲線）に入力し、そのように点Ｐ｀が点Ｉとなり、点Ｉの画素値を用いて点Ｊの画素値を取り替え、取得された結果が図８（ｂ）に示すようになり、即ち、領域ＥＤＦＧの空白領域の画素値が陰影領域の画素値で取り替えられた。図１０（ａ）に示すように、顎領域を収縮する時に、点Ｐから伸縮変換関数によって取得されたマッピング点Ｐ｀が点Ｐの後に位置し、例えば、点Ｐが点Ｊである時に、ＡＪを関数
2021529605.tif 000013
に入力し、そのように点Ｐ｀が点Ｉとなり、点Ｉの画素値を用いて点Ｊの画素値を取り替え、取得された結果が図１０（ｂ）に示すようになり、即ち、領域ＥＤＦＧの陰影領域の画素値が空白領域の画素値で取り替えられた。図１１（ａ）は原画像であり、図１１（ｂ）は顎領域を収縮した後の画像であり、これらの２つの図を比較したところ、顎収縮効果が著しくて、ストレッチ曲線が円滑であることを分かった。そのように、ユーザの顎領域が十分に美しくない時に、ユーザの顎輪郭の実際状況に応じて調整して、一般的な審美観点に更に一致するような綺麗な画像を取得することができる。
【００７５】
本実施例で提供される画像処理方法は、三角面フィッテングと伸縮変換関数を総合的に利用して３Ｄ変形を行ってカメラの「顎整形」機能を完了して、顔を立体的で美しくする効果を達成する。立体的でふくれているような五官が東洋人の審美観点に一致し、３Ｄ変形によれば顎の再構成が可能になって、効果がより自然になる。
【００７６】
本開示の実施例は、画像処理装置を提供し、本開示の実施例における画像処理装置の構成模式図である図１２に示すように、前記画像処理装置１２００は、顔画像内の処理待ち目標領域を決定するように構成される第１決定モジュール１２０１と、前記目標領域をＮ個のサブ領域に区画し、Ｎが２以上の整数であるように構成される区画モジュール１２０２と、各前記サブ領域内の画素点に対してそれぞれ伸縮変換を行って処理後の画像を取得するように構成される伸縮変換モジュール１２０３と、を含む。
【００７７】
本開示の実施例では、前記第１決定モジュール１２０１は、取得された前記顎領域の第１特徴点集合と前記顎領域の顔角度情報に従って前記顎領域の充填方向を決定するように構成される第１決定ユニットと、前記充填方向と第１特徴点集合に従って前記顎領域の中心点を決定するように構成される第２決定ユニットと、前記中心点、前記第１特徴点集合及び調整パラメータに従って第２特徴点集合を決定するように構成される第３決定ユニットと、前記第１特徴点集合と前記第２特徴点集合に対してそれぞれ予め設定された補間アルゴリズムにより補間して、前記第１点集合と第２点集合を対応的に取得するように構成される補間ユニットと、前記中心点、前記第２点集合及び予め設定された比例に従って前記目標領域を決定するように構成される第４決定ユニットと、を含む。
【００７８】
本開示の実施例では、前記第３決定ユニットは、前記中心点と前記第１特徴点との第１距離を決定するように構成される第１決定サブユニットと、前記調整パラメータに従って第１調整比例を決定するように構成される第２決定サブユニットと、前記第１距離と前記第１調整比例に従って第１調整距離を決定するように構成される第２特徴点集合決定サブユニットと、前記第１特徴点を前記充填方向に沿って前記第１調整距離だけ延伸させて得た端点を前記第１特徴点に対応する第２特徴点とするように構成される第１調整ユニットと、前記第１特徴集合内の各前記第１特徴点に対応する第２特徴点を取得して第２特徴点集合を取得するように構成される第２特徴点集合決定サブユニットと、を含む。
【００７９】
本開示の実施例では、前記区画モジュールは、前記目標領域の中心点と前記第２点集合の第ｉ個の第２点との第２距離、及び前記中心点と第ｉ＋１個の第２点との第３距離をそれぞれ決定するように構成される第５決定ユニットであって、ｉ＝１、２、…、Ｎである、第５決定ユニットと、前記第２距離、前記第３距離及び予め設定された第２調整比例に従って第ｉ調整点と第ｉ＋１調整点を決定するように構成される第６決定ユニットと、前記中心点、第ｉ調整点及び第ｉ＋１調整点を順に連結して第ｉ個の三角形サブ領域を構成するように構成される連結ユニットと、を含む。
【００８０】
本開示の実施例では、前記第６決定ユニットは、前記第２距離、前記第３距離及び予め設定された第２調整比例に従って第２調整距離と第３調整距離を決定するように構成される第４決定サブユニットと、前記第ｉ個の第２点を前記充填方向に沿って前記第２調整距離だけ延伸させて得た端点を、前記中心点と前記第ｉ個の第２点との第２連結線に存在する第ｉ調整点とするように構成される第２調整ユニットと、前記第ｉ＋１個の第２点を前記充填方向に沿って前記第３調整距離だけ延伸させて得た端点を第ｉ＋１調整点とするように構成される第３調整ユニットと、を含む。
【００８１】
本開示の実施例では、前記伸縮変換モジュールは、第ｉ個の三角形サブ領域内の第ｊ個の画素点の位置情報を取得するように構成される第１取得ユニットと、前記第ｊ個の画素点の位置情報、中心点、第ｉ個の第１点、第ｉ＋１個の第１点、第ｉ個の第２点、前記第ｉ＋１個の第２点、第ｉ調整点及び前記第ｉ＋１調整点に従って伸縮変換関数を決定するように構成される第７決定ユニットと、前記第ｊ個の画素点の位置情報と前記伸縮変換関数に従って第ｊ個の目標位置を決定するように構成される第８決定ユニットと、前記第ｊ個の目標位置に対応する画素値に従って前記第ｊ個の画素点の目標画素値を決定するように構成される第９決定ユニットと、前記第ｊ個の画素点の画素値を前記目標画素値に更新して顎処理後の美化画像を取得するように構成される更新ユニットと、を含む。
【００８２】
本開示の実施例では、前記第７決定ユニットは、前記中心点と前記第ｊ個の画素点との第４連結線を前記充填方向に沿って延伸させて、第ｉ個の第１点と第ｉ＋１個の第１点との連結線と第１交点で交わらせ、前記第ｉ個の第２点と前記第ｉ＋１個の第２点との連結線と第２交点で交わらせ、前記第ｉ調整点と前記第ｉ＋１調整点との連結線である三角面サブ領域の底辺と第３交点で交わらせるように構成される第１延伸サブユニットと、前記中心点と前記第１交点との距離である第４距離、前記中心点と前記第２交点との距離である第５距離及び前記中心点と前記第３交点との距離である第６距離に従って伸縮変換関数を決定するように構成される伸縮サブユニットと、を含む。
【００８３】
本開示の実施例では、前記伸縮サブユニットは、更に、前記第４距離と前記第６距離との第１比、前記第５距離と前記第６距離との第２比を決定し、前記第１比と前記第２比により第１座標を決定し、前記第１座標と原点座標との連結線の線形方程式を第１区分関数とし、前記第１座標と予め設定された第２座標との連結線の線形方程式を第２区分関数とし、前記第１区分関数と前記第２区分関数に従って伸縮変換関数を決定するように構成される。
【００８４】
本開示の実施例では、前記第８決定ユニットは、前記第ｊ個の画素点の位置情報により前記第ｊ個の画素点と前記中心点との第７距離を決定するように構成される第５決定サブユニットと、前記第７距離と前記第６距離との第３比を決定するように構成される第６決定サブユニットと、前記第３比を前記伸縮変換関数の入力として出力値を取得するように構成される出力サブユニットと、前記出力値と前記第６距離に従って、第ｊ個の目標位置と前記中心点との距離である第８距離を決定するように構成される第７決定サブユニットと、前記第８距離と前記中心点により前記第ｊ個の目標位置を決定するように構成される第８決定サブユニットと、を含む。
【００８５】
本開示の実施例では、前記第９決定ユニットは、前記目標位置の座標値が整数であることに応答して、前記目標位置の画素値を前記第ｊ個の画素点の目標画素値とするように構成される第９決定サブユニットと、前記目標位置の座標値が整数でないことに応答して、予め設定されたアルゴリズムにより前記目標位置に対応する画素値を決定するように構成される第１０決定サブユニットと、前記目標位置に対応する画素値を前記第ｊ個の画素点の目標画素値とするように構成される第１１決定サブユニットと、を含む。
【００８６】
ここで説明すべきは、以上の装置の実施例はその説明が上記方法の実施例に対する説明に類似し、方法の実施例に類似する有益な効果を有するということである。本開示の装置の実施例において開示されていない技術的詳細については、本開示の方法の実施例に対する説明を参照されたい。本願の実施例において、ソフトウェア機能モジュールの形で上記インスタントメッセージング方法を実現し、かつ独立した製品として販売または使用する場合、コンピュータ読み取り可能記憶媒体に記憶してもよい。このような見解をもとに、本開示の実施例の技術的解決手段は実質的にまたは従来技術に寄与する部分はソフトウェア製品の形で実施することができ、該コンピュータソフトウェア製品は記憶媒体に記憶され、インスタントメッセージング装置（端末、サーバ等であってよい）に本開示の各実施例に記載の方法の全てまたは一部を実行させる複数の命令を含む。前記記憶媒体は、ＵＳＢフラッシュドライブ、モバイルハードディスク、読み取り専用メモリ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ：ＲＯＭ）、磁気ディスクまたは光ディスクなどのプログラムコードを記憶可能である様々な媒体を含む。従って、本開示の実施例はハードウェアとソフトウェアのいかなる予め設定された組み合わせにも限定されない。
【００８７】
それに対して、本開示の実施例は、コンピュータ実行可能コマンドを含むコンピュータプログラム製品であって、該コンピュータ実行可能コマンドが実行されると、本開示の実施例で提供される画像処理方法のステップを実現できるコンピュータプログラム製品を更に提供する。それに対して、本開示の実施例は、コンピュータ実行可能コマンドを記憶したコンピュータ記憶媒体であって、前記該コンピュータ実行可能コマンドがプロセッサにより実行されると、上記実施例で提供される画像処理方法のステップが実現されるコンピュータ記憶媒体を更に提供する。それに対して、本開示の実施例は、コンピュータ装置を提供し、図１３は本開示の実施例のコンピュータ装置の構成模式図であり、図１３に示すように、該コンピュータ装置１３００のハードウェア実体は、通常コンピュータ装置１３００の全体的な操作を制御するプロセッサ１３０１と、コンピュータ装置にネットワークを介してその他の端末又はサーバと通信させることを可能にする通信インターフェイス１３０２と、プロセッサ１３０１に実行可能なコマンドやアプリケーションを記憶し、更にプロセッサ１３０１及びコンピュータ装置１３００における各モジュールにより処理されるデータ又は既に処理されたデータ（例えば、画像データ、オーディオデータ、音声通信データ及びビデオ通信データ）をキャッシュ可能であり、フラッシュメモリ（ＦＬＡＳＨ）又はランダムアクセスメモリ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ：ＲＡＭ）によって実現可能であるように構成されるメモリ１３０３と、を含む。
【００８８】
以上のインスタントコンピュータ装置及び記憶媒体の実施例についての説明は、上記の方法の実施例の説明に類似し、方法の実施例に類似する有益な効果を有する。本開示のインスタントメッセージング装置及び記憶媒体の実施例において開示されていない技術的詳細については、本開示の方法の実施例に対する説明を参照すれば理解可能である。明細書の全文にわたって言及された「１つの実施例」又は「一実施例」は、実施例に関連する予め設定された特徴、構造又は特性が本開示の少なくとも１つの実施例に含まれることを意味することを理解すべきである。従って、明細書の全文にわたって言及された「１つの実施例では」又は「一実施例では」というのは必ず同一な実施例を指すというわけでない。なお、これらの予め設定された特徴、構造又は特性は任意の適切な方式で１つ又は複数の実施例に組み合わせられてもよい。本開示の各種の実施例では、上記各プロセスの番号順序は実行順序の先後を表すというわけでなく、各プロセスの実行順序がその機能と内在的論理に依存するものであり、本開示の実施例の実施プロセスの何の制限にもならないことを理解すべきである。上記の本開示の実施例番号は説明するためのものに過ぎず、実施例の優劣を表すことがない。説明すべきは、本明細書において、用語「含む」、「からなる」またはその他のあらゆる変形は非排他的包含を含むように意図され、それにより一連の要素を含むプロセス、方法、物品または装置は、それらの要素のみならず、明示されていない他の要素、またはこのようなプロセス、方法、物品または装置に固有の要素をも含むようになるということである。特に断らない限り、語句「一つの……を含む」により限定される要素は、該要素を含むプロセス、方法、物品または装置に別の同じ要素がさらに存在することを排除するものではない。本願が提供するいくつかの実施例では、開示する装置および方法は、他の形態で実現できることを理解すべきである。以上で説明した装置実施例は例示的なものに過ぎず、例えば、例えば、前記ユニットの区別は、論理機能の区別に過ぎず、実際に実現時に別の区別形態にしてもよく、例えば複数のユニットまたはコンポーネントは組み合わせてもよく、または別のシステムに統合してもよく、またはいくつかの特徴を無視してもよく、もしくは実行しなくてもよい。また、示したまたは論じた各構成部分間のカップリングまたは直接カップリングまたは通信接続はいくつかのインターフェイスによるものであってもよく、装置またはユニットの間接カップリングまたは通信接続は、電気的、機械的または他の形式であってもよい。上記の分離部材として説明したユニットは物理的に分離されたものであってもなくてもよく、ユニットとして示された部材は物理ユニットであってもなくてもよく、即ち一箇所に位置してもよく、または複数のネットワークユニットに分布してもよい。実際の必要に応じてその一部または全てのユニットを選択して本実施例の解決手段の目的を実現できる。また、本開示の各実施例における各機能ユニットは全て一つの処理ユニットに統合されてもよく、それぞれ独立して１つのユニットとして存在してもよく、二つ以上で一つのユニットに統合されてもよく、上記統合されたユニットはハードウェアの形式で実現してもよく、ハードウェアにソフトウェア機能ユニットを加えた形式で実現してもよい。
【００８９】
当業者であれば、上記方法の実施例を実現する全てまたは一部のステップはプログラムによって関連ハードウェアに命令を出すことにより完成できることを理解でき、前記プログラムは、携帯型記憶装置、読出し専用記憶装置（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ，ＲＯＭ）、磁気ディスクまたは光ディスクなどのプログラムコードを記憶可能である様々な媒体を含むコンピュータ読み取り可能記憶媒体に記憶可能であり、該プログラムは実行される時に、上記方法の実施例を含むステップを実行する。あるいは、本開示の上記統合されたユニットはソフトウェア機能モジュールの形で実現されかつ独立した製品として販売または使用される場合、コンピュータ読み取り可能記憶媒体に記憶されてもよい。このような見解をもとに、本開示の実施例の技術的解決手段は実質的にまたは従来技術に寄与する部分がソフトウェア製品の形で実施することができ、該コンピュータソフトウェア製品は記憶媒体に記憶され、コンピュータ機器（パーソナルコンピュータ、サーバなどであってもよい）に本開示の各実施例に記載の方法の全てまたは一部を実行させる複数の命令を含む。前記記憶媒体は、携帯型記憶装置、ＲＯＭ、磁気ディスクまたは光ディスクなどのプログラムコードを記憶可能である様々な媒体を含む。
【００９０】
以上で説明したのは本開示の具体的な実施形態に過ぎず、本開示の保護範囲がそれに限定されるものでなく、本開示に記載された技術範囲内に当業者に容易に想到される変化又は取り替えは、全て本開示の保護範囲に含まれる。従って、本開示の保護範囲は請求項の保護範囲に準ずるべきである。
【図１Ａ】
2021529605.tif 000014
【図１Ｂ】
2021529605.tif 000015
【図１Ｃ】
2021529605.tif 000016
【図１Ｄ】
2021529605.tif 000017
【図２】
2021529605.tif 000018
【図３】
2021529605.tif 000019
【図４】
2021529605.tif 000020
【図５】
2021529605.tif 000021
【図６】
2021529605.tif 000022
【図７Ａ】
2021529605.tif 000023
【図７Ｂ】
2021529605.tif 000024
【図８】
2021529605.tif 000025
【図９】
2021529605.tif 000026
【図１０】
2021529605.tif 000027
【図１１】
2021529605.tif 000028
【図１２】
2021529605.tif 000029
【図１３】
2021529605.tif 000030
【手続補正書】
【提出日】令和2年12月28日(2020.12.28)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像処理方法であって、
顔画像内の処理待ち目標領域を決定するステップであって、前記処理待ち目標領域は少なくとも顔画像内の顎領域を含む、ステップと、
前記目標領域をＮ個のサブ領域に区画するステップであって、Ｎが２以上の整数である、ステップと、
各前記サブ領域内の画素点に対してそれぞれ伸縮変換を行って処理後の画像を取得するステップと、を含む画像処理方法。
【請求項２】
前記顔画像内の処理待ち目標領域を決定するステップは、
取得された前記顎領域の第１特徴点集合と前記顎領域の顔角度情報に従って前記顎領域の充填方向を決定するステップであって、前記第１特徴点集合は複数の第１特徴点を含む、ステップと、
前記充填方向と第１特徴点集合に従って前記顎領域の中心点を決定するステップと、
前記中心点、前記第１特徴点集合及び調整パラメータに従って第２特徴点集合を決定するステップと、
前記第１特徴点集合と前記第２特徴点集合に対してそれぞれ予め設定された補間アルゴリズムにより補間して、前記第１点集合と第２点集合を対応的に取得するステップと、
前記中心点、前記第２点集合及び予め設定された比例に従って前記目標領域を決定するステップと、を含む請求項１に記載の画像処理方法。
【請求項３】
前記中心点、前記第１特徴点集合及び調整パラメータに従って第２特徴点集合を決定するステップは、
前記中心点と前記第１特徴点との第１距離を決定するステップと、
前記調整パラメータに従って第１調整比例を決定するステップと、
前記第１距離と前記第１調整比例に従って第１調整距離を決定するステップと、
前記第１特徴点を前記充填方向に沿って前記第１調整距離だけ延伸させて得た端点を前記第１特徴点に対応する第２特徴点とするステップと、
前記第１特徴集合内の各前記第１特徴点に対応する第２特徴点を取得して、第２特徴点集合を取得するステップと、を含む請求項２に記載の画像処理方法。
【請求項４】
前記目標領域をＮ個のサブ領域に区画するステップは、
前記目標領域の中心点と前記第２点集合の第ｉ個の第２点との第２距離、及び前記中心点と第ｉ＋１個の第２点との第３距離をそれぞれ決定するステップであって、ｉ＝１、２、…、Ｎである、ステップと、
前記第２距離、前記第３距離及び予め設定された第２調整比例に従って第ｉ調整点と第ｉ＋１調整点を決定するステップと、
前記中心点、第ｉ調整点及び第ｉ＋１調整点を順に連結して第ｉ個の三角形サブ領域を構成するステップと、を含む請求項２に記載の画像処理方法。
【請求項５】
前記第２距離、前記第３距離及び予め設定された第２調整比例に従って第ｉ調整点と第ｉ＋１調整点を決定するステップは、
前記第２距離、前記第３距離及び予め設定された第２調整比例に従って第２調整距離と第３調整距離を決定するステップと、
前記第ｉ個の第２点を前記充填方向に沿って前記第２調整距離だけ延伸させて得た端点を第ｉ調整点とするステップであって、前記第ｉ調整点は前記中心点と前記第ｉ個の第２点との第２連結線に位置するステップと、
前記第ｉ＋１個の第２点を前記充填方向に沿って前記第３調整距離だけ延伸させて得た端点を第ｉ＋１調整点とするステップと、を含む請求項４に記載の画像処理方法。
【請求項６】
各前記サブ領域内の画素点に対してそれぞれ伸縮変換を行って処理後の画像を取得するステップは、
第ｉ個の三角面サブ領域内の第ｊ個の画素点の位置情報を取得するステップと、
前記第ｊ個の画素点の位置情報、中心点、第ｉ個の第１点、第ｉ＋１個の第１点、第ｉ個の第２点、前記第ｉ＋１個の第２点、第ｉ調整点及び前記第ｉ＋１調整点に従って伸縮変換関数を決定するステップと、
前記第ｊ個の画素点の位置情報と前記伸縮変換関数に従って第ｊ個の目標位置を決定するステップと、
前記第ｊ個の目標位置に対応する画素値に従って前記第ｊ個の画素点の目標画素値を決定するステップと、
前記第ｊ個の画素点の画素値を前記目標画素値に更新して顎処理後の美化画像を取得するステップと、を含む請求項４に記載の画像処理方法。
【請求項７】
前記第ｊ個の画素点の位置情報、中心点、第ｉ個の第１点、第ｉ＋１個の第１点、第ｉ個の第２点、前記第ｉ＋１個の第２点、第ｉ調整点及び前記第ｉ＋１調整点に従って伸縮変換関数を決定するステップは、
前記中心点と前記第ｊ個の画素点との第４連結線を前記充填方向に沿って延伸させて、第ｉ個の第１点と第ｉ＋１個の第１点との連結線と第１交点で交わらせ、第ｉ個の第２点と前記第ｉ＋１個の第２点との連結線と第２交点で交わらせ、前記第ｉ調整点と前記第ｉ＋１調整点との連結線である三角面サブ領域の底辺と第３交点で交わらせるステップと、
前記中心点と前記第１交点との距離である第４距離、前記中心点と前記第２交点との距離である第５距離及び前記中心点と前記第３交点との距離である第６距離に従って伸縮変換関数を決定するステップと、を含む請求項６に記載の画像処理方法。
【請求項８】
第４距離、第５距離及び第６距離に従って伸縮変換関数を決定するステップは、前記第４距離と前記第６距離との第１比、前記第５距離と前記第６距離との第２比を決定するステップと、前記第１比と前記第２比により第１座標を決定するステップと、前記第１座標と原点座標との連結線の線形方程式を第１区分関数とするステップと、前記第１座標と予め設定された第２座標との連結線の線形方程式を第２区分関数とするステップと、前記第１区分関数と前記第２区分関数に従って伸縮変換関数を決定するステップと、を含む請求項７に記載の画像処理方法。
【請求項９】
前記第ｊ個の画素点の位置情報と前記伸縮変換関数に従って第ｊ個の目標位置を決定するステップは、前記第ｊ個の画素点の位置情報により前記第ｊ個の画素点と前記中心点との第７距離を決定するステップと、前記第７距離と前記第６距離との第３比を決定するステップと、前記第３比を前記伸縮変換関数の入力として出力値を取得するステップと、前記出力値と前記第６距離に従って、第ｊ個の目標位置と前記中心点との距離である第８距離を決定するステップと、前記第８距離と前記中心点により前記第ｊ個の目標位置を決定するステップと、を含む請求項６に記載の画像処理方法。
【請求項１０】
前記第ｊ個の目標位置に対応する画素値に従って前記第ｊ個の画素点の目標画素値を決定するステップは、前記目標位置の座標値が整数であることに応答して、前記目標位置の画素値を前記第ｊ個の画素点の目標画素値とするステップと、前記目標位置の座標値が整数でないことに応答して、予め設定されたアルゴリズムにより前記目標位置に対応する画素値を決定し、前記目標位置に対応する画素値を前記第ｊ個の画素点の目標画素値とするステップと、を含む請求項６に記載の画像処理方法。
【請求項１１】
画像処理装置であって、
顔画像内の処理待ち目標領域を決定するように構成される第１決定モジュールであって、前記処理待ち目標領域は少なくとも顔画像内の顎領域を含む、第１決定モジュールと、前記目標領域をＮ個のサブ領域に区画するように構成される区画モジュールであって、Ｎが２以上の整数である、区画モジュールと、各前記サブ領域内の画素点に対してそれぞれ伸縮変換を行って処理後の画像を取得するように構成される伸縮変換モジュールと、を含む画像処理装置。
【請求項１２】
コンピュータ読み取り可能な記憶媒体であって、
コンピュータに、請求項１〜１０のいずれか一項に記載の方法を実行させるためのコンピュータ実行可能コマンドを記憶したコンピュータ読み取り可能な記憶媒体。
【請求項１３】
コンピュータ装置であって、
コンピュータ実行可能コマンドを記憶したメモリと、前記メモリ中のコンピュータ実行可能コマンドを実行して、請求項１〜１０のいずれか一項に記載の方法を実現できるプロセッサと、を含むコンピュータ装置。
【請求項１４】
コンピュータプログラムであって、
コンピュータに、請求項１〜１０のいずれか一項に記載の方法を実行させるためのコンピュータプログラム。
【国際調査報告】
2021529605.tif 000031
2021529605.tif 000032
2021529605.tif 000033
2021529605.tif 000034
2021529605.tif 000035