(57)【要約】  画像処理方法、装置、コンピュータ装置及び記憶媒体であって、該方法は、基準表情状態にある第１ターゲット顔画像を取得するステップ（Ｓ１０２）と、ユーザ顔キーポイントズレ情報を取得するステップ（Ｓ１０４）であって、前記ユーザ顔キーポイントズレ情報が、ターゲット表情状態にある時のユーザ顔の顔キーポイントの、前記基準表情状態の時に対するズレ量を表すものであるステップ（Ｓ１０４）と、前記ユーザ顔キーポイントズレ情報に基づいて、基準表情状態にある前記第１ターゲット顔画像の顔キーポイントを調整するステップ（Ｓ１０６）と、第２ターゲット顔画像を含む処理対象画像において、調整後の第１ターゲット顔画像の表情テクスチャ画像を前記第２ターゲット顔画像の位置に貼り合わせるステップ（Ｓ１０８）であって、前記第２ターゲット顔画像と前記第１ターゲット顔画像が同一のターゲットに属するステップ（Ｓ１０８）とを含む。上記方法は、画像処理の正確性を向上させる。【選択図】図１
2021519995.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータ装置が実行する画像処理方法であって、
前記コンピュータ装置が、
基準表情状態にある第１ターゲット顔画像を取得するステップと、
ユーザ顔キーポイントズレ情報を取得するステップであって、前記ユーザ顔キーポイントズレ情報が、ターゲット表情状態にある時のユーザ顔の顔キーポイントの、前記基準表情状態にある時に対するズレ量を表すものであるステップと、
前記ユーザ顔キーポイントズレ情報に基づいて、前記第１ターゲット顔画像の顔キーポイントを調整するステップと、
第２ターゲット顔画像を含む処理対象画像において、調整後の第１ターゲット顔画像の表情テクスチャ画像を前記第２ターゲット顔画像の位置に貼り合わせるステップであって、前記第２ターゲット顔画像と前記第１ターゲット顔画像が同一のターゲットに属するステップと、
を含む、画像処理方法。
【請求項２】
ユーザ顔キーポイントズレ情報を取得する前記ステップは、
前記基準表情状態にあるユーザ顔画像における第１顔キーポイントを取得するステップと、
前記ターゲット表情状態にあるユーザ顔画像における第２顔キーポイントを認識するステップと、
前記第１顔キーポイントと前記第２顔キーポイントとの間の位置ズレ情報を決定し、前記ユーザ顔キーポイントズレ情報を得るステップと、
を含む、ことを特徴とする請求項１に記載の方法。
【請求項３】
前記処理対象画像は、ビデオにおける画像フレームであり、
基準表情状態にある第１ターゲット顔画像を取得する前記ステップは、前記ビデオの基準画像フレームから、基準表情状態にある第１ターゲット顔画像を抽出するステップを含み、
前記ターゲット表情状態にあるユーザ顔画像における第２顔キーポイントを認識する前記ステップは、
前記ビデオを再生し、前記ビデオの各画像フレームに対して、前記ターゲット表情状態にあるユーザ顔画像を収集するステップと、
収集した前記ターゲット表情状態にあるユーザ顔画像における第２顔キーポイントを認識するステップと、
を含む、ことを特徴とする請求項２に記載の方法。
【請求項４】
前記基準画像フレームは、前記ビデオの再生時に受け取った画像フレーム指定命令に応じて、前記ビデオにおける画像フレームから選択されたものであり、
前記基準表情状態にあるユーザ顔画像における第１顔キーポイントを取得する前記ステップは、
前記基準表情状態にあるユーザ顔画像を収集するステップと、
収集した前記基準表情状態にあるユーザ顔画像から、前記第１顔キーポイントを認識するステップと、
を含む、ことを特徴とする請求項３に記載の方法。
【請求項５】
前記コンピュータ装置が、
前記第１ターゲット顔画像が前記ターゲット表情状態にあるユーザ顔画像とマッチングしない場合、ユーザ顔キーポイントズレ情報を取得する前記ステップを実行するステップと、
前記第１ターゲット顔画像が前記ターゲット表情状態にあるユーザ顔画像とマッチングした場合、前記第２ターゲット顔画像を含む処理対象画像において、前記ターゲット表情状態にあるユーザ顔画像における表情特徴を前記第２ターゲット顔画像の位置にマッピングするステップと、
を更に含む、ことを特徴とする請求項１乃至４のうちいずれか１項に記載の方法。
【請求項６】
前記第２ターゲット顔画像を含む処理対象画像において、前記ターゲット表情状態にあるユーザ顔画像における表情特徴を前記第２ターゲット顔画像の位置にマッピングする前記ステップは、
前記ターゲット表情状態にあるユーザ顔画像における顔輪郭を決定するステップと、
前記ターゲット表情状態にあるユーザ顔画像から、前記顔輪郭内のテクスチャ画像を切り出すステップと、
前記第２ターゲット顔画像を含む処理対象画像において、前記テクスチャ画像を前記第２ターゲット顔画像における顔輪郭内に貼り合わせるステップと、
を含む、ことを特徴とする請求項５に記載の方法。
【請求項７】
前記第２ターゲット顔画像を含む処理対象画像において、前記テクスチャ画像を前記第２ターゲット顔画像における顔輪郭内に貼り合わせる前記ステップは、
前記顔輪郭の第１輪郭キーポイントを検出するステップと、
前記処理対象画像における前記第２ターゲット顔画像における第２輪郭キーポイントを認識するステップと、
前記第２輪郭キーポイントと前記第１輪郭キーポイントをマッチングし、前記テクスチャ画像を前記第２ターゲット顔画像における顔輪郭内に貼り合わせるステップと、
を含む、ことを特徴とする請求項６に記載の方法。
【請求項８】
ユーザ顔キーポイントズレ情報を取得する前記ステップは、
ユーザ顔が前記基準表情状態にあることを表すための第１表情テンプレートを決定するステップと、
ユーザ顔が前記ターゲット表情状態にあることを表すための第２表情テンプレートを取得するステップと、
前記第１表情テンプレートに対応する顔キーポイントと、前記第２表情テンプレートに対応する顔キーポイントとの間の位置ズレ情報に基づいて、前記ユーザ顔キーポイントズレ情報を得るステップと、
を含む、ことを特徴とする請求項１乃至７のうちいずれか１項に記載の方法。
【請求項９】
前記コンピュータ装置が、
前記表情テクスチャ画像を貼り合わせた処理対象画像において、貼り合わせられた前記表情テクスチャ画像の縁領域及び接合画像領域を決定するステップと、
前記縁領域における肌の第１肌色データ及び前記接合画像領域における肌の第２肌色データをそれぞれ抽出するステップと、
前記第１肌色データ及び第２肌色データに基づいて、肌色融合処理を行うステップと、
を更に含む、ことを特徴とする請求項１乃至８のうちいずれか１項に記載の方法。
【請求項１０】
コンピュータ装置に適用される画像処理装置であって、
基準表情状態にある第１ターゲット顔画像を取得し、ユーザ顔キーポイントズレ情報を取得するように構成される取得モジュールであって、前記ユーザ顔キーポイントズレ情報が、ターゲット表情状態にある時のユーザ顔の顔キーポイントの、前記基準表情状態にある時に対するズレ量を表すものである取得モジュールと、
前記ユーザ顔キーポイントズレ情報に基づいて、前記第１ターゲット顔画像の顔キーポイントを調整するように構成される調整モジュールと、
第２ターゲット顔画像を含む処理対象画像において、調整後の第１ターゲット顔画像の表情テクスチャ画像を前記第２ターゲット顔画像の位置に貼り合わせるように構成される処理モジュールであって、前記第２ターゲット顔画像と前記第１ターゲット顔画像が同一のターゲットに属する処理モジュールと、
を備える、画像処理装置。
【請求項１１】
前記取得モジュールは更に、
前記基準表情状態にあるユーザ顔画像における第１顔キーポイントを取得し、
前記ターゲット表情状態にあるユーザ顔画像における第２顔キーポイントを認識し、及び
前記第１顔キーポイントと第２顔キーポイントとの間の位置ズレ情報を決定し、前記ユーザ顔キーポイントズレ情報を得るように構成される、
ことを特徴とする請求項１０に記載の装置。
【請求項１２】
前記処理対象画像は、ビデオにおける画像フレームであり、
前記取得モジュールは更に、
前記ビデオの基準画像フレームから、基準表情状態にある第１ターゲット顔画像を抽出し、
前記ビデオを再生し、前記ビデオの各画像フレームに対して、前記ターゲット表情状態にあるユーザ顔画像を収集し、及び
収集した前記ターゲット表情状態にあるユーザ顔画像における第２顔キーポイントを認識するように構成される、
ことを特徴とする請求項１１に記載の装置。
【請求項１３】
前記取得モジュールは更に、
前記第１ターゲット顔画像が前記ターゲット表情状態にあるユーザ顔画像とマッチングしない場合、前記ユーザ顔キーポイントズレ情報を取得し、
前記第１ターゲット顔画像が前記ターゲット表情状態にあるユーザ顔画像とマッチングした場合、前記第２ターゲット顔画像を含む処理対象画像において、前記ターゲット表情状態にあるユーザ顔画像における表情特徴を前記第２ターゲット顔画像の位置にマッピングすることを前記処理モジュールに通知するように構成される、
ことを特徴とする請求項１０乃至１２のうちいずれか１項に記載の装置。
【請求項１４】
メモリとプロセッサとを備えるコンピュータ装置であって、
前記メモリには、コンピュータプログラムが記憶されており、
前記コンピュータプログラムは、前記プロセッサにより実行される場合、前記プロセッサに、請求項１乃至９のうちいずれか１項に記載の方法を実行させる、コンピュータ装置。
【請求項１５】
コンピュータに、請求項１乃至９のうちいずれか１項に記載の方法を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本出願は、２０１８年０７月２３日に提出された、出願番号が２０１８１０８１４３４９．７であり、発明名称が「画像処理方法、装置、コンピュータ装置及び記憶媒体」である中国特許出願の優先権を要求し、その全ての内容は引用によって本出願に援用される。
【０００２】
本出願は、コンピュータ技術分野に関し、特に画像処理方法、装置、コンピュータ装置及び記憶媒体に関する。
【背景技術】
【０００３】
科学技術の飛躍的な進歩に伴い、画像処理技術分野も継続的に成長して進歩している。人々の生活及び仕事において、画像処理に関するニーズが良くあり、例えば顔変形（即ち、画像における顔情報の変更）が挙げられる。
【０００４】
従来、画像における顔情報の変更方法において、画像における顔Ａを別の画像における顔Ｂに直接的に置き換える。こうすれば、顔Ａと顔Ｂが同一の人の顔ではない場合、置き換え後の画像における顔は、元の顔特徴を失ってしまう。しかし、ユーザが画像における元の顔特徴を保持したままで、画像における顔情報を変更したい場合がある。例えば、ユーザは、画像における顔表情が気にいらなく、元の顔特徴を変更せずに画像における顔表情を変更したい場合がある。そのため、従来の方法は、画像における元の顔特徴を保持したままで表情を変更するという課題を解決できないことが明らかである。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本出願の実施例は、画像における元の顔特徴を保持したままで画像における表情を変更することができる画像処理方法、装置、コンピュータ装置及び記憶媒体を提供する。
【課題を解決するための手段】
【０００６】
画像処理方法が提供される。前記方法は、コンピュータ装置により実行され、前記方法は、
基準表情状態にある第１ターゲット顔画像を取得するステップと、
ユーザ顔キーポイントズレ情報を取得するステップであって、前記ユーザ顔キーポイントズレ情報が、ターゲット表情状態にある時のユーザ顔の顔キーポイントの、前記基準表情状態の時に対するズレ量を表すものであるステップと、
前記ユーザ顔キーポイントズレ情報に基づいて、前記第１ターゲット顔画像の顔キーポイントを調整するステップと、
第２ターゲット顔画像を含む処理対象画像において、調整後の第１ターゲット顔画像の表情テクスチャ画像を前記第２ターゲット顔画像の位置に貼り合わせるステップであって、前記第２ターゲット顔画像と前記第１ターゲット顔画像が同一のターゲットに属するステップと、を含む。
【０００７】
画像処理装置が提供される。前記装置は、コンピュータ装置に適用され、前記装置は、
基準表情状態にある第１ターゲット顔画像を取得し、ユーザ顔キーポイントズレ情報を取得するように構成される取得モジュールであって、前記ユーザ顔キーポイントズレ情報が、ターゲット表情状態にある時のユーザ顔の顔キーポイントの、前記基準表情状態の時に対するズレ量を表すものである取得モジュールと、
前記ユーザ顔キーポイントズレ情報に基づいて、前記第１ターゲット顔画像の顔キーポイントを調整するように構成される調整モジュールと、
第２ターゲット顔画像を含む処理対象画像において、調整後の第１ターゲット顔画像の表情テクスチャ画像を前記第２ターゲット顔画像の位置に貼り合わせるように構成される処理モジュールであって、前記第２ターゲット顔画像と前記第１ターゲット顔画像が同一のターゲットに属する処理モジュールと、を備える。
【０００８】
コンピュータ装置が提供される。前記コンピュータ装置は、メモリと、プロセッサとを備え、前記メモリにコンピュータプログラムが記憶されており、前記コンピュータプログラムは、前記プロセッサにより実行される場合、前記プロセッサに上記の画像処理方法のステップを実行させる。
【０００９】
コンピュータ可読記憶媒体が提供される。前記コンピュータ可読記憶媒体にはコンピュータプログラムが記憶されており、前記コンピュータプログラムは、プロセッサにより実行される場合、前記プロセッサに上記の画像処理方法のステップを実行させる。
【発明の効果】
【００１０】
上記の画像処理方法、装置、コンピュータ装置及び記憶媒体は、ユーザ顔キーポイントズレ情報を取得し、前記ユーザ顔キーポイントズレ情報が、ターゲット表情状態にある時のユーザ顔の顔キーポイントの、前記基準表情状態の時に対するズレ量を表すものであり、ユーザ顔キーポイントズレ情報に基づいて、基準表情状態にある第１ターゲット顔画像の顔キーポイントを調整する。従って、調整後の第１ターゲット顔画像における表情テクスチャ画像における表情は、ターゲット表情に属する。第２ターゲット顔画像を含む処理対象画像において、調整後の第１ターゲット顔画像の表情テクスチャ画像を前記第２ターゲット顔画像の位置に貼り合わせ、第２ターゲット顔画像と第１ターゲット顔画像が同一のターゲットに属する。処理対象画像における第２ターゲット顔画像に、調整後の第１ターゲット顔画像の表情テクスチャ画像が貼り合わせられる。即ち、第２ターゲット顔画像における元の顔特徴を保持したままで、ユーザ顔表情により、処理対象画像におけるターゲット顔の表情を変更することを実現させ、画像処理の正確性を向上させる。
【図面の簡単な説明】
【００１１】
【図１】本出願の一実施例による画像処理方法を示すフローチャートである。
【図２】本出願の一実施例による顔画像を示す概略図である。
【図３】本出願の一実施例によるユーザ顔キーポイントズレ情報を示す概略図である。
【図４】本出願の一実施例による表情テクスチャ画像の貼り合わせを示す概略図である。
【図５】本出願の一実施例による第１ターゲット顔画像の顔キーポイントの調整を示す概略図である。
【図６】本出願の一実施例による画像処理方法の原理を示す概略図である。
【図７】本出願のもう１つの実施例による画像処理方法の原理を示す概略図である。
【図８】本出願の一実施例による画像処理装置を示すブロック図である。
【図９】本出願の一実施例による画像処理方法の適用環境を示す図である。
【図１０】本出願の一実施例によるコンピュータ装置の内部構造を示す概略図である。
【発明を実施するための形態】
【００１２】
本出願の目的、技術的解決手段及びメリットをより明確にするために、下記の図面及び実施例を参照して、本出願をさらに詳しく説明する。ここに記載される具体的な実施例は、本出願を説明するためのものに過ぎず、本出願を限定するものではないことは理解されるべきである。
【００１３】
なお、本出願の実施例における「第１」及び「第２」は区別するためのものに過ぎず、大きさ、順番、従属などを限定するものではない。
【００１４】
コンピュータ分野の進歩に伴い、画像処理の方式がますます多くなり、画像処理機能もますます強くなっている。例えば、ユーザは、写真又はビデオにおける人物表情に対して修正などの操作を行うことができる。任意選択的に、ユーザは、コンピュータ装置に記憶されたアプリケーションプログラムにより、画像又はビデオにおける人物表情に対して修正などの操作を行うことができる。任意選択的に、該アプリケーションプログラムは、画像閲覧、ビデオ再生、画像再生のための画像編集機能を有するアプリケーションプログラムであってもよい。該アプリケーションプログラムをインストールしているコンピュータ装置において、ユーザは、画像又はビデオを該アプリケーションプログラムで開き、写真又はビデオにおける人物表情の修正などの操作を実現することができる。任意選択的に、本出願の実施例で提供される画像処理方法は、該アプリケーションプログラムに適用可能である。
【００１５】
図１は、本出願の一実施例による画像処理方法を示すフローチャートである。本実施例において、主に、該画像処理方法をコンピュータ装置に適用することを例として説明する。該コンピュータ装置は、端末又はサーバであってもよい。図１に示すように、該方法は具体的には、下記ステップを含む。
【００１６】
Ｓ１０２において、基準表情状態にある第１ターゲット顔画像を取得する。
【００１７】
ここで、基準表情状態とは、基準表情を表すことができる状態を指す。調整する前の調整基準とする表情を指す。コンピュータ装置は、基準表情を基に表情調整を行う。
【００１８】
ここで、顔画像は、顔情報を表す画像である。ターゲット顔画像は、ターゲット顔情報を表す顔画像である。ターゲット顔は、画像又はビデオにおいて表情調整処理を行う必要がある顔であり、即ち、ターゲット顔の表情を調整する必要がある。第１ターゲット顔画像は、複数のターゲット顔画像のうちのいずれか１つである。
【００１９】
一実施例において、顔情報は、顔輪郭及び顔キーポイントを含む。顔キーポイントは、顔輪郭内の顔器官の点状表現形態であり、即ち、各々の点の形態で顔輪郭内の顔器官を表す。顔キーポイントは、顔輪郭内の顔器官の位置を表すために用いられてもよい。例えば、顔キーポイントは、眉、目、鼻及び口のような顔器官の位置を表すために用いられる。
【００２０】
一実施例において、顔輪郭は、額から顎までの完全な顔の輪郭であってもよい。しかしながら、額が人間の表情を表す点において役立たない。即ち、人間の表情が変わった場合、額に一般的には変化が生じない。例えば、笑う表情の場合と笑わない表情の場合で、額に一般的には変化が生じない。幾つかの場合において、額に変化があっても、見栄えが良くない変化（例えば額のシワ）である。従って、もう１つの実施例において、顔輪郭は、完全な顔輪郭から額輪郭を除去して残された輪郭であってもよい。
【００２１】
図２は、本出願の一実施例における顔画像を示す概略図である。図２を参照すると、２０２に対応する領域は、顔輪郭である（該顔輪郭に額輪郭が含まれないことが明らかである）。ここで、顔輪郭２０２における眉、目、鼻及び口のような顔器官の位置は、顔キーポイントを利用して表されてもよい。
【００２２】
一実施例において、基準表情状態にある第１ターゲット顔画像を取得することは、基準表情状態にある第１ターゲット顔画像を含む画像から、該第１ターゲット顔画像を抽出することを含む。
【００２３】
例えば、笑顔がない顔を含む写真（写真には、顔画像以外に、例えば、木又は花などのような他の環境及び背景画像が含まれる）が挙げられる。該写真は、基準表情状態にある第１ターゲット顔画像を含む画像に相当する。写真における顔は、基準表情状態にある第１ターゲット顔画像に属する。笑顔がない表情は、基準表情に属し、そしてから該基準表情を基に表情調整を行う。
【００２４】
もう１つの実施例において、第１ターゲット顔画像は、予め記憶された、顔情報を表すための単独の顔画像であってもよい。コンピュータ装置は、予め記憶された単独の第１ターゲット顔画像を直接的に取得することができる。該予め記憶された単独の第１ターゲット顔画像は、該第１ターゲット顔画像を含む画像から予め抽出されてから、独立して記憶されたものであってもよい。
【００２５】
Ｓ１０４において、ユーザ顔キーポイントズレ情報を取得し、前記ユーザ顔キーポイントズレ情報が、ターゲット表情状態にある時のユーザ顔の顔キーポイントの、前記基準表情状態の時に対するズレ量を表すものである。
【００２６】
ターゲット表情状態とは、表される表情がターゲット表情である状態を指す。ターゲット表情は、基準表情を調整して得られる表情を指す。コンピュータ装置は、基準表情を基に表情調整を行い、表情をターゲット表情に調整することを理解すべきである。
【００２７】
ユーザ顔は、コンピュータ装置によりターゲット顔の表情を調整するユーザの顔である。コンピュータ装置は、ユーザ顔で表されるターゲット表情に基づいて、ターゲット顔における基準表情を該ターゲット表情に調整できることを理解すべきである。例えば、ターゲット顔の基準表情が、笑顔がない表情であり、ユーザは、大笑い表情をすることができ、該大笑い表情は、ターゲット表情である。ユーザは、コンピュータ装置により、ターゲット顔の表情を、笑顔のない表情からユーザの大笑い表情に調整することができる。
【００２８】
ユーザ顔キーポイントズレ情報は、ターゲット表情状態にある時のユーザ顔の顔キーポイントの、基準表情状態の時に対するズレ量を表すものである。異なる表情状態で、顔キーポイントの位置が異なるため、ユーザ顔キーポイントズレ情報は、ターゲット表情状態にある時のユーザ顔の顔キーポイントの位置の、基準表情状態にある時の位置に対するズレ量を表すものである。
【００２９】
ユーザ顔キーポイントズレ情報をより直観的に理解するために、例を挙げて説明する。図３は、本出願の一実施例によるユーザ顔キーポイントズレ情報を示す概略図である。図３における一連の点はいずれもキーポイントである。キーポイントは、特徴を表す点であることを理解すべきである。ここで、キーポイント１〜１７は、顔輪郭の輪郭キーポイントであり、キーポイント１８〜６８は、顔輪郭内の顔キーポイントである。ユーザ顔キーポイントズレ情報は、目の上瞼のキーポイント３８、３９が上方向に１０％ずれ、下瞼キーポイント４２、４１が下方向に１０％ずれることを含んでもよい（即ち、目を大きく開く表情をする）。ユーザ顔キーポイントズレ情報は、ターゲット表情状態にある時の１つ又は複数の顔器官の、基準表情状態にある時に対するズレ量を含んでもよいことを理解すべきである。
【００３０】
一実施例において、コンピュータ装置は、予め設定されたユーザ顔キーポイントズレ情報を直接取得することができる。具体的には、予め設定されたユーザ顔キーポイントズレ情報は、１つ又は複数であってもよい。複数の予め設定されたユーザ顔キーポイントズレ情報が存在する場合、ユーザは、１つのユーザ顔キーポイントズレ情報を選択することができ、コンピュータ装置は、選択されたユーザ顔キーポイントズレ情報を取得することができる。
【００３１】
もう１つの実施例において、ユーザ顔キーポイントズレ情報を取得するステップは、ユーザ顔が基準表情状態にあることを表すための第１表情テンプレートを決定するステップと、ユーザ顔がターゲット表情状態にあることを表すための第２表情テンプレートを取得するステップと、第１表情テンプレートに対応する顔キーポイントと第２表情テンプレートに対応する顔キーポイントとの位置ズレ情報に基づいて、ユーザ顔キーポイントズレ情報を得るステップとを含む。
【００３２】
ここで、表情テンプレートは、表情を表すための予め設定されたテンプレートである。
【００３３】
具体的には、コンピュータ装置に複数の表情テンプレートが予め設定されてもよい。コンピュータ装置は、予め設定された表情テンプレートから、ユーザ顔が基準表情状態にあることを表すための第１表情テンプレートを決定することができる。
【００３４】
一実施例において、ユーザは、設定された表情テンプレートから、基準表情状態にある表情テンプレートを選択することができる（即ち、表される表情が基准表情である表情テンプレートを選択する）。コンピュータ装置は、選択された表情テンプレートを、ユーザ顔が基準表情状態にあることを表すための第１表情テンプレートとして取得することができる。ここでの基準表情状態とは、第１ターゲット顔画像の基準表情状態を指すことを理解すべきである。ここでの基准表情とは、第１ターゲット顔画像の基準表情状態に表れる表情を指すことを理解すべきである。
【００３５】
もう１つの実施例において、コンピュータ装置は、設定された表情テンプレートを第１ターゲット顔画像の基準表情状態とマッチングし、マッチングして得られた表情テンプレートを、ユーザ顔が基準表情状態にあることを表すための第１表情テンプレートとすることもできる。マッチングして得られた表情テンプレートに表される表情は、ターゲット表情であることを理解すべきである。
【００３６】
一実施例において、コンピュータ装置は、ユーザの選択操作により選択された第２表情テンプレートを取得することができる。該第２表情テンプレートは、ユーザ顔がターゲット表情状態にあることを表すためのものである。他の実施例において、コンピュータ装置は、予め設定された表情テンプレートから、第１表情テンプレートに対応して配置された表情テンプレートを取得し、取得された表情テンプレートを、ユーザ顔がターゲット表情状態にあることを表すための第２表情テンプレートとすることもできることを理解すべきである。例えば、笑顔のない表情テンプレートに対応して、笑顔及び／又は泣顔がある表情テンプレートを配置する。
【００３７】
すべての表情テンプレートに、対応する顔キーポイントが存在し、コンピュータ装置は、第１表情テンプレートに対応する顔キーポイント及び第２表情テンプレートに対応する顔キーポイントを取得し、第１表情テンプレートに対応する顔キーポイントと第２表情テンプレートに対応する顔キーポイントとの位置ズレ情報を決定し、ユーザ顔キーポイントズレ情報を得ることができることを理解すべきである。
【００３８】
上記実施例において、顔キーポイントに対応する予め設定された表情テンプレートを選択することで、ユーザ顔キーポイントズレ情報を得る。画像収集リソースを呼び出して異なる表情状態にあるユーザ顔画像をリアルタイムに収集する必要がなく、画像収集に消費されるシステムリソースを節約する。
【００３９】
Ｓ１０６において、ユーザ顔キーポイントズレ情報に基づいて、第１ターゲット顔画像の顔キーポイントを調整する。
【００４０】
具体的には、コンピュータ装置は、ユーザ顔キーポイントズレ情報に基づいて、基準表情状態にある第１ターゲット顔画像の顔キーポイントの位置を調整することができる。調整後の顔キーポイントの位置が変化すると共に、第１ターゲット顔画像における表情を変化することができることを理解すべきである。
【００４１】
Ｓ１０８において、第２ターゲット顔画像を含む処理対象画像において、調整後の第１ターゲット顔画像の表情テクスチャ画像を第２ターゲット顔画像の位置に貼り合わせ、第２ターゲット顔画像と第１ターゲット顔画像が同一のターゲットに属する。
【００４２】
処理対象画像における第２ターゲット顔画像と第１ターゲット顔画像が同一のターゲットに属することは、第２ターゲット顔画像と第１ターゲット顔画像がいずれも同一のターゲットの顔画像であることを指すことを理解すべきである。例えば、ターゲットがトムである場合、第２ターゲット顔画像と第１ターゲット顔画像は、いずれもトムの顔画像に属する。
【００４３】
なお、第２ターゲット顔画像と第１ターゲット顔画像は、同一のターゲットに属する異なる表情の顔画像であってもい。なお、第２ターゲット顔画像と第１ターゲット顔画像は、同一のターゲットに属する同一の表情の顔画像であってもよく、即ち、第２ターゲット顔画像と第１ターゲット顔画像は、全く同じであってもよい。第２ターゲット顔画像と第１ターゲット顔画像が同じである場合、第２ターゲット顔画像に関する記載を第１ターゲット顔画像で置き換えることができる。
【００４４】
一実施例において、基準表情状態にある第１ターゲット顔画像を取得することは、処理対象画像における基準表情状態にある第１ターゲット顔画像を取得することを含んでもよい。第２ターゲット顔画像を含む処理対象画像において、調整後の第１ターゲット顔画像の表情テクスチャ画像を第２ターゲット顔画像の位置に貼り合わせることは、処理対象画像において、調整後の第１ターゲット顔画像の表情テクスチャ画像を該処理対象画像の第１ターゲット顔画像の位置に貼り合わせる。
【００４５】
なお、処理対象画像は、画像処理を行おうとする対象画像である。処理対象画像には、第２ターゲット顔画像が含まれる。処理対象画像は少なくとも１つである。ここで説明しているのは、１つの処理対象画像に対して使用される画像処理方法である。すべての処理対象画像に対して使用される画像処理方法は同じである。処理対象画像は、単独の画像であってもよいし、ビデオにおける画像フレームであってもよい。
【００４６】
テクスチャは、対象表面細部を反映する情報であり、対象表面の模様、顔又は模様などのうちの少なくとも１つの情報を含む。表情テクスチャは、顔画像における表情を反映する情報を指す。テクスチャ画像は、テクスチャを含む画像であり、即ち、対象表面細部を反映する情報を含む画像である。表情テクスチャ画像は、表情テクスチャを含む画像である。即ち、表情テクスチャ画像に、顔画像における表情を反映する情報が含まれる。
【００４７】
一実施例において、表情テクスチャ画像は、調整後の第１ターゲット顔画像の顔輪郭内のテクスチャ画像であってもよい。顔輪郭内のテクスチャ画像に目、鼻、口、眉などの顔器官が含まれ、これらの顔器官の位置が第１ターゲット顔画像における表情を反映することができるため、調整後の第１ターゲット顔画像の顔輪郭内のテクスチャ画像は、表情テクスチャ画像とすることができることを理解すべきである。図２を例として説明すると、図２における顔画像が調整後の第１ターゲット顔画像であるとすれば、２０２は、顔輪郭であり、該顔輪郭２０２内の画像は、表情テクスチャ画像とすることができる。
【００４８】
他の実施例において、表情テクスチャ画像は、顔器官のみを含む画像であってもよい。表情テクスチャ画像には、他の顔肌が含まれず、顔器官のみが含まれてもよいことを理解すべきであり、顔器官のみを含んでも表情を反映できるためである。例えば、表情テクスチャ画像に顔器官のみが含まれ、他の顔肌は、透明又は空白の画像である。
【００４９】
コンピュータ装置は、ユーザ顔キーポイントズレ情報に基づいて顔キーポイントの調整を行った第１ターゲット顔画像から、表情テクスチャ画像を切り出し、切り出された表情テクスチャ画像を処理対象画像における第２ターゲット顔画像の位置に貼り合わせることができる。
【００５０】
第２ターゲット顔画像と第１ターゲット顔画像が同一のターゲットに属するため、調整後の第１ターゲット顔画像の表情テクスチャ画像を処理対象画像における第２ターゲット顔画像の位置に貼り合わせても、第２ターゲット顔画像の顔特徴を変化させることがないことを理解すべきである。
【００５１】
一実施例において、コンピュータ装置は、処理対象画像の第２ターゲット顔画像において第１ターゲット顔画像の表情テクスチャ画像に対応する領域を切り取り、調整後の第１ターゲット顔画像の表情テクスチャ画像を切り取られた該領域に貼り合わせることで、新たな画像を形成することができる。もう１つの実施例において、コンピュータ装置は、調整後の第１ターゲット顔画像の表情テクスチャ画像を、処理対象画像の第２ターゲット顔画像における、対応する領域を覆うように貼り合わせることもできる。
【００５２】
理解しやすくするために、上記のような２つのケースに対して例を挙げて説明する。例えば、処理対象画像がＡであり、処理対象画像Ａにおける第２ターゲット顔画像がａであり、第１ターゲット顔画像がｂである場合、ｂにおける表情テクスチャ画像をＡに貼り合わせる時に、まず、画像Ａにおいて貼り合わせ領域を決定し、該領域を切り取ってから、ｂにおける表情テクスチャ画像を、該切り取られた領域にパディングするように貼り合わせ、新たな画像を得る。それ以外に、画像Ａに対してトリミングを行わず、ｂにおける表情テクスチャ画像で該貼り合わせ領域を直接的に覆ってもよい。
【００５３】
図４は、本出願の一実施例における表情テクスチャ画像の貼り合わせを示す概略図である。図４において、処理対象画像に含まれる第２ターゲット顔画像と第１ターゲット顔画像が同じである場合を説明する。図４を参照すると、処理対象画像４０２には、基準表情状態にある第１ターゲット顔画像４０４が含まれる。ユーザ顔キーポイントズレ情報に基づいて、第１ターゲット顔画像４０４の顔キーポイントを調整してから、調整後の第１ターゲット顔画像から切り出された表情テクスチャ画像は４０６である。コンピュータ装置は、表情テクスチャ画像４０６を処理対象画像に貼り合わせ、ターゲット表情を有する画像４０８を得ることができる。
【００５４】
一実施例において、該方法は、表情テクスチャ画像を貼り合わせた処理対象画像から、貼り合わせられた表情テクスチャ画像の縁領域及び接合画像領域を決定するステップと、縁領域における肌の第１肌色データ及び接合画像領域における肌の第２肌色データをそれぞれ抽出するステップと、第１肌色データ及び第２肌色データに基づいて、肌色融合処理を行うステップとを更に含む。
【００５５】
表情テクスチャ画像を処理対象画像に貼り合わせた後に、処理対象画像には、貼り合わせられた表情テクスチャ画像の縁領域及び接合画像領域が存在する。該接合画像領域と、貼り合わせられた表情テクスチャ画像の縁領域との間に肌色差が存在する可能性があるため、コンピュータ装置は、縁領域における肌の第１肌色データ及び接合画像領域における肌の第２肌色データをそれぞれ抽出することができる。コンピュータ装置は、第１肌色データ及び第２肌色データに基づいて肌色融合処理を行い、貼り合わせられた表情テクスチャ画像の縁領域と接合画像領域との肌色過渡を自然にし、画像処理の品質及び効果を向上させることができる。
【００５６】
一実施例において、コンピュータ装置は、第１肌色データと第２肌色データとの平均値を算出することで、肌色融合処理を実現することができる。
【００５７】
上記の画像処理方法は、ユーザ顔キーポイントズレ情報を取得し、前記ユーザ顔キーポイントズレ情報が、ターゲット表情状態にある時のユーザ顔の顔キーポイントの、前記基準表情状態の時に対するズレ量を表すものである、ユーザ顔キーポイントズレ情報に基づいて、基準表情状態にある第１ターゲット顔画像の顔キーポイントを調整する。このように、調整後の第１ターゲット顔画像における表情テクスチャ画像における表情は、ターゲット表情に属する。第２ターゲット顔画像を含む処理対象画像において、調整後の第１ターゲット顔画像の表情テクスチャ画像を前記第２ターゲット顔画像の位置に貼り合わせ、第２ターゲット顔画像と第１ターゲット顔画像が同一のターゲットに属する。処理対象画像における第２ターゲット顔画像の位置に、調整後の第１ターゲット顔画像の表情テクスチャ画像が貼り合わせられる。即ち、第２ターゲット顔画像における元の顔特徴を保持したままで、ユーザ顔の表情によって、処理対象画像におけるターゲット顔の表情を変更することを実現させる。
【００５８】
一実施例において、ユーザ顔キーポイントズレ情報を取得するステップは、基準表情状態にあるユーザ顔画像における第１顔キーポイントを取得するステップと、ターゲット表情状態にあるユーザ顔画像における第２顔キーポイントを認識するステップと、第１顔キーポイントと第２顔キーポイントとの位置ズレ情報を決定し、ユーザ顔キーポイントズレ情報を得るステップとを含む。
【００５９】
ここで、基準表情状態にあるユーザ顔画像は、基准表情を表すユーザ顔画像である。ユーザ顔画像は、ユーザ顔情報を表す顔画像である。なお、ユーザ顔画像の基準表情状態は、第１ターゲット顔画像の基準表情状態と一致する。例えば、第１ターゲット顔画像の基準表情状態は、笑顔のない正常表情である場合、ユーザ顔画像の基準表情状態も、該笑顔のない正常表情である。
【００６０】
一実施例において、コンピュータ装置は、基準表情状態にあるユーザ顔画像を取得し、その中から第１顔キーポイントを抽出することができる。コンピュータ装置は、既に存在している基準表情状態にあるユーザ顔画像を直接に取得してもよく、基準表情状態にあるユーザ顔画像を収集してもよい。ユーザが、画像収集装置に向かって基准表情をし、画像収集装置は、基准表情をしているユーザに対して顔画像収集を行い、基準表情状態にあるユーザ顔画像を収集することができることを理解すべきである。コンピュータ装置は、収集された、基準表情状態にあるユーザ顔画像から、第１顔キーポイントを認識することができる。
【００６１】
コンピュータ装置は、予め記憶された基準表情状態にあるユーザ顔画像における第１顔キーポイントを直接的に取得することもできる。予め記憶された基準表情状態にあるユーザ顔画像における第１顔キーポイントは、基準表情状態にあるユーザ顔画像から第１顔キーポイントを抽出してから、抽出された第１顔キーポイントを記憶したものであってもよいことを理解すべきである。
【００６２】
一実施例において、コンピュータ装置は、ターゲット表情状態にあるユーザ顔画像を取得し、ターゲット表情状態にあるユーザ顔画像から、第２顔キーポイントを認識することができる。具体的には、コンピュータ装置は、予め記憶されたターゲット表情状態にあるユーザ顔画像を取得することができる。コンピュータ装置は、画像収集装置によりターゲット表情状態にあるユーザ顔画像を収集してもよい。即ち、ユーザは、画像収集装置に向かってターゲット表情をし、画像収集装置は、ターゲット表情をしているユーザに対して顔画像の収集を行い、ターゲット表情状態にあるユーザ顔画像を得る。
【００６３】
コンピュータ装置は、前記第１顔キーポイントと第２顔キーポイントとの位置ズレ情報を決定し、ユーザ顔キーポイントズレ情報を得ることができる。第１顔キーポイントと第２顔キーポイントとの位置ズレ情報は、第１顔キーポイントの位置から対応する第２顔キーポイントの位置までのズレ量であってもよいし、第２顔キーポイントの位置から対応する第１顔キーポイントの位置までのズレ量であってもよいことを理解すべきである。
【００６４】
コンピュータ装置は、第１顔キーポイントの位置と第２顔キーポイントの位置との差に基づいて、ズレ量を得ることができることを理解すべきである。ここで、第１顔キーポイントの位置及び第２顔キーポイントの位置は、いずれも、同一の基準対象を基準にして決定される。
【００６５】
一実施例において、コンピュータ装置は、第１顔キーポイント及び第２顔キーポイントに対応する顔器官の中心点又は中心線を基準対象とし、第１顔キーポイントの該基準対象に対する位置、及び第２顔キーポイントの該基準対象に対する位置をそれぞれ決定する。更に、コンピュータ装置は、第１顔キーポイントの位置と第２顔キーポイントの位置との差に基づいて、ズレ量を得ることができる。
【００６６】
同一人物の顔器官の中心点又は中心線の位置は、表情に伴って変化することがない。例えば、目の中心線は変わるものではなく、表情に伴って変化するのは、上下瞼の開き度合いである。目の中心線が、目の開き度合いが０度であることを表すことを仮定し、第１顔キーポイントが目キーポイントＡであり、目の中心線に対する開き度合いが上への５度であり、目キーポイントＡに対応する第２顔キーポイントが目キーポイントＡ’であり、目の中心線に対する開き度合いが上への１５度であるとした場合、目キーポイントＡの位置と目キーポイントＡ’の位置とのズレ量は、上への１０度であり得る。
【００６７】
もう１つの実施例において、コンピュータ装置は、ターゲット表情状態にあるユーザ顔画像と基準表情状態にあるユーザ顔画像の中の同一の頂点を基準対象としてもよい。コンピュータ装置は、該頂点を座標の原点として二次元平面直角座標系を確立することができる。例えば、ユーザ顔画像の左上隅の頂点を座標の原点として二次元平面直角座標系を確立することができる。コンピュータ装置は、第１顔キーポイントの該二次元平面直角座標系における位置座標を決定し、第２顔キーポイントの該二次元平面直角座標系における位置座標を決定することができる。コンピュータ装置は、第１顔キーポイントの位置座標と第２顔キーポイントの位置座標との差に基づいて、ズレ量を得ることができる。
【００６８】
顔器官の同一位置を表す第１顔キーポイントと第２顔キーポイントは、互に対応することを理解すべきである。図３を例として、図３に示した基準表情状態にあるユーザ顔画像における右目の上瞼を表すキーポイントは、３８及び３９という２つのキーポイントである。ここで、キーポイント３９は、キーポイント３８に比べて、鼻のキーポイントに近いため、該キーポイント３９は、ターゲット表情状態にあるユーザ顔画像における右目の上瞼を表す２つのキーポイントのうちの鼻に近いキーポイントに対応する。
【００６９】
図５は、本出願の一実施例による第１ターゲット顔画像の顔キーポイントの調整を示す概略図である。図５において、処理対象画像に含まれる第２ターゲット顔画像と第１ターゲット顔画像が同じである場合を説明する。図５を参照すると、５０２は、処理対象画像であり、５０２ａは、処理対象画像における基準表情状態にある第１ターゲット顔画像であり、５０４ａは、該基準表情状態にあるユーザ顔画像である。図５から分かるように、５０２ａ及び５０４ａはいずれも、笑顔のない正常なリラックスした表情に属する。５０４ｂは、ターゲット表情状態にあるユーザ顔画像である。５０４ａにおける第１顔キーポイントと５０４ｂにおける第２顔キーポイントとの位置ズレ情報に基づいて、ユーザ顔キーポイントズレ情報を得る。コンピュータ装置は、得られたユーザ顔キーポイントズレ情報に基づいて、５０２ａにおける顔キーポイントを調整し、調整後の第１ターゲット顔画像における表情テクスチャ画像５０２ｂを、処理対象画像５０２における第１ターゲット顔画像５０２ａに貼り合わせて、新たな画像５０６を得ることができる。
【００７０】
上記実施例において、基準表情状態にあるユーザ顔画像における第１顔キーポイントを取得し、ターゲット表情状態にあるユーザ顔画像における第２顔キーポイントを認識し、双方の間の位置ズレ情報を決定することで、ユーザ顔キーポイントズレ情報を得る。ユーザ顔に基づいて、処理対象画像における顔表情を柔軟に調整することを実現させ、画像処理の柔軟性を向上させる。また、直接的にユーザ顔に基づいて、処理対象画像における顔表情を調整することで、複雑な処理を避け、画像処理の効率を向上させる。
【００７１】
一実施例において、処理対象画像は、ビデオにおける画像フレームであり、基準表情状態にある第１ターゲット顔画像を取得するステップは、ビデオの基準画像フレームから、基準表情状態にある第１ターゲット顔画像を抽出するステップを含む。ターゲット表情状態にあるユーザ顔画像における第２顔キーポイントを認識するステップは、ビデオを再生し、ビデオの各画像フレームに対して、対応するターゲット表情状態にあるユーザ顔画像を収集するステップと、収集されたターゲット表情状態にあるユーザ顔画像における第２顔キーポイントを認識するステップとを含む。
【００７２】
ビデオの画像フレームにおいて、少なくとも１つの画像フレームが、処理対象画像であってもよいことを理解すべきである。複数の画像フレームがいずれも処理対象画像である場合、各処理対象画像に対して、本出願の各実施例で提供される画像処理方法を用いることができる。
【００７３】
ここで、基準画像フレームは、ビデオにおける、基準表情状態にある第１ターゲット顔画像を含む画像フレームである。基準画像フレームは、ビデオから選択された所定のデフォルト画像フレームであってもよい。即ち、ビデオにおける異なる処理対象画像は、いずれも１つの基準画像フレームに対応する。一実施例において、基準表情状態は、正常表情状態であってもよい。正常表情状態は、如何なる喜怒哀楽を表さない表情状態である。他の実施例において、基準表情状態は、基準画像フレームにある表情状態であってもよい。即ち、特定の表情状態を基準表情状態として限定せずに、基準画像フレームにある表情状態は、基準表情状態と見なす。
【００７４】
基準画像フレームは、ビデオにおける処理対象画像であってもよい。即ち、基準画像フレームは、動的に変化するものであってもよい。ビデオにおける処理対象画像が変化した場合、基準画像フレームがそもそも処理対象画像であるため、基準画像フレームも変化する。この場合、基準表情状態は、調整を行う前の処理対象画像の表情状態である。
【００７５】
一実施例において、ビデオが再生状態である時に、ビデオの画像フレームから基準画像フレームを選択することができる。具体的には、ユーザは、ビデオを再生している時に、ビデオに画像フレーム指定命令を入力し、コンピュータ装置は、該画像フレーム指定命令に応答して、ビデオの画像フレームから、指定された基準画像フレームを選択することができる。即ち、基準画像フレームは、ビデオを再生している時に受け取った画像フレーム指定命令に応答してビデオにおける画像フレームから選択されてもよい。
【００７６】
一実施例において、ビデオが再生状態である時に、コンピュータ装置は、リマインド情報を生成し、基準画像フレームを選択するようにをユーザにリマインドする。コンピュータ装置は、ユーザがリマインド情報に応じて入力した画像フレーム指定命令を受け取って該命令に応答し、ビデオの画像フレームから、指定された基準画像フレームを選択することができる。
【００７７】
もう１つの実施例において、画像フレーム選択インタフェースにおいて、ビデオの画像フレームから基準画像フレームを選択することもできる。ユーザは、トリガによって画像フレーム選択インタフェースに開くことができ、該インタフェースに、ビデオの画像フレームを表示することができる。ユーザは、その中から基準画像フレームを指定し、コンピュータ装置は、ユーザにより指定された基準画像フレームを選択することができる。画像フレーム選択インタフェースは、ビデオにおける基準画像フレームを選択するための専用インタフェースである。
【００７８】
コンピュータ装置は、ビデオの基準画像フレームから、基準表情状態にある第１ターゲット顔画像を抽出し、基準表情状態にあるユーザ顔画像における第１顔キーポイントの取得ステップを実行することができる。本出願の実施例において、ターゲット表情状態にあるユーザ顔画像における第２顔キーポイントを認識するステップは、ビデオを再生し、ビデオの各画像フレームに対して、対応するターゲット表情状態にあるユーザ顔画像を収集するステップと、収集された各ターゲット表情状態にあるユーザ顔画像における第２顔キーポイントを認識するステップとを含む。
【００７９】
具体的には、コンピュータ装置はビデオを再生し、ユーザは、ビデオ再生中において、ビデオの各画像フレームにおいて、対応するターゲット表情をし、コンピュータ装置は、該画像フレームに対応するターゲット表情状態にあるユーザ顔画像を収集することができる。ビデオの画像フレームに対応するターゲット表情状態にあるユーザ顔画像に表れるものは、該画像フレームに対応するターゲット表情であることを理解すべきである。コンピュータ装置は、各画像フレームにおいて、対応するターゲット表情状態にあるユーザ顔画像を収集する。異なる画像フレームに対応するユーザ顔画像のターゲット表情状態は、同じであってもよいし、異なってもよい。例えば、画像フレームＡに対応するユーザ顔画像のターゲット表情状態で表れるターゲット表情は、笑顔の表情であり、次の画像フレームＢに対応するユーザ顔画像のターゲット表情状態で表れるターゲット表情は、笑顔のない表情であってもよい。
【００８０】
コンピュータ装置は、収集された各ターゲット表情状態にあるユーザ顔画像から、第２顔キーポイントを認識し、前記第１顔キーポイントと第２顔キーポイントとの位置ズレ情報を決定し、ユーザ顔キーポイントズレ情報を得るステップを実行し、後続のステップＳ１０６〜Ｓ１０８を実行することができる。処理対象画像がビデオにおける画像フレームであるため、本実施例において、ステップＳ１０８における処理対象画像に関する記載を、ビデオの画像フレームで置き換えて説明してもよく、即ち、第２ターゲット顔画像を含むビデオの画像フレームにおいて、調整後の第１ターゲット顔画像の表情テクスチャ画像を前記第２ターゲット顔画像の位置に貼り合わせ、前記第２ターゲット顔画像と前記第１ターゲット顔画像は、同一のターゲットに属する。
【００８１】
表情テクスチャ画像を貼り合わせた処理対象画像は、表情に変化が生じた新たなターゲット画像であることを理解すべきである。従って、再生されるビデオ画面は、直接的に、表情テクスチャ画像を貼り合わせた後に生成された新たなターゲット画像として表示される。
【００８２】
上記実施例において、ビデオを再生している時に、ユーザ顔に基づいて、ビデオの画像フレームにおける顔表情を直接的に調整することができ、複雑な処理を避け、ビデオに対する画像処理の効率を向上させる。なお、ユーザ顔の表情が柔軟性を有するため、ビデオに対する画像処理の柔軟性を向上させる。そしてから、ユーザ顔によりビデオにおける他の人物の顔の表情を調整することを実現させ、ビデオに対する画像処理をより容易かつ多様にすることができる。
【００８３】
一実施例において、画像処理方法を提供する。該画像処理は、コンピュータ装置に適用され、該方法は具体的には、下記ステップを含む。
【００８４】
（１）ビデオ再生中において、基準画像フレームを選択するためのリマインド情報を生成する。
【００８５】
（２）該リマインド情報に基づいて入力された画像フレーム指定命令を受け取る。
【００８６】
ユーザは、該リマインド情報に基づいて、ビデオから基準画像フレームを選択し、画像フレーム指定命令を入力することができることを理解すべきである。
【００８７】
（３）画像フレーム指定命令に応答して、該ビデオの画像フレームから基準画像フレームを選択する。ここで、選択された基準画像フレームには、基準表情状態にある第１ターゲット顔画像が含まれる。
【００８８】
（４）ビデオの基準画像フレームから、基準表情状態にある第１ターゲット顔画像を抽出する。
【００８９】
（５）基準画像フレームにおける第１ターゲット顔画像の顔キーポイントを検出し、該基準画像フレームにおける第１ターゲット顔画像の顔輪郭及び顔キーポイントの位置を記憶する。
【００９０】
（６）画像収集装置により、基準表情状態にあるユーザ顔画像を収集し、収集された基準表情状態にあるユーザ顔画像から、第１顔キーポイントを認識する。
【００９１】
（７）ビデオを改めて再生し、表情を作るようにユーザにリマインドし、ビデオの各画像フレームに対して、対応するターゲット表情状態にあるユーザ顔画像を収集する。
【００９２】
ビデオ再生中、ユーザが表情をしながら、コンピュータ装置は、ユーザの表情を収集することができる。従って、各画像フレームを再生している時にユーザが作った表情は、該画像フレームに対するターゲット表情である。これにより、ビデオの各画像フレームに対して、対応するターゲット表情状態にあるユーザ顔画像が収集される。ここで、異なる画像フレームに対応するユーザの顔画像のターゲット表情状態は、同じであってもよいし、異なってもよい。
【００９３】
（８）ターゲット表情状態にある各ユーザ顔画像における第２顔キーポイントをそれぞれ認識する。
【００９４】
（９）各第２顔キーポイントと第１顔キーポイントとの位置ズレ情報をそれぞれ決定し、ターゲット表情状態にある各ユーザ顔画像に対応するユーザ顔キーポイントズレ情報を得る。ここで、各ユーザ顔キーポイントズレ情報は、対応するターゲット表情状態にあるユーザ顔画像の画像フレームに対応する。
【００９５】
第２顔キーポイントに基づいて決定されたユーザ顔キーポイントズレ情報は、第２顔キーポイントが抽出されたターゲット表情状態にあるユーザ顔画像に対応することを理解すべきである。
【００９６】
（１０）各ユーザ顔キーポイントズレ情報に基づいて、基準表情状態にある第１ターゲット顔画像の顔キーポイントの位置を調整し、調整後の各第１ターゲット顔画像から、顔輪郭内の表情テクスチャ画像を切り出す。
【００９７】
異なるユーザ顔キーポイントズレ情報に基づいて、基準表情状態にある第１ターゲット顔画像の顔キーポイントを調整することは、異なる調整後の第１ターゲット顔画像を得ることができることを理解すべきである。
【００９８】
（１１）ビデオにおける第２ターゲット顔画像を含む各画像フレームにおいて、対応する表情テクスチャ画像を該画像フレームにおける第２ターゲット顔画像の位置に貼り合わせ、新たな各画像フレームを得て、第２ターゲット顔画像と第１ターゲット顔画像は、同一のターゲットに属する。
【００９９】
分かりやすく言えば、第２ターゲット顔画像と第１ターゲット顔画像は、同一のターゲットの顔に属する。
【０１００】
ビデオにおける第２ターゲット顔画像を含む各画像フレームが、新たな画像フレームに置き換えられることに相当する。従って、新たなビデオを得ることができる。
【０１０１】
図６は、本出願の一実施例による画像処理方法の原理を示す概略図である。図６を参照すると、ユーザは、ビデオを選択して再生することができる。コンピュータ装置は、ビデオ再生中において、ビデオにおける正常表情状態にあるターゲット人物を含む基準画像フレームを選択するようにユーザにリマインドすることができる。即ち、基準画像フレームには、正常表情状態（即ち、基準表情状態）である第１ターゲット顔画像が含まれる。コンピュータ装置は、該基準画像フレームにおけるターゲット人物の顔キーポイントを検出する（即ち、該基準画像フレームにおける第１ターゲット顔画像における顔キーポイントを検出する）。基準画像フレームにおけるターゲット顔（即ち、第１ターゲット顔画像）が検出された場合、該基準画像フレームにおけるターゲット顔の顔輪郭及顔キーポイントの位置を記憶する。コンピュータ装置は、カメラをオンにして、ユーザ顔画像を収集し、正常表情状態にあるユーザ顔画像を取得し（即ち、基準表情状態にあるユーザ顔画像を取得し）、正常表情状態にあるユーザ顔画像の第１顔キーポイントの位置を記憶する。コンピュータ装置は、該ビデオを改めて再生し、表情を作るようにユーザにリマインドする。ここで、ユーザにより作られた表情は、ターゲット表情である。コンピュータ装置は、カメラにより、ビデオの各画像フレームに対して、対応するターゲット表情状態にあるユーザ顔画像をそれぞれ収集し、ターゲット表情状態にあるユーザ顔画像における第２顔キーポイントと第１顔キーポイントとの位置ズレ情報に基づいて、ユーザ顔キーポイントズレ情報を決定する。コンピュータ装置は、ターゲット顔（即ち、第１ターゲット顔画像）における顔キーポイントの位置を該ユーザ顔キーポイントズレ情報に基づいて調整し、調整後のターゲット顔の表情テクスチャ（即ち、調整後の第１ターゲット顔画像の表情テクスチャ画像）をビデオにおける対応する画像フレームに貼り戻すことができる。ユーザは、結果をリアルタイムにプレビューすることができる。
【０１０２】
一実施例において、該方法は、第１ターゲット顔画像がターゲット表情状態にあるユーザ顔画像とマッチングしない場合、ユーザ顔キーポイントズレ情報を取得するステップを実行することと、第１ターゲット顔画像がターゲット表情状態にあるユーザ顔画像とマッチングした場合、第２ターゲット顔画像を含む処理対象画像において、ターゲット表情状態にあるユーザ顔画像における表情特徴を第２ターゲット顔画像にマッピングし、第２ターゲット顔画像と第１ターゲット顔画像が同一のターゲットに属することとを更に含む。
【０１０３】
第１ターゲット顔画像が、ターゲット表情状態にあるユーザ顔画像とマッチングしないことは、第１ターゲット顔画像の属するターゲットが、ターゲット表情状態にあるユーザ顔画像の属するユーザと異なることである。即ち、第１ターゲット顔画像とターゲット表情状態にあるユーザ顔画像で表されるものは、異なる人物の顔である。逆に、第１ターゲット顔画像が、ターゲット表情状態にあるユーザ顔画像とマッチングしたことは、第１ターゲット顔画像の属するターゲットが、ターゲット表情状態にあるユーザ顔画像の属するユーザと同じであることである。即ち、第１ターゲット顔画像とターゲット表情状態にあるユーザ顔画像で表されるものは、同一の人物の顔である。
【０１０４】
具体的には、第１ターゲット顔画像が、ターゲット表情状態にあるユーザ顔画像とマッチングした場合、第１ターゲット顔画像とターゲット表情状態にあるユーザ顔画像で表されるものは、同一の人物の異なる表情状態の顔であることを示し、この場合、第１ターゲット顔画像の基本顔特徴は、ユーザ顔画像と同じであり、第２ターゲット顔画像と第１ターゲット顔画像は同一のターゲットに属し、即ち、同一の人物の顔に属する。従って、顔キーポイントの位置の調整を必要とせず、第２ターゲット顔画像を含む処理対象画像において、ターゲット表情状態にあるユーザ顔画像における表情特徴を第２ターゲット顔画像に直接的にマッピングすることができる。
【０１０５】
ターゲット表情状態にあるユーザ顔画像における表情特徴を処理対象画像における第２ターゲット顔画像にマッピングしてから、処理対象画像における第２ターゲット顔画像における表情は、ターゲット表情であることを理解すべきである。
【０１０６】
なお、処理対象画像における第２ターゲット顔画像と第１ターゲット顔画像は、同一のターゲットに属する異なる表情の顔画像であってもよい。また、第２ターゲット顔画像と第１ターゲット顔画像は、同一のターゲットの同じ表情の顔画像であってもよい。即ち、第２ターゲット顔画像と第１ターゲット顔画像は、全く同じであってもよい。
【０１０７】
第２ターゲット顔画像と第１ターゲット顔画像が同じである場合、第１ターゲット顔画像で、第２ターゲット顔画像に関する記載を置き換えることができる。例えば、前記第２ターゲット顔画像を含む処理対象画像において、ターゲット表情状態にあるユーザ顔画像における表情特徴を前記第２ターゲット顔画像にマッピングすることは、前記第１ターゲット顔画像を含む処理対象画像において、ターゲット表情状態にあるユーザ顔画像における表情特徴を前記第１ターゲット顔画像にマッピングするように置き換えられてもよい。
【０１０８】
上記実施例において、第１ターゲット顔画像が、ターゲット表情状態にあるユーザ顔画像とマッチングした場合、第２ターゲット顔画像を含む処理対象画像において、ターゲット表情状態にあるユーザ顔画像における表情特徴を第２ターゲット顔画像にマッピングし、それによって、画像処理効率を向上させる。
【０１０９】
一実施例において、第２ターゲット顔画像を含む処理対象画像において、ターゲット表情状態にあるユーザ顔画像における表情特徴を第２ターゲット顔画像にマッピングすることは、ターゲット表情状態にあるユーザ顔画像における顔輪郭を決定することと、ターゲット表情状態にあるユーザ顔画像から、顔輪郭内のテクスチャ画像を切り出すことと、第２ターゲット顔画像を含む処理対象画像において、テクスチャ画像を第２ターゲット顔画像における顔輪郭内に貼り合わせることとを含む。
【０１１０】
具体的には、コンピュータ装置は、ターゲット表情状態にあるユーザ顔画像における顔輪郭を検出し、ユーザ顔画像から、顔輪郭内のテクスチャ画像を切り出すことができる。顔輪郭内のテクスチャ画像は、ユーザ顔画像におけるターゲット表情を反映できることを理解すべきである。従って、コンピュータ装置は、第２ターゲット顔画像を含む処理対象画像において、切り出されたテクスチャ画像を第２ターゲット顔画像における顔輪郭内に貼り合わせる。これにより、テクスチャ画像を貼り合わせる処理対象画像における、テクスチャ画像を貼り合わせた顔画像の表情は、ターゲット表情である。
【０１１１】
同様に図４を参照しながら例を挙げて説明することができる。図４を参照すると、第１ターゲット顔画像とターゲット表情状態にあるユーザ顔画像は、同一人物の異なる表情状態である顔を表す。処理対象画像４０２には、基準表情状態にある第１ターゲット顔画像４０４が含まれる。ターゲット表情状態にあるユーザ顔画像から、顔輪郭内の表情テクスチャ画像４０６を直接的に切り出し、コンピュータ装置は、表情テクスチャ画像４０６を処理対象画像に貼り合わせることで、ターゲット表情を有する画像４０８を得ることができる。
【０１１２】
一実施例において、第２ターゲット顔画像を含む処理対象画像において、切り出されたテクスチャ画像を第２ターゲット顔画像における顔輪郭内に貼り合わせるステップは、顔輪郭の第１輪郭キーポイントを検出するステップと、処理対象画像における第２ターゲット顔画像における第２輪郭キーポイントを認識するステップと、第２輪郭キーポイントと第１輪郭キーポイントをマッチングし、切り出されたテクスチャ画像を第２ターゲット顔画像における顔輪郭内に貼り合わせるステップとを含む。
【０１１３】
輪郭キーポイントは、顔輪郭を点状で表す形態である。即ち、顔輪郭を点の形態で表す。例えば、図３におけるキーポイント１〜１７は、顔輪郭の輪郭キーポイントである。
【０１１４】
具体的には、コンピュータ装置は、顔輪郭の第１輪郭キーポイントを検出することができる。ここで、顔輪郭は、ターゲット表情状態にあるユーザ顔画像における顔輪郭である。コンピュータ装置は、処理対象画像における第２ターゲット顔画像における第２輪郭キーポイントを認識することができる。第１ターゲット顔画像が、ターゲット表情状態にあるユーザ顔画像とマッチングしており、即ち、第１ターゲット顔画像とターゲット表情状態にあるユーザ顔画像は同一の人物の顔を表しており、第２ターゲット顔画像と第１ターゲット顔画像は、同一のターゲットに属し、従って、第２ターゲット顔画像における第２輪郭キーポイントの位置は、ユーザ顔画像の第１輪郭キーポイントの位置と同じである。従って、第２輪郭キーポイントと第１輪郭キーポイントをマッチングし、それによって、位置決めを実現させ、切り出されたテクスチャ画像を処理対象画像の第２ターゲット顔画像における顔輪郭内に貼り合わせ、それによって、、切り出されたテクスチャ画像を第２ターゲット顔画像における顔輪郭内に正確に貼り合わせることができ、画像処理の正確性を向上させる。
【０１１５】
一実施例において、処理対象画像は、ビデオにおける画像フレームである。第１ターゲット顔画像が、ターゲット表情状態にあるユーザ顔画像とマッチングした場合、該方法は、ビデオを再生し、ビデオの各画像フレームに対して、対応するターゲット表情状態にあるユーザ顔画像を収集することを更に含む。前記第２ターゲット顔画像を含む処理対象画像において、ターゲット表情状態にあるユーザ顔画像における表情特徴を第２ターゲット顔画像にマッピングすることは、ビデオにおける第２ターゲット顔画像を含む処理対象画像において、対応するターゲット表情状態にあるユーザ顔画像における表情特徴を前記第２ターゲット顔画像にマッピングし、ビデオの画像フレームを変化させ、対応するターゲット画像を得て、ビデオ再生中において、各ターゲット画像として直接的に表示することを含む。ビデオの各画像フレームに対応するターゲット画像は、ビデオの新たな画像フレームであることを理解すべきである。
【０１１６】
上記実施例において、ビデオを再生している時に、ユーザ顔に基づいて、ビデオの画像フレームにおける顔表情を直接的に調整することができ、複雑な処理を避け、ビデオに対する画像処理の効率を向上させる。また、ユーザ顔の表情が柔軟性を有するため、ビデオに対する画像処理の柔軟性を向上させる。
【０１１７】
一実施例において、処理対象画像は、単独の画像であってもよい。従って、ターゲット表情状態にあるユーザ顔画像における表情特徴を処理対象画像の第２ターゲット顔画像にマッピングしてから、新たなターゲット表情の画像を得ることができる。
【０１１８】
一実施例において、該方法は、テクスチャ画像を貼り合わせた処理対象画像において、貼り合わせられたテクスチャ画像の縁領域及び接合画像領域を決定することと、前記縁領域における肌の肌色データ及び接合画像領域における肌の肌色データをそれぞれ抽出することと、抽出された肌色データに基づいて肌色融合処理を行うこととを更に含む。
【０１１９】
図７は、本出願の別の実施例による画像処理方法の原理を示す概略図である。なお、図７は、第１ターゲット顔画像が、ターゲット表情状態にあるユーザ顔画像とマッチングした場合の画像処理方法の原理を示す概略図である。図７において、第２ターゲット顔画像と第１ターゲット顔画像が全く同じである場合を説明する。従って、第２ターゲット顔画像に関する記載を第１ターゲット顔画像で置き換えて説明する。図７を参照すると、ユーザは、コンピュータ装置により、画像ライブラリから、顔を含む画像（即ち、第１ターゲット顔画像を含む処理対象画像）を開くことができる。コンピュータ装置は、カメラをオンにして、ターゲット表情状態にあるユーザ顔画像を収集し、ユーザ顔画像における顔輪郭内のテクスチャ画像を記憶し、対応する第１輪郭キーポイントを記録することができる。コンピュータ装置は、開かれた画像における顔輪郭を検出し、対応する第２輪郭キーポイントを記録することができる。コンピュータ装置は、第１輪郭キーポイントと第２輪郭キーポイントをマッチングし、テクスチャ画像を、該画像を覆うように貼り合わせることができる。コンピュータ装置は、画像と貼り合わせるテクスチャ画像との接合領域の肌色を融合処理し、新しく合成された画像を得ることができる。コンピュータ装置は、合成された画像をリアルタイムにプレビューし、記憶をチェックしてから、該画像を記憶する。
【０１２０】
図８は、本出願の一実施例による画像処理装置を示すブロック図である。画像処理装置８００は、コンピュータ装置に適用可能である。図８に示すように、該装置８００は、取得モジュール８０２と、調整モジュール８０４と、処理モジュール８０６とを備え、
取得モジュール８０２は、基準表情状態にある第１ターゲット顔画像を取得し、ユーザ顔キーポイントズレ情報を取得するように構成され、前記ユーザ顔キーポイントズレ情報が、ターゲット表情状態にある時のユーザ顔の顔キーポイントの、前記基準表情状態の時に対するズレ量を表すものである。
【０１２１】
調整モジュール８０４は、ユーザ顔キーポイントズレ情報に基づいて、第１ターゲット顔画像の顔キーポイントを調整するように構成され、
処理モジュール８０６は、第２ターゲット顔画像を含む処理対象画像において、調整後の第１ターゲット顔画像の表情テクスチャ画像を前記第２ターゲット顔画像の位置に貼り合わせ、第２ターゲット顔画像と第１ターゲット顔画像が同一のターゲットに属するように構成される。
【０１２２】
一実施例において、取得モジュール８０２は更に、基準表情状態にあるユーザ顔画像における第１顔キーポイントを取得し、ターゲット表情状態にあるユーザ顔画像における第２顔キーポイントを認識し、第１顔キーポイントと第２顔キーポイントとの位置ズレ情報を決定し、ユーザ顔キーポイントズレ情報を得るように構成される。
【０１２３】
一実施例において、処理対象画像は、ビデオにおける中的画像フレームであり、取得モジュール８０２は更に、ビデオの基準画像フレームから、基準表情状態にある第１ターゲット顔画像を抽出し、ビデオを再生し、ビデオの各画像フレームに対して、ターゲット表情状態にあるユーザ顔画像を収集し、収集されたターゲット表情状態にあるユーザ顔画像における第２顔キーポイントを認識するように構成される。
【０１２４】
一実施例において、基準画像フレームは、ビデオ再生時に受け取った画像フレーム指定命令に応答することでビデオにおける画像フレームから選択され、取得モジュール８０２は更に、基準表情状態にあるユーザ顔画像を収集し、収集された基準表情状態にあるユーザ顔画像から、第１顔キーポイントを認識するように構成される。
【０１２５】
一実施例において、取得モジュール８０２は更に、第１ターゲット顔画像がターゲット表情状態にあるユーザ顔画像とマッチングしない場合、ユーザ顔キーポイントズレ情報の取得ステップを実行し、第１ターゲット顔画像が、ターゲット表情状態にあるユーザ顔画像とマッチングした場合、第２ターゲット顔画像を含む処理対象画像において、ターゲット表情状態にあるユーザ顔画像における表情特徴を第２ターゲット顔画像にマッピングすることを処理モジュール８０６に通知するように構成され、第２ターゲット顔画像と第１ターゲット顔画像が同一のターゲットに属する。
【０１２６】
一実施例において、処理モジュール８０６は更に、ターゲット表情状態にあるユーザ顔画像における顔輪郭を決定し、ターゲット表情状態にあるユーザ顔画像から、顔輪郭内のテクスチャ画像を切り出し、第２ターゲット顔画像を含む処理対象画像において、テクスチャ画像を第２ターゲット顔画像における顔輪郭内に貼り合わせるように構成される。
【０１２７】
一実施例において、処理モジュール８０６は更に、顔輪郭の第１輪郭キーポイントを検出し、処理対象画像における第２ターゲット顔画像における第２輪郭キーポイントを認識し、第２輪郭キーポイントと第１輪郭キーポイントをマッチングし、テクスチャ画像を第２ターゲット顔画像における顔輪郭内に貼り合わせるように構成される。
【０１２８】
一実施例において、取得モジュール８０２は更に、ユーザ顔が基準表情状態にあることを表すための第１表情テンプレートを決定し、ユーザ顔がターゲット表情状態にあることを表すための第２表情テンプレートを取得し、第１表情テンプレートに対応する顔キーポイントと、第２表情テンプレートに対応する顔キーポイントとの位置ズレ情報に基づいて、ユーザ顔キーポイントズレ情報を得るように構成される。
【０１２９】
一実施例において、処理モジュール８０６は更に、表情テクスチャ画像を貼り合わせた処理対象画像において、貼り合わせられた表情テクスチャ画像の縁領域及び接合画像領域を決定し、縁領域における肌の第１肌色データ及び接合画像領域における肌の第２肌色データをそれぞれ抽出し、第１肌色データ及び第２肌色データに基づいて、肌色融合処理を行うように構成される。
【０１３０】
図９は、本出願の一実施例による画像処理方法の適用環境を示す図である。該適用環境には、ユーザ９０２とコンピュータ装置９０４とが含まれる。コンピュータ装置９０４は、端末又はサーバであってもよい。端末は、スマートテレビ、デスクトップコンピュータ又は携帯端末であってもよい。携帯端末は、携帯電話、タブレット、ノートパソコン、パーソナルデジタルアシスタント及びウェアラブル機器などのうちの少なくとも１つを含んでもよい。サーバは、独立したサーバ又は複数の物理的サーバからなるサーバクラスタによって実現してもよい。図９は、コンピュータ装置９０４が端末である場合を例として説明する。コンピュータ装置９０４が端末である場合、該コンピュータ装置９０４は、画像収集装置９０４ａと、ディスプレイ９０４ｂとを備えてもよい。
【０１３１】
コンピュータ装置９０４は、基準表情状態にある第１ターゲット顔画像を取得し、ユーザ顔キーポイントズレ情報を取得することができる。例えば、コンピュータ装置９０４は、画像収集装置９０４ａにより、ユーザ９０２が基準表情状態にある時のユーザ顔画像を収集し、その顔キーポイントを抽出し、ユーザ９０２がターゲット表情状態にある場合のユーザ顔画像を収集し、その顔キーポイントを抽出することができる。コンピュータ装置９０４は、ターゲット表情状態にあるユーザ顔の顔キーポイントの、基準表情状態にある時に対するズレ量に基づいて、ユーザ顔キーポイントズレ情報を得ることができる。コンピュータ装置９０４は、ユーザ顔キーポイントズレ情報に基づいて、基準表情状態にある第１ターゲット顔画像の顔キーポイントを調整することができる。コンピュータ装置９０４は、ディスプレイ９０４ｂにより、第２ターゲット顔画像を含む処理対象画像を表示し、調整後の第１ターゲット顔画像の表情テクスチャ画像を第２ターゲット顔画像の位置に貼り合わせることができる。
【０１３２】
図１０は、本出願の一実施例によるコンピュータ装置の内部構造を示す概略図である。図１０を参照すると、該コンピュータ装置は、端末又はサーバであってもよい。該コンピュータ装置は、システムバスを介して接続されるプロセッサ、メモリ及びネットワークインタフェースを備える。ここで、メモリは、不揮発性記憶媒体及びメモリ素子を含む。該コンピュータ装置の不揮発性記憶媒体は、オペレーティングシステム及びコンピュータプログラムを記憶することができる。該コンピュータプログラムが実行される場合、プロセッサに画像処理方法を実行させることができる。該コンピュータ装置のプロセッサは、演算及び制御能力を提供し、コンピュータ装置全体の運転をサポートするためのものである。該メモリ素子には、コンピュータプログラムが記憶されてもよい。該コンピュータプログラムがプロセッサにより実行される場合、プロセッサに画像処理方法を実行させることができる。コンピュータ装置のネットワークインタフェースは、ネットワーク通信を行うためのものである。
【０１３３】
当業者には明らかなように、図１０に示した構成は、本出願の解決手段に関連する一部の構造のブロック図に過ぎず、本出願の解決手段に適用されるコンピュータ装置を限定するものではなく、具体的なコンピュータ装置は、図示したものより多く又はより少ない部材を備えてもよいし、幾つかの部材を組み合わせたものであってもよいし、異なる部材配置を備えてもよい。
【０１３４】
一実施例において、本出願が提供する画像処理装置は、コンピュータプログラムの形態として実現してもよい。コンピュータプログラムは、図１０に示したコンピュータ装置上で実行可能である。コンピュータ装置の不揮発性記憶媒体には、図８に示した取得モジュール８０２、調整モジュール８０４及び処理モジュール８０６のような、該画像処理装置を構成する各プログラムモジュールが記憶されてもよい。各プログラムモジュールにより構成されるコンピュータプログラムは、該コンピュータ装置に、本明細書に記載している本出願の各実施例の画像処理方法におけるステップを実行させる。例えば、コンピュータ装置は、図８に示した画像処理装置８００における取得モジュール８０２により、基準表情状態にある第１ターゲット顔画像を取得し、ユーザ顔キーポイントズレ情報を取得することができる。コンピュータ装置は、調整モジュール８０４により、ユーザ顔キーポイントズレ情報に基づいて、基準表情状態にある第１ターゲット顔画像の顔キーポイント調整することができる。コンピュータ装置は、処理モジュール８０６により、第２ターゲット顔画像を含む処理対象画像において、調整後の第１ターゲット顔画像の表情テクスチャ画像を第２ターゲット顔画像の位置に貼り合わせることができる。
【０１３５】
コンピュータ装置が提供される。それは、メモリとプロセッサとを備え、メモリにコンピュータプログラムが記憶されており、コンピュータプログラムがプロセッサにより実行される時、上記各実施例で説明されたコンピュータ装置の画像処理方法を実現させる。
【０１３６】
コンピュータプログラムを記憶した記憶媒体が提供される。該記憶媒体にはコンピュータプログラムが記憶されており、前記コンピュータプログラムがプロセッサにより実行される時、上記各実施例で説明されたコンピュータ装置の画像処理方法を実現させる。
【０１３７】
本出願の各実施例における各ステップは、必ずしも符号に示される順番で順次実行されるとは限らないと理解されるべきである。本明細書に特に明記しない限り、これらのステップの実行は厳格な順番に限定されるものではない。これらのステップは、他の順番で実行されてもよい。また、各実施例における少なくとも一部のステップは、複数のサブステップ又は複数の段階を含んでもよい。これらのサブステップ又は段階は、必ずしも同一の時刻で実行されるとは限らず、様々な時刻で実行されてもよい。これらのサブステップ又は段階は必ずしも実行順番で実行されるとは限らず、他のステップ又は他のステップのサブステップや段階の少なくとも一部と共に順次実行されてもよいし、交替で実行されてもよい。
【０１３８】
当業者であれば、上述した実施例の方法におけるすべて又は一部のフローの実現について、コンピュータ可読命令によって関連したハードウェアに指示を出すことで完成することができ、前記プログラムが不揮発性コンピュータ可読記憶媒体に記憶されてもよく、該プログラムが実行される場合、上記各方法の実施例のフローを含んでもよいことが理解すべきである。ここで、本出願が提供する各実施例に用いられるメモリ、記憶、データベース又は他の媒体へのあらゆる言及は不揮発性及び／又は揮発性メモリを含む。不揮発性メモリは、リードオンリーメモリ（ＲＯＭ）、プログラマブルＲＯＭ（ＰＲＯＭ）、電気的プログラマブルＲＯＭ（ＥＰＲＯＭ）、電気的に消去可能なプログラマブルＲＯＭ（ＥＥＰＲＯＭ）又はフラッシュメモリを含んでもよい。揮発性メモリは、ランダムアクセスメモリ（ＲＡＭ）又は外部キャッシュメモリを含んでもよい。非限定的な例証として、ＲＡＭは、スタティックＲＡＭ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、同期ＤＲＡＭ（ＳＤＲＡＭ）、ダブルデータレートＳＤＲＡＭ（ＤＤＲＳＤＲＡＭ）、エンハンストＳＤＲＡＭ（ＥＳＤＲＡＭ）、同期リンク（Ｓｙｎｃｈｌｉｎｋ）ＤＲＡＭ（ＳＬＤＲＡＭ）及び、メモリラムバス（Ｒａｍｂｕｓ）ダイレクトＲＡＭ（ＲＤＲＡＭ）、ダイレクトメモリラムバスダイナミックＲＡＭ（ＤＲＤＲＡＭ）及びメモリラムバスダイナミックＲＡＭ（ＲＤＲＡＭ）などの多数の形態で使用可能である。
【０１３９】
以上の実施例の各技術的特徴は任意に組み合わせることができ、説明を簡潔にするために、上記実施例における各技術的特徴のすべての可能な組合せについて説明していないが、これらの技術的特徴の組合せは矛盾しない限り、本明細書に記載されている範囲に属すると考えられる。
【０１４０】
以上の実施例は本発明における幾つかの実施形態を示したものに過ぎず、具体的かつ詳細に記載はしたが、これにより本発明の範囲が限定されると解釈すべきではない。当業者にとって、本発明の構想を離脱しない前提で、さらに複数の変形及び改良を行うことができるが、これらは全て本発明の保護範囲に属されるべきである。従って、本発明の特許の保護範囲は添付の請求項に準ずるべきである。
【図１】
2021519995.tif 000003
【図２】
2021519995.tif 000004
【図３】
2021519995.tif 000005
【図４】
2021519995.tif 000006
【図５】
2021519995.tif 000007
【図６】
2021519995.tif 000008
【図７】
2021519995.tif 000009
【図８】
2021519995.tif 000010
【図９】
2021519995.tif 000011
【図１０】
2021519995.tif 000012
【国際調査報告】
2021519995.tif 000013
2021519995.tif 000014
2021519995.tif 000015
2021519995.tif 000016