(57)【要約】本開示は仮想アバター生成方法および装置、ならびに記憶媒体を提供する。前記方法の一例は、少なくとも1つの対象顔属性に関連する対象タスクを決定し、前記少なくとも一つの対象顔属性がそれぞれ予め定義された複数の顔属性の一つであり、前記対象タスクに応じて顔を少なくとも含む対象画像に対して前記対象顔属性に関する解析を行い、前記対象画像における、前記対象顔属性に関連する対象顔属性フィーチャを取得し、予め定義された顔属性フィーチャと仮想アバターテンプレートとの対応関係に応じて、前記対象顔属性フィーチャに対応する対象仮想アバターテンプレートを決定し、前記対象仮想アバターテンプレートに基づいて前記対象画像において仮想アバターを生成することを含む。【選択図】図１
2021528719.tif 000002
【特許請求の範囲】
【請求項１】
仮想アバター生成方法であって、
当該方法は、
少なくとも一つの対象顔属性に関連する対象タスクを決定し、前記対象顔属性が予め定義された複数の顔属性の一つであり、
前記対象タスクに応じて顔を少なくとも含む対象画像に対して前記対象顔属性に関する解析を行い、前記対象画像における、前記対象顔属性に関連する対象顔属性フィーチャを取得し、
予め定義された顔属性フィーチャと仮想アバターテンプレートとの対応関係に応じて、前記対象顔属性フィーチャに対応する対象仮想アバターテンプレートを決定し、
前記対象仮想アバターテンプレートに基づいて前記対象画像において仮想アバターを生成することを含むことを特徴とする方法。
【請求項２】
前記対象タスクに応じて顔を少なくとも含む対象画像に対して前記対象顔属性に関する解析を行うことは、
前記対象顔属性に対応する対象ニューラルネットワークを決定し、
前記対象画像を前記対象ニューラルネットワークに入力し、前記対象ニューラルネットワークから出力される、前記対象画像が前記対象顔属性に関連する少なくとも一つの顔属性フィーチャを有する可能性確率を表す推定値を取得し、
前記対象ニューラルネットワークから出力される前記推定値のうちの最大値が対応する顔属性フィーチャを、前記対象顔属性フィーチャとすることを含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記対象顔属性は予め定義された少なくとも一つのサブクラスを含み、前記対象ニューラルネットワークから出力される前記推定値のうちの最大値が対応する顔属性フィーチャを、前記対象顔属性フィーチャとすることは、
第一サブクラスについて、前記対象ニューラルネットワークから出力される、前記第一サブクラスに対する前記推定値のうちの最大値が対応する顔属性フィーチャを、前記第一サブクラスに対応する前記対象顔属性フィーチャとし、前記対象顔属性に含まれる少なくとも一つのサブクラスのうちのいずれかであることを含むことを特徴とする請求項２に記載の方法。
【請求項４】
以下の方式、即ち
顔を少なくとも含む少なくとも一つのサンプル画像を第一ニューラルネットワークに入力し、各前記サンプル画像は第一顔属性に関連する顔属性フィーチャがラベル付けされ、前記第一ニューラルネットワークは前記第一顔属性に対応する第一サブネッ卜ワークを含み、前記第一顔属性は予め定義された前記複数の顔属性のうちのいずれかであり、
前記第一ニューラルネットワークから出力される、前記少なくとも一つのサンプル画像における前記第一顔属性に関連する少なくとも一つの顔属性フィーチャを予測値とし、前記少なくとも一つのサンプル画像にラベル付けされた、前記第一顔属性に対応する少なくとも一つの顔属性フィーチャを実測値とし、前記第一サブネッ卜ワークを訓練し、訓練が完了した後に前記対象ニューラルネットワークを取得することを用いて訓練を行って前記対象ニューラルネットワークを取得することを特徴とする請求項２から３のいずれか一項に記載の方法。
【請求項５】
前記第一サブネッ卜ワークは残差ニューラルネットワークの構造を採用し、かつ少なくとも一つの残差ユニットを含むことを特徴とする請求項４に記載の方法。
【請求項６】
前記少なくとも一つの残差ユニットそれぞれは少なくとも一つの畳み込み層および少なくとも一つのバッチ正規化層を含み、かつ
前記少なくとも一つの残差ユニットが複数の残差ユニットを含む場合に、前記複数の残差ユニットのうちの第二残差ユニットに含まれる畳み込み層の数およびバッチ正規化層の数はいずれも前記複数の残差ユニットのうちの第一残差ユニットに含まれる前記畳み込み層の数および前記バッチ正規化層の数より大きいことを特徴とする請求項５に記載の方法。
【請求項７】
前記第一サブネッ卜ワークは、出力分割層をさらに含み、
前記出力分割層は、前記第一顔属性に含まれる予め定義された少なくとも一つのサブクラスに応じて、前記サンプル画像から抽出された特徴情報を分割し、前記少なくとも一つのサブクラスのそれぞれに関連する少なくとも一つの顔属性フィーチャに対する推定値を取得するために用いられることを特徴とする請求項５または６に記載の方法。
【請求項８】
前記方法は、
関心画像をアフィン変換し、顔が正面に転換された後の画像を取得し、
前記顔が正面に転換された後の画像から、顔キーポイントが位置する領域を少なくとも含む対象領域の画像を切り出し、前記対象画像または前記サンプル画像を取得することをさらに含むことを特徴とする請求項４から７のいずれか一項に記載の方法。
【請求項９】
前記対象領域は、前記対象顔属性が対応する顔部位外側に位置する所定面積の領域をさらに含むことを特徴とする請求項８に記載の方法。
【請求項１０】
仮想アバター生成装置であって、
当該装置は、タスク決定モジュールと、顔属性解析モジュールと、仮想アバターテンプレート決定モジュールと、バター生成モジュールとを含み、
前記タスク決定モジュールは、予め定義された複数の顔属性の一つである少なくとも一つの対象顔属性に関連する対象タスクを決定するように構成され、
前記顔属性解析モジュールは、前記対象タスクに応じて顔を少なくとも含む対象画像に対して前記対象顔属性に関する解析を行い、前記対象画像における、前記対象顔属性に関連する対象顔属性フィーチャを取得するように構成された、
前記仮想アバターテンプレート決定モジュールは、予め定義された顔属性フィーチャと仮想アバターテンプレートとの対応関係に応じて、前記対象顔属性フィーチャに対応する対象仮想アバターテンプレートを決定するように構成された、
前記アバター生成モジュールは、前記対象仮想アバターテンプレートに基づいて前記対象画像において仮想アバターを生成するように構成されることを含むことを特徴とする装置。
【請求項１１】
前記顔属性解析モジュールは、ネットワーク決定サブモジュールと、推定値決定サブモジュールと、フィーチャ決定サブモジュールとを含み、
前記ネットワーク決定サブモジュールは、前記対象顔属性に対応する対象ニューラルネットワークを決定するように構成され、
前記推定値決定サブモジュールは、前記対象画像を前記対象ニューラルネットワークに入力し、前記対象ニューラルネットワークから出力される、前記対象画像が前記対象顔属性に関連する少なくとも一つの顔属性フィーチャを有する可能性確率を表す推定値を取得するように構成され、
前記フィーチャ決定サブモジュールは、前記対象ニューラルネットワークから出力される前記推定値のうちの最大値が対応する顔属性フィーチャを、前記対象顔属性フィーチャとするように構成されることを特徴とする請求項１０に記載の装置。
【請求項１２】
前記対象顔属性は、予め定義された少なくとも一つのサブクラスを含み、
前記フィーチャ決定サブモジュールは、第一サブクラスについて、前記対象ニューラルネットワークから出力される、前記第一サブクラスに対する前記推定値のうちの最大値が対応する顔属性フィーチャを、前記第一サブクラスに対応する前記対象顔属性フィーチャとするように構成され、前記第一サブクラスは、前記対象顔属性に含まれる少なくとも一つのサブクラスのうちのいずれかであることを特徴とする請求項１１に記載の装置。
【請求項１３】
前記装置は、訓練モジュールをさらに含み、
前記訓練モジュールは、
顔を少なくとも含む少なくとも一つのサンプル画像を第一ニューラルネットワークに入力し、各前記サンプル画像は第一顔属性に関連する顔属性フィーチャがラベル付けされ、前記第一ニューラルネットワークは前記第一顔属性に対応する第一サブネッ卜ワークを含み、前記第一顔属性は予め定義された前記複数の顔属性のうちのいずれかであり、
前記第一ニューラルネットワークから出力される、前記少なくとも一つのサンプル画像における前記第一顔属性に関連する少なくとも一つの顔属性フィーチャを予測値とし、前記少なくとも一つのサンプル画像にラベル付けされた、前記第一顔属性に対応する少なくとも一つの顔属性フィーチャを実測値とし、前記第一サブネッ卜ワークを訓練し、訓練が完了した後に得られた前記第一サブネッ卜ワークを前記対象ニューラルネットワークとすることを行うように構成されることを特徴とする請求項１０から１２のいずれか一項に記載の装置。
【請求項１４】
前記第一サブネッ卜ワークは残差ニューラルネットワークのネットワーク構造を採用し、かつ少なくとも一つの残差ユニットを含むことを特徴とする請求項１３に記載の装置。
【請求項１５】
前記少なくとも一つの残差ユニットそれぞれは、少なくとも一つの畳み込み層および少なくとも一つのバッチ正規化層を含み、かつ
前記少なくとも一つの残差ユニットが複数の残差ユニットを含む場合に、前記複数の残差ユニットのうちの第二残差ユニットに含まれる畳み込み層の数およびバッチ正規化層の数はいずれも前記複数の残差ユニットのうちの第一残差ユニットに含まれる前記畳み込み層の数および前記バッチ正規化層の数より大きいことを特徴とする請求項１４に記載の装置。
【請求項１６】
前記第一サブネッ卜ワークは、出力分割層をさらに含み、
前記出力分割層は、前記第一顔属性に含まれる予め定義された少なくとも一つのサブクラスに応じて、前記サンプル画像から抽出された特徴情報を分割し、前記少なくとも一つのサブクラスのそれぞれに関連する少なくとも一つの顔属性フィーチャに対する推定値を取得するために用いられることを特徴とする請求項１４または１５に記載の装置。
【請求項１７】
前記装置は、顔正面転換処理モジュールと、画像切り出しモジュールとをさらに含み、
前記顔正面転換処理モジュールは、関心画像をアフィン変換し、顔が正面に転換された後の画像を取得するように構成され、
前記画像切り出しモジュールは、前記顔が正面に転換された後の画像から、顔キーポイントが位置する領域を少なくとも含む対象領域の画像を切り出し、前記対象画像または前記サンプル画像を取得するように構成されることを特徴とする請求項１０から１６のいずれか一項に記載の装置。
【請求項１８】
前記対象領域は、前記対象顔属性が対応する顔部位外側に位置する所定面積の領域をさらに含むことを特徴とする、請求項１７に記載の装置。
【請求項１９】
コンピュータ可読記憶媒体であって、
当該記憶媒体は、上記請求項１から９のいずれか一項に記載の仮想アバター生成方法を実行するためのコンピュータプログラムを記憶することを特徴とする記憶媒体。
【請求項２０】
仮想アバター生成装置であって、
当該装置は、プロセッサと、前記プロセッサ実行可能命令を記憶するためのメモリとを含み、
前記プロセッサは、前記メモリに記憶された実行可能命令を呼び出して、請求項１から９のいずれか一項に記載の仮想アバター生成方法を実現するように構成されることを特徴とする装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は画像処理分野に関し、特に仮想アバター生成方法および装置、ならびに記憶媒体に関する。
【背景技術】
【０００２】
顔特徴点の位置特定は顔を含む画像において、予め定義された複数の特徴点、例えば眼角、口角、鼻先などの位置を算出することである。現在の顔特徴点の位置特定は、顔における何らかの簡単な特徴、例えば目の輪郭、口の輪郭などを定義できるが、より微細な特徴情報について正確に位置特定できない。
【発明の概要】
【０００３】
これに鑑み、本開示は仮想アバター生成方法および装置、ならびに記憶媒体を提供する。
【０００４】
本開示の実施例の第一態様によれば、仮想アバター生成方法が提供される。前記方法は、少なくとも一つの対象顔属性に関連する対象タスクを決定し、前記対象顔属性が、予め定義された複数の顔属性の一つであり、前記対象タスクに応じて顔を少なくとも含む対象画像に対して前記対象顔属性に関する解析を行い、前記対象画像における、前記対象顔属性に関連する対象顔属性フィーチャを取得し、予め定義された顔属性フィーチャと仮想アバターテンプレートとの対応関係に応じて、前記対象顔属性フィーチャに対応する対象仮想アバターテンプレートを決定し、前記対象仮想アバターテンプレートに基づいて前記対象画像において仮想アバターを生成することを含む。
【０００５】
いくつかの代替実施例では、前記対象タスクに応じて顔を少なくとも含む対象画像に対して前記対象顔属性に関する解析を行うことは、前記対象顔属性に対応する対象ニューラルネットワークを決定し、前記対象画像を前記対象ニューラルネットワークに入力し、前記対象ニューラルネットワークから出力される、前記対象画像が前記対象顔属性に関連する少なくとも一つの顔属性フィーチャを有する可能性確率を表す推定値を取得し、前記対象ニューラルネットワークから出力される前記推定値のうちの最大値が対応する顔属性フィーチャを、前記対象顔属性フィーチャとすることを含む。
【０００６】
いくつかの代替実施例では、前記対象顔属性は予め定義された少なくとも一つのサブクラスを含み、前記対象ニューラルネットワークから出力される前記推定値のうちの最大値が対応する顔属性フィーチャを、前記対象顔属性フィーチャとすることは、第一サブクラスについて、前記対象ニューラルネットワークから出力される、前記第一サブクラスに対する前記推定値のうちの最大値が対応する顔属性フィーチャを、前記第一サブクラスに対応する前記対象顔属性フィーチャとし、第一サブクラスが前記対象顔属性に含まれる少なくとも一つのサブクラスのうちのいずれかであることを含む。
【０００７】
いくつかの代替実施例では、以下の方式、即ち、顔を少なくとも含む少なくとも一つのサンプル画像を第一ニューラルネットワークに入力し、各前記サンプル画像は第一顔属性に関連する顔属性フィーチャがラベル付けされ、前記第一ニューラルネットワークは前記第一顔属性に対応する第一サブネッ卜ワークを含み、前記第一顔属性は予め定義された前記複数の顔属性のうちのいずれかであり、前記第一ニューラルネットワークから出力される、前記少なくとも一つのサンプル画像における前記第一顔属性に関連する少なくとも一つの顔属性フィーチャを予測値とし、前記少なくとも一つのサンプル画像にラベル付けされた、前記第一顔属性に対応する少なくとも一つの顔属性フィーチャを実測値とし、前記第一サブネッ卜ワークを訓練し、訓練が完了した後に前記対象ニューラルネットワークを取得することを用いて訓練を行って前記対象ニューラルネットワークを取得する。
【０００８】
いくつかの代替実施例では、前記第一サブネッ卜ワークは残差ニューラルネットワークのネットワーク構造を採用し、かつ少なくとも一つの残差ユニットを含む。
【０００９】
いくつかの代替実施例では、前記少なくとも一つの残差ユニットそれぞれは少なくとも一つの畳み込み層および少なくとも一つのバッチ正規化層を含み、かつ前記少なくとも一つの残差ユニットが複数の残差ユニットを含む場合に、前記複数の残差ユニットのうちの第二残差ユニットに含まれる畳み込み層の数およびバッチ正規化層の数はいずれも前記複数の残差ユニットのうちの第一残差ユニットに含まれる前記畳み込み層の数および前記バッチ正規化層の数より大きい。
【００１０】
いくつかの代替実施例では、前記第一サブネッ卜ワークは、出力分割層をさらに含み、前記出力分割層は、前記第一顔属性に含まれる予め定義された少なくとも一つのサブクラスに応じて、前記サンプル画像から抽出された特徴情報を分割し、前記少なくとも一つのサブクラスのそれぞれに関連する少なくとも一つの顔属性フィーチャに対する推定値を取得するために用いられる。
【００１１】
いくつかの代替実施例では、前記方法は、関心画像をアフィン変換して、顔が正面に転換された後の画像を取得し、前記顔が正面に転換された後の画像から、顔キーポイントが位置する領域を少なくとも含む対象領域の画像を切り出し、前記対象画像または前記サンプル画像を取得することをさらに含む。あるいは、前記対象領域は前記対象顔属性が対応する顔部位外側に位置する所定面積の領域をさらに含む。
【００１２】
本開示の実施例の第二態様によれば、仮想アバター生成装置が提供される。前記装置は、タスク決定モジュールと、顔属性解析モジュールと、仮想アバターテンプレート決定モジュールと、アバター生成モジュールと、を含む。前記タスク決定モジュールは、少なくとも一つの対象顔属性に関連する対象タスクを決定するように構成され、前記対象顔属性は予め定義された複数の顔属性の一つである。前記顔属性解析モジュールは、前記対象タスクに応じて顔を少なくとも含む対象画像に対して前記対象顔属性に関する解析を行い、前記対象画像における、前記対象顔属性に関連する対象顔属性フィーチャを取得するように構成される。前記仮想アバターテンプレート決定モジュールは、予め定義された顔属性フィーチャと仮想アバターテンプレートとの対応関係に応じて、前記対象顔属性フィーチャに対応する対象仮想アバターテンプレートを決定するように構成される。前記アバター生成モジュールは、前記対象仮想アバターテンプレートに基づいて前記対象画像において仮想アバターを生成するように構成される。
【００１３】
いくつかの代替実施例では、前記顔属性解析モジュールは、ネットワーク決定サブモジュールと、推定値決定サブモジュールと、フィーチャ決定サブモジュールとを含む。前記ネットワーク決定サブモジュールは、前記対象顔属性に対応する対象ニューラルネットワークを決定するように構成される。推定値決定サブモジュールは、前記対象画像を前記対象ニューラルネットワークに入力し、前記対象ニューラルネットワークから出力される、前記対象画像が前記対象顔属性に関連する少なくとも一つの顔属性フィーチャを有する可能性確率を表す推定値を取得するように構成される。前記フィーチャ決定サブモジュールは、前記対象ニューラルネットワークから出力される前記推定値のうちの最大値が対応する顔属性フィーチャを、前記対象顔属性フィーチャとするように構成される。
【００１４】
いくつかの代替実施例では、前記対象顔属性は予め定義された少なくとも一つのサブクラスを含み、前記フィーチャ決定サブモジュールは、前記対象顔属性に含まれる少なくとも一つのサブクラスのうちのいずれかである第一サブクラスについて、前記対象ニューラルネットワークから出力される、前記第一サブクラスに対する前記推定値のうちの最大値が対応する顔属性フィーチャを、前記第一サブクラスに対応する前記対象顔属性フィーチャとするように構成される。
【００１５】
いくつかの代替実施例では、前記装置は、訓練モジュールをさらに含む。前記訓練モジュールは、顔を少なくとも含む少なくとも一つのサンプル画像を第一ニューラルネットワークに入力し、各前記サンプル画像は第一顔属性に関連する顔属性フィーチャがラベル付けされ、前記第一ニューラルネットワークは前記第一顔属性に対応する第一サブネッ卜ワークを含み、前記第一顔属性は予め定義された前記複数の顔属性のうちのいずれかであり、前記第一ニューラルネットワークから出力される、前記少なくとも一つのサンプル画像における前記第一顔属性に関連する少なくとも一つの顔属性フィーチャを予測値とし、前記少なくとも一つのサンプル画像にラベル付けされた、前記第一顔属性に対応する少なくとも一つの顔属性フィーチャを実測値とし、前記第一サブネッ卜ワークを訓練し、訓練が完了した後に得られた前記第一サブネッ卜ワークを前記対象ニューラルネットワークとするように構成される。
【００１６】
いくつかの代替実施例では、前記第一サブネッ卜ワークは残差ニューラルネットワークのネットワーク構造を採用し、かつ少なくとも一つの残差ユニットを含む。
【００１７】
いくつかの代替実施例では、前記少なくとも一つの残差ユニットそれぞれは少なくとも一つの畳み込み層および少なくとも一つのバッチ正規化層を含み、かつ前記少なくとも一つの残差ユニットが複数の残差ユニットを含む場合に、前記複数の残差ユニットのうちの第二残差ユニットに含まれる畳み込み層の数およびバッチ正規化層の数はいずれも前記複数の残差ユニットのうちの第一残差ユニットに含まれる前記畳み込み層の数および前記バッチ正規化層の数より大きい。
【００１８】
いくつかの代替実施例では、前記第一サブネッ卜ワークは、出力分割層をさらに含む。前記出力分割層は、前記第一顔属性に含まれる予め定義された少なくとも一つのサブクラスに応じて、前記サンプル画像から抽出された特徴情報を分割し、前記少なくとも一つのサブクラスのそれぞれに関連する少なくとも一つの顔属性フィーチャに対する推定値を取得するために用いられる。
【００１９】
いくつかの代替実施例では、前記装置は、顔正面転換処理モジュールと、画像切り出しモジュールとをさらに含む。前記顔正面転換処理モジュールは、関心画像をアフィン変換し、顔が正面に転換された後の画像を取得するように構成される。前記画像切り出しモジュールは、前記顔が正面に転換された後の画像から、顔キーポイントが位置する領域を少なくとも含む対象領域の画像を切り出し、前記対象画像または前記サンプル画像を取得するように構成される。あるいは、前記対象領域は前記対象顔属性が対応する顔部位外側に位置する所定面積の領域をさらに含む。
【００２０】
本開示の実施例の第三態様によれば、上記第一態様のいずれか一項に記載の仮想アバター生成方法を実行するためのコンピュータプログラムが記憶されることを特徴とする、コンピュータ可読記憶媒体が提供される。
【００２１】
本開示の実施例の第四態様によれば、仮想アバター生成装置が提供される。前記装置は、プロセッサと、前記プロセッサ実行可能命令を記憶するためのメモリと、を含み、前記プロセッサは前記メモリに記憶された実行可能命令を呼び出して、上記第一態様のいずれか一項に記載の仮想アバター生成方法を実現するように構成される。
【００２２】
本開示の実施例では、少なくとも一つの顔属性に関連する対象タスクに応じて、顔を少なくとも含む対象画像における顔属性フィーチャを抽出し、そのもとに、予め定義された顔属性フィーチャと仮想アバターテンプレートとの対応関係に応じて、対象画像のために対応する対象仮想アバターテンプレートを決定し、対象仮想アバターテンプレートに基づいて対象画像において仮想アバターを生成することができる。少なくとも一つの顔属性に関連する対象タスクによって、顔を少なくとも含む画像に対してより正確に顔属性解析を行い、仮想アバターを生成し、ユーザに豊富な初期化顔属性仕様を提供する。
【００２３】
なお、以上の一般的な説明および以下の詳細な説明は例示的および説明的なものにすぎず、本開示を限定するものではないことを理解されたい。
【図面の簡単な説明】
【００２４】
ここの図面は明細書に組み込まれて本明細書の一部を構成し、本開示に適合する実施例を示し、明細書と共に本開示の原理を解釈するために用いられる。
【００２５】
【図１】本開示の一例示的実施例により示される仮想アバター生成方法のフローチャートである。
【００２６】
【図２】本開示の一例示的実施例により示される仮想アバター生成の例示図である。
【００２７】
【図３】本開示の一例示的実施例により示される別の仮想アバター生成の例示図である。
【００２８】
【図４】本開示の一例示的実施例により示される別の仮想アバター生成方法のフローチャートである。
【００２９】
【図５】本開示の一例示的実施例により示される別の仮想アバター生成方法のフローチャートである。
【００３０】
【図６】本開示の一例示的実施例により示される別の仮想アバター生成方法のフローチャートである。
【００３１】
【図７】本開示の一例示的実施例により示されるニューラルネットワークの例示図である。
【００３２】
【図８】本開示の一例示的実施例により示される仮想アバター生成装置のブロック図である。
【００３３】
【図９】本開示の一例示的実施例により示される別の仮想アバター生成装置のブロック図である。
【００３４】
【図１０】本開示の一例示的実施例により示される別の仮想アバター生成装置のブロック図。
【００３５】
【図１１】本開示の一例示的実施例により示される別の仮想アバター生成装置のブロック図である。
【００３６】
【図１２】本開示の一例示的実施例により示される仮想アバター生成装置の構造概略図である。
【発明を実施するための形態】
【００３７】
ここで例示的な実施例を詳細に説明し、その例は図面に示す。以下の説明において図面に関して言及した場合、特に断らない限り、異なる図面における同じ数字は同じまたは類似の要素を表す。以下の例示的な実施例に記載の実施形態は本開示と一致する全ての実施形態ではない。その逆に、それらは添付の特許請求に詳細に記載されたような、本開示のいくつかの態様と一致する装置および方法の例にすぎない。
【００３８】
本開示において使用された用語は、単に特定の実施例を説明するためのものにすぎず、本開示を限定するものではない。本開示および添付の特許請求の範囲において使用された単数形「一種」、「前記」および「該」は、文脈に特に示さない限り、複数形も含むことを意図する。なお、本明細書において使用された用語「および／または」は、関連して列挙された項目の一つ以上の任意のまたは全ての可能な組み合わせを意味し、かつこれらの組み合わせを含む。
【００３９】
なお、本開示において用語第一、第二、第三などを使用して各種の情報を説明することがあるが、これらの情報はこれらの用語に限定されないことを理解されたい。これらの用語は同一タイプの情報を互いに区別するためのものにすぎない。例えば、本開示の範囲から逸脱することなく、第一情報は第二情報と呼ばれてもよく、同様に、第二情報は第一情報と呼ばれてもよい。文脈によって、ここで使用された字句「場合」は、「時」または「にあたり」または「決定／特定／判定に応じて」という意味に解釈され得る。
【００４０】
本開示の実施例は、顔駆動機器、例えばａｖａｔａｒによって実行可能な仮想アバター生成方法を提供する。
【００４１】
図１は、本開示の実施例に係る仮想アバター生成方法の一例を示す。
【００４２】
ステップ１０１では、少なくとも一つの対象顔属性に関連する対象タスクを決定する。ここで、前記少なくとも一つの対象顔属性はそれぞれ予め定義された複数の顔属性の一つである。
【００４３】
本開示の実施例では、顔属性（ｆａｃｅ  ｐｒｏｐｅｒｔｙ）は髪型、ひげ、眼鏡、まぶたなどを含んでもよいが、これらに限定されない。
【００４４】
顔駆動機器はユーザに予め定義された複数の顔属性を提供することで、ユーザは自分の需要に応じてこれらの顔属性から解析する対象顔属性を決定することができる。ここで、対象タスクは上記少なくとも一つの顔属性を解析することであってもよい。例えば、対象タスクは髪型の解析、またはひげおよびまぶたの解析などであってもよい。
【００４５】
ステップ１０２では、前記対象タスクに応じて顔を少なくとも含む対象画像に対して前記対象顔属性に関する解析を行い、前記対象画像における、前記対象顔属性に関連する対象顔属性フィーチャを取得する。
【００４６】
顔駆動機器はカメラにより収集された対象画像に対して顔属性解析を行う際に、対象タスクに対応する対象顔属性のみを解析し、それにより対象画像における、前記対象顔属性に関連する対象顔属性フィーチャ（ｔａｒｇｅｔ  ｆａｃｅ  ｐｒｏｐｅｒｔｙ  ｆｅａｔｕｒｅ）を取得することができる。
【００４７】
例えば、対象顔属性がまぶたであると仮定すると、まぶたは、一重まぶた、末広型二重まぶた、平行型二重まぶた、ヨーロッパ型二重まぶたなどを含むように複数の予め定義されたフィーチャと関連付けられてもよい。顔駆動機器は対象画像に対してまぶたに関する顔属性解析を行うことで、例えば平行型二重まぶたである対象顔属性フィーチャを取得することができる。
【００４８】
ステップ１０３では、予め定義された顔属性フィーチャと仮想アバターテンプレートとの対応関係に応じて、前記対象顔属性フィーチャに対応する対象仮想アバターテンプレートを決定する。
【００４９】
顔駆動機器は予め定義された顔属性フィーチャと仮想アバターテンプレートとの対応関係を記憶することができる。例えば各仮想アバターテンプレートは少なくとも一つの顔属性フィーチャに対応する。あるいは、仮想アバターテンプレートはカートゥーンキャラクターを用いてもよい。
【００５０】
顔駆動機器は対象顔属性フィーチャを決定した後、予め記憶された仮想アバターテンプレートライブラリから対象顔属性フィーチャに対応する対象仮想アバターテンプレートを決定することができる。ここで、対象仮想アバターテンプレートの数は一つ以上であってもよく、本開示はこれを限定しない。
【００５１】
ステップ１０４では、前記対象仮想アバターテンプレートに基づいて前記対象画像において仮想アバターを生成する。
【００５２】
顔駆動機器、例えばａｖａｔａｒにおいて、そのまま対象仮想アバターテンプレートを対象画像において生成される仮想アバターとすることができる。
【００５３】
対象仮想アバターテンプレートの数が複数である場合、ユーザがその一つを仮想アバターとして選択し、そして顔駆動機器が対象画像において該仮想アバターを生成するようにしてもよい。
【００５４】
例えば、対象画像が図２に示すものであり、対象タスクが髪型に関する顔属性解析を行うことである場合、生成された仮想アバターは図３の右上隅に示すようなものであってもよい。
【００５５】
上記実施例では、少なくとも一つの顔属性に関連する対象タスクに応じて顔を少なくとも含む対象画像における顔属性フィーチャを抽出し、そのもとに、予め定義された顔属性フィーチャと仮想アバターテンプレートとの対応関係に応じて、対応する対象仮想アバターテンプレートを決定し、対象仮想アバターテンプレートに基づいて対象画像において仮想アバターを生成することができる。このように、顔を少なくとも含む画像に対してより正確に顔属性解析を行うことができ、生成された対応の仮想アバターはユーザにより豊富な初期化顔属性様式を提供することができる。
【００５６】
いくつかの代替実施例では、例えば図４に示すように、ステップ１０２は以下を含んでもよい。
【００５７】
ステップ１０２−１では、前記対象顔属性に対応する対象ニューラルネットワークを決定する。
【００５８】
本開示の実施例では、少なくとも一つの顔属性に関連する対象タスクのために、対応する対象ニューラルネットワークを訓練によって取得することができる。対象タスクを実行する必要がある場合、対象ニューラルネットワークを対応のニューラルネットワークとして、後続の顔属性解析に用いることができる。
【００５９】
ステップ１０２−２では、前記対象画像を前記対象ニューラルネットワークに入力し、前記対象ニューラルネットワークから出力される、前記対象画像が前記対象顔属性に関連する少なくとも一つの顔属性フィーチャを有する可能性確率を表す推定値を取得する。
【００６０】
顔駆動機器は顔を少なくとも含む対象画像を対象ニューラルネットワークに入力し、対象ニューラルネットワークから、対象画像が対象顔属性に関連する少なくとも一つの顔属性フィーチャを有する可能性確率を表す推定値を出力させることができる。ここで、対象画像がある顔属性フィーチャを有する可能性確率を表す推定値は、以下に、該顔属性フィーチャに対する推定値、または該顔属性フィーチャの推定値と略してもよい。
【００６１】
例えば、対象顔属性がまぶたであると仮定すると、対象ニューラルネットワークは対象画像がまぶたに関連する少なくとも一つの顔属性フィーチャを有する可能性確率を表す推定値を出力することができ、それらはそれぞれ表１に示す。
【表１】
2021528719.tif 000003
【００６２】
ステップ１０２−３では、前記対象ニューラルネットワークから出力される前記推定値のうちの最大値が対応する顔属性フィーチャを、前記対象顔属性フィーチャとする。
【００６３】
例えば、表１によると、推定値のうちの最大値０．６が対応する顔属性フィーチャ、即ち末広型二重まぶたを対象顔属性フィーチャとすることができる。
【００６４】
いくつかの代替実施例では、上記顔属性を区分けし、各顔属性にそれぞれ含まれる少なくとも一つのサブクラス（ｓｕｂｃｌａｓｓ）を得て、それにより顔属性をより正確に記述することができる。区分け方式は表２に示す方式を含んでもよいが、それらに限定されない。
【表２】
2021528719.tif 000004
【００６５】
さらに、各顔属性のサブクラスは、例えば表３に示すように、少なくとも一つの顔属性フィーチャを含んでもよい。
【表３】
2021528719.tif 000005
【００６６】
本開示における顔属性の区分けは上記方式を含むが、それらに限定されない。
【００６７】
本開示の実施例では、表３の区分けに応じて、対象タスクで解析すべき対象顔属性は予め定義された少なくとも一つのサブクラスを含んでもよい。例えば、対象顔属性が髪型である場合、髪型という顔属性は三つのサブクラスを含み、それぞれ前髪、カールおよび髪の長さである。異なる各サブクラスは少なくとも一つの顔属性フィーチャも含む。そのうち、各サブクラスと関連付けられた全ての顔属性フィーチャの推定値の和は１である。例えば、カールというサブクラスについて、髪無し、ストレート、大きなカール、小さなカールの四つの顔属性フィーチャがそれぞれ対応する推定値はそれぞれ０．１、０．６、０．２および０．１であってもよく、和は１である。
【００６８】
それに対して、上記実施例では、前記対象顔属性の少なくとも一つのサブクラスのうちのいずれかについて、対象ニューラルネットワークが該サブクラスに関連する少なくとも一つの顔属性フィーチャの可能性確率の推定値を出力した後、顔駆動機器は前記対象ニューラルネットワークから出力された、該サブクラスに対する前記推定値のうちの最大値が対応する顔属性フィーチャを、該サブクラスに対応する対象顔属性フィーチャとすることができる。例えば、前髪というサブクラスに対する推定値のうちの最大値が対応する顔属性フィーチャが前髪無しであり、カールというサブクラスに対する推定値のうちの最大値が対応する顔属性フィーチャがストレートであり、髪の長さというサブクラスに対する推定値のうちの最大値が対応する顔属性フィーチャが肩より上のショートヘアであるように、対象顔属性が髪型であると仮定すると、最終的に、顔駆動機器は前髪無し、ストレート、肩より上のショートヘアの三つの顔属性フィーチャをそれぞれ前髪、カールおよび髪の長さの三つのサブクラスにそれぞれ対応する対象顔属性フィーチャとすることができる。
【００６９】
いくつかの代替実施例では、例えば図５に示すように、少なくともステップ１０２を実行する前に、上記仮想アバター生成方法はさらに以下を含んでもよい。
【００７０】
ステップ１００−１では、関心画像をアフィン変換し、顔が正面に転換された後の画像を取得する。
【００７１】
本開示の実施例では、前記関心画像（ｉｍａｇｅ  ｏｆ  ｉｎｔｅｒｅｓｔ）は予め撮影した顔を含む画像であってもよく、顔駆動機器は関心画像をアフィン変換し、それにより関心画像における向きが不正確な顔が正面に転換されることができる。
【００７２】
ステップ１００−２では、前記顔が正面に転換された後の画像から対象領域の画像を切り出し、前記対象画像を取得する。
【００７３】
本開示の実施例では、顔駆動機器は顔特徴点の位置特定の方法を用いることができ、かつ前記対象領域は顔キーポイントが位置する領域を少なくとも含む。こうして、前記顔が正面に転換された後の画像から顔キーポイントが位置する領域を少なくとも含む画像を、前記対象画像として切り出すことができる。そのうち、顔キーポイントは眉、目、鼻、口、顔輪郭などを含むが、これらに限定されない。
【００７４】
それに対して、顔駆動機器は上記ステップ１０２を実行する際に、前記対象画像に対して顔属性解析を行い、前記対象画像における、前記対象顔属性に関連する対象顔属性フィーチャを取得することができる。対象顔属性フィーチャを取得する方法は上記実施例における方法と一致するので、ここでは説明を省略する。
【００７５】
本開示の実施例では、関心画像の顔正面転換を行ってから、顔キーポイントが位置する領域を含む対象画像を切り出し、後続で対象画像に対して顔属性解析を行い、より正確な顔属性解析の結果を取得することができる。
【００７６】
いくつかの代替実施例では、上記ステップ１００−２について、顔駆動機器が顔正面転換後の画像から対象領域の画像を切り出す際に、対象領域は顔キーポイントが位置する領域に加えて、前記対象顔属性が対応する顔部位外側に位置する所定面積の領域を含んでもよい。あるいは、異なる対象顔属性が対応する顔部位外側の所定面積は異なってもよい。
【００７７】
例えば、対象顔属性がひげ、眼鏡またはまぶたである場合、対応する顔部位は口、眉、目などとなり、かつ前記所定面積は対応の顔部位が占める面積の半分より小さくなってもよい。例えば、口が対象顔属性となる場合、対象画像は口が位置する領域に加えて、口外側の所定面積の領域を切り出してもよく、かつ該所定面積は切り出された口が位置する領域の面積の半分より小さくなってもよい。
【００７８】
また例えば、対象顔属性が髪型である場合、対応する顔部位は顔輪郭となる。この場合、髪型抽出時の偏差を回避するために、所定面積は全顔輪郭の面積の半分以上としてもよい。
【００７９】
上記実施例では、対象領域は顔キーポイントが位置する領域に加えて、対象顔属性が対応する顔部位外側に位置する所定面積の領域を含んでもよく、これにより、対象顔属性解析の正確度が向上する。
【００８０】
いくつかの代替実施例では、対象ニューラルネットワークは異なる顔属性に対応する複数のサブネッ卜ワークを含んでもよい。例えば、対象ニューラルネットワークは髪型、ひげ、眼鏡、まぶたにそれぞれ対応する４つのサブネッ卜ワークを含む。
【００８１】
本開示の実施例では、図６に示すように、対象ニューラルネットワークを訓練するプロセスは以下を含んでもよい。
【００８２】
ステップ２０１では、顔を少なくとも含む少なくとも一つのサンプル画像を第一ニューラルネットワークに入力する。ここで、各前記サンプル画像は第一顔属性に関連する顔属性フィーチャがラベル付けされ、前記第一ニューラルネットワークは前記第一顔属性に対応する第一サブネッ卜ワークを含む。
【００８３】
予め収集された顔を少なくとも含む少なくとも一つの画像をアフィン変換してから、対象領域の画像を切り出すことで、前記少なくとも一つのサンプル画像を取得することができる。
【００８４】
本開示の実施例では、予め収集された顔を少なくとも含む各画像をアフィン変換して顔が正面に転換され、顔が正面に転換された後の画像から対象領域の画像を切り出し、対応の一つのサンプル画像を取得することができる。ここで、前記対象領域は顔キーポイントが位置する領域を少なくとも含む。
【００８５】
ステップ２０２では、前記第一ニューラルネットワークから出力される、前記少なくとも一つのサンプル画像における前記第一顔属性と関連する少なくとも一つの顔属性フィーチャを予測値とし、前記少なくとも一つのサンプル画像にラベル付けされた、前記第一顔属性に対応する少なくとも一つの顔属性フィーチャを実測値とし、前記第一サブネッ卜ワークを訓練する。こうして、訓練が完了した前記第一サブネッ卜ワークは前記対象ニューラルネットワークとして用いることができる。
【００８６】
本開示の実施例では、第一顔属性は予め定義された複数の顔属性のうちのいずれか、例えばまぶた、髪型、ひげ、眼鏡のうちのいずれかであってもよい。
【００８７】
上述したように、サンプル画像における第一顔属性に関連する顔属性フィーチャは既知のものである。言い換えれば、サンプル画像は第一顔属性に関連する顔属性フィーチャがラベル付けされていてもよい。例えば、第一顔属性がひげであると仮定する場合、あるサンプル画像におけるひげに対応する顔属性フィーチャは、人中にひげがないこと、下顎の中央にひげがないこと、下顎の両側にひげがないことを含んでもよい。
【００８８】
本開示の実施例では、対象ニューラルネットワークから出力される、少なくとも一つのサンプル画像における第一顔属性に関連する少なくとも一つの顔属性フィーチャをニューラルネットワークの予測値とし、少なくとも一つのサンプル画像にラベル付けされた、第一顔属性に対応する少なくとも一つの顔属性フィーチャを実測値とするように、第一サブネッ卜ワークのネットワークパラメータを最適化および調整し、それにより第一顔属性に対応する第一サブネッ卜ワークを取得することができる。
【００８９】
本開示の実施例では、上記方式を用いて訓練を行って任意の顔属性に対応するサブネッ卜ワークを取得することができる。複数のサブネットワークは対象ニューラルネットワークを構成する。
【００９０】
いくつかの代替実施例では、本開示の実施例における対象ニューラルネットワークに含まれるサブネッ卜ワークは残差ネットワーク（Ｒｅｓ  Ｎｅｔ）を用いてもよい。残差ネットワークのネットワーク構造は図７に示されるとおりである。
【００９１】
該残差ネットワークは別個の一つの畳み込み層７１０を含んでもよい。該畳み込み層７１０は基本情報を抽出し、入力画像（例えば、顔を少なくとも含む対象画像またはサンプル画像）の特徴マップ（ｆｅａｔｕｒｅ  ｍａｐ）の次元を、例えば３次元から２次元へのように、削減するために用いられることができる。
【００９２】
図７に示すように、該深層残差ネットワークはさらに二つの残差ネットワークブロック（ＲｅｓＮｅｔ  Ｂｌｏｂ）７２１および７２２を含んでもよい。ＲｅｓＮｅｔ  Ｂｌｏｂは一つの残差ユニットを含むことを構造的な特徴とし、それによりタスク全体の入出力を変えることなく、タスクの複雑度を低減することができる。そのうち、ＲｅｓＮｅｔ  Ｂｌｏｂ  ７２１は畳み込み層およびバッチ正規化（Ｂａｔｃｈ  Ｎｏｒｍａｌｉｚａｔｉｏｎ、ＢＮ）層を含んでもよく、特徴情報を抽出するために用いられることができる。ＲｅｓＮｅｔ  Ｂｌｏｂ  ７２２も畳み込み層およびＢＮ層を含むことができ、それも特徴情報を抽出するために用いられることができる。しかし、ＲｅｓＮｅｔ  Ｂｌｏｂ  ７２２は構造的にＲｅｓＮｅｔ  Ｂｌｏｂ  ７２１より一つ多くの畳み込み層およびＢＮ層を含むことができるため、ＲｅｓＮｅｔ  Ｂｌｏｂ  ７２２はさらに特徴マップの次元を削減するために用いられることができる。
【００９３】
このようにして、深層残差ネットワークにより、対象画像の顔特徴情報を正確に取得することができる。なお、任意の畳み込みニューラルネットワーク構造を使用して対象画像の対象領域の特徴抽出処理を行い、対象領域の顔画像の特徴情報を取得することができ、本開示はこれを限定しない。
【００９４】
図７に示すように、該深層残差ネットワークはさらに全結合層７３０を含んでもよい。例えば、該深層残差ネットワークは３つの全結合層を含んでもよい。全結合層７３０は顔画像の特徴情報を次元削減するとともに、有用な顔属性関連情報を保持することができる。
【００９５】
該深層残差ネットワークはさらに出力分割層７４０を含んでもよい。該出力分割層７４０は全結合層７３０、具体的には、そのうちの最後の全結合層の出力を分割し、少なくとも一つの顔属性サブクラスに関連する少なくとも一つの顔属性フィーチャの推定値を取得することができる。例えば、最後の全結合層の出力が出力分割層７４０により処理された後、第一顔属性が眼鏡である時に含まれる４つのサブクラス（具体的には、眼鏡の種類、フレームのタイプ、レンズの形状、フレームの太さであってもよい）にそれぞれ対応する少なくとも一つの顔属性フィーチャの推定値が得られる。
【００９６】
いくつかの代替実施例では、ステップ２０１の前に、同様に、予め収集された関心画像を、例えば顔が正面に転換されるように、先に処理し、前記顔が正面に転換された後の画像から前記対象領域の画像を切り出すことで、対応するサンプル画像を取得することができる。ここで、対象領域は顔が正面に転換された後の画像における、顔キーポイントが位置する領域を少なくとも含む。このプロセスは顔属性解析プロセスにおける説明とほぼ同じであるので、ここでは説明を省略する。
【００９７】
いくつかの代替実施例では、サンプル画像を切り出す時、対象領域は顔キーポイントが位置する領域に加えて、異なる対象顔属性のそれぞれが対応する顔部位外側に位置する所定面積の領域を含んでもよい。該プロセスも顔属性解析プロセスにおける説明とほぼ一致するであるので、ここでは説明も省略する。
【００９８】
いくつかの代替実施例では、予め収集された顔を少なくとも含む少なくとも一つの関心画像は顔正面転換および対象領域切り出しを経た後、さらに平行移動、回転、ズームおよび左右反転の処理の少なくとも一つを行い、得られた処理後画像もサンプル画像として、後続のネットワーク訓練を行うことができる。このように、サンプル画像の集合が効果的に拡張され、それによって後続で訓練して得られた対象ニューラルネットワークはより多くの顔属性解析の複雑シーンに対応可能になる。
【００９９】
前記方法の実施例に対応するように、本開示はさらに装置の実施例を提供する。
【０１００】
図８は本開示のいくつかの実施例が提供する仮想アバター生成装置のブロック図であり、前記装置は、タスク決定モジュール８１０と、顔属性解析モジュール８２０と、仮想アバターテンプレート決定モジュール８３０と、アバター生成モジュール８４０と、を含む。前記タスク決定モジュール８１０は、それぞれが予め定義された複数の顔属性の一つである少なくとも一つの対象顔属性に関連する対象タスクを決定するように構成される。前記顔属性解析モジュール８２０は、前記対象タスクに応じて顔を少なくとも含む対象画像に対して前記対象顔属性に関する解析を行い、前記対象画像における、前記対象顔属性に関連する対象顔属性フィーチャを取得するように構成される。前記仮想アバターテンプレート決定モジュール８３０は、予め定義された顔属性フィーチャと仮想アバターテンプレートとの対応関係に応じて、前記対象顔属性フィーチャに対応する対象仮想アバターテンプレートを決定するように構成される。前記アバター生成モジュール８４０は、前記対象仮想アバターテンプレートに基づいて前記対象画像において仮想アバターを生成するように構成される。
【０１０１】
いくつかの代替実施例では、例えば図９に示すように、前記顔属性解析モジュール８２０は、ネットワーク決定サブモジュール８２１と、推定値決定サブモジュール８２２と、フィーチャ決定サブモジュール８２３と、を含む。前記ネットワーク決定サブモジュール８２１は、前記対象顔属性に対応する対象ニューラルネットワークを決定するように構成される。前記推定値決定サブモジュール８２２は、前記対象画像を前記対象ニューラルネットワークに入力し、前記対象ニューラルネットワークから出力される、前記対象画像が前記対象顔属性に関連する少なくとも一つの顔属性フィーチャを有する可能性確率を表す推定値を取得するように構成される。前記フィーチャ決定サブモジュール８２３は、前記対象ニューラルネットワークから出力される前記推定値のうちの最大値が対応する顔属性フィーチャを、前記対象顔属性フィーチャとするように構成される。
【０１０２】
いくつかの代替実施例では、前記対象顔属性は予め定義された少なくとも一つのサブクラスを含む。この場合、前記フィーチャ決定サブモジュール８２３は、第一サブクラスについて、前記対象ニューラルネットワークから出力される、前記第一サブクラスに対する前記推定値のうちの最大値が対応する顔属性フィーチャを、前記第一サブクラスに対応する対象顔属性フィーチャとするように構成されてもよい。ここで、前記第一サブクラスは前記対象顔属性に含まれる少なくとも一つのサブクラスのうちのいずれかである。
【０１０３】
いくつかの代替実施例では、例えば図１０に示すように、前記装置は、顔正面転換処理モジュール８５０と、画像切り出しモジュール８６０と、をさらに含む。前記顔正面転換処理モジュール８５０は、関心画像をアフィン変換し、顔が正面に転換された後の画像を取得するように構成される。前記画像切り出しモジュール８６０は、前記顔が正面に転換された後の画像から、顔キーポイントが位置する領域を少なくとも含む対象領域の画像を切り出し、前記対象画像を取得するように構成される。
【０１０４】
いくつかの代替実施例では、前記対象領域は前記対象顔属性が対応する顔部位外側に位置する所定面積の領域をさらに含む。
【０１０５】
いくつかの代替実施例では、前記対象ニューラルネットワークは異なる顔属性に対応する複数のサブネッ卜ワークを含む。この場合、例えば図１１に示すように、前記装置は、訓練モジュール８７０をさらに含む。前記訓練モジュール８７０は、顔を少なくとも含む少なくとも一つのサンプル画像を第一ニューラルネットワークに入力し、各前記サンプル画像は第一顔属性に関連する顔属性フィーチャがラベル付けされ、前記第一ニューラルネットワークは前記第一顔属性に対応する第一サブネッ卜ワークを含み、前記第一顔属性は予め定義された前記複数の顔属性のうちのいずれかであり、前記第一ニューラルネットワークから出力される、前記少なくとも一つのサンプル画像における前記第一顔属性に関連する少なくとも一つの顔属性フィーチャを予測値とし、前記少なくとも一つのサンプル画像にラベル付けされた、前記第一顔属性に対応する少なくとも一つの顔属性フィーチャを実測値とし、前記第一サブネッ卜ワークを訓練することを行うように構成される。このようにして、訓練が完了した後に得られた前記第一サブネッ卜ワークは前記対象ニューラルネットワークとすることができる。
【０１０６】
いくつかの代替実施例では、前記第一サブネッ卜ワークは残差ニューラルネットワークのネットワーク構造を採用し、かつ少なくとも一つの残差ユニットを含むようにしてもよい。ここで、前記少なくとも一つの残差ユニットそれぞれは少なくとも一つの畳み込み層および少なくとも一つのバッチ正規化層を含んでもよい。
【０１０７】
いくつかの代替実施例では、前記第一サブネッ卜ワークが複数の残差ユニットを含む場合、前記複数の残差ユニットのうちの第二残差ユニットに含まれる畳み込み層の数およびバッチ正規化層の数はいずれも前記複数の残差ユニットのうちの第一残差ユニットに含まれる前記畳み込み層の数および前記バッチ正規化層の数より大きい。
【０１０８】
いくつかの代替実施例では、前記第一サブネッ卜ワークは、出力分割層をさらに含む。前記出力分割層は、前記第一顔属性に含まれる予め定義された少なくとも一つのサブクラスに応じて、前記サンプル画像から抽出された特徴情報を分割し、前記少なくとも一つのサブクラスのそれぞれに関連する少なくとも一つの前記顔属性フィーチャに対する推定値を取得するために用いられる。
【０１０９】
いくつかの代替実施例では、同様に、予め収集された関心画像を、例えば顔を回転補正するように、先に処理し、前記顔が正面に転換された後の画像から前記対象領域の画像を切り出すことで、対応するサンプル画像を取得することができる。ここで、対象領域は顔正面転換後の画像における顔キーポイントが位置する領域を少なくとも含む。このプロセスは関心画像から対象画像を取得するプロセスにおける説明とほぼ一致するので、ここでは説明を省略する。また、サンプル画像を切り出す時、対象領域は顔キーポイントが位置する領域に加えて、異なる対象顔属性のそれぞれが対応する顔部位外側に位置する所定面積の領域を含んでもよい。
【０１１０】
装置の実施例は、基本的に方法の実施例に対応するので、関連部分は方法の実施例の説明の部分を参照すればよい。上述した装置の実施例は例示的なものにすぎず、分離部材として説明したユニットは物理的に分離されたものであってもなくてもよく、ユニットとして示された部材は物理的ユニットであってもなくてもよく、一箇所にあっても複数のネットワークユニットに分散してもよい。本開示の解決手段の目的を達成するには、実際の必要に応じてその一部または全てのモジュールを選択することができる。当業者であれば、創造的な労力を要することなく、それを理解および実施することができる。
【０１１１】
本開示の実施例は、上記のいずれか一項に記載の仮想アバター生成方法を実行するためのコンピュータプログラムが記憶されるコンピュータ可読記憶媒体をさらに提供する。
【０１１２】
本開示の実施例は、プロセッサと、前記プロセッサ実行可能命令を記憶するためのメモリと、を含み、前記プロセッサは前記メモリに記憶された実行可能命令を呼び出して、上記のいずれか一項に記載の仮想アバター生成方法を実現するように構成される、仮想アバター生成装置をさらに提供する。
【０１１３】
図１２は、いくつかの実施例が提供する仮想アバター生成装置１２００の構造概略図である。例えば、装置１２００は顔駆動機器に用いられる仮想アバター生成装置として提供されてもよい。図１２を参照すると、装置１２００は、さらに一つ以上のプロセッサを含む処理コンポーネント１２２２、および、処理コンポーネント１２２２の実行可能命令、例えばアプリケーションプログラムを記憶するための、メモリ１２３２を代表とするメモリ資源を含む。メモリ１２３２に記憶されたアプリケーションプログラムはそれぞれが１グループの命令に対応する一つ以上のモジュールを含んでもよい。また、処理コンポーネント１２２２は命令を実行し、それによって上記のいずれかの仮想アバター生成方法を実行するように構成される。
【０１１４】
装置１２００はさらに、装置１２００の電源管理を実行するように構成された電源コンポーネント１２２６、装置１２００をネットワークにアクセスするように構成された有線または無線ネットワークインタフェース１２５０、および入出力（Ｉ／Ｏ）インタフェース１２５８を含んでもよい。装置１２００はメモリ１２３２に記憶されたオペレーティングシステム、例えばＷｉｎｄｏｗｓ  ＳｅｒｖｅｒＴＭ、Ｍａｃ  ＯＳ  ＸＴＭ、ＵｎｉｘＴＭ，  Ｌｉｎｕｘ（登録商標）ＴＭ、ＦｒｅｅＢ  ＳＤＴＭまたは類似するものに基づいて動作できる。
【０１１５】
本開示の他の実施形態は、本明細書の考察と本明細書での本発明の実施により、当業者には自明であろう。本開示は本開示のあらゆる変形、用途または適応的な変化を包含することを意図し、これらの変形、用途または適応的な変化は、本開示の一般原理に従い本開示に掲示されていない当技術分野での技術常識または慣用される技術手段を含む。明細書および実施例は単に例示的なものとみなされ、本開示の真の範囲および趣旨は以下の請求項によって示される。
【０１１６】
以上は本開示の好適な実施例に過ぎず、本開示を制限するものではなく、本開示の精神および原則内において行われる任意の修正、同等の代替、改善などは、全て本開示の保護範囲に含まれるものとする。
【図１】
2021528719.tif 000006
【図２】
2021528719.tif 000007
【図３】
2021528719.tif 000008
【図４】
2021528719.tif 000009
【図５】
2021528719.tif 000010
【図６】
2021528719.tif 000011
【図７】
2021528719.tif 000012
【図８】
2021528719.tif 000013
【図９】
2021528719.tif 000014
【図１０】
2021528719.tif 000015
【図１１】
2021528719.tif 000016
【図１２】
2021528719.tif 000017
【手続補正書】
【提出日】令和2年10月20日(2020.10.20)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
仮想アバター生成方法であって、
当該方法は、
少なくとも一つの対象顔属性に関連する対象タスクを決定し、前記対象顔属性が予め定義された複数の顔属性の一つであり、
前記対象タスクに応じて顔を少なくとも含む対象画像に対して前記対象顔属性に関する解析を行い、前記対象画像における、前記対象顔属性に関連する対象顔属性フィーチャを取得し、
予め定義された顔属性フィーチャと仮想アバターテンプレートとの対応関係に応じて、前記対象顔属性フィーチャに対応する対象仮想アバターテンプレートを決定し、
前記対象仮想アバターテンプレートに基づいて前記対象画像において仮想アバターを生成することを含むことを特徴とする方法。
【請求項２】
前記対象タスクに応じて顔を少なくとも含む対象画像に対して前記対象顔属性に関する解析を行うことは、
前記対象顔属性に対応する対象ニューラルネットワークを決定し、
前記対象画像を前記対象ニューラルネットワークに入力し、前記対象ニューラルネットワークから出力される、前記対象画像が前記対象顔属性に関連する少なくとも一つの顔属性フィーチャを有する可能性確率を表す推定値を取得し、
前記対象ニューラルネットワークから出力される前記推定値のうちの最大値が対応する顔属性フィーチャを、前記対象顔属性フィーチャとすることを含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記対象顔属性は予め定義された少なくとも一つのサブクラスを含み、前記対象ニューラルネットワークから出力される前記推定値のうちの最大値が対応する顔属性フィーチャを、前記対象顔属性フィーチャとすることは、
第一サブクラスについて、前記対象ニューラルネットワークから出力される、前記第一サブクラスに対する前記推定値のうちの最大値が対応する顔属性フィーチャを、前記第一サブクラスに対応する前記対象顔属性フィーチャとし、前記対象顔属性に含まれる少なくとも一つのサブクラスのうちのいずれかであることを含むことを特徴とする請求項２に記載の方法。
【請求項４】
以下の方式、即ち
顔を少なくとも含む少なくとも一つのサンプル画像を第一ニューラルネットワークに入力し、各前記サンプル画像は第一顔属性に関連する顔属性フィーチャがラベル付けされ、前記第一ニューラルネットワークは前記第一顔属性に対応する第一サブネッ卜ワークを含み、前記第一顔属性は予め定義された前記複数の顔属性のうちのいずれかであり、
前記第一ニューラルネットワークから出力される、前記少なくとも一つのサンプル画像における前記第一顔属性に関連する少なくとも一つの顔属性フィーチャを予測値とし、前記少なくとも一つのサンプル画像にラベル付けされた、前記第一顔属性に対応する少なくとも一つの顔属性フィーチャを実測値とし、前記第一サブネッ卜ワークを訓練し、訓練が完了した後に前記対象ニューラルネットワークを取得することを用いて訓練を行って前記対象ニューラルネットワークを取得することを特徴とする請求項２から３のいずれか一項に記載の方法。
【請求項５】
前記第一サブネッ卜ワークは残差ニューラルネットワークの構造を採用し、かつ少なくとも一つの残差ユニットを含み、
前記少なくとも一つの残差ユニットそれぞれは少なくとも一つの畳み込み層および少なくとも一つのバッチ正規化層を含み、かつ
前記少なくとも一つの残差ユニットが複数の残差ユニットを含む場合に、前記複数の残差ユニットのうちの第二残差ユニットに含まれる畳み込み層の数およびバッチ正規化層の数はいずれも前記複数の残差ユニットのうちの第一残差ユニットに含まれる前記畳み込み層の数および前記バッチ正規化層の数より大きいことを特徴とする請求項４に記載の方法。
【請求項６】
前記第一サブネッ卜ワークは、出力分割層をさらに含み、
前記出力分割層は、前記第一顔属性に含まれる予め定義された少なくとも一つのサブクラスに応じて、前記サンプル画像から抽出された特徴情報を分割し、前記少なくとも一つのサブクラスのそれぞれに関連する少なくとも一つの顔属性フィーチャに対する推定値を取得するために用いられることを特徴とする請求項５に記載の方法。
【請求項７】
前記方法は、
関心画像をアフィン変換し、顔が正面に転換された後の画像を取得し、
前記顔が正面に転換された後の画像から、顔キーポイントが位置する領域を少なくとも含む対象領域の画像を切り出し、前記対象画像または前記サンプル画像を取得することをさらに含むことを特徴とする請求項４から６のいずれか一項に記載の方法。
【請求項８】
前記対象領域は、前記対象顔属性が対応する顔部位外側に位置する所定面積の領域をさらに含むことを特徴とする請求項７に記載の方法。
【請求項９】
仮想アバター生成装置であって、
当該装置は、タスク決定モジュールと、顔属性解析モジュールと、仮想アバターテンプレート決定モジュールと、バター生成モジュールとを含み、
前記タスク決定モジュールは、予め定義された複数の顔属性の一つである少なくとも一つの対象顔属性に関連する対象タスクを決定するように構成され、
前記顔属性解析モジュールは、前記対象タスクに応じて顔を少なくとも含む対象画像に対して前記対象顔属性に関する解析を行い、前記対象画像における、前記対象顔属性に関連する対象顔属性フィーチャを取得するように構成された、
前記仮想アバターテンプレート決定モジュールは、予め定義された顔属性フィーチャと仮想アバターテンプレートとの対応関係に応じて、前記対象顔属性フィーチャに対応する対象仮想アバターテンプレートを決定するように構成された、
前記アバター生成モジュールは、前記対象仮想アバターテンプレートに基づいて前記対象画像において仮想アバターを生成するように構成されることを含むことを特徴とする装置。
【請求項１０】
コンピュータ可読記憶媒体であって、
当該記憶媒体は、上記請求項１から８のいずれか一項に記載の仮想アバター生成方法を実行するためのコンピュータプログラムを記憶することを特徴とする記憶媒体。
【請求項１１】
仮想アバター生成装置であって、
当該装置は、プロセッサと、前記プロセッサ実行可能命令を記憶するためのメモリとを含み、
前記プロセッサは、前記メモリに記憶された実行可能命令を呼び出して、請求項１から８のいずれか一項に記載の仮想アバター生成方法を実現するように構成されることを特徴とする装置。
【国際調査報告】
2021528719.tif 000018
2021528719.tif 000019
2021528719.tif 000020
2021528719.tif 000021