(57)【要約】本開示は、画像生成の技術的解決策を提案する。本開示は、画像生成方法および装置、電子機器並びに記憶媒体に関し、前記方法の一態様は、目標対象の線画像に従って、前記目標対象の第１画像を生成することと、前記第１画像に対して構造抽出を実行して、前記第１画像のテクスチャ情報および／または方向情報を取得することと、前記テクスチャ情報および／または前記方向情報に従って、前記目標対象の第２画像を生成することとを含む。【選択図】図１
2021518961.tif 000002
【特許請求の範囲】
【請求項１】
画像生成方法であって、
目標対象の線画像に従って、前記目標対象の第１画像を生成することと、
前記第１画像に対して構造抽出を実行して、前記第１画像のテクスチャ情報および／または方向情報を取得することと、
前記テクスチャ情報および／または前記方向情報に従って、前記目標対象の第２画像を生成することとを含むことを特徴とする、前記画像生成方法。
【請求項２】
前記第１画像に対して構造抽出を実行して、前記第１画像のテクスチャ情報および／または方向情報を取得することは、
前記第１画像の各画素点に対してフィルタリング処理をそれぞれ実行して、各画素点のフィルタリング結果を取得することと、
前記各画素点のフィルタリング結果に従って、前記第１画像のテクスチャ情報および／または方向情報を決定することとを含むことを特徴とする、
請求項１に記載の画像生成方法。
【請求項３】
前記第１画像に対して構造抽出を実行して、前記第１画像のテクスチャ情報および／または方向情報を取得することは、
前記第１画像の各画素点に対して第１フィルタリング処理をそれぞれ実行して、各画素点の第１フィルタリング結果を取得することと、
前記各画素点の第１フィルタリング結果に従って、各画素点の予備的なテクスチャ情報および／または予備的な方向情報を決定することと、
前記各画素点の予備的なテクスチャ情報および／または予備的な方向情報に対して第２フィルタリング処理をそれぞれ実行して、各画素点の第２フィルタリング結果を取得することと、
前記各画素点の第２フィルタリング結果に従って、前記第１画像のテクスチャ情報および／または方向情報を決定することとを含むことを特徴とする、
請求項１に記載の画像生成方法。
【請求項４】
前記第１画像の各画素点に対してフィルタリング処理をそれぞれ実行して、各画素点のフィルタリング結果を取得することは、
プリセットの複数の角度に従って、各画素点に対してフィルタリング処理を実行して、各画素点の複数のフィルタリング結果を取得することを含み、
前記各画素点のフィルタリング結果に従って、前記第１画像のテクスチャ情報および／または方向情報を決定することは、
前記各画素点の複数のフィルタリング結果のうちの最大値に従って、前記第１画像のテクスチャ情報を決定すること、および／または
前記各画素点の複数のフィルタリング結果のうちの最大値に対応する角度に従って、前記第１画像の方向情報を決定することを含むことを特徴とする、
請求項２に記載の画像生成方法。
【請求項５】
前記第１画像の各画素点に対して第１フィルタリング処理をそれぞれ実行して、各画素点の第１フィルタリング結果を取得することは、
プリセットの複数の角度に従って、各画素点に対して第１フィルタリング処理を実行して、各画素点の複数の第１フィルタリング結果を取得することを含み、
前記各画素点の第１フィルタリング結果に従って、各画素点の予備的なテクスチャ情報および／または予備的な方向情報を決定することは、
前記各画素点の複数の第１フィルタリング結果のうちの最大値に従って、前記各画素点の予備的なテクスチャ情報を決定すること、および／または
前記各画素点の複数の第１フィルタリング結果のうちの最大値に対応する角度に従って、前記各画素点の予備的な方向情報を決定することを含むことを特徴とする、
請求項３に記載の画像生成方法。
【請求項６】
前記各画素点の予備的なテクスチャ情報および／または予備的な方向情報に対して第２フィルタリング処理をそれぞれ実行して、各画素点の第２フィルタリング結果を取得することは、
プリセットの複数の角度に従って、前記各画素点の予備的なテクスチャ情報および／または予備的な方向情報に対して第２フィルタリング処理を実行して、各画素点の複数の第２フィルタリング結果を取得することを含み、
前記各画素点の第２フィルタリング結果に従って、前記第１画像のテクスチャ情報および／または方向情報を決定することは、
前記各画素点の複数の第２フィルタリング結果のうちの最大値に従って、前記第１画像のテクスチャ情報を決定すること、および／または
前記各画素点の複数の第２フィルタリング結果のうちの最大値に対応する角度に従って、前記第１画像の方向情報を決定することを含むことを特徴とする、
請求項３または５に記載の画像生成方法。
【請求項７】
前記方法は、ニューラルネットワークによって実現され、前記ニューラルネットワークは、第１生成ネットワークおよび第２生成ネットワークを含み、前記第１生成ネットワークは、前記第１画像を生成するために使用され、前記第２生成ネットワークは、前記第２画像を生成するために使用されることを特徴とする、
請求項１ないし６のいずれか一項に記載の画像生成方法。
【請求項８】
前記第１生成ネットワークは、第１畳み込みサブネットワークおよび第１逆畳み込みサブネットワークを含み、前記目標対象の線画像に従って、前記目標対象の第１画像を生成することは、
前記線画像を前記第１畳み込みサブネットワークに入力してダウンサンプリングして、前記線画像の第１特徴情報を出力することと、
前記第１特徴情報を前記第１逆畳み込みサブネットワークに入力してアップサンプリングして、前記第１画像を出力することとを含むことを特徴とする、
請求項７に記載の画像生成方法。
【請求項９】
前記第２生成ネットワークは、第２畳み込みサブネットワークおよび第２逆畳み込みサブネットワークを含み、前記テクスチャ情報および／または前記方向情報に従って、前記目標対象の第２画像を生成することは、
前記テクスチャ情報および／または前記方向情報を前記第２畳み込みサブネットワークに入力してダウンサンプリングして、第２特徴情報を出力することと、
前記第２特徴情報を前記第２逆畳み込みサブネットワークに入力してアップサンプリングして、前記第２画像を出力することとを含むことを特徴とする、
請求項８に記載の画像生成方法。
【請求項１０】
前記ニューラルネットワークは、判別ネットワークをさらに含み、前記方法は、
プリセットされたトレーニングセットに従って、前記第１生成ネットワーク、前記第２生成ネットワークおよび前記判別ネットワークに対して敵対的トレーニングを実行することをさらに含み、
前記トレーニングセットは、複数の第３画像および前記第３画像に対応する参照画像を含み、前記第３画像は線画像であり、前記参照画像は実画像であることを特徴とする、
請求項７ないし９のいずれか一項に記載の画像生成方法。
【請求項１１】
前記プリセットされたトレーニングセットに従って、前記第１生成ネットワーク、前記第２生成ネットワークおよび前記判別ネットワークに対して敵対的トレーニングを実行することは、
前記トレーニングセットにおける前記第３画像を前記第１生成ネットワークに入力して、第４画像を生成することと、
フィルタを介して、前記第４画像に対して構造抽出を実行して、前記第４画像のテクスチャ情報および／または方向情報を取得することと、
前記第４画像のテクスチャ情報および／または前記方向情報を前記第２生成ネットワークに入力して、第５画像を生成することと、
前記第３画像の参照画像および前記第５画像を前記判別ネットワークに入力して、判別結果を出力することと、
前記参照画像、前記第４画像、前記第５画像および前記判別結果に従って、前記ニューラルネットワークのネットワーク損失を決定することと、
前記ネットワーク損失に従って、前記第１生成ネットワーク、前記第２生成ネットワークおよび前記判別ネットワークをトレーニングすることとを含むことを特徴とする、
請求項１０に記載の画像生成方法。
【請求項１２】
前記参照画像、前記第４画像、前記第５画像および前記判別結果に従って、前記ニューラルネットワークのネットワーク損失を決定することは、
前記参照画像、前記第４画像および前記第５画像に従って、前記ニューラルネットワークの画素損失を決定することと、
前記判別結果に従って、前記ニューラルネットワークの敵対的損失を決定することと、
前記参照画像、前記第４画像、前記第５画像およびトレーニングされた畳み込みネットワークに従って、前記ニューラルネットワークのスタイル損失を決定することと、
前記画素損失、前記敵対的損失および前記スタイル損失に従って、前記ニューラルネットワークのネットワーク損失を決定することとを含むことを特徴とする、
請求項１１に記載の画像生成方法。
【請求項１３】
前記参照画像、前記第４画像、前記第５画像および前記判別結果に従って、前記ニューラルネットワークのネットワーク損失を決定することは、
前記参照画像、前記第４画像、前記第５画像および前記判別ネットワークに従って、前記ニューラルネットワークの特徴マッチング損失を決定することと、
前記画素損失、前記敵対的損失、前記スタイル損失および前記特徴マッチング損失に従って、前記ニューラルネットワークのネットワーク損失を決定することとを含むことを特徴とする、
請求項１２に記載の画像生成方法。
【請求項１４】
前記目標対象は髪を含み、前記目標対象の線画像は、少なくとも、髪の輪郭線および方向線を含むことを特徴とする、
請求項１ないし１３のいずれか一項に記載の画像生成方法。
【請求項１５】
画像生成装置であって、
目標対象の線画像に従って、前記目標対象の第１画像を生成するように構成される第１生成モジュールと、
前記第１画像に対して構造抽出を実行して、前記第１画像のテクスチャ情報および／または方向情報を取得するように構成される構造抽出モジュールと、
前記テクスチャ情報および／または前記方向情報に従って、前記目標対象の第２画像を生成するように構成される第２生成モジュールとを備えることを特徴とする、前記画像生成装置。
【請求項１６】
前記構造抽出モジュールは、
前記第１画像の各画素点に対してフィルタリング処理をそれぞれ実行して、各画素点のフィルタリング結果を取得するように構成される第１フィルタリング処理サブモジュールと、
前記各画素点のフィルタリング結果に従って、前記第１画像のテクスチャ情報および／または方向情報を決定するように構成される第１情報決定サブモジュールとを備えることを特徴とする、
請求項１５に記載の画像生成装置。
【請求項１７】
前記構造抽出モジュールは、
前記第１画像の各画素点に対して第１フィルタリング処理をそれぞれ実行して、各画素点の第１フィルタリング結果を取得するように構成される第２フィルタリング処理サブモジュールと、
前記各画素点の第１フィルタリング結果に従って、各画素点の予備的なテクスチャ情報および／または予備的な方向情報を決定するように構成される第２情報決定サブモジュールと、
前記各画素点の予備的なテクスチャ情報および／または予備的な方向情報に対して第２フィルタリング処理をそれぞれ実行して、各画素点の第２フィルタリング結果を取得するように構成される第３フィルタリング処理サブモジュールと、
前記各画素点の第２フィルタリング結果に従って、前記第１画像のテクスチャ情報および／または方向情報を決定するように構成される第３情報決定サブモジュールとを備えることを特徴とする、
請求項１５に記載の画像生成装置。
【請求項１８】
前記第１フィルタリング処理サブモジュールは、
プリセットの複数の角度に従って、各画素点に対してフィルタリング処理を実行して、各画素点の複数のフィルタリング結果を取得するように構成され、
前記第１情報決定サブモジュールは、
前記各画素点の複数のフィルタリング結果のうちの最大値に従って、前記第１画像のテクスチャ情報を決定し、および／または
前記各画素点の複数のフィルタリング結果のうちの最大値に対応する角度に従って、前記第１画像の方向情報を決定するように構成されることを特徴とする、
請求項１６に記載の画像生成装置。
【請求項１９】
前記第２フィルタリング処理サブモジュールは、
プリセットの複数の角度に従って、各画素点に対して第１フィルタリング処理を実行して、各画素点の複数の第１フィルタリング結果を取得するように構成され、
前記第２情報決定サブモジュールは、
前記各画素点の複数の第１フィルタリング結果のうちの最大値に従って、前記各画素点の予備的なテクスチャ情報を決定し、および／または
前記各画素点の複数の第１フィルタリング結果のうちの最大値に対応する角度に従って、前記各画素点の予備的な方向情報を決定するように構成されることを特徴とする、
請求項１７に記載の画像生成装置。
【請求項２０】
前記第３フィルタリング処理サブモジュールは、
プリセットの複数の角度に従って、前記各画素点の予備的なテクスチャ情報および／または予備的な方向情報に対して第２フィルタリング処理を実行して、各画素点の複数の第２フィルタリング結果を取得するように構成され、
前記第３情報決定サブモジュールは、
前記各画素点の複数の第２フィルタリング結果のうちの最大値に従って、前記第１画像のテクスチャ情報を決定し、および／または
前記各画素点の複数の第２フィルタリング結果のうちの最大値に対応する角度に従って、前記第１画像の方向情報を決定するように構成されることを特徴とする、
請求項１７または１９に記載の画像生成装置。
【請求項２１】
前記装置は、ニューラルネットワークを含み、前記ニューラルネットワークは、第１生成ネットワークおよび第２生成ネットワークを含み、前記第１生成ネットワークは、前記第１画像を生成するために使用され、前記第２生成ネットワークは、前記第２画像を生成するために使用されることを特徴とする、
請求項１５ないし２０のいずれか一項に記載の画像生成装置。
【請求項２２】
前記第１生成ネットワークは、第１畳み込みサブネットワークおよび第１逆畳み込みサブネットワークを含み、前記第１生成モジュールは、
前記線画像を前記第１畳み込みサブネットワークに入力してダウンサンプリングして、前記線画像の第１特徴情報を出力するように構成される第１特徴決定サブモジュールと、
前記第１特徴情報を前記第１逆畳み込みサブネットワークに入力してアップサンプリングして、前記第１画像を出力するように構成される第１画像生成サブモジュールとを備えることを特徴とする、
請求項２１に記載の画像生成装置。
【請求項２３】
前記第２生成ネットワークは、第２畳み込みサブネットワークおよび第２逆畳み込みサブネットワークを含み、前記第２生成モジュールは、
前記テクスチャ情報および／または前記方向情報を前記第２畳み込みサブネットワークに入力してダウンサンプリングして、第２特徴情報を出力するように構成される第２特徴決定サブモジュールと、
前記第２特徴情報を前記第２逆畳み込みサブネットワークに入力してアップサンプリングして、前記第２画像を出力するように構成される第２画像生成サブモジュールとを備えることを特徴とする、
請求項２２に記載の画像生成装置。
【請求項２４】
前記ニューラルネットワークは判別ネットワークをさらに含み、前記装置は、
プリセットされたトレーニングセットに従って、前記第１生成ネットワーク、前記第２生成ネットワークおよび前記判別ネットワークに対して敵対的トレーニングを実行するように構成されるトレーニングモジュールをさらに備え、
前記トレーニングセットは、複数の第３画像および前記第３画像に対応する参照画像を含み、前記第３画像は線画像であり、前記参照画像は実画像であることを特徴とする、
請求項２１ないし２３のいずれか一項に記載の画像生成装置。
【請求項２５】
前記トレーニングモジュールは、
前記トレーニングセットにおける前記第３画像を前記第１生成ネットワークに入力して、第４画像を生成するように構成される第３画像生成サブモジュールと、
フィルタを介して、前記第４画像に対して構造抽出を実行して、前記第４画像のテクスチャ情報および／または方向情報を取得するように構成される構造抽出サブモジュールと、
前記第４画像のテクスチャ情報および／または前記方向情報を前記第２生成ネットワークに入力して、第５画像を生成するように構成される第４画像生成サブモジュールと、
前記第３画像の参照画像および前記第５画像を前記判別ネットワークに入力して、判別結果を出力するように構成される判別サブモジュールと、
前記参照画像、前記第４画像、前記第５画像および前記判別結果に従って、前記ニューラルネットワークのネットワーク損失を決定するように構成される損失決定サブモジュールと、
前記ネットワーク損失に従って、前記第１生成ネットワーク、前記第２生成ネットワークおよび前記判別ネットワークをトレーニングするように構成されるトレーニングサブモジュールとを備えることを特徴とする、
請求項２４に記載の画像生成装置。
【請求項２６】
前記損失決定サブモジュールは、
前記参照画像、前記第４画像および前記第５画像に従って、前記ニューラルネットワークの画素損失を決定し、
前記判別結果に従って、前記ニューラルネットワークの敵対的損失を決定し、
前記参照画像、前記第４画像、前記第５画像およびトレーニングされた畳み込みネットワークに従って、前記ニューラルネットワークのスタイル損失を決定し、
前記画素損失、前記敵対的損失および前記スタイル損失に従って、前記ニューラルネットワークのネットワーク損失を決定するように構成されることを特徴とする、
請求項２５に記載の画像生成装置。
【請求項２７】
前記損失決定サブモジュールは、さらに、
前記参照画像、前記第４画像、前記第５画像および前記判別ネットワークに従って、前記ニューラルネットワークの特徴マッチング損失を決定し、
前記画素損失、前記敵対的損失、前記スタイル損失および前記特徴マッチング損失に従って、前記ニューラルネットワークのネットワーク損失を決定するように構成されることを特徴とする、
請求項２６に記載の画像生成装置。
【請求項２８】
前記目標対象は髪を含み、前記目標対象の線画像は、少なくとも、髪の輪郭線および方向線を含むことを特徴とする、
請求項１５ないし２７のいずれか一項に記載の画像生成装置。
【請求項２９】
電子機器であって、
プロセッサと、
プロセッサ実行可能命令を記憶するように構成されるメモリとを備え、
前記プロセッサは、請求項１ないし１４のいずれか一項に記載の方法を実行するように構成されることを特徴とする、前記電子機器。
【請求項３０】
コンピュータプログラム命令が記憶されたコンピュータ読み取り可能な記憶媒体であって、
前記コンピュータプログラム命令がプロセッサによって実行されると、請求項１ないし１４のいずれか一項に記載の方法を実行することを特徴とする、前記コンピュータ読み取り可能な記憶媒体。
【請求項３１】
コンピュータプログラムであって、
コンピュータ読み取り可能なコードを含み、前記コンピュータ読み取り可能なコードが電子機器によって実行される時に、前記電子機器におけるプロセッサは、請求項１ないし１４のいずれか一項に記載の方法を実現するための命令を実行することを特徴とする、前記コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、２０１９年０２月０２日に中国特許局に提出された、出願番号が２０１９１０１０７４２８．９であり、発明の名称が「画像生成方法および装置、電子機器並びに記憶媒体」である中国特許出願の全ての内容が参照により本願に組み込まれている。
【０００２】
本開示は、コンピュータ技術の分野に関し、特に、画像生成方法および装置、電子機器並びに記憶媒体に関する。
【背景技術】
【０００３】
コンピュータ技術の分野では、リアルな髪を生成することは重要で難しい技術的課題である。髪は、ポートレートの明らかな特徴であり、リアルにレンダリングすることができないと、ポートレート全体の生成効果に影響を与える。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本開示は、画像生成の技術的解決策を提案する。
【課題を解決するための手段】
【０００５】
本開示の一態様によれば、画像生成方法を提供し、前記画像生成方法は、目標対象の線画像に従って、前記目標対象の第１画像を生成することと、前記第１画像に対して構造抽出を実行して、前記第１画像のテクスチャ情報および／または方向情報を取得することと、前記テクスチャ情報および／または前記方向情報に従って、前記目標対象の第２画像を生成することとを含む。
【０００６】
一可能な実施形態において、前記第１画像に対して構造抽出を実行して、前記第１画像のテクスチャ情報および／または方向情報を取得することは、前記第１画像の各画素点に対してフィルタリング処理をそれぞれ実行して、各画素点のフィルタリング結果を取得することと、前記各画素点のフィルタリング結果に従って、前記第１画像のテクスチャ情報および／または方向情報を決定することとを含む。
【０００７】
一可能な実施形態において、前記第１画像に対して構造抽出を実行して、前記第１画像のテクスチャ情報および／または方向情報を取得することは、前記第１画像の各画素点に対して第１フィルタリング処理をそれぞれ実行して、各画素点の第１フィルタリング結果を取得することと、前記各画素点の第１フィルタリング結果に従って、各画素点の予備的なテクスチャ情報および／または予備的な方向情報を決定することと、前記各画素点の予備的なテクスチャ情報および／または予備的な方向情報に対して第２フィルタリング処理をそれぞれ実行して、各画素点の第２フィルタリング結果を取得することと、前記各画素点の第２フィルタリング結果に従って、前記第１画像のテクスチャ情報および／または方向情報を決定することとを含む。
【０００８】
一可能な実施形態において、前記第１画像の各画素点に対してフィルタリング処理をそれぞれ実行して、各画素点のフィルタリング結果を取得することは、プリセットの複数の角度に従って、各画素点に対してフィルタリング処理を実行して、各画素点の複数のフィルタリング結果を取得することを含み、前記各画素点のフィルタリング結果に従って、前記第１画像のテクスチャ情報および／または方向情報を決定することは、前記各画素点の複数のフィルタリング結果のうちの最大値に従って、前記第１画像のテクスチャ情報を決定すること、および／または前記各画素点の複数のフィルタリング結果のうちの最大値に対応する角度に従って、前記第１画像の方向情報を決定することを含む。
【０００９】
一可能な実施形態において、前記第１画像の各画素点に対して第１フィルタリング処理をそれぞれ実行して、各画素点の第１フィルタリング結果を取得することは、プリセットの複数の角度に従って、各画素点に対して第１フィルタリング処理を実行して、各画素点の複数の第１フィルタリング結果を取得することを含み、前記各画素点の第１フィルタリング結果に従って、各画素点の予備的なテクスチャ情報および／または予備的な方向情報を決定することは、前記各画素点の複数の第１フィルタリング結果のうちの最大値に従って、前記各画素点の予備的なテクスチャ情報を決定すること、および／または前記各画素点の複数の第１フィルタリング結果のうちの最大値に対応する角度に従って、前記各画素点の予備的な方向情報を決定することを含む。
【００１０】
一可能な実施形態において、前記各画素点の予備的なテクスチャ情報および／または予備的な方向情報に対して第２フィルタリング処理をそれぞれ実行して、各画素点の第２フィルタリング結果を取得することは、プリセットの複数の角度に従って、前記各画素点の予備的なテクスチャ情報および／または予備的な方向情報に対して第２フィルタリング処理を実行して、各画素点の複数の第２フィルタリング結果を取得することを含み、前記各画素点の第２フィルタリング結果に従って、前記第１画像のテクスチャ情報および／または方向情報を決定することは、前記各画素点の複数の第２フィルタリング結果のうちの最大値に従って、前記第１画像のテクスチャ情報を決定すること、および／または前記各画素点の複数の第２フィルタリング結果のうちの最大値に対応する角度に従って、前記第１画像の方向情報を決定することを含む。
【００１１】
一可能な実施形態において、前記方法は、ニューラルネットワークによって実現され、前記ニューラルネットワークは、第１生成ネットワークおよび第２生成ネットワークを含み、前記第１生成ネットワークは、前記第１画像を生成するために使用され、前記第２生成ネットワークは、前記第２画像を生成するために使用される。
【００１２】
一可能な実施形態において、前記第１生成ネットワークは、第１畳み込みサブネットワークおよび第１逆畳み込みサブネットワークを含み、前記目標対象の線画像に従って、前記目標対象の第１画像を生成することは、前記線画像を前記第１畳み込みサブネットワークに入力してダウンサンプリングして、前記線画像の第１特徴情報を出力することと、前記第１特徴情報を前記第１逆畳み込みサブネットワークに入力してアップサンプリングして、前記第１画像を出力することとを含む。
【００１３】
一可能な実施形態において、前記第２生成ネットワークは、第２畳み込みサブネットワークおよび第２逆畳み込みサブネットワークを含み、前記テクスチャ情報および／または前記方向情報に従って、前記目標対象の第２画像を生成することは、前記テクスチャ情報および／または前記方向情報を前記第２畳み込みサブネットワークに入力してダウンサンプリングして、第２特徴情報を出力することと、前記第２特徴情報を前記第２逆畳み込みサブネットワークに入力してアップサンプリングして、前記第２画像を出力することとを含む。
【００１４】
一可能な実施形態において、前記ニューラルネットワークは判別ネットワークをさらに含み、前記方法は、プリセットされたトレーニングセットに従って、前記第１生成ネットワーク、前記第２生成ネットワークおよび前記判別ネットワークに対して敵対的トレーニングを実行することをさらに含み、ここで、前記トレーニングセットは、複数の第３画像および前記第３画像に対応する参照画像を含み、前記第３画像は線画像であり、前記参照画像は実画像である。
【００１５】
一可能な実施形態において、前記プリセットされたトレーニングセットに従って、前記第１生成ネットワーク、前記第２生成ネットワークおよび前記判別ネットワークに対して敵対的トレーニングを実行することは、前記トレーニングセットにおける前記第３画像を前記第１生成ネットワークに入力して、第４画像を生成することと、フィルタを介して、前記第４画像に対して構造抽出を実行して、前記第４画像のテクスチャ情報および／または方向情報を取得することと、前記第４画像のテクスチャ情報および／または前記方向情報を前記第２生成ネットワークに入力して、第５画像を生成することと、前記第３画像の参照画像および前記第５画像を前記判別ネットワークに入力して、判別結果を出力することと、前記参照画像、前記第４画像、前記第５画像および前記判別結果に従って、前記ニューラルネットワークのネットワーク損失を決定することと、前記ネットワーク損失に従って、前記第１生成ネットワーク、前記第２生成ネットワークおよび前記判別ネットワークをトレーニングすることとを含む。
【００１６】
一可能な実施形態において、前記参照画像、前記第４画像、前記第５画像および前記判別結果に従って、前記ニューラルネットワークのネットワーク損失を決定することは、前記参照画像、前記第４画像および前記第５画像に従って、前記ニューラルネットワークの画素損失を決定することと、前記判別結果に従って、前記ニューラルネットワークの敵対的損失を決定することと、前記参照画像、前記第４画像、前記第５画像およびトレーニングされた畳み込みネットワークに従って、前記ニューラルネットワークのスタイル損失を決定することと、前記画素損失、前記敵対的損失および前記スタイル損失に従って、前記ニューラルネットワークのネットワーク損失を決定することとを含む。
【００１７】
一可能な実施形態において、前記参照画像、前記第４画像、前記第５画像および前記判別結果に従って、前記ニューラルネットワークのネットワーク損失を決定することは、前記参照画像、前記第４画像、前記第５画像および前記判別ネットワークに従って、前記ニューラルネットワークの特徴マッチング損失を決定することと、前記画素損失、前記敵対的損失、前記スタイル損失および前記特徴マッチング損失に従って、前記ニューラルネットワークのネットワーク損失を決定することとをさらに含む。
【００１８】
一可能な実施形態において、前記目標対象は髪を含み、前記目標対象の線画像は、少なくとも、髪の輪郭線および方向線を含む。
【００１９】
本開示の一態様によれば、画像生成装置を提供し、前記装置は、目標対象の線画像に従って、前記目標対象の第１画像を生成するように構成される第１生成モジュールと、前記第１画像に対して構造抽出を実行して、前記第１画像のテクスチャ情報および／または方向情報を取得するように構成される構造抽出モジュールと、前記テクスチャ情報および／または前記方向情報に従って、前記目標対象の第２画像を生成するように構成される第２生成モジュールとを備える。
【００２０】
一可能な実施形態において、前記構造抽出モジュールは、前記第１画像の各画素点に対してフィルタリング処理をそれぞれ実行して、各画素点のフィルタリング結果を取得するように構成される第１フィルタリング処理サブモジュールと、前記各画素点のフィルタリング結果に従って、前記第１画像のテクスチャ情報および／または方向情報を決定するように構成される第１情報決定サブモジュールとを備える。
【００２１】
一可能な実施形態において、前記構造抽出モジュールは、前記第１画像の各画素点に対して第１フィルタリング処理をそれぞれ実行して、各画素点の第１フィルタリング結果を取得するように構成される第２フィルタリング処理サブモジュールと、前記各画素点の第１フィルタリング結果に従って、各画素点の予備的なテクスチャ情報および／または予備的な方向情報を決定するように構成される第２情報決定サブモジュールと、前記各画素点の予備的なテクスチャ情報および／または予備的な方向情報に対して第２フィルタリング処理をそれぞれ実行して、各画素点の第２フィルタリング結果を取得するように構成される第３フィルタリング処理サブモジュールと、前記各画素点の第２フィルタリング結果に従って、前記第１画像のテクスチャ情報および／または方向情報を決定するように構成される第３情報決定サブモジュールとを備える。
【００２２】
一可能な実施形態において、前記第１フィルタリング処理サブモジュールは、プリセットの複数の角度に従って、各画素点に対してフィルタリング処理を実行して、各画素点の複数のフィルタリング結果を取得するように構成され、前記第１情報決定サブモジュールは、前記各画素点の複数のフィルタリング結果のうちの最大値に従って、前記第１画像のテクスチャ情報を決定し、および／または前記各画素点の複数のフィルタリング結果のうちの最大値に対応する角度に従って、前記第１画像の方向情報を決定するように構成される。
【００２３】
一可能な実施形態において、前記第２フィルタリング処理サブモジュールは、プリセットの複数の角度に従って、各画素点に対して第１フィルタリング処理を実行して、各画素点の複数の第１フィルタリング結果を取得するように構成され、前記第２情報決定サブモジュールは、前記各画素点の複数の第１フィルタリング結果のうちの最大値に従って、前記各画素点の予備的なテクスチャ情報を決定し、および／または前記各画素点の複数の第１フィルタリング結果のうちの最大値に対応する角度に従って、前記各画素点の予備的な方向情報を決定するように構成される。
【００２４】
一可能な実施形態において、前記第３フィルタリング処理サブモジュールは、プリセットの複数の角度に従って、前記各画素点の予備的なテクスチャ情報および／または予備的な方向情報に対して第２フィルタリング処理を実行して、各画素点の複数の第２フィルタリング結果を取得するように構成され、前記第３情報決定サブモジュールは、前記各画素点の複数の第２フィルタリング結果のうちの最大値に従って、前記第１画像のテクスチャ情報を決定し、および／または前記各画素点の複数の第２フィルタリング結果のうちの最大値に対応する角度に従って、前記第１画像の方向情報を決定するように構成される。
【００２５】
一可能な実施形態において、前記装置はニューラルネットワークを含み、前記ニューラルネットワークは、第１生成ネットワークおよび第２生成ネットワークを含み、前記第１生成ネットワークは、前記第１画像を生成するために使用され、前記第２生成ネットワークは、前記第２画像を生成するために使用される。
【００２６】
一可能な実施形態において、前記第１生成ネットワークは、第１畳み込みサブネットワークおよび第１逆畳み込みサブネットワークを含み、前記第１生成モジュールは、前記線画像を前記第１畳み込みサブネットワークに入力してダウンサンプリングして、前記線画像の第１特徴情報を出力するように構成される第１特徴決定サブモジュールと、前記第１特徴情報を前記第１逆畳み込みサブネットワークに入力してアップサンプリングして、前記第１画像を出力するように構成される第１画像生成サブモジュールとを備える。
【００２７】
一可能な実施形態において、前記第２生成ネットワークは、第２畳み込みサブネットワークおよび第２逆畳み込みサブネットワークを含み、前記第２生成モジュールは、前記テクスチャ情報および／または前記方向情報を前記第２畳み込みサブネットワークに入力してダウンサンプリングして、第２特徴情報を出力するように構成される第２特徴決定サブモジュールと、前記第２特徴情報を前記第２逆畳み込みサブネットワークに入力してアップサンプリングして、前記第２画像を出力するように構成される第２画像生成サブモジュールとを備える。
【００２８】
一可能な実施形態において、前記ニューラルネットワークは判別ネットワークをさらに含み、前記装置は、プリセットされたトレーニングセットに従って、前記第１生成ネットワーク、前記第２生成ネットワークおよび前記判別ネットワークに対して敵対的トレーニングを実行するように構成されるトレーニングモジュールをさらに備え、ここで、前記トレーニングセットは、複数の第３画像および前記第３画像に対応する参照画像を含み、前記第３画像は線画像であり、前記参照画像は実画像である。
【００２９】
一可能な実施形態において、前記トレーニングモジュールは、前記トレーニングセットにおける前記第３画像を前記第１生成ネットワークに入力して、第４画像を生成するように構成される第３画像生成サブモジュールと、フィルタを介して、前記第４画像に対して構造抽出を実行して、前記第４画像のテクスチャ情報および／または方向情報を取得するように構成される構造抽出サブモジュールと、前記第４画像のテクスチャ情報および／または前記方向情報を前記第２生成ネットワークに入力して、第５画像を生成するように構成される第４画像生成サブモジュールと、前記第３画像の参照画像および前記第５画像を前記判別ネットワークに入力して、判別結果を出力するように構成される判別サブモジュールと、前記参照画像、前記第４画像、前記第５画像および前記判別結果に従って、前記ニューラルネットワークのネットワーク損失を決定するように構成される損失決定サブモジュールと、前記ネットワーク損失に従って、前記第１生成ネットワーク、前記第２生成ネットワークおよび前記判別ネットワークをトレーニングするように構成されるトレーニングサブモジュールとを備える。
【００３０】
一可能な実施形態において、前記損失決定サブモジュールは、前記参照画像、前記第４画像および前記第５画像に従って、前記ニューラルネットワークの画素損失を決定し、前記判別結果に従って、前記ニューラルネットワークの敵対的損失を決定し、前記参照画像、前記第４画像、前記第５画像およびトレーニングされた畳み込みネットワークに従って、前記ニューラルネットワークのスタイル損失を決定し、前記画素損失、前記敵対的損失および前記スタイル損失に従って、前記ニューラルネットワークのネットワーク損失を決定するように構成される。
【００３１】
一可能な実施形態において、前記損失決定サブモジュールは、さらに、前記参照画像、前記第４画像、前記第５画像および前記判別ネットワークに従って、前記ニューラルネットワークの特徴マッチング損失を決定し、前記画素損失、前記敵対的損失、前記スタイル損失および前記特徴マッチング損失に従って、前記ニューラルネットワークのネットワーク損失を決定するように構成される。
【００３２】
一可能な実施形態において、前記目標対象は髪を含み、前記目標対象の線画像は、少なくとも、髪の輪郭線および方向線を含む。
【００３３】
本開示の一態様によれば、電子機器を提供し、前記装置は、プロセッサと、プロセッサ実行可能命令を記憶するように構成されるメモリとを備え、ここで、前記プロセッサは、上記の画像生成方法を実行するように構成される。
【００３４】
本開示の一態様によれば、コンピュータプログラム命令が記憶されたコンピュータ読み取り可能な記憶媒体を提供し、前記コンピュータプログラム命令がプロセッサによって実行されると、上記の画像生成方法を実現する。
【００３５】
本開示の一態様によれば、コンピュータプログラムを提供し、前記コンピュータプログラムは、コンピュータ読み取り可能なコードを含み、前記コンピュータ読み取り可能なコードが電子機器によって実行されるときに、前記電子機器におけるプロセッサは、上記の画像生成方法を実行する。
【発明の効果】
【００３６】
本開示の実施例において、対象の線画像に従って予備的な対象画像を生成し、予備的な画像のテクスチャ情報および／または方向情報を抽出し、テクスチャ情報および／または方向情報に従って実際の対象画像を再生成することにより、生成された画像の効果がよりリアルになり、その演算速度が向上するため、対象画像を簡単且つ迅速に生成するのに便利である。
【００３７】
上記した一般的な説明および後述する詳細な説明は、単なる例示および説明に過ぎず、本開示を限定するものではないことを理解されたい。
【００３８】
以下、図面を参照した例示的な実施例に対する詳細な説明によれば、本開示の他の特徴および態様は明らかになる。
【図面の簡単な説明】
【００３９】
ここでの図面は、本明細書に組み込まれてその一部を構成し、これらの図面は、本開示と一致する実施例を示し、明細書とともに本開示の実施例の技術的解決策を説明するために使用される。
【図１】本開示の実施例に係る画像生成方法のフローチャートを示す。
【図２】本開示の実施例に係るニューラルネットワークの概略的な構造図を示す。
【図３】本開示の実施例に係るＵ−Ｎｅｔネットワークの概略図を示す。
【図４】本開示の実施例に係る画像生成装置のブロック図を示す。
【図５】本開示の実施例に係る電子機器のブロック図を示す。
【図６】本開示の実施例に係る電子機器のブロック図を示す。
【発明を実施するための形態】
【００４０】
以下、本開示の様々な例示的な実施例、特徴および態様を、図面を参照して詳細に説明する。図面における同じ参照番号は、同じまたは類似の機能の要素を表示する。実施例の様々な態様を図面に示したが、特に明記しない限り、縮尺通りに図面を描く必要がない。
【００４１】
ここで、排他的に使用される「例示的」は、「例、実施例または説明として使用される」ことを意図する。ここで、「例示的」として使用されるいずれかの実施例は、他の実施例より適切であるかまたは優れると解釈する必要はない。
【００４２】
本明細書における「および／または」という用語は、関連付けられたオブジェクトを説明する単なる関連付けであり、３種類の関係が存在することができることを示し、例えば、Ａおよび／またはＢは、Ａが独立で存在する場合、ＡとＢが同時に存在する場合、Ｂが独立で存在する場合など３つの場合を表す。さらに、本明細書における「少なくとも１つ」という用語は、複数のうちの１つまたは複数のうちの少なくとも２つの任意の組み合わせを示し、例えば、Ａ、Ｂ、Ｃのうちの少なくとも１つを含むことは、Ａ、ＢおよびＣで構成されたセットから選択された任意の１つまたは複数の要素を含むことを示す。
【００４３】
さらに、本開示をよりよく説明するために、以下の具体実施形態において多くの特定の詳細が与えられる。当業者は、特定のいくつかの詳細なしに、本開示を同様に実施することができることを理解するはずである。いくつかの具現例において、当業者に周知の方法、手段、要素および回路は、本開示の要旨を強調するために、詳細に説明しない。
【００４４】
図１は、本開示の実施例に係る画像生成方法のフローチャートを示し、図１に示されたように、前記画像生成方法は、次のステップを含む。
【００４５】
ステップＳ１１において、目標対象の線画像に従って、前記目標対象の第１画像を生成する。
【００４６】
ステップＳ１２において、前記第１画像に対して構造抽出を実行して、前記第１画像のテクスチャ情報および／または方向情報を取得する。
【００４７】
ステップＳ１３において、前記テクスチャ情報および／または前記方向情報に従って、前記目標対象の第２画像を生成する。
【００４８】
本開示の実施例によれば、対象の線画像に従って予備的な対象画像を生成し、予備的な画像のテクスチャ情報および／または方向情報を抽出し、テクスチャ情報および／または方向情報に従って実際の対象画像を再生成して、生成された画像の効果がよりリアルになり、その演算速度が向上するため、対象画像を簡単且つ迅速に生成するのに便利である。
【００４９】
一可能な実施形態において、前記画像生成方法は、端末機器またはサーバなどの電子機器によって実行され、端末機器は、ユーザ機器（ＵＥ：Ｕｓｅｒ  Ｅｑｕｉｐｍｅｎｔ）、モバイル機器、ユーザ端末、端末、セルラー電話、コードレス電話、携帯情報端末（ＰＤＡ：Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）、ハンドヘルド機器、コンピューティング機器、車載機器、ウェアラブル機器などであってもよく、前記方法は、プロセッサがメモリに記憶されたコンピュータ読み取り可能な命令を呼び出す方式により実現されることができる。または、サーバを介して前記方法を実行することができる。
【００５０】
一可能な実施形態において、前記目標対象は髪を含み、前記目標対象の線画像は、少なくとも、髪の輪郭線および方向線を含む。ここで、前記目標対象は、人の髪または動物の毛などの対象であってもよく、前記目標対象の線画像は、目標対象の輪郭線および髪の毛の大体方向を表す方向線を含み得る。例えば、線画像は、目標対象のスティックフィギュアであってもよく、目標対象が人の髪である場合、その線画像は、髪の輪郭線および方向線のスティックフィギュアを含み得、ここで、髪の毛の大体方向を決定するために使用される方向線は、髪のいくつかの簡単な線で表すことができる。
【００５１】
一可能な実施形態において、前記目標対象の線画像は、端末またはサーバに事前に記憶された画像またはネットワークからダウンロードされた画像であってもよく、収集された、ユーザが表記した線画像であってもよい。例えば、ユーザは、端末に表示された写真で髪を生成する必要のなる領域を選択し、髪の毛の大体方向を表記することができ、端末は、ユーザが表記した線画像を収集することができる。
【００５２】
一可能な実施形態において、ステップＳ１１において、目標対象の線画像に従って、前記目標対象の第１画像を生成することができる。即ち、目標対象の線画像に対して分析処理を実行して、目標対象の第１画像を生成することができる。例えば、目標対象の線画像に対して特徴抽出を実行して、特徴情報を取得し、その後、当該特徴情報に従って、目標対象の第１画像を生成することができる。本開示は、第１画像を生成する方式に対して限定しない。
【００５３】
一可能な実施形態において、ステップＳ１２では、前記第１画像に対して構造抽出を実行して、前記第１画像のテクスチャ情報および／または方向情報を取得することができる。ここで、テクスチャ情報は、目標対象の線形テクスチャ（例えば、髪の毛のテクスチャなど）を示すことができ、方向情報は、目標対象の線方向（例えば、髪の毛の方向など）を示すことができる。本開示は、構造抽出の方式に対して限定しない。
【００５４】
一可能な実施形態において、ステップＳ１２は、前記第１画像の各画素点に対してフィルタリング処理をそれぞれ実行して、各画素点のフィルタリング結果を取得することと、前記各画素点のフィルタリング結果に従って、前記第１画像のテクスチャ情報および／または方向情報を決定することを含み得る。
【００５５】
ここで、フィルタリング処理は、各画素点のテクスチャ情報および／または方向情報を決定するように、各画素点のノイズを除去することができる。第１画像の各画素点に対してフィルタリング処理を実行することにより、各画素点のフィルタリング結果を取得し、その後、各画素点のフィルタリング結果に従って、各画素点のテクスチャ情報および／または方向情報を決定し、それにより、第１画像のテクスチャ情報および／または方向情報を決定する。本開示は、フィルタリング処理の方式を示さない。
【００５６】
当該方式を通じて、各画素点のフィルタリング結果に従って、第１画像のテクスチャ情報および／または方向情報を決定することができ、情報抽出の精度が向上させる。
【００５７】
一可能な実施形態において、前記第１画像の各画素点に対してフィルタリング処理をそれぞれ実行して、各画素点のフィルタリング結果を取得することは、プリセットの複数の角度に従って、各画素点に対してフィルタリング処理を実行して、各画素点の複数のフィルタリング結果を取得することを含み得る。ここで、フィルタリング処理を実行する時に使用されるフィルタは、例えば、Ｇａｂｏｒフィルタなどである。
【００５８】
例を挙げると、複数の角度θを事前に設定することができ、当該角度をＧａｂｏｒフィルタの角度として使用し、角度θの値が異なることに従って、複数の異なるＧａｂｏｒフィルタを生成することができ、複数のＧａｂｏｒフィルタを使用して、第１画像における各画素点に対してフィルタリング処理を実行して、各画素点の複数のフィルタリング結果を取得することができる。例えば、プリセットの複数の角度は、０°から１８０°までの間から、等間隔で、０°、２２．５°、４５°、６７．５°、９０°、１１２．５°、１３５°、１５７．５°の８つの値を取ることができ、それにより、８つの異なるＧａｂｏｒフィルタを形成することができ、第１画像における各画素点において、上記の８つのＧａｂｏｒフィルタをそれぞれ使用してフィルタリング処理を実行して、各画素点の８つのフィルタリング結果を取得することができる。当業者は、実際の状況に従って、プリセットの複数の角度を設定することができ、本開示は、これらに限定されないことを理解されたい。
【００５９】
上記の方式を通じて、複数の角度から第１画像における各画素点に対してフィルタリング処理を実行して、複数の方向上の各画素点のフィルタリング結果を取得することができる。
【００６０】
一可能な実施形態において、前記各画素点のフィルタリング結果に従って、前記第１画像のテクスチャ情報および／または方向情報を決定することは、前記各画素点の複数のフィルタリング結果のうちの最大値に従って、前記第１画像のテクスチャ情報を決定すること、および／または前記各画素点の複数のフィルタリング結果のうちの最大値に対応する角度に従って、前記第１画像の方向情報を決定することを含み得る。
【００６１】
例を挙げると、目標対象が髪である場合、Ｇａｂｏｒフィルタを使用して各画素点をフィルタリングして、各画素点の複数のフィルタリング結果を取得することができる。髪の毛の方向がＧａｂｏｒフィルタの角度θの値と近いほど、髪の毛の方向と角度θとの間のマッチング度が高くなることを表し、対応するフィルタリング結果の値も高くなり、即ち、目標対象の髪の毛の方向がθの値と近いほど、フィルタリング結果の値は高くなり、目標対象の髪の毛の方向がθの値と大きく外れるほど、フィルタリング結果の値は低くなる。各画素点の複数のフィルタリング結果に対して最大値を取る操作を実行して、第１画像のテクスチャ情報を取得し、当該情報および各画素点の複数のフィルタリング結果のうちの最大値に対応する角度を、第１画像の方向情報として決定することができる。
【００６２】
複数のフィルタリング結果において最大値（即ち、髪の毛の方向に最も近いフィルタリング結果）を決定することにより、第１画像のテクスチャ情報および／または方向情報をより正確にすることができる。
【００６３】
一可能な実施形態において、ステップＳ１２は、前記第１画像の各画素点に対して第１フィルタリング処理をそれぞれ実行して、各画素点の第１フィルタリング結果を取得することと、前記各画素点の第１フィルタリング結果に従って、各画素点の予備的なテクスチャ情報および／または予備的な方向情報を決定することと、前記各画素点の予備的なテクスチャ情報および／または予備的な方向情報に対して第２フィルタリング処理をそれぞれ実行して、各画素点の第２フィルタリング結果を取得することと、前記各画素点の第２フィルタリング結果に従って、前記第１画像のテクスチャ情報および／または方向情報を決定することとを含み得る。
【００６４】
第１画像の各画素点に対して第１フィルタリング処理を実行して、予備的なテクスチャ情報および／または予備的な方向情報を取得し、また、各画素点の予備的なテクスチャ情報および／または予備的な方向情報に対して第２フィルタリング処理を実行して、第１画像のテクスチャ情報および／または方向情報を取得することにより、ぼやけた領域や汚れのある領域をさらに減少し、第１画像のテクスチャおよび方向をよりはっきりにすることができる。
【００６５】
一可能な実施形態において、前記第１画像の各画素点に対して第１フィルタリング処理をそれぞれ実行して、各画素点の第１フィルタリング結果を取得することは、プリセットの複数の角度に従って、各画素点に対して第１フィルタリング処理（第１フィルタリング処理は、第１Ｇａｂｏｒフィルタなどを使用することができる）を実行して、各画素点の複数の第１フィルタリング結果を取得することを含み得る。例えば、０°から１８０°までの間から等間隔で取った８つの値を第１Ｇａｂｏｒフィルタの角度θとして使用することができ、それにより、８つの異なる第１Ｇａｂｏｒフィルタを形成することができ、第１画像における各画素点において、上記の８つの第１Ｇａｂｏｒフィルタをそれぞれ使用して第１フィルタリング処理を実行して、各画素点の８つの第１フィルタリング結果を取得することができる。
【００６６】
一可能な実施形態において、前記各画素点の第１フィルタリング結果に従って、各画素点の予備的なテクスチャ情報および／または予備的な方向情報を決定することは、前記各画素点の複数の第１フィルタリング結果のうちの最大値に従って、前記各画素点の予備的なテクスチャ情報を決定すること、および／または前記各画素点の複数の第１フィルタリング結果のうちの最大値に対応する角度に従って、前記各画素点の予備的な方向情報を決定することを含み得る。例えば、目標対象が髪である場合、第１Ｇａｂｏｒフィルタを使用して、各画素点に対して第１フィルタリング処理を実行することができ、目標対象の髪の毛の方向がθの値と近いほど、第１フィルタリング結果の値は高くなり、目標対象の髪の毛の方向がθの値と大きく外れるほど、第１フィルタリング結果の値は低くなる。各画素点の複数の第１フィルタリング結果に対して最大値を取る操作を実行して、各画素点の予備的なテクスチャ情報を取得し、当該情報および各画素点の複数の第１フィルタリング結果のうちの最大値に対応する角度を、各画素点の予備的な方向情報として決定することができる。
【００６７】
複数の第１フィルタリング結果において最大値（即ち、髪の毛の方向に最も近い第１フィルタリング結果）を決定することにより、各画素点の予備的なテクスチャ情報および／または予備的な方向情報をより正確にすることができる。
【００６８】
一可能な実施形態において、前記各画素点の予備的なテクスチャ情報および／または予備的な方向情報に対して第２フィルタリング処理をそれぞれ実行して、各画素点の第２フィルタリング結果を取得することは、プリセットの複数の角度に従って、前記各画素点の予備的なテクスチャ情報および／または予備的な方向情報に対して第２フィルタリング処理を実行して（第２フィルタリング処理は、第２Ｇａｂｏｒフィルタなどを使用することができる）、各画素点の複数の第２フィルタリング結果を取得することができる。例えば、０°から１８０°までの間から等間隔で取った８つの値を第２Ｇａｂｏｒフィルタの角度θとして使用することができ、それにより、８つの異なる第２Ｇａｂｏｒフィルタを形成することができ、各画素点の予備的なテクスチャ情報および／または予備的な方向情報において、上記の８つの第２Ｇａｂｏｒフィルタをそれぞれ使用して第１フィルタリング処理を実行して、各画素点の８つの第２フィルタリング結果を取得することができる。
【００６９】
一可能な実施形態において、前記各画素点の第２フィルタリング結果に従って、前記第１画像のテクスチャ情報および／または方向情報を決定することは、前記各画素点の複数の第２フィルタリング結果のうちの最大値に従って、前記第１画像のテクスチャ情報を決定すること、および／または前記各画素点の複数の第２フィルタリング結果のうちの最大値に対応する角度に従って、前記第１画像の方向情報を決定することを含み得る。例えば、目標対象が髪である場合、第２Ｇａｂｏｒフィルタを使用して、前記各画素点の予備的なテクスチャ情報および／または予備的な方向情報に対して第２フィルタリング処理を実行することができ、目標対象の髪の毛の方向がθの値と近いほど、第２フィルタリング結果の値は高くなり、目標対象の髪の毛の方向がθの値と大きく外れるほど、第２フィルタリング結果の値は低くなる。各画素点の複数の第２フィルタリング結果に対して最大値を取る操作を実行して、第１画像のテクスチャ情報を取得し、当該情報および各画素点の複数の第２フィルタリング結果のうちの最大値に対応する角度を、第１画像の方向情報として決定することができる。
【００７０】
複数の第２フィルタリング結果において最大値（即ち、髪の毛の方向に最も近い第２フィルタリング結果）を決定することにより、第１画像のテクスチャおよび方向をよりはっきりすることができる
一可能な実施形態において、前記方法は、ニューラルネットワークによって実現されることができ、前記ニューラルネットワークは、第１生成ネットワークおよび第２生成ネットワークを含み、前記第１生成ネットワークは、前記第１画像を生成するために使用されることができ、前記第２生成ネットワークは、前記第２画像を生成するために使用されることができる。
【００７１】
図２は、本開示の実施例に係るニューラルネットワークの概略的な構造図を示す。図２に示されたように、前記ニューラルネットワークは第１生成ネットワーク２１、構造抽出層２２および第２生成ネットワーク２３を含む。
【００７２】
一可能な実施形態において、図２に示されたように、目標対象の線画像は、髪型の線画像（例えば、スティックフィギュア画像など）であってもよい。目標対象の線画像
【００７３】
【化１】
2021518961.tif 000003
【００７４】
を第１生成ネットワーク２１に入力して処理して、第１画像
【００７５】
【化２】
2021518961.tif 000004
【００７６】
を生成し、その後、第１画像
【００７７】
【化３】
2021518961.tif 000005
【００７８】
を構造抽出層２２に入力して処理して、第１画像
【００７９】
【化４】
2021518961.tif 000006
【００８０】
のテクスチャ情報
【００８１】
【化５】
2021518961.tif 000007
【００８２】
および／または方向情報
【００８３】
【化６】
2021518961.tif 000008
【００８４】
を取得し、テクスチャ情報
【００８５】
【化７】
2021518961.tif 000009
【００８６】
および／または方向情報
【００８７】
【化８】
2021518961.tif 000010
【００８８】
を第２生成ネットワーク２３に入力して処理して、目標対象の第２画像
【００８９】
【化９】
2021518961.tif 000011
【００９０】
を生成することができる。
【００９１】
一可能な実施形態において、前記第１生成ネットワークは、第１畳み込みサブネットワークおよび第１逆畳み込みサブネットワークを含み得、ステップＳ１１は、前記線画像を前記第１畳み込みサブネットワークに入力してダウンサンプリングして、前記線画像の第１特徴情報を出力することと、前記第１特徴情報を前記第１逆畳み込みサブネットワークに入力してアップサンプリングして、前記第１画像を出力することとを含み得る。
【００９２】
図３は、本開示の実施例に係るＵ−Ｎｅｔネットワークの概略図を示す。一可能な実施形態において、図３に示されたように、第１生成ネットワークは、第１畳み込みサブネットワーク３１および第１逆畳み込みサブネットワーク３２を含む、Ｕ−Ｎｅｔネットワークであってもよい。ここで、第１畳み込みサブネットワーク３１は、例えば、畳み込みカーネルが４＊４であり、ステップサイズが２である畳み込み層を含み得、第１逆畳み込みサブネットワーク３２は、例えば、畳み込みカーネルが４＊４であり、ステップサイズが２である逆畳み込み層を含み得る。線画像
【００９３】
【化１０】
2021518961.tif 000012
【００９４】
（例えば、画素は５１２＊５１２であってもよい）を第１畳み込みネットワークに入力して処理することができる。まず、第１畳み込みサブネットワーク３１は、畳み込みカーネルが４＊４であり、ステップサイズが２である畳み込み層を使用して、線画像
【００９５】
【化１１】
2021518961.tif 000013
【００９６】
を畳み込み、当該線画像
【００９７】
【化１２】
2021518961.tif 000014
【００９８】
の特徴情報が、ダウンサンプリングプロセス中に、サイズを２５６、１２８、６４、３２、１６、８、４、２、１まで継続的に低減するようにし、線画像
【００９９】
【化１３】
2021518961.tif 000015
【０１００】
の第１特徴情報を出力し、その後、第１特徴情報および第１畳み込みサブネットワークの各畳み込み層に対応する特徴情報を第１逆畳み込みネットワーク３２に入力して処理し、第１逆畳み込みサブネットワーク３２は、畳み込みカーネルが４＊４であり、ステップサイズが２である逆畳み込み層を介して、第１特徴情報を２、４、８、１６、３２、６４、１２８、２５６、５１２まで徐々にアップサンプリングして、目標対象の第１画像
【０１０１】
【化１４】
2021518961.tif 000016
【０１０２】
を取得することができる。
【０１０３】
一可能な実施形態において、前記第２生成ネットワークは、第２畳み込みサブネットワークおよび第２逆畳み込みサブネットワークを含み得、ステップＳ１３は、前記テクスチャ情報および／または前記方向情報を前記第２畳み込みサブネットワークに入力してダウンサンプリングして、第２特徴情報を出力することと、前記第２特徴情報を前記第２逆畳み込みサブネットワークに入力してアップサンプリングして、前記第２画像を出力することとを含み得る。
【０１０４】
一可能な実施形態において、第２生成ネットワークは、第２畳み込みサブネットワークおよび第２逆畳み込みサブネットワークを含み得る、図３に示されたＵ−Ｎｅｔネットワークを採用してもよい。ここで、第２畳み込みサブネットワークは、例えば、畳み込みカーネルが４＊４であり、ステップサイズが２である畳み込み層を含み得、第２逆畳み込みサブネットワークは、例えば、畳み込みカーネルが４＊４であり、ステップサイズが２である逆畳み込み層を含み得る。第１画像
【０１０５】
【化１５】
2021518961.tif 000017
【０１０６】
的テクスチャ情報
【０１０７】
【化１６】
2021518961.tif 000018
【０１０８】
および／または方向情報
【０１０９】
【化１７】
2021518961.tif 000019
【０１１０】
を組み合わせて、第２生成ネットワークに入力して処理することができる。まず、第２畳み込みサブネットワークは、畳み込みカーネルが４＊４であり、ステップサイズが２である畳み込み層を使用して、入力情報を畳み込み、入力情報が、ダウンサンプリング中に、サイズを２５６、１２８、６４、３２、１６、８、４、２、１まで継続的に低減するようにし、第２特徴情報を出力し、その後、第２特徴情報および第２畳み込みサブネットワークの各畳み込み層に対応する特徴情報を第２逆畳み込みネットワークに入力して処理し、第２逆畳み込みサブネットワークは、畳み込みカーネルが４＊４であり、ステップサイズが２である逆畳み込み層を介して、第２特徴情報を２、４、８、１６、３２、６４、１２８、２５６、５１２まで徐々にアップサンプリングして、目標対象の第２画像
【０１１１】
【化１８】
2021518961.tif 000020
【０１１２】
を取得することができる。
【０１１３】
一可能な実施形態において、前記ニューラルネットワークは、判別ネットワークＤ（図２に未図示）をさらに含み得、前記方法は、プリセットされたトレーニングセットに従って、前記第１生成ネットワーク、前記第２生成ネットワークおよび前記判別ネットワークに対して敵対的トレーニングを実行することをさらに含み得、ここで、前記トレーニングセットは、複数の第３画像および前記第３画像に対応する参照画像を含み、前記第３画像は線画像であり、前記参照画像は実画像である。
【０１１４】
一可能な実施形態において、第１生成ネットワークおよび第２生成ネットワークを使用して第２画像を生成する前に、プリセットされたトレーニングセットに従って、第１生成ネットワーク、第２生成ネットワークおよび判別ネットワークを敵対的トレーニングすることができる。ここで、トレーニングセットは、複数の第３画像（線画像）および第３画像に対応する参照画像（実画像）を含み得る。例えば、第３画像をニューラルネットワーク（第１生成ネットワークおよび第２生成ネットワークを含む）に入力して処理して、第３画像の出力画像を取得し、その後、第３画像の出力画像および第３画像に対応する参照画像を判別ネットワークに入力して判別して、判別結果を取得することができる。
【０１１５】
上述の敵対的トレーニングのプロセスにおいて、第１生成ネットワークおよび第２生成ネットワークは、第３画像の参照画像に近い結果を生成ために最善を尽くし、判別ネットワークは、第３画像の出力画像および第３画像に対応する参照画像を区別するために最善を尽くす。
【０１１６】
第１生成ネットワーク、第２生成ネットワークおよび判別ネットワークに対する複数回の敵対的トレーニングにより、それらのパフォーマンスは徐々に向上し、それにより、第１生成ネットワークおよび第２生成ネットワークを使用してよりリアルな画像を生成することができる。
【０１１７】
一可能な実施形態において、２ペアの生成−判別ネットワークに対してそれぞれ敵対的トレーニングを実行するように、第１生成ネットワークＧ１および第２生成ネットワークＧ２にそれぞれ対応する２つの判別ネットワークＤ１およびＤ２を設定してもよい。即ち、まず、プリセットされたトレーニングセットに従って、第１生成ネットワークＧ１および判別ネットワークＤ１に対して敵対的トレーニングを実行することができる。第１生成ネットワークＧ１のトレーニング完了後に、トレーニングされた第１生成ネットワークＧ１によって取得された生成画像を使用して、第２生成ネットワークＧ２および判別ネットワークＤ２に対して敵対的トレーニングを実行し、それにより、トレーニングプロセス全体を完了する。本開示は、第１生成ネットワークおよび第２生成ネットワークの具体的なトレーニング方式に対して限定しない。
【０１１８】
一可能な実施形態において、損失関数を介してニューラルネットワークをトレーニングし、損失関数が最小化される方向に従ってネットワークパラメータ値を調整することができる。損失関数降がある程度まで低下し、または特定の閾値に収束されると、トレーニングを停止して、トレーニング後のニューラルネットワークを取得する。
【０１１９】
一可能な実施形態において、前記プリセットされたトレーニングセットに従って、前記第１生成ネットワーク、前記第２生成ネットワークおよび前記判別ネットワークに対して敵対的トレーニングを実行することは、前記トレーニングセットにおける前記第３画像を前記第１生成ネットワークに入力して、第４画像を生成することと、フィルタを介して、前記第４画像に対して構造抽出を実行して、前記第４画像のテクスチャ情報および／または方向情報を取得することと、前記第４画像のテクスチャ情報および／または前記方向情報を前記第２生成ネットワークに入力して、第５画像を生成することと、前記第３画像の参照画像および前記第５画像を前記判別ネットワークに入力して、判別結果を出力することと、前記参照画像、前記第４画像、前記第５画像および前記判別結果に従って、前記ニューラルネットワークのネットワーク損失を決定することと、前記ネットワーク損失に従って、前記第１生成ネットワーク、前記第２生成ネットワークおよび前記判別ネットワークをトレーニングすることとを含み得る。
【０１２０】
当該方式を通じて、トレーニングプロセス中に、損失関数に従って、ネットワークパラメータを継続的にトレーニングして、第１生成ネットワーク、第２生成ネットワークおよび判別ネットワークのトレーニングをより有効にする。
【０１２１】
当業者は、実際の状況に従って、トレーニングプロセスに使用される損失関数を設定することができ、本開示は、これらに対して限定しないことを理解されたい。
【０１２２】
一可能な実施形態において、前記参照画像、前記第４画像、前記第５画像および前記判別結果に従って、前記ニューラルネットワークのネットワーク損失を決定することは、前記参照画像、前記第４画像および前記第５画像に従って、前記ニューラルネットワークの画素損失を決定することと、前記判別結果に従って、前記ニューラルネットワークの敵対的損失を決定することと、前記参照画像、前記第４画像、前記第５画像およびトレーニングされた畳み込みネットワークに従って、前記ニューラルネットワークのスタイル損失を決定することと、前記画素損失、前記敵対的損失および前記スタイル損失に従って、前記ニューラルネットワークのネットワーク損失を決定することとを含み得る。
【０１２３】
一可能な実施形態において、参照画像、第４画像および第５画像に従って、ニューラルネットワークの画素損失を決定することができる。以下の式（１）を使用して、ニューラルネットワークの画素損失
【０１２４】
【化１９】
2021518961.tif 000021
【０１２５】
を決定することができる。
【０１２６】
【数１】
2021518961.tif 000022
【０１２７】
式（１）において、
【０１２８】
【化２０】
2021518961.tif 000023
【０１２９】
は、第４画像または第５画像を示し、ｙは参照画像を示す。
【０１３０】
一可能な実施形態において、判別結果に従って、前記ニューラルネットワークの敵対的損失を決定することができる。以下の式（２）を使用して、ニューラルネットワークの敵対的損失
【０１３１】
【化２１】
2021518961.tif 000024
【０１３２】
を決定することができる。
【０１３３】
【数２】
2021518961.tif 000025
【０１３４】
式（２）において、ｘは第３画像を示し、Ｇは第１生成ネットワークおよび／または第２生成ネットワークを示し、Ｄは判別ネットワークを示す。
【０１３５】
一可能な実施形態において、参照画像、第４画像、第５画像およびトレーニングされた畳み込みネットワークに従って、前記ニューラルネットワークのスタイル損失を決定することができる。以下の式（３）を使用して、ニューラルネットワークのスタイル損失
【０１３６】
【化２２】
2021518961.tif 000026
【０１３７】
を決定することができる。
【０１３８】
【数３】
2021518961.tif 000027
【０１３９】
式（３）において、Ｆは、トレーニングされた畳み込みネットワークであり、各畳み込み層から入力イメージの各スケールの特徴情報を抽出するために使用されることができ、
【０１４０】
【化２３】
2021518961.tif 000028
【０１４１】
は、第ｉ層で抽出された第４画像または第５画像
【０１４２】
【化２４】
2021518961.tif 000029
【０１４３】
の特徴情報、
【０１４４】
【化２５】
2021518961.tif 000030
【０１４５】
は、第ｉ層で抽出された参照画像ｙの特徴情報を示し、Ｇｒａｍは、Ｇｒａｍ演算行列を示し、ｎは、畳み込みネットワークＦの畳み込み層の数を示す。
【０１４６】
一可能な実施形態において、画素損失、敵対的損失およびスタイル損失に従って、前記ニューラルネットワークのネットワーク損失を決定することができる。以下の式（４）を使用して、ニューラルネットワークのネットワーク損失
【０１４７】
【化２６】
2021518961.tif 000031
【０１４８】
を決定することができる。
【０１４９】
【数４】
2021518961.tif 000032
【０１５０】
式（４）において、
【０１５１】
【化２７】
2021518961.tif 000033
【０１５２】
は、それぞれ、画素損失
【０１５３】
【化２８】
2021518961.tif 000034
【０１５４】
、敵対的損失
【０１５５】
【化２９】
2021518961.tif 000035
【０１５６】
、スタイル損失
【０１５７】
【化３０】
2021518961.tif 000036
【０１５８】
の重みを示す。当業者は、実際の状況に従って、
【０１５９】
【化３１】
2021518961.tif 000037
【０１６０】
の値を設定することができ、本開示は、これらに対して限定しない。
【０１６１】
ここで、第４画像を採用してネットワーク損失を決定する場合、ネットワークパラメータを逆に調整する時に、第１生成ネットワークのネットワークパラメータのみを調整し、第５画像を採用してネットワーク損失を決定する場合、ネットワークパラメータを逆に調整する時に、第１生成ネットワークおよび第２生成ネットワークのネットワークパラメータを同時に調整する。
【０１６２】
画素損失、敵対的損失およびスタイル損失を介してネットワーク損失を決定して、ネットワーク損失のソースをより明確にし、パラメータ調整を実行する時により絞って実行するようにし、それにより、第１生成ネットワーク、第２生成ネットワークおよび判別ネットワークのトレーニング効率を向上させることができる。
【０１６３】
一可能な実施形態において、前記参照画像、前記第４画像、前記第５画像および前記判別結果に従って、前記ニューラルネットワークのネットワーク損失を決定することは、前記参照画像、前記第４画像、前記第５画像および前記判別ネットワークに従って、前記ニューラルネットワークの特徴マッチング損失を決定することと、前記画素損失、前記敵対的損失、前記スタイル損失および前記特徴マッチング損失に従って、前記ニューラルネットワークのネットワーク損失を決定することとをさらに含む。
【０１６４】
一可能な実施形態において、参照画像、第４画像、第５画像を判別ネットワークに入力して処理することができる。判別ネットワークにおける各層で、参照画像と第４画像または第５画像の特徴情報をマッチングすることができる。以下の式（５）を使用して、ニューラルネットワークの特徴マッチング損失
【０１６５】
【化３２】
2021518961.tif 000038
【０１６６】
を決定することができる。
【０１６７】
【数５】
2021518961.tif 000039
【０１６８】
式（５）において、Ｄは、判別ネットワークを示し、
【０１６９】
【化３３】
2021518961.tif 000040
【０１７０】
は、第ｊ層における参照画像ｙの特徴マップを示し、
【０１７１】
【化３４】
2021518961.tif 000041
【０１７２】
は、第ｊ層における第４画像または第５画像
【０１７３】
【化３５】
2021518961.tif 000042
【０１７４】
の特徴マップを示し、
【０１７５】
【化３６】
2021518961.tif 000043
【０１７６】
は、第ｊ層における特徴情報の数を示し、Ｔは、判別ネットワークＤの層の総数を示す。
【０１７７】
一可能な実施形態において、画素損失、敵対的損失、スタイル損失および特徴マッチング損失に従って、ニューラルネットワークのネットワーク損失を決定することができる。以下の式（６）を使用して、ニューラルネットワークのネットワーク損失
【０１７８】
【化３７】
2021518961.tif 000044
【０１７９】
を決定することができる。
【０１８０】
【数６】
2021518961.tif 000045
【０１８１】
式（６）において、
【０１８２】
【化３８】
2021518961.tif 000046
【０１８３】
は、それぞれ、画素損失
【０１８４】
【化３９】
2021518961.tif 000047
【０１８５】
、敵対的損失
【０１８６】
【化４０】
2021518961.tif 000048
【０１８７】
、スタイル損失
【０１８８】
【化４１】
2021518961.tif 000049
【０１８９】
、特徴マッチング損失
【０１９０】
【化４２】
2021518961.tif 000050
【０１９１】
の重みを示す。当業者は、際の状況に従って、
【０１９２】
【化４３】
2021518961.tif 000051
【０１９３】
の値を設定することができ、本開示は、これらに対して限定しない。
【０１９４】
ここで、第４画像を採用してネットワーク損失を決定する場合、ネットワークパラメータを逆に調整する時に、第１生成ネットワークのネットワークパラメータのみを調整し、第５画像を採用してネットワーク損失を決定する場合、ネットワークパラメータを逆に調整する時に、第１生成ネットワークおよび第２生成ネットワークのネットワークパラメータを同時に調整する。
【０１９５】
上述の方式により、特徴マッチング損失をネットワーク損失に追加し、それにより、ネットワークトレーニングの効率を向上させることができる。
【０１９６】
本開示の実施例の画像生成方法によれば、目標対象（例えば、髪など）の線画像に従って、リアルな効果を有する対象画像を簡単且つ迅速に生成することができる。本開示の実施例は、髪型の迅速な生成、髪型の編集などの製品および対応する使用シナリオに適用されることができ、髪の編集速度を向上させることができるだけでなく、よりリアルな画像を生成することもできる。
【０１９７】
本開示で述べた上述の各方法の実施例は、原理および論理に違反することなく、互いに組み合わせて、組み合わせされた実施例を生成することができ、ページの制限により、本開示を繰り返して説明しないことを理解されたい。
【０１９８】
図４は、本開示の実施例に係る画像生成装置のブロック図であり、図４に示されたように、前記画像生成装置は、
目標対象の線画像に従って、前記目標対象の第１画像を生成するように構成される第１生成モジュール４１と、
前記第１画像に対して構造抽出を実行して、前記第１画像のテクスチャ情報および／または方向情報を取得するように構成される構造抽出モジュール４２と、
前記テクスチャ情報および／または前記方向情報に従って、前記目標対象の第２画像を生成するように構成される第２生成モジュール４３とを備える。
【０１９９】
一可能な実施形態において、前記構造抽出モジュール４２は、前記第１画像の各画素点に対してフィルタリング処理をそれぞれ実行して、各画素点のフィルタリング結果を取得するように構成される第１フィルタリング処理サブモジュールと、前記各画素点のフィルタリング結果に従って、前記第１画像のテクスチャ情報および／または方向情報を決定するように構成される第１情報決定サブモジュールとを備える。
【０２００】
一可能な実施形態において、前記構造抽出モジュール４２は、前記第１画像の各画素点に対して第１フィルタリング処理をそれぞれ実行して、各画素点の第１フィルタリング結果を取得するように構成される第２フィルタリング処理サブモジュールと、前記各画素点の第１フィルタリング結果に従って、各画素点の予備的なテクスチャ情報および／または予備的な方向情報を決定するように構成される第２情報決定サブモジュールと、前記各画素点の予備的なテクスチャ情報および／または予備的な方向情報に対して第２フィルタリング処理をそれぞれ実行して、各画素点の第２フィルタリング結果を取得するように構成される第３フィルタリング処理サブモジュールと、前記各画素点の第２フィルタリング結果に従って、前記第１画像のテクスチャ情報および／または方向情報を決定するように構成される第３情報決定サブモジュールとを備える。
【０２０１】
一可能な実施形態において、前記第１フィルタリング処理サブモジュールは、プリセットの複数の角度に従って、各画素点に対してフィルタリング処理を実行して、各画素点の複数のフィルタリング結果を取得するように構成され、前記第１情報決定サブモジュールは、前記各画素点の複数のフィルタリング結果のうちの最大値に従って、前記第１画像のテクスチャ情報を決定し、および／または前記各画素点の複数のフィルタリング結果のうちの最大値に対応する角度に従って、前記第１画像の方向情報を決定するように構成される。
【０２０２】
一可能な実施形態において、前記第２フィルタリング処理サブモジュールは、プリセットの複数の角度に従って、各画素点に対して第１フィルタリング処理を実行して、各画素点の複数の第１フィルタリング結果を取得するように構成され、前記第２情報決定サブモジュールは、前記各画素点の複数の第１フィルタリング結果のうちの最大値に従って、前記各画素点の予備的なテクスチャ情報を決定し、および／または前記各画素点の複数の第１フィルタリング結果のうちの最大値に対応する角度に従って、前記各画素点の予備的な方向情報を決定するように構成される。
【０２０３】
一可能な実施形態において、前記第３フィルタリング処理サブモジュールは、プリセットの複数の角度に従って、前記各画素点の予備的なテクスチャ情報および／または予備的な方向情報に対して第２フィルタリング処理を実行して、各画素点の複数の第２フィルタリング結果を取得するように構成され、前記第３情報決定サブモジュールは、前記各画素点の複数の第２フィルタリング結果のうちの最大値に従って、前記第１画像のテクスチャ情報を決定し、および／または前記各画素点の複数の第２フィルタリング結果のうちの最大値に対応する角度に従って、前記第１画像の方向情報を決定するように構成される。
【０２０４】
一可能な実施形態において、前記装置はニューラルネットワークを含み、前記ニューラルネットワークは、第１生成ネットワークおよび第２生成ネットワークを含み、前記第１生成ネットワークは、前記第１画像を生成するために使用され、前記第２生成ネットワークは、前記第２画像を生成するために使用される。
【０２０５】
一可能な実施形態において、前記第１生成ネットワークは、第１畳み込みサブネットワークおよび第１逆畳み込みサブネットワークを含み、前記第１生成モジュール４１は、前記線画像を前記第１畳み込みサブネットワークに入力してダウンサンプリングして、前記線画像の第１特徴情報を出力するように構成される第１特徴決定サブモジュールと、前記第１特徴情報を前記第１逆畳み込みサブネットワークに入力してアップサンプリングして、前記第１画像を出力するように構成される第１画像生成サブモジュールとを備える。
【０２０６】
一可能な実施形態において、前記第２生成ネットワークは、第２畳み込みサブネットワークおよび第２逆畳み込みサブネットワークを含み、前記第２生成モジュール４３は、前記テクスチャ情報および／または前記方向情報を前記第２畳み込みサブネットワークに入力してダウンサンプリングして、第２特徴情報を出力するように構成される第２特徴決定サブモジュールと、前記第２特徴情報を前記第２逆畳み込みサブネットワークに入力してアップサンプリングして、前記第２画像を出力するように構成される第２画像生成サブモジュールとを備える。
【０２０７】
一可能な実施形態において、前記ニューラルネットワークは判別ネットワークをさらに含み、前記装置は、プリセットされたトレーニングセットに従って、前記第１生成ネットワーク、前記第２生成ネットワークおよび前記判別ネットワークに対して敵対的トレーニングを実行するように構成されるトレーニングモジュールをさらに備え、ここで、前記トレーニングセットは、複数の第３画像および前記第３画像に対応する参照画像を含み、前記第３画像は線画像であり、前記参照画像は実画像である。
【０２０８】
一可能な実施形態において、前記トレーニングモジュールは、前記トレーニングセットにおける前記第３画像を前記第１生成ネットワークに入力して、第４画像を生成するように構成される第３画像生成サブモジュールと、フィルタを介して、前記第４画像に対して構造抽出を実行して、前記第４画像のテクスチャ情報および／または方向情報を取得するように構成される構造抽出サブモジュールと、前記第４画像のテクスチャ情報および／または前記方向情報を前記第２生成ネットワークに入力して、第５画像を生成するように構成される第４画像生成サブモジュールと、前記第３画像の参照画像および前記第５画像を前記判別ネットワークに入力して、判別結果を出力するように構成される判別サブモジュールと、前記参照画像、前記第４画像、前記第５画像および前記判別結果に従って、前記ニューラルネットワークのネットワーク損失を決定するように構成される損失決定サブモジュールと、前記ネットワーク損失に従って、前記第１生成ネットワーク、前記第２生成ネットワークおよび前記判別ネットワークをトレーニングするように構成されるトレーニングサブモジュールとを備える。
【０２０９】
一可能な実施形態において、前記損失決定サブモジュールは、前記参照画像、前記第４画像および前記第５画像に従って、前記ニューラルネットワークの画素損失を決定し、前記判別結果に従って、前記ニューラルネットワークの敵対的損失を決定し、前記参照画像、前記第４画像、前記第５画像およびトレーニングされた畳み込みネットワークに従って、前記ニューラルネットワークのスタイル損失を決定し、前記画素損失、前記敵対的損失および前記スタイル損失に従って、前記ニューラルネットワークのネットワーク損失を決定するように構成される。
【０２１０】
一可能な実施形態において、前記損失決定サブモジュールは、さらに、前記参照画像、前記第４画像、前記第５画像および前記判別ネットワークに従って、前記ニューラルネットワークの特徴マッチング損失を決定し、前記画素損失、前記敵対的損失、前記スタイル損失および前記特徴マッチング損失に従って、前記ニューラルネットワークのネットワーク損失を決定するように構成される。
【０２１１】
一可能な実施形態において、前記目標対象は髪を含み、前記目標対象の線画像は、少なくとも、髪の輪郭線および方向線を含む。
【０２１２】
いくつかの実施例において、本開示の実施例で提供される装置が有する機能または装置に備えられたモジュールは、上文の方法の実施例で説明された方法を実行するように構成されることができ、その具体的な具現は、上文の方法の実施例の描述を参照することができ、簡潔にするために、ここでは繰り返して説明しない。
【０２１３】
本開示の実施例は、コンピュータプログラム命令が記憶されたコンピュータ読み取り可能な記憶媒体を提案し、前記コンピュータプログラム命令がプロセッサによって実行されると、上記の方法を実現する。コンピュータ読み取り可能な記憶媒体は、不揮発性コンピュータ読み取り可能な記憶媒体または揮発性コンピュータ読み取り可能な記憶媒体であってもよい。
【０２１４】
本開示の実施例は、電子機器をさらに提案し、前記電子機器は、プロセッサと、プロセッサ実行可能命令を記憶するように構成されるメモリとを備え、ここで、前記プロセッサは、上記の方法を実行するように構成される。
【０２１５】
本開示の実施例は、コンピュータプログラムをさらに提案し、前記コンピュータプログラムは、コンピュータ読み取り可能なコードを含み、前記コンピュータ読み取り可能なコードが電子機器によって実行されるときに、前記電子機器におけるプロセッサは、上述の方法を実行する。
【０２１６】
電子機器は、端末、サーバまたは他の形の機器として提供される。
【０２１７】
図５は、本開示の実施例に係る電子機器８００のブロック図を示す。例えば、電子機器８００は、携帯電話、コンピュータ、デジタル放送端末、メッセージングデバイス、ゲームコンソール、タブレットデバイス、医療機器、フィットネス機器、携帯情報端末などの端末であってもよい。
【０２１８】
図５を参照すると、電子機器８００は、処理コンポーネント８０２、メモリ８０４、電力コンポーネント８０６、マルチメディアコンポーネント８０８、オーディオコンポーネント８１０、入力／出力（Ｉ／Ｏ）インターフェース８１２、センサコンポーネント８１４、及び通信コンポーネント８１６のうちの１つまたは複数のコンポーネットを備えることができる。
【０２１９】
処理コンポーネント８０２は、一般的に、ディスプレイ、電話の呼び出し、データ通信、カメラ操作及び記録操作に関する操作のような電子機器８００の全般的な操作を制御する。処理コンポーネント８０２は、上記の方法のステップのすべてまたは一部を完了するために、１つまたは複数のプロセッサ８２０を備えて命令を実行することができる。加えて、処理コンポーネント８０２は、処理コンポーネント８０２と他のコンポーネントの間の相互作用を容易にするために、１つまたは複数のモジュールを備えることができる。例えば、処理コンポーネント８０２は、マルチメディアコンポーネント８０８と処理コンポーネント８０２との間の相互作用を容易にするために、マルチメディアモジュールを備えることができる。
【０２２０】
メモリ８０４は、機器８００での操作をサポートするために、様々なタイプのデータを記憶するように構成される。これらのデータの例には、電子機器８００で動作する任意のアプリケーションまたは方法の命令、連絡先データ、電話帳データ、メッセージ、写真、ビデオ等が含まれる。メモリ８０４は、スタティックランダムアクセスメモリ（ＳＲＡＭ）、電気的に消去可能なプログラム可能な読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能なプログラム可能な読み取り専用メモリ（ＥＰＲＯＭ）、プログラム可能な読み取り専用メモリ（ＰＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクなど、あらゆるタイプの揮発性または不揮発性ストレージデバイスまたはそれらの組み合わせによって実現されることができる。
【０２２１】
電力コンポーネント８０６は、電子機器８００の様々なコンポーネントに電力を提供する。電力コンポーネント８０６は、電力管理システム、１つまたは複数の電源、及び電子機器８００のための電力の生成、管理および割り当てに関する他のコンポーネントを備えることができる。
マルチメディアコンポーネント８０８は、前記電子装置８００とユーザとの間の、出力インターフェースを提供するスクリーンを備える。いくつかの実施形態において、スクリーンは、液晶ディスプレイ（ＬＣＤ）及びタッチパネル（ＴＰ）を備えることができる。スクリーンがタッチパネルを備える場合、スクリーンは、ユーザからの入力信号を受信するためのタッチスクリーンとして実装されることができる。タッチパネルは、タッチ、スワイプ及びタッチパネルでのジェスチャーを検知するための１つまたは複数のタッチセンサを備える。前記タッチセンサは、タッチまたはスワイプの操作の境界を感知するだけでなく、前記タッチまたはスワイプ動作に関連する持続時間及び圧力も検出することができる。いくつかの実施例において、マルチメディアコンポーネント８０８は、一つのフロントカメラ及び／またはリアカメラを備える。電子機器８００が撮影モードまたはビデオモードなどの動作モードにあるとき、フロントカメラ及び／またはリアカメラは、外部のマルチメディアデータを受信することができる。各フロントカメラ及びリアカメラは、固定された光学レンズシステムであり、または焦点距離と光学ズーム機能を持つことができる。
【０２２２】
オーディオコンポーネント８１０は、オーディオ信号を出力および／または入力するように構成される。例えば、オーディオコンポーネント８１０は、１つのマイクロフォン（ＭＩＣ）を備え、電子機器８００が通話モード、録音モード及び音声認識モードなどの動作モードである場合、マイクロフォンは、外部オーディオ信号を受信するように構成される。受信されたオーディオ信号は、メモリ８０４にさらに記憶されてもよく、または通信コンポーネント８１６を介して送信されてもよい。いくつかの実施例において、オーディオコンポーネント８１０は、オーディオ信号を出力するためのスピーカをさらに備える。
【０２２３】
Ｉ／Ｏインタフェース８１２は、処理コンポーネント８０２と周辺インターフェースモジュールとの間にインターフェースを提供し、上述の周辺インターフェースモジュールは、キーボード、クリックホイール、ボタンなどであってもよい。これらのボタンは、ホームボタン、ボリュームボタン、スタートボタン、ロックボタンを備えるが、これらに限定されない。
【０２２４】
センサコンポーネント８１４は、電子機器８００に各態様の状態評価を提供するための１つまたは複数のセンサを備える。例えば、センサコンポーネント８１４は、電子機器８００のオン／オフ状態、コンポーネントの相対的な位置を検出することができ、例えば、前記コンポーネントは、電子機器８００のディスプレイやキーパッドなどであり、センサコンポーネント８１４は、電子機器８００または電子機器８００の１つのコンポーネントの位置の変化、ユーザと電子機器８００との接触の有無、電子機器８００の方位または加速／減速、及び電子機器８００の温度の変化も検出することができる。センサコンポ―ネット８１４は、物理的接触なしに近くの物体の存在を検出するように構成された近接センサを備えることができる。センサコンポーネント８１４は、撮像用途で使用するためのＣＭＯＳまたはＣＣＤ画像センサなどの光センサをさらに備えることができる。いくつかの実施例において、前記センサコンポーネント８１４は、加速度センサ、ジャイロスコープセンサ、磁気センサ、圧力センサまたは温度センサをさらに備えることができる。
【０２２５】
通信コンポーネント８１６は、電子機器８００と他の機器の間の有線または無線方式の通信を容易にするように構成される。電子機器８００は、ＷｉＦｉ、２Ｇまたは３Ｇ、またはそれらの組み合わせなどの通信規格に基づく無線ネットワークにアクセスすることができる。一例示的な実施例において、前記通信コンポーネント８１６は、放送チャンネルを介して外部放送管理システムからの放送信号または放送関連情報を受信する。一例示的な実施例において、前記通信コンポーネント８１６は、短距離通信を促進するために、近距離通信（ＮＦＣ）モジュールをさらに備える。例えば、ＮＦＣモジュールは、無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（登録商標）（ＢＴ）技術及び他の技術に基づいて具現することができる。
【０２２６】
例示的な実施例において、電子機器８００は、１つまたは複数の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理装置（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子素子によって具現されることができ、上述の方法を実行するように構成される。
【０２２７】
例示的な実施例において、コンピュータプログラム命令を含むメモリ８０４などの、不揮発性コンピュータ読み取り可能な記憶媒体をさらに提供し、上述のコンピュータプログラム命令は、電子機器８００のプロセッサ８２０によって実行されて上記の方法を完了することができる。
【０２２８】
図６は、本開示の実施例に係る電子機器１９００のブロック図を示す。例えば、電子機器１９００は、サーバとして提供されることができる。図６を参照すると、電子機器１９００は、処理コンポーネント１９２２を含み、１つまたは複数のプロセッサと、アプリケーションプログラムなど、処理コンポーネント１９２２によって実行可能な命令を記憶するように構成されるメモリ１９３２によって表されるメモリリソースとさらにを含む。メモリ１９３２に記憶されたアプリケーションプログラムは、１つまたは１つ以上の１セットの命令に対応する各モジュールを備えることができる。さらに、処理コンポーネント１９２２は、前記音声対話方法を実行するための命令を実行するように構成される。
【０２２９】
電子機器１９００は、電子装置１９００の電源管理を実行するように構成される１つの電力コンポーネント１９２６、電子装置１９００をネットワークに接続するように構成される１つの有線または無線ネットワークインターフェース１９５０、および１つの入力／出力（Ｉ／Ｏ）ターフェース１９５８をさらに備えることができる。電子機器１９００は、メモリ１９３２に記憶されたＷｉｎｄｏｗｓ（登録商標）  ＳｅｒｖｅｒＴＭ、Ｍａｃ  ＯＳ  ＸＴＭ、Ｕｎｉｘ（登録商標）、Ｌｉｎｕｘ（登録商標）、ＦｒｅｅＢＳＤＴＭまたは類似したものなどの操作システムに基づいて操作されることができる。
【０２３０】
例示的な実施例において、コンピュータプログラム命令を含むメモリ１９３２などの、不揮発性コンピュータ読み取り可能な記憶媒体をさらに提供し、上述のコンピュータプログラム命令は、電子機器１９００の処理コンポーネント１９２２によって実行されて上記の方法を完了することができる。
【０２３１】
本開示は、システム、方法および／またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、プロセッサが本開示の様々な態様を実現するようにするためのコンピュータ読み取り可能なプログラム命令がロードだれたコンピュータ読み取り可能な記憶媒体を含み得る。
【０２３２】
コンピュータ読み取り可能な記憶媒体は、命令実行機器によって使用される命令を保留および記憶することができる有形機器であってもよい。コンピュータ読み取り可能な記憶媒体は、例えば、電気記憶機器、磁気記憶機器、光学記憶機器、電磁記憶機器、半導体記憶機器または前述の任意の適切な組み合わせであり得るが、これらに限定されない。コンピュータ読み取り可能な記憶媒体のより具体的な例（非網羅的リスト）は、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピー（登録商標）ディスク、命令が記憶されたパンチカードまたは溝の凸構造、および前述の任意の適切な組み合わせなどの機械的符号化機器を含む。ここで使用されるコンピュータ読み取り可能な記憶媒体は、電波や自由に伝播される他の電磁波、導波管や他の伝播媒体を介して伝播される電磁波（光ファイバーケーブルを介した光パルスなど）、またはワイヤを介して伝送される電子信号などの、一時的な信号として解釈されてはならない。
【０２３３】
ここで説明されるコンピュータ読み取り可能なプログラム命令は、コンピュータ読み取り可能な記憶媒体から様々なコンピューティング／処理機器にダウンロードするか、インターネット、メトロポリタンエリアネットワーク、ワイドエリアネットワークおよび／またはワイヤレスネットワークなどのネットワークを介して外部コンピュータまたは外部記憶機器にダウンロードすることができる。ネットワークは、銅線伝送ケーブル、光ファイバー伝送、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータおよび／またはエッジサーバなどを含み得る。各コンピューティング／処理機器におけるネットワークアダプターカードまたはネットワークインターフェースは、ネットワークからコンピュータ読み取り可能なプログラム命令を受信し、各コンピューティング／処理機器におけるコンピュータ読み取り可能な記憶媒体に記憶するために、当該コンピュータ読み取り可能なプログラム命令を転送する。
【０２３４】
本開示の操作を実行するために使用されるコンピュータプログラム命令は、アセンブリ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械命令、機械関連命令、マイクロコード、ファームウェア命令、状態設定データ、または以１つまたは複数のプログラミング言語の任意の組み合わせでプログラミングされたソースコードまたは目標コードであってもよく、前記プログラミング言語は、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」言語または類似のプログラミング言語などの従来の手続き型プログラミング言語を含む。コンピュータ読み取り可能なプログラム命令は、ユーザのコンピュータで完全に実行され、またはユーザのコンピュータで部分的に実行されることができ、１つの独立したソフトウェアパッケージとして実行され、部分的にユーザのコンピュータで、部分的にリモートコンピュータで実行されることができ、または完全にリモートコンピュータまたはサーバで実行されることができる。リモートコンピュータに関する場合において、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）を含む任意のタイプのネットワークは、ユーザのコンピュータに接続することができ、または、外部のコンピュータに接続することができる（例えば、インターネットサービスプロバイダを使用してインターネットにアクセスすることができる）。いくつかの実施例において、コンピュータ読み取り可能な命令の状態情報を使用することにより、プログラマブルロジック回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）またはプログラマブルロジックアレイ（ＰＬＡ）などの、電子回路をカスタマイズし、当該電子回路は、コンピュータ読み取り可能なプログラム命令を実行し、それにより、本開示の各態様を実現することができる。
【０２３５】
ここで、本開示の実施例に係る方法、装置（システム）およびコンピュータプログラム製品のフローチャートおよび／またはブロックを参照して本開示の各態様を説明する。フローチャートおよび／またはブロック図の各ブロックおよびフローチャートおよび／またはブロック図における各ブロックの組み合わせのすべては、コンピュータ読み取り可能なプログラム命令によって実行されることができることを理解されたい。
【０２３６】
これらのコンピュータ読み取り可能なプログラム命令は、汎用コンピュータ、専用コンピュータまたは他のプログラム可能なデータ処理装置のプロセッサに提供することができ、それにより、マシンを作成して、これらの命令がコンピュータまたは他のプログラム可能なデータ処理装置のプロセッサによって実行されるときに、フローチャートおよび／またはブロック図における１つのまたは複数のブロックで規定した機能／動作を実現する装置を作成するようにする。これらのコンピュータ読み取り可能なプログラム命令をコンピュータ読み取り可能な記憶媒体に記憶してもよく、これらの命令は、コンピュータ、プログラム可能データ処理装置および／または他の機器が特定方式で動作するようにし、それにより、命令が記憶されたコンピュータ読み取り可能な媒体は、フローチャートおよび／またはブロック図における１つまたは複数のブロックで規定した機能功能／実現する各態様の命令を含む、製品を含む。
【０２３７】
コンピュータ読み取り可能なプログラム命令をコンピュータ、他のプログラム可能な数据処理装置、または他の機器にローディングして、一連の操作ステップをコンピュータ、プログラム可能な数据処理装置または他の機器で実行することができるようにし、コンピュータによって実現されるプロセスを作成し、それにより、コンピュータ、他のプログラム可能な数据処理装置、または他の機器で実行される命令がフローチャートおよび／またはブロック図における１つまたは複数のブロックで規定した機能／動作を実現することができるようにする。
【０２３８】
図面におけるフローチャートおよびブロック図は、本開示の複数の実施例に係るシステム、方法およびコンピュータプログラム製品の実現可能な実装アーキテクチャ、機能および動作を示す。これに関して、フローチャートまたはブロック図における各ブロックは、１つのモジュール、プログラムセグメントまたは命令の一部を表すことができ、前記モジュール、程序段または命令の一部は、規定された論理機能を実現するために使用される１つまたは複数の実行可能な命令を含む。いくつかの代替的な実現では、ブロックで表示された機能は、図面で表示された順序と異なる順序で発生することができる。例えば、連続して示された２つのブロックは、実際には、並行して実行される場合や、逆の順序で実行される場合があり、これは、関連する機能によって決定される。ブロック図および／またはフローチャートにおける各ブロック、およびブロック図および／またはフローチャートにおけるブロックの組み合わせは、規定された機能または動作を実行する専用のハードウェアに基づくシステムによって実現することができ、またはハードウェアとコンピュータ命令の組み合わせによって実現されることができることにも留意されたい。
【０２３９】
論理に違反することなく、本開示の異なる実施例を互に組み合わせることができ、異なる実施例は、特に強調する部分があるが、特に強調しなくて記述した部分は、他の実施例の説明を参照することができる。
【０２４０】
以上、本開示の各実施例を説明したが、以上の説明は網羅的ではなく、例示的なものに過ぎず、開示された各実施例に限定されない。当業者にとって、説明された各実施例の範囲および思想から逸脱することなく、多くの修正および変更は明らかである。本明細書で使用される用語の選択は、各実施例の原理、実際の応用または市場における技術の改善を最もよく説明するか、当業者が本明細書で開示された各実施例を理解することができるようにすることを意図する。
【図１】
2021518961.tif 000052
【図２】
2021518961.tif 000053
【図３】
2021518961.tif 000054
【図４】
2021518961.tif 000055
【図５】
2021518961.tif 000056
【図６】
2021518961.tif 000057
【手続補正書】
【提出日】令和2年10月26日(2020.10.26)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像生成方法であって、
目標対象の線画像に従って、前記目標対象の第１画像を生成することと、
前記第１画像に対して構造抽出を実行して、前記第１画像のテクスチャ情報および／または方向情報を取得することと、
前記テクスチャ情報および／または前記方向情報に従って、前記目標対象の第２画像を生成することとを含むことを特徴とする、前記画像生成方法。
【請求項２】
前記第１画像に対して構造抽出を実行して、前記第１画像のテクスチャ情報および／または方向情報を取得することは、
前記第１画像の各画素点に対してフィルタリング処理をそれぞれ実行して、各画素点のフィルタリング結果を取得することと、
前記各画素点のフィルタリング結果に従って、前記第１画像のテクスチャ情報および／または方向情報を決定することとを含むことを特徴とする、
請求項１に記載の画像生成方法。
【請求項３】
前記第１画像に対して構造抽出を実行して、前記第１画像のテクスチャ情報および／または方向情報を取得することは、
前記第１画像の各画素点に対して第１フィルタリング処理をそれぞれ実行して、各画素点の第１フィルタリング結果を取得することと、
前記各画素点の第１フィルタリング結果に従って、各画素点の予備的なテクスチャ情報および／または予備的な方向情報を決定することと、
前記各画素点の予備的なテクスチャ情報および／または予備的な方向情報に対して第２フィルタリング処理をそれぞれ実行して、各画素点の第２フィルタリング結果を取得することと、
前記各画素点の第２フィルタリング結果に従って、前記第１画像のテクスチャ情報および／または方向情報を決定することとを含むことを特徴とする、
請求項１に記載の画像生成方法。
【請求項４】
前記第１画像の各画素点に対してフィルタリング処理をそれぞれ実行して、各画素点のフィルタリング結果を取得することは、
プリセットの複数の角度に従って、各画素点に対してフィルタリング処理を実行して、各画素点の複数のフィルタリング結果を取得することを含み、
前記各画素点のフィルタリング結果に従って、前記第１画像のテクスチャ情報および／または方向情報を決定することは、
前記各画素点の複数のフィルタリング結果のうちの最大値に従って、前記第１画像のテクスチャ情報を決定すること、および／または
前記各画素点の複数のフィルタリング結果のうちの最大値に対応する角度に従って、前記第１画像の方向情報を決定することを含むことを特徴とする、
請求項２に記載の画像生成方法。
【請求項５】
前記第１画像の各画素点に対して第１フィルタリング処理をそれぞれ実行して、各画素点の第１フィルタリング結果を取得することは、
プリセットの複数の角度に従って、各画素点に対して第１フィルタリング処理を実行して、各画素点の複数の第１フィルタリング結果を取得することを含み、
前記各画素点の第１フィルタリング結果に従って、各画素点の予備的なテクスチャ情報および／または予備的な方向情報を決定することは、
前記各画素点の複数の第１フィルタリング結果のうちの最大値に従って、前記各画素点の予備的なテクスチャ情報を決定すること、および／または
前記各画素点の複数の第１フィルタリング結果のうちの最大値に対応する角度に従って、前記各画素点の予備的な方向情報を決定することを含むことを特徴とする、
請求項３に記載の画像生成方法。
【請求項６】
前記各画素点の予備的なテクスチャ情報および／または予備的な方向情報に対して第２フィルタリング処理をそれぞれ実行して、各画素点の第２フィルタリング結果を取得することは、
プリセットの複数の角度に従って、前記各画素点の予備的なテクスチャ情報および／または予備的な方向情報に対して第２フィルタリング処理を実行して、各画素点の複数の第２フィルタリング結果を取得することを含み、
前記各画素点の第２フィルタリング結果に従って、前記第１画像のテクスチャ情報および／または方向情報を決定することは、
前記各画素点の複数の第２フィルタリング結果のうちの最大値に従って、前記第１画像のテクスチャ情報を決定すること、および／または
前記各画素点の複数の第２フィルタリング結果のうちの最大値に対応する角度に従って、前記第１画像の方向情報を決定することを含むことを特徴とする、
請求項３または５に記載の画像生成方法。
【請求項７】
前記方法は、ニューラルネットワークによって実現され、前記ニューラルネットワークは、第１生成ネットワークおよび第２生成ネットワークを含み、前記第１生成ネットワークは、前記第１画像を生成するために使用され、前記第２生成ネットワークは、前記第２画像を生成するために使用されることを特徴とする、
請求項１ないし６のいずれか一項に記載の画像生成方法。
【請求項８】
前記第１生成ネットワークは、第１畳み込みサブネットワークおよび第１逆畳み込みサブネットワークを含み、前記目標対象の線画像に従って、前記目標対象の第１画像を生成することは、
前記線画像を前記第１畳み込みサブネットワークに入力してダウンサンプリングして、前記線画像の第１特徴情報を出力することと、
前記第１特徴情報を前記第１逆畳み込みサブネットワークに入力してアップサンプリングして、前記第１画像を出力することとを含むことを特徴とする、
請求項７に記載の画像生成方法。
【請求項９】
前記第２生成ネットワークは、第２畳み込みサブネットワークおよび第２逆畳み込みサブネットワークを含み、前記テクスチャ情報および／または前記方向情報に従って、前記目標対象の第２画像を生成することは、
前記テクスチャ情報および／または前記方向情報を前記第２畳み込みサブネットワークに入力してダウンサンプリングして、第２特徴情報を出力することと、
前記第２特徴情報を前記第２逆畳み込みサブネットワークに入力してアップサンプリングして、前記第２画像を出力することとを含むことを特徴とする、
請求項８に記載の画像生成方法。
【請求項１０】
前記ニューラルネットワークは、判別ネットワークをさらに含み、前記方法は、
プリセットされたトレーニングセットに従って、前記第１生成ネットワーク、前記第２生成ネットワークおよび前記判別ネットワークに対して敵対的トレーニングを実行することをさらに含み、
前記トレーニングセットは、複数の第３画像および前記第３画像に対応する参照画像を含み、前記第３画像は線画像であり、前記参照画像は実画像であることを特徴とする、
請求項７ないし９のいずれか一項に記載の画像生成方法。
【請求項１１】
前記プリセットされたトレーニングセットに従って、前記第１生成ネットワーク、前記第２生成ネットワークおよび前記判別ネットワークに対して敵対的トレーニングを実行することは、
前記トレーニングセットにおける前記第３画像を前記第１生成ネットワークに入力して、第４画像を生成することと、
フィルタを介して、前記第４画像に対して構造抽出を実行して、前記第４画像のテクスチャ情報および／または方向情報を取得することと、
前記第４画像のテクスチャ情報および／または前記方向情報を前記第２生成ネットワークに入力して、第５画像を生成することと、
前記第３画像の参照画像および前記第５画像を前記判別ネットワークに入力して、判別結果を出力することと、
前記参照画像、前記第４画像、前記第５画像および前記判別結果に従って、前記ニューラルネットワークのネットワーク損失を決定することと、
前記ネットワーク損失に従って、前記第１生成ネットワーク、前記第２生成ネットワークおよび前記判別ネットワークをトレーニングすることとを含むことを特徴とする、
請求項１０に記載の画像生成方法。
【請求項１２】
前記参照画像、前記第４画像、前記第５画像および前記判別結果に従って、前記ニューラルネットワークのネットワーク損失を決定することは、
前記参照画像、前記第４画像および前記第５画像に従って、前記ニューラルネットワークの画素損失を決定することと、
前記判別結果に従って、前記ニューラルネットワークの敵対的損失を決定することと、
前記参照画像、前記第４画像、前記第５画像およびトレーニングされた畳み込みネットワークに従って、前記ニューラルネットワークのスタイル損失を決定することと、
前記画素損失、前記敵対的損失および前記スタイル損失に従って、前記ニューラルネットワークのネットワーク損失を決定することとを含むことを特徴とする、
請求項１１に記載の画像生成方法。
【請求項１３】
前記参照画像、前記第４画像、前記第５画像および前記判別結果に従って、前記ニューラルネットワークのネットワーク損失を決定することは、
前記参照画像、前記第４画像、前記第５画像および前記判別ネットワークに従って、前記ニューラルネットワークの特徴マッチング損失を決定することと、
前記画素損失、前記敵対的損失、前記スタイル損失および前記特徴マッチング損失に従って、前記ニューラルネットワークのネットワーク損失を決定することとを含むことを特徴とする、
請求項１２に記載の画像生成方法。
【請求項１４】
前記目標対象は髪を含み、前記目標対象の線画像は、少なくとも、髪の輪郭線および方向線を含むことを特徴とする、
請求項１ないし１３のいずれか一項に記載の画像生成方法。
【請求項１５】
画像生成装置であって、
目標対象の線画像に従って、前記目標対象の第１画像を生成するように構成される第１生成モジュールと、
前記第１画像に対して構造抽出を実行して、前記第１画像のテクスチャ情報および／または方向情報を取得するように構成される構造抽出モジュールと、
前記テクスチャ情報および／または前記方向情報に従って、前記目標対象の第２画像を生成するように構成される第２生成モジュールとを備えることを特徴とする、前記画像生成装置。
【請求項１６】
電子機器であって、
プロセッサと、
プロセッサ実行可能命令を記憶するように構成されるメモリとを備え、
前記プロセッサは、請求項１ないし１４のいずれか一項に記載の方法を実行するように構成されることを特徴とする、前記電子機器。
【請求項１７】
コンピュータプログラム命令が記憶されたコンピュータ読み取り可能な記憶媒体であって、
前記コンピュータプログラム命令がプロセッサによって実行されると、請求項１ないし１４のいずれか一項に記載の方法を実行することを特徴とする、前記コンピュータ読み取り可能な記憶媒体。
【請求項１８】
コンピュータプログラムであって、
コンピュータ読み取り可能なコードを含み、前記コンピュータ読み取り可能なコードが電子機器によって実行される時に、前記電子機器におけるプロセッサは、請求項１ないし１４のいずれか一項に記載の方法を実現するための命令を実行することを特徴とする、前記コンピュータプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００３５
【補正方法】変更
【補正の内容】
【００３５】
本開示の一態様によれば、コンピュータプログラムを提供し、前記コンピュータプログラムは、コンピュータ読み取り可能なコードを含み、前記コンピュータ読み取り可能なコードが電子機器によって実行されるときに、前記電子機器におけるプロセッサは、上記の画像生成方法を実行する。
例えば、本願は以下の項目を提供する。
（項目１）
画像生成方法であって、
目標対象の線画像に従って、前記目標対象の第１画像を生成することと、
前記第１画像に対して構造抽出を実行して、前記第１画像のテクスチャ情報および／または方向情報を取得することと、
前記テクスチャ情報および／または前記方向情報に従って、前記目標対象の第２画像を生成することとを含むことを特徴とする、前記画像生成方法。
（項目２）
前記第１画像に対して構造抽出を実行して、前記第１画像のテクスチャ情報および／または方向情報を取得することは、
前記第１画像の各画素点に対してフィルタリング処理をそれぞれ実行して、各画素点のフィルタリング結果を取得することと、
前記各画素点のフィルタリング結果に従って、前記第１画像のテクスチャ情報および／または方向情報を決定することとを含むことを特徴とする、
項目１に記載の画像生成方法。
（項目３）
前記第１画像に対して構造抽出を実行して、前記第１画像のテクスチャ情報および／または方向情報を取得することは、
前記第１画像の各画素点に対して第１フィルタリング処理をそれぞれ実行して、各画素点の第１フィルタリング結果を取得することと、
前記各画素点の第１フィルタリング結果に従って、各画素点の予備的なテクスチャ情報および／または予備的な方向情報を決定することと、
前記各画素点の予備的なテクスチャ情報および／または予備的な方向情報に対して第２フィルタリング処理をそれぞれ実行して、各画素点の第２フィルタリング結果を取得することと、
前記各画素点の第２フィルタリング結果に従って、前記第１画像のテクスチャ情報および／または方向情報を決定することとを含むことを特徴とする、
項目１に記載の画像生成方法。
（項目４）
前記第１画像の各画素点に対してフィルタリング処理をそれぞれ実行して、各画素点のフィルタリング結果を取得することは、
プリセットの複数の角度に従って、各画素点に対してフィルタリング処理を実行して、各画素点の複数のフィルタリング結果を取得することを含み、
前記各画素点のフィルタリング結果に従って、前記第１画像のテクスチャ情報および／または方向情報を決定することは、
前記各画素点の複数のフィルタリング結果のうちの最大値に従って、前記第１画像のテクスチャ情報を決定すること、および／または
前記各画素点の複数のフィルタリング結果のうちの最大値に対応する角度に従って、前記第１画像の方向情報を決定することを含むことを特徴とする、
項目２に記載の画像生成方法。
（項目５）
前記第１画像の各画素点に対して第１フィルタリング処理をそれぞれ実行して、各画素点の第１フィルタリング結果を取得することは、
プリセットの複数の角度に従って、各画素点に対して第１フィルタリング処理を実行して、各画素点の複数の第１フィルタリング結果を取得することを含み、
前記各画素点の第１フィルタリング結果に従って、各画素点の予備的なテクスチャ情報および／または予備的な方向情報を決定することは、
前記各画素点の複数の第１フィルタリング結果のうちの最大値に従って、前記各画素点の予備的なテクスチャ情報を決定すること、および／または
前記各画素点の複数の第１フィルタリング結果のうちの最大値に対応する角度に従って、前記各画素点の予備的な方向情報を決定することを含むことを特徴とする、
項目３に記載の画像生成方法。
（項目６）
前記各画素点の予備的なテクスチャ情報および／または予備的な方向情報に対して第２フィルタリング処理をそれぞれ実行して、各画素点の第２フィルタリング結果を取得することは、
プリセットの複数の角度に従って、前記各画素点の予備的なテクスチャ情報および／または予備的な方向情報に対して第２フィルタリング処理を実行して、各画素点の複数の第２フィルタリング結果を取得することを含み、
前記各画素点の第２フィルタリング結果に従って、前記第１画像のテクスチャ情報および／または方向情報を決定することは、
前記各画素点の複数の第２フィルタリング結果のうちの最大値に従って、前記第１画像のテクスチャ情報を決定すること、および／または
前記各画素点の複数の第２フィルタリング結果のうちの最大値に対応する角度に従って、前記第１画像の方向情報を決定することを含むことを特徴とする、
項目３または５に記載の画像生成方法。
（項目７）
前記方法は、ニューラルネットワークによって実現され、前記ニューラルネットワークは、第１生成ネットワークおよび第２生成ネットワークを含み、前記第１生成ネットワークは、前記第１画像を生成するために使用され、前記第２生成ネットワークは、前記第２画像を生成するために使用されることを特徴とする、
項目１ないし６のいずれか一項に記載の画像生成方法。
（項目８）
前記第１生成ネットワークは、第１畳み込みサブネットワークおよび第１逆畳み込みサブネットワークを含み、前記目標対象の線画像に従って、前記目標対象の第１画像を生成することは、
前記線画像を前記第１畳み込みサブネットワークに入力してダウンサンプリングして、前記線画像の第１特徴情報を出力することと、
前記第１特徴情報を前記第１逆畳み込みサブネットワークに入力してアップサンプリングして、前記第１画像を出力することとを含むことを特徴とする、
項目７に記載の画像生成方法。
（項目９）
前記第２生成ネットワークは、第２畳み込みサブネットワークおよび第２逆畳み込みサブネットワークを含み、前記テクスチャ情報および／または前記方向情報に従って、前記目標対象の第２画像を生成することは、
前記テクスチャ情報および／または前記方向情報を前記第２畳み込みサブネットワークに入力してダウンサンプリングして、第２特徴情報を出力することと、
前記第２特徴情報を前記第２逆畳み込みサブネットワークに入力してアップサンプリングして、前記第２画像を出力することとを含むことを特徴とする、
項目８に記載の画像生成方法。
（項目１０）
前記ニューラルネットワークは、判別ネットワークをさらに含み、前記方法は、
プリセットされたトレーニングセットに従って、前記第１生成ネットワーク、前記第２生成ネットワークおよび前記判別ネットワークに対して敵対的トレーニングを実行することをさらに含み、
前記トレーニングセットは、複数の第３画像および前記第３画像に対応する参照画像を含み、前記第３画像は線画像であり、前記参照画像は実画像であることを特徴とする、
項目７ないし９のいずれか一項に記載の画像生成方法。
（項目１１）
前記プリセットされたトレーニングセットに従って、前記第１生成ネットワーク、前記第２生成ネットワークおよび前記判別ネットワークに対して敵対的トレーニングを実行することは、
前記トレーニングセットにおける前記第３画像を前記第１生成ネットワークに入力して、第４画像を生成することと、
フィルタを介して、前記第４画像に対して構造抽出を実行して、前記第４画像のテクスチャ情報および／または方向情報を取得することと、
前記第４画像のテクスチャ情報および／または前記方向情報を前記第２生成ネットワークに入力して、第５画像を生成することと、
前記第３画像の参照画像および前記第５画像を前記判別ネットワークに入力して、判別結果を出力することと、
前記参照画像、前記第４画像、前記第５画像および前記判別結果に従って、前記ニューラルネットワークのネットワーク損失を決定することと、
前記ネットワーク損失に従って、前記第１生成ネットワーク、前記第２生成ネットワークおよび前記判別ネットワークをトレーニングすることとを含むことを特徴とする、
項目１０に記載の画像生成方法。
（項目１２）
前記参照画像、前記第４画像、前記第５画像および前記判別結果に従って、前記ニューラルネットワークのネットワーク損失を決定することは、
前記参照画像、前記第４画像および前記第５画像に従って、前記ニューラルネットワークの画素損失を決定することと、
前記判別結果に従って、前記ニューラルネットワークの敵対的損失を決定することと、
前記参照画像、前記第４画像、前記第５画像およびトレーニングされた畳み込みネットワークに従って、前記ニューラルネットワークのスタイル損失を決定することと、
前記画素損失、前記敵対的損失および前記スタイル損失に従って、前記ニューラルネットワークのネットワーク損失を決定することとを含むことを特徴とする、
項目１１に記載の画像生成方法。
（項目１３）
前記参照画像、前記第４画像、前記第５画像および前記判別結果に従って、前記ニューラルネットワークのネットワーク損失を決定することは、
前記参照画像、前記第４画像、前記第５画像および前記判別ネットワークに従って、前記ニューラルネットワークの特徴マッチング損失を決定することと、
前記画素損失、前記敵対的損失、前記スタイル損失および前記特徴マッチング損失に従って、前記ニューラルネットワークのネットワーク損失を決定することとを含むことを特徴とする、
項目１２に記載の画像生成方法。
（項目１４）
前記目標対象は髪を含み、前記目標対象の線画像は、少なくとも、髪の輪郭線および方向線を含むことを特徴とする、
項目１ないし１３のいずれか一項に記載の画像生成方法。
（項目１５）
画像生成装置であって、
目標対象の線画像に従って、前記目標対象の第１画像を生成するように構成される第１生成モジュールと、
前記第１画像に対して構造抽出を実行して、前記第１画像のテクスチャ情報および／または方向情報を取得するように構成される構造抽出モジュールと、
前記テクスチャ情報および／または前記方向情報に従って、前記目標対象の第２画像を生成するように構成される第２生成モジュールとを備えることを特徴とする、前記画像生成装置。
（項目１６）
前記構造抽出モジュールは、
前記第１画像の各画素点に対してフィルタリング処理をそれぞれ実行して、各画素点のフィルタリング結果を取得するように構成される第１フィルタリング処理サブモジュールと、
前記各画素点のフィルタリング結果に従って、前記第１画像のテクスチャ情報および／または方向情報を決定するように構成される第１情報決定サブモジュールとを備えることを特徴とする、
項目１５に記載の画像生成装置。
（項目１７）
前記構造抽出モジュールは、
前記第１画像の各画素点に対して第１フィルタリング処理をそれぞれ実行して、各画素点の第１フィルタリング結果を取得するように構成される第２フィルタリング処理サブモジュールと、
前記各画素点の第１フィルタリング結果に従って、各画素点の予備的なテクスチャ情報および／または予備的な方向情報を決定するように構成される第２情報決定サブモジュールと、
前記各画素点の予備的なテクスチャ情報および／または予備的な方向情報に対して第２フィルタリング処理をそれぞれ実行して、各画素点の第２フィルタリング結果を取得するように構成される第３フィルタリング処理サブモジュールと、
前記各画素点の第２フィルタリング結果に従って、前記第１画像のテクスチャ情報および／または方向情報を決定するように構成される第３情報決定サブモジュールとを備えることを特徴とする、
項目１５に記載の画像生成装置。
（項目１８）
前記第１フィルタリング処理サブモジュールは、
プリセットの複数の角度に従って、各画素点に対してフィルタリング処理を実行して、各画素点の複数のフィルタリング結果を取得するように構成され、
前記第１情報決定サブモジュールは、
前記各画素点の複数のフィルタリング結果のうちの最大値に従って、前記第１画像のテクスチャ情報を決定し、および／または
前記各画素点の複数のフィルタリング結果のうちの最大値に対応する角度に従って、前記第１画像の方向情報を決定するように構成されることを特徴とする、
項目１６に記載の画像生成装置。
（項目１９）
前記第２フィルタリング処理サブモジュールは、
プリセットの複数の角度に従って、各画素点に対して第１フィルタリング処理を実行して、各画素点の複数の第１フィルタリング結果を取得するように構成され、
前記第２情報決定サブモジュールは、
前記各画素点の複数の第１フィルタリング結果のうちの最大値に従って、前記各画素点の予備的なテクスチャ情報を決定し、および／または
前記各画素点の複数の第１フィルタリング結果のうちの最大値に対応する角度に従って、前記各画素点の予備的な方向情報を決定するように構成されることを特徴とする、
項目１７に記載の画像生成装置。
（項目２０）
前記第３フィルタリング処理サブモジュールは、
プリセットの複数の角度に従って、前記各画素点の予備的なテクスチャ情報および／または予備的な方向情報に対して第２フィルタリング処理を実行して、各画素点の複数の第２フィルタリング結果を取得するように構成され、
前記第３情報決定サブモジュールは、
前記各画素点の複数の第２フィルタリング結果のうちの最大値に従って、前記第１画像のテクスチャ情報を決定し、および／または
前記各画素点の複数の第２フィルタリング結果のうちの最大値に対応する角度に従って、前記第１画像の方向情報を決定するように構成されることを特徴とする、
項目１７または１９に記載の画像生成装置。
（項目２１）
前記装置は、ニューラルネットワークを含み、前記ニューラルネットワークは、第１生成ネットワークおよび第２生成ネットワークを含み、前記第１生成ネットワークは、前記第１画像を生成するために使用され、前記第２生成ネットワークは、前記第２画像を生成するために使用されることを特徴とする、
項目１５ないし２０のいずれか一項に記載の画像生成装置。
（項目２２）
前記第１生成ネットワークは、第１畳み込みサブネットワークおよび第１逆畳み込みサブネットワークを含み、前記第１生成モジュールは、
前記線画像を前記第１畳み込みサブネットワークに入力してダウンサンプリングして、前記線画像の第１特徴情報を出力するように構成される第１特徴決定サブモジュールと、
前記第１特徴情報を前記第１逆畳み込みサブネットワークに入力してアップサンプリングして、前記第１画像を出力するように構成される第１画像生成サブモジュールとを備えることを特徴とする、
項目２１に記載の画像生成装置。
（項目２３）
前記第２生成ネットワークは、第２畳み込みサブネットワークおよび第２逆畳み込みサブネットワークを含み、前記第２生成モジュールは、
前記テクスチャ情報および／または前記方向情報を前記第２畳み込みサブネットワークに入力してダウンサンプリングして、第２特徴情報を出力するように構成される第２特徴決定サブモジュールと、
前記第２特徴情報を前記第２逆畳み込みサブネットワークに入力してアップサンプリングして、前記第２画像を出力するように構成される第２画像生成サブモジュールとを備えることを特徴とする、
項目２２に記載の画像生成装置。
（項目２４）
前記ニューラルネットワークは判別ネットワークをさらに含み、前記装置は、
プリセットされたトレーニングセットに従って、前記第１生成ネットワーク、前記第２生成ネットワークおよび前記判別ネットワークに対して敵対的トレーニングを実行するように構成されるトレーニングモジュールをさらに備え、
前記トレーニングセットは、複数の第３画像および前記第３画像に対応する参照画像を含み、前記第３画像は線画像であり、前記参照画像は実画像であることを特徴とする、
項目２１ないし２３のいずれか一項に記載の画像生成装置。
（項目２５）
前記トレーニングモジュールは、
前記トレーニングセットにおける前記第３画像を前記第１生成ネットワークに入力して、第４画像を生成するように構成される第３画像生成サブモジュールと、
フィルタを介して、前記第４画像に対して構造抽出を実行して、前記第４画像のテクスチャ情報および／または方向情報を取得するように構成される構造抽出サブモジュールと、
前記第４画像のテクスチャ情報および／または前記方向情報を前記第２生成ネットワークに入力して、第５画像を生成するように構成される第４画像生成サブモジュールと、
前記第３画像の参照画像および前記第５画像を前記判別ネットワークに入力して、判別結果を出力するように構成される判別サブモジュールと、
前記参照画像、前記第４画像、前記第５画像および前記判別結果に従って、前記ニューラルネットワークのネットワーク損失を決定するように構成される損失決定サブモジュールと、
前記ネットワーク損失に従って、前記第１生成ネットワーク、前記第２生成ネットワークおよび前記判別ネットワークをトレーニングするように構成されるトレーニングサブモジュールとを備えることを特徴とする、
項目２４に記載の画像生成装置。
（項目２６）
前記損失決定サブモジュールは、
前記参照画像、前記第４画像および前記第５画像に従って、前記ニューラルネットワークの画素損失を決定し、
前記判別結果に従って、前記ニューラルネットワークの敵対的損失を決定し、
前記参照画像、前記第４画像、前記第５画像およびトレーニングされた畳み込みネットワークに従って、前記ニューラルネットワークのスタイル損失を決定し、
前記画素損失、前記敵対的損失および前記スタイル損失に従って、前記ニューラルネットワークのネットワーク損失を決定するように構成されることを特徴とする、
項目２５に記載の画像生成装置。
（項目２７）
前記損失決定サブモジュールは、さらに、
前記参照画像、前記第４画像、前記第５画像および前記判別ネットワークに従って、前記ニューラルネットワークの特徴マッチング損失を決定し、
前記画素損失、前記敵対的損失、前記スタイル損失および前記特徴マッチング損失に従って、前記ニューラルネットワークのネットワーク損失を決定するように構成されることを特徴とする、
項目２６に記載の画像生成装置。
（項目２８）
前記目標対象は髪を含み、前記目標対象の線画像は、少なくとも、髪の輪郭線および方向線を含むことを特徴とする、
項目１５ないし２７のいずれか一項に記載の画像生成装置。
（項目２９）
電子機器であって、
プロセッサと、
プロセッサ実行可能命令を記憶するように構成されるメモリとを備え、
前記プロセッサは、項目１ないし１４のいずれか一項に記載の方法を実行するように構成されることを特徴とする、前記電子機器。
（項目３０）
コンピュータプログラム命令が記憶されたコンピュータ読み取り可能な記憶媒体であって、
前記コンピュータプログラム命令がプロセッサによって実行されると、項目１ないし１４のいずれか一項に記載の方法を実行することを特徴とする、前記コンピュータ読み取り可能な記憶媒体。
（項目３１）
コンピュータプログラムであって、
コンピュータ読み取り可能なコードを含み、前記コンピュータ読み取り可能なコードが電子機器によって実行される時に、前記電子機器におけるプロセッサは、項目１ないし１４のいずれか一項に記載の方法を実現するための命令を実行することを特徴とする、前記コンピュータプログラム。
【国際調査報告】
2021518961.tif 000058
2021518961.tif 000059
2021518961.tif 000060
2021518961.tif 000061