(57)【特許請求の範囲】
【請求項１】
電子機器が実行する、画像スタイル変換方法であって、
スタイル変換対象の初期画像を取得することと、
前記初期画像の勾配を画像スタイル変換モデルに入力し、前記画像スタイル変換モデルから前記初期画像の勾配空間における特徴マップを得ることであって、前記画像スタイル変換モデルが、勾配空間においてピクセル単位損失および知覚損失に基づいて訓練して得られたものである、ことと、
前記初期画像の勾配空間における特徴マップに基づいて画像再構築を行い、スタイル画像を得ることと、を含む、画像スタイル変換方法。
【請求項２】
さらに、前記画像スタイル変換モデルを訓練することを含み、前記画像スタイル変換モデルの訓練目標が総損失
0006874168.tif 000280
を最小にすることであり、
0006874168.tif 000281
が
0006874168.tif 000282
式で表され、ここで、前記
0006874168.tif 000283
は知覚損失を表し、前記
0006874168.tif 000284
はピクセル単位損失を表し、前記
0006874168.tif 000285
および前記
0006874168.tif 000286
の値はいずれも実数とする、請求項１に記載の方法。
【請求項３】
前記画像スタイル変換モデルは、ピクセル単位損失モデルと知覚損失モデルとを含み、前記ピクセル単位損失モデルが、勾配空間においてピクセル単位損失を最小にすることを訓練目標として得られるものであり、前記知覚損失モデルが、勾配空間において知覚損失を最小にすることを訓練目標として訓練して得られたものである、請求項１に記載の方法。
【請求項４】
前記ピクセル単位損失モデルおよび前記知覚損失モデルの訓練プロセスは、訓練サンプルの勾配を前記ピクセル単位損失モデルに入力し、前記ピクセル単位損失モデルから前記訓練サンプルのサンプル出力結果を得ることと、
前記訓練サンプルに対応するスタイル化の参考画像の勾配を確定することと、
前記参考画像の勾配に基づいて前記知覚損失モデルの第ｊ層の畳み込み層の第一出力特徴マップにおいて、およびサンプル出力結果に基づいて前記知覚損失モデルの第ｊ層の畳み込み層の第二出力特徴マップにおいて、前記知覚損失モデルを訓練することと、を含む、請求項３に記載の方法。
【請求項５】
前記参考画像の勾配に基づいて前記知覚損失モデルの第ｊ層の畳み込み層の第一出力特徴マップにおいて、およびサンプル出力結果に基づいて前記知覚損失モデルの第ｊ層の畳み込み層の第二出力特徴マップにおいて、前記知覚損失モデルを訓練するステップは、下式
0006874168.tif 000287
を採用して前記知覚損失モデルを訓練することを含み、ここで、
0006874168.tif 000288
は第ｉ個の訓練サンプルの勾配を表し、
0006874168.tif 000289
はピクセル単位損失モデルを表し、
0006874168.tif 000290
は第ｉ個の訓練サンプルの勾配のピクセル単位損失モデルによる出力結果を表し、
0006874168.tif 000291
は第ｉ個の訓練サンプルのスタイル化の参考画像の勾配を表し、
0006874168.tif 000292
（  ）は知覚損失モデルを採用する時の、知覚損失モデルの第ｊ層の畳み込み層の出力特徴マップを表し、
0006874168.tif 000293
は第ｊ層の畳み込み層に対応する特徴マップのチャネル数、高さおよび幅をそれぞれ表す、請求項４に記載の方法。
【請求項６】
前記ピクセル単位損失モデルの訓練プロセスは、訓練サンプルの勾配を前記ピクセル単位損失モデルの入力として、前記ピクセル単位損失モデルからサンプル出力結果を得ることと、
前記訓練サンプルに対応するスタイル化の参考画像の勾配を確定することと、
前記参考画像の勾配およびサンプル出力結果に基づいて前記ピクセル単位損失モデルを訓練することと、を含む、請求項３に記載の方法。
【請求項７】
前記ピクセル単位損失モデルは、第一畳み込み層セット、アップサンプリング層および第二畳み込み層セットを含み、前記参考画像の勾配およびサンプル出力結果に基づいて前記ピクセル単位損失モデルを訓練するステップは、
前記訓練サンプルの勾配を前記第一畳み込み層セットに入力し、サンプル特徴マップを得ることと、
前記サンプル特徴マップを前記アップサンプリング層に入力し、前記初期画像のピクセルサイズまでアップサンプリングすることと、
アップサンプリング後のサンプル特徴マップを前記第二畳み込み層セットに入力し、サンプル出力結果を得ることと、を含む、請求項４に記載の方法。
【請求項８】
前記参考画像の勾配およびサンプル出力結果に基づいて前記ピクセル単位損失モデルを訓練するステップは、
各訓練サンプルの
0006874168.tif 000294
と対応する
0006874168.tif 000295
との差の絶対値に基づいて前記ピクセル単位損失モデルを訓練することを含み、
ここで、
0006874168.tif 000296
は第ｉ個の訓練サンプルの勾配を表し、
0006874168.tif 000297
はピクセル単位損失モデルを表し、
0006874168.tif 000298
は第ｉ個の訓練サンプルの勾配のピクセル単位損失モデル
0006874168.tif 000299
による出力結果を表し、
0006874168.tif 000300
は第ｉ個の訓練サンプルのスタイル化の参考画像の勾配を表す、請求項７に記載の方法。
【請求項９】
各訓練サンプルの
0006874168.tif 000301
と対応する
0006874168.tif 000302
との差の絶対値に基づいて前記ピクセル単位損失モデルを訓練するステップは、下式
0006874168.tif 000303
を採用して前記ピクセル単位損失モデルを訓練することを含み、ここで、
0006874168.tif 000304
は第ｉ個の訓練サンプルの勾配を表し、
0006874168.tif 000305
はピクセル単位損失モデルを表し、
0006874168.tif 000306
は第ｉ個の訓練サンプルの勾配のピクセル単位損失モデル
0006874168.tif 000307
による出力結果を表し、
0006874168.tif 000308
は第ｉ個の訓練サンプルのスタイル化の参考画像の勾配を表し、Ｄは訓練サンプルセット内のサンプル数を表す、請求項８に記載の方法。
【請求項１０】
前記初期画像の勾配空間における特徴マップに基づいて画像再構築を行い、スタイル画像を得るステップは、
前記初期画像の勾配空間における特徴マップとの構造類似度条件を満たす画像を、前記スタイル画像とすることを含み、
ここで、前記初期画像の勾配空間における特徴マップとの構造類似度条件を満たすことは、
前記スタイル画像と前記初期画像との構造差異度が類似度閾値よりも小さいか、または、前記スタイル画像と前記初期画像との構造差異度が最小であることを含み、構造差異度は、勾配空間におけるスタイル画像と前記初期画像との勾配空間における特徴マップの少なくとも一つの参考方向における変化傾向である、請求項１から９のいずれか一項に記載の方法。
【請求項１１】
前記初期画像の勾配空間における特徴マップに基づいて画像再構築を行い、スタイル画像を得るステップは、
0006874168.tif 000309
に基づいて画像再構築を行い、スタイル画像を得ることを含み、ここで、
0006874168.tif 000310
は前記初期画像のｘ方向における勾配を表し、
0006874168.tif 000311
は前記初期画像のｘ方向における勾配の前記画像スタイル変換モデルによる勾配空間における特徴マップを表し、
0006874168.tif 000312
は前記初期画像のｙ方向における勾配を表し、
0006874168.tif 000313
は前記初期画像のｙ方向における勾配の前記画像スタイル変換モデルによる勾配空間における特徴マップを表し、
0006874168.tif 000314
はスタイル画像のｘ方向における勾配を表し、
0006874168.tif 000315
はスタイル画像のｙ方向における勾配を表す、請求項１０に記載の方法。
【請求項１２】
前記初期画像の勾配空間における特徴マップに基づいて画像再構築を行い、スタイル画像を得るステップは、
前記初期画像の色情報および前記初期画像の勾配空間における特徴マップに基づいて画像再構築を行い、スタイル画像を得ることを含む、請求項１から９のいずれか一項に記載の方法。
【請求項１３】
前記初期画像の色情報および前記初期画像の勾配空間における特徴マップに基づいて画像再構築を行い、スタイル画像を得るステップは、
前記初期画像の勾配空間における特徴マップとの構造類似度条件を満たす画像を、かつ前記初期画像との色類似度条件を満たす画像を、前記スタイル画像とすることを含む、請求項１２に記載の方法。
【請求項１４】
さらに、前記初期画像に対して特徴抽出を行い、前記初期画像における顔領域を得ることを含み、
それに応じて、前記初期画像の色情報および前記初期画像の勾配空間における特徴マップに基づいて画像再構築を行い、スタイル画像を得るステップは、
前記初期画像の勾配空間における特徴マップとの構造類似度条件を満たす画像を、かつ前記初期画像における顔領域との色類似度条件を満たす画像を、前記スタイル画像とすることを含む、請求項１２に記載の方法。
【請求項１５】
前記初期画像の勾配空間における特徴マップとの構造類似度条件を満たす画像を、かつ前記初期画像との色類似度条件を満たす画像を、前記スタイル画像とするステップは、
0006874168.tif 000316
に基づいて画像再構築を行い、スタイル画像を得ることを含み、ここで、Ｉは初期画像を表し、Ｓはスタイル画像を表し、
0006874168.tif 000317
は前記初期画像のｘ方向における勾配を表し、
0006874168.tif 000318
は前記初期画像のｘ方向における勾配の前記画像スタイル変換モデルによる勾配空間における特徴マップを表し、
0006874168.tif 000319
は前記初期画像のｙ方向における勾配を表し、
0006874168.tif 000320
は前記初期画像のｙ方向における勾配の前記画像スタイル変換モデルによる勾配空間における特徴マップを表し、
0006874168.tif 000321
はスタイル画像のｘ方向における勾配を表し、
0006874168.tif 000322
はスタイル画像のｙ方向における勾配を表す、請求項１３に記載の方法。
【請求項１６】
前記初期画像の勾配を画像スタイル変換モデルに入力し、前記画像スタイル変換モデルから初期画像の勾配空間における特徴マップを得るステップは、
前記初期画像の少なくとも一つの参考方向における勾配を確定することと、
少なくとも一つの参考方向における勾配を画像スタイル変換モデルに入力し、前記画像スタイル変換モデルから初期画像の少なくとも一つの参考方向における勾配空間における特徴マップを対応的に得ることと、
それに応じて、少なくとも一つの参考方向における勾配空間における特徴マップに基づいて画像再構築を行い、スタイル画像を得ることと、を含む、請求項１から９のいずれか一項に記載の方法。
【請求項１７】
前記少なくとも一つの参考方向は平面参考座標系におけるｘ、ｙ方向を含み、それに応じて、前記初期画像の勾配を画像スタイル変換モデルに入力し、前記画像スタイル変換モデルから初期画像の勾配空間における特徴マップを得るステップは、
前記初期画像のそれぞれｘ、ｙ方向における勾配を確定することと、
ｘ、ｙ方向における勾配を画像スタイル変換モデルにそれぞれ入力し、前記画像スタイル変換モデルから初期画像のｘ、ｙ方向における勾配空間における特徴マップを対応的に得ることと、
ｘ、ｙ方向における勾配空間における特徴マップに基づいて画像再構築を行い、スタイル画像を得ることと、を含む、請求項１６に記載の方法。
【請求項１８】
スタイル変換対象の初期画像を取得するための取得ユニットと、
前記初期画像の勾配を画像スタイル変換モデルに入力し、前記画像スタイル変換モデルから前記初期画像の勾配空間における特徴マップを得るための獲得ユニットであって、前記画像スタイル変換モデルが、勾配空間においてピクセル単位損失および知覚損失に基づいて訓練して得られたものである、獲得ユニットと、
前記初期画像の勾配空間における特徴マップに基づいて画像再構築を行い、スタイル画像を得るための再構築ユニットと、を含む、画像スタイル変換装置。
【請求項１９】
コンピュータに、請求項１から１７のいずれか一項に記載の画像スタイル変換方法におけるステップを実行させるためのコンピュータプログラム。
【請求項２０】
コンピュータに、請求項１から１７のいずれか一項に記載の画像スタイル変換方法におけるステップを実行させるためのコンピュータ実行可能な命令を記憶したコンピュータ読み取り可能な記憶媒体。
【請求項２１】
コンピュータ実行可能命令が記憶されているメモリと、プロセッサとを含み、前記プロセッサが前記コンピュータ実行可能命令を実行する時に、請求項１から１７のいずれか一項に記載の画像スタイル変換方法におけるステップを実現する、コンピュータ機器。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本願は２０１８年０８月１３日に出願された、出願番号２０１８１０９１７９７９．７の中国特許出願に基づいて提出され、該中国特許出願の優先権を主張し、その開示の全てが参照によって本願に組み込まれる。
【０００２】
本願は画像技術、特に画像スタイル変換方法および装置、機器、ならびに記憶媒体に関する。
【背景技術】
【０００３】
深層学習に基づく画像スタイル変換は近年新しく現れる課題である。画像スタイル変換の問題が今までずっと存在しているが、２０１５年にドイツの研究者Ｇａｔｙｓは初めてニューラルネットワークによる方法を用いて、深層学習を使用して画像の芸術スタイルを創造する扉を開いた。従来技術では顔写真のスタイル変換が最適化されておらず、例えば、従来技術を自撮り画像に適用する場合、通常、画像スタイル変換後の顔エッジの歪みおよび顔の肌色の不均一という欠点がある。
【発明の概要】
【０００４】
これを鑑みて、本願の実施例は従来技術に存在する少なくとも一つの問題を解決するために画像スタイル変換方法および装置、機器、ならびに記憶媒体を提供する。
【０００５】
本願の実施例の技術的解決手段は以下に記載のように実現される。
【０００６】
本願の実施例は、スタイル変換対象の初期画像を取得することと、前記初期画像の勾配を画像スタイル変換モデルに入力し、前記画像スタイル変換モデルから前記初期画像の勾配空間における特徴マップを得ることであって、前記画像スタイル変換モデルが、勾配空間においてピクセル単位損失および知覚損失に基づいて訓練して得られたものであることと、前記初期画像の勾配空間における特徴マップに基づいて画像再構築を行い、スタイル画像を得ることと、を含む画像スタイル変換方法を提供する。
【０００７】
いくつかの実施例では、前記方法はさらに、前記画像スタイル変換モデルを訓練することを含み、前記画像スタイル変換モデルの訓練目標が総損失
0006874168.tif 000002
を最小にすることであり、
0006874168.tif 000003
が
0006874168.tif 000004
式で表され、ここで、前記
0006874168.tif 000005
は知覚損失を表し、前記
0006874168.tif 000006
はピクセル単位損失を表し、前記
0006874168.tif 000007
および前記
0006874168.tif 000008
の値はいずれも実数とする。
【０００８】
いくつかの実施例では、前記画像スタイル変換モデルは、ピクセル単位損失モデルと知覚損失モデルとを含み、前記ピクセル単位損失モデルが、勾配空間においてピクセル単位損失を最小にすることを訓練目標として得られるものであり、前記知覚損失モデルが、勾配空間において知覚損失を最小にすることを訓練目標として訓練して得られたものである
いくつかの実施例では、前記ピクセル単位損失モデルおよび前記知覚損失モデルの訓練プロセスは、訓練サンプルの勾配を前記ピクセル単位損失モデルに入力し、前記ピクセル単位損失モデルから前記訓練サンプルのサンプル出力結果を得ることと、前記訓練サンプルに対応するスタイル化の参考画像の勾配を確定することと、前記参考画像の勾配に基づいて前記知覚損失モデルの第ｊ層の畳み込み層の第一出力特徴マップにおいて、およびサンプル出力結果に基づいて前記知覚損失モデルの第ｊ層の畳み込み層の第二出力特徴マップにおいて、前記知覚損失モデルを訓練することと、を含む。
【０００９】
いくつかの実施例では、前記参考画像の勾配に基づいて前記知覚損失モデルの第ｊ層の畳み込み層の第一出力特徴マップにおいて、およびサンプル出力結果に基づいて前記知覚損失モデルの第ｊ層の畳み込み層の第二出力特徴マップにおいて、前記知覚損失モデルを訓練する前記ステップは、下式
0006874168.tif 000009
を採用して前記知覚損失モデルを訓練することを含み、ここで、
0006874168.tif 000010
は第ｉ個の訓練サンプルの勾配を表し、
0006874168.tif 000011
はピクセル単位損失モデルを表し、
0006874168.tif 000012
は第ｉ個の訓練サンプルの勾配のピクセル単位損失モデルによる出力結果を表し、
0006874168.tif 000013
は第ｉ個の訓練サンプルのスタイル化の参考画像の勾配を表し、
0006874168.tif 000014
（  ）は知覚損失モデルを採用する時の、知覚損失モデルの第ｊ層の畳み込み層の出力特徴マップを表し、
0006874168.tif 000015
は第ｊ層の畳み込み層に対応する特徴マップのチャネル数、高さおよび幅をそれぞれ表す。
【００１０】
いくつかの実施例では、前記ピクセル単位損失モデルの訓練プロセスは、訓練サンプルの勾配を前記ピクセル単位損失モデルの入力として、前記ピクセル単位損失モデルからサンプル出力結果を得ることと、前記訓練サンプルに対応するスタイル化の参考画像の勾配を確定することと、前記参考画像の勾配およびサンプル出力結果に基づいて前記ピクセル単位損失モデルを訓練することと、を含む。
【００１１】
いくつかの実施例では、前記ピクセル単位損失モデルは第一畳み込み層セット、アップサンプリング層および第二畳み込み層セットを含み、前記参考画像の勾配およびサンプル出力結果に基づいて前記ピクセル単位損失モデルを訓練する前記ステップは、前記訓練サンプルの勾配を前記第一畳み込み層セットに入力し、サンプル特徴マップを得ることと、前記サンプル特徴マップを前記アップサンプリング層に入力し、前記初期画像のピクセルサイズまでアップサンプリングすることと、アップサンプリング後のサンプル特徴マップを前記第二畳み込み層セットに入力し、サンプル出力結果を得ることと、を含む。
【００１２】
いくつかの実施例では、前記参考画像の勾配およびサンプル出力結果に基づいて前記ピクセル単位損失モデルを訓練する前記ステップは、各訓練サンプルの
0006874168.tif 000016
と対応する
0006874168.tif 000017
との差の絶対値に基づいて前記ピクセル単位損失モデルを訓練することを含み、ここで、
0006874168.tif 000018
は第ｉ個の訓練サンプルの勾配を表し、
0006874168.tif 000019
はピクセル単位損失モデルを表し、
0006874168.tif 000020
は第ｉ個の訓練サンプルの勾配のピクセル単位損失モデル
0006874168.tif 000021
による出力結果を表し、
0006874168.tif 000022
は第ｉ個の訓練サンプルのスタイル化の参考画像の勾配を表す。
【００１３】
いくつかの実施例では、各訓練サンプルの
0006874168.tif 000023
と対応する
0006874168.tif 000024
との差の絶対値に基づいて前記ピクセル単位損失モデルを訓練する前記ステップは、下式
0006874168.tif 000025
【００１４】
を採用して前記ピクセル単位損失モデルを訓練することを含み、ここで、
0006874168.tif 000026
は第ｉ個の訓練サンプルの勾配を表し、
0006874168.tif 000027
はピクセル単位損失モデルを表し、
0006874168.tif 000028
は第ｉ個の訓練サンプルの勾配のピクセル単位損失モデル
0006874168.tif 000029
による出力結果を表し、
0006874168.tif 000030
は第ｉ個の訓練サンプルのスタイル化の参考画像の勾配を表し、Ｄは訓練サンプルセット内のサンプル数を表す。
【００１５】
いくつかの実施例では、前記初期画像の勾配空間における特徴マップに基づいて画像再構築を行い、スタイル画像を得る前記ステップは、前記初期画像の勾配空間における特徴マップとの構造類似度条件を満たす画像を、前記スタイル画像とすることを含み、ここで、前記初期画像の勾配空間における特徴マップとの構造類似度条件を満たすことは、前記スタイル画像と前記初期画像との構造差異度が類似度閾値よりも小さいか、または、前記スタイル画像と前記初期画像との構造差異度が最小であることを含み、構造差異度は、勾配空間におけるスタイル画像と前記初期画像との勾配空間における特徴マップの少なくとも一つの参考方向における変化傾向である。
【００１６】
いくつかの実施例では、前記初期画像の勾配空間における特徴マップに基づいて画像再構築を行い、スタイル画像を得る前記ステップは、
0006874168.tif 000031
に基づいて画像再構築を行い、スタイル画像を得ることを含み、ここで、
0006874168.tif 000032
は前記初期画像のｘ方向における勾配を表し、
0006874168.tif 000033
は前記初期画像のｘ方向における勾配の前記画像スタイル変換モデルによる勾配空間における特徴マップを表し、
0006874168.tif 000034
は前記初期画像のｙ方向における勾配を表し、
0006874168.tif 000035
は前記初期画像のｙ方向における勾配の前記画像スタイル変換モデルによる勾配空間における特徴マップを表し、
0006874168.tif 000036
はスタイル画像のｘ方向における勾配を表し、
0006874168.tif 000037
はスタイル画像のｙ方向における勾配を表す。
【００１７】
いくつかの実施例では、前記初期画像の勾配空間における特徴マップに基づいて画像再構築を行い、スタイル画像を得る前記ステップは、前記初期画像の色情報および前記初期画像の勾配空間における特徴マップに基づいて画像再構築を行い、スタイル画像を得ることを含む。
【００１８】
いくつかの実施例では、前記初期画像の色情報および前記初期画像の勾配空間における特徴マップに基づいて画像再構築を行い、スタイル画像を得る前記ステップは、前記初期画像の勾配空間における特徴マップとの構造類似度条件を満たす画像を、かつ前記初期画像との色類似度条件を満たす画像を、前記スタイル画像とすることを含む。
【００１９】
いくつかの実施例では、前記方法はさらに、前記初期画像に対して特徴抽出を行い、前記初期画像における顔領域を得ることを含み、それに応じて、前記初期画像の色情報および前記初期画像の勾配空間における特徴マップに基づいて画像再構築を行い、スタイル画像を得る前記ステップは、前記初期画像の勾配空間における特徴マップとの構造類似度条件を満たす画像を、かつ前記初期画像における顔領域との色類似度条件を満たす画像を、前記スタイル画像とすることを含む。
【００２０】
いくつかの実施例では、前記初期画像の勾配空間における特徴マップとの構造類似度条件を満たす画像を、かつ前記初期画像との色類似度条件を満たす画像を、前記スタイル画像とする前記ステップは、
0006874168.tif 000038
に基づいて画像再構築を行い、スタイル画像を得ることを含み、ここで、Ｉは初期画像を表し、Ｓはスタイル画像を表し、
0006874168.tif 000039
は前記初期画像のｘ方向における勾配を表し、
0006874168.tif 000040
は前記初期画像のｘ方向における勾配の前記画像スタイル変換モデルによる勾配空間における特徴マップを表し、
0006874168.tif 000041
は前記初期画像のｙ方向における勾配を表し、
0006874168.tif 000042
は前記初期画像のｙ方向における勾配の前記画像スタイル変換モデルによる勾配空間における特徴マップを表し、
0006874168.tif 000043
はスタイル画像のｘ方向における勾配を表し、
0006874168.tif 000044
はスタイル画像のｙ方向における勾配を表す。
【００２１】
いくつかの実施例では、前記初期画像の勾配を画像スタイル変換モデルに入力し、前記画像スタイル変換モデルから初期画像の勾配空間における特徴マップを得る前記ステップは、前記初期画像の少なくとも一つの参考方向における勾配を確定することと、少なくとも一つの参考方向における勾配を画像スタイル変換モデルに入力し、前記画像スタイル変換モデルから初期画像の少なくとも一つの参考方向における勾配空間における特徴マップを対応的に得ることと、それに応じて、少なくとも一つの参考方向における勾配空間における特徴マップに基づいて画像再構築を行い、スタイル画像を得ることと、を含む。
【００２２】
いくつかの実施例では、前記少なくとも一つの参考方向は平面参考座標系におけるｘ、ｙ方向を含み、それに応じて、前記初期画像のそれぞれｘ、ｙ方向における勾配を確定し、ｘ、ｙ方向における勾配を画像スタイル変換モデルにそれぞれ入力し、前記画像スタイル変換モデルから初期画像のｘ、ｙ方向における勾配空間における特徴マップを対応的に得て、それに応じて、ｘ、ｙ方向における勾配空間における特徴マップに基づいて画像再構築を行い、スタイル画像を得る。
【００２３】
本願の実施例は、スタイル変換対象の初期画像を取得するための取得ユニットと、前記初期画像の勾配を画像スタイル変換モデルに入力し、前記画像スタイル変換モデルから前記初期画像の勾配空間における特徴マップを得るための獲得ユニットであって、前記画像スタイル変換モデルが、勾配空間においてピクセル単位損失および知覚損失に基づいて訓練して得られたものである、獲得ユニットと、前記初期画像の勾配空間における特徴マップに基づいて画像再構築を行い、スタイル画像を得るための再構築ユニットと、を含む画像スタイル変換装置を提供する。
【００２４】
いくつかの実施例では、前記装置はさらに、前記画像スタイル変換モデルを訓練するための訓練ユニットを含み、前記画像スタイル変換モデルの訓練目標が総損失
0006874168.tif 000045
を最小にすることであり、
0006874168.tif 000046
が
0006874168.tif 000047
式で表され、ここで、前記
0006874168.tif 000048
は知覚損失を表し、前記
0006874168.tif 000049
はピクセル単位損失を表し、前記
0006874168.tif 000050
および前記
0006874168.tif 000051
の値はいずれも実数とする。
【００２５】
いくつかの実施例では、前記画像スタイル変換モデルは、ピクセル単位損失モデルと知覚損失モデルとを含み、前記ピクセル単位損失モデルが、勾配空間においてピクセル単位損失を最小にすることを訓練目標として得られるものであり、前記知覚損失モデルが、勾配空間において知覚損失を最小にすることを訓練目標として訓練して得られたものである。
【００２６】
いくつかの実施例では、前記訓練ユニットは、訓練サンプルの勾配を前記ピクセル単位損失モデルに入力し、前記ピクセル単位損失モデルから前記訓練サンプルのサンプル出力結果を得るための第一入力モジュールと、前記訓練サンプルに対応するスタイル化の参考画像の勾配を確定するための第一確定モジュールと、前記参考画像の勾配に基づいて前記知覚損失モデルの第ｊ層の畳み込み層の第一出力特徴マップにおいて、およびサンプル出力結果に基づいて前記知覚損失モデルの第ｊ層の畳み込み層の第二出力特徴マップにおいて前記知覚損失モデルを訓練するための第一訓練モジュールと、を含む。
【００２７】
いくつかの実施例では、前記第一訓練モジュールは、下式
0006874168.tif 000052
を採用して前記知覚損失モデルを訓練するために用いられ、ここで、
0006874168.tif 000053
は第ｉ個の訓練サンプルの勾配を表し、
0006874168.tif 000054
はピクセル単位損失モデルを表し、
0006874168.tif 000055
は第ｉ個の訓練サンプルの勾配のピクセル単位損失モデルによる出力結果を表し、
0006874168.tif 000056
は第ｉ個の訓練サンプルのスタイル化の参考画像の勾配を表し、
0006874168.tif 000057
（  ）は知覚損失モデルを採用する時の、知覚損失モデルの第ｊ層の畳み込み層の出力特徴マップを表し、
0006874168.tif 000058
は第ｊ層の畳み込み層に対応する特徴マップのチャネル数、高さおよび幅をそれぞれ表す。
【００２８】
いくつかの実施例では、前記訓練ユニットは、訓練サンプルの勾配を確定するための第二確定モジュールと、
前記訓練サンプルの勾配を前記ピクセル単位損失モデルの入力として、前記ピクセル単位損失モデルからサンプル出力結果を得るための第二入力モジュールと、前記訓練サンプルに対応するスタイル化の参考画像の勾配を確定するための第三確定モジュールと、前記参考画像の勾配およびサンプル出力結果に基づいて前記ピクセル単位損失モデルを訓練するための第二訓練モジュールと、を含む。
【００２９】
いくつかの実施例では、前記ピクセル単位損失モデルは第一畳み込み層セット、アップサンプリング層および第二畳み込み層セットを含み、前記第二訓練モジュールは、前記訓練サンプルの勾配を前記第一畳み込み層セットに入力し、サンプル特徴マップを得るための第一入力サブモジュールと、前記サンプル特徴マップを前記アップサンプリング層に入力し、前記初期画像のピクセルサイズまでアップサンプリングするためのアップサンプリングサブモジュールと、アップサンプリング後のサンプル特徴マップを前記第二畳み込み層セットに入力し、サンプル出力結果を得るための第二入力サブモジュールと、を含む。
【００３０】
いくつかの実施例では、前記第二訓練モジュールは、各訓練サンプルの
0006874168.tif 000059
と対応する
0006874168.tif 000060
との差の絶対値に基づいて前記ピクセル単位損失モデルを訓練するために用いられ、ここで、
0006874168.tif 000061
は第ｉ個の訓練サンプルの勾配を表し、
0006874168.tif 000062
はピクセル単位損失モデルを表し、
0006874168.tif 000063
は第ｉ個の訓練サンプルの勾配のピクセル単位損失モデル
0006874168.tif 000064
による出力結果を表し、
0006874168.tif 000065
は第ｉ個の訓練サンプルのスタイル化の参考画像の勾配を表す。
【００３１】
いくつかの実施例では、前記第二訓練モジュールは、下式
0006874168.tif 000066
を採用して前記ピクセル単位損失モデルを訓練するために用いられ、
0006874168.tif 000067
は第ｉ個の訓練サンプルの勾配を表し、
0006874168.tif 000068
はピクセル単位損失モデルを表し、
0006874168.tif 000069
は第ｉ個の訓練サンプルの勾配のピクセル単位損失モデル
0006874168.tif 000070
による出力結果を表し、
0006874168.tif 000071
は第ｉ個の訓練サンプルのスタイル化の参考画像の勾配を表し、Ｄは訓練サンプルセット内のサンプル数を表す。
【００３２】
いくつかの実施例では、前記再構築ユニットは、前記初期画像の勾配空間における特徴マップとの構造類似度条件を満たす画像を、前記スタイル画像とするために用いられ、ここで、前記初期画像の勾配空間における特徴マップとの構造類似度条件を満たすことは、前記スタイル画像と前記初期画像との構造差異度が類似度閾値よりも小さいか、または、前記スタイル画像と前記初期画像との構造差異度が最小であることを含み、構造差異度は、勾配空間におけるスタイル画像と前記初期画像との勾配空間における特徴マップの少なくとも一つの参考方向における変化傾向である。
【００３３】
いくつかの実施例では、前記再構築ユニットは、
0006874168.tif 000072
に基づいて画像再構築を行い、スタイル画像を得るために用いられ、ここで、
0006874168.tif 000073
は前記初期画像のｘ方向における勾配を表し、
0006874168.tif 000074
は前記初期画像のｘ方向における勾配の前記画像スタイル変換モデルによる勾配空間における特徴マップを表し、
0006874168.tif 000075
は前記初期画像のｙ方向における勾配を表し、
0006874168.tif 000076
は前記初期画像のｙ方向における勾配の前記画像スタイル変換モデルによる勾配空間における特徴マップを表し、
0006874168.tif 000077
はスタイル画像のｘ方向における勾配を表し、
0006874168.tif 000078
はスタイル画像のｙ方向における勾配を表す。
【００３４】
いくつかの実施例では、前記再構築ユニットは、前記初期画像の色情報および前記初期画像の勾配空間における特徴マップに基づいて画像再構築を行い、スタイル画像を得るために用いられる。
【００３５】
いくつかの実施例では、前記再構築ユニットは、前記初期画像の勾配空間における特徴マップとの構造類似度条件を満たす画像を、かつ前記初期画像との色類似度条件を満たす画像を、前記スタイル画像とするために用いられる。
【００３６】
いくつかの実施例では、前記装置はさらに、前記初期画像に対して特徴抽出を行い、前記初期画像における顔領域を得るための抽出ユニットを含み、それに応じて、前記再構築ユニットは、前記初期画像の勾配空間における特徴マップとの構造類似度条件を満たす画像を、かつ前記初期画像における顔領域との色類似度条件を満たす画像を、前記スタイル画像とするために用いられる。
【００３７】
いくつかの実施例では、前記再構築ユニットは、
0006874168.tif 000079
に基づいて画像再構築を行い、スタイル画像を得るために用いられ、ここで、Ｉは初期画像を表し、Ｓはスタイル画像を表し、
0006874168.tif 000080
は前記初期画像のｘ方向における勾配を表し、
0006874168.tif 000081
は前記初期画像のｘ方向における勾配の前記画像スタイル変換モデルによる勾配空間における特徴マップを表し、
0006874168.tif 000082
は前記初期画像のｙ方向における勾配を表し、
0006874168.tif 000083
は前記初期画像のｙ方向における勾配の前記画像スタイル変換モデルによる勾配空間における特徴マップを表し、
0006874168.tif 000084
はスタイル画像のｘ方向における勾配を表し、
0006874168.tif 000085
はスタイル画像のｙ方向における勾配を表す。
【００３８】
いくつかの実施例では、前記獲得ユニットは、前記初期画像の少なくとも一つの参考方向における勾配を確定するための第四確定モジュールと、少なくとも一つの参考方向における勾配を画像スタイル変換モデルに入力し、前記画像スタイル変換モデルから初期画像の少なくとも一つの参考方向における勾配空間における特徴マップを対応的に得るための特徴マップ取得モジュールと、を含み、それに応じて、前記再構築ユニットは、少なくとも一つの参考方向における勾配空間における特徴マップに基づいて画像再構築を行い、スタイル画像を得るために用いられる。
【００３９】
いくつかの実施例では、前記少なくとも一つの参考方向は平面参考座標系におけるｘ、ｙ方向を含み、それに応じて、確定ユニットは、前記初期画像のそれぞれｘ、ｙ方向における勾配を確定するために用いられ、前記獲得ユニットは、ｘ、ｙ方向における勾配を画像スタイル変換モデルにそれぞれ入力し、前記画像スタイル変換モデルから初期画像のｘ、ｙ方向における勾配空間における特徴マップを対応的に得るために用いられ、それに応じて、前記再構築ユニットは、ｘ、ｙ方向における勾配空間における特徴マップに基づいて画像再構築を行い、スタイル画像を得るために用いられる。
【００４０】
本願の実施例は、プロセッサにおいて運用可能なコンピュータプログラムが記憶されているメモリ、および、前記プログラムを実行する時に上記画像スタイル変換方法におけるステップを実現するプロセッサを含むコンピュータ機器を提供する。
【００４１】
本願の実施例は、プロセッサに実行される時に上記画像スタイル変換方法におけるステップを実現するコンピュータプログラムが記憶されているコンピュータ読み取り可能記憶媒体を提供する。
【００４２】
本願の実施例は、実行されてから、上記画像スタイル変換方法におけるステップを実現できるコンピュータ実行可能命令を含むコンピュータプログラム製品を提供する。
【００４３】
本願の実施例が提供する画像スタイル変換方法および装置、機器、ならびに記憶媒体によれば、スタイル変換対象の初期画像を取得し、前記初期画像の勾配を、勾配空間においてピクセル単位損失および知覚損失に基づいて訓練して得られた画像スタイル変換モデルに入力し、前記画像スタイル変換モデルから前記初期画像の勾配空間における特徴マップを得て、前記初期画像の勾配空間における特徴マップに基づいて画像再構築を行い、スタイル画像を得て、このように、勾配空間においてピクセル単位損失および知覚損失に基づいて訓練して得られた画像スタイル変換モデルによって、関連技術での顔エッジの歪みおよび色の不均一という欠点を克服でき、画像スタイル変換と共に、入力された初期画像の美化および増強を実現できる。
【図面の簡単な説明】
【００４４】
【図１】本願の実施例のネットワークアーキテクチャの構成模式図である。
【図２Ａ】本願の実施例の画像スタイル変換方法の実現フローチャートである。
【図２Ｂ】本願の実施例のダウンロードシナリオの概略図である。
【図３Ａ】本願の実施例の実施シナリオの概略図１である。
【図３Ｂ】本願の実施例の実施シナリオの概略図２である。
【図４Ａ】本願の実施例の実施シナリオの概略図３である。
【図４Ｂ】本願の実施例の実施シナリオの概略図４である。
【図５Ａ】本願の実施例が提供する畳み込みニューラルネットワークモデルの構成模式図である。
【図５Ｂ】本願の実施例のピクセル単位損失モデルの構成模式図である。
【図６】本願の実施例の画像スタイル変換装置の構成模式図である。
【図７】本願の実施例におけるコンピュータ機器のハードウェア実体模式図である。
【発明を実施するための形態】
【００４５】
ニューラルネットワークによる方法を用いてスタイル画像を生成するプロセスは一般的に、ニューラルネットワークモデル、例えばＶＧＧ１６モデルまたはＶＧＧ１９によって、一つのコンテンツ画像（Ｃｏｎｔｅｎｔ  Ｉｍａｇｅ）および一つのスタイル画像（Ｓｔｙｌｅ  Ｉｍａｇｅ）について画像特徴をそれぞれ抽出し、即ちコンテンツ画像についてコンテンツ特徴を抽出し、スタイル画像についてスタイル特徴を抽出するとおりである。コンテンツ特徴およびスタイル特徴について損失関数を構築することで、一つのランダム初期化画像について損失値を計算しかつ再構築画像をフィードバックして生成画像（Ｇｅｎｅｒａｔｅｄ  Ｉｍａｇｅ）を得て、該生成画像はコンテンツがコンテンツ画像に類似し、スタイルがスタイル画像に類似する。しかし、このアルゴリズムは一つの画像を生成するたびに一回訓練しなければならず、かかる時間が長い。
【００４６】
高速スタイル転移アルゴリズムに基づき、一つのネットワークを訓練すれば、任意の画像をネットワークに対応するスタイルに変換可能であるため、一つの画像を生成するたびにネットワークを一回順方向に伝播するのみであり、速度が速い。
【００４７】
高速転移アルゴリズムは一般的に、画像変換ネットワーク（Ｉｍａｇｅ  Ｔｒａｎｓｆｏｒｍ  Ｎｅｔｗｏｒｋ）、および損失ネットワーク（Ｌｏｓｓ  Ｎｅｔｗｏｒｋ）の二つのネットワークを含む。画像変換ネットワークは画像を変換するためのものであり、そのパラメータは可変であるが、損失ネットワークのパラメータは不変であり、ＩｍａｇｅＮｅｔ画像ライブラリにおいて訓練されておいたＶＧＧ−１６ネットワークを損失ネットワークとして用いてもよく、コンテンツ画像の画像変換ネットワークによる結果画像、スタイル画像およびコンテンツ画像の３つの画像については、いずれも損失ネットワークによって、その知覚損失（Ｐｅｒｃｅｐｔｕａｌ  Ｌｏｓｓ）を抽出し、そして知覚損失によって画像変換ネットワークを訓練する。訓練段階で大量の画像を利用して画像変換ネットワークを訓練してモデルを得て、出力段階でモデルを適用して生成画像を出力して得て、このように得られたネットワークはＧａｔｙｓのモデルによる生成画像に比べて速度が三桁早い。
【００４８】
しかし、従来技術では顔写真のスタイル変換が最適化されておらず、例えば、従来技術は自撮り画像に用いられる場合、一般に、１）顔エッジが元の画像から変形され、即ち出力画像の構造情報が変化する可能性があり、２）顔の肌色が元の肌色と一致せず、即ち出力画像の色情報が変化する可能性があるという二つの顕著な欠点が存在する。これにより、スタイル化後、ユーザは自分に似合わないと思ってしまい、例えば初期画像におけるユーザＡの顔は丸顔であるが、スタイル化後、出力されたスタイル画像におけるユーザＡの顔は瓜実顔になってしまい、さらに例えば、ユーザＢの肌が白皙であるが、スタイル化後、出力されたスタイル画像におけるユーザＢの肌が黒ずんでいるようになってしまったことである。即ちどのように初期コンテンツ画像の構造情報および色情報をより効果的に維持するかは解決すべき問題である。
【００４９】
従来技術の問題を解決するために、本願の実施例は完全に画像勾配空間に基づく画像スタイル変換用の畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ、ＣＮＮ）構造を提供し、勾配空間学習のエッジ維持性により、本願の実施例が提供する画像スタイル変換ネットワークは従来方法でのエッジ歪みという欠点を克服できる。本願の実施例では、画像スタイル変換の画像再構築階段で、色信頼度（ｃｏｌｏｒ  ｃｏｎｆｉｄｅｎｃｅ）という用語を導入して結果画像の肌色の迫真性を維持する。画像再構築段階ではコンテンツ画像の構造情報を利用し、またコンテンツ画像の色情報をも利用し、このように結果をより自然にすることができる。
【００５０】
本願の実施例では、初めて勾配空間において知覚損失（ｐｅｒｃｅｐｔｕａｌ  ｌｏｓｓ）を直接使用し、それによって学習したスタイル情報は色よりもストロークにフォーカスされ、さらに顔のスタイル変換タスクに適する。
【００５１】
本願の各実施例をより明確に理解するために、ここで関連用語を解釈する。
【００５２】
サンプリング
通常サブサンプリング（ｓｕｂｓａｍｐｌｅｄ）またはダウンサンプリング（ｄｏｗｎ−ｓａｍｐｌｅｄ）をいい、サンプリング対象が連続信号である場合、連続信号をサブサンプリングした後に、離散信号を得る。画像にとって、サブサンプリングの目的は、計算の便宜上で画像を縮小することであり得る。サブサンプリングの原理は、Ｍ＊Ｎサイズの画像Ｉに対して、ｓ倍サブサンプリングすると、（Ｍ／ｓ）＊（Ｎ／ｓ）サイズの解像度の画像を得るとおりであり、当然、ｓはＭとＮの公約数でなければならず、マトリックス形式の画像である場合、元画像のｓ＊ｓウィンドウ内の画像を一つのピクセルに変えることになり、このピクセルポイントの値はウィンドウ内の全てのピクセルの平均値となる。
【００５３】
アップサンプリング
サブサンプリングの逆プロセスをいい、アップサンプリング（Ｕｐ−ｓａｍｐｌｉｎｇ）または補間（Ｉｎｔｅｒｐｏｌａｔｉｎｇ）とも呼ばれる。画像にとって、アップサンプリングによって高解像度の画像を得ることができる。アップサンプリングの原理は、基本的に補間値方法によって画像を拡大し、即ち既存の画像ピクセルをもとに適当な補間アルゴリズムを採用してピクセルポイントの間を新たなピクセルで補間するとおりである。
【００５４】
チャネル（ｃｈａｎｎｅｌ）
該用語は二つの異なる意味を有し、一つ目はサンプル画像（訓練サンプルとしての画像）にとって、色チャネル（Ｎｕｍｂｅｒ  ｏｆ  ｃｏｌｏｒ  ｃｈａｎｎｅｌｓ  ｉｎ  ｔｈｅ  ｅｘａｍｐｌｅ  ｉｍａｇｅｓ）を指しており、以下に色チャネルでサンプル画像のチャネルを表し、二つ目は出力空間の次元数をいい、例えば畳み込みでの出力チャネルの数、または各畳み込み層における畳み込みカーネルの数である。
【００５５】
色チャネルは、画像を一つ以上の色成分または色コンポーネントに分解する。単色チャネルは、一つのピクセルポイントを一つのみの数値で表せばよく、階調しか示すことができず、０の場合が黒である。三色チャネルは、赤緑青（Ｒｅｄ  Ｇｒｅｅｎ  Ｂｌｕｅ、ＲＧＢ）のカラーパターンを採用して、画像を赤緑青の三つの色チャネルに分ける場合、カラーを示すことができ、全０の場合が黒である。四色チャネルは、ＲＧＢカラーパターンのもとにａｌｐｈａチャネルが追加され、透明度を示すことができ、ａｌｐｈａ＝０の場合が完全透明である。
【００５６】
畳み込みニューラルネットワーク
多層監視学習ニューラルネットワークであり、隠れ層の畳み込み層およびプーリング層が畳み込みニューラルネットワーク特徴抽出機能を実現するコアモジュールである。畳み込みニューラルネットワークの下位隠れ層は、交替に設置された畳み込み層と最大プーリング層からなり、上位層は、全結合層が従来の多層パーセプトロンに対応する隠れ層およびロジスティック回帰分類器である。最初の全結合層の入力は畳み込み層およびサブサンプリング層によって特徴を抽出した特徴画像である。最後の出力層は分類器であり、ロジスティック回帰、Ｓｏｆｔｍａｘ回帰ひいてはサポートベクターマシンを用いて初期画像を分類できる。ＣＮＮにおける各層はそれぞれ複数のｍａｐからなり、各ｍａｐは複数のニューラルユニットからなり、同一ｍａｐの全てのニューラルユニットは一つの畳み込みカーネル（即ち重み）を共有し、畳み込みカーネルは一つの特徴を表すことが多く、例えばある畳み込みカーネルは一つのアークを表す場合、該畳み込みカーネルを画像全体において一回畳み込めば、畳み込み値が大きい領域は一つのアークである可能性が高い。ＣＮＮは一般的に畳み込み層とサンプリング層が交互に設置され、即ち一つの畳み込み層に次いで一つのサンプリング層が設置され、またサンプリング層に次いでもう一つの畳み込み層が設置され、当然ながら、複数の畳み込み層に次いで一つのサンプリング層を設置してもよく、このように畳み込み層は特徴を抽出し、さらに組み合わせてより抽象的な特徴を形成させ、最後に対象画像の記述特徴を形成させ、また、ＣＮＮ後方には全結合層を設置してもよい。
【００５７】
畳み込みニューラルネットワークの構造は畳み込み層、ダウンサンプリング層および全結合層を含む。一層当たり複数の特徴マップがあり、各特徴マップは入力された特徴を畳み込みフィルタによって抽出し、一つの特徴マップは複数のニューロンを有する。
【００５８】
畳み込み層
畳み込み層を使用する原因は、畳み込み演算が、原信号特徴を増強させ、ノイズを低減することができるという重要な特徴を有することである。
【００５９】
ダウンサンプリング層
ダウンサンプリング層を使用する原因は、画像の局所相関性の原理に基づき、画像をサブサンプリングすれば計算量を低減すると共に、画像の回転不変性を維持できることである。
【００６０】
全結合層
ｓｏｆｔｍａｘ完全接続を採用することで、得られた活性化値は畳み込みニューラルネットワークが抽出した画像特徴である。
【００６１】
活性化関数
ニューロンが多層パーセプトロンの基本ユニットであれば、その関数は活性化伝送となる。即ちニューロンにとって、入力は一部もしくは全ての畳み込みニューラルネットワークの入力または一部もしくは全ての前の層の出力であり、活性化関数による計算によって、得られた結果はニューロンの出力結果とされる。一般的な活性化関数はｓｉｇｍｏｉｄ関数、ｔａｎｈ関数、正規化線形関数（Ｒｅｃｔｉｆｉｅｄ  Ｌｉｎｅａｒ  Ｕｎｉｔ、ＲｅＬｕ）が挙げられる。
【００６２】
ＲｅＬｕ関数
その公式はＲｅＬｕ（ｘ）＝ｍａｘ（０，  ｘ）であり、ＲｅＬｕ関数のグラフからわかるように、ＲｅＬｕは他の活性化関数、例えばｓｉｇｍｏｉｄ関数に比べて、主に、（１）片側抑制、（２）比較的広い興奮境界、（３）疎な活性化性という三つの変化がある。
【００６３】
ピクセル単位損失（Ｐｉｘｅｌ−ｗｉｓｅ  Ｌｏｓｓ）
Ｉｅｓｔを畳み込みニューラルネットワークの出力結果、ＩＨＲを元の高解像度画像と仮定すれば、ｐｉｘｅｌ−ｗｉｓｅ  ｌｏｓｓは画像ＩｅｓｔとＩＨＲの両者間での対応する各ピクセルのマッチングを強調することになり、これは目視による知覚結果と異なる。一般的には、ｐｉｘｅｌ−ｗｉｓｅ  ｌｏｓｓによって訓練された画像は平滑で、高周波情報が欠いている。
【００６４】
知覚損失（Ｐｅｒｃｅｐｔｕａｌ  Ｌｏｓｓ）
Ｉｅｓｔが畳み込みニューラルネットワークの出力結果を表し、ＩＨＲが元の高解像度画像を表すと仮定すれば、微分可能な関数ΦにそれぞれＩｅｓｔおよびＩＨＲを入力すると、ネットワーク出力画像と元の高解像度画像とのｐｉｘｅｌ−ｗｉｓｅでの一致が必要でなくなる。
【００６５】
ＶＧＧモデル
その構造は簡単かつ効率的で、最初の数層では３×３の畳み込みカーネルのみを使用してネットワークの深さを増加させ、最大プーリング（ｍａｘ  ｐｏｏｌｉｎｇ）によって各層のニューロン数を順に低下させ、最後の三つの層はそれぞれ、４０９６個のニューロンを有する２つの全結合層および１つのｓｏｆｔｍａｘ層である。「１６」および「１９」はネットワークでの更新および重み（即ちｗｅｉｇｈｔ、学習すべきパラメータ）が必要なネットワーク層数を表し、ＶＧＧ１６モデルおよびＶＧＧ１９モデルの重みはＩｍａｇｅＮｅｔによって訓練された。
【００６６】
モデルパラメータ
一般的にはモデル内部の構成変数と理解してもよく、履歴データまたは訓練サンプルを用いてモデルパラメータの値を推定でき、あるいは、モデルパラメータは履歴データまたは訓練サンプルによって自動的に学習可能な変数である。一定程度で、モデルパラメータは、データ推定またはデータ学習によって得られ、モデル予測に必要で、その値がモデル機能を定義可能で、一般的に実践者により手動で設定されることがなく、通常、学習モデルの一部として保存され、かつパラメータの可能な値を効率的に検索する最適化アルゴリズムによって推定されるという特徴を有する。人工ニューラルネットワークにおいて、ネットワークモデルの重み、偏差は一般的にモデルパラメータと呼ばれる。
【００６７】
モデルハイパーパラメータ
一般的にはモデル外部の構成と理解してもよく、その値がデータ推定から得ることができない。一定程度で、モデルハイパーパラメータは、モデルパラメータの推定プロセスに用いることが多く、通常、実践者により直接指定され、かつヒューリスティックな方法によって設定可能で、かつ指定された予測モデリング課題に応じて調整されるという特徴を有する。言い換えれば、モデルハイパーパラメータはモデルの何らかのパラメータを確定するためのものであり、ハイパーパラメータによって、モデルが異なる。ここのモデルが異なるとは僅かな差異が存在することをいい、例えばいずれもＣＮＮモデルであると仮定すると、この事実に関わらず、層の数が異なるなら、モデルも異なる。深層学習では、ハイパーパラメータは、学習速度、反復回数、層数、各層のニューロン数などを含む。
【００６８】
以下に図面と実施例を関連付けて本願の技術的解決手段をさらに詳細に説明する。
【００６９】
本願の実施例はまずネットワークアーキテクチャを提供し、図１は本願の実施例のネットワークアーキテクチャの構成模式図であり、図１に示すように、該ネットワークアーキテクチャは、ネットワーク２１によって対話する二つ以上の電子機器１１から１Ｎとサーバ３１を含む。電子機器は実現プロセスにおいて情報処理能力を有する様々なタイプのコンピュータ機器であってもよく、例えば前記電子機器は携帯電話、タブレット、デスクトップ、携帯情報端末、ナビゲーター、デジタル電話、テレビなどを含んでもよい。
【００７０】
本願の実施例は画像スタイル変換方法を提供し、出力画像の構造情報が初期画像と比べて変化するという問題を効果的に解決でき、該方法は電子機器に用いられ、それが実現する機能は電子機器内のプロセッサによってプログラムコードを呼び出して実現してもよく、当然ながら、プログラムコードはコンピュータ記憶媒体に記憶可能であり、よって、該電子機器は少なくともプロセッサおよび記憶媒体を含む。
【００７１】
図２Ａは本願の実施例の画像スタイル変換方法の実現フローチャートであり、図２Ａに示すように、該方法は以下のステップを含む。
【００７２】
ステップＳ２０１、スタイル変換対象の初期画像を取得する。
【００７３】
本願の実施例が提供する画像スタイル変換方法は実現プロセスでクライアント（アプリケーションプログラム）によって具現化できる。図２Ｂを参照すると、ユーザは自分の電子機器１２においてサーバ３１からクライアントをダウンロードし、例えば、電子機器１２はサーバ３１へ、クライアントをダウンロードするためのダウンロード要求を送信し、サーバ３１は該ダウンロード要求に応答し、電子機器１２へ、クライアント例えばアンドロイドシステムの場合のアンドロイドパッケージ（Ａｎｄｒｏｉｄ  Ｐａｃｋａｇｅ、ＡＰＫ）が含まれているダウンロード応答を送信し、続いてユーザは自分の電子機器にダウンロードされたクライアントをインストールし、さらに電子機器はクライアントを運用し、つまり、電子機器は本願の実施例が提供する画像スタイル変換方法を実現できる。
【００７４】
ステップＳ２０１が電子機器側で実現される場合には、ユーザはアルバムからピクチャーを選択する時、クライアントはユーザがピクチャーを選択する操作を受信し、即ちクライアントは選択されたピクチャーをスタイル変換対象の初期画像として確定するか、または、ユーザは電子機器のカメラまたは外部カメラを用いて写真を撮り、クライアントはユーザが写真を撮る操作を受信し、即ちクライアントは撮られた写真をスタイル変換対象の初期画像として確定するような実現プロセスになってもよい。当業者であれば、該ステップはさらに他の実施形態で実施してもよいことを理解すべきである。
【００７５】
ステップＳ２０２、前記初期画像の勾配を画像スタイル変換モデルに入力し、前記画像スタイル変換モデルから前記初期画像の勾配空間における特徴マップを得る。
【００７６】
ここで、前記画像スタイル変換モデルは訓練されたものであり、かつ勾配空間においてピクセル単位損失および知覚損失に基づいて訓練して得られたものでもある。いくつかの実施例では、前記画像スタイル変換モデルは勾配空間においてピクセル単位損失および知覚損失を目標として訓練されたものである。
【００７７】
ステップＳ２０３、前記初期画像の勾配空間における特徴マップに基づいて画像再構築を行い、スタイル画像を得る。
【００７８】
ここで、スタイル画像は、再構築されたスタイル化対象の画像である。実現プロセスでは、訓練された画像スタイル変換モデルは電子機器のローカルに存在してもよいし、サーバ側に存在してもよい。訓練された画像スタイル変換モデルが電子機器のローカルに存在する場合には、電子機器がクライアントをインストールする時に、訓練された画像スタイル変換モデルがインストールされるようにしもよく、このように、図３Ａを参照すると、電子機器はステップＳ２０１で初期画像を得て、続いてステップＳ２０２で前記初期画像の勾配空間における特徴マップ（即ち出力結果）を得て、最後にステップＳ２０３で出力されるスタイル画像を得る。以上のプロセスからわかるように、電子機器がクライアントをインストールしておいた後、上記ステップＳ２０１からステップＳ２０３はいずれも電子機器のローカルで実行され、最後に、電子機器は得られたスタイル画像をユーザに出力する。
【００７９】
いくつかの実施例では、訓練された画像スタイル変換モデルはサーバ側に存在してもよく、図３Ｂを参照すると、このような電子機器は初期画像をサーバに送信し、それによってサーバは電子機器が送信する初期画像を受信し、ステップＳ２０１を実現し、言い換えれば、上記方法がサーバ側で実現される場合には、ステップＳ２０１は、サーバが電子機器により送信される初期画像を受信し、即ちサーバがスタイル変換対象の初期画像を取得し、続いてサーバがステップＳ２０２で前記初期画像の勾配空間における特徴マップを得て、最後にステップＳ２０３で出力されるスタイル画像を得ることを含むようになり、以上のプロセスからわかるように、上記ステップＳ２０１からステップＳ２０３はいずれもサーバ側で実行され、最後にサーバはスタイル画像を電子機器に送信してもよく、このように電子機器はスタイル画像を受信してから、スタイル画像をユーザに出力する。本願の実施例では、電子機器がクライアントをインストールしておいた後、ユーザはその初期画像をアップロードし、そして電子機器はサーバが送信するスタイル画像を受信し、スタイル画像をユーザに出力する。
【００８０】
いくつかの実施例では、上記ステップＳ２０１からステップＳ２０３は一部が電子機器によって完了されてもよいし、また一部がサーバによって完了されてもよく、例えば、図４Ａを参照すると、ステップＳ２０１およびステップＳ２０２は電子機器によってローカルで実行されてもよく、さらに電子機器は初期画像の勾配空間における特徴マップをサーバに送信し、サーバはステップＳ２０３を実行してから、スタイル画像を得て、続いてスタイル画像を電子機器に送信し、電子機器によってスタイル画像を出力させる。また、例えば、図４Ｂを参照すると、ステップＳ２０１およびステップＳ２０２はサーバによって実行されてもよく、サーバは初期画像の勾配空間における特徴マップを電子機器に送信し、電子機器はステップＳ２０３を実行してから、スタイル画像を得て、続いてスタイル画像をユーザに出力する。
【００８１】
いくつかの実施例では、前記方法はさらに、下式
0006874168.tif 000086
で表される総損失
0006874168.tif 000087
を最小にすることを訓練目標とする前記画像スタイル変換モデルを訓練することを含み、ここで、前記
0006874168.tif 000088
は知覚損失を表し、前記
0006874168.tif 000089
はピクセル単位損失を表し、前記
0006874168.tif 000090
および前記
0006874168.tif 000091
の値はいずれも実数とする。前記
0006874168.tif 000092
と前記
0006874168.tif 000093
の比は１０よりも大きくかつ１０の５乗よりも小さい。例えば、前記
0006874168.tif 000094
の値は１００００とし、前記
0006874168.tif 000095
の値は１とする。当業者であれば、前記
0006874168.tif 000096
および前記
0006874168.tif 000097
の値は具体的な応用シーンに応じて設定してもよく、本願の実施例はその値を限定しないことを理解すべきである。
【００８２】
いくつかの実施例では、前記画像スタイル変換モデルは、ピクセル単位損失モデルと知覚損失モデルとを含み、前記ピクセル単位損失モデルが、勾配空間においてピクセル単位損失を最小にすることを訓練目標として得られるピクセル単位損失モデルであり、前記知覚損失モデルが、勾配空間において知覚損失を最小にすることを訓練目標として訓練して得られたものである
ここで、前記ピクセル単位損失モデルがピクセル単位損失モデル、かつ前記知覚損失モデルが知覚損失モデルである場合の訓練プロセスは、以下のステップを含む。
【００８３】
ステップＳ１１、訓練サンプルの勾配を確定する。
0006874168.tif 000098
で第ｉ個の訓練サンプルを表すと仮定する場合、第ｉ個の訓練サンプル
0006874168.tif 000099
の勾配を
0006874168.tif 000100
に確定する。
【００８４】
ステップＳ１２、前記訓練サンプルの勾配を前記ピクセル単位損失モデルに入力し、前記ピクセル単位損失モデルから前記訓練サンプルのサンプル出力結果を得る。ここで、第ｉ個の訓練サンプル
0006874168.tif 000101
の勾配
0006874168.tif 000102
を前記ピクセル単位損失モデル
0006874168.tif 000103
に入力し、ピクセル単位損失モデルから訓練サンプルのサンプル出力結果
0006874168.tif 000104
を得る。
【００８５】
ステップＳ１３、前記訓練サンプルに対応するスタイル化の参考画像の勾配を確定する。ここで、スタイル化の参考画像は従来のスタイル化アルゴリズムによって得られた理想的でないスタイル化の参考画像であってもよく、前記訓練サンプル
0006874168.tif 000105
に対応するスタイル化の参考画像が
0006874168.tif 000106
であると仮定すれば、参考画像の勾配は
0006874168.tif 000107
となる。
【００８６】
ステップＳ１４、前記参考画像の勾配に基づいて前記知覚損失モデルの第ｊ層の畳み込み層の第一出力特徴マップにおいて、およびサンプル出力結果に基づいて前記知覚損失モデルの第ｊ層の畳み込み層の第二出力特徴マップにおいて前記知覚損失モデルを訓練する。ここで、第ｊ層の畳み込み層は畳み込みニューラルネットワークモデルにおける任意の層であってもよく、該畳み込みニューラルネットワークがＶＧＧ１６である場合、第ｊ層の畳み込み層はＶＧＧ１６におけるｃｏｎｖ３−３層であってもよい。
【００８７】
いくつかの実施例では、前記ピクセル単位損失モデルは第一畳み込み層セット、アップサンプリング層および第二畳み込み層セットを含み、前記参考画像の勾配およびサンプル出力結果に基づいて前記ピクセル単位損失モデルを訓練する前記ステップは、前記訓練サンプルの勾配を前記第一畳み込み層セットに入力し、サンプル特徴マップを得ることと、前記サンプル特徴マップを前記アップサンプリング層に入力し、前記初期画像のピクセルサイズまでアップサンプリングすることと、アップサンプリング後のサンプル特徴マップを前記第二畳み込み層セットに入力し、サンプル出力結果を得ることと、を含む。
【００８８】
いくつかの実施例では、前記参考画像の勾配に基づいて前記知覚損失モデルの第ｊ層の畳み込み層の第一出力特徴マップにおいて、およびサンプル出力結果に基づいて前記知覚損失モデルの第ｊ層の畳み込み層の第二出力特徴マップにおいて、前記知覚損失モデルを訓練する前記ステップは、下式
0006874168.tif 000108
を採用して前記知覚損失モデルを訓練することを含み、ここで、
0006874168.tif 000109
は第ｉ個の訓練サンプルの勾配を表し、
0006874168.tif 000110
はピクセル単位損失モデルを表し、
0006874168.tif 000111
は第ｉ個の訓練サンプルの勾配のピクセル単位損失モデルによる出力結果を表し、
0006874168.tif 000112
は第ｉ個の訓練サンプルのスタイル化の参考画像の勾配を表し、
0006874168.tif 000113
（  ）は知覚損失モデルが畳み込みニューラルネットワークモデルを採用する場合の第ｊ層の畳み込み層の出力特徴マップを表し、
0006874168.tif 000114
は第ｊ層の畳み込み層に対応する特徴マップのチャネル数、高さおよび幅をそれぞれ表す。
【００８９】
いくつかの実施例では、前記畳み込みニューラルネットワークモデルがＶＧＧ１６を採用する場合、第ｊ層の畳み込み層はｃｏｎｖ３−３となる。
【００９０】
いくつかの実施例では、前記ピクセル単位損失モデルがピクセル単位損失モデルである場合の訓練プロセスは、
ステップＳ２１、訓練サンプルの勾配を確定し、ステップＳ２２、前記訓練サンプルの勾配を前記ピクセル単位損失モデルの入力として、前記ピクセル単位損失モデルからサンプル出力結果を得て、ステップＳ２３、前記訓練サンプルに対応するスタイル化の参考画像の勾配を確定し、ステップＳ２４、前記参考画像の勾配およびサンプル出力結果に基づいて前記ピクセル単位損失モデルを訓練するというステップを含む。ここで、前記参考画像の勾配およびサンプル出力結果に基づいて前記ピクセル単位損失モデルを訓練する前記ステップは、各訓練サンプルの
0006874168.tif 000115
と対応する
0006874168.tif 000116
との差の絶対値に基づいて前記ピクセル単位損失モデルを訓練することを含み、ここで、
0006874168.tif 000117
は第ｉ個の訓練サンプルの勾配を表し、
0006874168.tif 000118
はピクセル単位損失モデルを表し、
0006874168.tif 000119
は第ｉ個の訓練サンプルの勾配のピクセル単位損失モデル
0006874168.tif 000120
による出力結果を表し、
0006874168.tif 000121
は第ｉ個の訓練サンプルのスタイル化の参考画像の勾配を表す。
【００９１】
いくつかの実施例では、各訓練サンプルの
0006874168.tif 000122
と対応する
0006874168.tif 000123
との差の絶対値に基づいて前記ピクセル単位損失モデルを訓練する前記ステップは、下式
0006874168.tif 000124
を採用して前記ピクセル単位損失モデルを訓練することを含み、ここで、
0006874168.tif 000125
は第ｉ個の訓練サンプルの勾配を表し、
0006874168.tif 000126
はピクセル単位損失モデルを表し、
0006874168.tif 000127
は第ｉ個の訓練サンプルの勾配のピクセル単位損失モデルによる出力結果を表し、
0006874168.tif 000128
は第ｉ個の訓練サンプルのスタイル化の参考画像の勾配を表し、Ｄは訓練サンプルセット内のサンプル数を表す。
【００９２】
いくつかの実施例では、前記初期画像の勾配空間における特徴マップに基づいて画像再構築を行い、スタイル画像を得る前記ステップは、前記初期画像の勾配空間における特徴マップとの構造類似度条件を満たす画像を、前記スタイル画像とすることを含む。ここで、前記初期画像の勾配空間における特徴マップとの構造類似度条件を満たすことは、前記スタイル画像と前記初期画像との構造差異度が類似度閾値よりも小さいか、または、前記スタイル画像と前記初期画像との構造差異度が最小であることを含み、構造差異度は、勾配空間におけるスタイル画像と前記初期画像との勾配空間における特徴マップの少なくとも一つの参考方向における変化傾向である。
【００９３】
そのうち、参考方向は画像の平面参考座標系におけるｘ、ｙ方向としてもよいし、当然ながら、他のより多くの方向としてもよいし、または一つの方向のみを使用してもよい。差異度は差もしくは差の絶対値または差に基づく様々な数学的変形演算（例えばｘ、ｙ方向での差の絶対値の二乗和、即ち
0006874168.tif 000129
であって、
0006874168.tif 000130
は初期画像を表し、
0006874168.tif 000131
はスタイル画像を表し、
0006874168.tif 000132
は絶対値記号を表すもの）を採用してもよい。
【００９４】
いくつかの実施例では、前記初期画像の勾配空間における特徴マップに基づいて画像再構築を行い、スタイル画像を得る前記ステップは、
0006874168.tif 000133
に基づいて画像再構築を行い、スタイル画像を得ることを含み、ここで、
0006874168.tif 000134
は前記初期画像のｘ方向における勾配を表し、
0006874168.tif 000135
は前記初期画像のｘ方向における勾配の前記画像スタイル変換モデルによる勾配空間における特徴マップを表し、
0006874168.tif 000136
は前記初期画像のｙ方向における勾配を表し、
0006874168.tif 000137
は前記初期画像のｙ方向における勾配の前記画像スタイル変換モデルによる勾配空間における特徴マップを表し、
0006874168.tif 000138
はスタイル画像のｘ方向における勾配を表し、
0006874168.tif 000139
はスタイル画像のｙ方向における勾配を表す。
【００９５】
いくつかの実施例では、前記初期画像の勾配空間における特徴マップに基づいて画像再構築を行い、スタイル画像を得る前記ステップは、前記初期画像の色情報および前記初期画像の勾配空間における特徴マップに基づいて画像再構築を行い、スタイル画像を得ることを含む。ここで、前記初期画像の色情報および前記初期画像の勾配空間における特徴マップに基づいて画像再構築を行い、スタイル画像を得る前記ステップは、前記初期画像の勾配空間における特徴マップとの構造類似度条件を満たす画像を、かつ前記初期画像との色類似度条件を満たす画像を、前記スタイル画像とすることを含む。
【００９６】
いくつかの実施例では、前記方法はさらに、前記初期画像に対して特徴抽出を行い、前記初期画像における顔領域を得ることを含み、それに応じて、前記初期画像の色情報および前記初期画像の勾配空間における特徴マップに基づいて画像再構築を行い、スタイル画像を得る前記ステップは、前記初期画像の勾配空間における特徴マップとの構造類似度条件を満たす画像を、かつ前記初期画像における顔領域との色類似度条件を満たす画像を、前記スタイル画像とすることを含む。ここで、色類似度条件は、色情報が満たす色類似条件、即ちスタイル画像と初期画像との色の差異度が設定値よりも小さいか、または最小であることであり、ここで、色の差異度は処理対象の画像と目標画像とのサンプリングポイントの色値の差、即ち
0006874168.tif 000140
で表される（
0006874168.tif 000141
は初期画像を表し、
0006874168.tif 000142
はスタイル画像を表す）。
【００９７】
本願の実施例では、初期画像の色または顔の色が変わらないように、色類似度条件を設定し、ここで、色類似度条件は初期画像全体の色であってもよいし、初期画像における顔の色であってもよい。説明すべきは、上記構造類似度条件および色類似度条件の両者は、理論的に単独で使用してもよく、即ち一つの条件のみを採用してスタイル画像を計算してもよく、また両者を同時に採用し、対応する係数（重み）を同時に割り当て、例えば
0006874168.tif 000143
の値を実数とするようにしてもよい。
【００９８】
いくつかの実施例では、前記初期画像の勾配空間における特徴マップとの構造類似度条件を満たす画像を、かつ前記初期画像との色類似度条件を満たす画像を、前記スタイル画像とする前記ステップは、
0006874168.tif 000144
に基づいて画像再構築を行い、スタイル画像を得ることを含み、ここで、Ｉは初期画像を表し、Ｓはスタイル画像を表し、
0006874168.tif 000145
は前記初期画像のｘ方向における勾配を表し、
0006874168.tif 000146
は前記初期画像のｘ方向における勾配の前記画像スタイル変換モデルによる勾配空間における特徴マップを表し、
0006874168.tif 000147
は前記初期画像のｙ方向における勾配を表し、
0006874168.tif 000148
は前記初期画像のｙ方向における勾配の前記画像スタイル変換モデルによる勾配空間における特徴マップを表し、
0006874168.tif 000149
はスタイル画像のｘ方向における勾配を表し、
0006874168.tif 000150
はスタイル画像のｙ方向における勾配を表す。
【００９９】
いくつかの実施例では、前記初期画像の勾配を画像スタイル変換モデルに入力し、前記画像スタイル変換モデルから初期画像の勾配空間における特徴マップを得る前記ステップは、ステップＳ３１、前記初期画像の少なくとも一つの参考方向における勾配を確定し、ステップＳ３２、少なくとも一つの参考方向における勾配を画像スタイル変換モデルに入力し、前記画像スタイル変換モデルから初期画像の少なくとも一つの参考方向における勾配空間における特徴マップを対応的に得て、それに応じて、少なくとも一つの参考方向における勾配空間における特徴マップに基づいて画像再構築を行い、スタイル画像を得るというステップを含む。
【０１００】
いくつかの実施例では、前記少なくとも一つの参考方向は平面参考座標系におけるｘ、ｙ方向を含み、それに応じて、前記初期画像の少なくとも一つの参考方向における勾配を確定する前記ステップは、前記初期画像のそれぞれｘ、ｙ方向における勾配を確定することを含み、少なくとも一つの参考方向における勾配を画像スタイル変換モデルに入力し、前記画像スタイル変換モデルから初期画像の少なくとも一つの参考方向における勾配空間における特徴マップを対応的に得る前記ステップは、ｘ、ｙ方向における勾配を画像スタイル変換モデルにそれぞれ入力し、前記画像スタイル変換モデルから初期画像のｘ、ｙ方向における勾配空間における特徴マップを対応的に得ることを含み、それに応じて、少なくとも一つの参考方向における勾配空間における特徴マップに基づいて画像再構築を行い、スタイル画像を得る前記ステップは、ｘ、ｙ方向における勾配空間における特徴マップに基づいて画像再構築を行い、スタイル画像を得ることを含む。
【０１０１】
以下に三つの段階に分けて本願の実施例の技術的解決手段を説明する。第一段階でまず本願の実施例が提供する畳み込みニューラルネットワークモデルの構造を説明し、続いて第二段階で提供される畳み込みニューラルネットワークモデルの訓練プロセスを説明し、そして第三段階で訓練された畳み込みニューラルネットワークを用いて画像再構築を行うプロセス、即ち初期画像の画像スタイル変換方法を説明する。
【０１０２】
第一段階、畳み込みニューラルネットワークモデルの構造
図５Ａは本願の実施例が提供する畳み込みニューラルネットワークモデルの構成模式図であり、図５Ａに示すように、該畳み込みニューラルネットワークネットワークは二つの部分からなる。
【０１０３】
第一部分は訓練すべき畳み込みニューラルネットワーク５１（第一畳み込みニューラルネットワーク）であり、それは自撮り画像の勾配を入力とし、後方に連続的な畳み込み層およびＲｅＬｕ層を接続し、さらにアップサンプリングによって特徴マップ（ｆｅａｔｕｒｅ  ｍａｐ）をコンテンツ画像のサイズまでアップサンプリングし、最後に芸術スタイルの参考画像の勾配にてピクセル単位損失（Ｐｉｘｅｌ−ｗｉｓｅ  Ｌｏｓｓ）
0006874168.tif 000151
を計算し、ここで、自撮り画像の勾配を入力とするステップは、自撮り画像のｘ方向における勾配
0006874168.tif 000152
および自撮り画像のｙ方向における勾配
0006874168.tif 000153
をそれぞれ畳み込みニューラルネットワークの入力とすることを含む。
【０１０４】
畳み込みニューラルネットワークにおいて、畳み込み層の各畳み込みフィルタは全受容野に繰り返し作用し、入力された自撮り画像を畳み込み、畳み込み結果は入力された自撮り画像の特徴マップを構成し、このように自撮り画像の局所特徴が抽出される。畳み込みニューラルネットワークの特徴の一つとしての最大プーリング（ｍａｘ−ｐｏｏｌｉｎｇ）は、非線形ダウンサンプリング方法であり、最大プーリングの数式からわかるように、最大プーリングは近傍内の特徴点を最大に取る。畳み込みによって画像特徴を取得してから、これらの特徴によって分類し、画像の畳み込み特徴マップを取得してから、最大プーリング方法によって畳み込み特徴の次元を削減する必要がある。畳み込み特徴を複数の交わらない領域に分け、これらの領域の最大（または平均）特徴で次元削減後の畳み込み特徴を表す。最大プーリング方法は、（１）、上位隠れ層による計算の複雑度を低下させ、（２）、これらのプーリングユニットが並進不変性を有し、画像に小さな変位が発生したとしても、抽出された特徴を不変に維持するという二つの点でその役割を果たす。変位に対するロバスト性を増強させるため、最大プーリング方法はデータ次元を削減する高効率なサンプリング方法である。
【０１０５】
第二部分はＩｍａｇｅＮｅｔにおいて訓練されておいた、知覚損失（ｐｅｒｃｅｐｔｕａｌ  ｌｏｓｓ）
0006874168.tif 000154
を計算するためのＶＧＧ−１６ネットワーク５２（第二畳み込みニューラルネットワーク）である。実際にはＶＧＧ−１６のｃｏｎｖ３−３層の出力を使用して知覚損失を計算する。
【０１０６】
最後に、第一部分の
0006874168.tif 000155
と第二部分の
0006874168.tif 000156
を加算すると、計算すべき最終的な総目標関数（即ち総損失
0006874168.tif 000157
）を得る。
【０１０７】
一実施例では、総目標関数
0006874168.tif 000158
は下式を採用して計算してもよい。
0006874168.tif 000159
（３−１）
ここで、
0006874168.tif 000160
の値はいずれも実数とする。例えば、訓練では
0006874168.tif 000161
をそれぞれ整数にしてもよい。
【０１０８】
以下に画像勾配を簡単に説明する。画像勾配は画像ピクセル間の差異を記述する方法であり、画像の特徴付け画像としてもよい。数学的な点から見れば、画像勾配とはピクセルの一次導関数をいい、下式で画像のｘ方向の勾配
0006874168.tif 000162
およびｙ方向の勾配
0006874168.tif 000163
をそれぞれ表すことができる。
0006874168.tif 000164
＝  Ｉ（ｘ，  ｙ）  −  Ｉ（ｘ−１，  ｙ）                                                  （３−２）
0006874168.tif 000165
＝  Ｉ（ｘ，  ｙ）  −  Ｉ（ｘ，  ｙ−１）                                                  （３−３）
【０１０９】
説明すべきは、画像勾配はそもそも多くの計算方法があり、ピクセル間の差異を記述さえできれば良いということであり、当業者であれば、画像勾配の計算は上記式（３−２）および式（３−３）に限られず、実際に他の式の運用も一般的であるということを理解すべきである。例えば、畳み込み操作をプッシュダウンして画像勾配を計算する場合、使用されるテンプレートは、通常勾配演算子と呼ばれ、一般的な勾配演算子はＳｏｂｅｌ演算子、Ｒｏｂｉｎｓｏｎ演算子、Ｌａｐｌａｃｅ演算子などがある。
【０１１０】
第二段階、第一部分の畳み込みニューラルネットワークへの訓練プロセス
まず、訓練サンプルを確定し、Ｄグループの訓練画像
0006874168.tif 000166
，  
0006874168.tif 000167
，  ……，  
0006874168.tif 000168
を収集したと仮定し、ここで
0006874168.tif 000169
は第ｉの元画像を表し、
0006874168.tif 000170
は第ｉの元画像
0006874168.tif 000171
についての従来のスタイル化アルゴリズムによる理想的でないスタイル化の参考画像を表す。
【０１１１】
図３において第一部分が計算したピクセル単位損失
0006874168.tif 000172
は式（４−１）に定義されたとおりである。
0006874168.tif 000173
0006874168.tif 000174
（４−１）
【０１１２】
式（４−１）中、
0006874168.tif 000175
は第ｉの元画像
0006874168.tif 000176
のｘ方向における勾配または勾配表記を表し、
0006874168.tif 000177
はｙ方向の勾配または勾配表記を表す。
0006874168.tif 000178
は元画像の勾配を表し、
0006874168.tif 000179
は元画像
0006874168.tif 000180
のｘ方向における勾配を表し、
0006874168.tif 000181
は元画像
0006874168.tif 000182
のｙ方向における勾配を表す。
0006874168.tif 000183
は第一部分の畳み込みニューラルネットワークモデルを表すため、
0006874168.tif 000184
は第ｉの元画像
0006874168.tif 000185
の勾配の畳み込みニューラルネットワークネットワークによる結果を表し、
0006874168.tif 000186
は第ｉの元画像
0006874168.tif 000187
のｘ方向における勾配の畳み込みニューラルネットワークネットワークによる結果を表し、
0006874168.tif 000188
は第ｉの元画像
0006874168.tif 000189
のｙ方向における勾配の畳み込みニューラルネットワークネットワークによる結果を表す。
0006874168.tif 000190
は第ｉの元画像
0006874168.tif 000191
のスタイル化の参考画像の勾配を表し、
0006874168.tif 000192
は第ｉの元画像
0006874168.tif 000193
のスタイル化の参考画像のｘ方向における勾配を表し、
0006874168.tif 000194
は第ｉの元画像
0006874168.tif 000195
のスタイル化の参考画像のｙ方向における勾配を表す。
【０１１３】
図３において第二部分が計算した知覚損失
0006874168.tif 000196
は式（４−２）に定義されたとおりである。
0006874168.tif 000197
0006874168.tif 000198
（４−２）
【０１１４】
式（４−２）中、
0006874168.tif 000199
（  ）はＶＧＧ−１６ネットワークの第ｊ層の畳み込み層の出力特徴マップ（ｆｅａｔｕｒｅ  ｍａｐ）を表し、
0006874168.tif 000200
は第ｊ層の畳み込み層に対応する特徴マップのチャネル数、高さおよび幅をそれぞれ表す。実施プロセスでは、ＶＧＧ−１６のｃｏｎｖ３−３層を使用する。
0006874168.tif 000201
および
0006874168.tif 000202
の意味は第一部分と同じであり、
0006874168.tif 000203
は元画像の勾配のネットワークによる結果を表し、
0006874168.tif 000204
は元画像のスタイル化の参考画像の勾配を表す。
【０１１５】
総目標関数は知覚損失
0006874168.tif 000205
とピクセル単位損失
0006874168.tif 000206
の両者の和である。
0006874168.tif 000207
（４−３）
【０１１６】
式（４−３）中、
0006874168.tif 000208
の値はいずれも実数とする。例えば、訓練では
0006874168.tif 000209
をそれぞれ整数にしてもよい。訓練では
0006874168.tif 000210
をそれぞれ１００００および１にし、エヌビディアのＴｉｔａｎ  Ｘ  ＧＰＵを用いて１００Ｋ回反復し、ａｄａｍ最適化方法を用いて目標関数の式３を最適化し、前の５０Ｋ回の反復では、学習率を
0006874168.tif 000211
にし、後の５０Ｋ回では、学習率を
0006874168.tif 000212
にする。説明すべきは、当業者が実施プロセスにおいて、式（４−１）および式（４−２）に対して何らかの修正を行うことができるということである。式（４−１）については、これらの修正がピクセル単位損失を示すことさえできれば良く、例えば、式（４−１）中の
0006874168.tif 000213
を別の数値、例えば
0006874168.tif 000214
または
0006874168.tif 000215
などに修正し、式（４−１）中の絶対値の二乗を絶対値に修正するか、または、式（４−１）中の絶対値の二乗を絶対値の二乗根に修正するようにしてもよい。
【０１１７】
第三段階、画像再構築プロセス
新たな画像、例えば新たな自撮り画像が入力される場合、それに対応するスタイル画像を得るために、下式（５）を採用して出力されるスタイル化画像を確定する。
0006874168.tif 000216
（５）
【０１１８】
式（５）中、Ｉは新たな自撮り画像即ち初期画像を表し、Ｓは新たな自撮り画像に対応するスタイル画像を表す。
0006874168.tif 000217
は自撮り画像のｘ方向の勾配を表し、
0006874168.tif 000218
は自撮り画像のｘ方向の勾配の訓練されたモデルによる出力を表し、同様に、
0006874168.tif 000219
は自撮り画像のｙ方向の勾配であり、
0006874168.tif 000220
は自撮り画像のｙ方向の勾配の訓練されたモデルによる出力を表し、
0006874168.tif 000221
はスタイル画像のｘ方向の勾配を表し、
0006874168.tif 000222
はスタイル画像のｙ方向の勾配を表す。上式中、
0006874168.tif 000223
はコンテンツ画像の色情報を利用して画像再構築を行ったものであり、色信頼度（ｃｏｌｏｒ  ｃｏｎｆｉｄｅｎｃｅ）と称してもよく、
0006874168.tif 000224
はコンテンツ画像の構造情報を利用して画像再構築を行ったものであり、
0006874168.tif 000225
はこの二つの情報の重みパラメータを表す。実施プロセスでは、
0006874168.tif 000226
は１０とする。上式を最適化することで、Ｓ、即ち新たな自撮り画像のスタイル画像を得ることができる。
【０１１９】
以上の実施例からわかるように、本願の実施例は自撮りに向けた画像スタイル変換アルゴリズムを提供し、従来のスタイル変換方法が顔に用いられる場合の、一、顔エッジの歪み、二、顔の肌色の不均一という二つの重大な欠点を克服する。本願の実施例のニューラルネットワークは完全に勾配空間において学習する構造である。他の画像スタイル変換方法に比べて、本方法は自撮り写真のスタイル変換において、従来の方法でのエッジ歪みおよび色の不均一という欠点を克服でき、画像スタイル変換と共に、画像の美化および増強を実現できる。
【０１２０】
いくつかの実施例では、第一部分は訓練すべき畳み込みニューラルネットワーク５１（第一畳み込みニューラルネットワーク）であり、図５Ｂに示す畳み込みニューラルネットワークを採用してもよく、図５Ｂは本願の実施例の畳み込みニューラルネットワークモデルの構成模式図であり、図５Ｂに示すように、該モデルの構造は以下を含む。
【０１２１】
入力層（ｉｎｐｕｔ）５０１
それは自撮り画像のｘまたはｙ方向における勾配を入力とし、説明すべきは、ｈは自撮り画像のｘまたはｙ方向における勾配の高さ（ｈｉｇｈ）を表し、ｗは自撮り画像のｘまたはｙ方向における勾配の幅（ｗｉｄｔｈ）を表すことである。自撮り画像Ｉについて、自撮り画像Ｉのｘ方向で勾配を求めて
0006874168.tif 000227
を得て、自撮り画像Ｉのｙ方向で勾配を求めて
0006874168.tif 000228
を得て、続いて
0006874168.tif 000229
の各色チャネル（または色コンポーネント）を入力とする。ＲＧＢ（Ｒｅｄ  Ｇｒｅｅｎ  Ｂｌｕｅ、赤緑青）色モデルを採用する場合、三つの色チャネルが存在し、それに応じて、自撮り画像にとって、入力が６つとなり、それぞれＲ色チャネルでの
0006874168.tif 000230
、Ｇ色チャネルでの
0006874168.tif 000231
およびＢ色チャネルでの
0006874168.tif 000232
、Ｒ色チャネルでの
0006874168.tif 000233
、Ｇ色チャネルでの
0006874168.tif 000234
およびＢ色チャネルでの
0006874168.tif 000235
である。
【０１２２】
ｃｏｎｖ１＋ＲｅＬｕ１層、ｃｏｎｖ２＋ＲｅＬｕ２層、ｃｏｎｖ３＋ＲｅＬｕ３層、ｃｏｎｖ４＋ＲｅＬｕ４層、ｃｏｎｖ５＋ＲｅＬｕ５層、ｃｏｎｖ６＋ＲｅＬｕ６層およびｃｏｎｖ７＋ＲｅＬｕ７層
畳み込み層およびＲｅＬｕ層を通過してから、出力される結果は特徴マップ５０２となり、該特徴マップ５０２は高さが
0006874168.tif 000236
、幅が
0006874168.tif 000237
、チャネル数がｃであり、ここで、ｒは係数であり、ｒおよびｃの値は本願の実施例における畳み込みニューラルネットワークモデルのハイパーパラメータに関連し、本願の実施例では、モデルハイパーパラメータは畳み込みカーネルの大きさ（ｓｉｚｅ）、畳み込みカーネルのストライド（ｓｔｒｉｄｅ）、入力特徴マップのパディング（ｐａｄｄｉｎｇ）を含む。一般的には、畳み込みカーネルの数によって出力特徴マップのチャネル数ｃが決められる。
【０１２３】
アップサンプリング層
その入力は５１１から５１Ｃであり、出力は５２１から５２Ｃである。出力される特徴マップをチャネル数ｃに応じて分解し、これによりｃ個の特徴マップ５１１から５１Ｃを得て、５１１から５１Ｃのうちの各特徴マップを初期画像のサイズまでアップサンプリングする。入力層５０１において初期画像即ち自撮り画像を抽出し、自撮り画像のサイズはｈ＊ｗであれば、アップサンプリング層が出力するアップサンプリング画像のサイズ５２１から５２Ｃもｈ＊ｗとなる。アップサンプリング層において、入力５１１に対応する出力は５２１であり、入力５１２に対応する出力は５２２であり、同様に、入力５１Ｃに対応する出力は５２Ｃである。
【０１２４】
合成層５３１
その入力は５２１から５２Ｃであり、出力は５３１であり、アップサンプリング画像５２１から５２Ｃを併合することで、特徴マップ５３１を得る。
【０１２５】
出力層
その入力は５３１であり、出力は５４１であり、特徴マップ５３１に対する畳み込みおよび活性化を行い、即ち順にｃｏｎｖ８、ＲｅＬｕ８およびｃｏｎｖ９に入力し、最終的に出力５４１を得て、出力５４１のサイズはコンテンツ画像のサイズｈ＊ｗである。
【０１２６】
説明すべきは、図５Ａにおけるネットワーク部分５３の代わりに、図５Ｂに示す畳み込みニューラルネットワークモデルを用いることができるということである。本願の実施例では、アップサンプリング前の畳み込みプロセスは、それぞれｃｏｎｖ１からｃｏｎｖ７の７つの層において行われ、アップサンプリング前の活性化プロセスも、それぞれＲｅＬｕ１からＲｅＬｕ７の７つの層において行われる。ここで、７つの畳み込み層（ｃｏｎｖ１からｃｏｎｖ７）はピクセル単位損失モデルの第一畳み込み層セットと見なしてもよく、当然ながら、７つの畳み込み層および７つの活性化層（ＲｅＬｕ１からＲｅＬｕ７）をピクセル単位損失モデルの第一畳み込み層セットと見なしてもよい。アップサンプリング後も、それぞれｃｏｎｖ８およびｃｏｎｖ９の二つの層において畳み込みが行われ、アップサンプリング後に、さらに一つの活性化プロセスが活性化層ＲｅＬｕ８において行われる。ここで、２つの畳み込み層（ｃｏｎｖ８およびｃｏｎｖ９）はピクセル単位損失モデルの第二畳み込み層セットと見なしてもよく、当然ながら、２つの畳み込み層および１つの活性化層（ＲｅＬｕ８）をピクセル単位損失モデルの第二畳み込み層セットと見なしてもよい。
【０１２７】
当業者であれば、アップサンプリング前の畳み込み層の数（第一畳み込み層セット内の畳み込み層の数）は変化してもよく、例えば５つの層、９つの層、１０つの層または数十の層を採用してもよく、それに応じて、アップサンプリング前の活性化層の数（第一畳み込み層セット内の活性化層の数）も変化してもよく、例えば５つの層、６つの層、９つの層、１５つの層などを採用してもよいということを理解すべきである。実施例では、アップサンプリング前、畳み込み層後方に一つの活性化層が続き、即ちアップサンプリング前、一つの畳み込み層と一つの活性化層とが交替に設置され、当業者であれば、交替に設置された上記畳み込み層と活性化層の数も変化してもよく、例えば二つの畳み込み層後方に一つの活性化層が続き、そして一つの畳み込み層後方に二つの活性化層が続くようにしてもよいことを理解すべきである。本願の実施例では、活性化層が採用する活性化関数はＲｅＬｕであり、いくつかの実施例では、活性化層は他の活性化関数、例えばｓｉｇｍｏｉｄ関数を採用してもよい。図５Ｂに記載の実施例ではプーリング層が示されていないが、いくつかの実施例では、プーリング層を追加してもよい。アップサンプリング後、畳み込み層の数（第二畳み込み層セット内の畳み込み層の数）、および畳み込み層と活性化層の順序はいずれも変化可能である。
【０１２８】
前記実施例をもとに、本願の実施例は画像スタイル変換装置を提供し、該装置に含まれる各ユニット、および各ユニットに含まれる各モジュールは、電子機器内のプロセッサによって実現可能であり、当然ながら、具体的な論理回路によっても実現でき、実施プロセスでは、プロセッサは中央処理装置（ＣＰＵ）、マイクロプロセッサ（ＭＰＵ）、デジタル信号プロセッサ（ＤＳＰ）またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）などであってもよい。
【０１２９】
図６は本願の実施例の画像スタイル変換装置の構成模式図であり、図６に示すように、前記装置６００は、スタイル変換対象の初期画像を取得するための取得ユニット６０１、前記初期画像の勾配を、勾配空間においてピクセル単位損失および知覚損失に基づいて訓練して得られた画像スタイル変換モデルに入力し、前記画像スタイル変換モデルから前記初期画像の勾配空間における特徴マップを得るための獲得ユニット６０２、および、前記初期画像の勾配空間における特徴マップに基づいて画像再構築を行い、スタイル画像を得るための再構築ユニット６０３を含む。
【０１３０】
いくつかの実施例では、前記装置はさらに、下式
0006874168.tif 000238
で表される総損失
0006874168.tif 000239
を最小にすることを訓練目標とする前記画像スタイル変換モデルを訓練するための訓練ユニットを含み、ここで、前記
0006874168.tif 000240
は知覚損失を表し、前記
0006874168.tif 000241
はピクセル単位損失を表し、前記
0006874168.tif 000242
および前記
0006874168.tif 000243
の値はいずれも実数とする。
【０１３１】
いくつかの実施例では、前記
0006874168.tif 000244
と前記
0006874168.tif 000245
の比は１０よりも大きくかつ１０の５乗よりも小さい。
【０１３２】
いくつかの実施例では、前記画像スタイル変換モデルは、ピクセル単位損失モデルと知覚損失モデルとを含み、前記ピクセル単位損失モデルが、勾配空間においてピクセル単位損失を最小にすることを訓練目標として得られるピクセル単位損失モデルであり、前記知覚損失モデルが、勾配空間において知覚損失を最小にすることを訓練目標として訓練して得られたものである。
【０１３３】
いくつかの実施例では、前記訓練ユニットは、訓練サンプルの勾配を前記ピクセル単位損失モデルに入力し、前記ピクセル単位損失モデルから前記訓練サンプルのサンプル出力結果を得るための第一入力モジュールと、前記訓練サンプルに対応するスタイル化の参考画像の勾配を確定するための第一確定モジュールと、前記参考画像の勾配に基づいて前記知覚損失モデルの第ｊ層の畳み込み層の第一出力特徴マップにおいて、およびサンプル出力結果に基づいて前記知覚損失モデルの第ｊ層の畳み込み層の第二出力特徴マップにおいて前記知覚損失モデルを訓練するための第一訓練モジュールと、を含む。
【０１３４】
いくつかの実施例では、前記第一訓練モジュールは、下式
0006874168.tif 000246
を採用して前記知覚損失モデルを訓練するために用いられ、ここで、
0006874168.tif 000247
は第ｉ個の訓練サンプルの勾配を表し、
0006874168.tif 000248
はピクセル単位損失モデルを表し、
0006874168.tif 000249
は第ｉ個の訓練サンプルの勾配のピクセル単位損失モデルによる出力結果を表し、
0006874168.tif 000250
は第ｉ個の訓練サンプルのスタイル化の参考画像の勾配を表し、
0006874168.tif 000251
（  ）は知覚損失モデルを採用する時の、知覚損失モデルの第ｊ層の畳み込み層の出力特徴マップを表し、
0006874168.tif 000252
は第ｊ層の畳み込み層に対応する特徴マップのチャネル数、高さおよび幅をそれぞれ表す。
【０１３５】
いくつかの実施例では、前記知覚損失モデルがＶＧＧ１６を採用する場合、第ｊ層の畳み込み層はｃｏｎｖ３−３となる。
【０１３６】
いくつかの実施例では、前記訓練ユニットはさらに、訓練サンプルの勾配を確定するための第二確定モジュールと、前記訓練サンプルの勾配を前記ピクセル単位損失モデルの入力として、前記ピクセル単位損失モデルからサンプル出力結果を得るための第二入力モジュールと、前記訓練サンプルに対応するスタイル化の参考画像の勾配を確定するための第三確定モジュールと、前記参考画像の勾配およびサンプル出力結果に基づいて前記ピクセル単位損失モデルを訓練するための第二訓練モジュールと、を含む。
【０１３７】
いくつかの実施例では、前記ピクセル単位損失モデルは第一畳み込み層セット、アップサンプリング層および第二畳み込み層セットを含み、前記参考画像の勾配およびサンプル出力結果に基づいて前記ピクセル単位損失モデルを訓練する前記ステップは、前記訓練サンプルの勾配を第一畳み込み層セットに入力し、サンプル特徴マップを得ることと、前記サンプル特徴マップをアップサンプリング層に入力し、前記初期画像のピクセルサイズまでアップサンプリングすることと、アップサンプリング後のサンプル特徴マップを第二畳み込み層セットに入力し、サンプル出力結果を得ることと、を含む。
【０１３８】
いくつかの実施例では、前記第二訓練モジュールは、各訓練サンプルの
0006874168.tif 000253
と対応する
0006874168.tif 000254
との差の絶対値に基づいて前記ピクセル単位損失モデルを訓練するために用いられ、ここで、
0006874168.tif 000255
は第ｉ個の訓練サンプルの勾配を表し、
0006874168.tif 000256
はピクセル単位損失モデルを表し、
0006874168.tif 000257
は第ｉ個の訓練サンプルの勾配のピクセル単位損失モデル
0006874168.tif 000258
による出力結果を表し、
0006874168.tif 000259
は第ｉ個の訓練サンプルのスタイル化の参考画像の勾配を表す。
【０１３９】
いくつかの実施例では、前記第二訓練モジュールは、下式
0006874168.tif 000260
を採用して前記ピクセル単位損失モデルを訓練するために用いられ、ここで、
0006874168.tif 000261
は第ｉ個の訓練サンプルの勾配を表し、
0006874168.tif 000262
はピクセル単位損失モデルを表し、
0006874168.tif 000263
は第ｉ個の訓練サンプルの勾配のピクセル単位損失モデル
0006874168.tif 000264
による出力結果を表し、
0006874168.tif 000265
は第ｉ個の訓練サンプルのスタイル化の参考画像の勾配を表し、Ｄは訓練サンプルセット内のサンプル数を表す。
【０１４０】
いくつかの実施例では、前記再構築ユニットは、前記初期画像の勾配空間における特徴マップとの構造類似度条件を満たす画像を、前記スタイル画像とするために用いられる。
【０１４１】
いくつかの実施例では、前記初期画像の勾配空間における特徴マップとの構造類似度条件を満たすことは、前記スタイル画像と前記初期画像との構造差異度が類似度閾値よりも小さいか、または、前記スタイル画像と前記初期画像との構造差異度が最小であることを含み、ここで、構造差異度は、勾配空間におけるスタイル画像と前記初期画像との勾配空間における特徴マップの少なくとも一つの参考方向における変化傾向である。
【０１４２】
いくつかの実施例では、前記再構築ユニットは、
0006874168.tif 000266
に基づいて画像再構築を行い、スタイル画像を得るために用いられ、ここで、
0006874168.tif 000267
は前記初期画像のｘ方向における勾配を表し、
0006874168.tif 000268
は前記初期画像のｘ方向における勾配の前記画像スタイル変換モデルによる勾配空間における特徴マップを表し、
0006874168.tif 000269
は前記初期画像のｙ方向における勾配を表し、
0006874168.tif 000270
は前記初期画像のｙ方向における勾配の前記画像スタイル変換モデルによる勾配空間における特徴マップを表し、
0006874168.tif 000271
はスタイル画像のｘ方向における勾配を表し、
0006874168.tif 000272
はスタイル画像のｙ方向における勾配を表す。
【０１４３】
いくつかの実施例では、前記再構築ユニットは、前記初期画像の色情報および前記初期画像の勾配空間における特徴マップに基づいて画像再構築を行い、スタイル画像を得るために用いられる。
【０１４４】
いくつかの実施例では、再構築ユニットは、前記初期画像の勾配空間における特徴マップとの構造類似度条件を満たす画像を、かつ初期画像との色類似度条件を満たす画像を、前記スタイル画像とするために用いられる。
【０１４５】
いくつかの実施例では、前記装置はさらに、前記初期画像に対して特徴抽出を行い、前記初期画像における顔領域を得るための抽出ユニットを含み、それに応じて、前記再構築ユニットは、前記初期画像の勾配空間における特徴マップとの構造類似度条件を満たす画像を、かつ前記初期画像における顔領域との色類似度条件を満たす画像を、前記スタイル画像とするために用いられる。
【０１４６】
いくつかの実施例では、前記再構築ユニットは、
0006874168.tif 000273
に基づいて画像再構築を行い、スタイル画像を得るために用いられ、ここで、Ｉは初期画像を表し、Ｓはスタイル画像を表し、
0006874168.tif 000274
は前記初期画像のｘ方向における勾配を表し、
0006874168.tif 000275
は前記初期画像のｘ方向における勾配の前記画像スタイル変換モデルによる勾配空間における特徴マップを表し、
0006874168.tif 000276
は前記初期画像のｙ方向における勾配を表し、
0006874168.tif 000277
は前記初期画像のｙ方向における勾配の画像スタイル変換モデルによる勾配空間における特徴マップを表し、
0006874168.tif 000278
はスタイル画像のｘ方向における勾配を表し、
0006874168.tif 000279
はスタイル画像のｙ方向における勾配を表す。
【０１４７】
いくつかの実施例では、前記獲得ユニットは、前記初期画像の少なくとも一つの参考方向における勾配を確定するための第四確定モジュールと、少なくとも一つの参考方向における勾配を画像スタイル変換モデルに入力し、前記画像スタイル変換モデルから初期画像の少なくとも一つの参考方向における勾配空間における特徴マップを対応的に得るための特徴マップ取得モジュールと、を含み、それに応じて、前記再構築ユニットは、少なくとも一つの参考方向における勾配空間における特徴マップに基づいて画像再構築を行い、スタイル画像を得るために用いられる。
【０１４８】
いくつかの実施例では、前記少なくとも一つの参考方向は平面参考座標系におけるｘ、ｙ方向を含み、それに応じて、確定ユニットは、前記初期画像のそれぞれｘ、ｙ方向における勾配を確定するために用いられ、前記獲得ユニットは、ｘ、ｙ方向における勾配を画像スタイル変換モデルにそれぞれ入力し、前記画像スタイル変換モデルから初期画像のｘ、ｙ方向における勾配空間における特徴マップを対応的に得るために用いられ、それに応じて、前記再構築ユニットは、ｘ、ｙ方向における勾配空間における特徴マップに基づいて画像再構築を行い、スタイル画像を得るために用いられる。
【０１４９】
以上の装置の実施例はその説明が上記方法の実施例に対する説明に類似し、方法の実施例に類似する有益な効果を有する。本願の装置の実施例において開示されていない技術的詳細については、本願の方法の実施例に対する説明を参照されたい。説明すべきは、本願の実施例において、ソフトウェア機能モジュールの形で上記画像スタイル変換方法を実現し、かつ独立した製品として販売または使用する場合、コンピュータ読み取り可能記憶媒体に記憶してもよい。このような見解をもとに、本願の実施例の技術的解決手段は実質的にまたは従来技術に寄与する部分がソフトウェア製品の形で実施することができ、該コンピュータソフトウェア製品は記憶媒体に記憶され、コンピュータ機器（パーソナル電子機器またはサーバなどであってもよい）に本願の各実施例に記載の方法の全てまたは一部を実行させる複数の命令を含む。前記記憶媒体は、ＵＳＢフラッシュドライブ、モバイルハードディスク、読み取り専用メモリ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ、ＲＯＭ）、磁気ディスクまたは光ディスクなどのプログラムコードを記憶可能である様々な媒体を含む。従って、本願の実施例はハードウェアとソフトウェアのいかなる特定の組み合わせにも限定されない。それに応じて、本願の実施例は、プロセッサにおいて運用可能なコンピュータプログラムが記憶されているメモリ、および、前記プログラムを実行する時に上記画像スタイル変換方法におけるステップを実現するプロセッサを含むコンピュータ機器を提供する。
【０１５０】
本願の実施例は、プロセッサに実行される時に上記画像スタイル変換方法におけるステップを実現するコンピュータプログラムが記憶されているコンピュータ読み取り可能記憶媒体を提供する。本願の実施例はさらに、実行されてから、上記画像スタイル変換方法におけるステップを実現できるコンピュータ実行可能命令を含むコンピュータプログラム製品を提供する。なお、以上の記憶媒体および機器の実施例はその説明が上記方法の実施例に対する説明に類似し、方法の実施例に類似する有益な効果を有することに注意すべきである。本願の記憶媒体および機器の実施例において開示されていない技術的詳細については、本願の方法の実施例に対する説明を参照されたい。
【０１５１】
説明すべきは、図７は本願の実施例におけるコンピュータ機器のハードウェア実体模式図であるということであり、図７に示すように、該コンピュータ機器７００のハードウェア実体は、プロセッサ７０１、通信インタフェース７０２およびメモリ７０３を含み、そのうち、プロセッサ７０１は通常、コンピュータ機器７００の全体的な動作を制御する。通信インタフェース７０２によりコンピュータ機器はネットワークによって他の端末またはサーバと通信可能である。メモリ７０３は、プロセッサ７０１の実行可能な命令およびアプリケーションを記憶し、さらにプロセッサ７０１およびコンピュータ機器７００内の各モジュールの処理対象のまたは処理されたデータ（例えば、画像データ、オーディオデータ、音声通信データおよびビデオ通信データ）をバッファでき、かつフラッシュ（ＦＬＡＳＨ）またはランダムアクセスメモリ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ、ＲＡＭ）で実現であるように構成される。
【０１５２】
なお、明細書を通じて、言及された「一つの実施例」または「一実施例」は実施例に関連する特定の特徴、構造または特性が本願の少なくとも一つの実施例に含まれることを意味するということを理解すべきである。従って、明細書を通じて散在する「一つの実施例では」または「一実施例では」は必ずしも同一実施例を指すことではない。また、これらの特定の特徴、構造または特性は任意の適当な形態で一つ以上の実施例に組み込むことができる。なお、本願の様々な実施例では、上記各プロセスの番号の大小は実行順序の前後を意味するものではなく、各プロセスの実行順序はその機能および内部論理次第で確定すべきであり、本願の実施例の実施プロセスに何らの限定にもならないということを理解すべきである。本願の実施例の上記番号は説明するためのものに過ぎず、実施例の優劣を示すものではない。
【０１５３】
説明すべきは、本明細書において、用語「含む」、「からなる」またはその他のあらゆる変形は非排他的包含を含むように意図され、それにより一連の要素を含むプロセス、方法、物品または装置は、それらの要素のみならず、明示されていない他の要素、またはこのようなプロセス、方法、物品または装置に固有の要素をも含むようになるということである。特に断らない限り、文句「一つの……を含む」により限定される要素は、該要素を含むプロセス、方法、物品または装置に別の同じ要素がさらに存在することを排除するものではない。
【０１５４】
本願が提供するいくつかの実施例では、開示された機器および方法は、他の形態で実現できることを理解すべきである。以上に記載の機器の実施例は例示的なものに過ぎず、例えば、前記ユニットの分割は、論理機能の分割に過ぎず、実際に実現する場合に別の形態で分割してもよく、例えば、複数のユニットまたは構成要素は組み合わせてもよいし、または別のシステムに統合してもよいし、または一部の特徴を省略もしくは実行しなくてもよい。また、図示または説明した各構成要素の結合、または直接結合、または通信接続は、いくつかのインタフェース、機器またはユニットを介した間接結合または通信接続であり得、電気的、機械的または他の形態であり得る。
【０１５５】
また、本願の各実施例における各機能ユニットは全て一つの処理ユニットに統合されてもよいし、一つのユニットとして別々に使用されてもよいし、二つ以上で一つのユニットに統合されてもよく、上記統合されたユニットはハードウェアの形で、またはハードウェアとソフトウェアを組み合わせた機能ユニットの形で実現され得る。
【０１５６】
あるいは、本願の上記統合されたユニットはソフトウェア機能モジュールの形で実現されかつ独立した製品として販売または使用される場合、コンピュータ読み取り可能記憶媒体に記憶されてもよい。このような見解をもとに、本願の実施例の技術的解決手段は実質的にまたは従来技術に寄与する部分がソフトウェア製品の形で実施することができ、該コンピュータソフトウェア製品は記憶媒体に記憶され、コンピュータ機器（電子機器またはサーバなどであってもよい）に本願の各実施例に記載の方法の全てまたは一部を実行させる複数の命令を含む。前記記憶媒体は、携帯型記憶装置、ＲＯＭ、磁気ディスクまたは光ディスクなどのプログラムコードを記憶可能である様々な媒体を含む。
【０１５７】
以上の記載は、本願の実施形態に過ぎず、本願の保護範囲はこれに限定されず、当業者が本願に開示された技術的範囲内で容易に想到し得る変更や置換は、いずれも本願の保護範囲内に含まれるものとする。従って、本願の保護範囲は前記請求項の保護範囲に準ずるものとする。
【図１】
0006874168.tif 000323
【図２Ａ】
0006874168.tif 000324
【図２Ｂ】
0006874168.tif 000325
【図３Ａ】
0006874168.tif 000326
【図３Ｂ】
0006874168.tif 000327
【図４Ａ】
0006874168.tif 000328
【図４Ｂ】
0006874168.tif 000329
【図５Ａ】
0006874168.tif 000330
【図５Ｂ】
0006874168.tif 000331
【図６】
0006874168.tif 000332
【図７】
0006874168.tif 000333