(57)【要約】  本公開は、敵対的生成ネットワークのトレーニング方法であって、第一解像度サンプル画像は、第二解像度サンプル画像から抽出されることと、第一解像度サンプル画像と、0よりも大きい第一ノイズ画像とを含む第一入力画像および、第一解像度サンプル画像と、0に等しい第二ノイズ画像とを含む第二入力画像を、前記生成ネットワークにそれぞれ提供して、第一出力画像と、第二出力画像とをそれぞれ生成することと、第一出力画像と第二解像度サンプル画像とを識別ネットワークにそれぞれ提供し、第一識別結果と第二識別結果とを出力することと、前記生成ネットワークのパラメータを調整して、損失関数を低減することと、を含む生成ネットワークトレーニングステップを含むトレーニング方法を提供する。本公開は、敵対的生成ネットワークを用いた画像処理方法、コンピュータデバイスおよびコンピュータ読み取り可能な記憶媒体をさらに提供する。本公開は、所要の画像を得られる。
2022501662.tif 000002
【特許請求の範囲】
【請求項１】
第一解像度画像を、第一解像度画像の解像度よりも解像度が大きい第二解像度画像に変換する生成ネットワークと、識別ネットワークとを備える敵対的生成ネットワークのトレーニング方法であって、
第一解像度サンプル画像は、前記第一解像度サンプル画像の解像度よりも解像度が高い第二解像度サンプル画像から抽出されることと、
前記第一解像度サンプル画像と、0よりも大きい第一振幅のノイズサンプルの対応する第一ノイズ画像とを含む第一入力画像および、前記第一解像度サンプル画像と、0に等しい第二振幅のノイズサンプルの対応する第二ノイズ画像とを含む第二入力画像を、前記生成ネットワークにそれぞれ提供して、第一入力画像に基づいた第一出力画像と、第二入力画像に基づいた第二出力画像とをそれぞれ生成することと、
前記第一出力画像と前記第二解像度サンプル画像とを識別ネットワークにそれぞれ提供し、前記識別ネットワークは前記第一出力画像に基づいた第一識別結果と前記第二解像度サンプル画像に基づいた第二識別結果とを出力することと、
前記生成ネットワークのパラメータを調整して、前記第二出力画像と前記第二解像度サンプル画像との間の再構成誤差に基づく第一損失と、前記第一出力画像と前記第二解像度サンプル画像との間の知覚誤差に基づく第二損失と、前記第一識別結果と第二識別結果に基づく第三損失とを含む生成ネットワークの損失関数を低減することと、を含む生成ネットワークトレーニングステップを含むトレーニング方法。
【請求項２】
前記第二出力画像と前記第二解像度サンプル画像の差分値画像マトリックスのL1ノルム、前記第二出力画像と前記第二解像度サンプル画像との間の平均平方誤差、前記第二出力画像と前記第二解像度サンプル画像との間の構造類似性の何れかから、前記第二出力画像と前記第二解像度サンプル画像との間の再構成誤差が決定される、
請求項1に記載のトレーニング方法。
【請求項３】
前記第一出力画像と前記第二出力画像はいずれも前記生成ネットワークによって解像度を上げるステップの反復処理を介して生成され、前記生成ネットワークの損失関数の第一損失はλ１Ｌｒｅｃ（Ｘ，Ｙｎ＝０）であり、そのうち、
【数１】
2022501662.tif 000085
Ｘは、前記第二解像度サンプル画像であり、
Ｙｎ＝０は、前記第二出力画像であり、
Ｌｒｅｃ（Ｘ，Ｙｎ＝０）は、前記第二出力画像と前記第二解像度サンプル画像との間の再構成誤差であり、
Ｌは、前記反復処理における解像度を上げるステップの総回数であり（Ｌ１）、
【数２】
2022501662.tif 000086
は、前記生成ネットワークが前記第二入力画像に基づいて行う反復処理において、
【数３】
2022501662.tif 000087
の解像度を上げるステップが終了したときに生成される画像であり
【数４】
2022501662.tif 000088
、
ＬＲは、前記第一解像度サンプル画像であり、
【数５】
2022501662.tif 000089
は、
【数６】
2022501662.tif 000090
をダウンサンプリングした後に得られた第一解像度サンプル画像と同じ解像度の画像であり、
ＨＲ１は、前記第二解像度サンプル画像をダウンサンプリングした後に得られた
【数７】
2022501662.tif 000091
と同じ解像度の画像であり、
Ｅ［］は、マトリックスエネルギーに対する算出であり、
λ１は、予め設定した重み値である、
請求項1に記載のトレーニング方法。
【請求項４】
前記生成ネットワークの損失関数の第二損失はλ２Ｌｐｅｒ（Ｘ，Ｙｎ＝１）であり、そのうち、
【数８】
2022501662.tif 000092
となり、
Ｙｎ＝１は前記第一出力画像であり、
Ｌｐｅｒ（Ｘ，Ｙｎ＝１）は、前記第一出力画像と前記第二解像度サンプル画像との間の知覚誤差であり、
【数９】
2022501662.tif 000093
は、前記生成ネットワークが前記第一入力画像に基づいて行う反復処理において、
【数１０】
2022501662.tif 000094
の解像度を上げるステップが終了したときに生成される画像であり、
【数１１】
2022501662.tif 000095
は、
【数１２】
2022501662.tif 000096
をダウンサンプリングした後に得られた第一解像度サンプル画像と同じ解像度の画像であり、
ＬＣＸ（）は、知覚損失算出関数であり、
λ２は、は、予め設定した重み値である、
請求項3に記載のトレーニング方法。
【請求項５】
前記生成ネットワークの損失関数の第三損失はλ３ＬＧＡＮ（Ｙｎ＝１）であり、そのうち、
【数１３】
2022501662.tif 000097
となり、
【数１４】
2022501662.tif 000098
は、前記生成ネットワークが前記第一入力画像に基づいて反復処理を行ったときに生成される画像群であり、当該画像群は、各回の解像度を上げるステップが終了したときに生成される画像を含み、
ＨＲ１，２，．．．，Ｌは、第二解像度サンプル画像をダウンサンプリングした後に得られた
【数１５】
2022501662.tif 000099
における各画像と1対1で対応する解像度が同じ画像であり、
【数１６】
2022501662.tif 000100
は前記第一識別結果であり、Ｄ（ＨＲ１，２，．．．Ｌ）は前記第二識別結果であり、
λ３は予め設定した重み値である、
請求項4に記載のトレーニング方法。
【請求項６】
λ１：λ２：λ３=10：0.1：0.001となる請求項5に記載のトレーニング方法。
【請求項７】
前記ノイズサンプルはランダムノイズである、請求項1に記載のトレーニング方法。
【請求項８】
前記第一出力画像と前記第二解像度サンプル画像とを前記識別ネットワークにそれぞれ提供して、前記識別ネットワークに、前記第一出力画像に基づいた識別結果と、前記第二解像度サンプル画像に基づいた識別結果とを出力させることと、前記識別ネットワークのパラメータを調整することで、前記識別ネットワークの損失関数を低減することと、を含む識別ネットワークトレーニングステップをさらに含み、
前記識別ネットワークトレーニングステップと前記生成ネットワークトレーニングステップは、予め設定したトレーニング条件に達するまで交互に行われる、
請求項1に記載のトレーニング方法。
【請求項９】
前記第一出力画像と前記第二出力画像はいずれも前記生成ネットワークによって解像度を上げるステップの反復処理を介して生成され、前記反復処理中の解像度を上げるステップの総回数はLであり、Lが1よりも大きい場合、前記生成ネットワークが第一入力画像に基づいて行う反復処理の、L-1回目の解像度を上げるステップにおいて、回解像度を上げる毎に、生成ネットワークがいずれも1つの中間画像を生成し、
前記識別ネットワークトレーニングステップにおいて、前記第一出力画像を前記識別ネットワークに提供するとともに、さらに生成ネットワークが前記第一入力画像に基づいて生成された各中間画像を生成ネットワークに提供し、前記第二解像度サンプル画像を前記識別ネットワークに提供するとともに、さらに前記第二解像度サンプル画像をダウンサンプリングした後に得られた、各中間画像と1対1で対応する解像度が同じ第三解像度サンプル画像を、前記識別ネットワークに提供する、
請求項8に記載のトレーニング方法。
【請求項１０】
請求項1〜9の何れか1項のトレーニング方法で得られた敵対的生成ネットワークにおける生成ネットワークの画像処理方法であって、
前記画像処理方法は、画像の解像度を上げるのに用いられ、
入力画像と、参考ノイズの対応するノイズ画像とを前記生成ネットワークに提供して、前記生成ネットワークに、前記入力画像に基づいた第二解像度画像を生成させることを含む画像処理方法。
【請求項１１】
前記参考ノイズの振幅は0から前記第一振幅までである、請求項10に記載の画像処理方法。
【請求項１２】
前記参考ノイズはランダムノイズである、請求項10に記載の画像処理方法。
【請求項１３】
コンピュータプログラムが記憶されるメモリーと、プロセッサとを備えるコンピュータデバイスであって、
前記コンピュータプログラムが前記プロセッサによって実行されるとき、請求項1〜9の何れか1項に記載のトレーニング方法が実現される、
コンピュータデバイス。
【請求項１４】
コンピュータプログラムが記憶されるコンピュータ読み取り可能な記憶媒体であって、
当該コンピュータプログラムがプロセッサによって実行されるとき、請求項1〜9の何れか1項に記載のトレーニング方法が実現される、
コンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
［関連出願の相互参照］
本願は、2018年9月30に中国国家知識産権局へ提出された名称を「敵対的生成ネットワークのトレーニング方法、画像処理方法、デバイスおよび記憶媒体」とする中国特許出願201811155930.9に基づく優先権を主張する。本願は、2018年9月30に中国国家知識産権局へ提出された、名称を「画像識別方法、識別器およびコンピュータ読み取り可能な記憶媒体」とする中国特許出願201811155326.6に基づく優先権を主張する。本願は、2018年9月30に中国国家知識産権局へ提出された名称を「画像処理方法およびシステム、解像度を上げる方法、読み取り可能な記憶媒体」とする中国特許出願201811155147.2に基づく優先権を主張する。また、本願は、2018年9月30に中国国家知識産権局へ提出された名称を「トレーニング画像の前処理方法およびモジュール、識別器、読み取り可能な記憶媒体」とする中国特許出願201811155252.6に基づく優先権を主張し、ここでは、引用により当該出願の公開内容を本願に加える。
【０００２】
［技術分野］
本公開は画像処理分野に関するが、これに限定されず、具体的には、敵対的生成ネットワークのトレーニング方法、前記トレーニング方法を用いて得た敵対的生成ネットワークの画像処理方法、コンピュータデバイスおよびコンピュータ読み取り可能な記憶媒体に関する。
【背景技術】
【０００３】
畳み込みニューラルネットワークはよく見られるディープラーニングネットワークであり、画像認識、画像分類、画像超解像再構成などを実現するために、現在画像処理分野で大量に応用されている。
従来の超解像度再構成方法において、第一解像度画像に基づいて再構成した第二解像度画像（第二解像度画像の解像度は第一解像度画像の解像度よりも大きい）は、往々にして細部情報を欠いており、第二解像度画像は現実のものには見えない。
【発明の概要】
【０００４】
本公開は、少なくとも従来技術に存在する技術課題の1つを解決するためになされたものであり、敵対的生成ネットワークのトレーニング方法、前記トレーニング方法を用いて得た敵対的生成ネットワークの画像処理方法、コンピュータデバイスおよびコンピュータ読み取り可能な記憶媒体を提供する。
【０００５】
上記技術課題の1つを解決するために、本公開は、第一解像度画像を、第一解像度画像の解像度よりも解像度が大きい第二解像度画像に変換する生成ネットワークと、識別ネットワークとを備える敵対的生成ネットワークのトレーニング方法であって、
第一解像度サンプル画像は、前記第一解像度サンプル画像の解像度よりも解像度が高い第二解像度サンプル画像から抽出されることと、
前記第一解像度サンプル画像と、0よりも大きい第一振幅のノイズサンプルの対応する第一ノイズ画像とを含む第一入力画像および、前記第一解像度サンプル画像と、0に等しい第二振幅のノイズサンプルの対応する第二ノイズ画像とを含む第二入力画像を、前記生成ネットワークにそれぞれ提供して、第一入力画像に基づいた第一出力画像と、第二入力画像に基づいた第二出力画像とをそれぞれ生成することと、
前記第一出力画像と前記第二解像度サンプル画像とを識別ネットワークにそれぞれ提供し、前記識別ネットワークは前記第一出力画像に基づいた第一識別結果と前記第二解像度サンプル画像に基づいた第二識別結果とを出力することと、
前記生成ネットワークのパラメータを調整して、前記第二出力画像と前記第二解像度サンプル画像との間の再構成誤差に基づく第一損失と、前記第一出力画像と前記第二解像度サンプル画像との間の知覚誤差に基づく第二損失と、前記第一識別結果と第二識別結果に基づく第三損失とを含む生成ネットワークの損失関数を低減することと、を含む生成ネットワークトレーニングステップを含むトレーニング方法を提供する。
【０００６】
任意選択で、前記第二出力画像と前記第二解像度サンプル画像の差分値画像マトリックスのL1ノルム、前記第二出力画像と前記第二解像度サンプル画像との間の平均平方誤差、前記第二出力画像と前記第二解像度サンプル画像との間の構造類似性の何れかから、前記第二出力画像と前記第二解像度サンプル画像との間の再構成誤差が決定される
【０００７】
任意選択で、前記第一出力画像と前記第二出力画像はいずれも前記生成ネットワークによって解像度を上げるステップの反復処理を介して生成され、前記生成ネットワークの損失関数の第一損失はλ１Ｌｒｅｃ（Ｘ，Ｙｎ＝０）であり、そのうち、
【数１】
2022501662.tif 000003
となり、
Ｘは、前記第二解像度サンプル画像であり、
Ｙｎ＝０は、前記第二出力画像であり、
Ｌｒｅｃ（Ｘ，Ｙｎ＝０）は、前記第二出力画像と前記第二解像度サンプル画像との間の再構成誤差であり、
Ｌは、前記反復処理における解像度を上げるステップの総回数であり（Ｌ１）、
【数２】
2022501662.tif 000004
は、前記生成ネットワークが前記第二入力画像に基づいて行う反復処理において、
【数３】
2022501662.tif 000005
の解像度を上げるステップが終了したときに生成される画像であり
【数４】
2022501662.tif 000006
ＬＲは、前記第一解像度サンプル画像であり、
【数５】
2022501662.tif 000007
は、
【数６】
2022501662.tif 000008
をダウンサンプリングした後に得られた第一解像度サンプル画像と同じ解像度の画像であり、
ＨＲlは、前記第二解像度サンプル画像をダウンサンプリングした後に得られた
【数７】
2022501662.tif 000009
と同じ解像度の画像であり、
Ｅ［］は、マトリックスエネルギーに対する算出であり、
λ１は、予め設定した重み値である。
【０００８】
任意選択で、前記生成ネットワークの損失関数の第二損失はλ２Ｌｐｅｒ（Ｘ，Ｙｎ＝１）であり、そのうち、
【数８】
2022501662.tif 000010
となり、
Ｙｎ＝１は前記第一出力画像であり、
Ｌｐｅｒ（Ｘ，Ｙｎ＝１）は、前記第一出力画像と前記第二解像度サンプル画像との間の知覚誤差であり、
【数９】
2022501662.tif 000011
は、前記生成ネットワークが前記第一入力画像に基づいて行う反復処理において、
【数１０】
2022501662.tif 000012
の解像度を上げるステップが終了したときに生成される画像であり、
【数１１】
2022501662.tif 000013
は、
【数１２】
2022501662.tif 000014
をダウンサンプリングした後に得られた第一解像度サンプル画像と同じ解像度の画像であり、
ＬＣＸ（）は、知覚損失算出関数であり、
λ２は、予め設定した重み値である。
任意選択で、前記生成ネットワークの損失関数の第三損失はλ３ＬＧＡＮ（Ｙｎ＝１）であり、そのうち、
【数１３】
2022501662.tif 000015
となり、
【数１４】
2022501662.tif 000016
は、前記生成ネットワークが前記第一入力画像に基づいて反復処理を行ったときに生成される画像群であり、当該画像群は、各回の解像度を上げるステップが終了したときに生成する画像を含み、
ＨＲ１，２，．．．，Ｌは、第二解像度サンプル画像をダウンサンプリングした後に得られた
【数１５】
2022501662.tif 000017
における各画像と1対1で対応する解像度が同じ画像であり、
【数１６】
2022501662.tif 000018
は前記第一識別結果であり、
Ｄ（ＨＲ１，２，．．．Ｌ）は前記第二識別結果であり、
λ３は予め設定した重み値である。
任意選択で、λ１：λ２：λ３=10：0.1：0.001となる。
任意選択で、前記ノイズサンプルはランダムノイズである。任意選択で、前記トレーニング方法は、前記第一出力画像と前記第二解像度サンプル画像とを前記識別ネットワークにそれぞれ提供して、前記識別ネットワークに、前記第一出力画像に基づいた識別結果と、前記第二解像度サンプル画像に基づいた識別結果とを出力させることと、前記識別ネットワークのパラメータを調整することで、前記識別ネットワークの損失関数を低減することと、を含む識別ネットワークトレーニングステップをさらに含む。
【０００９】
前記識別ネットワークトレーニングステップと前記生成ネットワークトレーニングステップは、予め設定したトレーニング条件に達するまで交互に行われる。
【００１０】
任意選択で、前記第一出力画像と前記第二出力画像はいずれも前記生成ネットワークによって解像度を上げるステップの反復処理を介して生成され、前記反復処理中の解像度を上げるステップの総回数はLであり、Lが1よりも大きい場合、前記生成ネットワークが第一入力画像に基づいて行う反復処理の、L-1回目の解像度を上げるステップにおいて、回解像度を上げる毎に、生成ネットワークはいずれも1つの中間画像を生成する。
【００１１】
前記識別ネットワークトレーニングステップにおいて、前記第一出力画像を前記識別ネットワークに提供するとともに、さらに生成ネットワークが前記第一入力画像に基づいて生成された各中間画像を生成ネットワークに提供し、前記第二解像度サンプル画像を前記識別ネットワークに提供するとともに、さらに前記第二解像度サンプル画像をダウンサンプリングした後に得られた、各中間画像と1対1で対応する解像度が同じ第三解像度サンプル画像を、前記識別ネットワークに提供する。
【００１２】
また、本公開は、上記トレーニング方法で得られた敵対的生成ネットワークにおける生成ネットワークの画像処理方法であって、
前記画像処理方法は、画像の解像度を上げるのに用いられ、
入力画像と、参考ノイズの対応するノイズ画像とを前記生成ネットワークに提供して、前記生成ネットワークに、前記入力画像に基づいた第二解像度画像を生成させることを含む画像処理方法をさらに提供する。
【００１３】
任意選択で、前記参考ノイズの振幅は0から前記第一振幅までである。
【００１４】
任意選択で、前記参考ノイズはランダムノイズである。
【００１５】
また、本公開は、コンピュータプログラムが記憶されるメモリーと、プロセッサとを備えるコンピュータデバイスであって、前記コンピュータプログラムが前記プロセッサによって実行されるとき、上記トレーニング方法が実現される、コンピュータデバイスをさらに提供する。
【００１６】
また、本公開は、コンピュータプログラムが記憶されるコンピュータ読み取り可能な記憶媒体であって、当該コンピュータプログラムがプロセッサによって実行されるとき、上記トレーニング方法が実現されるコンピュータ読み取り可能な記憶媒体をさらに提供する。
【００１７】
図面は、本開示のさらなる理解を提供するために用いられ、本明細書の一部を構成し、以下の具体的な実施の形態とともに本公開を説明するために使用されるが、本公開を限定するものではない。
【図面の簡単な説明】
【００１８】
【図１】再構成歪みと知覚歪みとの間の関係を示す図である。
【図２】本公開実施例における生成ネットワークトレーニングステップのフローチャートである。
【図３】本公開実施例における生成ネットワークの構造模式図である。
【発明を実施するための形態】
【００１９】
以下、本発明の実施の形態について、図面を組み合わせて詳細に説明する。ここで記載された具体的な実施の形態は本公開を説明および解釈するためのものにすぎず、本開示を限定するためのものではないことを理解されたい。
【００２０】
画像超解像度再構成は初期画像の解像度を上げ、より高い解像度の画像を得る技術である。画像超解像度再構成において、再構成歪みと知覚歪みは超解像度の再構成効果を評価するのに用いられる。再構成歪みは再構成画像および参考画像との間の差異度合いを判断するのに用いられ、具体的な評価基準は、平均二乗誤差( MSE )、類似度( SSIM )、ピーク信号対雑音比( PSNR )などを含む。知覚歪みは、画像を自然な画像により似て見えることに一層着目する。図1は、再構成歪みと知覚歪みとの間の関係を示す図である。図1に示すように、再構成歪みが小さい場合、知覚歪みは大きい。この際に、再構成画像は、より滑らかに見えるが、細部を欠いている。知覚歪みが小さい場合、再構成歪みは大きい。この際に、再構成画像の詳細がより豊富になる。現在の画像超解像度再構成法は、小さな再構成歪みを追求する傾向があるが、一部の適用シーンでは、詳細で豊富な再構成画像を得ることが望まれる傾向がある。
【００２１】
本公開は、第一解像度画像を、第一解像度画像の解像度よりも解像度が大きい第二解像度画像に変換して、目標解像度の第二解像度画像を得る生成ネットワークと、識別ネットワークとを備える、敵対的生成ネットワークのトレーニング方法を提供する。生成ネットワークは、解像度を上げるステップの一回の処理または複数回反復処理によって第二解像度画像を得ることができる。処理対象の画像（すなわち、第一解像度画像）の解像度が128*128であり、目標解像度が1024*1024である場合を例にとれば、生成ネットワークは、一回に上げる倍数が8倍である解像度を上げるステップによって1024*1024の第二解像度画像を得てもよいし、上げる倍数が2倍である解像度を上げるステップによって三回の反復処理を行って、解像度が256*256、512*512、1024*1024である画像を順次に得てもよい。
【００２２】
敵対的生成ネットワークのトレーニング方法は、生成ネットワークトレーニングステップを含む。図2は、本公開実施例における生成ネットワークトレーニングステップのフローチャートである。図2に示すように、生成ネットワークトレーニングステップは、S1〜S4を含む。
【００２３】
S1. 第一解像度サンプル画像は、第一解像度サンプル画像の解像度よりも解像度が高い第二解像度サンプル画像から抽出される。具体的には、第一解像度サンプル画像は、第二解像度サンプル画像をダウンサンプリングすることによって得てよい。
【００２４】
S2. 第一解像度サンプル画像と、0よりも大きい第一振幅のノイズサンプルの対応する第一ノイズ画像とを含む第一入力画像および、第一解像度サンプル画像と、0に等しい第二振幅のノイズサンプルの対応する第二ノイズ画像とを含む第二入力画像を、生成ネットワークにそれぞれ提供して、第一入力画像に基づいた第一出力画像と、第二入力画像に基づいた第二出力画像とをそれぞれ生成する。
そのうち、ノイズサンプルの振幅はノイズサンプルの平均波動振幅である。例えば、ノイズサンプルは、ランダムノイズであり、ノイズサンプルの対応する画像平均値はμであり、分散はσであり、すなわち、ノイズサンプルの対応する画像のうち各ピクセル値は大部分がμ−σ〜μ＋σの間で変動する。この際に、ノイズ振幅はμである。画像処理過程において、画像はいずれもマトリックスで示され、上記ピクセル値は画像マトリックスにおける元素値を示すことを理解されたい。ノイズサンプルの振幅が0である場合、画像マトリックスにおける各元素の値は0未満であることから、画像マトリックスの各元素値はいずれも0として見做されることができる。
【００２５】
なお、敵対的生成ネットワークのトレーニング方法には、生成ネットワークトレーニングステップが複数ある。同じ生成ネットワークトレーニングステップにおいて、第一解像度サンプル画像は同じであり、かつ第一入力画像と第二入力画像を受信する生成ネットワークのモデルパラメータは同一である。
【００２６】
S3. 第一出力画像と前記第二解像度サンプル画像とを識別ネットワークにそれぞれ提供し、識別ネットワークは前記第一出力画像に基づいた第一識別結果と第二解像度サンプル画像に基づいた第二識別結果とを出力する。第一識別結果は、第一出力画像と第二解像度サンプル画像との間の整合度を特徴付けるのに用いられ、例えば、第一識別結果は、識別ネットワークが第一出力画像を第二解像度サンプル画像として判定する確率を特徴付けるのに用いられ、第二識別結果は、識別ネットワークが第二解像度試料画像を確かに第二解像度サンプル画像として判定する確率を特徴付けるのに用いられる。
【００２７】
ここで、識別ネットワークは採点機能を有する識別器とみなすことができる。当該識別ネットワークは、受信した識別対象の画像を採点し、出力された点数は、識別対象の画像（第一出力画像）が第二解像度サンプル画像である確率、すなわち、上記整合度を示し、そのうち、整合度は0〜1の間であってよい。識別ネットワークの出力が0又は0に近い場合、識別ネットワークは、受信した識別対象の画像を非高解像度サンプル画像に分類することを示す。識別ネットワークの出力が1又は1に近い場合、受信した識別対象の画像が第二解像度サンプル画像であることを示す。
【００２８】
識別ネットワークの採点機能は、予め定められた点数の「真」サンプルと「偽」サンプルを用いてトレーニングすることができる。例えば、「偽」サンプルは、生成ネットワークが生成した画像であり、「真」サンプルは、第二解像度サンプル画像である。識別ネットワークのトレーニング過程は、識別ネットワークのパラメータを調整することで、識別ネットワークが「真」サンプルを受信した場合には1に近い点数を出力させ、「偽」サンプルを受信した場合には0に近い点数を出力させるというものである。
【００２９】
S4. 生成ネットワークのパラメータを調整することで、生成ネットワークの損失関数を低減する。いわゆる「生成ネットワークの損失関数を低減する」ことは、損失関数の値が前回の生成ネットワークトレーニングステップに対して低減したか、或いは、複数回の生成ネットワークトレーニングステップにおいて、損失関数の値が全体的に低減の傾向を呈することを指す。ここで、生成ネットワークの損失関数は、第一損失、第二損失および第三損失を含む。具体的には、損失関数は、第二出力画像と第二解像度サンプル画像との間の再構成誤差に基づく第一損失と、第一出力画像と第二解像度サンプル画像との間の知覚誤差に基づく第二損失と、第一識別結果と第二識別結果に基づく第三損失とを重畳したものである。
【００３０】
超解像度再構成を行う場合、再構成された第二解像度画像における細部特徴（例えば、毛、線など）はノイズに関連する傾向がある。生成ネットワークのトレーニングにノイズが加えられない場合、生成ネットワークが生成した第二解像度画像の再構成歪みは小さく、知覚歪みが大きく、肉眼にはあまりリアルではないように見える。生成ネットワークのトレーニングにノイズが加えられる場合、再構成された第二解像度画像における細部特徴は目立つが、再構成歪みは大きい。本公開は、生成ネットワークのトレーニングにおいて、振幅が0であるノイズ画像を含む第二入力画像と、振幅が1であるノイズ画像を含む第一入力画像とをそれぞれ生成ネットワークに提供してトレーニングを行い、かつ損失関数の第一損失は、生成ネットワークの生成結果の再構成歪みを反映し、第二損失は、生成ネットワークの生成結果の知覚歪みを反映し、すなわち、損失関数は、2種類の歪み評価標準を組み合わせたものであり、トレーニングした生成ネットワークで画像に対し解像度を上げるとき、実際の必要に応じて（すなわち、強調画像の細部及び強調度合いを得る必要があるかどうか）入力ノイズの振幅を調整して、再構成された画像に実際の必要を満たすことができる。例えば、再構成歪み範囲が与えられた場合に、入力ノイズの振幅を調整することで、最小の知覚歪みに達するか、或いは、知覚歪み範囲が与えられた場合に、入力ノイズの振幅を調整することで、最小の再構成歪みに達する。
【００３１】
なお、本実施例で言う第一入力画像のノイズ画像の振幅が1であることは、ノイズ画像の振幅を正規化した後得た振幅値を指す。本願の他の実施例において、ノイズ画像の振幅を正規化しなくてもよく、第一入力画像のノイズ画像の振幅値は1でない他の値であってもよい。
【００３２】
任意選択で、ノイズサンプルはランダムノイズであり、第一ノイズ画像の平均値は1である。任意選択で、第一ノイズ画像の平均値は、第一ノイズ画像の正規化画像の平均値である。例えば、第一ノイズ画像を階調画像とすると、第一ノイズ画像を正規化して得た画像において、各ピクセル値の平均値はすなわち、第一ノイズ画像の平均値である。また、例えば、第一ノイズ画像をカラー画像とすると、第一ノイズ画像の各チャネルを正規化した後に得た画像において、各ピクセル値の平均値はすなわち、第一ノイズ画像の平均値である。なお、本公開実施例の画像のチャネルは1枚の画像を1つまたは複数のチャネルに分けて処理し、例えば、1枚のRGBモードカラー画像は、赤、緑、青の3つのチャネルに分けてよい。階調図である場合、1つのチャネルの画像である。カラー画像HSV色系で分ける場合、色相H、彩度S、明度Vの3つのチャネルを指す。
【００３３】
任意選択で、生成ネットワークの損失関数は
Loss=λ１Ｌｒｅｃ（Ｘ，Ｙｎ＝０）＋λ２Ｌｐｅｒ（Ｘ，Ｙｎ＝１）＋λ３ＬＧＡＮ（Ｙｎ＝１）という式で示される。
そのうち、損失関数Lossの第一損失λ１Ｌｒｅｃ（Ｘ，Ｙｎ＝０）において、Ｌｒｅｃ（Ｘ，Ｙｎ＝０）は第二出力画像と第二解像度サンプル画像との間の再構成誤差である。損失関数Lossの第二損失λ２Ｌｐｅｒ（Ｘ，Ｙｎ＝１）においてＬｐｅｒ（Ｘ，Ｙｎ＝１）は第二出力画像と第二解像度サンプル画像との間の知覚誤差である。損失関数L0ssの第三損失λ２Ｌｐｅｒ（Ｘ，Ｙｎ＝１）において、λ３ＬＧＡＮ（Ｙｎ＝１）は、第一識別結果と第二識別結果の和である。λ１、λ２、λ３はいずれも予め設定した重み値である。例えば、λ１：λ２：λ３=10：0.1：0.001、或いは、λ１：λ２：λ３=1：1：0.5などであり、実際の必要に応じて調整することができる。いくつかの実施例において、一部の画像の連続性に応じて、λ１：λ２：λ３を設定することができる。いくつかの実施例において、画像における目標ピクセルに応じて、λ１：λ２：λ３を設定することができる。
【００３４】
具体的には、第二出力画像Ｙｎ＝０と第二解像度サンプル画像Xとの間の再構成誤差Ｌｒｅｃ（Ｘ，Ｙｎ＝０）は、
【数１７】
2022501662.tif 000019
という式で算出される。
そのうち、第一出力画像と第二出力画像はいずれも生成ネットワークによって解像度を上げるステップの反復処理を介して生成される。反復処理における解像度を上げるステップの総回数はLである（Ｌ≧1）。
【数１８】
2022501662.tif 000020
は、生成ネットワークが第二入力画像に基づいて行う反復処理において、
【数１９】
2022501662.tif 000021
の解像度を上げるステップが終了したときに生成される画像である
【数２０】
2022501662.tif 000022
。
【数２１】
2022501662.tif 000023
の場合、生成ネットワークはすなわち、第二出力画像Ｙｎ＝０を生成することを理解されたい。
ＬＲは、第一解像度サンプル画像である。
【数２２】
2022501662.tif 000024
は、
【数２３】
2022501662.tif 000025
をダウンサンプリングした後に得られた第一解像度サンプル画像と同じ解像度の画像である。ダウンサンプリング方法は、ステップS1における、第二解像度サンプル画像から第一解像度サンプル画像を得る方法と同一であってよい。
ＨＲ１は、前記第二解像度サンプル画像をダウンサンプリングした後に得られた
【数２４】
2022501662.tif 000026
と同じ解像度の画像である。なお、
【数２５】
2022501662.tif 000027
の場合、
【数２６】
2022501662.tif 000028
は、すなわち、第二出力画像Ｙｎ＝０であり、この際に、ＨＲ１は、すなわち、第二解像度サンプル画像自体であり、第二解像度サンプル画像を、倍率が1であるダウンサンプリングをした後に得た画像として見做すことができる。
Ｅ［］は、マトリックスエネルギーに対する算出である。例えば、Ｅ［］は、「[]」におけるマトリックスの元素の最大値または平均値を算出することであってよい。
【００３５】
生成ネットワークが複数回の解像度を上げるステップを反復する状況については、再構成誤差を算出するときに、第二出力画像自体と第二解像度サンプル画像との間の差分値画像マトリックスのL1ノルムを算出するのみならず、生成ネットワークの生成された第三解像度画像（すなわち、
【数２７】
2022501662.tif 000029
）と同じ解像度の第三解像度サンプル画像（すなわち、ＨＲ１、ＨＲ２、・・・ＨＲＬ−１）との間の差分値画像マトリックスのL1ノルムも累加した。同時に、第三解像度画像、第二出力画像ダウンサンプリングの画像と第一解像度サンプル画像との間の差分値画像のL1ノルムを累加して、生成ネットワークで解像度を上げる場合、入力振幅をゼロのノイズとすると、生成ネットワークが最終的に出力した画像は、なるべく小さい再構成歪みに達することができる。なお、第三解像度画像の解像度は第一解像度サンプル画像の解像度よりも大きく、第三解像度画像の解像度と第三解像度サンプル画像の解像度は同一である。
【００３６】
上記実施例において、第二出力画像と第二解像度サンプル画像との間の再構成誤差Ｌｒｅｃ（Ｘ，Ｙｎ＝０）は、第二出力画像と第二解像度サンプル画像の差分値画像マトリックスのL1ノルムに基づいて得るものであり、もちろん、第二出力画像と第二解像度サンプル画像との間の平均平方誤差（MSE）に基づいて再構成誤差を得るか、または第二出力画像と第二解像度サンプル画像との間の構造類似性（SSIM）に基づいて再構成誤差を得ることもできる。
【００３７】
任意選択で、第一出力画像Ｙｎ＝１と第二解像度サンプル画像Ｘとの間の知覚誤差Ｌｐｅｒ（Ｘ，Ｙｎ＝１）は、
【数２８】
2022501662.tif 000030
という式により算出され、
【数２９】
2022501662.tif 000031
は、生成ネットワークが第一入力画像に基づいて行う反復処理において、
【数３０】
2022501662.tif 000032
の解像度を上げるステップが終了したときに生成される画像である
【数３１】
2022501662.tif 000033
。
【数３２】
2022501662.tif 000034
の場合、生成ネットワークはすなわち、第一出力画像
【数３３】
2022501662.tif 000035
を生成することを理解されたい。
【数３４】
2022501662.tif 000036
は、
【数３５】
2022501662.tif 000037
をダウンサンプリングした後に得られた第一解像度サンプル画像と同じ解像度の画像である。ダウンサンプリング方法は、ステップS1における、第二解像度サンプル画像から第一解像度サンプル画像を得る方法と同一であってよい。ＨＲ１、Ｅ［］の意味については上文にける記述を参照し、ここでは説明を省略する。
ＬＣＸ（）は、知覚損失（Contextual Loss）算出関数である。
【００３８】
再構成誤差の算出に近似して、知覚誤差の算出は、知覚損失関数で第一出力画像と第二解像度サンプル画像の差異を算出したのみならず、生成ネットワークは第一入力画像に基づいて生成された第三解像度画像（すなわち、
【数３６】
2022501662.tif 000038
）と解像度の同じ第三解像度サンプル画像（すなわち、ＨＲ１、ＨＲ２、・・・ＨＲＬ−１）との間の差異も積算した。同時に、第三解像度画像、第二出力画像ダウンサンプリングの画像と第一解像度サンプル画像との間の差異を累加して、これにより生成ネットワークにより解像度を上げる場合は、入力振幅を第一振幅のノイズとすると、生成ネットワークが最終的に出力する画像はなるべく小さい知覚歪みに達することができる。
【００３９】
任意選択で、生成ネットワークの損失関数の第三損失におけるＬＧＡＮ（Ｙｎ＝１）は
【数３７】
2022501662.tif 000039
という式で算出し、
そのうち、
【数３８】
2022501662.tif 000040
は、生成ネットワークが第一入力画像に基づいて反復処理を行ったときに生成される画像群であり、当該画像群は、各回の解像度を上げるステップが終了したときに生成される画像を含む。L=1の場合、当該画像群は、上記第一出力画像のみを含む。L＞1の場合、当該画像群は、
【数３９】
2022501662.tif 000041
および第一出力画像Ｙｎ＝１を含む。
ＨＲ１，２，．．．Ｌは、第二解像度サンプル画像をダウンサンプリングした後に得られた
【数４０】
2022501662.tif 000042
における各画像と1対1で対応する解像度が同じ画像である。そのうち、ＨＲＬは第二解像度サンプル画像自体である。
【数４１】
2022501662.tif 000043
は、
【数４２】
2022501662.tif 000044
に基づいた識別ネットワークの識別結果であり、すなわち、第一識別結果である。
Ｄ（ＨＲ１，２，．．．Ｌ）は、ＨＲ１，２，．．．Ｌに基づいた識別ネットワークの識別結果であり、すなわち、第二識別結果である。
【００４０】
本公開のトレーニング方法において、上記生成ネットワークのトレーニングステップ以外に、第一出力画像と第二解像度サンプル画像とを識別ネットワークにそれぞれ提供して、識別ネットワークに、第一出力画像に基づいた識別結果と、第二解像度サンプル画像に基づいた識別結果とを出力させることと、識別ネットワークのパラメータを調整することで、識別ネットワークの損失関数を低減することと、を含む識別ネットワークトレーニングステップをさらに含む。
【００４１】
識別ネットワークトレーニングステップと生成ネットワークトレーニングステップは、予め設定したトレーニング条件に達するまで交互に行われる。当該予め設定したトレーニング条件は例えば、交互の回数が予定値に達することであってよい。
そのうち、初期化時には、生成ネットワークと識別ネットワークのパラメータは、設定したもの或いはランダムなものである。
【００４２】
上述の通り、第一出力画像と第二出力画像はいずれも生成ネットワークによって解像度を上げるステップの反復処理を介して生成され、反復総回数はL回である。L=1の場合、毎回識別ネットワークに画像が提供されるとき、第一出力画像または第二解像度サンプル画像のみを識別ネットワークに提供してよい。L＞1の場合、生成ネットワークが第一入力画像に基づいて行ったL-1回目の解像度を上げるステップにおいて、回解像度を上げる毎に、生成ネットワークはいずれも1つの中間画像を生成する。L回目の反復をする場合、生成ネットワークが生成した画像はすなわち、第一出力画像である。この際に、識別ネットワークは、複数個の画像を同時に受信し、受信した複数個の画像に基づいてそのうち解像度が一番高いものと第二解像度サンプル画像との間の整合度を決定するように複数個の入力端を有するように配置されている。識別ネットワークトレーニングステップにおいて、第一出力画像を識別ネットワークに提供するとともに、生成ネットワークが第一入力画像に基づいて生成した各中間画像を生成ネットワークにさらに提供し、第二解像度サンプル画像を識別ネットワークに提供するとともに、第二解像度サンプル画像をダウンサンプリングした後に得られた、各中間画像と1対1で対応しかつ解像度が同じ第三解像度サンプル画像を、識別ネットワークに提供する。
【００４３】
生成ネットワークのトレーニング過程において、生成ネットワークのパラメータを調整することで、生成ネットワークの出力結果が識別ネットワークに入力された後に、識別ネットワークは1に近い整合度を識別結果としてできるだけ出力するようにし、すなわち、識別ネットワークに、生成ネットワークの出力結果が第二解像度サンプル画像であると判断させる。識別ネットワークのトレーニング過程において、識別ネットワークのパラメータを調整することで、第二解像度サンプル画像が識別ネットワークに入力された後に、識別ネットワークは、1に近い整合度をできるだけ出力し、かつ生成ネットワークの出力結果が識別ネットワークに入力された後に、識別ネットワークは0に近い整合度をできるだけ出力するようにする。すなわち、識別ネットワークは、その受信した画像が第二解像度サンプル画像であるかどうかをトレーニングによって判断できる。生成ネットワークと識別ネットワークが交互にトレーニングされることによって、識別ネットワークを絶えず最適化し、識別能力を上げる一方、生成ネットワークを絶えず最適化し、出力結果を第二解像度サンプル画像にできるだけ近づけさせる。このような方法では、2つの交互に「敵対的」なモデルをトレーニング毎にもう1つのモデルのますますよい結果に基づいて競争し絶えず改善させ、ますます優れた敵対的生成ネットワークモデルを得る。
【００４４】
本公開は、上記トレーニング方法で得られた敵対的生成ネットワークにおける生成ネットワークの画像処理方法であって、当該画像処理方法は、敵対的生成ネットワークにおける生成ネットワークを用いて画像の解像度を上げるのに用いられ、入力画像と、参考ノイズの対応するノイズ画像とを生成ネットワークに提供して、生成ネットワークに、入力画像よりも解像度の高い画像を生成させることを含む画像処理方法をさらに提供する。そのうち、参考ノイズの振幅は0から前記第一振幅までである。具体的には、参考ノイズはランダムノイズである。
【００４５】
本公開は、敵対的生成ネットワークにおける生成ネットワークをトレーニングするとき、生成ネットワークに振幅が0であるノイズサンプルと第一振幅のノイズサンプルとが提供され、かつ、生成ネットワークの損失関数は、再構成歪みと知覚歪みの2種類の歪み評価基準を組み合わせたものである場合、生成ネットワークで画像の解像度を上げるとき、実際の必要に応じて参考ノイズの振幅を調整して、実際の必要を満たすことができる。例えば、再構成歪み範囲が与えられた場合に、参考ノイズの振幅を調整することで、最小の知覚歪みに達するか、或いは、知覚歪み範囲が与えられた場合に、参考ノイズの振幅を調整することで、最小の再構成歪みに達する。
【００４６】
図3は、本公開実施例における生成ネットワークの構造模式図である。以下、図3を組み合わせて生成ネットワークについて説明する。生成ネットワークは、解像度を上げる反復処理を行うのに用いられ、毎回解像度を上げる過程では処理対象の
【数４３】
2022501662.tif 000045
解像度を上げて、解像度の上がった
【数４４】
2022501662.tif 000046
を得る。解像度を上げる総反復回数が1である場合、処理対象の
【数４５】
2022501662.tif 000047
はすなわち、初期の入力画像である。解像度を上げる総反復回数がL回であり、かつL>1の場合、処理対象の
【数４６】
2022501662.tif 000048
は、初期の入力画像に対し
【数４７】
2022501662.tif 000049
解像度を上げた後の出力画像である。以下、初期の入力画像の解像度が128*128であり、毎回解像度を上げる倍数が2であり、l=2となることを例として生成ネットワークについて説明する。この場合、図における処理対象の
【数４８】
2022501662.tif 000050
は、一回解像度を上げた後に得た256*256的画像である。
【００４７】
図3に示すように、生成ネットワークは第一分析モジュール11、第二分析モジュール12、第一連結モジュール21、第二連結モジュール22、補間モジュール31、第一アップサンプリングモジュール41、第一ダウンサンプリングモジュール51、重畳モジュール70および反復の残差修正システム、を含む。
第一分析モジュール11は、処理対象の
【数４９】
2022501662.tif 000051
の
【数５０】
2022501662.tif 000052
を生成し、
【数５１】
2022501662.tif 000053
のチャネル数が処理対象の
【数５２】
2022501662.tif 000054
のチャネル数よりも大きいように構造されている。
【００４８】
第一連結モジュール21は、処理対象の画像の
【数５３】
2022501662.tif 000055
をノイズ画像noiseと連結し（concatenate），
【数５４】
2022501662.tif 000056
を得るように構造されている。
【数５５】
2022501662.tif 000057
のチャネル数は、
【数５６】
2022501662.tif 000058
のチャネル数とノイズ画像noiseのチャネル数の和である。
【００４９】
なお、ノイズ画像noiseの解像度は処理対象の画像Il-1の解像度と同じである。よって、生成ネットワークが解像度を上げる反復総回数は複数回である場合、生成ネットワークのトレーニングステップにおいて、生成ネットワークに提供された第一入力画像と第二入力画像はいずれも第一解像度サンプル画像と、複数個の異なる解像度のノイズサンプル画像とを含んでよい。或いは、第一入力画像と第二入力画像はいずれも第一解像度サンプル画像と1つのノイズサンプル画像を含み、
【数５７】
2022501662.tif 000059
まで反複する場合、生成ネットワークは、ノイズサンプルの振幅に基づいて所要の倍数のノイズサンプル画像を生成する。
【００５０】
補間モジュール31は、処理対象の
【数５８】
2022501662.tif 000060
を補間し、その解像度が512*512である、処理対象に基づく
【数５９】
2022501662.tif 000061
第四解像度画像を得るように構成されている。補間モジュールはバイキュービック（bicubic）などの従来の補間方法で補間することができる。前記第四解像度画像の解像度は前記処理対象の
【数６０】
2022501662.tif 000062
の解像度よりも大きい。
【００５１】
第二分析モジュール12は、第四解像度画像の特徴画像を生成し、当該特徴画像のチャネル数は第四解像度画像のチャネル数よりも大きいように構成されている。
第一ダウンサンプリングモジュール51は、第四解像度画像の特徴画像をダウンサンプリングして、第一ダウンサンプリング特徴画像を得るように構成されている。当該ダウンサンプリング特徴画像の解像度は256*256である。
【００５２】
第二連結モジュール22は、
【数６１】
2022501662.tif 000063
を第一ダウンサンプリング特徴画像と連結し、第二合成画像を得るように構成されている。
第一アップサンプリングモジュール41は、第二合成画像をアップサンプリングし、
【数６２】
2022501662.tif 000064
を得るように構成されている。
【００５３】
反復の残差修正システムは、逆投影（back-projection）によって第一アップサンプリング特徴画像に対し少なくとも一回目の残差修正を行い、残差修正を行った特徴画像を得るのに用いられる。
そのうち、反復残差修正システムは、第二ダウンサンプリングモジュール52、第二アップサンプリングモジュール42および残差決定モジュール60を含む。第二ダウンサンプリングモジュール52は、受信した画像に対し2倍のダウンサンプリングをするように構成されており、第二アップサンプリングモジュール42は、受信した画像に対し2倍のアップサンプリングするように構成されている。残差決定モジュール60は、受信した2つの画像との間の差分値画像を決定するように構成されている。
【００５４】
一回目の残差修正時には、
【数６３】
2022501662.tif 000065
を、1つ目の第二ダウンサンプリングモジュール52の2倍ダウンサンプリングした後に、
【数６４】
2022501662.tif 000066
が得られる。
【数６５】
2022501662.tif 000067
を、2つ目の第二ダウンサンプリングモジュールの2倍ダウンサンプリングした後に、初期入力画像と解像度が同じ
【数６６】
2022501662.tif 000068
が得られる。その後に、
【数６７】
2022501662.tif 000069
と一回目の解像度を上げるステップにおける
【数６８】
2022501662.tif 000070
（すなわち、もとの入力画像の特徴画像とノイズ画像を合成した後の
【数６９】
2022501662.tif 000071
）との間の差分値画像が1つの残差決定モジュールで得られる。そして、第二アップサンプリングモジュールで当該差分値画像をアップサンプリングし、重畳モジュール70でアップサンプリングした後に得られた特徴画像を
【数７０】
2022501662.tif 000072
と重畳し、
【数７１】
2022501662.tif 000073
と解像度が同じ
【数７２】
2022501662.tif 000074
が得られる。その後に、もう1つの残差決定モジュールで
【数７３】
2022501662.tif 000075
との間の差分値画像が得られるとともに、第二アップサンプリングモジュール42で当該差分値画像に対し2倍のアップサンプリングをし、アップサンプリングした後の画像を
【数７４】
2022501662.tif 000076
と重畳し、一回目の残像修正をした後の
【数７５】
2022501662.tif 000077
が得られる。
【００５５】
その後、同様の過程によって
【数７６】
2022501662.tif 000078
を二回目の残差修正をし、二回目の残差修正をした後の
【数７７】
2022501662.tif 000079
が得られてよい。また、同様の過程によって
【数７８】
2022501662.tif 000080
に対し三回目の残像修正をし、以下同様である。図中μは、残差修正の回数を示す。
生成ネットワークは、複数回の残差修正をした後に得られた
【数７９】
2022501662.tif 000081
を合成して、第四解像度画像チャネル数と同じ第五解像度画像を得るように構成された合成モジュール80をさらに含む。当該第五解像度画像と第四解像度画像が重畳する場合、
【数８０】
2022501662.tif 000082
の解像度を上げた後の
【数８１】
2022501662.tif 000083
が得られる。第五解像度画像の解像度と第四解像度画像の解像度は同一である。
【００５６】
生成ネットワークにおいて、第一分析モジュール11、第二分析モジュール12、第一アップサンプリングモジュール41、第二アップサンプリングモジュール42、第一ダウンサンプリングモジュール51、第二ダウンサンプリングモジュール52と合成モジュール80はいずれも各モジュールによって畳み込む層により相応の機能を実現することができる。
【００５７】
上述は
【数８２】
2022501662.tif 000084
を例として、反復処理における二回目の解像度を上げる過程について説明し、他の回数により解像度を上げる過程は上記過程に近似し、その詳細についてはここでは説明しない。
本公開は、コンピュータプログラムが記憶されるメモリーと、プロセッサとを備えるコンピュータデバイスであって、前記コンピュータプログラムが前記プロセッサによって実行されると、上記生成ネットワークのトレーニング方法が実現される、コンピュータデバイスをさらに提供する。
【００５８】
本公開は、コンピュータプログラムが記憶されるコンピュータ読み取り可能な記憶媒体であって、当該コンピュータプログラムがプロセッサによって実行されると、上記敵対的生成ネットワークのトレーニング方法が実現される、コンピュータ読み取り可能な記憶媒体をさらに提供する。
【００５９】
上記メモリーおよび前記コンピュータ読み取り可能な記憶媒体は、ランダムアクセスメモリ( RAM )、リードオンリーメモリ( ROM )、不揮発性ランダムアクセスメモリ( NVRAM )、プログラマブルリードオンリーメモリ( PROM )、消去可能なプログラマブルリードオンリーメモリ( EPROM )、電気的消去可能なPROM(EEPROM)、フラッシュメモリ、磁気又は光データ記憶装置、レジスタ、磁気ディスク又は磁気テープ、光ディスク( CD )又はDVD (デジタル多用途ディスク)などの光記憶媒体、及び他の非一時的媒体を含むが、これらに限定されない。プロセッサの例としては、汎用プロセッサ、中央処理装置( CPU )、マイクロプロセッサ、デジタル信号プロセッサ( DSP )、コントローラ、マイクロコントローラ、状態マシンなどを含むが、これらに限定されない。 
【００６０】
上記実施形態は、本発明の原理を説明するための例示的な実施形態に過ぎず、本発明はこれに限定されるものではない。当業者にとって、本発明の精神および本質から逸脱することなく、様々な変更および改良を行うことができ、これらの変更および改良も本発明の保護範囲にあると見なされる。
【符号の説明】
【００６１】
１１  第一分析モジュール
１２  第二分析モジュール
２１  第一連結モジュール
２２  第二連結モジュール
３１  補間モジュール
４１  第一アップサンプリングモジュール
４２  第二アップサンプリングモジュール
５１  第一ダウンサンプリングモジュール
５２  第二ダウンサンプリングモジュール
６０  残差決定モジュール
７０  重畳モジュール
８０  合成モジュール
【図１】
2022501662.tif 000101
【図２】
2022501662.tif 000102
【図３】
2022501662.tif 000103
【国際調査報告】
2022501662.tif 000104
2022501662.tif 000105
2022501662.tif 000106
2022501662.tif 000107
2022501662.tif 000108