(57)【要約】  本開示は、画像処理方法に関する。前記画像処理方法は、アップスケーリング畳み込みネットワークにより入力画像の特徴画像をアップスケールしてアップスケールされた特徴画像を得るステップと、ダウンスケーリング畳み込みネットワークにより前記アップスケールされた特徴画像をダウンスケールしてダウンスケールされた特徴画像を得るステップと、前記ダウンスケールされた特徴画像と前記入力画像の特徴画像の間の残差画像を確定するステップと、前記ダウンスケールされた特徴画像と前記入力画像の特徴画像の間の残差画像をアップスケールしてアップスケールされた残差画像を得るステップと、前記アップスケールされた残差画像を利用して前記アップスケールされた特徴画像を補正して、補正されたアップスケーリング特徴画像を得るステップと、前記補正されたアップスケーリング特徴画像を利用して前記入力画像に基づく第１超解像度画像を生成するステップとを含み得る。
2021517283.tif 000002
【特許請求の範囲】
【請求項１】
画像処理方法であって、
アップスケーリング畳み込みネットワークにより入力画像の特徴画像をアップスケールして、アップスケールされた特徴画像を得るステップと、
ダウンスケーリング畳み込みネットワークにより前記アップスケールされた特徴画像をダウンスケールして、ダウンスケールされた特徴画像を得るステップと、
前記ダウンスケールされた特徴画像と前記入力画像の特徴画像の間の残差画像を確定するステップと、
前記ダウンスケールされた特徴画像と前記入力画像の特徴画像の間の残差画像をアップスケールして、アップスケールされた残差画像を得るステップと、
前記アップスケールされた残差画像を利用して前記アップスケールされた特徴画像を補正し、補正されたアップスケーリング特徴画像を得るステップと、
前記補正されたアップスケーリング特徴画像を利用して、前記入力画像に基づく第１超解像度画像を生成するステップとを含み、
前記アップスケールされた特徴画像の解像度は、前記入力画像の特徴画像の解像度より大きく、前記ダウンスケールされた特徴画像の解像度は、前記入力画像の特徴画像の解像度に等しい画像処理方法。
【請求項２】
前記ダウンスケールされた特徴画像と前記入力画像の特徴画像の間の残差画像を確定するステップは、
前記ダウンスケールされた特徴画像と前記入力画像の特徴画像とをスプライシングして、スプライシングされた画像を得るステップと、
変換畳み込みネットワークにより前記スプライシングされた画像を変換して、前記ダウンスケールされた特徴画像と前記入力画像の特徴画像の間の残差画像を形成するステップとを含み、
前記スプライシングされた画像のサイズは、前記ダウンスケールされた特徴画像のサイズと前記入力画像の特徴画像のサイズとの和であり、前記残差画像のサイズは、前記入力画像の特徴画像のサイズに等しい請求項１に記載の画像処理方法。
【請求項３】
前記ダウンスケールされた特徴画像と前記入力画像の特徴画像の間の残差画像を確定するステップは、
前記入力画像の特徴画及び前記ダウンスケールされた特徴画像に対して重畳解除を行って、前記残差画像を得るステップを含む請求項１に記載の画像処理方法。
【請求項４】
前記アップスケールされた残差画像を利用して前記アップスケールされた特徴画像を補正し、補正されたアップスケーリング特徴画像を得るステップは、
前記アップスケールされた特徴画像と前記アップスケールされた残差画像とを重畳するステップを含む請求項１に記載の画像処理方法。
【請求項５】
前記ダウンスケールされた特徴画像と前記入力画像の特徴画像の間の残差画像を確定するステップは、
前記ダウンスケールされた特徴画像と前記入力画像の特徴画像の間の第１残差画像を確定するステップと、
前記ダウンスケールされた特徴画像と前記入力画像の特徴画像の間の第１残差画像をアップスケールして、アップスケールされた第１残差画像を得るステップと、
前記アップスケールされた第１残差画像を利用して前記アップスケールされた特徴画像を補正し、補正された第１アップスケーリング特徴画像を得るステップと、
前記補正された第１アップスケーリング特徴画像をダウンスケールして第２ダウンスケーリング特徴画像を得るステップと、
前記第２ダウンスケーリング特徴画像と前記入力画像の特徴画像の間の第２残差画像を確定するステップとを含む請求項１に記載の画像処理方法。
【請求項６】
前記第１残差画像を確定するステップから前記第２残差画像を確定するステップは、μ番目のダウンスケールされた特徴画像と前記入力画像の特徴画像の間のμ番目の残差画像が確定されるまで繰り返され、μは２より大きい整数である請求項５に記載の画像処理方法。
【請求項７】
前記ダウンスケールされた特徴画像と前記入力画像の特徴画像の間の残差画像をアップスケールして、アップスケールされた残差画像を得るステップは、
前記第１残差画像と前記第２残差画像とを比較するステップと、
前記第２ダウンスケーリング特徴画像と前記入力画像の特徴画像の間の差異が前記第１ダウンスケーリング特徴画像と前記入力画像の特徴画像の間の差異より小さい場合、前記第２残差画像をアップスケールして、アップスケールされた残差画像を得るステップとを含む請求項５に記載の画像処理方法。
【請求項８】
前記第１残差画像と前記第２残差画像とを比較するステップは、
前記第１残差画像の画素マトリックスにおける全ての要素の絶対値の平均値又は全ての要素の平方和の算術平方根を、第１残差値として確定するステップと、
前記第２残差画像の画素マトリックスにおける全ての要素の絶対値の平均値又は全ての要素の平方和の算術平方根を、第２残差値として相応的に確定するステップと、
前記第１残差値と前記第２残差値の間の差を確定するステップとを含む請求項７に記載の画像処理方法。
【請求項９】
前記アップスケールされた残差画像を利用して前記アップスケールされた特徴画像を補正し、補正されたアップスケーリング特徴画像を得るステップは、
前記アップスケールされた特徴画像と前記アップスケールされた残差画像とを重畳して、補正されたアップスケーリング特徴画像を得るステップを含む請求項７に記載の画像処理方法。
【請求項１０】
前記アップスケーリング畳み込みネットワークにより入力画像の特徴画像をアップスケールして、アップスケールされた画像を得るステップは、
複数のアップスケーリング畳み込みネットワークを利用して前記入力画像の特徴画像をｎ倍アップスケールし、前記入力画像に基づく複数のアップスケールされた画像を確定するステップを含み、
前記複数のアップスケールされた画像は、少なくとも第１アップスケーリング画像と、第ｎアップスケーリング画像とを含み、第ｎアップスケーリング画像の解像度は、前記第１アップスケーリング画像の解像度より大きく、ｎは１より大きい正の整数である請求項１に記載の画像処理方法。
【請求項１１】
前記ダウンスケーリング畳み込みネットワークにより前記アップスケールされた特徴画像をダウンスケールしてダウンスケールされた特徴画像を得るステップは、
複数のダウンスケーリング畳み込みネットワークを利用して前記アップスケールされた特徴画像をｎ倍ダウンスケールし、前記第１アップスケーリング画像に基づく複数のダウンスケールされた特徴画像を確定するステップを含み、
前記複数のダウンスケールされた画像は、少なくとも第１ダウンスケーリング特徴画像と、第ｎダウンスケーリング特徴画像とを含み、前記第ｎダウンスケーリング特徴画像の解像度は、前記第１ダウンスケーリング画像の解像度より小さく、前記第ｎダウンスケーリング画像の解像度は、前記入力画像の特徴画像の解像度に等しく、ｎは１より大きい正の整数である請求項１に記載の画像処理方法。
【請求項１２】
アップスケールされた残差画像を利用して前記アップスケールされた特徴画像をμ回補正し、前記補正されたアップスケーリング特徴画像を得、μは２より大きい正の整数である請求項１０に記載の画像処理方法。
【請求項１３】
ｎ＝２かつμ＝１であるか、又はｎ＝３かつμ＝１であるか、又はｎ＝２かつμ＝２であるか、又はｎ＝３かつμ＝２である請求項１２に記載の画像処理方法。
【請求項１４】
前記入力画像を補間して前記入力画像に基づく第２超解像度画像を得るステップと、
前記第１超解像度画像と前記第２超解像度画像とを重畳するステップとを更に含み、
前記第２超解像度画像の解像度は、前記第１超解像度画像の解像度に等しい請求項１から請求項１３のいずれか一項に記載の画像処理方法。
【請求項１５】
画像処理システムであって、
入力画像の特徴画像をアップスケールして、アップスケールされた特徴画像を得るように構成される第１アップスケーリングモジュールと、
前記アップスケールされた特徴画像をダウンスケールして、ダウンスケールされた特徴画像を得るように構成される第１ダウンスケーリングモジュールと、
前記ダウンスケールされた特徴画像と前記入力画像の特徴画像の間の残差画像を確定するように構成される第１残差確定モジュールと、
前記ダウンスケールされた特徴画像と前記入力画像の特徴画像の間の残差画像をアップスケーして、アップスケールされた残差画像を得るように構成される第２アップスケーリングモジュールとを含み、
前記アップスケールされた特徴画像の解像度は、前記入力画像の特徴画像の解像度より大きく、前記ダウンスケールされた特徴画像の解像度は、前記入力画像の特徴画像の解像度に等しい画像処理システム。
【請求項１６】
前記第２アップスケーリングモジュールの後に補正モジュールと、合成モジュールとを更に含み、
前記補正モジュールは、前記アップスケールされた残差画像を利用して前記アップスケールされた特徴画像を補正し、補正された第１アップスケーリング特徴画像を得るように構成され、
前記合成モジュールは、前記補正された第１アップスケーリング特徴画像を利用して、前記入力画像に基づく第１超解像度画像を生成するように構成される請求項１５に記載の画像処理システム。
【請求項１７】
前記分析モジュールの前に補間モジュールを更に含み、
前記補間モジュールは、前記入力画像を補間して前記入力画像に基づく第２超解像度画像を得るように構成され、前記第２超解像度画像の解像度は、前記第１超解像度画像の解像度に等しい請求項１６に記載の画像処理システム。
【請求項１８】
前記第１アップスケーリングモジュールの前に前処理モジュールを更に含み、
前記前処理モジュールは、前記第１残差確定モジュールと同じ構造を有し、前記前処理モジュールは、前記第１アップスケーリングモジュールの前に前記入力画像を前処理するように構成される請求項１７に記載の画像処理システム。
【請求項１９】
前記補正モジュールの後に、
第２ダウンスケーリングモジュールと、
第２残差確定モジュールと、
第３アップスケーリングモジュールとを更に含み、
前記第２ダウンスケーリングモジュールは、前記補正された第１アップスケーリング特徴画像をダウンスケールして第２ダウンスケーリング特徴画像を得るように構成され、
前記第２残差確定モジュールは、前記第２ダウンスケーリング特徴画像と前記入力画像の特徴画像の間の第２残差画像を確定するように構成され、
前記第３アップスケーリングモジュールは、前記第２残差画像をアップスケールして補正された第２残差画像を得るように構成される請求項１６に記載の画像処理システム。
【請求項２０】
前記第１アップスケーリングモジュールは、複数のサブアップスケーリングモジュールを含み、
前記複数のサブアップスケーリングモジュールは、複数のアップスケーリング畳み込みネットワークを利用して前記入力画像の特徴画像をｎ倍アップスケールし、前記入力画像に基づく複数のアップスケールされた画像を確定するように構成され、
前記複数のアップスケールされた画像は、少なくとも第１アップスケーリング画像と、第ｎアップスケーリング画像とを含み、第ｎアップスケーリング画像の解像度は、前記第１アップスケーリング画像の解像度より大きく、ｎは１より大きい正の整数である請求項１５に記載の画像処理システム。
【請求項２１】
前記第１ダウンスケーリングモジュールは、複数のサブダウンスケーリングモジュールを含み、
前記複数のサブダウンスケーリングモジュールは、複数のダウンスケーリング畳み込みネットワークを利用して前記アップスケールされた特徴画像をｎ倍ダウンスケールし、前記アップスケールされた画像に基づく複数のダウンスケールされた特徴画像を確定するように構成され、
前記複数のダウンスケールされた画像は、少なくとも第１ダウンスケーリング特徴画像と、第ｎダウンスケーリング特徴画像とを含み、前記第ｎダウンスケーリング特徴画像の解像度は、前記第１ダウンスケーリング画像の解像度より小さく、前記第ｎダウンスケーリング画像の解像度は、前記入力画像の解像度に等しい請求項１５に記載の画像処理システム。
【請求項２２】
画像処理装置であって、
メモリと、プロセッサとを含み、
前記メモリは、前記プロセッサにより読み取り可能なプログラムコードを記憶し、前記プロセッサが前記プログラムコードを実行すると、前記画像処理装置に、
アップスケーリング畳み込みネットワークにより入力画像の特徴画像をアップスケールして、アップスケールされた特徴画像を得るステップと、
ダウンスケーリング畳み込みネットワークにより前記アップスケールされた特徴画像をダウンスケールして、ダウンスケールされた特徴画像を得るステップと、
前記ダウンスケールされた特徴画像と前記入力画像の特徴画像の間の残差画像を確定するステップと、
前記ダウンスケールされた特徴画像と前記入力画像の特徴画像の間の残差画像をアップスケールして、アップスケールされた残差画像を得るステップと、
前記アップスケールされた残差画像を利用して前記アップスケールされた特徴画像を補正し、補正されたアップスケーリング特徴画像を得るステップと、
前記補正されたアップスケーリング特徴画像を利用して、前記入力画像に基づく第１超解像度画像を生成するステップとを行わせ、
前記アップスケールされた特徴画像の解像度は、前記入力画像の特徴画像の解像度より大きく、前記ダウンスケールされた特徴画像の解像度は、前記入力画像の特徴画像の解像度に等しい画像処理装置。
【請求項２３】
トレーニング方法であって、
前記方法は、
有限回の反復において、請求項１６に記載の画像処理システムを利用して入力画像に対して画像処理を行うステップを含み、
前記有限回の反復中に目的関数が最適化され、前記目的関数は、前記第１超解像度画像と前記入力画像の間の損失関数であり、前記目的関数は、損失残差
【数１】
2021517283.tif 000005
を含み、
Ｌは、前記画像処理システムにおけるアップスケーリング回数であり、ｗは、所定の重み因子であり、σは、損失メトリックである方法。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本出願は、２０１８年３月３０に出願された中国特許出願第２０１８１０２８０４７８．２号に基づく優先権を主張しており、その内容は、本明細書において参照により全体に組み込まれる。
【０００２】
本開示は、画像処理分野に関し、特に、画像処理方法、超解像度画像を生成する装置、並びに画像処理システム及びそのトレーニング方法に関する。
【背景技術】
【０００３】
現在、超解像度画像は補間により生成されている。例えば、通常の補間アルゴリズムは、最近傍、線形、バイキュービック、及びランチョスなどを含む。通常の補間アルゴリズムにより、入力画像における一つの画素に基づいて複数の画素を生成して、前記入力画像に基づく超解像度画像を作成できる。然しながら、通常の補間アルゴリズムにより生成された超解像度画像には、画像の詳細な特徴が欠落し得る。
【発明の概要】
【０００４】
本開示の実施形態は、画像処理方法を提供する。前記画像処理方法は、アップスケーリング畳み込みネットワークにより入力画像の特徴画像をアップスケールして、アップスケールされた特徴画像を得るステップと、ダウンスケーリング畳み込みネットワークにより前記アップスケールされた特徴画像をダウンスケールして、ダウンスケールされた特徴画像を得るステップと、前記ダウンスケールされた特徴画像と前記入力画像の特徴画像の間の残差画像を確定するステップと、前記ダウンスケールされた特徴画像と前記入力画像の特徴画像の間の残差画像をアップスケールして、アップスケールされた残差画像を得るステップと、前記アップスケールされた残差画像を利用して前記アップスケールされた特徴画像を補正し、補正されたアップスケーリング特徴画像を得るステップと、前記補正されたアップスケーリング特徴画像を利用して、前記入力画像に基づく第１超解像度画像を生成するステップとを含み得る。前記アップスケールされた特徴画像の解像度は、前記入力画像の特徴画像の解像度より大きくて良く、前記ダウンスケールされた特徴画像の解像度は、前記入力画像の特徴画像の解像度に等しくて良い。
【０００５】
選択的に、前記ダウンスケールされた特徴画像と前記入力画像の特徴画像の間の残差画像を確定するステップは、前記ダウンスケールされた特徴画像と前記入力画像の特徴画像とをスプライシングして、スプライシングされた画像を得るステップと、変換畳み込みネットワークにより前記スプライシングされた画像を変換して、前記ダウンスケールされた特徴画像と前記入力画像の特徴画像の間の残差画像を形成するステップとを含む。前記スプライシングされた画像のサイズは、前記ダウンスケールされた特徴画像のサイズと前記入力画像の特徴画像のサイズとの和であり、前記残差画像のサイズは、前記入力画像の特徴画像のサイズに等しい。
【０００６】
選択的に、前記ダウンスケールされた特徴画像と前記入力画像の特徴画像の間の残差画像を確定するステップは、前記入力画像の特徴画及び前記ダウンスケールされた特徴画像に対して重畳解除を行って前記残差画像を得るステップを含む。
【０００７】
選択的に、前記アップスケールされた残差画像を利用して前記アップスケールされた特徴画像を補正し、補正されたアップスケーリング特徴画像を得るステップは、前記アップスケールされた特徴画像と前記アップスケールされた残差画像とを重畳するステップを含む。
【０００８】
選択的に、前記ダウンスケールされた特徴画像と前記入力画像の特徴画像の間の残差画像を確定するステップは、前記ダウンスケールされた特徴画像と前記入力画像の特徴画像の間の第１残差画像を確定するステップと、前記ダウンスケールされた特徴画像と前記入力画像の特徴画像の間の第１残差画像をアップスケールしてアップスケールされた第１残差画像を得るステップと、前記アップスケールされた第１残差画像を利用して前記アップスケールされた特徴画像を補正して、補正された第１アップスケーリング特徴画像を得るステップと、前記補正された第１アップスケーリング特徴画像をダウンスケールして第２ダウンスケーリング特徴画像を得るステップと、前記第２ダウンスケーリング特徴画像と前記入力画像の特徴画像の間の第２残差画像を確定するステップとを含む。
【０００９】
選択的に、前記第１残差画像を確定するステップから前記第２残差画像を確定するステップは、μ番目のダウンスケールされた特徴画像と前記入力画像の特徴画像の間のμ番目の残差画像が確定されるまで繰り返され、μは２より大きい整数である。
【００１０】
選択的に、前記ダウンスケールされた特徴画像と前記入力画像の特徴画像の間の残差画像をアップスケールしてアップスケールされた残差画像を得るステップは、前記第１残差画像と前記第２残差画像とを比較するステップと、前記第２ダウンスケーリング特徴画像と前記入力画像の特徴画像の間の差異が前記第１ダウンスケーリング特徴画像と前記入力画像の特徴画像の間の差異より小さい場合、前記第２残差画像をアップスケールして、アップスケールされた残差画像を得るステップとを含む。
【００１１】
選択的に、前記第１残差画像と前記第２残差画像とを比較するステップは、前記第１残差画像の画素マトリックスにおける全ての要素の絶対値の平均値又は全ての要素の平方和の算術平方根を、第１残差値として確定するステップと、前記第２残差画像の画素マトリックスにおける全ての要素の絶対値の平均値又は全ての要素の平方和の算術平方根を、第２残差値として相応的に確定するステップと、前記第１残差値と前記第２残差値の間の差を確定するステップとを含む。
【００１２】
選択的に、前記アップスケールされた残差画像を利用して前記アップスケールされた特徴画像を補正し、補正されたアップスケーリング特徴画像を得るステップは、前記アップスケールされた特徴画像と前記アップスケールされた残差画像とを重畳して、補正されたアップスケーリング特徴画像を得るステップを含む。
【００１３】
選択的に、前記アップスケーリング畳み込みネットワークにより入力画像の特徴画像をアップスケールして、アップスケールされた画像を得るステップは、複数のアップスケーリング畳み込みネットワークを利用して前記入力画像の特徴画像をｎ倍アップスケールし、前記入力画像に基づく複数のアップスケールされた画像を確定するステップを含む。前記複数のアップスケールされた画像は、少なくとも第１アップスケーリング画像と、第ｎアップスケーリング画像とを含み、第ｎアップスケーリング画像の解像度は、前記第１アップスケーリング画像の解像度より大きく、ｎは１より大きい正の整数である。
【００１４】
選択的に、前記ダウンスケーリング畳み込みネットワークにより前記アップスケールされた特徴画像をダウンスケールしてダウンスケールされた特徴画像を得るステップは、複数のダウンスケーリング畳み込みネットワークを利用して前記アップスケールされた特徴画像をｎ倍ダウンスケールし、前記第１アップスケーリング画像に基づく複数のダウンスケールされた特徴画像を確定するステップを含む。前記複数のダウンスケールされた画像は、少なくとも第１ダウンスケーリング特徴画像と、第ｎダウンスケーリング特徴画像とを含み、前記第ｎダウンスケーリング特徴画像の解像度は、前記第１ダウンスケーリング画像の解像度より小さく、前記第ｎダウンスケーリング画像の解像度は、前記入力画像の特徴画像の解像度に等しく、ｎは１より大きい正の整数である。
【００１５】
選択的に、アップスケールされた残差画像を利用して前記アップスケールされた特徴画像をμ回補正して、前記補正されたアップスケーリング特徴画像を得、μは２より大きい正の整数である。
【００１６】
選択的に、ｎ＝２かつμ＝１であるか、又はｎ＝３かつμ＝１であるか、又はｎ＝２かつμ＝２であるか、又はｎ＝３かつμ＝２である。
【００１７】
選択的に、前記画像処理方法は、前記入力画像を補間して前記入力画像に基づく第２超解像度画像を得るステップと、前記第１超解像度画像と前記第２超解像度画像とを重畳するステップとを更に含む。前記第２超解像度画像の解像度は、前記第１超解像度画像の解像度に等しい。
【００１８】
本開示の一例は、画像処理システムである。前記画像処理システムは、入力画像の特徴画像をアップスケールして、アップスケールされた特徴画像を得るように構成される第１アップスケーリングモジュールと、前記アップスケールされた特徴画像をダウンスケールして、ダウンスケールされた特徴画像を得るように構成される第１ダウンスケーリングモジュールと、前記ダウンスケールされた特徴画像と前記入力画像の特徴画像の間の残差画像を確定するように構成される第１残差確定モジュールと、前記ダウンスケールされた特徴画像と前記入力画像の特徴画像の間の残差画像をアップスケーして、アップスケールされた残差画像を得るように構成される第２アップスケーリングモジュールとを含み得る。前記アップスケールされた特徴画像の解像度は、前記入力画像の特徴画像の解像度より大きく、前記ダウンスケールされた特徴画像の解像度は、前記入力画像の特徴画像の解像度に等しい。
【００１９】
選択的に、前記画像処理システムは、前記第２アップスケーリングモジュールの後に補正モジュールと、合成モジュールとを更に含む。前記補正モジュールは、前記アップスケールされた残差画像を利用して前記アップスケールされた特徴画像を補正し、補正された第１アップスケーリング特徴画像を得るように構成され、前記合成モジュールは、前記補正された第１アップスケーリング特徴画像を利用して、前記入力画像に基づく第１超解像度画像を生成するように構成される。
【００２０】
選択的に、前記画像処理システムは、前記分析モジュールの前に補間モジュールを更に含む。前記補間モジュールは、前記入力画像を補間して前記入力画像に基づく第２超解像度画像を得るように構成され、前記第２超解像度画像の解像度は、前記第１超解像度画像の解像度に等しい。
【００２１】
選択的に、前記画像処理システムは、前記第１アップスケーリングモジュールの前に前処理モジュールを更に含む。前記前処理モジュールは、前記第１残差確定モジュールと同じ構造を有し、前記前処理モジュールは、前記第１アップスケーリングモジュールの前に前記入力画像を前処理するように構成される。
【００２２】
選択的に、前記画像処理システムは、前記補正モジュールの後に、第２ダウンスケーリングモジュールと、第２残差確定モジュールと、第３アップスケーリングモジュールとを更に含む。前記第２ダウンスケーリングモジュールは、前記補正された第１アップスケーリング特徴画像をダウンスケールして第２ダウンスケーリング特徴画像を得るように構成され、前記第２残差確定モジュールは、前記第２ダウンスケーリング特徴画像と前記入力画像の特徴画像の間の第２残差画像を確定するように構成され、前記第３アップスケーリングモジュールは、前記第２残差画像をアップスケールして補正された第２残差画像を得るように構成される。
【００２３】
選択的に、前記第１アップスケーリングモジュールは、複数のサブアップスケーリングモジュールを含む。前記複数のサブアップスケーリングモジュールは、複数のアップスケーリング畳み込みネットワークを利用して前記入力画像の特徴画像をｎ倍アップスケールし、前記入力画像に基づく複数のアップスケールされた画像を確定するように構成される。前記複数のアップスケールされた画像は、少なくとも第１アップスケーリング画像と、第ｎアップスケーリング画像とを含み、第ｎアップスケーリング画像の解像度は、前記第１アップスケーリング画像の解像度より大きく、ｎは１より大きい正の整数である。
【００２４】
選択的に、前記第１ダウンスケーリングモジュールは、複数のサブダウンスケーリングモジュールを含む。前記複数のサブダウンスケーリングモジュールは、複数のダウンスケーリング畳み込みネットワークを利用して前記アップスケールされた特徴画像をｎ倍ダウンスケールし、前記アップスケールされた画像に基づく複数のダウンスケールされた特徴画像を確定するように構成される。前記複数のダウンスケールされた画像は、少なくとも第１ダウンスケーリング特徴画像と、第ｎダウンスケーリング特徴画像とを含み、前記第ｎダウンスケーリング特徴画像の解像度は、前記第１ダウンスケーリング画像の解像度より小さく、前記第ｎダウンスケーリング画像の解像度は、前記入力画像の解像度に等しい。
【００２５】
本開示の別の例は、画像処理装置である。前記画像処理装置は、メモリと、プロセッサとを含み、前記メモリは、前記プロセッサにより読み取り可能なプログラムコードを記憶し、前記プロセッサが前記プログラムコードを実行すると、前記画像処理装置に、アップスケーリング畳み込みネットワークにより入力画像の特徴画像をアップスケールして、アップスケールされた特徴画像を得るステップと、ダウンスケーリング畳み込みネットワークにより前記アップスケールされた特徴画像をダウンスケールして、ダウンスケールされた特徴画像を得るステップと、前記ダウンスケールされた特徴画像と前記入力画像の特徴画像の間の残差画像を確定するステップと、前記ダウンスケールされた特徴画像と前記入力画像の特徴画像の間の残差画像をアップスケールしてアップスケールされた残差画像を得るステップと、前記アップスケールされた残差画像を利用して前記アップスケールされた特徴画像を補正し、補正されたアップスケーリング特徴画像を得るステップと、前記補正されたアップスケーリング特徴画像を利用して、前記入力画像に基づく第１超解像度画像を生成するステップとを行わせる。前記アップスケールされた特徴画像の解像度は、前記入力画像の特徴画像の解像度より大きく、前記ダウンスケールされた特徴画像の解像度は、前記入力画像の特徴画像の解像度に等しい。
【００２６】
本開示の別の例は、トレーニング方法である。前記方法は、有限回の反復において、請求項１６に記載の画像処理システムを利用して入力画像に対して画像処理を行うステップを含み得、前記有限回の反復中に目的関数が最適化され、前記目的関数は、前記第１超解像度画像と前記入力画像の間の損失関数であり、前記目的関数は、損失残差
【数１】
2021517283.tif 000003
を含み、
【００２７】
Ｌは、前記画像処理システムにおけるアップスケーリング回数であり、ｗは、所定の重み因子であり、σは、損失メトリックである。
【図面の簡単な説明】
【００２８】
本発明と見なされる主題は、本明細書の終末での請求項に特に指摘され且つ明確に請求される。本発明の前述の及び他の目的、特徴並びに利点は、添付図面と併せて進められる次の詳細な説明からより明らかになるであろう。図面は以下の通りである。
【００２９】
【図１】先行技術における画像処理用の畳み込みネットワークの概略図である。
【００３０】
【図２】本開示の一実施形態に係るアップスケーラの概略図である。
【００３１】
【図３】本開示の一実施形態に係るダウンスケーラの概略図である。
【００３２】
【図４Ａ】本開示の一実施形態に係る画像処理システムの概略図である。
【００３３】
【図４Ｂ】本開示の一実施形態に係る残差確定モジュールの概略図である。
【００３４】
【図４Ｃ】本開示の一実施形態に係る残差確定モジュールの概略図である。
【００３５】
【図４Ｄ】本開示の一実施形態に係るスプライシングされた画像の概略図である。
【００３６】
【図５】本開示の一実施形態に係る画像処理システムの概略図である。
【００３７】
【図６Ａ】本開示の一実施形態に係る残差制御モジュールの概略図である。
【００３８】
【図６Ｂ】本開示の一実施形態に係る残差制御モジュールの概略図である。
【００３９】
【図６Ｃ】本開示の一実施形態に係る残差制御モジュールの概略図である。
【００４０】
【図７Ａ】本開示の一実施形態に係る画像処理システムの概略図である。
【００４１】
【図７Ｂ】本開示の一実施形態に係る画像処理システムの概略図である。
【００４２】
【図８Ａ】本開示の一実施形態に係る画像アップスケーリング方法の概略図である。
【００４３】
【図８Ｂ】本開示の一実施形態に係る画像アップスケーリング方法の概略図である。
【００４４】
【図８Ｃ】本開示の一実施形態に係る画像アップスケーリング方法の概略図である。
【００４５】
【図９Ａ】本開示の一実施形態に係る画像処理システムの概略図である。
【００４６】
【図９Ｂ】本開示の一実施形態に係る画像処理システムの概略図である。
【００４７】
【図１０Ａ】本開示の一実施形態に係る画像アップスケーリング方法の概略図である。
【００４８】
【図１０Ｂ】本開示の一実施形態に係る画像アップスケーリング方法の概略図である。
【００４９】
【図１０Ｃ】本開示の一実施形態に係る画像アップスケーリング方法の概略図である。
【００５０】
【図１０Ｄ】本開示の一実施形態に係る画像ダウンスケーリング方法の概略図である。
【００５１】
【図１１】本開示の一実施形態に係る画像処理方法のフローチャートである。
【発明を実施するための形態】
【００５２】
当業者が本開示の技術方案をより良く理解できるように、以下では、添付図面及び実施形態を参照しながら本開示を更に詳細に説明する。本開示の記述全般にわたって、図１乃至図１１を参照する。図面を参照する際、全般にわたって示される同様の構造及び要素は、同様の参照番号で表す。
【００５３】
特に定義されていない限り、本明細書で使用される技術用語又は科学用語は、当業者が理解する共通の意味を有するべきである。本明細書及び特許請求の範囲で使用される「第１」及び「第２」のような用語は、構成要素の順序、数量又は重要性を表すものではなく、異なる構成要素を区別するためのみに使用される。同様に、「含む」又は「備える」のような単語は、他の要素又はユニットを除外するものではなく、当該単語の前に示される要素又はユニットが当該単語の後に列挙される要素、ユニットなどを含む旨を表すために用いられる。「接続する」又は「に接続される」のような単語は、直接的又は間接的な電気的又は機械的接続を含み得る。
【００５４】
情報技術市場は、過去５年間で深層学習分野への強力な投資をしてきた。現在、この技術の主な用途は、レコメンエンジン、画像分類、画像キャプションニング及び検索、顔認識、年齢認識、音声認識などのような人工知能（ＡＩ）問題の解決のためにある。一般的に言って、深層学習技術は、画像の内容の記述、又は難しい条件での画像におけるオブジェクトの識別、又は雑音の多い環境での音声認識のようなデータの人間のような理解を解決することにおいて成功を収めている。深層学習の別の利点は、比較的類似したシステムに大変異なる問題を解決させる汎用構造である。深層学習構造は、その前身の方法であるニューラルネットワークに比べ、フィルタ及び層の数がはるかに多い。
【００５５】
本明細書における本発明のいくつかの実施形態は、深層ニューラルネットワーク構造を導入して超解像度の問題を解決しようとする。これは、分類問題を解決する応用とは大きく異なる。分類問題にとって、入力は高次元データ（例：画像又は動画像）であり、出力は低次元データ（例：ラベル、オブジェクトの位置など）である。現在の深層学習の進歩は、この特定のケースのために高度にチューニングされている。例えば、深層学習構造における最も一般的な層の一つは、いわゆる隣接画素の中で最大値を取って特徴画像の次元を削減する最大プーリング層である。一方、超解像度問題は、高次元のデータを入力（画像）として取り、その次元をさらに大量のデータに増やす。これにより、深層学習構造のデザインが完全に変わる。
【００５６】
図１は、画像処理用の畳み込みネットワーク概略図である。画像処理用の畳み込みネットワークは、画像を入力及び出力として使用し、スカラ重みをフィルタに置き換える（即ち、畳み込み）ニューラルネットワーク構造である。図１に、３つの層の簡単な構造を有する畳み込みネットワークを示している。図１に示すように、４つの入力画像が入力層１０１に入力される。中間書隠れ層１０２に３つのユニットが存在して、３つの出力画像を出力する。出力層１０３に２つのユニットが存在して、２つの出力画像を出力する。重みｗｋｉｊを有する入力層１０１における各ボックスはフィルタに対応し、ｋは、入力層番号を示すラベルであり、ｉ及びｊは、それぞれ入力ユニット及び出力ユニットを示すラベルである。バイアスｂｋｉは、畳み込みの出力に加わるスカラーである。そして、いくつかの畳み込みとバイアスを足した結果は、一般的に正規化線形関数（ＲｅＬＵ）、シグモイド関数、双曲線正接関数に対応する活性化ボックスを通過する。畳み込みネットワークを利用する画像処理システムにおいて、各フィルタ及びバイアスはシステムの動作中に固定される。各フィルタ及びバイアスは、一連の入力／出力サンプル画像の利用及び応用に依存する何らかの最適化基準に合わせるように行う調整によって事前に得られる。典型的な構成は、各層における十分の一又は数百のフィルタに関わる。３つの層を持つネットワークが浅層と見なされるのに対し、５又は１０より大きい数の層を持つネットワークは、通常深層と見なされる。
【００５７】
図１に示される畳み込みネットワークを利用して、一定量のトレーニングの後、畳み込みネットワークを使用して入力画像に基づく超解像度画像を生成し得る。例えば、オリジナル高解像度画像、及び標準アルゴリズムを用いて高解像度画像をダウンスケーリングすることにより生成された低解像度画像を使用して畳み込みネットワークをトレーニングし得る。
【００５８】
図２は、本開示の一実施形態に係るアップスケーラを図示する。前記アップスケーラは、例えば、バイキュービック補間、線形補間、ランチョス差などを含み得る。図２は、２×２アップスケーラの概略図である。各々の小さな正方形は、画像における一つのピクセルを表す。１つの画素の入力に基づいて４つの画素の出力を確定できる。入力画像における各画素に対して上記のアップスケーリングプロセスを行った後、各入力画素からの４つの出力画素を利用して超解像度の出力画像を得ることができる。超解像度画像の長さ及び幅は、それぞれ前記入力画像の長さ及び幅の２倍である。
【００５９】
図３は、各々の小さな正方形が画像における一つの画素を表すダウンスケーラの概略図である。図３に示すように、前記ダウンスケーラは、４つの入力画素に基づいて一つの入力画素を確定するように構成される。例えば、前記ダウンスケーラは、４つのフィルタＦ１、Ｆ２、Ｆ３、Ｆ４を含み、前記４つのフィルタはそれぞれ４つの入力画素に適用されるが、フィルタＦ１、Ｆ２、Ｆ３、Ｆ４は異なるフィルタであり得る。フィルタＦ１、Ｆ２、Ｆ３、Ｆ４から出力された４つの画素に対して重畳プロセスを行って、ターゲット出力画素を生成する。このように、上記のようなダウンスケーリング過程により低解像の度出力画像を得ることができる。当該出力画像の長さ及び幅は、それぞれ入力画像の長さ及び幅の半分であり得る。
【００６０】
図４Ａは、本開示の一実施形態に係る画像処理システム４００の概略図である。図４Ａに示すように、画像処理システム４００は、分析モジュール４０１と、アップスケーリングモジュール４０２と、ダウンスケーリングモジュール４０３と、残差確定モジュール４０４と、合成モジュール４０５と含む。図４Ａに示すように、Ｉ０は、画像処理システム４００により受信されたオリジナル画像を表し、Ｉ１は、オリジナル画像が画像処理システム４００により処理された後に得られた超解像度画像を表す。図１に示すように、画像処理システムの分析モジュール４０１、アップスケーリングモジュール４０２、ダウンスケーリングモジュール４０３、合成モジュール４０５は、当該畳み込みネットワーク上で具現化できる。畳み込みネットワークの例示的なモデルは、畳み込みニューラルネットワーク（ＣＮＮ）、残差ネットワーク（ＲｅｓＮｅｔ）、密に接続された畳み込みネットワーク（Ｄｅｎｓｅｎｅｔ）、交互に更新されるクリークを持つ畳み込みニューラルネットワーク（ＣｌｉｑｕｅＮｅｔ）、フィルタバンクなどを含む。
【００６１】
いくつかの実施形態において、アップスケーリングモジュール４０２は、図１に示されるような畳み込みネットワークとアップスケール層との組み合わせを含む。即ち、アップスケーリングモジュール４０２は、特徴画像を変換するために用いられる上記の畳み込みネットワークを含み得、そして、前記アップスケール層は、変換された特徴画像をアップスケールするように構成される。前記アップスケール層は、ｍｕｘｏｕｔ層、ストライド転置畳み込み、又はスタンダードパーチャンネルアップスケーラ（例：バイキュビック補間）を含み得る。
【００６２】
いくつかの実施形態において、同様に、ダウンスケーリングモジュール４０３は、図１に示されるような畳み込みネットワークとダウンスケール層との組み合わせを含む。即ち、ダウンスケーリングモジュール４０３は、ダウンスケール層を利用して変換された画像をダウンスケールし、そして前記畳み込みネットワークを利用して前記特徴画像に対して画像変換を行うことができる。前記ダウンスケール層は、転置ｍｕｘｏｕｔ層、ストライド畳み込み、最大プーリング層、又はスタンダードパーチャンネルダウンスケーラ（例：バイキュビック補間）を含み得る。
【００６３】
いくつかの実施形態において、分析モジュール４０１は、入力画像Ｉ０の特徴画像Ｒ０を確定するように構成される。特徴画像Ｒ０の解像度は、入力画像Ｉ０の解像度に等しい。特徴画像Ｒ０のチャンネル数は、入力画像Ｉ０のチャンネル数より大きい。例えば、入力画像Ｉ０は、１２８×１２８の解像度を有するカラー画像であり、入力画像Ｉ０は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３つのチャンネルを含む。分析モジュール４０１により処理された後に得られた特徴画像Ｒ０の解像度は、入力画像Ｉ０の解像度に等しく、即ち、１２８×１２８であり、特徴画像Ｒ０のチャンネル数は３より大きい。例えば、特徴画像Ｒ０のチャンネル数は、６４、１２８、又は所定の数であり得る。最初に入力画像をより多くのチャンネル数を有し且つ前記入力画像の特徴の複数の次元を表す特徴画像に分解することによって、次のステップで畳み込みネットワークを利用して画像のアップスケーリング及びダウンスケーリングをより良好に達成できる。
【００６４】
いくつかの実施形態において、アップスケーリングモジュール４０２は、特徴画像Ｒ０に対してアップスケーリングプロセスを行って、第１アップスケーリング特徴画像Ｒ０１を得るように構成される。ここで、第１アップスケーリング特徴画像Ｒ０１の解像度は、前記入力画像の特徴画像Ｒ０の解像度より大きい。第１アップスケーリング特徴画像Ｒ０１のチャンネル数は、前記入力画像の特徴画像Ｒ０のチャンネル数に等しい。一実施形態において、アップスケーリングモジュール４０２は、２×２アップスケーリングを行うように構成される。特徴画像Ｒ０が１２８×１２８×６４の画像である場合、アップスケーリングモジュール４０２により処理された後に出力される第１アップスケーリング特徴画像Ｒ０１は、２５６×２５６×６４の画像である。
【００６５】
いくつかの実施形態において、ダウンスケーリングモジュール４０３は、第１アップスケーリング特徴画像Ｒ０１をダウンスケールして第１ダウンスケーリング特徴画像Ｒ１０を得るように構成される。ここで、第１ダウンスケーリング特徴画像Ｒ１０の解像度は、特徴画像Ｒ０の解像度に等しく、第１ダウンスケーリング特徴画像Ｒ０１のチャンネル数は、特徴画像Ｒ０のチャンネル数に等しい。
【００６６】
いくつかの実施形態において、残差確定モジュール４０４は、第１ダウンスケーリング特徴画像Ｒ１０及び特徴画像Ｒ０に基づいて、第１ダウンスケーリング特徴画像Ｒ１０と特徴画像Ｒ０の間の残差画像を確定するように構成される。前記残差画像は、第１ダウンスケーリング特徴画像Ｒ１０と特徴画像Ｒ０の間の差の大きさを表す。いくつかの実施形態において、残差確定モジュール４０４は、第１ダウンスケーリング特徴画像Ｒ１０と特徴画像Ｒ０とを線形結合することによって残差画像Ｄ１０を生成するように構成される。一実施形態において、Ｄ１０＝αＲ１０＋βR０である。α＝１、β＝−１である場合、前記残差画像は、第１ダウンスケーリング特徴画像Ｒ１０と特徴画像Ｒ０の間の差を表す。当業者は、α及びβの値が実際の状況に基づいて個別に設定できることを理解するであろう。一実施形態において、α＝１.１、β＝−０.９である。上記のα及びβの値は例示的な例のみとして示され、本開示の範囲を限定することを意図していない。いくつかの実施形態において、第１ダウンスケーリング特徴画像Ｒ１０及び特徴画像Ｒ０に基づく残差画像は、畳み込みネットワークにより生成され得る。
【００６７】
図４Ｂは、本開示の一実施形態に係る例示的な残差確定モジュールの概略図である。図４Ｂに示すように、残差確定モジュール４０４は、重畳解除モジュールを含むように構成される。前記重畳解除モジュールは、第１ダウンスケーリング特徴画像Ｒ１０と前記入力画像の特徴画像Ｒ０とを線形結合するように構成される。図４Ｂは、上記のようにα＝１、β＝−１である場合を図示する。前記重畳解除モジュールは、第１ダウンスケーリング特徴画像Ｒ１０及び特徴画像Ｒ０に対して重畳解除を行うように構成され、即ち、第１ダウンスケーリング特徴画像Ｒ１０の画素マトリックスから入力画像の特徴画像Ｒ０の対応する画素マトリックスを減算して、第１ダウンスケーリング特徴画像Ｒ１０と入力画像の特徴画像Ｒ０の間の残差Ｄ１０を得る。
【００６８】
図４Ｃは、本開示の一実施形態に係る例示的な残差確定モジュールの概略図である。図４Ｃに示すように、前記残差確定モジュールは、畳み込みネットワークにより第１ダウンスケーリング特徴画像Ｒ１０及び特徴画像Ｒ０を変換し、前記畳み込みネットワークの出力を第１ダウンスケーリング特徴画像Ｒ１０と特徴画像Ｒ０の間の残差として設定するように構成される。
【００６９】
いくつかの実施形態において、図４Ｃに示すように、残差確定モジュール４０４は、スプライシングモジュールを含む。前記スプライシングモジュールは、第１ダウンスケーリング特徴画像Ｒ１０と特徴画像Ｒ０とをスプライシングし得る。例えば、第１ダウンスケーリング特徴画像Ｒ１０と特徴画像Ｒ０とは所定の方法で一緒にスプライシングされ得る。上記のように、第１ダウンスケーリング特徴画像Ｒ１０の解像度は、入力画像の特徴画像Ｒ０の解像度に等しい。一例として、第１ダウンスケーリング特徴画像Ｒ１０及び入力画像の特徴画像Ｒ０のサイズが３２×５×５である場合、前記スプライシングモジュールにより得られたスプライシングされた画像Ａのサイズは、６４×５×５である。一実施形態において、特徴画像Ｒ０を第１ダウンスケーリング特徴画像Ｒ１０の上に位置するように配置することによってスプライシングされた画像Ａが得られ得る。一実施形態において、特徴画像Ｒ０を第１ダウンスケーリング特徴画像Ｒ１０の下に位置するように配置することによってスプライシングされた画像Ａが得られ得る。ここで、画像処理中に２つの画像が常に所定の方法でスプライシングされる限り、スプライシング過程は上記の例に限定されない。
【００７０】
図４Ｄは、スプライシングされた画像Ａの例示的な概略図である。第１ダウンスケーリング特徴画像Ｒ１０と特徴画像Ｒ０とをスプライシングすることによって、特徴画像Ｒ０の２倍のサイズを有するスプライシングされた画像を得ることができる。
【００７１】
いくつかの実施形態において、残差確定モジュール４０４は、変換モジュールを更に含む。前記変換モジュールは、図１に示されるような畳み込みネットワークであり得る。前記変換モジュールは、前記スプライシングモジュールから出力されたスプライシングされた画像を入力として受信し、前記スプライシングされた画像を前記入力画像の特徴画像Ｒ０と同じサイズを有する特徴画像に変換するように構成される。変換モジュールにより得られた変換された特徴画像は、第１ダウンスケーリング特徴画像Ｒ１０入力画像の特徴画像Ｒ０の間の残差として使用され得る。
【００７２】
上記のように、第１ダウンスケーリング特徴画像Ｒ１０は、入力画像の特徴画像Ｒ０を先ずアップスケーリングしてからダウンスケーリングすることによって得られる。第１ダウンスケーリング特徴画像Ｒ１０の解像度は、特徴画像Ｒ０の解像度に等しい。精度良いシステムにとって、特徴画像を先ずアップスケーリングしてからダウンスケーリングすることによって得られた第１ダウンスケーリング特徴画像Ｒ１０は、アップスケール又はダウンスケールされていないオリジナル入力画像の特徴画像Ｒ０と同じであるべきである。然しながら、実際の画像処理システムにおいて、画像に対してアップスケーリング操作を行う時、推定方法により画像の解像度を増加する必要があるため、推定方法により得られた第１アップスケーリング特徴画像Ｒ０１をダウンスケーリングすることによって得られた第１ダウンスケーリング特徴画像Ｒ１０と前記オリジナル入力画像の特徴画像Ｒ０の間に差異が損存する。第１ダウンスケーリング特徴画像Ｒ１０とオリジナル入力画像の特徴画像Ｒ０の間の差を利用して第１アップスケーリング特徴画像Ｒ０１を補正し得る。例えば、第１ダウンスケーリング特徴画像Ｒ１０と特徴画像Ｒ０の間の残差Ｄ１０をアップスケールして、解像度が第１アップスケーリング特徴画像Ｒ１０の解像度に等しいアップスケーリング残差Ｄ１１が得られ得る。アップスケーリング残差Ｄ１１を前第１アップスケーリング特徴画像Ｒ０１上に重畳することによって、第１アップスケーリング特徴画像Ｒ０１が補正される。
【００７３】
いくつかの実施形態において、図４Ａに示すように、アップスケーリングモジュール４０２は、残差確定モジュール４０４により確定された残差Ｄ１０をアップスケールしてアップスケーリング残差Ｄ１１を得るように構成される。アップスケーリング残差Ｄ１１の解像度は、第１アップスケーリング特徴画像Ｒ０１の解像度に等しい。アップスケーリング残差Ｄ１１を第１アップスケーリング特徴画像Ｒ０１上に重畳することによって、補正された第１アップスケーリング特徴画像Ｒ１１を得ることができる。いくつかの実施形態において、畳み込みネットワークを利用して第１アップスケーリング特徴画像Ｒ０１を補正して良い。例えば、アップスケーリング残差Ｄ１１及び第１アップスケーリング特徴画像Ｒ１０が畳み込みネットワークに入力され、畳み込みネットワークの出力が補正された結果として用いられる。
【００７４】
いくつかの実施形態において、合成モジュール４０５は、補正された第１アップスケーリング特徴画像Ｒ１１を利用して、オリジナル入力画像Ｉ０に基づく超解像度画像Ｉ１を生成するように構成される。合成モジュール４０５により得られた超解像度画像Ｉ１の解像度は、第１アップスケーリング特徴画像Ｒ０１の解像度に等しく、超解像度画像Ｉ１のチャンネル数は、オリジナル入力画像Ｉ０のチャンネル数に等しい。例えば、オリジナル入力画像Ｉ０がカラー画像である場合、オリジナル入力画像に基づいて生成された超解像度画像Ｉ１もカラー画像である。オリジナル入力画像Ｉ０グレースケール画像である場合、オリジナル入力画像に基づいて生成された超解像度画像Ｉ１もグレースケール画像である。図４Ａに示されるような画像処理システムにおいて、超解像度画像Ｉ１の入力画像Ｉ０に対する拡大率は、アップスケーリングモジュールの拡大率である。
【００７５】
図４Ａに示されるような画像処理システム４００は、畳み込みネットワークを利用して入力画像をアップスケーリングすることによって、入力画像に基づく超解像度画像を得るように構成される。この過程中、アップスケールされた入力画像をダウンスケールでき、２つの画像の比較により、アップスケールしてからダウンスケールして得られた画像とオリジナル入力画像の間の差異を得ることができる。前記差異を利用してアップスケールされた入力画像を補正し、補正されたアップスケールされた画像を入力画像の超解像度画像として出力し得る。
【００７６】
図５は、本開示の一実施形態に係る画像処理システム５００の概略図である。図５に示されるような分析モジュール５０１、アップスケーリングモジュール５０２、ダウンスケーリングモジュール５０３、及び合成モジュール５０５は、図４に示されるような分析モジュール４０１、アップスケーリングモジュール４０２、ダウンスケーリングモジュール４０３、及び合成モジュール４０５に類似した構造を有し、当該モジュール全ては、図１に示されるような畳み込みネットワークを利用して具現化できる。その詳細は後述しないことにする。
【００７７】
いくつかの実施形態において、図５に示されるような画像処理システム５００は、複数の残差確定モジュール５０４と、複数のダウンスケーリングモジュールとを含む。前記複数の残差確定モジュール及び前記複数のダウンスケーリングモジュールは、アップスケールされた入力画像を複数回ダウンスケールし、なお、アップスケールされた画像に対して複数回の残差補正を行うように構成される。図４Ａに示す画像処理システム４００を例として、第１アップスケーリング特徴画像が第１残差により補正されて補正された第１アップスケーリング特徴画像（以下、「第２アップスケーリング特徴画像」と称する）Ｒ１１を得た後、前記ダウンスケーリングモジュールは、第２アップスケーリング特徴画像Ｒ１１をダウンスケールして第２ダウンスケーリング特徴画像Ｒ２０を得るように構成される。第２ダウンスケーリング特徴画像Ｒ２０と入力画像の特徴画像Ｒ０の間の差異を比較した後、第２アップスケーリング特徴画像Ｒ１１を補正できる。
【００７８】
いくつかの実施形態において、図５に示す残差確定モジュール５０４は、残差制御モジュール５０６を更に含む。残差制御モジュール５０６は、残差補正過程に用いられる残差サイズを制御するように構成される。
【００７９】
一実施形態において、図５に示すように、前記第１アップスケーリング特徴画像及び前記入力画像の特徴画像に対して重畳解除を行って残差を確定する。第２アップスケーリング特徴画像Ｒ１１が得られると、ダウンスケーリングモジュール５０３は、第２アップスケーリング特徴画像Ｒ１１をダウンスケールして第２ダウンスケーリング特徴画像Ｒ２０を得るように構成される。第２ダウンスケーリング特徴画像Ｒ２０及び入力画像特徴画像Ｒ０に対して重畳解除を行うことによって、第２ダウンスケーリング特徴画像Ｒ２０と入力画像の特徴画像Ｒ０の間の第２残差Ｄ２０を確定できる。
【００８０】
いくつかの実施形態において、前回のステップで生成された第１残差Ｄ１０及び現在のステップで生成された第２残差Ｄ２０に基づいて、現在のステップにおけるアップスケールされた画像を補正するための残差を確定し得る。いくつかの実施形態において、残差制御モジュール５０６は、反復プロセスにおける前回のステップで生成された第１残差Ｄ１０のサイズを現在のステップで生成された第２残差Ｄ２０と比較するように構成される。第２残差Ｄ２０が第１残差Ｄ１０より小さい場合、アップスケールされた画像とオリジナル入力画像の間の差異が反復プロセスにより低減されたと考えることができる。したがって、前記残差制御モジュールは、第２残差Ｄ２０を第２アップスケーリング特徴画像Ｒ１１を補正するための残差として出力する。いくつかの実施形態において、残差制御モジュール５０６は、第１残差Ｄ１０と第２残差Ｄ２０の間のより大きい残差を第２アップスケーリング特徴画像Ｒ１１を補正するための残差として設定するように構成される。いくつかの実施形態において、残差制御モジュール５０６は、第１残差Ｄ１０と第２残差Ｄ２０との平均値を第２アップスケーリング特徴画像Ｒ１１を補正するための残差として設定するように構成される。
【００８１】
いくつかの実施形態において、図５に示すように、アップスケーリングモジュール５０２を利用して残差制御モジュール５０６から出力された第２残差Ｄ２０をアップスケールし、第２アップスケーリング残差Ｄ２１を生成する。いくつかの実施形態において、第２アップスケーリング残差Ｄ２１を第２アップスケーリング特徴画像Ｒ１１と重畳することによって第２アップスケーリング特徴画像Ｒ１１を補正し得る。
【００８２】
いくつかの実施形態において、図５に示すように、上記の複数回の残差補正過程で、第１残差Ｄ１０が生成された後、残差制御ステップを必要とする。前回のステップで生成された残差が存在しないため、前記第１残差補正における前記残差制御モジュールの前回の結果を無限大（又は任意の十分大きい残差）に設定し得る。
【００８３】
前述のように、図５に示されるような画像処理システム５００を利用して残差補正の複数回の反復を具現できる。いくつかの実施形態において、ユーザは、反復プロセスの最大反復回数を反復終了条件として設定し得る。所定の最大反復回数に達した時、反復プロセスは終了する。いくつかの実施形態において、画像処理システム５００が入力画像に基づく超解像度画像を生成するように構成される場合、本回の反復中で生成された残差が前回の反復で生成された残差より大きいと、アップスケールされた画像とオリジナル画像の間の差異は反復によりさらに向上できないと考えることができる。したがって、本回の反復中で生成された残差が前回の反復で生成された残差より大きい場合に反復プロセスが終了するように、反復プロセス終了条件を設定し得る。
【００８４】
図５に示すように、画像処理システムは、より良い超解像度画像を達成するように、入力画像のアップスケールされた特徴画像の複数回残差補正を行うように構成される。
【００８５】
図６Ａ乃至図６Ｃは、本開示のいくつかの実施形態に係る残差制御モジュール５０６の例示的な実施形態を図示する。
【００８６】
残差制御モジュール５０６は、前回の反復で生成された残差ｃ及び本回の反復で生成された残差ｘを入力として受信し、残差ｘ及び残差ｃに基づいて本回の反復でアップスケールされた画像を補正するための残差を確定するように構成される。
【００８７】
図６Ａは、本開示の一実施形態に係る残差制御モジュール５０６を図示する。本実施形態において、残差制御モジュール５０６は、残差ｘ及び残差ｃのうちより小さい残差を本回の反復でアップスケールされた画像を補正するための残差として設定して出力するように構成される。
【００８８】
図６Ｂは、本開示の一実施形態に係る残差制御モジュール５０６を図示する。本実施形態において、残差制御モジュール５０６は、残差ｘと残差ｃとの平均値を本回の反復でアップスケールされた画像を補正するための残差として設定して出力するように構成される。
【００８９】
図６Ｃは、本開示の一実施形態に係る残差制御モジュール５０６を図示する。本実施形態において、残差制御モジュール５０６は、残差と残差ｃとを比較し、そのうちのより大きい方を本回の反復でアップスケールされた画像を補正するための残差として出力するように構成される。
【００９０】
図６Ａ及び図６Ｃに示すように、残差ｘの値及び残差ｃの値、並びに残差ｘの値と残差ｃの値の間の差分値を確定することによって、残差ｘと残差ｃとを比較できる。上で述べた残差は、残差が生成される２つの画像の間の差異の大きさを表す。
【００９１】
いくつかの実施形態において、当業者は、第１ダウンスケーリング特徴画像Ｒ１０及び入力画像の特徴画像Ｒ０に対して重畳解除を行うことによって得られた残差ｃが第１残差マトリックスを表すことを理解できる。第２ダウンスケーリング特徴画像Ｒ２０及び入力画像の特徴画像Ｒ０に対して重畳解除を行うことによって得られた残差ｘは、第２残差マトリックスを表す。前記第１残差マトリックス及び前記第２残差マトリックスにおける各要素の値は、２つの特徴画像の画素の間の差異を表し得る。いくつかの実施形態において、前記残差マトリックスにおける全ての要素の絶対値の平均値を前記残差マトリックスの残差値として確定し得る。一実施形態において、前記残差マトリックスにおける全ての要素の平方和又は前記残差マトリックスにおける全ての要素の平方和の算術平方根を前記残差マトリックスの残差値として確定し得る。
【００９２】
いくつかの実施形態において、図５に示されるような画像処理システムにより入力画像に基づく超解像度画像が生成される場合、前記画像処理システムは、図６Ａに示されるような残差制御モジュールを含むように構成される。このような残差制御モジュールは、反復プロセスで残差誤差が増加するのを防止するように構成される。その結果、より良好な超解像度画像を達成できる。
【００９３】
いくつかの実施形態において、図５に示されるような画像処理システムにおける畳み込みネットワークをトレーニングする場合、図６Ｂ又は図６Ｃに示されるような残差制御モジュールを利用し得る。トレーニング過程全般にわたってより大きい残差を導入することによって、もっと悪い状況においても画像処理システムを最適化できる。
【００９４】
前述のように、図４Ａ及び図５に示されるような画像処理システムは、入力画像を一回アップスケールするように構成される。例えば、前記アップスケーリングモジュールが２倍のアップスケーリングを行うものである場合、図４Ａ及び図５における画像処理システムは、入力画像に対する超解像度画像を生成するように構成され、前記超解像度画像の有する長さ及び幅はそれぞれ入力画像の２倍である。一実施形態において、入力画像の解像度が１２８×１２８である場合、前記画像処理システムにより生成される超解像度画像の解像度は２５６×２５６である。当業者は、２倍のアップスケーリングが単に本開示の実施形態の一例であることを理解するであろう。当業者は、実際の状況に基づきアップスケーリングモジュールを設定することで、異なるアップスケーリング倍数を達成できる。
【００９５】
いくつかの実施形態において、図４Ａ及び図５に示されるような画像処理システムは、より高い超解像度の画像が必要な場合において超解像度画像をさらにアップスケールするように構成される。例えば、上記のような２５６×２５６の解像度を持つ超解像度画像を入力画像として前記画像処理システムに入力する場合、前記画像処理システムにより５１２×５１２の解像度を持つさらに拡大された超解像度画像を生成できる。
【００９６】
図７Ａ及び図７Ｂは、本開示の一実施形態に係る画像処理システム７００の概略図である。図７Ａ及び図７Ｂに図示される画像処理システム７００により、入力画像の複数回アップスケーリングを達成できる。図７Ａは、残差確定モジュールが残差制御モジュールを含む画像処理システムの概略図である。図７Ｂは、残差確定モジュールがスプライシングモジュールと変換モジュールとを含む画像処理システムの概略図である。
【００９７】
上記のように、図４Ａ又は図５に示される画像処理システムから出力された超解像度画像を入力画像として超解像度画像を再生成することによって、複数回拡大された超解像度画像を得ることも可能である。然しながら、上記の複数回の拡大過程において、前記入力画像とアップスケールされた画像の間の残差を確定する時、比較基準の入力画像とされるのは、オリジナル入力画像ではなく、前回の画像処理過程により得られた超解像度画像である。このため、上記の複数回拡大画像処理過程で誤差の蓄積が生じ、したがって最終的な超解像度画像の結果に影響を及ぼし得る。
【００９８】
いくつかの実施形態において、図７Ａに示すように、画像処理システム７００は、分析モジュール７０１と、アップスケーリングモジュール７０２と、ダウンスケーリングモジュール７０３と、残差制御モジュール７０６と、合成モジュール７０５とを含む。これら上記のモジュールは、図４Ａ及び図５に示されるような分析モジュール、アップスケーリングモジュール、ダウンスケーリングモジュール、残差制御モジュール、及び合成モジュールに類似しており、且つ図１に示されるような畳み込みネットワークにより具現化できる。
【００９９】
いくつかの実施形態において、図７Ａに示すように、アップスケールされた入力画像に対して残差補正を行う過程を逆投影（ＢＰ）と称する。図７Ａに示される残差補正システムの出力は、補正されたアップスケーリング特徴画像である。図７Ａに示すように、画像処理システム７００は、反復残差補正システムを含み得る。
【０１００】
いくつかの実施形態において、画像処理システム７００の入力画像は、Ｌ−１回拡大されている超解像度画像ＩＬ−１である。例えば、入力画像Ｉ０の解像度は、１２８×１２８である。それで、Ｌ＝２である場合、入力画像ＩＬ−１は一回拡大されており、その解像度は、２５６×２５６である。
【０１０１】
入力画像ＩＬ−１を画像処理システム７００に入力した後、前記分析モジュールは、入力画像の前記特徴画像ＲμＬ−１を確定するように構成される。アップスケーリングモジュール７０２により入力画像の特徴画像ＲμＬ−１をアップスケールして、５１２×５１２の解像度を有する第１アップスケーリング特徴画像Ｒ０Ｌを得る。そして、反復残差補正システムにより第１アップスケーリング特徴画像Ｒ０Ｌを複数回ダウンスケールして、第１アップスケーリング特徴画像Ｒ０Ｌに基づくダウンスケールされた画像を生成し、前記ダウンスケールされた画像は、オリジナル入力画像Ｉ０に等しい解像度を有する。
【０１０２】
一実施形態において、５１２×５１２の解像度を有する第１アップスケーリング特徴画像Ｒ０Ｌを二回のダウンスケーリングによりオリジナル入力画像Ｉ０と同じ解像度を有する１２８×１２８にダウンスケールし得る。第１アップスケーリング特徴画像Ｒ０Ｌの複数回のダウンスケーリングにより生成された特徴画像をオリジナル入力画像Ｉ０の特徴画像Ｒμ０と比較することによって、オリジナル入力画像の第１アップスケーリング特徴画像Ｒ０Ｌを補正するための残差を確定できる。前記残差を利用して第１アップスケーリング特徴画像Ｒ０Ｌを補正できる。
【０１０３】
図７Ｂは、本開示の一実施形態に係る画像処理システム７００を示す。画像処理システム７００は、図７Ａに示されるような画像処理システム７００における差確定モジュールと異なる残差確定モジュールを含む。残差確定モジュールの動作原理は、図４Ａ乃至図４Ｃに基づいて記載されており、その詳細はここで再び記述しないことにする。
【０１０４】
図７Ａ及び図７Ｂに示すように、前記画像処理システムは、複数回のアップスケーリングの後に得られたアップスケールされた画像とオリジナル入力画像の間の残差を確定するように構成される。超解像度画像がより良好な品質を有するように、前記残差利用して当該アップスケールされた画像を補正する。
【０１０５】
本開示の実施形態に係る画像処理システムは、パラメータＬ及びμを構成する必要がある。いくつかの実施形態において、パラメータＬ及びμの意味は、以下の通りである。本開示の記述において、画像処理システムにより得られた特徴画像は、ＲμＬで表され得、ここで、Ｌは、特徴画像のアップスケーリング回数を示す。例えば、リジナル画像Ｉ０の特徴画像は、R０で表され得る。μは、前記特徴画像に対して残差補正を行った回数を表す。例えば、図５に示すように、一回の残差補正の後に得られたアップスケールされた特徴画像は、Ｒ１１と表され得、２回の残差補正の後に得られたアップスケールされた特徴画像は、Ｒ２１と表され得る。
【０１０６】
上記のようなパラメータＬ及びμを設定することによって、画像処理システムの構造を確定できる。例えば、図４Ａに示されるような画像処理システム４００にとって、Ｌ＝１かつμ＝１である。図５に示されるような画像処理システム５００にとって、Ｌ＝１かつμ＝２である。いくつかの実施形態において、ユーザは、異なるＬ及びμを設定することによって異なる画像処理システムを具現できる。
【０１０７】
図８Ａ乃至図８Ｃは、本開示のいくつかの実施形態に係るアップスケーリング過程の原理の概略図である。図８Ａは、残差を利用することなくアップスケールされた画像を補正する概略図である（即ち、Ｌ＝３、μ＝０）。図８Ａに示すように、前記分析モジュールは、入力画像の特徴画像を出力するように構成される（図８Ａにおける三角形は、分析モジュールを表す）。前記アップスケーリングモジュール（図８Ａにおける空の正方形は、アップスケーリングモジュールを表す）は、出力画像の特徴画像を複数回アップスケールして、超解像度画像を表す超解像度特徴画像を生成するように構成される。一実施形態において、前記アップスケーリングモジュールが画像を２倍アップスケールするように構成される場合、図８Ａにおける画像処理過程は、８×８倍アップスケールされた超解像度特徴画像を出力するように構成される。
【０１０８】
図８Ｂは、アップスケールされた画像とオリジナル画像の間の残差を利用して前記アップスケールされた画像に対して行う補正を示す概略図である（即ち、Ｌ＝１、μ＝１）。分析モジュール（図８Ｂで、三角形で表す）は、出力画像を表す特徴画像を出力する。上記のアップスケーリングモジュール（図８Ｂで白い正方形で表す）は、出力画像の特徴画像を一回アップスケールして２×２倍の解像度の第１アップスケーリング特徴画像を生成する。
【０１０９】
いくつかの実施形態において、図８Ｂに示すように、ダウンスケーリングモジュール（図８Ｂで黒い正方形で表す）は、２×２倍の解像度の第１アップスケーリング特徴画像をダウンスケールし、ダウンスケールされた特徴画像とオリジナル入力画像（マイナス記号を囲む円で表す）の間の残差を確定する。２×２倍アップスケーリング後の残差を２×２倍アップスケールされた第１特徴画像（プラス記号を囲む円で表す）上に重畳することによって、補正された２×２倍解像度の第１アップスケーリング特徴画像が生成される。
【０１１０】
いくつかの実施形態において、その後、画像の解像度をさらに増加するために、アップスケーリングモジュールを利用して前記補正された２×２倍解像度の第１アップスケーリング特徴画像をさらにアップスケールして、４×４倍解像度の第１アップスケーリング特徴画像を生成する。４×４倍アップスケールされた第１特徴画像を補正するために、ダウンスケーリングモジュールを利用して４×４倍解像度の第１アップスケーリング特徴画像を二回ダウンスケールし、ダウンスケールされた特徴画像とオリジナル入力画像の間の残差を確定し、前記残差は、４×４倍解像度の第１アップスケーリング特徴画像とオリジナル入力画像の間の差異を表す。いくつかの実施形態において、ダウンスケールされた特徴画像とオリジナル入力画像の間の残差を２回アップスケールして４×４倍解像度の残差を生成し得る。４×４倍解像度の第１特徴画像を４×４倍解像度の残差により補正できる。
【０１１１】
いくつかの実施形態において、図８Ｂに示すように、アップスケーリングモジュールは、ダウンスケールされた特徴画像とオリジナル入力画像の間の残差を一回アップスケールし、アップスケーリングの後に生成された２×２倍解像度の残差は、４×４倍解像度の第１アップスケーリング特徴画像を１回ダウンスケールすることによって生成された画像に重畳される。そして、重畳された画像及び補正された２×２倍解像度の第１アップスケーリング特徴画像に対して重畳解除操作を行って、重畳された画像と補正された２×２倍解像度の第１アップスケーリング特徴画像の間の残差を確定する。そして、重畳された画像と補正された２×２倍解像度の第１アップスケーリング特徴画像の間の残差をアップスケールし、アップスケールされた残差を４×４倍解像度の第１アップスケーリング特徴画像上に重畳して、補正された４×４倍解像度の第１アップスケーリング特徴画像を得る。
【０１１２】
図８Ｂに示すように、上記の原理に基づいて、上記のステップを繰り返すことによって、補正された８×８倍解像度のアップスケーリング特徴画像も実現できる。
【０１１３】
図８Ｃは、アップスケールされた画像とオリジナル画像の間の残差（即ち、Ｌ＝３、μ＝２）を利用してアップスケールされた画像に対して行う複数回の補正を図示する概略図 である。図８Ｃは、第１アップスケーリング特徴画像を複数回ダウンスケールし、ダウンスケールされた画像とオリジナル入力画像の間の残差を確定すべきである点で図８Ｂと異なる。なお、複数回のダウンスケーリングの後に得られた残差をアップスケールして第１アップスケーリング特徴画像上に重畳して、前記第１アップスケーリング特徴画像に対して複数回の補正を行う。いくつかの実施形態において、現在の残差が前回の残差より小さい場合のみに、現在の残差を利用して第１アップスケーリング特徴画像を複数回補正する。この過程は図６に示されるような画像処理システムで詳述されており、ここで再び記述しないことにする。
【０１１４】
図８Ａ乃至図８Ｃは、μが０、１、及び２に等しい３つの例のみを示している。然しながら、当業者は、μを実際の状況に応じて任意の正の整数に設定して超解像度画像の複数回の残差補正を実現できることを理解できる。同様に、図８Ａ乃至図８Ｃは、Ｌ＝３である場合のみを図示しているが、当業者は、Ｌを実際の状況に応じて任意の正の整数に設定し得ることを理解できる。これにより、異なる解像度の超解像度画像を生成可能な画像処理システムを実現できる。
【０１１５】
図９Ａは、本開示の一実施形態に係る画像処理システムの概略図である。図９Ａに示すように、画像処理システム９００は、補間モジュールを含む。前記補間モジュールは、入力画像ＩＬ−１を補間して、入力画像ＩＬ−１に基づくより高い解像度の画像を得るように構成される。前記補間モジュールは、バイキュビック補間方法のような従来のアップスケーリング補間方法を利用し得る。なお、畳み込みネットワーク及び残差補正モジュールを介して入力画像ＩL−１を処理することによって入力画像ＩＬ−１に基づく第２超解像度画像を生成する。上記の２つのシステムにより生成された超解像度画像を重畳して、出力画像を生成する。
【０１１６】
図９Ａに示されるような画像処理システム９００と図７Ａに示されるような画像処理システム７００の間の違いは、画像処理システム７００が直接入力画像に基づく超解像度画像を出力するのに対し、画像処理システム９００は、入力画像の詳細画像に基づく超解像度画像を出力する点である。したがって、画像処理システム９００におけるモジュールと画像処理システム７００におけるモジュールとは、類似したモジュール構造を有するが、システムを構成する畳み込みネットワークの構成は異なる。画像処理システム７００と画像処理システム９００とは、トレーニング方法によって区別され得る。
【０１１７】
当業者は、図９Ｂに示すように、画像処理システム９００において、畳み込みネットワークを利用して残差を確定する残差確定モジュールを用いても良いことを理解するであろう。
【０１１８】
図１０Ａは、本開示の一実施形態に係る画像処理システム１０００の概略図である。図９Ｂに示されるような残差補正システムにおいて、毎回のアップスケーリングの前にスプライシングモジュール及び変換モジュールを利用して現在の残差を確定する。然しながら、画像処理システム１０００において、入力画像が最初にアップスケールされる時は残差を確定する必要がないため、前記入力画像を直接アップスケーリングモジュールに入力できる。システムにおけるモジュールが一致することを確保し、上記の画像処理システムを具現するためのアルゴリズムを簡略化するために、入力画像の一回目のアップスケーリングの前に、前処理モジュールを利用して入力画像を前処理する。図１０Ａに示すように、前記前処理モジュールは、図４Ｂに示されるような残差確定モジュールと類似した構造を有し、即ち、スプライシングモジュールと、変換モジュールとを含む。
【０１１９】
図１０Ａに示すように、入力画像の特徴画像ＲμＬ−１、及び前記入力画像をまず補間してからダウンスケールすることによって得られた画像特徴が前記前処理モジュールに入力される。例えば、図１０Ａに示すように、入力画像ＩＬ−１が補間されると、従来の補間アルゴリズムにより生成された超解像度画像が生成できる。分析モジュール７０１を利用して超解像度画像の特徴画像を生成し、ダウンスケーリングモジュール７０３を利用して前記特徴画像をダウンスケールして、解像度が入力画像の特徴画像の解像度に等しいダウンスケールされた特徴画像を得る。前記前処理モジュール及び前記アップスケーリングモジュールを利用して入力画像の特徴画像に基づく第１アップスケーリング特徴画像を確定する。ここで、前記前処理モジュールと前記残差確定モジュールとは類似した構造を有するが、トレーニング中、前記前処理モジュールにより出力される特徴画像と、前記残差確定モジュールにより出力される特徴画像とは異なる機能を有する。したがって、トレーニング過程により前記前処理モジュール及び前記残差確定モジュールのパラメータをそれぞれ調整することで、画像処理システム１０００が上記のような画像処理機能を具現できるようにする。
【０１２０】
図１０Ｂ乃至図１０Ｄは、本開示の一実施形態に係る画像処理システム１０００のアップスケーリング過程の概略図である。
【０１２１】
図１０Ｂは、残差を利用することなくアップスケールされた画像に対して行う補正を示す概略図である（即ち、Ｌ＝３かつμ＝０である）。図１０Ｂに示すように、画像が前記分析モジュール（１は、分析モジュールを表す）に入力され、モジュールは、出力画像を表す特徴画像を出力する。前記入力画像と前記入力画像を分析モジュール及び合成モジュール（４）を介して処理して得られた画像とを重畳して、変換された入力画像を得る（プラス記号を囲む円で表す）。従来の補間モデル（５は、従来の補間モジュールを表す）を利用して変換された入力画像の超解像度画像を得る。前記分析モジュールを利用して上記の超解像度画像の特徴画像を得、上記の超解像度画像の特徴画像をダウンスケーリングした後（３は、ダウンスケーリングモジュールを表す）、前処理モジュール（ｃで表す）を利用して前記ダウンスケーリングモジュールから得られた結果及び前記分析モジュールから得られた結果を前処理する。そして、アップスケーリングモジュール（２は、アップスケーリングモジュールを表す）を利用して前記前処理モジュールから出力された特徴画像をアップスケールして、超解像度画像を表す超解像度特徴画像を形成する。一実施形態において、アップスケーリングモジュールが画像を２倍アップスケールするように構成される場合、図１０Ｂにおける画像処理過程は８×８倍アップスケールされた超解像度特徴画像を生成できる。
【０１２２】
図１０Ｃは、アップスケールされた画像とオリジナル画像の間の残差を利用して前記アップスケールされた画像に対して行う補正を示す概略図である。
【０１２３】
図１０Ｃは、アップスケールされた画像とオリジナル画像の間の残差を利用して前記アップスケールされた画像を一回補正する（即ち、Ｌ＝３、μ＝１である場合）方法の概略図である。図１０Ｄは、アップスケールされた画像とオリジナル画像の間の残差を利用して前記アップスケールされた画像を複数回補正する（即ち、Ｌ＝３、μ＝２である場合）方法の概略図である。図１０Ｃ及び図１０Ｄは、それぞれ入力画像の複数回の残差補正を含む画像処理方法を示す。これらの方法は、図８Ｂ及び図８Ｃに示された過程に類似しており、ここで再び記述しないことにする。
【０１２４】
本開示の一実施形態によれば、上記の画像処理システムのトレーニング方法が提供される。前記画像処理システムのトレーニング方法において、高解像度画像を予め設定し得、前記高解像度画像及びオリジナル高解像度画像をダウンスケールすることによって生成された低解像度画像を利用して前記画像処理システムをトレーニングする。前記画像処理システムが複数回のダウンスケーリングを行うように構成される場合、前記オリジナル高解像度画像に基づく異なる解像度の低解像度画像を生成できる。例えば、オリジナル高解像度画像の解像度が５１２×５１２である場合、２５６×２５６及び１２８×１２８の低解像度画像を生成でき、これら低解像度画像を利用して前記画像処理システムをトレーニングできる。例えば、上記の低解像度画像を前記画像処理システムに入力し得、超解像度画像とオリジナル高解像度画像の間の損失関数を計算する。前記損失関数は、少なくとも
【数２】
2021517283.tif 000004
を含み、
【０１２５】
Ｌは、前記画像処理システムにおけるアップスケーリング回数を表し、ｗは、所定の重み因子を表し、σ（ＲμＩ）は、特徴画像ＲμＩの損失メトリックを表す。ここで、μは、残差補正回数を表し、Ｉは、アップスケーリング回数を表す。損失メトリックσは、Ｌ１ノルム、Ｌ２ノルム、又はＣｈａｒｂｏｎｎｉｅｒ損失関数などであり得る。
【０１２６】
図１１は、本開示の一実施形態に係る画像処理方法の例示的なフローチャートである。画像処理方法１１００は、以下のステップを含む。
【０１２７】
ステップＳ１１１０は、分析畳み込みネットワークにより入力画像の特徴画像を確定することを含む。前記入力画像の特徴画像の解像度は、前記入力画像の解像度に等しい。前記入力画像の特徴画像のチャンネル数は、前記入力画像のチャンネル数より大きい。
【０１２８】
ステップＳ１１２０は、アップスケーリング畳み込みネットワークを利用して前記入力画像の特徴画像をアップスケールして、第１アップスケーリング特徴画像を得ることを含む。前記第１アップスケーリング特徴画像の解像度は、前記入力画像の解像度より大きい。前記第１アップスケーリング特徴画像のチャンネル数は、前記入力画像の特徴画像のチャンネル数に等しい。
【０１２９】
ステップＳ１１３０は、ダウンスケーリング畳み込みネットワークを利用して前記第１アップスケーリング特徴画像をダウンスケールして、第１ダウンスケーリング特徴画像を得ることを含む。前記第１ダウンスケーリング特徴画像の解像度は、前記入力画像の解像度に等しく、前記第１ダウンスケーリング特徴画像のチャンネル数も前記入力画像の特徴画像のチャンネル数に等しい。
【０１３０】
一実施形態において、ダウンスケーリング畳み込みネットワークを利用して前記第１アップスケーリング特徴画像をダウンスケールすることは、前記入力画像と同じ解像度を有する画像にダウンスケールするまで、複数のダウンスケーリング畳み込みネットワークを利用して前記第１アップスケーリング特徴画像を複数回ダウンスケールすることを含む。
【０１３１】
ステップＳ１１４０は、前記第１ダウンスケーリング特徴画像と前記入力画像の特徴画像の間の残差画像を確定することを含む。いくつかの実施形態において、ステップＳ１１４０は、前記入力画像の特徴画像及び前記第１ダウンスケーリング特徴画像に対して重畳解除を行って第１残差を得ることを含み得る。いくつかの実施形態において、ステップＳ１１４０は、所定の方法に従って前記第１ダウンスケーリング特徴画像と前記入力画像の特徴画像とをスプライシングすることを含み得る。スプライシングされた画像のサイズは、前記第１ダウンスケーリング特徴画像とサイズと前記入力画像のサイズとの和である。変換畳み込みネットワークを利用して前記スプライシングされた画像を変換し、前記第１ダウンスケーリング特徴画像と前記入力画像の特徴画像の間の第１残差画像を出力し、前記第１残差画像のサイズは、前記入力画像のサイズに等しい。
【０１３２】
ステップＳ１１５０は、前記アップスケールされた残差画像を利用して第１アップスケーリング特徴画像を補正することを含む。いくつかの実施形態において、前記アップスケールされた残差画像を利用して第１アップスケーリング特徴画像を補正することは、前記第１アップスケーリング特徴画像と前記アップスケールされた残差画像とを重畳することを含む。いくつかの実施形態において、前記アップスケールされた残差画像を利用して第１アップスケーリング特徴画像を補正することは、前記第１アップスケーリング特徴画像と前記アップスケーリング残差とを重畳して第３アップスケーリング画像を得ることと、ダウンスケーリング畳み込みネットワークにより前記第３アップスケーリング画像をダウンスケーリングして第２ダウンスケーリング特徴画像を得ることと、前記第２ダウンスケーリング特徴画像と前記入力画像の特徴画像の間の差を示す前記第２ダウンスケーリング特徴画像と前記入力画像の特徴画像の間の第２残差画像を確定することと、前記第２ダウンスケーリング特徴画像と前記入力画像の特徴画像の間の第２残差画像を利用して前記第３アップスケーリング画像を補正することとを含む。
【０１３３】
いくつかの実施形態において、前記第２ダウンスケーリング特徴画像と特徴画像の間の第２残差画像を利用して前記第３アップスケーリング画像を補正することは、前記第１残差画像と前記第２残差画像とを比較し、前記第２ダウンスケーリング特徴画像と入力画像の間の差異が前記第１ダウンスケーリング特徴画像と前記入力画像の間の差異より小さい場合、アップスケーリング畳み込みネットワークにより前記第２残差画像をアップスケールして第２アップスケーリング残差を得ることと、前記第１超解像度画像と前記第２アップスケーリング残差とを重畳して第４アップスケーリング画像を得ることとを含む。
【０１３４】
いくつかの実施形態において、前記第１残差画像と前記第２残差画像とを比較することは、前記第１残差画像の画素マトリックスにおける全ての要素の絶対値の平均値又は全ての要素の平方和の算術平方根を第１残差値として設定することと、前記第２残差画像の画素マトリックスにおける全ての要素の絶対値の平均値又は全ての要素の平方和の算術平方根を第２残差値として設定することと、前記第１残差値と前記第２残差値とを比較することとを含む。
【０１３５】
ステップＳ１１６０は、前記補正された第１アップスケーリング特徴画像に基づいて、前記入力画像に基づく第１超解像度画像を生成することを含む。一実施形態において、合成畳み込みネットワークを利用して前記補正された第１アップスケーリング特徴画像を前記入力画像に等しいチャンネル数を有する画像に合成する。
【０１３６】
いくつかの実施形態において、画像処理方法１１００は、入力画像に対して補間を行って、解像度が超解像度画像の解像度に等しい拡大された画像を得ることと、前記拡大された画像と前記超解像度画像とを重畳して前記入力画像に基づく超解像度の拡大画像を生成することとを更に含み得る。この実施形態において、畳み込みネットワークにより生成された超解像度画像は、拡大されたオリジナル入力画像の詳細を表す。拡大されたオリジナル入力画像の詳細を利用して、従来の残差方法により生成された拡大された超解像度画像の詳細を補足することで、強化された超解像度拡大結果を得ることができる。
【０１３７】
本開示のいくつかの実施形態に係る画像処理方法において、畳み込みネットワークを利用してオリジナル低解像度の入力画像に基づく超解像度の出力画像を生成できる。また、毎回のアップスケーリング中にアップスケールされた画像とオリジナル画像の間の残差によりアップスケールされた画像を補正するため、超解像度画像の効果を向上できる。
【０１３８】
留意すべきことは、本開示において、モジュール（アップスケーリングモジュール、ダウンスケーリングモジュール、分析モジュール、合成モジュール、及び変換モジュールなど）は、同じ構造を持つ畳み込みネットワークを表し得る。然しながら、当業者は、画像処理システムにおける同じ構造の二つの畳み込みネットワークのパラメータが異なり得ることを理解できる。用語「含む」又は「備える」、或いはその任意の変体は、一連の要素を含む過程、方法、物品、又はデバイスがそれらの要素だけでなく、明示的に列挙されていない又はそのような過程、方法、物品、又は設備に固有の他の要素も含むように、非排他的な包含を網羅することを意図している。さらなる制限がない場合、「…を含む」という文により限定される要素は、前記要素を含む過程、方法、物品、又は設備の中に追加的な同様の要素の存在を除外しない。
【０１３９】
なお、本開示で描かれている論理フローは、望ましい結果を達成するために、示される特定の順序又は逐次的な順序を必要としない。これらのステップは、逐次的な順序で実行されるのではなく、並行して実行されるか又は個別に実行される可能性がある。
【０１４０】
留意すべきことは、上記の任意の過程、方法の記述又はブロックは他の具現を含み、機能は、図示又は議論された順序以外に、当該機能に基づく実質的に同時又は逆順を含む順序に実行され得る。
【０１４１】
理解すべきことは、本発明の各部分は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの組み合わせによって具現化できる。上記の実施形態において、ステップの全て又は一部は、メモリに記憶されて適当な命令実行システムにより実行可能なソフトウェア又はファームウェアを介して、例えば、ＲＯＭ／ＲＡＭ、磁気ディスク、光ディスクなどのコンピュータ読み取り可能記憶媒体に記憶され得るプログラムを介して関連ハードウェアに命令することによって具現化できる。
【０１４２】
本開示の原理及び実施形態は明細書に記載されている。本開示の実施形態の記述は単に本開示の方法及びその核となるアイデアの理解を助けるためのみに用いられる。一方、当該技術分野における通常の知識を有する者にとって、開示されたものは本開示の範囲に関し、技術方案は技術的特徴の特定の組み合わせに限定されず、本発明の概念から逸脱することなく技術的特徴又は技術的特徴の同等の特徴を組み合わせることによって形成される他の技術方案も網羅すべきである。例えば、本開示に開示されるような（ただし、これに限られない）上記の特徴を類似した特徴に置き換えることによって技術方案が得られ得る。
【図１】
2021517283.tif 000006
【図２】
2021517283.tif 000007
【図３】
2021517283.tif 000008
【図４Ａ】
2021517283.tif 000009
【図４Ｂ】
2021517283.tif 000010
【図４Ｃ】
2021517283.tif 000011
【図４Ｄ】
2021517283.tif 000012
【図５】
2021517283.tif 000013
【図６Ａ】
2021517283.tif 000014
【図６Ｂ】
2021517283.tif 000015
【図６Ｃ】
2021517283.tif 000016
【図７Ａ】
2021517283.tif 000017
【図７Ｂ】
2021517283.tif 000018
【図８Ａ】
2021517283.tif 000019
【図８Ｂ】
2021517283.tif 000020
【図８Ｃ】
2021517283.tif 000021
【図９Ａ】
2021517283.tif 000022
【図９Ｂ】
2021517283.tif 000023
【図１０Ａ】
2021517283.tif 000024
【図１０Ｂ】
2021517283.tif 000025
【図１０Ｃ】
2021517283.tif 000026
【図１０Ｄ】
2021517283.tif 000027
【図１１】
2021517283.tif 000028
【国際調査報告】
2021517283.tif 000029
2021517283.tif 000030