(57)【要約】【課題】超解像処理に好適な、劣化を含む入力画像からクリーン化された特徴マップを得ることが可能な画像処理装置を提供する。【解決手段】入力画像より当該入力画像の画素分布を反映した特徴マップを抽出する抽出網部10と、前記特徴マップより、第１画像劣化属性に関する第１属性マップを抽出する第１属性網部11と、前記特徴マップより、前記入力画像の画素分布を反映した構造マップを抽出する構造情報網部13と、前記第１属性マップと前記構造マップとを統合することにより、前記入力画像において前記第１劣化属性による劣化が除去されたクリーン特徴マップを得る統合出力網部14と、を備える。【選択図】図１
2020149530.tif 000002
【特許請求の範囲】
【請求項１】
入力画像より当該入力画像の画素分布を反映した特徴マップを抽出する抽出網部と、
前記特徴マップより、第１画像劣化属性に関する第１属性マップを抽出する第１属性網部と、
前記特徴マップより、前記入力画像の画素分布を反映した構造マップを抽出する構造情報網部と、
前記第１属性マップと前記構造マップとを統合することにより、前記入力画像において前記第１劣化属性による劣化が除去されたクリーン特徴マップを得る統合出力網部と、を備えることを特徴とする画像処理装置。
【請求項２】
前記第１属性網部は、畳込みニューラルネットワークを用いて前記第１属性マップを抽出し、当該抽出する際のネットワーク構造に、畳込みによる特徴抽出に次いで畳込みによる特徴増強を行う蒸留ブロックが含まれることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１属性抽出部にて前記抽出する際のネットワーク構造において、前記蒸留ブロックを１つ以上通過する１つ以上の経路と、前記蒸留ブロックを通過しない少なくとも１つの経路と、が並列で存在することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記構造情報網部は、畳込みニューラルネットワークを用いて前記構造マップを抽出し、当該抽出する際のネットワーク構造に、１回以上の畳込みが行われる第一経路と、当該第一経路をバイパスして値をそのまま伝達する第二経路と、が並列で存在し、且つ、当該第一経路を経た値及び当該第二経路を経た値が加算される残差ブロック構造が含まれることを特徴とする請求項１ないし３のいずれかに記載の画像処理装置。
【請求項５】
前記特徴マップより、第２画像劣化属性に関する第２属性マップを抽出する第２属性網部をさらに備え、
前記統合出力網部は、前記第１属性マップ、前記第２属性マップ及び前記構造マップを統合することにより、前記クリーン特徴マップを得ることを特徴とする請求項１ないし４のいずれかに記載の画像処理装置。
【請求項６】
前記第１画像劣化属性及び前記第２画像劣化属性のうち、一方が圧縮アーティファクトであり、もう一方が動きブレであることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記第１属性網部及び前記第２属性網部は共に、畳込みニューラルネットワークを用いて前記第１属性マップ及び前記第２属性マップを抽出し、
前記第１属性網部のネットワーク構造と、前記第２属性網部のネットワーク構造とが共通の構造であることを特徴とする請求項５または６に記載の画像処理装置。
【請求項８】
前記入力画像に前記第１画像劣化属性または前記第２画像劣化属性による劣化が発生していないことが既知である場合にそれぞれ、前記第１属性抽出部または前記第２属性抽出部による抽出処理が省略されることを特徴とする請求項５ないし７のいずれかに記載の画像処理装置。
【請求項９】
前記統合出力網部は、ゲート付き回帰ユニットを利用した畳込みニューラルネットワークを用いて前記クリーン特徴マップを得ることを特徴とする請求項１ないし７のいずれかに記載の画像処理装置。
【請求項１０】
前記クリーン特徴マップを用いて超解像処理を行うことにより、前記入力画像が高解像度化された出力画像を得る超解像出力網部をさらに備えることを特徴とする請求項１ないし９のいずれかに記載の画像処理装置。
【請求項１１】
前記超解像出力網部は、畳込みニューラルネットワークを用いて前記出力画像を得ており、当該得る際のネットワーク構造において１回以上の畳込みを行った後に得られる、縦位置、横位置及びチャネル位置の指定によって要素が指定されるテンソルに対して、チャネルごとに得られる縦位置及び横位置による空間範囲全体での代表値と、縦位置及び横位置ごとに得られるチャネル全体での代表値と、を当該テンソルにそれぞれ乗算したうえで、超解像処理を行うことを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
コンピュータを請求項１ないし１１のいずれかに記載の画像処理装置として機能させることを特徴とするプログラム。
【請求項１３】
入力画像より当該入力画像の画素分布を反映した特徴マップを抽出する抽出網部と、
前記特徴マップより、第１画像劣化属性に関する第１属性マップを抽出する第１属性網部と、
前記特徴マップより、前記入力画像の画素分布を反映した構造マップを抽出する構造情報網部と、
前記第１属性マップと前記構造マップとを統合することにより、前記入力画像において前記第１劣化属性による劣化が除去されたクリーン特徴マップを得る統合出力網部と、
前記クリーン特徴マップを用いて超解像処理を行うことにより、前記入力画像が高解像度化された出力画像を得る超解像出力網部と、を備える、畳込みニューラルネットワークを用いた画像処理装置のパラメータの学習方法であって、
前記統合出力網部のパラメータに固定値を与えたうえで、学習データを利用することにより、前記抽出網部、前記第１属性網部、前記構造情報網部及び前記超解像出力網部のパラメータを学習する第１段階と、
前記第１段階で学習された前記第１属性網部のパラメータを固定値として与えたうえで、学習データを利用することにより、前記抽出網部、前記構造情報網部、前記統合出力網部及び前記超解像出力網部のパラメータを学習する第２段階と、を備え、
前記第１段階で学習された前記第１属性網部のパラメータと、前記第２段階で学習された前記抽出網部、前記構造情報網部、前記統合出力網部及び前記超解像出力網部のパラメータと、を学習結果とすることを特徴とする学習方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、超解像処理などに好適な特徴マップとして、劣化を含む入力画像からクリーン化された特徴マップを得ることが可能な画像処理装置、プログラム及び学習方法に関する。
【背景技術】
【０００２】
従来技術として、動きボケ（モーションブラー）を除去する技術、圧縮アーティファクトを除去する技術、超解像度技術がそれぞれ独立に開発されている。近年、畳み込みニューラルネットワーク（以下、CNNとする）や敵対的生成ネットワーク（GAN）を含めてディープラニーング技術により、これら技術の各々の精度が向上している。例えば、非特許文献１では、CNNを用いて圧縮アーティファクトを除去する。また、非特許文献２では、敵対的生成ネットワークを用いて動きボケを除去する。また、非特許文献３では、CNNを用いた超解像度技術が提案されている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】C. Dong, Y. Deng, C. Change Loy, and X. Tang, "Compression artifacts reduction by a deep convolutional network," in Proceedings of the IEEE International Conference on Computer Vision, pp. 576-584, 2015.
【非特許文献２】O. Kupyn, V. Budzan, M. Mykhailych, D. Mishkin, and J. Matas,"Deblurgan: Blind motion deblurring using conditional adversarial networks," in The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2018.
【非特許文献３】B. Lim, S. Son, H. Kim, S. Nah, and K. M. Lee, "Enhanced deep residual networks for single image super-resolution," in The IEEE conference on computer vision and pattern recognition (CVPR) workshops, vol. 1, p. 4, 2017.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、以上のような従来技術においては、低解像度の画像において動きボケや圧縮アーティファクト等の複数の要因による画像劣化が発生している際に、画像を劣化の除去された状態へと復元し、且つ、超解像処理により高解像度の画像を得るようにすることを、効率的に実現することができなかった。
【０００５】
例えば、低解像度の画像に動きボケ及び圧縮アーティファクトの２つの要因による画像劣化が発生している場合、従来技術をそのまま順番に適用する手法が考えられる。例えば、（１）動きボケ除去処理により動きボケを除去した第一画像を得て、（２）この第一画像に圧縮アーティファクト除去処理を適用して圧縮アーティファクトを除去した第三画像を得て、（３）この第三画像に超解像度処理を適用して高解像度された画像を得る、という手法である。
【０００６】
しかしながら、従来技術の動きボケ除去処理は、動きボケ以外の劣化要因に対処することは考慮されていないため、例えば圧縮アーティファクトが混在する場合、圧縮アーティファクトが残ってしまうことがある。また、従来技術の圧縮アーティファクト除去処理は、圧縮アーティファクト以外の劣化要因に対処することは考慮されていないため、例えば動きボケが混在する場合、動きボケが残ってしまうことがある。さらに、従来技術の超解像処理は、圧縮アーティファクトや動きボケを除去する機能を有するものではない。
【０００７】
すなわち、従来技術の動きボケ除去処理と、圧縮アーティファクト除去処理と、超解像処理とを何らかの順で順番に実施しても、劣化している低解像度画像を、劣化を除去して且つ高解像度化することができなかった。さらに、各処理に関して独立に実施するため、計算負荷も大きかった。例えば各処理に関してCNN等で実現する場合、各CNN等を独立に学習しておく必要があるため、計算負荷も大きかった。
【０００８】
上記従来技術の課題に鑑み、本発明は、超解像処理に利用可能なクリーン化された特徴マップを、劣化がある入力画像から効率的に得ることのできる画像処理装置及びプログラムを提供することを第１の目的とする。また、本発明は、第１の目的におけるクリーン化された特徴マップからさらに、劣化が除去され且つ入力画像よりも高解像度化された画像を効率的に得ることのできる画像処理装置及びプログラムを提供することを第２の目的とする。また、本発明は、第２の目的における画像処理装置を効率的に学習することのできる学習方法を提供することを第３の目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明は画像処理装置であって、入力画像より当該入力画像の画素分布を反映した特徴マップを抽出する抽出網部と、前記特徴マップより、第１画像劣化属性に関する第１属性マップを抽出する第１属性網部と、前記特徴マップより、前記入力画像の画素分布を反映した構造マップを抽出する構造情報網部と、前記第１属性マップと前記構造マップとを統合することにより、前記入力画像において前記第１劣化属性による劣化が除去されたクリーン特徴マップを得る統合出力網部と、を備えること、及び、コンピュータ構成をこの画像処理装置として機能させるプログラムであることを第１の特徴とする。
【００１０】
また、本発明は前記画像処理装置であってさらに、前記クリーン特徴マップを用いて超解像処理を行うことにより、前記入力画像が高解像度化された出力画像を得る超解像出力網部をさらに備えること、及び、コンピュータ構成をこの画像処理装置として機能させるプログラムであることを第２の特徴とする。
【００１１】
また、本発明は、入力画像より当該入力画像の画素分布を反映した特徴マップを抽出する抽出網部と、前記特徴マップより、第１画像劣化属性に関する第１属性マップを抽出する第１属性網部と、前記特徴マップより、前記入力画像の画素分布を反映した構造マップを抽出する構造情報網部と、前記第１属性マップと前記構造マップとを統合することにより、前記入力画像において前記第１劣化属性による劣化が除去されたクリーン特徴マップを得る統合出力網部と、前記クリーン特徴マップを用いて超解像処理を行うことにより、前記入力画像が高解像度化された出力画像を得る超解像出力網部と、を備える、畳込みニューラルネットワークを用いた画像処理装置のパラメータの学習方法であって、前記統合出力網部のパラメータに固定値を与えたうえで、学習データを利用することにより、前記抽出網部、前記第１属性網部、前記構造情報網部及び前記超解像出力網部のパラメータを学習する第１段階と、前記第１段階で学習された前記第１属性網部のパラメータを固定値として与えたうえで、学習データを利用することにより、前記抽出網部、前記構造情報網部、前記統合出力網部及び前記超解像出力網部のパラメータを学習する第２段階と、を備え、前記第１段階で学習された前記第１属性網部のパラメータと、前記第２段階で学習された前記抽出網部、前記構造情報網部、前記統合出力網部及び前記超解像出力網部のパラメータと、を学習結果とすることを第３の特徴とする。
【発明の効果】
【００１２】
前記第１の特徴によれば、抽出網部で抽出された特徴マップを第１属性網部及び構造情報網部において共通で利用したうえで統合出力網部において統合処理を行うことにより、効率的に、超解像処理に利用可能なクリーン化された特徴マップを得ることができる。
【００１３】
前記第２の特徴によれば、クリーン化された特徴マップを用いて効率的に、当初の入力画像における劣化が除去された状態での超解像処理を行うことができる。
【００１４】
前記第３の特徴によれば、画像処理装置の各部のパラメータの学習を２段階に分けることによって効率的な学習ができる。
【図面の簡単な説明】
【００１５】
【図１】一実施形態に係る画像処理装置の機能ブロック図である。
【図２】第１属性網部、第２属性網部及び構造情報網部の詳細構成（ネットワーク構造）を示す機能ブロック図である。
【図３】残差網部の構成要素である残差ブロック部のネットワーク構造を示す機能ブロック図である。
【図４】第１属性網部の第１蒸留網部（及びこれと同様のネットワーク構成である第２属性網部の第２蒸留網部）の構成要素である蒸留ブロック部のネットワーク構成を示す機能ブロック図である。
【図５】超解像出力網部のネットワーク構成を示す機能ブロック図である。
【図６】一実施形態に係る画像処理装置の各パラメータを学習する方法のフローチャートである。
【図７】本発明の一実施形態に即した手法の効果を既存手法との対比で示すグラフである。
【図８】本発明の一実施形態に即した手法の効果を既存手法との対比で示すグラフである。
【図９】一実施形態に係る応用的利用を可能とする画像処理装置の機能ブロック図である。
【図１０】一般的なコンピュータ装置におけるハードウェア構成を示す図である。
【発明を実施するための形態】
【００１６】
図１は、一実施形態に係る画像処理装置の機能ブロック図である。画像処理装置1は、復元抽出部2及び超解像出力網部3を備える。画像処理装置1の全体的な動作は次の通りである。まず、低解像度であり且つ１つ以上の劣化要因による劣化が発生している入力画像Pを復元抽出部2において処理することで、低解像度の入力画像Pのクリーン特徴マップHを、劣化が除去（クリーン化）され本来の画像が復元された状態におけるものとして得る。次いで、このクリーン特徴マップHを超解像出力網部3において処理することで、入力画像Pが高解像度化され、且つ、劣化が除去されたものとして出力画像Qを得る。
【００１７】
画像処理装置1はCNNベースのものとして構成されるので、予め学習（トレーニング）段階において学習を行ってパラメータとしての学習モデルを求めておいたうえで、この学習モデルを用いた推定（インファレンス）段階の処理として、入力画像Pから出力画像Qを得ることができる。以下、特に学習段階に関して言及しない限り、推定段階に関して説明を行った後に学習段階についても説明することとする。
【００１８】
復元抽出部2はさらに、入力画像Pからクリーン特徴マップHを得るための要素構成として、抽出網部10、第１属性網部11、第２属性網部12、構造情報網部13及び統合出力網部14を備える。復元抽出部2の各部の概要は以下の通りである。
【００１９】
抽出網部10は、劣化が存在し低解像度である入力画像Pから、複数チャネルで構成されるその特徴マップF（劣化の情報も含む）を抽出して、第１属性網部11、第２属性網部12及び構造情報網部13へとそれぞれ、この特徴マップFを出力する。抽出網部10はCNNとして構成することができる。本実施形態においては、単一の抽出網部10において後段側の第１属性網部11、第２属性網部12及び構造情報網部13で共通の入力として利用される特徴マップFを得ることにより、学習段階及び推定段階の両方において計算負荷を低減することが可能である。
【００２０】
第１属性網部11は、特徴マップFより第１種類の画像劣化属性のマップを第１属性マップAとして抽出して統合出力網部14へと出力する。第２属性網部12は、特徴マップFより第２種類の画像劣化属性のマップを第２属性マップBとして抽出して統合出力網部14へと出力する。構造情報網部13は、特徴マップFよりその画像構造（画像における画素値分布の構造）のマップを構造マップSrとして抽出して統合出力網部14へと出力する。
【００２１】
本実施形態においては、第１属性マップAは圧縮アーティファクト（例えばブロック歪みなど等）の度合いに関するものとし、第２属性マップBは動きボケの度合いに関するものとすることができる。なお、特徴マップFは、CNNで構成される抽出網部10において入力画像Pの画素分布情報を圧縮（縮小、ただしデータ次元数は必ずしも小さくならなくともよく、以下同様とする）したものに相当し、構造マップSrは、同じくCNNで構成される構造情報網部13において特徴マップFをさらに圧縮したものに相当する。すなわち、特徴マップF及び構造マップSrは共に、入力画像Pの画素分布情報を反映したものとなっている。また、構造マップSrの各位置(i,j)に対応する値（劣化の度合いの値）がマップとして与えられるものとして、第１属性マップA及び第２属性マップBが得られている。
【００２２】
ここで、第１劣化属性としての圧縮アーティファクト及び第２劣化属性としての動きボケで入力画像Pが劣化しており、劣化前の状態の画像をP[復元]とすると、この画像劣化は以下の式(1)のようにモデル化することができる。
P=k(M)*P[復元]+A〜      …(1)
【００２３】
上記モデル式(1)において、k(M)は画像座標上の動き場（動きベクトル場）Mによって定まるボケを表すカーネル関数であり、*は畳込み演算であり、A〜は、圧縮アーティファクトによる画素値変化を画像座標上のマップとして与えたものである。P及びP[復元]は、各画像の画素分布を行列として与えたものである。第１属性マップAは、上記のA〜を圧縮（縮小）された状態で推定するものであり、第２属性マップBは、上記のk(M)を圧縮された状態で推定するものであり、構造マップSrは、上記のPの圧縮された状態のマップとして抽出されるものである。
【００２４】
本実施形態の学習段階において、第１属性網部11、第２属性網部12及び構造情報網部13はマルチタスク学習を行う構成となっている。統合出力網部14は、このマルチタスク学習を行う各部11,12,13の出力マップを適応的に統合することで、低解像度状態の入力画像Pのクリーン特徴マップHを、劣化（第１属性及び第２属性による劣化）が除去され本来の画像が復元された状態におけるものとして得る。超解像出力網部3ではこの劣化除去されており低解像度状態に対応するクリーン特徴マップHを入力として利用することで、入力画像Pが高解像度化され、且つ、劣化が除去されたものとして出力画像Qを得ることができる。
【００２５】
図２は、第１属性網部11、第２属性網部12及び構造情報網部13の詳細構成（ネットワーク構造）を示す機能ブロック図である。
【００２６】
＜第１属性網部11＞
第１属性網部11は、第１畳込部101、第１活性化部102、第１蒸留網部103、第２畳込部104及び第１加算部105を備える。ここで、第１加算部105は学習段階に利用される構成であり、推定段階においては省略される。
【００２７】
第１畳込部101は、特徴マップF（圧縮された状態での画像の縦幅H、横幅W、チャネル数nとすると、特徴マップFはサイズH×W×nのテンソルで与えられる）に対して所定サイズ、所定種類数、所定ストライド幅の畳込み演算（バイアス項の加算を含み、以下の「畳込み演算」等に関して同様）を行い、これら畳込み結果としてのテンソル量を得て第１活性化部102へと出力する。第１活性化部102は第１畳込部101で得たテンソル量の各要素に対して例えばReLU関数（正規化線形関数）による活性化演算を行い、得られたテンソル量を第１蒸留網部103へと出力する。
【００２８】
第１畳込部101による畳込み演算及び第１活性化部102による活性化演算は、CNNの分野において要素技術（ネットワーク構造の要素構成）として周知のものであり、畳込みのための所定種類数のカーネル関数及び畳込み後に加算するバイアス項に関しては、学習段階において学習して得られたものを推定段階において利用することができる。以下の説明においても同様に「第Ｎ畳込部」及び「第Ｎ活性化部」（Ｎは数字）として畳込み演算（バイアス項の加算を含む）及び活性化演算が行われる機能ブロックを説明するが、詳細は同様であるため重複した説明は省略する。
【００２９】
第１蒸留網部103は図４を参照して後述する蒸留ブロックを用いた処理により、第１活性化部102から得たテンソルを、第１劣化属性（圧縮アーティファクト）がより明らかに抽出された状態のテンソルに変換してから、第２畳込部104へと出力する。第２畳込部104では第１蒸留網部103から畳込み演算を行って得られるテンソルを第１属性マップAとして統合出力網部14内の第８畳込部401、第９畳込部403、第１乗算部405及び第３加算部408へと出力する。
【００３０】
なお、学習段階において、第２畳込部104で得られた第１属性マップAはさらに第１加算部105にも出力され、且つ、第１畳込部101で得られたテンソルは第１加算部105にも出力される。学習段階において、第１加算部105は第１畳込部101から得たテンソルと第２畳込部から得た第１属性マップAを加算したテンソルA^を得て、コスト関数を評価するための対象として出力する。
【００３１】
＜第２属性網部12＞
第２属性網部12は、第３畳込部201、第３活性化部202、第２蒸留網部203、第４畳込部204及び第２加算部205を備える。これらはそれぞれ、対応する符号を付してある第１属性網部11に備わる第１畳込部101、第１活性化部102、第１蒸留網部103、第２畳込部104及び第１加算部105と同様であるため、重複した説明は省略する。すなわち、第１属性網部11及び第２属性網部12は共通のネットワーク構造となっており、枠組みとしては共通の処理を行うが、学習によって得られる畳込み処理等のパラメータが互いに異なることから、結果として互いに異なる画像劣化属性に関するマップ（第１属性マップA及び第２属性マップB）を出力するようになっているものである。
【００３２】
こうして、第４畳込部204で得られたテンソルは、第２属性マップBとして統合出力網部14内の第８畳込部401、第９畳込部403、第１乗算部405及び第３加算部408へと出力される。
【００３３】
また同様に、学習段階において、第４畳込部204は得られた第２属性マップBはさらに第２加算部205にも出力され、且つ、第３畳込部201で得られるテンソルは第２加算部205にも出力される。学習段階において、第２加算部205は第３畳込部201から得たテンソルと第４畳込部204から得た第２属性マップBを加算したテンソルB^を得て、コスト関数を評価するための対象として出力する。
【００３４】
＜構造情報網部13＞
構造情報網部13は、第５畳込部301、第５活性化部302、残差網部303、第６畳込部304及び第７畳込部305を備える。第５畳込部301及び第５活性化部302では、特徴マップFに対して畳込み処理及び活性化処理を行って得たテンソルを残差網部303へと出力する。残差網部303は図３を参照して後述する残差ブロックを用いた処理により、第５活性化部302から得たテンソルをさらに圧縮したものとしてのテンソルを得て第６畳込部304へと出力する。
【００３５】
第６畳込部304及び第７畳込部305ではこの順番でそれぞれ畳込み処理を行い、得られたテンソルを構造マップSrとして統合出力網部14内の第８畳込部401、第９畳込部403及び第１０畳込部406へとそれぞれ出力する。
【００３６】
＜抽出網部10及び構造情報網部13の要素としての残差ブロック部40＞
図３は、残差網部303の構成要素である残差ブロック部のネットワーク構造を示す機能ブロック図である。残差ブロック部40は、第４加算部41、第１１畳込部42、第１１活性化部43、第１２畳込部44、第５加算部45及び第１２活性化部46を備える。
【００３７】
残差網部303は、図３の残差ブロック部40を複数、例えば４個だけ直列に接続したものとして構成することができる。なお、抽出網部10も同様に、図３の残差ブロック部40を複数、直列に接続したものとして構成することができる。残差ブロック部40の構成に関しては、線L10として示されるように、その途中に畳込み処理（第１１畳込部42及び第１２畳込部44によるもの）をスキップ（バイパス）して加算処理を行う残差ブロック構造を設けることにより、結果として学習されるネットワーク（スキップしない部分、図３で第１２畳込部44の出力箇所に相当）が残差を出力するようにする、ResNet（残差ネット）の構成を踏襲するものである。なお、ResNetに関しては以下の非特許文献4A等で開示されており、ネットワーク層の深さを増やしても効率的に学習可能で推定精度も高いものとして知られている。
[非特許文献4A] K. He, X. Zhang, S. Ren, and J. Sun, "Deep residual learning for imagerecognition," in Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 770-778, 2016.
【００３８】
図３に示される通り、残差ブロック部40の各部の処理は次の通りである。第４加算部41は以下の非特許文献4B等に開示され、学習効率化と深層化とに効果のあることが知られている層間スキップによる加算処理を行うために利用される構成であり、省略することも可能である。第４加算部41を省略した場合は、現在の残差ブロック部40が第k層目（k≧2）である場合に、線L0に示されるように１つ手前の第k-1層以前の残差ブロック部40の出力のみが、第１１畳込部42及び第５加算部45と入力される。第４加算部41を利用する場合には、第４加算部41において線L0で示される１つ手前のk-1層目の残差ブロック部40の出力と、線L1で示される２つ手前のk-2層目（k≧3）以前の１つ以上の残差ブロック部40（1層目、2層目、…、k-3層目、k-2層目の残差ブロック部40）の出力と、を加算したうえで、この加算結果を第１１畳込部42及び第５加算部45へと出力する。以上のように、第４加算部41を利用してまたは省略して得られるテンソルに対して第１１畳込部42、第１１活性化部43及び第１２畳込部44でこの順番に畳込み演算、活性化演算、畳込み演算を行い、得られるテンソルを第５加算部45へと出力する。
[非特許文献4B] G. Huang, Z. Liu, L. Van Der Maaten, and K. Q. Weinberger, "Densely connected convolutional networks.," in CVPR, vol. 1, p. 3, 2017.
【００３９】
第５加算部45は、この残差ブロック部40に入力されたテンソル（第１１畳込部42への入力テンソル）と、第１２畳込部44が出力したテンソルとを加算して、第１２活性化部46へと出力する。第１２活性化部46は、第５加算部45が得たテンソルを活性化演算することで、この残差ブロック部40からの出力とする。以上の残差ブロック部40での処理は第４加算部41（層間スキップ）を省略した場合、以下の式(2)のように表すことができる。
【００４０】
【数１】
2020149530.tif 000003
【００４１】
式(2)において、fct,k,in及びfct,k,outはk層目の残差ブロック部40での入力及び出力でああり、第４加算部41（層間スキップ）を省略することから、「fct,k,in=fct,k-1,out」（k層目の入力はその1つ手前のk-1層目の出力に等しい）という関係がある。第１式目のWct,k,in及びbct,k,outはそれぞれ、第１１畳込部42が利用するカーネル及びバイアスである。第２式目のWct,k,mid及びbct,k,midはそれぞれ、第１２畳込部44が利用するカーネル及びバイアスである。第１式目の左辺fct,k,midは残差ブロック部40内での中間出力としての第１１活性化部43の出力であり、第２式目の左辺fct,k,outは残差ブロック部40からの最終出力としての第１２活性化部46の出力である。
【００４２】
第５加算部45による加算処理は、式(2)の第２式の右辺ReLU関数内の引数（すなわち、第１２活性化部46への入力データ）における第１２畳込部44の出力である「Wct,k,mid*fct,k,mid+bct,k,mid」と、線L10により残差ブロック構造でスキップされた「fct,k,in」とを加算することとして表現される。
【００４３】
なお、第４加算部41（層間スキップ）を利用する場合は、式(2)の第１式及び第２式の右辺内のReLU関数内に含まれるfct,k,inを共に、第４加算部41による加算を経たものとすればよい。
【００４４】
＜第１属性網部11及び第２属性網部12の要素としての蒸留ブロック部50＞
図４は、第１属性網部11の第１蒸留網部103（及びこれと同様のネットワーク構成である第２属性網部12の第２蒸留網部203）の構成要素である蒸留ブロック部50のネットワーク構成を示す機能ブロック図である。第１蒸留網部103（及び第２蒸留網部203）は、蒸留ブロック部50を複数、例えば４個だけ直列に接続したものとして構成することができる。
【００４５】
なお、図４に示されるような蒸留それ自体に関しては、前掲の非特許文献１や以下のような非特許文献５においても利用されている。蒸留とは、特徴抽出（feature extraction）に次いで特徴増強（feature enhancement）を行うことをいう。
[非特許文献５] K. Yu, C. Dong, C. C. Loy, and X. Tang, "Deep convolution networks for compression artifacts reduction," arXiv preprint arXiv:1608.02778, 2016.
【００４６】
蒸留ブロック部50は、第１分離部51、第１３畳込部52、第１３活性化部53、第１４畳込部54、第１４活性化部55、第２分離部56、第１５畳込部57、第１５活性化部58、第１６畳込部59、第１６活性化部60及び第５加算部61を備える。
【００４７】
第１分離部51では入力特徴（入力テンソル）を所定比率（r:1-r）に分割して第５加算部61及び第１３畳込部52へと出力する。一実施形態では、r=1/3として、入力テンソルを1/3倍したテンソルを第５加算部61へと出力し、2/3倍したテンソルを第１３畳込部52へと出力することができる。
【００４８】
第１分離部51から得られるテンソルに対して、第１３畳込部52、第１３活性化部53、第１４畳込部54及び第１４活性化部55ではそれぞれこの順番に、畳込み演算、活性化演算、畳込み演算、活性化演算、を行うことにより、得られたテンソルを第２分離部56へと出力する。なお、これらのうち前半側の第１３畳込部52及び第１３活性化部53が特徴抽出を行い、後半側の第１４畳込部54及び第１４活性化部55が特徴増強を行っていることにより、結果として、第１分離部51から第２分離部56へと至るパス（経路）において蒸留処理が行われている。
【００４９】
第２分離部56では第１４活性化部55から得られる入力テンソルを所定比率(r:1-r)に分割して第５加算部61及び第１５畳込部57へと出力する。一実施形態では、r=1/2として、入力テンソルを1/2倍したテンソルを第５加算部61へと出力し、1/2倍したテンソルを第１５畳込部57へと出力することができる。
【００５０】
第２分離部56から得られるテンソルに対して、第１５畳込部57、第１５活性化部58、第１６畳込部59及び第１６活性化部60ではそれぞれこの順番に、畳込み演算、活性化演算、畳込み演算、活性化演算、を行うことにより、得られたテンソルを第５加算部61へと出力する。第１３畳込部52等に関して説明したのと同様に、これらのうち前半側の第１５畳込部57及び第１５活性化部58が特徴抽出を、後半側の第１６畳込部59及び第１６活性化部60が特徴増強を行うことで、結果としてこのパスにおいて蒸留処理が行われている。
【００５１】
第５加算部61では、線L2,L3,L4としてそれぞれ示すように、第１分離部51から得られるテンソル（線L2）と、第２分離部56から得られるテンソル（線L3）と、第１６活性化部60から得られるテンソルと、を加算することにより、この蒸留ブロック部50での出力を得る。なお、畳込み演算が多いほど画像内の全体的な特徴（ここでは、劣化に関する特徴）が得られ、少ないほど画像内の局所的な特徴が得られるという関係がある。従って、相対的に、線L2は局所スケール特徴であり、線L3は中間スケール特徴であり、線L4は全体スケール特徴を得たものに相当する。本実施形態では、第５加算部61では、これら３段階のスケールの特徴を均一に（第１分離部51及び第２分離部56の分離比率によりそれぞれ1/3だけ）抽出したテンソルを得ることができる。
【００５２】
なお、第５加算部61で加算していることから明らかなように、蒸留ブロック部50内の畳込み演算においてはテンソルのサイズは変わらない。
【００５３】
また、蒸留ブロック部50の図４とは別の実施形態として、分離部による階層構造の個数を変更することで、蒸留処理を適用したうえで、任意のＮ（Ｎ≧２）段階での画像内スケールにおいて特徴を均一に抽出し、これらを加算したテンソルを得るようにすることも可能である。なお、図４の実施形態では２個の分離部（第１分離部51及び第２分離部56）により、蒸留なし（線L2の局所スケール）、蒸留１回（線L3の中間スケール）、蒸留２回（線L4の全体スケール）によるＮ=３段階での画像内スケールで特徴を抽出している。
【００５４】
＜統合出力網部14＞
図２に示されるように、統合出力網部14は、第８畳込部401、第８活性化部402、第９畳込部403、第９活性化部404、第１乗算部405、第１０畳込部406、第１０活性化部407及び第３加算部408を備えることにより、構造マップSrから第１属性マップA（圧縮アーティファクトのマップ）及び第２属性マップB（動きボケのマップ）の劣化影響を除外して本来の画像マップへとクリーン化（復元）したものとして、クリーン特徴マップHを得る。
【００５５】
図２の実施形態では、統合出力網部14では以下の非特許文献６等に開示されるゲート付き回帰ユニット（GRU、Gated Recurrent Unit）を利用することにより、第１属性マップA及び第２属性マップBの劣化影響を適応的に判断して、構造マップSrをクリーン化したものとしてクリーン特徴マップHを得ている。
[非特許文献６] J. Chung, C. Gulcehre, K. Cho, and Y. Bengio, "Empirical evaluation of gated recurrent neural networks on sequence modeling," arXiv preprint arXiv:1412.3555, 2014.
【００５６】
具体的に図２に示されるように、第８畳込部401は、入力される第１属性マップA、第２属性マップB及び構造マップSrのそれぞれに畳込み演算を行ったうえでこれらを加算したテンソルを第８活性化部402へと出力する。第８活性化部402は、第８畳込部401から入力されたテンソルに活性化演算を行って得られるテンソルrを第１乗算部405へと出力する。
【００５７】
第９畳込部403は、入力される第１属性マップA、第２属性マップB及び構造マップSrのそれぞれに畳込み演算を行ったうえでこれらを加算したテンソルを第９活性化部404へと出力する。第９活性化部404は、第９畳込部403から入力されたテンソルに活性化演算を行って得られるテンソルｚを第３加算部408へと出力する。
【００５８】
第１乗算部405は、第８活性化部402から得られるテンソルrを、入力される第１属性マップA及び第２属性マップBに対してそれぞれ乗じた積r○A及びr○B（テンソル）を得て、これらを第１０畳込部406へと出力する。第１０畳込部406は、第１乗算部405から得られる積r○A及びr○Bと、入力される構造マップSrと、の３つのテンソルに対してそれぞれ畳込み演算を行ったうえで加算し、得られたテンソルを第１０活性化部407へと出力する。第１０活性化部407は第１０畳込部406から得たテンソルに活性化演算を行って得られるテンソルH^を第３加算部408へと出力する。
【００５９】
なお、上記において「○」は対応要素ごとの積（行列の場合のアダマール積）であり、例えば積r○Aとは、テンソルrとテンソルAとの同じ位置にある要素同士を積算して得られるテンソルを表している。
【００６０】
第３加算部408は、第９活性化部から得られるテンソルzを加算のための適応的な重み係数として利用することにより、入力される第１属性マップA及び第２属性マップBの和と、第１０活性化部407から得られるテンソルH^と、の重みづけ和を算出することで、統合出力網部14からの最終的な出力としてクリーン特徴マップHを得る。
【００６１】
以上の統合出力網部14の各部の処理は、以下の式(3)としてまとめることができる。
【００６２】
【数２】
2020149530.tif 000004
【００６３】
すなわち、式(3)の第１式は第８活性化部402の出力rを表しており、右辺の活性化関数としてのReLU関数の引数が、第８畳込部401で得る３つの畳込み演算の和であり、Wr,Ur,Vrはこの畳込み演算でA,B,Srにそれぞれ適用されるカーネルであり、学習されるパラメータである。また、式(3)の第２式は第９活性化部404の出力zを表しており、右辺の活性化関数としてのσ関数（シグモイド関数）の引数が、第９畳込部403で得る３つの畳込み演算の和であり、Wz,Uz,Vzはこの畳込み演算でA,B,Srにそれぞれ適用されるカーネルであり、学習されるパラメータである。
【００６４】
また、式(3)の第３式は第１０活性化部407の出力H^を表しており、右辺の活性化関数としてのtanh関数（ハイパボリックタンジェント（双曲線正接）関数）の引数が、第１０畳込部406で得る３つの畳込み演算の和であり、Wh,Uh,Vhはこの畳込み演算でSr,積r○A,積r○Bにそれぞれ適用されるカーネルであり、学習されるパラメータである。ここで積r○A及び積r○Bは第１乗算部405から得られる。
【００６５】
さらに、式(3)の第４式は、第３加算部408でクリーン特徴マップHを重み付け和として得ることを表しており、和A+Bに対する重みが(1-z)であり、H^に対する重みがzである。この重み(1-z)における1は、テンソルであり、カーネル関数として、その位置の値をそのまま出力することで、恒等演算としての畳込み演算を実現ものである。
【００６６】
なお、以上の統合出力網部14においては、GRU（ゲート付き回帰ユニット）を次のように利用している。すなわち、GRUはゲート機構により異なるスケールにあると考えられる特徴を適応的に融合させることで、効率的な処理を可能とするものであり、本実施形態においては、GRUの手法を、異なる空間スケールにあると考えられるA,B,Srを適応的に統合（融合）させるために利用している。
【００６７】
具体的に、式(3)の第１式でA,B,Srを融合してリセットゲートr（情報を忘却する程度を定めるゲート）を求め、第２式でA,B,Srを融合して更新（アップデート）ゲートz（情報を保持する程度を定めるゲート）を求めている。第３式によりリセットゲートrを用いて現在ステップのメモリ状態H^を計算し、第４式により次ステップ（超解像出力網部3）に引き継ぐメモリ状態Ｈを計算する。（通常のGRUでは各時刻tの状態h(t)を、「h(t-1)→h(t)→h(t+1)」といったように何ステップも繰り返して更新して求めていくのに対し、本実施形態の統合出力網部14においては、式(3)の第３及び第４式の計算を１回のみ行うことにより、この更新を１ステップのみ実施することで、統合されクリーン化されたものとしての状態（マップ）Hを得ている。）
【００６８】
＜超解像出力網部3＞
図５は、超解像出力網部3のネットワーク構成を示す機能ブロック図である。超解像出力網部3は、第１７畳込部31、第１７活性化部32、第１８畳込部33、チャネル係数算出部34、空間係数算出部35、積算結合部36及び超解像部37を備え、入力されるクリーン特徴マップHから画像処理装置1での最終的な出力として、入力画像Pが高解像度化され、且つ、画像劣化（第１劣化属性及び第２劣化属性による劣化）状態がクリーン化され復元された画像としての高解像度画像Qを出力する。
【００６９】
第１７畳込部31、第１７活性化部32及び第１８畳込部33では、入力されるクリーン特徴マップHに対してこの順番で畳込み演算、活性化演算及び畳込み演算を行い、得られたテンソルUをチャネル係数算出部34、空間係数算出部35及び積算結合部36へと出力する。
【００７０】
チャネル係数算出部34では、チャネルでの平均ベクトルを求めたうえでこの平均ベクトルに畳込み演算及び活性化演算を行うことで、入力されるテンソルU（画像（マップ情報）としての縦幅h、横幅w、チャネル数CによりテンソルUのサイズがh×w×Cであるものとする）のC個のチャネルのアテンション係数α（サイズ1×1×Cのテンソルα）を算出し、この係数αを積算結合部36へと出力する。
【００７１】
具体的に、テンソルUのチャネルのc番目(c=1,2,…,C)を切り出したサイズh×wの画像（マップ情報）におけるこの合計h×w個の画素値（マップ値）の平均値をzcとすると、これを並べた平均ベクトルz=(z1,z2,…,zC)に対して所定のカーネルによる畳込み演算（その後のバイアス係数の加算も含む）を行ったものとして、係数αを得ることができる。（なお、この説明におけるベクトルzは、第９活性化部404から得る重みzとは別のものである。）この畳込み演算のパラメータは学習によって得られる。
【００７２】
空間係数算出部35では、画像（マップ情報）としての平均画像を求めたうえでこの平均画像に畳込み演算及び活性化演算を行うことで、入力されるテンソルU（上記と同じく、テンソルUのサイズが画像（マップ情報）としての縦幅h、横幅w、チャネル数Cによりh×w×Cであるものとする）の、サイズh×wとなる空間のアテンション係数β（サイズh×w×1のテンソルβ）を算出し、この係数βを積算結合部36へと出力する。
【００７３】
具体的に、テンソルUのチャネルのc番目(c=1,2,…,C)を切り出したサイズh×wの画像（マップ情報）がvcであるものとし、これらC個の画像vcの平均画像v（異なるチャネル間の同じ画素位置(i,j)においてC個の画素平均を求めた画像v）を求め、この平均画像に対して所定のカーネルによる畳込み演算（その後のバイアス係数の加算も含む）を行ったものとして、係数βを得ることができる。この畳込み演算のパラメータは学習によって得られる。
【００７４】
積算結合部36は、テンソルUの各要素に対してチャネル係数α及び空間係数βの対応する値を乗じたものとしてテンソルWを得て、超解像部37へと出力する。具体的に、サイズh×w×CのテンソルUの位置(i,j,c)（1≦i≦h,1≦j≦w,1≦c≦C）の要素の値をU(i,j,c)とし、同位置のテンソルWの要素の値をW(i,j,c)とし、チャネル係数αのc番目(1≦c≦C)の要素の値をα(c)とし、空間係数βの位置(i,j)（1≦i≦h,1≦j≦w）の要素の値をβ(i,j)とすると、以下の式(4)でテンソルUからテンソルWを得ることができる。
W(i,j,c)=α(c)×β(i,j)×U(i,j,c)      …(4)
【００７５】
なお、アテンション係数（注目度係数）の利用それ自体は、ネットワーク性能を向上させる手法として、例えばチャネル単独に関して以下の非特許文献７に開示されている。
[非特許文献７] Y. Zhang, K. Li, K. Li, L. Wang, B. Zhong, and Y. Fu, "Image superresolution using very deep residual channel attention networks," in TheEuropean Conference on Computer Vision (ECCV), September 2018.
【００７６】
本実施形態においては特に、チャネルや空間のいずれか単独ではなく、チャネル係数算出部34及び空間係数算出部35によるチャネルのアテンション係数αと、空間のアテンション係数βとの両方を合わせて利用し、積算結合部36においてこれら両係数α、βを反映したテンソルWを得ることにより、ネットワーク性能のさらなる向上が期待される。
【００７７】
なお、以上の説明ではアテンション係数α及びβを平均値として求めたが、平均値に限らず、その他の任意種類の統計的な代表値（中央値、最頻値など）としてα及びβを求めるようにしてもよい。
【００７８】
超解像部37は、積算結合部36から得られるテンソルWに対してサブピクセル単位で定義されている畳込み演算（バイアス係数の加算も含む）を適用して得られるテンソルVの各要素を並び変えることにより、高解像度となった画像Qを得る。超解像部37の処理は、以下の非特許文献８に開示されるものと同じものを利用することができる。
[非特許文献８] W. Shi, J. Caballero, F. Husz´ar, J. Totz, A. P. Aitken, R. Bishop, D. Rueckert, and Z. Wang, "Real-time single image and video superresolution using an efficient sub-pixel convolutional neural network," in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 1874-1883, 2016.
【００７９】
具体的に、テンソルW（サイズh×w×C）に対してr(r>1)倍の超解像を行うためにサブピクセルの畳込み演算（パラメータは学習しておく）を行ってテンソルV(サイズh×w×(C*r2))が得られたとすると、上記文献と同様に、以下の式(5)により、テンソルVの位置(x,y,c)の要素V(x,y,c)に基づいて、これを並べ替えたものとして、画像Qの位置(x,y,c)の要素Q(x,y,c)を以下のように得ることができる。
Q(x,y,c)=V(floor(x/r),floor(y/r),C*r*mod(y,r)+C*mod(x,r)+c)      …(5)
上記においてfloor(・)は床関数であり、その引数である「・」以下の最大整数を返す関数である。mod(a,b)はaをbで割った剰余を返す関数である。
【００８０】
以上の、画像処理装置1の推定段階に関する一実施形態によれば、抽出網部10が共有されている復元抽出部2において効率的に入力画像Pにおける劣化（第１劣化属性及び第２劣化属性による劣化）をクリーン化したクリーン特徴マップHを得て、これを超解像出力網部3において効率的に高解像度画像Qとすることができる。特に、超解像出力網部3の最終段である超解像部37以前の部分までは全て、低解像度状態において処理が行われるため、小さなサイズのネットワーク構成によって高速に超解像処理を行うことが可能である。
【００８１】
＜学習段階に関して＞
図６は、一実施形態に係る画像処理装置1の各パラメータを学習する方法のフローチャートである。図示するように、ステップS1において第１属性網部11及び第２属性網部12のパラメータの学習を行ってから、ステップS2において残りの部分である抽出網部10、構造情報網部13、統合出力網部14及び超解像出力網部3のパラメータの学習を行うという、２段階の手法で学習を行うことができる。学習の際のコスト関数は以下の式(6)で与えられる。
【００８２】
【数３】
2020149530.tif 000005
【００８３】
式(6)において、第１式のA^は既に説明した通り、第１加算部105（学習段階でのみ利用される）の出力であり、Agは学習データとして与えておくA^に対する正解テンソル（正解画像）であり、「||・||22」はその引数「・」のノルム２乗（各成分の２乗和）であってその他の式についても同様であり、Lde-artは、第１劣化属性（圧縮アーティファクト）を評価する、主として第１属性網部11に対応するコスト関数である。また、式(6)において、第２式のB^は既に説明した通り、第２加算部205（学習段階でのみ利用される）の出力であり、Bgは学習データとして与えておくB^に対する正解テンソル（正解画像）であり、Lde-blurは、第２劣化属性（動きボケ）を評価する、主として第２属性網部12に対応するコスト関数である。
【００８４】
また、式(6)において、第３式及び第４式のS^は超解像出力網部3の出力画像（以上の説明における、高解像度化された画像Qに相当）であり、Sgは学習データとして与えておくS^に対する正解画像であり、「E(・)」はその引数「・」に対するハイパスフィルタ出力であり、Lhp及びLsrは、主として超解像出力網部3（及びその前段側の各部）に対応するコスト関数である。ここで、Lsrのみでなくハイパスフィルタ出力を介したLhpも利用することにより、超解像処理の際の細部がより鮮明に復元されるような学習結果が得られることが期待される。
【００８５】
なお、学習データAgは、低解像度に対応する状態で第１劣化属性（圧縮アーティファクト）の劣化が除去された状態に対応するものとして用意しておき、学習データBgは、低解像度に対応する状態で第２劣化属性（動きボケ）の劣化が除去された状態に対応するものとして用意しておき、学習データSgは、高解像度化され且つ第１劣化属性（圧縮アーティファクト）及び第２劣化属性（動きボケ）による劣化が除去された状態に対応するものとして用意しておけばよい。これら学習データは前述の式(1)のモデルを用いて用意するようにしてもよい。
【００８６】
そして、式(6)において、第５式が以上の第１〜第４式で定義される個別のコスト関数の重みづけ和としての全体でのコスト関数Lallである。α1,α2,α3は事前設定しておく重みである。以下、図６の各ステップの詳細を順に説明する。各ステップの学習それ自体は既存の誤差逆伝播法の枠組み内で行い、所定のエポック数だけパラメータ更新を繰り返した結果を学習結果として採用すればよい。
【００８７】
＜ステップS1（学習段階の１段階目）＞
ステップS1では、第１属性網部11及び第２属性網部12のパラメータの学習を行う。具体的に、統合出力網部14のパラメータに固定値を設定したうえで、すなわち、式(3)の第１式の活性化関数の引数にある第８畳込部401の３つの畳込み演算パラメータWr,Ur,Vrと、第２式の活性化関数の引数にある第９畳込部403の畳込み演算パラメータWz,Uz,Vzと、第３式の活性化関数の引数にある第１０畳込部406の３つの畳込み演算パラメータWh,Uh,Vhと、に固定値を設定したうえで、式(5)の第５式の全体コスト関数Lallを最小化するものとして、第１属性網部11及び第２属性網部12のパラメータと、統合出力網部14以外の残りの部分のネットワークである抽出網部10、構造情報網部13及び超解像出力網部3のパラメータと、を学習する。（なお、これら残りの部分と統合出力網部14のパラメータとは、次のステップS2での学習結果を最終的な結果として採用する。）
【００８８】
なお、統合出力網部14に設定する固定値は例えば1（カーネル関数として、その位置の値をそのまま出力する関数）を設定することにより、第８畳込部401、第９畳込部403及び第１０畳込部406の畳込み演算において、畳込みがなされたテンソルが畳込み前の値から変化しないように設定してよい。
【００８９】
＜ステップS2（学習段階の２段階目）＞
ステップS1では、ステップS1で得られた第１属性網部11及び第２属性網部12のパラメータは固定値として、すなわち、学習結果として既に確定したものとして利用して、残りの部分のネットワークである抽出網部10、構造情報網部13、統合出力網部14及び超解像出力網部3のパラメータを学習する。ここで、固定値として設定して学習するためには、第１属性網部11及び第２属性網部12に関して誤差逆伝搬法（バック・プロパゲーション）における勾配をゼロとして設定し、且つ、式(5)の第５式の全体コスト関数Lallにおいて第１属性網部11及び第２属性網部12に関連する係数α1及びα2を共にゼロとすればよい。
【００９０】
以上、本発明の一実施形態によれば、同時に圧縮アーティファクト（第１劣化属性）及び動きボケ（第２劣化属性）を除去しながら超解像度を実現することにより、高品質の画像を生成することができる。ここで、相互に統合された一つのネットワークのみを使っているため、計算量を抑制して効率的に高品質の高解像度画像を得ることができる。さらに、このような効率的な推定段階を実現するための学習段階に関しても、段階的な学習を行うことにより、収束しやすい効率的な学習が可能である。
【００９１】
図７及び図８は、本発明の一実施形態に即した手法の効果（推定段階のもの）を既存手法（単一の既存手法又は複数の既存手法の組み合わせ）との対比で示すグラフである。図７は、横軸をネットワークのパラメータ数（Number of parameters、単位K=1000）、縦軸をネットワーク性能としての入力画像及び出力画像のピーク信号対雑音比（PSNR、単位dB）として、各手法の性能をパラメータ数との対比でプロットしたものである。図中「本手法」(Ours)として示す本発明の手法は比較的少ないパラメータ数で高品質な超解像処理を実現することが見て取れる。図８は、横軸を推定段階に要する計算時間（Time Complexity、単位s=秒）、縦軸を図７と同じく入力画像及び出力画像のピーク信号対雑音比として、各手法の性能を計算時間との対比でプロットしたものである。図中「本手法」(Ours)として示す本発明の手法は比較的少ない計算時間で高品質な超解像処理を実現することが見て取れる。
【００９２】
なお、図７及び図８に示される対比対象としての既存手法（単一又は複数の組み合わせの各々）は、圧縮アーティファクト除去手法としてARCNN（前掲の非特許文献１）、動きボケ除去手法としてDeepDeblur（以下の非特許文献９）及びDeblurGAN（以下の非特許文献１０）、超解像手法としてEDSR（前掲の非特許文献３）及びRDN（以下の非特許文献１１）、劣化復元及び超解像の複合手法としてSRMD（以下の非特許文献１２）である。
[非特許文献９] S. Nah, T. H. Kim, and K. M. Lee, "Deep multi-scale convolutional neural network for dynamic scene deblurring," in CVPR, vol. 1, p. 3, 2017.
[非特許文献１０] O. Kupyn, V. Budzan, M. Mykhailych, D. Mishkin, and J. Matas,"Deblurgan: Blind motion deblurring using conditional adversarial networks," in The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2018.
[非特許文献１１] Y. Zhang, Y. Tian, Y. Kong, B. Zhong, and Y. Fu, "Residual dense network for image super-resolution," in The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2018.
[非特許文献１２] K. Zhang,W. Zuo, and L. Zhang, "Learning a single convolutional super-resolution network for multiple degradations," in IEEE Conference on Computer Vision and Pattern Recognition, vol. 6, 2018.
【００９３】
以下、各事項に関する補足説明等を行う。
【００９４】
（１）本発明の応用的利用として、劣化が発生している低解像度の画像を劣化除去して且つ高解像度化した画像に対して、所定の解析処理を行うようにすることが可能である。図９は、一実施形態に係るこのような応用的利用を可能とする画像処理装置1の機能ブロック図であり、画像処理装置1は図１等で示したのと同様の復元抽出部2及び超解像出力網部3に追加してさらに、解析部4を備える。入力画像P（映像内の各時刻のフレーム画像でもよい）に対して、復元抽出部2及び超解像出力網部3によってクリーンな高解像度画像Qを得たうえで、解析部4ではこの高解像度画像Qに対して所定の解析処理を行い、解析結果を出力することができる。
【００９５】
例えば、解析部4は以下の非特許文献１３に開示され、OpenPoseとの名称でライブラリが利用可能となっている姿勢推定処理を適用することで、画像Q内に人物等が存在する場合に、その骨格関節位置を解析結果として得るようにしてもよい。低解像度且つ劣化している入力画像Pにおいては姿勢推定処理が困難である場合であっても、クリーンな高解像度画像Qにおいて姿勢推定処理が可能となる。
[非特許文献１３] Cao, Zhe, et al. "Realtime multi-person 2d pose estimation using part affinity fields." CVPR2017(2017).
【００９６】
（２）画像処理装置1における第１活性化部102やその他の任意の「第Ｎ活性化部」（Ｎは数字）における活性化処理に関して、ReLU関数（正規化線形関数）等で活性化演算を行った後にさらに、以下の非特許文献１４等に開示されるバッチ正規化処理を行うようにしてもよい。学習段階においてはミニバッチごとに正規化し、推定段階においては入力画像Qとして想定される画像群に対応する正規化を行えばよい。
[非特許文献１４] Ioffe, Sergey, and Christian Szegedy. "Batch normalization: Accelerating deep network training by reducing internal covariate shift." arXiv preprint arXiv:1502.03167 (2015).
【００９７】
（３）事前知識により入力画像Pに第１劣化属性（圧縮アーティファクト）または第２劣化属性（動きボケ）のうちのいずれかが存在しないことがわかっている場合、画像処理装置1に対するユーザ入力による指示等により、対応する処理を行う第１属性網部11または第２属性網部12の計算を省略させるようにしてもよい。例えば、デジタルカメラ撮影され圧縮されることなく画像バッファに保持されている状態として入力画像Pを利用する場合、第１劣化属性（圧縮アーティファクト）がないことが既知であるため、第１属性網部11の処理を省略してよい。この場合、前述の式(3)から明らかなように、統合出力網部14は、第１属性網部11から出力されるべき第１属性マップAとして、テンソルの要素の値が全てゼロであるダミーデータを利用することで、第１属性網部11の処理が省略されない場合と全く同様に動作することが可能である。
【００９８】
このようにして、第１劣化属性または第２劣化属性のいずれかによる劣化が入力画像Pに存在しない場合には、その旨のユーザ指定等を受けることで不要な処理を省略して計算量を削減し、且つ、入力画像Pに存在するもう一方の属性の劣化をクリーン化した高解像度画像Qを得ることが可能となる。第１劣化属性及び第２劣化属性の両方が存在しない場合、同様にして両方の処理（第１属性網部11及び第２属性網部12）を省略してよい。
【００９９】
（４）以上の説明では画像処理装置1の復元抽出部2には第１劣化属性に関する第１属性網部11及び第２劣化属性に関する第２属性網部12が備わるものとしたが、さらに同様にして、第３劣化属性に関する第３属性網部（不図示）、第４劣化属性に関する第４属性網部（不図示）といったような任意個数の属性網部が追加されて、復元抽出部2の抽出網部10と統合出力網部14との間に並列で存在する構成も可能である。追加される第３属性網部や第４属性網部などのネットワーク構造は、第１属性網部11及び第２属性網部12と同様の構造を採用することができる。
【０１００】
この場合、統合出力網部14も式(3)を任意個数の劣化属性の場合に拡張したものとして利用することで、同様に動作することができる。例えば第３劣化属性の第３属性マップC（このCは前述のチャネル数とは異なる）及び第４劣化属性の第４属性マップDを追加で利用する場合、式(3)の第４式は以下のように拡張することができる。第１〜第３式も同様に拡張すればよい。
H=(1-z)(A+B+C+D)+zH^
【０１０１】
（５）第１劣化属性は圧縮アーティファクト、第２劣化属性は動きボケとして説明したが、その他の任意の画像劣化属性、例えば、白飛び（一定範囲に収まるもの）、黒潰れ（一定範囲に収まるもの）、露出不足によるノイズ、焦点ボケなどを第１劣化属性及び第２劣化属性としてもよい。上記（４）の場合のように第３劣化属性等の３つ以上の劣化属性を扱う場合も同様である。
【０１０２】
（６）復元抽出部2で得たクリーン化された特徴マップHは、超解像出力網部3において超解像処理のために利用するものとして説明したが、その他の利用も可能である。例えば、超解像出力網部3とは別のCNN網に入力して、入力画像Pの物体認識結果を得るようにしてもよい。また、超解像出力網部3において、高解像度化するのではなく、入力画像Pと同じ解像度の画像を得るようにしてもよい。
【０１０３】
（７）図１０は、一般的なコンピュータ装置70におけるハードウェア構成を示す図であり、画像処理装置1はこのような構成を有する１台以上のコンピュータ装置70として実現可能である。コンピュータ装置70は、所定命令を実行するCPU（中央演算装置）71、CPU71の実行命令の一部又は全部をCPU71に代わって又はCPU71と連携して実行する専用プロセッサ72（GPU（グラフィック演算装置）や深層学習専用プロセッサ等）、CPU71や専用プロセッサ72にワークエリアを提供する主記憶装置としてのRAM73、補助記憶装置としてのROM74、通信インタフェース75、ディスプレイ76及びカメラ77と、これらの間でデータを授受するためのバスBと、を備える。
【０１０４】
画像処理装置1の各部は、各部の機能に対応する所定のプログラムをROM74から読み込んで実行するCPU71及び／又は専用プロセッサ72によって実現することができる。ここで、撮影関連の処理が行われる場合にはさらに、カメラ77が連動して動作し、表示関連の処理が行われる場合にはさらに、ディスプレイ76が連動して動作し、データ送受信に関する通信関連の処理が行われる場合にはさらに通信インタフェース75が連動して動作する。
【０１０５】
例えば入力画像Pはカメラ77で取得してもよいし、通信インタフェース75を介してネットワーク上から取得してもよい。超解像出力網部3で得た出力画像Qや、解析部4による解析結果をディスプレイ76において表示するようにしてもよい。２台以上のコンピュータ装置70で画像処理装置1がシステムとして実現される場合、ネットワーク経由で各処理に必要な情報を送受信するようにすればよい。
【符号の説明】
【０１０６】
1…画像処理装置
2…復元抽出部、3…超解像出力網部
10…抽出網部、11…第１属性網部、12…第２属性網部、13…構造情報網部、14…統合出力網部
【図１】
2020149530.tif 000006
【図２】
2020149530.tif 000007
【図３】
2020149530.tif 000008
【図４】
2020149530.tif 000009
【図５】
2020149530.tif 000010
【図６】
2020149530.tif 000011
【図７】
2020149530.tif 000012
【図８】
2020149530.tif 000013
【図９】
2020149530.tif 000014
【図１０】
2020149530.tif 000015