(57)【要約】【課題】性質が異なる複数の画像処理手法を組み合わせて使用する場合に、これらの手法のそれぞれの長所が発揮されるような組み合わせの仕方を提供する。【解決手段】、画像処理装置において、第１の画像生成部は、第１の画像処理手法を用いて、入力画像から第１の画像を生成する。第２の画像生成部は、第２の画像処理手法を用いて、入力画像から第２の画像を生成する。合成比率制御部は、第１の画像と第２の画像とを合成して、出力画像を生成する画像合成部と、第１の画像と第２の画像のピクセルごとの合成比率を制御する。合成比率制御部は、学習に基づいて、第１の画像と第２の画像のピクセルごとの合成比率を決定する。【選択図】図１
2020017229.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像処理手法を用いて、入力画像から第１の画像を生成する第１の画像生成部と、
第２の画像処理手法を用いて、入力画像から第２の画像を生成する第２の画像生成部と、
前記第１の画像と前記第２の画像とを合成して、出力画像を生成する画像合成部と、
前記第１の画像と前記第２の画像のピクセルごとの合成比率を制御する合成比率制御部と、を備え、
前記合成比率制御部は、学習に基づいて、前記第１の画像と前記第２の画像のピクセルごとの合成比率を決定する
ことを特徴とする、画像処理装置。
【請求項２】
前記合成比率制御部は、学習用原画像を変換して作成された学習用の入力画像から生成された出力画像と、該学習用原画像との比較に基づく学習に基づいて、前記第１の画像と前記第２の画像のピクセルごとの合成比率を決定する
ことを特徴とする、請求項１に記載の画像処理装置。
【請求項３】
出力画像は、入力画像より解像度が高い
ことを特徴とする、請求項１または２に記載の画像処理装置。
【請求項４】
前記第１の画像処理手法は、フィルタリングベース手法であり、
前記第２の画像処理手法は、学習ベース手法である
ことを特徴とする、請求項３に記載の画像処理装置。
【請求項５】
前記第１の画像と前記第２の画像のピクセルごとの合成比率を決定するための画像比較の回数をｎ回とし、ｋを１≦ｋ＜ｎを満たす整数としたとき、
前記合成比率制御部は、
１回目からｋ回目までの画像比較では、学習用原画像を変換して作成された学習用の入力画像から生成された第２の画像と、該学習用原画像との比較に基づいて画像比較を実行し、
ｋ＋１回目からｎ回目までの画像比較では、学習用原画像を変換して作成された学習用の入力画像から生成された出力画像と、該学習用原画像との比較に基づいて画像比較を実行する
ことを特徴とする、請求項４に記載の画像処理装置。
【請求項６】
第１の画像処理手法を用いて、入力画像から第１の画像を生成する第１の画像生成ステップと、
第２の画像処理手法を用いて、入力画像から第２の画像を生成する第２の画像生成ステップと、
前記第１の画像と前記第２の画像とを合成して、出力画像を生成する画像合成ステップ  と、
前記第１の画像と前記第２の画像のピクセルごとの合成比率を制御する合成比率制御ステップと、を備え、
前記合成比率制御ステップは、学習に基づいて、前記第１の画像と前記第２の画像のピクセルごとの合成比率を決定する
ことを特徴とする、画像処理方法。
【請求項７】
第１の画像処理手法を用いて、入力画像から第１の画像を生成する第１の画像生成ステップと、
第２の画像処理手法を用いて、入力画像から第２の画像を生成する第２の画像生成ステップと、
前記第１の画像と前記第２の画像とを合成して、出力画像を生成する画像合成ステップと、
前記第１の画像と前記第２の画像のピクセルごとの合成比率を制御する合成比率制御ステップと、をコンピュータに実行させ、
前記合成比率制御ステップは、学習に基づいて、前記第１の画像と前記第２の画像のピクセルごとの合成比率を決定する
ことを特徴とする、画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
単一画像超解像技術で用いられる手法には、フィルタリングベース手法、学習ベース手法、事例ベース手法などがある。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】”Ｅｎｈａｎｃｅｄ  ｄｅｅｐ  ｒｅｓｉｄｕａｌ  ｎｅｔｗｏｒｋｓ  ｆｏｒ  ｓｉｎｇｌｅ  ｉｍａｇｅ  ｓｕｐｅｒ−ｒｅｓｏｌｕｔｉｏｎ”  Ｉｎ ＣＶＰＲ Ｗｏｒｋｓｈｏｐｓ．Ｂｅｅ  Ｌｉｍ、Ｓａｎｇｈｙｕｎ  Ｓｏｎ、Ｈｅｅｗｏｎ  Ｋｉｍ、Ｓｅｕｎｇｊｕｎ  Ｎａｈ、ａｎｄ  Ｋｙｏｕｎｇ  Ｍｕ  Ｌｅｅ．Ｖｏｌ. １, ｐ. ３, ２０１７．https://arxiv.org/pdf/1707.02921.pdf
【発明の概要】
【発明が解決しようとする課題】
【０００４】
単一画像超解像技術は、１枚の解像度の低い低画質画像から、より解像度の高い高画質画像を生成する技術である。
【０００５】
単一画像超解像技術で用いられる手法には、バイキュービック補間（Ｂｉｃｕｂｉｃ  Ｉｎｔｅｒｐｏｌａｔｉｏｎ）などのフィルタリングベース手法、畳み込みニューラルネット（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ、以下「ＣＮＮ」という）などの学習ベース手法、低解像度画像−高解像度画像の多数のペアを用意したデータベスから入力と似た低解像度画像を検索することで高解像度化を行う事例ベース手法などがある。以下に述べる通り、フィルタリングベース手法と学習ベース手法とは、その性質が大きく異なる。
【０００６】
フィルタリングベース手法は、低画質画像の各ピクセルに関し、所定のルールに基づく補間等を行うことにより、ピクセル数の多い拡大画像を作成する。例えば、フィルタリングベース手法の一つであるバイキュービック補間は、低画質画像の各ピクセルに関し、周辺の４×４ピクセル（１６ピクセル）を三次関数で補間することによって、拡大画像を作成する。一般にフィルタリングベース手法は高速計算が可能であり、低周波数領域（画像の一様な部分など）を高精度に推定できるため、従来様々なタイプのものが提案されてきた。反面フィルタリングベース手法には、高周波領域（画像のエッジ部分など）の推定精度が悪いという欠点がある。
【０００７】
一方ＣＮＮなどの学習ベース手法では、原画像と、該原画像を劣化させて作成した低品質画像のペアを多数用意し、両者の対応関係をニューラルネットワークによって学習する。学習ベース手法は、こうして学習した対応関係を低画質画像に適用することにより、高画質画像を生成する。学習ベース手法は、高周波領域を非常に高い精度で推定できるという利点がある。しかしその反面、学習ベース手法には、低周波領域に関してはフィルタリングベースより精度が悪い、あるいは高周波領域においても、過度に高周波成分を強調しようとするためにリンギング（エッジ周辺に元来なかったパターンが副次的に発生する現象）が発生する、といった欠点がある。
【０００８】
このように、フィルタリングベース手法と学習ベース手法とは、低周波領域と高周波領域とにおける推定精度に関し、相補的な関係にある。
そこで、より高精度な推定を実現する目的で、フィルタリングベース手法（具体的には、バイキュービック補間）で得られた結果を、学習ベース手法（具体的には、ＣＮＮ）を用いて補正する技術が提案されている（例えば非特許文献１）。
【０００９】
非特許文献１に記載の技術（ＥｎｈａｎｃｅＮｅｔ）は、先ず低品質画像にバイキュービック補間を適用して拡大画像を作成する。その後、この拡大画像と正解データ（Ｇｒｏｕｎｄ  Ｔｒｕｔｈ）との差分をＣＮＮにより学習する。そして、この学習により得られた差分を先に作成した拡大画像に加算する。これにより、バイキュービック補間の過程で発生した高周波領域における誤差を低減することができる。
【００１０】
しかしながらＥｎｈａｎｃｅＮｅｔには、バイキュービック補間で得られた拡大画像の、低周波領域における品質を逆に劣化させてしまうといった問題がある。これは、ＥｎｈａｎｃｅＮｅｔが、単一画像超解像技術にフィルタリング手法と学習ベース手法を組み合わせて適用するにあたり、それぞれの長所が発揮されるような適用の仕方をしていないことに起因すると考えられる。
【００１１】
このようなことから、本発明者らは、異なる種類の画像処理手法を組み合わせて使用する場合、それぞれの手法の長所が発揮できるような仕方で組み合わせることが本分野における重要な課題であることを認識するに至った。
【００１２】
本発明はこうした状況に鑑みてなされたものであり、その目的は、性質が異なる複数の画像処理手法を組み合わせて使用する場合に、これらの手法のそれぞれの長所が発揮されるような組み合わせの仕方を提供することにある。
【課題を解決するための手段】
【００１３】
上記課題を解決するために、本発明のある態様の画像処理装置は、第１の画像処理手法を用いて、入力画像から第１の画像を生成する第１の画像生成部と、第２の画像処理手法を用いて、入力画像から第２の画像を生成する第２の画像生成部と、第１の画像と第２の画像とを合成して、出力画像を生成する画像合成部と、第１の画像と第２の画像のピクセルごとの合成比率を制御する合成比率制御部と、を備える。合成比率制御部は、学習に基づいて、入力画像に応じて動的に第１の画像と第２の画像のピクセルごとの合成比率を決定する。
【００１４】
本発明の別の態様は、画像処理方法である。この方法は、第１の画像処理手法を用いて、入力画像から第１の画像を生成する第１の画像生成ステップと、第２の画像処理手法を用いて、入力画像から第２の画像を生成する第２の画像生成ステップと、第１の画像と第２の画像とを合成して、出力画像を生成する画像合成ステップと、第１の画像と第２の画像のピクセルごとの合成比率を制御する合成比率制御ステップと、を備える。合成比率制御ステップは、学習に基づいて、第１の画像と第２の画像のピクセルごとの合成比率を決定する。
【００１５】
本発明の更に別の態様は、画像処理プログラムである。このプログラムは、第１の画像処理手法を用いて、入力画像から第１の画像を生成する第１の画像生成ステップと、第２の画像処理手法を用いて、入力画像から第２の画像を生成する第２の画像生成ステップと、第１の画像と第２の画像とを合成して、出力画像を生成する画像合成ステップと、第１の画像と第２の画像のピクセルごとの合成比率を制御する合成比率制御ステップと、をコンピュータに実行させる。合成比率制御ステップは、学習に基づいて、第１の画像と第２の画像のピクセルごとの合成比率を決定する。
【００１６】
なお、以上の構成要素の任意の組合せ、本発明の表現を装置、方法、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１７】
本発明によれば、性質が異なる複数の画像処理手法を組み合わせて使用する場合に、これらの手法のそれぞれの長所が発揮されるような組み合わせを学習により実現することができる。
【図面の簡単な説明】
【００１８】
【図１】第１の実施形態に係る画像処理装置の構成を示す図である。
【図２】図１の画像処理装置に関するそれぞれの画像を示す図である。
【図３】一実施形態に係る画像処理装置の構成を示す図である。
【発明を実施するための形態】
【００１９】
（実施形態１）
図１に、第１の実施形態に係る画像処理装置１０の構成を示す。
画像処理装置１０は、第１の画像生成部１００と、第２の画像生成部２００と、画像合成部３００と、合成比率制御部４００と、を備える。
【００２０】
第１の画像生成部１００は、入力画像１０００を入力し、第１の画像処理手法を用いて、入力画像１０００から第１の画像１０１０を生成する。第１の画像生成部１００は、生成した第１の画像１０１０を画像合成部３００に出力する。
【００２１】
第２の画像生成部２００は、入力画像１０００を入力し、第２の画像処理手法を用いて、入力画像１０００から第２の画像１０２０を生成する。第２の画像生成部２００は、生成した第２の画像１０２０を画像合成部３００に出力する。
典型的には、第１の画像処理手法と第２の画像処理方法とは、性質が異なる。
【００２２】
画像合成部３００は、第１の画像１０１０と第２の画像１０２０とを合成して、出力画像１０３０を生成する。このとき、画像合成部３００は、合成比率制御部で決定されたピクセルごとの合成比率４０００に基づいて、第１の画像１０１０と第２の画像１０２０とを合成する。
【００２３】
合成比率制御部４００は、学習に基づいて、第１の画像１０１０と第２の画像１０２０のピクセルごとの合成比率４０００を決定する。
【００２４】
以下、合成比率制御部４００による、第１の画像１０１０と第２の画像１０２０のピクセルごとの合成比率４０００の学習（以下、単に「学習」という）の一例を説明する。
学習においては、学習で使用される訓練用画像（以下、「学習用原画像」という）が与えられる。この学習用原画像は、機械学習におけるＧｒｏｕｎｄ  Ｔｒｕｔｈに相当する。学習用原画像は、典型的には、所定の解像度とサイズを持つ多様な（典型的には数１０万種類の）サンプル画像のセットである。
【００２５】
学習における入力画像１０００には、学習用原画像に所定の変換を施して作成された画像（以下、「学習用の入力画像」という）が使用される。すなわち学習においては、第１の画像１０１０、第２の画像１０２０および出力画像１０３０は、学習用の入力画像１０００から生成される。学習用の入力画像は、典型的には、学習用原画像のサイズを縮小（例えば、縦および横のサイズをそれぞれ１／４に縮小）したものである。
【００２６】
学習の開始時に、第１の画像１０１０と第２の画像１０２０のピクセルごとの合成比率４０００は、所定の初期値に設定される。
【００２７】
最初に、１枚目の学習用の入力画像１０００が画像処理装置１０に入力される。画像合成部３００は、この学習用の入力画像１０００から生成された第１の画像１０１０と、学習用の入力画像１０００から生成された第２の画像１０２０とを合成して、出力画像１０３０を生成する。このとき、画像合成部３００は、合成比率制御部４００に予め設定されたピクセルごとの合成比率４０００の初期値に基づいて、第１の画像１０１０と第２の画像１０２０とを合成する。画像合成部３００は、生成した出力画像１０３０を合成比率制御部４００に出力する。
【００２８】
合成比率制御部４００は、出力画像１０３０と、１枚目の学習用の入力画像１０００に対応する学習用原画像とを比較する。この比較は、典型的には、出力画像１０３０と学習用原画像の各ピクセル値同士の平均二乗誤差を計算することによって実行される。
【００２９】
１枚目の学習用の入力画像に関する比較が完了すると、２枚目の学習用の入力画像１０００が画像処理装置１０に入力される。合成比率制御部４００は、この２枚目の学習用の入力画像１０００に関し、上記と同様の処理により、出力画像１０３０と学習用原画像とを比較する。
【００３０】
以下同様に、すべての学習用の入力画像１０００に関し、出力画像１０３０と学習用原画像との比較が行われる。
【００３１】
すべての学習用の入力画像１０００に関する、出力画像１０３０と学習用原画像との比較が完了すると、合成比率制御部４００は、出力画像１０３０と学習用原画像との比較を最適化する合成比率４０００を決定する。
【００３２】
一例として合成比率４０００は、各ピクセルについて式１で定義される損失関数：ｆｌｏｓｓを最小化することにより計算される。ただし、ＩＳＲ、ＩＨＲは、それぞれ出力画像、学習用原画像のピクセル値を、（ｉ，ｊ）は２次元平面上のピクセルの座標を、ｎは出力画像１０３０と学習用原画像との比較の枚数を示す。
【数１】
2020017229.tif 000003
【００３３】
以上のプロセスをすべて実行することにより学習は完了する。
このように、多様な学習用原画像（典型的には数１０万種類）を用いて学習を行うことにより、これらの多様な画像に関する最適情報を含むピクセルごとの合成比率４０００を生成する計算手法が決定される。換言すれば、多様な画像に関し、第１の画像処理手法と第２の画像処理手法をピクセルごとにどのような割合で適用すればよいかが明らかとなる。
【００３４】
前述の学習により、合成比率制御部４００は、未知の入力画像１０００が画像処理装置１０に入力されたときに、当該未知の入力画像１０００の種類や特性に応じて、どのような合成比率４０００で、ピクセルごとに第１の画像１０１０と第２の画像１０２０を合成すればよいかを決定する。そして新たな入力画像１０００が画像処理装置１０に入力されると、この学習により決定されたピクセルごとの合成比率４０００を用いて出力画像１０３０が生成される。
【００３５】
例えば、第１の画像１０１０の第（ｉ，ｊ）ピクセルをＰ１（ｉ，ｊ）、第２の画像１０２０の第（ｉ，ｊ）ピクセルをＰ２（ｉ，ｊ）、Ｐ１（ｉ，ｊ）の合成比率をＭ（ｉ，ｊ）、Ｐ２（ｉ，ｊ）の合成比率を１―Ｍ（ｉ，ｊ）とすると（ただし、０≦Ｍ（ｉ，ｊ）≦１）、合成比率制御部４００は、第（ｉ，ｊ）ピクセルＰ３（ｉ，ｊ）が式（２）で表される出力画像１０３０を生成する。
Ｐ３（ｉ，ｊ）＝Ｍ（ｉ，ｊ）・Ｐ１（ｉ，ｊ）＋（１−Ｍ（ｉ，ｊ））・Ｐ２（ｉ，ｊ）  ・・・（２）
【００３６】
同じことを、行列表現を使って説明すると以下のようになる。
第１の画像１０１０をＩ１、第２の画像１０２０をＩ２、出力画像１０３０をＩＳＲ、Ｉ１の合成比率をＭ、Ｉ２の合成比率をＪ−Ｍとすると、ＩＳＲは、式（３）のように表現できることが分かる。ただし、Ｉ１、Ｉ２、ＩＳＲ、Ｍは、各ピクセルに関する値を成分とする行列表現である。またＪは全成分が１の行列、○は行列の成分ごとの積を表す。
ＩＳＲ＝Ｍ○Ｉ１＋（Ｊ−Ｍ）○Ｉ２・・・（３）
【００３７】
図２に、図１の画像処理装置に関するそれぞれの画像を示す。
これらの画像は、入力画像１０００、第１の画像１０１０、第２の画像１０２０、出力画像１０３０を含む。また画像１０４０は、合成比率４０００をピクセルごとに、比率が０のものを白に、比率が１のものを黒に、比率が０と１との間にあるものをそれに相当する濃度のグレーに、それぞれ対応させて表現したものである。このように合成比率４０００を画像１０４０で表現すると、出力画像１０３０は、第１の画像１０１０と第２の画像１０２０とを、画像１０４０を間に挟んで重ね合わせたものとして表現できる。この意味で、合成比率４０００を表現した画像１０４０は、第１の画像１０１０と第２の画像１０２０を重ね合わせるときに使用される「マスク」と解釈することができる。このマスクは、第１の画像処理手法と第２の画像処理手法とを用いて出力画像を生成する装置において、それぞれの手法の長所が発揮されるような合成を実現するものである。
【００３８】
本実施形態によれば、性質が異なる２種類の画像処理手法を用いて画像を生成し、生成した画像を合成して新たな画像を生成する装置において、それぞれの手法の長所が発揮されるような合成を実現することができる。
【００３９】
（実施形態２）
一実施形態では、出力画像は、入力画像より解像度が高くてもよい。
本実施形態は、典型的には、画像処理装置１０を単一画像超解像技術に適用したものである。この場合、第１および第２の画像処理手法は、それぞれ第１および第２の単一画像超解像技術に相当する。
【００４０】
低品質画像である入力画像１０００は、性質の異なる２つの単一画像超解像技術を用いて、第１の画像１０１０および第２の画像１０２０に変換される。画像合成部３００は、２つの単一画像超解像技術の長所が最もよく反映される比率により、第１の画像１０１０と第２の画像１０２０とを合成して出力画像１０３０を生成する。
【００４１】
本実施形態によれば、２種類の単一画像超解像技術を組み合わせて高品質画像を生成する装置において、これらの技術の長所が最もよく反映されるように高品質画像を生成することができる。
【００４２】
（実施形態３）
一実施形態では、第１の画像処理手法はフィルタリングベース手法であってよく、第２の画像処理手法は学習ベース手法であってよい。
フィルタリングベース手法の画像処理手法は、前述のバイキュービック補間の他、最近傍補間（Ｎｅａｒｅｓｔ  Ｎｅｉｇｈｂｏｒ  Ｉｎｔｅｒｐｏｌａｔｉｏｎ）、バイリニア補間（Ｂｉｌｉｎｅａｒ  Ｉｎｔｅｒｐｏｌａｔｉｏｎ）、ランチョス補間（Ｌａｎｃｚｏｓ  Ｉｎｔｅｒｐｏｌａｔｉｏｎ）等であってもよい。
【００４３】
図２には、バイキュービック補間により生成された第１の画像１０１０、ＣＮＮにより生成された第２の画像１０２０が示される。図２から、それぞれの手法の特徴を反映して、第１の画像１０１０は低周波領域の品質が向上し、第２の画像１０２０は、高周波領域の品質が向上している様子が読み取れる。マスクの形態を取る合成比率を表現した画像１０４０を間に挟んで、第１の画像１０１０と第２の画像１０２０とを重ね合わせることにより、それぞれの手法の長所が反映された出力画像１０３０が得られる。
【００４４】
本実施形態では、第２の画像生成部２００と合成比率制御部４００とは、それぞれニューラルネットワークで構成される。このとき、出力画像１０３０と学習用原画像との比較よって認識された生成画像のＧｒｏｕｎｄ  Ｔｒｕｔｈからの誤差は、合成比率制御部４００にフィードバックされるとともに、第２の画像生成部２００にフィードバックされて、第２の画像生成部２００の性能向上のために利用されてもよい。合成比率制御部４００は、画質向上に対して、第２の画像処理手法（学習ベース手法）の寄与が高ければ高いほど（すなわち「学習ベース手法が得意な画像」ほど）第２の画像１０２０の合成比率を上げ、第１の画像処理手法（フィルタリングベース手法）の寄与が高ければ高いほど（すなわち「学習ベース手法が苦手な画像」ほど）第２の画像１０２０の合成比率を下げる。従ってこの合成比率に関する学習結果が第２の画像生成部２００にフィードバックされれば、第２の画像生成部２００は、「自分の得意な」画像に対してはより積極的に処理を実行し、「自分の苦手な」画像に対してはより消極的に処理を実行する、といったように処理の学習を改善することができる。このように、合成比率制御部４００における学習中の学習結果を、第２の画像生成部２００にフィードバックすることにより、第２の画像生成部２００のニューラルネットワークを改善することができる。
【００４５】
本実施形態によれば、フィルタリングベース手法と学習ベース手法とを組み合わせた単一画像超解像技術において、２つの手法の互いの長所が損なわれることなく、これらの長所が最も発揮されるように、高品質画像を生成することができる。
【００４６】
（実施形態４）
一実施形態では、第１の画像１０１０と第２の画像１０２０のピクセルごとの合成比率４０００を決定するための画像比較の回数をｎ回とし、ｋを１≦ｋ＜ｎを満たす整数としたとき、合成比率制御部４００は、１回目からｋ回目までの画像比較では、学習用原画像を変換して作成された学習用の入力画像１０００から生成された第２の画像１０２０と、該学習用原画像とを比較し、ｋ＋１回目からｎ回目までの画像比較では、学習用原画像を変換して作成された学習用の入力画像１０００から生成された出力画像１０３０と、該学習用原画像とを比較してもよい。
【００４７】
例えば第１の画像処理手法がバイキュービック補間で、第２の画像処理手法がＣＮＮだった場合、学習の初期段階ではＣＮＮはバイキュービック補間に比べて精度が悪いため、合成比率４０００の行列表現Ｍは、早い段階でＭ＝Ｊとなってしまい、それ以上学習が進まなくなることがある。そこで最初のｋ回の画像比較は、バイキュービック補間による画像とＣＮＮ補完による画像を合成した画像を改善することに代えて、ＣＮＮによる生成画像のみを改善することにより、学習を正しく進行することができる。
【００４８】
本実施形態によれば、フィルタリングベース手法と学習ベース手法を組み合わせた単一画像超解像技術において、得られる画像の品質をより高い確率で向上することができる。
【００４９】
（変形例）
以上、本発明を実施例を基に説明した。これらの実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００５０】
（変形例１）
画像生成部が中間段階の処理ブロックを含む複数の処理ブロックから構成される場合、合成比率制御部は、中間段階のブロックで生成される情報を学習に用いてもよい。
【００５１】
図３に一実施形態に係る画像処理装置１１の構成を示す。図１の画像処理装置１０との
違いは、第２の画像生成部２００が、第１の中間処理ブロック２１０、第２の中間処理ブロック２２０、最終処理ブロック２３０を備える点である。
【００５２】
第２の画像生成部２００は、入力した入力画像１０００を、第１の中間処理ブロック２１０および第２の中間処理ブロック２２０で処理した後、最終処理ブロック２３０で第２の画像１０２０を生成する。すなわち、第２の画像生成部２００は、入力画像１０００を、第１の中間処理ブロック２１０、第２の中間処理ブロック２２０、最終処理ブロック２３０の順にシーケンシャルに処理する。
【００５３】
第１の中間処理ブロック２１０は第１の中間データ５０１０を生成し、第２の中間処理ブロック２２０は第２の中間データ５０２０を生成する。合成比率制御部４００は、学習において、出力画像１０３０と学習用原画像とを比較することに加えて、第１の中間データ５０１０および第２の中間データ５０２０も利用する。
画像処理装置１１のその他の構成は、画像処理装置１０と共通であるため、説明を省略する。
本変形例によれば、出力画像の画質を更に向上することができる。
【００５４】
（変形例２）
画像処理手法は、２つであることに代えて、３つ以上あってもよい。
本変形例によれば、画像処理手法の選択の幅を広げることができる。
【００５５】
（変形例３）
入力画像は、１枚だけ入力することに代えて、向きを代えた複数の画像を入力し、それぞれに関する出力画像を生成した後に、これらの平均値を取ってもよい。例えば、ある画像、この画像を９０度、１８０度、２７０度回転したもの、およびこれらの左右反転を含む８枚の画像を入力画像としてよい。こうした手法は、例えばｇｅｏｍｅｔｒｉｃ  ｓｅｌｆ−ｅｎｓｅｍｂｌｉｎｇと呼ばれる、既知の画質向上手法の１つである。この手法を本発明の実施形態に適用することにより、入力画像が１回のみの場合に比べて画質を向上することができる。
このように本発明は、ｇｅｏｍｅｔｒｉｃ  ｓｅｌｆ−ｅｎｓｅｍｂｌｉｎｇのような既知の画質向上手法との整合性がよいことが分かる。
【００５６】
（変形例４）
本発明の一態様に係る画像処理方法において、画像を生成するステップは、２つに限定されず、３つ以上あってもよい。すなわち前述の実施形態における、第１の画像処理手法を用いて、入力画像から第１の画像を生成する第１の画像生成ステップと、第２の画像処理手法を用いて、入力画像から第２の画像を生成する第２の画像生成ステップと、に加えて、更なる画像生成ステップを含んでもよい。このとき、更なる画像生成ステップは、第１の画像処理手法又は第２の画像処理手法を用いて画像を生成してもよいし、それ以外の画像処理手法を用いて画像を生成してもよい。
本変形例によれば、画像生成ステップの数を増やすことにより、出力画像の画質を更に向上することができる。
【００５７】
本発明は、上に挙げた画像の解像度の向上の他、色調補正、画像ノイズ除去、画像ボケ除去、画像欠損修復など様々な画像処理に応用することができる。更に本発明の手法は、画像処理の他にも、音声、テキスト等の様々なデータ処理に適用が可能であり、産業上の利用性が高いものである。
【符号の説明】
【００５８】
１０  画像処理装置、  １００  第１の画像生成部、  ２００  第２の画像生成部、  ３００  画像合成部、  ４００  合成比率制御部、  １０００  入力画像、  １０１０  第１の画像、  １０２０  第２の画像、    １０３０  出力画像、    ４０００  合成比率
【図１】
2020017229.tif 000004
【図２】
2020017229.tif 000005
【図３】
2020017229.tif 000006