(57)【要約】【課題】元の画像よりも高い空間周波数を有する高精細画像を、特徴量を予め抽出することなく生成すること。【解決手段】畳み込みニューラルネットワークを用いた画像処理方法は、フィルタサイズ及びフィルタ特性が互いに異なる複数の学習済みのフィルタを第１の画像に対して適用してフィルタサイズの種類数及びフィルタ特性の種類数に応じた数の第２の画像を生成し、第２の画像に対して学習済みのフィルタを適用して第２の画像の数よりも少ない数の画像を、第３の画像として生成し、フィルタサイズ及びフィルタ特性が互いに異なる複数の学習済みのフィルタを第３の画像に対して適用してフィルタサイズの種類数及びフィルタ特性の種類数に応じた数の第４の画像を生成し、第４の画像に対して学習済みのフィルタを適用して１つの第５の画像を生成し、第１の画像と第５の画像とを合成して第１の画像の空間周波数よりも高い空間周波数を有する第６の画像を生成する。【選択図】図２
2019067078.tif 000002
【特許請求の範囲】
【請求項１】
畳み込みニューラルネットワークを用いた画像処理方法であって、
フィルタサイズ及びフィルタ特性のうち少なくともフィルタサイズが互いに異なる複数の第１フィルタを第１の画像に対してそれぞれ適用することにより、適用したフィルタサイズの種類数及びフィルタ特性の種類数に応じた数の第２の画像を生成する第１ステップと、
前記第１ステップにおいて複数生成された前記第２の画像に対して第２フィルタを適用することにより、前記第２の画像の数よりも少ない数の画像を、それぞれ第３の画像として生成する第２ステップと、
フィルタサイズ及びフィルタ特性のうち少なくともフィルタサイズが互いに異なる複数の第３フィルタを、前記第２ステップにおいて複数生成された前記第３の画像に対してそれぞれ適用することにより、適用したフィルタサイズの種類数及びフィルタ特性の種類数に応じた数の第４の画像を生成する第３ステップと、
前記第３ステップにおいて複数生成された前記第４の画像に対して第４フィルタを適用することにより、１つの第５の画像を生成する第４ステップと、
前記第１の画像と、前記第４ステップにおいて生成された前記第５の画像とを合成することにより、前記第１の画像の空間周波数よりも高い空間周波数を有する第６の画像を生成する第５ステップと、
を有し、
前記第１フィルタ、前記第２フィルタ、前記第３フィルタ、及び前記第４フィルタにそれぞれ含まれるフィルタは、前記第１の画像の解像度に一致する解像度の入力画像と前記第６の画像の解像度に一致する解像度の出力画像との対応関係に基づいてフィルタ特性が学習された学習済みフィルタである
画像処理方法。
【請求項２】
前記第２ステップにおいて、複数のフィルタサイズの前記第２フィルタを順次適用する
請求項１に記載の画像処理方法。
【請求項３】
前記第１の画像は複数のフレームからなる動画像のうちの１フレームの画像であり、
複数の前記第１の画像同士をフレーム補間して得られる補間画像と前記第１の画像とに対して前記第１ステップが実行される
請求項１または請求項２に記載の画像処理方法。
【請求項４】
コンピュータに、
フィルタサイズ及びフィルタ特性のうち少なくともフィルタサイズが互いに異なる複数の第１フィルタを第１の画像に対してそれぞれ適用することにより、適用したフィルタサイズの種類数及びフィルタ特性の種類数に応じた数の第２の画像を生成する第１ステップと、
前記第１ステップにおいて複数生成された前記第２の画像に対して第２フィルタを適用することにより、前記第２の画像の数よりも少ない数の画像を、それぞれ第３の画像として生成する第２ステップと、
フィルタサイズ及びフィルタ特性のうち少なくともフィルタサイズが互いに異なる複数の第３フィルタを、前記第２ステップにおいて複数生成された前記第３の画像に対してそれぞれ適用することにより、適用したフィルタサイズの種類数及びフィルタ特性の種類数に応じた数の第４の画像を生成する第３ステップと、
前記第３ステップにおいて複数生成された前記第４の画像に対して第４フィルタを適用することにより、１つの第５の画像を生成する第４ステップと、
前記第１の画像と、前記第４ステップにおいて生成された前記第５の画像とを合成することにより、前記第１の画像の空間周波数よりも高い空間周波数を有する第６の画像を生成する第５ステップと、
を実行させるための畳み込みニューラルネットワークを用いた画像処理プログラムであって、
前記第１フィルタ、前記第２フィルタ、前記第３フィルタ、及び前記第４フィルタにそれぞれ含まれるフィルタは、前記第１の画像の解像度に一致する解像度の入力画像と前記第６の画像の解像度に一致する解像度の出力画像との対応関係に基づいてフィルタ特性が学習された学習済みフィルタである
画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理方法、及び画像処理プログラムに関する。
【背景技術】
【０００２】
現在のハイビジョン放送を上回る解像度をもつ動画像を用いてテレビ放送を行う４Ｋ・８Ｋテレビ放送が計画されている。４Ｋ・８Ｋテレビ放送に対応した高解像度ディスプレイが普及し始めている。４Ｋ・８Ｋテレビ放送に対応した高解像度ディスプレイの普及に伴い、従来のハイビジョンのデジタル映像コンテンツを高解像度ディスプレイにおいて鑑賞することが求められている。
ハイビジョンのデジタル映像コンテンツを高解像度ディスプレイにおいて表示する場合、ハイビジョンのデジタル映像コンテンツは、高解像度ディスプレイにおいて高精細の動画像として表示できるように、元の画像よりも高い空間周波数を有する画像に変換される必要がある。
【０００３】
ここで、低解像度の画像から高解像度の画像を推定する超解像技術が知られている。このような技術では、学習画像を用いて推定対象となる画像が備える特徴を学習する。そのため、学習画像は、推定対象となる画像と同種の画像であることが望ましいと考えられている。例えば、風景や人物の画像を推定する場合、学習画像もそれぞれ風景や人物の画像であることが望ましいと考えられている。
学習型超解像において、風景や人物の画像の代わりに図形画像を用いて学習する画像処理装置が知られている（特許文献１）。ここで、特許文献１に記載の画像処理装置では、図形画像とは、点、直線、円、楕円及び多角形等の基本形状、あるいはこれらの一部から作図される形状から選択される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１７−４９６８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の画像処理装置では、図形画像は、点、直線、円、楕円及び多角形等の基本形状、あるいはこれらの一部から作図される形状から選択されており、予め抽出された特徴量に基づいて学習が行われていた。そのため、特許文献１に記載の画像処理装置では、予め抽出された特徴量以外の特徴量を抽出する必要がある場合に、高画質の画像の推定の精度が十分でないという欠点があった。また、特許文献１に記載の画像処理装置では、抽出する特徴量を予め選択しておく必要があった。
【０００６】
本発明は上記の点に鑑みてなされたものであり、元の画像よりも高い空間周波数を有する高精細画像を、特徴量を予め抽出することなく生成することができる画像処理方法、及び画像処理プログラムを提供する。
【課題を解決するための手段】
【０００７】
本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、畳み込みニューラルネットワークを用いた画像処理方法であって、フィルタサイズ及びフィルタ特性のうち少なくともフィルタサイズが互いに異なる複数の第１フィルタを第１の画像に対してそれぞれ適用することにより、適用したフィルタサイズの種類数及びフィルタ特性の種類数に応じた数の第２の画像を生成する第１ステップと、前記第１ステップにおいて複数生成された前記第２の画像に対して第２フィルタを適用することにより、前記第２の画像の数よりも少ない数の画像を、それぞれ第３の画像として生成する第２ステップと、フィルタサイズ及びフィルタ特性のうち少なくともフィルタサイズが互いに異なる複数の第３フィルタを、前記第２ステップにおいて複数生成された前記第３の画像に対してそれぞれ適用することにより、適用したフィルタサイズの種類数及びフィルタ特性の種類数に応じた数の第４の画像を生成する第３ステップと、前記第３ステップにおいて複数生成された前記第４の画像に対して第４フィルタを適用することにより、１つの第５の画像を生成する第４ステップと、前記第１の画像と、前記第４ステップにおいて生成された前記第５の画像とを合成することにより、前記第１の画像の空間周波数よりも高い空間周波数を有する第６の画像を生成する第５ステップと、を有し、前記第１フィルタ、前記第２フィルタ、前記第３フィルタ、及び前記第４フィルタにそれぞれ含まれるフィルタは、前記第１の画像の解像度に一致する解像度の入力画像と前記第６の画像の解像度に一致する解像度の出力画像との対応関係に基づいてフィルタ特性が学習された学習済みフィルタである画像処理方法である。
【０００８】
また、本発明の一態様は、上記の画像処理方法において、前記第２ステップにおいて、複数のフィルタサイズの前記第２フィルタを順次適用する。
【０００９】
また、本発明の一態様は、上記の画像処理方法において、前記第１の画像は複数のフレームからなる動画像のうちの１フレームの画像であり、複数の前記第１の画像同士をフレーム補間して得られる補間画像と前記第１の画像とに対して前記第１ステップが実行される。
【００１０】
また、本発明の一態様は、コンピュータに、フィルタサイズ及びフィルタ特性のうち少なくともフィルタサイズが互いに異なる複数の第１フィルタを第１の画像に対してそれぞれ適用することにより、適用したフィルタサイズの種類数及びフィルタ特性の種類数に応じた数の第２の画像を生成する第１ステップと、前記第１ステップにおいて複数生成された前記第２の画像に対して第２フィルタを適用することにより、前記第２の画像の数よりも少ない数の画像を、それぞれ第３の画像として生成する第２ステップと、フィルタサイズ及びフィルタ特性のうち少なくともフィルタサイズが互いに異なる複数の第３フィルタを、前記第２ステップにおいて複数生成された前記第３の画像に対してそれぞれ適用することにより、適用したフィルタサイズの種類数及びフィルタ特性の種類数に応じた数の第４の画像を生成する第３ステップと、前記第３ステップにおいて複数生成された前記第４の画像に対して第４フィルタを適用することにより、１つの第５の画像を生成する第４ステップと、前記第１の画像と、前記第４ステップにおいて生成された前記第５の画像とを合成することにより、前記第１の画像の空間周波数よりも高い空間周波数を有する第６の画像を生成する第５ステップと、を実行させるための畳み込みニューラルネットワークを用いた画像処理プログラムであって、前記第１フィルタ、前記第２フィルタ、前記第３フィルタ、及び前記第４フィルタにそれぞれ含まれるフィルタは、前記第１の画像の解像度に一致する解像度の入力画像と前記第６の画像の解像度に一致する解像度の出力画像との対応関係に基づいてフィルタ特性が学習された学習済みフィルタである画像処理プログラムである。
【発明の効果】
【００１１】
本発明によれば、元の画像よりも高い空間周波数を有する高精細画像を、特徴量を予め抽出することなく生成することができる。また、本発明の画像処理方法では、深層学習の手法を用いて高精細画像を生成する場合に計算時間を短縮することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１の実施形態に係る画像処理方法の概要を示す図である。
【図２】本発明の第１の実施形態に係るＤｅｅｐ  Ｒｅｓｉｄｕａｌ  Ｌｅａｒｎｉｎｇ  Ｓｕｐｅｒ−Ｒｅｓｏｌｕｔｉｏｎネットワークの構成の一例を示す図である。
【図３】本発明の第１の実施形態に係る差分学習の方法の一例を示す図である。
【図４】本発明の第１の実施形態に係る画像生成システムの構成の一例を示す図である。
【図５】本発明の第１の実施形態に係る学習処理の一例を示す図である。
【図６】本発明の第１の実施形態に係る高精細画像生成処理の一例を示す図である。
【図７】本発明の第１の実施形態に係る画像処理方法と他の手法との定量的な比較の一例を示す図である。
【図８】本発明の第２の実施形態に係る動画像処理方法の概要を示す図である。
【発明を実施するための形態】
【００１３】
（第１の実施形態）
以下、図面を参照しながら本発明の実施形態について詳しく説明する。図１は、本発明の第１の実施形態に係る画像処理方法ＳＲ１の概要を示す図である。
画像処理方法ＳＲ１では、低解像度画像Ｇ１１から高精細画像Ｇ１７を生成する。ここで、解像度とは、ディスプレイに表示される総画素数を意味する。また、高精細とは、高い空間周波数を有することを意味する。低解像度画像Ｇ１１とは、例えば１９２０×１０８０の画素数（２０７万画素）のハイビジョン画像である。高精細画像Ｇ１７とは、例えば３８４０×２１６０の画素数（８２９万４４００画素数）のいわゆる４Ｋの画像である。
【００１４】
画像処理方法ＳＲ１では、まず低解像度画像Ｇ１１の解像度を高精細画像Ｇ１７の解像度と同じ解像度をもつ補間画像Ｇ１２へと拡大する。補間画像Ｇ１２は、低解像度画像Ｇ１１の画素と画素との間を補間することにより得られる。補間画像Ｇ１２は、例えば、バイキュービック（ＢＩＣＵＢＩＣ）法を用いて拡大される。補間画像Ｇ１２は、高い空間周波数が十分でないため、十分に鮮明な画像となっていない。
【００１５】
補間画像Ｇ１２は、一例として、ＹＣｂＣｒ変換により輝度の情報をもつ輝度画像Ｇ１５と、青色の色差の情報をもつ青色差画像Ｇ１３と、赤色の色差の情報をもつ赤色差画像Ｇ１４とに分離される。画像処理方法ＳＲ１では、人間の視覚特性を考慮し、輝度画像Ｇ１５、青色差画像Ｇ１３、及び赤色差画像Ｇ１４のうち、一例として輝度画像Ｇ１５を処理対象とする。つまり、画像処理方法ＳＲ１では、輝度の情報をもつ輝度画像Ｇ１５から、輝度画像Ｇ１５よりも高い空間周波数を有する高精細輝度画像Ｇ１６を生成する。
【００１６】
画像処理方法ＳＲ１では、畳み込みニューラルネットワークを用いた深層学習の手法により輝度画像Ｇ１５から高精細輝度画像Ｇ１６を生成する。本実施形態の畳み込みニューラルネットワークを用いた深層学習の手法を、Ｄｅｅｐ  Ｒｅｓｉｄｕａｌ  Ｌｅａｒｎｉｎｇ  Ｓｕｐｅｒ−Ｒｅｓｏｌｕｔｉｏｎ（ＤＲＬＳＲ）と称する。ＤＲＬＳＲにおいて用いられる畳み込みニューラルネットワークを、ＤＲＬＳＲネットワークＮ１と称する。ＤＲＬＳＲでは、以下で説明する差分学習（Ｒｅｓｉｄｕａｌ  Ｌｅａｒｎｉｎｇ）及びインセプションモデル（Ｉｎｃｅｐｔｉｏｎ  Ｍｏｄｅｌ）が取り入れられている。このため、ＤＲＬＳＲでは高い収束性と低い計算コストが実現される。
【００１７】
ＤＲＬＳＲにより生成した高精細輝度画像Ｇ１６と、青色差画像Ｇ１３及び赤色差画像Ｇ１４とを合成することにより高精細画像Ｇ１７を得る。
以下では、ＤＲＬＳＲにおいて用いられるＤＲＬＳＲネットワークＮ１について詳しく説明する。
【００１８】
図２は、本実施形態に係るＤＲＬＳＲネットワークＮ１の構成の一例を示す図である。ＤＲＬＳＲネットワークＮ１は、中間画像Ｇ２１が入力として与えられると出力画像Ｇ２３を出力する畳み込みニューラルネットワークである。ここで、図２において中間画像Ｇ２１は、図１における輝度画像Ｇ１５に対応する。図２において出力画像Ｇ２３は、図１における高精細輝度画像Ｇ１６に対応する。
【００１９】
中間画像Ｇ２１と出力画像Ｇ２３とは互いに等しい解像度をもつ高解像度画像である。高解像度画像は、例えば、高さが数Ｍ、幅が数Ｎによって与えられる数Ｍ×Ｎの画素数をもつ。高解像度画像では、この数Ｍ×Ｎの画素数の各々が、例えば０から２５５の２５６段階の画素値に対応させられる。ここで画素値とは、輝度の情報に対応する。ＤＲＬＳＲネットワークＮ１の入力層及び出力層のユニットの数は、高解像度画像の画素数に等しい。ＤＲＬＳＲネットワークＮ１の入力層の各ユニットに与えられる入力は、０から２５５の２５６段階の画素値に対応する値をもつ。ＤＲＬＳＲネットワークＮ１の出力層のユニットには、０から２５５の２５６段階の画素値に対応する値が出力される。
【００２０】
ＤＲＬＳＲネットワークＮ１は、インセプションモデルＩＭ１と、部分Ｐ１と、インセプションモデルＩＭ２と、差分学習部分ＲＬとを備える。ＤＲＬＳＲネットワークＮ１では、インセプションモデルＩＭ１、部分Ｐ１、インセプションモデルＩＭ２、及び差分学習部分ＲＬは、入力層から出力層へ向かって、インセプションモデルＩＭ１、部分Ｐ１、インセプションモデルＩＭ２、及び差分学習部分ＲＬの順において備えられる。
【００２１】
インセプションモデルＩＭ１は、中間画像Ｇ２１の特徴を抽出する。部分Ｐ１は、インセプションモデルＩＭ１の出力結果に対してマッピングを行う。部分Ｐ１は、マッピングによってインセプションモデルＩＭ１により抽出された特徴の情報を圧縮する。インセプションモデルＩＭ２は、部分Ｐ１によって圧縮された特徴を再構築する。
インセプションモデルＩＭ１、部分Ｐ１、及びインセプションモデルＩＭ２は、いずれも畳み込み層である。
【００２２】
畳み込み層では、フィルタを用いた畳み込みの演算により、入力された画像の特徴を抽出する。フィルタは、入力された画像よりも小さいサイズの画像である。フィルタのサイズをフィルタサイズと呼ぶ。例えば、フィルタサイズが数Ｈのフィルタの画素数は、数Ｈ×Ｈに等しい。
【００２３】
畳み込み層では、入力された画像とフィルタとの畳み込みの演算が行われる。この畳み込みの演算では、入力された画像とフィルタとを重ね、入力された画像のフィルタと重なる部分の画素毎に入力された画像の画素値とフィルタの値との積を取り、フィルタサイズについて和を取る。畳み込みの演算では、フィルタを移動させてこの演算を繰り返すことにより、フィルタは入力された画像の特徴を抽出する。フィルタは、フィルタが抽出する画像の特徴を表すフィルタ特性を有する。
畳み込みニューラルネットワークでは、フィルタ特性が学習される。畳み込み層では、隣接する層のユニット間の結合について、入力側のユニットの一部のユニットのみが出力側のユニットに結合している。フィルタの画素値は、この結合の重みに対応している。畳み込みニューラルネットワークでは、学習によりフィルタの画素値が更新され、フィルタ特性が変化する。
畳み込み層は、複数のフィルタからなる。畳み込み層では、入力された画像に複数のフィルタを順次適用し、複数のフィルタ毎に入力された画像の特徴を抽出する。
【００２４】
インセプションモデルＩＭ１は、一例として、畳み込み層ＣＬ１と、畳み込み層ＣＬ２と、畳み込み層ＣＬ３と、連結層Ｃ１とを備える。インセプションモデルＩＭ１では、畳み込み層ＣＬ１と、畳み込み層ＣＬ２と、畳み込み層ＣＬ３とは並列に備えられる。畳み込み層ＣＬ１と、畳み込み層ＣＬ２と、畳み込み層ＣＬ３とは互いに異なるフィルタサイズをもつ。つまり、インセプションモデルＩＭ１では、異なるフィルタサイズをもつフィルタが並列に備えられる。なお、インセプションモデルＩＭ１に並列に備えられる畳み込み層の数は３以外であってもよい。
【００２５】
インセプションモデルＩＭ１では、異なるフィルタサイズをもつフィルタが並列に備えられるため、入力された画像の特徴を、異なるフィルタサイズのフィルタ毎に同時に抽出することができる。そのため、インセプションモデルＩＭ１では、フィルタのサイズを予め選択する必要がない。
インセプションモデルＩＭ１はプーリング層を備えていない。プーリング層では、入力された画像の画素数を減少させる。ＤＲＬＳＲネットワークＮ１では、高精細画像を生成するために用いられるため、画素数を減少させるプーリング層は備えられないことが好ましい。
【００２６】
畳み込み層ＣＬ１は、フィルタサイズが３のフィルタを８枚備えた畳み込み層である。畳み込み層ＣＬ１は、フィルタの枚数に応じて、各々特徴が抽出された８枚の画像を生成する。畳み込み層ＣＬ２は、フィルタサイズが５のフィルタを８枚備えた畳み込み層である。畳み込み層ＣＬ２は、フィルタの枚数に応じて、各々特徴が抽出された８枚の画像を生成する。畳み込み層ＣＬ３は、フィルタサイズが９のフィルタを８枚備えた畳み込み層である。畳み込み層ＣＬ３は、フィルタの枚数に応じて、各々特徴が抽出された８枚の画像を生成する。
つまり、インセプションモデルＩＭ１では、中間画像Ｇ２１の合計２４種類の特徴を抽出する。
【００２７】
連結層Ｃ１は、畳み込み層ＣＬ１が生成した８枚の画像と、畳み込み層ＣＬ２が生成した８枚の画像と、畳み込み層ＣＬ３が生成した８枚の画像との合計２４枚の画像を連結し、１枚の画像を生成する。連結層Ｃ１は、生成した１枚の画像を畳み込み層ＣＬ４に出力する。
【００２８】
部分Ｐ１は、畳み込み層ＣＬ４と、畳み込み層ＣＬ５と、畳み込み層ＣＬ６とを備える。部分Ｐ１では、畳み込み層ＣＬ４と、畳み込み層ＣＬ５と、畳み込み層ＣＬ６とは、入力層に近い側からこの順番に直列に備えられる。
【００２９】
畳み込み層ＣＬ４は、フィルタサイズが１のフィルタを８枚備えた畳み込み層である。畳み込み層ＣＬ４は、連結層Ｃ１から出力される１枚の画像から、フィルタの枚数に応じて、各々特徴が抽出された８枚の画像を生成する。これにより、畳み込み層ＣＬ４では、インセプションモデルＩＭ１によって生成された画像から高精細画像の８つの特徴を抽出する。
畳み込み層ＣＬ４は、生成した８枚の画像を、８種類のチャンネルをもつ１枚の画像として畳み込み層ＣＬ５に出力する。
【００３０】
畳み込み層ＣＬ５は、フィルタサイズが３のフィルタを８枚備えた畳み込み層である。畳み込み層ＣＬ５は、畳み込み層ＣＬ４から出力される１枚の画像から、フィルタの枚数に応じて、各々特徴が抽出された８枚の画像を生成する。畳み込み層ＣＬ５は、生成した８枚の画像を、８種類のチャンネルをもつ１枚の画像として畳み込み層ＣＬ６に出力する。
【００３１】
畳み込み層ＣＬ６は、フィルタサイズが１のフィルタを８枚備えた畳み込み層である。畳み込み層ＣＬ６は、畳み込み層ＣＬ５から出力される１枚の画像から、フィルタの枚数に応じて、各々特徴が抽出された８枚の画像を生成する。畳み込み層ＣＬ６は、生成した８枚の画像を、８種類のチャンネルをもつ１枚の画像としてインセプションモデルＩＭ２に出力する。
【００３２】
インセプションモデルＩＭ２は、一例として、畳み込み層ＣＬ７と、畳み込み層ＣＬ８と、畳み込み層ＣＬ９と、連結層Ｃ２とを備える。インセプションモデルＩＭ２では、畳み込み層ＣＬ７と、畳み込み層ＣＬ８と、畳み込み層ＣＬ９とは並列に備えられる。畳み込み層ＣＬ７と、畳み込み層ＣＬ８と、畳み込み層ＣＬ９とは互いに異なるフィルタサイズをもつ。つまり、インセプションモデルＩＭ２では、異なるフィルタサイズをもつフィルタが並列に備えられる。なお、インセプションモデルＩＭ２に並列に備えられる畳み込み層の数は３以外であってもよい。
【００３３】
畳み込み層ＣＬ７は、フィルタサイズが３のフィルタを８枚備えた畳み込み層である。畳み込み層ＣＬ７は、フィルタの枚数に応じて、各々特徴が抽出された８枚の画像を生成する。畳み込み層ＣＬ８は、フィルタサイズが５のフィルタを８枚備えた畳み込み層である。畳み込み層ＣＬ８は、フィルタの枚数に応じて、各々特徴が抽出された８枚の画像を生成する。畳み込み層ＣＬ９は、フィルタサイズが９のフィルタを８枚備えた畳み込み層である。畳み込み層ＣＬ９は、フィルタの枚数に応じて、各々特徴が抽出された８枚の画像を生成する。
【００３４】
連結層Ｃ２は、畳み込み層ＣＬ７が生成した８枚の画像と、畳み込み層ＣＬ８が生成した８枚の画像と、畳み込み層ＣＬ９が生成した８枚の画像との合計２４枚の画像を連結し、１枚の画像を生成する。連結層Ｃ２は、生成した１枚の画像を不図示の畳み込み層ＣＬ１０に出力する。
【００３５】
畳み込み層ＣＬ１０は、フィルタサイズが１のフィルタを１枚備えた畳み込み層である。畳み込み層ＣＬ１０は、インセプションモデルＩＭ２によって生成された画像から１枚の差分画像Ｇ２２を生成する。これにより、畳み込み層ＣＬ１０は、インセプションモデルＩＭ２によって生成された差分画像Ｇ２２から高精細画像の特徴を抽出する。
畳み込み層ＣＬ１０は、生成した差分画像Ｇ２２を差分学習部分ＲＬに出力する。
【００３６】
差分学習部分ＲＬは、入力画像である中間画像Ｇ２１と、畳み込み層ＣＬ１０が出力した差分画像Ｇ２２とを合成する。ここで、差分学習部分ＲＬは、中間画像Ｇ２１の各画素の画素値に、差分画像Ｇ２２の、中間画像Ｇ２１の各画素に対応する画素の画素値を加えることにより合成を行う。差分学習部分ＲＬは、合成した画像を出力画像Ｇ２３として出力する。出力画像Ｇ２３は、ＤＲＬＳＲネットワークＮ１の学習が完了している場合、中間画像Ｇ２１の空間周波数よりも高い空間周波数を有する高精細画像となる。
ここで、図３を参照し、差分学習部分ＲＬについて説明する。
【００３７】
図３は、本実施形態に係る差分学習の方法の一例を示す図である。ＤＲＬＳＲネットワークＮ１では、畳み込みニューラルネットワーク（インセプションモデルＩＭ１、部分Ｐ１、インセプションモデルＩＭ２）の出力画像Ｆ（ｘ）に、畳み込みニューラルネットワークの入力である入力画像ｘを加えて出力画像Ｈ（ｘ）とする。これにより、ＤＲＬＳＲネットワークＮ１は、入力画像ｘと出力画像Ｈ（ｘ）との差を学習する畳み込みニューラルネットワークとなる。ここで、Ｆ（ｘ）は、差分画像Ｇ２２に対応する。ｘは中間画像Ｇ２１に対応する。Ｈ（ｘ）は、出力画像Ｇ２３に対応する。
【００３８】
図４は、本実施形態に係る画像生成システム１の構成の一例を示す図である。画像生成システム１は、訓練画像データ供給部１０と、画像生成装置２０と、中間画像供給部３０と、提示部４０とを備える。
【００３９】
訓練画像データ供給部１０は、画像生成装置２０に訓練データＬＤを供給する。ここで訓練データＬＤとは、入力画像と、出力画像Ｇ２３と同じ解像度を有する出力画像とが互いに対応づけられたデータである。訓練データＬＤに含まれる入力画像は、訓練データＬＤに含まれる出力画像から、この出力画像を縮小することにより低解像度画像を生成し、生成した低解像度画像を拡大することにより生成される。訓練データＬＤに含まれる入力画像は、中間画像Ｇ２１と同じ解像度を有する。
訓練データＬＤでは、入力画像に対する出力画像が予めわかっている。そのため、画像生成装置２０は、訓練データＬＤを、入力画像に対して正しい出力画像を出力するための重みの算出に用いることができる。ここで重みとは、ＤＲＬＳＲネットワークＮ１において用いられる重みである。画像生成システム１の使用者は、訓練データＬＤとして用いるデータを、予め所定の数以上収集する必要がある。
【００４０】
中間画像供給部３０は、画像生成装置２０に中間画像ＬＩを供給する。中間画像ＬＩの解像度と、訓練データＬＤに含まれる入力画像の解像度とは等しい。
訓練画像データ供給部１０、及び中間画像供給部３０は、例えば、キーボードやタブレット、スキャナなどのヒューマンインタフェイス装置であってもよいし、サーバなどの情報記憶装置であってもよい。
【００４１】
画像生成装置２０は、訓練データ取得部２１０と、学習部２２０と、中間画像取得部２３０と、差分画像生成部２４０と、画像合成部２５０とを備える。
訓練データ取得部２１０は、訓練画像データ供給部１０が供給する訓練データＬＤを取得する。訓練データ取得部２１０は、取得した訓練データＬＤを学習部２２０に供給する。
学習部２２０は、訓練データ取得部２１０が供給する訓練データＬＤを取得する。学習部２２０は、取得した訓練データＬＤを用いて、ＤＲＬＳＲネットワークＮ１の学習を実行する。
ここでＤＲＬＳＲネットワークＮ１の学習とは、畳み込みニューラルネットワークであるＤＲＬＳＲネットワークＮ１の各畳み込み層の各フィルタの画素値を更新することである。ここでＤＲＬＳＲネットワークＮ１の学習では、コスト関数の値が小さくなるように更新される。コスト関数とは、訓練データＬＤに含まれる出力画像の各画素値と、ＤＲＬＳＲネットワークＮ１が出力する出力画像の画素値との差を評価する関数である。ここで、ＤＲＬＳＲネットワークＮ１が出力する出力画像とは、ＤＲＬＳＲネットワークＮ１が出力する差分画像Ｇ２２に訓練データＬＤに含まれる入力画像を合成して得られる画像である。
学習部２２０は、学習結果であるＤＲＬＳＲネットワークＮ１の学習済みのフィルタの画素値を差分画像生成部２４０に供給する。
【００４２】
中間画像取得部２３０は、中間画像供給部３０が供給する中間画像ＬＩを取得する。中間画像取得部２３０は、取得した中間画像ＬＩを差分画像生成部２４０及び画像合成部２５０に供給する。
差分画像生成部２４０は、中間画像取得部２３０が供給する中間画像ＬＩを取得する。差分画像生成部２４０は、学習部２２０が供給するＤＲＬＳＲネットワークＮ１の学習済みのフィルタの画素値を取得する。差分画像生成部２４０は、取得した中間画像ＬＩから、取得した学習済みのフィルタの画素値を適用したＤＲＬＳＲネットワークＮ１を用いて差分画像Ｇ２２を生成する。差分画像生成部２４０は、生成した差分画像Ｇ２２を画像合成部２５０に供給する。
画像合成部２５０は、差分画像生成部２４０が供給する差分画像Ｇ２２を取得する。画像合成部２５０は、中間画像取得部２３０が供給する。中間画像ＬＩを取得する。画像合成部２５０は、取得した差分画像Ｇ２２と、取得した中間画像ＬＩとを合成し合成画像を生成する。画像合成部２５０は、生成した合成画像を出力画像ＨＩとして提示部４０に供給する。
【００４３】
提示部４０は、例えばディスプレイやプリンタであり、画像生成装置２０の画像合成部２５０から供給される出力画像ＨＩを提示する。なお、提示部４０は、ネットワークサーバなどの記憶装置であってもよい。この場合には、提示部４０は、画像合成部２５０から供給される出力画像ＨＩを記憶し、記憶した出力画像ＨＩを他の装置に供給する。
【００４４】
ここで図５を参照し、画像生成装置２０の学習処理について説明する。図５は、本実施形態に係る学習処理の一例を示す図である。
訓練データ取得部２１０は、訓練画像データ供給部１０が供給する訓練データＬＤを取得する（ステップＳ１０）。訓練データ取得部２１０は、取得した訓練データＬＤを学習部２２０に供給する。
訓練データＬＤは、例えば、プレトレーニングに用いる９１枚の画像、及びファインチューニングに用いる１００枚の画像である。
【００４５】
学習部２２０は、取得した訓練データＬＤを用いて、ＤＲＬＳＲネットワークＮ１の学習を実行する（ステップＳ２０）。学習部２２０は、プレトレーニングに訓練データＬＤのうち９１枚の画像を用いる。学習部２２０は、各畳み込み層（畳み込み層ＣＬ１〜畳み込み層ＣＬ１０）の学習率を、例えば０．１とする。学習部２２０は、プレトレーニングの後にファインチューニングを行う。学習部２２０は、ファインチューニングにおいて、プレトレーニングに用いた９１枚の画像と、訓練データＬＤに含まれる１００枚の画像とを合わせて用いる。学習部２２０は、ファインチューニングにおいて、各畳み込み層（畳み込み層ＣＬ１〜畳み込み層ＣＬ１０）の学習率を、例えば１とする。
【００４６】
学習部２２０は、ＤＲＬＳＲネットワークＮ１の学習において、Ｇｒａｄｉｅｎｔ  Ｃｌｉｐｐｉｎｇの手法を用いてよい。Ｇｒａｄｉｅｎｔ  Ｃｌｉｐｐｉｎｇは、学習率を上昇させ、かつ収束性を上げて学習を行う場合に、勾配が発散することを防ぐ手法である。ＤＲＬＳＲネットワークＮ１の学習において用いられる差分学習では、学習率及び収束性がともに高いため、Ｇｒａｄｉｅｎｔ  Ｃｌｉｐｐｉｎｇが用いられることが有効である。
【００４７】
学習部２２０は、学習結果であるＤＲＬＳＲネットワークＮ１の学習済みのフィルタの画素値を差分画像生成部２４０に供給する。差分画像生成部２４０は、学習部２２０が供給するＤＲＬＳＲネットワークＮ１の学習済みのフィルタの画素値を取得する。差分画像生成部２４０は、取得した学習済みのフィルタの画素値を、ＤＲＬＳＲネットワークＮ１の各畳み込み層（畳み込み層ＣＬ１〜畳み込み層ＣＬ１０）の各フィルタの画素値に適用する。
【００４８】
続いて図６を参照し、画像生成装置２０の高精細画像生成処理について説明する。図６は、本実施形態に係る高精細画像生成処理の一例を示す図である。図６に示す高精細画像生成処理では、ＤＲＬＳＲネットワークＮ１の各畳み込み層（畳み込み層ＣＬ１〜畳み込み層ＣＬ１０）の各フィルタは、中間画像Ｇ２１の解像度に一致する解像度の入力画像と出力画像Ｇ２３の解像度に一致する解像度の出力画像との対応関係に基づいてフィルタ特性が学習された学習済みフィルタである。
【００４９】
中間画像取得部２３０は、中間画像供給部３０が供給する中間画像ＬＩを取得する（ステップＳ３０）。中間画像取得部２３０は、取得した中間画像ＬＩを差分画像生成部２４０及び画像合成部２５０に供給する。差分画像生成部２４０は、取得した中間画像ＬＩの各画素の画素値を、ＤＲＬＳＲネットワークＮ１の入力層に入力する。
【００５０】
差分画像生成部２４０は、ＤＲＬＳＲネットワークＮ１用いて、特徴抽出、マッピング、再構築の各処理を行う。
インセプションモデルＩＭ１は、取得した中間画像ＬＩの特徴抽出を行う（ステップＳ４０）。インセプションモデルＩＭ１では、入力層から入力された中間画像ＬＩの画素値が、畳み込み層ＣＬ１、畳み込み層ＣＬ２、及び畳み込み層ＣＬ３の各々に入力される。
インセプションモデルＩＭ１では、フィルタサイズ及びフィルタ特性のうち少なくともフィルタサイズが互いに異なる複数の第１フィルタを中間画像ＬＩに対してそれぞれ適用することにより、適用したフィルタサイズの種類数及びフィルタ特性の種類数に応じた数の第２の画像を生成する。
【００５１】
畳み込み層ＣＬ１は、フィルタサイズが３の８枚の第１フィルタを中間画像ＬＩに適用する。畳み込み層ＣＬ１は、８枚の第１フィルタのフィルタ特性の種類数に応じて８枚の第２の画像を生成する。
畳み込み層ＣＬ２は、フィルタサイズが５の８枚の第１フィルタを中間画像ＬＩに適用する。畳み込み層ＣＬ２は、８枚の第１フィルタのフィルタ特性の種類数に応じて８枚の第２の画像を生成する。
畳み込み層ＣＬ３は、フィルタサイズが９の８枚の第１フィルタを中間画像ＬＩに適用する。畳み込み層ＣＬ３は、８枚の第１フィルタのフィルタ特性の種類数に応じて８枚の第２の画像を生成する。
【００５２】
畳み込み層ＣＬ１、畳み込み層ＣＬ２、及び畳み込み層ＣＬ３が生成した合計２４枚の第２の画像は、連結層Ｃ１に出力される。連結層Ｃ１は、２４枚の第２の画像が入力されると、この２４枚の第２の画像を連結し１枚の第２の画像を生成する。連結層Ｃ１は、生成した第２の画像を畳み込み層ＣＬ４に出力する。
【００５３】
部分Ｐ１は、連結層Ｃ１が出力した第２の画像に対してマッピングの処理を行う（ステップＳ５０）。部分Ｐ１では、インセプションモデルＩＭ１の特徴抽出の処理において複数生成された第２の画像に対して第２フィルタを適用することにより、第２の画像の数よりも少ない数の画像を、それぞれ第３の画像として生成する。部分Ｐ１では、複数のフィルタサイズの第２フィルタを順次適用する。
【００５４】
畳み込み層ＣＬ４は、連結層Ｃ１から第２の画像が入力されると、フィルタサイズが１の８枚の第２フィルタを入力された第２の画像に適用する。畳み込み層ＣＬ４は、８枚の第２フィルタのフィルタ特性の種類数に応じて８枚の第３の画像を生成する。畳み込み層ＣＬ４は、生成した８枚の第３の画像を、８種類のチャンネルをもつ１枚の第３の画像として畳み込み層ＣＬ５に出力する。
畳み込み層ＣＬ５は、畳み込み層ＣＬ４から第３の画像が入力されると、フィルタサイズが３の８枚の第２フィルタを入力された第３の画像に適用する。畳み込み層ＣＬ５は、８枚のフィルタの第２フィルタ特性の種類数に応じて８枚の第３の画像を生成する。畳み込み層ＣＬ５は、生成した８枚の第３の画像を、８種類のチャンネルをもつ１枚の第３の画像として畳み込み層ＣＬ６に出力する。
畳み込み層ＣＬ６は、畳み込み層ＣＬ５から第３の画像が入力されると、フィルタサイズが１の８枚の第２フィルタを入力された第３の画像に適用する。畳み込み層ＣＬ６は、８枚のフィルタの第２フィルタ特性の種類数に応じて８枚の第３の画像を生成する。畳み込み層ＣＬ６は、生成した８枚の第３の画像を、８種類のチャンネルをもつ１枚の第３の画像としてインセプションモデルＩＭ２に出力する。
【００５５】
インセプションモデルＩＭ２は、取得した中間画像ＬＩの再構築の処理を行う（ステップＳ６０）。インセプションモデルＩＭ２では、フィルタサイズ及びフィルタ特性のうち少なくともフィルタサイズが互いに異なる複数の第３フィルタを、部分Ｐ１によるマッピング処理において複数生成された第３の画像に対してそれぞれ適用することにより、適用したフィルタサイズの種類数及びフィルタ特性の種類数に応じた数の第４の画像を生成する。
【００５６】
畳み込み層ＣＬ７は、フィルタサイズが３の８枚の第１フィルタを第３の画像に適用する。畳み込み層ＣＬ７は、８枚の第３フィルタのフィルタ特性の種類数に応じて８枚の第４の画像を生成する。
畳み込み層ＣＬ８は、フィルタサイズが５の８枚の第３フィルタを第３画像に適用する。畳み込み層ＣＬ８は、８枚の第３フィルタのフィルタ特性の種類数に応じて８枚の第４の画像を生成する。
畳み込み層ＣＬ９は、フィルタサイズが９の８枚の第３フィルタを第３の画像に適用する。畳み込み層ＣＬ９は、８枚の第３フィルタのフィルタ特性の種類数に応じて８枚の第４の画像を生成する。
【００５７】
畳み込み層ＣＬ７、畳み込み層ＣＬ８、及び畳み込み層ＣＬ９が生成した合計２４枚の第４の画像は、連結層Ｃ２に出力される。連結層Ｃ２は、２４枚の第４の画像が入力されると、この２４枚の第４の画像を連結し１枚の第４の画像を生成する。連結層Ｃ２は、生成した第４の画像を畳み込み層ＣＬ１０に出力する。
【００５８】
畳み込み層ＣＬ１０は、連結層Ｃ２から入力された１枚の第４の画像から高精細画像の特徴を抽出する（ステップＳ７０）。畳み込み層ＣＬ１０では、インセプションモデルＩＭ２による再構築の処理において複数生成された第４の画像に対して第４フィルタを適用することにより、１つの差分画像Ｇ２２を生成する。畳み込み層ＣＬ１０は、フィルタサイズが１の１枚の第４フィルタを第４画像に適用し、高精細画像の特徴が抽出された差分画像Ｇ２２を生成する。
畳み込み層ＣＬ１０は、生成した差分画像Ｇ２２を差分学習部分ＲＬに出力する。
【００５９】
差分学習部分ＲＬは、中間画像取得部２３０が供給する中間画像Ｇ２１と、畳み込み層ＣＬ１０が出力した差分画像Ｇ２２とを合成する（ステップＳ８０）。差分学習部分ＲＬは、中間画像Ｇ２１と、畳み込み層ＣＬ１０において生成された差分画像Ｇ２２とを合成することにより、中間画像Ｇ２１の空間周波数よりも高い空間周波数を有する出力画像Ｇ２３を生成する。
差分学習部分ＲＬは、中間画像Ｇ２１と差分画像Ｇ２２とを合成した画像を、出力画像Ｇ２３として提示部４０に供給する（ステップＳ９０）。
【００６０】
図７は、本実施形態に係る画像処理方法ＳＲ１と他の手法との定量的な比較の一例を示す図である。図７においては、Ｐｅａｋ  Ｓｉｇｎａｌ−ｔｏ−ｎｏｉｓｅ  ｒａｔｉｏ（ＰＳＮＲ）、Ｓｔｒｕｃｔｕｒａｌ  Ｓｉｍｉｌａｒｉｔｙ（ＳＳＩＭ）、Ｆｅａｔｕｒｅ  Ｓｍｉｌａｒｉｔｙ（ＦＳＩＭ）、及び計算時間について、画像処理方法ＳＲ１と従来の画像処理方法とを比較した結果が示されている。図７においては、２つのデータセット（Ｂ１００、及びＳｅｔ５）に対する結果が示されている。
【００６１】
ＰＳＮＲとは、生成された高精細画像と、既知の高精細画像との類似度を表す指標である。ＳＳＩＭとは、生成された高精細画像と、既知の高精細画像との構造的な内容に基づいて画質を測定する指標である。ＦＳＩＭとは、人間の視覚は主に画像の低次の特徴に基づいて情報処理を行っているという事実に基づいた指標である。ＦＳＩＭは、Ｐｈａｓｅ  Ｃｏｎｇｒｕｅｎｃｙ及びＩｍａｇｅ  Ｇｒａｄｉｅｎｔ  Ｍａｇｎｉｔｕｄｅの２つの特徴を合わせて、局所的な画質を特徴づける。ＰＳＮＲ、ＳＳＩＭ、及びＦＳＩＭの各値が高いほど、画像は高い画質をもつ。
【００６２】
図７に示す計算時間から、画像処理方法ＳＲ１は、従来の画像処理方法に比べ計算コストが低いことが確かめられる。さらに、画像処理方法ＳＲ１では、いくつかの従来の画像処理方法に比べ、ＰＳＮＲ、ＳＳＩＭ、及びＦＳＩＭの各値が大きくなっている。例えば、画像処理方法ＳＲ１は、計算時間ではＦＳＲＣＮＮ―ｓの計算時間よりも短く、かつＰＳＮＲではＦＳＲＣＮＮ―ｓに比べて大きな値が得られていることがＢ１００のデータセットの結果からわかる。さらに、画像処理方法ＳＲ１は、ＳＳＩＭ及びＦＳＩＭではＦＳＲＣＮＮ―ｓに比べて大きな値が得られていることがＳｅｔ５のデータセットの結果からわかる。
【００６３】
以上に説明したように、本実施形態に係る画像処理方法ＳＲ１は、畳み込みニューラルネットワーク（ＤＲＬＳＲネットワークＮ１）を用いた画像処理方法であって、第１ステップ（インセプションモデルＩＭ１による特徴抽出の処理）と、第２ステップ（部分Ｐ１によるマッピングの処理）と、第３ステップ（インセプションモデルＩＭ２による再構築の処理）と、第４ステップ（畳み込み層ＣＬ１０による高精細画像の特徴抽出の処理）と、第５ステップ（差分学習部分ＲＬによる合成の処理）とを有する。
【００６４】
第１ステップ（インセプションモデルＩＭ１による特徴抽出の処理）では、フィルタサイズ及びフィルタ特性のうち少なくともフィルタサイズが互いに異なる複数の第１フィルタ（畳み込み層ＣＬ１のフィルタ、畳み込み層ＣＬ２のフィルタ、及び畳み込み層ＣＬ３のフィルタ）を第１の画像（中間画像Ｇ２１）に対してそれぞれ適用することにより、適用したフィルタサイズの種類数及びフィルタ特性の種類数に応じた数の第２の画像を生成する。
【００６５】
第２ステップ（部分Ｐ１によるマッピングの処理）では、第１ステップにおいて複数生成された第２の画像に対して第２フィルタ（畳み込み層ＣＬ４のフィルタ、畳み込み層ＣＬ５のフィルタ、及び畳み込み層ＣＬ６のフィルタ）を適用することにより、第２の画像の数よりも少ない数の画像を、それぞれ第３の画像として生成する。
【００６６】
第３ステップ（インセプションモデルＩＭ２による再構築の処理）では、フィルタサイズ及びフィルタ特性のうち少なくともフィルタサイズが互いに異なる複数の第３フィルタ（畳み込み層ＣＬ７のフィルタ、畳み込み層ＣＬ８のフィルタ、及び畳み込み層ＣＬ９のフィルタ）を、第２ステップにおいて複数生成された第３の画像に対してそれぞれ適用することにより、適用したフィルタサイズの種類数及びフィルタ特性の種類数に応じた数の第４の画像を生成する。
【００６７】
第４ステップ（畳み込み層ＣＬ１０による高精細画像の特徴抽出の処理）では、第３ステップにおいて複数生成された第４の画像に対して第４フィルタ（畳み込み層ＣＬ１０のフィルタ）を適用することにより、１つの第５の画像（差分画像Ｇ２２）を生成する。
第５ステップ（差分学習部分ＲＬによる合成の処理）では、第１の画像（中間画像Ｇ２１）と、第４ステップにおいて生成された第５の画像（差分画像Ｇ２２）とを合成することにより、第１の画像（中間画像Ｇ２１）の空間周波数よりも高い空間周波数を有する第６の画像（出力画像Ｇ２３）を生成する。
【００６８】
第１フィルタ（畳み込み層ＣＬ１のフィルタ、畳み込み層ＣＬ２のフィルタ、及び畳み込み層ＣＬ３のフィルタ）、第２フィルタ（畳み込み層ＣＬ４のフィルタ、畳み込み層ＣＬ５のフィルタ、及び畳み込み層ＣＬ６のフィルタ）、第３フィルタ（畳み込み層ＣＬ７のフィルタ、畳み込み層ＣＬ８のフィルタ、及び畳み込み層ＣＬ９のフィルタ）、及び第４フィルタ（畳み込み層ＣＬ１０のフィルタ）にそれぞれ含まれるフィルタは、第１の画像（中間画像Ｇ２１）の解像度に一致する解像度の入力画像と第６の画像（出力画像Ｇ２３）の解像度に一致する解像度の出力画像との対応関係に基づいてフィルタ特性が学習された学習済みフィルタである。
【００６９】
この構成により、本実施形態に係る画像処理方法ＳＲ１では、畳み込みニューラルネットワークの畳み込み層のフィルタにより画像の特徴を抽出することができるため、元の画像よりも高い空間周波数を有する高精細画像を、特徴量を予め抽出することなく生成することができる。また、本実施形態に係る画像処理方法ＳＲ１では、差分学習及インセプションモデルを用いているため、高い収束性と低い計算コストを実現しており、深層学習の手法を用いて高精細画像を生成する場合に計算時間を短縮することができる。
【００７０】
また、本実施形態に係る画像処理方法ＳＲ１では、第２ステップ（部分Ｐ１によるマッピングの処理）において、複数のフィルタサイズの第２フィルタ（畳み込み層ＣＬ４のフィルタ、畳み込み層ＣＬ５のフィルタ、及び畳み込み層ＣＬ６のフィルタ）を順次適用する。
この構成により、本実施形態に係る画像処理方法ＳＲ１では、第１ステップ（インセプションモデルＩＭ１による特徴抽出の処理）において生成された第２の画像から、第２の画像の数よりも少ない数の特徴を抽出することができる。
【００７１】
なお、本実施形態に係る画像処理方法ＳＲ１におけるＤＲＬＳＲネットワークＮ１の各畳み込み層のフィルタのフィルタサイズ、及びフィルタの数は一例であって、扱う画像や計算コストによって変更されてよい。畳み込み層のフィルタのフィルタサイズ、及びフィルタは、各畳み込み層毎に変更されてよい。
また、ＤＲＬＳＲネットワークＮ１の、インセプションモデルＩＭ１及びインセプションモデルＩＭ２に含まれる畳み込み層の数は、扱う画像や計算コストによって変更されてよい。インセプションモデルＩＭ１及びインセプションモデルＩＭ２に含まれる畳み込み層の数は、３つより多くしてもよいし、３つより少なくしてもよい。
【００７２】
なお、本実施形態に係る画像処理方法ＳＲ１では、一例として、補間画像Ｇ１２からＹＣｂＣｒ変換により輝度の情報をもつ輝度画像Ｇ１５を分離し、この輝度画像Ｇ１５から特徴を抽出し高精細輝度画像Ｇ１６を生成する場合について説明したが、画像処理方法ＳＲ１は、青色の色差、及び赤色の色差から特徴を抽出し高精細画像を生成してもよい。また、画像処理方法ＳＲ１は、輝度、青色の色差、及び赤色の色差の２種類以上の情報の組について特徴を抽出し高精細画像を生成してもよい。
画像処理方法ＳＲ１が輝度、青色の色差、及び赤色の色差の２種類以上の情報の組について特徴を抽出する場合、ＤＲＬＳＲネットワークＮ１に入力される中間画像Ｇ２１は、２種類以上の画素値をもつ画像となる。ＤＲＬＳＲネットワークＮ１の畳み込み層ＣＬ１〜畳み込み層ＣＬ１０の各フィルタは、２種類以上の画素値をもつ画像が入力されることに応じて、多チャンネルに対応したフィルタとなる。
また、画像処理方法ＳＲ１において用いられる色空間の変換方式は、ＹＣｂＣｒ変換以外の方式であってもよい。画像処理方法ＳＲ１において、例えば、ＲＧＢ変換が用いられてもよい。
【００７３】
（第２の実施形態）
以下、図面を参照しながら本発明の第２の実施形態について詳しく説明する。
上記第１の実施形態では、画像処理方法ＳＲ１は、静止画像から高精細画像を生成する場合について説明をした。本実施形態では、画像処理方法が、動画像から高精細画像を生成する場合について説明をする。
本実施形態に係る画像処理方法を動画像処理方法ＳＲ２という。
【００７４】
図８は、本発明の第２の実施形態に係る動画像処理方法ＳＲ２の概要を示す図である。動画像処理方法ＳＲ２では、動画低解像度画像Ｇ８１から、動画低解像度画像Ｇ８１よりも高い解像度と、動画低解像度画像Ｇ８１よりも大きな空間周波数とをもつ動画高精細画像Ｇ８４を生成する。動画低解像度画像Ｇ８１とは、例えば１９２０×１０８０の画素数（２０７万画素）の複数のフレームのハイビジョン画像から構成される動画像である。動画高精細画像Ｇ８４とは、例えば３８４０×２１６０の画素数（８２９万４４００画素数）の複数のフレームの画像から構成されるいわゆる４Ｋの動画像である。
動画像処理方法ＳＲ２では、複数の第１の画像同士をフレーム補間して得られる補間画像と第１の画像とに対して第１ステップ（ＤＲＬＳＲネットワークＮ１のインセプションモデルＩＭ１による特徴抽出の処理）が実行される。ここで、第１の画像とは、動画中間画像Ｇ８３のうち補間画像が拡大された画像を除く画像である。つまり、第１の画像とは、複数のフレームからなる動画像のうちの１フレームの画像である。
【００７５】
動画像処理方法ＳＲ２では、動画低解像度画像Ｇ８１を構成する複数のフレームの画像に対してフレーム補間を行い、フレーム補間画像Ｇ８２を生成する。フレーム補間画像Ｇ８２とは、複数のフレームからなる動画像動画である動画低解像度画像Ｇ８１のうちの１フレームの画像同士の間に、これらの画像と同じ解像度をもつ補間画像が所定の枚数だけ加えられた複数のフレームの画像である。
【００７６】
動画像処理方法ＳＲ２では、フレーム補間画像Ｇ８２を構成する複数フレームの画像の各々を拡大し、動画中間画像Ｇ８３を生成する。フレーム補間画像Ｇ８２を構成する複数フレームの画像の各々は、例えば、バイキュービック法を用いて拡大される。
【００７７】
動画像処理方法ＳＲ２では、動画中間画像Ｇ８３を構成する複数フレームの画像の各々に対して実施形態１において説明した画像処理方法ＳＲ１を適用し、動画高精細画像Ｇ８４を生成する。
【００７８】
本実施形態の超高精細画像の生成方法である動画像処理方法ＳＲ２は、例えば、低解像度の映像コンテンツの高解像度化、低解像度の画像を監視カメラによるセキュリティ装置、低解像度の携帯端末を用いて撮影された動画像の高精細化、車載カメラにより撮影された動画像の高精細化による運転支援や事故分析への応用、ドローンにより撮影された画像の高精細化による３Ｄモデルの再構築などに適用することができる。
【００７９】
事故分析などでは、事故状況の動画像の取得に緊急性を要する場合がある。動画像の取得に緊急性を要する場合、動画像の高精細化よりも送信データ量を少なくすることが求められることがある。また、携帯端末の利用においては、送信できるデータ量に制限が設けられており、低解像度の画像であっても動きが滑らかな動画を視聴したい場合がある。
【００８０】
この点、動画像処理方法ＳＲ２では、高精細化の前にフレーム補間が行われる。動画像処理方法ＳＲ２では、フレーム補間画像Ｇ８２のうち一部のフレームの画像のみをＤＲＬＳＲネットワークＮ１により高精細化してもよい。動画像処理方法ＳＲ２を、例えば、車載カメラにより撮影された動画像の高精細化による事故分析に適用する場合、フレーム補間画像Ｇ８２のうち一部のフレームの画像のみを高精細化し、低解像度画像と高精細画像とを混ぜて、使用者に送信してよい。また、動画像処理方法ＳＲ２を、例えば、車載カメラにより撮影された動画像の高精細化による事故分析に適用する場合、まずフレーム補間画像Ｇ８２を使用者に送信してから、フレーム補間画像Ｇ８２を高精細化し再度使用者に送信してもよい。
また、使用者の通信の環境に応じて、フレーム補間画像Ｇ８２のうち動画高精細画像Ｇ８４へと変換されるフレームの割合が設定されるようにしてもよい。
【００８１】
以上に説明したように、本実施形態に係る動画像処理方法ＳＲ２では、第１の画像（動画中間画像Ｇ８３のうち補間画像が拡大された画像を除く画像）は複数のフレームからなる動画像のうちの１フレームの画像であり、複数の第１の画像同士をフレーム補間して得られる補間画像と第１の画像（動画中間画像Ｇ８３のうち補間画像が拡大された画像を除く画像）とに対して第１ステップ（ＤＲＬＳＲネットワークＮ１のインセプションモデルＩＭ１による特徴抽出の処理）が実行される。
この構成により、本実施形態に係る動画像処理方法ＳＲ２では、低い計算コストにおいて低解像度の動画像から高精細の動画像を生成することができる。
【００８２】
なお、上述した実施形態における画像生成装置２０の一部、例えば、訓練データ取得部２１０、学習部２２０、中間画像取得部２３０、差分画像生成部２４０、及び画像合成部２５０をコンピュータで実現するようにしてもよい。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、画像生成装置２０に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
また、上述した実施形態における画像生成装置２０の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現してもよい。画像生成装置２０の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
【００８３】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【符号の説明】
【００８４】
ＳＲ１…画像処理方法、ＳＲ２…動画像処理方法、Ｇ１１…低解像度画像、Ｇ１２…補間画像、Ｇ１３…青色差画像、Ｇ１４…赤色差画像、Ｇ１５…輝度画像、Ｇ１６…高精細輝度画像、Ｇ１７…高精細画像、Ｎ１…ＤＲＬＳＲネットワーク、ＩＭ１、ＩＭ２…インセプションモデル、Ｐ１…部分、ＲＬ…差分学習部分、ＣＬ１、ＣＬ２、ＣＬ３、ＣＬ４、ＣＬ５、ＣＬ６、ＣＬ７、ＣＬ８、ＣＬ９、ＣＬ１０…畳み込み層、Ｃ１、Ｃ２…連結層、Ｇ２１、ＬＩ…中間画像、Ｇ２２…差分画像、Ｇ２３、ＨＩ…出力画像、１…画像生成システム、１０…訓練画像データ供給部、２０…画像生成装置、３０…中間画像供給部、４０…提示部、２１０…訓練データ取得部、２２０…学習部、２３０…中間画像取得部、２４０…差分画像生成部、２５０…画像合成部、ＬＤ…訓練データ、Ｇ８１…動画低解像度画像、Ｇ８２…フレーム補間画像、Ｇ８３…動画中間画像、Ｇ８４…動画高精細画像
【図１】
2019067078.tif 000003
【図２】
2019067078.tif 000004
【図３】
2019067078.tif 000005
【図４】
2019067078.tif 000006
【図５】
2019067078.tif 000007
【図６】
2019067078.tif 000008
【図７】
2019067078.tif 000009
【図８】
2019067078.tif 000010