(57)【要約】  超解像化部９１は、入力された対象画像から、その対象画像よりも解像度の高い画像である高解像画像を生成する超解像化装置であって、対象画像から段階的に高い解像度の画像を生成する。記憶部９２は、対象画像の解像度と高解像画像の解像度との間の解像度である中間解像度からその高解像画像の解像度に超解像化するパラメータ、および、対象画像の解像度から中間解像度に超解像化するパラメータを記憶する。超解像化部９１は、パラメータを用いて、対象画像から少なくとも１つの中間解像度の画像を生成し、生成された中間解像度の画像から高解像画像を生成する。
2018235168.tif 000002
【特許請求の範囲】
【請求項１】
学習用画像に基づいて、当該学習用画像よりも解像度の低い画像である低解像画像を生成する低解像化部と、
２つの近接する解像度の組合せである第一解像度および第二解像度のそれぞれの画像を用いて、前記第一解像度の画像から前記第二解像度の画像に超解像化するパラメータを学習する学習部と、
学習された解像度の組合せごとに前記パラメータを記憶する記憶部とを備え、
前記低解像化部は、前記学習用画像に基づいて、段階的に複数の解像度の低解像画像を生成し、
学習部は、前記学習用画像および前記低解像画像のうち、近接する解像度の画像を第一解像度の画像および第二解像度の画像として用いる
ことを特徴とする学習装置。
【請求項２】
記憶部に記憶されたパラメータを用いて、対象画像よりも解像度の高い画像を生成する超解像化部を備え、
前記超解像化部は、低解像化部が生成した低解像画像、または、前記超解像化部が生成した低解像画像を超解像化して、より解像度の高い画像を生成し、
学習部は、前記超解像化部が生成した低解像画像を第一解像度の画像として用いて、パラメータを学習する
請求項１記載の学習装置。
【請求項３】
低解像化部によって生成された第二解像度の画像と、記憶部に記憶されたパラメータを用いて第一解像度の画像から超解像化された画像とを比較して、画像劣化を判定する画像劣化判定部を備え、
前記画像劣化判定部は、前記画像劣化が予め定めた閾値よりも高い場合、第一解像度と第二解像度の間の低解像画像を生成する倍率を特定し、
低解像化部は、特定された倍率で低解像画像を生成し、
学習部は、生成された低解像画像に超解像化するパラメータを第一解像度の画像を用いて学習し、第二解像度の画像に超解像化するパラメータを生成された低解像画像を用いて学習する
請求項２記載の学習装置。
【請求項４】
低解像化部は、学習用画像から低解像画像を生成し、生成された低解像画像から、さらに解像度の低い低解像画像を生成する
請求項１から請求項３のうちのいずれか１項に記載の学習装置。
【請求項５】
低解像化部が低解像画像を生成する際の倍率を決定する倍率決定部を備え、
前記倍率決定部は、解像度が近接する画像の画像劣化が予め定めた閾値よりも低くなる倍率を特定し、
低解像化部は、特定された倍率で低解像画像を生成する
請求項１から請求項４のうちのいずれか１項に記載の学習装置。
【請求項６】
入力された対象画像から、当該対象画像よりも解像度の高い画像である高解像画像を生成する超解像化装置であって、
前記対象画像から段階的に高い解像度の画像を生成する超解像化部と、
前記対象画像の解像度と前記高解像画像の解像度との間の解像度である中間解像度から当該高解像画像の解像度に超解像化するパラメータ、および、前記対象画像の解像度から前記中間解像度に超解像化するパラメータを記憶する記憶部とを備え、
前記超解像化部は、前記パラメータを用いて、前記対象画像から少なくとも１つの前記中間解像度の画像を生成し、生成された中間解像度の画像から前記高解像画像を生成する
ことを特徴とする超解像化装置。
【請求項７】
記憶部は、解像度の異なる複数の中間解像度に超解像化するパラメータを記憶し、
超解像化部は、前記パラメータを用いて、解像度が高くなるように段階的に中間解像度の画像を生成する
請求項６記載の超解像化装置。
【請求項８】
学習用画像に基づいて、当該学習用画像よりも解像度の低い画像である低解像画像を、段階的に複数の解像度分生成し、
２つの近接する解像度の組合せである第一解像度および第二解像度のそれぞれの画像を用いて、前記第一解像度の画像から前記第二解像度の画像に超解像化するパラメータを学習し、
学習された解像度の組合せごとに前記パラメータを記憶部に記憶し、
前記学習の際、前記学習用画像および前記低解像画像のうち、近接する解像度の画像を第一解像度の画像および第二解像度の画像として用いる
ことを特徴とする学習方法。
【請求項９】
記憶部に記憶されたパラメータを用いて、対象画像よりも解像度の高い画像を生成する超解像化処理を行い、
前記超解像化処理で、生成された低解像画像、または、前記超解像化処理で生成された低解像画像を超解像化して、より解像度の高い画像を生成し、
より解像度の高い画像として生成された低解像画像を第一解像度の画像として用いて、パラメータを学習する
請求項８記載の学習方法。
【請求項１０】
入力された対象画像から、当該対象画像よりも解像度の高い画像である高解像画像を生成する超解像化方法であって、
前記対象画像から段階的に高い解像度の画像を生成し、
前記対象画像の解像度と前記高解像画像の解像度との間の解像度である中間解像度から当該高解像画像の解像度に超解像化するパラメータ、および、前記対象画像の解像度から前記中間解像度に超解像化するパラメータを記憶する記憶部を参照し、当該記憶部に記憶された前記パラメータを用いて、前記対象画像から少なくとも１つの前記中間解像度の画像を生成し、
生成された中間解像度の画像から前記高解像画像を生成する
ことを特徴とする超解像化方法。
【請求項１１】
解像度の異なる複数の中間解像度に超解像化するパラメータを記憶する記憶部を参照し、当該記憶部に記憶されたパラメータを用いて、解像度が高くなるように段階的に中間解像度の画像を生成する
請求項１０記載の超解像化方法。
【請求項１２】
コンピュータに、
学習用画像に基づいて、当該学習用画像よりも解像度の低い画像である低解像画像を生成する低解像化処理、
２つの近接する解像度の組合せである第一解像度および第二解像度のそれぞれの画像を用いて、前記第一解像度の画像から前記第二解像度の画像に超解像化するパラメータを学習する学習処理、および、
学習された解像度の組合せごとに前記パラメータを記憶部に記憶する記憶処理とを実行させ、
前記低解像化処理で、前記学習用画像に基づいて、段階的に複数の解像度の低解像画像を生成させ、
学習処理で、前記学習用画像および前記低解像画像のうち、近接する解像度の画像を第一解像度の画像および第二解像度の画像として用いる
ための学習用プログラム。
【請求項１３】
コンピュータに、
記憶部に記憶されたパラメータを用いて、対象画像よりも解像度の高い画像を生成する超解像化処理を実行させ、
前記超解像化処理で、低解像化部が生成した低解像画像、または、前記超解像化部が生成した低解像画像を超解像化して、より解像度の高い画像を生成させ、
学習処理で、前記超解像化処理で生成された低解像画像を第一解像度の画像として用いて、パラメータを学習させる
請求項１２記載の学習プログラム。
【請求項１４】
入力された対象画像から、当該対象画像よりも解像度の高い画像である高解像画像を生成するコンピュータに適用される超解像化プログラムであって、
前記コンピュータに、
前記対象画像から段階的に高い解像度の画像を生成する超解像化処理を実行させ、
前記超解像化処理で、前記対象画像の解像度と前記高解像画像の解像度との間の解像度である中間解像度から当該高解像画像の解像度に超解像化するパラメータ、および、前記対象画像の解像度から前記中間解像度に超解像化するパラメータを記憶する記憶部を参照させ、当該記憶部に記憶された前記パラメータを用いて、前記対象画像から少なくとも１つの前記中間解像度の画像を生成させ、生成された中間解像度の画像から前記高解像画像を生成させる
ための超解像化プログラム。
【請求項１５】
コンピュータに、
超解像化処理で、解像度の異なる複数の中間解像度に超解像化するパラメータを記憶する記憶部を参照させ、当該記憶部に記憶された前記パラメータを用いて、解像度が高くなるように段階的に中間解像度の画像を生成させる
請求項１４記載の超解像化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、低解像度の画像を高解像度にする処理を行うための学習装置、超解像化装置、学習方法、超解像化方法、学習用プログラムおよび超解像化プログラムに関する。
【背景技術】
【０００２】
近年、監視カメラやＷｅｂカメラの普及により、これらのカメラによって撮像される画像データや映像データが増大している。これらのデータを利用し、人間が不審者や不審物を認識することも多い。しかし、撮像されるデータの解像度が低い場合、人間が不審者や不審物を認識するには限界がある。【０００３】
例えば、既設のカメラが安価な場合、そのカメラのスペックも低いことが想定される。このような既設のカメラでは、高解像度のデータを取得することは困難である一方、このカメラを用いて遠くに存在する人やモノなどを高精度に認識したいという要望もある。そこで、低解像度のデータから高解像度のデータを生成する超解像化技術が用いられることがある。【０００４】
特許文献１には、事例ベースの学習型超解像方式として、劣化画像から復元画像を生成する画像処理装置が記載されている。特許文献１に記載された画像処理装置は、学習画像である高解像画像を劣化させて劣化画像を生成し、高解像画像と対応する劣化画像のペアに基づく辞書を作成する。これにより、画像処理の対象となる入力画像の最適なパッチを探し、得られたパッチとペアとなる学習用高解像画像を用いて、合成処理を行う。【０００５】
また、事例ベースの学習型超解像方式よりも精度を向上させた深層学習ベースの学習型超解像方式として、ＳＲＣＮＮ（Super-Resolution Convolutional Neural Network ）や、ＶＤＳＲ（Very Deep Super Resolution）などが知られている。【０００６】
特許文献２には、解像度が異なる複数の段階で検出を行う検出器が記載されている。特許文献２に記載された検出器は、複数のモダリティ種別のそれぞれに対して、入力データに含まれるオブジェクトの属性が複数の属性値の何れであるかを、解像度が相互に異なる複数段階の処理で検出する。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】国際公開第２０１４／０８７６５２号
【特許文献２】特開２０１２−０２２５３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
一方、低解像画像から超解像化する際の倍率が高い場合、超解像化により高精度の画像を得ることが困難という課題がある。例えば、上述するＳＲＣＮＮや、ＶＤＳＲは、低い倍率での超解像化を想定している。そのため、低解像画像から目的の解像度に直接超解像化する場合、低解像画像から超解像化する倍率が高くなればなるほど、パラメータ数が多くなるため、高精度な画像を得ることが困難になる。【０００９】
図１５は、超解像化の例を示す説明図である。図１５に例示するように、２×２の低解像画像Ｌ１が存在するとする。ここで、数字の記載されていないマスが、超解像化して補完すべき部分に対応する。例えば、画像Ｌ１を４×４の画像Ｌ２に超解像化する場合、高精度の画像を得ることは比較的容易と言える。しかし、画像Ｌ１を８×８の画像Ｌ３に超解像化する場合、画像Ｌ２に超解像化する場合に比べてパラメータ数も多くなるため、高精度な画像を得ることは困難である。【００１０】
また、特許文献１および特許文献２に記載のいずれの内容も、最適な解像度の画像を選択するものであり、画像処理の対象となる画像を高精度化することは難しい。また、特許文献１に記載された画像処理装置は、作成された辞書から、画像処理の対象となる入力画像のパッチに対応する最適な復元パッチを探索し、合成処理により超解像画像を生成する。しかし、ここで作成される辞書に登録される劣化画像は、様々な状況を考慮した劣化画像が含まれる。そのため、上述するような高い倍率の超解像化を行う場合、同様にパラメータ数は多くなってしまうため、高精度な画像を得ることは困難である。【００１１】
そこで、本発明は、低解像画像から高精度な高解像画像を生成できる学習装置、超解像化装置、学習方法、超解像化方法、学習用プログラムおよび超解像化プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明による学習装置は、学習用画像に基づいて、その学習用画像よりも解像度の低い画像である低解像画像を生成する低解像化部と、２つの近接する解像度の組合せである第一解像度および第二解像度のそれぞれの画像を用いて、第一解像度の画像から第二解像度の画像に超解像化するパラメータを学習する学習部と、学習された解像度の組合せごとにパラメータを記憶する記憶部とを備え、低解像化部が、学習用画像に基づいて、段階的に複数の解像度の低解像画像を生成し、学習部が、学習用画像および低解像画像のうち、近接する解像度の画像を第一解像度の画像および第二解像度の画像として用いることを特徴とする。【００１３】
本発明による超解像化装置は、入力された対象画像から、その対象画像よりも解像度の高い画像である高解像画像を生成する超解像化装置であって、対象画像から段階的に高い解像度の画像を生成する超解像化部と、対象画像の解像度と高解像画像の解像度との間の解像度である中間解像度からその高解像画像の解像度に超解像化するパラメータ、および、対象画像の解像度から中間解像度に超解像化するパラメータを記憶する記憶部とを備え、超解像化部は、パラメータを用いて、対象画像から少なくとも１つの中間解像度の画像を生成し、生成された中間解像度の画像から高解像画像を生成することを特徴とする。【００１４】
本発明による学習方法は、学習用画像に基づいて、その学習用画像よりも解像度の低い画像である低解像画像を、段階的に複数の解像度分生成し、２つの近接する解像度の組合せである第一解像度および第二解像度のそれぞれの画像を用いて、第一解像度の画像から第二解像度の画像に超解像化するパラメータを学習し、学習された解像度の組合せごとにパラメータを記憶部に記憶し、学習の際、学習用画像および低解像画像のうち、近接する解像度の画像を第一解像度の画像および第二解像度の画像として用いることを特徴とする。【００１５】
本発明による超解像化方法は、入力された対象画像から、その対象画像よりも解像度の高い画像である高解像画像を生成する超解像化方法であって、対象画像から段階的に高い解像度の画像を生成し、対象画像の解像度と高解像画像の解像度との間の解像度である中間解像度からその高解像画像の解像度に超解像化するパラメータ、および、対象画像の解像度から中間解像度に超解像化するパラメータを記憶する記憶部を参照し、その記憶部に記憶されたパラメータを用いて、対象画像から少なくとも１つの中間解像度の画像を生成し、生成された中間解像度の画像から高解像画像を生成することを特徴とする。【００１６】
本発明による学習用プログラムは、コンピュータに、学習用画像に基づいて、その学習用画像よりも解像度の低い画像である低解像画像を生成する低解像化処理、２つの近接する解像度の組合せである第一解像度および第二解像度のそれぞれの画像を用いて、第一解像度の画像から第二解像度の画像に超解像化するパラメータを学習する学習処理、および、学習された解像度の組合せごとにパラメータを記憶部に記憶する記憶処理とを実行させ、低解像化処理で、学習用画像に基づいて、段階的に複数の解像度の低解像画像を生成させ、学習処理で、学習用画像および低解像画像のうち、近接する解像度の画像を第一解像度の画像および第二解像度の画像として用いることを特徴とする。【００１７】
本発明による超解像化プログラムは、入力された対象画像から、その対象画像よりも解像度の高い画像である高解像画像を生成するコンピュータに適用される超解像化プログラムであって、コンピュータに、対象画像から段階的に高い解像度の画像を生成する超解像化処理を実行させ、超解像化処理で、対象画像の解像度と高解像画像の解像度との間の解像度である中間解像度からその高解像画像の解像度に超解像化するパラメータ、および、対象画像の解像度から中間解像度に超解像化するパラメータを記憶する記憶部を参照させ、その記憶部に記憶されたパラメータを用いて、対象画像から少なくとも１つの中間解像度の画像を生成させ、生成された中間解像度の画像から高解像画像を生成させることを特徴とする。
【発明の効果】
【００１８】
本発明によれば、低解像画像から高精度な高解像画像を生成できる。
【図面の簡単な説明】
【００１９】
【図１】本発明による超解像化システムの第１の実施形態の構成例を示すブロック図である。
【図２】第１の実施形態の学習部の例を示す説明図である。
【図３】超解像化部の構成例を示す説明図である。
【図４】学習処理を行う動作例を示す説明図である。
【図５】超解像化処理を行う動作例を示すフローチャートである。
【図６】一般的な高解像化処理を行う装置を示すフローチャートである。
【図７】超解像化を行う動作例を示す説明図である。
【図８】第２の実施形態の学習部の例を示す説明図である。
【図９】第３の実施形態の学習部の例を示す説明図である。
【図１０】第４の実施形態の学習部の例を示す説明図である。
【図１１】本発明による超解像化システムの第５の実施形態の構成例を示すブロック図である。
【図１２】第６の実施形態の学習部の例を示す説明図である。
【図１３】本発明による学習装置の概要を示すブロック図である。
【図１４】本発明による超解像化装置の概要を示すブロック図である。
【図１５】超解像化の例を示す説明図である。
【発明を実施するための形態】
【００２０】
実施形態１．
以下、本発明の実施形態を図面を参照して説明する。図１は、本発明による超解像化システムの第１の実施形態の構成例を示すブロック図である。本実施形態の超解像化システム１００は、学習用画像入力部１０と、学習部２０と、パラメータ保持部３０と、超解像化対象画像入力部４０と、超解像化部５０と、画像出力部６０とを備えている。なお、図１に示す一方向性の矢印は、情報の流れの方向を端的に示したものであり、双方向性を排除するものではない。
【００２１】
学習用画像入力部１０は、後述する学習部２０が学習に用いる画像を入力する。学習用画像入力部１０は、通信ネットワークを介して受信した画像を学習部２０に入力してもよいし、学習用画像が記憶された記憶部（図示せず）から画像を読み取り、読み取った画像を学習部２０に入力してもよい。
【００２２】
学習部２０は、超解像化するパラメータを学習し、学習したパラメータを後述するパラメータ保持部３０に記憶する。なお、パラメータ保持部３０は、学習部２０に含まれていてもよい。
【００２３】
図２は、第１の実施形態の学習部２０の例を示す説明図である。なお、本実施形態の学習部２０は、パラメータ保持部３０を含むものとする。また、図１と同様、なお、図２に示す一方向性の矢印は、情報の流れの方向を端的に示したものであり、双方向性を排除するものではない。以下の図面でも同様である。学習部２０は、複数の低解像化手段２１ａ，２１ｂ，２１ｃと、複数の超解像化学習手段２２ａ，２２ｂ，２２ｃと、パラメータ保持部３０とを含む。また、パラメータ保持部３０は、複数の学習パラメータ保持部３０ａ，３０ｂ，３０ｃとを有する。
【００２４】
以下の説明では、低解像化手段２１ａ，２１ｂ，２１ｃに共通する処理を説明する場合、各低解像化手段２１ａ，２１ｂ，２１ｃを、単に、低解像化手段と記す。また、超解像化学習手段２２ａ，２２ｂ，２２ｃに共通する処理を説明する場合、各超解像化学習手段２２ａ，２２ｂ，２２ｃを、単に、超解像化学習手段と記す。
【００２５】
また、本実施形態では、低解像化手段が複数の低解像化手段２１ａ，２１ｂ，２１ｃで実現される場合を例示しているが、各低解像化手段２１ａ，２１ｂ，２１ｃが行う処理を１つの低解像化手段がまとめて行ってもよい。同様に、本実施形態では、超解像化学習手段が複数の超解像化学習手段２２ａ，２２ｂ，２２ｃで実現される場合を例示しているが、超解像化学習手段２２ａ，２２ｂ，２２ｃが行う処理を１つの超解像化学習手段がまとめて行ってもよい。
【００２６】
また、本実施形態では、パラメータ保持部３０が複数の学習パラメータ保持部３０ａ，３０ｂ，３０ｃで実現される場合を例示しているが、１つの記憶手段が学習パラメータ保持部３０ａ，３０ｂ，３０ｃが記憶する情報を、それぞれ記憶するようにしてもよい。パラメータ保持部３０は、例えば、磁気ディスク装置により実現される。
【００２７】
低解像化手段は、学習用画像入力部１０が入力した学習用画像に基づいて、その学習用画像よりも解像度の低い画像である低解像画像を生成する。なお、以下の説明では、低解像画像を生成する元になる学習用画像のことを、高解像画像と記すこともある。
【００２８】
低解像化手段は、学習用画像に基づいて、段階的に複数の解像度の低解像画像を生成する。具体的には、本実施形態では、低解像化手段２１ａ，２１ｂ，２１ｃが、それぞれ学習用画像に基づいて、解像度の異なる低解像画像を生成する。なお、本実施形態では、生成する低解像画像の倍率が予め定められているものとする。
【００２９】
ここでは、段階的に低解像画像を生成するため、低解像化手段２１ａが生成する低解像画像よりも、低解像化手段２１ｂが生成する低解像画像の方が解像度が低いものとし、低解像化手段２１ｂが生成する低解像画像よりも、低解像化手段２１ｃが生成する低解像画像の方が解像度が低いものとする。以下の説明では、低解像化手段２１ａが画像を低解像化する倍率を（１／Ｎ１）と記し、低解像化手段２１ｂが画像を低解像化する倍率を（１／Ｎ２）と記し、低解像化手段２１ｃが画像を低解像化する倍率を（１／Ｎ３）と記す。また、以下の説明では、上記倍率で解像度を表すことがある。すなわち、倍率（１／Ｎ３）の画像の解像度が最も低いことを表す。
【００３０】
低解像化手段が低解像画像を生成する方法は任意である。低解像化手段は、例えば、Ｂｉｃｕｂｉｃ法、Ｎｅａｒｅｓｔ  ｎｅｉｇｈｂｏｒ法、Ｂｉｌｉｎｅａｒ法などを用いて低解像画像を生成してもよい。ただし、低解像化手段が低解像画像を生成する方法は、これらの方法に限定されない。
【００３１】
超解像化学習手段は、２つの異なる解像度の画像を用いて、超解像化するパラメータを学習する。具体的には、超解像化学習手段は、２つの近接する解像度の組合せ（以下、第一解像度および第二解像度と記す）の画像を用いて、第一解像度の画像から第二解像度の画像に超解像化するパラメータを学習する。なお、第一解像度の方が第二解像度よりも解像度が低いものとする。超解像化学習手段は、学習用画像および低解像画像のうち、近接する解像度の画像を第一解像度の画像および第二解像度の画像として用いる。
【００３２】
本実施形態では、超解像化学習手段２２ｃは、低解像化手段２１ｃが生成した解像度（倍率：１／Ｎ３）の画像と、低解像化手段２１ｂが生成した解像度（倍率：１／Ｎ２）の画像とを用いて、解像度（倍率：１／Ｎ３）の画像から解像度（倍率：１／Ｎ２）の画像に超解像化するパラメータを学習する。そして、超解像化学習手段２２ｃは、学習したパラメータを学習パラメータ保持部３０ｃに記憶する。
【００３３】
同様に、超解像化学習手段２２ｂは、低解像化手段２１ｂが生成した解像度（倍率：１／Ｎ２）の画像と、低解像化手段２１ａが生成した解像度（倍率：１／Ｎ１）の画像とを用いて、解像度（倍率：１／Ｎ２）の画像から解像度（倍率：１／Ｎ１）の画像に超解像化するパラメータを学習する。そして、超解像化学習手段２２ｂは、学習したパラメータを学習パラメータ保持部３０ｂに記憶する。
【００３４】
そして、超解像化学習手段２２ａは、低解像化手段２１ａが生成した解像度（倍率：１／Ｎ１）の画像と、学習用画像とを用いて、解像度（倍率：１／Ｎ１）の画像から元の解像度の画像に超解像化するパラメータを学習する。そして、超解像化学習手段２２ａは、学習したパラメータを学習パラメータ保持部３０ａに記憶する。
【００３５】
このようにして、パラメータ保持部３０は、学習された解像度の組合せごとにパラメータを記憶する。
【００３６】
超解像化対象画像入力部４０は、後述する超解像化部５０が超解像化に用いる画像を入力する。超解像化対象画像入力部４０は、通信ネットワークを介して受信した画像を超解像化部５０に入力してもよいし、対象画像が記憶された記憶部（図示せず）から画像を読み取り、読み取った画像を超解像化部５０に入力してもよい。
【００３７】
図３は、超解像化部５０の構成例を示す説明図である。超解像化部５０は、超解像化手段５０ａ，５０ｂ，５０ｃを含む。以下の説明では、超解像化手段５０ａ，５０ｂ，５０ｃに共通する処理を説明する場合、各超解像化手段５０ａ，５０ｂ，５０ｃを、単に、超解像化部５０と記す。
【００３８】
また、本実施形態では、超解像化部５０が複数の超解像化手段５０ａ，５０ｂ，５０ｃで実現される場合を例示しているが、各超解像化手段５０ａ，５０ｂ，５０ｃが行う処理を１つの超解像化部５０がまとめて行ってもよい。
【００３９】
超解像化部５０は、パラメータ保持部３０に記憶されたパラメータを用いて、超解像化対象画像入力部４０が入力した対象画像から段階的に高い解像度の画像を生成する。本実施形態の超解像化部５０は、入力された対象画像から最終的な高解像画像を直接生成するのではなく、対象画像と高解像画像の間の解像度（以下、中間解像度と記す。）の画像を生成してから、最終的な高解像画像を生成する。すなわち、超解像化部５０は、対象画像から少なくとも１つの中間解像度の画像を生成し、生成された中間解像度の画像から高解像画像を生成する。
【００４０】
図３に示す例では、中間解像度の画像は、２種類生成される。ただし、生成される中間解像度の画像の種類は、２種類に限定されない。生成される中間解像度は、パラメータ保持部３０が保持するパラメータに基づいて決定される。
【００４１】
すなわち、パラメータ保持部３０は、対象画像の解像度（図２に例示する（１／Ｎ３））から中間解像度（図２に例示する（１／Ｎ２））に超解像化するパラメータ、および、中間解像度（図２に例示する（１／Ｎ１））から高解像画像の解像度に超解像化するパラメータを記憶する。また、パラメータ保持部３０は、第一の中間解像度（図２に例示する（１／Ｎ２））から第二の中間解像化（図２に例示する（１／Ｎ１））するパラメータも保持する。
【００４２】
このように、パラメータ保持部３０は、解像度の異なる複数の中間解像度に超解像化するパラメータを記憶するため、超解像化部５０は、これらのパラメータを用いて、解像度が高くなるように段階的に中間解像度の画像を生成する。
【００４３】
超解像化部５０が、超解像化を行う方法は任意である。超解像化部５０は、例えば、ＳＲＣＮＮやＶＳＤＲを用いて超解像化を行ってもよい。ただし、超解像化部５０が超解像化を行う方法は、これらの方法に限定されない。
【００４４】
画像出力部６０は、生成された高解像画像を出力する。
【００４５】
以上のように、超解像化を行う際に用いられるパラメータの学習が、学習用画像入力部１０、学習部２０およびパラメータ保持部３０で実現される。そのため、学習用画像入力部１０、学習部２０およびパラメータ保持部３０を備える装置を、学習装置と言うことができる。
【００４６】
学習用画像入力部１０と、学習部２０とは、プログラム（学習用プログラム）に従って動作するコンピュータのＣＰＵによって実現される。例えば、プログラムは、学習装置が備える記憶部（図示せず）に記憶され、ＣＰＵは、そのプログラムを読み込み、プログラムに従って、学習用画像入力部１０および学習部２０として動作してもよい。
【００４７】
また、対象画像から高解像画像を生成する処理（すなわち、超解像化）が、パラメータ保持部３０、超解像化対象画像入力部４０、超解像化部５０および画像出力部６０で実現される。そのため、パラメータ保持部３０、超解像化対象画像入力部４０、超解像化部５０および画像出力部６０を備える装置を、超解像化装置と言うことができる。
【００４８】
超解像化対象画像入力部４０と、超解像化部５０と、画像出力部６０とは、プログラム（超解像化プログラム）に従って動作するコンピュータのＣＰＵによって実現される。例えば、プログラムは、超解像化装置が備える記憶部（図示せず）に記憶され、ＣＰＵは、そのプログラムを読み込み、プログラムに従って、超解像化対象画像入力部４０、超解像化部５０および画像出力部６０として動作してもよい。
【００４９】
次に、本実施形態の超解像化システムの動作例を示す説明図である。図４は、本実施形態の超解像化システムを用いて学習処理を行う動作例を示すフローチャートである。学習用画像入力部１０は、学習用画像を学習部２０に入力する（ステップＳ１１）。学習部２０は、学習用画像に基づいて、段階的に複数の解像度の低解像画像を生成する（ステップＳ１２）。学習部２０は、学習用画像および低解像画像のうち、近接する解像度の画像を第一解像度の画像および第二解像度の画像として用いて、超解像化に用いるパラメータを学習する（ステップＳ１３）。そして、学習部２０は、学習された解像度の組合せごとにパラメータをパラメータ保持部３０に記憶する（ステップＳ１４）。
【００５０】
図５は、本実施形態の超解像化システムを用いて超解像化処理を行う動作例を示すフローチャートである。超解像化対象画像入力部４０は、超解像化の対象となる画像を超解像化部５０に入力する（ステップＳ２１）。超解像化部５０は、入力された対象画像から段階的に高い解像度の画像を生成する（ステップＳ２２）。具体的には、超解像化部５０は、パラメータ保持部３０に記憶されたパラメータを用いて、対象画像から少なくとも１つの中間解像度の画像を生成し、生成された中間解像度の画像から高解像画像を生成する。そして、画像出力部６０は、生成された高解像画像を出力する（ステップＳ２３）。
【００５１】
以上のように、本実施形態では、低解像化手段が、学習用画像に基づいて、段階的に複数の解像度の低解像画像を生成し、超解像化学習手段が、第一解像度および第二解像度のそれぞれの画像を用いて、第一解像度の画像から第二解像度の画像に超解像化するパラメータを学習して、学習された解像度の組合せごとにパラメータ保持部３０に記憶する。また、超解像化学習手段は、学習用画像および低解像画像のうち、近接する解像度の画像を第一解像度の画像および第二解像度の画像として用いる。よって、低解像画像から高精度な高解像画像を生成できる。
【００５２】
図６は、一般的な高解像化処理を行う装置を示す説明図である。図６に例示する学習部１２０のように、超解像化の対象となる解像度にまで低解像化した低解像画像を用いて、高解像画像に超解像化するパラメータを学習することも可能である。しかし、上述するように、超解像化する倍率が高くなるほどパラメータが多くなり、高精度な高解像画像を生成することは難しい。
【００５３】
具体的には、学習用画像入力部１１０から入力された学習用画像を低解像化手段１２１が低解像化し、低解像化された画像と学習用画像から超解像化学習手段１２２が超解像化のためのパラメータを学習して学習パラメータ保持部１３０に記憶する。このパラメータが多くなる結果、超解像化対象画像入力部１４０から入力される画像を超解像化部１５０の超解像化手段１５０ａが超解像化して、画像出力部１６０が出力しても、その画像を高精度に高解像度化することは難しい。
【００５４】
しかし、本実施形態では、段階的に超解像化するためのパラメータを学習し、そのパラメータを用いて超解像化を行う。図７は、本実施形態の超解像化装置が超解像化を行う動作例を示す説明図である。図７に示す例では、２×２の低解像画像Ｌ１を４×４の画像Ｌ２に超解像化し、さらに、４×４の画像Ｌ２を８×８の画像Ｌ３に超解像化する。そのため、図１５に例示する方法と比較すると、図７に例示する各段階で用いるパラメータの数は少なくて済む。そのため、高精度な高解像画像を生成することが可能になる。
【００５５】
実施形態２．
次に、本発明の超解像化システムの第２の実施形態を説明する。第１の実施形態では、学習部２０の超解像化学習手段が低解像化手段によって生成された低解像画像を用いてパラメータを学習する方法を説明した。本実施形態では、学習されたパラメータを用いて低解像画像を超解像化し、その超解像化された低解像画像を用いて、パラメータを学習する方法を説明する。
【００５６】
本実施形態の超解像化システムの構成は、第１の実施形態と同様である。ただし、学習部２０の内容が第１の実施形態と異なる。
【００５７】
図８は、第２の実施形態の学習部２０の例を示す説明図である。学習部２０は、複数の低解像化手段２１ａ，２１ｂ，２１ｃと、複数の超解像化学習手段２３ａ，２３ｂ，２３ｃと、パラメータ保持部３０と、超解像化手段７１ａ，７１ｂ，７１ｃとを含む。低解像化手段２１ａ，２１ｂ，２１ｃの内容は、第１の実施形態と同様である。また、パラメータ保持部３０は、第１の実施形態と同様に、学習されたパラメータを記憶する。ただし、その記憶内容は、第１の実施形態と異なる。
【００５８】
以下の説明では、超解像化手段７１ａ，７１ｂ，７１ｃに共通する処理を説明する場合、各超解像化手段７１ａ，７１ｂ，７１ｃを、単に、超解像化手段と記す。また、超解像化学習手段２３ａ，２３ｂ，２３ｃに共通する処理を説明する場合、各超解像化学習手段２３ａ，２３ｂ，２３ｃを、単に、超解像化学習手段と記す。
【００５９】
超解像化手段は、パラメータ保持部３０に記憶されたパラメータを用いて、対象画像よりも解像度の高い画像を生成する。具体的には、超解像化手段は、低解像化手段が生成した低解像画像、または、超解像化手段が生成した低解像画像を超解像化して、より解像度の高い画像を生成する。
【００６０】
図８に示す例の場合、超解像化手段７１ｃは、学習パラメータ保持部３０ｃに記憶されたパラメータを用いて、低解像化手段２１ｃによって生成された低解像画像から、より解像度の高い画像を生成する。また、超解像化手段７１ｂは、学習パラメータ保持部３０ｂに記憶されたパラメータを用いて、超解像化手段７１ｃによって生成された低解像画像から、より解像度の高い画像を生成する。なお、超解像化手段７１ａは、学習パラメータ保持部３０ａに記憶されたパラメータを用いて、超解像化手段７１ｂによって生成された低解像画像から、より解像度の高い画像を生成してもよい。
【００６１】
超解像化学習手段は、超解像化手段によって生成された低解像画像が存在する場合、その低解像画像を第一解像度の画像として用いて、超解像化に用いられるパラメータを学習する。
【００６２】
図８に示す例の場合、超解像化学習手段２３ｃが学習に用いる一番低い解像度の低解像画像は、超解像化手段によって生成された低解像画像ではない。そこで、超解像化学習手段２３ｃは、第１の実施形態と同様に、低解像化手段２１ｃが生成した解像度（倍率：１／Ｎ３）の画像と、低解像化手段２１ｂが生成した解像度（倍率：１／Ｎ２）の画像とを用いて、解像度（倍率：１／Ｎ３）の画像から解像度（倍率：１／Ｎ２）の画像に超解像化するパラメータを学習する。そして、超解像化学習手段２３ｃは、学習したパラメータを学習パラメータ保持部３０ｃに記憶する。
【００６３】
超解像化手段７１ｃは、学習パラメータ保持部３０ｃに記憶されたパラメータを用いて、低解像化手段２１ｃが生成した解像度（倍率：１／Ｎ３）の画像を超解像化して、解像度（倍率：１／Ｎ３）よりも高い解像度（倍率：１／Ｎ２´）の画像を生成する。
【００６４】
次に、超解像化学習手段２３ｂは、超解像化手段７１ｃが生成した解像度（倍率：１／Ｎ２´）の画像と、低解像化手段２１ａが生成した解像度（倍率：１／Ｎ１）の画像とを用いて、解像度（１／Ｎ２´）の画像から解像度（倍率：１／Ｎ１）の画像に超解像化するパラメータを学習する。そして、超解像化学習手段２３ｂは、学習したパラメータを学習パラメータ保持部３０ｂに記憶する。
【００６５】
超解像化手段７１ｂは、学習パラメータ保持部３０ｂに記憶されたパラメータを用いて、超解像化手段７１ｂが生成した解像度（倍率：１／Ｎ２´）の画像を超解像化して、解像度（１／Ｎ２´）よりも高い解像度（倍率：１／Ｎ１´）の画像を生成する。
【００６６】
次に、超解像化学習手段２３ａは、超解像化手段７１ｂが生成した解像度（倍率：１／Ｎ１´）の画像と、学習用の高解像画像とを用いて、解像度（倍率：１／Ｎ１´）の画像から高解像画像に超解像化するパラメータを学習する。そして、超解像化学習手段２３ａは、学習したパラメータを学習パラメータ保持部３０ａに記憶する。
【００６７】
以上のように、本実施形態では、学習部２０（より具体的には、超解像化学習手段）が、超解像化手段が生成した低解像画像を第一解像度の画像として用いて、パラメータを学習する。すなわち、本実施形態では、段階的に学習が行われ、各段階で超解像化された低解像画像が次の段階での学習データとして用いられる。よって、第１の実施形態の効果に加え、より高精細な高解像画像を生成できる。これは、学習型超解像化では、低解像画像と高解像画像のペアを用いて学習が行われ、超解像化対象の低解像画像が与えられた際、その画像の解像度が学習時に用いた低解像画像と解像度が近いほど、最終的に生成される高解像画像は高精細になるからである。
【００６８】
実施形態３．
次に、本発明の超解像化システムの第３の実施形態を説明する。第１の実施形態では、学習部２０の低解像化手段が、学習用の高解像画像に基づいて低解像画像を生成する場合について説明した。本実施形態では、学習用の低解像画像を、すでに生成された低解像画像から生成する方法を説明する。
【００６９】
本実施形態の超解像化システムの構成は、第１の実施形態と同様である。ただし、学習部２０の内容が第１の実施形態と異なる。
【００７０】
図９は、第３の実施形態の学習部２０の例を示す説明図である。学習部２０は、複数の低解像化手段２４ａ，２４ｂ，２４ｃと、パラメータ保持部３０と、超解像化学習手段２２ａ，２２ｂ，２２ｃとを含む。超解像化学習手段２２ａ，２２ｂ，２２ｃの内容は、第１の実施形態と同様である。また、パラメータ保持部３０は、第１の実施形態と同様に、学習されたパラメータを記憶する。
【００７１】
以下の説明では、低解像化手段２４ａ，２４ｂ，２４ｃに共通する処理を説明する場合、各低解像化手段２４ａ，２４ｂ，２４ｃを、単に、低解像化手段と記す。低解像化手段は、学習用画像入力部１０が入力した学習用画像に基づいて、その学習用画像よりも解像度の低い画像である低解像画像を生成する。ただし、本実施形態の低解像化手段は、学習用画像から低解像画像を生成し、生成された低解像画像から、さらに解像度の低い低解像画像を順次生成する。本実施形態では、生成する低解像画像の倍率は予め定められているとする。
【００７２】
図９に示す例の場合、低解像化手段２４ａは、学習用画像から解像度（倍率：１／Ｎ１）の低解像画像を生成する。次に、低解像化手段２４ｂは、生成された解像度（倍率：１／Ｎ１）の低解像画像から、解像度（倍率：１／Ｎ２）の低解像画像を生成する。さらに、低解像化手段２４ｃは、生成された解像度（倍率：１／Ｎ２）の低解像画像から、解像度（倍率：１／Ｎ３）の低解像画像を生成する。
【００７３】
以上のように、本実施形態では、学習部２０（より具体的には、低解像化手段）が、学習用画像から低解像画像を生成し、生成された低解像画像から、さらに解像度の低い低解像画像を生成する。よって、第１の実施形態の効果に加え、より高精細な高解像画像を生成できる。
【００７４】
すなわち、第１の実施形態では、低解像化手段が、学習用画像から全ての低解像画像を直接生成していた。一方、本実施形態では、低解像化手段が、学習用画像から低解像画像を生成し、その低解像画像を用いて順次低解像画像を生成する。そのため、低画像化する際の情報の欠落をより抑制できる。
【００７５】
実施形態４．
次に、本発明の超解像化システムの第４の実施形態を説明する。第４の実施形態は、学習部が、第３の実施形態の低解像化手段、並びに、第２の実施形態の超解像化手段および超解像化学習手段を含む構成である。
【００７６】
図１０は、第４の実施形態の学習部２０の例を示す説明図である。上述するように、学習部２０は、複数の低解像化手段２４ａ，２４ｂ，２４ｃと、複数の超解像化学習手段２３ａ，２３ｂ，２３ｃと、パラメータ保持部３０と、超解像化手段７１ａ，７１ｂ，７１ｃとを含む。低解像化手段２４ａ，２４ｂ，２４ｃの内容は、第３の実施形態と同様である。また、超解像化学習手段２３ａ，２３ｂ，２３ｃ、および、超解像化手段７１ａ，７１ｂ，７１ｃの内容は、第２の実施形態と同様である。
【００７７】
このような構成によっても、第１の実施形態、第２の実施形態および第３の実施形態の効果に示すように、低解像画像から高精度な高解像画像を生成できる。
【００７８】
実施形態５．
次に、本発明の超解像化システムの第５の実施形態を説明する。第１の実施形態から第４の実施形態では、低解像化する倍率が予め定められている場合について説明した。本実施形態では、低解像化する倍率を動的に決定する方法を説明する。
【００７９】
図１１は、本発明による超解像化システムの第５の実施形態の構成例を示すブロック図である。実施形態の超解像化システム５００は、学習用画像入力部１０と、学習部２０と、パラメータ保持部３０と、超解像化対象画像入力部４０と、超解像化部５０と、画像出力部６０と、倍率決定部７０とを備えている。
【００８０】
学習用画像入力部１０、パラメータ保持部３０、超解像化対象画像入力部４０、超解像化部５０および画像出力部６０の内容は、第１の実施形態から第４の実施形態と同様である。また、学習部２０の構成は、第１の実施形態から第４の実施形態のいずれかの構成と同じである。ただし、本実施形態では、学習部２０における各低解像化手段が低解像画像を生成する倍率が、倍率決定部７０によって決定される。
【００８１】
倍率決定部７０は、低解像化手段が低解像画像を生成する際の倍率を、低解像化手段ごとに決定する。具体的には、倍率決定部７０は、解像度が近接する画像の画像劣化が予め定めた閾値よりも低くなる倍率を特定する。なお、学習に用いる画像間の解像度が近いほど、超解像化により生成される画像の精度は良くなる（すなわち、画像劣化が低い）が、学習すべきパラメータも増加してしまう。そのため、倍率決定部７０は、低解像化手段が行う低解像化処理による画像劣化が予め定めた閾値Ｔｈよりも低い倍率のうち、最も低解像化できる倍率を特定してもよい。
【００８２】
画像劣化を評価する指標の一例として、ＰＳＮＲ（Ｐｅａｋ  Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ  Ｒａｔｉｏ）が挙げられる。ＰＳＮＲが高いほど画像劣化が低いと言える。
【００８３】
例えば、倍率決定部７０が、図２に例示する学習部２０の低解像化手段が低解像画像を生成する倍率を決定するものとする。まず、倍率決定部７０は、学習用画像から、初期状態で定めた倍率の低解像画像を生成する。なお、初期状態で定める倍率は任意である。倍率決定部７０は、学習用画像から生成した低解像画像の画像劣化が予め定めた閾値Ｔｈよりも大きい場合、画像劣化が閾値Ｔｈを超えない倍率に変更して、再度低解像画像を生成する。倍率決定部７０は、画像劣化が予め定めた閾値Ｔｈよりも低くなるまで、この処理を繰り返す。なお、倍率決定部７０は、学習用画像から生成した低解像画像の画像劣化が予め定めた閾値Ｔｈよりも小さい場合、画像劣化が閾値Ｔｈに近づく倍率に変更して、再度低解像画像を生成してもよい。このようにして、倍率決定部７０は、低解像化手段２１ａが低解像画像を生成する際の倍率（１／Ｎ１）を決定する。
【００８４】
次に、倍率決定部７０は、決定された倍率によって生成される低解像画像から、所定の倍率の低解像画像を生成し、同様に、画像劣化が予め定めた閾値Ｔｈよりも低くなる倍率を特定する。このようにして、倍率決定部７０は、低解像化手段２１ｂが低解像画像を生成する際の倍率（１／Ｎ２）および低解像化手段２１ｃが低解像画像を生成する際の倍率（１／Ｎ３）を順次決定する。
【００８５】
上述するｐｓｎｒを画像劣化の指標として用いる場合、倍率決定部７０は、以下の式１に示す関係を満たす倍率１／Ｎ１，１／Ｎ２，１／Ｎ３を、低解像化の倍率と特定してもよい。
【００８６】
ｐｓｎｒ（１，１／Ｎ１）＞Ｔｈ
ｐｓｎｒ（１／Ｎ１，１／Ｎ２）＞Ｔｈ
ｐｓｎｒ（１／Ｎ２，１／Ｎ３）＞Ｔｈ      （式１）
【００８７】
以上のように、本実施形態では、倍率決定部７０が、低解像化部が低解像画像を生成する際の倍率を、解像度が近接する画像の画像劣化が予め定めた閾値よりも低くなるように決定する。そのため、上記実施形態の効果に加え、画像劣化を抑えるように学習することが可能になる。
【００８８】
実施形態６．
次に、本発明の超解像化システムの第６の実施形態を説明する。第５の実施形態では、ｐｓｎｒの値に基づいて最初から低解像画像の倍率を決定する方法を説明した。本実施形態では、第２の実施形態または第４の実施形態で超解像化手段が生成した低解像画像を用いて、倍率を決定する方法を説明する。
【００８９】
本実施形態の超解像化システムの構成は、第２の実施形態または第４の実施形態と同様である。ただし、学習部２０の内容が第２の実施形態または第４の実施形態と異なる。
【００９０】
図１２は、第６の実施形態の学習部２０の例を示す説明図である。学習部２０は、複数の低解像化手段２１ａ，２１ｂ，２１ｃと、複数の超解像化学習手段２３ａ，２３ｂ，２３ｃと、パラメータ保持部３０と、超解像化手段７１ａ，７１ｂ，７１ｃと、画像劣化判定手段７２ａ，７２ｂ，７２ｃとを含む。低解像化手段２１ａ，２１ｂ，２１ｃの内容は、第２の実施形態と同様である。なお、低解像化手段は、第４の実施形態における低解像化手段２４ａ，２４ｂ，２４ｃで実現されていてもよい。
【００９１】
以下の説明では、画像劣化判定手段７２ａ，７２ｂ，７２ｃに共通する処理を説明する場合、各画像劣化判定手段７２ａ，７２ｂ，７２ｃを、単に、画像劣化判定手段と記す。本実施形態における低解像化手段、超解像化手段、パラメータ保持部３０および超解像化手段の内容は、第２の実施形態または第４の実施形態と同様である。ただし、画像劣化判定手段の判定結果に応じて、処理の対象とする解像度の種類が増加する点において、第２の実施形態または第４の実施形態と異なる。
【００９２】
画像劣化判定手段は、低解像化手段が生成した低解像画像と、超解像化手段が生成した低解像画像とを比較して、画像劣化の程度を判定する。具体的には、画像劣化判定手段は、低解像化手段によって生成された第二解像度の画像と、パラメータ保持部３０に記憶されたパラメータを用いて第一解像度の画像から超解像化された画像とを比較して、画像劣化を判定する。画像劣化が予め定めた閾値Ｔｈよりも高い場合、画像劣化判定手段は、第一解像度と第二解像度の間の低解像画像を生成する倍率を特定する。
【００９３】
倍率が特定されると、低解像化手段は、特定された倍率で低解像画像を生成する。そして、超解像化学習手段は、第一解像度の画像から、生成された低解像画像に超解像化するパラメータを学習する。さらに、超解像化学習手段は、生成された低解像画像から、第二解像度の画像に超解像化するパラメータを学習する。
【００９４】
以下、図１２を参照して、本実施形態の学習部２０の動作を具体的に説明する。まず、第１の実施形態と同様、低解像化手段が、複数の低解像画像（倍率：１／Ｎ１，１／Ｎ２，１／Ｎ３）を生成し、超解像化学習手段が、超解像化する際のパラメータを学習してパラメータ保持部３０に記憶する。
【００９５】
次に、超解像化手段７１ｃは、学習パラメータ保持部３０ｃに記憶されたパラメータを用いて、低解像化手段２１ｃによって生成された低解像画像（すなわち、倍率：１／Ｎ３の画像）から、より解像度の高い画像（以下、１／Ｎ２´画像と記す。）を生成する。画像劣化判定手段７２ｃは、低解像化手段２１ｂが生成した低解像画像（以下、１／Ｎ２画像と記す。）と１／Ｎ２´画像とを比較して、画像劣化を判定する。画像劣化判定手段７２ｃは、例えば、第５の実施形態で例示したｐｓｎｒの値で画像劣化を判定してもよい。この場合、画像劣化判定手段７２ｃは、ｐｓｎｒ（１／Ｎ２，１／Ｎ２´）が、ある閾値Ｔｈよりも小さい場合、低解像画像を生成する倍率（以下、１／ａと記す）を特定する。
【００９６】
低解像化手段は、特定した倍率で１／Ｎ２画像を低解像化した低解像画像（以下、１／ａ画像と記す。）を生成する。超解像化学習手段は、低解像化手段２１ｃによって生成された画像（すなわち、倍率：１／Ｎ３の画像）と、１／ａ画像とを学習データとし、倍率：１／Ｎ３の画像から１／ａ画像に超解像化するパラメータを学習する。そして、超解像化学習手段は、学習したパラメータをパラメータ保持部３０に記憶する。
【００９７】
次に、超解像化手段は、倍率：１／Ｎ３の画像から１／ａ画像に超解像化するパラメータを用いて、超解像化対象画像から低解像画像（以下、１／ａ´画像と記す。）を生成する。画像劣化判定手段は、１／ａ画像と１／ａ´画像とを比較して、画像劣化を判定する。画像劣化判定手段は、例えば、ｐｓｎｒ（１／ａ，１／ａ´）が、ある閾値Ｔｈよりも小さい場合、低解像画像を生成する倍率をさらに特定する。倍率をさらに特定した場合、上述した処理が繰り返される。
【００９８】
これにより、学習部２０は、倍率：１／Ｎ３の画像と倍率：１／Ｎ２の画像の間に、新たに倍率：１／ａの低解像画像を生成して学習する。すなわち、最終的に生成される学習用低解像画像は、倍率がそれぞれ１／Ｎ１，１／Ｎ２，１／ａ，１／Ｎ３の画像である。最終的に、以下の式２に示す関係を満たす倍率１／Ｎ１，１／Ｎ２，１／ａ，１／Ｎ３が、低解像化の倍率と特定される。なお、式２において、１´とは、高解像画像として最終的に超解像化された画像の倍率である。なお、画像劣化判定部７２ｂ，７２ａの動作は、画像劣化判定部７２ｃの動作と同様である。
【００９９】
ｐｓｎｒ（１／ａ´，１／ａ）＞Ｔｈ
ｐｓｎｒ（１／Ｎ２´，１／Ｎ２）＞Ｔｈ
ｐｓｎｒ（１／Ｎ１´，１／Ｎ１）＞Ｔｈ
ｐｓｎｒ（１´，１）＞Ｔｈ          （式２）
【０１００】
以上のように、本実施形態では、画像劣化判定手段が、低解像化部によって生成された第二解像度の画像と、第一解像度の画像から超解像化された画像とを比較して画像劣化を判定し、画像劣化が予め定めた閾値よりも高い場合、第一解像度と第二解像度の間の低解像画像を生成する倍率を特定する。よって、第５の実施形態の効果と同様、画像劣化を抑えるように学習することが可能になる。
【０１０１】
次に、本発明の概要を説明する。図１３は、本発明による学習装置の概要を示すブロック図である。本発明による学習装置８０は、学習用画像に基づいて、その学習用画像よりも解像度の低い画像である低解像画像を生成する低解像化部８１（例えば、低解像化手段）と、２つの近接する解像度の組合せである第一解像度および第二解像度のそれぞれの画像を用いて、第一解像度の画像から第二解像度の画像に超解像化するパラメータを学習する学習部８２（例えば、超解像化学習手段）と、学習された解像度の組合せごとにパラメータを記憶する記憶部８３（例えば、パラメータ保持部３０）とを備えている。
【０１０２】
低解像化部８１は、学習用画像に基づいて、段階的に複数の解像度の低解像画像を生成し、学習部８２は、学習用画像および低解像画像のうち、近接する解像度の画像を第一解像度の画像および第二解像度の画像として用いる。
【０１０３】
そのような構成により、低解像画像から高精度な高解像画像を生成できる。すなわち、本発明の学習装置８０により学習されたパラメータを用いることで、低解像画像から高精度な高解像画像を生成できる。
【０１０４】
また、学習装置８０は、記憶部８３に記憶されたパラメータを用いて、対象画像よりも解像度の高い画像を生成する超解像化部（例えば、超解像化手段）を備えていてもよい。そして、超解像化部は、低解像化部８１が生成した低解像画像、または、超解像化部が生成した低解像画像を超解像化して、より解像度の高い画像を生成し、学習部８２は、超解像化部が生成した低解像画像を第一解像度の画像として用いて、パラメータを学習してもよい。
【０１０５】
また、学習装置８０は、低解像化部８１によって生成された第二解像度の画像と、記憶部８３に記憶されたパラメータを用いて第一解像度の画像から超解像化された画像とを比較して、画像劣化を判定する画像劣化判定部（例えば、画像劣化判定手段）を備えていてもよい。そして、画像劣化判定部は、画像劣化が予め定めた閾値よりも高い場合、第一解像度と第二解像度の間の低解像画像を生成する倍率を特定してもよい。このとき、低解像化部８１は、特定された倍率で低解像画像を生成し、学習部８２は、生成された低解像画像に超解像化するパラメータを第一解像度の画像を用いて学習し、第二解像度の画像に超解像化するパラメータを生成された低解像画像を用いて学習してもよい。
【０１０６】
また、低解像化部８１は、学習用画像から低解像画像を生成し、生成された低解像画像から、さらに解像度の低い低解像画像を生成してもよい。
【０１０７】
また、学習装置８０は、低解像化部８１が低解像画像を生成する際の倍率を決定する倍率決定部（例えば、倍率決定部７０）を備えていてもよい。そして、倍率決定部は、解像度が近接する画像の画像劣化が予め定めた閾値よりも低くなる倍率を特定し、低解像化部８１は、特定された倍率で低解像画像を生成してもよい。
【０１０８】
図１４は、本発明による超解像化装置の概要を示すブロック図である。本発明による学習装置９０は、入力された対象画像から、その対象画像よりも解像度の高い画像である高解像画像を生成する超解像化装置であって、対象画像から段階的に高い解像度の画像を生成する超解像化部９１（例えば、超解像化部５０）と、対象画像の解像度と高解像画像の解像度との間の解像度である中間解像度からその高解像画像の解像度に超解像化するパラメータ、および、対象画像の解像度から中間解像度に超解像化するパラメータを記憶する記憶部９２（例えば、パラメータ保持部３０）とを備えている。
【０１０９】
超解像化部９１は、パラメータを用いて、対象画像から少なくとも１つの中間解像度の画像を生成し、生成された中間解像度の画像から高解像画像を生成する。
【０１１０】
そのような構成によっても、低解像画像から高精度な高解像画像を生成できる。
【０１１１】
また、記憶部９２は、解像度の異なる複数の中間解像度に超解像化するパラメータを記憶してもよい。そして、超解像化部９１は、パラメータを用いて、解像度が高くなるように段階的に中間解像度の画像を生成してもよい。
【０１１２】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【０１１３】
（付記１）学習用画像に基づいて、当該学習用画像よりも解像度の低い画像である低解像画像を生成する低解像化部と、２つの近接する解像度の組合せである第一解像度および第二解像度のそれぞれの画像を用いて、前記第一解像度の画像から前記第二解像度の画像に超解像化するパラメータを学習する学習部と、学習された解像度の組合せごとに前記パラメータを記憶する記憶部とを備え、前記低解像化部は、前記学習用画像に基づいて、段階的に複数の解像度の低解像画像を生成し、学習部は、前記学習用画像および前記低解像画像のうち、近接する解像度の画像を第一解像度の画像および第二解像度の画像として用いることを特徴とする学習装置。
【０１１４】
（付記２）記憶部に記憶されたパラメータを用いて、対象画像よりも解像度の高い画像を生成する超解像化部を備え、前記超解像化部は、低解像化部が生成した低解像画像、または、前記超解像化部が生成した低解像画像を超解像化して、より解像度の高い画像を生成し、学習部は、前記超解像化部が生成した低解像画像を第一解像度の画像として用いて、パラメータを学習する付記１記載の学習装置。
【０１１５】
（付記３）低解像化部によって生成された第二解像度の画像と、記憶部に記憶されたパラメータを用いて第一解像度の画像から超解像化された画像とを比較して、画像劣化を判定する画像劣化判定部を備え、前記画像劣化判定部は、前記画像劣化が予め定めた閾値よりも高い場合、第一解像度と第二解像度の間の低解像画像を生成する倍率を特定し、低解像化部は、特定された倍率で低解像画像を生成し、学習部は、生成された低解像画像に超解像化するパラメータを第一解像度の画像を用いて学習し、第二解像度の画像に超解像化するパラメータを生成された低解像画像を用いて学習する付記２記載の学習装置。
【０１１６】
（付記４）低解像化部は、学習用画像から低解像画像を生成し、生成された低解像画像から、さらに解像度の低い低解像画像を生成する付記１から付記３のうちのいずれか１つに記載の学習装置。
【０１１７】
（付記５）低解像化部が低解像画像を生成する際の倍率を決定する倍率決定部を備え、前記倍率決定部は、解像度が近接する画像の画像劣化が予め定めた閾値よりも低くなる倍率を特定し、低解像化部は、特定された倍率で低解像画像を生成する付記１から付記４のうちのいずれか１つに記載の学習装置。
【０１１８】
（付記６）入力された対象画像から、当該対象画像よりも解像度の高い画像である高解像画像を生成する超解像化装置であって、前記対象画像から段階的に高い解像度の画像を生成する超解像化部と、前記対象画像の解像度と前記高解像画像の解像度との間の解像度である中間解像度から当該高解像画像の解像度に超解像化するパラメータ、および、前記対象画像の解像度から前記中間解像度に超解像化するパラメータを記憶する記憶部とを備え、前記超解像化部は、前記パラメータを用いて、前記対象画像から少なくとも１つの前記中間解像度の画像を生成し、生成された中間解像度の画像から前記高解像画像を生成することを特徴とする超解像化装置。
【０１１９】
（付記７）記憶部は、解像度の異なる複数の中間解像度に超解像化するパラメータを記憶し、超解像化部は、前記パラメータを用いて、解像度が高くなるように段階的に中間解像度の画像を生成する付記６記載の超解像化装置。
【０１２０】
（付記８）学習用画像に基づいて、当該学習用画像よりも解像度の低い画像である低解像画像を、段階的に複数の解像度分生成し、２つの近接する解像度の組合せである第一解像度および第二解像度のそれぞれの画像を用いて、前記第一解像度の画像から前記第二解像度の画像に超解像化するパラメータを学習し、学習された解像度の組合せごとに前記パラメータを記憶部に記憶し、前記学習の際、前記学習用画像および前記低解像画像のうち、近接する解像度の画像を第一解像度の画像および第二解像度の画像として用いることを特徴とする学習方法。
【０１２１】
（付記９）記憶部に記憶されたパラメータを用いて、対象画像よりも解像度の高い画像を生成する超解像化処理を行い、前記超解像化処理で、生成された低解像画像、または、前記超解像化処理で生成された低解像画像を超解像化して、より解像度の高い画像を生成し、より解像度の高い画像として生成された低解像画像を第一解像度の画像として用いて、パラメータを学習する付記８記載の学習方法。
【０１２２】
（付記１０）入力された対象画像から、当該対象画像よりも解像度の高い画像である高解像画像を生成する超解像化方法であって、前記対象画像から段階的に高い解像度の画像を生成し、前記対象画像の解像度と前記高解像画像の解像度との間の解像度である中間解像度から当該高解像画像の解像度に超解像化するパラメータ、および、前記対象画像の解像度から前記中間解像度に超解像化するパラメータを記憶する記憶部を参照し、当該記憶部に記憶された前記パラメータを用いて、前記対象画像から少なくとも１つの前記中間解像度の画像を生成し、生成された中間解像度の画像から前記高解像画像を生成することを特徴とする超解像化方法。
【０１２３】
（付記１１）解像度の異なる複数の中間解像度に超解像化するパラメータを記憶する記憶部を参照し、当該記憶部に記憶されたパラメータを用いて、解像度が高くなるように段階的に中間解像度の画像を生成する付記１０記載の超解像化方法。
【０１２４】
（付記１２）コンピュータに、学習用画像に基づいて、当該学習用画像よりも解像度の低い画像である低解像画像を生成する低解像化処理、２つの近接する解像度の組合せである第一解像度および第二解像度のそれぞれの画像を用いて、前記第一解像度の画像から前記第二解像度の画像に超解像化するパラメータを学習する学習処理、および、学習された解像度の組合せごとに前記パラメータを記憶部に記憶する記憶処理とを実行させ、前記低解像化処理で、前記学習用画像に基づいて、段階的に複数の解像度の低解像画像を生成させ、学習処理で、前記学習用画像および前記低解像画像のうち、近接する解像度の画像を第一解像度の画像および第二解像度の画像として用いるための学習用プログラム。
【０１２５】
（付記１３）コンピュータに、記憶部に記憶されたパラメータを用いて、対象画像よりも解像度の高い画像を生成する超解像化処理を実行させ、前記超解像化処理で、低解像化部が生成した低解像画像、または、前記超解像化部が生成した低解像画像を超解像化して、より解像度の高い画像を生成させ、学習処理で、前記超解像化処理で生成された低解像画像を第一解像度の画像として用いて、パラメータを学習させる付記１２記載の学習プログラム。
【０１２６】
（付記１４）入力された対象画像から、当該対象画像よりも解像度の高い画像である高解像画像を生成するコンピュータに適用される超解像化プログラムであって、前記コンピュータに、前記対象画像から段階的に高い解像度の画像を生成する超解像化処理を実行させ、前記超解像化処理で、前記対象画像の解像度と前記高解像画像の解像度との間の解像度である中間解像度から当該高解像画像の解像度に超解像化するパラメータ、および、前記対象画像の解像度から前記中間解像度に超解像化するパラメータを記憶する記憶部を参照させ、当該記憶部に記憶された前記パラメータを用いて、前記対象画像から少なくとも１つの前記中間解像度の画像を生成させ、生成された中間解像度の画像から前記高解像画像を生成させるための超解像化プログラム。
【０１２７】
（付記１５）コンピュータに、超解像化処理で、解像度の異なる複数の中間解像度に超解像化するパラメータを記憶する記憶部を参照させ、当該記憶部に記憶された前記パラメータを用いて、解像度が高くなるように段階的に中間解像度の画像を生成させる付記１３記載の超解像化プログラム。
【符号の説明】
【０１２８】
１０  学習用画像入力部
２０  学習部
２１ａ，２１ｂ，２１ｃ，２４ａ，２４ｂ，２４ｃ  低解像化手段
２２ａ，２２ｂ，２２ｃ，２３ａ，２３ｂ，２３ｃ  超解像化学習手段
３０  パラメータ保持部
３０ａ，３０ｂ，３０ｃ  学習パラメータ保持部
４０  超解像化対象画像入力部
５０  超解像化部
５０ａ，５０ｂ，５０ｃ  超解像化手段
６０  画像出力部
７０  倍率決定部
７１ａ，７１ｂ，７１ｃ  超解像化手段
７２ａ，７２ｂ，７２ｃ  画像劣化判定手段
【図１】
2018235168.tif 000003
【図２】
2018235168.tif 000004
【図３】
2018235168.tif 000005
【図４】
2018235168.tif 000006
【図５】
2018235168.tif 000007
【図６】
2018235168.tif 000008
【図７】
2018235168.tif 000009
【図８】
2018235168.tif 000010
【図９】
2018235168.tif 000011
【図１０】
2018235168.tif 000012
【図１１】
2018235168.tif 000013
【図１２】
2018235168.tif 000014
【図１３】
2018235168.tif 000015
【図１４】
2018235168.tif 000016
【図１５】
2018235168.tif 000017
【手続補正書】
【提出日】令和1年8月9日(2019.8.9)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
学習用画像に基づいて、当該学習用画像よりも解像度の低い画像である低解像画像を生成する低解像化部と、
２つの近接する解像度の組合せである第一解像度および第二解像度のそれぞれの画像を用いて、前記第一解像度の画像から前記第二解像度の画像に超解像化するパラメータを学習する学習部と、
学習された解像度の組合せごとに前記パラメータを記憶する記憶部とを備え、
前記低解像化部は、前記学習用画像に基づいて、段階的に複数の解像度の低解像画像を生成し、
学習部は、前記学習用画像および前記低解像画像のうち、近接する解像度の画像を第一解像度の画像および第二解像度の画像として用いる
ことを特徴とする学習装置。
【請求項２】
記憶部に記憶されたパラメータを用いて、対象画像よりも解像度の高い画像を生成する超解像化部を備え、
前記超解像化部は、低解像化部が生成した低解像画像、または、前記超解像化部が生成した低解像画像を超解像化して、より解像度の高い画像を生成し、
学習部は、前記超解像化部が生成した低解像画像を第一解像度の画像として用いて、パラメータを学習する
請求項１記載の学習装置。
【請求項３】
低解像化部によって生成された第二解像度の画像と、記憶部に記憶されたパラメータを用いて第一解像度の画像から超解像化された画像とを比較して、画像劣化を判定する画像劣化判定部を備え、
前記画像劣化判定部は、前記画像劣化が予め定めた閾値よりも高い場合、第一解像度と第二解像度の間の低解像画像を生成する倍率を特定し、
低解像化部は、特定された倍率で低解像画像を生成し、
学習部は、生成された低解像画像に超解像化するパラメータを第一解像度の画像を用いて学習し、第二解像度の画像に超解像化するパラメータを生成された低解像画像を用いて学習する
請求項２記載の学習装置。
【請求項４】
低解像化部は、学習用画像から低解像画像を生成し、生成された低解像画像から、さらに解像度の低い低解像画像を生成する
請求項１から請求項３のうちのいずれか１項に記載の学習装置。
【請求項５】
低解像化部が低解像画像を生成する際の倍率を決定する倍率決定部を備え、
前記倍率決定部は、解像度が近接する画像の画像劣化が予め定めた閾値よりも低くなる倍率を特定し、
低解像化部は、特定された倍率で低解像画像を生成する
請求項１から請求項４のうちのいずれか１項に記載の学習装置。
【請求項６】
入力された対象画像から、当該対象画像よりも解像度の高い画像である高解像画像を生成する超解像化装置であって、
前記対象画像から段階的に高い解像度の画像を生成する超解像化部と、
前記対象画像の解像度と前記高解像画像の解像度との間の解像度である中間解像度から当該高解像画像の解像度に超解像化するパラメータ、および、前記対象画像の解像度から前記中間解像度に超解像化するパラメータを記憶する記憶部とを備え、
前記超解像化部は、前記パラメータを用いて、前記対象画像から少なくとも１つの前記中間解像度の画像を生成し、生成された中間解像度の画像から前記高解像画像を生成する
ことを特徴とする超解像化装置。
【請求項７】
学習用画像に基づいて、当該学習用画像よりも解像度の低い画像である低解像画像を、段階的に複数の解像度分生成し、
２つの近接する解像度の組合せである第一解像度および第二解像度のそれぞれの画像を用いて、前記第一解像度の画像から前記第二解像度の画像に超解像化するパラメータを学習し、
学習された解像度の組合せごとに前記パラメータを記憶部に記憶し、
前記学習の際、前記学習用画像および前記低解像画像のうち、近接する解像度の画像を第一解像度の画像および第二解像度の画像として用いる
ことを特徴とする学習方法。
【請求項８】
入力された対象画像から、当該対象画像よりも解像度の高い画像である高解像画像を生成する超解像化方法であって、
前記対象画像から段階的に高い解像度の画像を生成し、
前記対象画像の解像度と前記高解像画像の解像度との間の解像度である中間解像度から当該高解像画像の解像度に超解像化するパラメータ、および、前記対象画像の解像度から前記中間解像度に超解像化するパラメータを記憶する記憶部を参照し、当該記憶部に記憶された前記パラメータを用いて、前記対象画像から少なくとも１つの前記中間解像度の画像を生成し、
生成された中間解像度の画像から前記高解像画像を生成する
ことを特徴とする超解像化方法。
【請求項９】
コンピュータに、
学習用画像に基づいて、当該学習用画像よりも解像度の低い画像である低解像画像を生成する低解像化処理、
２つの近接する解像度の組合せである第一解像度および第二解像度のそれぞれの画像を用いて、前記第一解像度の画像から前記第二解像度の画像に超解像化するパラメータを学習する学習処理、および、
学習された解像度の組合せごとに前記パラメータを記憶部に記憶する記憶処理とを実行させ、
前記低解像化処理で、前記学習用画像に基づいて、段階的に複数の解像度の低解像画像を生成させ、
学習処理で、前記学習用画像および前記低解像画像のうち、近接する解像度の画像を第一解像度の画像および第二解像度の画像として用いる
ための学習用プログラム。
【請求項１０】
入力された対象画像から、当該対象画像よりも解像度の高い画像である高解像画像を生成するコンピュータに適用される超解像化プログラムであって、
前記コンピュータに、
前記対象画像から段階的に高い解像度の画像を生成する超解像化処理を実行させ、
前記超解像化処理で、前記対象画像の解像度と前記高解像画像の解像度との間の解像度である中間解像度から当該高解像画像の解像度に超解像化するパラメータ、および、前記対象画像の解像度から前記中間解像度に超解像化するパラメータを記憶する記憶部を参照させ、当該記憶部に記憶された前記パラメータを用いて、前記対象画像から少なくとも１つの前記中間解像度の画像を生成させ、生成された中間解像度の画像から前記高解像画像を生成させる
ための超解像化プログラム。
【国際調査報告】
2018235168.tif 000018
2018235168.tif 000019
2018235168.tif 000020
2018235168.tif 000021