(57)【要約】【課題】  低解像度画像から鮮鋭感の高い高解像度画像を生成する。【解決手段】  高解像度画像生成部104は、再構成型超解像により低解像度画像Yから高解像度画像Xを生成する。高域強調部105は、高解像度画像生成部104が初期に生成した高解像度画像X0と現在の高解像度画像Xに基づき、高解像度画像の高域強調を行う。【選択図】  図2
2015197818.tif 000002
【特許請求の範囲】
【請求項１】
再構成型超解像により低解像度画像から高解像度画像を生成する生成手段と、
前記生成手段が初期に生成した高解像度画像と現在の高解像度画像に基づき、高解像度画像の高域強調を行う強調手段とを有する画像処理装置。
【請求項２】
前記生成手段は、前記再構成型超解像における高解像度画像の更新が収束したか否かを判定する第一の判定手段を有し、
前記強調手段は、前記更新が収束したと判定されると、前記高域強調を行うか否かを判定する第二の判定手段を有する請求項1に記載された画像処理装置。
【請求項３】
前記生成手段は、
低解像度画像から高解像度画像を生成する第一の生成手段と、
前記高解像度画像を劣化させた劣化画像を生成する第二の生成手段と、
前記低解像度画像に基づき前記劣化画像の評価値を算出する評価手段と、
前記高解像度画像の更新量を算出する第一の算出手段と、
前記更新量に基づき前記高解像度画像を更新する更新手段とを有し、
前記第一の判定手段は前記評価値に基づき前記更新が収束したか否かを判定し、前記更新が収束したと判定されるまで前記第二の生成手段、前記評価手段、前記第一の算出手段、および、前記更新手段の処理が繰り返される請求項2に記載された画像処理装置。
【請求項４】
前記評価手段は、前記低解像度画像と前記劣化画像の差分を前記評価値として算出する請求項3に記載された画像処理装置。
【請求項５】
前記第一の算出手段は、前記評価値と現在の高解像度画像から前記更新量を算出する請求項4に記載された画像処理装置。
【請求項６】
前記第一の判定手段は、前記評価値が第一の閾値未満になると前記更新が収束したと判定する請求項3から請求項5の何れか一項に記載された画像処理装置。
【請求項７】
前記強調手段は、前記高解像度画像の高域成分を算出する第二の算出手段を有し、
前記第二の判定手段は前記評価値に基づき前記高域強調を行うか否かを判定し、
前記高域強調を行うと判定された場合、前記更新手段は前記高域成分に基づき現在の高解像度画像を更新し、前記高域強調を行わないと判定されるまで前記生成手段の処理が繰り返される請求項3から請求項6の何れか一項に記載された画像処理装置。
【請求項８】
前記第二の判定手段は、前回の判定における前記評価値を前回の評価値として保持し、現在の評価値と前記前回の評価値に基づき前記判定を行う請求項7に記載された画像処理装置。
【請求項９】
前記第二の判定手段は、前記現在の評価値と前記前回の評価値の比率が第二の閾値未満になると前記高域強調を行わないと判定し、現在の高解像度画像を、前記低解像度画像に対応する高解像度画像として出力する請求項8に記載された画像処理装置。
【請求項１０】
前記第二の算出手段は、前記第一の生成手段が生成した高解像度画像と現在の高解像度画像の間の差分を前記高域成分として算出する請求項7から請求項9の何れか一項に記載された画像処理装置。
【請求項１１】
前記第二の算出手段は、
前記第一の生成手段が生成した高解像度画像および/または現在の高解像度画像から特徴量を抽出する手段と、
データベースを参照して、前記特徴量に対応する高域成分を探索する手段と、
前記現在の高解像度画像および前記探索によって得られた高域成分からノイズ成分を算出する手段と、
前記ノイズ成分に基づき前記高域成分を補正する手段とを有する請求項7から請求項9の何れか一項に記載された画像処理装置。
【請求項１２】
前記更新手段は、現在の高解像度画像に前記更新量または前記高域成分を加算して更新後の高解像度画像を生成する請求項7から請求項11の何れか一項に記載された画像処理装置。
【請求項１３】
前記第一の判定手段は前記高解像度画像の更新回数に基づき前記判定を行い、前記第二の判定手段は前記高域強調の回数に基づき前記判定を行う請求項2に記載された画像処理装置。
【請求項１４】
再構成型超解像により低解像度画像から高解像度画像を生成し、
初期に生成された高解像度画像と現在の高解像度画像に基づき、高解像度画像の高域強調を行う画像処理方法。
【請求項１５】
コンピュータを請求項1から請求項13の何れか一項に記載された画像処理装置の各手段として機能させるためのプログラム。
【請求項１６】
請求項15に記載されたプログラムが記録されたコンピュータが読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、低解像度画像から高解像度画像を生成する画像処理に関する。
【背景技術】
【０００２】
低解像度画像から高解像度画像を生成する手法として超解像技術が知られている。超解像技術には、大きく再構成型超解像（例えば、非特許文献1）と学習型超解像（例えば、非特許文献2）の二つの手法がある。
【０００３】
再構成型超解像は、まず、補間拡大処理などにより元の低解像度画像から適当な初期高解像度画像を生成し、撮像情報（ブラー、ダウンサンプリング、モーション）を用いて、初期高解像度画像の低解像度画像を生成する。そして、初期高解像度画像から生成した低解像度画像と元の低解像度画像の間の誤差を計算し、その誤差を小さくするように初期高解像度画像を更新する。
【０００４】
再構成型超解像は、入力画像データとして複数のよく似た画像（微小な位置ずれをもつ）のデータが存在すれば、非常に高い効果を発揮する手法である。しかし、入力画像データが一つであったり、入力画像データが複数であっても正確な位置合わせを行うことが難しい、または、帯域などの制約条件を満たさない場合、再構成型超解像は、鮮鋭度の低い画像しか生成することができない。
【０００５】
一方、学習型超解像は事前に生成した学習データを利用して超解像処理を行う。学習データは、例えば低解像度画像と高解像度画像の小領域単位の対応関係によって構成される。学習データは、例えば理想画像（高解像度画像）とシミュレーションなどにより作成した想定入力画像（低解像度画像）を小領域単位に比較した対応関係として生成される。学習型超解像は、一つの低解像度画像から高解像度画像を生成することが可能である。
【０００６】
学習型超解像によれば、入力画像データが学習データと正確に一致すれば理想的な高解像度画像を生成することができるが、そうでない場合はノイズが発生する。そのため、抽象化を用いて学習を行うが、これにより汎用性が高まる一方、理想的な画像に比べて鮮鋭感の低い高解像度画像が生成される。
【０００７】
そこで、一つの画像データからノイズがなく、できるだけ鮮鋭感が高い高解像度画像を生成する技術が提案されている。例えば、特許文献1の技術は、同じ輝度変化が被写体の輪郭に沿って連続することに着目する再構成型超解像処理を提案する。しかし、特許文献1が提案される手法は、被写体の輪郭に沿って同じ輝度変化が空間的に連続する性質を利用するため、効果が得られる画像はエッジ部が多い一部の画像に限られる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開2007-310837号公報
【非特許文献】
【０００９】
【非特許文献１】Sung C. P.、Min K. P.「Super-Resolution Image Reconstruction: A Technical Overview」IEEE Signal Proc. Magazine、Vol. 26、No. 3、21-36頁、2003年
【非特許文献２】Freeman, W.T.、Jones, T.R.、Pasztor, E.C.「Example-based super-resolution」 Computer Graphics and Applications、IEEE、2002年
【非特許文献３】S. Daly「The Visible Differences Predictor: Analgorithm for the assessment of image fidelity」in A. B. Watson, editor, Digital Image and Human Vision、179-206頁、Cambridge、MA、 MIT Press、1993年
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明は、低解像度画像から鮮鋭感の高い高解像度画像を生成することを目的とする。
【課題を解決するための手段】
【００１１】
本発明は、前記の目的を達成する一手段として、以下の構成を備える。
【００１２】
本発明にかかる画像処理は、再構成型超解像により低解像度画像から高解像度画像を生成し、初期に生成された高解像度画像と現在の高解像度画像に基づき、高解像度画像の高域強調を行う。
【発明の効果】
【００１３】
本発明によれば、低解像度画像から鮮鋭感の高い高解像度画像を生成することができる。
【図面の簡単な説明】
【００１４】
【図１】実施例の画像処理装置の構成例を示すブロック図。
【図２】画像処理部の構成例を示すブロック図。
【図３Ａ】画像処理部の画像処理を説明するフローチャート。
【図３Ｂ】画像処理部の画像処理を説明するフローチャート。
【図４】行列と低解像度データのサイズの関係を示す図。
【図５】実施例2の画像処理部の構成例を示すブロック図。
【図６Ａ】画像処理部の画像処理を説明するフローチャート。
【図６Ｂ】画像処理部の画像処理を説明するフローチャート。
【図７】実施例3の画像処理部の構成例を示すブロック図。
【図８】高域成分算出部の構成例を示すブロック図。
【図９】画像処理部の画像処理を説明するフローチャート。
【発明を実施するための形態】
【００１５】
以下、本発明にかかる実施例の画像処理を図面を参照して詳細に説明する。
【実施例１】
【００１６】
［装置の構成］
図1のブロック図により実施例の画像処理装置の構成例を示す。
【００１７】
画像入力部101は、低解像度画像の画像データ（以下、低解像度データ）を入力する。画像処理部102は、画像入力部101が低画像データから、より解像度が高い画像データ（以下、高解像度データ）を生成する。画像出力部103は、画像処理部102が生成した高解像度データを出力する。
【００１８】
低解像度データの供給元は、ディジタルカメラなどの撮像装置、メモリカードなどの記録媒体、有線または無線ネットワークを介して接続されたサーバ装置やユーザデバイスなどである。画像入力部101は、ユーザ指示に従い、指定された供給元から低解像度データを入力する。
【００１９】
高解像度データの出力先は、液晶パネルなどの表示装置、メモリカードなどの記録媒体、有線または無線ネットワークを介して接続されたサーバ装置やユーザデバイスなどである。画像出力部103は、ユーザ指示に従い、指定された出力先に高解像度データを出力する。
【００２０】
なお、実施例の画像処理装置は、画像入力部101、画像処理部102、画像出力部103の処理機能を実行するプログラムをパーソナルコンピュータ(PC)などのコンピュータ機器に供給することで実現される。つまり、PCのCPUが、RAMをワークメモリとして、当該プログラムを実行することで画像処理装置が実現される。
【００２１】
［画像処理部］
図2のブロック図により画像処理部102の構成例を示す。
【００２２】
画像入力部101から入力される低解像度データは、メモリ部201に格納されて保持される。初期画像生成部202は、低解像データから高解像度データの初期画像（以下「初期高解像度画像X0」）を生成する。
【００２３】
画像劣化部203は、撮像情報保持部204から与えられる劣化条件に従って高解像度画像Xを劣化させた劣化画像を生成する。劣化条件は、撮像装置における光学系の点像関数(PSF)およびセンサ画素数の制限による劣化過程であるダウンサンプリングである。ダウンサンプリングの劣化条件は、ダウンサンプリング時の縮小倍率(1/Sx, 1/Sy)で与えられる（Sx＞0、Sy＞0）。劣化条件の詳細は後述するが、劣化条件は予め設定されている。
【００２４】
評価値算出部205は、メモリ部201が保持する低解像度データと、画像劣化部203が生成した劣化画像データの差分を評価値Eとして演算する。収束判定部206は、評価値Eに基づき、高解像度画像Xの更新が収束したか否かを判断する。
【００２５】
更新量算出部207は、再構成型超解像の一種である最大事後確率推定法(maximum a posteriori estimation method)（以下、MAP推定法）によって、現在の高解像度画像Xを修正するための更新量を算出する。高域強調判定部209は、現在の高解像度画像Xに対して高域強調を行うか、画像処理部102の画像処理を終了して現在の高解像度画像Xの画像データ（高解像度データ）を出力するかを判定する。なお、高域強調により画像データの空間周波数が高い成分が強調されて、画像の鮮鋭性が高められる。
【００２６】
差分算出部210は、高域強調を行うために、現在の高解像度画像Xと初期高解像度画像X0との差分（後述する高域成分）を算出する。画像更新部208は、更新量算出部207が算出した更新量または差分算出部210が算出した差分（高域成分）を現在の高解像度画像Xに加算して更新後の高解像度画像Xを生成する。
【００２７】
このように、初期画像生成部202、画像劣化部203、撮像情報保持部204、評価値算出部205、収束判定部206、更新量算出部207および画像更新部208は、高解像度画像生成部104を構成する。また、高域強調判定部209および差分算出部210は、高域強調部105を構成する。
【００２８】
●劣化条件
撮像装置の劣化条件として、撮像装置の光学系のPSFと、センサ画素数の制限による劣化過程であるダウンサンプリングを扱う。撮像される画像（低解像度データ）をYとすると、式(1)で定義するように劣化条件が作用する。
Y = DB・X      …(1)
ここで、行列Bは、PSFによる劣化処理を行う正方行列、
行列Dは、ダウンサンプリング処理の画像縮小倍率を反映した行列。
Xは、高解像度データ。
【００２９】
図4により行列BとDのサイズが低解像度データのサイズに依存することを示す。低解像度データのサイズを横画素数Wと縦画素数H、ダウンサンプリング時の画像縮小倍率を(1/Sx, 1/Sy)とすると、式(1)に記載する行列のサイズは図4に示すとおりである。
【００３０】
高解像度データであるXは、ベクトル記述として扱うため、その行列サイズは(H×W)行×1列になる。PSFによる劣化処理を行う行列Bは、(H×W)行×(H×W)列の正方行列になる。ダウンサンプリング処理を表す行列Dのサイズは、(H×1/Sx×W×1/sy)行×(H×W)列になる。
【００３１】
●超解像処理
実施例の画像処理（超解像処理）は、非特許文献2に開示されているMAP推定法を使う。MAP推定法とは、高解像度データに対する事前情報を利用して、事後確率を最大化する最適化問題として高解像度データを推定する処理である。
【００３２】
MAP推定法によれば、低解像度データと、推定した高解像度データを式(1)により劣化させた劣化画像データの間の二乗誤差に、事前確率または解を一つに定めるための正則化項を付加した評価関数を最小化することで、高解像度データを推定する。実施例では、式(2)に示すように、正則化項を含まない評価関数を最小化して高解像度データを生成する。
X^ = argxmin[||Y - DBX||2]      …(2)
ここで、X^は、推定された高解像度データ。
【００３３】
式(2)の右辺における[||Y-DBX||2]は、低解像度データYと劣化過程を経て推定された画像との絶対差分値を演算する項であり、式(3)は式(2)の右辺部を抽出して、画像処理時の評価関数として用いる数式である。
E = ||Y - DBX||2      …(3)
【００３４】
図3Aおよび図3Bのフローチャートにより画像処理部102の画像処理を説明する。
【００３５】
初期画像生成部202は、一つの低解像度データYを入力し(S301)、MAP推定に必要な初期高解像度画像X0を作成する(S302)。つまり、初期画像生成部202は、入力した低解像度データYに補間処理を施して、画像の横サイズをSx倍、縦サイズをSy倍に拡大した初期高解像度画像X0を作成する。補間処理には例えばバイキュービック法を用いるが、他の補間処理を使用しても差し支えない。
【００３６】
次に、高域強調判定部209は初期の評価値Eoldを設定し(S303)、画像劣化部203は撮像情報保持部204から劣化条件を取得する(S304)。前述したように、本実施例において扱う劣化条件はPSFとダウンサンプリングである。続いて、画像劣化部203は、劣化条件に基づき、高解像度画像Xから低解像度データYに対応する劣化画像Y'を作成する(S305)。劣化画像Y'は、式(1)に基づく次式の計算により作成される。
Y' = DB・X      …(4)
【００３７】
次に、評価値算出部205は式(3)を用いて評価値Eを算出し(S306)、収束判定部206は高解像度画像Xの更新が収束したか否か、言い替えれば、MAP推定処理を終了するか否かを判定する(S307)。MAP推定処理の終了判定は、予め設定された閾値Th1と評価値Eの比較により行われ、評価値が閾値未満（E＜Th1）の場合はMAP推定処理を終了する。また、評価値が閾値以上（E≧Th1）の場合はMAP推定処理を継続する。
【００３８】
E≧Th1の場合、更新量算出部207は、式(3)に示す差分値を減少させるために必要な更新量ΔXを次式によって評価値Eと現在の高解像度画像Xから計算する(S308)。
ΔX = ∂E/∂X = -(DB)T[Y - DB・X^]      …(5)
【００３９】
次に、画像更新部208は、次式を用いて、更新量ΔXにより高解像度画像Xを更新し(S309)、処理をステップS305に戻す。
X = X + ηΔX      …(6)
ここで、ηは更新の幅を決定するパラメータ。
【００４０】
このように、初期高解像度画像X0を高解像度画像XとしてMAP推定処理を開始し、ステップS307の判定条件E＜Th1が満されるまで高解像度画像Xを更新して処理を繰り返す。なお、ステップS304からS309の処理がMAP推定処理に相当する。
【００４１】
一方、ステップS307において判定条件E＜Th1が満されると、高域強調判定部209は、次式により現在の評価値Eと評価値Eold（前回の評価値）を比較して、高解像度データを出力するか否かを判定する(S310)。
E/Eold ＜ Th2      …(7)
ここで、Th2は所定の閾値。
【００４２】
式(7)に示すように、高域強調判定部209は、現在の評価値と前回の評価値の比率E/Eoldが閾値未満になると、現在の高解像度画像Xの画像データ（高解像度データ）を出力して(S314)、画像処理部102の画像処理を終了する。
【００４３】
他方、式(7)が満たされない場合、高域強調判定部209は、評価値Eoldを現在の評価値Eで更新する(S311)。続いて、差分算出部210は、高域強調判定部209から入力される現在の高解像度画像Xと初期高解像度画像の間の差分dを算出する(S312)。差分dは、MAP推定処理によって回復された高域成分に相当する。
【００４４】
画像更新部208は、高域成分（差分d）に基づき現在の高解像度画像Xを修正して高域成分を強調した高解像度画像Xを次式により生成し(S313)、処理をステップ304に戻す。なお、ステップS311からS313の処理を「高域強調処理」と呼ぶことにする。
X = X + d      …(8)
【００４５】
このように、MAP推定処理によって回復された高域成分を強調して、再びMAP推定処理を行う。この処理より、高域成分がより強調された解を得ることができ、高鮮鋭な高解像度データを生成することができる。
【００４６】
なお、上記では、MAP法を用いて高解像度データを生成する例を示したが、他の高解像度画像の生成手法を使用しても構わない。例えば、凸射影（projection onto convex sets: POCS）法、POCS-最大尤度（POCS-maximum likelihood: POCS-ML）法、逆射影(back projection)法などの評価値収束化方法が挙げられる。
【実施例２】
【００４７】
以下、本発明にかかる実施例2の画像処理を説明する。なお、実施例2において、実施例1と略同様の構成については、同一符号を付して、その詳細説明を省略する。
【００４８】
実施例1において、評価値Eを基にMAP推定処理の収束と高域強調処理の判定を行う例を説明した。実施例2では、劣化画像Y'の生成から高解像度画像Xの更新までの一連の処理の繰り返し回数を基に、MAP推定処理の収束と高域強調処理の判定を行う例を説明する。
【００４９】
図5のブロック図により実施例2の画像処理部102の構成例を示す。実施例2の画像処理部102において、図2に示す実施例1の画像処理部102の構成と異なるのは、評価値算出部205をMAP推定処理のイタレーション回数をカウントするカウンタ部211に置き換えた点である。つまり、実施例2の画像処理部102は、カウンタ部211がカウントしたイタレーション回数に基づきMAP推定処理の収束と高域強調処理の判定を行う。なお、MAP推定処理のイタレーション回数をNとすると高解像度画像Xの更新回数はN-1であり、カウンタ部211が高解像度画像Xの更新回数をカウントし、更新回数に基づきMAP推定処理の収束を判定してもよい。
【００５０】
なお、高解像度画像生成部104は、初期画像生成部202、画像劣化部203、撮像情報保持部204、収束判定部206、更新量算出部207、画像更新部208およびカウンタ部211によって構成される。また、高域強調部105は、高域強調判定部209、差分算出部210およびカウンタ部211によって構成される。
【００５１】
図6Aおよび図6Bのフローチャートにより画像処理部102の画像処理を説明する。なお、実施例1の処理と略同様の処理には同一符号を付し、その詳細説明を省略する。
【００５２】
初期画像生成部202による初期高解像度画像の生成(S302)と画像劣化部203による劣化条件の取得(S304)が終了すると、カウンタ部211は二つのカウンタを初期化する(S601)。カウンタの一つはMAP推定処理の回数をカウントする第一のカウンタ（カウント値t1）であり、もう一つのカウンタは高域強調処理の回数をカウントする第二のカウンタ（カウント値t2）であり、ともにゼロ（t1=0、t2=0）に初期化される。
【００５３】
次に、収束判定部206は、第一のカウンタのカウント値t1と所定の閾値Th3を比較して、MAP推定処理を終了するか否かを判定する(S602)。t1＞Th3の場合はMAP推定処理を終了し、t1≦Th3の場合はMAP推定処理を継続する。
【００５４】
t1≦Th3の場合はMAP推定処理（S305、S308、S309）が実行された後、カウンタ部211は第一のカウンタをカウントアップ(t1++)し(S603)、処理はステップ602に戻る。また、t1＞Th3の場合はMAP推定処理が終了され、高域強調判定部209は第二のカウンタのカウント値t2と所定の閾値Th4を比較して、高解像度データを出力するか否かを判定する(S604)。
【００５５】
t2＞Th4の場合、高域強調判定部209は、現在の高解像度画像Xの画像データ（高解像度データ）を出力して(S314)、画像処理部102の画像処理を終了する。また、t2≦Th4の場合、カウンタ部211は、第二のカウンタをカウントアップ(t2++)し、第一のカウンタのカウント値を初期化(t1=0)する(S605)。その後、高域強調処理（S311とS312）が行われ、処理はステップS602に戻る。
【００５６】
このように、予め設定した二つの閾値によってMAP推定処理と高域強調処理の回数を制御することができる。従って画像処理装置の計算資源に応じた最適な高解像度画像の生成が可能になる。
【実施例３】
【００５７】
以下、本発明にかかる実施例3の画像処理を説明する。なお、実施例3において、実施例1、2と略同様の構成については、同一符号を付して、その詳細説明を省略する。
【００５８】
実施例1、2では、差分算出部210において、現在の高解像度画像Xと初期高解像度画像X0の差分を高域成分として算出する例を説明した。実施例3では、高域成分の算出に事前に用意したデータベース(DB)を用いる例を説明する。
【００５９】
図7のブロック図により実施例3の画像処理部102の構成例を示す。実施例3の画像処理部102において、図2に示す実施例1の画像処理部102の構成と異なるのは、差分算出部210を高域成分算出部212に置き換えた点である。
【００６０】
なお、高解像度画像生成部104は、初期画像生成部202、画像劣化部203、評価値算出部205、撮像情報保持部204、収束判定部206、更新量算出部207および画像更新部208によって構成される。また、高域強調部105は、高域強調判定部209および高域成分算出部210によって構成される。
【００６１】
図8のブロック図により高域成分算出部212の構成例を示す。
【００６２】
高域推定部801は、高域特徴判定部209から現在の高解像度画像Xを入力し、初期画像生成部202から初期高解像度画像X0を入力し、事前に用意された高域成分DB806を用いて高域成分を推定する。つまり、画像特徴量抽出部804は、高域成分に対応する特徴量（例えば中域成分）を抽出する。特徴量は、初期高解像度画像X0または現在の高解像度画像Xから抽出してもよいし、あるいは、両方の画像から抽出してもよい。高域成分探索部805は、高域成分DB806から、画像特徴量抽出部804が抽出した特徴量と最も近い特徴量を探索し、検出した特徴量に対応付けられた高域成分を取得する。
【００６３】
上記の方法により取得される高域成分には、高域成分DB806の構築が不充分な場合、あるいは、高域成分探索部805による探索が不正確な場合、ノイズが含まれる。ノイズが少ない良好な高解像度画像を得るために、ノイズ感算出部802と補正処理部803は、高域推定部801が推定した高域成分からノイズ成分を低減する処理を行う。
【００６４】
ノイズ感算出部802は、現在の高解像度画像Xおよび高域推定部801が推定した高域成分を入力して、例えば非特許文献3に記載された方法を用いて高域成分のノイズ感を算出する。ノイズ感算出部802によって算出されるノイズ感は、マスキング効果を考慮して画像間の視覚的な相違をマップ化したものである。これにより、現在の高解像度画像Xに高域成分算出部211が算出した高域成分を加算した場合、どの領域にどれだけのノイズ成分（ノイズ感）があるのかを知ることができる。
【００６５】
補正処理部803は、ノイズ感算出部802が算出したノイズ感に基づき、高域推定部部801が推定した高域成分のノイズ成分を抑制する補正処理を施す。この補正処理は、高域成分に対して、ノイズ感の大きさに反比例する補正係数を乗算してもよいし、ノイズ感の多い高域成分のみカットするようなゲイン調整でもよい。
【００６６】
図9のフローチャートにより画像処理部102の画像処理を説明する。なお、ステップS301からS311、S313、S314の処理は実施例1の処理と同様であり、その詳細説明を省略する。つまり、実施例1において高域成分dを算出する処理(S312)の代わりに、ステップS901からS903の処理が行われる。
【００６７】
評価値Eoldの更新(S311)が終了すると、高域推定部801による高域成分の推定(S901)、ノイズ感算出部802によるノイズ感の算出(S902)、補正処理部803によるノイズ感に基づく補正処理(S903)が行われる。その後、実施例1と同様に、画像更新部208による高解像度画像の修正(S313)が行われ、処理はステップS305に戻る。
【００６８】
実施例3では、高域成分の算出に事前に用意した高域成分DB806を用いる。通常の学習型超解像においては、そのようなDBから得られた高域成分をそのまま加算した結果を出力するため、高域成分がなるべくノイズを含まないように、一般に、鮮鋭性の向上効果を犠牲にして抽象化した学習を行う。実施例3では、高域推定部801が推定した高域成分に対し、ノイズ感算出部802と補正処理部803によってノイズ感のある成分を除去する処理を行う。さらに、画像更新部208による高域成分の加算によって得られた高解像度画像に対して、再び行われるMAP推定処理によってもノイズが低減され、高域成分DB806が理想的ではない場合も良好な高解像度データを生成可能である。
【００６９】
このように、高域成分DB806の構築が不充分な場合も、高鮮鋭でノイズ感が少ない高解像度画像を生成することができる。勿論、入力される低解像度データに適した高域成分DB806が存在すれば、理想的な高解像度画像を復元することができる。従って、任意の入力画像（低解像度データ）に対して、鮮鋭感の高い高解像度画像（高解像度データ）を生成することができる。
【００７０】
［変形例］
画像特徴量抽出部804で得られる特徴量と高域成分DB806に存在する最も近い特徴量の間の一致度などに応じて、高域推定部801による高域成分の推定と、差分算出部210による高域成分の算出を切り替えてもよい。つまり、一致度が高ければ高域成分を推定し、一致度が低ければ高域成分を算出する構成にする。また、当然ながら、実施例2における差分算出部210を高域成分算出部211に置き換えることも可能である。
【００７１】
［その他の実施例］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステムあるいは装置のコンピュータ（又はCPUやMPU等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００７２】
102 … 画像処理部、104 … 高解像度画像生成部、105 … 高域強調部
【図１】
2015197818.tif 000003
【図２】
2015197818.tif 000004
【図３Ａ】
2015197818.tif 000005
【図３Ｂ】
2015197818.tif 000006
【図４】
2015197818.tif 000007
【図５】
2015197818.tif 000008
【図６Ａ】
2015197818.tif 000009
【図６Ｂ】
2015197818.tif 000010
【図７】
2015197818.tif 000011
【図８】
2015197818.tif 000012
【図９】
2015197818.tif 000013