(57)【要約】【課題】フレーム間の相関の低い領域や静止領域を含むフレーム画像であっても、高速且つ高精細な超解像画像を生成する。【解決手段】超解像装置１は、被超解像画像に対して複数階層の周波数分解処理を行い低周波成分画像と高周波成分画像とに分解する周波数分解部１１と、被超解像画像の分割ブロックごとに低周波成分画像内で最も類似度が高い類似ブロックの位置を示す位置合わせ情報を生成する階層型位置合わせ部１２と、位置合わせ情報に従って類似ブロックと同じ空間位相位置の高周波成分画像内のブロックを被超解像画像の高周波成分に割り付けて超解像高周波成分画像を生成する超解像高周波成分画像生成部１３と、被超解像画像を低周波成分、超解像高周波成分画像を高周波成分として周波数再構成を行って超解像画像を生成する周波数再構成部１４とを備え、階層型位置合わせ部１２は階層数の大きい低周波成分画像から順に類似ブロックを決定する。【選択図】図１
2017220200.tif 000002
【特許請求の範囲】
【請求項１】
被超解像画像を超解像処理して超解像画像を生成する超解像装置であって、
被超解像画像に対して複数階層の周波数分解処理を行い、階層ごとに低周波成分画像と高周波成分画像とに分解する周波数分解部と、
前記被超解像画像を分割した分割ブロックごとに、前記低周波成分画像内で前記分割ブロックと最も類似度が高い類似ブロックを決定し、該類似ブロックの位置を示す位置合わせ情報を生成する階層型位置合わせ部と、
前記位置合わせ情報に従って、前記類似ブロックと同じ空間位相位置の前記高周波成分画像内のブロックを前記被超解像画像の標本化周波数を超える高周波成分に割り付けて、前記被超解像画像の高周波成分を推定した超解像高周波成分画像を生成する超解像高周波成分画像生成部と、
前記被超解像画像を低周波成分とし、前記超解像高周波成分画像を高周波成分として周波数再構成を行い、超解像画像を生成する周波数再構成部と、を備え、
前記階層型位置合わせ部は、階層数の大きい低周波成分画像から順に前記類似ブロックを決定することを特徴とする超解像装置。
【請求項２】
前記超解像高周波成分画像生成部は、前記類似ブロックと同じ空間位相位置の前記高周波成分画像内のブロックのパワーを前記被超解像画像のパワーに基づいて補正した後に、前記被超解像画像の標本化周波数を超える高周波成分に割り付けて、前記超解像高周波成分画像を生成することを特徴とする、請求項１に記載の超解像装置。
【請求項３】
前記階層型位置合わせ部は、類似ブロックを決定する際に、最上位階層の低周波成分画像については全範囲を探索範囲とし、最上位階層以外の階層の低周波成分画像については階層数が１つ大きい類似ブロックの位置を基準に探索範囲を決定することを特徴とする、請求項１又は２に記載の超解像装置。
【請求項４】
前記周波数分解部は、前記被超解像画像に対してデシメーションを伴う複数階層のウェーブレット分解処理を行うことを特徴とする、請求項１から３のいずれか一項に記載の超解像装置。
【請求項５】
コンピュータを、請求項１から４のいずれか一項に記載の超解像装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被超解像画像を超解像処理する超解像装置及びプログラムに関する。
【背景技術】
【０００２】
従来、複数フレームの同一の動オブジェクト間で位置合わせを行うことにより、画素密度を高めてレジストレーション超解像を行う方法が知られている。この位置合わせは小数画素精度で行い、標本位置のずれた同一オブジェクトの画素情報から画素密度を高めることができる。
【０００３】
例えば、特許文献１には、ｎ枚の画像フレームを合成することにより、当該入力画像フレーム上の被写体が移動する方向に応じて画像フレームを構成する画素数を増加させる画像高解像度化方法が開示されている。また、特許文献２には、動画像データ内に記録されているフレーム画像間の動き情報を利用して、連続する２フレーム以上の画像から動きベクトルを算出し、累積加算及び方向変換による演算を行って、複雑な演算なく高精度な位置合わせを可能とする画像処理方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１０９３７５号公報
【非特許文献】
【０００５】
【非特許文献１】田中正行、奥富正敏、“複数画像からの「超」解像技術”、第１５回画像センシングシンポジウム（ＳＳＩＩ２００９）公演論文集（招待講演）、pp.OS4-02-1-23, Jan.2009.
【非特許文献２】Y Matsuo and S. Sakaida, “A Super-resolution Method Using Spatio-Temporal Registration of Multi-Scale Components in Consideration of Color-Sampling Patterns of UHDTV Cameras”, Proceedings of IEEE ISM, pp. 311-314, Dec. 2015
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来技術では、位置合わせ精度が高い場合は、高画質な超解像画像が得られる。しかし、フレームレートが低い、オブジェクトが複雑（不規則）な動きをする、オクルージョンが発生する場合などは位置合わせ精度が低くなりやすい。さらに、静止領域では原理上、位置合わせにより画素密度向上を向上させることができない。
【０００７】
そこで、単一の被超解像画像を周波数分解して、被超解像画像とその低周波成分画像との間で相似オブジェクトの位置合わせを行い、位置合わせされた箇所では被超解像画像とその低周波成分画像が類似しているため、被超解像画像のナイキスト周波数を超える超解像高周波成分は被超解像画像の高周波成分に類似しているとして該高周波成分を割り付けて超解像画像を生成する手法が考えられる。ただし、この手法では位置合わせに膨大な時間を要する。
【０００８】
かかる事情に鑑みてなされた本発明の目的は、フレーム間の相関の低い領域や静止領域を含むフレーム画像であっても、高速且つ高精細な超解像画像を生成することが可能な超解像装置及びプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、本発明に係る超解像装置は、被超解像画像を超解像処理して超解像画像を生成する超解像装置であって、被超解像画像に対して複数階層の周波数分解処理を行い、階層ごとに低周波成分画像と高周波成分画像とに分解する周波数分解部と、  前記被超解像画像を分割した分割ブロックごとに、前記低周波成分画像内で前記分割ブロックと最も類似度が高い類似ブロックを決定し、該類似ブロックの位置を示す位置合わせ情報を生成する階層型位置合わせ部と、前記位置合わせ情報に従って、前記類似ブロックと同じ空間位相位置の前記高周波成分画像内のブロックを前記被超解像画像の標本化周波数を超える高周波成分に割り付けて、前記被超解像画像の高周波成分を推定した超解像高周波成分画像を生成する超解像高周波成分画像生成部と、前記被超解像画像を低周波成分とし、前記超解像高周波成分画像を高周波成分として周波数再構成を行い、超解像画像を生成する周波数再構成部と、を備え、前記階層型位置合わせ部は、階層数の大きい低周波成分画像から順に前記類似ブロックを決定することを特徴とする。
【００１０】
さらに、本発明に係る超解像装置において、前記超解像高周波成分画像生成部は、前記類似ブロックと同じ空間位相位置の前記高周波成分画像内のブロックのパワーを前記被超解像画像のパワーに基づいて補正した後に、前記被超解像画像の標本化周波数を超える高周波成分に割り付けて、前記超解像高周波成分画像を生成することを特徴とする。
【００１１】
さらに、本発明に係る超解像装置において、前記階層型位置合わせ部は、類似ブロックを決定する際に、最上位階層の低周波成分画像については全範囲を探索範囲とし、最上位階層以外の階層の低周波成分画像については階層数が１つ大きい類似ブロックの位置を基準に探索範囲を決定することを特徴とする。
【００１２】
さらに、本発明に係る超解像装置において、前記周波数分解部は、前記被超解像画像に対してデシメーションを伴う複数階層のウェーブレット分解処理を行うことを特徴とする。
【００１３】
また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記超解像装置として機能させることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、同一フレーム内の相似オブジェクト間や、複数フレーム間の相似オブジェクト間でもレジストレーション超解像を行うことができ、フレーム間の相関の低い領域や静止領域を含むフレーム画像であっても、高速且つ高精細な超解像画質を得ることができるようになる。
【図面の簡単な説明】
【００１５】
【図１】本発明の第１の実施形態に係る超解像装置の構成例を示すブロック図である。
【図２】本発明の第１の実施形態に係る超解像装置の周波数分解部におけるウェーブレット変換処理の一例を示す図である。
【図３】本発明の第１の実施形態に係る超解像装置の位置合わせ部における位置合わせ処理の一例を示す図である。
【図４】本発明の第１の実施形態に係る超解像装置の超解像高周波成分画像生成部における割り付け処理の一例を示す図である。
【図５】本発明の第１の実施形態に係る超解像装置の周波数再構成部における周波数再構成処理の一例を示す図である。
【図６】本発明の第２の実施形態に係る超解像装置における第１の超解像高周波成分画像生成部の構成例を示すブロック図である。
【図７】本発明の第２の実施形態に係る超解像装置における第１の超解像高周波成分画像生成部のゲイン補正処理の一例を示す図である。
【図８】本発明の第２の実施形態に係る超解像装置における第２の超解像高周波成分画像生成部の構成例を示すブロック図である。
【図９】本発明の第２の実施形態に係る超解像装置における第２の超解像高周波成分画像生成部のゲイン補正処理の一例を示す図である。
【発明を実施するための形態】
【００１６】
以下、本発明の実施形態について、図面を参照して詳細に説明する。
【００１７】
（第１の実施形態）
図１は、本発明の第１の実施形態に係る超解像装置の構成例を示すブロック図である。図１に示す例では、超解像装置１は、周波数分解部１１と、階層型位置合わせ部１２と、超解像高周波成分画像生成部１３と、周波数再構成部１４とを備える。超解像装置１は、被超解像画像（原画像）Ｉを超解像処理して超解像画像ＩＳＲを生成する。
【００１８】
周波数分解部１１は、被超解像画像Ｉと、周波数分解パラメータとを入力する。周波数分解パラメータは、周波数分解処理に用いるフィルタを指定するパラメータと、階層数（分解階数）ｎを指定するパラメータとを含む。そして、周波数分解部１１は、周波数分解パラメータに基づいて被超解像画像Ｉに対して複数階層の周波数分解処理を行い、階層ごとに低周波成分画像と高周波成分画像とに分解する。そして、生成した各階層の低周波成分画像（ＬＬｎ）を階層型位置合わせ部１２に出力し、各分解階数の高周波成分画像（ＬＨｎ，ＨＬｎ，ＨＨｎ）を超解像高周波成分画像生成部１３に出力する。
【００１９】
周波数分解処理は、例えばCohen-Daubechies-Feauveau（ＣＤＦ）９／７ウェーブレットを用いたウェーブレット変換により行う。周波数分解部１１は、被超解像画像の参照画像の候補を増やすために、複数のフレーム画像を特性の異なる複数のフィルタを用いて周波数分解を行ってもよい。また、周波数分解部１１は入力映像を拡大した後に、複数階の周波数分解を行ってもよい。拡大処理は、例えばLanczos３フィルタなどの線形拡大フィルタを用いて行うことができる。被超解像画像を水平方向及び垂直方向に各ｍ倍に拡大処理してからｎ階周波数分解する際に、倍率ｍ及び階層数ｎは任意の値とすることができる。
【００２０】
図２は、周波数分解部１１におけるウェーブレット変換処理の一例を示す図である。図２に示す例では、周波数分解部１１は被超解像画像Ｉに対してデシメーションを伴う３階（ｎ＝３）ウェーブレット変換処理を行い、ウェーブレット分解画像（１階ウェーブレット分解画像Ｗ１、２階ウェーブレット分解画像Ｗ２、及び３階ウェーブレット分解画像Ｗ３）を生成する。デシメーションを伴う複数階層のウェーブレット分解処理を行うことにより、処理を高速化することができる。
【００２１】
階層型位置合わせ部１２は、被超解像画像Ｉと、周波数分解部１１により生成された各階層の低周波成分画像ＬＬｎとを入力する。階層型位置合わせ部１２は、被超解像画像Ｉを所定のサイズ（ａ×ａ画素）の分割ブロックＢｉ，ｊに分割し、分割ブロックＢｉ，ｊごとに低周波成分画像内で分割ブロックＢｉ，ｊと最も類似度（相関性）が高い類似ブロックＭｉ，ｊをブロックマッチングにより決定する。そして、類似ブロックＭｉ，ｊの位置を示す位置合わせ情報を生成し、超解像高周波成分画像生成部１３に出力する。ここで、添え字のｉは、水平方向のインデックスであり、ｊは垂直方向のインデックスである。
【００２２】
階層型位置合わせ部１２は、階層数ｎの大きい低周波成分画像から順に類似ブロックＭｉ，ｊを決定する。例えばｎ＝３の場合、ｎ＝３の低周波成分画像内の類似ブロックＭｉ，ｊ３を決定した後に、ｎ＝２の低周波成分画像内の類似ブロックＭｉ，ｊ２を決定し、最後にｎ＝１の低周波成分画像内の類似ブロックＭｉ，ｊ１を決定する。このようにすることで、類似ブロックＭｉ，ｊ３の位置を利用して類似ブロックＭｉ，ｊ２の位置を推定し、類似ブロックＭｉ，ｊ２の位置を利用して類似ブロックＭｉ，ｊ１の位置を推定することができるため、位置合わせに要する時間を短縮することができる。
【００２３】
例えば、階層型位置合わせ部１２は、類似ブロックＭｉ，ｊを決定する際に、最上位階層の低周波成分画像については全範囲を探索範囲とし、最上位階層以外の階層の低周波成分画像については階層数が１つ大きい類似ブロックの位置を基準に探索範囲を決定する。
【００２４】
図３は、階層型位置合わせ部１２における階層型の位置合わせ処理の一例を示す図である。この例では、階層数ｎ＝３とする。階層型位置合わせ部１２は、被超解像画像Ｉを基準フレーム画像、低周波成分画像ＬＬ３を参照フレーム画像として、分割ブロックＢ１，１について低周波成分画像ＬＬ３の全体を探索範囲とするブロックマッチングを行い、低周波成分画像ＬＬ３内で分割ブロックＢ１，１と最も類似度が高い類似ブロックＭ１，１３を決定する。
【００２５】
次に、階層型位置合わせ部１２は、被超解像画像Ｉを基準フレーム画像、低周波成分画像ＬＬ２を参照フレーム画像として、分割ブロックＢ１，１についてブロックマッチングを行い、低周波成分画像ＬＬ２内で分割ブロックＢ１，１と最も類似度が高い類似ブロックＭ１，１２を決定する。このとき、探索範囲は、例えば類似ブロックＭ１，１３の中心位置に対応する座標を水平方向及び垂直方向ともに２倍した位置を中心とする所定のサイズ（ｂ×ｂ画素、ｂ＞ａ）の範囲とする。
【００２６】
次に、階層型位置合わせ部１２は、被超解像画像Ｉを基準フレーム画像、低周波成分画像ＬＬ１を参照フレーム画像として、分割ブロックＢ１，１についてブロックマッチングを行い、低周波成分画像ＬＬ１内で分割ブロックＢ１，１と最も類似度が高い類似ブロックＭ１，１１を決定する。このとき、探索範囲は、例えば類似ブロックＭ１，１２の中心位置に対応する座標を水平方向及び垂直方向ともに２倍した位置を中心とする所定のサイズ（ｂ×ｂ画素、ｂ＞ａ）の範囲とする。以上の処理を｛Ｂｉ，ｊ｜∀ｉ，ｊ｝について行い、類似ブロックＭｉ，ｊｎの位置を示す位置合わせ情報を超解像高周波成分画像生成部１３に出力する。
【００２７】
階層型位置合わせ部１２が、図３に示すように被超解像画像Ｉとはサイズが異なる低周波成分画像とも位置合わせを行う理由は、同一フレーム内に形状が相似で大きさが異なる画像が存在する場合に、相似する画像間で位置合わせをし、その高周波成分を割り付けることができるからである。
【００２８】
超解像高周波成分画像生成部１３は、周波数分解部１１により生成された周波数分解画像の高周波成分（ＬＨｎ，ＨＬｎ，ＨＨｎ）と、階層型位置合わせ部１２により生成された位置合わせ情報とを入力する。超解像高周波成分画像生成部１３は、初めに被超解像画像Ｉと同じサイズの０行列を超解像高周波成分（ＬＨＳＲ，ＨＬＳＲ，ＨＨＳＲ）として用意する。そして、位置合わせ情報に従って、類似ブロックＭｉ，ｊｎと同じ空間位相位置の高周波成分画像（ＬＨｎ，ＨＬｎ，ＨＨｎ）内のブロックを、被超解像画像Ｉの標本化周波数を超える未知の高周波成分に割り付けて、被超解像画像Ｉの高周波成分を推定した超解像高周波成分画像を生成し、周波数再構成部１４に出力する。
【００２９】
図４は、超解像高周波成分画像生成部１３における割り付け処理の一例を示す図である。ここの例では、類似ブロックＭ１，１１に対する割り付けを行う例を示している。超解像高周波成分画像生成部１３は、位置合わせ情報に従って、１階ウェーブレット分解画像Ｗ１の高周波成分画像（ＬＨ１，ＨＬ１，ＨＨ１）を、被超解像画像Ｉの標本化周波数を超える未知の超解像高周波成分（ＬＨＳＲ，ＨＬＳＲ，ＨＨＳＲ）の小数画素位置に割り付ける。ここで、割り付ける際には、同じ位相位置の位置合わせ情報に従うこととする。これは、被超解像画像Ｉの分割ブロックＢｉ，ｊが低周波成分画像ＬＬｎの類似ブロックＭｉ，ｊに類似していれば、分割ブロックＢｉ，ｊと同位相位置の超解像高周波画像のブロックについても同様に、類似ブロックＭｉ，ｊと同位相位置の、高周波成分画像（ＬＨｎ，ＨＬｎ，ＨＨｎ）内のブロックにそれぞれ類似する可能性が高いためである。
【００３０】
超解像高周波成分画像生成部１３は、上記割り付け後、超解像高周波成分画像（ＬＨＳＲ，ＨＬＳＲ，ＨＨＳＲ）に対して、割り付けられた画素の距離に応じた重み付け、ＭＬ（Maximum Likelihood）推定、又はＭＡＰ（Maximum A Posterior）推定などにより、再構成処理を行うようにしてもよい。ＭＡＰ推定は、低解像度画像を条件としたときの事後確率を最大にする高解像画像を推定して再構成する手法である。ＭＡＰ推定の詳細については、例えば、E. Levitan and G. Herman: "A maximum a posteriori probability expectation maximization algorithm for image reconstruction in emission tomography", IEEE Transactions on Medical Imaging, vol. 6, no. 3, pp. 185-192, Sep. 1987.を参照されたい。
【００３１】
周波数再構成部１４は、被超解像画像Ｉと、超解像高周波成分画像生成部１３により生成された超解像高周波成分画像と、周波数再構成パラメータとを入力する。周波数再構成パラメータは、周波数再構成処理に用いるフィルタを指示するパラメータを含む。周波数再構成パラメータは、例えば周波数分解部１１で用いたフィルタと同一のフィルタを指示する。周波数再構成部１４は、被超解像画像Ｉを低周波成分とし、超解像高周波成分画像（ＬＨＳＲ，ＨＬＳＲ，ＨＨＳＲ）を高周波成分として周波数再構成を行って超解像画像ＩＳＲを生成し、外部に出力する。
【００３２】
図５は、周波数再構成部１４における周波数再構成処理の一例を示す図である。この例では、１階ウェーブレット再構成を行い、超解像画像ＩＳＲを生成する。
【００３３】
上述したように、本実施形態に係る超解像装置１は、周波数分解部１１により、被超解像画像Ｉに対して複数階層の周波数分解処理を行い、階層型位置合わせ部１２により、被超解像画像Ｉと低周波成分画像ＬＬｎとの間で階層型の位置合わせを行って類似ブロックＭｉ，ｊｎの位置を示す位置合わせ情報を生成する。次に、超解像高周波成分画像生成部１３により、位置合わせ情報に従って、類似ブロックＭｉ，ｊｎと同じ空間位相位置の高周波成分画像（ＬＨｎ，ＨＬｎ，ＨＨｎ）内のブロックを、被超解像画像Ｉの標本化周波数を超える高周波成分に割り付けて超解像高周波成分画像（ＬＨＳＲ，ＨＬＳＲ，ＨＨＳＲ）を生成する。そして、周波数再構成部１４により、被超解像画像Ｉを低周波成分とし、超解像高周波成分画像（ＬＨＳＲ，ＨＬＳＲ，ＨＨＳＲ）を高周波成分として周波数再構成を行い、超解像画像ＩＳＲを生成する。
【００３４】
なお、上述した超解像装置１として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、超解像装置１の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。
【００３５】
このようにして、超解像装置１及びそのプログラムは、位置合わせを被超解像画像に近接する他のフレームの周波数分解画像との間でも行うことにより、同一フレーム内の相似オブジェクト間、及び複数フレーム間の相似オブジェクト間でレジストレーション超解像を行うことができ、静止領域や位置合わせ精度が低い領域でも高い超解像画質が得ることができる。また、階層型位置合わせ部１２により階層型の位置合わせを行うため、位置合わせに要する時間を短縮し、処理を高速化することができる。
【００３６】
（第２の実施形態）
次に、本発明の第２の実施形態に係る超解像装置について説明する。第２の実施形態の超解像装置２は第１の実施形態の超解像装置１と比較して、超解像高周波成分画像生成部１３の処理が相違する。その他の構成については第１の実施形態と同一であるため、説明を省略する。
【００３７】
第２の実施形態に係る超解像装置２の超解像高周波成分画像生成部１３は、上述した類似ブロックＭｉ，ｊｎ（被超解像画像Ｉ内のブロックＢｉ，ｊに類似する低周波成分画像ＬＬｎ内のブロック）と同じ空間位相位置の高周波成分画像内のブロックのパワーを被超解像画像Ｉのパワーに基づいて補正した後に、被超解像画像Ｉの標本化周波数を超える高周波成分に割り付けて、超解像高周波成分画像（ＬＨＳＲ，ＨＬＳＲ，ＨＨＳＲ）を生成する。このため、超解像画像ＩＳＲの高周波成分の過強調を防止することができる。以下、超解像高周波成分画像生成部１３の形態として２つの例（１３−１及び１３−２）を説明する。
【００３８】
図６は、超解像高周波成分画像生成部１３−１の構成例を示す図である。超解像高周波成分画像生成部１３は、ゲイン補正部１３１−１と、画像割付部１３２−１とを備える。
【００３９】
ゲイン補正部１３１−１は、周波数分解部１１により生成された高周波成分画像（ＬＨｎ，ＨＬｎ，ＨＨｎ）のパワーのＲＭＳ（二乗平均平方根）を算出する。また、高周波成分画像（ＬＨｎ，ＨＬｎ，ＨＨｎ）に基づいて、超解像画像ＩＳＲの高周波成分画像である超解像高周波成分画像（ＬＨＳＲ，ＨＬＳＲ，ＨＨＳＲ）のパワーのＲＭＳの推定値である推定ＲＭＳを算出する。そして、高周波成分画像（ＬＨｎ，ＨＬｎ，ＨＨｎ）のパワーのＲＭＳが推定ＲＭＳと等しくなるようにゲイン補正を行ってゲイン補正高周波成分画像（ｃＬＨｎ，ｃＨＬｎ，ｃＨＨｎ）を生成し、画像割付部１３２−１に出力する。
【００４０】
図７は、ゲイン補正部１３１−１におけるゲイン補正処理の一例を示す図である。この例では、階層数ｎ＝３とする。図７（ａ）は被超解像画像Ｉのパワースペクトルであり、図７（ｂ）は、超解像画像ＩＳＲの推定したパワースペクトルである。超解像高周波成分画像（ＬＨＳＲ，ＨＬＳＲ，ＨＨＳＲ）のパワースペクトルの形状は、被超解像画像Ｉの帯域のパワースペクトルがなだらかに連続するものと仮定する。このため、超解像高周波成分画像（ＬＨＳＲ，ＨＬＳＲ，ＨＨＳＲ）のパワースペクトルは、｛ＬＨｎ，ＨＬｎ，ＨＨｎ｜ｎ∈１，２，３｝のパワースペクトルを関数近似で外挿した値とすることにより、超解像高周波成分画像（ＬＨＳＲ，ＨＬＳＲ，ＨＨＳＲ）のパワーのＲＭＳを推定することができる。
【００４１】
画像割付部１３２−１は、超解像装置１と同様に、被超解像画像Ｉと同じサイズの０行列を超解像高周波成分（ＬＨＳＲ，ＨＬＳＲ，ＨＨＳＲ）として用意し、位置合わせ情報に従って、低周波成分画像ＬＬｎ内の類似ブロックＭｉ，ｊｎと同じ空間位相位置のゲイン補正高周波成分画像（ｃＬＨｎ，ｃＨＬｎ，ｃＨＨｎ）内のブロックを、被超解像画像Ｉの標本化周波数を超える未知の高周波成分に割り付けて、被超解像画像Ｉの高周波成分を推定した超解像高周波成分画像を生成し、周波数再構成部１４に出力する。
【００４２】
図８は、超解像高周波成分画像生成部１３−２の構成例を示す図である。超解像高周波成分画像生成部１３−２は、ゲイン補正部１３１−２と、画像割付部１３２−２とを備える。
【００４３】
ゲイン補正部１３１−２は、被超解像画像Ｉ内のブロックＢｉ，ｊと、ブロックＢｉ，ｊに類似する低周波成分画像ＬＬｎ内の類似ブロックＭｉ，ｊｎと、類似ブロックＭｉ，ｊｎと同じ空間位相位置の高周波成分画像（ＬＨｎ，ＨＬｎ，ＨＨｎ）内のブロックＡｉ，ｊｎとから、ブロックＡｉ，ｊｎを補正したブロックｃＡｉ，ｊｎを生成し、画像割付部１３２−２に出力する。
【００４４】
図９は、ゲイン補正部１３１−２におけるゲイン補正処理の一例を示す図である。ブロックＢｉ，ｊ、類似ブロックＭｉ，ｊｎ、及びブロックＡｉ，ｊｎのパワーをそれぞれＰ（Ｂｉ，ｊ）、Ｐ（Ｍｉ，ｊｎ）、Ｐ（Ａｉ，ｊｎ）とすると、以下の式（１）によりゲイン補正係数Ｃを求める。そしてブロックＡｉ，ｊｎの各画素に補正係数Ｃを乗じたブロックをブロックｃＡｉ，ｊｎとする。このように、ゲイン補正部１３１−２は、簡易な演算により、ブロックＡｉ，ｊｎごとにゲインを補正することができる。
【００４５】
【数１】
2017220200.tif 000003
【００４６】
画像割付部１３２−２は、被超解像画像Ｉと同じサイズの０行列を超解像高周波成分（ＬＨＳＲ，ＨＬＳＲ，ＨＨＳＲ）として用意し、位置合わせ情報に従って、ブロックｃＡｉ，ｊｎを、被超解像画像Ｉの標本化周波数を超える未知の高周波成分に割り付けて、被超解像画像Ｉの高周波成分を推定した超解像高周波成分画像を生成し、周波数再構成部１４に出力する。なお、便宜上ゲイン補正部１３１−２と画像割付部１３２−２とに分けて記載したが、これらの処理は一つにまとめて行ってもよい。
【００４７】
このように、本実施形態に係る超解像装置２は、周波数分解部１１により、被超解像画像Ｉに対して複数階層の周波数分解処理を行い、階層型位置合わせ部１２により、被超解像画像Ｉと低周波成分画像ＬＬｎとの間で階層型の位置合わせを行って類似ブロックＭｉ，ｊｎの位置を示す位置合わせ情報を生成する。次に、超解像高周波成分画像生成部１３により、類似ブロックＭｉ，ｊｎと同じ空間位相位置の高周波成分画像（ＬＨｎ，ＨＬｎ，ＨＨｎ）内のブロックのパワーを、被超解像画像Ｉのパワーに基づいて補正した後に、位置合わせ情報に従って、被超解像画像Ｉの標本化周波数を超える高周波成分に割り付けて超解像高周波成分画像（ＬＨＳＲ，ＨＬＳＲ，ＨＨＳＲ）を生成する。そして、周波数再構成部１４により、被超解像画像Ｉを低周波成分とし、超解像高周波成分画像（ＬＨＳＲ，ＨＬＳＲ，ＨＨＳＲ）を高周波成分として周波数再構成を行い、超解像画像ＩＳＲを生成する。
【００４８】
なお、上述した超解像装置２として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、超解像装置２の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。
【００４９】
超解像装置２及びそのプログラムは、高周波成分画像（ＬＨｎ，ＨＬｎ，ＨＨｎ）及び超解像高周波成分画像（ＬＨＳＲ，ＨＬＳＲ，ＨＨＳＲ）のスペクトルパワー差を考慮してゲイン補正を行う。そのため、超解像画像ＩＳＲの高周波成分が過強調されることなく、更に超解像画像ＩＳＲの画質を向上させることができるようになる。
【００５０】
上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。
【符号の説明】
【００５１】
１    超解像装置
１１  周波数分解部
１２  階層型位置合わせ部
１３，１３−１，１３−２  超解像高周波成分画像生成部
１３１−１，１３１−２  ゲイン補正部
１３２−１，１３２−２  画像割付部
１４  周波数再構成部
【図１】
2017220200.tif 000004
【図２】
2017220200.tif 000005
【図３】
2017220200.tif 000006
【図４】
2017220200.tif 000007
【図５】
2017220200.tif 000008
【図６】
2017220200.tif 000009
【図７】
2017220200.tif 000010
【図８】
2017220200.tif 000011
【図９】
2017220200.tif 000012