(57)【要約】【課題】被超解像画像の自己相似性及びエイリアシング成分を考慮して超解像画像の画質を向上させる。【解決手段】超解像装置１は、被超解像画像から複数階層のウェーブレットパケット変換画像を生成するウェーブレットパケット変換部１１と、複数階層のウェーブレットパケット変換画像間で位置合わせして位置合わせ情報を生成する位置合わせ部１２と、位置合わせ情報に従って、ウェーブレットパケット変換画像を、該ウェーブレットパケット変換画像に含まれるエイリアシング成分に対応する高周波成分が含まれる超解像高周波帯域に割付けて、前記被超解像画像の高周波成分を推定した超解像高周波成分画像を生成する超解像高周波成分生成部１３と、被超解像画像を低周波成分とし超解像高周波成分画像を高周波成分としてウェーブレットパケット再構成して超解像画像を生成するウェーブレットパケット再構成部１４とを備える。【選択図】図１
2018022329.tif 000002
【特許請求の範囲】
【請求項１】
被超解像画像を超解像処理して超解像画像を生成する超解像装置であって、
被超解像画像に対してウェーブレットパケット変換を行って複数階層のウェーブレットパケット変換画像を生成するウェーブレットパケット変換部と、
前記複数階層のウェーブレットパケット変換画像間でブロックごとに位置合わせを行い、対応する位置関係を示す位置合わせ情報を生成する位置合わせ部と、
前記位置合わせ情報に従って、前記ウェーブレットパケット変換画像を、該ウェーブレットパケット変換画像に含まれるエイリアシング成分に対応する高周波成分が含まれる超解像高周波帯域に割付けて、前記被超解像画像の高周波成分を推定した超解像高周波成分画像を生成する超解像高周波成分生成部と、
前記被超解像画像を低周波成分とし、前記超解像高周波成分画像を高周波成分としてウェーブレットパケット再構成を行って超解像画像を生成するウェーブレットパケット再構成部と、
を備えることを特徴とする超解像装置。
【請求項２】
前記ウェーブレットパケット変換画像のパワーを、該ウェーブレットパケット変換画像に含まれるエイリアシング成分に対応する高周波成分が含まれる超解像高周波帯域のパワーと等しくなるように調整した周波数変換パワー調整画像を生成するパワー調整部を更に備え、
前記超解像高周波成分生成部は、前記位置合わせ情報に従って、前記周波数変換パワー調整画像を、該周波数変換パワー調整画像に含まれるエイリアシング成分に対応する高周波成分が含まれる超解像高周波帯域に割付けて、前記超解像高周波成分画像を生成することを特徴とする、請求項１に記載の超解像装置。
【請求項３】
コンピュータを、請求項１又は２に記載の超解像装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被超解像画像を超解像処理する超解像装置及びプログラムに関する。
【背景技術】
【０００２】
超解像技術は、被超解像画像のナイキスト周波数を超える超解像高周波成分を生成することができる。この超解像技術は、大別すると学習型と再構成型に分類される。
【０００３】
学習型は、学習用画像とこれを撮像時の光学系を模擬して低域通過フィルタ処理した低周波画像との組をデータベースとして保持し、被超解像画像とデータベースの低周波画像とがパターンマッチングする空間位相領域では、当該空間位相領域の超解像画像を学習用画像とする。ただし、超解像画質を高めるには膨大なデータベースを必要とする、繰り返し演算を必要とするなどの欠点がある。
【０００４】
再構成型は、被超解像画像が持つ周波数スペクトルパワーなどを考慮して、被超解像画像を再構成する。この再構成型は大別すると、線形／非線形フィルタ型とレジストレーション型に分類される。このうち線形／非線形フィルタ型は、線形／非線形フィルタ処理により超解像高周波成分を生成する。ただし、主観的には高画質な超解像画像が生成できた場合であっても、必ずしも高精度な超解像高周波成分が得られるとは限らないという欠点がある。これに対して、レジストレーション型は複数フレーム間の位置合わせにより、画素密度を高めることができる（例えば、特許文献１及び非特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−１０９３７５号公報
【非特許文献】
【０００６】
【非特許文献１】Y Matsuo and S．Sakaida，“A Super−resolution Method Using Spatio−Temporal Registration of Multi−Scale Components in Consideration of Color−Sampling Patterns of UHDTV Cameras”，Proceedings of IEEE ISM，pp．311−314，Dec．2015
【発明の概要】
【発明が解決しようとする課題】
【０００７】
レジストレーション型の超解像処理は、位置合わせ精度が高い場合には、高精度な超解像高周波成分が得られるという利点がある。しかし、オクルージョンや大きな動きなどによりフレーム間の相関が低い場合は、超解像画質が低下するという課題があった。また、従来の超解像処理は、エイリアシングを考慮していなかった。
【０００８】
かかる事情に鑑みてなされた本発明の目的は、フレーム間の相関が低い場合でもレジストレーション超解像処理を行うことができ、且つエイリアシング成分を考慮することにより、超解像画像の画質を大きく向上させることが可能な超解像装置及びプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、本発明に係る超解像装置は、被超解像画像を超解像処理して超解像画像を生成する超解像装置であって、被超解像画像に対してウェーブレットパケット変換を行って複数階層のウェーブレットパケット変換画像を生成するウェーブレットパケット変換部と、前記複数階層のウェーブレットパケット変換画像間でブロックごとに位置合わせを行い、対応する位置関係を示す位置合わせ情報を生成する位置合わせ部と、前記位置合わせ情報に従って、前記ウェーブレットパケット変換画像を、該ウェーブレットパケット変換画像に含まれるエイリアシング成分に対応する高周波成分が含まれる超解像高周波帯域に割付けて、前記被超解像画像の高周波成分を推定した超解像高周波成分画像を生成する超解像高周波成分生成部と、前記被超解像画像を低周波成分とし、前記超解像高周波成分画像を高周波成分としてウェーブレットパケット再構成を行って超解像画像を生成するウェーブレットパケット再構成部と、を備えることを特徴とする。
【００１０】
さらに、本発明に係る超解像装置において、前記ウェーブレットパケット変換画像のパワーを、該ウェーブレットパケット変換画像に含まれるエイリアシング成分に対応する高周波成分が含まれる超解像高周波帯域のパワーと等しくなるように調整した周波数変換パワー調整画像を生成するパワー調整部を更に備え、前記超解像高周波成分生成部は、前記位置合わせ情報に従って、前記周波数変換パワー調整画像を、該周波数変換パワー調整画像に含まれるエイリアシング成分に対応する高周波成分が含まれる超解像高周波帯域に割付けて、前記超解像高周波成分画像を生成することを特徴とする。
【００１１】
また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記超解像装置として機能させることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、被超解像画像が持つ自己相似性を効果的に利用することにより、フレーム間の相関が低い場合でもレジストレーション超解像処理を行うことができる。
【００１３】
また、本発明によれば、エイリアシング成分を考慮した超解像処理が可能となり、超解像画像の画質を大きく向上させることができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１の実施形態に係る超解像装置の構成例を示すブロック図である。
【図２】本発明の第１の実施形態に係る超解像装置のウェーブレットパケット変換処理の一例を示す図である。
【図３】本発明の第１の実施形態に係る超解像装置の位置合わせ処理の一例を示す図である。
【図４】エイリアシングについて説明する図である。
【図５】エイリアシング成分に対応する高周波成分が含まれる超解像高周波帯域を説明する図である。
【図６】本発明の第１の実施形態に係る超解像装置の超解像高周波成分生成処理の一例を示す図である。
【図７】本発明の第２の実施形態に係る超解像装置の構成例を示すブロック図である。
【図８】本発明の第２の実施形態に係る超解像装置のパワー調整の一例を示す図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施形態について、図面を参照して詳細に説明する。
【００１６】
（第１の実施形態）
図１は、本発明の第１の実施形態に係る超解像装置の構成例を示すブロック図である。図１に示す例では、超解像装置１は、ウェーブレットパケット変換部１１と、位置合わせ部１２と、超解像高周波成分生成部１３と、ウェーブレットパケット再構成部１４とを備える。
【００１７】
ウェーブレットパケット変換部１１は、被超解像画像を入力して、被超解像画像に対してウェーブレットパケット変換を行って複数階層のウェーブレットパケット変換画像を生成する。本実施形態では１階ウェーブレットパケット変換画像と２階ウェーブレットパケット変換画像を生成し、１階ウェーブレットパケット変換画像を位置合わせ部１２に出力し、２階ウェーブレットパケット変換画像を位置合わせ部１２及び超解像高周波成分生成部１３に出力する。ウェーブレットパケット変換では、空間方向に均等に周波数分解を行う。すなわち、低周波帯域のみならず高周波帯域についても周波数分解を行う。本発明では、後述するように超解像高周波帯域の割付けをエイリアシングを考慮して行うために、ウェーブレットパケット変換処理を四分木分割構造となるように行うのが好適である。
【００１８】
図２は、ウェーブレットパケット変換部１１の処理の一例を示す図である。ここでは、被超解像画像を２階ウェーブレットパケット変換した場合の分解図を示している。なお、本図ではデシメーションありのウェーブレットパケット変換を示しているが、デシメーションなしのウェーブレットパケット変換を行ってもよい。
【００１９】
ウェーブレットパケット変換画像は、水平方向においては右側ほど高周波帯域とし、垂直方向においては上側ほど高周波帯域として以下説明する。すなわち、１階ウェーブレットパケット変換画像について、Ａは低周波帯域であり、Ｂは水平高周波・垂直低周波帯域であり、Ｃは水平低周波・垂直高周波帯域であり、Ｄは高周波帯域である。２階ウェーブレットパケット変換画像について、ＬＬＡは帯域Ａの低周波帯域であり、ＬＨＡは帯域Ａの水平高周波・垂直低周波帯域であり、ＨＬＡは帯域Ａの水平低周波・垂直高周波帯域であり、ＨＨＡは帯域Ａの高周波帯域である。２階ウェーブレットパケット変換画像の他の帯域についても同様である。
【００２０】
位置合わせ部１２は、複数階層のウェーブレットパケット変換画像間でブロックごとに位置合わせを行い、対応する位置関係を示す位置合わせ情報を生成する。そして、位置合わせ情報を超解像高周波成分生成部１３に出力する。具体的には、１階ウェーブレットパケット変換画像を基準フレーム、２階ウェーブレットパケット変換画像を参照フレームとして、１階ウェーブレットパケット変換画像の各周波数帯域と、２階ウェーブレットパケット変換画像の各低周波帯域との間でブロックマッチングを行い、対応する位置関係を示す位置合わせ情報を生成する。
【００２１】
図３は、位置合わせ部１２の処理の一例を示す図である。同図における位置合わせでは、被超解像画像の１階ウェーブレットパケット変換画像の低周波帯域Ａを小ブロックに分割し、低周波帯域Ａの更に低周波帯域である、２階ウェーブレットパケット変換画像の低周波帯域ＬＬＡを探索範囲としてブロックマッチングを行う。同様に、１階ウェーブレットパケット変換画像の水平高周波・垂直低周波帯域Ｂを小ブロックに分割し、２階ウェーブレットパケット変換画像の低周波帯域ＬＬＢを探索範囲としてブロックマッチングを行う。１階ウェーブレットパケット変換画像の水平低周波・垂直高周波帯域Ｃを小ブロックに分割し、２階ウェーブレットパケット変換画像の低周波帯域ＬＬＣを探索範囲としてブロックマッチングを行う。１階ウェーブレットパケット変換画像の高周波帯域Ｄを小ブロックに分割し、２階ウェーブレットパケット変換画像の低周波帯域ＬＬＤを探索範囲としてブロックマッチングを行う。
【００２２】
超解像高周波成分生成部１３は、位置合わせ部１２により生成された位置合わせ情報に従って、２階ウェーブレットパケット変換画像を被超解像画像の標本化周波数を超える超解像高周波帯域に割付けて、被超解像画像の高周波成分を推定した超解像高周波成分画像を生成する。そして、超解像高周波成分画像をウェーブレットパケット再構成部１４に出力する。割付ける際には、エイリアシングを考慮して、２階ウェーブレットパケット変換画像を、該ウェーブレットパケット変換画像に含まれるエイリアシング成分に対応する高周波成分が含まれる超解像高周波帯域に割付ける。
【００２３】
図４は、エイリアシングについて説明する図である。横軸は周波数であり、縦軸はパワーである。本図では説明の便宜上、周波数を１次元方向とする。ナイキスト周波数を超える周波数成分は標本化した際にナイキスト周波数以下に折り返され、ナイキスト周波数を越えた分だけ低い周波数にエイリアシングが発生する。
【００２４】
図５は、２階ウェーブレットパケット変換画像に含まれるエイリアシング成分に対応する高周波成分が含まれる超解像高周波帯域を説明する図である。図５（ａ）は２階ウェーブレットパケット変換画像の帯域ＬＨＡ，ＨＬＡ，ＨＨＡに含まれるエイリアシング成分に対応する高周波成分が含まれる超解像高周波帯域をＬＨＡ’，ＨＬＡ’，ＨＨＡ’として示している。同様に、図５（ｂ）は２階ウェーブレットパケット変換画像の帯域ＬＨＢ，ＨＬＢ，ＨＨＢに含まれるエイリアシング成分に対応する高周波成分が含まれる超解像高周波帯域をＬＨＢ’，ＨＬＢ’，ＨＨＢ’として示している。図５（ｃ）は２階ウェーブレットパケット変換画像の帯域ＬＨＣ，ＨＬＣ，ＨＨＣに含まれるエイリアシング成分に対応する高周波成分が含まれる超解像高周波帯域をＬＨＣ’，ＨＬＣ’，ＨＨＣ’として示している。図５（ｄ）は２階ウェーブレットパケット変換画像の帯域ＬＨＤ，ＨＬＤ，ＨＨＤに含まれるエイリアシング成分に対応する高周波成分が含まれる超解像高周波帯域をＬＨＤ’，ＨＬＤ’，ＨＨＤ’として示している。
【００２５】
図６は、超解像高周波成分生成部１３の処理の一例を示す図である。同図において、１階ウェーブレットパケット変換画像の低周波帯域Ａと２階ウェーブレットパケット変換画像の低周波帯域ＬＬＡの位置合わせされたブロック領域は類似している。そのため、２階ウェーブレットパケット変換画像の他の帯域ＬＨＡ，ＨＬＡ，ＨＨＡのＬＬＡと同じ位相位置の成分は、超解像高周波帯域のうちエイリアシング成分に対応する成分を含む帯域ＬＨＡ’，ＨＬＡ’，ＨＨＡ’の帯域Ａのブロック領域と同じ位相位置の成分に類似していると仮定して超解像高周波帯域の割付けを行う。帯域Ｂ，Ｃ，Ｄの位置合わせされたブロック領域においても同様の処理を行う。
【００２６】
ウェーブレットパケット再構成部１４は、被超解像画像を低周波成分とし、超解像高周波成分生成部１３により生成された超解像高周波成分画像を高周波成分としてウェーブレットパケット再構成を行って超解像画像を生成し、外部に出力する。
【００２７】
なお、上述した超解像装置１として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、超解像装置１の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。
【００２８】
上述したように、第１の実施形態に係る超解像装置１及びそのプログラムは、被超解像画像から複数階層のウェーブレットパケット変換画像を生成し、複数階層のウェーブレットパケット変換画像間でブロックごとに位置合わせを行い、位置合わせ情報に従ってウェーブレットパケット変換画像を被超解像画像の標本化周波数を超える超解像高周波帯域に割付けて超解像高周波成分画像を生成する。そのため、被超解像画像が持つ自己相似性を効果的に利用することが可能となり、フレーム間の相関が低い場合でもレジストレーション超解像処理を行うことができる。
【００２９】
また、第１の実施形態に係る超解像装置１及びそのプログラムは、超解像高周波成分画像を生成する際には、ウェーブレットパケット変換画像を該ウェーブレットパケット変換画像に含まれるエイリアシング成分に対応する高周波成分が含まれる超解像高周波帯域に割付ける。そのため、エイリアシング成分を考慮した超解像処理が可能となり、更に超解像画像の画質を向上させることができるようになる。
【００３０】
（第２の実施形態）
次に、本発明の第２の実施形態に係る超解像装置について説明する。図７は、第２の実施形態に係る超解像装置の構成例を示すブロック図である。図７に示す例では、超解像装置２は、ウェーブレットパケット変換部１１と、位置合わせ部１２と、超解像高周波成分生成部１３と、ウェーブレットパケット再構成部１４と、パワー調整部１５とを備える。第２の実施形態の超解像装置２は、第１の実施形態の超解像装置１と比較して、パワー調整部１５を更に備える点が相違する。その他の構成については第１の実施形態と同様であるため、詳細な説明は省略する。
【００３１】
ウェーブレットパケット変換部１１は、被超解像画像を入力して、被超解像画像に対してウェーブレットパケット変換を行って複数階層のウェーブレットパケット変換画像を生成する。本実施形態では１階ウェーブレットパケット変換画像と２階ウェーブレットパケット変換画像を生成し、１階ウェーブレットパケット変換画像を位置合わせ部１２に出力し、２階ウェーブレットパケット変換画像をパワー調整部１５に出力する。
【００３２】
パワー調整部１５は、２階ウェーブレットパケット変換画像の周波数帯域ごと又は位相位置ごとのパワーを算出する。そして、超解像高周波帯域のパワーを被超解像画像のパワーに基づいて推定し、外挿する。具体的には、超解像高周波帯域のパワーを被超解像画像のパワーに連続してなだらかに減少していくものと仮定して算出する。周波数帯域ごとのパワーは、例えば帯域内成分のＲＭＳ（Root Mean Square）値とする。図８に、パワー調整部１５の処理の一例を示す。
【００３３】
２階ウェーブレットパケット変換画像をそのまま超解像高周波帯域に割付けると、超解像高周波帯域のパワーが過度に強調されて高くなりすぎる。そのため、パワー調整部１５は、２階ウェーブレットパケット変換画像のパワーを、該ウェーブレットパケット変換画像に含まれるエイリアシング成分に対応する高周波成分が含まれる超解像高周波帯域のパワーと等しくなるように調整した周波数変換パワー調整画像を生成する。そして、周波数変換パワー調整画像を位置合わせ部１２及び超解像高周波成分生成部１３に出力する。エイリアシング成分に対応する高周波成分が含まれる超解像高周波帯域は図５に示したとおりである。
【００３４】
位置合わせ部１２は、複数階層のウェーブレットパケット変換画像間でブロックごとに位置合わせを行い、対応する位置関係を示す位置合わせ情報を生成し、超解像高周波成分生成部１３に出力する。具体的には、１階ウェーブレットパケット変換画像を基準フレーム、周波数変換パワー調整画像を参照フレームとして、帯域成分ごとにブロックマッチングを行い、対応する位置関係を示す位置合わせ情報を生成する。
【００３５】
超解像高周波成分生成部１３は、位置合わせ部１２により生成された位置合わせ情報に従って、周波数変換パワー調整画像を被超解像画像の標本化周波数を超える超解像高周波帯域に割付けて、被超解像画像の高周波成分を推定した超解像高周波成分画像を生成し、ウェーブレットパケット再構成部１４に出力する。割付ける際には、エイリアシングを考慮して、周波数変換パワー調整画像を、該ウェーブレットパケット変換画像に含まれるエイリアシング成分に対応する高周波成分が含まれる超解像高周波帯域に割付ける。
【００３６】
ウェーブレットパケット再構成部１４は、被超解像画像を低周波成分とし、超解像高周波成分生成部１３により生成された超解像高周波成分画像を高周波成分としてウェーブレットパケット再構成を行って超解像画像を生成し、外部に出力する。
【００３７】
なお、上述した超解像装置２として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、超解像装置２の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。
【００３８】
上述したように、第２の実施形態に係る超解像装置２及びそのプログラムは、ウェーブレットパケット変換画像のパワーを、該ウェーブレットパケット変換画像に含まれるエイリアシング成分に対応する高周波成分が含まれる超解像高周波帯域のパワーと等しくなるように調整する。そのため、第１の実施形態の効果に加え、超解像画像の高周波成分の過強調を防止することができる。
【００３９】
上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。
【００４０】
例えば、本実施形態では１階ウェーブレットパケット変換画像と２階ウェーブレットパケット変換画像を生成するものとして説明したが、更に３階ウェーブレットパケット変換画像を生成し、位置合わせを行う際に、１階ウェーブレットパケット変換画像を基準フレームとし、２階ウェーブレットパケット変換画像及び３階ウェーブレットパケット変換画像を参照フレームとしてブロックマッチングを行い、対応する位置関係を示す位置合わせ情報を生成するようにしてもよい。
【符号の説明】
【００４１】
１，２  超解像装置
１１    ウェーブレットパケット変換部
１２    位置合わせ部
１３    超解像高周波成分生成部
１４    ウェーブレットパケット再構成部
１５    パワー調整部
【図１】
2018022329.tif 000003
【図２】
2018022329.tif 000004
【図３】
2018022329.tif 000005
【図４】
2018022329.tif 000006
【図５】
2018022329.tif 000007
【図６】
2018022329.tif 000008
【図７】
2018022329.tif 000009
【図８】
2018022329.tif 000010