(57)【要約】【課題】入力画像の空間高周波成分を高精度で補完する。【解決手段】入力画像に対して複数階層の周波数分解処理を行って周波数分解画像を生成する周波数分解部１１と、周波数分解画像のうち第１分解画像と第２分解画像とを決定する使用帯域決定部１２と、第１分解画像の低周波成分画像と第２分解画像の低周波成分画像との間でレジストレーション情報を生成する位置合わせ部１３と、レジストレーション情報を用いて、第１分解画像の高周波成分画像と第２分解画像の高周波成分画像との間で割り付けを行い、超解像高周波成分画像を生成する超解像高周波成分補完部１４と、第１分解画像の低周波成分画像を低周波成分とし超解像高周波成分画像を高周波成分として、周波数再構成処理を行って超解像補完画像を生成する周波数再構成部１５と、を備える。【選択図】図１
2018137678.tif 000002
【特許請求の範囲】
【請求項１】
入力画像の空間高周波成分を補完する超解像補完ポストフィルタ装置であって、
前記入力画像に対して複数階層の周波数分解処理を行って周波数分解画像を生成する周波数分解部と、
前記周波数分解画像のうち、第１の分解階数を有する分解画像である第１分解画像と、第２の分解階数を有する分解画像である第２分解画像とを決定する使用帯域決定部と、
前記第１分解画像の低周波成分画像と第２分解画像の低周波成分画像との間で対応する位置関係を示すレジストレーション情報を生成する位置合わせ部と、
前記レジストレーション情報を用いて、前記第１分解画像の高周波成分画像と第２分解画像の高周波成分画像との間で割り付けを行い、超解像高周波成分画像を生成する超解像高周波成分補完部と、
前記第１分解画像の低周波成分画像を低周波成分とし前記超解像高周波成分画像を高周波成分として、周波数再構成処理を行って超解像補完画像を生成する周波数再構成部と、
を備えることを特徴とする超解像補完ポストフィルタ装置。
【請求項２】
前記使用帯域決定部は、前記入力画像の高周波成分画像のパワー値が閾値未満となる分解階数を前記第１の分解階数とし、前記パワー値が前記閾値以上となる分解階数を前記第２の分解階数とすることを特徴とする、請求項１に記載の超解像補完ポストフィルタ装置。
【請求項３】
前記周波数分解部は、前記入力画像に対して複数階層のウェーブレット分解処理を行い、
前記周波数再構成部は、前記第１分解画像の低周波成分画像を低周波成分とし前記超解像高周波成分画像を高周波成分として、ウェーブレット再構成処理を行うことを特徴とする、請求項１又は２に記載の超解像補完ポストフィルタ装置。
【請求項４】
コンピュータを、請求項１から３のいずれか一項に記載の超解像補完ポストフィルタ装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像の空間高周波成分を補完する超解像補完ポストフィルタ装置及びプログラムに関する。
【背景技術】
【０００２】
一般に、ＩＴＵ−Ｔ  Ｈ．２６５／ＭＰＥＧ−Ｈ  ＨＥＶＣ(High Efficiency Video Coding) （以下、単に「ＨＥＶＣ」と称する。）などの符号化方式により符号化された映像は、復号処理をして復号画像を生成した際に、空間高周波成分が失われている。そのため、近年の超解像テレビでは、復号映像を超解像処理する手法が採用されている。
【０００３】
また、特許文献１には、映像圧縮伝送システムにおける演算コストを低減するために、入力映像を単一の動きモデルを持つ背景領域と局所的な動きモデルを持つ移動体領域に分離し、背景領域のみに超解像処理を施し、移動体領域についてはそのまま符号化・復号する手法が開示されている。
【０００４】
また、特許文献２には、映像の圧縮符号化において、視認性や判別性を向上させた領域を先鋭化するために、入力映像の重要領域について超解像処理を行って、それ以外は単純拡大を行ってから符号化・伝送し、復号化処理側においても超解像処理を行うことにより、重要領域について更にユーザの視認性が高い画像を表示する手法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】国際公開ＷＯ２０１３／１９１１９３
【特許文献２】特開２０１６−１１６０９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来の超解像処理では、被超解像画像が持つ周波数スペクトルパワーなどを考慮して被超解像画像を再構成する、再構成型といわれる手法が一般的に用いられている。この再構成型は大別すると、線形／非線形フィルタ型とレジストレーション型に分類される。このうち線形／非線形フィルタ型は、線形／非線形フィルタ処理により超解像高周波成分を生成する。ただし、主観的には高画質な超解像画像が生成できた場合であっても、必ずしも高精度な超解像高周波成分が得られるとは限らないという欠点がある。これに対して、レジストレーション型は複数フレーム間の位置合わせにより、画素密度を高めることができる。しかし、このような手法では、ブロック歪なども超解像処理してしまうという問題があった。
【０００７】
かかる事情に鑑みてなされた本発明の目的は、入力画像の空間高周波成分を高精度で補完することが可能な超解像補完ポストフィルタ装置及びプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本発明に係る超解像補完ポストフィルタ装置は、入力画像の空間高周波成分を補完する超解像補完ポストフィルタ装置であって、前記入力画像に対して複数階層の周波数分解処理を行って周波数分解画像を生成する周波数分解部と、前記周波数分解画像のうち、第１の分解階数を有する分解画像である第１分解画像と、第２の分解階数を有する分解画像である第２分解画像とを決定する使用帯域決定部と、前記第１分解画像の低周波成分画像と第２分解画像の低周波成分画像との間で対応する位置関係を示すレジストレーション情報を生成する位置合わせ部と、前記レジストレーション情報を用いて、前記第１分解画像の高周波成分画像と第２分解画像の高周波成分画像との間で割り付けを行い、超解像高周波成分画像を生成する超解像高周波成分補完部と、前記第１分解画像の低周波成分画像を低周波成分とし前記超解像高周波成分画像を高周波成分として、周波数再構成処理を行って超解像補完画像を生成する周波数再構成部と、を備えることを特徴とする。
【０００９】
さらに、本発明に係る超解像補完ポストフィルタ装置において、前記使用帯域決定部は、前記入力画像の高周波成分画像のパワー値が閾値未満となる分解階数を前記第１の分解階数とし、前記パワー値が前記閾値以上となる分解階数を前記第２の分解階数とすることを特徴とする。
【００１０】
さらに、本発明に係る超解像補完ポストフィルタ装置において、前記周波数分解部は、前記入力画像に対して複数階層のウェーブレット分解処理を行い、前記周波数再構成部は、前記第１分解画像の低周波成分画像を低周波成分とし、前記超解像高周波成分画像を高周波成分としてウェーブレット再構成処理を行うことを特徴とする。
【００１１】
また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記超解像補完ポストフィルタ装置として機能させることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、入力画像の空間高周波成分を高精度で補完することが可能となる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態に係る超解像補完ポストフィルタ装置の構成例を示すブロック図である。
【図２】本発明の一実施形態に係る超解像補完ポストフィルタ装置における位置合わせ部の処理を説明する図である。
【図３】本発明の一実施形態に係る超解像補完ポストフィルタ装置における超解像高周波成分補完部の処理を説明する図である。
【発明を実施するための形態】
【００１４】
以下、本発明の一実施形態について、図面を参照して詳細に説明する。
【００１５】
図１に、本発明の一実施形態に係る超解像補完ポストフィルタ装置の構成例を示す。図１に示す超解像補完ポストフィルタ装置１は、周波数分解部１１と、使用帯域決定部１２と、位置合わせ部１３と、超解像高周波成分補完部１４と、周波数再構成部１５とを備える。
【００１６】
超解像補完ポストフィルタ装置１は、ＨＥＶＣなどの符号化方式により高圧縮符号化された画像を復号処理した画像を入力画像とし、符号化処理及び復号処理により失われた空間高周波成分を補完して、空間解像度はそのままとした超解像補完画像を生成する。ＨＥＶＣなどの符号化方式により高圧縮符号化する際には、デブロッキングフィルタ処理を強めに行うことにより、超解像補完画像の画質をより向上させることができる。
【００１７】
周波数分解部１１は、入力画像に対して複数階層の周波数分解（多重解像度分解）処理を行って周波数分解画像を生成し、使用帯域決定部１２に出力する。周波数分解画像は、入力画像の低周波成分画像ＬＬｎと、入力画像の高周波成分画像である水平高周波成分画像ＬＨｎ、垂直高周波成分画像ＨＬｎ、及び対角高周波成分画像ＨＨｎとからなる。添え字のｎは分解階数を意味し、例えば、原画像を３階周波数分解した場合、ｎ＝１，２，３の周波数分解画像が生成される。周波数分解部１１は、周波数分解処理として、ウェーブレット分解処理を行うことができる。
【００１８】
使用帯域決定部１２は、周波数分解部１１により生成された周波数分解画像のうち、位置合わせに用いられる、第１の分解階数αを有する分解画像である第１分解画像（超解像補完先画像）と、第２の分解階数βを有する分解画像である第２分解画像（超解像補完元画像）とを決定する。
【００１９】
使用帯域決定部１２は、具体的には、入力画像の高周波成分画像ＬＨｎ，ＨＬｎ，ＨＨｎのパワー値としてＲＭＳ（Root Mean Square）値を計算する。そして、いずれもが閾値未満となる分解階数αを第１の分解階数と決定し、高周波成分画像ＬＨｎ，ＨＬｎ，ＨＨｎのＲＭＳ値のいずれかが閾値以上となる分解階数βを第２の分解階数と決定する。そして、第１分解画像の低周波成分画像ＬＬαと、第２分解画像の低周波成分画像ＬＬβとを位置合わせ部１３に出力し、第１分解画像の高周波成分画像ＬＨα，ＨＬα，ＨＨαと、第２分解画像の高周波成分画像ＬＨβ，ＨＬβ，ＨＨβとを超解像高周波成分補完部１４に出力する。
【００２０】
位置合わせ部１３は、第１分解画像の低周波成分画像ＬＬαと第２分解画像の低周波成分画像ＬＬβとの間で対応する位置関係を示すレジストレーション情報を生成し、超解像高周波成分補完部１４に出力する。
【００２１】
図２は、位置合わせ部１３における位置合わせ処理の様子を示す図である。第１分解画像の高周波成分画像ＬＨα，ＨＬα，ＨＨαのＲＭＳ値のいずれもが閾値未満であり、第２分解画像の高周波成分画像ＬＨβ，ＨＬβ，ＨＨβのＲＭＳ値のいずれかが閾値以上であるとする。位置合わせ部１３は、例えば低周波成分画像ＬＬαと低周波成分画像ＬＬβとの間でブロックマッチングを行い、両画像間で類似度（相関性）の高いブロックの位置関係を示す位置合わせ情報を生成する。ブロックマッチングは、絶対値誤差和（ＳＡＤ；Sum of Absolute Difference）、二乗誤差和（ＳＳＤ；Sum of Squared Difference)などの評価関数を用いて、既知の手法により行われる。また、ブロックマッチングは、例えばパラボラフィッティング関数を用いた補間処理により、小数画素精度で行う。なお、ＳＡＤ又はＳＳＤの評価関数値が閥値を超えた場合は、位置合わせ情報として採用しないようにしてもよい。
【００２２】
超解像高周波成分補完部１４は、位置合わせ部１３により生成されたレジストレーション情報を用いて、使用帯域決定部１２から入力された第１分解画像の高周波成分画像ＬＨα，ＨＬα，ＨＨαと、第２分解画像の高周波成分画像ＬＨβ，ＨＬβ，ＨＨβとの間で割り付けを行い、超解像高周波成分画像ＬＨα’，ＨＬα’，ＨＨα’を生成し、周波数再構成部１５に出力する。
【００２３】
図３は、超解像高周波成分補完部１４の処理の様子を示す図である。超解像高周波成分補完部１４は、レジストレーション情報に従って、第２分解画像の高周波成分画像ＬＨβ，ＨＬβ，ＨＨβを、第１分解画像の高周波成分画像ＬＨα，ＨＬα、ＨＨαの小数画素位置に割り付ける。ここで、第２分解画像の高周波成分画像ＬＨβ，ＨＬβ，ＨＨβを割り付ける際には、第２分解画像の低周波成分画像ＬＬβと同じ位相位置のレジストレーション情報に従うこととする。これは、第２分解画像の低周波成分画像ＬＬβ内のあるブロックＰが第１分解画像の低周波成分画像ＬＬα内のブロックＱに対応（類似）していれば、第２分解画像の各高周波成分ＬＨβ，ＨＬβ，ＨＨβ内のブロックＰと同じ位相位置のブロックが、第１分解画像の各高周波成分ＬＨα，ＨＬα、ＨＨα内のブロックＱと同じ位相位置のブロックとそれぞれ類似する可能性が高いためである。
【００２４】
超解像高周波成分補完部１４は、割り付けられた値を用いて再構成（例えばＭＡＰ再構成）を行ってもよい。ＭＡＰ再構成の詳細については、例えば、E. Levitan and G. Herman: "A maximum a posteriori probability expectation maximization algorithm for image reconstruction in emission tomography", IEEE Transactions on Medical Imaging, vol. 6, no. 3, pp. 185-192, Sep. 1987.を参照されたい。また、その他の方法として、ＭＬ法や、割り付けられた画素の距離に応じた重み付けにより、超解像高周波成分画像を生成してもよい。
【００２５】
周波数再構成部１５は、使用帯域決定部１２から入力された第１分解画像の低周波成分画像ＬＬαを低周波成分とし、超解像高周波成分補完部１４から入力された超解像高周波成分画像ＬＨα’，ＨＬα’，ＨＨα’を高周波成分として周波数再構成処理を行って超解像補完画像を生成し、外部に出力する。なお、周波数分解部１１が周波数分解処理としてウェーブレット分解処理を行った場合には、周波数再構成部１５は、周波数再構成処理としてウェーブレット再構成処理を行う。
【００２６】
なお、上述した超解像補完ポストフィルタ装置１として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、超解像補完ポストフィルタ装置１の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。
【００２７】
また、プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記録媒体であってもよい。
【００２８】
上述したように、本発明は、第１分解画像と第２分解画像との間で、位置合わせと割り付けによる超解像補完を行う。本発明の超解像補完は従来の超解像法よりも低い空間周波数から高い空間周波数へ高画質に超解像補完することが可能であるため、符号化・復号処理により失われた空間高周波成分を補完し、高い超解像補完画質を得ることができる。また繰り返し演算や入力映像（復号映像）以外の情報は不要であるという利点もある。
【００２９】
なお、本発明は、符号化・復号処理された映像に限らず、空間高周波成分が失われたあらゆる映像処理のポストフィルタとして用いることができる。
【００３０】
上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。
【符号の説明】
【００３１】
１    超解像補完ポストフィルタ装置
１１  周波数分解部
１２  使用帯域決定部
１３  位置合わせ部
１４  超解像高周波成分補完部
１５  周波数再構成部
【図１】
2018137678.tif 000003
【図２】
2018137678.tif 000004
【図３】
2018137678.tif 000005