(57)【要約】【課題】符号化処理などにより劣化した画像の階調値を高精度に補完する。【解決手段】階調補完装置１は、入力画像に対して周波数分解処理を行って複数の低周波成分画像及び複数の高周波成分画像からなる周波数分解画像を生成する周波数分解部１１と、位置合わせに用いる閾値を、参照フレームの周波数帯域が低いほど大きな値となるように設定する帯域毎閾値設定部１２と、複数の低周波成分画像間において、基準フレーム内のブロック領域と、該ブロック領域との差分値が閾値よりも小さい参照フレーム内のブロック領域との位置関係を示す位置合わせ情報を生成する位置合わせ部１３と、位置合わせ情報に従って高周波成分画像に割り付けを行い、高周波成分割付画像を生成する割付部１４と、低周波成分画像及び高周波成分割付画像に対して周波数再構成処理を行って階調補完画像を生成する周波数再構成部１５と、を備える。【選択図】図１
2019057225.tif 000002
【特許請求の範囲】
【請求項１】
入力画像の階調を補完した階調補完画像を生成する階調補完装置であって、
前記入力画像に対して周波数分解処理を行って複数の低周波成分画像及び複数の高周波成分画像からなる周波数分解画像を生成する周波数分解部と、
前記周波数分解画像の位置合わせに用いる閾値を、前記複数の低周波成分画像における所定の低周波成分画像である参照フレームの周波数帯域が低いほど大きな値となるように設定する帯域毎閾値設定部と、
前記複数の低周波成分画像間において、基準フレーム内のブロック領域と、該ブロック領域との差分値が前記閾値よりも小さい参照フレーム内のブロック領域との位置関係を示す位置合わせ情報を生成する位置合わせ部と、
前記位置合わせ情報に従って前記高周波成分画像に割り付けを行い、高周波成分割付画像を生成する割付部と、
前記低周波成分画像及び前記高周波成分割付画像に対して周波数再構成処理を行って階調補完画像を生成する周波数再構成部と、
を備えることを特徴とする階調補完装置。
【請求項２】
前記入力画像は、符号を復号した復号画像であり、
前記帯域毎閾値設定部は、前記符号を生成する際に用いられた量子化パラメータが大きいほど、前記閾値を小さな値となるように設定すること特徴とする、請求項１に記載の階調補完装置。
【請求項３】
コンピュータを、請求項１又は２に記載の階調補完装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像の階調を補完した階調補完画像を生成する階調補完装置及びプログラムに関する。
【背景技術】
【０００２】
一般に、ＪＰＥＧやＨ．２６５／ＨＥＶＣ(High Efficiency Video Coding)などの符号化方式では、直交変換処理及び量子化処理が行われている。直交変換処理では、画像信号をブロック領域毎にＤＣＴ（離散コサイン変換）して、周波数係数に変換する。そして、量子化処理では、量子化マトリクスを用いて周波数係数を量子化する。このような処理により、視覚的に目立たない高周波成分に対しては粗い量子化を施し、信号成分上で重要な低周波成分に対しては細かい量子化を施すことができ、視覚特性を考慮した圧縮処理を行うことができる（例えば、非特許文献１参照）。
【０００３】
また、超解像画像を生成する技術として、例えば特許文献１には、被超解像画像を含む複数のフレーム画像を周波数分解し、被超解像画像と複数の周波数分解画像の低周波成分との間でブロックマッチングを行い、周波数分解画像の低周波成分と同じ空間位相位置の高周波成分を、被超解像画像の標本化周波数を超える高周波成分に割り付けて、被超解像画像の高周波成分を推定した超解像高周波成分を生成し、低周波成分と高周波成分の周波数再構成を行うことで、超解像画像を生成する技術が開示されている。
【０００４】
また、特許文献２には、原画像を色成分ごとに内挿補間処理して色成分画像を生成し、色成分画像を用いて周波数分解して周波数分解画像を生成し、色成分ごとにブロックマッチングを行って色成分画像の超解像高周波成分を生成し、色成分ごとに周波数再構成を行うことにより高精細な超解像画像を生成する技術が開示されている。
【０００５】
さらに、特許文献３には、原画像又は原画像の変換画像を周波数分解し、ブロックマッチングを行って周波数分解画像の割り付けを行い、周波数再構成することで単一フレームの原画像から高精細な超解像画像を生成する技術が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１６−１３４０７５号公報
【特許文献２】特開２０１５−２１２９０５号公報
【特許文献３】特開２０１５−２０３９５２号公報
【非特許文献】
【０００７】
【非特許文献１】大久保榮監修、「インプレス標準教科書シリーズ  Ｈ．２６５／ＨＥＶＣ教科書」、株式会社インプレスジャパン、２０１３年１０月２１日
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上述した符号化方式において、量子化は非可逆処理であるため、失われた階調値を完全に元に戻すことはできない。そのため、原画像を非可逆符号化処理して符号を生成すると、該符号を復号した際に、復号画像の画質が原画像に対して劣化してしまうという課題が残る。また、上述した超解像画像を生成する技術を用いることにより画像を高精細化できるが、劣化した画像の階調値を補完するという観点では、さらに改善の余地がある。
【０００９】
かかる事情に鑑みてなされた本発明の目的は、符号化処理などにより劣化した画像の階調値を高精度に補完することが可能な階調補完装置及びプログラムを提供することにある。
【課題を解決するための手段】
【００１０】
上記課題を解決するため、本発明に係る階調補完装置は、入力画像の階調を補完した階調補完画像を生成する階調補完装置であって、前記入力画像に対して周波数分解処理を行って複数の低周波成分画像及び複数の高周波成分画像からなる周波数分解画像を生成する周波数分解部と、前記周波数分解画像の位置合わせに用いる閾値を、前記複数の低周波成分画像における所定の低周波成分画像である参照フレームの周波数帯域が低いほど大きな値となるように設定する帯域毎閾値設定部と、前記複数の低周波成分画像間において、基準フレーム内のブロック領域と、該ブロック領域との差分値が前記閾値よりも小さい参照フレーム内のブロック領域との位置関係を示す位置合わせ情報を生成する位置合わせ部と、前記位置合わせ情報に従って前記高周波成分画像に割り付けを行い、高周波成分割付画像を生成する割付部と、前記低周波成分画像及び前記高周波成分割付画像に対して周波数再構成処理を行って階調補完画像を生成する周波数再構成部と、を備えることを特徴とする。
【００１１】
さらに、本発明に係る階調補完装置において、前記入力画像は、符号を復号した復号画像であり、前記帯域毎閾値設定部は、前記符号を生成する際に用いられた量子化パラメータが大きいほど、前記閾値を小さな値となるように設定すること特徴とする。
【００１２】
また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記階調補完装置として機能させることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、符号化処理などにより劣化した画像の階調値を高精度に補完することが可能となる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態に係る階調補完装置の構成例を示すブロック図である。
【図２】本発明の一実施形態に係る階調補完装置における位置合わせ処理の概要を示す図である。
【図３】本発明の一実施形態に係る階調補完装置における割り付け処理の概要を示す図である。
【図４】本発明の一実施形態に係る階調補完装置における周波数再構成処理の概要を示す図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施形態について、図面を参照して詳細に説明する。
【００１６】
図１に、本発明の一実施形態に係る階調補完装置の構成例を示す。図１に示す階調補完装置１は、周波数分解部１１と、帯域毎閾値設定部１２と、位置合わせ部１３と、割付部１４と、周波数再構成部１５とを備える。
【００１７】
階調補完装置１は、復号画像などの入力画像に対して階調補完処理を行い、入力画像の階調が補完された階調補完画像を生成する。
【００１８】
周波数分解部１１は、入力画像に対して複数階層の周波数分解（多重解像度分解）処理を行って周波数分解画像を生成する。代表的な周波数分解処理として、ウェーブレット分解処理が挙げられる。Ｎ階周波数分解処理を行うと、周波数分解階数ｎ＝１，２，…，Ｎの周波数分解画像が生成される。ｎの値が小さいほど、周波数帯域が高いことを意味する。また、同一の周波数分解階数ｎにおいて、さらに、低周波帯域成分の画像ＬＬｎ、水平方向に高周波成分となる画像ＬＨｎ、垂直方向に高周波成分となる画像ＨＬｎ、対角方向に高周波成分となる画像ＨＨｎに分解される。以下、ＬＬｎを低周波成分画像と称し、ＬＨｎ，ＨＬｎ，ＨＨｎをまとめて高周波成分画像と称する。すなわち、周波数分解画像は、複数の低周波成分画像ＬＬｎ、及び複数の高周波成分画像ＬＨｎ，ＨＬｎ，ＨＨｎからなる。周波数分解部１１は、低周波成分画像ＬＬｎを位置合わせ部１３及び周波数再構成部１５に出力し、高周波成分画像ＬＨｎ，ＨＬｎ，ＨＨｎを割付部１４に出力する。ここで、周波数分解階数Ｎはあらかじめ決めておいてもよいし、外部から取得してもよい。
【００１９】
帯域毎閾値設定部１２は、周波数分解階数Ｎを取得する。そして、周波数分解部１１により周波数分解（多重解像度分解）処理された画像の位置合わせに用いる帯域毎閾値を、後述する図２における参照フレームの周波数帯域毎（すなわち、周波数分解階数毎）に、周波数帯域が低いほど大きな値となるように設定し、設定した帯域毎閾値を位置合わせ部１３に出力する。周波数帯域が低いほど大きな値となるように帯域毎閾値を設定することは、後述する位置合わせ部１３において、周波数帯域が低いほど位置合わせ結果が採用されやすくなることを意味する。
【００２０】
本実施形態では、位置合わせ部１３において、位置合わせをブロックマッチングで行い、その１画素当たりの差分値をＳＡＤ（Sam of Absolute Difference；絶対値差分和）で求めるものとする。表１に、復号画像の階調数が８ｂｉｔであり、参照フレームの周波数分解階数が２〜４であるときのＳＡＤの帯域毎閾値の例を示す。なお、ブロックマッチングで１画素当たりの差分値をＳＳＤ（Sum of Squared Difference；二乗誤差和)で求める場合には、表１で示した帯域毎閾値を２乗すればよい。
【００２１】
【表１】
2019057225.tif 000003
【００２２】
また、帯域毎閾値設定部１２は、入力画像が符号を復号した復号画像である場合には、周波数分解階数Ｎに加えて、符号を生成する際に用いられた量子化パラメータＱＰ(Quantization Parameter)を取得してもよい。符号化処理における量子化では、ブロック領域毎の周波数係数を、量子化マトリクスに量子化ステップを乗算した値で除算する。量子化パラメータＱＰの設定値が大きいほど量子化ステップは大きくなるので、圧縮率は高くなり、すなわち階調値の削減率も高くなる。
【００２３】
帯域毎閾値設定部１２は、量子化パラメータＱＰを取得した場合には、量子化パラメータＱＰが大きいほど、帯域毎閾値を小さな値となるように設定する。特に、高周波帯域の帯域毎閾値を小さな値とする。表２に、量子化パラメータＱＰを取得した場合について、復号画像の階調数が８ｂｉｔであり、参照フレームの周波数分解階数が２〜４であるときの、帯域毎閾値の例を示す。表２では、周波数分解階数が２，３であるとき、量子化パラメータＱＰが大きいほど、帯域毎閾値が小さな値となっている。なお、表２では量子化パラメータＱＰを４０未満と４０以上の２種類に分けたが、３種類以上に分けて帯域毎閾値を規定してもよい。
【００２４】
【表２】
2019057225.tif 000004
【００２５】
位置合わせ部１３は、帯域毎閾値設定部１２から帯域毎閾値を入力する。そして、周波数分解部１１により生成された周波数分解画像のうちの低周波成分画像間において、基準フレーム内のブロック領域と、該ブロック領域との差分値が帯域毎閾値よりも小さい参照フレーム内のブロック領域との位置関係を示す位置合わせ情報を生成し、割付部１４に出力する。すなわち、位置合わせ情報は、低周波成分画像間において、相似するオブジェクトの位置関係を示すものである。ここで、差分値とは、差の絶対値の和、差の絶対値の積、差の二乗和など、種々の演算方法によって定まる差の値の総称である。
【００２６】
図２に、位置合わせ部１３における位置合わせ処理の概要を示す。位置合わせ部１３は、周波数分解画像のｉ階低周波成分画像ＬＬｉを基準フレームとし、ｊ階（ｉ＜ｊ）低周波成分画像ＬＬｊを参照フレームとする。図２に示す例では、ｉ＝１、ｊ＝２である。そして、基準フレームをブロック領域に分割し、任意のブロックから参照フレームへブロックマッチングを行い、探索範囲内で差分値が帯域毎閾値よりも小さいブロック、すなわち類似度（相関性）の高いブロックの位置関係を示す位置合わせ情報を生成する。差分値が帯域毎閾値より小さければよいので、類似度の高いブロックを複数（図２では３つ）検出してもよい。参照フレームの周波数分解階数ｊが大きいほど帯域毎閾値は大きくなるため、低周波帯域の画像ほど、基準フレームのブロックに類似するブロックとして検出されやすくなる。
【００２７】
なお、ブロックマッチングは、ＳＡＤ，ＳＳＤなどの評価関数を用いて、既知の手法により行われる。また、ブロックマッチングは、例えば特許文献３等に開示された既知の手法である式（１）に示すパラボラフィッティング関数を用いた補間処理により、小数画素精度で行う。
【００２８】
【数１】
2019057225.tif 000005
【００２９】
ここで、探索位置における画素位置をｘとしたとき、ＳＳＤ(ｘ)は、画素位置におけるＳＳＤ値を表し、より具体的には、ＳＳＤ（０)は中心位置（ＳＳＤ値を最小とする位置）におけるＳＳＤ値、ＳＳＤ(−1)は中心位置から−ｘ方向又は−ｙ方向の隣接画素の位置におけるＳＳＤ値、ＳＳＤ（１)は中心位置から＋ｘ方向又は＋ｙ方向の隣接画素の位置におけるＳＳＤ値を表す。式（１）から、水平又は垂直方向の小数画素精度の画素位置（小数画素位置）をそれぞれ算出することができる。
【００３０】
割付部１４は、位置合わせ部１３により生成された位置合わせ情報に従って、周波数分解部１１により生成された周波数分解画像のうちの高周波成分画像ＬＨｉ，ＨＬｉ，ＨＨｉに割り付けを行い、割付後の高周波成分画像である高周波成分割付画像ＬＨｉ’，ＨＬｉ’，ＨＨｉ’を生成し、周波数再構成部１５に出力する。
【００３１】
図３に、割付部１４による割り付け処理の概要を示す。図３に示すように、位置合わせ情報に従って、参照フレームＬＬｊと同一階層の高周波成分画像ＬＨｊ，ＨＬｊ，ＨＨｊ内のブロックを、基準フレームＬＬｉと同一階層の高周波成分画像ＬＨｉ，ＨＬｉ，ＨＨｉに割り付ける。図３に示す例では、ｉ＝１、ｊ＝２である。なお、図２では基準フレーム内のブロック領域に類似する参照フレーム内のブロック領域を３つ示しているが、図３では見やすくするために、基準フレーム内のブロック領域に類似する参照フレーム内のブロック領域を１つとしている。
【００３２】
ここで、高周波成分画像ＬＨｉ，ＨＬｉ，ＨＨｉに割り付ける際には、参照フレームＬＬｊ内の同じ位相位置の位置合わせ情報に従うこととする。これは、基準フレームＬＬｉ内のブロックＰが参照フレームＬＬｊ内のブロックＱに類似していれば、高周波成分画像ＬＨｉ，ＨＬｉ，ＨＨｉ内における、ブロックＰと同じ位相位置のブロックは、高周波成分ＬＨｊ，ＨＬｊ，ＨＨｊ内における、ブロックＱと同じ位相位置のブロックとそれぞれ類似する可能性が高いためである。
【００３３】
また、位置合わせ部１３において、類似するブロックの位置関係を小数画素精度で求めた場合には、割付部１４は、小数画素位置を通常の画素位置に合わせるために、割り付け後の高周波成分画像に対して、光学系の解像度劣化過程を模擬した点広がり関数（Point spread function；ＰＳＦ）を用いた補間を行う。式（２）に、点広がり関数を示す。ここで、ｗはガウス関数の半値幅（分散値）である。
【００３４】
【数２】
2019057225.tif 000006
【００３５】
割付部１４は、割り付けを全て終えた後、水平、垂直、対角高周波成分として候補が複数存在する場合には、それらの値を平均するか、最大事後確率（Maximum a posteriori；ＭＡＰ）再構成を行い、未知の値を推定し、最終的な高周波成分割付画像ＬＨｉ’，ＨＬｉ’，ＨＨｉ’として周波数再構成部１５に出力する。ＭＡＰ再構成の詳細については、例えば、E. Levitan and G. Herman: “A maximum a posteriori probability expectation maximization algorithm for image reconstruction in emission tomography”, IEEE Transactions on Medical Imaging, vol. 6, no. 3, pp. 185-192, Sep. 1987.を参照されたい。また、その他の方法として、ＭＬ法や、割り付けられた画素の距離に応じた重み付けにより、高周波成分画像を推定してもよい。
【００３６】
周波数再構成部１５は、周波数分解部１１により生成された低周波成分画像を低周波成分とし、割付部１４により生成された高周波成分割付画像を高周波成分として、周波数再構成処理を行って階調補完画像を生成し、外部に出力する。
【００３７】
図４に、周波数再構成部１５による周波数再構成処理の概要を示す。図４に示す例では、低周波成分画像ＬＬ１を低周波成分とし、割付後の水平高周波成分画像ＬＨ１’、垂直高周波成分画像ＨＬ１’、対角高周波成分画像ＨＨ１’を高周波成分として周波数再構成処理を行うことにより、階調補完画像が生成される。なお、周波数分解部１１が周波数分解処理としてウェーブレット分解処理を行った場合には、周波数再構成部１５は、同じウェーブレットを用いてウェーブレット再構成処理を行う。
【００３８】
なお、上述した階調補完装置１として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、階調補完装置１の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。
【００３９】
上述したように、本発明では、符号化処理を経て復号した画像では、高周波帯域の階調値の削減度合いが大きいことに着目し、位置合わせに用いる閾値を、参照フレームの周波数帯域が低いほど大きな値とし、低周波成分画像間において、差分値が該閾値よりも小さいブロック領域の位置関係を示す位置合わせ情報を生成する。さらに、量子化パラメータＱＰが大きいほど階調値の削減度合いが大きいことに着目し、量子化パラメータが大きいほど、閾値を小さな値としてもよい。
【００４０】
このため、本発明では、参照フレームうち、階調値の削減度合が小さいと考えられる低周波帯域ほど、ブロックマッチングで類似するブロックが検出されやすくなる。したがって、位置合わせの精度を向上させ、削減された階調値を高精度に補完することができるようになる。
【００４１】
上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。
【００４２】
また、プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記録媒体であってもよい。
【符号の説明】
【００４３】
１    階調補完装置
１１  周波数分解部
１２  帯域毎閾値設定部
１３  位置合わせ部
１４  割付部
１５  周波数再構成部
【図１】
2019057225.tif 000007
【図２】
2019057225.tif 000008
【図３】
2019057225.tif 000009
【図４】
2019057225.tif 000010