(57)【要約】【課題】高画質を維持しつつ、符号化信号のビットレートを大幅に低減する。【解決手段】符号化装置１は、原画像をｊ個のパラメータを用いて階調削減処理してｊ枚の階調削減画像を生成する階調削減部１１と、階調削減画像をｋ個のパラメータを用いて空間縮小処理してｊ×ｋ枚の空間・階調削減画像を生成する空間縮小部１２と、空間・階調削減画像を符号化して符号化信号を生成する符号化部２０と、符号化信号を局部復号して局部復号画像を生成する局部復号部３０と、局部復号画像をそれぞれｌ個のパラメータを用いて空間拡大処理してｊ×ｋ×ｌ枚の空間拡大画像を生成する空間拡大部４１と、空間拡大画像をそれぞれｍ個のパラメータを用いて階調補間処理してｊ×ｋ×ｌ×ｍ枚の空間・階調復元画像を生成する階調補間部４２と、最も劣化の少ない空間・階調復元画像を決定し、対応する符号化信号を出力する最適化部５０と、を備える。【選択図】図２
2014239301.tif 000002
【特許請求の範囲】
【請求項１】
原画像に対して階調削減処理及び空間縮小処理を行った空間・階調削減画像を符号化して出力する符号化装置であって、
原画像をｊ個（ｊ≧１）のパラメータを用いて階調削減処理してｊ枚の階調削減画像を生成する階調削減部と、
前記階調削減画像をｋ個（ｋ≧１）のパラメータを用いて空間縮小処理してｊ×ｋ枚の空間・階調削減画像を生成する空間縮小部と、
前記ｊ×ｋ枚の空間・階調削減画像を符号化してｊ×ｋ種類の符号化信号を生成する符号化部と、
前記ｊ×ｋ種類の符号化信号を局部復号してｊ×ｋ枚の局部復号画像を生成する局部復号部と、
前記ｊ×ｋ枚の局部復号画像をそれぞれｌ個（ｌ≧１）のパラメータを用いて空間拡大処理してｊ×ｋ×ｌ枚の空間拡大画像を生成する空間拡大部と、
前記ｊ×ｋ×ｌ枚の空間拡大画像をそれぞれｍ個（ｍ≧１）のパラメータを用いて階調補間処理してｊ×ｋ×ｌ×ｍ（但し、ｊ×ｋ×ｌ×ｍ≧２）枚の空間・階調復元画像を生成する階調補間部と、
前記ｊ×ｋ×ｌ×ｍ枚の空間・階調復元画像を前記原画像と比較して、最も劣化の少ない空間・階調復元画像を決定し、前記ｊ×ｋ種類の符号化信号のうち該最も劣化の少ない空間・階調復元画像に対応する符号化信号を出力する最適化部と、
を備えることを特徴とする符号化装置。
【請求項２】
前記階調削減部は、
ｊ個の雑音閾値を用いて、原画像から孤立点を除去したｊ枚の雑音除去画像を生成するか、又はｊ個のグラデーション閾値を用いて、原画像のグラデーション領域のみからなるｊ枚のグラデーション画像を生成する画像生成部と、
前記雑音除去画像又は前記原画像のヒストグラムに対して、前記グラデーション画像の階調値の度数が高くなるように重み付けしたヒストグラムを訓練データとして用いるLloyd-Max法により、前記ｊ枚の階調削減画像を生成する階調決定部と、
を備えることを特徴とする請求項１に記載の符号化装置。
【請求項３】
前記雑音閾値又は前記グラデーション閾値は、原画像を周波数分解して複数の周波数帯域成分を生成し、該周波数帯域成分を解析することにより決定されることを特徴とする、請求項２に記載の符号化装置。
【請求項４】
前記雑音閾値又は前記グラデーション閾値は、空間縮小率又は階調削減率と対応付けた対応表に基づいて決定され、
前記対応表は、前記空間縮小率が高くなるほど、前記雑音閾値又は前記グラデーション閾値が小さくなるように対応付けているか、あるいは、前記階調削減率が高くなるほど、前記雑音閾値又は前記グラデーション閾値が大きくなるように対応付けていることを特徴とする、請求項２に記載の符号化装置。
【請求項５】
前記空間縮小部は、ｋ種類の縮小劣化過程を模擬したフィルタ又はウェーブレットフィルタを用いて空間縮小処理することを特徴とする、請求項１から４のいずれか一項に記載の符号化装置。
【請求項６】
前記空間拡大部は、前記局部復号画像を前記原画像の解像度以上のｌ種類の解像度に空間拡大処理し、
前記階調補間部は、前記空間拡大画像を、階調数が前記原画像の階調数となるように階調補間処理するとともに、解像度が前記原画像の解像度となるように空間縮小処理することを特徴とする、請求項１から５のいずれか一項に記載の符号化装置。
【請求項７】
前記空間拡大部は、ウェーブレット変換を用いて前記局部復号画像を水平方向及び垂直方向に各２倍の超解像処理を再帰的に行うことにより前記ｌ種類の解像度に空間拡大処理することを特徴とする、請求項６に記載の符号化装置。
【請求項８】
前記階調補間部は、前記空間拡大画像の階調数を前記原画像の階調数に拡大し、ｍ種類の縮小劣化過程を模擬したフィルタを用いて畳み込むことにより中間階調を補間し、その後、解像度が前記原画像の解像度となるように縮小処理することを特徴とする、請求項７に記載の符号化装置。
【請求項９】
前記最適化部は、前記ｊ×ｋ×ｌ×ｍ枚の空間・階調復元画像と前記原画像とのＰＳＮＲ値又はＳＳＩＭ値を算出し、該ＰＳＮＲ値又はＳＳＩＭ値が最小となる空間・階調復元画像を前記最も劣化の少ない空間・階調復元画像として決定することを特徴とする、請求項１から８のいずれか一項に記載の符号化装置。
【請求項１０】
コンピュータを、請求項１から９のいずれか一項に記載の符号化装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、原画像に対して階調削減処理及び空間縮小処理を行った空間・階調削減画像を符号化して出力する符号化装置及びプログラムに関する。
【背景技術】
【０００２】
従来、原画像の空間縮小処理を行う技術や、原画像の階調削減処理を行う技術が知られている。空間縮小処理は、例えば画素の単純間引きやウェーブレット分解などにより行うことができる。階調削減処理は、例えば階調数の単純削減やLloyd-Max法などにより行うことができる。Lloyd-Max法とは、画像の階調値(輝度値)ごとの度数を示すヒストグラムを調べ、階調削減を行う際に、度数が高い階調値ほど多くの階調を割り当てるようにする手法である（非特許文献１及び２参照）。
【０００３】
また、画像を空間方向に拡大又は超解像処理して元の画像よりも解像度の高い画像を生成する技術が知られている。例えば、被写体の照明方程式パラメータを推定し、推定した照明方程式パラメータについて高解像度化を行い、高解像度化された照明方程式パラメータを合成して高解像度画像を生成し、その際、推定した照明方程式パラメータの推定精度が所定の精度を満たさない画素が存在するときは、高解像度化した照明方程式パラメータをフィードバックして、再度、照明方程式パラメータの推定を行うことにより、被写体の画像を高解像度化する技術が知られている（特許文献１参照）。
【０００４】
また、画像の中間階調値を補間して元の画像よりも階調数の多い画像を生成する技術が知られている。例えば、処理対象画素の印字濃度に対して複数の閾値と補間演算誤差を設定し、処理対象画素とその隣接する画素の持つ補間演算誤差の平均との総和を複数の閾値と比較し、その最も近い値の閾値を実行閾値として用いるなどして中間階調を補間する技術が知られている（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第４１３９８５３号公報
【特許文献２】特開平４−１８８５５号公報
【非特許文献】
【０００６】
【非特許文献１】S.P.Lloyd, “Least squares quantization in PCM”, IEEE Trans. Information Theory, vol.IT-28, pp.129-136, March 1982
【非特許文献２】J.Max, “Quantizing for minimum distortion”, IEEE Trans. Information Theory, vol.IT-7, pp.7-12, March 1960
【発明の概要】
【発明が解決しようとする課題】
【０００７】
原画像を空間縮小処理及び階調削減処理してから符号化することにより、ビットレートを大幅に低減することができる。しかし、画像に対して空間縮小処理及び階調削減処理を行うには、空間縮小処理と階調削減処理とを別々に適用する必要があった。このため、空間縮小処理と階調削減処理とを一元的に最適化することはできず、両方の処理を同時に高精度に処理することが困難であった。
【０００８】
また、画像に対して空間拡大処理及び階調補間処理を行うには、空間拡大処理と階調補間処理とを別々に適用する必要があった。このため、空間拡大処理と階調補間処理とを一元的に最適化することはできず、両方の処理を同時に高精度に処理することが困難であった。
【０００９】
かかる事情に鑑みてなされた本発明の目的は、原画像に対して階調削減処理及び空間縮小処理を行った空間・階調削減画像を符号化して出力する符号化装置及びプログラムにおいて、パラメータを一元的に最適化し、高画質かつ高圧縮な符号化を実現することにある。
【課題を解決するための手段】
【００１０】
上記課題を解決するため、本発明に係る符号化装置は、原画像に対して階調削減処理及び空間縮小処理を行った空間・階調削減画像を符号化して出力する符号化装置であって、原画像をｊ個（ｊ≧１）のパラメータを用いて階調削減処理してｊ枚の階調削減画像を生成する階調削減部と、前記階調削減画像をｋ個（ｋ≧１）のパラメータを用いて空間縮小処理してｊ×ｋ枚の空間・階調削減画像を生成する空間縮小部と、前記ｊ×ｋ枚の空間・階調削減画像を符号化してｊ×ｋ種類の符号化信号を生成する符号化部と、前記ｊ×ｋ種類の符号化信号を局部復号してｊ×ｋ枚の局部復号画像を生成する局部復号部と、前記ｊ×ｋ枚の局部復号画像をそれぞれｌ個（ｌ≧１）のパラメータを用いて空間拡大処理してｊ×ｋ×ｌ枚の空間拡大画像を生成する空間拡大部と、前記ｊ×ｋ×ｌ枚の空間拡大画像をそれぞれｍ個（ｍ≧１）のパラメータを用いて階調補間処理してｊ×ｋ×ｌ×ｍ（但し、ｊ×ｋ×ｌ×ｍ≧２）枚の空間・階調復元画像を生成する階調補間部と、前記ｊ×ｋ×ｌ×ｍ枚の空間・階調復元画像を前記原画像と比較して、最も劣化の少ない空間・階調復元画像を決定し、前記ｊ×ｋ種類の符号化信号のうち該最も劣化の少ない空間・階調復元画像に対応する符号化信号を出力する最適化部と、を備えることを特徴とする。
【００１１】
さらに、本発明に係る符号化装置において、前記階調削減部は、ｊ個の雑音閾値を用いて、原画像から孤立点を除去したｊ枚の雑音除去画像を生成するか、又はｊ個のグラデーション閾値を用いて、原画像のグラデーション領域のみからなるｊ枚のグラデーション画像を生成する画像生成部と、前記雑音除去画像又は前記原画像のヒストグラムに対して、前記グラデーション画像の階調値の度数が高くなるように重み付けしたヒストグラムを訓練データとして用いるLloyd-Max法により、前記ｊ枚の階調削減画像を生成する階調決定部と、を備えることを特徴とする。
【００１２】
さらに、本発明に係る符号化装置において、前記雑音閾値又は前記グラデーション閾値は、原画像を周波数分解して複数の周波数帯域成分を生成し、該周波数帯域成分を解析することにより決定されることを特徴とする。
【００１３】
さらに、本発明に係る符号化装置において、前記雑音閾値又は前記グラデーション閾値は、空間縮小率又は階調削減率と対応付けた対応表に基づいて決定され、前記対応表は、前記空間縮小率が高くなるほど、前記雑音閾値又は前記グラデーション閾値が小さくなるように対応付けているか、あるいは、前記階調削減率が高くなるほど、前記雑音閾値又は前記グラデーション閾値が大きくなるように対応付けていることを特徴とする。
【００１４】
さらに、本発明に係る符号化装置において、前記空間縮小部は、ｋ種類の縮小劣化過程を模擬したフィルタ又はウェーブレットフィルタを用いて空間縮小処理することを特徴とする。
【００１５】
さらに、本発明に係る符号化装置において、前記空間拡大部は、前記局部復号画像を前記原画像の解像度以上のｌ種類の解像度に空間拡大処理し、前記階調補間部は、前記空間拡大画像を、階調数が前記原画像の階調数となるように階調補間処理するとともに、解像度が前記原画像の解像度となるように空間縮小処理することを特徴とする。
【００１６】
さらに、本発明に係る符号化装置において、前記空間拡大部は、ウェーブレット変換を用いて前記局部復号画像を水平方向及び垂直方向に各２倍の超解像処理を再帰的に行うことにより前記ｌ種類の解像度に空間拡大処理することを特徴とする。
【００１７】
さらに、本発明に係る符号化装置において、前記階調補間部は、前記空間拡大画像の階調数を前記原画像の階調数に拡大し、ｍ種類の縮小劣化過程を模擬したフィルタを用いて畳み込むことにより中間階調を補間し、その後、解像度が前記原画像の解像度となるように縮小処理することを特徴とする。
【００１８】
さらに、本発明に係る符号化装置において、前記最適化部は、前記ｊ×ｋ×ｌ×ｍ枚の空間・階調復元画像と前記原画像とのＰＳＮＲ値又はＳＳＩＭ値を算出し、該ＰＳＮＲ値又はＳＳＩＭ値が最小となる空間・階調復元画像を前記最も劣化の少ない空間・階調復元画像として決定することを特徴とする。
【００１９】
また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記符号化装置として機能させることを特徴とする。
【発明の効果】
【００２０】
本発明によれば、高画質を維持しつつ、符号化信号のビットレートを大幅に低減することができるようになる。
【図面の簡単な説明】
【００２１】
【図１】本発明に係る符号化装置の概要を説明する図である。
【図２】本発明の第１の実施形態に係る符号化装置の構成例を示すブロック図である。
【図３】本発明の第２の実施形態に係る符号化装置における階調削減部の構成例を示すブロック図である。
【図４】本発明の第２の実施形態に係る符号化装置における周波数分解部の処理を説明する図である。
【図５】本発明の第２の実施形態に係る符号化装置における雑音除去画像生成部の構成例を示すブロック図である。
【図６】本発明の第２の実施形態に係る符号化装置における孤立点検出部による孤立点判定処理を説明する図である。
【図７】本発明の第２の実施形態に係る符号化装置におけるグラデーション画像生成部の構成例を示すブロック図である。
【図８】本発明の第２の実施形態に係る符号化装置における階調削減初期情報生成部の第１の構成例を示すブロック図である。
【図９】本発明の第２の実施形態に係る符号化装置における階調削減初期情報生成部の第２の構成例を示すブロック図である。
【図１０】本発明の第２の実施形態に係る符号化装置における階調削減初期情報生成部の第３の構成例を示すブロック図である。
【図１１】本発明の第３の実施形態に係る符号化装置における階調削減部の構成例を示すブロック図である。
【図１２】本発明の第４の実施形態に係る符号化装置における空間拡大部の構成例を示すブロック図である。
【図１３】本発明の第４の実施形態に係る符号化装置における階調補間部の構成例を示すブロック図である。
【発明を実施するための形態】
【００２２】
まず、本発明の概要について説明する。以下の説明において、画像の階調数を削減（階調削減処理）し、且つ解像度（標本化周波数）を縮小（空間縮小処理）することを「空間・階調削減処理」といい、空間・階調削減処理された画像のことを「空間・階調削減画像」という。また、画像の解像度を拡大（空間拡大処理）し、且つ画像の階調数を拡大（階調補間処理）することを「空間・階調復元処理」といい、空間・階調復元処理された画像のことを「空間・階調復元画像」という。
【００２３】
図１は、本発明に係る符号化装置の処理の概要を説明する図である。図１に示す例では、「８Ｋ×４Ｋ解像度、１０ｂｉｔ階調」の原画像から「４Ｋ×２Ｋ解像度、８ｂｉｔ階調」の空間・階調削減画像を生成し、この空間・階調削減画像の最適な符号化信号を生成する際の処理概要を示している。本発明に係る符号化装置は、原画像をまず空間・階調削減処理して「４Ｋ×２Ｋ解像度、８ｂｉｔ階調」の複数の空間・階調削減画像を生成し、この複数の階調削減画像を符号化して符号化信号を作成する。
【００２４】
次に、最適な符号化信号を決定するために、符号化信号を局部復号して「４Ｋ×２Ｋ解像度、８ｂｉｔ階調」の局部復号画像を生成する。さらに、局部復号画像を空間・階調復元処理して「８Ｋ×４Ｋ解像度、１０ｂｉｔ階調」の空間・階調復元画像を複数生成する。そして、原画像を基準として、空間・階調削減処理及び空間・階調復元処理に用いたパラメータを一元的に最適化し、最適なパラメータを最適補助情報として選択する。最後に、最適補助情報、及び該最適補助情報に対応する符号化信号を復号側へ出力する。
【００２５】
以下、本発明の実施形態について、詳細に説明する。
【００２６】
（第１の実施形態）
図２は、本発明の第１の実施形態に係る符号化装置の構成例を示すブロック図である。図２に示す例では、符号化装置１は、空間・階調削減部１０と、符号化部２０と、局部復号部３０と、空間・階調復元部４０と、最適化部５０とを備える。
【００２７】
空間・階調削減部１０は、原画像を階調削減処理して階調を削減するとともに、空間縮小処理して解像度を縮小し、１以上の空間・階調削減画像を生成し、符号化部２０に出力する。空間・階調削減部１０は、空間・階調削減画像を１以上生成するために、ｊ個（ｊ≧１）のパラメータを用いて階調削減処理するとともに、ｋ個（ｋ≧１）のパラメータを用いて空間縮小処理し、その結果ｊ×ｋ枚の空間・階調削減画像を生成する。空間・階調削減部１０は、階調削減部１１と、空間縮小部１２とを備える。
【００２８】
階調削減部１１は、原画像をｊ個のパラメータを用いて階調削減処理して、ｊ枚の階調削減画像を生成し、空間縮小部１２に出力する。階調削減処理は、既知の手法である階調数の単純削減やLloyd-Max法などにより行う。
【００２９】
例えばｎ種類のルックアップテーブルを参照することにより階調削減処理を行う場合には、ｊ＝ｎとなる。階調削減部１１は、階調削減処理に用いたパラメータに関する情報を補助情報として最適化部５０に出力する。
【００３０】
空間縮小部１２は、階調削減部１１により生成されたｊ枚の階調削減画像を、それぞれｋ個のパラメータを用いて空間縮小処理して、ｊ×ｋ枚の空間・階調削減画像を生成する。空間縮小処理は、既知の手法である画素の単純間引きやウェーブレット分解などにより行う。
【００３１】
また、空間縮小部１２は、階調削減部１１により生成されたｊ枚の階調削減画像をそれぞれ平滑化処理した後、画素を単純間引きしてもよい。平滑化は、解像度の縮小劣化過程（ぼやけ）を模擬したフィルタを用いて階調拡大画像を畳み込むことで処理する。解像度の縮小劣化過程を模擬したフィルタとして、例えば、点拡がり関数（ＰＳＦ：Point spread function）又はガウシアン関数を用いることができる。
【００３２】
例えばｎ種類のフィルタを用いて空間縮小処理を行う場合には、ｋ＝ｎとなる。空間縮小部１２は、階調削減処理に用いたパラメータに関する情報を補助情報として最適化部５０に出力する。平滑化処理を行う場合には、用いた関数のタップ数、分散値、及びゲイン情報を補助情報とする。
【００３３】
符号化部２０は、空間・階調削減部１０により生成された１以上（ｊ×ｋ）の空間・階調削減画像をそれぞれ符号化して１以上の符号化信号を生成し、局部復号部３０に出力する。符号化は、ＡＶＣ/Ｈ.２６４やＨＥＶＣ/Ｈ.２６５などの既知の方式により行われる。
【００３４】
局部復号部３０は、符号化部２０により生成された１以上（ｊ×ｋ）の符号化信号をそれぞれ局部復号して１以上の局部復号画像を生成し、空間・階調復元部４０に出力する。局部復号は、符号化と同じＡＶＣ/Ｈ.２６４やＨＥＶＣ/Ｈ.２６５などの既知の方式により行われる。
【００３５】
空間・階調復元部４０は、局部復号部３０により生成された１以上（ｊ×ｋ）の局部復号画像をそれぞれ空間拡大処理及び階調補間処理し、原画像と同じ解像度及び階調数を有する空間・階調復元画像を複数枚生成し、最適化部５０に出力する。空間・階調復元部４０は、ｊ×ｋ枚の局部復号画像に対し、ｌ個（ｌ≧１）のパラメータを用いて空間拡大処理するとともに、ｍ個（ｍ≧１）のパラメータを用いて階調補間処理し、その結果ｊ×ｋ×ｌ×ｍ（但し、ｊ×ｋ×ｌ×ｍ≧２）枚の空間・階調復元画像を生成する。空間・階調復元部４０は、空間拡大部４１と、階調補間部４２とを備える。
【００３６】
空間拡大部４１は、局部復号部３０により生成されたｊ×ｋ枚の局部復号画像を、それぞれｌ個のパラメータを用いて原画像の解像度まで空間拡大処理してｊ×ｋ×ｌ枚の空間拡大画像を生成し、階調補間部４２に出力する。空間拡大処理は、既知の手法であるbi-cubic、Lanczos-3などの線形フィルタやウェーブレットフィルタを用いて行われる。
【００３７】
例えばｎ種類のフィルタを用いて空間拡大処理を行う場合には、ｌ＝ｎとなる。空間拡大部４１は、空間拡大処理に用いたパラメータに関する情報を補助情報として最適化部５０に出力する。
【００３８】
階調補間部４２は、空間拡大部４１により生成されたｊ×ｋ×ｌ枚の空間拡大画像を、それぞれｍ個のパラメータを用いて原画像の階調数まで階調補間処理してｊ×ｋ×ｌ×ｍ枚の空間・階調復元画像を生成する。階調補間処理は、既知の手法である階調数の単純拡大により行われる。
【００３９】
例えばｎ種類のルックアップテーブルを参照することにより階調補間処理を行う場合には、ｍ＝ｎとなる。階調補間部４２は、階調補間処理に用いたパラメータに関する情報を補助情報として最適化部５０に出力する。
【００４０】
最適化部５０は、空間・階調復元部４０により生成された複数の空間・階調復元画像から、原画像と比較して最も劣化の少ない（最も差分の少ない）空間・階調復元画像を決定し、該空間・階調復元画像に対応する符号化信号を出力する。
【００４１】
例えば、原画像と空間階調復元画像との差分は、原画像を基準としたＰＳＮＲ（Peak Signal to Noise Ratio）値で計算することができる。ＰＳＮＲは、画像の最大階調数をＭＡＸ（例えば８ｂｉｔ深度画像の場合は２５６）とすると、式（１）により算出される。式（１）における平均二乗誤差ＭＳＥは、水平ｍ画素、垂直ｎラインの基準画像Ｉと評価画像Ｋにおいて、式（２）により求まる。
【００４２】
【数１】
2014239301.tif 000003
【００４３】
また、最適化部５０は、ＰＳＮＲによる評価の他に、視覚特性を考慮してＰＳＮＲよりも人間の主観画質評価結果に近いといわれるＳＳＩＭ（Structural Similarity）値で計算してもよい。ＳＳＩＭは、基準画像及び評価画像の平均μ１，μ２、分散σｘ２，σｙ２、共分散２σｘｙを用いて、式（３）により算出される。式（３）におけるＣ１，Ｃ２は式（４）により算出される。ここで、Ｋ１，Ｋ２は定数であり、通常０．０１，０．０３が使われる。また、Ｌは画像のダイナミックレンジであり、通常８ｂｉｔ深度画像では２５５が使われる。
【００４４】
【数２】
2014239301.tif 000004
【００４５】
また、最適化部５０は、空間・階調削減部１０及び空間・階調復元部４０により生成された補助情報を入力し、決定した局部復号画像に対応する補助情報を、最適補助情報として出力する。最適補助情報を出力することにより、該最適補助情報及び符号化信号を用いて、原画像を復元することができるようになる。なお、符号化部２０により生成された複数の符号化信号と、空間・階調削減部１０及び空間・階調復元部４０により生成された補助情報を最適化部５０に直接入力させるのではなく、いったん記憶部（図示せず）に記憶し、決定した局部復号画像に対応する符号化信号及び補助情報を記憶部から取得するようにしてもよい。
【００４６】
以上説明したように、符号化装置１は、階調削減部１１により原画像をｊ個のパラメータを用いて階調削減処理してｊ枚の階調削減画像を生成するとともに、空間縮小部１２により階調削減画像をｋ個のパラメータを用いて空間縮小処理してｊ×ｋ枚の空間・階調削減画像を生成する。そして、符号化部２０によりｊ×ｋ枚の空間・階調削減画像を符号化してｊ×ｋ種類の符号化信号を生成し、局部復号部３０によりｊ×ｋ種類の符号化信号を局部復号してｊ×ｋ枚の局部復号画像を生成する。続いて、空間拡大部４１によりｊ×ｋ枚の局部復号画像をそれぞれｌ個のパラメータを用いて空間拡大処理してｊ×ｋ×ｌ枚の空間拡大画像を生成するとともに、階調補間部４２によりｊ×ｋ×ｌ枚の空間拡大画像をそれぞれｍ個のパラメータを用いて階調補間処理してｊ×ｋ×ｌ×ｍ枚の空間・階調復元画像を生成する。最後に、最適化部５０によりｊ×ｋ×ｌ×ｍ枚の空間・階調復元画像を前記原画像と比較して、最も劣化の少ない空間・階調復元画像を決定し、ｊ×ｋ種類の符号化信号のうち該最も劣化の少ない空間・階調復元画像に対応する符号化信号を出力する。このため、符号化装置１によれば、空間縮小処理、階調削減処理、空間拡大処理、及び階調補間処理を一元的に最適化することができ、高画質を維持しつつ、符号化信号のビットレートを大幅に低減することができるようになる。
【００４７】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第２の実施形態では、第１の実施形態と異なる手法により階調削減処理を行う。階調削減処理は、階調数の単純削減では画像劣化が大きい。また、Lloyd-Max法では度数が高い階調値に多くの階調を割り当てて階調削減を行うため、原画像と階調削減画像との誤差を最小化するという観点からは最適な階調削減方法といえるが、視覚的かつ信号処理の観点からは最適な階調削減とはいえない。なぜなら、Lloyd-Max法では例えば雑音が支配的な階調値においても、その度数が高ければ多くの階調を割り当てて階調削減を行ってしまうからである。そこで、第２の実施形態では、雑音、グラデーション、又は双方を考慮して階調削減処理を行う。
【００４８】
第２の実施形態に係る符号化装置２の概略構成は図２に示したとおりであり、階調削減処理のみ異なる。そこで、以下は、符号化装置２における階調削減部１１の処理内容についてのみ説明する。
【００４９】
図３は、符号化装置２における階調削減部１１の構成例を示すブロック図である。図３に示す例では、階調削減部１１は、周波数分解部１１１と、雑音閾値決定部１１２と、雑音除去画像生成部１１３と、グラデーション閾値決定部１１４と、グラデーション画像生成部１１５と、階調削減初期情報生成部１１６と、階調決定部１１７とを備える。ここでは、雑音及びグラデーションの双方を考慮する場合について説明するが、雑音閾値決定部１１２及び雑音除去画像生成部１１３を備えないで原画像のグラデーションのみを考慮するようにしてもよく、また、グラデーション閾値決定部１１４及びグラデーション画像生成部１１５を備えないで原画像の雑音のみを考慮するようにしてもよい。
【００５０】
周波数分解部１１１は、原画像を周波数分解（例えば、ウェーブレットパケット分解）して、複数の周波数帯域成分を生成し、雑音閾値決定部１１２及び雑音除去画像生成部１１３に出力する。周波数帯域成分を解析することにより、後述するように雑音閾値及びグラデーション閾値を決定する。以下では、説明の便宜上、周波数分解成分のように周波数帯域毎に分解された画像を構成する最小単位を「要素」と称し、原画像のように周波数分解されていない画像を構成する最小単位を「画素」と称して、両者を区別することとする。
【００５１】
図４は、周波数分解部１１１による空間方向の周波数分解処理を説明する図である。図４では、原画像を空間方向に２階ウェーブレットパケット分解した場合の分解図を示しており、太線は１階ウェーブレットパケット分解の各周波数帯域を示している。図４に示すウェーブレットパケット分解の例では、低周波側、高周波側を空間方向に均等に周波数分解している。この分解図では空間周波数成分を、水平方向においては右側ほど高周波成分とし、垂直方向においては下側ほど高周波成分としている。よって、図４に示すように、左上は空間最低周波数帯域成分（周波数分解部１１１により生成された複数の周波数分解成分のうち最も周波数が低い帯域成分）となり、右下は空間最高周波数帯域成分（周波数分解部１１１により生成された複数の周波数分解成分のうち最も周波数が高い帯域成分）となる。なお、空間方向に加えて時間方向に周波数分解を行ってもよい。
【００５２】
図４では説明の便宜上、デシメーション有りでウェーブレットパケット分解を行った場合の分解図を示しているが、後述する孤立点検出部１１３１にて原画像の画素単位で孤立点（雑音）を除去することができるようにするために、周波数分解部１１１はデシメーション無し（すなわち、周波数帯域成分の画像サイズの縮小無し）で周波数分解を行い、生成される各周波数帯域成分の画像サイズを同一としてもよい。
【００５３】
雑音閾値決定部１１２は、周波数分解部１１１により生成された周波数分解成分の全帯域成分に対する空間最高周波数帯域成分のパワーの割合（以下、「空間最高周波数帯域成分の割合」という）を、各要素位置について算出する。そして、雑音閾値決定部１１２は、空間最高周波数帯域成分の割合の平均値を基準として、複数の空間最高周波数帯域成分の割合を雑音閾値として決定し、雑音除去画像生成部１１３に出力する。例えば、０％から、空間最高周波数帯域成分の割合の平均値までをａ等分した複数の値を雑音閾値として決定する。この場合、空間最高周波数帯域成分の割合の平均値が１０％、ａ＝５とすると、２％、４％、６％、８％、１０％が雑音閾値となる。雑音閾値決定部１１２により決定された雑音閾値は、補助情報（パラメータ情報）として最適化部５０に出力される。
【００５４】
雑音除去画像生成部１１３は、周波数分解部１１１により生成された周波数帯域成分、及び雑音閾値決定部１１２により決定された雑音閾値を用いて原画像の孤立点を検出し、該孤立点を雑音とみなす。そして、原画像から雑音が除去された雑音除去画像を生成し、階調削減初期情報生成部１１６に出力する。
【００５５】
図５は、雑音除去画像生成部１１３の構成例を示すブロック図である。図５に示すように、雑音除去画像生成部１１３は、孤立点検出部１１３１と、再構成部１１３２とを備える。
【００５６】
孤立点検出部１１３１は、周波数分解部１１１により生成された周波数帯域成分を解析して原画像の孤立点を検出する。具体的には、孤立点検出部１１３１は、空間最高周波数帯域成分の割合を各要素位置について算出する。そして、孤立点検出部１１３１は、雑音閾値決定部１１２により決定された複数の雑音閾値のうちの１つを選択し、算出した空間最高周波数帯域成分の割合が選択した雑音閾値Ｔｈ１を超える要素の値を１とし、雑音閾値Ｔｈ１以下の要素の値を０とする２値化画像Ｂを生成する。
【００５７】
孤立点検出部１１３１は、２値化画像Ｂの要素値が１である要素について、該要素を中心とする所定の判定領域内の要素値の合計値と、所定の閾値Ｔｈ２とを比較する。２値化画像Ｂの判定領域内の要素値の合計値が閾値Ｔｈ２を超える場合には、当該要素は孤立点要素ではないと判定し、２値化画像Ｂの判定領域内の要素値の合計値が閾値Ｔｈ２以下である場合には、当該要素を孤立点要素と判定し、孤立点要素に対応する原画像の画素を孤立点と判定する。
【００５８】
図６は、孤立点検出部１１３１による孤立点判定処理を説明する図である。図６に示す例では、判定領域は３×３要素である。閾値Ｔｈ２を１とすると、２値化画像Ｂの要素値が１となる要素素の周囲の８要素の要素値が０であるときのみ、２値化画像Ｂの要素値が１である要素を孤立要素とみなす。よって、閾値Ｔｈ２＝１の場合、図中の要素Ｐ１は孤立点要素であると判定され、要素Ｐ２と要素Ｐ３は孤立点要素と判定されない。
【００５９】
そして、孤立点検出部１１３１は、各周波数帯域成分について、孤立点要素であると判定した要素位置の要素値を０とし、再構成部１１３２に出力する。ただし、直流成分に雑音が含まれる場合には孤立点要素として検出されないおそれがあるため、直流成分を有する空間最低周波数帯域成分については階調値を変更しないようにするのが好適である。
【００６０】
再構成部１１３２は、孤立点検出部１１３１から入力される孤立点検出後の周波数帯域成分を用いて再構成処理を行い、雑音除去画像を生成し、階調削減初期情報生成部１１６に出力する。例えば、周波数分解部１１１においてｎ階ウェーブレットパケット分解を行って周波数帯域成分を生成していた場合には、孤立点検出後の周波数帯域成分をｎ階ウェーブレットパケット再構成する。
【００６１】
グラデーション閾値決定部１１４は、周波数分解部１１１により生成された周波数分解成分の全帯域成分に対する空間最低周波数帯域成分のパワーの割合（以下、「空間最低周波数帯域成分の割合」という）を、各要素位置について算出する。そして、グラデーション閾値決定部１１４は、空間最低周波数帯域成分の割合の平均値を基準として、複数の空間最低周波数帯域成分の割合をグラデーション閾値として決定し、グラデーション画像生成部１１５に出力する。例えば、空間最低周波数帯域成分の割合の平均値から１００％までをｂ等分した複数の値をグラデーション閾値として決定する。この場合、空間最低周波数帯域成分の割合平均値が９０％、ｂ＝５とすると、９０％、９２％、９４％、９６％、９８％がグラデーション閾値となる。グラデーション閾値決定部１１４により決定されたグラデーション閾値は、補助情報として最適化部５０に出力される。
【００６２】
グラデーション画像生成部１１５は、周波数分解部１１１により生成された周波数帯域成分、及びグラデーション閾値決定部１１４により決定されたグラデーション閾値を用いて原画像のグラデーション領域を検出し、該グラデーション領域のみからなるグラデーション画像を生成する。そして、グラデーション画像を階調削減初期情報生成部１１６に出力する。
【００６３】
図７は、グラデーション画像生成部１１５の構成例を示すブロック図である。図７に示すように、グラデーション画像生成部１１５は、グラデーション領域検出部１１５１と、再構成部１１５２とを備える。
【００６４】
グラデーション領域検出部１１５１は、周波数分解部１１１により生成された周波数帯域成分を解析して原画像のグラデーション領域を検出する。具体的には、グラデーション領域検出部１１５１は、空間最低周波数帯域成分の割合を各要素位置について算出する。そして、グラデーション領域検出部１１５１は、グラデーション閾値決定部１１４により決定された複数のグラデーション閾値のうちの１つを選択し、算出した空間最低周波数帯域成分の割合が選択したグラデーション閾値を超える領域をグラデーション領域と決定する。そして、グラデーション領域のみからなる画像を、再構成部１１５２に出力する。
【００６５】
再構成部１１５２は、グラデーション領域検出部１１５１から入力されるグラデーション領域検出後の周波数帯域成分を用いて再構成処理を行い、グラデーション画像を生成し、階調削減初期情報生成部１１６に出力する。例えば、周波数分解部１１１においてｎ階ウェーブレットパケット分解を行って周波数帯域成分を生成していた場合には、グラデーション領域検出後の周波数帯域成分をｎ階ウェーブレット再構成する。
【００６６】
階調削減初期情報生成部１１６は、雑音除去画像生成部１１３により生成された雑音除去画像、及びグラデーション画像生成部１１５により生成されたグラデーション画像に基づいて訓練データを生成するとともに、階調削減率（階調削減ビット数）に基づく階調変換テーブルを生成する。そして、訓練データ及び階調変換テーブルを階調決定部１１７に出力する。
【００６７】
図８は、階調削減初期情報生成部１１６の構成例を示すブロック図である。図８に示すように、階調削減初期情報生成部１１６は、ヒストグラム生成部１１６１と、重み付け部１１６２と、階調変換テーブル生成部１１６３とを備える。
【００６８】
ヒストグラム生成部１１６１は、雑音除去画像生成部１１３により生成された雑音除去画像について階調値ごとの度数を示すヒストグラムを訓練データとして生成し、階調決定部１１７に出力する。
【００６９】
重み付け部１１６２は、グラデーション画像生成部１１５により生成されたグラデーション画像の階調値を検出し、ヒストグラム生成部１１６１により生成された雑音除去画像のヒストグラムに対して、グラデーション画像の階調値の度数が高くなるように重み付けする。そして、重み付けしたヒストグラムを訓練データとして階調決定部１１７に出力する。例えば、グラデーション画像の階調値の度数を、所定の１を超える値（例えば、１．２）を乗じた値に変更する。なお、度数の高いグラデーション画像の階調値ほど重みを大きくするようにしてもよい。重み付けしたヒストグラムを訓練データとすることにより、階調決定部１１７にて階調削減を行う際に、グラデーション領域に、より多くの階調を割り当てることができる。
【００７０】
階調変換テーブル生成部１１６３は、階調削減率に応じて階調変換テーブルを生成し、階調決定部１１７に出力する。階調変換テーブルは、原画像の色深度がｎビット（階調数２ｎ）、階調削減ビット数がｍビットの場合、ｎビットを（ｎ−ｍ）ビットに線形変換する階調変換テーブルである。
【００７１】
図９は、階調削減部１０がグラデーション閾値決定部１１４及びグラデーション画像生成部１１５を備えない場合の階調削減初期情報生成部１１６の構成例を示すブロック図である。この場合、ヒストグラム生成部１１６１は、雑音除去画像生成部１１３により生成された雑音除去画像について階調値ごとの度数を示すヒストグラムを訓練データとして生成する。階調変換テーブル生成部１１６３は、階調削減率に応じて階調変換テーブルを生成する。
【００７２】
図１０は、階調削減部１０が雑音閾値決定部１１２及び雑音除去画像生成部１１３を備えない場合の階調削減初期情報生成部１１６の構成例を示すブロック図である。この場合、ヒストグラム生成部１１６１は、原画像について階調値ごとの度数を示すヒストグラムを生成し、重み付け部１１６２に出力する。重み付け部１１６２は、グラデーション画像生成部１１５により生成されたグラデーション画像の階調値を検出し、ヒストグラム生成部１１６１により生成された原画像のヒストグラムに対して、グラデーション画像の度数が高くなるように重み付けし、重み付けしたヒストグラムを訓練データとする。階調変換テーブル生成部１１６３は、階調削減率に応じて階調変換テーブルを生成する。
【００７３】
階調決定部１１７は、階調削減初期情報生成部１１６により生成された訓練データ及び階調変換テーブルを初期値として用いるLloyd-Max法により、原画像の階調を削減した階調削減画像を生成する。階調決定部１１７は、訓練データの度数に応じて各階調の量子化ステップを決定して階調削減画像を生成した後、階調削減画像を逆階調変換して原画像と同じ階調数の画像を生成する。そして、原画像と逆階調変換した画像との差分値が所定の閾値以下となるまで、訓練データ、及び階調変換テーブルを更新し、階調削減処理を繰り返し行う。Lloyd-Max法によれば、度数の高い階調ほど量子化ステップを小さくするため、原画像と階調削減画像との誤差を小さくすることができる。
【００７４】
また、階調決定部１１７は、生成した階調削減部を元の階調数に復元するための逆量子化テーブルを生成し、補助情報として最適化部５０に出力する。ここで、逆量子化テーブルとは、階調削減画像を生成した際の階調変換テーブルの入力値を出力値とし、階調変換テーブルの出力値を入力値としたテーブルである。
【００７５】
雑音除去画像生成部１１３は、雑音閾値決定部１１２により決定された雑音閾値ごとに雑音除去画像を生成する。また、グラデーション画像生成部１１５は、グラデーション閾値決定部１１４により決定されたグラデーション閾値ごとにグラデーション画像を生成する。よって、雑音閾値決定部１１２により決定された雑音閾値がａ個、グラデーション閾値決定部１１４により決定されたグラデーション閾値がｂ個の場合には、階調削減初期情報生成部１１６によりａ×ｂ種類の訓練データが生成され、階調決定部１１７によりａ×ｂ種類の階調削減画像（階調削減画像群）が生成される。
【００７６】
以上説明したように、符号化装置２においては、前記階調削減部１０は、ｊ個の雑音閾値を用いて、原画像から孤立点を除去したｊ枚の雑音除去画像を生成するか、又はｊ個のグラデーション閾値を用いて、原画像のグラデーション領域のみからなるｊ枚のグラデーション画像を生成する画像生成部（雑音除去画像生成部１１３又はグラデーション画像生成部１１５）と、雑音除去画像又は原画像のヒストグラムに対して、グラデーション画像の階調値の度数が高くなるように重み付けしたヒストグラムを訓練データとして用いるLloyd-Max法により、原画像の階調を削減したｊ枚の階調削減画像を生成する階調決定部１１７と、を備える。このように、雑音又はグラデーションを考慮して階調変換することにより、視覚的かつ信号処理的に優れ、画像ごとに最適化された階調削減を行うことができ、実施例１の符号化装置１に比べて更に高精度な符号化信号を生成することができる。また、空間縮小前に階調削減を行うことで、不要な雑音成分が折り返し成分として空間削減画像に含まれるのを防止することができる。
【００７７】
なお、雑音及びグラデーションの双方を考慮する場合には、雑音除去画像生成部１１３によりａ個の雑音閾値を用いて、原画像から孤立点を除去したａ枚の雑音除去画像を生成し、ｂ個のグラデーション閾値を用いて、原画像のグラデーション領域のみからなるｂ枚のグラデーション画像を生成し、階調決定部１１７によりｊ＝ａ×ｂ枚の階調削減画像を生成する。
【００７８】
（第３の実施形態）
次に、第２の実施形態の階調削減処理の変形例について、第３の実施形態として説明する。第２の実施形態では原画像を解析して閾値を決定したが、第３の実施形態では空間縮小率及び／又は階調削減率から閾値を決定する。第３の実施形態に係る符号化装置３の概略構成は図２に示したとおりであり、階調削減処理のみ異なる。そこで、以下は、符号化装置３における階調削減部１１の処理内容についてのみ説明する。
【００７９】
図１１は、本発明の第３の実施形態に係る符号化装置３における階調削減部の構成を示すブロック図である。図１１に示す例では、階調削減部１１は、階調削減閾値決定部１１８と、周波数分解部１１１と、雑音除去画像生成部１１３と、グラデーション画像生成部１１５と、階調削減初期情報生成部１１６と、階調決定部１１７とを備える。ここでは、雑音及びグラデーションの双方を考慮する場合について説明するが、雑音閾値決定部１１２及び雑音除去画像生成部１１３を備えないで原画像のグラデーションのみを考慮するようにしてもよく、また、グラデーション閾値決定部１１４及びグラデーション画像生成部１１５を備えないで原画像の雑音のみを考慮するようにしてもよい。
【００８０】
階調削減閾値決定部１１８は、空間縮小率及び／又は階調削減率に基づいて、雑音閾値及び／又はグラデーション閾値を決定する。ここでは、空間縮小率及び階調削減率に基づいて、雑音閾値及びグラデーション閾値を決定する場合について説明する。階調削減閾値決定部１１８は、決定した雑音閾値を雑音除去画像生成部１１３に出力し、決定したグラデーション閾値をグラデーション画像生成部１１５に出力する。
【００８１】
階調削減閾値決定部１１８は、空間縮小率及び階調削減率と、雑音閾値及びグラデーション閾値とを対応付けた対応表を予め有する。対応表の例を表１に示す。空間縮小率と、雑音閾値及びグラデーション閾値との関係については、空間縮小率が高くなるほど、雑音閾値及びグラデーション閾値を小さくする。空間縮小率が高い場合は、雑音成分の折り返しによる影響は少なく、またグラデーション領域検出を高い精度で行う必要はないためである。また、階調削減率と、雑音閾値及びグラデーション閾値との関係については、階調削減率が高くなるほど、雑音閾値及びグラデーション閾値を大きくするのが好適である。階調削減率が高い場合は、雑音に階調を割り当てないように雑音除去閾値を高く設定する必要があり、また疑似輪郭防止のためにグラデーション領域検出閾値を高く設定する必要があるからである。つまり、表１では、Ｎ１＜Ｎ２＜Ｎ３＜Ｎ４、Ｇ１＜Ｇ２＜Ｇ３＜Ｇ４とする。
【００８２】
【表１】
2014239301.tif 000005
【００８３】
表１の対応表を用いて雑音閾値及びグラデーション閾値を決定する場合、空間縮小処理に対する重みα、及び階調削減処理に対する重みβを用いるのが好適である。例えば、空間縮小率が１／２、階調削減率が１/８の場合に表１を用いて雑音閾値Ｎ及びグラデーション閾値Ｇを求めると、Ｎ＝（αＮ４＋βＮ３）／２、Ｇ＝（αＧ４＋βＧ３）／２となる。空間縮小処理の精度を重視する場合はαに大きな重みを与え、階調削減処理の精度を重視する場合はβに大きな重みを与える。なお、雑音閾値及びグラデーション閾値の組を複数組選択するようにしてもよい。
【００８４】
雑音除去画像生成部１１３は、周波数分解部１１１により生成された周波数帯域成分、及び階調削減閾値決定部１１８により決定された雑音閾値を用いて原画像の孤立点を検出し、該孤立点を雑音とみなす。そして、原画像から雑音が除去された雑音除去画像を生成し、階調削減初期情報生成部１１６に出力する。
【００８５】
グラデーション画像生成部１１５は、周波数分解部１１１により生成された周波数帯域成分、及び階調削減閾値決定部１１８により決定されたグラデーション閾値を用いて原画像のグラデーション領域を検出し、該グラデーション領域のみからなるグラデーション画像を生成する。そして、グラデーション画像を階調削減初期情報生成部１１６に出力する。
【００８６】
階調削減初期情報生成部１１６は、雑音除去画像生成部１１３により生成された雑音除去画像、及びグラデーション画像生成部１１５により生成されたグラデーション画像に基づいて訓練データを生成するとともに、階調削減率に基づく階調変換テーブルを生成する。そして、訓練データ及び階調変換テーブルを階調決定部１１７に出力する。
【００８７】
階調決定部１１７は、階調削減初期情報生成部１１６により生成された訓練データ及び階調変換テーブルを初期値として用いるLloyd-Max法により、原画像の階調を削減した階調削減画像を生成する。
【００８８】
以上説明したように、符号化装置３は、雑音閾値又は前記グラデーション閾値を、該閾値と、空間縮小率又は階調削減率とを対応付けた対応表に基づいて決定する。このため、符号化装置３によれば、第２の実施形態の符号化装置２と同様の効果に加え、雑音閾値又は前記グラデーション閾値を迅速に決定して処理時間を短縮することができるようになる。
【００８９】
（第４の実施形態）
次に、第４の実施形態について説明する。第４の実施形態では、第１の実施形態と異なる手法により空間・階調復元処理を行う。第４の実施形態に係る符号化装置４の概略構成は図２に示したとおりである。そこで、以下は、符号化装置４における空間・階調復元部４０の処理内容についてのみ説明する。
【００９０】
局所復号画像を無限に高い解像度（標本化周波数）まで空間超解像（オーバーサンプリング）処理を行い、これを原画像の解像度まで縮小する時に階値補間処理を行えば、理想的な空間・階調復元処理となる。しかしこれは不可能なため、第４の実施形態では原画像の解像度以上の解像度まで局所復号画像を空間超解像処理して、これを原画像の解像度まで縮小する際に階調補間処理を行う。
【００９１】
符号化装置４における空間拡大部４１は、局部復号部３０により生成されたｊ×ｋ枚の局部復号画像を、それぞれ原画像の解像度以上のｌ種類の解像度まで空間超解像処理（空間オーバーサンプリング処理）して、原画像の解像度以上の解像度を有するｊ×ｋ×ｌ枚の空間拡大画像を生成し、階調補間部４２に出力する。
【００９２】
図１２は、第４の実施形態に係る符号化装置４における空間拡大部４１の構成例を示すブロック図である。図１２に示す例では、空間拡大部４１は、オーバーサンプリング値決定部４１１と、オーバーサンプリング部４１２とを備える。
【００９３】
オーバーサンプリング値決定部４１１は、空間拡大画像の解像度を示す空間オーバーサンプリング値を決定し、オーバーサンプリング部４１２に出力する。空間オーバーサンプリング値は、例えば、階調補間部４２で階調数を△ｂｉｔ増加させる場合、水平方向及び垂直方向ともに原画像の解像度の２（△＋１）倍までの解像度とする。例えば局部復号画像の解像度及び階調数を「４Ｋ×２Ｋ、８ｂｉｔ」とし、原画像の解像度及び階調数を「８Ｋ×４Ｋ、１０ｂｉｔ」とすると、階調数を２ｂｉｔ増加させるため、空間オーバーサンプリング値は水平方向及び垂直方向ともに原画像の解像度の２倍、４倍、８倍となる。
【００９４】
なお、空間オーバーサンプリング値の最大値は原画像の解像度の２（△＋１）倍に限定されるものではない。また、空間オーバーサンプリング値が示す解像度が原画像の解像度と同一であってもよく、その場合には、後述する空間縮小処理は行わないこととなる。また、オーバーサンプリング値決定部４１１を設けずに、ユーザが空間オーバーサンプリング値を直接設定するようにしてもよい。
【００９５】
オーバーサンプリング部４１２は、局部復号部３０により生成された局部復号画像を、空間オーバーサンプリング値によって指定されたｌ種類の解像度まで空間オーバーサンプリング処理し、空間拡大画像を生成する。空間オーバーサンプリング処理を行う際には、局部復号画像を一気に高解像度にするのではなく、例えばウェーブレット変換を用いて水平方向・垂直方向各２倍の超解像処理を再帰的に行うことにより、空間拡大画像を生成するのが好適である。これにより原画像の折り返し成分を利用した高精度なオーバーサンプリングを行えるとともに、エッジのギザギザ感を抑制することができる。なお、ウェーブレット超解像処理については、例えば特開２０１１−２３４１１６号公報を参照されたい。
【００９６】
符号化装置４における階調補間部４２は、空間拡大部４１により生成された空間拡大画像を階調数が原画像の階調数となるように階調補間処理を行うともに、原画像の解像度まで空間縮小処理を行って空間・階調復元画像を出力する。
【００９７】
図１３は、第４の実施形態に係る符号化装置４における階調補間部４２の構成例を示すブロック図である。図１３に示す例では、階調補間部４２は、空間拡大画像階調補間部４２１と、空間縮小部４２２とを備える。
【００９８】
空間拡大画像階調補間部４２１は、空間拡大画像の階調数を原画像の階調数まで△ｂｉｔ増加させる場合、まず、単純に全画素の階調値を２△倍に線形拡大した階調拡大画像を生成する。例えば△＝２の場合、空間拡大画像内の各画素の階調値ｘを４ｘとする。
【００９９】
次に、空間拡大画像階調補間部４２１は、階調拡大画像を平滑化処理して階調復元画像を生成し、空間縮小部４２２に出力する。具体的には、空間拡大画像階調補間部４２１は、解像度の縮小劣化過程（ぼやけ）を模擬したｍ種類のフィルタを用いて階調拡大画像を畳み込むことにより平滑化処理し、中間階調値を補間する。解像度の縮小劣化過程を模擬した関数として、例えば、点拡がり関数（ＰＳＦ）又はガウシアン関数を用いることができる。また、空間拡大画像階調補間部４２１は、平滑化処理の代わりに、バイキュービック法、バイリニア法などにより階調拡大画像の中間階調値を補間してもよい。
【０１００】
空間縮小部４２２は、空間拡大画像階調補間部４２１により生成された階調復元画像を原画像の解像度になるように空間縮小処理することで空間・階調復元画像を生成し、最適化部５０に出力する。空間縮小処理は、単純間引きにより行ってもよいし、空間拡大画像階調補間部４２１により生成された階調超解像画像を原画像の解像度になるようウェーブレット分解し、その空間低周波数成分を空間・階調復元画像としてもよい。
【０１０１】
以上説明したように、符号化装置４は、空間拡大部４１により、局部復号画像を原画像の解像度以上のｌ種類の解像度に空間拡大処理した後、階調補間部４２により、空間拡大画像を、階調数が原画像の階調数となるように階調補間処理するとともに、解像度が原画像の解像度となるように空間縮小処理する。このため、符号化装置４によれば、実施例１の符号化装置１に比べて更に高精度な空間・階調復元画像を生成することができる。
【０１０２】
また、空間拡大部４１は、ウェーブレット変換を用いて局部復号画像を水平方向及び垂直方向に各２倍の超解像処理を再帰的に行うことにより生成するのが好適である。これにより、折り返し成分を利用した高精度なオーバーサンプリングを行えるとともに、エッジのギザギザ感を抑制することができる。
【０１０３】
また、階調補間部４２は、空間拡大画像の階調を原画像の階調数に拡大し、ｍ種類の縮小劣化過程を模擬したフィルタを用いて畳み込むことにより中間階調を補間し、その後、解像度が前記原画像の解像度となるように縮小処理するのが好適である。これにより、高精度に中間階調値を補間することができる。
【０１０４】
なお、上述した符号化装置１，２，３，４として機能させるためにコンピュータを用いることができ、そのようなコンピュータは、符号化装置１，２，３，４の各機能を実現する処理内容を記述したプログラムを当該コンピュータの記憶部に格納しておき、当該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録することができる。
【０１０５】
上述の実施形態は、代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。
【産業上の利用可能性】
【０１０６】
このように、本発明は原画像の階調削減処理及び空間縮小処理を行って空間・階調削減画像を生成する任意の用途に有用である。
【符号の説明】
【０１０７】
１，２，３，４  符号化装置
１０      空間・階調削減部
１１      階調削減部
１２      空間縮小部
２０      符号化部
３０      局部復号部
４０      空間・階調復元部
４１      空間拡大部
４２      階調補間部
５０      最適化部
１１１    周波数分解部
１１２    雑音閾値決定部
１１３    雑音除去画像生成部
１１４    グラデーション閾値決定部
１１５    グラデーション画像生成部
１１６    階調削減初期情報生成部
１１７    階調決定部
１１８    階調削減閾値決定部
４１１    オーバーサンプリング値決定部
４１２    オーバーサンプリング部
４２１    空間拡大画像階調補間部
４２２    空間縮小部
１１３１  孤立点検出部
１１３２  再構成部
１１５１  グラデーション領域検出部
１１５２  再構成部
１１６１  ヒストグラム生成部
１１６２  重み付け部
１１６３  階調変換テーブル生成部
【図１】
2014239301.tif 000006
【図２】
2014239301.tif 000007
【図３】
2014239301.tif 000008
【図４】
2014239301.tif 000009
【図５】
2014239301.tif 000010
【図６】
2014239301.tif 000011
【図７】
2014239301.tif 000012
【図８】
2014239301.tif 000013
【図９】
2014239301.tif 000014
【図１０】
2014239301.tif 000015
【図１１】
2014239301.tif 000016
【図１２】
2014239301.tif 000017
【図１３】
2014239301.tif 000018