(57)【要約】【課題】階調変換後の画像の見た目の画質を向上させる。【解決手段】演算部３１は、画素値INと、フィルタ３５の出力とを加算し、量子化部３２は、演算部３１の出力を量子化し、ΔΣ変調データIDとして出力する。演算部３３は、演算部３１の出力と、ΔΣ変調データIDとの差分を、量子化誤差Qとして求め、量子化部３７は、量子化誤差Qの一部k×Qを量子化し、補填用データQtとして出力する。演算部３９は、ΔΣ変調データIDと補填用データQtとを加算し、時間積分効果利用型誤差拡散データOUTとして出力する。演算部３４は、量子化誤差Qと補填用データQtとの差分を、ΔΣ変調に用いる量子化誤差であるΔΣ変調用誤差Qsとして求め、フィルタ３５は、ΔΣ変調用誤差Qsの空間方向のフィルタリングを行う。本発明は、画像の階調を変換する場合に適用できる。【選択図】図３
2010103697.tif 000002
【特許請求の範囲】
【請求項１】
画像の画素値と、前記画像の画素値を量子化した量子化値の量子化誤差の空間方向のフィルタリングを行うフィルタ手段の出力とを加算する第１の演算手段と、
前記第１の演算手段の出力を量子化し、前記量子化誤差を含む量子化値を、前記画素値のΔΣ変調の結果であるΔΣ変調データとして出力する第１の量子化手段と、
前記第１の演算手段の出力と、前記第１の演算手段の出力の前記量子化値との差分を演算することにより、前記量子化誤差を求める第２の演算手段と、
前記量子化誤差の一部を量子化し、その量子化により得られる量子化値を、空間方向の誤差拡散を補填するための補填用データとして出力する第２の量子化手段と、
前記ΔΣ変調データと前記補填用データとを加算することにより、視覚の時間方向の積分効果を利用して誤差拡散法の効果を生じさせる時間積分効果利用型誤差拡散データを生成する第３の演算手段と、
前記量子化誤差と前記補填用データとの差分を、前記ΔΣ変調に用いる量子化誤差であるΔΣ変調用誤差として求める第４の演算手段と、
前記ΔΣ変調用誤差の空間方向のフィルタリングを行う前記フィルタ手段と
を備える画像処理装置。
【請求項２】
前記画像の画素値がNビットであり、
前記第１の量子化手段が、Nビットよりも少ないMビットの量子化値を、前記ΔΣ変調データとして出力する
場合に、
前記第２の量子化手段は、前記量子化誤差の一部を、N-Mビットに量子化し、N-Mビットの補填用データとして出力し、
前記第３の演算手段は、Nビットに逆量子化した前記ΔΣ変調データと、N-Mビットの前記補填用データとを加算することにより、Nビットの前記時間積分効果利用型誤差拡散データを生成する
請求項１に記載の画像処理装置。
【請求項３】
Nビットの前記時間積分効果利用型誤差拡散データを、Mビットの画素値に変換する変換処理を、FRC(Frame Rate Control)処理によって行うFRC手段をさらに備える
請求項２に記載の画像処理装置。
【請求項４】
前記フィルタ手段によるフィルタリングのフィルタ係数は、前記ΔΣ変調によって行われるノイズシェーピングの特性が、中域以上で、人の視覚特性の逆の特性になるように、かつ、高域で、Floydフィルタを用いたΔΣ変調によるノイズシェーピングの特性よりも急峻に増加するように決定される
請求項１に記載の画像処理装置。
【請求項５】
前記フィルタ手段によるフィルタリングのフィルタ係数は、前記ΔΣ変調によって行われるノイズシェーピングの特性が、低域又は中域で負になり、高域で、Floydフィルタを用いたΔΣ変調によるノイズシェーピングの振幅特性よりも急峻に増加するように決定される
請求項１に記載の画像処理装置。
【請求項６】
前記フィルタ手段によるフィルタリングのフィルタ係数は、負の値を含み、かつ、前記ΔΣ変調によって行われるノイズシェーピングの振幅特性が、高域で、Floydフィルタを用いたΔΣ変調によるノイズシェーピングの振幅特性よりも急峻に増加するように決定される
請求項１に記載の画像処理装置。
【請求項７】
画像の画素値と、前記画像の画素値を量子化した量子化値の量子化誤差の空間方向のフィルタリングを行うフィルタ手段の出力とを加算する第１の演算手段と、
前記第１の演算手段の出力を量子化し、前記量子化誤差を含む量子化値を、前記画素値のΔΣ変調の結果であるΔΣ変調データとして出力する第１の量子化手段と、
前記第１の演算手段の出力と、前記第１の演算手段の出力の前記量子化値との差分を演算することにより、前記量子化誤差を求める第２の演算手段と、
前記量子化誤差の一部を量子化し、その量子化により得られる量子化値を、空間方向の誤差拡散を補填するための補填用データとして出力する第２の量子化手段と、
前記ΔΣ変調データと前記補填用データとを加算することにより、視覚の時間方向の積分効果を利用して誤差拡散法の効果を生じさせる時間積分効果利用型誤差拡散データを生成する第３の演算手段と、
前記量子化誤差と前記補填用データとの差分を、前記ΔΣ変調に用いる量子化誤差であるΔΣ変調用誤差として求める第４の演算手段と、
前記ΔΣ変調用誤差の空間方向のフィルタリングを行う前記フィルタ手段と
を備える画像処理装置の
前記第１の演算手段が、前記画像の画素値と、前記フィルタ手段の出力とを加算する第１の演算ステップと、
前記第１の量子化手段が、前記第１の演算手段の出力を量子化し、前記量子化誤差を含む量子化値を、前記ΔΣ変調データとして出力する第１の量子化ステップと、
前記第２の演算手段が、前記第１の演算手段の出力と、前記第１の演算手段の出力の前記量子化値との差分を演算することにより、前記量子化誤差を求める第２の演算ステップと、
前記第２の量子化手段が、前記量子化誤差の一部を量子化し、前記補填用データを出力する第２の量子化ステップと、
前記第３の演算手段が、前記ΔΣ変調データと前記補填用データとを加算することにより、前記時間積分効果利用型誤差拡散データを生成する第３の演算ステップと、
前記第４の演算手段が、前記量子化誤差と前記補填用データとの差分を、前記ΔΣ変調用誤差として求める第４の演算ステップと、
前記フィルタ手段が、前記ΔΣ変調用誤差の空間方向のフィルタリングを行うフィルタステップと
を含む画像処理方法。
【請求項８】
画像の画素値と、前記画像の画素値を量子化した量子化値の量子化誤差の空間方向のフィルタリングを行うフィルタ手段の出力とを加算する第１の演算手段と、
前記第１の演算手段の出力を量子化し、前記量子化誤差を含む量子化値を、前記画素値のΔΣ変調の結果であるΔΣ変調データとして出力する第１の量子化手段と、
前記第１の演算手段の出力と、前記第１の演算手段の出力の前記量子化値との差分を演算することにより、前記量子化誤差を求める第２の演算手段と、
前記量子化誤差の一部を量子化し、その量子化により得られる量子化値を、空間方向の誤差拡散を補填するための補填用データとして出力する第２の量子化手段と、
前記ΔΣ変調データと前記補填用データとを加算することにより、視覚の時間方向の積分効果を利用して誤差拡散法の効果を生じさせる時間積分効果利用型誤差拡散データを生成する第３の演算手段と、
前記量子化誤差と前記補填用データとの差分を、前記ΔΣ変調に用いる量子化誤差であるΔΣ変調用誤差として求める第４の演算手段と、
前記ΔΣ変調用誤差の空間方向のフィルタリングを行う前記フィルタ手段と
して、コンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及び、プログラムに関し、特に、階調変換後の見た目の画質を向上させることができるようにする画像処理装置、画像処理方法、及び、プログラムに関する。
【背景技術】
【０００２】
例えば、RGB(Red,Green,Blue)が6ビットのLCD(Liquid Crystal Display)（RGBの各値が6ビットの画像を表示することができるLCD）等の、少ないビット数のディスプレイに、RGBが8ビットの画像（RGBの各値が8ビットの画像）等の、多ビットの画像を表示する場合には、画像の階調を変換する階調変換を行う必要がある。
【０００３】
階調変換を行う方法としては、例えば、FRC(Frame Rate Control)処理がある。
【０００４】
FRC処理では、表示のレート（表示レート）が、例えば、表示しようとする画像のフレームレートの4倍等の高い表示レートのディスプレイに、フレームレートがディスプレイの表示レートに一致するように調整された画像が表示される。
【０００５】
すなわち、例えば、いま、8ビットの画像を、6ビットのLCDに表示することとし、8ビットの画像の、あるフレームの、ある画素に注目して、注目しているフレームを注目フレームというとともに、注目している画素を注目画素ということとする。
【０００６】
また、8ビットの画像のフレームレート（又はフィールドレート）が、例えば、60Hzであり、6ビットのLCDの表示レートが、8ビットの画像のフレームレートの、例えば、4倍の240Hzであるとする。
【０００７】
FRC処理では、画像のフレームレートが、ディスプレイの表示レートに一致するように、4倍に制御され、そのフレームレートの制御後の画像が表示される。
【０００８】
すなわち、総和が、注目画素の画素値である8ビットのうちの、下位2(=8-6)ビットに一致する4個(=240Hz/60Hz)の1ビットの値を、(b0,b1,b2,b3)と表す。
【０００９】
また、8ビットの画素値の、下位2ビットを切り捨てた6ビットの値（8ビットの画素値を、単に6ビットに量子化した値）を、Xと表す。
【００１０】
FRC処理では、基本的に、8ビットの画素値が、4個の6ビットの画素値（連続する４フレームの注目画素の位置の画素値）X+b0,X+b1,X+b2,X+b3に変換される。
【００１１】
具体的には、注目画素の8ビットの画素値が、例えば、127(=01111111B)（Bは、その前の値が２の進数であることを表す）である場合には、8ビットの画素値の、下位2ビットを切り捨てた6ビットの値Xは、31(=011111B)となる。
【００１２】
また、総和が、注目画素の8ビットの画素値127(=01111111B)のうちの、下位2ビットである11B(=3)に一致する4個の1ビットの値(b0,b1,b2,b3)としては、例えば、(0B,1B,1B,1B)がある。
【００１３】
したがって、注目画素の8ビットの画素値127(=01111111B)は、4個の6ビットの画素値X+b0=31(=011111B)，X+b1=32(=100000B)，X+b2=32(=100000B)、及び、X+b3=32(=100000B)に変換される。
【００１４】
FRC処理では、フレームレートがLCDの表示レートに一致するように、注目フレームが、４つのフレームに変換される。いま、この４つのフレームを、表示時刻順に、第１、第２、第３、第４のフレームということとすると、FRC処理では、第１ないし第４のフレームそれぞれの注目画素の位置の画素の画素値が、上述の４個の6ビットの画素値31,32,32,32とされる。
【００１５】
そして、FRC処理では、第１ないし第４のフレームが、LCDにおいて、元のフレームレートの4倍の表示レートで表示される。この場合、注目画素の位置では、6ビットの画素値31,32,32,32が、人の視覚で時間方向に積分（加算）され、画素値が127であるかのように見える。
【００１６】
以上のように、FRC処理では、視覚で時間方向の積分が行われるという時間積分効果を利用して、8ビットの画素値である127が、6ビットによって、擬似的に表現される。
【００１７】
なお、FRC処理において、8ビットの画素値を、4個の6ビットの画素値に変換する処理は、例えば、8ビットの画素値と、4個の6ビットの画素値とが対応付けられて記憶されたLUT(Look Up Table)を用いて行われる。
【００１８】
階調変換を行う方法としては、その他、例えば、誤差拡散法がある（例えば、非特許文献１を参照）。
【００１９】
誤差拡散法による階調変換では、注目画素に空間的に近い画素の画素値の量子化誤差であるノイズを、空間周波数の高域にノイズシェーピングし、そのノイズシェーピング後のノイズを、注目画素の画素値に加算する誤差拡散（注目画素の画素値の量子化誤差を、注目画素に空間的に近い画素の画素値に加算する誤差拡散）が行われる。そして、ノイズの加算後の画素値が、所望のビット数に量子化される。
【００２０】
誤差拡散法による階調変換は、空間方向の２次元のΔΣ変調（２次元ΔΣ変調）であり、上述のように、ノイズ（量子化誤差）が加算された後の画素値が量子化される。そのため、その量子化後（階調変換後）の画像では、下位ビットを切り捨てるだけでは一定値となる部分の画素値が、PWM(Pulse Width Modulation)がされたようになる。その結果、階調変換後の画像の階調は、人の視覚で空間方向の積分が行われるという空間積分効果によって、滑らかに変化しているように見える。すなわち、元の画像と同等の階調（例えば、元の画像が、上述したように、8ビットの画像であれば、256(=28)階調）を、擬似的に表現することができる。
【００２１】
また、誤差拡散法では、空間周波数の高域において、人の視覚の感度が低いことを考慮して、画素値に、ノイズシェーピング後のノイズ（量子化誤差）が加算される。これにより、階調変換後の画像にノイズが目立つ程度を低減することができる。
【００２２】
【非特許文献１】貴家仁志著，「よくわかるディジタル画像処理」，第6版，CQ出版株式会社，2000年1月，p.196-213
【発明の開示】
【発明が解決しようとする課題】
【００２３】
誤差拡散法では、上述したように、ノイズシェーピング後のノイズが、画素値に加算されるので、階調変換後の画像にノイズが目立つ程度を低減することができる。しかしながら、画素値に加算されるノイズの量が大であること等に起因して、画素値に加算されるノイズ、つまり、空間方向に誤差拡散されるノイズが、階調変換後の画像において目立つことがある。
【００２４】
階調変換後の画像に、ノイズが目立つことを防止する方法としては、例えば、空間方向に誤差拡散されるノイズの量を小とする方法があるが、それでは、誤差拡散の効果（誤差拡散法の効果）が小となり、見た目の階調が低下することになる。
【００２５】
本発明は、このような状況に鑑みてなされたものであり、階調変換後の画像の見た目の階調を低下させずに、階調変換後の画像に、ノイズが目立つことを防止して、見た目の画質を向上させることができるようにするものである。
【課題を解決するための手段】
【００２６】
本発明の一側面の画像処理装置、又は、プログラムは、画像の画素値と、前記画像の画素値を量子化した量子化値の量子化誤差の空間方向のフィルタリングを行うフィルタ手段の出力とを加算する第１の演算手段と、前記第１の演算手段の出力を量子化し、前記量子化誤差を含む量子化値を、前記画素値のΔΣ変調の結果であるΔΣ変調データとして出力する第１の量子化手段と、前記第１の演算手段の出力と、前記第１の演算手段の出力の前記量子化値との差分を演算することにより、前記量子化誤差を求める第２の演算手段と、前記量子化誤差の一部を量子化し、その量子化により得られる量子化値を、空間方向の誤差拡散を補填するための補填用データとして出力する第２の量子化手段と、前記ΔΣ変調データと前記補填用データとを加算することにより、視覚の時間方向の積分効果を利用して誤差拡散法の効果を生じさせる時間積分効果利用型誤差拡散データを生成する第３の演算手段と、前記量子化誤差と前記補填用データとの差分を、前記ΔΣ変調に用いる量子化誤差であるΔΣ変調用誤差として求める第４の演算手段と、前記ΔΣ変調用誤差の空間方向のフィルタリングを行う前記フィルタ手段とを備える画像処理装置、又は、画像処理装置として、コンピュータを機能させるためのプログラムである。
【００２７】
本発明の一側面の画像処理方法は、前記第１の演算手段が、前記画像の画素値と、前記フィルタ手段の出力とを加算する第１の演算ステップと、前記第１の量子化手段が、前記第１の演算手段の出力を量子化し、前記量子化誤差を含む量子化値を、前記ΔΣ変調データとして出力する第１の量子化ステップと、前記第２の演算手段が、前記第１の演算手段の出力と、前記第１の演算手段の出力の前記量子化値との差分を演算することにより、前記量子化誤差を求める第２の演算ステップと、前記第２の量子化手段が、前記量子化誤差の一部を量子化し、前記補填用データを出力する第２の量子化ステップと、前記第３の演算手段が、前記ΔΣ変調データと前記補填用データとを加算することにより、前記時間積分効果利用型誤差拡散データを生成する第３の演算ステップと、前記第４の演算手段が、前記量子化誤差と前記補填用データとの差分を、前記ΔΣ変調用誤差として求める第４の演算ステップと、前記フィルタ手段が、前記ΔΣ変調用誤差の空間方向のフィルタリングを行うフィルタステップとを含む画像処理方法である。
【００２８】
本発明の一側面においては、第１の演算手段において、前記画像の画素値と、フィルタ手段の出力とが加算され、第１の量子化手段において、前記第１の演算手段の出力が量子化され、ΔΣ変調データが出力される。さらに、第２の演算手段において、前記第１の演算手段の出力と、前記第１の演算手段の出力の前記量子化値との差分を演算することにより、前記量子化誤差が求められ、第２の量子化手段において、前記量子化誤差の一部が量子化され、補填用データが出力される。そして、第３の演算手段において、前記ΔΣ変調データと前記補填用データとを加算することにより、時間積分効果利用型誤差拡散データが生成され、第４の演算手段において、前記量子化誤差と前記補填用データとの差分が、ΔΣ変調用誤差として求められる。また、フィルタ手段において、前記ΔΣ変調用誤差の空間方向のフィルタリングが行われる。
【００２９】
画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【００３０】
また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【発明の効果】
【００３１】
本発明の一側面によれば、階調変換後の画像の見た目の画質を向上させることができる。
【発明を実施するための最良の形態】
【００３２】
［本発明を適用した画像処理装置の一実施の形態の構成例］
【００３３】
図１は、本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【００３４】
図１の画像処理装置は、階調変換部１１、及び、ディスプレイ１２から構成され、例えば、TV（テレビジョン受像機）等に適用される。
【００３５】
階調変換部１１には、例えば、RGBの各成分が8ビットの画像のデータが、対象画像のデータとして供給される。階調変換部１１は、そこに供給される8ビットの対象画像のデータ（対象画像データ）を、ディスプレイ１２が表示することができる、例えば、6ビットの画像（RGBの各成分が6ビットの画像）のデータ（画像データ）に変換する階調変換を行い、その階調変換後の6ビットの画像データを、ディスプレイ１２に供給する。
【００３６】
ここで、本実施の形態では、8ビットの対象画像データのフレームレート（又はフィールドレート）が、例えば、60Hzであり、6ビットの画像を表示するディスプレイ１２の表示レートが、8ビットの対象画像データのフレームレートの、例えば、4倍の240Hzであるとする。
【００３７】
階調変換部１１では、8ビットの対象画像データの、6ビットの画像データへの階調変換において、フレームレートの変換（ここでは、フレームレートを、対象画像データのフレームレートである60Hzから、ディスプレイ１２の表示レートに一致する240Hzに変換すること）も行われる。
【００３８】
ディスプレイ１２は、例えば、表示レートが240Hzで、6ビットの画像を表示することができる6ビットのLCDであり、階調変換部１１から供給される6ビットの画像データ（に対応する画像）を表示する。
【００３９】
なお、階調変換部１１において、8ビットの対象画像データの階調変換は、例えば、RGBの各成分ごとに、独立して行われる。
【００４０】
［階調変換部１１の構成例］
【００４１】
図２は、図１の階調変換部１１の構成例を示している。
【００４２】
階調変換部１１は、データ処理部２１、及び、FRC部２２から構成される。
【００４３】
データ処理部２１には、8ビットの対象画像データが供給される。データ処理部２１は、8ビットの対象画像データに、所定のデータ処理を施すことにより、時間積分効果（視覚の時間方向の積分効果）を利用して誤差拡散法の効果を生じさせる時間積分効果利用型誤差拡散データとしての画像データを生成する。
【００４４】
なお、データ処理部２１が、8ビットの対象画像データから生成する時間積分効果利用型誤差拡散データは、（画素値の）ビット数が対象画像データと同一の8ビットの画像データであり、かつ、フレームレートも対象画像データと同一の60Hzの画像データである。
【００４５】
ビット数が8ビットで、フレームレートが60Hzの画像データである時間積分効果利用型誤差拡散データは、データ処理部２１からFRC部２２に供給される。
【００４６】
FRC部２２は、FRC処理によって、データ処理部２１からの、ビット数が8ビットで、フレームレートが60Hzの画像データである時間積分効果利用型誤差拡散データを、ビット数が6ビットで、フレームレートが240Hzの画像データに変換する。そして、FRC部２２は、その画像データを、階調変換後の画像データとして、ディスプレイ１２に供給する。
【００４７】
ここで、データ処理部２１及びFRC部２２は、それぞれ、専用のハードウェアによって実現することもできるし、ソフトウェアによって実現することもできる。
【００４８】
但し、FRC処理は、既に、ハードウェアで実現されているため、FRC部２２としては、その、既存のハードウェアを採用することができる。
【００４９】
なお、FRC部２２を、既存のハードウェアを採用しないで、ソフトウェアで実現する場合には、FRC部２２は、データ処理部２１が扱う画像データの4倍の240Hzのフレームレートの画像データを扱う必要があるため、データ処理部２１の4倍の速度で動作するように構成する必要がある。
【００５０】
［データ処理部２１の構成例］
【００５１】
図３は、図２のデータ処理部２１の構成例を示している。
【００５２】
図３において、データ処理部２１は、演算部３１、量子化部３２、演算部３３及び３４、フィルタ３５、演算部３６、量子化部３７、逆量子化部３８、及び、演算部３９から構成される。
【００５３】
演算部３１には、対象画像データの画素のN(=8)ビットの画素値IN(x,y)が、例えば、ラスタスキャン順に供給される。さらに、演算部３１には、対象画像データの画素値を量子化した量子化値の量子化誤差の空間方向のフィルタリングを行うフィルタ３５の出力が供給される。
【００５４】
演算部３１は、対象画像データの画素値IN(x,y)と、フィルタ３５の出力とを加算し、その結果得られる加算値U(x,y)を、量子化部３２、及び演算部３３に供給（出力）する。
【００５５】
ここで、IN(x,y)は、左からx番目で、上からy番目の画素(x,y)の画素値を表す。また、U(x,y)は、画素値IN(x,y)と、フィルタ３５の出力との加算値を表す。
【００５６】
量子化部３２は、演算部３１の出力である加算値U(x,y)を、対象画像データのビット数N(=8)より少ない、ディスプレイ１２（図１）が表示することができる画像のビット数M(=6)に量子化し、その結果得られるM(=6)ビットの量子化値を、画素値IN(x,y)のΔΣ変調の結果であるΔΣ変調データID(x,y)として出力する。
【００５７】
ここで、図３のデータ処理部２１において、上述の演算部３１、及び、量子化部３２、並びに、後述する演算部３３、及び、フィルタ３５は、ΔΣ変調を行うΔΣ変調器を構成しており、量子化部３２の出力は、演算部３１に供給される画素値IN(x,y)をΔΣ変調した結果となる。
【００５８】
量子化部３２が出力するM(=6)ビットのΔΣ変調データID(x,y)は、演算部３３と、逆量子化部３８とに供給される。
【００５９】
演算部３３は、演算部３１の出力である加算値U(x,y)と、量子化部３２の出力である、加算値U(x,y)の量子化値であるM(=6)ビットのΔΣ変調データID(x,y)との差分U(x,y)-ID(x,y)を演算することにより、量子化値であるΔΣ変調データID(x,y)に含まれる量子化誤差Q(x,y)を求めて出力する。
【００６０】
演算部３３が出力する量子化誤差Q(x,y)は、演算部３４及び３６に供給される。
【００６１】
演算部３４には、演算部３３が出力する量子化誤差Q(x,y)の他、量子化部３７から、量子化誤差Q(x,y)の一部の量子化値である補填用データQt(x,y)が供給される。
【００６２】
演算部３４は、演算部３３からの量子化誤差Q(x,y)と、量子化部３７からの補填用データQt(x,y)との差分Q(x,y)-Qt(x,y)を、ΔΣ変調器でのΔΣ変調に用いる量子化誤差であるΔΣ変調用誤差Qs(x,y)として求め、フィルタ３５に供給する。
【００６３】
フィルタ３５は、例えば、空間方向の２次元（水平方向及び垂直方向）のフィルタリングを行うFIR(Finite Impulse Response)フィルタであり、演算部３４からの量子化誤差であるΔΣ変調用誤差Qs(x,y)の、空間方向のフィルタリングを行う。さらに、フィルタ３５は、そのフィルタリング結果を、演算部３１に供給（出力）する。
【００６４】
ここで、フィルタ３５の伝達関数をGと表すこととする。この場合、量子化部３２が出力するΔΣ変調データID(x,y)は、式（１）で表される。
【００６５】
ID(x,y)＝IN(x,y)-(1-G)k'Q(x,y)
・・・（１）
【００６６】
式（１）では、量子化誤差Q(x,y)が、-(1-G)k'で変調されているが、この-(1-G)k'での変調が、空間方向のΔΣ変調によるノイズシェーピングである。
【００６７】
なお、図３では、ΔΣ変調用誤差Qs(x,y)として、量子化誤差Q(x,y)から、量子化部３７で得られる補填用データQt(x,y)を減算した値が用いられる。
【００６８】
いま、0ないし1の範囲の値の重みをk'で表すこととして、ΔΣ変調用誤差Qs(x,y)が、量子化誤差Q(x,y)を用いて、式Qs(x,y)=k'×Q(x,y)で表されるとする。この場合、図３のデータ処理装置２１では、ノイズとしての量子化誤差Q(x,y)のうちの、重みk'分（ΔΣ変調用誤差Qs(x,y)）だけがΔΣ変調に用いられる（ΔΣ変調によるノイズシェーピングがされる）。
【００６９】
したがって、そのようなΔΣ変調によって得られるΔΣ変調データID(x,y)は、いわば、対象画像データに対して、量子化誤差Q(x,y)のうちの、重みk'分だけの、空間方向の誤差拡散がされたデータとなる。
【００７０】
演算部３６は、演算部３３から供給される量子化誤差Q(x,y)の一部を抽出し、量子化部３７に供給する。すなわち、演算部３６は、例えば、演算部３３からの量子化誤差Q(x,y)に、0ないし1の範囲の値の重みkを乗算することにより、量子化誤差Q(x,y)の一部k×Q(x,y)を抽出し、量子化部３７に供給する。
【００７１】
なお、演算部３６で用いられる重みkと、上述の重みk'とは、一方の値が大であるときに、他方の値が小となる関係を有する。
【００７２】
量子化部３７は、演算部３６からの、量子化誤差Q(x,y)の一部k×Q(x,y)を、N-M(=8-6=2)ビットに量子化する。さらに、量子化部３７は、その結果得られるN-M(=2)ビットの量子化値を、データ処理部２１の後段のFRC部２２（図２）で行われるFRC処理によって、空間方向の誤差拡散を補填するための補填用データQt(x,y)として出力する。
【００７３】
量子化部３７が出力するN-M(=2)ビットの補填用データQt(x,y)は、演算部３４及び３９に供給される。
【００７４】
逆量子化部３８は、量子化部３２からのM(=6)ビットのΔΣ変調データID(x,y)を、元の画素値IN(x,y)のビット数であるN(=8)に逆量子化し、演算部３９に供給する。
【００７５】
すなわち、逆量子化部３８は、M(=6)ビットのΔΣ変調データID(x,y)の下位N-M(=2)ビットに、0を付加することで、N(=8)ビットのΔΣ変調データ（以下、逆量子化ΔΣ変調データともいう）とし、演算部３９に供給する。
【００７６】
演算部３９は、逆量子化部３８からのN(=8)ビットの逆量子化ΔΣ変調データと、量子化部３７からのN-M(=2)ビットの補填用データQt(x,y)とを加算することにより、N(=8)ビットの時間積分効果利用型誤差拡散データOUT(x,y)を生成し、FRC部２２に供給する。
【００７７】
ここで、N(=8)ビットの逆量子化ΔΣ変調データは、M(=6)ビットのΔΣ変調データID(x,y)の下位N-M(=2)ビットに、0を付加したデータである。したがって、逆量子化ΔΣ変調データと、N-M(=2)ビットの補填用データQt(x,y)とを加算して得られるN(=8)ビットの時間積分効果利用型誤差拡散データOUT(x,y)は、M(=6)ビットのΔΣ変調データID(x,y)の下位N-M(=2)ビットに、N-M(=2)ビットの補填用データQt(x,y)を付加したデータとなる。
【００７８】
［階調変換部１１で扱われるデータの説明］
【００７９】
図４を参照して、図２の階調変換部１１で扱われるデータについて説明する。
【００８０】
図４Ａは、データ処理部２１（の演算部３１）に供給される、60Hzのフレームレートの対象画像データの8(=N)ビットの画素値IN(x,y)を示している。
【００８１】
図４Ｂは、データ処理部２１（の演算部３９）において、図４Ａの8ビットの画素値IN(x,y)に対して得られる、60Hzのフレームレートの、8(=N)ビットの時間積分効果利用型誤差拡散データOUT(x,y)を示している。
【００８２】
図３で説明したように、8(=N)ビットの時間積分効果利用型誤差拡散データOUT(x,y)は、6(=M)ビットのΔΣ変調データID(x,y)の下位2(=N-M)ビットに、2(=N-M)ビットの補填用データQt(x,y)を付加したデータとなっている。
【００８３】
図４Ｃは、FRC部２２において、データ処理部２１（の演算部３９）から供給される8(=N)ビットの時間積分効果利用型誤差拡散データOUT(x,y)に対して得られる、240Hzのフレームレートの、階調変換後の画像データの6(=M)ビットの画素値を示している。
【００８４】
前述したように、いま、総和が、8ビットの画素値である時間積分効果利用型誤差拡散データOUT(x,y)のうちの、下位2(=N-M)ビットに一致する4個の1ビットの値を、(b0,b1,b2,b3)と表すこととする。また、8ビットの時間積分効果利用型誤差拡散データOUT(x,y)の、下位2ビットを切り捨てた6ビットの値を、Xと表すこととする。
【００８５】
なお、ここでは、図４Ｂに示したように、8ビットの時間積分効果利用型誤差拡散データOUT(x,y)の下位2ビットは、2ビットの補填用データQt(x,y)であり、その下位2ビットを切り捨てた（残りの）6ビットの値Xは、6ビットのΔΣ変調データID(x,y)である。
【００８６】
FRC処理では、前述したように、8ビットの時間積分効果利用型誤差拡散データOUT(x,y)が、時間的に連続する4フレームの同一位置の4個の6ビットの画素値（連続する４フレームの注目画素の位置の画素値）X+b0,X+b1,X+b2,X+b3に変換される。
【００８７】
ここで、FRC処理で得られる6ビットの画素値X+bi(i=0,1,2,3)のうちの、6ビットの値Xは、時間積分効果利用型誤差拡散データOUT(x,y)の上位6ビットのΔΣ変調データID(x,y)である。
【００８８】
6ビットのΔΣ変調データID(x,y)は、図３で説明したように、対象画像データに対して、量子化誤差Q(x,y)のうちの、重みk'分だけの、空間方向の誤差拡散がされたデータである。
【００８９】
そして、6ビットのΔΣ変調データID(x,y)は、量子化誤差Q(x,y)のうちの、重みk'分だけの空間方向の誤差拡散の効果によって、空間積分効果を利用した、階調変換後の画像の見た目の階調の向上に寄与する。
【００９０】
また、FRC処理で得られる4個の6ビットの画素値X+b0,X+b1,X+b2,X+b3は、ディスプレイ１２（図１）において、240Hzの表示レートで表示されるが、人の視覚では、時間積分効果によって、画素値が、X+b0,X+b1,X+b2,X+b3の総和22×X+b0+b1+b2+b3であるかのように認識される。
【００９１】
ここで、総和22×X+b0+b1+b2+b3のうちの値22×Xは、時間積分効果利用型誤差拡散データOUT(x,y)の上位6ビットのΔΣ変調データID(x,y)（を逆量子化して得られる逆量子化ΔΣ変調データ）に等しい。
【００９２】
したがって、時間積分効果によって得られる総和22×X+b0+b1+b2+b3のうちの値22×Xは、量子化誤差Q(x,y)のうちの、重みk'分だけの空間方向の誤差拡散の効果によって、空間積分効果を利用した、階調変換後の画像の見た目の階調の向上に寄与する。
【００９３】
また、時間積分効果によって得られる総和22×X+b0+b1+b2+b3のうちの値b0+b1+b2+b3は、時間積分効果利用型誤差拡散データOUT(x,y)の下位2ビットの補填用データQt(x,y)に一致する。
【００９４】
補填用データQt(x,y)は、量子化誤差Q(x,y)の一部k×Q(x,y)の2ビットの量子化値であり、上述の重みk'を用いて、式Qt(x,y)=(1-k')×Q(x,y)と表すことができるから、量子化誤差Q(x,y)のうちの、重み1-k'分である。
【００９５】
したがって、時間積分効果によって得られる総和22×X+b0+b1+b2+b3のうちの値b0+b1+b2+b3は、量子化誤差Q(x,y)のうちの、重み1-k'分である。このように、値b0+b1+b2+b3は、量子化誤差Q(x,y)のうちの重み1-k'分であり、値22×Xによる空間方向の誤差拡散（の効果）を、いわば補填する効果がある。
【００９６】
以上のように、補填用データQt(x,y)は、FRC処理後に得られる4個の6ビットの画素値X+b0,X+b1,X+b2,X+b3が、時間積分効果によって、総和22×X+b0+b1+b2+b3であるかのように認識されるときに、値22×X（ΔΣ変調データID(x,y)）による空間方向の誤差拡散を補填する。
【００９７】
したがって、時間積分効果利用型誤差拡散データOUT(x,y)の上位6ビットのΔΣ変調データID(x,y)によって、量子化誤差Q(x,y)のうちの、重みk'分だけの空間方向の誤差拡散の効果が生じる。さらに、時間積分効果利用型誤差拡散データOUT(x,y)の下位2ビットの補填用データQt(x,y)によって、量子化誤差Q(x,y)のうちの、重み1-k'分だけの時間方向のFRCの効果が生じ、その効果によって、空間方向の誤差拡散の効果が補填される。
【００９８】
その結果、時間積分効果利用型誤差拡散データOUT(x,y)によれば、全体として、量子化誤差Q(x,y)のすべての分の空間方向の誤差拡散の効果が生じ、対象画像データを、単に、ΔΣ変調するだけの誤差拡散の場合と同様の見た目の階調を実現することができる（対象画像データを、単に、ΔΣ変調するだけの誤差拡散の場合よりも見た目の階調が低下することを防止することができる）。
【００９９】
さらに、時間積分効果利用型誤差拡散データOUT(x,y)によれば、量子化誤差Q(x,y)のうちの、重みk'分が、空間方向に誤差拡散され、重み1-k'分が、時間方向に連続する4個の画素値X+b0,X+b1,X+b2,X+b3に分配される。
【０１００】
すなわち、ノイズとしての量子化誤差Q(x,y)が、空間方向にのみ誤差拡散されるのではなく、いわば、空間方向と時間方向に分けて拡散（分配）される。したがって、ノイズとしての量子化誤差Q(x,y)が、空間方向にのみ誤差拡散される場合、つまり、対象画像データを、単に、ΔΣ変調するだけの誤差拡散を行う場合と比較して、ディスプレイ１２に表示される階調変換後の画像に、ノイズが目立つことを防止して、見た目の画質を向上させることができる。
【０１０１】
図３のデータ処理部２１は、対象画像データから、以上のような、時間積分効果を利用して誤差拡散法の効果を生じさせる時間積分効果利用型誤差拡散データOUT(x,y)を生成する。
【０１０２】
［データ処理部２１のデータ処理］
【０１０３】
図５を参照して、データ処理部２１が行うデータ処理、すなわち、時間積分効果利用型誤差拡散データOUT(x,y)を生成する生成処理について説明する。
【０１０４】
演算部３１は、そこに対象画像データの画素の画素値が供給されるのを待って受信し、画素値が供給された画素を注目画素として、ステップＳ１１において、フィルタ３５の出力を加算する。
【０１０５】
すなわち、ステップＳ１１において、演算部３１は、注目画素の画素値と、フィルタ３５が直前に行った、後述するステップＳ１８のフィルタリングで得られた値（フィルタ３５の出力）とを加算し、その結果得られる加算値を、量子化部３２、及び演算部３３に出力して、処理は、ステップＳ１２に進む。
【０１０６】
ステップＳ１２では、量子化部３２が、演算部３１の出力である加算値を量子化し、量子化誤差を含む量子化値を、ΔΣ変調データとして、演算部３３と逆量子化部３８に出力して、処理は、ステップＳ１３に進む。
【０１０７】
ステップＳ１３では、逆量子化部３８が、量子化部３２からのΔΣ変調データを逆量子化し、逆量子化ΔΣ変調データを、演算部３９に供給して、処理は、ステップＳ１３からステップＳ１４に進む。
【０１０８】
ステップＳ１４では、演算部３３が、演算部３１の出力である加算値と、量子化部３２の出力（演算部３１の出力である加算値の量子化値）（ΔΣ変調データ）との差分を演算することにより、量子化部３２の量子化による量子化誤差を求める。さらに、演算部３３は、量子化誤差を、演算部３４及び３６に供給して、処理は、ステップＳ１４からステップＳ１５に進む。
【０１０９】
ステップＳ１５では、量子化誤差の一部を量子化することにより、補填用データが生成される。
【０１１０】
すなわち、ステップＳ１５では、演算部３６が、演算部３３からの量子化誤差に重みkを乗算することにより、その量子化誤差の一部を抽出し、量子化部３７に供給する。量子化部３７は、演算部３６からの量子化誤差の一部を量子化することにより、量子化誤差の重みk'分である補填用データを生成し、演算部３４及び３９に供給して、処理は、ステップＳ１５からステップＳ１６に進む。
【０１１１】
ステップＳ１６では、演算部３９が、逆量子化部３８からの逆量子化ΔΣ変調データと、量子化部３７からの補填用データとを加算することにより、時間積分効果利用型誤差拡散データを生成し、FRC部２２に供給して、処理は、ステップＳ１７に進む。
【０１１２】
ステップＳ１７では、演算部３４が、演算部３３からの量子化誤差と、量子化部３７からの補填用データとの差分（量子化誤差の1-k'分）を、ΔΣ変調器でのΔΣ変調に用いる量子化誤差であるΔΣ変調用誤差として求め、フィルタ３５に供給して、処理は、ステップＳ１８に進む。
【０１１３】
ステップＳ１８では、フィルタ３５が、演算部３４からのΔΣ変調用誤差の、空間方向のフィルタリングを行い、そのフィルタリング結果を、演算部３１に供給（出力）する。
【０１１４】
その後、演算部３１に対して、ラスタスキャン順で、注目画素の次の画素の画素値が供給されるのを待って、処理は、ステップＳ１８からステップＳ１１に戻る。
【０１１５】
そして、演算部３１は、ステップＳ１１において、注目画素の次の画素を、新たな注目画素として、その注目画素の画素値と、直前のステップＳ１８で、フィルタ３５から供給されるフィルタリング結果とを加算し、以下、同様の処理が繰り返される。
【０１１６】
以上のように、データ処理部２１において、ΔΣ変調データ（逆量子化ΔΣ変調データ）と、補填用データとを含む時間積分効果利用型誤差拡散データを生成することにより、階調変換後の画像の見た目の階調を低下させずに、階調変換後の画像に、ノイズが目立つことを防止して、見た目の画質を向上させることができる。
【０１１７】
すなわち、時間積分効果利用型誤差拡散データが、FRC処理されて表示される場合には、時間積分効果利用型誤差拡散データに含まれるΔΣ変調データID(x,y)によって、量子化誤差の重みk'分だけの空間方向の誤差拡散の効果が生じる。さらに、時間積分効果利用型誤差拡散データOUT(x,y)に含まれる補填用データによって、量子化誤差の重み1-k'分だけの時間方向のFRCの効果が生じ、その効果によって、空間方向の誤差拡散の効果が補填される。
【０１１８】
したがって、時間積分効果利用型誤差拡散データによれば、全体として、量子化誤差のすべての分の空間方向の誤差拡散の効果が生じ、対象画像データを、単に、ΔΣ変調するだけの誤差拡散の場合と同様の見た目の階調を実現することができる。
【０１１９】
また、時間積分効果利用型誤差拡散データによれば、量子化誤差のうちの、重みk'分が、空間方向に誤差拡散され、重み1-k'分が、時間方向に分配されるので、量子化誤差が、空間方向にのみ誤差拡散される場合に比較して、量子化誤差が、ノイズとして目立つことを防止して、見た目の画質を向上させることができる。
【０１２０】
なお、データ処理部２１（図３）の演算部３６において、量子化誤差に乗算される重みk（ひいては、重みk'及び1-k'）は、例えば、0.5等の固定値とすることもできるし、ユーザの操作等に応じて変化する可変値とすることもできる。
【０１２１】
また、重みkを可変値とする場合には、重みkは、対象画像データを、例えば、フレームごと等に解析し、その解析結果に基づいて設定することができる。
【０１２２】
すなわち、データ処理部２１では、対象画像データの注目フレーム（注目画素のフレーム）を解析することで、例えば、注目フレームの動きを検出し、その動きを表す動き情報に基づき、重みkを設定することができる。
【０１２３】
ここで、動き情報としては、例えば、注目フレームと、その１フレーム前のフレームとの、同一位置の画素の画素値どうしの差分の絶対値和等を採用することができる。
【０１２４】
そして、重みkとしては、例えば、動き情報が大であるほど、小さい値、つまり、注目フレームの動きが大であるほど、小さい値を設定することができる。
【０１２５】
データ処理部２１では、重みkが大である場合には、時間方向に分散される量子化誤差が大になるとともに、空間方向に誤差拡散される量子化誤差が小になる。一方、重みkが小である場合には、空間方向に誤差拡散される量子化誤差が大になるとともに、時間方向に分散される量子化誤差が小になる。
【０１２６】
注目フレームの動きが大である場合に、時間方向に量子化誤差の多くが分散されると、階調変換後の画像に悪影響を及ぼすことがある。したがって、上述したように、注目フレームの動きが大である場合には、値が小さい重みkを設定し、時間方向に分散される量子化誤差を小にすることで、階調変換後の画像に悪影響を及ぼすことを防止することができる。
【０１２７】
［フィルタ３５の具体例］
【０１２８】
データ処理部２１のフィルタ３５（図３）としては、例えば、従来の誤差拡散法で用いられているノイズシェーピング用のフィルタを採用することができる。
【０１２９】
従来の誤差拡散法で用いられるノイズシェーピング用のフィルタとしては、例えば、Jarvis, Judice & Ninkeのフィルタ（以下、Jarvisフィルタともいう）や、Floyd & Steinbergのフィルタ（以下、Floydフィルタともいう）がある。
【０１３０】
図６は、Jarvisフィルタを用いたノイズシェーピングの振幅特性と、Floydフィルタを用いたノイズシェーピングの振幅特性とを示している。
【０１３１】
なお、図６では、ノイズシェーピングの振幅特性の他に、人の視覚の空間周波数特性（以下、視覚特性ともいう）を表すコントラスト感度曲線も図示してある。
【０１３２】
また、図６において（後述する図７、図８、及び、図１０ないし図１２でも同様）、横軸は、空間周波数を表し、縦軸は、振幅特性についてはゲインを、視覚特性については感度を、それぞれ表す。
【０１３３】
ここで、空間周波数の単位は、cpd（cycle/degree）であり、cpdは、視野角の単位角度（視野角１度）の範囲に見える縞模様の数を表す。例えば、10cpdは、視野角１度の範囲に、白線と黒線のペアが１０ペア見えることを意味し、20cpdは、視野角１度の範囲に、白線と黒線のペアが２０ペア見えることを意味する。
【０１３４】
階調変換部１１による階調変換後の画像は、最終的には、ディスプレイ１２（図１）で表示されるため、ディスプレイ１２に表示される画像の画質を向上させる観点からは、人の視覚の空間周波数特性については、（0cpdから）ディスプレイ１２で表示される画像の最高の空間周波数までを考慮すればよい。
【０１３５】
ディスプレイ１２で表示される画像の最高の空間周波数が、仮に、例えば、120cpd程度等の極めて高い値である場合には、図６に示すように、Jarvisフィルタであっても、また、Floydフィルタであっても、人の視覚の感度が低い、高域の周波数帯域に、ノイズ（量子化誤差）が十分に変調される。
【０１３６】
ところで、ディスプレイ１２で表示される画像の最高の空間周波数は、ディスプレイ１２の解像度と、ディスプレイ１２に表示された画像を視聴するときの、視聴者からディスプレイ１２までの距離（以下、視聴距離ともいう）とによって決まる。
【０１３７】
いま、ディスプレイ１２の垂直方向（縦）の長さをHインチと表すこととすると、ディスプレイ１２で表示される画像の最高の空間周波数を求めるにあたり、視聴距離としては、例えば、2.5Hないし3.0H程度が採用される。
【０１３８】
この場合、例えば、ディスプレイ１２が、いわゆるフルHD(High Definition)の画像を表示する横×縦が1920×1080画素の40インチのサイズの表示画面を有することとすると、ディスプレイ１２で表示される画像の最高の空間周波数は、30cpd程度となる。
【０１３９】
図７は、ディスプレイ１２（図１）で表示される画像の最高の空間周波数が、30cpdである場合の、Jarvisフィルタを用いたノイズシェーピングの振幅特性と、Floydフィルタを用いたノイズシェーピングの振幅特性とを示している。
【０１４０】
なお、図７では、図６と同様に、視覚特性も図示してある。
【０１４１】
ディスプレイ１２で表示される画像の最高の空間周波数が、30cpd程度である場合には、図７に示すように、Jarvisフィルタや、Floydフィルタでは、人の視覚の感度が十分低い、高域の周波数帯域に、ノイズを、十分に変調することが困難である。
【０１４２】
したがって、Jarvisフィルタや、Floydフィルタでは、階調変換後の画像に、ノイズが目立って、見た目の画質が劣化することがある。
【０１４３】
このように、階調変換後の画像にノイズが目立つことによる、見た目の画質の劣化を低減するには、ノイズシェーピングの振幅特性を、例えば、図８に示すようにする必要がある。
【０１４４】
すなわち、図８は、階調変換後の画像にノイズが目立つことによる、見た目の画質の劣化を低減するノイズシェーピング（以下、劣化低減ノイズシェーピングともいう）の振幅特性の例を示している。
【０１４５】
ここで、劣化低減ノイズシェーピングを実現するΔΣ変調に用いられるノイズシェーピング用のフィルタを、SBM(Super Bit Mapping)フィルタともいう。
【０１４６】
図８では、劣化低減ノイズシェーピング（SBMフィルタを用いたノイズシェーピング）の振幅特性の他、図７に示した視覚特性、Jarvisフィルタを用いたノイズシェーピングの振幅特性、及び、Floydフィルタを用いたノイズシェーピングの振幅特性も、図示してある。
【０１４７】
劣化低減ノイズシェーピングの振幅特性においては、中域以上の特性が、視覚特性（コントラスト感度曲線）の形状を、上下逆にした形状（類似した形状を含む）の特性（以下、逆特性ともいう）になっている。
【０１４８】
さらに、劣化低減ノイズシェーピングの振幅特性は、高域で、JarvisフィルタやFloydフィルタを用いたノイズシェーピングの振幅特性よりも急峻に増加する特性になっている。
【０１４９】
これにより、劣化低減ノイズシェーピングでは、ノイズ（量子化誤差）が、視覚の感度がより低い、JarvisフィルタやFloydフィルタを用いたノイズシェーピングよりも高域に、いわば集中的に変調される。
【０１５０】
フィルタ３５（図３）として、SBMフィルタを採用することにより、すなわち、フィルタ３５を用いたノイズシェーピングの振幅特性が、中域以上で、視覚特性の逆特性となり、かつ、高域で、FloydフィルタやJarvisフィルタを用いたΔΣ変調によるノイズシェーピングの振幅特性よりも急峻に増加するように、フィルタ３５のフィルタ係数を決定することにより、演算部３１（図３）では、画素値IN(x,y)に対して、視覚の感度が低い高域のノイズ（量子化誤差）が加算されるようになり、その結果、階調変換後の画像に、ノイズ（量子化誤差）が目立つことを防止することができる。
【０１５１】
なお、図８において、SBMフィルタを用いたノイズシェーピングの振幅特性は、高域で、ゲイン1を大きく超えているが、これは、JarvisフィルタやFloydフィルタを用いる場合よりも、量子化誤差を、高域で大きく増幅していることを表す。
【０１５２】
また、図８では、SBMフィルタを用いたノイズシェーピングの振幅特性は、低域から中域にかけて、ゲインが負になっているが、これにより、SBMフィルタを、少ないタップ数の２次元フィルタで構成することができる。
【０１５３】
すなわち、例えば、SBMフィルタを用いたノイズシェーピングの振幅特性として、低域及び中域のゲインが0で、高域だけ、ゲインが急峻に増加する振幅特性を実現する場合には、SBMフィルタは、多タップ（タップ数が多い）の２次元フィルタとなる。
【０１５４】
これに対して、SBMフィルタを用いたノイズシェーピングの振幅特性を、低域又は中域で、ゲインが負になるようにした場合には、少ないタップ数の２次元フィルタで、SBMフィルタを構成し、ノイズシェーピングの高域のゲインを、JarvisフィルタやFloydフィルタを用いる場合よりも急峻に増加させることができる。
【０１５５】
このようなSBMフィルタを、フィルタ３５として採用することにより、データ処理部２１を小型に構成することができる。
【０１５６】
図９は、上述のようなSBMフィルタのフィルタリングに用いられる量子化誤差を示している。
【０１５７】
ノイズシェーピングの振幅特性を、低域又は中域で、ゲインが負になるようにした場合には、例えば、注目画素を中心とする5×5画素のうちの、ラスタスキャン順で、既に階調変換がされた12画素（図９に左上がりの斜線を付して示す画素）それぞれの量子化誤差を用いてフィルタリングを行う12タップの２次元フィルタで、SBMフィルタを構成することができる。
【０１５８】
なお、そのようなSBMフィルタを、フィルタ３５（図３）として採用した場合には、注目画素の量子化誤差は、注目画素を中心とする5×5画素のうちの、ラスタスキャン順で、これから階調変換がされる画素（これから注目画素となる画素）（図９において、右上がりの斜線を付して示す画素）に誤差拡散される。
【０１５９】
［ノイズシェーピングの特性と、フィルタ係数の具体例］
【０１６０】
図１０は、階調変換後の画像を表示するディスプレイ１２で表示される画像の空間周波数の最高周波数（最高の空間周波数）を30cpdとした場合の、SBMフィルタを用いたノイズシェーピングの振幅特性とフィルタ係数の第１の例を示している。
【０１６１】
すなわち、図１０Ａは、ノイズシェーピングの振幅特性が、低域又は中域で負になり、高域で、Floydフィルタを用いたΔΣ変調によるノイズシェーピングの振幅特性よりも急峻に増加するように決定された、12タップのSBMフィルタのフィルタ係数の第１の例を示している。
【０１６２】
図１０Ａでは、12タップのSBMフィルタのフィルタ係数として、g(1,1) = -0.0317，g(2,1) = -0.1267，g(3,1) = -0.1900，g(4,1) = -0.1267，g(5,1) = -0.0317，g(1,2) = -0.1267，g(2,2) = 0.2406，g(3,2) = 0.7345，g(4,2) = 0.2406，g(5,2) = -0.1267，g(1,3) = -0.1900，g(2,3) = 0.7345が採用されている。
【０１６３】
ここで、SBMフィルタは、２次元のFIRフィルタである。また、フィルタ係数g(i,j)は、図９で説明した、注目画素を中心とする横×縦が5×5画素における、ラスタスキャン順で、既に階調変換がされた12画素のうちの、左からi番目で，上からj番目の画素の量子化誤差と乗算されるフィルタ係数である。
【０１６４】
図１０Ｂは、SBMフィルタのフィルタ係数が図１０Ａに示すようになっている場合の、SBMフィルタを用いたノイズシェーピングの振幅特性を示している。
【０１６５】
図１０Ｂのノイズシェーピングの振幅特性では、周波数f=0で、ゲインが0で、低域又は中域で、ゲインが負になり、高域で、ゲインが、Floydフィルタ（及びJarvisフィルタ）を用いたΔΣ変調によるノイズシェーピングの振幅特性よりも急峻に増加している。
【０１６６】
図１１は、階調変換後の画像を表示するディスプレイ１２で表示される画像の空間周波数の最高周波数を30cpdとした場合の、SBMフィルタを用いたノイズシェーピングの振幅特性とフィルタ係数の第２の例を示している。
【０１６７】
すなわち、図１１Ａは、SBMフィルタを用いたノイズシェーピングの振幅特性が、低域又は中域で負になり、高域で、Floydフィルタを用いたΔΣ変調によるノイズシェーピングの振幅特性よりも急峻に増加するように決定された、12タップのSBMフィルタのフィルタ係数の第２の例を示している。
【０１６８】
図１１Ａでは、12タップのSBMフィルタのフィルタ係数として、g(1,1) = -0.0249，g(2,1) = -0.0996，g(3,1) = -0.1494，g(4,1) = -0.0996，g(5,1) = -0.0249，g(1,2) = -0.0996，g(2,2) = 0.2248，g(3,2) = 0.6487，g(4,2) = 0.2248，g(5,2) = -0.0996，g(1,3) = -0.1494，g(2,3) = 0.6487が採用されている。
【０１６９】
図１１Ｂは、SBMフィルタのフィルタ係数が図１１Ａに示すようになっている場合の、SBMフィルタを用いたノイズシェーピングの振幅特性を示している。
【０１７０】
図１１Ｂのノイズシェーピングの振幅特性では、周波数f=0で、ゲインが0で、低域又は中域で、ゲインが負になり、高域で、ゲインが、Floydフィルタを用いたΔΣ変調によるノイズシェーピングの振幅特性よりも急峻に増加している。
【０１７１】
図１２は、階調変換後の画像を表示するディスプレイ１２で表示される画像の空間周波数の最高周波数を30cpdとした場合の、SBMフィルタを用いたノイズシェーピングの振幅特性とフィルタ係数の第３の例を示している。
【０１７２】
すなわち、図１２Ａは、ノイズシェーピングの振幅特性が、低域又は中域で負になり、高域で、Floydフィルタを用いたΔΣ変調によるノイズシェーピングの振幅特性よりも急峻に増加するように決定された、12タップのSBMフィルタのフィルタ係数の第３の例を示している。
【０１７３】
図１２Ａでは、12タップのSBMフィルタのフィルタ係数として、g(1,1) = -0.0397，g(2,1) = -0.1586，g(3,1) = -0.2379，g(4,1) = -0.1586，g(5,1) = -0.0397，g(1,2) = -0.1586，g(2,2) = 0.2592，g(3,2) = 0.8356，g(4,2) = 0.2592，g(5,2) = -0.1586，g(1,3) = -0.2379，g(2,3) = 0.8356が採用されている。
【０１７４】
図１２Ｂは、SBMフィルタのフィルタ係数が図１２Ａに示すようになっている場合の、SBMフィルタを用いたノイズシェーピングの振幅特性を示している。
【０１７５】
図１２Ｂのノイズシェーピングの振幅特性では、周波数f=0で、ゲインが0で、低域又は中域で、ゲインが負になり、高域で、ゲインが、Floydフィルタを用いたΔΣ変調によるノイズシェーピングの振幅特性よりも急峻に増加している。
【０１７６】
図１０ないし図１２に示した12タップのSBMフィルタのフィルタ係数は、負の値を含んでおり、そのために、ノイズシェーピングの振幅特性は、低域又は中域で負になる。このように、ノイズシェーピングの振幅特性を、低域又は中域で負にすることで、高域で急峻に増加するノイズシェーピングの振幅特性を、12タップという少ないタップ数のSBMフィルタで実現することができる。
【０１７７】
なお、図１０ないし図１２に示したフィルタ係数のSBMフィルタを、フィルタ３５に採用して行ったシミュレーションによれば、いずれのSBMフィルタについても、見た目の画質が良い、階調変換後の画像を得ることができた。
【０１７８】
以上、本発明を、8ビットの対象画像を、6ビットの画像に階調変換して、6ビットのLCDであるディスプレイ１２に表示する画像処理装置（図１）に適用した場合について説明したが、本発明は、その他、画像の階調変換を行うあらゆる場合に適用可能である。
【０１７９】
すなわち、例えば、YUVの各成分が8ビットの画像を、RGBの各成分を画素値として有する画像に変換する色空間変換を行い、その色空間変換によって得られるRGBを画素値として有する画像を、8ビットのLCDに表示する場合において、色空間変換によって、RGBの各成分が、元の8ビットを超える、例えば、16ビットに拡張された画像が得られることがある。この場合、RGBの各成分が16ビットに拡張された画像を、8ビットのLCDで表示することができる8ビットの画像に階調変換する必要があるが、本発明は、そのような階調変換にも適用可能である。
【０１８０】
［本発明を適用したコンピュータの構成例］
【０１８１】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０１８２】
そこで、図１３は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０１８３】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。
【０１８４】
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体１１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０１８５】
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部１０８で受信し、内蔵するハードディスク１０５にインストールすることができる。
【０１８６】
コンピュータは、CPU(Central Processing Unit)１０２を内蔵している。CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されており、CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、また、CPU１０２は、ハードディスク１０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部１０８で受信されてハードディスク１０５にインストールされたプログラム、またはドライブ１０９に装着されたリムーバブル記録媒体１１１から読み出されてハードディスク１０５にインストールされたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
【０１８７】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０１８８】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０１８９】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【０１９０】
例えば、本実施の形態では、階調変換部１１において、60Hzのフレームレートの8ビットの対象画像データを、最終的には、60Hzの4倍である240Hzのフレームレートの6ビットの階調変換後の画像データに変換するようにしたが、対象画像データがほぼ静止している画像データ（例えば、高速に動く物体が映っていない画像のデータ）である場合には、階調変換部１１では、60Hzのフレームレートの8ビットの対象画像データを、フレームレートが60Hzのままの6ビットの階調変換後の画像データに変換することができる。
【０１９１】
すなわち、例えば、図１の画像処理装置が、高速に動く物体が表示される可能性が低い、いわゆるノート型のPC(Personal Computer)等に適用される場合には、階調変換部１１では、データ処理部２１において、60Hzのフレームレートの8ビットの対象画像データの4フレームごとに、そのうちの1フレームについてデータ処理を行うことにより、60Hzの1/4倍のフレームレートの時間積分効果利用型誤差拡散データを生成し、その60Hzの1/4倍のフレームレートの時間積分効果利用型誤差拡散データに、FRC処理を施すことにより、フレームレートが元の60Hzのままの、6ビットの階調変換後の画像データを得ることができる。
【０１９２】
この場合、240Hzという高フレームレートの画像データを扱うFRC部２２は不要となり、さらに、ディスプレイ１２としても、240Hzという高表示レートのLCDではなく、表示レートが60HzのLCD等を採用することができる。
【図面の簡単な説明】
【０１９３】
【図１】本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【図２】階調変換部１１の構成例を示すブロック図である。
【図３】データ処理部２１の構成例を示すブロック図である。
【図４】階調変換部１１で扱うデータを説明する図である。
【図５】データ処理部２１のデータ処理を説明するフローチャートである。
【図６】Jarvisフィルタを用いたノイズシェーピングの振幅特性と、Floydフィルタを用いたノイズシェーピングの振幅特性を示す図である。
【図７】Jarvisフィルタを用いたノイズシェーピングの振幅特性と、Floydフィルタを用いたノイズシェーピングの振幅特性を示す図である。
【図８】SBMフィルタを用いたノイズシェーピングの振幅特性を示す図である。
【図９】フィルタリングに用いられる量子化誤差を示す図である。
【図１０】SBMフィルタを用いたノイズシェーピングの振幅特性と、フィルタ係数の第１の例を示す図である。
【図１１】SBMフィルタを用いたノイズシェーピングの振幅特性と、フィルタ係数の第２の例を示す図である。
【図１２】SBMフィルタを用いたノイズシェーピングの振幅特性と、フィルタ係数の第３の例を示す図である。
【図１３】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
【０１９４】
１１  階調変換部，  １２  ディスプレイ，  ２１  データ処理部，  ２２  FRC部，  ３１  演算部，  ３２  量子化部，  ３３，３４  演算部，  ３５  フィルタ，  ３６  演算部，  ３７  量子化部，  ３８  逆量子化部，  ３９  演算部，  １０１  バス，  １０２  CPU，  １０３  ROM，  １０４  RAM，  １０５  ハードディスク，  １０６  出力部，  １０７  入力部，  １０８  通信部，  １０９  ドライブ，  １１０  入出力インタフェース，  １１１  リムーバブル記録媒体
【図１】
2010103697.tif 000003
【図２】
2010103697.tif 000004
【図３】
2010103697.tif 000005
【図４】
2010103697.tif 000006
【図５】
2010103697.tif 000007
【図６】
2010103697.tif 000008
【図７】
2010103697.tif 000009
【図８】
2010103697.tif 000010
【図９】
2010103697.tif 000011
【図１０】
2010103697.tif 000012
【図１１】
2010103697.tif 000013
【図１２】
2010103697.tif 000014
【図１３】
2010103697.tif 000015