(57)【要約】【課題】階調変換後の画像の見た目の画質を向上させる。【解決手段】階調変換部１１は、画像に、空間方向のΔΣ変調と、時間方向のΔΣ変調とを同時に施すことにより、画像の階調を変換する。すなわち、演算部３１は、階調変換の対象の対象画像の画素値と、３次元フィルタリング部３４の出力とを加算し、量子化部３２は、演算部３１の出力を量子化し、量子化誤差を含む量子化値を、ΔΣ変調の結果として出力する。演算部３３は、演算部３１の出力と、演算部３１の出力の量子化値との差分を演算することにより、量子化誤差を求め、３次元フィルタリング部３４は、量子化誤差の、空間方向及び時間方向のフィルタリングを行い、演算部３１に供給する。本発明は、画像の階調を変換する場合に適用できる。【選択図】図４
2010101924.tif 000002
【特許請求の範囲】
【請求項１】
画像に、空間方向のΔΣ変調と、時間方向のΔΣ変調とを同時に施すことにより、前記画像の階調を変換する階調変換手段を備える
画像処理装置。
【請求項２】
前記階調変換手段は、
量子化誤差の、空間方向及び時間方向のフィルタリングを行うフィルタリング手段と、
前記画像の画素値と、前記フィルタリング手段の出力とを加算する加算手段と、
前記加算手段の出力を量子化し、前記量子化誤差を含む量子化値を、ΔΣ変調の結果として出力する量子化手段と、
前記加算手段の出力と、前記加算手段の出力の前記量子化値との差分を演算することにより、前記量子化誤差を求める減算手段と
を有する
請求項１に記載の画像処理装置。
【請求項３】
前記フィルタリング手段は、
前記量子化誤差の、空間方向のフィルタリングを行う空間方向フィルタ手段と、
前記量子化誤差の、時間方向のフィルタリングを行う時間方向フィルタ手段と、
前記空間方向フィルタ手段の出力と、前記時間方向フィルタ手段の出力との重み付け加算を行い、重み付け加算値を、前記量子化誤差の、空間方向及び時間方向のフィルタリング結果として出力する重み付け加算手段と
を有する
請求項２に記載の画像処理装置。
【請求項４】
前記画像を解析する解析手段と、
前記画像の解析の結果に基づき、前記重み付け加算に用いる重みを設定する設定手段と
をさらに備える
請求項３に記載の画像処理装置。
【請求項５】
前記空間方向フィルタ手段によるフィルタリングのフィルタ係数は、空間方向のΔΣ変調によって行われるノイズシェーピングの特性が、中域以上で、人の視覚特性の逆の特性になるように、かつ、高域で、Floydフィルタを用いたΔΣ変調によるノイズシェーピングの特性よりも急峻に増加するように決定される
請求項３に記載の画像処理装置。
【請求項６】
前記空間方向フィルタ手段によるフィルタリングのフィルタ係数は、空間方向のΔΣ変調によって行われるノイズシェーピングの特性が、低域又は中域で負になり、高域で、Floydフィルタを用いたΔΣ変調によるノイズシェーピングの振幅特性よりも急峻に増加するように決定される
請求項３に記載の画像処理装置。
【請求項７】
前記空間方向フィルタ手段によるフィルタリングのフィルタ係数は、負の値を含み、かつ、空間方向のΔΣ変調によって行われるノイズシェーピングの振幅特性が、高域で、Floydフィルタを用いたΔΣ変調によるノイズシェーピングの振幅特性よりも急峻に増加するように決定される
請求項３に記載の画像処理装置。
【請求項８】
画像の階調変換を行う画像処理装置が、
画像に、空間方向のΔΣ変調と、時間方向のΔΣ変調とを同時に施すことにより、前記画像の階調を変換するステップを含む
画像処理方法。
【請求項９】
画像に、空間方向のΔΣ変調と、時間方向のΔΣ変調とを同時に施すことにより、前記画像の階調を変換する階調変換手段
として、コンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及び、プログラムに関し、特に、階調変換後の画像の見た目の画質を向上させることができるようにする画像処理装置、画像処理方法、及び、プログラムに関する。
【背景技術】
【０００２】
例えば、RGB(Red,Green,Blue)が6ビットのLCD(Liquid Crystal Display)（RGBの各値が6ビットの画像を表示することができるLCD）等の、少ないビット数のディスプレイに、RGBが8ビットの画像（RGBの各値が8ビットの画像）等の、多ビットの画像を表示する場合には、画像の階調を変換する階調変換を行う必要がある。
【０００３】
階調変換を行う方法としては、例えば、FRC(Frame Rate Control)がある。
【０００４】
FRCでは、表示のレート（表示レート）が、例えば、表示しようとする画像のフレームレートの4倍等の高い表示レートのディスプレイに、フレームレートがディスプレイの表示レートに一致するように調整された画像が表示される。
【０００５】
すなわち、例えば、いま、8ビットの画像を、6ビットのLCDに表示することとし、8ビットの画像の、あるフレームの、ある画素に注目して、注目しているフレームを注目フレームというとともに、注目している画素を注目画素ということとする。
【０００６】
さらに、注目画素の画素値が、例えば、127であるとする。また、8ビットの画像のフレームレート（又はフィールドレート）が、例えば、60Hzであり、6ビットのLCDの表示レートが、8ビットの画像のフレームレートの、例えば、4倍の240Hzであるとする。
【０００７】
FRCでは、画像のフレームレートが、ディスプレイの表示レートに一致するように、4倍に制御され、そのフレームレートの制御後の画像が表示される。
【０００８】
すなわち、図１は、FRCを説明する図である。
【０００９】
注目画素の8ビットの画素値である127(=01111111b)は、例えば、図１に示すように、式127=(124+128+128+128)/4=31+32+32+32で表すことができる。
【００１０】
式127=(124+128+128+128)/4の右辺において、124は、２進数では、01111100bと表され、128は、２進数では、10000000bと表されるので、いずれも、8ビットの値である。ここで、bは、その直前に記載された値が、２進数であることを表す。
【００１１】
いま、画像のフレームレートを、ディスプレイの表示レートに一致するように制御するときの、画像のフレームレートのn倍するときの、そのn倍を、制御倍数ということとする。
【００１２】
124(=01111100b)は、制御倍数である4(=22)で除算すると、31(=011111b)となり、128(=10000000b)は、制御倍数である4で除算すると、32(=100000b)となるので、いずれも、6ビットの値となる。
【００１３】
注目画素の8ビットの画素値である127は、式127=(124+128+128+128)/4=31+32+32+32に従って、４個の6ビットの画素値31,32,32,32とすることにより、6ビットのディスプレイに表示することができる。
【００１４】
FRCでは、注目フレームが、制御倍数に等しい数のフレーム、すなわち、いまの場合、４つのフレームに変換される。いま、その４つのフレームを、表示時刻順に、第１、第２、第３、第４のフレームということとすると、FRCでは、第１ないし第４のフレームそれぞれの注目画素の位置の画素の画素値が、6ビットの画素値31,32,32,32とされる。
【００１５】
そして、FRCでは、第１ないし第４のフレームが、ディスプレイにおいて、元の画像のフレームレートの4倍の表示レートで表示される。この場合、注目画素の位置では、6ビットの画素値31,32,32,32が、人の視覚で時間方向に積分され、画素値が127であるかのように見える。
【００１６】
以上のように、FRCでは、視覚で時間方向の積分が行われるという視覚の積分効果を利用して、8ビットの画素値である127が、擬似的に表現される。
【００１７】
階調変換を行う方法としては、その他、例えば、誤差拡散法がある（例えば、非特許文献１を参照）。
【００１８】
誤差拡散法では、２次元のΔΣ変調が行われることにより、ノイズとしての量子化誤差を、空間周波数の高域にノイズシェーピングする誤差拡散が行われ、そのノイズを画素値に加算してから、画素値が、所望のビット数に量子化される。
【００１９】
誤差拡散法では、このように、ノイズが加算された後の画素値が量子化される。そのため、その量子化後（階調変換後）の画像では、下位ビットを切り捨てるだけでは一定値となる部分の画素値が、PWM(Pulse Width Modulation)がされたようになる。その結果、階調変換後の画像は、人の視覚で空間方向の積分が行われるという視覚の積分効果によって、滑らかに変化しているように見える。すなわち、元の画像と同等の階調（例えば、元の画像が、上述したように、8ビットの画像であれば、256(=28)階調）を、擬似的に表現することができる。
【００２０】
また、誤差拡散法では、空間周波数の高域において、人の視覚の感度が低いことを考慮して、画素値に、ノイズシェーピング後のノイズ（量子化誤差）が加算される。これにより、階調変換後の画像にノイズが目立つことを低減することができる。
【００２１】
【非特許文献１】貴家仁志著，「よくわかるディジタル画像処理」，第6版，CQ出版株式会社，2000年1月，p.196-213
【発明の開示】
【発明が解決しようとする課題】
【００２２】
FRCでは、上述したように、視覚で行われる時間方向の積分を利用して、擬似的に、高い階調を実現するが、例えば、画像に動きがあること等によって、同一位置の画素値の変化が激しい場合には、いわゆるちらつきが目立つことがある。
【００２３】
一方、誤差拡散法では、画素値に、ノイズシェーピング後のノイズ（量子化誤差）が加算されるが、ノイズシェーピングの対象となる量子化誤差は、注目画素に対して空間的に近い位置の画素（の画素値）の量子化誤差である。このため、誤差拡散法では、元の画像が静止画である場合には、各フレームの同一位置の画素の量子化誤差は、同一の値となり、各フレームの同一位置の画素の画素値には、同一のノイズ（ノイズシェーピング後のノイズ）が加算される。
【００２４】
すなわち、図２は、階調変換の対象となる元の画像（以下、対象画像ともいう）の連続する３フレームを示している。
【００２５】
対象画像が静止画である場合には、図２の３フレームのそれぞれにおいて、同一位置の画素の画素値は、同一となる。したがって、図２の３フレームのそれぞれにおいて、同一位置の画素の量子化誤差は、同一となり、同一位置の画素の画素値に対して量子化前に加算されるノイズも、同一となる。その結果、階調変換後の図２の３フレームそれぞれの同一位置の画素の画素値は、やはり、同一となる。
【００２６】
なお、FRCでは、静止画であっても、階調変換後の画像の連続する複数のフレームの同一位置の画素値が、異なる値になることがある。
【００２７】
誤差拡散法では、FRCのような、ちらつきは生じない。但し、誤差拡散法では、対象画像にノイズが加算されるために、階調変換後の画像の、1階調分の振幅レベルが大きい場合（例えば、8ビットの画像の、6ビットの画像への階調変換において得られる、その6ビットの画像の、1階調分の振幅レベルが大きい場合）において、例えば、（量子化後の）画素値が低周波数で変化する階調変換後の画像が得られるようなときには、画素値に加算されたノイズが目立つことがある。
【００２８】
本発明は、このような状況に鑑みてなされたものであり、階調変換後の画像の見た目の画質を向上させることができるようにするものである。
【課題を解決するための手段】
【００２９】
本発明の一側面の画像処理装置、又は、プログラムは、画像に、空間方向のΔΣ変調と、時間方向のΔΣ変調とを同時に施すことにより、前記画像の階調を変換する階調変換手段を備える画像処理装置、又は、画像処理装置として、コンピュータを機能させるプログラムである。
【００３０】
本発明の一側面の画像処理方法は、画像の階調変換を行う画像処理装置が、画像に、空間方向のΔΣ変調と、時間方向のΔΣ変調とを同時に施すことにより、前記画像の階調を変換するステップを含む画像処理方法である。
【００３１】
本発明の一側面においては、画像に、空間方向のΔΣ変調と、時間方向のΔΣ変調とを同時に施すことにより、前記画像の階調が変換される。
【００３２】
画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【００３３】
また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【発明の効果】
【００３４】
本発明の一側面によれば、階調変換後の画像の見た目の画質を向上させることができる。
【発明を実施するための最良の形態】
【００３５】
＜本発明を適用した画像処理装置の一実施の形態の構成例＞
【００３６】
図３は、本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【００３７】
図３の画像処理装置は、階調変換部１１、及び、ディスプレイ１２から構成され、例えば、TV（テレビジョン受像機）等に適用される。
【００３８】
階調変換部１１には、例えば、RGBの各成分が8ビットの画像が、対象画像として供給される。階調変換部１１は、そこに供給される8ビットの画像（対象画像）に、空間方向のΔΣ変調と、時間方向のΔΣ変調とを同時に施すことにより、その8ビットの画像の階調を変換する。
【００３９】
すなわち、階調変換部１１は、そこに供給される8ビットの画像を、例えば、6ビットの画像（RGBの各成分が6ビットの画像）に階調変換する。
【００４０】
そして、階調変換部１１は、階調変換の結果得られる（階調変換後の）6ビットの画像を、ディスプレイ１２に供給する。
【００４１】
ディスプレイ１２は、例えば、6ビットの画像を表示することができる6ビットのLCDであり、階調変換部１１から供給される6ビットの画像を表示する。
【００４２】
なお、階調変換部１１において、8ビットの画像の階調変換は、例えば、RGBの各成分ごとに、独立して行われる。
【００４３】
＜階調変換部１１の構成例＞
【００４４】
図４は、図３の階調変換部１１の構成例を示している。
【００４５】
階調変換部１１は、演算部３１、量子化部３２、演算部３３、及び、３次元フィルタリング部３４から構成される。
【００４６】
演算部３１には、対象画像の画素の画素値IN(x,y)が、例えば、ラスタスキャン順に供給される。さらに、演算部３１には、３次元フィルタリング部３４の出力が供給される。
【００４７】
演算部３１は、対象画像の画素値IN(x,y)と、３次元フィルタリング部３４の出力とを加算し、その結果得られる加算値U(x,y)を、量子化部３２、及び演算部３３に供給（出力）する。
【００４８】
ここで、IN(x,y)は、左からx番目で、上からy番目の画素(x,y)の画素値を表す。また、U(x,y)は、画素値IN(x,y)と、３次元フィルタリング部３４の出力との加算値を表す。
【００４９】
量子化部３２は、演算部３１の出力である加算値U(x,y)を、ディスプレイ１２（図３）が表示することができる画像のビット数（ここでは、6ビット）に量子化し、その結果得られる量子化値を、階調変換後の画像の画素(x,y)の画素値OUT(x,y)として出力する。
【００５０】
量子化部３２が出力する画素値OUT(x,y)は、ディスプレイ１２に供給されるとともに、演算部３３に供給される。
【００５１】
演算部３３は、演算部３１の出力である加算値U(x,y)と、量子化部３２の出力である、その加算値U(x,y)の量子化値としての画素値OUT(x,y)との差分U(x,y)-OUT(x,y)を演算することにより、その量子化値としての画素値OUT(x,y)に含まれる量子化誤差Q(x,y)を求めて出力する。
【００５２】
演算部３３が出力する量子化誤差Q(x,y)は、３次元フィルタリング部３４に供給される。
【００５３】
３次元フィルタリング部３４は、演算部３３からの量子化誤差Q(x,y)の、空間方向及び時間方向のフィルタリングを行い、そのフィルタリング結果を、演算部３１に供給（出力）する。
【００５４】
すなわち、図４において、３次元フィルタリング部３４は、空間方向フィルタ４１、演算部４２、時間方向フィルタ４３、演算部４４、及び４５から構成される。
【００５５】
空間方向フィルタ４１には、演算部３３からの量子化誤差Q(x,y)が供給される。空間方向フィルタ４１は、２次元のFIR(Finite Impulse Response)フィルタ等の２次元フィルタである。空間方向フィルタ４１は、演算部３３からの量子化誤差Q(x,y)の、空間方向のフィルタリングを行い、そのフィルタリング結果を、演算部４２に供給（出力）する。
【００５６】
すなわち、いま、演算部３１に画素値IN(x,y)が供給され、階調変換の対象とされる画素(x,y)を、注目画素ということとすると、空間方向フィルタ４１は、注目画素に対して空間的に近い位置の画素の量子化誤差を用いてフィルタリングを行う。
【００５７】
演算部４２は、空間方向フィルタ４１の出力に、所定の重み1-kを乗算し、その結果得られる乗算値を、演算部４５に供給する。
【００５８】
ここで、kは、0以上1以下の実数値である。kは、0.5等の固定値とすることもできるし、ユーザの操作等に応じて変化する可変値とすることもできる。
【００５９】
時間方向フィルタ４３には、演算部３３からの量子化誤差Q(x,y)が供給される。時間方向フィルタ４３は、１次元のFIRフィルタ等の１次元フィルタである。時間方向フィルタ４３は、演算部３３からの量子化誤差Q(x,y)の、時間方向のフィルタリングを行い、そのフィルタリング結果を、演算部４４に供給（出力）する。
【００６０】
すなわち、時間方向フィルタ４３は、注目画素に対して時間的に近い位置の画素の量子化誤差を用いてフィルタリングを行う。
【００６１】
演算部４４は、時間方向フィルタ４３の出力に、所定の重みkを乗算し、その結果得られる乗算値を、演算部４５に供給する。
【００６２】
演算部４５は、演算部４２からの乗算値と、演算部４４からの乗算値とを加算し、その加算値を、３次元フィルタリング部３４のフィルタリング結果として、演算部３１に供給する。
【００６３】
ここで、図４において、演算部４２，４４、及び４５は、空間方向フィルタ４１の出力と、時間方向フィルタ４３の出力との重み付け加算を行い、重み付け加算値を、量子化誤差の、空間方向及び時間方向のフィルタリング結果として出力する重み付け加算手段を構成している。
【００６４】
また、空間方向フィルタ４１の伝達関数をGと表すとともに、時間方向フィルタ４３の伝達関数をFと表すとすると、階調変換後の画像の画素値OUT(x,y)は、式（１）で表される。
【００６５】
OUT(x,y)＝IN(x,y)-(1-k)(1-G)Q(x,y)-k(1-F)Q(x,y)
・・・（１）
【００６６】
式（１）では、量子化誤差Q(x,y)が、-(1-G)と、-(1-F)とのそれぞれで変調されている。-(1-G)での変調が、量子化誤差Q(x,y)の、空間方向のΔΣ変調によるノイズシェーピングであり、-(1-F)での変調が、量子化誤差Q(x,y)の、時間方向のΔΣ変調によるノイズシェーピングである。
【００６７】
また、式（１）では、量子化誤差Q(x,y)を-(1-G)で変調した値に、重み1-kで重み付けをした値（重み1-kを乗算した値）と、量子化誤差Q(x,y)を-(1-F)で変調した値に、重みkで重み付けをした値とが、画素値IN(x,y)に加算される。
【００６８】
したがって、図４の階調変換部１１では、空間方向フィルタ４１を用いた空間方向のΔΣ変調の効果が、重み1-kだけ働くとともに、時間方向フィルタ４３を用いた時間方向のΔΣ変調の効果が、重みkだけ働く。
【００６９】
＜階調変換部１１の処理の説明＞
【００７０】
図５は、図４の階調変換部１１が行う階調変換処理を説明するフローチャートである。
【００７１】
演算部３１は、そこに対象画像の画素の画素値が供給されるのを待って受信し、画素値が供給された画素を注目画素として、ステップＳ１１において、３次元フィルタリング部３４の出力を加算する。
【００７２】
すなわち、ステップＳ１１において、演算部３１は、画素値と、３次元フィルタリング部３４が直前に行った、後述するステップＳ１４のフィルタリングで得られた値（３次元フィルタリング部３４の出力）とを加算し、その結果得られる加算値を、量子化部３２、及び演算部３３に出力して、処理は、ステップＳ１２に進む。
【００７３】
ステップＳ１２では、量子化部３２が、演算部３１の出力である加算値を量子化し、量子化誤差を含む量子化値を、ΔΣ変調の結果（ΔΣ変調による階調変換の結果）として出力して、処理は、ステップＳ１３に進む。
【００７４】
ステップＳ１３では、演算部３３が、演算部３１の出力である加算値と、量子化部３２の出力（演算部３１の出力である加算値の量子化値）との差分を演算することにより、量子化部３２の量子化による量子化誤差を求める。さらに、演算部３３は、量子化誤差を、３次元フィルタリング部３４に供給して、処理は、ステップＳ１３からステップＳ１４に進む。
【００７５】
ステップＳ１４では、３次元フィルタリング部３４が、演算部３３からの量子化誤差の、空間方向及び時間方向のフィルタリングを行う。
【００７６】
すなわち、３次元フィルタリング部３４において、演算部３３からの量子化誤差は、空間方向フィルタ４１と時間方向フィルタ４３とに供給される。
【００７７】
空間方向フィルタ４１は、演算部３３からの量子化誤差の、空間方向のフィルタリングを行い、そのフィルタリング結果を、演算部４２に供給する。演算部４２は、空間方向フィルタ４１の出力に、所定の重み1-kを乗算し、その結果得られる乗算値を、演算部４５に供給する。
【００７８】
一方、時間方向フィルタ４３は、演算部３３からの量子化誤差の、時間方向のフィルタリングを行い、そのフィルタリング結果を、演算部４４に供給する。演算部４４は、時間方向フィルタ４３の出力に、所定の重みkを乗算し、その結果得られる乗算値を、演算部４５に供給する。
【００７９】
演算部４５は、演算部４２からの乗算値と、演算部４４からの乗算値とを加算し、その加算値を、３次元フィルタリング部３４のフィルタリング結果として、演算部３１に供給する。
【００８０】
そして、演算部３１に対して、ラスタスキャン順で、注目画素の次の画素の画素値が供給されるのを待って、処理は、ステップＳ１４からステップＳ１１に戻る。
【００８１】
そして、演算部３１は、ステップＳ１１において、注目画素の次の画素を、新たな注目画素として、その注目画素の画素値と、直前のステップＳ１４で、３次元フィルタリング部３４から供給されるフィルタリング結果とを加算し、以下、同様の処理が繰り返される。
【００８２】
以上のように、階調変換部１１では、３次元フィルタリング部３４が、演算部３３からの量子化誤差の、空間方向及び時間方向のフィルタリングを行うことにより、対象画像に、空間方向のΔΣ変調と、時間方向のΔΣ変調とが同時に施される。
【００８３】
すなわち、階調変換部１１では、空間方向のΔΣ変調の効果（ノイズシェーピングの効果）が、重み1-kだけ生じるとともに、時間方向のΔΣ変調の効果が、重みkだけ生じ、量子化誤差が、空間方向と時間方向の両方に分散される。
【００８４】
このように、量子化誤差が、空間方向と時間方向の両方に分散される結果、階調変換部１１での階調変換後の画像は、人の視覚で空間方向の積分と、時間方向の積分との両方の積分効果によって、滑らかに変化しているように見える。
【００８５】
さらに、量子化誤差が、空間方向だけでなく、時間方向にも分散されることで、空間方向のΔΣ変調しか行わない従来の誤差拡散法に比較して、階調変換後の画像に、ノイズ（量子化誤差）が目立つ程度を低減し、階調変換後の画像の見た目の画質を向上させることができる。
【００８６】
また、量子化誤差が、時間方向だけでなく、空間方向にも分散されることで、時間方向のΔΣ変調しか行わなかったならば生じるであろう、FRCで生じるのと同様の画像のちらつきの程度を低減し、階調変換後の画像の見た目の画質を向上させることができる。
【００８７】
＜時間方向フィルタ４３の具体例＞
【００８８】
図６は、図４の時間方向フィルタ４３として、例えば、フレームメモリを採用した場合の、階調変換部１１の構成例を示している。
【００８９】
時間方向フィルタ４３において、例えば、１フレーム前の画素の量子化誤差に、値が1.0のフィルタ係数を乗算してフィルタリング結果とする時間方向のフィルタリングを行う場合には、時間方向フィルタ４３は、１個のフレームメモリで構成することができる。
【００９０】
なお、１フレーム前の画素の量子化誤差に、値が1.0のフィルタ係数を乗算してフィルタリング結果とする時間方向のフィルタリングは、１個のフレームメモリの他、１フレーム分の量子化誤差を記憶可能なFIFO(First In First Out)メモリ等で行うことも可能である。
【００９１】
図６の階調変換部１１では、時間方向フィルタ４３が１個のフレームメモリで構成されており、時間方向フィルタ４３では、量子化誤差Q(x,y)の１フレーム分の時間だけの遅延が、時間方向のフィルタリングとして行われ、演算部４４に供給される。
【００９２】
いま、１フレーム分の時間だけの遅延を、時間方向のフィルタリングとして行う時間方向フィルタ４３の伝達関数Fを、Z-1と表すこととすると、図６の階調変換部１１では、次の式（２）、及び、式（３）が成り立つ。
【００９３】
Q(x,y)=U(x,y)-OUT(x,y)
・・・（２）
【００９４】
U(x,y)=IN(x,y)+(1-k)GQ(x,y)-kZ-1Q(x,y)
・・・（３）
【００９５】
式（３）を、式（２）に代入して、U(x,y)を消去すると、式（４）が得られる。
【００９６】
OUT(x,y)＝IN(x,y)-(1-k)(1-G)Q(x,y)-k(1-Z-1)Q(x,y)
・・・（４）
【００９７】
式（４）は、式（１）の伝達関数Fを、Z-1に代えた式に等しい。
【００９８】
式（４）によれば、階調変換部１１では、量子化誤差Q(x,y)が-(1-G)でノイズシェーピングされる空間方向のΔΣ変調が行われる。さらに、階調変換部１１では、量子化誤差Q(x,y)が-(1-Z-1)でノイズシェーピングされる時間方向のΔΣ変調、すなわち、注目画素に対して、その注目画素と同一位置にある１フレーム前の画素の量子化誤差を拡散する時間方向のΔΣ変調も、空間方向のΔΣ変調と同時に行われる。
【００９９】
図７は、図６の階調変換部１１の３次元フィルタリング部３４においてフィルタリングに用いられる量子化誤差を示している。
【０１００】
３次元フィルタリング部３４（図６）では、空間方向フィルタ４１において、注目画素のフレーム（注目フレーム）の、例えば、注目画素を中心とする横×縦が5×5画素のうちの、ラスタスキャン順で、既に階調変換がされた12画素（図中、斜線を付した四角形で示す部分）それぞれの量子化誤差を用いて、空間方向のフィルタリングが行われる。
【０１０１】
また、時間方向フィルタ４３では、注目フレームの１フレーム前のフレーム（以下、前フレームともいう）の、注目画素と同一位置の画素（図中、影を付した四角形で示す部分）の量子化誤差を用いて、時間方向のフィルタリングが行われる。
【０１０２】
次に、図６の階調変換部１１で同時に行われる空間方向のΔΣ変調と、時間方向のΔΣ変調とのそれぞれを、分けて説明する。
【０１０３】
図８は、階調変換部１１において、空間方向のΔΣ変調だけを行う部分（以下、空間ΔΣ変調器ともいう）の構成（重みkを0とした場合の構成）を示している。
【０１０４】
空間ΔΣ変調器では、演算部３１が、対象画像の画素(x,y)の8ビットの画素値IN(x,y)と、空間方向フィルタ４１の出力とを加算し、その結果得られる加算値を、量子化部３２、及び、演算部３３に供給する。
【０１０５】
量子化部３２は、演算部３１からの加算値を、6ビットに量子化し、その結果得られる6ビットの量子化値を、階調変換後の画像の画素(x,y)の画素値OUT(x,y)として出力する。
【０１０６】
量子化部３２が出力する画素値OUT(x,y)は、演算部３３にも供給される。
【０１０７】
演算部３３は、演算部３１からの加算値から、量子化部３２からの画素値OUT(x,y)を減算することで、すなわち、量子化部３２への入力から、量子化部３２からの出力を減算することで、量子化部３２での量子化により生じる量子化誤差Q(x,y)を求め、空間方向フィルタ４１に供給する。
【０１０８】
空間方向フィルタ４１は、演算部３３からの量子化誤差Q(x,y)をフィルタリングし、そのフィルタリングの結果を、演算部３１に出力する。
【０１０９】
演算部３１では、以上のようにして、空間方向フィルタ４１が出力する、量子化誤差Q(x,y)のフィルタリングの結果と、画素値IN(x,y)とが加算される。
【０１１０】
図８の空間方向ΔΣ変調器によれば、量子化誤差Q(x,y)が、２次元フィルタである空間方向フィルタ４１を介して、演算部３１にフィードバックされており、これにより、ノイズ（量子化誤差Q(x,y)）が、水平方向（x方向）、及び、垂直方向（y方向）のいずれの空間方向についても、空間周波数の高域に拡散される（ノイズシェーピングされる）。
【０１１１】
図９は、図８の空間方向ΔΣ変調器において、注目画素の量子化誤差Q(x,y)が拡散される領域（画素）を示している。
【０１１２】
例えば、図７で説明したように、空間方向フィルタ４１において、注目フレームの、注目画素を中心とする横×縦が5×5画素のうちの、ラスタスキャン順で、既に階調変換がされた12画素それぞれの量子化誤差を用いて、空間方向のフィルタリングが行われる場合、注目画素の量子化誤差Q(x,y)は、上述した5×5画素のうちの、ラスタスキャン順で、これから階調変換がされる画素（これから注目画素となる画素）（図９において、斜線を付した四角形で示す部分）に拡散される。
【０１１３】
図１０は、空間方向のΔΣ変調によるノイズシェーピングの振幅特性を示している。
【０１１４】
なお、図１０において（後述する図１２も同様）、横軸は、対象画像（階調変換後の画像）の画素のサンプリング周波数の1/2を1として正規化された周波数を表し、縦軸は、ゲインを表す。
【０１１５】
図１０Ａは、図８の空間方向ΔΣ変調器の空間方向のΔΣ変調によるノイズシェーピングの振幅特性を示している。
【０１１６】
図８の空間方向ΔΣ変調器では、演算部３１において、図１０Ａの振幅特性のノイズ（量子化誤差）が、対象画像の画素値に加算される。
【０１１７】
図１０Ｂは、図６の階調変換部１１の空間方向のΔΣ変調によるノイズシェーピングの振幅特性を示している。
【０１１８】
図６の階調変換部１１では、演算部４２において、空間方向フィルタ４１の出力に、重み1-kが乗算されるため、空間方向のΔΣ変調によるノイズシェーピングの振幅特性は、図１０Ａの振幅特性の1-k倍になる。
【０１１９】
図６の階調変換部１１の空間方向のΔΣ変調では、演算部３１において、図１０Ｂの振幅特性のノイズ（量子化誤差）が、対象画像の画素値に加算される。
【０１２０】
したがって、図６の階調変換部１１の空間方向のΔΣ変調では、図１０Ａの場合よりも、レベルの小さい（1-k倍の）ノイズが、対象画像の画素値に加算されるので、空間方向に拡散されるノイズ（量子化誤差）が、図８の空間方向ΔΣ変調器の場合に比較して小さくなっている。
【０１２１】
図１１は、階調変換部１１において、時間方向のΔΣ変調だけを行う部分（以下、時間ΔΣ変調器ともいう）の構成（重みkを1とした場合の構成）を示している。
【０１２２】
時間ΔΣ変調器では、演算部３１が、対象画像の画素(x,y)の8ビットの画素値IN(x,y)と、時間方向フィルタ４３の出力とを加算し、その結果得られる加算値を、量子化部３２、及び、演算部３３に供給する。
【０１２３】
量子化部３２は、演算部３１からの加算値を、6ビットに量子化し、その結果得られる6ビットの量子化値を、階調変換後の画像の画素(x,y)の画素値OUT(x,y)として出力する。
【０１２４】
量子化部３２が出力する画素値OUT(x,y)は、演算部３３にも供給される。
【０１２５】
演算部３３は、演算部３１からの加算値から、量子化部３２からの画素値OUT(x,y)を減算することで、すなわち、量子化部３２への入力から、量子化部３２からの出力を減算することで、量子化部３２での量子化により生じる量子化誤差Q(x,y)を求め、時間方向フィルタ４３に供給する。
【０１２６】
時間方向フィルタ４３は、演算部３３からの量子化誤差Q(x,y)をフィルタリングし、そのフィルタリングの結果を、演算部３１に出力する。
【０１２７】
演算部３１では、以上のようにして、時間方向フィルタ４３が出力する、量子化誤差Q(x,y)のフィルタリングの結果と、画素値IN(x,y)とが加算される。
【０１２８】
図１１の時間方向ΔΣ変調器によれば、量子化誤差Q(x,y)が、フレームメモリである時間方向フィルタ４３を介して、演算部３１にフィードバックされており、これにより、ノイズ（量子化誤差Q(x,y)）が、前フレームから注目フレームの方向、つまり、時間方向に拡散される（ノイズシェーピングされる）。
【０１２９】
図１２は、時間方向のΔΣ変調によるノイズシェーピングの振幅特性を示している。
【０１３０】
すなわち、図１２Ａは、図１１の時間方向ΔΣ変調器の時間方向のΔΣ変調によるノイズシェーピングの振幅特性を示している。
【０１３１】
図１１の時間方向ΔΣ変調器では、演算部３１において、図１２Ａの振幅特性のノイズ（量子化誤差）が、対象画像の画素値に加算される。
【０１３２】
図１２Ｂは、図６の階調変換部１１の時間方向のΔΣ変調によるノイズシェーピングの振幅特性を示している。
【０１３３】
図６の階調変換部１１では、演算部４４において、時間方向フィルタ４３の出力に、重みkが乗算されるため、時間方向のΔΣ変調によるノイズシェーピングの振幅特性は、図１２Ａの振幅特性のk倍になる。
【０１３４】
図６の階調変換部１１の時間方向のΔΣ変調では、演算部３１において、図１２Ｂの振幅特性のノイズ（量子化誤差）が、対象画像の画素値に加算される。
【０１３５】
したがって、図６の階調変換部１１の時間方向のΔΣ変調では、図１２Ａの場合よりも、レベルの小さい（k倍の）ノイズが、対象画像の画素値に加算されるので、時間方向に拡散されるノイズ（量子化誤差）が、図１１の時間方向ΔΣ変調器の場合に比較して小さくなっている。
【０１３６】
重みkが0より大で1より小であるとすると、図６の階調変換部１１では、上述のように、空間方向のΔΣ変調と、時間方向のΔΣ変調とが行われるが、空間方向のΔΣ変調において空間方向に拡散されるノイズも、時間方向のΔΣ変調において時間方向に拡散されるノイズも小さくなる。
【０１３７】
したがって、空間方向のΔΣ変調しか行わない従来の誤差拡散法に比較して、階調変換後の画像に、ノイズ（量子化誤差）が目立つ程度を低減し、階調変換後の画像の見た目の画質を向上させることができる。
【０１３８】
また、時間方向のΔΣ変調によって生じうる、FRCで生じるのと同様の画像のちらつきの程度を低減し、階調変換後の画像の見た目の画質を向上させることができる。
【０１３９】
なお、図６では、時間方向フィルタ４３を、１個のフレームメモリで構成することとしたが、時間方向フィルタ４３は、複数のフレームメモリで構成し、注目フレームより前（過去）の複数フレームそれぞれにおいて、注目画素と同一位置にある画素の量子化誤差を用いて、時間方向のフィルタリングを行うことができる。このように、複数のフレームメモリで時間方向フィルタ４３を構成する場合には、時間方向フィルタ４３を１個のフレームメモリで構成する場合のノイズシェーピングとは異なる振幅特性のノイズシェーピングを実現することができる。
【０１４０】
また、図４及び図６では、３次元フィルタリング部３４において、空間方向フィルタ４１により、注目画素に対して、空間的に近い位置の画素の量子化誤差を用いてフィルタリングを行うとともに、時間方向フィルタ４３により、注目画素に対して、時間的に近い位置の画素の量子化誤差を用いてフィルタリングを行うことで、量子化誤差の、空間方向及び時間方向のフィルタリングを行うこととしたが、３次元フィルタリング部３４では、注目画素に対して、空間的及び時間的に近い位置の画素の量子化誤差を、いわば一度に用いてフィルタリングを行うことで、量子化誤差の、空間方向及び時間方向のフィルタリングを行うことが可能である。
【０１４１】
＜階調変換部１１の他の構成例＞
【０１４２】
図１３は、図３の階調変換部１１の他の構成例を示している。
【０１４３】
なお、図中、図４の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０１４４】
図１３の階調変換部１１は、演算部３１、量子化部３２、演算部３３、及び、３次元フィルタリング部３４を有する点で、図４の場合と共通する。
【０１４５】
但し、図１３の階調変換部１１は、画像解析部５１、及び設定部５２を、さらに有する点で、図４の場合と相違する。
【０１４６】
画像解析部５１には、対象画像が供給される。画像解析部５１は、対象画像の注目フレームを解析することで、例えば、注目フレームの動きを検出し、その動きを表す動き情報を、設定部５２に供給する。
【０１４７】
ここで、画像解析部５１は、例えば、注目フレームと前フレームとの、同一位置の画素の画素値どうしの差分の絶対値和を、動き情報として求める。
【０１４８】
設定部５２は、画像解析部５１による注目フレームの解析の結果、すなわち、画像解析部５１からの動き情報に基づき、重みkを設定し、演算部４２及び４４に供給する。
【０１４９】
ここで、設定部５２は、例えば、動き情報が大であるほど、値が小になる重みk、つまり、注目フレームの動きが大であるほど、値が小になる重みkを設定する。
【０１５０】
図１３の階調変換部１１では、演算部４２は、設定部５２からの重みkから求められる重み1-kを、空間方向フィルタ４１の出力に乗算し、演算部４４は、設定部５２からの重みkを、時間方向フィルタ４３の出力に乗算する。
【０１５１】
図１３の階調変換部１１では、重みkが大である場合には、時間方向のΔΣ変調の働きが大になるとともに、空間方向のΔΣ変調の働きが小になる。一方、重みkが小である場合には、空間方向のΔΣ変調の働きが大になるとともに、時間方向のΔΣ変調の働きが小になる。
【０１５２】
したがって、図１３の階調変換部１１では、注目フレームの動きが大である場合には、重みkが小とされ、すなわち、例えば、重みkが0とされ、時間方向のΔΣ変調は働かず、空間方向のΔΣ変調のみが働く。
【０１５３】
注目フレームに動きが大である場合に、時間方向のΔΣ変調の働きが大であると、注目画素との相関が低い画素の量子化誤差が注目画素に拡散され、階調変換後の画像に悪影響を及ぼすことがある。
【０１５４】
そこで、上述したように、注目フレームの動きが大である場合には、値が小になる重みkを設定し、時間方向のΔΣ変調の働きを小にすることで、注目画素との相関が低い画素の量子化誤差が注目画素に拡散されることによって、階調変換後の画像に悪影響を及ぼすことを防止することができる。
【０１５５】
＜空間方向フィルタ４１の具体例＞
【０１５６】
空間方向フィルタ４１（図４、図６、及び、図１３）としては、例えば、従来の誤差拡散法で用いられているノイズシェーピング用のフィルタを採用することができる。
【０１５７】
従来の誤差拡散法で用いられるノイズシェーピング用のフィルタとしては、Jarvis, Judice & Ninkeのフィルタ（以下、Jarvisフィルタともいう）や、Floyd & Steinbergのフィルタ（以下、Floydフィルタともいう）がある。
【０１５８】
図１４は、Jarvisフィルタを用いたノイズシェーピングの振幅特性と、Floydフィルタを用いたノイズシェーピングの振幅特性とを示している。
【０１５９】
なお、図１４では、ノイズシェーピングの振幅特性の他に、人の視覚の空間周波数特性（以下、視覚特性ともいう）を表すコントラスト感度曲線も図示してある。
【０１６０】
また、図１４において（後述する図１５ないし図１９でも同様）、横軸は、空間周波数を表し、縦軸は、振幅特性についてはゲインを、視覚特性については感度を、それぞれ表す。
【０１６１】
ここで、空間周波数の単位は、cpd（cycle/degree）であり、cpdは、視野角の単位角度（視野角１度）の範囲に見える縞模様の数を表す。例えば、10cpdは、視野角１度の範囲に、白線と黒線のペアが１０ペア見えることを意味し、20cpdは、視野角１度の範囲に、白線と黒線のペアが２０ペア見えることを意味する。
【０１６２】
階調変換部１１による階調変換後の画像は、最終的には、ディスプレイ１２（図３）で表示されるため、ディスプレイ１２に表示される画像の画質を向上させる観点からは、人の視覚の空間周波数特性については、（0cpdから）ディスプレイ１２で表示される画像の最高の空間周波数までを考慮すればよい。
【０１６３】
ディスプレイ１２の解像度に対応する空間周波数が、仮に、例えば、120cpd程度等の極めて高い値である場合には、図１４に示すように、Jarvisフィルタであっても、また、Floydフィルタであっても、人の視覚の感度が低い、高域の周波数帯域に、ノイズ（量子化誤差）が十分に変調される。
【０１６４】
ところで、ディスプレイ１２で表示される画像の最高の空間周波数は、ディスプレイ１２の解像度と、ディスプレイ１２に表示された画像を視聴するときの、視聴者からディスプレイ１２までの距離（以下、視聴距離ともいう）とによって決まる。
【０１６５】
いま、ディスプレイ１２の垂直方向（縦）の長さをHインチと表すこととすると、ディスプレイ１２で表示される画像の最高の空間周波数を求めるにあたり、視聴距離としては、例えば、2.5Hないし3.0H程度が採用される。
【０１６６】
この場合、例えば、ディスプレイ１２が、いわゆるフルHD(High Definition)の画像を表示する横×縦が1920×1080画素の40インチのサイズの表示画面を有することとすると、ディスプレイ１２で表示される画像の最高の空間周波数は、30cpd程度となる。
【０１６７】
図１５は、ディスプレイ１２（図３）で表示される画像の最高の空間周波数が、30cpdである場合の、Jarvisフィルタを用いたノイズシェーピングの振幅特性と、Floydフィルタを用いたノイズシェーピングの振幅特性とを示している。
【０１６８】
なお、図１５では、図１４と同様に、視覚特性も図示してある。
【０１６９】
ディスプレイ１２で表示される画像の最高の空間周波数が、30cpd程度である場合には、図１５に示すように、Jarvisフィルタや、Floydフィルタでは、人の視覚の感度が十分低い、高域の周波数帯域に、ノイズを、十分に変調することが困難である。
【０１７０】
したがって、Jarvisフィルタや、Floydフィルタでは、階調変換後の画像に、ノイズが目立って、見た目の画質が劣化することがある。
【０１７１】
このように、階調変換後の画像にノイズが目立つことによる、見た目の画質の劣化を低減するには、ノイズシェーピングの振幅特性を、例えば、図１６に示すようにする必要がある。
【０１７２】
すなわち、図１６は、階調変換後の画像にノイズが目立つことによる、見た目の画質の劣化を低減するノイズシェーピング（以下、劣化低減ノイズシェーピングともいう）の振幅特性の例を示している。
【０１７３】
ここで、劣化低減ノイズシェーピングを実現するΔΣ変調に用いられるノイズシェーピング用のフィルタを、SBM(Super Bit Mapping)フィルタともいう。
【０１７４】
図１６では、劣化低減ノイズシェーピング（SBMフィルタを用いたノイズシェーピング）の振幅特性の他、図１５に示した視覚特性、Jarvisフィルタを用いたノイズシェーピングの振幅特性、及び、Floydフィルタを用いたノイズシェーピングの振幅特性も、図示してある。
【０１７５】
劣化低減ノイズシェーピングの振幅特性においては、中域以上の特性が、視覚特性（コントラスト感度曲線）の形状を、上下逆にした形状（類似した形状を含む）の特性（以下、逆特性ともいう）になっている。
【０１７６】
さらに、劣化低減ノイズシェーピングの振幅特性は、高域で、JarvisフィルタやFloydフィルタを用いたノイズシェーピングの振幅特性よりも急峻に増加する特性になっている。
【０１７７】
これにより、劣化低減ノイズシェーピングでは、ノイズ（量子化誤差）が、視覚の感度がより低い、JarvisフィルタやFloydフィルタを用いたノイズシェーピングよりも高域に変調される。
【０１７８】
空間方向フィルタ４１（図４、図６、及び、図１３）として、SBMフィルタを採用することにより、すなわち、空間方向フィルタ４１を用いたノイズシェーピングの振幅特性が、中域以上で、視覚特性の逆特性となり、かつ、高域で、FloydフィルタやJarvisフィルタを用いたΔΣ変調によるノイズシェーピングの振幅特性よりも急峻に増加するように、空間方向フィルタ４１のフィルタ係数を決定することにより、演算部３１（図４、図６、及び、図１３）では、画素値IN(x,y)に対して、視覚の感度が低い高域のノイズ（量子化誤差）が加算されるようになり、その結果、階調変換後の画像に、ノイズ（量子化誤差）が目立つことを防止することができる。
【０１７９】
なお、図１６において、SBMフィルタを用いたノイズシェーピングの振幅特性は、高域で、ゲイン1を大きく超えているが、これは、JarvisフィルタやFloydフィルタを用いる場合よりも、高域の量子化誤差を、大きく増幅していることを表す。
【０１８０】
また、図１６では、SBMフィルタを用いたノイズシェーピングの振幅特性は、低域から中域にかけて、ゲインが負になっているが、これにより、SBMフィルタを、少ないタップ数の２次元フィルタで構成することができる。
【０１８１】
すなわち、例えば、SBMフィルタを用いたノイズシェーピングの振幅特性として、低域及び中域のゲインが0で、高域だけ、ゲインが急峻に増加する振幅特性を実現する場合には、SBMフィルタは、多くのタップ数の２次元フィルタとなる。
【０１８２】
これに対して、SBMフィルタを用いたノイズシェーピングの振幅特性を、低域又は中域で、ゲインが負になるようにした場合には、少ないタップ数の２次元フィルタ、すなわち、例えば、図７で説明した、注目画素を中心とする横×縦が5×5画素のうちの、ラスタスキャン順で、既に階調変換がされた12画素それぞれの量子化誤差を用いてフィルタリングを行う12タップの２次元フィルタで、SBMフィルタを構成し、ノイズシェーピングの高域のゲインを、JarvisフィルタやFloydフィルタを用いる場合よりも急峻に増加させることができる。
【０１８３】
このようなSBMフィルタを、空間方向フィルタ４１として採用することにより、階調変換部１１を小型に構成することができる。
【０１８４】
＜ノイズシェーピングの特性と、フィルタ係数の具体例＞
【０１８５】
図１７は、階調変換後の画像を表示するディスプレイ１２で表示される画像の空間周波数の最高周波数（最高の空間周波数）を30cpdとした場合の、SBMフィルタを用いたノイズシェーピングの振幅特性とフィルタ係数の第１の例を示している。
【０１８６】
すなわち、図１７Ａは、ノイズシェーピングの振幅特性が、低域又は中域で負になり、高域で、Floydフィルタを用いたΔΣ変調によるノイズシェーピングの振幅特性よりも急峻に増加するように決定された、12タップのSBMフィルタのフィルタ係数の第１の例を示している。
【０１８７】
図１７Ａでは、12タップのSBMフィルタのフィルタ係数として、g(1,1) = -0.0317，g(2,1) = -0.1267，g(3,1) = -0.1900，g(4,1) = -0.1267，g(5,1) = -0.0317，g(1,2) = -0.1267，g(2,2) = 0.2406，g(3,2) = 0.7345，g(4,2) = 0.2406，g(5,2) = -0.1267，g(1,3) = -0.1900，g(2,3) = 0.7345が採用されている。
【０１８８】
ここで、SBMフィルタは、２次元のFIRフィルタである。また、フィルタ係数g(i,j)は、図７で説明した、注目画素を中心とする横×縦が5×5画素における、ラスタスキャン順で、既に階調変換がされた12画素のうちの、左からi番目で，上からj番目の画素の量子化誤差と乗算されるフィルタ係数である。
【０１８９】
図１７Ｂは、SBMフィルタのフィルタ係数が図１７Ａに示すようになっている場合の、SBMフィルタを用いたノイズシェーピングの振幅特性を示している。
【０１９０】
図１７Ｂのノイズシェーピングの振幅特性では、周波数f=0で、ゲインが0で、低域又は中域で、ゲインが負になり、高域で、ゲインが、Floydフィルタ（及びJarvisフィルタ）を用いたΔΣ変調によるノイズシェーピングの振幅特性よりも急峻に増加している。
【０１９１】
図１８は、階調変換後の画像を表示するディスプレイ１２で表示される画像の空間周波数の最高周波数を30cpdとした場合の、SBMフィルタを用いたノイズシェーピングの振幅特性とフィルタ係数の第２の例を示している。
【０１９２】
すなわち、図１８Ａは、SBMフィルタを用いたノイズシェーピングの振幅特性が、低域又は中域で負になり、高域で、Floydフィルタを用いたΔΣ変調によるノイズシェーピングの振幅特性よりも急峻に増加するように決定された、12タップのSBMフィルタのフィルタ係数の第２の例を示している。
【０１９３】
図１８Ａでは、12タップのSBMフィルタのフィルタ係数として、g(1,1) = -0.0249，g(2,1) = -0.0996，g(3,1) = -0.1494，g(4,1) = -0.0996，g(5,1) = -0.0249，g(1,2) = -0.0996，g(2,2) = 0.2248，g(3,2) = 0.6487，g(4,2) = 0.2248，g(5,2) = -0.0996，g(1,3) = -0.1494，g(2,3) = 0.6487が採用されている。
【０１９４】
図１８Ｂは、SBMフィルタのフィルタ係数が図１８Ａに示すようになっている場合の、SBMフィルタを用いたノイズシェーピングの振幅特性を示している。
【０１９５】
図１８Ｂのノイズシェーピングの振幅特性では、周波数f=0で、ゲインが0で、低域又は中域で、ゲインが負になり、高域で、ゲインが、Floydフィルタを用いたΔΣ変調によるノイズシェーピングの振幅特性よりも急峻に増加している。
【０１９６】
図１９は、階調変換後の画像を表示するディスプレイ１２で表示される画像の空間周波数の最高周波数を30cpdとした場合の、SBMフィルタを用いたノイズシェーピングの振幅特性とフィルタ係数の第３の例を示している。
【０１９７】
すなわち、図１９Ａは、ノイズシェーピングの振幅特性が、低域又は中域で負になり、高域で、Floydフィルタを用いたΔΣ変調によるノイズシェーピングの振幅特性よりも急峻に増加するように決定された、12タップのSBMフィルタのフィルタ係数の第３の例を示している。
【０１９８】
図１９Ａでは、12タップのSBMフィルタのフィルタ係数として、g(1,1) = -0.0397，g(2,1) = -0.1586，g(3,1) = -0.2379，g(4,1) = -0.1586，g(5,1) = -0.0397，g(1,2) = -0.1586，g(2,2) = 0.2592，g(3,2) = 0.8356，g(4,2) = 0.2592，g(5,2) = -0.1586，g(1,3) = -0.2379，g(2,3) = 0.8356が採用されている。
【０１９９】
図１９Ｂは、SBMフィルタのフィルタ係数が図１９Ａに示すようになっている場合の、SBMフィルタを用いたノイズシェーピングの振幅特性を示している。
【０２００】
図１９Ｂのノイズシェーピングの振幅特性では、周波数f=0で、ゲインが0で、低域又は中域で、ゲインが負になり、高域で、ゲインが、Floydフィルタを用いたΔΣ変調によるノイズシェーピングの振幅特性よりも急峻に増加している。
【０２０１】
図１７ないし図１９に示した12タップのSBMフィルタのフィルタ係数は、負の値を含んでおり、そのために、ノイズシェーピングの振幅特性は、低域又は中域で負になる。このように、ノイズシェーピングの振幅特性を、低域又は中域で負にすることで、高域で急峻に増加するノイズシェーピングの振幅特性を、12タップという少ないタップ数のSBMフィルタで実現することができる。
【０２０２】
なお、図１７ないし図１９に示したフィルタ係数のSBMフィルタを、空間方向フィルタ４１に採用して行ったシミュレーションによれば、いずれのSBMフィルタについても、見た目の画質が良い、階調変換後の画像を得ることができた。
【０２０３】
以上、本発明を、8ビットの対象画像を、6ビットの画像に階調変換して、6ビットのLCDであるディスプレイ１２に表示する表示装置（図３）に適用した場合について説明したが、本発明は、その他、画像の階調変換を行うあらゆる場合に適用可能である。
【０２０４】
すなわち、例えば、YUVの各成分が8ビットの画像を、RGBの各成分を画素値として有する画像に変換する色空間変換を行い、その色空間変換によって得られるRGBを画素値として有する画像を、8ビットのLCDに表示する場合において、色空間変換によって、RGBの各成分が、元の8ビットを超える、例えば、16ビットに拡張された画像が得られることがある。この場合、RGBの各成分が16ビットに拡張された画像を、8ビットのLCDで表示することができる8ビットの画像に階調変換する必要があるが、本発明は、そのような階調変換にも適用可能である。
【０２０５】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０２０６】
そこで、図２０は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０２０７】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。
【０２０８】
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体１１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０２０９】
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部１０８で受信し、内蔵するハードディスク１０５にインストールすることができる。
【０２１０】
コンピュータは、CPU(Central Processing Unit)１０２を内蔵している。CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されており、CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、また、CPU１０２は、ハードディスク１０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部１０８で受信されてハードディスク１０５にインストールされたプログラム、またはドライブ１０９に装着されたリムーバブル記録媒体１１１から読み出されてハードディスク１０５にインストールされたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
【０２１１】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０２１２】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０２１３】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０２１４】
【図１】FRCを説明する図である。
【図２】対象画像の連続する３フレームを示す図である。
【図３】本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【図４】階調変換部１１の構成例を示すブロック図である。
【図５】階調変換部１１による階調変換処理を説明するフローチャートである。
【図６】時間方向フィルタ４３として、フレームメモリを採用した場合の、階調変換部１１の構成例を示すブロック図である。
【図７】３次元フィルタリング部３４においてフィルタリングに用いられる量子化誤差を示す図である。
【図８】空間方向のΔΣ変調だけを行う空間ΔΣ変調器の構成を示すブロック図である。
【図９】空間方向ΔΣ変調器において、注目画素の量子化誤差Q(x,y)が拡散される領域（画素）を示す図である。
【図１０】空間方向のΔΣ変調によるノイズシェーピングの振幅特性を示す図である。
【図１１】時間方向のΔΣ変調だけを行う時間ΔΣ変調器の構成を示すブロック図である。
【図１２】時間方向のΔΣ変調によるノイズシェーピングの振幅特性を示す図である。
【図１３】階調変換部１１の他の構成例を示すブロック図である。
【図１４】Jarvisフィルタを用いたノイズシェーピングの振幅特性と、Floydフィルタを用いたノイズシェーピングの振幅特性を示す図である。
【図１５】Jarvisフィルタを用いたノイズシェーピングの振幅特性と、Floydフィルタを用いたノイズシェーピングの振幅特性を示す図である。
【図１６】SBMフィルタを用いたノイズシェーピングの振幅特性を示す図である。
【図１７】SBMフィルタを用いたノイズシェーピングの振幅特性と、フィルタ係数の第１の例を示す図である。
【図１８】SBMフィルタを用いたノイズシェーピングの振幅特性と、フィルタ係数の第２の例を示す図である。
【図１９】SBMフィルタを用いたノイズシェーピングの振幅特性と、フィルタ係数の第３の例を示す図である。
【図２０】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
【０２１５】
１１  階調変換部，  １２  ディスプレイ，  ３１  演算部，  ３２  量子化部，  ３３  演算部，  ３４  ３次元フィルタリング部，  ４１  空間方向フィルタ，  ４２  演算部，  ４３  時間方向フィルタ，  ４４，４５  演算部，  ５１  画像解析部，  ５２  設定部，  １０１  バス，  １０２  CPU，  １０３  ROM，  １０４  RAM，  １０５  ハードディスク，  １０６  出力部，  １０７  入力部，  １０８  通信部，  １０９  ドライブ，  １１０  入出力インタフェース，  １１１  リムーバブル記録媒体
【図１】
2010101924.tif 000003
【図２】
2010101924.tif 000004
【図３】
2010101924.tif 000005
【図４】
2010101924.tif 000006
【図５】
2010101924.tif 000007
【図６】
2010101924.tif 000008
【図７】
2010101924.tif 000009
【図８】
2010101924.tif 000010
【図９】
2010101924.tif 000011
【図１０】
2010101924.tif 000012
【図１１】
2010101924.tif 000013
【図１２】
2010101924.tif 000014
【図１３】
2010101924.tif 000015
【図１４】
2010101924.tif 000016
【図１５】
2010101924.tif 000017
【図１６】
2010101924.tif 000018
【図１７】
2010101924.tif 000019
【図１８】
2010101924.tif 000020
【図１９】
2010101924.tif 000021
【図２０】
2010101924.tif 000022
【手続補正書】
【提出日】平成22年2月18日(2010.2.18)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０２０３
【補正方法】変更
【補正の内容】
【０２０３】
以上、本発明を、8ビットの対象画像を、6ビットの画像に階調変換して、6ビットのLCDであるディスプレイ１２に表示する画像処理装置（図３）に適用した場合について説明したが、本発明は、その他、画像の階調変換を行うあらゆる場合に適用可能である。
【手続補正２】
【補正対象書類名】図面
【補正対象項目名】図６
【補正方法】変更
【補正の内容】
【図６】
2010101924.tif 000023
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】図１３
【補正方法】変更
【補正の内容】
【図１３】
2010101924.tif 000024