(57)【要約】【課題】圧縮画像データを伸張して画像データを復元する画像処理に関し、復元画像データの量子化歪を低減するための新たな手法を提案する。【解決手段】圧縮画像データを伸張して画像データを復元する画像処理装置であって、前記圧縮画像データを復号化して量子化インデックスを導出する復号化部と、前記量子化インデックスを利用して量子化代表値の補正値を計算する補正値計算部と、前記量子化インデックスを逆量子化して量子化代表値を導出し、前記量子化代表値を前記補正値により補正する逆量子化部と、前記補正値により補正された前記量子化代表値を逆変換して前記画像データの画素値を導出する逆変換部とを備えることを特徴とする画像処理装置。【選択図】図１
2009049637.tif 000002
【特許請求の範囲】
【請求項１】
圧縮画像データを伸張して画像データを復元する画像処理装置であって、
前記圧縮画像データを復号化して量子化インデックスを導出する復号化部と、
前記量子化インデックスを利用して量子化代表値の補正値を計算する補正値計算部と、
前記量子化インデックスを逆量子化して量子化代表値を導出し、前記量子化代表値を前記補正値により補正する逆量子化部と、
前記補正値により補正された前記量子化代表値を逆変換して前記画像データの画素値を導出する逆変換部とを備えることを特徴とする画像処理装置。
【請求項２】
前記補正値計算部は、
前記量子化インデックスの０値の個数を、前記圧縮画像データの所定領域毎にカウントするカウント部と、
前記所定領域毎の前記量子化インデックスの０値の個数を利用して、前記量子化代表値の補正値を前記所定領域毎に決定する補正値決定部とを備えることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記圧縮画像データの所定領域は、前記圧縮画像データのブロックであることを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記逆変換は、逆離散コサイン変換、逆離散サイン変換、逆離散ウェーブレット変換、逆アダマール変換、又は逆カルーネン・レーブ変換であることを特徴とする請求項１記載の画像処理装置。
【請求項５】
圧縮画像データを伸張して画像データを復元する画像処理方法であって、
前記圧縮画像データを復号化して量子化インデックスを導出し、
前記量子化インデックスを利用して量子化代表値の補正値を計算し、
前記量子化インデックスを逆量子化して量子化代表値を導出し、前記量子化代表値を前記補正値により補正し、
前記補正値により補正された前記量子化代表値を逆変換して前記画像データの画素値を導出することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
近年、画像圧縮技術は様々な分野で広く用いられている。静止画像の圧縮方式としてはＪＰＥＧ方式が、動画像の圧縮方式としてはＭＰＥＧ方式が広く知られている。ＪＰＥＧ方式では、変換処理や量子化処理や符号化処理により画像データが圧縮され、逆変換処理や逆量子化処理や復号化処理により圧縮画像データが伸張される。ＭＰＥＧ方式ではさらに、フレーム間予測や動き予測が行われる。
【０００３】
圧縮画像データの伸張処理について考察する。圧縮画像データを伸張して画像データを復元した際、復元画像データに画像歪が見られる事がある。このような画像歪の主な原因として、量子化により生じる量子化誤差が考えられる。量子化誤差に起因する画像歪を、量子化歪と呼ぶ。復元画像データの量子化歪を低減する手法として、逆量子化により導出される量子化代表値を補正するという手法が考えられる。この場合、量子化代表値を補正するための補正値をどのように設定するかが問題となる。補正値を適切に設定しないと、量子化歪を有効に低減できない可能性がある。量子化代表値の補正については例えば、非特許文献１に記載されている。
【非特許文献１】ISO/IEC 14496-2 "Information technology -- Coding of audio-visual objects -- Part2: Visual"
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明は、圧縮画像データを伸張して画像データを復元する画像処理に関し、復元画像データの量子化歪を低減するための新たな手法を提案することを課題とする。
【課題を解決するための手段】
【０００５】
本発明は例えば、圧縮画像データを伸張して画像データを復元する画像処理装置であって、前記圧縮画像データを復号化して量子化インデックスを導出する復号化部と、前記量子化インデックスを利用して量子化代表値の補正値を計算する補正値計算部と、前記量子化インデックスを逆量子化して量子化代表値を導出し、前記量子化代表値を前記補正値により補正する逆量子化部と、前記補正値により補正された前記量子化代表値を逆変換して前記画像データの画素値を導出する逆変換部とを備えることを特徴とする画像処理装置である。
【０００６】
本発明は例えば、圧縮画像データを伸張して画像データを復元する画像処理方法であって、前記圧縮画像データを復号化して量子化インデックスを導出し、前記量子化インデックスを利用して量子化代表値の補正値を計算し、前記量子化インデックスを逆量子化して量子化代表値を導出し、前記量子化代表値を前記補正値により補正し、前記補正値により補正された前記量子化代表値を逆変換して前記画像データの画素値を導出することを特徴とする画像処理方法である。
【発明の効果】
【０００７】
本発明は、圧縮画像データを伸張して画像データを復元する画像処理に関し、復元画像データの量子化歪を低減するための新たな手法を提案するものである。
【発明を実施するための最良の形態】
【０００８】
図１は、本実施例の画像処理装置１０１の機能ブロック図である。図１の画像処理装置１０１は、圧縮画像データを伸張して画像データを復元する画像処理装置である。図１の画像処理装置１０１は、画像圧縮機能と画像伸張機能とを具備していても、画像伸張機能のみを具備していても構わない。図１の画像処理装置１０１はここでは、ＭＰＥＧ方式に準拠した画像処理装置、詳細には、ＭＰＥＧ４に準拠した画像処理装置である。
【０００９】
本実施例では、画像圧縮処理が画像データのブロック毎に実行されるとする。よって、本実施例では、画像伸張処理もまた圧縮画像データのブロック毎に実行される。これらのブロックのサイズはここでは、８×８画素（＝６４画素）とする。画像データは、１枚の画像フレームに相当する画像データでも、２枚の画像フレーム同士の差分フレームに相当する画像データでも構わない。また、圧縮画像データはここでは、圧縮の際に一様量子化により量子化された圧縮画像データであるとする。即ち、量子化の際の量子化ステップはここでは、一様であるとする。
【００１０】
図１の画像処理装置１０１は、本発明の復号化部の例である解析部１１１と、本発明の逆量子化部の例である逆量子化部１１２と、本発明の逆変換部の例である逆変換部１１３と、本発明の補正値計算部の例である補正値計算部１２１とを備える。
【００１１】
解析部１１１は、画像処理装置１０１に入力された圧縮画像データを解析するブロックである。圧縮画像データは、図１のように、ビットストリームの形で画像処理装置１０１に入力される。解析部１１１は、当該圧縮画像データをブロック毎に復号化して、量子化インデックスを導出する。量子化インデックスは、量子化された変換係数値に与えられたインデックスであり、ここでは、量子化されたＤＣＴ係数値のインデックスである。すなわち、圧縮の際の変換はここでは、離散コサイン変換（ＤＣＴ）である。圧縮の際の変換は、他の波形変換でもよく、例えば、離散サイン変換（ＤＳＴ）や、離散ウェーブレット変換（ＤＷＴ）や、アダマール変換や、カルーネン・レーブ変換でも構わない。本実施例では、圧縮の際の変換として、これらの波形変換のように、変換係数値が小さい値である事が好ましいとされるような波形変換を採用する。解析部１１１により導出された量子化インデックスは、逆量子化部１１２及び補正値計算部１２１に提供される。
【００１２】
逆量子化部１１２は、提供された量子化インデックスを逆量子化して、量子化代表値を導出するブロックである。これにより、各量子化インデックスが、対応する量子化レベルの量子化代表値に変換される。本実施例では、各量子化インデックスが、対応する量子化レベルの中心値に変換されるとする。例えば、ある量子化インデックスに対応する量子化レベルがＬ１〜Ｌ２である場合、その量子化インデックスは量子化代表値（Ｌ１＋Ｌ２）／２に変換される。本実施例では、量子化されたＤＣＴ係数値のインデックスが、量子化代表値という形でＤＣＴ係数値に変換されることになる。
【００１３】
逆量子化部１１２は更に、当該量子化代表値を補正値により補正する。当該補正値は、後述のように、補正値計算部１２１から逆量子化部１１２に提供される。量子化代表値の補正式は、式（１）のように与えられる。
【数１】
2009049637.tif 000003
【００１４】
Ｐは、補正前の量子化代表値、即ち、中心値である。Ｐ’は、補正後の量子化代表値である。ｍは、量子化代表値の補正値を表す。ｓｉｇｎ（Ｐ）は、Ｐの符号を表す。Ｐ＞０の場合はｓｉｇｎ（Ｐ）＝＋１となり、Ｐ＜０の場合はｓｉｇｎ（Ｐ）＝−１となる。即ち、Ｐが正ならばＰからｍが引かれ、Ｐが負ならばＰにｍが足される。逆量子化部１１２により導出された量子化代表値は、逆変換部１１３に提供される。量子化代表値が補正値により補正された場合には、補正値により補正された量子化代表値が提供される。
【００１５】
逆変換部１１３は、提供された量子化代表値をブロック毎に逆変換して、画像データの画素値を導出するブロックである。補正された量子化代表値が提供された場合には、補正された量子化代表値が逆変換される。本実施例では、ＤＣＴ係数値が逆離散コサイン変換により逆変換されることになる。変換係数値がＤＳＴ係数値、ＤＷＴ係数値、アダマール変換係数値、カルーネン・レーブ変換係数値の場合にはそれぞれ、逆離散サイン変換、逆離散ウェーブレット変換、逆アダマール変換、逆カルーネン・レーブ変換が実行される。逆変換部１１３により導出された画像データ（復元画像データ）は、図１のように、画像処理装置１０１から出力される。
【００１６】
補正値計算部１２１は、上記量子化インデックスを利用して、量子化代表値の補正値を計算するブロックである。当該量子化インデックスは、ここでは解析部１１１から提供されるが、逆量子化部１１２から提供されてもよい。補正値計算部１２１により計算された補正値は、上述のように、逆量子化部１１２に提供される。
【００１７】
ここで、量子化代表値の補正について説明する。
【００１８】
図２は、補正前の量子化代表値に関するグラフである。図２にて、横軸はＤＣＴ係数値を表し、縦軸はＤＣＴ係数値の生起確率を表す。破線Ｌは、量子化レベルの閾値を表す。実線Ｐは、補正前の量子化代表値、即ち、中心値を表す。各実線Ｐが、破線Ｌと破線Ｌの真ん中に位置している事が解る。
【００１９】
量子化前のＤＣＴ係数値の生起確率が一様であれば、逆量子化の際に各量子化代表値を中心値とする事で、復元画像データの量子化歪を小さくする事ができる。しかし、ＤＣＴのような波形変換では、量子化前の変換係数値は、図２の分布Ｃのように、０値の近傍に偏る事が多い。よって、ＤＣＴのような波形変換が採用される場合、各量子化代表値は、中心値よりも０値の方向に補正する事が望ましい。そのため、本実施例の式（１）では、量子化代表値Ｐが正ならば量子化代表値Ｐから補正値ｍが減算され、量子化代表値Ｐが負ならば量子化代表値Ｐに補正値ｍが加算される。
【００２０】
しかしながら、補正値を圧縮画像データ全体で一定としてしまうと、圧縮画像データの領域毎の特性に応じた量子化誤差の低減を行う事ができない。従って、復元画像データの量子化歪を有効に低減できない可能性がある。そこで、本実施例では、補正値を圧縮画像データのブロック毎に設定する。そして、本実施例では、各ブロックの補正値が、各ブロックの量子化インデックスを利用して導出される。本実施例における補正値の設定例を、図３及び図４に示した。図３及び図４は、補正後の量子化代表値に関するグラフである。実線Ｐ’は、補正後の量子化代表値を表す。図３及び図４の詳細については、後述する。
【００２１】
図５は、図１の補正値計算部１２１の機能ブロック図である。補正値計算部１２１は、図５に示すように、本発明のカウント部の例であるカウント部２０１と、本発明の補正値決定部の例である補正値決定部２０２とを備える。
【００２２】
カウント部２０１は、上記量子化インデックスの０値の個数を、圧縮画像データのブロック毎にカウントするブロックである。本実施例では、画像データ及び圧縮画像データの各ブロックのサイズは、８×８画素（６４画素）である。カウント部２０１は、圧縮画像データの各ブロックについて、量子化インデックスが「０」である画素の個数（０〜６４個）をカウントする。本実施例では、量子化されたＤＣＴ係数値の０値の個数がカウントされることになる。カウント部２０１によりカウントされた０値の個数（カウント数Ｎ）は、補正値決定部２０２に提供される。
【００２３】
補正値決定部２０２は、ブロック毎の０値の個数を利用して、量子化代表値の補正値をブロック毎に決定するブロックである。本実施例において、圧縮画像データのブロック毎の補正値は、式（２）のように決定される。
【数２】
2009049637.tif 000004
【００２４】
ｑは、量子化ステップのステップ幅を表す。Ｎthは、カウント数Ｎの閾値を表す。カウント数Ｎが閾値Ｎth以上であれば、大きな補正値ｍ＝ｑ／４が設定され、カウント数Ｎが閾値Ｎth未満であれば、小さな補正値ｍ＝ｑ／８が設定される。カウント数Ｎが閾値Ｎthと等しい場合については、ｍ＝ｑ／４としてもｍ＝ｑ／８としても構わない。補正値決定部２０２により決定された補正値は、逆量子化部１１２に提供される。逆量子化部１１２は、各ブロックの量子化代表値を、各ブロックの補正値により補正する。小さな補正値ｍ＝ｑ／８による補正の様子は、図３に示されている。大きな補正値ｍ＝ｑ／４による補正の様子は、図４に示されている。
【００２５】
ここで、量子化代表値の補正について再度説明する。
【００２６】
上述のように、ＤＣＴでは、量子化前のＤＣＴ係数値は、図２の分布Ｃのように、０値近傍に偏る傾向がある。よって、ＤＣＴが採用される場合には、各量子化代表値は、中心値よりも０値方向に補正する事が望ましい。これにより、量子化前の真のＤＣＴ係数値と量子化代表値との差が統計的に縮まる事になり、量子化歪が低減される。
【００２７】
量子化前のＤＣＴ係数値の分布は、図３及び図４にも示されている。量子化前のＤＣＴ係数値は、図３の分布Ｃのように、０値近傍への偏りが比較的小さい場合もあれば、図４の分布Ｃのように、０値近傍への偏りが比較的大きい場合もある。図３の場合には補正値を小さくする事が望ましく、図４の場合には補正値を大きくする事が望ましい。
【００２８】
本実施例では、ブロック毎に、量子化インデックスの０値の個数、即ち、量子化されたＤＣＴ係数の０値の個数がカウントされる。量子化インデックスの０値の個数が多い場合には、量子化前のＤＣＴ係数値の０値近傍への偏りが大きいと予想される。一方、量子化インデックスの０値の個数が少ない場合には、量子化前のＤＣＴ係数値の０値近傍への偏りが小さいと予想される。このように、量子化前のＤＣＴ係数値の０値近傍への偏りは、量子化インデックスの０値の個数により予想可能である。
【００２９】
よって、本実施例では、量子化インデックスの０値の個数を利用して、量子化代表値の補正値を決定する。これにより、本実施例では、復元画像データの量子化歪を有効に低減する事ができる。本実施例では、ブロック毎の０値の個数を利用して、補正値がブロック毎に決定される。これにより、本実施例では、圧縮画像データの領域毎の局所的な特性を反映させて、量子化歪を低減する事ができる。本実施例では、０値の個数が少ない場合、図３のように、小さな補正値が設定され、０値の個数が多い場合、図４のように、大きな補正値が設定される。これにより、本実施例では、上述したような望ましい補正値が設定される事になる。
【００３０】
なお、ｑの値が大きくなると、ＤＣＴ係数値の偏りが小さくても、量子化インデックスの０値の個数が多くなる傾向にある。また、ｑの値が小さくなると、ＤＣＴ係数値の偏りが大きくても、量子化インデックスの０値の個数が少なくなる傾向にある。よって、上記の式（２）の閾値Ｎthは、ｑの増加関数（ｄＮth／ｄｑ≧０）とする事が望ましい。当該関数は、連続関数でも非連続関数でも構わないが、ここでは式（３）のような非連続関数とする。
【数３】
2009049637.tif 000005
【００３１】
以下、本実施例の種々の変形例について説明する。
【００３２】
本実施例では、量子化代表値の補正値が、圧縮画像データのブロック毎に設定される。これにより、圧縮画像データの局所的な特性を反映した補正が可能になる。また、本実施例の画像伸張処理は、圧縮画像データのブロック単位で進行する。よって、補正値がブロック毎に設定されることで、画像圧縮処理と補正関連処理との整合性が良くなる。しかしながら、量子化代表値の補正値は、ブロック以外の所定領域毎に設定されるようにしても構わない。量子化代表値の補正値は、複数ブロック毎、例えば、２×２ブロック毎に設定されても構わない。こうした補正値設定は、ブロック毎の補正値設定では処理負担が過大である場合等に有効である。
【００３３】
本実施例では、補正値ｍは式（２）のように決定される。本実施例では上述のように、カウント数Ｎが多ければ補正値ｍを大きくし、カウント数Ｎが少なければ補正値を小さくする事が望ましい。従って、補正値ｍは、カウント数Ｎの増加関数（ｄｍ／ｄＮ≧０）とする事が望ましい。当該関数は、連続関数でも非連続関数でも構わないが、本実施例では式（２）のような非連続関数となっている。なお、非連続関数の一例を式（４）に示し、連続関数の一例を式（５）に示す。Ｎth1及びＮth2は閾値であり、Ｋは定数である。これらの関数によれば、補正値ｍがより細かく制御される。Ｎth1の一例を式（６）に示し、Ｎth2の一例を式（７）に示す。
【数４】
2009049637.tif 000006
【数５】
2009049637.tif 000007
【数６】
2009049637.tif 000008
【数７】
2009049637.tif 000009
【００３４】
本実施例では、量子化インデックスの０値の個数を利用して、量子化代表値の補正値が決定される。本実施例では、量子化インデックスから得られるその他の情報を利用して、補正値を決定してもよい。例えば、量子化インデックスの直流成分を利用して、補正値を決定してもよい。
【００３５】
本実施例では、量子化インデックスを利用して、量子化代表値の補正値が導出される。本実施例では、圧縮画像データから得られるその他の情報を利用して、補正値を導出してもよい。例えば、圧縮画像データを解析して得られた動きベクトルを利用して、補正値を導出してもよい。
【００３６】
上述のように、本実施例で取り扱う画像データは、１枚の画像フレームに相当する画像データでも、２枚の画像フレーム同士の差分フレームに相当する画像データでもよい。本実施例で取り扱う画像データが、差分フレームに相当する画像データではない場合には、ＤＣＴ係数値の直流成分については、補正は行わなくてもよい。
【００３７】
画像処理装置１０１の各機能ブロックは、コンピュータプログラム（ソフトウェア）により実現されていても、回路（ハードウェア）により実現されていても構わない。前者の場合、画像処理装置１０１は例えば、画像処理プログラムがインストールされているパーソナルコンピュータである。当該画像処理プログラムは、本実施例の画像処理方法をコンピュータに実行させるコンピュータプログラムである。後者の場合、画像処理装置１０１は例えば、本実施例の画像処理方法を実行する集積回路である。
【００３８】
画像処理装置１０１は、その一部の機能ブロックがコンピュータプログラムにより実現され、その一部の機能ブロックが回路により実現されていてもよい。例えば、カウント部２０１については回路で実現し、解析部１１１と、逆量子化部１１２と、逆変換部１１３と、補正値決定部２０２についてはコンピュータプログラムで実現する、という実施例が考えられる。
【００３９】
なお、本発明の実施形態には例えば、圧縮画像データを伸張して画像データを復元する画像処理装置であって、前記圧縮画像データを復号化して量子化インデックスを導出する復号化部と、前記圧縮画像データから得られた情報を利用して量子化代表値の補正値を計算する補正値計算部と、前記量子化インデックスを逆量子化して量子化代表値を導出し、前記量子化代表値を前記補正値により補正する逆量子化部と、前記補正値により補正された前記量子化代表値を逆変換して前記画像データの画素値を導出する逆変換部とを備えるような画像処理装置、が含まれる。
【００４０】
また、本発明の実施形態には例えば、圧縮画像データを伸張して画像データを復元する画像処理方法であって、前記圧縮画像データを復号化して量子化インデックスを導出し、前記圧縮画像データから得られた情報を利用して量子化代表値の補正値を計算し、前記量子化インデックスを逆量子化して量子化代表値を導出し、前記量子化代表値を前記補正値により補正し、前記補正値により補正された前記量子化代表値を逆変換して前記画像データの画素値を導出するような画像処理方法、が含まれる。
【図面の簡単な説明】
【００４１】
【図１】本実施例の画像処理装置の機能ブロック図である。
【図２】補正前の量子化代表値に関するグラフである。
【図３】補正後の量子化代表値に関するグラフである。
【図４】補正後の量子化代表値に関するグラフである。
【図５】図１の補正値計算部の機能ブロック図である。
【符号の説明】
【００４２】
１０１  画像処理装置
１１１  解析部
１１２  逆量子化部
１１３  逆変換部
１２１  補正値計算部
２０１  カウント部
２０２  補正値決定部
【図１】
2009049637.tif 000010
【図２】
2009049637.tif 000011
【図３】
2009049637.tif 000012
【図４】
2009049637.tif 000013
【図５】
2009049637.tif 000014