(57)【要約】【課題】高域成分の低下によって発生するフリッカを視覚的に低減する。【解決手段】動画像符号化装置であって、入力画像とローカルデコード画像とをそれぞれ逆ガンマ補正する逆ガンマ補正手段と、逆ガンマ補正された入力画像及びローカルデコード画像の輝度平均値をそれぞれ算出する算出手段と、入力画像とローカルデコード画像とについて算出された輝度平均値を、それぞれガンマ補正するガンマ補正手段と、ガンマ補正された入力画像の輝度平均値と、ローカルデコード画像の輝度平均値との差分を補正値として算出する減算手段と、補正値を量子化する補正値量子化手段と、量子化された補正値により、量子化されたＤＣＴ係数のうちＤＣ係数を補正するＤＣ補正手段と、ＤＣ補正手段により補正されたＤＣ係数を含む量子化されたＤＣＴ係数をエントロピー符号化する符号化手段を備える。【選択図】図１
2009267850.tif 000002
【特許請求の範囲】
【請求項１】
入力画像と予測画像との差分画像をＤＣＴ変換するＤＣＴ変換手段と、
前記ＤＣＴ変換手段により得られたＤＣＴ係数を量子化する量子化手段と、
量子化された前記ＤＣＴ係数をエントロピー符号化する符号化手段と、
量子化された前記ＤＣＴ係数を逆量子化する逆量子化手段と、
逆量子化により得られたＤＣＴ係数を逆ＤＣＴ変換する逆ＤＣＴ変換手段と、
逆ＤＣＴ変換により復元された差分画像と前記予測画像とを加算してローカルデコード画像を生成する加算手段と、
を備える、動画像符号化装置であって、
前記入力画像と前記ローカルデコード画像とをそれぞれ逆ガンマ補正する逆ガンマ補正手段と、
前記逆ガンマ補正手段により逆ガンマ補正された入力画像及びローカルデコード画像の輝度平均値をそれぞれ算出する算出手段と、
前記入力画像とローカルデコード画像とについて算出された輝度平均値を、それぞれガンマ補正するガンマ補正手段と、
前記ガンマ補正手段によりガンマ補正された前記入力画像の輝度平均値と、前記ローカルデコード画像の輝度平均値との差分を補正値として算出する減算手段と、
前記補正値を量子化する補正値量子化手段と、
量子化された前記補正値により、前記量子化手段により量子化されたＤＣＴ係数のうちＤＣ係数を補正するＤＣ補正手段と
を備え、
前記符号化手段は、前記ＤＣ補正手段により補正されたＤＣ係数を含む前記量子化されたＤＣＴ係数をエントロピー符号化することを特徴とする動画像符号化装置。
【請求項２】
前記ローカルデコード画像を参照画像とし、順方向予測、或いは双方向予測による動き予測を行って前記予測画像を生成する動き補償手段をさらに備え、
前記ＤＣ補正手段は、前記量子化されたＤＣＴ係数が、前記動き補償手段における前記双方向予測による動き予測によって生成された予測画像を利用して生成されている場合に、前記ＤＣ係数を補正する
ことを特徴とする請求項１に記載の動画像符号化装置。
【請求項３】
入力画像と予測画像との差分画像をＤＣＴ変換するＤＣＴ変換手段と、
前記ＤＣＴ変換手段により得られたＤＣＴ係数を量子化する量子化手段と、
量子化された前記ＤＣＴ係数をエントロピー符号化する符号化手段と、
量子化された前記ＤＣＴ係数を逆量子化する逆量子化手段と、
逆量子化により得られたＤＣＴ係数を逆ＤＣＴ変換する逆ＤＣＴ変換手段と、
逆ＤＣＴ変換により復元された差分画像と前記予測画像とを加算してローカルデコード画像を生成する加算手段と、
を備える、動画像符号化装置の制御方法であって、
前記入力画像と前記ローカルデコード画像とをそれぞれ逆ガンマ補正する逆ガンマ補正工程と、
前記逆ガンマ補正工程において逆ガンマ補正された入力画像及びローカルデコード画像の輝度平均値をそれぞれ算出する算出工程と、
前記入力画像とローカルデコード画像とについて算出された輝度平均値を、それぞれガンマ補正するガンマ補正工程と、
前記ガンマ補正工程においてガンマ補正された前記入力画像の輝度平均値と、前記ローカルデコード画像の輝度平均値との差分を補正値として算出する減算工程と、
前記補正値を量子化する量子化工程と、
量子化された前記補正値により、前記量子化手段により量子化されたＤＣＴ係数のうちＤＣ係数を補正するＤＣ補正工程と、
前記ＤＣ補正工程において補正されたＤＣ係数を含む前記量子化されたＤＣＴ係数をエントロピー符号化する符号化工程と
を備えることを特徴とする動画像符号化装置の制御方法。
【請求項４】
前記動画像符号化装置は、前記ローカルデコード画像を参照画像とし、順方向予測、或いは双方向予測による動き予測を行って前記予測画像を生成する動き補償手段をさらに備え、
前記ＤＣ補正工程では、前記量子化されたＤＣＴ係数が、前記動き補償手段における前記双方向予測による動き予測によって生成された予測画像を利用して生成されている場合に、前記ＤＣ係数を補正する
ことを特徴とする請求項３に記載の動画像符号化装置の制御方法。
【請求項５】
コンピュータを、請求項１又は２に記載の動画像符号化装置として機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像符号化装置及びその制御方法、並びに、コンピュータプログラムに関する。
【背景技術】
【０００２】
動画像の圧縮符号化の方式としてＭＰＥＧ方式が広く知られている。ＭＰＥＧ方式は動き補償予測符号化とＤＣＴにより、画像を圧縮符号化する高能率符号化方式である。入力画像は、Ｉピクチャ、Ｐピクチャ、Ｂピクチャと呼ばれる３つのピクチャタイプのいずれかの方法で符号化される。
【０００３】
Ｉピクチャの場合、入力画像はＤＣＴ変換された後に量子化される。量子化された符号値をエントロピー符号化して、Ｉピクチャのビットストリームを得ることができる。Ｐピクチャの場合、既に符号化された直近のＩピクチャのローカルデコード画像を参照画像とし、前方向動き検出を行い動き予測画像を得る。次いで、この予測画像と入力画像との差分値をＤＣＴ変換し量子化する。さらに、量子化された符号値をエントロピー符号化することで、Ｐピクチャのビットストリームを得ることができる。
【０００４】
Ｂピクチャの場合、既に符号化された直近のＩピクチャ及びＰピクチャのローカルデコード画像を参照画像とし、双方向動き検出を行い動き予測画像を得る。次いで、得られた予測画像と入力画像との差分値をＤＣＴ変換し量子化する。さらに、量子化された符号値をエントロピー符号化することで、Ｂピクチャのビットストリームを得ることができる。
【０００５】
なお、Ｉ、Ｐ、Ｂピクチャの各符号化方法の違いによって、画質に若干の差が生じる。しかし、ピクチャごとの割り当て符号量に偏りを持たせ、ピクチャタイプに応じて量子化パラメータをかえることでほぼ同一の画質が得られるよう量子化制御が行われる。このような量子化制御については特許文献１に記載されている。
しかしながら、量子化制御によってＩ、Ｐ、Ｂの画質差を完全に無くすることは困難である。特に、画面全体に高域成分が多く含まれているような画像を符号化した場合、Ｂピクチャでは高域成分が低下し、それがディスプレイ上ではフリッカとして認識されてしまうことがある。
【０００６】
これはＢピクチャにおける映像信号の高域成分の低下によって、ディスプレイにおける表示画面の輝度が低下するためである。以下にその詳細を説明する。
【０００７】
図２は入力画像信号レベルとディスプレイ上での光輝度レベルの関係を示した図である。波形２０１、２０２は、入力画像信号レベル、波形２０３、２０４は出力される光輝度レベルを示している。一般に、ディスプレイは入力画像信号レベルと出力の光輝度レベルとの間では、図２の２００に示すような逆ガンマ特性が成立する。
【０００８】
このような特性をもつディスプレイに、波形２０１のような入力画像信号レベルが与えられるとディスプレイの光輝度レベルは波形２０３のように高輝度領域が伸びて低輝度領域がつまった形になる。この時の光輝度レベルの平均輝度は２０５で示すレベルとなる。
【０００９】
次に、入力画像信号レベルの平均は変化がないまま、高域成分が波形２０２のように減衰した場合、画像ディスプレイの光出力レベルは波形２０４のように高輝度領域は大きく低下し、低輝度領域はわずかに上昇した形となる。すると、波形２０４の光出力レベルの平均輝度は平均値２０６にように平均値２０５よりも低くなる。
【００１０】
即ち、入力画像信号レベルに関しては平均レベルが変化していないにもかかわらず、高域成分が減衰すると光輝度レベルの平均輝度が低下してしまうことになる。その結果、画面全体の輝度が低下してしまうことになる。
【特許文献１】特開平１０−１６４５７７号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
このように、符号化装置においてはＢピクチャでの高域成分の減衰が発生しやすく、Ｉピックチャ、Ｐピクチャとの輝度差が生じてフリッカ現象が発生しやすくなる。
【００１２】
本発明はこのような状況に鑑みてなされたものであり、高域成分の低下によって発生するフリッカを視覚的に低減することを目的とする。
【課題を解決するための手段】
【００１３】
上記課題を解決するために本発明は、
入力画像と予測画像との差分画像をＤＣＴ変換するＤＣＴ変換手段と、
前記ＤＣＴ変換手段により得られたＤＣＴ係数を量子化する量子化手段と、
量子化された前記ＤＣＴ係数をエントロピー符号化する符号化手段と、
量子化された前記ＤＣＴ係数を逆量子化する逆量子化手段と、
逆量子化により得られたＤＣＴ係数を逆ＤＣＴ変換する逆ＤＣＴ変換手段と、
逆ＤＣＴ変換により復元された差分画像と前記予測画像とを加算してローカルデコード画像を生成する加算手段と、
を備える、動画像符号化装置であって、
前記入力画像と前記ローカルデコード画像とをそれぞれ逆ガンマ補正する逆ガンマ補正手段と、
前記逆ガンマ補正手段により逆ガンマ補正された入力画像及びローカルデコード画像の輝度平均値をそれぞれ算出する算出手段と、
前記入力画像とローカルデコード画像とについて算出された輝度平均値を、それぞれガンマ補正するガンマ補正手段と、
前記ガンマ補正手段によりガンマ補正された前記入力画像の輝度平均値と、前記ローカルデコード画像の輝度平均値との差分を補正値として算出する減算手段と、
前記補正値を量子化する補正値量子化手段と、
量子化された前記補正値により、前記量子化手段により量子化されたＤＣＴ係数のうちＤＣ係数を補正するＤＣ補正手段と
を備え、
前記符号化手段は、前記ＤＣ補正手段により補正されたＤＣ係数を含む前記量子化されたＤＣＴ係数をエントロピー符号化することを特徴とする。
【発明の効果】
【００１４】
本発明は、高域成分の低下によって発生するフリッカを視覚的に低減することができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明に係る動画像符号化装置の好ましい実施の形態について、図面を参照しながら詳細に説明する。
【００１６】
図１は、発明の実施形態に対応する動画像符号化装置の構成の一例を示す図である。図１において、減算器１０１は、動き補償部１０７からの予測画像１２２と、入力画像との差分を演算し、差分画像をＤＣＴ変換部１０２に出力する。ＤＣＴ変換部１０２は、減算器１０１から受信した差分画像にＤＣＴ変換を行って、得られたＤＣＴ係数を量子化部１０３に出力する。
【００１７】
量子化部１０３は、ＤＣＴ変換部１０２から受信したＤＣＴ係数を量子化して、量子化済のＤＣＴ係数を逆量子化部１０４とＤＣ補正部１０８とに出力する。逆量子化部１０４は量子化部１０３から受信した量子化済のＤＣＴ係数を逆量子化してＤＣＴ係数を復元し、逆ＤＣＴ変換部１０５へ出力する。
【００１８】
逆ＤＣＴ変換部１０５では、逆量子化部１０４から受信した復元されたＤＣＴ係数に逆ＤＣＴ変換を行って、差分画像を復元する。該復元された差分画像は加算器１０６に出力され、予測画像１２２と加算されてローカルデコード画像１２１が生成される。
【００１９】
ローカルデコード画像１２１は、動き補償部１０７と逆ガンマ補正部１１１へ出力される。動き補償部１０７は、符号化済みのＩピクチャやＢピクチャのローカルデコード画像１２１を参照画像とし、順方向予測や双方向予測による動き予測を行い予測画像１２２を得る。なお、ローカルデコード画像１２１が加算器１０６から直接に、逆ガンマ補正部１１１へ出力されているが、逆ガンマ補正を行うのはＢピクチャの場合のみである。よって、動き補償部１０７における動き予測の結果に基づいて、双方向予測を行う場合にのみ、ローカルデコード画像を動き補償部１０７から逆ガンマ補正部１１１へ出力してもよい。
【００２０】
ＤＣ補正部１０８では、量子化されたＤＣＴ係数のうち、ＤＣ係数に輝度補正値ＤＣＣが加算されてＤＣ係数の補正が行われる。このＤＣ係数の補正はＢピクチャについてのみ行う。Ｉピクチャ、Ｐピクチャは補正を行わずに、そのままエントロピー符号化部１０９において符号化されビットストリームとして出力される。
【００２１】
逆ガンマ補正部１１１及び１１４、ブロック平均部１１２及び１１５、ガンマ補正部１１３及び１１６、及び減算器１１７については、Ｂピクチャ特有の処理と関連して、後述する。
【００２２】
以上の基本構成において、Ｉピクチャの場合は入力画像がＤＣＴ変換部１０２にてＤＣＴ係数に変換され、ＤＣＴ係数は量子化部１０３にて量子化される。量子化されたＤＣＴ係数は、エントロピー符号化部１０９において符号化されビットストリームとして出力される。また、逆量子化部１０４で逆量子化され、逆ＤＣＴ変換部１０５で逆ＤＣＴ変換されて、予測画像１２２との加算によりローカルデコード画像１２１を得る。
【００２３】
また、Ｐピクチャの場合、動き補償部１０７において直近のＩピクチャのローカルデコード画像を参照画像とし、前方向動き探索を行い予測画像１２２を得る。予測画像１２２は、減算器１０１と加算器１０６とに出力される。
【００２４】
減算器１０１にて予測画像１２２と入力画像との差分として差分画像が得られる。差分画像はＤＣＴ変換部１０２にてＤＣＴ係数に変換され、ＤＣＴ係数は量子化部１０３にて量子化される。量子化されたＤＣＴ係数は、エントロピー符号化部１０９において符号化されビットストリームとして出力される。また、逆量子化部で逆量子化されて、逆ＤＣＴ変換部１０５で逆ＤＣＴ変換され、加算器１０６によって予測画像１２２との加算を行うことで、ローカルデコード画像１２１を得る。
【００２５】
次に、Ｂピクチャの場合、動き補償部１０７において直近のＩピクチャ及びＰピクチャのローカルデコード画像を参照画像とし、双方向予測による動き探索を行い予測画像１２２を得る。減算器１０１にて予測画像１２２と入力画像との差分値として差分画像が得られる。差分画像はＤＣＴ変換部１０２にてＤＣＴ係数に変換され、ＤＣＴ係数は量子化部１０３にて量子化される。量子化されたＤＣＴ係数は、ＤＣ補正部１０８に出力されると共に、逆量子化部１０４で逆量子化されて、逆ＤＣＴ変換部１０５で逆ＤＣＴ変換される。また、加算器１０６によって予測画像１２２との加算を行うことで、ローカルデコード画像１２１を得る。
【００２６】
Ｂピクチャにおけるローカルデコード画像１２１は、逆ガンマ補正部１１１において逆ガンマ補正が施され、ディスプレイでの光輝度レベルを示す輝度レベル信号に変換される。逆ガンマ補正は、予め図２のガンマ特性２００に対応するルックアップテーブル（ＬＵＴ）を用意しておき、該ＬＵＴを参照して、入力画像信号を出力の輝度レベル信号に変換することができる。ここで、ローカルデコード画像信号や入力画像を図２の信号２０２とすると、光輝度レベル信号は図２の信号２０４に相当する。
【００２７】
次に、光輝度レベルに変換されたローカルデコード画像は、ブロック平均部１１２に入力される。ブロック平均部１１２はマクロブロックの全画素の平均値を算出し、これによりローカルデコード画像の光輝度平均値が得られる。この光輝度平均値は、図２の２０６で示される値に相当する。算出された光輝度平均値は、ガンマ補正部１１３によって上記ＬＵＴに基づくガンマ補正が施され、輝度レベル信号から入力画像信号へ変換される。変換後の輝度平均値ＡＶＬは、図２の２０７で示される値に相当する。
【００２８】
また、ローカルデコード画像同様に入力画像に対して以下の処理が行われる。入力画像は、逆ガンマ補正部１１４においてＬＵＴに基づく逆ガンマ補正が施され、ディスプレイでの光輝度レベルを示す輝度レベル信号に変換される。例えば、入力画像信号を図２の信号２０１とすると、輝度レベル信号は図２の信号２０３に相当する。
【００２９】
次に、光輝度レベルに変換された入力画像は、ブロック平均部１１５に入力される。ブロック平均部１１５はマクロブロックの全画素の平均値を算出し、これにより入力画像の光輝度平均値が得られる。この光輝度平均値は、図２の２０５で示される値に相当する。算出された光輝度平均値は、ガンマ補正部１１６によってＬＵＴに基づくガンマ補正が施され、輝度レベル信号から入力画像信号へ変換される。変換後の輝度平均値ＡＶＩは、図２の２０８で示される値に相当する。
【００３０】
次に、減算器１１７には、ガンマ補正部１１３よりローカルデコード画像の輝度平均値ＡＶＬと、ガンマ補正部１１６より入力画像の輝度平均値ＡＶＩが入力される。減算器１１７では、ＤＣＣ＝ＡＶＩ−ＡＶＬの演算式に基づき、ＢピクチャのＤＣ成分の補正値である輝度補正値ＤＣＣを算出し、補正値量子化部１１８に出力する。
【００３１】
輝度補正値ＤＣＣは、補正値量子化部１１８にて量子化される。量子化処理は量子化部１０３と同一の量子化パラメータを用いて行われる。これによりＤＣ補正部１０８において、補正される信号と補正信号が同一のレンジとなって、補正が正しく行われる。
【００３２】
ＤＣ補正部１０８は量子化部１０３からの量子化されたＤＣＴ係数のうち、ＤＣ成分の値に補正値量子化部１１８からの輝度補正値を加算して、ＤＣ係数を補正する。なお、このＤＣ係数の補正はＢピクチャについてのみ行う。
【００３３】
補正されたＤＣＴ係数はエントロピー符号化部１０９において符号化されビットストリームとして出力される。
【００３４】
以上のように、本実施形態に対応する発明によれば、Ｂピクチャと入力画像との輝度値の差を、該ＢピクチャのＤＣ成分の補正のために利用することで、Ｂピクチャにおける平均輝度の低下を抑制することができる。これにより、ＩピクチャやＰピクチャの平均輝度とのバラツキが解消され、デコード画像をディスプレイ表示した際のフリッカ現象を視覚的に低減することが可能となる。
【００３５】
［その他の実施形態］
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【００３６】
また、本発明の目的は、前述した機能を実現するコンピュータプログラムのコードを記録した記憶媒体を、システムに供給し、そのシステムがコンピュータプログラムのコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたコンピュータプログラムのコード自体が前述した実施形態の機能を実現し、そのコンピュータプログラムのコードを記憶した記憶媒体は本発明を構成する。また、そのプログラムのコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した機能が実現される場合も含まれる。
【００３７】
さらに、以下の形態で実現しても構わない。すなわち、記憶媒体から読み出されたコンピュータプログラムコードを、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込む。そして、そのコンピュータプログラムのコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行って、前述した機能が実現される場合も含まれる。
【００３８】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するコンピュータプログラムのコードが格納されることになる。
【図面の簡単な説明】
【００３９】
【図１】発明の実施形態に対応する動画像符号化装置の構成の一例を示す図である。
【図２】入力画像信号レベルとディスプレイ上での光輝度レベルの関係を示した図である。
【符号の説明】
【００４０】
１０１・・・減算器
１０２・・・ＤＣＴ変換部
１０３・・・量子化部
１０４・・・逆量子化部
１０５・・・逆ＤＣＴ変換部
１０６・・・加算器
１０７・・・動き補償部
１０８・・・ＤＣ補正部
１０９・・・エントロピー符号化部
１１１・・・逆ガンマ補正部
１１２・・・ブロック平均部
１１３・・・ガンマ補正部
１１４・・・逆ガンマ補正部
１１５・・・ブロック平均部
１１６・・・ガンマ補正部
１１７・・・減算器
１１８・・・補正値量子化部
１２１・・・ローカルデコード画像
１２２・・・予測画像 
【図１】
2009267850.tif 000003
【図２】
2009267850.tif 000004