(57)【要約】【課題】輪郭および階段アーティファクトを効率的に低減する。【解決手段】映像符号化装置は、量子化インデックスを逆量子化して量子化代表値を得る逆量子化手段と、逆量子化手段によって得られた量子化代表値を逆変換して再構築画像ブロックを得る逆周波数変換手段と、再構築画像ブロックの伸張情報に基づいて擬似ランダム雑音混入位置を決定し、擬似ランダム雑音混入位置の画像に擬似ランダム雑音を混入させる雑音混入手段とを備えている。
2011064944.tif 000002
【特許請求の範囲】
【請求項１】
量子化インデックスを逆量子化して量子化代表値を得る逆量子化手段と、
前記逆量子化手段によって得られた量子化代表値を逆変換して再構築画像ブロックを得る逆周波数変換手段と、
前記再構築画像ブロックの伸張情報に基づいて擬似ランダム雑音混入位置を決定し、前記擬似ランダム雑音混入位置の画像に擬似ランダム雑音を混入させる雑音混入手段と
を備えた映像符号化装置。
【請求項２】
画像ブロックに対するイントラ予測信号またはフレーム間予測信号を計算する予測手段と、
画像ブロックからイントラ予測信号またはフレーム間予測信号を減じて予測誤差画像ブロックを得る予測誤差計算手段と、
前記予測誤差計算手段によって得られた予測誤差画像ブロックを変換して変換係数を得る周波数変換手段と、
前記周波数変換手段によって得られた変換係数を量子化して量子化インデックスを得る量子化手段と、
前記量子化手段によって得られた量子化インデックスをエントロピー符号化してそのビット列を出力するエントロピー符号化手段とを備え、
逆周波数変換手段は、量子化代表値を逆変換して再構築予測誤差画像ブロックを計算し、イントラ予測信号またはフレーム間予測信号を前記再構築予測誤差画像ブロックに加えて再構築画像ブロックを得る
請求項１記載の映像符号化装置。
【請求項３】
画像ブロックに対するイントラ予測信号またはフレーム間予測信号を計算する予測手段と、
画像ブロックからイントラ予測信号またはフレーム間予測信号を減じて予測誤差画像ブロックを得る予測誤差計算手段と、
前記予測誤差計算手段によって得られた予測誤差画像ブロックを変換して変換係数を得る周波数変換手段と、
前記周波数変換手段によって得られた変換係数を量子化して量子化インデックスを得る量子化手段と、
前記量子化手段によって得られた量子化インデックスをエントロピー符号化してそのビット列を出力するエントロピー符号化手段とを備え、
逆周波数変換手段は、量子化代表値を逆変換して再構築予測誤差画像ブロックを計算し、イントラ予測信号またはフレーム間予測信号を前記再構築予測誤差画像ブロックに加えて再構築画像ブロックを得て、
前記逆周波数変換手段によって得られた再構築画像ブロックを再構築画像ピクチャとして格納する再構築画像格納手段と、
前記再構築画像ピクチャのブロック歪みを除去するブロック歪み除去手段とを備え、
雑音混入手段は、前記ブロック歪みが除去された再構築画像ピクチャに擬似ランダム雑音を混入させる
請求項１記載の映像符号化装置。
【請求項４】
雑音混入手段は、伸張情報としての予測の種類、変換のブロックサイズ、量子化インデックス、または、それらのいずれかの組み合わせに基づいて擬似ランダム雑音混入位置を決定する
請求項１から請求項３のうちのいずれか１項に記載の映像符号化装置。
【請求項５】
雑音混入手段は、平坦な予測の種類、大きな変換のブロックサイズ、および有意なＡＣの量子化インデックスが少ないパターンの再構築画像ブロックを擬似ランダム雑音混入位置として決定する
請求項４記載の映像符号化装置。
【請求項６】
雑音混入手段は、量子化ステップサイズに従って調節された量の擬似ランダム雑音を混入させる
請求項１から請求項５のうちのいずれか１項に記載の映像符号化装置。
【請求項７】
雑音混入手段は、イントラ予測の参照画像となる位置の画像には、擬似ランダム雑音を混入させない
請求項１から請求項６のうちのいずれか１項に記載の映像符号化装置。
【請求項８】
雑音混入手段を所定の映像符号化単位でリセットするリセット手段を備えた
請求項１から請求項７のうちのいずれか１項に記載の映像符号化装置。
【請求項９】
ビット列をエントロピー復号して量子化インデックスを得るエントロピー復号手段と、
画像ブロックに対するイントラ予測信号またはフレーム間予測信号を計算する予測手段と、
前記量子化インデックスを逆量子化して量子化代表値を得る逆量子化手段と、
前記逆量子化手段によって得られた量子化代表値を逆変換して再構築予測誤差画像ブロックを得る逆周波数変換手段と、
イントラ予測信号またはフレーム間予測信号を前記逆周波数変換手段によって得られた再構築予測誤差画像ブロックに加えて再構築画像ブロックを得る再構築手段と、
前記再構築画像ブロックの伸張情報に基づいて擬似ランダム雑音混入位置を決定し、前記擬似ランダム雑音混入位置の画像に擬似ランダム雑音を混入させる雑音混入手段と
を備えた映像復号装置。
【請求項１０】
再構築画像ブロックを再構築画像ピクチャとして格納する再構築画像格納手段と、
前記再構築画像ピクチャのブロック歪みを除去するブロック歪み除去手段とを備え、
雑音混入手段は、前記ブロック歪みが除去された再構築画像ピクチャに擬似ランダム雑音を混入させる
請求項９記載の映像復号装置。
【請求項１１】
雑音混入手段は、伸張情報としての予測の種類、変換のブロックサイズ、量子化インデックス、または、それらのいずれかの組み合わせに基づいて擬似ランダム雑音混入位置を決定する
請求項９または請求項１０記載の映像復号装置。
【請求項１２】
雑音混入手段は、平坦な予測の種類、大きな変換のブロックサイズ、および有意なＡＣの量子化インデックスが少ないパターンの再構築画像ブロックを擬似ランダム雑音混入位置として決定する
請求項１１記載の映像復号装置。
【請求項１３】
雑音混入手段は、量子化ステップサイズに従って調節された量の擬似ランダム雑音を混入させる
請求項９から請求項１２のうちのいずれか１項に記載の映像復号装置。
【請求項１４】
雑音混入手段は、イントラ予測の参照画像となる位置の画像には、擬似ランダム雑音を混入させない
請求項９から請求項１３のうちのいずれか１項に記載の映像復号装置。
【請求項１５】
雑音混入手段を所定の映像復号単位でリセットするリセット手段を備えた
請求項９から請求項１４のうちのいずれか１項に記載の映像復号装置。
【請求項１６】
量子化インデックスを逆量子化して量子化代表値を得て、
得られた量子化代表値を逆変換して再構築画像ブロックを得て、
前記再構築画像ブロックの伸張情報に基づいて擬似ランダム雑音混入位置を決定し、前記擬似ランダム雑音混入位置の画像に擬似ランダム雑音を混入させる
映像符号化方法。
【請求項１７】
画像ブロックに対するイントラ予測信号またはフレーム間予測信号を計算し、
画像ブロックからイントラ予測信号またはフレーム間予測信号を減じて予測誤差画像ブロックを得て、
得られた予測誤差画像ブロックを変換して変換係数を得て、
得られた変換係数を量子化して量子化インデックスを得て、
得られた量子化インデックスをエントロピー符号化してそのビット列を出力し、
量子化代表値を逆変換して再構築予測誤差画像ブロックを計算し、イントラ予測信号またはフレーム間予測信号を前記再構築予測誤差画像ブロックに加えて再構築画像ブロックを得る
請求項１６記載の映像符号化方法。
【請求項１８】
画像ブロックに対するイントラ予測信号またはフレーム間予測信号を計算し、
画像ブロックからイントラ予測信号またはフレーム間予測信号を減じて予測誤差画像ブロックを得て、
得られた予測誤差画像ブロックを変換して変換係数を得て、
得られた変換係数を量子化して量子化インデックスを得て、
得られた量子化インデックスをエントロピー符号化してそのビット列を出力し、
量子化代表値を逆変換して再構築予測誤差画像ブロックを計算し、イントラ予測信号またはフレーム間予測信号を前記再構築予測誤差画像ブロックに加えて再構築画像ブロックを得て、
前記再構築画像ブロックを再構築画像ピクチャとして再構築画像格納手段に格納し、
前記再構築画像ピクチャのブロック歪みを除去し、
前記ブロック歪みが除去された再構築画像ピクチャに擬似ランダム雑音を混入させる
請求項１６記載の映像符号化方法。
【請求項１９】
伸張情報としての予測の種類、変換のブロックサイズ、量子化インデックス、または、それらのいずれかの組み合わせに基づいて擬似ランダム雑音混入位置を決定する
請求項１６から請求項１８のうちのいずれか１項に記載の映像符号化方法。
【請求項２０】
平坦な予測の種類、大きな変換のブロックサイズ、および有意なＡＣの量子化インデックスが少ないパターンの再構築画像ブロックを擬似ランダム雑音混入位置として決定する
請求項１９記載の映像符号化方法。
【請求項２１】
量子化ステップサイズに従って調節された量の擬似ランダム雑音を混入させる
請求項１６から請求項２０のうちのいずれか１項に記載の映像符号化方法。
【請求項２２】
イントラ予測の参照画像となる位置の画像には、擬似ランダム雑音を混入させない
請求項１６から請求項２１のうちのいずれか１項に記載の映像符号化方法。
【請求項２３】
擬似ランダム雑音として、所定の映像符号化単位でリセットされる擬似ランダム雑音を発生する
請求項１６から請求項２２のうちのいずれか１項に記載の映像符号化方法。
【請求項２４】
ビット列をエントロピー復号して量子化インデックスを得て、
画像ブロックに対するイントラ予測信号またはフレーム間予測信号を計算し、
前記量子化インデックスを逆量子化して量子化代表値を得て、
得られた量子化代表値を逆変換して再構築予測誤差画像ブロックを得て、
イントラ予測信号またはフレーム間予測信号を再構築予測誤差画像ブロックに加えて再構築画像ブロックを得て、
前記再構築画像ブロックの伸張情報に基づいて擬似ランダム雑音混入位置を決定し、前記擬似ランダム雑音混入位置の画像に擬似ランダム雑音を混入させる
映像復号方法。
【請求項２５】
再構築画像ブロックを再構築画像ピクチャとして再構築画像格納手段に格納し、
前記再構築画像ピクチャのブロック歪みを除去し、
前記ブロック歪みが除去された再構築画像ピクチャに擬似ランダム雑音を混入させる
請求項２４記載の映像復号方法。
【請求項２６】
伸張情報としての予測の種類、変換のブロックサイズ、量子化インデックス、または、それらのいずれかの組み合わせに基づいて擬似ランダム雑音混入位置を決定する
請求項２４または請求項２５記載の映像復号方法。
【請求項２７】
平坦な予測の種類、大きな変換のブロックサイズ、および有意なＡＣの量子化インデックスが少ないパターンの再構築画像ブロックを擬似ランダム雑音混入位置として決定する
請求項２６記載の映像復号方法。
【請求項２８】
量子化ステップサイズに従って調節された量の擬似ランダム雑音を混入させる
請求項２４から請求項２７のうちのいずれか１項に記載の映像復号方法。
【請求項２９】
イントラ予測の参照画像となる位置の画像には、擬似ランダム雑音を混入させない
請求項２４から請求項２８のうちのいずれか１項に記載の映像復号方法。
【請求項３０】
擬似ランダム雑音として、所定の映像復号単位でリセットされる擬似ランダム雑音を発生する
請求項２４から請求項２９のうちのいずれか１項に記載の映像復号方法。
【請求項３１】
コンピュータに、
量子化インデックスを逆量子化して量子化代表値を得る処理と、
得られた量子化代表値を逆変換して再構築画像ブロックを得る処理と、
前記再構築画像ブロックの伸張情報に基づいて擬似ランダム雑音混入位置を決定し、前記擬似ランダム雑音混入位置の画像に擬似ランダム雑音を混入させる処理と
を実行させるための映像符号化プログラム。
【請求項３２】
コンピュータに、
画像ブロックに対するイントラ予測信号またはフレーム間予測信号を計算する処理と、
画像ブロックからイントラ予測信号またはフレーム間予測信号を減じて予測誤差画像ブロックを得る処理と、
得られた予測誤差画像ブロックを変換して変換係数を得る処理と、
得られた変換係数を量子化して量子化インデックスを得る処理と、
得られた量子化インデックスをエントロピー符号化してそのビット列を出力する処理とを実行させ、
量子化代表値を逆変換して再構築予測誤差画像ブロックを計算し、イントラ予測信号またはフレーム間予測信号を前記再構築予測誤差画像ブロックに加えて再構築画像ブロックを得る処理を実行させる
請求項３１記載の映像符号化プログラム。
【請求項３３】
コンピュータに、
画像ブロックに対するイントラ予測信号またはフレーム間予測信号を得る処理と、
画像ブロックからイントラ予測信号またはフレーム間予測信号を減じて予測誤差画像ブロックを得る処理と、
得られた予測誤差画像ブロックを変換して変換係数を得る処理と、
得られた変換係数を量子化して量子化インデックスを得る処理と、
得られた量子化インデックスをエントロピー符号化してそのビット列を出力する処理とを実行させ、
量子化代表値を逆変換して再構築予測誤差画像ブロックを計算し、イントラ予測信号またはフレーム間予測信号を前記再構築予測誤差画像ブロックに加えて再構築画像ブロックを得る処理を実行させ、
前記逆周波数変換手段によって得られた再構築画像ブロックを再構築画像ピクチャとして再構築画像格納手段に格納する処理と、
前記再構築画像ピクチャのブロック歪みを除去する処理とを実行させ、
前記ブロック歪みが除去された再構築画像ピクチャに擬似ランダム雑音を混入させる処理を実行させる
請求項３１記載の映像符号化プログラム。
【請求項３４】
コンピュータに、伸張情報としての予測の種類、変換のブロックサイズ、量子化インデックス、または、それらのいずれかの組み合わせに基づいて擬似ランダム雑音混入位置を決定する処理を実行させる
請求項３１から請求項３３のうちのいずれか１項に記載の映像符号化プログラム。
【請求項３５】
コンピュータに、平坦な予測の種類、大きな変換のブロックサイズ、および有意なＡＣの量子化インデックスが少ないパターンの再構築画像ブロックを擬似ランダム雑音混入位置として決定する処理を実行させる
請求項３４記載の映像符号化プログラム。
【請求項３６】
コンピュータに、量子化ステップサイズに従って調節された量の擬似ランダム雑音を混入させる
請求項３１から請求項３５のうちのいずれか１項に記載の映像符号化プログラム。
【請求項３７】
コンピュータに、イントラ予測の参照画像となる位置の画像には、擬似ランダム雑音を混入させない
請求項３１から請求項３６のうちのいずれか１項に記載の映像符号化プログラム。
【請求項３８】
コンピュータに、擬似ランダム雑音として、所定の映像符号化単位でリセットされる擬似ランダム雑音を発生させる
請求項３１から請求項３７のうちのいずれか１項に記載の映像符号化プログラム。
【請求項３９】
コンピュータに、
ビット列をエントロピー復号して量子化インデックスを計算する処理と、
画像ブロックに対するイントラ予測信号またはフレーム間予測信号を計算する処理と、
前記量子化インデックスを逆量子化して量子化代表値を得る処理と、
得られた量子化代表値を逆変換して再構築予測誤差画像ブロックを得る処理と、
イントラ予測信号またはフレーム間予測信号を前記再構築予測誤差画像ブロックに加えて再構築画像ブロックを得る処理と、
前記再構築画像ブロックの伸張情報に基づいて擬似ランダム雑音混入位置を決定し、前記擬似ランダム雑音混入位置の画像に擬似ランダム雑音を混入させる処理と
を実行させるための映像復号プログラム。
【請求項４０】
コンピュータに、
再構築画像ブロックを再構築画像ピクチャとして再構築画像格納手段に格納する処理と、
前記再構築画像ピクチャのブロック歪みを除去する処理とを実行させ、
前記ブロック歪みが除去された再構築画像ピクチャに擬似ランダム雑音を混入させる処理を実行させる
請求項３９記載の映像復号プログラム。
【請求項４１】
コンピュータに、伸張情報としての予測の種類、変換のブロックサイズ、量子化インデックス、または、それらのいずれかの組み合わせに基づいて擬似ランダム雑音混入位置を決定する処理を実行させる
請求項３９または請求項４０記載の映像復号プログラム。
【請求項４２】
コンピュータに、
平坦な予測の種類、大きな変換のブロックサイズ、および有意なＡＣの量子化インデックスが少ないパターンの再構築画像ブロックを擬似ランダム雑音混入位置として決定する処理を実行させる
請求項４１記載の映像復号プログラム。
【請求項４３】
コンピュータに、量子化ステップサイズに従って調節された量の擬似ランダム雑音を混入させる
請求項３９から請求項４２のうちのいずれか１項に記載の映像復号プログラム。
【請求項４４】
コンピュータに、イントラ予測の参照画像となる位置の画像には、擬似ランダム雑音を混入させない
請求項３９から請求項４３のうちのいずれか１項に記載の映像復号プログラム。
【請求項４５】
コンピュータに、擬似ランダム雑音として、所定の映像復号単位でリセットされる擬似ランダム雑音を発生させる
請求項３９から請求項４４のうちのいずれか１項に記載の映像復号プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、輪郭および階段アーティファクトを低減する映像符号化技術が適用された映像符号化装置および映像復号装置に関する。
【背景技術】
【０００２】
一般に、映像符号化装置は、外部から入力される動画像信号をディジタル化した後、所定の映像符号化方式に準拠した符号化処理を行うことで符号化データすなわちビットストリームを生成する。【０００３】
所定の映像符号化方式として非特許文献１に記載されたＩＳＯ／ＩＥＣ  14496-10 Advanced Video Coding（ＡＶＣ）がある。ＡＶＣ方式の符号化器の参照モデルとしてJoint Model方式が知られている（以下、一般的な映像符号化装置という）。【０００４】
図２８を参照して、ディジタル化された映像の各フレームを入力としてビットストリームを出力する一般的な映像符号化装置の構成と動作を説明する。【０００５】
図２８に示すように、一般的な映像符号化装置は、ＭＢバッファ１０１、周波数変換部１０２、量子化部１０３、エントロピー符号化部１０４、逆量子化部１０５、逆周波数変換部１０６、ピクチャバッファ１０７、ブロック歪み除去フィルタ部１０８、デコードピクチャバッファ１０９、イントラ予測部１１０、フレーム間予測部１１１、符号化制御部１１２およびスイッチ１００を備えている。【０００６】
一般的な映像符号化装置は、各フレームをＭＢ（Macro Block ：マクロブロック）とよばれる１６×１６画素サイズのブロックに分割し、さらにＭＢを４×４画素サイズのブロック分割し、分割して得られた４×４ブロックを符号化の最小構成単位とする。【０００７】
図２９は、フレームの空間解像度がＱＣＩＦ（Quarter Common Intermediate Format）の場合のブロック分割の例を示す説明図である。以下、簡単のために、輝度の画素値のみに着目して、図２８に示された各部の動作を説明する。【０００８】
ＭＢバッファ１０１には、入力画像フレームの符号化対象ＭＢの画素値が格納される。以下、符号化対象ＭＢを入力ＭＢという。【０００９】
ＭＢバッファ１０１から供給される入力ＭＢは、スイッチ１００を介して、イントラ予測部１１０またはフレーム間予測部１１１から供給される予測信号が減じられる。以下、予測信号が減じられた入力ＭＢを予測誤差画像ブロックという。【００１０】
イントラ予測部１１０は、ピクチャバッファ１０７に格納された再構築画像であって現在のフレームと表示時刻が同一である再構築画像を利用してイントラ予測信号を生成する。以下、イントラ予測信号を用いて符号化されるＭＢをイントラＭＢという。【００１１】
フレーム間予測部１１１は、現在のフレームと表示時刻が異なる、デコードピクチャバッファ１０９に格納された参照画像を利用してフレーム間予測信号を生成する。以下、フレーム間予測信号を用いて符号化されるＭＢをインターＭＢという。【００１２】
なお、イントラＭＢのみで符号化されたフレームはＩフレームと呼ばれる。イントラＭＢだけでなくインターＭＢも含めて符号化されたフレームはＰフレームと呼ばれる。フレーム間予測信号の生成に１枚の参照画像だけでなく同時に２枚の参照画像を用いるインターＭＢを含めて符号化されたフレームはＢフレームと呼ばれる。【００１３】
符号化制御部１１２は、イントラ予測信号およびフレーム間予測信号とＭＢバッファ１０１に格納されている入力ＭＢとを比較して、予測誤差画像ブロックのエネルギーが小さくなる予測信号を選択し、スイッチ１００を制御する。選択された予測信号に関連する情報は、エントロピー符号化部１０４に供給される。【００１４】
また、符号化制御部１１２は、入力ＭＢまたは予測誤差画像ブロックに基づいて、予測誤差画像ブロックの周波数変換に適した整数ＤＣＴの基底ブロックサイズを選択する。整数ＤＣＴは、一般的な映像符号化装置ではＤＣＴ基底を整数値で近似した基底による周波数変換を意味する。基底ブロックサイズの選択肢として、１６×１６、８×８、４×４の３つのブロックサイズがある。入力ＭＢまたは予測誤差画像ブロックの画素値が平坦になる程、より大きな基底ブロックサイズが選択される。選択された整数ＤＣＴの基底サイズに関する情報は、周波数変換部１０２およびエントロピー符号化部１０４に供給される。以下、選択された予測信号に関連する情報および選択された整数ＤＣＴの基底サイズに関する情報を補助情報という。【００１５】
さらに、符号化制御部１１２は、目標ビット数以下でフレームを符号化するために、エントロピー符号化部１０４が出力するビットストリームのビット数を監視する。そして、出力されるビットストリームのビット数が目標ビット数よりも多ければ量子化ステップサイズを大きくする量子化パラメータを出力し、逆に出力されるビットストリームのビット数が目標ビット数よりも少なければ量子化ステップサイズを小さくする量子化パラメータを出力する。そのようにして、出力ビットストリームは目標のビット数に近づくように符号化される。【００１６】
周波数変換部１０２は、選択された整数ＤＣＴの基底サイズで、予測誤差画像ブロックを周波数変換して、空間領域から周波数領域に変換する。周波数領域に変換された予測誤差を変換係数という。周波数変換には、ＤＣＴ（Discrete Cosine Transform ）やアダマール変換などの直交変換を利用することができる。【００１７】
量子化部１０３は、符号化制御部１１２から供給される量子化パラメータに対応する量子化ステップサイズで、変換係数を量子化する。なお、量子化された変換係数の量子化インデックスはレベルとも呼ばれる。【００１８】
エントロピー符号化部１０４は、補助情報と量子化インデックスとをエントロピー符号化して、そのビット列すなわちビットストリームとして出力する。【００１９】
逆量子化部１０５および逆変換部１０６は、以後の符号化のために、量子化部１０３から供給される量子化インデックスを逆量子化して量子化代表値を得て、さらに逆周波数変換して元の空間領域に戻す。以下、元の空間領域に戻された予測誤差画像ブロックを再構築予測誤差画像ブロックという。【００２０】
ピクチャバッファ１０７には、現在のフレームに含まれる全てのＭＢが符号化されるまで、再構築予測誤差画像ブロックに予測信号が加えられた再構築画像ブロックが格納される。以下、ピクチャバッファ１０７において再構築画像によって構成されるピクチャを再構築画像ピクチャという。【００２１】
ブロック歪み除去フィルタ部１０８は、ピクチャバッファ１０７に格納された再構築画像ピクチャに対してブロック歪みを除去する。【００２２】
デコードピクチャバッファ１０９は、ブロック歪み除去フィルタ部１０８から供給される、ブロック歪みが除去された再構築画像ピクチャを参照画像ピクチャとして格納する。なお、参照画像ピクチャの画像は、フレーム間予測信号を生成するための参照画像として利用される。【００２３】
図２８に示された映像符号化装置は、上述した処理によって、ビットストリームを生成する。
【先行技術文献】
【特許文献】
【００２４】
【特許文献１】特表２００７−５０３１６６号公報
【特許文献２】特表２００７−５０７１６９号公報
【非特許文献】
【００２５】
【非特許文献１】ＩＳＯ／ＩＥＣ  14496-10 Advanced Video Coding
【非特許文献２】L.G. Roberts，”Picture coding using pseudorandom noise ”，IRE Trans. on Information Theory，vol. IT-8 ，pp145-154 ，1962年 2月
【非特許文献３】G. Conklin and N. Gokhale ，”Dithering 5-tap Filter for Inloop Deblocking”，Joint Video Team（JVT ） of ISO/IEC MPEG & ITU-T VCEG ，JVT-C056，2002年 5月
【非特許文献４】蝶野他，”アダマール変換の性質を利用したH.264 イントラ予測推定器の低演算量化方式”，電子情報通信学会大会講演論文集，D-11-52 ，2005年
【発明の概要】
【発明が解決しようとする課題】
【００２６】
上述した技術によって低ビットレートで圧縮され伸張された映像は、人間が認識可能なアーティファクトを発生する。ブロック歪みやリンギング歪みは、ブロックベース符号化に基づいて圧縮され伸張された映像に発生する典型的なアーティファクトである。【００２７】
非特許文献２では、アーティファクトに対する人間の視覚感度を低下させるために、画像に擬似ランダム雑音を混入させることによってアーティファクトを低減することが提案されている。非特許文献３は、ブロックベース符号化である非特許文献１に開示されているブロック歪み除去フィルタにおいて、画像ブロック境界に対する画素の位置に従う量のランダムノイズディザを再構築画像に加えること、およびブロック歪み除去フィルタを適用する画像ブロック境界の順序を入れ替えることが提案されている。【００２８】
特許文献１および特許文献２では、現在の画像の少なくとも一部の輝度に関連づけられた量、または前の画像の画素の付加的ノイズに関連する量の付加的ノイズを混入させることが提案されている。【００２９】
しかし、上記の各文献には、ブロックベース符号化に基づく高解像度映像の圧縮および伸張において問題になる輪郭および階段アーティファクトを効率的に低減するための擬似ランダム雑音混入候補位置の決定方法が考慮されていない。従って、上記の各文献に記載された技術では、特に、高解像度映像の輪郭および階段アーティファクトを効率的に低減できない。なお、効率には、輪郭および階段アーティファクトの低減効率だけでなく、計算効率も含まれる。【００３０】
そこで、本発明は、輪郭および階段アーティファクトを効率的に低減することができる映像符号化装置および映像復号装置を提供することを目的とする。
【課題を解決するための手段】
【００３１】
本発明による映像符号化装置は、量子化インデックスを逆量子化して量子化代表値を得る逆量子化手段と、前記逆量子化手段によって得られた量子化代表値を逆変換して再構築画像ブロックを得る逆周波数変換手段と、再構築画像ブロックの伸張情報に基づいて擬似ランダム雑音混入位置を決定し、擬似ランダム雑音混入位置の画像に擬似ランダム雑音を混入させる雑音混入手段とを備えたことを特徴とする。【００３２】
本発明による映像復号装置は、ビット列をエントロピー復号して量子化インデックスを得るエントロピー復号手段と、画像ブロックに対するイントラ予測信号またはフレーム間予測信号を計算する予測手段と、前記量子化インデックスを逆量子化して量子化代表値を得る逆量子化手段と、前記逆量子化手段によって得られた量子化代表値を逆変換して再構築予測誤差画像ブロックを得る逆周波数変換手段と、イントラ予測信号またはフレーム間予測信号を前記逆周波数変換手段によって得られた再構築予測誤差画像ブロックに加えて再構築画像ブロックを得る再構築手段と、前記再構築画像ブロックの伸張情報に基づいて擬似ランダム雑音混入位置を決定し、前記擬似ランダム雑音混入位置の画像に擬似ランダム雑音を混入させる雑音混入手段とを備えたことを特徴とする。【００３３】
本発明による映像符号化方法は、量子化インデックスを逆量子化して量子化代表値を得て、得られた量子化代表値を逆変換して再構築画像ブロックを得て、前記再構築画像ブロックの伸張情報に基づいて擬似ランダム雑音混入位置を決定し、前記擬似ランダム雑音混入位置の画像に擬似ランダム雑音を混入させることを特徴とする。【００３４】
本発明による映像復号方法は、ビット列をエントロピー復号して量子化インデックスを得て、画像ブロックに対するイントラ予測信号またはフレーム間予測信号を計算し、前記量子化インデックスを逆量子化して量子化代表値を得て、得られた量子化代表値を逆変換して再構築予測誤差画像ブロックを得て、イントラ予測信号またはフレーム間予測信号を再構築予測誤差画像ブロックに加えて再構築画像ブロックを得て、前記再構築画像ブロックの伸張情報に基づいて擬似ランダム雑音混入位置を決定し、前記擬似ランダム雑音混入位置の画像に擬似ランダム雑音を混入させることを特徴とする。【００３５】
本発明による映像符号化プログラムは、コンピュータに、量子化インデックスを逆量子化して量子化代表値を得る処理と、得られた量子化代表値を逆変換して再構築画像ブロックを得る処理と、前記再構築画像ブロックの伸張情報に基づいて擬似ランダム雑音混入位置を決定し、前記擬似ランダム雑音混入位置の画像に擬似ランダム雑音を混入させる処理ことを特徴とする。【００３６】
本発明による映像復号プログラムは、コンピュータに、ビット列をエントロピー復号して量子化インデックスを計算する処理と、画像ブロックに対するイントラ予測信号またはフレーム間予測信号を計算する処理と、前記量子化インデックスを逆量子化して量子化代表値を得る処理と、得られた量子化代表値を逆変換して再構築予測誤差画像ブロックを得る処理と、イントラ予測信号またはフレーム間予測信号を前記再構築予測誤差画像ブロックに加えて再構築画像ブロックを得る処理と、前記再構築画像ブロックの伸張情報に基づいて擬似ランダム雑音混入位置を決定し、前記擬似ランダム雑音混入位置の画像に擬似ランダム雑音を混入させる処理ことを特徴とする。
【発明の効果】
【００３７】
本発明によれば、伸張画像のすべての画素値を比較して画素値の変動量を解析することなく、輪郭および階段アーティファクトが目立つ位置を正確に検出できる。従って、効率的に高解像度映像の輪郭および階段アーティファクトを低減できる映像符号化装置および映像復号装置を提供できる。
【図面の簡単な説明】
【００３８】
【図１】第１の実施形態の映像符号化装置のブロック図である。
【図２】平坦な予測信号となる予測の種類を説明するための説明図である。
【図３】平坦な予測信号となる予測の種類を説明するための説明図である。
【図４】８×８ブロックサイズのＤＣＴ基底を示す説明図である。
【図５】４×４ブロックサイズのＤＣＴ基底を示す説明図である。
【図６】１６×１６ブロックサイズのＤＣＴ基底を示す説明図である。
【図７】１６×１６ブロックサイズの整数ＤＣＴの構成例を示す説明図である。
【図８】第２の実施形態の映像符号化装置のブロック図である。
【図９】第３の実施形態の映像符号化装置のブロック図である。
【図１０】ブロック歪み除去フィルタ部の動作を説明するための説明図である。
【図１１】ブロック歪み除去フィルタ部の動作を説明するための説明図である。
【図１２】ｂＳを決定する処理を示すフローチャートである。
【図１３】ｂＳを決定する処理を示すフローチャートである。
【図１４】第４の実施形態の映像復号装置のブロック図である。
【図１５】第５の実施形態の映像復号装置のブロック図である。
【図１６】第６の実施形態の映像復号装置のブロック図である。
【図１７】第２の実施形態の映像符号化装置に対して擬似ランダム雑音混入候補位置の再構築画像ブロックについてのみ画素値の変動量を実際に計算し計算した画素値の変動量の大小に基づいて擬似ランダム雑音混入位置を決定する雑音混入器を適用した場合の構成を示すブロック図である。
【図１８】第２の実施形態の映像符号化装置に対して擬似ランダム雑音混入候補位置の再構築画像ブロックについてのみ画素値の変動量を実際に計算し計算した画素値の変動量の大小に基づいて擬似ランダム雑音混入位置を決定する雑音混入器を適用した場合の構成を示すブロック図である。
【図１９】第５の実施形態の映像復号装置に対して擬似ランダム雑音混入候補位置の再構築画像ブロックについてのみ画素値の変動量を実際に計算し計算した画素値の変動量の大小に基づいて擬似ランダム雑音混入位置を決定する雑音混入器を適用した場合の構成を示すブロック図である。
【図２０】第３の実施形態の映像符号化装置に対して擬似ランダム雑音混入候補位置の再構築画像ブロックについてのみ画素値の変動量を実際に計算し計算した画素値の変動量の大小に基づいて擬似ランダム雑音混入位置を決定する雑音混入器を適用した場合の構成を示すブロック図である。
【図２１】第６の実施形態の映像復号装置に対して擬似ランダム雑音混入候補位置の再構築画像ブロックについてのみ画素値の変動量を実際に計算し計算した画素値の変動量の大小に基づいて擬似ランダム雑音混入位置を決定する雑音混入器を適用した場合の構成を示すブロック図である。
【図２２】擬似ランダム雑音の発生器のリセットを説明するための説明図である。
【図２３】本発明による映像符号化装置および映像復号装置の機能を実現可能な情報処理システムの構成例を示すブロック図である。
【図２４】本発明による映像符号化装置の主要構成を示すブロック図である。
【図２５】本発明による映像復号装置の主要構成を示すブロック図である。
【図２６】本発明による映像符号化装置の処理を示すフローチャートである。
【図２７】本発明による映像復号装置の処理を示すフローチャートである。
【図２８】一般的な映像符号化装置の構成を示すブロック図である。
【図２９】ブロック分割の例を示す説明図である。
【発明を実施するための形態】
【００３９】
実施形態１．
図１は、本発明の第１の実施形態のブロック図であり、再構築画像ブロックの伸張途中の情報に基づいて擬似ランダム雑音混入候補位置を決定し、再構築予測誤差画像ブロックに擬似ランダム雑音を混入させる映像符号化装置を示すブロック図である。
【００４０】
図１に示すように、本実施形態の映像符号化装置は、ＭＢバッファ１０１、周波数変換部１０２、量子化部１０３、エントロピー符号化部１０４、逆量子化部１０５、逆周波数変換部１０６、ピクチャバッファ１０７、ブロック歪み除去フィルタ部１０８、デコードピクチャバッファ１０９、イントラ予測部１１０、フレーム間予測部１１１、符号化制御部１１２およびスイッチ１００に加えて、雑音混入器１１３を備えている。
【００４１】
本実施形態の映像符号化装置は、雑音混入器１１３が設けられている点と、雑音混入器１１３の出力が逆周波数変換部１０６に供給されている点とにおいて、図２８に示された一般的な映像符号化装置と異なる。よって、以下の説明では、特に、本実施形態の映像符号化装置の特徴である雑音混入器１１３と逆周波数変換部１０６との動作を詳細に説明する。
【００４２】
ＭＢバッファ１０１には、入力画像フレームの符号化対象ＭＢの画素値が格納される。
【００４３】
ＭＢバッファ１０１から供給される入力ＭＢから、スイッチ１００を介してイントラ予測部１１０またはフレーム間予測部１１１から供給される予測信号が減じられる。
【００４４】
ＭＢバッファ１０１から供給される入力ＭＢから、スイッチ１００を介してイントラ予測部１１０またはフレーム間予測部１１１から供給される予測信号が減じられる。
【００４５】
イントラ予測部１１０は、ピクチャバッファ１０７に格納された再構築画像であって現在のフレームと表示時刻が同一である再構築画像を利用してイントラ予測信号を生成する。イントラ予測に関連する情報として、イントラ予測のブロックサイズを示すイントラ予測モード、および方向を示すイントラ予測方向がある。
【００４６】
イントラ予測については、非特許文献１の8.3.1〜8.3.3に記載されているように、３種類のブロックサイズのイントラ予測モードIntra_４×４、Intra_８×８、Intra_１６×１６がある。
【００４７】
図２（ａ），（ｃ）を参照すると、Intra_４×４とIntra_８×８はそれぞれ４×４ブロックサイズと８×８ブロックサイズのイントラ予測であることがわかる。ただし、図中の丸（○）はイントラ予測の参照画素、つまり、ピクチャバッファ１０７に格納された再構築画像を示す。
【００４８】
Intra_４×４のイントラ予測では、再構築画像の周辺画素をそのまま参照画素とし、図２（ｂ）に示す９種類の方向に参照画素をパディング（外挿）して予測信号が形成される。Intra_８×８のイントラ予測では、図２（ｃ）における右矢印の直下に記載されているローパスフィルタ（１／２、１／４、１／２）によって再構築画像の周辺画素が平滑化された画素を参照画素として、図２（ｂ）に示す９種類の方向に参照画素を外挿して予測信号が形成される。
【００４９】
図３（ａ）を参照すると、Intra_１６×１６は１６×１６ブロックサイズのイントラ予測であることがわかる。図２に示された例と同様に、図３において、図中の丸（○）はイントラ予測の参照画素、つまり、ピクチャバッファ１０７に格納された再構築画像を示す。Intra_１６×１６のイントラ予測では、再構築画像の周辺画素をそのまま参照画素として、図３（ｂ）に示す４種類の方向に参照画素を外挿して予測信号が形成される。
【００５０】
以下、イントラ予測のブロックサイズをイントラ予測モードという。また、外挿の方向をイントラ予測方向という。
【００５１】
非特許文献４に記載されているように、ＤＣ（図２および図３（ｂ）の「２」参照）、水平（図２と図３（ｂ）の「１」参照）および垂直（図２および図３（ｂ）の「０」参照）それぞれのイントラ予測方向の予測信号のアダマール変換については、有意な変換係数は特定の成分のみにしか発生しない。具体的には、ＤＣのイントラ予測方向についてはＤＣのみの有意な変換係数、水平のイントラ予測方向についてはＤＣおよび垂直成分のＡＣのみの有意な変換係数、垂直のイントラ予測方向についてはＤＣおよび水平成分のＡＣのみの有意な変換係数になる。
【００５２】
有意な変換係数が特定の成分のみにしか発生しないことは、ＤＣのイントラ予測方向については画像の変動量がゼロ（すなわち、平坦な予測信号）、水平のイントラ予測方向については水平方向の画像の変動量がゼロ（すなわち、水平方向に平坦な予測信号）、垂直のイントラ予測方向については垂直方向の画像の変動量がゼロ（すなわち、垂直方向に平坦な予測信号）であることを示している。
【００５３】
イントラ予測方向の予測信号の整数ＤＣＴについても、一例として示す図４の説明図に示す８×８ブロックサイズのＤＣＴ基底から明らかなように、ＤＣのイントラ予測方向については画像の変動量がゼロ、水平のイントラ予測方向については水平方向の画像の変動量がゼロ、垂直のイントラ予測方向については垂直方向の画像の変動量がゼロとなる。なお、図５と図６にそれぞれ示す４×４ブロックサイズのＤＣＴ基底と１６×１６ブロックサイズのＤＣＴ基底からわかるように、ブロックサイズが４×４または１６×１６についても、８×８ブロックサイズのＤＣＴ基底の場合と同様に、ＤＣのイントラ予測方向については画像の変動量がゼロ、水平のイントラ予測方向については水平方向の画像の変動量がゼロ、垂直のイントラ予測方向については垂直方向の画像の変動量がゼロとなる。
【００５４】
以上のことから、ＤＣ、水平、垂直およびPlane （図３（ｂ）の「３」参照）のイントラ予測方向は平坦な予測の種類であることがわかる。つまり、イントラ予測方向によって、再構築画像の変動量の大小を推定できることがわかる。
【００５５】
符号化制御部１１２は、通常、それぞれのイントラ予測モードとそのイントラ予測方向との組み合わせである予測信号と、入力ＭＢとを比較して、予測誤差画像ブロックのエネルギーが小さくなる予測信号をイントラ予測信号とする。
【００５６】
フレーム間予測部１１１は、現在のフレームと表示時刻が異なる、デコードピクチャバッファ１０９に格納された参照画像を利用してフレーム間予測信号を生成する。フレーム間予測に関連する情報として、参照ピクチャインデックスや動きベクトルなどの情報がある。
【００５７】
符号化制御部１１２は、イントラ予測信号およびフレーム間予測信号とＭＢバッファ１０１に格納されている入力ＭＢとを比較して、予測誤差画像ブロックのエネルギーが小さくなる予測信号を選択し、スイッチ１００を制御する。選択された予測信号に関連する情報は、エントロピー符号化部１０４に供給される。
【００５８】
なお、予測誤差画像ブロックのエネルギーが小さくなる予測信号がイントラ予測信号である場合、選択された予測信号に関連する情報は、イントラ予測モードとイントラ予測方向である。
【００５９】
また、符号化制御部１１２は、入力ＭＢまたは予測誤差画像ブロックに基づいて、予測誤差画像ブロックの周波数変換に適した整数ＤＣＴの基底ブロックサイズを選択する。選択された整数ＤＣＴの基底サイズは、周波数変換部１０２およびエントロピー符号化部１０４に供給される。通常、入力ＭＢまたは予測誤差画像ブロックの画素値が平坦になる程、より大きな基底ブロックサイズが選択される。換言すると、大きな基底ブロックサイズの再構築画像ブロックでは再構築画像は平坦である。なお、予測誤差画像ブロックのエネルギーが小さくなる予測信号がイントラ予測信号である場合には、選択された整数ＤＣＴの基底サイズはイントラ予測モードのブロックサイズと同一である。
【００６０】
さらに、符号化制御部１１２は、目標ビット数以下でフレームを符号化するために、エントロピー符号化部１０４が出力するビットストリームのビット数を監視する。そして、出力されるビットストリームのビット数が目標ビット数よりも多ければ量子化ステップサイズを大きくする量子化パラメータを出力し、逆に、出力されるビットストリームのビット数が目標ビット数よりも少なければ量子化ステップサイズを小さくする量子化パラメータを出力する。そのようにして、出力ビットストリームは目標のビット数に近づくように符号化される。
【００６１】
周波数変換部１０２は、選択された整数ＤＣＴの基底サイズで、予測誤差画像ブロックを周波数変換して空間領域から周波数領域に変換する。
【００６２】
量子化部１０３は、変換係数を、符号化制御部１１２が供給する量子化パラメータに対応する量子化ステップサイズで量子化する。
【００６３】
ここで、図４に例示された８×８ブロックサイズのＤＣＴ基底からもわかるように、高周波数のＡＣの基底ほど（右矢印または下矢印の方向の基底ほど）変動量が大きいことに着目する。すると、有意なＡＣの量子化インデックスが少ないパターンの再構築画像では、その画素値の変動量が小さいと推定できることがわかる。つまり、有意なＡＣの量子化インデックスが少ないパターンの予測誤差画像ブロックについては、その再構築画像が平坦であることがわかる。
【００６４】
エントロピー符号化部１０４は、選択された予測信号に関連する情報、整数ＤＣＴの基底サイズ、および量子化インデックスをエントロピー符号化して、そのビット列すなわちビットストリームとして出力する。
【００６５】
逆量子化部１０５は、以後の符号化のために、量子化部１０３から供給される量子化インデックスを逆量子化する。逆量子化された量子化インデックスを量子化代表値という。
【００６６】
雑音混入器１１３は、エントロピー符号化部１０４に供給される予測誤差画像ブロックについて予測信号に関連する情報、整数ＤＣＴの基底サイズ、および量子化インデックスを監視する。
【００６７】
雑音混入器１１３は、選択された予測信号に関連する情報、整数ＤＣＴの基底サイズ、量子化インデックス、または、それらの何れかの組み合わせに基づいて、再構築画像すべての画素値を比較することなく画素値の変動量を推定し、擬似ランダム雑音混入候補位置を決定する。例えば、上述した平坦な予測の種類、大きな整数ＤＣＴの基底サイズ、および、有意なＡＣの量子化インデックスが少ないパターンの予測誤差画像ブロックについては、対応する再構築画像ブロックの画素値の変動量が小さくなる。従って、そのような予測誤差画像ブロックを擬似ランダム雑音混入候補位置と決定し、そうでない予測誤差画像ブロックについては、擬似ランダム雑音非混入候補位置と決定する。
【００６８】
なお、平坦な予測の種類の予測誤差画像ブロックに対応する再構築画像ブロック、大きな整数ＤＣＴの基底サイズ（あらかじめ定められた所定サイズよりも大きな基底サイズ）の予測誤差画像ブロックに対応する再構築画像ブロック、有意なＡＣの量子化インデックスが少ないパターンの予測誤差画像ブロックに対応する再構築画像ブロック、平坦な予測の種類および大きな整数ＤＣＴの基底サイズの予測誤差画像ブロックに対応する再構築画像ブロック、大きな整数ＤＣＴTの基底サイズおよび有意なＡＣの量子化インデックスが少ないパターンの予測誤差画像ブロックに対応する再構築画像ブロック、または、平坦な予測および有意なＡＣの量子化インデックスが少ないパターンの予測誤差画像ブロックに対応する再構築画像ブロックを、その画素値の変動量が小さいと推定してもよい（なお、前記有意なＡＣの量子化インデックスが少ないパターンには、あらかじめ定められた低周波数成分だけに有意なＡＣの量子化インデックスが存在するパターン、または、すべての周波数成分にわたって有意なＡＣの量子化インデックスが疎に存在するパターンが利用できる。）。
【００６９】
雑音混入器１１３は、擬似ランダム雑音混入候補位置について、擬似ランダム雑音ｎ（ｉ）を発生する。すなわち、本実施形態では、擬似ランダム雑音混入候補位置が、擬似ランダム雑音混入位置に相当する。擬似ランダム雑音ｎ（ｉ）を、例えば、式（１）による線形合同法などに基づいて発生すればよい。
【００７０】
ｎ（ｉ）＝（ａ×ｎ（ｉ−１）＋ｂ）％ｃ              ・・・（１）
【００７１】
ただし、ａ，ｂおよびｃは擬似ランダム雑音の周期を決定するパラメータであり、ａ＞０，ｂ＞０，ａ≦ｃ，ｂ＜ｃである、また、ｘ％ｙは、ｘをｙで割った余りを返す処理を示す。
【００７２】
雑音混入器１１３は、擬似ランダム雑音非混入候補位置について、ゼロの擬似ランダム雑音を発生する。ゼロの擬似ランダム雑音の発生は、予測誤差画像ブロックに擬似ランダム雑音を混入させないことを示す。
【００７３】
逆変換部１０６は、量子化代表値を逆周波数変換し、さらに雑音混入器１１３から供給される擬似ランダム雑音を混入させて元の空間領域に戻す。以下、イントラ予測モードのブロックサイズ毎の具体的な処理を説明する。ただし、非特許文献１に記載されているＡＶＣでは、逆変換と逆量子化の処理が統合されているので、逆量子化を含めた説明になっている。
【００７４】
まず、Intra_１６×１６の場合の逆変換と逆量子化を説明する。すなわち、Intra_１６×１６の場合の、量子化代表値を逆周波数変換して雑音混入器１１３から擬似ランダム雑音を混入させる動作を説明する。本実施形態では、図７に示すように、１６×１６ブロックサイズの整数ＤＣＴが、４×４ブロックサイズの整数ＤＣＴと４×４ブロックサイズのアダマール変換とを組み合わせて構成されているとする。
【００７５】
Intra_１６×１６の４×４ＤＣブロックの逆周波数変換は、量子化インデックスをＬ16＝｛ｌ16００・・・ｌ16３３｝、逆変換係数をＦ16＝｛ｆ16００・・・ｆ16３３｝とすると、式（２）で定義される。
【００７６】
【数１】
2011064944.tif 000003
【００７７】
Intra_１６×１６の４×４ＤＣブロックの逆量子化は、量子化パラメータをｑｐ、逆量子化の出力をｄｃＹｉｊとすると、式（３）で定義される。ただし、LevelScale（m,i,j ）は式（４）で表され、Ｍは式（５）で表される。
【００７８】
【数２】
2011064944.tif 000004
【００７９】
【数３】
2011064944.tif 000005
【００８０】
【数４】
2011064944.tif 000006
【００８１】
さらに、逆量子化の出力は、図４に示すようにIntra_１６×１６の４×４ＡＣブロックのＤＣになる。各４×４ＡＣブロックに、以下に説明する４×４ブロック逆変換／逆量子化を適用する。
【００８２】
Intra_１６×１６の４×４ＡＣブロックでは、逆量子化を行った後に、逆変換を適用する。ＭＢ内での４×４ブロック座標を（ｉ，ｊ）、量子化インデックスをＬ＝｛ｌ００・・・ｌ３３｝、量子化代表値をｄｉｊとすると、４×４ＡＣブロックの逆量子化は式（６）で定義される。
【００８３】
【数５】
2011064944.tif 000007
【００８４】
続いて、逆変換係数をＣ＝｛ｃ００・・・ｃ３３｝とすると、４×４ブロックの逆変換は式（７）で定義される。
【００８５】
【数６】
2011064944.tif 000008
【００８６】
さらに、式（８）に示すように、逆変換係数Ｃに擬似ランダム雑音Ｎ＝｛ｎ００・・・ｎ３３｝（式（１）のｎ（ｉ）を適当な法則で並び変えたとする）を加えて正規化して、再構築予測誤差画像ブロックＰＤ｛pd００・・・pd３３｝を得る。すなわち逆変換係数を元の空間領域に戻す。
【００８７】
pdｉｊ＝（ｃｉｊ＋（ｎｉｊ％６４）＋３２）＞＞６                  ・・・（８）
【００８８】
式（８）に示すように、擬似ランダム雑音の影響強度が絶対値で１画素以下になるように、６４で割った余りが加えられている。擬似ランダム雑音の影響強度を絶対値で１画素以下にすることによって、擬似ランダム雑音混入によるＰＳＮＲ（Peak Signal to Noise Ratio）の低下を抑制できる。
【００８９】
次に、Intra_８×８の場合の逆変換と逆量子化を説明する。すなわち、Intra_８×８の場合の、量子化代表値を逆周波数変換して雑音混入器１１３から擬似ランダム雑音を混入させる動作を説明する。
【００９０】
量子化インデックスをＬ8 ＝｛ｌ8 ００・・・ｌ8 ７７｝、量子化代表値をＤ8 ＝｛ｄ8 ００・・・ｄ8 ７７｝とすると、Intra_８×８の逆量子化は式（９）で定義される。ただし、LevelScale8（m,i,j ）は式（１０）で表され、Ｍ8 は式（１１）で表される。
【００９１】
【数７】
2011064944.tif 000009
【００９２】
【数８】
2011064944.tif 000010
【００９３】
【数９】
2011064944.tif 000011
【００９４】
続いて、逆変換係数をＣ＝｛ｃ００・・・ｃ７７｝とすると、Intra_８×８の逆変換は式（１２）で定義される。ただし、Ｔ８は、式（１３）のように表される。
【００９５】
Ｃ８＝Ｔ８ｔＤ８Ｔ８                                            ・・・（１２）
【００９６】
【数１０】
2011064944.tif 000012
【００９７】
さらに、式（１４）に示すように、逆変換係数Ｃに擬似ランダム雑音Ｎ＝｛ｎ００・・・ｎ７７｝（式（１）のｎ（ｉ）を適当な法則で並び変えたとする）を加えて正規化して、再構築予測誤差画像ブロックＰＤ｛pd００・・・pd７７｝を得る。すなわち逆変換係数を元の空間領域に戻す。
【００９８】
pdｉｊ＝（ｃ8 ｉｊ＋（ｎｉｊ％６４）＋３２）＞＞６              ・・・（１４）
【００９９】
次に、Intra_４×４の場合の逆変換と逆量子化を説明する。すなわち、Intra_４×４の場合の、量子化代表値を逆周波数変換して雑音混入器１１３から擬似ランダム雑音を混入させる動作を説明する。
【０１００】
量子化インデックスをＬ＝｛ｌ００・・・ｌ３３｝、量子化代表値をｄｉｊとすると、Intra_４×４の逆量子化は式（１５）で定義される。
【０１０１】
【数１１】
2011064944.tif 000013
【０１０２】
続いて、逆変換係数をＣ＝｛ｃ００・・・ｃ３３｝とすると、４×４ブロックの逆変換は式（１６）で定義される。
【０１０３】
【数１２】
2011064944.tif 000014
【０１０４】
さらに、式（１７）に示すように、逆変換係数Ｃに擬似ランダム雑音Ｎ＝｛ｎ００・・・ｎ３３｝を加えて正規化して、再構築予測誤差画像ブロックＰＤ｛pd００・・・pd３３｝を得る。すなわち逆変換係数を元の空間領域に戻す。
【０１０５】
pdｉｊ＝（ｃｉｊ＋（ｎｉｊ％６４）＋３２）＞＞６                ・・・（１７）
【０１０６】
ピクチャバッファ１０７には、現在のフレームに含まれるすべてのＭＢが符号化されるまで、再構築予測誤差画像ブロックに予測信号が加えられた再構築画像ブロックが格納される。
【０１０７】
ブロック歪み除去フィルタ部１０８は、ピクチャバッファ１０７に格納された再構築画像ピクチャに対してブロック歪みを除去する。
【０１０８】
デコードピクチャバッファ１０９には、ブロック歪み除去フィルタ１０８から供給されるブロック歪みが除去された再構築画像ピクチャが参照画像ピクチャとして格納される。なお、参照画像ピクチャの画像は、フレーム間予測信号を生成するための参照画像として利用される。
【０１０９】
本実施形態の映像符号化装置は、上記のような処理によってビットストリームを生成する。
【０１１０】
本実施形態の映像符号化装置は、輪郭および階段アーティファクトを効率的に低減するための擬似ランダム雑音混入候補位置を、再構築画像ピクチャのすべての画素値を比較して画素値の変動量を解析することなく、伸張途中の情報に基づいて再構築画像における画素値の変動量の大小を推定することで決定する。よって、本実施形態の映像符号化装置は、効率的に高解像度映像の輪郭および階段アーティファクトを低減できる。
【０１１１】
実施形態２．
図８は、本発明の第２の実施形態のブロック図であり、再構築画像ブロックの伸張途中の情報に基づいて擬似ランダム雑音混入候補位置を決定し、再構築予測誤差画像ブロックではなく、再構築画像ブロックに擬似ランダム雑音を混入させる映像符号化装置を示すブロック図である。
【０１１２】
図８に示すように、本実施形態の映像符号化装置は、ＭＢバッファ１０１、周波数変換部１０２、量子化部１０３、エントロピー符号化部１０４、逆量子化部１０５、逆周波数変換部１０６、ピクチャバッファ１０７、ブロック歪み除去フィルタ部１０８、デコードピクチャバッファ１０９、イントラ予測部１１０、フレーム間予測部１１１、符号化制御部１１２およびスイッチ１００に加えて、雑音混入器１１３を備えている。
【０１１３】
第１の実施形態とは異なり、本実施形態では、雑音混入器１１３から供給される擬似ランダム雑音は、逆周波数変換部１０６の出力に加算される。しかし、本実施形態の映像符号化装置における各部の処理は、図１に示された第１の実施形態の映像符号化装置における各部の処理と実質的に同じであるから、各部の動作説明を省略する。
【０１１４】
実施形態３．
図９は、本発明の第３の実施形態のブロック図であり、再構築画像ブロックの伸張途中の情報に基づいて擬似ランダム雑音混入候補位置を決定し、再構築画像ピクチャに擬似ランダム雑音を混入させる映像符号化装置を示すブロック図である。
【０１１５】
図９に示すように、本実施形態の映像符号化装置は、ＭＢバッファ１０１、周波数変換部１０２、量子化部１０３、エントロピー符号化部１０４、逆量子化部１０５、逆周波数変換部１０６、ピクチャバッファ１０７、ブロック歪み除去フィルタ部１０８、デコードピクチャバッファ１０９、イントラ予測部１１０、フレーム間予測部１１１、符号化制御部１１２およびスイッチ１００に加えて、雑音混入器１１３を備えている。本実施形態では、雑音混入器１１３から出力される擬似ランダム雑音は、ブロック歪み除去フィルタ部１０８に供給される。
【０１１６】
本実施形態の映像符号化装置は、雑音混入器１１３が設けられている点と、雑音混入器１１３の出力がブロック歪み除去フィルタ部１０８に供給されている点とにおいて、図２８に示された一般的な映像符号化装置と異なる。よって、以下の説明では、特に、本実施形態の映像符号化装置の特徴であるブロック歪み除去フィルタ部１０８の動作を詳細に説明する。
【０１１７】
ＭＢバッファ１０１には、入力画像フレームの符号化対象ＭＢの画素値が格納される。
【０１１８】
ＭＢバッファ１０１から供給される入力ＭＢから、スイッチ１００を介してイントラ予測部１１０またはフレーム間予測部１１１から供給される予測信号が減じられる。
【０１１９】
イントラ予測部１１０は、ピクチャバッファ１０７に格納された再構築画像であって現在のフレームと表示時刻が同一である再構築画像を利用してイントラ予測信号を生成する。
【０１２０】
フレーム間予測部１１１は、現在のフレームと表示時刻が異なる、デコードピクチャバッファ１０９に格納された参照画像を利用してフレーム間予測信号を生成する。
【０１２１】
符号化制御部１１２は、イントラ予測信号およびフレーム間予測信号とＭＢバッファ１０１の入力ＭＢとを比較して、予測誤差画像ブロックのエネルギーが小さくなる予測信号を選択し、スイッチ１００を制御する。選択された予測信号に関連する情報は、エントロピー符号化部１０４に供給される。
【０１２２】
予測誤差画像ブロックのエネルギーが小さくなる予測信号がイントラ予測信号である場合、選択された予測信号に関連する情報とは、イントラ予測モードとイントラ予測方向である。
【０１２３】
また、符号化制御部１１２は、入力ＭＢまたは予測誤差画像ブロックに基づいて、予測誤差画像ブロックの周波数変換に適した整数ＤＣＴの基底ブロックサイズを選択する。選択された整数ＤＣＴの基底サイズは、周波数変換部１０２およびエントロピー符号化部１０４に供給される。また、予測誤差画像ブロックのエネルギーが小さくなる予測信号がイントラ予測信号である場合、選択された整数ＤＣＴの基底サイズはイントラ予測モードのブロックサイズと同一である。
【０１２４】
周波数変換部１０２は、選択された整数ＤＣＴの基底サイズで、予測誤差画像ブロックを周波数変換して空間領域から周波数領域に変換する。
【０１２５】
量子化部１０３は、変換係数を、符号化制御部１１２が供給する量子化パラメータに対応する量子化ステップサイズで量子化する。
【０１２６】
エントロピー符号化部１０４は、選択された予測信号に関連する情報、整数ＤＣＴの基底サイズ、および量子化インデックスをエントロピー符号化して、そのビット列すなわちビットストリームとして出力する。
【０１２７】
逆量子化部１０５は、以後の符号化のために、量子化部１０３から供給される量子化インデックスを逆量子化する。
【０１２８】
雑音混入器１１３は、エントロピー符号化部１０４に供給される予測誤差画像ブロックについて予測信号に関連する情報、整数ＤＣＴの基底サイズ、および量子化インデックスを監視する。
【０１２９】
雑音混入器１１３は、選択された予測信号に関連する情報、整数ＤＣＴの基底サイズ、量子化インデックス、または、それらの何れかの組み合わせに基づいて、再構築画像を直接解析することなく画素値の変動量を推定し、擬似ランダム雑音混入候補位置を決定する。例えば、上述した平坦な予測の種類、大きな整数ＤＣＴの基底サイズ、および、有意なＡＣの量子化インデックスが少ないパターンの予測誤差画像ブロックについては、対応する画像ブロックの再構築画像の画素値の変動量が小さくなる。従って、予測誤差画像ブロックを擬似ランダム雑音混入候補位置と決定し、そうでない予測誤差画像ブロックを擬似ランダム雑音非混入候補位置と決定する。
【０１３０】
雑音混入器１１３は、擬似ランダム雑音混入候補位置について、擬似ランダム雑音ｎ（ｉ）を発生する。すなわち、本実施形態では、擬似ランダム雑音混入候補位置が、擬似ランダム雑音混入位置に相当する。擬似ランダム雑音ｎ（ｉ）を、例えば、上記の式（１）による線形合同法などに基づいて発生すればよい。
【０１３１】
雑音混入器１１３は、擬似ランダム雑音非混入候補位置について、ゼロの擬似ランダム雑音を発生する。ゼロの擬似ランダム雑音の発生は、予測誤差画像ブロックに擬似ランダム雑音を混入させないことを示す。
【０１３２】
逆変換部１０６は、量子化代表値を逆周波数変換し、さらに雑音混入器１１３から供給される擬似ランダム雑音を混入させて元の空間領域に戻す。
【０１３３】
ピクチャバッファ１０７には、現在のフレームに含まれるすべてのＭＢが符号化されるまで、再構築予測誤差画像ブロックに予測信号が加えられた再構築画像ブロックが格納される。
【０１３４】
ブロック歪み除去フィルタ部１０８は、再構築画像の各ＭＢおよびその内部ブロックの境界にローパスフィルタを適用し、ピクチャバッファ１０７に格納された再構築画像に対してブロック歪みを除去する処理を行う。ただし、本実施形態のブロック歪み除去フィルタ部１０８は、雑音混入器１１３から供給される擬似ランダム雑音をローパスフィルタの中間データに混入させて、輪郭および階段アーティファクトも低減させる。
【０１３５】
以下、ブロック歪み除去フィルタ部１０８の動作をより具体的に説明する。
【０１３６】
図１０および図１１は、ブロック歪み除去フィルタ部１０８の動作を説明するための説明図である。ブロック歪み除去フィルタ部１０８は、図１０に示すように、ＭＢおよびその内部ブロックの水平方向のブロック境界に対して水平方向にローパスフィルタを適用する。また、図１１に示すように、ＭＢおよびその内部ブロックの垂直方向のブロック境界に対して垂直方向にローパスフィルタを適用する。水平方向のブロック境界は、０，４，８，１２の４×４ブロックの左側のブロック境界、１，５，９，１３の４×４ブロックの左側のブロック境界、２，６，１０，１４の４×４ブロックの左側のブロック境界、および３，７，１１，１５の４×４ブロックの左側のブロック境界である。また、垂直方向のブロック境界は、０，１，２，３の４×４ブロックの上側のブロック境界、４，５，６，７の４×４ブロックの上側のブロック境界、８，９，１０，１１の４×４ブロックの上側のブロック境界、および１２，１３，１４，１５の４×４ブロックの上側のブロック境界である。
【０１３７】
ただし、８×８ブロックサイズの整数ＤＣＴでは、１，５，９，１３の４×４ブロックの左側のブロック境界、３，７，１１，１５の４×４ブロックの左側のブロック境界、４，５，６，７の４×４ブロックの上側のブロック境界、および１２，１３，１４，１５の４×４ブロックの上側のブロック境界は、ブロック歪み除去対象のブロック境界とはならない。また、１６×１６ブロックサイズの整数ＤＣＴの基底が１６×１６ブロックサイズのＤＣＴ基底を整数値で近似した基底である場合には、０，４，８，１２の４×４ブロックの左側のブロック境界、および、０，１，２，３の４×４ブロックの上側のブロック境界のみがブロック歪み除去対象のブロック境界になる。
【０１３８】
水平方向のブロック境界に対するローパスフィルタの処理については、ブロック境界を中心とする左側のローパスフィルタ前の画素をｐ３，ｐ２，ｐ１，ｐ０、ローパスフィルタ後の画素をＰ３，Ｐ２，Ｐ１，Ｐ０とし、ブロック境界を中心とする右側のローパスフィルタ前の画素をｑ０，ｑ１，ｑ２，ｑ３、ローパスフィルタ後の画素をＱ０，Ｑ１，Ｑ２，Ｑ３とする。
【０１３９】
垂直方向のブロック境界に対するローパスフィルタの処理については、ブロック境界を中心とする上側のローパスフィルタ前の画素をｐ３，ｐ２，ｐ１，ｐ０、ローパスフィルタ後の画素をＰ３，Ｐ２，Ｐ１，Ｐ０とし、ブロック境界を中心とする下側のローパスフィルタ前の画素をｑ０，ｑ１，ｑ２，ｑ３、ローパスフィルタ後の画素をＱ０，Ｑ１，Ｑ２，Ｑ３とする。
【０１４０】
ただし、Ｐ３，Ｐ２，Ｐ１，Ｐ０，Ｑ０，Ｑ１，Ｑ２，Ｑ３は、ｐ３，ｐ２，ｐ１，ｐ０，ｑ０，ｑ１，ｑ２，ｑ３で初期化されているとする。
【０１４１】
水平方向と垂直方向とでブロック境界に対するローパスフィルタ処理では同じである。そこで、以下、水平方向と垂直方向とを特に区別をせずに、ブロック境界に対するローパスフィルタ処理を説明する。
【０１４２】
まず、ブロック境界のローパスフィルタ処理では、非特許文献１の8.7 Deblocking filter process を参照すると、ブロック境界強度ｂＳ（０≦ｂＳ≦４）を隣接ブロックに関連する伸張情報に基づいて決定する。図１２は、ｂＳを決定する処理を示すフローチャートである。
【０１４３】
図１２に示すように、ブロック歪み除去フィルタ部１０８は、ローパスフィルタ処理が施される前のブロック境界の左側の画素ｐとブロック境界の右側の画素ｑとのいずれかがイントラＭＢの画素である場合には（ステップＳ１０１）、画素ｐと画素ｑとがＭＢの境界の左右の画素であるか否か判定する（ステップＳ１０２）。画素ｐと画素ｑとがＭＢの境界の左右の画素である場合にはｂＳを４に決定し、ＭＢの境界の左右の画素ではない場合にはｂＳを３に決定する。
【０１４４】
ブロック歪み除去フィルタ部１０８は、画素ｐと画素ｑとのいずれもイントラＭＢの画素でない場合には、画素ｐと画素ｑとのいずれかに量子化インデックスが存在するか否か判定する（ステップＳ１０３）。ブロック歪み除去フィルタ部１０８は、画素ｐと画素ｑとのいずれかに量子化インデックスが存在する場合には、ｂＳを２に決定する。画素ｐと画素ｑとのいずれにも量子化インデックスが存在しない場合には、画素ｐと画素ｑとで、フレーム間予測に不連続があるか否か判定する（ステップＳ１０４）。フレーム間予測に不連続がある場合にはｂＳを１に決定し、フレーム間予測に不連続がない場合にはｂＳを０に決定する。
【０１４５】
なお、ｂＳを決定する処理のより詳細な説明が、非特許文献１の8.7.2 Filtering process for a set of samples across a horizontal or vertical block edge に記載されている。
【０１４６】
ｂＳが大きな値になるほど、ブロック境界の変動量が大きいと判定し、強度の高いローパスフィルタが適用される。ｂＳ＝０では、ローパスフィルタは適用されない。
【０１４７】
続いて、ｂＳ＞０のブロック境界についてのみ、ブロック境界での画素を比較して、ブロック境界での不連続性を解析する。ｂＳ＝４とｂＳ＜４の場合に分けて、ブロック境界での不連続性を解析と擬似ランダム雑音を用いたローパスフィルタを説明する。
【０１４８】
ｂＳ＝４の場合に、｜ｐ０−ｑ０｜＜α／４、かつ、｜ｐ１−ｐ０｜＜βのときには、擬似ランダム雑音（式（１）によるｎ（ｉ））を利用する式（１８）、式（１９）および式（２０）で表されるローパスフィルタでＰ０，Ｐ１，Ｐ２をそれぞれ更新する。
【０１４９】
Ｐ０＝（ｐ２＋２×ｐ１＋２×ｐ０＋２×ｑ０＋ｑ１＋（ｎ（ｐｏｓ−１）％８）＋４）／８          ・・・（１８）
【０１５０】
Ｐ１＝（ｐ２＋ｐ１＋ｐ０＋ｑ０＋（ｎ（ｐｏｓ−２）％４）＋２）／４                ・・・（１９）
【０１５１】
Ｐ２＝（２×ｐ３＋３×ｐ２＋ｐ１＋ｑ０＋ｑ１＋（ｎ（ｐｏｓ−３）％８）＋４）／８          ・・・（２０）
【０１５２】
｜ｐ０−ｑ０｜＜α／４、かつ、｜ｐ１−ｐ０｜＜βの条件が成立しないときには、擬似ランダム雑音（式（１）によるｎ（ｉ））を利用する式（２１）で表されるローパスフィルタでＰ０を更新する。なお、Ｐ１およびＰ２は更新されない。
【０１５３】
Ｐ０＝（２×ｐ１＋ｐ０＋ｑ０＋（ｎ（ｐｏｓ−１）％４）＋２）／４                ・・・（２１）
【０１５４】
ただし、αおよびβはそれぞれ量子化パラメータＱの値が大きくなるほど大きな値になるパラメータである。ｐｏｓは処理対象のブロック位置の座標に対する位置である。
【０１５５】
ｂＳ＝４の場合に、｜ｐ０−ｑ０｜＜α／４、かつ、｜ｑ１−ｑ０｜＜βのときには、擬似ランダム雑音（式（１）によるｎ（ｉ））を利用する式（２２）、式（２３）および式（２４）で表されるローパスフィルタでＱ０，Ｑ１，Ｑ２をそれぞれ更新する。
【０１５６】
Ｑ０＝（ｑ２＋２×ｑ１＋２×ｑ０＋２×ｐ０＋ｐ１＋（ｎ（ｐｏｓ）％８）＋４）／８            ・・・（２２）
【０１５７】
Ｑ１＝（ｑ２＋ｑ１＋ｑ０＋ｐ０＋（ｎ（ｐｏｓ＋１）％４）＋２）／４                ・・・（２３）
【０１５８】
Ｑ２＝（２×ｑ３＋３×ｑ２＋ｑ１＋ｐ０＋ｐ１＋（ｎ（ｐｏｓ＋２）％８）＋４）／８          ・・・（２４）
【０１５９】
｜ｐ０−ｑ０｜＜α／４、かつ、｜ｑ１−ｑ０｜＜βの条件が成立しないときには、擬似ランダム雑音（式（１）によるｎ（ｉ））を利用する式（２５）で表されるローパスフィルタでＱ０を更新する。なお、Ｑ１およびＱ２は更新されない。
【０１６０】
Ｑ０＝（２×ｑ１＋ｑ０＋ｐ０＋（ｎ（ｐｏｓ）％４）＋２）／４    ・・・（２５）
【０１６１】
ｂＳ＝４の場合に、｜ｐ０−ｐ２｜＜βのときにのみ、擬似ランダム雑音（式（１）によるｎ（ｉ））を利用する以下の式（２６）で表されるローパスフィルタでＰ０を更新する。
【０１６２】
Ｐ０＝ｐ０＋Ｃｌｉｐ３｛−ｔｃ，ｔｃ，（２×（ｑ０−ｐ０）＋ｐ１−ｑ１＋（ｎ（ｐｏｓ−１）％８）＋４）／８｝            ・・・（２６）
【０１６３】
ただし、ｔｃは、量子化パラメータＱの値が大きくなるほど大きな値になるパラメータである。
【０１６４】
ｂＳ＝４の場合に、｜ｑ０−ｑ２｜＜βのときにのみ、擬似ランダム雑音（式（１）によるｎ（ｉ））を利用する以下の式（２７）で表されるローパスフィルタでＱ０を更新する。
【０１６５】
Ｑ０＝ｑ０−Ｃｌｉｐ３｛−ｔｃ，ｔｃ，（２×（ｑ０−ｐ０）＋ｐ１−ｑ１＋（ｎ（ｐｏｓ）％８）＋４）／８｝            ・・・（２７）
【０１６６】
上記の式（１８）〜式（２７）において、擬似ランダム雑音の影響強度が１画素以下になるように４または８で割った余りが加えられている。擬似ランダム雑音の影響強度を１画素以下にすることによって、擬似ランダム雑音混入によるＰＳＮＲの低下を抑制できる。
【０１６７】
なお、第１の実施形態で説明したように、雑音混入器１１３は、平坦な予測の種類、大きな整数ＤＣＴの基底サイズ、および有意なＡＣの量子化インデックスが少ないパターンの予測誤差画像ブロックに対応する画像ブロックの再構築画像の画素値の変動量が小さくなると推定する場合、変動量が多いと判断されて有意な擬似ランダム雑音が供給されるブロック境界は、イントラＭＢの再構築画像だけになる。
【０１６８】
よって、本実施形態のブロック歪み除去フィルタ部１０８は、図１３のフローチャートに示すｂＳの決定処理を採用していることと等価である。このことは、ブロック歪み除去フィルタ部１０８がｂＳの決定処理で、再構築画像ブロックの伸張途中の情報に基づいて擬似ランダム雑音混入位置を決定する実装形態も可能であることを示している。
【０１６９】
図１３に示す処理では、ブロック歪み除去フィルタ部１０８は、図１２に示されたステップＳ１０１〜Ｓ１０４の処理を実行することに加えて、画素ｐと画素ｑとがＭＢの境界の左右の画素である場合に、画素ｐと画素ｑとの間で変動量が小さいか否か判定する処理を実行する（ステップＳ１０５Ａ）。変動量が小さくない場合にはｂＳを４に決定し、変動量が小さい場合は擬似ランダム雑音を混入させることに決定するとともにｂＳを４に決定する。また、画素ｐと画素ｑとがＭＢの境界の左右の画素でない場合に、画素ｐと画素ｑとの間で変動量が小さいか否か判定する処理を実行する（ステップＳ１０５Ｂ）。変動量が小さくない場合にはｂＳを３に決定し、変動量が小さい場合は擬似ランダム雑音を混入させることに決定するとともにｂＳを３に決定する。
【０１７０】
ブロック歪み除去フィルタ部１０８がｂＳの決定処理で擬似ランダム雑音混入候補位置を決定する実装形態においては、図１３に示すｂＳの決定フローから分かるように、擬似ランダム雑音混入候補位置と判定されたブロック境界のみに擬似ランダム雑音を混入させることを意味する。
【０１７１】
デコードピクチャバッファ１０９には、ブロック歪み除去フィルタ１０８から供給されるブロック歪みが除去された再構築画像ピクチャが参照画像ピクチャとして格納される。なお、参照画像ピクチャの画像は、フレーム間予測信号を生成するための参照画像として利用される。
【０１７２】
本実施形態の映像符号化装置は、上記のような処理によってビットストリームを生成する。
【０１７３】
本実施形態の映像符号化装置は、第１の実施形態の映像符号化装置と同様に、効率的に高解像度映像の輪郭および階段アーティファクトを低減できる。
【０１７４】
実施形態４．
図１４は、本発明の第４の実施形態のブロック図であり、再構築画像ブロックの伸張途中の情報に基づいて擬似ランダム雑音混入候補位置を決定し、再構築予測誤差画像ブロックに擬似ランダム雑音を混入させる映像復号装置を示すブロック図である。本実施形態の映像復号装置は、第１の実施形態の映像符号化装置に対応する映像復号装置である。
【０１７５】
図１４に示すように、本実施形態の映像復号装置は、エントロピー復号部２０１、逆量子化部２０２、逆周波数変換部２０３、ピクチャバッファ２０４、ブロック歪み除去フィルタ部２０５、デコードピクチャバッファ２０６、イントラ予測部２０７、フレーム間予測部２０８、復号制御部２０９およびスイッチ２００に加えて、雑音混入器２１０を備えている。
【０１７６】
エントロピー復号部２０１は、ビットストリームをエントロピー復号して、復号対象ＭＢの予測信号に関連する情報、整数ＤＣＴの基底サイズ、および量子化インデックスを出力する。予測信号に関連する情報は、第１の実施形態の場合と同様、イントラ予測モード、イントラ予測方向、およびフレーム間予測に関連する情報である。
【０１７７】
イントラ予測部２０７は、現在復号中のフレームと表示時刻が同一である、ピクチャバッファ２０４に格納された再構築画像を利用してイントラ予測信号を生成する。
【０１７８】
フレーム間予測部２０８は、現在復号中のフレームと表示時刻が異なる、デコードピクチャバッファ２０６に格納された参照画像を利用してフレーム間予測信号を生成する。
【０１７９】
復号制御部２０９は、エントロピー復号したフレーム間予測に基づいて、スイッチ２００を制御し、イントラ予測信号またはフレーム間予測信号を供給する。
【０１８０】
雑音混入器２１０は、第１の実施形態の雑音混入器１１３と同様に、エントロピー復号部２０１から供給される復号対象ＭＢの予測信号に関連する情報、整数ＤＣＴの基底サイズ、および量子化インデックスを監視する。
【０１８１】
また、雑音混入器２１０は、第１の実施形態の雑音混入器１１３と同様に、予測信号に関連する情報、整数ＤＣＴの基底サイズ、量子化インデックス、または、それらの何れかの組み合わせに基づいて、再構築画像を直接解析することなく画素値の変動量を推定し、擬似ランダム雑音混入候補位置を決定する。
【０１８２】
また、雑音混入器２１０は、擬似ランダム雑音混入候補位置については有意な擬似ランダム雑音を発生する。すなわち、本実施形態では、擬似ランダム雑音混入候補位置が、擬似ランダム雑音混入位置に相当する。擬似ランダム雑音非混入候補位置については、ゼロの擬似ランダム雑音を発生する。ゼロの擬似ランダム雑音の発生は復号対象ＭＢの予測誤差画像ブロックに擬似ランダム雑音を混入させないことを示す。
【０１８３】
逆量子化部２０２は、エントロピー復号部２０１から供給される量子化インデックスを逆量子化する。
【０１８４】
逆変換部２０３は、第１の実施形態の逆変換部１０６と同様に、量子化代表値を逆周波数変換し、さらに雑音混入器２１０から供給される擬似ランダム雑音を混入させて元の空間領域に戻す。
【０１８５】
ピクチャバッファ２０４には、現在復号中のフレームに含まれるすべてのＭＢが復号されるまで、元の空間領域に戻された再構築予測誤差画像ブロックに予測信号が加えられた再構築画像ブロックが格納される。
【０１８６】
ブロック歪み除去フィルタ部２０５は、現在のフレームに含まれるすべてのＭＢが復号された後、ピクチャバッファ２０４に格納された再構築画像に対してブロック歪みを除去する。
【０１８７】
デコードピクチャバッファ２０６は、ブロック歪み除去フィルタ部２０５から供給されるブロック歪み除去された再構築画像を参照画像ピクチャとして格納する。参照画像ピクチャの画像は、フレーム間予測信号を生成するための参照画像として利用される。また、参照画像ピクチャは、適切な表示タイミングで伸張フレームとして出力される。
【０１８８】
本実施形態の映像復号装置は、上記のような処理によってビットストリームを伸張する。
【０１８９】
本実施形態の映像復号装置は、ブロックベース符号化に基づく高解像度映像の圧縮・伸張において問題となる、輪郭および階段アーティファクトを効率的に低減するための擬似ランダム雑音混入候補位置を、再構築画像のすべての画素値を比較して画素値の変動量を解析することなく、伸張途中の情報に基づいて再構築画像における画素値の変動量の大小を推定することで決定する。従って、本実施形態の映像復号装置は、効率的に高解像度映像の輪郭および階段アーティファクトを低減できる。
【０１９０】
実施形態５．
図１５は、本発明の第５の実施形態のブロック図であり、再構築画像ブロックの伸張途中の情報に基づいて擬似ランダム雑音混入候補位置を決定し、再構築予測誤差画像ブロックではなく、再構築画像ブロックに擬似ランダム雑音を混入させる映像復号装置を示すブロック図である。本実施形態の映像復号装置は、第２の実施形態の映像符号化装置に対応する映像復号装置である。
【０１９１】
図１５に示すように、本実施形態の映像復号装置は、エントロピー復号部２０１、逆量子化部２０２、逆周波数変換部２０３、ピクチャバッファ２０４、ブロック歪み除去フィルタ部２０５、デコードピクチャバッファ２０６、イントラ予測部２０７、フレーム間予測部２０８、復号制御部２０９およびスイッチ２００に加えて、雑音混入器２１０を備えている。
【０１９２】
第４の実施形態とは異なり、本実施形態では、雑音混入器２１０から供給される擬似ランダム雑音は、逆周波数変換部２０３の出力に加算される。しかし、本実施形態の映像復号装置における各部の処理は、図１４に示された第４の実施形態の映像復号装置における各部の処理と実質的に同じであるから、各部の動作説明を省略する。
【０１９３】
実施形態６．
図１６は、本発明の第６の実施形態のブロック図であり、再構築画像ブロックの伸張途中の情報に基づいて擬似ランダム雑音混入候補位置を決定し、再構築画像ピクチャに擬似ランダム雑音を混入させる映像復号装置を示すブロック図である。本実施形態の映像復号装置は、第３の実施形態の映像符号化装置に対応する映像復号装置である。
【０１９４】
図１６に示すように、本実施形態の映像復号装置は、エントロピー復号部２０１、逆量子化部２０２、逆周波数変換部２０３、ピクチャバッファ２０４、ブロック歪み除去フィルタ部２０５、デコードピクチャバッファ２０６、イントラ予測部２０７、フレーム間予測部２０８、復号制御部２０９およびスイッチ２００に加えて、雑音混入器２１０を備えている。本実施形態では、雑音混入器２１０から出力される擬似ランダム雑音は、ブロック歪み除去フィルタ部２０５に供給される。
【０１９５】
本実施形態における雑音混入器２１０は、第１の実施形態の映像符号化装置における雑音混入器１１３と等価である。また、本実施形態におけるブロック歪み除去フィルタ部２０５は、第３の実施形態の映像符号化装置における擬似ランダム雑音を用いるブロック歪み除去フィルタ１０８と等価である。
【０１９６】
エントロピー復号部２０１は、ビットストリームをエントロピー復号して、復号対象ＭＢの予測信号に関連する情報、整数ＤＣＴの基底サイズ、および量子化インデックスを出力する。予測信号に関連する情報とは、第１実施形態の場合と同様に、イントラ予測モード、イントラ予測方向、およびフレーム間予測に関連する情報である。
【０１９７】
イントラ予測部２０７は、現在復号中のフレームと表示時刻が同一である、ピクチャバッファ２０４に格納された再構築画像を利用してイントラ予測信号を生成する。
【０１９８】
フレーム間予測部２０８は、現在復号中のフレームと表示時刻が異なる、デコードピクチャバッファ２０６に格納された参照画像を利用してフレーム間予測信号を生成する。
【０１９９】
復号制御部２０９は、エントロピー復号したフレーム間予測に基づいて、スイッチ２００を制御し、イントラ予測信号またはフレーム間予測信号を供給する。
【０２００】
雑音混入器２１０は、エントロピー復号部２０１から供給される復号対象ＭＢの予測信号に関連する情報、整数ＤＣＴの基底サイズ、または量子化インデックスを監視する。
【０２０１】
また、雑音混入器２１０は、予測信号に関連する情報、整数ＤＣＴの基底サイズ、量子化インデックス、または、それらの何れかの組み合わせに基づいて、再構築画像を直接解析することなく画素値の変動量を推定し、擬似ランダム雑音混入候補位置を決定する。
【０２０２】
また、雑音混入器２１０は、擬似ランダム雑音混入候補位置については有意な擬似ランダム雑音を発生する。すなわち、本実施形態では、擬似ランダム雑音混入候補位置が、擬似ランダム雑音混入位置に相当する。擬似ランダム雑音非混入候補位置については、ゼロの擬似ランダム雑音を発生する。ゼロの擬似ランダム雑音の発生は、復号対象ＭＢの予測誤差画像ブロックに擬似ランダム雑音を混入させないことを示す。
【０２０３】
逆量子化部２０２は、エントロピー復号部２０１から供給される量子化インデックスを逆量子化する。
【０２０４】
逆変換部２０３は、量子化代表値を逆周波数変換して元の空間領域に戻す。
【０２０５】
ピクチャバッファ２０４には、現在復号中のフレームに含まれるすべてのＭＢが符号化されるまで、再構築予測誤差画像ブロックに予測信号が加えられた再構築画像ブロックが格納される。
【０２０６】
ブロック歪み除去フィルタ部２０５は、雑音混入器２１０から供給される擬似ランダム雑音を用いてピクチャバッファ２０４に格納された再構築画像に対してブロック歪みを除去する。
【０２０７】
ブロック歪み除去フィルタ部２０５は、再構築画像の各ＭＢおよびその内部ブロックの境界にローパスフィルタを適用し、ピクチャバッファ２０４に格納された再構築画像に対してブロック歪みの除去を行う。ただし、本実施形態のブロック歪み除去フィルタ部２０５は、雑音混入器２１０から供給される擬似ランダム雑音をローパスフィルタの中間データに混入させて、輪郭および階段アーティファクトも低減させる。
【０２０８】
デコードピクチャバッファ２０６は、ブロック歪み除去フィルタ部２０５から供給される擬似ランダム雑音を用いてブロック歪みが除去された再構築画像を参照画像ピクチャとして格納する。参照画像ピクチャの画像は、フレーム間予測信号を生成するための参照画像として利用される。また、参照画像ピクチャは、適切な表示タイミングで伸張フレームとして出力される。
【０２０９】
本実施形態の映像復号装置は、上記のような処理によってビットストリームを伸張する。
【０２１０】
本実施形態の映像復号装置は、第４の実施形態の映像復号装置と同様に、効率的に高解像度映像の輪郭および階段アーティファクトを低減できる。
【０２１１】
第２の実施形態の映像符号化装置は、再構築画像ブロックの伸張情報に基づいて擬似ランダム雑音の混入位置を決定し、再構築画像ブロックに直接擬似ランダム雑音を混入させることによって、再構築画像に擬似ランダム雑音を混入させる映像符号化装置である。また、第２の実施形態の映像符号化装置に対応する第５の実施形態の映像復号装置は、再構築画像ブロックの伸張情報に基づいて擬似ランダム雑音の混入位置を決定し、再構築画像ブロックに直接擬似ランダム雑音を混入させることによって、再構築画像に擬似ランダム雑音を混入させる映像復号装置である。
【０２１２】
上述したように、第２の実施形態および第５の実施形態における雑音混入器は、再構築画像ブロックの伸張情報として予測信号に関連する情報、整数ＤＣＴの基底サイズ、または量子化インデックスに基づいて、再構築画像ブロックの画素値の変動量の大小を推定し、変動量大と推定した再構築画像ブロックを擬似ランダム雑音混入位置と決定する。映像復号装置においても、伸張情報を、再構築画像すなわち伸張画像を求める前に、エントロピー復号などによって得られる情報である。
【０２１３】
例えば、平坦な予測信号となる予測の種類、大きな整数ＤＣＴの基底サイズ、および有意なＡＣの量子化インデックスが少ないパターンの再構築画像ブロックは、ブロック内における画素値の変動量が小さい伸張画像やブロック境界における画素値の変動量が小さい伸張画像となる。
【０２１４】
他の実施形態として、雑音混入器が、変動量が大きいと推定した再構築画像ブロックを擬似ランダム雑音混入候補位置とし、さらに、候補位置の再構築画像ブロックについてのみ、その画素値の変動量を実際に計算して、実際に計算した画素値の変動量の大小に基づいて擬似ランダム雑音混入位置を決定する実施形態も考えられる。そのように処理を実行する場合には、より相応しい位置の再構築画像に擬似ランダム雑音を混入させて、輪郭および階段アーティファクトに対する人間の視覚感度をより低減できる。
【０２１５】
具体的には、雑音混入器は、擬似ランダム雑音混入候補位置の再構築画像ブロックの各位置（ｉ，ｊ）｛０≦ｉ≦ｂｓｉｚｅｘ−１，０≦ｊ≦ｂｓｉｚｅｙ−１｝の画素ｘｉｊについて、式（２８）によって周辺画素値（ｘｉ＋ｍ，ｊ＋ｎ｛−ｗ≦ｍ≦ｗ，−ｈ≦ｎ≦ｈ｝の変動量ｐＶｉ，ｊを計算する。
【０２１６】
【数１３】
2011064944.tif 000015
【０２１７】
そして、例えば式（２９）に基づいて、所定のしきい値ｔｈよりもｐＶｉ，ｊが小さい位置の画素ｘｉｊのみに擬似ランダム雑音ｎｉ，ｊを混入させる。
【０２１８】
【数１４】
2011064944.tif 000016
【０２１９】
ただし、ｂｓｉｚｅｘは整数ＤＣＴの基底サイズの水平方向のサイズ、ｂｓｉｚｅｙは整数ＤＣＴの基底サイズの垂直方向のサイズである。なお、候補位置ではない再構築画像ブロックの再構築画像には擬似ランダム雑音を混入させない。
【０２２０】
また、伸張情報として量子化パラメータを利用し、量子化ステップサイズが小さい再構築画像に対して、擬似ランダム雑音を小さく調整して擬似ランダム雑音を混入させないようにする実施形態も考えられる。そのように構成することによって、量子化ステップサイズが小さくなる高ビットレート符号化において、擬似ランダム雑音混入による悪影響を低減できる。
【０２２１】
第２および第５の実施形態の映像符号化装置および映像復号装置に対して、変動量が大きいと推定した再構築画像ブロックを擬似ランダム雑音混入候補位置とし、さらに、候補位置の再構築画像ブロックについてのみ、その画素値の変動量を実際に計算して、実際に計算した画素値の変動量の大小に基づいて擬似ランダム雑音混入位置を決定する雑音混入器を適用した場合には、映像符号化装置の構成は図１７に示すようになり、映像復号装置の構成は図１８に示すようになる。
【０２２２】
すなわち、図１７に示すように、映像符号化装置において、雑音混入器１１３は、選択された予測信号に関連する情報、整数ＤＣＴの基底サイズ、量子化インデックス、または、それらの何れかの組み合わせに基づいて、再構築画像を直接解析することなく画素値の変動量を推定し、推定結果に基づいて擬似ランダム雑音混入候補位置を決定する。そして、擬似ランダム雑音混入候補位置について再構築画像の画素値の変動量を計算する。また、図１８に示すように、映像復号装置において、雑音混入器２１０は、選択された予測信号に関連する情報、整数ＤＣＴの基底サイズ、量子化インデックス、または、それらの何れかの組み合わせに基づいて、再構築画像を直接解析することなく画素値の変動量を推定し、推定結果に基づいて擬似ランダム雑音混入候補位置を決定する。そして、擬似ランダム雑音混入候補位置について再構築画像の画素値の変動量を計算する。
【０２２３】
第３および第６の実施形態についても同様に、雑音混入器が、変動量が大きいと推定した再構築画像ブロックを擬似ランダム雑音混入候補位置とし、さらに、候補位置の再構築画像ブロックについてのみ、その画素値の変動量を実際に計算して、実際に計算した画素値の変動量の大小に基づいて擬似ランダム雑音混入位置を決定するようにしてもよい。
【０２２４】
具体的には、第３の実施形態において、ブロック歪み除去フィルタ装置がｂＳの決定処理で擬似ランダム雑音混入位置を決定する場合には、図１３に示すｂＳの決定処理からわかるように、擬似ランダム雑音混入候補位置と判定されたブロック境界のみについて、例えば、以下の式（３０）に基づいて伸張画像の画素を比較して隣接画素変動量ｎｐＶを確認し、隣接画素変動量ｎｐＶが所定しきい値ｔｈ以下の場合にのみ、ローパスフィルタ処理で擬似ランダム雑音を混入させてもよい。
【０２２５】
ｎｐＶ＝｜ｐ３−ｐ２｜＋｜ｐ２−ｐ１｜＋｜ｐ１−ｐ０｜＋｜ｐ０−ｑ０｜＋｜ｑ０−ｑ１｜＋｜ｑ１−ｑ２｜＋｜ｑ２−ｐ３｜        ・・・（３０）
【０２２６】
上記のような処理によれば、擬似ランダム雑音混入候補位置と判定されたブロック境界のみについて画素変動量を計算するだけで、期待値として少ない演算量で、より相応しい擬似ランダム雑音の混入位置を決定できる。
【０２２７】
第３および第６の実施形態の映像符号化装置および映像復号装置に対して、変動量が大きいと推定した再構築画像ブロックを擬似ランダム雑音混入候補位置とし、さらに、候補位置の再構築画像ブロックについてのみ、その画素値の変動量を実際に計算して、実際に計算した画素値の変動量の大小に基づいて擬似ランダム雑音混入位置を決定する雑音混入器を適用した場合には、映像符号化装置の構成は図１９に示すようになり、映像復号装置の構成は図２０に示すようになる。
【０２２８】
すなわち、図１９に示すように、映像符号化装置において、雑音混入器１１３は、選択された予測信号に関連する情報、整数ＤＣＴの基底サイズ、量子化インデックス、または、それらの何れかの組み合わせに基づいて、再構築画像を直接解析することなく画素値の変動量を推定し、推定結果に基づいて擬似ランダム雑音混入候補位置を決定する。そして、擬似ランダム雑音混入候補位置の境界のみについて隣接画素変動量ｎｐＶを確認する。また、図２０に示すように、映像復号装置において、雑音混入器２１０は、選択された予測信号に関連する情報、整数ＤＣＴの基底サイズ、量子化インデックス、または、それらの何れかの組み合わせに基づいて、再構築画像を直接解析することなく画素値の変動量を推定し、推定結果に基づいて擬似ランダム雑音混入候補位置を決定する。そして、擬似ランダム雑音混入候補位置の境界のみについて隣接画素変動量ｎｐＶを確認する。
【０２２９】
平坦領域において擬似ランダム雑音を混入させると、その影響によって、後続する平坦領域のイントラ予測の性能が低下する可能性がある。
【０２３０】
イントラ予測の性能の低下を防止するために、例えば、第１、第２、第４および第５の実施形態それぞれにおける雑音混入器が、イントラ予測の被参照画像(後続する画像ブロックから見ると参照画像)の位置の再構築画像に擬似ランダム雑音を混入させないようにする実施形態が考えられる。イントラ予測の被参照画像は、図２１の説明図ではＬ字型の領域に相当する。
【０２３１】
また、他の形態として、ブロック境界の変動量が大きいときに強度の高いローパスフィルタが適用される第３および第６の実施形態において、イントラ予測器が、より強いローパスフィルタによって再構築画像の周辺画素が平滑化された画素を参照画素として利用する実施形態も考えられる。
【０２３２】
上記の各実施形態において、雑音混入器における擬似ランダム雑音の発生方法としてどのような発生方法も使用可能であるが、擬似ランダム雑音の発生器は所定の映像符号化単位または映像復号単位でリセットされることが可能であることが望ましい。
【０２３３】
図２２は、擬似ランダム雑音の発生器を所定の映像符号化単位または映像復号単位でリセットする他の実施形態におけるリセットを説明するための説明図である。
【０２３４】
所定の映像符号化単位または映像復号単位として、例えば、各フレームの先頭ＭＢ（図２２（ａ）参照）、各フレーム内での複数個のＭＢ毎（図２２（ｂ）参照）、再構築画像の画素の依存関係を利用したＭＢの組毎などがある。擬似ランダム雑音の発生器を所定の映像符号化単位または映像復号単位でリセットすることによって、例えば、図２２（ａ）に示された例では映像復号のためのランダムアクセス性を改善でき、図２２（ｂ）に示された例では映像符号化および映像復号それぞれの並列処理性を改善できる。
【０２３５】
例えば、符号化制御部１１２は、所定の映像符号化単位で、上述した線形合同法に基づく擬似ランダム雑音の発生器における擬似ランダム雑音ｎ（ｉ）の初期値ｎ（０）を所定値でリセットすればよい。また、映像符号化装置は、リセットの所定値または所定値を同定するための情報をビットストリームに埋め込んでもよい。映像復号装置は、ビットストリームに埋め込まれたリセットの所定値または所定値を同定するための情報を読み出し、その情報に基づいて擬似ランダム雑音を発生することによって、映像符号化側と同一の擬似ランダム雑音を発生できるので、映像符号化と映像復号間での擬似ランダム雑音に起因する画像のミスマッチを回避できる。
【０２３６】
静止や平行移動の領域では、フレーム間予測による予測誤差はほとんどゼロになる。しかし、擬似ランダム雑音を混入させることによって、静止や平行移動の領域における予測誤差が非ゼロとならないことが考えられる。そこで、さらに他の実施形態として、そのような事態が生ずることを防止するために、上記の各実施形態において、雑音混入器は、フレーム間予測を用いないＩフレームのみを対象として、その再構築画像に擬似ランダム雑音を混入させる実施形態が考えられる。
【０２３７】
また、上記の各実施形態を、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。
【０２３８】
図２３に示す情報処理システムは、プロセッサ１００１、プログラムメモリ１００２、映像データを格納するための記憶媒体１００３およびビットストリームを格納するための記憶媒体１００４を備えている。記憶媒体１００３と記憶媒体１００４とは、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体として、ハードディスク等の磁気記憶媒体を用いることができる。
【０２３９】
図２３に示された情報処理システムにおいて、プログラムメモリ１００２には、図１，図８，図９、図１４〜図２０のそれぞれに示された各ブロック（バッファのブロックを除く）の機能を実現するためのプログラムが格納される。そして、プロセッサ１００１は、プログラムメモリ１００２に格納されているプログラムに従って処理を実行することによって、図１，図８，図９、図１４〜図２０のそれぞれに示された映像符号化装置または映像復号装置の機能を実現する。
【０２４０】
図２４は、本発明による映像符号化装置の主要構成を示すブロック図である。図２４に示すように、本発明による映像符号化装置は、量子化インデックスを逆量子化して量子化代表値を得る逆量子化手段１２と、逆量子化手段１２によって得られた量子化代表値を逆変換して再構築画像ブロックを得る逆周波数変換手段１３と、再構築画像ブロックの伸張情報に基づいて擬似ランダム雑音混入位置を決定し、擬似ランダム雑音混入位置の画像に擬似ランダム雑音を混入させる雑音混入手段１４とを備えている。
【０２４１】
また、上記の各実施形態では、雑音混入手段が、伸張情報としての予測の種類、変換のブロックサイズ、量子化インデックス、または、それらのいずれかの組み合わせに基づいて擬似ランダム雑音混入位置を決定する映像符号化装置も開示されている。
【０２４２】
また、上記の各実施形態では、雑音混入手段が、平坦な予測の種類、大きな変換のブロックサイズ、および有意なＡＣの量子化インデックスが少ないパターンの再構築画像ブロックを擬似ランダム雑音混入位置として決定する映像符号化装置も開示されている。
【０２４３】
また、上記の各実施形態では、雑音混入手段が、量子化ステップサイズに従って調節された量の擬似ランダム雑音を混入させる映像符号化装置も開示されている。
【０２４４】
また、上記の各実施形態では、雑音混入手段が、イントラ予測の参照画像となる位置の画像には、擬似ランダム雑音を混入させないように構成された映像符号化装置も開示されている。
【０２４５】
また、上記の各実施形態では、雑音混入手段を所定の映像符号化単位でリセットするリセット手段（例えば、符号化制御部１１２で実現される。）を備えた映像符号化装置も開示されている。
【０２４６】
図２５は、本発明による映像復号装置の主要構成を示すブロック図である。図２５に示すように、本発明による映像復号装置は、ビット列をエントロピー復号して量子化インデックスを得るエントロピー復号手段２０と、画像ブロックに対するイントラ予測信号またはフレーム間予測信号を計算する予測手段２１と、量子化インデックスを逆量子化して量子化代表値を得る逆量子化手段２２と、逆量子化手段２２によって得られた量子化代表値を逆変換して再構築予測誤差画像ブロックを得る逆周波数変換手段２３と、イントラ予測信号またはフレーム間予測信号を逆周波数変換手段によって得られた再構築予測誤差画像ブロックに加えて再構築画像ブロックを得る再構築手段２４と、再構築画像ブロックの伸張情報に基づいて擬似ランダム雑音混入位置を決定し、擬似ランダム雑音混入位置の画像に擬似ランダム雑音を混入させる雑音混入手段２５とを備えている。
【０２４７】
また、上記の各実施形態では、雑音混入手段が、伸張情報としての予測の種類、変換のブロックサイズ、量子化インデックス、または、それらのいずれかの組み合わせに基づいて擬似ランダム雑音混入位置を決定する映像復号装置も開示されている。
【０２４８】
また、上記の各実施形態では、雑音混入手段が、平坦な予測の種類、大きな変換のブロックサイズ、および有意なＡＣの量子化インデックスが少ないパターンの再構築画像ブロックを擬似ランダム雑音混入位置として決定する映像復号装置も開示されている。
【０２４９】
また、上記の各実施形態では、雑音混入手段が、量子化ステップサイズに従って調節された量の擬似ランダム雑音を混入させる映像復号装置も開示されている。
【０２５０】
また、上記の各実施形態では、雑音混入手段が、イントラ予測の参照画像となる位置の画像には、擬似ランダム雑音を混入させないように構成された映像復号装置も開示されている。
【０２５１】
また、上記の各実施形態では、雑音混入手段を所定の映像復号単位でリセットするリセット手段（例えば、復号制御部２０９で実現される。）を備えた映像復号装置も開示されている。
【０２５２】
図２６は、本発明による映像符号化方法の主要ステップを示すフローチャートである。図２６に示すように、本発明による映像符号化方法では、量子化インデックスを逆量子化して量子化代表値を得て、得られた量子化代表値を逆変換して再構築画像ブロックを得て、再構築画像ブロックの伸張情報に基づいて擬似ランダム雑音混入位置を決定し、擬似ランダム雑音混入位置の画像に擬似ランダム雑音を混入させる。
【０２５３】
図２７は、本発明による映像復号方法の主要ステップを示すフローチャートである。図２７に示すように、本発明による映像復号方法では、ビット列をエントロピー復号して量子化インデックスを得て（ステップＳ２０）、画像ブロックに対するイントラ予測信号またはフレーム間予測信号を計算し（ステップＳ２１）、量子化インデックスを逆量子化して量子化代表値を得て（ステップＳ２２）、得られた量子化代表値を逆変換して再構築予測誤差画像ブロックを得て（ステップＳ２３）、イントラ予測信号またはフレーム間予測信号を再構築予測誤差画像ブロックに加えて再構築画像ブロックを得て（ステップＳ２４）、再構築画像ブロックの伸張情報に基づいて擬似ランダム雑音混入位置を決定し、擬似ランダム雑音混入位置の画像に擬似ランダム雑音を混入させる（ステップＳ２５）。
【０２５４】
以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【０２５５】
この出願は、２００９年１１月３０日に出願された日本特許出願２００９−２７２１７８を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【０２５６】
１２      逆量子化手段
１３      逆周波数変換手段
１４      雑音混入手段
２０      量子化インデックス計算手段
２１      予測手段
２２      逆量子化手段
２３      逆周波数変換手段
２４      再構築手段
２５      雑音混入手段
１００    スイッチ
１０１    ＭＢバッファ
１０２    周波数変換部
１０３    量子化部
１０４    エントロピー符号化部
１０５    逆量子化部
１０６    逆周波数変換部
１０７    ピクチャバッファ
１０８    ブロック歪み除去フィルタ部
１０９    デコードピクチャバッファ
１１０    イントラ予測部
１１１    フレーム間予測部
１１２    符号化制御部
１１３    雑音混入器
２００    スイッチ
２０１    エントロピー復号部
２０２    逆量子化部
２０３    逆周波数変換部
２０４    ピクチャバッファ
２０５    ブロック歪み除去フィルタ部
２０６    デコードピクチャバッファ
２０７    イントラ予測部
２０８    フレーム間予測部
２０９    復号制御部
２１０    雑音混入器
１００１  プロセッサ
１００２  プログラムメモリ
１００３  記憶媒体
１００４  記憶媒体
【図１】
2011064944.tif 000017
【図２】
2011064944.tif 000018
【図３】
2011064944.tif 000019
【図４】
2011064944.tif 000020
【図５】
2011064944.tif 000021
【図６】
2011064944.tif 000022
【図７】
2011064944.tif 000023
【図８】
2011064944.tif 000024
【図９】
2011064944.tif 000025
【図１０】
2011064944.tif 000026
【図１１】
2011064944.tif 000027
【図１２】
2011064944.tif 000028
【図１３】
2011064944.tif 000029
【図１４】
2011064944.tif 000030
【図１５】
2011064944.tif 000031
【図１６】
2011064944.tif 000032
【図１７】
2011064944.tif 000033
【図１８】
2011064944.tif 000034
【図１９】
2011064944.tif 000035
【図２０】
2011064944.tif 000036
【図２１】
2011064944.tif 000037
【図２２】
2011064944.tif 000038
【図２３】
2011064944.tif 000039
【図２４】
2011064944.tif 000040
【図２５】
2011064944.tif 000041
【図２６】
2011064944.tif 000042
【図２７】
2011064944.tif 000043
【図２８】
2011064944.tif 000044
【図２９】
2011064944.tif 000045
【国際調査報告】
2011064944.tif 000046
2011064944.tif 000047
2011064944.tif 000048
2011064944.tif 000049