(57)【特許請求の範囲】
【請求項１】
画像ブロックに対するイントラ予測信号またはフレーム間予測信号を計算する予測手段と、
画像ブロックの量子化インデックスを逆量子化して量子化代表値を得る逆量子化手段と、
前記逆量子化手段によって得られた量子化代表値を逆変換して再構築予測誤差画像ブロックを得る逆周波数変換手段と、
イントラ予測信号またはフレーム間予測信号を前記逆周波数変換手段によって得られた再構築予測誤差画像ブロックに加えて再構築画像ブロックを得る再構築手段と、
前記再構築手段によって得られた再構築画像ブロックを再構築画像ピクチャとして格納する再構築画像格納手段と、
前記再構築画像ピクチャに擬似ランダム雑音を混入させる雑音混入手段と、
擬似ランダム雑音が混入させられた再構築画像ピクチャにウィナーフィルタを適用するウィナーフィルタ手段と、
前記ウィナーフィルタが適用された再構築画像ピクチャをフレーム間予測の参照画像ピクチャとして格納する参照画像格納手段と
を備えた映像符号化装置。
【請求項２】
画像ブロックからイントラ予測信号またはフレーム間予測信号を減じて予測誤差画像ブロックを得る予測誤差計算手段と、
前記予測誤差計算手段によって得られた予測誤差画像ブロックを変換して変換係数を得る周波数変換手段と、
前記周波数変換手段によって得られた変換係数を量子化して量子化インデックスを得る量子化インデックス計算手段と、
前記量子化インデックス計算手段によって得られた量子化インデックスをエントロピー符号化してそのビット列を出力するエントロピー符号化手段とを備え、
逆量子化手段は、前記量子化インデックス計算手段によって得られた量子化インデックスを逆量子化する
請求項１記載の映像符号化装置。
【請求項３】
画像ブロックからイントラ予測信号またはフレーム間予測信号を減じて予測誤差画像ブロックを得る予測誤差計算手段と、
前記予測誤差計算手段によって得られた予測誤差画像ブロックを変換して変換係数を得る周波数変換手段と、
前記周波数変換手段によって得られた変換係数を量子化して量子化インデックスを計算する量子化インデックス計算手段と、
前記量子化インデックス計算手段によって得られた量子化インデックスをエントロピー符号化してそのビット列を出力するエントロピー符号化手段とを備え、
逆量子化手段は、前記量子化インデックス計算手段によって得られた量子化インデックスを逆量子化し、
再構築画像ブロックのブロック歪みを除去するブロック歪み除去手段を備え、
雑音混入手段は、前記ブロック歪みが除去された再構築画像ピクチャに擬似ランダム雑音を混入させる
請求項１記載の映像符号化装置。
【請求項４】
雑音混入手段は、再構築画像ピクチャの画像の変動量に基づいて擬似ランダム雑音の混入位置を決定する
請求項１から請求項３のうちのいずれか１項に記載の映像符号化装置。
【請求項５】
雑音混入手段は、再構築画像ブロックの伸張情報に基づいて擬似ランダム雑音の混入位置を決定する
請求項１から請求項３のうちのいずれか１項に記載の映像符号化装置。
【請求項６】
雑音混入手段は、再構築画像ブロックの伸張情報に基づいて擬似ランダム雑音の混入候補位置を決定し、混入候補位置について再構築画像ピクチャの画像の変動量に基づいて擬似ランダム雑音混入候位置を決定する
請求項１から請求項３のうちのいずれか１項に記載の映像符号化装置。
【請求項７】
雑音混入手段を所定の映像符号化単位でリセットするリセット手段を備えた
請求項１から請求項６のうちのいずれか１項に記載の映像符号化装置。
【請求項８】
雑音混入手段は、量子化ステップサイズに従って調節された量の擬似ランダム雑音を混入させる
請求項１から請求項７のうちのいずれか１項に記載の映像符号化装置。
【請求項９】
ビット列をエントロピー復号して量子化インデックスを計算するエントロピー復号手段と、
画像ブロックに対するイントラ予測信号またはフレーム間予測信号を計算する予測手段と、
前記量子化インデックスを逆量子化して量子化代表値を得る逆量子化手段と、
前記逆量子化手段によって得られた量子化代表値を逆変換して再構築予測誤差画像ブロックを得る逆周波数変換手段と、
イントラ予測信号またはフレーム間予測信号を前記逆周波数変換手段によって得られた再構築予測誤差画像ブロックに加えて再構築画像ブロックを得る再構築手段と、
前記再構築手段によって得られた再構築画像ブロックを再構築画像ピクチャとして格納する再構築画像格納手段と、
前記再構築画像ピクチャに擬似ランダム雑音を混入させる雑音混入手段と、
擬似ランダム雑音が混入させられた再構築画像ピクチャにウィナーフィルタを適用するウィナーフィルタ手段と、
前記ウィナーフィルタが適用された再構築画像ピクチャをフレーム間予測の参照画像ピクチャとして格納する参照画像手段と
を備えた映像復号装置。
【請求項１０】
再構築画像ピクチャのブロック歪みを除去するブロック歪み除去手段を備え、
雑音混入手段は、前記ブロック歪みが除去された再構築画像ピクチャに擬似ランダム雑音を混入させる
請求項９記載の映像復号装置。
【請求項１１】
雑音混入手段は、再構築画像ピクチャの画像の変動量に基づいて擬似ランダム雑音の混入位置を決定する
請求項９または請求項１０記載の映像復号装置。
【請求項１２】
雑音混入手段は、再構築画像ブロックの伸張情報に基づいて擬似ランダム雑音の混入位置を決定する
請求項９または請求項１０記載の映像復号装置。
【請求項１３】
雑音混入手段は、再構築画像ブロックの伸張情報に基づいて擬似ランダム雑音の混入候補位置を決定し、混入候補位置について再構築画像ピクチャの画像の変動量に基づいて擬似ランダム雑音混入候位置を決定する
請求項９または請求項１０記載の映像復号装置。
【請求項１４】
雑音混入手段を所定の映像復号単位でリセットするリセット手段を備えた
請求項９から請求項１３のうちのいずれか１項に記載の映像復号装置。
【請求項１５】
雑音混入手段は、量子化ステップサイズに従って調節された量の擬似ランダム雑音を混入させる
請求項９から請求項１４のうちのいずれか１項に記載の映像復号装置。
【請求項１６】
画像ブロックに対するイントラ予測信号またはフレーム間予測信号を計算し、
画像ブロックの量子化インデックスを逆量子化して量子化代表値を得て、
得られた量子化代表値を逆変換して再構築予測誤差画像ブロックを得て、
イントラ予測信号またはフレーム間予測信号を前記再構築予測誤差画像ブロックに加えて再構築画像ブロックを得て、
得られた再構築画像ブロックを再構築画像ピクチャとして再構築画像格納手段に格納し、
前記再構築画像ピクチャに擬似ランダム雑音を混入させて、
擬似ランダム雑音が混入させられた再構築画像ピクチャにウィナーフィルタを適用し、
前記ウィナーフィルタが適用された再構築画像ピクチャをフレーム間予測の参照画像ピクチャとして参照画像格納手段に格納する
映像符号化方法。
【請求項１７】
画像ブロックからイントラ予測信号またはフレーム間予測信号を減じて予測誤差画像ブロックを得て、
前記予測誤差画像ブロックを変換して変換係数を得て、
前記変換係数を量子化して量子化インデックスを得る量子化インデックス計算処理を実行し、
前記量子化インデックス計算処理で得られた量子化インデックスをエントロピー符号化してそのビット列を出力し、
前記量子化インデックス計算処理によって得られた量子化インデックスを逆量子化する
請求項１６記載の映像符号化方法。
【請求項１８】
画像ブロックからイントラ予測信号またはフレーム間予測信号を減じて予測誤差画像ブロックを得て、
前記予測誤差画像ブロックを変換して変換係数を得て、
前記変換係数を量子化して量子化インデックスを計算する量子化インデックス計算処理を実行し、
前記量子化インデックス計算処理で得られた量子化インデックスをエントロピー符号化してそのビット列を出力し、
前記量子化インデックス計算処理で得られた量子化インデックスを逆量子化し、
再構築画像ブロックのブロック歪みを除去し、
前記ブロック歪みが除去された再構築画像ピクチャに擬似ランダム雑音を混入させる
請求項１６記載の映像符号化方法。
【請求項１９】
再構築画像ピクチャの画像の変動量に基づいて擬似ランダム雑音の混入位置を決定する
請求項１６から請求項１８のうちのいずれか１項に記載の映像符号化方法。
【請求項２０】
再構築画像ブロックの伸張情報に基づいて擬似ランダム雑音の混入位置を決定する
請求項１６から請求項１８のうちのいずれか１項に記載の映像符号化方法。
【請求項２１】
再構築画像ブロックの伸張情報に基づいて擬似ランダム雑音の混入候補位置を決定し、混入候補位置について再構築画像ピクチャの画像の変動量に基づいて擬似ランダム雑音混入候位置を決定する
請求項１６から請求項１８のうちのいずれか１項に記載の映像符号化方法。
【請求項２２】
擬似ランダム雑音として、所定の映像符号化単位でリセットされる擬似ランダム雑音を発生する
請求項１６から請求項２１のうちのいずれか１項に記載の映像符号化方法。
【請求項２３】
量子化ステップサイズに従って調節された量の擬似ランダム雑音を混入させる
請求項１６から請求項２２のうちのいずれか１項に記載の映像符号化方法。
【請求項２４】
ビット列をエントロピー復号して量子化インデックスを計算し、
画像ブロックに対するイントラ予測信号またはフレーム間予測信号を計算し、
前記量子化インデックスを逆量子化して量子化代表値を得て、
得られた量子化代表値を逆変換して再構築予測誤差画像ブロックを得て、
イントラ予測信号またはフレーム間予測信号を前記再構築予測誤差画像ブロックに加えて再構築画像ブロックを得て、
得られた前記再構築画像ブロックを再構築画像ピクチャとして再構築画像格納手段に格納し、
前記再構築画像ピクチャに擬似ランダム雑音を混入させて、
擬似ランダム雑音が混入させられた再構築画像ピクチャにウィナーフィルタを適用し、
前記ウィナーフィルタが適用された再構築画像ピクチャをフレーム間予測の参照画像ピクチャとして参照画像手段に格納する
映像復号方法。
【請求項２５】
再構築画像ピクチャのブロック歪みを除去し、
前記ブロック歪みが除去された再構築画像ピクチャに擬似ランダム雑音を混入させる
請求項２４記載の映像復号方法。
【請求項２６】
再構築画像ピクチャの画像の変動量に基づいて擬似ランダム雑音の混入位置を決定する
請求項２４または請求項２５記載の映像復号装置。
【請求項２７】
構築画像ブロックの伸張情報に基づいて擬似ランダム雑音の混入位置を決定する
請求項２４または請求項２５記載の映像復号装置。
【請求項２８】
再構築画像ブロックの伸張情報に基づいて擬似ランダム雑音の混入候補位置を決定し、混入候補位置について再構築画像ピクチャの画像の変動量に基づいて擬似ランダム雑音混入候位置を決定する
請求項２４または請求項２５記載の映像復号装置。
【請求項２９】
擬似ランダム雑音として、所定の映像復号単位でリセットされる擬似ランダム雑音を発生する
請求項２４から請求項２８のうちのいずれか１項に記載の映像復号方法。
【請求項３０】
量子化ステップサイズに従って調節された量の擬似ランダム雑音を混入させる
請求項２４から請求項２９のうちのいずれか１項に記載の映像復号方法。
【請求項３１】
コンピュータに、
画像ブロックに対するイントラ予測信号またはフレーム間予測信号を計算する処理と、
画像ブロックの量子化インデックスを逆量子化して量子化代表値を得る処理と、
得られた量子化代表値を逆変換して再構築予測誤差画像ブロックを得る処理と、
イントラ予測信号またはフレーム間予測信号を前記再構築予測誤差画像ブロックに加えて再構築画像ブロックを得る処理と、
得られた再構築画像ブロックを再構築画像ピクチャとして再構築画像格納手段に格納する処理と、
前記再構築画像ピクチャに擬似ランダム雑音を混入させる処理と、
擬似ランダム雑音が混入させられた再構築画像ピクチャにウィナーフィルタを適用する処理と、
前記ウィナーフィルタが適用された再構築画像ピクチャをフレーム間予測の参照画像ピクチャとして参照画像格納手段に格納する処理と
を実行させるための映像符号化プログラム。
【請求項３２】
コンピュータに、
画像ブロックからイントラ予測信号またはフレーム間予測信号を減じて予測誤差画像ブロックを得る処理と、
前記予測誤差画像ブロックを変換して変換係数を得る処理と、
前記変換係数を量子化して量子化インデックスを得る量子化インデックス計算処理と、
前記量子化インデックス計算処理で得られた量子化インデックスをエントロピー符号化してそのビット列を出力する量子化処理とを実行させ、
前記量子化インデックス計算処理で得られた量子化インデックスを逆量子化させる
請求項３１記載の映像符号化プログラム。
【請求項３３】
コンピュータに、
画像ブロックからイントラ予測信号またはフレーム間予測信号を減じて予測誤差画像ブロックを得る処理と、
前記予測誤差画像ブロックを変換して変換係数を得る処理と、
前記変換係数を量子化して量子化インデックスを計算する量子化インデックス計算処理と、
前記量子化インデックス計算処理で得られた量子化インデックスをエントロピー符号化してそのビット列を出力するエントロピー符号化処理とを実行させ、
前記量子化インデックス計算処理で得られた量子化インデックスを逆量子化させ、
再構築画像ブロックのブロック歪みを除去するブロック歪み除去処理を実行させ、
前記ブロック歪みが除去された再構築画像ピクチャに擬似ランダム雑音を混入させる
請求項３１記載の映像符号化プログラム。
【請求項３４】
コンピュータに、再構築画像ピクチャの画像の変動量に基づいて擬似ランダム雑音の混入位置を決定する処理を実行させる
請求項３１から請求項３３のうちのいずれか１項に記載の映像符号化プログラム。
【請求項３５】
コンピュータに、再構築画像ブロックの伸張情報に基づいて擬似ランダム雑音の混入位置を決定する処理を実行させる
請求項３１から請求項３３のうちのいずれか１項に記載の映像符号化プログラム。
【請求項３６】
コンピュータに、再構築画像ブロックの伸張情報に基づいて擬似ランダム雑音の混入候補位置を決定し、混入候補位置について再構築画像ピクチャの画像の変動量に基づいて擬似ランダム雑音混入候位置を決定する処理を実行させる
請求項３１から請求項３３のうちのいずれか１項に記載の映像符号化プログラム。
【請求項３７】
コンピュータに、擬似ランダム雑音として、所定の映像符号化単位でリセットされる擬似ランダム雑音を発生させる
請求項３１から請求項３６のうちのいずれか１項に記載の映像符号化プログラム。
【請求項３８】
コンピュータに、量子化ステップサイズに従って調節された量の擬似ランダム雑音混入させる
請求項３１から請求項３７のうちのいずれか１項に記載の映像符号化プログラム。
【請求項３９】
コンピュータに、
ビット列をエントロピー復号して量子化インデックスを計算する処理と、
画像ブロックに対するイントラ予測信号またはフレーム間予測信号を計算する処理と、
前記量子化インデックスを逆量子化して量子化代表値を得る処理と、
得られた量子化代表値を逆変換して再構築予測誤差画像ブロックを得る処理と、
イントラ予測信号またはフレーム間予測信号を前記再構築予測誤差画像ブロックに加えて再構築画像ブロックを得る処理と、
得られた再構築画像ブロックを再構築画像ピクチャとして再構築画像格納手段に格納する処理と、
前記再構築画像ピクチャに擬似ランダム雑音を混入させる処理と、
擬似ランダム雑音が混入させられた再構築画像ピクチャにウィナーフィルタを適用する処理と、
前記ウィナーフィルタが適用された再構築画像ピクチャをフレーム間予測の参照画像ピクチャとして参照画像手段に格納する処理と
を実行させるための映像復号プログラム。
【請求項４０】
コンピュータに、
再構築画像ピクチャのブロック歪みを除去する処理を実行させ、
前記ブロック歪みが除去された再構築画像ピクチャに擬似ランダム雑音を混入させる
請求項３９記載の映像復号プログラム。
【請求項４１】
コンピュータに、再構築画像ピクチャの画像の変動量に基づいて擬似ランダム雑音の混入位置を決定する処理を実行させる
請求項３９または請求項４０記載の映像復号プログラム。
【請求項４２】
コンピュータに、再構築画像ブロックの伸張情報に基づいて擬似ランダム雑音の混入位置を決定する処理を実行させる
請求項３９または請求項４０記載の映像復号プログラム。
【請求項４３】
コンピュータに、再構築画像ブロックの伸張情報に基づいて擬似ランダム雑音の混入候補位置を決定し、混入候補位置について再構築画像ピクチャの画像の変動量に基づいて擬似ランダム雑音混入候位置を決定する処理を実行させる
請求項３９または請求項４０記載の映像復号プログラム。
【請求項４４】
コンピュータに、擬似ランダム雑音として、所定の映像復号単位でリセットされる擬似ランダム雑音を発生させる
請求項３９から請求項４３のうちのいずれか１項に記載の映像復号プログラム。
【請求項４５】
コンピュータに、量子化ステップサイズに従って調節された量の擬似ランダム雑音を混入させる
請求項３９から請求項４４のうちのいずれか１項に記載の映像復号プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、輪郭および階段アーティファクトを低減する映像符号化技術が適用された映像符号化装置および映像復号装置に関する。
【背景技術】
【０００２】
一般に、映像符号化装置は、外部から入力される動画像信号をディジタル化した後、所定の映像符号化方式に準拠した符号化処理を行うことで符号化データすなわちビットストリームを生成する。【０００３】
所定の映像符号化方式として非特許文献１に記載されたＩＳＯ／ＩＥＣ  14496-10 Advanced Video Coding（ＡＶＣ）がある。ＡＶＣ方式の符号化器の参照モデルとしてJoint Model方式が知られている（以下、一般的な映像符号化装置という）。【０００４】
図２１を参照して、ディジタル化された映像の各フレームを入力としてビットストリームを出力する一般的な映像符号化装置の構成と動作を説明する。【０００５】
図２１に示すように、一般的な映像符号化装置は、ＭＢバッファ１０１、周波数変換部１０２、量子化部１０３、エントロピー符号化部１０４、逆量子化部１０５、逆周波数変換部１０６、ピクチャバッファ１０７、ブロック歪み除去フィルタ部１０８、デコードピクチャバッファ１０９、イントラ予測部１１０、フレーム間予測部１１１、符号化制御部１１２およびスイッチ１００を備えている。【０００６】
一般的な映像符号化装置は、各フレームをＭＢ（Macro Block ：マクロブロック）と呼ばれる１６×１６画素サイズのブロックに分割し、さらにＭＢを４×４画素サイズのブロック分割し、分割して得られた４×４ブロックを符号化の最小構成単位とする。【０００７】
図２２は、フレームの空間解像度がＱＣＩＦ（Quarter Common Intermediate Format）の場合のブロック分割の例を示す説明図である。以下、簡単のために、輝度の画素値のみに着目して、図２１に示された各部の動作を説明する。【０００８】
ＭＢバッファ１０１には、入力画像フレームの符号化対象ＭＢの画素値が格納される。以下、符号化対象ＭＢを入力ＭＢという。【０００９】
ＭＢバッファ１０１から供給される入力ＭＢは、スイッチ１００を介して、イントラ予測部１１０またはフレーム間予測部１１１から供給される予測信号が減じられる。以下、予測信号が減じられた入力ＭＢを予測誤差画像ブロックという。【００１０】
イントラ予測部１１０は、ピクチャバッファ１０７に格納された再構築画像であって現在のフレームと表示時刻が同一である再構築画像を利用してイントラ予測信号を生成する。以下、イントラ予測信号を用いて符号化されるＭＢをイントラＭＢという。【００１１】
フレーム間予測部１１１は、現在のフレームと表示時刻が異なる、デコードピクチャバッファ１０９に格納された参照画像を利用してフレーム間予測信号を生成する。以下、フレーム間予測信号を用いて符号化されるＭＢをインターＭＢという。【００１２】
なお、イントラＭＢのみで符号化されたフレームはＩフレームと呼ばれる。イントラＭＢだけでなくインターＭＢも含めて符号化されたフレームはＰフレームと呼ばれる。フレーム間予測に１枚の参照画像だけでなく同時に２枚の参照画像を用いるインターＭＢを含めて符号化されたフレームはＢフレームと呼ばれる。【００１３】
符号化制御部１１２は、イントラ予測信号およびフレーム間予測信号とＭＢバッファ１０１に格納されている入力ＭＢとを比較して、予測誤差画像ブロックのエネルギーが小さくなる予測信号を選択し、スイッチ１００を制御する。選択された予測信号に関連する情報は、エントロピー符号化部１０４に供給される。【００１４】
また、符号化制御部１１２は、入力ＭＢまたは予測誤差画像ブロックに基づいて、予測誤差画像ブロックの周波数変換に適した整数ＤＣＴの基底ブロックサイズを選択する。整数ＤＣＴは、一般的な映像符号化装置ではＤＣＴ基底を整数値で近似した基底による周波数変換を意味する。基底ブロックサイズの選択肢として、１６×１６、８×８、４×４の３つのブロックサイズがある。入力ＭＢまたは予測誤差画像ブロックの画素値が平坦になる程、より大きな基底ブロックサイズが選択される。選択された整数ＤＣＴの基底サイズに関する情報は、周波数変換部１０２およびエントロピー符号化部１０４に供給される。以下、選択された予測信号に関連する情報および選択された整数ＤＣＴの基底サイズに関する情報を補助情報という。【００１５】
さらに、符号化制御部１１２は、目標ビット数以下でフレームを符号化するために、エントロピー符号化部１０４が出力するビットストリームのビット数を監視する。そして、出力されるビットストリームのビット数が目標ビット数よりも多ければ量子化ステップサイズを大きくする量子化パラメータを出力し、逆に、出力されるビットストリームのビット数が目標ビット数よりも少なければ量子化ステップサイズを小さくする量子化パラメータを出力する。そのようにして、出力ビットストリームは目標のビット数に近づくように符号化される。【００１６】
周波数変換部１０２は、選択された整数ＤＣＴの基底サイズで、予測誤差画像ブロックを周波数変換して、空間領域から周波数領域に変換する。周波数領域に変換された予測誤差を変換係数という。周波数変換には、ＤＣＴ（Discrete Cosine Transform ）やアダマール変換などの直交変換を利用することができる。【００１７】
量子化部１０３は、符号化制御部１１２から供給される量子化パラメータに対応する量子化ステップサイズで、変換係数を量子化する。なお、量子化された変換係数の量子化インデックスはレベルとも呼ばれる。【００１８】
エントロピー符号化部１０４は、補助情報と量子化インデックスとをエントロピー符号化して、そのビット列すなわちビットストリームとして出力する。【００１９】
逆量子化部１０５および逆変換部１０６は、以後の符号化のために、量子化部１０３から供給される量子化インデックスを逆量子化して量子化代表値を得て、さらに逆周波数変換して元の空間領域に戻す。以下、元の空間領域に戻された予測誤差画像ブロックを再構築予測誤差画像ブロックという。なお、逆量子化された量子化インデックスを量子化代表値という。【００２０】
ピクチャバッファ１０７には、現在のフレームに含まれる全てのＭＢが符号化されるまで、再構築予測誤差画像ブロックに予測信号が加えられた再構築画像ブロックが格納される。以下、ピクチャバッファ１０７において再構築画像によって構成されるピクチャを再構築画像ピクチャという。【００２１】
ブロック歪み除去フィルタ部１０８は、ピクチャバッファ１０７に格納された再構築画像ピクチャに対してブロック歪みを解除する。すなわち、ブロック歪みを除去する。【００２２】
デコードピクチャバッファ１０９は、ブロック歪み除去フィルタ部１０８から供給されるブロック歪みが除去された再構築画像ピクチャを参照画像ピクチャとして格納する。なお、参照画像ピクチャの画像は、フレーム間予測信号を生成するための参照画像として利用される。【００２３】
図２１に示された映像符号化装置は、以上のような処理によって、ビットストリームを生成する。
【先行技術文献】
【特許文献】
【００２４】
【特許文献１】特表２００７−５０３１６６号公報
【特許文献２】特表２００７−５０７１６９号公報
【非特許文献】
【００２５】
【非特許文献１】ＩＳＯ／ＩＥＣ  14496-10 Advanced Video Coding
【非特許文献２】Steffen Wittmann and Thomas Wedi，”Transmission of Post-Filter Hints For Video Coding Schemes”，ICIP2007，USA ，2007年 9月
【非特許文献３】Toshiba corporation ，”Quadtree-based adaptive loop filter ”，ITU-T ，COM16C181 ，2009年 1月
【非特許文献４】L.G. Roberts，”Picture coding using pseudorandom noise ”，IRE Trans. on Information Theory，vol. IT-8 ，pp145-154 ，1962年 2月
【非特許文献５】T. Chen ，”Elimination of subband coding artifacts using the dithering technique ”，ICIP94，1994年11月
【非特許文献６】蝶野他，”アダマール変換の性質を利用したH.264 イントラ予測推定器の低演算量化方式”，電子情報通信学会大会講演論文集，D-11-52 ，2005年
【発明の概要】
【発明が解決しようとする課題】
【００２６】
上述した技術によって低ビットレートで圧縮され伸張された映像は、人間が認識可能なアーティファクトを発生する。ブロック歪みやリンギング歪みは、ブロックベース符号化に基づいて圧縮され伸張された映像に発生する典型的なアーティファクトである。【００２７】
非特許文献２では、ブロック歪み除去フィルタ部によって除去できないリンギング歪みなどを低減するために、ブロック歪みが除去された再構築画像ピクチャにウィナーフィルタを適用することが提案されている。非特許文献３では、非特許文献２に開示されているウィナーフィルタを符号化ループ内処理に適用し、さらに、局所領域単位でウィナーフィルタをオン／オフすることが提案されている。しかし、非特許文献２および非特許文献３に開示されているウィナーフィルタは、線形フィルタである。線形フィルタは、圧縮ノイズによって生じた特有の構造を壊すことができないので、ウィナーフィルタだけでは、輪郭および階段アーティファクトを低減できない。なお、ウィナーフィルタは、最小２乗誤差フィルタとも呼ばれる。【００２８】
非特許文献４では、輪郭および階段アーティファクトに対する人間の視覚感度を低下させるために、画像へ擬似ランダム雑音を混入させることが提案されている。非特許文献５では、サブバンド変換符号化に基づく静止画像の圧縮において、有意なサブバンド変換係数に擬似ランダム雑音を混入させることが提案されている。さらに、非特許文献５には、擬似ランダム雑音の混入に起因する白色雑音のアーティファクトをウィナーフィルタによって抑制することも記載されている。しかし、非特許文献４および非特許文献５では、フレーム間予測を用いる映像符号化に対する擬似ランダム雑音混入による悪影響が考慮されていない。悪影響の例として、擬似ランダム雑音混入によるフレーム間差分の発生に起因する圧縮効率の低下がある。【００２９】
特許文献１および特許文献２では、擬似ランダム雑音混入によるフレーム間差分の発生に起因する圧縮効率の低下に対処するために、現在の画像の少なくとも一部の輝度に関連づけられた量、または前の画像の画素の付加的ノイズに関連する量の擬似ランダム雑音を混入させることが提案されている。【００３０】
しかし、非特許文献２および非特許文献３に開示されているような、ウィナーフィルタを用いる映像符号化は考慮されていない。従って、特許文献１および特許文献２に記載された映像符号化装置には、ウィナーフィルタを用いる映像符号化において、混入される擬似ランダム雑音の量が不足し、輪郭および階段アーティファクトに対する人間の視覚感度を十分に低減できないという課題がある。【００３１】
すなわち、一般的な技術では、輪郭および階段アーティファクトを効率的に低減することが可能な、フレーム間予測を用いる映像符号化および映像復号を提供できないという課題がある。【００３２】
そこで、本発明は、輪郭および階段アーティファクトを効率的に低減することができる映像符号化装置および映像復号装置を提供することを目的とする。
【課題を解決するための手段】
【００３３】
本発明による映像符号化装置は、画像ブロックに対するイントラ予測信号またはフレーム間予測信号を計算する予測手段と、画像ブロックの量子化インデックスを逆量子化して量子化代表値を得る逆量子化手段と、逆量子化手段によって得られた量子化代表値を逆変換して再構築予測誤差画像ブロックを得る逆周波数変換手段と、イントラ予測信号またはフレーム間予測信号を逆周波数変換手段によって得られた再構築予測誤差画像ブロックに加えて再構築画像ブロックを得る再構築手段と、再構築手段によって得られた再構築画像ブロックを再構築画像ピクチャとして格納する再構築画像格納手段と、再構築画像ピクチャに擬似ランダム雑音を混入させる雑音混入手段と、擬似ランダム雑音が混入させられた再構築画像ピクチャにウィナーフィルタを適用するウィナーフィルタ手段と、ウィナーフィルタが適用された再構築画像ピクチャをフレーム間予測の参照画像ピクチャとして格納する参照画像格納手段とを備えたことを特徴する。【００３４】
本発明による映像復号装置は、ビット列をエントロピー復号して量子化インデックスを計算するエントロピー復号手段と、画像ブロックに対するイントラ予測信号またはフレーム間予測信号を計算する予測手段と、量子化インデックスを逆量子化して量子化代表値を得る逆量子化手段と、逆量子化手段によって得られた量子化代表値を逆変換して再構築予測誤差画像ブロックを得る逆周波数変換手段と、イントラ予測信号またはフレーム間予測信号を逆周波数変換手段によって得られた再構築予測誤差画像ブロックに加えて再構築画像ブロックを得る再構築手段と、再構築手段によって得られた再構築画像ブロックを再構築画像ピクチャとして格納する再構築画像格納手段と、再構築画像ピクチャに擬似ランダム雑音を混入させる雑音混入手段と、擬似ランダム雑音が混入させられた再構築画像ピクチャにウィナーフィルタを適用するウィナーフィルタ手段と、ウィナーフィルタが適用された再構築画像ピクチャをフレーム間予測の参照画像ピクチャとして格納する参照画像手段とを備えたことを特徴する。【００３５】
本発明による映像符号化方法は、画像ブロックに対するイントラ予測信号またはフレーム間予測信号を計算し、画像ブロックの量子化インデックスを逆量子化して量子化代表値を得て、得られた量子化代表値を逆変換して再構築予測誤差画像ブロックを得て、イントラ予測信号またはフレーム間予測信号を再構築予測誤差画像ブロックに加えて再構築画像ブロックを得て、得られた再構築画像ブロックを再構築画像ピクチャとして再構築画像格納手段に格納し、再構築画像ピクチャに擬似ランダム雑音を混入させて、擬似ランダム雑音が混入させられた再構築画像ピクチャにウィナーフィルタを適用し、ウィナーフィルタが適用された再構築画像ピクチャをフレーム間予測の参照画像ピクチャとして参照画像格納手段に格納することを特徴する。【００３６】
本発明による映像復号方法は、ビット列をエントロピー復号して量子化インデックスを計算し、画像ブロックに対するイントラ予測信号またはフレーム間予測信号を計算し、量子化インデックスを逆量子化して量子化代表値を得て、得られた量子化代表値を逆変換して再構築予測誤差画像ブロックを得て、イントラ予測信号またはフレーム間予測信号を再構築予測誤差画像ブロックに加えて再構築画像ブロックを得て、得られた再構築画像ブロックを再構築画像ピクチャとして再構築画像格納手段に格納し、再構築画像ピクチャに擬似ランダム雑音を混入させて、擬似ランダム雑音が混入させられた再構築画像ピクチャにウィナーフィルタを適用し、ウィナーフィルタが適用された再構築画像ピクチャをフレーム間予測の参照画像ピクチャとして参照画像手段に格納することを特徴する。【００３７】
本発明による映像符号化プログラムは、コンピュータに、画像ブロックに対するイントラ予測信号またはフレーム間予測信号を計算する処理と、画像ブロックの量子化インデックスを逆量子化して量子化代表値を得る処理と、得られた量子化代表値を逆変換して再構築予測誤差画像ブロックを得る処理と、イントラ予測信号またはフレーム間予測信号を再構築予測誤差画像ブロックに加えて再構築画像ブロックを得る処理と、得られた再構築画像ブロックを再構築画像ピクチャとして再構築画像格納手段に格納する処理と、再構築画像ピクチャに擬似ランダム雑音を混入させる処理と、擬似ランダム雑音が混入させられた再構築画像ピクチャにウィナーフィルタを適用する処理と、ウィナーフィルタが適用された再構築画像ピクチャをフレーム間予測の参照画像ピクチャとして参照画像格納手段に格納する処理とを実行させることを特徴する。【００３８】
本発明による映像復号プログラムは、コンピュータに、ビット列をエントロピー復号して量子化インデックスを計算する処理と、画像ブロックに対するイントラ予測信号またはフレーム間予測信号を計算する処理と、量子化インデックスを逆量子化して量子化代表値を得る処理と、得られた量子化代表値を逆変換して再構築予測誤差画像ブロックを得る処理と、イントラ予測信号またはフレーム間予測信号を再構築予測誤差画像ブロックに加えて再構築画像ブロックを得る処理と、得られた再構築画像ブロックを再構築画像ピクチャとして再構築画像格納手段に格納する処理と、再構築画像ピクチャに擬似ランダム雑音を混入させる処理と、擬似ランダム雑音が混入させられた再構築画像ピクチャにウィナーフィルタを適用する処理と、ウィナーフィルタが適用された再構築画像ピクチャをフレーム間予測の参照画像ピクチャとして参照画像手段に格納する処理とを実行させることを特徴する。
【発明の効果】
【００３９】
本発明によれば、フレーム間予測を用いる映像符号化および映像復号において、輪郭および階段アーティファクトが効率的に低減される。
【図面の簡単な説明】
【００４０】
【図１】第１の実施形態の映像符号化装置のブロック図である。
【図２】擬似ランダム雑音の発生器のリセットを説明するための説明図である。
【図３】第２の実施形態の映像符号化装置のブロック図である。
【図４】第３の実施形態の映像復号装置のブロック図である。
【図５】第４の実施形態の映像復号装置のブロック図である。
【図６】第１の実施形態の映像符号化装置に対して画素値の変動量の大小に基づいて擬似ランダム雑音混入位置を決定する雑音混入器を適用した場合の構成を示すブロック図である。
【図７】第２の実施形態の映像符号化装置に対して画素値の変動量の大小に基づいて擬似ランダム雑音混入位置を決定する雑音混入器を適用した場合の構成を示すブロック図である。
【図８】第３の実施形態の映像復号装置に対して画素値の変動量の大小に基づいて擬似ランダム雑音混入位置を決定する雑音混入器を適用した場合の構成を示すブロック図である。
【図９】第４の実施形態の映像復号装置に対して画素値の変動量の大小に基づいて擬似ランダム雑音混入位置を決定する雑音混入器を適用した場合の構成を示すブロック図である。
【図１０】第１の実施形態の映像符号化装置に対して変動量を推定する雑音混入器を適用した場合の構成を示すブロック図である。
【図１１】第２の実施形態の映像符号化装置に対して変動量を推定する雑音混入器を適用した場合の構成を示すブロック図である。
【図１２】第３の実施形態の映像復号装置に対して変動量を推定する雑音混入器を適用した場合の構成を示すブロック図である。
【図１３】第４の実施形態の映像復号装置に対して変動量を推定する雑音混入器を適用した場合の構成を示すブロック図である。
【図１４】平坦な予測信号となる予測の種類を説明するための説明図である。
【図１５】平坦な予測信号となる予測の種類を説明するための説明図である。
【図１６】本発明による映像符号化装置および映像復号装置の機能を実現可能な情報処理システムの構成例を示すブロック図である。
【図１７】本発明による映像符号化装置の主要構成を示すブロック図である。
【図１８】本発明による映像復号装置の主要構成を示すブロック図である。
【図１９】本発明による映像符号化装置の処理を示すフローチャートである。
【図２０】本発明による映像復号装置の処理を示すフローチャートである。
【図２１】一般的な映像符号化装置の構成を示すブロック図である。
【図２２】ブロック分割の例を示す説明図である。
【発明を実施するための形態】
【００４１】
実施形態１．
図１は、本発明の第１の実施形態のブロック図であり、ブロック歪み除去前の再構築画像ピクチャに擬似ランダム雑音を混入させて、ブロック歪み除去後の再構築画像ピクチャにウィナーフィルタを適用する映像符号化装置を示すブロック図である。
【００４２】
図１に示すように、本実施形態の映像符号化装置は、ＭＢバッファ１０１、周波数変換部１０２、量子化部１０３、エントロピー符号化部１０４、逆量子化部１０５、逆周波数変換部１０６、ピクチャバッファ１０７、ブロック歪み除去フィルタ部１０８、デコードピクチャバッファ１０９、イントラ予測部１１０、フレーム間予測部１１１、符号化制御部１１２およびスイッチ１００に加えて、雑音混入器１１３およびウィナーフィルタ部１１４を備えている。
【００４３】
本実施形態の映像符号化装置は、雑音混入器１１３とウィナーフィルタ部１１４が設けられている点と、ピクチャバッファ１０７に格納された再構築画像ピクチャに対して雑音混入器１１３から供給される擬似ランダム雑音が混入させられてブロック歪み除去フィルタ部１０８に供給されている点とが、図２１に示された一般的な映像符号化装置と異なっている。よって、以下の説明では、特に、本実施形態の映像符号化装置の特徴である雑音混入器１１３とウィナーフィルタ部１１４との動作を詳細に説明をする。
【００４４】
ＭＢバッファ１０１には、入力画像フレームの符号化対象ＭＢの画素値が格納される。
【００４５】
ＭＢバッファ１０１から供給される入力ＭＢから、スイッチ１００を介してイントラ予測部１１０またはフレーム間予測部１１１から供給される予測信号が減じられる。
【００４６】
イントラ予測部１１０は、ピクチャバッファ１０７に格納された再構築画像であって現在のフレームと表示時刻が同一である再構築画像を利用してイントラ予測信号を生成する。イントラ予測に関連する情報として、イントラ予測のブロックサイズを示すイントラ予測モード、および方向を示すイントラ予測方向がある。
【００４７】
フレーム間予測部１１１は、現在のフレームと表示時刻が異なる、デコードピクチャバッファ１０９に格納された参照画像を利用してフレーム間予測信号を生成する。フレーム間予測に関連する情報として、フレーム間予測のブロックサイズを示すフレーム間予測モード、フレーム間予測の方向を示すフレーム間予測方向、デコードピクチャバッファ１０９に格納された参照ピクチャを同定する参照ピクチャインデックス、フレーム間予測の動きベクトルなどがある。
【００４８】
符号化制御部１１２は、イントラ予測信号およびフレーム間予測信号とＭＢバッファ１０１に格納されている入力ＭＢとを比較して、予測誤差画像ブロックのエネルギーが小さくなる予測信号を選択し、スイッチ１００を制御する。選択された予測信号に関連する情報は、エントロピー符号化部１０４に供給される。
【００４９】
また、符号化制御部１１２は、入力ＭＢまたは予測誤差画像ブロックに基づいて、予測誤差画像ブロックの周波数変換に適した整数ＤＣＴの基底ブロックサイズを選択する。選択された整数ＤＣＴの基底サイズは、周波数変換部１０２およびエントロピー符号化部１０４に供給される。通常、入力ＭＢまたは予測誤差画像ブロックの画素値が平坦になる程、より大きな基底ブロックサイズが選択される。換言すると、大きな基底ブロックサイズの再構築画像ブロックでは再構築画像は平坦である。なお、予測誤差画像ブロックのエネルギーが小さくなる予測信号がイントラ予測信号である場合には、選択された整数ＤＣＴの基底サイズはイントラ予測モードのブロックサイズと同一である。
【００５０】
さらに、符号化制御部１１２は、目標ビット数以下でフレームを符号化するために、エントロピー符号化部１０４が出力するビットストリームのビット数を監視する。そして、出力されるビットストリームのビット数が目標ビット数よりも多ければ量子化ステップサイズを大きくする量子化パラメータを出力し、逆に出力されるビットストリームのビット数が目標ビット数よりも少なければ量子化ステップサイズを小さくする量子化パラメータを出力する。そのようにして、出力ビットストリームは目標のビット数に近づくように符号化される。
【００５１】
周波数変換部１０２は、選択された整数ＤＣＴの基底サイズで、予測誤差画像ブロックを周波数変換して空間領域から周波数領域に変換する。
【００５２】
量子化部１０３は、変換係数を、符号化制御部１１２が供給する量子化パラメータに対応する量子化ステップサイズで量子化する。
【００５３】
エントロピー符号化部１０４は、選択された予測信号に関連する情報、整数ＤＣＴの基底サイズ、および量子化インデックスをエントロピー符号化して、そのビット列すなわちビットストリームとして出力する。
【００５４】
逆量子化部１０５および逆変換部１０６は、以後の符号化のために、量子化部１０３から供給される量子化インデックスを逆量子化し、さらに逆周波数変換して元の空間領域に戻す。すなわち、再構築予測誤差画像ブロックを生成する。
【００５５】
ピクチャバッファ１０７には、現在のフレームに含まれるすべてのＭＢが符号化されるまで、再構築予測誤差画像ブロックに予測信号が加えられた再構築画像ブロックが格納される。
【００５６】
雑音混入器１１３は、擬似ランダム雑音ｎ（ｉ）を発生する。擬似ランダム雑音ｎ（ｉ）を、例えば、式（１）による線形合同法などに基づいて発生すればよい。
【００５７】
ｎ（ｉ）＝（ａ×ｎ（ｉ−１）＋ｂ）％ｃ              ・・・（１）
【００５８】
ただし、ａ，ｂおよびｃは擬似ランダム雑音の周期を決定するパラメータであり、ａ＞０，ｂ＞０，ａ≦ｃ，ｂ＜ｃである、また、ｘ％ｙは、ｘをｙで割った余りを返す処理を示す。
【００５９】
なお、本発明では、擬似ランダム雑音の発生方法としてどのような発生方法も使用可能であるが、擬似ランダム雑音の発生器は所定の映像符号化単位または映像復号単位でリセットされることが可能であることが望ましい。図２は、擬似ランダム雑音の発生器を所定の映像符号化単位または映像復号単位でリセットする他の実施形態におけるリセットを説明するための説明図である。所定の映像符号化単位または映像復号単位として、例えば、各フレームの先頭ＭＢ（図２（ａ）参照）、各フレーム内での複数個のＭＢ毎（図２（ｂ）参照）、再構築画像の画素の依存関係を利用したＭＢの組毎などがある。擬似ランダム雑音の発生器を所定の映像符号化単位または映像復号単位でリセットすることによって、例えば、図２（ａ）に示された例では映像復号のためのランダムアクセス性を改善でき、図２（ｂ）に示された例では映像符号化および映像復号それぞれの並列処理性を改善できる。
【００６０】
例えば、符号化制御部１１２は、所定の映像符号化単位で、上述した線形合同法に基づく擬似ランダム雑音の発生器における擬似ランダム雑音ｎ（ｉ）の初期値ｎ（０）を所定値でリセットすればよい。また、映像符号化装置は、リセットの所定値または所定値を同定するための情報をビットストリームに埋め込んでもよい。映像復号装置は、ビットストリームに埋め込まれたリセットの所定値または所定値を同定するための情報を読み出し、その情報に基づいて擬似ランダム雑音を発生することによって、映像符号化側と同一の擬似ランダム雑音を発生できるので、映像符号化と映像復号間での擬似ランダム雑音に起因する画像のミスマッチを回避できる。
【００６１】
ピクチャバッファ１０７とブロック歪み除去フィルタ部１０８の間にある加算器は、再構築画像ピクチャの各位置（ｉ，ｊ）｛０≦ｉ≦ｗｉｄｔｈ−１，０≦ｊ≦ｈｅｉｇｈｔ−１｝の画素ｒｉｊに、式（２）によって擬似ランダム雑音ｎｉ，ｊ（式（１）のｎ（ｉ）を適当な方法で並び替えたとする）を混入させる。
【００６２】
ｒｉｊ＝（（ｒｉｊ＜＜６）＋（ｎｉ，ｊ％６４）＋３２）＞＞６      ・・・（２）
【００６３】
ただし、ｗｉｄｔｈとｈｅｉｇｈｔは、それぞれフレームの水平解像度、垂直解像度である。
【００６４】
式（２）に示すように、擬似ランダム雑音の影響強度が絶対値で１画素以下になるように、６４で割った余りが加えられている。擬似ランダム雑音の影響強度を絶対値で１画素以下にすることによって、擬似ランダム雑音混入によるＰＳＮＲ（Peak Signal to Noise Ratio）の低下を抑制できる。
【００６５】
ブロック歪み除去フィルタ部１０８は、雑音が混入された再構築画像ピクチャに対してブロック歪みを除去する。以下、ブロック歪みが除去された再構築画像ピクチャをブロック歪み除去再構築画像ピクチャという。
【００６６】
符号化制御部１１２は、入力フレーム（入力ピクチャ）とブロック歪み除去再構築画像ピクチャとを利用して、ブロック歪み除去再構築画像ピクチャの平均２乗誤差が最小になるウィナーフィルタを構成する。
【００６７】
入力ピクチャをＳ、ウィナーフィルタ適用前のブロック歪み除去再構築画像ピクチャをＸ、ウィナーフィルタ適用後のブロック歪み除去再構築画像ピクチャをＸ’とすると、平均２乗誤差Ｅ［ｅ２］は式（３）で定義される。
【００６８】
【数１】
0005454584.tif 000002
【００６９】
ただし、＊は畳み込み演算、ｈ（τ）｛０≦τ≦ｎ−１｝はウィナーフィルタのフィルタ係数、ＲＸＸはＸの自己相関係数、ＲＳＸはＳとＸの相互相関係数である。式（３）を各フィルタ係数について偏微分し、左辺をゼロとすると、以下の式（４）の関係式（Wiener-hops equations ）が得られる。
【００７０】
【数２】
0005454584.tif 000003
【００７１】
左辺の列ベクトルをＹ、右辺の行列および列ベクトルをそれぞれＡおよびＸとすると、Ｙ＝ＡＸとなり、ガウスの消去法を適用することによって、ウィナーフィルタのフィルタ係数ｈ（τ）を計算できる。すなわち、ウィナーフィルタを構成することができる。
【００７２】
符号化制御部１１２が計算したウィナーフィルタｈは、ウィナーフィルタ部１１４とエントロピー符号化部１０４とに供給される。エントロピー符号化部１０４は、供給されたウィナーフィルタｈのフィルタ係数をビットストリームに多重化する。
【００７３】
ウィナーフィルタ部１１４は、計算したウィナーフィルタｈをブロック歪み除去再構築画像ピクチャＸに適用する。定式的には、式（５）のようになる。
【００７４】
Ｘ’＝Ｘ＊ｈ                                              ・・・（５）
【００７５】
デコードピクチャバッファ１０９は、ウィナーフィルタを適用後のブロック歪み除去画像ピクチャＸ’を参照画像ピクチャとして格納する。なお、参照画像ピクチャの画像は、フレーム間予測信号を生成するための参照画像として利用される。
【００７６】
本実施形態の映像符号化装置は、上記のような処理によってビットストリームを生成する。
【００７７】
本実施形態の映像符号化装置は、ブロック歪み除去前の再構築画像ピクチャに擬似ランダム雑音を混入させて、ブロック歪み除去後の再構築画像ピクチャにウィナーフィルタを適用する。擬似ランダム雑音の混入によって、特に平坦領域において、ブロック歪み除去フィルタ部に階段アーティファクトの低減効果を与えることができる。また、特に平坦領域において、ウィナーフィルタに輪郭アーティファクトの低減効果を与えることができる。すなわち、本実施形態の映像符号化装置では、輪郭および階段アーティファクトを効率的に低減するために、擬似ランダム雑音混入とウィナーフィルタとが好適に組み合わせられている。さらに、擬似ランダム雑音の影響強度を絶対値で１画素以下になる擬似ランダム雑音を利用することによって、擬似ランダム雑音混入によるＰＳＮＲの低下とフレーム間差分の発生に起因する圧縮効率の低下の双方を抑制できる。
【００７８】
実施形態２．
図３は、本発明の第２の実施形態のブロック図であり、ブロック歪み除去後の再構築画像ピクチャに擬似ランダム雑音を混入させ、さらにウィナーフィルタを適用する映像符号化装置を示すブロック図である。
【００７９】
図３に示すように、本実施形態の映像符号化装置は、ＭＢバッファ１０１、周波数変換部１０２、量子化部１０３、エントロピー符号化部１０４、逆量子化部１０５、逆周波数変換部１０６、ピクチャバッファ１０７、ブロック歪み除去フィルタ部１０８、デコードピクチャバッファ１０９、イントラ予測部１１０、フレーム間予測部１１１、符号化制御部１１２およびスイッチ１００に加えて、雑音混入器１１３およびウィナーフィルタ部１１４を備えている。
【００８０】
本実施形態の映像符号化装置を図１に示された第１実施形態の映像符号化装置とは異なり、ブロック歪み除去フィルタ部１０８によってブロック歪みが除去された再構築画像ピクチャが、雑音混入器１１３から供給される擬似ランダム雑音が混入させられた後にウィナーフィルタ部１１４に供給されている。
【００８１】
ＭＢバッファ１０１は、入力画像フレームの符号化対象ＭＢの画素値を格納する。
【００８２】
ＭＢバッファ１０１から供給される入力ＭＢから、スイッチ１００を介してイントラ予測部１１０またはフレーム間予測部１１１から供給される予測信号が減じられる。
【００８３】
イントラ予測部１１０は、ピクチャバッファ１０７に格納された再構築画像であって現在のフレームと表示時刻が同一である再構築画像を利用してイントラ予測信号を生成する。イントラ予測に関連する情報として、イントラ予測のブロックサイズを示すイントラ予測モード、および方向を示すイントラ予測方向がある。
【００８４】
フレーム間予測部１１１は、現在のフレームと表示時刻が異なる、デコードピクチャバッファ１０９に格納された参照画像を利用してフレーム間予測信号を生成する。フレーム間予測に関連する情報として、フレーム間予測のブロックサイズを示すフレーム間予測モード、フレーム間予測の方向を示すフレーム間予測方向、デコードピクチャバッファ１０９に格納された参照ピクチャを同定する参照ピクチャインデックス、フレーム間予測の動きベクトルなどがある。
【００８５】
符号化制御部１１２は、イントラ予測信号およびフレーム間予測信号とＭＢバッファ１０１に格納されている入力ＭＢとを比較して、予測誤差画像ブロックのエネルギーが小さくなる予測信号を選択し、スイッチ１００を制御する。選択された予測信号に関連する情報は、エントロピー符号化部１０４に供給される。
【００８６】
また、符号化制御部１１２は、入力ＭＢまたは予測誤差画像ブロックに基づいて、予測誤差画像ブロックの周波数変換に適した整数ＤＣＴの基底ブロックサイズを選択する。選択された整数ＤＣＴの基底サイズは、周波数変換部１０２およびエントロピー符号化部１０４に供給される。通常、入力ＭＢまたは予測誤差画像ブロックの画素値が平坦になる程、より大きな基底ブロックサイズが選択される。換言すると、大きな基底ブロックサイズの再構築画像ブロックでは再構築画像は平坦である。なお、予測誤差画像ブロックのエネルギーが小さくなる予測信号がイントラ予測信号である場合には、選択された整数ＤＣＴの基底サイズはイントラ予測モードのブロックサイズと同一である。
【００８７】
さらに、符号化制御部１１２は、目標ビット数以下でフレームを符号化するために、エントロピー符号化部１０４が出力するビットストリームのビット数を監視する。そして、出力されるビットストリームのビット数が目標ビット数よりも多ければ量子化ステップサイズを大きくする量子化パラメータを出力し、逆に出力されるビットストリームのビット数が目標ビット数よりも少なければ量子化ステップサイズを小さくする量子化パラメータを出力する。そのようにして、出力ビットストリームは目標のビット数に近づくように符号化される。
【００８８】
周波数変換部１０２は、選択された整数ＤＣＴの基底サイズにて、予測誤差画像ブロックを周波数変換して空間領域から周波数領域に変換する。
【００８９】
量子化部１０３は、変換係数を、符号化制御部１１２が供給する量子化パラメータに対応する量子化ステップサイズで量子化する。
【００９０】
エントロピー符号化部１０４は、選択された予測信号に関連する情報、整数ＤＣＴの基底サイズ、および量子化インデックスをエントロピー符号化して、そのビット列すなわちビットストリームとして出力する。
【００９１】
逆量子化部１０５および逆変換部１０６は、以後の符号化のために、量子化部１０３から供給される量子化インデックスを逆量子化し、さらに逆周波数変換して元の空間領域に戻す。すなわち、再構築予測誤差画像ブロックを生成する。
【００９２】
ピクチャバッファ１０７には、現在のフレームに含まれるすべてのＭＢが符号化されるまで、再構築予測誤差画像ブロックに予測信号が加えられた再構築画像ブロックが格納される。
【００９３】
ブロック歪み除去フィルタ部１０８は、ピクチャバッファ１０７に格納された再構築画像ピクチャに対してブロック歪みを除去する。すなわち、ブロック歪み除去再構築画像ピクチャを生成する。
【００９４】
雑音混入器１１３は、第１実施形態の場合と同様に、擬似ランダム雑音ｎ（ｉ）を発生する。
【００９５】
ブロック歪み除去フィルタ部１０８とウィナーフィルタ部１１４との間にある加算器は、第１実施形態の場合と同様に、再構築画像ピクチャの各位置（ｉ，ｊ）｛０≦ｉ≦ｗｉｄｔｈ−１，０≦ｊ≦ｈｅｉｇｈｔ−１｝の画素ｘｉｊに、式（６）によって擬似ランダム雑音ｎｉ，ｊ（式（１）のｎ（ｉ）を適当な方法で並び替えたとする）を混入させる。
【００９６】
ｘｉｊ＝（（ｘｉｊ＜＜６）＋（ｎｉ，ｊ％６４）＋３２）＞＞６      ・・・（６）
【００９７】
符号化制御部１１２は、第１実施形態の場合と同様に、入力フレーム（入力ピクチャ）と擬似ランダム雑音を混入させたブロック歪み除去再構築画像ピクチャとを利用して、ブロック歪みが除去された再構築画像ピクチャの平均２乗誤差が最小となるウィナーフィルタｈを計算する。
【００９８】
符号化制御部１１２が計算したウィナーフィルタｈは、ウィナーフィルタ部１１４とエントロピー符号化部１０４とに供給される。エントロピー符号化部１０４は、供給されたウィナーフィルタｈのフィルタ係数をビットストリームに多重化する。
【００９９】
ウィナーフィルタ部１１４は、第１実施形態の場合と同様に、計算したウィナーフィルタｈをブロック歪みが除去されたブロック歪み除去再構築画像ピクチャＸに適用する。定式的には、式（７）のようになる。
【０１００】
Ｘ’＝Ｘ＊ｈ                                              ・・・（７）
【０１０１】
デコードピクチャバッファ１０９は、ウィナーフィルタを適用後のブロック歪み除去画像ピクチャＸ’を参照画像ピクチャとして格納する。なお、参照画像ピクチャの画像は、フレーム間予測信号を生成するための参照画像として利用される。
【０１０２】
本実施形態の映像符号化装置は、上記のような処理によってビットストリームを生成する。
【０１０３】
本実施形態の映像符号化装置は、ブロック歪み除去後の再構築画像ピクチャに擬似ランダム雑音を混入させて、ブロック歪み除去後の再構築画像ピクチャにウィナーフィルタを適用する。擬似ランダム雑音の混入によって、特に平坦領域において、ブロック歪み除去フィルタ部に階段アーティファクトの低減効果を与えることができる。また、特に平坦領域において、ウィナーフィルタに輪郭アーティファクトの低減効果を与えることができる。すなわち、本実施形態の映像符号化装置では、輪郭および階段アーティファクトを効率的に低減するために、擬似ランダム雑音混入とウィナーフィルタとが好適に組み合わせられている。さらに、擬似ランダム雑音の影響強度を絶対値で１画素以下になる擬似ランダム雑音を利用することによって、擬似ランダム雑音混入によるＰＳＮＲの低下とフレーム間差分の発生に起因する圧縮効率の低下の双方を抑制できる。
【０１０４】
実施形態３．
図４は、本発明の第３の実施形態のブロック図であり、ブロック歪み除去後の再構築画像ピクチャに擬似ランダム雑音を混入させてウィナーフィルタを適用する映像復号装置を示すブロック図である。なお、本実施形態の映像復号装置は、第１の実施形態の映像符号化装置に対応する映像復号装置である。
【０１０５】
図４に示すように、本実施形態の映像復号装置は、エントロピー復号部２０１、逆量子化部２０２、逆周波数変換部２０３、ピクチャバッファ２０４、ブロック歪み除去フィルタ部２０５、デコードピクチャバッファ２０６、イントラ予測部２０７、フレーム間予測部２０８、復号制御部２０９およびスイッチ２００に加えて、雑音混入器２１０、ウィナーフィルタ２１１を備えている。
【０１０６】
エントロピー復号部２０１は、ビットストリームをエントロピー復号して、復号対象ＭＢの予測信号に関連する情報、整数ＤＣＴの基底サイズ、量子化インデックスを、逆量子化部２０２および復号制御部２０９に供給する。また、ビットストリームに多重化されたフィルタ係数も復号制御部２０９に供給する。
【０１０７】
イントラ予測部２０７は、イントラＭＢに対して、現在復号中のフレームと表示時刻が同一である、ピクチャバッファ２０４に格納された再構築画像から、復号制御部２０９を介して供給されるエントロピー復号したイントラ予測モードとイントラ予測方向とに基づいて、イントラ予測信号を生成して、スイッチ２００に供給する。
【０１０８】
フレーム間予測部２０８は、インターＭＢに対して、現在復号中のフレームと表示時刻が異なる、デコードピクチャバッファ２０６に格納された参照画像から、復号制御部２０９を介して供給されるエントロピー復号したフレーム間予測モード、フレーム間予測方向、および動きベクトルに基づいて、フレーム間予測信号を生成して、スイッチ２００に供給する。
【０１０９】
復号制御部２０９は、エントロピー復号した予測信号に関連する情報（イントラＭＢまたはインターＭＢ）に基づいて、スイッチ２００を制御し、イントラ予測信号またはフレーム間予測信号を予測信号として出力させる。また、エントロピー復号部２０１から供給されたフィルタ係数をウィナーフィルタ部２１１に供給する。
【０１１０】
逆量子化部２０２および逆変換部２０３は、以後の符号化のために、エントロピー復号部２０１から供給される量子化インデックスを逆量子化し、さらに逆周波数変換して元の空間領域に戻す。すなわち、再構築予測誤差画像ブロックを生成する。
【０１１１】
ピクチャバッファ２０４には、現在のフレームに含まれるすべてのＭＢが符号化されるまで、再構築予測誤差画像ブロックに予測信号が加えられた再構築画像ブロックが格納される。
【０１１２】
雑音混入器１１３は、第１実施形態の場合と同様に、擬似ランダム雑音ｎ（ｉ）を発生する。
【０１１３】
ピクチャバッファ２０４とブロック歪み除去フィルタ部２０５の間にある加算器は、第１実施形態の場合と同様に、再構築画像ピクチャに擬似ランダム雑音を混入させる。
【０１１４】
ブロック歪み除去フィルタ部２０５は、雑音が混入された再構築画像ピクチャに対してブロック歪みを除去する。すなわち、ブロック歪み除去再構築画像ピクチャを生成する。
【０１１５】
ウィナーフィルタ２１１は、第１実施形態の場合と同様に、復号制御部２０９から供給されるウィナーフィルタｈをブロック歪みが除去された再構築画像ピクチャに適用する。
【０１１６】
デコードピクチャバッファ２０６には、ウィナーフィルタを適用後のブロック歪み除去画像ピクチャを参照画像ピクチャとして格納する。また、参照画像ピクチャは、適切な表示タイミングで伸張フレームとして出力される。
【０１１７】
本実施形態の映像復号装置は、上記のような処理によってビットストリームを伸張する。
【０１１８】
本実施形態の映像復号装置は、ブロック歪み除去前の再構築画像ピクチャに擬似ランダム雑音を混入させて、ブロック歪み除去後の再構築画像ピクチャにウィナーフィルタを適用する。擬似ランダム雑音の混入によって、特に平坦領域において、ブロック歪み除去フィルタ部に階段アーティファクトの低減効果を与えることができる。また、特に平坦領域において、ウィナーフィルタに輪郭アーティファクトの低減効果を与えることができる。この結果、伸張フレームにおける階段および輪郭アーティファクトを効果的に低減できる。
【０１１９】
実施形態４．
図５は、本発明の第４の実施形態のブロック図であり、ブロック歪み除去前の再構築画像ピクチャに擬似ランダム雑音を混入させて、ブロック歪み除去後の再構築画像ピクチャにウィナーフィルタを適用する映像復号装置を示すブロック図である。また、本実施形態の映像復号装置は、第２の実施形態の映像符号化装置に対応する映像復号装置である。
【０１２０】
図５に示すように、本実施形態の映像復号装置は、エントロピー復号部２０１、逆量子化部２０２、逆周波数変換部２０３、ピクチャバッファ２０４、ブロック歪み除去フィルタ部２０５、デコードピクチャバッファ２０６、イントラ予測部２０７、フレーム間予測部２０８、復号制御部２０９およびスイッチ２００に加えて、雑音混入器２１０、ウィナーフィルタ２１１を備えている。
【０１２１】
本実施形態の映像復号装置は、図４に示された第３の実施形態の映像復号装置とは異なり、ブロック歪み除去フィルタ部２０５でブロック歪みが除去された再構築画像ピクチャが雑音混入器２１０から供給される擬似ランダム雑音が混入させられてウィナーフィルタ２１１に供給される。
【０１２２】
エントロピー復号部２０１は、ビットストリームをエントロピー復号して、復号対象ＭＢの予測信号に関連する情報、整数ＤＣＴの基底サイズおよび量子化インデックスを、逆量子化部２０２および復号制御部２０９に供給する。また、ビットストリームに多重化されたフィルタ係数も復号制御部２０９に供給する。
【０１２３】
イントラ予測部２０７は、イントラＭＢに対して、現在復号中のフレームと表示時刻が同一である、ピクチャバッファ２０４に格納された再構築画像から、復号制御部２０９を介して供給されるエントロピー復号したイントラ予測モードとイントラ予測方向とに基づいて、イントラ予測信号を生成して、スイッチ２００に供給する。
【０１２４】
フレーム間予測部２０８は、インターＭＢに対して、現在復号中のフレームと表示時刻が異なる、デコードピクチャバッファ２０６に格納された参照画像から、復号制御部２０９を経由して供給されるエントロピー復号したフレーム間予測モード、フレーム間予測方向および動きベクトルに基づいて、フレーム間予測信号を生成して、スイッチ２００に供給する。
【０１２５】
復号制御部２０９は、エントロピー復号した予測信号に関連する情報（イントラＭＢまたはインターＭＢ）に基づいて、スイッチ２００を制御し、イントラ予測信号またはフレーム間予測信号を予測信号として供給させる。また、エントロピー復号部２０１からのフィルタ係数をウィナーフィルタ部２１１に供給する。
【０１２６】
逆量子化部２０２および逆変換部２０３は、以後の符号化のために、エントロピー復号部２０１から供給される量子化インデックスを逆量子化し、さらに逆周波数変換して元の空間領域に戻す。すなわち、再構築予測誤差画像ブロックを生成する。
【０１２７】
ピクチャバッファ２０４には、現在のフレームに含まれるすべてのＭＢが復号されるまで、再構築予測誤差画像ブロックに予測信号が加えられた再構築画像ブロックが格納される。
【０１２８】
雑音混入器１１３は、第１実施形態の場合と同様に、擬似ランダム雑音ｎ（ｉ）を発生する。
【０１２９】
ピクチャバッファ２０４とブロック歪み除去フィルタ部２０５の間にある加算器は、第１実施形態の場合と同様に、再構築画像ピクチャに擬似ランダム雑音を混入させる。
【０１３０】
ブロック歪み除去フィルタ部２０５は、雑音が混入された再構築画像ピクチャに対してブロック歪みを除去する。すなわち、ブロック歪み除去再構築画像ピクチャを生成する。
【０１３１】
ウィナーフィルタ２１１は、第１実施形態の場合と同様に、復号制御部２０９から供給されるウィナーフィルタｈをブロック歪みが除去された再構築画像ピクチャに適用する。
【０１３２】
デコードピクチャバッファ２０６は、ウィナーフィルタを適用後のブロック歪み除去画像ピクチャを参照画像ピクチャとして格納する。また、参照画像ピクチャは、適切な表示タイミングで伸張フレームとして出力される。
【０１３３】
本実施形態の映像復号装置は、上記のような処理によってビットストリームを伸張する。
【０１３４】
本実施形態の映像復号装置は、ブロック歪み除去後の再構築画像ピクチャに擬似ランダム雑音を混入させて、ブロック歪み除去後の再構築画像ピクチャにウィナーフィルタを適用する。擬似ランダム雑音の混入によって、特に平坦領域において、ウィナーフィルタに輪郭アーティファクトの低減効果を与えることができる。この結果、伸張フレームにおける階段および輪郭アーティファクトを効果的に低減できる。
【０１３５】
次に、他の実施形態を説明する。他の実施形態として、画素値の変動量を利用する実施形態が考えられる。
【０１３６】
輪郭および階段アーティファクトは、画素値の変動量が小さい平坦な画像領域で顕著になる傾向がある。この傾向に着目し、上述した雑音混入器が、再構築画像の画素値の変動量を計算し、計算した画素値の変動量の大小に基づいて擬似ランダム雑音混入位置を決定する実施形態も考えられる。画素値の変動量を利用することによって、適切な量の擬似ランダム雑音を混入させて、輪郭および階段アーティファクトに対する人間の視覚感度をより低減できる。
【０１３７】
例えば、雑音混入器が、再構築画像ピクチャの各位置（ｉ，ｊ）｛０≦ｉ≦ｗｉｄｔｈ−１，０≦ｊ≦ｈｅｉｇｈｔ−１｝の画素ｘｉｊについて、式（８）によって周辺画素値（ｘｉ＋ｍ，ｊ＋ｎ｛−ｗ≦ｍ≦ｗ，−ｈ≦ｎ≦ｈ｝の変動量ｐＶｉ，ｊを計算する。
【０１３８】
【数３】
0005454584.tif 000004
【０１３９】
そして、例えば式（９）に基づいて、所定のしきい値ｔｈよりもｐＶｉ，ｊが小さい位置の画素ｘｉｊのみに擬似ランダム雑音ｎｉ，ｊを混入させる。
【０１４０】
【数４】
0005454584.tif 000005
【０１４１】
第１から第４の実施形態の映像符号化装置および映像復号装置に対して、画素値の変動量の大小に基づいて擬似ランダム雑音混入位置を決定する雑音混入器を適用した場合には、映像符号化装置の構成は図６または図７に示すようになり、映像復号装置の構成は図８または図９に示すようになる。
【０１４２】
すなわち、図６および図７に示すように、映像符号化装置において、雑音混入器１１３は、ピクチャバッファ１０７に格納されている参照画像ピクチャ（ブロック歪み除去画像ピクチャ）を入力し、再構築画像の画素値の変動量を計算する。また、図８および図９に示すように、映像復号装置において、雑音混入器２１０は、ピクチャバッファ２０４に格納されている参照画像ピクチャ（ブロック歪み除去画像ピクチャ）を入力し、再構築画像の画素値の変動量を計算する。
【０１４３】
図６および図７に示す映像符号化装置は、ブロック歪み除去前の再構築画像の画素値の変動量を利用しているのに対して、図８および図９に示す映像符号化装置および映像復号装置は、ブロック歪み除去後の再構築画像の画素値の変動量を利用する。ただし、図８および図９に示す映像符号化装置および映像復号装置は、ブロック歪み除去前の再構築画像の画素値の変動量を利用することもできるが、ブロック歪の影響を受けた画素値の変動量となる。
【０１４４】
なお、式（８）で示される画素値の変動量の代わりに、周辺画素値の分散、周辺画素値の最大画素値と最小画素値の差分など、平坦な画像領域を検出するための画像メトリックを利用してもよい。
【０１４５】
また、他の実施形態として、伸張情報を用いる実施形態が考えられる。
【０１４６】
上述した雑音混入器が、再構築画像の画素値の変動量を計算し、計算した画素値の変動量の大小に基づいて擬似ランダム雑音混入位置を決定する実施形態では、変動量の計算量に伴う映像符号化および映像復号の計算効率が低下するおそれがある。
【０１４７】
再構築画像ブロックに関連した伸張情報からブロック内やブロック境界における再構築画像の画素値の変動量を推定し、推定した画素値の変動量の大小に基づいて擬似ランダム雑音混入位置または擬似ランダム雑音混入候補位置を決定する実施形態も考えられる。ただし、擬似ランダム雑音混入候補位置を、上述した計算された再構築画像の画素値の変動量に基づいて擬似ランダム雑音混入位置として決定される画素位置とする。
【０１４８】
例えば、雑音混入器が、再構築画像ピクチャの画像に関連した伸張情報として、予測信号に関連する情報、整数ＤＣＴの基底サイズに関する情報、有意な交流（Alternate Current （ＡＣ））の量子化インデックスを利用して、変動量を推定する。そのように構成されることによって、再構築画像のすべての画素値を比較して画素値の変動量を計算することなく、輪郭および階段アーティファクトを効率的に低減できる。
【０１４９】
第１から第４の実施形態の映像符号化装置および映像復号装置に対して、変動量を推定する雑音混入器を適用した場合には、映像符号化装置の構成は図１０または図１１に示すようになり、映像復号装置の構成は図１２または図１３に示すようになる。
【０１５０】
すなわち、図１０および図１１に示すように、映像符号化装置において、雑音混入器１１３は、ピクチャバッファ１０７に格納されている参照画像ピクチャ（ブロック歪み除去画像ピクチャ）を入力するとともに、エントロピー符号化部１０４に入力される選択された予測信号に関連する情報、整数ＤＣＴの基底サイズ、および量子化インデックスを入力し、再構築画像の画素値の変動量を推定する。また、図１２および図１３に示すように、映像復号装置において、雑音混入器２１０は、ピクチャバッファ２０４に格納されている参照画像ピクチャ（ブロック歪み除去画像ピクチャ）を入力するとともに、エントロピー復号部２０１から出力されるビットストリームをエントロピー復号して、復号対象ＭＢの予測信号に関連する情報、整数ＤＣＴの基底サイズ、量子化インデックスを入力し、再構築画像の画素値の変動量を推定する。
【０１５１】
それらの映像符号化装置および映像復号装置は、平坦な予測信号となる予測の種類、大きな整数ＤＣＴの基底サイズ、有意なＡＣの量子化インデックスが少ないパターンのいずれかを満たす再構築画像を画素値の変動量が小さいと推定し、推定結果に基づいて擬似ランダム雑音混入位置または擬似ランダム雑音混入候補位置を決定できる。
【０１５２】
なお、平坦な予測信号となる予測の種類として、ＤＣ（図１４および図１５（ｂ）の「２」参照）、水平（図１４と図１５（ｂ）の「１」参照）、および垂直（図１４および図１５（ｂ）の「０」参照）のイントラ予測がある。
【０１５３】
ＤＣ、水平および垂直の方向のイントラ予測の再構築画像を画素値の変動量が小さいと推定する根拠は、非特許文献６に記載されているように、ＤＣ、水平および垂直それぞれのイントラ予測方向の予測信号のアダマール変換については、有意な変換係数は特定の成分のみにしか発生しないことに基づいている。具体的には、ＤＣのイントラ予測方向についてはＤＣのみの有意な変換係数、水平のイントラ予測方向についてはＤＣおよび垂直成分のＡＣのみの有意な変換係数、垂直のイントラ予測方向についてはＤＣおよび水平成分のＡＣのみの有意な変換係数になる。
【０１５４】
有意な変換係数が特定の成分のみにしか発生しないことは、ＤＣのイントラ予測方向については画像の変動量がゼロ（すなわち、平坦な予測信号）、水平のイントラ予測方向については水平方向の画像の変動量がゼロ（すなわち、水平方向に平坦な予測信号）、垂直のイントラ予測方向については垂直方向の画像の変動量がゼロ（すなわち、垂直方向に平坦な予測信号）であることを示している。
【０１５５】
有意な変換係数が特定の成分のみにしか発生しないことと平坦な予測信号との関連は、アダマール変換だけでなく整数ＤＣＴについても成立するため、ＤＣ、水平および垂直のイントラ予測に基づく再構築画像を画素値の変動量が小さいと推定できる。
【０１５６】
また、大きな整数ＤＣＴの基底サイズに基づく再構築画像を画素値の変動量が小さいと推定する根拠は、入力ＭＢが平坦な程、すなわち、変動量が小さい程、より大きなブロックサイズが選択されることに基づいている。
【０１５７】
有意なＡＣの量子化インデックスが少ないパターンの再構築画像を画素値の変動量が小さいと推定する根拠は、整数ＤＣＴのＡＣが画像の変動量に対応していることに基づいている。なお、高周波数成分のＡＣが低周波数成分のＡＣよりも大きな変動量になるので、有意な高周波数成分のＡＣ量子化インデックスが少ないパターンの再構築画像を画素値の変動量が小さいと推定してもよい（なお、前記有意なＡＣの量子化インデックスが少ないパターンには、あらかじめ定められた低周波数成分だけに有意なＡＣの量子化インデックスが存在するパターン、または、すべての周波数成分にわたって有意なＡＣの量子化インデックスが疎に存在するパターンが利用できる。）。
【０１５８】
以上のことから明らかなように、平坦な予測信号となる予測の種類、大きな整数ＤＣＴの基底サイズ、有意なＡＣの量子化インデックスが少ないパターンのいずれかの組み合わせ、または、全てに基づいて、再構築画像の画素値の変動量を推定し、擬似ランダム雑音混入位置または擬似ランダム雑音混入候補位置を決定することもできる。
【０１５９】
さらに、雑音混入器が、再構築画像ブロックの伸張情報に基づいて擬似ランダム雑音の混入候補位置を決定し、混入候補位置について再構築画像ピクチャの画像の変動量に基づいて擬似ランダム雑音混入候位置を決定するようにしてもよい。
【０１６０】
また、伸張情報として量子化パラメータを利用し、量子化ステップサイズが小さい再構築画像に対して、擬似ランダム雑音を小さく調整して擬似ランダム雑音を混入させないようにする実施形態も考えられる。そのように構成することによって、量子化ステップサイズが小さくなる高ビットレート符号化において、擬似ランダム雑音混入による悪影響を低減できる。
【０１６１】
また、他の実施形態として、オフセット係数付きのウィナーフィルタを用いる実施形態が考えられる。
【０１６２】
すなわち、上記の各実施形態のウィナーフィルタにおいて、直流（Direct Current（ＤＣ））ゲインを補正するための、オフセット係数を用いるウィナーフィルタを用いる実装形態も考えられる。
【０１６３】
offsetを含めたモデルの平均２乗誤差Ｅ［ｅ２］およびWiener-hops equations を以下の式（１０）および式（１１）に示す。式（１１）におけるＥｘ（ｍ）は、式（１２）で示される。
【０１６４】
【数５】
0005454584.tif 000006
【０１６５】
【数６】
0005454584.tif 000007
【０１６６】
【数７】
0005454584.tif 000008
【０１６７】
式（１１）で表されるWiener-hops equations に基づく、ｈ（τ）｛０≦τ≦ｎ−１｝とoffsetのフィルタ係数のウィナーフィルタを利用することによって、擬似ランダム雑音混入によるＤＣゲインのずれが補正される効果が得られる。なお、オフセットの値として、式（１１）にて得られたoffsetを全ての画素位置で使う代わりに、offsetを平均値として持つランダム雑音（一様分布、ガウス分布、またはラプラス分布のランダム雑音）を用いる実施形態も考えられる。このランダム雑音を用いる実施形態においては、雑音混入器が擬似ランダム雑音を画像に混入をさせなくても、ウィナーフィルタがその代わりに擬似ランダム雑音を混入させることができる。
【０１６８】
また、上記の各実施形態を、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。
【０１６９】
図１６に示す情報処理システムは、プロセッサ１００１、プログラムメモリ１００２、映像データを格納するための記憶媒体１００３およびビットストリームを格納するための記憶媒体１００４を備えている。記憶媒体１００３と記憶媒体１００４とは、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体として、ハードディスク等の磁気記憶媒体を用いることができる。
【０１７０】
図１６に示された情報処理システムにおいて、プログラムメモリ１００２には、図１〜図５（図２を除く）、図６〜図９、図１０〜図１３のそれぞれに示された各ブロック（バッファのブロックを除く）の機能を実現するためのプログラムが格納される。そして、プロセッサ１００１は、プログラムメモリ１００２に格納されているプログラムに従って処理を実行することによって、図１〜図５（図２を除く）、図６〜図９、図１０〜図１３のそれぞれに示された映像符号化装置または映像復号装置の機能を実現する。
【０１７１】
図１７は、本発明による映像符号化装置の主要構成を示すブロック図である。図１７に示すように、本発明による映像符号化装置は、画像ブロックに対するイントラ予測信号またはフレーム間予測信号を計算する予測手段１１と、画像ブロックの量子化インデックスを逆量子化して量子化代表値を得る逆量子化手段１２と、逆量子化手段１２によって得られた量子化代表値を逆変換して再構築予測誤差画像ブロックを得る逆周波数変換手段１３と、イントラ予測信号またはフレーム間予測信号を逆周波数変換手段１３によって得られた再構築予測誤差画像ブロックに加えて再構築画像ブロックを得る再構築手段１４と、再構築手段１４によって得られた再構築画像ブロックを再構築画像ピクチャとして格納する再構築画像格納手段１５と、再構築画像ピクチャに擬似ランダム雑音を混入させる雑音混入手段１６と、擬似ランダム雑音が混入させられた再構築画像ピクチャにウィナーフィルタを適用するウィナーフィルタ手段１７と、ウィナーフィルタが適用された再構築画像ピクチャをフレーム間予測の参照画像ピクチャとして格納する参照画像格納手段１８とを備えている。
【０１７２】
また、上記の各実施形態では、雑音混入手段が、再構築画像の画素値の変動量を計算し、計算した画素値の変動量の大小に基づいて擬似ランダム雑音混入位置を決定する映像符号化装置も開示されている。
【０１７３】
また、再構築画像ブロックに関連した伸張情報からブロック内やブロック境界における再構築画像の画素値の変動量を推定し、推定した画素値の変動量の大小に基づいて擬似ランダム雑音混入候補位置を決定する手段を備えた映像符号化装置も開示されている。
【０１７４】
また、上記の各実施形態では、雑音混入手段を所定の映像符号化単位でリセットするリセット手段（例えば、符号化制御部１１２で実現される。）を備えた映像符号化装置も開示されている。
【０１７５】
図１８は、本発明による映像復号装置の主要構成を示すブロック図である。図１８に示すように、本発明による映像復号装置は、ビット列をエントロピー復号して量子化インデックスを計算するエントロピー復号手段２０と、画像ブロックに対するイントラ予測信号またはフレーム間予測信号を計算する予測手段２１と、量子化インデックスを逆量子化して量子化代表値を得る逆量子化手段２２と、逆量子化手段２２によって得られた量子化代表値を逆変換して再構築予測誤差画像ブロックを得る逆周波数変換手段２３と、イントラ予測信号またはフレーム間予測信号を逆周波数変換手段２３によって得られた再構築予測誤差画像ブロックに加えて再構築画像ブロックを得る再構築手段２４と、再構築手段２４によって得られた再構築画像ブロックを再構築画像ピクチャとして格納する再構築画像格納手段２５と、再構築画像ピクチャに擬似ランダム雑音を混入させる雑音混入手段２６と、擬似ランダム雑音が混入させられた再構築画像ピクチャにウィナーフィルタを適用するウィナーフィルタ手段２７と、ウィナーフィルタが適用された再構築画像ピクチャをフレーム間予測の参照画像ピクチャとして格納する参照画像手段２８とを備えている。
【０１７６】
また、上記の各実施形態では、雑音混入手段が、再構築画像の画素値の変動量を計算し、計算した画素値の変動量の大小に基づいて擬似ランダム雑音混入位置を決定する映像復号装置も開示されている。
【０１７７】
また、再構築画像ブロックに関連した伸張情報からブロック内やブロック境界における再構築画像の画素値の変動量を推定し、推定した画素値の変動量の大小に基づいて擬似ランダム雑音混入候補位置を決定する手段を備えた映像復号装置も開示されている。
【０１７８】
また、上記の各実施形態では、雑音混入手段を所定の映像復号単位でリセットするリセット手段（例えば、復号制御部２０９で実現される。）を備えた映像復号装置も開示されている。
【０１７９】
図１９は、本発明による映像符号化方法の主要ステップを示すフローチャートである。図１９に示すように、本発明による映像符号化方法では、画像ブロックに対するイントラ予測信号またはフレーム間予測信号を計算し（ステップＳ１１）、画像ブロックの量子化インデックスを逆量子化して量子化代表値を得て（ステップＳ１２）、得られた量子化代表値を逆変換して再構築予測誤差画像ブロックを得て（ステップＳ１３）、イントラ予測信号またはフレーム間予測信号を再構築予測誤差画像ブロックに加えて再構築画像ブロックを得て（ステップＳ１４）、得られた再構築画像ブロックを再構築画像ピクチャとして再構築画像格納手段に格納し（ステップＳ１５）、再構築画像ピクチャに擬似ランダム雑音を混入させて（ステップＳ１６）、擬似ランダム雑音が混入させられた再構築画像ピクチャにウィナーフィルタを適用し（ステップＳ１７）、ウィナーフィルタが適用された再構築画像ピクチャをフレーム間予測の参照画像ピクチャとして参照画像格納手段に格納する（ステップＳ１８）。
【０１８０】
図２０は、本発明による映像復号方法の主要ステップを示すフローチャートである。図２０に示すように、本発明による映像復号方法では、ビット列をエントロピー復号して量子化インデックスを計算し（ステップＳ２０）、画像ブロックに対するイントラ予測信号またはフレーム間予測信号を計算し（ステップＳ２１）、量子化インデックスを逆量子化して量子化代表値を得て（ステップＳ２２）、得られた量子化代表値を逆変換して再構築予測誤差画像ブロックを得て（ステップＳ２３）、イントラ予測信号またはフレーム間予測信号を再構築予測誤差画像ブロックに加えて再構築画像ブロックを得て（ステップＳ２４）、再構築手段によって得られた再構築画像ブロックを再構築画像ピクチャとして再構築画像格納手段に格納し（ステップＳ２５）、再構築画像ピクチャに擬似ランダム雑音を混入させて（ステップＳ２６）、擬似ランダム雑音が混入させられた再構築画像ピクチャにウィナーフィルタを適用し（ステップＳ２７）、ウィナーフィルタが適用された再構築画像ピクチャをフレーム間予測の参照画像ピクチャとして参照画像手段に格納する（ステップＳ２８）。
【０１８１】
以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【０１８２】
この出願は、２００９年１１月３０日に出願された日本特許出願２００９−２７２１７９を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【０１８３】
１１      予測手段
１２      逆量子化手段
１３      逆周波数変換手段
１４      再構築手段
１５      再構築画像格納手段
１６      雑音混入手段
１７      ウィナーフィルタ手段
１８      参照画像格納手段
２０      エントロピー復号手段
２１      予測手段
２２      逆量子化手段
２３      逆周波数変換手段
２４      再構築手段
２５      再構築画像格納手段
２６      雑音混入手段
２７      ウィナーフィルタ手段
２８      参照画像格納手段
１００    スイッチ
１０１    ＭＢバッファ
１０２    周波数変換部
１０３    量子化部
１０４    エントロピー符号化部
１０５    逆量子化部
１０６    逆周波数変換部
１０７    ピクチャバッファ
１０８    ブロック歪み除去フィルタ部
１０９    デコードピクチャバッファ
１１０    イントラ予測部
１１１    フレーム間予測部
１１２    符号化制御部
１１３    雑音混入器
１１４    ウィナーフィルタ部
２００    スイッチ
２０１    エントロピー復号部
２０２    逆量子化部
２０３    逆周波数変換部
２０４    ピクチャバッファ
２０５    ブロック歪み除去フィルタ部
２０６    デコードピクチャバッファ
２０７    イントラ予測部
２０８    フレーム間予測部
２０９    復号制御部
２１０    雑音混入器
２１１    ウィナーフィルタ部
１００１  プロセッサ
１００２  プログラムメモリ
１００３  記憶媒体
１００４  記憶媒体
【図１】
0005454584.tif 000009
【図２】
0005454584.tif 000010
【図３】
0005454584.tif 000011
【図４】
0005454584.tif 000012
【図５】
0005454584.tif 000013
【図６】
0005454584.tif 000014
【図７】
0005454584.tif 000015
【図８】
0005454584.tif 000016
【図９】
0005454584.tif 000017
【図１０】
0005454584.tif 000018
【図１１】
0005454584.tif 000019
【図１２】
0005454584.tif 000020
【図１３】
0005454584.tif 000021
【図１４】
0005454584.tif 000022
【図１５】
0005454584.tif 000023
【図１６】
0005454584.tif 000024
【図１７】
0005454584.tif 000025
【図１８】
0005454584.tif 000026
【図１９】
0005454584.tif 000027
【図２０】
0005454584.tif 000028
【図２１】
0005454584.tif 000029
【図２２】
0005454584.tif 000030