(57)【要約】  映像符号化装置および映像復号装置は、擬似ランダム雑音混入処理における参照ラインバッファのライン数を増大させないようにする。映像符号化装置は、量子化インデックスを逆量子化して量子化代表値を得る逆量子化部と、逆量子化部によって得られた量子化代表値を逆変換して再構築画像ブロックを得る逆周波数変換部と、再構築画像ブロックの境界を中心とする非対称な領域に擬似ランダム雑音を混入させる非対称歪み除去フィルタ部とを備えている。
2012035746.tif 000002
【特許請求の範囲】
【請求項１】
量子化インデックスを逆量子化して量子化代表値を得る逆量子化手段と、
前記逆量子化手段によって得られた量子化代表値を逆変換して再構築画像ブロックを得る逆周波数変換手段と、
前記再構築画像ブロックの境界を中心とする非対称な領域に擬似ランダム雑音を混入させる雑音混入手段と
を備えた映像符号化装置。
【請求項２】
前記非対称な領域を前記再構築画像ブロックの補助情報を用いて調節する調節手段を備えた請求項１記載の映像符号化装置。
【請求項３】
前記再構築画像ブロックの境界を中心とする非対称な領域の片方の最大領域を参照ラインバッファのライン数で制限することを特徴とする請求項１記載の映像符号化装置。
【請求項４】
量子化インデックスを逆量子化して量子化代表値を得る逆量子化手段と、
前記逆量子化手段によって得られた量子化代表値を逆変換して再構築画像ブロックを得る逆周波数変換手段と、
前記再構築画像ブロックの境界を中心とする非対称な領域に擬似ランダム雑音を混入させる雑音混入手段と
を備えた映像復号装置。
【請求項５】
前記非対称な領域を前記再構築画像ブロックの補助情報を用いて調節する調節手段を備えた請求項４記載の映像復号装置。
【請求項６】
前記再構築画像ブロックの境界を中心とする非対称な領域の片方の最大領域を参照ラインバッファのライン数で制限することを特徴とする請求項４記載の映像復号装置。
【請求項７】
量子化インデックスを逆量子化して量子化代表値を得て、
得られた量子化代表値を逆変換して再構築画像ブロックを得て、
前記再構築画像ブロックの境界を中心とする非対称な領域に擬似ランダム雑音を混入させる
映像符号化方法。
【請求項８】
量子化インデックスを逆量子化して量子化代表値を得て、
得られた量子化代表値を逆変換して再構築画像ブロックを得て、
前記再構築画像ブロックの境界を中心とする非対称な領域に擬似ランダム雑音を混入させる
映像復号方法。
【請求項９】
コンピュータに、
量子化インデックスを逆量子化して量子化代表値を得る処理と、
得られた量子化代表値を逆変換して再構築画像ブロックを得る処理と、
前記再構築画像ブロックの境界を中心とする非対称な領域に擬似ランダム雑音を混入させる処理と
を実行させるための映像符号化プログラム。
【請求項１０】
コンピュータに、
量子化インデックスを逆量子化して量子化代表値を得る処理と、
得られた量子化代表値を逆変換して再構築画像ブロックを得る処理と、
前記再構築画像ブロックの境界を中心とする非対称な領域に擬似ランダム雑音を混入させる処理と
を実行させるための映像復号プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像符号化技術が適用された映像符号化装置および映像復号装置に関する。
【背景技術】
【０００２】
一般に、映像符号化装置は、外部から入力される動画像信号をディジタル化した後、所定の映像符号化方式に準拠した符号化処理を行うことで符号化データすなわちビットストリームを生成する。【０００３】
所定の映像符号化方式として非特許文献１に記載されたISO/IEC 14496-10 Advanced Video Coding（ＡＶＣ）がある。ＡＶＣ方式の符号化器の参照モデルとしてJoint Model 方式が知られている（以下、一般的な映像符号化装置という）。【０００４】
図２１を参照して、ディジタル化された映像の各フレームを入力としてビットストリームを出力する一般的な映像符号化装置の構成と動作を説明する。【０００５】
図２１に示すように、一般的な映像符号化装置は、ＭＢバッファ１０１、周波数変換部１０２、量子化部１０３、エントロピー符号化部１０４、逆量子化部１０５、逆周波数変換部１０６、ピクチャバッファ１０７、歪み除去フィルタ部１０８ａ、デコードピクチャバッファ１０９、イントラ予測部１１０、フレーム間予測部１１１、符号化制御部１１２およびスイッチ１００を備えている。【０００６】
一般的な映像符号化装置は、各フレームをＭＢ（Macro Block ：マクロブロック）とよばれる１６×１６画素サイズのブロックに分割し、さらにＭＢを４×４画素サイズのブロック分割し、分割して得られた４×４ブロックを符号化の最小構成単位とする。【０００７】
図２２は、フレームの空間解像度がＱＣＩＦ（Quarter Common Intermediate Format）の場合のブロック分割の例を示す説明図である。以下、簡単のために、輝度の画素値のみに着目して、図２１に示された各部の動作を説明する。【０００８】
ＭＢバッファ１０１には、入力画像フレームの符号化対象ＭＢの画素値が格納される。以下、符号化対象ＭＢを入力ＭＢという。ＭＢバッファ１０１から供給される入力ＭＢは、スイッチ１００を介して、イントラ予測部１１０またはフレーム間予測部１１１から供給される予測信号が減じられる。以下、予測信号が減じられた入力ＭＢを予測誤差画像ブロックという。【０００９】
イントラ予測部１１０は、ピクチャバッファ１０７に格納された再構築画像であって現在のフレームと表示時刻が同一である再構築画像を利用してイントラ予測信号を生成する。以下、イントラ予測信号を用いて符号化されるＭＢをイントラＭＢという。【００１０】
フレーム間予測部１１１は、現在のフレームと表示時刻が異なる、デコードピクチャバッファ１０９に格納された参照画像を利用してフレーム間予測信号を生成する。以下、フレーム間予測信号を用いて符号化されるＭＢをインターＭＢという。【００１１】
なお、イントラＭＢのみで符号化されたフレームはＩフレームと呼ばれる。イントラＭＢだけでなくインターＭＢも含めて符号化されたフレームはＰフレームと呼ばれる。フレーム間予測信号の生成に１枚の参照画像だけでなく同時に２枚の参照画像を用いるインターＭＢを含めて符号化されたフレームはＢフレームと呼ばれる。【００１２】
符号化制御部１１２は、イントラ予測信号およびフレーム間予測信号とＭＢバッファ１０１に格納されている入力ＭＢとを比較して、予測誤差画像ブロックのエネルギーが小さくなる予測信号を選択し、スイッチ１００を制御する。選択された予測信号に関連する情報（イントラ予測モード、イントラ予測方向、およびフレーム間予測に関連する情報）は、エントロピー符号化部１０４に供給される。【００１３】
また、符号化制御部１１２は、入力ＭＢまたは予測誤差画像ブロックに基づいて、予測誤差画像ブロックの周波数変換に適した整数ＤＣＴ（Discrete Cosine Transform ）の基底ブロックサイズを選択する。整数ＤＣＴは、一般的な映像符号化装置ではＤＣＴ基底を整数値で近似した基底による周波数変換を意味する。基底ブロックサイズの選択肢として、１６×１６、８×８、４×４の３つのブロックサイズがある。入力ＭＢまたは予測誤差画像ブロックの画素値が平坦になる程、より大きな基底ブロックサイズが選択される。選択された整数ＤＣＴの基底サイズに関する情報は、周波数変換部１０２およびエントロピー符号化部１０４に供給される。以下、選択された予測信号に関連する情報、選択された整数ＤＣＴの基底サイズなどに関する情報、および後述する量子化パラメータを補助情報と呼ぶ。【００１４】
さらに、符号化制御部１１２は、目標ビット数以下でフレームを符号化するために、エントロピー符号化部１０４が出力するビットストリームのビット数を監視する。そして、出力されるビットストリームのビット数が目標ビット数よりも多ければ量子化ステップサイズを大きくする量子化パラメータを出力し、逆に出力されるビットストリームのビット数が目標ビット数よりも少なければ量子化ステップサイズを小さくする量子化パラメータを出力する。そのようにして、出力ビットストリームは目標のビット数に近づくように符号化される。【００１５】
周波数変換部１０２は、選択された整数ＤＣＴの基底サイズで、予測誤差画像ブロックを周波数変換して空間領域から周波数領域に変換する。周波数領域に変換された予測誤差を変換係数という。【００１６】
量子化部１０３は、符号化制御部１１２から供給される量子化パラメータに対応する量子化ステップサイズで、変換係数を量子化する。なお、量子化された変換係数の量子化インデックスはレベルとも呼ばれる。【００１７】
エントロピー符号化部１０４は、補助情報と量子化インデックスとをエントロピー符号化して、そのビット列すなわちビットストリームとして出力する。【００１８】
逆量子化部１０５および逆変換部１０６は、以後の符号化のために、量子化部１０３から供給される量子化インデックスを逆量子化して量子化代表値を得て、さらに逆周波数変換して元の空間領域に戻す。以下、元の空間領域に戻された予測誤差画像ブロックを再構築予測誤差画像ブロックという。【００１９】
ピクチャバッファ１０７には、現在のフレームに含まれる全てのＭＢが符号化されるまで、再構築予測誤差画像ブロックに予測信号が加えられた再構築画像ブロックが格納される。以下、ピクチャバッファ１０７において再構築画像によって構成されるピクチャを再構築画像ピクチャという。【００２０】
歪み除去フィルタ部１０８ａは、再構築画像の各ＭＢおよびその内部ブロックの境界にフィルタを適用し、ピクチャバッファ１０７に格納された再構築画像に対して歪み（ブロック歪みとバンディング歪み）を除去する処理を行う。【００２１】
図２３および図２４は、歪み除去フィルタ部１０８ａの動作を説明するための説明図である。【００２２】
歪み除去フィルタ部１０８ａは、図２３に示すように、ＭＢおよびその内部ブロックの水平方向のブロック境界に対してフィルタを適用する。また、図２４に示すように、ＭＢおよびその内部ブロックの垂直方向のブロック境界に対してフィルタを適用する。水平方向のブロック境界は、０，４，８，１２の４×４ブロックの左側のブロック境界、１，５，９，１３の４×４ブロックの左側のブロック境界、２，６，１０，１４の４×４ブロックの左側のブロック境界、および３，７，１１，１５の４×４ブロックの左側のブロック境界である。また、垂直方向のブロック境界は、０，１，２，３の４×４ブロックの上側のブロック境界、４，５，６，７の４×４ブロックの上側のブロック境界、８，９，１０，１１の４×４ブロックの上側のブロック境界、および１２，１３，１４，１５の４×４ブロックの上側のブロック境界である。【００２３】
ただし、８×８ブロックサイズの整数ＤＣＴを用いたＭＢでは、０，４，８，１２の４×４ブロックの左側のブロック境界、２，６，１０，１４の４×４ブロックの左側のブロック境界、０，１，２，３の４×４ブロックの上側のブロック境界、および８，９，１０，１１の４×４ブロックの上側のブロック境界のみが歪み除去対象のブロック境界になる。また、１６×１６ブロックサイズの整数ＤＣＴの基底が１６×１６ブロックサイズのＤＣＴ基底を整数値で近似した基底であり、かつ、１６×１６ブロックサイズの整数ＤＣＴを用いたＭＢでは、０，４，８，１２の４×４ブロックの左側のブロック境界、および、０，１，２，３の４×４ブロックの上側のブロック境界のみが歪み除去対象のブロック境界になる。【００２４】
水平方向のブロック境界に対するフィルタの処理については、ブロック境界を中心とする左側のフィルタ前の画素をｐ３，ｐ２，ｐ１，ｐ０、フィルタ後の画素をＰ３，Ｐ２，Ｐ１，Ｐ０とし、ブロック境界を中心とする右側のフィルタ前の画素をｑ０，ｑ１，ｑ２，ｑ３、フィルタ後の画素をＱ０，Ｑ１，Ｑ２，Ｑ３とする。【００２５】
垂直方向のブロック境界に対するフィルタの処理については、ブロック境界を中心とする上側のフィルタ前の画素をｐ３，ｐ２，ｐ１，ｐ０、フィルタ後の画素をＰ３，Ｐ２，Ｐ１，Ｐ０とし、ブロック境界を中心とする下側のフィルタ前の画素をｑ０，ｑ１，ｑ２，ｑ３、フィルタ後の画素をＱ０，Ｑ１，Ｑ２，Ｑ３とする。【００２６】
ただし、Ｐ３，Ｐ２，Ｐ１，Ｐ０，Ｑ０，Ｑ１，Ｑ２，Ｑ３は、ｐ３，ｐ２，ｐ１，ｐ０，ｑ０，ｑ１，ｑ２，ｑ３で初期化されているとする。【００２７】
水平方向と垂直方向とでブロック境界に対するフィルタ処理は同じである。そこで、以下、水平方向と垂直方向とを特に区別をせずに、ブロック境界に対するフィルタ処理を説明する。また、歪み除去フィルタ部１０８ａの内部構成を図２５に示す。【００２８】
図２５に示す歪み除去フィルタ部１０８ａにおいて、まず、ブロック境界強度決定部１０８１は、非特許文献１の８．７  Deblocking filter process を参照すると、隣接ブロックの補助情報に基づいてブロック境界強度ｂＳ（０≦ｂＳ≦４）を決定する。図２６は、ｂＳを決定する処理を示すフローチャートである。【００２９】
ブロック境界強度決定部１０８１は、ブロック境界の画素ｐ０と画素ｑ０のいずれかがイントラＭＢの画素である場合には（ステップＳ１０１）、画素ｐ０と画素ｑ０とがＭＢの境界の左右の画素であるか否か判定する（ステップＳ１０２）。画素ｐ０と画素ｑ０とがＭＢの境界の左右の画素である場合にはｂＳを４に決定し、ＭＢの境界の左右の画素ではない場合にはｂＳを３に決定する。【００３０】
ブロック境界強度決定部１０８１は、画素ｐ０と画素ｑ０とのいずれもイントラＭＢの画素でない場合には、画素ｐ０と画素ｑ０がそれぞれ属するブロックのいずれかに量子化インデックスが存在するか否か判定する（ステップＳ１０３）。ブロック境界強度決定部１０８１は、画素ｐ０と画素ｑ０が属するそれぞれブロックのいずれかに量子化インデックスが存在する場合には、ｂＳを２に決定する。画素ｐ０と画素ｑ０がそれぞれ属するブロックに量子化インデックスが存在しない場合には、画素ｐ０と画素ｑ０とで、フレーム間予測に不連続があるか否か判定する（ステップＳ１０４）。フレーム間予測に不連続がある場合にはｂＳを１に決定し、フレーム間予測に不連続がない場合にはｂＳを０に決定する。【００３１】
なお、ｂＳを決定する処理のより詳細な説明が、非特許文献１の８．７．２  Filtering process for a set of samples across a horizontal or vertical block edge に記載されている。【００３２】
ｂＳが大きな値になるほど、ブロック境界の変動量が大きいと判定し、強度の高いフィルタが適用される。ｂＳ＝０では、フィルタは適用されない。【００３３】
次に、ｂＳ＞０のブロック境界についてのみ、ｂＳ＝４とｂＳ＜４の場合に分けて、非特許文献１に基づく非特許文献２における、ブロック境界に対する擬似ランダム雑音を用いたフィルタ処理を説明する。【００３４】
ｂＳ＝４の場合、処理対象のブロック境界の行（水平フィルタ時）または列（垂直フィルタ時）ｐｏｓ（０≦ｐｏｓ≦１６）のエッジ毎に、エッジ判定部１０８２は｜ｐ０−ｑ０｜＜α／４かつ｜ｐ１−ｐ０｜＜βであるエッジをフィルタ対象エッジと決定する。フィルタ部１０８３は、ｐｏｓに対応した擬似ランダム雑音ditherP ［ｐｏｓ］（１≦ditherP ［ｐｏｓ］≦７）を用いた以下の式でＰ０，Ｐ１，Ｐ２をそれぞれ計算する。【００３５】
P0=(p2+2*p1+2*p0+2*q0+q1+ditherP[pos])/8      （１）
P1=(p3+2*p2+2*p1+2*p0+q0+ditherP[pos])/8      （２）
P2=(2*p3+3*p2+p1+p0+q0+ditherP[pos])/8      （３）【００３６】
ただし、αとβはそれぞれ量子化パラメータＱの値が大きくなるほど大きな値となるパラメータであり、ｐｏｓは処理対象のブロック位置の座標に対する位置である。【００３７】
同様に、ｂＳ＝４の場合、処理対象のブロック境界の行（水平フィルタ時）または列（垂直フィルタ時）ｐｏｓ（０≦ｐｏｓ≦１６）のエッジ毎に、エッジ判定部１０８２は｜ｐ０−ｑ０｜＜α／４かつ｜ｑ１−ｑ０｜＜βであるエッジをフィルタ対象エッジと決定する。フィルタ部１０８３は、ｐｏｓに対応した擬似ランダム雑音ditherQ ［ｐｏｓ］（１≦ditherQ ［ｐｏｓ］≦７）を用いた以下の式でＱ０，Ｑ１，Ｑ２を計算する。【００３８】
Q0=(q2+2*q1+2*q0+2*p0+p1+ditherQ[pos])/8      （４）
Q1=(q3+2*q2+2*q1+2*q0+p0+ditherQ[pos])/8      （５）
Q2=(2*q3+3*q2+q1+q0+p0+ditherQ[pos])/8      （６）【００３９】
式（１）から式（６）に示すように擬似ランダム雑音をブロック境界に混入させることによって、ブロック歪みが除去されるだけでなく、バンディング歪みも視覚的に目立ちにくくなる。【００４０】
ｂＳ＜４の場合、処理対象のブロック境界の行（水平フィルタ時）または列（垂直フィルタ時）ｐｏｓ（０≦ｐｏｓ≦１６）のエッジ毎に、エッジ判定部１０８２は｜ｐ０−ｐ２｜＜βであるエッジをフィルタ対象エッジと決定する。フィルタ部１０８３は、以下の式でＰ０を計算する。【００４１】
P0=p0+Clip3{-tc,tc,(2*(q0-p0)+p1-q1+4)/8}      （７）【００４２】
ただし、tcは、ｂＳおよび量子化パラメータＱの値が大きいほど大きな値となるパラメータである。【００４３】
同様に、ｂＳ＜４の場合、処理対象のブロック境界の行（水平フィルタ時）または列（垂直フィルタ時）ｐｏｓ（０≦ｐｏｓ≦１６）のエッジ毎に、エッジ判定部１０８２は｜ｑ０−ｑ２｜＜βであるエッジをフィルタ対象エッジと決定する。フィルタ部１０８３は、以下の式でＱ０を計算する。【００４４】
Q0=q0-Clip3{-tc,tc,(2*(q0-p0)+p1-q1+4)/8}      （８）【００４５】
デコードピクチャバッファ１０９は、歪み除去フィルタ部１０８ａから供給される、ブロック歪みとリンギング歪みが除去された歪み除去再構築画像ピクチャを参照画像ピクチャとして格納する。なお、参照画像ピクチャの画像は、フレーム間予測信号を生成するための参照画像として利用される。【００４６】
図２１に示された映像符号化装置は、上述した処理によって、ビットストリームを生成する。
【先行技術文献】
【非特許文献】
【００４７】
【非特許文献１】ISO/IEC  14496-10 Advanced Video Coding
【非特許文献２】G. Conklin and N. Gokhale ，”Dithering 5-tap Filter for Inloop Deblocking”，Joint Video Team（JVT ） of ISO/IEC MPEG & ITU-T VCEG ，JVT-C056，2002年 5月
【非特許文献３】”Test Model under Consideration”，Document：JCTVC-B205，Joint Collaborative Team on Video Coding（JCT-VC） of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 2nd Meeting ：Geneva，CH，21-28 July，2010
【発明の概要】
【発明が解決しようとする課題】
【００４８】
上述した一般的な歪み除去フィルタは、ブロック境界を中心とする対称な領域に擬似ランダム雑音を画像に混入させる。１６×１６画素サイズのＭＢを符号化単位とするJoint Model 方式においては、ＭＢ一行の処理に必要な参照ラインバッファのライン数は４ラインになる（図２７参照）。【００４９】
しかし、周波数変換のブロックサイズが大きいほど、バンディング歪みを視覚的に目立ちにくくするために必要な擬似ランダム雑音の混入領域は広くなる。例えば、周波数変換ブロックサイズが１６×１６の場合は、ブロック境界を中心とする対称な８画素（周波数変換ブロックサイズの一辺の半分）の領域に擬似ランダム雑音を画像に混入させることが望ましい。その場合には、図２８に示すように、ＭＢ一行の処理に必要な参照ラインバッファのライン数は８ラインになる。【００５０】
ゆえに、ＭＢの大きさを１６×１６画素サイズよりも大きくできる非特許文献３に記載されたTest Model under Consideration（ＴＭｕＣ方式）のような映像符号化方式に対して、一般的な歪み除去フィルタをそのまま用いると、その処理に必要な参照ラインバッファのライン数が大きく増大する課題がある。【００５１】
ＴＭｕＣ方式においては、非特許文献３の７節  Unit definition を引用すると、ＭＢに対応する概念がCoding Tree Block （ＣＴＢ）であり、１６×１６固定ではなく、１２８×１２８から８×８の範囲で可変となっている（図２９参照）。なお、最大のCoding Tree BlockをLargest Coding Tree Block（ＬＣＴＢ）、最小のCoding Tree BlockをSmallest Coding Tree Block（ＳＣＴＢ）と呼ぶ。また、本明細書においては、ＣＴＢのブロックをCoding Unit （ＣＵ）と呼ぶ。【００５２】
さらに、ＴＭｕＣ方式においては、Coding Tree Block に対する予測モードの処理単位としてPrediction unit （ＰＵ）という概念（図３０参照）、Coding Tree Block に対する周波数変換の処理単位としてTransform unit（ＴＵ）という概念（図３１参照）が導入されている。ＴＵは、６４×６４から４×４の範囲で可変となっている。なお、図３０の説明図を参照すると、イントラ予測モードでは、図３０に示された形状のうち正方形のみがサポートされている。【００５３】
例えば、ＬＣＴＢのサイズを６４×６４およびＴＵの最大サイズを６４×６４とするＴＭｕＣ方式において、ブロック境界を中心とする対称な周波数変換ブロックサイズの一辺の半分の領域に擬似ランダム雑音を画像に混入させる一般的な歪み除去フィルタは、その処理に必要な参照ラインバッファのライン数は３２ラインになる（図３２参照）。【００５４】
本発明は、擬似ランダム雑音混入処理における参照ラインバッファのライン数を増大させないことを目的とする。
【課題を解決するための手段】
【００５５】
本発明による映像符号化装置は、量子化インデックスを逆量子化して量子化代表値を得る逆量子化手段と、逆量子化手段によって得られた量子化代表値を逆変換して再構築画像ブロックを得る逆周波数変換手段と、再構築画像ブロックの境界を中心とする非対称な領域に擬似ランダム雑音を混入させる雑音混入手段とを備えたことを特徴とする。【００５６】
本発明による映像復号装置は、量子化インデックスを逆量子化して量子化代表値を得る逆量子化手段と、逆量子化手段によって得られた量子化代表値を逆変換して再構築画像ブロックを得る逆周波数変換手段と、再構築画像ブロックの境界を中心とする非対称な領域に擬似ランダム雑音を混入させる雑音混入手段とを備えたことを特徴とする。【００５７】
本発明による映像符号化方法は、量子化インデックスを逆量子化して量子化代表値を得て、得られた量子化代表値を逆変換して再構築画像ブロックを得て、再構築画像ブロックの境界を中心とする非対称な領域に擬似ランダム雑音を混入させることを特徴とする。【００５８】
本発明による映像復号方法は、量子化インデックスを逆量子化して量子化代表値を得て、得られた量子化代表値を逆変換して再構築画像ブロックを得て、再構築画像ブロックの境界を中心とする非対称な領域に擬似ランダム雑音を混入させることを特徴とする。【００５９】
本発明による映像符号化プログラムは、コンピュータに、量子化インデックスを逆量子化して量子化代表値を得る処理と、得られた量子化代表値を逆変換して再構築画像ブロックを得る処理と、再構築画像ブロックの境界を中心とする非対称な領域に擬似ランダム雑音を混入させる処理とを実行させることを特徴とする。【００６０】
本発明による映像復号プログラムは、コンピュータに、量子化インデックスを逆量子化して量子化代表値を得る処理と、得られた量子化代表値を逆変換して再構築画像ブロックを得る処理と、再構築画像ブロックの境界を中心とする非対称な領域に擬似ランダム雑音を混入させる処理とを実行させることを特徴とする。
【発明の効果】
【００６１】
本発明による映像符号化装置および映像復号装置は、ブロック境界を中心に非対称に擬似ランダム雑音を画像に混入させる手段を備えているので、大きなブロックサイズを用いる映像符号化においても、擬似ランダム雑音混入処理において参照ラインバッファのライン数を所定のサイズに制約できる。
【図面の簡単な説明】
【００６２】
【図１】本発明における参照ラインバッファを説明するための説明図である。
【図２】第１の実施形態の映像符号化装置の構成を示すブロック図である。
【図３】非対称歪み除去フィルタの水平方向のフィルタの適用を説明するための説明図である。
【図４】非対称歪み除去フィルタの垂直方向のフィルタの適用を説明するための説明図である。
【図５】非対称歪み除去フィルタの構成を示すブロック図である。
【図６】ブロック境界強度決定部の動作を示すフローチャートである。
【図７】エッジ判定部の動作を示すフローチャートである。
【図８】擬似ランダム雑音混入領域決定部の動作を示すフローチャートである。
【図９】第２の実施形態の映像復号装置の構成を示すブロック図である。
【図１０】Planar予測を説明するための説明図である。
【図１１】Planar予測を説明するための説明図である。
【図１２】Planar予測を説明するための説明図である。
【図１３】ブロック境界強度決定部の動作を示すフローチャートである。
【図１４】エッジ判定部の動作を示すフローチャートである。
【図１５】擬似ランダム雑音混入領域決定部の動作を示すフローチャートである。
【図１６】本発明による映像符号化装置および映像復号装置の機能を実現可能な情報処理システムの構成例を示すブロック図である。
【図１７】本発明による映像符号化装置の主要部を示すブロック図である。
【図１８】本発明による映像復号装置の主要部を示すブロック図である。
【図１９】本発明による映像符号化装置の処理を示すフローチャートである。
【図２０】本発明による映像復号装置の処理を示すフローチャートである。
【図２１】一般的な映像符号化装置の構成を示すブロック図である。
【図２２】ブロック分割の例を示す説明図である。
【図２３】歪み除去フィルタの水平方向のフィルタの適用を説明するための説明図である。
【図２４】歪み除去フィルタの垂直方向のフィルタの適用を説明するための説明図である。
【図２５】歪み除去フィルタの構成を示すブロック図である。
【図２６】ｂＳの決定処理を示すフローチャートである。
【図２７】ライン数が４の場合の参照ラインバッファを説明するための説明図である。
【図２８】ライン数が８の場合の参照ラインバッファを説明するための説明図である。
【図２９】ＣＴＢを説明するための説明図である。
【図３０】ＰＵを説明するための説明図である。
【図３１】ＴＵを説明するための説明図である。
【図３２】ライン数が３２の場合の参照ラインバッファを説明するための説明図である。
【発明を実施するための形態】
【００６３】
本発明では、歪み除去フィルタの処理に必要な参照ラインバッファのライン数が周波数変換のブロックサイズの大きさに応じて増加する問題を回避するために、バンディング歪みを視覚的に目立ちにくくするための条件が「隣接するブロックが覆われるように擬似ランダム雑音が混入すること」であることに着目し、映像符号化装置および映像復号装置は、ブロック境界を中心とする非対称な領域に擬似ランダム雑音混入させる手段を備える。なお、隣接するブロックが覆われるとは、非対称な領域の合計が、ブロックサイズの一辺と同一になるという意味である。
【００６４】
つまり、本発明においては、参照ラインバッファのライン数を固定（Ｎ）とし、少なくとも水平方向のブロック境界の歪み除去において、Ｎの２倍以上の一辺［Ｍ（２＊Ｎ≦Ｍ）］を持つＭ×Ｍの周波数変換ブロックのブロック境界に対して、ブロック境界の上側に対する擬似ランダム雑音の混入最大領域をＮで制限し、代わりに、ブロック境界の下側に対する擬似ランダム雑音の混入最大領域をＭ−Ｎまで許容する。ＮにＭ−Ｎを加えるとＭとなるので、非対称な領域に擬似ランダム雑音混入させることによっても、隣接するブロックが覆われることが分かる。Ｎ＝８、Ｍ＝６４の例を図１に示す。
【００６５】
実施形態１．
本実施形態においては、参照ラインバッファのライン数を８（Ｎ＝８）と制限し、１６画素以上の一辺［Ｍ×Ｍ  （Ｍ＝１６，３２，６４）］の周波数変換ブロックの水平方向と垂直方向のブロック境界に対する歪み除去において、ブロック境界の上側（垂直方向のブロック境界の場合）および左側（水平方向のブロック境界の場合）に対する擬似ランダム雑音の混入最大領域をＮで制限し、代わりに、ブロック境界の下側（垂直方向のブロック境界の場合）および右側（水平方向のブロック境界の場合）に対する擬似ランダム雑音の混入最大領域をＭ−Ｎまで許容する、非対称歪み除去フィルタを用いる映像符号化装置を説明する。つまり、本実施形態において、雑音混入手段の一例である歪み除去フィルタは、Ｍ＝３２と６４の周波数変換ブロックに対して、ブロックの境界を中心とする非対称な領域に擬似ランダム雑音を混入させる。
【００６６】
図２は、本実施形態の映像符号化装置を示すブロック図である。図２に示す本実施形態の映像符号化装置は、図２１に示す一般的な映像符号化装置と比較すると、歪み除去フィルタ１０８ａが非対称歪み除去フィルタ１０８と置き換わっていることが分かる。以下、本発明の特徴である非対称歪み除去フィルタ１０８の構成と動作を説明する。
【００６７】
図３および図４は、非対称歪み除去フィルタ部１０８の動作を説明するための説明図である。
【００６８】
非対称歪み除去フィルタ部１０８は、図３に示すように、ＣＵ／ＰＵ／ＴＵの水平方向のブロック境界に対してフィルタを適用する。また、図４に示すように、ＣＵ／ＰＵ／ＴＵの垂直方向のブロック境界に対してフィルタを適用する。上述したように、ＣＵ／ＰＵ／ＴＵのブロックサイズは可変となるので、図３および図４においては、ブロックサイズを指定しない。
【００６９】
図３に示す水平方向のブロック境界に対するフィルタの処理については、ブロック境界を中心とする左側のフィルタ前の画素をブロック境界からｐ０，ｐ１，ｐ２，…、フィルタ後の画素をＰ０，Ｐ１，Ｐ２，…とし、ブロック境界を中心とする右側のフィルタ前の画素をブロック境界からｑ０，ｑ１，ｑ２，ｑ３，…、フィルタ後の画素をＱ０，Ｑ１，Ｑ２，Ｑ３，…とする。
【００７０】
図４に示す垂直方向のブロック境界に対するフィルタの処理については、ブロック境界を中心とする上側のフィルタ前の画素をブロック境界からｐ０，ｐ１，ｐ２，…、フィルタ後の画素をＰ０，Ｐ１，Ｐ２，…とし、ブロック境界を中心とする下側のフィルタ前の画素をブロック境界からｑ０，ｑ１，ｑ２，ｑ３，…、フィルタ後の画素をＱ０，Ｑ１，Ｑ２，Ｑ３，…とする。
【００７１】
ただし、…，Ｐ３，Ｐ２，Ｐ１，Ｐ０，Ｑ０，Ｑ１，Ｑ２，Ｑ３，…は、…，ｐ３，ｐ２，ｐ１，ｐ０，ｑ０，ｑ１，ｑ２，ｑ３，…でそれぞれ初期化されているとする。
【００７２】
水平方向と垂直方向とでブロック境界に対するフィルタ処理は同じである。そこで、以下、水平方向と垂直方向とを特に区別をせずに、ブロック境界に対するフィルタ処理を説明する。また、非対称歪み除去フィルタ部１０８の内部構成を図５に示す。
【００７３】
図５に示す非対称歪み除去フィルタ１０８を構成する、ブロック境界強度決定部１０８１、エッジ判定部１０８２、およびフィルタ部１０８３は、図２５に示されたものと同等である。擬似ランダム雑音混入領域決定部１０８４は、図２５に示された歪み除去フィルタ１０８ａに存在しない機能ブロックである。擬似ランダム雑音混入領域決定部１０８４は、ブロック境界強度決定部１０８１から供給されるブロック境界強度（ｂＳ）と外部から供給されるブロックの補助情報を用いて、ブロックの境界を中心とする非対称な擬似ランダム雑音混入領域（擬似ランダム雑音混入範囲）を計算する。計算された擬似ランダム雑音混入範囲はフィルタ部１０８３に供給される。
【００７４】
以下、ブロック境界強度決定部１０８１、エッジ判定部１０８２、擬似ランダム雑音混入領域決定部１０８４、フィルタ部１０８３の順でその動作を説明する。
【００７５】
ブロック境界強度決定部１０８１は、非対称歪み除去フィルタ１０８の外部から供給されるブロックの補助情報に基づいてブロック境界強度ｂＳ（０≦ｂＳ≦３）を決定する。図６は、ｂＳを決定する処理を示すフローチャートである。
【００７６】
ブロック境界強度決定器１０８１は、ブロック境界の画素ｐ０とブロック境界の画素ｑ０のいずれかがイントラＰＵの画素である場合には（ステップＳ１００１）、ｂＳを３に決定する。
【００７７】
ブロック境界強度決定器１０８１は、画素ｐ０と画素ｑ０とのいずれもイントラＰＵの画素でない場合には、画素ｐ０と画素ｑ０がそれぞれ属するブロックのいずれかに量子化インデックスが存在するか否か判定する（ステップＳ１００２）。画素ｐ０と画素ｑ０が属するそれぞれブロックのいずれかに量子化インデックスが存在する場合には、ｂＳを２に決定する。
【００７８】
ブロック境界強度決定器１０８１は、画素ｐ０と画素ｑ０がそれぞれ属するブロックに量子化インデックスが存在しない場合には、画素ｐ０と画素ｑ０とで、フレーム間予測に不連続があるか否か判定する（ステップＳ１００３）。フレーム間予測に不連続がある場合にはｂＳを１に決定し、フレーム間予測に不連続がない場合にはｂＳを０に決定する。
【００７９】
エッジ判定部１０８２は、ブロック境界強度決定器１０８１から供給されるｂＳと外部から供給される再構築画像とを用いて、フィルタ部１０８３でのフィルタ処理を決定する。図７は、そのフローチャートである。
【００８０】
エッジ判定部１０８２は、処理対象のブロック境界の８つの行（水平方向ブロック境界）または８つの列（垂直方向ブロック境界）に対応する８つのエッジ毎に、以下の条件１を満たすか否かを判断する。条件１を満たさない場合には、８つのエッジに対してフィルタ処理なしと判断する（ステップＳ２００１）。
【００８１】
条件１：
ｂＳが０より大きい、かつ、
d=|p22-2*p12+p02|+|q22-2*q12+q02|+|p25-2*p15+p05|+|q25-2*q15+q05|＜β
を満たす。
【００８２】
ただし、条件１における下付きの数字は、非特許文献３の５．４．１節  Deblocking filter process の”Notation of an 8 pixels part of vertical edge for deblocking”に記載される、処理対象８エッジのインデックスである。また、βは、非特許文献３の５．４．１節  Deblocking filter process の”Relation between qp, tc, and beta ”に記載される、量子化パラメータＱＰに依存したパラメータである。
【００８３】
エッジ判定部１０８２は、条件１を満たす場合には、８つのエッジの各エッジｉ（０≦ｉ≦７）が、以下の条件２を満たすか否かを判断する。条件２を満たさない場合には、エッジｉに対して後述する弱フィルタを適用すると判断する（ステップＳ２００２）。
【００８４】
条件２：
d＜（β/4）、かつ、
（｜p3i−p0i｜＋｜q3i−q0i｜）＜（β/8）を満たす。かつ、
（｜p0i−q0i｜）＜（（5*tc＋１）/2）を満たす。
【００８５】
ただし、tcは、非特許文献３の５．４．１節  Deblocking filter process の”Relation between qp, tc, and beta ”に記載される、量子化パラメータＱＰに依存したパラメータである。
【００８６】
エッジ判定部１０８２は、条件２を満たす場合には、各エッジｉ（０≦ｉ≦７）が、以下の条件３を満たすか否かを判断する。条件３を満たさない場合には、エッジｉに対して、後述する強フィルタを適用すると判断する（ステップＳ２００３）。条件３を満たす場合には、エッジｉに対して、後述する擬似ランダム混入付き強フィルタを適用すると判断する。
【００８７】
擬似ランダム雑音混入領域決定部１０８４は、ブロック境界強度決定部１０８１から供給されるブロック境界強度（ｂＳ）と外部から供給されるブロックの補助情報を用いて、ブロック境界画素ｐ０側の擬似ランダム雑音混入領域のサイズpSize 、および、ブロック境界画素ｑ０側の擬似ランダム雑音混入領域のサイズqSize を計算する。図８は、そのフローチャートである。
【００８８】
擬似ランダム雑音混入領域決定部１０８４は、入力されたブロック境界画素が属するブロックの補助情報を用いて、ブロックが所定の大きさ（本実施形態では１６×１６）のイントラ予測であるか否かを判断する（ステップＳ３００１）。１６×１６以上のイントラ予測でない場合、擬似ランダム雑音混入領域のサイズを０とする。なお、イントラ予測の大きさだけでなく、エッジ境界とその周辺画素について、例えば、ブロック境界画素がｑ０の場合、｜ｐ０ｉ−ｑ０ｉ｜≦１および｜ｑ０ｉ−ｑ７ｉ｜≦１を満たす平坦か（ブロック境界画素がｐ０の場合｜ｐ０ｉ−ｑ０ｉ｜≦１および｜ｐ０ｉ−ｐ７ｉ｜≦１を満たす平坦か）も判断し、平坦でない時には擬似ランダム雑音混入領域のサイズを０としてもよい。また、ステップＳ２００１の条件１で計算したｄが所定のしきい値よりも小さい場合に平坦と判断してもよい。
【００８９】
擬似ランダム雑音混入領域決定部１０８４は、入力されたブロック境界画素が属するブロックが１６×１６以上のイントラ予測である場合、入力されたブロック境界画素がｐ０であるか否かを判断する（ステップＳ３００２）。入力されたブロック境界画素がｐ０である場合、擬似ランダム雑音混入領域のサイズをＮ（Ｎ＝８）と決定する。そうでない場合、ｑ０の属するブロックＭ×Ｍ（Ｍ＝１６，３２，６４）の一辺のサイズＭを用いて、擬似ランダム雑音混入領域のサイズをＭ−Ｎと決定する。
【００９０】
フィルタ部１０８３は、各エッジ（０≦ｉ≦７）に対して、エッジ判定部１０８２が決定したフィルタ処理を適用する。弱フィルタ、強フィルタ、および擬似ランダム混入付き強フィルタのそれぞれを以下で説明する。
【００９１】
弱フィルタが適用される場合、エッジｉの画素Ｐ０ｉおよびＱ０ｉを以下の式で計算する。
【００９２】
P0i=Clip0-255(p0i+Clip(-tc,tc,(13*(q0i-p0i)+4*(q1i-p1i)-5*(q2i-p2i)+16)/32))      （９）
Q0i=Clip0-255(q0i-Clip(-tc,tc,(13*(q0i-p0i)+4*(q1i-p1i)-5*(q2i-p2i)+16)/32))      （１０）
【００９３】
強フィルタが適用される場合、エッジｉの画素Ｐ２ｉ，Ｐ１ｉ，Ｐ０ｉ，Ｑ０ｉ，Ｑ１ｉ，Ｑ２ｉを以下の式で計算する。
【００９４】
P0i=Clip0-255((p2i+2*p1i+2*p0i+2*q0i+q1i+4)/8)      （１１）
P1i=Clip0-255((p2i+p1i+p0i+q0i+2)/4)                （１２）
P2i=Clip0-255((2*p3i+3*p2i+p1i+p0i+q0i+4)/8)        （１３）
Q0i=Clip0-255((q2i+2*q1i+2*q0i+2*p0i+p1i+4)/8)      （１４）
Q1i=Clip0-255((q2i+q1i+q0i+p0i+2)/4)                （１５）
Q2i=Clip0-255((2*q3i+3*q2i+q1i+q0i+p0i+4)/8)        （１６）
【００９５】
擬似ランダム混入付き強フィルタが適用される場合、擬似ランダム雑音混入領域決定部１０８４で計算したpSize を用いて、エッジｉの画素Ｐｋｉ（０≦ｋ≦pSize ）を以下の式で計算する。
【００９６】
P0i=Clip0-255(Clip0-255((p2i+2*p1i+2*p0i+2*q0i+q1i+4)/8)+n0i)      （１７）
P1i=Clip0-255(Clip0-255((p2i+p1i+p0i+q0i+2)/4)+n1i)                （１８）
P2i=Clip0-255(Clip0-255((2*p3i+3*p2i+p1i+p0i+q0i+4)/8)+n2i)        （１９）
Pki=Clip0-255(pki+nki)  (3≦k≦pSize)                          （２０）
【００９７】
ただし、nki＝LUT［（idxOffseti−k−１）＆（LUTSize−1）］である。LUT［］は擬似ランダム雑音を格納したルックアップテーブルであり、その要素は−１，０，１のいずれかの値をとる。また、LUTSize はルックアップテーブルのサイズである。ルックアップテーブルのオフセットidxOffsetiは、非対称歪み除去の方向に応じて、以下の式で計算される。
【００９８】
【数１】
2012035746.tif 000003
【００９９】
ただし、PUPosXはフレームにおける図３に示す垂直エッジの水平位置、PUPosYはフレームにおける図４に示す水平エッジの垂直位置、PITCH は所定の値（例えば１６）である。
【０１００】
同様に、擬似ランダム混入付き強フィルタが適用される場合、擬似ランダム雑音混入領域決定部１０８４で計算したqSize を用いて、エッジｉの画素Ｑｋｉ（０≦ｋ≦qSize ）を以下の式で計算する。
【０１０１】
Q0i=Clip0-255(Clip0-255((q2i+2*q1i+2*q0i+2*p0i+p1i+4)/8)+n0i)      （２２）
Q1i=Clip0-255(Clip0-255((q2i+q1i+q0i+p0i+2)/4)+n1i)                （２３）
Q2i=Clip0-255(Clip0-255((2*q3i+3*q2i+q1i+q0i+p0i+4)/8)+n2i)         （２４）
Qki=Clip0-255(qki+nki)  (3≦k≦qSize)                           （２５）
【０１０２】
ただし、nki＝LUT［（idxOffseti＋k）＆（LUTSize−1）］である。
【０１０３】
以上で、本発明の特徴である非対称歪み除去フィルタ１０８の構成と動作の説明を終了する。
【０１０４】
本実施形態の映像符号化装置は、参照ラインバッファのライン数を固定（Ｎ）とする非対称歪み除去フィルタを用いる。具体的には、少なくとも垂直方向の歪み除去において、Ｎの２倍以上の一辺［Ｍ（２＊Ｎ≦Ｍ）］を持つＭ×Ｍの周波数変換ブロックのブロック境界に対して、ブロック境界の上側に対する擬似ランダム雑音の混入最大領域をＮで制限し、代わりに、ブロック境界の下側に対する擬似ランダム雑音の混入最大領域をＭ−Ｎまで許容する。これによって、バンディング歪みを視覚的に目立ちにくくするための条件「隣接するブロックが覆われるように擬似ランダム雑音が混入すること」を満たしつつ、歪み除去フィルタの処理に必要な参照ラインバッファのライン数が周波数変換のブロックサイズの大きさに応じて増加する問題を克服できる。
【０１０５】
実施形態２．
本実施形態においては、参照ラインバッファのライン数を８（Ｎ＝８）と制限し、１６画素以上の一辺［Ｍ×Ｍ （Ｍ＝１６，３２，６４）］の周波数変換ブロックの水平方向と垂直方向のブロック境界に対する歪み除去において、ブロック境界の上側（垂直方向のブロック境界の場合）および左側（水平方向のブロック境界の場合）に対する擬似ランダム雑音の混入最大領域をＮで制限し、代わりに、ブロック境界の下側（垂直方向のブロック境界の場合）および右側（水平方向のブロック境界の場合）に対する擬似ランダム雑音の混入最大領域をＭ−Ｎまで許容する、非対称歪み除去フィルタを用いる映像復号装置を説明する。なお、本実施形態の映像復号装置は、第１の実施形態の映像符号化装置に対応する映像復号装置である。
【０１０６】
図９に示すように、本実施形態の映像復号装置は、エントロピー復号部２０１、逆量子化部２０２、逆周波数変換部２０３、ピクチャバッファ２０４、非対称歪み除去フィルタ１０８、デコードピクチャバッファ２０６、イントラ予測部２０７、フレーム間予測部２０８、復号制御部２０９およびスイッチ２００を備えている。
【０１０７】
エントロピー復号部２０１は、ビットストリームをエントロピー復号して、復号対象ＣＵの予測信号に関連する情報、整数ＤＣＴの基底サイズ、および量子化インデックスを出力する。
【０１０８】
イントラ予測部２０７は、現在復号中のフレームと表示時刻が同一である、ピクチャバッファ２０４に格納された再構築画像を利用してイントラ予測信号を生成する。
【０１０９】
フレーム間予測部２０８は、現在復号中のフレームと表示時刻が異なる、デコードピクチャバッファ２０６に格納された参照画像を利用してフレーム間予測信号を生成する。
【０１１０】
復号制御部２０９は、エントロピー復号したフレーム間予測に基づいて、スイッチ２００を制御し、イントラ予測信号またはフレーム間予測信号を供給する。
【０１１１】
逆量子化部２０２は、エントロピー復号部２０１から供給される量子化インデックスを逆量子化する。
【０１１２】
逆変換部２０３は、第１の実施形態の逆変換部１０６と同様に、量子化代表値を逆周波数変換して元の空間領域に戻す。
【０１１３】
ピクチャバッファ２０４には、現在復号中のフレームに含まれるすべてのＣＵが復号されるまで、元の空間領域に戻された再構築予測誤差画像ブロックに予測信号が加えられた再構築画像ブロックが格納される。
【０１１４】
非対称歪み除去フィルタ１０８は、現在のフレームに含まれるすべてのＣＵが復号された後、ピクチャバッファ２０４に格納された再構築画像に対して歪みを除去する。なお、非対称歪み除去フィルタ１０８の構成は、図５に示されたとおりである。また、非対称歪み除去フィルタ１０８が実行する処理は、図６〜図８に示されたとおりである。
【０１１５】
デコードピクチャバッファ２０６は、非対称歪み除去フィルタ１０８から供給される歪み除去された再構築画像を参照画像ピクチャとして格納する。参照画像ピクチャの画像は、フレーム間予測信号を生成するための参照画像として利用される。また、参照画像ピクチャは、適切な表示タイミングで伸張フレームとして出力される。
【０１１６】
本実施形態の映像復号装置は、上記のような処理によってビットストリームを伸張する。
【０１１７】
本実施形態の映像復号装置は、対応する映像符号化装置と同様に、バンディング歪みを視覚的に目立ちにくくするための条件「隣接するブロックが覆われるように擬似ランダム雑音が混入すること」を満たしつつ、歪み除去フィルタの処理に必要な参照ラインバッファのライン数が周波数変換のブロックサイズの大きさに応じて増加する問題を克服できる。
【０１１８】
他の実施形態
非特許文献３のTest Model under Consideration（ＴＭｕＣ方式）においては、５．１．１．３．１節  Specification of intra planar predictionを引用すると、Planar予測という新たな概念のイントラ予測が導入されている。Planar予測では、まず、符号化対象ブロックの右下画像が参照画像を用いた予測符号化に基づいてエンコーダから伝送される（図１０参照）。続いて、Planar予測では，伝送された右下画像と符号化対象ブロック周辺の参照画像を用いて、符号化対象ブロック一番右の列と一番下の行の予測画像を１次元の線形補間で計算する（図１１参照）。最後に、残りの領域の予測画像を２次元の線形補間で計算する（図１２参照）。
【０１１９】
Planar予測（以後、Planarモードとも呼ぶ）を用いたブロックにおいては予測誤差（原信号と補間画像の差分）を伝送しない。つまり、補間画像がそのまま再構築画像になる。ゆえに、隣接するPlanarモードのブロック境界においては、背景技術の説明で述べた歪み除去とは異なる処理が、非特許文献３の５．４．１節  Deblocking filter process のPlanar mode filtering に記載されている。
【０１２０】
Planar mode filtering （Planarモードフィルタ）を考慮した場合における、非線形歪み除去フィルタの動作を以下に示す。なお、非線形歪み除去フィルタの構成は変わらない。
【０１２１】
ブロック境界強度決定部１０８１は、非線形歪み除去フィルタ１０８の外部から供給されるブロックの補助情報に基づいてブロック境界強度ｂＳ（０≦ｂＳ≦４）を決定する。図１３は、ｂＳを決定する処理を示すフローチャートである。
【０１２２】
ブロック境界強度決定器１０８１は、ブロック境界の画素ｐ０とブロック境界の画素ｑ０とが同じブロックサイズのPlanarモードである場合には（ステップＳ１０００）、ｂＳを４に決定する。
【０１２３】
ブロック境界強度決定器１０８１は、ブロック境界の画素ｐ０とブロック境界の画素ｑ０とが同じブロックサイズのPlanarモードでない場合には、ブロック境界の画素ｐ０とブロック境界の画素ｑ０のいずれかがイントラＰＵの画素である場合には（ステップＳ１００１’）、ｂＳを３に決定する。
【０１２４】
ブロック境界強度決定器１０８１は、画素ｐ０と画素ｑ０とのいずれもイントラＰＵの画素でない場合には、画素ｐ０と画素ｑ０がそれぞれ属するブロックのいずれかに量子化インデックスが存在するか否か判定する（ステップＳ１００２）。画素ｐ０と画素ｑ０が属するそれぞれブロックのいずれかに量子化インデックスが存在する場合には、ｂＳを２に決定する。
【０１２５】
ブロック境界強度決定器１０８１は、画素ｐ０と画素ｑ０がそれぞれ属するブロックに量子化インデックスが存在しない場合には、画素ｐ０と画素ｑ０とで、フレーム間予測に不連続があるか否か判定する（ステップＳ１００３）。フレーム間予測に不連続がある場合にはｂＳを１に決定し、フレーム間予測に不連続がない場合にはｂＳを０に決定する。
【０１２６】
エッジ判定部１０８２は、ブロック境界強度決定器１０８１から供給されるｂＳと外部から供給される再構築画像とを用いて、フィルタ部１０８３でのフィルタ処理を決定する。図１４は、そのフローチャートである。
【０１２７】
エッジ判定部１０８２は、処理対象のブロック境界の８つの行（水平方向ブロック境界）または８つの列（垂直方向ブロック境界）に対応する８つのエッジ毎に、対応するブロック境界がｂＳ＝４であるかを判断する（ステップＳ２０００）。ｂＳ＝４である場合には、８つのエッジに対してPlanarモードフィルタと判断する。
【０１２８】
エッジ判定部１０８２は、対応するブロック境界がｂＳ＝４で無い場合、上記の８つのエッジ毎に、以下の条件１を満たすか否かを判断する（ステップＳ２００１）。条件１を満たさない場合には、８つのエッジに対してフィルタ処理なしと判断する。
【０１２９】
条件１：
ｂＳが０より大きい、かつ、
d=|p22-2*p12+p02|+|q22-2*q12+q02|+|p25-2*p15+p05|+|q25-2*q15+q05|＜β
を満たす。
【０１３０】
ただし、条件１における下付きの数字は、非特許文献３の５．４．１節  Deblocking filter processの”Notation of an 8 pixels part of vertical edge for deblocking”に記載される、処理対象８エッジのインデックスである。また、βは、非特許文献３の５．４．１節  Deblocking filter processの”Relation between qp, tc, and beta ”に記載される、量子化パラメータＱＰに依存したパラメータである。
【０１３１】
エッジ判定部１０８２は、条件１を満たす場合には、８つのエッジの各エッジｉ（０≦ｉ≦７）が、以下の条件２を満たすか否かを判断する（ステップＳ２００２）。条件２を満たさない場合には、エッジｉに対して後述する弱フィルタを適用すると判断する。
【０１３２】
条件２：
d＜（β/4）、かつ、
（｜p3i−p0i｜＋｜q3i−q0i｜）＜（β/8）を満たす。かつ、
（｜p0i−q0i｜）＜（（5*tc＋１）/2）を満たす。
【０１３３】
ただし、tcは、非特許文献３の５．４．１節  Deblocking filter processの”Relation between qp, tc, and beta ”に記載される、量子化パラメータＱＰに依存したパラメータである。
【０１３４】
エッジ判定部１０８２は、条件２を満たす場合には、各エッジｉ（０≦ｉ≦７）が、以下の条件３を満たすか否かを判断する（ステップＳ２００３）。条件３を満たさない場合には、エッジｉに対して、後述する強フィルタを適用すると判断する。条件３を満たす場合には、エッジｉに対して、後述する擬似ランダム混入付き強フィルタを適用すると判断する。
【０１３５】
擬似ランダム雑音混入領域決定部１０８４は、ブロック境界強度決定部１０８１から供給されるブロック境界強度（ｂＳ）と外部から供給されるブロックの補助情報を用いて、ブロック境界画素ｐ０側の擬似ランダム雑音混入領域のサイズpSize 、および、ブロック境界画素ｑ０側の擬似ランダム雑音混入領域のサイズqSize を計算する。図１５は、そのフローチャートである。
【０１３６】
擬似ランダム雑音混入領域決定部１０８４は、入力されたブロック境界画素が属するブロックの補助情報を用いて、ブロックが所定の大きさ（本実施形態では１６×１６）のイントラ予測であるか否かを判断する（ステップＳ３００１）。１６×１６以上のイントラ予測でない場合、擬似ランダム雑音混入領域のサイズを０とする。なお、イントラ予測の大きさだけでなく、エッジ境界とその周辺画素について、例えば、ブロック境界画素がｑ０の場合、｜ｐ０ｉ−ｑ０ｉ｜≦１および｜ｑ０ｉ−ｑ７ｉ｜≦１を満たす平坦か（ブロック境界画素がｐ０の場合｜ｐ０ｉ−ｑ０ｉ｜≦１および｜ｐ０ｉ−ｐ７ｉ｜≦１を満たす平坦か）も判断し、平坦でない時には擬似ランダム雑音混入領域のサイズを０としてもよい。また、ステップＳ２００１の条件１で計算したｄが所定のしきい値よりも小さい場合に平坦と判断してもよい。
【０１３７】
擬似ランダム雑音混入領域決定部１０８４は、入力されたブロック境界画素が属するブロックが１６×１６以上のイントラ予測である場合、入力されたブロック境界画素がPlanarモードのブロックに属するか否かを判断する（ステップＳ３００２ａ）。入力されたブロック境界画素がPlanarモードのブロックに属さない場合、ステップＳ３００２ｂに進む。入力されたブロック境界画素がPlanarモードのブロックに属する場合、ステップＳ３００２ｃに進む。
【０１３８】
ステップＳ３００２ｂでは、擬似ランダム雑音混入領域決定部１０８４は、入力されたブロック境界画素がｐ０であるか否かを判断する。入力されたブロック境界画素がｐ０である場合、擬似ランダム雑音混入領域のサイズをＮ（Ｎ＝８）と決定する。そうでない場合、ｑ０の属するブロックＭ×Ｍ（Ｍ＝１６，３２，６４）の一辺のサイズＭを用いて、擬似ランダム雑音混入領域のサイズをＭ−Ｎと決定する。
【０１３９】
ステップＳ３００２ｃでは、擬似ランダム雑音混入領域決定部１０８４は、エッジｉが以降の水平方向と垂直方向のブロック境界に対するPlanarモードフィルタの基準画像となる行または列となるかを判断する。エッジｉが以降の水平方向と垂直方向のブロック境界に対するPlanarモードフィルタの基準画像となる行または列となる場合、以降の水平方向と垂直方向のブロック境界に対するPlanarモードフィルタの基準画像に対して擬似ランダム雑音を混入させないように、擬似ランダム雑音混入領域のサイズを０と決定する。エッジｉが以降の水平方向と垂直方向のブロック境界に対するPlanarモードフィルタの基準画像とならない場合、ステップＳ３００２ｄに進む。
【０１４０】
ステップＳ３００２ｄでは、擬似ランダム雑音混入領域決定部１０８４は、入力されたブロック境界画素がｐ０であるか否かを判断する。入力されたブロック境界画素がｐ０である場合、擬似ランダム雑音混入領域のサイズをＮ（Ｎ＝８）と決定する。そうでない場合、ｑ０の属するブロックＭ×Ｍ（Ｍ＝１６，３２，６４）の一辺のサイズＭを用いて、擬似ランダム雑音混入領域のサイズをmin （Ｍ−Ｎ，Ｍ−Ｍ／４）と決定する。min （Ｍ−Ｎ，Ｍ−Ｍ／４）の第２変数の目的は、処理対象ブロックがPlanarモードである場合、Planarモードのブロックサイズに用いて擬似ランダム雑音の混入範囲を制限し、以降の水平方向と垂直方向のブロック境界に対するPlanarモードフィルタの基準画像となる擬似ランダム雑音を混入させないことである。
【０１４１】
フィルタ部１０８３は、各エッジ（０≦ｉ≦７）に対して、エッジ判定部１０８２で決定したフィルタ処理を適用する。Planarモードフィルタ、弱フィルタ、強フィルタ、および擬似ランダム混入付き強フィルタのそれぞれを以下で説明する。
【０１４２】
Planarモードフィルタが適用される場合、非特許文献３の５．４．１節  Deblocking filter process のPlanar mode filtering に従って、Ｐｋｉ（０≦ｋ≦Ｍ／４−１）およびＱｋｉ（０≦ｋ≦Ｍ／４）を計算する。
【０１４３】
弱フィルタが適用される場合、エッジｉの画素Ｐ０ｉおよびＱ０ｉを以下の式で計算する。
【０１４４】
P0i=Clip0-255(p0i+Clip(-tc,tc,(13*(q0i-p0i)+4*(q1i-p1i)-5*(q2i-p2i)+16)/32))      （２６）
Q0i=Clip0-255(q0i-Clip(-tc,tc,(13*(q0i-p0i)+4*(q1i-p1i)-5*(q2i-p2i)+16)/32))      （２７）
【０１４５】
強フィルタが適用される場合、エッジｉの画素Ｐ２ｉ，Ｐ１ｉ，Ｐ０ｉ，Ｑ０ｉ，Ｑ１ｉ，Ｑ２ｉを以下の式で計算する。
【０１４６】
P0i=Clip0-255((p2i+2*p1i+2*p0i+2*q0i+q1i+4)/8)      （２８）
P1i=Clip0-255((p2i+p1i+p0i+q0i+2)/4)                （２９）
P2i=Clip0-255((2*p3i+3*p2i+p1i+p0i+q0i+4)/8)        （３０）
Q0i=Clip0-255((q2i+2*q1i+2*q0i+2*p0i+p1i+4)/8)      （３１）
Q1i=Clip0-255((q2i+q1i+q0i+p0i+2)/4)                （３２）
Q2i=Clip0-255((2*q3i+3*q2i+q1i+q0i+p0i+4)/8)        （３３）
【０１４７】
擬似ランダム混入付き強フィルタが適用される場合、上述した強フィルタの結果Ｐｋｉ（０≦ｋ≦pSize ）を、擬似ランダム雑音混入領域決定部１０８４で計算したpSize を用いて以下の式で計算する。
【０１４８】
Pki=Clip0-255(pki+nki)  (0≦k≦pSize)                  （３４）
【０１４９】
ただし、nki＝LUT［（idxOffseti−k−１）＆（LUTSize−1）］である。LUT［］は擬似ランダム雑音を格納したルックアップテーブルであり、その要素は−１，０，１のいずれかの値をとる。また、LUTSize はルックアップテーブルのサイズである。ルックアップテーブルのオフセットidxOffsetiは、適応歪み除去の方向に応じて、以下の式で計算される。
【０１５０】
【数２】
2012035746.tif 000004
【０１５１】
ただし、PUPosXはフレームにおける図３に示す垂直エッジの水平位置、PUPosYはフレームにおける図４に示す水平エッジの垂直位置、PITCH は所定の値（例えば１６）である。
【０１５２】
同様に、擬似ランダム混入付き強フィルタが適用される場合、擬似ランダム雑音混入領域決定部１０８４で計算したqSize を用いて、エッジｉの画素Ｑｋｉ（０≦ｋ≦qSize ）を以下の式で計算する。
【０１５３】
Qki=Clip0-255(qki+nki)  (0≦k≦qSize)                （３６）
【０１５４】
ただし、nki＝LUT［（idxOffseti＋k）＆（LUTSize−1）］である。
【０１５５】
また、上記の各実施形態を、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。
【０１５６】
図１６に示す情報処理システムは、プロセッサ１００１、プログラムメモリ１００２、記憶媒体１００３および記憶媒体１００４を備えている。記憶媒体１００３および記憶媒体１００４は、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体として、ハードディスク等の磁気記憶媒体を用いることができる。
【０１５７】
図１６に示された情報処理システムにおいて、プログラムメモリ１００２には、図２、図５、図９のそれぞれに示された各ブロック（バッファのブロックを除く）の機能を実現するためのプログラムが格納される。そして、プロセッサ１００１は、プログラムメモリ１００２に格納されているプログラムに従って処理を実行することによって、図２、図５、図９のそれぞれに示された映像符号化装置または映像復号装置の機能を実現する。
【０１５８】
図１７は、本発明による映像符号化装置の主要部を示すブロック図である。図１７に示すように、本発明による映像符号化装置は、量子化インデックスを逆量子化して量子化代表値を得る逆量子化手段１１（一例として、逆量子化部１０５）と、逆量子化手段１１によって得られた量子化代表値を逆変換して再構築画像ブロックを得る逆周波数変換手段１２（一例として、逆周波数変換部１０６）と、再構築画像ブロックの境界を中心とする非対称な領域に擬似ランダム雑音を混入させる雑音混入手段１３（一例として、非対称歪み除去フィルタ部１０８）とを備えている。
【０１５９】
図１８は、本発明による映像復号装置の主要部を示すブロック図である。図１８に示すように、本発明による映像復号装置は、量子化インデックスを逆量子化して量子化代表値を得る逆量子化手段２１（一例として、逆量子化部２０２）と、逆量子化手段２１によって得られた量子化代表値を逆変換して再構築画像ブロックを得る逆周波数変換手段２２（一例として、逆周波数変換部２０３）と、再構築画像ブロックの境界を中心とする非対称な領域に擬似ランダム雑音を混入させる雑音混入手段２３（一例として、非対称歪み除去フィルタ部１０８）とを備えている。
【０１６０】
図１９は、本発明による映像符号化方法の主要ステップを示すフローチャートである。図１９に示すように、本発明による映像符号化方法では、量子化インデックスを逆量子化して量子化代表値を得て（ステップＳ１０１）、得られた量子化代表値を逆変換して再構築画像ブロックを得て（ステップＳ１０２）、再構築画像ブロックの境界を中心とする非対称な領域に擬似ランダム雑音を混入させる（ステップＳ１０３）。
【０１６１】
図２０は、本発明による映像復号方法の主要ステップを示すフローチャートである。図２０に示すように、本発明による映像復号方法では、量子化インデックスを逆量子化して量子化代表値を得て（ステップＳ２０１）、得られた量子化代表値を逆変換して再構築画像ブロックを得て（ステップＳ２０２）、再構築画像ブロックの境界を中心とする非対称な領域に擬似ランダム雑音を混入させる（ステップＳ２０３）。
【０１６２】
以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【０１６３】
この出願は、２０１０年９月１７日に出願された日本特許出願２０１０−２０８８９１を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【０１６４】
１１      逆量子化手段
１２      逆周波数変換手段
１３      雑音混入手段
２１      逆量子化手段
２２      逆周波数変換手段
２３      雑音混入手段
１００    スイッチ
１０１    ＭＢバッファ
１０２    周波数変換部
１０３    量子化部
１０４    エントロピー符号化部
１０５    逆量子化部
１０６    逆周波数変換部
１０７    ピクチャバッファ
１０８    非対称歪み除去フィルタ部
１０８ａ  歪み除去フィルタ部
１０８１  ブロック境界強度決定部
１０８２  エッジ判定部
１０８３  フィルタ部
１０８４  擬似ランダム雑音混入領域決定部
１０９    デコードピクチャバッファ
１１０    イントラ予測部
１１１    フレーム間予測部
１１２    符号化制御部
２００    スイッチ
２０１    エントロピー復号部
２０２    逆量子化部
２０３    逆周波数変換部
２０４    ピクチャバッファ
２０６    デコードピクチャバッファ
２０７    イントラ予測部
２０８    フレーム間予測部
２０９    復号制御部
１００１  プロセッサ
１００２  プログラムメモリ
１００３  記憶媒体
１００４  記憶媒体
【図１】
2012035746.tif 000005
【図２】
2012035746.tif 000006
【図３】
2012035746.tif 000007
【図４】
2012035746.tif 000008
【図５】
2012035746.tif 000009
【図６】
2012035746.tif 000010
【図７】
2012035746.tif 000011
【図８】
2012035746.tif 000012
【図９】
2012035746.tif 000013
【図１０】
2012035746.tif 000014
【図１１】
2012035746.tif 000015
【図１２】
2012035746.tif 000016
【図１３】
2012035746.tif 000017
【図１４】
2012035746.tif 000018
【図１５】
2012035746.tif 000019
【図１６】
2012035746.tif 000020
【図１７】
2012035746.tif 000021
【図１８】
2012035746.tif 000022
【図１９】
2012035746.tif 000023
【図２０】
2012035746.tif 000024
【図２１】
2012035746.tif 000025
【図２２】
2012035746.tif 000026
【図２３】
2012035746.tif 000027
【図２４】
2012035746.tif 000028
【図２５】
2012035746.tif 000029
【図２６】
2012035746.tif 000030
【図２７】
2012035746.tif 000031
【図２８】
2012035746.tif 000032
【図２９】
2012035746.tif 000033
【図３０】
2012035746.tif 000034
【図３１】
2012035746.tif 000035
【図３２】
2012035746.tif 000036
【国際調査報告】
2012035746.tif 000037
2012035746.tif 000038
2012035746.tif 000039
2012035746.tif 000040