(57)【要約】  画像符号化装置は、予測画像信号を生成するために入力画像信号の対象ブロックに対して参照画像信号を用いて予測処理を行う予測部と、予測画像信号の予測誤差を算出する算出部と、予測誤差信号に対して変換及び量子化を行う変換／量子化部と、量子化変換係数に対してエントロピー符号化を行う符号化部と、復号予測誤差信号を生成するために量子化変換係数に対して逆量子化及び逆変換を行う逆量子化／逆変換部と、して局部復号画像信号を生成するために予測画像信号と復号予測画像信号を加算する加算部と、予測処理の複雑度合いを示す予測複雑度を導出し、フィルタリング強度を予測複雑度が高いほど弱くなるように決定する決定部と、フィルタリング強度に従って局部復号画像信号に対してデブロッキングフィルタ処理を行うフィルタ部と、デブロッキングフィルタ処理後の局部復号画像信号を参照画像信号として用いるために記憶する記憶部を有する。
2009001793.tif 000002
【特許請求の範囲】
【請求項１】
予測ブロック単位の予測画像信号を生成するために、画像フレームを分割したブロック単位で、選択された予測モードに従って参照画像信号を用いて予測処理を行うことと、
量子化変換係数を生成するために、前記予測画像信号と入力画像信号との差分値を示す予測誤差信号に対して変換及び量子化を行うことと、
符号化データを生成するために、前記量子化変換係数に対してエントロピー符号化を行うことと、
復号予測誤差信号を生成するために、前記量子化変換係数に対して逆量子化及び逆変換を行うことと、
局部復号画像信号を生成するために、前記予測画像信号と前記復号予測誤差信号とを加算することと、
前記予測処理の複雑度合いを示す予測複雑度を導出することと、
前記局部復号画像信号に対するフィルタリング強度を前記予測複雑度が高いほど弱くなるように決定することと、
前記フィルタリング強度に従って前記局部復号画像信号に対してデブロッキングフィルタ処理を行うことと、
前記デブロッキングフィルタ処理後の局部復号画像信号を前記参照画像信号として用いるために記憶することと、を具備する画像符号化方法。
【請求項２】
予測ブロック単位の予測画像信号を生成するために、画像フレームを分割したブロック単位で、選択された予測モードに従って参照画像信号を用いて予測処理を行う予測部と、
量子化変換係数を生成するために、前記予測画像信号と入力画像信号との差分値を示す予測誤差信号に対して変換及び量子化を行う変換／量子化部と、
符号化データを生成するために、前記量子化変換係数に対してエントロピー符号化を行う符号化部と、
復号予測誤差信号を生成するために、前記量子化変換係数に対して逆量子化及び逆変換を行う逆量子化／逆変換部と、
局部復号画像信号を生成するために、前記予測画像信号と前記復号予測誤差信号とを加算する加算部と、
前記予測処理の複雑度合いを示す予測複雑度を導出する導出部と、
前記局部復号画像信号に対するフィルタリング強度を前記予測複雑度が高いほど弱くなるように決定する決定部と、
前記フィルタリング強度に従って前記局部復号画像信号に対してデブロッキングフィルタ処理を行うフィルタ部と、
前記デブロッキングフィルタ処理後の局部復号画像信号を前記参照画像信号として用いるために記憶する記憶部と、を具備する画像符号化装置。
【請求項３】
前記導出部は、前記予測処理の予測方法、前記予測処理の予測精度、及び前記予測ブロックのサイズ、の少なくとも一つに従って前記予測複雑度を導出する請求項２記載の画像符号化装置。
【請求項４】
前記導出部は、（ａ）前記予測方法に係る処理量が相対的に多い場合、（ｂ）前記予測精度が相対的に高い場合、及び（ｃ）前記予測ブロックのサイズが相対的に小さい場合に、それぞれ相対的に高い予測複雑度を導出し、（ｄ）前記処理量が相対的に少ない場合、（ｅ）前記予測精度が相対的に低い場合、及び（ｆ）前記予測ブロックのサイズが相対的に大きい場合に、それぞれ相対的に低い予測複雑度を導出する請求項３記載の画像符号化装置。
【請求項５】
前記導出部は、前記予測方法に係る処理量が相対的に多い場合に相対的に高い予測複雑度を導出し、前記処理量が相対的に少ない場合に相対的に低い予測複雑度を導出する請求項３記載の画像符号化装置。
【請求項６】
前記導出部は、前記予測精度が相対的に高い場合に相対的に高い予測複雑度を導出し、前記予測精度が相対的に低い場合に相対的に低い予測複雑度を導出する請求項３記載の画像符号化装置。
【請求項７】
前記導出部は、前記予測ブロックのサイズが相対的に小さい場合に相対的に高い予測複雑度を導出し、前記予測ブロックのサイズが相対的に大きい場合に相対的に低い予測複雑度を導出する請求項３記載の画像符号化装置。
【請求項８】
前記決定部は、前記予測ブロックと前記予測処理で用いる参照画素との距離が相対的に遠い予測画素に対しては、前記フィルタリング強度を前記距離が相対的に近い予測画素に対してよりも強くなるように決定する請求項２記載の画像符号化装置。
【請求項９】
前記決定部は、前記予測処理に利用可能な参照画素の数が相対的に多い予測方法に対しては、前記フィルタリング強度を前記予測に利用可能な参照画素の数が相対的に少ない予測方法に対してよりも強くなるように決定する請求項２記載の画像符号化装置。
【請求項１０】
前記予測方法は、（ａ）イントラ予測、及び（ｂ）イントラ予測とインター予測を組み合わせた複合予測を含む請求項３または４のいずれか１項記載の画像符号化装置。
【請求項１１】
前記予測方法は、（ａ）イントラ予測、及び（ｂ）イントラ予測とインター予測を組み合わせた複合予測を含み、前記決定部は、前記複合予測時は前記イントラ予測時よりも前記フィルタリング強度を弱くなるように決定する請求項３記載の画像符号化装置。
【請求項１２】
前記決定部は、複数のフィルタリング強度決定方法から選択される一つのフィルタリング強度決定方法に従って前記フィルタリング強度を決定する請求項３記載の画像符号化装置。
【請求項１３】
前記決定部は、前記入力画像信号の符号化シーケンス毎、符号化ピクチャ毎及び符号化スライス毎に、前記フィルタリング強度決定方法を変更するかどうかを示すフラグを前記符号化データに付加するように構成される請求項１２記載の画像符号化装置。
【請求項１４】
前記決定部は、輝度成分と色差成分毎若しくは各々の色成分毎に、異なるフィルタリング強度決定方法に従って前記フィルタリング強度を決定することが可能なように構成される請求項２記載の画像符号化装置。
【請求項１５】
予測モードを含む予測情報、及び量子化変換係数を生成するために、入力される符号化データに対してエントロピー復号化を行うことと、
予測ブロック単位の予測画像信号を生成するために、前記予測モードに従って参照画像信号を用いて予測処理を行うことと、
予測誤差信号を生成するために、前記量子化変換係数に対して逆量子化及び逆変換を行うことと、
復号画像信号を生成するために、前記予測画像信号と予測誤差信号とを加算することと、
前記予測処理の複雑度合いを示す予測複雑度を導出することと、
前記復号画像信号に対するフィルタリング強度を前記予測複雑度が高いほど弱くなるように決定することと、
前記フィルタリング強度に従って前記復号画像信号に対してデブロッキングフィルタ処理を行うことと、
前記デブロッキングフィルタ処理後の復号画像信号を前記参照画像信号として用いるために記憶することと、
前記デブロッキングフィルタ処理後の復号画像信号を出力画像信号として出力することと、を具備する画像復号化方法。
【請求項１６】
入力される符号化データに対してエントロピー復号化を行い、予測モードを含む予測情報、及び量子化変換係数を生成するために、入力される符号化データに対してエントロピー復号化を行う復号化部と、
予測ブロック単位の予測画像信号を生成するために、前記予測モードに従って参照画像信号を用いて予測処理を行う予測部と、
予測誤差信号を生成するために、前記量子化変換係数に対して逆量子化及び逆変換を行う逆量子化／逆変換部と、
復号画像信号を生成するために、前記予測画像信号と予測誤差信号とを加算する加算部と、
前記予測処理の複雑度合いを示す予測複雑度を導出する導出部と、
前記復号画像信号に対するフィルタリング強度を前記予測複雑度が高いほど弱くなるように決定する決定部と、
前記フィルタリング強度に従って前記復号画像信号に対してデブロッキングフィルタ処理を行うフィルタ部と、
前記デブロッキングフィルタ処理後の復号画像信号を前記参照画像信号として用いるために記憶する記憶部と、
前記デブロッキングフィルタ処理後の復号画像信号を出力画像信号として出力する出力部と、を具備する画像復号化装置。
【請求項１７】
前記導出部は、前記予測処理の予測方法、前記予測処理の予測精度及び前記予測ブロックのサイズの少なくとも一つに従って前記予測複雑度を導出する請求項１６記載の画像復号化装置。
【請求項１８】
前記導出部は、（ａ）前記予測方法に係る処理量が相対的に多い場合、（ｂ）前記予測精度が相対的に高い場合、及び（ｃ）前記予測ブロックのサイズが相対的に小さい場合に、それぞれ相対的に高い予測複雑度を導出し、（ｄ）前記処理量が相対的に少ない場合、（ｅ）前記予測精度が相対的に低い場合、及び（ｆ）前記予測ブロックのサイズが相対的に大きい場合に、それぞれ相対的に低い予測複雑度を導出する請求項１７記載の画像復号化装置。
【請求項１９】
前記導出部は、前記予測方法に係る処理量が相対的に多い場合に相対的に高い予測複雑度を導出し、前記処理量が相対的に少ない場合に相対的に低い予測複雑度を導出する請求項１７記載の画像復号化装置。
【請求項２０】
前記導出部は、前記予測精度が相対的に高い場合に相対的に高い予測複雑度を導出し、前記予測精度が相対的に低い場合に相対的に低い予測複雑度を導出する請求項１７記載の画像復号化装置。
【請求項２１】
前記導出部は、前記予測ブロックのサイズが相対的に小さい場合に相対的に高い予測複雑度を導出し、前記予測ブロックのサイズが相対的に大きい場合に相対的に低い予測複雑度を導出する請求項１７記載の画像復号化装置。
【請求項２２】
前記決定部は、前記予測ブロックと前記予測処理で用いる参照画素との距離が相対的に遠い予測画素に対しては、前記フィルタリング強度を前記距離が相対的に近い予測画素に対してよりも強くなるように決定する請求項１６記載の画像復号化装置。
【請求項２３】
前記決定部は、前記予測処理に利用可能な参照画素の数が相対的に多い予測方法に対しては、前記フィルタリング強度を前記予測に利用可能な参照画素の数が相対的に少ない予測方法に対してよりも強くなるように決定する請求項１６記載の画像復号化装置。
【請求項２４】
前記予測方法は、（ａ）イントラ予測、及び（ｂ）イントラ予測とインター予測を組み合わせた複合予測を含む請求項１７または１８のいずれか１項記載の画像復号化装置。
【請求項２５】
前記予測方法は、（ａ）イントラ予測、及び（ｂ）イントラ予測とインター予測を組み合わせた複合予測を含み、前記決定部は、前記複合予測時は前記イントラ予測時よりも前記フィルタリング強度を弱くなるように決定する１７または１８のいずれか１項記載の画像復号化装置。
【請求項２６】
前記決定部は、複数のフィルタリング強度決定方法から選択される一つのフィルタリング強度決定方法に従って前記フィルタリング強度を決定する請求項１６記載の画像復号化装置。
【請求項２７】
前記決定部は、前記入力画像信号の符号化シーケンス毎、符号化ピクチャ毎及び符号化スライス毎に、前記フィルタリング強度決定方法を変更するかどうかを示すフラグを前記符号化データに付加するように構成される請求項２６記載の画像復号化装置。
【請求項２８】
前記決定部は、輝度成分と色差成分毎若しくは各々の色成分毎に、異なるフィルタリング強度決定方法に従って前記フィルタリング強度を決定することが可能なように構成される請求項１６記載の画像復号化装置。
【請求項２９】
入力画像信号のブロック毎の予測画像信号を生成するために、参照画像信号を用いて予測処理を行うことと、
量子化変換係数を生成するために、前記予測画像信号と前記入力画像信号との差分を示す予測誤差信号に対して直交変換及び量子化を行うことと、
符号化データを生成するために、前記量子化変換係数に対してエントロピー符号化を行うことと、
復号予測誤差信号を生成するために、前記量子化変換係数に対して逆量子化及び逆直交変換を行うことと、
局部復号画像信号を生成するために、前記予測画像信号と前記復号予測誤差信号を加算することと、
前記局部復号画像信号に対して、前記予測処理の複雑度合いに応じた強度のデブロッキングフィルタ処理を行うことと、
前記デブロッキングフィルタ処理後の局部復号画像信号を前記参照画像信号として用いるために記憶することと、
を具備し、
前記予測処理の複雑度合いが高くなるほど、前記デブロッキングフィルタ処理の前記強度は弱くなる、ことを特徴とする画像符号化方法。
【請求項３０】
前記予測処理の複雑度合いを求めることと、
前記複雑度合いを求める手法を示す情報を、シーケンスのヘッダ情報、フレームのヘッダ情報、または、スライスのヘッダ情報として符号化することと、
をさらに具備する請求項２９の画像符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像または静止画のための画像符号化の方法及び装置に関する。
【背景技術】
【０００２】
近年、大幅に符号化効率を向上させた画像符号化方法がITU-TとISO/IECとの共同で、ITU-T Rec. H. 264及びISO/IEC 14496-10（以下、Ｈ．２６４という）として勧告されている。Ｈ．２６４では、予測処理、変換処理及びエントロピー符号化処理が矩形ブロック単位で行われる。このため、ブロック境界での歪みの差、いわゆるブロック歪みが発生する可能性がある。ブロック歪みを削減するために、デブロッキングフィルタと言われるブロック歪み低減フィルタがループ内処理として規定されており、ブロック歪み低減とともに符号化効率改善の有用なツールの一つとなっている（G. Bjontegaard, “Deblocking filter for 4x4 based coding”, ITU-T Q.15/SG16 VCEG document, Q15-J-27, May 2000.：文献１）。【０００３】
ブロック歪みは高圧縮で符号化が行われる場合に発生することが多いため、量子化パラメータの値に応じてフィルタの閾値を変更させることによって、ブロック歪みが顕在化する領域に応じて適応的にデブロッキングフィルタ処理が行われるように設計されている。【０００４】
一方、デブロッキングフィルタを採用する際、フィルタリング強度に応じて利用するフィルタのタップ長やフィルタ係数を制御する方法が提案されている（A. Joch，”Loop Filter Simplification and Improvement”， Joint Video Team of ISO/IEC MPEG & ITU-T VCEG, JVT-D037, July 2002.：文献２）。【０００５】
またブロック間の予測モード情報、動きベクトル情報、符号化フレームの参照情報などを利用して、フィルタリング強度を決定する方法が提案されている（特開２００４−９６７１９号公報：文献３）。
【発明の開示】
【０００６】
文献１の手法では、ブロック歪みを低減することを目的としており、局部復号画像のブロック境界の信号値に応じてフィルタ処理が行われる。従って、閾値の設定如何によって、原画である入力画像に存在するエッジに対してもデブロッキングフィルタ処理が行われる可能性があり、入力画像と復号画像との画質差が大きくなる場合がある。
【０００７】
一方、文献２や文献３の手法では、対象ブロックの符号化モードがイントラ予測の場合にフィルタリング強度を高く設定することを規定しているため、やはり画質差が大きくなる場合がある。
【０００８】
本発明の目的は、画像符号化及び画像復号化において局部復号画像や復号画像が過度にデブロッキングフィルタ処理されることによる符号化効率及び主観画質の低下を防ぐことである。
【０００９】
本発明の一観点によると、画像フレームを分割したブロック単位で入力される入力画像信号の対象ブロックに対して、選択された予測モードに従って参照画像信号を用いて予測処理を行い、予測ブロック単位の予測画像信号を生成することと、前記入力画像信号に対する前記予測画像信号の予測誤差信号を生成することと、前記予測誤差信号に対して変換及び量子化を行い、量子化変換係数を生成することと、前記量子化変換係数に対してエントロピー符号化を行い、符号化データを生成することと、前記量子化変換係数に対して逆量子化及び逆変換を行い、復号予測誤差信号を生成することと、前記予測画像信号と前記復号予測画像信号を加算して局部復号画像信号を生成することと、前記予測処理の複雑度合いを示す予測複雑度を導出することと、前記局部復号画像信号に対するフィルタリング強度を前記予測複雑度が高いほど弱くなるように決定することと、前記フィルタリング強度に従って前記局部復号画像信号に対してデブロッキングフィルタ処理を行うことと、前記デブロッキングフィルタ処理後の局部復号画像信号を前記参照画像信号として用いるために記憶することと、を具備する画像符号化方法を提供する。
【００１０】
本発明の他の観点によると、入力される符号化データに対してエントロピー復号化を行い、予測モードを含む予測情報、及び量子化変換係数を生成することと、前記予測モードに従って参照画像信号を用いて予測処理を行い、予測ブロック単位の予測画像信号を生成することと、前記量子化変換係数に対して逆量子化及び逆変換を行い、予測誤差信号を生成することと、前記予測画像信号と予測誤差信号とを加算して復号画像信号を生成することと、前記予測処理の複雑度合いを示す予測複雑度を導出することと、前記復号画像信号に対するフィルタリング強度を前記予測複雑度が高いほど弱くなるように決定することと、前記フィルタリング強度に従って前記復号画像信号に対してデブロッキングフィルタ処理を行うことと、前記デブロッキングフィルタ処理後の復号画像信号を前記参照画像信号として用いるために記憶することと、前記デブロッキングフィルタ処理後の復号画像信号を出力画像信号として出力することと、を具備する画像復号化方法を提供する。
【図面の簡単な説明】
【００１１】
【図１】第１及び第２の実施形態に従う画像符号化装置を示すブロック図。
【図２】符号化の処理の流れを示す図。
【図３】１６×１６画素ブロックを示す図。
【図４】符号化パラメータに含まれる情報を示す図。
【図５Ａ】４×４画素ブロックを示す図。
【図５Ｂ】８×８画素ブロックを示す図。
【図６】第１〜第４の実施形態に従う予測部を示すブロック図。
【図７】イントラ予測の予測方向を示す図。
【図８】イントラ予測の垂直予測（モード０）の予測方法を示す図。
【図９Ａ】対象ブロックに対して垂直方向に行うデブロッキングフィルタ処理の適用箇所を示す図。
【図９Ｂ】対象ブロックに対して水平方向に行うデブロッキングフィルタ処理の適用箇所を示す図。
【図１０】対象ブロック境界のデブロッキングフィルタ処理に用いる対象画素と隣接画素の配置を示す図。
【図１１】マクロブロックにおけるブロック境界のフィルタリング強度の割当を示す図。
【図１２】フィルタリング強度決定部を示すブロック図。
【図１３Ａ】予測モードと予測方法及び対応する予測方法に割り当てられた予測複雑度の関係を示す図。
【図１３Ｂ】予測モードと予測方法及び対応する予測方法に割り当てられた予測複雑度の関係を示す図。
【図１４Ａ】予測ブロックインデックスと予測ブロックサイズ及び対応する予測ブロックサイズに割り当てられた予測複雑度の関係をイントラ予測の場合について示す図。
【図１４Ｂ】予測ブロックインデックスと予測ブロックサイズ及び対応する予測ブロックサイズに割り当てられた予測複雑度の関係をインター予測の場合について示す図。
【図１５Ａ】ブロックの予測順序と予測の精度及び対応する予測の精度に割り当てられた予測複雑度を示す図。
【図１５Ｂ】ブロックの予測順序と予測の精度及び対応する予測の精度に割り当てられた予測複雑度を示す図。
【図１６】符号化データに含まれるスライスヘッダ情報を示す図。
【図１７】フィルタリング強度決定処理の流れを示すフローチャート。
【図１８】フィルタリング強度決定処理の流れを示すフローチャート。
【図１９】フィルタリング強度決定処理の流れを示すフローチャート。
【図２０】第２の実施形態におけるイントラ予測部を示す図。
【図２１Ａ】ラスタブロック予測のブロックの予測順序を示す図。
【図２１Ｂ】逆ラスタブロック予測のブロックの予測順序を示す図。
【図２２Ａ】逆ラスタブロック予測における８×８画素イントラ予測の予測方法を示す図。
【図２２Ｂ】逆ラスタブロック予測における４×４画素イントラ予測の予測方法を示す図。
【図２３Ａ】逆ラスタブロック予測における８×８画素イントラ予測の場合の符号化済みブロックと未符号化ブロックとの関係を示す図。
【図２３Ｂ】逆ラスタブロック予測における８×８画素イントラ予測の場合の符号化済みブロックと未符号化ブロックとの関係を示す図。
【図２３Ｃ】逆ラスタブロック予測における８×８画素イントラ予測の場合の符号化済みブロックと未符号化ブロックとの関係示す図。
【図２３Ｄ】逆ラスタブロック予測における８×８画素イントラ予測の場合の符号化済みブロックと未符号化ブロックとの関係示す図。
【図２４】外挿ブロックの垂直方向予測（モード０）について説明する図。
【図２５】イントラ予測の予測方向を示す図。
【図２６Ａ】逆ラスタブロック予測の逆方向垂直予測について説明する図。
【図２６Ｂ】逆ラスタブロック予測の逆方向垂直予測について説明する図。
【図２７】予測切替フラグと予測方法及び対応する予測方法に割り当てられた予測複雑度の関係を示す図。
【図２８Ａ】予測ブロックインデックスとブロックの予測方法及び対応するブロックの予測方法に割り当てられた予測複雑度の関係を示す図。
【図２８Ｂ】ブロックの予測方法と参照画素との距離及び対応する参照画素との距離に割り当てられた予測複雑度の関係を示す図。
【図２９Ａ】ラスタブロック予測時の場合の予測ブロックインデックスと利用可能参照画素数及び対応する利用可能参照画素数に割り当てられた予測複雑度の関係を示す図。
【図２９Ｂ】逆ラスタブロック予測時の場合のブロックの予測方法と参照画素との距離及び対応する参照画素との距離に割り当てられた予測複雑度の関係を示す図。
【図３０】フィルタリング強度決定処理の流れを示すフローチャート。
【図３１】フィルタリング強度決定処理の流れを示すフローチャート。
【図３２】第３及び第４の実施形態に従う画像復号化装置を示すブロック図。
【発明を実施するための最良の形態】
【００１２】
以下、図面を参照して本発明の実施形態を説明する。  
＜画像符号化装置＞  
（第１の実施形態）  
図１を参照すると、本発明の第１の実施形態に従う画像符号化装置では、フレームまたはフィールド単位の動画像または静止画像の入力画像信号１２０が小画素ブロック単位、例えばマクロブロック（ＭＢ）単位に分割され、符号化ユニット１００に入力される。ここでは、マクロブロックが符号化処理の基本的な処理ブロックサイズとされている。以下、入力画像信号１２０の符号化対象マクロブロックを単に対象ブロックという。【００１３】
符号化ユニット１００では、ブロックサイズや予測画像信号の生成方法の異なる複数の予測モードが用意されている。予測画像信号の生成方法は、具体的には大きく分けて符号化対象のフレーム内だけで予測を行うフレーム内予測と、時間的に異なる複数の参照フレームを用いて予測を行うフレーム間予測がある。本実施形態では、説明を簡単にするために図２に示されているように左上から右下に向かって符号化処理がなされていくものとする。【００１４】
マクロブロックは、典型的に例えば図３に示すような１６×１６画素ブロックであるが、３２×３２画素ブロック単位であっても８×８画素ブロック単位であってもよく、またマクロブロックの形状は正方格子である必要は必ずしもない。【００１５】
符号化ユニット１００は、入力画像信号１２０の対象ブロック毎に圧縮符号化を行って符号列を出力する装置であり、予測部１０１、モード判定／予測誤差算出部１０２、変換／量子化部１０３、逆量子化／逆変換部１０４、エントロピー符号化器１０５、加算器１０６、フィルタリング強度切替スイッチ１０７、デブロッキングフィルタ部１０８、参照メモリ１０９及びフィルタリング強度決定部１１０を備えている。符号化ユニット１００の外部に、符号化制御部１１１及び出力バッファ１１２が設けられている。図１の画像符号化装置は、ＬＳＩチップなどのハードウェアにより実現されるか、あるいはコンピュータにおいて画像符号化プログラムの実行によって実現される。【００１６】
入力画像信号１２０は、モード判定／予測誤差算出部１０２へ入力される。モード判定／予測誤差算出部１０２には、後述する予測部１０１によって生成される、上述したイントラ予測、インター予測など各々の予測モードによって生成される予測画像信号１２１がさらに入力される。モード判定／予測誤差算出部１０２は、詳細については後述するモード判定を行うとともに、入力画像信号１２０から予測画像信号１２１を減算して予測誤差信号１２２を算出する機能を有する。モード判定／予測誤差算出部１０２から出力された予測誤差信号１２２は、変換／量子化部１０３へ入力される。【００１７】
変換／量子化部１０３では、予測誤差信号１２２に対して例えば離散コサイン変換（ＤＣＴ）のような直交変換が施されることにより、変換係数が生成される。さらに、変換／量子化部１０３では符号化制御部１１１によって与えられる量子化パラメータ及び量子化マトリクスを含む量子化情報に従って変換係数が量子化され、量子化後の変換係数（量子化変換係数）１２３が出力される。ここで、変換／量子化部１０３における変換法としてＨ．２６４で用いられているような離散コサイン変換について説明したが、離散サイン変換、ウェーブレット変換、または独立成分解析などの手法を用いてもよい。【００１８】
変換／量子化部１０３から出力される量子化変換係数１２３は、逆量子化／逆変換部１０４及びエントロピー符号化器１０５に入力される。エントロピー符号化器１０５では、量子化変換係数１１８及び符号化制御部１１１から出力される予測情報１２４などを含む、対象ブロックを符号化したときに用いた様々な符号化パラメータに対してエントロピー符号化、例えばハフマン符号化や算術符号化などが行われ、符号化データが生成される。ここで、符号化パラメータとは予測情報１２４はもとより、変換係数に関する情報、量子化に関する情報などの復号の際に必要になるあらゆるパラメータを指す。【００１９】
エントロピー符号化器１０５により生成された符号化データは符号化ユニット１００から出力され、多重化を経て出力バッファ１１２に一旦蓄積された後、符号化制御部１１１が管理する出力タイミングに従って画像符号化装置外へ符号化データ１２５として出力される。符号化データ１２５は、図示しない蓄積系（蓄積メディア）または伝送系（通信回線）へ送出される。【００２０】
図４は、符号化パラメータの例として、マクロブロックレベルで規定されているシンタクス要素を示している。各要素は次の通りである。mb_typeは、マクロブロックタイプ情報、すなわち現在のマクロブロックがイントラ符号化、インター符号化のいずれにより符号化されているかなどの情報を含んでいる。coded_block_patternは、８×８画素ブロック毎に変換係数が存在するかどうかを示している。例えば、coded_block_patternの値が０であれば、対象ブロックに変換係数が存在しないことを意味している。mb_qp_deltaは、量子化パラメータに関する情報を示し、対象ブロックの１つ前に符号化されたブロックの量子化パラメータからの差分値を表している。intra_pred_modeは、イントラ予測の予測方法を示す予測モードを示している。ref_idx_l0及びref_idx_l1は、インター予測が選択されているときに、対象ブロックがどの参照画像を用いて予測されたかを表す参照画像のインデックスを示している。mv_l0及びmv_l1は、動きベクトル情報を示している。transform_8x8_flagは、対象ブロックが８×８画素ブロックであるかどうかを示す変換情報を表している。prediction_order_typeは、対象ブロックの予測順序のタイプを示す。例えばprediction_order_typeが０であれば、対象ブロックをラスタスキャン順に処理することを示し、prediction_order_typeが１であれば逆ラスタスキャン順に処理することを示している。【００２１】
図４中の行間には、本実施形態で特に規定していないシンタクス要素が挿入されることも可能であるし、それ以外の条件分岐に関する記述が含まれていてもよい。シンタクステーブルを複数のテーブルに分割し、統合することも可能である。また、必ずしも図４中で示した表記と同一の表記を用いる必要は無く、利用する形態によって任意に変更してもよい。【００２２】
一方、変換／量子化部１０３から出力された量子化変換係数１２３は、逆量子化／逆変換部１０４へ入力される。逆量子化／逆変換部１０４では、量子化変換係数１２３に対してまず逆量子化処理が行われる。ここでは、変換／量子化部１０３で使用されたのと同様の量子化パラメータ、量子化マトリクス等に代表される量子化情報が符号化制御部１１１からロードされて逆量子化処理される。【００２３】
逆量子化後の変換係数は、逆離散コサイン変換（ＩＤＣＴ）のような逆直交変換が施されることによって、復号予測誤差信号１２６が再生される。復号予測誤差信号１２６は、加算器１０６に入力される。加算器１０６では、復号予測誤差信号１２６と予測部１０１から出力された予測画像信号１２１とが加算されることにより、局部復号画像信号１２７が生成される。【００２４】
局部復号画像信号１２７は、フィルタリング強度切替スイッチ１０７を経てデブロッキングフィルタ部１０８に入力され、フィルタ部１０８が有する複数の画素フィルタＡ〜Ｄのいずれかによりデブロッキングフィルタ処理された後、参照メモリ１０９に参照画像信号１３１として蓄積される。デブロッキングフィルタ部１０８には、さらにフィルタ処理を行わないデブロッキングスキップラインＥが設けられている。【００２５】
参照メモリ１０９に蓄積された参照画像信号１３１は、予測部１０１による予測の際に参照される。参照メモリ１０９には、予測の際に利用される参照画像信号１３１（デブロッキングフィルタ処理後の局部復号画像信号）だけでなく、エントロピー符号化器１０５において符号化の際に利用された符号化パラメータ１２８も蓄積されている。【００２６】
入力画像信号１２０の対象ブロックの符号化が完了した際、エントロピー符号化器１０５から出力された、対象ブロックに対応する符号化パラメータ１２８がフィルタリング強度決定部１１０を介して参照メモリ１０９へ入力され、デブロッキングフィルタ処理後の復号画像信号である参照画像信号１３１とともに参照メモリ１０９に蓄積される。符号化パラメータ１２８は、局部復号画像信号１２７のうち入力画像信号１２０の次に符号化すべき対象ブロックに対応する対応ブロックに対するフィルタリング強度算出時に利用される。【００２７】
（予測部１０１）  
予測部１０１では、参照メモリ１０９から読み出される参照画像信号１３２の画素（符号化済み参照画素）を利用して、インター予測またはイントラ予測が行われ、対象ブロックに対して選択可能な予測画像信号１２１が生成される。ただし、Ｈ．２６４におけるイントラ予測、例えば図５Ａに示される４×４画素イントラ予測、または図５Ｂに示される８×８画素イントラ予測のように、対象ブロック内で局部復号画像信号を作成しないと次の予測ができないような予測モードに関しては、予測部１０１の内部で変換／量子化及び逆量子化／逆変換を行ってもよい。【００２８】
図６に示されるように、予測部１０１は予測切替スイッチ２０１、イントラ予測部２０２及びインター予測部２０３を有する。予測部１０１に参照メモリ１０９からの読み出される参照画像信号１３２とともに、符号化制御部１１１から予測情報１２４が入力されると、予測切替スイッチ２０１は予測情報１２４に対応してイントラ予測部２０２及びインター予測部２０３を切り替える。具体的には、現在符号化しているスライスがイントラ符号化スライスである場合、予測切替スイッチ２０１は参照画像信号１３２をイントラ予測部２０２に導く。一方、現在符号化しているスライスがインター符号化スライスである場合、予測切替スイッチ２０１は参照画像信号１３２をイントラ予測部２０２及びインター予測部２０３のどちらに入力するかを予測情報１２４によって切り替える。イントラ予測部２０２及びインター予測部２０３は、それぞれ後述するイントラ予測及びインター予測を行い、予測画像信号１２１を出力する。【００２９】
（イントラ予測部２０２）  
イントラ予測部２０２の具体例として、Ｈ．２６４のイントラ予測について説明する。Ｈ．２６４のイントラ予測では、４×４画素イントラ予測（図５Ａ参照）、８×８画素イントラ予測（図５Ｂ参照）、及び１６×１６画素イントラ予測（図３参照）が規定されている。イントラ予測では、参照メモリ１０９からの参照画像信号１３２を用いて補間画素を作成し、空間方向にコピーすることによって予測画像信号１２１の画素（予測画素）の画素値を生成する。【００３０】
図７は、４×４画素イントラ予測の各予測モードにおける予測方向を示している。さらに、図８は予測モード０である垂直予測の場合の予測方法を示す。図８中の符号Ａ〜Ｍは、参照メモリ１０９からロードされた参照画像信号１３２の画素（参照画素）である。予測モード０では、参照画素Ａ、Ｂ、Ｃ及びＤの位置の画素値を垂直方向に単純コピーすることによって予測画素の画素値ａ〜ｐを生成する。予測画素の画素値ａ〜ｐは、それぞれ次式によって生成される。
【数１】
2009001793.tif 000003
【００３１】
予測モード０以外の予測モード１〜８の場合の予測方法においても、同様の概念に従って予測画素の画素値を生成する。【００３２】
（インター予測部３０３）  
次に、インター予測部３０３について説明する。インター予測部３０３では、対象ブロックを予測する際、参照メモリ１０９に蓄積されている参照画像信号に含まれる複数の符号化済みの参照画素を用いてブロックマッチングが行われる。ブロックマッチングでは、予測部１０１において原画像である入力画像信号１２０の対象ブロックの画素と複数の参照画素との間のずれ量（動きベクトル）が計算され、このずれ量を利用して予測された画像のうち原画像との差の最も小さい画像が予測画像信号１２１として出力される。前述のずれ量は整数画素精度や分数画素精度で計算される。ずれ量が分数画素精度で計算される場合、対応する参照画素も精度に応じて補間画像を作成する。算出されたずれ量は、動きベクトル情報として予測情報１２４に加えられると共に、エントロピー符号化器１０５へ渡され、エントロピー符号化された後、符号化データに多重化される。【００３３】
（モード判定/予測誤差算出部１０２）  
予測部１０１によって生成された予測画像信号１２１は、モード判定／予測誤差算出部１０２へ入力される。モード判定／予測誤差算出部１０２では、入力画像信号１２０と予測画像信号１２１及び予測部１０１で用いた予測情報１２４に基づいて、最適な予測モードの選択（これをモード判定という）を行う。モード判定／予測誤差算出部１０２では、次に選択された最適な予測モードに対応する予測誤差信号１２２を生成する。予測誤差信号１２２は、入力画像信号１２０から予測画像信号１２１を減算することによって生成される。【００３４】
より具体的に説明すると、モード判定／予測誤差算出部１０２は次式のようなコストを用いたモード判定を行う。予測情報１２４に関する符号量をＯＨ、入力画像信号１２０と予測画像信号１２１との間の差分絶対和（予測誤差信号１２２の絶対累積和を意味する）をＳＡＤとすると、以下のモード判定式を用いる。
【数２】
2009001793.tif 000004
【００３５】
ここでＫはコスト、λは量子化スケールや量子化パラメータの値に基づいて決められるラグランジュ未定乗数である。【００３６】
このようにして得られたコストＫを基に、モード判定が行われる。すなわち、コストＫが最も小さい値を与えるモードが最適な予測モードとして選択される。【００３７】
モード判定／予測誤差算出部１０２においては、式（２）に代えて（ａ）予測情報１２４のみ、または（ｂ）ＳＡＤのみを用いてモード判定を行ってもよいし、（ｃ）予測情報１２４またはＳＡＤにアダマール変換を施した値もしくはそれに近似した値を利用してもよい。さらに、モード判定／予測誤差算出部１０２において入力画像信号１２０のアクテビティ（信号値の分散）を用いてコストを作成してもよいし、量子化スケールまたは量子化パラメータを利用してコスト関数を作成してもよい。【００３８】
さらに別の例として、仮符号化ユニットを用意し、仮符号化ユニットによりある予測モードで生成された予測誤差信号１２２を実際に符号化した場合の符号量と、入力画像信号１２０と局部復号画像信号１２７との間の二乗誤差、または入力画像信号１２０とデブロッキングフィルタ処理後の局部復号画像信号１３１との間の二乗誤差を用いてモード判定を行ってもよい。この場合のモード判定式は、以下のようになる。
【数３】
2009001793.tif 000005
【００３９】
ここで、Ｊは符号化コスト、Ｄは入力画像信号１２０と局部復号画像１２０との間の二乗誤差、または入力画像信号１２０とデブロッキングフィルタ処理後の局部復号画像信号１３１との間の二乗誤差を表す符号化歪みである。一方、Ｒは仮符号化によって見積もられた符号量を表している。【００４０】
式（３）の符号化コストＪを用いると、予測モード毎に仮符号化と局部復号処理が必要となるため、回路規模または演算量は増大する。反面、より正確な符号量と符号化歪みを用いるため、高い符号化効率を維持することができる。式（３）に代えてＲのみ、またはＤのみを用いてコストを算出してもよいし、ＲまたはＤを近似した値を用いてコスト関数を作成してもよい。【００４１】
（デブロッキングフィルタ部１０８）  
次に、デブロッキングフィルタ部１０８について説明する。デブロッキングフィルタ処理とは、対象ブロックと隣接ブロックとの境界に発生する高周波ノイズであるブロック歪みを除去するためのフィルタ処理である。加算器１０６から出力される局部復号画像信号１２７は、フィルタリング強度切替スイッチ１０７へ入力される。フィルタリング強度切替スイッチ１０７は、フィルタリング強度決定部１１０から出力されるフィルタリング強度情報１３０に従ってデブロッキングフィルタ部１０８のフィルタリング強度を切り替えるために、加算器１０６からの局部復号画像信号１２７を画素フィルタＡ〜ＤのいずれかまたはデブロッキングスキップラインＥのいずれかに導く。【００４２】
フィルタリング強度情報１３０は、ＢＳ値と呼ばれる。ＢＳ値が４の場合は局部復号画像信号１２７を画素フィルタＡに、ＢＳ値が３の場合は局部復号画像信号１２７を画素フィルタＢに、ＢＳ値が２の場合は局部復号画像信号１２７を画素フィルタＣに、ＢＳ値が１の場合は局部復号画像信号１２７を画素フィルタＤに、それぞれ導いてデブロッキングフィルタ処理を行い、そしてＢＳ値が０の場合は局部復号画像信号１２７をデブロッキングスキップラインＥに導いてデブロッキングフィルタ処理を行わないようにする。【００４３】
デブロッキングフィルタ処理は、局部復号画像信号１２７のブロック境界に適用される。図９Ａ及び図９Ｂは、それぞれブロック境界に垂直方向にフィルタ処理が行われる例を示している。実線は８×８ブロック境界と４×４ブロック境界共にフィルタ処理が行われる場合を示し、破線は４×４ブロック境界にフィルタ処理が行われる場合を示している。本実施形態では、最初に図９Ａのように垂直方向にフィルタ処理を施し、続いて図９Ｂのように水平方向にフィルタ処理を施す例を示すが、逆に最初に水平方向にフィルタ処理を施し、続いて垂直方向にフィルタ処理を施しても一向に構わない。【００４４】
図１０は、デブロッキングフィルタ処理が実施される場合の、利用される画素配置の例を示している。図中のｐで示されるインデックスは、対象ブロックの画素（対象画素）を示し、ｑで示されるインデックスは対象ブロックに隣接するブロックの画素（隣接画素）を示している。つまり、ｐ０とｑ０の間にブロック境界が存在することを意味している。デブロッキングフィルタ処理は、図１０中に示される８つの画素に対して行われるが、フィルタのタップ長などの制限により、利用されない画素があってもよく、また両側に拡張してさらに多くの画素を用いたフィルタ処理を行ってもよい。【００４５】
（フィルタリング強度決定部１１０）  
図１１は、図９Ａ及び図９Ｂで説明したブロック境界に割り当てられるフィルタリング強度の例を示している。図１１では、ＢＳ＝４に対応するフィルタリング強度が画面上及び左のブロック境界（太線で示す）に与えられ、それ以外のブロック境界（細線で示す）にはＢＳ＝３が与えられている。このように各々のブロック境界毎にフィルタリング強度（ＢＳ値）が設定されており、設定されたＢＳ値に対応する画素フィルタによって、デブロッキングフィルタ処理が行われる。【００４６】
次に、画素フィルタＡ〜Ｄについて説明する。画素フィルタＡ〜Ｄは、それぞれフィルタリング強度が異なるように、例えばフィルタのタイプ、タップ長及びフィルタ係数などが異なっている。本実施形態では、フィルタＡのフィルタリング強度が最も強く、以下フィルタＢ、フィルタＣ、フィルタＤと順にフィルタリング強度が弱くなるよう設定されている。従って、フィルタリング強度決定部１１０から与えられるフィルタリング強度情報１３０に従って画素フィルタＡ〜Ｄのいずれかを選択することにより、対象ブロックに適応するフィルタリング強度を選択的に変更することが可能である。ただし、画素フィルタＡ〜Ｄは、フィルタリング強度の違いに伴い演算処理量も異なっている。【００４７】
（フィルタリング強度決定部１１０の具体例１：イントラ符号化時）  
次に、フィルタリング強度決定部１１０について詳細に説明する。フィルタリング強度決定部１１０は、対象ブロックを符号化した際の対象ブロックの符号化パラメータ１２８と参照メモリ１０９に蓄積されている対象ブロックに隣接する隣接ブロックの符号化パラメータ１２９を入力として受け取り、これらの符号化パラメータ１２８及び１２９を基にして、デブロッキングフィルタ処理のフィルタリング強度を決定する機能を有している。【００４８】
図１２は、本実施形態におけるフィルタリング強度決定部１１０の具体例であり、対象ブロック符号化パラメータ抽出部３０１、隣接ブロック符号化パラメータ抽出部３０２、予測複雑度導出部３０３及びフィルタリング強度情報算出部３０４を有する。【００４９】
対象ブロック符号化パラメータ抽出部３０１及び隣接ブロック符号化パラメータ抽出部３０２は、それぞれ入力されてきた対象ブロックの符号化パラメータ１２８及び隣接ブロックの符号化パラメータ１２９から、対象ブロックの予測情報３１１及び隣接ブロックの予測情報３１２として必要な情報、例えば予測方法を示す予測モード、予測ブロックサイズを示す予測ブロックインデックス、及びブロックの予測順序の情報を抽出する。【００５０】
対象ブロック符号化パラメータ抽出部３０１及び隣接ブロック符号化パラメータ抽出部３０２により抽出された予測情報３１１及び３１２は、予測複雑度導出部３０３へ入力される。尚、対象ブロックと隣接ブロックで必要となる予測情報が同じ場合は、２つの符号化パラメータ抽出部３０１及び３０２を設ける必要は必ずしもなく、いずれか一つを共有してもよい。また、対象ブロック符号化パラメータ抽出部３０１及び隣接ブロック符号化パラメータ抽出部３０２が抽出する情報は予測モード、予測ブロックインデックス及びブロックの予測順序の３つについて必ずしも必要ではなく、少なくとも一つの情報を抽出してもよいし、予測複雑度に影響を与える別のパラメータを抽出してもよい。さらに、対象ブロック符号化パラメータ抽出部３０１及び隣接ブロック符号化パラメータ抽出部３０２が抽出する情報を符号化スライス毎に変更してもよい。【００５１】
対象ブロック符号化パラメータ抽出部２０１から出力された対象ブロックの予測情報２０５、及び隣接ブロック符号化パラメータ抽出部２０２から出力された隣接ブロックの予測情報２０６は、予測複雑度導出部２０３へ入力される。予測複雑度導出部２０３では、入力される予測情報２０５及び２０６に従って予測処理の複雑度合いを示す予測複雑度を導出するためのテーブルを保持している。【００５２】
図１３Ａには、予測モードに規定された予測方法から予測複雑度を導出するテーブルの一例が示されている。ここで、予測モードは図７に示されたＨ．２６４のイントラ予測に対応している。図１３Ａの例では、画素の単純コピーで予測値生成が可能な、予測モード０（垂直予測）、予測モード１（水平予測）、及び参照画素の平均値で予測値を生成する予測モード２（ＤＣ予測）に対して予測複雑度１が与えられている。前述したように、予測複雑度は予測処理の複雑度合いを表しており、より具体的には例えば予測に係る処理ステップ数（処理量）に対応している。予測モード０〜１は、いずれも処理ステップ数が１であるため、予測複雑度を１としている。また、予測モード２はブロック内の予測値が全て同じ値となるため、予測複雑度１としている。一方、他の予測モード３〜８では、(i)参照画素を用いて補間画素値を生成し、(ii)この後に図７に対応する予測方向に値をコピーする、という２ステップの処理で予測を行うため、予測モード３〜８に対して予測複雑度２が与えられている。【００５３】
図１３Ｂは、予測モードに規定された予測方法から予測複雑度を導出するテーブルの他の一例である。図１３Ｂの例では、予測モードに対応して単方向イントラ予測、単方向インター予測及び双方向インター予測が定義されている。単方向イントラ予測とは、前述したＨ．２６４のイントラ予測を指す。単方向インター予測は、前述したブロックマッチングを行うインター予測を指す。単方向イントラ予測及び単方向インター予測に対しては、予測複雑度１が設定される。【００５４】
一方、双方向インター予測は単方向インター予測を２つ組み合わせて予測値を生成するインター予測（例えばＨ．２６４におけるＢ−スライスの双方向インター予測）を指す。双方向インター予測は単方向インター予測に比べて、２種類の単方向予測を行う必要があり、またそれぞれの予測値を合成する処理が必要となるため、単方向イントラ予測及び単方向インター予測に比較して予測処理の複雑度合いが高い。よって、双方向予測に対しては予測複雑度２が設定されている。【００５５】
なお、図１３Ａ及び図１３Ｂ中の「予測方法」はこれと予測モードとの関係を分かりやすくするために示しており、実際のテーブルでは予測モードと予測複雑度のみが記述され、これらが対応付けられている。【００５６】
図１４Ａには、予測ブロックインデックスに規定された予測ブロックのサイズから予測複雑度を導出するテーブルが示されている。ここでは、例としてＨ．２６４に規定されているイントラ予測の予測ブロックサイズである１６×１６予測、８×８予測、４×４予測の予測複雑度が設定される。一般に、予測サイズの小型化に伴い対象ブロック全体の予測複雑度は増加するため、図１４Ａでは１６×１６予測に対して予測複雑度１、８×８予測に対して予測複雑度２、４×４予測に対して予測複雑度３というように、大きな予測ブロックサイズほど予測複雑度は小さく設定される。【００５７】
図１４Ｂは、予測ブロックインデックスに規定された予測ブロックのサイズから予測複雑度を導出するテーブルの他の例である。ここでは、例としてＨ．２６４のインター予測に規定されている予測ブロックサイズである１６×１６予測、１６×８予測、８×１６予測、８×８予測、８×４予測、４×８予測及び４×４予測に対して予測複雑度が設定されている。【００５８】
なお、図１４Ａ及び図１４Ｂ中の「予測ブロックインデックス」はこれと予測ブロックサイズとの関係を分かりやすくするために示しており、実際のテーブルでは予測ブロックインデックスと予測複雑度のみが記述され、これらが対応付けられている。【００５９】
図１５Ａ及び図１５Ｂには、ブロックの予測順に規定された予測の精度から予測複雑度を導出するテーブルが示されている。ブロックの予測順とは、図５Ｂに示されるブロックのインデックスの並びを示している。例えば、予測順が０→１→２→３は８×８画素ブロックをラスタ順に予測することを意味する。一方、３→２→１→０は８×８画素ブロックを逆ラスタ順に予測することを意味する。【００６０】
図１５Ａは、ブロックの予測順がラスタ順（０→１→２→３）の場合の予測複雑度のテーブルを示している。図５Ｂから明らかなように、インデックス０〜３の８×８画素ブロックはいずれも隣接する２つの予測済み（符号化済み）ブロック（上隣接ブロック及び左隣接ブロック）を用いた外挿により予測されるため、中程度の予測精度、すなわち同じ予測複雑度２が設定される。【００６１】
一方、図１５Ｂはブロックの予測順が逆ラスタ順（３→２→１→０）の場合の予測複雑度のテーブルを示している。逆ラスタ順の場合、図５Ｂから明らかなようにインデックス３のブロックは隣接していない参照画素（インデックス１のブロックの上隣接する参照画素とインデックス２の左隣接する参照画素）から、外挿により予測されることから、予測の精度が最も低いため、最も低い予測複雑度１が設定されている。インデックス２のブロックは予測済みの隣接する２つブロック（左隣接ブロック及び右隣接ブロック＝インデックス３のブロック）を用いた内挿により予測され、インデックス１のブロックも予測済みの隣接する２つブロック（上隣接するブロック及び下隣接するブロック＝インデックス３のブロック）を用いた内挿により予測されることから、インデックス３のブロックより予測の精度が高いため、より高い予測複雑度２が設定される。インデックス０のブロックは、周囲４ブロック（左隣接ブロック、上隣接ブロック、下隣接ブロック＝インデックス２のブロック、及び右隣接ブロック＝インデックス１のブロック）を用いた内挿により予測されることから、予測の精度が最も高いため、最も高い予測複雑度３が設定される。【００６２】
なお、図１５Ａ及び図１５Ｂ中の「予測の精度」はこれとブロックの予測順序との関係を分かりやすくするために示しており、実際のテーブルではブロックの予測順序と予測複雑度のみが記述され、これらが対応付けられている。【００６３】
このようにして予測複雑度導出部３０３によって導出された対象ブロックの予測複雑度及び隣接ブロックの予測複雑度を表す予測複雑度情報３１３及び３１４は、フィルタリング強度情報算出部３０４へ入力される。フィルタリング強度情報算出部３０４では、入力された予測複雑度情報３１３及び３１４を基に、対象ブロックのブロック境界に対応する全てのフィルタリング強度情報１３０を算出する。【００６４】
フィルタリング強度情報算出部３０４における具体的な算出方法について説明する。まず、入力された予測複雑度情報３１３及び３１４の中から、最も予測複雑度が低い値を次式で算出する。
【数４】
2009001793.tif 000006
【００６５】
ここで、予測モードに対応する予測複雑度をComp_A、予測ブロックサイズに対応する予測複雑度をComp_B、予測順に対応する予測複雑度をComp_Cとする。Comp_Xは、対象ブロックの予測複雑度Comp_T若しくは隣接ブロックの予測複雑度Comp_Nを表す。min(A, B, C)は、変数A, B ,Cの中で最も小さい値を与える変数を返す関数である。【００６６】
次に、次式を用いてブロック境界の予測複雑度を算出する。
【数５】
2009001793.tif 000007
【００６７】
ここで、Compは最終的に当該ブロック境界に割り当てられた予測複雑度を表す。【００６８】
このようにして最終的に得られた当該ブロック境界の予測複雑度に対して、次式を用いてフィルタリング強度であるＢＳ値を算出する。
【数６】
2009001793.tif 000008
【００６９】
ここで、MAX_BSはフィルタリング強度の最大値を表しており、本実施形態ではMAX_BS=4である。【００７０】
式（４）（５）及び（６）で示される演算はフィルタ処理を行う全てのブロック境界において行われ、これによりフィルタリング強度情報１３０が算出される。式（４）及び（５）におけるmin(A, B, C)を変数A, B, Cの最大値を返す関数max(A, B, C)に変更してもよいし、メディアン値をとってもよい。ここでの選択基準は、後述する画像復号化装置と同じ枠組みで採用される。【００７１】
上述の説明では図１３Ａ、図１３Ｂ、図１４Ａ、図１４Ｂ、図１５Ａ及び図１５Ｂで説明したように、（ａ）予測方法を示す予測モード、（ｂ）予測ブロックサイズを示す予測ブロックインデックス、及び（ｃ）予測の精度を示すブロックの予測順などから予測複雑度を導出する例を示した。しかし、予測複雑度の導出に必ずしもこれら３つの全てを利用する必要はなく、（ａ）（ｂ）及び（ｃ）のいずれか一つのみを用いて予測複雑度を導出してもよいし、（ａ）（ｂ）及び（ｃ）の少なくとも二つを組み合わせて一つのテーブルを作成してもよい。この場合、式（４）中に示されるComp_N (NはA, B, Cのいずれかを表す）は、例えばMAX_BSで初期化しておく必要がある。【００７２】
図１６は、予測複雑度を導出する方法を符号化シーケンス毎、符号化ピクチャ毎及び符号化スライス毎に変更する例を示している。図１６では、デブロッキングフィルタ処理におけるフィルタリング強度の決定方法を変更することが出来るフラグとしてのインデックスdeblocking_filter_type_idcがスライスヘッダで送信される例が示されている。このインデックスdeblocking_filter_type_idcは、例えば図１３Ａ、図１３Ｂ、図１４Ａ、図１４Ｂ、図１５Ａ及び図１５Ｂで説明したように、（ａ）予測方法を示す予測モード、（ｂ）予測ブロックサイズを示す予測ブロックインデックス、及び（ｃ）予測の精度を示すブロックの予測順序のどれを利用して予測複雑度を算出するかをスライス毎に変更することができる。例えば、予め予測方法を示す予測モードの導出テーブルである図１３Ａまたは図１３Ｂのみを用いて予測複雑度を決定するタイプをdeblocking_filter_type_idc＝０として割り当て、予測の精度を示すブロックの予測順序を示す図１５Ａまたは図１５Ｂを利用して予測複雑度を決定するタイプをdeblocking_filter_type_idc＝１として割り当てる。このような割り当てをスライス毎に変えることで、スライス毎の特性に合わせてフィルタリング強度の決定方法を変更することが可能となる。【００７３】
（フィルタリング強度決定部１１０の具体例１：イントラ符号化時）  
次に、図１７を参照してフィルタリング強度決定部１１０の処理について説明する。フィルタリング強度決定部１１０は、ブロック境界で実施されるデブロッキングフィルタ処理のために必要となる垂直及び水平方向の両方のブロック境界のフィルタリング強度を決定する(ステップＳ６０１)。フィルタリング強度の決定は、デブロッキングフィルタ処理が施される図９Ａまたは図９Ｂのブロック境界に位置する全てのブロック境界で行われる。但し、該当するブロック境界が画像の境界である場合は、デブロッキングフィルタ処理を行う必要はない。【００７４】
まず、対象ブロック境界の対象画素ｐ及び隣接画素ｑがイントラマクロブロックに含まれる画素であるかどうか、すなわちイントラ符号化されているかどうかの判定が行われる（ステップＳ６０２）。ここで、ステップＳ６０２の判定結果がＮｏの場合、対象ブロック境界は共にインター符号化されているため、フィルタリング強度（ＢＳ値）判定処理インターマクロブロックへジャンプする(ステップＳ６０４)。ここで、インターマクロブロックのフィルタリング強度の判定は、本実施形態では開示していない他の条件にて決定される。【００７５】
一方、ステップＳ６０２の判定結果がＹｅｓの場合、対象画素ｐまたは隣接画素ｑがイントラ符号化されているため、当該ブロック境界がマクロブロック境界であるかどうかの判定を行う（ステップＳ６０３）。ステップＳ６０３の判定結果がＹｅｓの場合、フィルタリング強度決定部１１０は当該ブロック境界のフィルタリング強度を「強」（ＢＳ≧３）に設定する。ここで、ＢＳ≧３はＢＳ値が３以上の値を取りうることを意味しており、ＢＳ＝３であるかＢＳ＝４であるかは、ここで開示していない他の条件によって決められる。以後、このような不等式を含む式に関しては、本実施形態で開示していない条件を用いて決定し得る範囲を示しているものとする。【００７６】
すなわち、ステップＳ６０３の判定結果がＹｅｓとなった場合、フィルタリング強度決定部１１０から出力されるフィルタリング強度情報１３０はフィルタリング強度切替スイッチ１０７へ伝わり、加算器１０６から出力される局部復号画像信号１２７がフィルタＢ（ＢＳ＝３）、またはフィルタＡ（ＢＳ＝４）へ入力される(ステップＳ６０５)。【００７７】
ステップＳ６０３の判定結果がＮｏである場合、すなわち対象画素ｐと隣接画素ｑがマクロブロック境界ではない場合、式（４）を用いて対象ブロック境界の予測複雑度が算出され（ステップＳ６０６）、次いで式（５）及び（６）を用いてＢＳ値が算出される（ステップＳ６０７）。【００７８】
式（６）で得られたＢＳ値が４である場合、フィルタリング強度決定部１１０からＢＳ＝４のフィルタリング強度情報１３０がフィルタリング強度切替スイッチ１０７へ送られ、局部復号画像信号１２７がフィルタＡに入力される。【００７９】
ＢＳ値が３である場合、フィルタリング強度決定部１１０からＢＳ＝３のフィルタリング強度情報１３０がフィルタリング強度切替スイッチ１０７へ送られ、局部復号画像信号１２７がフィルタＢに入力される。【００８０】
ＢＳ値が２である場合、フィルタリング強度決定部１１０からＢＳ＝２のフィルタリング強度情報１３０がフィルタリング強度切替スイッチ１０７へ送られ、局部復号画像信号１２７がフィルタＣに入力される。【００８１】
ＢＳ値が１である場合、フィルタリング強度決定部１１０からＢＳ＝１のフィルタリング強度情報１３０がフィルタリング強度切替スイッチ１０７へ送られ、局部復号画像信号１２７がフィルタＤに入力される。【００８２】
ＢＳ値が０である場合、フィルタリング強度決定部１１０からＢＳ＝０のフィルタリング強度情報１３０がフィルタリング強度切替スイッチ１０７へ送られ、局部復号画像信号１２７がデブロッキングスキップラインＥに入力される。【００８３】
（フィルタリング強度決定部１１０の具体例２：簡易判定）  
次に、図１８を参照して図１７で示されるフィルタリング強度決定手順を簡単化した方法について説明する。図１８において、図１７中の処理ステップと同じ処理ステップに関しては、図１７と同じ参照符号を付与して説明を省略する。【００８４】
図１８に示されるように、ステップＳ６０３の判定結果がＮｏの場合、対象画素ｐまたは隣接画素ｑが８×８予測であるかどうかの判定を行う(ステップＳ７０１)。ここでステップＳ７０１の判定結果がＹｅｓの場合、フィルタリング強度決定部１１０からＢＳ＝２のフィルタリング強度情報１３０がフィルタリング強度切替スイッチ１０７へ送られ、局部復号画像信号１２７がフィルタＣに入力される。一方、ステップＳ７０１の判定結果がＮｏの場合、フィルタリング強度決定部１１０からＢＳ＝１のフィルタリング強度情報１３０がフィルタリング強度切替スイッチ１０７へ送られ、局部復号画像信号１２７がフィルタＤに入力される。【００８５】
（フィルタリング強度決定部１１０の具体例３：境界判定を後回し）  
次に、図１９を参照して図１７で示されるフィルタリング強度決定手順に対して、ステップＳ６０３とステップＳ６０６の処理を入れ替えた場合のフィルタリング強度決定方法について説明する。図１９において、図１７中の処理ステップと同じ処理ステップに関しては、図１７と同じ参照符号を付与して説明を省略する。【００８６】
図１９に示されるように、ステップＳ６０２の判定結果がＹｅｓの場合、式（４）を用いて対象画素ｐまたは隣接画素ｑの対象ブロック境界の予測複雑度が算出される（ステップＳ８０１）、さらに式（５）及び（６）を用いて当該ブロック境界の予測複雑度が算出される。ここで算出された予測複雑度がComp_Thであるかどうかの判定を行う（ステップＳ８０２）。なお、ここではComp_Th＝３としている。【００８７】
ステップＳ８０２の判定結果がＹｅｓの場合、フィルタリング強度決定部１１０からＢＳ＝１のフィルタリング強度情報１３０がフィルタリング強度切替スイッチ１０７へ送られ、局部復号画像信号１２７がフィルタＤに入力される（ステップＳ８０４）。一方、ステップＳ８０２の判定結果がＮｏの場合、対象画素ｐまたは隣接画素ｑがマクロブロック境界であるかどうかが判定される（ステップＳ８０３）。【００８８】
ステップＳ８０３の判定結果がＹｅｓの場合、フィルタリング強度決定部１１０からＢＳ＝３のフィルタリング強度情報１３０がフィルタリング強度切替スイッチ１０７へ送られ、局部復号画像信号１２７がフィルタＢに入力される（ステップＳ８０５）。一方、ステップＳ８０３の判定結果がＮｏの場合、式（６）を用いてフィルタリング強度情報１３０が算出される（ステップＳ８０６）。【００８９】
以上述べたように、第１の実施形態によれば予測複雑度に応じてデブロッキングフィルタ処理におけるフィルタリング強度を適切に制御する。これによって、過度のデブロッキングフィルタ処理が施されてブロック境界で原画像とデコード画像の画質差が大きくなることを防ぐことができる。従って、符号化効率を向上させると共に主観画質が向上する。【００９０】
（第２の実施形態）  
次に、本発明の第２の実施形態について説明する。第２の実施形態に従う画像符号化装置の構成は第１の実施形態と同様であるが、予測部１０１の図６中に示したイントラ予測部２０２が第１の実施形態と異なっており、それに伴いフィルタリング強度決定部１１０も第１の実施形態と異なっている。【００９１】
（イントラ予測部２０２）  
図２０は、第２の実施形態に基づく図６中のイントラ予測部２０２を示しており、予測順切替部４０１、単方向予測部４０２、双方向予測部４０３及び予測切替スイッチ４０４を有する。このように本実施形態では、予測方法の異なる予測部として単方向予測部４０２、双方向予測部４０３を有する。【００９２】
予測順切替部４０１は、マクロブロック中のサブブロックに関する予測順を切り替える機能を有している。すなわち、予測順切替部４０１は画素ブロック（マクロブロック）を分割した複数のサブブロックに対する予測順を予め定められた複数の予測順の中から選択する。予測順切替部４０１によって予測順が切り替えられた参照画像信号１３２は、単方向予測部４０２及び双方向予測部４０３に入力される。【００９３】
単方向予測部４０２及び双方向予測部４０３は、マクロブロックに対応する予測画像信号を生成するために、予測順切替部４０１により切り替えられ選択された予測順と、それぞれにより選択された予測モードに従って符号化済み画素を参照してマクロブロックを予測する。すなわち、単方向予測部４０２は符号化制御部１１１によって制御されている予測制御部４００から指示される予測モードに基づいて、予測順切替部４０１を介して入力される参照画像信号１３２を参照して予測画像信号を生成する。双方向予測部４０３は、同様に符号化制御部１１１によって制御されている予測制御部４００から指示される予測モードに基づいて、予測順切替部４０１を介して入力される参照画像信号１３２を参照して予測画像信号を生成する。単方向予測部４０２及び双方向予測部４０３から出力される予測画像信号は、予測切替部スイッチ４０４に入力される。【００９４】
予測切替器スイッチ４０４は、符号化制御部１１１によって制御されている予測制御部４００から指示される予測モードに従って、単方向予測部４０２によって生成された予測画像信号及び双方向予測部４０３によって生成された予測画像信号のいずれかを選択し、選択した予測画像信号１２１を出力する。言い換えれば、予測切替スイッチ４０４は予め定められた複数の予測モードの中から使用可能な予測モードの数を選択する。【００９５】
図２１Ａ及び図２１Ｂを用いて予測順切替部４０１の動作を説明する。図５Ｂは８×８画素ブロックの分割例を示しており、各ブロック中に示されるインデックスはラスタスキャン順のブロックインデックス（ｉｄｘ）を示す。一方、図２１Ａ及び図２１Ｂは、８×８画素のイントラ予測におけるマクロブロック内のサブブロック（８×８画素ブロック）の予測順序を表している。図２１Ａで示されるラスタブロック予測は、マクロブロック中の各８×８画素ブロックをラスタ順で予測することを示し、図２１Ｂで示される逆ラスタブロック予測は、ブロックインデックスが３→１→２→０となるような順序で予測されることを示している（この予測ブロックを以後、逆ラスタブロック予測と呼び、この予測順を逆ラスタ順とする）。【００９６】
本実施形態では、４×４画素ブロックの例を図示していないが、８×８画素ブロックの場合と同様に、マクロブロックが図５Ａで示されるように分割された後、ラスタブロック予測の場合は、８×８画素ブロック単位のラスタブロック予測順が与えられ、さらに８×８画素ブロック内の４つの４×４画素ブロックに対してラスタ順が与えられる。一方、逆ラスタ順に関しては、８×８画素ブロック単位のラスタブロック予測順が与えられ、さらに８×８画素ブロック内の４つの画素ブロックに対して逆ラスタ順が与えられる。【００９７】
以上が、予測順切替部４０１で行われる予測順の切替及び入力画像信号１２０の切替の動作の説明である。以下、４×４画素のイントラ予測に関する１つの８×８画素ブロックの予測方法について説明を行うが、４×４画素の他の８×８画素ブロックのイントラ予測、及び８×８画素のイントラ予測に関しても同様の手順で予測することが可能である。【００９８】
逆ラスタブロック予測が行われる場合、４つの８×８画素ブロックを表すサブブロックのうち先に対角の１ブロックを外挿により予測し、残りの３ブロックを外挿または内挿により予測する、という予測順を示す。以後、このような予測順による予測を内挿／外挿予測という。次に、予測順に対応する単方向予測部４０２及び双方向予測部４０３の処理について説明する。【００９９】
（ラスタブロック予測の場合の単方向予測の例）  
符号化制御部１１１においてラスタブロック予測が設定されており、予測モードが単一方向予測であった場合、単方向予測部４０２では図７及び図８に示したように、Ｈ．２６４の例として説明した方法と同一の予測方法で予測画像信号１２１が生成される。【０１００】
（ラスタブロック予測の場合の双方向予測の例）  
次に、符号化制御部１１１においてラスタブロック予測が設定されており、さらに予測モードが双方向予測であった場合について説明する。双方向予測部４０３は、単方向予測で生成された予測画像信号２つを組み合わせて予測画像信号を生成する機能を有する。つまり、第１の単方向予測画像信号の予測値をＰ１、第２の単方向予測画像信号の予測値をＰ２とすると、次式を用いて予測画像信号が生成される。
【数７】
2009001793.tif 000009
【０１０１】
ここで、ＰＸは予測対象ブロックの予測画像信号を表している。またＷは２つの予測画像信号を掛け合わせるときのフィルタ係数を表している。Ｗは本実施形態では１／２とするが、０〜１までの実数を取る。式（７）では実数演算による予測画像信号生成の例を示したが、予め演算精度を規定しておくことによって整数演算での実施も容易に可能である。単方向予測として生成される予測画像信号は、図７及び図８に示されるように、Ｈ．２６４の例として説明した方法と同一の予測方法で生成される。【０１０２】
（逆ラスタブロック予測の場合の単方向予測の例）  
次に、符号化制御部１１１において逆ラスタブロック予測が設定されており、さらに予測モードが単方向予測であった場合について説明する。図２１Ａで説明したような内挿／外挿ブロック予測では、マクロブロック内の各サブブロックの順番をラスタブロック予測から逆ラスタブロック予測に従った予測順に変更する。例えば、８×８画素ブロックについて予測を行う場合、図２２Ａに示すようにまず外角の１ブロックを外挿予測が可能なブロック（以下、外挿ブロックという）として先に予測し、次に他の３ブロックを内挿予測が可能なブロック（以下、内挿ブロックという）として予測する。すなわち、まず外挿ブロック（１）を予測し、次に内挿ブロック（２）（３）及び（４）を予測する。一方、４×４画素ブロックについて予測を行う場合、図２２Ｂに示すように外挿ブロックの予測と内挿ブロックの予測を８×８画素ブロック単位で各４×４画素ブロックについて行うことで予測順を設定する。【０１０３】
以下、４×４画素予測が選択された場合における８×８画素ブロック単位の予測処理を説明する。この予測処理では、８×８画素ブロック単位の予測が終了したら、次の８×８画素ブロックに対して予測を行う、というように８×８画素ブロック単位の予測を計４回繰り返す。【０１０４】
（外挿ブロック予測）  
外挿ブロックを予測する場合、参照画素と予測画素との距離が離れるため、参照画素の範囲は図２３Ａに示すようになる。図２３Ａにおいて画素Ａ〜Ｘ及びＺは参照画素であり、画素ａ〜ｐは予測画素である。参照画素の範囲は広がるものの、予測角度に従って参照画素をコピーすることによって予測画像信号を生成する手法については、先のラスタブロック予測の場合と同様である。具体的に、モード０（垂直予測）が選択された場合の予測画像信号生成方法を次式に示す。  
【数８】
2009001793.tif 000010
【０１０５】
このモード０は、参照画素Ｅ〜Ｈを利用できるときだけ選択することが可能である。モード０では、図２４に示されるように参照画素Ｅ〜Ｈが垂直方向に並ぶ予測画素にそのままコピーされることにより、予測画像信号が生成される。【０１０６】
（内挿ブロック予測）  
図２２Ａ及び図２２Ｂにおいて、内挿ブロック（２）を予測する際には、既に外挿ブロック（４）の予測が終了しているため、外挿ブロック（４）の画素を参照する予測が可能である。内挿ブロック（３）を予測する際には、外挿ブロック（４）に加えて内挿ブロック（２）の画素を参照する予測が可能である。外挿ブロック（１）を予測する際には、外挿ブロック（４）及び内挿ブロック(２）に加えて、内挿ブロック（３）の画素を参照する予測が可能である。【０１０７】
図２３Ｂ、図２３Ｃ及び図２３Ｄに、４×４画素予測における内挿ブロック（１）（２）及び（３）と参照画素との関係が示されている。画素ＲＡ〜ＲＩは図２３Ａに対して新たに追加された参照画素であり、画素ａ〜ｐは予測画素である。【０１０８】
（内挿ブロック予測における単方向予測部４０２の処理）  
単方向予測部４０２は、図２５に示されるように内挿ブロック予測について外挿ブロックにおける方向予測及び符号化済みマクロブロック内の参照画素を参照する逆方向の外挿予測の合計１７個のモードを持っており、モード２を除く１７個のモードは２２．５度ずつシフトした予測方向を有する。図７に示した外挿ブロック予測（順次ブロック予測）の予測モードに対して、逆方向の予測モードが追加されている。すなわち、垂直予測、水平予測、ＤＣ予測、対角左下予測、対角右下予測、垂直右予測、水平下予測、垂直左予測及び水平上予測の各モードは、図７と図２５とで共通である。【０１０９】
一方、図２５では図７に示すモードに加えて、逆方向垂直予測（モード９）、逆方向水平予測（モード１０）、対角右上予測（モード１１）、対角左上予測（モード１２）、逆方向垂直左予測（モード１３）、逆方向水平上予測（モード１４）、逆方向垂直右予測（モード１５）及び逆方向水平下予測（モード１６）が追加されている。【０１１０】
予測モードは、図２２Ａ及び図２２Ｂに示されるような、内挿ブロックに対する参照画素の位置関係及び参照画素の有無に応じて選択可能か否かが決定される。例えば、内挿ブロック（１）では、左右上下方向全てに参照画素が配置されているため、図２５に示されるように全てのモード０〜１６を選択することが可能である。一方、内挿ブロック（２）では、右側に参照画素が配置されていないため、モード１０、モード１４及びモード１６を選択することが不可能である。内挿ブロック（３）では、下側に参照画素が配置されていないため、モード９、モード１３及びモード１５を選択することは不可能である。【０１１１】
以下、逆ラスタブロック予測の場合に、内挿ブロック予測における単方向予測部４０２の予測画像信号生成方法について説明する。具体的には、モード９（逆方向垂直予測）が選択された場合は、下方向で最近傍に位置する参照画素から予測画像信号を生成する。内挿ブロック（１）及び内挿ブロック(２）については、次式に従って予測画像信号が計算される。
【数９】
2009001793.tif 000011
【０１１２】
図２６Ａ及び図２６Ｂは、モード９による内挿ブロック（１）及び内挿ブロック（２）に対する予測画像信号の生成方法を示している。参照画素ＲＡ〜ＲＤが垂直方向に並ぶ予測画素にそのままコピーされることにより、予測画像信号が生成される。内挿ブロック（３）については、下方向に参照画素が存在しないためモード９を利用することはできない。【０１１３】
上述したモード９以外の予測モードについても、図２５で示される予測方向に対して、参照可能で且つ最近傍の画素から補間された予測画像信号をコピーする予測方法を用いる。予測方向に対して参照画素が配置されていない場合は、最近傍の参照画素の値をコピーして参照画素を生成して利用してもよいし、または複数の参照画素の内挿補間から仮想的な参照画素を生成し、当該仮想的な参照画素を予測に利用してもよい。【０１１４】
（逆ラスタブロック予測の場合の双方向予測の例）  
次に、符号化制御部１１１において逆ラスタブロック予測が設定されており、さらに予測モードが双方向予測であった場合について説明する。双方向予測部４０３は、逆ラスタブロック予測によって単方向予測で生成された予測画像信号２つを組み合わせて予測画像信号を生成する機能を有する。すなわち、式（７）を用いて双方向予測の予測画像信号が生成される。単方向予測として生成される予測画像信号は、図２５で示されるように各々のブロックインデックスによって示される予測モードにしたがって生成された予測画像信号１２１を指す。【０１１５】
以上のように図２０のイントラ予測部３０２では、予測方法の異なる予測部として単方向予測部４０２及び双方向予測部４０３を備え、予測順の異なる予測方法としてラスタブロック予測と逆ラスタブロック予測を備えている。また、これらの組み合わせとして外挿ブロックと内挿／外挿ブロックという概念が存在する。【０１１６】
（フィルタリング強度決定部１１０）  
本実施形態では、予測部１０１の変更に伴って、フィルタリング強度決定部１１０の判定手法も異なる。以下、本実施形態におけるフィルタリング強度決定部１１０について説明する。本実施形態におけるフィルタリング強度決定部１１０の構成は図１２と同一である。但し、予測複雑度導出部３０３に設定されている予測複雑度の導出テーブルが異なっている。【０１１７】
図２７は、本実施形態におけるイントラ予測の予測方法に関連する予測複雑度の導出テーブルの例である。単方向イントラ予測と比較して、予測複雑度の高い双方イントラ予測に対して予測複雑度が高くなっている。単方向イントラ予測は、図２４、図２５、図２６Ａ及び図２６Ｂで説明した通り、参照画素値、またはそれらを補間した画素値を予測方向にコピーするという予測方法を用いている。一方、双方向予測は単方向予測で生成された予測画像信号をフィルタリングすることによって、新たな予測画像信号を生成する。デブロッキングフィルタ処理は、予測画像信号１２１と予測誤差信号１２６を加算して生成された局部復号画像信号１２７のブロック境界に実施されるため、予測画像信号１２１の生成時にフィルタ処理をかける双方向予測に対しては、単方向予測よりも予測複雑度を高く設定する。これは結果として、フィルタリング強度を弱く設定していることに等しい。このような予測複雑度の設定によって、ブロック境界に過度のデブロッキングフィルタ処理が施されることを防ぐことができる。【０１１８】
図２８Ａは、本実施形態に従うイントラ予測の８×８画素ブロックでの逆ラスタブロック予測の場合のブロックの予測方法に関する予測複雑度の導出テーブルを示している。図２２Ａに示す通り、予測順に従ってインデックス０（最初に予測されるブロックのインデックス）のみ外挿ブロックとなり、他の３つのブロックは内挿／外挿ブロックとなっている。外挿ブロックは、Ｈ．２６４とほぼ同一の予測方法であるために、内挿予測が利用できる内挿／外挿ブロックよりも予測複雑度が高く設定されている。ここで、外挿ブロックでは参照画素から予測画素までの距離が遠いため、画像の空間的な性質を予測値に反映させることが難しい。すなわち、外挿ブロックでは入力画像信号１２０と予測画像信号１２１との差分である予測誤差信号１２２が大きくなる可能性があり、ブロック境界の歪みが大きくなる傾向がある。そこで、外挿ブロックに対しては、内挿／外挿ブロックよりも予測複雑度を低く設定することによって、結果としてデブロッキングフィルタのフィルタリング強度を強めに設定する。【０１１９】
図２８Ｂは、本実施形態に従うイントラ予測の８×８画素ブロックでの逆ラスタブロック予測の場合のブロックの予測方法と参照画素との距離に関する予測複雑度の導出テーブルを示している。逆ラスタブロック予測では、図２３Ａ及び図２３Ｂで既に説明した通り、各々のサブブロックで利用できる参照画素との距離が異なる。外挿ブロックでは、前述したように内挿予測が利用できないため、複雑度が内挿／外挿ブロックに比べて低く設定される。【０１２０】
図２９Ａ及び図２９Ｂは、本実施形態に従うイントラ予測の８×８画素ブロックでのブロックインデックスと参照画素数に関する予測複雑度の導出テーブルを示している。図２９Ａはラスタブロック予測の場合の例、図２９Ｂは逆ラスタブロック予測の例をそれぞれ示している。図２９Ａでは、ブロックインデックスにしたがって利用できる参照画素数が大きく変わらないため、予測複雑度は全てのブロックで同一となる。一方、図２９Ｂで示される逆ラスタブロック予測の場合、図２３Ａ、図２３Ｂ、図２３Ｃ及び図２３Ｄで説明した通り、各々のサブブロックで利用できる参照画素数が異なる。参照画素数が少ない場合は、参照画素数が多く利用できる場合に比べて予測式に利用できる画素数が減るため、予測複雑度が低くなっている。つまり、予測順が変わることによって、利用できる参照画素の数が変わるとともに、予測できる方向も変更される。この結果、予測順によって予測がしやすいブロックと予測が当たらないブロックとに傾向が現れる。そこで、予測の当たらないブロックのフィルタリング強度を高く設定するために、このような予測複雑度のテーブルが設定されている。【０１２１】
尚、図２８Ａ、図２８Ｂ、図２９Ａ及び図２９Ｂでは８×８画素ブロックのイントラ予測の場合の例を示しているが、４×４画素ブロックのイントラ予測も前述の通り同じ手法によって予測複雑度の導出テーブルを作成すればよい。【０１２２】
図１２中の予測複雑度導出部３０３では、以上の予測複雑度導出テーブルと式（４）を用いて対象ブロックの予測複雑度情報３１３と隣接ブロックの予測複雑度情報３１４が導出される。これら両方の予測複雑度情報３１３及び３１４がフィルタリング強度情報算出部３０４に入力されると、最終的な当該ブロック境界のフィルタリング強度情報１３０（ＢＳ値）は式（５）及び（６）を用いて算出される。以後、算出されたフィルタリング強度情報１３０によってフィルタ処理が行われる手順は、第１の実施形態で説明した流れと同一である。【０１２３】
（フィルタリング強度決定方法の第１の具体例）  
次に、図３０を用いて第２の実施形態におけるフィルタリング強度決定方法の第１の具体例、特にフィルタリング強度を決定する際の判定手法について説明する。  
フィルタリング強度決定部１１０は、ブロック境界で実施されるデブロッキングフィルタ処理のために必要となる垂直及び水平方向の両方のブロック境界のフィルタリング強度を決定する(ステップＳ１００１)。フィルタリング強度の決定は、デブロッキングフィルタ処理が施される図９Ａ及び図９Ｂのブロック境界に位置する全てのブロック境界で行われる。但し、該当するブロック境界が画像の境界である場合は、デブロッキングフィルタ処理を行う必要はない。【０１２４】
まず、最初に対象ブロック境界の画素ｐ及びｑがイントラ符号化されているかどうかの判定が行われる（ステップＳ１００２）。符号化モードに関する情報は、エントロピー符号化器１０５から出力される対象ブロックの符号化パラメータ１２８と、参照メモリ１０９から読み出される隣接ブロックの符号化パラメータ１２９に基づく。【０１２５】
ここで、ステップＳ１００２の判定結果がＮｏの場合、対象ブロック境界は共にインター符号化されているため、フィルタリング強度（ＢＳ値）判定処理インターマクロブロックへジャンプする(ステップＳ１００４)。ここで、インターマクロブロックのフィルタリング強度の判定は、本実施形態では開示していない他の条件にて決定される。【０１２６】
一方、ステップＳ１００２の判定結果がＹｅｓの場合、対象画素ｐまたは隣接画素ｑが逆ラスタブロック予測であるかどうかの判定を行う（ステップＳ１００３）。ステップＳ１００３の判定結果がＹｅｓの場合、今度は対象画素ｐまたは隣接画素ｑが外挿ブロックであるかどうかの判定を行う（ステップＳ１００５）。ステップＳ１００５の判定結果がＹｅｓの場合、当該対象ブロック境界のフィルタリング強度を「中」（ＢＳ≧２）に設定する（ステップＳ１００８）。一方、ステップＳ１００５の判定結果がＮｏである場合、当該対象ブロック境界のフィルタリング強度を「弱」（ＢＳ≧１）に設定する（ステップＳ１００９）。【０１２７】
一方、対象画素ｐまたは隣接画素ｑが逆ラスタブロック予測であるかどうかの判定結果がＮｏである場合、今度は対象画素ｐまたは隣接画素ｑが双方向予測であるかどうかの判定を行う（ステップＳ１００６）。ステップＳ１００６の判定結果がＹｅｓの場合、該対象ブロック境界のフィルタリング強度を「弱」（ＢＳ≧１）に設定する（ステップＳ１０１０）。ステップＳ１００６の判定結果がＮｏの場合、対象画素ｐまたは隣接画素ｑがマクロブロック境界であるかどうかの判定を行う（ステップＳ１００７）。ステップＳ１００７の判定結果がＹｅｓの場合、当該対象ブロック境界のフィルタリング強度を「強」（ＢＳ≧３）に設定する（ステップＳ１０１１）。ステップＳ１００７の判定結果がＮｏである場合、当該対象ブロック境界のフィルタリング強度を「中」（ＢＳ≧２）に設定する（ステップＳ１０１２）。【０１２８】
このようにして算出されるフィルタリング強度情報１３０は、フィルタリング強度切替スイッチ１０７に伝達され、スイッチ１０７により選択された画素フィルタによって局部復号画像信号１２７に対してデブロッキングフィルタ処理が行われる。【０１２９】
（フィルタリング強度決定方法の第２の具体例）  
次に、図３１を用いて第２の実施形態におけるフィルタリング強度決定方法の第２の具体例、特にフィルタリング強度を決定する際の判定手法について説明する。図３１において、図３０と同等の処理を行うステップには同じ参照符号を付与して説明を省略する。【０１３０】
ステップＳ１００２の判定結果、すなわち対象ブロック境界の画素ｐ及びｑがイントラ符号化されているかどうかの判定結果がＹｅｓの場合、対象画素ｐまたは隣接画素ｑが双方向予測であるかどうかの判定を行う（ステップＳ１１０１）。ステップＳ１１０１の判定結果がＮｏの場合、今度は対象画素ｐまたは隣接画素ｑがマクロブロック境界であるかどうかの判定を行う（ステップＳ１１０２）。ステップＳ１１０２の判定結果がＹｅｓの場合、当該対象ブロック境界のフィルタリング強度を「強」（ＢＳ≧３）に設定する（ステップＳ１１０５）。一方、ステップＳ１１０１の判定結果がＮｏである場合、当該対象ブロック境界のフィルタリング強度を「中」（ＢＳ≧２）に設定する（ステップＳ１１０６）。【０１３１】
一方、ステップＳ１００１の判定結果、すなわち対象画素ｐまたは隣接画素ｑが双方向予測であるかどうかの判定結果がＹｅｓである場合、今度は対象画素ｐまたは隣接画素ｑが逆ラスタブロック予測であるかどうかの判定を行う（ステップＳ１１０３）。ステップＳ１１０３の判定結果がＮｏの場合、該対象ブロック境界のフィルタリング強度を「弱」（ＢＳ≧１）に設定する（ステップＳ１１０７）。ステップＳ１１０３の判定結果がＹｅｓの場合、対象画素ｐまたは隣接画素ｑが外挿ブロックであるかどうかの判定を行う（ステップＳ１１０４）。【０１３２】
ステップＳ１１０４の判定結果がＹｅｓの場合、当該対象ブロック境界のフィルタリング強度を「中」（ＢＳ≧２）に設定する（ステップＳ１１０９）。ステップＳ１１０４の判定結果がＮｏである場合、当該対象ブロック境界のフィルタリング強度を「弱」（ＢＳ≧１）に設定する（ステップＳ１１０８）。【０１３３】
このようにして算出されるフィルタリング強度情報１３０は、フィルタリング強度切替スイッチ１０７に伝達され、スイッチ１０７により選択された画素フィルタによって局部復号画像信号１２７に対してデブロッキングフィルタ処理が行われる。【０１３４】
以上説明したように、第１及び第２の実施形態では予測複雑度に応じてデブロッキングフィルタ処理のフィルタリング強度を決定することによって、過度のフィルタ処理が施されることによりブロック境界で原画像とデコード画像の画質差が大きくなることを防ぎ、もって符号化効率を向上させると共に主観画質も向上するという効果を奏する。【０１３５】
尚、選択されたモードでの符号化の際、復号画像信号の生成は選択されたモードについてのみ行えばよく、予測モード判定のためのループ内では必ずしも実行しなくてもよい。【０１３６】
（第１〜第２の実施形態の変形例）  
（１）第１〜第２の実施形態においては、符号化ループを対象ブロックの全ての組み合わせに対して繰り返し仮符号化する例を示した。しかし、演算処理を簡単化するために、予め選択されやすい予測モード及びブロックサイズなどのみについて仮符号化を行い、選択されにくい組み合わせの処理を省略してもよい。このような選択的な仮符号化を行うことにより、符号化効率の低下を抑え、また仮符号化に必要となる処理量を抑えることが可能である。【０１３７】
（２）第１〜第２の実施形態においては、処理対象フレームを１６×１６画素サイズなどの短形ブロックに分割し、図３に示したように画面左上のブロックから右下に向かって順に符号化する場合について説明しているが、符号化順序はこれに限られない。例えば、右下から左上に向かって順に符号化を行ってもよいし、画面中央から渦巻状に向かって順に符号化を行ってもよい。さらに、右上から左下に向かって順に符号化を行ってもよいし、画面の周辺部から中心部に向かって順に符号化を行ってもよい。【０１３８】
（３）第１〜第２の実施形態においては、ブロックサイズを４×４画素ブロック、８×８画素ブロックとして説明を行ったが、対象ブロックは均一なブロック形状にする必要なく、１６×８画素ブロック、８×１６画素ブロック、８×４画素ブロック、４×８画素ブロックなどのブロックサイズであってもよい。また、１つのマクロブロック内でも均一なブロックサイズを取る必要はなく、それぞれ異なるサイズのブロックを混在させてもよい。この場合、分割数が増えると分割情報を符号化するための符号量が増加するが、変換係数の符号量と局部復号画像とのバランスを考慮して、ブロックサイズを選択すればよい。【０１３９】
（４）第１〜第２の実施形態においては、輝度信号と色差信号を特に分けて説明しなかったが、デブロッキングフィルタ処理が輝度信号と色差信号で異なる場合、それぞれに対して異なるフィルタリング強度決定方法を用いてもよいし、同一のフィルタリング強度決定方法を用いてもよい。また、デブロッキングフィルタ処理が複数の色成分毎に異なる場合、それぞれに対して異なるフィルタリング強度決定方法を用いてもよいし、同一のフィルタリング強度決定方法を用いてもよい。【０１４０】
＜画像復号化装置＞  
（第３の実施形態）  
次に、第１〜第２の実施形態で説明した画像符号化装置に対応する、本発明の第３の実施形態に従う画像復号化装置について説明する。図３２を参照すると、第３の実施形態に従う画像復号化装置では、図１に示した画像符号化装置から送出され、蓄積系または伝送系を経て送られてきた符号化データ５２０は入力バッファ５１２に一度蓄えられ、多重化された符号化データが復号化ユニット５００に入力される。【０１４１】
復号化ユニット５００は、エントロピー復号化器５０１、逆量子化／逆変換部５０２、加算器５０３、予測部５０４、フィルタリング強度切替スイッチ５０５、デブロッキングフィルタ部５０６、参照メモリ５０７及びフィルタリング強度決定部５０８を有する。【０１４２】
復号化ユニット５００では、符号化データ５００が入力バッファ５１２を介してエントロピー復号化器５０１に入力され、１フレームまたは１フィールド毎にシンタクスに基づいて構文解析による解読が行われる。すなわち、エントロピー復号化器５０１では順次各シンタクスの符号列がエントロピー復号化され、予測情報５２１、予測誤差信号の量子化変換係数５２２及び対象ブロックの符号化パラメータ５２３が再生される。ここで、符号化パラメータ５２３は、予測方法を示す予測モード、予測ブロックサイズを示す予測ブロックインデックス、及びブロックの予測順序などに対応する予測情報５２１を含み、動画像を復号する際に必要となる全てのパラメータを指している。【０１４３】
エントロピー復号化器５０１で解読が行われた量子化変換係数５２２は、逆量子化／逆変換部５０２へ入力される。エントロピー復号化器５０１によって解読された量子化に関する様々な情報、すなわち量子化パラメータや量子化マトリクスは、復号化制御部５１１に設定され、逆量子化処理として利用される際にロードされる。【０１４４】
逆量子化／逆変換部５０２では、ロードされた量子化に関する情報を用いて最初に逆量子化処理が行われ、変換係数が生成される。さらに、逆量子化／逆変換部５０２では逆量子化された変換係数に対して例えば逆離散コサイン変換（ＤＣＴ）のような逆直交変換が行われ、予測誤差信号５２４が生成される。ここでは、逆直交変換について説明したが、画像符号化装置でウェーブレット変換などが行われている場合、逆量子化／逆変換部５０２は対応する逆量子化及び逆ウェーブレット変換などが行われる。【０１４５】
逆量子化／逆変換部５０２から出力される予測誤差信号５２４は加算器５０３へ入力され、後述する予測部５０４で生成される予測画像信号５２５と加算されることにより、デブロッキングフィルタ処理前の復号画像信号５２６が生成される。【０１４６】
復号画像信号５２６はフィルタリング強度切替スイッチ５０５を経てデブロッキングフィルタ部５０６に入力され、フィルタ部５０６の画素フィルタＡ〜Ｄのいずれかによりデブロッキングフィルタ処理が施される。デブロッキングフィルタ部５０６には、さらにフィルタ処理を行わないデブロッキングスキップラインＥが設けられている。【０１４７】
デブロッキングフィルタ５０６から出力されるフィルタ処理後の復号画像信号５２７は、参照メモリ５０７に蓄積される。復号画像信号５２７は参照メモリ５０７から順次フレーム毎またはフィールド毎に読み出され、復号化ユニット５００から出力される。復号化ユニット５００から出力される復号画像信号は、出力バッファ５１３に一旦蓄積された後、復号化制御部５１１が管理する出力タイミングに従って出力画像信号５３１として出力される。【０１４８】
予測部５０４には、エントロピー復号化器５０１で解読された予測方法を示す予測情報５２１が入力されるとともに、参照メモリ５０７に蓄積されている既に符号化済みの復号画像信号が参照画像信号５２８として入力される。【０１４９】
予測部５０４は、画像符号化装置内の予測部１０１と同様、図６に示したように予測切替スイッチ２０１、イントラ予測部２０２、インター予測部２０３及び減算器２０４を有する。予測切替スイッチ２０１は、予測部５０４に入力された予測情報５２１に含まれる予測モードに従って、参照画像信号５２８（１３２）をどの予測方法で予測するかを切り替える機能を有する。予測モードがイントラ予測であった場合、参照画像信号５２８（１３２）はイントラ予測部２０２に入力される。一方、予測モードがインター予測であった場合、参照画像信号５２８（１３２）はインター予測部２０３に入力される。【０１５０】
イントラ予測部２０２及びインター予測部２０３は、第１の実施形態で説明した処理と同一の処理を行って予測画像信号５２５（１２１）を生成する。但し、予測部５０４においては、予測情報５２１で与えられる予測モードのみ予測画像信号５２５（１２１）の生成処理を行えばよく、与えられた予測モード以外の予測画像信号を生成する必要はない。例えば、予測情報５２１で与えられる予測モードがインター予測である場合、前述した動きベクトル情報によって動きのずれ量が計算され、このずれ量が指す部分の画像信号を予測画像信号５２５とする。この場合、参照画像信号５２８はインター予測部３０３の中で動きベクトルの精度に従って補間されていてもよい。【０１５１】
次に、デブロッキングフィルタ部５０６について説明する。エントロピー復号化器５０１で解読された対象ブロックの符号化パラメータ５２３は、フィルタリング強度決定部５０８へ入力される。また、参照メモリ５０７に蓄積されていた、既に復号が完了した隣接ブロックの符号化パラメータ５２９もフィルタリング強度決定部５０８に入力される。フィルタリング強度決定部５０８は、入力された２つの符号化パラメータ５２３及び５２９を用いて当該ブロック境界のフィルタリング強度情報５３０を算出する機能を有する。フィルタリング強度決定部５０８は、第１の実施形態におけるフィルタリング強度決定部５０８と同様、図１２で説明した通りであるため、詳細な説明を省略する。【０１５２】
フィルタリング強度決定部５０８から出力されたフィルタリング強度情報５３０は、フィルタリング強度切替スイッチ５０５へ入力される。フィルタリング強度切替スイッチ５０５は、フィルタリング強度情報５３０により与えられたフィルタリング強度に従って、デブロッキングフィルタ部５０６のフィルタリング強度を切り替えるために、加算器５０３からの復号画像信号５２６を画素フィルタＡ〜ＤのいずれかまたはデブロッキングスキップラインＥのいずれかに導く。【０１５３】
フィルタリング強度情報５３０は、ＢＳ値と呼ばれる。ＢＳ値が４の場合は復号画像信号５２６を画素フィルタＡに、ＢＳ値が３の場合は復号画像信号５２６を画素フィルタＢに、ＢＳ値が２の場合は復号画像信号５２６を画素フィルタＣに、ＢＳ値が１の場合は、復号画像信号５２６を画素フィルタＤにそれぞれ導いてデブロッキングフィルタ処理を行い、そしてＢＳ値が０の場合は復号画像信号５２６をデブロッキングスキップラインＥに導いてデブロッキングフィルタ処理を行わないようにする。こうしてデブロッキングフィルタ部５０８によりデブロッキングフィルタ処理が行われた復号画像信号５２７は、参照メモリ５０７に蓄積され、次の予測の際に利用される。【０１５４】
（フィルタリング強度決定部５０８の第１の具体例）  
本実施形態では、フィルタリング強度決定部５０８では図２に示される対象ブロック符号化パラメータ抽出部３０１及び隣接ブロック符号化パラメータ抽出部３０２から抽出された対象ブロックの予測情報３１１及び隣接ブロックの予測情報３１２に従って、予測複雑度導出部３０３において図１３Ａ、図１３Ｂ、図１４Ａ、図１４Ｂ、図１５Ａ及び図１５Ｂで説明した予測複雑度の導出テーブルから予測複雑度情報３１３及び３１４を算出する。ここでは式（４）を用いて予測複雑度が算出される。さらにフィルタリング強度情報算出部５０８では、予測複雑度情報３１３及び３１４から最終的な対象ブロック境界のフィルタリング強度情報５３０（１３０）を式（５）及び（６）を用いて算出する。【０１５５】
次に、図１７を参照してフィルタリング強度決定部５０８の処理について説明する。フィルタリング強度決定部５０８は、ブロック境界で実施されるデブロッキングフィルタ処理のために必要となる垂直及び水平方向の両方のブロック境界のフィルタリング強度を決定する(ステップＳ６０１)。フィルタリング強度の決定は、デブロッキングフィルタ処理が施される図９Ａまたは図９Ｂのブロック境界に位置する全てのブロック境界で行われる。但し、該当するブロック境界が画像の境界である場合は、デブロッキングフィルタ処理を行う必要はない。【０１５６】
まず、対象ブロック境界の対象画素ｐ及び隣接画素ｑがイントラマクロブロックに含まれる画素であるかどうか、すなわちイントラ符号化されているかどうかの判定が行われる（ステップＳ６０２）。【０１５７】
ここで、ステップＳ６０２の判定結果がＮｏの場合、対象ブロック境界は共にインター符号化されているため、フィルタリング強度（ＢＳ値）判定処理インターマクロブロックへジャンプする(ステップＳ６０４)。ここで、インターマクロブロックのフィルタリング強度の判定は、本実施形態では開示していない他の条件にて決定される。【０１５８】
一方、ステップＳ６０２の判定結果がＹｅｓの場合、対象画素ｐまたは隣接画素ｑがイントラ符号化されているため、当該ブロック境界がマクロブロック境界であるかどうかの判定を行う（ステップＳ６０３）。ステップＳ６０３の判定結果がＹｅｓの場合、フィルタリング強度決定部５０８は当該ブロック境界のフィルタリング強度を「強」（ＢＳ≧３）に設定する。ここで、ＢＳ≧３はＢＳ値が３以上の値を取りうることを意味しており、ＢＳ＝３であるかＢＳ＝４であるかは、ここで開示していない他の条件によって決められる。以後、このような不等式を含む式に関しては、本実施形態で開示していない条件を用いて決定し得る範囲を示しているものとする。【０１５９】
すなわち、ステップＳ６０３の判定結果がＹｅｓとなった場合、フィルタリング強度決定部５０８から出力されるフィルタリング強度情報５３０はフィルタリング強度切替スイッチ１０７へ伝わり、加算器５２６から出力される復号画像信号５２６がフィルタＢ（ＢＳ＝３）、またはフィルタＡ（ＢＳ＝４）へ入力される(ステップＳ６０５)。【０１６０】
ステップＳ６０３の判定結果がＮｏである場合、すなわち対象画素ｐと隣接画素ｑがマクロブロック境界ではない場合、式（４）を用いて対象ブロック境界の予測複雑度が算出され（ステップＳ６０６）、次いで式（５）及び（６）を用いてＢＳ値が算出される（ステップＳ６０７）。【０１６１】
式（６）で得られたＢＳ値が４である場合、フィルタリング強度決定部５０８からＢＳ＝４のフィルタリング強度情報５３０がフィルタリング強度切替スイッチ１０７へ送られ、復号画像信号５２６がフィルタＡに入力される。【０１６２】
ＢＳ値が３である場合、フィルタリング強度決定部５０８からＢＳ＝３のフィルタリング強度情報５３０がフィルタリング強度切替スイッチ５０５へ送られ、復号画像信号５２６がフィルタＢに入力される。【０１６３】
ＢＳ値が２である場合、フィルタリング強度決定部５０８からＢＳ＝２のフィルタリング強度情報５３０がフィルタリング強度切替スイッチ５０５へ送られ、復号画像信号５２６がフィルタＣに入力される。【０１６４】
ＢＳ値が１である場合、フィルタリング強度決定部５０８からＢＳ＝１のフィルタリング強度情報５３０がフィルタリング強度切替スイッチ５０５へ送られ、復号画像信号５２６がフィルタＤに入力される。【０１６５】
ＢＳ値が０である場合、フィルタリング強度決定部５０８からＢＳ＝０のフィルタリング強度情報５３０がフィルタリング強度切替スイッチ５０５へ送られ、復号画像信号５２６がデブロッキングスキップラインＥに入力される。【０１６６】
（フィルタリング強度決定部５０８の第２の具体例）  
次に、図１８を参照して図１７で示されるフィルタリング強度決定手順を簡単化した方法について説明する。図１８において、図１７中の処理ステップと同じ処理ステップに関しては、図１７と同じ参照符号を付与して説明を省略する。【０１６７】
図１８に示されるように、ステップＳ６０３の判定結果がＮｏの場合、対象画素ｐまたは隣接画素ｑが８×８予測であるかどうかの判定を行う(ステップＳ７０１)。ここでステップＳ７０１の判定結果がＹｅｓの場合、フィルタリング強度決定部５０８からＢＳ＝２のフィルタリング強度情報５３０がフィルタリング強度切替スイッチ５０５へ送られ、復号画像信号５２６がフィルタＣに入力される。一方、ステップＳ７０１の判定結果がＮｏの場合、フィルタリング強度決定部５０８からＢＳ＝１のフィルタリング強度情報５３０がフィルタリング強度切替スイッチ５０５へ送られ、復号画像信号５２６がフィルタＤに入力される。【０１６８】
（フィルタリング強度決定部５０８の第３の具体例）  
次に、図１９を参照して図１７で示されるフィルタリング強度決定手順に対して、ステップＳ６０３とステップＳ６０６の処理を入れ替えた場合のフィルタリング強度決定方法について説明する。図１９において、図１７中の処理ステップと同じ処理ステップに関しては、図１７と同じ参照符号を付与して説明を省略する。【０１６９】
図１９に示されるように、ステップＳ６０２の判定結果がＹｅｓの場合、式（４）を用いて対象画素ｐまたは隣接画素ｑの対象ブロック境界の予測複雑度が算出される（ステップＳ８０１）、さらに式（５）及び（６）を用いて当該ブロック境界の予測複雑度が算出される。ここで算出された予測複雑度がComp_Thであるかどうかの判定を行う（ステップＳ８０２）。なお、ここではComp_Th＝３としている。【０１７０】
ステップＳ８０２の判定結果がＹｅｓの場合、フィルタリング強度決定部５０８からＢＳ＝１のフィルタリング強度情報５３０がフィルタリング強度切替スイッチ５０５へ送られ、復号画像信号５２６がフィルタＤに入力される（ステップＳ８０４）。一方、ステップＳ８０２の判定結果がＮｏの場合、対象画素ｐまたは隣接画素ｑがマクロブロック境界であるかどうかが判定される（ステップＳ８０３）。【０１７１】
ステップＳ８０３の判定結果がＹｅｓの場合、フィルタリング強度決定部５０８からＢＳ＝３のフィルタリング強度情報５３０がフィルタリング強度切替スイッチ５０５へ送られ、復号画像信号５２６がフィルタＢに入力される（ステップＳ８０５）。一方、ステップＳ８０３の判定結果がＮｏの場合、式（６）を用いてフィルタリング強度情報５３０が算出される（ステップＳ８０６）。【０１７２】
（第４の実施形態）  
次に、本発明の第４の実施形態について説明する。第４の実施形態に従う画像復号化装置の構成は第３の実施形態と同様であるが、予測部１０１の図６中に示したイントラ予測部２０２が第３の実施形態と異なっており、それに伴いフィルタリング強度決定部５０８も第３の実施形態と異なっている。【０１７３】
（イントラ予測部２０２）  
図２０は、第４の実施形態に基づく図６中のイントラ予測部２０２を示しており、予測順切替部４０１、単方向予測部４０２、双方向予測部４０３及び予測切替スイッチ４０４を有する。このように本実施形態では、予測方法の異なる予測部として単方向予測部４０２、双方向予測部４０３を有する。【０１７４】
予測順切替部４０１は、マクロブロック中のサブブロックに関する予測順を切り替える機能を有している。すなわち、予測順切替部４０１は画素ブロック（マクロブロック）を分割した複数のサブブロックに対する予測順を予め定められた複数の予測順の中から選択する。予測順に対応する情報は予測情報５２１に含まれており、復号化制御部５１１において制御される予測制御部４００から指示される。予測順切替部４０１によって予測順が切り替えられた参照画像信号は、単方向予測部４０２及び双方向予測部４０３に入力される。【０１７５】
単方向予測部４０２及び双方向予測部４０３は、マクロブロックに対応する予測画像信号を生成するために、予測順切替部４０１により切り替えられ選択された予測順と、それぞれにより選択された予測モードに従って符号化済み画素を参照してマクロブロックを予測する。すなわち、単方向予測部４０２は復号化制御部５１１によって制御されている予測制御部４００から指示される予測モードに基づいて、予測順切替部４０１を介して入力される参照画像信号５２８（１３２）を参照して予測画像信号を生成する。双方向予測部４０３は、同様に復号化制御部５１１によって制御されている予測制御部４００により制御される予測モードに基づいて、予測順切替部４０１を介して入力される参照画像信号５２８（１３２）を参照して予測画像信号を生成する。単方向予測部４０２及び双方向予測部４０３から出力される予測画像信号５２５（１２１）は、予測切替部スイッチ４０４に入力される。【０１７６】
予測切替器スイッチ４０４は、復号化制御部５１１によって制御されている予測制御部４００から指示される予測モードに従って、単方向予測部４０２によって生成された予測画像信号及び双方向予測部４０３によって生成された予測画像信号のいずれかを選択し、選択した予測画像信号５２５（１２１）を出力する。言い換えれば、予測切替スイッチ４０４はエントロピー復号化器５０１により解読処理された対象ブロックの予測情報に含まれる予測モードに従って、単方向予測部４０２と双方向予測部４０３を切り替える機能を有する。予測モードは、既に説明した通り復号化制御部５１１により制御される予測制御部４００によって制御されている。【０１７７】
図２１Ａ及び図２１Ｂを用いて予測順切替部４０１の動作を説明する。図５Ｂは８×８画素ブロックの分割例を示しており、各ブロック中に示されるインデックスはラスタスキャン順のブロックインデックス（ｉｄｘ）を示す。一方、図２１Ａ及び図２１Ｂは、８×８画素のイントラ予測におけるマクロブロック内のサブブロック（８×８画素ブロック）の予測順序を表している。図２１Ａで示されるラスタブロック予測は、マクロブロック中の各８×８画素ブロックをラスタ順で予測することを示し、図２１Ｂで示される逆ラスタブロック予測は、ブロックインデックスが３→１→２→０となるような順序で予測されることを示している（この予測ブロックを以後、逆ラスタブロック予測と呼び、この予測順を逆ラスタ順とする）。【０１７８】
本実施形態では、４×４画素ブロックの例を図示していないが、８×８画素ブロックの場合と同様に、マクロブロックが図５Ａで示されるように分割された後、ラスタブロック予測の場合は、８×８画素ブロック単位のラスタブロック予測順が与えられ、さらに８×８画素ブロック内の４つの４×４画素ブロックに対してラスタ順が与えられる。一方、逆ラスタ順に関しては、８×８画素ブロック単位のラスタブロック予測順が与えられ、さらに８×８画素ブロック内の４つの画素ブロックに対して逆ラスタ順が与えられる。【０１７９】
予測順切替部４０１で行われる予測順の切替の動作の説明である。以下、４×４画素のイントラ予測に関する１つの８×８画素ブロックの予測方法について説明を行うが、４×４画素の他の８×８画素ブロックのイントラ予測、及び８×８画素のイントラ予測に関しても同様の手順で予測することが可能である。【０１８０】
処理ブロックに対して、逆ラスタブロック予測が行われる場合、４つの８×８画素ブロックを表すサブブロックのうち先に対角の１ブロックを外挿により予測し、残りの３ブロックを外挿または内挿により予測する、という予測順を示す。以後、このような予測順による予測を内挿／外挿予測という。次に、予測順に対応する単方向予測部４０２及び双方向予測部４０３の処理について説明する。【０１８１】
（ラスタブロック予測の場合の単方向予測の例）  
復号化制御部５１１においてラスタブロック予測が設定されており、予測モードが単一方向予測であった場合、単方向予測部４０２では図７及び図８に示したように、Ｈ．２６４の例として第１の実施形態で説明した方法と同一の予測方法で予測画像信号５２５が生成される。【０１８２】
（ラスタブロック予測の場合の双方向予測の例）  
次に、復号化制御部５１１においてラスタブロック予測が設定されており、さらに予測モードが双方向予測であった場合について説明する。双方向予測部４０３は、単方向予測で生成された予測画像信号２つを組み合わせて予測画像信号を生成する機能を有する。つまり、第１の単方向予測画像信号の予測値をＰ１、第２の単方向予測画像信号の予測値をＰ２とすると、先の式（７）を用いて予測画像信号が生成される。【０１８３】
（逆ラスタブロック予測の場合の単方向予測の例）  
次に、復号化制御部５１１において逆ラスタブロック予測が設定されており、さらに予測モードが単方向予測であった場合について説明する。図２１Ａで説明したような内挿／外挿ブロック予測では、マクロブロック内の各サブブロックの順番をラスタブロック予測から逆ラスタブロック予測に従った予測順に変更する。例えば、８×８画素ブロックについて予測を行う場合、図２２Ａに示すようにまず外角の１ブロックを外挿予測が可能なブロック（以下、外挿ブロックという）として先に予測し、次に他の３ブロックを内挿予測が可能なブロック（以下、内挿ブロックという）として予測する。すなわち、まず外挿ブロック（１）を予測し、次に内挿ブロック（２）（３）及び（４）を予測する。一方、４×４画素ブロックについて予測を行う場合、図２２Ｂに示すように外挿ブロックの予測と内挿ブロックの予測を８×８画素ブロック単位で各４×４画素ブロックについて行うことで予測順を設定する。【０１８４】
以下、４×４画素予測が選択された場合における８×８画素ブロック単位の予測処理を説明する。この予測処理では、８×８画素ブロック単位の予測が終了したら、次の８×８画素ブロックに対して予測を行う、というように８×８画素ブロック単位の予測を計４回繰り返す。【０１８５】
（外挿ブロック予測）  
外挿ブロックを予測する場合、参照画素と予測画素との距離が離れるため、参照画素の範囲は図２３Ａに示すようになる。図２３Ａにおいて画素Ａ〜Ｘ及びＺは参照画素であり、画素ａ〜ｐは予測画素である。参照画素の範囲は広がるものの、予測角度に従って参照画素をコピーすることによって予測画像信号を生成する手法については、先のラスタブロック予測の場合と同様である。具体的に、モード０（垂直予測）が選択された場合の予測画像信号生成方法は、前記の式（８）に示されている。このモード０は、参照画素Ｅ〜Ｈを利用できるときだけ選択することが可能である。モード０では、図２４に示されるように参照画素Ｅ〜Ｈが垂直方向に並ぶ予測画素にそのままコピーされることにより、予測画像信号が生成される。【０１８６】
（内挿ブロック予測）  
図２２Ａ及び図２２Ｂにおいて、内挿ブロック（２）を予測する際には、既に外挿ブロック（４）の予測が終了しているため、外挿ブロック（４）の画素を参照する予測が可能である。内挿ブロック（３）を予測する際には、外挿ブロック（４）に加えて内挿ブロック（２）の画素を参照する予測が可能である。外挿ブロック（１）を予測する際には、外挿ブロック（４）及び内挿ブロック(２）に加えて、内挿ブロック（３）の画素を参照する予測が可能である。【０１８７】
図２３Ｂ、図２３Ｃ及び図２３Ｄに、４×４画素予測における内挿ブロック（１）（２）及び（３）と参照画素との関係が示されている。画素ＲＡ〜ＲＩは図２３Ａに対して新たに追加された参照画素であり、画素ａ〜ｐは予測画素である。【０１８８】
（内挿ブロック予測における単方向予測部４０２の処理）  
単方向予測部４０２は、図２５に示されるように内挿ブロック予測について外挿ブロックにおける方向予測及び符号化済みマクロブロック内の参照画素を参照する逆方向の外挿予測の合計１７個のモードを持っており、モード２を除く１７個のモードは２２．５度ずつシフトした予測方向を有する。図７に示した外挿ブロック予測（順次ブロック予測）の予測モードに対して、逆方向の予測モードが追加されている。すなわち、垂直予測、水平予測、ＤＣ予測、対角左下予測、対角右下予測、垂直右予測、水平下予測、垂直左予測及び水平上予測の各モードは、図７と図２５とで共通である。【０１８９】
一方、図２５では図７に示すモードに加えて、逆方向垂直予測（モード９）、逆方向水平予測（モード１０）、対角右上予測（モード１１）、対角左上予測（モード１２）、逆方向垂直左予測（モード１３）、逆方向水平上予測（モード１４）、逆方向垂直右予測（モード１５）及び逆方向水平下予測（モード１６）が追加されている。【０１９０】
予測モードは、図２２Ａ及び図２２Ｂに示されるような、内挿ブロックに対する参照画素の位置関係及び参照画素の有無に応じて選択可能か否かが決定される。例えば、内挿ブロック（１）では、左右上下方向全てに参照画素が配置されているため、図２５に示されるように全てのモード０〜１６を選択することが可能である。一方、内挿ブロック（２）では、右側に参照画素が配置されていないため、モード１０、モード１４及びモード１６を選択することが不可能である。内挿ブロック（３）では、下側に参照画素が配置されていないため、モード９、モード１３及びモード１５を選択することは不可能である。【０１９１】
以下、逆ラスタブロック予測の場合に、内挿ブロック予測における単方向予測部４０２の予測画像信号生成方法について説明する。具体的には、モード９（逆方向垂直予測）が選択された場合は、下方向で最近傍に位置する参照画素から予測画像信号を生成する。内挿ブロック（１）及び内挿ブロック(２）については、式（９）に従って予測画像信号が計算される。【０１９２】
図２６Ａ及び図２６Ｂは、モード９による内挿ブロック（１）及び内挿ブロック（２）に対する予測画像信号の生成方法を示している。参照画素ＲＡ〜ＲＤが垂直方向に並ぶ予測画素にそのままコピーされることにより、予測画像信号が生成される。内挿ブロック（３）については、下方向に参照画素が存在しないためモード９を利用することはできない。【０１９３】
上述したモード９以外の予測モードについても、図２５で示される予測方向に対して、参照可能で且つ最近傍の画素から補間された予測画像信号をコピーする予測方法を用いる。予測方向に対して参照画素が配置されていない場合は、最近傍の参照画素の値をコピーして参照画素を生成して利用してもよいし、または複数の参照画素の内挿補間から仮想的な参照画素を生成し、当該仮想的な参照画素を予測に利用してもよい。【０１９４】
（逆ラスタブロック予測の場合の双方向予測の例）  
次に、復号化制御部４１４で逆ラスタブロック予測が設定されており、さらに予測モードが双方向予測であった場合について説明する。双方向予測部４０３は、逆ラスタブロック予測によって単方向予測で生成された予測画像信号２つを組み合わせて予測画像信号を生成する機能を有する。すなわち、式（７）を用いて双方向予測の予測画像信号が生成される。単方向予測として生成される予測画像信号は、図２５で示されるように各々のブロックインデックスによって示される予測モードにしたがって生成された予測画像信号５２５を指す。【０１９５】
以上のように図２０のイントラ予測部３０２では、予測方法の異なる予測部として単方向予測部４０２及び双方向予測部４０３を備え、予測順の異なる予測方法としてラスタブロック予測と逆ラスタブロック予測を備えている。また、これらの組み合わせとして外挿ブロックと内挿／外挿ブロックという概念が存在する。【０１９６】
（フィルタリング強度決定部５０８）  
本実施形態では、予測部５０４の変更に伴って、フィルタリング強度決定部５０８の判定手法も異なる。以下、本実施形態におけるフィルタリング強度決定部５０８について説明する。本実施形態におけるフィルタリング強度決定部５０８の構成は図１２と同一である。但し、予測複雑度導出部３０３に設定されている予測複雑度の導出テーブルが異なっている。【０１９７】
図２７は、本実施形態におけるイントラ予測の予測方法に関連する予測複雑度の導出テーブルの例である。単方向イントラ予測と比較して、予測複雑度の高い双方イントラ予測に対して予測複雑度が高くなっている。単方向イントラ予測は、図２４、図２５、図２６Ａ及び図２６Ｂで説明した通り、参照画素値、またはそれらを補間した画素値を予測方向にコピーするという予測方法を用いている。一方、双方向予測は単方向予測で生成された予測画像信号をフィルタリングすることによって、新たな予測画像信号を生成する。デブロッキングフィルタ処理は、予測画像信号５２５と予測誤差信号５２４を加算して生成された復号画像信号５２６のブロック境界に実施されるため、予測画像信号５２５の生成時にフィルタ処理をかける双方向予測に対しては、単方向予測よりも予測複雑度を高く設定する。これは結果として、フィルタリング強度を弱く設定していることに等しい。このような予測複雑度の設定によって、ブロック境界に過度のデブロッキングフィルタ処理が施されることを防ぐことができる。【０１９８】
図２８Ａは、本実施形態に従うイントラ予測の８×８画素ブロックでの逆ラスタブロック予測の場合のブロックの予測方法に関する予測複雑度の導出テーブルを示している。図２２Ａに示す通り、予測順に従ってインデックス０（最初に予測されるブロックのインデックス）のみ外挿ブロックとなり、他の３つのブロックは内挿／外挿ブロックとなっている。外挿ブロックは、Ｈ．２６４とほぼ同一の予測方法であるために、内挿予測が利用できる内挿／外挿ブロックよりも予測複雑度が高く設定されている。ここで、外挿ブロックでは参照画素から予測画素までの距離が遠いため、画像の空間的な性質を予測値に反映させることが難しい。すなわち、外挿ブロックでは予測誤差信号５２４が大きくなる可能性があり、ブロック境界の歪みが大きくなる傾向がある。そこで、外挿ブロックに対しては、内挿／外挿ブロックよりも予測複雑度を低く設定することによって、結果としてデブロッキングフィルタのフィルタリング強度を強めに設定する。【０１９９】
図２８Ｂは、本実施形態に従うイントラ予測の８×８画素ブロックでの逆ラスタブロック予測の場合のブロックの予測方法と参照画素との距離に関する予測複雑度の導出テーブルを示している。逆ラスタブロック予測では、図２３Ａ及び図２３Ｂで既に説明した通り、各々のサブブロックで利用できる参照画素との距離が異なる。外挿ブロックでは、前述したように内挿予測が利用できないため、複雑度が内挿／外挿ブロックに比べて低く設定される。【０２００】
図２９Ａ及び図２９Ｂは、本実施形態に従うイントラ予測の８×８画素ブロックでのブロックインデックスと参照画素数に関する予測複雑度の導出テーブルを示している。図２９Ａはラスタブロック予測の場合の例、図２９Ｂは逆ラスタブロック予測の例をそれぞれ示している。図２９Ａでは、ブロックインデックスにしたがって利用できる参照画素数が大きく変わらないため、予測複雑度は全てのブロックで同一となる。一方、図２９Ｂで示される逆ラスタブロック予測の場合、図２３Ａ、図２３Ｂ、図２３Ｃ及び図２３Ｄで説明した通り、各々のサブブロックで利用できる参照画素数が異なる。参照画素数が少ない場合は、参照画素数が多く利用できる場合に比べて予測式に利用できる画素数が減るため、予測複雑度が低くなっている。つまり、予測順が変わることによって、利用できる参照画素の数が変わるとともに、予測できる方向も変更される。この結果、予測順によって予測がしやすいブロックと予測が当たらないブロックとに傾向が現れる。そこで、予測の当たらないブロックのフィルタリング強度を高く設定するために、このような予測複雑度のテーブルが設定されている。【０２０１】
尚、図２８Ａ、図２８Ｂ、図２９Ａ及び図２９Ｂでは８×８画素ブロックのイントラ予測の場合の例を示しているが、４×４画素ブロックのイントラ予測も前述の通り同じ手法によって予測複雑度の導出テーブルを作成すればよい。【０２０２】
図１２中の予測複雑度導出部３０３では、以上の予測複雑度導出テーブルと式（４）を用いて対象ブロックの予測複雑度情報３１３と隣接ブロックの予測複雑度情報３１４が導出される。これら両方の予測複雑度情報３１３及び３１４がフィルタリング強度情報算出部３０４に入力されると、最終的な当該ブロック境界のフィルタリング強度情報５３０（ＢＳ値）は式（５）及び（６）を用いて算出される。以後、算出されたフィルタリング強度情報５３０（１３０）によってフィルタ処理が行われる手順は、第２の実施形態で説明した流れと同一である。【０２０３】
（フィルタリング強度決定方法の第１の具体例）  
次に、図３０を用いて第３の実施形態におけるフィルタリング強度決定方法の第１の具体例、特にフィルタリング強度を決定する際の判定手法について説明する。  
フィルタリング強度決定部５０８は、ブロック境界で実施されるデブロッキングフィルタ処理のために必要となる垂直及び水平方向の両方のブロック境界のフィルタリング強度を決定する(ステップＳ１００１)。フィルタリング強度の決定は、デブロッキングフィルタ処理が施される図９Ａ及び図９Ｂのブロック境界に位置する全てのブロック境界で行われる。但し、該当するブロック境界が画像の境界である場合は、デブロッキングフィルタ処理を行う必要はない。【０２０４】
まず、最初に対象ブロック境界の画素ｐ及びｑがイントラ符号化されているかどうかの判定が行われる（ステップＳ１００２）。ここで、ステップＳ１００２の判定結果がＮｏの場合、対象ブロック境界は共にインター符号化されているため、フィルタリング強度（ＢＳ値）判定処理インターマクロブロックへジャンプする(ステップＳ１００４)。ここで、インターマクロブロックのフィルタリング強度の判定は、本実施形態では開示していない他の条件にて決定される。【０２０５】
一方、ステップＳ１００２の判定結果がＹｅｓの場合、対象画素ｐまたは隣接画素ｑが逆ラスタブロック予測であるかどうかの判定を行う（ステップＳ１００３）。ステップＳ１００３の判定結果がＹｅｓの場合、今度は対象画素ｐまたは隣接画素ｑが外挿ブロックであるかどうかの判定を行う（ステップＳ１００５）。ステップＳ１００５の判定結果がＹｅｓの場合、当該対象ブロック境界のフィルタリング強度を「中」（ＢＳ≧２）に設定する（ステップＳ１００８）。一方、ステップＳ１００５の判定結果がＮｏである場合、当該対象ブロック境界のフィルタリング強度を「弱」（ＢＳ≧１）に設定する（ステップＳ１００９）。【０２０６】
一方、対象画素ｐまたは隣接画素ｑが逆ラスタブロック予測であるかどうかの判定結果がＮｏである場合、今度は対象画素ｐまたは隣接画素ｑが双方向予測であるかどうかの判定を行う（ステップＳ１００６）。ステップＳ１００６の判定結果がＹｅｓの場合、該対象ブロック境界のフィルタリング強度を「弱」（ＢＳ≧１）に設定する（ステップＳ１０１０）。ステップＳ１００６の判定結果がＮｏの場合、対象画素ｐまたは隣接画素ｑがマクロブロック境界であるかどうかの判定を行う（ステップＳ１００７）。ステップＳ１００７の判定結果がＹｅｓの場合、当該対象ブロック境界のフィルタリング強度を「強」（ＢＳ≧３）に設定する（ステップＳ１０１１）。ステップＳ１００７の判定結果がＮｏである場合、当該対象ブロック境界のフィルタリング強度を「中」（ＢＳ≧２）に設定する（ステップＳ１０１２）。【０２０７】
このようにして算出されるフィルタリング強度情報５３０は、フィルタリング強度切替スイッチ５０５に伝達され、スイッチ５０５により選択された画素フィルタによって復号画像信号５２６に対してデブロッキングフィルタ処理が行われる。【０２０８】
（フィルタリング強度決定方法の第２の具体例）  
次に、図３１を用いて第３の実施形態におけるフィルタリング強度決定方法の第２の具体例、特にフィルタリング強度を決定する際の判定手法について説明する。図３１において、図３０と同等の処理を行うステップには同じ参照符号を付与して説明を省略する。【０２０９】
ステップＳ１００２の判定結果、すなわち対象ブロック境界の画素ｐ及びｑがイントラ符号化されているかどうかの判定結果がＹｅｓの場合、対象画素ｐまたは隣接画素ｑが双方向予測であるかどうかの判定を行う（ステップＳ１１０１）。ステップＳ１１０１の判定結果がＮｏの場合、今度は対象画素ｐまたは隣接画素ｑがマクロブロック境界であるかどうかの判定を行う（ステップＳ１１０２）。ステップＳ１１０２の判定結果がＹｅｓの場合、当該対象ブロック境界のフィルタリング強度を「強」（ＢＳ≧３）に設定する（ステップＳ１１０５）。一方、ステップＳ１１０１の判定結果がＮｏである場合、当該対象ブロック境界のフィルタリング強度を「中」（ＢＳ≧２）に設定する（ステップＳ１１０６）。【０２１０】
一方、ステップＳ１００１の判定結果、すなわち対象画素ｐまたは隣接画素ｑが双方向予測であるかどうかの判定結果がＹｅｓである場合、今度は対象画素ｐまたは隣接画素ｑが逆ラスタブロック予測であるかどうかの判定を行う（ステップＳ１１０３）。ステップＳ１１０３の判定結果がＮｏの場合、該対象ブロック境界のフィルタリング強度を「弱」（ＢＳ≧１）に設定する（ステップＳ１１０７）。ステップＳ１１０３の判定結果がＹｅｓの場合、対象画素ｐまたは隣接画素ｑが外挿ブロックであるかどうかの判定を行う（ステップＳ１１０４）。【０２１１】
ステップＳ１１０４の判定結果がＹｅｓの場合、当該対象ブロック境界のフィルタリング強度を「中」（ＢＳ≧２）に設定する（ステップＳ１１０９）。ステップＳ１１０４の判定結果がＮｏである場合、当該対象ブロック境界のフィルタリング強度を「弱」（ＢＳ≧１）に設定する（ステップＳ１１０８）。【０２１２】
このようにして算出されるフィルタリング強度情報５３０は、フィルタリング強度切替スイッチ５０５に伝達され、スイッチ５０５により選択された画素フィルタによって復号画像信号５２６に対してデブロッキングフィルタ処理が行われる。【０２１３】
以上説明したように、第３及び第４の実施形態では予測複雑度に応じてデブロッキングフィルタ処理のフィルタリング強度を決定することによって、過度のフィルタ処理が施されることによりブロック境界で原画像とデコード画像の画質差が大きくなることを防ぎ、もって符号化効率を向上させると共に主観画質も向上するという効果を奏する。【０２１４】
尚、選択されたモードでの符号化の際、復号画像信号の生成は選択されたモードについてのみ行えばよく、予測モード判定のためのループ内では必ずしも実行しなくてもよい。【０２１５】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【産業上の利用可能性】
【０２１６】
本発明は、動画像や静止画像の高能率圧縮符号化／復号技術に利用することが可能である。
【図１】
2009001793.tif 000012
【図２】
2009001793.tif 000013
【図３】
2009001793.tif 000014
【図４】
2009001793.tif 000015
【図５Ａ】
2009001793.tif 000016
【図５Ｂ】
2009001793.tif 000017
【図６】
2009001793.tif 000018
【図７】
2009001793.tif 000019
【図８】
2009001793.tif 000020
【図９Ａ】
2009001793.tif 000021
【図９Ｂ】
2009001793.tif 000022
【図１０】
2009001793.tif 000023
【図１１】
2009001793.tif 000024
【図１２】
2009001793.tif 000025
【図１３Ａ】
2009001793.tif 000026
【図１３Ｂ】
2009001793.tif 000027
【図１４Ａ】
2009001793.tif 000028
【図１４Ｂ】
2009001793.tif 000029
【図１５Ａ】
2009001793.tif 000030
【図１５Ｂ】
2009001793.tif 000031
【図１６】
2009001793.tif 000032
【図１７】
2009001793.tif 000033
【図１８】
2009001793.tif 000034
【図１９】
2009001793.tif 000035
【図２０】
2009001793.tif 000036
【図２１Ａ】
2009001793.tif 000037
【図２１Ｂ】
2009001793.tif 000038
【図２２Ａ】
2009001793.tif 000039
【図２２Ｂ】
2009001793.tif 000040
【図２３Ａ】
2009001793.tif 000041
【図２３Ｂ】
2009001793.tif 000042
【図２３Ｃ】
2009001793.tif 000043
【図２３Ｄ】
2009001793.tif 000044
【図２４】
2009001793.tif 000045
【図２５】
2009001793.tif 000046
【図２６Ａ】
2009001793.tif 000047
【図２６Ｂ】
2009001793.tif 000048
【図２７】
2009001793.tif 000049
【図２８Ａ】
2009001793.tif 000050
【図２８Ｂ】
2009001793.tif 000051
【図２９Ａ】
2009001793.tif 000052
【図２９Ｂ】
2009001793.tif 000053
【図３０】
2009001793.tif 000054
【図３１】
2009001793.tif 000055
【図３２】
2009001793.tif 000056
【国際調査報告】
2009001793.tif 000057
2009001793.tif 000058
2009001793.tif 000059
2009001793.tif 000060