(57)【要約】【課題】画像処理装置及び画像処理方法を提供する。【解決手段】符号化ストリームを復号して復号画像を生成する復号部と、デブロックフィルタの適用範囲が拡張された拡張適用範囲に適用する拡張ストロングフィルタを、前記復号部により生成された前記復号画像のブロック境界の近傍に位置する画素に適用するかを、前記拡張適用範囲に含まれる画素の状態に従って判定する判定部と、前記判定部により前記拡張ストロングフィルタを適用すると判定された画素に、前記拡張ストロングフィルタを適用するフィルタリング部と、備える、画像処理装置。【選択図】図１２
2018123423.tif 000002
【特許請求の範囲】
【請求項１】
符号化ストリームを復号して復号画像を生成する復号部と、
デブロックフィルタの適用範囲が拡張された拡張適用範囲に適用する拡張ストロングフィルタを、前記復号部により生成された前記復号画像のブロック境界の近傍に位置する画素に適用するかを、前記拡張適用範囲に含まれる画素の状態に従って判定する判定部と、
前記判定部により前記拡張ストロングフィルタを適用すると判定された画素に、前記拡張ストロングフィルタを適用するフィルタリング部と、
を備える、画像処理装置。
【請求項２】
前記判定部は前記拡張適用範囲に含まれる画素を参照して、前記拡張ストロングフィルタを適用するかを判定する、請求項１に記載の画像処理装置。
【請求項３】
前記判定部は、前記拡張ストロングフィルタを適用しないと判定した画素に対して、前記拡張ストロングフィルタよりも適用範囲の狭いストロングフィルタを適用するかを判定する、請求項１に記載の画像処理装置。
【請求項４】
前記判定部は、前記ブロック境界を基準にして片側ごとに、前記拡張ストロングフィルタを適用するかを判定する、請求項１に記載の画像処理装置。
【請求項５】
前記判定部は、前記拡張ストロングフィルタよりも適用範囲の狭いストロングフィルタに係る判定条件が満たされた場合に、前記ブロック境界の片側ごとに、前記拡張ストロングフィルタを適用するかを判定する、請求項４に記載の画像処理装置。
【請求項６】
前記フィルタリング部は、低域成分に係るフィルタ係数と高域成分に係るフィルタ係数を統合することで得られるフィルタ係数を有する前記拡張ストロングフィルタを適用する、請求項１に記載の画像処理装置。
【請求項７】
前記低域成分に係るフィルタ係数は、低域特性の強いフィルタ係数である、請求項６に記載の画像処理装置。
【請求項８】
前記フィルタリング部は、フィルタのタップ形状が非対称である非対称な拡張ストロングフィルタを適用する、請求項１に記載の画像処理装置。
【請求項９】
前記判定部は、前記拡張適用範囲に含まれる画素値の連続性を判定する際に用いる画素が連続的に拡張された条件に従って、拡張適用範囲に含まれる画素値の連続性を判定する連続性判定処理を行う、請求項１に記載の画像処理装置。
【請求項１０】
前記判定部は、前記ブロック境界の状態に応じて、前記拡張適用範囲に含まれる画素値の連続性を判定する連続性判定処理を独立して行う、請求項８に記載の画像処理装置。
【請求項１１】
前記ブロック境界は、四分木構造と二分木との組み合わせに従って再帰的に分割されたブロックの境界である、請求項１に記載の画像処理装置。
【請求項１２】
符号化ストリームを復号して復号画像を生成することと、
デブロックフィルタの適用範囲が拡張された拡張適用範囲に適用する拡張ストロングフィルタを、生成された前記復号画像のブロック境界の近傍に位置する画素に適用するかを、前記拡張適用範囲に含まれる画素の状態に従って判定することと、
前記拡張ストロングフィルタを適用すると判定された画素に、前記拡張ストロングフィルタを適用することと、
を含む画像処理方法。
【請求項１３】
ローカル復号された復号画像のブロック境界の近傍に位置する画素に適用されるデブロックフィルタの適用範囲が拡張された拡張適用範囲に適用する拡張ストロングフィルタを、前記復号画像のブロック境界の近傍に位置する画素に適用するかを、前記拡張適用範囲に含まれる画素の状態に従って判定する判定部と、
前記判定部により前記拡張ストロングフィルタを適用すると判定された画素に、前記拡張ストロングフィルタを適用するフィルタリング部と、
前記フィルタリング部により前記拡張ストロングフィルタが適用された前記復号画像を用いて、画像を符号化する符号化部と、
を備える画像処理装置。
【請求項１４】
ローカル復号された復号画像のブロック境界の近傍に位置する画素に適用されるデブロックフィルタの適用範囲が拡張された拡張適用範囲に適用する拡張ストロングフィルタを、前記復号画像のブロック境界の近傍に位置する画素に適用するかを、前記拡張適用範囲に含まれる画素の状態に従って判定することと、
前記拡張ストロングフィルタを適用すると判定された画素に、前記拡張ストロングフィルタを適用することと、
前記拡張ストロングフィルタが適用された前記復号画像を用いて、画像を符号化することと、
を含む画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
映像符号化方式の標準仕様の１つであるＨ．２６５／HEVCでは、画像の符号化の際に生じるブロック歪みに起因する画質の劣化を抑制するために、例えばブロック境界にデブロックフィルタが適用される（非特許文献１参照）。デブロックフィルタには、ストロングフィルタとウィークフィルタがあり、ブロック境界に対して、それぞれのフィルタの判定式を用いて、いずれのフィルタを適用するかが判定される。【０００３】
また、現在、Ｈ．２６５／HEVCよりも符号化効率をさらに向上することを目的として、ＩＴＵ−ＴとＩＳＯ／ＩＥＣとの共同の標準化団体であるＪＶＥＴ（Joint  Video  Exploration  Team）により、次世代の映像符号化方式であるＦＶＣ（Future  Video  Coding）の標準化作業が行われている（例えば、非特許文献２参照）。【０００４】
ＦＶＣの標準化作業では、下記非特許文献３において、Ｈ．２６５／HEVCにおけるストロングフィルタよりも適用範囲の広いデブロックフィルタを適用することが提案されている。非特許文献３において提案された手法では、フィルタの適用範囲を、ブロック境界の近傍に位置する３画素から７画素にすることで、より強いフィルタを適用することが可能である。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Recommendation  ITU-T  H.265,（０４／２０１５）  “High  efficiency  video  coding”,  April  2015
【非特許文献２】J.  Chen，  E.  Alshina，  G.  J.  Sullivan，  J.-R.  Ohm，  J.  Boyce，“Algorithm  Description  of  Joint  Exploration  Test  Model  4”，  JVET-D1001_v3，  Joint  Video  Exploration  Team  (JVET)  of  ITU−T  SG  16  WP  3  and  ISO/IEC  JTC  1/SC  29/WG  11  4th  Meeting:Chengdu,  CN,  15−21  October  2016
【非特許文献３】K.  Kawamura，S.  Naito，“Extended  deblocking-filter  decision  for  large  block  boundary”，  JVET-D0047，  Joint  Video  Exploration  Team  (JVET)  of  ITU−T  SG  16  WP  3  and  ISO/IEC  JTC  1/SC  29/WG  11  4th  Meeting:Chengdu,  CN,  15−21  October  2016
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来のフィルタの判定方法では、不適切なフィルタが適用されてしまう恐れがあった。例えば、過度に強いフィルタが適用されてしまい、デブロックフィルタの適用によりPSNR（Peak  signal-to-noise  ratio）が大きく低下してしまう場合があった。【０００７】
本開示は、このような状況に鑑みてなされたものであり、デブロックフィルタ処理において、より適切なフィルタを適用することが可能である。
【課題を解決するための手段】
【０００８】
本開示によれば、符号化ストリームを復号して復号画像を生成する復号部と、デブロックフィルタの適用範囲が拡張された拡張適用範囲に適用する拡張ストロングフィルタを、前記復号部により生成された前記復号画像のブロック境界の近傍に位置する画素に適用するかを、前記拡張適用範囲に含まれる画素の状態に従って判定する判定部と、前記判定部により前記拡張ストロングフィルタを適用すると判定された画素に、前記拡張ストロングフィルタを適用するフィルタリング部と、を備える、画像処理装置が提供される。【０００９】
また、本開示によれば、符号化ストリームを復号して復号画像を生成することと、デブロックフィルタの適用範囲が拡張された拡張適用範囲に適用する拡張ストロングフィルタを、生成された前記復号画像のブロック境界の近傍に位置する画素に適用するかを、前記拡張適用範囲に含まれる画素の状態に従って判定することと、前記拡張ストロングフィルタを適用すると判定された画素に、前記拡張ストロングフィルタを適用することと、を含む画像処理方法が提供される。【００１０】
また、本開示によれば、ローカル復号された復号画像のブロック境界の近傍に位置する画素に適用されるデブロックフィルタの適用範囲が拡張された拡張適用範囲に適用する拡張ストロングフィルタを、前記復号画像のブロック境界の近傍に位置する画素に適用するかを、前記拡張適用範囲に含まれる画素の状態に従って判定する判定部と、前記判定部により前記拡張ストロングフィルタを適用すると判定された画素に、前記拡張ストロングフィルタを適用するフィルタリング部と、前記フィルタリング部により前記拡張ストロングフィルタが適用された前記復号画像を用いて、画像を符号化する符号化部と、を備える画像処理装置が提供される。【００１１】
また、本開示によれば、ローカル復号された復号画像のブロック境界の近傍に位置する画素に適用されるデブロックフィルタの適用範囲が拡張された拡張適用範囲に適用する拡張ストロングフィルタを、前記復号画像のブロック境界の近傍に位置する画素に適用するかを、前記拡張適用範囲に含まれる画素の状態に従って判定することと、前記拡張ストロングフィルタを適用すると判定された画素に、前記拡張ストロングフィルタを適用することと、前記拡張ストロングフィルタが適用された前記復号画像を用いて、画像を符号化することと、を含む画像処理方法が提供される。
【発明の効果】
【００１２】
以上説明したように本開示によれば、デブロックフィルタ処理において、より適切なフィルタを適用することが可能である。【００１３】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１４】
【図１】HEVCにおけるＣＵについての再帰的なブロック分割の概要を説明するための説明図である。
【図２】ＣＵへのＰＵの設定について説明するための説明図である。
【図３】ＣＵへのＴＵの設定について説明するための説明図である。
【図４】ＣＵ／ＰＵの走査順について説明するための説明図である。
【図５】ＱＴＢＴにおけるＣＵ、ＰＵ、およびＴＵの形状について説明する図である。
【図６】垂直境界を挟んで隣接し、４×４画素からなる２つのブロックＢｐ及びＢｑ内の画素の一例を示す説明図である。
【図７】HEVCにおける強フィルタの判定処理を説明するための説明図である。
【図８】既提案フィルタが適用されるブロック境界の一例を示す説明図である。
【図９】図８に示す領域Ｈ１０を拡大した模式図である。
【図１０】本開示の一実施形態に係る画像処理装置の一態様である画像符号化装置１０の構成の一例を示すブロック図である。
【図１１】同実施形態に係る画像処理装置の一態様である画像復号装置６０の構成の一例を示すブロック図である。
【図１２】第１の実施例に係るデブロックフィルタ２４の詳細な構成の一例を示すブロック図である。
【図１３】拡張強フィルタを適用するか否か判定するための判定処理を説明するための説明図である。
【図１４】フィルタリング部１３０が適用する拡張強フィルタの一例について説明するための説明図である。
【図１５】第１の実施例によるフィルタリング部１３０が適用する拡張強フィルタのフィルタ係数の導出の考え方について説明するための説明図である。
【図１６】第１の実施例によるフィルタリング部１３０が適用する拡張強フィルタのフィルタ係数の導出の考え方について説明するための説明図である。
【図１７】第１の実施例に係るデブロックフィルタ２４による処理の流れの一例を示すフローチャートである。
【図１８】変形例に係る説明図である。
【図１９】変形例に係る説明図である。
【図２０】拡張強フィルタを適用するか否か判定するための判定処理を説明するための説明図である。
【図２１】変形例においてフィルタリング部１３０が適用する非対称なデブロックフィルタの一例を示す説明図である。
【図２２】第２の実施例に係るデブロックフィルタ２４による処理の流れの一例を示すフローチャートである。
【図２３】ステップＳ２３０の処理を説明するためのフローチャート図である。
【図２４】変形例に係る説明図である
【図２５】変形例に係る説明図である
【図２６】コンピュータの主な構成例を示すブロック図である。
【図２７】テレビジョン装置の概略的な構成の一例を示すブロック図である。
【図２８】携帯電話機の概略的な構成の一例を示すブロック図である。
【図２９】記録再生装置の概略的な構成の一例を示すブロック図である。
【図３０】撮像装置の概略的な構成の一例を示すブロック図である。
【図３１】ビデオセットの概略的な構成の一例を示すブロック図である。
【図３２】ビデオプロセッサの概略的な構成の一例を示すブロック図である。
【図３３】ビデオプロセッサの概略的な構成の他の例を示すブロック図である。
【図３４】ネットワークシステムの概略的な構成の一例を示すブロック図である。
【発明を実施するための形態】
【００１５】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１６】
また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
【００１７】
なお、説明は以下の順序で行うものとする。
１．背景
１−１．ブロック構造
１−２．既存のデブロックフィルタ
２．装置の概要
２−１．画像符号化装置
２−２．画像復号装置
３．第１の実施例
３−１．デブロックフィルタの構成例
３−２．処理の流れ
３−３．変形例
４．第２の実施例
４−１．デブロックフィルタの構成例
４−２．処理の流れ
４−３．変形例
５．ハードウエア構成例
６．応用例
７．まとめ
【００１８】
＜１．背景＞
［１−１．ブロック構造］
ＭＰＥＧ２又はＨ．２６４／ＡＶＣなどの旧来の画像符号化方式では、符号化処理は、マクロブロックと呼ばれる処理単位で実行される。マクロブロックは、１６×１６画素の均一なサイズを有するブロックである。これに対し、HEVCでは、符号化処理は、符号化単位（ＣＵ：Coding  Unit）と呼ばれる処理単位で実行される。ＣＵは、ＣＴＵ（Coding  Tree  Unit）を再帰的に分割することにより形成される、可変的なサイズを有するブロックである。選択可能なＣＵの最大サイズは、６４×６４画素である。選択可能なＣＵの最小サイズは、８×８画素である。
【００１９】
可変的なサイズを有するＣＵが採用される結果、HEVCでは、画像の内容に応じて画質及び符号化効率を適応的に調整することが可能である。予測符号化のための予測処理は、予測単位（ＰＵ：Prediction  Unit）と呼ばれる処理単位で実行される。ＰＵは、ＣＵをいくつかの分割パターンのうちの１つで分割することにより形成される。さらに、直交変換処理は、変換単位（ＴＵ：Transform  Unit）と呼ばれる処理単位で実行される。ＴＵは、ＣＵ又はＰＵをある深さまで分割することにより形成される。
【００２０】
図１は、HEVCにおけるＣＵについての再帰的なブロック分割の概要を説明するための説明図である。ＣＵのブロック分割は、１つのブロックの４（＝２×２）個のサブブロックへの分割を再帰的に繰り返すことにより行われ、結果として四分木（Quad-Tree）状のツリー構造が形成される。１つの四分木の全体をＣＴＢ（Coding  Tree  Block）といい、ＣＴＢに対応する論理的な単位をＣＴＵという。図１の上部には、一例として、６４×６４画素のサイズを有するＣＵ  Ｃ０１が示されている。ＣＵ  Ｃ０１の分割の深さは、ゼロに等しい。これは、ＣＵ  Ｃ０１がＣＴＵのルートに相当することを意味する。ＣＴＵ又はＣＴＢのサイズは、ＳＰＳ（Sequence  Parameter  Set）において符号化されるパラメータにより指定され得る。ＣＵ  Ｃ０２は、ＣＵ  Ｃ０１から分割される４つのＣＵのうちの１つであり、３２×３２画素のサイズを有する。ＣＵ  Ｃ０２の分割の深さは、１に等しい。ＣＵ  Ｃ０３は、ＣＵ  Ｃ０２から分割される４つのＣＵのうちの１つであり、１６×１６画素のサイズを有する。ＣＵ  Ｃ０３の分割の深さは、２に等しい。ＣＵ  Ｃ０４は、ＣＵ  Ｃ０３から分割される４つのＣＵのうちの１つであり、８×８画素のサイズを有する。ＣＵ  Ｃ０４の分割の深さは、３に等しい。このように、ＣＵは、符号化される画像を再帰的に分割することにより形成される。分割の深さは、可変的である。例えば、青空のような平坦な画像領域には、より大きいサイズの（即ち、深さが小さい）ＣＵが設定され得る。一方、多くのエッジを含む急峻な画像領域には、より小さいサイズの（即ち、深さが大きい）ＣＵが設定され得る。そして、設定されたＣＵの各々が、符号化処理の処理単位となる。
【００２１】
ＰＵは、イントラ予測及びインター予測を含む予測処理の処理単位である。ＰＵは、ＣＵをいくつかの分割パターンのうちの１つで分割することにより形成される。図２は、図１に示したＣＵへのＰＵの設定について説明するための説明図である。図２の右には、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ及びｎＲ×２Ｎという、８種類の分割パターンが示されている。これら分割パターンのうち、イントラ予測では、２Ｎ×２Ｎ及びＮ×Ｎの２種類が選択可能である（Ｎ×ＮはＳＣＵでのみ選択可能）。一方、インター予測では、非対称動き分割が有効化されている場合に、８種類の分割パターンの全てが選択可能である。
【００２２】
ＴＵは、直交変換処理の処理単位である。ＴＵは、ＣＵ（イントラＣＵについては、ＣＵ内の各ＰＵ）をある深さまで分割することにより形成される。図３は、図１に示したＣＵへのＴＵの設定について説明するための説明図である。図３の右には、ＣＵ  Ｃ０２に設定され得る１つ以上のＴＵが示されている。例えば、ＴＵ  Ｔ０１は、３２×３２画素のサイズを有し、そのＴＵ分割の深さはゼロに等しい。ＴＵ  Ｔ０２は、１６×１６画素のサイズを有し、そのＴＵ分割の深さは１に等しい。ＴＵ  Ｔ０３は、８×８画素のサイズを有し、そのＴＵ分割の深さは２に等しい。
【００２３】
上述したＣＵ、ＰＵ及びＴＵといったブロックを画像に設定するためにどのようなブロック分割を行うかは、典型的には、符号化効率を左右するコストの比較に基づいて決定される。エンコーダは、例えば１つの２Ｍ×２Ｍ画素のＣＵと、４つのＭ×Ｍ画素のＣＵとの間でコストを比較し、４つのＭ×Ｍ画素のＣＵを設定した方が符号化効率が高いならば、２Ｍ×２Ｍ画素のＣＵを４つのＭ×Ｍ画素のＣＵへと分割することを決定する。
【００２４】
画像を符号化する際、画像（又はスライス、タイル）内に格子状に設定されるＣＴＢ（又はＬＣＵ）が、ラスタスキャン順に走査される。１つのＣＴＢの中では、ＣＵは、四分木を左から右、上から下に辿るように走査される。カレントブロックを処理する際、上及び左の隣接ブロックの情報が入力情報として利用される。図４は、ＣＵ／ＰＵの走査順について説明するための説明図である。図４の左上には、１つのＣＴＢに含まれ得る４つのＣＵ  Ｃ１０、Ｃ１１、Ｃ１２及びＣ１３が示されている。各ＣＵの枠内の数字は、処理の順序を表現している。符号化処理は、左上のＣＵ  Ｃ１０、右上のＣＵ  Ｃ１１、左下のＣＵ  Ｃ１２、右下のＣＵ  Ｃ１３の順で実行される。図４の右には、ＣＵ  Ｃ１１に設定され得るインター予測のための１つ以上のＰＵが示されている。図４の下には、ＣＵ  Ｃ１２に設定され得るイントラ予測のための１つ以上のＰＵが示されている。これらＰＵの枠内の数字に示したように、ＰＵもまた、左から右、上から下に辿るように走査される。
【００２５】
以上、HEVCにおけるブロック分割について説明した。続いて、JVET-C0024,  “EE2.1:  Quadtree  plus  binary  tree  structure  integration  with  JEM  tools”に記載されたブロック構造であるＱＴＢＴについて説明する。図５は、ＱＴＢＴにおけるＣＵ、ＰＵ、およびＴＵの形状について説明する図である。
【００２６】
具体的には、ＣＵのブロック分割では、１つのブロックを４（=2x2）個だけでなく、２（=1x2,2x1）個のサブブロックにも分割することができる。即ち、ＣＵのブロック分割は、１つのブロックを４個または２個のサブブロックへの分割を再帰的に繰り返すことにより行われ、結果として四分木（Quad-Tree）状または水平方向もしくは垂直方向の二分木（Binary-Tree）状のツリー構造が形成される。上述のように、ブロックは四分木と二分木の組み合わせに従って再帰的に分割され得る。
【００２７】
その結果、ＣＵの形状は、正方形だけでなく、長方形である可能性がある。例えば、CＴＵ(Coding  Tree  Unit)サイズが128x128である場合、ＣＵのサイズ（水平方向のサイズｗ×垂直方向のサイズｈ）は、図５に示すように、128x128,64x64,32x32,16x16,8x8,4x4といった正方形のサイズだけでなく、128x64,128x32,128x16,128x8,128x4,64x128,32x128,16x128,8x128,4x128,64x32,64x16,64x8,64x4,32x64,16x64,8x64,4x64,32x16,32x8,32x4,16x32,8x32,4x32,16x8,16x4,8x16,4x16,8x4,4x8といった長方形のサイズである可能性がある。なお、非特許文献２では、ＰＵとＴＵは、ＣＵと同一である。しかしながら、ＣＵ、ＰＵ、ＴＵのブロック構造はそれぞれ独立した形態も考えられる。本技術は、ＣＵ、ＰＵ、ＴＵが同一のブロック構造に対して適用できるだけではなく、ＣＵ、ＰＵ、ＴＵが独立したブロック構造に対しても適用できる。
【００２８】
なお、本明細書においては、画像（ピクチャ）の部分領域や処理単位として「ブロック」を用いて説明する場合がある（処理部のブロックではない）。この場合の「ブロック」は、ピクチャ内の任意の部分領域を示し、その大きさ、形状、および特性等は限定されない。つまり、この場合の「ブロック」には、例えば、ＴＵ、ＰＵ、ＣＵ、ＣＴＵ、ＣＴＢ、タイル、又はスライス等、任意の部分領域（処理単位）が含まれるものとする。
【００２９】
また、本明細書においてブロック境界とは、上述したいずれのブロックの境界であってもよく、例えば上述したHEVCにおけるブロック分割により分割されたブロックの境界、ＱＴＢＴにおけるブロック分割により分割されたブロックの境界を含む。さらに、本技術は、JVET-D0117，"Multi-Type-Tree"に記載のブロック構造とブロック境界に対しても適用可能である。
【００３０】
［１−２．既存のデブロックフィルタ］
次に、既存のデブロックフィルタについて説明する。HEVCなどの既存の画像符号化方式におけるデブロックフィルタによる処理は、フィルタリング要否判定処理、フィルタ強度の判定処理、及びフィルタリング処理を含む。以下では、HEVCを例にフィルタリング要否判定処理、フィルタ強度の判定処理、及びフィルタリング処理の説明を行う。
【００３１】
（１）HEVCのフィルタリング要否判定処理
フィルタリング要否判定処理は、入力画像のブロック境界の４ラインごとにデブロックフィルタを適用すべきか否かを判定する処理である。ブロック境界が垂直境界である場合には、上記ラインは、垂直境界と直交する行に相当する。また、ブロック境界が水平境界である場合には、上記ラインは、水平境界と直交する列に相当する。
【００３２】
図６は、垂直境界を挟んで隣接し、４×４画素からなる２つのブロックＢｐ及びＢｑ内の画素の一例を示す説明図である。ここでは垂直境界を例にとって説明するが、当然ながら、ここで説明された事項は水平境界にも同等に適用可能である。図６の例において、ブロックＢｐ内の画素は、ｐｉｊという記号で示されている。ｉは列のインデックス、ｊは行のインデックスである。列のインデックスｉは、垂直境界に近い列から順に（左から右へ）０，１，２，３と付番されている。行のインデックスｊは、上から下へ０，１，２，３と付番されている。一方、ブロックＢｂ内の画素は、ｑｋｊという記号で示されている。ｋは列のインデックス、ｊは行のインデックスである。列のインデックスｋは、垂直境界に近い列から順に（右から左へ）０，１，２，３と付番されている。
【００３３】
図６に示したブロックＢｐ及びＢｑの間の垂直境界について、デブロックフィルタを適用すべきか否かは、次のような条件に従って判定され得る：
【００３４】
・判定条件・・・条件Ｍ及び条件Ｎがいずれも真なら適用
−条件Ｍ：
（Ｍ１）ブロックＢｐ又はＢｑがイントラ予測モードである；
（Ｍ２）ブロックＢｐ又はＢｑが非ゼロの直交変換係数を有し、ブロックＢｐ及びＢｑの間の境界がＴＵの境界である
（Ｍ３）ブロックＢｐ及びＢｑのブロックの動きベクトルの差の絶対値が１画素以上である；又は
（Ｍ４）ブロックＢｐ及びＢｑのブロックの動き補償の参照画像が異なるか、動きベクトルの数が異なる
−条件Ｎ：
|p20-2*p10+p00|+|p23-2*q13+p03|+|p20-2*q10+q00|+|q23-2*q13+q03|＜β
【００３５】
なお、条件Ｎにおけるβは、エッジ判定閾値である。βの初期値は、量子化パラメータに応じて与えられる。またβの値は、スライスヘッダ内のパラメータでユーザにより指定可能である。
【００３６】
即ち、図６において破線枠Ｌ１１及びＬ１４で示しているように、フィルタリング要否判定処理（特に条件Ｎの判定）では、各ブロックの１ライン目及び４ライン目の行（最も上の行を１ライン目とする）の画素が参照される。同様に、水平境界についてのフィルタリング要否判定処理では、各ブロックの１ライン目及び４ライン目の列の画素（図６には示していない）が参照される。そして、上述した判定条件に従ってデブロックフィルタを適用すべきと判定された境界について、次に説明するフィルタリング強度判定処理が行われる。
【００３７】
（２）HEVCのフィルタ強度の判定処理
ある境界についてデブロックフィルタを適用すべきと判定されると、適用されるフィルタ強度の判定処理が行われる。HEVCでは、ストロングフィルタ（以下、強フィルタと呼ぶ場合がある）とウィークフィルタ（以下、弱フィルタと呼ぶ場合がある）のそれぞれについて適用の判定処理が行われる。
【００３８】
強フィルタの判定処理は、フィルタリング要否判定処理と同様に４ライン単位で行われる。例えば図６に示す例では、破線枠Ｌ１１及びＬ１４で示された各ブロックの１番ライン目及び４ライン目の行の画素が参照されて、強フィルタの判定処理が行われる。
【００３９】
なお、以下では、ラインのインデックス（垂直境界における行のインデックス、及び水平境界における列のインデックス）については適宜省略するが、４ライン単位の判定処理を行うと説明した場合には、各ブロックの１番ライン目及び４ライン目の行の画素が参照されるものとする。
【００４０】
図７は、HEVCにおける強フィルタの判定処理を説明するための説明図である。図７に示すｐ０〜ｐ３、及びｑ０〜ｑ３はそれぞれブロックＢｐ，Ｂｑの画素値の例である。
【００４１】
HEVCにおける強フィルタの判定処理では、以下の条件Ａ１、Ｂ１、Ｃ１が用いられる。
【００４２】
（Ａ１）|p3-p0|+|q3-q0|＜(β>>3)
（Ｂ１）|p2-2*p1+p0|+|q2-2*q1+q0|＜(β>>2)
（Ｃ１）|p0-q0|＜((tc*5+1)>>1)
【００４３】
上記の条件Ａ１、Ｂ１、Ｃ１で参照される画素の範囲は、それぞれ図７に示した範囲Ａ１、Ｂ１，Ｃ１と対応している。図７に示すように、条件Ａ１と条件Ｂ１は、ブロック内の画素値を用いて判定している。より具体的には条件Ａ１は、ブロック内の平坦度の判定を行う条件である。また、条件Ｂ１は、ブロック内の連続性の判定を行う条件である。また、条件Ｃ３は、ブロック境界に隣接する画素値を用いて、ブロック間の変化量（ギャップ）を判定している。
【００４４】
１ライン目と４ライン目の両方において、上記の条件Ａ１、Ｂ１、Ｃ１の全てが満たされる場合に、４ライン単位のブロック境界に強フィルタが適用され、いずれか一つでも満たされない場合には、弱フィルタの判定処理が１ラインごとに行われる。
【００４５】
HEVCにおける強フィルタは以下のように表される。
【００４６】
p0′=Clip3(p0-2*tc,p0+2*tc,(p2+2*p1+2*p0+2*q0+q1+4)>>3)
q0′=Clip3(q0-2*tc,q0+2*tc,(p1+2p0+2q0+2q1+q2+4)>>3)
p1′=Clip3(p1-2*tc,p1+2*tc,(p2+p1+p0+q0+2)>>2)
q1′=Clip3(q1-2*tc,q1+2*tc,(p0+q0+q1+q2+2)>>2)
p2′=Clip3(p2-2*tc,p2+2*tc,(2*p3+3*p2+p1+p0+q0+4)>>3)
q2′=Clip3(q2-2*tc,q2+2*tc,(p0+q0+q1+3*q2+2*q3+4)>>3)
【００４７】
なお、pi′、及びqk′は、デブロックフィルタ適用後の画素値である。また、Clip3(a,b,c)は、値cをa≦c≦bの範囲でクリップする処理を表す。
【００４８】
しかし、フラットな領域（領域内の画素値の変化が小さい領域）におけるブロックのサイズが大きい場合ブロック歪みが発生しやすく、上記のような強フィルタを適用しても、十分にブロック歪みを軽減できない場合があった。また、上述したように、HEVCでは、ＭＰＥＧ２又はＨ．２６４／ＡＶＣなどの旧来の画像符号化方式におけるマクロブロックよりも大きなサイズのブロックが選択され得る。さらに、上述したＱＴＢＴでは、HEVCにおけるＣＴＵよりもさらに大きなサイズのブロックが選択され得る。このような状況に鑑み、より強いデブロックフィルタが求められている。
【００４９】
例えば、非特許文献３では、大きなサイズのブロックに係るブロック境界において、よりブロック歪みを削減するため、上述した強フィルタよりも適用範囲の広いフィルタを適用することが提案されている。非特許文献３において提案された手法では、強フィルタと比べ、各ブロックにおけるフィルタの適用範囲が、ブロック境界の近傍に位置する３画素から７画素に拡張されており、より強いフィルタを適用することが可能である。
【００５０】
非特許文献３において提案されたフィルタ（以下、既提案フィルタと呼ぶ場合がある）は、以下のように表される。なお、以下に示すのはブロックＢｐ側のフィルタ適用後の画素値である。
【００５１】
p6′=Clip3(p6-2*tc,p6+2*tc,(3*p7+5*p6+2*p5+p4+p3+p2+p1+p0+q0+8)>>4)
p5′=Clip3(p5-2*tc,p5+2*tc,(p7+2*p6+5*p5+2*p4+p3+p2+p1+p0+q0+q1+8)>>4)
p4′=Clip3(p4-2*tc,p4+2*tc,(p6+3*p5+3*p4+3*p3+p2+p1+p0+q0+q1+q2+8)>>4)
p3′=Clip3(p3-2*tc,p3+2*tc,(p6+2*p5+2*p4+2*p3+2*p2+2*p1+p0+q0+q1+q2+q3+8)>>4)
p2′=Clip3(p2-2*tc,p2+2*tc,(p5+2*p4+2*p3+2*p2+2*p1+2*p0+2*q0+q1+q2+q3+8)>>4)
p1′=Clip3(p1-2*tc,p1+2*tc,(p5+p4+2*p3+2*p2+2*p1+2*p0+2*q0+2*q1+q2+q3+8)>>4)
p0′=Clip3(p0-2*tc,p0+2*tc,(p4+2*p3+2*p2+2*p1+2*p0+2*q0+2*q1+2*q2+q3+8)>>4)
【００５２】
上記のように、既提案フィルタでは、フィルタ適用範囲が広くなると共に、フィルタリング時に参照するタップ範囲もHEVCにおける強フィルタより広くなっている。
【００５３】
また、非特許文献３によれば、既提案フィルタは、次のような条件Ｒ１〜Ｒ３の全てが真である場合に適用される。
【００５４】
（Ｒ１）ブロック境界を挟む２つのブロックのブロック境界に垂直な方向のサイズが所定の閾値（非特許文献３では１６）以上である
（Ｒ２）HEVCの強フィルタの適用条件が満たされている
（Ｒ３）ブロック境界を挟む２つのブロックのうち、少なくとも一方のブロックがイントラ予測モードである
【００５５】
上記の条件Ｒ１〜Ｒ３のうち、画素値を参照している判定条件はＲ２だけである。また、図７を参照して説明したように、条件Ｒ２の強フィルタの適用条件は、各ブロックにおけるブロック境界の近傍に位置する４画素のみを参照しており、非特許文献３で提案されているフィルタの適用範囲よりも条件Ｒ２における参照範囲の方が狭い。そのため、上記の判定条件Ｒ１〜Ｒ３を用いた場合、不適切なフィルタが適用されてしまう恐れがあった。
【００５６】
図８は既提案フィルタが適用されるブロック境界の一例を示す説明図である。図８には画像Ｈ１に対して、弱フィルタが適用される弱フィルタ適用境界、強フィルタが適用される強フィルタ適用境界、及び既提案フィルタが適用される既提案フィルタ適用境界が示されている。
【００５７】
図９は、図８に示す領域Ｈ１０を拡大した模式図である。図８に示すように、図９に示す領域Ｈ１０のブロック境界は既提案フィルタを適用すると判定されている。なお、条件Ｒ２の判定に用いる参照範囲は図９に示す範囲Ｈ１１である。図９に示すように、領域Ｈ１０の範囲Ｈ１１は画素値の変化が小さくフラットな領域となっているため、条件Ｒ２による判定が行われる場合、強いフィルタがかかりやすい。
【００５８】
しかし、既提案フィルタの適用範囲は、図９に示す範囲Ｈ１２である。ここで、図９に示すように、範囲Ｈ１２に含まれる範囲Ｈ１３は物体（被写体）と背景の境界を含んでいるため、範囲Ｈ１３にデブロックフィルタを適用することは好ましくない。例えば、範囲Ｈ１３を含む範囲Ｈ１２にデブロックフィルタ（既提案フィルタ）を適用してしまうと、ＰＳＮＲ（Peak  signal-to-noise  ratio）が大きく低下してしまう場合があった。
【００５９】
そこで、上記事情を一着眼点にして本開示に係る実施形態を創作するに至った。本開示に係る実施形態によれば、より適切なフィルタを適用することが可能である。
【００６０】
＜２．装置の概要＞
図１０及び図１１を用いて、本明細書で開示する技術を適用可能な一例としての装置の概要を説明する。本明細書で開示する技術は、例えば、画像符号化装置及び画像復号装置に適用可能である。
【００６１】
［２−１．画像符号化装置］
図１０は、本開示の一実施形態に係る画像処理装置の一態様である画像符号化装置１０の構成の一例を示すブロック図である。
【００６２】
図１０を参照すると、画像符号化装置１０は、並び替えバッファ１１、制御部１２、減算部１３、直交変換部１４、量子化部１５、可逆符号化部１６、蓄積バッファ１７、逆量子化部２１、逆直交変換部２２、加算部２３、デブロックフィルタ２４ａ、ＳＡＯフィルタ２５、フレームメモリ２６、スイッチ２７、モード設定部２８、イントラ予測部３０及びインター予測部４０を備える。
【００６３】
並び替えバッファ１１は、符号化すべき映像を構成する一連の画像の画像データを、符号化処理に係るＧＯＰ（Group  of  Pictures）構造に応じて並び替える。並び替えバッファ１１は、並び替え後の画像データを制御部１２、減算部１３、イントラ予測部３０、及びインター予測部４０へ出力する。
【００６４】
制御部１２は、外部、または予め指定された処理単位のブロックサイズに基づいて、画像データを処理単位のブロックへ分割する。制御部１２によるブロック分割により、例えば上述したＱＴＢＴのブロック構造が形成されてもよい。また、制御部１２は、符号化処理に係る符号化パラメータを、例えば、RDO（Rate-Distortion  Optimization）に基づいて決定する。決定された符号化パラメータは、各部へ供給される。
【００６５】
減算部１３は、並び替えバッファ１１から入力される画像データと予測画像データとの差分である予測誤差データを算出し、算出した予測誤差データを直交変換部１４へ出力する。
【００６６】
直交変換部１４は、各領域内に設定される１つ以上の変換ブロック（ＴＵ）の各々について直交変換処理を実行する。ここでの直交変換は例えば、離散コサイン変換又は離散サイン変換などであってよい。より具体的には、直交変換部１４は、減算部１３から入力される予測誤差データを、変換ブロックごとに、空間領域の画像信号から周波数領域の変換係数に変換する。そして、直交変換部１４は、変換係数を量子化部１５へ出力する。
【００６７】
量子化部１５には、直交変換部１４から入力される変換係数データ、及び後に説明するレート制御部１８からのレート制御信号が供給される。量子化部１５は変換係数データを量子化し、量子化後の変換係数データ（以下、量子化データとも呼ぶ）を可逆符号化部１６及び逆量子化部２１へ出力する。また、量子化部１５は、レート制御部１８からのレート制御信号に基づいて量子化スケールを切り替えることにより、可逆符号化部１６に入力される量子化データのビットレートを変化させる。
【００６８】
可逆符号化部１６は、量子化部１５から入力される量子化データを符号化することにより、符号化ストリームを生成する。また、可逆符号化部１６は、デコーダにより参照される様々な符号化パラメータを符号化して、符号化された符号化パラメータを符号化ストリームへ挿入する。可逆符号化部１６により符号化される符号化パラメータは、上述した制御部１２により決定された符号化パラメータを含み得る。可逆符号化部１６は、生成した符号化ストリームを蓄積バッファ１７へ出力する。
【００６９】
蓄積バッファ１７は、可逆符号化部１６から入力される符号化ストリームを半導体メモリなどの記憶媒体を用いて一時的に蓄積する。そして、蓄積バッファ１７は、蓄積した符号化ストリームを、伝送路の帯域に応じたレートで、図示しない伝送部（例えば、通信インタフェース又は周辺機器との接続インタフェースなど）へ出力する。
【００７０】
レート制御部１８は、蓄積バッファ１７の空き容量を監視する。そして、レート制御部１８は、蓄積バッファ１７の空き容量に応じてレート制御信号を生成し、生成したレート制御信号を量子化部１５へ出力する。例えば、レート制御部１８は、蓄積バッファ１７の空き容量が少ない時には、量子化データのビットレートを低下させるためのレート制御信号を生成する。また、例えば、レート制御部１８は、蓄積バッファ１７の空き容量が十分大きい時には、量子化データのビットレートを高めるためのレート制御信号を生成する。
【００７１】
逆量子化部２１、逆直交変換部２２及び加算部２３は、ローカルデコーダを構成する。ローカルデコーダは、符号化されたデータから復号画像データをローカル復号する役割を有する。
【００７２】
逆量子化部２１は、量子化部１５により使用されたものと同じ量子化パラメータで量子化データを逆量子化し、変換係数データを復元する。そして、逆量子化部２１は、復元した変換係数データを逆直交変換部２２へ出力する。
【００７３】
逆直交変換部２２は、逆量子化部２１から入力される変換係数データについて逆直交変換処理を実行することにより、予測誤差データを復元する。そして、逆直交変換部２２は、復元した予測誤差データを加算部２３へ出力する。
【００７４】
加算部２３は、逆直交変換部２２から入力される復元された予測誤差データとイントラ予測部３０又はインター予測部４０から入力される予測画像データとを加算することにより、復号画像データ（リコンストラクト画像）を生成する。そして、加算部２３は、生成した復号画像データをデブロックフィルタ２４ａ及びフレームメモリ２６へ出力する。
【００７５】
デブロックフィルタ２４ａ及びＳＡＯフィルタ２５は、それぞれ、リコンストラクト画像の画質の向上を目的とするインループフィルタである。
【００７６】
デブロックフィルタ２４ａは、加算部２３から入力される復号画像データをフィルタリングすることによりブロック歪みを軽減し、フィルタリング後の復号画像データをＳＡＯフィルタ２５へ出力する。なお、デブロックフィルタ２４ａによる処理について、後に詳細に説明する。
【００７７】
ＳＡＯフィルタ２５は、デブロックフィルタ２４ａから入力される復号画像データにエッジオフセット処理又はバンドオフセット処理を適用することによりノイズを除去し、処理後の復号画像データをフレームメモリ２６へ出力する。
【００７８】
フレームメモリ２６は、加算部２３から入力されるフィルタリング前の復号画像データ、及びＳＡＯフィルタ２５から入力されるインループフィルタの適用後の復号画像データを記憶媒体を用いて記憶する。
【００７９】
スイッチ２７は、イントラ予測のために使用されるフィルタリング前の復号画像データをフレームメモリ２６から読み出し、読み出した復号画像データを参照画像データとしてイントラ予測部３０に供給する。また、スイッチ２７は、インター予測のために使用されるフィルタリング後の復号画像データをフレームメモリ２６から読み出し、読み出した復号画像データを参照画像データとしてインター予測部４０に供給する。
【００８０】
モード設定部２８は、イントラ予測部３０及びインター予測部４０から入力されるコストの比較に基づいて、ブロックごとに予測符号化モードを設定する。モード設定部２８は、イントラ予測モードを設定したブロックについては、イントラ予測部３０により生成される予測画像データを減算部１３及び加算部２３へ出力すると共に、イントラ予測に関する情報を可逆符号化部１６へ出力する。また、モード設定部２８は、インター予測モードを設定したブロックについては、インター予測部４０により生成される予測画像データを減算部１３及び加算部２３へ出力すると共に、インター予測に関する情報を可逆符号化部１６へ出力する。
【００８１】
イントラ予測部３０は、原画像データ及び復号画像データに基づいて、イントラ予測処理を実行する。例えば、イントラ予測部３０は、探索範囲に含まれる予測モード候補の各々について、予測誤差及び発生する符号量に基づくコストを評価する。次に、イントラ予測部３０は、コストが最小となる予測モードを最適な予測モードとして選択する。また、イントラ予測部３０は、選択した最適な予測モードに従って予測画像データを生成する。そして、イントラ予測部３０は、最適な予測モードを示す予測モード情報を含むイントラ予測に関する情報、対応するコスト、及び予測画像データを、モード設定部２８へ出力する。
【００８２】
インター予測部４０は、原画像データ及び復号画像データに基づいて、インター予測処理（動き補償）を実行する。例えば、インター予測部４０は、HEVCにより仕様化されている探索範囲に含まれる予測モード候補の各々について、予測誤差及び発生する符号量に基づくコストを評価する。次に、インター予測部４０は、コストが最小となる予測モード、即ち圧縮率が最も高くなる予測モードを、最適な予測モードとして選択する。また、インター予測部４０は、選択した最適な予測モードに従って予測画像データを生成する。そして、インター予測部４０は、インター予測に関する情報、対応するコスト、及び予測画像データを、モード設定部２８へ出力する。
【００８３】
［２−２．画像復号装置］
続いて、以上のように符号化された符号化データの復号について説明する。図１１は、本実施形態に係る画像処理装置の一態様である画像復号装置６０の構成の一例を示すブロック図である。図１１を参照すると、蓄積バッファ６１、可逆復号部６２、逆量子化部６３、逆直交変換部６４、加算部６５、デブロックフィルタ２４ｂ、ＳＡＯフィルタ６７、並び替えバッファ６８、Ｄ／Ａ（Digital  to  Analogue）変換部６９、フレームメモリ７０、セレクタ７１ａ及び７１ｂ、イントラ予測部８０並びにインター予測部９０を備える。
【００８４】
蓄積バッファ６１は、図示しない伝送部（例えば、通信インタフェース又は周辺機器との接続インタフェースなど）を介して画像符号化装置１０から受信される符号化ストリームを記憶媒体を用いて一時的に蓄積する。
【００８５】
可逆復号部６２は、蓄積バッファ６１から入力される符号化ストリームから、符号化の際に使用された符号化方式に従って量子化データを復号する。可逆復号部６２は、復号した量子化データを逆量子化部６３へ出力する。
【００８６】
また、可逆復号部６２は、符号化ストリームのヘッダ領域に挿入されている各種の符号化パラメータを復号する。可逆復号部６２により復号されるパラメータは、例えば、イントラ予測に関する情報、及びインター予測に関する情報を含み得る。可逆復号部６２は、イントラ予測に関する情報をイントラ予測部８０へ出力する。また、可逆復号部６２は、インター予測に関する情報をインター予測部９０へ出力する。
【００８７】
逆量子化部６３は、可逆復号部６２から入力される量子化データを、符号化の際に使用されたものと同じ量子化ステップで逆量子化し、変換係数データを復元する。逆量子化部６３は、復元した変換係数データを逆直交変換部６４へ出力する。
【００８８】
逆直交変換部６４は、符号化の際に使用された直交変換方式に従い、逆量子化部６３から入力される変換係数データについて逆直交変換を行うことにより、予測誤差データを生成する。逆直交変換部６４は、生成した予測誤差データを加算部６５へ出力する。
【００８９】
加算部６５は、逆直交変換部６４から入力される予測誤差データと、セレクタ７１ｂから入力される予測画像データとを加算することにより、復号画像データを生成する。そして、加算部６５は、生成した復号画像データをデブロックフィルタ２４ｂ及びフレームメモリ７０へ出力する。
【００９０】
デブロックフィルタ２４ｂは、加算部６５から入力される復号画像データをフィルタリングすることによりブロック歪みを軽減し、フィルタリング後の復号画像データをＳＡＯフィルタ６７へ出力する。なお、デブロックフィルタ２４ｂによる処理について、後に詳細に説明する。
【００９１】
ＳＡＯフィルタ６７は、デブロックフィルタ２４ｂから入力される復号画像データにエッジオフセット処理又はバンドオフセット処理を適用することによりノイズを除去し、処理後の復号画像データを並び替えバッファ６８及びフレームメモリ７０へ出力する。
【００９２】
並び替えバッファ６８は、ＳＡＯフィルタ６７から入力される画像を並び替えることにより、時系列の一連の画像データを生成する。そして、並び替えバッファ６８は、生成した画像データをＤ／Ａ変換部６９へ出力する。
【００９３】
Ｄ／Ａ変換部６９は、並び替えバッファ６８から入力されるデジタル形式の画像データをアナログ形式の画像信号に変換する。そして、Ｄ／Ａ変換部６９は、例えば、画像復号装置６０と接続されるディスプレイ（図示せず）にアナログ画像信号を出力することにより、復号された映像を表示させる。
【００９４】
フレームメモリ７０は、加算部６５から入力されるフィルタリング前の復号画像データ、及びＳＡＯフィルタ６７から入力されるフィルタリング後の復号画像データを記憶媒体を用いて記憶する。
【００９５】
セレクタ７１ａは、可逆復号部６２により取得される予測モード情報に応じて、画像内のブロックごとに、フレームメモリ７０からの画像データの出力先をイントラ予測部８０とインター予測部９０との間で切り替える。例えば、セレクタ７１ａは、イントラ予測モードが指定された場合には、フレームメモリ７０から供給されるフィルタリング前の復号画像データを参照画像データとしてイントラ予測部８０へ出力する。また、セレクタ７１ａは、インター予測モードが指定された場合には、フィルタリング後の復号画像データを参照画像データとしてインター予測部９０へ出力する。
【００９６】
セレクタ７１ｂは、可逆復号部６２により取得される予測モード情報に応じて、加算部６５へ供給すべき予測画像データの出力元をイントラ予測部８０とインター予測部９０との間で切り替える。例えば、セレクタ７１ｂは、イントラ予測モードが指定された場合には、イントラ予測部８０から出力される予測画像データを加算部６５へ供給する。また、セレクタ７１ｂは、インター予測モードが指定された場合には、インター予測部９０から出力される予測画像データを加算部６５へ供給する。
【００９７】
イントラ予測部８０は、可逆復号部６２から入力されるイントラ予測に関する情報とフレームメモリ７０からの参照画像データとに基づいてイントラ予測処理を行い、予測画像データを生成する。そして、イントラ予測部８０は、生成した予測画像データをセレクタ７１ｂへ出力する。
【００９８】
インター予測部９０は、可逆復号部６２から入力されるインター予測に関する情報とフレームメモリ７０からの参照画像データとに基づいてインター予測処理を行い、予測画像データを生成する。そして、インター予測部９０は、生成した予測画像データをセレクタ７１ｂへ出力する。
【００９９】
＜３．第１の実施例＞
［３−１．デブロックフィルタの構成例］
本節では、図１０に示した画像符号化装置１０のデブロックフィルタ２４ａ及び図１１に示した画像復号装置６０のデブロックフィルタ２４ｂの第１の実施例に係る構成の一例を説明する。なお、デブロックフィルタ２４ａ及びデブロックフィルタ２４ｂの構成は、共通であってよい。従って、以下の説明では、特に両者を区別する必要が無い場合には、デブロックフィルタ２４ａ及びデブロックフィルタ２４ｂをデブロックフィルタ２４と総称する。
【０１００】
本実施例に係るデブロックフィルタ２４は、上述したHEVCの強フィルタよりもデブロックフィルタの適用範囲が拡張された拡張強フィルタ（拡張ストロングフィルタ）を、拡張された適用範囲（拡張適用範囲）の画素に適用する。また、本実施形態に係るデブロックフィルタ２４は、拡張強フィルタを適用するか否かを、拡張適用範囲に従って判定する。以下では、適用範囲をブロック境界の近傍に位置する３画素から７画素に拡張した拡張強フィルタの例を説明するが、本実施例は係る例に限定されず、他の拡張強フィルタの例については後述する。
【０１０１】
図１２は、第１の実施例に係るデブロックフィルタ２４の詳細な構成の一例を示すブロック図である。図１２を参照すると、デブロックフィルタ２４は、適用要否判定部１１０と、フィルタ強度判定部１２０と、フィルタリング部１３０と、を有する。
【０１０２】
（１）適用要否判定部
適用要否判定部１１０は、ブロック境界に対し、デブロックフィルタを適用すべきか否かを判定する。例えば、適用要否判定部１１０は、上述した既存の手法における条件Ｍ及び条件Ｎがいずれも真である場合にデブロックフィルタを適用すべきであると判定してもよい。
【０１０３】
適用要否判定部１１０には、上記の判定を行うため、各ブロック境界を挟んで隣接する隣接ブロックについての判定情報が供給される。ここで供給される判定情報は、例えば、モード情報、変換係数情報及び動きベクトル情報を含む。そして、適用要否判定部１１０は、各ブロック境界について４ライン単位での判定として、次の条件が満たされるか否かを判定する。
【０１０４】
・判定条件・・・条件Ｍ及び条件Ｎがいずれも真なら適用
−条件Ｍ：
（Ｍ１）ブロックＢｐ又はＢｑがイントラ予測モードである；
（Ｍ２）ブロックＢｐ又はＢｑが非ゼロの直交変換係数を有し、ブロックＢｐ及びＢｑの間の境界がＴＵの境界である
（Ｍ３）ブロックＢｐ及びＢｑのブロックの動きベクトルの差の絶対値が１画素以上である；又は
（Ｍ４）ブロックＢｐ及びＢｑのブロックの動き補償の参照画像が異なるか、動きベクトルの数が異なる
−条件Ｎ：
|p20-2*p10+p00|+|p23-2*q13+p03|+|p20-2*q10+q00|+|q23-2*q13+q03|＜β
【０１０５】
そして、適用要否判定部１１０は、上記の判定条件を満たすブロック境界について、フィルタ強度判定部１２０による強度毎のフィルタ適用に係る判定を行わせる。一方、適用要否判定部１１０は、上記の判定条件を満たさないブロック境界について、フィルタ強度判定部１２０による強度毎のフィルタ適用に係る判定をスキップさせる
【０１０６】
なお、ここで説明した適用要否判定部１１０による判定は、一例に過ぎない。即ち、上述した判定条件とは異なる判定条件が使用されてもよい。例えば、判定条件Ｍ１〜Ｍ４、Ｎのうちいずれかが省略されてもよく、別の条件が追加されてもよい。
【０１０７】
（２）フィルタ強度判定部
フィルタ強度判定部１２０は、適用要否判定部１１０により、デブロックフィルタを適用すべきと判定された入力画像（復号画像）のブロック境界の近傍に位置する画素に対して、各強度のフィルタを適用するか否かを判定する。例えば、フィルタ強度判定部１２０は、弱フィルタ、強フィルタ、及び強フィルタよりも適用範囲が拡張された拡張強フィルタの適用に係る判定を行ってもよい。
【０１０８】
例えば、フィルタ強度判定部１２０は、まず、当該ブロック境界に拡張強フィルタを適用するか否かを４ライン単位で判定してもよい。また、フィルタ強度判定部１２０は、拡張強フィルタを適用しないと判定したブロック境界に対して、強フィルタを適用するか否かを４ライン単位で判定してもよい。そして、フィルタ強度判定部１２０は、強フィルタを適用しないと判定したブロック境界に対して、弱フィルタを適用するか否かを１ライン単位で判定してもよい。
【０１０９】
係る構成によれば、より強いフィルタを適用可能なブロック境界に対して、より強いフィルタが適用されやすくなる。
【０１１０】
フィルタ強度判定部１２０は、拡張強フィルタ、強フィルタ、弱フィルタのうちいずれかを適用すると判定した場合、フィルタ強度を示す情報（例えば拡張強フィルタ、強フィルタ、弱フィルタのいずれかを示すフラグ）を、判定された単位ごとにフィルタリング部１３０へ出力する。
【０１１１】
また、フィルタ強度判定部１２０は、拡張強フィルタ、強フィルタ、弱フィルタのうちいずれかも適用しないと判定したラインについて、フィルタリング部１３０によるデブロックフィルタの適用をスキップさせる。
【０１１２】
フィルタ強度判定部１２０による強フィルタの適用に係る判定は、例えば上述したHEVCの強フィルタの適用に係る判定条件Ａ１、Ｂ１、Ｃ１を用いて行われてもよい。また、フィルタ強度判定部１２０による弱フィルタの適用に係る判定は、例えばHEVCの弱フィルタの適用に係る判定と同様に行われてもよい。
【０１１３】
以下では、フィルタ強度判定部１２０による拡張強フィルタの適用に係る判定処理について説明する。図１３は、拡張強フィルタを適用するか否か判定するための判定処理を説明するための説明図である。本実施例に係る拡張強フィルタの適用範囲（拡張適用範囲）は、ブロック境界の近傍に位置する７画素であり、図１３に示す画素のうちｐ０〜ｐ６、及びｑ０〜ｑ６が対応する。
【０１１４】
本実施例に係るフィルタ強度判定部１２０は、拡張強フィルタの適用範囲（拡張適用範囲）に従って、拡張強フィルタを適用するか否かを判定する。例えば、フィルタ強度判定部１２０は、拡張適用範囲より広い範囲の画素を参照して判定処理を行ってもよい。
【０１１５】
係る構成によれば、例えば拡張強フィルタが適用される範囲に物体と背景の境界等が存在した場合には、拡張強フィルタが適用され難くなるように判定することが可能であり、より適切なデブロックフィルタが適用されやすくなる。
【０１１６】
例えば、フィルタ強度判定部１２０は、次の条件Ｖ１１が満たされる場合に、拡張強フィルタを適用すると判定してもよい。
【０１１７】
−条件Ｖ１１：以下の条件Ａ１１０、Ｂ１１１〜Ｂ１１３、Ｃ１１０の全てが真なら真
（Ａ１１０）|p7-p0|+|q7-q0|＜(beta>>3)
（Ｂ１１１）|p2-2*p1+p0|+|q2-2*q1+q0|＜(beta>>2)
（Ｂ１１２）|p4-2*p3+p2|+|q4-2*q3+q2|＜(beta>>2)
（Ｂ１１３）|p6-2*p5+p4|+|q6-2*q5+q4|＜(beta>>2)
（Ｃ１１０）|p0-q0|＜((tc*5+1)>>1)
【０１１８】
また、判定条件の他の例として、フィルタ強度判定部１２０は、次の条件Ｖ１２が満たされる場合に、拡張強フィルタを適用すると判定してもよい。
【０１１９】
−判定条件Ｖ１２：以下の条件Ａ１１０、Ｂ１１０、Ｃ１１０の全てが真なら真
（Ａ１１０）|p7-p0|+|q7-q0|＜(beta>>3)
（Ｂ１１０）|p2-2*p1+p0|+|q2-2*q1+q0|+|p4-2*p3+p2|+|q4-2*q3+q2|+|p6-2*p5+p4|+|q6-2*q5+q4|＜(3*beta>>2)
（Ｃ１１０）|p0-q0|＜((tc*5+1)>>1)
【０１２０】
また、判定条件の他の例として、フィルタ強度判定部１２０は、次の条件Ｖ１３が満たされる場合に、拡張強フィルタを適用すると判定してもよい。
【０１２１】
−条件Ｖ１３：以下の条件Ａ１１０、Ｂ１１５、Ｃ１１０の全てが真なら真
（Ａ１１０）|p7-p0|+|q7-q0|＜(beta>>3)
（Ｂ１１５）|p6-2*p3+p0|+|q6-2*q3+q0|＜(beta>>2)
（Ｃ１１０）|p0-q0|＜((tc*5+1)>>1)
【０１２２】
上記の条件Ｖ１１〜Ｖ１３において、条件Ａ１１０で参照される画素の範囲は図１３に示す範囲Ａ１１に対応している。また、上記の条件Ｖ１１において、条件Ｂ１１１〜Ｂ１１３で参照される画素の範囲は、それぞれ図１３に示す範囲Ｂ１１〜Ｂ１３に対応している。また、上記の条件Ｖ１２、Ｖ１３において、条件Ｂ１１０、Ｂ１１５で参照される画素の範囲は、図１３に示す範囲Ｂ１１〜Ｂ１３に対応している。
【０１２３】
なお、上記の条件Ｖ１１〜Ｖ１３において、条件Ａ１１０は、ブロック内の平坦度の判定を行う条件である。また、条件Ｂ１１０、Ｂ１１１〜Ｂ１１３、Ｂ１１５は、ブロック内の連続性の判定を行う条件である。また、条件Ｃ１１０は、ブロック境界に隣接する画素値を用いて、ブロック間の変化量（ギャップ）を判定している。
【０１２４】
ここで、連続性の判定を行う条件Ｂ１１０、Ｂ１１１〜Ｂ１１３、Ｂ１１５は、上述した既存の連続性の判定を行う条件Ｂ１と比べ、用いられる画素が連続的に拡張されている。即ち、フィルタ強度判定部１２０は、拡張適用範囲に含まれる画素値の連続性を判定する際に用いる画素が連続的に拡張された条件に従って、拡張適用範囲に含まれる画素値の連続性を判定する連続性判定処理を行う。
【０１２５】
また、本明細書において、デブロックフィルタの適用範囲または拡張適用範囲に含まれる画素を対象とした画素値の平坦度、画素値の連続性、画素値の変化量(ギャップ)の状態を総称して、適用範囲に含まれる画素の状態、または拡張適用範囲に含まれる画素の状態と呼ぶ。本実施例に係るフィルタ強度判定部１２０は、条件Ｖ１１〜Ｖ１３のいずれかを用いることで、拡張適用範囲に含まれる画素の状態に従って、拡張強フィルタを適用するかを判定する。
【０１２６】
また、フィルタ強度判定部１２０は、拡張強フィルタを適用するか否かを４ライン単位で判定してもよく、上記の条件Ｖ１１〜Ｖ１３のいずれかについて、１ライン目と４ライン目の両方が満たす場合に、拡張強フィルタを適用すると判定してもよい。
【０１２７】
また、フィルタ強度判定部１２０は、上記の条件Ｖ１１〜Ｖ１３のいずれかと、上述した既存の手法における条件Ｒ１、または条件Ｒ２を組み合わせて、拡張強フィルタを適用するか否か判定してもよい。なお、本実施例において、条件Ｒ１の閾値は１６に限定されず、他の値が閾値として用いられてもよい。
【０１２８】
（３）フィルタリング部
フィルタリング部１３０は、適用要否判定部１１０、及びフィルタ強度判定部１２０による判定結果に応じて、入力画像（復号画像）のブロック境界の近傍に位置する画素にデブロックフィルタを適用する。フィルタ強度判定部１２０により強フィルタ、または弱フィルタを適用すると判定された場合、例えばHEVCにおける強フィルタ、または弱フィルタを適用してもよい。
【０１２９】
また、フィルタリング部１３０は、フィルタ強度判定部１２０により拡張強フィルタを適用すると判定された画素に、拡張強フィルタを適用する。以下、フィルタリング部１３０が適用する拡張強フィルタの一例について説明する。
【０１３０】
図１４は、フィルタリング部１３０が適用する拡張強フィルタの一例について説明するための説明図である。図１４に示すように、拡張強フィルタが適用されるブロック境界（ｐ０とｑ０の間）においてブロック歪みに起因するギャップＧがあり、ブロック内の拡張適用範囲（ｐ０〜ｐ６、及びｑ０〜ｑ６）において画素値に差がない（フラットである）ケースを想定する。係る、ケースにおいては、ブロック境界からの位置に応じて、G=p0-q0のシフト量が変わるように、低域特性の強いフィルタを適用することで、図１４に示すようにブロック歪みが低減され得る。
【０１３１】
例えば、フィルタリング部１３０は、フィルタ強度判定部１２０により拡張強フィルタを適用すると判定された画素に、以下のような第１のフィルタ係数の拡張強フィルタを適用してもよい。
【０１３２】
・第１のフィルタ係数
p6′=Clip3(p6-2*tc,p6+2*tc,(4*p7+8*p6+4*p5-p0+q0+8)>>4)
p5′=Clip3(p5-2*tc,p5+2*tc,(4*p6+8*p5+4*p4-2*p0+2*q0+8)>>4)
p4′=Clip3(p4-2*tc,p4+2*tc,(4*p5+8*p4+4*p3-3*p0+3*q0+8)>>4)
p3′=Clip3(p3-2*tc,p3+2*tc,(4*p4+8*p3+4*p2-4*p0+4*q0+8)>>4)
p2′=Clip3(p2-2*tc,p2+2*tc,(4*p3+8*p2+4*p1-5*p0+5*q0+8)>>4)
p1′=Clip3(p1-2*tc,p1+2*tc,(4*p2+8*p1+4*p0-6*q0+6*q0+8)>>4)
p0′=Clip3(p0-2*tc,p0+2*tc,(4*p1+5*p0+7*q0+8)>>4)
q0′=Clip3(q0-2*tc,q0+2*tc,(7*p0+5*q0+4*q1+8)>>4)
q1′=Clip3(q1-2*tc,q1+2*tc,(6*p0-6*q0+4*q0+8*q1+4*q2+8)>>4)
q2′=Clip3(q2-2*tc,q2+2*tc,(5*p0-5*q0+4*q1+8*q2+4*q3+8)>>4)
q3′=Clip3(q3-2*tc,q3+2*tc,(4*p0-4*q0+4*q2+8*q3+4*q4+8)>>4)
q4′=Clip3(q4-2*tc,q4+2*tc,(3*p0-3*q0+4*q3+8*q4+4*q5+8)>>4)
q5′=Clip3(q5-2*tc,q5+2*tc,(2*p0-2*q0+4*q4+8*q5+4*q6+8)>>4)
q6′=Clip3(q6-2*tc,q6+2*tc,(p0-q0+4*q5+8*q6+4*q7+8)>>4)
【０１３３】
また、フィルタリング部１３０は、フィルタ強度判定部１２０により拡張強フィルタを適用すると判定された画素に、以下のような第２のフィルタ係数の拡張強フィルタを適用してもよい。
【０１３４】
・第２のフィルタ係数
p6′=Clip3(p6-2*tc,p6+2*tc,(6*p7+4*p6+4*p5+2*p4-p0+q0+8)>>4)
p5′=Clip3(p5-2*tc,p5+2*tc,(2*p7+4*p6+4*p5+4*p4+2*p3-2*p0+2*q0+8)>>4)
p4′=Clip3(p4-2*tc,p4+2*tc,(2*p6+4*p5+4*p4+4*p3+2*p2-3*p0+3*q0+8)>>4)
p3′=Clip3(p3-2*tc,p3+2*tc,(2*p5+4*p4+4*p3+4*p2+2*p1-4*p0+4*q0+8)>>4)
p2′=Clip3(p2-2*tc,p2+2*tc,(2*p4+4*p3+4*p2+4*p1+2*p0-5*q0+5*q0+8)>>4)
p1′=Clip3(p1 -2*tc,p1+2*tc,(2*p3+4*p2+4*p1+6*q0+8)>>4)
p0′=Clip3(p0-2*tc,p0+2*tc,(2*p2+4*p1+3*p0+5*q0+2*q1+8)>>4)
q0′=Clip3(q0-2*tc,q0+2*tc,(2*p1+5*p0+3*q0+4*q1+2*q2+8)>>4)
q1′=Clip3(q1-2*tc,q1+2*tc,(6*p0+4*q1+4*q2+2*q3+8)>>4)
q2′=Clip3(q2-2*tc,q2+2*tc,(5*p0-5*q0+2*q0+4*q1+4*q2+4*q3+2*q4+8)>>4)
q3′=Clip3(q3-2*tc,q3+2*tc,(4*p0-4*q0+2*q1+4*q2+4*q3+4*q4+2*q5+8)>>4)
q4′=Clip3(q4-2*tc,q4+2*tc,(3*p0-3*q0+2*q2+4*q3+4*q4+4*q5+2*q6+8)>>4)
q5′=Clip3(q5-2*tc,q5+2*tc,(2*p0-2*q0+2*q3+4*q4+4*q5+4*q6+2*q7+8)>>4)
q6′=Clip3(q6-2*tc,q6+2*tc,(p0-q0+2*q4+4*q5+4*q6+6*q7+8)>>4)
【０１３５】
図１５、図１６は本実施例によるフィルタリング部１３０が適用する拡張強フィルタのフィルタ係数の導出の考え方について説明するための説明図である。
【０１３６】
上述した第１のフィルタ係数、及び第２のフィルタ係数は、低域特性が強く、強く平滑化することが可能である。そのため、ブロック境界の近傍の画素が図１４に示したようにブロック内で画素値の変化が小さい場合には、第１のフィルタ係数、及び第２のフィルタ係数による拡張強フィルタは効果的に機能する。しかし、例えば図１５に示すようなブロック内で画素値の変化のある場合には、第１のフィルタ係数、及び第２のフィルタ係数による拡張強フィルタを適用することで、平滑化され過ぎてしまい、例えば絵がボケてしまう恐れがある。
【０１３７】
ここで、図１５に示すブロック境界近傍の画素値を図１６に示すようにＤＣ成分（低域成分）とＡＣ成分（高域成分）に分解することを考える。
【０１３８】
ＤＣ成分は、例えばブロック境界を挟んで各々のブロック（piとqi）でベースとなる信号値である。例えば、図１５に示す例では、ブロック境界に最も近い値であるp0とq0がＤＣ成分として用いられている。なお、ＤＣ成は係る例に限定されず、各ブロックでの平均値（mean(p0:pn)とmean(q0:q0)）であってもよいし、各ブロックでの最小値（min(p0:pn)とmin(q0:q0)）であってもよい。なお、nは拡張強フィルタの参照範囲（タップ範囲）によって決定される。
【０１３９】
また、ＡＣ成分はブロック境界を挟んでそれぞれのブロック（piとqi）において、上記のＤＣ成分で減算した残差信号値である。図１５に示す例では、ｐ側のブロックではｐ０が減算された値、ｑ側のブロックではｑ０が減算された値がＡＣ成分である。
【０１４０】
そして、ＤＣ成分には低域特性の強いブロック歪み除去用のフィルタ（例えば第１のフィルタ係数、または第２のフィルタ係数によるフィルタ）を適用する。一方、ＡＣ成分には、上記と異なるフィルタ、例えばブロック歪み除去用のフィルタとは異なるフィルタを適用してもよい。例えば、ＡＣ成分には低域特性が弱いＦＩＲフィルタや、バイラテラルフィルタが適用されてもよい。また、ＡＣ成分にはフィルタが適用されなくてもよい。
【０１４１】
例えば、ＤＣ成分には以下のような第３のフィルタ係数のフィルタを適用してもよい。
【０１４２】
・第３のフィルタ係数
p0位置：p0-7/16*(p0-q0)=p0-7*(p0-q0)>>4
p1位置：p0-6/16*(p0-q0)=p0-6*(p0-q0)>>4
p2位置：p0-5/16*(p0-q0)=p0-5*(p0-q0)>>4
p3位置：p0-4/16*(p0-q0)=p0-4*(p0-q0)>>4
p4位置：p0-3/16*(p0-q0)=p0-3*(p0-q0)>>4
p5位置：p0-2/16*(p0-q0)=p0-2*(p0-q0)>>4
p6位置：p0-1/16*(p0-q0)=p0-1*(p0-q0)>>4
【０１４３】
また、ＡＣ成分には以下のように、注目画素を中心に、１２１の係数である第４のフィルタ係数のフィルタを適用してもよい。
【０１４４】
・第４のフィルタ係数
p0位置：{1*(p1-p0)+2*(p0-p0)+1*(q0-q0)}/4=1*(p1-p0)>>2
p1位置：{1*(p2-p0)+2*(p1-p0)+1*(p0-p0)}/4={1*(p2-p0)+2*(p1-p0)}>>2
p2位置：{1*(p3-p0)+2*(p2-p0)+1*(p1-q0)}/4={1*(p3-p0)+2*(p2-p0)+1*(p1-q0)}>>2
p3位置：{1*(p4-p0)+2*(p3-p0)+1*(p2-q0)}/4={1*(p4-p0)+2*(p3-p0)+1*(p2-q0)}>>2
p4位置：{1*(p5-p0)+2*(p4-p0)+1*(p3-q0)}/4={1*(p5-p0)+2*(p4-p0)+1*(p3-q0)}>>2
p5位置：{1*(p6-p0)+2*(p5-p0)+1*(p4-q0)}/4={1*(p6-p0)+2*(p5-p0)+1*(p4-q0)}>>2
p6位置：{1*(p7-p0)+2*(p6-p0)+1*(p5-q0)}/4={1*(p7-p0)+2*(p6-p0)+1*(p5-q0)}>>2
【０１４５】
フィルタリング部１３０は、フィルタ強度判定部１２０により拡張強フィルタを適用すると判定された画素に、上述した第３のフィルタ係数と第４のフィルタ係数を統合してえられる以下のような第５のフィルタ係数の拡張強フィルタを適用してもよい。
【０１４６】
・第５のフィルタ係数
p0′=Clip3(p0-2*tc,p0+2*tc,1*(p1-p0)>>2+p0-7*(p0-q0)>>4+offset0)
=Clip3(p0-2*tc,p0+2*tc,(4*p1+5*p0+7*q0+offset0)>>4)
p1′=Clip3(p1-2*tc,p1+2*tc,{1*(p2-p0)+2*(p1-p0)}>>2+p0-6*(p0-q0)>>4+offset1)
=Clip3(p1-2*tc,p1+2*tc,(4*p2+8*p1+4*p0-6*p0+6*q0+offset1)>>4))
p2′=Clip3(p2-2*tc,p2+2*tc,{1*(p3-p0)+2*(p2-p0)+1*(p1-p0)}>>2
+p0-5*(p0-q0)>>4+offset2)
=Clip3(p2-2*tc,p2+2*tc,(4*p3+8*p2+4*p1-5*p0+5*q0+offset2)>>4)
p3′=Clip3(p3-2*tc,p3+2*tc,{1*(p4-p0)+2*(p3-p0)+1*(p2-p0)}>>2
+p0-4*(p0-q0)>>4+offset3)
=Clip3(p3-2*tc,p3+2*tc,(4*p4+8*p3+4*p2-4*p0+4*q0+offset3)>>4)
p4′=Clip3(p4-2*tc,p4+2*tc,{1*(p5-p0)+2*(p4-p0)+1*(p3-p0)}>>2
+p0-3*(p0-q0)>>4+offset4)
=Clip3(p4-2*tc,p4+2*tc,(4*p5+8*p4+4*p3-3*p0+3*q0+offset4)>>4)
p5′=Clip3(p5-2*tc,p5+2*tc,1*(p6-p0)+2*(p5-p0)+1*(p4-p0)}>>2
+p0-2*(p0-q0)>>4+offset5)
=Clip3(p5-2*tc,p5+2*tc,(4*p6+8*p5+4*p4-2*p0+2*q0+offset5)>>4)
p6′=Clip3(p6-2*tc,p6+2*tc,{1*(p7-p0)+2*(p6-p0)+1*(p5-p0)}>>2
+p0-1*(p0-q0)>>4+offset6)
=Clip3(p6-2*tc,p6+2*tc,(4*p7+8*p6+4*p5-p0+q0+offset6)>>4)
【０１４７】
また、ＡＣ成分には以下のような注目画素を中心に、１２２２１の係数である第６のフィルタ係数のフィルタを適用してもよい。
【０１４８】
・第６のフィルタ係数
p0位置：{1*(p2-p0)+2*(p1-p0)+2*(p0-p0)+2*(q0-q0)+1*(q1-q0)}/8
={1*(p2-p0)+2*(p1-p0)+1*(q1-q0)}>>3
p1位置：{1*(p3-p0)+2*(p2-p0)+2*(p1-p0)+2*(p0-p0)+1*(q0-q0)}/8
={1*(p3-p0)+2*(p2-p0)+2*(p1-p0)}>>3
p2位置：{1*(p4-p0)+2*(p3-p0)+2*(p2-p0)+2*(p1-p0)+1*(p0-p0)}/8
={1*(p4-p0)+2*(p3-p0)+2*(p2-p0)+2*(p1-p0)}>>3
p3位置：{1*(p5-p0)+2*(p4-p0)+2*(p3-p0)+2*(p2-p0)+1*(p1-p0)}/8
={1*(p5-p0)+2*(p4-p0)+2*(p3-p0)+2*(p2-p0)+1*(p1-p0)}>>3
p4位置：{1*(p6-p0)+2*(p5-p0)+2*(p4-p0)+2*(p3-p0)+1*(p2-p0)}/8
={1*(p6-p0)+2*(p5-p0)+2*(p4-p0)+2*(p3-p0)+1*(p2-p0)}>>3
p5位置：{1*(p7-p0)+2*(p6-p0)+2*(p5-p0)+2*(p4-p0)+1*(p3-p0)}/8
={1*(p7-p0)+2*(p6-p0)+2*(p5-p0)+2*(p4-p0)+1*(p3-p0)}>>3
p6位置：{1*(p7-p0)+2*(p7-p0)+2*(p6-p0)+2*(p5-p0)+1*(p4-p0)}/8
={3*(p7-p0)+2*(p6-p0)+2*(p5-p0)+1*(p4-p0)}>>3
【０１４９】
なお、上記の第６のフィルタ係数のｐ６位置に置いては、最も左の参照画素はｐ８であるが、フィルタ強度判定部１２０による判定において参照される画素がｐ７までであるため、ｐ８の代用としてｐ７を利用している。
【０１５０】
フィルタリング部１３０は、フィルタ強度判定部１２０により拡張強フィルタを適用すると判定された画素に、上述した第３のフィルタ係数と第６のフィルタ係数を統合してえられる以下のような第７のフィルタ係数の拡張強フィルタを適用してもよい。
【０１５１】
・第７のフィルタ係数
p0′=Clip3(p0-2*tc,p0+2*tc,{1*(p2-p0)+2*(p1-p0)+1*(q1-q0)}>>3
+p0-7*(p0-q0)>>4+offset0)
=Clip3(p0-2*tc,p0+2*tc,(2*p2+4*p1+3*p0+5*q0+2*q1+offset0)>>4)
p1′=Clip3(p1-2*tc,p1+2*tc,{1*(p3-p0)+2*(p2-p0)+2*(p1-p0)}>>3
+p0-6*(p0-q0)>>4+offset1)
=Clip3(p1-2*tc,p1+2*tc,(2*p3+4*p2+4*p1+6*q0+offset1)>>4)
p2′=Clip3(p2-2*tc,p2+2*tc,{1*(p4-p0)+2*(p3-p0)+2*(p2-p0)+2*(p1-p0)}>>3
+p0-5*(p0-q0)>>4+offset2)
=Clip3(p2-2*tc,p2+2*tc,(2*p4+4*p3+4*p2+4*p1-3*p0+5*q0+offset2)>>4)
p3′=Clip3(p3-2*tc,p3+2*tc,{1*(p5-p0)+2*(p4-p0)+2*(p3-p0)+2*(p2-p0)
+1*(p1-p0)}>>3+p0-4*(p0-q0)>>4+offset3)
=Clip3(p3-2*tc,p3+2*tc,(2*p5+4*p4+4*p3+4*p2+2*p1-4*p0+4*q0+offset3)>>4)
p4′=Clip3(p4-2*tc,p4+2*tc,{1*(p6-p0)+2*(p5-p0)+2*(p4-p0)+2*(p3-p0)
+1*(p2-p0)}>>3+p0-3*(p0-q0)>>4+offset4)
=Clip3(p4-2*tc,p4+2*tc,(2*p6+4*p5+4*p4+4*p3+2*p2-3*p0+3*q0+offset4)>>4)
p5′=Clip3(p5-2*tc,p5+2*tc,{1*(p7-p0)+2*(p6-p0)+2*(p5-p0)+2*(p4-p0)
+1*(p3-p0)}>>3+p0-2*(p0-q0)>>4+offset5)
=Clip3(p5-2*tc,p5+2*tc,(2*p7+4*p6+4*p5+4*p4+2*p3-2*p0+2*q0+offset5)>>4)
p6′=Clip3(p6-2*tc,p6+2*tc,{3*(p7-p0)+2*(p6-p0)+2*(p5-p0)+1*(p4-p0)}>>3
+p0-1*(p0-q0)>>4+offset6)
=Clip3(p6-2*tc,p6+2*tc,(6*p7+4*p6+4*p5+2*p4-p0+q0+offset6)>>4)
【０１５２】
また、ＡＣ成分にはフィルタを適用しなくてもよい。係る場合、フィルタリング部１３０は、フィルタ強度判定部１２０により拡張強フィルタを適用すると判定された画素に、上述した第３のフィルタ係数とＡＣ成分を統合して得られる以下のような第８のフィルタ係数の拡張強フィルタを適用してもよい。
【０１５３】
・第８のフィルタ係数
p0′=Clip3(p0-2*tc,p0+2*tc,0+p0-7*(p0-q0)>>4+offset0)
=Clip3(p0-2*tc,p0+2*tc,(9*p0+7*q0+offset0)>>4)
p1′=Clip3(p1-2*tc,p1+2*tc,p1-p0+p0-6*(p0-q0)>>4+offset1)
=Clip3(p1-2*tc,p1+2*tc,(16*p1-6*p0+6*q0+offset1)>>4)
p2′=Clip3(p2-2*tc,p2+2*tc,p2-p0+p0-5*(p0-q0)>>4+offset2)
=Clip3(p2-2*tc,p2+2*tc,(16*p2-5*p0+5*q0+offset2)>>4)
p3′=Clip3(p3-2*tc,p3+2*tc,p3-p0+p0-4*(p0-q0)>>4+offset3)
=Clip3(p3-2*tc,p3+2*tc,(16*p3-4*p0+4*q0+offset3)>>4)
p4′=Clip3(p4-2*tc,p4+2*tc,p4-p0+p0-3*(p0-q0)>>4+offset4)
=Clip3(p4-2*tc,p4+2*tc,(16*p4-3*p0+3*q0+offset4)>>4)
p5′=Clip3(p5-2*tc,p5+2*tc,p5-p0+p0-2*(p0-q0)>>4+offset5)
=Clip3(p5-2*tc,p5+2*tc,(16*p5-2*p0+2*q0+offset5)>>4)
p6′=Clip3(p6-2*tc,p6+2*tc,p6-p0+p0-1*(p0-q0)>>4+offset6)
=Clip3(p6-2*tc,p6+2*tc,(16*p6-p0+q0+offset6)>>4)
【０１５４】
［３−２．処理の流れ］
図１７は、本実施例に係るデブロックフィルタ２４による処理の流れの一例を示すフローチャートである。図１７のステップＳ１１０からステップＳ１８０までの処理は、入力画像内の４ライン単位のブロック境界の各々について繰り返される。
【０１５５】
まず、適用要否判定部１１０は、処理対象の１つの境界（以下、注目境界という）について、デブロックフィルタの適用要否判定条件を満たすか否か４ライン単位で判定する（Ｓ１１０）。ここで、フィルタ適用要否判定条件が満たされない場合には、その後のステップＳ１２０からステップＳ１７０までの処理はスキップされる。一方、境界単位の判定条件が満たされる場合には、処理はステップＳ１２０へ進む。
【０１５６】
ステップＳ１２０において、フィルタ強度判定部１２０が、拡張適用範囲に含まれる画素の状態に従って、拡張強フィルタの判定条件を満たすか否かを４ライン単位で判定する。拡張強フィルタの判定条件が満たされる場合（Ｓ１２０においてＹＥＳ）、処理はステップＳ１３０へ進み、フィルタリング部１３０が拡張強フィルタを適用する。
【０１５７】
一方、拡張強フィルタの判定条件が満たされない場合（Ｓ１２０においてＮＯ）、処理はステップＳ１４０へ進み、フィルタ強度判定部１２０が、強フィルタの判定条件を満たすか否かを４ライン単位で判定する。強フィルタの判定条件が満たされる場合（Ｓ１４０においてＹＥＳ）、処理はステップＳ１５０へ進み、フィルタリング部１３０が強フィルタを適用する。
【０１５８】
一方、強フィルタの判定条件が満たされない場合（Ｓ１４０においてＮＯ）、処理はステップＳ１６０へ進み、フィルタ強度判定部１２０が、弱フィルタの判定条件を満たすか否かを１ライン単位で判定する。弱フィルタの判定条件が満たされる場合（Ｓ１６０においてＹＥＳ）、処理はステップＳ１７０へ進み、フィルタリング部１３０が当該ラインへ弱フィルタを適用する。
【０１５９】
ステップＳ１８０において、入力画像に未処理の境界が残っている場合には（ステップＳ１８０においてＹＥＳ）、新たな注目境界が設定され、処理はステップＳ１１０に戻る。未処理の境界が残っていない場合には、入力画像（復号画像）についての処理は終了する。
【０１６０】
［３−３．変形例］
以上、第１の実施例について説明したが、本実施例において適用される拡張強フィルタは上述した例に限定されない。例えば、適用範囲をブロック境界の近傍に位置する３画素から５画素に拡張した拡張強フィルタが適用されもよい。以下では、本実施例の変形例として、係る拡張強フィルタの適用判定とフィルタ係数について図１８，図１９を参照して説明する。
【０１６１】
図１８は、本変形例に係る拡張強フィルタを適用するか否か判定するための判定処理を説明するための説明図である。本変形例に係る拡張強フィルタの適用範囲（拡張適用範囲）は、ブロック境界の近傍に位置する５画素であり、図１８に示す画素のうちｐ０〜ｐ４、及びｑ０〜ｑ４が対応する。
【０１６２】
本変形例に係るフィルタ強度判定部１２０は、拡張適用範囲に従って、拡張強フィルタを適用するか否かを判定する。例えば、フィルタ強度判定部１２０は、拡張適用範囲に含まれる画素を参照して判定処理を行ってもよいし、拡張適用範囲より広い範囲に含まれる画素を参照して判定処理を行ってもよい。
【０１６３】
例えば、フィルタ強度判定部１２０は、次の条件Ｖ２１が満たされる場合に、拡張強フィルタを適用すると判定してもよい。
【０１６４】
−条件Ｖ２１：以下の条件Ａ２１０、Ｂ２１１、Ｂ２１２、Ｃ２１０の全てが真なら真
（Ａ２１０）|p5-p0|+|q5-q0|＜(beta>>3)
（Ｂ２１１）|p2-2*p1+p0|+|q2-2*q1+q0|＜(beta>>2)
（Ｂ２１２）|p4-2*p3+p2|+|q4-2*q3+q2|＜(beta>>2)
（Ｃ２１０）|p0-q0|＜((tc*5+1)>>1)
【０１６５】
また、判定条件の他の例として、フィルタ強度判定部１２０は、次の条件Ｖ２２が満たされる場合に、拡張強フィルタを適用すると判定してもよい。
【０１６６】
−判定条件Ｖ２２：以下の条件Ａ２１０、Ｂ２１０、Ｃ２１０の全てが真なら真
（Ａ２１０）|p5-p0|+|q5-q0|＜(beta>>3)
（Ｂ２１０）|p2-2*p1+p0|+|q2-2*q1+q0|+|p4-2*p3+p2|+|q4-2*q3+q2|＜(2*beta>>2)
（Ｃ２１０）|p0-q0|＜((tc*5+1)>>1)
【０１６７】
また、判定条件の他の例として、フィルタ強度判定部１２０は、次の条件Ｖ１３が満たされる場合に、拡張強フィルタを適用すると判定してもよい。
【０１６８】
−条件Ｖ２３：以下の条件Ａ２１０、Ｂ２１５、Ｃ２１０の全てが真なら真
（Ａ２１０）|p5-p0|+|q5-q0|＜(beta>>3)
（Ｂ２１５）|p4-2*p2+p0|+|q4-2*q2+q0|＜(beta>>2)
（Ｃ２１０）|p0-q0|＜((tc*5+1)>>1)
【０１６９】
上記の条件Ｖ２１〜Ｖ２３において、条件Ａ２１０で参照される画素の範囲は図１８に示す範囲Ａ２１に対応している。また、上記の条件Ｖ２１において、条件Ｂ２１１、Ｂ２１２で参照される画素の範囲は、それぞれ図１８に示す範囲Ｂ２１、Ｂ２２に対応している。また、上記の条件Ｖ２２、Ｖ２３において、条件Ｂ２１０、Ｂ２１５で参照される画素の範囲は、図１８に示す範囲Ｂ２１、及びＢ２２に対応している。
【０１７０】
なお、上記の条件Ｖ２１〜Ｖ２３において、条件Ａ２１０は、ブロック内の平坦度の判定を行う条件である。また、条件Ｂ２１０、Ｂ２１１、Ｂ２１２、Ｂ２１５は、ブロック内の連続性の判定を行う条件である。また、条件Ｃ２１０は、ブロック境界に隣接する画素値を用いて、ブロック間の変化量（ギャップ）を判定している。
【０１７１】
続いて、本変形例に係るフィルタ係数の例について説明する。図１９は本変形例においてフィルタリング部１３０が適用する拡張強フィルタの一例について説明するための説明図である。図１９に示すように、拡張強フィルタが適用されるブロック境界（ｐ０とｑ０の間）においてブロック歪みに起因するギャップＧがあり、ブロック内の拡張適用範囲（ｐ０〜ｐ４、及びｑ０〜ｑ４）において画素値に差がない（フラットである）ケースを想定する。係る、ケースにおいては、ブロック境界からの位置に応じて、G=p0-q0のシフト量が変わるように、低域特性の強いフィルタを適用することで、図１９に示すようにブロック歪みが低減され得る。
【０１７２】
例えば、フィルタリング部１３０は、フィルタ強度判定部１２０により拡張強フィルタを適用すると判定された画素に、以下のような第９のフィルタ係数の拡張強フィルタを適用してもよい。
【０１７３】
・第９のフィルタ係数
p4′=Clip3(p4-2*tc,p4+2*tc,(4*p5+8*p4+4*p3-2*p0+2*q0+8)>>4)
p3′=Clip3(p3-2*tc,p3+2*tc,(4*p4+8*p3+4*p2-4*p0+4*q0+8)>>4)
p2′=Clip3(p2-2*tc,p2+2*tc,(4*p3+8*p2+4*p1-5*p0+5*q0+8)>>4)
p1′=Clip3(p1-2*tc,p1+2*tc,(4*p2+8*p1+4*p0-6*q0+6*q0+8)>>4)
p0′=Clip3(p0-2*tc,p0+2*tc,(4*p1+5*p0+7*q0+8)>>4)
q0′=Clip3(q0-2*tc,q0+2*tc,(7*p0+5*q0+4*q1+8)>>4)
q1′=Clip3(q1-2*tc,q1+2*tc,(6*p0-6*q0+4*q0+8*q1+4*q2+8)>>4)
q2′=Clip3(q2-2*tc,q2+2*tc,(5*p0-5*q0+4*q1+8*q2+4*q3+8)>>4)
q3′=Clip3(q3-2*tc,q3+2*tc,(4*p0-4*q0+4*q2+8*q3+4*q4+8)>>4)
q4′=Clip3(q4-2*tc,q4+2*tc,(2*p0-2*q0+4*q3+8*q4+4*q5+8)>>4)
【０１７４】
また、フィルタリング部１３０は、フィルタ強度判定部１２０により拡張強フィルタを適用すると判定された画素に、以下のような第１０のフィルタ係数の拡張強フィルタを適用してもよい。
【０１７５】
・第１０のフィルタ係数
p4′=Clip3(p4-2*tc,p4+2*tc,(2*p6+4*p5+4*p4+4*p3+2*p2-2*p0+2*q0+8)>>4)
p3′=Clip3(p3-2*tc,p3+2*tc,(2*p5+4*p4+4*p3+4*p2+2*p1-4*p0+4*q0+8)>>4)
p2′=Clip3(p2-2*tc,p2+2*tc,(2*p4+4*p3+4*p2+4*p1+2*p0-5*q0+5*q0+8)>>4)
p1′=Clip3(p1-2*tc,p1+2*tc,(2*p3+4*p2+4*p1+6*q0+8)>>4)
p0′=Clip3(p0-2*tc,p0+2*tc,(2*p2+4*p1+3*p0+5*q0+2*q1+8)>>4)
q0′=Clip3(q0-2*tc,q0+2*tc,(2*p1+5*p0+3*q0+4*q1+2*q2+8)>>4)
q1′=Clip3(q1-2*tc,q1+2*tc,(6*p0+4*q1+4*q2+2*q3+8)>>4)
q2′=Clip3(q2-2*tc,q2+2*tc,(5*p0-5*q0+2*q0+4*q1+4*q2+4*q3+2*q4+8)>>4)
q3′=Clip3(q3-2*tc,q3+2*tc,(4*p0-4*q0+2*q1+4*q2+4*q3+4*q4+2*q5+8)>>4)
q4′=Clip3(q4-2*tc,q4+2*tc,(2*p0-2*q0+2*q2+4*q3+4*q4+4*q5+2*q6+8)>>4)
【０１７６】
なお、本変形例に係るフィルタ係数は上記の例に限定されず、例えば上述したようなＤＣ成分とＡＣ成分の統合により得られるフィルタ係数であってもよい。
【０１７７】
以上、本実施例の変形例について説明した。上述したように、本実施形態における拡張強フィルタの適用範囲（拡張適用範囲）はブロック境界の近傍に位置する３画素より広い範囲であれば、限定されず、多様な範囲であってよい。
【０１７８】
また、上述した本変形例に係る拡張強フィルタは、ブロック境界の近傍に位置する７画素を適用とする拡張強フィルタと組み合わせて用いられてもよい。複数の拡張強フィルタが組み合わされる場合、例えばより適用範囲の広い拡張強フィルタを適用するか否かが先に判定され、当該拡張強フィルタが適用されない場合に、当該拡張強フィルタより適用範囲の狭い拡張強フィルタを適用するか否かが順次判定されてもよい。
【０１７９】
＜４．第２の実施例＞
［４−１．デブロックフィルタの構成例］
続いて、第２の実施例に係るデブロックフィルタ２４について説明する。本実施例に係るデブロックフィルタ２４は、ブロック境界を基準として片側と他の側において、フィルタの強度(例えば適用範囲)の異なるデブロックフィルタ（非対称なデブロックフィルタ）を適用し得る。なお、特にブロック境界を基準にして片側にのみ拡張強フィルタが適用されることで、タップ形状が非対称である場合のデブロックフィルタを、非対称な拡張強フィルタと呼ぶ場合がある。
【０１８０】
本実施例に係るデブロックフィルタ２４の基本的な構成は、例えば図１２に示した第１の実施例に係るデブロックフィルタ２４と同様であってもよい。ただし、本実施例に係るデブロックフィルタ２４は、フィルタ強度判定部１２０、及びフィルタリング部１３０の機能が第１の実施例と一部異なる。以下では、第１の実施例と同様の機能については適宜省略しながら、本実施例に係るフィルタ強度判定部１２０、及びフィルタリング部１３０の第１の実施例とは異なる機能について説明する。
【０１８１】
本実施例に係るフィルタ強度判定部１２０は、第１の実施例に係るフィルタ強度判定部１２０と同様に弱フィルタ、強フィルタ、及び強フィルタよりも適用範囲が拡張された拡張強フィルタの適用に係る判定を行う。
【０１８２】
ただし、本実施例に係るフィルタ強度判定部１２０は拡張強フィルタに係る判定を行う前に、当該ブロック境界が強フィルタの判定条件を満たすか否かを４ライン単位で判定してもよい。そして、当該ブロック境界が強フィルタの判定条件を満たすと判定された場合、ブロック境界を基準にして片側ごとに、拡張強フィルタを適用するか否かを４ライン単位で判定してもよい。
【０１８３】
係る構成によれば、大小のブロックが隣接する境界であっても、例えば大きなブロックに対してのみ、拡張強フィルタが適用され易くなる。例えば、図１０に示した領域Ｈ２０のように大小のブロックが隣接したことにより、既存の判定方法では強フィルタより適用範囲が拡張されたフィルタを適用することが困難な場合であっても、本実施例によれば、大きなブロック側の画素に拡張強フィルタが適用され得る。
【０１８４】
また、ブロック境界を基準にして片側の近傍にのみ物体と背景の境界が存在する等により第１の実施例で説明した拡張強フィルタを適用することが望ましくない場合であっても、他の側の近傍の画素には拡張強フィルタを適用するよう判定することが可能である。そのため、よりブロック歪みを軽減することが可能となり得る。
【０１８５】
また、本実施例に係るフィルタ強度判定部１２０は、拡張強フィルタを適用しない（拡張強フィルタの判定条件を満たさない）と判定した側のブロックに対して、強フィルタを適用すると判定してもよい。
【０１８６】
また、本実施例に係るフィルタ強度判定部１２０は、第１の実施例に係るフィルタ強度判定部１２０と同様に、強フィルタの判定条件を満たさないと判定したブロック境界に対して、弱フィルタを適用するか否かを１ライン単位で判定してもよい。
【０１８７】
以下では、本実施例に係るフィルタ強度判定部１２０による拡張強フィルタの適用に係る判定処理について説明する。図２０は、拡張強フィルタを適用するか否か判定するための判定処理を説明するための説明図である。
【０１８８】
本実施例に係る拡張強フィルタの適用範囲は、例えば片側のブロック境界の近傍に位置する７画素であり、図２０に示す画素のうちｐ０〜ｐ６が対応する。
【０１８９】
本実施例に係るフィルタ強度判定部１２０は、拡張強フィルタの適用範囲に従って、ブロック境界を基準にして片側ごとに拡張強フィルタを適用するか否かを判定する。例えば、フィルタ強度判定部１２０は、拡張強フィルタの適用範囲より広い範囲の画素を参照して判定処理を行ってもよい。
【０１９０】
係る構成によれば、例えば拡張強フィルタが適用される範囲に物体と背景の境界等が存在した場合には、拡張強フィルタが適用され難くなるように判定することが可能であり、より適切なデブロックフィルタが適用されやすくなる。
【０１９１】
例えば、フィルタ強度判定部１２０は、次の条件Ｖ３１が満たされる場合に、拡張強フィルタを適用すると判定してもよい。
【０１９２】
−条件Ｖ３１：以下の条件Ａ３１０、Ｂ３１１〜Ｂ３１３、Ｃ３１０の全てが真なら真
（Ａ３１０）|p7-p0|＜(beta>>4)
（Ｂ３１１）|p2-2*p1+p0|＜(beta>>3)
（Ｂ３１２）|p4-2*p3+p2|＜(beta>>3)
（Ｂ３１３）|p6-2*p5+p4|＜(beta>>3)
（Ｃ３１０）|p0-q0|＜((tc*5+1)>>1)
また、判定条件の他の例として、フィルタ強度判定部１２０は、次の条件Ｖ３２が満たされる場合に、拡張強フィルタを適用すると判定してもよい。
【０１９３】
−判定条件Ｖ３２：以下の条件Ａ３１０、Ｂ３１０、Ｃ３１０の全てが真なら真
（Ａ３１０）|p7-p0|＜(beta>>4)
（Ｂ３１０）|p2-2*p1+p0|+|p4-2*p3+p2|+|p6-2*p5+p4|＜(3*beta>>3)
（Ｃ３１０）|p0-q0|＜((tc*5+1)>>1)
【０１９４】
また、判定条件の他の例として、フィルタ強度判定部１２０は、次の条件Ｖ３３が満たされる場合に、拡張強フィルタを適用すると判定してもよい。
【０１９５】
−条件Ｖ３３：以下の条件Ａ３１０、Ｂ３１５、Ｃ３１０の全てが真なら真
（Ａ３１０）|p7-p0|＜(beta>>4)
（Ｂ３１５）|p6-2*p3+p0|＜(beta>>3)
（Ｃ３１０）|p0-q0|＜((tc*5+1)>>1)
【０１９６】
上記の条件Ｖ３１〜Ｖ３３において、条件Ａ３１０で参照される画素の範囲は図２０に示す範囲Ａ３１に対応している。また、上記の条件Ｖ３１において、条件Ｂ３１１〜Ｂ３１３で参照される画素の範囲は、それぞれ図２０に示す範囲Ｂ３１〜Ｂ３３に対応している。また、上記の条件Ｖ３２、Ｖ３３において、条件Ｂ３１０、Ｂ３１５で参照される画素の範囲は、図２０に示す範囲Ｂ３１〜Ｂ３３に対応している。
【０１９７】
なお、上記の条件Ｖ３１〜Ｖ３３において、条件Ａ３１０は、ブロック内の平坦度の判定を行う条件である。また、条件Ｂ３１０、Ｂ３１１〜Ｂ３１３、Ｂ３１５は、ブロック内の拡張適用範囲に含まれる画素値の連続性の判定を行う条件である。また、条件Ｃ３１０は、ブロック境界に隣接する画素値を用いて、ブロック間の変化量（ギャップ）を判定している。
【０１９８】
ここで、画素値の連続性の判定を行う条件Ｂ３１０、Ｂ３１１〜Ｂ３１３、Ｂ３１５は、ブロック境界を基準にして片側のブロックにおいて独立な条件である。すなわち、本実施例に係るフィルタ強度判定部１２０は、拡張適用範囲に含まれる画素値の連続性を判定する連続性判定処理を独立して行う。なお、フィルタ強度判定部１２０は、ブロック境界の状態に応じて、連続性判定処理を独立して行うようにしてもよい。
【０１９９】
特に、ＱＴＢＴによるブロック分割においては、例えば隣接するブロックのサイズや形状（正方形、長方形）に起因して異なるブロック境界の長さ、各ブロック境界の間隔等が変化し易く、上記起因に伴うブロック境界の変化の状況を、本明細書ではブロック境界の状態と呼ぶ。
【０２００】
また、フィルタ強度判定部１２０は、拡張強フィルタを適用するか否かを４ライン単位で判定してもよく、上記の条件Ｖ３１〜Ｖ３３のいずれかについて、１ライン目と４ライン目の両方が満たす場合に、拡張強フィルタを適用すると判定してもよい。
【０２０１】
本実施例に係るフィルタリング部１３０は、第１の実施例と同様に、適用要否判定部１１０、及びフィルタ強度判定部１２０による判定結果に応じて、入力画像（復号画像）のブロック境界の近傍に位置する画素にデブロックフィルタを適用する。
【０２０２】
例えば、本実施例に係るフィルタリング部１３０はフィルタ強度判定部１２０により判定されたフィルタを適用する。だし、本実施例に係るフィルタリング部１３０は、片側ごとに拡張強フィルタ、及び強フィルタを適用し得る。
【０２０３】
図２１は、本変形例においてフィルタリング部１３０が適用する非対称な拡張強フィルタの一例を示す説明図である。図２１では、フィルタリング部１３０がｐ側に拡張強フィルタ、ｑ側に強フィルタを適用した例を示している。なお、ｐ側に適用される拡張強フィルタのフィルタ係数は、例えば第１の実施例で説明したフィルタ係数であってもよい。また、ｑ側に適用される強フィルタのフィルタ係数は、HEVCの強フィルタのフィルタ係数であってもよい。
【０２０４】
［４−２．処理の流れ］
図２２は、本実施例に係るデブロックフィルタ２４による処理の流れの一例を示すフローチャートである。図２２のステップＳ２１０からステップＳ２６０までの処理は、入力画像内の４ライン単位のブロック境界の各々について繰り返される。
【０２０５】
まず、適用要否判定部１１０は、処理対象の１つの境界（以下、注目境界という）について、デブロックフィルタの適用要否判定条件を満たすか否か４ライン単位で判定する（Ｓ２１０）。ここで、フィルタ適用要否判定条件が満たされない場合には、その後のステップＳ２２０からステップＳ２５０までの処理はスキップされる。一方、境界単位の判定条件が満たされる場合には、処理はステップＳ２２０へ進む。
【０２０６】
ステップＳ２２０において、フィルタ強度判定部１２０が、強フィルタの判定条件を満たすか否かを４ライン単位で判定する。強フィルタの判定条件が満たされる場合（Ｓ２２０においてＹＥＳ）、処理はステップＳ２３０へ進み、ブロック境界を基準にして片側ごとに判定とフィルタの適用が行われる。なお、ステップＳ２３０の処理については、図２３を参照して後述する。
【０２０７】
一方、強フィルタの判定条件が満たされない場合（Ｓ２２０においてＮＯ）、処理はステップＳ２４６０へ進み、フィルタ強度判定部１２０が、弱フィルタの判定条件を満たすか否かを１ライン単位で判定する。弱フィルタの判定条件が満たされる場合（Ｓ２４０においてＹＥＳ）、処理はステップＳ２５０へ進み、フィルタリング部１３０が当該ラインへ弱フィルタを適用する。
【０２０８】
ステップＳ２６０において、入力画像に未処理の境界が残っている場合には（ステップＳ２６０においてＹＥＳ）、新たな注目境界が設定され、処理はステップＳ２６０に戻る。未処理の境界が残っていない場合には、入力画像（復号画像）についての処理は終了する。
【０２０９】
図２３は、図２２のステップＳ２３０の処理を説明するためのフローチャート図である。図２３に示すように、処理はブロック境界を基準にして片側ごと（ｐ側、ｑ側）において、それぞれ並列に行われてもよい。ステップＳ２３１において、フィルタ強度判定部１２０は、ｐ側の拡張適用範囲に含まれる画素の状態に従って、拡張強フィルタの判定条件を満たすか否かを４ライン単位で判定する。拡張強フィルタの判定条件が満たされる場合（Ｓ２３１においてＹＥＳ）、処理はステップＳ２３２へ進み、フィルタリング部１３０がｐ側に拡張強フィルタを適用する。一方、拡張強フィルタの判定条件が満たされない場合（Ｓ２３１においてＮＯ）、処理はステップＳ２３３へ進み、フィルタリング部１３０がｐ側に強フィルタを適用する。
【０２１０】
ｑ側においても同様に、ステップＳ２３５において、フィルタ強度判定部１２０は、ｑ側の拡張適用範囲に含まれる画素の状態に従って、拡張強フィルタの判定条件を満たすか否かを４ライン単位で判定する。拡張強フィルタの判定条件が満たされる場合（Ｓ２３５においてＹＥＳ）、処理はステップＳ２３６へ進み、フィルタリング部１３０がｑ側に拡張強フィルタを適用する。一方、拡張強フィルタの判定条件が満たされない場合（Ｓ２３５においてＮＯ）、処理はステップＳ２３７へ進み、フィルタリング部１３０がｑ側に強フィルタを適用する。
【０２１１】
［４−３．変形例］
以上、第２の実施例について説明したが、本実施例において適用される拡張強フィルタは上述した例に限定されない。例えば、本実施例においても、適用範囲をブロック境界の近傍に位置する３画素から５画素に拡張した拡張強フィルタが適用されもよい。以下では、本実施例の変形例として、係る拡張強フィルタの適用判定とフィルタ係数について図２４，図２５を参照して説明する。
【０２１２】
図２４は、本変形例に係る拡張強フィルタをブロック境界を基準にして片側（ｐ側）の画素に適用するか否か判定するための判定処理を説明するための説明図である。本変形例に係る拡張強フィルタの適用範囲は、ブロック境界の近傍に位置する５画素であり、例えば図２４に示す画素のうちｐ０〜ｐ４が対応する。
【０２１３】
本変形例に係るフィルタ強度判定部１２０は、拡張強フィルタの適用範囲に従って、拡張強フィルタを適用するか否かを判定する。例えば、フィルタ強度判定部１２０は、拡張強フィルタの適用範囲より広い範囲の画素を参照して判定処理を行ってもよい。
【０２１４】
例えば、フィルタ強度判定部１２０は、次の条件Ｖ６１が満たされる場合に、ｐ側の画素に拡張強フィルタを適用すると判定してもよい。
【０２１５】
−条件Ｖ６１：以下の条件Ａ６１０、Ｂ６１１、Ｂ６１２、Ｃ６１０の全てが真なら真
（Ａ６１０）|p5-p0|＜(beta>>4)
（Ｂ６１１）|p2-2*p1+p0|＜(beta>>3)
（Ｂ６１２）|p4-2*p3+p2|＜(beta>>3)
（Ｃ６１０）|p0-q0|＜((tc*5+1)>>1)
【０２１６】
また、判定条件の他の例として、フィルタ強度判定部１２０は、次の条件Ｖ６２が満たされる場合に、ｐ側の画素に拡張強フィルタを適用すると判定してもよい。
【０２１７】
−判定条件Ｖ６２：以下の条件Ａ６１０、Ｂ６１０、Ｃ６１０の全てが真なら真
（Ａ６１０）|p5-p0|＜(beta>>4)
（Ｂ６１０）|p2-2*p1+p0|+|p4-2*p3+p2|＜(2*beta>>3)
（Ｃ６１０）|p0-q0|＜((tc*5+1)>>1)
【０２１８】
また、判定条件の他の例として、フィルタ強度判定部１２０は、次の条件Ｖ６３が満たされる場合に、ｐ側の画素に拡張強フィルタを適用すると判定してもよい。  
【０２１９】
−条件Ｖ６３：以下の条件Ａ６１０、Ｂ６１５、Ｃ６１０の全てが真なら真
（Ａ６１０）|p5-p0|＜(beta>>4)
（Ｂ６１５）|p4-2*p2+p0|＜(beta>>3)
（Ｃ６１０）|p0-q0|＜((tc*5+1)>>1)
【０２２０】
上記の条件Ｖ６１〜Ｖ６３において、条件Ａ６１０で参照される画素の範囲は図１８に示す範囲Ａ６１に対応している。また、上記の条件Ｖ６１において、条件Ｂ６１１、Ｂ６１２で参照される画素の範囲は、それぞれ図２４に示す範囲Ｂ６１、Ｂ６２に対応している。また、上記の条件Ｖ６２、Ｖ６３において、条件Ｂ６１０、Ｂ６１５で参照される画素の範囲は、図２４に示す範囲Ｂ６１、及びＢ６２に対応している。
【０２２１】
なお、上記の条件Ｖ６１〜Ｖ６３において、条件Ａ６１０は、ブロック内の平坦度の判定を行う条件である。また、条件Ｂ６１０、Ｂ６１１、Ｂ６１２、Ｂ６１５は、ブロック内の連続性の判定を行う条件である。また、条件Ｃ６１０は、ブロック境界に隣接する画素値を用いて、ブロック間の変化量（ギャップ）を判定している。
【０２２２】
続いて、本変形例に係る非対称なデブロックフィルタの例について説明する。図２５は本変形例においてフィルタリング部１３０が適用する非対称なデブロックフィルタの一例について説明するための説明図である。図２５では、フィルタリング部１３０がｐ側に本変形例に係る拡張強フィルタ、ｑ側に強フィルタを適用した例を示している。なお、ｐ側に適用される本変形例に係る拡張強フィルタのフィルタ係数は、例えば第１の実施例の変形例で説明したフィルタ係数であってもよい。また、ｑ側に適用される強フィルタのフィルタ係数は、HEVCの強フィルタのフィルタ係数であってもよい。
【０２２３】
＜５．ハードウエア構成例＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
【０２２４】
図２６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０２２５】
図２６に示されるコンピュータ８００において、CPU（Central  Processing  Unit）８０１、ROM（Read  Only  Memory）８０２、RAM（Random  Access  Memory）８０３は、バス８０４を介して相互に接続されている。
【０２２６】
バス８０４にはまた、入出力インタフェース８１０も接続されている。入出力インタフェース８１０には、入力部８１１、出力部８１２、記憶部８１３、通信部８１４、およびドライブ８１５が接続されている。
【０２２７】
入力部８１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部８１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部８１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部８１４は、例えば、ネットワークインタフェースよりなる。ドライブ８１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア８２１を駆動する。
【０２２８】
以上のように構成されるコンピュータでは、CPU８０１が、例えば、記憶部８１３に記憶されているプログラムを、入出力インタフェース８１０およびバス８０４を介して、RAM８０３にロードして実行することにより、上述した一連の処理が行われる。RAM８０３にはまた、CPU８０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０２２９】
コンピュータ（CPU８０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア８２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア８２１をドライブ８１５に装着することにより、入出力インタフェース８１０を介して、記憶部８１３にインストールすることができる。
【０２３０】
また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部８１４で受信し、記憶部８１３にインストールすることができる。
【０２３１】
その他、このプログラムは、ROM８０２や記憶部８１３に、あらかじめインストールしておくこともできる。
【０２３２】
＜６．応用例＞
上述した実施形態に係る画像符号化装置１０及び画像復号装置６０は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。
【０２３３】
（１）第１の応用例：テレビジョン受像機
図２７は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース（I/F）９０９、制御部９１０、ユーザインタフェース（I/F）９１１、及びバス９１２を備える。
【０２３４】
チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送部としての役割を有する。
【０２３５】
デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからEPG（Electronic  Program  Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。
【０２３６】
デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。
【０２３７】
映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのGUI（Graphical  User  Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。
【０２３８】
表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はOELD（Organic  ElectroLuminescence  Display）（有機ELディスプレイ）など）の映像面上に映像又は画像を表示する。
【０２３９】
音声信号処理部９０７は、デコーダ９０４から入力される音声データについてD/A変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。
【０２４０】
外部インタフェース９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送部としての役割を有する。
【０２４１】
制御部９１０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、プログラムデータ、EPGデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース部９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。
【０２４２】
ユーザインタフェース部９１１は、制御部９１０と接続される。ユーザインタフェース部９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース部９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。
【０２４３】
バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース９０９及び制御部９１０を相互に接続する。
【０２４４】
このように構成されたテレビジョン装置９００において、デコーダ９０４が、上述した画像復号装置６０の機能を有するようにしてもよい。つまり、デコーダ９０４が、符号化データを、以上の各実施の形態において説明した方法で復号するようにしてもよい。このようにすることにより、テレビジョン装置９００は、デブロックフィルタ処理において、より適切なフィルタを適用することが可能となる。
【０２４５】
また、このように構成されたテレビジョン装置９００において、映像信号処理部９０５が、例えば、デコーダ９０４から供給される画像データを符号化し、得られた符号化データを、外部インタフェース９０９を介してテレビジョン装置９００の外部に出力させることができるようにしてもよい。そして、その映像信号処理部９０５が、上述した画像符号化装置１０の機能を有するようにしてもよい。つまり、映像信号処理部９０５が、デコーダ９０４から供給される画像データを、以上の各実施の形態において説明した方法で符号化するようにしてもよい。このようにすることにより、テレビジョン装置９００は、デブロックフィルタ処理において、より適切なフィルタを適用することが可能となる。
【０２４６】
（２）第２の応用例：携帯電話機
図２８は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。
【０２４７】
アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。
【０２４８】
携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。
【０２４９】
音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをA/D変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
【０２５０】
また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９に供給し、その記憶媒体に書き込ませる。
【０２５１】
記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、RAM又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、USB（Universal  Serial  Bus）メモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。
【０２５２】
また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記録再生部９２９に供給し、その記憶媒体に書き込ませる。
【０２５３】
さらに、画像表示モードにおいて、記録再生部９２９は、記憶媒体に記録されている符号化ストリームを読み出して画像処理部９２７へ出力する。画像処理部９２７は、記録再生部９２９から入力される符号化ストリームを復号し、画像データを表示部９３０に供給し、その画像を表示させる。
【０２５４】
また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
【０２５５】
このように構成された携帯電話機９２０において、例えば画像処理部９２７が、上述した画像符号化装置１０の機能を有するようにしてもよい。つまり、画像処理部９２７が、画像データを、以上の各実施の形態において説明した方法で符号化するようにしてもよい。このようにすることにより、携帯電話機９２０は、デブロックフィルタ処理において、より適切なフィルタを適用することが可能となる。
【０２５６】
また、このように構成された携帯電話機９２０において、例えば画像処理部９２７が、上述した画像復号装置６０の機能を有するようにしてもよい。つまり、画像処理部９２７が、符号化データを、以上の各実施の形態において説明した方法で復号するようにしてもよい。このようにすることにより、携帯電話機９２０は、デブロックフィルタ処理において、より適切なフィルタを適用することが可能となる。
【０２５７】
（３）第３の応用例：記録再生装置
図２９は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データ及び映像データを復号する。
【０２５８】
記録再生装置９４０は、チューナ９４１、外部インタフェース９４２、エンコーダ９４３、ＨＤＤ（Hard  Disk  Drive）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen  Display）９４８、制御部９４９、及びユーザインタフェース９５０を備える。
【０２５９】
チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送手段としての役割を有する。
【０２６０】
外部インタフェース９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース９４２は、例えば、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース、ＵＳＢインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース９４２を介して受信される映像データ及び音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース９４２は、記録再生装置９４０における伝送手段としての役割を有する。
【０２６１】
エンコーダ９４３は、外部インタフェース９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。
【０２６２】
ＨＤＤ９４４は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラム及びその他のデータを内部のハードディスクに記録する。また、ＨＤＤ９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。
【０２６３】
ディスクドライブ９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばＤＶＤディスク（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）又はＢｌｕ−ｒａｙ（登録商標）ディスクなどであってよい。
【０２６４】
セレクタ９４６は、映像及び音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをＨＤＤ９４４又はディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、ＨＤＤ９４４又はディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。
【０２６５】
デコーダ９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをＯＳＤ９４８へ出力する。また、デコーダ９０４は、生成した音声データを外部のスピーカへ出力する。
【０２６６】
ＯＳＤ９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、ＯＳＤ９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を重畳してもよい。
【０２６７】
制御部９４９は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。
【０２６８】
ユーザインタフェース９５０は、制御部９４９と接続される。ユーザインタフェース９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。
【０２６９】
このように構成された記録再生装置９４０において、エンコーダ９４３は、上述した実施形態に係る画像符号化装置１０の機能を有する。また、デコーダ９４７は、上述した実施形態に係る画像復号装置６０の機能を有する。それにより、記録再生装置９４０はデブロックフィルタ処理において、より適切なフィルタを適用することが可能となる。
【０２７０】
（４）第４の応用例：撮像装置
図３０は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
【０２７１】
撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、制御部９７０、ユーザインタフェース９７１、及びバス９７２を備える。
【０２７２】
光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、及び制御部９７０を相互に接続する。
【０２７３】
光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤ又はＣＭＯＳなどのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。
【０２７４】
信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。
【０２７５】
画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース９６６又はメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース９６６又はメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、ＯＳＤ９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。
【０２７６】
ＯＳＤ９６９は、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を生成して、生成した画像を画像処理部９６４へ出力する。
【０２７７】
外部インタフェース９６６は、例えばＵＳＢ入出力端子として構成される。外部インタフェース９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース９６６は、ＬＡＮ又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース９６６は、撮像装置９６０における伝送手段としての役割を有する。
【０２７８】
メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はＳＳＤ（Solid  State  Drive）のような非可搬性の記憶部が構成されてもよい。
【０２７９】
制御部９７０は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。
【０２８０】
ユーザインタフェース９７１は、制御部９７０と接続される。ユーザインタフェース９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。
【０２８１】
このように構成された撮像装置９６０において、画像処理部９６４は、上述した実施形態に係る画像符号化装置１０及び画像復号装置６０の機能を有する。それにより、撮像装置９６０は、デブロックフィルタ処理において、より適切なフィルタを適用することが可能である。
【０２８２】
（５）第５の応用例：ビデオセット
また、本技術は、任意の装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large  Scale  Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。図３１は、本技術を適用したビデオセットの概略的な構成の一例を示している。
【０２８３】
近年、電子機器の多機能化が進んでおり、その開発や製造において、その一部の構成を販売や提供等として実施する場合、１機能を有する構成として実施を行う場合だけでなく、関連する機能を有する複数の構成を組み合わせ、複数の機能を有する１セットとして実施を行う場合も多く見られるようになってきた。
【０２８４】
図３１に示されるビデオセット１３００は、このような多機能化された構成であり、画像の符号化や復号（いずれか一方でもよいし、両方でも良い）に関する機能を有するデバイスに、その機能に関連するその他の機能を有するデバイスを組み合わせたものである。
【０２８５】
図３１に示されるように、ビデオセット１３００は、ビデオモジュール１３１１、外部メモリ１３１２、パワーマネージメントモジュール１３１３、およびフロントエンドモジュール１３１４等のモジュール群と、コネクティビティ１３２１、カメラ１３２２、およびセンサ１３２３等の関連する機能を有するデバイスとを有する。
【０２８６】
モジュールは、互いに関連するいくつかの部品的機能をまとめ、まとまりのある機能を持った部品としたものである。具体的な物理的構成は任意であるが、例えば、それぞれ機能を有する複数のプロセッサ、抵抗やコンデンサ等の電子回路素子、その他のデバイス等を配線基板等に配置して一体化したものが考えられる。また、モジュールに他のモジュールやプロセッサ等を組み合わせて新たなモジュールとすることも考えられる。
【０２８７】
図３１の例の場合、ビデオモジュール１３１１は、画像処理に関する機能を有する構成を組み合わせたものであり、アプリケーションプロセッサ、ビデオプロセッサ、ブロードバンドモデム１３３３、およびRFモジュール１３３４を有する。
【０２８８】
プロセッサは、所定の機能を有する構成をSoC（System  On  a  Chip）により半導体チップに集積したものであり、例えばシステムLSI（Large  Scale  Integration）等と称されるものもある。この所定の機能を有する構成は、論理回路（ハードウエア構成）であってもよいし、CPU、ROM、RAM等と、それらを用いて実行されるプログラム（ソフトウエア構成）であってもよいし、その両方を組み合わせたものであってもよい。例えば、プロセッサが、論理回路とCPU、ROM、RAM等とを有し、機能の一部を論理回路（ハードウエア構成）により実現し、その他の機能をCPUにおいて実行されるプログラム（ソフトウエア構成）により実現するようにしてもよい。
【０２８９】
図３１のアプリケーションプロセッサ１３３１は、画像処理に関するアプリケーションを実行するプロセッサである。このアプリケーションプロセッサ１３３１において実行されるアプリケーションは、所定の機能を実現するために、演算処理を行うだけでなく、例えばビデオプロセッサ１３３２等、ビデオモジュール１３１１内外の構成を必要に応じて制御することもできる。
【０２９０】
ビデオプロセッサ１３３２は、画像の符号化・復号（その一方または両方）に関する機能を有するプロセッサである。
【０２９１】
ブロードバンドモデム１３３３は、インターネットや公衆電話回線網等の広帯域の回線を介して行われる有線若しくは無線（またはその両方）の広帯域通信により送信するデータ（デジタル信号）をデジタル変調する等してアナログ信号に変換したり、その広帯域通信により受信したアナログ信号を復調してデータ（デジタル信号）に変換したりする。ブロードバンドモデム１３３３は、例えば、ビデオプロセッサ１３３２が処理する画像データ、画像データが符号化されたストリーム、アプリケーションプログラム、設定データ等、任意の情報を処理する。
【０２９２】
RFモジュール１３３４は、アンテナを介して送受信されるRF（Radio  Frequency）信号に対して、周波数変換、変復調、増幅、フィルタ処理等を行うモジュールである。例えば、RFモジュール１３３４は、ブロードバンドモデム１３３３により生成されたベースバンド信号に対して周波数変換等を行ってRF信号を生成する。また、例えば、RFモジュール１３３４は、フロントエンドモジュール１３１４を介して受信されたRF信号に対して周波数変換等を行ってベースバンド信号を生成する。
【０２９３】
なお、図３１において点線１３４１に示されるように、アプリケーションプロセッサ１３３１とビデオプロセッサ１３３２を、一体化し、１つのプロセッサとして構成されるようにしてもよい。
【０２９４】
外部メモリ１３１２は、ビデオモジュール１３１１の外部に設けられた、ビデオモジュール１３１１により利用される記憶デバイスを有するモジュールである。この外部メモリ１３１２の記憶デバイスは、どのような物理構成により実現するようにしてもよいが、一般的にフレーム単位の画像データのような大容量のデータの格納に利用されることが多いので、例えばDRAM（Dynamic  Random  Access  Memory）のような比較的安価で大容量の半導体メモリにより実現するのが望ましい。
【０２９５】
パワーマネージメントモジュール１３１３は、ビデオモジュール１３１１（ビデオモジュール１３１１内の各構成）への電力供給を管理し、制御する。
【０２９６】
フロントエンドモジュール１３１４は、RFモジュール１３３４に対してフロントエンド機能（アンテナ側の送受信端の回路）を提供するモジュールである。図３１に示されるように、フロントエンドモジュール１３１４は、例えば、アンテナ部１３５１、フィルタ１３５２、および増幅部１３５３を有する。
【０２９７】
アンテナ部１３５１は、無線信号を送受信するアンテナおよびその周辺の構成を有する。アンテナ部１３５１は、増幅部１３５３から供給される信号を無線信号として送信し、受信した無線信号を電気信号（RF信号）としてフィルタ１３５２に供給する。フィルタ１３５２は、アンテナ部１３５１を介して受信されたRF信号に対してフィルタ処理等を行い、処理後のRF信号をRFモジュール１３３４に供給する。増幅部１３５３は、RFモジュール１３３４から供給されるRF信号を増幅し、アンテナ部１３５１に供給する。
【０２９８】
コネクティビティ１３２１は、外部との接続に関する機能を有するモジュールである。コネクティビティ１３２１の物理構成は、任意である。例えば、コネクティビティ１３２１は、ブロードバンドモデム１３３３が対応する通信規格以外の通信機能を有する構成や、外部入出力端子等を有する。
【０２９９】
例えば、コネクティビティ１３２１が、Bluetooth（登録商標）、IEEE  802.11（例えばWi-Fi（Wireless  Fidelity、登録商標））、NFC（Near  Field  Communication）、IrDA（InfraRed  Data  Association）等の無線通信規格に準拠する通信機能を有するモジュールや、その規格に準拠した信号を送受信するアンテナ等を有するようにしてもよい。また、例えば、コネクティビティ１３２１が、USB（Universal  Serial  Bus）、HDMI（登録商標）（High-Definition  Multimedia  Interface）等の有線通信規格に準拠する通信機能を有するモジュールや、その規格に準拠した端子を有するようにしてもよい。さらに、例えば、コネクティビティ１３２１が、アナログ入出力端子等のその他のデータ（信号）伝送機能等を有するようにしてもよい。
【０３００】
なお、コネクティビティ１３２１が、データ（信号）の伝送先のデバイスを含むようにしてもよい。例えば、コネクティビティ１３２１が、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等の記録媒体に対してデータの読み出しや書き込みを行うドライブ（リムーバブルメディアのドライブだけでなく、ハードディスク、SSD（Solid  State  Drive）、NAS（Network  Attached  Storage）等も含む）を有するようにしてもよい。また、コネクティビティ１３２１が、画像や音声の出力デバイス（モニタやスピーカ等）を有するようにしてもよい。
【０３０１】
カメラ１３２２は、被写体を撮像し、被写体の画像データを得る機能を有するモジュールである。カメラ１３２２の撮像により得られた画像データは、例えば、ビデオプロセッサ１３３２に供給されて符号化される。
【０３０２】
センサ１３２３は、例えば、音声センサ、超音波センサ、光センサ、照度センサ、赤外線センサ、イメージセンサ、回転センサ、角度センサ、角速度センサ、速度センサ、加速度センサ、傾斜センサ、磁気識別センサ、衝撃センサ、温度センサ等、任意のセンサ機能を有するモジュールである。センサ１３２３により検出されたデータは、例えば、アプリケーションプロセッサ１３３１に供給されてアプリケーション等により利用される。
【０３０３】
以上においてモジュールとして説明した構成をプロセッサとして実現するようにしてもよいし、逆にプロセッサとして説明した構成をモジュールとして実現するようにしてもよい。
【０３０４】
以上のような構成のビデオセット１３００において、後述するようにビデオプロセッサ１３３２に本技術を適用することができる。したがって、ビデオセット１３００は、本技術を適用したセットとして実施することができる。
【０３０５】
（ビデオプロセッサの構成例）
図３２は、本技術を適用したビデオプロセッサ１３３２（図３１）の概略的な構成の一例を示している。
【０３０６】
図３２の例の場合、ビデオプロセッサ１３３２は、ビデオ信号およびオーディオ信号の入力を受けてこれらを所定の方式で符号化する機能と、符号化されたビデオデータおよびオーディオデータを復号し、ビデオ信号およびオーディオ信号を再生出力する機能とを有する。
【０３０７】
図３２に示されるように、ビデオプロセッサ１３３２は、ビデオ入力処理部１４０１、第１画像拡大縮小部１４０２、第２画像拡大縮小部１４０３、ビデオ出力処理部１４０４、フレームメモリ１４０５、およびメモリ制御部１４０６を有する。また、ビデオプロセッサ１３３２は、エンコード・デコードエンジン１４０７、ビデオES（Elementary  Stream）バッファ１４０８Ａおよび１４０８Ｂ、並びに、オーディオESバッファ１４０９Ａおよび１４０９Ｂを有する。さらに、ビデオプロセッサ１３３２は、オーディオエンコーダ１４１０、オーディオデコーダ１４１１、多重化部（MUX（Multiplexer））１４１２、逆多重化部（DMUX（Demultiplexer））１４１３、およびストリームバッファ１４１４を有する。
【０３０８】
ビデオ入力処理部１４０１は、例えばコネクティビティ１３２１（図３１）等から入力されたビデオ信号を取得し、デジタル画像データに変換する。第１画像拡大縮小部１４０２は、画像データに対してフォーマット変換や画像の拡大縮小処理等を行う。第２画像拡大縮小部１４０３は、画像データに対して、ビデオ出力処理部１４０４を介して出力する先でのフォーマットに応じて画像の拡大縮小処理を行ったり、第１画像拡大縮小部１４０２と同様のフォーマット変換や画像の拡大縮小処理等を行ったりする。ビデオ出力処理部１４０４は、画像データに対して、フォーマット変換やアナログ信号への変換等を行って、再生されたビデオ信号として例えばコネクティビティ１３２１等に出力する。
【０３０９】
フレームメモリ１４０５は、ビデオ入力処理部１４０１、第１画像拡大縮小部１４０２、第２画像拡大縮小部１４０３、ビデオ出力処理部１４０４、およびエンコード・デコードエンジン１４０７によって共用される画像データ用のメモリである。フレームメモリ１４０５は、例えばDRAM等の半導体メモリとして実現される。
【０３１０】
メモリ制御部１４０６は、エンコード・デコードエンジン１４０７からの同期信号を受けて、アクセス管理テーブル１４０６Ａに書き込まれたフレームメモリ１４０５へのアクセススケジュールに従ってフレームメモリ１４０５に対する書き込み・読み出しのアクセスを制御する。アクセス管理テーブル１４０６Ａは、エンコード・デコードエンジン１４０７、第１画像拡大縮小部１４０２、第２画像拡大縮小部１４０３等で実行される処理に応じて、メモリ制御部１４０６により更新される。
【０３１１】
エンコード・デコードエンジン１４０７は、画像データのエンコード処理、並びに、画像データが符号化されたデータであるビデオストリームのデコード処理を行う。例えば、エンコード・デコードエンジン１４０７は、フレームメモリ１４０５から読み出した画像データを符号化し、ビデオストリームとしてビデオESバッファ１４０８Ａに順次書き込む。また、例えば、ビデオESバッファ１４０８Ｂからビデオストリームを順次読み出して復号し、画像データとしてフレームメモリ１４０５に順次書き込む。エンコード・デコードエンジン１４０７は、これらの符号化や復号において、フレームメモリ１４０５を作業領域として使用する。また、エンコード・デコードエンジン１４０７は、例えばマクロブロック毎の処理を開始するタイミングで、メモリ制御部１４０６に対して同期信号を出力する。
【０３１２】
ビデオESバッファ１４０８Ａは、エンコード・デコードエンジン１４０７によって生成されたビデオストリームをバッファリングして、多重化部（MUX）１４１２に供給する。ビデオESバッファ１４０８Ｂは、逆多重化部（DMUX）１４１３から供給されたビデオストリームをバッファリングして、エンコード・デコードエンジン１４０７に供給する。
【０３１３】
オーディオESバッファ１４０９Ａは、オーディオエンコーダ１４１０によって生成されたオーディオストリームをバッファリングして、多重化部（MUX）１４１２に供給する。オーディオESバッファ１４０９Ｂは、逆多重化部（DMUX）１４１３から供給されたオーディオストリームをバッファリングして、オーディオデコーダ１４１１に供給する。
【０３１４】
オーディオエンコーダ１４１０は、例えばコネクティビティ１３２１等から入力されたオーディオ信号を例えばデジタル変換し、例えばMPEGオーディオ方式やAC3（AudioCode  number  3）方式等の所定の方式で符号化する。オーディオエンコーダ１４１０は、オーディオ信号が符号化されたデータであるオーディオストリームをオーディオESバッファ１４０９Ａに順次書き込む。オーディオデコーダ１４１１は、オーディオESバッファ１４０９Ｂから供給されたオーディオストリームを復号し、例えばアナログ信号への変換等を行って、再生されたオーディオ信号として例えばコネクティビティ１３２１等に供給する。
【０３１５】
多重化部（MUX）１４１２は、ビデオストリームとオーディオストリームとを多重化する。この多重化の方法（すなわち、多重化により生成されるビットストリームのフォーマット）は任意である。また、この多重化の際に、多重化部（MUX）１４１２は、所定のヘッダ情報等をビットストリームに付加することもできる。つまり、多重化部（MUX）１４１２は、多重化によりストリームのフォーマットを変換することができる。例えば、多重化部（MUX）１４１２は、ビデオストリームとオーディオストリームとを多重化することにより、転送用のフォーマットのビットストリームであるトランスポートストリームに変換する。また、例えば、多重化部（MUX）１４１２は、ビデオストリームとオーディオストリームとを多重化することにより、記録用のファイルフォーマットのデータ（ファイルデータ）に変換する。
【０３１６】
逆多重化部（DMUX）１４１３は、多重化部（MUX）１４１２による多重化に対応する方法で、ビデオストリームとオーディオストリームとが多重化されたビットストリームを逆多重化する。つまり、逆多重化部（DMUX）１４１３は、ストリームバッファ１４１４から読み出されたビットストリームからビデオストリームとオーディオストリームとを抽出する（ビデオストリームとオーディオストリームとを分離する）。つまり、逆多重化部（DMUX）１４１３は、逆多重化によりストリームのフォーマットを変換（多重化部（MUX）１４１２による変換の逆変換）することができる。例えば、逆多重化部（DMUX）１４１３は、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等から供給されたトランスポートストリームを、ストリームバッファ１４１４を介して取得し、逆多重化することにより、ビデオストリームとオーディオストリームとに変換することができる。また、例えば、逆多重化部（DMUX）１４１３は、例えばコネクティビティ１３２１により各種記録媒体から読み出されたファイルデータを、ストリームバッファ１４１４を介して取得し、逆多重化することにより、ビデオストリームとオーディオストリームとに変換することができる。
【０３１７】
ストリームバッファ１４１４は、ビットストリームをバッファリングする。例えば、ストリームバッファ１４１４は、多重化部（MUX）１４１２から供給されたトランスポートストリームをバッファリングし、所定のタイミングにおいて、または外部からの要求等に基づいて、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等に供給する。
【０３１８】
また、例えば、ストリームバッファ１４１４は、多重化部（MUX）１４１２から供給されたファイルデータをバッファリングし、所定のタイミングにおいて、または外部からの要求等に基づいて、例えばコネクティビティ１３２１等に供給し、各種記録媒体に記録させる。
【０３１９】
さらに、ストリームバッファ１４１４は、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等を介して取得したトランスポートストリームをバッファリングし、所定のタイミングにおいて、または外部からの要求等に基づいて、逆多重化部（DMUX）１４１３に供給する。
【０３２０】
また、ストリームバッファ１４１４は、例えばコネクティビティ１３２１等において各種記録媒体から読み出されたファイルデータをバッファリングし、所定のタイミングにおいて、または外部からの要求等に基づいて、逆多重化部（DMUX）１４１３に供給する。
【０３２１】
次に、このような構成のビデオプロセッサ１３３２の動作の例について説明する。例えば、コネクティビティ１３２１等からビデオプロセッサ１３３２に入力されたビデオ信号は、ビデオ入力処理部１４０１において４：２：２Ｙ／Ｃｂ／Ｃｒ方式等の所定の方式のデジタル画像データに変換され、フレームメモリ１４０５に順次書き込まれる。このデジタル画像データは、第１画像拡大縮小部１４０２または第２画像拡大縮小部１４０３に読み出されて、４：２：０Ｙ／Ｃｂ／Ｃｒ方式等の所定の方式へのフォーマット変換および拡大縮小処理が行われ、再びフレームメモリ１４０５に書き込まれる。この画像データは、エンコード・デコードエンジン１４０７によって符号化され、ビデオストリームとしてビデオESバッファ１４０８Ａに書き込まれる。
【０３２２】
また、コネクティビティ１３２１等からビデオプロセッサ１３３２に入力されたオーディオ信号は、オーディオエンコーダ１４１０によって符号化され、オーディオストリームとして、オーディオESバッファ１４０９Ａに書き込まれる。
【０３２３】
ビデオESバッファ１４０８Ａのビデオストリームと、オーディオESバッファ１４０９Ａのオーディオストリームは、多重化部（MUX）１４１２に読み出されて多重化され、トランスポートストリームまたはファイルデータ等に変換される。多重化部（MUX）１４１２により生成されたトランスポートストリームは、ストリームバッファ１４１４にバッファされた後、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等を介して外部ネットワークに出力される。また、多重化部（MUX）１４１２により生成されたファイルデータは、ストリームバッファ１４１４にバッファされた後、例えばコネクティビティ１３２１等に出力され、各種記録媒体に記録される。
【０３２４】
また、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等を介して外部ネットワークからビデオプロセッサ１３３２に入力されたトランスポートストリームは、ストリームバッファ１４１４にバッファされた後、逆多重化部（DMUX）１４１３により逆多重化される。また、例えばコネクティビティ１３２１等において各種記録媒体から読み出され、ビデオプロセッサ１３３２に入力されたファイルデータは、ストリームバッファ１４１４にバッファされた後、逆多重化部（DMUX）１４１３により逆多重化される。つまり、ビデオプロセッサ１３３２に入力されたトランスポートストリームまたはファイルデータは、逆多重化部（DMUX）１４１３によりビデオストリームとオーディオストリームとに分離される。
【０３２５】
オーディオストリームは、オーディオESバッファ１４０９Ｂを介してオーディオデコーダ１４１１に供給され、復号されてオーディオ信号が再生される。また、ビデオストリームは、ビデオESバッファ１４０８Ｂに書き込まれた後、エンコード・デコードエンジン１４０７により順次読み出されて復号されてフレームメモリ１４０５に書き込まれる。復号された画像データは、第２画像拡大縮小部１４０３によって拡大縮小処理されて、フレームメモリ１４０５に書き込まれる。そして、復号された画像データは、ビデオ出力処理部１４０４に読み出されて、４：２：２Ｙ／Ｃｂ／Ｃｒ方式等の所定の方式にフォーマット変換され、さらにアナログ信号に変換されて、ビデオ信号が再生出力される。
【０３２６】
このように構成されるビデオプロセッサ１３３２に本技術を適用する場合、エンコード・デコードエンジン１４０７に、上述した実施形態に係る本技術を適用すればよい。つまり、例えば、エンコード・デコードエンジン１４０７が、上述した画像符号化装置１０の機能若しくは画像復号装置６０の機能またはその両方を有するようにしてもよい。このようにすることにより、ビデオプロセッサ１３３２は、図１〜図２５を参照して上述した各実施の形態と同様の効果を得ることができる。
【０３２７】
なお、エンコード・デコードエンジン１４０７において、本技術（すなわち、画像符号化装置１０の機能若しくは画像復号装置６０の機能またはその両方）は、論理回路等のハードウエアにより実現するようにしてもよいし、組み込みプログラム等のソフトウエアにより実現するようにしてもよいし、それらの両方により実現するようにしてもよい。
【０３２８】
（ビデオプロセッサの他の構成例）
図３３は、本技術を適用したビデオプロセッサ１３３２の概略的な構成の他の例を示している。図３３の例の場合、ビデオプロセッサ１３３２は、ビデオデータを所定の方式で符号化・復号する機能を有する。
【０３２９】
より具体的には、図３３に示されるように、ビデオプロセッサ１３３２は、制御部１５１１、ディスプレイインタフェース１５１２、ディスプレイエンジン１５１３、画像処理エンジン１５１４、および内部メモリ１５１５を有する。また、ビデオプロセッサ１３３２は、コーデックエンジン１５１６、メモリインタフェース１５１７、多重化・逆多重化部（MUX  DMUX）１５１８、ネットワークインタフェース１５１９、およびビデオインタフェース１５２０を有する。
【０３３０】
制御部１５１１は、ディスプレイインタフェース１５１２、ディスプレイエンジン１５１３、画像処理エンジン１５１４、およびコーデックエンジン１５１６等、ビデオプロセッサ１３３２内の各処理部の動作を制御する。
【０３３１】
図３３に示されるように、制御部１５１１は、例えば、メインCPU１５３１、サブCPU１５３２、およびシステムコントローラ１５３３を有する。メインCPU１５３１は、ビデオプロセッサ１３３２内の各処理部の動作を制御するためのプログラム等を実行する。メインCPU１５３１は、そのプログラム等に従って制御信号を生成し、各処理部に供給する（つまり、各処理部の動作を制御する）。サブCPU１５３２は、メインCPU１５３１の補助的な役割を果たす。例えば、サブCPU１５３２は、メインCPU１５３１が実行するプログラム等の子プロセスやサブルーチン等を実行する。システムコントローラ１５３３は、メインCPU１５３１およびサブCPU１５３２が実行するプログラムを指定する等、メインCPU１５３１およびサブCPU１５３２の動作を制御する。
【０３３２】
ディスプレイインタフェース１５１２は、制御部１５１１の制御の下、画像データを例えばコネクティビティ１３２１等に出力する。例えば、ディスプレイインタフェース１５１２は、デジタルデータの画像データをアナログ信号に変換し、再生されたビデオ信号として、またはデジタルデータの画像データのまま、コネクティビティ１３２１のモニタ装置等に出力する。
【０３３３】
ディスプレイエンジン１５１３は、制御部１５１１の制御の下、画像データに対して、その画像を表示させるモニタ装置等のハードウエアスペックに合わせるように、フォーマット変換、サイズ変換、色域変換等の各種変換処理を行う。
【０３３４】
画像処理エンジン１５１４は、制御部１５１１の制御の下、画像データに対して、例えば画質改善のためのフィルタ処理等、所定の画像処理を施す。
【０３３５】
内部メモリ１５１５は、ディスプレイエンジン１５１３、画像処理エンジン１５１４、およびコーデックエンジン１５１６により共用される、ビデオプロセッサ１３３２の内部に設けられたメモリである。内部メモリ１５１５は、例えば、ディスプレイエンジン１５１３、画像処理エンジン１５１４、およびコーデックエンジン１５１６の間で行われるデータの授受に利用される。例えば、内部メモリ１５１５は、ディスプレイエンジン１５１３、画像処理エンジン１５１４、またはコーデックエンジン１５１６から供給されるデータを格納し、必要に応じて（例えば、要求に応じて）、そのデータを、ディスプレイエンジン１５１３、画像処理エンジン１５１４、またはコーデックエンジン１５１６に供給する。この内部メモリ１５１５は、どのような記憶デバイスにより実現するようにしてもよいが、一般的にブロック単位の画像データやパラメータ等といった小容量のデータの格納に利用することが多いので、例えばSRAM（Static  Random  Access  Memory）のような比較的（例えば外部メモリ１３１２と比較して）小容量だが応答速度が高速な半導体メモリにより実現するのが望ましい。
【０３３６】
コーデックエンジン１５１６は、画像データの符号化や復号に関する処理を行う。このコーデックエンジン１５１６が対応する符号化・復号の方式は任意であり、その数は１つであってもよいし、複数であってもよい。例えば、コーデックエンジン１５１６は、複数の符号化・復号方式のコーデック機能を備え、その中から選択されたもので画像データの符号化または符号化データの復号を行うようにしてもよい。
【０３３７】
図３３に示される例において、コーデックエンジン１５１６は、コーデックに関する処理の機能ブロックとして、例えば、MPEG-2  Video１５４１、AVC/H.264１５４２、HEVC/H.265１５４３、HEVC/H.265(Scalable)１５４４、HEVC/H.265(Multi-view)１５４５、およびMPEG-DASH１５５１を有する。
【０３３８】
MPEG-2  Video１５４１は、画像データをMPEG-2方式で符号化したり復号したりする機能ブロックである。AVC/H.264１５４２は、画像データをAVC方式で符号化したり復号したりする機能ブロックである。HEVC/H.265１５４３は、画像データをHEVC方式で符号化したり復号したりする機能ブロックである。HEVC/H.265(Scalable)１５４４は、画像データをHEVC方式でスケーラブル符号化したりスケーラブル復号したりする機能ブロックである。HEVC/H.265(Multi-view)１５４５は、画像データをHEVC方式で多視点符号化したり多視点復号したりする機能ブロックである。
【０３３９】
MPEG-DASH１５５１は、画像データをMPEG-DASH（MPEG-Dynamic  Adaptive  Streaming  over  HTTP）方式で送受信する機能ブロックである。MPEG-DASHは、HTTP（HyperText  Transfer  Protocol）を使ってビデオのストリーミングを行う技術であり、予め用意された解像度等が互いに異なる複数の符号化データの中から適切なものをセグメント単位で選択し伝送することを特徴の１つとする。MPEG-DASH１５５１は、規格に準拠するストリームの生成やそのストリームの伝送制御等を行い、画像データの符号化・復号については、上述したMPEG-2  Video１５４１乃至HEVC/H.265(Multi-view)１５４５を利用する。
【０３４０】
メモリインタフェース１５１７は、外部メモリ１３１２用のインタフェースである。画像処理エンジン１５１４やコーデックエンジン１５１６から供給されるデータは、メモリインタフェース１５１７を介して外部メモリ１３１２に供給される。また、外部メモリ１３１２から読み出されたデータは、メモリインタフェース１５１７を介してビデオプロセッサ１３３２（画像処理エンジン１５１４またはコーデックエンジン１５１６）に供給される。
【０３４１】
多重化・逆多重化部（MUX  DMUX）１５１８は、符号化データのビットストリーム、画像データ、ビデオ信号等、画像に関する各種データの多重化や逆多重化を行う。この多重化・逆多重化の方法は任意である。例えば、多重化の際に、多重化・逆多重化部（MUX  DMUX）１５１８は、複数のデータを１つにまとめるだけでなく、所定のヘッダ情報等をそのデータに付加することもできる。また、逆多重化の際に、多重化・逆多重化部（MUX  DMUX）１５１８は、１つのデータを複数に分割するだけでなく、分割した各データに所定のヘッダ情報等を付加することもできる。つまり、多重化・逆多重化部（MUX  DMUX）１５１８は、多重化・逆多重化によりデータのフォーマットを変換することができる。例えば、多重化・逆多重化部（MUX  DMUX）１５１８は、ビットストリームを多重化することにより、転送用のフォーマットのビットストリームであるトランスポートストリームや、記録用のファイルフォーマットのデータ（ファイルデータ）に変換することができる。もちろん、逆多重化によりその逆変換も可能である。
【０３４２】
ネットワークインタフェース１５１９は、例えばブロードバンドモデム１３３３やコネクティビティ１３２１等向けのインタフェースである。ビデオインタフェース１５２０は、例えばコネクティビティ１３２１やカメラ１３２２等向けのインタフェースである。
【０３４３】
次に、このようなビデオプロセッサ１３３２の動作の例について説明する。例えば、コネクティビティ１３２１やブロードバンドモデム１３３３等を介して外部ネットワークからトランスポートストリームを受信すると、そのトランスポートストリームは、ネットワークインタフェース１５１９を介して多重化・逆多重化部（MUX  DMUX）１５１８に供給されて逆多重化され、コーデックエンジン１５１６により復号される。コーデックエンジン１５１６の復号により得られた画像データは、例えば、画像処理エンジン１５１４により所定の画像処理が施され、ディスプレイエンジン１５１３により所定の変換が行われ、ディスプレイインタフェース１５１２を介して例えばコネクティビティ１３２１等に供給され、その画像がモニタに表示される。また、例えば、コーデックエンジン１５１６の復号により得られた画像データは、コーデックエンジン１５１６により再符号化され、多重化・逆多重化部（MUX  DMUX）１５１８により多重化されてファイルデータに変換され、ビデオインタフェース１５２０を介して例えばコネクティビティ１３２１等に出力され、各種記録媒体に記録される。
【０３４４】
さらに、例えば、コネクティビティ１３２１等により図示せぬ記録媒体から読み出された、画像データが符号化された符号化データのファイルデータは、ビデオインタフェース１５２０を介して多重化・逆多重化部（MUX  DMUX）１５１８に供給されて逆多重化され、コーデックエンジン１５１６により復号される。コーデックエンジン１５１６の復号により得られた画像データは、画像処理エンジン１５１４により所定の画像処理が施され、ディスプレイエンジン１５１３により所定の変換が行われ、ディスプレイインタフェース１５１２を介して例えばコネクティビティ１３２１等に供給され、その画像がモニタに表示される。また、例えば、コーデックエンジン１５１６の復号により得られた画像データは、コーデックエンジン１５１６により再符号化され、多重化・逆多重化部（MUX  DMUX）１５１８により多重化されてトランスポートストリームに変換され、ネットワークインタフェース１５１９を介して例えばコネクティビティ１３２１やブロードバンドモデム１３３３等に供給され図示せぬ他の装置に伝送される。
【０３４５】
なお、ビデオプロセッサ１３３２内の各処理部の間での画像データやその他のデータの授受は、例えば、内部メモリ１５１５や外部メモリ１３１２を利用して行われる。また、パワーマネージメントモジュール１３１３は、例えば制御部１５１１への電力供給を制御する。
【０３４６】
このように構成されるビデオプロセッサ１３３２に本技術を適用する場合、コーデックエンジン１５１６に、上述した実施形態に係る本技術を適用すればよい。つまり、例えば、コーデックエンジン１５１６が、上述した画像符号化装置１０の機能若しくは画像復号装置６０の機能またはその両方を有するようにすればよい。このようにすることにより、ビデオプロセッサ１３３２は、図１〜図２５を参照して上述した各実施の形態と同様の効果を得ることができる。
【０３４７】
なお、コーデックエンジン１５１６において、本技術（すなわち、画像符号化装置１０の機能）は、論理回路等のハードウエアにより実現するようにしてもよいし、組み込みプログラム等のソフトウエアにより実現するようにしてもよいし、それらの両方により実現するようにしてもよい。
【０３４８】
以上にビデオプロセッサ１３３２の構成を２例示したが、ビデオプロセッサ１３３２の構成は任意であり、上述した２例以外のものであってもよい。また、このビデオプロセッサ１３３２は、１つの半導体チップとして構成されるようにしてもよいが、複数の半導体チップとして構成されるようにしてもよい。例えば、複数の半導体を積層する３次元積層LSIとしてもよい。また、複数のLSIにより実現されるようにしてもよい。
【０３４９】
（装置への適用例）
ビデオセット１３００は、画像データを処理する各種装置に組み込むことができる。例えば、ビデオセット１３００は、テレビジョン装置９００（図２７）、携帯電話機９２０（図２８）、記録再生装置９４０（図２９）、撮像装置９６０（図３０）等に組み込むことができる。ビデオセット１３００を組み込むことにより、その装置は、図１〜図２５を参照して上述した各実施の形態と同様の効果を得ることができる。
【０３５０】
なお、上述したビデオセット１３００の各構成の一部であっても、ビデオプロセッサ１３３２を含むものであれば、本技術を適用した構成として実施することができる。例えば、ビデオプロセッサ１３３２のみを本技術を適用したビデオプロセッサとして実施することができる。また、例えば、上述したように点線１３４１により示されるプロセッサやビデオモジュール１３１１等を、本技術を適用したプロセッサやモジュール等として実施することができる。さらに、例えば、ビデオモジュール１３１１、外部メモリ１３１２、パワーマネージメントモジュール１３１３、およびフロントエンドモジュール１３１４を組み合わせ、本技術を適用したビデオユニット１３６１として実施することもできる。いずれの構成の場合であっても、図１〜図２５を参照して上述した各実施の形態と同様の効果を得ることができる。
【０３５１】
つまり、ビデオプロセッサ１３３２を含むものであればどのような構成であっても、ビデオセット１３００の場合と同様に、画像データを処理する各種装置に組み込むことができる。例えば、ビデオプロセッサ１３３２、点線１３４１により示されるプロセッサ、ビデオモジュール１３１１、または、ビデオユニット１３６１を、テレビジョン装置９００（図２７）、携帯電話機９２０（図２８）、記録再生装置９４０（図２９）、撮像装置９６０（図３０）等に組み込むことができる。そして、本技術を適用したいずれかの構成を組み込むことにより、その装置は、ビデオセット１３００の場合と同様に、図１〜図２５を参照して上述した各実施の形態と同様の効果を得ることができる。
【０３５２】
（６）第６の応用例：ネットワークシステム
また、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。図３４は、本技術を適用したネットワークシステムの概略的な構成の一例を示している。
【０３５３】
図３４に示されるネットワークシステム１６００は、機器同士が、ネットワークを介して画像（動画像）に関する情報を授受するシステムである。このネットワークシステム１６００のクラウドサービス１６０１は、自身に通信可能に接続されるコンピュータ１６１１、AV（Audio  Visual）機器１６１２、携帯型情報処理端末１６１３、IoT（Internet  of  Things）デバイス１６１４等の端末に対して、画像（動画像）に関するサービスを提供するシステムである。例えば、クラウドサービス１６０１は、所謂動画配信（オンデマンドやライブ配信）のような、画像（動画像）のコンテンツの供給サービスを端末に提供する。また、例えば、クラウドサービス１６０１は、端末から画像（動画像）のコンテンツを受け取って保管するバックアップサービスを提供する。また、例えば、クラウドサービス１６０１は、端末同士の画像（動画像）のコンテンツの授受を仲介するサービスを提供する。
【０３５４】
クラウドサービス１６０１の物理構成は任意である。例えば、クラウドサービス１６０１は、動画像を保存し、管理するサーバ、動画像を端末に配信するサーバ、動画像を端末から取得するサーバ、ユーザ（端末）や課金を管理するサーバ等の各種サーバや、インターネットやLAN等の任意のネットワークを有するようにしてもよい。
【０３５５】
コンピュータ１６１１は、例えば、パーソナルコンピュータ、サーバ、ワークステーション等のような情報処理装置により構成される。AV機器１６１２は、例えば、テレビジョン受像機、ハードディスクレコーダ、ゲーム機器、カメラ等のような画像処理装置により構成される。携帯型情報処理端末１６１３は、例えば、ノート型パーソナルコンピュータ、タブレット端末、携帯電話機、スマートフォン等のような携帯型の情報処理装置により構成される。IoTデバイス１６１４は、例えば、機械、家電、家具、その他の物、ICタグ、カード型デバイス等、画像に関する処理を行う任意の物体により構成される。これらの端末は、いずれも通信機能を有し、クラウドサービス１６０１に接続し（セッションを確立し）、クラウドサービス１６０１と情報の授受を行う（すなわち通信を行う）ことができる。また、各端末は、他の端末と通信を行うこともできる。端末間の通信は、クラウドサービス１６０１を介して行うようにしてもよいし、クラウドサービス１６０１を介さずに行うようにしてもよい。
【０３５６】
以上のようなネットワークシステム１６００に本技術を適用し、端末間や、端末とクラウドサービス１６０１との間で画像（動画像）のデータが授受される際に、その画像データを各実施の形態において上述したように符号化・復号するようにしてもよい。つまり、端末（コンピュータ１６１１乃至IoTデバイス１６１４）やクラウドサービス１６０１が、それぞれ、上述した画像符号化装置１０や画像復号装置６０の機能を有するようにしてもよい。このようにすることにより、デブロックフィルタ処理において、より適切なフィルタを適用することが可能である。
【０３５７】
＜６．まとめ＞
以上、説明したように本開示の実施形態によれば、デブロックフィルタ処理において、より適切なフィルタを適用することが可能である。
【０３５８】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０３５９】
例えば、上記実施形態において説明した本技術に関する制御情報を符号化側から復号側に伝送するようにしてもよい。例えば、上述した本技術を適用することを許可（または禁止）するか否かを制御する制御情報を伝送するようにしてもよい。また、例えば、上述した本技術を適用することを許可（または禁止）するブロックサイズの上限若しくは下限、またはその両方を指定する制御情報を伝送するようにしてもよい。
【０３６０】
また、上記実施形態では、フィルタ強度判定部１２０がブロック境界に拡張強フィルタを適用するか否かを４ライン単位で判定する例を説明したが、本技術は係る例に限定されない。例えば、フィルタ強度判定部１２０は、ブロック境界に拡張強フィルタを適用するか否かを１ライン単位で判定してもよい。係る構成により、より適切なフィルタが適用されやすくなる。特に拡張強フィルタは、既存のフィルタよりも適用範囲が広く、強力なフィルタであるため、判定を細かく１ライン単位にすることで、不用意に強力な拡張強フィルタを適用してしまうことを避けることが可能となる。
【０３６１】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０３６２】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
符号化ストリームを復号して復号画像を生成する復号部と、
デブロックフィルタの適用範囲が拡張された拡張適用範囲に適用する拡張ストロングフィルタを、前記復号部により生成された前記復号画像のブロック境界の近傍に位置する画素に適用するかを、前記拡張適用範囲に含まれる画素の状態に従って判定する判定部と、
前記判定部により前記拡張ストロングフィルタを適用すると判定された画素に、前記拡張ストロングフィルタを適用するフィルタリング部と、
を備える、画像処理装置。
（２）
前記判定部は前記拡張適用範囲に含まれる画素を参照して、前記拡張ストロングフィルタを適用するかを判定する、前記（１）に記載の画像処理装置。
（３）
前記判定部は、前記拡張ストロングフィルタを適用しないと判定した画素に対して、前記拡張ストロングフィルタよりも適用範囲の狭いストロングフィルタを適用するかを判定する、前記（１）または（２）に記載の画像処理装置。
（４）
前記判定部は、前記ブロック境界を基準にして片側ごとに、前記拡張ストロングフィルタを適用するかを判定する、前記（１）または（２）に記載の画像処理装置。
（５）
前記判定部は、前記拡張ストロングフィルタよりも適用範囲の狭いストロングフィルタに係る判定条件が満たされた場合に、前記ブロック境界の片側ごとに、前記拡張ストロングフィルタを適用するかを判定する、前記（４）に記載の画像処理装置。
（６）
前記フィルタリング部は、低域成分に係るフィルタ係数と高域成分に係るフィルタ係数を統合することで得られるフィルタ係数を有する前記拡張ストロングフィルタを適用する、前記（１）〜（５）のいずれか一項に記載の画像処理装置。
（７）
前記低域成分に係るフィルタ係数は、低域特性の強いフィルタ係数である、前記（６）に記載の画像処理装置。
（８）
前記フィルタリング部は、フィルタのタップ形状が非対称である非対称な拡張ストロングフィルタを適用する、前記（１）に記載の画像処理装置。
（９）
前記判定部は、前記拡張適用範囲に含まれる画素値の連続性を判定する際に用いる画素が連続的に拡張された条件に従って、拡張適用範囲に含まれる画素値の連続性を判定する連続性判定処理を行う、前記（１）〜（８）のいずれか一項に記載の画像処理装置。
（１０）
前記判定部は、前記ブロック境界の状態に応じて、前記拡張適用範囲に含まれる画素値の連続性を判定する連続性判定処理を独立して行う、前記（８）に記載の画像処理装置。
（１１）
前記ブロック境界は、四分木構造と二分木との組み合わせに従って再帰的に分割されたブロックの境界である、前記（１）〜（１０）のいずれか一項に記載の画像処理装置。
（１２）
符号化ストリームを復号して復号画像を生成することと、
デブロックフィルタの適用範囲が拡張された拡張適用範囲に適用する拡張ストロングフィルタを、生成された前記復号画像のブロック境界の近傍に位置する画素に適用するかを、前記拡張適用範囲に含まれる画素の状態に従って判定することと、
前記拡張ストロングフィルタを適用すると判定された画素に、前記拡張ストロングフィルタを適用することと、
を含む画像処理方法。
（１３）
ローカル復号された復号画像のブロック境界の近傍に位置する画素に適用されるデブロックフィルタの適用範囲が拡張された拡張適用範囲に適用する拡張ストロングフィルタを、前記復号画像のブロック境界の近傍に位置する画素に適用するかを、前記拡張適用範囲に含まれる画素の状態に従って判定する判定部と、
前記判定部により前記拡張ストロングフィルタを適用すると判定された画素に、前記拡張ストロングフィルタを適用するフィルタリング部と、
前記フィルタリング部により前記拡張ストロングフィルタが適用された前記復号画像を用いて、画像を符号化する符号化部と、
を備える画像処理装置。
（１４）
ローカル復号された復号画像のブロック境界の近傍に位置する画素に適用されるデブロックフィルタの適用範囲が拡張された拡張適用範囲に適用する拡張ストロングフィルタを、前記復号画像のブロック境界の近傍に位置する画素に適用するかを、前記拡張適用範囲に含まれる画素の状態に従って判定することと、
前記拡張ストロングフィルタを適用すると判定された画素に、前記拡張ストロングフィルタを適用することと、
前記拡張ストロングフィルタが適用された前記復号画像を用いて、画像を符号化することと、
を含む画像処理方法。
【符号の説明】
【０３６３】
１０  画像符号化装置
１１  並び替えバッファ
１２  制御部
１３  減算部
１４  直交変換部
１５  量子化部
１６  可逆符号化部
１７  蓄積バッファ
１８  レート制御部
２１  逆量子化部
２２  逆直交変換部
２３  加算部
２４  デブロックフィルタ
２５  ＳＡＯフィルタ
２６  フレームメモリ
２７  スイッチ
２８  モード設定部
３０  イントラ予測部
４０  インター予測部
６０  画像復号装置
６１  蓄積バッファ
６２  可逆復号部
６３  逆量子化部
６４  逆直交変換部
６５  加算部
６７  ＳＡＯフィルタ
６８  並び替えバッファ
６９  Ｄ／Ａ変換部
７０  フレームメモリ
７１  セレクタ
８０  イントラ予測部
９０  インター予測部
１１０  適用要否判定部
１２０  フィルタ強度判定部
１３０  フィルタリング部
【図１】
2018123423.tif 000003
【図２】
2018123423.tif 000004
【図３】
2018123423.tif 000005
【図４】
2018123423.tif 000006
【図５】
2018123423.tif 000007
【図６】
2018123423.tif 000008
【図７】
2018123423.tif 000009
【図８】
2018123423.tif 000010
【図９】
2018123423.tif 000011
【図１０】
2018123423.tif 000012
【図１１】
2018123423.tif 000013
【図１２】
2018123423.tif 000014
【図１３】
2018123423.tif 000015
【図１４】
2018123423.tif 000016
【図１５】
2018123423.tif 000017
【図１６】
2018123423.tif 000018
【図１７】
2018123423.tif 000019
【図１８】
2018123423.tif 000020
【図１９】
2018123423.tif 000021
【図２０】
2018123423.tif 000022
【図２１】
2018123423.tif 000023
【図２２】
2018123423.tif 000024
【図２３】
2018123423.tif 000025
【図２４】
2018123423.tif 000026
【図２５】
2018123423.tif 000027
【図２６】
2018123423.tif 000028
【図２７】
2018123423.tif 000029
【図２８】
2018123423.tif 000030
【図２９】
2018123423.tif 000031
【図３０】
2018123423.tif 000032
【図３１】
2018123423.tif 000033
【図３２】
2018123423.tif 000034
【図３３】
2018123423.tif 000035
【図３４】
2018123423.tif 000036
【国際調査報告】
2018123423.tif 000037
2018123423.tif 000038
2018123423.tif 000039
2018123423.tif 000040