(57)【要約】【課題】処理量を削減する。【解決手段】符号化装置及び符号化装置は、復号画像（局所復号画像）の注目画素に対するクラス分類を、複数の特徴量それぞれのサブクラス分類により行い、そのクラス分類により得られる注目画素の初期クラスを、複数の特徴量それぞれのサブクラス分類のサブクラスのマージ後のサブクラス数の組み合わせごとに決まるマージパターンに従って、初期クラスをマージしたマージクラスに変換する。そして、符号化装置及び符号化装置は、注目画素のマージクラスのタップ係数と復号画像の画素との積和演算を行う予測式を復号画像に適用するフィルタ処理を行って、フィルタ画像を生成する。本技術は、例えば、画像の符号化及び復号を行う場合に適用することができる。【選択図】図８７
2022002353.tif 000002
【特許請求の範囲】
【請求項１】
符号化ビットストリームに含まれる符号化データを復号し、復号画像を生成する復号部と、
前記復号部により生成された前記復号画像の注目画素に対するクラス分類を、複数の特徴量それぞれのサブクラス分類により行うクラス分類部と、
前記クラス分類部により行われたクラス分類により得られる前記注目画素の初期クラスを、前記複数の特徴量それぞれのサブクラス分類のサブクラスのマージ後のサブクラス数の組み合わせごとに決まるマージパターンに従って、初期クラスをマージしたマージクラスに変換するマージ変換部と、
前記マージ変換部により変換された前記注目画素のマージクラスのタップ係数と前記復号画像の画素との積和演算を行う予測式を前記復号画像に適用するフィルタ処理を行って、フィルタ画像を生成するフィルタ部と
を備える復号装置。
【請求項２】
前記クラス分類部は、前記注目画素の画素値の傾斜の強度を表す傾斜強度比と、前記注目画素の画素値の傾斜の方向を表す傾斜方向と、前記注目画素の周辺領域内の複数の画素それぞれの複数方向のアクティビティを方向ごとに加算して得られる前記複数方向のアクティビティサムとを用いて、前記注目画素に対するクラス分類を行う
請求項１に記載の復号装置。
【請求項３】
前記クラス分類部は、前記傾斜方向の信頼度を用いて、前記注目画素に対するクラス分類を行う
請求項２に記載の復号装置。
【請求項４】
前記サブクラス数の組み合わせは、前記傾斜強度比のサブクラス分類のサブクラス数が1で、前記傾斜方向のサブクラス分類のサブクラス数が2以上の組み合わせを含まない
請求項２に記載の復号装置。
【請求項５】
前記符号化ビットストリームから、前記初期クラスから前記マージクラスへの変換に採用する前記サブクラス数の組み合わせである採用組み合わせをパースするパース部をさらに備え、
前記マージ変換部は、前記パース部によりパースされた前記採用組み合わせに対応する前記マージパターンに従って、前記注目画素の初期クラスを前記マージクラスに変換する
請求項１に記載の復号装置。
【請求項６】
前記クラス分類部は、前記注目画素の画素値の傾斜の強度を表す傾斜強度比と、前記注目画素の画素値の傾斜の方向を表す傾斜方向と、前記注目画素の周辺領域内の複数の画素それぞれの複数方向のアクティビティを方向ごとに加算して得られる前記複数方向のアクティビティサムとを用いて、前記注目画素に対するクラス分類を行い、
前記採用組み合わせは、前記傾斜強度比のサブクラス分類のサブクラス数が2以上である場合に、前記傾斜方向のサブクラス分類のサブクラス数を含む
請求項５に記載の復号装置。
【請求項７】
前記復号部は、Quad-Tree Block Structure、又は、QTBT(Quad Tree Plus Binary Tree) Block StructureのCU(Coding Unit)を処理単位として、前記符号化データを復号する
請求項１に記載の復号装置。
【請求項８】
符号化ビットストリームに含まれる符号化データを復号し、復号画像を生成することと、
前記復号画像の注目画素に対するクラス分類を、複数の特徴量それぞれのサブクラス分類により行うことと、
前記クラス分類により得られる前記注目画素の初期クラスを、前記複数の特徴量それぞれのサブクラス分類のサブクラスのマージ後のサブクラス数の組み合わせごとに決まるマージパターンに従って、初期クラスをマージしたマージクラスに変換することと、
前記注目画素のマージクラスのタップ係数と前記復号画像の画素との積和演算を行う予測式を前記復号画像に適用するフィルタ処理を行って、フィルタ画像を生成することと
を含む復号方法。
【請求項９】
局所復号された局所復号画像の注目画素に対するクラス分類を、複数の特徴量それぞれのサブクラス分類により行うクラス分類部と、
前記クラス分類部により行われたクラス分類により得られる前記注目画素の初期クラスを、前記複数の特徴量それぞれのサブクラス分類のサブクラスのマージ後のサブクラス数の組み合わせごとに決まるマージパターンに従って、初期クラスをマージしたマージクラスに変換するマージ変換部と、
前記マージ変換部により変換された前記注目画素のマージクラスのタップ係数と前記局所復号画像の画素との積和演算を行う予測式を前記局所復号画像に適用するフィルタ処理を行って、フィルタ画像を生成するフィルタ部と、
前記フィルタ部により生成された前記フィルタ画像を用いて、元画像を符号化する符号化部と
を備える符号化装置。
【請求項１０】
前記クラス分類部は、前記注目画素の画素値の傾斜の強度を表す傾斜強度比と、前記注目画素の画素値の傾斜の方向を表す傾斜方向と、前記注目画素の周辺領域内の複数の画素それぞれの複数方向のアクティビティを方向ごとに加算して得られる前記複数方向のアクティビティサムとを用いて、前記注目画素に対するクラス分類を行う
請求項９に記載の符号化装置。
【請求項１１】
前記クラス分類部は、前記傾斜方向の信頼度を用いて、前記注目画素に対するクラス分類を行う
請求項１０に記載の符号化装置。
【請求項１２】
前記サブクラス数の組み合わせは、前記傾斜強度比のサブクラス分類のサブクラス数が1で、前記傾斜方向のサブクラス分類のサブクラス数が2以上の組み合わせを含まない
請求項１０に記載の符号化装置。
【請求項１３】
前記フィルタ部は、前記サブクラス数の組み合わせに対応するマージパターンに従って前記初期クラスをマージした場合のコストが最小となる前記サブクラス数の組み合わせを、前記初期クラスから前記マージクラスへの変換に採用する採用組み合わせとして決定し、
前記符号化部は、前記元画像を符号化することにより得られる符号化データと、前記採用組み合わせとを含む前記符号化ビットストリームを生成する
請求項９に記載の符号化装置。
【請求項１４】
前記クラス分類部は、前記注目画素の画素値の傾斜の強度を表す傾斜強度比と、前記注目画素の画素値の傾斜の方向を表す傾斜方向と、前記注目画素の周辺領域内の複数の画素それぞれの複数方向のアクティビティを方向ごとに加算して得られる前記複数方向のアクティビティサムとを用いて、前記注目画素に対するクラス分類を行い、
前記採用組み合わせは、前記傾斜強度比のサブクラス分類のサブクラス数が2以上である場合に、前記傾斜方向のサブクラス分類のサブクラス数を含む
請求項１３に記載の符号化装置。
【請求項１５】
前記復号部は、Quad-Tree Block Structure、又は、QTBT(Quad Tree Plus Binary Tree) Block StructureのCU(Coding Unit)を処理単位として、前記符号化データを復号する
請求項９に記載の符号化装置。
【請求項１６】
局所復号された局所復号画像の注目画素に対するクラス分類を、複数の特徴量それぞれのサブクラス分類により行うことと、
前記クラス分類により得られる前記注目画素の初期クラスを、前記複数の特徴量それぞれのサブクラス分類のサブクラスのマージ後のサブクラス数の組み合わせごとに決まるマージパターンに従って、初期クラスをマージしたマージクラスに変換することと、
前記注目画素のマージクラスのタップ係数と前記局所復号画像の画素との積和演算を行う予測式を前記局所復号画像に適用するフィルタ処理を行って、フィルタ画像を生成することと、
前記フィルタ画像を用いて、元画像を符号化することと
を含む符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、符号化装置、符号化方法、復号装置、及び、復号方法に関し、特に、例えば、処理量を削減することができるようにする符号化装置、符号化方法、復号装置、及び、復号方法に関する。
【背景技術】
【０００２】
HEVC(High Efficiency Video Coding)の後継規格として、VVC(Versatile Video Coding)(旧FVC(Future Video Coding)）の標準化の開始に向けた作業が進められており、画像の符号化及び復号に用いるILF(In Loop Filter)として、デブロッキングフィルタ、適応オフセットフィルタに加えて、バイラテラルフィルタ(Bilateral Filter)、ALF(Adaptive Loop Filter)が検討されている（例えば、非特許文献１を参照）。
【０００３】
また、既存のALFを改善するフィルタとして、GALF(Geometry Adaptive Loop Filter)が提案されている（例えば、非特許文献２を参照)。 
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Algorithm description of Joint Exploration Test Model 7 (JEM7), 2017-08-19
【非特許文献２】Marta Karczewicz, Li Zhang, Wei-Jung Chien, Xiang Li, "Geometry transformation-based adaptive in-loop filter", IEEE Picture Coding Symposium (PCS), 2016.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
GALFでは、複数のクラスで、フィルタ処理に用いるタップ係数を共有して、タップ係数のデータ量を削減するために、クラスをマージするクラスマージ処理が行われる。
【０００６】
クラスマージ処理では、元のクラス数以下の自然数の各値を、クラスのマージ後のマージクラス数として、各マージクラス数について、クラスをマージする最適なマージパターンが求められる。そして、各マージクラス数についての最適なマージパターンの中から、コストを最小にするマージパターンが、フィルタ処理を行うときに採用する採用マージパターンに決定される。
【０００７】
以上のように、クラスマージ処理では、元のクラス数以下の自然数の各値を、クラスのマージ後のマージクラス数として、各マージクラス数について、最適なマージパターンを求めるため、処理量が多くなる。なお、クラスマージ処理で決定された採用マージパターンについては、符号化装置から復号装置に伝送する必要がある。
【０００８】
本技術は、このような状況に鑑みてなされたものであり、処理量を削減することができるようにするものである。
【課題を解決するための手段】
【０００９】
本技術の復号装置は、符号化ビットストリームに含まれる符号化データを復号し、復号画像を生成する復号部と、前記復号部により生成された前記復号画像の注目画素に対するクラス分類を、複数の特徴量それぞれのサブクラス分類により行うクラス分類部と、前記クラス分類部により行われたクラス分類により得られる前記注目画素の初期クラスを、前記複数の特徴量それぞれのサブクラス分類のサブクラスのマージ後のサブクラス数の組み合わせごとに決まるマージパターンに従って、初期クラスをマージしたマージクラスに変換するマージ変換部と、前記マージ変換部により変換された前記注目画素のマージクラスのタップ係数と前記復号画像の画素との積和演算を行う予測式を前記復号画像に適用するフィルタ処理を行って、フィルタ画像を生成するフィルタ部とを備える復号装置である。
【００１０】
本技術の復号方法は、符号化ビットストリームに含まれる符号化データを復号し、復号画像を生成することと、前記復号画像の注目画素に対するクラス分類を、複数の特徴量それぞれのサブクラス分類により行うことと、前記クラス分類により得られる前記注目画素の初期クラスを、前記複数の特徴量それぞれのサブクラス分類のサブクラスのマージ後のサブクラス数の組み合わせごとに決まるマージパターンに従って、初期クラスをマージしたマージクラスに変換することと、前記注目画素のマージクラスのタップ係数と前記復号画像の画素との積和演算を行う予測式を前記復号画像に適用するフィルタ処理を行って、フィルタ画像を生成することとを含む復号方法である。
【００１１】
本技術の復号装置及び復号方法においては、符号化ビットストリームに含まれる符号化データが復号され、復号画像が生成される。さらに、前記復号画像の注目画素に対するクラス分類が、複数の特徴量それぞれのサブクラス分類により行われ、前記クラス分類により得られる前記注目画素の初期クラスが、前記複数の特徴量それぞれのサブクラス分類のサブクラスのマージ後のサブクラス数の組み合わせごとに決まるマージパターンに従って、初期クラスをマージしたマージクラスに変換される。そして、前記注目画素のマージクラスのタップ係数と前記復号画像の画素との積和演算を行う予測式を前記復号画像に適用するフィルタ処理が行われ、フィルタ画像が生成される。
【００１２】
本技術の符号化装置は、局所復号された局所復号画像の注目画素に対するクラス分類を、複数の特徴量それぞれのサブクラス分類により行うクラス分類部と、前記クラス分類部により行われたクラス分類により得られる前記注目画素の初期クラスを、前記複数の特徴量それぞれのサブクラス分類のサブクラスのマージ後のサブクラス数の組み合わせごとに決まるマージパターンに従って、初期クラスをマージしたマージクラスに変換するマージ変換部と、前記マージ変換部により変換された前記注目画素のマージクラスのタップ係数と前記局所復号画像の画素との積和演算を行う予測式を前記局所復号画像に適用するフィルタ処理を行って、フィルタ画像を生成するフィルタ部と、前記フィルタ部により生成された前記フィルタ画像を用いて、元画像を符号化する符号化部とを備える符号化装置である。
【００１３】
本技術の符号化方法は、局所復号された局所復号画像の注目画素に対するクラス分類を、複数の特徴量それぞれのサブクラス分類により行うことと、前記クラス分類により得られる前記注目画素の初期クラスを、前記複数の特徴量それぞれのサブクラス分類のサブクラスのマージ後のサブクラス数の組み合わせごとに決まるマージパターンに従って、初期クラスをマージしたマージクラスに変換することと、前記注目画素のマージクラスのタップ係数と前記局所復号画像の画素との積和演算を行う予測式を前記局所復号画像に適用するフィルタ処理を行って、フィルタ画像を生成することと、前記フィルタ画像を用いて、元画像を符号化することとを含む符号化方法である。
【００１４】
本技術の符号化装置及び符号化方法においては、局所復号された局所復号画像の注目画素に対するクラス分類が、複数の特徴量それぞれのサブクラス分類により行われ、前記クラス分類により得られる前記注目画素の初期クラスが、前記複数の特徴量それぞれのサブクラス分類のサブクラスのマージ後のサブクラス数の組み合わせごとに決まるマージパターンに従って、初期クラスをマージしたマージクラスに変換される。さらに、前記注目画素のマージクラスのタップ係数と前記局所復号画像の画素との積和演算を行う予測式を前記局所復号画像に適用するフィルタ処理が行われ、フィルタ画像が生成される。そして、前記フィルタ画像を用いて、元画像が符号化される。
【００１５】
なお、符号化装置や復号装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【００１６】
また、符号化装置や復号装置は、コンピュータにプログラムを実行させることにより実現することができる。プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【図面の簡単な説明】
【００１７】
【図１】GALFのクラス分類を行うクラス分類部１０の処理の概要を説明する図である。
【図２】注目画素の規定方向（傾斜方向）としてのGALFのdirectionの求め方を説明する図である。
【図３】GALFのクラス分類で求められるクラスを説明する図である。
【図４】画像を符号化する符号化装置がILFの１つとして有するGALFの処理を説明するフローチャートである。
【図５】ステップＳ２１のマージパターン決定処理を説明するフローチャートである。
【図６】マージパターンの表現形式の例を説明する図である。
【図７】マージクラス数ごとのマージパターンの例を示す図である。
【図８】ステップＳ２２の採用マージクラス数決定処理を説明するフローチャートである。
【図９】符号化装置から復号装置に伝送されるマージパターンの例を示す図である。
【図１０】あらかじめ設定されるマージパターンの第１の例を示す図である。
【図１１】あらかじめ設定されるマージパターンの第１の例を示す図である。
【図１２】GALFのクラス分類により得られる25クラスの初期クラスを25クラスのマージクラスにマージするマージクラス数25に対応するマージパターンの設定の方法を説明する図である。
【図１３】GALFのクラス分類により得られる25クラスの初期クラスを20クラスのマージクラスにマージするマージクラス数20に対応するマージパターンの設定の方法を説明する図である。
【図１４】GALFのクラス分類により得られる25クラスの初期クラスを15クラスのマージクラスにマージするマージクラス数15に対応するマージパターンの設定の方法を説明する図である。
【図１５】GALFのクラス分類により得られる25クラスの初期クラスを10クラスのマージクラスにマージするマージクラス数10に対応するマージパターンの設定の方法を説明する図である。
【図１６】GALFのクラス分類により得られる25クラスの初期クラスを5クラスのマージクラスにマージするマージクラス数5に対応するマージパターンの設定の方法を説明する図である。
【図１７】GALFのクラス分類により得られる25クラスの初期クラスを3クラスのマージクラスにマージするマージクラス数3に対応するマージパターンの設定の方法を説明する図である。
【図１８】GALFのクラス分類により得られる25クラスの初期クラスを2クラスのマージクラスにマージするマージクラス数2に対応するマージパターンの設定の方法を説明する図である。
【図１９】GALFのクラス分類により得られる25クラスの初期クラスを1クラスのマージクラスにマージするマージクラス数1に対応するマージパターンの設定の方法を説明する図である。
【図２０】あらかじめ設定されるマージパターンの第２の例を示す図である。
【図２１】あらかじめ設定されるマージパターンの第２の例を示す図である。
【図２２】注目画素の特徴量としてのランキング(Ranking)を用いたクラス分類を説明する図である。
【図２３】注目画素の特徴量としての画素値を用いたクラス分類を説明する図である。
【図２４】注目画素の特徴量としての傾斜方向の信頼度を用いたクラス分類を説明する図である。
【図２５】信頼度を用いたクラス分類で求められる最終クラスを説明する図である。
【図２６】あらかじめ設定されるマージパターンの第３の例を示す図である。
【図２７】あらかじめ設定されるマージパターンの第３の例を示す図である。
【図２８】あらかじめ設定されるマージパターンの第４の例を示す図である。
【図２９】GALFのクラス分類を説明する図である。
【図３０】傾斜強度比サブクラスのサブクラスマージを説明する図である。
【図３１】方向サブクラスのサブクラスマージを説明する図である。
【図３２】アクティビティサブクラスのサブクラスマージを説明する図である。
【図３３】アクティビティサブクラスのサブクラスマージによる初期クラスのマージの例を示す図である。
【図３４】傾斜強度比サブクラスのサブクラスマージによる初期クラスのマージの例を示す図である。
【図３５】方向サブクラスのサブクラスマージによる初期クラスのマージの例を示す図である。
【図３６】傾斜強度比サブクラス、方向サブクラス、及び、アクティビティサブクラスのサブクラスマージ後のサブクラス数と、マージクラス数との関係を示す図である。
【図３７】サブクラスマージ及びマージパターン選択を行うことにより得られるマージパターンの例を示す図である。
【図３８】サブクラスの一部マージを説明する図である。
【図３９】サブクラスの一部マージを説明する図である。
【図４０】サブクラスの一部マージにより得られるマージパターンの例を示す図である。
【図４１】サブクラスマージ及びマージパターン選択により得られるマージパターンと、一部マージにより得られるマージパターンとの関係の例を示す図である。
【図４２】サブクラスマージ及びマージパターン選択により得られるマージパターンと、一部マージにより得られるマージパターンとの関係の他の例を示す図である。
【図４３】サブクラスマージにより得られるマージクラス数25に対応するマージパターンと、そのマージパターンが得られるサブクラスマージとを示す図である。
【図４４】サブクラスマージにより得られるマージクラス数20に対応するマージパターンと、そのマージパターンが得られるサブクラスマージとを示す図である。
【図４５】サブクラスマージにより得られるマージクラス数15に対応するマージパターンと、そのマージパターンが得られるサブクラスマージとを示す図である。
【図４６】サブクラスマージにより得られるマージクラス数12に対応するマージパターンと、そのマージパターンが得られるサブクラスマージとを示す図である。
【図４７】サブクラスマージにより得られるマージクラス数10に対応するマージパターンと、そのマージパターンが得られるサブクラスマージとを示す図である。
【図４８】サブクラスマージにより得られるマージクラス数9に対応するマージパターンと、そのマージパターンが得られるサブクラスマージとを示す図である。
【図４９】サブクラスマージにより得られるマージクラス数8に対応するマージパターンと、そのマージパターンが得られるサブクラスマージとを示す図である。
【図５０】サブクラスマージにより得られるマージクラス数6に対応するマージパターンと、そのマージパターンが得られるサブクラスマージとを示す図である。
【図５１】サブクラスマージにより得られるマージクラス数5に対応するマージパターンと、そのマージパターンが得られるサブクラスマージとを示す図である。
【図５２】サブクラスマージにより得られるマージクラス数4に対応するマージパターンと、そのマージパターンが得られるサブクラスマージとを示す図である。
【図５３】サブクラスマージにより得られるマージクラス数3に対応するマージパターンと、そのマージパターンが得られるサブクラスマージとを示す図である。
【図５４】サブクラスマージにより得られるマージクラス数2に対応するマージパターンと、そのマージパターンが得られるサブクラスマージとを示す図である。
【図５５】サブクラスマージにより得られるマージクラス数1に対応するマージパターンと、そのマージパターンが得られるサブクラスマージとを示す図である。
【図５６】本技術を適用したクラス分類予測フィルタの構成例を示すブロック図である。
【図５７】クラス分類予測フィルタ１１０が行うクラス分類予測処理の例を説明するフローチャートである。
【図５８】本技術を適用した画像処理システムの一実施の形態の概要を示すブロック図である。
【図５９】符号化装置１６０の符号化処理の概要を説明するフローチャートである。
【図６０】復号装置１７０の復号処理の概要を説明するフローチャートである。
【図６１】符号化装置１６０の詳細な構成例を示すブロック図である。
【図６２】符号化装置１６０の符号化処理の例を説明するフローチャートである。
【図６３】予測符号化処理の例を説明するフローチャートである。
【図６４】復号装置１７０の詳細な構成例を示すブロック図である。
【図６５】復号装置１７０の復号処理の例を説明するフローチャートである。
【図６６】予測復号処理の例を説明するフローチャートである。
【図６７】マージパターン(3, 1, 5)と、そのマージパターン(3, 1, 5)が得られるサブクラスマージとを示す図である。
【図６８】マージパターン(1, 2, 5)と、そのマージパターン(1, 2, 5)が得られるサブクラスマージとを示す図である。
【図６９】マージパターン(3, 1, 4)と、そのマージパターン(3, 1, 4)が得られるサブクラスマージとを示す図である。
【図７０】マージパターン(2, 1, 4)と、そのマージパターン(2, 1, 4)が得られるサブクラスマージとを示す図である。
【図７１】マージパターン(1, 2, 4)と、そのマージパターン(1, 2, 4)が得られるサブクラスマージとを示す図である。
【図７２】マージパターン(3, 2, 3)と、そのマージパターン(3, 2, 3)が得られるサブクラスマージとを示す図である。
【図７３】マージパターン(3, 1, 3)と、そのマージパターン(3, 1, 3)が得られるサブクラスマージとを示す図である。
【図７４】マージパターン(1, 2, 3)と、そのマージパターン(1, 2, 3)が得られるサブクラスマージとを示す図である。
【図７５】マージパターン(3, 2, 2)と、そのマージパターン(3, 2, 2)が得られるサブクラスマージとを示す図である。
【図７６】マージパターン(3, 1, 2)と、そのマージパターン(3, 1, 2)が得られるサブクラスマージとを示す図である。
【図７７】マージパターン(2, 1, 2)と、そのマージパターン(2, 1, 2)が得られるサブクラスマージとを示す図である。
【図７８】マージパターン(1, 2, 2)と、そのマージパターン(1, 2, 2)が得られるサブクラスマージとを示す図である。
【図７９】マージパターン(3, 2, 1)と、そのマージパターン(3, 2, 1)が得られるサブクラスマージとを示す図である。
【図８０】マージパターン(3, 1, 1)と、そのマージパターン(3, 1, 1)が得られるサブクラスマージとを示す図である。
【図８１】マージパターン(2, 2, 1)と、そのマージパターン(2, 2, 1)が得られるサブクラスマージとを示す図である。
【図８２】マージパターン(2, 1, 1)と、そのマージパターン(2, 1, 1)が得られるサブクラスマージとを示す図である。
【図８３】マージパターン(1, 2, 1)と、そのマージパターン(1, 2, 1)が得られるサブクラスマージとを示す図である。
【図８４】サブクラス数の組み合わせを伝送するシンタクスの例を示す図である。
【図８５】本技術を適用したクラス分類予測フィルタの構成例を示すブロック図である。
【図８６】クラス分類予測フィルタ４１０が行うクラス分類予測処理の例を説明するフローチャートである。
【図８７】本技術を適用した画像処理システムの一実施の形態の概要を示すブロック図である。
【図８８】符号化装置４６０の符号化処理の概要を説明するフローチャートである。
【図８９】復号装置４７０の復号処理の概要を説明するフローチャートである。
【図９０】符号化装置４６０の詳細な構成例を示すブロック図である。
【図９１】符号化装置４６０の符号化処理の例を説明するフローチャートである。
【図９２】予測符号化処理の例を説明するフローチャートである。
【図９３】復号装置４７０の詳細な構成例を示すブロック図である。
【図９４】復号装置４７０の復号処理の例を説明するフローチャートである。
【図９５】予測復号処理の例を説明するフローチャートである。
【図９６】コンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００１８】
＜技術内容・技術用語をサポートする文献等＞
【００１９】
本願で開示される範囲は、本明細書及び図面に記載されている内容だけではなく、出願当時において公知となっている以下の文献に記載されている内容も含まれる。 
【００２０】
文献１：AVC規格書("Advanced video coding for generic audiovisual services", ITU-T H.264(04/2017))
文献２：HEVC規格書("High efficiency video coding", ITU-T H.265(12/2016))
文献３：FVC アルゴリズム解説書(Algorithm description of Joint Exploration Test Model 7 (JEM7), 2017-08-19)
【００２１】
つまり、上述の文献に記載されている内容もサポート要件を判断する際の根拠となる。例えば、文献１に記載されているQuad-Tree Block Structure、文献３に記載されているQTBT（Quad Tree Plus Binary Tree）やBlock Structureが実施の形態において直接的な記載がない場合でも、本技術の開示範囲内であり、特許請求の範囲のサポート要件を満たす。また、例えば、パース（Parsing）、シンタックス（Syntax）、セマンティクス（Semantics）等の技術用語についても同様に、実施の形態において直接的な記載がない場合でも、本技術の開示範囲内であり、特許請求の範囲のサポート要件を満たす。
【００２２】
また、本明細書において、画像（ピクチャ）の部分領域や処理単位として説明に用いる「ブロック」（処理部を示すブロックではない）は、特に言及しない限り、ピクチャ内の任意の部分領域を示し、その大きさ、形状、および特性等は限定されない。例えば、「ブロック」には、上述の文献１ないし３に記載のTB（Transform Block）、TU（Transform Unit）、PB（Prediction Block）、PU（Prediction Unit）、SCU（Smallest Coding Unit）、CU（Coding Unit）、LCU（Largest Coding Unit）、CTB（Coding Tree Block）、CTU（Coding Tree Unit）、変換ブロック、サブブロック、マクロブロック、タイル、又は、スライス等、任意の部分領域（処理単位）が含まれる。
【００２３】
また、このようなブロックのサイズを指定するに当たって、直接的にブロックサイズを指定するだけでなく、間接的にブロックサイズを指定するようにしてもよい。例えばサイズを識別する識別情報を用いてブロックサイズを指定するようにしてもよい。また、例えば、基準となるブロック（例えばLCUやSCU等）のサイズとの比または差分によってブロックサイズを指定するようにしてもよい。例えば、シンタックス要素等としてブロックサイズを指定する情報を伝送する場合に、その情報として、上述のような間接的にサイズを指定する情報を用いるようにしてもよい。このようにすることにより、その情報の情報量を低減させることができ、符号化効率を向上させることができる場合がある。また、このブロックサイズの指定には、ブロックサイズの範囲の指定（例えば、許容されるブロックサイズの範囲の指定等）も含む。
【００２４】
＜定義＞
【００２５】
本願では、以下の用語を、以下のように定義する。
【００２６】
符号化データとは、画像を符号化することにより得られるデータであり、例えば、画像（の残差）を直交変換して量子化することにより得られるデータである。
【００２７】
符号化ビットストリームとは、符号化データを含むビットストリームであり、必要に応じて、符号化に関する符号化情報を含む。符号化情報には、符号化データを復号するのに必要な情報、すなわち、例えば、符号化で量子化が行われている場合の量子化パラメータ(QP)や、符号化で予測符号化（動き補償）が行われている場合の動きベクトル等が、少なくとも含まれる。
【００２８】
予測式とは、第１のデータから第２のデータを予測する多項式である。第１のデータ及び第２のデータが、例えば、画像（データ）である場合、予測式は、第１の画像から第２の画像を予測する多項式となる。かかる多項式である予測式の各項は、１個のタップ係数と１個以上の予測タップとの積で構成され、したがって、予測式は、タップ係数と予測タップとの積和演算を行う式である。第１の画像の画素のうちの予測（予測式の演算）に用いるi番目の予測タップとしての画素（の画素値）をxiと、i番目のタップ係数をwiと、第２の画像の画素（の画素値の予測値）をy'と、それぞれ表すとともに、予測式として、１次項のみからなる多項式を採用することとすると、予測式は、式y'=Σwixiで表される。式y'=Σwixiにおいて、Σは、iについてのサメーションを表す。予測式を構成するタップ係数wiは、予測式により得られる値y'の、真値yとの誤差y'-yを統計的に最小にする学習により求められる。タップ係数を求める学習（以下、タップ係数学習ともいう）の方法としては、最小自乗法がある。タップ係数学習では、予測式が適用される第１の画像に相当する、学習の生徒となる生徒データ（予測式への入力xi）としての生徒画像と、第１の画像に予測式を適用した結果として得たい第２の画像に相当する、学習の教師となる教師データ（予測式の演算により求められる予測値の真値y）としての教師画像とを用いて、正規方程式を構成する各項の係数の足し込み（係数のサメーション）を行うことにより、正規方程式が求められ、その正規方程式を解くことにより、予測値y'の自乗誤差の総和（統計的な誤差）を最小にするタップ係数が求められる。
【００２９】
予測処理とは、第１の画像に、予測式を適用して、第２の画像を予測する処理である。予測処理では、第１の画像の画素（の画素値）を用いて、予測式の演算としての積和演算を行うことにより、第２の画像の予測値が求められる。第１の画像を用いて積和演算を行うことは、第１の画像にフィルタをかけるフィルタ処理ということができ、第１の画像を用いて、予測式の積和演算（予測式の演算としての積和演算）を行う予測処理は、フィルタ処理の一種であるということができる。
【００３０】
フィルタ画像とは、フィルタ処理の結果得られる画像を意味する。予測処理としてのフィルタ処理により、第１の画像から得られる第２の画像（の予測値）は、フィルタ画像である。
【００３１】
タップ係数とは、予測式である多項式の各項を構成する係数であり、ディジタルフィルタのタップにおいて、フィルタリングの対象の信号に乗算されるフィルタ係数に相当する。
【００３２】
予測タップとは、予測式の演算に用いられる画素（の画素値）等の情報であり、予測式において、タップ係数と乗算される。予測タップには、画素（の画素値）そのものの他、画素から求められる値、例えば、あるブロック内の画素（の画素値）の総和や平均値等が含まれる。
【００３３】
ここで、予測式の演算に用いる予測タップとしての画素等を選択することは、ディジタルフィルタのタップに、入力となる信号を供給する接続線を張る（配する）ことに相当することから、予測式の演算に用いる予測タップとしての画素を選択することを、「予測タップを張る」ともいう。
【００３４】
クラス分類とは、画素を複数のクラスのうちのいずれかのクラスに分類する（クラスタリングする）ことを意味する。クラス分類は、例えば、注目画素の周辺領域の画素（の画素値）や、注目画素に関係する符号化情報を用いて行うことができる。注目画素に関係する符号化情報としては、例えば、注目画素の量子化に用いられる量子化パラメータや、注目画素にかけられたデブロッキングフィルタに関するDF(Deblocking Filter)情報等がある。DF情報とは、例えば、デブロッキングフィルタにおいて、ストロングフィルタ又はウィークフィルタのうちのいずれが適用されたかや、いずれも適用されなかったといった情報である。
【００３５】
クラス分類予測処理とは、クラスごとに行われる予測処理としてのフィルタ処理である。クラス分類予測処理の基本的な原理については、例えば、特許第4449489号等に記載されている。
【００３６】
高次項とは、予測式としての多項式を構成する項のうちの、２個以上の予測タップ（としての画素）の積を有する項である。
【００３７】
Ｄ次項とは、予測式としての多項式を構成する項のうちの、Ｄ個の予測タップの積を有する項である。例えば、１次項は、１個の予測タップを有する項であり、２次項は、２個の予測タップの積を有する項である。Ｄ次項を構成する予測タップの積において、その積をとる予測タップは、同一の予測タップ（画素）であってもよい。
【００３８】
Ｄ次係数とは、Ｄ次項を構成するタップ係数を意味する。
【００３９】
Ｄ次タップとは、Ｄ次項を構成する予測タップ（としての画素）を意味する。ある１個の画素が、Ｄ次タップであり、かつ、Ｄ次タップとは異なるＤ’次タップであることもある。また、Ｄ次タップのタップ構造と、Ｄ次タップとは異なるＤ’次タップのタップ構造とは、同一である必要はない。
【００４０】
DC(Direct Current)予測式とは、DC項を含む予測式である。
【００４１】
DC項とは、予測式としての多項式を構成する項のうちの、予測タップとしての画像のDC成分を表す値とタップ係数との積の項である。
【００４２】
DCタップとは、DC項の予測タップ、すなわち、DC成分を表す値を意味する。
【００４３】
DC係数とは、DC項のタップ係数を意味する。
【００４４】
１次予測式とは、１次項のみからなる予測式である。
【００４５】
高次予測式とは、高次項を含む予測式、すなわち、１次項と２次以上の高次項とからなる予測式や、２次以上の高次項のみからなる予測式である。
【００４６】
第１の画像の画素のうちの予測に用いるi番目の予測タップ（画素値等）をxiと、i番目のタップ係数をwiと、予測式により求める第２の画像の画素（の画素値の予測値）をyと、それぞれ表すこととすると、１次予測式は、式y=Σwixiで表される。
【００４７】
また、１次項及び２次項のみからなる高次予測式は、例えば、式y=Σwixi+Σ(Σwj,kxk)xjで表される。
【００４８】
さらに、例えば、１次予測式にDC項を含ませたDC予測式は、例えば、式Σwixi+wDCBDCBで表される。ここで、wDCBは、DC係数を表し、DCBは、DCタップを表す。
【００４９】
１次予測式、高次予測式、及び、DC予測式のタップ係数は、いずれも、上述したような最小自乗法によるタップ係数学習を行うことにより求めることができる。
【００５０】
本実施の形態では、説明を簡単にするため、予測式としては、１次予測式を採用することとする。
【００５１】
タップ構造とは、（例えば、注目画素の位置を基準とする、）予測タップとしての画素の配置を意味する。タップ構造は、予測タップの張り方、ということもできる。１次予測式が採用される場合、予測タップを構成する画素の位置に、その画素と乗算されるタップ係数を配置した状態を考えると、タップ構造は、タップ係数の配置であるということもできる。そこで、タップ構造とは、注目画素の予測タップを構成する画素の配置、及び、予測タップを構成する画素の位置に、その画素と乗算されるタップ係数を配置した状態でのタップ係数の配置のいずれをも意味することとする。
【００５２】
（画像の）アクティビティとは、画像の空間的な画素値の変化具合を意味する。
【００５３】
復号画像とは、元画像を符号化することにより得られる符号化データを復号することにより得られる画像である。復号画像には、復号装置で符号化データを復号することにより得られる画像の他、符号化装置で元画像が予測符号化される場合には、その予測符号化の局所復号で得られる画像も含まれる。すなわち、符号化装置において、元画像が予測符号化される場合には、局所復号において、予測画像と（復号された）残差とが加算されるが、その加算の加算結果は、復号画像である。符号化装置の局所復号にILFが用いられる場合、予測画像と残差との加算結果である復号画像が、ILFのフィルタ処理の対象となるが、ILFのフィルタ処理後の復号画像は、フィルタ画像でもある。
【００５４】
（画素の）傾斜方向とは、画素値の傾斜の方向、特に、例えば、画素値の傾斜が最大の方向を意味する。なお、画素値の傾斜が最大の方向は、画素値の等高線に直交する方向であり、画素値の等高線の接線方向と直交するので、画素値の等高線の接線方向とは一対一の関係にある。したがって、画素値の傾斜が最大の方向と、画素値の等高線の接線方向とは、等価な情報であり、傾斜方向というときには、画素値の傾斜が最大の方向、及び、画素値の等高線の接線方向のいずれをも含む。本実施の形態では、傾斜方向として、画素値の傾斜が最大の方向を採用することとする。
【００５５】
規定方向とは、あらかじめ決められた離散的な方向を意味する。方向の表現方法としては、例えば、連続的な角度によって連続的な方向を表現する方法や、水平方向及び垂直方向という2種類の離散的な方向で表現する方法、周囲360度を等角度の8方向に区分して、その8方向の離散的な方向で表現する方法等を採用することができる。規定方向とは、このように、あらかじめ決められた離散的な方向で表現される方向を意味する。例えば、非特許文献２に記載のGALFで用いられるdirectionや、GALFの方向クラスが表す方向（後述するV方向若しくはH方向のいずれかか、又は、D0方向若しくはD1方向のいずれかかの２通りの方向）等が、規定方向の一例である。
【００５６】
傾斜方向というときには、連続的な角度によって連続的に表現される方向も含まれるし、規定方向も含まれる。すなわち、傾斜方向は、連続的な方向で表現することもできるし、規定方向で表現することもできる。
【００５７】
傾斜特徴量とは、傾斜方向を表す画像の特徴量である。例えば、各方向のアクティビティや、画像にソーベルフィルタ等をかけて得られる傾斜ベクトル（グラディエント）が、傾斜特徴量の一例である。
【００５８】
傾斜方向の信頼度とは、何らかの方法で求められた画素の傾斜方向の信頼性（確からしさ）を意味する。
【００５９】
初期クラスとは、タップ係数学習においてタップ係数が求められるクラスであり、マージされる前のクラスである。
【００６０】
マージクラスとは、1個(1クラス）以上の初期クラスをマージしたクラスである。
【００６１】
マージクラス数とは、初期クラスをマージして得られるマージクラスの数である。
【００６２】
マージパターンとは、初期クラスと、その初期クラスをマージして得られるマージクラスとの対応関係を表し、例えば、初期クラスを表すクラス番号の順番に、そのクラス番号の初期クラスがマージされるマージクラスのクラス番号を配置する表現形式等で表現される。
【００６３】
以下、本技術の実施の形態を説明する前に、GALFのクラス分類を含むGALFの処理の概要を説明する。
【００６４】
＜GALFのクラス分類の概要＞
【００６５】
図１は、GALFのクラス分類を行うクラス分類部１０の処理の概要を説明する図である。
【００６６】
すなわち、図１は、JVET(Joint Video. Exploration Team)-B0060のクラス分類の概要を示している。
【００６７】
クラス分類部１０は、復号画像（符号化装置での局所復号により得られる復号画像を含む）において、クラス分類の対象となる画素を、順次、注目画素に選択し、注目画素を始点とする複数方向それぞれのアクティビティを、注目画素の傾斜特徴量として求める。
【００６８】
クラス分類部１０では、注目画素を始点とする複数方向として、例えば、注目画素を始点とする垂直方向としての上方向、水平方向としての左方向、左上方向、及び、右上方向の４方向が採用される。
【００６９】
ここで、図１に示すように、上方向、左方向、左上方向、及び、右上方向を、以下、それぞれ、V方向、H方向、D0方向、及び、D1方向ともいう。また、V方向、H方向、D0方向、及び、D1方向に対して、注目画素（の位置）を対称の中心として点対称の方向（反対方向）を、それぞれ、V'方向、H'方向、D0'方向、及び、D1'方向ともいう。
【００７０】
画像のアクティビティは、点対称であることが多いため、GALFのクラス分類では、点対称の2方向のアクティビティが、その2方向のうちの1方向のアクティビティによって兼用（代用）される。すなわち、V方向及びV'方向のアクティビティは、V方向のアクティビティによって兼用され、H方向及びH'方向のアクティビティは、H方向のアクティビティによって兼用される。D0方向及びD0'方向のアクティビティは、D0方向のアクティビティによって兼用され、D1方向及びD1'方向のアクティビティは、D1方向のアクティビティによって兼用される。
【００７１】
V方向、H方向、D0方向、及び、D1方向は、GALFのクラス分類においてアクティビティが求められる方向であるから、アクティビティ算出方向であるということができる。アクティビティ算出方向であるV方向、H方向、D0方向、及び、D1方向は、あらかじめ決められた離散的な方向であるから、規定方向（の一種）である。
【００７２】
クラス分類部１０は、注目画素のD方向（V方向、H方向、D0方向、又は、D1方向を表す）のアクティビティA(D)を、注目画素を含む復号画像に、例えば、ラプラシアンフィルタをかけることで求める。この場合、注目画素のV方向、H方向、D0方向、及び、D1方向それぞれのアクティビティA(V), A(H), A(D0)、及び、 A(D1)は、例えば、次式に従って求めることができる。
【００７３】
A(V) = abs((L[y][x]<<1) - L[y-1][x] - L[y+1][x])
A(H) = abs((L[y][x]<<1) - L[y][x-1] - L[y][x+1])
A(D0) = abs((L[y][x]<<1) - L[y-1][x-1] - L[y+1][x+1])
A(D1) = abs((L[y][x]<<1) - L[y+1][x-1] - L[y-1][x+1])
・・・（１）
【００７４】
ここで、L[y][x]は、復号画像の第y行第x列の位置の画素の画素値（輝度値）を表し、いまの場合、復号画像の第y行第x列の位置の画素が、注目画素である。また、abs(v)は、vの絶対値を表し、v<<bは、vを、bビットだけ左シフトすること（2b倍すること）を表す。
【００７５】
クラス分類部１０は、注目画素の周辺領域内の複数の画素それぞれのアクティビティを同様にして求める。そして、クラス分類部１０は、注目画素の周辺領域内の複数の画素それぞれのアクティビティを、V方向、H方向、D0方向、及び、D1方向それぞれごとに加算し、V方向、H方向、D0方向、及び、D1方向それぞれについて、アクティビティの加算値（以下、アクティビティサム(activity summation)ともいう）を求める。
【００７６】
本実施の形態では、例えば、図１に示すように、注目画素を中心とする横×縦が3×3画素の領域が、傾斜特徴量としてのアクティビティA(D)を総合的に用いる対象とする周辺領域になっており、その周辺領域の3×3画素それぞれの式（１）のアクティビティA(V)を加算し、注目画素のV方向のアクティビティサムsumA(V)が求められる。注目画素のH方向、D0方向、及び、D1方向のアクティビティサムsumA(H)、sumA(D0)、及び、sumA(D1)も同様にして求められる。ここで、周辺領域は、3×3画素の領域に限定されるものではない。傾斜特徴量を総合的に用いる対象とする周辺領域、（ここでは、アクティビティA(D)の加算の対象とする周辺領域）としては、3×3画素の領域の他、注目画素を含む6×6画素の領域、その他の、注目画素を含む任意の領域を採用することができる。
【００７７】
クラス分類部１０は、注目画素のV方向、H方向、D0方向、及び、D1方向のアクティビティサムsumA(V)、sumA(H)、sumA(D0)、及び、sumA(D1)を用いて、注目画素の傾斜方向を表す規定方向としてのGALFのdirectionを求める（設定する）。
【００７８】
ここで、規定方向としてのGALFのdirectionとは、図１に示すように、2進数で000ないし111、10進数で0ないし7が割り当てられた8方向である。GALFでは、規定方向としてのdirectionとして、H方向とH方向及びD0方向を2等分する方向HD0との間の方向、方向HD0とD0方向との間の方向、D0方向とD方向及びV方向を2等分する方向D0Vとの間の方向、方向D0VとV方向との間の方向、V方向とV方向及びD1方向を2等分する方向VD1との間の方向、方向VD1とD1方向との間の方向、D1方向とD1方向及びH'方向を2等分する方向D1H'との間の方向、並びに、方向D1H'とH'方向との間の方向の、合計で8方向があらかじめ決められている。
【００７９】
H方向と方向HD0との間の方向には2進数の110が、方向HD0とD0方向との間の方向には2進数の001が、D0方向と方向D0Vとの間の方向には2進数の000が、方向D0VとV方向との間の方向には2進数の010が、V方向と方向VD1との間の方向には2進数の011が、方向VD1とD1方向との間の方向には2進数の100が、D1方向と方向D1H'との間の方向には2進数の101が、方向D1H'とH'方向との間の方向には2進数の111が、それぞれ割り当てられている。なお、GALFでは、上述の8方向それぞれと、その8方向それぞれと点対称の方向とは、同一の方向として扱われる。
【００８０】
クラス分類部１０は、注目画素の規定方向としてのdirectionから、注目画素の傾斜方向を表す方向クラスを求める（設定する）。GALFの方向クラスは、V方向若しくはH方向のいずれかか、又は、D0方向若しくはD1方向のいずれかかの２通りの方向を表す。
【００８１】
ここで、方向クラスを求めることは、クラス分類部１０が行うGALFのクラス分類の一部を構成するので、サブクラス分類ということができる。方向クラスを求めるサブクラス分類を、以下、方向サブクラス分類ともいう。
【００８２】
クラス分類部１０は、注目画素の方向クラス、並びに、V方向、H方向、D0方向、及び、D1方向のアクティビティサムsumA(V)、sumA(H)、sumA(D0)、及び、sumA(D1)に応じて、注目画素をクラス分類する。
【００８３】
図２は、注目画素の規定方向（傾斜方向）としてのGALFのdirectionの求め方を説明する図である。
【００８４】
図２は、GALFのクラス分類において、V方向、H方向、D0方向、及び、D1方向のアクティビティサムsumA(V)、sumA(H)、sumA(D0)、及び、sumA(D1)を用いて求められる（設定される）MainDir及びSecDirの例を示している。さらに、図２は、GALFのクラス分類で用いられるMainDir及びSecDirとdirectionとの関係、及び、directionとtranspose及びclassとの関係を示す方向クラス分類テーブルを示している。
【００８５】
クラス分類部１０は、V方向、H方向、D0方向、及び、D1方向のアクティビティサムsumA(V)、sumA(H)、sumA(D0)、及び、sumA(D1)を求めた後、アクティビティサムsumA(H)とsumA(V)とを比較し、大きい方を第１の勝者アクティビティHVhighとするとともに、他方を第１の敗者アクティビティHVlowとする。
【００８６】
また、クラス分類部１０は、アクティビティサムsumA(D0)とsumA(D1)とを比較し、大きい方を第２の勝者アクティビティDhighとするとともに、他方を第２の敗者アクティビティDlowとする。
【００８７】
そして、クラス分類部１０は、第１の勝者アクティビティHVhighと第２の敗者アクティビティDlowとの乗算値HVhigh×Dlowと、第２の勝者アクティビティDhighと第１の敗者アクティビティHVlowとの乗算値Dhigh×HVlowとを比較する。
【００８８】
乗算値HVhigh×Dlowが、乗算値Dhigh×HVlowより大きい場合、クラス分類部１０は、第１の勝者アクティビティHVhighが得られた方向（H方向又はV方向）を、Main Dir(MainDirection)に決定するとともに、第２の勝者アクティビティDhighが得られた方向（D0方向又はD1方向）を、SecDir(Second Direction)に決定する。
【００８９】
一方、HVhigh×Dlowが、Dhigh×HVlowより大きくない場合、クラス分類部１０は、第２の勝者アクティビティDhighが得られた方向を、MainDirに決定するとともに、第１の勝者アクティビティHVhighが得られた方向を、SecDirに決定する。
【００９０】
図２では、注目画素のMainDir及びSecDirが、それぞれ、D0方向及びV方向になっている。
【００９１】
クラス分類部１０は、方向クラス分類テーブルにおいて、注目画素のMainDir及びSecDirに割り当てられているdirectionを、注目画素の規定方向としてのdirectionに決定する。さらに、クラス分類部１０は、方向クラス分類テーブルにおいて、注目画素のdirectionに割り当てられているtranspose及びclassを、注目画素のtranspose及びclassに決定する。
【００９２】
ここで、GALFでは、フィルタ係数が転置され、フィルタ処理に用いられるが、transposeは、フィルタ係数の転置の仕方を表す。classは、方向クラスを表す。GALFの方向クラスは、10進数の０及び２で表される２通りのクラスである。方向クラスは、注目画素のdirectionと、2進数の010との論理積をとることにより求めることができる。方向クラス０は、傾斜方向がD0方向又はD1方向であることを表し、方向クラス２は、傾斜方向がV方向又はH方向であることを表す。
【００９３】
図３は、GALFのクラス分類で求められるクラスを説明する図である。
【００９４】
クラス分類部１０が行うGALFのクラス分類では、注目画素は、（最終）クラス０ないし２４の25クラスのうちのいずれかに分類される。
【００９５】
すなわち、クラス分類部１０は、注目画素の方向クラス、並びに、V方向、H方向、D0方向、及び、D1方向のアクティビティサムsumA(V)、sumA(H)、sumA(D0)、及び、sumA(D1)を必要に応じて用いて、注目画素の画素値の傾斜の強度を表す傾斜強度比を求め、その傾斜強度比に応じて、注目画素の傾斜強度比を表すクラスを求める（設定する）。
【００９６】
ここで、傾斜強度比を表すクラスを求めることは、クラス分類部１０が行うGALFのクラス分類の一部を構成するので、サブクラス分類ということができる。傾斜強度比を表すクラスを求めるサブクラス分類を、以下、傾斜強度比サブクラス分類ともいう。サブクラス分類により得られるクラスを、以下、サブクラスともいう。
【００９７】
クラス分類部１０は、D0方向、及び、D1方向のアクティビティサムsumA(D0)、及び、sumA(D1)の比rd1,d2、並びに、V方向、及び、H方向のアクティビティサムsumA(V)、及び、sumA(H)の比rh,vを、式（２）及び式（３）にそれぞれ従い、傾斜強度比として求める。
【００９８】
rd1,d2＝max{sumA(D0)，sumA(D1)}／min{sumA(D0)，sumA(D1)}
・・・（２）
【００９９】
rh,v＝max{sumA(V)，sumA(H)}／min{sumA(V)，sumA(H)}
・・・（３）
【０１００】
ここで、max{A, B}は、A及びBのうちの大きい方を表し、min{A, B}は、A及びBのうちの小さい方を表す。
【０１０１】
傾斜強度比rd1,d2が、第１の閾値t1未満である場合、及び、傾斜強度比rh,vが、第１の閾値t1未満である場合、注目画素は、傾斜強度比が極めて小さいノン(None)クラスに傾斜強度比サブクラス分類される。
【０１０２】
傾斜強度比サブクラス分類において、注目画素がノンクラスに分類された場合、クラス分類部１０は、注目画素の方向クラス（サブクラス）を無効として（考慮せず）、注目画素の空間特徴量としてのV方向、H方向、D0方向、及び、D1方向のアクティビティサムsumA(V)、sumA(H)、sumA(D0)、及び、sumA(D1)に応じて、注目画素を、最終的な初期クラス（以下、最終クラスともいう）にクラス分類する。
【０１０３】
すなわち、クラス分類部１０は、アクティビティサムsumA(V)、sumA(H)、sumA(D0)、及び、sumA(D1)に応じて、アクティビティサムの大きさを表すクラスを求める。
【０１０４】
ここで、アクティビティサムの大きさを表すクラスを求めることは、傾斜強度比サブクラス分類等と同様に、サブクラス分類であり、以下、アクティビティサブクラス分類ともいう。
【０１０５】
アクティビティサブクラス分類では、アクティビティサムsumA(V)、sumA(H)、sumA(D0)、及び、sumA(D1)のうちの、アクティビティサムsumA(V)及びsumA(H)を用い、アクティビティサブクラス分類により求めるサブクラスであるアクティビティサブクラスへのインデクスclass_idxを求める。
【０１０６】
インデクスclass_idxは、例えば、式class_idx = Clip(0, 15, ((sumA(V)+sumA(H)) × 24) >>13)に従って求められる。ここで、Clip(0, 15, X)は、Xが、0ないし15の範囲内の値となるように、Xをクリップすることを表す。
【０１０７】
アクティビティサブクラス分類では、インデクスclass_idxに応じて、アクティビティサブクラスが求められる。
【０１０８】
すなわち、インデクスclass_idxが0である場合、アクティビティサブクラスは0（Smallクラス）とされ、インデクスclass_idxが1である場合、アクティビティサブクラスは1とされる。また、インデクスclass_idxが2ないし6である場合、アクティビティサブクラスは2とされ、インデクスclass_idxが7ないし14である場合、アクティビティサブクラスは3とされる。そして、インデクスclass_idxが15である場合、アクティビティサブクラスは4（Largeクラス）とされる。
【０１０９】
アクティビティサブクラスが0ないし4である場合、傾斜強度比サブクラス分類においてノンクラスに分類された注目画素は、最終クラス０ないし４にそれぞれクラス分類される。
【０１１０】
傾斜強度比rd1,d2が、第１の閾値t1未満でない場合、又は、傾斜強度比rh,vが、第１の閾値t1未満でない場合、注目画素の方向クラスを有効として（考慮して）、傾斜強度比サブクラス分類が行われる。
【０１１１】
すなわち、注目画素の方向クラス（サブクラス）が、D0方向又はD1方向に対応する方向クラス０である場合、式（２）の傾斜強度比rd1,d2に応じた傾斜強度比サブクラス分類（傾斜強度比rd1,d2を用いた傾斜強度比サブクラス分類や、傾斜強度比rd1,d2の傾斜強度比サブクラス分類ともいう）が行われる。
【０１１２】
傾斜強度比rd1,d2が、第１の閾値t1以上第２の閾値t2未満である場合、注目画素は、傾斜強度比が小さいウイーク(Weak)クラスに傾斜強度比サブクラス分類される。
【０１１３】
傾斜強度比サブクラス分類において、注目画素がウイーククラスに分類された場合、クラス分類部１０は、注目画素の空間特徴量としてのV方向、H方向、D0方向、及び、D1方向のアクティビティサムsumA(V)、sumA(H)、sumA(D0)、及び、sumA(D1)に応じて、注目画素を、最終クラスにクラス分類する。
【０１１４】
すなわち、アクティビティサムsumA(V)、sumA(H)、sumA(D0)、及び、sumA(D1)に応じたアクティビティサブクラス分類により得られるアクティビティサブクラスが、0ないし4である場合、傾斜強度比サブクラス分類においてウイーククラスに分類された注目画素は、最終クラス５ないし９にそれぞれクラス分類される。
【０１１５】
傾斜強度比rd1,d2が、第２の閾値t2以上である場合、注目画素は、傾斜強度比が大きいストロング(Strong)クラスに傾斜強度比サブクラス分類される。
【０１１６】
傾斜強度比サブクラス分類において、注目画素がストロングクラスに分類された場合、クラス分類部１０は、注目画素の空間特徴量としてのV方向、H方向、D0方向、及び、D1方向のアクティビティサムsumA(V)、sumA(H)、sumA(D0)、及び、sumA(D1)に応じて、注目画素を、最終クラスにクラス分類する。
【０１１７】
すなわち、アクティビティサムsumA(V)、sumA(H)、sumA(D0)、及び、sumA(D1)に応じたアクティビティサブクラス分類により得られるアクティビティサブクラスが、0ないし4である場合、傾斜強度比サブクラス分類においてストロングクラスに分類された注目画素は、最終クラス１０ないし１４にそれぞれクラス分類される。
【０１１８】
一方、注目画素の方向クラスが、V方向又はH方向に対応する方向クラス２である場合、式（３）の傾斜強度比rh,vに応じた傾斜強度比サブクラス分類が行われる。
【０１１９】
傾斜強度比rh,vが、第１の閾値t1以上第２の閾値t2未満である場合、注目画素は、傾斜強度比が小さいウイーク(Weak)クラスに傾斜強度比サブクラス分類される。
【０１２０】
傾斜強度比サブクラス分類において、注目画素がウイーククラスに分類された場合、クラス分類部１０は、注目画素の空間特徴量としてのV方向、H方向、D0方向、及び、D1方向のアクティビティサムsumA(V)、sumA(H)、sumA(D0)、及び、sumA(D1)に応じて、注目画素を、最終クラス１５ないし１９のいずれかにクラス分類する。
【０１２１】
すなわち、アクティビティサムsumA(V)、sumA(H)、sumA(D0)、及び、sumA(D1)に応じたアクティビティサブクラス分類により得られるアクティビティサブクラスが、0ないし4である場合、傾斜強度比サブクラス分類においてウイークラスに分類された注目画素は、最終クラス１５ないし１９にそれぞれクラス分類される。
【０１２２】
傾斜強度比rh,vが、第２の閾値t2以上である場合、注目画素は、傾斜強度比が大きいストロング(Strong)クラスに傾斜強度比サブクラス分類される。
【０１２３】
傾斜強度比サブクラス分類において、注目画素がストロングクラスに分類された場合、クラス分類部１０は、注目画素の空間特徴量としてのV方向、H方向、D0方向、及び、D1方向のアクティビティサムsumA(V)、sumA(H)、sumA(D0)、及び、sumA(D1)に応じて、注目画素を、最終クラス２０ないし２４のいずれかにクラス分類する。
【０１２４】
すなわち、アクティビティサムsumA(V)、sumA(H)、sumA(D0)、及び、sumA(D1)に応じたアクティビティサブクラス分類により得られるアクティビティサブクラスが、0ないし4である場合、傾斜強度比サブクラス分類においてストロングクラスに分類された注目画素は、最終クラス２０ないし２４にそれぞれクラス分類される。
【０１２５】
ここで、本明細書において、クラスcとは、クラスを特定するクラス番号がcのクラスを意味する。
【０１２６】
＜GALFの処理＞
【０１２７】
図４は、画像を符号化する符号化装置がILFの１つとして有するGALFの処理を説明するフローチャートである。
【０１２８】
ステップＳ１１において、GALFは、符号化装置において局所復号により得られた（例えば、1ピクチャの）復号画像の画素を、順次、注目画素に選択し、処理は、ステップＳ１２に進む。
【０１２９】
ステップＳ１２では、GALFは、図１ないし図３で説明したように、注目画素のクラス分類を行い、最終クラス0ないし24を24個の初期クラス0ないし24として、注目画素をいずれかの初期クラスに分類して、処理は、ステップＳ１３に進む。
【０１３０】
ステップＳ１３では、GALFは、復号画像と、その復号画像に対する元画像（復号画像に復号された符号化データに符号化された画像）とを用い、初期クラスごとに、タップ係数を求める正規方程式をたてて、処理は、ステップＳ１４に進む。
【０１３１】
ここで、復号画像の画素のうちの予測に用いるi番目の予測タップ（画素値等）をxiと、i番目のタップ係数をwiと、予測式により求める元画像の画素（の画素値の予測値）をyと、それぞれ表すこととする。GALFでは、１次予測式y=Σwixiに従って、元画像の画素yを予測する予測処理としてのフィルタ処理が行われる。この場合、タップ係数wiを求める正規方程式、すなわち、１次予測式y=Σwixiに従って求められる元画像の画素の画素値の予測値yの予測誤差の自乗誤差の総和を最小にするタップ係数wiを求める正規方程式は、式XW=Yで表される。
【０１３２】
いま、各初期クラスのタップ係数の個数が同一のN個であるとすると、式XW=Yにおいて、Yは、元画像の画素の画素値yと、復号画像の画素の画素値（予測タップ）xiとの積の和を要素とするN行1列の行列（列ベクトル）を表す。また、Xは、予測タップxiとxjとの積の和を要素とするN行N列の行列を表し、Wは、タップ係数wiを要素とするN行1列の行列（列ベクトル）を表す。以下、正規方程式XW=YにおけるXを、X行列ともいい、Yを、Yベクトルともいう。
【０１３３】
ステップＳ１４では、GALFは、初期クラスごとの正規方程式を、例えば、コレスキー分解等によって解き、初期クラスごとのタップ係数を求め、処理は、ステップＳ１５に進む。
【０１３４】
ここで、ステップＳ１１ないしＳ１４のようにして、初期クラスごとのタップ係数を求める処理が、タップ係数学習である。
【０１３５】
ステップＳ１５では、GALFは、タップ係数（のデータ量）を削減するために、初期クラスをマージするクラスマージ処理を行い、処理は、ステップＳ１６に進む。
【０１３６】
クラスマージ処理では、ステップＳ２１において、マージパターン決定処理が行われ、ステップＳ２２において、採用マージクラス数決定処理が行われる。
【０１３７】
マージパターン決定処理では、初期クラス数以下の自然数の各値を、マージクラス数として、マージクラス数ごとに最適なマージパターンが決定される。採用マージクラス数決定処理では、マージパターン決定処理で最適なマージパターンが決定されたマージクラス数の中から、タップ係数を用いたフィルタ処理を行うときの、初期クラスからマージクラスへの変換に採用する採用マージクラス数が決定される。
【０１３８】
マージパターン決定処理、及び、採用マージクラス数決定処理の詳細については、後述する。
【０１３９】
ステップＳ１６では、GALFは、GALFフィルタ処理を行い、処理は、ステップＳ１７に進む。
【０１４０】
すなわち、GALFは、復号画像の画素を、順次、注目画素に選択し、注目画素のクラス分類を行う。さらに、GALFは、注目画素のクラス分類により得られる注目画素の初期クラスを、採用マージクラス数に対応するマージパターンに従って、マージクラスに変換する。そして、GALFは、注目画素のマージクラスのタップ係数を用いた予測式を復号画像に適用するフィルタ処理を行い、すなわち、注目画素のマージクラスのタップ係数wiを用いた１次予測式y=Σwixiを計算し、フィルタ画像の画素値（元画像の画素の画素値の予測値）を求める。
【０１４１】
ここで、GALFフィルタ処理では、マージクラスごとのタップ係数が必要であるが、マージクラスごとのタップ係数は、ステップＳ２１のマージパターン決定処理で求められる。
【０１４２】
ステップＳ１７では、GALFは、採用マージクラス数に対応するマージパターンに従って初期クラスを変換して得られるマージクラスごとのタップ係数、採用マージクラス数、採用マージクラス数に対応するマージパターンを符号化し、処理は、ステップＳ１８に進む。
【０１４３】
ステップＳ１８では、GALFは、復号画像にフィルタ処理を行うかどうかを判定するRD(Rate Distortion)判定を行い、処理は終了する。
【０１４４】
図５は、図４のステップＳ２１のマージパターン決定処理を説明するフローチャートである。
【０１４５】
ステップＳ３１において、GALFは、マージクラス数（を表す変数）Cに、初期値としての初期クラス数（初期クラスのクラス数）Ciniを設定し、処理は、ステップＳ３２に進む。
【０１４６】
ここで、マージクラス数Cが、初期クラス数Ciniである場合、初期クラスのいずれもマージされていない状態であるが、便宜上、０個の初期クラスがマージされた状態として扱う。
【０１４７】
また、GALFにおいて、初期クラス数Ciniは25である。
【０１４８】
ステップＳ３２では、GALFは、マージクラス（を表す変数）cに、0を設定し、処理は、ステップＳ３３に進む。ここで、マージクラス数Cが、初期クラス数Ciniである場合、マージクラスcは、初期クラスcである。
【０１４９】
ステップＳ３３では、GALFは、マージクラスcの（タップ係数を求めるときにたてられた）正規方程式を構成するX行列及びYベクトルを取得し、処理は、ステップＳ３４に進む。
【０１５０】
ここで、マージクラス数Cが、初期クラス数Ciniである場合、マージクラスcは、初期クラスcであるから、マージクラスcの正規方程式は、ステップＳ１３（図４）で得られた初期クラスcの正規方程式である。マージクラス数Cが、初期クラス数Cini未満の値である場合、マージクラスcの正規方程式は、初期クラスcの正規方程式、後述するステップＳ３６で構成された（たてられた）マージクラスcの正規方程式、又は、初期クラスc'の正規方程式、若しくは、ステップＳ３６で構成されたマージクラスc'の正規方程式であって、後述するステップＳ４４でクラス番号がcにソートされた正規方程式である。
【０１５１】
ステップＳ３４では、GALFは、マージクラス（を表す変数）mに、c+1を設定し、処理は、ステップＳ３５に進む。
【０１５２】
ステップＳ３５では、GALFは、ステップＳ３３と同様に、マージクラスmの正規方程式を構成するX行列及びYベクトルを取得し、処理は、ステップＳ３６に進む。
【０１５３】
ステップＳ３６では、GALFは、マージクラスcの正規方程式を構成するX行列と、マージクラスmの正規方程式を構成するX行列との要素どうしを加算する。さらに、GALFは、マージクラスcの正規方程式を構成するYベクトルと、マージクラスmの正規方程式を構成するYベクトルとの要素どうしを加算する。そして、GALFは、加算後のX行列及びYベクトルにより構成される、マージクラスcとmとをマージした新たなマージクラスcの正規方程式をたて、処理は、ステップＳ３６からステップＳ３７に進む。
【０１５４】
ステップＳ３７では、GALFは、加算後のX行列及びYベクトルで構成される新たなマージクラスcの正規方程式を解くことにより、新たなマージクラスcのタップ係数を求め（算出し）、処理は、ステップＳ３８に進む。
【０１５５】
ステップＳ３８では、GALFは、新たなマージクラスcのタップ係数と、Cクラス（C個のマージクラス1, 2, ..., C）のうちのマージクラスc及びm以外のタップ係数とを用いて、復号画像にフィルタ処理を行う。そして、GALFは、フィルタ処理により得られるフィルタ画像の元画像に対する誤差を求め、処理は、ステップＳ３９に進む。
【０１５６】
すなわち、ステップＳ３８では、C個のマージクラス1, 2, ..., Cのうちの、マージクラスc及びmを新たなマージクラスcにマージして得られるC-1個のマージクラスのタップ係数を用いてフィルタ処理を行った場合のフィルタ画像の誤差が求められる。
【０１５７】
ステップＳ３９では、GALFは、マージクラス（のクラス番号）mがC-1に等しいかどうかを判定する。
【０１５８】
ステップＳ３９において、マージクラスmがC-1に等しくないと判定された場合、すなわち、マージクラスmがC-1未満である場合、処理は、ステップＳ４０に進む。ステップＳ４０では、GALFは、マージクラスmを1だけインクリメントして、処理は、ステップＳ３５に戻り、以下、同様の処理が繰り返される。
【０１５９】
一方、ステップＳ３９において、マージクラスmがC-1に等しいと判定された場合、すなわち、マージクラスcと、マージクラスc+1, c+2, ..., Cそれぞれとをマージして、それぞれのマージについてフィルタ画像の誤差が求められた場合、処理は、ステップＳ４１に進む。
【０１６０】
ステップＳ４１では、GALFは、マージクラス（のクラス番号）cがC-2に等しいかどうかを判定する。
【０１６１】
ステップＳ４１において、マージクラスcがC-2に等しくないと判定された場合、すなわち、マージクラスcがC-2未満である場合、処理は、ステップＳ４２に進む。ステップＳ４２では、GALFは、マージクラスcを1だけインクリメントして、処理は、ステップＳ３３に戻り、以下、同様の処理が繰り返される。
【０１６２】
一方、ステップＳ４１において、マージクラスcがC-2に等しいと判定された場合、すなわち、C個のマージクラス1, 2, ..., Cについて、任意の2個のマージクラスをマージするC(C-1)/2通りのマージが行われ、C(C-1)/2通りのマージそれぞれについて、フィルタ画像の誤差が求められた場合、処理は、ステップＳ４３に進む。
【０１６３】
ステップＳ４３では、C個のマージクラス1, 2, ..., Cのうちの任意の2個のマージクラスをマージするC(C-1)/2通りのマージの中で、フィルタ画像の誤差が最小のマージが、マージクラス数をCからC-1にマージする最適なマージであるとして、GALFは、最適なマージの対象となるマージクラスc及びmを、新たなマージクラスcにマージすることを確定し、処理は、ステップＳ４４に進む。すなわち、GALFは、マージクラスmのクラス番号mを、新たなマージクラスcのクラス番号cに設定する。
【０１６４】
ステップＳ４４では、GALFは、クラス番号c+1ないしC-1のうちのmを除くクラス番号を、昇順に、クラス番号c+1ないしC-2に変換し、処理は、ステップＳ４５に進む。
【０１６５】
なお、ステップＳ４３において、クラス番号mはクラス番号cに設定されているので、ステップＳ４４の処理が行われるときには、クラス番号c+1ないしC-1の中に、クラス番号mは、存在しない。
【０１６６】
また、クラス番号c+1ないしC-1のうちのmを除くクラス番号を、昇順に、クラス番号c+1ないしC-2に変換することを、シリーズソートともいう。
【０１６７】
ステップＳ４５では、GALFは、マージクラス数Cを1だけデクリメントして、処理は、ステップＳ４６に進む。
【０１６８】
ステップＳ４６では、Cini個の初期クラスと、マージクラスc及びmを新たなマージクラスcにマージした後のC個のマージクラスとの対応関係を表すマージパターンが、マージクラス数Cの最適なマージパターンであるとして、GALFは、そのマージクラス数Cの最適なマージパターンを、マージクラス数Cに対応するマージパターンとして記憶し、処理は、ステップＳ４７に進む。
【０１６９】
ステップＳ４７では、GALFは、マージクラス数Cが1に等しいかどうかを判定する。
【０１７０】
ステップＳ４７において、マージクラス数Cが1に等しくないと判定された場合、処理は、ステップＳ３２に戻り、以下、同様の処理が繰り返される。
【０１７１】
また、ステップＳ４７において、マージクラス数Cが1に等しいと判定された場合、マージパターン決定処理は、終了する。
【０１７２】
図６は、マージパターンの表現形式の例を説明する図である。
【０１７３】
本実施の形態では、以下のような表現形式で、マージパターンを表現する。
【０１７４】
マージパターンは、初期クラスと、その初期クラスをマージするマージクラスとの対応関係を表し、例えば、初期クラステーブルに配置されたクラス番号の順番に、そのクラス番号のクラスがマージされるマージクラスのクラス番号を配置して表現される。
【０１７５】
初期クラステーブルとは、初期クラスのクラス番号を配置したテーブルである。
【０１７６】
図６のＡは、GALFのクラス分類で得られる初期クラスの初期クラステーブルを示している。
【０１７７】
図６のＡの初期クラステーブルでは、GALFのクラス分類で得られる25個の初期クラスのクラス番号0ないし24が、昇順に並んでいる。
【０１７８】
図６のＢは、マージパターンの例を示している。
【０１７９】
上述したように、マージパターンでは、初期クラステーブルに配置されたクラス番号の順番に、そのクラス番号のクラスがマージされるマージクラスのクラス番号が配置されている。
【０１８０】
したがって、図６のＢのマージパターンは、初期クラステーブルの1ないし25番目にクラス番号が配置された初期クラス0ないし24を、マージクラス0, 1, 2, 2, 3, 1, 0, 1, 1, 0, 0, 0, 4, 1, 4, 0, 0, 2, 2, 4, 4, 1, 4, 4, 4に、それぞれマージすることを表す。
【０１８１】
なお、図６では、初期クラステーブル及びマージパターンを、5×5の表形式で表現しているが、初期クラステーブル及びマージパターンの表現形式は、表形式に限定されるものではなく、単に、クラス番号を、カンマやスペースで区切って並べるような表現形式であってもよい。
【０１８２】
また、本実施の形態では、図面において、初期クラステーブルにクラス番号が配置された初期クラスの数（初期クラス数）、及び、マージパターンに従ってマージを行って得られるマージクラスの数（マージクラス数）を、適宜、初期クラステーブル及びマージパターンとしての表の上部に示す。図６のＡの初期クラステーブルの左上の数字25は、初期クラス数を表し、図６のＢのマージパターンの左上の数字5は、マージクラス数を表す。
【０１８３】
図７は、マージクラス数ごとのマージパターンの例を示す図である。
【０１８４】
すなわち、図７は、GALFのクラス分類で得られる初期クラスの数（初期クラス数）25以下の自然数の各値を、マージクラス数として、各マージクラス数の最適なマージパターンの例を示している。
【０１８５】
GALFのクラス分類で得られる初期クラスをマージする各マージクラス数の最適なマージパターンは、初期クラス数に等しい25個存在する。
【０１８６】
図７において、マージクラス数Cのマージパターンに付されている丸印は、マージクラス数C+1に対応するマージパターンに従って得られるマージクラスの中で、マージクラス数をC+1からCにするマージにより他のマージクラスにマージされるマージクラスを表している。
【０１８７】
例えば、マージクラス数24に対応するマージパターンでは、16番目に配置されたクラス番号6に丸印が付されている。これは、マージクラス数を25から24にするマージにおいて、マージクラス数25に対応するマージパターンの16番目に配置されたクラス番号15のマージクラスが、マージクラス数24に対応するマージパターンの16番目に配置されたクラス番号6のマージクラス（マージクラス数24に対応するマージパターンの7番目に配置されたクラス番号6のマージクラスでもある）にマージされることを表す。
【０１８８】
なお、GALFのクラス分類で得られる初期クラスをマージする25個のマージクラス数に対応するマージパターンのうちの、初期クラス数に等しいマージクラス数25に対応するマージパターンでは、初期クラスのいずれもマージされないが、説明の便宜上、初期クラス数に等しいマージクラス数25に対応するマージパターンは、０個の初期クラスがマージされるマージパターンとして扱う。マージクラス数25に対応するマージパターンは、初期クラステーブルに等しい。
【０１８９】
マージパターン決定処理（図５）では、ステップＳ４３で、マージクラスc及びmを、新たなマージクラスcにマージした後に、ステップＳ４４で、クラス番号のシリーズソートが行われる。そのため、図７の各マージクラス数に対応するマージパターンにおいて、クラス番号の最大値は、マージクラス数Cに応じた値、すなわち、マージクラス数C-1になる。
【０１９０】
マージパターン決定処理では、マージクラス数Cを1ずつデクリメントしながら、直前のステップＳ４３で確定されたマージにより得られるマージクラス数Cのマージクラスについて、任意の2個のマージクラスをマージするC(C-1)/2通りのマージが行われる。そして、C(C-1)/2通りのマージのうちの、フィルタ画像の誤差を最小にするマージが、マージクラス数C-1への最適なマージとして確定され、そのマージのマージパターンが、マージクラス数C-1に対応するマージパターンとして求められる。
【０１９１】
なお、マージクラス数Cが、GALFのクラス分類で最大の25である場合と、最小の1である場合とについては、マージパターンは、それぞれ、1通りであるため、マージクラス数Cが25である場合、及び、1である場合のそれぞれの1通りのマージパターンが、それぞれ、マージクラス数25に対応するマージパターン、及び、マージクラス数1に対応するマージパターンとなる。
【０１９２】
一方、マージクラス数Cが、2ないし24のいずれかである場合、マージクラス数Cのマージクラスのうちの任意の2個のマージクラスをマージする場合の数は、C(C-1)/2通り存在する。そのため、マージパターン決定処理では、そのC(C-1)/2通りのマージを行い、各マージにより得られるタップ係数を用いてフィルタ処理を行って、フィルタ画像の誤差が求められる。そして、フィルタ画像の誤差を最小にするマージのマージパターンが、マージクラス数C-1に対応するマージクラスに決定される。
【０１９３】
したがって、マージクラス数Cを25から24にするマージでは、25(25-1)/2=300通りのマージを行い、マージクラス数Cを24から23にするマージでは、24(24-1)/2=276通りのマージを行う必要がある。以下同様に、マージクラス数Cを4から3にするマージでは、4(4-1)/2=6通りのマージを行う必要があり、マージクラス数Cを3から2にするマージでは、3(3-1)/2=3通りのマージを行う必要がある。
【０１９４】
マージクラス数Cが1ないし25のそれぞれに対応するマージパターンを決定するには、合計で2600回のマージを行う必要があり、このため、マージパターン決定処理の処理量は多くなる。
【０１９５】
図８は、図４のステップＳ２２の採用マージクラス数決定処理を説明するフローチャートである。
【０１９６】
ステップＳ６１において、GALFは、マージクラス数（を表す変数）Cに、初期クラス数Cini=25を設定し、処理は、ステップＳ６２に進む。
【０１９７】
ステップＳ６２において、GALFは、マージパターン決定処理（図５）で求められたマージクラス数Cに対応するマージパターンを取得（ロード）し、処理は、ステップＳ６３に進む。
【０１９８】
ステップＳ６３では、GALFは、マージクラス数Cに対応するマージパターンに従って、25個の初期クラスを、Cクラスのマージクラス（C個のマージクラス）にマージした場合のCクラス（分）のタップ係数を取得（ロード）し、処理は、ステップＳ６４に進む。
【０１９９】
ここで、マージクラス数Cに対応するマージパターンに従って、25個の初期クラスを、Cクラスのマージクラスにマージした場合のCクラス（マージクラス）のタップ係数は、マージパターン決定処理のステップＳ３７で既に求められている。
【０２００】
ステップＳ６４では、GALFは、Cクラスのタップ係数を用いたGALFフィルタ処理を行って、処理は、ステップＳ６５に進む。
【０２０１】
すなわち、GALFは、復号画像の画素を、順次、注目画素に選択し、注目画素のクラス分類（注目画素に対するクラス分類）を行う。さらに、GALFは、注目画素のクラス分類により得られる注目画素の初期クラスを、マージクラス数Cに対応するマージパターンに従って、マージクラスに変換する。そして、GALFは、ステップＳ６３で取得したCクラスのタップ係数のうちの、注目画素のマージクラスのタップ係数を用いて、フィルタ処理を行い、フィルタ画像を求める。
【０２０２】
ステップＳ６５では、GALFは、注目画素のマージクラスのタップ係数を用いたフィルタ処理を行って得られるフィルタ画像の、元画像に対する誤差distを求め、処理は、ステップＳ６６に進む。
【０２０３】
ステップＳ６６では、GALFは、復号装置でのGALFフィルタ処理に必要なパラメータ、すなわち、マージクラス数C、マージクラス数Cに対応するマージパターン、及び、そのマージパターンに従って初期クラスをマージして得られるCクラスのタップ係数の符号量coeffBitを求め、処理は、ステップＳ６７に進む。
【０２０４】
ステップＳ６７では、GALFは、誤差distと符号量coeffBitとを用いて、初期クラスをCクラス（マージクラス数C）にマージするCクラスへのマージのコストdist+lambda×coeffBitを求め、処理は、ステップＳ６８に進む。lambdaは、QPに応じて設定される値である。
【０２０５】
ステップＳ６８では、GALFは、マージクラス数Cが1に等しいかどうかを判定する。
【０２０６】
ステップＳ６８において、マージクラス数Cが1に等しくないと判定された場合、処理は、ステップＳ６９に進む。ステップＳ６９では、GALFは、マージクラス数Cを1だけデクリメントして、処理は、ステップＳ６２に戻り、以下、同様の処理が繰り返される。
【０２０７】
また、ステップＳ６８において、マージクラス数Cが1に等しいと判定された場合、処理は、ステップＳ７０に進む。ステップＳ７０では、1クラスないしCiniクラスへのマージのうちの、コストが最小のマージが、GALFフィルタ処理に採用する採用マージとされ、GALFは、採用マージを行うときのマージパターンのマージクラス数を、採用マージクラス数に決定し、採用マージクラス数決定処理は、終了する。
【０２０８】
以上のように、採用マージクラス数決定処理では、マージパターン決定処理（図５）で得られたマージクラス数1ないし25のそれぞれに対応するマージパターンのうちの、コストを最小にするマージパターンのマージクラス数が、採用マージクラス数に決定される。
【０２０９】
GALFでは、採用マージクラス数が1及び25以外の値である場合、25クラスの初期クラスと、採用マージクラス数のマージクラスとの対応関係を表すマージパターンを、符号化装置から復号装置に伝送する必要がある。
【０２１０】
図９は、符号化装置から復号装置に伝送されるマージパターンの例を示す図である。
【０２１１】
図９では、マージパターンは、25個の初期クラスがマージされるマージクラスのクラス番号が設定される配列変数mergeInfo[25]で表されている。
【０２１２】
図９の配列変数mergeInfo[25]において、先頭（左）からi番目の数字jは、クラス番号iの初期クラスを、クラス番号jのマージクラスに変換（マージ）することを表す。
【０２１３】
以上のように、GALFでは、マージクラス数Cが1ないし25のそれぞれに対応するマージパターンを決定するマージパターン決定処理において、2600回のマージを行う必要があり、処理量が多くなる。さらに、GALFでは、マージパターンを、符号化装置から復号装置に伝送する必要がある。
【０２１４】
そこで、本技術では、マージクラス数ごとに、そのマージクラス数に対応するマージパターンをあらかじめ設定しておき、そのあらかじめ設定されたマージパターンに従って、初期クラスをマージクラスに変換する。
【０２１５】
＜あらかじめ設定されるマージパターンの例＞
【０２１６】
図１０及び図１１は、あらかじめ設定されるマージパターンの第１の例を示す図である。
【０２１７】
すなわち、図１０及び図１１は、GALFのクラス分類で得られる25個の初期クラスをマージする、マージクラス数25, 20, 15, 10, 5, 3, 2, 1に対応するマージパターンの例を示す図である。
【０２１８】
本技術では、上述したように、マージクラス数ごとに、そのマージクラス数に対応するマージパターンをあらかじめ設定しておき、そのあらかじめ設定されたマージパターンに従って、初期クラスをマージクラスに変換する。
【０２１９】
そのため、GALFで行われるマージパターン決定処理を行う必要がなく、処理量を削減することができる。さらに、マージパターンは、マージクラス数ごとにあらかじめ設定されているため、マージクラス数が特定されれば、マージパターンも一意に特定される。したがって、あらかじめ設定されたマージパターンを、符号化装置及び復号装置で共有することで、マージパターンを、符号化装置から復号装置に伝送する必要がなくなり、マージパターンを伝送する必要がない分だけ、符号化効率を改善することができる。
【０２２０】
なお、マージパターンをあらかじめ設定しておくマージクラス数は、連続する自然数である必要はなく、飛び飛びの値の自然数であっても良い。
【０２２１】
マージクラス数ごとのマージパターンは、任意の方法で設定することができるが、マージパターンを、任意の方法で設定すると、フィルタ処理の性能が劣化し、フィルタ画像の画質が低下することがある。ここで、注目画素を初期クラスに分類する所定のクラス分類を行い、その所定のクラス分類により得られる初期クラスを、マージパターンに従って変換し、マージクラスを求めることは、注目画素をマージクラスに分類するクラス分類である捉えることができる。この場合、初期クラスをマージクラスに変換するマージパターンは、マージクラスへのクラス分類の分類ルール（クラス分類法）を決めていると捉えることができる。したがって、マージパターンを設定することは、マージクラスへのクラス分類の分類ルールを決めることにより行うことができる。
【０２２２】
フィルタ処理の性能の劣化は、マージクラス数ごとに、初期クラスを求めるクラス分類に用いられる画素の特徴量等の情報の中で、マージクラスへのクラス分類に影響させる情報や、その情報に対するマージクラス（のサブクラス）の割り当て方（例えば、どの特徴量のどの範囲に、どのマージクラスを割り当てるか）等のマージクラスへのクラス分類の分類ルールを適切に決定して、マージパターンを設定することで抑制することができる。
【０２２３】
そこで、本技術では、フィルタ処理の性能の劣化を抑制することを、マージパターンを設定する設定方針として、その設定方針に反しない設定ルールで、各マージクラス数に対応するマージパターンを設定する。
【０２２４】
マージパターンを設定する設定ルールとしては、マージクラス数ごとのマージパターンを、所定のクラス分類により得られる初期クラスからクラス数が減少していくように設定するリダクション設定を採用することができる。
【０２２５】
また、設定ルールとしては、マージクラス数ごとのマージパターンを、所定のクラス分類により得られる初期クラスをマージするマージパターンと、他のクラス分類により得られる初期クラスをマージするマージパターンとが混在するように設定する混在設定を採用することができる。
【０２２６】
さらに、設定ルールとしては、あらかじめ用意されたマージパターンの設定用の画像を、元画像として符号化した場合の、フィルタ処理に必要なパラメータ（マージクラスごとのタップ係数や採用マージクラス数）の符号量と、フィルタ画像の元画像に対する誤差とのうちの一方又は両方が統計的に最適化されるように、マージクラス数ごとのマージパターンを設定する統計的設定を採用することができる。
【０２２７】
マージパターンの統計的設定では、マージパターンの設定用の画像を元画像として用いて、例えば、GALFで行われるマージパターン決定処理を、あらかじめオフラインで行っておき、そのオフラインで行われたマージパターン決定処理で得られる各マージクラス数に対応するマージパターンをマージクラス数ごとのマージパターンに設定することができる。
【０２２８】
図１０及び図１１は、マージパターンのリダクション設定の例を示している。
【０２２９】
リダクション設定では、マージクラス数ごとのマージパターンが、所定のクラス分類により得られる初期クラスからクラス数が減少していくように設定される。
【０２３０】
図１０及び図１１では、所定のクラス分類として、例えば、GALFのクラス分類が採用されている。
【０２３１】
リダクション設定では、所定のクラス分類に用いられる情報のうちのいずれかの情報が優先的に影響するマージクラスが得られるように、マージクラスごとのマージパターンを設定することができる。
【０２３２】
所定のクラス分類が、GALFのクラス分類である場合、GALFのクラス分類に用いられる情報としては、図１ないし図３で説明したように、傾斜強度比、方向クラス、及び、アクティビティサム（アクティビティサブクラス）がある。
【０２３３】
リダクション設定では、例えば、傾斜強度比又はアクティビティサムが優先的に影響するマージクラスが得られるように、マージクラス数ごとのマージパターンを設定することができる。図１０及び図１１のマージパターンは、傾斜強度比が優先的に影響するマージクラスが得られるようなマージパターンになっている。
【０２３４】
図１０において、マージクラス数25に対応するマージパターンは、注目画素を、傾斜強度比に応じて、ノン(None)クラス、ウイーク(Weak)クラス、及び、ストロング(Strong)クラスの3サブクラスのいずれかに傾斜強度比サブクラス分類し、アクティビティサムに応じて、5サブクラスのいずれかにアクティビティサブクラス分類し、傾斜強度比に応じた傾斜強度比サブクラス分類により得られる傾斜強度比サブクラスがノンクラス以外である場合、方向クラスに応じて、H/Vクラス及びD0/D1クラスの2サブクラスのいずれかに方向サブクラス分類することで、全25クラスに分類する分類ルールにより得られるクラスが、マージクラスとして得られるマージパターンになっている。すなわち、マージクラス数25に対応するマージパターンは、GALFのクラス分類で得られる初期クラスと同一のマージクラスが得られるマージパターンになっている。
【０２３５】
ここで、H/Vクラスは、図１ないし図３で説明した方向クラス２（傾斜方向がV方向又はH方向であることを表すサブクラス）を意味する。D0/D1クラスは、図１ないし図３で説明した方向クラス０（傾斜方向がD0方向又はD1方向であることを表すサブクラス）を意味する。
【０２３６】
図１０において、マージクラス数20に対応するマージパターンは、注目画素を、傾斜強度比に応じて、ノンクラス、ウイーククラス、及び、ストロングクラスの3サブクラスのいずれかに傾斜強度比サブクラス分類し、アクティビティサムに応じて、4サブクラスのいずれかにアクティビティサブクラス分類し、傾斜強度比サブクラスがノンクラス以外である場合、方向クラスに応じて、H/Vクラス及びD0/D1クラスの2サブクラスのいずれかに方向サブクラス分類することで、全20クラスに分類する分類ルールにより得られるクラスが、マージクラスとして得られるマージパターンになっている。
【０２３７】
図１０において、マージクラス数15に対応するマージパターンは、注目画素を、傾斜強度比に応じて、ノンクラス、ウイーククラス、及び、ストロングクラスの3サブクラスのいずれかに傾斜強度比サブクラス分類し、アクティビティサムに応じて、3サブクラスのいずれかにアクティビティサブクラス分類し、傾斜強度比サブクラスがノンクラス以外である場合、方向クラスに応じて、H/Vクラス及びD0/D1クラスの2サブクラスのいずれかに方向サブクラス分類することで、全15クラスに分類する分類ルールにより得られるクラスが、マージクラスとして得られるマージパターンになっている。
【０２３８】
図１０において、マージクラス数10に対応するマージパターンは、注目画素を、傾斜強度比に応じて、ノンクラス、ウイーククラス、及び、ストロングクラスの3サブクラスのいずれかに傾斜強度比サブクラス分類し、アクティビティサムに応じて、2サブクラスのいずれかにアクティビティサブクラス分類し、傾斜強度比サブクラスがノンクラス以外である場合、方向クラスに応じて、H/Vクラス及びD0/D1クラスの2サブクラスのいずれかに方向サブクラス分類することで、全10クラスに分類する分類ルールにより得られるクラスが、マージクラスとして得られるマージパターンになっている。
【０２３９】
図１１において、マージクラス数5に対応するマージパターンは、注目画素を、傾斜強度比に応じて、ノンクラス、ウイーククラス、及び、ストロングクラスの3サブクラスのいずれかに傾斜強度比サブクラス分類し、傾斜強度比サブクラスがノンクラス以外である場合、方向クラスに応じて、H/Vクラス及びD0/D1クラスの2サブクラスのいずれかに方向サブクラス分類することで、全5クラスに分類する分類ルールにより得られるクラスが、マージクラスとして得られるマージパターンになっている。
【０２４０】
図１１において、マージクラス数3に対応するマージパターンは、注目画素を、傾斜強度比に応じて、ノンクラス、ウイーククラス、及び、ストロングクラスの3サブクラスのいずれかに傾斜強度比サブクラス分類することで、全3クラスに分類する分類ルールにより得られるクラスが、マージクラスとして得られるマージパターンになっている。
【０２４１】
図１１において、マージクラス数2に対応するマージパターンは、注目画素を、傾斜強度比に応じて、ノンクラス、及び、ウイーク／ストロングクラスの2サブクラスのいずれかに傾斜強度比サブクラス分類することで、全2クラスに分類する分類ルールにより得られるクラスが、マージクラスとして得られるマージパターンになっている。
【０２４２】
ここで、ウイーク／ストロングクラスは、傾斜強度比に応じてノンクラス、ウイーククラス、及び、ストロングクラスの3サブクラスのいずれかに傾斜強度比サブクラス分類する場合の、ウイーククラスとストロングクラスとを合わせた（マージした）クラスである。
【０２４３】
図１１において、マージクラス数1に対応するマージパターンは、注目画素を、1クラスにクラス分類することにより得られるクラスが、マージクラスとして得られるマージパターンになっている。ここで、注目画素を1クラスにクラス分類することは、クラス分類を行わない、つまり、クラスがないと考えることができる。本実施の形態では、注目画素を1クラスにクラス分類する場合のその1クラスを、モノクラスともいう。マージクラス数1に対応するマージパターンは、モノクラスが、マージクラスとして得られるマージパターンである。
【０２４４】
傾斜強度比が優先的に影響するマージクラスが得られる図１０及び図１１のマージパターンの設定の方法を説明する。
【０２４５】
図１２は、GALFのクラス分類により得られる25クラスの初期クラスを25クラスのマージクラスにマージするマージクラス数25に対応するマージパターンの設定の方法を説明する図である。
【０２４６】
すなわち、図１２は、図１０のマージクラス数25に対応するマージパターンに従って（初期クラスを変換することにより）得られるマージクラスへのクラス分類を行う分類ルールを示している。
【０２４７】
図１２の分類ルールによれば、図１ないし図３で説明したGALFのクラス分類と同様に、注目画素は、傾斜強度比に応じて、ノン(None)クラス、ウイーク(Weak)クラス、及び、ストロング(Strong)クラスの3サブクラスのいずれかに傾斜強度比サブクラス分類され、空間特徴量としてのアクティビティサムに応じて、5サブクラスのいずれかにアクティビティサブクラス分類され、傾斜強度比サブクラスがノンクラス以外である場合、方向クラスに応じて、H/Vクラス及びD0/D1クラスの2サブクラスのいずれかに方向サブクラス分類されることで、マージクラス0ないし24のいずれかにクラス分類される。
【０２４８】
図１２の分類ルールにおいて、5サブクラスのいずれかへのアクティビティサブクラス分類では、注目画素は、アクティビティサムから図３で説明したようにして求められるインデクスclass_idxに応じて、インデクスclass_idxが0である場合、アクティビティサブクラス0（Smallクラス）に分類され、インデクスclass_idxが1である場合、アクティビティサブクラス1に分類され、インデクスclass_idxが2ないし6である場合、アクティビティサブクラス2に分類され、インデクスclass_idxが7ないし14である場合、アクティビティサブクラス3に分類され、インデクスclass_idxが15である場合、アクティビティサブクラス4（Largeクラス）に分類される。
【０２４９】
そして、図１２の分類ルールによれば、傾斜強度比サブクラスがノンクラスである場合、注目画素は、アクティビティサブクラスが0であるときには、マージクラス0に分類され、アクティビティサブクラスが1であるときには、マージクラス1に分類され、アクティビティサブクラスが2であるときには、マージクラス2に分類され、アクティビティサブクラスが3であるときには、マージクラス3に分類され、アクティビティサブクラスが4であるときには、マージクラス4に分類される。
【０２５０】
傾斜強度比サブクラスがウイーククラスで、方向クラスがD0/D1クラスである場合、注目画素は、アクティビティサブクラスが0であるときには、マージクラス5に分類され、アクティビティサブクラスが1であるときには、マージクラス6に分類され、アクティビティサブクラスが2であるときには、マージクラス7に分類され、アクティビティサブクラスが3であるときには、マージクラス8に分類され、アクティビティサブクラスが4であるときには、マージクラス9に分類される。
【０２５１】
傾斜強度比サブクラスがストロングクラスで、方向クラスがD0/D1クラスである場合、注目画素は、アクティビティサブクラスが0であるときには、マージクラス10に分類され、アクティビティサブクラスが1であるときには、マージクラス11に分類され、アクティビティサブクラスが2であるときには、マージクラス12に分類され、アクティビティサブクラスが3であるときには、マージクラス13に分類され、アクティビティサブクラスが4であるときには、マージクラス14に分類される。
【０２５２】
傾斜強度比サブクラスがウイーククラスで、方向クラスがH/Vクラスである場合、注目画素は、アクティビティサブクラスが0であるときには、マージクラス15に分類され、アクティビティサブクラスが1であるときには、マージクラス16に分類され、アクティビティサブクラスが2であるときには、マージクラス17に分類され、アクティビティサブクラスが3であるときには、マージクラス18に分類され、アクティビティサブクラスが4であるときには、マージクラス19に分類される。
【０２５３】
傾斜強度比サブクラスがストロングクラスで、方向クラスがH/Vクラスである場合、注目画素は、アクティビティサブクラスが0であるときには、マージクラス20に分類され、アクティビティサブクラスが1であるときには、マージクラス21に分類され、アクティビティサブクラスが2であるときには、マージクラス22に分類され、アクティビティサブクラスが3であるときには、マージクラス23に分類され、アクティビティサブクラスが4であるときには、マージクラス24に分類される。
【０２５４】
図１２の分類ルールに従ったクラス分類により得られるマージクラス0ないし24は、GALFのクラス分類により得られる初期クラス0ないし24に、それぞれ一致する。したがって、マージクラス数25に対応するマージパターンとしては、初期クラス0ないし24を、マージクラス0ないし24にそれぞれ変換（マージ）するマージパターンを設定することができる。
【０２５５】
図１３は、GALFのクラス分類により得られる25クラスの初期クラスを20クラスのマージクラスにマージするマージクラス数20に対応するマージパターンの設定の方法を説明する図である。
【０２５６】
すなわち、図１３は、図１０のマージクラス数20に対応するマージパターンに従って得られるマージクラスへのクラス分類を行う分類ルールを示している。
【０２５７】
図１３の分類ルールによれば、注目画素は、傾斜強度比に応じて、ノンクラス、ウイーククラス、及び、ストロングクラスの3サブクラスのいずれかに傾斜強度比サブクラス分類され、空間特徴量としてのアクティビティサムに応じて、4サブクラスのいずれかにアクティビティサブクラス分類され、傾斜強度比サブクラスがノンクラス以外である場合、方向クラスに応じて、H/Vクラス及びD0/D1クラスの2サブクラスのいずれかに方向サブクラス分類されることで、マージクラス0ないし19のいずれかにクラス分類される。図１３の分類ルールは、図１２の分類ルールにおけるアクティビティサブクラス0と1とをマージして、アクティビティサブクラスの数を5から4に減少させたルールになっている。
【０２５８】
図１３の分類ルールにおいて、4サブクラスのいずれかへのアクティビティサブクラス分類では、注目画素は、アクティビティサムから図３で説明したようにして求められるインデクスclass_idxに応じて、インデクスclass_idxが0又は1である場合、アクティビティサブクラスとしてのスモール(small)クラスに分類され、インデクスclass_idxが2ないし6である場合、アクティビティサブクラスとしてのミドル1(Middle1)クラスに分類され、インデクスclass_idxが7ないし14である場合、アクティビティサブクラスとしてのミドル2(Middle2)クラスに分類され、インデクスclass_idxが15である場合、アクティビティサブクラスとしてのラージ(Large)クラスに分類される。
【０２５９】
図１３の分類ルールにおいて、アクティビティサブクラスの数は、初期クラスにおけるアクティビティサブクラスの数5から1だけ減少した4になっている。そして、スモールクラスは、初期クラスにおけるアクティビティサブクラス0及び1に一致し、ミドル1クラス、ミドル2クラス、ラージクラスは、初期クラスにおけるアクティビティサブクラス2, 3, 4にそれぞれ一致する。
【０２６０】
図１３の分類ルールでは、アクティビティサムに対するサブクラスの割り当てが、GALFのクラス分類の場合よりも、1サブクラスだけ減少しているので、その分だけ、アクティビティサムは、マージクラスへのクラス分類に影響しなくなる。結果として、図１３の分類ルールによれば、傾斜強度比や方向クラスが、アクティビティサムよりも優先的に影響するマージクラスが得られる。
【０２６１】
図１３の分類ルールによれば、傾斜強度比サブクラスがノンクラスである場合、注目画素は、アクティビティサブクラスがスモールクラスであるときには、マージクラス0に分類され、アクティビティサブクラスがミドル1クラスであるときには、マージクラス1に分類され、アクティビティサブクラスがミドル2クラスであるときには、マージクラス2に分類され、アクティビティサブクラスがラージクラスであるときには、マージクラス3に分類される。
【０２６２】
傾斜強度比サブクラスがウイーククラスで、方向クラスがD0/D1クラスである場合、注目画素は、アクティビティサブクラスがスモールクラスであるときには、マージクラス4に分類され、アクティビティサブクラスがミドル1クラスであるときには、マージクラス5に分類され、アクティビティサブクラスがミドル2クラスであるときには、マージクラス6に分類され、アクティビティサブクラスがラージクラスであるときには、マージクラス7に分類される。
【０２６３】
傾斜強度比サブクラスがストロングクラスで、方向クラスがD0/D1クラスである場合、注目画素は、アクティビティサブクラスがスモールクラスであるときには、マージクラス8に分類され、アクティビティサブクラスがミドル1クラスであるときには、マージクラス9に分類され、アクティビティサブクラスがミドル2クラスであるときには、マージクラス10に分類され、アクティビティサブクラスがラージクラスであるときには、マージクラス11に分類される。
【０２６４】
傾斜強度比サブクラスがウイーククラスで、方向クラスがH/Vクラスである場合、注目画素は、アクティビティサブクラスがスモールクラスであるときには、マージクラス12に分類され、アクティビティサブクラスがミドル1クラスであるときには、マージクラス13に分類され、アクティビティサブクラスがミドル2クラスであるときには、マージクラス14に分類され、アクティビティサブクラスがラージクラスであるときには、マージクラス15に分類される。
【０２６５】
傾斜強度比サブクラスがストロングクラスで、方向クラスがH/Vクラスである場合、注目画素は、アクティビティサブクラスがスモールクラスであるときには、マージクラス16に分類され、アクティビティサブクラスがミドル1クラスであるときには、マージクラス17に分類され、アクティビティサブクラスがミドル2クラスであるときには、マージクラス18に分類され、アクティビティサブクラスがラージクラスであるときには、マージクラス19に分類される。
【０２６６】
図１３の分類ルールにおいて、マージクラス0は、GALFのクラス分類により得られる初期クラス0及び1に一致し、マージクラス1ないし3は、GALFのクラス分類により得られる初期クラス2ないし4に、それぞれ一致し、マージクラス4は、GALFのクラス分類により得られる初期クラス5及び6に一致し、マージクラス5ないし7は、GALFのクラス分類により得られる初期クラス7ないし9に、それぞれ一致し、マージクラス8は、GALFのクラス分類により得られる初期クラス10及び11に一致し、マージクラス9ないし11は、GALFのクラス分類により得られる初期クラス12ないし14に、それぞれ一致し、マージクラス12は、GALFのクラス分類により得られる初期クラス15及び16に一致し、マージクラス13ないし15は、GALFのクラス分類により得られる初期クラス17ないし19に、それぞれ一致し、マージクラス16は、GALFのクラス分類により得られる初期クラス20及び21に一致し、マージクラス17ないし19は、GALFのクラス分類により得られる初期クラス22ないし24にそれぞれ一致する。
【０２６７】
したがって、マージクラス数20に対応するマージパターンとしては、初期クラス0及び1をマージクラス0に、初期クラス2ないし4それぞれをマージクラス1ないし3それぞれに、初期クラス5及び6をマージクラス4に、初期クラス7ないし9それぞれをマージクラス5ないし7それぞれに、初期クラス10及び11をマージクラス8に、初期クラス12ないし14それぞれをマージクラス9ないし11それぞれに、初期クラス15及び16をマージクラス12に、初期クラス17ないし19それぞれをマージクラス13ないし15それぞれに、初期クラス20及び21をマージクラス16に、初期クラス22ないし24それぞれをマージクラス17ないし19それぞれに、それぞれ変換するマージパターンを設定することができる。
【０２６８】
図１４は、GALFのクラス分類により得られる25クラスの初期クラスを15クラスのマージクラスにマージするマージクラス数15に対応するマージパターンの設定の方法を説明する図である。
【０２６９】
すなわち、図１４は、図１０のマージクラス数15に対応するマージパターンに従って得られるマージクラスへのクラス分類を行う分類ルールを示している。
【０２７０】
図１４の分類ルールによれば、注目画素は、傾斜強度比に応じて、ノンクラス、ウイーククラス、及び、ストロングクラスの3サブクラスのいずれかに傾斜強度比サブクラス分類され、空間特徴量としてのアクティビティサムに応じて、3サブクラスのいずれかにアクティビティサブクラス分類され、傾斜強度比サブクラスがノンクラス以外である場合、方向クラスに応じて、H/Vクラス及びD0/D1クラスの2サブクラスのいずれかに方向サブクラス分類されることで、マージクラス0ないし14のいずれかにクラス分類される。図１４の分類ルールは、図１３の分類ルールにおけるアクティビティサブクラスとしてのスモールクラスとミドル1クラスとをマージして、アクティビティサブクラスの数を4から3に減少させたルールになっている。
【０２７１】
図１４の分類ルールにおいて、3サブクラスのいずれかへのアクティビティサブクラス分類では、注目画素は、アクティビティサムから図３で説明したようにして求められるインデクスclass_idxに応じて、インデクスclass_idxが0ないし6である場合、アクティビティサブクラスとしてのスモール(small)クラスに分類され、インデクスclass_idxが7ないし14である場合、アクティビティサブクラスとしてのミドル(Middle)クラスに分類され、インデクスclass_idxが15である場合、アクティビティサブクラスとしてのラージ(Large)クラスに分類される。
【０２７２】
図１４の分類ルールにおいて、アクティビティサブクラスの数は、初期クラスにおけるアクティビティサブクラスの数5から2だけ減少した3になっている。そして、スモールクラスは、初期クラスにおけるアクティビティサブクラス0ないし2に一致し、ミドルクラス、ラージクラスは、初期クラスにおけるアクティビティサブクラス3, 4に、それぞれ一致する。
【０２７３】
図１４の分類ルールでは、アクティビティサムに対するサブクラスの割り当てが、GALFのクラス分類の場合よりも、2サブクラスだけ減少しているので、その分だけ、アクティビティサムは、マージクラスへのクラス分類に影響しなくなる。結果として、図１４の分類ルールによれば、傾斜強度比や方向クラスが、アクティビティサムよりも優先的に影響するマージクラスが得られる。
【０２７４】
図１４の分類ルールによれば、傾斜強度比サブクラスがノンクラスである場合、注目画素は、アクティビティサブクラスがスモールクラスであるときには、マージクラス0に分類され、アクティビティサブクラスがミドルクラスであるときには、マージクラス1に分類され、アクティビティサブクラスがラージクラスであるときには、マージクラス2に分類される。
【０２７５】
傾斜強度比サブクラスがウイーククラスで、方向クラスがD0/D1クラスである場合、注目画素は、アクティビティサブクラスがスモールクラスであるときには、マージクラス3に分類され、アクティビティサブクラスがミドルクラスであるときには、マージクラス4に分類され、アクティビティサブクラスがラージクラスであるときには、マージクラス5に分類される。
【０２７６】
傾斜強度比サブクラスがストロングクラスで、方向クラスがD0/D1クラスである場合、注目画素は、アクティビティサブクラスがスモールクラスであるときには、マージクラス6に分類され、アクティビティサブクラスがミドルクラスであるときには、マージクラス7に分類され、アクティビティサブクラスがラージクラスであるときには、マージクラス8に分類される。
【０２７７】
傾斜強度比サブクラスがウイーククラスで、方向クラスがH/Vクラスである場合、注目画素は、アクティビティサブクラスがスモールクラスであるときには、マージクラス9に分類され、アクティビティサブクラスがミドルクラスであるときには、マージクラス10に分類され、アクティビティサブクラスがラージクラスであるときには、マージクラス11に分類される。
【０２７８】
傾斜強度比サブクラスがストロングクラスで、方向クラスがH/Vクラスである場合、注目画素は、アクティビティサブクラスがスモールクラスであるときには、マージクラス12に分類され、アクティビティサブクラスがミドルクラスであるときには、マージクラス13に分類され、アクティビティサブクラスがラージクラスであるときには、マージクラス14に分類される。
【０２７９】
図１４の分類ルールにおいて、マージクラス0は、GALFのクラス分類により得られる初期クラス0ないし2に一致し、マージクラス1及び2は、GALFのクラス分類により得られる初期クラス3及び4に、それぞれ一致し、マージクラス3は、GALFのクラス分類により得られる初期クラス5ないし7に一致し、マージクラス4及び5は、GALFのクラス分類により得られる初期クラス8及び9に、それぞれ一致し、マージクラス6は、GALFのクラス分類により得られる初期クラス10ないし12に一致し、マージクラス7及び8は、GALFのクラス分類により得られる初期クラス13及び14に、それぞれ一致し、マージクラス9は、GALFのクラス分類により得られる初期クラス15ないし17に一致し、マージクラス10及び11は、GALFのクラス分類により得られる初期クラス18及び19に、それぞれ一致し、マージクラス12は、GALFのクラス分類により得られる初期クラス20ないし22に一致し、マージクラス13及び14は、GALFのクラス分類により得られる初期クラス23及び24にそれぞれ一致する。
【０２８０】
したがって、マージクラス数15に対応するマージパターンとしては、初期クラス0ないし3をマージクラス0に、初期クラス3及び4それぞれをマージクラス1及び2それぞれに、初期クラス5ないし7をマージクラス3に、初期クラス8及び9それぞれをマージクラス4及び5それぞれに、初期クラス10ないし12をマージクラス6に、初期クラス13及び14それぞれをマージクラス7及び8それぞれに、初期クラス15ないし17をマージクラス9に、初期クラス18及び19それぞれをマージクラス10及び11それぞれに、初期クラス20ないし22をマージクラス12に、初期クラス23及び24それぞれをマージクラス13及び14それぞれに、それぞれ変換するマージパターンを設定することができる。
【０２８１】
図１５は、GALFのクラス分類により得られる25クラスの初期クラスを10クラスのマージクラスにマージするマージクラス数10に対応するマージパターンの設定の方法を説明する図である。
【０２８２】
すなわち、図１５は、図１０のマージクラス数10に対応するマージパターンに従って得られるマージクラスへのクラス分類を行う分類ルールを示している。
【０２８３】
図１５の分類ルールによれば、注目画素は、傾斜強度比に応じて、ノンクラス、ウイーククラス、及び、ストロングクラスの3サブクラスのいずれかに傾斜強度比サブクラス分類され、空間特徴量としてのアクティビティサムに応じて、2サブクラスのいずれかにアクティビティサブクラス分類され、傾斜強度比サブクラスがノンクラス以外である場合、方向クラスに応じて、H/Vクラス及びD0/D1クラスの2サブクラスのいずれかに方向サブクラス分類されることで、マージクラス0ないし14のいずれかにクラス分類される。図１５の分類ルールは、図１４の分類ルールにおけるアクティビティサブクラスとしてのミドルクラスとラージクラスとをマージして、アクティビティサブクラスの数を3から2に減少させたルールになっている。
【０２８４】
図１５の分類ルールにおいて、2サブクラスのいずれかへのアクティビティサブクラス分類では、注目画素は、アクティビティサムから図３で説明したようにして求められるインデクスclass_idxに応じて、インデクスclass_idxが0ないし6である場合、アクティビティサブクラスとしてのスモール(small)クラスに分類され、インデクスclass_idxが7ないし15である場合、アクティビティサブクラスとしてのラージ(Large)クラスに分類される。
【０２８５】
図１５の分類ルールにおいて、アクティビティサブクラスの数は、初期クラス（図３）におけるアクティビティサブクラスの数5から3だけ減少した2になっている。そして、スモールクラスは、初期クラス（図３）におけるアクティビティサブクラス0ないし2に一致し、ラージクラスは、初期クラスにおけるアクティビティサブクラス3及び4に一致する。
【０２８６】
図１５の分類ルールでは、アクティビティサムに対するサブクラスの割り当てが、GALFのクラス分類の場合よりも、3サブクラスだけ減少しているので、その分だけ、アクティビティサムは、マージクラスへのクラス分類に影響しなくなる。結果として、図１５の分類ルールによれば、傾斜強度比や方向クラスが、アクティビティサムよりも優先的に影響するマージクラスが得られる。
【０２８７】
図１５の分類ルールによれば、傾斜強度比サブクラスがノンクラスである場合、注目画素は、アクティビティサブクラスがスモールクラスであるときには、マージクラス0に分類され、アクティビティサブクラスがラージクラスであるときには、マージクラス1に分類される。
【０２８８】
傾斜強度比サブクラスがウイーククラスで、方向クラスがD0/D1クラスである場合、注目画素は、アクティビティサブクラスがスモールクラスであるときには、マージクラス2に分類され、アクティビティサブクラスがラージクラスであるときには、マージクラス3に分類される。
【０２８９】
傾斜強度比サブクラスがストロングクラスで、方向クラスがD0/D1クラスである場合、注目画素は、アクティビティサブクラスがスモールクラスであるときには、マージクラス4に分類され、アクティビティサブクラスがラージクラスであるときには、マージクラス5に分類される。
【０２９０】
傾斜強度比サブクラスがウイーククラスで、方向クラスがH/Vクラスである場合、注目画素は、アクティビティサブクラスがスモールクラスであるときには、マージクラス6に分類され、アクティビティサブクラスがラージクラスであるときには、マージクラス7に分類される。
【０２９１】
傾斜強度比サブクラスがストロングクラスで、方向クラスがH/Vクラスである場合、注目画素は、アクティビティサブクラスがスモールクラスであるときには、マージクラス8に分類され、アクティビティサブクラスがラージクラスであるときには、マージクラス9に分類される。
【０２９２】
図１５の分類ルールにおいて、マージクラス0は、GALFのクラス分類により得られる初期クラス0ないし2に一致し、マージクラス1は、GALFのクラス分類により得られる初期クラス3及び4に一致し、マージクラス2は、GALFのクラス分類により得られる初期クラス5ないし7に一致し、マージクラス3、GALFのクラス分類により得られる初期クラス8及び9に一致し、マージクラス4は、GALFのクラス分類により得られる初期クラス10ないし12に一致し、マージクラス5は、GALFのクラス分類により得られる初期クラス13及び14に一致し、マージクラス6は、GALFのクラス分類により得られる初期クラス15ないし17に一致し、マージクラス7は、GALFのクラス分類により得られる初期クラス18及び19に一致し、マージクラス8は、GALFのクラス分類により得られる初期クラス20ないし22に一致し、マージクラス9は、GALFのクラス分類により得られる初期クラス23及び24に一致する。
【０２９３】
したがって、マージクラス数10に対応するマージパターンとしては、初期クラス0ないし3をマージクラス0に、初期クラス3及び4をマージクラス1に、初期クラス5ないし7をマージクラス2に、初期クラス8及び9をマージクラス3それぞれに、初期クラス10ないし12をマージクラス4に、初期クラス13及び14をマージクラス5に、初期クラス15ないし17をマージクラス6に、初期クラス18及び19をマージクラス7に、初期クラス20ないし22をマージクラス8に、初期クラス23及び24をマージクラス9に、それぞれ変換するマージパターンを設定することができる。
【０２９４】
図１６は、GALFのクラス分類により得られる25クラスの初期クラスを5クラスのマージクラスにマージするマージクラス数5に対応するマージパターンの設定の方法を説明する図である。
【０２９５】
すなわち、図１６は、図１１のマージクラス数10に対応するマージパターンに従って得られるマージクラスへのクラス分類を行う分類ルールを示している。
【０２９６】
図１６の分類ルールによれば、注目画素は、傾斜強度比に応じて、ノンクラス、ウイーククラス、及び、ストロングクラスの3サブクラスのいずれかに傾斜強度比サブクラス分類され、傾斜強度比サブクラスがノンクラス以外である場合、方向クラスに応じて、H/Vクラス及びD0/D1クラスの2サブクラスのいずれかに方向サブクラス分類されることで、マージクラス0ないし4のいずれかにクラス分類される。図１６の分類ルールは、図１５の分類ルールにおけるアクティビティサブクラスとしてのスモールクラスとラージクラスとをマージして、アクティビティサブクラスの数を2から1に減少させたルールになっている。
【０２９７】
したがって、図１６の分類ルールでは、空間特徴量としてのアクティビティサムは、マージクラスへのクラス分類に影響しない。すなわち、図１６の分類ルールでは、傾斜強度比、方向クラス、及び、アクティビティサムのうちの、傾斜強度比と方向クラスとだけが、マージクラスへのクラス分類に影響する。
【０２９８】
図１６の分類ルールによれば、傾斜強度比サブクラスがノンクラスである場合、注目画素は、マージクラス0に分類される。
【０２９９】
傾斜強度比サブクラスがウイーククラスで、方向クラスがD0/D1クラスである場合、注目画素は、マージクラス1に分類される。
【０３００】
傾斜強度比サブクラスがストロングクラスで、方向クラスがD0/D1クラスである場合、注目画素は、マージクラス2に分類される。
【０３０１】
傾斜強度比サブクラスがウイーククラスで、方向クラスがH/Vクラスである場合、注目画素は、マージクラス3に分類される。
【０３０２】
傾斜強度比サブクラスがストロングクラスで、方向クラスがH/Vクラスである場合、注目画素は、マージクラス4に分類される。
【０３０３】
図１６の分類ルールにおいて、マージクラス0は、GALFのクラス分類により得られる初期クラス0ないし4に一致し、マージクラス1は、GALFのクラス分類により得られる初期クラス5ないし9に一致し、マージクラス2は、GALFのクラス分類により得られる初期クラス10ないし14に一致し、マージクラス3、GALFのクラス分類により得られる初期クラス15ないし19に一致し、マージクラス4は、GALFのクラス分類により得られる初期クラス20ないし24に一致する。
【０３０４】
したがって、マージクラス数5に対応するマージパターンとしては、初期クラス0ないし4をマージクラス0に、初期クラス5ないし9をマージクラス1に、初期クラス10ないし14をマージクラス2に、初期クラス15ないし19をマージクラス3それぞれに、初期クラス20ないし24をマージクラス4に、それぞれ変換するマージパターンを設定することができる。
【０３０５】
図１７は、GALFのクラス分類により得られる25クラスの初期クラスを3クラスのマージクラスにマージするマージクラス数3に対応するマージパターンの設定の方法を説明する図である。
【０３０６】
すなわち、図１７は、図１１のマージクラス数3に対応するマージパターンに従って得られるマージクラスへのクラス分類を行う分類ルールを示している。
【０３０７】
図１７の分類ルールによれば、注目画素は、傾斜強度比に応じて、ノンクラス、ウイーククラス、及び、ストロングクラスの3サブクラスのいずれかに傾斜強度比サブクラス分類されることで、マージクラス0ないし2のいずれかにクラス分類される。図１７の分類ルールは、図１６の分類ルールにおける方向クラスとしてのD0/D1クラスとH/Vクラスとをマージして、方向クラスの数を2から1に減少させたルールになっている。
【０３０８】
したがって、図１７の分類ルールでは、方向クラス及び空間特徴量としてのアクティビティサムは、マージクラスへのクラス分類に影響しない。すなわち、図１７の分類ルールでは、傾斜強度比、方向クラス、及び、アクティビティサムのうちの、傾斜強度比だけが、マージクラスへのクラス分類に影響する。
【０３０９】
図１７の分類ルールによれば、傾斜強度比サブクラスがノンクラスである場合、注目画素は、マージクラス0に分類される。
【０３１０】
傾斜強度比サブクラスがウイーククラスである場合、注目画素は、マージクラス1に分類され、傾斜強度比サブクラスがストロングクラスである場合、注目画素は、マージクラス2に分類される。
【０３１１】
図１７の分類ルールにおいて、マージクラス0は、GALFのクラス分類により得られる初期クラス0ないし4に一致し、マージクラス1は、GALFのクラス分類により得られる初期クラス5ないし9及び15ないし19に一致し、マージクラス2は、GALFのクラス分類により得られる初期クラス10ないし14及び20ないし24に一致する。
【０３１２】
したがって、マージクラス数3に対応するマージパターンとしては、初期クラス0ないし4をマージクラス0に、初期クラス5ないし9及び15ないし19をマージクラス1に、初期クラス10ないし14及び20ないし24をマージクラス2に、それぞれ変換するマージパターンを設定することができる。
【０３１３】
図１８は、GALFのクラス分類により得られる25クラスの初期クラスを2クラスのマージクラスにマージするマージクラス数2に対応するマージパターンの設定の方法を説明する図である。
【０３１４】
すなわち、図１８は、図１１のマージクラス数2に対応するマージパターンに従って得られるマージクラスへのクラス分類を行う分類ルールを示している。
【０３１５】
図１８の分類ルールによれば、注目画素は、傾斜強度比に応じて、ノンクラス、及び、ウイーク／ストロングクラスの2サブクラスのいずれかに傾斜強度比サブクラス分類されることで、マージクラス0及び1のいずれかにクラス分類される。図１８の分類ルールは、図１７の分類ルールにおける傾斜強度比サブクラスとしてのウイーククラスとストロングクラスとをマージして、傾斜強度比サブクラスの数を3から2に減少させたルールになっている。
【０３１６】
図１８の分類ルールにおいて、傾斜強度比サブクラス分類により得られる傾斜強度比サブクラスの数は、初期クラスにおける傾斜強度比サブクラスの数3から減少した2になっている。図１８の分類ルールにおけるノンクラスは、初期クラスにおけるノンクラスに一致し、ウイーク／ストロングクラスは、初期クラスにおけるウイーククラス及びストロングクラスに一致する。
【０３１７】
したがって、図１８の分類ルールでは、図１７の分類ルールと同様に、方向クラス及び空間特徴量としてのアクティビティサムは、マージクラスへのクラス分類に影響しない。すなわち、図１８の分類ルールでは、傾斜強度比、方向クラス、及び、アクティビティサムのうちの、傾斜強度比だけが、マージクラスへのクラス分類に影響する。
【０３１８】
図１８の分類ルールによれば、傾斜強度比サブクラスがノンクラスである場合、注目画素は、マージクラス0に分類され、傾斜強度比サブクラスがウイーク／ストロングクラスである場合、注目画素は、マージクラス1に分類される。この場合、注目画素は、テクスチャの画素と、テクスチャ以外の画素とに分類される。
【０３１９】
図１８の分類ルールにおいて、マージクラス0は、GALFのクラス分類により得られる初期クラス0ないし4に一致し、マージクラス1は、GALFのクラス分類により得られる初期クラス5ないし24に一致する。
【０３２０】
したがって、マージクラス数2に対応するマージパターンとしては、初期クラス0ないし4をマージクラス0に、初期クラス5ないし24をマージクラス1に、それぞれ変換するマージパターンを設定することができる。
【０３２１】
図１９は、GALFのクラス分類により得られる25クラスの初期クラスを1クラスのマージクラスにマージするマージクラス数1に対応するマージパターンの設定の方法を説明する図である。
【０３２２】
すなわち、図１９は、図１１のマージクラス数1に対応するマージパターンに従って得られるマージクラスへのクラス分類を行う分類ルールを示している。
【０３２３】
図１９の分類ルールによれば、注目画素は、常に、モノクラスとしてのマージクラス0にクラス分類される。図１９の分類ルールは、図１８の分類ルールにおける傾斜強度比サブクラスとしてのノンクラスとウイーク／ストロングクラスとをマージして、傾斜強度比サブクラスの数を2から1に減少させたルールになっている。
【０３２４】
図１９の分類ルールにおいて、マージクラス0は、GALFのクラス分類により得られる初期クラス0ないし24に一致する。
【０３２５】
したがって、マージクラス数1に対応するマージパターンとしては、初期クラス0ないし24をマージクラス0に変換するマージパターンを設定することができる。
【０３２６】
図１０ないし図１９に示したマージクラス数25, 20, 15, 10, 5, 3, 2, 1に対応するマージパターンの設定では、GALFのクラス分類における傾斜強度比サブクラスをなるべくマージしないようにしたため、かかるマージパターンによれば、傾斜強度比が優先的に影響するマージクラスが得られる。
【０３２７】
マージパターンの設定では、以上のように、傾斜強度比が優先的に影響するマージクラスが得られるマージパターンの他、傾斜強度比以外の特徴量、例えば、アクティビティサムが優先的に影響するマージクラスが得られるマージパターンを設定することができる。
【０３２８】
図２０及び図２１は、あらかじめ設定されるマージパターンの第２の例を示す図である。
【０３２９】
すなわち、図２０及び図２１は、GALFのクラス分類で得られる25個の初期クラスをマージするマージクラス数25, 15, 10, 5, 4, 3, 2, 1に対応するマージパターンの例を示す図である。
【０３３０】
図２０及び図２１のマージパターンは、図１０及び図１１のマージパターンと同様に、リダクション設定により設定される。但し、図１０及び図１１のマージパターンは、傾斜強度比が優先的に影響するマージクラスが得られるマージパターンになっているが、図２０及び図２１のマージパターンは、アクティビティサムが優先的に影響するマージクラスが得られるマージパターンになっている。
【０３３１】
図２０において、マージクラス数25に対応するマージパターンは、注目画素を、傾斜強度比に応じて、ノン(None)クラス、ウイーク(Weak)クラス、及び、ストロング(Strong)クラスの3サブクラスのいずれかに傾斜強度比サブクラス分類し、アクティビティサムに応じて、5サブクラス（アクティビティサブクラス0ないし4）のいずれかにアクティビティサブクラス分類し、傾斜強度比に応じた傾斜強度比サブクラス分類により得られる傾斜強度比サブクラスがノンクラス以外である場合、方向クラスに応じて、H/Vクラス及びD0/D1クラスの2サブクラスのいずれかに方向サブクラス分類することで、全25クラスに分類する分類ルールにより得られるクラスが、マージクラスとして得られるマージパターンになっている。すなわち、マージクラス数25に対応するマージパターンは、GALFのクラス分類で得られる初期クラスと同一のマージクラスが得られるマージパターンになっている。
【０３３２】
図２０において、マージクラス数15に対応するマージパターンは、注目画素を、傾斜強度比に応じて、ノンクラス、ウイーククラス、及び、ストロングクラスの3サブクラスのいずれかに傾斜強度比サブクラス分類し、アクティビティサムに応じて、5サブクラスのいずれかにアクティビティサブクラス分類することで、全15クラスに分類する分類ルールにより得られるクラスが、マージクラスとして得られるマージパターンになっている。
【０３３３】
マージクラス数15に対応するマージパターンに従って得られるマージクラスへのクラス分類を行う分類ルールでは、方向クラスが用いられないので、方向クラスは、マージクラスへのクラス分類に影響しない。なお、この点、以下説明する図２０及び図２１のマージクラス数10, 5, 4, 3, 2, 1のマージパターンについても、同様である。
【０３３４】
図２０において、マージクラス数10に対応するマージパターンは、注目画素を、傾斜強度比に応じて、ノンクラス、及び、ウイーク／ストロングクラスの2サブクラスのいずれかに傾斜強度比サブクラス分類し、アクティビティサムに応じて、5サブクラスのいずれかにアクティビティサブクラス分類することで、全10クラスに分類する分類ルールにより得られるクラスが、マージクラスとして得られるマージパターンになっている。
【０３３５】
マージクラス数10に対応するマージパターンに従って得られるマージクラスへのクラス分類を行う分類ルールでは、傾斜強度比に対するサブクラスの割り当てが、GALFのクラス分類の場合よりも、1サブクラスだけ減少しているので、その分だけ、傾斜強度比は、マージクラスへのクラス分類に影響しなくなる。結果として、マージクラス数10に対応するマージパターンによれば、アクティビティサムが、傾斜強度比よりも優先的に影響するマージクラスが得られる。なお、この点、以下説明する図２０及び図２１のマージクラス数5, 4, 3, 2のマージパターンについても、同様である。
【０３３６】
図２０において、マージクラス数5に対応するマージパターンは、注目画素を、アクティビティサムに応じて、5サブクラスのいずれかにアクティビティサブクラス分類することで、全5クラスに分類する分類ルールにより得られるクラスが、マージクラスとして得られるマージパターンになっている。
【０３３７】
図２１において、マージクラス数4に対応するマージパターンは、注目画素を、アクティビティサムに応じて、4サブクラスのいずれかにアクティビティサブクラス分類することで、全4クラスに分類する分類ルールにより得られるクラスが、マージクラスとして得られるマージパターンになっている。
【０３３８】
なお、ここでのアクティビティサブクラス分類により得られる4サブクラスとしては、図１３で説明したスモールクラス、ミドル1クラス、ミドル2クラス、ラージクラスを採用することができる。
【０３３９】
図２１において、マージクラス数3に対応するマージパターンは、注目画素を、アクティビティサムに応じて、3サブクラスのいずれかにアクティビティサブクラス分類することで、全3クラスに分類する分類ルールにより得られるクラスが、マージクラスとして得られるマージパターンになっている。
【０３４０】
なお、ここでのアクティビティサブクラス分類により得られる3サブクラスとしては、図１４で説明したスモールクラス、ミドルクラス、ラージクラスを採用することができる。
【０３４１】
図２１において、マージクラス数2に対応するマージパターンは、注目画素を、アクティビティサムに応じて、2サブクラスのいずれかにアクティビティサブクラス分類することで、全2クラスに分類する分類ルールにより得られるクラスが、マージクラスとして得られるマージパターンになっている。
【０３４２】
なお、ここでのアクティビティサブクラス分類により得られる2サブクラスとしては、図１５で説明したスモールクラス、ラージクラスを採用することができる。
【０３４３】
図２１において、マージクラス数1に対応するマージパターンは、常に、モノクラスとしてのマージクラス0が得られるマージパターンになっている。
【０３４４】
以上においては、初期クラスを得るクラス分類（以下、初期クラス分類ともいう）として、GALFのクラス分類を採用することとしたが、初期クラス分類としては、GALFのクラス分類以外のクラス分類を採用することができる。
【０３４５】
図２２は、注目画素の特徴量としてのランキング(Ranking)を用いたクラス分類、すなわち、JVET-J0014のクラス分類を説明する図である。
【０３４６】
ランキングを用いたクラス分類では、注目画素のランキングr8(i, j)が、式r8(i, j)＝ΣΣ(s'(i, j) < s'(k, l) ? 1 : 0)に従って求められる。
【０３４７】
ここで、式r8(i, j)＝ΣΣ(s'(i, j) < s'(k, l) ? 1 : 0)において、(i, j)は、注目画素の位置（例えば、左からi番目で、上からj番目の位置）を表す。s'(i, j)は、位置(i, j)の画素の画素値（例えば、輝度）を表す。右辺の1つ目のサメーション（Σ）は、kをi-1からi+1までの整数に変えてのサメーションを表し、2つ目のサメーションは、lをj-1からj+1までの整数に変えてのサメーションを表す。(X ? 1 : 0)は、Xが真である場合に1をとり、Xが偽である場合に0をとることを表す。
【０３４８】
式r8(i, j)＝ΣΣ(s'(i, j) < s'(k, l) ? 1 : 0)によれば、注目画素よりも大きい画素値の画素が、注目画素の周囲に存在するほど、注目画素のランキングr8(i, j)は大になる。r8(i, j)は、0ないし8の範囲の整数値をとる。
【０３４９】
ランキングを用いたクラス分類では、注目画素のカテゴリが求められる。例えば、式s'(i, j)<=T1が満たされる場合、注目画素のカテゴリは（カテゴリ）0とされる。式T1<s'(i, j)<=T2が満たされる場合、注目画素のカテゴリは1とされ、式T2<s'(i, j)が満たされる場合、注目画素のカテゴリは2とされる。
【０３５０】
なお、注目画素のカテゴリは、その他、以下のようにして求めることができる。
【０３５１】
すなわち、式|v(i, j)| <= T3が満たされる場合、注目画素のカテゴリを（カテゴリ）0とし、式T3 < |v(i, j)| <= T4が満たされる場合、注目画素のカテゴリを1とし、式 |v(i, j)| > T4が満たされる場合、注目画素のカテゴリを2とすることができる。
【０３５２】
ここで、T1, T2, T3, T4は、あらかじめ設定される閾値である。T1及びT2は、式T1 < T2の関係があり、T3及びT4は、式T3 < T4の関係がある。また、v(i, j)は、式v(i, j) = 4 × s'(i, j) - (s'(i-1, j) + s'(i+1, j) +s'(i, j+1) + s'(i, j-1))で表される。
【０３５３】
ランキングを用いたクラス分類では、注目画素のランキングr8(i, j)及びカテゴリを用いて、注目画素のクラスD1R(i, j)が求められる。注目画素のカテゴリが0である場合、クラス番号D1R(i, j) = r8(i, j)のクラスが、注目画素のクラスとして求められる。注目画素のカテゴリが1である場合、クラス番号D1R(i, j) = r8(i, j) + 9のクラスが、注目画素のクラスとして求められる。注目画素のカテゴリが2である場合、クラス番号D1R(i, j) = r8(i, j) + 18のクラスが、注目画素のクラスとして求められる。
【０３５４】
以上のようにして、ランキングを用いたクラス分類では、注目画素は、クラス0ないし26の27クラスのうちのいずれかにクラス分類される。
【０３５５】
ランキングを用いたクラス分類により得られるクラスを初期クラスとする初期クラステーブルの例を、図２２に示す。図２２の初期クラステーブルは、横軸をr8(i, j)とするとともに、縦軸をカテゴリとしたテーブルになっている。
【０３５６】
図２３は、注目画素の特徴量としての画素値を用いたクラス分類、すなわち、JVET-J0018のクラス分類を説明する図である。
【０３５７】
画素値を用いたクラス分類では、画素値のダイナミックレンジが、例えば、同一の大きさのバンドに区切られる。注目画素の画素値が、いずれのバンドに属するかによって、注目画素がクラス分類される。
【０３５８】
図２３では、画素値のダイナミックレンジが、256=28レベルであり、8レベルの大きさのバンドによって、32個のバンドに区切られている。そして、0からのクラス番号が、画素値の小さいバンドから割り当てられている。画素値を用いたクラス分類では、注目画素は、その注目画素の画素値が属するバンドに割り当てられたクラス番号のクラスに分類される。
【０３５９】
この場合、注目画素は、クラス0ないし31の32クラスのうちのいずれかにクラス分類される。
【０３６０】
図２４は、注目画素の特徴量としての傾斜方向の信頼度を用いたクラス分類を説明する図である。
【０３６１】
信頼度を用いたクラス分類では、例えば、GALFと同様に、注目画素の規定方向としてのdirectionが求められる（設定される）。
【０３６２】
すなわち、信頼度を用いたクラス分類では、復号画像にラプラシアンフィルタを適用することで、周辺領域としての、例えば、注目画素を中心とする横×縦が3×3画素それぞれのV方向、H方向、D0方向、及び、D1方向の4方向それぞれのアクティビティA(V), A(H), A(D0)、及び、 A(D1)が求められる。
【０３６３】
さらに、信頼度を用いたクラス分類は、注目画素について、周辺領域としての3×3画素のアクティビティA(D)を4方向それぞれごとに加算することで、4方向それぞれのアクティビティサムsumA(H)、sumA(D0)、及び、sumA(D1)が求められる。
【０３６４】
そして、信頼度を用いたクラス分類では、注目画素についての4方向それぞれのアクティビティサムsumA(H)、sumA(D0)、及び、sumA(D1)に対して、図２で説明したように、MainDir及びSecDirが求められ（設定され）、方向クラス分類テーブルにおいて、そのMainDir及びSecDirに割り当てられているdirectionが、注目画素の規定方向として求められる（設定される）。
【０３６５】
また、信頼度を用いたクラス分類は、注目画素について、傾斜方向（規定方向）の度数分布が生成される。
【０３６６】
すなわち、信頼度を用いたクラス分類では、復号画像にラプラシアンフィルタを適用することで、注目画素を含む度数分布生成領域としての、例えば、注目画素を中心とする横×縦が3×3画素それぞれのV方向、H方向、D0方向、及び、D1方向の4方向それぞれのアクティビティA(V), A(H), A(D0)、及び、 A(D1)が求められる。
【０３６７】
ここで、度数分布生成領域とは、規定方向の度数分布の生成に用いられる画素の領域である。ここでは、説明を簡単にするため、度数分布生成領域は、周辺領域と一致する領域とする。度数分布生成領域が、周辺領域と一致する場合、度数分布生成領域内の3×3画素それぞれの4方向それぞれのアクティビティA(V), A(H), A(D0)、及び、 A(D1)としては、注目画素の規定方向としてのdirectionを求めるときに求められた周辺領域内の3×3画素それぞれの4方向それぞれのアクティビティA(V), A(H), A(D0)、及び、 A(D1)をそのまま用いることができる。
【０３６８】
信頼度を用いたクラス分類では、例えば、図１で説明したGALFの8方向のdirectionを、度数分布の階級を表す規定方向として、注目画素について、度数分布生成領域内の3×3画素の4方向それぞれのアクティビティA(V), A(H), A(D0)、及び、 A(D1)に対して求められる（設定される）GALFのdirectionで表される規定方向を対象に、その規定方向の度数をカウントすることで、規定方向の度数分布が生成される。
【０３６９】
すなわち、信頼度を用いたクラス分類では、4方向それぞれのアクティビティサムsumA(H)、sumA(D0)、及び、sumA(D1)に代えて、4方向それぞれのアクティビティA(V), A(H), A(D0)、及び、 A(D1)を用いて、度数分布生成領域内の3×3画素それぞれについて、図２で説明したように、MainDir及びSecDirが求められる。さらに、信頼度を用いたクラス分類では、度数分布生成領域内の3×3画素それぞれについて、図２で説明したように、MainDir及びSecDirに割り当てられているdirectionが、画素の規定方向として求められる。
【０３７０】
そして、信頼度を用いたクラス分類では、以上のようにして、度数分布生成領域内の3×3画素それぞれについて求められた（設定された）規定方向の度数をカウントすることにより、注目画素についての規定方向の度数分布が生成される。
【０３７１】
その後、信頼度を用いたクラス分類では、注目画素についての規定方向の度数分布において、注目画素の規定方向としてのdirection（の階級）の度数に対応する値が、注目画素の規定方向の信頼度として求められる（設定される）。
【０３７２】
図２４では、注目画素の規定方向は、GALFの8方向のdirectionとしての規定方向のうちの、規定方向000（10進数で0（2進数で000）が割り当てられた規定方向）であり、注目画素についての規定方向の度数分布において、規定方向000の度数に対応する値が、注目画素の規定方向の信頼度として求められる（設定される）。
【０３７３】
信頼度を用いたクラス分類では、例えば、注目画素の規定方向の信頼度を用い、例えば、GALFのクラス分類を利用して、注目画素が、GALFのクラス分類と同様の最終クラス0ないし24の25クラスのうちのいずれかに分類される。
【０３７４】
なお、ここでは、注目画素の傾斜方向としての規定方向の信頼度を、度数分布生成領域の画素の傾斜方向の度数分布を用いて求めることとしたが、注目画素の傾斜方向の信頼度としては、その他、例えば、注目画素の傾斜方向を表すベクトルと、注目画素の周辺の複数の画素の傾斜方向を表すベクトルそれぞれとの内積の絶対値又は自乗の総和に対応する値、その他の、注目画素の傾斜方向の確からしさを表す値等を採用することができる。
【０３７５】
図２５は、信頼度を用いたクラス分類で求められる最終クラスを説明する図である。
【０３７６】
信頼度を用いたクラス分類では、GALFのクラス分類と同様に、方向サブクラス分類が行われる。但し、信頼度を用いたクラス分類では、注目画素の規定方向としてのdirectionの他、その規定方向の信頼度にも応じて、方向サブクラス分類が行われる。
【０３７７】
そのため、図２５では、方向クラスについては、方向クラス０（D0/D1クラス）及び２(H/Vクラス）の他、信頼度が低いことを表すノン(None)クラスが用意されている。
【０３７８】
注目画素の規定方向の信頼度が、閾値p未満である場合、信頼度を用いたクラス分類では、注目画素が、ノンクラスの方向クラスに方向サブクラス分類される。そして、信頼度を用いたクラス分類では、注目画素の空間特徴量としてのV方向、H方向、D0方向、及び、D1方向のアクティビティサムsumA(V)、sumA(H)、sumA(D0)、及び、sumA(D1)に応じて、GALFのクラス分類と同様に、注目画素が、最終クラス0ないし4のいずれかにクラス分類される。
【０３７９】
注目画素の規定方向の信頼度が、閾値p以上である場合、信頼度を用いたクラス分類では、GALFのクラス分類と同様に、注目画素の規定方向としてのdirectionに応じて、注目画が、方向クラス０又は２に方向サブクラス分類される。
【０３８０】
方向サブクラス分類において、注目画素が方向クラス０又は２に分類された場合、信頼度を用いたクラス分類では、GALFのクラス分類と同様に、式（２）又は式（３）の傾斜強度比が求められる。そして、その傾斜強度比に応じて、注目画素の傾斜強度比を表すクラスを求める傾斜強度比サブクラス分類が行われる。
【０３８１】
その後は、図３で説明したGALFのクラス分類と同様に、方向クラス０又は２、傾斜強度比サブクラス分類の結果得られるノンクラス、ウイーククラス、又は、ストロングクラス、並びに、注目画素の空間特徴量としてのV方向、H方向、D0方向、及び、D1方向のアクティビティサムsumA(V)、sumA(H)、sumA(D0)、及び、sumA(D1)に応じて、注目画素は、最終クラス0ないし24のいずれかにクラス分類される。
【０３８２】
なお、規定方向の信頼度の閾値pは、度数分布生成領域の画素数に応じて設定することができる。例えば、規定方向の信頼度として、規定方向の度数分布の度数そのものを採用する場合において、度数分布生成領域が6×6画素の領域であるときには、閾値pは、例えば、度数分布生成領域の画素数（例えば36画素）の1/4又は1/8に設定することができる。
【０３８３】
図２５のクラス分類は、図３のGALFのクラス分類に、傾斜方向（規定方向）の信頼度を導入したクラス分類であるということができる。図２５のクラス分類によれば、傾斜方向の信頼度によって、画素が分類されることで、傾斜方向の信頼度が低い場合、すなわち、傾斜方向を表すdirectionの信頼性が低い場合に、そのようなdirectionに応じた方向サブクラス分類によって、画素が方向クラス０又は２に分類されてしまい、画素が傾斜方向に対応していない方向クラスに分類されることを防止することができる。その結果、画素を適切なクラス（最終クラス）に分類し、そのクラスのタップ係数を用いて、適切な予測処理としてのフィルタ処理を行うことができる。したがって、フィルタ処理の性能を改善することができる。
【０３８４】
図２６及び図２７は、あらかじめ設定されるマージパターンの第３の例を示す図である。
【０３８５】
すなわち、図２６及び図２７は、図２２で説明したランキングを用いたクラス分類で得られる27個の初期クラスをマージするマージクラス数27, 24, 21, 18, 12, 9, 6に対応するマージパターンの例を示す図である。
【０３８６】
図２６及び図２７のマージパターンは、図１０及び図１１並びに図２０及び図２１のマージパターンと同様に、リダクション設定により設定される。
【０３８７】
ここで、ランキングを用いたクラス分類では、注目画素を、ランキングに応じて、ランキングr8(i, j)が0ないし9であることを表す9サブクラスのうちのいずれかにサブクラス分類し、カテゴリに応じて、カテゴリが0ないし2であることを表す3サブクラスのうちのいずれかにサブクラス分類することで、全27クラスに分類する分類ルールが採用されているということができる。
【０３８８】
図２６及び図２７において、マージクラス数27に対応するマージパターンは、注目画素を、ランキングに応じて、9サブクラスにサブクラス分類し、カテゴリに応じて、3サブクラスにサブクラス分類することで、全27クラスに分類する分類ルールにより得られるクラスが、マージクラスとして得られるマージパターンになっている。すなわち、マージクラス数27に対応するマージパターンは、ランキングを用いたクラス分類で得られる初期クラスと同一のマージクラスが得られるマージパターンになっている。
【０３８９】
図２６及び図２７において、マージクラス数24, 21, 18, 12, 9, 6に対応するマージパターンは、注目画素を、ランキングに応じて、8, 7, 6, 4, 3, 2サブクラスにサブクラス分類し、カテゴリに応じて、3サブクラスのうちのいずれかにサブクラス分類することで、全24, 21, 18, 12, 9, 6クラスに分類する分類ルールにより得られるクラスが、マージクラスとして得られるマージパターンにそれぞれなっている。
【０３９０】
なお、ランキングを用いたクラス分類で得られる27個の初期クラスをマージするマージパターンのマージクラス数としては、27, 24, 21, 18, 12, 9, 6の他、例えば、15や、3、1を採用することができる。
【０３９１】
マージクラス数15に対応するマージパターンとしては、注目画素を、ランキングに応じて、5サブクラスにサブクラス分類し、カテゴリに応じて、3サブクラスのうちのいずれかにサブクラス分類することで、全15クラスに分類する分類ルールにより得られるクラスが、マージクラスとして得られるマージパターンを採用することができる。
【０３９２】
マージクラス数3に対応するマージパターンとしては、注目画素を、カテゴリに応じて、3サブクラスのうちのいずれかにサブクラス分類することで、全3クラスに分類する分類ルールにより得られるクラスが、マージクラスとして得られるマージパターンを採用することができる。
【０３９３】
マージクラス数1に対応するマージパターンは、常に、モノクラスとしてのマージクラス0が得られるマージパターンである。
【０３９４】
マージクラス数24, 21, 18, 15, 12, 9, 6, 3に対応するマージパターンによれば、カテゴリが、ランキングよりも優先的に影響するマージクラスが得られる。
【０３９５】
図２８は、あらかじめ設定されるマージパターンの第４の例を示す図である。
【０３９６】
すなわち、図２８は、図２３で説明した画素値を用いたクラス分類で得られる32個の初期クラスをマージするマージクラス数32, 16, 8, 4に対応するマージパターンの例を示す図である。
【０３９７】
図２８のマージパターンは、図１０及び図１１並びに図２０及び図２１のマージパターンと同様に、リダクション設定により設定される。
【０３９８】
ここで、図２３の画素値を用いたクラス分類では、画素値のダイナミックレンジとしての256レベルを32バンドに区切って、注目画素を、注目画素の画素値に応じて、その画素値が属するバンドに割り当てられたクラスに分類することで、全32クラスに分類する分類ルールが採用されているということができる。
【０３９９】
図２８において、マージクラス数32に対応するマージパターンは、画素値のダイナミックレンジとしての256レベルを32バンドに区切って、注目画素を、注目画素の画素値に応じて、その画素値が属するバンドに割り当てられたクラスに分類することで、全32クラスに分類する分類ルールにより得られるクラスが、マージクラスとして得られるマージパターンになっている。すなわち、マージクラス数32に対応するマージパターンは、画素値を用いたクラス分類で得られる初期クラスと同一のマージクラスが得られるマージパターンになっている。
【０４００】
図２８において、マージクラス数16, 8, 4に対応するマージパターンは、画素値のダイナミックレンジとしての256レベルを16, 8, 4バンドに区切って、注目画素を、注目画素の画素値に応じて、その画素値が属するバンドに割り当てられたクラスに分類することで、全16, 8, 4クラスに分類する分類ルールにより得られるクラスが、マージクラスとして得られるマージパターンにそれぞれなっている。
【０４０１】
なお、画素値のダイナミックレンジとしての256レベルを、32, 16, 8, 4バンドに区切る場合、バンドの大きさは、それぞれ8, 16, 32, 64レベルになる。
【０４０２】
また、画素値を用いたクラス分類で得られる32個の初期クラスをマージするマージパターンのマージクラス数としては、32, 16, 8, 4の他、例えば、2や1を採用することができる。
【０４０３】
マージクラス数2に対応するマージパターンとしては、画素値のダイナミックレンジとしての256レベルを2バンドに区切って、注目画素を、注目画素の画素値に応じて、その画素値が属するバンドに割り当てられたクラスに分類することで、全2クラスに分類する分類ルールにより得られるクラスが、マージクラスとして得られるマージパターンを採用することができる。
【０４０４】
マージクラス数1に対応するマージパターンは、常に、モノクラスとしてのマージクラス0が得られるマージパターンである。
【０４０５】
以上のように、各マージクラス数に対応するマージパターンとしては、GALFのクラス分類や、ランキングを用いたクラス分類、画素値を用いたクラス分類、傾斜方向の信頼度を用いたクラス分類等の様々なクラス分類法のクラス分類により得られる初期クラスをマージするマージパターンを採用することができる。
【０４０６】
さらに、各マージクラス数に対応するマージパターンは、混在設定で設定すること、すなわち、所定のクラス分類により得られる初期クラスをマージするマージパターンと、他のクラス分類により得られる初期クラスをマージするマージパターンとが混在するように設定することができる。
【０４０７】
例えば、各マージクラス数に対応するマージパターンは、GALFのクラス分類により得られる初期クラスをマージするマージパターンと、ランキングを用いたクラス分類により得られる初期クラスをマージするマージパターンとが混在するように設定することができる。
【０４０８】
GALFのクラス分類により得られる初期クラスをマージするマージパターンとしては、例えば、図１０及び図１１に示したマージクラス数25, 20, 15, 10, 5, 3, 2, 1に対応するマージパターンを採用することができる。
【０４０９】
ランキングを用いたクラス分類により得られる初期クラスをマージするマージパターンとしては、図２６及び図２７で説明したマージクラス数27, 24, 21, 18, 15, 12, 9, 6, 3, 1に対応するマージパターンを採用することができる。
【０４１０】
但し、GALFのクラス分類により得られる初期クラスをマージするマージパターンとしてのマージクラス数25, 20, 15, 10, 5, 3, 2, 1に対応するマージパターン（以下、GALFマージパターンともいう）と、ランキングを用いたクラス分類により得られる初期クラスをマージするマージパターンとしてのマージクラス数27, 24, 21, 18, 15, 12, 9, 6, 3, 1に対応するマージパターン（以下、ランキングマージパターンともいう）とが混在する場合には、GALFマージパターンとランキングマージパターンとで、マージクラス数15, 3, 1が重複する。
【０４１１】
GALFマージパターンとランキングマージパターンとで、マージクラス数が重複する場合には、GALFマージパターンとランキングマージパターンとのうちのいずれのマージパターンを優先するかを、あらかじめ設定しておくことができる。例えば、GALFマージパターンを優先する場合には、マージクラス数25, 20, 15, 10, 5, 3, 2, 1に対応するマージパターンとしては、GALFマージパターンが採用され、マージクラス数27, 24, 21, 18, 12, 9, 6に対応するマージパターンとしては、ランキングマージパターンが採用される。
【０４１２】
また、各マージクラス数に対応するマージパターンは、GALFのクラス分類及びランキングを用いたクラス分類の他、任意の２種類以上のクラス分類法のクラス分類それぞれにより得られる初期クラスをマージするマージパターンが混在するように設定することができる。
【０４１３】
例えば、各マージクラス数に対応するマージパターンは、GALFのクラス分類により得られる初期クラスをマージするマージパターンと、画素値を用いたクラス分類により得られる初期クラスをマージするマージパターンとが混在するように設定することができる。
【０４１４】
GALFのクラス分類により得られる初期クラスをマージするマージパターンとしては、例えば、図１０及び図１１に示したマージクラス数25, 20, 15, 10, 5, 3, 2, 1に対応するマージパターンを採用することができる。
【０４１５】
画素値を用いたクラス分類により得られる初期クラスをマージするマージパターンとしては、図２８で説明したマージクラス数32, 16, 8, 4, 2, 1に対応するマージパターンを採用することができる。
【０４１６】
但し、GALFのクラス分類により得られる初期クラスをマージするマージパターンとしてのマージクラス数25, 20, 15, 10, 5, 3, 2, 1に対応するGALFマージパターンと、画素値を用いたクラス分類により得られる初期クラスをマージするマージパターンとしてのマージクラス数32, 16, 8, 4, 2, 1に対応するマージパターン（以下、画素値マージパターンともいう）とが混在する場合には、GALFマージパターンと画素値マージパターンとで、マージクラス数2, 1が重複する。
【０４１７】
いま、GALFマージパターンと画素値マージパターンとのうちの、例えば、GALFマージパターンを優先することとすると、マージクラス数25, 20, 15, 10, 5, 3, 2, 1に対応するマージパターンとしては、GALFマージパターンが採用され、マージクラス数32, 16, 8, 4に対応するマージパターンとしては、ランキングマージパターンが採用される。
【０４１８】
ここで、以上のように、所定のクラス分類により得られる初期クラスをマージするマージパターンと、他のクラス分類により得られる初期クラスをマージするマージパターンとが混在するように、マージパターンの混在設定を行うことは、所定のクラス分類により得られる初期クラスをマージするマージパターンのマージクラス数以外のマージクラス数を、他のクラス分類により得られる初期クラスをマージするマージパターンのマージクラス数で補間するように、マージパターンを設定している、ということができる。
【０４１９】
例えば、GALFマージパターンと、画素値マージパターンとが混在する場合、GALFマージパターンのマージクラス数として存在しないマージクラス数32, 16, 8, 4が、画素値マージパターンのマージクラス数32, 16, 8, 4によって補間されている、ということができる。
【０４２０】
なお、マージクラス数ごとのマージパターンを混在設定で設定する場合には、（採用）マージクラス数によって、初期クラス分類（のクラス分類法）が異なることになる。
【０４２１】
＜GALFのクラス分類＞
【０４２２】
GALFのクラス分類について再度説明する。
【０４２３】
図２９は、GALFのクラス分類を説明する図である。
【０４２４】
GALFのクラス分類は、図１ないし図３で説明したことから、注目画素の複数の特徴量としての傾斜強度比、direction（規定方向）、アクティビティサム（空間特徴量）を用いて行われるということができる。
【０４２５】
さらに、GALFのクラス分類は、傾斜強度比の（傾斜強度比を用いた）傾斜強度比サブクラス分類、directionの（directionを用いた）方向サブクラス分類、及び、アクティビティサムの（アクティビティサムを用いた）アクティビティサブクラス分類により行われるということができる。ここで、方向サブクラス分類により得られるサブクラスを、方向サブクラス（図２で説明した方向クラスに等しい）ともいう。
【０４２６】
傾斜強度比サブクラス分類では、傾斜強度比の閾値処理により、注目画素が、図２９に示すように、ノンクラス、ウイーククラス、及び、ストロングクラスの3サブクラス（傾斜強度比サブクラス）のうちのいずれかに分類される。方向サブクラス分類では、directionに応じて、注目画素が、図２９に示すように、D0/D1クラス及びH/Vクラスの2サブクラス（方向サブクラス）のうちのいずれかに分類される。アクティビティサブクラス分類では、アクティビティサムから求められる0ないし15の範囲のインデクスclass_idxにより、注目画素が、アクティビティサブクラス0ないし4の5サブクラスのうちのいずれかに分類される。
【０４２７】
GALFのクラス分類は、以上のような複数の特徴量としての傾斜強度比、direction、及び、アクティビティサムそれぞれのサブクラス分類（傾斜強度比サブクラス分類、方向サブクラス分類、及び、アクティビティサブクラス分類）により行われるということができる。
【０４２８】
ここで、例えば、図２４及び図２５で説明した信頼度を用いたクラス分類は、傾斜強度比、direction、アクティビティサム、及び、信頼度それぞれのサブクラス分類により行われるということができる。したがって、信頼度を用いたクラス分類も、GALFのクラス分類と同様に、複数の特徴量それぞれのサブクラス分類により行われるということができる。
【０４２９】
複数の特徴量それぞれのサブクラス分類により行われるクラス分類を、初期クラスを求めるクラス分類（初期クラス分類）として採用し、マージパターンをリダクション設定により設定する場合には、特徴量のサブクラスをマージすることにより初期クラスをマージしたマージクラスへの変換を行うマージパターンを設定することができる。すなわち、マージパターンは、特徴量のサブクラスをマージすることにより設定することができる。
【０４３０】
例えば、GALFのクラス分類を、初期クラス分類として採用する場合には、傾斜強度比の傾斜強度比サブクラス、directionの方向サブクラス、及び、アクティビティサムのアクティビティサブクラスのマージにより、マージパターンを設定することができる。
【０４３１】
ここで、サブクラスのマージを、サブクラスマージともいう。
【０４３２】
＜サブクラスマージ＞
【０４３３】
図３０は、傾斜強度比サブクラスのサブクラスマージを説明する図である。
【０４３４】
傾斜強度比サブクラスは、元のノンクラス、ウイーククラス、及び、ストロングクラスの3サブクラスのうちのウイーククラスとストロングクラスとを、ハイクラスにサブクラスマージして、全体として、ノンクラスとハイクラスとの2サブクラスにすることができる。さらに、傾斜強度比サブクラスは、ノンクラスとハイクラスとを、N/A(Not Available)クラスにサブクラスマージして、全体として、N/Aクラスだけの1サブクラスにすることができる。傾斜強度比サブクラスを、N/Aクラスだけの1サブクラスにマージすることは、傾斜強度比サブクラス分類を行わないことと等価である。
【０４３５】
なお、傾斜強度比サブクラスとしてのN/Aクラスは、上述のように、ノンクラス及びハイクラスの2サブクラスをマージしたサブクラスであるということができる他、元のノンクラス、ウイーククラス、及び、ストロングクラスの3サブクラスをマージしたサブクラスであるということもできる。
【０４３６】
図３１は、方向サブクラスのサブクラスマージを説明する図である。
【０４３７】
方向サブクラスは、元のD0/D1クラス及びH/Vクラスの2サブクラスを、N/Aクラスにサブクラスマージして、全体として、N/Aクラスだけの1サブクラスにすることができる。方向サブクラスを、N/Aクラスだけの1サブクラスにマージすることは、方向サブクラス分類を行わないことと等価である。
【０４３８】
図３２は、アクティビティサブクラスのサブクラスマージを説明する図である。
【０４３９】
アクティビティサブクラスは、元の、（値が）0のインデクスclass_idxに対応するアクティビティサブクラス0、1のインデクスclass_idxに対応するアクティビティサブクラス1、2ないし6のインデクスclass_idxに対応するアクティビティサブクラス2、7ないし14のインデクスclass_idxに対応するアクティビティサブクラス3、及び、15のインデクスclass_idxに対応するアクティビティサブクラス4の5サブクラスのうちの、例えば、アクティビティサブクラス0と1とを、0及び1のインデクスclass_idxに対応するアクティビティサブクラス0にサブクラスマージして、全体として、0及び1のインデクスclass_idxに対応するアクティビティサブクラス0、2ないし6のインデクスclass_idxに対応するアクティビティサブクラス1、7ないし14のインデクスclass_idxに対応するアクティビティサブクラス2、及び、15のインデクスclass_idxに対応するアクティビティサブクラス3の4サブクラスにマージすることができる。
【０４４０】
さらに、アクティビティサブクラスは、0及び1のインデクスclass_idxに対応するアクティビティサブクラス0、2ないし6のインデクスclass_idxに対応するアクティビティサブクラス1、7ないし14のインデクスclass_idxに対応するアクティビティサブクラス2、及び、15のインデクスclass_idxに対応するアクティビティサブクラス3のうちの、例えば、アクティビティサブクラス0と1とを、0ないし6のインデクスclass_idxに対応するアクティビティサブクラス0にサブクラスマージして、全体として、0ないし6のインデクスclass_idxに対応するアクティビティサブクラス0、7ないし14のインデクスclass_idxに対応するアクティビティサブクラス1、及び、15のインデクスclass_idxに対応するアクティビティサブクラス2の3サブクラスにマージすることができる。
【０４４１】
また、アクティビティサブクラスは、0ないし6のインデクスclass_idxに対応するアクティビティサブクラス0、7ないし14のインデクスclass_idxに対応するアクティビティサブクラス1、及び、15のインデクスclass_idxに対応するアクティビティサブクラス2のうちの、例えば、0ないし6のインデクスclass_idxに対応するアクティビティサブクラス0と、7ないし14のインデクスclass_idxに対応するアクティビティサブクラス1とを、0ないし14のインデクスclass_idxに対応するアクティビティサブクラス0にサブクラスマージして、全体として、0ないし14のインデクスclass_idxに対応するアクティビティサブクラス0、及び、15のインデクスclass_idxに対応するアクティビティサブクラス1の2サブクラスにマージすることができる。
【０４４２】
さらに、アクティビティサブクラスは、0ないし14のインデクスclass_idxに対応するアクティビティサブクラス0と、15のインデクスclass_idxに対応するアクティビティサブクラス1とを、0ないし15のインデクスclass_idxに対応するN/Aクラス（アクティビティサブクラス0）にサブクラスマージして、全体として、0ないし15のインデクスclass_idxに対応するN/Aクラスだけの1サブクラスにマージすることができる。アクティビティサブクラスを、N/Aクラスだけの1サブクラスにマージすることは、アクティビティサブクラス分類を行わないことと等価である。
【０４４３】
なお、3サブクラスにマージされたアクティビティサブクラスについては、0ないし6のインデクスclass_idxに対応するアクティビティサブクラス0は、上述のように、0及び1のインデクスclass_idxに対応するアクティビティサブクラス0と、2ないし6のインデクスclass_idxに対応するアクティビティサブクラス1とをマージしたサブクラスであるということができる他、元のアクティビティサブクラス0ないし2をマージしたサブクラスであるということもできる。2サブクラスにマージされたアクティビティサブクラス、及び、1サブクラスにマージされたアクティビティサブクラスについても同様である。
【０４４４】
また、ここでは、インデクスclass_idxの割り当ての数が少ない、小さいアクティビティを表すアクティビティサブクラス0から、大きいアクティビティを表すアクティビティサブクラス4に向かって、アクティビティサブクラスをマージ（サブクラスマージ）することとしたが、アクティビティサブクラスのサブクラスマージの順番は、これに限定されるものではない。例えば、アクティビティサブクラスのサブクラスマージは、アクティビティサブクラス0と1とをマージし、さらに、アクティビティサブクラス2をマージし、その後、アクティビティサブクラス3と4とをマージし、最後に、N/Aクラスにマージする順番等で行うことができる。
【０４４５】
GALFのクラス分類により得られる初期クラスをマージクラスに変換するマージパターンのリダクション設定では、以上のようなサブクラスマージにより、初期クラスをマージし、マージパターンを設定（生成）することができる。
【０４４６】
図３３は、アクティビティサブクラスのサブクラスマージによる初期クラスのマージの例を示す図である。
【０４４７】
アクティビティサブクラスのサブクラスマージによれば、例えば、図３３に点線で示すように、初期クラステーブルにおいて、各行の横方向の複数の初期クラスがマージされる。
【０４４８】
図３３では、0のインデクスclass_idxに対応するアクティビティサブクラス0と、1のインデクスclass_idxに対応するアクティビティサブクラス1とのサブクラスマージにより、各行の1列目の初期クラスと2列目の初期クラスとがマージされている。
【０４４９】
図３４は、傾斜強度比サブクラスのサブクラスマージによる初期クラスのマージの例を示す図である。
【０４５０】
傾斜強度比サブクラスのサブクラスマージによれば、例えば、図３４に点線で示すように、初期クラステーブルにおいて、各列の2行目及び3行目の初期クラスがマージされるとともに、4行目及び5行目の初期クラスがマージされる。
【０４５１】
図３４では、ウイーククラスとストロングクラスとのサブクラスマージにより、各列の2行目及び3行目の初期クラスがマージされるとともに、4行目及び5行目の初期クラスがマージされている。
【０４５２】
図３５は、方向サブクラスのサブクラスマージによる初期クラスのマージの例を示す図である。
【０４５３】
方向サブクラスのサブクラスマージによれば、例えば、図３５に点線で示すように、初期クラステーブルにおいて、各列の2行目及び4行目の初期クラスがマージされるとともに、3行目及び5行目の初期クラスがマージされる。
【０４５４】
図３５では、D0/D1クラスとH/Vクラスとのサブクラスマージにより、各列の2行目及び4行目の初期クラスがマージされるとともに、3行目及び5行目の初期クラスがマージされている。
【０４５５】
＜サブクラスマージ後のサブクラス数とマージクラス数＞
【０４５６】
図３６は、傾斜強度比サブクラス、方向サブクラス、及び、アクティビティサブクラスのサブクラスマージ後のサブクラス数と、マージクラス数との関係を示す図である。
【０４５７】
すなわち、図３６は、図３０ないし図３２で説明したように、傾斜強度比サブクラスを1ないし3サブクラスのいずれかに、方向サブクラスを1及び2サブクラスのいずれかに、アクティビティサブクラスを1ないし5サブクラスのいずれかに、それぞれサブクラスマージした場合のサブクラスマージ後のサブクラス数と、マージクラス数との関係を示している。
【０４５８】
ここで、例えば、サブクラスマージ後の傾斜強度比サブクラスのサブクラス数が3であることは、傾斜強度比サブクラスのサブクラスマージが行われていないことに等しい。但し、本技術では、サブクラスマージを行わないことは、各サブクラスを、そのサブクラスにマージするサブクラスマージと捉えることとする。初期クラスのマージについても同様である。
【０４５９】
GALFのクラス分類では、図１ないし図３で説明したように、傾斜強度比サブクラスがノンクラスである場合、方向サブクラスは無効となり、方向サブクラスを考慮せずに（方向サブクラスに関係なく）、クラス分類が行われる。
【０４６０】
そのため、サブクラスマージ後の傾斜強度比サブクラス、方向サブクラス、及び、アクティビティサブクラスのサブクラス数が、それぞれ、Na, Nb, Ncであるとすると、マージクラス数は、式Nc×（Nb×（Na−１）＋１）で表される。
【０４６１】
図３０ないし図３２で説明したように、傾斜強度比サブクラスを1ないし3サブクラスのいずれかに、方向サブクラスを1及び2サブクラスのいずれかに、アクティビティサブクラスを1ないし5サブクラスのいずれかに、それぞれサブクラスマージする場合に得ることができるマージパターンは、計算上、サブクラスマージ後のサブクラス数が図３６に示すようになる30パターンある。
【０４６２】
但し、傾斜強度比サブクラスが1サブクラスにサブクラスマージされる場合、マージクラスへのクラス分類は、傾斜強度比（サブクラス）に関係なく行われる。そして、傾斜強度比が大きいのか小さいのか分からないのに、directionをマージクラスへのクラス分類に寄与させると、傾斜強度比が小さい場合に、平坦な画像の画素の画素値の傾斜方向としてのdirectionを考慮して、クラス分類を行うことになる。平坦な画像については、画素値が（ほぼ）傾斜しておらず、そのような平坦な画像について、画素値の傾斜方向を考慮して、マージクラスへのクラス分類を行うと、注目画素が適切なクラスに分類されないこと、すなわち、例えば、同様の特徴を有する画素が、わずかなノイズに起因して、同一のクラス（マージクラス）ではなく、別のクラスに分類されることがある。
【０４６３】
そこで、傾斜強度比サブクラスが1サブクラスにマージされる場合に、D0/D1クラス又はH/Vクラスに分類される方向サブクラス分類、ひいては、そのような方向サブクラス分類により行われるクラス分類となるマージパターン、すなわち、傾斜強度比サブクラスのサブクラス数が1で、方向サブクラスのサブクラス数が2（以上）のサブクラス数に対応するマージパターンは、無効とし、利用しないこと（N/A)とする。
【０４６４】
図３６において、マージクラス数がN/Aとなっている欄は、そのマージクラス数に対応するマージパターンが無効であることを表す。無効なマージパターンは、5パターン存在する。
【０４６５】
したがって、図３０ないし図３２で説明した傾斜強度比サブクラス、方向サブクラス、及び、アクティビティサブクラスのサブクラスマージにより得られるマージパターン、すなわち、傾斜強度比サブクラスを1ないし3サブクラスのいずれかに、方向サブクラスを1及び2サブクラスのいずれかに、アクティビティサブクラスを1ないし5サブクラスのいずれかに、それぞれサブクラスマージする場合に得ることができる有効なマージパターンは、計算上の30パターンから、5パターンの無効なマージパターンを除いた25パターンとなる。
【０４６６】
以上から、サブクラスマージによれば、（有効な）25パターンのマージパターンを設定することができる。
【０４６７】
サブクラスマージに得られる25パターンのマージパターンとしては、サブクラス数が、1, 2, 3, 4, 5, 6, 8, 9, 10, 12, 15, 20, 25のマージパターンがあり、マージクラス数が同一のマージパターンが存在する。
【０４６８】
いま、傾斜強度比サブクラス、方向サブクラス、及び、アクティビティサブクラスのサブクラス数を、それぞれ、Na, Nb, Ncにサブクラスマージした場合に得られるマージパターンを、マージパターン(Na, Nb, Nc)と表すこととする。
【０４６９】
図３６では、例えば、マージパターン(3, 1, 5)及び(2, 2, 5)等が、マージクラス数が（15で）同一のマージパターンになっている。
【０４７０】
本技術では、マージクラス数ごとにマージパターンを設定するため、マージクラス数が同一の複数のマージパターンについては、様々な画像を用いてコストを求め、コストが最小のマージパターンを、そのマージクラス数に対応するマージパターンに選択するマージパターン選択を行うこととする。
【０４７１】
図３７は、サブクラスマージ及びマージパターン選択を行うことにより得られるマージパターンの例を示す図である。
【０４７２】
サブクラスマージ及びマージパターン選択によれば、図３７に示すような、13パターンのマージパターン、すなわち、サブクラス数1, 2, 3, 4, 5, 6, 8, 9, 10, 12, 15, 20, 25それぞれに対応するマージパターンを設定することができる。
【０４７３】
ところで、マージパターンをあらかじめ設定する場合、フィルタ処理の性能、すなわち、フィルタ画像の画質及び符号化効率を向上させる観点から、ある程度のパターン数のマージパターンを設定することが望ましい。
【０４７４】
初期クラス分類として、GALFのクラス分類を採用する場合には、初期クラス分類のクラス数は、25であるので、サブクラス数ごとに、マージパターンを、リダクション設定で設定する場合には、最大で、サブクラス数が1ないし25の25パターンのマージパターンを設定することができる。
【０４７５】
しかしながら、サブクラスマージ及びマージパターン選択により設定することができるマージパターンは、図３７に示したように、サブクラス数1, 2, 3, 4, 5, 6, 8, 9, 10, 12, 15, 20, 25それぞれに対応する13パターンのマージパターンであり、特に、25と20との間や、20と15との間、15と12との間のマージパターン数に対応するマージパターンが欠落する。
【０４７６】
以上のように、サブクラスマージ及びマージパターン選択では欠落するマージパターン数のマージパターンは、サブクラスの一部マージを行うことで補間することができる。サブクラスの一部マージによれば、サブクラスマージ及びマージパターン選択により設定されるマージパターンのマージクラス数25と20との間や、20と15との間、15と12との間等を補間するマージクラス数に対応するマージパターンを設定することができる。
【０４７７】
図３８は、サブクラスの一部マージを説明する図である。
【０４７８】
一部マージとは、初期クラス分類に用いられる１つの特徴量のサブクラスが特定のサブクラスである場合の他の１つの特徴量のサブクラスをマージすることを意味する。
【０４７９】
図３８は、アクティビティサブクラスが0のインデクスclass_idxに対応するアクティビティサブクラス0である場合の傾斜強度比サブクラスをマージする一部マージにより得られるマージパターンを示している。
【０４８０】
傾斜強度比サブクラスのサブクラスマージでは、図３４で説明したように、初期クラステーブルにおいて、各列の2行目及び3行目の初期クラスがマージされるとともに、4行目及び5行目の初期クラスがマージされる。
【０４８１】
一方、アクティビティサブクラスが0のインデクスclass_idxに対応するアクティビティサブクラス0である場合の傾斜強度比サブクラスをマージする一部マージによれば、図３８に示すように、初期クラステーブルにおいて、1列目だけの2行目及び3行目の初期クラス5及び10がマージされるとともに、4行目及び5行目の初期クラス15及び20がマージされる。
【０４８２】
その結果、マージクラス数23に対応するマージパターンを得ることができる。
【０４８３】
図３９は、サブクラスの一部マージを説明する図である。
【０４８４】
すなわち、図３９は、アクティビティサブクラスが0のインデクスclass_idxに対応するアクティビティサブクラス0である場合の傾斜強度比サブクラスをマージする一部マージと、アクティビティサブクラスが1のインデクスclass_idxに対応するアクティビティサブクラス1である場合の傾斜強度比サブクラスをマージする一部マージとにより得られるマージパターンを示している。
【０４８５】
アクティビティサブクラスが0のインデクスclass_idxに対応するアクティビティサブクラス0である場合の傾斜強度比サブクラスをマージする一部マージによれば、図３８で説明したように、初期クラステーブルにおいて、1列目だけの2行目及び3行目の初期クラス5及び10がマージされるとともに、4行目及び5行目の初期クラス15及び20がマージされる。
【０４８６】
また、アクティビティサブクラスが1のインデクスclass_idxに対応するアクティビティサブクラス1である場合の傾斜強度比サブクラスをマージする一部マージによれば、図３９に示すように、初期クラステーブルにおいて、2列目だけの2行目及び3行目の初期クラス6及び11がマージされるとともに、4行目及び5行目の初期クラス16及び21がマージされる。
【０４８７】
その結果、マージクラス数21に対応するマージパターンを得ることができる。
【０４８８】
図４０は、サブクラスの一部マージにより得られるマージパターンの例を示す図である。
【０４８９】
例えば、図３８で説明した一部マージにより、マージクラス数23に対応するマージパターンを得ることができる。
【０４９０】
また、例えば、図３９で説明した一部マージにより、マージクラス数21に対応するマージパターンを得ることができる。
【０４９１】
図３９で説明した一部マージに加え、アクティビティサブクラスが2ないし6のインデクスclass_idxに対応するアクティビティサブクラス2である場合の傾斜強度比サブクラスをマージする一部マージを行うことにより、マージクラス数19に対応するマージパターンを得ることができる。
【０４９２】
さらに加えて、アクティビティサブクラスが7ないし14のインデクスclass_idxに対応するアクティビティサブクラス3である場合の傾斜強度比サブクラスをマージする一部マージを行うことにより、マージクラス数17に対応するマージパターンを得ることができる。
【０４９３】
また、サブクラスマージにより、アクティビティサブクラスを、0及び1のインデクスclass_idxに対応するアクティビティサブクラス0、2ないし6のインデクスclass_idxに対応するアクティビティサブクラス1、7ないし14のインデクスclass_idxに対応するアクティビティサブクラス2、及び、15のインデクスclass_idxに対応するアクティビティサブクラス3の4サブクラスにマージした後、アクティビティサブクラスが0及び1のインデクスclass_idxに対応するアクティビティサブクラス0である場合の傾斜強度比サブクラスをマージする一部マージを行うことにより、マージクラス数18に対応するマージパターンを得ることができる。
【０４９４】
加えて、アクティビティサブクラスが2ないし6のインデクスclass_idxに対応するアクティビティサブクラス1である場合の傾斜強度比サブクラスをマージする一部マージを行うことにより、マージクラス数16に対応するマージパターンを得ることができる。
【０４９５】
さらに加えて、アクティビティサブクラスが7ないし14のインデクスclass_idxに対応するアクティビティサブクラス2である場合の傾斜強度比サブクラスをマージする一部マージを行うことにより、マージクラス数14に対応するマージパターンを得ることができる。
【０４９６】
なお、本実施の形態では、アクティビティサブクラスのサブクラスマージにおいて、図３２に示したように、0のインデクスclass_idxに対応するアクティビティサブクラス0、1のインデクスclass_idxに対応するアクティビティサブクラス1、2ないし6のインデクスclass_idxに対応するアクティビティサブクラス2、7ないし14のインデクスclass_idxに対応するアクティビティサブクラス3、及び、15のインデクスclass_idxに対応するアクティビティサブクラス4のうちの、アクティビティが小さいことを表すアクティビティサブクラス0から、アクティビティが大きいことを表すアクティビティサブクラス4に向かって、アクティビティサブクラスを順番にマージすることにより、マージパターンを得ることとした。
【０４９７】
このようなサブクラスマージとの相関性を、一部マージに持たせるため、一部マージでは、アクティビティサブクラスが、アクティビティが小さいことを表すアクティビティサブクラス0である場合からアクティビティが大きいことを表すアクティビティサブクラス3である場合について、順番に、傾斜強度比サブクラスをマージすることにより、マージクラス数23, 21, 19, 17それぞれに対応するマージパターンを得ることとした。
【０４９８】
但し、マージクラス数23, 21, 19, 17それぞれに対応するマージパターンは、その他、アクティビティサブクラスが、アクティビティが大きいことを表すアクティビティサブクラス4である場合からアクティビティが小さいことを表すアクティビティサブクラス1である場合について、順番に、傾斜強度比サブクラスをマージする一部マージを行うことにより得ることができる。マージクラス数18, 16, 14それぞれに対応するマージパターンについても、同様である。
【０４９９】
また、一部マージについては、アクティビティサブクラス以外のサブクラスが特定のサブクラスである場合の他の１つの特徴量のサブクラスをマージする一部マージを行い、サブクラスマージ及びマージパターン選択により設定されるマージパターンのマージクラス数の間を補間するその他のマージクラス数に対応するマージパターンを得ることができる。
【０５００】
図４１は、サブクラスマージ（及びマージパターン選択）により得られるマージパターンと、一部マージにより得られるマージパターンとの関係の例を示す図である。
【０５０１】
傾斜強度比サブクラス、方向サブクラス、及び、アクティビティサブクラスのサブクラス数を、それぞれ、3, 2, 5にするサブクラスマージ、すなわち、傾斜強度比サブクラス、方向サブクラス、及び、アクティビティサブクラスのサブクラス数を、GALFのクラス分類の元のままとするサブクラスマージによれば、マージクラス数25に対応するマージパターンを得ることができる。
【０５０２】
また、例えば、傾斜強度比サブクラス、方向サブクラス、及び、アクティビティサブクラスのうちの、アクティビティサブクラスのサブクラス数を元の5から4にするサブクラスマージによれば、マージクラス数20に対応するマージパターンを得ることができる。
【０５０３】
さらに、例えば、傾斜強度比サブクラス、方向サブクラス、及び、アクティビティサブクラスのうちの、傾斜強度比サブクラスのサブクラス数を元の3から2にするサブクラスマージによれば、マージクラス数15に対応するマージパターンを得ることができる。
【０５０４】
また、例えば、傾斜強度比サブクラス、方向サブクラス、及び、アクティビティサブクラスのうちの、アクティビティサブクラスのサブクラス数を元の5から4にするとともに、傾斜強度比サブクラスのサブクラス数を元の3から2にするサブクラスマージによれば、マージクラス数12に対応するマージパターンを得ることができる。
【０５０５】
一方、例えば、図３８で説明した一部マージによれば、マージクラス数23に対応するマージパターンを得ることができる。
【０５０６】
また、例えば、図３９で説明した一部マージによれば、マージクラス数21に対応するマージパターンを得ることができる。
【０５０７】
図３９で説明した一部マージに加え、アクティビティサブクラスが2ないし6のインデクスclass_idxに対応するアクティビティサブクラス2である場合の傾斜強度比サブクラスをマージする一部マージを行うことにより、マージクラス数19に対応するマージパターンを得ることができる。
【０５０８】
さらに加えて、アクティビティサブクラスが7ないし14のインデクスclass_idxに対応するアクティビティサブクラス3である場合の傾斜強度比サブクラスをマージする一部マージを行うことにより、マージクラス数17に対応するマージパターンを得ることができる。
【０５０９】
さらに加えて、アクティビティサブクラスが15のインデクスclass_idxに対応するアクティビティサブクラス4である場合の傾斜強度比サブクラスをマージする一部マージを行うことにより、マージクラス数15に対応するマージパターンを得ることができる。このマージクラス数15に対応するマージパターンは、傾斜強度比サブクラスのサブクラス数を元の3から2にするサブクラスマージにより得られるマージクラス数15に対応するマージパターンに一致する。
【０５１０】
図４２は、サブクラスマージにより得られるマージパターンと、一部マージにより得られるマージパターンとの関係の他の例を示す図である。
【０５１１】
図４２において、マージクラス数25, 20, 15, 12に対応するマージパターンは、図４１で説明したサブクラスマージにより得ることができる。
【０５１２】
そして、マージクラス数20に対応するマージパターンを得るサブクラスマージ、すなわち、アクティビティサブクラスを、0及び1のインデクスclass_idxに対応するアクティビティサブクラス0、2ないし6のインデクスclass_idxに対応するアクティビティサブクラス1、7ないし14のインデクスclass_idxに対応するアクティビティサブクラス2、及び、15のインデクスclass_idxに対応するアクティビティサブクラス3の4サブクラスにマージするサブクラスマージを行った後、アクティビティサブクラスが0及び1のインデクスclass_idxに対応するアクティビティサブクラス0である場合の傾斜強度比サブクラスをマージする一部マージを行うことにより、マージクラス数18に対応するマージパターンを得ることができる。
【０５１３】
加えて、アクティビティサブクラスが2ないし6のインデクスclass_idxに対応するアクティビティサブクラス1である場合の傾斜強度比サブクラスをマージする一部マージを行うことにより、マージクラス数16に対応するマージパターンを得ることができる。
【０５１４】
さらに加えて、アクティビティサブクラスが7ないし14のインデクスclass_idxに対応するアクティビティサブクラス2である場合の傾斜強度比サブクラスをマージする一部マージを行うことにより、マージクラス数14に対応するマージパターンを得ることができる。
【０５１５】
さらに加えて、アクティビティサブクラスが15のインデクスclass_idxに対応するアクティビティサブクラス3である場合の傾斜強度比サブクラスをマージする一部マージを行うことにより、マージクラス数12に対応するマージパターンを得ることができる。このマージクラス数12に対応するマージパターンは、アクティビティサブクラスのサブクラス数を元の5から4にするとともに、傾斜強度比サブクラスのサブクラス数を元の3から2にするサブクラスマージにより得られるマージクラス数12に対応するマージパターンに一致する。
【０５１６】
以下、サブクラスマージ（及びマージパターン選択）により設定されるマージクラス数ごとのマージパターン、すなわち、1, 2, 3, 4, 5, 6, 8, 9, 10, 12, 15, 20, 25それぞれに対応する13パターンのマージパターンについて、再度説明する。
【０５１７】
＜サブクラスマージにより設定されるマージクラス数ごとのマージパターン＞
【０５１８】
図４３は、サブクラスマージにより得られるマージクラス数25に対応するマージパターンと、そのマージパターンが得られるサブクラスマージとを示す図である。
【０５１９】
マージクラス数25に対応するマージパターンは、傾斜強度比サブクラスを、ノンクラス、ウイーククラス、及び、ストロングクラスの3サブクラスにサブクラスマージし、方向サブクラスを、D0/D1クラス及びH/Vクラスの2サブクラスにサブクラスマージし、アクティビティサブクラスを、0のインデクスclass_idxに対応するアクティビティサブクラス0、1のインデクスclass_idxに対応するアクティビティサブクラス1、2ないし6のインデクスclass_idxに対応するアクティビティサブクラス2、7ないし14のインデクスclass_idxに対応するアクティビティサブクラス3、及び、15のインデクスclass_idxに対応するアクティビティサブクラス4の5サブクラスにサブクラスマージすることにより得ることができる。
【０５２０】
すなわち、マージクラス数25のマージパターンは、3サブクラスの傾斜強度比サブクラス、2サブクラスの方向サブクラス、5サブクラスのアクティビティサブクラスをそのままとすることにより得ることができる。
【０５２１】
図４４は、サブクラスマージにより得られるマージクラス数20に対応するマージパターンと、そのマージパターンが得られるサブクラスマージとを示す図である。
【０５２２】
マージクラス数20に対応するマージパターンは、傾斜強度比サブクラスを、ノンクラス、ウイーククラス、及び、ストロングクラスの3サブクラスにサブクラスマージし、方向サブクラスを、D0/D1クラス及びH/Vクラスの2サブクラスにサブクラスマージし、アクティビティサブクラスを、0及び1のインデクスclass_idxに対応するアクティビティサブクラス0、2ないし6のインデクスclass_idxに対応するアクティビティサブクラス1、7ないし14のインデクスclass_idxに対応するアクティビティサブクラス2、及び、15のインデクスclass_idxに対応するアクティビティサブクラス3の4サブクラスにサブクラスマージすることにより得ることができる。
【０５２３】
図４５は、サブクラスマージにより得られるマージクラス数15に対応するマージパターンと、そのマージパターンが得られるサブクラスマージとを示す図である。
【０５２４】
マージクラス数15に対応するマージパターンは、傾斜強度比サブクラスを、ノンクラス、及び、ハイクラスの2サブクラスにサブクラスマージし、方向サブクラスを、D0/D1クラス及びH/Vクラスの2サブクラスにサブクラスマージし、アクティビティサブクラスを、0のインデクスclass_idxに対応するアクティビティサブクラス0、1のインデクスclass_idxに対応するアクティビティサブクラス1、2ないし6のインデクスclass_idxに対応するアクティビティサブクラス2、7ないし14のインデクスclass_idxに対応するアクティビティサブクラス3、及び、15のインデクスclass_idxに対応するアクティビティサブクラス4の5サブクラスにサブクラスマージすることにより得ることができる。
【０５２５】
図４６は、サブクラスマージにより得られるマージクラス数12に対応するマージパターンと、そのマージパターンが得られるサブクラスマージとを示す図である。
【０５２６】
マージクラス数12に対応するマージパターンは、傾斜強度比サブクラスを、ノンクラス、及び、ハイクラスの2サブクラスにサブクラスマージし、方向サブクラスを、D0/D1クラス及びH/Vクラスの2サブクラスにサブクラスマージし、アクティビティサブクラスを、0及び1のインデクスclass_idxに対応するアクティビティサブクラス0、2ないし6のインデクスclass_idxに対応するアクティビティサブクラス1、7ないし14のインデクスclass_idxに対応するアクティビティサブクラス2、及び、15のインデクスclass_idxに対応するアクティビティサブクラス3の4サブクラスにサブクラスマージすることにより得ることができる。
【０５２７】
図４７は、サブクラスマージにより得られるマージクラス数10に対応するマージパターンと、そのマージパターンが得られるサブクラスマージとを示す図である。
【０５２８】
マージクラス数10に対応するマージパターンは、傾斜強度比サブクラスを、ノンクラス、及び、ハイクラスの2サブクラスにサブクラスマージし、方向サブクラスを、N/Aクラスの1サブクラスにサブクラスマージし、アクティビティサブクラスを、0のインデクスclass_idxに対応するアクティビティサブクラス0、1のインデクスclass_idxに対応するアクティビティサブクラス1、2ないし6のインデクスclass_idxに対応するアクティビティサブクラス2、7ないし14のインデクスclass_idxに対応するアクティビティサブクラス3、及び、15のインデクスclass_idxに対応するアクティビティサブクラス4の5サブクラスにサブクラスマージすることにより得ることができる。
【０５２９】
図４８は、サブクラスマージにより得られるマージクラス数9に対応するマージパターンと、そのマージパターンが得られるサブクラスマージとを示す図である。
【０５３０】
マージクラス数9に対応するマージパターンは、傾斜強度比サブクラスを、ノンクラス、及び、ハイクラスの2サブクラスにサブクラスマージし、方向サブクラスを、D0/D1クラス及びH/Vクラスの2サブクラスにサブクラスマージし、アクティビティサブクラスを、0ないし6のインデクスclass_idxに対応するアクティビティサブクラス0、7ないし14のインデクスclass_idxに対応するアクティビティサブクラス1、及び、15のインデクスclass_idxに対応するアクティビティサブクラス2の3サブクラスにサブクラスマージすることにより得ることができる。
【０５３１】
図４９は、サブクラスマージにより得られるマージクラス数8に対応するマージパターンと、そのマージパターンが得られるサブクラスマージとを示す図である。
【０５３２】
マージクラス数8に対応するマージパターンは、傾斜強度比サブクラスを、ノンクラス、及び、ハイクラスの2サブクラスにサブクラスマージし、方向サブクラスを、N/Aクラスの1サブクラスにサブクラスマージし、アクティビティサブクラスを、0及び1のインデクスclass_idxに対応するアクティビティサブクラス0、2ないし6のインデクスclass_idxに対応するアクティビティサブクラス1、7ないし14のインデクスclass_idxに対応するアクティビティサブクラス2、及び、15のインデクスclass_idxに対応するアクティビティサブクラス3の4サブクラスにサブクラスマージすることにより得ることができる。
【０５３３】
図５０は、サブクラスマージにより得られるマージクラス数6に対応するマージパターンと、そのマージパターンが得られるサブクラスマージとを示す図である。
【０５３４】
マージクラス数6に対応するマージパターンは、傾斜強度比サブクラスを、ノンクラス、及び、ハイクラスの2サブクラスにサブクラスマージし、方向サブクラスを、N/Aクラスの1サブクラスにサブクラスマージし、アクティビティサブクラスを、0ないし6のインデクスclass_idxに対応するアクティビティサブクラス0、7ないし14のインデクスclass_idxに対応するアクティビティサブクラス1、及び、15のインデクスclass_idxに対応するアクティビティサブクラス2の3サブクラスにサブクラスマージすることにより得ることができる。
【０５３５】
図５１は、サブクラスマージにより得られるマージクラス数5に対応するマージパターンと、そのマージパターンが得られるサブクラスマージとを示す図である。
【０５３６】
マージクラス数5に対応するマージパターンは、傾斜強度比サブクラスを、N/Aクラスの1サブクラスにサブクラスマージし、方向サブクラスを、N/Aクラスの1サブクラスにサブクラスマージし、アクティビティサブクラスを、0のインデクスclass_idxに対応するアクティビティサブクラス0、1のインデクスclass_idxに対応するアクティビティサブクラス1、2ないし6のインデクスclass_idxに対応するアクティビティサブクラス2、7ないし14のインデクスclass_idxに対応するアクティビティサブクラス3、及び、15のインデクスclass_idxに対応するアクティビティサブクラス4の5サブクラスにサブクラスマージすることにより得ることができる。
【０５３７】
図５２は、サブクラスマージにより得られるマージクラス数4に対応するマージパターンと、そのマージパターンが得られるサブクラスマージとを示す図である。
【０５３８】
マージクラス数4に対応するマージパターンは、傾斜強度比サブクラスを、N/Aクラスの1サブクラスにサブクラスマージし、方向サブクラスを、N/Aクラスの1サブクラスにサブクラスマージし、アクティビティサブクラスを、0及び1のインデクスclass_idxに対応するアクティビティサブクラス0、2ないし6のインデクスclass_idxに対応するアクティビティサブクラス1、7ないし14のインデクスclass_idxに対応するアクティビティサブクラス2、及び、15のインデクスclass_idxに対応するアクティビティサブクラス3の4サブクラスにサブクラスマージすることにより得ることができる。
【０５３９】
図５３は、サブクラスマージにより得られるマージクラス数3に対応するマージパターンと、そのマージパターンが得られるサブクラスマージとを示す図である。
【０５４０】
マージクラス数3に対応するマージパターンは、傾斜強度比サブクラスを、N/Aクラスの1サブクラスにサブクラスマージし、方向サブクラスを、N/Aクラスの1サブクラスにサブクラスマージし、アクティビティサブクラスを、0ないし6のインデクスclass_idxに対応するアクティビティサブクラス0、7ないし14のインデクスclass_idxに対応するアクティビティサブクラス1、及び、15のインデクスclass_idxに対応するアクティビティサブクラス2の3サブクラスにサブクラスマージすることにより得ることができる。
【０５４１】
図５４は、サブクラスマージにより得られるマージクラス数2に対応するマージパターンと、そのマージパターンが得られるサブクラスマージとを示す図である。
【０５４２】
マージクラス数2に対応するマージパターンは、傾斜強度比サブクラスを、N/Aクラスの1サブクラスにサブクラスマージし、方向サブクラスを、N/Aクラスの1サブクラスにサブクラスマージし、アクティビティサブクラスを、0ないし14のインデクスclass_idxに対応するアクティビティサブクラス0、及び、15のインデクスclass_idxに対応するアクティビティサブクラス1の2サブクラスにサブクラスマージすることにより得ることができる。
【０５４３】
図５５は、サブクラスマージにより得られるマージクラス数1に対応するマージパターンと、そのマージパターンが得られるサブクラスマージとを示す図である。
【０５４４】
マージクラス数1に対応するマージパターンは、傾斜強度比サブクラスを、N/Aクラスの1サブクラスにサブクラスマージし、方向サブクラスを、N/Aクラスの1サブクラスにサブクラスマージし、アクティビティサブクラスを、N/Aクラス（0ないし1５のインデクスclass_idxに対応するアクティビティサブクラス）の1サブクラスにサブクラスマージすることにより得ることができる。
【０５４５】
＜本技術を適用したクラス分類予測フィルタの構成例＞
【０５４６】
図５６は、本技術を適用したクラス分類予測フィルタの構成例を示すブロック図である。
【０５４７】
クラス分類予測フィルタ１１０では、クラス分類予測処理が行われる。クラス分類予測処理では、所定のクラス分類が行われ、その所定のクラス分類により得られる初期クラスがマージクラスに変換される。そして、マージクラスのタップ係数を用いた予測式を適用する予測処理としてのフィルタ処理が行われる。
【０５４８】
図５６において、クラス分類予測フィルタ１１０は、クラス分類部１１１、マージ変換部１１２、タップ係数取得部１１３、及び、予測部１１４を有する。
【０５４９】
クラス分類部１１１及び予測部１１４には、フィルタ処理の対象となる対象画像（例えば、復号画像）が供給される。
【０５５０】
クラス分類部１１１は、対象画像の画素を、順次、注目画素に選択する。クラス分類部１１１は、注目画素に対して、複数の特徴量それぞれのサブクラス分類により行われる初期クラス分類としての、例えば、GALFのクラス分類等を行うことにより、注目画素の初期クラスを求め、マージ変換部１１２に供給する。
【０５５１】
マージ変換部１１２は、クラス分類部１１１からの注目画素の初期クラスを、マージクラス数ごとにあらかじめ設定されたマージパターンに従って、サブクラス分類のサブクラスをマージ（サブクラスマージ）することにより初期クラスをマージしたマージクラスに変換する。すなわち、マージ変換部１１２は、例えば、傾斜強度比サブクラス、方向サブクラス、及び、アクティビティサブクラスのサブクラスマージと、必要な一部マージとによりマージクラス数ごとにあらかじめ設定されたマージパターンを記憶している。そして、マージ変換部１１２は、マージクラス数ごとにあらかじめ設定されたマージパターンのうちの、採用マージクラス数に対応するマージパターンに従って、注目画素の初期クラスを、マージクラスに変換する。マージ変換部１１２は、注目画素のマージクラスを、タップ係数取得部１１３に供給する。
【０５５２】
タップ係数取得部１１３は、マージクラスごとのタップ係数を記憶しており、マージ変換部１１２からの注目画素のマージクラスに応じて、注目画素の予測処理としてのフィルタ処理に用いるタップ係数を取得する。
【０５５３】
すなわち、タップ係数取得部１１３は、マージクラスごとのタップ係数（採用マージクラス数分のタップ係数）の中から、マージ変換部１１２からの注目画素のマージクラスのタップ係数を選択し、予測部１１４に供給する。
【０５５４】
予測部１１４は、対象画像に、タップ係数取得部１１３からの注目画素のマージクラスのタップ係数を用いた予測式を適用する予測処理としてのフィルタ処理を行い、そのフィルタ処理により生成されるフィルタ画像を出力する。
【０５５５】
すなわち、予測部１１４は、対象画像の画素のうちの、例えば、注目画素の近傍の複数の画素を、注目画素の予測タップとして選択する。さらに、予測部１１４は、対象画像に、注目画素のクラスのタップ係数で構成される予測式を適用する予測処理を行うことにより、すなわち、注目画素の予測タップとしての画素（の画素値）xnと、注目画素のマージクラスのタップ係数wnとで構成される予測式y'=Σwnxnを演算することにより、注目画素に対する所定の画像（教師画像に相当する画像）（例えば、復号画像に対する元画像）の画素（の画素値）の予測値y'を求める。そして、予測部１１４は、その予測値y'を画素値とする画像を生成し、フィルタ画像として出力する。
【０５５６】
クラス分類予測フィルタ１１０において、採用マージクラス数、及び、タップ係数取得部１１３に記憶させるマージクラスごとのタップ係数は、外部からクラス分類予測フィルタ１１０に供給することができる。
【０５５７】
また、クラス分類予測フィルタ１１０には、タップ係数学習を行う学習部１２１を内蔵させることができる。タップ係数学習を行う機能を学習機能ということとすると、学習部１２１を有するクラス分類予測フィルタ１１０は、学習機能付きのクラス分類予測フィルタ１１０であるということができる。
【０５５８】
学習部１２１では、教師画像及び生徒画像を用いて、マージクラスごとのタップ係数を求め、タップ係数取得部１１３に記憶させることができる。さらに、学習部１２１では、採用マージクラス数を決定し、マージ変換部１１２に供給することができる。
【０５５９】
クラス分類予測フィルタ１１０が、符号化装置に適用される場合、教師画像として、符号化対象の元画像を採用するとともに、生徒画像として、元画像を符号化して局所復号することにより得られる復号画像を採用することができる。
【０５６０】
学習部１２１は、生徒画像としての復号画像を用いて、クラス分類部１１１と同様のクラス分類を行い、そのクラス分類により得られる初期クラスごとに、タップ係数と予測タップとで構成される予測式により求められる教師画像の予測値の予測誤差を統計的に最小にするタップ係数を最小自乗法により求めるタップ係数学習を行う。
【０５６１】
また、学習部１２１は、マージ変換部１１２が記憶している、あらかじめ設定されたマージクラス数ごとのマージパターンと同一のマージパターンとしての複数のマージクラス数それぞれに対応するマージパターンを記憶している。学習部１２１は、あらかじめ設定された複数のマージクラス数に対応するマージパターンそれぞれを用いて、採用マージクラス数決定処理（図８）と同様の処理を行うことにより、あらかじめマージパターンが設定された複数のマージクラス数のうちの、コスト（例えば、図８のステップＳ６７で求められるコストdist+lambda×coeffBit）が最小になるマージクラス数を、採用マージクラス数に決定する。
【０５６２】
さらに、学習部１２１は、採用マージクラス数決定処理（図８）で採用マージクラス数を決定するコストを求めるためのフィルタ処理であるステップＳ６４の処理を行う前のステップＳ６３において、マージパターン決定処理（図５）のステップＳ３６及びＳ３７と同様の処理を行うことにより、マージクラスごとのタップ係数を求める。
【０５６３】
学習部１２１は、採用マージクラス数を、マージ変換部１１２に供給し、採用マージクラス数のマージクラスごとのタップ係数を、タップ係数取得部１１３に供給する。
【０５６４】
マージ変換部１１２は、あらかじめ設定された複数のマージクラス数それぞれに対応するマージパターンのうちの、そこに供給される採用マージクラス数に対応するマージパターンに従って、クラス分類部１１１からの注目画素の初期クラスをマージクラスに変換する。
【０５６５】
マージ変換部１１２や学習部１２１に記憶された複数のマージクラス数それぞれに対応するマージパターンは、マージクラス数ごとに設定されたマージパターンであるので、マージクラス数によって、マージパターンを一意に特定することができる。
【０５６６】
クラス分類予測フィルタ１１０は、マージクラス数と、そのマージクラス数に対応するマージパターンとしてあらかじめ設定されたマージパターンとを対応付けておくことを前提とする。
【０５６７】
いま、マージクラス数と、そのマージクラス数に対応するマージパターンとしてあらかじめ設定されたマージパターンとを対応付けた情報を、マージ情報ということとする。
【０５６８】
本技術を適用した符号化装置及び復号装置は、マージ情報を共有する。そして、符号化装置は、複数のマージクラス数から、採用マージクラス数を決定し、復号装置に伝送する。復号装置は、符号化装置からの採用マージクラス数からマージパターンを特定する。そして、復号装置は、初期クラス分類を行い、その初期クラス分類により得られる初期クラスを、採用マージクラス数から特定されるマージパターン（採用マージクラス数に対応するマージパターン）に従って、マージクラスに変換する。
【０５６９】
図５７は、図５６のクラス分類予測フィルタ１１０が行うクラス分類予測処理の例を説明するフローチャートである。
【０５７０】
ステップＳ１１１において、クラス分類部１１１は、対象画像としての復号画像の、注目画素に選択すべき画素を、順次、注目画素に選択し、処理は、ステップＳ１１２に進む。
【０５７１】
ステップＳ１１２では、クラス分類部１１１は、注目画素の初期クラス分類を行い、注目画素の初期クラスを求める。クラス分類部１１１は、注目画素の初期クラスを、マージ変換部１１２に供給して、処理は、ステップＳ１１２からステップＳ１１３に進む。
【０５７２】
ステップＳ１１３では、マージ変換部１１２は、採用マージクラス数に対応するマージパターンに従って、クラス分類部１１１からの注目画素の初期クラスをマージクラスに変換する。マージ変換部１１２は、注目画素のマージクラスを、タップ係数取得部１１３に供給し、処理は、ステップＳ１１３からステップＳ１１４に進む。
【０５７３】
ステップＳ１１４では、タップ係数取得部１１３は、マージクラスごとのタップ係数の中から、マージ変換部１１２からの注目画素のマージクラスのタップ係数を取得し、処理は、ステップＳ１１５に進む。
【０５７４】
ステップＳ１１５では、予測部１１４は、復号画像に、タップ係数取得部１１３からの注目画素のマージクラスのタップ係数で構成される予測式を適用する予測処理としてのフィルタ処理を行う。
【０５７５】
すなわち、予測部１１４は、復号画像から、注目画素の予測タップとなる画素を選択し、その予測タップ及び注目画素のマージクラスのタップ係数を用いて構成される１次予測式を演算することにより、注目画素に対する元画像の画素（の画素値）の予測値を求める。そして、予測部１１４は、その予測値を画素値とする画像を生成し、フィルタ画像として出力して、クラス分類予測処理は終了する。
【０５７６】
＜本技術を適用した画像処理システムの一実施の形態＞
【０５７７】
図５８は、本技術を適用した画像処理システムの一実施の形態の概要を示すブロック図である。
【０５７８】
図５８において、画像処理システムは、符号化装置１６０及び復号装置１７０を有する。
【０５７９】
符号化装置１６０は、符号化部１６１、局所復号部１６２、及び、フィルタ部１６３を有する。
【０５８０】
符号化部１６１には、符号化対象の画像である元画像（データ）が供給されるとともに、フィルタ部１６３からフィルタ画像が供給される。
【０５８１】
符号化部１６１は、フィルタ部１６３からのフィルタ画像を用いて、元画像を、例えば、Quad-Tree Block Structure、又は、QTBT(Quad Tree Plus Binary Tree) Block StructureのCU等の所定のブロック単位で（予測）符号化し、その符号化により得られる符号化データを、局所復号部１６２に供給する。
【０５８２】
すなわち、符号化部１６１は、フィルタ部１６３からのフィルタ画像の動き補償を行って得られる元画像の予測画像を、元画像から減算し、その結果得られる残差を符号化する。
【０５８３】
符号化部１６１には、フィルタ部１６３からフィルタ情報が供給される。
【０５８４】
符号化部１６１は、符号化データと、フィルタ部１６３からのフィルタ情報とを含む符号化ビットストリームを生成して伝送（送信）する。
【０５８５】
局所復号部１６２には、符号化部１６１から符号化データが供給される他、フィルタ部１６３からフィルタ画像が供給される。
【０５８６】
局所復号部１６２は、符号化部１６１からの符号化データの局所復号を、フィルタ部１６３からのフィルタ画像を用いて行い、その結果得られる（局所）復号画像を、フィルタ部１６３に供給する。
【０５８７】
すなわち、局所復号部１６２は、符号化部１６１からの符号化データを残差に復号し、その残差に、フィルタ部１６３からのフィルタ画像の動き補償を行って得られる元画像の予測画像を加算することで、元画像を復号した復号画像（局所復号画像）を生成する。
【０５８８】
フィルタ部１６３は、例えば、学習機能付きのクラス分類予測フィルタ１１０（図５６）と同様に構成され、クラス分類部１６４及びマージ変換部１６５を含む。
【０５８９】
フィルタ部１６３は、局所復号部１６２からの復号画像、及び、その復号画像に対する元画像を、生徒画像及び教師画像として用いてタップ係数学習を行い、クラスごとのタップ係数を求める。
【０５９０】
また、フィルタ部１６３は、複数のマージクラス数それぞれごとにあらかじめ設定されたマージパターンを用いて、採用マージクラス数決定処理（図８）と同様の処理を行うことにより、あらかじめマージパターンが設定された複数のマージクラス数のうちの、コストが最小になるマージクラス数を、採用マージクラス数に決定する。
【０５９１】
さらに、フィルタ部１６３は、採用マージクラス数を決定するにあたり、タップ係数学習で求められた正規方程式（のX行列及びYベクトル）を利用して、マージパターン決定処理（図５）のステップＳ３６及びＳ３７と同様の処理を行うことにより、採用マージクラス数のマージクラスごとのタップ係数を求める。
【０５９２】
そして、フィルタ部１６３は、クラス分類部１６４において、局所復号部１６２からの復号画像を用いて、複数の特徴量のサブクラス分類により行われる初期クラス分類としての、例えば、GALFのクラス分類等を行い、注目画素の初期クラスを求める。さらに、フィルタ部１６３は、マージ変換部１６５において、採用マージクラス数に対応するマージパターンに従って、注目画素の初期クラスを、サブクラス分類のサブクラスをマージすることにより初期クラスをマージしたマージクラスに変換する。そして、フィルタ部１６３は、マージ変換部１６５の変換により得られる注目画素のマージクラスのタップ係数と復号画像の画素との積和演算を行う予測式を復号画像に適用する予測処理としてのフィルタ処理を行う。
【０５９３】
フィルタ部１６３は、フィルタ処理により得られるフィルタ画像を、符号化部１６１及び局所復号部１６２に供給する。さらに、フィルタ部１６３は、採用マージクラス数、及び、その採用マージクラス数のマージクラスごとのタップ係数を、フィルタ情報として、符号化部１６１に供給する。
【０５９４】
なお、ここでは、符号化装置１６０において、あらかじめマージパターンが設定された複数のマージクラス数のうちの、コストが最小になるマージクラス数を、採用マージクラス数に決定することとしたが、採用マージクラス数は、あらかじめマージパターンが設定された複数のマージクラス数のうちの、特定のマージパターンのマージクラス数を、採用マージクラス数にあらかじめ決定しておくことができる。この場合、採用マージクラス数を決定するために、コストを求める必要がないので、符号化装置１６０の処理量を削減することができる。
【０５９５】
以上のように、採用マージクラス数をあらかじめ決定しておくことは、例えば、特に、符号化装置１６０の性能が高くない場合に有効である。
【０５９６】
復号装置１７０は、パース部１７１、復号部１７２、及び、フィルタ部１７３を有する。
【０５９７】
パース部１７１は、符号化装置１６０が伝送する符号化ビットストリームを受信してパースを行い、そのパースにより得られるフィルタ情報を、フィルタ部１７３に供給する。さらに、パース部１７１は、符号化ビットストリームに含まれる符号化データを、復号部１７２に供給する。
【０５９８】
復号部１７２には、パース部１７１から符号化データが供給される他、フィルタ部１７３からフィルタ画像が供給される。
【０５９９】
復号部１７２は、パース部１７１からの符号化データの復号を、フィルタ部１７３からのフィルタ画像を用いて、例えば、符号化部１６１と同様に、CU等の所定のブロック単位で行い、その結果得られる復号画像を、フィルタ部１７３に供給する。
【０６００】
すなわち、復号部１７２は、局所復号部１６２と同様に、パース部１７１からの符号化データを残差に復号し、その残差に、フィルタ部１７３からのフィルタ画像の動き補償を行って得られる元画像の予測画像を加算することで、元画像を復号した復号画像を生成する。
【０６０１】
フィルタ部１７３は、例えば、学習機能付きでないクラス分類予測フィルタ１１０（図５６）と同様に構成され、クラス分類部１７４及びマージ変換部１７５を含む。
【０６０２】
フィルタ部１７３は、復号部１７２からの復号画像に、フィルタ部１６３と同様のフィルタ処理を行い、フィルタ画像を生成して、復号部１７２に供給する。
【０６０３】
すなわち、フィルタ部１７３は、クラス分類部１７４において、復号部１７２からの復号画像を用いて、クラス分類部１６４と同一の初期クラス分類を行い、注目画素の初期クラスを求める。さらに、フィルタ部１７３は、マージ変換部１７５において、パース部１７１からのフィルタ情報に含まれる採用マージクラス数に対応するマージパターンに従って、注目画素の初期クラスを、サブクラス分類のサブクラスをマージ（サブクラスマージ）することにより初期クラスをマージしたマージクラスに変換する。そして、フィルタ部１７３は、マージ変換部１７５の変換により得られる注目画素のマージクラスのタップ係数と復号画像の画素との積和演算を行う予測式を復号画像に適用する予測処理としてのフィルタ処理を行う。フィルタ処理に用いられる注目画素のマージクラスのタップ係数は、パース部１７１からのフィルタ情報に含まれるマージクラスごとのタップ係数から取得される。
【０６０４】
フィルタ部１７３は、フィルタ処理により得られるフィルタ画像を、復号部１７２に供給するとともに、元画像を復号した最終的な復号画像として出力する。
【０６０５】
図５９は、図５８の符号化装置１６０の符号化処理の概要を説明するフローチャートである。
【０６０６】
図５９のフローチャートに従った処理は、例えば、フレーム（ピクチャ）単位で行われる。
【０６０７】
ステップＳ１６１において、符号化部１６１（図５８）は、フィルタ部１６３からのフィルタ画像を用いて、元画像を（予測）符号化し、その符号化により得られる符号化データを、局所復号部１６２に供給して、処理は、ステップＳ１６２に進む。
【０６０８】
ステップＳ１６２では、局所復号部１６２は、符号化部１６１からの符号化データの局所復号を、フィルタ部１６３からのフィルタ画像を用いて行い、その結果得られる（局所）復号画像を、フィルタ部１６３に供給して、処理は、ステップＳ１６３に進む。
【０６０９】
ステップＳ１６３では、フィルタ部１６３は、局所復号部１６２からの復号画像、及び、その復号画像に対する元画像を、生徒画像及び教師画像として用いてタップ係数学習を行い、初期クラスごとのタップ係数を求め、処理は、ステップＳ１６４に進む。
【０６１０】
ステップＳ１６４では、フィルタ部１６３は、あらかじめマージパターンが設定された複数のマージクラス数それぞれについて、マージクラス数に対応するマージパターンに従った初期クラスのマージを行い、初期クラスごとのタップ係数を求めるタップ係数学習で得られた正規方程式（のX行列及びYベクトル）を利用して、初期クラスを、マージクラス数に対応するマージパターンに従ってマージしたマージクラスごとのタップ係数を、図５のステップＳ３６及びＳ３７で説明したようにして求める。さらに、フィルタ部１６３は、マージクラスごとのタップ係数を用いて、コストが最小になるマージクラス数を、採用マージクラス数に決定し、処理は、ステップＳ１６４からステップＳ１６５に進む。
【０６１１】
ステップＳ１６５では、フィルタ部１６３のクラス分類部１６４は、局所復号部１６２からの復号画像の注目画素の初期クラス分類を行い、処理は、ステップＳ１６６に進む。
【０６１２】
ステップＳ１６６では、フィルタ部１６３のマージ変換部１６５は、クラス分類部１６４のクラス分類により得られる注目画素の初期クラスを、採用マージクラス数に対応するマージパターンに従って、マージクラスに変換し、処理は、ステップＳ１６７に進む。
【０６１３】
ステップＳ１６７では、フィルタ部１６３は、ステップＳ１６４で求められたマージクラスごとのタップ係数のうちの、注目画素のマージクラスのタップ係数と復号画像の画素との積和演算を行う予測式を復号画像に適用する予測処理としてのフィルタ処理を行い、フィルタ画像を生成する。フィルタ画像は、フィルタ部１６３から、符号化部１６１及び局所復号部１６２に供給される。フィルタ部１６３から符号化部１６１及び局所復号部１６２に供給されるフィルタ画像は、次のフレームを対象として行われるステップＳ１６１及びＳ１６２の処理で用いられる。
【０６１４】
また、フィルタ部１６３は、採用マージクラス数、及び、マージクラスごとのタップ係数を、フィルタ情報として、符号化部１６１に供給する。
【０６１５】
その後、処理は、ステップＳ１６７からステップＳ１６８に進み、符号化部１６１は、ステップＳ１６１で得られた符号化データと、フィルタ部１６３で得られたフィルタ情報としての採用マージクラス数、及び、マージクラスごとのタップ係数とを含む符号化ビットストリームを生成して伝送する。
【０６１６】
図６０は、図５８の復号装置１７０の復号処理の概要を説明するフローチャートである。
【０６１７】
図６０のフローチャートに従った処理は、例えば、図５９の符号化処理と同様に、フレーム単位で行われる。
【０６１８】
ステップＳ１８１において、パース部１７１（図５８）は、符号化装置１６０から伝送されてくる符号化ビットストリームを受信し、符号化ビットストリームに含まれるフィルタ情報としての採用マージクラス数、及び、マージクラスごとのタップ係数をパースして、フィルタ部１７３に供給する。さらに、パース部１７１は、符号化ビットストリームに含まれる符号化データを、復号部１７２に供給し、処理は、ステップＳ１８１からステップＳ１８２に進む。
【０６１９】
ステップＳ１８２では、復号部１７２は、パース部１７１からの符号化データの復号を、フィルタ部１７３からのフィルタ画像を用いて行い、その結果得られる復号画像を、フィルタ部１７３に供給して、処理は、ステップＳ１８３に進む。
【０６２０】
ステップＳ１８３では、フィルタ部１７３のクラス分類部１７４は、復号部１７２からの復号画像の注目画素に対して、初期クラス分類を行い、処理は、ステップＳ１８４に進む。
【０６２１】
ステップＳ１８４では、フィルタ部１７３のマージ変換部１７５は、クラス分類部１７４のクラス分類により得られる注目画素の初期クラスを、パース部１７１からの採用マージクラス数に対応するマージパターンに従って、マージクラスに変換し、処理は、ステップＳ１８５に進む。
【０６２２】
ステップＳ１８５では、フィルタ部１７３は、パース部１７１からのマージクラスごとのタップ係数を用いて、復号部１７２からの復号画像に、クラス分類予測処理としてのフィルタ処理を行い、フィルタ画像を生成する。
【０６２３】
すなわち、フィルタ部１７３は、パース部１７１からのマージクラスごとのタップ係数のうちの、注目画素のマージクラスのタップ係数と復号画像の画素との積和演算を行う予測式を復号画像に適用する予測処理としてのフィルタ処理を行い、フィルタ画像を生成する。
【０６２４】
フィルタ画像は、フィルタ部１７３から復号部１７２に供給されるとともに、元画像を復号した最終的な復号画像として出力される。
【０６２５】
フィルタ部１７３から復号部１７２に供給されるフィルタ画像は、復号画像の次のフレームを対象として行われるステップＳ１８２の処理で用いられる。
【０６２６】
なお、ここでは、初期クラスをマージクラスに変換するマージパターン（採用マージパターン）をシグナリングする方法として、採用マージクラス数を符号化ビットストリームに含めて伝送する方法を採用したが、採用マージパターンをシグナリングする方法としては、GALFの場合と同様に、採用マージクラス数とともに、又は、採用マージクラス数に代えて、採用マージパターンを、符号化ビットストリームに含めて伝送する方法を採用することができる。但し、採用マージクラス数を伝送する方が、採用マージパターンを伝送する場合よりも、オーバーヘッドを小さくすることができる。一方、採用マージパターンを伝送する場合には、GALFのクラス分類と同様のシンタクスを採用することができる。
【０６２７】
＜符号化装置１６０の構成例＞
【０６２８】
図６１は、図５８の符号化装置１６０の詳細な構成例を示すブロック図である。
【０６２９】
なお、以下説明するブロック図については、図が煩雑になるのを避けるため、各ブロックの処理で必要となる情報（データ）を供給する線の記載を、適宜省略する。
【０６３０】
図６１において、符号化装置１６０は、A/D変換部２０１、並べ替えバッファ２０２、演算部２０３、直交変換部２０４、量子化部２０５、可逆符号化部２０６、及び、蓄積バッファ２０７を有する。さらに、符号化装置１６０は、逆量子化部２０８、逆直交変換部２０９、演算部２１０、ILF２１１、フレームメモリ２１２、選択部２１３、イントラ予測部２１４、動き予測補償部２１５、予測画像選択部２１６、及び、レート制御部２１７を有する。
【０６３１】
A/D変換部２０１は、アナログ信号の元画像を、ディジタル信号の元画像にA/D変換し、並べ替えバッファ２０２に供給して記憶させる。
【０６３２】
並べ替えバッファ２０２は、元画像のフレームを、GOP（Group Of Picture）に応じて、表示順から符号化（復号）順に並べ替え、演算部２０３、イントラ予測部２１４、動き予測補償部２１５、及び、ILF２１１に供給する。
【０６３３】
演算部２０３は、並べ替えバッファ２０２からの元画像から、予測画像選択部２１６を介してイントラ予測部２１４又は動き予測補償部２１５から供給される予測画像を減算し、その減算により得られる残差（予測残差）を、直交変換部２０４に供給する。
【０６３４】
例えば、インター符号化が行われる画像の場合、演算部２０３は、並べ替えバッファ２０２から読み出された元画像から、動き予測補償部２１５から供給される予測画像を減算する。
【０６３５】
直交変換部２０４は、演算部２０３から供給される残差に対して、離散コサイン変換やカルーネン・レーベ変換等の直交変換を施す。なお、この直交変換の方法は任意である。直交変換部２０４は、直交交換により得られる直交変換係数を量子化部２０５に供給する。
【０６３６】
量子化部２０５は、直交変換部２０４から供給される直交変換係数を量子化する。量子化部２０５は、レート制御部２１７から供給される符号量の目標値（符号量目標値）に基づいて量子化パラメータQPを設定し、直交変換係数の量子化を行う。なお、この量子化の方法は任意である。量子化部２０５は、量子化された直交変換係数である符号化データを、可逆符号化部２０６に供給する。
【０６３７】
可逆符号化部２０６は、量子化部２０５からの符号化データとしての量子化された直交変換係数を所定の可逆符号化方式で符号化する。直交変換係数は、レート制御部２１７の制御の下で量子化されているので、可逆符号化部２０６の可逆符号化により得られる符号化ビットストリームの符号量は、レート制御部２１７が設定した符号量目標値となる（又は符号量目標値に近似する）。
【０６３８】
また、可逆符号化部２０６は、符号化装置１６０での予測符号化に関する符号化情報のうちの、復号装置１７０での復号に必要な符号化情報を、各ブロックから取得する。
【０６３９】
ここで、符号化情報としては、例えば、イントラ予測やインター予測の予測モード、動きベクトル等の動き情報、符号量目標値、量子化パラメータQP、ピクチャタイプ(I,P,B)、CU(Coding Unit)やCTU(Coding Tree Unit)の情報等がある。
【０６４０】
例えば、予測モードは、イントラ予測部２１４や動き予測補償部２１５から取得することができる。また、例えば、動き情報は、動き予測補償部２１５から取得することができる。
【０６４１】
可逆符号化部２０６は、符号化情報を取得する他、ILF２１１から、そのILF２１１でのフィルタ処理に関するフィルタ情報としてのクラスごとのタップ係数を取得する。
【０６４２】
可逆符号化部２０６は、符号化情報及びフィルタ情報を、例えば、CAVLC（Context-Adaptive Variable Length Coding）やCABAC（Context-Adaptive Binary Arithmetic Coding）等の可変長符号化又は算術符号化その他の可逆符号化方式で符号化し、符号化後の符号化情報及びフィルタ情報、及び、量子化部２０５からの符号化データを含む符号化ビットストリームを生成して、蓄積バッファ２０７に供給する。
【０６４３】
蓄積バッファ２０７は、可逆符号化部２０６から供給される符号化ビットストリームを、一時的に蓄積する。蓄積バッファ２０７に蓄積された符号化ビットストリームは、所定のタイミングで読み出されて伝送される。
【０６４４】
量子化部２０５において量子化された直交変換係数である符号化データは、可逆符号化部２０６に供給される他、逆量子化部２０８にも供給される。逆量子化部２０８は、量子化された直交変換係数を、量子化部２０５による量子化に対応する方法で逆量子化し、その逆量子化により得られる直交変換係数を、逆直交変換部２０９に供給する。
【０６４５】
逆直交変換部２０９は、逆量子化部２０８から供給される直交変換係数を、直交変換部２０４による直交変換処理に対応する方法で逆直交変換し、その逆直交変換の結果得られる残差を、演算部２１０に供給する。
【０６４６】
演算部２１０は、逆直交変換部２０９から供給される残差に、予測画像選択部２１６を介してイントラ予測部２１４又は動き予測補償部２１５から供給される予測画像を加算し、これにより、元画像を復号した復号画像（の一部）を得て出力する。
【０６４７】
演算部２１０が出力する復号画像は、ILF２１１に供給される。
【０６４８】
ILF２１１は、例えば、学習機能付きのクラス分類予測フィルタ１１０（図５６）と同様に構成され、クラス分類予測処理としてのフィルタ処理を行うことで、デブロッキングフィルタ、適応オフセットフィルタ、バイラテラルフィルタ、ALFのうちの１つ、又は、２以上のフィルタとして機能する。ILF２１１を、デブロッキングフィルタ、適応オフセットフィルタ、バイラテラルフィルタ、及び、ALFのうちの２以上のフィルタとして機能させる場合、その２以上のフィルタの配置順は任意である。
【０６４９】
ILF２１１には、演算部２１０から復号画像が供給される他、並べ替えバッファ２０２から、復号画像に対する元画像が供給される。
【０６５０】
ILF２１１は、複数のマージクラス数と、マージクラス数ごとにあらかじめ設定されたマージパターンとを対応付けたマージ情報を記憶している。
【０６５１】
ILF２１１は、例えば、演算部２１０からの復号画像、及び、並べ替えバッファ２０２からの元画像を、それぞれ生徒画像及び教師画像として用いて、タップ係数学習を行い、初期クラスごとのタップ係数を求める。タップ係数学習では、生徒画像としての復号画像を用いて、初期クラス分類が行われ、その初期クラス分類により得られる初期クラスごとに、タップ係数と予測タップとで構成される予測式により求められる教師画像としての元画像の予測値の予測誤差を統計的に最小にするタップ係数が、最小自乗法により求められる。
【０６５２】
ILF２１１は、マージ情報に含まれる複数のマージクラス数それぞれに対応するマージパターンを用いて、採用マージクラス数決定処理（図８）と同様の処理を行うことにより、マージ情報に含まれる複数のマージクラス数のうちの、コスト（例えば、図８のステップＳ６７で求められるコストdist+lambda×coeffBit）が最小になるマージクラス数を、採用マージクラス数に決定する。
【０６５３】
なお、ILF２１１において、採用マージクラス数決定処理（図８）で採用マージクラス数を決定するコストを求めるためのフィルタ処理であるステップＳ６４の処理を行う前のステップＳ６３では、マージパターン決定処理（図５）のステップＳ３６及びＳ３７と同様に、タップ係数学習で初期クラスごとのタップ係数を求めるときにたてられる正規方程式（のX行列及びYベクトル）を利用して、マージ情報に含まれる複数のマージクラス数それぞれについて、マージクラスごとのタップ係数が求められる。
【０６５４】
ILF２１１は、採用マージクラス数と、採用マージクラス数のマージクラスごとのタップ係数とを、フィルタ情報として、可逆符号化部２０６に供給する。
【０６５５】
また、ILF２１１は、例えば、演算部２１０からの復号画像の画素を、順次、注目画素に選択する。ILF２１１は、注目画素に対して、初期クラス分類を行い、注目画素の初期クラスを求める。
【０６５６】
さらに、ILF２１１は、注目画素の初期クラスを、採用マージクラス数に対応するマージパターンに従って、マージクラスに変換する。ILF２１１は、採用マージクラス数に対応するマージパターンに従った変換により得られるマージクラスごとのタップ係数のうちの、注目画素のマージクラスのタップ係数を取得する（読み出す）。そして、ILF２１１は、復号画像から、注目画素の近傍の画素を予測タップとして選択し、注目画素のマージクラスのタップ係数と予測タップとしての復号画像の画素との積和演算を行う予測式を復号画像に適用する予測処理としてのフィルタ処理を行い、フィルタ画像を生成する。なお、ILF２１１でのクラス分類では、例えば、復号画像の2×2画素の左上の画素のクラス分類で得られたクラスを、その2×2画素それぞれのクラスとして採用することができる。
【０６５７】
ILF２１１で生成されたフィルタ画像は、フレームメモリ２１２に供給される。
【０６５８】
フレームメモリ２１２は、ILF２１１から供給されるフィルタ画像を一時記憶する。フレームメモリ２１２に記憶されたフィルタ画像は、必要なタイミングで、予測画像の生成に用いられる参照画像として、選択部２１３に供給される。
【０６５９】
選択部２１３は、フレームメモリ２１２から供給される参照画像の供給先を選択する。例えば、イントラ予測部２１４においてイントラ予測が行われる場合、選択部２１３は、フレームメモリ２１２から供給される参照画像を、イントラ予測部２１４に供給する。また、例えば、動き予測補償部２１５においてインター予測が行われる場合、選択部２１３は、フレームメモリ２１２から供給される参照画像を、動き予測補償部２１５に供給する。
【０６６０】
イントラ予測部２１４は、並べ替えバッファ２０２から供給される元画像と、選択部２１３を介してフレームメモリ２１２から供給される参照画像とを用い、例えば、PU(Prediction Unit)を処理単位として、イントラ予測（画面内予測）を行う。イントラ予測部２１４は、所定のコスト関数（例えば、RDコスト等）に基づいて、最適なイントラ予測モードを選択し、その最適なイントラ予測モードで生成された予測画像を、予測画像選択部２１６に供給する。また、上述したように、イントラ予測部２１４は、コスト関数に基づいて選択されたイントラ予測モードを示す予測モードを、可逆符号化部２０６等に適宜供給する。
【０６６１】
動き予測補償部２１５は、並べ替えバッファ２０２から供給される元画像と、選択部２１３を介してフレームメモリ２１２から供給される参照画像とを用い、例えば、PUを処理単位として、動き予測（インター予測）を行う。さらに、動き予測補償部２１５は、動き予測により検出される動きベクトルに応じて動き補償を行い、予測画像を生成する。動き予測補償部２１５は、あらかじめ用意された複数のインター予測モードで、インター予測を行い、予測画像を生成する。
【０６６２】
動き予測補償部２１５は、複数のインター予測モードそれぞれについて得られた予測画像の所定のコスト関数に基づいて、最適なインター予測モードを選択する。さらに、動き予測補償部２１５は、最適なインター予測モードで生成された予測画像を、予測画像選択部２１６に供給する。
【０６６３】
また、動き予測補償部２１５は、コスト関数に基づいて選択されたインター予測モードを示す予測モードや、そのインター予測モードで符号化された符号化データを復号する際に必要な動きベクトル等の動き情報等を、可逆符号化部２０６に供給する。
【０６６４】
予測画像選択部２１６は、演算部２０３及び演算部２１０に供給する予測画像の供給元（イントラ予測部２１４又は動き予測補償部２１５）を選択し、その選択した方の供給元から供給される予測画像を、演算部２０３及び演算部２１０に供給する。
【０６６５】
レート制御部２１７は、蓄積バッファ２０７に蓄積された符号化ビットストリームの符号量に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部２０５の量子化動作のレートを制御する。すなわち、レート制御部２１７は、蓄積バッファ２０７のオーバーフロー及びアンダーフローが生じないように、符号化ビットストリームの目標符号量を設定し、量子化部２０５に供給する。
【０６６６】
なお、図６１において、演算部２０３ないし可逆符号化部２０６が図５８の符号化部１６１に、逆量子化部２０８ないし演算部２１０が図５８の局所復号部１６２に、ILF２１１が図５８のフィルタ部１６３に、それぞれ相当する。
【０６６７】
＜符号化処理＞
【０６６８】
図６２は、図６１の符号化装置１６０の符号化処理の例を説明するフローチャートである。
【０６６９】
なお、図６２等に示す符号化処理の各ステップの順番は、説明の便宜上の順番であり、実際の符号化処理の各ステップは、適宜、並列的に、必要な順番で行われる。後述する処理についても、同様である。
【０６７０】
符号化装置１６０において、ILF２１１は、演算部２１０から供給される復号画像を一時記憶するとともに、並べ替えバッファ２０２から供給される、演算部２１０からの復号画像に対する元画像を一時記憶する。
【０６７１】
そして、符号化装置１６０（の図示せぬ制御部）は、ステップＳ２０１において、現在のタイミングが、フィルタ情報を更新する更新タイミングであるかどうかを判定する。
【０６７２】
ここで、フィルタ情報の更新タイミングは、例えば、１以上のフレーム（ピクチャ）ごとや、１以上のシーケンスごと、１以上のスライスごと、CTU等の所定のブロックの１以上のラインごと等のように、あらかじめ決めておくことができる。
【０６７３】
また、フィルタ情報の更新タイミングとしては、１以上のフレーム（ピクチャ）ごとのタイミングのような周期的（固定的）なタイミングの他、フィルタ画像のS/Nが閾値以下になったタイミング（フィルタ画像の、元画像に対する誤差が閾値以上になったタイミング）や、残差（の絶対値和等）が閾値以上になったタイミング等の、いわば動的なタイミングを採用することができる。
【０６７４】
ここでは、例えば、ILF２１１が、復号画像及び元画像の１フレームを用いて、タップ係数学習を行うこととし、１フレームごとのタイミングがフィルタ情報の更新タイミングであることとする。
【０６７５】
ステップＳ２０１において、現在のタイミングが、フィルタ情報の更新タイミングでないと判定された場合、処理は、ステップＳ２０２ないしＳ２０５をスキップして、ステップＳ２０６に進む。
【０６７６】
また、ステップＳ２０１において、現在のタイミングが、フィルタ情報の更新タイミングであると判定された場合、処理は、ステップＳ２０２に進み、ILF２１１は、初期クラスごとのタップ係数を求めるタップ係数学習を行う。
【０６７７】
すなわち、ILF２１１は、例えば、前回の更新タイミングから、今回の更新タイミングまでの間に記憶した復号画像及び元画像（ここでは、ILF２１１に供給された最新の１フレームの復号画像及び元画像）を用いて、タップ係数学習を行い、初期クラスごとのタップ係数を求める。
【０６７８】
ILF２１１は、ステップＳ２０３において、マージ情報に含まれる複数のマージクラス数それぞれについて、初期クラスをマージクラス数に対応するマージパターンに従ってマージすることによりマージクラスに変換し、図５のステップＳ３６及びＳ３７と同様に、タップ係数学習でたてられた正規方程式を利用して、マージクラスごとのタップ係数を求める。
【０６７９】
さらに、ILF２１１は、複数のマージクラス数それぞれについて、マージクラスごとのタップ係数を用いてフィルタ処理を行うことにより、コスト（例えば、図８のステップＳ６７で求められるコストdist+lambda×coeffBit）を求める。そして、ILF２１１は、複数のマージクラス数のうちのコストが最小になるマージクラス数を、採用マージクラス数に決定し、処理は、ステップＳ２０３からステップＳ２０４に進む。
【０６８０】
ステップＳ２０４では、ILF２１１は、採用マージクラス数と、採用マージクラス数のマージクラスごとのタップ係数とを、フィルタ情報として、可逆符号化部２０６に供給する。可逆符号化部２０６は、ILF２１１からのフィルタ情報を、伝送対象に設定して、処理は、ステップＳ２０４からステップＳ２０５に進む。伝送対象に設定されたフィルタ情報は、後述するステップＳ２０６で行われる予測符号化処理において符号化ビットストリームに含められて伝送される。
【０６８１】
ステップＳ２０５では、ILF２１１が、最新のステップＳ２０３で決定された採用マージクラス数及び採用マージクラス数のマージクラスごとのタップ係数によって、クラス分類予測処理に用いる採用マージ数及びタップ係数を更新し、処理は、ステップＳ２０６に進む。
【０６８２】
ステップＳ２０６では、元画像の予測符号化処理が行われ、符号化処理は終了する。
【０６８３】
図６３は、図６２のステップＳ２０６の予測符号化処理の例を説明するフローチャートである。
【０６８４】
予測符号化処理では、ステップＳ２１１において、A/D変換部２０１は、元画像をA/D変換し、並べ替えバッファ２０２に供給して、処理は、ステップＳ２１２に進む。
【０６８５】
ステップＳ２１２において、並べ替えバッファ２０２は、A/D変換部２０１からの元画像を記憶し、符号化順に並べ替えて出力し、処理は、ステップＳ２１３に進む。
【０６８６】
ステップＳ２１３では、イントラ予測部２１４は、イントラ予測モードのイントラ予測処理を行い、処理は、ステップＳ２１４に進む。ステップＳ２１４において、動き予測補償部２１５は、インター予測モードでの動き予測や動き補償を行うインター動き予測処理を行い、処理は、ステップＳ２１５に進む。
【０６８７】
イントラ予測部２１４のイントラ予測処理、及び、動き予測補償部２１５のインター動き予測処理では、各種の予測モードのコスト関数が演算されるとともに、予測画像が生成される。
【０６８８】
ステップＳ２１５では、予測画像選択部２１６は、イントラ予測部２１４及び動き予測補償部２１５で得られる各コスト関数に基づいて、最適な予測モードを決定する。そして、予測画像選択部２１６は、イントラ予測部２１４により生成された予測画像と、動き予測補償部２１５により生成された予測画像のうちの最適な予測モードの予測画像を選択して出力し、処理は、ステップＳ２１５からステップＳ２１６に進む。
【０６８９】
ステップＳ２１６では、演算部２０３は、並べ替えバッファ２０２が出力する元画像である符号化対象の対象画像と、予測画像選択部２１６が出力する予測画像との残差を演算し、直交変換部２０４に供給して、処理は、ステップＳ２１７に進む。
【０６９０】
ステップＳ２１７では、直交変換部２０４は、演算部２０３からの残差を直交変換し、その結果得られる直交変換係数を、量子化部２０５に供給して、処理は、ステップＳ２１８に進む。
【０６９１】
ステップＳ２１８では、量子化部２０５は、直交変換部２０４からの直交変換係数を量子化し、その量子化により得られる量子化係数を、可逆符号化部２０６及び逆量子化部２０８に供給して、処理は、ステップＳ２１９に進む。
【０６９２】
ステップＳ２１９では、逆量子化部２０８は、量子化部２０５からの量子化係数を逆量子化し、その結果得られる直交変換係数を、逆直交変換部２０９に供給して、処理は、ステップＳ２２０に進む。ステップＳ２２０では、逆直交変換部２０９は、逆量子化部２０８からの直交変換係数を逆直交変換し、その結果得られる残差を、演算部２１０に供給して、処理は、ステップＳ２２１に進む。
【０６９３】
ステップＳ２２１では、演算部２１０は、逆直交変換部２０９からの残差と、予測画像選択部２１６が出力する予測画像とを加算し、演算部２０３での残差の演算の対象となった元画像に対応する復号画像を生成する。演算部２１０は、復号画像を、ILF２１１に供給し、処理は、ステップＳ２２１からステップＳ２２２に進む。
【０６９４】
ステップＳ２２２では、ILF２１１は、演算部２１０からの復号画像に、クラス分類予測処理としてのフィルタ処理を施し、そのフィルタ処理により得られるフィルタ画像を、フレームメモリ２１２に供給して、処理は、ステップＳ２２２からステップＳ２２３に進む。
【０６９５】
ステップＳ２２２のクラス分類予測処理では、クラス分類予測フィルタ１１０（図５６）と同様の処理が行われる。
【０６９６】
すなわち、ILF２１１は、演算部２１０からの復号画像の注目画素に対して、初期クラス分類を行い、注目画素の初期クラスを求める。さらに、ILF２１１は、注目画素の初期クラスを、図６２のステップＳ２０５で更新された採用マージクラス数に対応するマージパターンに従って、マージクラスに変換する。ILF２１１は、図６２のステップＳ２０５で更新されたマージクラスごとのタップ係数から、注目画素のマージクラスのタップ係数を取得する。その後、ILF２１１は、復号画像に、注目画素のマージクラスのタップ係数を用いて構成される予測式を適用する予測処理としてのフィルタ処理を行い、フィルタ画像を生成する。フィルタ画像は、ILF２１１からフレームメモリ２１２に供給される。
【０６９７】
ステップＳ２２３では、フレームメモリ２１２は、ILF２１１から供給されるフィルタ画像を記憶し、処理は、ステップＳ２２４に進む。フレームメモリ２１２に記憶されたフィルタ画像は、ステップＳ２１３やＳ１１４で、予測画像を生成する元となる参照画像として使用される。
【０６９８】
ステップＳ２２４では、可逆符号化部２０６は、量子化部２０５からの量子化係数である符号化データを符号化し、その符号化データを含む符号化ビットストリームを生成する。さらに、可逆符号化部２０６は、量子化部２０５での量子化に用いられた量子化パラメータQPや、イントラ予測部２１４でのイントラ予測処理で得られた予測モード、動き予測補償部２１５でのインター動き予測処理で得られた予測モードや動き情報等の符号化情報を必要に応じて符号化し、符号化ビットストリームに含める。
【０６９９】
また、可逆符号化部２０６は、図６２のステップＳ２０３で伝送対象に設定されたフィルタ情報を必要に応じて符号化し、符号化ビットストリームに含める。そして、可逆符号化部２０６は、符号化ビットストリームを、蓄積バッファ２０７に供給し、処理は、ステップＳ２２４からステップＳ２２５に進む。
【０７００】
ステップＳ２２５において、蓄積バッファ２０７は、可逆符号化部２０６からの符号化ビットストリームを蓄積し、処理は、ステップＳ２２６に進む。蓄積バッファ２０７に蓄積された符号化ビットストリームは、適宜読み出されて伝送される。
【０７０１】
ステップＳ２２６では、レート制御部２１７は、蓄積バッファ２０７に蓄積されている符号化ビットストリームの符号量（発生符号量）に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部２０５の量子化動作のレートを制御し、符号化処理は終了する。
【０７０２】
＜復号装置１７０の構成例＞
【０７０３】
図６４は、図５８の復号装置１７０の詳細な構成例を示すブロック図である。
【０７０４】
図６４において、復号装置１７０は、蓄積バッファ３０１、可逆復号部３０２、逆量子化部３０３、逆直交変換部３０４、演算部３０５、ILF３０６、並べ替えバッファ３０７、及び、D/A変換部３０８を有する。また、復号装置１７０は、フレームメモリ３１０、選択部３１１、イントラ予測部３１２、動き予測補償部３１３、及び、選択部３１４を有する。
【０７０５】
蓄積バッファ３０１は、符号化装置１６０から伝送されてくる符号化ビットストリームを一時蓄積し、所定のタイミングにおいて、その符号化ビットストリームを、可逆復号部３０２に供給する。
【０７０６】
可逆復号部３０２は、蓄積バッファ３０１からの符号化ビットストリームを受信し、図６１の可逆符号化部２０６の符号化方式に対応する方式で復号する。
【０７０７】
そして、可逆復号部３０２は、符号化ビットストリームの復号結果に含まれる符号化データとしての量子化係数を、逆量子化部３０３に供給する。
【０７０８】
また、可逆復号部３０２は、パースを行う機能を有する。可逆復号部３０２は、符号化ビットストリームの復号結果に含まれる必要な符号化情報やフィルタ情報をパースし、符号化情報を、イントラ予測部３１２や動き予測補償部３１３その他の必要なブロックに供給する。さらに、可逆復号部３０２は、フィルタ情報を、ILF３０６に供給する。
【０７０９】
逆量子化部３０３は、可逆復号部３０２からの符号化データとしての量子化係数を、図６１の量子化部２０５の量子化方式に対応する方式で逆量子化し、その逆量子化により得られる直交変換係数を、逆直交変換部３０４に供給する。
【０７１０】
逆直交変換部３０４は、逆量子化部３０３から供給される直交変換係数を、図６１の直交変換部２０４の直交変換方式に対応する方式で逆直交変換し、その結果得られる残差を、演算部３０５に供給する。
【０７１１】
演算部３０５には、逆直交変換部３０４から残差が供給される他、選択部３１４を介して、イントラ予測部３１２又は動き予測補償部３１３から予測画像が供給される。
【０７１２】
演算部３０５は、逆直交変換部３０４からの残差と、選択部３１４からの予測画像とを加算し、復号画像を生成して、ILF３０６に供給する。
【０７１３】
IFL３０６は、ILF２１１（図６１）と同様のマージ情報を記憶している。
【０７１４】
ILF３０６は、例えば、学習機能付きでないクラス分類予測フィルタ１１０（図５６）と同様に構成され、クラス分類予測処理としてのフィルタ処理を行うことで、図６１のILF２１１と同様に、デブロッキングフィルタ、適応オフセットフィルタ、バイラテラルフィルタ、ALFのうちの１つ、又は、２以上のフィルタとして機能する。
【０７１５】
ILF３０６は、演算部３０５からの復号画像の画素を、順次、注目画素に選択する。ILF３０６は、初期クラス分類を注目画素に対して行い、注目画素の初期クラスを求める。さらに、ILF２１１は、注目画素の初期クラスを、マージ情報に含まれるマージパターンのうちの、可逆復号部３０２から供給されるフィルタ情報に含まれる採用マージクラス数に対応するマージパターンに従って、マージクラスに変換する。ILF３０６は、可逆復号部３０２から供給されるフィルタ情報に含まれるマージクラスごとのタップ係数のうちの、注目画素のマージクラスのタップ係数を取得する。そして、ILF３０６は、復号画像から、注目画素の近傍の画素を予測タップとして選択し、注目画素のクラスのタップ係数と予測タップとしての復号画像の画素との積和演算を行う予測式を復号画像に適用する予測処理としてのフィルタ処理を行い、フィルタ画像を生成して出力する。なお、ILF３０６でのクラス分類では、例えば、ILF２１１と同様に、2×2画素の左上の画素のクラス分類で得られたクラスを、その2×2画素それぞれのクラスとして採用することができる。
【０７１６】
ILF３０６が出力するフィルタ画像は、図６１のILF２１１が出力するフィルタ画像と同様の画像であり、並べ替えバッファ３０７及びフレームメモリ３１０に供給される。
【０７１７】
並べ替えバッファ３０７は、ILF３０６から供給されるフィルタ画像を一時記憶し、フィルタ画像のフレーム（ピクチャ）の並びを、符号化（復号）順から表示順に並べ替え、D/A変換部３０８に供給する。
【０７１８】
D/A変換部３０８は、並べ替えバッファ３０７から供給されるフィルタ画像をD/A変換し、図示せぬディスプレイに出力して表示させる。
【０７１９】
フレームメモリ３１０は、ILF３０６から供給されるフィルタ画像を一時記憶する。さらに、フレームメモリ３１０は、所定のタイミングにおいて、又は、イントラ予測部３１２や動き予測補償部３１３等の外部の要求に基づいて、フィルタ画像を、予測画像の生成に用いる参照画像として、選択部３１１に供給する。
【０７２０】
選択部３１１は、フレームメモリ３１０から供給される参照画像の供給先を選択する。選択部３１１は、イントラ符号化された画像を復号する場合、フレームメモリ３１０から供給される参照画像をイントラ予測部３１２に供給する。また、選択部３１１は、インター符号化された画像を復号する場合、フレームメモリ３１０から供給される参照画像を動き予測補償部３１３に供給する。
【０７２１】
イントラ予測部３１２は、可逆復号部３０２から供給される符号化情報に含まれる予測モードに従い、図６１のイントラ予測部２１４において用いられたイントラ予測モードで、フレームメモリ３１０から選択部３１１を介して供給される参照画像を用いてイントラ予測を行う。そして、イントラ予測部３１２は、イントラ予測により得られる予測画像を、選択部３１４に供給する。
【０７２２】
動き予測補償部３１３は、可逆復号部３０２から供給される符号化情報に含まれる予測モードに従い、図６１の動き予測補償部２１５において用いられたインター予測モードで、フレームメモリ３１０から選択部３１１を介して供給される参照画像を用いてインター予測を行う。インター予測は、可逆復号部３０２から供給される符号化情報に含まれる動き情報等を必要に応じて用いて行われる。
【０７２３】
動き予測補償部３１３は、インター予測により得られる予測画像を、選択部３１４に供給する。
【０７２４】
選択部３１４は、イントラ予測部３１２から供給される予測画像、又は、動き予測補償部３１３から供給される予測画像を選択し、演算部３０５に供給する。
【０７２５】
なお、図６４において、可逆復号部３０２が図５８のパース部１７１に、逆量子化部３０３ないし演算部３０５が図５８の復号部１７２に、ILF３０６が図５８のフィルタ部１７３に、それぞれ相当する。
【０７２６】
＜復号処理＞
【０７２７】
図６５は、図６４の復号装置１７０の復号処理の例を説明するフローチャートである。
【０７２８】
復号処理では、ステップＳ３０１において、蓄積バッファ３０１は、符号化装置１６０から伝送されてくる符号化ビットストリームを一時蓄積し、適宜、可逆復号部３０２に供給して、処理は、ステップＳ３０２に進む。
【０７２９】
ステップＳ３０２では、可逆復号部３０２は、蓄積バッファ３０１から供給される符号化ビットストリームを受け取って復号し、符号化ビットストリームの復号結果に含まれる符号化データとしての量子化係数を、逆量子化部３０３に供給する。
【０７３０】
また、可逆復号部３０２は、符号化ビットストリームの復号結果に、フィルタ情報や符号化情報が含まれる場合には、そのフィルタ情報や符号化情報をパースする。そして、可逆復号部３０２は、必要な符号化情報を、イントラ予測部３１２や動き予測補償部３１３その他の必要なブロックに供給する。また、可逆復号部３０２は、フィルタ情報を、ILF３０６に供給する。
【０７３１】
その後、処理は、ステップＳ３０２からステップＳ３０３に進み、ILF３０６は、可逆復号部３０２から採用マージクラス数及び採用マージクラス数のマージクラスごとのタップ係数を含むフィルタ情報が供給されたかどうかを判定する。
【０７３２】
ステップＳ３０３において、フィルタ情報が供給されていないと判定された場合、処理は、ステップＳ３０４をスキップして、ステップＳ３０５に進む。
【０７３３】
また、ステップＳ３０３において、フィルタ情報が供給されたと判定された場合、処理は、ステップＳ３０４に進み、ILF３０６は、可逆復号部３０２からのフィルタ情報に含まれる採用マージクラス数及び採用マージクラス数のマージクラスごとのタップ係数を取得する。さらに、ILF３０６は、可逆復号部３０２からのフィルタ情報から取得した採用マージクラス数及び採用マージクラス数のマージクラスごとのタップ係数によって、クラス分類予測処理に用いる採用マージクラス数及びタップ係数を更新する。
【０７３４】
そして、処理は、ステップＳ３０４からステップＳ３０５に進み、予測復号処理が行われ、復号処理は終了する。
【０７３５】
図６６は、図６５のステップＳ３０５の予測復号処理の例を説明するフローチャートである。
【０７３６】
ステップＳ３１１において、逆量子化部３０３は、可逆復号部３０２からの量子化係数を逆量子化し、その結果得られる直交変換係数を、逆直交変換部３０４に供給して、処理は、ステップＳ３１２に進む。
【０７３７】
ステップＳ３１２では、逆直交変換部３０４は、逆量子化部３０３からの直交変換係数を逆直交変換し、その結果得られる残差を、演算部３０５に供給して、処理は、ステップＳ３１３に進む。
【０７３８】
ステップＳ３１３では、イントラ予測部３１２又は動き予測補償部３１３が、フレームメモリ３１０から選択部３１１を介して供給される参照画像、及び、可逆復号部３０２から供給される符号化情報を用いて、予測画像を生成するイントラ予測処理又はインター動き予測処理を行う。そして、イントラ予測部３１２又は動き予測補償部３１３は、イントラ予測処理又はインター動き予測処理により得られる予測画像を、選択部３１４に供給し、処理は、ステップＳ３１３からステップＳ３１４に進む。
【０７３９】
ステップＳ３１４では、選択部３１４は、イントラ予測部３１２又は動き予測補償部３１３から供給される予測画像を選択し、演算部３０５に供給して、処理は、ステップＳ３１５に進む。
【０７４０】
ステップＳ３１５では、演算部３０５は、逆直交変換部３０４からの残差と、選択部３１４からの予測画像を加算することにより、復号画像を生成する。そして、演算部３０５は、復号画像を、ILF３０６に供給して、処理は、ステップＳ３１５からステップＳ３１６に進む。
【０７４１】
ステップＳ３１６では、ILF３０６は、演算部３０５からの復号画像に、クラス分類予測処理としてのフィルタ処理を施し、そのフィルタ処理により得られるフィルタ画像を、並べ替えバッファ３０７及びフレームメモリ３１０に供給して、処理は、ステップＳ３１６からステップＳ３１７に進む。
【０７４２】
ステップＳ３１６のクラス分類予測処理では、クラス分類予測フィルタ１１０（図５６）と同様の処理が行われる。
【０７４３】
すなわち、ILF３０６は、演算部３０５からの復号画像の注目画素に対して、ILF２１１と同一の初期クラス分類を行い、注目画素の初期クラスを求める。さらに、ILF３０６は、注目画素の初期クラスを、マージ情報に含まれるマージパターンのうちの、図６５のステップＳ３０４で更新された採用マージクラス数に対応するマージパターンに従って、マージクラスに変換する。ILF３０６は、図６５のステップＳ３０４で更新されたマージクラスごとのタップ係数のうちの、注目画素のマージクラスのタップ係数を取得する。その後、ILF３０６は、復号画像に、注目画素のマージクラスのタップ係数で構成される予測式を適用する予測処理としてのフィルタ処理を行い、フィルタ画像を生成する。フィルタ画像は、ILF３０６から並べ替えバッファ３０７及びフレームメモリ３１０に供給される。
【０７４４】
ステップＳ３１７では、並べ替えバッファ３０７は、ILF３０６から供給されるフィルタ画像を一時記憶する。さらに、並べ替えバッファ３０７は、記憶したフィルタ画像を、表示順に並べ替えて、D/A変換部３０８に供給し、処理は、ステップＳ３１７からステップＳ３１８に進む。
【０７４５】
ステップＳ３１８では、D/A変換部３０８は、並べ替えバッファ３０７からのフィルタ画像をD/A変換し、処理は、ステップＳ３１９に進む。D/A変換後のフィルタ画像は、図示せぬディスプレイに出力されて表示される。
【０７４６】
ステップＳ３１９では、フレームメモリ３１０は、ILF３０６から供給されるフィルタ画像を記憶し、復号処理は終了する。フレームメモリ３１０に記憶されたフィルタ画像は、ステップＳ３１３のイントラ予測処理又はインター動き予測処理で、予測画像を生成する元となる参照画像として使用される。
【０７４７】
＜あらかじめ設定されるマージパターンの他の例＞
【０７４８】
マージクラス数ごとに、マージパターンを設定する場合には、所定の（値の）マージクラス数に対して、複数のマージパターンが存在する場合でも、マージパターン選択によって、複数のマージパターンのうちの１つのマージパターンが、所定のマージクラス数に対応するマージパターンとして選択（されて設定）される。ここで、 所定のマージクラス数に対して、複数のマージパターンが存在する場合に、そのマージパターンを候補パターンというとともに、複数の候補パターンの中で、その所定のマージクラス数に対応するマージパターンに選択されたマージパターンを選択パターンということとする。
【０７４９】
元画像によっては、 選択パターンに従って得られるクラス（マージクラス）に分類されるクラス分類よりも、選択パターン以外の候補パターンに従って得られるクラスに分類されるクラス分類の方が、元画像との誤差が小さいフィルタ画像が得られることがある。したがって、 所定のマージクラス数に対して複数の選択パターンを設定すれば、フィルタ画像の誤差を小さくし、ひいては、符号化効率や復号画像の画質を向上させ得る。しかしながら、 所定のマージクラス数に対して複数の選択パターンを設定する場合には、採用パターンをシグナリングするために、例えば、GALFと同様に、採用マージパターンを符号化ビットストリームに含めて伝送しなければならない。そして、（採用）マージパターンを伝送する場合には、（採用）マージクラス数を伝送する場合に比較して、オーバーヘッドが大になり、符号化効率が劣化する。
【０７５０】
そこで、本技術では、所定のマージクラス数に対して、複数のマージパターンを設定する場合には、マージパターンを伝送する場合よりも小さいオーバーヘッドで、クラスのマージに用いるマージパターン（採用マージパターン）を特定する方法を採用する。
【０７５１】
初期クラスのマージとして、サブクラスマージを採用し、サブクラスマージを一定ルールに従って行う場合、すなわち、例えば、図３０ないし図３２で説明したように、傾斜強度比サブクラス、方向サブクラス、及び、アクティビティサブクラスのサブクラスマージを行う場合には、サブクラスマージ後の傾斜強度比サブクラス、方向サブクラス、及び、アクティビティサブクラスそれぞれのサブクラス数Na, Nb, Ncの組み合わせ(Na, Nb, Nc)により、マージパターン(Na, Nb, Nc)が一意に決まる。したがって、サブクラスマージ後の傾斜強度比サブクラス、方向サブクラス、及び、アクティビティサブクラスそれぞれのサブクラス数Na, Nb, Ncの組み合わせ(Na, Nb, Nc)により、マージパターン(Na, Nb, Nc)を特定することができる。このように、サブクラスマージ後の傾斜強度比サブクラス、方向サブクラス、及び、アクティビティサブクラスそれぞれのサブクラス数Na, Nb, Ncの組み合わせ(Na, Nb, Nc)により、マージパターン(Na, Nb, Nc)を特定する方法を、サブクラス数による特定法ともいう。
【０７５２】
サブクラス数による特定法によれば、マージクラス数が同一の複数のマージパターンそれぞれを特定することができる。したがって、マージクラス数ごとにマージパターンを設定する場合に比較して、より多くのマージパターンの中から、採用マージパターンを決定することができる。その結果、より元画像に適したクラス分類が行われるマージパターンによって、初期クラスをマージすることができ、符号化効率及び復号画像の画質を向上させることができる。
【０７５３】
また、サブクラスマージ後の傾斜強度比サブクラス、方向サブクラス、及び、アクティビティサブクラスのサブクラス数Na, Nb, Ncは、それぞれ、1ないし3サブクラス、1又は2サブクラス、及び、1ないし5サブクラスであるので、25個の数字の系列であるGALFのマージパターン（図９）に比較してデータ量が小さい。したがって、サブクラスマージ後の傾斜強度比サブクラス、方向サブクラス、及び、アクティビティサブクラスそれぞれのサブクラス数Na, Nb, Ncの組み合わせ(Na, Nb, Nc)により、採用マージパターン(Na, Nb, Nc)が特定されるサブクラス数による特定法によれば、GALFの場合よりも、オーバーヘッドを小さくし、符号化効率を向上させることができる。
【０７５４】
以下、サブクラスマージ後の傾斜強度比サブクラス、方向サブクラス、及び、アクティビティサブクラスそれぞれのサブクラス数Na, Nb, Ncの図３６に示した30個の組み合わせ(Na, Nb, Nc)それぞれに対して決まる、組み合わせ(Na, Nb, Nc)に対応するマージパターン(Na, Nb, Nc)について説明する。
【０７５５】
サブクラスマージ後の傾斜強度比サブクラス、方向サブクラス、及び、アクティビティサブクラスそれぞれのサブクラス数が3, 2, 5の組み合わせ(3, 2, 5)に対応するマージパターン(3, 2, 5)と、そのマージパターン(3, 2, 5)が得られるサブクラスマージとは、図４３に示した通りである。
【０７５６】
図６７は、サブクラスマージ後の傾斜強度比サブクラス、方向サブクラス、及び、アクティビティサブクラスそれぞれのサブクラス数が3, 1, 5の組み合わせ(3, 1, 5)に対応するマージパターン(3, 1, 5)と、そのマージパターン(3, 1, 5)が得られるサブクラスマージとを示す図である。
【０７５７】
マージパターン(3, 1, 5)は、傾斜強度比サブクラスを、ノンクラス、ウイーククラス、及び、ストロングクラスの3サブクラスにサブクラスマージし、方向サブクラスを、N/Aクラスの1サブクラスにサブクラスマージし、アクティビティサブクラスを、0のインデクスclass_idxに対応するアクティビティサブクラス0、1のインデクスclass_idxに対応するアクティビティサブクラス1、2ないし6のインデクスclass_idxに対応するアクティビティサブクラス2、7ないし14のインデクスclass_idxに対応するアクティビティサブクラス3、及び、15のインデクスclass_idxに対応するアクティビティサブクラス4の5サブクラスにサブクラスマージすることにより得ることができる。
【０７５８】
マージパターン(3, 1, 5)のマージクラス数は、図３６で説明したように、サブクラスマージ後の傾斜強度比サブクラス、方向サブクラス、及び、アクティビティサブクラスそれぞれのサブクラス数3, 1, 5から、5×(1×(3−1)＋1)＝15と求めることができる。
【０７５９】
サブクラスマージ後の傾斜強度比サブクラス、方向サブクラス、及び、アクティビティサブクラスそれぞれのサブクラス数が2, 2, 5の組み合わせ(2, 2, 5)に対応するマージパターン(2, 2, 5)と、そのマージパターン(2, 2, 5)が得られるサブクラスマージとは、図４５に示した通りである。
【０７６０】
サブクラスマージ後の傾斜強度比サブクラス、方向サブクラス、及び、アクティビティサブクラスそれぞれのサブクラス数が2, 1, 5の組み合わせ(2, 1, 5)に対応するマージパターン(2, 1, 5)と、そのマージパターン(2, 1, 5)が得られるサブクラスマージとは、図４７に示したとおりである。
【０７６１】
図６８は、サブクラスマージ後の傾斜強度比サブクラス、方向サブクラス、及び、アクティビティサブクラスそれぞれのサブクラス数が1, 2, 5の組み合わせ(1, 2, 5)に対応するマージパターン(1, 2, 5)と、そのマージパターン(1, 2, 5)が得られるサブクラスマージとを示す図である。
【０７６２】
サブクラスマージ後の傾斜強度比サブクラス、方向サブクラス、及び、アクティビティサブクラスそれぞれのサブクラス数が1, 2, 5である場合は、傾斜強度比サブクラスが1サブクラス（N/Aクラス）にマージされ、D0/D1クラス又はH/Vクラスに分類される方向サブクラス分類が行われる場合に該当する。傾斜強度比サブクラスが1サブクラスにマージされ、D0/D1クラス又はH/Vクラスに分類される方向サブクラス分類が行われる場合、図３６で説明したように、方向サブクラス分類は無効であり、そのような方向サブクラス分類により行われるクラス分類となるマージパターンも、無効である。本技術では、無効なマージパターンは使用しない。
【０７６３】
サブクラスマージ後の傾斜強度比サブクラス、方向サブクラス、及び、アクティビティサブクラスそれぞれのサブクラス数が1, 1, 5の組み合わせ(1, 1, 5)に対応するマージパターン(1, 1, 5)と、そのマージパターン(1, 1, 5)が得られるサブクラスマージとは、図５１に示した通りである。
【０７６４】
サブクラスマージ後の傾斜強度比サブクラス、方向サブクラス、及び、アクティビティサブクラスそれぞれのサブクラス数が3, 2, 4の組み合わせ(3, 2, 4)に対応するマージパターン(3, 2, 4)と、そのマージパターン(3, 2, 4)が得られるサブクラスマージとは、図４４に示した通りである。
【０７６５】
図６９は、サブクラスマージ後の傾斜強度比サブクラス、方向サブクラス、及び、アクティビティサブクラスそれぞれのサブクラス数が3, 1, 4の組み合わせ(3, 1, 4)に対応するマージパターン(3, 1, 4)と、そのマージパターン(3, 1, 4)が得られるサブクラスマージとを示す図である。
【０７６６】
マージパターン(3, 1, 4)は、傾斜強度比サブクラスを、ノンクラス、ウイーククラス、及び、ストロングクラスの3サブクラスにサブクラスマージし、方向サブクラスを、N/Aクラスの1サブクラスにサブクラスマージし、アクティビティサブクラスを、0及び1のインデクスclass_idxに対応するアクティビティサブクラス0、2ないし6のインデクスclass_idxに対応するアクティビティサブクラス1、7ないし14のインデクスclass_idxに対応するアクティビティサブクラス2、及び、15のインデクスclass_idxに対応するアクティビティサブクラス3の4サブクラスにサブクラスマージすることにより得ることができる。
【０７６７】
マージパターン(3, 1, 4)のマージクラス数は、サブクラスマージ後の傾斜強度比サブクラス、方向サブクラス、及び、アクティビティサブクラスそれぞれのサブクラス数3, 1, 4から、4×(1×(3−1)＋1)＝12と求めることができる。
【０７６８】
サブクラスマージ後の傾斜強度比サブクラス、方向サブクラス、及び、アクティビティサブクラスそれぞれのサブクラス数が2, 2, 4の組み合わせ(2, 2, 4)に対応するマージパターン(2, 2, 4)と、そのマージパターン(2, 2, 4)が得られるサブクラスマージとは、図４６に示した通りである。
【０７６９】
図７０は、サブクラスマージ後の傾斜強度比サブクラス、方向サブクラス、及び、アクティビティサブクラスそれぞれのサブクラス数が2, 1, 4の組み合わせ(2, 1, 4)に対応するマージパターン(2, 1, 4)と、そのマージパターン(2, 1, 4)が得られるサブクラスマージとを示す図である。
【０７７０】
マージパターン(2, 1, 4)は、傾斜強度比サブクラスを、ノンクラス、及び、ハイクラスの2サブクラスにサブクラスマージし、方向サブクラスを、N/Aクラスの1サブクラスにサブクラスマージし、アクティビティサブクラスを、0及び1のインデクスclass_idxに対応するアクティビティサブクラス0、2ないし6のインデクスclass_idxに対応するアクティビティサブクラス1、7ないし14のインデクスclass_idxに対応するアクティビティサブクラス2、及び、15のインデクスclass_idxに対応するアクティビティサブクラス3の4サブクラスにサブクラスマージすることにより得ることができる。
【０７７１】
マージパターン(2, 1, 4)のマージクラス数は、サブクラスマージ後の傾斜強度比サブクラス、方向サブクラス、及び、アクティビティサブクラスそれぞれのサブクラス数2, 1, 4から、4×(1×(2−1)＋1)＝8と求めることができる。
【０７７２】
図７１は、サブクラスマージ後の傾斜強度比サブクラス、方向サブクラス、及び、アクティビティサブクラスそれぞれのサブクラス数が1, 2, 4の組み合わせ(1, 2, 4)に対応するマージパターン(1, 2, 4)と、そのマージパターン(1, 2, 4)が得られるサブクラスマージとを示す図である。
【０７７３】
サブクラスマージ後の傾斜強度比サブクラス、方向サブクラス、及び、アクティビティサブクラスそれぞれのサブクラス数が1, 2, 4である場合は、傾斜強度比サブクラスが1サブクラス（N/Aクラス）にマージされ、D0/D1クラス又はH/Vクラスに分類される方向サブクラス分類が行われる場合に該当する。傾斜強度比サブクラスが1サブクラスにマージされ、D0/D1クラス又はH/Vクラスに分類される方向サブクラス分類が行われる場合、図３６で説明したように、方向サブクラス分類は無効であり、そのような方向サブクラス分類により行われるクラス分類となるマージパターンも、無効である。本技術では、無効なマージパターンは使用しない。
【０７７４】
サブクラスマージ後の傾斜強度比サブクラス、方向サブクラス、及び、アクティビティサブクラスそれぞれのサブクラス数が1, 1, 4の組み合わせ(1, 1, 4)に対応するマージパターン(1, 1, 4)と、そのマージパターン(1, 1, 4)が得られるサブクラスマージとは、図５２に示した通りである。
【０７７５】
図７２は、サブクラスマージ後の傾斜強度比サブクラス、方向サブクラス、及び、アクティビティサブクラスそれぞれのサブクラス数が3, 2, 3の組み合わせ(3, 2, 3)に対応するマージパターン(3, 2, 3)と、そのマージパターン(3, 2, 3)が得られるサブクラスマージとを示す図である。
【０７７６】
マージパターン(3, 2, 3)は、傾斜強度比サブクラスを、ノンクラス、ウイーククラス、及び、ストロングクラスの3サブクラスにサブクラスマージし、方向サブクラスを、D0/D1クラス及びH/Vクラスの2サブクラスにサブクラスマージし、アクティビティサブクラスを、0ないし6のインデクスclass_idxに対応するアクティビティサブクラス0、7ないし14のインデクスclass_idxに対応するアクティビティサブクラス1、及び、15のインデクスclass_idxに対応するアクティビティサブクラス2の3サブクラスにサブクラスマージすることにより得ることができる。
【０７７７】
マージパターン(3, 2, 3)のマージクラス数は、サブクラスマージ後の傾斜強度比サブクラス、方向サブクラス、及び、アクティビティサブクラスそれぞれのサブクラス数3, 2, 3から、3×(2×(3−1)＋1)＝15と求めることができる。
【０７７８】
図７３は、サブクラスマージ後の傾斜強度比サブクラス、方向サブクラス、及び、アクティビティサブクラスそれぞれのサブクラス数が3, 1, 3の組み合わせ(3, 1, 3)に対応するマージパターン(3, 1, 3)と、そのマージパターン(3, 1, 3)が得られるサブクラスマージとを示す図である。
【０７７９】
マージパターン(3, 1, 3)は、傾斜強度比サブクラスを、ノンクラス、ウイーククラス、及び、ストロングクラスの3サブクラスにサブクラスマージし、方向サブクラスを、N/Aクラスの1サブクラスにサブクラスマージし、アクティビティサブクラスを、0ないし6のインデクスclass_idxに対応するアクティビティサブクラス0、7ないし14のインデクスclass_idxに対応するアクティビティサブクラス1、及び、15のインデクスclass_idxに対応するアクティビティサブクラス2の3サブクラスにサブクラスマージすることにより得ることができる。
【０７８０】
マージパターン(3, 1, 3)のマージクラス数は、サブクラスマージ後の傾斜強度比サブクラス、方向サブクラス、及び、アクティビティサブクラスそれぞれのサブクラス数3, 1, 3から、3×(1×(3−1)＋1)＝9と求めることができる。
【０７８１】
サブクラスマージ後の傾斜強度比サブクラス、方向サブクラス、及び、アクティビティサブクラスそれぞれのサブクラス数が2, 2, 3の組み合わせ(2, 2, 3)に対応するマージパターン(2, 2, 3)と、そのマージパターン(2, 2, 3)が得られるサブクラスマージとは、図４８に示した通りである。
【０７８２】
サブクラスマージ後の傾斜強度比サブクラス、方向サブクラス、及び、アクティビティサブクラスそれぞれのサブクラス数が2, 1, 3の組み合わせ(2, 1, 3)に対応するマージパターン(2, 1, 3)と、そのマージパターン(2, 1, 3)が得られるサブクラスマージとは、図５０に示した通りである。
【０７８３】
図７４は、サブクラスマージ後の傾斜強度比サブクラス、方向サブクラス、及び、アクティビティサブクラスそれぞれのサブクラス数が1, 2, 3の組み合わせ(1, 2, 3)に対応するマージパターン(1, 2, 3)と、そのマージパターン(1, 2, 3)が得られるサブクラスマージとを示す図である。
【０７８４】
サブクラスマージ後の傾斜強度比サブクラス、方向サブクラス、及び、アクティビティサブクラスそれぞれのサブクラス数が1, 2, 3である場合は、傾斜強度比サブクラスが1サブクラス（N/Aクラス）にマージされ、D0/D1クラス又はH/Vクラスに分類される方向サブクラス分類が行われる場合に該当する。傾斜強度比サブクラスが1サブクラスにマージされ、D0/D1クラス又はH/Vクラスに分類される方向サブクラス分類が行われる場合、図３６で説明したように、方向サブクラス分類は無効であり、そのような方向サブクラス分類により行われるクラス分類となるマージパターンも、無効である。本技術では、無効なマージパターンは使用しない。
【０７８５】
サブクラスマージ後の傾斜強度比サブクラス、方向サブクラス、及び、アクティビティサブクラスそれぞれのサブクラス数が1, 1, 3の組み合わせ(1, 1, 3)に対応するマージパターン(1, 1, 3)と、そのマージパターン(1, 1, 3)が得られるサブクラスマージとは、図５３に示した通りである。
【０７８６】
図７５は、サブクラスマージ後の傾斜強度比サブクラス、方向サブクラス、及び、アクティビティサブクラスそれぞれのサブクラス数が3, 2, 2の組み合わせ(3, 2, 2)に対応するマージパターン(3, 2, 2)と、そのマージパターン(3, 2, 2)が得られるサブクラスマージとを示す図である。
【０７８７】
マージパターン(3, 2, 2)は、傾斜強度比サブクラスを、ノンクラス、ウイーククラス、及び、ストロングクラスの3サブクラスにサブクラスマージし、方向サブクラスを、D0/D1クラス及びH/Vクラスの2サブクラスにサブクラスマージし、アクティビティサブクラスを、0ないし14のインデクスclass_idxに対応するアクティビティサブクラス0、及び、15のインデクスclass_idxに対応するアクティビティサブクラス1の2サブクラスにサブクラスマージすることにより得ることができる。
【０７８８】
マージパターン(3, 2, 2)のマージクラス数は、サブクラスマージ後の傾斜強度比サブクラス、方向サブクラス、及び、アクティビティサブクラスそれぞれのサブクラス数3, 2, 2から、2×(2×(3−1)＋1)＝10と求めることができる。
【０７８９】
図７６は、サブクラスマージ後の傾斜強度比サブクラス、方向サブクラス、及び、アクティビティサブクラスそれぞれのサブクラス数が3, 1, 2の組み合わせ(3, 1, 2)に対応するマージパターン(3, 1, 2)と、そのマージパターン(3, 1, 2)が得られるサブクラスマージとを示す図である。
【０７９０】
マージパターン(3, 1, 2)は、傾斜強度比サブクラスを、ノンクラス、ウイーククラス、及び、ストロングクラスの3サブクラスにサブクラスマージし、方向サブクラスを、N/Aクラスの1サブクラスにサブクラスマージし、アクティビティサブクラスを、0ないし14のインデクスclass_idxに対応するアクティビティサブクラス0、及び、15のインデクスclass_idxに対応するアクティビティサブクラス1の2サブクラスにサブクラスマージすることにより得ることができる。
【０７９１】
マージパターン(3, 1, 2)のマージクラス数は、サブクラスマージ後の傾斜強度比サブクラス、方向サブクラス、及び、アクティビティサブクラスそれぞれのサブクラス数3, 1, 2から、2×(1×(3−1)＋1)＝6と求めることができる。
【０７９２】
サブクラスマージ後の傾斜強度比サブクラス、方向サブクラス、及び、アクティビティサブクラスそれぞれのサブクラス数が2, 2, 2の組み合わせ(2, 2, 2)に対応するマージパターン(2, 2, 2)と、そのマージパターン(2, 2, 2)が得られるサブクラスマージとは、図４９に示した通りである。
【０７９３】
図７７は、サブクラスマージ後の傾斜強度比サブクラス、方向サブクラス、及び、アクティビティサブクラスそれぞれのサブクラス数が2, 1, 2の組み合わせ(2, 1, 2)に対応するマージパターン(2, 1, 2)と、そのマージパターン(2, 1, 2)が得られるサブクラスマージとを示す図である。
【０７９４】
マージパターン(2, 1, 2)は、傾斜強度比サブクラスを、ノンクラス、及び、ハイクラスの2サブクラスにサブクラスマージし、方向サブクラスを、N/Aクラスの1サブクラスにサブクラスマージし、アクティビティサブクラスを、0ないし14のインデクスclass_idxに対応するアクティビティサブクラス0、及び、15のインデクスclass_idxに対応するアクティビティサブクラス1の2サブクラスにサブクラスマージすることにより得ることができる。
【０７９５】
マージパターン(2, 1, 2)のマージクラス数は、サブクラスマージ後の傾斜強度比サブクラス、方向サブクラス、及び、アクティビティサブクラスそれぞれのサブクラス数2, 1, 2から、2×(1×(2−1)＋1)＝4と求めることができる。
【０７９６】
図７８は、サブクラスマージ後の傾斜強度比サブクラス、方向サブクラス、及び、アクティビティサブクラスそれぞれのサブクラス数が1, 2, 2の組み合わせ(1, 2, 2)に対応するマージパターン(1, 2, 2)と、そのマージパターン(1, 2, 2)が得られるサブクラスマージとを示す図である。
【０７９７】
サブクラスマージ後の傾斜強度比サブクラス、方向サブクラス、及び、アクティビティサブクラスそれぞれのサブクラス数が1, 2, 2である場合は、傾斜強度比サブクラスが1サブクラス（N/Aクラス）にマージされ、D0/D1クラス又はH/Vクラスに分類される方向サブクラス分類が行われる場合に該当する。傾斜強度比サブクラスが1サブクラスにマージされ、D0/D1クラス又はH/Vクラスに分類される方向サブクラス分類が行われる場合、図３６で説明したように、方向サブクラス分類は無効であり、そのような方向サブクラス分類により行われるクラス分類となるマージパターンも、無効である。本技術では、無効なマージパターンは使用しない。
【０７９８】
サブクラスマージ後の傾斜強度比サブクラス、方向サブクラス、及び、アクティビティサブクラスそれぞれのサブクラス数が1, 1, 2の組み合わせ(1, 1, 2)に対応するマージパターン(1, 1, 2)と、そのマージパターン(1, 1, 2)が得られるサブクラスマージとは、図５４に示した通りである。
【０７９９】
図７９は、サブクラスマージ後の傾斜強度比サブクラス、方向サブクラス、及び、アクティビティサブクラスそれぞれのサブクラス数が3, 2, 1の組み合わせ(3, 2, 1)に対応するマージパターン(3, 2, 1)と、そのマージパターン(3, 2, 1)が得られるサブクラスマージとを示す図である。
【０８００】
マージパターン(3, 2, 1)は、傾斜強度比サブクラスを、ノンクラス、ウイーククラス、及び、ストロングクラスの3サブクラスにサブクラスマージし、方向サブクラスを、D0/D1クラス及びH/Vクラスの2サブクラスにサブクラスマージし、アクティビティサブクラスを、N/Aクラスの1サブクラスにサブクラスマージすることにより得ることができる。
【０８０１】
マージパターン(3, 2, 1)のマージクラス数は、サブクラスマージ後の傾斜強度比サブクラス、方向サブクラス、及び、アクティビティサブクラスそれぞれのサブクラス数3, 2, 1から、1×(2×(3−1)＋1)＝5と求めることができる。
【０８０２】
図８０は、サブクラスマージ後の傾斜強度比サブクラス、方向サブクラス、及び、アクティビティサブクラスそれぞれのサブクラス数が3, 1, 1の組み合わせ(3, 1, 1)に対応するマージパターン(3, 1, 1)と、そのマージパターン(3, 1, 1)が得られるサブクラスマージとを示す図である。
【０８０３】
マージパターン(3, 1, 1)は、傾斜強度比サブクラスを、ノンクラス、ウイーククラス、及び、ストロングクラスの3サブクラスにサブクラスマージし、方向サブクラスを、N/Aクラスの1サブクラスにサブクラスマージし、アクティビティサブクラスを、N/Aクラスの1サブクラスにサブクラスマージすることにより得ることができる。
【０８０４】
マージパターン(3, 1, 1)のマージクラス数は、サブクラスマージ後の傾斜強度比サブクラス、方向サブクラス、及び、アクティビティサブクラスそれぞれのサブクラス数3, 1, 1から、1×(1×(3−1)＋1)＝3と求めることができる。
【０８０５】
図８１は、サブクラスマージ後の傾斜強度比サブクラス、方向サブクラス、及び、アクティビティサブクラスそれぞれのサブクラス数が2, 2, 1の組み合わせ(2, 2, 1)に対応するマージパターン(2, 2, 1)と、そのマージパターン(2, 2, 1)が得られるサブクラスマージとを示す図である。
【０８０６】
マージパターン(2, 2, 1)は、傾斜強度比サブクラスを、ノンクラス、及び、ハイクラスの2サブクラスにサブクラスマージし、方向サブクラスを、D0/D1クラス及びH/Vクラスの2サブクラスにサブクラスマージし、アクティビティサブクラスを、N/Aクラスの1サブクラスにサブクラスマージすることにより得ることができる。
【０８０７】
マージパターン(2, 2, 1)のマージクラス数は、サブクラスマージ後の傾斜強度比サブクラス、方向サブクラス、及び、アクティビティサブクラスそれぞれのサブクラス数2, 2, 1から、1×(2×(2−1)＋1)＝3と求めることができる。
【０８０８】
図８２は、サブクラスマージ後の傾斜強度比サブクラス、方向サブクラス、及び、アクティビティサブクラスそれぞれのサブクラス数が2, 1, 1の組み合わせ(2, 1, 1)に対応するマージパターン(2, 1, 1)と、そのマージパターン(2, 1, 1)が得られるサブクラスマージとを示す図である。
【０８０９】
マージパターン(2, 1, 1)は、傾斜強度比サブクラスを、ノンクラス、及び、ハイクラスの2サブクラスにサブクラスマージし、方向サブクラスを、N/Aクラスの1サブクラスにサブクラスマージし、アクティビティサブクラスを、N/Aクラスの1サブクラスにサブクラスマージすることにより得ることができる。
【０８１０】
マージパターン(2, 1, 1)のマージクラス数は、サブクラスマージ後の傾斜強度比サブクラス、方向サブクラス、及び、アクティビティサブクラスそれぞれのサブクラス数2, 1, 1から、1×(1×(2−1)＋1)＝2と求めることができる。
【０８１１】
図８３は、サブクラスマージ後の傾斜強度比サブクラス、方向サブクラス、及び、アクティビティサブクラスそれぞれのサブクラス数が1, 2, 1の組み合わせ(1, 2, 1)に対応するマージパターン(1, 2, 1)と、そのマージパターン(1, 2, 1)が得られるサブクラスマージとを示す図である。
【０８１２】
サブクラスマージ後の傾斜強度比サブクラス、方向サブクラス、及び、アクティビティサブクラスそれぞれのサブクラス数が1, 2, 1である場合は、傾斜強度比サブクラスが1サブクラス（N/Aクラス）にマージされ、D0/D1クラス又はH/Vクラスに分類される方向サブクラス分類が行われる場合に該当する。傾斜強度比サブクラスが1サブクラスにマージされ、D0/D1クラス又はH/Vクラスに分類される方向サブクラス分類が行われる場合、図３６で説明したように、方向サブクラス分類は無効であり、そのような方向サブクラス分類により行われるクラス分類となるマージパターンも、無効である。本技術では、無効なマージパターンは使用しない。
【０８１３】
サブクラスマージ後の傾斜強度比サブクラス、方向サブクラス、及び、アクティビティサブクラスそれぞれのサブクラス数が1, 1, 1の組み合わせ(1, 1, 1)に対応するマージパターン(1, 1, 1)と、そのマージパターン(1, 1, 1)が得られるサブクラスマージとは、図５５に示した通りである。
【０８１４】
＜サブクラス数の組み合わせを伝送するシンタクス＞
【０８１５】
図８４は、サブクラス数の組み合わせを伝送するシンタクスの例を示す図である。
【０８１６】
採用マージパターン(Na, Nb, Nc)を、サブクラス数による特定法により特定する場合、採用マージパターン(Na, Nb, Nc)を特定するサブクラス数の組み合わせ（以下、採用組み合わせともいう）(Na, Nb, Nc)を、符号化装置から復号装置に伝送する必要がある。
【０８１７】
図８４において、alf_dirRatio_minus1, alf_dir_minus1, alf_act_var_minus1は、採用マージパターンが得られるサブクラスマージ後の傾斜強度比サブクラス、方向サブクラス、及び、アクティビティサブクラスのサブクラス数Na, Nb, Ncを表す。
【０８１８】
すなわち、alf_dirRatio_minus1には、採用マージパターンが得られるサブクラスマージ後の傾斜強度比サブクラスのサブクラス数Na-1がセットされる。alf_dir_minus1には、採用マージパターンが得られるサブクラスマージ後の方向サブクラスのサブクラス数Nb-1がセットされる。alf_act_var_minus1には、採用マージパターンが得られるサブクラスマージ後のアクティビティサブクラスのサブクラス数Nc-1がセットされる。
【０８１９】
傾斜強度比サブクラスのサブクラス数は、1ないし3のいずれかであり、方向サブクラスのサブクラス数は、1又は2であり、アクティビティサブクラスのサブクラス数は、1ないし5のいずれかである。したがって、傾斜強度比サブクラス、方向サブクラス、及び、アクティビティサブクラスのサブクラス数を表すalf_dirRatio_minus1, alf_dir_minus1, alf_act_var_minus1としては、それぞれ、2ビット、1ビット、3ビット（以上）の変数が採用される。
【０８２０】
図８４のシンタクスによれば、方向サブクラスのサブクラス数Nbを表すalf_dir_minus1は、傾斜強度比サブクラスのサブクラス数Naを表すalf_dirRatio_minus1が0より大である場合にのみ伝送される。
【０８２１】
すなわち、図３６等で説明したように、傾斜強度比サブクラスがN/Aクラスの1サブクラスにマージされる場合に、D0/D1クラス又はH/Vクラスに分類される方向サブクラス分類、ひいては、そのような方向サブクラス分類により行われるクラス分類となるマージパターン、つまり、傾斜強度比サブクラスのサブクラス数Naが1で、方向サブクラスのサブクラス数Nbが2のサブクラス数の組み合わせに対応するマージパターンは、無効であり、使用されない。
【０８２２】
したがって、採用組み合わせとなるサブクラス数の組み合わせは、傾斜強度比サブクラスのサブクラス数（傾斜強度比のサブクラス分類のサブクラスのサブクラス数）が1で、方向サブクラスのサブクラス数（directionのサブクラス分類のサブクラスのサブクラス数）が2以上の組み合わせを含まない。
【０８２３】
その結果、採用組み合わせ(Na, Nb, Nc)において、傾斜強度比サブクラスのサブクラス数Naが1である場合、方向サブクラスのサブクラス数Nbは、2であることはなく、必然的に1である。
【０８２４】
以上のように、傾斜強度比サブクラスのサブクラス数Naが1である場合には、方向サブクラスのサブクラス数Nbは、1であることが確定するので、方向サブクラスのサブクラス数Nbを伝送する必要はない。そして、方向サブクラスのサブクラス数Nbを伝送する必要がある場合は、傾斜強度比サブクラスのサブクラス数Naが、2以上である場合ということになる。
【０８２５】
そこで、図８４のシンタクスでは、傾斜強度比サブクラスのサブクラス数Naが2以上である場合（alf_dirRatio_minus1が0より大である場合）にのみ、方向サブクラスのサブクラス数Nb（を表すalf_dir_minus1）を伝送するように定義がされている。
【０８２６】
したがって、図８４のシンタクスにより伝送される採用組み合わせは、傾斜強度比サブクラスのサブクラス数Naが2以上である場合に、方向サブクラスのサブクラス数Nbを含む。
【０８２７】
図８４のシンタクスによれば、傾斜強度比サブクラスのサブクラス数Naが1である場合には、方向サブクラスのサブクラス数Nbを伝送せずに済むので、方向サブクラスのサブクラス数Nbを必ず伝送する場合に比較して、符号化効率を向上（改善）することができる。
【０８２８】
＜本技術を適用したクラス分類予測フィルタの構成例＞
【０８２９】
図８５は、本技術を適用したクラス分類予測フィルタの構成例を示すブロック図である。
【０８３０】
すなわち、図８５は、採用マージパターンを、サブクラス数による特定法により特定するクラス分類予測フィルタ４１０の構成例を示している。
【０８３１】
なお、図中、図５６のクラス分類予測フィルタ１１０と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０８３２】
図８５において、クラス分類予測フィルタ４１０は、クラス分類部１１１、タップ係数取得部１１３、予測部１１４、及び、マージ変換部４１２を有する。
【０８３３】
したがって、クラス分類予測フィルタ４１０は、クラス分類部１１１、タップ係数取得部１１３、及び、予測部１１４を有する点で、クラス分類予測フィルタ１１０と共通する。但し、クラス分類予測フィルタ４１０は、マージ変換部１１２に代えて、マージ変換部４１２を有する点で、クラス分類予測フィルタ１１０と相違する。
【０８３４】
マージ変換部４１２は、クラス分類部１１１からの注目画素の初期クラスを、サブクラスマージ後の傾斜強度比サブクラス、方向サブクラス、及び、アクティビティサブクラスのサブクラス数（傾斜強度比、direction、及び、アクティビティサムそれぞれのサブクラス分類のサブクラスのサブクラス数）の組み合わせごとに決まるマージパターン（以下、単に、サブクラス数の組み合わせごとに決まるマージパターンともいう）に従って、マージクラスに変換する。すなわち、マージ変換部４１２は、例えば、図３６で説明したサブクラス数の組み合わせごとに決まる（有効な）25パターンのマージパターンのうちの、採用組み合わせに対応するマージパターンに従って、注目画素の初期クラスを、マージクラスに変換する。マージ変換部４１２は、注目画素のマージクラスを、タップ係数取得部１１３に供給する。
【０８３５】
タップ係数取得部１１３では、マージクラスごとのタップ係数の中から、マージ変換部４１２からの注目画素のマージクラスのタップ係数が選択され、予測部１１４に供給される。そして、予測部１１４では、対象画像に、タップ係数取得部１１３からの注目画素のマージクラスのタップ係数を用いた予測式を適用する予測処理としてのフィルタ処理が行われ、そのフィルタ処理により生成されるフィルタ画像が出力される。
【０８３６】
クラス分類予測フィルタ４１０において、採用組み合わせ、及び、マージクラスごとのタップ係数は、外部からクラス分類予測フィルタ４１０に供給することができる。
【０８３７】
また、クラス分類予測フィルタ４１０には、タップ係数学習を行う学習部４２１を内蔵させることができる。学習部４２１を有するクラス分類予測フィルタ４１０は、学習機能付きのクラス分類予測フィルタ４１０であるということができる。
【０８３８】
学習部４２１では、教師画像及び生徒画像を用いて、マージクラスごとのタップ係数を求め、タップ係数取得部１１３に記憶させることができる。さらに、学習部４２１では、採用組み合わせを決定し、マージ変換部４１２に供給することができる。
【０８３９】
クラス分類予測フィルタ４１０が、符号化装置に適用される場合、教師画像として、符号化対象の元画像を採用するとともに、生徒画像として、元画像を符号化して局所復号することにより得られる復号画像を採用することができる。
【０８４０】
学習部４２１は、生徒画像としての復号画像を用いて、クラス分類部１１１と同様のクラス分類を行い、そのクラス分類により得られる初期クラスごとに、タップ係数と予測タップとで構成される予測式により求められる教師画像の予測値の予測誤差を統計的に最小にするタップ係数を最小自乗法により求めるタップ係数学習を行う。
【０８４１】
また、学習部４２１は、サブクラス数の組み合わせごとに決まるマージパターンとしてのサブクラス数の複数の組み合わせそれぞれに対応するマージパターンそれぞれを用いて、採用マージパターン数決定処理（図８）と同様の処理を行うことにより、サブクラス数の複数の組み合わせに対応するマージパターンのうちの、コスト（例えば、図８のステップＳ６７で求められるコストdist+lambda×coeffBit）が最小になるマージパターンを特定するサブクラス数の組み合わせを、採用組み合わせに決定する。
【０８４２】
さらに、学習部４２１は、採用マージパターン数決定処理（図８）で採用組み合わせを決定するコストを求めるためのフィルタ処理であるステップＳ６４の処理を行う前のステップＳ６３において、マージパターン決定処理（図５）のステップＳ３６及びＳ３７と同様の処理を行うことにより、採用組み合わせに対応するマージパターンに従って得られるマージクラスごとのタップ係数を求める。
【０８４３】
学習部４２１は、採用組み合わせを、マージ変換部４１２に供給し、採用組み合わせに対応するマージパターンに従って得られるマージクラスごとのタップ係数を、タップ係数取得部１１３に供給する。
【０８４４】
本技術を適用した符号化装置及び復号装置は、初期クラスのマージを、図３０ないし図３２のサブクラスマージにより行うことを共有する。そして、符号化装置は、サブクラスマージにより得られるマージパターンを特定するサブクラス数の複数の組み合わせから、採用組み合わせを決定し、復号装置に伝送する。復号装置は、符号化装置からの採用組み合わせからマージパターンを特定する。そして、復号装置は、初期クラス分類を行い、その初期クラス分類により得られる初期クラスを、採用組み合わせから特定されるマージパターン（採用組み合わせに対応するマージパターン）に従って、マージクラスに変換する。
【０８４５】
図８６は、図８５のクラス分類予測フィルタ４１０が行うクラス分類予測処理の例を説明するフローチャートである。
【０８４６】
ステップＳ４１１において、クラス分類部１１１は、対象画像としての復号画像の、注目画素に選択すべき画素を、順次、注目画素に選択し、処理は、ステップＳ４１２に進む。
【０８４７】
ステップＳ４１２では、クラス分類部１１１は、注目画素の初期クラス分類を行い、注目画素の初期クラスを求める。クラス分類部１１１は、注目画素の初期クラスを、マージ変換部４１２に供給して、処理は、ステップＳ４１２からステップＳ４１３に進む。
【０８４８】
ステップＳ４１３では、マージ変換部４１２は、採用組み合わせに対応するマージパターンに従って、クラス分類部１１１からの注目画素の初期クラスをマージクラスに変換する。マージ変換部４１２は、注目画素のマージクラスを、タップ係数取得部１１３に供給し、処理は、ステップＳ４１３からステップＳ４１４に進む。
【０８４９】
ステップＳ４１４では、タップ係数取得部１１３は、マージクラスごとのタップ係数の中から、マージ変換部４１２からの注目画素のマージクラスのタップ係数を取得し、処理は、ステップＳ４１５に進む。
【０８５０】
ステップＳ４１５では、予測部１１４は、復号画像に、タップ係数取得部１１３からの注目画素のマージクラスのタップ係数で構成される予測式を適用する予測処理としてのフィルタ処理を行う。
【０８５１】
すなわち、予測部１１４は、復号画像から、注目画素の予測タップとなる画素を選択し、その予測タップ及び注目画素のマージクラスのタップ係数を用いて構成される１次予測式を演算することにより、注目画素に対する元画像の画素（の画素値）の予測値を求める。そして、予測部１１４は、その予測値を画素値とする画像を生成し、フィルタ画像として出力して、クラス分類予測処理は終了する。
【０８５２】
＜本技術を適用した画像処理システムの一実施の形態＞
【０８５３】
図８７は、本技術を適用した画像処理システムの一実施の形態の概要を示すブロック図である。
【０８５４】
なお、図中、図５８と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０８５５】
図８７において、画像処理システムは、符号化装置４６０及び復号装置４７０を有する。
【０８５６】
符号化装置４６０は、符号化部１６１、局所復号部１６２、及び、フィルタ部４６３を有する。
【０８５７】
したがって、符号化装置４６０は、符号化部１６１及び局所復号部１６２を有する点で、図５８の符号化装置１６０と共通し、フィルタ部１６３に代えて、フィルタ部４６３を有する点で、符号化装置１６０と相違する。
【０８５８】
フィルタ部４６３は、例えば、学習機能付きのクラス分類予測フィルタ４１０（図８５）と同様に構成され、クラス分類部１６４及びマージ変換部４６５を含む。したがって、フィルタ部４６３は、クラス分類部１６４を有する点で、図５８のフィルタ部１６３と共通し、マージ変換部１６５に代えて、マージ変換部４６５を有する点で、フィルタ部１６３と相違する。
【０８５９】
フィルタ部４６３は、局所復号部１６２からの復号画像、及び、その復号画像に対する元画像を、生徒画像及び教師画像として用いてタップ係数学習を行い、クラスごとのタップ係数を求める。
【０８６０】
また、フィルタ部４６３は、サブクラスマージにより得られるサブクラス数の組み合わせごとに決まる（複数の）マージパターンを用いて、採用マージパターン数決定処理（図８）と同様の処理を行うことにより、サブクラスマージにより得られるサブクラス数の組み合わせのうちの、コストが最小になるマージパターンを特定するサブクラス数の組み合わせを、採用組み合わせに決定する。
【０８６１】
さらに、フィルタ部４６３は、採用組み合わせを決定するにあたり、タップ係数学習で求められた正規方程式（のX行列及びYベクトル）を利用して、マージパターン決定処理（図５）のステップＳ３６及びＳ３７と同様の処理を行うことにより、採用組み合わせに対応するマージパターンにより得られるマージクラスごとのタップ係数を求める。
【０８６２】
そして、フィルタ部４６３は、クラス分類部１６４において、局所復号部１６２からの復号画像を用いて、複数の特徴量のサブクラス分類により行われる初期クラス分類としての、例えば、GALFのクラス分類等を行い、注目画素の初期クラスを求める。さらに、フィルタ部４６３は、マージ変換部４６５において、採用組み合わせに対応するマージパターンに従って、注目画素の初期クラスを、マージクラスに変換する。そして、フィルタ部４６３は、マージ変換部４６５の変換により得られる注目画素のマージクラスのタップ係数と復号画像の画素との積和演算を行う予測式を復号画像に適用する予測処理としてのフィルタ処理を行う。
【０８６３】
フィルタ部４６３は、フィルタ処理により得られるフィルタ画像を、符号化部１６１及び局所復号部１６２に供給する。さらに、フィルタ部４６３は、採用組み合わせ、及び、その採用組み合わせに対応するマージパターンに従った初期クラスの変換により得られるマージクラスごとのタップ係数を、フィルタ情報として、符号化部１６１に供給する。
【０８６４】
なお、ここでは、符号化装置４６０において、サブクラスマージにより得られるマージパターン（図３６のサブクラス数の30種類の組み合わせに対応するマージパターンのうちの25パターンの有効なマージパターン）のうちの、コストが最小になるマージパターンを特定するサブクラス数の組み合わせを、採用組み合わせに決定することとしたが、採用組み合わせは、あらかじめサブクラスマージにより得られるマージパターンのうちの、特定のマージパターンを特定するサブクラス数の組み合わせを、採用組み合わせにあらかじめ決定しておくことができる。この場合、採用組み合わせを決定するために、コストを求める必要がないので、符号化装置４６０の処理量を削減することができる。
【０８６５】
以上のように、採用組み合わせをあらかじめ決定しておくことは、例えば、特に、符号化装置４６０の性能が高くない場合に有効である。
【０８６６】
復号装置４７０は、パース部１７１、復号部１７２、及び、フィルタ部４７３を有する。したがって、復号装置４７０は、パース部１７１及び復号部１７２を有する点で、図５８の復号装置１７０と共通し、フィルタ部１７３に代えて、フィルタ部４７３を有する点で、復号装置１７０と相違する。
【０８６７】
フィルタ部４７３は、例えば、学習機能付きでないクラス分類予測フィルタ４１０（図８５）と同様に構成され、クラス分類部１７４及びマージ変換部４７５を含む。したがって、フィルタ部４７３は、クラス分類部１７４を有する点で、図５８のフィルタ部１７３と共通し、マージ変換部１７５に代えて、マージ変換部４７５を有する点で、フィルタ部１７３と相違する。
【０８６８】
フィルタ部４７３は、復号部１７２からの復号画像に、フィルタ部４６３と同様のフィルタ処理を行い、フィルタ画像を生成して、復号部１７２に供給する。
【０８６９】
すなわち、フィルタ部４７３は、クラス分類部１７４において、復号部１７２からの復号画像を用いて、クラス分類部１６４と同一の初期クラス分類を行い、注目画素の初期クラスを求める。さらに、フィルタ部４７３は、マージ変換部４７５において、パース部１７１からのフィルタ情報に含まれる採用組み合わせに対応するマージパターンに従って、注目画素の初期クラスを、サブクラス分類のサブクラスをマージすることにより初期クラスをマージしたマージクラスに変換する。そして、フィルタ部４７３は、マージ変換部４７５の変換により得られる注目画素のマージクラスのタップ係数と復号画像の画素との積和演算を行う予測式を復号画像に適用する予測処理としてのフィルタ処理を行う。フィルタ処理に用いられる注目画素のマージクラスのタップ係数は、パース部１７１からのフィルタ情報に含まれるマージクラスごとのタップ係数から取得される。
【０８７０】
フィルタ部４７３は、フィルタ処理により得られるフィルタ画像を、復号部１７２に供給するとともに、元画像を復号した最終的な復号画像として出力する。
【０８７１】
図８８は、図８７の符号化装置４６０の符号化処理の概要を説明するフローチャートである。
【０８７２】
図８８のフローチャートに従った処理は、例えば、フレーム（ピクチャ）単位で行われる。
【０８７３】
ステップＳ４６１ないしＳ４６３において、図５９のステップＳ１６１ないしＳ１６３とそれぞれ同様の処理が行われる。そして、ステップＳ４６３において、初期クラスごとのタップ係数が求められた後、処理は、ステップＳ４６４に進む。
【０８７４】
ステップＳ４６４では、フィルタ部４６３は、サブクラスマージにより得られるマージパターンを特定するサブクラス数の複数の組み合わせ（例えば、図３６で説明した25パターンの有効なマージパターンそれぞれを特定するサブクラス数の組み合わせ）それぞれについて、サブクラス数の組み合わせに対応するマージパターンに従った初期クラスのマージを行い、初期クラスごとのタップ係数を求めるタップ係数学習で得られた正規方程式（のX行列及びYベクトル）を利用して、初期クラスを、組み合わせに対応するマージパターンに従ってマージしたマージクラスごとのタップ係数を、図５のステップＳ３６及びＳ３７で説明したようにして求める。さらに、フィルタ部４６３は、マージクラスごとのタップ係数を用いて、コストが最小になるマージパターンを特定するサブクラス数の組み合わせを、採用組み合わせに決定し、処理は、ステップＳ４６４からステップＳ４６５に進む。
【０８７５】
ステップＳ４６５では、フィルタ部４６３のクラス分類部１６４は、局所復号部１６２からの復号画像の注目画素の初期クラス分類を行い、処理は、ステップＳ４６６に進む。
【０８７６】
ステップＳ４６６では、フィルタ部４６３のマージ変換部４６５は、クラス分類部１６４のクラス分類により得られる注目画素の初期クラスを、採用組み合わせに対応するマージパターンに従って、マージクラスに変換し、処理は、ステップＳ４６７に進む。
【０８７７】
ステップＳ４６７では、フィルタ部４６３は、ステップＳ４６４で求められたマージクラスごとのタップ係数のうちの、注目画素のマージクラスのタップ係数と復号画像の画素との積和演算を行う予測式を復号画像に適用する予測処理としてのフィルタ処理を行い、フィルタ画像を生成する。フィルタ画像は、フィルタ部４６３から、符号化部１６１及び局所復号部１６２に供給される。フィルタ部４６３から符号化部１６１及び局所復号部１６２に供給されるフィルタ画像は、次のフレームを対象として行われるステップＳ４６１及びＳ４６２の処理で用いられる。
【０８７８】
また、フィルタ部４６３は、採用組み合わせ、及び、マージクラスごとのタップ係数を、フィルタ情報として、符号化部１６１に供給する。
【０８７９】
その後、処理は、ステップＳ４６７からステップＳ４６８に進み、符号化部１６１は、ステップＳ４６１で得られた符号化データと、フィルタ部４６３で得られたフィルタ情報としての採用組み合わせ、及び、マージクラスごとのタップ係数とを含む符号化ビットストリームを生成して伝送する。
【０８８０】
図８９は、図８７の復号装置４７０の復号処理の概要を説明するフローチャートである。
【０８８１】
図８９のフローチャートに従った処理は、例えば、図８８の符号化処理と同様に、フレーム単位で行われる。
【０８８２】
ステップＳ４８１において、パース部１７１（図８７）は、符号化装置４６０から伝送されてくる符号化ビットストリームを受信し、符号化ビットストリームに含まれるフィルタ情報としての採用組み合わせ、及び、マージクラスごとのタップ係数をパースして、フィルタ部４７３に供給する。さらに、パース部１７１は、符号化ビットストリームに含まれる符号化データを、復号部１７２に供給し、処理は、ステップＳ４８１からステップＳ４８２に進む。
【０８８３】
ステップＳ４８２では、復号部１７２は、パース部１７１からの符号化データの復号を、フィルタ部４７３からのフィルタ画像を用いて行い、その結果得られる復号画像を、フィルタ部４７３に供給して、処理は、ステップＳ４８３に進む。
【０８８４】
ステップＳ４８３では、フィルタ部４７３のクラス分類部１７４は、復号部１７２からの復号画像の注目画素に対して、初期クラス分類を行い、処理は、ステップＳ４８４に進む。
【０８８５】
ステップＳ４８４では、フィルタ部４７３のマージ変換部４７５は、クラス分類部１７４のクラス分類により得られる注目画素の初期クラスを、パース部１７１からの採用組み合わせに対応するマージパターンに従って、マージクラスに変換し、処理は、ステップＳ４８５に進む。
【０８８６】
ステップＳ４８５では、フィルタ部４７３は、パース部１７１からのマージクラスごとのタップ係数を用いて、復号部１７２からの復号画像に、クラス分類予測処理としてのフィルタ処理を行い、フィルタ画像を生成する。
【０８８７】
フィルタ画像は、フィルタ部４７３から復号部１７２に供給されるとともに、元画像を復号した最終的な復号画像として出力される。
【０８８８】
フィルタ部４７３から復号部１７２に供給されるフィルタ画像は、復号画像の次のフレームを対象として行われるステップＳ４８２の処理で用いられる。
【０８８９】
なお、ここでは、初期クラスをマージクラスに変換するマージパターン（採用マージパターン）をシグナリングする方法として、採用組み合わせを符号化ビットストリームに含めて伝送する方法を採用したが、採用マージパターンをシグナリングする方法としては、GALFの場合と同様に、採用組み合わせとともに、又は、採用組み合わせに代えて、採用マージパターンを、符号化ビットストリームに含めて伝送する方法を採用することができる。但し、採用組み合わせを伝送する方が、採用マージパターンを伝送する場合よりも、オーバーヘッドを小さくすることができる。一方、採用マージパターンを伝送する場合には、GALFのクラス分類と同様のシンタクスを採用することができる。
【０８９０】
＜符号化装置４６０の構成例＞
【０８９１】
図９０は、図８７の符号化装置４６０の詳細な構成例を示すブロック図である。
【０８９２】
なお、図中、図６１の符号化装置１６０と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０８９３】
図９０において、符号化装置４６０は、A/D変換部２０１、並べ替えバッファ２０２、演算部２０３、直交変換部２０４、量子化部２０５、可逆符号化部２０６、及び、蓄積バッファ２０７を有する。さらに、符号化装置４６０は、逆量子化部２０８、逆直交変換部２０９、演算部２１０、フレームメモリ２１２、選択部２１３、イントラ予測部２１４、動き予測補償部２１５、予測画像選択部２１６、レート制御部２１７、及び、ILF５１１を有する。
【０８９４】
したがって、符号化装置４６０は、A/D変換部２０１ないし演算部２１０、及び、フレームメモリ２１２ないしレート制御部２１７を有する点で、図６１の符号化装置１６０と共通する。但し、符号化装置４６０は、ILF２１１に代えて、ILF５１１を有する点で、符号化装置１６０と相違する。
【０８９５】
ILF５１１は、例えば、学習機能付きのクラス分類予測フィルタ４１０（図８５）と同様に構成され、クラス分類予測処理としてのフィルタ処理を行うことで、デブロッキングフィルタ、適応オフセットフィルタ、バイラテラルフィルタ、ALFのうちの１つ、又は、２以上のフィルタとして機能する。ILF５１１を、デブロッキングフィルタ、適応オフセットフィルタ、バイラテラルフィルタ、及び、ALFのうちの２以上のフィルタとして機能させる場合、その２以上のフィルタの配置順は任意である。
【０８９６】
ILF５１１には、演算部２１０から復号画像が供給される他、並べ替えバッファ２０２から、復号画像に対する元画像が供給される。
【０８９７】
ILF５１１は、例えば、演算部２１０からの復号画像、及び、並べ替えバッファ２０２からの元画像を、それぞれ生徒画像及び教師画像として用いて、タップ係数学習を行い、初期クラスごとのタップ係数を求める。タップ係数学習では、生徒画像としての復号画像を用いて、初期クラス分類が行われ、その初期クラス分類により得られる初期クラスごとに、タップ係数と予測タップとで構成される予測式により求められる教師画像としての元画像の予測値の予測誤差を統計的に最小にするタップ係数が、最小自乗法により求められる。
【０８９８】
ILF５１１は、サブクラスマージにより得られる複数のマージパターン（例えば、図３６で説明した25パターンの有効なマージパターンそれぞれを特定するサブクラス数の組み合わせ）それぞれを用いて、採用マージパターン数決定処理（図８）と同様の処理を行うことにより、サブクラスマージにより得られる複数のマージパターンのうちの、コスト（例えば、図８のステップＳ６７で求められるコストdist+lambda×coeffBit）が最小になるマージパターンを特定するサブクラス数の組み合わせを、採用組み合わせに決定する。
【０８９９】
なお、ILF５１１において、採用マージパターン数決定処理（図８）で採用組み合わせを決定するコストを求めるためのフィルタ処理であるステップＳ６４の処理を行う前のステップＳ６３では、マージパターン決定処理（図５）のステップＳ３６及びＳ３７と同様に、タップ係数学習で初期クラスごとのタップ係数を求めるときにたてられる正規方程式（のX行列及びYベクトル）を利用して、サブクラスマージにより得られる複数のマージパターンそれぞれについて、マージクラスごとのタップ係数が求められる。
【０９００】
ILF５１１は、採用組み合わせと、採用組み合わせに対応するマージパターンに従った初期クラスの変換により得られるマージクラスごとのタップ係数とを、フィルタ情報として、可逆符号化部２０６に供給する。
【０９０１】
さらに、ILF５１１は、例えば、演算部２１０からの復号画像の画素を、順次、注目画素に選択する。ILF５１１は、注目画素に対して、初期クラス分類を行い、注目画素の初期クラスを求める。
【０９０２】
さらに、ILF５１１は、注目画素の初期クラスを、採用組み合わせに対応するマージパターンに従って、マージクラスに変換する。ILF５１１は、採用組み合わせに対応するマージパターンに従った変換により得られるマージクラスごとのタップ係数のうちの、注目画素のマージクラスのタップ係数を取得する（読み出す）。そして、ILF５１１は、復号画像から、注目画素の近傍の画素を予測タップとして選択し、注目画素のマージクラスのタップ係数と予測タップとしての復号画像の画素との積和演算を行う予測式を復号画像に適用する予測処理としてのフィルタ処理を行い、フィルタ画像を生成する。なお、ILF５１１でのクラス分類では、例えば、復号画像の2×2画素の左上の画素のクラス分類で得られたクラスを、その2×2画素それぞれのクラスとして採用することができる。
【０９０３】
ILF５１１で生成されたフィルタ画像は、フレームメモリ２１２に供給される。
【０９０４】
なお、図９０において、演算部２０３ないし可逆符号化部２０６が図８７の符号化部１６１に、逆量子化部２０８ないし演算部２１０が図８７の局所復号部１６２に、ILF５１１が図８７のフィルタ部４６３に、それぞれ相当する。
【０９０５】
＜符号化処理＞
【０９０６】
図９１は、図９０の符号化装置４６０の符号化処理の例を説明するフローチャートである。
【０９０７】
符号化装置４６０において、ILF５１１は、演算部２１０から供給される復号画像を一時記憶するとともに、並べ替えバッファ２０２から供給される、演算部２１０からの復号画像に対する元画像を一時記憶する。
【０９０８】
そして、ステップＳ５０１及びＳ５０２において、図６２のステップＳ２０１及びＳ２０２とそれぞれ同様の処理が行われる。
【０９０９】
その後、ステップＳ５０３において、ILF５１１は、サブクラスマージにより得られる複数のマージパターンそれぞれを特定するサブクラス数の複数の組み合わせそれぞれについて、初期クラスをサブクラス数の組み合わせに対応するマージパターンに従ってマージすることによりマージクラスに変換し、図５のステップＳ３６及びＳ３７と同様に、タップ係数学習でたてられた正規方程式を利用して、マージクラスごとのタップ係数を求める。
【０９１０】
さらに、ILF５１１は、サブクラス数の複数の組み合わせそれぞれについて、マージクラスごとのタップ係数を用いてフィルタ処理を行うことにより、コストを求める。そして、ILF５１１は、サブクラス数の複数の組み合わせのうちのコストが最小になるサブクラス数の組み合わせを、採用組み合わせに決定し、処理は、ステップＳ５０３からステップＳ５０４に進む。
【０９１１】
ステップＳ５０４では、ILF５１１は、採用組み合わせと、採用組み合わせに対応するマージパターンに従った初期クラスの変換により得られるマージクラスごとのタップ係数とを、フィルタ情報として、可逆符号化部２０６に供給する。可逆符号化部２０６は、ILF５１１からのフィルタ情報を、伝送対象に設定して、処理は、ステップＳ５０４からステップＳ５０５に進む。伝送対象に設定されたフィルタ情報は、後述するステップＳ５０６で行われる予測符号化処理において符号化ビットストリームに含められて伝送される。
【０９１２】
ステップＳ５０５では、ILF５１１が、最新のステップＳ５０３で決定された採用組み合わせ及び採用組み合わせに対応するマージパターンに従った初期クラスの変換により得られるマージクラスごとのタップ係数によって、クラス分類予測処理に用いる採用組み合わせ及びタップ係数を更新し、処理は、ステップＳ５０６に進む。
【０９１３】
ステップＳ５０６では、元画像の予測符号化処理が行われ、符号化処理は終了する。
【０９１４】
図９２は、図９１のステップＳ５０６の予測符号化処理の例を説明するフローチャートである。
【０９１５】
予測符号化処理では、ステップＳ５１１ないしＳ５２１において、図６３のステップＳ２１１ないしＳ２２１とそれぞれ同様の処理が行われる。
【０９１６】
そして、ステップＳ５２２では、ILF５１１は、演算部２１０からの復号画像に、クラス分類予測処理としてのフィルタ処理を施し、そのフィルタ処理により得られるフィルタ画像を、フレームメモリ２１２に供給して、処理は、ステップＳ５２２からステップＳ５２３に進む。
【０９１７】
ステップＳ５２２のクラス分類予測処理では、クラス分類予測フィルタ４１０（図８５）と同様の処理が行われる。
【０９１８】
すなわち、ILF５１１は、演算部２１０からの復号画像の注目画素に対して、初期クラス分類を行い、注目画素の初期クラスを求める。さらに、ILF５１１は、注目画素の初期クラスを、図９１のステップＳ５０５で更新された採用組み合わせに対応するマージパターンに従って、マージクラスに変換する。ILF５１１は、図９１のステップＳ５０５で更新されたマージクラスごとのタップ係数から、注目画素のマージクラスのタップ係数を取得する。その後、ILF５１１は、復号画像に、注目画素のマージクラスのタップ係数を用いて構成される予測式を適用する予測処理としてのフィルタ処理を行い、フィルタ画像を生成する。フィルタ画像は、ILF５１１からフレームメモリ２１２に供給される。
【０９１９】
その後、ステップＳ５２３ないしＳ５２６において、図６３のステップＳ２２３ないしＳ２２６とそれぞれ同様の処理が行われる。
【０９２０】
＜復号装置４７０の構成例＞
【０９２１】
図９３は、図８７の復号装置４７０の詳細な構成例を示すブロック図である。
【０９２２】
なお、図中、図６４の復号装置１７０と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０９２３】
図９３において、復号装置４７０は、蓄積バッファ３０１、可逆復号部３０２、逆量子化部３０３、逆直交変換部３０４、演算部３０５、並べ替えバッファ３０７、D/A変換部３０８、及び、ILF６０６を有する。また、復号装置４７０は、フレームメモリ３１０、選択部３１１、イントラ予測部３１２、動き予測補償部３１３、及び、選択部３１４を有する。
【０９２４】
したがって、復号装置４７０は、蓄積バッファ３０１ないし演算部３０５、並べ替えバッファ３０７、D/A変換部３０８、フレームメモリ３１０ないし選択部３１４を有する点で、図６４の復号装置１７０と共通する。但し、復号装置４７０は、ILF３０６に代えて、ILF６０６を有する点で、復号装置１７０と相違する。
【０９２５】
ILF６０６は、例えば、学習機能付きでないクラス分類予測フィルタ４１０（図８５）と同様に構成され、クラス分類予測処理としてのフィルタ処理を行うことで、図９０のILF５１１と同様に、デブロッキングフィルタ、適応オフセットフィルタ、バイラテラルフィルタ、ALFのうちの１つ、又は、２以上のフィルタとして機能する。
【０９２６】
ILF６０６は、演算部３０５からの復号画像の画素を、順次、注目画素に選択する。ILF６０６は、初期クラス分類を注目画素に対して行い、注目画素の初期クラスを求める。さらに、ILF５１１は、注目画素の初期クラスを、サブクラス数の組み合わせごとに決まるマージパターンのうちの、可逆復号部３０２から供給されるフィルタ情報に含まれる採用組み合わせに対応するマージパターンに従って、マージクラスに変換する。ILF６０６は、可逆復号部３０２から供給されるフィルタ情報に含まれるマージクラスごとのタップ係数のうちの、注目画素のマージクラスのタップ係数を取得する。そして、ILF６０６は、復号画像から、注目画素の近傍の画素を予測タップとして選択し、注目画素のクラスのタップ係数と予測タップとしての復号画像の画素との積和演算を行う予測式を復号画像に適用する予測処理としてのフィルタ処理を行い、フィルタ画像を生成して出力する。なお、ILF６０６でのクラス分類では、例えば、ILF５１１と同様に、2×2画素の左上の画素のクラス分類で得られたクラスを、その2×2画素それぞれのクラスとして採用することができる。
【０９２７】
ILF６０６が出力するフィルタ画像は、図９０のILF５１１が出力するフィルタ画像と同様の画像であり、並べ替えバッファ３０７及びフレームメモリ３１０に供給される。
【０９２８】
なお、図９３において、可逆復号部３０２が図８７のパース部１７１に、逆量子化部３０３ないし演算部３０５が図８７の復号部１７２に、ILF６０６が図８７のフィルタ部４７３に、それぞれ相当する。
【０９２９】
＜復号処理＞
【０９３０】
図９４は、図９３の復号装置４７０の復号処理の例を説明するフローチャートである。
【０９３１】
復号処理では、ステップＳ６０１において、蓄積バッファ３０１は、符号化装置４６０から伝送されてくる符号化ビットストリームを一時蓄積し、適宜、可逆復号部３０２に供給して、処理は、ステップＳ６０２に進む。
【０９３２】
ステップＳ６０２では、可逆復号部３０２は、蓄積バッファ３０１から供給される符号化ビットストリームを受け取って復号し、符号化ビットストリームの復号結果に含まれる符号化データとしての量子化係数を、逆量子化部３０３に供給する。
【０９３３】
また、可逆復号部３０２は、符号化ビットストリームの復号結果に、フィルタ情報や符号化情報が含まれる場合には、そのフィルタ情報や符号化情報をパースする。そして、可逆復号部３０２は、必要な符号化情報を、イントラ予測部３１２や動き予測補償部３１３その他の必要なブロックに供給する。また、可逆復号部３０２は、フィルタ情報を、ILF６０６に供給する。
【０９３４】
その後、処理は、ステップＳ６０２からステップＳ６０３に進み、ILF６０６は、可逆復号部３０２から採用組み合わせ及び採用組み合わせに対応するマージパターンに従った初期クラスの変換により得られるマージクラスごとのタップ係数を含むフィルタ情報が供給されたかどうかを判定する。
【０９３５】
ステップＳ６０３において、フィルタ情報が供給されていないと判定された場合、処理は、ステップＳ６０４をスキップして、ステップＳ６０５に進む。
【０９３６】
また、ステップＳ６０３において、フィルタ情報が供給されたと判定された場合、処理は、ステップＳ６０４に進み、ILF６０６は、可逆復号部３０２からのフィルタ情報に含まれる採用組み合わせ及び採用組み合わせに対応するマージパターンに従った初期クラスの変換により得られるマージクラスごとのタップ係数を取得する。さらに、ILF６０６は、可逆復号部３０２からのフィルタ情報から取得した採用組み合わせ及び採用組み合わせに対応するマージパターンに従った初期クラスの変換により得られるマージクラスごとのタップ係数によって、クラス分類予測処理に用いる採用組み合わせ及びタップ係数を更新する。
【０９３７】
そして、処理は、ステップＳ６０４からステップＳ６０５に進み、予測復号処理が行われ、復号処理は終了する。
【０９３８】
図９５は、図９４のステップＳ６０５の予測復号処理の例を説明するフローチャートである。
【０９３９】
ステップＳ６１１ないしＳ６１５において、図６６のステップＳ３１１ないしＳ３１５とそれぞれ同様の処理が行われる。
【０９４０】
そして、ステップＳ６１６では、ILF６０６は、演算部３０５からの復号画像に、クラス分類予測処理としてのフィルタ処理を施し、そのフィルタ処理により得られるフィルタ画像を、並べ替えバッファ３０７及びフレームメモリ３１０に供給して、処理は、ステップＳ６１６からステップＳ６１７に進む。
【０９４１】
ステップＳ６１６のクラス分類予測処理では、クラス分類予測フィルタ４１０（図８５）と同様の処理が行われる。
【０９４２】
すなわち、ILF６０６は、演算部３０５からの復号画像の注目画素に対して、ILF５１１と同一の初期クラス分類を行い、注目画素の初期クラスを求める。さらに、ILF６０６は、注目画素の初期クラスを、サブクラス数の組み合わせごとに決まるマージパターンのうちの、図９４のステップＳ６０４で更新された採用組み合わせに対応するマージパターンに従って、マージクラスに変換する。ILF６０６は、図９４のステップＳ６０４で更新されたマージクラスごとのタップ係数のうちの、注目画素のマージクラスのタップ係数を取得する。その後、ILF６０６は、復号画像に、注目画素のマージクラスのタップ係数で構成される予測式を適用する予測処理としてのフィルタ処理を行い、フィルタ画像を生成する。フィルタ画像は、ILF６０６から並べ替えバッファ３０７及びフレームメモリ３１０に供給される。
【０９４３】
その後、ステップＳ６１７ないしＳ６１９において、図６６のステップＳ３１７ないしＳ３１９とそれぞれ同様の処理が行われる。
【０９４４】
以上、本技術を、初期クラス分類として、GALFのクラス分類を採用する場合について説明したが、本技術は、GALFのクラス分類以外の、複数の特徴量のサブクラス分類により行
【０９４５】
例えば、図２４及び図２５で説明した傾斜方向の信頼度を用いたクラス分類は、複数の特徴量としての傾斜強度比、direction、アクティビティサム、及び、傾斜方向の信頼度のサブクラス分類により行われるクラス分類であるということができる。したがって、本技術は、図２４及び図２５で説明した傾斜方向の信頼度を用いたクラス分類を、初期クラス分類として採用する場合に適用することができる。
【０９４６】
なお、クラス分類予測フィルタ１１０（図５６）は、ILF２１１及びILF３０６の他、例えば、符号化装置１６０（図６１）や復号装置１７０（図６４）において、動き予測補償部２１５及び動き予測補償部３１３の予測画像の生成に用いられる補間フィルタ等に適用することができる。クラス分類予測フィルタ４１０（図８６）についても、同様である。
【０９４７】
＜本技術を適用したコンピュータの説明＞
【０９４８】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０９４９】
図９６は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
【０９５０】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク９０５やROM９０３に予め記録しておくことができる。
【０９５１】
あるいはまた、プログラムは、リムーバブル記録媒体９１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体９１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体９１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０９５２】
なお、プログラムは、上述したようなリムーバブル記録媒体９１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク９０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０９５３】
コンピュータは、CPU(Central Processing Unit)９０２を内蔵しており、CPU９０２には、バス９０１を介して、入出力インタフェース９１０が接続されている。
【０９５４】
CPU９０２は、入出力インタフェース９１０を介して、ユーザによって、入力部９０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)９０３に格納されているプログラムを実行する。あるいは、CPU９０２は、ハードディスク９０５に格納されたプログラムを、RAM(Random Access Memory)９０４にロードして実行する。
【０９５５】
これにより、CPU９０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU９０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース９１０を介して、出力部９０６から出力、あるいは、通信部９０８から送信、さらには、ハードディスク９０５に記録等させる。
【０９５６】
なお、入力部９０７は、キーボードや、マウス、マイク等で構成される。また、出力部９０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０９５７】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０９５８】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０９５９】
さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０９６０】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０９６１】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０９６２】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０９６３】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０９６４】
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【０９６５】
＜本技術の適用対象＞
本技術は、任意の画像符号化・復号方式に適用することができる。つまり、上述した本技術と矛盾しない限り、変換（逆変換）、量子化（逆量子化）、符号化（復号）、予測等、画像符号化・復号に関する各種処理の仕様は任意であり、上述した例に限定されない。また、上述した本技術と矛盾しない限り、これらの処理の内の一部を省略してもよい。
【０９６６】
＜処理単位＞
以上において説明した各種情報が設定されるデータ単位や、各種処理が対象とするデータ単位は、それぞれ任意であり上述した例に限定されない。例えば、これらの情報や処理が、それぞれ、TU（Transform Unit）、TB(Transform Block)、PU（Prediction Unit）、PB(Prediction Block)、CU（Coding Unit）、LCU（Largest Coding Unit）、サブブロック、ブロック、タイル、スライス、ピクチャ、シーケンス、またはコンポーネント毎に設定されるようにしてもよいし、それらのデータ単位のデータを対象とするようにしてもよい。もちろん、このデータ単位は、情報や処理毎に設定され得るものであり、全ての情報や処理のデータ単位が統一されている必要はない。なお、これらの情報の格納場所は任意であり、上述したデータ単位のヘッダやパラメータセット等に格納されるようにしてもよい。また、複数個所に格納されるようにしてもよい。
【０９６７】
＜制御情報＞
以上の各実施の形態において説明した本技術に関する制御情報を符号化側から復号側に伝送するようにしてもよい。例えば、上述した本技術を適用することを許可（または禁止）するか否かを制御する制御情報（例えばenabled_flag）を伝送するようにしてもよい。また、例えば、上述した本技術を適用する対象（または適用しない対象）を示す制御情報を伝送するようにしてもよい。例えば、本技術を適用する（または、適用を許可若しくは禁止する）ブロックサイズ（上限若しくは下限、またはその両方）、フレーム、コンポーネント、またはレイヤ等を指定する制御情報を伝送するようにしてもよい。
【０９６８】
＜ブロックサイズ情報＞
本技術を適用するブロックのサイズを指定するに当たって、直接的にブロックサイズを指定するだけでなく、間接的にブロックサイズを指定するようにしてもよい。例えばサイズを識別する識別情報を用いてブロックサイズを指定するようにしてもよい。また、例えば、基準となるブロック（例えばLCUやSCU等）のサイズとの比または差分によってブロックサイズを指定するようにしてもよい。例えば、シンタックス要素等としてブロックサイズを指定する情報を伝送する場合に、その情報として、上述のような間接的にサイズを指定する情報を用いるようにしてもよい。このようにすることにより、その情報の情報量を低減させることができ、符号化効率を向上させることができる場合もある。また、このブロックサイズの指定には、ブロックサイズの範囲の指定（例えば、許容されるブロックサイズの範囲の指定等）も含む。
【０９６９】
＜その他＞
なお、本明細書において「フラグ」とは、複数の状態を識別するための情報であり、真(1)または偽(0)の２状態を識別する際に用いる情報だけでなく、３以上の状態を識別することが可能な情報も含まれる。したがって、この「フラグ」が取り得る値は、例えば1/0の２値であってもよいし、３値以上であってもよい。すなわち、この「フラグ」を構成するbit数は任意であり、1bitでも複数bitでもよい。また、識別情報（フラグも含む）は、その識別情報をビットストリームに含める形だけでなく、ある基準となる情報に対する識別情報の差分情報をビットストリームに含める形も想定されるため、本明細書においては、「フラグ」や「識別情報」は、その情報だけではなく、基準となる情報に対する差分情報も包含する。
【符号の説明】
【０９７０】
１０  クラス分類部，  １１０  クラス分類予測フィルタ，  １１１  クラス分類部，  １１２  マージ変換部，  １１３  タップ係数取得部，  １１４  予測部，  １２１  学習部，  １６０  符号化装置，  １６１  符号化部，  １６２  局所復号部，  １６３  フィルタ部，  １６４  クラス分類部，  １６５  マージ変換部，  １７０  復号装置，  １７１  パース部，  １７２  復号部，  １７３  フィルタ部，  １７４  クラス分類部，  １７５  マージ変換部，  ２０１  A/D変換部，  ２０２  並べ替えバッファ，  ２０３  演算部，  ２０４  直交変換部，  ２０５  量子化部，  ２０６  可逆符号化部，  ２０７  蓄積バッファ，  ２０８  逆量子化部，  ２０９  逆直交変換部，  ２１０  演算部，  ２１１  ILF，  ２１２  フレームメモリ，  ２１３  選択部，  ２１４  イントラ予測部，  ２１５  動き予測補償部，  ２１６  予測画像選択部，  ２１７  レート制御部，  ３０１  蓄積バッファ，  ３０２  可逆復号部，  ３０３  逆量子化部，  ３０４  逆直交変換部，  ３０５  演算部，  ３０６  ILF，  ３０７  並べ替えバッファ，  ３０８  D/A変換部，  ３１０  フレームメモリ，  ３１１  選択部，  ３１２  イントラ予測部，  ３１３  動き予測補償部，  ３１４  選択部，  ４１０  クラス分類予測フィルタ，  ４１２  マージ変換部，  ４２１  学習部，  ４６３  フィルタ部，  ４６５  マージ変換部，４７３  フィルタ部，  ４７５  マージ変換部，  ５１１，６０６  ILF，  ９０１  バス，  ９０２  CPU，  ９０３  ROM，  ９０４  RAM，  ９０５  ハードディスク，  ９０６  出力部，  ９０７  入力部，  ９０８  通信部，  ９０９  ドライブ，  ９１０  入出力インタフェース，  ９１１  リムーバブル記録媒体
【図１】
2022002353.tif 000003
【図２】
2022002353.tif 000004
【図３】
2022002353.tif 000005
【図４】
2022002353.tif 000006
【図５】
2022002353.tif 000007
【図６】
2022002353.tif 000008
【図７】
2022002353.tif 000009
【図８】
2022002353.tif 000010
【図９】
2022002353.tif 000011
【図１０】
2022002353.tif 000012
【図１１】
2022002353.tif 000013
【図１２】
2022002353.tif 000014
【図１３】
2022002353.tif 000015
【図１４】
2022002353.tif 000016
【図１５】
2022002353.tif 000017
【図１６】
2022002353.tif 000018
【図１７】
2022002353.tif 000019
【図１８】
2022002353.tif 000020
【図１９】
2022002353.tif 000021
【図２０】
2022002353.tif 000022
【図２１】
2022002353.tif 000023
【図２２】
2022002353.tif 000024
【図２３】
2022002353.tif 000025
【図２４】
2022002353.tif 000026
【図２５】
2022002353.tif 000027
【図２６】
2022002353.tif 000028
【図２７】
2022002353.tif 000029
【図２８】
2022002353.tif 000030
【図２９】
2022002353.tif 000031
【図３０】
2022002353.tif 000032
【図３１】
2022002353.tif 000033
【図３２】
2022002353.tif 000034
【図３３】
2022002353.tif 000035
【図３４】
2022002353.tif 000036
【図３５】
2022002353.tif 000037
【図３６】
2022002353.tif 000038
【図３７】
2022002353.tif 000039
【図３８】
2022002353.tif 000040
【図３９】
2022002353.tif 000041
【図４０】
2022002353.tif 000042
【図４１】
2022002353.tif 000043
【図４２】
2022002353.tif 000044
【図４３】
2022002353.tif 000045
【図４４】
2022002353.tif 000046
【図４５】
2022002353.tif 000047
【図４６】
2022002353.tif 000048
【図４７】
2022002353.tif 000049
【図４８】
2022002353.tif 000050
【図４９】
2022002353.tif 000051
【図５０】
2022002353.tif 000052
【図５１】
2022002353.tif 000053
【図５２】
2022002353.tif 000054
【図５３】
2022002353.tif 000055
【図５４】
2022002353.tif 000056
【図５５】
2022002353.tif 000057
【図５６】
2022002353.tif 000058
【図５７】
2022002353.tif 000059
【図５８】
2022002353.tif 000060
【図５９】
2022002353.tif 000061
【図６０】
2022002353.tif 000062
【図６１】
2022002353.tif 000063
【図６２】
2022002353.tif 000064
【図６３】
2022002353.tif 000065
【図６４】
2022002353.tif 000066
【図６５】
2022002353.tif 000067
【図６６】
2022002353.tif 000068
【図６７】
2022002353.tif 000069
【図６８】
2022002353.tif 000070
【図６９】
2022002353.tif 000071
【図７０】
2022002353.tif 000072
【図７１】
2022002353.tif 000073
【図７２】
2022002353.tif 000074
【図７３】
2022002353.tif 000075
【図７４】
2022002353.tif 000076
【図７５】
2022002353.tif 000077
【図７６】
2022002353.tif 000078
【図７７】
2022002353.tif 000079
【図７８】
2022002353.tif 000080
【図７９】
2022002353.tif 000081
【図８０】
2022002353.tif 000082
【図８１】
2022002353.tif 000083
【図８２】
2022002353.tif 000084
【図８３】
2022002353.tif 000085
【図８４】
2022002353.tif 000086
【図８５】
2022002353.tif 000087
【図８６】
2022002353.tif 000088
【図８７】
2022002353.tif 000089
【図８８】
2022002353.tif 000090
【図８９】
2022002353.tif 000091
【図９０】
2022002353.tif 000092
【図９１】
2022002353.tif 000093
【図９２】
2022002353.tif 000094
【図９３】
2022002353.tif 000095
【図９４】
2022002353.tif 000096
【図９５】
2022002353.tif 000097
【図９６】
2022002353.tif 000098