(57)【要約】  本技術は、画像を精度良く復元することができるようにする符号化装置、符号化方法、復号装置、及び、復号方法に関する。符号化装置は、局所復号された復号画像に、所定のタップ係数と復号画像の画素との積和演算を行う、２次以上の高次の高次項を含む予測式を適用するフィルタ処理を行い、フィルタ画像を生成する。さらに、符号化装置は、そのフィルタ画像を用いて、元画像を符号化する。復号装置は、符号化ビットストリームに含まれる符号化データを、フィルタ画像を用いて復号し、復号画像を生成する。さらに、復号装置は、復号画像に、予測式を適用するフィルタ処理を行い、フィルタ画像を生成する。本技術は、画像の符号化及び復号を行う場合に適用することができる。
2019107182.tif 000002
【特許請求の範囲】
【請求項１】
符号化ビットストリームに含まれる符号化データを、フィルタ画像を用いて復号し、復号画像を生成する復号部と、
前記復号部により生成された前記復号画像に、所定のタップ係数と前記復号画像の画素との積和演算を行う、２次以上の高次の高次項を含む予測式を適用するフィルタ処理を行い、前記フィルタ画像を生成するフィルタ部と
を備える復号装置。
【請求項２】
前記フィルタ部は、前記復号画像の画素のうちの注目画素について、前記予測式の演算に用いる予測タップとなる画素の候補としてあらかじめ決められた候補画素すべてを用いて構成される前記予測式である全通り予測式から選択された一部の項で構成される前記予測式である削減予測式を用いて、前記フィルタ処理を行う
請求項１に記載の復号装置。
【請求項３】
前記フィルタ部は、前記全通り予測式から選択された、前記注目画素に近い位置の画素の項で構成される前記削減予測式を用いて、前記フィルタ処理を行う
請求項２に記載の復号装置。
【請求項４】
前記符号化ビットストリームに含まれる前記削減予測式を構成する項を選択する選択パターンを表す選択情報をパースするパース部をさらに備え、
前記フィルタ部は、前記パース部によりパースされた前記選択情報が表す選択パターンの前記削減予測式を用いて、前記フィルタ処理を行う
請求項２に記載の復号装置。
【請求項５】
前記フィルタ部は、前記削減予測式を構成する項を選択する複数の選択パターンの中から、元画像の符号化に関する符号化情報に応じて決定された選択パターンに応じて選択された前記一部の項で構成される前記削減予測式を用いて、前記フィルタ処理を行う
請求項２に記載の復号装置。
【請求項６】
前記符号化ビットストリームに含まれる前記予測式の各次数の項のタップ係数を所定のビット数で表現する表現形式を表す形式情報をパースするパース部をさらに備え、
前記フィルタ部は、前記パース部によりパースされた前記形式情報が表す表現形式の前記タップ係数で構成される前記予測式を用いて、前記フィルタ処理を行う
請求項１に記載の復号装置。
【請求項７】
前記符号化ビットストリームに含まれる前記タップ係数をパースするパース部をさらに備え、
前記フィルタ部は、前記パース部によりパースされた前記タップ係数で構成される前記予測式を用いて、前記フィルタ処理を行う
請求項１に記載の復号装置。
【請求項８】
前記フィルタ部は、
前記復号画像の画素のうちの注目画素を、複数のクラスのうちのいずれかのクラスに分類するクラス分類を行い、
前記復号画像に、前記注目画素のクラスの前記タップ係数で構成される前記予測式を適用する前記フィルタ処理を行う
請求項１に記載の復号装置。
【請求項９】
前記復号部は、Quad-Tree Block Structure、または、QTBT（Quad Tree Plus Binary Tree） Block StructureのCU（Coding Unit）を処理単位として、前記符号化データを復号する
請求項１に記載の復号装置。
【請求項１０】
符号化ビットストリームに含まれる符号化データを、フィルタ画像を用いて復号し、復号画像を生成することと、
前記復号画像に、所定のタップ係数と前記復号画像の画素との積和演算を行う、２次以上の高次の高次項を含む予測式を適用するフィルタ処理を行い、前記フィルタ画像を生成することと
を含む復号方法。
【請求項１１】
局所復号された復号画像に、所定のタップ係数と前記復号画像の画素との積和演算を行う、２次以上の高次の高次項を含む予測式を適用するフィルタ処理を行い、フィルタ画像を生成するフィルタ部と、
前記フィルタ部により生成された前記フィルタ画像を用いて、元画像を符号化する符号化部と
を備える符号化装置。
【請求項１２】
前記フィルタ部は、前記復号画像の画素のうちの注目画素について、前記予測式の演算に用いる予測タップとなる画素の候補としてあらかじめ決められた候補画素すべてを用いて構成される前記予測式である全通り予測式から選択された一部の項で構成される前記予測式である削減予測式を用いて、前記フィルタ処理を行う
請求項１１に記載の符号化装置。
【請求項１３】
前記フィルタ部は、前記全通り予測式から選択された、前記注目画素に近い位置の画素の項で構成される前記削減予測式を用いて、前記フィルタ処理を行う
請求項１２に記載の符号化装置。
【請求項１４】
前記符号化部は、前記元画像を符号化することにより得られる符号化データと、前記削減予測式を構成する項を選択する選択パターンを表す選択情報とを含む符号化ビットストリームを生成する
請求項１２に記載の符号化装置。
【請求項１５】
前記フィルタ部は、前記削減予測式を構成する項を選択する複数の選択パターンの中から、前記元画像の符号化に関する符号化情報に応じて決定された選択パターンに応じて選択された前記一部の項で構成される前記削減予測式を用いて、前記フィルタ処理を行う
請求項１２に記載の符号化装置。
【請求項１６】
前記フィルタ部は、前記予測式の各次数の項のタップ係数を所定のビット数で表現する表現形式を、次数ごとに決定する
請求項１１に記載の符号化装置。
【請求項１７】
前記フィルタ部は、前記予測式の１次項のタップ係数の表現形式よりも、小数点以下を表すビット数が多い表現形式を、前記予測式の２次以上の高次項のタップ係数の表現形式に決定する
請求項１６に記載の符号化装置。
【請求項１８】
前記符号化部は、前記元画像を符号化することにより得られる符号化データと、前記表現形式を表す形式情報とを含む符号化ビットストリームを生成する
請求項１６に記載の符号化装置。
【請求項１９】
前記符号化部は、前記元画像を符号化することにより得られる符号化データと、前記タップ係数とを含む符号化ビットストリームを生成する
請求項１０に記載の符号化装置。
【請求項２０】
前記フィルタ部は、
前記復号画像と、前記復号画像に対する元画像とを用いて、前記復号画像に前記予測式を適用することにより得られる前記元画像の予測値の予測誤差を統計的に最小にする学習をクラスごとに行うことにより、複数のクラスそれぞれの前記タップ係数を求め、
前記復号画像の画素のうちの注目画素を、前記複数のクラスのうちのいずれかのクラスに分類するクラス分類を行い、
前記復号画像に、前記注目画素のクラスの前記タップ係数で構成される前記予測式を適用する前記フィルタ処理を行う
請求項１１に記載の符号化装置。
【請求項２１】
前記符号化部は、Quad-Tree Block Structure、または、QTBT（Quad Tree Plus Binary Tree） Block StructureのCU（Coding Unit）を処理単位として、前記元画像を符号化する
請求項１１に記載の符号化装置。
【請求項２２】
局所復号された復号画像に、所定のタップ係数と前記復号画像の画素との積和演算を行う、２次以上の高次の高次項を含む予測式を適用するフィルタ処理を行い、フィルタ画像を生成することと、
前記フィルタ画像を用いて、元画像を符号化することと
を含む符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、符号化装置、符号化方法、復号装置、及び、復号方法に関し、特に、例えば、画像を精度良く復元することができるようにする符号化装置、符号化方法、復号装置、及び、復号方法に関する。
【背景技術】
【０００２】
HEVC(High Efficiency Video Coding)の後継規格としてFVC(Future Video Coding)の標準化の開始に向けた作業が進められており、画像の符号化及び復号に用いるILF(In Loop Filter)として、デブロッキングフィルタ、適応オフセットフィルタに加えて、バイラテラルフィルタ(Bilateral Filter)、適応ループフィルタ(Adaptive Loop Filter)が検討されている（例えば、非特許文献１を参照）。【０００３】
また、既存の適応ループフィルタの改善するフィルタとして、GALF(Geometry Adaptive Loop Filter)が提案されている（例えば、非特許文献２を参照)。 
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Algorithm description of Joint Exploration Test Model 7 (JEM7), 2017-08-19
【非特許文献２】Marta Karczewicz, Li Zhang, Wei-Jung Chien, Xiang Li, "Geometry transformation-based adaptive in-loop filter", IEEE Picture Coding Symposium (PCS), 2016.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
現在提案されている適応ループフィルタでは、画像において、符号化により劣化した部分の復元の精度が十分ではなく、より復元の精度の高いインループフィルタの提案が要請されている。【０００６】
本技術は、このような状況に鑑みてなされたものであり、画像を精度良く復元することができるようにするものである。
【課題を解決するための手段】
【０００７】
本技術の復号装置は、符号化ビットストリームに含まれる符号化データを、フィルタ画像を用いて復号し、復号画像を生成する復号部と、前記復号部により生成された前記復号画像に、所定のタップ係数と前記復号画像の画素との積和演算を行う、２次以上の高次の高次項を含む予測式を適用するフィルタ処理を行い、前記フィルタ画像を生成するフィルタ部とを備える復号装置である。【０００８】
本技術の復号方法は、符号化ビットストリームに含まれる符号化データを、フィルタ画像を用いて復号し、復号画像を生成することと、前記復号画像に、所定のタップ係数と前記復号画像の画素との積和演算を行う、２次以上の高次の高次項を含む予測式を適用するフィルタ処理を行い、前記フィルタ画像を生成することとを含む復号方法である。【０００９】
本技術の復号装置及び復号方法においては、符号化ビットストリームに含まれる符号化データが、フィルタ画像を用いて復号され、復号画像が生成される。また、前記復号画像に、所定のタップ係数と前記復号画像の画素との積和演算を行う、２次以上の高次の高次項を含む予測式を適用するフィルタ処理が行われ、前記フィルタ画像が生成される。【００１０】
本技術の符号化装置は、局所復号された復号画像に、所定のタップ係数と前記復号画像の画素との積和演算を行う、２次以上の高次の高次項を含む予測式を適用するフィルタ処理を行い、フィルタ画像を生成するフィルタ部と、前記フィルタ部により生成された前記フィルタ画像を用いて、元画像を符号化する符号化部とを備える符号化装置である。【００１１】
本技術の符号化方法は、局所復号された復号画像に、所定のタップ係数と前記復号画像の画素との積和演算を行う、２次以上の高次の高次項を含む予測式を適用するフィルタ処理を行い、フィルタ画像を生成することと、前記フィルタ画像を用いて、元画像を符号化することとを含む符号化方法である。【００１２】
本技術の符号化装置及び符号化方法においては、局所復号された復号画像に、所定のタップ係数と前記復号画像の画素との積和演算を行う、２次以上の高次の高次項を含む予測式を適用するフィルタ処理が行われ、フィルタ画像が生成される。そして、前記フィルタ画像を用いて、元画像が符号化される。【００１３】
なお、符号化装置や復号装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。【００１４】
また、符号化装置や復号装置は、コンピュータにプログラムを実行させることにより実現することができる。プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【発明の効果】
【００１５】
本技術によれば、画像を精度良く復元することができる。【００１６】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１７】
【図１】高次予測式を用いて、符号化されて復号された復号画像から、その復号画像に対する元画像を予測する予測処理としてのフィルタ処理の例を説明する図である。
【図２】全通り予測式における予測タップの数とタップ係数の数との関係を示す図である。
【図３】全通り予測式からの一部の項の選択の例を説明する図である。
【図４】全通り予測式の２次項から、削減予測式の２次項を選択する２次項の選択パターンの例を説明する図である。
【図５】全通り予測式の２次項から、削減予測式の２次項を選択する２次項の選択パターンの他の例を説明する図である。
【図６】全通り予測式の２次項から、削減予測式の２次項を選択する２次項の選択パターンのさらに他の例を説明する図である。
【図７】高次予測式を構成するタップ係数の表現形式を説明する図である。
【図８】本技術を適用した画像処理システムの一実施の形態の概要を示すブロック図である。
【図９】フィルタ部２４及び３３の構成例の概要を示すブロック図である。
【図１０】符号化装置１１の符号化処理の概要を説明するフローチャートである。
【図１１】復号装置１２の復号処理の概要を説明するフローチャートである。
【図１２】クラス分類予測処理を行う予測装置の第１の構成例を示すブロック図である。
【図１３】係数取得部１０３に記憶されるタップ係数の学習を行う学習装置の構成例を示すブロック図である。
【図１４】学習部１１３の構成例を示すブロック図である。
【図１５】クラス分類予測処理を行う予測装置の第２の構成例を示すブロック図である。
【図１６】係数取得部１３１に記憶される種係数を求める学習を行う学習装置の構成例を示すブロック図である。
【図１７】学習部１４３の構成例を示すブロック図である。
【図１８】符号化装置１１の詳細な構成例を示すブロック図である。
【図１９】ILF２１１の構成例を示すブロック図である。
【図２０】学習装置２３１の構成例を示すブロック図である。
【図２１】予測装置２３２の構成例を示すブロック図である。
【図２２】符号化装置１１の符号化処理の例を説明するフローチャートである。
【図２３】予測符号化処理の例を説明するフローチャートである。
【図２４】フィルタ処理の例を説明するフローチャートである。
【図２５】復号装置１２の詳細な構成例を示すブロック図である。
【図２６】ILF３０６の構成例を示すブロック図である。
【図２７】予測装置３３１の構成例を示すブロック図である。
【図２８】復号装置１２の復号処理の例を説明するフローチャートである。
【図２９】予測復号処理の例を説明するフローチャートである。
【図３０】フィルタ処理の例を説明するフローチャートである。
【図３１】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００１８】
＜技術内容・技術用語をサポートする文献等＞
【００１９】
本願で開示される範囲は、本明細書及び図面に記載されている内容だけではなく、出願当時において公知となっている以下の文献に記載されている内容も含まれる。
【００２０】
文献１：AVC規格書("Advanced video coding for generic audiovisual services", ITU-T H.264(04/2017))
文献２：HEVC規格書("High efficiency video coding", ITU-T H.265(12/2016))
文献３：FVC アルゴリズム解説書(Algorithm description of Joint Exploration Test Model 7 (JEM7), 2017-08-19)
【００２１】
つまり、上述の文献に記載されている内容もサポート要件を判断する際の根拠となる。例えば、文献１に記載されているQuad-Tree Block Structure、文献３に記載されているQTBT（Quad Tree Plus Binary Tree）やBlock Structureが実施の形態において直接的な記載がない場合でも、本技術の開示範囲内であり、請求の範囲のサポート要件を満たすものとする。また、例えば、パース（Parsing）、シンタックス（Syntax）、セマンティクス（Semantics）等の技術用語についても同様に、実施の形態において直接的な記載がない場合でも、本技術の開示範囲内であり、請求の範囲のサポート要件を満たすものとする。
【００２２】
また、本明細書において、画像（ピクチャ）の部分領域や処理単位として説明に用いる「ブロック」（処理部を示すブロックではない）は、特に言及しない限り、ピクチャ内の任意の部分領域を示し、その大きさ、形状、および特性等は限定されない。例えば、「ブロック」には、上述の文献１ないし３に記載のTB（Transform Block）、TU（Transform Unit）、PB（Prediction Block）、PU（Prediction Unit）、SCU（Smallest Coding Unit）、CU（Coding Unit）、LCU（Largest Coding Unit）、CTB（Coding Tree Block）、CTU（Coding Tree Unit）、変換ブロック、サブブロック、マクロブロック、タイル、またはスライス等、任意の部分領域（処理単位）が含まれるものとする。
【００２３】
また、このようなブロックのサイズを指定するに当たって、直接的にブロックサイズを指定するだけでなく、間接的にブロックサイズを指定するようにしてもよい。例えばサイズを識別する識別情報を用いてブロックサイズを指定するようにしてもよい。また、例えば、基準となるブロック（例えばLCUやSCU等）のサイズとの比または差分によってブロックサイズを指定するようにしてもよい。例えば、シンタックス要素等としてブロックサイズを指定する情報を伝送する場合に、その情報として、上述のような間接的にサイズを指定する情報を用いるようにしてもよい。このようにすることにより、その情報の情報量を低減させることができ、符号化効率を向上させることができる場合もある。また、このブロックサイズの指定には、ブロックサイズの範囲の指定（例えば、許容されるブロックサイズの範囲の指定等）も含む。
【００２４】
＜定義＞
【００２５】
本願では、以下の用語を、以下のように定義する。
【００２６】
予測式とは、第１の画像から第２の画像を予測する多項式である。多項式である予測式の各項は、１個のタップ係数と１個以上の予測タップとの積で構成され、したがって、予測式は、タップ係数と予測タップとの積和演算を行う式である。第１の画像の画素のうちの予測に用いるi番目の画素（予想タップ）（の画素値）をxiと、i番目のタップ係数をwiと、第２の画像の画素（の画素値の予測値）をy'と、それぞれ表すとともに、予測式として、１次項のみからなる多項式を採用することとすると、予測式は、式y'=Σwixiで表される。式y'=Σwixiにおいて、Σは、iについてのサメーションを表す。予測式を構成するタップ係数wiは、予測式により得られる値y'の、真値yに対する誤差y'-yを統計的に最小にする学習により求められる。タップ係数を求める学習の方法としては、最小自乗法がある。タップ係数を求める学習では、予測式が適用される第１の画像に相当する、学習の生徒となる生徒画像と、第１の画像に予測式を適用した結果として得たい第２の画像に相当する、学習の教師となる教師画像とを用いて、正規方程式を構成する各項の足し込みを行うことにより、正規方程式が求められ、その正規方程式を解くことにより、タップ係数が求められる。
【００２７】
予測処理とは、第１の画像に、予測式を適用して、第２の画像を予測する処理であり、本技術では、予測処理において、第１の画像の画素（の画素値）を用いて、予測式の積和演算を行うことにより、第２の画像の予測値が求められる。第１の画像を用いて積和演算を行うことは、第１の画像にフィルタをかけるフィルタ処理ということができ、第１の画像を用いて、予測式の積和演算を行う予測処理は、フィルタ処理の一種であるということができる。
【００２８】
フィルタ画像とは、フィルタ処理の結果得られる画像を意味する。予測処理としてのフィルタ処理により、第１の画像から得られる第２の画像（の予測値）は、フィルタ画像である。
【００２９】
タップ係数とは、予測式である多項式の各項を構成する係数であり、ディジタルフィルタのタップにおいて、フィルタリングの対象の信号に乗算されるフィルタ係数に相当する。
【００３０】
予測タップとは、予測式の演算に用いられる画素（の画素値）であり、予測式において、タップ係数と乗算される。
【００３１】
高次項とは、２個以上の予測タップ（としての画素）の積を有する項である。
【００３２】
高次予測式とは、高次項を含む予測式、すなわち、１次項と２次以上の高次項とからなる予測式や、２次以上の高次項のみからなる予測式である。
【００３３】
Ｄ次項とは、予測式としての多項式を構成する項のうちの、Ｄ個の予測タップの積を有する項である。例えば、１次項は、１個の予測タップを有する項であり、２次項は、２個のタップ係数の積を有する項である。
【００３４】
Ｄ次係数とは、Ｄ次項を構成するタップ係数を意味する。
【００３５】
Ｄ次タップとは、Ｄ次項を構成する予測タップ（としての画素）を意味する。ある１個の画素が、Ｄ次タップであり、かつ、Ｄ次タップとは異なるＤ’次タップであることもある。また、Ｄ次タップのタップ構造と、Ｄ次タップとは異なるＤ’次タップのタップ構造とは、同一である必要はない。ここで、タップ構造とは、予測タップとしての画素の配置を意味する。
【００３６】
全通り予測式とは、注目画素について、予測タップとなる画素の候補としてあらかじめ決められた候補画素すべてを予測タップとして用い、かつ、その予測タップとしての（候補）画素から重複を許してＤ個の画素を選択する全通りの組み合わせそれぞれのＤ個の画素（の画素値）の積の項を、Ｄ次項として有する高次予測式である(D>=2)。
【００３７】
削減予測式とは、全通り予測式から選択された一部の項で構成される高次予測式である。
【００３８】
ボリューム化とは、予測式を構成するタップ係数を多項式で近似すること、すなわち、その多項式を構成する係数（種係数）を求めることを意味する。ボリューム化において、タップ係数wを近似する多項式を係数予測式ということとすると、係数予測式は、種係数βmとパラメータzとを用いた項で構成され、例えば、式ｗ=Σβmzm-1で表される。式ｗ=Σβmzm-1において、Σは、mについてのサメーションを表し、種係数βmは、係数予測式のm番目の係数を表す。なお、i番目のタップ係数wiを求める係数予測式のｍ番目の種係数を、βm,iと表すとき、i番目のタップ係数wiを求める係数予測式は、式wi＝Σβm,izm-1で表される。
【００３９】
種係数とは、ボリューム化に用いられる係数予測式の係数を意味する。種係数は、タップ係数を求める学習と同様の学習により求めることができる。
【００４０】
符号化データとは、画像を符号化することにより得られるデータであり、例えば、画像（の残差）を直交変換して量子化することにより得られるデータである。
【００４１】
符号化ビットストリームとは、符号化データを含むビットストリームであり、必要に応じて、符号化に関する符号化情報を含む。符号化情報には、符号化データを復号するのに必要な情報、すなわち、例えば、符号化で量子化が行われている場合の量子化パラメータであるQPや、符号化で予測符号化（動き補償）が行われている場合の動きベクトル等が、少なくとも含まれる。
【００４２】
＜本技術の概要＞
【００４３】
図１は、高次予測式を用いて、符号化されて復号（局所復号を含む）された復号画像から、その復号画像に対する元画像を予測する予測処理としてのフィルタ処理の例を説明する図である。
【００４４】
適応ループフィルタでは、１次項のみで構成される予測式を用いたフィルタ処理が行われるが、かかるフィルタ処理では、符号化により劣化した元画像のディテールを表現する画素値の微小振幅部分を十分に復元することができないことがある。
【００４５】
本技術のILFでは、高次項を含む高次予測式を用いたフィルタ処理を行うことで、復号画像において、元画像のディテールに対応する部分として僅かに残る輝度(波形)変動を効果的に増幅し、これにより、元画像のディテールを含め、元画像を精度良く復元する。
【００４６】
高次予測式としては、1個のタップ係数と、1個以上の予測タップとしての画素（の画素値）との積を項とし、高次項を含む多項式であれば、任意の多項式を採用することができる。すなわち、高次予測式としては、例えば、１次項及び２次項のみからなる多項式や、１次項及び２次以上の複数の異なる次数の高次項からなる多項式、２次以上の１又は複数の次数の高次項からなる多項式等を採用することができる。
【００４７】
但し、以下では、説明を簡単にするため、１次項及び２次項のみからなる多項式を、高次予測式に採用する場合について説明する。
【００４８】
かかる高次多項式は、式（１）で表すことができる。
【００４９】
【数１】
2019107182.tif 000003
・・・（１）
【００５０】
ここで、式（１）において、y'は、復号画像の画素のうちの注目画素に対応する元画像の画素である対応画素（の画素値）の予測値を表す。N1は、予測タップのうちの１次タップとしての画素xiの数、及び、タップ係数のうちの１次係数wiの数を表す。wiは、タップ係数のうちの、ｉ番目の１次係数を表す。xiは、予測タップのうちのｉ番目の１次タップとしての画素（の画素値）を表す。
【００５１】
また、式（１）において、N2は、予測タップのうちの２次タップとしての画素xj(xk)の数、及び、タップ係数のうちの２次係数wj,kの数を表す。wj,kは、タップ係数のうちの、j×k番目の２次係数を表す。xj及びxkは、それぞれ、予測タップのうちのj番目及びk番目の２次タップとしての画素を表す(k>=j)。
【００５２】
なお、ここでは、式（１）の説明のために、１次タップをxiで表すとともに、２次タップをxj及びxkで表すこととしたが、以下では、xに付すサフィックスによって、１次タップと２次タップとを、特に区別しない。すなわち、例えば、１次タップ及び２次タップのいずれであっても、xiを用いて、１次タップxiや２次タップxi、あるいは、予測タップxi等と記載する。タップ係数である１次係数wi及び２次係数wj,kについても、同様である。
【００５３】
図１のＡに示すように、式（１）において、wixiは１次項を表し、wj,kxkxjは２次項を表す。したがって、式（１）の高次予測式は、１次項及び２次項のみからなる多項式である。
【００５４】
いま、予測タップとなる画素の候補としてあらかじめ決められた候補画素すべてを予測タップとして用い、かつ、候補画素から重複を許してＤ個の画素を選択する全通りの組み合わせそれぞれのＤ個の画素（の画素値）の積の項を、Ｄ次項として有する高次予測式を、全通り予測式ということとする。
【００５５】
式（１）の高次予測式は、１次タップの候補画素の数がN1個であり、２次タップの候補画素の数がN2個である場合の全通り予測式になっている。
【００５６】
１次タップとしての画素の数がN1個である場合、全通り予測式の１次項の数N1'は、１次タップの数N1に等しい。２次タップとしての画素の数がN2個である場合、全通り予測式の２次項の数N2'は、式（２）で表される。
【００５７】
【数２】
2019107182.tif 000004
・・・（２）
【００５８】
式（２）において、floorは切り下げを表し、ceilは切り上げを表す。
【００５９】
なお、全通り予測式の２次項の数N2'は、式（２）の他、式N2'=N2C2+N2で表すことができる。N2C2は、N2個から2個を重複なしで選択する組み合わせの数を表す。
【００６０】
復号画像に高次予測式を適用するフィルタ処理、すなわち、例えば、式（１）の高次予測式の積和演算を行い、復号画像の注目画素に対応する元画像の対応画素の画素値の予測値y'を求めるにあたっては、復号画像の画素から、予測タップが選択される。
【００６１】
図１のＢには、予測タップ、すなわち、例えば、１次タップ及び２次タップの例が示されている。
【００６２】
図１のＢにおいて、１次タップは、注目画素を中心とする菱形状の１３画素になっており、２次タップは、注目画素を中心とする菱形状の５画素になっている。したがって、図１のＢでは、１次タップのタップ構造と２次タップのタップ構造とは、異なっている。さらに、１次タップになっている１３画素のうちの、注目画素を中心とする菱形状の５画素は、２次タップにもなっている。
【００６３】
ここで、１次タップの数N1と２次タップの数N2とが等しい場合(N1=N2)、全通り予測式において、１次項の数N1'と２次項の数N2'との関係、すなわち、１次係数wiの数N1'と２次係数wj,kの数N2'との関係は、式N1'<=N2'で表される。
【００６４】
式（１）の高次予測式のような、高次項を含む予測式を復号画像に適用するフィルタ処理を行うことで、１次項のみからなる予測式では困難であった元画像のディテールを、精度良く復元することができる。
【００６５】
なお、高次予測式は、本技術のILFの他、現在提案されている適応ループフィルタその他に適用することができる。
【００６６】
また、１次タップの候補画素と２次タップの候補画素とや、１次タップのタップ構造と２次タップのタップ構造とは、一致していても良いし、異なっていても良い。
【００６７】
さらに、高次予測式のタップ係数（式（１）の１次係数wi及び２次係数wj,k等）を求める学習は、１次項のみからなる予測式のタップ係数を求める学習と同様に、最小自乗法に基づく正規方程式を構成する各項の足し込みを行うことにより、正規方程式を求め、その正規方程式を解くことにより行うことができる。
【００６８】
また、高次予測式のタップ係数は、ボリューム化して、多項式で近似することができる。高次予測式のタップ係数のボリューム化において、タップ係数を近似する多項式の次数は、タップ係数のうちの１次係数と２次係数とで、同一の値を採用することもできるし、異なる値を採用することもできる。
【００６９】
さらに、高次予測式を構成するタップ係数は、画像を符号化する符号化装置において、リアルタイムの学習により求め、画像を復号する復号装置に伝送することができる。
【００７０】
また、高次予測式を構成するタップ係数は、オフラインの学習によりあらかじめ求めておき、符号化装置及び復号装置に、プリセットしておくことができる。
【００７１】
さらに、高次予測式を構成するタップ係数は、学習において、複数のクラスそれぞれについて求めることができる。この場合、フィルタ処理は、注目画素のクラス分類を行い、その結果得られる注目画素のクラスのタップ係数を用いて構成される高次予測式を用いて行うことができる。なお、クラス分類により得られるクラスの数を１クラスとする場合は、クラス分類を行わないことと等価になる。
【００７２】
図２は、全通り予測式における予測タップの数とタップ係数の数との関係を示す図である。
【００７３】
すなわち、図２は、全通り予測式における１次タップの数N1と１次係数の数N1'との関係、及び、２次タップの数N2と２次係数の数N2'との関係を示している。
【００７４】
全通り予測式において、１次係数の数N1'は、１次タップの数N1と一致し、２次係数の数N2'は、２次タップの数N2に対して指数的に増加する。
【００７５】
したがって、高次予測式として、全通り予測式を採用する場合には、タップ係数の数が膨大になる。その結果、タップ係数を、符号化装置から復号装置に伝送する場合には、符号化効率が低下し、タップ係数を、符号化装置及び復号装置にプリセットしておく場合には、タップ係数の記憶に必要な記憶容量が増加する。
【００７６】
そこで、本技術では、全通り予測式から選択された一部の項で構成される高次予測式である削減予測式を用いて、フィルタ処理を行うことができる。この場合、フィルタ処理に必要なタップ係数の数を削減し、符号化効率の低下や、タップ係数の記憶に必要な記憶容量の増加を抑制することができる。
【００７７】
ここで、以下では、説明を簡単にするため、全通り予測式を採用する場合の符号化効率の低下、及び、タップ係数の記憶に必要な記憶容量の増加については、符号化効率の低下についてだけ言及する。
【００７８】
図３は、全通り予測式からの一部の項の選択の例を説明する図である。
【００７９】
いま、例えば、注目画素を中心とする菱形状の４１個の画素が、予測タップ（１次タップ及び２次タップ）に選択し得る候補画素であることとする。
【００８０】
例えば、予測タップとして、４１個の候補画素すべてを採用し、その４１個の予測タップの１次項のみの予測式を採用する場合、１クラスのタップ係数は、４１個で済む。しかしながら、１次項のみの予測式では、符号化により劣化した元画像のディテールを精度良く復元することができないことがある。
【００８１】
ここで、予測タップとして、４１個の候補画素すべてを採用し、その４１個の予測タップの１次項のみの予測式を採用するケースを、比較の基準とする基準ケースということとする。また、以下では、説明を簡単にするため、クラスについては、適宜説明を省略する。すなわち、以下において、タップ係数等についてする説明は、特に断らない限り、クラスごとのタップ係数等についての説明である。
【００８２】
例えば、図３のＡに示すように、予測タップとして、４１個の候補画素すべてを採用し、その４１個の予測タップの２次項を含む高次予測式、すなわち、例えば、式（１）の１次項及び２次項のみからなる全通り予測式を採用する場合、高次項である２次項の効果により、基準ケースに比較して、符号化により劣化した元画像のディテールを精度良く復元することができる。
【００８３】
いま、タップ係数をAと表すとともに、予測タップとしてのi番目の画素を、xiと表す場合、高次予測式の１次項は、Axiと表され、高次予測式の２次項は、Axixj(i<=j)で表される。
【００８４】
例えば、あらかじめ決められた候補画素が４１個の画素である場合、全通り予測式の１次項は、４１個の候補画素に等しい４１個になり、全通り予測式の２次項は、４１個の候補画素が取り得る組み合わせ（同一の画素の組み合わせを含む）の数に等しい４１×４０／２＋４１＝８６１個になる。候補画素の数が４１個である場合、全通り予測式の４１個の１次項は、Ax1, Ax2,..., Ax41で表され、全通り予測式の８６１個の２次項は、Ax1x1, Ax1x2,..., Ax1x41, Ax2x2, Ax2x3,..., Ax2x41,..., Ax41x41で表される。
【００８５】
予測タップとして、４１個の候補画素すべてを採用し、その４１個の予測タップの１次項及び２次項とからなる全通り予測式をフィルタ処理に採用する場合、１クラスのタップ係数は、１次項のタップ係数である４１個のタップ係数と、２次項のタップ係数である８６１個のタップ係数とを合わせた９０２個のタップ係数になり、タップ係数の数、ひいてはデータ量が、基準ケースに比較して大幅に増加し、符号化効率が劣化する。
【００８６】
そこで、本技術では、全通り予測式を構成する項から、画質改善の効果が大きい項だけを選択して、フィルタ処理に用いる高次予測式に採用することで、タップ係数のデータ量を抑制しつつ、元画像のディテールが反映された高精度な画像を復元する。
【００８７】
ここで、全通り予測式から選択された一部の項で構成される高次予測式を、削減予測式ともいう。
【００８８】
全通り予測式の項（のタップ係数）の中で、注目画素に近い画素の項（のタップ係数）は、画質改善の効果が大きい傾向がある。
【００８９】
そこで、本技術では、全通り予測式の項のうちの、注目画素に近い画素（予測タップ）の項を、削減予測式の項に採用する。
【００９０】
すなわち、本技術では、例えば、４１個の予測タップを用いた全通り予測式の４１個の１次項のうちの、注目画素に近い画素（予測タップ）の１次項を選択して、削減予測式の１次項に採用する。例えば、４１個の候補画素の全部ではなく、注目画素に近い候補画素を、１次項の予測タップに選択することが、注目画素に近い画素の１次項を選択することに相当する。
【００９１】
削減予測式の１次項として、注目画素に近い画素の１次項を選択する場合、１次項のタップ係数（１次係数）の数は、基準ケースの４１個より少なくなる。
【００９２】
例えば、図３のＢに示すように、菱形状の４１個の候補画素の１次項のうちの、注目画素を中心とする菱形状の２５個の候補画素の１次項を、削減予測式の１次項に選択することにより、削減予測式の１次係数の数は、基準ケースよりも１６（＝４１−２５）個だけ少なくなる。
【００９３】
同様に、本技術では、例えば、４１個の予測タップを用いた全通り予測式の８６１個の２次項のうちの、注目画素に近い画素の２次項を選択して、削減予測式の２次項に採用する。例えば、４１個の候補画素の全部ではなく、注目画素に近い候補画素を、２次項の予測タップに選択することが、注目画素に近い画素の２次項を選択することに相当する。
【００９４】
削減予測式の２次項として、注目画素に近い画素の２次項を選択する場合、２次項のタップ係数（２次係数）の数は、基準ケースの８６１個より少なくなる。
【００９５】
例えば、図３のＢに示すように、菱形状の４１個の候補画素の２次項のうちの、注目画素を中心とする十字形状の５個の候補画素の２次項を、削減予測式の２次項に選択することにより、削減予測式の２次係数の数は、５個の画素の任意の２個の組み合わせ（同一の画素の２個の組み合わせを含む）である１５（＝５×４／２＋５）個になり、基準ケースに比較して大幅に少なくなる。
【００９６】
以上のように、４１個の候補画素を予測タップとする全通り予測式の項の中で、注目画素に近い画素の項を選択して、削減予測式の項に採用することで、１次項のタップ係数の数が２５個になるとともに、２次項のタップ係数の数が１５個になる。したがって、１クラスのタップ係数の数は、１次項と２次項とのタップ係数を合わせて、４０個になり、タップ係数のデータ量を、基準ケースとほぼ同量に削減し、符号化効率を向上させることができる。さらに、削減予測式の２次係数（２次項のタップ係数）の効果によって、１次係数（１次項のタップ係数）では復元することが困難であった元画像のディテールを精度良く復元することができる。
【００９７】
なお、以上のように、１クラスのタップ係数を、１次項のタップ係数の２５個と、２次項のタップ係数の１５個との、合計で４０個のタップ係数とすることは、基準ケースの４１個のタップ係数の範囲内で、１次項のタップ係数を少なくすることで、２次項のタップ係数の使用（伝送容量）を確保したということができる。
【００９８】
全通り予測式を構成する項から、削減予測式の項に採用する、画質改善の効果が大きい項を選択する選択規範には、RD(Rate-Distortion)コストに基づく規範や、PSNR(Peak signal-to-noise ratio)に基づく規範、タップ係数の大きさに基づく規範、タップ係数を表現するのに必要なビット数に基づく規範等がある。
【００９９】
RDコストに基づく規範やPSNRに基づく規範では、例えば、全通り予測式を用いたフィルタ処理において、全通り予測式からある項を削除した削減予測式を用いたフィルタ処理よりも、閾値以上のRDコストやPSNRの改善がある場合には、全通り予測式から削除した項が、削減予測式の項に選択される。
【０１００】
タップ係数の大きさに基づく規範では、例えば、タップ係数の大きさ（絶対値）が所定の閾値以上の項が、削減予測式の項に選択される。
【０１０１】
タップ係数を表現するのに必要なビット数に基づく規範では、例えば、タップ係数を表現するのに必要なビット数、すなわち、タップ係数を２進数で表現したときの有効数字の数（有効桁数）が閾値以上の項が、削減予測式の項に選択される。
【０１０２】
なお、削減予測式の項として、全通り予測式から、R1個の１次項と、R2個の２次項とを選択する場合、例えば、タップ係数を表現するのに必要なビット数に基づく規範では、全通り予測式の１次項から、タップ係数を表現するのに必要なビット数が上位R1位までの１次項が選択されるとともに、全通り予測式の２次項から、タップ係数を表現するのに必要なビット数が上位R2位までの２次項が選択される。RDコストに基づく規範や、PSNRに基づく規範、タップ係数の大きさに基づく規範でも、同様である。
【０１０３】
また、全通り予測式を構成する項から、削減予測式に採用する項の選択では、全通り予測式から項を選択する選択パターンの全通りの中で、全通り予測式を用いたフィルタ処理に対するPSNRの低下量及びタップ係数のデータ量の削減量をバランスさせる選択パターン等を、削減予測式に採用する項の選択パターンに決定し、その選択パターンに従って、削減予測式に採用する項を選択することができる。
【０１０４】
以上のように、全通り予測式から選択された一部の項で構成される削減予測式を用いたフィルタ処理によれば、符号化効率の低下を抑制しつつ、符号化により劣化した元画像のディテールを精度良く復元することができる。
【０１０５】
図４は、全通り予測式の２次項から、削減予測式の２次項を選択する２次項の選択パターンの例を説明する図である。
【０１０６】
なお、以下では、特に断らない限り、全通り予測式の１次項から、削減予測式の１次項を選択する１次項の選択パターンとして、例えば、図４のＡに示すように、菱形状の４１個の予測タップとしての画素の１次項のうちの、注目画素に近い画素、すなわち、注目画素を中心とする菱形状の２５個の画素の１次項を、削減予測式の１次項に選択するパターンを固定的に採用することとする。この場合、１次項のタップ係数（１次係数）の数は、２５個になる。
【０１０７】
２次項の選択パターンとしては、例えば、図４のＢに示すように、菱形状の４１個の予測タップとしての画素の２次項のうちの、注目画素を中心とする菱形状の５個の画素の２次項を、削減予測式の２次項に選択する第１の選択パターンを採用することができる。５個の画素の２次項の総数は、１５（＝５×４／２＋５）個になる。
【０１０８】
さらに、２次項の選択パターンとしては、例えば、図４のＣに示すように、菱形状の４１個の予測タップとしての画素の２次項のうちの、注目画素を中心とする菱形状の１３個の画素の２次項を、削減予測式の２次項に選択する第２の選択パターンを採用することができる。１３個の画素の２次項の総数は、９１（＝１３×１２／２＋１３）個になる。
【０１０９】
また、２次項の選択パターンとしては、例えば、図４のＤに示すように、菱形状の４１個の予測タップとしての画素の２次項のうちの、注目画素の１画素の２次項を、削減予測式の２次項に選択する第３の選択パターンを採用することができる。１個の画素の２次項の総数は、その１個の画素（の画素値）の２乗の項だけの１個になる。
【０１１０】
削減予測式の２次項の選択では、上述のような選択パターンを固定的に採用することができる。
【０１１１】
また、削減予測式の２次項の選択では、全通り予測式から２次項を選択する選択パターンの全通りの中の、全通り予測式を用いたフィルタ処理に対するPSNRの低下量及びタップ係数のデータ量の削減量をバランスさせる選択パターンや、RDコスト等の符号化効率（の指標）を最良にする選択パターンを、削減予測式に採用する２次項の選択パターン（以下、採用パターンともいう）に決定し、その選択パターンに従って、削減予測式に採用する２次項を選択することができる。
【０１１２】
さらに、削減予測式の２次項の選択では、図４に示したように、全通り予測式から２次項を選択する選択パターンとして、第１ないし第３の選択パターンのような複数の選択パターンをあらかじめ用意しておき、そのあらかじめ用意された複数の選択パターンの中から、全通り予測式を用いたフィルタ処理に対するPSNRの低下量及びタップ係数のデータ量の削減量をバランスさせる選択パターンや、符号化効率を最良にする選択パターンを、採用パターンに決定し、その採用パターン（に決定された選択パターン）に従って、削減予測式に採用する２次項を選択することができる。
【０１１３】
なお、削減予測式に採用する１次項及び２次項の選択については、１次項及び２次項それぞれについて、選択を行う選択パターンを固定にし、符号化装置及び復号装置では、その固定の選択パターンに従って選択された１次項及び２次項からなる削減予測式を用いてフィルタ処理を行うことができる。
【０１１４】
さらに、削減予測式に採用する１次項及び２次項の選択については、１次項及び２次項の選択を行う選択パターンとして、複数の選択パターンをあらかじめ用意するとともに、各選択パターンと、その選択パターンを採用したときに符号化効率が向上する傾向の画像のQP等の符号化情報とを対応付けておくことができる。そして、符号化装置及び復号装置では、復号画像（に対する元画像）のQP等の符号化情報に応じて、その符号化情報に対応付けられた選択パターンを、採用パターンに決定し、その採用パターンに従って、削減予測式に採用する１次項及び２次項を選択することができる。
【０１１５】
また、削減予測式に採用する１次項及び２次項の選択については、１次項及び２次項の選択を行う選択パターンとして、複数の選択パターンをあらかじめ用意しておくことができる。そして、符号化装置において、例えば、複数の選択パターンのうちの、符号化効率を最良にする選択パターンを、採用パターンに決定し、その採用パターンに従って、削減予測式に採用する１次項及び２次項を選択することができる。さらに、この場合、符号化装置では、採用パターン（に決定された選択パターン）を表す選択情報を、復号装置に伝送し、復号装置では、符号化装置からの選択情報が表す採用パターンに従って、削減予測式に採用する１次項及び２次項を選択することができる。
【０１１６】
以上のように、複数の選択パターンを用意しておき、その複数の選択パターンの中から、符号化情報や符号化効率に応じて、採用パターン（とする選択パターン）を決定する方法は、削減予測式の１次項の選択パターンを固定にして、２次項についてだけ、複数の選択パターンを用意する場合にも適用することができる。
【０１１７】
図５は、全通り予測式の２次項から、削減予測式の２次項を選択する２次項の選択パターンの他の例を説明する図である。
【０１１８】
ここで、図５において、丸印は、予測タップとしての画素を表す。また、丸印の中の黒点は、その丸印が表す予測タップとしての画素の２乗（の２次項）を表し、異なる２つの丸印を結ぶ線は、その２つの丸印それぞれが表す予測タップとしての画素どうしの積（の２次項）を表す。
【０１１９】
例えば、注目画素と、その上下左右に隣接する４画素との、菱形状（十字形状）の５画素を、２次タップとして採用する場合、２次項の選択パターンとしては、図５のＡに示すように、菱形状の５画素それぞれの２乗の５個の２次項と、菱形状の５画素のうちの任意の２画素の１０通りの組み合わせ（の積）の１０個の２次項との、合計で１５個の２次項を選択するパターンを採用することができる。
【０１２０】
この場合、（１クラスの）タップ係数の数は、２５個の１次係数と、１５個の２次項のタップ係数（２次係数）との、合計で４０個になる。
【０１２１】
注目画素と、その上下左右に隣接する４画素との、菱形状（十字形状）の５画素を、２次タップとして採用する場合、２次項の選択パターンとしては、その他、例えば、以下のような選択パターンを採用することができる。
【０１２２】
すなわち、例えば、２次項の選択パターンとしては、図５のＢに示すように、２次タップとしての菱形状の５画素それぞれの２乗の５個の２次項と、注目画素と他の４画素それぞれとの積の４個の２次項との、合計で９個の２次項を選択するパターンを採用することができる。
【０１２３】
この場合、タップ係数の数は、２５個の１次係数と、９個の２次項のタップ係数との、合計で、３４個になる。
【０１２４】
また、例えば、２次項の選択パターンとしては、図５のＣに示すように、２次タップとしての菱形状の５画素のうちの注目画素の２乗の１個の２次項と、注目画素と他の４画素それぞれとの積の４個の２次項との、合計で５個の２次項を選択するパターンを採用することができる。
【０１２５】
この場合、タップ係数の数は、２５個の１次係数と、５個の２次項のタップ係数との、合計で、３０個になる。
【０１２６】
さらに、例えば、２次項の選択パターンとしては、図５のＤに示すように、２次タップとしての菱形状の５画素それぞれの２乗の５個の２次項を選択するパターンを採用することができる。
【０１２７】
この場合、タップ係数の数は、２５個の１次係数と、５個の２次項のタップ係数との、合計で、３０個になる。
【０１２８】
図６は、全通り予測式の２次項から、削減予測式の２次項を選択する２次項の選択パターンのさらに他の例を説明する図である。
【０１２９】
なお、図６には、２次項の選択パターンとして、４パターンの選択パターン１，２，３，４が示されている。
【０１３０】
さらに、図６には、基準ケースのタップ係数と、基準ケースの４１個の候補画素すべてを、１次タップ及び２次タップとして用いる場合の全通り予測式のタップ係数とを示してある。
【０１３１】
基準ケースのフィルタ処理によれば、（１クラスの）タップ係数の数は、１次係数の４１個で済むが、その４１個の１次係数で構成される予測式を用いたフィルタ処理により得られるフィルタ画像において、元画像のディテール（微小振幅部分）を十分に復元することができないことがある。
【０１３２】
全通り予測式を用いたフィルタ処理によれば、そのフィルタ処理により得られるフィルタ画像において、元画像のディテールを十分に復元することができる。但し、この場合、タップ係数の数は、１次係数と２次係数とを合わせて、９０２個になり、タップ係数のデータ量が大になる。
【０１３３】
選択パターン１ないし４では、基準ケースの４１個の候補画素のうちの、注目画素を中心とする菱形状の２５個の（候補）画素の１次項が、削減予測式の１次項に選択される。このため、選択パターン１ないし４では、１次項のタップ係数（１次係数）の数は、２５個になる。
【０１３４】
そして、選択パターン１では、注目画素と、その上下左右に隣接する４画素との、菱形状の５画素が、２次タップとして採用され、その２次タップとしての５画素それぞれの２乗の５個の２次項と、菱形状の５画素のうちの任意の２画素の１０通りの組み合わせ（の積）の１０個の２次項との、合計で１５個の２次項が、削減予測式の２次項として選択される。
【０１３５】
選択パターン１の削減予測式を用いたフィルタ処理によれば、タップ係数の数は、２５個の１次項の１次係数と、１５個の２次項の２次係数との、合計で４０個になり、基準ケースよりも少なくなる。
【０１３６】
さらに、選択パターン１の削減予測式を用いたフィルタ処理によれば、そのフィルタ処理により得られるフィルタ画像において、２次項の効果により、元画像のディテールを十分に復元することができる。
【０１３７】
すなわち、選択パターン１の削減予測式を用いたフィルタ処理によれば、１次項（のタップ係数）を、基準ケースよりも少なくすることにより、２次項（のタップ係数）の使用（２次項のタップ係数を伝送する伝送容量）が確保される。さらに、注目画素に近い画素の２次項を、削減予測式の２次項に選択することにより、少ない２次項、すなわち、少ないデータ量の２次係数で、全通り予測式を用いたフィルタ処理とほぼ同等（近い）のディテールの復元性能を維持することができる。
【０１３８】
選択パターン２では、注目画素と、その周囲（縦横斜め）に隣接する８画素との、正方形状の９画素が、２次タップとして採用される。そして、２次タップとしての９画素のうちの注目画素の２乗の１個の２次項と、注目画素と他の８画素それぞれとの積の８個の２次項との、合計で９個の２次項、又は、２次タップとしての９画素それぞれの２乗の９個の２次項が、削減予測式の２次項として選択される。
【０１３９】
選択パターン２の削減予測式を用いたフィルタ処理によれば、タップ係数の数は、２５個の１次項の１次係数と、９個の２次項の２次係数との、合計で３４個になり、基準ケース、さらには、選択パターン１よりも少なくなる。
【０１４０】
さらに、選択パターン２の削減予測式を用いたフィルタ処理によれば、そのフィルタ処理により得られるフィルタ画像において、２次項の効果により、元画像のディテールを十分に復元することができる。
【０１４１】
すなわち、選択パターン２の削減予測式を用いたフィルタ処理によれば、１次項（のタップ係数）を、基準ケースよりも少なくすることにより、２次項（のタップ係数）の使用が確保される。さらに、注目画素に近い画素の２次項を、削減予測式の２次項に選択することにより、少ない２次項、すなわち、少ないデータ量の２次係数で、全通り予測式を用いたフィルタ処理とほぼ同等のディテールの復元性能を維持することができる。
【０１４２】
選択パターン２は、復元対象である元画像が、縦横斜めに広がる（縦横斜めの方向性を持つ）絵柄である場合に特に有効である。
【０１４３】
選択パターン３では、注目画素と、その縦横に隣接する４画素との、十字形状の５画素が、２次タップとして採用される。そして、２次タップとしての５画素のうちの注目画素の２乗の１個の２次項と、注目画素と他の４画素それぞれとの積の４個の２次項との、合計で５個の２次項、又は、２次タップとしての５画素それぞれの２乗の５個の２次項が、削減予測式の２次項として選択される。
【０１４４】
選択パターン３の削減予測式を用いたフィルタ処理によれば、タップ係数の数は、２５個の１次項の１次係数と、５個の２次項の２次係数との、合計で３０個になり、基準ケース、さらには、選択パターン１及び２よりも少なくなる。
【０１４５】
さらに、選択パターン３の削減予測式を用いたフィルタ処理によれば、そのフィルタ処理により得られるフィルタ画像において、２次項の効果により、元画像のディテールを十分に復元することができる。
【０１４６】
すなわち、選択パターン３の削減予測式を用いたフィルタ処理によれば、１次項（のタップ係数）を、基準ケースよりも少なくすることにより、２次項（のタップ係数）の使用が確保される。さらに、注目画素に近い画素の２次項を、削減予測式の２次項に選択することにより、少ない２次項、すなわち、少ないデータ量の２次係数で、全通り予測式を用いたフィルタ処理とほぼ同等のディテールの復元性能を維持することができる。
【０１４７】
選択パターン３は、復元対象である元画像が、縦横の方向性を持つ絵柄である場合に特に有効である。
【０１４８】
選択パターン４では、注目画素と、その斜めに隣接する４画素との、Ｘ字形状の５画素が、２次タップとして採用される。そして、２次タップとしての５画素のうちの注目画素の２乗の１個の２次項と、注目画素と他の４画素それぞれとの積の４個の２次項との、合計で５個の２次項、又は、２次タップとしての５画素それぞれの２乗の５個の２次項が、削減予測式の２次項として選択される。
【０１４９】
選択パターン４の削減予測式を用いたフィルタ処理によれば、タップ係数の数は、２５個の１次項の１次係数と、５個の２次項の２次係数との、合計で３０個になり、基準ケース、さらには、選択パターン１及び２よりも少なくなる。
【０１５０】
さらに、選択パターン４の削減予測式を用いたフィルタ処理によれば、そのフィルタ処理により得られるフィルタ画像において、２次項の効果により、元画像のディテールを十分に復元することができる。
【０１５１】
すなわち、選択パターン４の削減予測式を用いたフィルタ処理によれば、１次項（のタップ係数）を、基準ケースよりも少なくすることにより、２次項（のタップ係数）の使用が確保される。さらに、注目画素に近い画素の２次項を、削減予測式の２次項に選択することにより、少ない２次項、すなわち、少ないデータ量の２次係数で、全通り予測式を用いたフィルタ処理とほぼ同等のディテールの復元性能を維持することができる。
【０１５２】
選択パターン４は、復元対象である元画像が、斜めの方向性を持つ絵柄である場合に特に有効である。
【０１５３】
符号化装置では、例えば、選択パターン１ないし４のような、画質に寄与しやすい注目画素の近傍の画素の２次項を選択する選択パターンを複数パターンだけあらかじめ用意しておき、符号化効率が最良になる選択パターンを、削減予測式に採用する２次項の選択パターン（採用パターン）に決定して、採用パターンに決定された選択パターンを表す選択情報を伝送することができる。
【０１５４】
複数の選択パターンの中からの採用パターンの決定は、フレーム単位やシーケンス単位その他の任意の単位で行うことができる。
【０１５５】
また、採用パターンの決定については、全クラスに共通して、１つの選択パターンを、採用パターンに決定することや、クラスごとに、１つの選択パターンを、採用パターンに決定することができる。
【０１５６】
クラスごとに、１つの選択パターンを、採用パターンに決定する場合、クラスごとに、符号化効率が最良になる選択パターンを、採用パターンに決定することができる。
【０１５７】
図７は、高次予測式を構成するタップ係数の表現形式を説明する図である。
【０１５８】
すなわち、図７は、異なる複数の性質（絵柄）の画像を、タップ係数の学習用の学習画像として用いて、選択パターン１の高次予測式（削減予測式）を構成するタップ係数（１次係数及び２次係数）を求める学習を行って得られるタップ係数の値の最大値及び最小値を示している。
【０１５９】
図７において、横軸は、タップ係数の順番を表し、縦軸は、タップ係数の値を表す。
【０１６０】
図７では、選択パターン１の削減予測式を構成する２５個の１次係数と１５個の２次係数とに、１からの通し番号が順番として付されている。
【０１６１】
ここで、タップ係数は、８ビット等の所定のビット数のビットで表現される。タップ係数を表現する表現形式としては、固定小数点及び浮動小数点等の形式を採用することができるが、ここでは、説明を簡単にするため、固定小数点を考えることとする。固定小数点の表現形式については、所定のビット数のビット列における小数点の位置によって、整数部及び小数部のビット数を、様々なビット数とする表現形式を採用することができる。
【０１６２】
タップ係数の表現形式は、例えば、高次予測式（削減予測式）を構成する項の次数ごとに決定することができる。
【０１６３】
図７のタップ係数（の値）の最大値及び最小値の傾向によれば、１次項のタップ係数（１次係数）は、値が大きく振れる傾向を有する。そこで、１次係数については、整数部にビット数を割く表現形式を、１次係数の表現形式に決定することができる。整数部にどの程度のビット数を割くかは、１次係数の精度を確保することができるように、１次係数の絶対値に応じて決定することができる。
【０１６４】
また、図７のタップ係数（の値）の最大値及び最小値の傾向によれば、２次項のタップ係数は、値の絶対値が小さい傾向を有する。そこで、２次係数については、小数部にビット数を割く表現形式を、２次係数の表現形式に決定することができる。小数部にどの程度のビット数を割くかは、２次係数の精度を確保することができるように、２次係数の絶対値に応じて決定することができる。
【０１６５】
なお、２次係数は、１未満の桁数の多い小数の値をとる傾向があるので、タップ係数の表現形式として、可変のビット数のビット列を採用することができる場合には、２次項の表現形式は、１次項よりもビット数が多いビット列に決定することができる。
【０１６６】
１次項のタップ係数（１次係数）及び２次項のタップ係数（２次係数）のそれぞれについては、タップ係数を表す固定長のビット列の小数点の位置を、タップ係数の最大値及び最小値の傾向に応じて、あらかじめ固定の位置に決定しておくことができる。
【０１６７】
この場合、符号化装置は、小数点の位置があらかじめ固定の位置に決定された表現形式でタップ係数を表現したビット列で、タップ係数を伝送する。そして、復号装置は、符号化装置からの各次数の項（１次項及び２次項）のタップ係数を表すビット列を、小数点の位置があらかじめ固定の位置に決定された表現形式のビット列として扱い、フィルタ処理、すなわち、高次予測式（削減予測式）の演算を行う。
【０１６８】
また、１次係数及び２次係数のそれぞれについては、符号化装置において、例えば、フレームやシーケンス等ごとに、１次係数及び２次係数の絶対値の大きさに応じて、表現形式を決定すること、すなわち、タップ係数を表す固定長のビット列の小数点の位置を、タップ係数の最大値及び最小値の傾向に応じて決定することができる。
【０１６９】
この場合、符号化装置は、決定された小数点の位置の表現形式で、１次係数及び２次係数を伝送するとともに、１次係数及び２次係数のそれぞれについて、表現形式を表す形式情報を伝送する。そして、復号装置は、符号化装置からの各次数の項（１次項及び２次項）のタップ係数を表すビット列の表現形式を、符号化装置からの形式情報から特定し、タップ係数を表すビット列を、形式情報から特定した表現形式のビット列として扱って、フィルタ処理、すなわち、高次予測式（削減予測式）の演算を行う。
【０１７０】
以上のように、タップ係数の表現形式を、高次予測式（削減予測式）を構成する項の次数ごとに決定することで、各次数の項のタップ係数の精度を確保することができる。
【０１７１】
図８は、本技術を適用した画像処理システムの一実施の形態の概要を示すブロック図である。
【０１７２】
図８において、画像処理システムは、符号化装置１１及び復号装置１２を有する。
【０１７３】
符号化装置１１は、符号化部２１、局所復号部２３、及び、フィルタ部２４を有する。
【０１７４】
符号化部２１には、符号化対象の画像である元画像（データ）が供給されるとともに、フィルタ部２４からフィルタ画像が供給される。
【０１７５】
符号化部２１は、フィルタ部２４からのフィルタ画像を用いて、元画像を（予測）符号化し、その符号化により得られる符号化データを、局所復号部２３に供給する。
【０１７６】
すなわち、符号化部２１は、フィルタ部２４からのフィルタ画像の動き補償を行って得られる元画像の予測画像を、元画像から減算し、その結果得られる残差を符号化する。
【０１７７】
符号化部２１は、符号化データと、フィルタ部２４から供給されるフィルタ情報とを含む符号化ビットストリームを生成して伝送（送信）する。ここで、フィルタ情報には、必要に応じて、高次予測式（削減予測式）を構成するタップ係数、さらには、選択情報や形式情報が含まれる。
【０１７８】
したがって、符号化部２１が生成する符号化ビットストリームは、符号化データの他、必要に応じて、タップ係数や、選択情報、形式情報を含むビットストリームである。
【０１７９】
局所復号部２３には、符号化部２１から符号化データが供給される他、フィルタ部２４からフィルタ画像が供給される。
【０１８０】
局所復号部２３は、符号化部２１からの符号化データの局所復号を、フィルタ部２４からのフィルタ画像を用いて行い、その結果得られる（局所）復号画像を、フィルタ部２４に供給する。
【０１８１】
すなわち、局所復号部２３は、符号化部２１からの符号化データを残差に復号し、その残差に、フィルタ部２４からのフィルタ画像の動き補償を行って得られる元画像の予測画像を加算することで、元画像を復号した復号画像を生成する。
【０１８２】
フィルタ部２４は、局所復号部２３からの復号画像に、高次予測式（削減予測式）を適用するフィルタ処理を行い、フィルタ画像を生成して、符号化部２１及び局所復号部２３に供給する。
【０１８３】
また、フィルタ部２４は、フィルタ処理を行うにあたり、必要に応じて、高次予測式（削減予測式）を構成するタップ係数を求める学習を行うとともに、採用パターンや、タップ係数の表現形式を決定する。そして、フィルタ部２４は、タップ係数や、採用パターンを表す選択情報、タップ係数の表現形式を表す形式情報を、フィルタ処理に関係するフィルタ情報として、符号化部２１に供給する。
【０１８４】
復号装置１２は、パース部３１、復号部３２、及び、フィルタ部３３を有する。
【０１８５】
パース部３１は、符号化装置１１が伝送する符号化ビットストリームを受信してパースを行うことで、符号化ビットストリームに含まれるフィルタ情報を抽出し（得て）、フィルタ部３３に供給する。さらに、パース部３１は、符号化ビットストリームに含まれる符号化データを、復号部３２に供給する。
【０１８６】
復号部３２には、パース部３１から符号化データが供給される他、フィルタ部３３からフィルタ画像が供給される。
【０１８７】
復号部３２は、パース部３１からの符号化データの復号を、フィルタ部３３からのフィルタ画像を用いて行い、その結果得られる復号画像を、フィルタ部３３に供給する。
【０１８８】
すなわち、復号部３２は、局所復号部２３と同様に、パース部３１からの符号化データを残差に復号し、その残差に、フィルタ部３３からのフィルタ画像の動き補償を行って得られる元画像の予測画像を加算することで、元画像を復号した復号画像を生成する。
【０１８９】
フィルタ部３３は、フィルタ部２４と同様に、復号部３２からの復号画像に、高次予測式（削減予測式）を適用するフィルタ処理を行い、フィルタ画像を生成して、復号部３２に供給する。
【０１９０】
フィルタ部３３は、フィルタ処理を行うにあたり、必要に応じて、パース部３１からのフィルタ情報を用いる。また、フィルタ部３３は、フィルタ処理により得られる（生成される）フィルタ画像を、復号部３２に供給する他、元画像を復元した復元画像として出力する。
【０１９１】
図９は、図８のフィルタ部２４及び３３の構成例の概要を示すブロック図である。
【０１９２】
図９において、フィルタ部２４は、クラス分類部４１、学習部４２、DB(database)４３、決定部４４、DB４５、及び、予測部４６を有する。
【０１９３】
フィルタ部２４には、局所復号部２３（図８）から復号画像が供給される他、元画像が供給される。
【０１９４】
復号画像は、クラス分類部４１、学習部４２、決定部４４、及び、予測部４６に供給され、元画像は、学習部４２及び決定部４４に供給される。
【０１９５】
クラス分類部４１は、そこに供給される復号画像の画素を、順次、注目画素に選択する。さらに、クラス分類部４１は、注目画素のクラス分類を行い、その結果得られる注目画素のクラスを、学習部４２、決定部４４、及び、予測部４６に供給する。
【０１９６】
学習部４２は、そこに供給される元画像及び復号画像を、タップ係数を求める学習の学習画像として用い、複数の選択パターン、すなわち、例えば、図６の選択パターン１ないし４それぞれについて、その選択パターンの削減予測式を構成するタップ係数である１次係数及び２次係数を求める学習をクラスごとに行う。学習部４２は、例えば、元画像及び復号画像の１フレーム（ピクチャ）ごとに学習を行い、その学習により複数の選択パターンそれぞれについて得られるクラスごとのタップ係数を、DB４３に供給する。
【０１９７】
DB４３は、学習部４２から供給される複数の選択パターンそれぞれについてのクラスごとのタップ係数を一時記憶する。
【０１９８】
決定部４４は、各選択パターンについて、DB４３に記憶されたクラスごとのタップ係数である１次係数及び２次係数のそれぞれについて、符号化効率を最良にする表現形式（以下、最良表現形式ともいう）を決定する。
【０１９９】
さらに、決定部４４は、各選択パターンについて、最良表現形式のタップ係数で構成される削減予測式を復号画像に適用するフィルタ処理を行った場合に、符号化効率を最良にする選択パターンを採用パターンに決定（選択）し、採用パターン（に決定された選択パターン）についてのクラスごとのタップ係数を、DB４５に供給する。
【０２００】
また、決定部４４は、採用パターンについてのタップ係数である１次係数及び２次係数それぞれの最良表現形式を表す形式情報、及び、採用パターンを表す選択情報を出力する。
【０２０１】
決定部４４が出力する形式情報及び選択情報は、予測部４６に供給されるとともに、符号化部２１（図８）において、フィルタ情報として、符号化ビットストリームに含められ、復号装置１２に伝送される。
【０２０２】
ここで、決定部４４は、必要に応じて、各選択パターンについて、DB４３に記憶されたクラスごとのタップ係数で構成される削減予測式を、復号画像に適用するフィルタ処理（予測部４６で行われるのと同様のフィルタ処理）を行い、その結果得られるフィルタ画像とともに、元画像を用いて、例えば、RDコスト等の符号化効率を求める。
【０２０３】
DB４５は、決定部４４から供給される採用パターンについてのクラスごとのタップ係数を一時記憶する。DB４５に記憶された採用パターンについてのクラスごとのタップ係数は、符号化部２１（図８）において、フィルタ情報として、符号化ビットストリームに含められ、復号装置１２に伝送される。
【０２０４】
予測部４６は、DB４５に記憶された採用パターンについてのクラスごとのタップ係数のうちの、クラス分類部４１からの注目画素のクラスのタップ係数で構成される削減予測式を、復号画像に適用して、予測処理（高次予測式である削減予測式を用いた、いわば高次予測処理）としてのフィルタ処理を行い、その結果得られるフィルタ画像を、符号化部２１及び局所復号部２３（図８）に供給する。
【０２０５】
すなわち、予測部４６は、決定部４４からの形式情報から、タップ係数（１次係数及び２次係数それぞれ）の表現形式（最良表現形式）を特定する。さらに、予測部４６は、決定部４４からの選択情報から、削減多項式の採用パターンを特定し、その採用パターンから、削減多項式を構成する項、ひいては、削減多項式の演算に用いられる予測タップとしての復号画像の画素を特定する。
【０２０６】
そして、予測部４６は、最良表現形式の注目画素のクラスのタップ係数で構成される、採用パターンの削減予測式を、復号画像に適用するフィルタ処理、すなわち、削減予測式の演算としての、予測タップとしての復号画像の画素（の画素値）とタップ係数との積和演算を行い、フィルタ画像を求める。
【０２０７】
フィルタ処理での削減予測式の（積和）演算では、タップ係数の最良表現形式及び復号画像の画素値の表現形式に応じた演算が行われる。すなわち、例えば、復号画像の画素値及びタップ係数が１０ビットで表され、復号画像の画素値が整数型で、タップ係数が９ビットの小数部を有する固定小数点である場合、フィルタ処理における、復号画像の画素値とタップ係数との積の演算では、復号画像の画素値を表すビット列とタップ係数を表すビット列との積が求められ、その後、その積を表すビット列が９ビット右シフトされることで、５１２で除算される。
【０２０８】
フィルタ部３３は、クラス分類部５１及び予測部５２を有する。
【０２０９】
フィルタ部３３には、パース部３１（図８）からフィルタ情報が供給されるとともに、復号部３２（図８）から復号画像が供給される。
【０２１０】
クラス分類部５１は、クラス分類部４１と同様に、そこに供給される復号画像の画素を、順次、注目画素に選択する。さらに、クラス分類部５１は、注目画素のクラス分類を行い、その結果得られる注目画素のクラスを、予測部５２に供給する。
【０２１１】
予測部５２は、フィルタ情報に含まれる採用パターンについてのクラスごとのタップ係数のうちの、クラス分類部５１からの注目画素のクラスのタップ係数で構成される削減予測式を、復号画像に適用して、予測処理としてのフィルタ処理を行い、その結果得られるフィルタ画像を、復号部３２（図８）に供給する。
【０２１２】
すなわち、予測部５２は、フィルタ情報に含まれる形式情報から、タップ係数（１次係数及び２次係数それぞれ）の表現形式（最良表現形式）を特定する。さらに、予測部５２は、フィルタ情報に含まれる選択情報から、削減多項式の採用パターンを特定し、その採用パターンから、削減多項式を構成する項、ひいては、削減多項式の演算に用いられる予測タップとしての復号画像の画素を特定する。
【０２１３】
そして、予測部５２は、最良表現形式の注目画素のクラスのタップ係数で構成される、採用パターンの削減予測式を、復号画像に適用するフィルタ処理、すなわち、削減予測式の演算としての、予測タップとしての復号画像の画素（の画素値）とタップ係数との積和演算を行い、フィルタ画像を求める。
【０２１４】
予測部５２のフィルタ処理での削減予測式の（積和）演算では、予測部４６と同様に、タップ係数の最良表現形式及び復号画像の画素値の表現形式に応じた演算が行われる。
【０２１５】
図１０は、図８の符号化装置１１の符号化処理の概要を説明するフローチャートである。
【０２１６】
図１０のフローチャートに従った処理は、例えば、フレーム単位で行われる。
【０２１７】
ステップＳ１１において、符号化部２１（図８）は、フィルタ部２４からのフィルタ画像を用いて、元画像を（予測）符号化し、その符号化により得られる符号化データを、局所復号部２３に供給して、処理は、ステップＳ１２に進む。
【０２１８】
ステップＳ１２では、局所復号部２３は、符号化部２１からの符号化データの局所復号を、フィルタ部２４からのフィルタ画像を用いて行い、その結果得られる（局所）復号画像を、フィルタ部２４に供給して、処理は、ステップＳ１３に進む。
【０２１９】
ステップＳ１３では、フィルタ部２４において、クラス分類部４１（図９）が、局所復号部２３からの復号画像の画素を、順次、注目画素に選択する。さらに、クラス分類部４１は、注目画素のクラス分類を行い、その結果得られる注目画素のクラスを、学習部４２、決定部４４、及び、予測部４６に供給して、処理は、ステップＳ１４に進む。
【０２２０】
ステップＳ１４では、学習部４２は、局所復号部２３からの復号画像の１フレームとその復号画像のフレームに対する元画像の１フレームとを、タップ係数を求める学習の学習画像として用い、複数の選択パターンそれぞれについて、その選択パターンの削減予測式を構成するタップ係数である１次係数及び２次係数を求める学習をクラスごとに行う。学習部４２は、学習により複数の選択パターンそれぞれについて得られるクラスごとのタップ係数を、DB４３に記憶させ、処理は、ステップＳ１４からステップＳ１５に進む。
【０２２１】
ステップＳ１５では、決定部４４は、各選択パターンについて、DB４３に記憶されたクラスごとのタップ係数である１次係数及び２次係数のそれぞれについて、符号化効率を最良にする表現形式である最良表現形式を決定し、処理は、ステップＳ１６に進む。
【０２２２】
ステップＳ１６では、決定部４４は、各選択パターンについて、最良表現形式のタップ係数で構成される削減予測式を復号画像に適用するフィルタ処理を行った場合に、符号化効率を最良にする選択パターンを採用パターンに決定（選択）し、その採用パターン（に決定された選択パターン）についてのクラスごとのタップ係数を、DB４５に記憶させる。DB４５に記憶された採用パターンについてのクラスごとのタップ係数は、フィルタ情報として、符号化部２１に供給される。
【０２２３】
さらに、決定部４４は、採用パターンについてのタップ係数である１次係数及び２次係数それぞれの最良表現形式を表す形式情報、及び、採用パターンを表す選択情報を、フィルタ情報として、符号化部２１に供給するとともに、予測部４６に供給し、処理は、ステップＳ１６からステップＳ１７に進む。
【０２２４】
ステップＳ１７では、予測部４６は、DB４５に記憶された採用パターンについてのクラスごとのタップ係数のうちの、クラス分類部４１からの注目画素のクラスのタップ係数で構成される削減予測式を、局所復号部２３からの復号画像に適用して、予測処理としてのフィルタ処理を行う。
【０２２５】
すなわち、予測部４６は、決定部４４からの形式情報から、タップ係数（１次係数及び２次係数それぞれ）の表現形式（最良表現形式）を特定する。さらに、予測部４６は、決定部４４からの選択情報から、削減多項式の採用パターンを特定する。
【０２２６】
そして、予測部４６は、最良表現形式の注目画素のクラスのタップ係数で構成される、採用パターンの削減予測式を、復号画像に適用するフィルタ処理を行い、フィルタ画像を求める。
【０２２７】
予測部４６は、フィルタ処理の結果得られるフィルタ画像を、符号化部２１及び局所復号部２３に供給し、処理は、ステップＳ１７からステップＳ１８に進む。
【０２２８】
ここで、ステップＳ１７で予測部４６から符号化部２１及び局所復号部２３に供給されるフィルタ画像は、例えば、復号画像の次のフレームを対象として行われるステップＳ１１及びＳ１２の処理で用いられる。
【０２２９】
ステップＳ１８では、符号化部２１は、符号化データと、フィルタ部２４からのフィルタ情報、すなわち、選択情報、形式情報、及び、クラスごとのタップ係数とを含む符号化ビットストリームを生成して伝送する。
【０２３０】
なお、ステップＳ１６での採用パターンの決定では、全クラスに共通して、１つの選択パターンを、採用パターンに決定すること、又は、クラスごとに、１つの選択パターンを、採用パターンに決定することができる。
【０２３１】
クラスごとに、１つの選択パターンを、採用パターンに決定する場合、例えば、クラスごとに、符号化効率が最良になる選択パターンが、採用パターンに決定される。そのため、選択情報及び形式情報の数は、全クラスに共通して、１つの選択パターンを、採用パターンに決定する場合のクラスの数（総数）倍になる。
【０２３２】
また、クラスごとに、１つの選択パターンを、採用パターンに決定する場合、予測部４６は、ステップＳ１７で行うフィルタ処理にあたって、クラスごとに、タップ係数の表現形式（最良表現形式）を特定するとともに、削減多項式の採用パターンを特定し、その採用パターンから、削減多項式を構成する項、ひいては、削減多項式の演算に用いられる予測タップとしての復号画像の画素を特定する。
【０２３３】
図１１は、図８の復号装置１２の復号処理の概要を説明するフローチャートである。
【０２３４】
図１１のフローチャートに従った処理は、例えば、図１０の符号化処理と同様に、フレーム単位で行われる。
【０２３５】
ステップＳ２１において、パース部３１（図８）は、符号化装置１１から伝送されてくる符号化ビットストリームを受信してパースを行うことで、符号化ビットストリームに含まれるフィルタ情報を抽出し（得て）、フィルタ部３３に供給する。さらに、パース部３１は、符号化ビットストリームに含まれる符号化データを、復号部３２に供給し、処理は、ステップＳ２１からステップＳ２２に進む。
【０２３６】
ステップＳ２２では、復号部３２は、パース部３１からの符号化データの復号を、フィルタ部３３からのフィルタ画像を用いて行い、その結果得られる復号画像を、フィルタ部３３に供給して、処理は、ステップＳ２３に進む。
【０２３７】
ステップＳ２３では、フィルタ部３３において、クラス分類部５１（図９）が、復号部３２からの復号画像の画素を、順次、注目画素に選択する。さらに、クラス分類部５１は、注目画素のクラス分類を行い、その結果得られる注目画素のクラスを、予測部５２に供給して、処理は、ステップＳ２４に進む。
【０２３８】
ステップＳ２４では、予測部５２は、パース部３１からのフィルタ情報に含まれる採用パターンについてのクラスごとのタップ係数のうちの、クラス分類部５１からの注目画素のクラスのタップ係数で構成される削減予測式を、復号部３２からの復号画像に適用して、予測処理としてのフィルタ処理を行い、フィルタ画像を求める（生成する）。
【０２３９】
すなわち、予測部５２は、フィルタ情報に含まれる形式情報から、タップ係数（１次係数及び２次係数それぞれ）の表現形式（最良表現形式）を特定する。さらに、予測部５２は、フィルタ情報に含まれる選択情報から、削減多項式の採用パターンを特定する。
【０２４０】
そして、予測部５２は、最良表現形式の注目画素のクラスのタップ係数で構成される、採用パターンの削減予測式を、復号画像に適用するフィルタ処理を行い、フィルタ画像を求める。
【０２４１】
予測部５２でのフィルタ処理の結果得られたフィルタ画像は、復号部３２（図８）に供給されるとともに、元画像を復元した復元画像として出力される。
【０２４２】
ステップＳ２４で予測部５２から復号部３２に供給されるフィルタ画像は、例えば、復号画像の次のフレームを対象として行われるステップＳ２２の処理で用いられる。
【０２４３】
次に、本技術の実施の形態の詳細について説明するが、その前に、画像を対象とするクラス分類予測処理について説明する。
【０２４４】
画像を対象とするクラス分類予測処理とは、クラス分類予測処理の対象の画像である第１の画像を用いてクラス分類を行い、そのクラス分類の結果得られるクラスのタップ係数と第１の画像の画素（の画素値）との積和演算を行う予測式を用いた予測処理としてのフィルタ処理を行う処理であり、かかるフィルタ処理により第２の画像の予測値が求められる（生成される）。本実施の形態では、第１の画像は、復号画像（局所復号画像を含む）であり、第２の画像は、元画像である。
【０２４５】
＜クラス分類予測処理＞
【０２４６】
図１２は、クラス分類予測処理を行う予測装置の第１の構成例を示すブロック図である。
【０２４７】
クラス分類予測処理では、第１の画像のうちの注目している注目画素を複数のクラスのうちのいずれかのクラスにクラス分類することにより得られるクラスのタップ係数と、注目画素に対して予測タップとして選択される第１の画像の画素の画素値とを用いた予測式の演算としての積和演算により、注目画素に対応する第２の画像の対応画素の画素値の予測値が求められる。
【０２４８】
なお、以下のクラス分類予測処理の説明では、説明を簡単にするため、予測式として、１次項のみからなる予測式を採用することとする。
【０２４９】
図１２は、クラス分類予測処理を行う予測装置の構成例を示している。
【０２５０】
図１２において、予測装置１００は、タップ選択部１０１、クラス分類部１０２、係数取得部１０３、及び、予測演算部１０４を有する。
【０２５１】
予測装置１００には、第１の画像が供給される。予測装置１００に供給される第１の画像は、タップ選択部１０１及びクラス分類部１０２に供給される。
【０２５２】
タップ選択部１０１は、第１の画像を構成する画素を、順次、注目画素に選択する。さらに、タップ選択部１０１は、注目画素に対応する第２の画像の対応画素（の画素値）を予測するのに用いる第１の画像を構成する画素（の画素値）の幾つかを、予測タップとして選択する。
【０２５３】
具体的には、タップ選択部１０１は、注目画素の時空間の位置から空間的又は時間的に近い位置にある第１の画像の複数の画素を、予測タップとして選択し、予測演算部１０４に供給する。
【０２５４】
クラス分類部１０２は、一定の規則に従って、注目画素を、幾つかのクラスのうちのいずれかにクラス分けするクラス分類を行い、その結果得られる注目画素のクラスを、係数取得部１０３に供給する。
【０２５５】
すなわち、クラス分類部１０２は、例えば、注目画素について、クラス分類を行うのに用いる第１の画像を構成する画素（の画素値）の幾つかを、クラスタップとして選択する。例えば、クラス分類部１０２は、タップ選択部１０１が予測タップを選択するのと同様にして、クラスタップを選択する。
【０２５６】
なお、予測タップとクラスタップは、同一のタップ構造を有するものであっても良いし、異なるタップ構造を有するものであっても良い。
【０２５７】
クラス分類部１０２は、例えば、クラスタップを用いて、注目画素をクラス分類し、その結果得られる注目画素のクラスを、係数取得部１０３に供給する。
【０２５８】
例えば、クラス分類部１０２は、クラスタップを用いて、注目画素の画像特徴量を求める。さらに、クラス分類部１０２は、注目画素の画像特徴量に応じて、注目画素をクラス分類し、その結果得られるクラスを、係数取得部１０３に供給する。
【０２５９】
ここで、クラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)等を採用することができる。
【０２６０】
ADRCを用いる方法では、クラスタップとしての画素（の画素値）が、ADRC処理され、その結果得られるADRCコード（ADRC値）にしたがって、注目画素のクラスが決定される。ADRCコードは、注目画素を含む小領域の画像特徴量としての波形パターンを表す。
【０２６１】
なお、LビットADRCにおいては、例えば、クラスタップとしての画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップとしての各画素の画素値がLビットに再量子化される。すなわち、クラスタップとしての各画素の画素値から、最小値MINが減算され、その減算値がDR/2Lで除算（再量子化）される。そして、以上のようにして得られる、クラスタップとしてのLビットの各画素の画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。したがって、クラスタップが、例えば、１ビットADRC処理された場合には、そのクラスタップとしての各画素の画素値は、最大値MAXと最小値MINとの平均値で除算され（小数点以下切り捨て）、これにより、各画素の画素値が１ビットとされる（２値化される）。そして、その１ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力される。かかるADRCコードが表す値が、クラスを表す。
【０２６２】
また、クラス分類に用いる画像特徴量としては、ADRCコードの他、例えば、クラスタップとしての画素の輝度等の画素値の最大値と最小値との差分であるDR(Dynamic Range)や、クラスタップにおいて、水平、垂直、斜め方向に隣接する画素の画素値の差分絶対値の最大値であるDiffMax、DR及びDiffMaxを用いて得られるDiffMax/DR等を採用することができる。
【０２６３】
その他、クラス分類は、注目画素の量子化パラメータQPその他の符号化情報を用いて行うことができる。すなわち、クラス分類は、例えば、符号化情報の閾値処理等によって行うことができる。
【０２６４】
係数取得部１０３は、学習によって求められたクラスごとのタップ係数を記憶し、さらに、その記憶したタップ係数のうちの、クラス分類部１０２から供給される注目画素のクラスのタップ係数を取得する。さらに、係数取得部１０３は、注目画素のクラスのタップ係数を、予測演算部１０４に供給する。
【０２６５】
予測演算部１０４は、タップ選択部１０１からの予測タップと、係数取得部１０３から供給されるタップ係数とを用いて、注目画素に対応する第２の画像の画素（対応画素）の画素値の真値の予測値を求める予測式の積和演算である予測処理としてのフィルタ処理を行う。これにより、予測演算部１０４は、対応画素の画素値（の予測値）、すなわち、第２の画像を構成する画素の画素値（の予測値）を求めて出力する。
【０２６６】
図１３は、係数取得部１０３に記憶されるタップ係数の学習を行う学習装置の構成例を示すブロック図である。
【０２６７】
ここで、第１の画像として、復号画像を採用するとともに、第２の画像として、その復号画像に対する元画像を採用し、第１の画像から選択される予測タップとタップ係数とを用いて、１次項のみからなる予測式の積和演算である予測処理としてのフィルタ処理により、第２の画像としての元画像の画素（以下、第２の画素ともいう）の画素値を予測することとすると、注目画素に対応する第２の画像の対応画素としての第２の画素の画素値yは、次の予測式に従って求められる。
【０２６８】
【数３】
2019107182.tif 000005
・・・（３）
【０２６９】
式（３）において、xnは、注目画素の予測タップとしてのn番目の第１の画像の画素（以下、適宜、第１の画素ともいう）の画素値を表し、wnは、n番目の１次項のタップ係数（n番目のタップ係数）を表す。式（３）の予測式は、N個の項（１次項）で構成される。
【０２７０】
ここで、本技術では、第２の画素の画素値yは、式（３）の１次項のみからなる予測式ではなく、２次以上の高次項を含む高次予測式によって求められる。
【０２７１】
いま、第ｋサンプルの第２の画素の画素値の真値をykと表すとともに、式（３）によって得られるその真値ykの予測値をyk’と表すと、その予測誤差ekは、次式で表される。
【０２７２】
【数４】
2019107182.tif 000006
・・・（４）
【０２７３】
いま、式（４）の予測値yk’は、式（３）にしたがって求められるため、式（４）のyk’を、式（３）にしたがって置き換えると、次式が得られる。
【０２７４】
【数５】
2019107182.tif 000007
・・・（５）
【０２７５】
但し、式（５）において、xn,kは、対応画素としての第kサンプルの第２の画素に対する予測タップとしてのn番目の第１の画素を表す。
【０２７６】
式（５）（又は式（４））の予測誤差ekを０とするタップ係数wnが、第２の画素を予測するのに最適なものとなるが、すべての第２の画素について、そのようなタップ係数wnを求めることは、一般には困難である。
【０２７７】
そこで、タップ係数wnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なタップ係数wnは、次式で表される自乗誤差の総和Ｅ（統計的な誤差）を最小にすることで求めることができる。
【０２７８】
【数６】
2019107182.tif 000008
・・・（６）
【０２７９】
但し、式（６）において、Kは、対応画素としての第２の画素ykと、その第２の画素ykに対する予測タップとしての第１の画素x1,k，x2,k，・・・，xN,kとのセットのサンプル数（学習用のサンプルの数）を表す。
【０２８０】
式（６）の自乗誤差の総和Ｅの最小値（極小値）は、式（７）に示すように、総和Ｅをタップ係数wnで偏微分したものを０とするwnによって与えられる。
【０２８１】
【数７】
2019107182.tif 000009
・・・（７）
【０２８２】
そこで、上述の式（５）をタップ係数wnで偏微分すると、次式が得られる。
【０２８３】
【数８】
2019107182.tif 000010
・・・（８）
【０２８４】
式（７）と（８）から、次式が得られる。
【０２８５】
【数９】
2019107182.tif 000011
・・・（９）
【０２８６】
式（９）のekに、式（５）を代入することにより、式（９）は、式（１０）に示す正規方程式で表すことができる。
【０２８７】
【数１０】
2019107182.tif 000012
・・・（１０）
【０２８８】
式（１０）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）等を用いることにより、タップ係数wnについて解くことができる。
【０２８９】
式（１０）の正規方程式を、クラスごとにたてて解くことにより、最適なタップ係数（ここでは、自乗誤差の総和Ｅを最小にするタップ係数）wnを、クラスごとに求めることができる。
【０２９０】
図１３は、式（１０）の正規方程式をたてて解くことによりタップ係数wnを求める学習を行う学習装置の構成例を示している。
【０２９１】
図１３において、学習装置１１０は、教師画像生成部１１１、生徒画像生成部１１２、及び、学習部１１３を有する。
【０２９２】
教師画像生成部１１１及び生徒画像生成部１１２には、タップ係数wnの学習に用いられる学習画像（学習用のサンプルとしての画像）が供給される。
【０２９３】
教師画像生成部１１１は、学習画像から、タップ係数の学習の教師（真値）となる教師データとしての教師画像、すなわち、式（３）による予測式の演算としての写像の写像先となる教師画像として、第２の画像に相当する画像を生成し、学習部１１３に供給する。ここでは、教師画像生成部１１１は、例えば、学習画像を、そのまま教師画像として、学習部１１３に供給する。
【０２９４】
生徒画像生成部１１２は、学習画像から、タップ係数の学習の生徒となる生徒データとしての生徒画像、すなわち、式（３）による予測式の演算としての写像の写像元となる生徒画像として、第１の画像に相当する画像を生成し、学習部１１３に供給する。ここでは、生徒画像生成部１１２は、例えば、学習画像を、符号化装置１１と同様に符号化して局所復号することにより、復号画像を生成し、この復号画像を、生徒画像として、学習部１１３に供給する。
【０２９５】
学習部１１３は、生徒画像生成部１１２からの生徒画像を構成する画素を、順次、注目画素とし、その注目画素について、図１２のタップ選択部１０１が選択するのと同一のタップ構造の画素を、生徒画像から予測タップとして選択する。さらに、学習部１１３は、注目画素に対応する教師画像を構成する対応画素と、注目画素の予測タップとを用い、クラスごとに、式（１０）の正規方程式をたてて解くことにより、クラスごとのタップ係数を求める。
【０２９６】
図１４は、図１３の学習部１１３の構成例を示すブロック図である。
【０２９７】
図１４において、学習部１１３は、タップ選択部１２１、クラス分類部１２２、足し込み部１２３、及び、係数算出部１２４を有する。
【０２９８】
生徒画像は、タップ選択部１２１及びクラス分類部１２２に供給され、教師画像は、足し込み部１２３に供給される。
【０２９９】
タップ選択部１２１は、生徒画像を構成する画素を、順次、注目画素として選択し、その注目画素を表す情報を、必要なブロックに供給する。
【０３００】
さらに、タップ選択部１２１は、注目画素について、生徒画像を構成する画素から、図１２のタップ選択部１０１が選択するのと同一の画素を予測タップに選択し、これにより、タップ選択部１０１で得られるのと同一のタップ構造の予測タップを得て、足し込み部１２３に供給する。
【０３０１】
クラス分類部１２２は、生徒画像を用いて、注目画素について、図１２のクラス分類部１０２と同一のクラス分類を行い、その結果得られる注目画素のクラスを、足し込み部１２３に出力する。
【０３０２】
足し込み部１２３は、教師画像を構成する画素から、注目画素に対応する対応画素（の画素値）を取得し、対応画素と、タップ選択部１２１から供給される注目画素についての予測タップとしての生徒画像の画素（の画素値）とを対象とした足し込みを、クラス分類部１２２から供給される注目画素のクラスごとに行う。
【０３０３】
すなわち、足し込み部１２３には、教師画像の対応画素yk、生徒画像としての注目画素の予測タップxn,k、注目画素のクラスが供給される。
【０３０４】
足し込み部１２３は、注目画素のクラスごとに、予測タップとしての生徒画像の画素xn,kを用い、式（１０）の左辺の行列における生徒画像の画素どうしの乗算（xn,kxn',k）と、サメーション（Σ）に相当する演算を行う。
【０３０５】
さらに、足し込み部１２３は、やはり、注目画素のクラスごとに、予測タップxn,kと教師画像の画素ykを用い、式（１０）の右辺のベクトルにおける予測タップxn,k及び教師画像の画素ykの乗算（xn,kyk）と、サメーション（Σ）に相当する演算を行う。
【０３０６】
すなわち、足し込み部１２３は、前回、注目画素に対応する教師画像の対応画素について求められた式（１０）における左辺の行列のコンポーネント（Σxn,kxn',k）と、右辺のベクトルのコンポーネント（Σxn,kyk）を、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネント（Σxn,kxn',k）又はベクトルのコンポーネント（Σxn,kyk）に対して、新たな注目画素に対応する対応画素yk+1について、その対応画素yk+1及び予測タップxn,k+1を用いて計算される、対応するコンポーネントxn,k+1xn',k+1又はxn,k+1yk+1を足し込む（式（１０）のサメーションで表される加算を行う）。
【０３０７】
そして、足し込み部１２３は、例えば、生徒画像の画素すべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、式（１０）に示した正規方程式をたて、その正規方程式を、係数算出部１２４に供給する。
【０３０８】
係数算出部１２４は、足し込み部１２３から供給される各クラスについての正規方程式を解くことにより、各クラスについて、最適なタップ係数wnを求めて出力する。
【０３０９】
図１２の予測装置１００における係数取得部１０３には、以上のようにして求められたクラスごとのタップ係数wnを記憶させることができる。
【０３１０】
図１５は、クラス分類予測処理を行う予測装置の第２の構成例を示すブロック図である。
【０３１１】
なお、図中、図１２の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０３１２】
図１５において、予測装置１３０は、タップ選択部１０１、クラス分類部１０２、予測演算部１０４、及び、係数取得部１３１を有する。
【０３１３】
したがって、図１５の予測装置１３０は、タップ選択部１０１、クラス分類部１０２、及び、予測演算部１０４を有する点で、図１２の場合と共通する。
【０３１４】
但し、図１５では、係数取得部１０３に代えて、係数取得部１３１が設けられている点で、図１２の場合と相違する。
【０３１５】
係数取得部１３１は、後述する種係数を記憶する。さらに、係数取得部１３１には、外部からパラメータzが供給される。
【０３１６】
係数取得部１３１は、種係数から、パラメータzに対応する、クラスごとのタップ係数を生成して記憶し、そのクラスごとのタップ係数から、クラス分類部１０２からのクラスのタップ係数を取得して、予測演算部１０４に供給する。
【０３１７】
図１６は、係数取得部１３１に記憶される種係数を求める学習を行う学習装置の構成例を示すブロック図である。
【０３１８】
図１６の学習装置では、ボリューム化、すなわち、予測式を構成するタップ係数を多項式で近似した場合の、その多項式を構成する係数である種係数が、例えば、クラスごとに求められる。
【０３１９】
いま、タップ係数wnを、種係数と、パラメータzとを用いた以下の多項式によって近似することとする。
【０３２０】
【数１１】
2019107182.tif 000013
・・・（１１）
【０３２１】
但し、式（１１）において、βm,nは、n番目のタップ係数wnを求めるのに用いられるｍ番目の種係数を表す。なお、式（１１）では、タップ係数wnが、Ｍ個の種係数β1,n，β2,n，・・・，βM,nを用いて求められる。
【０３２２】
ここで、種係数βm,nとパラメータzから、タップ係数wnを求める式は、式（１１）に限定されるものではない。
【０３２３】
いま、式（１１）におけるパラメータzによって決まる値zm-1を、新たな変数ｔmを導入して、次式で定義する。
【０３２４】
【数１２】
2019107182.tif 000014
・・・（１２）
【０３２５】
式（１２）を、式（１１）に代入することにより、次式が得られる。
【０３２６】
【数１３】
2019107182.tif 000015
・・・（１３）
【０３２７】
式（１３）によれば、タップ係数wnは、種係数βm,nと変数ｔmとの線形１次式によって求められることになる。
【０３２８】
ところで、いま、第kサンプルの第２の画素の画素値の真値をykと表すとともに、式（３）によって得られるその真値ykの予測値をyk’と表すと、その予測誤差ekは、次式で表される。
【０３２９】
【数１４】
2019107182.tif 000016
・・・（１４）
【０３３０】
いま、式（１４）の予測値yk’は、式（３）にしたがって求められるため、式（１４）のyk’を、式（３）にしたがって置き換えると、次式が得られる。
【０３３１】
【数１５】
2019107182.tif 000017
・・・（１５）
【０３３２】
但し、式（１５）において、xn,kは、対応画素としての第kサンプルの第２の画素に対する予測タップとしてのn番目の第１の画素を表す。
【０３３３】
式（１５）のwnに、式（１３）を代入することにより、次式が得られる。
【０３３４】
【数１６】
2019107182.tif 000018
・・・（１６）
【０３３５】
式（１６）の予測誤差ekを０とする種係数βm,nが、第２の画素を予測するのに最適なものとなるが、すべての第２の画素について、そのような種係数βm,nを求めることは、一般には困難である。
【０３３６】
そこで、種係数βm,nが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適な種係数βm,nは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【０３３７】
【数１７】
2019107182.tif 000019
・・・（１７）
【０３３８】
但し、式（１７）において、Kは、対応画素としての第２の画素ykと、その第２の画素ykに対する予測タップとしての第１の画素x1,k，x2,k，・・・，xN,kとのセットのサンプル数（学習用のサンプルの数）を表す。
【０３３９】
式（１７）の自乗誤差の総和Ｅの最小値（極小値）は、式（１８）に示すように、総和Ｅを種係数βm,nで偏微分したものを０とするβm,nによって与えられる。
【０３４０】
【数１８】
2019107182.tif 000020
・・・（１８）
【０３４１】
式（１５）を、式（１８）に代入することにより、次式が得られる。
【０３４２】
【数１９】
2019107182.tif 000021
・・・（１９）
【０３４３】
いま、Ｘi,p,j,qとＹi,pを、式（２０）と（２１）に示すように定義する。
【０３４４】
【数２０】
2019107182.tif 000022
・・・（２０）
【０３４５】
【数２１】
2019107182.tif 000023
・・・（２１）
【０３４６】
この場合、式（１９）は、Ｘi,p,j,qとＹi,pを用いた式（２２）に示す正規方程式で表すことができる。
【０３４７】
【数２２】
2019107182.tif 000024
・・・（２２）
【０３４８】
式（２２）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）等を用いることにより、種係数βm,nについて解くことができる。
【０３４９】
図１５の予測装置１３０においては、教師画像としての第２の画像（元画像）の第２の画素y1，y2，・・・，yKと、生徒画像としての第１の画像（復号画像）の第１の画素x1,k，x2,k，・・・，xN,kとを用いて、クラスごとに式（２２）の正規方程式をたてて解く学習を行うことにより求められたクラスごとの種係数βm,nが、係数取得部１３１に記憶される。そして、係数取得部１３１では、種係数βm,nと、外部から与えられるパラメータzから、式（１１）にしたがって、クラスごとのタップ係数wnが生成され、予測演算部１０４において、そのタップ係数wnと、注目画素についての予測タップとしての第１の画素xnを用いて、式（３）が計算されることにより、第２の画素（注目画素に対応する対応画素）の画素値（の予測値）が求められる。
【０３５０】
図１６は、式（２２）の正規方程式をクラスごとにたてて解くことにより、クラスごとの種係数βm,nを求める学習を行う学習装置の構成例を示す図である。
【０３５１】
なお、図中、図１３の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０３５２】
図１６において、学習装置１４０は、教師画像生成部１１１、パラメータ生成部１４１、生徒画像生成部１４２、及び、学習部１４３を有する。
【０３５３】
したがって、図１６の学習装置１４０は、教師画像生成部１１１を有する点で、図１３の学習装置１１０と共通する。
【０３５４】
但し、図１６の学習装置１４０は、パラメータ生成部１４１を新たに有する点で、図１３の学習装置１１０と相違する。さらに、図１６の学習装置１４０は、生徒画像生成部１１２及び学習部１１３に代えて、生徒画像生成部１４２、及び、学習部１４３がそれぞれ設けられている点で、図１３の学習装置１１０と相違する。
【０３５５】
パラメータ生成部１４１は、生徒画像生成部１４２での学習画像から生徒画像を生成する処理や、その生徒画像に応じてパラメータzを生成し、学習部１４３に供給する。
【０３５６】
例えば、生徒画像生成部１４２において、学習画像を、符号化装置１１と同様に符号化して局所復号することにより、復号画像が生成される場合、パラメータ生成部１４１は、例えば、生徒画像生成部１４２で生成された生徒画像の画像特徴量としての、例えば、生徒画像の全画面動きの動き量に応じた値を、パラメータzとして生成する。また、パラメータ生成部１４１は、例えば、生徒画像生成部１４２での生徒画像の生成で行われた教師画像（学習画像）の符号化に用いられた量子化パラメータQP（に対応する値）を、パラメータzとして生成する。さらに、パラメータ生成部１４１は、生徒画像生成部１４２で生成された生徒画像のS/Nに応じた値を、パラメータzとして生成する。
【０３５７】
パラメータ生成部１４１では、生徒画像生成部１４２で生成される生徒画像（の画素）に対して、パラメータzが生成される。
【０３５８】
なお、パラメータ生成部１４１では、例えば、生徒画像の全画面動きの動き量に応じた値、及び、生徒画像の生成で行われた教師画像の符号化に用いられた量子化パラメータQPを、２個のパラメータz及びz'として生成することができる。その他、パラメータ生成部１４１では、２個以外の複数のパラメータ、すなわち、３個以上のパラメータを生成することができる。
【０３５９】
パラメータ生成部１４１において、例えば、２個のパラメータz及びz'が生成される場合、図１５の係数取得部１０３では、外部から２個のパラメータz及びz'が与えられ、その２個のパラメータz及びz'と種係数とを用いて、タップ係数が生成される。
【０３６０】
以上のように、種係数としては、１個のパラメータzの他、２個のパラメータz及びz'、さらには、３個以上のパラメータを用いて、タップ係数を生成することができる種係数を求めること、すなわち、タップ係数を、複数のパラメータを用いた多項式で近似することができる。但し、本明細書では、説明を簡単にするため、１個のパラメータzを用いてタップ係数を生成する種係数を例に、説明を行う。
【０３６１】
生徒画像生成部１４２には、教師画像生成部１１１に供給されるのと同様の学習画像が供給される。
【０３６２】
生徒画像生成部１４２は、図１３の生徒画像生成部１１２と同様に、学習画像から生徒画像を生成し、生徒画像として、学習部１４３に供給する。すなわち、生徒画像生成部１４２は、例えば、学習画像を、符号化装置１１と同様に符号化して局所復号することにより、復号画像を生成し、この復号画像を、生徒画像として、学習部１１３に供給する。なお、生徒画像生成部１４２の処理等は、パラメータ生成部１４１から参照される。
【０３６３】
学習部１４３は、教師画像生成部１１１からの教師画像、パラメータ生成部１４１からのパラメータz、及び、生徒画像生成部１４２からの生徒画像を用いて、クラスごとの種係数を求めて出力する。
【０３６４】
図１７は、図１６の学習部１４３の構成例を示すブロック図である。
【０３６５】
なお、図中、図１４の学習部１１３と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０３６６】
図１７において、学習部１４３は、タップ選択部１２１、クラス分類部１２２、足し込み部１５１、及び、係数算出部１５２を有する。
【０３６７】
したがって、図１７の学習部１４３は、タップ選択部１２１、及び、クラス分類部１２２を有する点で、図１４の学習部１１３と共通する。
【０３６８】
但し、学習部１４３は、足し込み部１２３及び係数算出部１２４に代えて、足し込み部１５１、及び、係数算出部１５２をそれぞれ有する点で、図１４の学習部１１３と相違する。
【０３６９】
図１７では、タップ選択部１２１は、図１６のパラメータ生成部１４１で生成されるパラメータzに対応する生徒画像から、予測タップを選択し、足し込み部１５１に供給する。
【０３７０】
足し込み部１５１は、図１６の教師画像生成部１１１からの教師画像から、注目画素に対応する対応画素を取得し、その対応画素、タップ選択部１２１から供給される注目画素についての予測タップとしての生徒画像の画素（生徒画素）、及び、その生徒画像（の注目画素）に対するパラメータzを対象とした足し込みを、クラス分類部１２２から供給されるクラスごとに行う。
【０３７１】
すなわち、足し込み部１５１には、注目画素に対応する教師画像の画素（教師画素）yk、タップ選択部１２１が出力する注目画素についての予測タップxi,k（xj,k）、及び、クラス分類部１２２が出力する注目画素のクラスが供給されるとともに、注目画素（を含む生徒画像）に対するパラメータzが、パラメータ生成部１４１から供給される。
【０３７２】
足し込み部１５１は、クラス分類部１２２から供給されるクラスごとに、予測タップ（生徒画像）xi,k（xj,k）とパラメータzを用い、式（２２）の左辺の行列における、式（２０）で定義されるコンポーネントＸi,p,j,qを求めるための生徒画素及びパラメータzの乗算（xi,kｔpxj,kｔq）と、サメーション（Σ）に相当する演算を行う。なお、式（２０）のｔpは、式（１２）にしたがって、パラメータzから計算される。式（２０）のｔqも同様である。
【０３７３】
さらに、足し込み部１５１は、やはり、クラス分類部１２２から供給されるクラスごとに、予測タップ（生徒画素）xi,k、対応画素（教師画素）yk、及び、パラメータzを用い、式（２２）の右辺のベクトルにおける、式（２１）で定義されるコンポーネントＹi,pを求めるための生徒画素xi,k、教師画素yk、及び、パラメータzの乗算（xi,kｔpyk）と、サメーション（Σ）に相当する演算を行う。なお、式（２１）のｔpは、式（１２）にしたがって、パラメータzから計算される。
【０３７４】
すなわち、足し込み部１５１は、前回、注目画素に対応する対応画素について求められた式（２２）における左辺の行列のコンポーネントＸi,p,j,qと、右辺のベクトルのコンポーネントＹi,pを、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネントＸi,p,j,q又はベクトルのコンポーネントＹi,pに対して、新たな注目画素に対応する対応画素となった教師画素について、その教師画素yk、生徒画素xi,k(xj,k)、及びパラメータzを用いて計算される、対応するコンポーネントxi,kｔpxj,kｔq又はxi,kｔpykを足し込む（式（２０）のコンポーネントＸi,p,j,q又は式（２１）のコンポーネントＹi,pにおけるサメーションで表される加算を行う）。
【０３７５】
そして、足し込み部１５１は、パラメータzの各値につき、生徒画像の画素すべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、式（２２）に示した正規方程式をたて、その正規方程式を、係数算出部１５２に供給する。
【０３７６】
係数算出部１５２は、足し込み部１５１から供給されるクラスごとの正規方程式を解くことにより、各クラスごとの種係数βm,nを求めて出力する。
【０３７７】
ところで、図１６の学習装置１４０では、学習画像を教師画像とするとともに、その教師画像を符号化して（局所）復号することにより得られる復号画像を生徒画像として、タップ係数wn及び生徒画像xnから式（３）の線形１次式で予測される教師画像の予測値yの自乗誤差の総和を直接的に最小にする種係数βm,nを求める学習を行うようにしたが、種係数βm,nの学習としては、教師画像の予測値yの自乗誤差の総和を、いわば、間接的に最小にする種係数βm,nを求める学習を行うことができる。
【０３７８】
すなわち、学習画像を教師画像とするとともに、その教師画像を符号化して（局所）復号することにより得られる復号画像を生徒画像として、タップ係数wn及び生徒画像xnを用いて式（３）の線形１次予測式で予測される教師画像の予測値yの自乗誤差の総和を最小にするタップ係数wnを、パラメータzの値ごとに求めることができる。そして、そのパラメータzの値ごとに求められたタップ係数wnを、学習の教師となる教師データとするとともに、パラメータzを、学習の生徒となる生徒データとして、式（１３）によって種係数βm,n及び生徒データであるパラメータzに対応する変数ｔmから予測される教師データとしてのタップ係数wnの予測値の自乗誤差の総和を最小にする種係数βm,nを求めることができる。
【０３７９】
タップ係数は、式（１３）に示したように、種係数βm,nと、パラメータzに対応する変数ｔmとから求められる。そして、いま、この式（１３）によって求められるタップ係数を、wn’と表すこととすると、次の式（２３）で表される、最適なタップ係数wnと式（１３）により求められるタップ係数wn’との誤差enを０とする種係数βm,nが、最適なタップ係数wnを求めるのに最適な種係数となるが、すべてのタップ係数wnについて、そのような種係数βm,nを求めることは、一般には困難である。
【０３８０】
【数２３】
2019107182.tif 000025
・・・（２３）
【０３８１】
なお、式（２３）は、式（１３）によって、次式のように変形することができる。
【０３８２】
【数２４】
2019107182.tif 000026
・・・（２４）
【０３８３】
そこで、種係数βm,nが最適なものであることを表す規範として、例えば、やはり、最小自乗法を採用することとすると、最適な種係数βm,nは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【０３８４】
【数２５】
2019107182.tif 000027
・・・（２５）
【０３８５】
式（２５）の自乗誤差の総和Ｅの最小値（極小値）は、式（２６）に示すように、総和Ｅを種係数βm,nで偏微分したものを０とするβm,nによって与えられる。
【０３８６】
【数２６】
2019107182.tif 000028
・・・（２６）
【０３８７】
式（２４）を、式（２６）に代入することにより、次式が得られる。
【０３８８】
【数２７】
2019107182.tif 000029
・・・（２７）
【０３８９】
いま、Ｘi,j,とＹiを、式（２８）と（２９）に示すように定義する。
【０３９０】
【数２８】
2019107182.tif 000030
・・・（２８）
【０３９１】
【数２９】
2019107182.tif 000031
・・・（２９）
【０３９２】
この場合、式（２７）は、Ｘi,jとＹiを用いた式（３０）に示す正規方程式で表すことができる。
【０３９３】
【数３０】
2019107182.tif 000032
・・・（３０）
【０３９４】
式（３０）の正規方程式も、例えば、掃き出し法等を用いることにより、種係数βm,nについて解くことができる。
【０３９５】
学習部１４３（図１７）では、以上のように、式（３０）の正規方程式をたてて解くことにより種係数βm,nを求める学習を行うこともできる。
【０３９６】
この場合、足し込み部１５１は、教師画像生成部１１１からの教師画像のうちの、注目画素に対応する教師画像の対応画素と、タップ選択部１２１から供給される注目画素についての予測タップとしての生徒画素とを対象とした足し込みを、クラス分類部１２２から供給されるクラスごとに、かつ、パラメータ生成部１４１が出力するパラメータzの値ごとに行う。
【０３９７】
すなわち、足し込み部１５１には、教師画像の教師画素（対応画素）yk、予測タップxn,k、注目画素のクラス、及び、生徒画像（の注目画素）に対するパラメータzが供給される。
【０３９８】
足し込み部１５１は、注目画素のクラスごとに、かつ、パラメータzの値ごとに、予測タップ（生徒画素）xn,kを用い、式（１０）の左辺の行列における生徒画素どうしの乗算（xn,kxn',k）と、サメーション（Σ）に相当する演算を行う。
【０３９９】
さらに、足し込み部１５１は、注目画素のクラスごとに、かつ、パラメータzの値ごとに、予測タップ（生徒画素）xn,kと教師画素ykを用い、式（１０）の右辺のベクトルにおける生徒画素xn,k及び教師画素ykの乗算（xn,kyk）と、サメーション（Σ）に相当する演算を行う。
【０４００】
すなわち、足し込み部１５１は、前回、注目画素に対応する教師画像の教師画素（対応画素）について求められた式（１０）における左辺の行列のコンポーネント（Σxn,kxn',k）と、右辺のベクトルのコンポーネント（Σxn,kyk）を、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネント（Σxn,kxn',k）又はベクトルのコンポーネント（Σxn,kyk）に対して、新たな注目画素に対応する対応画素となった教師画素について、その教師画素yk+1及び生徒画素xn,k+1を用いて計算される、対応するコンポーネントxn,k+1xn',k+1又はxn,k+1yk+1を足し込む（式（１０）のサメーションで表される加算を行う）。
【０４０１】
そして、足し込み部１５１は、生徒画像の画素すべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、パラメータzの各値ごとに、式（１０）に示した正規方程式をたてる。
【０４０２】
したがって、足し込み部１５１は、図１４の足し込み部１２３と同様に、各クラスについて、式（１０）の正規方程式をたてる。但し、足し込み部１５１は、さらに、パラメータzの各値ごとにも、式（１０）の正規方程式をたてる点で、図１４の足し込み部１２３と異なる。
【０４０３】
さらに、足し込み部１５１は、各クラスについての、パラメータzの値ごとの正規方程式を解くことにより、各クラスについて、パラメータzの値ごとの最適なタップ係数wnを求める。
【０４０４】
その後、足し込み部１５１は、パラメータ生成部１４１（図１６）から供給されるパラメータz（に対応する変数ｔm）と、最適なタップ係数wnを対象とした足し込みを、クラスごとに行う。
【０４０５】
すなわち、足し込み部１５１は、パラメータ生成部１４１から供給されるパラメータzから式（１２）によって求められる変数ｔi（ｔj）を用い、式（３０）の左辺の行列における、式（２８）で定義されるコンポーネントＸi,jを求めるためのパラメータzに対応する変数ｔi（ｔj）どうしの乗算（ｔiｔj）と、サメーション（Σ）に相当する演算を、クラスごとに行う。
【０４０６】
ここで、コンポーネントＸi,jは、パラメータzによってのみ決まるものであり、クラスとは関係がないので、コンポーネントＸi,jの計算は、クラスごとに行う必要はなく、１回行うだけで済む。
【０４０７】
さらに、足し込み部１５１は、パラメータ生成部１４１から供給されるパラメータzから式（１２）によって求められる変数ｔiと、足し込み部１５１から供給される最適なタップ係数wnとを用い、式（３０）の右辺のベクトルにおける、式（２９）で定義されるコンポーネントＹiを求めるためのパラメータzに対応する変数ｔi及び最適なタップ係数wnの乗算（ｔiwn）と、サメーション（Σ）に相当する演算を、クラスごとに行う。
【０４０８】
足し込み部１５１は、各クラスごとに、式（２８）で表されるコンポーネントＸi,jと、式（２９）で表されるコンポーネントＹiを求めることにより、各クラスについて、式（３０）の正規方程式をたて、その正規方程式を、係数算出部１５２に供給する。
【０４０９】
係数算出部１５２は、足し込み部１５１から供給されるクラスごとの式（３０）の正規方程式を解くことにより、各クラスごとの種係数βm,nを求めて出力する。
【０４１０】
図１５の係数取得部１３１には、以上のようにして求められたクラスごとの種係数βm,nを記憶させることができる。
【０４１１】
なお、上述の場合には、タップ係数wnを、式（１１）に示したように、１個のパラメータzを用いた多項式β1,nz0＋β2,nz1＋・・・＋βM,nzM-1で近似することとしたが、タップ係数wnは、その他、例えば、２個のパラメータzxとzyを用いた多項式β1,nzx0zy0＋β2,nzx1zy0＋β3,nzx2zy0＋β4,nzx3zy0＋β5,nzx0zy1＋β6,nzx0zy2＋β7,nzx0zy3＋β8,nzx1zy1＋β9,nzx2zy1＋β10,nzx1zy2で近似することができる。この場合、式（１２）で定義した変数ｔmを、式（１２）に代えて、例えば、ｔ1＝zx0zy0，ｔ2＝zx1zy0，ｔ3＝zx2zy0，ｔ4＝zx3zy0，ｔ5＝zx0zy1，ｔ6＝zx0zy2，ｔ7＝zx0zy3，ｔ8＝zx1zy1，ｔ9＝zx2zy1，ｔ10＝zx1zy2で定義することにより、タップ係数wnは、最終的には、式（１３）で表すことができ、したがって、図１６の学習装置１４０において、２個のパラメータzxとzyを用いた多項式で近似されるタップ係数wnを求めることができる。
【０４１２】
＜符号化装置１１の構成例＞
【０４１３】
図１８は、図８の符号化装置１１の詳細な構成例を示すブロック図である。
【０４１４】
なお、以下説明するブロック図については、図が煩雑になるのを避けるため、各ブロックの処理で必要となる情報（データ）を供給する線の記載を、適宜省略する。
【０４１５】
図１８において、符号化装置１１は、A/D変換部２０１、並べ替えバッファ２０２、演算部２０３、直交変換部２０４、量子化部２０５、可逆符号化部２０６、及び、蓄積バッファ２０７を有する。さらに、符号化装置１１は、逆量子化部２０８、逆直交変換部２０９、演算部２１０、ILF２１１、フレームメモリ２１２、選択部２１３、イントラ予測部２１４、動き予測補償部２１５、予測画像選択部２１６、及び、レート制御部２１７を有する。
【０４１６】
A/D変換部２０１は、アナログ信号の元画像を、ディジタル信号の元画像にA/D変換し、並べ替えバッファ２０２に供給して記憶させる。
【０４１７】
並べ替えバッファ２０２は、元画像のフレームを、GOP（Group Of Picture）に応じて、表示順から符号化（復号）順に並べ替え、演算部２０３、イントラ予測部２１４、動き予測補償部２１５、及び、ILF２１１に供給する。
【０４１８】
演算部２０３は、並べ替えバッファ２０２からの元画像から、予測画像選択部２１６を介してイントラ予測部２１４又は動き予測補償部２１５から供給される予測画像を減算し、その減算により得られる残差（予測残差）を、直交変換部２０４に供給する。
【０４１９】
例えば、インター符号化が行われる画像の場合、演算部２０３は、並べ替えバッファ２０２から読み出された元画像から、動き予測補償部２１５から供給される予測画像を減算する。
【０４２０】
直交変換部２０４は、演算部２０３から供給される残差に対して、離散コサイン変換やカルーネン・レーベ変換等の直交変換を施す。なお、この直交変換の方法は任意である。直交変換部２０４は、直交交換により得られる直交変換係数を量子化部２０５に供給する。
【０４２１】
量子化部２０５は、直交変換部２０４から供給される直交変換係数を量子化する。量子化部２０５は、レート制御部２１７から供給される符号量の目標値（符号量目標値）に基づいて量子化パラメータQPを設定し、直交変換係数の量子化を行う。なお、この量子化の方法は任意である。量子化部２０５は、量子化された直交変換係数である符号化データを、可逆符号化部２０６に供給する。
【０４２２】
可逆符号化部２０６は、量子化部２０５からの符号化データとしての量子化された直交変換係数を所定の可逆符号化方式で符号化する。直交変換係数は、レート制御部２１７の制御の下で量子化されているので、可逆符号化部２０６の可逆符号化により得られる符号化ビットストリームの符号量は、レート制御部２１７が設定した符号量目標値となる（又は符号量目標値に近似する）。
【０４２３】
また、可逆符号化部２０６は、符号化装置１１での予測符号化に関する符号化情報のうちの、復号装置１２での復号に必要な符号化情報を、各ブロックから取得する。
【０４２４】
ここで、符号化情報としては、例えば、イントラ予測やインター予測の予測モード、動きベクトル等の動き情報、符号量目標値、量子化パラメータQP、ピクチャタイプ(I,P,B)、CU(Coding Unit)やCTU(Coding Tree Unit)の情報等がある。
【０４２５】
例えば、予測モードは、イントラ予測部２１４や動き予測補償部２１５から取得することができる。また、例えば、動き情報は、動き予測補償部２１５から取得することができる。
【０４２６】
可逆符号化部２０６は、符号化情報を取得する他、ILF２１１から、そのILF２１１でのフィルタ処理に関するフィルタ情報を取得する。
【０４２７】
可逆符号化部２０６は、符号化情報及びフィルタ情報を、例えば、CAVLC（Context-Adaptive Variable Length Coding）やCABAC（Context-Adaptive Binary Arithmetic Coding）等の可変長符号化又は算術符号化その他の可逆符号化方式で符号化し、符号化後の符号化情報及びフィルタ情報、及び、量子化部２０５からの符号化データを含む符号化ビットストリームを生成して、蓄積バッファ２０７に供給する。
【０４２８】
蓄積バッファ２０７は、可逆符号化部２０６から供給される符号化ビットストリームを、一時的に蓄積する。蓄積バッファ２０７に蓄積された符号化ビットストリームは、所定のタイミングで読み出されて伝送される。
【０４２９】
量子化部２０５において量子化された直交変換係数である符号化データは、可逆符号化部２０６に供給される他、逆量子化部２０８にも供給される。逆量子化部２０８は、量子化された直交変換係数を、量子化部２０５による量子化に対応する方法で逆量子化し、その逆量子化により得られる直交変換係数を、逆直交変換部２０９に供給する。
【０４３０】
逆直交変換部２０９は、逆量子化部２０８から供給される直交変換係数を、直交変換部２０４による直交変換処理に対応する方法で逆直交変換し、その逆直交変換の結果得られる残差を、演算部２１０に供給する。
【０４３１】
演算部２１０は、逆直交変換部２０９から供給される残差に、予測画像選択部２１６を介してイントラ予測部２１４又は動き予測補償部２１５から供給される予測画像を加算し、これにより、元画像を復号した復号画像（の一部）を得て出力する。
【０４３２】
演算部２１０が出力する復号画像は、ILF２１１に供給される。
【０４３３】
ILF２１１は、例えば、クラス分類予測処理によるフィルタ処理を行い、元画像を予測（復元）する。
【０４３４】
ILF２１１には、演算部２１０から復号画像が供給される他、並べ替えバッファ２０２から、復号画像に対応する元画像が供給される。
【０４３５】
ILF２１１は、演算部２１０からの復号画像に相当する生徒画像と、並べ替えバッファ２０２からの元画像に相当する教師画像とを用いて、クラスごとのタップ係数を求める学習を行う。
【０４３６】
すなわち、ILF２１１は、例えば、演算部２１０からの復号画像そのものを生徒画像として用いるとともに、並べ替えバッファ２０２からの元画像そのものを教師画像として用いて、高次予測式を構成するクラスごとのタップ係数を求める学習を行う。
【０４３７】
さらに、ILF２１１は、学習によって得られるクラスごとのタップ係数や、選択情報、形式情報を必要に応じて含むフィルタ情報を、可逆符号化部２０６に供給する。
【０４３８】
また、ILF２１１は、学習によって得られるタップ係数を用いた予測式を、演算部２１０からの復号画像に適用するフィルタ処理としてのクラス分類予測処理を行うことにより、元画像を予測したフィルタ画像を生成する。
【０４３９】
すなわち、ILF２１１は、演算部２１０からの復号画像を第１の画像として、クラスごとのタップ係数を用いたクラス分類予測処理を行うことで、第１の画像としての復号画像を、元画像に相当する第２の画像としてのフィルタ画像に変換して（フィルタ画像を生成して）出力する。
【０４４０】
ILF２１１が出力するフィルタ画像は、フレームメモリ２１２に供給される。
【０４４１】
ここで、ILF２１１では、上述のように、復号画像を生徒画像とするとともに、元画像を教師画像として、高次予測式を構成するタップ係数を求める学習が行われ、その学習により得られるタップ係数を用いた高次予測式を復号画像に適用して、フィルタ画像が生成される。したがって、ILF２１１で得られるフィルタ画像は、元画像のディテールを精度良く復元した画像になる。
【０４４２】
なお、ILF２１１は、タップ係数の学習に用いる生徒画像及び教師画像によって、デブロッキングフィルタ、適応オフセットフィルタ、バイラテラルフィルタ、及び、適応ループフィルタのうちの１以上のフィルタとして機能させることができる。
【０４４３】
また、ILF２１１を、デブロッキングフィルタ、適応オフセットフィルタ、バイラテラルフィルタ、及び、適応ループフィルタのうちの２以上のフィルタとして機能させる場合、その２以上のフィルタの配置順は任意である。
【０４４４】
さらに、ILF２１１では、タップ係数をボリューム化した種係数を求め、その種係数から求められるタップ係数を用いて、クラス分類予測処理を行うことができる。この場合、フィルタ情報には、タップ係数に代えて、種係数が含められる。
【０４４５】
フレームメモリ２１２は、ILF２１１から供給されるフィルタ画像を、元画像を復元した復元画像として一時記憶する。フレームメモリ２１２に記憶された復元画像は、必要なタイミングで、予測画像の生成に用いられる参照画像として、選択部２１３に供給される。
【０４４６】
選択部２１３は、フレームメモリ２１２から供給される参照画像の供給先を選択する。例えば、イントラ予測部２１４においてイントラ予測が行われる場合、選択部２１３は、フレームメモリ２１２から供給される参照画像を、イントラ予測部２１４に供給する。また、例えば、動き予測補償部２１５においてインター予測が行われる場合、選択部２１３は、フレームメモリ２１２から供給される参照画像を、動き予測補償部２１５に供給する。
【０４４７】
イントラ予測部２１４は、並べ替えバッファ２０２から供給される元画像と、選択部２１３を介してフレームメモリ２１２から供給される参照画像とを用い、例えば、PU(Prediction Unit)を処理単位として、イントラ予測（画面内予測）を行う。イントラ予測部２１４は、所定のコスト関数（例えば、RDコスト等）に基づいて、最適なイントラ予測モードを選択し、その最適なイントラ予測モードで生成された予測画像を、予測画像選択部２１６に供給する。また、上述したように、イントラ予測部２１４は、コスト関数に基づいて選択されたイントラ予測モードを示す予測モードを、可逆符号化部２０６等に適宜供給する。
【０４４８】
動き予測補償部２１５は、並べ替えバッファ２０２から供給される元画像と、選択部２１３を介してフレームメモリ２１２から供給される参照画像とを用い、例えば、PUを処理単位として、動き予測（インター予測）を行う。さらに、動き予測補償部２１５は、動き予測により検出される動きベクトルに応じて動き補償を行い、予測画像を生成する。動き予測補償部２１５は、あらかじめ用意された複数のインター予測モードで、インター予測を行い、予測画像を生成する。
【０４４９】
動き予測補償部２１５は、複数のインター予測モードそれぞれについて得られた予測画像の所定のコスト関数に基づいて、最適なインター予測モードを選択する。さらに、動き予測補償部２１５は、最適なインター予測モードで生成された予測画像を、予測画像選択部２１６に供給する。
【０４５０】
また、動き予測補償部２１５は、コスト関数に基づいて選択されたインター予測モードを示す予測モードや、そのインター予測モードで符号化された符号化データを復号する際に必要な動きベクトル等の動き情報等を、可逆符号化部２０６に供給する。
【０４５１】
予測画像選択部２１６は、演算部２０３及び２１０に供給する予測画像の供給元（イントラ予測部２１４又は動き予測補償部２１５）を選択し、その選択した方の供給元から供給される予測画像を、演算部２０３及び２１０に供給する。
【０４５２】
レート制御部２１７は、蓄積バッファ２０７に蓄積された符号化ビットストリームの符号量に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部２０５の量子化動作のレートを制御する。すなわち、レート制御部２１７は、蓄積バッファ２０７のオーバーフロー及びアンダーフローが生じないように、符号化ビットストリームの目標符号量を設定し、量子化部２０５に供給する。
【０４５３】
なお、図１８において、演算部２０３ないし可逆符号化部２０６が図８の符号化部２１に、逆量子化部２０８ないし演算部２１０が図８の局所復号部２３に、ILF２１１が図８のフィルタ部２４に、それぞれ相当する。
【０４５４】
＜ILF２１１の構成例＞
【０４５５】
図１９は、図１８のILF２１１の構成例を示すブロック図である。
【０４５６】
図１９において、ILF２１１は、学習装置２３１、及び、予測装置２３２を有する。
【０４５７】
学習装置２３１には、並べ替えバッファ２０２（図１８）から元画像が供給されるとともに、演算部２１０（図１８）から復号画像が供給される。
【０４５８】
学習装置２３１は、復号画像を生徒画像とするとともに、元画像を教師画像として、クラスごとのタップ係数を求める学習（以下、タップ係数学習ともいう）を行う。
【０４５９】
さらに、学習装置２３１は、タップ係数学習により得られるクラスごとのタップ係数、さらには、選択情報及び形式情報を、フィルタ情報として、予測装置２３２に供給するとともに、可逆符号化部２０６（図１８）に供給する。
【０４６０】
なお、学習装置２３１では、タップ係数学習は、必要に応じて、符号化情報を用いて行うことができる。
【０４６１】
予測装置２３２には、演算部２１０（図１８）から復号画像が供給されるとともに、学習装置２３１からフィルタ情報が供給される。
【０４６２】
予測装置２３２は、学習装置２３１からのフィルタ情報を用いて、クラスごとのタップ係数を更新する。さらに、予測装置２３２は、復号画像を第１の画像として、クラスごとのタップ係数を用いた高次予測式を第１の画像に適用するフィルタ処理（としてのクラス分類予測処理）を行うことで、元画像としての第２の画像の予測値であるフィルタ画像を生成し、フレームメモリ２１２（図１８）に供給する。
【０４６３】
なお、予測装置２３２では、フィルタ処理は、学習装置２３１と同様に、符号化情報を用いて行うことができる。
【０４６４】
＜学習装置２３１の構成例＞
【０４６５】
図２０は、図１９の学習装置２３１の構成例を示すブロック図である。
【０４６６】
図２０において、学習装置２３１は、選択パターン設定部２４１、学習部２４２、及び、決定部２４３を有する。
【０４６７】
選択パターン設定部２４１は、全通り予測式を構成する項から、削減予測式に採用する項を選択する選択パターンとして、例えば、あらかじめ用意された複数の選択パターン（の情報）を記憶している。
【０４６８】
選択パターン設定部２４１は、あらかじめ用意された複数の選択パターンを、順次、注目する注目パターンに設定し、その注目パターンとしての選択パターンを、学習部２４２及び決定部２４３に供給する。
【０４６９】
学習部２４２は、タップ選択部２５１、クラス分類部２５２、足し込み部２５３、及び、係数算出部２５４を有する。
【０４７０】
学習部２４２において、タップ選択部２５１ないし係数算出部２５４は、図１４の学習部１１３を構成するタップ選択部１２１ないし係数算出部１２４とそれぞれ同様に構成される。したがって、学習部２４２では、図１４の学習部１１３と同様にして、タップ係数が求められる。
【０４７１】
但し、タップ選択部２５１は、選択パターン設定部２４１からの注目パターンとしての選択パターンの削減予測式（全通り予測式から選択パターンに従って選択された項で構成される削減予測式）の項を構成する画素を、生徒画像から予測タップとして選択する。
【０４７２】
また、足し込み部２５３は、選択パターン設定部２４１からの注目パターンとしての選択パターンの削減予測式を構成するタップ係数（１次係数及び２次係数）を求める正規方程式を構成する各項の足し込みを行う。
【０４７３】
そして、係数算出部２５４は、足し込み部２５３で得られる正規方程式を解くことにより、選択パターン設定部２４１からの注目パターンとしての選択パターンの削減予測式を構成するクラスごとのタップ係数を求め、決定部２４３に供給する。
【０４７４】
決定部２４３は、選択パターン設定部２４１からの注目パターンとしての選択パターンと、学習部２４２（の係数算出部２５４）からの、注目パターンとしての選択パターンの削減予測式の（クラスごとの）タップ係数とを対応付けて記憶する。
【０４７５】
さらに、決定部２４３は、選択パターン設定部２４１から注目パターンとして順次供給される複数の選択パターンそれぞれについて、その選択パターンの削減予測式を用いたフィルタ処理を行った場合に、符号化効率を最良にするタップ係数の表現形式（最良表現形式）を決定する。
【０４７６】
そして、決定部２４３は、複数の選択パターンそれぞれについて、その選択パターンの削減予測式であって、最良表現形式のタップ係数で構成される削減予測式を用いたフィルタ処理を行った場合に、符号化効率を最良にする選択パターンを、削減予測式に採用する項の選択パターン（採用パターン）に決定する。
【０４７７】
なお、決定部２４３において、注目パターンとしての選択パターンの削減予測式を用いたフィルタ処理を行った場合の符号化効率は、学習部２４２の学習に用いられる生徒画像としての復号画像及び教師画像としての元画像とを用い、復号画像に削減予測式を適用してフィルタ画像を生成するとともに、教師画像の符号化を行うことにより求められる。
【０４７８】
決定部２４３は、最良表現形式及び採用パターンを決定した後、その最良表現形式及び採用パターンをそれぞれ表す形式情報及び選択情報と、採用パターンの削減予測式を構成するタップ係数とを含むフィルタ情報を、予測装置２３２（図１９）に供給するとともに、可逆符号化部２０６（図１８）に供給する。
【０４７９】
なお、選択パターン設定部２４１では、複数の選択パターンそれぞれを、符号化情報に対応付けておき、例えば、注目画素のフレームの符号化情報（の平均値等）に対応付けられた選択パターンを、注目パターンに設定することができる。この場合、決定部２４３では、選択パターン設定部２４１で注目パターンに設定された選択パターンが採用パターンに決定される。また、この場合、採用パターンを表す選択情報は、フィルタ情報に含められない（伝送する必要がない）。
【０４８０】
＜予測装置２３２の構成例＞
【０４８１】
図２１は、図１９の予測装置２３２の構成例を示すブロック図である。
【０４８２】
図２１において、予測装置２３２は、タップ選択部２７１、クラス分類部２７２、係数取得部２７３、予測演算部２７４、及び、フィルタ情報記憶部２８１を有する。
【０４８３】
タップ選択部２７１ないし予測演算部２７４は、図１２のタップ選択部１０１ないし予測演算部１０４とそれぞれ同様に構成される。
【０４８４】
但し、タップ選択部２７１、係数取得部２７３、及び、予測演算部２７４は、フィルタ情報記憶部２８１から供給されるフィルタ情報に応じて処理を行う。
【０４８５】
すなわち、フィルタ情報記憶部２８１は、学習装置２３１（の決定部２４３（図２０））から供給されるフィルタ情報を記憶する。フィルタ情報記憶部２８１に記憶されたフィルタ情報に含まれる選択情報は、タップ選択部２７１及び予測演算部２７４に供給される。また、フィルタ情報記憶部２８１に記憶されたフィルタ情報に含まれるクラスごとのタップ係数（１次係数及び２次係数）は、係数取得部２７３に供給されるとともに、フィルタ情報に含まれる形式情報は、予測演算部２７４に供給される。
【０４８６】
タップ選択部２７１は、フィルタ情報記憶部２８１から供給される選択情報が表す採用パターン（に決定された選択パターン）の削減予測式の項を構成する画素を、第１の画像としての復号画像から予測タップとして選択する。
【０４８７】
係数取得部２７３は、フィルタ情報記憶部２８１から供給されるクラスごとのタップ係数を記憶し、その記憶したクラスごとのタップ係数から、クラス分類部２７２からの注目画素のクラスのタップ係数を取得し（読み出し）、予測演算部２７４に供給する。
【０４８８】
予測演算部２７４は、フィルタ情報記憶部２８１から供給される選択情報が表す採用パターンの削減予測式を、タップ選択部２５１からの注目画素についての予測タップと、係数取得部２７３からの注目画素のクラスのタップ係数とを用いて演算し、注目画素に対応する元画像の対応画素の画素値（の予測値）を求めて出力する。
【０４８９】
なお、予測演算部２７４は、削減予測式の演算において、フィルタ情報記憶部２８１から供給される形式情報が表す最良表現形式に応じた演算を行う。すなわち、図９で説明したように、例えば、復号画像の画素値及びタップ係数が１０ビットで表され、復号画像の画素値が整数型で、タップ係数が９ビットの小数部を有する固定小数点である場合、削減予測式を構成する復号画像の画素値とタップ係数との積の演算では、復号画像の画素値を表すビット列とタップ係数を表すビット列との積が求められ、その後、その積を表すビット列が９ビット右シフトされることで、５１２で除算される。
【０４９０】
また、図１９で設定したように、決定部２４３において、注目画素のフレームの符号化情報に対応付けられた選択パターンが採用パターンに決定される場合には、タップ選択部２７１及び予測演算部２７４では、符号化情報から採用パターンが特定される。
【０４９１】
＜符号化処理＞
【０４９２】
図２２は、図１８の符号化装置１１の符号化処理の例を説明するフローチャートである。
【０４９３】
なお、図２２等に示す符号化処理の各ステップの順番は、説明の便宜上の順番であり、実際の符号化処理の各ステップは、適宜、並列的に、必要な順番で行われる。後述する処理についても、同様である。
【０４９４】
符号化装置１１において、ILF２１１の学習装置２３１（図２０）は、そこに供給される復号画像を生徒画像として一時記憶するとともに、その復号画像に対応する元画像を教師画像として一時記憶する。
【０４９５】
そして、学習装置２３１は、ステップＳ１０１において、現在のタイミングが、タップ係数を更新する更新タイミングであるかどうかを判定する。
【０４９６】
ここで、タップ係数の更新タイミングは、例えば、１以上のフレーム（ピクチャ）ごとや、１以上のシーケンスごと、１以上のスライスごと、CTU等の所定のブロックの１以上のラインごと等のように、あらかじめ決めておくことができる。
【０４９７】
また、タップ係数の更新タイミングとしては、１以上のフレーム（ピクチャ）ごとのタイミングのような周期的（固定的）なタイミングの他、フィルタ画像のS/Nが閾値以下になったタイミング（フィルタ画像の、元画像に対する誤差が閾値以上になったタイミング）や、残差（の絶対値和等）が閾値以上になったタイミング等の、いわば動的なタイミングを採用することができる。
【０４９８】
ステップＳ１０１において、現在のタイミングが、タップ係数の更新タイミングでないと判定された場合、処理は、ステップＳ１０２ないしＳ１０６をスキップして、ステップＳ１６に進む。
【０４９９】
また、ステップＳ１０１において、現在のタイミングが、タップ係数の更新タイミングであると判定された場合、処理は、ステップＳ１０２に進み、学習装置２３１は、あらかじめ用意された複数の選択パターンそれぞれについて、タップ係数学習を行う。
【０５００】
すなわち、学習装置２３１は、例えば、前回の更新タイミングから、今回の更新タイミングまでの間に記憶した復号画像及び元画像（や、最新の１フレームの復号画像及び元画像等）を、それぞれ、生徒画像及び教師画像として、あらかじめ用意された複数の選択パターンそれぞれについて、タップ係数学習を行い、クラスごとのタップ係数を求め、処理は、ステップＳ１０３に進む。
【０５０１】
ステップＳ１０３では、学習装置２３１は、あらかじめ用意された複数の選択パターンそれぞれについて、その選択パターンの削減予測式を用いたフィルタ処理を行った場合に、符号化効率を最良にするタップ係数の表現形式である最良表現形式を決定し、処理は、ステップＳ１０４に進む。
【０５０２】
ステップＳ１０４では、学習装置２３１は、複数の選択パターンそれぞれについて、その選択パターンの削減予測式であって、最良表現形式のタップ係数で構成される削減予測式を用いたフィルタ処理を行った場合に、符号化効率を最良にする選択パターンを、採用パターンに決定し、処理は、ステップＳ１０５に進む。
【０５０３】
ステップＳ１０５では、学習装置２３１は、採用パターンを表す選択情報、ステップＳ１０２のタップ係数学習によりあらかじめ用意された選択パターンそれぞれについて得られたクラスごとのタップ係数のうちの、採用パターンに決定された選択パターンについてのクラスごとのタップ係数、及び、そのタップ係数の最良表現形式を表す形式情報を含むフィルタ情報を生成し、予測装置２３２（図２１）、及び、可逆符号化部２０６（図１８）に供給する。
【０５０４】
可逆符号化部２０６（図１８）は、学習装置２３１からのフィルタ情報を、伝送対象に設定して、処理は、ステップＳ１０５からステップＳ１０６に進む。伝送対象に設定されたフィルタ情報は、後述するステップＳ１０７で行われる予測符号化処理において符号化ビットストリームに含められて伝送される。
【０５０５】
ステップＳ１０６では、予測装置２３２が、学習装置２３１からのフィルタ情報に含まれるクラスごとのタップ係数、選択情報、及び、形式情報に従って、フィルタ情報記憶部２８１に記憶されているクラスごとのタップ係数、選択情報、及び、形式情報を更新し（フィルタ情報を上書きする形で記憶させ）、処理は、ステップＳ１０７に進む。
【０５０６】
ステップＳ１０７では、元画像の予測符号化処理が行われ、符号化処理は終了する。
【０５０７】
図２３は、図２２のステップＳ１０７の予測符号化処理の例を説明するフローチャートである。
【０５０８】
予測符号化処理では、ステップＳ１１１において、A/D変換部２０１（図１８）は、元画像をA/D変換し、並べ替えバッファ２０２に供給して、処理は、ステップＳ１１２に進む。
【０５０９】
ステップＳ１１２において、並べ替えバッファ２０２は、A/D変換部２０１からの元画像を記憶し、符号化順に並べ替えて出力し、処理は、ステップＳ１１３に進む。
【０５１０】
ステップＳ１１３では、イントラ予測部２１４は、イントラ予測モードのイントラ予測処理を行い、処理は、ステップＳ１１４に進む。ステップＳ１１４において、動き予測補償部２１５は、インター予測モードでの動き予測や動き補償を行うインター動き予測処理を行い、処理は、ステップＳ１１５に進む。
【０５１１】
イントラ予測部２１４のイントラ予測処理、及び、動き予測補償部２１５のインター動き予測処理では、各種の予測モードのコスト関数が演算されるとともに、予測画像が生成される。
【０５１２】
ステップＳ１１５では、予測画像選択部２１６は、イントラ予測部２１４及び動き予測補償部２１５で得られる各コスト関数に基づいて、最適な予測モードを決定する。そして、予測画像選択部２１６は、イントラ予測部２１４により生成された予測画像と、動き予測補償部２１５により生成された予測画像のうちの最適な予測モードの予測画像を選択して出力し、処理は、ステップＳ１１５からステップＳ１１６に進む。
【０５１３】
ステップＳ１１６では、演算部２０３は、並べ替えバッファ２０２が出力する元画像である符号化対象の対象画像と、予測画像選択部２１６が出力する予測画像との残差を演算し、直交変換部２０４に供給して、処理は、ステップＳ１１７に進む。
【０５１４】
ステップＳ１１７では、直交変換部２０４は、演算部２０３からの残差を直交変換し、その結果得られる直交変換係数を、量子化部２０５に供給して、処理は、ステップＳ１１８に進む。
【０５１５】
ステップＳ１１８では、量子化部２０５は、直交変換部２０４からの直交変換係数を量子化し、その量子化により得られる量子化係数を、可逆符号化部２０６及び逆量子化部２０８に供給して、処理は、ステップＳ１１９に進む。
【０５１６】
ステップＳ１１９では、逆量子化部２０８は、量子化部２０５からの量子化係数を逆量子化し、その結果得られる直交変換係数を、逆直交変換部２０９に供給して、処理は、ステップＳ１２０に進む。ステップＳ１２０では、逆直交変換部２０９は、逆量子化部２０８からの直交変換係数を逆直交変換し、その結果得られる残差を、演算部２１０に供給して、処理は、ステップＳ１２１に進む。
【０５１７】
ステップＳ１２１では、演算部２１０は、逆直交変換部２０９からの残差と、予測画像選択部２１６が出力する予測画像とを加算し、演算部２０３での残差の演算の対象となった元画像に対応する復号画像を生成する。演算部２１０は、復号画像を、ILF２１１に供給し、処理は、ステップＳ１２１からステップＳ１２２に進む。
【０５１８】
ステップＳ１２２では、ILF２１１は、演算部２１０からの復号画像に、高次予測式を用いたフィルタ処理としてのクラス分類予測処理を施し、そのフィルタ処理により得られるフィルタ画像を、フレームメモリ２１２に供給して、処理は、ステップＳ１２２からステップＳ１２３に進む。
【０５１９】
ステップＳ１２３では、フレームメモリ２１２は、ILF２１１から供給されるフィルタ画像を、元画像を復元した復元画像として記憶し、処理は、ステップＳ１２４に進む。フレームメモリ２１２に記憶された復元画像は、ステップＳ１１４やＳ１１５で、予測画像を生成する元となる参照画像として使用される。
【０５２０】
ステップＳ１２４では、可逆符号化部２０６は、量子化部２０５からの量子化係数である符号化データを符号化し、その符号化データを含む符号化ビットストリームを生成する。さらに、可逆符号化部２０６は、量子化部２０５での量子化に用いられた量子化パラメータQPや、イントラ予測部２１４でのイントラ予測処理で得られた予測モード、動き予測補償部２１５でのインター動き予測処理で得られた予測モードや動き情報等の符号化情報を必要に応じて符号化し、符号化ビットストリームに含める。
【０５２１】
また、可逆符号化部２０６は、図２２のステップＳ１０５で伝送対象に設定されたフィルタ情報を必要に応じて符号化し、符号化ビットストリームに含める。そして、可逆符号化部２０６は、符号化ビットストリームを、蓄積バッファ２０７に供給し、処理は、ステップＳ１２４からステップＳ１２５に進む。
【０５２２】
ステップＳ１２５において、蓄積バッファ２０７は、可逆符号化部２０６からの符号化ビットストリームを蓄積し、処理は、ステップＳ１２６に進む。蓄積バッファ２０７に蓄積された符号化ビットストリームは、適宜読み出されて伝送される。
【０５２３】
ステップＳ１２６では、レート制御部２１７は、蓄積バッファ２０７に蓄積されている符号化ビットストリームの符号量（発生符号量）に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部２０５の量子化動作のレートを制御し、符号化処理は終了する。
【０５２４】
図２４は、図２３のステップＳ１２２で行われるフィルタ処理の例を説明するフローチャートである。
【０５２５】
ステップＳ１３１において、ILF２１１の予測装置２３２（図２１）は、演算部２１０から供給される復号画像（としてのブロック）の画素のうちの、まだ、注目画素とされていない画素の１つを、注目画素に選択し、処理は、ステップＳ１３２に進む。
【０５２６】
ステップＳ１３２において、予測装置２３２は、最新のステップＳ１０６（図２２）でフィルタ情報記憶部２８１に記憶された最新の選択情報が表す採用パターン（に決定された選択パターン）の削減予測式の項を構成する画素を、復号画像から予測タップとして選択し、処理は、ステップＳ１３３に進む。
【０５２７】
ステップＳ１３３では、予測装置２３２は、注目画素のクラス分類を行い、処理は、ステップＳ１３４に進む。
【０５２８】
ステップＳ１３４では、予測装置２３２は、ステップＳ１０６（図２２）でフィルタ情報記憶部２８１に記憶された最新のクラスごとのタップ係数から、注目画素のクラス分類により得られる注目画素のクラスのタップ係数を取得し、処理は、ステップＳ１３５に進む。
【０５２９】
ステップＳ１３５では、予測装置２３２は、ステップＳ１０６（図２２）でフィルタ情報記憶部２８１に記憶された最新の形式情報からタップ係数（１次係数及び２次係数それぞれ）の表現形式（最良表現形式）を特定する。さらに、予測装置２３２は、ステップＳ１０６でフィルタ情報記憶部２８１に記憶された最新の選択情報から、削減多項式の採用パターンを特定する。
【０５３０】
そして、予測装置２３２は、最良表現形式の注目画素のクラスのタップ係数で構成される、採用パターンの削減予測式を、復号画像に適用するフィルタ処理、すなわち、復号画像の予測タップとしての画素と最良表現形式の注目画素のクラスのタップ係数とで構成される採用パターンの削減予測式の演算（積和演算）を行い、フィルタ画像を求める。
【０５３１】
その後、処理は、ステップＳ１３５からステップＳ１３６に進み、予測装置２３２は、演算部２１０からの復号画像（としてのブロック）の画素の中に、まだ、注目画素としていない画素があるかどうかを判定する。ステップＳ１３６において、まだ、注目画素としていない画素があると判定された場合、処理は、ステップＳ１３１に戻り、以下、同様の処理が繰り返される。
【０５３２】
また、ステップＳ１３６において、まだ、注目画素とされていない画素がないと判定された場合、処理は、ステップＳ１３７に進み、予測装置２３２は、演算部２１０からの復号画像（としてのブロック）に対して得られた画素値で構成されるフィルタ画像を、フレームメモリ２１２（図１８）に供給する。そして、フィルタ処理は終了され、処理はリターンする。
【０５３３】
＜復号装置１２の構成例＞
【０５３４】
図２５は、図８の復号装置１２の詳細な構成例を示すブロック図である。
【０５３５】
図２５において、復号装置１２は、蓄積バッファ３０１、可逆復号部３０２、逆量子化部３０３、逆直交変換部３０４、演算部３０５、ILF３０６、並べ替えバッファ３０７、及び、D/A変換部３０８を有する。また、復号装置１２は、フレームメモリ３１０、選択部３１１、イントラ予測部３１２、動き予測補償部３１３、及び、選択部３１４を有する。
【０５３６】
蓄積バッファ３０１は、符号化装置１１から伝送されてくる符号化ビットストリームを一時蓄積し、所定のタイミングにおいて、その符号化ビットストリームを、可逆復号部３０２に供給する。
【０５３７】
可逆復号部３０２は、蓄積バッファ３０１からの符号化ビットストリームを受信し、図１８の可逆符号化部２０６の符号化方式に対応する方式で復号する。
【０５３８】
そして、可逆復号部３０２は、符号化ビットストリームの復号結果に含まれる符号化データとしての量子化係数を、逆量子化部３０３に供給する。
【０５３９】
また、可逆復号部３０２は、パースを行う機能を有する。可逆復号部３０２は、符号化ビットストリームの復号結果をパースし、必要な符号化情報やフィルタ情報を得て、符号化情報を、イントラ予測部３１２や動き予測補償部３１３その他の必要なブロックに供給する。さらに、可逆復号部３０２は、フィルタ情報を、ILF３０６に供給する。
【０５４０】
逆量子化部３０３は、可逆復号部３０２からの符号化データとしての量子化係数を、図１８の量子化部２０５の量子化方式に対応する方式で逆量子化し、その逆量子化により得られる直交変換係数を、逆直交変換部３０４に供給する。
【０５４１】
逆直交変換部３０４は、逆量子化部３０３から供給される直交変換係数を、図１８の直交変換部２０４の直交変換方式に対応する方式で逆直交変換し、その結果得られる残差を、演算部３０５に供給する。
【０５４２】
演算部３０５には、逆直交変換部３０４から残差が供給される他、選択部３１４を介して、イントラ予測部３１２又は動き予測補償部３１３から予測画像が供給される。
【０５４３】
演算部３０５は、逆直交変換部３０４からの残差と、選択部３１４からの予測画像とを加算し、復号画像を生成して、ILF３０６に供給する。
【０５４４】
ILF３０６は、図１８のILF２１１と同様に、クラス分類予測処理によるフィルタ処理を行うことによって、元画像を復元（予測）する。
【０５４５】
すなわち、ILF３０６は、演算部３０５からの復号画像を第１の画像として、可逆復号部３０２からのフィルタ情報に含まれるクラスごとのタップ係数を用いた削減予測式の演算を行うことで、第１の画像としての復号画像を、元画像に相当する第２の画像としてのフィルタ画像に変換して（フィルタ画像を生成して）出力する。
【０５４６】
ILF３０６が出力するフィルタ画像は、図１８のILF２１１が出力するフィルタ画像と同様の画像であり、並べ替えバッファ３０７及びフレームメモリ３１０に供給される。
【０５４７】
並べ替えバッファ３０７は、ILF３０６から供給されるフィルタ画像を、元画像を復元した復元画像として一時記憶し、復元画像のフレーム（ピクチャ）の並びを、符号化（復号）順から表示順に並べ替え、D/A変換部３０８に供給する。
【０５４８】
D/A変換部３０８は、並べ替えバッファ３０７から供給される復元画像をD/A変換し、図示せぬディスプレイに出力して表示させる。
【０５４９】
フレームメモリ３１０は、ILF３０６から供給されるフィルタ画像を一時記憶する。さらに、フレームメモリ３１０は、所定のタイミングにおいて、又は、イントラ予測部３１２や動き予測補償部３１３等の外部の要求に基づいて、フィルタ画像を、予測画像の生成に用いる参照画像として、選択部３１１に供給する。
【０５５０】
選択部３１１は、フレームメモリ３１０から供給される参照画像の供給先を選択する。選択部３１１は、イントラ符号化された画像を復号する場合、フレームメモリ３１０から供給される参照画像をイントラ予測部３１２に供給する。また、選択部３１１は、インター符号化された画像を復号する場合、フレームメモリ３１０から供給される参照画像を動き予測補償部３１３に供給する。
【０５５１】
イントラ予測部３１２は、可逆復号部３０２から供給される符号化情報に含まれる予測モードに従い、図１８のイントラ予測部２１４において用いられたイントラ予測モードで、フレームメモリ３１０から選択部３１１を介して供給される参照画像を用いてイントラ予測を行う。そして、イントラ予測部３１２は、イントラ予測により得られる予測画像を、選択部３１４に供給する。
【０５５２】
動き予測補償部３１３は、可逆復号部３０２から供給される符号化情報に含まれる予測モードに従い、図１８の動き予測補償部２１５において用いられたインター予測モードで、フレームメモリ３１０から選択部３１１を介して供給される参照画像を用いてインター予測を行う。インター予測は、可逆復号部３０２から供給される符号化情報に含まれる動き情報等を必要に応じて用いて行われる。
【０５５３】
動き予測補償部３１３は、インター予測により得られる予測画像を、選択部３１４に供給する。
【０５５４】
選択部３１４は、イントラ予測部３１２から供給される予測画像、又は、動き予測補償部３１３から供給される予測画像を選択し、演算部３０５に供給する。
【０５５５】
なお、図２５において、可逆復号部３０２が図８のパース部３１に、逆量子化部３０３ないし演算部３０５が図８の復号部３２に、ILF３０６が図８のフィルタ部３３に、それぞれ相当する。
【０５５６】
＜ILF３０６の構成例＞
【０５５７】
図２６は、図２５のILF３０６の構成例を示すブロック図である。
【０５５８】
図２６において、ILF３０６は、予測装置３３１を有する。
【０５５９】
予測装置３３１には、演算部３０５（図２５）から復号画像が供給されるとともに、可逆復号部３０２からフィルタ情報（さらには、必要に応じて符号化情報）が供給される。
【０５６０】
予測装置３３１は、図１９の予測装置２３２と同様に、復号画像を第１の画像として、クラスごとのタップ係数を用いた高次予測式を第１の画像に適用するフィルタ処理（としてのクラス分類予測処理）を行うことで、元画像としての第２の画像の予測値であるフィルタ画像を生成し、並べ替えバッファ３０７及びフレームメモリ３１０（図２５）に供給する。
【０５６１】
なお、予測装置３３１において、フィルタ処理に用いるタップ係数は、例えば、フィルタ情報に含まれる。
【０５６２】
また、予測装置３３１では、フィルタ処理は、図１９の予測装置２３２と同様に、符号化情報を用いて行うことができる。
【０５６３】
＜予測装置３３１の構成例＞
【０５６４】
図２７は、図２６の予測装置３３１の構成例を示すブロック図である。
【０５６５】
図２７において、予測装置３３１は、タップ選択部３４１、クラス分類部３４２、係数取得部３４３、予測演算部３４４、及び、フィルタ情報記憶部３４５を有する。
【０５６６】
タップ選択部３４１ないしフィルタ情報記憶部３４５は、図２１のタップ選択部２７１ないし予測演算部２７４及びフィルタ情報記憶部２８１とそれぞれ同様に構成され、予測装置３３１では、図２１の予測装置２３２と同様の処理が行われるので、説明を省略する。
【０５６７】
＜復号処理＞
【０５６８】
図２８は、図２５の復号装置１２の復号処理の例を説明するフローチャートである。
【０５６９】
復号処理では、ステップＳ２０１において、蓄積バッファ３０１は、符号化装置１１から伝送されてくる符号化ビットストリームを一時蓄積し、適宜、可逆復号部３０２に供給して、処理は、ステップＳ２０２に進む。
【０５７０】
ステップＳ２０２では、可逆復号部３０２は、蓄積バッファ３０１から供給される符号化ビットストリームを受け取って復号し、符号化ビットストリームの復号結果に含まれる符号化データとしての量子化係数を、逆量子化部３０３に供給する。
【０５７１】
また、可逆復号部３０２は、符号化ビットストリームの復号結果をパースして、符号化ビットストリームの復号結果に、フィルタ情報や符号化情報が含まれる場合には、そのフィルタ情報や符号化情報を得る。そして、可逆復号部３０２は、必要な符号化情報を、イントラ予測部３１２や動き予測補償部３１３その他の必要なブロックに供給する。また、可逆復号部３０２は、フィルタ情報、さらには、必要な符号化情報を、ILF３０６に供給する。
【０５７２】
その後、処理は、ステップＳ２０２からステップＳ２０３に進み、ILF３０６は、可逆復号部３０２からフィルタ情報が供給されたかどうかを判定する。
【０５７３】
ステップＳ２０３において、フィルタ情報が供給されていないと判定された場合、処理は、ステップＳ２０４をスキップして、ステップＳ２０５に進む。
【０５７４】
また、ステップＳ２０３において、フィルタ情報が供給されたと判定された場合、処理は、ステップＳ２０４に進み、予測装置３３１（図２７）が、可逆復号部３０２からのフィルタ情報を取得する。さらに、予測装置３３１は、可逆復号部３０２からのフィルタ情報に含まれるクラスごとのタップ係数、選択情報、及び、形式情報に従って、予測装置３３１のフィルタ情報記憶部３４５に記憶されているクラスごとのタップ係数、選択情報、及び、形式情報を更新する。
【０５７５】
そして、処理は、ステップＳ２０４からステップＳ２０５に進み、予測復号処理が行われ、復号処理は終了する。
【０５７６】
図２９は、図２８のステップＳ２０５の予測復号処理の例を説明するフローチャートである。
【０５７７】
ステップＳ２１１において、逆量子化部３０３は、可逆復号部３０２からの量子化係数を逆量子化し、その結果得られる直交変換係数を、逆直交変換部３０４に供給して、処理は、ステップＳ２１２に進む。
【０５７８】
ステップＳ２１２では、逆直交変換部３０４は、逆量子化部３０３からの直交変換係数を逆直交変換し、その結果得られる残差を、演算部３０５に供給して、処理は、ステップＳ２１３に進む。
【０５７９】
ステップＳ２１３では、イントラ予測部３１２又は動き予測補償部３１３が、フレームメモリ３１０から選択部３１１を介して供給される参照画像、及び、可逆復号部３０２から供給される符号化情報を用いて、予測画像を生成するイントラ予測処理又はインター動き予測処理を行う。そして、イントラ予測部３１２又は動き予測補償部３１３は、イントラ予測処理又はインター動き予測処理により得られる予測画像を、選択部３１４に供給し、処理は、ステップＳ２１３からステップＳ２１４に進む。
【０５８０】
ステップＳ２１４では、選択部３１４は、イントラ予測部３１２又は動き予測補償部３１３から供給される予測画像を選択し、演算部３０５に供給して、処理は、ステップＳ２１５に進む。
【０５８１】
ステップＳ２１５では、演算部３０５は、逆直交変換部３０４からの残差と、選択部３１４からの予測画像を加算することにより、復号画像を生成する。そして、演算部３０５は、復号画像を、ILF３０６に供給して、処理は、ステップＳ２１５からステップＳ２１６に進む。
【０５８２】
ステップＳ２１６では、ILF３０６は、演算部３０５からの復号画像に、高次予測式を用いたフィルタ処理としてのクラス分類予測処理を施し、そのフィルタ処理により得られるフィルタ画像を、並べ替えバッファ３０７及びフレームメモリ３１０に供給して、処理は、ステップＳ２１６からステップＳ２１７に進む。
【０５８３】
ステップＳ２１７では、並べ替えバッファ３０７は、ILF３０６から供給されるフィルタ画像を、復元画像として一時記憶する。さらに、並べ替えバッファ３０７は、記憶した復元画像を、表示順に並べ替えて、D/A変換部３０８に供給し、処理は、ステップＳ２１７からステップＳ２１８に進む。
【０５８４】
ステップＳ２１８では、D/A変換部３０８は、並べ替えバッファ３０７からの復元画像をD/A変換し、処理は、ステップＳ２１９に進む。D/A変換後の復元画像は、図示せぬディスプレイに出力されて表示される。
【０５８５】
ステップＳ２１９では、フレームメモリ３１０は、ILF３０６から供給されるフィルタ画像を、復元画像として記憶し、復号処理は終了する。フレームメモリ３１０に記憶された復元画像は、ステップＳ２１３のイントラ予測処理又はインター動き予測処理で、予測画像を生成する元となる参照画像として使用される。
【０５８６】
図３０は、図２９のステップＳ２１６で行われるフィルタ処理の例を説明するフローチャートである。
【０５８７】
ステップＳ２２１において、ILF３０６の予測装置３３１（図２７）は、演算部３０５から供給される復号画像（としてのブロック）の画素のうちの、まだ、注目画素とされていない画素の１つを、注目画素に選択し、処理は、ステップＳ２２２に進む。
【０５８８】
ステップＳ２２２において、予測装置３３１は、最新のステップＳ２０４（図２８）でフィルタ情報記憶部３４５に記憶された最新の選択情報が表す採用パターン（に決定された選択パターン）の削減予測式の項を構成する画素を、復号画像から予測タップとして選択し、処理は、ステップＳ２２３に進む。
【０５８９】
ステップＳ２２３では、予測装置３３１は、注目画素のクラス分類を行い、処理は、ステップＳ２２４に進む。
【０５９０】
ステップＳ２２４では、予測装置３３１は、ステップＳ２０４（図２８）でフィルタ情報記憶部３４５に記憶された最新のクラスごとのタップ係数から、注目画素のクラス分類により得られる注目画素のクラスのタップ係数を取得し、処理は、ステップＳ２２５に進む。
【０５９１】
ステップＳ２２５では、予測装置３３１は、ステップＳ２０４（図２８）でフィルタ情報記憶部３４５に記憶された最新の形式情報からタップ係数（１次係数及び２次係数それぞれ）の表現形式（最良表現形式）を特定する。さらに、予測装置３３１は、ステップＳ２０４でフィルタ情報記憶部３４５に記憶された最新の選択情報から、削減多項式の採用パターンを特定する。
【０５９２】
そして、予測装置３３１は、最良表現形式の注目画素のクラスのタップ係数で構成される、採用パターンの削減予測式を、復号画像に適用するフィルタ処理、すなわち、復号画像の予測タップとしての画素と最良表現形式の注目画素のクラスのタップ係数とで構成される採用パターンの削減予測式の演算（積和演算）を行い、フィルタ画像を求める。
【０５９３】
その後、処理は、ステップＳ２２５からステップＳ２２６に進み、予測装置３３１は、演算部３０５からの復号画像（としてのブロック）の画素の中に、まだ、注目画素としていない画素があるかどうかを判定する。ステップＳ２２６において、まだ、注目画素としていない画素があると判定された場合、処理は、ステップＳ２２１に戻り、以下、同様の処理が繰り返される。
【０５９４】
また、ステップＳ２２６において、まだ、注目画素とされていない画素がないと判定された場合、処理は、ステップＳ２２７に進み、予測装置３３１は、演算部３０５からの復号画像（としてのブロック）に対して得られた画素値で構成されるフィルタ画像を、並べ替えバッファ３０７及びフレームメモリ３１０（図２５）に供給する。そして、フィルタ処理は終了され、処理はリターンする。
【０５９５】
なお、図１８ないし図３０においては、符号化装置１１において、タップ係数学習を逐次行い、そのタップ係数学習により得られるタップ係数をフィルタ情報に含めて伝送することとしたが、タップ係数学習は、多数の学習画像を用いてあらかじめ行っておき、そのタップ係数学習により得られるタップ係数を、符号化装置１１及び復号装置１２にプリセットしておくことができる。この場合、符号化装置１１から復号装置１２にタップ係数を伝送する必要がなくなるので、符号化効率を向上させることができる。
【０５９６】
また、図１８ないし図３０では、符号化装置１１において、削減予測式に採用する項の選択を行う選択パターンとして、複数の選択パターンをあらかじめ用意しておき、その複数の選択パターンのうちの、符号化効率を最良にする選択パターンを、採用パターンに決定することとしたが、複数の選択パターンからの採用パターンの決定は、符号化ビットストリームから得られる情報、すなわち、例えば、量子化パラメータQP等の符号化情報や、復号画像の画像特徴量に応じて行うことができる。
【０５９７】
すなわち、例えば、複数の量子化パラメータQPそれぞれに対して、符号化効率が良くなる選択パターンを求めておき、符号化装置１１及び復号装置１２において、複数の量子化パラメータQPに対して求められた複数の選択パターンの中から、注目画素の量子化パラメータQP（例えば、注目画素のフレームのQPの平均値等）に対する選択パターンを、採用パターンに決定することができる。この場合、符号化装置１１から復号装置１２に選択情報を伝送する必要がなくなるので、符号化効率を向上させることができる。
【０５９８】
また、削減予測式に採用する項の選択を行う選択パターンを、あらかじめ１パターンに固定し、符号化装置１１及び復号装置１２では、その固定の選択パターンの削減予測式を用いてフィルタ処理を行うことができる。この場合、符号化装置１１から復号装置１２に選択情報を伝送する必要がなくなるので、符号化効率を向上させることができる。
【０５９９】
＜本技術を適用したコンピュータの説明＞
【０６００】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０６０１】
図３１は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
【０６０２】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク４０５やROM４０３に予め記録しておくことができる。
【０６０３】
あるいはまた、プログラムは、リムーバブル記録媒体４１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体４１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体４１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０６０４】
なお、プログラムは、上述したようなリムーバブル記録媒体４１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク４０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０６０５】
コンピュータは、CPU(Central Processing Unit)４０２を内蔵しており、CPU４０２には、バス４０１を介して、入出力インタフェース４１０が接続されている。
【０６０６】
CPU４０２は、入出力インタフェース４１０を介して、ユーザによって、入力部４０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)４０３に格納されているプログラムを実行する。あるいは、CPU４０２は、ハードディスク４０５に格納されたプログラムを、RAM(Random Access Memory)４０４にロードして実行する。
【０６０７】
これにより、CPU４０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU４０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース４１０を介して、出力部４０６から出力、あるいは、通信部４０８から送信、さらには、ハードディスク４０５に記録等させる。
【０６０８】
なお、入力部４０７は、キーボードや、マウス、マイク等で構成される。また、出力部４０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０６０９】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０６１０】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０６１１】
さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０６１２】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０６１３】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０６１４】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０６１５】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０６１６】
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【０６１７】
なお、本技術は、以下の構成をとることができる。
【０６１８】
＜１＞
符号化ビットストリームに含まれる符号化データを、フィルタ画像を用いて復号し、復号画像を生成する復号部と、
前記復号部により生成された前記復号画像に、所定のタップ係数と前記復号画像の画素との積和演算を行う、２次以上の高次の高次項を含む予測式を適用するフィルタ処理を行い、前記フィルタ画像を生成するフィルタ部と
を備える復号装置。
＜２＞
前記フィルタ部は、前記復号画像の画素のうちの注目画素について、前記予測式の演算に用いる予測タップとなる画素の候補としてあらかじめ決められた候補画素すべてを用いて構成される前記予測式である全通り予測式から選択された一部の項で構成される前記予測式である削減予測式を用いて、前記フィルタ処理を行う
＜１＞に記載の復号装置。
＜３＞
前記フィルタ部は、前記全通り予測式から選択された、前記注目画素に近い位置の画素の項で構成される前記削減予測式を用いて、前記フィルタ処理を行う
＜２＞に記載の復号装置。
＜４＞
前記符号化ビットストリームに含まれる前記削減予測式を構成する項を選択する選択パターンを表す選択情報をパースするパース部をさらに備え、
前記フィルタ部は、前記パース部によりパースされた前記選択情報が表す選択パターンの前記削減予測式を用いて、前記フィルタ処理を行う
＜２＞又は＜３＞に記載の復号装置。
＜５＞
前記フィルタ部は、前記削減予測式を構成する項を選択する複数の選択パターンの中から、元画像の符号化に関する符号化情報に応じて決定された選択パターンに応じて選択された前記一部の項で構成される前記削減予測式を用いて、前記フィルタ処理を行う
＜２＞に記載の復号装置。
＜６＞
前記符号化ビットストリームに含まれる前記予測式の各次数の項のタップ係数を所定のビット数で表現する表現形式を表す形式情報をパースするパース部をさらに備え、
前記フィルタ部は、前記パース部によりパースされた前記形式情報が表す表現形式の前記タップ係数で構成される前記予測式を用いて、前記フィルタ処理を行う
＜１＞ないし＜５＞のいずれかに記載の復号装置。
＜７＞
前記符号化ビットストリームに含まれる前記タップ係数をパースするパース部をさらに備え、
前記フィルタ部は、前記パース部によりパースされた前記タップ係数で構成される前記予測式を用いて、前記フィルタ処理を行う
＜１＞ないし＜６＞のいずれかに記載の復号装置。
＜８＞
前記フィルタ部は、
前記復号画像の画素のうちの注目画素を、複数のクラスのうちのいずれかのクラスに分類するクラス分類を行い、
前記復号画像に、前記注目画素のクラスの前記タップ係数で構成される前記予測式を適用する前記フィルタ処理を行う
＜１＞ないし＜７＞のいずれかに記載の復号装置。
＜９＞
前記復号部は、Quad-Tree Block Structure、または、QTBT（Quad Tree Plus Binary Tree） Block StructureのCU（Coding Unit）を処理単位として、前記符号化データを復号する
＜１＞ないし＜８＞のいずれかに記載の復号装置。
＜１０＞
符号化ビットストリームに含まれる符号化データを、フィルタ画像を用いて復号し、復号画像を生成することと、
前記復号画像に、所定のタップ係数と前記復号画像の画素との積和演算を行う、２次以上の高次の高次項を含む予測式を適用するフィルタ処理を行い、前記フィルタ画像を生成することと
を含む復号方法。
＜１１＞
局所復号された復号画像に、所定のタップ係数と前記復号画像の画素との積和演算を行う、２次以上の高次の高次項を含む予測式を適用するフィルタ処理を行い、フィルタ画像を生成するフィルタ部と、
前記フィルタ部により生成された前記フィルタ画像を用いて、元画像を符号化する符号化部と
を備える符号化装置。
＜１２＞
前記フィルタ部は、前記復号画像の画素のうちの注目画素について、前記予測式の演算に用いる予測タップとなる画素の候補としてあらかじめ決められた候補画素すべてを用いて構成される前記予測式である全通り予測式から選択された一部の項で構成される前記予測式である削減予測式を用いて、前記フィルタ処理を行う
＜１１＞に記載の符号化装置。
＜１３＞
前記フィルタ部は、前記全通り予測式から選択された、前記注目画素に近い位置の画素の項で構成される前記削減予測式を用いて、前記フィルタ処理を行う
＜１２＞に記載の符号化装置。
＜１４＞
前記符号化部は、前記元画像を符号化することにより得られる符号化データと、前記削減予測式を構成する項を選択する選択パターンを表す選択情報とを含む符号化ビットストリームを生成する
＜１２＞又は＜１３＞に記載の符号化装置。
＜１５＞
前記フィルタ部は、前記削減予測式を構成する項を選択する複数の選択パターンの中から、前記元画像の符号化に関する符号化情報に応じて決定された選択パターンに応じて選択された前記一部の項で構成される前記削減予測式を用いて、前記フィルタ処理を行う
＜１２＞に記載の符号化装置。
＜１６＞
前記フィルタ部は、前記予測式の各次数の項のタップ係数を所定のビット数で表現する表現形式を、次数ごとに決定する
＜１１＞ないし＜１５＞のいずれかに記載の符号化装置。
＜１７＞
前記フィルタ部は、前記予測式の１次項のタップ係数の表現形式よりも、小数点以下を表すビット数が多い表現形式を、前記予測式の２次以上の高次項のタップ係数の表現形式に決定する
＜１６＞に記載の符号化装置。
＜１８＞
前記符号化部は、前記元画像を符号化することにより得られる符号化データと、前記表現形式を表す形式情報とを含む符号化ビットストリームを生成する
＜１６＞又は＜１７＞に記載の符号化装置。
＜１９＞
前記符号化部は、前記元画像を符号化することにより得られる符号化データと、前記タップ係数とを含む符号化ビットストリームを生成する
＜１１＞ないし＜１８＞のいずれかに記載の符号化装置。
＜２０＞
前記フィルタ部は、
前記復号画像と、前記復号画像に対する元画像とを用いて、前記復号画像に前記予測式を適用することにより得られる前記元画像の予測値の予測誤差を統計的に最小にする学習をクラスごとに行うことにより、複数のクラスそれぞれの前記タップ係数を求め、
前記復号画像の画素のうちの注目画素を、前記複数のクラスのうちのいずれかのクラスに分類するクラス分類を行い、
前記復号画像に、前記注目画素のクラスの前記タップ係数で構成される前記予測式を適用する前記フィルタ処理を行う
＜１１＞ないし＜１９＞のいずれかに記載の符号化装置。
＜２１＞
前記符号化部は、Quad-Tree Block Structure、または、QTBT（Quad Tree Plus Binary Tree） Block StructureのCU（Coding Unit）を処理単位として、前記元画像を符号化する
＜１１＞ないし＜２０＞のいずれかに記載の符号化装置。
＜２２＞
局所復号された復号画像に、所定のタップ係数と前記復号画像の画素との積和演算を行う、２次以上の高次の高次項を含む予測式を適用するフィルタ処理を行い、フィルタ画像を生成することと、
前記フィルタ画像を用いて、元画像を符号化することと
を含む符号化方法。
【符号の説明】
【０６１９】
１１  符号化装置，  １２  復号装置，  ２１  符号化部，  ２３  局所復号部，  ２４  フィルタ部，  ３１  パース部，  ３２  復号部，  ３３  フィルタ部，  ４１  クラス分類部，  ４２  学習部，  ４３  DB，  ４４  決定部，  ４５  DB，  ４６  予測部，  ５１  クラス分類部，  ５２  予測部，  １００  予測装置，  １０１  タップ選択部，  １０２  クラス分類部，  １０３  係数取得部，  １０４  予測演算部，  １１０  学習装置，  １１１  教師画像生成部，  １１２  生徒画像生成部，  １１３  学習部，  １２１  タップ選択部，  １２２  クラス分類部，  １２３  足し込み部，  １２４  係数算出部，  １３０  予測装置，  １３１  係数取得部，  １４０  学習装置，  １４１  パラメータ生成部，  １４２  生徒画像生成部，  １４３  学習部，  １５１  足し込み部，  １５２  係数算出部，  ２０１  A/D変換部，  ２０２  並べ替えバッファ，  ２０３  演算部，  ２０４  直交変換部，  ２０５  量子化部，  ２０６  可逆符号化部，  ２０７  蓄積バッファ，  ２０８  逆量子化部，  ２０９  逆直交変換部，  ２１０  演算部，  ２１１  ILF，  ２１２  フレームメモリ，  ２１３  選択部，  ２１４  イントラ予測部，  ２１５  動き予測補償部，  ２１６  予測画像選択部，  ２１７  レート制御部，  ２３１  学習装置，  ２３２  予測装置，  ２４１  選択パターン設定部，  ２４２  学習部，  ２４３  決定部，  ２５１  タップ選択部，  ２５２  クラス分類部，  ２５３  足し込み部，  ２５４  係数算出部，  ２７１  タップ選択部，  ２７２  クラス分類部，  ２７３  係数取得部，  ２７４  予測演算部，  ２８１  フィルタ情報記憶部，  ３０１  蓄積バッファ，  ３０２  可逆復号部，  ３０３  逆量子化部，  ３０４  逆直交変換部，  ３０５  演算部，  ３０６  ILF，  ３０７  並べ替えバッファ，  ３０８  D/A変換部，  ３１０  フレームメモリ，  ３１１  選択部，  ３１２  イントラ予測部，  ３１３  動き予測補償部，  ３１４  選択部，  ３３１  予測装置，  ３４１  タップ選択部，  ３４２  クラス分類部，  ３４３  係数取得部，  ３４４  予測演算部，  ３４５  フィルタ情報記憶部，  ４０１  バス，  ４０２  CPU，  ４０３  ROM，  ４０４  RAM，  ４０５  ハードディスク，  ４０６  出力部，  ４０７  入力部，  ４０８  通信部，  ４０９  ドライブ，  ４１０  入出力インタフェース，  ４１１  リムーバブル記録媒体
【図１】
2019107182.tif 000033
【図２】
2019107182.tif 000034
【図３】
2019107182.tif 000035
【図４】
2019107182.tif 000036
【図５】
2019107182.tif 000037
【図６】
2019107182.tif 000038
【図７】
2019107182.tif 000039
【図８】
2019107182.tif 000040
【図９】
2019107182.tif 000041
【図１０】
2019107182.tif 000042
【図１１】
2019107182.tif 000043
【図１２】
2019107182.tif 000044
【図１３】
2019107182.tif 000045
【図１４】
2019107182.tif 000046
【図１５】
2019107182.tif 000047
【図１６】
2019107182.tif 000048
【図１７】
2019107182.tif 000049
【図１８】
2019107182.tif 000050
【図１９】
2019107182.tif 000051
【図２０】
2019107182.tif 000052
【図２１】
2019107182.tif 000053
【図２２】
2019107182.tif 000054
【図２３】
2019107182.tif 000055
【図２４】
2019107182.tif 000056
【図２５】
2019107182.tif 000057
【図２６】
2019107182.tif 000058
【図２７】
2019107182.tif 000059
【図２８】
2019107182.tif 000060
【図２９】
2019107182.tif 000061
【図３０】
2019107182.tif 000062
【図３１】
2019107182.tif 000063
【国際調査報告】
2019107182.tif 000064
2019107182.tif 000065
2019107182.tif 000066