(57)【要約】  本技術は、画質を向上させることができるようにする符号化装置、符号化方法、復号装置、及び、復号方法に関する。符号化装置は、局所復号された復号画像に、所定のタップ係数と復号画像の画素との積和演算を行う、DC(Direct Current)項を含む予測式であるDC予測式を適用するフィルタ処理を行い、フィルタ画像を生成する。さらに、符号化装置は、そのフィルタ画像を用いて、元画像を符号化する。復号装置は、符号化ビットストリームに含まれる符号化データを、フィルタ画像を用いて復号し、復号画像を生成する。さらに、復号装置は、復号画像に、DC予測式を適用するフィルタ処理を行い、フィルタ画像を生成する。本技術は、画像の符号化及び復号を行う場合に適用することができる。
2019131161.tif 000002
【特許請求の範囲】
【請求項１】
符号化ビットストリームに含まれる符号化データを、フィルタ画像を用いて復号し、復号画像を生成する復号部と、
前記復号部により生成された前記復号画像に、所定のタップ係数と前記復号画像の画素との積和演算を行う、DC(Direct Current)項を含む予測式であるDC予測式を適用するフィルタ処理を行い、前記フィルタ画像を生成するフィルタ部と
を備える復号装置。
【請求項２】
前記フィルタ部は、前記DC予測式を用いる予測方法を少なくとも含む複数の予測方法の中から選択された、前記フィルタ処理に採用する採用予測方法の予測式を、前記復号画像に適用する
請求項１に記載の復号装置。
【請求項３】
前記フィルタ部は、前記DC予測式を用いる予測方法、及び、２次以上の高次の高次項を含む予測式である高次予測式を用いる予測方法を少なくとも含む複数の予測方法の中から選択された前記採用予測方法の予測式を、前記復号画像に適用する
請求項２に記載の復号装置。
【請求項４】
前記フィルタ部は、前記DC予測式を用いる予測方法、及び、１次項のみからなる予測式である１次予測式を用いる予測方法を少なくとも含む複数の予測方法の中から選択された前記採用予測方法の予測式を、前記復号画像に適用する
請求項２に記載の復号装置。
【請求項５】
前記符号化ビットストリームに含まれる前記採用予測方法を表す予測方法情報をパースするパース部をさらに備え、
前記フィルタ部は、前記パース部によりパースされた前記予測方法情報が表す前記採用予測方法の予測式を、前記復号画像に適用する
請求項２に記載の復号装置。
【請求項６】
前記予測方法情報は、前記採用予測方法の予測式を表す情報、及び、前記予測式の演算に用いる画素である予測タップのタップ構造を表す情報を含む
請求項５に記載の復号装置。
【請求項７】
前記フィルタ部は、
前記復号画像の画素を、複数のクラスのうちのいずれかのクラスに分類するクラス分類を行い、
前記復号画像の画素に、前記画素のクラスの前記タップ係数で構成される前記予測式を適用する
請求項１に記載の復号装置。
【請求項８】
前記フィルタ部は、複数のクラス分類方法の中から選択されたクラス分類方法で前記クラス分類を行う
請求項７に記載の復号装置。
【請求項９】
前記符号化ビットストリームに含まれる、前記複数のクラス分類方法の中から選択された、前記クラス分類に採用する採用クラス分類方法を表す分類方法情報をパースするパース部をさらに備え、
前記フィルタ部は、前記パース部によりパースされた前記分類方法情報が表す前記採用クラス分類方法で前記クラス分類を行う
請求項８に記載の復号装置。
【請求項１０】
前記復号部は、Quad-Tree Block Structure、又は、QTBT(Quad Tree Plus Binary Tree) Block StructureのCU(Coding Unit)を処理単位として、前記符号化データを復号する
請求項１に記載の復号装置。
【請求項１１】
符号化ビットストリームに含まれる符号化データを、フィルタ画像を用いて復号し、復号画像を生成することと、
前記復号画像に、所定のタップ係数と前記復号画像の画素との積和演算を行う、DC(Direct Current)項を含む予測式であるDC予測式を適用するフィルタ処理を行い、前記フィルタ画像を生成することと
を含む復号方法。
【請求項１２】
局所復号された復号画像に、所定のタップ係数と前記復号画像の画素との積和演算を行う、DC(Direct Current)項を含む予測式であるDC予測式を適用するフィルタ処理を行い、フィルタ画像を生成するフィルタ部と、
前記フィルタ部により生成された前記フィルタ画像を用いて、元画像を符号化する符号化部と
を備える符号化装置。
【請求項１３】
前記フィルタ部は、前記DC予測式を用いる予測方法を少なくとも含む複数の予測方法の中から選択された、前記フィルタ処理に採用する採用予測方法の予測式を、前記復号画像に適用する
請求項１２に記載の符号化装置。
【請求項１４】
前記フィルタ部は、前記DC予測式を用いる予測方法、及び、２次以上の高次の高次項を含む予測式である高次予測式を用いる予測方法を少なくとも含む複数の予測方法の中から選択された前記採用予測方法の予測式を、前記復号画像に適用する
請求項１３に記載の符号化装置。
【請求項１５】
前記フィルタ部は、前記DC予測式を用いる予測方法、及び、１次項のみからなる予測式である１次予測式を用いる予測方法を少なくとも含む複数の予測方法の中から選択された前記採用予測方法の予測式を、前記復号画像に適用する
請求項１３に記載の符号化装置。
【請求項１６】
前記符号化部は、前記元画像を符号化することにより得られる符号化データと前記採用予測方法を表す予測方法情報とを含む符号化ビットストリームを生成する
請求項１３に記載の符号化装置。
【請求項１７】
前記予測方法情報は、前記採用予測方法の予測式を表す情報、及び、前記予測式の演算に用いる画素である予測タップのタップ構造を表す情報を含む
請求項１６に記載の符号化装置。
【請求項１８】
前記フィルタ部は、
前記復号画像の画素を、複数のクラスのうちのいずれかのクラスに分類するクラス分類を行い、
前記復号画像の画素に、前記画素のクラスの前記タップ係数で構成される前記予測式を適用する
請求項１２に記載の符号化装置。
【請求項１９】
前記フィルタ部は、複数のクラス分類方法の中から選択されたクラス分類方法で前記クラス分類を行う
請求項１８に記載の符号化装置。
【請求項２０】
前記符号化部は、前記元画像を符号化することにより得られる符号化データと、前記複数のクラス分類方法の中から選択された、前記クラス分類に採用する採用クラス分類方法を表す分類方法情報と、を含む符号化ビットストリームを生成する
請求項１９に記載の符号化装置。
【請求項２１】
前記符号化部は、Quad-Tree Block Structure、又は、QTBT(Quad Tree Plus Binary Tree) Block StructureのCU(Coding Unit)を処理単位として、前記元画像を符号化する
請求項１２に記載の符号化装置。
【請求項２２】
局所復号された復号画像に、所定のタップ係数と前記復号画像の画素との積和演算を行う、DC(Direct Current)項を含む予測式であるDC予測式を適用するフィルタ処理を行い、フィルタ画像を生成することと、
前記フィルタ画像を用いて、元画像を符号化することと
を含む符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、符号化装置、符号化方法、復号装置、及び、復号方法に関し、特に、例えば、画質を向上させることができるようにする符号化装置、符号化方法、復号装置、及び、復号方法に関する。
【背景技術】
【０００２】
HEVC(High Efficiency Video Coding)の後継規格としてFVC(Future Video Coding)の標準化の開始に向けた作業が進められており、画像の符号化及び復号に用いるILF(In Loop Filter)として、デブロッキングフィルタ、適応オフセットフィルタに加えて、バイラテラルフィルタ(Bilateral Filter)、ALF(Adaptive Loop Filter)が検討されている（例えば、非特許文献１を参照）。【０００３】
また、既存のALFの改善するフィルタとして、GALF(Geometry Adaptive Loop Filter)が提案されている（例えば、非特許文献２を参照)。 
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Algorithm description of Joint Exploration Test Model 7 (JEM7), 2017-08-19
【非特許文献２】Marta Karczewicz, Li Zhang, Wei-Jung Chien, Xiang Li, "Geometry transformation-based adaptive in-loop filter", IEEE Picture Coding Symposium (PCS), 2016.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
現在提案されているALFでは、符号化により劣化した画質の復元の精度が十分ではない場合があり、画質をより向上させることができるインループフィルタの提案が要請されている。【０００６】
本技術は、このような状況に鑑みてなされたものであり、画質を向上させることができるようにするものである。
【課題を解決するための手段】
【０００７】
本技術の復号装置は、符号化ビットストリームに含まれる符号化データを、フィルタ画像を用いて復号し、復号画像を生成する復号部と、前記復号部により生成された前記復号画像に、所定のタップ係数と前記復号画像の画素との積和演算を行う、DC(Direct Current)項を含む予測式であるDC予測式を適用するフィルタ処理を行い、前記フィルタ画像を生成するフィルタ部とを備える復号装置である。【０００８】
本技術の復号方法は、符号化ビットストリームに含まれる符号化データを、フィルタ画像を用いて復号し、復号画像を生成することと、前記復号画像に、所定のタップ係数と前記復号画像の画素との積和演算を行う、DC(Direct Current)項を含む予測式であるDC予測式を適用するフィルタ処理を行い、前記フィルタ画像を生成することとを含む復号方法である。【０００９】
本技術の復号装置及び復号方法においては、符号化ビットストリームに含まれる符号化データが、フィルタ画像を用いて復号され、復号画像が生成される。また、前記復号画像に、所定のタップ係数と前記復号画像の画素との積和演算を行う、DC(Direct Current)項を含む予測式であるDC予測式を適用するフィルタ処理が行われ、前記フィルタ画像が生成される。【００１０】
本技術の符号化装置は、局所復号された復号画像に、所定のタップ係数と前記復号画像の画素との積和演算を行う、DC(Direct Current)項を含む予測式であるDC予測式を適用するフィルタ処理を行い、フィルタ画像を生成するフィルタ部と、前記フィルタ部により生成された前記フィルタ画像を用いて、元画像を符号化する符号化部とを備える符号化装置である。【００１１】
本技術の符号化方法は、局所復号された復号画像に、所定のタップ係数と前記復号画像の画素との積和演算を行う、DC(Direct Current)項を含む予測式であるDC予測式を適用するフィルタ処理を行い、フィルタ画像を生成することと、前記フィルタ画像を用いて、元画像を符号化することとを含む符号化方法である。【００１２】
本技術の符号化装置及び符号化方法においては、局所復号された復号画像に、所定のタップ係数と前記復号画像の画素との積和演算を行う、DC(Direct Current)項を含む予測式であるDC予測式を適用するフィルタ処理が行われ、フィルタ画像が生成される。そして、前記フィルタ画像を用いて、元画像が符号化される。【００１３】
なお、符号化装置や復号装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。【００１４】
また、符号化装置や復号装置は、コンピュータにプログラムを実行させることにより実現することができる。プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【発明の効果】
【００１５】
本技術によれば、画質を向上させることができる。【００１６】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１７】
【図１】フィルタ処理に用いられる予測式の第１の例を説明する図である。
【図２】予測処理としてのフィルタ処理に用いられる予測式の第２の例を説明する図である。
【図３】予測処理としてのフィルタ処理に用いられる予測式の第３の例（DC予測式の第１の例）を説明する図である。
【図４】DCタップDC#iを説明する図である。
【図５】DC予測式の第２の例を説明する図である。
【図６】タップ係数のボリューム化を説明する図である。
【図７】本技術を適用した画像処理システムの一実施の形態の概要を示すブロック図である。
【図８】フィルタ部２３及び３３の構成例を示すブロック図である。
【図９】クラス分類部５１及び予測部５２の構成例を示すブロック図である。
【図１０】クラス分類方法を説明する図である。
【図１１】予測方法を説明する図である。
【図１２】差分ADRCを説明する図である。
【図１３】差分ADRCを用いたクラス分類を行うクラス分類部の構成例を示すブロック図である。
【図１４】閾値テーブルの例を示す図である。
【図１５】複数のクラス分類方法の例を説明する図である。
【図１６】複数の予測方法の例を説明する図である。
【図１７】符号化装置２０の符号化処理の概要を説明するフローチャートである。
【図１８】復号装置３０の復号処理の概要を説明するフローチャートである。
【図１９】符号化装置２０の詳細な構成例を示すブロック図である。
【図２０】ILF１１１の構成例を示すブロック図である。
【図２１】学習装置１３１の構成例を示すブロック図である。
【図２２】予測装置１３２の構成例を示すブロック図である。
【図２３】符号化装置２０の符号化処理の例を説明するフローチャートである。
【図２４】予測符号化処理の例を説明するフローチャートである。
【図２５】フィルタ処理の例を説明するフローチャートである。
【図２６】復号装置３０の詳細な構成例を示すブロック図である。
【図２７】ILF２０６の構成例を示すブロック図である。
【図２８】予測装置２３１の構成例を示すブロック図である。
【図２９】復号装置３０の復号処理の例を説明するフローチャートである。
【図３０】予測復号処理の例を説明するフローチャートである。
【図３１】フィルタ処理の例を説明するフローチャートである。
【図３２】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００１８】
＜技術内容・技術用語をサポートする文献等＞
【００１９】
本願で開示される範囲は、本明細書及び図面に記載されている内容だけではなく、出願当時において公知となっている以下の文献に記載されている内容も含まれる。
【００２０】
文献１：AVC規格書("Advanced video coding for generic audiovisual services", ITU-T H.264(04/2017))
文献２：HEVC規格書("High efficiency video coding", ITU-T H.265(12/2016))
文献３：FVC アルゴリズム解説書(Algorithm description of Joint Exploration Test Model 7 (JEM7), 2017-08-19)
【００２１】
つまり、上述の文献に記載されている内容もサポート要件を判断する際の根拠となる。例えば、文献１に記載されているQuad-Tree Block Structure、文献３に記載されているQTBT（Quad Tree Plus Binary Tree）やBlock Structureが実施の形態において直接的な記載がない場合でも、本技術の開示範囲内であり、請求の範囲のサポート要件を満たす。また、例えば、パース（Parsing）、シンタックス（Syntax）、セマンティクス（Semantics）等の技術用語についても同様に、実施の形態において直接的な記載がない場合でも、本技術の開示範囲内であり、請求の範囲のサポート要件を満たす。
【００２２】
また、本明細書において、画像（ピクチャ）の部分領域や処理単位として説明に用いる「ブロック」（処理部を示すブロックではない）は、特に言及しない限り、ピクチャ内の任意の部分領域を示し、その大きさ、形状、および特性等は限定されない。例えば、「ブロック」には、上述の文献１ないし３に記載のTB（Transform Block）、TU（Transform Unit）、PB（Prediction Block）、PU（Prediction Unit）、SCU（Smallest Coding Unit）、CU（Coding Unit）、LCU（Largest Coding Unit）、CTB（Coding Tree Block）、CTU（Coding Tree Unit）、変換ブロック、サブブロック、マクロブロック、タイル、又は、スライス等、任意の部分領域（処理単位）が含まれる。
【００２３】
また、このようなブロックのサイズを指定するに当たって、直接的にブロックサイズを指定するだけでなく、間接的にブロックサイズを指定するようにしてもよい。例えばサイズを識別する識別情報を用いてブロックサイズを指定するようにしてもよい。また、例えば、基準となるブロック（例えばLCUやSCU等）のサイズとの比または差分によってブロックサイズを指定するようにしてもよい。例えば、シンタックス要素等としてブロックサイズを指定する情報を伝送する場合に、その情報として、上述のような間接的にサイズを指定する情報を用いるようにしてもよい。このようにすることにより、その情報の情報量を低減させることができ、符号化効率を向上させることができる場合がある。また、このブロックサイズの指定には、ブロックサイズの範囲の指定（例えば、許容されるブロックサイズの範囲の指定等）も含む。
【００２４】
＜定義＞
【００２５】
本願では、以下の用語を、以下のように定義する。
【００２６】
符号化データとは、画像を符号化することにより得られるデータであり、例えば、画像（の残差）を直交変換して量子化することにより得られるデータである。
【００２７】
符号化ビットストリームとは、符号化データを含むビットストリームであり、必要に応じて、符号化に関する符号化情報を含む。符号化情報には、符号化データを復号するのに必要な情報、すなわち、例えば、符号化で量子化が行われている場合の量子化パラメータQPや、符号化で予測符号化（動き補償）が行われている場合の動きベクトル等が、少なくとも含まれる。
【００２８】
取得可能情報とは、符号化ビットストリームから取得可能な情報である。したがって、取得可能情報は、画像を符号化し、符号化ビットストリームを生成する符号化装置、及び、符号化ビットストリームを画像に復号する復号装置のいずれでも取得可能な情報でもある。取得可能情報には、例えば、符号化ビットストリームに含められる符号化情報や、符号化ビットストリームに含まれる符号化データを復号することにより得られる画像の画像特徴量がある。
【００２９】
予測式とは、第１のデータから第２のデータを予測する多項式である。第１のデータ及び第２のデータが、例えば、画像（データ）である場合、予測式は、第１の画像から第２の画像を予測する多項式となる。かかる多項式である予測式の各項は、１個のタップ係数と１個以上の予測タップとの積で構成され、したがって、予測式は、タップ係数と予測タップとの積和演算を行う式である。第１の画像の画素のうちの予測に用いるi番目の予測タップとしての画素（の画素値）をxiと、i番目のタップ係数をwiと、第２の画像の画素（の画素値の予測値）をy'と、それぞれ表すとともに、予測式として、１次項のみからなる多項式を採用することとすると、予測式は、式y'=Σwixiで表される。式y'=Σwixiにおいて、Σは、iについてのサメーションを表す。予測式を構成するタップ係数wiは、予測式により得られる値y'の、真値yとの誤差y'-yを統計的に最小にする学習により求められる。タップ係数を求める学習の方法としては、最小自乗法がある。タップ係数を求める学習では、予測式が適用される第１の画像に相当する、学習の生徒となる生徒データ（予測式への入力xi）としての生徒画像と、第１の画像に予測式を適用した結果として得たい第２の画像に相当する、学習の教師となる教師データ（予測式の演算により求められる予測値の真値y）としての教師画像とを用いて、正規方程式を構成する各項の係数の足し込み（係数のサメーション）を行うことにより、正規方程式が求められ、その正規方程式を解くことにより、タップ係数が求められる。
【００３０】
予測処理とは、第１の画像に、予測式を適用して、第２の画像を予測する処理であり、予測処理では、第１の画像の画素（の画素値）を用いて、予測式の演算としての積和演算を行うことにより、第２の画像の予測値が求められる。第１の画像を用いて積和演算を行うことは、第１の画像にフィルタをかけるフィルタ処理ということができ、第１の画像を用いて、予測式の積和演算（予測式の演算としての積和演算）を行う予測処理は、フィルタ処理の一種であるということができる。
【００３１】
フィルタ画像とは、フィルタ処理の結果得られる画像を意味する。予測処理としてのフィルタ処理により、第１の画像から得られる第２の画像（の予測値）は、フィルタ画像である。
【００３２】
タップ係数とは、予測式である多項式の各項を構成する係数であり、ディジタルフィルタのタップにおいて、フィルタリングの対象の信号に乗算されるフィルタ係数に相当する。
【００３３】
予測タップとは、予測式の演算に用いられる画素（の画素値）であり、予測式において、タップ係数と乗算される。予測タップには、画素（の画素値）そのものの他、画素から求められる値、例えば、あるブロック内の画素（の画素値）の総和や平均値等が含まれる。
【００３４】
ここで、予測式の演算に用いる予測タップとしての画素等を選択することは、ディジタルフィルタのタップに、入力となる信号を供給する接続線を張る（配する）ことに相当することから、予測式の演算に用いる予測タップとしての画素を選択することを、「予測タップを張る」ともいう。クラスタップについても、同様である。
【００３５】
クラス分類とは、画素を複数のクラスのうちのいずれかのクラスに分類することを意味する。クラス分類は、例えば、クラスタップ等を用いて行われる。
【００３６】
クラスタップとは、クラス分類に用いられる画素（の画素値）である。クラスタップを用いたクラス分類は、例えば、クラスタップ（となっている画素）の画像特徴量を閾値処理することにより行うことができる。なお、クラス分類は、クラスタップを用いて行う他、取得可能情報に含まれる符号化情報を用いて行うことができる。例えば、符号化装置及び復号装置において、デブロッキングフィルタがかけられる場合、クラス分類は、符号化情報としての、デブロッキングフィルタに関するDF(Deblocking Filter)情報を用いて行うことができる。具体的には、例えば、デブロッキングフィルタにおいて、ストロングフィルタ又はウィークフィルタのうちのいずれが適用されたかや、いずれも適用されなかったということをDF情報として画素ごとに用いて、クラス分類を行うことができる。
【００３７】
高次項とは、予測式としての多項式を構成する項のうちの、２個以上の予測タップ（としての画素）の積を有する項である。
【００３８】
Ｄ次項とは、予測式としての多項式を構成する項のうちの、Ｄ個の予測タップの積を有する項である。例えば、１次項は、１個の予測タップを有する項であり、２次項は、２個のタップ係数の積を有する項である。
【００３９】
Ｄ次係数とは、Ｄ次項を構成するタップ係数を意味する。
【００４０】
Ｄ次タップとは、Ｄ次項を構成する予測タップ（としての画素）を意味する。ある１個の画素が、Ｄ次タップであり、かつ、Ｄ次タップとは異なるＤ’次タップであることもある。また、Ｄ次タップのタップ構造と、Ｄ次タップとは異なるＤ’次タップのタップ構造とは、同一である必要はない。
【００４１】
タップ構造とは、（例えば、注目画素の位置を基準とする、）予測タップやクラスタップとしての画素の配置を意味する。タップ構造は、予測タップやクラスタップのタップの張り方、ということもできる。
【００４２】
DC予測式とは、DC項を含む予測式である。
【００４３】
DC項とは、予測式としての多項式を構成する項のうちの、予測タップとしての画像のDC成分を表す値とタップ係数との積の項である。
【００４４】
DCタップとは、DC項の予測タップ、すなわち、DC成分を表す値を意味する。
【００４５】
DC係数とは、DC項のタップ係数を意味する。
【００４６】
１次予測式とは、１次項のみからなる予測式である。
【００４７】
高次予測式とは、高次項を含む予測式、すなわち、１次項と２次以上の高次項とからなる予測式や、２次以上の高次項のみからなる予測式である。
【００４８】
第１の画像の画素のうちの予測に用いるi番目の予測タップ（画素値等）をxiと、i番目のタップ係数をwiと、予測式により求める第２の画像の画素（の画素値の予測値）をyと、それぞれ表すこととすると、１次予測式は、式y=Σwixiで表される。
【００４９】
また、１次項及び２次項のみからなる高次予測式は、例えば、式y=Σwixi+Σ(Σwj,kxk)xjで表される。
【００５０】
さらに、例えば、１次予測式にDC項を含ませたDC予測式は、例えば、式Σwixi+wDCBDCBで表される。ここで、wDCBは、DC係数を表し、DCBは、DCタップを表す。
【００５１】
１次予測式、高次予測式、及び、DC予測式のタップ係数は、いずれも、上述したような最小自乗法による学習を行うことにより求めることができる。
【００５２】
タップ係数のボリューム化とは、予測式を構成するタップ係数を多項式で近似すること、すなわち、その多項式を構成する係数（種係数）を求めることを意味する。
【００５３】
係数予測式とは、ボリューム化において、タップ係数wを近似する多項式である。係数予測式は、種係数βmとパラメータzとを用いた項で構成され、例えば、式ｗ=Σβmzm-1で表される。式ｗ=Σβmzm-1において、Σは、mについてのサメーションを表し、種係数βmは、係数予測式のm番目の係数を表す。係数予測式ｗ=Σβmzm-1によれば、パラメータzを変数として、様々なタップ係数wが近似される。パラメータzとしては、例えば、取得可能情報に応じた値（例えば、量子化パラメータQPと同一の値等）を採用することができる。また、パラメータzとしては、その他、例えば、符号化効率（例えば、RD(Rate-Distortion)コスト等）を最良にすること等の所定の指標に基づいて、適応的に選択する（決める）ことができる。
【００５４】
係数予測式w＝Σβmzm-1において、サメーション（Σ）をとる変数mの最大値Mは、あらかじめ固定の値に決めておくことができる。また、変数mの最大値Mは、その他、例えば、符号化効率を最良にすること等の所定の指標に基づいて、適応的に選択することができる。
【００５５】
種係数とは、ボリューム化に用いられる係数予測式の係数を意味する。種係数は、タップ係数を求める学習と同様の学習により求めることができる。すなわち、例えば、係数予測式ｗ=Σβmzm-1を構成する種係数βmは、例えば、係数予測式ｗ=Σβmzm-1により得られる値（タップ係数の予測値）w'の、真値wとの誤差w'-wを統計的に最小にする学習を、最小自乗法により行うことにより求めることができる。種係数βmを求める学習は、例えば、ある量子化パラメータQPで符号化されて復号された復号画像から元画像を予測する予測式のタップ係数を教師データとするとともに、その量子化パラメータQPに応じたパラメータzを生徒データとして用いて行うことができる。
【００５６】
予測方法とは、予測式を用いた予測処理の方法を意味する。予測方法は、例えば、予測処理に用いる予測式、予測タップのタップ構造（タップの張り方）、及び、予測処理を行う単位（同一のタップ係数の予測式を適用する画素の単位）等によって規定（画定）される。
【００５７】
予測方法情報とは、予測方法を表す情報である。予測方法情報は、予測処理に用いる予測式を表す情報や、予測タップのタップ構造を表す情報、予測処理を行う単位を表す情報を、必要に応じて含む。
【００５８】
クラス分類方法とは、クラス分類の方法を意味する。クラス分類方法は、例えば、クラス分類に用いる情報（画像特徴量等）、クラスタップのタップ構造（タップの張り方）、及び、クラス分類を行う単位（クラス分類において、同一のクラスに分類する画素の単位）等によって規定される。
【００５９】
分類方法情報とは、クラス分類方法を表す情報である。分類方法情報は、クラス分類に用いる画像特徴量等を表す情報や、クラスタップのタップ構造を表す情報、クラス分類を行う単位を表す情報を、必要に応じて含む。
【００６０】
係数情報とは、予測式を構成するタップ係数に関係する情報である。係数情報には、タップ係数に関係する様々な情報が採用され得る。例えば、係数情報には、タップ係数そのもの、タップ係数を求める係数予測式を構成する種係数、又は、タップ係数若しくは種係数を識別する係数ID(identification)が含まれる。係数IDは、復号装置にプリセットされている複数セットのタップ係数若しくは種係数、又は、復号装置が既に受信しているタップ係数若しくは種係数の中から、予測処理に用いるタップ係数若しくは種係数のセットを指定するときに用いることができる。また、係数情報が種係数又は種係数を識別する係数IDを含む場合には、係数情報は、さらに、係数予測式の計算に用いるパラメータzや、係数予測式の次数を、必要に応じて含む。係数予測式の次数とは、例えば、係数予測式が式w＝Σβmzm-1で表される場合の、サメーション（Σ）をとる変数mの最大値Mより1だけ小さい値M-1である。係数予測式の次数によれば、係数予測式w＝Σβmzm-1に従って、タップ係数wを求めるときのサメーション（Σ）の範囲を特定することができる。
【００６１】
＜本技術の概要＞
【００６２】
図１は、符号化されて復号（局所復号を含む）された復号画像から、その復号画像に対する元画像を予測する予測処理としてのフィルタ処理に用いられる予測式の第１の例を説明する図である。
【００６３】
復号画像から、その復号画像に対する元画像を予測する予測処理（としてのフィルタ処理）に用いる予測式としては、例えば、図１に示すような式（１）の予測式を採用することができる。
【００６４】
y=Σwnxn
・・・（１）
【００６５】
式（１）の予測式y=Σwnxnにおいて、yは、復号画像の注目する注目画素に対応する元画像の対応画素（の画素値の予測値）を表し、Σは、nを1からNまでの整数に変えてのサメーションを表す。また、wnは、n番目のタップ係数を表し、xnは、注目画素についてn番目の予測タップとして選択される復号画像の画素（の画素値）を表す。Nは、予測式y=Σwnxnを構成するタップ係数wn（及び予測タップxn）の数を表す。
【００６６】
予測式y=Σwnxnは、１次項のみからなる１次予測式であり、１次予測式によれば、それほどデータ量が多くないタップ係数wnで、その１次予測式を復号画像に適用することにより得られるフィルタ画像の画質を向上させることができる。但し、１次予測式では、元画像のディテールを、精度良く復元することが困難な場合がある。
【００６７】
予測処理に用いる予測式としては、１次予測式の他、画素xnが２次以上の高次の多項式である高次予測式や、DC項を含む多項式であるDC予測式等を採用することができる。
【００６８】
図２は、予測処理としてのフィルタ処理に用いられる予測式の第２の例を説明する図である。
【００６９】
予測処理に用いる予測式としては、例えば、図２に示すような高次予測式を採用することができる。
【００７０】
高次予測式としては、１個のタップ係数と、１個以上の予測タップとしての画素（の画素値）との積を項とし、高次項（２次以上の高次の項）を含む多項式であれば、任意の多項式を採用することができる。すなわち、高次予測式としては、例えば、１次項（１次の項）及び２次項（２次の項）のみからなる多項式や、１次項及び２次以上の複数の異なる次数の高次項からなる多項式、２次以上の１又は複数の次数の高次項からなる多項式等を採用することができる。
【００７１】
但し、以下では、説明を簡単にするため、図２に示すような、１次項及び２次項のみからなる式（２）の多項式を、高次予測式に採用する場合について説明する。
【００７２】
y=Σwixi+Σ(Σwj,kxk)xj
・・・（２）
【００７３】
図２に示すように、式（２）において、wixiは１次項を表し、wj,kxkxjは２次項を表す。したがって、式（２）の高次予測式は、１次項及び２次項のみからなる多項式である。以下、１次項及び２次項のみからなる式（２）の高次予測式を、２次予測式ともいう。
【００７４】
式（２）において、１次項wixiのサメーション（Σ）は、変数iを１からN1までの範囲の整数に変えてとられる。N1は、予測タップのうちの１次タップ（１次項の予測タップ）としての画素xiの数、及び、タップ係数のうちの１次係数（１次項のタップ係数）wiの数を表す。wiは、タップ係数のうちの、ｉ番目の１次係数を表す。xiは、予測タップのうちのｉ番目の１次タップとしての画素（の画素値）を表す。
【００７５】
また、式（２）において、２次項wj,kxkxjの２つのサメーションのうちの１つ目のサメーションは、変数jを１からN2までの範囲の整数に変えてとられ、２つ目のサメーションは、変数kをjからN2までの範囲の整数に変えてとられる。N2は、予測タップのうちの２次タップ（２次項の予測タップ）としての画素xj(xk)の数、及び、タップ係数のうちの２次係数（２次項のタップ係数）wj,kの数を表す。wj,kは、タップ係数のうちの、j×k番目の２次係数を表す。xj及びxkは、それぞれ、予測タップのうちのj番目及びk番目の２次タップとしての画素を表す(k>=j)。
【００７６】
なお、ここでは、式（２）の説明のために、１次タップをxiで表すとともに、２次タップをxj及びxkで表すこととしたが、以下では、xに付すサフィックスによって、１次タップと２次タップとを、特に区別しない。すなわち、例えば、１次タップ及び２次タップのいずれであっても、例えば、xn等を用いて、１次タップxnや２次タップxn、あるいは、予測タップxn等と記載する。タップ係数である１次係数wi及び２次係数wj,kについても、同様である。
【００７７】
いま、予測タップとなる画素の候補としてあらかじめ決められた候補画素すべてを予測タップとして用い、かつ、候補画素から重複を許してＤ個の画素を選択する全通りの組み合わせそれぞれのＤ個の画素（の画素値）の積の項を、Ｄ次項として有する高次予測式を、全通り予測式ということとする。
【００７８】
式（２）の高次予測式は、１次タップの候補画素の数がN1個であり、２次タップの候補画素の数がN2個である場合の全通り予測式になっている。
【００７９】
１次タップとしての画素の数がN1個である場合、全通り予測式の１次項（及び１次係数）の数N1'は、１次タップの数N1に等しい。２次タップとしての画素の数がN2個である場合、全通り予測式の２次項（及び２次係数）の数N2'は、式N2'=N2C2+N2で表される。N2C2は、N2個から2個を重複なしで選択する組み合わせの数を表す。
【００８０】
式（２）のような高次予測式によれば、その高次予測式を復号画像に適用することにより得られるフィルタ画像において、１次予測式では困難であった元画像のディテールを、精度良く復元することができる。但し、高次予測式では、２次係数の数N2'が、式N2'=N2C2+N2で表されるため、２次タップの候補画素の数N2が多いと、２次係数の数N2'が膨大となり、符号化装置から復号装置に伝送するタップ係数（特に、２次係数）のデータ量が多くなって、符号化効率が低下することがあり得る。
【００８１】
図３は、予測処理としてのフィルタ処理に用いられる予測式の第３の例を説明する図である。
【００８２】
すなわち、図３は、DC予測式の第１の例を説明する図である。
【００８３】
なお、本実施の形態では、説明を簡単にするため、DC予測式として、１次予測式にDC項を含ませた予測式を採用することとする。但し、DC予測式としては、高次予測式にDC項を含ませた予測式を採用することができる。
【００８４】
DC予測式は、例えば、式（３）で表される。
【００８５】
y=WX
・・・（３）
【００８６】
式（３）において、Wは、タップ係数を要素とする行ベクトル（列ベクトルを転置したベクトル）を表し、Xは、予測タップを要素とする列ベクトルを表す。
【００８７】
式（３）のDC予測式は、図３に示すように、タップ係数として、N個の１次係数w1, w2, ..., wNと４個のDC係数wDC1, wDC2, wDC3, wDC4とを有する。さらに、式（３）のDC予測式は、図３に示すように、予測タップとして、N個の１次タップx1, x2, ..., xNと４個のDCタップDC1, DC2, DC3, DC4を有する。
【００８８】
この場合、式（３）のDC予測式は、式（４）で表される。
【００８９】
y=Σwnxn+ΣwDC#iDC#i
・・・（４）
【００９０】
式（４）において、右辺の１つ目のサメーションは、nを１からＮまでの範囲の整数に変えてのサメーションを表し、右辺の２つ目のサメーションは、iを１，２，３，４に変えてのサメーションを表す。
【００９１】
式（４）のDC予測式において、wDC#iDC#iがDC項であり、したがって、式（４）のDC予測式は、４個のDC項を有する。
【００９２】
図４は、式（４）のDCタップDC#iを説明する図である。
【００９３】
DCタップDC#iとしては、図４に示すように、復号画像の注目画素を含むブロック（以下、注目ブロックともいう）の上下左右に隣接するブロックそれぞれの、ブロック内の画素値の平均値（や総和）を採用することができる。DCタップDC#iとしての画素値の平均値を求めるブロックとしては、例えば、デブロッキングフィルタがかけられるブロックを採用することができる。
【００９４】
式（４）のようなDC予測式によれば、DC項の効果により、そのDC予測式を復号画像に適用することにより得られるフィルタ画像において、ブロック歪み等の符号化歪みを大きく抑制することができる。但し、DC予測式では、例えば、高次予測式ほどではないが、それでも、DC項がない１次予測式と比較して、DC項の分だけ、タップ係数のデータ量が多くなる。
【００９５】
図５は、DC予測式の第２の例を説明する図である。
【００９６】
式（３）のDC予測式は、図５に示すように、タップ係数として、N個の１次係数w1, w2, ..., wNと１個のDC係数wDCBとを有することができる。さらに、式（３）のDC予測式は、図５に示すように、予測タップとして、N個の１次タップx1, x2, ..., xNと１個のDCタップDCBを有することができる。
【００９７】
この場合、式（３）のDC予測式は、式（５）で表される。
【００９８】
y=Σwnxn+wDCBDCB
・・・（５）
【００９９】
式（５）のDC予測式において、wDCBDCBがDC項であり、したがって、式（５）のDC予測式は、DC項を１項だけ有する。
【０１００】
式（５）のDC項wDCBDCBを構成するDCタップDCBとしては、図４に示した注目ブロックの上下左右に隣接するブロックそれぞれの、ブロック内の画素値の平均値（や総和）を用いた、注目画素と注目ブロックの上下左右に隣接するブロックそれぞれとの距離に応じた補間を行うことにより得られる補間値を採用することができる。かかる補間には、線形補間やバイリニア補間その他の補間を採用することができる。
【０１０１】
式（５）のDC予測式によれば、式（４）のDC予測式と同様に、ブロック歪み等の符号化歪みを大きく抑制することができる。さらに、式（５）のDC予測式では、式（４）のDC予測式に比較して、DC項が少ないので、その分だけ、タップ係数（DC係数）のデータ量を少なくすることができる。
【０１０２】
図６は、タップ係数のボリューム化を説明する図である。
【０１０３】
ボリューム化では、予測式を構成するタップ係数を多項式で近似する場合の種係数、すなわち、タップ係数を近似する多項式である係数予測式の係数が求められる。
【０１０４】
ボリューム化において、タップ係数wnを求める（近似する）係数予測式は、例えば、図６に示すように、式（６）で表される。
【０１０５】
wn＝Σβm,nzm-1
・・・（６）
【０１０６】
ここで、式（６）において、wnは、n番目のタップ係数を表し、Σは、mを1からMまでの整数に変えてのサメーションを表す。βm,nは、n番目のタップ係数wnを求める係数予測式のm番目の種係数を表し、zは、種係数βm,nを用いて、タップ係数wnを求めるのに用いられるパラメータ（ボリューム）を表す。係数予測式によれば、様々なパラメータzを与えることにより、種係数βm,nから、様々な性質（画質、動き量、シーン等）の復号画像に適したタップ係数wn（様々な性質の復号画像について、元画像との誤差が少ないフィルタ画像を生成することができるタップ係数wn）を得ることができる。
【０１０７】
なお、種係数は、１次予測式のタップ係数は勿論、高次予測式やDC予測式のタップ係数、その他、任意の予測式のタップ係数について求めることができる。
【０１０８】
ここで、種係数βm,nによれば、パラメータzを与えることにより、係数予測式から、タップ係数wnを求めることができるので、種係数βm,nは、タップ係数wnと（ほぼ）等価な情報である、ということができる。
【０１０９】
符号化装置及び復号装置において、ILFのフィルタ処理として、種係数から得られるタップ係数で構成される予測式を用いた予測処理を採用する場合、係数予測式のパラメータzは、例えば、符号化ビットストリームから取得可能な取得可能情報を用いて生成することができる。
【０１１０】
取得可能情報には、例えば、符号化ビットストリームに含まれる量子化パラメータQP等の符号化情報や、符号化ビットストリームに含まれる符号化データを復号することにより得られる復号画像の画像特徴量がある。
【０１１１】
パラメータz（の値）としては、符号化情報に応じた値や、復号画像の画像特徴量に応じた値を採用することができる。
【０１１２】
例えば、復号画像の注目画素の（ブロック（CU(Coding Unit)等）の）量子化パラメータQPや、注目画素のフレームの量子化パラメータQPの平均値、注目画素のフレームの画素のうちの、注目画素のクラスにクラス分類される画素（のブロック）の量子化パラメータQPの平均値を、変数QPとして、その変数QPを、パラメータzとして採用すること(z=QP)や、変数QPを引数とする関数f(QP)の関数値を、パラメータzとして採用すること(z=f(QP))ができる。
【０１１３】
また、例えば、復号画像の注目画素Iの画像特徴量（例えば、注目画素Iの動き量）や、注目画素Iを含む局所領域の画像特徴量（例えば、局所領域の動き量）、注目画素Iのフレーム全体の画像特徴量（全画面動きの動き量）を、変数q(I)として、その変数q(I)を引数とする関数f(q(I))の関数値を、パラメータzとして採用すること(z=f(q(I)))ができる。
【０１１４】
さらに、変数QP及びq(I)のうちの一方の他、その両方を引数とする関数f(QP, q(I))の関数値を、パラメータzとして採用すること(z=f(QP, q(I)))ができる。
【０１１５】
ここで、取得可能情報は、符号化装置では勿論、復号装置でも、符号化ビットストリームから得ることができる。したがって、パラメータz（の値）として、取得可能情報に応じた値を採用する場合には、符号化装置から復号装置に対して、パラメータzを伝送する必要がない。
【０１１６】
また、パラメータzは、取得可能情報に応じて生成する他、元画像に応じて生成することができる。例えば、元画像の画像特徴量に応じた値や、元画像を用いて求められる復号画像のPSNR(Peak signal-to-noise ratio)等に応じた値等を、パラメータzとして採用することができる。但し、元画像は、復号装置で得ることができないため、パラメータzを、元画像に応じて生成する場合には、例えば、その元画像に応じて生成したパラメータzを、符号化ビットストリームに含めること等によって、符号化装置から復号装置に伝送する必要がある。
【０１１７】
図７は、本技術を適用した画像処理システムの一実施の形態の概要を示すブロック図である。
【０１１８】
図７において、画像処理システムは、符号化装置２０及び復号装置３０を有する。
【０１１９】
符号化装置２０は、符号化部２１、局所復号部２２、及び、フィルタ部２３を有する。
【０１２０】
符号化部２１には、符号化対象の画像である元画像（データ）が供給されるとともに、フィルタ部２３からフィルタ画像が供給される。
【０１２１】
符号化部２１は、フィルタ部２３からのフィルタ画像を用いて、元画像を、例えば、CU等の所定のブロック単位で（予測）符号化し、その符号化により得られる符号化データを、局所復号部２２に供給する。
【０１２２】
すなわち、符号化部２１は、フィルタ部２３からのフィルタ画像の動き補償を行って得られる元画像の予測画像を、元画像から減算し、その結果得られる残差を符号化する。
【０１２３】
符号化部２１には、フィルタ部２３からフィルタ情報が供給される。
【０１２４】
符号化部２１は、符号化データと、フィルタ部２３からのフィルタ情報とを含む符号化ビットストリームを生成して伝送（送信）する。
【０１２５】
局所復号部２２には、符号化部２１から符号化データが供給される他、フィルタ部２３からフィルタ画像が供給される。
【０１２６】
局所復号部２２は、符号化部２１からの符号化データの局所復号を、フィルタ部２３からのフィルタ画像を用いて行い、その結果得られる（局所）復号画像を、フィルタ部２３に供給する。
【０１２７】
すなわち、局所復号部２２は、符号化部２１からの符号化データを残差に復号し、その残差に、フィルタ部２３からのフィルタ画像の動き補償を行って得られる元画像の予測画像を加算することで、元画像を復号した復号画像を生成する。
【０１２８】
フィルタ部２３は、局所復号部２２からの復号画像に、予測式を適用する予測処理としてのフィルタ処理を行い、フィルタ画像を生成して、符号化部２１及び局所復号部２２に供給する。
【０１２９】
また、フィルタ部２３は、フィルタ処理を行うにあたり、必要に応じて、予測式を構成するタップ係数を求める学習や、種係数を求める学習を行う。そして、フィルタ部２３は、タップ係数又は種係数、その他のフィルタ処理に関する情報を必要に応じて含むフィルタ情報を、符号化部２１に供給する。
【０１３０】
復号装置３０は、パース部３１、復号部３２、及び、フィルタ部３３を有する。
【０１３１】
パース部３１は、符号化装置２０が伝送する符号化ビットストリームを受信してパースを行い、そのパースにより得られるフィルタ情報を、フィルタ部３３に供給する。さらに、パース部３１は、符号化ビットストリームに含まれる符号化データを、復号部３２に供給する。
【０１３２】
復号部３２には、パース部３１から符号化データが供給される他、フィルタ部３３からフィルタ画像が供給される。
【０１３３】
復号部３２は、パース部３１からの符号化データの復号を、フィルタ部３３からのフィルタ画像を用いて、例えば、CU等の所定のブロック単位で行い、その結果得られる復号画像を、フィルタ部３３に供給する。
【０１３４】
すなわち、復号部３２は、局所復号部２２と同様に、パース部３１からの符号化データを残差に復号し、その残差に、フィルタ部３３からのフィルタ画像の動き補償を行って得られる元画像の予測画像を加算することで、元画像を復号した復号画像を生成する。
【０１３５】
フィルタ部３３は、復号部３２からの復号画像に、フィルタ部２３と同様のフィルタ処理を行い、フィルタ画像を生成して、復号部３２に供給する。
【０１３６】
フィルタ部３３は、フィルタ処理を行うにあたり、必要に応じて、パース部３１からのフィルタ情報を用いる。また、フィルタ部３３は、フィルタ処理により得られる（生成される）フィルタ画像を、復号部３２に供給する他、元画像を復元した復元画像として出力する。
【０１３７】
上述したように、符号化装置２０において、フィルタ部２３は、フィルタ処理に用いる予測式を構成するタップ係数を求める学習、又は、そのタップ係数を近似する係数予測式を構成する種係数を求める学習を行うことができる。
【０１３８】
フィルタ部２３において、タップ係数を求める学習が行われる場合、フィルタ部２３は、そのタップ係数で構成される予測式を用いて、フィルタ処理を行う。さらに、そのタップ係数は、フィルタ情報に含められ、符号化装置２０から復号装置３０に伝送される。復号装置３０のフィルタ部３３では、符号化装置から伝送されてくるフィルタ情報に含まれるタップ係数で構成される予測式を用いて、フィルタ処理が行われる。
【０１３９】
フィルタ部２３において、種係数を求める学習が行われる場合、フィルタ部２３は、その種係数とパラメータzとから求められるタップ係数で構成される予測式を用いて、フィルタ処理を行う。さらに、その種係数は、フィルタ情報に含められ、符号化装置２０から復号装置３０に伝送される。復号装置３０のフィルタ部３３では、符号化装置から伝送されてくるフィルタ情報に含まれる種係数とパラメータzとから求められるタップ係数で構成される予測式を用いて、フィルタ処理が行われる。
【０１４０】
なお、フィルタ部２３において、種係数を求める学習が行われる場合、その種係数とともにタップ係数を求めるのに用いられるパラメータzとして、取得可能情報に応じた値が採用される場合には、パラメータzは、符号化装置２０から復号装置３０に伝送されない。但し、パラメータzを、例えば、元画像等の、取得可能情報ではない情報に応じて生成する場合には、パラメータzは、種係数とともに、フィルタ情報に含められ、符号化装置２０から復号装置３０に伝送される。
【０１４１】
また、フィルタ部２３及び３３には、タップ係数又は種係数をプリセットしておくことができる。
【０１４２】
フィルタ部２３及び３３に、複数セットのタップ係数又は種係数がプリセットされ、フィルタ部２３が、複数セットのタップ係数又は種係数から１セットのタップ係数又は種係数を選択して、その１セットのタップ係数を用いて、フィルタ処理を行う場合、フィルタ処理に用いられる１セットのタップ係数又は種係数を識別する係数IDが、フィルタ情報に含められ、符号化装置２０から復号装置３０に伝送される。
【０１４３】
なお、フィルタ部２３において、タップ係数又は種係数を求める学習が行われる場合、その学習により求められたタップ係数又は種係数が、過去に、符号化装置２０から復号装置３０に伝送されたタップ係数又は種係数に（ほぼ）一致するときには、学習により求められたタップ係数又は種係数に代えて、そのタップ係数又は種係数を識別する係数IDを、フィルタ情報に含めて、符号化装置２０から復号装置３０に伝送することができる。
【０１４４】
また、フィルタ部２３及び３３では、係数予測式として、１次予測式、高次予測式、及び、DC予測式のうちのいずれをも採用することができる。
【０１４５】
１次予測式によれば、それほどデータ量が多くないタップ係数で、その１次予測式を復号画像に適用することにより得られるフィルタ画像の画質を向上させることができる。高次予測式によれば、１次予測式では困難であった元画像のディテールを、精度良く復元することができ、これにより、フィルタ画像の画質を向上させることができる。DC予測式によれば、ブロック歪み等の符号化歪みを大きく抑制することができ、これにより、フィルタ画像の画質を向上させることができる。
【０１４６】
ところで、フィルタ処理、すなわち、予測式を用いた予測処理には、その予測処理の方法である予測方法に得失がある。予測方法は、例えば、予測処理に用いる予測式、予測タップのタップ構造（タップの張り方）、及び、予測処理を行う単位によって規定されるが、例えば、あるタップ構造の予測タップや、ある予測式では、復号画像によっては、予測処理により得られるフィルタ画像の画質を十分に向上させることができないこと、すなわち、例えば、復号画像の僅かな波形変化に対して、元画像の対応する波形変化を、フィルタ画像において十分に復元することができないことがある。
【０１４７】
そこで、本技術では、複数の予測方法を用意し、その複数の予測方法の中から、予測処理に採用する採用予測方法を適応的に選択して、その採用予測方法の予測処理を行うことで、フィルタ画像の画質を十分に向上させることができるようにする。複数の予測方法の中には、DC予測式を用いる予測方法を、少なくとも含めることができる。
【０１４８】
また、フィルタ部２３及び３３において、復号画像を対象とする予測処理は、復号画像の画素のクラス分類を行い、そのクラス分類により得られるクラスごとに行うことができる。クラス分類方法は、例えば、クラス分類に用いる画像特徴量等の情報や、クラスタップのタップ構造（タップの張り方）、及び、クラス分類を行う単位によって規定されるが、固定のクラス分類方法では、例えば、復号画像が波形が鈍った低画質の画像である場合に、復号画像の画素を適切に分類することができず、予測処理で最終的に得られるフィルタ画像の画質を十分に向上させることができないことがある。
【０１４９】
そこで、本技術では、複数のクラス分類方法を用意し、その複数のクラス分類方法の中から、クラス分類に採用する採用クラス分類方法を適応的に選択して、その採用クラス分類方法のクラス分類を行うことで、フィルタ画像の画質を十分に向上させることができるようにする。
【０１５０】
ここで、クラスごとに行われる予測処理を、クラス分類予測処理ともいう。クラス分類予測処理の基本的な原理については、例えば、特開2005-236633に記載されている。
【０１５１】
クラス分類予測処理において、採用クラス分類方法や採用予測方法を適応的に選択する（切り替える）ことにより、様々なシーンの復号画像に対して得られるフィルタ画像の画質を向上させることができる。採用クラス分類方法や採用予測方法等を表す情報は、少ない情報量で、符号化装置２０から復号装置３０に伝送することができる。
【０１５２】
図８は、採用クラス分類方法や採用予測方法を適応的に選択してクラス分類予測処理としてのフィルタ処理を行うフィルタ部２３及び３３の構成例を示すブロック図である。
【０１５３】
図８において、フィルタ部２３は、クラス分類部４１、予測部４２、選択部４３、DB(database)４４、クラス分類部４５、及び、予測部４６を有する。
【０１５４】
クラス分類部４１には、復号画像が供給される。クラス分類部４１は、複数のクラス分類方法それぞれについて、そのクラス分類方法のクラス分類を、復号画像の各画素に対して行い、復号画像の各画素のクラスを、予測部４２に供給する。
【０１５５】
図８では、クラス分類部４１は、ADRC(Adaptive Dynamic Range Coding)によるクラス分類とALF型のクラス分類との２種類のクラス分類方法でクラス分類を行う。
【０１５６】
ADRCによるクラス分類では、復号画像から、クラスタップとしての画素が選択され、そのクラスタップを対象として、ADRCが行われる。LビットADRCでは、例えば、クラスタップとしての画素の画素値の最大値MAXと最小値MINとの差であるダイナミックレンジDR=MAX-MINが求められる。さらに、クラスタップとしての各画素の画素値から、最小値MINが減算され、その減算値がDR/2Lで除算（再量子化）される。そして、以上のようにして得られる、クラスタップとしてのLビットの各画素の画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。
【０１５７】
したがって、例えば、１ビットADRCでは、クラスタップとしての各画素の画素値は、最大値MAXと最小値MINとの平均値で除算され（小数点以下切り捨て）、これにより、各画素の画素値が１ビットとされる（２値化される）。すなわち、１ビットADRCでは、クラスタップとしての画素の画素値の最大値MAXと最小値MINとの平均値を、画素値を分類する分類閾値として、クラスタップとしての各画素の画素値が、分類閾値以上であれば、１に量子化され、分類閾値以上でなければ、０に量子化される。そして、量子化後の１ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力される。
【０１５８】
ADRCによるクラス分類では、かかるADRCコード（が表す値）が、クラスを表す。
【０１５９】
ここで、以下では、特に断らない限り、ADRCは、１ビットADRCを意味することとする。
【０１６０】
ALF型のクラス分類では、既存のALFと同様のクラス分類が行われる。
【０１６１】
なお、図８では、説明を簡単にするため、クラス分類部４１が、２種類のクラス分類方法それぞれでクラス分類を行うこととしたが、クラス分類部４１では、１種類又は３種類以上のクラス分類方法それぞれでクラス分類を行うことができる。
【０１６２】
予測部４２には、クラス分類部４１から複数のクラス分類方法それぞれについて得られた復号画像の各画素のクラスが供給される他、元画像及び復号画像が供給される。
【０１６３】
予測部４２は、複数の予測方法それぞれについて、復号画像及びその復号画像に対応する元画像をそれぞれ生徒データ及び教師データとして用いてタップ係数を求める学習（以下、タップ係数学習ともいう）を、クラス分類部４１からの複数のクラス分類方法それぞれについて得られたクラスごとに行うことにより、複数のクラス分類方法それぞれと複数の予測方法それぞれとの組み合わせについて、その組み合わせのクラス分類方法でクラス分類を行い、その組み合わせの予測方法の予測処理を行う場合に用いられるクラスごとのタップ係数を求める。
【０１６４】
さらに、予測部４２は、複数のクラス分類方法それぞれと複数の予測方法それぞれとの組み合わせについて、タップ係数学習により求められたタップ係数で構成される予測式を、復号画像に適用する予測処理としてのフィルタ処理を行い、フィルタ画像を生成する。
【０１６５】
予測部４２は、複数のクラス分類方法それぞれと複数の予測方法それぞれとの組み合わせについて、フィルタ画像と元画像とを比較することにより、フィルタ画像のPSNRを求めるとともに、元画像の符号化を行って得られる符号化データと、その符号化データの復号に必要な情報（動きベクトル等の符号化情報や、タップ係数等）とを含む符号化ビットストリームのデータ量を求める。
【０１６６】
そして、予測部４２は、複数のクラス分類方法それぞれと複数の予測方法それぞれとの組み合わせについて、PSNR、符号化ビットストリームのデータ量、クラス分類方法を表す分類方法情報、予測方法を表す予測方法情報、及び、タップ係数に関する係数情報を対応付けて、選択部４３に供給する。
【０１６７】
予測部４２において、タップ係数学習が行われる場合、係数情報は、そのタップ係数学習で求められるタップ係数である。
【０１６８】
図８では、予測部４２は、DC予測式を用いる予測処理と、１次予測式を用いる予測処理との２種類の予測方法で予測処理を行う。
【０１６９】
なお、図８では、説明を簡単にするため、予測部４２が、２種類の予測方法それぞれで予測処理を行うこととしたが、予測部４２では、３種類以上の予測方法それぞれで予測処理を行うことができる。
【０１７０】
選択部４３は、予測部４２からPSNR、符号化ビットストリームのデータ量、分類方法情報、予測方法情報、及び、係数情報が供給される複数のクラス分類方法それぞれと複数の予測方法それぞれとの組み合わせの中から、符号化効率が最良の組み合わせを選択する。
【０１７１】
すなわち、選択部４３は、例えば、予測部４２から供給される、複数のクラス分類方法それぞれと複数の予測方法それぞれとの組み合わせについて、その組み合わせにおけるPSNR及び符号化ビットストリームのデータ量を用いて、符号化効率としての、例えば、RDコストを求める。さらに、選択部４３は、RDコストが最良の組み合わせのクラス分類方法及び予測方法を、クラス分類及び予測処理に採用する採用クラス分類方法及び採用予測方法それぞれに選択する。
【０１７２】
また、選択部４３は、採用クラス分類方法及び採用予測方法の組み合わせにおける係数情報としてのタップ係数を、予測処理に採用する採用タップ係数に選択し、DB４４に供給して記憶させる。
【０１７３】
採用クラス分類方法を表す分類方法情報、採用予測方法を表す予測方法情報、及び、DB４４に記憶された係数情報としての採用タップ係数は、フィルタ情報に含められ、符号化部２１（図７）に供給される。そして、符号化部２１において、フィルタ情報は、符号化ビットストリームに含められ、符号化装置２０から復号装置３０に伝送される。
【０１７４】
符号化装置２０から復号装置３０へのフィルタ情報の伝送（フィルタ情報の生成や、タップ係数学習等も同様）は、例えば、ピクチャ単位、スライス単位、タイル単位、その他の任意のブロック単位で行うことができる。
【０１７５】
選択部４３は、採用クラス分類方法を表す分類方法情報を、クラス分類部４５に供給するとともに、採用予測方法を表す予測方法情報を、予測部４６に供給する。
【０１７６】
クラス分類部４５には、選択部４３から分類方法情報が供給される他、復号画像が供給される。クラス分類部４５は、選択部４３からの分類方法情報が表す（採用）クラス分類方法で、復号画像の各画素のクラス分類を行い、その各画素のクラスを、予測部４６に供給する。
【０１７７】
予測部４６には、選択部４３から採用予測方法を表す予測方法情報が供給されるとともに、クラス分類部４５から、復号画像の各画素のクラスが供給される他、復号画像が供給される。
【０１７８】
予測部４６は、DB４４に記憶された係数情報としての（採用）タップ係数のうちのクラス分類部４５からのクラスのタップ係数で構成される予測式を復号画像に適用することにより、選択部４３からの予測方法情報が表す（採用）予測方法の予測処理としてのフィルタ処理を行い、その結果得られるフィルタ画像を、符号化部２１及び局所復号部２２（図８）に供給する。
【０１７９】
図８において、フィルタ部３３は、クラス分類部５１、及び、予測部５２を有する。
【０１８０】
復号装置３０では、パース部３１（図７）において、符号化装置２０からの符号化ビットストリームに含まれるフィルタ情報がパースされ、フィルタ部３３に供給される。
【０１８１】
フィルタ部３３において、フィルタ情報に含まれる分類方法情報は、クラス分類部５１に供給され、フィルタ情報に含まれる予測方法情報及び係数情報は、予測部５２に供給される。
【０１８２】
クラス分類部５１には、分類方法情報が供給される他、復号画像が供給される。クラス分類部５１は、分類方法情報が表す（採用）クラス分類方法で、復号画像の各画素のクラス分類を行い、その各画素のクラスを、予測部５２に供給する。
【０１８３】
予測部５２には、予測方法情報及び係数情報が供給される他、復号画像が供給される。予測部５２は、係数情報としての（採用）タップ係数のうちのクラス分類部５１からのクラスのタップ係数で構成される予測式を復号画像に適用することにより、予測方法情報が表す（採用）予測方法の予測処理としてのフィルタ処理を行い、その結果得られるフィルタ画像を、復号部３２（図７）に供給する。
【０１８４】
以上のように、複数のクラス分類方法及び複数の予測方法の中からそれぞれ選択された採用クラス分類方法及び採用予測方法で、クラス分類及び予測処理を行うことにより、様々なシーンの復号画像に対して得られるフィルタ画像の画質を向上させることができる。
【０１８５】
なお、クラス分類方法は、固定にすることができる。
【０１８６】
また、図８では、予測部４２において、タップ係数を求めるタップ係数学習を行うこととしたが、予測部４２では、タップ係数学習に代えて、種係数を求める学習（以下、種係数学習ともいう）を行うことができる。予測部４２において、種係数学習が行われる場合、係数情報には、種係数学習により求められるクラスごとの種係数、さらには、必要に応じて、種係数で構成される係数予測式の次数、及び、パラメータzが含まれる。
【０１８７】
すなわち、種係数学習において、係数予測式の次数が、適応的に選択される場合、係数情報には、その適応的に選択される次数が含まれる。また、パラメータzが、取得可能情報以外の情報に応じて生成される場合、係数情報には、パラメータzが含まれる。
【０１８８】
また、予測部４２では、タップ係数学習を行わず、かつ、予測部４２及び５２には、あらかじめ行われたタップ係数学習により得られる複数セットのタップ係数をプリセットしておくことができる。この場合、係数情報には、複数セットのタップ係数のうちの、採用予測方法で用いられるタップ係数のセットを識別する係数IDを含めることができる。なお、予測部４２において、タップ係数学習を行う場合でも、タップ係数学習により求められた最新のタップ係数が、係数情報として、符号化装置２０から復号装置３０に過去に伝送されたタップ係数に一致するときには、タップ係数学習により求められた最新のタップ係数に代えて、過去に伝送されたタップ係数を識別する係数IDを、係数情報に含めることができる。以上の点、種係数についても同様である。
【０１８９】
図９は、図８のクラス分類部５１及び予測部５２の構成例を示すブロック図である。
【０１９０】
なお、図８のクラス分類部４５及び予測部４６も、図９と同様に構成される。
【０１９１】
クラス分類部５１は、クラスタップ選択部６１及び分類部６２を有する。
【０１９２】
ここで、クラス分類部５１に供給される分類方法情報は、クラス分類に用いる画像特徴量等の情報、クラスタップのタップ構造、及び、クラス分類を行う単位を表す情報を含む。
【０１９３】
分類方法情報のうちの、クラスタップのタップ構造を表す情報は、クラスタップ選択部６１に供給され、クラス分類に用いる画像特徴量等を表す情報、及び、クラス分類を行う単位を表す情報は、分類部６２に供給される。
【０１９４】
クラスタップ選択部６１は、復号画像の各画素について、その復号画像から、分類方法情報が表すタップ構造のクラスタップとしての画素を選択し、分類部６２に供給する。
【０１９５】
分類部６２は、クラスタップから、分類方法情報が表す画像特徴量を抽出し、その画像特徴量を用いて、復号画像の各画素のクラス分類を行う。
【０１９６】
クラスタップから抽出される画像特徴量としては、例えば、ADRCコード（波形パターン）や、クラスタップとしての画素の画素値の最大値と最小値との差分であるDR(Dynamic Range)、クラスタップにおいて、水平、垂直、斜め方向に隣接する画素の画素値の差分絶対値の最大値であるDiffMax、DR及びDiffMaxを用いて得られるDiffMax/DR、その他の画像特徴量がある。
【０１９７】
また、分類部６２は、復号画像の各画素のクラス分類を、分類方法情報が表す単位、すなわち、例えば、１画素単位や、横×縦が２×２画素単位等で行う。クラス分類が、例えば、２×２画素単位で行われる場合、その２×２画素の４画素は、同一のクラスに分類される。
【０１９８】
分類部６２によるクラス分類により得られる復号画像の各画素のクラスは、予測部５２（のタップ係数取得部６５）に供給される。
【０１９９】
予測部５２は、バッファ６３、パラメータ取得部６４、タップ係数取得部６５、予測タップ選択部６６、及び、予測演算部６７を有する。
【０２００】
ここで、予測部５２に供給される予測方法情報は、予測処理に用いる予測式、予測タップのタップ構造、及び、予測処理を行う単位を表す情報を含む。また、予測部５２に供給される係数情報は、必要に応じて、タップ係数、種係数、係数ID、係数予測式の次数、パラメータzを含む。
【０２０１】
予測方法情報のうちの、予測処理に用いる予測式を表す情報、及び、予測処理を行う単位を表す情報は、予測演算部６７に供給され、予測タップのタップ構造を表す情報は、予測タップ選択部６６に供給されるとともに、必要に応じて、タップ係数取得部６５に供給される。
【０２０２】
係数情報のうちの係数予測式の次数や係数IDは、必要に応じて、タップ係数取得部６５に供給され、タップ係数又は種係数は、バッファ６３に供給される。係数情報のうちのパラメータzは、必要に応じて、パラメータ取得部６４に供給される。
【０２０３】
バッファ６３は、係数情報に、クラスごとのタップ係数又は種係数が含まれる場合、そのクラスごとのタップ係数又は種係数を記憶する。
【０２０４】
パラメータ取得部６４は、係数情報にパラメータzが含まれる場合、そのパラメータzを取得し、タップ係数取得部６５に供給する。また、パラメータ取得部６４は、係数情報にパラメータzが含まれない場合、取得可能情報である符号化情報や復号画像の特徴量から、パラメータzを生成することにより取得し、そのパラメータzを、タップ係数取得部６５に供給する。
【０２０５】
タップ係数取得部６５は、バッファ６３にクラスごとのタップ係数が記憶される場合、バッファ６３に記憶されたクラスごとのタップ係数から、分類部６２からの復号画像の画素のクラスのタップ係数を取得し、予測演算部６７に供給する。
【０２０６】
なお、バッファ６３に複数セットのクラスごとのタップ係数が記憶され、係数情報に、係数IDが含まれる場合、タップ係数取得部６５は、バッファ６３に記憶された複数セットのクラスごとのタップ係数のうちの、係数IDによって識別されるクラスごとのタップ係数のセットの中から、分類部６２からの復号画像の画素のクラスのタップ係数を取得し、予測演算部６７に供給する。
【０２０７】
また、バッファ６３にクラスごとの種係数が記憶される場合、タップ係数取得部６５は、バッファ６３に記憶されたクラスごとの種係数から、分類部６２からの復号画像の画素のクラスの種係数を取得する。そして、タップ係数取得部６５は、復号画像の画素のクラスの種係数とパラメータ取得部６４からのパラメータzとで構成される係数予測式を演算することにより、分類部６２からの復号画像の画素のクラスのタップ係数を求め、予測演算部６７に供給する。
【０２０８】
この場合、タップ係数取得部６５は、係数情報に、係数予測式の次数が含まれるときには、その係数情報に含まれる次数によって、係数予測式の次数を認識し、係数予測式の演算を行う。係数情報に、係数予測式の次数が含まれないとき、タップ係数取得部６５は、係数予測式の次数がデフォルトの次数であると認識する。また、タップ係数取得部６５は、必要に応じて、予測方法情報に含まれる予測タップのタップ構造に関する情報から、係数予測式の演算によって求めるべきタップ係数の個数を認識する。係数予測式の演算によって求めるべきタップ係数の個数が、デフォルトの個数にあらかじめ決められている場合には、予測タップのタップ構造を表す情報を、タップ係数取得部６５に供給する必要はない。
【０２０９】
バッファ６３に複数セットのクラスごとの種係数が記憶され、係数情報に、係数IDが含まれる場合、タップ係数取得部６５は、バッファ６３に記憶された複数セットのクラスごとの種係数のうちの、係数IDによって識別されるクラスごとの種係数のセットの中から、分類部６２からの復号画像の画素のクラスの種係数を取得し、その種係数を用いてタップ係数を求める。
【０２１０】
種係数が用いられない場合、図９において点線で示す部分は、不要となる。すなわち、予測部５５は、パラメータ取得部６４なしで構成される。また、係数予測式の次数及びパラメータzは、不要となる。さらに、予測タップのタップ構造を表す情報を、タップ係数取得部６５に供給する必要はない。
【０２１１】
以下では、説明を簡単にするため、係数IDを用いないこととし、係数予測式の次数としては、デフォルトの次数を採用することとする。さらに、係数予測式の演算によって求めるべきタップ係数の個数は、デフォルトの個数にあらかじめ決められており、パラメータzは、取得可能情報から生成される（求められる）こととする。
【０２１２】
したがって、係数情報には、タップ係数又は種係数が含まれるが、係数予測式の次数、係数ID、及び、パラメータzは含まれない。また、予測タップのタップ構造を表す情報は、タップ係数取得部６５に供給されない。
【０２１３】
図１０は、クラス分類方法を説明する図である。
【０２１４】
クラス分類方法は、例えば、クラス分類に用いる情報（画像特徴量等）、クラスタップのタップ構造（タップの張り方）、及び、クラス分類を行う単位によって規定される。
【０２１５】
クラスタップのタップ構造には、例えば、クラスタップの平面の形状であるタップ形状が、十字形状である、ｘ字形状である、正方形状である、菱形形状である、といったバリエーションがある。また、クラスタップのタップ構造には、例えば、クラスタップを密に張る、又は、疎らに張る、といったバリエーションや、注目画素を中心として、クラスタップを張る範囲をどの程度の広さの範囲に張るのか、といったバリエーションがある。
【０２１６】
クラス分類に用いる情報には、例えば、ADRC（コード）や、アクティビティ（様々な方向のアクティビティの他、特定の方向のアクティビティを含む）、後述する差分ADRC（コード）、ADRCとDRとの組み合わせ（ADRC×DR）等のバリエーションがある。また、フィルタ部２３及び３３の前段に、デブロッキングフィルタや適応オフセットフィルタ等のフィルタ部２３及び３３以外のフィルタ（以下、前段フィルタともいう）が設けられている場合には、その前段フィルタに関する情報を、クラス分類に用いる情報として採用することができる。例えば、前段フィルタとして、デブロッキングフィルタが設けられている場合には、そのデブロッキングフィルタに関するDF(Deblocking Filter)情報として、ストロングフィルタ又はウィークフィルタのうちのいずれが適用されたかや、いずれも適用されなかったという情報を用いて、クラス分類を行うことができる。なお、前段フィルタに関する情報のみを用いてクラス分類を行う場合には、クラスタップは、不要である。
【０２１７】
ADRCや差分ADRCによれば、復号画像の細かい波形変化を捉えることができ、そのような細かい波形変化に応じて、画素を分類することができる。アクティビティや、ADRCとDRとの組み合わせによれば、ノイズの画素（ノイズが多い画素）と非ノイズ（エッジやテクスチャ等）の画素とを分類することができる。DF情報によれば、デブロッキングフィルタで生じる歪みの復元に適するように、画素を分類することができる。
【０２１８】
クラス分類を行う単位には、例えば、１画素単位や、２×２画素単位等のバリエーションがある。クラス分類が、２×２画素単位で行われる場合、その２×２画素の４画素は、同一のクラスに分類される。１画素単位のクラス分類は、復号画像が精細な画像である場合に有効である。２×２画素単位のクラス分類を行う場合に得られるフィルタ画像は、１画素単位のクラス分類を行う場合に得られるフィルタ画像よりもぼけるので、２×２画素単位のクラス分類は、復号画像が低画質の画像である場合に有効である。
【０２１９】
クラス分類方法を規定するクラスタップのタップ構造、クラス分類に用いる情報、及び、クラス分類を行う単位は、復号画像の画質に関係なく選択することができるが、何らの制限もないと、選択し得るクラス分類方法の数が膨大になることがあり得る。そこで、選択し得るクラス分類方法は、例えば、図１０に示すように、復号画像の画質によって分けることができる。
【０２２０】
例えば、復号画像の画質が高画質である場合、復号画像には、ぼけていない、ディテールが多い、高域の周波数成分が多い、といった特徴があるので、かかる特徴を考慮して、クラス分類に用いる情報としては、ADRC、アクティビティ、又は、差分ADRCを採用することができる。
【０２２１】
復号画像の画質が高画質である場合、クラスタップのタップ構造としては、クラスタップを密に張ることを採用するとともに、タップ形状を、十字形状、ｘ字形状、正方形状、又は、菱形形状にすることを採用することができる。また、クラス分類を行う単位としては、１画素単位又は２×２画素単位を採用することができる。
【０２２２】
以上のようなクラス分類方法を採用することにより、高画質の復号画像のエッジ際やディテールの細かい波形変化を捉えて、復号画像の各画素を分類することができる。
【０２２３】
なお、復号画像の画質が高画質であることは、例えば、量子化パラメータQPが（閾値より）小さいこと、復号画像の１画面（フレーム）の高域の周波数成分が多いこと、復号画像の１画面において、動きがある領域が小さいこと（ぼけていないこと）等により判定することができる。
【０２２４】
一方、復号画像の画質が低画質である場合、復号画像には、ぼけている、平坦部が多い、低域の周波数成分が多い、といった特徴があるので、かかる特徴を考慮して、クラス分類に用いる情報としては、ADRC、アクティビティ、ADRCとDRとの組み合わせ、又は、DF情報を採用することができる。なお、DF情報は、前段フィルタとして、デブロッキングフィルタが存在する場合にのみ採用し得る。
【０２２５】
復号画像の画質が低画質である場合、クラスタップのタップ構造としては、クラスタップを疎らに張ること、及び、クラスタップを広範囲に張ることを採用するとともに、タップ形状を、十字形状、ｘ字形状、正方形状、又は、菱形形状にすることを採用することができる。また、クラス分類を行う単位としては、１画素単位又は２×２画素単位を採用することができる。
【０２２６】
低画質の復号画像では、エッジやディテールのような局所特徴が鈍るので、以上のようなクラス分類方法を採用することにより、低画質の復号画像の広範囲の波形変化を捉えて、ブロック歪み等の符号化歪みを大きく低減することができるように、復号画像の各画素を分類することができる。
【０２２７】
なお、復号画像の画質が低画質であることは、例えば、量子化パラメータQPが大きいこと、復号画像の１画面の低域の周波数成分が多いこと、復号画像の１画面において、動きがある領域が大きいこと（ぼけていること）等により判定することができる。
【０２２８】
図１１は、予測方法を説明する図である。
【０２２９】
予測方法は、例えば、予測処理に用いる予測式、予測タップのタップ構造（タップの張り方）、及び、予測処理を行う単位によって規定される。
【０２３０】
予測タップのタップ構造には、例えば、タップ形状が、１３画素、２５画素、又は４１画素の菱形形状である、といったバリエーションや、予測タップを密に張る、又は、疎らに張る、といったバリエーションがある。さらに、予測タップのタップ構造には、予測タップを、注目画素を中心とする基準範囲全体に張る、基準範囲より狭い範囲に張る、基準範囲より広い範囲にある、といったバリエーションや、予測タップのタップ数（予測タップとしての画素の数）を、基準数より大にする、基準数より小にする、又は、基準数にする、といったバリエーションがある。さらに、予測タップのタップ構造には、予測タップを、注目画素に近い位置については密に張り、注目画素から遠い位置については疎らに張る、といったバリエーションがある。
【０２３１】
なお、基準範囲とは、例えば、横×縦が７×７画素の範囲等の、あらかじめ決められた範囲である。基準範囲が７×７画素の範囲である場合、基準範囲より狭い範囲としては、例えば、５×５画素の範囲を採用し、基準範囲より広い範囲としては、例えば、９×９画素の範囲を採用することができる。ここでいう範囲は、予測タップとして選択し得る画素の範囲を意味し、その範囲内の画素すべてが、予測タップに選択されるとは限らない。
【０２３２】
基準数とは、例えば、２５画素等の画素数の、あらかじめ決められたタップ数（画素数）である。基準数が２５画素（注目画素を中心とする菱形形状の２５画素）である場合、基準数より大きいタップ数としては、例えば、４１画素（注目画素を中心とする菱形形状の４１画素）を採用し、基準数より小さいタップ数としては、例えば、１３画素（注目画素を中心とする菱形形状の１３画素）を採用することができる。
【０２３３】
予測処理に用いる予測式には、例えば、１次予測式や、高次予測式、DC予測式といったバリエーションがある。１次予測式によれば、それほど多くないデータ量のタップ係数で、画質を向上させたフィルタ画像を得ることができる。高次予測式によれば、元画像のディテール（細かい波形変化）を復元したフィルタ画像を得ることができる。DC予測式によれば、ブロック歪みを大きく抑制したフィルタ画像を得ることができる。
【０２３４】
予測処理を行う単位には、例えば、１画素単位や、２×２画素単位等のバリエーションがある。予測処理が、２×２画素単位で行われる場合、その２×２画素の４画素それぞれについては、各画素を基準として、予測タップが選択されるが、予測処理は、同一のタップ係数、すなわち、同一のクラスのタップ係数を用いて行われる。したがって、予測処理が、２×２画素単位で行われる場合、その２×２画素の４画素は、同一のクラスに分類されていなければならず、クラス分類を行う単位が２×２画素単位である必要がある。
【０２３５】
１画素単位の予測処理は、復号画像が精細な画像である場合に有効である。２×２画素単位の予測処理により得られるフィルタ画像は、１画素単位の予測処理により得られるフィルタ画像よりもぼけるので、２×２画素単位の予測処理は、復号画像が低画質の画像である場合に有効である。
【０２３６】
予測方法を規定する予測タップのタップ構造、予測処理に用いる予測式、及び、予測処理を行う単位は、復号画像の画質に関係なく選択することができるが、何らの制限もないと、選択し得る予測方法の数が膨大になることがあり得る。そこで、選択し得る予測方法は、例えば、図１１に示すように、図１０のクラス分類方法の場合と同様に、復号画像の画質によって分けることができる。
【０２３７】
高画質の復号画像、及び、低画質の復号画像には、図１０で説明したような特徴があり、復号画像の画質が高画質であるか、又は、低画質であるかは、やはり、図１０で説明したように判定することができる。
【０２３８】
復号画像が高画質である場合、予測タップのタップ構造としては、予測タップを密に張ることを採用するとともに、予測タップを基準範囲全体又は基準範囲より狭い範囲に張ることを採用することができる。さらに、予測タップのタップ構造としては、予測タップのタップ数を基準数より大にすることを採用することができる。予測処理に用いる予測式としては、１次予測式又は高次予測式を採用することができる。予測処理を行う単位としては、１画素単位又は２×２画素単位を採用することができる。
【０２３９】
以上のような予測方法を採用することにより、高画質の復号画像については、元画像のディテールの僅かな波形変化を復元したフィルタ画像を生成することができる。
【０２４０】
一方、復号画像が低画質画像である場合、予測タップのタップ構造としては、予測タップを基準範囲全体又は基準範囲より広い範囲に張ることを採用するとともに、予測タップを、注目画素に近い位置については密に張り、遠い位置については疎らに張ることを採用することができる。さらに、予測タップのタップ構造としては、予測タップのタップ数を基準数より大にする又は小にすることを採用することができる。予測処理に用いる予測式としては、１次予測式、高次予測式、又は、DC予測式を採用することができる。予測処理を行う単位としては、１画素単位又は２×２画素単位を採用することができる。
【０２４１】
以上のような予測方法を採用することにより、低画質の復号画像については、その復号画像の広範囲の情報を参照して、ブロック歪み等の符号化歪みを大きく低減したフィルタ画像を生成することができる。
【０２４２】
低画像の復号画像については、予測タップのタップ構造としては、特に、疎らでも密でも良いので、広範囲に亘って、予測タップを張ることが有効である。広範囲に亘って予測タップを張る場合には、予測タップを疎らに張ること（タップ飛ばし）によって、予測タップが多くなること、ひいては、タップ係数が多くなることを抑制することができる。
【０２４３】
ここで、DC予測式のDC項を構成する予測タップとしてのDCタップは、注目ブロックの上下左右に隣接するブロックそれぞれの、ブロック内の画素値の平均値や、それらの平均値を用いた補間により得られる補間値であるので、実質的に、注目ブロックの上下左右に隣接するブロックの広範囲に亘る画素に張られた予測タップであるということができる。
【０２４４】
なお、図１０で説明した複数のクラス分類方法それぞれと、図１１で説明した複数の予測方法それぞれとの組み合わせについては、クラス数や、各クラスのタップ係数の数によって、係数情報となるタップ係数（又は種係数）のデータ量に大きなばらつきが生じることがあり得る。
【０２４５】
そこで、複数のクラス分類方法それぞれと複数の予測方法それぞれとの各組み合わせについて得られるタップ係数（又は種係数）については、例えば、類似するタップ係数のクラスどうしを１つのクラスにまとめるクラスの縮退を、必要に応じて行うことで、各組み合わせについて得られるタップ係数のデータ量を、同程度に揃えることができる。
【０２４６】
図１２は、差分ADRCを説明する図である。
【０２４７】
差分ADRCでは、注目画素について選択されたクラスタップとしての複数の画素のうちの１の画素としての、例えば、注目画素と、他の画素それぞれとの画素値の差分絶対値を対象として、ADRCが行われる。図１２では、注目画素について、注目画素と、その上下左右それぞれに連続して位置する２画素ずつとの、十字形状の９画素が、クラスタップに選択されている。そして、クラスタップの注目画素と他の８個の画素それぞれとの差分絶対値D(1), D(2), ..., D(8)が求められ、その８個の差分絶対値D(1)ないしD(8)を対象として、ADRCが行われる。
【０２４８】
（１ビット）ADRCでは、図８で説明したように、クラスタップとしての画素の画素値の最大値MAXと最小値MINとの平均値を分類閾値として、クラスタップとしての各画素の画素値が、分類閾値以上であれば、１に量子化され、分類閾値以上でなければ、０に量子化される。
【０２４９】
したがって、差分ADRCでは、注目画素と、他の画素それぞれとの画素値の差分絶対値の最大値と最小値との平均値を分類閾値として、各差分絶対値が、分類閾値以上であれば、１に量子化され、分類閾値以上でなければ、０に量子化される。そして、量子化後の０又は１の差分絶対値を所定の順番で並べたビット列が、差分絶対値D(1)ないしD(8)についてのADRCコード（以下、差分ADRCコードともいう）として出力される。
【０２５０】
差分ADRC（コード）を用いたクラス分類によれば、注目画素と周辺の画素との画素の画素値（輝度等）の差分に基づいて、画素（注目画素）が分類される。
【０２５１】
差分ADRCでは、差分絶対値を量子化するときの分類閾値が、差分絶対値の最大値と最小値との差、つまり、差分絶対値のダイナミックレンジに応じて変化するので、注目画素を、その注目画素付近のシーンに応じて、分類することができ、これにより、元画像に存在するエッジを保存しながら、エッジ際の歪や、複雑なテクスチャの形状を復元したフィルタ画像を生成することが可能となる。
【０２５２】
ところで、例えば、文字や幾何学的なパターンのエッジについては、エッジでの画素値の変化が大きい場合や小さい場合がある。また、差分ADRCでは、分類閾値が、差分絶対値の最大値と最小値との平均値に一意に設定される。このため、差分ADRCを用いたクラス分類では、画素値の変化が大きいエッジの画素と、画素値の変化が小さいエッジの画素とが、異なるクラスに分類されることがある。
【０２５３】
しかしながら、文字や幾何学的なパターンのエッジについては、エッジでの画素値の変化の大小にかかわらず、同一のクラスに分類し、同一のタップ係数で構成される予測式を適用することが望ましい。
【０２５４】
そこで、差分ADRCを用いたクラス分類において、画素値の変化が大きいエッジの画素と、画素値の変化が小さいエッジの画素とが、同一のクラスに分類されるように、分類閾値を固定に設計する方法がある。
【０２５５】
しかしながら、画素値の変化が大きいエッジの画素と、画素値の変化が小さいエッジの画素とが、同一のクラスに分類されるように、分類閾値を固定に設計すると、エッジ以外の特徴を有する画像の画素が、適切に分類されなくなることがあり、クラス分類の分類性能が低下することがある。
【０２５６】
そこで、差分ADRCを用いたクラス分類では、分類閾値を、差分絶対値の最大値と最小値との平均値に設定するのではなく、必要に応じて、例えば、画素値の変化が大きいエッジの画素と、画素値の変化が小さいエッジの画素とが、同一のクラスに分類されるように、例えば、差分絶対値のダイナミックレンジに応じて、フレキシブルに設定することができる。
【０２５７】
図１３は、以上のように、分類閾値を、差分絶対値のダイナミックレンジに応じて、フレキシブルに設定する、差分ADRCを用いたクラス分類を行うクラス分類部の構成例を示すブロック図である。
【０２５８】
図１３において、クラス分類部は、クラスタップ選択部７１、差分ADRC部７２、テーブル記憶部７３、分類閾値設定部７４、及び、差分ADRC部７５を有する。
【０２５９】
クラスタップ選択部７１には、復号画像が供給される。クラスタップ選択部７１は、復号画像の注目画素について、クラスタップとしての画素を、復号画像から選択し、差分ADRC部７２及び７５に供給する。
【０２６０】
差分ADRC部７２は、クラスタップ選択部７１からの注目画素のクラスタップを対象として、差分ADRCを行い、その結果得られるクラスを、注目画素の仮のクラスである仮クラスとして、分類閾値設定部７４に供給する。なお、差分ADRC部７２では、分類閾値を、クラスタップとしての画素の差分絶対値の最大値と最小値との平均値に設定して、差分ADRCが行われる。
【０２６１】
テーブル記憶部７３は、差分ADRC部７２で得られる任意の仮クラスについて、その仮クラスに分類される画素の最終的なクラスである最終クラスを求めるのに用いる分類閾値のテーブル（以下、閾値テーブルともいう）を記憶する。
【０２６２】
分類閾値設定部７４は、テーブル記憶部７３に記憶された閾値テーブルを参照し、その閾値テーブルに、差分ADRC部７２からの注目画素の仮クラスについて、分類閾値Thとクラスタップとしての画素（の画素値）の差分絶対値のダイナミックレンジDRとの関係を表す分類閾値関係情報が登録されている場合には、その分類閾値関係情報に従って、最終クラスを求めるのに用いる分類閾値Thを設定し、差分ADRC部７５に供給する。
【０２６３】
差分ADRC部７５は、分類閾値設定部７４から分類閾値Thが供給される場合、その分類閾値Thを用いて、クラスタップ選択部７１からの注目画素のクラスタップを対象とする差分ADRCを行い、その結果得られるクラスを、注目画素の最終クラスとして出力する。
【０２６４】
また、差分ADRC部７５は、分類閾値設定部７４から分類閾値Thが供給されない場合、差分ADRC部７２と同様に、クラスタップ選択部７１からの注目画素のクラスタップを対象とする差分ADRCを行い、その結果得られるクラスを、注目画素の最終クラスとして出力する。
【０２６５】
したがって、差分ADRC部７５に対して、分類閾値設定部７４から分類閾値Thが供給されない場合、差分ADRC部７５では、分類閾値を、クラスタップとしての画素の差分絶対値の最大値と最小値との平均値に設定して、差分ADRCが行われる。この場合、差分ADRC部７５において差分ADRCを行わずに、差分ADRC部７２で得られた仮クラスを、そのまま、最終クラスとして出力することができる。
【０２６６】
図１４は、図１３のテーブル記憶部７３に記憶される閾値テーブルの例を示す図である。
【０２６７】
図１４の閾値テーブルでは、仮クラスについて、分類閾値関係情報が登録されている。
【０２６８】
分類閾値関係情報は、クラスタップとしての画素の差分絶対値のダイナミックレンジDRに応じて変化する分類閾値Thを表す閾値曲線を規定する情報で、例えば、２つのダイナミックレンジDR1及びDR2と、２つの分類閾値Th1及びTh2とを有する。
【０２６９】
図１４に示すように、例えば、横軸をダイナミックレンジDRとするとともに、縦軸を分類閾値Thとする２次元平面において、分類閾値関係情報DR1, DR2, Th1, Th2によって規定される曲線が、閾値曲線である。
【０２７０】
分類閾値設定部７４は、仮クラスの分類閾値関係情報によって規定される閾値曲線に従い、クラスタップとしての画素の差分絶対値のダイナミックレンジDRに応じて、分類閾値Thを設定する。
【０２７１】
差分ADRCを用いたクラス分類を行う場合には、以上のような閾値テーブルを、必要に応じて、分類方法情報に含めて、符号化装置２０から復号装置３０に伝送することができる。
【０２７２】
なお、閾値テーブルにおいて、分類閾値関係情報DR1, DR2, Th1, Th2は、すべての仮クラスについて登録されている必要はない。すなわち、閾値テーブルには、クラスタップとしての画素の差分絶対値のダイナミックレンジDRに応じて、分類閾値Thをフレキシブルに設定したい仮クラスについてだけ、分類閾値関係情報DR1, DR2, Th1, Th2を登録することができる。
【０２７３】
図１５は、複数のクラス分類方法の例を説明する図である。
【０２７４】
図８で説明したように、クラス分類部４１は、複数のクラス分類方法それぞれについて、そのクラス分類方法のクラス分類を、復号画像の各画素に対して行う。
【０２７５】
一方、クラス分類方法は、クラス分類に用いる情報（画像特徴量等）、クラスタップのタップ構造（タップの張り方）、及び、クラス分類を行う単位によって規定される。
【０２７６】
したがって、クラス分類に用いる情報、クラスタップのタップ構造、及び、クラス分類を行う単位として、複数の情報、複数のタップ構造、及び、複数の単位を、それぞれ用意し、その複数の情報それぞれ、複数のタップ構造それぞれ、及び、複数の単位それぞれを組み合わせて、複数のクラス分類方法を構成することができる。
【０２７７】
しかしながら、複数の情報それぞれ、複数のタップ構造それぞれ、及び、複数の単位それぞれを組み合わせて、複数のクラス分類方法を構成する場合には、複数のクラス分類方法の数が膨大になるおそれがある。
【０２７８】
ところで、クラス分類に用いる情報、クラスタップのタップ構造、及び、クラス分類を行う単位の組み合わせには、適切な組み合わせがあり得る。
【０２７９】
そこで、クラス分類に用いる情報、クラスタップのタップ構造、及び、クラス分類を行う単位の組み合わせとして、幾つかの適切な組み合わせを用意し、その幾つかの適切な組み合わせを、クラス分類部４１で行うクラス分類の複数のクラス分類方法として採用することができる。
【０２８０】
図１５は、以上のような、クラス分類に用いる情報、クラスタップのタップ構造、及び、クラス分類を行う単位の適切な組み合わせとしての複数のクラス分類方法の例を示している。
【０２８１】
図１５においては、図１０の場合と同様に、選択し得るクラス分類方法が、復号画像の画質によって分けられている。但し、選択し得るクラス分類方法は、必ずしも、復号画像の画質によって分ける必要はない。
【０２８２】
復号画像の画質が高画質である場合、クラス分類に用いる情報として、ADRCを採用し、クラスタップのタップ構造として、クラスタップを密に張ること、及び、タップ形状を十字形状にすることを採用し、クラス分類を行う単位として、１画素単位を採用することができる。
【０２８３】
また、クラス分類に用いる情報として、既存のALFで採用されているアクティビティを採用し、クラスタップのタップ構造として、クラスタップを密に張ること、及び、タップ形状を既存のALFで採用されている正方形状にすることを採用し、クラス分類を行う単位として、１画素単位を採用することができる。さらに、クラス分類に用いる情報として、差分ADRCを採用し、クラスタップのタップ構造として、クラスタップを密に張ること、及び、タップ形状を十字形状にすることを採用し、クラス分類を行う単位として、１画素単位を採用することができる。
【０２８４】
例えば、クラス分類に用いる情報として、差分ADRCを採用し、クラスタップのタップ構造として、クラスタップを密に張ること、及び、タップ形状を十字形状にすることを採用し、クラス分類を行う単位として、１画素単位を採用するクラス分類方法によれば、特に、エッジ際や複雑なテクスチャを構成する画素を、適切にクラス分類することができる。
【０２８５】
一方、復号画像の画質が低画質である場合、クラス分類に用いる情報として、ADRCを採用し、クラスタップのタップ構造として、クラスタップを疎らに張ること、及び、タップ形状を十字形状にすることを採用し、クラス分類を行う単位として、２×２画素単位を採用することができる。さらに、クラス分類に用いる情報として、既存のALFで採用されているアクティビティを採用し、クラスタップのタップ構造として、クラスタップを密に張ること、及び、タップ形状を既存のALFで採用されている正方形状にすることを採用し、クラス分類を行う単位として、２×２画素単位を採用することができる。
【０２８６】
また、クラス分類に用いる情報として、ADRCとDR（クラスラップの最大値と最小値との差）との組み合わせ（ADRC×DR）を採用し、クラスタップのタップ構造として、ADRC用のクラスタップを疎らに張り、タップ形状を十字形状にすること、及び、DR用のクラスタップのタップ形状を正方形状にすることを採用し、クラス分類を行う単位として、２×２画素単位を採用することができる。
【０２８７】
その他、復号画像の画質が低画質である場合に、前段フィルタとして、デブロッキングフィルタが設けられているときには、クラス分類に用いる情報として、ADRCとDF情報との組み合わせ（ADRC×DF情報）を採用し、クラスタップのタップ構造として、ADRC用のクラスタップを疎らに張り、タップ形状を十字形状にすることを採用し、クラス分類を行う単位として、１画素単位を採用することができる。
【０２８８】
例えば、クラス分類に用いる情報として、ADRCとDRとの組み合わせを採用し、クラスタップのタップ構造として、ADRC用のクラスタップを疎らに張り、タップ形状を十字形状にすること、及び、DR用のクラスタップのタップ形状を正方形状にすることを採用し、クラス分類を行う単位として、２×２画素単位を採用するクラス分類方法によれば、特に、平坦部やグラデーションを構成する画素を、適切にクラス分類することができる。
【０２８９】
また、例えば、クラス分類に用いる情報として、ADRCとDF情報との組み合わせを採用し、クラスタップのタップ構造として、ADRC用のクラスタップを疎らに張り、タップ形状を十字形状にすることを採用し、クラス分類を行う単位として、１画素単位を採用するクラス分類方法によれば、特に、ブロック歪みを構成する画素を、適切にクラス分類することができる。さらに、デブロッキングフィルタで生じる歪みの復元に適するように、クラス分類を行うことができる。
【０２９０】
図１６は、複数の予測方法の例を説明する図である。
【０２９１】
図８で説明したように、予測部４２は、複数の予測方法それぞれについて、その予測方法の予測処理としてのフィルタ処理（及びタップ係数学習又は種係数学習）を、復号画像に対して行う。
【０２９２】
一方、予測方法は、予測処理に用いる予測式、予測タップのタップ構造（タップの張り方）、及び、予測処理を行う単位によって規定される。
【０２９３】
したがって、予測処理に用いる予測式、予測タップのタップ構造、及び、予測処理を行う単位として、複数の予測式、複数のタップ構造、及び、複数の単位を、それぞれ用意し、その複数の予測式それぞれ、複数のタップ構造それぞれ、及び、複数の単位それぞれを組み合わせて、複数の予測方法を構成することができる。
【０２９４】
しかしながら、複数の予測式それぞれ、複数のタップ構造それぞれ、及び、複数の単位それぞれを組み合わせて、複数の予測方法を構成する場合には、複数の予測方法の数が膨大になるおそれがある。
【０２９５】
ところで、予測処理に用いる予測式、予測タップのタップ構造、及び、予測処理を行う単位の組み合わせには、適切な組み合わせがあり得る。
【０２９６】
そこで、予測処理に用いる予測式、予測タップのタップ構造、及び、予測処理を行う単位の組み合わせとして、幾つかの適切な組み合わせを用意し、その幾つかの適切な組み合わせを、予測部４２で行う予測処理の複数の予測方法として採用することができる。
【０２９７】
図１６は、以上のような予測処理に用いる予測式、予測タップのタップ構造、及び、予測処理を行う単位の適切な組み合わせとしての複数の予測方法の例を示している。
【０２９８】
図１６においては、図１１の場合と同様に、選択し得る予測方法が、復号画像の画質によって分けられている。但し、選択し得る予測方法は、必ずしも、復号画像の画質によって分ける必要はない。
【０２９９】
復号画像の画質が高画質である場合、予測処理に用いる予測式として、１次予測式を採用し、予測タップのタップ構造として、タップ形状を菱形形状にすること、及び、予測タップを密に張ることを採用し、予測処理を行う単位として、１画素単位を採用することができる。さらに、予測処理に用いる予測式として、高次予測式としての２次予測式を採用し、予測タップのタップ構造として、タップ形状を菱形形状にすること、予測タップを密に張ること、及び、予測タップを基準範囲より狭い範囲に張ることを採用し、予測処理を行う単位として、１画素単位を採用することができる。
【０３００】
なお、以上のように、予測処理に用いる予測式として、２次予測式を採用し、予測タップのタップ構造として、予測タップを基準範囲より狭い範囲に張ることを採用する場合には、２次タップは、基準範囲より狭い範囲で、かつ、１次タップが張られる範囲より狭い範囲に張ることができる。
【０３０１】
一方、復号画像の画質が低画質である場合、予測処理に用いる予測式として、１次予測式を採用し、予測タップのタップ構造として、タップ形状を菱形形状にすること、及び、予測タップを疎らに張ることを採用し、予測処理を行う単位として、２×２画素単位を採用することができる。さらに、予測処理に用いる予測式として、高次予測式としての２次予測式を採用し、予測タップのタップ構造として、タップ形状を菱形形状にすること、予測タップを疎らに張ること、及び、予測タップのタップ数をあらかじめ決められた数より小にすることを採用し、予測処理を行う単位として、２×２画素単位を採用することができる。
【０３０２】
なお、以上のように、予測タップのタップ構造として、予測タップを疎らに張ること、及び、予測タップのタップ数をあらかじめ決められた数より小にすることを採用する場合、高画質の復号画像について、予測処理に用いる予測式として、２次予測式が採用される場合よりも、予測タップが、疎らに、かつ、広い範囲に張られることになる。
【０３０３】
その他、復号画像の画質が低画質である場合、予測処理に用いる予測式として、DC予測式を採用し、予測タップのタップ構造として、タップ形状を菱形形状にすること、及び、予測タップを、注目画素に近い位置については密に張り、注目画素から遠い位置については疎らに張ること、及び、予測タップのタップ数を、DCタップの分だけ１次予測式を採用する場合より小にすること、予測処理を行う単位として、２×２画素単位を採用することができる。さらに、予測処理に用いる予測式として、１次予測式を採用し、予測タップのタップ構造として、タップ形状を菱形形状にすること、及び、予測タップを疎らに張ることを採用し、予測処理を行う単位として、１画素単位を採用することができる。
【０３０４】
なお、本実施の形態において、復号画像の画質が低画質である場合、予測処理に用いる予測式として、１次予測式を採用し、予測タップのタップ構造として、タップ形状を菱形形状にすること、及び、予測タップを疎らに張ることを採用し、予測処理を行う単位として、１画素単位を採用する、図１６の最下欄の予測方法は、図１５の最下欄に示した、前段フィルタとして、デブロッキングフィルタが設けられており、クラス分類に用いる情報として、ADRCとDF情報との組み合わせを採用し、クラスタップのタップ構造として、ADRC用のクラスタップを疎らに張り、タップ形状を十字形状にすることを採用し、クラス分類を行う単位として、１画素単位を採用するクラス分類方法が選択されるときに選択し得る。
【０３０５】
図１７は、図７の符号化装置２０の符号化処理の概要を説明するフローチャートである。
【０３０６】
図１７のフローチャートに従った処理は、例えば、フレーム（ピクチャ）単位で行われる。
【０３０７】
ステップＳ２１において、符号化部２１（図７）は、フィルタ部２３からのフィルタ画像を用いて、元画像を（予測）符号化し、その符号化により得られる符号化データを、局所復号部２２に供給して、処理は、ステップＳ２２に進む。
【０３０８】
ステップＳ２２では、局所復号部２２は、符号化部２１からの符号化データの局所復号を、フィルタ部２３からのフィルタ画像を用いて行い、その結果得られる（局所）復号画像を、フィルタ部２３に供給して、処理は、ステップＳ２３に進む。
【０３０９】
ステップＳ２３では、フィルタ部２３（図８）において、クラス分類部４１が、局所復号部２２からの復号画像の画素を、順次、注目画素に選択し、処理は、ステップＳ２４に進む。
【０３１０】
ステップＳ２４では、クラス分類部４１は、複数のクラス分類方法それぞれについて、そのクラス分類方法のクラス分類を、復号画像の注目画素に対して行い、注目画素のクラスを、予測部４２に供給して、処理は、ステップＳ２５に進む。
【０３１１】
ステップＳ２５では、予測部４２は、複数の予測方法それぞれについて、クラス分類部４１からの複数のクラス分類方法それぞれについて得られたクラスごとの画素と元画像とを用いて、タップ係数学習（又は種係数学習）を行い、複数のクラス分類方法それぞれと複数の予測方法それぞれとの組み合わせそれぞれについて、クラスごとのタップ係数（又は種係数）を求める。
【０３１２】
さらに、予測部４２は、複数のクラス分類方法それぞれと複数の予測方法それぞれとの組み合わせについて、タップ係数学習により求められたタップ係数（又は種係数学習により求められた種係数から求められるタップ係数）で構成される予測式を、復号画像に適用する予測処理としてのフィルタ処理を行い、フィルタ画像を生成する。
【０３１３】
予測部４２は、複数のクラス分類方法それぞれと複数の予測方法それぞれとの組み合わせについて、フィルタ画像と元画像とを比較することにより、フィルタ画像のPSNRを求めるとともに、元画像の符号化を行って得られる符号化データと、その符号化データの復号に必要な情報とを含む符号化ビットストリームのデータ量を求める。
【０３１４】
そして、予測部４２は、複数のクラス分類方法それぞれと複数の予測方法それぞれとの組み合わせについて、PSNR、符号化ビットストリームのデータ量、クラス分類方法を表す分類方法情報、予測方法を表す予測方法情報、及び、タップ係数（又は種係数）を対応付けて、選択部４３に供給し、処理は、ステップＳ２５からステップＳ２６に進む。
【０３１５】
ステップＳ２６では、選択部４３は、複数のクラス分類方法それぞれと複数の予測方法それぞれとの組み合わせの中から、その組み合わせについて求められたタップ係数（又は種係数から求められたタップ係数）を用いた予測処理を行った場合に、符号化効率を最良にするクラス分類方法及び予測方法の組み合わせを、採用クラス分類方法及び採用予測方法の組み合わせに選択する。さらに、予測部４２は、採用クラス分類方法及び採用予測方法の組み合わせについて求められたクラスごとのタップ係数（又はタップ係数を求めるのに用いられた種係数）を、採用タップ係数（又は種係数）に選択し、係数情報に含める。
【０３１６】
選択部４３は、採用クラス分類方法及び採用予測方法の組み合わせについての係数情報に含まれる採用タップ係数（又は種係数）を、DB４４に供給して記憶させ、処理は、ステップＳ２６からステップＳ２７に進む。
【０３１７】
ここで、採用クラス分類方法を表す分類方法情報、採用予測方法を表す予測方法情報、及び、DB４４に記憶された係数情報としての採用タップ係数は、フィルタ情報に含められ、フィルタ部２３から符号化部２１（図７）に供給される。
【０３１８】
また、選択部４３は、採用クラス分類方法を表す分類方法情報を、クラス分類部４５に供給するとともに、採用予測方法を表す予測方法情報を、予測部４６に供給する。
【０３１９】
ステップＳ２７において、クラス分類部４５は、選択部４３からの分類方法情報が表す（採用）クラス分類方法で、復号画像の各画素のクラス分類を行い、その各画素のクラスを、予測部４６に供給する。予測部４６は、DB４４に記憶された係数情報としての採用タップ係数（又は種係数から生成されるタップ係数）のうちのクラス分類部４５からのクラスのタップ係数で構成される予測式を復号画像に適用することにより、選択部４３からの予測方法情報が表す（採用）予測方法の予測処理としてのフィルタ処理を行い、その結果得られるフィルタ画像を、符号化部２１及び局所復号部２２（図８）に供給する。そして、処理は、ステップＳ２７からステップＳ２８に進む。
【０３２０】
ここで、ステップＳ２７において予測部４６から符号化部２１及び局所復号部２２に供給されるフィルタ画像は、例えば、復号画像の次のフレームを対象として行われるステップＳ２１及びＳ２２の処理で用いられる。
【０３２１】
ステップＳ２８では、符号化部２１は、フィルタ部２３からのフィルタ情報、すなわち、分類方法情報、予測方法情報、及び、係数情報を含む符号化ビットストリームを生成して伝送する。
【０３２２】
なお、予測部４２において、種係数学習が行われる場合、係数情報には、種係数が含まれるとともに、その種係数からタップ係数を求める係数予測式の次数、及び、パラメータzが必要に応じて含まれる。
【０３２３】
図１８は、図７の復号装置３０の復号処理の概要を説明するフローチャートである。
【０３２４】
図１８のフローチャートに従った処理は、例えば、図１７の符号化処理と同様に、フレーム単位で行われる。
【０３２５】
ステップＳ４１において、パース部３１（図７）は、符号化装置２０から伝送されてくる符号化ビットストリームを受信し、符号化ビットストリームに含まれるフィルタ情報をパースして、フィルタ部３３に供給する。さらに、パース部３１は、符号化ビットストリームに含まれる符号化データを、復号部３２に供給し、処理は、ステップＳ４１からステップＳ４２に進む。
【０３２６】
ステップＳ４２では、復号部３２は、パース部３１からの符号化データの復号を、フィルタ部３３からのフィルタ画像を用いて行い、その結果得られる復号画像を、フィルタ部３３に供給して、処理は、ステップＳ４３に進む。
【０３２７】
ステップＳ４３では、フィルタ部３３（図８）において、クラス分類部５１が、復号部３２からの復号画像の画素を、順次、注目画素に選択し、処理は、ステップＳ４４に進む。
【０３２８】
ステップＳ４４では、クラス分類部５１は、フィルタ情報に含まれる分類方法情報が表す採用クラス分類方法で、注目画素のクラス分類を行い、その結果得られる注目画素のクラスを、予測部５２に供給して、処理は、ステップＳ４５に進む。
【０３２９】
ステップＳ４５では、予測部５２は、フィルタ情報に含まれる係数情報における採用タップ係数から、クラス分類部５１からの注目画素のクラスの（採用）タップ係数を取得し、処理は、ステップＳ４６に進む。
【０３３０】
ここで、係数情報が、クラスごとのタップ係数を含む場合には、予測部５２は、ステップＳ４５において、上述のように、係数情報に含まれるクラスごとのタップ係数から、注目画素のクラスのタップ係数を取得する。
【０３３１】
また、係数情報が、クラスごとの種係数を含む場合には、予測部５２は、ステップＳ４５において、係数情報に含まれるクラスごとの種係数から、注目画素のクラスの種係数を取得するとともに、パラメータzを取得し、注目画素のクラスの種係数とパラメータzとで構成される係数予測式を演算することにより、注目画素のクラスのタップ係数を求める。
【０３３２】
ステップＳ４６では、予測部５２は、ステップＳ４５で取得したタップ係数で構成される予測式を復号画像に適用することにより、フィルタ情報に含まれる予測方法情報が表す採用予測方法の予測処理としてのフィルタ処理を行い、フィルタ画像を生成する。
【０３３３】
フィルタ画像は、フィルタ部３３から復号部３２（図７）に供給されるとともに、元画像を復元した復元画像として出力される。
【０３３４】
ステップＳ４６でフィルタ部３３から復号部３２に供給されるフィルタ画像は、例えば、復号画像の次のフレームを対象として行われるステップＳ４２の処理で用いられる。
【０３３５】
＜符号化装置２０の構成例＞
【０３３６】
図１９は、図７の符号化装置２０の詳細な構成例を示すブロック図である。
【０３３７】
なお、以下説明するブロック図については、図が煩雑になるのを避けるため、各ブロックの処理で必要となる情報（データ）を供給する線の記載を、適宜省略する。
【０３３８】
図１９において、符号化装置２０は、A/D変換部１０１、並べ替えバッファ１０２、演算部１０３、直交変換部１０４、量子化部１０５、可逆符号化部１０６、及び、蓄積バッファ１０７を有する。さらに、符号化装置２０は、逆量子化部１０８、逆直交変換部１０９、演算部１１０、ILF１１１、フレームメモリ１１２、選択部１１３、イントラ予測部１１４、動き予測補償部１１５、予測画像選択部１１６、及び、レート制御部１１７を有する。
【０３３９】
A/D変換部１０１は、アナログ信号の元画像を、ディジタル信号の元画像にA/D変換し、並べ替えバッファ１０２に供給して記憶させる。
【０３４０】
並べ替えバッファ１０２は、元画像のフレームを、GOP（Group Of Picture）に応じて、表示順から符号化（復号）順に並べ替え、演算部１０３、イントラ予測部１１４、動き予測補償部１１５、及び、ILF１１１に供給する。
【０３４１】
演算部１０３は、並べ替えバッファ１０２からの元画像から、予測画像選択部１１６を介してイントラ予測部１１４又は動き予測補償部１１５から供給される予測画像を減算し、その減算により得られる残差（予測残差）を、直交変換部１０４に供給する。
【０３４２】
例えば、インター符号化が行われる画像の場合、演算部１０３は、並べ替えバッファ１０２から読み出された元画像から、動き予測補償部１１５から供給される予測画像を減算する。
【０３４３】
直交変換部１０４は、演算部１０３から供給される残差に対して、離散コサイン変換やカルーネン・レーベ変換等の直交変換を施す。なお、この直交変換の方法は任意である。直交変換部１０４は、直交交換により得られる直交変換係数を量子化部１０５に供給する。
【０３４４】
量子化部１０５は、直交変換部１０４から供給される直交変換係数を量子化する。量子化部１０５は、レート制御部１１７から供給される符号量の目標値（符号量目標値）に基づいて量子化パラメータQPを設定し、直交変換係数の量子化を行う。なお、この量子化の方法は任意である。量子化部１０５は、量子化された直交変換係数である符号化データを、可逆符号化部１０６に供給する。
【０３４５】
可逆符号化部１０６は、量子化部１０５からの符号化データとしての量子化された直交変換係数を所定の可逆符号化方式で符号化する。直交変換係数は、レート制御部１１７の制御の下で量子化されているので、可逆符号化部１０６の可逆符号化により得られる符号化ビットストリームの符号量は、レート制御部１１７が設定した符号量目標値となる（又は符号量目標値に近似する）。
【０３４６】
また、可逆符号化部１０６は、符号化装置２０での予測符号化に関する符号化情報のうちの、復号装置３０での復号に必要な符号化情報を、各ブロックから取得する。
【０３４７】
ここで、符号化情報としては、例えば、イントラ予測やインター予測の予測モード、動きベクトル等の動き情報、符号量目標値、量子化パラメータQP、ピクチャタイプ(I,P,B)、CU(Coding Unit)やCTU(Coding Tree Unit)の情報等がある。
【０３４８】
例えば、予測モードは、イントラ予測部１１４や動き予測補償部１１５から取得することができる。また、例えば、動き情報は、動き予測補償部１１５から取得することができる。
【０３４９】
可逆符号化部１０６は、符号化情報を取得する他、ILF１１１から、そのILF１１１でのフィルタ処理に関するフィルタ情報を取得する。
【０３５０】
可逆符号化部１０６は、符号化情報及びフィルタ情報を、例えば、CAVLC（Context-Adaptive Variable Length Coding）やCABAC（Context-Adaptive Binary Arithmetic Coding）等の可変長符号化又は算術符号化その他の可逆符号化方式で符号化し、符号化後の符号化情報及びフィルタ情報、及び、量子化部１０５からの符号化データを含む符号化ビットストリームを生成して、蓄積バッファ１０７に供給する。
【０３５１】
蓄積バッファ１０７は、可逆符号化部１０６から供給される符号化ビットストリームを、一時的に蓄積する。蓄積バッファ１０７に蓄積された符号化ビットストリームは、所定のタイミングで読み出されて伝送される。
【０３５２】
量子化部１０５において量子化された直交変換係数である符号化データは、可逆符号化部１０６に供給される他、逆量子化部１０８にも供給される。逆量子化部１０８は、量子化された直交変換係数を、量子化部１０５による量子化に対応する方法で逆量子化し、その逆量子化により得られる直交変換係数を、逆直交変換部１０９に供給する。
【０３５３】
逆直交変換部１０９は、逆量子化部１０８から供給される直交変換係数を、直交変換部１０４による直交変換処理に対応する方法で逆直交変換し、その逆直交変換の結果得られる残差を、演算部１１０に供給する。
【０３５４】
演算部１１０は、逆直交変換部１０９から供給される残差に、予測画像選択部１１６を介してイントラ予測部１１４又は動き予測補償部１１５から供給される予測画像を加算し、これにより、元画像を復号した復号画像（の一部）を得て出力する。
【０３５５】
演算部１１０が出力する復号画像は、ILF１１１に供給される。
【０３５６】
ILF１１１は、例えば、クラス分類予測処理としてのフィルタ処理を行い、元画像を予測（復元）する。
【０３５７】
ILF１１１には、演算部１１０から復号画像が供給される他、並べ替えバッファ１０２から、復号画像に対応する元画像が供給される。
【０３５８】
ILF１１１は、例えば、演算部１１０からの復号画像、及び、並べ替えバッファ１０２からの元画像を、それぞれ生徒データ及び教師データとして用いて、複数のクラス分類方法それぞれと複数の予測方法それぞれとの組み合わせそれぞれについて、タップ係数学習又は種係数学習を行う。
【０３５９】
さらに、ILF１１１は、複数のクラス分類方法それぞれと複数の予測方法それぞれとの組み合わせの中から、その組み合わせについて求められたタップ係数又は種係数から生成された（求められた）タップ係数を用いた予測処理を行った場合に、符号化効率を最良にするクラス分類方法及び予測方法の組み合わせを、採用クラス分類方法及び採用予測方法の組み合わせに選択する。さらに、ILF１１１は、採用クラス分類方法及び採用予測方法の組み合わせについて求められたクラスごとのタップ係数又は種係数を、採用タップ係数又は種係数として、係数情報に含める。
【０３６０】
そして、ILF１１１は、採用クラス分類方法を表す分類方法情報、採用予測方法を表す予測方法情報、及び、係数情報を含むフィルタ情報を生成し、可逆符号化部１０６に供給する。
【０３６１】
また、ILF１１１は、フィルタ情報の分類方法情報が表す採用クラス分類方法で、復号画像の各画素のクラス分類を行い、その各画素のクラスを求める。さらに、ILF１１１は、復号画像の各画素に、フィルタ情報の係数情報に含まれる採用タップ係数又は種係数から生成されるタップ係数のうちの、その画素のクラスのタップ係数で構成される予測式を適用することにより、フィルタ情報の予測方法情報が表す採用予測方法の予測処理としてのフィルタ処理を行い、そのフィルタ処理により生成されるフィルタ画像を出力する。
【０３６２】
ILF１１１が出力するフィルタ画像は、フレームメモリ１１２に供給される。
【０３６３】
ここで、以下では、説明を簡単にするため、ILF１１１では、タップ係数学習及び種係数学習のうちの、例えば、タップ係数学習が行われることとする。
【０３６４】
ILF１１１は、タップ係数学習に用いる生徒画像及び教師画像によって、デブロッキングフィルタ、適応オフセットフィルタ、バイラテラルフィルタ、及び、ALFのうちの１以上のフィルタとして機能させることができる。
【０３６５】
また、ILF１１１を、デブロッキングフィルタ、適応オフセットフィルタ、バイラテラルフィルタ、及び、ALFのうちの２以上のフィルタとして機能させる場合、その２以上のフィルタの配置順は任意である。
【０３６６】
さらに、ILF１１１は、デブロッキングフィルタ、適応オフセットフィルタ、バイラテラルフィルタ、及び、ALF以外のフィルタとして機能させることができる。また、図１９では、ILF１１１以外のフィルタが設けられていないが、ILF１１１に加えて、デブロッキングフィルタ、適応オフセットフィルタ、バイラテラルフィルタ、及び、ALFのうちの１以上のフィルタを、ILF１１１の前段及び後段のうちの一方又は両方に設けることができる。以上の点、復号装置３０でも同様である。
【０３６７】
フレームメモリ１１２は、ILF１１１から供給されるフィルタ画像を、元画像を復元した復元画像として一時記憶する。フレームメモリ１１２に記憶された復元画像は、必要なタイミングで、予測画像の生成に用いられる参照画像として、選択部１１３に供給される。
【０３６８】
選択部１１３は、フレームメモリ１１２から供給される参照画像の供給先を選択する。例えば、イントラ予測部１１４においてイントラ予測が行われる場合、選択部１１３は、フレームメモリ１１２から供給される参照画像を、イントラ予測部１１４に供給する。また、例えば、動き予測補償部１１５においてインター予測が行われる場合、選択部１１３は、フレームメモリ１１２から供給される参照画像を、動き予測補償部１１５に供給する。
【０３６９】
イントラ予測部１１４は、並べ替えバッファ１０２から供給される元画像と、選択部１１３を介してフレームメモリ１１２から供給される参照画像とを用い、例えば、PU(Prediction Unit)を処理単位として、イントラ予測（画面内予測）を行う。イントラ予測部１１４は、所定のコスト関数（例えば、RDコスト等）に基づいて、最適なイントラ予測モードを選択し、その最適なイントラ予測モードで生成された予測画像を、予測画像選択部１１６に供給する。また、上述したように、イントラ予測部１１４は、コスト関数に基づいて選択されたイントラ予測モードを示す予測モードを、可逆符号化部１０６等に適宜供給する。
【０３７０】
動き予測補償部１１５は、並べ替えバッファ１０２から供給される元画像と、選択部１１３を介してフレームメモリ１１２から供給される参照画像とを用い、例えば、PUを処理単位として、動き予測（インター予測）を行う。さらに、動き予測補償部１１５は、動き予測により検出される動きベクトルに応じて動き補償を行い、予測画像を生成する。動き予測補償部１１５は、あらかじめ用意された複数のインター予測モードで、インター予測を行い、予測画像を生成する。
【０３７１】
動き予測補償部１１５は、複数のインター予測モードそれぞれについて得られた予測画像の所定のコスト関数に基づいて、最適なインター予測モードを選択する。さらに、動き予測補償部１１５は、最適なインター予測モードで生成された予測画像を、予測画像選択部１１６に供給する。
【０３７２】
また、動き予測補償部１１５は、コスト関数に基づいて選択されたインター予測モードを示す予測モードや、そのインター予測モードで符号化された符号化データを復号する際に必要な動きベクトル等の動き情報等を、可逆符号化部１０６に供給する。
【０３７３】
予測画像選択部１１６は、演算部１０３及び２１０に供給する予測画像の供給元（イントラ予測部１１４又は動き予測補償部１１５）を選択し、その選択した方の供給元から供給される予測画像を、演算部１０３及び２１０に供給する。
【０３７４】
レート制御部１１７は、蓄積バッファ１０７に蓄積された符号化ビットストリームの符号量に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１０５の量子化動作のレートを制御する。すなわち、レート制御部１１７は、蓄積バッファ１０７のオーバーフロー及びアンダーフローが生じないように、符号化ビットストリームの目標符号量を設定し、量子化部１０５に供給する。
【０３７５】
なお、図１９において、演算部１０３ないし可逆符号化部１０６が図７の符号化部２１に、逆量子化部１０８ないし演算部１１０が図７の局所復号部２２に、ILF１１１が図７のフィルタ部２３に、それぞれ相当する。
【０３７６】
＜ILF１１１の構成例＞
【０３７７】
図２０は、図１９のILF１１１の構成例を示すブロック図である。
【０３７８】
図２０において、ILF１１１は、学習装置１３１及び予測装置１３２を有する。
【０３７９】
学習装置１３１には、並べ替えバッファ１０２（図１９）から元画像が供給されるとともに、演算部１１０（図１９）から復号画像が供給される。
【０３８０】
学習装置１３１は、復号画像及び元画像をそれぞれ生徒データ及び教師データとして用いて、複数のクラス分類方法それぞれと複数の予測方法それぞれとの組み合わせそれぞれについて、タップ係数学習を行う。
【０３８１】
さらに、学習装置１３１は、複数のクラス分類方法それぞれと複数の予測方法それぞれとの組み合わせの中から、その組み合わせについて求められたタップ係数を用いた予測処理を行った場合に、符号化効率を最良にするクラス分類方法及び予測方法の組み合わせを、採用クラス分類方法及び採用予測方法の組み合わせに選択する。さらに、学習装置１３１は、採用クラス分類方法及び採用予測方法の組み合わせについて求められたクラスごとのタップ係数を、採用タップ係数に選択する。そして、学習装置１３１は、採用タップ係数を係数情報として、その係数情報、採用クラス分類方法を表す分類方法情報、及び、採用予測方法を表す予測方法情報を含むフィルタ情報を生成し、予測装置１３２に供給するとともに、可逆符号化部１０６（図１９）に供給する。
【０３８２】
予測装置１３２には、学習装置１３１からフィルタ情報が供給される他、演算部１１０（図１９）から復号画像が供給される。
【０３８３】
予測装置１３２は、学習装置１３１からのフィルタ情報を用いて、復号画像を対象に、クラス分類予測処理を行うことにより、フィルタ画像を生成して、フレームメモリ１１２（図１９）に供給する。
【０３８４】
すなわち、予測装置１３２は、フィルタ情報の分類方法情報が表す採用クラス分類方法で、復号画像の各画素のクラス分類を行い、その各画素のクラスを求める。さらに、予測装置１３２は、復号画像の各画素に、フィルタ情報の係数情報に含まれる採用タップ係数のうちの、その画素のクラスのタップ係数で構成される予測式を適用することにより、フィルタ情報の予測方法情報が表す採用予測方法の予測処理としてのフィルタ処理を行い、そのフィルタ処理により生成されるフィルタ画像を、フレームメモリ１１２に供給する。
【０３８５】
＜学習装置１３１の構成例＞
【０３８６】
図２１は、図２０の学習装置１３１の構成例を示すブロック図である。
【０３８７】
図２１において、学習装置１３１は、選択部１４１、学習部１４２、及び、選択部１４３を有する。
【０３８８】
選択部１４１は、例えば、図１５及び図１６で説明したような複数のクラス分類方法それぞれの分類方法情報と、複数の予測方法それぞれの予測方法情報とを記憶している。
【０３８９】
選択部１４１は、複数の分類方法情報のうちの１つと、複数の予測方法情報のうちの１つとの組み合わせのうちの、まだ、注目する組み合わせとしての注目情報に選択していない組み合わせを、注目情報に選択し、学習部１４２及び選択部１４３に供給する。
【０３９０】
学習部１４２は、タップ選択部１５１、クラス分類部１５２、足し込み部１５３、及び、係数算出部１５４を有し、復号画像及び元画像を、それぞれ生徒データ及び教師データとして、タップ係数学習を行う。タップ係数学習では、選択部１４１から供給される注目情報としての組み合わせを構成する分類方法情報が表すクラス分類方法でクラス分類が行われ、注目情報としての組み合わせを構成する予測方法情報が表す予測方法で予測処理が行われる場合のタップ係数が求められる。
【０３９１】
タップ選択部１５１は、生徒データとしての復号画像の画素を、順次、注目画素に選択する。さらに、タップ選択部１５１は、選択部１４１からの注目情報としての組み合わせを構成する予測方法情報が表す予測方法に従い、注目画素について、生徒画像を構成する画素から、予測タップとしての画素を選択し、足し込み部１５３に供給する。
【０３９２】
クラス分類部１５２は、例えば、復号画像の画素を用い、選択部１４１からの注目情報としての組み合わせを構成する分類方法情報が表すクラス分類方法で、注目画素のクラス分類を行い、その結果得られる注目画素のクラスを、足し込み部１５３に出力する。
【０３９３】
足し込み部１５３は、教師データとしての元画像から、注目画素に対応する対応画素を選択し、対応画素（の画素値）と、タップ選択部１５１から供給される注目画素についての予測タップとを対象とした、正規方程式を構成する各項の足し込みを、クラス分類部１５２から供給される注目画素のクラスごとに行う。ここで、足し込みが行われる正規方程式は、選択部１４１からの注目情報としての組み合わせを構成する予測方法情報が表す予測方法によって決まる。
【０３９４】
そして、足し込み部１５３は、生徒データとしての復号画像の、例えば、１フレームの画素すべてを注目画素として、正規方程式を構成する各項の足し込みを行うことにより、各クラスについて、正規方程式をたて、その正規方程式を、係数算出部１５４に供給する。
【０３９５】
係数算出部１５４は、足し込み部１５３から供給される各クラスについての正規方程式を解くことにより、クラスごとのタップ係数を求める。
【０３９６】
係数算出部１５４は、以上のようにして求められた、注目情報についてのクラスごとのタップ係数を、選択部１４３に供給する。
【０３９７】
選択部１４３には、選択部１４１から注目情報が供給されるとともに、学習部１４２（の係数算出部１５４）から注目情報についてのクラスごとのタップ係数が供給される他、タップ係数学習の生徒データ及び教師データとしての復号画像及び元画像が供給される。
【０３９８】
選択部１４３は、選択部１４１からの注目情報としてのクラス分類方法と予測方法との組み合わせと、学習部１４２からの、注目情報についてのタップ係数とを対応付けて記憶する。
【０３９９】
選択部１４３は、選択部１４１から注目情報として順次供給される、クラス分類方法と予測方法との各組み合わせについてのタップ係数の中から、そのタップ係数を用いてクラス分類予測処理としてのフィルタ処理を行った場合に符号化効率を最良にするタップ係数を、採用タップ係数に選択する。ここで、選択部１４３は、クラス分類予測処理を行うにあたり、クラス分類を、用いるタップ係数に対応付けられた組み合わせを構成するクラス分類方法で行い、予測処理を、用いるタップ係数に対応付けられた組み合わせを構成する予測方法で行う。
【０４００】
選択部１４３は、採用タップ係数に対応付けられた組み合わせを構成するクラス分類方法と予測方法とを、それぞれ、採用クラス分類方法と採用予測方法とに選択する。そして、選択部１４３は、採用タップ係数を係数情報とし、その係数情報、採用クラス分類方法を表す分類方法情報、及び、採用予測方法を表す予測方法情報を含むフィルタ情報を生成して、予測装置１３２（図２０）に供給するとともに、可逆符号化部１０６（図１９）に供給する。
【０４０１】
＜予測装置１３２の構成例＞
【０４０２】
図２２は、図２０の予測装置１３２の構成例を示すブロック図である。
【０４０３】
図２２において、予測装置１３２は、フィルタ情報記憶部１７１、タップ選択部１８１、クラス分類部１８２、係数取得部１８３、及び、予測演算部１８４を有する。
【０４０４】
フィルタ情報記憶部１７１は、学習装置１３１（の選択部１４３（図２１））から供給されるフィルタ情報を記憶する。フィルタ情報記憶部１７１に記憶されたフィルタ情報に含まれる分類方法情報は、クラス分類部１８２に供給される。また、フィルタ情報記憶部１７１に記憶されたフィルタ情報に含まれる係数情報は、係数取得部１８３に供給され、フィルタ情報に含まれる予測方法情報は、タップ選択部１８１及び予測演算部１８４に供給される。
【０４０５】
タップ選択部１８１及びクラス分類部１８２には、演算部１１０からの復号画像が供給される。
【０４０６】
タップ選択部１８１は、復号画像の画素を、順次、注目画素に選択する。さらに、タップ選択部１８１は、注目画素について、フィルタ情報記憶部１７１に記憶された予測方法情報が表す採用予測方法に従ったタップ構造の予測タップとしての画素を、復号画像から選択し、予測演算部１８４に供給する。
【０４０７】
クラス分類部１８２は、復号画像等を用い、フィルタ情報記憶部１７１に記憶された分類方法情報が表す採用クラス分類方法で、注目画素のクラス分類を行い、その結果得られる注目画素のクラスを、係数取得部１８３に供給する。
【０４０８】
係数取得部１８３は、フィルタ情報記憶部１７１に記憶された係数情報としてのクラスごとのタップ係数を記憶し、その記憶したタップ係数のうちの、クラス分類部１８２からの注目画素のクラスのタップ係数を取得する。さらに、係数取得部１８３は、注目画素のクラスのタップ係数を、予測演算部１８４に供給する。
【０４０９】
予測演算部１８４は、タップ選択部１８１からの予測タップと、係数取得部１８３から供給されるタップ係数とを用いて、フィルタ情報記憶部１７１に記憶された予測方法情報が表す採用予測方法に従った予測式の演算を行うことにより、元画像の画素の予測値を求め、その予測値を画素値とするフィルタ画像を、フレームメモリ１１２（図１９）に供給する。
【０４１０】
＜符号化処理＞
【０４１１】
図２３は、図１９の符号化装置２０の符号化処理の例を説明するフローチャートである。
【０４１２】
なお、図２３等に示す符号化処理の各ステップの順番は、説明の便宜上の順番であり、実際の符号化処理の各ステップは、適宜、並列的に、必要な順番で行われる。後述する処理についても、同様である。
【０４１３】
符号化装置２０において、ILF１１１の学習装置１３１（図２１）は、そこに供給される復号画像を一時記憶するとともに、その復号画像に対応する元画像を一時記憶する。
【０４１４】
そして、学習装置１３１は、ステップＳ１０１において、現在のタイミングが、フィルタ情報を更新する更新タイミングであるかどうかを判定する。
【０４１５】
ここで、フィルタ情報の更新タイミングは、例えば、１以上のフレーム（ピクチャ）ごとや、１以上のシーケンスごと、１以上のスライスごと、CTU等の所定のブロックの１以上のラインごと等のように、あらかじめ決めておくことができる。
【０４１６】
また、フィルタ情報の更新タイミングとしては、１以上のフレーム（ピクチャ）ごとのタイミングのような周期的（固定的）なタイミングの他、フィルタ画像のS/Nが閾値以下になったタイミング（フィルタ画像の、元画像に対する誤差が閾値以上になったタイミング）や、残差（の絶対値和等）が閾値以上になったタイミング等の、いわば動的なタイミングを採用することができる。
【０４１７】
ここでは、例えば、学習装置１３１が、復号画像及び元画像の１フレームを用いて、タップ係数学習を行うこととし、１フレームごとのタイミングがフィルタ情報の更新タイミングであることとする。
【０４１８】
ステップＳ１０１において、現在のタイミングが、フィルタ情報の更新タイミングでないと判定された場合、処理は、ステップＳ１０２ないしＳ１０５をスキップして、ステップＳ１０６に進む。
【０４１９】
また、ステップＳ１０１において、現在のタイミングが、フィルタ情報の更新タイミングであると判定された場合、処理は、ステップＳ１０２に進み、学習装置１３１は、複数のクラス分類方法それぞれと複数の予測方法それぞれとの組み合わせそれぞれについて、クラスごとのタップ係数を求めるタップ係数学習を行う。
【０４２０】
すなわち、学習装置１３１は、例えば、前回の更新タイミングから、今回の更新タイミングまでの間に記憶した復号画像及び元画像（ここでは、学習装置１３１（ILF１１１）に供給された最新の１フレームの復号画像及び元画像）を用いて、タップ係数学習を行い、複数のクラス分類方法それぞれと複数の予測方法それぞれとの組み合わせそれぞれについて、クラスごとのタップ係数を求める。
【０４２１】
そして、処理は、ステップＳ１０２からステップＳ１０３に進み、学習装置１３１は、複数のクラス分類方法それぞれと複数の予測方法それぞれとの組み合わせの中から、その組み合わせについて求められたクラスごとのタップ係数を用いた予測処理を行った場合に、符号化効率を最良にするクラス分類方法及び予測方法の組み合わせを、採用クラス分類方法及び採用予測方法の組み合わせに選択する。さらに、学習装置１３１は、採用クラス分類方法及び採用予測方法の組み合わせについて求められたクラスごとのタップ係数を、採用タップ係数に選択し、処理は、ステップＳ１０３からステップＳ１０４に進む。
【０４２２】
ステップＳ１０４では、学習装置１３１は、採用タップ係数を係数情報として、その係数情報と、採用クラス分類方法を表す分類方法情報及び採用予測方法を表す予測方法情報とを含むフィルタ情報を生成し、予測装置１３２（図２２）、及び、可逆符号化部１０６（図１９）に供給する。
【０４２３】
可逆符号化部１０６（図１９）は、学習装置１３１からのフィルタ情報を、伝送対象に設定して、処理は、ステップＳ１０４からステップＳ１０５に進む。伝送対象に設定されたフィルタ情報は、後述するステップＳ１０６で行われる予測符号化処理において符号化ビットストリームに含められて伝送される。
【０４２４】
ステップＳ１０５では、予測装置１３２が、学習装置１３１からのフィルタ情報によって、フィルタ情報記憶部１７１（図２２）に記憶されているフィルタ情報を更新し（フィルタ情報を上書きする形で記憶させ）、処理は、ステップＳ１０６に進む。
【０４２５】
ステップＳ１０６では、元画像の予測符号化処理が行われ、符号化処理は終了する。
【０４２６】
図２４は、図２３のステップＳ１０６の予測符号化処理の例を説明するフローチャートである。
【０４２７】
予測符号化処理では、ステップＳ１１１において、A/D変換部１０１（図１９）は、元画像をA/D変換し、並べ替えバッファ１０２に供給して、処理は、ステップＳ１１２に進む。
【０４２８】
ステップＳ１１２において、並べ替えバッファ１０２は、A/D変換部１０１からの元画像を記憶し、符号化順に並べ替えて出力し、処理は、ステップＳ１１３に進む。
【０４２９】
ステップＳ１１３では、イントラ予測部１１４は、イントラ予測モードのイントラ予測処理を行い、処理は、ステップＳ１１４に進む。ステップＳ１１４において、動き予測補償部１１５は、インター予測モードでの動き予測や動き補償を行うインター動き予測処理を行い、処理は、ステップＳ１１５に進む。
【０４３０】
イントラ予測部１１４のイントラ予測処理、及び、動き予測補償部１１５のインター動き予測処理では、各種の予測モードのコスト関数が演算されるとともに、予測画像が生成される。
【０４３１】
ステップＳ１１５では、予測画像選択部１１６は、イントラ予測部１１４及び動き予測補償部１１５で得られる各コスト関数に基づいて、最適な予測モードを決定する。そして、予測画像選択部１１６は、イントラ予測部１１４により生成された予測画像と、動き予測補償部１１５により生成された予測画像のうちの最適な予測モードの予測画像を選択して出力し、処理は、ステップＳ１１５からステップＳ１１６に進む。
【０４３２】
ステップＳ１１６では、演算部１０３は、並べ替えバッファ１０２が出力する元画像である符号化対象の対象画像と、予測画像選択部１１６が出力する予測画像との残差を演算し、直交変換部１０４に供給して、処理は、ステップＳ１１７に進む。
【０４３３】
ステップＳ１１７では、直交変換部１０４は、演算部１０３からの残差を直交変換し、その結果得られる直交変換係数を、量子化部１０５に供給して、処理は、ステップＳ１１８に進む。
【０４３４】
ステップＳ１１８では、量子化部１０５は、直交変換部１０４からの直交変換係数を量子化し、その量子化により得られる量子化係数を、可逆符号化部１０６及び逆量子化部１０８に供給して、処理は、ステップＳ１１９に進む。
【０４３５】
ステップＳ１１９では、逆量子化部１０８は、量子化部１０５からの量子化係数を逆量子化し、その結果得られる直交変換係数を、逆直交変換部１０９に供給して、処理は、ステップＳ１２０に進む。ステップＳ１２０では、逆直交変換部１０９は、逆量子化部１０８からの直交変換係数を逆直交変換し、その結果得られる残差を、演算部１１０に供給して、処理は、ステップＳ１２１に進む。
【０４３６】
ステップＳ１２１では、演算部１１０は、逆直交変換部１０９からの残差と、予測画像選択部１１６が出力する予測画像とを加算し、演算部１０３での残差の演算の対象となった元画像に対応する復号画像を生成する。演算部１１０は、復号画像を、ILF１１１に供給し、処理は、ステップＳ１２１からステップＳ１２２に進む。
【０４３７】
ステップＳ１２２では、ILF１１１は、演算部１１０からの復号画像に、予測処理（クラス分類予測処理）としてのフィルタ処理を施し、そのフィルタ処理により得られるフィルタ画像を、フレームメモリ１１２に供給して、処理は、ステップＳ１２２からステップＳ１２３に進む。
【０４３８】
ステップＳ１２３では、フレームメモリ１１２は、ILF１１１から供給されるフィルタ画像を、元画像を復元した復元画像として記憶し、処理は、ステップＳ１２４に進む。フレームメモリ１１２に復元画像として記憶されたフィルタ画像は、ステップＳ１１３やＳ１１４で、予測画像を生成する元となる参照画像として使用される。
【０４３９】
ステップＳ１２４では、可逆符号化部１０６は、量子化部１０５からの量子化係数である符号化データを符号化し、その符号化データを含む符号化ビットストリームを生成する。さらに、可逆符号化部１０６は、量子化部１０５での量子化に用いられた量子化パラメータQPや、イントラ予測部１１４でのイントラ予測処理で得られた予測モード、動き予測補償部１１５でのインター動き予測処理で得られた予測モードや動き情報等の符号化情報を必要に応じて符号化し、符号化ビットストリームに含める。
【０４４０】
また、可逆符号化部１０６は、図２３のステップＳ１０４で伝送対象に設定されたフィルタ情報を必要に応じて符号化し、符号化ビットストリームに含める。そして、可逆符号化部１０６は、符号化ビットストリームを、蓄積バッファ１０７に供給し、処理は、ステップＳ１２４からステップＳ１２５に進む。
【０４４１】
ステップＳ１２５において、蓄積バッファ１０７は、可逆符号化部１０６からの符号化ビットストリームを蓄積し、処理は、ステップＳ１２６に進む。蓄積バッファ１０７に蓄積された符号化ビットストリームは、適宜読み出されて伝送される。
【０４４２】
ステップＳ１２６では、レート制御部１１７は、蓄積バッファ１０７に蓄積されている符号化ビットストリームの符号量（発生符号量）に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１０５の量子化動作のレートを制御し、符号化処理は終了する。
【０４４３】
図２５は、図２４のステップＳ１２２で行われるフィルタ処理の例を説明するフローチャートである。
【０４４４】
ステップＳ１３１において、ILF１１１の予測装置１３２（図２２）は、演算部１１０から供給される復号画像（としてのブロック）の画素のうちの、まだ、注目画素とされていない画素の１つを、注目画素に選択し、処理は、ステップＳ１３２に進む。
【０４４５】
ステップＳ１３２において、予測装置１３２は、注目画素について、ステップＳ１０５（図２３）でフィルタ情報記憶部１７１に記憶された最新のフィルタ情報に含まれる予測方法情報が表す採用予測方法に従ったタップ構造の予測タップとしての画素を、復号画像から選択し、処理は、ステップＳ１３３に進む。
【０４４６】
ステップＳ１３３では、予測装置１３２は、ステップＳ１０５でフィルタ情報記憶部１７１に記憶された最新のフィルタ情報に含まれる分類方法情報が表す採用クラス分類方法で、注目画素のクラス分類を行い、処理は、ステップＳ１３４に進む。
【０４４７】
ステップＳ１３４では、予測装置１３２は、ステップＳ１０５でフィルタ情報記憶部１７１に記憶された最新のフィルタ情報に含まれる係数情報としてのクラスごとのタップ係数から、注目画素のクラスのタップ係数を取得し、処理は、ステップＳ１３５に進む。
【０４４８】
ステップＳ１３５では、予測装置１３２は、注目画素についての予測タップと、注目画素のクラスのタップ係数とを用いて構成される、フィルタ情報記憶部１７１に記憶された予測方法情報が表す採用予測方法に従った予測式を、復号画像に適用するフィルタ処理を行い、すなわち、予測式の演算を行い、フィルタ画像を求める。
【０４４９】
その後、処理は、ステップＳ１３５からステップＳ１３６に進み、予測装置１３２は、演算部１１０からの復号画像（としてのブロック）の画素の中に、まだ、注目画素としていない画素があるかどうかを判定する。ステップＳ１３６において、まだ、注目画素としていない画素があると判定された場合、処理は、ステップＳ１３１に戻り、以下、同様の処理が繰り返される。
【０４５０】
また、ステップＳ１３６において、まだ、注目画素とされていない画素がないと判定された場合、処理は、ステップＳ１３７に進み、予測装置１３２は、演算部１１０からの復号画像（としてのブロック）に対して得られた画素値で構成されるフィルタ画像を、フレームメモリ１１２（図１９）に供給する。そして、フィルタ処理は終了され、処理はリターンする。
【０４５１】
＜復号装置３０の構成例＞
【０４５２】
図２６は、図７の復号装置３０の詳細な構成例を示すブロック図である。
【０４５３】
図２６において、復号装置３０は、蓄積バッファ２０１、可逆復号部２０２、逆量子化部２０３、逆直交変換部２０４、演算部２０５、ILF２０６、並べ替えバッファ２０７、及び、D/A変換部２０８を有する。また、復号装置３０は、フレームメモリ２１０、選択部２１１、イントラ予測部２１２、動き予測補償部２１３、及び、選択部２１４を有する。
【０４５４】
蓄積バッファ２０１は、符号化装置２０から伝送されてくる符号化ビットストリームを一時蓄積し、所定のタイミングにおいて、その符号化ビットストリームを、可逆復号部２０２に供給する。
【０４５５】
可逆復号部２０２は、蓄積バッファ２０１からの符号化ビットストリームを受信し、図１９の可逆符号化部１０６の符号化方式に対応する方式で復号する。
【０４５６】
そして、可逆復号部２０２は、符号化ビットストリームの復号結果に含まれる符号化データとしての量子化係数を、逆量子化部２０３に供給する。
【０４５７】
また、可逆復号部２０２は、パースを行う機能を有する。可逆復号部２０２は、符号化ビットストリームの復号結果に含まれる必要な符号化情報やフィルタ情報をパースし、符号化情報を、イントラ予測部２１２や動き予測補償部２１３その他の必要なブロックに供給する。さらに、可逆復号部２０２は、フィルタ情報を、ILF２０６に供給する。
【０４５８】
逆量子化部２０３は、可逆復号部２０２からの符号化データとしての量子化係数を、図１９の量子化部１０５の量子化方式に対応する方式で逆量子化し、その逆量子化により得られる直交変換係数を、逆直交変換部２０４に供給する。
【０４５９】
逆直交変換部２０４は、逆量子化部２０３から供給される直交変換係数を、図１９の直交変換部１０４の直交変換方式に対応する方式で逆直交変換し、その結果得られる残差を、演算部２０５に供給する。
【０４６０】
演算部２０５には、逆直交変換部２０４から残差が供給される他、選択部２１４を介して、イントラ予測部２１２又は動き予測補償部２１３から予測画像が供給される。
【０４６１】
演算部２０５は、逆直交変換部２０４からの残差と、選択部２１４からの予測画像とを加算し、復号画像を生成して、ILF２０６に供給する。
【０４６２】
ILF２０６は、図１９のILF１１１と同様に、クラス分類予測処理によるフィルタ処理を行い、元画像を予測（復元）する。
【０４６３】
ILF２０６には、演算部２０５から復号画像が供給されるとともに、可逆復号部２０２からフィルタ情報が供給される。ILF２０６は、フィルタ情報の分類方法情報が表す採用クラス分類方法で、復号画像の各画素のクラス分類を行い、その各画素のクラスを求める。さらに、ILF２０６は、復号画像の各画素に、フィルタ情報に含まれる係数情報としての採用タップ係数のうちの、その画素のクラスのタップ係数で構成される予測式を適用することにより、フィルタ情報の予測方法情報が表す採用予測方法の予測処理としてのフィルタ処理を行い、そのフィルタ処理により生成されるフィルタ画像を出力する。
【０４６４】
ILF２０６が出力するフィルタ画像は、図１９のILF１１１が出力するフィルタ画像と同様の画像であり、並べ替えバッファ２０７及びフレームメモリ２１０に供給される。
【０４６５】
並べ替えバッファ２０７は、ILF２０６から供給されるフィルタ画像を、元画像を復元した復元画像として一時記憶し、復元画像のフレーム（ピクチャ）の並びを、符号化（復号）順から表示順に並べ替え、D/A変換部２０８に供給する。
【０４６６】
D/A変換部２０８は、並べ替えバッファ２０７から供給される復元画像をD/A変換し、図示せぬディスプレイに出力して表示させる。
【０４６７】
フレームメモリ２１０は、ILF２０６から供給されるフィルタ画像を一時記憶する。さらに、フレームメモリ２１０は、所定のタイミングにおいて、又は、イントラ予測部２１２や動き予測補償部２１３等の外部の要求に基づいて、フィルタ画像を、予測画像の生成に用いる参照画像として、選択部２１１に供給する。
【０４６８】
選択部２１１は、フレームメモリ２１０から供給される参照画像の供給先を選択する。選択部２１１は、イントラ符号化された画像を復号する場合、フレームメモリ２１０から供給される参照画像をイントラ予測部２１２に供給する。また、選択部２１１は、インター符号化された画像を復号する場合、フレームメモリ２１０から供給される参照画像を動き予測補償部２１３に供給する。
【０４６９】
イントラ予測部２１２は、可逆復号部２０２から供給される符号化情報に含まれる予測モードに従い、図１９のイントラ予測部１１４において用いられたイントラ予測モードで、フレームメモリ２１０から選択部２１１を介して供給される参照画像を用いてイントラ予測を行う。そして、イントラ予測部２１２は、イントラ予測により得られる予測画像を、選択部２１４に供給する。
【０４７０】
動き予測補償部２１３は、可逆復号部２０２から供給される符号化情報に含まれる予測モードに従い、図１９の動き予測補償部１１５において用いられたインター予測モードで、フレームメモリ２１０から選択部２１１を介して供給される参照画像を用いてインター予測を行う。インター予測は、可逆復号部２０２から供給される符号化情報に含まれる動き情報等を必要に応じて用いて行われる。
【０４７１】
動き予測補償部２１３は、インター予測により得られる予測画像を、選択部２１４に供給する。
【０４７２】
選択部２１４は、イントラ予測部２１２から供給される予測画像、又は、動き予測補償部２１３から供給される予測画像を選択し、演算部２０５に供給する。
【０４７３】
なお、図２６において、可逆復号部２０２が図７のパース部３１に、逆量子化部２０３ないし演算部２０５が図７の復号部３２に、ILF２０６が図７のフィルタ部３３に、それぞれ相当する。
【０４７４】
＜ILF２０６の構成例＞
【０４７５】
図２７は、図２６のILF２０６の構成例を示すブロック図である。
【０４７６】
図２７において、ILF２０６は、予測装置２３１を有する。
【０４７７】
予測装置２３１には、演算部２０５（図２６）から復号画像が供給されるとともに、可逆復号部２０２からフィルタ情報が供給される。
【０４７８】
予測装置２３１は、可逆復号部２０２からのフィルタ情報を用いて、クラス分類予測処理としてのフィルタ処理を行い、元画像の予測値を画素値とするフィルタ画像を生成して、並べ替えバッファ２０７及びフレームメモリ２１０（図２６）に供給する。
【０４７９】
すなわち、予測装置２３１は、フィルタ情報の分類方法情報が表す採用クラス分類方法で、復号画像の各画素のクラス分類を行い、その各画素のクラスを求める。さらに、予測装置２３１は、復号画像の各画素に、フィルタ情報の係数情報に含まれる採用タップ係数のうちの、その画素のクラスのタップ係数で構成される予測式を適用することにより、フィルタ情報の予測方法情報が表す採用予測方法の予測処理としてのフィルタ処理を行い、そのフィルタ処理により生成されるフィルタ画像を、並べ替えバッファ２０７及びフレームメモリ２１０に供給する。
【０４８０】
＜予測装置２３１の構成例＞
【０４８１】
図２８は、図２７の予測装置２３１の構成例を示すブロック図である。
【０４８２】
図２８において、予測装置２３１は、フィルタ情報記憶部２４１、タップ選択部２５１、クラス分類部２５２、係数取得部２５３、及び、予測演算部２５４を有する。
【０４８３】
フィルタ情報記憶部２４１、及び、タップ選択部２５１ないし予測演算部２５４は、図２２のフィルタ情報記憶部１７１、及び、タップ選択部１８１ないし予測演算部１８４とそれぞれ同様に構成され、予測装置２３１では、図２２の予測装置１３２と同様の処理が行われるので、説明を省略する。
【０４８４】
＜復号処理＞
【０４８５】
図２９は、図２６の復号装置３０の復号処理の例を説明するフローチャートである。
【０４８６】
復号処理では、ステップＳ２０１において、蓄積バッファ２０１は、符号化装置２０から伝送されてくる符号化ビットストリームを一時蓄積し、適宜、可逆復号部２０２に供給して、処理は、ステップＳ２０２に進む。
【０４８７】
ステップＳ２０２では、可逆復号部２０２は、蓄積バッファ２０１から供給される符号化ビットストリームを受け取って復号し、符号化ビットストリームの復号結果に含まれる符号化データとしての量子化係数を、逆量子化部２０３に供給する。
【０４８８】
また、可逆復号部２０２は、符号化ビットストリームの復号結果に、フィルタ情報や符号化情報が含まれる場合には、そのフィルタ情報や符号化情報をパースする。そして、可逆復号部２０２は、必要な符号化情報を、イントラ予測部２１２や動き予測補償部２１３その他の必要なブロックに供給する。また、可逆復号部２０２は、フィルタ情報を、ILF２０６に供給する。
【０４８９】
その後、処理は、ステップＳ２０２からステップＳ２０３に進み、ILF２０６は、可逆復号部２０２からフィルタ情報が供給されたかどうかを判定する。
【０４９０】
ステップＳ２０３において、フィルタ情報が供給されていないと判定された場合、処理は、ステップＳ２０４をスキップして、ステップＳ２０５に進む。
【０４９１】
また、ステップＳ２０３において、フィルタ情報が供給されたと判定された場合、処理は、ステップＳ２０４に進み、予測装置２３１（図２８）が、可逆復号部２０２からのフィルタ情報を取得する。さらに、予測装置２３１は、可逆復号部２０２からのフィルタ情報によって、予測装置２３１のフィルタ情報記憶部２４１に記憶されているフィルタ情報を更新する。
【０４９２】
そして、処理は、ステップＳ２０４からステップＳ２０５に進み、予測復号処理が行われ、復号処理は終了する。
【０４９３】
図３０は、図２９のステップＳ２０５の予測復号処理の例を説明するフローチャートである。
【０４９４】
ステップＳ２１１において、逆量子化部２０３は、可逆復号部２０２からの量子化係数を逆量子化し、その結果得られる直交変換係数を、逆直交変換部２０４に供給して、処理は、ステップＳ２１２に進む。
【０４９５】
ステップＳ２１２では、逆直交変換部２０４は、逆量子化部２０３からの直交変換係数を逆直交変換し、その結果得られる残差を、演算部２０５に供給して、処理は、ステップＳ２１３に進む。
【０４９６】
ステップＳ２１３では、イントラ予測部２１２又は動き予測補償部２１３が、フレームメモリ２１０から選択部２１１を介して供給される参照画像、及び、可逆復号部２０２から供給される符号化情報を用いて、予測画像を生成するイントラ予測処理又はインター動き予測処理を行う。そして、イントラ予測部２１２又は動き予測補償部２１３は、イントラ予測処理又はインター動き予測処理により得られる予測画像を、選択部２１４に供給し、処理は、ステップＳ２１３からステップＳ２１４に進む。
【０４９７】
ステップＳ２１４では、選択部２１４は、イントラ予測部２１２又は動き予測補償部２１３から供給される予測画像を選択し、演算部２０５に供給して、処理は、ステップＳ２１５に進む。
【０４９８】
ステップＳ２１５では、演算部２０５は、逆直交変換部２０４からの残差と、選択部２１４からの予測画像を加算することにより、復号画像を生成する。そして、演算部２０５は、復号画像を、ILF２０６に供給して、処理は、ステップＳ２１５からステップＳ２１６に進む。
【０４９９】
ステップＳ２１６では、ILF２０６は、演算部２０５からの復号画像に、予測処理（クラス分類予測処理）としてのフィルタ処理を施し、そのフィルタ処理により得られるフィルタ画像を、並べ替えバッファ２０７及びフレームメモリ２１０に供給して、処理は、ステップＳ２１６からステップＳ２１７に進む。
【０５００】
ステップＳ２１７では、並べ替えバッファ２０７は、ILF２０６から供給されるフィルタ画像を、復元画像として一時記憶する。さらに、並べ替えバッファ２０７は、記憶した復元画像を、表示順に並べ替えて、D/A変換部２０８に供給し、処理は、ステップＳ２１７からステップＳ２１８に進む。
【０５０１】
ステップＳ２１８では、D/A変換部２０８は、並べ替えバッファ２０７からの復元画像をD/A変換し、処理は、ステップＳ２１９に進む。D/A変換後の復元画像は、図示せぬディスプレイに出力されて表示される。
【０５０２】
ステップＳ２１９では、フレームメモリ２１０は、ILF２０６から供給されるフィルタ画像を、復元画像として記憶し、復号処理は終了する。フレームメモリ２１０に記憶された復元画像は、ステップＳ２１３のイントラ予測処理又はインター動き予測処理で、予測画像を生成する元となる参照画像として使用される。
【０５０３】
図３１は、図３０のステップＳ２１６で行われるフィルタ処理の例を説明するフローチャートである。
【０５０４】
ステップＳ２３１において、ILF２０６の予測装置２３１（図２８）は、演算部２０５から供給される復号画像（としてのブロック）の画素のうちの、まだ、注目画素とされていない画素の１つを、注目画素に選択し、処理は、ステップＳ２３２に進む。
【０５０５】
ステップＳ２３２において、予測装置２３１は、注目画素について、ステップＳ２０４（図２９）でフィルタ情報記憶部２４１に記憶された最新のフィルタ情報に含まれる予測方法情報が表す採用予測方法に従ったタップ構造の予測タップとしての画素を、復号画像から選択し、処理は、ステップＳ２３３に進む。
【０５０６】
ステップＳ２３３では、予測装置２３１は、ステップＳ２０４でフィルタ情報記憶部２４１に記憶された最新のフィルタ情報に含まれる分類方法情報が表す採用クラス分類方法で、注目画素のクラス分類を行い、処理は、ステップＳ２３４に進む。
【０５０７】
ステップＳ２３４では、予測装置２３１は、ステップＳ２０４でフィルタ情報記憶部２４１に記憶された最新のフィルタ情報に含まれる係数情報としてのクラスごとのタップ係数から、注目画素のクラスのタップ係数を取得し、処理は、ステップＳ２３５に進む。
【０５０８】
ステップＳ２３５では、予測装置２３１は、注目画素についての予測タップと、注目画素のクラスのタップ係数とを用いて構成される、フィルタ情報記憶部２４１に記憶された予測方法情報が表す採用予測方法に従った予測式を、復号画像に適用するフィルタ処理を行い、すなわち、予測式の演算を行い、フィルタ画像を求める。
【０５０９】
その後、処理は、ステップＳ２３５からステップＳ２３６に進み、予測装置２３１は、演算部２０５からの復号画像（としてのブロック）の画素の中に、まだ、注目画素としていない画素があるかどうかを判定する。ステップＳ２３６において、まだ、注目画素としていない画素があると判定された場合、処理は、ステップＳ２３１に戻り、以下、同様の処理が繰り返される。
【０５１０】
また、ステップＳ２３６において、まだ、注目画素とされていない画素がないと判定された場合、処理は、ステップＳ２３７に進み、予測装置２３１は、演算部２０５からの復号画像（としてのブロック）に対して得られた画素値で構成されるフィルタ画像を、並べ替えバッファ２０７及びフレームメモリ２１０（図２６）に供給する。そして、フィルタ処理は終了され、処理はリターンする。
【０５１１】
＜本技術を適用したコンピュータの説明＞
【０５１２】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０５１３】
図３２は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
【０５１４】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク３０５やROM３０３に予め記録しておくことができる。
【０５１５】
あるいはまた、プログラムは、リムーバブル記録媒体３１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体３１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体３１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０５１６】
なお、プログラムは、上述したようなリムーバブル記録媒体３１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク３０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０５１７】
コンピュータは、CPU(Central Processing Unit)３０２を内蔵しており、CPU３０２には、バス３０１を介して、入出力インタフェース３１０が接続されている。
【０５１８】
CPU３０２は、入出力インタフェース３１０を介して、ユーザによって、入力部３０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)３０３に格納されているプログラムを実行する。あるいは、CPU３０２は、ハードディスク３０５に格納されたプログラムを、RAM(Random Access Memory)３０４にロードして実行する。
【０５１９】
これにより、CPU３０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU３０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース３１０を介して、出力部３０６から出力、あるいは、通信部３０８から送信、さらには、ハードディスク３０５に記録等させる。
【０５２０】
なお、入力部３０７は、キーボードや、マウス、マイク等で構成される。また、出力部３０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０５２１】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０５２２】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０５２３】
さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０５２４】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０５２５】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０５２６】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０５２７】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０５２８】
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【０５２９】
＜本技術の適用対象＞
本技術は、任意の画像符号化・復号方式に適用することができる。つまり、上述した本技術と矛盾しない限り、変換（逆変換）、量子化（逆量子化）、符号化（復号）、予測等、画像符号化・復号に関する各種処理の仕様は任意であり、上述した例に限定されない。また、上述した本技術と矛盾しない限り、これらの処理の内の一部を省略してもよい。
【０５３０】
＜処理単位＞
以上において説明した各種情報が設定されるデータ単位や、各種処理が対象とするデータ単位は、それぞれ任意であり上述した例に限定されない。例えば、これらの情報や処理が、それぞれ、TU（Transform Unit）、TB(Transform Block)、PU（Prediction Unit）、PB(Prediction Block)、CU（Coding Unit）、LCU（Largest Coding Unit）、サブブロック、ブロック、タイル、スライス、ピクチャ、シーケンス、またはコンポーネント毎に設定されるようにしてもよいし、それらのデータ単位のデータを対象とするようにしてもよい。もちろん、このデータ単位は、情報や処理毎に設定され得るものであり、全ての情報や処理のデータ単位が統一されている必要はない。なお、これらの情報の格納場所は任意であり、上述したデータ単位のヘッダやパラメータセット等に格納されるようにしてもよい。また、複数個所に格納されるようにしてもよい。
【０５３１】
＜制御情報＞
以上の各実施の形態において説明した本技術に関する制御情報を符号化側から復号側に伝送するようにしてもよい。例えば、上述した本技術を適用することを許可（または禁止）するか否かを制御する制御情報（例えばenabled_flag）を伝送するようにしてもよい。また、例えば、上述した本技術を適用する対象（または適用しない対象）を示す制御情報を伝送するようにしてもよい。例えば、本技術を適用する（または、適用を許可若しくは禁止する）ブロックサイズ（上限若しくは下限、またはその両方）、フレーム、コンポーネント、またはレイヤ等を指定する制御情報を伝送するようにしてもよい。
【０５３２】
＜ブロックサイズ情報＞
本技術を適用するブロックのサイズを指定するに当たって、直接的にブロックサイズを指定するだけでなく、間接的にブロックサイズを指定するようにしてもよい。例えばサイズを識別する識別情報を用いてブロックサイズを指定するようにしてもよい。また、例えば、基準となるブロック（例えばLCUやSCU等）のサイズとの比または差分によってブロックサイズを指定するようにしてもよい。例えば、シンタックス要素等としてブロックサイズを指定する情報を伝送する場合に、その情報として、上述のような間接的にサイズを指定する情報を用いるようにしてもよい。このようにすることにより、その情報の情報量を低減させることができ、符号化効率を向上させることができる場合もある。また、このブロックサイズの指定には、ブロックサイズの範囲の指定（例えば、許容されるブロックサイズの範囲の指定等）も含む。
【０５３３】
＜その他＞
なお、本明細書において「フラグ」とは、複数の状態を識別するための情報であり、真(1)または偽(0)の２状態を識別する際に用いる情報だけでなく、３以上の状態を識別することが可能な情報も含まれる。したがって、この「フラグ」が取り得る値は、例えば1/0の２値であってもよいし、３値以上であってもよい。すなわち、この「フラグ」を構成するbit数は任意であり、1bitでも複数bitでもよい。また、識別情報（フラグも含む）は、その識別情報をビットストリームに含める形だけでなく、ある基準となる情報に対する識別情報の差分情報をビットストリームに含める形も想定されるため、本明細書においては、「フラグ」や「識別情報」は、その情報だけではなく、基準となる情報に対する差分情報も包含する。
【０５３４】
なお、本技術は、以下の構成をとることができる。
【０５３５】
＜１＞
符号化ビットストリームに含まれる符号化データを、フィルタ画像を用いて復号し、復号画像を生成する復号部と、
前記復号部により生成された前記復号画像に、所定のタップ係数と前記復号画像の画素との積和演算を行う、DC(Direct Current)項を含む予測式であるDC予測式を適用するフィルタ処理を行い、前記フィルタ画像を生成するフィルタ部と
を備える復号装置。
＜２＞
前記フィルタ部は、前記DC予測式を用いる予測方法を少なくとも含む複数の予測方法の中から選択された、前記フィルタ処理に採用する採用予測方法の予測式を、前記復号画像に適用する
＜１＞に記載の復号装置。
＜３＞
前記フィルタ部は、前記DC予測式を用いる予測方法、及び、２次以上の高次の高次項を含む予測式である高次予測式を用いる予測方法を少なくとも含む複数の予測方法の中から選択された前記採用予測方法の予測式を、前記復号画像に適用する
＜２＞に記載の復号装置。
＜４＞
前記フィルタ部は、前記DC予測式を用いる予測方法、及び、１次項のみからなる予測式である１次予測式を用いる予測方法を少なくとも含む複数の予測方法の中から選択された前記採用予測方法の予測式を、前記復号画像に適用する
＜２＞又は＜３＞に記載の復号装置。
＜５＞
前記符号化ビットストリームに含まれる前記採用予測方法を表す予測方法情報をパースするパース部をさらに備え、
前記フィルタ部は、前記パース部によりパースされた前記予測方法情報が表す前記採用予測方法の予測式を、前記復号画像に適用する
＜２＞ないし＜４＞のいずれかに記載の復号装置。
＜６＞
前記予測方法情報は、前記採用予測方法の予測式を表す情報、及び、前記予測式の演算に用いる画素である予測タップのタップ構造を表す情報を含む
＜５＞に記載の復号装置。
＜７＞
前記フィルタ部は、
前記復号画像の画素を、複数のクラスのうちのいずれかのクラスに分類するクラス分類を行い、
前記復号画像の画素に、前記画素のクラスの前記タップ係数で構成される前記予測式を適用する
＜１＞ないし＜６＞のいずれかに記載の復号装置。
＜８＞
前記フィルタ部は、複数のクラス分類方法の中から選択されたクラス分類方法で前記クラス分類を行う
＜７＞に記載の復号装置。
＜９＞
前記符号化ビットストリームに含まれる、前記複数のクラス分類方法の中から選択された、前記クラス分類に採用する採用クラス分類方法を表す分類方法情報をパースするパース部をさらに備え、
前記フィルタ部は、前記パース部によりパースされた前記分類方法情報が表す前記採用クラス分類方法で前記クラス分類を行う
＜８＞に記載の復号装置。
＜１０＞
前記復号部は、Quad-Tree Block Structure、又は、QTBT(Quad Tree Plus Binary Tree) Block StructureのCU(Coding Unit)を処理単位として、前記符号化データを復号する
＜１＞ないし＜９＞のいずれかに記載の復号装置。
＜１１＞
符号化ビットストリームに含まれる符号化データを、フィルタ画像を用いて復号し、復号画像を生成することと、
前記復号画像に、所定のタップ係数と前記復号画像の画素との積和演算を行う、DC(Direct Current)項を含む予測式であるDC予測式を適用するフィルタ処理を行い、前記フィルタ画像を生成することと
を含む復号方法。
＜１２＞
局所復号された復号画像に、所定のタップ係数と前記復号画像の画素との積和演算を行う、DC(Direct Current)項を含む予測式であるDC予測式を適用するフィルタ処理を行い、フィルタ画像を生成するフィルタ部と、
前記フィルタ部により生成された前記フィルタ画像を用いて、元画像を符号化する符号化部と
を備える符号化装置。
＜１３＞
前記フィルタ部は、前記DC予測式を用いる予測方法を少なくとも含む複数の予測方法の中から選択された、前記フィルタ処理に採用する採用予測方法の予測式を、前記復号画像に適用する
＜１２＞に記載の符号化装置。
＜１４＞
前記フィルタ部は、前記DC予測式を用いる予測方法、及び、２次以上の高次の高次項を含む予測式である高次予測式を用いる予測方法を少なくとも含む複数の予測方法の中から選択された前記採用予測方法の予測式を、前記復号画像に適用する
＜１３＞に記載の符号化装置。
＜１５＞
前記フィルタ部は、前記DC予測式を用いる予測方法、及び、１次項のみからなる予測式である１次予測式を用いる予測方法を少なくとも含む複数の予測方法の中から選択された前記採用予測方法の予測式を、前記復号画像に適用する
＜１３＞又は＜１４＞に記載の符号化装置。
＜１６＞
前記符号化部は、前記元画像を符号化することにより得られる符号化データと前記採用予測方法を表す予測方法情報とを含む符号化ビットストリームを生成する
＜１３＞ないし＜１５＞のいずれかに記載の符号化装置。
＜１７＞
前記予測方法情報は、前記採用予測方法の予測式を表す情報、及び、前記予測式の演算に用いる画素である予測タップのタップ構造を表す情報を含む
＜１６＞に記載の符号化装置。
＜１８＞
前記フィルタ部は、
前記復号画像の画素を、複数のクラスのうちのいずれかのクラスに分類するクラス分類を行い、
前記復号画像の画素に、前記画素のクラスの前記タップ係数で構成される前記予測式を適用する
＜１２＞ないし＜１７＞のいずれかに記載の符号化装置。
＜１９＞
前記フィルタ部は、複数のクラス分類方法の中から選択されたクラス分類方法で前記クラス分類を行う
＜１８＞に記載の符号化装置。
＜２０＞
前記符号化部は、前記元画像を符号化することにより得られる符号化データと、前記複数のクラス分類方法の中から選択された、前記クラス分類に採用する採用クラス分類方法を表す分類方法情報と、を含む符号化ビットストリームを生成する
＜１９＞に記載の符号化装置。
＜２１＞
前記符号化部は、Quad-Tree Block Structure、又は、QTBT(Quad Tree Plus Binary Tree) Block StructureのCU(Coding Unit)を処理単位として、前記元画像を符号化する
＜１２＞ないし＜２０＞のいずれかに記載の符号化装置。
＜２２＞
局所復号された復号画像に、所定のタップ係数と前記復号画像の画素との積和演算を行う、DC(Direct Current)項を含む予測式であるDC予測式を適用するフィルタ処理を行い、フィルタ画像を生成することと、
前記フィルタ画像を用いて、元画像を符号化することと
を含む符号化方法。
【符号の説明】
【０５３６】
２０  符号化装置，  ２１  符号化部，  ２２  局所復号部，  ２３  フィルタ部，  ３０  復号装置，  ３１  パース部，  ３２  復号部，  ３３  フィルタ部，  ４１  クラス分類部，  ４２  予測部，  ４３  選択部，  ４４  DB，  ４５  クラス分類部，  ４６  予測部，  ５１  クラス分類部，  ５２  予測部，  ６１  クラスタップ選択部，  ６２  分類部，  ６３  バッファ，  ６４  パラメータ取得部，  ６５  タップ係数取得部，  ６６  予測タップ選択部，  ６７  予測演算部，  ７１  クラスタップ選択部，  ７２  差分ADRC部，  ７３  テーブル記憶部，  ７４  分類閾値設定部，  ７５  差分ADRC部，  １０１  A/D変換部，  １０２  並べ替えバッファ，  １０３  演算部，  １０４  直交変換部，  １０５  量子化部，  １０６  可逆符号化部，  １０７  蓄積バッファ，  １０８  逆量子化部，  １０９  逆直交変換部，  １１０  演算部，  １１１  ILF，  １１２  フレームメモリ，  １１３  選択部，  １１４  イントラ予測部，  １１５  動き予測補償部，  １１６  予測画像選択部，  １１７  レート制御部，  １３１  学習装置，  １３２  予測装置，  １４１  選択部，  １４２  学習部，  １４３  選択部，  １５１  タップ選択部，  １５２  クラス分類部，  １５３  足し込み部，  １５４  係数算出部，  １７１  フィルタ情報記憶部，  １８１  タップ選択部，  １８２  クラス分類部，  １８３  係数取得部，  １８４  予測演算部，  ２０１  蓄積バッファ，  ２０２  可逆復号部，  ２０３  逆量子化部，  ２０４  逆直交変換部，  ２０５  演算部，  ２０６  ILF，  ２０７  並べ替えバッファ，  ２０８  D/A変換部，  ２１０  フレームメモリ，  ２１１  選択部，  ２１２  イントラ予測部，  ２１３  動き予測補償部，  ２１４  選択部，  ２３１  予測装置，  ２４１  フィルタ情報記憶部，  ２５１  タップ選択部，  ２５２  クラス分類部，  ２５３  係数取得部，  ２５４  予測演算部，  ３０１  バス，  ３０２  CPU，  ３０３  ROM，  ３０４  RAM，  ３０５  ハードディスク，  ３０６  出力部，  ３０７  入力部，  ３０８  通信部，  ３０９  ドライブ，  ３１０  入出力インタフェース，  ３１１  リムーバブル記録媒体
【図１】
2019131161.tif 000003
【図２】
2019131161.tif 000004
【図３】
2019131161.tif 000005
【図４】
2019131161.tif 000006
【図５】
2019131161.tif 000007
【図６】
2019131161.tif 000008
【図７】
2019131161.tif 000009
【図８】
2019131161.tif 000010
【図９】
2019131161.tif 000011
【図１０】
2019131161.tif 000012
【図１１】
2019131161.tif 000013
【図１２】
2019131161.tif 000014
【図１３】
2019131161.tif 000015
【図１４】
2019131161.tif 000016
【図１５】
2019131161.tif 000017
【図１６】
2019131161.tif 000018
【図１７】
2019131161.tif 000019
【図１８】
2019131161.tif 000020
【図１９】
2019131161.tif 000021
【図２０】
2019131161.tif 000022
【図２１】
2019131161.tif 000023
【図２２】
2019131161.tif 000024
【図２３】
2019131161.tif 000025
【図２４】
2019131161.tif 000026
【図２５】
2019131161.tif 000027
【図２６】
2019131161.tif 000028
【図２７】
2019131161.tif 000029
【図２８】
2019131161.tif 000030
【図２９】
2019131161.tif 000031
【図３０】
2019131161.tif 000032
【図３１】
2019131161.tif 000033
【図３２】
2019131161.tif 000034
【国際調査報告】
2019131161.tif 000035
2019131161.tif 000036
2019131161.tif 000037