(57)【要約】      （修正有）【課題】復号画像の色差成分に対して適切な適応ループフィルタを適用する画像処理装置、及び画像処理方法を提供する。【解決手段】画像処理装置は、ローカル復号された復号画像の色差成分のクラス分類に基づく適応ループフィルタ係数セットを用いて、復号画像の色差成分に対して適応ループフィルタを適用するフィルタリング部２８ａと、フィルタリング部により適応ループフィルタが適用された復号画像を用いて、画像を符号化する符号化部と、を備える。【選択図】図６
2019114896.tif 000002
【特許請求の範囲】
【請求項１】
ローカル復号された復号画像の色差成分のクラス分類に基づく適応ループフィルタ係数セットを用いて、前記復号画像の前記色差成分に対して適応ループフィルタを適用するフィルタリング部と、
前記フィルタリング部により前記適応ループフィルタが適用された前記復号画像を用いて、画像を符号化する符号化部と、
を備える、画像処理装置。
【請求項２】
前記適応ループフィルタ係数セットは、前記復号画像の輝度成分に対して適用される適応ループフィルタのために予めクラスごとに用意された固定フィルタ係数セットに基づいて決定される、請求項１に記載の画像処理装置。
【請求項３】
前記適応ループフィルタ係数セットは、前記固定フィルタ係数セットと、残差係数セットとの足し合わせにより決定される、請求項２に記載の画像処理装置。
【請求項４】
前記残差係数セットは、前記固定フィルタ係数セットを用いた固定フィルタが適用された前記色差成分を入力として学習される、請求項３に記載の画像処理装置。
【請求項５】
前記符号化部は、前記残差係数セットを符号化する、請求項４に記載の画像処理装置。
【請求項６】
前記クラスごとに複数用意された、複数の固定フィルタ係数セットの中から、前記適応ループフィルタ係数セットを決定するための固定フィルタ係数セットを選択する選択部をさらに備える、請求項２に記載の画像処理装置。
【請求項７】
前記選択部は、前記復号画像の前記色差成分に対する、固定フィルタの適用結果に基づいて、前記適応ループフィルタ係数セットを決定するための前記固定フィルタ係数セットを選択する、請求項６に記載の画像処理装置。
【請求項８】
前記適応ループフィルタ係数セットを決定するための前記固定フィルタ係数セットは、前記復号画像の前記輝度成分に対する固定フィルタの適用結果に基づいて選択される、請求項６に記載の画像処理装置。
【請求項９】
アップサンプリング処理が施された前記復号画像の前記色差成分に基づいて、前記クラス分類を行うクラス分類部をさらに備える、請求項１に記載の画像処理装置。
【請求項１０】
前記符号化部は、Quad-Tree  Block  Structure、または、QTBT（Quad  Tree  Plus  Binary  Tree）  Block  StructureのCU（Coding  Unit）を処理単位として、前記画像を符号化する、請求項１に記載の画像処理装置。
【請求項１１】
ローカル復号された復号画像の色差成分のクラス分類に基づく適応ループフィルタ係数セットを用いて、前記復号画像の前記色差成分に対して適応ループフィルタを適用することと、
前記適応ループフィルタが適用された前記復号画像を用いて、画像を符号化することと、
を含む画像処理方法。
【請求項１２】
符号化ストリームを復号して復号画像を生成する復号部と、
前記復号画像の色差成分のクラス分類に基づく適応ループフィルタ係数セットを用いて、前記復号画像の前記色差成分に対して適応ループフィルタを適用するフィルタリング部と、
を備える、画像処理装置。
【請求項１３】
前記適応ループフィルタ係数セットは、前記復号画像の輝度成分に対して適用される適応ループフィルタのために予めクラスごとに用意された固定フィルタ係数セットに基づいて決定される、請求項１２に記載の画像処理装置。
【請求項１４】
前記適応ループフィルタ係数セットは、前記固定フィルタ係数セットと、残差係数セットとの足し合わせにより決定される、請求項１３に記載の画像処理装置。
【請求項１５】
前記復号部は、前記符号化ストリームから、前記適応ループフィルタ係数セットを決定するための前記固定フィルタ係数セットを示す固定フィルタ係数セットIDをパースし、
前記適応ループフィルタ係数セットを決定するための固定フィルタ係数セットは、前記クラスごとに複数用意された複数の固定フィルタ係数セットの中から、前記固定フィルタ係数セットIDに基づいて選択される、請求項１３に記載の画像処理装置。
【請求項１６】
前記復号部は、前記復号画像の輝度成分に対して適用される適応ループフィルタに用いられるフィルタ係数を決定するための固定フィルタ係数セットを示すIDと、前記固定フィルタ係数セットIDとを別々にパースする、請求項１５に記載の画像処理装置。
【請求項１７】
前記固定フィルタ係数セットIDは、さらに、前記復号画像の輝度成分に対して適用される適応ループフィルタに用いられるフィルタ係数を決定するための固定フィルタ係数セットの選択に用いられる、請求項１５に記載の画像処理装置。
【請求項１８】
アップサンプリング処理が施された前記復号画像の前記色差成分に基づいて、前記クラス分類を行うクラス分類部をさらに備える、請求項１２に記載の画像処理装置。
【請求項１９】
前記復号部は、Quad-Tree  Block  Structure、または、QTBT（Quad  Tree  Plus  Binary  Tree）  Block  StructureのCU（Coding  Unit）を処理単位として、前記符号化ストリームを復号する、請求項１２に記載の画像処理装置。
【請求項２０】
符号化ストリームを復号して復号画像を生成することと、
前記復号画像の色差成分のクラス分類に基づく適応ループフィルタ係数セットを用いて、前記復号画像の前記色差成分に対して適応ループフィルタを適用することと、
を含む画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
デジタル画像を効率的に伝送し、または蓄積するため、H.264/AVCや、H.264/AVCよりも符号化効率の高いH.265/HEVC等の映像符号化方式が広く用いられている。また、H.265/HEVCよりも符号化効率をさらに向上することを目的として、ITU-TとISO/IECとの共同の標準化団体であるJVET（Joint  Video  Experts  Team）により、次世代の映像符号化方式であるFVC（Future  Video  Coding）の標準化作業が進められている（例えば、非特許文献１参照）。
【０００３】
FVCでは、インループフィルタとして、復号画像に適応ループフィルタを適用することが検討されている。下記非特許文献１には、予め用意された複数の固定フィルタ係数セットから選択された固定フィルタ係数セットに基づいて、輝度成分に対して適応ループフィルタを適用することが記載されている。また、下記非特許文献２は、色差成分の符号化性能を改善するため、輝度成分に基づいて選択された固定フィルタ係数セットを、輝度成分に対してだけでなく、色差成分に対して適応ループフィルタを適用する際にも用いることを提案している。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】J.  Chen，  E.  Alshina，  G.  J.  Sullivan，  J.-R.  Ohm，  J.  Boyce，“Algorithm  Description  of  Joint  Exploration  Test  Model  (JEM7)”，  JVET-G1001，  Joint  Video  Exploration  Team  (JVET)  of  ITU−T  SG  16  WP  3  and  ISO/IEC  JTC  1/SC  29/WG  11  7th  Meeting:  Torino,  IT,  13−21  July  2017
【非特許文献２】Jicheng  An,  Jianhua  Zheng，“Unified  Adaptive  Loop  Filter  for  Luma  and  Chroma”，  JVET-G0095，  Joint  Video  Exploration  Team  (JVET)  of  ITU−T  SG  16  WP  3  and  ISO/IEC  JTC  1/SC  29/WG  11  7th  Meeting:  Torino,  IT,  13−21  July  2017
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、輝度成分の空間パターンと色差成分の空間パターンとは、必ずしも一致しない。したがって、輝度成分に基づいて選択された固定フィルタ係数セットを、色差成分に対して適応ループフィルタを適用する際にも利用してしまうと、意図しないフィルタが色差成分に適用されてしまう恐れがあった。その結果、色差成分の符号化性能を十分に改善することができない恐れがあった。
【０００６】
そこで、本開示では、適応ループフィルタ処理において、復号画像の色差成分に対して、より適切なフィルタを適用することが可能な仕組みを提案する。
【課題を解決するための手段】
【０００７】
本開示によれば、ローカル復号された復号画像の色差成分のクラス分類に基づく適応ループフィルタ係数セットを用いて、前記復号画像の前記色差成分に対して適応ループフィルタを適用するフィルタリング部と、前記フィルタリング部により前記適応ループフィルタが適用された前記復号画像を用いて、画像を符号化する符号化部と、を備える、画像処理装置が提供される。
【０００８】
また、本開示によれば、ローカル復号された復号画像の色差成分のクラス分類に基づく適応ループフィルタ係数セットを用いて、前記復号画像の前記色差成分に対して適応ループフィルタを適用することと、前記適応ループフィルタが適用された前記復号画像を用いて、画像を符号化することと、を含む画像処理方法が提供される。
【０００９】
また、本開示によれば、符号化ストリームを復号して復号画像を生成する復号部と、前記復号画像の色差成分のクラス分類に基づく適応ループフィルタ係数セットを用いて、前記復号画像の前記色差成分に対して適応ループフィルタを適用するフィルタリング部と、を備える、画像処理装置が提供される。
【００１０】
また、本開示によれば、符号化ストリームを復号して復号画像を生成することと、前記復号画像の色差成分のクラス分類に基づく適応ループフィルタ係数セットを用いて、前記復号画像の前記色差成分に対して適応ループフィルタを適用することと、を含む画像処理方法が提供される。
【発明の効果】
【００１１】
以上説明したように本開示によれば、適応ループフィルタ処理において、復号画像の色差成分に対して、より適切なフィルタを適用することが可能である。
【００１２】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１３】
【図１】画像復号装置において、輝度成分に基づいて選択された固定フィルタ係数セットを用いて、色差成分に対して適応ループフィルタを適用する処理の一例を概略的に示す図である。
【図２】本開示の一実施形態にかかる画像復号装置において、色差成分に対して適応ループフィルタを適用する処理の一例を概略的に示す図である。
【図３】図１に示した処理によるフィルタ性能と、図２に示した本実施形態にかかる処理によるフィルタ性能とを比較した模式図である。
【図４】同実施形態にかかる画像処理装置の一態様である画像符号化装置１０の構成の一例を示すブロック図である。
【図５】同実施形態にかかる画像処理装置の一態様である画像復号装置６０の構成の一例を示すブロック図である。
【図６】画像符号化装置１０の適応ループフィルタ２８の第１の実施例である適応ループフィルタ２８ａの詳細な構成の一例を示すブロック図である。
【図７】第１の実施例にかかる符号化時の処理の流れの一例を示すフローチャートである。
【図８】画像復号装置６０の適応ループフィルタ７０の第１の実施例である適応ループフィルタ７０ａの詳細な構成の一例を示すブロック図である。
【図９】第１の実施例にかかる復号時の処理の流れの一例を示すフローチャートである。
【図１０】画像符号化装置１０の適応ループフィルタ２８の第２の実施例である適応ループフィルタ２８ｂの詳細な構成の一例を示すブロック図である。
【図１１】画像復号装置６０の適応ループフィルタ７０の第２の実施例である適応ループフィルタ７０ｂの詳細な構成の一例を示すブロック図である。
【図１２】画像符号化装置１０の適応ループフィルタ２８の変形例である適応ループフィルタ２８ｃの詳細な構成の一例を示すブロック図である。
【図１３】画像復号装置６０の適応ループフィルタ７０の変形例である適応ループフィルタ７０ｃの詳細な構成の一例を示すブロック図である。
【図１４】ハードウエア構成例を示すブロック図である。
【発明を実施するための形態】
【００１４】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１５】
また、本明細書で開示される範囲は、実施例の内容に限定されるものではなく、出願当時において公知となっている以下の参照文献REF１〜REF３の内容も、参照により本明細書に組み込まれる。つまり、以下の参照文献REF１〜REF３に記載されている内容もサポート要件について判断する際の根拠となる。例えば、参照文献REF２に記載されているQuad-Tree  Block  Structure、参照文献REF３に記載されているQTBT（Quad  Tree  Plus  Binary  Tree）  Block  Structureが発明の詳細な説明において直接的に定義されていない場合でも、本開示の範囲内であり、特許請求の範囲のサポート要件を満たすものとする。また、例えば、パース（Parsing）、シンタックス（Syntax）、セマンティクス（Semantics）等の技術用語についても同様に、発明の詳細な説明において直接的に定義されていない場合でも、本開示の範囲内であり、特許請求の範囲のサポート要件を満たすものとする。
REF１：Recommendation  ITU-T  H.264  (04/2017)  “Advanced  video  coding  for  generic  audiovisual  services”,  April  2017
REF２：Recommendation  ITU-T  H.265,(12/2016)  “High  efficiency  video  coding”,   December  2016
REF３：J.  Chen，  E.  Alshina，  G.  J.  Sullivan，  J.-R.  Ohm，  J.  Boyce，“Algorithm  Description  of  Joint  Exploration  Test  Model  (JEM7)”，  JVET-G1001，  Joint  Video  Exploration  Team  (JVET)  of  ITU−T  SG  16  WP  3  and  ISO/IEC  JTC  1/SC  29/WG  11  7th  Meeting:  Torino,  IT,  13−21  July  2017
【００１６】
また、本明細書において用いられる以下の用語は、下記のように定義される。
適応ループフィルタ係数セットとは、適応ループフィルタの適用時に用いられるフィルタ係数のセットである。
固定フィルタ係数セットとは、予め用意されたフィルタ係数のセットである。なお、固定フィルタ係数セットは、複数用意されていてもよい。
残差係数セットとは、適応ループフィルタ係数セットから固定フィルタ係数セットを減算することによって得られるフィルタ係数のセットである。換言すると、適応ループフィルタ係数セットは固定フィルタ係数セットと残差係数セットとの和である。
固定フィルタとは、固定フィルタ係数セットの係数を用いて適用されるフィルタである。
固定フィルタ係数セットIDとは、復号画像に対する固定フィルタの適用結果に基づいて選択された固定フィルタ係数セットを示すIDである。固定フィルタ係数セットIDのうち、復号画像の輝度成分に対する固定フィルタの適用結果に基づいて選択された固定フィルタ係数セットを示すIDを輝度固定フィルタ係数セットIDという。また、固定フィルタ係数セットIDのうち、復号画像の色差成分に対する固定フィルタの適用結果に基づいて選択された固定フィルタ係数セットを示すIDを色差固定フィルタ係数セットIDという。
ALF関連パラメータとは、符号化側と復号側との間で伝送され得る適応ループフィルタ用のパラメータである。
【００１７】
なお、説明は以下の順序で行うものとする。
１．概要
１−１．既存の手法
１−２．本開示にかかる技術の原理
２．装置の概略構成
２−１．画像符号化装置
２−２．画像復号装置
３．実施例
３−１．第１の実施例
３−２．第２の実施例
３−３．第３の実施例
３−４．各実施例の比較
４．変形例
５．ハードウエア構成例
６．むすび
【００１８】
＜１．概要＞
［１−１．既存の手法］
まず、図１を参照して、既存の手法を説明する。FVCでは、インループフィルタとして、復号画像に適応ループフィルタ（ALF：Adaptive  Loop  Filter）を適用することが検討されている。例えば、非特許文献１によれば、輝度成分について、２×２の画素ブロックの各々が２５個のクラスのうちのいずれかに分類される。そして、クラス分類の結果に関連付けて固定的に定義されているフィルタ係数セットが、輝度成分のフィルタリングのために使用される。１つのクラスについて複数の固定的なフィルタ係数セットが存在していてもよく、各クラスについてどのフィルタ係数セットを使用すべきかが符号化パラメータで特定される。クラス分類は、より具体的には、輝度成分が示す局所的な方向及びアクティビティに基づく。最終的に適応ループフィルタの適用時に用いられるフィルタ係数セット（以下、適応ループフィルタ係数セットという）は、クラスに直接的に関連付けられるフィルタ係数セット（以下、固定フィルタ係数セットという）と、符号化側で学習処理を通じて算出される残差フィルタ係数セット（以下、残差係数セットという）との和である。非特許文献１に記載された手法では、輝度成分に適応ループフィルタを適用する際にはクラス分類が行われるが、色差成分に適応ループフィルタを適用する際には、クラス分類が行われることなく、また、固定フィルタ係数セットが用いられることなく、適応ループフィルタ係数が決定されていた。
【００１９】
一方、近年、WCG（Wide  Color  Gamut）と呼ばれる広い色域を有する画像が増加しており、より多彩な色彩の表現が可能となっていることから、色差成分の符号化性能を改善し、またはその改善に寄与する符号化ツールを充実化することが望まれている。例えば、非特許文献２は、色差成分の符号化性能を改善するため、輝度成分に基づいて選択された固定フィルタ係数セットを、輝度成分に対してだけでなく、色差成分に対して適応ループフィルタを適用する際にも用いることを提案している。
【００２０】
図１は、非特許文献２により提案されている、画像復号装置において、輝度成分に基づいて選択された固定フィルタ係数セットを用いて、色差成分に対して適応ループフィルタを適用する処理の一例を概略的に示す図である。以下では、図１に示される非特許文献２により提案されている既存の手法を、比較技術と呼ぶ。
【００２１】
図１に示すように、比較技術では、ステップＳ８１において、色差成分に対する適応ループフィルタの適用に用いられる適応ループフィルタ係数セットが、輝度成分の処理の際に行われたクラス分類の結果に基づいて決定される。具体的には、当該適応ループフィルタ係数セットは、画像符号化装置から伝送される残差係数セットと、クラスごとに用意され固定フィルタ係数セットとを足し合わせることにより、決定される。
【００２２】
ここで、クラスごとに用意された固定フィルタ係数セットは、図１に示す固定フィルタ係数セットDB８に格納されている。また、固定フィルタ係数セットDB８は、復号画像の輝度成分に対する適応ループフィルタの処理において用いられるものと同一であり、固定フィルタ係数セットDB８には、固定フィルタ係数セットがクラスごとに複数用意されている。
【００２３】
そのため、適応ループフィルタ係数セットの決定に用いられる固定フィルタ係数セットは、輝度成分について決定されたクラスを示す輝度分類インデックスと、画像符号化装置から伝送される輝度固定フィルタ係数セットIDとに基づいて選択される。なお、輝度固定フィルタ係数セットIDは、例えば、画像符号化装置において、復号画像の輝度成分に対する固定フィルタの適用結果に基づいてフィルタリング性能が最適化されるようにクラスごとに選択された固定フィルタ係数セットを示すIDである。
【００２４】
続いて、ステップＳ８２では、ステップＳ８２で決定された適応ループフィルタ係数セット（輝度成分のクラス分類に基づいて選択された固定フィルタ係数セットと残差係数セットとの和）を用いて、復号画像の色差成分に対して適応ループフィルタが適用される。
【００２５】
このように、非特許文献２により提案されている比較技術では、輝度成分のクラス分類、及び復号画像の輝度成分に対する固定フィルタの適用結果に基づいて選択された固定フィルタ係数セットが、復号画像の色差成分に対して適応ループフィルタを適用する際にも用いられる。
【００２６】
しかし、輝度成分の空間パターンと色差成分の空間パターンとは、必ずしも一致しない。例えば、輝度成分においてエッジを有する領域が、色差成分においてエッジを有するとは限らない。したがって、比較技術のように適応ループフィルタを適用すると、意図しないフィルタが色差成分に適用されてしまう恐れがあった。その結果、色差成分の符号化性能を十分に改善することができない恐れがあった。
【００２７】
［１−２．本開示にかかる技術の原理］
そこで、上記事情を一着眼点にして本開示の実施形態を創作するに至った。本開示の一実施形態による画像符号化装置、または画像復号装置は、復号画像（符号化時にローカル復号された画像も含む）の色差成分のクラス分類に基づく適応ループフィルタ係数セットを用いて適応ループフィルタを適用することで、復号画像の色差成分に対して、より適切なフィルタを適用することを可能とする。以下、本開示にかかる技術（以下、本技術とも呼ぶ）の原理について、図２を参照して説明する。
【００２８】
図２は、本開示の一実施形態にかかる画像復号装置において、色差成分に対して適応ループフィルタを適用する処理の一例を概略的に示す図である。図２に示すように、本開示の一実施形態では、ステップＳ１１において、復号画像の色差成分に基づくクラス分類が行われ、分類されたクラスを示す色差分類インデックスが画素ブロックごとに特定される。
【００２９】
続くステップＳ１２において、色差成分に対する適応ループフィルタの適用に用いられる適応ループフィルタ係数セットが決定される。本技術においても、上述した比較技術の場合と同様に、クラスごとに用意された固定フィルタ係数セットと、残差係数セットとを足し合わせることにより、適応ループフィルタ係数セットの係数が決定される。また、図２に示す固定フィルタ係数セットDB７０８は、図１に示した固定フィルタ係数セットDB８と同様に、復号画像の輝度成分に対する適応ループフィルタの処理において用いられるものと同一であってよく、クラスごとに複数用意された固定フィルタ係数セットを格納していてもよい。
【００３０】
図２に示した本開示の一実施形態にかかる処理は、適応ループフィルタ係数セットの決定に用いられる固定フィルタ係数セットが復号画像の色差成分の情報に基づいて選択される点において、図１に示した処理と異なる。例えば、本開示の一実施形態において、適応ループフィルタ係数セットの決定に用いられる固定フィルタ係数セットは、ステップＳ１１で特定された色差分類インデックスに基づいて選択される。また、本開示の一実施形態において、固定フィルタ係数セットは、例えば画像符号化装置から伝送される色差固定フィルタ係数セットIDに基づいて選択されてもよい。色差固定フィルタ係数セットIDは、例えば、本開示の一実施形態にかかる画像符号化装置において、復号画像の色差成分に対する固定フィルタの適用結果に基づいて色差成分について特にフィルタリング性能が最適化されるようにクラスごとに選択された固定フィルタ係数セットを示すIDである。
【００３１】
また、本開示の一実施形態において、適応ループフィルタ係数セットの決定に用いられる残差係数セットは、画像符号化装置において、色差成分の情報に基づいて選択された固定フィルタ係数セットを用いた固定フィルタを適用した復号画像を入力として、学習されたものであってよい。
【００３２】
そして、図２に示すステップＳ１３では、上述のようにステップＳ１２で決定された適応ループフィルタ係数セットを用いて、復号画像の色差成分に対して適応ループフィルタが適用される。
【００３３】
ここで、比較技術によるフィルタ性能と、本技術によるフィルタ性能とについて比較検討を行う。図３は、比較技術による色差成分の適応ループフィルタ性能と、本技術による色差成分の適応ループフィルタ性能とを比較した模式図である。
【００３４】
図３では、入力となる復号画像の色差成分xに対してフィルタを適用することにより、原画像の色差成分yとの誤差がどれだけ小さくなったかにより、当該適用されたフィルタの性能が示される。例えば、比較技術で選択される固定フィルタ係数セットを用いたフィルタ（以下、固定フィルタとも呼ぶ）を復号画像の色差成分xに対して適用すると、図３に示す固定フィルタ適用結果ｆ１が得られる。また、従来手法で決定される適応ループフィルタ係数セットを用いて、復号画像の色差成分xに対して適応ループフィルタを適用すると、図３に示すALF適用結果ｇ１が得られる。
【００３５】
一方、本技術において選択された固定フィルタ係数セットを用いて、復号画像の色差成分xに対して固定フィルタを適用すると、固定フィルタ適用結果f2が得られる。ここで、上述したように、比較技術で選択される固定フィルタ係数セットは、輝度成分に基づいて選択されているため、色差成分への適用に適しているとは限らない。一方、本技術において選択される固定フィルタ係数セットは、色差成分に基づいて選択されているため、色差成分への適用により適したものとなる。したがって、フィルタ適用結果f2は、フィルタ適用結果f1よりも原画像の色差成分yとの誤差が小さくなり得る。なお、図３の矢印Ａ１は、従来手法に対する、本技術の固定フィルタ係数セットにかかる性能向上を示している。
【００３６】
本技術において決定された適応ループフィルタ係数セットを用いて、復号画像の色差成分xに対して適応ループフィルタ係数セットを適用すると、フィルタ適用結果g2が得られる。ここで、上述したように、本技術において適応ループフィルタ係数セットの決定に用いられる残差係数セットは、色差成分の情報に基づいて選択された固定フィルタ係数セットを用いた固定フィルタを適用した復号画像を入力として、学習されてもよい。かかる場合、適応ループフィルタ係数セットの決定に用いられる残差係数セットも、色差成分への適用により適したものとなり得る。また、従来手法、及び本技術の両方において、適応ループフィルタ係数セットは、選択された固定フィルタ係数セットと、残差係数セットとを足し合わせることにより決定される。したがって、従来手法に対する、本技術にかかる適応ループフィルタにかかる性能向上を示す矢印Ａ２は、矢印Ａ１よりもさらに大きなものとなり得る。
【００３７】
＜２．装置の構成＞
以上、既存の手法と、本技術の原理について説明した。続いて、図４及び図５を用いて、本明細書で開示する技術を適用可能な一例としての装置の構成を説明する。本明細書で開示する技術は、例えば、画像符号化装置及び画像復号装置に適用可能である。
【００３８】
［２−１．画像符号化装置］
図４は、本開示の一実施形態にかかる画像処理装置の一態様である画像符号化装置１０の構成の一例を示すブロック図である。
【００３９】
図４を参照すると、画像符号化装置１０は、並び替えバッファ１１、制御部１２、減算部１３、直交変換部１４、量子化部１５、可逆符号化部１６、蓄積バッファ１７、逆量子化部２１、逆直交変換部２２、加算部２３、インループフィルタ２４、フレームメモリ３０、スイッチ３１、モード設定部３２、イントラ予測部４０及びインター予測部５０を備える。
【００４０】
並び替えバッファ１１は、符号化すべき映像を構成する一連の画像を、符号化処理にかかるGOP（Group  of  Pictures）構造に応じて並び替える。並び替えバッファ１１は、並び替え後の画像を制御部１２、減算部１３、イントラ予測部４０、及びインター予測部５０へ出力する。
【００４１】
制御部１２は、外部、または予め指定された処理単位のブロックサイズに基づいて、画像を処理単位のブロックへ分割する。制御部１２によるブロック分割により、Quad-Tree  Block  Structure、またはQTBT（Quad  Tree  Plus  Binary  Tree）  Block  StructureのCU（Coding  Unit）が処理単位として形成されてもよい。また、制御部１２は、符号化処理にかかるパラメータを、例えば、RDO（Rate-Distortion  Optimization）に基づいて決定する。決定されたパラメータは、各部へ供給される。
【００４２】
減算部１３は、並び替えバッファ１１から入力される画像と予測画像との差分である予測誤差を算出し、算出した予測誤差を直交変換部１４へ出力する。
【００４３】
直交変換部１４は、各領域内に設定される１つ以上の変換ブロック（TU）の各々について直交変換処理を実行する。ここでの直交変換は例えば、離散コサイン変換または離散サイン変換などであってよい。より具体的には、直交変換部１４は、減算部１３から入力される予測誤差を、変換ブロックごとに、空間領域の画像信号から周波数領域の変換係数に変換する。そして、直交変換部１４は、変換係数を量子化部１５へ出力する。
【００４４】
量子化部１５には、直交変換部１４から入力される変換係数、及び後に説明するレート制御部１８からのレート制御信号が供給される。量子化部１５は変換係数を量子化し、量子化後の変換係数（以下、量子化データとも呼ぶ）を可逆符号化部１６及び逆量子化部２１へ出力する。また、量子化部１５は、レート制御部１８からのレート制御信号に基づいて量子化スケールを切り替えることにより、可逆符号化部１６に入力される量子化データのビットレートを変化させる。
【００４５】
可逆符号化部１６は、量子化部１５から入力される量子化データを符号化することにより、符号化ストリームを生成する。また、可逆符号化部１６は、デコーダにより参照される様々なパラメータを符号化して、符号化パラメータを符号化ストリームへ挿入する。可逆符号化部１６により符号化されるパラメータは、上述した制御部１２により決定されたパラメータを含み得る。さらに、可逆符号化部１６により符号化されるパラメータは、後述するインループフィルタ２４から入力される適応ループフィルタ用のパラメータ（以下、ALF関連パラメータとも呼ぶ）を含み得る。ALF関連パラメータは、ALFの残差係数セット、及び固定フィルタ係数セットIDを含み得る。一実施例において、ALF関連パラメータは輝度成分用の固定フィルタ係数セットID（輝度固定フィルタ係数セットID）に加えて、色差成分用の固定フィルタ係数セットID（色差固定フィルタ係数セットID）を含み得る。また、一実施例において、ALF関連パラメータは、輝度成分用の残差係数セットに加えて、色差成分用の残差係数セットを含み得る。可逆符号化部１６は、生成した符号化ストリームを蓄積バッファ１７へ出力する。
【００４６】
蓄積バッファ１７は、可逆符号化部１６から入力される符号化ストリームを半導体メモリなどの記憶媒体を用いて一時的に蓄積する。そして、蓄積バッファ１７は、蓄積した符号化ストリームを、伝送路の帯域に応じたレートで、図示しない伝送部（例えば、通信インタフェースまたは周辺機器との接続インタフェースなど）へ出力する。
【００４７】
レート制御部１８は、蓄積バッファ１７の空き容量を監視する。そして、レート制御部１８は、蓄積バッファ１７の空き容量に応じてレート制御信号を生成し、生成したレート制御信号を量子化部１５へ出力する。例えば、レート制御部１８は、蓄積バッファ１７の空き容量が少ない時には、量子化データのビットレートを低下させるためのレート制御信号を生成する。また、例えば、レート制御部１８は、蓄積バッファ１７の空き容量が十分大きい時には、量子化データのビットレートを高めるためのレート制御信号を生成する。
【００４８】
逆量子化部２１、逆直交変換部２２及び加算部２３は、ローカルデコーダを構成する。ローカルデコーダは、符号化されたデータから復号画像をローカル復号する役割を有する。
【００４９】
逆量子化部２１は、量子化部１５により使用されたものと同じ量子化パラメータで量子化データを逆量子化し、変換係数を復元する。そして、逆量子化部２１は、復元した変換係数を逆直交変換部２２へ出力する。
【００５０】
逆直交変換部２２は、逆量子化部２１から入力される変換係数について逆直交変換処理を実行することにより、予測誤差を復元する。そして、逆直交変換部２２は、復元した予測誤差を加算部２３へ出力する。
【００５１】
加算部２３は、逆直交変換部２２から入力される復元された予測誤差とイントラ予測部４０またはインター予測部５０から入力される予測画像とを加算することにより、復号画像（リコンストラクト画像）を生成する。そして、加算部２３は、生成した復号画像をインループフィルタ２４及びフレームメモリ３０へ出力する。
【００５２】
インループフィルタ２４は、復号画像の画質の向上を目的として一連のインループフィルタを適用する。例えば、参照文献REF３の「2.5.  In-loop  filtering」に記載されているように、４つのインループフィルタが、バイラテラルフィルタ、デブロッキングフィルタ、適応オフセットフィルタ、及び適応ループフィルタの順番で適用されてもよい。図４に示すインループフィルタ２４は、例えばバイラテラルフィルタ２５、デブロッキングフィルタ２６、適応オフセットフィルタ２７、及び適応ループフィルタ２８を含み、上記４つのインループフィルタが順に適用され得る。しかしながら、インループフィルタ２４はかかる構成に限定されず、４つのインループフィルタのうち、いずれのフィルタを適用するか、また、どのような順番で適用するかは、適宜選択可能であり得る。なお、適応ループフィルタ２８については、後に詳細に説明する。
【００５３】
インループフィルタ２４は、インループフィルタが適用された復号画像をフレームメモリ３０へ出力する。
【００５４】
フレームメモリ３０は、加算部２３から入力されるフィルタリング前の復号画像、及びインループフィルタ２４から入力されるインループフィルタが適用された復号画像を記憶媒体を用いて記憶する。
【００５５】
スイッチ３１は、イントラ予測のために使用されるフィルタリング前の復号画像をフレームメモリ３０から読み出し、読み出した復号画像を参照画像としてイントラ予測部４０に供給する。また、スイッチ３１は、インター予測のために使用されるフィルタリング後の復号画像をフレームメモリ３０から読み出し、読み出した復号画像を参照画像としてインター予測部５０に供給する。
【００５６】
モード設定部３２は、イントラ予測部４０及びインター予測部５０から入力されるコストの比較に基づいて、ブロックごとに予測符号化モードを設定する。モード設定部３２は、イントラ予測モードを設定したブロックについては、イントラ予測部４０により生成される予測画像を減算部１３及び加算部２３へ出力すると共に、イントラ予測に関する情報を可逆符号化部１６へ出力する。また、モード設定部３２は、インター予測モードを設定したブロックについては、インター予測部５０により生成される予測画像を減算部１３及び加算部２３へ出力すると共に、インター予測に関する情報を可逆符号化部１６へ出力する。
【００５７】
イントラ予測部４０は、原画像及び復号画像に基づいて、イントラ予測処理を実行する。例えば、イントラ予測部４０は、探索範囲に含まれる予測モード候補の各々について、予測誤差及び発生する符号量に基づくコストを評価する。次に、イントラ予測部４０は、コストが最小となる予測モードを最適な予測モードとして選択する。また、イントラ予測部４０は、選択した最適な予測モードに従って予測画像を生成する。そして、イントラ予測部４０は、最適な予測モードを示す予測モード情報を含むイントラ予測に関する情報、対応するコスト、及び予測画像を、モード設定部３２へ出力する。
【００５８】
インター予測部５０は、原画像及び復号画像に基づいて、インター予測処理（動き補償）を実行する。例えば、インター予測部５０は、ある探索範囲に含まれる予測モード候補の各々について、予測誤差及び発生する符号量に基づくコストを評価する。次に、インター予測部５０は、コストが最小となる予測モード、即ち圧縮率が最も高くなる予測モードを、最適な予測モードとして選択する。また、インター予測部５０は、選択した最適な予測モードに従って予測画像を生成する。そして、インター予測部５０は、インター予測に関する情報、対応するコスト、及び予測画像を、モード設定部３２へ出力する。
【００５９】
［２−２．画像復号装置］
続いて、以上のように符号化されたデータの復号について説明する。図５は、本実施形態にかかる画像処理装置の一態様である画像復号装置６０の構成の一例を示すブロック図である。図５を参照すると、蓄積バッファ６１、可逆復号部６２、逆量子化部６３、逆直交変換部６４、加算部６５、インループフィルタ６６、並び替えバッファ７２、Ｄ／Ａ（Digital  to  Analogue）変換部７３、フレームメモリ８０、セレクタ８１ａ及び８１ｂ、イントラ予測部９０並びにインター予測部１００を備える。
【００６０】
蓄積バッファ６１は、図示しない伝送部（例えば、通信インタフェースまたは周辺機器との接続インタフェースなど）を介して画像符号化装置１０から受信される符号化ストリームを記憶媒体を用いて一時的に蓄積する。
【００６１】
可逆復号部６２は、蓄積バッファ６１から入力される符号化ストリームを、符号化の際に使用された符号化方式に従って復号し、量子化データを生成する。可逆復号部６２は、生成した量子化データを逆量子化部６３へ出力する。
【００６２】
また、可逆復号部６２は、符号化ストリームから、各種のパラメータをパースする。可逆復号部６２によりパースされるパラメータは、例えば、イントラ予測に関する情報、及びインター予測に関する情報を含み得る。可逆復号部６２は、イントラ予測に関する情報をイントラ予測部９０へ出力する。また、可逆復号部６２は、インター予測に関する情報をインター予測部１００へ出力する。
【００６３】
また、可逆復号部６２によりパースされるパラメータは、上述したALF関連パラメータを含み得る。可逆復号部６２は、ALF関連パラメータを、インループフィルタ６６へ出力する。なお、一実施例において、ALF関連パラメータは輝度固定フィルタ係数セットIDと、色差固定フィルタ係数セットIDとを含み、可逆復号部６２は、輝度固定フィルタ係数セットIDと、色差固定フィルタ係数セットIDとを別々にパースしてもよい。また、一実施例において、ALF関連パラメータは輝度成分用の残差係数セットと、色差成分用の残差係数セットとを含み、可逆復号部６２は、輝度成分用の残差係数セットと、色差成分用の残差係数セットとを別々にパースしてもよい。
【００６４】
逆量子化部６３は、可逆復号部６２から入力される量子化データを、符号化の際に使用されたものと同じ量子化ステップで逆量子化し、変換係数を復元する。逆量子化部６３は、復元した変換係数を逆直交変換部６４へ出力する。
【００６５】
逆直交変換部６４は、符号化の際に使用された直交変換方式に従い、逆量子化部６３から入力される変換係数について逆直交変換を行うことにより、予測誤差を生成する。逆直交変換部６４は、生成した予測誤差を加算部６５へ出力する。
【００６６】
加算部６５は、逆直交変換部６４から入力される予測誤差と、セレクタ７１ｂから入力される予測画像とを加算することにより、復号画像を生成する。そして、加算部６５は、生成した復号画像をインループフィルタ６６及びフレームメモリ８０へ出力する。
【００６７】
インループフィルタ６６は、復号画像の画質の向上を目的として一連のインループフィルタを適用する。例えば、参照文献REF３の「2.5.  In-loop  filtering」に記載されているように、４つのインループフィルタが、バイラテラルフィルタ、デブロッキングフィルタ、適応オフセットフィルタ、及び適応ループフィルタの順番で適用されてもよい。図５に示すインループフィルタ６６は、例えばバイラテラルフィルタ６７、デブロッキングフィルタ６８、適応オフセットフィルタ６９、及び適応ループフィルタ７０を含み、上記４つのインループフィルタが順に適用され得る。しかしながら、インループフィルタ６６はかかる構成に限定されず、４つのインループフィルタのうち、いずれのフィルタを適用するか、また、どのような順番で適用するかは、適宜選択可能であり得る。なお、適応ループフィルタ７０については、後に詳細に説明する。
【００６８】
インループフィルタ６６は、インループフィルタが適用された復号画像を並び替えバッファ７２及びフレームメモリ８０へ出力する。
【００６９】
並び替えバッファ７２は、インループフィルタ６６から入力される画像を並び替えることにより、時系列の一連の画像を生成する。そして、並び替えバッファ７２は、生成した画像をＤ／Ａ変換部７３へ出力する。
【００７０】
Ｄ／Ａ変換部７３は、並び替えバッファ７２から入力されるデジタル形式の画像をアナログ形式の画像信号に変換する。そして、Ｄ／Ａ変換部７３は、例えば、画像復号装置６０と接続されるディスプレイ（図示せず）にアナログ画像信号を出力することにより、映像を表示させる。
【００７１】
フレームメモリ８０は、加算部６５から入力されるフィルタリング前の復号画像、及びインループフィルタ６６から入力されるインループフィルタが適用された復号画像を記憶媒体を用いて記憶する。
【００７２】
セレクタ８１ａは、可逆復号部６２により取得される予測モード情報に応じて、画像内のブロックごとに、フレームメモリ８０からの画像の出力先をイントラ予測部９０とインター予測部１００との間で切り替える。例えば、セレクタ８１ａは、イントラ予測モードが指定された場合には、フレームメモリ８０から供給されるフィルタリング前の復号画像を参照画像としてイントラ予測部９０へ出力する。また、セレクタ８１ａは、インター予測モードが指定された場合には、フィルタリング後の復号画像を参照画像としてインター予測部１００へ出力する。
【００７３】
セレクタ８１ｂは、可逆復号部６２により取得される予測モード情報に応じて、加算部６５へ供給すべき予測画像の出力元をイントラ予測部９０とインター予測部１００との間で切り替える。例えば、セレクタ８１ｂは、イントラ予測モードが指定された場合には、イントラ予測部９０から出力される予測画像を加算部６５へ供給する。また、セレクタ８１ｂは、インター予測モードが指定された場合には、インター予測部１００から出力される予測画像を加算部６５へ供給する。
【００７４】
イントラ予測部９０は、可逆復号部６２から入力されるイントラ予測に関する情報とフレームメモリ８０からの参照画像とに基づいてイントラ予測処理を行い、予測画像を生成する。そして、イントラ予測部９０は、生成した予測画像をセレクタ８１ｂへ出力する。
【００７５】
インター予測部１００は、可逆復号部６２から入力されるインター予測に関する情報とフレームメモリ８０からの参照画像とに基づいてインター予測処理を行い、予測画像を生成する。そして、インター予測部１００は、生成した予測画像をセレクタ８１ｂへ出力する。
＜３．実施例＞
本節では、図４に示した画像符号化装置１０の適応ループフィルタ２８及び図５に示した画像復号装置６０の適応ループフィルタ７０に関する、いくつかの実施例について説明する。
【００７６】
［３−１．第１の実施例］
まず、図６〜図９を参照して第１の実施例について説明する。図６は、画像符号化装置１０の適応ループフィルタ２８の第１の実施例である適応ループフィルタ２８ａの詳細な構成の一例を示すブロック図である。なお、図６には、適応ループフィルタ２８ａが有する色差成分に関する処理にかかる構成のみが示されているが、適応ループフィルタ２８ａは、図６に図示されない輝度成分に関する処理にかかる構成をも有する。
【００７７】
図６を参照すると、適応ループフィルタ２８ａは、アップサンプリング部２８２、クラス分類部２８４ａ、選択部２８６ａ、固定フィルタ係数セットDB２８８、固定フィルタリング部２９０、残差係数学習部２９２、フィルタ係数決定部２９４、及びフィルタリング部２９６を有する。
【００７８】
アップサンプリング部２８２は、復号画像の色差成分に対してアップサンプリング処理を施す。本実施例において、後述する固定フィルタ係数セットDB２８８は、復号画像の輝度成分に対する適応ループフィルタの処理において用いられるものと同一である。つまり、復号画像の輝度成分に対して適用される適応ループフィルタのために用意された固定フィルタ係数セット（以下、輝度成分のための固定フィルタ係数セットとも呼ぶ）が、復号画像の色差成分に対する適応ループフィルタ処理のためにも流用される。
【００７９】
しかし、例えば、ＹＣｂＣｒ４：２：０、ＹＵＶ４：２：０等の、色差成分のサンプル数が輝度成分のサンプル数より疎らなフォーマットが用いられる場合、輝度成分のための固定フィルタ係数セットをそのまま流用することは困難である。そこで、アップサンプリング部２８２がアップサンプリング処理を施すことにより、後述するように、輝度成分のための固定フィルタ係数セットを色差成分に対しても流用可能となる。
【００８０】
アップサンプリング部２８２が復号画像の色差成分に対して施すアップサンプリング処理の手法は特に限定されず、多様な手法が用いられ得る。例えば、アップサンプリング部２８２は、所謂最近傍補間法により、アップサンプリング処理を施してもよい。かかる場合、アップサンプリング部２８２は、色差成分値（サンプル）が存在しない画素について、隣接する画素の色差成分値をコピーすることでアップサンプリング処理を施してもよい。かかる場合、アップサンプリング部２８２は、計算量を抑制することが可能である。
【００８１】
また、アップサンプリング部２８２は、所謂バイリニア補間法により、アップサンプリング処理を施してもよい。かかる場合、アップサンプリング部２８２は、まず色差成分値が存在しない画素のうち、水平方向の両側、または垂直方向の両側に、色差成分値が存在する画素が隣接している画素について、水平方向の両側、または垂直方向の両側に隣接する画素の色差成分値を用いて補間を行う。その後、アップサンプリング部２８２は、未だに色差成分値が存在しない（補間されていない）画素について、水平方向の両側、及び垂直方向の両側に隣接している画素を用いて補間を行う。かかる場合、補間された画素の色差成分値がより自然な値となるため、後に説明するクラス分類部２８４ａによるクラス分類の精度を向上させることができる。
【００８２】
クラス分類部２８４ａは、アップサンプリング部２８２によりアップサンプリング処理が施された復号画像の色差成分に基づいて、クラス分類を行う。例えば、クラス分類部２８４ａは、復号画像の色差成分に基づく点以外については、非特許文献１の「2.5.2.2.  Block  classification」に記載された復号画像の輝度成分に基づくクラス分類と同様にクラス分類を行ってもよい。かかる場合、クラス分類部２８４ａは、画素ブロックごとに色差成分が示す局所的な方向及びアクティビティを算出し、算出された方向とアクティビティの組み合わせに基づいて、画素ブロックの各々を２５個のクラスのうちのいずれかに分類してもよい。
【００８３】
上記のように、クラス分類部２８４ａが復号画像の輝度成分に基づくクラス分類と同様のクラス分類を行う場合、輝度成分用のクラス分類処理と色差成分用のクラス分類処理とで回路またはアルゴリズムを共用して、デバイスの規模または複雑度を低減することができる。また、後述するように、輝度成分のための固定フィルタ係数セットを色差成分に対して流用することも可能となる。
【００８４】
ただし、クラス分類部２８４ａが行うクラス分類は、上述した例に限定されず、クラス分類部２８４ａは、例えば復号画像の輝度成分に基づくクラス分類とは異なる方法によりクラス分類を行ってもよい。
【００８５】
クラス分類部２８４ａは、分類された色差成分のクラスを示す色差分類インデックスを固定フィルタリング部２９０、及びフィルタ係数決定部２９４に出力する。
【００８６】
選択部２８６ａは、後述する固定フィルタ係数セットDB２８８に格納され、クラスごとに複数用意された複数の固定フィルタ係数セットの中から、適応ループフィルタ係数セットを決定するための固定フィルタ係数セットをクラスごとに選択する。
【００８７】
例えば選択部２８６ａは、クラス分類部２８４ａによるクラス分類に基づき、クラスごとに最も高性能な固定フィルタ係数セットを選択してもよい。選択部２８６ａは、固定フィルタ係数セットの性能を評価するため、クラスごとに用意された複数の固定フィルタ係数セットの各々を用いて、復号画像のうち当該クラスに分類された全ての画素の色差成分に対して固定フィルタを適用してもよい。そして、当該固定フィルタの適用結果と、原画像の色差成分との比較により固定フィルタ係数セットの性能を評価し、最も高性能な固定フィルタ係数セットを選択してもよい。なお、当該クラスに用意された全ての固定フィルタ係数セットにおいて、固定フィルタの適用により適用前よりも画質が低下する場合には、当該クラスについては固定フィルタ係数セットが用いられないように、選択が行われてもよい。
【００８８】
選択部２８６ａによりクラスごとに選択された固定フィルタ係数セットは、配列の形式で固定フィルタリング部２９０、及びフィルタ係数決定部２９４に出力される。また、選択部２８６ａにより選択された固定フィルタ係数セットを示す色差固定フィルタ係数セットIDは、図４に示した可逆符号化部１６に出力され、可逆符号化部１６により符号化される。
【００８９】
固定フィルタ係数セットDB２８８は、クラスごとに複数用意された固定フィルタ係数セットを格納する。固定フィルタ係数セットDB２８８は、例えば復号画像の輝度成分に対する適応ループフィルタの処理において用いられるものと同一であってもよい。固定フィルタ係数セットは、例えば非特許文献１の「2.5.2.4.  Filter parameters  signalling」に記載されるように、クラスごとに１６セット用意されていてもよい。また、各固定フィルタ係数セットは、例えば９×９のダイヤモンド形状であってもよい。ただし、固定フィルタ係数セットDB２８８に格納される固定フィルタ係数セットの数や形状は、上記に限定されるものではない
【００９０】
固定フィルタリング部２９０は、復号画像の色差成分に対し、選択部２８６ａにより決定された固定フィルタ係数セットを用いた固定フィルタを適用する。固定フィルタリング部２９０は、クラス分類部２８４ａから供給される色差分類インデックスに基づいて、選択部２８６ａから供給される固定フィルタ係数セットの配列から固定フィルタに用いられる固定フィルタ係数セットを特定し得る。
【００９１】
残差係数学習部２９２は、固定フィルタリング部２９０により固定フィルタが適用された復号画像の色差成分を入力とし、原画像の色差成分を教師として、残差係数セットの学習を行う。なお、残差係数学習部２９２は、クラス分類に依存せずに、残差係数セットの学習を行ってもよい。また、残差係数学習部２９２は、固定フィルタが適用された復号画像の色差成分に加えて、固定フィルタが適用される前の復号画像の色差成分をも入力として残差係数セットの学習を行ってもよい。残差係数学習部２９２は、学習した残差係数セットをフィルタ係数決定部２９４、及び可逆符号化部１６に出力する。残差係数学習部２９２から可逆符号化部１６へ出力された残差係数セットは、色差成分用の残差係数セットとして、上述したように可逆符号化部１６により符号化される。
【００９２】
フィルタ係数決定部２９４は、クラス分類部２８４ａによるクラス分類に基づいて、後述するフィルタリング部２９６による適応ループフィルタに用いられる適応ループフィルタ係数セットを決定する。例えば、フィルタ係数決定部２９４は、選択部２８６により選択された固定フィルタ係数セットと、残差係数学習部２９２により学習された残差係数セットとの足し合わせにより、適応ループフィルタ係数セットを決定してもよい。なお、フィルタ係数決定部２９４は、クラス分類部２８４ａから供給される色差分類インデックスに基づいて、選択部２８６ａから供給される固定フィルタ係数セットの配列から、残差係数セットと足し合わせる固定フィルタ係数セットを特定し得る。
【００９３】
フィルタ係数決定部２９４は、決定した適応ループフィルタ係数セットをフィルタリング部２９６に出力する。
【００９４】
フィルタリング部２９６は、フィルタ係数決定部２９４により決定された適応ループフィルタ係数セットを用いて、復号画像の色差成分に対して適応ループフィルタを適用する。
【００９５】
以上、第１の実施例にかかる画像符号化装置１０が備える適応ループフィルタ２８ａの構成例について説明した。続いて、第１の実施例にかかる符号化時の処理の流れについて説明する。図７は、第１の実施例にかかる符号化時の処理の流れの一例を示すフローチャートである。なお、図７には、符号化時の処理のうち、本実施例の特徴に関する処理のみが示され、他の処理については省略されている。
【００９６】
まず、アップサンプリング部２８２が復号画像の色差成分に対してアップサンプリング処理を施す（Ｓ１０２）。続いて、クラス分類部２８４ａが、ステップＳ１０２でアップサンプリング処理が施された復号画像の色差成分に基づいて、クラス分類を行う（Ｓ１０４）。続いて、選択部２８６ａが、ステップＳ１０４で行われたクラス分類に基づいて、クラスごとに複数用意された複数の固定フィルタ係数セットの中から、適応ループフィルタ係数セットを決定するための固定フィルタ係数セットをクラスごとに選択する（Ｓ１０６）。
【００９７】
続いて、固定フィルタリング部２９０が、ステップＳ１０６で選択された固定フィルタ係数セットを用いて復号画像の色差成分に対して固定フィルタを適用する（Ｓ１０８）。続いて、残差係数学習部２９２が、ステップＳ１０８で固定フィルタが適用された復号画像の色差成分を入力として、残差係数セットの学習を行う（Ｓ１１０）。続いて、フィルタ係数決定部２９４が、ステップＳ１０４で行われたクラス分類、ステップＳ１０６でクラスごとに選択された固定フィルタ係数セット、及びステップＳ１０８で学習された残差係数セットに基づいて、適応ループフィルタ係数セットを決定する（Ｓ１１２）。具体的には、ステップＳ１１２において、フィルタ係数決定部２９４はクラスごとに選択された固定フィルタ係数セットと残差係数セットとの足し合わせにより、適応ループフィルタ係数セットを決定する。
【００９８】
続いて、フィルタリング部２９６が、ステップＳ１１２で決定された適応ループフィルタ係数セットを用いて、復号画像の色差成分に対して適応ループフィルタを適用する（Ｓ１１４）。そして、可逆符号化部１６は、ステップＳ１１４で適応ループフィルタが適用された復号画像を用いて画像を符号化し、さらに、ステップＳ１０８で学習された残差係数セット、及びステップＳ１０６で選択された固定フィルタ係数セットを示す色差固定フィルタ係数セットIDを含むALF関連パラメータを符号化して、符号化ストリームを生成する（Ｓ１１６）。
【００９９】
以上、第１の実施例にかかる符号化時の処理に関する構成、及び処理の流れについて説明した。続いて、第１の実施例にかかる復号時の処理に関する構成、及び処理の流れについて説明する。
【０１００】
図８は、画像復号装置６０の適応ループフィルタ７０の第１の実施例である適応ループフィルタ７０ａの詳細な構成の一例を示すブロック図である。なお、図８には、適応ループフィルタ７０ａが有する色差成分に関する処理にかかる構成のみが示されているが、適応ループフィルタ７０ａは、図８に図示されない輝度成分に関する処理にかかる構成をも有する。
【０１０１】
図８を参照すると、適応ループフィルタ７０ａは、アップサンプリング部７０２、クラス分類部７０４ａ、フィルタ係数決定部７０６ａ、固定フィルタ係数セットDB７０８、及びフィルタリング部７１０を有する。
【０１０２】
アップサンプリング部７０２は、復号画像の色差成分に対してアップサンプリング処理を施す。アップサンプリング部７０２が復号画像の色差成分に対して施すアップサンプリング処理は、図６を参照して説明したアップサンプリング部２８２が施すアップサンプリング処理と同様であってよい。
【０１０３】
クラス分類部７０４ａは、アップサンプリング部７０２によりアップサンプリング処理が施された復号画像の色差成分に基づいて、色差成分のクラス分類を行う。クラス分類部７０４ａによるクラス分類は、図６を参照して説明したクラス分類部２８４ａによるクラス分類と同様であってよい。クラス分類部７０４ａは、分類された色差成分のクラスを示す色差分類インデックスをフィルタ係数決定部７０６ａに出力する。
【０１０４】
フィルタ係数決定部７０６ａは、クラス分類部７０４ａによるクラス分類に基づいて、後述するフィルタリング部７１０による適応ループフィルタに用いられる適応ループフィルタ係数セットを決定する。
【０１０５】
まず、フィルタ係数決定部７０６ａは、後述する固定フィルタ係数セットDB７０８に格納され、クラスごとに複数用意された複数の固定フィルタ係数セットの中から、適応ループフィルタ係数セットを決定するための固定フィルタ係数セットを選択する。フィルタ係数決定部７０６ａは、クラス分類部７０４ａから提供される色差分類インデックスと、可逆復号部６２が符号化ストリームを復号することにより生成された色差固定フィルタ係数セットIDとの組み合わせに基づいて固定フィルタ係数セットDB７０８を参照することにより、適応ループフィルタ係数セットを決定するための固定フィルタ係数セットを選択し得る。
【０１０６】
そして、フィルタ係数決定部７０６ａは、上記のようにして選択された固定フィルタ係数セットと、可逆復号部６２が符号化ストリームを復号することにより生成された残差係数セットとの足し合わせにより、適応ループフィルタ係数セットを決定してもよい。フィルタ係数決定部７０６ａは、決定した適応ループフィルタ係数セットをフィルタリング部７１０に出力する。
【０１０７】
固定フィルタ係数セットDB７０８は、クラスごとに複数用意された固定フィルタ係数セットを格納する。固定フィルタ係数セットDB７０８は、例えば復号画像の輝度成分に対する適応ループフィルタの処理において用いられるものと同一であってもよい。また、固定フィルタ係数セットDB７０８は、図６を参照して説明した固定フィルタ係数セットDB２８８と同様であってもよい。
【０１０８】
フィルタリング部７１０は、フィルタ係数決定部７０６ａにより決定された適応ループフィルタ係数セットを用いて、復号画像の色差成分に対して適応ループフィルタを適用する。
【０１０９】
以上、第１の実施例にかかる画像復号装置６０が備える適応ループフィルタ７０ａの構成例について説明した。続いて、第１の実施例にかかる符号化時の処理の流れについて説明する。図９は、第１の実施例にかかる復号時の処理の流れの一例を示すフローチャートである。なお、図９には、復号時の処理のうち、本実施例の特徴に関する処理のみが示され、他の処理については省略されている。
【０１１０】
まず、可逆復号部６２が符号化ストリームを復号して、復号画像と、色差固定フィルタ係数セットIDや残差係数セット等を含む符号化パラメータを生成する（Ｓ２０２）。続いて、アップサンプリング部７０２が復号画像の色差成分に対してアップサンプリング処理を施す（Ｓ２０４）。続いて、クラス分類部７０４ａが、ステップＳ２０４でアップサンプリング処理が施された復号画像の色差成分に基づいて、クラス分類を行う（Ｓ２０６）。
【０１１１】
続いて、フィルタ係数決定部７０６ａが、ステップＳ２０２で生成された色差固定フィルタ係数セットID及び残差係数セット、並びにステップＳ２０６で行われたクラス分類に基づいて、適応ループフィルタ係数セットを決定する（Ｓ２０８）。続いて、フィルタリング部７１０が、ステップＳ２１０で決定された適応ループフィルタ係数セットを用いて、復号画像の色差成分に対して適応ループフィルタを適用する（Ｓ２１０）。
【０１１２】
［３−２．第２の実施例］
続いて、図１０、図１１を参照して第２の実施例について説明する。第２の実施例は、一部において第１の実施例と同様であるため、適宜省略しながら説明を行う。
【０１１３】
図１０は、画像符号化装置１０の適応ループフィルタ２８の第２の実施例である適応ループフィルタ２８ｂの詳細な構成の一例を示すブロック図である。なお、図１０には、適応ループフィルタ２８ｂが有する色差成分に関する処理にかかる構成のみが示されているが、適応ループフィルタ２８ｂは、図１０に図示されない輝度成分に関する処理にかかる構成をも有する。
【０１１４】
図１０を参照すると、適応ループフィルタ２８ｂは、アップサンプリング部２８２、クラス分類部２８４ａ、選択部２８６ｂ、固定フィルタ係数セットDB２８８、固定フィルタリング部２９０、残差係数学習部２９２、フィルタ係数決定部２９４、及びフィルタリング部２９６を有する。なお、図１０に示した構成のうち、図６に示した構成と実質的に同様の構成については、同一の符号を付してあるため、適宜を省略しながら説明を行う。
【０１１５】
選択部２８６ｂは、図６に示した選択部２８６ａと同様に、固定フィルタ係数セットDB２８８に格納され、クラスごとに複数用意された複数の固定フィルタ係数セットの中から、適応ループフィルタ係数セットを決定するための固定フィルタ係数セットをクラスごとに選択する。ただし、本実施例にかかる選択部２８６ｂは、輝度固定フィルタ係数セットIDに基づいて固定フィルタ係数セットDB２８８を参照して、固定フィルタ係数セットを選択する点において、第１の実施例にかかる選択部２８６ａと異なる。
【０１１６】
輝度固定フィルタ係数セットIDは、適応ループフィルタ２８ｂの不図示の構成により、輝度成分に対する適応ループフィルタのためにクラスごとに選択された固定フィルタ係数セットを示すIDであってよい。かかる固定フィルタ係数セットは、適応ループフィルタ２８ｂの不図示の構成により、例えば復号画像の輝度成分に対する固定フィルタの適用結果に基づいて選択され得る。かかる選択は、例えば図６に示した選択部２８６ａによる復号画像の色差成分に対する固定フィルタの適用結果に基づく固定フィルタ係数セットの選択と同様であってもよい。
【０１１７】
以上、第２の実施例にかかる画像符号化装置１０が備える適応ループフィルタ２８ｂの構成例について説明した。なお、第２の実施例にかかる符号化時の処理の流れは、固定フィルタ係数セットが、輝度固定フィルタ係数セットIDに基づいて選択されることを除いて、図７を参照して説明した第１の実施例にかかる符号化時の処理の流れと同様であるため、説明を省略する。
【０１１８】
図１１は、画像復号装置６０の適応ループフィルタ７０の第２の実施例である適応ループフィルタ７０ｂの詳細な構成の一例を示すブロック図である。なお、図１１には、適応ループフィルタ７０ｂが有する色差成分に関する処理にかかる構成のみが示されているが、適応ループフィルタ７０ｂは、図１１に図示されない輝度成分に関する処理にかかる構成をも有する。
【０１１９】
図１１を参照すると、適応ループフィルタ７０ｂは、アップサンプリング部７０２、クラス分類部７０４ａ、フィルタ係数決定部７０６ｂ、固定フィルタ係数セットDB７０８、及びフィルタリング部７１０を有する。なお、図１０に示した構成のうち、図７に示した構成と実質的に同様の構成については、同一の符号を付してあるため、適宜を省略しながら説明を行う。
【０１２０】
フィルタ係数決定部７０６ｂは、図７に示したフィルタ係数決定部７０６ａと同様に、クラス分類部７０４ａによるクラス分類に基づいて、フィルタリング部７１０による適応ループフィルタに用いられる適応ループフィルタ係数セットを決定する。ただし、本実施例にかかるフィルタ係数決定部７０６ｂは、適応ループフィルタ係数セットを決定するための固定フィルタ係数セットを、輝度固定フィルタ係数セットIDに基づいて固定フィルタ係数セットDB２８８を参照して選択する点において、第１の実施例にかかるフィルタ係数決定部７０６ａと異なる。フィルタ係数決定部７０６ｂに供給される輝度固定フィルタ係数セットIDは、例えば画像符号化装置１０から受信される符号化ストリームを可逆復号部６２が復号することにより生成されてもよい。かかる構成によれば、色差固定フィルタ係数セットIDを符号化、及び伝送しなくてよいため、符号化量、及び伝送量を抑制することが可能となる。
【０１２１】
以上、第２の実施例にかかる画像復号装置６０が備える適応ループフィルタ７０ｂの構成例について説明した。なお、第２の実施例にかかる復号時の処理の流れは、固定フィルタ係数セットが、輝度固定フィルタ係数セットIDに基づいて選択されることを除いて、図７を参照して説明した第１の実施例にかかる復号時の処理の流れと同様であるため、説明を省略する。
【０１２２】
［３−３．第３の実施例］
続いて、第３の実施例について説明する。上述した第１の実施例、及び第２の実施例では、固定フィルタ係数セットDB２８８、及び固定フィルタ係数セットDB７０８は、復号画像の輝度成分に対する適応ループフィルタの処理において用いられるものと同一であった。しかし、本技術はかかる例に限定されない。
【０１２３】
第３の実施例において、固定フィルタ係数セットDBに格納される固定フィルタ係数セットは、復号画像の色差成分に対する適応ループフィルタの処理のために専用に用意（設計）されたものであってよい。かかる構成によれば、復号画像の色差成分に対する適応ループフィルタの性能がより向上し得る。
【０１２４】
なお、第３の実施例において、固定フィルタ係数セットDBに格納される固定フィルタ係数セット以外の構成、及び処理の流れについては、上述した第１の実施例と同様であってよい。ただし、復号画像の色差成分に対する適応ループフィルタの処理のために専用に固定フィルタ係数セットを用意する場合、ＹＵＶ４：２：０等の画像フォーマットに応じた固定フィルタ係数セットを用意すればよいため、アップサンプリング処理は行われなくてもよい。
【０１２５】
［３−４．各実施例の比較］
以上、各実施例について説明した。ここで、上述した各実施例の特徴、及び効果について比較して整理する。以下に示す表１は、各実施例を比較した表である。なお、表１中の効果は、絶対的な評価ではなく、上述した３つの実施例を比較した場合の相対的な評価を表すものである。
【０１２６】
【表１】
2019114896.tif 000003
【０１２７】
表１に示すように、第１の実施例、及び第２の実施例では、固定フィルタ係数セットDBが輝度成分輝度成分に対する適応ループフィルタの処理において用いられるものと同一であるため、要するメモリを抑制することが可能である。一方、第３の実施例では、固定フィルタ係数セットDBを色差成分専用に用意するため、クラスごとの固定フィルタ係数セット分のメモリが色差成分専用に必要となる。
【０１２８】
また、表１に示すように、第１の実施例では、復号画像の色差成分に固定フィルタを適用して固定フィルタ係数セットDBから、適応ループフィルタ係数決定のための固定フィルタ係数セットが選択される。そのため、第１の実施例では、輝度固定フィルタ係数セットIDに加えて、色差固定フィルタ係数セットIDを符号化し、伝送する必要がある。
【０１２９】
一方、第２の実施例では、復号画像の輝度成分に固定フィルタを適用して選択された固定フィルタ係数セットが、復号画像の色差成分のための適応ループフィルタ係数の決定にも流用される。そのため、第２の実施例では、復号時に固定フィルタ係数セットを選択するための固定フィルタ係数セットIDが輝度成分と色差成分とで同一であり、第１の実施例、第３の実施例と比較して、log2（クラス数×セット数）bit分の符号化量を抑制することが可能となる。ただし、フィルタリング性能については、第２の実施例よりも、第１の実施例の方が高いことが期待される。
【０１３０】
また、第３の実施例では、第１の実施例と同様に、復号画像の色差成分に固定フィルタを適用して、適応ループフィルタ係数決定のための固定フィルタ係数セットが選択される。さらに、第３の実施例では、専用に用意された固定フィルタ係数セットDBから適応ループフィルタ係数決定のための固定フィルタ係数セットが選択される。したがって、第３の実施例におけるフィルタリング性能は、第１の実施例におけるフィルタリング性能よりも高いことが期待される。
【０１３１】
＜４．変形例＞
以上、本開示の各実施例を説明した。以下では、本開示の実施例の変形例を説明する。なお、以下に説明する変形例は、本開示の各実施例で説明した構成に代えて適用されてもよいし、本開示の各実施例で説明した構成に対して追加的に適用されてもよい。
【０１３２】
上記実施例では、輝度成分のための固定フィルタ係数セットを色差成分のための適応ループフィルタの処理に流用するため、アップサンプリング処理が施された復号画像の色差成分に基づいて、クラス分類を行う例を説明したが、本技術はかかる例に限定されない。例えば、アップサンプリング処理を施すことなくクラス分類を行った後に、画像フォーマット（例えばＹＵＶ４：２：０等）に応じて固定フィルタ係数セットを整形することで、固定フィルタ係数セットの選択等を可能にしてもよい。かかる変形例について、図１２、図１３を参照して説明する。なお、かかる変形例は、一部において第１の実施例と同様であるため、適宜省略しながら説明を行う。
【０１３３】
図１２は、画像符号化装置１０の適応ループフィルタ２８の変形例である適応ループフィルタ２８ｃの詳細な構成の一例を示すブロック図である。なお、図１２には、適応ループフィルタ２８ｃが有する色差成分に関する処理にかかる構成のみが示されているが、適応ループフィルタ２８ｃは、図１２に図示されない輝度成分に関する処理にかかる構成をも有する。
【０１３４】
図１２を参照すると、適応ループフィルタ２８ｃは、クラス分類部２８４ｃ、選択部２８６ｃ、固定フィルタ係数セットDB２８８、係数整形部２８９、固定フィルタリング部２９０、残差係数学習部２９２、フィルタ係数決定部２９４、及びフィルタリング部２９６を有する。なお、図１２に示した構成のうち、図６に示した構成と実質的に同様の構成については、同一の符号を付してあるため、適宜を省略しながら説明を行う。
【０１３５】
クラス分類部２８４ｃは、図６を参照して説明したクラス分類部２８４ａと同様に、復号画像の色差成分に基づいて、クラス分類を行う。ただし、図１２に示すように、適応ループフィルタ２８ｃは、アップサンプリング部を有しない。そのため、クラス分類部２８４ｃは、アップサンプリング処理が施されない復号画像の色差成分に基づいて、クラス分類を行う点において、図６を参照して説明したクラス分類部２８４ａと異なる。その他のクラス分類部２８４ｃの機能は、図６を参照して説明したクラス分類部２８４ａの機能と同様であってよい。
【０１３６】
選択部２８６ｃは、図６に示した選択部２８６ａと同様に、クラスごとに複数用意された複数の固定フィルタ係数セットの中から、適応ループフィルタ係数セットを決定するための固定フィルタ係数セットをクラスごとに選択する。ただし、本変形例にかかる選択部２８６ｃは、後述する係数整形部２８９により整形された固定フィルタ係数セット（以下整形固定フィルタ係数セットと呼ぶ）を用いて、かかる選択を行う。また、選択部２８６ｃは、クラスごとに選択された整形固定フィルタ係数セットの配列を、固定フィルタリング部２９０、及びフィルタ係数決定部２９４へ出力する。その他の選択部２８６ｃの機能は、図６を参照して説明した選択部２８６ａの機能と同様であってよい。
【０１３７】
係数整形部２８９は、固定フィルタ係数セットDB２８８に格納された固定フィルタ係数セットの整形を行って、選択部２８６ｃに出力する。係数整形部２８９により整形された整形固定フィルタ係数セットは、例えば５×５のダイヤモンド形状であってもよい。
【０１３８】
係数整形部２８９は、例えば固定フィルタ係数セットのうち、色差成分値が存在しない画素に対応する係数を、注目画素（フィルタが適用される中心の画素）に対応する係数に足し込むことで、かかる整形を行ってもよい。
【０１３９】
また、係数整形部２８９は、色差成分値が存在しない画素に対応する係数を、当該画素に隣接し、色差成分値が存在する画素に対応する係数に足し込むことでかかる整形を行ってもよい。かかる整形が行われる場合、結果として、上述した第１の実施例において、アップサンプリング部２８２が最近傍補間法によるアップサンプリング処理を施す場合に相当する効果が得られる。
【０１４０】
なお、係数整形部２８９による固定フィルタ係数セットの整形はかかる例に限定されない。例えば、非特許文献２に記載された方法で固定フィルタ係数セットが整形されてもよい。
【０１４１】
図１３は、画像復号装置６０の適応ループフィルタ７０の変形例である適応ループフィルタ７０ｃの詳細な構成の一例を示すブロック図である。なお、図１３には、適応ループフィルタ７０ｃが有する色差成分に関する処理にかかる構成のみが示されているが、適応ループフィルタ７０ｃは、図１３に図示されない輝度成分に関する処理にかかる構成をも有する。
【０１４２】
図１３を参照すると、適応ループフィルタ７０ｃは、クラス分類部７０４ｃ、フィルタ係数決定部７０６ｃ、固定フィルタ係数セットDB７０８、係数整形部７０９及びフィルタリング部７１０を有する。なお、図１３に示した構成のうち、図７に示した構成と実質的に同様の構成については、同一の符号を付してあるため、適宜を省略しながら説明を行う。
【０１４３】
クラス分類部７０４ｃは、図７を参照して説明したクラス分類部７０４ａと同様に、復号画像の色差成分に基づいて、クラス分類を行う。ただし、図１３に示すように、適応ループフィルタ７０ｃは、アップサンプリング部を有しない。そのため、クラス分類部７０４ｃは、アップサンプリング処理が施されない復号画像の色差成分に基づいて、クラス分類を行う点において、図７を参照して説明したクラス分類部７０４ａと異なる。その他のクラス分類部７０４ｃの機能は、図７を参照して説明したクラス分類部７０４ａの機能と同様であってよい。
【０１４４】
フィルタ係数決定部７０６ｃは、図７に示したフィルタ係数決定部７０６ａと同様に、クラス分類部７０４ｃによるクラス分類に基づいて、フィルタリング部７１０による適応ループフィルタに用いられる適応ループフィルタ係数セットを決定する。ただし、本変形例にかかるフィルタ係数決定部７０６ｃは、適応ループフィルタ係数セットを決定するための固定フィルタ係数セットを、後述する係数整形部７０９により整形された整形固定フィルタ係数セットを用いて選択する点において、第１の実施例にかかるフィルタ係数決定部７０６ａと異なる。その他のフィルタ係数決定部７０６ｃの機能は、図６を参照して説明したフィルタ係数決定部７０６ａの機能と同様であってよい。
【０１４５】
係数整形部７０９は、固定フィルタ係数セットDB７０８に格納された固定フィルタ係数セットの整形を行って、フィルタ係数決定部７０６ｃに出力する。係数整形部７０９による固定フィルタ係数セットの整形は、図１２を参照して説明した係数整形部２８９による固定フィルタ係数セットの整形と同様であってもよい。
【０１４６】
＜５．ハードウエア構成例＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
【０１４７】
図１４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１４８】
図１４に示されるコンピュータ８００において、CPU（Central Processing Unit）８０１、ROM（Read Only Memory）８０２、RAM（Random Access Memory）８０３は、バス８０４を介して相互に接続されている。
【０１４９】
バス８０４にはまた、入出力インタフェース８１０も接続されている。入出力インタフェース８１０には、入力部８１１、出力部８１２、記憶部８１３、通信部８１４、およびドライブ８１５が接続されている。
【０１５０】
入力部８１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部８１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部８１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部８１４は、例えば、ネットワークインタフェースよりなる。ドライブ８１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア８２１を駆動する。
【０１５１】
以上のように構成されるコンピュータでは、CPU８０１が、例えば、記憶部８１３に記憶されているプログラムを、入出力インタフェース８１０およびバス８０４を介して、RAM８０３にロードして実行することにより、上述した一連の処理が行われる。RAM８０３にはまた、CPU８０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１５２】
コンピュータ（CPU８０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア８２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア８２１をドライブ８１５に装着することにより、入出力インタフェース８１０を介して、記憶部８１３にインストールすることができる。
【０１５３】
また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部８１４で受信し、記憶部８１３にインストールすることができる。
【０１５４】
その他、このプログラムは、ROM８０２や記憶部８１３に、予めインストールしておくこともできる。
【０１５５】
＜６．むすび＞
以上説明したように、本開示の実施形態によれば、適応ループフィルタ処理において、復号画像の色差成分に対して、より適切なフィルタを適用することが可能である。
【０１５６】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１５７】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１５８】
（実施の形態の組み合わせ）
なお、実施の形態（実施例）の組み合わせ方は任意であり、上述した例に限定されない。例えば、第２の実施例において説明した方法は、第１の実施例において説明した方法と組み合わせることができる。また、第３の実施例において説明した方法は、第２の実施例において説明した方法とも組み合わせることができる
【０１５９】
（本技術の適用対象）
本技術は、任意の画像符号化・復号方式に適用することができる。つまり、上述した本技術と矛盾しない限り、変換（逆変換）、量子化（逆量子化）、符号化（復号）、予測等、画像符号化・復号に関する各種処理の仕様は任意であり、上述した例に限定されない。また、上述した本技術と矛盾しない限り、これらの処理の内の一部を省略してもよい。
【０１６０】
（ブロック）
また、本明細書において、画像（ピクチャ）の部分領域や処理単位として説明に用いる「ブロック」（処理部を示すブロックではない）は、特に言及しない限り、ピクチャ内の任意の部分領域を示し、その大きさ、形状、及び特性等は限定されない。例えば、「ブロック」には、上述の参照文献REF１〜REF３に記載のTB（Transform Block）、TU（Transform
Unit）、PB（Prediction Block）、PU（Prediction Unit）、SCU（Smallest Coding Unit）、CU（Coding Unit）、LCU（Largest
Coding Unit）、CTB（Coding Tree
Block）、CTU（Coding Tree Unit）、変換ブロック、サブブロック、マクロブロック、タイル、またはスライス等、任意の部分領域（処理単位）が含まれるものとする。
【０１６１】
（処理単位）
以上において説明した各種情報が設定されるデータ単位や、各種処理が対象とするデータ単位は、それぞれ任意であり上述した例に限定されない。例えば、これらの情報や処理が、それぞれ、TU（Transform Unit）、TB(Transform
Block)、PU（Prediction Unit）、PB(Prediction Block)、CU（Coding Unit）、LCU（Largest
Coding Unit）、サブブロック、ブロック、タイル、スライス、ピクチャ、シーケンス、またはコンポーネント毎に設定されるようにしてもよいし、それらのデータ単位のデータを対象とするようにしてもよい。もちろん、このデータ単位は、情報や処理毎に設定され得るものであり、全ての情報や処理のデータ単位が統一されている必要はない。なお、これらの情報の格納場所は任意であり、上述したデータ単位のヘッダやパラメータセット等に格納されるようにしてもよい。また、複数個所に格納されるようにしてもよい。
【０１６２】
（制御情報）
以上において説明した本技術に関する制御情報を符号化側から復号側に伝送するようにしてもよい。例えば、上述した本技術を適用することを許可（または禁止）するか否かを制御する制御情報（例えばenabled_flag）を伝送するようにしてもよい。また、例えば、上述した本技術を適用する対象（または適用しない対象）を示す制御情報を伝送するようにしてもよい。例えば、本技術を適用する（または、適用を許可若しくは禁止する）ブロックサイズ（上限若しくは下限、またはその両方）、フレーム、コンポーネント、またはレイヤ等を指定する制御情報を伝送するようにしてもよい。
【０１６３】
（ブロックサイズ情報）
本技術を適用するブロックのサイズを指定するに当たって、直接的にブロックサイズを指定するだけでなく、間接的にブロックサイズを指定するようにしてもよい。例えばサイズを識別する識別情報を用いてブロックサイズを指定するようにしてもよい。また、例えば、基準となるブロック（例えばLCUやSCU等）のサイズとの比または差分によってブロックサイズを指定するようにしてもよい。例えば、シンタックス要素等としてブロックサイズを指定する情報を伝送する場合に、その情報として、上述のような間接的にサイズを指定する情報を用いるようにしてもよい。このようにすることにより、その情報の情報量を低減させることができ、符号化効率を向上させることができる場合もある。また、このブロックサイズの指定には、ブロックサイズの範囲の指定（例えば、許容されるブロックサイズの範囲の指定等）も含む。
【０１６４】
（その他）
なお、本明細書において「フラグ」とは、複数の状態を識別するための情報であり、真(1)または偽(0)の２状態を識別する際に用いる情報だけでなく、３以上の状態を識別することが可能な情報も含まれる。したがって、この「フラグ」が取り得る値は、例えば1/0の２値であってもよいし、３値以上であってもよい。すなわち、この「フラグ」を構成するbit数は任意であり、1bitでも複数bitでもよい。また、識別情報（フラグも含む）は、その識別情報をビットストリームに含める形だけでなく、ある基準となる情報に対する識
別情報の差分情報をビットストリームに含める形も想定されるため、本明細書においては、「フラグ」や「識別情報」は、その情報だけではなく、基準となる情報に対する差分情報も包含する。
【０１６５】
また、符号化データ（ビットストリーム）に関する各種情報（メタデータ等）は、符号化データに関連付けられていれば、どのような形態で伝送または記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられたデータは、１つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の記録媒体（または同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、またはフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。
【０１６６】
なお、本明細書において、「合成する」、「多重化する」、「付加する」、「一体化する」、「含める」、「格納する」、「入れ込む」、「差し込む」、「挿入する」等の用語は、例えば符号化データとメタデータとを１つのデータにまとめるといった、複数の物を１つにまとめることを意味し、上述の「関連付ける」の１つの方法を意味する。
【０１６７】
本技術は、装置またはシステムを構成するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。
【０１６８】
なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０１６９】
また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１７０】
また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
【０１７１】
なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
【０１７２】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示にかかる技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０１７３】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
ローカル復号された復号画像の色差成分のクラス分類に基づく適応ループフィルタ係数セットを用いて、前記復号画像の前記色差成分に対して適応ループフィルタを適用するフィルタリング部と、
前記フィルタリング部により前記適応ループフィルタが適用された前記復号画像を用いて、画像を符号化する符号化部と、
を備える、画像処理装置。
（２）
前記適応ループフィルタ係数セットは、前記復号画像の輝度成分に対して適用される適応ループフィルタのために予めクラスごとに用意された固定フィルタ係数セットに基づいて決定される、前記（１）に記載の画像処理装置。
（３）
前記適応ループフィルタ係数セットは、前記固定フィルタ係数セットと、残差係数セットとの足し合わせにより決定される、前記（２）に記載の画像処理装置。
（４）
前記残差係数セットは、前記固定フィルタ係数セットを用いた固定フィルタが適用された前記色差成分を入力として学習される、前記（３）に記載の画像処理装置。
（５）
前記符号化部は、前記残差係数セットを符号化する、前記（４）に記載の画像処理装置。
（６）
前記クラスごとに複数用意された、複数の固定フィルタ係数セットの中から、前記適応ループフィルタ係数セットを決定するための固定フィルタ係数セットを選択する選択部をさらに備える、前記（２）〜（５）のいずれか一項に記載の画像処理装置。
（７）
前記選択部は、前記復号画像の前記色差成分に対する、固定フィルタの適用結果に基づいて、前記適応ループフィルタ係数セットを決定するための前記固定フィルタ係数セットを選択する、前記（６）に記載の画像処理装置。
（８）
前記適応ループフィルタ係数セットを決定するための前記固定フィルタ係数セットは、前記復号画像の前記輝度成分に対する固定フィルタの適用結果に基づいて選択される、前記（６）または（７）に記載の画像処理装置。
（９）
アップサンプリング処理が施された前記復号画像の前記色差成分に基づいて、前記クラス分類を行うクラス分類部をさらに備える、前記（１）〜（８）のいずれか一項に記載の画像処理装置。
（１０）
前記符号化部は、Quad-Tree  Block  Structure、または、QTBT（Quad  Tree  Plus  Binary  Tree）  Block  StructureのCU（Coding  Unit）を処理単位として、前記画像を符号化する、前記（１）〜（９）のいずれか一項に記載の画像処理装置。
（１１）
ローカル復号された復号画像の色差成分のクラス分類に基づく適応ループフィルタ係数セットを用いて、前記復号画像の前記色差成分に対して適応ループフィルタを適用することと、
前記適応ループフィルタが適用された前記復号画像を用いて、画像を符号化することと、
を含む画像処理方法。
（１２）
符号化ストリームを復号して復号画像を生成する復号部と、
前記復号画像の色差成分のクラス分類に基づく適応ループフィルタ係数セットを用いて、前記復号画像の前記色差成分に対して適応ループフィルタを適用するフィルタリング部と、
を備える、画像処理装置。
（１３）
前記適応ループフィルタ係数セットは、前記復号画像の輝度成分に対して適用される適応ループフィルタのために予めクラスごとに用意された固定フィルタ係数セットに基づいて決定される、前記（１２）に記載の画像処理装置。
（１４）
前記適応ループフィルタ係数セットは、前記固定フィルタ係数セットと、残差係数セットとの足し合わせにより決定される、前記（１３）に記載の画像処理装置。
（１５）
前記復号部は、前記符号化ストリームから、前記適応ループフィルタ係数セットを決定するための前記固定フィルタ係数セットを示す固定フィルタ係数セットIDをパースし、
前記適応ループフィルタ係数セットを決定するための固定フィルタ係数セットは、前記クラスごとに複数用意された複数の固定フィルタ係数セットの中から、前記固定フィルタ係数セットIDに基づいて選択される、前記（１３）または（１４）に記載の画像処理装置。
（１６）
前記復号部は、前記復号画像の輝度成分に対して適用される適応ループフィルタに用いられるフィルタ係数を決定するための固定フィルタ係数セットを示すIDと、前記固定フィルタ係数セットIDとを別々にパースする、前記（１５）に記載の画像処理装置。
（１７）
前記固定フィルタ係数セットIDは、さらに、前記復号画像の輝度成分に対して適用される適応ループフィルタに用いられるフィルタ係数を決定するための固定フィルタ係数セットの選択に用いられる、前記（１５）に記載の画像処理装置。
（１８）
アップサンプリング処理が施された前記復号画像の前記色差成分に基づいて、前記クラス分類を行うクラス分類部をさらに備える、前記（１２）〜（１７）のいずれか一項に記載の画像処理装置。
（１９）
前記復号部は、Quad-Tree  Block  Structure、または、QTBT（Quad  Tree  Plus  Binary  Tree）  Block  StructureのCU（Coding  Unit）を処理単位として、前記符号化ストリームを復号する、前記（１２）〜（１７）のいずれか一項に記載の画像処理装置。
（２０）
符号化ストリームを復号して復号画像を生成することと、
前記復号画像の色差成分のクラス分類に基づく適応ループフィルタ係数セットを用いて、前記復号画像の前記色差成分に対して適応ループフィルタを適用することと、
を含む画像処理方法。
【０１７４】
１０  画像符号化装置
１６  可逆符号化部
２８  適応ループフィルタ
６２  可逆復号部
７０  適応ループフィルタ
２８２  アップサンプリング部
２８４ａ  クラス分類部
２８６ａ  選択部
２８９  係数整形部
２９０  固定フィルタリング部
２９２  残差係数学習部
２９４  フィルタ係数決定部
２９６  フィルタリング部
７０２  アップサンプリング部
７０４ａ  クラス分類部
７０６ａ  フィルタ係数決定部
７０９  係数整形部
７１０  フィルタリング部
【図１】
2019114896.tif 000004
【図２】
2019114896.tif 000005
【図３】
2019114896.tif 000006
【図４】
2019114896.tif 000007
【図５】
2019114896.tif 000008
【図６】
2019114896.tif 000009
【図７】
2019114896.tif 000010
【図８】
2019114896.tif 000011
【図９】
2019114896.tif 000012
【図１０】
2019114896.tif 000013
【図１１】
2019114896.tif 000014
【図１２】
2019114896.tif 000015
【図１３】
2019114896.tif 000016
【図１４】
2019114896.tif 000017