(57)【要約】【課題】複数のイントラ予測方式を考慮した予測モードの復号方法を実現すること。【解決手段】本発明に係る画像復号装置３００は、画像符号化装置１００から送られる符号化データに含まれる制御データ及び参照ブロックの参照画像信号に基づいて、予測対象ブロックの予測モードを復号する予測モード復号部３０５Ａと、予測モードと参照画像信号に基づいて、予測対象ブロックの予測画像信号を生成する予測画素生成部３０５Ｂとを備え、制御データは、複数参照ライン予測、イントラ細分割予測、方向性予測、プレーナ予測、最尤モードがそれぞれ有効であるか無効であるかについて示す識別フラグを含み、予測モード復号部３０５Ａは、識別フラグを用いて予測モードの復号方法を決定し、復号方法が所定条件を満たす場合に、最尤モードリストを用いて予測モードを復号する。【選択図】図６
2020150344.tif 000002
【特許請求の範囲】
【請求項１】
画像符号化装置から送られる符号化データに含まれる制御データ及び参照ブロックの参照画像信号に基づいて、予測対象ブロックの予測モードを復号する予測モード復号部と、
前記予測モードと前記参照画像信号に基づいて、前記予測対象ブロックの予測画像信号を生成する予測画素生成部とを備え、
前記制御データは、複数参照ライン予測、イントラ細分割予測、方向性予測、プレーナ予測、最尤モードがそれぞれ有効であるか無効であるかについて示す識別フラグを含み、
前記予測モード復号部は、前記識別フラグを用いて前記予測モードの復号方法を決定し、前記復号方法が所定条件を満たす場合に、最尤モードリストを用いて前記予測モードを復号することを特徴とする画像復号装置。
【請求項２】
前記予測モード復号部は、
前記予測対象ブロックが、イントラ細分割予測可能なブロックサイズである場合、前記イントラ細分割予測の識別フラグを復号し、
前記予測対象ブロックが、イントラ細分割予測可能なブロックサイズではない場合、前記イントラ細分割予測の識別フラグを復号せずに、前記イントラ細分割予測が無効であるとみなし、且つ、前記方向性予測が有効であるとみなすように、
前記予測モードの復号方法を決定することを特徴とする請求項１に記載の画像復号装置。
【請求項３】
前記予測モード復号部は、
前記予測対象ブロックが、イントラ細分割予測可能なブロックサイズであり、且つ、前記複数参照ライン予測の識別フラグが、前記複数参照ライン予測が無効であることを示す場合、前記イントラ細分割予測の識別フラグを復号し、
前記予測対象ブロックがイントラ細分割予測可能なブロックサイズではないか、又は、前記複数参照ライン予測の識別フラグが、前記複数参照ライン予測が有効であることを示す場合、前記イントラ細分割予測の識別フラグを復号せずに、前記イントラ細分割予測が無効であるとみなし、且つ、前記方向性予測が有効であるとみなすように、
前記予測モードの復号方法を決定することを特徴とする請求項１に記載の画像復号装置。
【請求項４】
前記予測モード復号部は、
前記イントラ細分割予測の識別フラグが、前記イントラ細分割予測が有効であることを示し、且つ、前記イントラ細分割方向が自明ではない場合、前記イントラ細分割予測の分割方向を識別する識別フラグを復号し、
前記イントラ細分割予測の識別フラグが、前記イントラ細分割予測が無効であることを示すか、又は、前記イントラ細分割予測が有効であっても前記イントラ細分割方向が自明である場合、前記イントラ細分割予測の分割方向を識別する識別フラグを復号せず、前記方向性予測の識別フラグを復号するように、
前記予測モードの復号方法を決定することを特徴とする請求項２又は３に記載の画像復号装置。
【請求項５】
前記予測モード復号部は、
前記方向性予測の識別フラグが、前記方向性予測が無効であることを示す場合において、
前記イントラ細分割予測の識別フラグが、前記イントラ細分割予測が無効であることを示す場合は、前記プレーナ予測モードの識別フラグを復号するように、前記予測モードの復号方法を決定し、
前記イントラ細分割予測の識別フラグが、前記イントラ細分割予測が有効であることを示す場合は、前記プレーナ予測モードの識別フラグを復号せず、プレーナ予測モードに決定するように、
前記予測モードの復号方法を決定することを特徴とする請求項１〜４のいずれか一項に記載の画像復号装置。
【請求項６】
前記予測モード復号部は、
前記方向性予測の識別フラグが、前記方向性予測が有効であることを示す場合において、
前記イントラ細分割予測の識別フラグが、前記イントラ細分割予測が無効であることを示し、且つ、前記複数参照ライン予測の識別フラグが、前記複数参照ライン予測が無効であることを示す場合、前記最尤モードの識別フラグを復号し、
前記イントラ細分割予測の識別フラグが、前記イントラ細分割予測が有効であることを示す場合、前記最尤モードの識別フラグを復号しないように、
前記予測モードの復号方法を決定することを特徴とする請求項１、３、４又は５に記載の画像復号装置。
【請求項７】
前記予測モード復号部は、
前記方向性予測の識別フラグが、前記方向性予測が有効であることを示す場合において、
前記イントラ細分割予測の識別フラグが、前記イントラ細分割予測が無効であることを示す場合、前記複数参照ラインを識別するフラグを復号し、
前記複数参照ライン予測の識別フラグが、前記複数参照ライン予測が有効であることを示す場合、前記最尤モードの識別フラグを復号し、
前記複数参照ライン予測の識別フラグが、前記複数参照ライン予測が無効であることを示す場合、前記最尤モードの識別フラグを復号せず、
前記イントラ細分割予測の識別フラグが、前記イントラ細分割予測が有効であることを示す場合、前記最尤モードの識別フラグを復号しないように、
前記予測モードの復号方法を決定することを特徴とする請求項１、２、４又は５に記載の画像復号装置。
【請求項８】
前記予測モード復号部は、
前記最尤モードの識別フラグが、前記最尤モードが有効であることを示す場合において、前記複数参照ライン予測の識別フラグを復号するように、前記予測モードの復号方法を決定することを特徴とする請求項１、２、４、５、６に記載の画像復号装置。
【請求項９】
前記予測モード復号部は、前記方向性予測の識別フラグが、前記方向性予測が有効であることを示す場合、前記最尤モードリストから前記プレーナ予測及びＤＣ予測を除外して、前記予測モードを復号することを特徴とする請求項１〜８のいずれか一項に記載の画像復号装置。
【請求項１０】
前記予測モード復号部は、前記複数参照ライン予測の識別フラグが、前記複数参照ライン予測が有効であることを示す場合、前記最尤モードリストから、前記複数参照ライン予測が無効であるか有効であるかについて判定する判定条件を除外して、前記予測モードを復号することを特徴とする請求項１〜８のいずれか一項に記載の画像復号装置。
【請求項１１】
前記予測モード復号部は、前記イントラ細分割予測の識別フラグが、前記イントラ細分割予測が有効であることを示す場合、前記最尤モードリストにおいて、前記イントラ細分割予測の分割方向に応じて予め決定される最尤モードを、前記最尤モードリストに予め決定される順序に従って加えることを特徴とする請求項１〜１０のいずれか一項に記載の画像復号装置。
【請求項１２】
前記予測モード復号部は、前記イントラ細分割予測の識別フラグが、前記イントラ細分割予測が有効であることを示す場合、前記最尤モードリストにおいて、前記イントラ細分割予測の分割方向に応じて予め決定される最尤モードと、前記予測対象ブロックに隣接する前記参照ブロックの予測モードとの比較により、前記最尤モードリストに入る前記参照ブロックの予測モードの優先度を修正することを特徴とする請求項１〜１０のいずれか一項に記載の画像復号装置。
【請求項１３】
前記予測モード復号部は、前記プレーナ予測及びＤＣ予測が除外され、且つ、前記複数参照ラインに基づく判定条件が除外された最尤モードリスト構築方法において、前記リスト構築方法の一部を共通化することを特徴とする請求項１〜８のいずれか一項に記載の画像復号装置。
【請求項１４】
画像符号化装置から送られる符号化データに含まれる制御データ及び参照ブロックの参照画像信号に基づいて、予測対象ブロックの予測モードを復号する工程Ａと、
前記予測モードと前記参照画像信号に基づいて、前記予測対象ブロックの予測画像信号を生成する工程Ｂとを有し、
前記制御データは、複数参照ライン予測、イントラ細分割予測、方向性予測、プレーナ予測、最尤モードがそれぞれ有効であるか無効であるかについて示す識別フラグを含み、
前記工程Ａにおいて、前記識別フラグを用いて前記予測モードの復号方法を決定し、前記復号方法が所定条件を満たす場合に、最尤モードリストを用いて前記予測モードを復号することを特徴とする画像復号方法。
【請求項１５】
コンピュータを、画像復号装置として機能させるプログラムであって、
前記画像復号装置は、
画像符号化装置から送られる符号化データに含まれる制御データ及び参照ブロックの参照画像信号に基づいて、予測対象ブロックの予測モードを復号する予測モード復号部と、
前記予測モードと前記参照画像信号に基づいて、前記予測対象ブロックの予測画像信号を生成する予測画素生成部とを備え、
前記制御データは、複数参照ライン予測、イントラ細分割予測、方向性予測、プレーナ予測、最尤モードがそれぞれ有効であるか無効であるかについて示す識別フラグを含み、
前記予測モード復号部は、前記識別フラグを用いて前記予測モードの復号方法を決定し、前記復号方法が所定条件を満たす場合に、最尤モードリストを用いて前記予測モードを復号することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像復号装置、画像復号方法及びプログラムに関する。
【背景技術】
【０００２】
非特許文献１に、イントラ予測方式に対する予測モードの復号方法が開示されており、計３個の最尤モード（ＭＰＭ：Ｍｏｓｔ  Ｐｒｏｂａｂｌｅ  Ｍｏｄｅ）リストの構築方法を用いた予測モードの復号方法が記されている。
【０００３】
また、非特許文献２に、複数参照ライン予測（ＭＲＬ：Ｍｕｌｔｉ-Ｒｅｆｅｒｅｎｃｅ-Ｌｉｎｅ  ｐｒｅｄｉｃｔｉｏｎ）という技術が開示されている。
【０００４】
ここで、ＭＲＬは、イントラ予測方式の一種で、予測画素生成時に使用する参照画素を、予測対象ブロックに隣接する最近接（０ライン目）の隣接画素を用いるか、或いは、予測対象ブロックに隣接する最近接から１ライン以上離れた隣接画素を用いるかを、適応的に切り替えて予測性能を向上させる技術である。
【０００５】
さらに、非特許文献３に、イントラ細分割予測（ＩＳＰ：Ｉｎｔｒａ-ｓｕｂ-ｐａｒｔｉｔｉｏｎｓ  ｐｒｅｄｉｃｔｉｏｎ）いう技術が開示されている。ＩＳＰは、イントラ予測方式の一種で、予測対象ブロックをより小さなブロックサイズ（サブブロック）に分割して、サブブロックごとにイントラ予測を行い、予測性能を向上させる技術である。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】Ｖｅｒｓａｔｉｌｅ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  ａｎｄ  Ｄｒａｆｔ  ２
【非特許文献２】Ａｌｇｏｒｉｔｈｍ  ｄｅｓｃｒｉｐｔｉｏｎ  ｆｏｒ  Ｖｅｒｓａｔｉｌｅ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  ａｎｄ  Ｔｅｓｔ  Ｍｏｄｅｌ  ３（ＶＴＭ３）
【非特許文献３】ＣＥ３：Ｉｎｔｒａ  Ｓｕｂ-Ｐａｒｔｉｔｉｏｎｓ  Ｃｏｄｉｎｇ  Ｍｏｄｅ（Ｔｅｓｔｓ  １.１.１  ａｎｄ  １.１.２）
【非特許文献４】ＩＴＵ-Ｔ  Ｈ.２６５  Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、非特許文献１に開示されているイントラ予測方式の予測モードの復号方法には、非特許文献２に開示されているＭＲＬという概念や非特許文献３に開示されているＩＳＰという概念が入っておらず、ＭＲＬ及びＩＳＰの双方を考慮したＭＰＭリスト構築は考慮されていないという問題点があった。
【０００８】
そこで、本発明は、上述の課題に鑑みてなされたものであり、複数のイントラ予測方式を考慮した予測モードの復号方法を実現することができる画像復号装置、画像復号方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の第１の特徴は、画像復号装置であって、画像符号化装置から送られる符号化データに含まれる制御データ及び参照ブロックの参照画像信号に基づいて、予測対象ブロックの予測モードを復号する予測モード復号部と、前記予測モードと前記参照画像信号に基づいて、前記予測対象ブロックの予測画像信号を生成する予測画素生成部とを備え、前記制御データは、複数参照ライン予測、イントラ細分割予測、方向性予測、プレーナ予測、最尤モードがそれぞれ有効であるか無効であるかについて示す識別フラグを含み、前記予測モード復号部は、前記識別フラグを用いて前記予測モードの復号方法を決定し、前記復号方法が所定条件を満たす場合に、最尤モードリストを用いて前記予測モードを復号することを要旨とする。
【００１０】
本発明の第２の特徴は、画像復号方法であって、画像符号化装置から送られる符号化データに含まれる制御データ及び参照ブロックの参照画像信号に基づいて、予測対象ブロックの予測モードを復号する工程Ａと、前記予測モードと前記参照画像信号に基づいて、前記予測対象ブロックの予測画像信号を生成する工程Ｂとを有し、前記制御データは、複数参照ライン予測、イントラ細分割予測、方向性予測、プレーナ予測、最尤モードがそれぞれ有効であるか無効であるかについて示す識別フラグを含み、前記工程Ａにおいて、前記識別フラグを用いて前記予測モードの復号方法を決定し、前記復号方法が所定条件を満たす場合に、最尤モードリストを用いて前記予測モードを復号することを要旨とする。
【００１１】
本発明の第３の特徴は、コンピュータを、画像復号装置として機能させるプログラムであって、前記画像復号装置は、画像符号化装置から送られる符号化データに含まれる制御データ及び参照ブロックの参照画像信号に基づいて、予測対象ブロックの予測モードを復号する予測モード復号部と、前記予測モードと前記参照画像信号に基づいて、前記予測対象ブロックの予測画像信号を生成する予測画素生成部とを備え、前記制御データは、複数参照ライン予測、イントラ細分割予測、方向性予測、プレーナ予測、最尤モードがそれぞれ有効であるか無効であるかについて示す識別フラグを含み、前記予測モード復号部は、前記識別フラグを用いて前記予測モードの復号方法を決定し、前記復号方法が所定条件を満たす場合に、最尤モードリストを用いて前記予測モードを復号することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、複数のイントラ予測方式を考慮した予測モードの復号方法を実現することができる画像復号装置、画像復号方法及びプログラムを提供することができる。
【図面の簡単な説明】
【００１３】
【図１】一実施形態に係る画像処理システム１の構成の一例を示す図である。
【図２】一実施形態に係る画像符号化装置１００の機能ブロックの一例を示す図である。
【図３】一実施形態で用いられるイントラ予測モードの一例を示す図である。
【図４】一実施形態に係る画像符号化装置１００のイントラ予測部１０２の機能ブロックの一例を示す図である。
【図５】一実施形態に係る画像復号装置３００の機能ブロックの一例を示す図である。
【図６】一実施形態に係る画像復号装置３００のイントラ予測部３０５の機能ブロックの一例を示す図である。
【図７】一実施形態に係る画像復号装置３００において画像符号化装置１００から送られる各種シンタックス要素を復号する動作の一例を示すフローチャートである。
【図８】一実施形態に係る画像復号装置３００において画像符号化装置１００から送られる各種シンタックス要素を復号する動作の一例を示すフローチャートである。
【図９】一実施形態に係る画像復号装置３００において画像符号化装置１００から送られる各種シンタックス要素を復号する動作の一例を示すフローチャートである。
【図１０】一実施形態に係る画像復号装置３００におけるＭＰＭリストの構築方法の一例を説明するための図である。
【図１１】一実施形態に係る画像復号装置３００におけるＭＰＭリストの構築方法の一例を示すフローチャートである。
【図１２】一実施形態に係る画像復号装置３００におけるＩＳＰの分割方向を考慮したＭＰＭリストのデフォルトモードについて説明するためのフローチャートである。
【図１３】一実施形態に係る画像復号装置３００におけるＭＰＭリストの構築方法の一例を示すフローチャート（その１）である。
【図１４】一実施形態に係る画像復号装置３００におけるＭＰＭリストの構築方法の一例を示すフローチャート（その２）である。
【図１５】一実施形態に係る画像復号装置３００におけるＭＰＭリストの構築方法の一例を示すフローチャート（その１）である。
【図１６】一実施形態に係る画像復号装置３００におけるＭＰＭリストの構築方法の一例を示すフローチャート（その２）である。
【図１７】一実施形態に係る画像復号装置３００におけるＭＰＭリストの構築方法の一例を示すフローチャートである。
【図１８】一実施形態に係る画像復号装置３００におけるＭＰＭリストの構築方法の一例を示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下、図１を参照して、本発明の実施形態に係る画像処理システム１について説明する。図１は、本実施形態に係る画像処理システム１について示す図である。
【００１５】
図１に示すように、本実施形態に係る画像処理システム１は、画像符号化装置１００及び画像復号装置３００を有する。
【００１６】
画像符号化装置１００は、入力画像信号を符号化することによって符号化データを生成するように構成されている。画像復号装置３００は、符号化データを復号することによって出力画像信号を生成するように構成されている。
【００１７】
符号化データは、画像符号化装置１０から画像復号装置３０に対して伝送路を介して送信されてもよい。符号化データは、記憶媒体に格納された上で、画像符号化装置１０から画像復号装置３０に提供されてもよい。
【００１８】
（画像符号化装置１００）
以下、図２を参照して、本実施形態に係る画像符号化装置１００について説明する。図２は、本実施形態に係る画像符号化装置１００の機能ブロックの一例について示す図である。
【００１９】
図２に示すように、画像符号化装置１００は、インター予測部１０１と、イントラ予測部１０２と、減算器１０３と、加算器１０４と、変換・量子化部１０５と、逆変換・逆量子化部１０６と、符号化部１０７と、インループフィルタ１０８と、フレームバッファ１０９とを有する。
【００２０】
インター予測部１０１は、インター予測（フレーム間予測）によって予測信号を生成するように構成されている。
【００２１】
具体的には、インター予測部１０１は、符号化対象のフレーム（以下、対象フレーム）とフレームバッファ１０９に格納される参照フレームとの比較によって、参照フレームに含まれる参照ブロックを特定し、特定された参照ブロックに対する予測動きベクトルを決定するように構成されている。
【００２２】
ここで、参照フレームは、対象フレームとは異なるフレームである。参照ブロックは、予測対象のブロック（以下、対象ブロック）について参照されるブロックである。
【００２３】
また、インター予測部１０１は、予測ブロック及び予測動きベクトルに基づいて予測信号を予測ブロック毎に生成するように構成されている。さらに、インター予測部１０１は、予測信号を減算器１０３及び加算器１０４に出力するように構成されている。
【００２４】
イントラ予測部１０２は、イントラ予測（フレーム内予測）によって予測信号を生成するように構成されている。
【００２５】
具体的には、イントラ予測部１０２は、対象フレームに含まれる参照ブロックを特定し、特定された参照ブロックに基づいて予測信号を予測ブロック毎に生成するように構成されている。例えば、参照ブロックは、対象ブロックに隣接するブロックである。
【００２６】
また、イントラ予測部１０２は、予測信号を減算器１０３及び加算器１０４に出力するように構成されている。
【００２７】
減算器１０３は、入力画像信号から予測信号を減算し、予測残差信号を変換・量子化部１０５に出力するように構成されている。ここで、減算器１０３は、イントラ予測又はインター予測によって生成される予測信号と入力画像信号との差分である予測残差信号を生成するように構成されている。
【００２８】
加算器１０４は、逆変換・逆量子化部１０６から出力される予測残差信号に予測信号を加算し、フィルタ前復号信号をイントラ予測部１０２及びインループフィルタ１０８に出力するように構成されている。ここで、フィルタ前復号信号は、イントラ予測部で用いる参照ブロックを構成する。
【００２９】
変換・量子化部１０５は、予測残差信号の変換処理を行うとともに、係数レベル値を取得するように構成されている。さらに、変換・量子化部１０５は、係数レベル値の量子化を行うように構成されていてもよい。
【００３０】
ここで、変換処理は、予測残差信号を周波数成分信号に変換する処理である。変換処理では、離散コサイン変換（ＤＣＴ；Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）に対応する基底パターン（変換行列）が用いられてもよく、離散サイン変換（ＤＳＴ；Ｄｉｓｃｒｅｔｅ  Ｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）に対応する基底パターン（変換行列）が用いられてもよい。
【００３１】
逆変換・逆量子化部１０６は、変換・量子化部１０５から出力される係数レベル値の逆変換処理を行うように構成されている。ここで、逆変換・逆量子化部１０６は、逆変換処理に先立って、係数レベル値の逆量子化を行うように構成されていてもよい。逆変換処理及び逆量子化は、変換・量子化部１０５で行われる変換処理及び量子化とは逆の手順で行われる。
【００３２】
符号化部１０７は、変換・量子化部１０５から出力された係数レベル値を符号化し、符号化データを出力するように構成されている。例えば、符号化は、係数レベル値の発生確率に基づいて異なる長さの符号を割り当てるエントロピー符号化である。
【００３３】
また、符号化部１０７は、係数レベル値に加えて、復号処理で用いる制御データを符号化するように構成されている。ここで、制御データは、符号化ブロックサイズ、予測ブロックサイズ、変換ブロックサイズ等のサイズデータを含んでもよい。
【００３４】
インループフィルタ１０８は、加算器１０４から出力されるフィルタ前復号信号に対してフィルタ処理を行うとともに、フィルタ後復号信号をフレームバッファ１０９に出力するように構成されている。例えば、フィルタ処理は、ブロック（予測ブロック又は変換ブロック）の境界部分で生じる歪みを減少するデブロッキングフィルタ処理である。
【００３５】
フレームバッファ１０９は、インター予測部１０１で用いる参照フレームを蓄積するように構成されている。ここで、フィルタ後復号信号は、インター予測部１０１で用いる参照フレームを構成する。
【００３６】
（イントラ予測モード）
Ｖｅｒｓａｔｉｌｅ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（ＶＶＣ）のイントラ予測モードは、非特許文献１に記載がある通り、複数のイントラ予測モードから構成されて選択される。
【００３７】
ＶＶＣは、非特許文献４のＨｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇでも使用されているＤＣ予測やプレーナ（Ｐｌａｎａｒ）予測や方向性予測が引き続き使用されており、方向性予測については、予測性能を向上させるために２倍の数となっている。
【００３８】
図３に記載されている数字は、イントラ予測モード番号と一意に対応づいており、プレーナ予測には「０」、ＤＣ予測には「１」、方向性予測には「２」〜「６６」までの番号が割り当てられている。
【００３９】
（画像符号化装置１００のイントラ予測部１０２）
以下、図４を参照して、本実施形態に係る画像符号化装置１００のイントラ予測部１０２について説明する。図４は、本実施形態に係るイントラ予測部１０２の機能ブロックの一例を示す図である。
【００４０】
イントラ予測部１０２は、予測モード決定部１０２Ａと予測画素生成部１０２Ｂとを備えている。
【００４１】
予測モード決定部１０２Ａは、予測対象画素に隣接する参照ブロックの参照画像信号に基づいて、予測モードを決定するように構成されている。予測画素生成部１０２Ｂは、予測画像信号を生成して出力するように構成されている。
【００４２】
ここで、予測モード決定部１０２Ａで決定した予測モードは、符号化部１０７に送られて、制御データ（識別フラグ、以降では「シンタックス要素」と記す）として符号化データに包含され、画像復号装置３００に伝送されるように構成されている。
【００４３】
（画像復号装置３００）
以下、図５を参照して、本実施形態に係る画像復号装置３００について説明する。図５は、本実施形態に係る画像復号装置３００の機能ブロックの一例を示す図である。
【００４４】
図５に示すように、画像復号装置３００は、復号部３０１と、逆変換・逆量子化部３０２と、加算器３０３と、インター予測部３０４と、イントラ予測部３０５と、インループフィルタ３０６と、フレームバッファ３０７とを有する。
【００４５】
復号部３０１は、画像符号化装置１００によって生成される符号化データを復号し、係数レベル値を復号するように構成されている。例えば、復号は、画像符号化装置１００の符号化部１０７で行われるエントロピー符号化とは逆の手順のエントロピー復号である。
【００４６】
また、復号部３０１は、符号化データの復号処理によって制御データを取得するように構成されていてもよい。上述したように、制御データは、符号化ブロックサイズや予測ブロックサイズや変換ブロックサイズ等のサイズデータを含んでもよい。また、制御データは、第２成分の予測サンプルの生成に用いる入力ソースを示す情報要素を含んでもよい。ここで、第２成分とは、例えば、画像信号を構成する輝度信号以外の色差信号を指す。
【００４７】
逆変換・逆量子化部３０２は、復号部３０１から出力される係数レベル値の逆変換処理を行うように構成されている。ここで、逆変換・逆量子化部３０２は、逆変換処理に先立って、係数レベル値の逆量子化を行うように構成されていてもよい。なお、逆変換処理及び逆量子化は、画像符号化装置１００の変換・量子化部１０５で行われる変換処理及び量子化とは逆の手順で行われる。
【００４８】
加算器３０３は、逆変換・逆量子化部３０２から出力される予測残差信号に予測信号を加算し、フィルタ前復号信号をイントラ予測部３０５及びインループフィルタ３０６に出力するように構成されている。フィルタ前復号信号は、イントラ予測部３９５で用いる参照ブロックを構成する。
【００４９】
インター予測部３０４は、画像符号化装置１００のインター予測部１０１と同様に、インター予測（フレーム間予測）によって予測信号を生成するように構成されている。
【００５０】
具体的には、インター予測部３０４は、対象フレームとフレームバッファ３０７に格納される参照フレームとの比較によって、参照フレームに含まれる参照ブロックを特定し、特定された参照ブロックに対する予測動きベクトルを決定するように構成されている。
【００５１】
また、インター予測部３０４は、予測ブロック及び予測動きベクトルに基づいて予測信号を予測ブロック毎に生成するように構成されている。インター予測部３０４は、予測信号を加算器３０３に出力するように構成されている。
【００５２】
イントラ予測部３０５は、画像符号化装置１００のイントラ予測部１０２と同様に、イントラ予測（フレーム内予測）によって予測信号を生成するように構成されている。
【００５３】
具体的には、イントラ予測部３０５は、対象フレームに含まれる参照ブロックを特定し、特定された参照ブロックに基づいて予測信号を予測ブロック毎に生成するように構成されている。イントラ予測部３０５は、予測信号を加算器３０３に出力するように構成されている。
【００５４】
インループフィルタ３０６は、画像符号化装置１００のインループフィルタ１０８と同様に、加算器３０３から出力されるフィルタ前復号信号に対してフィルタ処理を行うとともに、フィルタ後復号信号をフレームバッファ３０７に出力するように構成されている。例えば、フィルタ処理は、ブロック（予測ブロック又は変換ブロック）の境界部分で生じる歪みを減少するデブロッキングフィルタ処理である。
【００５５】
フレームバッファ３０７は、画像符号化装置１００のフレームバッファ１０９と同様に、インター予測部１０１で用いる参照フレームを蓄積するように構成されている。フィルタ後復号信号は、インター予測部１０１で用いる参照フレームを構成する。
【００５６】
（画像復号装置３００のイントラ予測部３０５）
以下、図６を参照して、本実施形態に係る画像復号装置３００のイントラ予測部３０５について説明する。図６は、実施形態に係るイントラ予測部の機能ブロックの一例を示す図である。
【００５７】
イントラ予測部３０５は、予測モード復号部３０５Ａと、予測画素生成部３０５Ｂとを備える。
【００５８】
予測モード復号部３０５Ａは、画像符号化装置１００から送られる符号化データに含まれる制御データ及び参照ブロックの参照画像信号に基づいて、予測対象ブロックの予測モードを復号するように構成されている。
【００５９】
ここで、制御データは、複数のイントラ予測方式の無効有効を示す識別フラグ、具体的には、複数参照ライン予測（ＭＲＬ）、イントラ細分割予測（ＩＳＰ）、方向性予測、プレーナ予測がそれぞれ有効であるか無効であるかについて示す識別フラグ（シンタックス要素）を含む。
【００６０】
予測モード復号部３０５Ａは、かかるシンタックス要素や、対象ブロックに隣接する参照ブロックの参照画像信号及び予測モードから、予測対象ブロックの予測モードを復号するように構成されている。
【００６１】
すなわち、予測モード復号部３０５Ａは、上述のシンタックス要素を用いて予測モードの復号方法を決定し、かかる復号方法が所定条件を満たす場合に、ＭＰＭリスト（最尤モードリスト）を用いて予測モードを復号するように構成されている。
【００６２】
予測画素生成部３０５Ｂは、上述の予測モード及び参照画像信号に基づいて、予測対象ブロックの予測画像信号を生成して出力するように構成されている。
【００６３】
ここで、複数のイントラ予測方式とは、例えば、ＭＲＬやＩＳＰであり、技術内容は、非特許文献１や非特許文献２に示されている。
【００６４】
ＭＲＬが有効な場合、予測画像信号の生成に利用できる予測モードは、方向性予測に限定されており、プレーナ予測及びＤＣ予測の利用は、禁止されている。また、ＩＳＰが有効な場合は、予測画像信号の生成に利用できる予測モードはプレーナ予測又は方向性予測に限定されており、ＤＣ予測の利用は、禁止されている。また、予測モード復号部３０５Ａでの予測モードの決定方法については、後述する。
【００６５】
（イントラ予測モードの復号方法：各種シンタックス要素の復号順序）
以下、図７を参照して、本実施形態に係る画像復号装置３００（具体的には、イントラ予測部３０５）の動作について説明する。図７は、本実施形態に係る画像復号装置３００において画像符号化装置１００から送られる各種シンタックス要素を復号する動作の一例を示すフローチャートである。
【００６６】
図７に示すように、ステップＳ１０１において、画像復号装置３００は、ＭＲＬが無効であるか有効であるかについて示すシンタックス（ｒｅｆ_ｉｄｘ）を復号する。
【００６７】
ここで、「ｒｅｆ_ｉｄｘ」が取り得る値は、「０」、「１」、「２」である。「ｒｅｆ_ｉｄｘ＝０」である場合は、ＭＲＬが無効であることを示し、画像復号装置３００は、対象ブロックに隣接する参照ブロックのうちブロック境界に位置する最近接（０ライン目）の画素を参照して予測画素を生成する。「ｒｅｆ_ｉｄｘ＝１」である場合は、ＭＲＬが有効であることを示し、画像復号装置３００は、ブロック境界から１ライン離れた画素を参照して予測画素を生成する。「ｒｅｆ_ｉｄｘ＝２」である場合は、ＭＲＬが有効であることを示し、画像復号装置３００は、ブロック境界に位置する画素から３ライン離れた画素を参照して予測画素を生成する。
【００６８】
ステップＳ１０２において、画像復号装置３００は、所定条件１が満たされているか否かについて判定する。ここで、所定条件１が満たされている場合は、本動作は、ステップＳ１０３に進み、所定条件１が満たされていない場合は、本動作は、ステップＳ１０７に進む。
【００６９】
所定条件１は、「ｒｅｆ_ｉｄｘ」の復号結果が「０」であることという条件を含んでもよい。
【００７０】
また、所定条件1は、予測対象ブロックがイントラ細分割予測可能なブロックサイズであることという条件を含んでもよい。例えば、イントラ細分割予測が可能なブロックサイズとは、予測対象ブロックの幅或いは高さが、変換ブロックの最大サイズ以下であり、且つ、予測対象ブロックの幅と高さとの積（面積）が、変換ブロックの最小面積（ブロック内に含まれる画素数）を超えることと設定することができる。例えば、変換ブロックの最大サイズが「６４」であり且つ変換ブロックの最小サイズが「４」であると値を設定した場合、４ｘ８、８ｘ８、６４ｘ６４、１２８ｘ３２等がイントラ細分割予測可能なブロックサイズと判定されるが、４ｘ４や１２８ｘ１２８といったブロックサイズではイントラ細分割予測が非適用となる。
【００７１】
ステップＳ１０３において、画像復号装置３００は、ＩＳＰが無効であるか有効であるかについて示すシンタックス要素である「ｉｓｐ_ｆｌａｇ」を復号する。
【００７２】
ここで、「ｉｓｐ_ｆｌａｇ」が取り得る値は、「０」又は「１」である。「ｉｓｐ_ｆｌａｇ＝０」である場合（すなわち、ＩＳＰが無効であることを示す場合）、画像復号装置３００は、対象ブロックにＩＳＰを適用しない。「ｉｓｐ_ｆｌａｇ＝１」である場合（すなわち、ＩＳＰが有効であることを示す場合）、画像復号装置３００は、対象ブロックにＩＳＰを適用する。
【００７３】
ステップＳ１０４において、画像復号装置３００は、所定条件２が満たされているか否かについて判定する。ここで、所定条件２が満たされている場合は、本動作は、ステップＳ１０５に進み、所定条件２が満たされていない場合は、本動作は、ステップＳ１０６に進む。
【００７４】
所定条件２は、「ｉｓｐ_ｆｌａｇ」の復号結果が「１」であることという条件を含んでもよい。
【００７５】
また、所定条件２は、イントラ細分割方向が自明でないことという条件を含んでもよい。ここで、イントラ細分割方向が自明ではないとは、対象ブロック幅及び高さが、変換ブロックの最大サイズ以下であると設定できる。
【００７６】
例えば、変換ブロック最大サイズが「６４」であり且つ変換ブロックの最小サイズが「４」であると値を設定した場合、４ｘ８、８ｘ８、６４ｘ６４等は、垂直方向或いは水平方向のいずれにもイントラ細分割予測が可能と判定されるが、１２８ｘ３２は、垂直方向の分割、すなわち、イントラサブブロックが３２ｘ３２となる方向にしかイントラ細分割ができないため、イントラ細分割方向が自明と判定でき、後述するＩＳＰの分割方向を識別するシンタックス要素である「ｉｓｐ_ｓｐｌｉｔ_ｆｌａｇ」を復号しなくてもよい。
【００７７】
ステップＳ１０５において、画像復号装置３００は、ＩＳＰの分割方向を識別するシンタックス要素である「ｉｓｐ_ｓｐｌｉｔ_ｆｌａｇ」を復号する。
【００７８】
ここで、「ｉｓｐ_ｓｐｌｉｔ_ｆｌａｇ」が取り得る値は、「０」又は「１」である。「ｉｓｐ_ｓｐｌｉｔ_ｆｌａｇ＝０」である場合は、水平分割であることを示し、「ｉｓｐ_ｓｐｌｉｔ_ｆｌａｇ＝１」である場合は、垂直分割であることを示す。
【００７９】
ステップＳ１０６において、画像復号装置３００は、方向性予測の無効有効を識別するシンタックス要素である「ａｎｇｕｌａｒ_ｆｌａｇ」を復号する。
【００８０】
ここで、「ａｎｇｕｌａｒ_ｆｌａｇ」が取り得る値は、「０」又は「１」である。「ａｎｇｕｌａｒ_ｆｌａｇ＝０」である場合、画像復号装置３００は、対象ブロックに方向性予測を適用しない。「ａｎｇｕｌａｒ_ｆｌａg＝１」である場合、画像復号装置３００は、対象ブロックに方向性予測を適用する。
【００８１】
なお、「ｉｓｐ_ｆｌａｇ」が復号されていない場合、すなわち、所定条件２が満たされていない場合、画像復号装置３００は、「ｉｓｐ_ｆｌａｇ＝０」且つ「ａｎｇｕｌａｒ_ｆｌａｇ＝１」であるとみなすことができる。
【００８２】
ステップＳ１０７において、画像復号装置３００は、所定条件３が満たされているか否かについて判定する。ここで、所定条件３が満たされている場合は、本動作は、ステップＳ１０８に進み、所定条件３が満たされていない場合は、本動作は、ステップＳ１１１に進む。
【００８３】
ここで、所定条件３は、「ａｎｇｕｌａｒ_ｆｌａｇ」の復号結果が「０」であることという条件を含んでもよい。
【００８４】
なお、「ｉｓｐ_ｆｌａｇ」及び「ａｎｇｕｌａｒ_ｆｌａｇ」が復号されていない場合、すなわち、所定条件１が満たされていない場合、画像復号装置３００は、「ｉｓｐ_ｆｌａｇ＝０」且つ「ａｎｇｕｌａｒ_ｆｌａｇ＝１」であるとみなすことができる。
【００８５】
ステップS１０８において、画像復号装置３００は、所定条件４が満たされているか否かについて判定する。ここで、所定条件４が満たされている場合は、本動作は、ステップＳ１０９に進み、所定条件４が満たされていない場合は、画像復号装置３００は、予測モードの復号結果をプレーナ予測モードに決定して、本動作を終了する。
【００８６】
ここで、所定条件４は、「ｉｓｐ_ｆｌａｇ」の復号結果が「０」であることという条件を含んでもよい。
【００８７】
所定条件４に対する判定を行うことで、「ｉｓｐ_ｆｌａｇ＝１」である場合は、プレーナ予測に予測モードが一意に決定されるため、後述する「ｐｌａｎａｒ_ｆｌａｇ」のシンタックス要素の伝送が不要となり、符号量の削減に寄与することができる。
【００８８】
ステップＳ１０９において、画像復号装置３００は、プレーナ予測の無効有効を識別するシンタックス要素である「ｐｌａｎａｒ_ｆｌａｇ」を復号する。
【００８９】
ここで、「ｐｌａｎａｒ_ｆｌａｇ」が取り得る値は、「０」又は「１」である。「ｐｌａｎａｒ_ｆｌａｇ＝０」である場合、画像復号装置３００は、対象ブロックにＤＣ予測を適用し、「ｐｌａｎａｒ_ｆｌａｇ＝１」である場合、画像復号装置３００は、対象ブロックにプレーナ予測を適用する。
【００９０】
ステップＳ１１０において、画像復号装置３００は、所定条件５が満たされているか否かについて判定する。ここで、所定条件５が満たされている場合は、本動作は、ステップＳ１１１に進み、所定条件５が満たされていない場合は、本動作は、ステップＳ１１２に進む。
【００９１】
ここで、所定条件５は、「ｉｓｐ_ｆｌａｇ」が「０」であり且つ「ｒｅｆ_ｉｄｘ」が「０」であることという条件を含んでもよい。ＩＳＰ及びＭＲＬのいずれかが有効である場合は、隣接の参照ブロックの予測モードから予測モードを復号すること、すなわち、ＭＰＭリスト内の予測モードから予測モードを決定することが自明であるため、後述するＭＰＭリスト内から予測モードを復号して決定するかどうかを識別するフラグ「ｍｐｍ_ｆｌａｇ」を復号しなくてもよい。
【００９２】
ステップＳ１１１において、画像復号装置３００は、イントラ予測モードの復号結果をＭＰＭリスト内に存在する予測モードから選択するかどうかを識別する「ｍｐｍ_ｆｌａｇ」を復号する。
【００９３】
ここで、「ｍｐｍ_ｆｌａｇ」が取り得る値は、「０」又は「１」である。「ｍｐｍ_ｆｌａｇ＝１」である場合、画像復号装置３００は、後述するＭＰＭリスト内に存在する予測モードから選択し、「ｍｐｍ_ｆｌａｇ＝０」である場合、画像復号装置３００は、ＭＰＭリスト内に存在しない予測モードを予測対象ブロックに適用する。
【００９４】
ステップＳ１１２において、画像復号装置３００は、所定条件６が満たされているか否かについて判定する。ここで、所定条件６が満たされている場合は、本動作は、ステップＳ１１４に進み、所定条件６が満たされていない場合は、本動作は、ステップＳ１１３に進む。
【００９５】
ここで、所定条件６は、「ｍｐｍ_ｆｌａｇ」の復号結果が「１」であることという条件を含んでもよい。
【００９６】
なお、「ｍｐｍ_ｆｌａｇ」が復号されていない場合、すなわち、所定条件５が満たされていない場合は、画像復号装置３００は、「ｍｐｍ_ｆｌａｇ＝１」であるとみなすことができる。
【００９７】
ステップＳ１１３において、画像復号装置３００は、ＭＰＭリストに入っている予測モードのリスト番号を示すシンタックス要素である「ｍｐｍ_ｉｄｘ」を復号して本動作を終了する。
【００９８】
ここで、「ｍｐｍ_ｉｄｘ」が取り得る値は、ＭＰＭの数によって決まり、例えば、ＭＰＭが６個である場合、「ｍｐｍ_ｉｄｘ」は、「０」、「１」、「２」、「３」、「４」、「５」という値を取り得る。「ｍｐｍ_ｉｄｘ」の値が小さいモードの方が、より少ない符号量で符号化できるように符号語が割り当てられている場合、後述するＭＰＭリストの構築方法において、リストの優先順位を工夫することで、符号化効率が向上する効果が得られる。
【００９９】
ステップＳ１１４において、画像復号装置３００は、ＭＰＭリストに入っている予測モードを省いた全予測モードの中の採用予測モード番号を示すシンタックス要素である「ｍｐｍ_ｒｅｍａｉｎｄｅｒ」を復号して本動作を終了する。
【０１００】
なお、「ｍｐｍ_ｒｅｍａｉｎｄｅｒ」を用いた予測モードの決定方法は、例えば、非特許文献１に記されている方法と同じように、ＭＰＭリストに入っている予測モードとの比較により決定されてもよい。
【０１０１】
（シンタックス要素の復号順序の変更例１）
以下において、上述した予測モード復号のためのシンタックス要素の復号順序についての変更例１を説明する。図８は、予測モード復号のためのシンタックス要素の復号順序についての変更例１を示す。
【０１０２】
上述の復号順序との差異は、「ｒｅｆ_ｉｄｘ」の判定位置が復号順序の最初ではなく、「ｉｓｐ_ｆｌａｇ」及び「ａｎｇｕｌａｒ_ｆｌａｇ」の判定後に位置する点である。
【０１０３】
このように復号順序を変更することで、ＭＲＬが有効な場合に復号が必要なシンタックス要素数（符号量）は増加してしまう一方、ＭＲＬが無効な場合で且つＤＣ予測又はプレーナ予測が有効な場合、或いは、ＩＳＰが有効な場合で且つ方向性予測が有効な場合、復号が必要なシンタックス要素数（符号量）は減少する効果が得られる。
【０１０４】
以下、図８を用いて、復号順序の変更例の詳細について説明する。
【０１０５】
まず、所定条件１’は、所定条件１と異なる。所定条件１’には、所定条件１に含まれている「ｒｅｆ_ｉｄｘ＝０」の判定が含まれない。これは、上述した通り、「ｒｅｆ_ｉｄｘ」による判定が復号順序の後段に位置するためである。
【０１０６】
次に、所定条件２’〜４’は、所定条件２〜４とそれぞれ同じである。
【０１０７】
さらに、所定条件５’は、所定条件５と異なる。所定条件５’には、所定条件５に含まれている「ｒｅｆ_ｉｄｘ＝０」の判定が含まれない。これは、上述した通り、「ｒｅｆ_ｉｄｘ」による判定が復号順序の本所定条件の直後に位置するためである。
【０１０８】
さらに、所定条件６’は、上述の復号順所にはない新規の判定である。所定条件６’には、「ｒｅｆ_ｉｄｘ＝０」の判定が含まれる。これは、上述した通り、ＭＲＬが有効の場合は、ＭＰＭリスト内に含まれる予測モードから予測モードを復号することが自明であるため、「ｍｐｍ_ｆｌａｇ」の復号を省略するためである。
【０１０９】
さらに、所定条件７’は、所定条件６と同じである。
【０１１０】
（シンタックス要素の復号順序の変更例２）
以下において、上述した予測モード復号のためのシンタックス要素の復号順序についての変更例２を説明する。図９は、予測モード復号のためのシンタックス要素の復号順序についての変更例２を示す。
【０１１１】
上述の変更例1との違いは、「ｒｅｆ_ｉｄｘ」の復号位置をツリーの最終段に配置変更した点である。これにより、ＭＲＬが有効な場合に復号が必要なシンタックス要素数（符号量）は増加してしまう一方、ＭＲＬが無効の場合、特に、ＭＲＬが無効な場合で且つ「ｍｐｍ_ｆｌａｇ＝０」である場合に必要なシンタックス（符号量）は、上述の変更例１と比較してさらに減少する効果が得られる。
【０１１２】
（イントラ予測モードの復号方法：ＭＰＭリストの構築方法）
ＶＶＣのイントラ予測モードの復号は、複数のＭＰＭを用いたＭＰＭリストの構築方法によって実施される。かかるＭＰＭリストの構築方法は、図１０に示すように、予測対象ブロックの左下端と右上端に隣接する２つの参照ブロックＡ及びＢが有する予測モードによって、大きく３種類に場合分けされる。かかる３種類の場合分けについては後述する。
【０１１３】
なお、図１０では、参照ブロックの位置を左下端及び右上端としているが、予測対象ブロックの左端及び上端の中央位置や、左上端に隣接する位置にしてもよい。また、２つの参照ブロックではなく、複数の参照ブロックを用いてもよい。
【０１１４】
以降で説明するＭＰＭリストの構築方法では、非特許文献１とは異なり、ＭＰＭリストの中からＤＣ予測及びプレーナ予測が常に除外されている。その理由は、上述した通り、ＤＣ予測及びプレーナ予測は、シンタックス要素によって一意に無効であるか有効であるかが識別されるためである。これにより、ＤＣ予測及びプレーナ予測をＭＰＭリストの構築方法から除外して、ＤＣ予測及びプレーナ予測以外の予測モードを優先的にＭＰＭリストに入れられるため、非特許文献１に記されているようなＭＰＭリストの構築方法と比較して、ＭＰＭリストの構築方法を簡素化できる効果が得られる。
【０１１５】
以降で、上述のシンタックス要素の復号結果に基づいたＭＰＭリスト構築方法の詳細について説明する。
【０１１６】
（イントラ予測モードの復号方法：ＤＣ予測及びプレーな予測を除外したＭＰＭリストの構築方法）
以下、図１３及び図１４を参照して、本実施形態に係るＭＰＭリストの構築方法について説明する。図１３及び図１４は、本実施形態に係るＭＰＭリストの構築方法の一例について示す図である。図１３及び図１４の例では、ＭＰＭリストの構築にあたって、６個のＭＰＭを用いているが、非特許文献１のように、３個のＭＰＭを使う等、他の個数のＭＰＭを用いてもよい。
【０１１７】
図１３及び図１４に示すＭＰＭリストの構築方法は、予測対象ブロックに隣接する２つのブロックＡ/Ｂの予測モードＡ/Ｂに応じて、まず初めに、以下の３種類に場合分けを行うが、かかる方法は、非特許文献１及び４記されているＭＰＭリストの構築方法（以下、従来ＭＰＭリスト構築方法と記す）の３種類の場合分け（下記参照）と同じである。
１）Ａ及びＢが同じ予測モードで、且つ、Ａが１よりも大きい場合（Ａ＝Ｂが、ＤＣ予測又はプレーナ予測ではない場合）、
２）Ａ及びＢが違う予測モードで、且つ、Ａ又はＢが１よりも大きい場合（Ａ及びＢのいずれかがＤＣ予測又はプレーナ予測である場合）、
３）Ａ及びＢ違う予測モードで、且つ、Ａ及びＢが１よりも大きい場合（Ａ及びＢのいずれもＤＣ予測又はプレーナ予測ではない場合）、
ここで、（１）についての判定は、図１３のステップＳ２０１に対応し、（２）及び（３）についての判定は、図１３のステップＳ２０６及び図１４のＳ２０７に対応する。
【０１１８】
本実施形態に係るＭＰＭリストの構築方法と従来ＭＰＭリスト構築方法との相違点は、以下の２点である。
-  第１相違点：  ＤＣ予測及びプレーナ予測は、上述のように、新たに定義されたシンタックス要素である「ａｎｇｕｌａｒ_ｆｌａｇ」及び「ｐｌａｎａｒ_ｆｌａｇ」で一意に選択されるため、ＭＰＭリストの候補予測モードから常に除外される点。
-  第２相違点：  新規のシンタックス要素の追加及び当該シンタックス要素の復号順序の工夫により、ＭＰＭリスト内に入る予測モードの候補は、方向性予測に限定されるため、ＭＰＭリストの構築方法において、ＭＲＬが無効であるか有効であるかの分岐、すなわち、ＭＲＬ（ｒｅｆ_ｉｄｘ）による判定条件が不要となる（常にリストから除外される）。
【０１１９】
上述の第１〜２相違点の作用として、ＭＰＭリストの構築方法が従来ＭＰＭ構築方法と比較して簡素化されるという効果を得ることができる。以下で、第１〜２相違点のそれぞれの詳細について説明する。
【０１２０】
（第１の相違点）
以下、上述の第１相違点について説明する。
【０１２１】
例えば、図１３のステップＳ２０１が満たされる場合、従来ＭＰＭ構築方法では、かかるＭＰＭリストツリーの配下で、ＭＰＭリスト内にＤＣ予測或いはプレーナ予測が含まれるケースが存在し得た。例えば、かかるケースとして、ＭＲＬ及びＩＳＰが無効であるケースが想定される。
【０１２２】
Ａ及びＢが共に、ＤＣ予測及びプレーナ予測ではない場合であっても、ＤＣ予測及びプレーナ予測は、方向性予測と比較して、一般に選択されやすい予測モードであるため、従来ＭＰＭ構築方法では、ＭＰＭリスト内に選択される可能性が残していた。
【０１２３】
一方で、本実施形態に係る技術を適用した場合、ステップＳ２０１配下で、ＭＰＭリスト内からＤＣ予測及びプレーナ予測が常に除外される。これは、新規のシンタックス要素を用いてＤＣ予測及びプレーナ予測が無効であるか有効であるかどうかを、ＭＰＭリストの外で一意に識別可能なことから、ＭＰＭリストにＤＣ予測及びプレーナ予測を含める必要がないためである。
【０１２４】
ＭＰＭリスト内からＤＣ予測及びプレーナ予測を常に除外できることは、ＭＰＭリスト内の予測モードの候補を方向性予測で全て埋められることに繋がるため、結果的に、ＤＣ予測及びプレーナ予測の選択可能性を残していたリストのツリー部を削除でき、ＭＰＭリストツリーが簡素化される。
【０１２５】
（第２相違点）
以下、第２相違点について説明する。
【０１２６】
上述のように、図８又は図９で示した新規のシンタックス要素の追加及び当該シンタックス要素の復号順序の工夫により、ＭＰＭリスト内に含まれる予測モードの候補は、方向性予測に限定される。
【０１２７】
そのため、本実施形態に係るＭＰＭリストからはＭＲＬが無効であるか有効であるかを判定する分岐を常に除外することができる。従来のＭＰＭリスト構築方法では、上述の通り、ＭＰＭリスト内にＤＣ予測及びプレーナ予測の選択の可能性を残していたために、ＭＲＬの無効有効を判定する条件を入れる必要があり、ＭＰＭリストの分岐が、結果的に増大してしまっていた。
【０１２８】
本実施形態に係るＭＰＭリストの構築方法は、ＭＰＭリストの外でＭＲＬの無効有効を判定するため、ＭＰＭリストからＭＲＬの判定を常に除外することができ、結果的にＭＰＭリストツリーが簡素化される。
【０１２９】
（ＭＰＭリスト内の方向性予測の近傍モードの算出方法）
ここで、図１１に示すステップＳ９０２について補足して説明する。
【０１３０】
ステップＳ９０２のＭＰＭリスト［０］［１］［２］［３］［４］［５］には、それぞれＡ、Ａの近傍の予測モードが入るようになっている。ここでＡの近傍の予測モードの算出方法は、非特許文献１に記載がある方法と同じく、除算を用いて以下のように算出される。
［０］＝Ａ
［１］＝２＋（（「Ａ」＋６１）/６４）
［２］＝２＋（（「Ａ」−１）/６４）
［３］＝２＋（（「Ａ」＋６０）/６４）
［４］＝２＋（（「Ａ」/６４）
［５］＝２＋（（「Ａ」＋５８）/６４）
このように除算を用いた算出方法により、いずれの方向性予測モードの番号でも、そのモードの近傍のモードがリストに入るようになっている。
【０１３１】
例えば予測モードが１０の場合、ＭＰＭリストは以下のように算出方法される。
［０］＝１０
［１］＝９
［２］＝１１
［３］＝８
［４］＝１２
［５］＝７
【０１３２】
また、Ａが予測モードの３あるいは６６付近の値を取る場合は、Ａと１８０℃反対の予測モードがＭＰＭリスト内に含まれることとなる。例えば、Ａが６５の場合は、以下のようにＭＰＭリスト内の予測モードが算出される。
［０］＝６５
［１］＝６４
［２］＝２
［３］＝６３
［４］＝３
［５］＝６２
【０１３３】
次に、図１４に示すステップＳ２０９、ステップＳ２１０及びステップＳ２１１の処理について補足して説明する。
【０１３４】
第１に、ステップＳ２０９において、画像復号装置３００は、「ｍｉｎＡＢ」と「ｍａｘＡＢ」との差が「１」であるか否かについて判定する。
【０１３５】
ここで、「ｍｉｎＡＢ」及び「ｍａｘＡＢ」について、ＡとＢのモード番号を比較して、小さい方の予測モードを「ｍｉｎＡＢ」とし、大きい方の予測モードを「ｍａｘＡＢ」とするものである。
【０１３６】
この結果、画像復号装置３００は、Ａ及びＢの予測モードが隣接するかどうかについて確認する。
【０１３７】
ここで、ステップＳ２０９の条件が満たされる場合、すなわち、Ａ及びＢの予測モードが隣接するため、ステップＳ２１０において、ＭＰＭリスト［２］［３］［４］［５］に入るＡ及びＢの近傍の予測モードの値が、以下のように算出される。なお、近傍の予測モードの算出方法は、前述で示したものと同じ設計思想である。
［２］＝２＋（（「ｍｉｎＡＢ」＋６１）/６４） ⇒「ｍｉｎＡＢ」に対して１つ小さい予測モードを意味する。
［３］＝２＋（（「ｍａｘＡＢ」−１）/６４）⇒「ｍａｘＡＢ」に対して１つ大きい予測モードを意味する。
［４］＝２＋（（「ｍｉｎＡＢ」＋６０）/６４）⇒「ｍｉｎＡＢ」に対して２つ小さい予測モードを意味する。
［５］＝２＋（「ｍａｘＡＢ」/６４）⇒「ｍａｘＡＢ」に対して２つ大きい予測モードを意味する。
【０１３８】
この結果、Ａ及びＢが隣接する予測モードであっても、それぞれの近接モードを正確にＭＰＭリスト内に含めることができる。
【０１３９】
第２に、ステップＳ２１１において、画像復号装置３００は、「ｍａｘＡＢ」と「ｍｉｎＡＢ」との差が「２」であるか否かについて判定する。
【０１４０】
この結果、画像復号装置３００は、Ａ及びＢの予測モードが間に１つの方向性予測モードを挟んで隣接するかどうかについて確認する。
【０１４１】
ここで、ステップＳ２１１の条件が満たされる場合、すなわち、Ａ及びＢの予測モードが１つの方向性予測モードを挟んで隣接する場合、ステップＳ２１２において、ＭＰＭリスト［２］［３］［４］［５］に入るＡ及びＢの近傍モードの値が、以下のようになる。
［２］＝２＋（（「ｍｉｎＡＢ」−１）/６４）⇒ 「ｍｉｎＡＢ」−１に対して１つ小さい予測モードを意味する。
［３］＝２＋（（「ｍｉｎＡＢ」＋６１）/６４）⇒「ｍｉｎＡＢ」−１に対して１つ大きい予測モードを意味する。
［４］＝２＋（（「ｍａｘＡＢ」−１）/６４）⇒「ｍａｘＡＢ」に対して１つ大きい予測モードを意味する。
［５］＝２＋（（「ｍｉｎＡＢ」＋６０）/６４）⇒ 「ｍｉｎＡＢ」に対して２つ小さい予測モードを意味する。
【０１４２】
この結果、ＡとＢとの間の予測モードを含めたＡ及びＢの近接モードを正確にＭＰＭリスト内に含めることができる。
【０１４３】
その他、ステップＳ２１４、ステップＳ２１５、ステップＳ２１６、ステップＳ４０４及びステップＳ４０６についても、同じ設計思想で、「ｍａｘＡＢ」或いは「ｍｉｎＡＢ」の近傍モードの除算を用いることで、正確にＭＰＭリストに含めることができる。
【０１４４】
（変更例１）
以下、第３相違点のうち、ＩＳＰが有効である場合のＭＰＭリストの構築方法におけるＭＰＭリスト内の水平モード及び垂直モードの優先選択について説明する。
【０１４５】
ＩＳＰが有効な場合、ＩＳＰの分割方向に近い予測モードが選択されることが望ましい。すなわち、水平分割が行われる場合は、水平方向の予測モードが優先的に選択されることが望ましく、垂直分割が行われる場合は、垂直方向の予測モードが優先的に選択されることが望ましい。かかる要求を満たすために、ＩＳＰ有効時にＭＰＭリストに入る３個の候補パラメータ（デフォルトモード）を新たに定義した。
【０１４６】
以下、図１２を参照して、ＩＳＰの分割方向を考慮したＭＰＭリストのデフォルトモードについて説明する。図１２は、ＩＳＰの分割方向を考慮したＭＰＭリストのデフォルトモードの判定図を示している。
【０１４７】
ここで、「ｉｓｐＤ１」、「ｉｓｐＤ２」及び「ｉｓｐＤ３」は、３個のデフォルトモードを示す。なお、図１２の例では、３個のデフォルトモードを用いているが、ＭＰＭリストに入るＭＰＭの数に応じて、デフォルトモードの数を変更してもよい。
【０１４８】
図１２に示すように、ステップＳ３０１において、画像復号装置３００は、復号した「ｉｓｐ_ｓｐｌｉｔ」が「０」であるか否かについて判定する。
【０１４９】
ここで、「ｉｓｐ_ｓｐｌｉｔ＝０」である場合、上述のように、水平分割が行われるため、水平方向に近い予測モードが優先的に選択されることが望ましい。
【０１５０】
したがって、「ｉｓｐ_ｓｐｌｉｔ＝０」である場合、ステップＳ３０２において、「ｉｓｐＤ１」、「ｉｓｐＤ２」及び「ｉｓｐＤ３」には、水平予測モード（モード番号：１８）、続いて水平方向に近い予測モード（モード番号：５、１１）が代入される。
【０１５１】
一方で、「ｉｓｐ_ｓｐｌｉｔ＝１」である場合、上述のように、垂直分割が行われるため、垂直方向に近い予測モードが優先的に選択されることが望ましい。
【０１５２】
したがって、「ｉｓｐ_ｓｐｌｉｔ＝１」である場合、ステップＳ３０３において、「ｉｓｐＤ１」、「ｉｓｐＤ２」及び「ｉｓｐＤ３」には、垂直予測モード（モード番号：５０）、続いて垂直方向に近い予測モード（モード番号：６３、５７）が代入される。
【０１５３】
ＩＳＰの分割方向及び隣接ブロックの予測モードが仮に大きく離れてしまう場合、かかる３個のデフォルトモードをＭＰＭリスト内に含めるようにすれば、従来ＭＰＭ構築方法では選択されなかった分割方向と同じ方向の予測モードが選択される可能性が残るため、結果的に予測性能向上という効果が得られる。
【０１５４】
以下に、上述のケースの適用例について示す。
【０１５５】
例えば、図１３において、ステップＳ２０３の条件が満たされる場合は、かかる判定結果から、ＩＳＰによる分割方向がＡに近いことが分かるため、画像復号装置３００は、Ａの近傍の予測モードをＭＰＭリストにそのまま含めてもよい。
【０１５６】
一方、図１３において、ステップＳ２０３の条件が満たされない場合には、ＭＰＭリストの上位候補［０］［１］［２］には、分割方向とは異なる予測モードＡ及びその近傍の予測モードで埋められてしまう。したがって、分割方向を考慮した予測モードの選択可能性を残すために、ＭＰＭリストの下位候補［３］［４］［５］には、ＩＳＰの分割方向を考慮して決定したデフォルトモードを含めるようにすることで、仮に、ＩＳＰの分割方向に対して隣接ブロックの予測モードが極端に離れる場合であっても、ＭＰＭリスト内にＩＳＰの分割方向に近い予測モードが入れられる。
【０１５７】
また、例えば、図１３において、ステップＳ２０６の条件が満たされない場合、すなわち、Ａ及びＢがＤＣ予測或いはプレーナ予測のいずれかである場合、従来のＭＰＭリスト構築方法では、リストの上位にＤＣ予測及びプレーナ予測が入っていたが、上述のように、本実施形態に係るＭＰＭリスト構築方法を採る場合、ＭＰＭリストからはＤＣ予測及びプレーナ予測が常に除外されているため、ＭＰＭリスト内には、ＤＣ予測及びプレーナ予測（Ａ及びＢ）以外の方向性予測が選択されることとなる。
【０１５８】
そのため、ステップＳ２１７では、ＩＳＰの無効有効が判定され、ステップＳ２１７の条件が満たされる場合、すなわち、ＩＳＰが無効である場合は、ＭＰＭリスト内には、垂直モード、水平モードが入った後、斜めモードが順に含まれるようになる。
【０１５９】
一方で、図１３のステップＳ２１７において、ＩＳＰが有効であると判定された場合には、上述のように、ＩＳＰの分割方向を考慮して予測モードを選択することが望ましいため、ステップＳ２１９で「ｉｓｐ_ｓｐｌｉｔ＝０」であるか否かについて判定される。
【０１６０】
ステップＳ２１９の条件が満たされる場合、すなわち、水平分割が行われる場合は、水平モード及び水平方向に近いモード（図１３では、水平モードから「−７」、「＋８」離れた予測モードを入れている）をＭＰＭリストの上位に配置し、垂直モードをＭＰＭリストの最下位に配置することで、水平モードが選択されやすくしつつ、垂直モードが選択されにくくしている。
【０１６１】
一方、ステップＳ２１９の条件が満たされない場合、すなわち、垂直分割が行われる場合は、垂直モード及び垂直方向に近いモード（図１３では、垂直モードから「−７」、「＋８」離れた予測モードを入れている）をＭＰＭリスト内の上位に配置し、水平モードを最下位に配置して、垂直モードが選択されやすくしつつ、水平モードが選択されにくくしている。
【０１６２】
また、ＭＰＭリスト内の中間の位置［３］［４］には、最下位の予測モードから比較的遠い予測モード（図１２の例では、最下位の予測モードから「−１５」、「＋１５」離れた予測モード）をそれぞれ含めるようにすることで、ＭＰＭリストを用いて決定する予測モードが、ＭＰＭリスト内の上位の予測モードから外れる場合であっても、下位の予測モードを上述のようにある程度幅を持たせた候補とすることで、本来選択されるべき予測モードから外れにくくすることができる。
【０１６３】
ＭＰＭリストの最上位又は最下位以外の候補モードとして、それぞれ最上位又は最下位からどれだけ離れたモード番号を含めるかは、設計者が自由に設定可能だが、ＭＰＭリストの上位が選択されやすく、ＭＰＭリストの下位が選択されにくいモード番号を入れることで、結果的に選択される予測モードを表す「ｍｐｍ_ｉｄｘ」の符号語を小さくする、すなわち、符号量を小さくすることができるため、符号化性能の向上が期待できるようになる。
【０１６４】
以下、図１５及び図１６を参照して、変更例１のうち、ＩＳＰを考慮したＭＰＭリスト内の候補予測モードの優先順位の変更について説明する。
【０１６５】
図１５及び図１６には、上述の図１３及び図１４に示すＭＰＭリストの構築方法に対して、ステップＳ４０１、ステップＳ４０３及びステップＳ４０５の判定が追加されている。
【０１６６】
ステップＳ４０１において、画像復号装置３００は、ＩＳＰが有効である場合、「ｉｓｐＤ１」に対するＡ及びＢの絶対値差を比較する（「ｉｓｐＤ１」に対するＢの絶対値差が「ｉｓｐＤ１」に対するＡの絶対値差が小さいか否かについて判定する）。
【０１６７】
かかる比較を新たに入れることで、ＩＳＰの分割方向に対して、Ａ又はＢBのどちらの予測モードが近いかを比較することでき、近い方のＭＰＭリスト内の優先度を修正することができる。
【０１６８】
例えば、ステップＳ４０１の条件が満たされない場合、すなわち、ＢがＡよりも「ｉｓｐＤ１」に代入されているデフォルトモード（ＩＳＰの分割方向に近い予測モード）である場合、ＭＰＭリスト［０］［１］に入る順序が、ステップＳ４０２に示すように、ＢからＡという順序に修正される。
【０１６９】
同様に、ステップＳ４０３及びステップＳ４０５においても、画像復号装置３００は、ＩＳＰが有効である場合、「ｉｓｐＤ１」に対する「ｍｉｎＡＢ」及び「ｍａｘＡＢ」の絶対値差を比較する。
【０１７０】
「ｉｓｐＤ１」に対する「ｍｉｎＡＢ」及び「ｍａｘＡＢ」の絶対値差を比較することで、ＩＳＰの分割方向に近い予測モードのＭＰＭリスト内における優先度を、ステップＳ４０４及びステップＳ４０６に示すように修正することができる。
【０１７１】
（変更例２：ＭＰＭリストの一部共通化による簡素化）
以下、図１７を参照して、ＭＰＭリストの構築方法の簡素化例について示す。図１７は、図１１に示すＭＰＭリストの構築方法と比較して、ＭＰＭリストツリーの一部（図１１のステップＳ９０２及びステップＳ９１６）が共通化されることにより、ＭＰＭリストツリーが簡素化されている。
【０１７２】
以下に、ＭＰＭリストの共通化したポイントを説明する。
【０１７３】
まず、図１７では、最初の判定条件であるステップＳ１００１が、図１１と異なっている。図１７のステップＳ１００１には、Ａ及びＢが同じモードであり、且つ、ＡがＤＣよりも大きいという条件に加えて、Ａ及びＢが異なるモードであり、且つ、Ａ及びＢのいずれか一方が方向性予測で、もう一方がＤＣ又はプレーナ予測であるという条件が追加されている。
【０１７４】
さらに、ステップＳ１００１の直後で、Ａを「ｍａｘＡＢ」であると再定義することで、仮に、上述のステップＳ１００１で、Ａ及びＢが異なるモードである場合であっても、ＭＰＭリスト内をＡ及びＡの近傍モードで埋めることができるようになるため、図１１で分岐していたステップＳ９０２及びステップＳ９１６の分岐を共通化することができ、ＭＰＭリストツリーを更に簡素化することができる。
【０１７５】
（変更例３：変更例１と変更例２のハイブリッド型）
図１８は、上述の変更例１及び変更例２のハイブリッド型のＭＰＭリスト構築方法である。本変更例３に係るＭＰＭリスト構築方法は、変更例１で説明したＩＳＰが有効である場合にイントラ細分割方向を考慮したＭＰＭリスト内の予測モードの優先度修正をＭＰＭリストが煩雑化しない程度（例えば、図１８のステップＳ１２０１とステップＳ１２０２ように、ＡとＢのモードに依存しないリスト構築部分にのみ、ＩＳＰの無効有効及び分割方向を考慮した予測モードの修正を適用）に抑えつつ、さらに、変更例２で説明したＭＰＭリストの一部を共通化することで、符号化性能向上とＭＰＭリストの簡素化双方の効果が期待できる手法である。
【０１７６】
本実施形態に係る画像処理システム１によれば、複数のイントラ予測方式（ＭＲＬやＩＳＰ）を考慮した予測モードの復号方法において、ＭＲＬやＩＳＰや方向性予測やプレーナ予測の無効有効を識別するシンタックス要素を新たに定義することで、従来ＭＰＭリスト構築方法の３種類と、ＭＲＬ及びＩＳＰの有効・無効の判定との組み合わせで複雑化するＭＰＭリストの構築方法を簡素化することができる。
【０１７７】
さらに、本実施形態に係る画像処理システム１によれば、上述のシンタックス要素の復号順序を工夫することで、不要なシンタックス要素の復号（シグナリング）を回避できる。
【符号の説明】
【０１７８】
１…画像処理システム
１００…画像符号化装置
１０１、３０４…インター予測部
１０２、３０５…イントラ予測部
１０２Ａ…予測モード決定部
１０２Ｂ、３０５Ｂ…予測画素生成部
１０３…減算器
１０４、３０３…加算器
１０５…変換・量子化部
１０６、３０２…逆変換・逆量子化部
１０７…符号化部
１０８、３０６…インループフィルタ
１０９、３０７…フレームバッファ
３００…画像復号装置
３０１…復号部
３０５Ａ…予測モード復号部
【図１】
2020150344.tif 000003
【図２】
2020150344.tif 000004
【図３】
2020150344.tif 000005
【図４】
2020150344.tif 000006
【図５】
2020150344.tif 000007
【図６】
2020150344.tif 000008
【図７】
2020150344.tif 000009
【図８】
2020150344.tif 000010
【図９】
2020150344.tif 000011
【図１０】
2020150344.tif 000012
【図１１】
2020150344.tif 000013
【図１２】
2020150344.tif 000014
【図１３】
2020150344.tif 000015
【図１４】
2020150344.tif 000016
【図１５】
2020150344.tif 000017
【図１６】
2020150344.tif 000018
【図１７】
2020150344.tif 000019
【図１８】
2020150344.tif 000020