JP 2021-57730 A 2021.4.8(57)【要約】（修正有）【課題】高い圧縮率とより良い画質とを実現することができる画像符号化方法および画像復号方法を提供する。
【解決手段】画像符号化装置におけるインター予測部１
０５は、ヒストリーリストサイズの規定に従い、符号化を終えたブロックの動き予測情報を格納するヒストリー
リストと、ヒストリーリストのサイズを管理するヒスト
リーリストサイズ参照部６０３と、符号化対象ブロックの周辺ブロックの動き予測情報、コロケーテッドブロッ
クの動き予測情報に加え、ヒストリーリストの動き予測情報もマージモード候補として追加し、マージモード候補リストの作成を行うマージモードリスト作成部６０１と、マージモードリスト作成部６０１の作成したマージ
モード候補リストを元に最適な動き予測情報を選択し、マージモードによるインター予測を行うマージモード予測部６０２とを備える。
【選択図】図６

(2)JP 2021-57730 A 2021.4.8【特許請求の範囲】【請求項１】
入力画像を符号化する画像符号化装置であって、画面間予測を行うインター予測部を備え、符号化対象ブロックの動き予測情報を、符号化済みブロックの動き予測情報を参照して利用するマージ予測モードを持ち、マージ予測モードにおいて、動き予測情報を格納するマージモード候補リストを持ち、符号化済みブロックの動き予測情報をそれまでに選択された履歴に従って保持するヒス
トリーリストを持ち、ヒストリーリストの動き予測情報をマージモード候補リストにコピーする手段を持ち、ヒストリーリストの最大値を規定することが可能である、画像符号化装置。
【請求項２】
請求項１に記載の画像符号化装置において、ヒストリーリストに動き予測情報を登録する際に、リスト内に同じ動き予測情報があるか否かをチェックする手段を持つ、画像符号化装置。
【請求項３】
入力画像を符号化する画像符号化方法であって、画面間予測を行うステップと、符号化対象ブロックの動き予測情報を、符号化済みブロックの動き予測情報を参照して利用するマージモードによる予測を行うステップと、マージ予測モードにおいて、動き予測情報を格納するマージモード候補リストを持ち、符号化済みブロックの動き予測情報をそれまでに選択された履歴に従って保持するヒスト
リーリストを持ち、ヒストリーリストの動き予測情報をマージモード候補リストにコピーするステップと、を備え、ヒストリーリストの最大値を規定することが可能である、画像符号化方法。
【請求項４】
画像を符号化した符号化ストリームを復号する画像復号装置であって、画面間予測を行うインター予測部を備え、符号化対象ブロックの動き予測情報を、符号化済みブロックの動き予測情報を参照して利用するマージ予測モードを持ち、マージ予測モードにおいて、動き予測情報を格納するマージモード候補リストを持ち、符号化済みブロックの動き予測情報をそれまでに選択された履歴に従って保持するヒス
トリーリストを持ち、ヒストリーリストの動き予測情報をマージモード候補リストにコピーする手段を持ち、ヒストリーリストの最大値を規定することが可能である、画像復号装置。
【請求項５】
請求項４に記載の画像復号装置において、ヒストリーリストに動き予測情報を登録する際に、リスト内に同じ動き予測情報があるか否かをチェックする手段を持つ、画像復号装置。
【請求項６】
画像を符号化した符号化ストリームを復号する画像復号方法であって、画面間予測を行うステップと、符号化対象ブロックの動き予測情報を、符号化済みブロックの動き予測情報を参照して利用するマージモードによる予測を行うステップと、マージ予測モードにおいて、動き予測情報を格納するマージモード候補リストを持ち、符号化済みブロックの動き予測情報をそれまでに選択された履歴に従って保持するヒスト
リーリストを持ち、ヒストリーリストの動き予測情報をマージモード候補リストにコピーするステップと、を備え、ヒストリーリストの最大値を規定することが可能である、画像復号方法。
【発明の詳細な説明】

10

20

30

40

50

(3)

JP 2021-57730 A 2021.4.8【技術分野】【０００１】
本発明は画像を符号化する画像符号化方法、画像符号化装置、符号化画像データを復号
する画像復号方法および画像復号装置に関する。
【背景技術】【０００２】
画像、音声情報をデジタルデータ化して記録、伝達する手法として、Ｈ．２６４／ＡＶ
Ｃ (Advanced Video Coding)や Ｈ ． ２ ６ ５ ／ Ｈ Ｅ Ｖ Ｃ (High Efficiency Video Coding)規格等がこれまでに策定されてきた。ＩＳＯ／ＩＥＣ ＭＰＥＧとＩＴＵ−Ｔ ＶＣＥＧは、 さ ら に こ れ ら を 超 え る 圧 縮 率 を 実 現 す る Ｖ Ｖ Ｃ (Versatile Video Coding)と 呼 ば れ る 次
世代方式の検討を行っている（非特許文献１参照）。
【０００３】ＶＶＣの技術候補の１つとして、画面間予測（インター予測）におけるマージモードと呼ばれる方式が提案されている。マージモードでは、動き予測情報を符号化対象ブロックの周辺にある符号化済みブロックから取得する。ＨＥＶＣのマージモードでは、周辺ブロ
ックの動き予測情報をリスト化してマージモード候補リストを作成し、このリストの番号によって動き予測情報を指定していたが、ＶＶＣではさらにヒストリーベースの動き予測
情報の追加が提案されている。この方式では、別途ヒストリー用のリストを用意し、符号化されたブロックの動き予測情報を順次格納して、マージモード候補リストに追加するものである。
【先行技術文献】【非特許文献】【０００４】【 非 特 許 文 献 １ 】 Xiaozhong Xu and Shan Liu,＂ Recent advances in video coding beyond the HEVC standard＂ SIP (2019),vol.8【発明の概要】【発明が解決しようとする課題】【０００５】
しかし、現在提案されている方式では、ヒストリー用のリストはサイズが６に固定されてしまっている。サイズが固定であると、携帯端末のようなメモリの少ないシステムでも一定のリストを保持せねばならず、リソースの効率が悪くなる。一方で、リソースの潤沢な大規模システムでは、より長いリストを保持することによって符号化効率を向上できる
可能性がある。このように固定長のリストでは、システムの柔軟性に欠け符号化効率を最適化できないという問題点がある。
【０００６】
本発明は上記課題を鑑みてなされたものであり、本発明の目的は、より好適な画像符号化復号技術を提供することにある。
【課題を解決するための手段】【０００７】
上記目的を達成するために、本発明の一実施の態様は、例えば、特許請求の範囲に記載
されるように構成すればよい。
【発明の効果】【０００８】
本発明によれば、より好適な画像符号化技術、画像復号技術を提供することができる。
【図面の簡単な説明】【０００９】【図１】本発明の実施例１に係る画像符号化装置の一例の説明図である。
【図２】本発明の実施例２に係る画像復号装置の一例の説明図である。
【図３】本発明の実施例１に係る画像符号化方法の一例の説明図である。
【図４】本発明の実施例２に係る画像復号方法の一例の説明図である。

10

20

30

40

50

(4)

JP 2021-57730 A 2021.4.8【図５】本発明の実施例３に係るデータ記録媒体の一例の説明図である。
【図６】本発明の実施例１に係る画像符号化装置の一例の詳細な説明図である。
【図７】本発明の実施例２に係る画像復号装置の一例の詳細な説明図である。
【図８】本発明の実施例１に係る画像符号化方法の一例の詳細な説明図である。
【図９】本発明の実施例２に係る画像復号方法の一例の詳細な説明図である。
【図１０】本発明の一実施例に係るヒストリーリストの作成方法の説明図である。
【発明を実施するための形態】【００１０】
以下、本発明の実施例を、図面を参照して説明する。
【００１１】
また、各図面において、同一の符号が付されている構成要素は同一の機能を有することとする。
【００１２】
本明細書の各記載および各図面における「０ｖｅｃ」または「０ベクトル」とは各成分の値が０のベクトル、またはそのようなベクトルに変換、設定することを示す。
【００１３】
また、本明細書の各記載および各図面における「参照不可」とはブロック位置が画面の範囲外にある等のためにブロックの情報が取得できないことを示す。「参照可能」とはブロックの情報が取得できることであり、ブロックの情報には画素値、ベクトル、参照フレ
ーム番号、および／または予測モード等の情報が含まれる。
【００１４】
また、本明細書の各記載および各図面における「残差成分」という表現は、「予測誤差」と同様の意味も含む。
【００１５】
また、本明細書の各記載および各図面における「領域」という表現は、「画像」と同様の意味も含む。
【００１６】
また、本明細書の各記載および各図面における「フラグとともに伝送」という表現は、「フラグに含めて伝送」という意味も含む。
【００１７】（実施例１）
まず、本発明の実施例１について図面を参照して説明する。
【００１８】
図１に本発明の実施例１に係る画像符号化装置のブロック図の一例を示す。
【００１９】
画像符号化装置は、例えば画像入力部１０１、ブロック分割部１０２、モード管理部１
０３、イントラ予測部１０４、インター予測部１０５、ブロック処理部１０６、変換・量
子化部１０７、逆量子化・逆変換部１０８、画像合成・フィルタ部１０９、復号画像管理部１１０、エントロピー符号化部１１１、データ出力部１１２を備える。
【００２０】
以下に画像符号化装置の各構成要素の動作を詳細に説明する。
【００２１】
なお、画像符号化装置の各構成要素の動作は、例えば、以下の記載の通り各構成要素の自律的な動作としてもよい。また、例えば制御部や記憶部が記憶するソフトウェアと協働することにより実現しても構わない。
【００２２】
まず、画像入力部１０１は符号化対象である原画像を取得し入力する。次に、ブロック
分 割 部 １ ０ ２ は 、 入 力 し た 原 画 像 を 、 Ｃ Ｔ Ｕ (Coding Tree Unit)と 呼 ば れ る 一 定 サ イ ズ のブロックに分割し、さらに、入力される画像を分析することによって、各ＣＴＵをその特徴に応じてさらに詳細なブロックに分割する。これら符号化の単位となるブロックはＣＵ

10

20

30

40

50

(5)

JP 2021-57730 A 2021.4.8(Coding Unit)と 呼 ば れ る 。 Ｃ Ｔ Ｕ の Ｃ Ｕ へ の 分 割 は 、 四 分 木 (Quadtree)、 三 分 木 (Ternar
y tree)、 二 分 木 (Binary tree)等 の ツ リ ー 構 造 に よ っ て 管 理 さ れ る 。 Ｃ Ｕ の 内 部 を さ ら に
予 測 の た め の サ ブ ブ ロ ッ ク や 、 周 波 数 変 換 、 量 子 化 等 の た め の Ｔ Ｕ (Transform Unit)に 分
割してもよい。
【００２３】
モード管理部１０３は、各ＣＵの符号化の方法を決めるモードを管理する。複数のイントラ予測方式、インター予測方式を用いて符号化処理を行い、そのＣＵを符号化するのに最も効率的なモードを決定する。最も効率的なモードとは、一定の符号量に対して最も符号化誤差を小さくすることができるモードである。最適なモードは複数存在する場合があり、状況に応じて適宜選択すればよい。どのモードが効率的かの判定は、イントラ予測部
１０４やインター予測部１０５による複数モードの予測処理、さらに他の処理部を利用した残差成分および各種フラグの符号量計測、また復号時の再生画像誤差予測を組合せて行われる。一般にモードはＣＵ単位で決定されるが、ＣＵをサブブロックに分割し、それぞれにモードを決定してもよい。
【００２４】
符号化対象ブロック（ＣＵまたはサブブロック）の予測方法については、一般にイントラ（フレーム内）予測とインター（フレーム間）予測があり、これらはそれぞれイントラ
予測部１０４とインター予測部１０５によって行われる。イントラ予測は符号化対象ブロ
ックよりも前に符号化された同じフレームの情報を用い、インター予測は符号化対象フレームよりも前に符号化された、再生時間としては前または後ろのフレームの情報を用いる。ここで、イントラ予測部１０４やインター予測部１０５は、説明のため１つだけ記載したが、符号化モード毎、フレーム毎にそれぞれ備えてもよい。
【００２５】
イントラ予測部１０４は画面内予測処理を行う。なお、「予測処理」においては、予測
画像の生成を行う。画面内予測処理は、符号化対象ブロックよりも前に符号化された同じフレームの情報を用いて符号化対象ブロックの画素を予測する。イントラ予測には、方向予測、マトリクス予測、クロスコンポーネント予測、複数ライン予測、画面内ブロックコ
ピー等を含む。イントラ予測モードの伝送は、符号化済みブロックのイントラ予測モード
から最も可能性の高いモードの推定等を行う。
【００２６】
インター予測部１０５は画面間予測処理を行う。なお、「予測処理」においては、予測
画像の生成を行う。画面間予測処理は、符号化対象フレームよりも前に符号化された、再生時間としては前または後ろのフレームの情報を用いて符号化対象ブロックの画素を予測する。本実施例ではインター予測におけるマージモードの改善方式について提案する。本
実施例によって追加されるインター予測方式については後述する。インター予測には、動き補償予測、マージモード予測、アフィン変換による予測、三角形ブロック分割による予測、イントラ・インター組合せ予測、オプティカルフロー予測、デコーダ側動き予測による予測等を含む。
【００２７】
ブロック処理部１０６は、各符号化対象ブロックに対して、イントラ予測部１０４によるイントラ予測により生成された予測画像、、またはインター予測部１０５により生成された予測画像と、ブロック分割部１０２から得られる符号化対象ブロックの原画像との差分を取って残差成分を計算し出力する。
【００２８】
変換・量子化部１０７は、ブロック処理部１０６から入力された残差成分に対して周波数 変 換 と 量 子 化 処 理 を 行 い 、 係 数 列 を 出 力 す る 。 周 波 数 変 換 は Ｄ Ｃ Ｔ (Discrete Cosine T
ransform)や Ｄ Ｓ Ｔ (Discrete Sine Transform)や 、 こ れ ら を 整 数 演 算 に よ っ て 処 理 可 能 なように変換したもの等を用いればよい。係数列は、予測に用いる復号画像を作成するために画像を復元するプロセスと、データを出力するためのプロセスの両方に送られる。変換や量子化はモードの指定によりスキップされてもよい。

10

20

30

40

50

(6)

JP 2021-57730 A 2021.4.8【００２９】
逆量子化・逆変換部１０８は、変換・量子化部１０７から取得された係数列を予測に用いる復号画像を作成するために逆量子化と逆変換を行い、復元された残差成分を出力する。逆量子化、逆変換は、それぞれ変換・量子化部の量子化、変換に対応する逆方向の処理を行えばよい。逆量子化や逆変換はモードの指定によりスキップされてもよい。
【００３０】
画像合成・フィルタ部１０９は、イントラ予測部１０４によるイントラ予測により生成された予測画像、またはインター予測部１０５によるインター予測により生成された予測
画像と、逆量子化・逆変換部１０８により復元された残差成分を合成し、さらにループフ
ィルタ等の処理を行って復号画像を生成する。
【００３１】
復号画像管理部１１０は、復号画像を保持し、イントラ予測やインター予測のために参照される画像、モードの情報等を管理する。
【００３２】
エントロピー符号化部１１１は、モードの情報や係数列の情報をエントロピー符号化処
理 し て ビ ッ ト 列 と し て 出 力 す る 。 エ ン ト ロ ピ ー 符 号 化 方 式 と し て は 、 Ｃ Ａ Ｂ Ａ Ｃ (Context
Adaptive Binary Arithmetic Code)等 の 方 式 を 用 い れ ば よ い 。 可 変 長 符 号 、 固 定 長 符 号を組み合わせて用いてもよい。コンテキストの判定には定められたテーブルを参照すればよい。
【００３３】
データ出力部１１２は符号化されたデータを記録媒体や伝送路に対して出力する。
【００３４】
次に、図３を用いて、本発明の実施例１に係る画像符号化装置における符号化方法の流れについて説明する。
【００３５】
まず、ステップ３０１で符号化対象となる原画像を入力し、画像の内容を解析して分割方法を決定し、ブロックに分割する。画像内容の解析は、画像全体で行ってもよいし、複数フレームを組み合わせて行ってもよいし、画像を分割したスライスやタイル、ブリック、ＣＴＵ等各ブロック単位で行ってもよい。ブロックの分割は、一般に一定サイズのＣＴＵに分割した後、ツリー構造によってＣＵに分割される。
【００３６】
次に、ステップ３０２では、ステップ３０１で取得した原画像の符号化対象ブロックについてイントラ予測を行う。イントラ予測モードについては前述の通りである。各イント
ラ予測モードに従って複数のモードについて予測を行う。
【００３７】
次に、ステップ３０３では、ステップ３０１で取得した原画像の符号化対象ブロックについてインター予測を行う。本実施例ではインター予測におけるマージモードの改善方式について提案する。本実施例によって追加されるインター予測方式については後述する。
インター予測モードについては前述の通りである。各インター予測モードに従って複数のモードについて予測を行う。
【００３８】
次に、ステップ３０４では、各モードに対して、イントラ予測、インター予測された符号化対象ブロックの画素について残差成分を分離し、残差成分の変換処理と量子化処理、エントロピー符号化処理とを行い、符号化データを算出する。
【００３９】
次に、ステップ３０５では、各モードに対して、逆量子化、逆変換処理を行い、残差成分を予測画像と合成することにより、復号画像の作成を行う。復号画像は、イントラ予測
やインター予測における予測データおよび各種符号化データとともに管理され、他の符号化対象ブロックの予測に利用される。
【００４０】

10

20

30

40

50

(7)

JP 2021-57730 A 2021.4.8

次に、ステップ３０６では、各モードを比較して、最も効率的に符号化できるモードを決定する。モードには、イントラ予測モード、インター予測モード等があり、これらを総称して符号化モードと呼ぶ。モード選択方法については前述の通りである。
【００４１】
ステップ３０７では、決定された符号化モードに従い、符号化対象ブロックの符号化データを出力する。上記の各符号化対象ブロックの符号化プロセスを画像全体に対して繰り返し行い、画像の符号化が行われる。
【００４２】
図６を用いて本実施例に係るマージモード予測方法およびマージモード候補リスト作成
方法を説明する。これはインター予測部１０５の動作の一部を詳細に説明するものである。インター予測部１０５は様々なインター予測を行うが、以下ではその一例としてマージモードによるインター予測を例として説明する。
【００４３】
マージモードリスト作成部６０１は、符号化対象ブロックについて、マージモード候補
リストの作成を行う。この際、この時点までに作成した、ヒストリー用のリストを用いた
動き予測情報もリストに候補として追加する。ヒストリー用のリストは、ヒストリーリス
トサイズ参照部６０３によってヒストリーリストのサイズが決定されたリストとして管理されている。ヒストリーリストサイズ参照部６０３はヒストリーリストのサイズを格納するメモリを持つ。マージモードリスト作成部６０１はマージモードリスト、ヒストリーリ
スト等のリストを管理するメモリを持つ。リストに登録する動き予測情報がリストに格納済みの動き予測情報と同一か否かを判定する機構を持つ。ヒストリーリストの作成方法については後述する。
【００４４】
マージモード予測部６０２は、マージモードリスト作成部６０１の作成したマージモード候補リストを元に最適な動き予測情報を選択し、リスト番号情報を記録し、マージモードによるインター予測を行う。マージモードによるインター予測方法は従来の方式を用いればよい。
【００４５】
図８を用いて本実施例に係るマージモード予測方法およびマージモード候補リスト作成
方法を説明する。これはインター予測を行うステップ３０３の一部を詳細に説明するものである。インター予測を行うステップ３０３では様々なインター予測を行うが、以下では
マージモードによるインター予測を例として説明する。
【００４６】
ステップ８０１では、ヒストリーリストサイズの規定に従い、ヒストリーリストを作成する。既存方式ではヒストリーリストサイズは固定であったが、本実施例ではヒストリー
リストサイズが可変である。ヒストリーリストサイズは、設備や端末等によって暗黙的に決めてもよいし、プロファイル、ティア、レベル等に応じて間接的、暗黙的に決めてもよいし、ヘッダのフラグ等によって直接的、明示的に決めてもよい。数値として指定してもよいし、フラグやテーブルとして指定してもよい。方式や設備等で同じ数値を維持してもよいし、ストリームの途中で変更してもよい。
【００４７】
ヒストリーリストは、符号化されたブロックの動き予測情報を順次格納する。動き予測
情報をリストに登録する時、その動き予測情報がリストに格納済みの動き予測情報と同一か否か判定する。
【００４８】
リストの登録方法は以下の手順で行われる。リスト内の動き予測情報を古い方から、リ
スト内格納数まで、登録する動き予測情報と同じものがあるかどうかチェックする。リス
トの古い方をリスト番号０として、同じものがあればチェック番号をそのリスト番号で更新する。同じものがなかった場合は、チェック番号は０のままである。リストのサイズは規定されたリストサイズによって決められる。リスト内格納数の最大値は規定されたリス

10

20

30

40

50

(8)

JP 2021-57730 A 2021.4.8

トサイズである。次にリストに対して更新処理を行う。リスト内に同じものがなく、リス
ト内格納数がリストサイズより小さければ、現在のリストの最後（最新の箇所）に動き予測情報を登録し、リスト内格納数を１増やす。それ以外の場合、即ちリスト内に同じものがあるかリスト内格納数がリストサイズに達している場合は、チェック番号の位置の動き予測情報を削除し、それ以降の（それより新しい）リスト内の動き予測情報を繰り上げていく（リスト番号を−１した箇所に格納する）。最後に、リストの最後（最新の箇所）に
動き予測情報を登録する。リスト内格納数−１の箇所であり、リスト内格納数は同じになる。
【００４９】
ステップ８０２では、ステップ８０１にて作成されたヒストリーリストを参照し、符号化対象ブロックについて、マージモードの予測を行う。マージモードによるインター予測
方法は従来の方式を用いればよい。このとき、マージモード候補リストに空きがあれば、ヒストリーリストから動き予測情報をコピーして、マージモード候補とする。マージモード候補リストの作成方法については後述する。
【００５０】
図１０を用いて本実施例に係るヒストリーリストの作成方法について説明する。
【００５１】
ヒストリーリストは、符号化されたブロックの動き予測情報を順次格納して、マージモ
ード候補リストに追加するためのものである。
【００５２】
既存方式ではヒストリーリストサイズは固定であったが、本実施例ではヒストリーリス
トサイズが可変である。ヒストリーリストサイズは、設備や端末等によって暗黙的に決めてもよいし、プロファイル、ティア、レベル等によって間接的、暗黙的に決めてもよいし、ヘッダのフラグ等によって直接的、明示的に決めてもよい。数値として指定してもよい
し、フラグやテーブルとして指定してもよい。方式や設備等で同じ数値を維持してもよい
し、ストリームの途中で変更してもよい。
【００５３】
リストの登録方法は以下の手順で行われる。リスト内の動き予測情報を古い方から、リ
スト内格納数まで、登録する動き予測情報と同じものがあるかどうかチェックする。リス
トの古い方をリスト番号０として、同じものがあればチェック番号をそのリスト番号で更新する。同じものがなかった場合は、チェック番号は０のままである。リストのサイズは規定されたリストサイズによって決められる。リスト内格納数の最大値は規定されたリストサイズである。次にリストに対して更新処理を行う。リスト内に同じものがなく、リス
ト内格納数がリストサイズより小さければ、現在のリストの最後（最新の箇所）に動き予測情報を登録し、リスト内格納数を１増やす。それ以外の場合、即ちリスト内に同じものがあるかリスト内格納数がリストサイズに達している場合は、チェック番号の位置の動き予測情報を削除し、それ以降の（それより新しい）リスト内の動き予測情報を繰り上げていく（リスト番号を−１した箇所に格納する）。最後に、リストの最後（最新の箇所）に
動き予測情報を登録する。リスト内格納数−１の箇所であり、リスト内格納数は同じになる。
【００５４】
マージモード候補リストの作成方法は、符号化対象ブロックの周辺ブロックの動き予測
情報、コロケーテッドブロックの動き予測情報が格納された後、ヒストリーリストの動き予測情報が格納され、その後、リスト内の動き予測情報の平均値を格納し、さらに空きがあればゼロベクトルを格納する。
【００５５】
ここで、ヒストリーリストの動き予測情報をマージモード候補リストに格納するときは、その時点でのマージモード候補リストの空きを確認する。マージモード候補リストに空きがある場合には、ヒストリーリストに格納されている動き情報のうち、新しい動き情報
から順に当該マージモード候補リストの空きの数に応じた数の動き情報をコピーする。こ

10

20

30

40

50

(9)

JP 2021-57730 A 2021.4.8

こで、「新しい動き情報から順に」とは、ヒストリーリストに格納されている動き情報のうち、「インデックスの大きい動き情報から順に」と表現しても同じ意味である。このとき、既に説明したように本実施例ではヒストリーリストサイズが可変である。よって、ヒストリーリストに動き情報が空き無しに格納されている場合、上述のマージモード候補リ
ストへコピーする動き情報の最大インデックスは、従来と異なりヒストリーリストサイズに応じて変化する。なお、ヒストリーリストに格納されている動き情報をマージモード候補リストにコピーする際、既にマージモード候補リストに存在する動き情報を同じ動き情報については、コピーを行なわない。また、ヒストリーリストに格納されている動き情報
をマージモード候補リストにコピーする際の、コピー数の最大値をヒストリーリストサイズとは別に決めておいてもよい。このとき、コピー数の最大値は必ずヒストリーリストサ
イズ以下の値となるように設定してもよい。または、コピー数の最大値および可変するヒ
ストリーリストサイズのうちいずれか小さい数までコピーを許可するように設定してもよい。
【００５６】
このように、ヒストリーリストには、符号化を終えたブロックの動き予測情報が格納される。ヒストリーリストに格納された動き予測情報が、その後符号化を行うブロックのマージモード候補リストにコピーされる。このようにして、マージモードで選択可能な動き予測情報に、より好適な候補を追加することができる。
【００５７】
以上説明したように、本実施例における符号化処理が行われる。
【００５８】
以上説明した実施例１に係る画像符号化装置および画像符号化方法によれば、状況に応じてリストサイズを調節することが可能となり、既存方式よりもシステムの柔軟性が高く、圧縮効率の高い画像符号化装置および画像符号化方法を実現することが可能となる。
【００５９】
また、実施例１に係る画像符号化装置および画像符号化方法は、これらを用いた記録装
置、携帯電話、デジタルカメラ等に適用することが可能である。
【００６０】
以上説明した本発明の実施例１に係る画像符号化装置および画像符号化方法によれば、符号化データの符号量を低減し、当該符号化データを復号した場合の復号画像の画質の劣化を防ぐことが可能となる。すなわち、高い圧縮率とより良い画質とを実現することができる。
【００６１】
よって、本発明の実施例１に係る画像符号化装置および画像符号化方法によれば、より好適な画像符号化技術を提供することができる。
【００６２】（実施例２）
次に、図２に本発明の実施例２に係る画像復号装置のブロック図の一例を示す。
【００６３】
画像復号装置は例えば、ストリーム解析部２０１、ブロック管理部２０２、モード判定
部２０３、イントラ予測部２０４、インター予測部２０５、係数解析部２０６、逆量子化
・逆変換部２０７、画像合成・フィルタ部２０８、復号画像管理部２０９、画像出力部２１０を備える。
【００６４】
以下に画像復号装置の各構成要素の動作を詳細に説明する。
【００６５】
なお、画像復号装置の各構成要素の動作は、例えば、以下の記載の通り各構成要素の自律的な動作としてもよい。また、例えば制御部や記憶部が記憶するソフトウェアと協働す
ることにより実現しても構わない。
【００６６】

10

20

30

40

50

(10)

JP 2021-57730 A 2021.4.8

まず、ストリーム解析部２０１が、入力された符号化ストリームを解析する。ここで、ストリーム解析部２０１は、パケットからのデータ抽出処理や各種ヘッダ、フラグの情報取得処理も行う。
【００６７】
また、このとき、ストリーム解析部２０１に入力される符号化ストリームは、例えば、
実施例１に係る画像符号化装置および画像符号化方法により生成された符号化ストリーム
である。その生成方法は、実施例１に示した通りであるので説明を省略する。実施例３に示すデータ記録媒体から読み出した符号化ストリームであってもよい。その記録方法は後述する。
【００６８】
次に、ブロック管理部２０２は、ストリーム解析部２０１によって解析されたブロック
分割の情報に従ってブロックの処理を管理する。一般に符号化された画像はブロックに分割され、それぞれの符号化対象ブロックはツリー構造等によって管理されている。ブロックの処理順序はラスタースキャン順に行われることが多いが、ジグザグスキャンなど任意の決められた順序によって処理すればよい。ブロックの分割方法は前述の通りである。
【００６９】
次に、モード判定部２０３は、各符号化対象ブロックについて、フラグ等によって指定された符号化モードの判別を行う。以下の復号処理は、当該判別結果の符号化モードに対応する処理が行われる。以下にそれぞれの符号化モードについての処理を説明する。
【００７０】
まず、符号化モードがイントラ符号化である場合には、イントラ予測部２０４がイント
ラ予測と予測画像の合成を行う。イントラ予測モードについては実施例１で述べた通りである。
【００７１】
符号化モードがインター予測による符号化である場合には、インター予測部２０５がインター予測と予測画像の合成を行う。本実施例ではインター予測におけるマージモードの改善方式について提案する。本実施例によって追加されるインター予測方式については後述する。インター予測モードについては実施例１で述べた通りである。
【００７２】
一方、係数解析部２０６は、入力符号化ストリームに含まれる各符号化対象ブロックの符号化データを解析し、エントロピー符号化されたデータの復号を行い、残差成分の係数列を含む符号化データを出力する。このとき、モード判定部２０３の判別結果の符号化モードに対応する処理が行われる。
【００７３】
逆量子化・逆変換部２０７は残差成分の係数列を含む符号化データに逆量子化処理と逆変換を行い、残差成分を復元する。逆量子化、逆変換の方法は前述の通りである。逆量子化や逆変換はモードの指定によりスキップされてもよい。
【００７４】
上記のようにして復元された残差成分は、画像合成・フィルタ部２０８によってイント
ラ予測部２０４やインター予測部２０５から出力される予測画像と合成され、さらにルー
プフィルタ等の処理が行われ復号画像として出力される。
【００７５】
復号画像管理部２０９は、復号画像を保持し、イントラ予測やインター予測のために参照される画像、モードの情報等を管理する。
【００７６】
最後に復号された画像が画像出力部２１０によって出力され、画像の復号が行われる。
【００７７】
次に、図４を用いて、本発明の実施例２に係る画像復号装置における画像復号方法の流れについて説明する。
【００７８】

10

20

30

40

50

(11)

JP 2021-57730 A 2021.4.8

まず、ステップ４０１で、復号対象となる符号化ストリームを取得し、データの解析を行う。また解析されたブロック分割の情報に従ってブロックの処理を管理する。ブロックの分割方法は実施例１で述べた通りである。
【００７９】
次に、ステップ４０２では、ステップ４０１において解析した符号化モードの情報を用いて、当該符号化データに含まれる１つの符号化単位（ブロック単位や画素単位など）についての符号化モードを判定する。ここでイントラ符号化モードである場合にはステップ
４０３に進み、インター符号化モードである場合にはステップ４０４に進む。
【００８０】
ステップ４０３では、符号化モードによって指定された方法に従ってイントラ予測と予測画像の合成を行う。イントラ予測モードについては実施例１で述べた通りである。
【００８１】
ステップ４０４では、符号化モードによって指定された方法に従ってインター予測と予測画像の合成を行う。本実施例ではインター予測におけるマージモードの改善方式について提案する。本実施例によって追加されるインター予測方式については後述する。インタ
ー予測モードについては実施例１で述べた通りである。
【００８２】
ステップ４０５では、符号化モードによって指定された方法に従って各符号化対象ブロックの符号化データを解析し、エントロピー符号化されたデータの復号を行い、残差成分の係数列を含む符号化データを出力する。さらに、残差成分の係数列を含む符号化データに逆量子化処理と逆変換を行い、残差成分を復元する。逆量子化、逆変換の方法は前述の通りである。逆量子化や逆変換はモードの指定によりスキップされてもよい。
【００８３】
ステップ４０６では、各符号化対象ブロックに対して、イントラ予測やインター予測等
によって作成された予測画像と、復元された残差成分を合成し、さらにループフィルタ等の処理を行うことによって復号画像を作成する。上記の符号化対象ブロック単位で行われる復号のプロセスを画像全体に対して行うことによって、復号画像が作成される。
【００８４】
ステップ４０７では生成された復号画像を出力、表示する。
【００８５】
図７を用いて本実施例に係るマージモード予測方法およびマージモード候補リスト作成
方法を説明する。これはインター予測部２０５の動作の一部を詳細に説明するものである。インター予測部２０５は様々なインター予測を行うが、以下ではその一例としてマージモードによるインター予測を例として説明する。
【００８６】
マージモードリスト作成部７０１は、復号対象ブロックについて、マージモード候補リ
ストの作成を行う。この際、この時点までに作成した、ヒストリー用のリストを用いた動き予測情報もリストに候補として追加する。ヒストリー用のリストは、ヒストリーリスト
サイズ参照部７０３によってヒストリーリストのサイズが決定されたリストとして管理されている。ヒストリーリストサイズ参照部７０３はヒストリーリストのサイズを格納する
メモリを持つ。マージモードリスト作成部７０１はマージモードリスト、ヒストリーリス
ト等のリストを管理するメモリを持つ。リストに登録する動き予測情報がリストに格納済
みの動き予測情報と同一か否かを判定する機構を持つ。ヒストリーリストの作成方法は実施例１で述べた通りである。
【００８７】
マージモード予測部７０２は、マージモードリスト作成部７０１の作成したマージモード候補リストを元に最適な動き予測情報を選択し、リスト番号情報を記録し、マージモードによるインター予測を行う。マージモードによるインター予測方法は従来の方式を用いればよい。
【００８８】

10

20

30

40

50

(12)

JP 2021-57730 A 2021.4.8

図９を用いて本実施例に係るマージモード予測方法およびマージモード候補リスト作成
方法を説明する。これはインター予測を行うステップ４０４の一部を詳細に説明するものである。インター予測を行うステップ４０４では様々なインター予測を行うが、以下では
マージモードによるインター予測を例として説明する。
【００８９】
ステップ９０１では、ヒストリーリストサイズの規定に従い、ヒストリーリストを作成する。既存方式ではヒストリーリストサイズは固定であったが、本実施例ではヒストリー
リストサイズが可変である。ヒストリーリストサイズは、設備や端末等によって暗黙的に決めてもよいし、プロファイル、ティア、レベル等に応じて間接的、暗黙的に決めてもよいし、ヘッダのフラグ等によって直接的、明示的に決めてもよい。数値として指定してもよいし、フラグやテーブルとして指定してもよい。方式や設備等で同じ数値を維持してもよいし、ストリームの途中で変更してもよい。
【００９０】
ヒストリーリストは、復号されたブロックの動き予測情報を順次格納する。動き予測情報をリストに登録する時、その動き予測情報がリストに格納済みの動き予測情報と同一か否か判定する。
【００９１】
リストの登録方法は以下の手順で行われる。リスト内の動き予測情報を古い方から、リ
スト内格納数まで、登録する動き予測情報と同じものがあるかどうかチェックする。リス
トの古い方をリスト番号０として、同じものがあればチェック番号をそのリスト番号で更新する。同じものがなかった場合は、チェック番号は０のままである。リストのサイズは規定されたリストサイズによって決められる。リスト内格納数の最大値は規定されたリストサイズである。次にリストに対して更新処理を行う。リスト内に同じものがなく、リス
ト内格納数がリストサイズより小さければ、現在のリストの最後（最新の箇所）に動き予測情報を登録し、リスト内格納数を１増やす。それ以外の場合、即ちリスト内に同じものがあるかリスト内格納数がリストサイズに達している場合は、チェック番号の位置の動き予測情報を削除し、それ以降の（それより新しい）リスト内の動き予測情報を繰り上げていく（リスト番号を−１した箇所に格納する）。最後に、リストの最後（最新の箇所）に
動き予測情報を登録する。リスト内格納数−１の箇所であり、リスト内格納数は同じになる。
【００９２】
ステップ９０２では、ステップ９０１にて作成されたヒストリーリストを参照し、復号
対象ブロックについて、マージモードの予測を行う。マージモードによるインター予測方法は従来の方式を用いればよい。このとき、マージモード候補リストに空きがあれば、ヒストリーリストから動き予測情報をコピーして、マージモード候補とする。マージモード
候補リストの作成方法は実施例１で述べた通りである。
【００９３】
なお、本実施例においても、例に示す以外にも、符号化モードで用いるブロックのサイズなどをパラメータとして、各符号化モードを細分化して規定した符号化ストリームを、復号対象ストリームとしてもよい。
【００９４】
以上説明したように、本実施例における復号処理が行われる。
【００９５】
以上説明した実施例２に係る画像復号装置および画像復号方法によれば、状況に応じてリストサイズを調節することが可能となり、既存方式よりもシステムの柔軟性が高く、圧縮効率の高い画像復号装置および画像復号方法を実現することが可能となる。
【００９６】
また、実施例２に係る画像復号装置および画像復号方法は、これらを用いた再生装置、携帯電話、デジタルカメラ等に適用することが可能である。
【００９７】

10

20

30

40

50

(13)

JP 2021-57730 A 2021.4.8

以上説明した本発明の実施例２に係る画像復号装置および画像復号方法によれば、符号量の少ない符号化データをより高画質に復号することが可能となる。
【００９８】
よって、本発明の実施例２に係る画像復号装置および画像復号方法によれば、より好適な画像復号技術を提供することができる。
【００９９】（実施例３）
次に、図５に本発明の実施例３に係るデータ記録媒体の一例を示す。
【０１００】
本発明の本実施例に係る符号化ストリームは、実施例１に係る実施例１に係る画像符号化装置または画像符号化方法により生成された符号化ストリームである。その生成方法は、実施例１に示した通りであるので、説明を省略する。
【０１０１】
ここで、本実施例に係る符号化ストリームは、例えば、データ記録媒体５０１上にデー
タ列５０２として記録される。データ列５０２は、例えば、所定の文法に従う符号化ストリームとして記録されている。
【０１０２】
ま ず 、 符 号 化 ス ト リ ー ム は Ｎ Ａ Ｌ (Network Abstraction Layer)ユ ニ ッ ト ５ ０ ３ と 呼 ばれる一定サイズの単位に区切られたビット列として取り出される。ＮＡＬユニットのビッ
ト 列 は 、 可 変 長 符 号 等 の 所 定 の ル ー ル に 従 っ て 読 み だ さ れ 、 Ｒ Ｂ Ｓ Ｐ (Raw Byte Sequence
Payload)と し て 変 換 さ れ る 。 Ｒ Ｂ Ｓ Ｐ の デ ー タ は 、 シ ー ケ ン ス パ ラ メ ー タ セ ッ ト ５ ０ ４、ピクチャパラメータセット５０５、デコーディングパラメータセット、ビデオパラメー
タセット等の情報や、スライスデータ５０６から構成される。
【０１０３】
各スライスの内部には、例えば、それぞれのブロックに関する情報５０７が含まれている。ブロックに関する情報の内部には、例えば、ブロックごとにそれぞれの符号化モードを記録する領域があり、これを符号化モードフラグ５０８とする。
【０１０４】
以上説明した実施例３に係るデータ記録媒体によれば、状況に応じてリストサイズを調節することが可能となり、既存方式よりも圧縮効率を高く記録することが可能となる。
【０１０５】
以上説明した本発明の実施例３に係るデータ記録媒体によれば、符号量を低減し、画質の劣化を防ぐことができる。すなわち、圧縮率が高く、画質のより良い符号化ストリームを記録するデータ記録媒体を実現することができる。
【０１０６】
なお、以上説明した各図、各方法等の実施例のいずれを組み合わせても、本発明の一実施の形態となりうる。
【０１０７】
以上説明した本発明の各実施例によれば、符号量を低減し、画質の劣化を防ぐことができる。すなわち、高い圧縮率とより良い画質とを実現することができる。
【符号の説明】【０１０８】
１０１…画像入力部、１０２…ブロック分割部、１０３…モード管理部、１０４…イン
トラ予測部、１０５…インター予測部、１０６…ブロック処理部、１０７…変換・量子化
部、１０８…逆量子化・逆変換部、１０９…画像合成・フィルタ部、１１０…復号画像管理部、１１１…エントロピー符号化部、１１２…データ出力部、２０１…ストリーム解析
部、２０２…ブロック管理部、２０３…モード判定部、２０４…イントラ予測部、２０５…インター予測部、２０６…係数解析部、２０７…逆量子化・逆変換部、２０８…画像合
成・フィルタ部、２０９…復号画像管理部、２１０…画像出力部
６０１…マージモードリスト作成部、６０２…マージモード予測部、６０３…ヒストリー

10

20

30

40

50

(14)

JP 2021-57730 A 2021.4.8

リストサイズ参照部、７０１…マージモードリスト作成部、７０２…マージモード予測部、７０３…ヒストリーリストサイズ参照部。

【図１】

【図２】

(15)

【図３】

【図４】

【図５】

【図７】

【図８】

【図６】
【図９】

JP 2021-57730 A 2021.4.8

(16)

【図１０】

JP 2021-57730 A 2021.4.8