(57)【要約】【課題】斜め方向のグラデーションを伴うピクチャが動画像データに含まれる場合でも、符号化効率を向上できる動画像符号化装置を提供する。【解決手段】動画像符号化装置は、符号化対象ピクチャを分割して得られる複数のブロックのうち、符号化対象ブロックについて、符号化対象ブロックの画素値の空間的な分布を表す画素値マップを生成するマップ生成部１１と、符号化対象ブロックに含まれる各画素のうち、画素値マップの対応画素の値と同じ値を持つ画素に対してフラグを付すマップ符号化部１３と、画素値マップを表す情報と、符号化対象ブロックに含まれる各画素のうち、画素値マップの対応画素の値と同じ値を持つ画素に付されたフラグとを動画像データの符号化データに含める付加部１９とを有する。【選択図】図１
2019022129.tif 000002
【特許請求の範囲】
【請求項１】
動画像データに含まれる符号化対象ピクチャを符号化する動画像符号化装置であって、
前記符号化対象ピクチャを分割して得られる複数のブロックのうち、符号化対象ブロックについて、当該符号化対象ブロックの画素値の空間的な分布を表す画素値マップを生成するマップ生成部と、
前記符号化対象ブロックに含まれる各画素のうち、前記画素値マップの対応画素の値と同じ値を持つ画素に対してフラグを付すマップ符号化部と、
前記画素値マップを表す情報と、前記符号化対象ブロックに含まれる各画素のうち、前記画素値マップの対応画素の値と同じ値を持つ画素に付された前記フラグとを前記動画像データの符号化データに含める付加部と、
を有する動画像符号化装置。
【請求項２】
前記符号化対象ブロックに含まれる複数の画素の値が登録され、かつ、前記複数の画素の値のそれぞれごとに異なるインデックスと関連付けられたパレットテーブルを生成するパレットテーブル生成部をさらに有し、
前記マップ符号化部は、前記符号化対象ブロックに含まれる各画素のうち、前記画素値マップの対応画素の値と異なる値を持つ画素に、前記パレットテーブルに登録された前記複数の画素の値のうちの当該画素の値と同じ値に対応する前記インデックスを付し、
前記付加部は、前記パレットテーブルを表す情報と、前記符号化対象ブロックに含まれる各画素のうち、前記画素値マップの対応画素の値と異なる値を持つ画素に付された前記インデックスとを前記符号化データにさらに含める、請求項１に記載の動画像符号化装置。
【請求項３】
前記マップ生成部は、前記符号化対象ブロック内の位置と画素値との関係を表す式に基づいて前記画素値マップを生成する、請求項１または２に記載の動画像符号化装置。
【請求項４】
前記マップ生成部は、前記符号化対象ブロック周囲の符号化済みの画素の値を参照して前記画素値マップを生成する、請求項１または２に記載の動画像符号化装置。
【請求項５】
動画像データに含まれる復号対象ピクチャを復号する動画像復号装置であって、
前記動画像データの符号化データから、前記復号対象ピクチャの復号対象ブロックの画素値の空間的な分布を表す画素値マップを表す情報と、前記復号対象ブロックの各画素のうち、前記画素値マップの対応画素と同じ値を持つ画素に付されたフラグとを取り出す分離部と、
前記画素値マップを表す情報に基づいて前記画素値マップを復号し、復号された前記画素値マップと、前記フラグとに基づいて、前記復号対象ブロックを復号するマップ復号部と、
を有する動画像復号装置。
【請求項６】
前記分離部は、前記符号化データから、前記復号対象ブロックに含まれる複数の画素の値が登録され、かつ、前記複数の画素の値のそれぞれごとに異なるインデックスと関連付けられたパレットテーブルを表す情報と、前記復号対象ブロックの各画素のうち、前記画素値マップの対応画素と異なる値を持つ画素に付された前記インデックスとをさらに取り出し、
前記マップ復号部は、前記パレットテーブルを表す情報に基づいて前記パレットテーブルを復号し、かつ、前記復号対象ブロックの各画素のうち、前記画素値マップの対応画素と異なる値を持つ画素の値を当該画素に付された前記インデックスと前記パレットテーブルとに基づいて復号する、請求項５に記載の動画像復号装置。
【請求項７】
動画像データに含まれる符号化対象ピクチャを符号化する動画像符号化方法であって、
前記符号化対象ピクチャを分割して得られる複数のブロックのうち、符号化対象ブロックについて、当該符号化対象ブロックの画素値の空間的な分布を表す画素値マップを生成し、
前記符号化対象ブロックに含まれる各画素のうち、前記画素値マップの対応画素の値と同じ値を持つ画素に対してフラグを付し、
前記画素値マップを表す情報と、前記符号化対象ブロックに含まれる各画素のうち、前記画素値マップの対応画素の値と同じ値を持つ画素に付された前記フラグとを前記動画像データの符号化データに含める、
ことを含む動画像符号化方法。
【請求項８】
動画像データに含まれる符号化対象ピクチャを符号化する動画像符号化方法であって、
前記符号化対象ピクチャを分割して得られる複数のブロックのうち、符号化対象ブロックについて、当該符号化対象ブロックの画素値の空間的な分布を表す画素値マップを生成し、
前記符号化対象ブロックに含まれる各画素のうち、前記画素値マップの対応画素の値と同じ値を持つ画素に対してフラグを付し、
前記画素値マップを表す情報と、前記符号化対象ブロックに含まれる各画素のうち、前記画素値マップの対応画素の値と同じ値を持つ画素に付された前記フラグとを前記動画像データの符号化データに含める、
ことをコンピュータに実行させるための動画像符号化用コンピュータプログラム。
【請求項９】
動画像データに含まれる復号対象ピクチャを復号する動画像復号方法であって、
前記動画像データの符号化データから、前記復号対象ピクチャの復号対象ブロックの画素値の空間的な分布を表す画素値マップを表す情報と、前記復号対象ブロックの各画素のうち、前記画素値マップの対応画素と同じ値を持つ画素に付されたフラグとを取り出し、
前記画素値マップを表す情報に基づいて前記画素値マップを復号し、
復号された前記画素値マップと、前記フラグとに基づいて、前記復号対象ブロックを復号する、
ことを含む動画像復号方法。
【請求項１０】
動画像データに含まれる復号対象ピクチャを復号する動画像復号方法であって、
前記動画像データの符号化データから、前記復号対象ピクチャの復号対象ブロックの画素値の空間的な分布を表す画素値マップを表す情報と、前記復号対象ブロックの各画素のうち、前記画素値マップの対応画素と同じ値を持つ画素に付されたフラグとを取り出し、
前記画素値マップを表す情報に基づいて前記画素値マップを復号し、
復号された前記画素値マップと、前記フラグとに基づいて、前記復号対象ブロックを復号する、
ことをコンピュータに実行させるための動画像復号用コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、動画像データを符号化する動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム、及び、符号化された動画像データを復号する動画像復号装置、動画像復号方法及び動画像復号用コンピュータプログラムに関する。
【背景技術】
【０００２】
動画像データは、一般に、大きなデータ量を有する。特に、いわゆる4K、8Kといった、非常に画素数が多い規格に従った動画像データは、非常に大きいデータ量を有することがある。そのため、動画像データを扱う装置は、動画像データを他の装置へ送信する場合、あるいは、動画像データを記憶装置に記憶する場合、動画像データを圧縮符号化する。代表的な動画像の符号化標準として、International Standardization Organization/International Electrotechnical Commission(ISO/IEC)で策定されたMoving Picture Experts Group phase 2（MPEG-2）、あるいはMPEG-4、H.264 MPEG-4 Advanced Video Coding（MPEG-4 AVC/H.264）が挙げられる。また、新たな標準として、High Efficiency Video Coding(HEVC, MPEG-H/H.265)が、ITU-TとISO/IECが共同で運営するJCTVCにより策定されている。
【０００３】
さらに、JCTVCは、HEVCの拡張として、スクリーンコンテンツ向けの符号化標準であるScreen Contents Coding(SCC)を策定すべく検討している。SCCは、コンピュータのデスクトップ画面に表示される映像といった、人工的な映像を符号化するために適用されることが想定される符号化標準であり、例えば、サーバからシンクライアント端末に伝送される映像を符号化する用途などに用いられることが検討されている。
【０００４】
より詳細に説明すると、スクリーン映像は、自然映像とは異なる特徴を持っている。例えば、スクリーン映像では、自然映像と比較して、一般に、色成分の空間的な相関が高く、かつ、使用される色の数が少ない。
【０００５】
そのため、SCCでは、パレット符号化と呼ばれる技術を導入することが検討されている（例えば、非特許文献１を参照）。パレット符号化では、パレットテーブルと呼ばれる色のテーブルに、頻出する色が色エントリとして登録され、登録された色エントリごとに異なるインデックスが割り当てられる。そして符号化対象となるブロックに含まれる画素ごとに、その画素の値（色成分を含む）と同じ色エントリのインデックスで表すことにより、そのブロックが符号化される。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】R. Joshi他, “High Efficiency Video Coding(HEVC) Screen Content Coding: Draft 2”, JCTVC-S1005, 18th JCT-VC Meeting, Sapporo, JP, June 30 - July 9, 2014
【発明の概要】
【発明が解決しようとする課題】
【０００７】
パレット符号化では、符号化対象となる画素のインデックスと、符号化対象となる画素の上側に隣接する画素のインデックスとが同一である場合、上側に隣接する画素のインデックスを、符号化対象となる画素のインデックスとして利用する方法が検討されている。隣接する画素のインデックスを符号化対象となる画素のインデックスとして利用する場合には、そのことがフラグ（以下、説明の便宜上、コピーフラグと呼ぶ）で指定される。コピーフラグは高々1bitで表されるため、隣接画素のインデックスを利用することで、同じ色が垂直方向に連続している場合、符号化効率がより向上する。
【０００８】
また、パレット符号化では、ラスタスキャン順に同一のインデックスが連続する画素の数をラン長で指定する方法も検討されている。この方法により、複数の画素にわたって連続する同一のインデックスをラン長で指定することが可能となるため、同じ色が水平方向に連続している場合、符号化効率がより向上する。
【０００９】
しかしながら、スクリーン映像では、斜め方向のグラデーションを伴うピクチャが含まれることがある。このような場合には、垂直方向に隣接する画素のインデックスを利用したり、水平方向について複数の画素のインデックスをラン長で指定することができないため、パレット符号化を用いても、符号化効率が向上しないことがある。
【００１０】
一つの側面では、本発明は、斜め方向のグラデーションを伴うピクチャが動画像データに含まれる場合でも、符号化効率を向上できる動画像符号化装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
一つの実施形態によれば、動画像データに含まれる符号化対象ピクチャを符号化する動画像符号化装置が提供される。この動画像符号化装置は、符号化対象ピクチャを分割して得られる複数のブロックのうち、符号化対象ブロックについて、符号化対象ブロックの画素値の空間的な分布を表す画素値マップを生成するマップ生成部と、符号化対象ブロックに含まれる各画素のうち、画素値マップの対応画素の値と同じ値を持つ画素に対してフラグを付すマップ符号化部と、画素値マップを表す情報と、符号化対象ブロックに含まれる各画素のうち、画素値マップの対応画素の値と同じ値を持つ画素に付されたフラグとを動画像データの符号化データに含める付加部とを有する。
【００１２】
他の実施形態によれば、動画像データに含まれる復号対象ピクチャを復号する動画像復号装置が提供される。この動画像復号装置は、動画像データの符号化データから、復号対象ピクチャの復号対象ブロックの画素値の空間的な分布を表す画素値マップを表す情報と、復号対象ブロックの各画素のうち、画素値マップの対応画素と同じ値を持つ画素に付されたフラグとを取り出す分離部と、画素値マップを表す情報に基づいて画素値マップを復号し、復号された画素値マップと、フラグとに基づいて、復号対象ブロックを復号するマップ復号部とを有する。
【発明の効果】
【００１３】
一つの側面では、斜め方向のグラデーションを伴うピクチャが動画像データに含まれる場合でも、符号化効率を向上できる。
【図面の簡単な説明】
【００１４】
【図１】一つの実施形態による動画像符号化装置の概略構成図である。
【図２】HEVCによる、ピクチャの分割の一例を示す図である。
【図３】画素値マップを参照したマップ符号化の一例を示す図である。
【図４】動画像符号化処理の動作フローチャートである。
【図５】一つの実施形態による動画像復号装置の概略構成図である。
【図６】動画像復号処理の動作フローチャートである。
【図７】動画像符号化装置または動画像復号装置として動作するコンピュータの構成図である。
【発明を実施するための形態】
【００１５】
以下、図を参照しつつ、動画像符号化装置及び動画像復号装置について説明する。この動画像符号化装置は、パレット符号化方式を採用する。この動画像符号化装置は、所定の規則に従って、符号化対象ブロックの画素値の空間的な分布を表す画素値マップを生成し、符号化対象ブロックの画素ごとに、その画素の値が画素値マップ上の対応画素の値と一致するか否かを表すフラグを符号化データに含める。なお、画素値は、輝度だけでなく、色成分も表す。さらに、この動画像符号化装置は、画素値マップ上の対応画素の値と異なる値を持つ符号化対象ブロックの画素については、パレットテーブルに登録された色エントリのうち、一致するもののインデックスを指定する。これにより、この動画像符号化装置は、斜め方向のグラデーションを伴うピクチャについても符号化効率を向上する。なお、以下では、画素値マップを参照して符号化対象ブロックを符号化する方式をマップ符号化方式とよぶ。そしてマップ符号化方式が採用される符号化モードをマップ符号化モードと呼ぶ。同様に、パレット符号化方式が採用される符号化モードをパレット符号化モードと呼ぶ。
【００１６】
本実施形態では、動画像符号化装置は、ピクチャの分割、インター予測符号化及びイントラ予測符号化に関してH.265に準拠して動画像データを符号化する。しかし、動画像符号化装置は、パレット符号化方式が適用可能な他の符号化標準に準拠して動画像データを符号化してもよい。
【００１７】
また、ピクチャは、フレームまたはフィールドの何れであってもよい。フレームは、動画像データ中の一つの静止画像であり、一方、フィールドは、フレームから奇数行のデータ及び偶数行のデータの何れか一方を取り出すことにより得られる静止画像である。
【００１８】
図１は、一つの実施形態による動画像符号化装置の概略構成図である。動画像符号化装置１は、マップ生成部１１と、パレットテーブル生成部１２と、マップ符号化部１３と、パレット符号化部１４と、予測ブロック生成部１５と、符号化モード判定部１６と、予測符号化部１７と、記憶部１８と、エントロピー符号化部１９とを有する。
【００１９】
動画像符号化装置１が有するこれらの各部は、それぞれ別個の回路として形成される。あるいは動画像符号化装置１が有するこれらの各部は、その各部に対応する回路が集積された一つまたは複数の集積回路として動画像符号化装置１に実装されてもよい。さらに、動画像符号化装置１が有するこれらの各部は、動画像符号化装置１が有する一つまたは複数のプロセッサ上で実行されるコンピュータプログラムにより実現される、機能モジュールであってもよい。
【００２０】
動画像符号化装置１が準拠するHEVCでは、動画像データに含まれる各ピクチャは複数の段階で分割される。そこで先ず、HEVCにおける、ピクチャの分割について説明する。
【００２１】
図２は、HEVCによる、ピクチャの分割の一例を示す図である。図２に示されるように、ピクチャ２００は、符号化処理の単位であるCoding Tree Unit(CTU)単位で分割され、各CTU２０１は、ラスタスキャン順に符号化される。CTU２０１のサイズは、64x64〜16x16画素の中から選択できる。
【００２２】
CTU２０１は、さらに、四分木構造で複数のCoding Unit（CU）２０２に分割される。一つのCTU２０１内の各CU２０２は、Zスキャン順に符号化される。CU２０２のサイズは可変であり、そのサイズは、CU分割モード8x8〜64x64画素の中から選択される。CU２０２は、符号化モードであるイントラ予測符号化モード、インター予測符号化モード、パレット符号化モードまたはマップ符号化モードを選択する単位となる。
【００２３】
CU２０２は、イントラ予測符号化またはインター予測符号化される場合、Prediction Unit（PU）２０３単位またはTransform Unit（TU）２０４単位で個別に処理される。PU２０３は、符号化モードに応じた予測が行われる、予測ブロックの生成単位となる。例えば、PU２０３は、イントラ予測符号化モードでは、予測ブロックの生成の際に参照される画素及び予測ブロックの生成方法を規定する予測モードが適用される単位となる。一方、インター予測符号化モードでは、PU２０３は、動き補償を行う単位となる。PU２０３のサイズは、例えば、インター予測符号化モードが適用される場合、2Nx2N, NxN, 2NxN, Nx2N, 2NxU, 2NxnD, nRx2N, nLx2N（Nは、CUサイズ/2）の中から選択可能である。一方、TU２０４は、直交変換の単位であり、TUごとに直交変換される。TU２０４のサイズは、4x4画素〜32x32画素の中から選択される。TU２０４は、四分木構造で分割され、Zスキャン順に処理される。なお、CUは、ブロックの一例である。
【００２４】
動画像符号化装置１は、符号化対象のピクチャについて、各CTUをラスタスキャン順に符号化する。そこで、以下では、動画像符号化装置１の各部について、一つのCTUに対する処理を例として説明する。
【００２５】
マップ生成部１１は、符号化対象CTUについて取り得るCUのサイズのそれぞれについて、CUごとに画素値マップを生成する。
【００２６】
例えば、マップ生成部１１は、符号化対象ブロックの一例である着目するCUについて、CU内の位置と画素値との関係を表す次式に従って、着目するCUの画素値の空間的な分布を表す画素値マップを生成する。なお、画素値マップは、着目するCUと同じサイズを持つブロックとして表される。
【数１】
2019022129.tif 000003
ここでiは、着目するCU内の水平方向の座標を表し、jは、着目するCU内の垂直方向の座標を表す。a,b,cは、それぞれ、係数を表す。そしてmap(i,j)は、画素値マップの座標(i,j)における画素の値を表す。本実施形態では、map(i,j)は、輝度だけでなく、色も含む値として表される。例えば、画素値マップがRGB表色系で表される場合、map(i,j)は、赤色(R)成分、緑色(G)成分及び青色(B)成分のそれぞれを含む。また、画素値マップがYCrCb表色系で表される場合、map(i,j)は、輝度成分及び二つの色差成分を含む。
【００２７】
マップ生成部１１は、例えば、着目するCUについて（１）式に最小二乗法を適用することで、係数a,b,cを算出してもよい。あるいは、マップ生成部１１は、トライアンドエラー方式により、着目するCUの各画素のうち、その画素の値と（１）式で表される画素値マップの対応画素の値とが一致する画素の数が最大となるように、係数a,b,cを求めてよい。
【００２８】
あるいは、マップ生成部１１は、（１）式の代わりに、座標(i,j)について２次以上の多項式を用いて画素値マップを生成してもよい。この場合も、マップ生成部１１は、上記と同様に、最小二乗法、あるいはトライアンドエラー方式により、多項式の各項の係数を算出すればよい。
【００２９】
あるいはまた、マップ生成部１１は、着目するCUの周辺画素の値に基づいて、画素値マップを生成してもよい。例えば、マップ生成部１１は、HEVCで規定されている、イントラ予測符号化モードにおける、予測方向を規定する複数の予測モードのうちの何れかに従って画素値マップを生成してもよい。この場合には、画素値マップは、着目するCUよりも前に符号化され、かつ、復号された、着目するCUの上側または左側に隣接する画素を用いて算出される。さらに、着目するCUの周辺画素の値に基づいて算出された画素値マップの各画素の値は、オフセット値として用いられてもよい。この場合には、マップ生成部１１は、例えば、（１）式で算出される座標(i,j)の画素の値map(i,j)に、着目するCUの周辺画素の値に基づいて算出された座標(i,j)の画素のオフセット値を加算することで、画素値マップの座標(i,j)の画素の値としてもよい。
【００３０】
マップ生成部１１は、CUごとに、生成した画素値マップを表す情報（例えば、（１）式の係数a,b,c）をマップ符号化部１３へ通知する。
【００３１】
パレットテーブル生成部１２は、符号化対象CTUについて取り得るCUのサイズのそれぞれについて、CUごとにパレットテーブルを生成する。
【００３２】
パレットテーブル生成部１２は、着目するCUの直前にパレット符号化またはマップ符号化されたCUについてのパレットテーブルに登録されている各色エントリについて、その色エントリと同じ値（色成分を含む）を持つ画素が着目するCUに含まれるか否か判定する。なお、以下では、説明の便宜上、着目するCUの直前にパレット符号化またはマップ符号化されたCUについて用いられたパレットテーブルを前パレットテーブルと呼ぶ。そしてパレットテーブル生成部１２は、前パレットテーブルの各色エントリのうち、着目するCUに同じ値を持つ画素が含まれる色エントリに対して再利用することを表すフラグを付す。一方、着目するCUに同じ値を持つ画素が無い色エントリについては削除される。
【００３３】
さらに、パレットテーブル生成部１２は、着目するCUにおいて、前パレットテーブルに含まれない画素の値について、出現頻度が高い方から順にパレットテーブルに登録する。なお、前パレットテーブルが存在しない場合には、パレットテーブル生成部１２は、再利用することを表すフラグを用いずに、着目するCU内で出現頻度が高い画素の値から順にパレットテーブルに登録すればよい。
【００３４】
パレットテーブル生成部１２は、着目するCUについてのパレットテーブルに登録されている色エントリのそれぞれに対して互いに異なるインデックスを割り当てる。その際、パレットテーブル生成部１２は、着目するCU内で出現頻度が高い色エントリほど短いインデックスを割り当てることが好ましい。これにより、符号化効率が向上する。あるいは、パレットテーブル生成部１２は、パレットテーブル内の色エントリの位置に応じてインデックスを割り当ててもよい。この場合には、色エントリごとの対応するインデックスを表す情報を符号化データに含めなくても、動画像復号装置はインデックスに対応する色エントリを特定できるので、符号化効率が向上する。
【００３５】
パレットテーブル生成部１２は、CUごとのパレットテーブルをマップ符号化部１３及びパレット符号化部１４へ通知する。
【００３６】
マップ符号化部１３は、符号化対象CTUについて取り得るCUのサイズのそれぞれについて、マップ符号化モードに従ってCUごとに対応する画素値マップを参照して符号化する。
【００３７】
図３は、画素値マップを参照したマップ符号化の一例を示す図である。マップ符号化部１３は、着目するCU３００の各画素の値と画素値マップ３１０の対応画素の値とを比較する。そしてマップ符号化部１３は、着目するCU３００の各画素について、その画素の値と画素値マップ３１０の対応画素の値とが一致するか否かのフラグ（以下、説明の便宜上、一致フラグと呼ぶ）を付す。図３に示される例では、画素値マップ３１０の対応画素の値と同じ値を持つ画素３０１には'1'の値を持つ一致フラグが付される。そしてマップ符号化部１３は、CU３００において、画素値マップ３１０の対応画素の値と異なる値を持つ画素３０２について、CU３００のパレットテーブルに登録されている色エントリのうち、その画素の値と同じ値を持つ色エントリのインデックスを付す。例えば、CU３００の画素３０２の値が、RGB表色系で(100,150,200)であり、パレットテーブルの色エントリ(100,150,200)に割り当てられたインデックスが'01010101'である場合、マップ符号化部１３は、画素３０２にインデックス'01010101'を指定する。
【００３８】
なお、図３に示されるように、CU３００に画素値マップ３１０と一致しない画素が含まれる場合、CU３００に対して仮にイントラ予測符号化モードが適用されても、予測ブロックとCU３００間の予測誤差が大きくなるので、必ずしも符号化効率は向上しない。また、CU３００がより小さいサイズのCUに分割され、かつ分割されたCUごとにイントラ予測符号化モードが適用されたとしても、その分割による符号量の増加のために、必ずしも符号化効率は向上しない。一方、マップ符号化では、画素値マップの対応画素の値と異なる値を持つ画素の値も、相対的に符号量の少ないインデックスで表される。そのため、CU３００内に画素値マップの対応画素の値と異なる値を持つ画素が含まれる場合でも、符号化効率が向上する。
【００３９】
マップ符号化部１３は、CUごとに、符号化結果を符号化モード判定部１６へ通知する。
【００４０】
パレット符号化部１４は、符号化対象CTUについて取り得るCUのサイズのそれぞれについて、パレット符号化モードに従ってCUごとに対応するパレットテーブルを参照して符号化する。
【００４１】
パレット符号化部１４は、着目するCUの画素ごとに、その画素の値と同じ値を持つパレットテーブル内の色エントリを特定し、特定した色エントリのインデックスをその画素について指定する。そしてパレット符号化部１４は、着目するCUの各画素について、ラスタスキャン順に、その画素について指定されたインデックスとその画素の上側に隣接する画素について指定されたインデックスとが同一か否か判定する。パレット符号化部１４は、上側に隣接する画素について指定されたインデックスと同じインデックスが指定された画素について、上側に隣接する画素のインデックスと同一であることを表すコピーフラグを付す。
【００４２】
また、パレット符号化部１４は、着目するCUについて、ラスタスキャン順に同一のインデックスが指定された画素が連続する部分について、その連続する画素の数を表すラン長をもとめる。そしてパレット符号化部１４は、同一のインデックスが指定された画素が連続する部分の画素の値をそのラン長で表す。
【００４３】
パレット符号化部１４は、CUごとに、符号化結果を符号化モード判定部１６へ通知する。
【００４４】
予測ブロック生成部１５は、符号化対象CTUについて取り得るCUのサイズのそれぞれについて、CUに含まれるPUごとに、インター予測符号化モード及びイントラ予測符号化モードの適用可能な予測モードごとに予測ブロックを生成する。なお、本実施形態では、予測ブロック生成部１５は、色成分ごと、あるいは、輝度成分と色差成分ごとに、同じ処理を実行すればよいので、以下では、一つの成分（例えば、輝度成分）に対する処理について説明する。
【００４５】
予測ブロック生成部１５は、予測ブロックを生成するために、符号化対象CTUを含む符号化対象ピクチャがインター予測符号化モードが適用可能なPピクチャまたはBピクチャである場合、符号化対象CTUについて適用可能なPUごとに動きベクトルを算出する。なお、符号化対象ピクチャの種別は、例えば、制御部（図示せず）が符号化対象の動画像データに適用するGroup Of Pictures(GOP)の構造及び符号化対象ピクチャのGOP内での位置に基づいて決定される。
【００４６】
予測ブロック生成部１５は、符号化対象CTUの着目するPUについて、局所復号ピクチャについての参照可能な領域に対してブロックマッチングを行って、着目するPUと最も一致する参照ブロックを特定する。そして予測ブロック生成部は、着目するPUと参照ブロック間の移動量を表すベクトルを動きベクトルとして算出する。なお、予測ブロック生成部１５は、符号化対象ピクチャがBピクチャである場合、L0予測とL1予測の両方について動きベクトルを算出する。
【００４７】
予測ブロック生成部１５は、PUごとに、算出した動きベクトルに基づいて局所復号ピクチャ上の参照ブロックを動き補償することで、インター予測符号化用の予測ブロックを生成する。
【００４８】
また、予測ブロック生成部１５は、各PUについて、イントラ予測符号化の予測モードごとに、その予測モードに従って、そのPUの周囲の局所復号ブロック内の画素の値に基づいてイントラ予測符号化用の予測ブロックを生成する。
【００４９】
予測ブロック生成部１５は、各CUについて、生成された予測ブロックごとに、その予測ブロックと、その予測ブロックを生成するために用いられた符号化モード、動きベクトル及び予測モードなどを符号化モード判定部１６へ通知する。
【００５０】
符号化モード判定部１６は、符号化対象CTUを分割するCUの分割モード及びCUごとに適用される符号化モードを決定する。さらに、符号化モード判定部１６は、インター予測符号化モードまたはイントラ予測符号化モードが適用されるCUについて、PU分割モード及びTU分割モードを決定する。
【００５１】
符号化モード判定部１６は、例えば、図示しない制御部から取得した、符号化対象CTUが含まれる符号化対象のピクチャのタイプを示す情報に基づいて、そのCTUに適用可能な符号化モードを決定する。符号化対象のピクチャのタイプがインター予測符号化モードが適用されないIピクチャであれば、符号化モード判定部１６は、適用可能な符号化モードを、マップ符号化モード、パレット符号化モードまたはイントラ予測符号化モードの何れかとする。また、符号化対象のピクチャのタイプが、PピクチャまたはBピクチャであれば、符号化モード判定部１６は、適用可能な符号化モードを、マップ符号化モード、パレット符号化モード、イントラ予測符号化モードまたはインター予測符号化モードの何れかとする。
【００５２】
符号化モード判定部１６は、適用可能な符号化モードについての符号化対象CTUの符号化されたデータ量の評価値である符号化コストをCU単位でそれぞれ算出する。例えば、符号化モード判定部１６は、インター予測符号化モードについては、CTUを分割するCU分割モード、PU分割モード及び動きベクトルの予測ベクトルの生成方法を規定するベクトルモードの組み合わせごとに符号化コストを算出する。なお、符号化モード判定部１６は、ベクトルモードとして、例えば、Adaptive Motion Vector Prediction(AMVP)モード、及び、Mergeモードの何れかを利用できる。AMVPモードは、予測ベクトルを用いて差分ベクトルを符号化するモードであり、Mergeモードは、符号化済みPUの動きベクトルから求められる予測ベクトルを符号化対象PUの動きベクトルとしてコピーするモードである。
【００５３】
また、イントラ予測符号化モードについては、符号化モード判定部１６は、CTUを分割するCU分割モード、PU分割モード及び予測モードの組み合わせごとに符号化コストを算出する。
【００５４】
符号化モード判定部１６は、インター予測符号化モード及びイントラ予測符号化モードの符号化コストを算出するために、例えば、着目するPUについて、輝度成分及び色成分のそれぞれごとに、次式に従って、予測誤差、すなわち画素差分絶対値和SADを算出する。
SAD=Σ|OrgPixel-PredPixel|
ここで、OrgPixelは着目するPUに含まれる画素の値であり、PredPixelは着目するブロックに対応する、符号化コストの算出対象となる符号化モードに従って生成された予測ブロックに含まれる画素の値である。
【００５５】
そして符号化モード判定部１６は、例えば、次式に従って、着目するCUについて、輝度成分及び色成分のそれぞれごとに、符号化コストCostを算出する。
Cost=ΣSAD + λ*B
ここで、ΣSADは、着目するCUに含まれる各PUについて算出されたSADの総和である。またBは、動きベクトル、予測モードを表すフラグなど、予測誤差以外の項目についての符号量の推定値である。そしてλはラグランジュの未定乗数である。そして符号化モード判定部１６は、輝度成分及び色成分のそれぞれごとに算出された符号化コストの和を、インター予測符号化モード及びイントラ予測符号化モードについての着目するCUの符号化コストとする。
【００５６】
なお、符号化モード判定部１６は、SADの代わりに、着目するPUと予測ブロックとの差分画像をアダマール変換した後の各画素のアダマール係数の絶対値和SATDを算出してもよい。
【００５７】
さらに、符号化モード判定部１６は、着目するCUをマップ符号化モードで符号化したときの情報量を符号化コストとして算出する。この場合、情報量は、例えば、画素値マップを表すための（１）式の係数を表すための情報量と、パレットテーブルを表すための情報量と、着目するCU内の各画素の一致フラグまたはインデックスの情報量の合計となる。同様に、符号化モード判定部１６は、着目するCUをパレット符号化モードで符号化したときの情報量を符号化コストとして算出する。この場合、情報量は、例えば、パレットテーブルを表すための情報量と、着目するCU内の各画素のインデックス、コピーフラグまたはラン長の情報量の合計となる。
【００５８】
符号化モード判定部１６は、符号化対象CTUについて、例えば、取り得るCUサイズの中でサイズが大きい方から順に着目するCUを設定する。そして符号化モード判定部１６は、着目するCUについて、イントラ予測符号化モードに関してそのCU内のPU分割モードごとにコストが最小となる予測モードを選択する。また、符号化モード判定部１６は、着目するCUについて、インター予測符号化モードに関してそのCU内のPU分割モードごとにコストが最小となるベクトルモードを選択する。さらに、符号化モード判定部１６は、同サイズのCUごとに、イントラ予測符号化モード、インター予測符号化モード、マップ符号化モード及びパレット符号化モードのうちで、符号化コストが最小となる符号化モードを選択する。そして符号化モード判定部１６は、選択した符号化モードを、そのCUについて適用する符号化モードとする。
【００５９】
さらに、符号化モード判定部１６は、着目するCUを４分割したCUのそれぞれを、次に着目するCUとして、同様の処理を実行して、最小符号化コストを算出する。そして符号化モード判定部１６は、４分割したCUのそれぞれについて算出された、最小符号化コストの総和が、着目するCUについての最小符号化コストよりも小さければ、着目するCUを４分割する。符号化モード判定部１６は、各CUが分割されなくなるまで、上記の処理を繰り返すことで、符号化対象CTUに適用されるCU分割モードを決定する。また、符号化モード判定部１６は、イントラ予測符号化モードまたはインター予測符号化モードが適応される符号化モードとして選択される場合には、その最小符号化コストに対応するPU分割モードを、適用するPU分割モードとして選択する。
【００６０】
さらに、符号化モード判定部１６は、上記のようにして決定したCU分割モードに従って決定されるCUのうち、イントラ予測符号化モードまたはインター予測符号化モードが適用されるCUごとに、TU分割モードを決定する。その際、符号化モード判定部１６は、適用可能なTU分割モードごとに、次式に従ってRDコストCostを算出する。
【数２】
2019022129.tif 000004
ここで、org(i)は、着目するCUに含まれる画素の値であり、ldec(i)は、着目するTU分割モードを用いてそのCUを符号化し、さらに復号して得られる復号画素の値を表す。またbitは、そのCUを着目するTU分割モードを用いて符号化したときの符号量を表す。（２）式の右辺の第一項は、符号化歪みを表し、右辺の第二項は符号量を表す。そのため、RDコストが最小となるTU分割モードでは、符号化歪みと符号量が最適なバランスとなっている。
そこで、符号化モード判定部１６は、RDコストCostが最小となるTU分割モードを選択する。
【００６１】
符号化モード判定部１６は、符号化対象CTUについて選択したCU、PU及びTUの分割モード及び符号化モードの組み合わせを予測符号化部１７に通知する。また符号化モード判定部１６は、符号化対象CTUについて選択したCU、PU及びTUの分割モード及び符号化モードの組み合わせを記憶部１８に保存する。さらに、符号化モード判定部１６は、インター予測符号化モードが適用されるCUについて、動きベクトルを予測符号化部１７へ通知するとともに、記憶部１８に保存する。
【００６２】
また、符号化モード判定部１６は、パレット符号化モードが選択されたCUについて、パレット符号化部１４から受け取ったそのCUについての符号化結果をエントロピー符号化部１９へ渡す。同様に、符号化モード判定部１６は、マップ符号化モードが選択されたCUについて、マップ符号化部１３から受け取ったそのCUについての符号化結果をエントロピー符号化部１９へ渡す。さらに、符号化モード判定部１６は、パレット符号化モードまたはマップ符号化モードが選択されたCUについて、そのCUの符号化結果（各画素のインデックスまたは一致フラグなど）から復号して得られるCU、及び、パレットテーブルを記憶部１８に保存する。
【００６３】
予測符号化部１７は、符号化対象CTUについて選択されたCUの分割モードに従って決定される各CUのうち、イントラ予測符号化モードまたはインター予測符号化モードが適用されるCUを予測符号化する。そのために、予測符号化部１７は、着目するCUについて、選択されたPUの分割モード及び符号化モードの組み合わせに従ってPUごとに予測ブロックを生成する。予測符号化部１７は、着目するCUがイントラ予測符号化される場合、そのCU内のPUごとに選択された予測モードに従って参照される、そのPUの周囲の局所復号ブロック内の画素の値に基づいて予測ブロックを生成する。
【００６４】
一方、予測符号化部１７は、着目するCUがインター予測符号化される場合、そのCU内のPUごとに、記憶部１８から読み出した局所復号ピクチャを、そのPUについて算出された動きベクトルに基づいて動き補償することで予測ブロックを生成する。
【００６５】
予測ブロックが生成されると、予測符号化部１７は、着目するCU内の各画素について、予測ブロックの対応画素との差分演算を実行する。そして予測符号化部１７は、着目するCU内の各TUについて、その差分演算により得られたTU内の各画素に対応する差分値を、そのTUの予測誤差信号とする。
【００６６】
予測符号化部１７は、着目するCU内の各TUについて、そのTUの予測誤差信号を直交変換することで予測誤差信号の水平方向の周波数成分及び垂直方向の周波数成分を表す直交変換係数を求める。例えば、予測符号化部１７は、予測誤差信号に対して、直交変換処理として離散コサイン変換(Discrete Cosine Transform, DCT)を実行することにより、直交変換係数として、DCT係数の組を得る。
【００６７】
予測符号化部１７は、TUごとの直交変換係数を、量子化幅を指定するqp値などを含む量子化パラメータに従って量子化することにより、量子化された直交変換係数を算出する。なお、以下では、量子化された直交変換係数を、単に量子化係数と呼ぶことがある。
予測符号化部１７は、量子化された直交変換係数をエントロピー符号化部１９へ出力する。
【００６８】
さらに、予測符号化部１７は、各TUの量子化係数から、そのTUよりも後のCUなどを符号化するために参照される局所復号ブロックを生成し、その局所復号ブロックを記憶部１８に記憶する。そこで、予測符号化部１７は、各TUの量子化された量子化係数を逆量子化することで、量子化前の直交変換係数を復元する。
【００６９】
予測符号化部１７は、TUごとに、復元された直交変換係数に対して逆直交変換を行う。例えば、予測符号化部１７が直交変換としてDCTを用いている場合、逆直交変換として逆DCT処理を実行する。これにより、予測符号化部１７は、TUごとに、符号化前の予測誤差信号と同程度の情報を有する予測誤差信号を復元する。
【００７０】
予測符号化部１７は、TUごとに、そのTUの予測ブロックの各画素値に、復元された予測誤差信号を加算することで、局所復号ブロックを生成する。そして予測符号化部１７は、局所復号ブロックを生成する度に、その局所復号ブロックを記憶部１８に記憶させる。
【００７１】
また、１枚のピクチャ分の局所復号ブロックを各CTUの符号化順序にしたがって結合することで局所復号ピクチャが求められる。そして局所復号ピクチャも記憶部１８に記憶される。
【００７２】
記憶部１８は、予測符号化部１７から受け取った局所復号ブロックを一時的に記憶する。記憶部１８は、予測ブロック生成部１５及び予測符号化部１７に、局所復号ピクチャまたは局所復号ブロックを供給する。なお、記憶部１８は、符号化対象ピクチャが参照する可能性がある、予め定められた所定枚数分の局所復号ピクチャを記憶し、局所復号ピクチャの枚数がその所定枚数を超えると、符号化順序が古い局所復号ピクチャから順に破棄する。
【００７３】
さらに、記憶部１８は、インター予測符号化された局所復号ブロックのそれぞれについての動きベクトルを記憶する。また記憶部１８は、パレット符号化された各CUについてのパレットテーブル、及び、マップ符号化された各CUについての画素値マップを表す情報を記憶する。さらにまた、記憶部１８は、各CTUについて選択したCU、PU及びTUの分割モード及び符号化モードの組み合わせを記憶する。
【００７４】
エントロピー符号化部１９は、付加部の一例であり、符号化対象CTUの各CUのうち、インター予測符号化モードまたはイントラ予測符号化モードが適用されたCUの量子化係数及び動きベクトルなどをエントロピー符号化する。またエントロピー符号化部１９は、符号化対象CTUの各CUのうち、パレット符号化されたCUについての各画素のインデックス、コピーフラグ、ラン長及びパレットテーブルなどをエントロピー符号化する。さらに、エントロピー符号化部１９は、符号化対象CTUの各CUのうち、マップ符号化されたCUについての画素値マップを表す情報、各画素の一致フラグまたはインデックスなどをエントロピー符号化する。さらにまた、エントロピー符号化部１９は、符号化されたCTUを復号するために用いられる各種シンタックスをエントロピー符号化する。そしてエントロピー符号化部１９は、エントロピー符号化により得られたデータを符号化された動画像データを表すビットストリームに含める。
【００７５】
本実施形態では、エントロピー符号化部１９は、エントロピー符号化方式として、Context-based Adaptive Binary Arithmetic Coding(CABAC)といった算術符号化処理を用いる。そしてエントロピー符号化部１９は、エントロピー符号化により得られたビットストリームを出力する。
【００７６】
エントロピー符号化部１９により出力された各CTUのビットストリームは所定の順序で結合され、HEVCで規定されるヘッダ情報などを付加することで、符号化された動画像データを含む符号化ビットストリームが得られる。動画像符号化装置１は、その符号化ビットストリームを磁気記録媒体、光記録媒体あるいは半導体メモリなどを有する記憶装置（図示せず）に記憶するか、あるいはその符号化ビットストリームを他の機器へ出力する。
【００７７】
図４は、動画像符号化装置１による動画像符号化処理の動作フローチャートである。動画像符号化装置１はCTUごとに、下記の動作フローチャートに従って符号化する。
【００７８】
マップ生成部１１は、符号化対象CTUについて取り得るCUのサイズのそれぞれについて、CUごとに画素値マップを生成する（ステップＳ１０１）。また、パレットテーブル生成部１２は、符号化対象CTUについて取り得るCUのサイズのそれぞれについて、CUごとにパレットテーブルを生成する（ステップＳ１０２）。
【００７９】
マップ符号化部１３は、符号化対象CTUについて取り得るCUのサイズのそれぞれについて、CUごとに対応する画素値マップを参照して符号化する（ステップＳ１０３）。そしてマップ符号化部１３は、CUごとに、符号化結果を符号化モード判定部１６へ通知する。
【００８０】
さらに、パレット符号化部１４は、符号化対象CTUについて取り得るCUのサイズのそれぞれについて、CUごとに対応するパレットテーブルを参照して符号化する（ステップＳ１０４）。そしてパレット符号化部１４は、CUごとに、符号化結果を符号化モード判定部１６へ通知する。
【００８１】
予測ブロック生成部１５は、符号化対象CTUについて取り得るCUのサイズのそれぞれについて、CUに含まれるPUごとに、インター予測符号化モード及びイントラ予測符号化モードの適用可能な予測モードごとに予測ブロックを生成する（ステップＳ１０５）。そして予測ブロック生成部１５は、各予測ブロック及びその予測ブロックの生成に用いられた符号化モードなどを符号化モード判定部１６へ通知する。
【００８２】
符号化モード判定部１６は、各CUのマップ符号化結果、パレット符号化結果及び各符号化モードの予測ブロックに基づいて、符号化対象CTUを分割するCUの分割モード及びCUごとに適用される符号化モードを決定する（ステップＳ１０６）。その際、符号化モード判定部１６は、符号化コストが最小となるように、CUの分割モード及びCUごとに適用される符号化モードを決定する。さらに、符号化モード判定部１６は、インター予測符号化モードまたはイントラ予測符号化モードが適用されるCUについて、PU分割モード及びTU分割モード及び適用される予測モードを決定する（ステップＳ１０７）。そして符号化モード判定部１６は、符号化対象CTUについて選択されたCUの分割モードに従って決定される各CUのうち、イントラ予測符号化モードまたはインター予測符号化モードが適用されるCU及びそのCUに適用される符号化モードを予測符号化部１７へ通知する。さらに、符号化モード判定部１６は、符号化対象CTUについて選択されたCUの分割モードに従って決定される各CUのうち、パレット符号化モードが選択されたCUについて、パレット符号化部１４から受け取ったそのCUの符号化結果をエントロピー符号化部１９へ渡す。同様に、符号化モード判定部１６は、マップ符号化モードが選択されたCUについて、マップ符号化部１３から受け取ったそのCUの符号化結果をエントロピー符号化部１９へ渡す。
【００８３】
予測符号化部１７は、符号化対象CTUについて選択されたCUの分割モードに従って決定される各CUのうち、イントラ予測符号化モードまたはインター予測符号化モードが適用されるCUを予測符号化する（ステップＳ１０８）。その際、予測符号化部１７は、そのCUの各画素の予測誤差をTU単位で直交変換して得られる直交変換係数を量子化することで量子化係数を算出する。
【００８４】
エントロピー符号化部１９は、予測符号化された各CUの量子化係数、マップ符号化された各CUの各画素の一致フラグ、パレット符号化された各CUの各画素の色エントリのインデックス、及び、各種シンタックスなどをエントロピー符号化する（ステップＳ１０９）。これにより、エントロピー符号化部１９は、符号化対象CTUの符号化ビットストリームを生成する。エントロピー符号化部１９は、得られた符号化ビットストリームを出力する。そして動画像符号化装置１は、動画像符号化処理を終了する。
【００８５】
以上に説明してきたように、この動画像符号化装置は、符号化対象となるブロックについて、そのブロック全体の画素値の分布を表す画素値マップを生成する。これにより、符号化対象のブロックが斜め方向のグラデーションを持つ場合でも、そのブロックの画素値の分布が画素値マップで表される。そしてこの動画像符号化装置は、そのブロックの各画素について、その画素の値が画素値マップの対応画素の値が一致するか否かを表す一致フラグを求め、その一致フラグを符号化された動画像データに含めればよい。そのため、この動画像符号化装置は、斜め方向のグラデーションを伴うピクチャが動画像データに含まれる場合でも、動画像データの符号化効率を向上できる。またこの動画像符号化装置は、符号化対象のブロックの各画素のうち、画素値マップの対応画素の値と異なる値を持つ画素について、パレットテーブルの対応する色エントリのインデックスを用いて符号化すればよい。そのため、この動画像符号化装置は、画素値マップで符号化対象ブロック内の全ての画素の値を表すことができない場合でも、符号化効率を向上できる。
【００８６】
次に、上記の動画像符号化装置により符号化された動画像データを復号する動画像復号装置について説明する。
【００８７】
図５は、一つの実施形態による動画像復号装置の概略構成図である。動画像復号装置２は、エントロピー復号部２１と、マップ復号部２２と、パレット復号部２３と、予測復号部２４と、記憶部２５と、結合部２６とを有する。
動画像復号装置２が有するこれらの各部は、それぞれ別個の回路として形成される。あるいは動画像復号装置２が有するこれらの各部は、その各部に対応する回路が集積された一つの集積回路として動画像復号装置２に実装されてもよい。さらに、動画像復号装置２が有するこれらの各部は、動画像復号装置２が有するプロセッサ上で実行されるコンピュータプログラムにより実現される、機能モジュールであってもよい。
【００８８】
動画像復号装置２は、符号化された動画像データを含む符号化ビットストリームを、例えば、通信ネットワーク及び動画像復号装置２を通信ネットワークに接続するためのインターフェース回路を介して取得する。そして動画像復号装置２は、その符号化ビットストリームを、図示しないバッファメモリに記憶させる。動画像復号装置２は、符号化されたデータを、CTU単位でバッファメモリから読み出し、そのCTU単位のデータをエントロピー復号部２１へ入力する。
【００８９】
エントロピー復号部２１は、分離部の一例であり、CTU単位で符号化されているデータをエントロピー復号する。そしてエントロピー復号部２１は、適用された分割モード及び符号化モードを表すシンタックスを含む各種シンタックスをエントロピー復号して取り出す。またエントロピー復号部２１は、CTU内のイントラ予測符号化またはインター予測符号化された各CUの量子化係数をエントロピー復号する。さらに、エントロピー復号部２１は、イントラ予測符号化された各CUに含まれる各PUについての予測モード、及び、インター予測符号化された各CUの動きベクトルに関する情報、例えば、適用されたベクトルモードなどをエントロピー復号する。
【００９０】
さらに、エントロピー復号部２１は、マップ符号化モードが適用された各CUについて、画素値マップを表す情報、パレットテーブルを表す情報、及び各画素の一致フラグなどをエントロピー復号する。さらにまた、エントロピー復号部２１は、パレット符号化モードが適用された各CUについて、パレットテーブルを表す情報、及び、各画素に指定されたインデックス、コピーフラグ、ラン長などをエントロピー復号する。
【００９１】
そしてエントロピー復号部２１は、動きベクトルに関する情報、イントラ予測符号化の予測モード、CU、PU及びTUの分割モード、量子化係数などを予測復号部２４へわたす。またエントロピー復号部２１は、CUの分割モード、マップ符号化モードが適用された各CUについての画素値マップを表す情報、パレットテーブルを表す情報、及び、各画素の一致フラグまたはインデックスなどをマップ復号部２２へわたす。さらに、エントロピー復号部２１は、CUの分割モード、パレット符号化モードが適用された各CUについてのパレットテーブルを表す情報、及び、各画素に指定されたインデックス、コピーフラグ、ラン長などをパレット復号部２３へわたす。
【００９２】
マップ復号部２２は、マップ符号化モードが適用されたCUを復号する。そのために、マップ復号部２２は、着目するCUについて、そのCUの画素値マップを表す情報を用いて画素値マップを再生する。なお、画素値マップを表す情報は、例えば、（１）式における係数a,b,cである。あるいは、着目するCUの周辺の復号済みの画素の値に基づいて画素値マップが作成される場合には、画素値マップを表す情報は、着目するCUの周辺の復号済みの画素の値である。
【００９３】
さらに、マップ復号部２２は、着目するCUについて、そのCUのパレットテーブルを表す情報を用いてパレットテーブルを生成する。パレットテーブルを表す情報は、例えば、直前のパレット符号化またはマップ符号化されたパレットテーブルについて、色エントリを再利用するか否かを表すフラグ、着目するCUについて新たに登録された色エントリを含む。さらに、パレットテーブルを表す情報は、色エントリごとの対応するインデックスを含んでもよい。そしてマップ復号部２２は、動画像符号化装置１のパレットテーブル生成部１２と同様に、前パレットテーブルの再利用される色エントリと新たに登録された色エントリとに基づいて、着目するCUについてのパレットテーブルを再生する。その際、マップ復号部２２は、復号されたパレットを表す情報に、色エントリごとのインデックスが含まれる場合、その情報を参照して、色エントリごとのインデックスを決定してもよい。あるいは、マップ復号部２２は、パレットテーブル内の色エントリの登録順序にしたがって、色エントリごとのインデックスを特定してもよい。
【００９４】
マップ復号部２２は、画素値マップ及びパレットテーブルが再生されると、着目するCUの各画素の一致フラグを参照する。そしてマップ復号部２２は、着目する画素の一致フラグが、画素値マップの対応画素の値と一致していることを表していれば、画素値マップの対応画素の値を、着目する画素の値とする。
【００９５】
一方、着目する画素に色エントリのインデックスが指定されていれば、マップ復号部２２は、パレットテーブルに登録されている、そのインデックスに対応する色エントリの値を、着目する画素の値とする。
【００９６】
マップ復号部２２は、復号したCUを記憶部２５に保存する。
【００９７】
パレット復号部２３は、パレット符号化モードが適用されたCUを復号する。そのために、パレット復号部２３は、着目するCUについて、マップ復号部２２と同様に、そのCUのパレットテーブルを表す情報を用いてパレットテーブルを再生する。
【００９８】
パレット復号部２３は、パレットテーブルを参照して、着目するCUの画素ごとに、その画素について指定されたインデックスに対応する色エントリを特定し、特定された色エントリの値を、その画素の値とする。また、パレット復号部２３は、上側に隣接する画素のインデックスと同一のインデックスが指定されたことを表すコピーフラグが付された画素については、上側に隣接する画素の値をその画素の値とする。さらに、パレット復号部２３は、同一のインデックスが指定された画素が連続することを表すラン長が付された部分については、ラスタスキャン順でその部分の直前の画素の値を、ラン長に相当する長さを持つその部分に含まれる各画素の値とする。
【００９９】
パレット復号部２３は、復号したCUを記憶部２５に保存する。
【０１００】
予測復号部２４は、インター予測符号化またはイントラ予測符号化されたCUを復号する。
【０１０１】
そこで予測復号部２４は、インター予測符号化されたCU内の各PUについて、復号された動きベクトルを表す情報（例えば、適用されたベクトルモード、予測ベクトルを表す情報及び差分ベクトルなど）から動きベクトルを再生する。
【０１０２】
そして予測復号部２４は、復号済みのピクチャまたは復号対象ピクチャの復号済みの領域を参照して、CUごとに、そのCUに含まれる各PUの予測ブロックを生成する。その際、予測復号部２４は、動画像符号化装置１の予測ブロック生成部１５と同様の処理を実行することにより予測ブロックを生成すればよい。例えば、予測復号部２４は、着目するCUがインター予測符号化されている場合、そのCU内のPUごとに、記憶部２５から読み出した復号済みのピクチャを、そのPUについて復号された動きベクトルに基づいて動き補償することで予測ブロックを生成する。あるいは、予測復号部２４は、着目するCUがイントラ予測符号化されている場合、そのCU内のPUごとに、記憶部２５から読み出した、隣接する復号済みの画素の値とそのPUに適用される予測モードとに基づいて予測ブロックを生成する。
【０１０３】
予測復号部２４は、着目するCUについて、エントロピー復号部２１から受け取った量子化係数に、復号されたヘッダ情報から取得した量子化パラメータにより決定された量子化幅に相当する所定数を乗算することにより逆量子化する。この逆量子化により、直交変換係数が復元される。その後、予測復号部２４は、着目するCU内のTUごとに、直交変換係数を逆直交変換処理する。逆量子化処理及び逆直交変換処理を各TUの量子化係数に対して実行することにより、着目するCU全体の各画素の予測誤差信号が再生される。
【０１０４】
予測復号部２４は、着目するCU内の各PUの予測ブロックの各画素値に、その画素に対応する再生された予測誤差信号を加算することにより、各PUを復号できる。そして予測復号部２４は、復号された各PUを、符号化順序に従って結合することにより、着目するCUを復号する。予測復号部２４は、復号されたCUを記憶部２５に保存する。
【０１０５】
記憶部２５は、マップ復号部２２、パレット復号部２３、及び、予測復号部２４から受け取った、復号されたCU及び復号されたピクチャを一時的に記憶する。そして記憶部２５は、予測復号部２４に、復号されたCUを参照領域として、あるいは復号されたピクチャを参照ピクチャとして供給する。さらに、記憶部２５は、予測復号部２４に、復号済みのPUの動きベクトルを供給する。さらに、記憶部２５は、マップ復号部２２及びパレット復号部２３に、復号済みのCUのパレットテーブルを供給する。なお、記憶部２５は、予め定められた所定枚数分のピクチャを記憶し、記憶されているデータ量がその所定枚数に相当する量を超えると、符号化順序が古いピクチャから順に破棄する。
【０１０６】
結合部２６は、各CTUについて、そのCTUに含まれる、復号され、かつ、記憶部２５に記憶されている各CUを、CU分割モードに従って結合することで、そのCTUを復号する。さらに、結合部２６は、復号された各CTUを、符号化順序に従って結合することでピクチャ全体を復号する。結合部２６は、復号されたピクチャを記憶部２５に記憶するとともに、復号されたピクチャをバッファメモリ（図示せず）に記憶する。バッファメモリに記憶されている復号された各ピクチャは、例えば、制御部（図示せず）により表示順序に従って、表示装置（図示せず）へ出力される。
【０１０７】
図６は、動画像復号装置２により実行される、動画像復号処理の動作フローチャートである。動画像復号装置２は、復号対象となるCTUごとに図６に示される動画像復号処理を実行する。
エントロピー復号部２１は、CTU単位で符号化されているデータをエントロピー復号する（ステップＳ２０１）。これにより、復号対象CTUに適用されたCU分割モード、及び、インター予測符号化またはイントラ予測符号化された各CUの量子化係数が再生される。さらに、マップ符号化された各CUの各画素の一致フラグ及び画素値マップを表す情報、パレット符号化された各CUの各画素のインデックス及びパレットテーブルを表す情報、及び、各種シンタックスなどが再生される。
【０１０８】
マップ復号部２２は、マップ符号化モードが適用された各CUの画素値マップ及びパレットテーブルを再生する（ステップＳ２０２）。そしてマップ復号部２２は、マップ符号化モードが適用された各CUについて、一致フラグが付された各画素の値を画素値マップの対応画素の値を参照して再生する（ステップＳ２０３）。またマップ復号部２２は、マップ符号化モードが適用された各CUについて、インデックスが付された各画素の値をパレットテーブルの対応する色エントリを参照して再生する（ステップＳ２０４）。これにより、マップ復号部２２は、マップ符号化モードが適用された各CUを復号する。
【０１０９】
また、パレット復号部２３は、パレット符号化モードが適用された各CUのパレットテーブルを再生する（ステップＳ２０５）。そしてパレット復号部２３は、パレット符号化モードが適用されたCUごとに、CUの各画素のインデックス、コピーフラグ、ラン長及びパレットテーブルを参照してCUの各画素の値を再生することで、CUを復号する（ステップＳ２０６）。
【０１１０】
さらに、予測復号部２４は、インター予測符号化またはイントラ予測符号化が適用された各CUを復号する（ステップＳ２０７）。
【０１１１】
結合部２６は、CU分割モードに従って復号された各CUを結合することで、復号対象のCTUを再生する（ステップＳ２０８）。結合部２６は、再生したCTUを記憶部２５に記憶する。そして動画像復号装置２は、復号対象CTUについての動画像復号処理を終了する。
【０１１２】
以上に説明してきたように、この動画像復号装置は、上記の実施形態による動画像符号化装置により、マップ符号化されたブロックが含まれていても、符号化された動画像データを復号できる。
【０１１３】
なお、変形例によれば、画素値マップを生成する複数の方法から何れか一つの方法が選択されてもよい。例えば、動画像符号化装置１のマップ生成部１１は、（１）式に従って画素値マップを生成してもよく、あるいは、イントラ予測符号化の予測モードの何れかに従って画素値マップを生成してもよい。この場合、マップ生成部１１は、画素値マップの生成方法ごとに、例えば、着目するCUの各画素と、生成された画素値マップの対応画素との間の画素値の誤差二乗和を算出し、誤差二乗和が最小となる生成方法を採用すればよい。あるいは、マップ生成部１１は、着目するCUの各画素のうち、その画素の値と画素値マップの対応画素の値とが一致する画素の数が最大となる生成方法を採用すればよい。
【０１１４】
そして動画像符号化装置１のエントロピー符号化部１９は、マップ符号化モードが適用された各CUについて、そのCUについて適用された、画素値マップの生成方法を表すシンタックスを、符号化された動画像データを表すビットストリームに含めればよい。
【０１１５】
また、動画像復号装置２のマップ復号部２２は、マップ符号化モードが適用された各CUについて、そのCUについて適用された、画素値マップの生成方法を表すシンタックスを参照して、画素値マップの生成方法を特定することで、画素値マップを再生すればよい。
【０１１６】
なお、画素値マップの生成方法は、上記のようにCUごとに設定されてもよく、あるいは、CTUごと、HEVCで規定されるスライスもしくはタイルごと、または、ピクチャごとに設定されてもよい。
【０１１７】
また他の変形例によれば、動画像符号化装置１のマップ符号化部１３は、パレット符号化部１４と同様に、着目する画素及び上側に隣接する画素に、色エントリの同じインデックスが付されている場合、着目する画素の値をコピーフラグで表してもよい。また、マップ符号化部１３は、パレット符号化部１４と同様に、着目するCUに、ラスタスキャン順に従って同じインデックスが付された画素が連続する部分が含まれる場合、その部分に含まれる各画素の値をラン長で表してもよい。この場合には、動画像復号装置２のマップ復号部２２は、パレット復号部２３と同様に、コピーフラグが付された画素及びラン長が付された部分に含まれる各画素の値を再生すればよい。
【０１１８】
なお、マップ符号化部１３は、コピーフラグを使用した場合の符号化コストがコピーフラグを使用しない場合の符号化コストよりも小さい場合に、コピーフラグを使用するようにしてもよい。同様に、マップ符号化部１３は、ラン長を使用した場合の符号化コストがラン長を使用しない場合の符号化コストよりも小さい場合に、コピーフラグを使用するようにしてもよい。
【０１１９】
また、着目するCUにおいて、画素値マップの対応画素の値と異なる値を持ち、かつ、パレットテーブルの何れの色エントリとも異なる値を持つ画素が含まれることがある。このような場合、マップ符号化部１３は、その画素の値に最も近い色エントリのインデックスをその画素に指定してもよい。また、マップ符号化部１３は、画素値マップの対応画素の値と異なり、かつ、パレットテーブルの何れの色エントリとも異なる値を持つ画素について、その画素の値と画素値マップの対応画素の値の差が所定範囲内であれば、その画素に一致フラグを付してもよい。これらの場合には、復号されるCUと、元のCUとは完全に同一とはならない。そこで動画像符号装置１の符号化モード判定部１６は、例えば、（２）式に従ってマップ符号化モードが適用される場合の符号化コストを算出して、算出された符号化コストと他の符号化モードが適用された場合の符号化コストと比較すればよい。ただしこの場合には、（２）式の右辺第１項のldec(i)は、マップ符号化により符号化されたCUを復号して得られる復号画素の値となる。
【０１２０】
図７は、上記の実施形態またはその変形例による動画像符号化装置または動画像復号装置の各部の機能を実現するコンピュータプログラムが動作することにより、動画像符号化装置または動画像復号装置として動作するコンピュータの構成図である。このコンピュータは、例えば、Wireless displayまたはVirtual Desktop Infrastructure(VDI)を実現するシステムにおいてスクリーン映像を生成するサーバ、あるいは、符号化されたスクリーン映像を再生する端末として利用可能である。
【０１２１】
コンピュータ１００は、ユーザインターフェース１０１と、通信インターフェース１０２と、メモリ１０３と、記憶媒体アクセス装置１０４と、プロセッサ１０５とを有する。プロセッサ１０５は、ユーザインターフェース１０１、通信インターフェース１０２、メモリ１０３及び記憶媒体アクセス装置１０４と、例えば、バスを介して接続される。
【０１２２】
ユーザインターフェース１０１は、例えば、キーボードとマウスなどの入力装置と、液晶ディスプレイといった表示装置とを有する。または、ユーザインターフェース１０１は、タッチパネルディスプレイといった、入力装置と表示装置とが一体化された装置を有してもよい。そしてユーザインターフェース１０１は、例えば、ユーザの操作に応じて、符号化する動画像データ、あるいは、復号する動画像データを選択する操作信号をプロセッサ１０５へ出力する。なお、符号化する動画像データ、あるいは、復号する動画像データは、プロセッサ１０５上で動作するアプリケーションプログラムによって決定されてもよい。
【０１２３】
通信インターフェース１０２は、例えば、イーサネット（登録商標）などの通信規格に従った通信ネットワークに接続するための通信インターフェース及びその制御回路を有する。そして通信インターフェース１０２は、通信ネットワークに接続された他の機器から、符号化する動画像データを取得し、そのデータをプロセッサ１０５へ渡す。また通信インターフェース１０２は、プロセッサ１０５から受け取った、符号化動画像データを通信ネットワークを介して他の機器へ出力してもよい。また、通信インターフェース１０２は、通信ネットワークに接続された他の機器から、復号対象となる、符号化された動画像データを含むビットストリームを取得し、そのビットストリームをプロセッサ１０５へ渡してもよい。
【０１２４】
メモリ１０３は、記憶部の一例であり、例えば、読み書き可能な半導体メモリと読み出し専用の半導体メモリとを有する。そしてメモリ１０３は、プロセッサ１０５上で実行される、動画像符号化処理を実行するためのコンピュータプログラム、または、動画像復号処理を実行するためのコンピュータプログラムを記憶する。さらに、メモリ１０３は、動画像符号化処理または動画像復号処理の途中または結果として生成されるデータを記憶する。
【０１２５】
記憶媒体アクセス装置１０４は、記憶部の他の一例であり、例えば、磁気ディスク、半導体メモリカード及び光記憶媒体といった記憶媒体１０６にアクセスする装置である。記憶媒体アクセス装置１０４は、例えば、記憶媒体１０６に記憶されたプロセッサ１０５上で実行される、動画像符号化処理用のコンピュータプログラムまたは動画像復号処理用のコンピュータプログラムを読み込み、プロセッサ１０５に渡す。
【０１２６】
プロセッサ１０５は、例えば、Central Processing Unit(CPU)、Graphics Processing Unit(GPU)及び数値演算プロセッサの少なくとも何れかを含む。そしてプロセッサ１０５は、上記の実施形態または変形例による動画像符号化処理用コンピュータプログラムを実行することにより、動画像データを符号化する。そしてプロセッサ１０５は、符号化された動画像データをメモリ１０３に保存し、または通信インターフェース１０２を介して他の機器へ出力する。あるいは、プロセッサ１０５は、上記の実施形態または変形例による動画像復号処理用コンピュータプログラムを実行することにより、符号化された動画像データを復号する。そしてプロセッサ１０５は、復号されたピクチャをユーザインターフェース１０１の表示装置に表示させる。
【０１２７】
なお、上記の実施形態または変形例による動画像符号化処理用コンピュータプログラム及び動画像復号処理用コンピュータプログラムは、コンピュータによって読み取り可能な媒体に記録された形で提供されてもよい。ただし、そのような記録媒体には、搬送波は含まれない。
【０１２８】
ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。
【０１２９】
以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
（付記１）
動画像データに含まれる符号化対象ピクチャを符号化する動画像符号化装置であって、
前記符号化対象ピクチャを分割して得られる複数のブロックのうち、符号化対象ブロックについて、当該符号化対象ブロックの画素値の空間的な分布を表す画素値マップを生成するマップ生成部と、
前記符号化対象ブロックに含まれる各画素のうち、前記画素値マップの対応画素の値と同じ値を持つ画素に対してフラグを付すマップ符号化部と、
前記画素値マップを表す情報と、前記符号化対象ブロックに含まれる各画素のうち、前記画素値マップの対応画素の値と同じ値を持つ画素に付された前記フラグとを前記動画像データの符号化データに含める付加部と、
を有する動画像符号化装置。
（付記２）
前記符号化対象ブロックに含まれる複数の画素の値が登録され、かつ、前記複数の画素の値のそれぞれごとに異なるインデックスと関連付けられたパレットテーブルを生成するパレットテーブル生成部をさらに有し、
前記マップ符号化部は、前記符号化対象ブロックに含まれる各画素のうち、前記画素値マップの対応画素の値と異なる値を持つ画素に、前記パレットテーブルに登録された前記複数の画素の値のうちの当該画素の値と同じ値に対応する前記インデックスを付し、
前記付加部は、前記パレットテーブルを表す情報と、前記符号化対象ブロックに含まれる各画素のうち、前記画素値マップの対応画素の値と異なる値を持つ画素に付された前記インデックスとを前記符号化データにさらに含める、付記１に記載の動画像符号化装置。
（付記３）
前記マップ生成部は、前記符号化対象ブロック内の位置と画素値との関係を表す式に基づいて前記画素値マップを生成する、付記１または２に記載の動画像符号化装置。
（付記４）
前記マップ生成部は、前記符号化対象ブロック周囲の符号化済みの画素の値を参照して前記画素値マップを生成する、付記１または２に記載の動画像符号化装置。
（付記５）
前記マップ生成部は、前記画素値マップを生成する複数の方法のうち、前記画素値マップと前記符号化対象ブロック間の誤差が最小となる方法に従って前記画素値マップを生成し、
前記付加部は、前記複数の方法のうち、前記符号化対象ブロックについての前記画素値マップの生成に用いられた方法を表す情報を前記符号化データにさらに含める、付記１または２に記載の動画像符号化装置。
（付記６）
動画像データに含まれる復号対象ピクチャを復号する動画像復号装置であって、
前記動画像データの符号化データから、前記復号対象ピクチャの復号対象ブロックの画素値の空間的な分布を表す画素値マップを表す情報と、前記復号対象ブロックの各画素のうち、前記画素値マップの対応画素と同じ値を持つ画素に付されたフラグとを取り出す分離部と、
前記画素値マップを表す情報に基づいて前記画素値マップを復号し、復号された前記画素値マップと、前記フラグとに基づいて、前記復号対象ブロックを復号するマップ復号部と、
を有する動画像復号装置。
（付記７）
前記分離部は、前記符号化データから、前記復号対象ブロックに含まれる複数の画素の値が登録され、かつ、前記複数の画素の値のそれぞれごとに異なるインデックスと関連付けられたパレットテーブルを表す情報と、前記復号対象ブロックの各画素のうち、前記画素値マップの対応画素と異なる値を持つ画素に付された前記インデックスとをさらに取り出し、
前記マップ復号部は、前記パレットテーブルを表す情報に基づいて前記パレットテーブルを復号し、かつ、前記復号対象ブロックの各画素のうち、前記画素値マップの対応画素と異なる値を持つ画素の値を当該画素に付された前記インデックスと前記パレットテーブルとに基づいて復号する、付記６に記載の動画像復号装置。
（付記８）
前記画素値マップを表す情報は、前記復号対象ブロック内の位置と画素値との関係を表す式を特定する情報である、付記６または７に記載の動画像復号装置。
（付記９）
前記画素値マップを表す情報は、前記復号対象ブロック周囲の復号済みの画素の値である、付記６または７に記載の動画像復号装置。
（付記１０）
前記分離部は、前記符号化データから、前記画素値マップを生成する複数の方法のうち、前記復号対象ブロックについての前記画素値マップの生成に用いられた方法を表す情報をさらに取り出し、
前記マップ復号部は、前記画素値マップの生成に用いられた方法を表す情報に従って前記画素値マップを復号する、付記６または７に記載の動画像復号装置。
（付記１１）
動画像データに含まれる符号化対象ピクチャを符号化する動画像符号化方法であって、
前記符号化対象ピクチャを分割して得られる複数のブロックのうち、符号化対象ブロックについて、当該符号化対象ブロックの画素値の空間的な分布を表す画素値マップを生成し、
前記符号化対象ブロックに含まれる各画素のうち、前記画素値マップの対応画素の値と同じ値を持つ画素に対してフラグを付し、
前記画素値マップを表す情報と、前記符号化対象ブロックに含まれる各画素のうち、前記画素値マップの対応画素の値と同じ値を持つ画素に付された前記フラグとを前記動画像データの符号化データに含める、
ことを含む動画像符号化方法。
（付記１２）
動画像データに含まれる符号化対象ピクチャを符号化する動画像符号化方法であって、
前記符号化対象ピクチャを分割して得られる複数のブロックのうち、符号化対象ブロックについて、当該符号化対象ブロックの画素値の空間的な分布を表す画素値マップを生成し、
前記符号化対象ブロックに含まれる各画素のうち、前記画素値マップの対応画素の値と同じ値を持つ画素に対してフラグを付し、
前記画素値マップを表す情報と、前記符号化対象ブロックに含まれる各画素のうち、前記画素値マップの対応画素の値と同じ値を持つ画素に付された前記フラグとを前記動画像データの符号化データに含める、
ことをコンピュータに実行させるための動画像符号化用コンピュータプログラム。
（付記１３）
動画像データに含まれる復号対象ピクチャを復号する動画像復号方法であって、
前記動画像データの符号化データから、前記復号対象ピクチャの復号対象ブロックの画素値の空間的な分布を表す画素値マップを表す情報と、前記復号対象ブロックの各画素のうち、前記画素値マップの対応画素と同じ値を持つ画素に付されたフラグとを取り出し、
前記画素値マップを表す情報に基づいて前記画素値マップを復号し、
復号された前記画素値マップと、前記フラグとに基づいて、前記復号対象ブロックを復号する、
ことを含む動画像復号方法。
（付記１４）
動画像データに含まれる復号対象ピクチャを復号する動画像復号方法であって、
前記動画像データの符号化データから、前記復号対象ピクチャの復号対象ブロックの画素値の空間的な分布を表す画素値マップを表す情報と、前記復号対象ブロックの各画素のうち、前記画素値マップの対応画素と同じ値を持つ画素に付されたフラグとを取り出し、
前記画素値マップを表す情報に基づいて前記画素値マップを復号し、
復号された前記画素値マップと、前記フラグとに基づいて、前記復号対象ブロックを復号する、
ことをコンピュータに実行させるための動画像復号用コンピュータプログラム。
【符号の説明】
【０１３０】
１    動画像符号化装置
１１    マップ生成部
１２    パレットテーブル生成部
１３    マップ符号化部
１４    パレット符号化部
１５    予測ブロック生成部
１６    符号化モード判定部
１７    予測符号化部
１８    記憶部
１９    エントロピー符号化部
２    動画像復号装置
２１    エントロピー復号部
２２    マップ復号部
２３    パレット復号部
２４    予測復号部
２５    記憶部
２６    結合部
１００    コンピュータ
１０１    ユーザインターフェース
１０２    通信インターフェース
１０３    メモリ
１０４    記憶媒体アクセス装置
１０５    プロセッサ
１０６    記憶媒体
【図１】
2019022129.tif 000005
【図２】
2019022129.tif 000006
【図３】
2019022129.tif 000007
【図４】
2019022129.tif 000008
【図５】
2019022129.tif 000009
【図６】
2019022129.tif 000010
【図７】
2019022129.tif 000011