(57)【要約】【課題】３６０度の全天画像を六面体に投影した画像をフレーム内の一部の領域を除いた領域に割り当てて符号化する際の符号化効率を向上させることができる画像符号化装置を提供する。【解決手段】ピクチャ分割部１０４は、画像情報の各フレームを、画像が割り当てられている割り当て領域に設定された１または複数の第１のタイルと、非割り当て領域に設定された１または複数の第２のタイルとに分割する。符号化データ生成部は、第１のタイルの画像を符号化して符号化データを生成する。シンタックス生成部（エントロピー符号化部５）は、第１及び第２のタイルそれぞれを、フレーム内での左上角部の水平位置及び垂直位置と水平サイズ及び垂直サイズとで定義したシンタックス要素を含むシンタックスを生成する。ビットストリーム生成部（エントロピー符号化部５）は、符号化データとシンタックスとを含むビットストリームを生成する。【選択図】図６
2018056686.tif 000002
【特許請求の範囲】
【請求項１】
フレーム内に画像が割り当てられている割り当て領域と画像が割り当てられていない非割り当て領域とを含むフォーマットの画像情報が入力され、前記画像情報の各フレームを、前記割り当て領域に設定された１または複数の第１のタイルと、前記非割り当て領域に設定された１または複数の第２のタイルとに分割するピクチャ分割部と、
前記第１のタイルの画像を符号化して符号化データを生成する符号化データ生成部と、
前記第１及び第２のタイルそれぞれを、フレーム内での左上角部の水平位置及び垂直位置と水平サイズ及び垂直サイズとで定義した第１のシンタックス要素を含むシンタックスを生成するシンタックス生成部と、
前記符号化データと前記シンタックスとを含むビットストリームを生成するビットストリーム生成部と、
を備えることを特徴とする画像符号化装置。
【請求項２】
前記符号化データ生成部は前記第２のタイルの画像を符号化せず、
前記シンタックス生成部は、前記第２のタイルの画像を符号化しないことを示すスキップタイルフラグである第２のシンタックス要素を含むシンタックスを生成する
ことを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
前記ピクチャ分割部は前記割り当て領域を複数の第１のタイルに分割し、
前記符号化データ生成部は、前記複数の第１のタイルそれぞれを符号化するときに、前記複数の第１のタイルのうちの少なくとも１つの他のタイルを参照するか否かの設定情報に基づいて、前記複数の第１のタイルそれぞれを符号化して符号化データを生成し、
前記シンタックス生成部は、前記符号化データ生成部が他のタイルを参照せず前記第１のタイルを符号化したときには他のタイルを参照しないことを示し、他のタイルを参照して前記第１のタイルを符号化したときには参照するタイルを示す第３のシンタックス要素を含むシンタックスを生成する
ことを特徴とする請求項２に記載の画像符号化装置。
【請求項４】
フレーム内に画像が割り当てられている割り当て領域と画像が割り当てられていない非割り当て領域とを含むフォーマットの画像情報の各フレームを、前記割り当て領域に設定された１または複数の第１のタイルと、前記非割り当て領域に設定された１または複数の第２のタイルとに分割し、
前記第１のタイルの画像を符号化して符号化データを生成し、
前記第１及び第２のタイルそれぞれを、フレーム内での左上角部の水平位置及び垂直位置と水平サイズ及び垂直サイズとで定義したシンタックス要素を含むシンタックスを生成し、
前記符号化データと前記シンタックスとを含むビットストリームを生成する
ことを特徴とする画像符号化方法。
【請求項５】
コンピュータに、
フレーム内に画像が割り当てられている割り当て領域と画像が割り当てられていない非割り当て領域とを含むフォーマットの画像情報の各フレームを、前記割り当て領域に設定された１または複数の第１のタイルと、前記非割り当て領域に設定された１または複数の第２のタイルとに分割するステップと、
前記第１のタイルの画像を符号化して符号化データを生成するステップと、
前記第１及び第２のタイルそれぞれを、フレーム内での左上角部の水平位置及び垂直位置と水平サイズ及び垂直サイズとで定義したシンタックス要素を含むシンタックスを生成するステップと、
前記符号化データと前記シンタックスとを含むビットストリームを生成するステップと、
を実行させることを特徴とする画像符号化プログラム。
【請求項６】
フレーム内に画像が割り当てられている割り当て領域と画像が割り当てられていない非割り当て領域とを含むフォーマットの画像情報であり、前記画像情報の各フレームが、前記割り当て領域に設定された１または複数の第１のタイルと、前記非割り当て領域に設定された１または複数の第２のタイルとに分割され、前記第１のタイルの画像が符号化された符号化データと、前記第１及び第２のタイルそれぞれを、フレーム内での左上角部の水平位置及び垂直位置と水平サイズ及び垂直サイズとで定義した第１のシンタックス要素を含むシンタックスとを含むビットストリームを受信するビットストリーム受信部と、
前記符号化データを復号して前記第１のタイルの復号画像を生成する復号部と、
前記第１のシンタックス要素に基づいて、前記第１のタイルの復号画像と前記第２のタイルの単一画像とを合成して各フレームの復号画像情報を生成するピクチャ合成部と、
を備えることを特徴とする画像復号装置。
【請求項７】
前記符号化データは、前記第２のタイルの画像が符号化されていない符号化データであり、
前記ビットストリーム受信部は、前記第２のタイルが符号化されていないことを示すスキップタイルフラグである第２のシンタックス要素を含むシンタックスを受信し、
前記ピクチャ合成部は、前記第２のシンタックス要素に基づいて、前記第２のタイルに前記単一画像を割り当てる
ことを特徴とする請求項６に記載の画像復号装置。
【請求項８】
前記画像情報の前記割り当て領域は複数の第１のタイルに分割され、
前記ビットストリーム受信部は、前記複数の第１のタイルそれぞれが、前記複数の第１のタイルのうちの少なくとも１つの他のタイルを参照して符号化されているか否かを示し、他のタイルを参照して符号化されているときには参照したタイルを示す第３のシンタックス要素を含むシンタックスを受信し、
前記復号部は、前記第３のシンタックス要素に基づいて、前記複数の第１のタイルそれぞれを、他のタイルを参照して符号化されていないときには他のタイルを参照することなく復号し、他のタイルを参照して符号化されているときには他のタイルを参照して復号する
ことを特徴とする請求項７に記載の画像復号装置。
【請求項９】
フレーム内に画像が割り当てられている割り当て領域と画像が割り当てられていない非割り当て領域とを含むフォーマットの画像情報であり、前記画像情報の各フレームが、前記割り当て領域に設定された１または複数の第１のタイルと、前記非割り当て領域に設定された１または複数の第２のタイルとに分割され、前記第１のタイルの画像が符号化された符号化データと、前記第１及び第２のタイルそれぞれを、フレーム内での左上角部の水平位置及び垂直位置と水平サイズ及び垂直サイズとで定義したシンタックス要素を含むシンタックスとを含むビットストリームを受信し、
前記符号化データを復号して前記第１のタイルの復号画像を生成し、
前記シンタックス要素に基づいて、前記第１のタイルの復号画像と前記第２のタイルの単一画像とを合成して各フレームの復号画像情報を生成する
ことを特徴とする画像復号方法。
【請求項１０】
コンピュータに、
フレーム内に画像が割り当てられている割り当て領域と画像が割り当てられていない非割り当て領域とを含むフォーマットの画像情報であり、前記画像情報の各フレームが、前記割り当て領域に設定された１または複数の第１のタイルと、前記非割り当て領域に設定された１または複数の第２のタイルとに分割され、前記第１のタイルの画像が符号化された符号化データと、前記第１及び第２のタイルそれぞれを、フレーム内での左上角部の水平位置及び垂直位置と水平サイズ及び垂直サイズとで定義したシンタックス要素を含むシンタックスとを含むビットストリームを受信するステップと、
前記符号化データを復号して前記第１のタイルの復号画像を生成するステップと、
前記シンタックス要素に基づいて、前記第１のタイルの復号画像と前記第２のタイルの単一画像とを合成して各フレームの復号画像情報を生成するステップと、
を実行させることを特徴とする画像復号プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、画像復号装置、画像復号方法、及び画像復号プログラムに関する。
【背景技術】
【０００２】
H.264/MPEG-4 AVC (Advanced Video Coding)よりもさらに画像情報を高効率に符号化することができる圧縮符号化方式H.265/MPEG-H HEVC(High Efficiency Video Coding)（以下、HEVCと略記する）が標準化されている（非特許文献１参照）。HEVCにおいては、フレーム（ピクチャ）を構成する画素を符号化ツリーユニット（ＣＴＵ：Coding Tree Unit）と称されるブロックを分割単位として分割するタイルが規定されている。
【０００３】
非特許文献２には、図１に示すように、ヘッドマウントディスプレイによって視認する３６０度の全天画像４０１を六面体４０２の面４０２Ａ〜４０２Ｆに投影し、面４０２Ａ〜４０２Ｆに投影した画像を、図２に示すように、フレーム内の６つの領域に展開することが記載されている。図２において、ハッチングを付していない領域は画像が割り当てられている割り当て領域であり、ハッチングを付した領域は、画像が割り当てられていない非割り当て領域である。
【０００４】
ヘッドマウントディスプレイを装着したユーザは、図２に示す画像をヘッドマウントディスプレイで視認することによって、目の前に球状に広がる仮想現実画像（ＶＲ画像）のコンテンツを鑑賞することができる。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】” High Efficiency Video Coding (HEVC) text specification draft 10 (for FDIS & Last Call)”, JCTVC-L1003, January 2013
【非特許文献２】”GoPro test sequences for Virtual Reality video coding”, JVET-C0021, May 2016
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところが、HEVCのタイルでは、図２に示す画像を図３または図４に示すように分割して符号化することはできない。また、図２における非割り当て領域では、本来であれば符号化データを画像復号装置に送信して復号する必要がないが、HEVCではスキップモード、ダイレクトモード、イントラ予測におけるＤＣ（直流）モード等を用いて符号化する必要がある。従って、画像符号化装置は非割り当て領域でも符号を伝送して、画像復号装置は伝送された符号を復号しなければならない。
【０００７】
実施形態は、３６０度の全天画像を六面体に投影した画像をフレーム内の一部の領域を除いた領域に割り当てて符号化する際の符号化効率を向上させ、符号化または復号の処理量を低減させることができる画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、画像復号装置、画像復号方法、及び画像復号プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
実施形態の第１の態様によれば、フレーム内に画像が割り当てられている割り当て領域と画像が割り当てられていない非割り当て領域とを含むフォーマットの画像情報が入力され、前記画像情報の各フレームを、前記割り当て領域に設定された１または複数の第１のタイルと、前記非割り当て領域に設定された１または複数の第２のタイルとに分割するピクチャ分割部と、前記第１のタイルの画像を符号化して符号化データを生成する符号化データ生成部と、前記第１及び第２のタイルそれぞれを、フレーム内での左上角部の水平位置及び垂直位置と水平サイズ及び垂直サイズとで定義した第１のシンタックス要素を含むシンタックスを生成するシンタックス生成部と、前記符号化データと前記シンタックスとを含むビットストリームを生成するビットストリーム生成部とを備えることを特徴とする画像符号化装置が提供される。
【０００９】
実施形態の第２の態様によれば、フレーム内に画像が割り当てられている割り当て領域と画像が割り当てられていない非割り当て領域とを含むフォーマットの画像情報の各フレームを、前記割り当て領域に設定された１または複数の第１のタイルと、前記非割り当て領域に設定された１または複数の第２のタイルとに分割し、前記第１のタイルの画像を符号化して符号化データを生成し、前記第１及び第２のタイルそれぞれを、フレーム内での左上角部の水平位置及び垂直位置と水平サイズ及び垂直サイズとで定義したシンタックス要素を含むシンタックスを生成し、前記符号化データと前記シンタックスとを含むビットストリームを生成することを特徴とする画像符号化方法が提供される。
【００１０】
実施形態の第３の態様によれば、コンピュータに、フレーム内に画像が割り当てられている割り当て領域と画像が割り当てられていない非割り当て領域とを含むフォーマットの画像情報の各フレームを、前記割り当て領域に設定された１または複数の第１のタイルと、前記非割り当て領域に設定された１または複数の第２のタイルとに分割するステップと、前記第１のタイルの画像を符号化して符号化データを生成するステップと、前記第１及び第２のタイルそれぞれを、フレーム内での左上角部の水平位置及び垂直位置と水平サイズ及び垂直サイズとで定義したシンタックス要素を含むシンタックスを生成するステップと、前記符号化データと前記シンタックスとを含むビットストリームを生成するステップとを実行させることを特徴とする画像符号化プログラムが提供される。
【００１１】
実施形態の第４の態様によれば、フレーム内に画像が割り当てられている割り当て領域と画像が割り当てられていない非割り当て領域とを含むフォーマットの画像情報であり、前記画像情報の各フレームが、前記割り当て領域に設定された１または複数の第１のタイルと、前記非割り当て領域に設定された１または複数の第２のタイルとに分割され、前記第１のタイルの画像が符号化された符号化データと、前記第１及び第２のタイルそれぞれを、フレーム内での左上角部の水平位置及び垂直位置と水平サイズ及び垂直サイズとで定義した第１のシンタックス要素を含むシンタックスとを含むビットストリームを受信するビットストリーム受信部と、前記符号化データを復号して前記第１のタイルの復号画像を生成する復号部と、前記第１のシンタックス要素に基づいて、前記第１のタイルの復号画像と前記第２のタイルの単一画像とを合成して各フレームの復号画像情報を生成するピクチャ合成部とを備えることを特徴とする画像復号装置が提供される。
【００１２】
実施形態の第５の態様によれば、フレーム内に画像が割り当てられている割り当て領域と画像が割り当てられていない非割り当て領域とを含むフォーマットの画像情報であり、前記画像情報の各フレームが、前記割り当て領域に設定された１または複数の第１のタイルと、前記非割り当て領域に設定された１または複数の第２のタイルとに分割され、前記第１のタイルの画像が符号化された符号化データと、前記第１及び第２のタイルそれぞれを、フレーム内での左上角部の水平位置及び垂直位置と水平サイズ及び垂直サイズとで定義したシンタックス要素を含むシンタックスとを含むビットストリームを受信し、前記符号化データを復号して前記第１のタイルの復号画像を生成し、前記シンタックス要素に基づいて、前記第１のタイルの復号画像と前記第２のタイルの単一画像とを合成して各フレームの復号画像情報を生成することを特徴とする画像復号方法が提供される。
【００１３】
実施形態の第６の態様によれば、コンピュータに、フレーム内に画像が割り当てられている割り当て領域と画像が割り当てられていない非割り当て領域とを含むフォーマットの画像情報であり、前記画像情報の各フレームが、前記割り当て領域に設定された１または複数の第１のタイルと、前記非割り当て領域に設定された１または複数の第２のタイルとに分割され、前記第１のタイルの画像が符号化された符号化データと、前記第１及び第２のタイルそれぞれを、フレーム内での左上角部の水平位置及び垂直位置と水平サイズ及び垂直サイズとで定義したシンタックス要素を含むシンタックスとを含むビットストリームを受信するステップと、前記符号化データを復号して前記第１のタイルの復号画像を生成受信するステップと、前記シンタックス要素に基づいて、前記第１のタイルの復号画像と前記第２のタイルの単一画像とを合成して各フレームの復号画像情報を生成するステップとを実行させることを特徴とする画像復号プログラムが提供される。
【発明の効果】
【００１４】
実施形態の画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、画像復号装置、画像復号方法、及び画像復号プログラムによれば、３６０度の全天画像を六面体に投影した画像をフレーム内の一部の領域を除いた領域に割り当てて符号化する際の符号化効率を向上させ、符号化または復号の処理量を低減させることができる。
【図面の簡単な説明】
【００１５】
【図１】図１は、３６０度の全天画像と、３６０度の全天画像が投影される六面体を示す斜視図である。
【図２】図２は、３６０度の全天画像を六面体に投影した画像をフレーム内の６つの領域に展開した状態を示す図である。
【図３】図３は、HEVCのタイルによって分割して符号化することができない第１の例を示す図である。
【図４】図４は、図３は、HEVCのタイルによって分割して符号化することができない第２の例を示す図である。
【図５】図５は、画像符号化装置及び画像復号装置を含む画像符号化・復号システムの全体的な構成例を示すブロック図である。
【図６】図６は、一実施形態の画像符号化装置を示すブロック図である。
【図７】図７は、複数のスライスに分割されたフレームの構成例を示す図である。
【図８】図８は、複数のタイルに分割されたフレームの構成例を示す図である。
【図９】図９は、スライスとタイルとの関係の例を示す図である。
【図１０】図１０は、各タイルの位置及び大きさを示す図である。
【図１１】図１１は、各タイルの位置、大きさ、スキップライルフラグを表形式で示す図である。
【図１２】図１２は、あるタイルを符号化または復号する際に他のタイルを参照する一例を示す図である。
【図１３】図１３は、一実施形態の画像符号化装置が伝送するシンタックスの一例を示す図である。
【図１４】図１４は、一実施形態の画像符号化装置の動作、一実施形態の画像符号化方法による処理、一実施形態の画像符号化プログラムで実行される処理を示すフローチャートである。
【図１５Ａ】図１５Ａは、一実施形態の画像符号化プログラムを記憶する記憶部を備えるコンピュータの概略的な構成を示すブロック図である。
【図１５Ｂ】図１５Ｂは、一実施形態の画像復号プログラムを記憶する記憶部を備えるコンピュータの概略的な構成を示すブロック図である。
【図１６】図１６は、一実施形態の画像復号装置を示すブロック図である。
【図１７】図１７は、一実施形態の画像復号装置の動作、一実施形態の画像復号方法による処理、一実施形態の画像復号プログラムで実行される処理を示すフローチャートである。
【図１８】図１８は、第１の変形例を説明するための図である。
【図１９】図１９は、第２の変形例を説明するための図である。
【図２０】図２０は、第３の変形例を説明するための図である。
【発明を実施するための形態】
【００１６】
以下、一実施形態の画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、画像復号装置、画像復号方法、及び画像復号プログラムについて、添付図面を参照して説明する。
【００１７】
まず、図５を用いて、画像符号化装置及び画像復号装置を含む画像符号化・復号システムの全体的な構成例について説明する。図５において、前処理装置５０は、ユーザによる操作に従って、一実施形態の画像符号化装置１００による画像情報の符号化のための各種の条件を設定する。画像符号化装置１００は、前処理装置５０からの設定情報に応じて、画像情報を符号化してビットストリームを出力する。ビットストリームは、符号化された画像情報及びシンタックスを含む。
【００１８】
送信装置１１０は、ビットストリームを所定の伝送路１２０に送信する。伝送路１２０は有線または無線であり、インターネットのような通信回線、電話回線、テレビジョン信号を送信する地上波放送または衛星放送用の電波のいずれでもよい。受信装置１５０は、伝送路１２０によって送信されたビットストリームを受信する。一実施形態の画像復号装置２００は、ビットストリームを復号して復号画像情報を出力する。
【００１９】
＜画像符号化装置＞
図６は、画像符号化装置１００の具体的な構成例を示す。図６において、画像符号化装置１００に入力される画像情報は、図２に示すような、フレーム内に画像が割り当てられている割り当て領域と画像が割り当てられていない非割り当て領域とを含むフォーマットの画像情報である。
【００２０】
並べ替え（Re-order）バッファ１には、デジタル信号の画像情報の画素が順に入力される。画像情報がアナログ信号であれば、並べ替えバッファ１の前段でＡ／Ｄ変換器によってデジタル信号に変換されていればよい。画像情報は例えば輝度信号Ｙ（以下、Ｙ信号）と色差信号Ｃｂ及びＣｒ（以下、Ｃｂ及びＣｒ信号）であり、４：２：０フォーマットのＹ，Ｃｂ，Ｃｒ映像信号を例とする。
【００２１】
並べ替えバッファ１は入力された画素を複数フレーム分蓄積し、必要に応じてフレーム（ピクチャ）を並べ替えて読み出す。画像情報の各フレームは、フレーム内の画素を用いて符号化するＩピクチャ、過去のフレーム内の画素を用いて予測符号化するＰピクチャ、過去及び未来のフレーム内の画素を用いて予測符号化するＢピクチャのいずれかに設定される。Ｉピクチャ、Ｐピクチャ、Ｂピクチャは前処理装置５０によって設定されてもよいし、画像符号化装置１００が予め定めた規則に従って選択してもよい。
【００２２】
並べ替えバッファ１は、後述するビットストリームを構成するシーケンスの構成単位となる複数のピクチャ群（ＧＯＰ）にＢピクチャが含まれる場合には、符号化のためにフレームの順を並び替えて読み出す。並べ替えバッファ１より読み出された各フレームの画素は、ピクチャ分割部１０４を介して減算器２に供給される。
【００２３】
タイル分割設定部１０１、スキップタイル設定部１０２、参照タイル設定部１０３、ピクチャ分割部１０４の動作を説明する前に、減算器２以降の動作を説明する。
【００２４】
減算器２に入力される各フレームは、例えば水平６４画素、垂直６４画素のＣＴＵに分割され、各ＣＴＵは、再帰的な四分木ブロック分割に基づいて可変サイズの符号化ユニット（ＣＵ：Coding Unit）に分割されることがある。最大サイズのＣＵは最大符号化ユニット（ＬＣＵ：Largest Coding Unit）と称され、最小サイズのＣＵは最小符号化ユニット（ＳＣＵ：Smallest Coding Unit）と称される。
【００２５】
ＣＵは、イントラ予測部１４及びインター予測部１５における予測処理のために予測ユニット（ＰＵ：Prediction Unit）に分割される。また、ＣＵは、直交変換部３における直交変換処理及び量子化部４における量子化処理のために、再帰的な四分木ブロック分割に基づいて可変サイズの変換ユニット（ＴＵ：Transform Unit）に分割される。
【００２６】
以上の可変サイズのＣＵ、ＰＵ、ＴＵは、後述するコスト関数値が最小となるように選択される。画像情報の絵柄に応じてコスト関数値が最小となるＣＵ、ＰＵ、ＴＵは異なるから、各フレームの画素はサイズが異なるＣＵ、ＰＵ、ＴＵが混在した状態で分割される。
【００２７】
減算器２は、ピクチャ分割部１０４より出力された原画像である画像情報のＣＵより、後述するイントラ予測部１４またはインター予測部１５によって生成された予測値（予測画像）を減算して、予測残差を生成する。減算器２は、予測残差を直交変換部３に供給する。
【００２８】
直交変換部３は、予測残差をＴＵ単位で直交変換して、予測残差を周波数領域の信号に変換する。直交変換部３は、直交変換として、イントラ予測が選択されてＴＵが水平４画素、垂直４画素の場合のみ離散サイン変換（ＤＳＴ）を用い、他の場合は離散コサイン変換（ＤＣＴ）を用いて、予測残差を直交変換する。直交変換部３は、直交変換係数を量子化部４に供給する。
【００２９】
量子化部４は、直交変換係数を量子化してエントロピー符号化部５及び逆量子化部８に供給する。エントロピー符号化部５は、量子化された直交変換係数に対して発生確率に基づいて異なる長さの符号を割り当てて、直交変換係数をエントロピー符号化する。
【００３０】
エントロピー符号化部５は、画像情報を符号化する際のシンタックスもエントロピー符号化する。シンタックスは、イントラ予測部１４またはインター予測部１５で選択された予測モード、動きベクトル、参照画素を特定するための情報等の各種のシンタックス要素を含む。また、シンタックスは、タイル分割設定部１０１、スキップタイル設定部１０２、参照タイル設定部１０３での設定情報を示すシンタックス要素も含む。
【００３１】
エントロピー符号化部５は、一例として、コンテクスト適応算術符号（CABAC: Context-based Adaptive Binary Arithmetic Coding）を用いて直交変換係数及びシンタックスをエントロピー符号化することができる。
【００３２】
レート制御部７は、エントロピー符号化部５より出力される符号化データがオーバーフローまたはアンダーフローしないよう、量子化部４における量子化動作のレートを制御する。
【００３３】
ＨＲＤ（Hypothetical Reference Decoder）バッファ６はエントロピー符号化部５より出力される符号化データよりなるビットストリームを一時的に蓄積して出力する。
【００３４】
逆量子化部８は、量子化された直交変換係数をＴＵ単位で逆量子化して、逆直交変換部９に供給する。逆量子化部８における逆量子化の動作は、量子化部４における量子化の動作とは逆の動作である。
【００３５】
逆直交変換部９は、入力された直交変換係数をＴＵ単位で逆直交変換して、予測残差を加算器１０に供給する。加算器１０は、入力された予測残差と、予測値選択部１６により選択されたイントラ予測部１４またはインター予測部１５によって生成された予測値とを加算して、復号信号を生成する。復号信号はループフィルタ１１及びフレームメモリ１２に供給される。
【００３６】
ループフィルタ１１は、復号信号の符号化ノイズを低減させる。ループフィルタ１１は、ブロックの境界に生じる歪を低減させるデブロッキング・フィルタと、リンギング歪を低減させる画素適応オフセットとを含む。ループフィルタ１１によってフィルタ処理された復号信号はフレームメモリ１２に供給される。
【００３７】
フレームメモリ１２は、加算器１０より出力されたループフィルタ１１によるフィルタ処理を施していない復号信号と、ループフィルタ１１によるフィルタ処理が施された復号信号とを蓄積する。スイッチ１３は、フレームメモリ１２に蓄積されたフィルタ処理を施していない復号信号をイントラ予測部１４に供給し、フレームメモリ１２に蓄積されたフィルタ処理が施された復号信号をインター予測部１５に供給する。
【００３８】
イントラ予測部１４は、Ｙ信号、Ｃｂ及びＣｒ信号のそれぞれで、ＴＵ単位で、複数の予測モードで予測値を生成する。但し、予測モードはＰＵ単位で選択される。イントラ予測部１４は、コスト関数値を算出して、コスト関数値が最小となるＣＵ、ＰＵ、ＴＵのサイズを選択し、かつ、コスト関数値が最小となる予測モードの予測値を選択する。
【００３９】
インター予測部１５は、画像の動きを検出し、ＣＵのサイズを上限として、最小で水平８画素、垂直４画素または水平４画素、垂直８画素のＰＵから最大で水平６４画素、垂直６４画素のＰＵで、フレーム間動き補償予測を行って予測値を生成する。インター予測部１５は、過去のフレームもしくは未来のフレーム、または、過去及び未来のフレームを参照して予測値（予測画像）を生成する。過去及び未来のフレームはそれぞれ複数のフレームであってもよい。
【００４０】
同様に、インター予測部１５は、コスト関数値を算出して、コスト関数値が最小となるＣＵ、ＰＵ、ＴＵのサイズを選択し、かつ、コスト関数値が最小となる予測モードの予測値を選択する。
【００４１】
予測値選択部１６は、イントラ予測部１４で選択された予測値とインター予測部１５で選択された予測値とのうち、コスト関数値が小さい方を最終的な予測値として選択して減算器２及び加算器１０に供給する。
【００４２】
なお、Ｉピクチャを符号化する際にはイントラ予測部１４による予測値のみが用いられる。Ｐピクチャ及びＢピクチャを符号化する際には、イントラ予測部１４で選択された予測値とインター予測部１５で選択された予測値とのうちの小さい方の予測値が選択される。
【００４３】
減算器２からエントロピー符号化部５までの部分、及び、逆量子化部８から予測値選択部１６までの部分は、画像情報を符号化して符号化データを生成する符号化データ生成部として機能する。
【００４４】
次に、タイル分割設定部１０１、スキップタイル設定部１０２、参照タイル設定部１０３、ピクチャ分割部１０４の動作を説明する。
【００４５】
画像情報は、タイル分割設定部１０１にも入力される。タイル分割設定部１０１は、各フレームを複数のタイルに分割するよう設定する。スキップタイル設定部１０２は、スキップするタイルを設定する。参照タイル設定部１０３は、参照するタイルを設定する。タイル分割設定部１０１〜参照タイル設定部１０３によって設定した各情報は、ピクチャ分割部１０４に供給される。
【００４６】
タイル分割設定部１０１〜参照タイル設定部１０３は、予め設定されて条件でそれぞれの設定を実行してもよいし、前処理装置５０からの指示に応じてそれぞれの設定を実行してもよい。
【００４７】
ピクチャ分割部１０４に供給される画像情報は、１または複数のスライスに分割される。図７に示すように、複数のＣＴＵよりなるフレームは、少なくとも１つのスライスを含む。図７において、太実線はスライスの境界を示しており、フレームは例えば３つのスライスＳＬ０〜ＳＬ２に分割される。フレームをどのように複数のスライスに分割するかは、前処理装置５０によって設定される。スライスＳＬ０〜ＳＬ２はそれぞれ連続する少なくとも１つのＣＴＵを含む。
【００４８】
画像符号化装置１００はスライス単位で画像情報を符号化し、画像復号装置２００はスライス単位で画像情報を復号する。図７において、実線で示す矢印は符号化及び復号の順を示している。
【００４９】
また、複数のＣＴＵよりなるフレームは、図８に示すように、タイル分割設定部１０１による設定によって、複数のタイルで分割することができる。図８において、太実線はタイルの境界を示しており、フレームは６つのタイルＴＬ０〜ＴＬ８に分割される。後述するようにスライスとタイルとの互いの関係に制約はあるものの、ここでは図７に示すスライスの分割とは無関係にタイルの分割を示している。
【００５０】
画像符号化装置１００はタイル単位で画像情報を符号化し、画像復号装置２００はタイル単位で画像情報を復号する。図８において、実線で示す矢印は符号化及び復号の順を示している。タイルは、ＶＲ画像の符号化の他、並列処理またはＲＯＩ（Region Of Interest）符号化のために用いることができる。
【００５１】
図９（ａ）は、タイルＴＬ０の中にスライスＳＬ０及びＳＬ１が設定され、タイルＴＬ１の中にスライスＳＬ２及びＳＬ３が設定されている状態を示している。タイルはスライスのスーパーセットとすることができる。図９（ｂ）は、スライスＳＬ０の中にタイルＴＬ０及びＴＬ１が設定されている状態を示している。スライスはタイルのスーパーセットとすることができる。図９（ａ）及び図９（ｂ）に示すように、スライスとタイルとの互いの関係を設定することができる。
【００５２】
図９（ｃ）におけるスライスＳＬ０〜ＳＬ２とタイルＴＬ０及びＴＬ１とは、スライスとタイルとのうちの一方がスーパーセットで他方がサブセットの関係にないので、設定不可である。
【００５３】
図６において、タイル分割設定部１０１は、具体的に次のように各フレームに対してタイルの分割を設定する。タイル分割設定部１０１は、１つのフレームに含まれるタイルの個数を設定する。タイルの個数を４とし、図１０に示すように４つのタイルを設定する場合を例とする。
【００５４】
図１０において、タイル番号０〜３のタイルＴＬ０〜ＴＬ３は、図１１に示すように定義することができる。ハッチングを付したタイルＴＬ１及びＴＬ３は、図２における非割り当て領域に相当する。ハッチングを付していないタイルＴＬ０及びＴＬ２は、画像が割り当てられた割り当て領域である。
【００５５】
図１１に示すように、タイル番号０のタイルＴＬ０は、黒丸で示す左上角部の座標を水平位置Ｘ０、垂直位置Ｙ０とし、水平サイズｈ０、垂直サイズｖ０と定義される。タイルＴＬ０におけるスキップタイルフラグは０であり、スキップされないタイルであることを示す。
【００５６】
タイル番号１のタイルＴＬ１は、黒丸で示す左上角部の座標を水平位置Ｘ１、垂直位置Ｙ１とし、水平サイズｈ１、垂直サイズｖ１と定義される。タイルＴＬ１におけるスキップタイルフラグは１であり、スキップされるタイルであることを示す。
【００５７】
タイル番号２のタイルＴＬ２は、黒丸で示す左上角部の座標を水平位置Ｘ２、垂直位置Ｙ２とし、水平サイズｈ１、垂直サイズｖ２と定義される。タイルＴＬ１におけるスキップタイルフラグは０である。タイル番号３のタイルＴＬ３は、黒丸で示す左上角部の座標を水平位置Ｘ３、垂直位置Ｙ３とし、水平サイズｈ１、垂直サイズｖ３と定義される。タイルＴＬ３におけるスキップタイルフラグは１である。
【００５８】
タイルＴＬ０〜ＴＬ３の水平位置及び垂直位置はＣＴＵ単位の座標である。タイルＴＬ０〜ＴＬ３の水平サイズ及び垂直サイズはＣＴＵ単位の大きさである。例えばＣＴＵの大きさが水平６４画素、垂直６４画素であり、水平サイズが１２８画素、垂直サイズが１９２画素であるとすると、伝送される水平サイズを示すシンタックス要素は２、垂直サイズを示すシンタックス要素は３となる。本実施形態においては、１つのフレームに含まれるタイルの個数を設定し、それぞれのタイルの左上角部の座標と、水平サイズ及び垂直サイズとを設定することにより、従来のHEVCでは設定できなかったタイルを設定することができる。
【００５９】
スキップタイル設定部１０２は、従来のHEVCでは設定できなかったスキップするタイルを設定することができる。図１０において、タイルＴＬ１及びＴＬ３をスキップするタイルと設定すれば、タイルＴＬ１及びＴＬ３を符号化する必要がなくなり、符号化効率を向上させることができる。
【００６０】
図１２に示すタイルＴＬ４とタイルＴＬ７とは、フレーム内では離れているものの、図１に示す六面体４０２では隣り合う面（４０２Ｆ及び４０２Ａ）に投影されている画像である。従って、タイルＴＬ４とタイルＴＬ７とは相関が高い。そこで、参照タイル設定部１０３は、タイルごとに、参照する１または複数のタイルを設定することができる。参照タイル設定部１０３が生成する参照するタイルの設定情報は、符号化するあるタイルと参照するタイルとの予測依存関係を示す情報である。
【００６１】
図６に戻り、ピクチャ分割部１０４は、図１１に示すように設定されたタイル分割の設定情報に基づき、各フレームを分割する。ピクチャ分割部１０４は、画像情報のフォーマットに応じて、割り当て領域を１または複数のタイル（第１のタイル）に分割し、非割り当て領域を１または複数のタイル（第２のタイル）に分割すればよい。図２に示すフォーマットであれば、割り当て領域と非割り当て領域とをそれぞれ複数のタイルに分割することが必要である。
【００６２】
ピクチャ分割部１０４は、タイル分割とスキップするタイルと参照するタイルの設定情報とをエントロピー符号化部５に供給する。エントロピー符号化部５は、これらの設定情報を示すシンタックス要素を含むシンタックスを生成してエントロピー符号化する。エントロピー符号化部５は、シンタックス生成部及びビットストリーム生成部として機能する。
【００６３】
図１３は、エントロピー符号化部５によって生成されて出力される、タイルに関するシンタックス要素を含むシンタックスの一例を示している。タイルに関するシンタックス要素は、ビットストリームのピクチャパラメータセット（Picture Parameter Set）に含まれて伝送されればよい。
【００６４】
タイルイネーブルフラグ（tiles_enabled_flag）が１のとき、シンタックスに、水平位置（hpos）、垂直位置（vpos）、水平サイズ（hsize）、垂直サイズ（vsize）、スキップタイルフラグ（skip_tile_flag）、参照タイル数（num_ref_tiles）、参照タイル番号（ref_tile_no）が設定される。
【００６５】
スキップタイルフラグ０はスキップしないタイルであることを示し、スキップタイルフラグ１はスキップするタイルであることを示す。図１３に示すように、参照タイル数は０であってもよい。なお、図１３におけるloop_filter_across_tiles_enabled_flagは、タイル間にループフィルタ１１によるフィルタリングを施すか否かを設定するフラグである。
【００６６】
以上のようにして、画像符号化装置１００は、フレーム内に画像が割り当てられている割り当て領域と画像が割り当てられていない非割り当て領域とを含むフォーマットのＶＲ画像の符号化効率を向上させ、符号化の処理量を低減させることができる。
【００６７】
＜画像符号化方法＞
図１４に示すフローチャートを用いて、画像符号化装置１００で実行される本実施形態の画像符号化方法による処理を説明する。図１４は、タイル分割設定部１０１、スキップタイル設定部１０２、参照タイル設定部１０３で実行される処理を示している。
【００６８】
図１４において、タイル分割設定部１０１は、ステップS101にて、タイル数を設定し、ステップS102にて、まず、タイル番号を０に設定する。タイル分割設定部１０１は、ステップS103にて、水平位置及び垂直位置を設定し、ステップS104にて、水平サイズ及び垂直サイズを設定する。
【００６９】
スキップタイル設定部１０２は、ステップS105にて、各タイルに対してスキップタイルフラグを設定する。参照タイル設定部１０３は、ステップS106にて、スキップタイルフラグが１であるか否かを判定する。スキップタイルフラグが１でなければ（NO）、参照タイル設定部１０３は、ステップS107にて、参照タイル数を設定する。参照タイル数は０以上の数であり、０は他のタイルを参照しないことを示し、１以上の数はその数のタイルを参照することを示す。
【００７０】
参照タイル設定部１０３は、ステップS108にて、参照タイル数が０以外であるか否かを判定する。参照タイル数が０以外であれば（YES）、参照タイル設定部１０３は、ステップS109にて、参照タイル番号を設定する。その後、処理はステップS110に移行される。
【００７１】
ステップS106にてスキップタイルフラグが１であれば（YES）、また、ステップS108にて参照タイル数が０以外でなければ（NO）（即ち、参照タイル数が０であれば）、処理はステップS110に移行される。
【００７２】
タイル分割設定部１０１は、ステップS110にて、タイル番号がタイル数−１となったか否かを判定する。タイル番号がタイル数−１でなければ（NO）、まだタイルが残っているので、タイル分割設定部１０１は、ステップS111にて、タイル番号を１増加させ、処理をステップS103に戻す。
【００７３】
タイル分割設定部１０１、スキップタイル設定部１０２、参照タイル設定部１０３は、次のタイル番号のタイルでもステップS103〜S110の処理を繰り返す。ステップS110にてタイル番号がタイル数−１であれば（YES）、全てのタイルに対する設定が終了したので、タイル分割設定部１０１、スキップタイル設定部１０２、参照タイル設定部１０３は処理を終了させる。
【００７４】
＜画像符号化プログラム＞
図６に示す画像符号化装置１００による動作をコンピュータプログラム（画像符号化プログラム）によってコンピュータに実行させることができる。図１４に示す各処理を画像符号化プログラムによってコンピュータに実行させることができる。
【００７５】
図１５Ａにおいて、コンピュータ３００は、中央処理装置（ＣＰＵ）３０１及び記憶部３０２を有する。コンピュータ３００には、操作部３１０が接続されている。記憶部３０２には、画像符号化プログラムが記憶されている。操作部３１０を図５に示す前処理装置５０として機能させることができる。ＣＰＵ３０１が画像符号化プログラムを実行させることによって、コンピュータ３００を、入力された画像情報を符号化する画像符号化装置１００として機能させることができる。
【００７６】
記憶部３０２は、半導体メモリ、ハードディスクドライブ、光ディスク等の任意の非一時的な記憶媒体である。画像符号化プログラムは、インターネット等の通信回線を介してコンピュータ３００に提供されてもよい。
【００７７】
以上説明した画像符号化装置１００、画像符号化方法、画像符号化プログラムは、１つのフレーム内で、タイルはオーバラップせず、タイルが設定されていない領域が存在しないように画像情報を符号化するものとする。
【００７８】
＜画像復号装置＞
図１６は、画像復号装置２００の具体的な構成例を示す。図１６において、ＨＲＤバッファ２１はビットストリームを一時的に蓄積して、エントロピー復号部２２に供給する。ＨＲＤバッファ２１は、ビットストリームを受信するビットストリーム受信部として機能する。
【００７９】
ビットストリームは、符号化データとシンタックスとを含む。符号化データは、前述のように、フレーム内に画像が割り当てられている割り当て領域と画像が割り当てられていない非割り当て領域とを含むフォーマットの画像情報を符号化した符号化データである。
【００８０】
また、符号化データは、各フレームが、割り当て領域に設定された１または複数のタイルと、非割り当て領域に設定された１または複数のタイルとに分割され、割り当て領域に設定されたタイルの画像が符号化された符号化データである。
【００８１】
シンタックスは、それぞれのタイルを、フレーム内での左上角部の水平位置及び垂直位置と水平サイズ及び垂直サイズとで定義したシンタックス要素を含む。シンタックスは、非割り当て領域に設定されたタイルの画像を符号化しないことを示すスキップタイルフラグであるシンタックス要素を含むことが好ましい。シンタックスは、予測依存関係を示すシンタックス要素を含むことが好ましい。
【００８２】
エントロピー復号部２２は、ビットストリームに含まれる直交変換係数及びシンタックスをエントロピー復号する。
【００８３】
直交変換係数は逆量子化部２３に供給される。イントラ予測とインター予測とのいずれが採用されたかを示す情報は、スイッチ３２に供給される。イントラ予測に関する情報は、イントラ予測部３０に供給される。インター予測に関する情報は、インター予測部３１に供給される。
【００８４】
タイル分割に関する情報は、タイル分割復号部２０１に供給される。スキップタイルに関する情報は、タイル分割復号部２０１を介してスキップタイル設定部２０２に供給される。参照タイルに関する情報は、インター予測部３１と、タイル分割復号部２０１及びスキップタイル設定部２０２を介して参照タイル設定部２０３に供給される。
【００８５】
逆量子化部２３は、直交変換係数をＴＵ単位で逆量子化して、逆直交変換部２４に供給する。逆直交変換部２４は、逆量子化された直交変換係数をＴＵ単位で逆直交変換して、予測残差を加算器２５に供給する。加算器２５は、入力された予測残差と、スイッチ３２より供給されるイントラ予測部３０またはインター予測部３１によって生成された予測値とを加算して、復号信号を生成する。復号信号はループフィルタ２６及びフレームメモリ２８に供給される。
【００８６】
ループフィルタ２６はループフィルタ１１と同様の構成であり、復号信号の符号化ノイズを低減させる。並べ替え（Re-order）バッファ２７は、ループフィルタ２６から供給される画素を複数フレーム分蓄積する。並べ替えバッファ２７は、フレームの順が並び替えられていれば、フレームを原画像の画像情報の順に並び替える。並べ替えバッファ２７より出力された各フレームのタイルを構成する画素は、ピクチャ合成部２０４に供給される。
【００８７】
フレームメモリ２８は、加算器２５より出力されたループフィルタ２６によるフィルタ処理を施していない復号信号と、ループフィルタ２６によるフィルタ処理が施された復号信号とを蓄積する。スイッチ２９は、フレームメモリ２８に蓄積されたフィルタ処理を施していない復号信号をイントラ予測部３０に供給し、フレームメモリ２８に蓄積されたフィルタ処理が施された復号信号をインター予測部３１に供給する。
【００８８】
イントラ予測部３０は、イントラ予測の予測モードを示す情報に従ってフレーム内予測を行って、Ｙ信号とＣｂ及びＣｒ信号のそれぞれの予測値を生成する。インター予測部３１は、インター予測に関する情報に従ってフレーム間予測を行って、Ｙ信号とＣｂ及びＣｒ信号のそれぞれの予測値を生成する。
【００８９】
インター予測部３１は、参照タイルに関する情報が入力されるとき、図１２に示すように、他のタイル（ここではＴＬ７）の画像を参照して、あるタイル（ここではＴＬ４）の画像の予測値を生成する。
【００９０】
スイッチ３２は、イントラ予測とインター予測とのいずれが採用されたかを示す情報に従って、イントラ予測部３０またはインター予測部３１によって生成された予測値を加算器２５に供給する。
【００９１】
エントロピー復号部２２からスイッチ３２までの部分は、符号化データを復号して、割り当て領域に設定されたタイルの復号画像を生成する復号部として機能する。
【００９２】
タイル分割復号部２０１は、図１１に示すように設定されたタイル分割の設定情報を復号して、スキップタイル設定部２０２に供給する。スキップタイル設定部２０２は、スキップタイルフラグに基づいてスキップするタイルを設定する。参照タイル設定部２０３は、参照するタイルを設定する。タイル分割の設定情報、スキップするタイルの情報、参照するタイルの情報は、ピクチャ合成部２０４に供給される。
【００９３】
ピクチャ合成部２０４は、タイル分割の設定情報に基づいて、復号されたタイルの画像をフレーム内の割り当て領域に配置する。ピクチャ合成部２０４は、スキップするタイルの情報に基づいて、非割り当て領域に例えば黒の単一画像を配置する。ピクチャ合成部２０４はこのように複数のタイルをピクチャ合成して、図２に示すようなフォーマットの復号画像情報の各フレームの復号画像情報を生成する。復号画像情報は、必要に応じてＤ／Ａ変換器によってアナログ信号に変換される。
【００９４】
以上のようにして、画像復号装置２００は、フレーム内に画像が割り当てられている割り当て領域と画像が割り当てられていない非割り当て領域とを含むフォーマットのＶＲ画像を復号する処理量を低減させることができる。
【００９５】
＜画像復号方法＞
図１７に示すフローチャートを用いて、画像復号装置２００で実行される本実施形態の画像復号方法による処理を説明する。図１７は、タイル分割復号部２０１、スキップタイル設定部２０２、参照タイル設定部２０３で実行される処理を示している。
【００９６】
図１７において、タイル分割復号部２０１は、ステップS201にて、タイル数を受信し、ステップS202にて、まず、タイル番号を０に設定する。タイル分割復号部２０１は、ステップS203にて、水平位置及び垂直位置を受信し、ステップS204にて、水平サイズ及び垂直サイズを受信する。
【００９７】
スキップタイル設定部２０２は、ステップS205にて、各タイルのスキップタイルフラグを受信する。参照タイル設定部２０３は、ステップS206にて、スキップタイルフラグが１であるか否かを判定する。スキップタイルフラグが１でなければ（NO）、参照タイル設定部２０３は、ステップS207にて、参照タイル数を受信する。
【００９８】
参照タイル設定部２０３は、ステップS208にて、参照タイル数が０以外であるか否かを判定する。参照タイル数が０以外であれば（YES）、参照タイル設定部２０３は、ステップS209にて、参照タイル番号を受信する。その後、処理はステップS210に移行される。
【００９９】
ステップS206にてスキップタイルフラグが１であれば（YES）、また、ステップS208にて参照タイル数が０以外でなければ（NO）（即ち、参照タイル数が０であれば）、処理はステップS210に移行される。
【０１００】
タイル分割復号部２０１は、ステップS210にて、タイル番号がタイル数−１となったか否かを判定する。タイル番号がタイル数−１でなければ（NO）、まだタイルが残っているので、タイル分割復号部２０１は、ステップS211にて、タイル番号を１増加させ、処理をステップS203に戻す。
【０１０１】
タイル分割復号部２０１、スキップタイル設定部２０２、参照タイル設定部２０３は、次のタイル番号のタイルでもステップS203〜S210の処理を繰り返す。ステップS210にてタイル番号がタイル数−１であれば（YES）、全てのタイルの情報を受信したので、タイル分割復号部２０１、スキップタイル設定部２０２、参照タイル設定部２０３は処理を終了させる。
【０１０２】
＜画像復号プログラム＞
図１６に示す画像復号装置における動作をコンピュータプログラム（画像復号プログラム）によってコンピュータに実行させることができる。図１７に示す各処理を画像復号プログラムによってコンピュータに実行させることができる。
【０１０３】
図１５Ｂに示すように、コンピュータは図１５Ａと同様の構成であり、図１５Ａと共通部分の説明を省略する。図１５Ｂにおいて、記憶部３０２には、画像符号化プログラムに代えて画像復号プログラムが記憶されている。ＣＰＵ３０１が画像復号プログラムを実行させることによって、コンピュータ３００を、符号化されているビットストリームを復号する画像復号装置２００として機能させることができる。
【０１０４】
記憶部３０２に画像符号化プログラム及び画像復号プログラムを記憶させて、コンピュータ３００を、画像符号化装置１００及び画像復号装置２００として機能させることも可能である。
【０１０５】
＜第１の変形例＞
以上説明した本実施形態の画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、画像復号装置、画像復号方法、及び画像復号プログラムにおいて、次のような第１の変形例とすることができる。
【０１０６】
図１８に示すように、タイルを符号化して伝送する順番は、左上のタイルを最初としなくてもよい。図１８において、画像符号化装置１００はタイルＴＬ０〜ＴＬ５の順で符号化して符号化データを含むビットストリームを伝送する。画像復号装置２００は、タイルＴＬ０〜ＴＬ５の順で復号する。ヘッドマウントディスプレイを装着するユーザが最初に視認する視野に対応するタイルを最初に符号化し復号するタイルＴＬ０とする。
【０１０７】
スキップタイルフラグを伝送しなくてもよい。この場合、上記の説明では、１つのフレーム内でタイルが設定されていない領域が存在しないように画像情報を符号化するとしたが、タイルが設定されていない領域が存在してもよい。図１８において、ハッチングを付した非割り当て領域にタイルを設定しなくてもよい。
【０１０８】
＜第２の変形例＞
図９（ｂ）で説明したように、スライスはタイルのスーパーセットとすることができるとしたが、スライスがタイルのスーパーセットであることを禁じてもよい。スライスがタイルのスーパーセットであることを禁じないと、図１９に示すように、互いに離れた位置にあるタイルＴＬ０及びＴＬ１のスーパーセットであるスライスＳＬ０が設定されることがある。互いに離れた位置にある複数のタイルで、スライスヘッダに含まれるパラメータが共有されないよう、スライスがタイルのスーパーセットであることを禁じるのがよい。
【０１０９】
＜第３の変形例＞
上記の説明では、１つのフレーム内でタイルはオーバラップしないとしたが、タイルのオーバラップを許容してもよい。図２０は、実線で示すタイルＴＬ０と一点鎖線で示すタイルＴＬ１とがオーバラップしている状態を示している。
【０１１０】
ヘッドマウントディスプレイを装着しているユーザの視野が破線で示す領域ＡＲ０にあるとき、画像復号装置２００は、タイルＴＬ０のうちの領域ＡＲ０の部分の画像を復号してヘッドマウントディスプレイに表示する。ユーザの視野が領域ＡＲ０から破線で示す領域ＡＲ１に移動したとき、画像復号装置２００は、タイルＴＬ１の復号処理を開始するまでの間に、タイルＴＬ０のタイルＴＬ１とオーバラップしているオーバラップ領域の画像を復号して表示する。従って、ユーザの視野が移動したときの画像表示の遅延を低減させることができる。
【０１１１】
上述した本実施形態においては、画像情報としてＹ，Ｃｂ，Ｃｒ映像信号を例としたが、色空間はＹ，Ｃｂ，Ｃｒに限定されず、Ｙ，Ｃｏ，Ｃｇ映像信号であってもよい。画像情報は、輝度成分と２つの色差信号よりなる色成分を含む任意の色空間の映像信号であればよい。
【０１１２】
本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。画像符号化装置１００及び画像復号装置２００は、集積回路等のハードウェアで構成されてもよく、ソフトウェアで構成されてもよく、両者が混在してもよい。画像符号化方法及び画像復号方法は、集積回路またはコンピュータ等の任意のハードウェア資源が実行すればよい。
【符号の説明】
【０１１３】
１００  画像符号化装置
１０１  タイル分割設定部
１０２，２０２  スキップタイル設定部
１０３，２０３  参照タイル設定部
１０４  ピクチャ分割部
２００  画像復号装置
２０１  タイル分割復号部
２０４  ピクチャ合成部
３００  コンピュータ
３０２  記憶部
【図１】
2018056686.tif 000003
【図２】
2018056686.tif 000004
【図３】
2018056686.tif 000005
【図４】
2018056686.tif 000006
【図５】
2018056686.tif 000007
【図６】
2018056686.tif 000008
【図７】
2018056686.tif 000009
【図８】
2018056686.tif 000010
【図９】
2018056686.tif 000011
【図１０】
2018056686.tif 000012
【図１１】
2018056686.tif 000013
【図１２】
2018056686.tif 000014
【図１３】
2018056686.tif 000015
【図１４】
2018056686.tif 000016
【図１５Ａ】
2018056686.tif 000017
【図１５Ｂ】
2018056686.tif 000018
【図１６】
2018056686.tif 000019
【図１７】
2018056686.tif 000020
【図１８】
2018056686.tif 000021
【図１９】
2018056686.tif 000022
【図２０】
2018056686.tif 000023