(57)【要約】      （修正有）【課題】ビュースケーラブル符号化において、対象ビューと参照ビューの間の予測符号化に関するテンポラル動き情報の精度を向上させる画像復号装置を提供する。【解決手段】画像復号装置は、２つ以上の視点画像からなる階層符号化された符号化データを復号する画像復号装置であって、前記符号化データから前記視点画像間の視差を示す視差情報を抽出する視差情報抽出部と、前記符号化データを復号して得られる第１の視点画像の所定の符号化単位の動き情報と、第１の視点画像と第２の視点画像の間の前記視差情報から、第２の視点画像の参照画像の所定の符号化単位の動き情報を生成するレイヤ間動きマッピング部と、前記レイヤ間動きマッピング部で生成される動き情報をテンポラル動き情報として参照して、前記第２の視点画像の予測画像生成に用いられる動き情報を導出する動き情報導出部を備える。【選択図】図５
2014204327.tif 000002
【特許請求の範囲】
【請求項１】
２つ以上の視点画像からなる階層符号化された符号化データを復号する画像復号装置であって、
前記符号化データから前記視点画像間の視差を示す視差情報を抽出する、視差情報抽出部と、
前記符号化データを復号して得られる第１の視点画像の所定の符号化単位の動き情報と、第１の視点画像と第２の視点画像の前記視差情報から、第２の視点画像の参照画像の所定の符号化単位の動き情報を生成するレイヤ間動きマッピング部と、
前記レイヤ間動きマッピング部で生成される動き情報をテンポラル動き情報として参照して、前記第２の視点画像の予測画像生成に用いられる動き情報を導出する動き情報導出部を備えることを特徴とする画像復号装置。
【請求項２】
前記画像復号装置は、第２の視点画像に対応するレイヤの符号化データに含まれる、テンポラル動き情報を指定するためのコロケート情報が示す参照ピクチャが、第２の視点画像とは異なる視点の視点画像である場合に前記レイヤ間動きマッピング部を用いることを特徴とする、請求項１に記載の画像復号装置。
【請求項３】
前記視差情報抽出部は、前記符号化データに含まれる前記第２の視点画像に対応するレイヤの符号化データから前記視差情報を抽出することを特徴とする、請求項１または２に記載の画像復号装置。
【請求項４】
前記レイヤ間動きマッピング部は、画像ブロック単位で動き情報を生成するものであって、
前記視差情報に基づいて、前記画像ブロックに対応する、前記第１の視点画像における画像ブロックである参照画像ブロックを決定する参照画像ブロック決定部と、
決定された前記参照画像ブロックの動き情報に基づいて、前記画像ブロックの動き情報を生成する動き情報生成部と
をさらに備えることを特徴とする、請求項１から３に記載の画像復号装置。
【請求項５】
前記参照画像ブロック決定部は、前記視差情報を構成する水平方向の視差成分を、前記画像ブロックの水平方向の位置に加算し、また、前記視差情報を構成する垂直方向の視差成分を、前記画像ブロックの垂直方向の位置に加算し、前記各加算結果が示す水平方向および垂直方向の位置に対応する、前記参照画像ブロックとして決定する
ことを特徴とする、請求項４に記載の画像復号装置。
【請求項６】
前記動き情報生成部は、前記参照画像ブロックの動き情報のうち、少なくとも前記参照画像ブロックの動きベクトルと、前記参照画像ブロックの参照インデックスとを、前記画像ブロックの動き情報とすることを特徴とする、請求項４に記載の画像復号装置。
【請求項７】
前記視差情報抽出部は、前記符号化データに含まれるシーケンス単位のヘッダから前記視差情報を抽出することを特徴とする、請求項１から６に記載の画像復号装置。
【請求項８】
前記視差情報抽出部は、視差情報として、前記符号化データから、符号化水平成分、符号化垂直成分を復号し、各々、所定の値を乗じる、もしくは、所定の値で左シフトすることにより、前記水平方向の視差成分と前記垂直方向の視差成分を導出することを特徴とする、請求項５に記載の画像復号装置。
【請求項９】
前記視差情報抽出部は、視差情報として、前記第２の視点画像を所定の視差ブロックに分割した単位毎の視差情報を復号し、前記レイヤ間動きマッピング部に含まれる前記参照画像ブロック決定部は、生成対象の前記画像ブロックに対応する位置の前記視差ブロックの視差情報を用いて、参照画像ブロックを決定することを特徴とする請求項４に記載の画像復号装置。
【請求項１０】
前記レイヤ間動きマッピング部は、前記第２の視点画像の先頭の符号化ブロックを復号する前に、動作させることを特徴とする、請求項１から９に記載の画像復号装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像復号装置および画像符号化装置に関する。
【背景技術】
【０００２】
複数視点の画像符号化技術には、視点画像間の視差を予測することによって情報量を低減する視差予測符号化がある。
【０００３】
複数のレイヤから構成される動画像の符号化方法は、一般に、スケーラブル符号化又は階層符号化と呼ばれる。スケーラブル符号化では、レイヤ間で予測を行うことで、高い符号化効率を実現する。レイヤ間予測を用いない基準となるレイヤはベースレイヤ、それ以外のレイヤは拡張レイヤと呼ばれる。レイヤが視点画像から構成される場合のスケーラブル符号化を、ビュースケーラブル符号化と呼ぶ。このとき、ベースレイヤはベースビュー、拡張レイヤは非ベースビュー（依存ビュー）とも呼ばれる。
【０００４】
また、スケーラブル符号化には、ビュースケーラブル符号化の他、空間的スケーラブル符号化（ベースレイヤとして解像度の低いピクチャ、拡張レイヤとして解像度の高いピクチャを処理）、ＳＮＲスケーラブル符号化（ベースレイヤとして画質の低いピクチャ、拡張レイヤとして画質の高いピクチャを処理）等がある。スケーラブル符号化では、各レイヤ内の既に復号した時間的に前後のピクチャを参照ピクチャとして用いることに加え、対象レイヤとは別のレイヤのピクチャを参照レイヤとして用いることができる。レイヤ内での時間的な予測は動き予測と呼ばれ、ピクチャ間のズレを示すベクトルが動きベクトルである。レイヤ間の予測はレイヤ間予測と呼ばれ、ピクチャ間のズレを示すベクトルは変位ベクトルと呼ばれる。なお、ビュースケーラブル符号化など、レイヤが視点画像から構成される場合、変位ベクトルは、視点画像間の視差を表すベクトルであり視差ベクトルとも呼ばれる。動画像標準の世界では、既に標準化された符号化方法をベースとして、新しい符号化方法を定めることが行われる。この場合、既に標準化された符号化方法をできるだけ変更せずにそのまま用いるような後方互換性が重視されている。スケーラブル符号化を規格化する場合も、単一レイヤ用の規格の拡張が審議されているが、スケーラブル符号化規格においても、単一レイヤ用の規格で定められた符号化データの構造およびローレベルの処理手順をできるだけ保持したまま、スケーラブル符号化の規格で用いられることが望ましい。単一レイヤ用の規格では、対象ピクチャとは異なるピクチャ（ここでは時間的に異なるピクチャ）の動きベクトルを予測ベクトルに用いる方法として、テンポラル動き予測と呼ばれる方法が知られている。さらに、テンポラル動き予測を、レイヤ間の動きベクトル予測に用いる方法として、モーションマッピング（非特許文献１）と呼ばれる方法が知られている。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】“SHVC Test Model 1 (SHM 1)”, JCTVC-L1007, JCT-VC, Geneva, CH, 14-23 Jan. 2013
【発明の概要】
【発明が解決しようとする課題】
【０００６】
スケーラブル符号化において、レイヤ間の動きベクトルには相関があると考えられるため、あるレイヤ（例えばベースレイヤ）の動きベクトルを、別のレイヤ（例えば非ベースレイヤ）の動きベクトルの予測ベクトルとして用いることが有効と考えられる。しかしながら、ビュースケーラブル符号化の場合には、レイヤ間（ベースビューと非ベースビュー）には視差があるため、非ベースビューの予測符号化処理においてベースビューの動きベクトルを単純に用いることはできない。テンポラル動き予測を、レイヤ間の動きベクトル予測に用いる方法としてはモーションマッピングがあるが、従来のモーションマッピングはレイヤ間に視差のない空間スケーラブルを対象としたものであり、レイヤ間に視差のあるビュースケーラブル符号化では用いることができないという課題があった。
【０００７】
本発明は上記の点に鑑みてなされたものであり、ビュースケーラブル符号化において、対象ビューと参照ビューの間の予測符号化に関するテンポラル動き情報の精度の課題を解消する画像復号装置、画像復号方法、画像復号プログラム、画像符号化装置、画像符号化方法、及び画像符号化プログラムを提供する。
【課題を解決するための手段】
【０００８】
＜画像復号装置＞
前述の課題を解決するために、本発明による画像復号装置は、２つ以上の視点画像からなる階層符号化された符号化データを復号する画像復号装置であって、前記符号化データから前記視点画像間の視差を示す視差情報を抽出する視差情報抽出部と、前記符号化データを復号して得られる第１の視点画像の所定の符号化単位の動き情報と、第１の視点画像と第２の視点画像の間の前記視差情報から、第２の視点画像の参照画像の所定の符号化単位の動き情報を生成するレイヤ間動きマッピング部と、前記レイヤ間動きマッピング部で生成される動き情報をテンポラル動き情報として参照して、前記第２の視点画像の予測画像生成に用いられる動き情報を導出する動き情報導出部を備えることを特徴とする。
【０００９】
また、本発明による画像復号装置は、第２の視点画像に対応するレイヤの符号化データに含まれる、テンポラル動き情報を指定するためのコロケート情報が示す参照ピクチャが、前記第２の視点画像とは異なる視点の視点画像である場合に前記レイヤ間動きマッピング部を用いることを特徴とする。
【００１０】
また、本発明による画像復号装置は、前記視差情報抽出部が、前記符号化データに含まれる第２の視点画像に対応するレイヤの符号化データから前記視差情報を抽出することを特徴とする。
【００１１】
また、本発明による画像復号装置は、前記レイヤ間動きマッピング部が、画像ブロック単位で動き情報を生成するものであって、前記視差情報に基づいて、前記画像ブロックに対応する、第１の視点画像における画像ブロックである参照画像ブロックを決定する参照画像ブロック決定部と、決定された前記参照画像ブロックの動き情報に基づいて、前記画像ブロックの動き情報を生成する動き情報生成部とをさらに備えることを特徴とする。
【００１２】
また、本発明による画像復号装置は、前記参照画像ブロック決定部が、前記視差情報を構成する水平方向の視差成分を前記画像ブロックの水平方向の位置に加算し、また、前記視差情報を構成する垂直方向の視差成分を前記画像ブロックの垂直方向の位置に加算し、前記各加算結果が示す水平方向および垂直方向の位置に対応する画像ブロックを、前記参照画像ブロックとして決定することを特徴とする。
【００１３】
また、本発明による画像復号装置は、前記動き情報生成部が、前記参照画像ブロックの動き情報のうち、少なくとも前記参照画像ブロックの動きベクトルと、前記参照画像ブロックの参照インデックスとを、前記画像ブロックの動き情報とすることを特徴とする。
【００１４】
また、本発明による画像復号装置は、前記視差情報抽出部が、前記符号化データに含まれるシーケンス単位のヘッダから前記視差情報を抽出することを特徴とする。
【００１５】
また、本発明による別の構成の画像復号装置は、前記視差情報抽出部が、前記符号化データに含まれるピクチャ単位のヘッダから前記視差情報を抽出することを特徴とする。
【００１６】
また、本発明による別の構成の画像復号装置は、前記視差情報抽出部が、前記符号化データに含まれるスライス単位のヘッダから前記視差情報を抽出することを特徴とする。
【００１７】
また、本発明による別の構成の画像復号装置は、前記視差情報抽出部が、画像ブロック単位で前記符号化データから前記視差情報を抽出することを特徴とする。
【００１８】
また、本発明による画像復号装置は、前記視差情報抽出部が、視差情報として、前記符号化データから、符号化水平成分、符号化垂直成分を復号し、各々、所定の値を乗じる、もしくは、所定の値で左シフトすることにより、前記水平方向の視差成分と前記垂直方向の視差成分を導出することを特徴とする。
【００１９】
また、本発明による画像復号装置は、前記視差情報抽出部が、視差情報として、前記第２の視点画像を所定の視差ブロックに分割した単位毎の視差情報を復号し、前記レイヤ間動きマッピング部に含まれる前記参照画像ブロック決定部が、生成対象の前記画像ブロックに対応する位置の前記視差ブロックの視差情報を用いて、参照画像ブロックを決定することを特徴とする。
【００２０】
また、本発明による画像復号装置は、前記レイヤ間動きマッピング部を、前記第２の視点画像の先頭の符号化ブロックを復号する前に、動作させることを特徴とする。
【００２１】
＜画像符号化装置＞
本発明による画像符号化装置は、２つ以上の視点画像を階層符号化によって符号化して符号化データを生成する画像符号化装置であって、前記視点画像間の視差を示す視差情報を推定する視差推定部と、前記符号化データを復号して得られる第１の視点画像の所定の符号化単位の動き情報と、第１の視点画像と第２の視点画像の間の前記視差情報から、第２の視点画像の参照画像の所定の符号化単位の動き情報を生成するレイヤ間動きマッピング部と、前記レイヤ間動きマッピング部で生成される動き情報をテンポラル動き情報として参照して、前記第２の視点画像の予測画像生成に用いられる動き情報を導出する動き情報導出部を備えることを特徴とする。
【００２２】
また、本発明による画像符号化装置は、第２の視点画像に対応するレイヤに関して、テンポラル動き情報を指定するためのコロケート情報が示す参照ピクチャが、第２の視点画像とは異なる視点の視点画像である場合に前記レイヤ間動きマッピング部を用いることを特徴とする。
【００２３】
また、本発明による画像符号化装置は、前記視差情報生成部が、第２の視点画像に対応するレイヤの符号化データとして前記視差情報を生成することを特徴とする。
【００２４】
また、本発明による画像符号化装置は、前記レイヤ間動きマッピング部が、画像ブロック単位で動き情報を生成するものであって、前記視差情報に基づいて、前記画像ブロックに対応する、第１の視点画像における画像ブロックである参照画像ブロックを決定する参照画像ブロック決定部と、決定された前記参照画像ブロックの動き情報に基づいて、前記画像ブロックの動き情報を生成する動き情報生成部とをさらに備えることを特徴とする。
【００２５】
また、本発明による画像符号化装置は、前記参照画像ブロック決定部が、前記視差情報を構成する水平方向の視差成分を、前記画像ブロックの水平方向の位置に加算し、また、前記視差情報を構成する垂直方向の視差成分を、前記画像ブロックの垂直方向の位置に加算し、前記各加算結果が示す水平方向および垂直方向の位置に対応する画像ブロックを、前記参照画像ブロックとして決定することを特徴とする。
【００２６】
また、本発明による画像符号化装置は、前記動き情報生成部が、前記参照画像ブロックの動き情報のうち、少なくとも前記参照画像ブロックの動きベクトルと、前記参照画像ブロックの参照画像を示す参照インデックスとを、前記画像ブロックの動き情報とすることを特徴とする。
【００２７】
また、本発明による画像符号化装置は、前記視差推定部が、前記符号化データを構成するシーケンス単位で、前記視差情報を推定することを特徴とする。
【００２８】
また、本発明による別の構成の画像符号化装置は、前記視差推定部が、前記符号化データを構成するピクチャ単位で、前記視差情報を推定することを特徴とする。
【００２９】
また、本発明による別の構成の画像符号化装置は、前記視差情報生成部が、前記符号化データを構成するスライス単位で、前記視差情報を推定することを特徴とする。
【００３０】
また、本発明による別の構成の画像符号化装置は、前記視差情報生成部が、画像ブロック単位で、前記視差情報を推定することを特徴とする。
【００３１】
また、本発明による画像符号化装置は、前記視差推定部が、前記視差情報に含まれる水平成分、垂直成分に関して、各々、所定の値を乗じる、もしくは、所定の値で左シフトすることにより、前記水平方向の視差成分と前記垂直方向の視差成分を導出することを特徴とする。
【００３２】
また、本発明による画像符号化装置は、前記視差推定部が、視差情報として、前記第２の視点画像を所定の視差ブロックに分割した単位毎の視差情報を推定し、前記レイヤ間動きマッピング部に含まれる前記参照画像ブロック決定部が、生成対象の前記画像ブロックに対応する位置の前記視差ブロックの視差情報を用いて、参照画像ブロックを決定することを特徴とする。
【００３３】
また、本発明による画像符号化装置は、前記レイヤ間動きマッピング部を、前記第２の視点画像を符号化する前に、動作させることを特徴とする。
【発明の効果】
【００３４】
本発明によれば、視差を有する複数の視点画像を符号化／復号する際に、伝送が必要な情報を低減すると共に、動き予測に関する処理量を低減させる。
【図面の簡単な説明】
【００３５】
【図１】本発明の実施形態に係る画像伝送システムの構成を示す概略図である。
【図２】本実施形態に係る符号化ストリームのデータの階層構造を示す図である。
【図３】参照ピクチャリストの一例を示す概念図である。
【図４】参照ピクチャの例を示す概念図である。
【図５】本実施形態に係る画像復号装置の構成を示す概略図である。
【図６】本実施形態に係るインター予測パラメータ復号部の構成を示す概略図である。
【図７】本実施形態に係るマージ予測パラメータ導出部の構成を示す概略図である。
【図８】本実施形態に係るＡＭＶＰ予測パラメータ導出部の構成を示す概略図である。
【図９】ベクトル候補の一例を示す概念図である。
【図１０】本実施形態に係るレイヤ間動きマッピング部の構成を示す概略図である。
【図１１】本実施形態に係るレイヤ間動きマッピング部の別の構成を示す概略図である。
【図１２】対象ブロックと空間動きベクトルの対象ブロックおよび時間動きベクトルの対象ブロックの位置関係を示す概念図である。
【図１３】本実施形態に係る動きマッピング処理の概念図である。
【図１４】本実施形態に係る画像符号化装置の構成を示すブロック図である。
【図１５】本実施形態に係るインター予測パラメータ符号化部の構成を示す概略図である。
【図１６】本実施形態に係るレイヤ間視差情報を含むシンタックステーブルの一例である。
【図１７】本実施形態に係るレイヤ間視差情報を含むシンタックステーブルの別の例である。
【図１８】本実施形態に係るレイヤ間視差情報を含むシンタックステーブルの別の例である。
【図１９】本実施形態に係るレイヤ間視差情報を含むシンタックステーブルの別の例である。
【図２０】本実施形態に係るレイヤ間視差情報を含むシンタックステーブルの別の例である。
【図２１】本実施形態に係るレイヤ間視差情報を含むシンタックステーブルの別の例である。
【発明を実施するための形態】
【００３６】
（第１の実施形態）
以下、図面を参照しながら本発明の実施形態について説明する。
【００３７】
図１は、本実施形態に係る画像伝送システム１の構成を示す概略図である。
【００３８】
画像伝送システム１は、複数のレイヤ画像を符号化した符号を伝送し、伝送された符号を復号した画像を表示するシステムである。画像伝送システム１は、画像符号化装置１１、ネットワーク２１、画像復号装置３１及び画像表示装置４１を含んで構成される。
【００３９】
画像符号化装置１１には、複数のレイヤ画像（テクスチャ画像ともいう）を示す信号Ｔが入力される。レイヤ画像とは、ある解像度及びある視点で視認もしくは撮影される画像である。複数のレイヤ画像を用いて３次元画像を符号化するビュースケーラブル符号化を行う場合、複数のレイヤ画像のそれぞれは、視点画像と呼ばれる。ここで、視点は撮影装置の位置又は観測点に相当する。例えば、複数の視点画像は、被写体に向かって左右の撮影装置のそれぞれが撮影した画像である。画像符号化装置１１は、この信号のそれぞれを符号化して符号化ストリームＴｅ（符号化データ）を生成する。符号化ストリームＴｅの詳細については、後述する。視点画像とは、ある視点において観測される２次元画像（平面画像）である。視点画像は、例えば２次元平面内に配置された画素毎の輝度値、又は色信号値で示される。以下では、１枚の視点画像又は、その視点画像を示す信号をピクチャ（picture）と呼ぶ。また、複数のレイヤ画像を用いて空間スケーラブル符号化を行う場合、その複数のレイヤ画像は、解像度の低いベースレイヤ画像と、解像度の高い拡張レイヤ画像からなる。複数のレイヤ画像を用いてＳＮＲスケーラブル符号化を行う場合、その複数のレイヤ画像は、画質の低いベースレイヤ画像と、画質の高い拡張レイヤ画像からなる。なお、ビュースケーラブル符号化、空間スケーラブル符号化、ＳＮＲスケーラブル符号化を任意に組み合わせて行っても良い。本実施形態では、複数のレイヤ画像として、少なくともベースレイヤ画像と、ベースレイヤ画像以外の画像（拡張レイヤ画像）を含む画像の符号化および復号を扱う。複数のレイヤのうち、画像もしくは符号化パラメータにおいて参照関係（依存関係）にある２つのレイヤについて、参照される側の画像を、第１レイヤ画像、参照する側の画像を第２レイヤ画像と呼ぶ。例えば、ベースレイヤを参照して符号化される（ベースレイヤ以外の）拡張画像がある場合、ベースレイヤ画像を第１レイヤ画像、拡張画像を第２レイヤ画像として扱う。なお、拡張レイヤ画像の例としては、ベースビュー以外の視点画像、デプス画像などがある。
【００４０】
ネットワーク２１は、画像符号化装置１１が生成した符号化ストリームＴｅを画像復号装置３１に伝送する。ネットワーク２１は、インターネット（internet）、広域ネットワーク（WAN: Wide Area Network）、小規模ネットワーク（LAN: Local Area Network）又はこれらの組み合わせである。ネットワーク２１は、必ずしも双方向の通信網に限らず、地上波ディジタル放送、衛星放送等の放送波を伝送する一方向又は双方向の通信網であっても良い。また、ネットワーク２１は、ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blue-ray Disc）等の符号化ストリームTeを記録した記憶媒体で代替されても良い。
【００４１】
画像復号装置３１は、ネットワーク２１が伝送した符号化ストリームTeのそれぞれを復号し、それぞれ復号した複数の復号レイヤ画像Td（復号視点画像Td）を生成する。
【００４２】
画像表示装置４１は、画像復号装置３１が生成した複数の復号レイヤ画像Tdの全部又は一部を表示する。例えば、ビュースケーラブル符号化においては、全部の場合、３次元画像（立体画像）や自由視点画像が表示され、一部の場合、２次元画像が表示される。画像表示装置４１は、例えば、液晶ディスプレイ、有機ＥＬ（Electro-luminescence）ディスプレイ等の表示デバイスを備える。また、空間スケーラブル符号化、ＳＮＲスケーラブル符号化では、画像復号装置３１、画像表示装置４１が高い処理能力を有する場合には、画質の高い拡張レイヤ画像を表示し、より低い処理能力しか有しない場合には、拡張レイヤほど高い処理能力、表示能力を必要としないベースレイヤ画像を表示する。
【００４３】
＜符号化ストリームTeの構造＞
本実施形態に係る画像符号化装置１１および画像復号装置３１の詳細な説明に先立って、画像符号化装置１１によって生成され、画像復号装置３１によって復号される符号化ストリームTeのデータ構造について説明する。
【００４４】
図２は、符号化ストリームTeにおけるデータの階層構造を示す図である。符号化ストリームTeは、例示的に、シーケンス、およびシーケンスを構成する複数のピクチャを含む。図２の（ａ）〜（ｆ）は、それぞれ、シーケンスSEQを既定するシーケンスレイヤ、ピクチャPICTを規定するピクチャレイヤ、スライスSを規定するスライスレイヤ、スライスデータを規定するスライスデータレイヤ、スライスデータに含まれる符号化ツリーユニットを規定する符号化ツリーレイヤ、符号化ツリーに含まれる符号化単位（Coding Unit; CU）を規定する符号化ユニットレイヤを示す図である。
【００４５】
（シーケンスレイヤ）
シーケンスレイヤでは、処理対象のシーケンスSEQ（以下、対象シーケンスとも称する）を復号するために画像復号装置３１が参照するデータの集合が規定されている。シーケンスSEQは、図２の（ａ）に示すように、ビデオパラメータセットVPS（Video Parameter Set）、シーケンスパラメータセットSPS（Sequence Parameter Set）、ピクチャパラメータセットPPS（Picture Parameter Set）、ピクチャPICT、及び、付加拡張情報SEI（Supplemental Enhancement Information）を含んでいる。ここで＃の後に示される値はレイヤＩＤを示す。図２では、＃０と＃１すなわちレイヤ０とレイヤ１の符号化データが存在する例を示すが、レイヤの種類およびレイヤの数はこれに限らない。
【００４６】
ビデオパラメータセットVPSは、複数のレイヤから構成されている動画像において、複数の動画像に共通する符号化パラメータの集合および動画像に含まれる複数のレイヤおよび個々のレイヤに関連する符号化パラメータの集合が規定されている。VPSは、対象レイヤで参照する対象レイヤ以外のレイヤである参照レイヤを規定する。具体的には、レイヤ従属フラグdirect_dependency_flag[i][j]をVPSに含め、レイヤ従属フラグdirect_dependency_flag[i][j]が1である場合に、対象レイヤiは参照レイヤjを参照し、レイヤ従属フラグが0であれば、対象レイヤiは参照レイヤjを参照しない。また、対象レイヤiに対応する0でないレイヤ従属フラグdirect_dependency_flag[i][j]の数から、参照レイヤの数NumDirectRefLayers[i]が定まる。
【００４７】
シーケンスパラメータセットSPSでは、対象シーケンスを復号するために画像復号装置３１が参照する符号化パラメータの集合が規定されている。例えば、対象シーケンス内のピクチャの幅や高さが規定される。
【００４８】
ピクチャパラメータセットPPSでは、対象シーケンス内の各ピクチャを復号するために画像復号装置３１が参照する符号化パラメータの集合が規定されている。例えば、ピクチャの復号に用いられる量子化幅の基準値や、重み付き予測の適用を示すフラグが含まれる。なお、PPSは同一レイヤ内で複数存在してもよい。その場合、対象シーケンス内の各ピクチャから複数のPPSの何れを適用するかを選択する。
【００４９】
（ピクチャレイヤ）
ピクチャレイヤでは、処理対象のピクチャPICT（以下、対象ピクチャとも称する）を復号するために画像復号装置３１が参照するデータの集合が規定されている。ピクチャPICTは、図２の（ｂ）に示すように、スライスS0〜SNS-1を含んでいる（NSはピクチャPICTに含まれるスライスの総数）。
【００５０】
なお、以下、スライスS0〜SNS-1のそれぞれを区別する必要が無い場合、符号の添え字を省略して記述することがある。また、以下に説明する符号化ストリームTeに含まれるデータであって、添え字を付している他のデータについても同様である。
【００５１】
（スライスレイヤ）
スライスレイヤでは、処理対象のスライスS（対象スライスとも称する）を復号するために画像復号装置３１が参照するデータの集合が規定されている。スライスSは、図２の（ｃ）に示すように、スライスヘッダSH、および、スライスデータSDATAを含んでいる。
【００５２】
スライスヘッダSHには、対象スライスの復号方法を決定するために画像復号装置３１が参照する符号化パラメータ群が含まれる。スライスタイプを指定するスライスタイプ指定情報（slice_type）は、スライスヘッダSHに含まれる符号化パラメータの一例である。
【００５３】
スライスタイプ指定情報により指定可能なスライスタイプとしては、（１）符号化の際にイントラ予測のみを用いるＩスライス、（２）符号化の際に単方向予測、または、イントラ予測を用いるＰスライス、（３）符号化の際に単方向予測、双方向予測、または、イントラ予測を用いるＢスライスなどが挙げられる。
【００５４】
また、スライスヘッダSHには、スライスタイプがＰスライスまたはＢスライスである時に、後述するテンポラル動き情報を指定するためのコロケート情報collocated_from_l0_flag，collocated_ref_idxが含まれる。
【００５５】
なお、スライスヘッダSHは、上記シーケンスレイヤに含まれる、ピクチャパラメータセットPPSへの参照を示すＰＰＳ識別子（pic_parameter_set_id）を含んでいても良い。
【００５６】
（スライスデータレイヤ）
スライスデータレイヤでは、処理対象のスライスデータSDATAを復号するために画像復号装置３１が参照するデータの集合が規定されている。スライスデータSDATAは、図２の（ｄ）に示すように、符号化ツリーユニット（CTU: Coding Tree Unit）を含んでいる。符号化ツリーユニットCTUは、スライスを構成する固定サイズ（例えば画素数６４×６４）の画像領域である。なお、符号化ツリーユニットCTUに対応する画像ブロックを、符号化ツリーブロック（CTB: Coding Tree Block）と称する。
【００５７】
（符号化ツリーレイヤ）
符号化ツリーレイヤは、図２の（ｅ）に示すように、処理対象の符号化ツリーユニットを復号するために画像復号装置３１が参照するデータの集合が規定されている。符号化ツリーユニットは、再帰的な４分木分割により分割される。再帰的な４分木分割により得られる木構造のことを符号化ツリー（coding tree）と称する。符号化ツリーユニットCTUは、分割フラグ（split_flag）を含み、split_flagが１の場合には、符号化ツリーユニットCTUはさらに４つのCTUに分割される。split_flagが０の場合には、符号化ツリーユニットCTUは４つの符号化ユニット（CU: Coding  Unit）に分割される。符号化ユニットCUは符号化ツリーレイヤの末端ノードであり、このレイヤではこれ以上分割されない。符号化ユニットCUは、符号化／復号処理の基本的な単位となる。
【００５８】
符号化ユニットCUのサイズは、符号化ツリーユニットCTUのサイズが６４×６４画素の場合には、６４×６４画素、３２×３２画素、１６×１６画素、および、８×８画素の何れかをとり得る。なお、符号化ユニットCUに対応する画像ブロックを、符号化ブロック（CB: Coding Block）と称する。
【００５９】
（符号化ユニットレイヤ）
符号化ユニットレイヤは、図２の（ｆ）に示すように、処理対象の符号化ユニットを復号するために画像復号装置３１が参照するデータの集合が規定されている。具体的には、符号化ユニットは、ＣＵヘッダCUH、１つ以上の予測ユニット（PU: Prediction Unit）で構成される予測ツリー、１つ以上の変換ユニット（TU: Transform Unit）で構成される変換ツリーを含んで構成される。
【００６０】
ＣＵヘッダCUHでは、符号化ユニットが、イントラ予測を用いるユニットであるか、インター予測を用いるユニットであるかなどが規定される。
【００６１】
予測ツリーでは、符号化ユニットCUが１または複数の予測ユニットPUに分割され、各予測ユニットの位置とサイズとが規定される。予測ツリーにおける分割の種類は、大まかにいえば、イントラ予測の場合と、インター予測の場合との２つがある。イントラ予測とは、同一ピクチャ内の予測であり、インター予測とは、互いに異なるピクチャ間（例えば、表示時刻間、レイヤ画像間）で行われる予測処理を指す。
【００６２】
イントラ予測の場合、分割方法は、２Ｎ×２Ｎ（符号化ユニットと同一サイズ）と、Ｎ×Ｎとがある。
【００６３】
インター予測の場合、分割方法は、ＣＵヘッダCUHに含まれる分割モード（part_mode）により規定され、２Ｎ×２Ｎ（符号化ユニットと同一サイズ）、２Ｎ×Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤ、Ｎ×２Ｎ、ｎＬ×２Ｎ、ｎＲ×２Ｎ、および、Ｎ×Ｎなどがある。なお、２Ｎ×ｎＵは、２Ｎ×２Ｎの符号化ユニットを上から順に２Ｎ×０．５Ｎと２Ｎ×１．５Ｎの２領域に分割することを示す。２Ｎ×ｎＤは、２Ｎ×２Ｎの符号化ユニットを上から順に２Ｎ×１．５Ｎと２Ｎ×０．５Ｎの２領域に分割することを示す。ｎＬ×２Ｎは、２Ｎ×２Ｎの符号化ユニットを左から順に０．５Ｎ×２Ｎと１．５Ｎ×２Ｎの２領域に分割することを示す。ｎＲ×２Ｎは、２Ｎ×２Ｎの符号化ユニットを左から順に１．５Ｎ×２Ｎと０．５Ｎ×２Ｎの２領域に分割することを示す。分割数は１、２、４のいずれかであるため、ＣＵに含まれるＰＵは１個から４個である。これらのＰＵを順にＰＵ０、ＰＵ１、ＰＵ２、ＰＵ３と表現する。
【００６４】
また、変換ツリーにおいては、符号化ユニットCUが１または複数の変換ユニットTUに分割され、各変換ユニットの位置とサイズとが規定される。変換ツリーにおける分割には、符号化ユニットと同一のサイズの領域を変換ユニットとして割り付けるものと、上述した符号化ツリーブロックの分割と同様、再帰的な４分木分割によるものがある。
【００６５】
なお、予測ユニットPU、変換ユニットTUに対応する画像ブロックを、それぞれ予測ブロック（PB: Prediction Block）、変換ブロック（TB: Transform Block）と称する。
【００６６】
（予測パラメータ）
予測ユニットの予測画像は、予測ユニットに付随する予測パラメータによって導出される。予測パラメータには、イントラ予測の予測パラメータもしくはインター予測の予測パラメータがある。以下、インター予測の予測パラメータ（インター予測パラメータ）について説明する。インター予測パラメータは、予測リスト利用フラグpredFlagL0、predFlagL1と、参照ピクチャインデックスrefIdxL0、refIdxL1と、ベクトルmvL0、mvL1から構成される。予測リスト利用フラグpredFlagL0、predFlagL1は、各々Ｌ０リスト、Ｌ１リストと呼ばれる参照ピクチャリストが用いられるか否かを示すフラグであり、値が１の場合に、各フラグに対応する参照ピクチャリストが用いられる。なお、本明細書中「ＸＸであるか否かを示すフラグ」と記す場合、値が１である時はＸＸである場合、値が０である時はＸＸではない場合とし、論理否定、論理積などでは１を真、０を偽と扱う（以下同様）。但し、実際の装置や方法では真値、偽値として他の値を用いることもできる。２つの参照ピクチャリストが用いられる場合、つまり、predFlagL0=1，predFlagL1=1の場合、その予測方法を双予測といい、１つの参照ピクチャリストを用いる場合、すなわち（predFlagL0，predFlagL1）＝（1,0）もしくは（predFlagL0，predFlagL1）＝（0,1）の場合、その予測方法を単予測という。なお、予測リスト利用フラグの情報は、後述のインター予測フラグinter_pred_idcで表現することもできる。
【００６７】
符号化データに含まれるインター予測パラメータを導出するためのシンタックス要素には、例えば、分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測フラグinter_pred_idc、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXがある。
【００６８】
（参照ピクチャリストの一例）
次に、参照ピクチャリストの一例について説明する。参照ピクチャリストとは、後述する参照ピクチャメモリ３０６（図５）に記憶された参照ピクチャからなる列である。図３は、参照ピクチャリストの一例を示す概念図である。参照ピクチャリスト６０１において、左右に一列に配列された５個の矩形は、それぞれ参照ピクチャを示す。左端から右へ順に示されている符号Ｐ０、Ｐ１、Ｑ２、Ｐ３、Ｐ４は、それぞれの参照ピクチャを示す符号である。Ｐ１等のＰとは、視点Ｐを示し、そしてＱ２のＱとは、視点Ｐとは異なる視点Ｑを示す。Ｐ及びＱの添字は、ピクチャ順序番号POC（Picture Order Count）を示す。refIdxLXの真下の下向きの矢印は、参照ピクチャインデックスrefIdxLXが、参照ピクチャメモリ３０６において参照ピクチャＱ２を参照するインデックスであることを示す。
【００６９】
（参照ピクチャの例）
次に、ベクトルを導出する際に用いる参照ピクチャの例について説明する。図４は、参照ピクチャの例を示す概念図である。図４において、横軸は表示時刻を示し、縦軸は視点を示す。図示されている、縦２行、横３列（計６個）の長方形は、それぞれピクチャを示す。６個の長方形のうち、下行の左から２列目の長方形は復号対象のピクチャ（対象ピクチャ）を示し、残りの５個の長方形がそれぞれ参照ピクチャを示す。対象ピクチャから上向きの矢印で示される参照ピクチャＱ２は対象ピクチャと同じ表示時刻であって視点が異なるピクチャである。対象ピクチャを基準とする変位予測においては、参照ピクチャＱ０が用いられる。対象ピクチャから左向きの矢印で示される参照ピクチャＰ１は、対象ピクチャと同じ視点であって、過去のピクチャである。対象ピクチャから右向きの矢印で示される参照ピクチャＰ３は、対象ピクチャと同じ視点であって、未来のピクチャである。対象ピクチャを基準とする動き予測においては、参照ピクチャＰ１又はＰ３が用いられる。
【００７０】
（インター予測フラグと予測リスト利用フラグ）
インター予測フラグと、予測リスト利用フラグpredFlagL0、predFlagL1の関係は以下のように相互に変換可能である。そのため、インター予測パラメータとしては、予測リスト利用フラグを用いても良いし、インター予測フラグを用いてもよい。また、以下、予測リスト利用フラグを用いた判定は、インター予測フラグに置き替えても可能である。逆に、インター予測フラグを用いた判定は、予測リスト利用フラグに置き替えても可能である。
【００７１】
インター予測フラグ＝（predFlagL1 << 1）+ predFlagL0
predFlagL0 ＝ インター予測フラグ & 1
predFlagL1 ＝ インター予測フラグ >> 1
ここで、>>は右シフト、<<は左シフトである。
【００７２】
（マージ予測とＡＭＶＰ予測）
予測パラメータの復号（符号化）方法には、マージ予測（merge）モードとＡＭＶＰ（Adaptive Motion Vector Prediction、適応動きベクトル予測）モードがある。マージフラグmerge_flagは、これらを識別するためのフラグである。マージ予測モードでも、ＡＭＶＰモードでも、既に処理済みのブロックの予測パラメータを用いて、対象ＰＵの予測パラメータが導出される。マージ予測モードは、予測リスト利用フラグpredFlagLX（インター予測フラグinter_pred_idc）、参照ピクチャインデックスrefIdxLX、ベクトルmvLXを符号化データに含めずに、既に導出した予測パラメータをそのまま用いるモードであり、ＡＭＶＰモードは、インター予測フラグinter_pred_idc、参照ピクチャインデックスrefIdxLX、ベクトルmvLXを符号化データに含めるモードである。なおベクトルmvLXは、予測ベクトルを示す予測ベクトルインデックス（mvp_LX_idx）と差分ベクトル（mvdLX）として符号化される。
【００７３】
インター予測フラグinter_pred_idcは、参照ピクチャの種類および数を示すデータであり、Pred_L0、Pred_L1、Pred_Biの何れかの値をとる。Pred_L0、Pred_L1は、各々Ｌ０リスト、Ｌ１リストと呼ばれる参照ピクチャリストに記憶された参照ピクチャが用いられることを示し、共に１枚の参照ピクチャを用いること（単予測）を示す。Ｌ０リスト、Ｌ１リストを用いた予測を各々Ｌ０予測、Ｌ１予測と呼ぶ。Pred_Biは２枚の参照ピクチャを用いること（双予測）を示し、Ｌ０リストとＬ１リストに記憶された参照ピクチャ２つを用いることを示す。予測ベクトルインデックスmvp_LX_idxは予測ベクトルを示すインデックスであり、参照ピクチャインデックスrefIdxLXは、参照ピクチャリストに記憶された参照ピクチャを示すインデックスである。なお、ＬＸは、Ｌ０予測とＬ１予測を区別しない場合に用いられる記述方法であり、ＬＸをＬ０、Ｌ１に置き換えることでＬ０リストに対するパラメータとＬ１リストに対するパラメータを区別する。例えば、refIdxL0はＬ０予測に用いる参照ピクチャインデックス、refIdxL1はＬ１予測に用いる参照ピクチャインデックス、refIdx（またはrefIdxLX）は、refIdxL0とrefIdxL1を区別しない場合に用いられる表記である。
【００７４】
マージインデックスmerge_idxは、処理が完了したブロックから導出される予測パラメータ候補（マージ候補）のうち、いずれの予測パラメータを復号対象ブロックの予測パラメータとして用いるかを示すインデックスである。
【００７５】
（動きベクトルと変位ベクトル）
ベクトルmvLXには、動きベクトルと変位ベクトル（disparity vector、視差ベクトル）がある。動きベクトルとは、あるレイヤのある表示時刻でのピクチャにおけるブロックの位置と、異なる表示時刻（例えば、隣接する離散時刻）における同一レイヤのピクチャにおける対応するブロックの位置との間の位置のずれを示すベクトルである。変位ベクトルとは、あるレイヤのある表示時刻でのピクチャにおけるブロックの位置と、同一の表示時刻における異なるレイヤのピクチャにおける対応するブロックの位置との間の位置のずれを示すベクトルである。異なるレイヤのピクチャとしては、異なる視点のピクチャである場合、もしくは、異なる解像度のピクチャである場合などがある。特に、異なる視点のピクチャに対応する変位ベクトルを視差ベクトルと呼ぶ。以降の説明では、動きベクトルと変位ベクトルを区別しない場合には、単にベクトルmvLXと呼ぶ。ベクトルmvLXに関する予測ベクトル、差分ベクトルを、それぞれ予測ベクトルmvpLX、差分ベクトルmvdLXと呼ぶ。ベクトルmvLXおよび差分ベクトルmvdLXが、動きベクトルであるか変位ベクトルであるかは、ベクトルに付随する参照ピクチャインデックスrefIdxLXを用いて区別される。
【００７６】
図１６に、レイヤ間動きマッピングフラグとレイヤ間視差情報を含むレイヤ間動きマッピング情報の符号化データ構造の例を示す。図１６（ａ）は、シーケンスレイヤの情報であるSPS（Sequence Parameter Set）のデータ構造であり、シーケンス単位でこれらの符号化データを含む場合の例である。図１６（ｂ）は、図１６（ａ）と同様にシーケンス単位でレイヤ間動きマッピングフラグとレイヤ間視差ベクトルを含む符号化データの例で、拡張SPS（SPS extension）として独立に表記する例である。いずれにおいても、符号要素群SE100において、動きマッピングが行われるか否かを示すレイヤ間動きマッピングフラグinter_layer_mfm_enable_flagが真（１）の時にのみ、レイヤ間視差情報が含まれる。レイヤ間視差情報は、水平成分と垂直成分で表される２次元のベクトルであり、この例では、それぞれmfm_disparity_vector_div16［0］、mfm_disparity_vector_div16［1］という要素で定義される。_div16は、ベクトルが整数16で割られた数として符号化されていることを意味する。なお16での除算と4ビットの右シフトは同じ意味を有するので、disparity_vector_div16[]の代わりにdisparity_vector_shift4などと記載しても良い。
【００７７】
図１７に、レイヤ間動きマッピング情報の符号化データ構造の別の例を示す。図１７は、拡張レイヤのピクチャに関するスライスヘッダの符号化データ構造の例である。前述のシーケンスレイヤの例と同様に、符号要素群SE101において、動きマッピングが行われるか否かを示すレイヤ間動きマッピングフラグinter_layer_mfm_enable_flagが含まれ、これが真（１）の時に、さらにレイヤ間視差情報が含まれる。
【００７８】
図１８に、レイヤ間動きマッピング情報の符号化データ構造のさらに別の例を示す。図１８は、図１７と同様、拡張レイヤのピクチャに関するスライスヘッダのデータ構造であって、スライスヘッダの拡張部分に、レイヤ間動きマッピングフラグinter_layer_mfm_enable_flagおよびレイヤ間視差情報（符号要素群SE101）が含まれる例である。スライスヘッダの拡張部分があるかどうかを示すフラグslice_segment_header_extension_present_flagは、例えば、図示していないピクチャレイヤのパラメータセットPPSに含まれる。
【００７９】
以上の例のように、レイヤ間視差情報は、復号対象となる対象レイヤ（拡張レイヤ）の予測パラメータや残差が符号化されるスライスデータには含めず、スライスデータよりも先に符号化される上位のデータに格納する。具体的には、拡張レイヤのシーケンスパラメータセット、ピクチャパラメータセット、もしくは、スライスヘッダに格納する。このように、スライスデータよりも前（上位レイヤ）に、レイヤ間視差情報を格納することにより、拡張レイヤのスライスデータ（復号対象ピクチャの先頭の符号化ユニット）の復号を開始する前に、参照ピクチャの動きパラメータの割り当てを行うことが可能になる。この場合、参照する動き情報を置き替えることにより、ローレベルの予測ベクトル導出方法を変更することなく、ビュースケーラブルにおいて、異なるレイヤの動き情報を、より有効な形で参照することができる効果を奏する。
【００８０】
なお、レイヤ間視差情報をブロック単位で指定できるようなデータ構造としてもよい。
図２０は、ブロック単位で指定される場合のレイヤ間動きマッピング情報の符号化データの例である。図２０の符号要素群SE103に示すように、対象ピクチャをＭ×Ｎ個のレイヤ間視差ブロックに分割し、分割したレイヤ間視差ブロックの数だけ、レイヤ間視差情報を符号化する。ここで、mfm_disparity_vector_div16[x][y][]は、対象ピクチャ内の座標(x, y)で示されるレイヤ間視差ブロックに対応するレイヤ間視差ベクトルであり、xとyは、x=0..M-1、y=0..N-1の範囲の値とする。シンタックス要素群SE103は、スライスヘッダ、PPS、SPSの何れかに含まれる。
【００８１】
参照レイヤとして、デプス画像を用いる場合には、デプス画像から視差を算出し、算出した視差をブロック単位のレイヤ間視差情報として利用してもよい。
【００８２】
図２１は、デプスからレイヤ間視差を求めてレイヤ間動きマッピングを行う場合のレイヤ間動きマッピング情報の符号化データの例である。レイヤ間動きマッピング情報は、デプス動きマッピングフラグdepth_mfm_enable_flagを含む。depth_mfm_enable_flagが１の場合には、レイヤ間視差情報は符号化しない。depth_mfm_enable_flagが０の場合には、レイヤ間視差情報を符号化する。
【００８３】
また、復号対象ピクチャが複数のレイヤを参照する場合、参照レイヤの数だけレイヤ間視差情報を含むように符号化データを構成してもよい。具体的には、ある対象レイヤlayer_idで参照する参照レイヤの数NumDirectRefLayers[layer_id]だけレイヤ間視差情報を符号化する。すなわち、レイヤ間視差情報mfm_disparity_vector_div16[layer_id][i][0]、mfm_disparity_vector_div16[layer_id][i][1]をi=0〜(NumDirectRefLayers[layer_id]-1)の範囲で符号化データに含める。図１９に、図１８の例を基礎とした場合の、レイヤ間視差情報の符号化データ構造の例を示す（符号要素群SE102）。なお、上記レイヤlayer_id（レイヤ識別子）および対応する参照レイヤの数NumDirectRefLayers[layer_id]は、例えば図示していないVPS等のパラメータセットに含まれる。
【００８４】
なお、レイヤ間視差情報の符号化は、シーケンスレイヤのパラメータセットに限らず、ピクチャパラメータセット（ＰＰＳ）やスライスヘッダでもよい。例えば、シーケンス単位のように、視差ベクトルを符号化する単位を上位のレイヤにするほど、視差ベクトル自体の伝送符号量を節約できるが、その分、符号化対象ブロックそれぞれに対する視差ベクトルの正確度にばらつきが生じ、動き予測時の予測誤差が大きくなる可能性がある。そこで、シーケンス単位で各視点画像の変化が小さいような画像の場合は、視差ベクトルを含む単位をシーケンス単位にするなど大きくし、各視点画像のピクチャ内の変化が大きいような画像の場合は、視差ベクトルを含む単位をスライス単位やブロック単位にするなど小さくして、符号化効率が向上するように、符号化データに視差ベクトルを含める単位を選択・制御してもよい。これらのフラグは、後述のレイヤ間視差情報抽出部３０３７において復号される。
【００８５】
（画像復号装置の構成）
次に、本発明の一実施形態に係る画像復号装置３１の構成について説明する。図５は、本実施形態に係る画像復号装置３１の構成を示す概略図である。画像復号装置３１は、エントロピー復号部３０１、予測パラメータ復号部３０２、参照ピクチャメモリ（参照画像記憶部、フレームメモリ）３０６、予測パラメータメモリ（予測パラメータ記憶部、フレームメモリ）３０７、予測画像生成部３０８、逆量子化・逆ＤＣＴ部３１１、加算部３１２及びレイヤ間動きマッピング部３１３を含んで構成される。
【００８６】
また、予測パラメータ復号部３０２は、インター予測パラメータ復号部３０３及びイントラ予測パラメータ復号部３０４を含んで構成される。予測画像生成部３０８は、インター予測画像生成部３０９及びイントラ予測画像生成部３１０を含んで構成される。
【００８７】
エントロピー復号部３０１は、外部から入力された符号化ストリームＴｅに対してエントロピー復号を行って、個々の符号（シンタックス要素）を分離し復号する。分離された符号には、予測画像を生成するための予測情報および、差分画像を生成するための残差情報などがある。
【００８８】
エントロピー復号部３０１は、分離した符号の一部を予測パラメータ復号部３０２に出力する。分離した符号の一部とは、例えば、予測モードpredMode、分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測フラグinter_pred_idc、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLX、レイヤ間視差情報、コロケート情報collocated_from_l0_flag，collocated_ref_idxなどである。どの符号を復号するか否かの制御は、予測パラメータ復号部３０２の指示に基づいて行われる。エントロピー復号部３０１は、量子化係数を逆量子化・逆ＤＣＴ部３１１に出力する。この量子化係数は、符号化処理において、残差信号に対してＤＣＴ（Discrete Cosine Transform、離散コサイン変換）を行い量子化して得られる係数である。
【００８９】
予測パラメータ復号部３０２は、エントロピー復号部３０１から入力された符号に基づいて、インター予測パラメータまたはイントラ予測パラメータを復号する。そして、復号された予測パラメータを予測画像生成部３０８に出力し、また予測パラメータメモリ３０７に記憶する。予測パラメータ復号部３０２は、また、スライスのスライスヘッダから、テンポラル動き情報を指定するためのコロケート情報collocated_from_l0_flag、collocated_ref_idx を抽出し、予測パラメータメモリ３０７に記憶する。
【００９０】
インター予測パラメータ復号部３０３は、予測パラメータメモリ３０７に記憶された予測パラメータを参照してインター予測パラメータを出力する。インター予測パラメータ復号部３０３の詳細については後述する。
【００９１】
イントラ予測パラメータ復号部３０４は、エントロピー復号部３０１から入力された符号に基づいて、予測パラメータメモリ３０７に記憶された予測パラメータを参照してイントラ予測パラメータを復号する。イントラ予測パラメータとは、ピクチャブロックを１つのピクチャ内で予測する処理で用いるパラメータ、例えば、イントラ予測モードIntraPredModeである。イントラ予測パラメータ復号部３０４は、復号したイントラ予測パラメータを予測画像生成部３０８に出力し、また予測パラメータメモリ３０７に記憶する。
【００９２】
参照ピクチャメモリ３０６は、後述する加算部３１２が生成した参照ピクチャのブロック（参照ピクチャブロック）を、復号対象のピクチャ及びブロック毎に予め定めた位置に記憶する。
【００９３】
予測パラメータメモリ３０７は、予測パラメータを、復号対象のピクチャ及びブロック毎に予め定めた位置に記憶する。具体的には、予測パラメータメモリ３０７は、インター予測パラメータ復号部３０３が復号したインター予測パラメータ、イントラ予測パラメータ復号部３０４が復号したイントラ予測パラメータ及びエントロピー復号部３０１が分離した予測モードpredModeを記憶する。記憶されるインター予測パラメータには、例えば、予測リスト利用フラグpredFlagLX（インター予測フラグinter_pred_idc）、参照ピクチャインデックスrefIdxLX、ベクトルmvLXがある。
【００９４】
予測画像生成部３０８には、エントロピー復号部３０１から入力された予測モードpredModeが入力され、また予測パラメータ復号部３０２から予測パラメータが入力される。また、予測画像生成部３０８は、参照ピクチャメモリ３０６から参照ピクチャを読み出す。予測画像生成部３０８は、予測モードpredModeが示す予測モードに応じて、入力された予測パラメータと読み出した参照ピクチャを用いて予測ピクチャブロックＰ（予測画像）を生成する。
【００９５】
ここで、予測モードpredModeがインター予測モードを示す場合、インター予測画像生成部３０９は、インター予測パラメータ復号部３０３から入力されたインター予測パラメータと読み出した参照ピクチャを用いてインター予測により予測ピクチャブロックＰを生成する。予測ピクチャブロックＰはＰＵに対応する。ＰＵは、上述したように予測処理を行う単位となる複数の画素からなるピクチャの一部分、つまり１度に予測処理が行われる復号対象ブロックに相当する。
【００９６】
インター予測画像生成部３０９は、予測リスト利用フラグpredFlagLXが１である参照ピクチャリスト（Ｌ０リスト、もしくはＬ１リスト）に対し、参照ピクチャインデックスrefIdxLXで示される参照ピクチャから、復号対象ブロックを基準としてベクトルmvLXが示す位置にある参照ピクチャブロックを参照ピクチャメモリ３０６から読み出す。インター予測画像生成部３０９は、読み出した参照ピクチャブロックについて予測を行って予測ピクチャブロックＰを生成する。インター予測画像生成部３０９は、生成した予測ピクチャブロックＰを加算部３１２に出力する。
【００９７】
予測モードpredModeがイントラ予測モードを示す場合、イントラ予測画像生成部３１０は、イントラ予測パラメータ復号部３０４から入力されたイントラ予測パラメータと読み出した参照ピクチャを用いてイントラ予測を行う。具体的には、イントラ予測画像生成部３１０は、復号対象のピクチャであって、既に復号されたブロックのうち復号対象ブロックから予め定めた範囲にある参照ピクチャブロックを参照ピクチャメモリ３０６から読み出す。予め定めた範囲とは、復号対象ブロックがいわゆるラスタースキャンの順序で順次移動する場合、例えば、左、左上、上、右上の隣接ブロックのうちのいずれかであり、イントラ予測モードによって異なる。ラスタースキャンの順序とは、各ピクチャにおいて、上端から下端まで各行について、順次左端から右端まで移動させる順序である。
【００９８】
イントラ予測画像生成部３１０は、読み出した参照ピクチャブロックについてイントラ予測モードIntraPredModeが示す予測モードで予測を行って予測ピクチャブロックを生成する。イントラ予測画像生成部３１０は、生成した予測ピクチャブロックＰを加算部３１２に出力する。
【００９９】
逆量子化・逆ＤＣＴ部３１１は、エントロピー復号部３０１から入力された量子化係数を逆量子化してＤＣＴ係数を求める。逆量子化・逆ＤＣＴ部３１１は、求めたＤＣＴ係数について逆ＤＣＴ（Inverse Discrete Cosine Transform、逆離散コサイン変換）を行い、復号残差信号を算出する。逆量子化・逆ＤＣＴ部３１１は、算出した復号残差信号を加算部３１２に出力する。
【０１００】
加算部３１２は、インター予測画像生成部３０９及びイントラ予測画像生成部３１０から入力された予測ピクチャブロックＰと逆量子化・逆ＤＣＴ部３１１から入力された復号残差信号の信号値を画素毎に加算して、参照ピクチャブロックを生成する。加算部３１２は、生成した参照ピクチャブロックを参照ピクチャメモリ３０６に記憶し、生成した参照ピクチャブロックをピクチャ毎に統合した復号レイヤ画像Ｔｄを外部に出力する。
【０１０１】
レイヤ間動きマッピング部３１３は、予測パラメータ復号部３０２が復号したレイヤ間視差情報を用いて、予測パラメータメモリ３０７に記録された動き情報（動きベクトルおよび参照ピクチャインデックス）を生成する。生成された動き情報は、予測パラメータメモリ３０７に再度格納される。レイヤ間動きマッピング部３１３の詳細は後述する。
【０１０２】
（インター予測パラメータ復号部の構成）
次に、インター予測パラメータ復号部３０３の構成について説明する。
【０１０３】
図６は、本実施形態に係るインター予測パラメータ復号部３０３の構成を示す概略図である。インター予測パラメータ復号部３０３は、インター予測パラメータ復号制御部３０３１、ＡＭＶＰ予測パラメータ導出部３０３２、加算部３０３５、マージ予測パラメータ導出部３０３６、及びレイヤ間視差情報抽出部３０３７を含んで構成される。
【０１０４】
インター予測パラメータ復号制御部３０３１は、インター予測に関連する符号（シンタックス要素の復号をエントロピー復号部３０１に指示し、符号化データに含まれる符号（シンタックス要素）を例えば、分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測フラグinter_pred_idc、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXを抽出する。
【０１０５】
インター予測パラメータ復号制御部３０３１は、まず、マージフラグmerge_flagを抽出する。ここ以降、インター予測パラメータ復号制御部３０３１があるシンタックス要素を抽出すると表現する場合は、あるシンタックス要素の復号をエントロピー復号部３０１に指示し、該当のシンタックス要素を符号化データから読み出すことを意味する。ここで、マージフラグが示す値が１、すなわち、マージ予測モードを示す場合、インター予測パラメータ復号制御部３０３１は、マージ予測に係る予測パラメータとして、マージインデックスmerge_idxを抽出する。インター予測パラメータ復号制御部３０３１は、抽出したマージインデックスmerge_idxをマージ予測パラメータ導出部３０３６に出力する。
【０１０６】
マージフラグmerge_flagが０、すなわち、ＡＭＶＰ予測モードを示す場合、インター予測パラメータ復号制御部３０３１は、ＡＭＶＰ予測パラメータを抽出する。ＡＭＶＰ予測パラメータとして、例えば、インター予測フラグinter_pred_idc、参照ピクチャインデックスrefIdxLX、ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXがある。インター予測パラメータ復号制御部３０３１は、抽出したインター予測フラグinter_pred_idcから導出した予測リスト利用フラグpredFlagLXと、参照ピクチャインデックスrefIdxLXをＡＭＶＰ予測パラメータ導出部３０３２及び予測画像生成部３０８（図５）に出力し、また予測パラメータメモリ３０７（図５）に記憶する。インター予測パラメータ復号制御部３０３１は、抽出したベクトルインデックスmvp_LX_idxをＡＭＶＰ予測パラメータ導出部３０３２（動き情報導出部）に出力する。インター予測パラメータ復号制御部３０３１は、抽出した差分ベクトルmvdLXを加算部３０３５に出力する。
【０１０７】
図７は、本実施形態に係るマージ予測パラメータ導出部３０３６（動き情報導出部）の構成を示す概略図である。マージ予測パラメータ導出部３０３６は、マージ候補導出部３０３６１とマージ候補選択部３０３６２を備える。マージ候補導出部３０３６１は、マージ候補格納部３０３６１１と、基本マージ候補導出部３０３６１３を含んで構成される。
【０１０８】
マージ候補格納部３０３６１１は、基本マージ候補導出部３０３６１３から入力されたマージ候補を格納する。なお、マージ候補は、予測リスト利用フラグpredFlagLX、ベクトルmvLX、参照ピクチャインデックスrefIdxLXを含んで構成されている。
【０１０９】
基本マージ候補導出部３０３６１３は、空間マージ候補導出部３０３６１３１と時間マージ候補導出部３０３６１３２と結合マージ候補導出部３０３６１３３とゼロマージ候補導出部３０３６１３４を含んで構成される。
【０１１０】
空間マージ候補導出部３０３６１３１は、所定の規則に従って、予測パラメータメモリ３０７が記憶している予測パラメータ（予測リスト利用フラグpredFlagLX、ベクトルmvLX、参照ピクチャインデックスrefIdxLX）を読み出し、読み出した予測パラメータをマージ候補として導出する。読み出される予測パラメータは、復号対象ブロックから予め定めた範囲内にあるブロック（例えば、復号対象ブロックの左下端、左上端、右上端にそれぞれ接するブロックの全部又は一部）のそれぞれに係る予測パラメータである。導出されたマージ候補はマージ候補格納部３０３６１１に格納される。
【０１１１】
時間マージ候補導出部３０３６１３２は、復号対象ブロックが含まれるスライスのスライスヘッダ内の、テンポラル動き情報を指定するためのコロケート情報collocated_from_l0_flag，collocated_ref_idx により指定される参照画像colPicにおいて復号され、レイヤ間動きマッピング部３１３により生成されて、予測パラメータメモリ３０７に格納された動き情報を参照し、時間マージ候補と呼ばれる動き情報を導出する。復号対象ブロックの右下座標BRを含む参照画像colPic中のブロックの予測パラメータを予測パラメータメモリ３０７から読みだしマージ候補とする。参照画像colPic及び右下座標BRの導出方法は、時間ベクトル候補導出部３０３３２２の方法と同一であるので後述する。なお、時間マージ候補導出部３０３６１３２および時間ベクトル候補導出部３０３３２２で参照される動き情報をテンポラル動き情報と呼ぶ。導出されたマージ候補はマージ候補格納部３０３６１１に格納される。
【０１１２】
図１２に、復号対象ブロックＸに関して、空間マージ候補導出の際に予測パラメータを読み出す対象とするブロック（座標A0,A1,B0,B1,B2を含むブロック）の位置関係の例を示す。また、復号対象ブロックＸに関して、時間マージ候補導出の際に予測パラメータ（動き情報）を参照する対象とする参照画像colPic内のブロック（座標BRを含むブロック）の位置関係の例を示す。図中のブロックＹは、復号対象ブロックＸに対応する位置にある、参照画像colPic内のブロックである。なお、これらブロック位置の関係については、後述する空間ベクトル候補導出部３０３３２１においてベクトル候補を導出する際に予測パラメータを読み出す対象とするブロック位置および、時間ベクトル候補導出部３０３３２２においてベクトル候補を導出する際に予測パラメータ（動き情報）を参照する対象とするブロック位置も、それぞれ同様の関係がある。
【０１１３】
結合マージ候補導出部３０３６１３３は、既に導出されマージ候補格納部３０３６１１に格納された２つの異なる導出済マージ候補のベクトルと参照ピクチャインデックスを、それぞれＬ０、Ｌ１のベクトルとして組み合わせることで結合マージ候補を導出する。導出されたマージ候補はマージ候補格納部３０３６１１に格納される。
【０１１４】
ゼロマージ候補導出部３０３６１３４は、参照ピクチャインデックスrefIdxLXが０であり、ベクトルmvLXのＸ成分、Ｙ成分が共に０であるマージ候補を導出する。導出されたマージ候補はマージ候補格納部３０３６１１に格納される。
【０１１５】
マージ候補選択部３０３６２は、マージ候補格納部３０３６１１に格納されているマージ候補のうち、インター予測パラメータ復号制御部３０３１から入力されたマージインデックスmerge_idxに対応するインデックスが割り当てられたマージ候補を、対象ＰＵのインター予測パラメータとして選択する。マージ候補選択部３０３６２は選択したマージ候補を予測パラメータメモリ３０７（図５）に記憶するとともに、予測画像生成部３０８（図５）に出力する。
【０１１６】
図８は、本実施形態に係るＡＭＶＰ予測パラメータ導出部３０３２の構成を示す概略図である。ＡＭＶＰ予測パラメータ導出部３０３２は、ベクトル候補導出部３０３３と予測ベクトル選択部３０３４を備える。
【０１１７】
ベクトル候補導出部３０３３は、参照ピクチャインデックスrefIdxに基づいて予測パラメータメモリ３０７（図５）が記憶するベクトル（動きベクトル又は変位ベクトル）をベクトル候補mvpLXとして読み出し、所定の数のベクトル候補を導出してベクトル候補格納部３０３３１へ格納する。導出されるベクトルは、空間ベクトル候補導出部３０３３２１、時間ベクトル候補導出部３０３３２２、ゼロベクトル候補導出部３０３３２３により決定される。
【０１１８】
空間ベクトル候補導出部３０３３２１は、復号対象ブロックから予め定めた範囲内にあるブロック（例えば、復号対象ブロックの左下端、左上端、右上端にそれぞれ接するブロックの全部又は一部）のそれぞれに係るベクトルを予測パラメータメモリから読み出してベクトル候補とする。
【０１１９】
時間ベクトル候補導出部３０３３２２は、復号対象ブロックが含まれるスライスのスライスヘッダ内の、テンポラル動き情報を指定するためのコロケート情報collocated_from_l0_flag、collocated_ref_idx により指定される参照画像colPicにおいて復号された動き情報を参照し、時間ベクトル候補と呼ばれる動き情報を導出する。復号対象ブロックの右下の座標を含む参照画像中のブロックに係るベクトルを予測パラメータメモリ３０７から読み出してベクトル候補とする。
【０１２０】
参照画像colPicと右下座標BRの導出方法を以下説明する。参照画像colPicは、復号対象ブロックを含むスライスのスライスタイプがＢスライスの場合で、かつコロケート情報collocated_from_l0_flagが０に等しい時、参照ピクチャリストＬ１内で、テンポラルインデックスcollocated_ref_idxが指す位置の参照画像（＝RefPicList1[collocated_ref_idx]）を、テンポラル動き情報の対象となる参照画像colPicとする。一方、スライスタイプがＢスライスの場合でも上記の条件にあてはまらないか、またはスライスタイプがＰスライスの場合、参照ピクチャリストＬ０内で、インデックスcollocated_ref_idxが指す位置の参照画像（＝RefPicList0[collocated_ref_idx]）を、テンポラル動き情報の対象となる参照画像colPicとする。
【０１２１】
右下座標BRは、復号対象ブロックの座標が(xPb, yPb)、サイズが(nPbW, nPbH)である場合、ブロックの右下座標xColBr、yColBrを以下の式により導出する（図１２参照）。
【０１２２】
xColBr = xPb + nPbW
yColBr = yPb + nPbH
さらに、座標の水平成分、垂直成分がそれぞれ16の倍数となるように、以下の式により座標を生成する。
【０１２３】
xColBr´ = ( ( xColBr  >>  4 )  <<  4
yColBr´ = ( ( yColBr  >>  4 )  <<  4
この生成後の座標（xColBr´, yColBr´）を、テンポラル動き情報の参照位置を示す右下座標BRとする。
【０１２４】
なお、対象ピクチャ以外の動き情報を参照する方法は、上記、テンポラル動き情報のみである。従って、スケーラブル符号化において、時間マージ候補導出部３０３６１３２や時間ベクトル候補導出部３０３３２２などで行われるローレベルの予測パラメータの導出方法を変更することなく、対象レイヤ以外の動き情報を参照するためには、このテンポラル動き情報を用いることになる。
【０１２５】
より具体的には、対象ピクチャが非ベースビューである場合において、ベースビューの動き情報を参照する場合、ベースビューを参照ピクチャリストRefPicListLXに格納し（例えば、ref_idx_LX=refIdxBaseに格納する）、テンポラルインデックスcollocated_ref_idxにより示される参照画像RefPicListX[collocated_ref_idx]がベースビューを示すようなcollocated_ref_idxを用いる。すなわち、RefPicListX[collocated_ref_idx] = refIdxBaseとなるcollocated_ref_idxを用いる。
【０１２６】
ゼロベクトル候補導出部３０３３２３は、ベクトル候補として水平成分と垂直成分が共にゼロであるゼロベクトルを生成する。ゼロベクトルの生成は、前述の空間ベクトル候補導出部および時間ベクトル候補導出部によって導出されたベクトル候補の数が、前記所定の数に達しなかった場合にのみ実行する。例えば、空間ベクトル候補の対象となる範囲のブロックや時間ベクトル候補の対象となるブロックがイントラ予測符号化されている場合は、そのブロックに関する動きベクトルがないため、ベクトル候補として利用できないことになる。その結果として、ベクトル候補の数が所定の数に満たない場合に、ゼロベクトル候補導出部がゼロベクトルを生成し、ベクトル候補格納部へ出力する。ベクトル候補格納部３０３３１は、空間ベクトル候補導出部３０３３２１、時間ベクトル候補導出部３０３３２２、ゼロベクトル候補導出部３０３３２３から出力される候補ベクトルを、予測ベクトルリストに所定の数まで順番に格納する。
【０１２７】
ここで、ベクトル候補に関する前記所定の数は例えば２とし、ベクトル候補導出部３０３３は、前記所定の数に達するまで各ベクトル候補を導出し、以降の導出処理は省略してもよい。
【０１２８】
予測ベクトル選択部３０３４は、ベクトル候補導出部３０３３が読み出したベクトル候補のうち、インター予測パラメータ復号制御部３０３１から入力されたベクトルインデックスmvp_LX_idxが示すベクトル候補を予測ベクトルmvpLXとして選択する。予測ベクトル選択部３０３４は、選択した予測ベクトルmvpLXを加算部３０３５に出力する。
【０１２９】
図９は、ベクトル候補の選択に関する概念図である。図９に示す予測ベクトルリスト６０２は、ベクトル候補導出部３０３３において導出される複数のベクトル候補からなるリストである。予測ベクトルリスト６０２において、左右に一列に配列された５個の長方形は、それぞれ予測ベクトルを示す情報を格納する領域を示す。図の例では、予測ベクトルリスト６０２の左端から２番目に、予測パラメータメモリ３０７内の予測ベクトルmvpLXを示す情報が設定されており、ベクトルインデックスmvp_LX_idxがリストの２番目を指定することで、mvp_LX_idxが、予測パラメータメモリ３０７内の予測ベクトルmvpLXを参照するインデックスであることを示す。
【０１３０】
候補ベクトルは、復号処理が完了したブロックであって、復号対象ブロックから予め定めた範囲のブロック（例えば、隣接ブロック）を参照し、参照したブロックに係るベクトルに基づいて生成される。なお、隣接ブロックには、対象ブロックに空間的に隣接するブロック、例えば、左ブロック、上ブロックの他、対象ブロックに時間的に隣接するブロック、例えば、対象ブロックと同じ位置で、表示時刻が異なるブロックから得られたブロックを含む。候補ベクトルに関しては、参照ブロックが、復号対象ブロックと空間的に隣接するブロックである場合と、時間的に隣接するブロックである場合とを区別するために、それぞれ空間動きベクトル、時間動きベクトル（またはテンポラル動きベクトル、テンポラル動き情報）と称することもある。
【０１３１】
加算部３０３５は、予測ベクトル選択部３０３４すなわちＡＭＶＰ予測パラメータ導出部３０３２から入力された予測ベクトルmvpLXとインター予測パラメータ復号制御部３０３１から入力された差分ベクトルmvdLXを加算してベクトルmvLXを算出する。加算部３０３５は、算出したベクトルmvLXを予測画像生成部３０８（図５）に出力する。
【０１３２】
レイヤ間視差情報抽出部３０３７は、符号化データがビュースケーラブル符号化されている場合に、動きマッピングの適用有無を示すレイヤ間動きマッピングフラグinter_layer_mfm_enable_flagと、動きマッピングの際に用いられるレイヤ間視差情報mfm_disparity_vector_div16[]を符号化データから抽出する。動きマッピングとは、あるレイヤ（例えばベースレイヤ）の動きベクトルを、あるレイヤとは異なるレイヤ（例えば拡張レイヤ）の動きベクトルとして割り当てる処理を指す。この処理によって、テンポラル動き情報の精度を向上させる。
【０１３３】
レイヤ間視差情報抽出部３０３７は、エントロピー復号部３０１を用いて、レイヤ間動きマッピングが行われるか否かを示すレイヤ間動きマッピングフラグinter_layer_mfm_enable_flagを符号化データから抽出する。レイヤ間動きマッピングフラグが１（真）の場合、さらに、レイヤ間視差情報を抽出する。レイヤ間視差情報は、水平成分と垂直成分で表される２次元のベクトルであり、それぞれmfm_disparity_vector[0]、mfm_disparity_vector[1]と表記して区別する。レイヤ間視差情報抽出部３０３７は、抽出したレイヤ間視差情報を、レイヤ間動きマッピング部３１３に出力する。
【０１３４】
なお、レイヤ間視差情報抽出部３０３７は、レイヤ間動きマッピングフラグinter_layer_mfm_enable_flagが１の場合に、レイヤ間視差情報を常に抽出するのではなく、レイヤ間動きマッピングフラグinter_layer_mfm_enable_flagが１でかつ、ビュースケーラブル符号化が用いられている際にのみ、レイヤ間視差情報を抽出しても良い。ビュースケーラブル符号化が用いられているか否かの判定には、ＶＰＳのスケーラブルの種別を示すフラグ（例えばdimension_id）を参照しても良いし、対象レイヤが参照するレイヤに、対象レイヤとは異なるビューのレイヤが含まれているか否かを用いても良い。
【０１３５】
レイヤ間動きマッピングフラグinter_layer_mfm_enable_flag及びレイヤ間視差情報は、拡張レイヤのスライスヘッダもしくはパラメータセットの符号化データに含まれる。
【０１３６】
（レイヤ間動きマッピング部）
次に、レイヤ間動きマッピング部３１３の構成について説明する。レイヤ間動きマッピング部３１３は、テンポラル参照ピクチャcolPicの予測パラメータを動きマッピングにより生成する。
【０１３７】
図１０に、レイヤ間動きマッピング部３１３の構成を示す。レイヤ間動きマッピング部３１３は、対象ビュー（第２の視点画像）における対象ブロックに対応する、参照ビュー（第１の視点画像）における画像ブロックである参照画像ブロックを決定する参照画像ブロック決定部３１３１と、決定された参照画像ブロックの動き情報に基づいて対象ブロックの動き情報を生成する動き情報生成部３１３２とをさらに含んで構成される。
【０１３８】
参照画像ブロック決定部３１３１は、レイヤ間視差情報抽出部３０３７から入力されるレイヤ間視差情報（レイヤ間視差ベクトル）を用いて、対象ブロックに対応する、参照ビュー上における参照画像ブロックの位置を算出する。対象ブロックとは、動きマッピングの対象となる参照画像上のブロックである。対象ブロックは、また、対象ビュー上の復号対象ブロックのテンポラリ動きベクトルとして参照されるブロックである。具体的には、対象ブロックのピクチャ内の座標が（xP, yP）であるとき、参照画像ブロックの座標（xRL, yRL）を以下の式で算出する。参照画像ブロックの座標（xRL, yRL）を、以下の式により、対象ブロックの座標と、レイヤ間視差ベクトルと所定の値との積の加算から導出する。
【０１３９】
xRL = xP + mfm_disparity_vector[0] * 16
yRL = yP + mfm_disparity_vector[1] * 16
ここで、レイヤ間視差ベクトルmfm_disparity_vectorに定数１６を乗じているのは、テンポラル動き情報として参照される座標が常に16の倍数であるためである。つまり、予測パラメータメモリ３０７に記録される参照ビューの動き情報は、16の倍数の座標のみであるため、予測パラメータメモリ３０７の参照ビューの動き情報を読み出す際に用いる参照画像ブロックの座標（xRL, yRL）も常に16の倍数でなくてはならない。対象ブロック座標（xP, yP）が既に16の倍数である場合に、レイヤ間視差ベクトル加算後も16の倍数となるように、16を乗じてから加算する。なお、レイヤ間視差ベクトルの精度を16分の1にすることにより、伝送符号量を節減する効果も奏する。xRL、yRLはまた、以下の式により、レイヤ間視差ベクトルを所定の値で左シフトしてから加算して算出してもよい。
【０１４０】
xRL = xP + mfm_disparity_vector[0] << 4
yRL = yP + mfm_disparity_vector[1] << 4
なお、参照画像ブロックの座標（xRL, yRL）が16の倍数となるように、以下の式をさらに適用した座標（xRL´, yRL´）を用いても良い。
【０１４１】
xRL´ = ( ( xRL  >>  4 )  <<  4
yRL´ = ( ( yRL  >>  4 )  <<  4
但し、対象ブロックの座標（xP, yP）が既に16の倍数である場合には、上記演算は不要である。いずれにしても、このように、対象ブロックの座標（水平位置、垂直位置）に対して視点画像間の視差ベクトルをそれぞれ水平方向、垂直方向に関して加算することにより、参照画像における参照ブロックの位置を算出する。参照画像ブロック決定部３１３１は、算出した参照画像ブロックの位置を、動き情報生成部３１３２へ出力する。
【０１４２】
動き情報生成部３１３２は、参照画像ブロック決定部３１３１から入力された参照画像ブロックの座標（xRL, yRL）に対応する予測パラメータを、予測パラメータメモリ３０７から読み出し、それを基に対象ブロックの予測パラメータ（復号対象ブロックのテンポラリ動きベクトルとして参照される対象ブロックの予測パラメータ）を生成する。具体的には、対象ブロックの予測モードpredMode、参照ピクチャインデックスrefIdxLX、ベクトルmvLXについて、後述の条件に応じて所定の値を設定する、もしくは、前記参照画像ブロックにおける対応するパラメータの値を代入して、各パラメータを生成する。動き情報生成部３１３２は、生成した予測パラメータを予測パラメータメモリ３０７に記憶する。
【０１４３】
動き情報生成部３１３２は、上記の各予測パラメータを生成する際、参照画像ブロックの座標や、予測モードpredModeに従って、次のように予測パラメータを決定する。まず、参照画像ブロックの座標（xRL, yRL）が参照ビュー（参照画像）の外側に位置する場合、即ち、参照ビューの画像サイズをnPicWRL × nPicHRLとしたときに、以下の条件式のいずれかを満たす場合には、予測モードpredMode[xP][yP]をイントラ予測モード（MODE_INTRA）に生成する。
【０１４４】
( xRL < 0 ) || ( xRL >= nPicWRL )
( yRL < 0 ) || ( yRL >= nPicHRL )
ここで、記号||は、論理和を意味する。上記の条件いずれにも当てはまらない場合には、以下の式のように参照画像ブロックに対応する予測モードをpredMode[xP][yP]に代入して生成する。ここでpredModeRLは、参照ビューにおける予測モードである。
【０１４５】
predMode[xP][yP] = predModeRL[xRL][yRL]
上記の結果、predMode[xP][yP]がインター予測モード（MODE_INTER）になる場合、参照ピクチャリストL0, L1それぞれに対応する参照ピクチャインデックスrefIdxLXおよびベクトルmvLXに、対応する参照ビューの予測パラメータを代入して生成する。具体的には以下の式を適用する。
【０１４６】
refIdxLX[xP][yP] = refIdxLXRL[xRL][yRL]
mvLX[xP][yP][0] = mvLXRL[xRL][yRL][0]
mvLX[xP][yP][1] = mvLXRL[xRL][yRL][1]
ここで、refIdxLXRLは参照ビューにおける参照ピクチャインデックスであり、mvLXRLは、参照ビューにおけるベクトルである。ベクトルは、３つめの配列添え字０，１がそれぞれ水平成分、垂直成分を表す。
【０１４７】
一方、生成後のpredMode[xP][yP]がイントラ予測モード（MODE_INTRA）になる場合は、参照ピクチャリストL0, L1それぞれに対応する参照ピクチャインデックスrefIdxLXおよびベクトルmvLXを、それぞれ参照なし、およびゼロベクトルになるよう生成する。具体的には以下の式を適用する。
【０１４８】
refIdxLX[xP][yP] = -1
mvL0[xP][yP][0] = mvL0[xP][yP][1] = 0
mvL1[xP][yP][0] = mvL1[xP][yP][1] = 0
レイヤ間動きマッピング部３１３は、対象レイヤとは異なるレイヤの参照ピクチャの動き情報を、対象レイヤの復号を開始する前に生成する。レイヤ間動きマッピング部３１３は、予測パラメータメモリ３０７に格納された、参照ピクチャリスト上の参照ピクチャにおいて、対象ピクチャとは異なるレイヤに属する参照ピクチャが存在し、レイヤ間動きマッピングフラグinter_layer_mfm_enable_flagが１の場合には、以下の処理に基づいて、参照ピクチャの予測パラメータpredMode[xP][yP]、refIdxLX[xP][yP]、mvL0[xP][yP]、mvL1[xP][yP]を生成する。
【０１４９】
レイヤ間動きマッピング部３１３は、参照ピクチャ上の座標（xP, yP）を、それぞれ、0から参照画像の幅，高さまで、16の倍数になるように順次設定する。具体的には、以下の式を適用する。
【０１５０】
xP = xPb << 4
yP = yPb << 4
ここで、xPb，yPbはそれぞれ、以下のように0から最大値までインクリメントした整数値を設定する。
【０１５１】
xPb = 0 ... ( (nPicWRL + 15) >> 4 ) - 1
yPb = 0 ... ( (nPicHRL + 15) >> 4 ) - 1
図１３は、動きマッピングの概念図である。対象ビューと参照ビューとは、視差ベクトルだけずれが存在する。今、視差ベクトルをdisparity_vectorとすると、対象ビュー上の座標（xP, yP）に対応する物体の参照ビュー上の座標は、（xP + disparity_vector[0], yP + disparity_vector[1]）にあると考えられる。従って、テンポラル動き情報の参照において、あるブロック（xBR, yBR）を参照する際、当該ブロック上のオブジェクトは、参照ビュー上では、（xBR + disparity_vector[0], yBR + disparity_vector[1]）に対応すると考えられる。従って、参照ビュー上の参照画像を、テンポラル動き情報の参照対象とする場合に、参照ビューの動き情報をそのまま参照すると、視差ベクトル分のずれがあることから、参照ビューの動き情報を視差ベクトル分だけずらす処理を行う。これが、動きマッピングである。レイヤ間動きマッピング部３１３は、図１３のように対象ビューおよび参照ビューを16x16の単位で複数ブロックに分割した単位ブロックごとに、上記の予測パラメータ（動き情報）を予測パラメータメモリ３０７から読み出し、前述の通り予測パラメータpredMode[xP][yP]，refIdxLX[xP][yP]，mvLX[xP][yP]を生成する。図中、mfm_disparity_vectorは、レイヤ間視差情報（視差ベクトル）であり、参照ビュー上で座標（xP, yP）をレイヤ間視差ベクトルだけずらした座標（xRL, yRL）が、対象ブロックの動きパラメータを生成する際に参照する参照画像ブロックに対応する。図中の斜線部分は、座標（xRL, yRL）が参照画像の外側を指すケースであり、参照画像から動き情報を得ることができないブロックである。
【０１５２】
図１３における斜線部分のように、参照画像から動き情報を得ることができないブロックに関して、前述の説明では予測モードpredMode[xP][yP]をイントラ予測モード（MODE_INTRA）にするとしたが、それに限らない。例えば、前述の方法で参照画像ブロックの座標（xRL, yRL）を算出する際に、参照画像のサイズnPicWRL × nPicHRLを超えない範囲になるようにクリップしてもよい。すなわち、以下の式を適用する。
【０１５３】
xRL = Clip3(0, nPicWRL - 1, xP + mfm_disparity_vector[0] << 4)
yRL = Clip3(0, nPicHRL - 1, yP + mfm_disparity_vector[1] << 4)
ここで、Clip3(a,b,X)は、Xに関して、X＜aの時はX=aとし、b＜Xの時はX=bとすることによって、a≦X≦bとなるようにXを制限する関数である。このクリップ処理は、参照画像ブロックの座標（xRL, yRL）を16の倍数となるようにした座標（xRL´, yRL´）に関しても同様に適用できる。
【０１５４】
次に、複数の参照画像に対して動きマッピングを行う場合について説明する。この場合は、図１９で説明した複数レイヤのレイヤ間視差ベクトルmfm_disparity_vector_div16[layer_id][][]を含める符号化データを用いる。参照画像ブロック決定部３１３１は、対象ビューにおける対象ブロックに対応する、参照ビューにおける画像ブロックである参照画像ブロックを決定する。具体的には、参照画像ブロック決定部３１３１は、参照ビューのレイヤＩＤがlayer_idである場合に、参照画像に対応するレイヤ間視差ベクトルmfm_disparity_vector_div16[layer_id][][]から、参照ブロックの座標（xRL, yRL）を、以下の式により算出する。
【０１５５】
xRL = xP + mfm_disparity_vector_div16[layer_id][i][0] << 4
yRL = yP + mfm_disparity_vector_div16[layer_id][i][1] << 4
なお、参照画像ブロックの座標（xRL, yRL）が16の倍数となるように、以下の式をさらに適用した座標（xRL´, yRL´）を用いても良い。
【０１５６】
xRL´ = ( ( xRL  >>  4 )  <<  4
yRL´ = ( ( yRL  >>  4 )  <<  4
次に、ブロック単位でレイヤ間動きマッピング情報が指定される場合の動きマッピング方法の動作を説明する。この場合は、図２０で説明したブロック単位のレイヤ間視差ベクトルmfm_disparity_vector_div16[x][y][]を含める符号化データを用いる。参照画像ブロック決定部３１３１は、対象ブロックの座標（xP、yP）に応じて、レイヤ間視差ブロックの座標（P*M/nPicWRL、yP*N/nPicHRL）を導出し、その座標のレイヤ間視差ベクトルmfm_disparity_vector_div16[xP*M/nPicWRL][yP*N/nPicHRL][]から、参照ブロックの座標（xRL, yRL）を、以下の式により算出する。
【０１５７】
xRL = xP + mfm_disparity_vector_div16[xP*M/nPicWRL][yP*N/nPicHRL][0] << 4
yRL = yP + mfm_disparity_vector_div16[xP*M/nPicWRL][yP*N/nPicHRL][1] << 4
なお、nPicWRL × nPicHRLは参照画像の画像サイズである。
【０１５８】
なお、参照画像ブロックの座標（xRL, yRL）が16の倍数となるように、以下の式をさらに適用した座標（xRL´, yRL´）を用いても良い。
【０１５９】
xRL´ = ( ( xRL  >>  4 )  <<  4
yRL´ = ( ( yRL  >>  4 )  <<  4
さらに、複数のレイヤを参照してテンポラル動き情報に関する予測パラメータを生成する方法について説明する。レイヤ間動きマッピング部３１３において、参照画像ブロック決定部３１３１は、レイヤlayer_idである対象ビューにおける対象ブロックに対応する、参照ビューにおける画像ブロックである参照画像ブロックを決定する。具体的には、テンポラルインデックスcollocated_ref_idxにより示される参照画像RefPicListLX[collocated_ref_idx]における、参照ブロックの座標（xRL, yRL）を、以下の式により算出する。
【０１６０】
xRL = xP + mfm_disparity_vector[layer_id][i][0] << 4
yRL = yP + mfm_disparity_vector[layer_id][i][1] << 4
ここで、iは、参照画像RefPicLixtLX[collocated_ref_idx]に対応するレイヤである。      
【０１６１】
なお、参照画像ブロックの座標（xRL, yRL）が16の倍数となるように、以下の式をさらに適用した座標（xRL´, yRL´）を用いても良い。
【０１６２】
xRL´ = ( ( xRL  >>  4 )  <<  4
yRL´ = ( ( yRL  >>  4 )  <<  4
動き情報生成部３１３２は、参照画像ブロック決定部３１３１から入力された参照画像ブロックの座標（xRL, yRL）に対応する予測パラメータを、予測パラメータメモリ３０７から読み出し、それを基に参照画像上の対象ブロックの予測パラメータである、予測モードpredMode、参照ピクチャインデックスrefIdxLX、ベクトルmvLXを生成する。予測パラメータの生成方法は、既に説明したものと同様であるため説明は省略する。
【０１６３】
なお、レイヤ間動きマッピング部３１３は、復号対象レイヤ（対象ビュー）と異なるレイヤが参照画像として用いられる場合に動作させる。具体的には以下のいずれかの方法で動きマッピングの対象となる参照画像を特定し、レイヤ間動きマッピング部３１３を動作させる。
【０１６４】
（参照画像特定方法１）スライスヘッダ上のコロケート情報で指定される参照画像が、対象ビューとは異なる場合に、当該参照画像を動きマッピングの対象とする参照画像とする。コロケート情報は、スライスヘッダに含まれリストＬ０フラグcollocated_from_L0_flagおよび参照インデックスcollocated_ref_idxにより指定されるリストＬ０フラグcollocated_from_L0_flagは、参照画像ブロックが含まれる画像（参照画像）が参照ピクチャリストＬ０から得られるか否かを示し、参照インデックスcollocated_ref_idxは、前記参照画像の、参照ピクチャリスト内の位置（インデックス）を示す。collocated_from_L0_flag、collocated_ref_idxにより指定される参照画像colPicのビューＩＤが、復号対象画像のビューＩＤ（ViewID）と異なる場合、すなわち、以下の式が成り立つ場合に、colPicを、動きマッピングの対象とする参照画像とする。
【０１６５】
ViewID of colPic != ViewID
（参照画像特定方法２）参照ピクチャリストに含まれる参照画像のうち、参照画像のビューＩＤが、復号対象画像のビューＩＤと異なる場合、その参照画像を動きマッピングの対象とする参照画像とする。具体的にはRefPicList0[]、RefPicList1[]の参照画像のViewIDを走査し、復号対象画像のビューＩＤと異なる参照画像を特定する。
【０１６６】
（参照画像特定方法３）レイヤ間参照を示すVPS上の情報direct_dependency_flagで指定される参照画像のビューＩＤが、復号対象画像のビューＩＤと異なる場合、その参照画像を動きマッピングの対象とする参照画像とする。
【０１６７】
レイヤ間動きマッピング部３１３は、上記方法の何れかによって、参照画像を特定しレイヤ間視差情報に基づいて、動きマッピングを行う。
【０１６８】
以上のように、対象ビューと参照ビューとの間のレイヤ間視差情報に基づいて、対象ブロックの参照画像ブロックを決定し、参照画像ブロックの動き情報に基づいて対象ブロックの動き情報を生成することにより、テンポラル動き情報の精度を向上させる効果を得ることができる。また、このように生成した動き情報（予測パラメータ）は、スケーラブル符号化用の拡張を行うことのない既存のマージ予測パラメータ導出部３０３６およびＡＭＶＰ予測パラメータ導出部３０３２の処理を変更することなく動きパラメータメモリ３０７に格納された予測パラメータをそのまま使用できるものである。すなわち、既に存在する対象画像とは異なる画像の動き情報を参照するテンポラル動き情報の処理を利用して、ローレベルの導出手順を変更せずに、効率的に、対象ビュー以外の参照ビューの動き情報を参照できるという効果を奏する。
【０１６９】
（レイヤ間動きマッピング部の別の構成）
レイヤ間動きマッピング部の別の構成として、レイヤ間動きマッピング部３１３Ｂを説明する。レイヤ間動きマッピング部３１３Ｂを含む画像復号装置は、レイヤ間動きマッピング部３１３の代わりに、レイヤ間動きマッピング部３１３Ｂを用いる。
【０１７０】
レイヤ間動きマッピング部３１３Ｂは、VPSのdirect_dependency_flagで指定される参照レイヤにデプスが有る場合に、デプスからレイヤ間視差を導出し、導出したレイヤ間視差を用いて、予測パラメータメモリ３０７に記録された動き情報（動きベクトルおよび参照ピクチャインデックス）を生成する。
【０１７１】
レイヤ間動きマッピング部３１３Ｂは、図２１で説明したレイヤ間動きマッピング情報において、デプス動きマッピングフラグdepth_mfm_enable_flagが１の場合に動作する。
【０１７２】
図１１は、レイヤ間動きマッピング部３１３Ｂの構成を示す図である。図１１に示すように、レイヤ間動きマッピング部３１３Ｂは、参照画像ブロック決定部３１３１、動き情報生成部３１３２、レイヤ間視差導出部３１３３から構成される。  レイヤ間動きマッピング部３１３Ｂは、予測パラメータメモリ３０７に格納されるテンポラル参照ピクチャの予測パラメータを以下の手順で生成する。テンポラル参照ピクチャcolPicの16画素単位の各座標(xP、yP)に対して、レイヤ間視差導出部３１３３においてレイヤ間視差mfm_disparity_vector[xP][yP][]を導出し、導出されたレイヤ間視差mfm_disparity_vector[xP][yP][]を用いて参照画像ブロック決定部３１３１で参照座標(xRL、yRL)を導出し、得られた参照座標(xRL、yRL)に基づいて、動き情報生成部３１３２で予測パラメータを生成する。
【０１７３】
レイヤ間視差導出部３１３３は、参照レイヤとして指定されたレイヤの対象ピクチャと同じ時刻のピクチャ（デプス画像）の画素値を用いて、(xP、yP)におけるレイヤ間視差mfm_disparity_vector[xP][yP][]を導出する。
【０１７４】
レイヤ間視差導出部３１３３は、座標xP、yP及びその周囲のデプス画像の画素値からデプス値の代表値depthを導出する。具体的には、座標xP、yPをベースとするブロックの４点のデプスの以下の式により導出する。
【０１７５】
depth = 0
depth = max (depthPicture[xP][yP], depth)
depth = max (depthPicture[xP+15][yP], depth)
depth = max (depthPicture[xP][yP+15], depth)
depth = max (depthPicture[xP+15][yP+15], depth)
なお、depthPicture[x][y]は、デプス画像の座標x, yにおける画素値である。
【０１７６】
レイヤ間視差導出部３１３３は、デプス値depthに所定の変数を乗じ、所定のオフセットを加え、所定のシフト値で右シフトすることにより、以下の式によりレイヤ間視差の水平成分を導出する。
【０１７７】
mfm_disparity_vector[xP][yP][0] = (depth * cp_scale + (cp_off<<bitDepthY)) >> (bitDepthY + cp_precision - 1)
mfm_disparity_vector[xP][yP][1] = 0
なお、cp_scale、cp_offset、cp_precisionは各々、デプス値から視差ベクトルを導出するために用いるパラメータであり、スライスヘッダ、PPS、SPSの何れかで符号化される。
【０１７８】
なお、デプス値から視差ベクトルを導出する際には、テーブルを利用しても良い。デプス値から視差ベクトルを導出するテーブルをDepthToDisparityBとすると、以下の式で、レイヤ間視差ベクトルを導出する。
【０１７９】
mfm_disparity_vector[xP][yP][0] = DepthToDisparityB[depth]
mfm_disparity_vector[xP][yP][1] = 0
参照画像ブロック決定部３１３１は、参照座標(xRL, yRL)を以下の式で導出する。
【０１８０】
xRL = xP + (mfm_disparity_vector[xP][yP][0]>>4)<<4
yRL = yP + (mfm_disparity_vector[xP][yP][1]>>4)<<4
上記では、レイヤ間視差ベクトルを4ビット右シフトしてから左シフトすることにより、16画素単位の参照座標を導出する。
【０１８１】
動き情報生成部３１３２の動作は既に説明した通りであるので説明を省略する。
【０１８２】
（画像符号化装置の構成）
次に、本実施形態に係る画像符号化装置１１の構成について説明する。図１４は、本実施形態に係る画像符号化装置１１の構成を示すブロック図である。画像符号化装置１１は、予測画像生成部１０１、減算部１０２、ＤＣＴ・量子化部１０３、エントロピー符号化部１０４、逆量子化・逆ＤＣＴ部１０５、加算部１０６、予測パラメータメモリ（予測パラメータ記憶部、フレームメモリ）１０８、参照ピクチャメモリ（参照画像記憶部、フレームメモリ）１０９、符号化パラメータ決定部１１０、予測パラメータ符号化部１１１、視差推定部１１４およびレイヤ間動きマッピング部１１２５を含んで構成される。予測パラメータ符号化部１１１は、インター予測パラメータ符号化部１１２及びイントラ予測パラメータ符号化部１１３を含んで構成される。
【０１８３】
予測画像生成部１０１は、外部から入力されたレイヤ画像Ｔの視点毎の各ピクチャについて、そのピクチャを分割した領域であるブロック毎に予測ピクチャブロックＰを生成する。ここで、予測画像生成部１０１は、予測パラメータ符号化部１１１から入力された予測パラメータに基づいて参照ピクチャメモリ１０９から参照ピクチャブロックを読み出す。予測パラメータ符号化部１１１から入力された予測パラメータとは、例えば、動きベクトル又は変位ベクトルである。予測画像生成部１０１は、符号化対象ブロックを起点として予測された動きベクトル又は変位ベクトルが示す位置にあるブロックの参照ピクチャブロックを読み出す。予測画像生成部１０１は、読み出した参照ピクチャブロックについて複数の予測方式のうちの１つの予測方式を用いて予測ピクチャブロックＰを生成する。予測画像生成部１０１は、生成した予測ピクチャブロックＰを減算部１０２に出力する。なお、予測画像生成部１０１は、既に説明した予測画像生成部３０８と同じ動作であるため予測ピクチャブロックＰの生成の詳細は省略する。
【０１８４】
減算部１０２は、予測画像生成部１０１から入力された予測ピクチャブロックＰの信号値を、外部から入力されたレイヤ画像Ｔの対応するブロックの信号値から画素毎に減算して、残差信号を生成する。減算部１０２は、生成した残差信号をＤＣＴ・量子化部１０３に出力する。
【０１８５】
ＤＣＴ・量子化部１０３は、減算部１０２から入力された残差信号についてＤＣＴを行い、ＤＣＴ係数を算出する。ＤＣＴ・量子化部１０３は、算出したＤＣＴ係数を量子化して量子化係数を求める。ＤＣＴ・量子化部１０３は、求めた量子化係数をエントロピー符号化部１０４及び逆量子化・逆ＤＣＴ部１０５に出力する。
【０１８６】
エントロピー符号化部１０４には、ＤＣＴ・量子化部１０３から量子化係数が入力され、予測パラメータ符号化部１１１から符号化パラメータが入力される。入力される符号化パラメータには、例えば、参照ピクチャインデックスrefIdxLX、ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLX、予測モードpredMode、及びマージインデックスmerge_idx等の符号がある。
【０１８７】
エントロピー符号化部１０４は、入力された量子化係数と符号化パラメータをエントロピー符号化して符号化ストリームTeを生成し、生成した符号化ストリームTeを外部に出力する。
【０１８８】
逆量子化・逆ＤＣＴ部１０５は、ＤＣＴ・量子化部１０３から入力された量子化係数を逆量子化してＤＣＴ係数を求める。逆量子化・逆ＤＣＴ部１０５は、求めたＤＣＴ係数について逆ＤＣＴを行い、復号残差信号を算出する。逆量子化・逆ＤＣＴ部１０５は、算出した復号残差信号を加算部１０６に出力する。
【０１８９】
加算部１０６は、予測画像生成部１０１から入力された予測ピクチャブロックＰの信号値と逆量子化・逆ＤＣＴ部１０５から入力された復号残差信号の信号値を画素毎に加算して、参照ピクチャブロックを生成する。加算部１０６は、生成した参照ピクチャブロックを参照ピクチャメモリ１０９に記憶する。
【０１９０】
予測パラメータメモリ１０８は、予測パラメータ符号化部１１１が生成した予測パラメータを、符号化対象のピクチャ及びブロック毎に予め定めた位置に記憶する。
【０１９１】
参照ピクチャメモリ１０９は、加算部１０６が生成した参照ピクチャブロックを、符号化対象のピクチャ及びブロック毎に予め定めた位置に記憶する。
【０１９２】
符号化パラメータ決定部１１０は、符号化パラメータの複数のセットのうち、１つのセットを選択する。符号化パラメータとは、上述した予測パラメータやこの予測パラメータに関連して生成される符号化の対象となるパラメータである。
【０１９３】
符号化パラメータ決定部１１０は、上記符号化パラメータの複数のセットの各々について情報量の大きさと符号化誤差を示すコスト値を算出する。コスト値は、例えば、符号量と二乗誤差に係数λを乗じた値との和である。符号量は、量子化誤差と符号化パラメータをエントロピー符号化して得られる符号化ストリームTeの情報量である。二乗誤差は、減算部１０２において算出された残差信号の残差値の二乗値についての画素間の総和である。係数λは、予め設定されたゼロよりも大きい実数である。符号化パラメータ決定部１１０は、算出したコスト値が最小となる符号化パラメータのセットを選択する。これにより、エントロピー符号化部１０４は、選択した符号化パラメータのセットを符号化ストリームTeとして外部に出力し、選択されなかった符号化パラメータのセットを出力しない。
【０１９４】
選択される符号化パラメータのセットは、選択する予測方式に依存する。選択の対象となる予測方式は、符号化対象のピクチャがベースビューピクチャである場合には、イントラ予測、動き予測及びマージ予測である。動き予測とは、上述のインター予測のうち、表示時刻間の予測である。マージ予測とは、既に符号化されたブロックであって、符号化対象ブロックから予め定めた範囲内にあるブロックと同一の参照ピクチャブロック及び予測パラメータを用いる予測である。符号化対象のピクチャが非ベースビューピクチャである場合には、選択の対象となる予測方式は、イントラ予測、動き予測、マージ予測、及び変位予測である。変位予測（視差予測）とは、上述のインター予測のうち、別レイヤ画像（別視点画像）間の予測である。
【０１９５】
符号化パラメータ決定部１１０は、選択した予測方式に対応する予測モードpredModeを予測パラメータ符号化部１１１に出力する。
【０１９６】
予測方式として動き予測を選択した場合、符号化パラメータ決定部１１０は、動きベクトルmvLXも併せて出力する。動きベクトルmvLXは、符号化対象ブロックの位置から予測ピクチャブロックＰを生成する際の参照ピクチャブロックの位置までのベクトルを示す。動きベクトルmvLXを示す情報には、参照ピクチャを示す情報（例えば、参照ピクチャインデックスrefIdxLX、ピクチャ順序番号POC）を含み、予測パラメータを表すものであっても良い。
【０１９７】
予測方式として変位予測を選択した場合、符号化パラメータ決定部１１０は、変位ベクトルdvLXも併せて出力する。変位ベクトルdvLXは、符号化対象ブロックの位置から予測ピクチャブロックＰを生成する際の参照ピクチャブロックの位置までのベクトルを示す。変位ベクトルdvLXを示す情報には、参照ピクチャを示す情報（例えば、参照ピクチャインデックスrefIdxLX、ビュー識別子view_id）を含み、予測パラメータを表すものであっても良い。
【０１９８】
予測方式としてマージ予測を選択した場合、符号化パラメータ決定部１１０は、マージインデックスmerge_idxも併せて出力する。
【０１９９】
予測パラメータ符号化部１１１は、符号化パラメータ決定部１１０から入力されたパラメータに基づいて予測ピクチャを生成する際に用いる予測パラメータを導出し、導出した予測パラメータを符号化して符号化パラメータのセットを生成する。予測パラメータ符号化部１１１は、生成した符号化パラメータのセットをエントロピー符号化部１０４に出力する。
【０２００】
予測パラメータ符号化部１１１は、生成した符号化パラメータのセットのうち符号化パラメータ決定部１１０が選択したものに対応する予測パラメータを予測パラメータメモリ１０８に記憶する。
【０２０１】
予測パラメータ符号化部１１１は、符号化パラメータ決定部１１０から入力された予測モードpredModeがインター予測モードを示す場合、インター予測パラメータ符号化部１１２を動作させる。予測パラメータ符号化部１１１は、予測モードpredModeがイントラ予測モードを示す場合、イントラ予測パラメータ符号化部１１３を動作させる。
【０２０２】
インター予測パラメータ符号化部１１２は、符号化パラメータ決定部１１０から入力された予測パラメータに基づいてインター予測パラメータを導出する。インター予測パラメータ符号化部１１２は、インター予測パラメータを導出する構成として、インター予測パラメータ復号部３０３（図５等、参照）がインター予測パラメータを導出する構成と同一の構成を含む。インター予測パラメータ符号化部１１２の構成については、後述する。
【０２０３】
イントラ予測パラメータ符号化部１１３は、符号化パラメータ決定部１１０から入力された予測モードpredModeが示すイントラ予測モードIntraPredModeをイントラ予測パラメータのセットとして定める。
【０２０４】
視差推定部１１４は、入力される視点画像と参照ピクチャメモリ１０９内の参照ピクチャから、視点画像間の視差を表す視差ベクトルmfm_disparity_vector_div16を算出し、予測パラメータ符号化部１１１およびレイヤ間動きマッピング部１１２５へ出力する。より詳細には、視差推定部１１４は、対象レイヤと参照レイヤの同時刻のピクチャ間で単位領域（画像ブロック）ごとに画素値の比較を行い、誤差の最も小さい画像ブロック間の空間的な位置の差を、対象画像ブロックの視差ベクトルmfm_disparity_vectorとする。この時、各レイヤを構成する各画像ブロックの代表値を出力する視差ベクトルとする。代表値は、最頻値とすることが有効であるが、最頻値の代わりに、画像ブロック単位の視差ベクトルの中央値、平均値などを算出し、該当するレイヤの視差ベクトルとして出力してもよい。また、撮影位置（カメラ位置）から視点画像間の視差を算出し、その視差を視差ベクトルmfm_disparity_vectorとして出力してもよい。導出された視差ベクトルmfm_disparity_vectorを所定の数（ここでは１６）で割り、レイヤ間視差ベクトルmfm_disparity_vector_div16を導出する。
【０２０５】
予測パラメータ符号化部１１１は、視差推定部１１４から得られたレイヤ間視差ベクトルmfm_disparity_vector_div16を符号化ストリームＴｅに符号化する。レイヤ間視差ベクトルmfm_disparity_vector_div16は、スライスレイヤ単位、ピクチャレイヤ単位、シーケンスレイヤ単位のいずれかの単位で出力する。
【０２０６】
レイヤ間動きマッピング部１１２５は、画像復号装置におけるレイヤ間動きマッピング部３１３と同等の構成を有する。レイヤ間動きマッピング部１１２５は、参照ピクチャ上の予測パラメータを、視差推定部１１４から入力されたレイヤ間視差ベクトルに基づいて生成する。生成した動き情報（予測パラメータ）は、予測パラメータメモリ１０８へ記憶する。
【０２０７】
なお、本実施形態では、視差推定部が画像符号化装置１１に含まれる構成としたが、視差推定部は画像符号化装置１１に含まれない構成でもよい。その場合、視差推定部は、画像符号化装置１１の外部に備えられ複数の視点画像を格納可能なピクチャメモリを利用して、視点画像間の視差を検出する。視差を検出する方法は、前述の視差推定部１１４と同様である。
【０２０８】
インター予測パラメータ符号化部１１２の構成について説明する。インター予測パラメータ符号化部１１２は、画像復号装置におけるインター予測パラメータ復号部３０３に対応する手段である。
【０２０９】
図１５は、本実施形態に係るインター予測パラメータ符号化部１１２の構成を示す概略図である。インター予測パラメータ符号化部１１２は、マージ予測パラメータ導出部１１２１、ＡＭＶＰ予測パラメータ導出部１１２２、減算部１１２３、インター予測パラメータ符号化制御部１１２４を含んで構成される。
【０２１０】
マージ予測パラメータ導出部１１２１は、上述のマージ予測パラメータ導出部３０３６（図７参照）と同様の構成を有する。
【０２１１】
マージ予測パラメータ導出部１１２１には、符号化パラメータ決定部１１０から入力される予測モードpredModeがマージ予測モードを示す場合、符号化パラメータ決定部１１０からマージインデックスmerge_idxが入力される。マージインデックスmerge_idxは、インター予測パラメータ符号化制御部１１２４に出力される。マージ予測パラメータ導出部１１２１は、マージ候補のうちマージインデックスmerge_idxが示す参照ブロックの参照ピクチャインデックスrefIdxLX、ベクトルmvLXを予測パラメータメモリ１０８から読み出す。マージ候補とは、符号化対象となる符号化対象ブロックから予め定めた範囲にある参照ブロック（例えば、符号化対象ブロックの左下端、左上端、右上端に接する参照ブロックのうち）であって、符号化処理が完了した参照ブロックである。
【０２１２】
ＡＭＶＰ予測パラメータ導出部１１２２は、上述のＡＭＶＰ予測パラメータ導出部３０３２（図８参照）と同様の構成を有する。
【０２１３】
ＡＭＶＰ予測パラメータ導出部１１２２には、符号化パラメータ決定部１１０から入力される予測モードpredModeがインター予測モードを示す場合、符号化パラメータ決定部１１０からベクトルmvLXが入力される。ＡＭＶＰ予測パラメータ導出部１１２２は、入力されたベクトルmvLXに基づいて予測ベクトルmvpLXを導出する。ＡＭＶＰ予測パラメータ導出部１１２２は、導出した予測ベクトルmvpLXを減算部１１２３に出力する。なお、参照ピクチャインデックスｒｅｆＩｄｘ及びベクトルインデックスmvp_LX_idxは、インター予測パラメータ符号化制御部１１２４に出力される。
【０２１４】
減算部１１２３は、符号化パラメータ決定部１１０から入力されたベクトルmvLXから、ＡＭＶＰ予測パラメータ導出部１１２２から入力された予測ベクトルmvpLXを減算して差分ベクトルmvdLXを生成する。差分ベクトルmvdLXはインター予測パラメータ符号化制御部１１２４に出力する。
【０２１５】
インター予測パラメータ符号化制御部１１２４は、インター予測に関連する符号（シンタックス要素）の符号化をエントロピー符号化部１０４に指示し、符号化データに含める符号（シンタックス要素）を例えば、分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測フラグinter_pred_idc、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXを符号化する。
【０２１６】
インター予測パラメータ符号化制御部１１２４は、図示は省略するが、マージインデックス符号化部、ベクトル候補インデックス符号化部、分割モード符号化部、マージフラグ符号化部、インター予測フラグ符号化部、参照ピクチャインデックス符号化部、ベクトル差分符号化部を含んで構成される。分割モード符号化部、マージフラグ符号化部、マージインデックス符号化部、インター予測フラグ符号化部、参照ピクチャインデックス符号化部、ベクトル候補インデックス符号化部、ベクトル差分符号化部は各々、分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測フラグinter_pred_idc、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXを符号化する。
【０２１７】
インター予測パラメータ符号化制御部１１２４は、予測モードpredModeがマージ予測モードを示す場合には、符号化パラメータ決定部１１０から入力されたマージインデックスmerge_idxをエントロピー符号化部１０４に出力する。
【０２１８】
インター予測パラメータ符号化制御部１１２４は、予測モードpredModeがインター予測モードを示す場合には、符号化パラメータ決定部１１０から入力された参照ピクチャインデックスrefIdxLX及びベクトルインデックスmvp_LX_idx、減算部１１２３から入力された差分ベクトルmvdLXを、エントロピー符号化部１０４に出力する。
【０２１９】
以上のように、レイヤ間動きマッピング部１１２５を用いることにより、対象ビュー（例えば非ベースビュー）と参照ビュー（例えばベースビュー）との間のレイヤ間視差情報に基づいて、対象ブロックの参照画像ブロックを決定し、参照画像ブロックの動き情報に基づいて対象ブロックの動き情報を生成し、予測パラメータメモリ１０８に格納されたテンポラル動き情報を生成する。これにより、テンポラル動き情報の精度を向上させる効果を得ることができる。また、このように生成した動き情報（予測パラメータ）は、テンポラリ動き情報を用いる単一レイヤ用の規格で定義されたマージ予測パラメータ導出部１１２１およびＡＭＶＰ予測パラメータ導出部１１２２の処理を変更せずにそのまま使用できるものである。スケーラブル拡張用にローレベルの処理であるマージやＡＭＶＰにおける予測パラメータ導出処理を変更せずに、テンポラル動き情報の精度を向上させる効果を得ることができる。
【０２２０】
なお、上述した実施形態における画像符号化装置１１、画像復号装置３１の一部、例えば、エントロピー復号部３０１、予測パラメータ復号部３０２、予測画像生成部１０１、ＤＣＴ・量子化部１０３、エントロピー符号化部１０４、逆量子化・逆ＤＣＴ部１０５、符号化パラメータ決定部１１０、予測パラメータ符号化部１１１、エントロピー復号部３０１、予測パラメータ復号部３０２、予測画像生成部３０８、逆量子化・逆ＤＣＴ部３１１をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、画像符号化装置１１や画像復号装置３１に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んで良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【０２２１】
また、上述した実施形態における画像符号化装置１１、画像復号装置３１の一部、または全部を、ＬＳＩ（Large Scale Integration）等の集積回路として実現しても良い。画像符号化装置１１、画像復号装置３１の各機能ブロックは個別にプロセッサ化しても良いし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
【０２２２】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【産業上の利用可能性】
【０２２３】
本発明は、画像データが符号化された符号化データを復号する画像復号装置、および、画像データが符号化された符号化データを生成する画像符号化装置に好適に適用することができる。また、画像符号化装置によって生成され、画像復号装置によって参照される符号化データのデータ構造に好適に適用することができる。
【符号の説明】
【０２２４】
１…画像伝送システム
１１…画像符号化装置
１０１…予測画像生成部
１０２…減算部
１０３…ＤＣＴ・量子化部
１０４…エントロピー符号化部
１０５…逆量子化・逆ＤＣＴ部
１０６…加算部
１０８…予測パラメータメモリ（フレームメモリ）
１０９…参照ピクチャメモリ（フレームメモリ）
１１０…符号化パラメータ決定部
１１１…予測パラメータ符号化部
１１２…インター予測パラメータ符号化部
１１２１…マージ予測パラメータ導出部（動き情報導出部）
１１２２…ＡＭＶＰ予測パラメータ導出部（動き情報導出部）
１１２３…減算部
１１２４…インター予測パラメータ符号化制御部
１１２５…レイヤ間動きマッピング部
１１３…イントラ予測パラメータ符号化部
１１４…視差推定部
２１…ネットワーク
３１…画像復号装置
３０１…エントロピー復号部
３０２…予測パラメータ復号部
３０３…インター予測パラメータ復号部
３０３１…インター予測パラメータ復号制御部
３０３２…ＡＭＶＰ予測パラメータ導出部
３０３５…加算部
３０３６…マージ予測パラメータ導出部
３０３６１…マージ候補導出部
３０３６１１…マージ候補格納部
３０３６１３…基本マージ候補導出部
３０３６１３１…空間マージ候補導出部
３０３６１３２…時間マージ候補導出部
３０３６１３３…結合マージ候補導出部
３０３６１３４…ゼロマージ候補導出部
３０３６２…マージ候補選択部
３０３７…レイヤ間視差情報抽出部
３０４…イントラ予測パラメータ復号部
３０６…参照ピクチャメモリ（フレームメモリ）
３０７…予測パラメータメモリ（フレームメモリ）
３０８…予測画像生成部
３０９…インター予測画像生成部
３１０…イントラ予測画像生成部
３１１…逆量子化・逆ＤＣＴ部
３１２…加算部
３１３…レイヤ間動きマッピング部（動き情報割り当て部）
３１３１…参照画像ブロック決定部
３１３２…動き情報生成部
３１３３…レイヤ間視差導出部
３１３Ｂ…レイヤ間動きマッピング部
４１…画像表示装置
【図１】
2014204327.tif 000003
【図２】
2014204327.tif 000004
【図３】
2014204327.tif 000005
【図４】
2014204327.tif 000006
【図５】
2014204327.tif 000007
【図６】
2014204327.tif 000008
【図７】
2014204327.tif 000009
【図８】
2014204327.tif 000010
【図９】
2014204327.tif 000011
【図１０】
2014204327.tif 000012
【図１１】
2014204327.tif 000013
【図１２】
2014204327.tif 000014
【図１３】
2014204327.tif 000015
【図１４】
2014204327.tif 000016
【図１５】
2014204327.tif 000017
【図１６】
2014204327.tif 000018
【図１７】
2014204327.tif 000019
【図１８】
2014204327.tif 000020
【図１９】
2014204327.tif 000021
【図２０】
2014204327.tif 000022
【図２１】
2014204327.tif 000023