(57)【要約】【課題】レイヤごとに異なる符号化方式で符号化されている符号化データの符号化効率を向上させる。【解決手段】第１レイヤの復号に用いる動きベクトルを復号する可変長復号部１３と、復号された動きベクトルに基づいて、中間的動きベクトルを導出する動き情報正規化部２２と、導出された中間的動きベクトルを参照して、第２レイヤの復号に用いる動きベクトルを導出する動き情報変換処理部２０と、を備えている。【選択図】図１
2013232775.tif 000002
【特許請求の範囲】
【請求項１】
互いに符号化方式の異なる複数のレイヤから構成される符号化データを復号する動画像復号装置であって、
上記複数のレイヤのうちの第１レイヤに含まれる動きベクトル情報を参照して、当該第１レイヤの復号に用いる動きベクトルを復号する第１レイヤ動きベクトル復号手段と、
上記第１レイヤ動きベクトル復号手段によって復号された動きベクトルに基づいて、中間的動きベクトルを導出する中間的動きベクトル導出手段と、
上記中間的動きベクトル導出手段によって導出された中間的動きベクトルを参照して、上記複数のレイヤのうちの第２レイヤの復号に用いる動きベクトルを導出する第２レイヤ動きベクトル導出手段と、
を備えていることを特徴とする動画像復号装置。
【請求項２】
上記中間的動きベクトル導出手段は、上記第１レイヤ動きベクトル復号手段によって復号された動きベクトルを、所定フレーム離れた値に変換して中間的動きベクトルとすることを特徴とする請求項１に記載の動画像復号装置。
【請求項３】
上記第１レイヤには、１フレームについて複数のフィールドを用いて導出された動きベクトルが含まれており、
上記中間的動きベクトル導出手段は、上記第２レイヤの復号対象のフレームに用いる動きベクトルを、処理対象フレームに対応する第１レイヤのフレームにおける複数のフィールドのうち、上記処理対象フレームに対応するフィールドを用いて導出された動きベクトルに基づいて、上記中間的動きベクトルを導出することを特徴とする請求項１または２に記載の動画像復号装置。
【請求項４】
上記中間的動きベクトル導出手段は、上記第２レイヤの復号対象のフレームに用いる動きベクトルを、処理対象フレームに対応する第１レイヤのフレームにおける動きベクトルに基づいて、上記中間的動きベクトルを導出することを特徴とする請求項１または２に記載の動画像復号装置。
【請求項５】
上記中間的動きベクトル導出手段は、上記第２レイヤの復号対象のフレームに対応する上記第１レイヤのフレームにおいて、上記第２レイヤで必要とする予測方向の動きベクトルが含まれていない場合、符号化順序で、第１レイヤの該フレームの直近の参照フレームに含まれる動きベクトルに基づいて、上記中間的動きベクトルを導出することを特徴とする請求項１または２に記載の動画像復号装置。
【請求項６】
互いに符号化方式の異なる複数のレイヤから構成される符号化データを復号する動画像復号装置であって、
上記複数のレイヤのうちの第１レイヤに含まれる動きベクトル情報を参照して、当該第１レイヤの復号に用いる動きベクトルを復号する第１レイヤ動きベクトル復号手段と、
上記第１レイヤ動きベクトル復号手段によって復号された動きベクトルおよび第２レイヤの参照フレームの参照関係に基づいて、上記複数のレイヤのうちの第２レイヤの復号に用いる動きベクトルを導出する第２レイヤ動きベクトル導出手段と、
を備えていることを特徴とする動画像復号装置。
【請求項７】
上記第１レイヤには、１フレームについて複数のフィールドを用いて導出された動きベクトルが含まれており、
上記第２レイヤの動きベクトル導出手段は、上記第２レイヤの復号対象のフレームに用いる動きベクトルを、処理対象フレームに対応する第１レイヤのフレームにおける複数のフィールドのうち、上記処理対象フレームに対応するフィールドを用いて導出された動きベクトルに基づいて、上記第２レイヤの動きベクトルを導出することを特徴とする請求項６に記載の動画像復号装置。
【請求項８】
上記第２レイヤの動きベクトル導出手段は、上記第２レイヤの復号対象のフレームに用いる動きベクトルを、処理対象フレームに対応する第１レイヤのフレームにおける動きベクトルに基づいて、上記第２レイヤの動きベクトルを導出することを特徴とする請求項６に記載の動画像復号装置。
【請求項９】
互いに符号化方式の異なる複数のレイヤで構成される符号化データであって、それぞれのレイヤに原画像と予測画像との差分である予測残差を含む符号化データを生成する動画像符号化装置において、
第１レイヤの復号に用いる動きベクトルに基づいて、中間的動きベクトルを導出する中間的動きベクトル導出手段と、
上記中間的動きベクトル導出手段によって導出された中間的動きベクトルを参照して、上記第２レイヤの符号化データを生成するための上記予測画像の生成に用いる動きベクトルを導出する第２レイヤ動きベクトル導出手段と、を備えていることを特徴とする動画像符号化装置。
【請求項１０】
互いに符号化方式の異なる複数のレイヤで構成される符号化データであって、それぞれのレイヤに原画像と予測画像との差分である予測残差を含む符号化データを生成する動画像符号化装置において、
第１レイヤの復号に用いる動きベクトルおよび第２レイヤの参照フレームの参照関係に基づいて、上記第２レイヤの符号化データを生成するための上記予測画像の生成に用いる動きベクトルを導出する第２レイヤ動きベクトル導出手段を備えていることを特徴とする動画像符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、階層符号化された符号化データを復号する動画像復号装置、および画像を階層符号化して符号化データを生成する動画像符号化装置に関するものである。
【背景技術】
【０００２】
動画像を効率的に伝送または記録するために、動画像を符号化することによって符号化データを生成する動画像符号化装置（符号化装置）、および、当該符号化データを復号することによって復号画像を生成する動画像復号装置（復号装置）が用いられている。
【０００３】
具体的な動画像符号化方式としては、必要なデータレートに従って、動画像を階層的に符号化する階層符号化が用いられている。階層符号化の方式としては、ＩＳＯ／ＩＥＣとＩＴＵ−Ｔの標準としてＨ．２６４／ＡＶＣ  Ａｎｎｅｘ  Ｇ  Ｓｃａｌａｂｌｅ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（ＳＶＣ）が挙げられる（非特許文献１）。
【０００４】
ＳＶＣでは、符号化データを、基本レイヤ（下位レイヤ）と拡張レイヤ（上位レイヤ）との２つのレイヤ（階層）とすることが可能である。これにより、例えば、復号装置において、基本レイヤのみを参照した低品質再生と、基本レイヤ及び拡張レイヤを参照した高品質再生とを実現することができる。
【０００５】
また、ＳＶＣでは空間スケーラビリティ、時間スケーラビリティ、ＳＮＲスケーラビリティをサポートしている。例えば、空間スケーラビリティの場合、原画像から所望の解像度にダウンサンプリングした画像を下位レイヤとしてＨ．２６４／ＡＶＣで符号化する。上位レイヤではレイヤ間の冗長性を除去するためにレイヤ間予測を行う。レイヤ間予測としては、動き予測に関する情報を同時刻の下位レイヤの情報から予測する動き情報予測、あるいは同時刻の下位レイヤの復号画像をアップサンプリングした画像から予測するレイヤ間イントラ予測がある（非特許文献２）。
【０００６】
また、非特許文献３には、符号化方式について、ＨＭ（HEVC TestModel）ソフトウェアに採用されている方式が記載されている。
【０００７】
また、インターネット等のネットワーク網の発達により、放送と通信、ユニキャスト通信とマルチキャスト通信など、複数の経路、特に異種ネットワークを使ってコンテンツデータをデータ配信するハイブリッド伝送（Hybrid Delivery）と呼ばれる伝送方法も提案されている。ハイブリッド伝送により配信されたデータを受信した受信端末は、複数の経路から受信したデータを、同期、重畳、合成等して１つのデータとして画面に表示することが可能である。ハイブリッド伝送を利用することで、スケーラブル符号化（ＳＶＣ）された動画像について、基本レイヤデータを放送で、拡張レイヤデータは通信網を介してハイブリッド伝送するということも可能になる。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】ISO/IEC 14496-2:2004 （２００４年６月１日）
【非特許文献２】ITU‐T H.264 Advanced video coding for generic audiovisual services（２０１０年３月）
【非特許文献３】Draft ISO/IEC 23008-HEVC : 201x (E):High efficiency video coding (HEVC) text specification draft 6
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、従来のスケーラブル符号化（ＳＶＣ）では、レイヤ毎で異なる符号化方式を利用する場合、各レイヤの符号化・復号を独立に行う構成か、もしくは拡張レイヤの符号化方式を、基本レイヤの符号化方式に依存した構成でしか符号化を行うことができない。換言すれば、基本レイヤと拡張レイヤとで符号化方式が異なる場合、基本レイヤの符号化に用いた符号化情報を、拡張レイヤの符号化に用いることができない。
【００１０】
例えば、既存の放送システムでは、符号化方式として、ＭＰＥＧ―２、またはＨ．２６４／ＡＶＣが採用されているが、基本レイヤについて、ＭＰＥＧ―２、またはＨ．２６４／ＡＶＣにより符号化した場合に、拡張レイヤでＭＰＥＧ―２、またはＨ．２６４／ＡＶＣとは異なる符号化方式、例えばＨＥＶＣによる符号化を行うときは、基本レイヤとは独立した構成により、符号化・復号を行う必要がある。
【００１１】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、スケーラブル符号化において、基本レイヤの符号化方式と拡張レイヤの符号化方式とが異なっていても、拡張レイヤの符号化において、基本レイヤの符号化に用いた符号化情報の利用可能な動画像復号装置等を実現することにある。
【課題を解決するための手段】
【００１２】
上記課題を解決するために、本発明に係る動画像復号装置は、互いに符号化方式の異なる複数のレイヤから構成される符号化データを復号する動画像復号装置であって、上記複数のレイヤのうちの第１レイヤに含まれる動きベクトル情報を参照して、当該第１レイヤの復号に用いる動きベクトルを復号する第１レイヤ動きベクトル復号手段と、上記第１レイヤ動きベクトル復号手段によって復号された動きベクトルに基づいて、中間的動きベクトルを導出する中間的動きベクトル導出手段と、上記中間的動きベクトル導出手段によって導出された中間的動きベクトルを参照して、上記複数のレイヤのうちの第２レイヤの復号に用いる動きベクトルを導出する第２レイヤ動きベクトル導出手段と、を備えていることを特徴としている。
【００１３】
上記の構成によれば、第１レイヤに含まれる動きベクトルに基づいて、第２レイヤ動きベクトルを導出するので、符号量が削減され、符号化効率を向上させることができる。また、上記中間的動きベクトル導出手段を備えているので、上記第１レイヤおよび上記第２イヤとして、様々な符号化方式が用いられる場合に対応することができる。
【００１４】
本発明に係る動画像復号装置では、上記中間的動きベクトル導出手段は、上記第１レイヤ動きベクトル復号手段によって復号された動きベクトルを、所定フレーム離れた値に変換して中間的動きベクトルとするものであってもよい。
【００１５】
上記の構成によれば、第１レイヤの動きベクトルを、第１レイヤの符号化方式に依存しない形式に変換するので、第２レイヤの符号化方式が第１レイヤに依存しないものであっても、第２にレイヤの復号に、第１レイヤの動きベクトルを利用することができる。これにより、符号化効率を向上させることができる。
【００１６】
ここで、所定フレーム離れた値に変換するとは、復号された動きベクトルの長さを、所定フレーム数（例えば、１フレーム）、もしくは所定フィールド（例えば、１フィールド）に対応する時間的距離分の値に変換することをいう。
【００１７】
本発明に係る動画像復号装置では、上記第１レイヤには、１フレームについて複数のフィールドを用いて導出された動きベクトルが含まれており、上記中間的動きベクトル導出手段は、上記第２レイヤの復号対象のフレームに用いる動きベクトルを、該処理対象フレームに対応する第１レイヤのフレームにおける複数のフィールドのうち、上記処理対象フレームに対応するフィールドを用いて導出された動きベクトルに基づいて、上記中間的動きベクトルを導出するものであってもよい。
【００１８】
上記の構成によれば、第１レイヤにおいて、１フレームについて複数のフィールドを用いて導出された動きベクトルが含まれていても、対応するフィールドから動きベクトルを導出することができる。これにより、適切に動きベクトルを導出することができる。
【００１９】
本発明に係る動画像復号装置では、上記中間的動きベクトル導出手段は、上記第２レイヤの復号対象のフレームに用いる動きベクトルを、該処理対象フレームに対応する第１レイヤのフレームにおける動きベクトルに基づいて、上記中間的動きベクトルを導出するものであってもよい。
【００２０】
上記の構成によれば、処理対象のフレームに対応するフレームから動きベクトルを導出することができる。これにより、適切に動きベクトルを導出することができる。
【００２１】
本発明に係る動画像復号装置では、上記中間的動きベクトル導出手段は、上記第２レイヤの復号対象のフレームに対応する上記第１レイヤのフレームにおいて上記第２レイヤで必要とする予測方向の動きベクトルが含まれていない場合、符号化順序で、第１レイヤの該フレームの直近の参照フレームに含まれる動きベクトルに基づいて、上記中間的動きベクトルを導出するものであってもよい。
【００２２】
上記の構成によれば、処理対象のフレームに対応するフレームに動きベクトルが含まれていない場合であっても、適切に動きベクトルを導出することができる。
【００２３】
上記課題を解決するために、本発明に係る動画像復号装置は、互いに符号化方式の異なる複数のレイヤから構成される符号化データを復号する動画像復号装置であって、上記複数のレイヤのうちの第１レイヤに含まれる動きベクトル情報を参照して、当該第１レイヤの復号に用いる動きベクトルを復号する第１レイヤ動きベクトル復号手段と、上記第１レイヤ動きベクトル復号手段によって復号された動きベクトルおよび第２レイヤの参照フレームの参照関係に基づいて、上記複数のレイヤのうちの第２レイヤの復号に用いる動きベクトルを導出する第２レイヤ動きベクトル導出手段と、を備えていることを特徴としている。
【００２４】
上記の構成によれば、第１レイヤに含まれる動きベクトルに基づいて、第２レイヤ動きベクトルを導出するので、符号量が削減され、符号化効率を向上させることができる。
【００２５】
本発明に係る動画像復号装置では、上記第１レイヤには、１フレームについて複数のフィールドを用いて導出された動きベクトルが含まれており、上記第２レイヤ動きベクトル導出手段は、上記第２レイヤの復号対象のフレームに用いる動きベクトルを、該処理対象フレームに対応する第１レイヤのフレームにおける複数のフィールドのうち、上記処理対象フレームに対応するフィールドを用いて導出された動きベクトルに基づいて、上記第２レイヤ動きベクトルを導出するものであってもよい。
【００２６】
上記の構成によれば、第１レイヤにおいて、１フレームについて複数のフィールドを用いて導出された動きベクトルが含まれていても、対応するフィールドから動きベクトルを導出することができる。これにより、適切に動きベクトルを導出することができる。
【００２７】
本発明に係る動画像復号装置では、上記第２レイヤ動きベクトル導出手段は、上記第２レイヤの復号対象のフレームに用いる動きベクトルを、該処理対象フレームに対応する第１レイヤのフレームにおける動きベクトルに基づいて、上記第２レイヤ動きベクトルを導出するものであってもよい。
【００２８】
上記の構成によれば、処理対象のフレームに対応するフレームから動きベクトルを導出することができる。これにより、適切に動きベクトルを導出することができる。
【００２９】
上記課題を解決するために、本発明に係る動画像符号化装置は、互いに符号化方式の異なる複数のレイヤで構成される符号化データであって、それぞれのレイヤに原画像と予測画像との差分である予測残差を含む符号化データを生成する動画像符号化装置において、第１レイヤの復号に用いる動きベクトルに基づいて、中間的動きベクトルを導出する中間的動きベクトル導出手段と、上記中間的動きベクトル導出手段によって導出された中間的動きベクトルを参照して、上記第２レイヤの符号化データを生成するための上記予測画像の生成に用いる動きベクトルを導出する第２レイヤ動きベクトル導出手段と、を備えていることを特徴としている。
【００３０】
上記の構成によれば、第１レイヤの復号に用いる動きベクトルに基づいて、第２レイヤの動きベクトルを導出するので、符号量を削減し、符号化効率を向上させることができる。また、中間的動きベクトルを導出することにより、第１レイヤおよび第２レイヤとして、様々な符号化方式が用いられる場合に対応することができる。
【００３１】
上記課題を解決するために、本発明に係る動画像符号化装置は、互いに符号化方式の異なる複数のレイヤで構成される符号化データであって、それぞれのレイヤに原画像と予測画像との差分である予測残差を含む符号化データを生成する動画像符号化装置において、第１レイヤの復号に用いる動きベクトルおよび第２レイヤの参照フレームの参照関係に基づいて、上記第２レイヤの符号化データを生成するための上記予測画像の生成に用いる動きベクトルを導出する第２レイヤ動きベクトル導出手段を備えていることを特徴としている。
【００３２】
上記の構成によれば、第１レイヤに含まれる動きベクトルに基づいて、第２レイヤ動きベクトルを導出するので、符号量を削減し、符号化効率を向上させることができる。
【発明の効果】
【００３３】
以上のように、本発明に係る動画像復号装置は、互いに符号化方式の異なる複数のレイヤから構成される符号化データを復号する動画像復号装置であって、上記複数のレイヤのうちの第１レイヤに含まれる動きベクトル情報を参照して、当該第１レイヤの復号に用いる動きベクトルを復号する第１レイヤ動きベクトル復号手段と、上記第１レイヤ動きベクトル復号手段によって復号された動きベクトルに基づいて、中間的動きベクトルを導出する中間的動きベクトル導出手段と、上記中間的動きベクトル導出手段によって導出された中間的動きベクトルを参照して、上記複数のレイヤのうちの第２レイヤの復号に用いる動きベクトルを導出する第２レイヤ動きベクトル導出手段と、を備えている構成である。
【００３４】
上記の構成によれば、第１レイヤに含まれる動きベクトルに基づいて、第２レイヤ動きベクトルを導出するので、符号量が削減され、符号化効率を向上させることができるという効果を奏する。また、上記中間的動きベクトル導出手段を備えているので、上記第１レイヤおよび上記第２レイヤとして、様々な符号化方式が用いられる場合に対応することができるという効果を奏する。
【００３５】
また、本発明に係る動画像復号装置は、互いに符号化方式の異なる複数のレイヤから構成される符号化データを復号する動画像復号装置であって、上記複数のレイヤのうちの第１レイヤに含まれる動きベクトル情報を参照して、当該第１レイヤの復号に用いる動きベクトルを復号する第１レイヤ動きベクトル復号手段と、上記第１レイヤ動きベクトル復号手段によって復号された動きベクトルに基づいて、上記複数のレイヤのうちの第２レイヤの復号に用いる動きベクトルを導出する第２レイヤ動きベクトル導出手段と、を備えている構成である。
【００３６】
上記の構成によれば、第１レイヤに含まれる動きベクトルに基づいて、第２レイヤ動きベクトルを導出するので、符号量が削減され、符号化効率を向上させることができるという効果を奏する。
【００３７】
また、上記課題を解決するために、本発明に係る動画像符号化装置は、互いに符号化方式の異なる複数のレイヤで構成される符号化データであって、それぞれのレイヤに原画像と予測画像との差分である予測残差を含む符号化データを生成する動画像符号化装置において、第１レイヤの復号に用いる動きベクトルに基づいて、中間的動きベクトルを導出する中間的動きベクトル導出手段と、上記中間的動きベクトル導出手段によって導出された中間的動きベクトルを参照して、上記第２レイヤの符号化データを生成するための上記予測画像の生成に用いる動きベクトルを導出する第２レイヤ動きベクトル導出手段と、を備えている構成である。
【００３８】
上記の構成によれば、第１レイヤの復号に用いる動きベクトルに基づいて、第２レイヤの動きベクトルを導出するので、符号量を削減し、符号化効率を向上させることができるという効果を奏する。また、中間的動きベクトルを導出することにより、第１レイヤおよび第２レイヤとして、様々な符号化方式が用いられる場合に対応することができるという効果を奏する。
【００３９】
また、本発明に係る動画像符号化装置は、互いに符号化方式の異なる複数のレイヤで構成される符号化データであって、それぞれのレイヤに原画像と予測画像との差分である予測残差を含む符号化データを生成する動画像符号化装置において、第１レイヤの復号に用いる動きベクトルに基づいて、上記第２レイヤの符号化データを生成するための上記予測画像の生成に用いる動きベクトルを導出する第２レイヤ動きベクトル導出手段を備えている構成である。
【００４０】
上記の構成によれば、第１レイヤに含まれる動きベクトルに基づいて、第２レイヤ動きベクトルを導出するので、符号量を削減し、符号化効率を向上させることができるという効果を奏する。
【図面の簡単な説明】
【００４１】
【図１】本発明の実施の形態に係る動画像復号装置の要部構成を示すブロック図である。
【図２】本発明の概要を説明するための図である。
【図３】本発明の実施形態に係る符号化データの構成を説明するための図であって、（ａ）は、シーケンスＳＥＱを規定するシーケンスレイヤを示しており、（ｂ）は、ピクチャＰＩＣＴを規定するピクチャレイヤを示しており、（ｃ）は、スライスＳを規定するスライスレイヤを示しており、（ｄ）は、ツリーブロック（Tree block）ＴＢＬＫを規定するツリーブロックレイヤを示しており、（ｅ）は、ツリーブロックＴＢＬＫに含まれる符号化単位（Coding Unit；ＣＵ）を規定するＣＵレイヤを示している。
【図４】本発明の実施形態に係る符号化データの構成を示す図であって、（ａ）は、符号化データのピクチャレイヤの構成を示す図であり、（ｂ）は、ピクチャレイヤに含まれるスライスレイヤの構成を示す図であり、（ｃ）は、スライスレイヤに含まれるマクロブロックレイヤの構成を示す図であり、（ｄ）は、マクロブロックレイヤに含まれるブロックレイヤの構成を示す図である。
【図５】フレーム構造における、フィールド予測とフレーム予測とを説明するための図であり、（ａ）はフィールド予測を示す図であり、（ｂ）はフレーム予測を示す図である。
【図６】動画像復号装置のインター予測部の要部構成を示すブロック図である。
【図７】動きベクトルを導出する方法を説明するための図である。
【図８】動きベクトルを導出する方法を説明するための図である。
【図９】動きベクトルを導出する方法を説明するための図である。
【図１０】動きベクトルを導出する方法を説明するための図である。
【図１１】動き情報蓄積部に蓄積される動き情報を示す図である。
【図１２】拡張レイヤの復号処理の流れを示すフローチャートである。
【図１３】インター予測処理の流れを示すフローチャートである。
【図１４】動き補償パラメータを導出するためのテーブルを示す図である。
【図１５】中間動き情報導出処理の流れを示すフローチャートである。
【図１６】レイヤ間動き推定処理の流れを示すフローチャートである。
【図１７】本発明の別の実施形態に係る動画像復号装置の要部構成を示すブロック図である。
【図１８】動きベクトルを導出する方法を説明するための図である。
【図１９】動きベクトルを導出する方法を説明するための図である。
【図２０】動き情報蓄積部に蓄積される動き情報を示す図である。
【図２１】本発明の実施の形態に係る動画像符号化装置の要部構成を示すブロック図である。
【図２２】動画像符号化装置の動き予測／補償部の要部構成を示すブロック図である。
【図２３】本発明の別の実施の形態に係る動画像符号化装置の要部構成を示すブロック図である。
【図２４】上記動画像符号化装置を搭載した送信装置、および、上記動画像復号装置を搭載した受信装置の構成について示した図である。（ａ）は、動画像符号化装置を搭載した送信装置を示しており、（ｂ）は、動画像復号装置を搭載した受信装置を示している。
【図２５】上記動画像符号化装置を搭載した記録装置、および、上記動画像復号装置を搭載した再生装置の構成について示した図である。（ａ）は、動画像符号化装置を搭載した記録装置を示しており、（ｂ）は、動画像復号装置を搭載した再生装置を示している。
【発明を実施するための形態】
【００４２】
〔実施形態１〕
本実施の形態に係る動画像復号装置１は、スケーラブル符号化（ＳＶＣ）された符号化データを復号する際に、基本レイヤ（第１レイヤ）における符号化方式と拡張レイヤ（第２レイヤ）における符号化方式とが異なっていても、基本レイヤを復号する際に用いた符号化情報を、拡張レイヤの復号時に利用することができるものである。
【００４３】
より具体的には、基本レイヤの動き予測情報および予測モード情報を、基本レイヤの符号化方式に依存しない形式に変換することで、拡張レイヤにおいて基本レイヤの符号化方式に依存する処理を行うことなく、拡張レイヤの動きベクトルとして参照可能とするものである。
【００４４】
これにより、基本レイヤと拡張レイヤとにおいて、それぞれ独自の符号化方式を採用することが可能となるとともに、符号化効率を向上させることができる。なお、本実施の形態では、超高精細映像（動画像、４ｋ映像データ）を伝送する場合において、超高精細映像をスケーラブル符号化し、基本レイヤは、４ｋ映像データをダウンスケーリングし、インタレース化した映像データをＭＰＥＧ−２またはＨ．２６４／ＡＶＣにより符号化してテレビ放送網で伝送し、拡張レイヤは、４ｋ映像をＨＥＶＣにより符号化して（プログレッシブ）、インターネットで伝送する場合について説明するが、本発明の基本レイヤと拡張レイヤとの符号化方式はこれに限られるものではない。
【００４５】
（符号化データ＃１（ａ、ｂ））
本実施形態に係る動画像符号化装置２及び動画像復号装置１の詳細な説明に先立って、動画像符号化装置２によって生成され、動画像復号装置１によって復号される符号化データ＃１（ａ、ｂ）のデータ構造について説明を行う。符号化データ＃１は、基本レイヤ（符号化データ＃１ｂ）と拡張レイヤ（符号化データ＃１ａ）とから構成される。基本レイヤと拡張レイヤとは、互いに異なる伝送路を介して動画像復号装置１に供給されるものであってもよいし、同一の伝送路を介して動画像復号装置１に供給されるものであってもよい。
【００４６】
一例として、図２に示すように、放送波によって基本レイヤを含むビットストリーム（符号化データ＃１ｂ）が伝送され、インターネット通信網によって拡張レイヤを含むビットストリーム（符号化データ＃１ａ）が伝送される場合を挙げることができる。
【００４７】
また、上述したように、基本レイヤは、例えば、ＭＰＥＧ−２方式またはＨ．２６４／ＡＶＣによって符号化されており、拡張レイヤは、例えば、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣの後継規格であるＨＥＶＣ（High Efficiency Video Coding）方式によって符号化されている。このように、以下の説明では、基本レイヤと拡張レイヤとが、互いに異なる符号化方式によって符号化されている場合を例に挙げるが、これは本実施形態を限定するものではない。
【００４８】
（拡張レイヤの符号化データ＃１ａ）
図３は、符号化データ＃１の拡張レイヤのデータ構造（符号化データ＃１ａ）を示す図である。符号化データ＃１ａは、例示的に、シーケンス、およびシーケンスを構成する複数のピクチャを含む。
【００４９】
符号化データ＃１ａにおけるデータの階層構造を図３に示す。図３の（ａ）〜（ｅ）は、それぞれ、シーケンスＳＥＱを規定するシーケンスレイヤ、ピクチャＰＩＣＴを規定するピクチャレイヤ、スライスＳを規定するスライスレイヤ、ツリーブロック（Tree block）ＴＢＬＫを規定するツリーブロックレイヤ、ツリーブロックＴＢＬＫに含まれる符号化単位（Coding Unit；ＣＵ）を規定するＣＵレイヤを示す図である。
【００５０】
（シーケンスレイヤ）
シーケンスレイヤでは、処理対象のシーケンスＳＥＱ（以下、対象シーケンスとも称する）を復号するために動画像復号装置１が参照するデータの集合が規定されている。シーケンスＳＥＱは、図３の（ａ）に示すように、シーケンスパラメータセットＳＰＳ（Sequence Parameter Set）、ピクチャパラメータセットＰＰＳ（Picture Parameter Set）、適応パラメータセットＡＰＳ（Adaptation Parameter Set）、ピクチャＰＩＣＴ１〜ＰＩＣＴNP（ＮＰはシーケンスＳＥＱに含まれるピクチャの総数）、及び、付加拡張情報ＳＥＩ（Supplemental Enhancement Information）を含んでいる。
【００５１】
シーケンスパラメータセットＳＰＳでは、対象シーケンスを復号するために動画像復号装置１が参照する符号化パラメータの集合が規定されている。
【００５２】
ピクチャパラメータセットＰＰＳでは、対象シーケンス内の各ピクチャを復号するために動画像復号装置１が参照する符号化パラメータの集合が規定されている。なお、ＰＰＳは複数存在してもよい。その場合、対象シーケンス内の各ピクチャから複数のＰＰＳの何れかを選択する。
【００５３】
適応パラメータセットＡＰＳは、対象シーケンス内の各スライスを復号するために動画像復号装置１が参照する符号化パラメータの集合が規定されている。ＡＰＳは複数存在してもよい。その場合、対象シーケンス内の各スライスから複数のＡＰＳの何れかを選択する。
【００５４】
（ピクチャレイヤ）
ピクチャレイヤでは、処理対象のピクチャＰＩＣＴ（以下、対象ピクチャとも称する）を復号するために動画像復号装置１が参照するデータの集合が規定されている。ピクチャＰＩＣＴは、図３の（ｂ）に示すように、ピクチャヘッダＰＨ、及び、スライスＳ1〜ＳNSを含んでいる（ＮＳはピクチャＰＩＣＴに含まれるスライスの総数）。
【００５５】
なお、以下、スライスＳ1〜ＳNSのそれぞれを区別する必要が無い場合、符号の添え字を省略して記述することがある。また、以下に説明する符号化データ＃１に含まれるデータであって、添え字を付している他のデータについても同様である。
【００５６】
ピクチャヘッダＰＨには、対象ピクチャの復号方法を決定するために動画像復号装置１が参照する符号化パラメータ群が含まれている。なお、符号化パラメータ群は、必ずしもピクチャヘッダＰＨ内に直接含んでいる必要はなく、例えばピクチャパラメータセットＰＰＳへの参照を含むことで、間接的に含めても良い。
【００５７】
（スライスレイヤ）
スライスレイヤでは、処理対象のスライスＳ（対象スライスとも称する）を復号するために動画像復号装置１が参照するデータの集合が規定されている。スライスＳは、図３の（ｃ）に示すように、スライスヘッダＳＨ、及び、ツリーブロックＴＢＬＫ1〜ＴＢＬＫNC（ＮＣはスライスＳに含まれるツリーブロックの総数）のシーケンスを含んでいる。
【００５８】
スライスヘッダＳＨには、対象スライスの復号方法を決定するために動画像復号装置１が参照する符号化パラメータ群が含まれる。スライスタイプを指定するスライスタイプ指定情報（slice_type）は、スライスヘッダＳＨに含まれる符号化パラメータの一例である。
【００５９】
スライスタイプ指定情報により指定可能なスライスタイプとしては、（１）符号化の際にイントラ予測のみを用いるＩスライス、（２）符号化の際に単方向予測、又は、イントラ予測を用いるＰスライス、（３）符号化の際に単方向予測、双方向予測、又は、イントラ予測を用いるＢスライスなどが挙げられる。
【００６０】
なお、スライスヘッダＳＨには、上記シーケンスレイヤに含まれる、ピクチャパラメータセットＰＰＳへの参照（pic_parameter_set_id）、適応パラメータセットＡＰＳへの参照（aps_id）を含んでいても良い。
【００６１】
また、スライスヘッダＳＨには、動画像復号装置１の備える適応フィルタによって参照されるＡＬＦパラメータＦＰが含まれている。ＡＬＦパラメータＦＰの詳細については後述する。
【００６２】
（ツリーブロックレイヤ）
ツリーブロックレイヤでは、処理対象のツリーブロックＴＢＬＫ（以下、対象ツリーブロックとも称する）を復号するために動画像復号装置１が参照するデータの集合が規定されている。なお、ツリーブロックのことを符号化ツリーブロック（CTB:Coding Tree block）、または、最大符号化単位（LCU:Largest Cording Unit）と呼ぶこともある。
【００６３】
ツリーブロックＴＢＬＫは、ツリーブロックヘッダＴＢＬＫＨと、符号化単位情報ＣＵ１〜ＣＵＮＬ（ＮＬはツリーブロックＴＢＬＫに含まれる符号化単位情報の総数）とを含む。ここで、まず、ツリーブロックＴＢＬＫと、符号化単位情報ＣＵとの関係について説明すると次のとおりである。
【００６４】
ツリーブロックＴＢＬＫは、イントラ予測またはインター予測、および、変換の各処理ためのブロックサイズを特定するためのパーティションに分割される。
【００６５】
ツリーブロックＴＢＬＫの上記パーティションは、再帰的な４分木分割により分割されている。この再帰的な４分木分割により得られる木構造のことを以下、符号化ツリー（coding tree）と称する。
【００６６】
以下、符号化ツリーの末端のノードであるリーフ（leaf）に対応するパーティションを、符号化ノード（coding node）として参照する。また、符号化ノードは、符号化処理の基本的な単位となるため、以下、符号化ノードのことを、符号化単位（ＣＵ）とも称する。
【００６７】
つまり、符号化単位情報（以下、ＣＵ情報と称する）ＣＵ１〜ＣＵＮＬは、ツリーブロックＴＢＬＫを再帰的に４分木分割して得られる各符号化ノード（符号化単位）に対応する情報である。
【００６８】
また、符号化ツリーのルート（root）は、ツリーブロックＴＢＬＫに対応付けられる。換言すれば、ツリーブロックＴＢＬＫは、複数の符号化ノードを再帰的に含む４分木分割の木構造の最上位ノードに対応付けられる。
【００６９】
なお、各符号化ノードのサイズは、当該符号化ノードが直接に属する符号化ノード（すなわち、当該符号化ノードの１階層上位のノードのパーティション）のサイズの縦横とも半分である。
【００７０】
また、ツリーブロックＴＢＬＫのサイズ、および、各符号化ノードのとり得るサイズは、符号化データ＃１のシーケンスパラメータセットＳＰＳに含まれる、最小符号化ノードのサイズ指定情報、および最大符号化ノードと最小符号化ノードの階層深度の差分に依存する。例えば、最小符号化ノードのサイズが８×８画素であって、最大符号化ノードと最小符号化ノードの階層深度の差分が３である場合、ツリーブロックＴＢＬＫのサイズが６４×６４画素であって、符号化ノードのサイズは、４種類のサイズ、すなわち、６４×６４画素、３２×３２画素、１６×１６画素、および、８×８画素の何れかをとり得る。
【００７１】
（ツリーブロックヘッダ）
ツリーブロックヘッダＴＢＬＫＨには、対象ツリーブロックの復号方法を決定するために動画像復号装置１が参照する符号化パラメータが含まれる。具体的には、図３の（ｄ）に示すように、対象ツリーブロックの各ＣＵへの分割パターンを指定するツリーブロック分割情報ＳＰ＿ＴＢＬＫ、および、量子化ステップの大きさを指定する量子化パラメータ差分Δｑｐ（qp_delta）が含まれる。
【００７２】
ツリーブロック分割情報ＳＰ＿ＴＢＬＫは、ツリーブロックを分割するための符号化ツリーを表す情報であり、具体的には、対象ツリーブロックに含まれる各ＣＵの形状、サイズ、および、対象ツリーブロック内での位置を指定する情報である。
【００７３】
なお、ツリーブロック分割情報ＳＰ＿ＴＢＬＫは、ＣＵの形状やサイズを明示的に含んでいなくてもよい。例えばツリーブロック分割情報ＳＰ＿ＴＢＬＫは、対象ツリーブロック全体またはツリーブロックの部分領域を四分割するか否かを示すフラグの集合であってもよい。その場合、ツリーブロックの形状やサイズを併用することで各ＣＵの形状やサイズを特定できる。
【００７４】
また、量子化パラメータ差分Δｑｐは、対象ツリーブロックにおける量子化パラメータｑｐと、当該対象ツリーブロックの直前に符号化されたツリーブロックにおける量子化パラメータｑｐ’との差分ｑｐ−ｑｐ’である。
【００７５】
（ＣＵレイヤ）
ＣＵレイヤでは、処理対象のＣＵ（以下、対象ＣＵとも称する）を復号するために動画像復号装置１が参照するデータの集合が規定されている。
【００７６】
ここで、ＣＵ情報ＣＵに含まれるデータの具体的な内容の説明をする前に、ＣＵに含まれるデータの木構造について説明する。符号化ノードは、予測ツリー（prediction tree；ＰＴ）および変換ツリー（transform tree；ＴＴ）のルートのノードとなる。予測ツリーおよび変換ツリーについて説明すると次のとおりである。
【００７７】
予測ツリーにおいては、符号化ノードが１または複数の予測ブロックに分割され、各予測ブロックの位置とサイズとが規定される。別の表現でいえば、予測ブロックは、符号化ノードを構成する１または複数の重複しない領域である。また、予測ツリーは、上述の分割により得られた１または複数の予測ブロックを含む。
【００７８】
予測処理は、この予測ブロックごとに行われる。以下、予測の単位である予測ブロックのことを、予測単位（prediction unit；ＰＵ）とも称する。
【００７９】
予測ツリーにおける分割の種類は、大まかにいえば、イントラ予測の場合と、インター予測の場合との２つがある。
【００８０】
イントラ予測の場合、分割方法は、２Ｎ×２Ｎ（符号化ノードと同一サイズ）と、Ｎ×Ｎとがある。
【００８１】
また、インター予測の場合、分割方法は、２Ｎ×２Ｎ（符号化ノードと同一サイズ）、２Ｎ×Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤ、Ｎ×２Ｎ、ｎＬ×２Ｎ、ｎＲ×２Ｎ、および、Ｎ×Ｎなどがある。なお、２Ｎ×ｎＵは、２Ｎ×２Ｎの符号化ノードを上から順に２Ｎ×0.5Ｎと２Ｎ×1.5Ｎの２領域に分割することを示す。２Ｎ×ｎＤは、２Ｎ×２Ｎの符号化ノードを上から順に２Ｎ×1.5Ｎと２Ｎ×0.5Ｎの２領域に分割することを示す。ｎＬ×２Ｎは、２Ｎ×２Ｎの符号化ノードを左から順に0.5Ｎ×２Ｎと1.5Ｎ×２Ｎの２領域に分割することを示す。ｎＲ×２Ｎは、２Ｎ×２Ｎの符号化ノードを左から順に1.5Ｎ×２Ｎと0.5Ｎ×1.5Ｎの２領域に分割することを示す。
【００８２】
また、変換ツリーにおいては、符号化ノードが１または複数の変換ブロックに分割され、各変換ブロックの位置とサイズとが規定される。別の表現でいえば、変換ブロックは、符号化ノードを構成する１または複数の重複しない領域のことである。また、変換ツリーは、上述の分割より得られた１または複数の変換ブロックを含む。
【００８３】
変換ツリーにおける分割には、符号化ノードと同一のサイズの領域を変換ブロックとして割り付けるものと、上述したツリーブロックの分割と同様、再帰的な４分木分割によるものがある。
【００８４】
変換処理は、この変換ブロックごとに行われる。以下、変換の単位である変換ブロックのことを、変換単位（transform unit；ＴＵ）とも称する。
【００８５】
（ＣＵ情報のデータ構造）
続いて、図３の（ｅ）を参照しながらＣＵ情報ＣＵに含まれるデータの具体的な内容について説明する。図３の（ｅ）に示すように、ＣＵ情報ＣＵは、具体的には、スキップフラグＳＫＩＰ、ＰＴ情報ＰＴＩ、および、ＴＴ情報ＴＴＩを含む。
【００８６】
スキップフラグＳＫＩＰは、対象のＰＵについて、スキップモードが適用されているか否かを示すフラグであり、スキップフラグＳＫＩＰの値が１の場合、すなわち、対象ＣＵにスキップモードが適用されている場合、そのＣＵ情報ＣＵにおけるＰＴ情報ＰＴＩの一部、および、ＴＴ情報ＴＴＩは省略される。なお、スキップフラグＳＫＩＰは、Ｉスライスでは省略される。
【００８７】
ＰＴ情報ＰＴＩは、ＣＵに含まれるＰＴに関する情報である。言い換えれば、ＰＴ情報ＰＴＩは、ＰＴに含まれる１または複数のＰＵそれぞれに関する情報の集合であり、動画像復号装置１により予測画像を生成する際に参照される。ＰＴ情報ＰＴＩは、図３の（ｅ）に示すように、予測タイプ情報ＰＴｙｐｅ、および、予測情報ＰＩｎｆｏを含んでいる。
【００８８】
予測タイプ情報ＰＴｙｐｅは、対象ＰＵについての予測画像生成方法として、イントラ予測を用いるのか、または、インター予測を用いるのかを指定する情報である。
【００８９】
予測情報ＰＩｎｆｏは、予測タイプ情報ＰＴｙｐｅが何れの予測方法を指定するのかに応じて、イントラ予測情報、または、インター予測情報より構成される。以下では、イントラ予測が適用されるＰＵをイントラＰＵとも呼称し、インター予測が適用されるＰＵをインターＰＵとも呼称する。
【００９０】
また、予測情報ＰＩｎｆｏは、対象ＰＵの形状、サイズ、および、位置を指定する情報が含まれる。上述のとおり予測画像の生成は、ＰＵを単位として行われる。予測情報ＰＩｎｆｏの詳細については後述する。
【００９１】
ＴＴ情報ＴＴＩは、ＣＵに含まれるＴＴに関する情報である。言い換えれば、ＴＴ情報ＴＴＩは、ＴＴに含まれる１または複数のＴＵそれぞれに関する情報の集合であり、動画像復号装置１により残差データを復号する際に参照される。なお、以下、ＴＵのことをブロックと称することもある。
【００９２】
ＴＴ情報ＴＴＩは、図３の（ｅ）に示すように、対象ＣＵの各変換ブロックへの分割パターンを指定するＴＴ分割情報ＳＰ＿ＴＴ、および、量子化予測残差ＱＤ1〜ＱＤNT（ＮＴは、対象ＣＵに含まれるブロックの総数）を含んでいる。
【００９３】
ＴＴ分割情報ＳＰ＿ＴＴは、具体的には、対象ＣＵに含まれる各ＴＵの形状、サイズ、および、対象ＣＵ内での位置を決定するための情報である。例えば、ＴＴ分割情報ＳＰ＿ＴＴは、対象となるノードの分割を行うのか否かを示す情報（split_transform_unit_flag）の集合により構成できる。
【００９４】
また、例えば、ＣＵのサイズが、６４×６４の場合、分割により得られる各ＴＵは、３２×３２画素から４×４画素までのサイズをとり得る。
【００９５】
各量子化予測残差ＱＤは、動画像符号化装置２が以下の処理１〜３を、処理対象のブロックである対象ブロックに施すことによって生成した符号化データである。
【００９６】
処理１：符号化対象画像から予測画像を減算した予測残差をＤＣＴ変換（Discrete Cosine Transform）する；
処理２：処理１にて得られた変換係数を量子化する；
処理３：処理２にて量子化された変換係数を可変長符号化する；
なお、上述した量子化パラメータｑｐは、動画像符号化装置２が変換係数を量子化する際に用いた量子化ステップＱＰの大きさを表す（ＱＰ＝２qp/6）。
【００９７】
（予測情報ＰＩｎｆｏ）
上述のとおり、予測情報ＰＩｎｆｏには、インター予測情報およびイントラ予測情報の２種類がある。
【００９８】
インター予測情報には、動画像復号装置１が、インター予測によってインター予測画像を生成する際に参照される符号化パラメータが含まれる。より具体的には、インター予測情報には、対象ＣＵの各インターＰＵへの分割パターンを指定するインターＰＵ分割情報、および、各インターＰＵについてのインター予測パラメータが含まれる。
【００９９】
インター予測パラメータには、参照画像インデックスと、推定動きベクトルインデックスと、動きベクトル残差とが含まれる。
【０１００】
一方、イントラ予測情報には、動画像復号装置１が、イントラ予測によってイントラ予測画像を生成する際に参照される符号化パラメータが含まれる。より具体的には、イントラ予測情報には、対象ＣＵの各イントラＰＵへの分割パターンを指定するイントラＰＵ分割情報、および、各イントラＰＵについてのイントラ予測パラメータが含まれる。イントラ予測パラメータは、各イントラＰＵについてのイントラ予測方法（予測モード）を指定するためのパラメータである。
【０１０１】
（基本レイヤの符号化データ＃１ｂ）
図４は、符号化データ＃１の基本レイヤのデータ構造（符号化データ＃１ｂ）を示す図である。符号化データ＃１ｂは、例示的に、シーケンス、およびシーケンスを構成する複数のピクチャグループから構成されるＧＯＰ（Ｇｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅｓ）を含む。
【０１０２】
ピクチャレイヤ以下の階層についての構造を図４に示す。図４（ａ）〜（ｄ）は、それぞれ、ピクチャレイヤＰ、スライスレイヤＳ、マクロブロックレイヤＭＢ、及び、ブロックレイヤＢの構造を示す図である。
【０１０３】
ピクチャレイヤＰは、対応ピクチャを復号するために動画像復号装置１が参照するデータの集合である。ピクチャレイヤＰは、図４（ａ）に示すように、ピクチャヘッダＰＨ、及び、スライスレイヤＳ1〜ＳNsを含んでいる（ＮsはピクチャレイヤＰに含まれるスライスレイヤの総数）。
【０１０４】
ピクチャヘッダＰＨには、対応ピクチャの復号方法を決定するために動画像復号装置１が参照する符号化パラメータ群が含まれている。例えば、動画像符号化装置２が符号化の際に用いた画像の表示順を示す番号（テンポラル・リファレンス）やＩピクチャ、Ｐピクチャ、Ｂピクチャの違いを示す符号（ピクチャ・タイプ）は、ピクチャヘッダＰＨに含まれる符号化パラメータの一例である。
【０１０５】
ピクチャレイヤＰに含まれる各スライスレイヤＳは、対応スライスを復号するために動画像復号装置１が参照するデータの集合である。スライスレイヤＳは、図４（ｂ）に示すように、マクロブロックレイヤＭＢ1〜ＭＢNm（ＮmはスライスＳに含まれるマクロブロックの総数）を含んでいる。
【０１０６】
スライスレイヤＳに含まれる各マクロブロックレイヤＭＢは、対応マクロブロックを復号するために動画像復号装置１が参照するデータの集合である。マクロブロックレイヤＭＢは、図４（ｃ）に示すように、１６画素×１６ラインの正方形の画素ブロックで、輝度ブロックＹ１〜Ｙ４と対応する２つの８画素×８ラインの色差ブロックＣｂ、Ｃｒによって構成されており、さらにＤＣＴ処理単位である８画素×８画素ラインのブロックに細分化される。これは、符号化画像の色差フォーマットが４：２：０の場合で、符号化画像の色差フォーマットが４：２：２となる時、２つの８画素×１６ライン色差ブロックに対応する。４：４：４：の色差フォーマットでは、２つの１６画素×１６ライン色差ブロックに対応する。マクロブロックレイヤＭＢに含まれる各ブロックレイヤＢは、通常は、ＤＣＴ変換され、量子化されたデータから構成される。
【０１０７】
（動画像復号装置１）
次に、本実施形態に係る動画像復号装置１について、図１、図６を参照して説明する。動画像復号装置１は、その一部に、ＭＰＥＧ−２に採用されている方式、Ｈ．２６４／ＭＰＥＧ−４．ＡＶＣに採用されている方式、ＶＣＥＧ（Video Coding Expert Group）における共同開発用コーデックであるＫＴＡソフトウェアに採用されている方式、その後継コーデックであるＴＭｕＣ（Test Model under Consideration）ソフトウェアに採用されている方式、及び、ＨＭ（HEVC TestModel）ソフトウェアに採用されている技術を含んでいる。
【０１０８】
図１は、動画像復号装置１の構成を示すブロック図である。図１に示すように、動画像復号装置１は、拡張レイヤ復号部（ＨＥＶＣ）１０及び基本レイヤ復号部（ＭＰＥＧ−２）１１を含む構成である。
【０１０９】
拡張レイヤ復号部１０は、可変長復号部１３、逆直交変換・逆量子化部１４、ループ内フィルタ１５、イントラ予測部１６、拡大／ＩＰ変換部１７、フレームメモリ１８、インター予測部１９、動き情報変換処理部２０、動き情報蓄積部２１、動き情報正規化部２２、選択部２３、加算器２４を含む。
【０１１０】
拡張レイヤ復号部１０は、基本レイヤ復号部１１で復号された復号画像、動き情報をもとに、復号処理を行うものである。
【０１１１】
また、基本レイヤ復号部１１は、可変長復号部３１、逆直交変換・逆量子化部３２、フレームメモリ３３、動き補償部３４、及び加算器３５を含む。
【０１１２】
基本レイヤ復号部１１は、符号化データ＃１ｂから復号した動き情報、イントラ予測情報をもとに復号画像を生成するものである。
【０１１３】
動画像復号装置１は、符号化データ＃１の基本レイヤを基本レイヤ復号部１１で、拡張レイヤを拡張レイヤ復号部１０で復号するための装置であり、拡張レイヤ復号部１０は、基本レイヤ復号部１１で復号された符号化情報（後述する）を用いて復号を行うものである。
【０１１４】
可変長復号部１３は、各ブロックに関する量子化予測残差ＱＤ、及び、そのブロックを含むツリーブロックに関する量子化パラメータ差分Δｑｐを符号化データ＃１ａから復号し、これらを逆直交変換・逆量子化部１４に供給する。また、可変長復号部１３は、各パーティションに関する予測パラメータＰＰを、符号化データ＃１ａから復号する。すなわち、インター予測パーティションに関しては、参照画像インデックスＲＩ、推定動きベクトルインデックスＰＭＶＩ、及び、動きベクトル残差ＭＶＤ等の動き情報、モード情報を符号化データ＃１から復号し、これらをインター予測部１９に供給する。一方、イントラ予測パーティションに関しては、（１）パーティションのサイズを指定するサイズ指定情報、および、（２）予測インデックスを指定する予測インデックス指定情報を含むイントラ予測情報を符号化データ＃１から復号し、これをイントラ予測部１６に供給する。
【０１１５】
逆直交変換・逆量子化部１４は、（１）量子化予測残差ＱＤを逆量子化し、（２）逆量子化によって得られたＤＣＴ係数を逆ＤＣＴ（Discrete Cosine Transform）変換し、（３）逆ＤＣＴ変換によって得られた予測残差Ｄを加算器２４に供給する。なお、量子化予測残差ＱＤを逆量子化する際に、逆直交変換・逆量子化部１４は、可変長復号部１３から供給された量子化パラメータ差分Δｑｐから量子化ステップＱＰを導出する。量子化パラメータｑｐは、直前に逆量子化／逆ＤＣＴ変換したツリーブロックに関する量子化パラメータｑｐ’に量子化パラメータ差分Δｑｐを加算することによって導出でき、量子化ステップＱＰは、量子化ステップｑｐからＱＰ＝２ｐｑ／６によって導出できる。また、逆直交変換・逆量子化部１４による予測残差Ｄの生成は、ブロック（変換単位）を単位として行われる。
【０１１６】
ループ内フィルタ１５は、加算器２４から供給された復号画像に対し、デブロッキング処理や、適応フィルタパラメータによるフィルタ処理を施すものである。
【０１１７】
イントラ予測部１６は、各イントラ予測パーティションに関する予測画像を生成する。具体的には、符号化データ＃１から復号されたイントラ予測情報、拡大／ＩＰ変換部から供給された基本レイヤの復号画像から予測画像を生成する。
【０１１８】
拡大／ＩＰ変換部１７は、基本レイヤ復号部１１で復号された基本レイヤの復号画像を拡大、およびＩＰ変換した画像をイントラ予測部１６に供給する。
【０１１９】
フレームメモリ１８は、ループ内フィルタ１５によるフィルタ済み復号画像を格納している。
【０１２０】
インター予測部１９は、各インター予測パーティションに関する動き補償画像を生成する。具体的には、可変長復号部１３から供給された動き情報、モード情報または、動き情報変換処理部から供給された、対応する基本レイヤにおける動き情報を用いて、動き補償画像を生成する。インター予測部１９の詳細な構成については後述する。
【０１２１】
動き情報正規化部２２は、マクロブロック単位で、基本レイヤの対応するマクロブロックにおける動きベクトルＭＶ_ＢＬを１フレーム（フィールド）離れた場合の値にそろえた中間フォーマットＭＶ_ＩＴＭ（中間的動きベクトル）に変換する。そして、変換した中間フォーマットＭＶ_ＩＴＭを動き情報蓄積部に供給する。
【０１２２】
動き情報蓄積部２１は、動き情報正規化部２２で変換された中間フォーマットＭＶ_ＩＴＭを蓄積し、インター予測部１９からの指示に従い、中間フォーマットＭＶ_ＩＴＭを動き情報変換処理部２０に供給する。動き情報蓄積部２１に蓄積される情報例について、図１１を参照して説明する。図１１に示すように、動き情報蓄積部２１には、ピクチャ単位でフィールドレート（ｖ）が、マクロブロック単位で動きベクトルの方向（前方予測動きベクトル、後方予測動きベクトル）と、水平成分であるか、垂直成分であるかを示す情報が、マクロブロックと対応付けられて動き情報として蓄積されている。
【０１２３】
動き情報変換処理部２０は、拡張レイヤでのピクチャ参照関係に基づき、動き情報蓄積部２１に蓄積されている中間動きベクトルＭＶ_ＩＴＭをスケーリングして、インター予測部１９が用いる動きベクトルＭＶ_ＥＬを導出する。
【０１２４】
なお、動き情報正規化部２２、動き情報蓄積部２１、および動き情報変換処理部２０における処理の詳細な内容については後述する。
【０１２５】
選択部２３は、イントラ予測部１６が生成した予測画像およびインター予測部１９が生成した予測画像のうち、何れを用いるかを選択し、選択した予測画像を加算器２４に供給する。
【０１２６】
加算器２４は、選択部２３から供給された予測画像と、逆直交変換・逆量子化部１４から供給された予測残差Ｄとを加算することによって復号画像を生成する。
【０１２７】
可変長復号部３１は可変長復号部１３と、逆直交変換・逆量子化部３２は逆直交変換・逆量子化部１４と、フレームメモリ３３はフレームメモリ１８と、加算器３５は加算器２４と同様の機能を有するものであるので、その説明は省略する。
【０１２８】
動き補償部３４は、各インター予測パーティションに関する動きベクトルを、そのパーティションに関する動きベクトル残差ＭＶＤと、他のパーティションに関する復元済みの動きベクトルとから復元し、インター予測画像を生成するものである。
【０１２９】
（インター予測部１９の構成）
次に、インター予測部１９の構成について、図６を参照して説明する。図６に示すように、インター予測部１９は、拡張レイヤ動きベクトルバッファ９０１、モードバッファ９０２、動き補償部９０３、および基本レイヤ動きベクトルバッファ９０４を含む。
【０１３０】
拡張レイヤ動きベクトルバッファ９０１は、可変長復号部１３から供給された動きベクトル残差ＭＶＤを格納し、拡張レイヤ動きベクトル情報として動き補償部９０３に供給する。
【０１３１】
モードバッファ９０２は、可変長復号部１３から供給された予測モード情報を格納している。
【０１３２】
基本レイヤ動きベクトルバッファ９０４は、動き情報変換処理部２０から供給された基本レイヤ動きベクトル情報を格納し、動き補償部９０３に供給する。
【０１３３】
動き補償部９０３は、拡張レイヤ動きベクトルバッファ９０１から供給された拡張レイヤ動きベクトル情報と基本レイヤ動きベクトルバッファ９０４から供給された基本レイヤ動きベクトル情報との何れかを用いてインター予測画像を生成し、選択部２３に供給する。
【０１３４】
（動きベクトルの導出方法１−１）
まず、動きベクトルの導出方法の説明に先立って、フィード予測とフレーム予測について、図５を参照して説明する。図５（ａ）に示すように、フィールド予測を行う場合は、１つのピクチャについて、２つのフィールドから動きベクトルを予測する。予測データは、２つの同一もしくは異なったフィールドから２つの動きベクトルによって生成される。
【０１３５】
また、図５（ｂ）に示すように、フレーム予測の場合、予測データは１つのフレームから１つの動きベクトルによって生成される。
【０１３６】
次に、インター予測部１９が用いる動きベクトルを導出する方法、換言すれば、動き情報正規化部２２、動き情報蓄積部２１、動き情報変換処理部２０の処理について、図７を参照して説明する。ここでは、基本レイヤで、フレーム構造におけるフィールド予測を行っている場合の拡張レイヤで用いる動きベクトルの導出処理について説明する。
【０１３７】
図７は、動画像復号装置１において動画像を復号する際の、各フレームの表示時間順の並びを示している。図７の基本レイヤ（ＢＬ）では、フィールド構造のピクチャを示している。例えば、フレームＢＢ０は、破線で示すフィールドＢ０１とＢ０２とを合成したものである。また、基本レイヤのフレームＢＩ２はＩピクチャ、フレームＢＰ５はＰピクチャ、フレームＢＢ０、ＢＢ１、ＢＢ３、ＢＢ４はＢピクチャとして処理される。また、１つのフレームは２つのフィールドとして扱うことができる。例えば、フレームＢＢ０はフィールドＢ０１およびＢ０２として、フレームＢＢ１はフィールドＢ１１およびＢ１２として扱うことができる。ここでは、基本レイヤの各フレームは、フレーム構造またはフィールド構造のいずれかの形式で適応的に復号処理されるものとする。
【０１３８】
なお、本実施の形態では、基本レイヤにおいて動き補償で使用するピクチャをフレーム構造とし、フィールドを単位としたフィールド予測にて行う例について説明する。
【０１３９】
図７に示す拡張レイヤ（ＥＬ）において、各フレームのピクチャは基本レイヤの各フィールドのピクチャに対応している。例えば、拡張レイヤのフレームｂ０に対応する基本レイヤのフィールドはＢ０１となる。また、拡張レイヤのＩ４はＩピクチャ、Ｐ１０はＰピクチャ、Ｂ１、Ｂ７は参照Ｂピクチャ、ｂ０、ｂ２、ｂ３、ｂ６、ｂ８、ｂ９、ｂ１１は非参照Ｂピクチャとして処理される。
【０１４０】
また、本実施の形態では、図７に「符号化順」として示した順序で、基本レイヤ、拡張レイヤは復号されるものとする。
【０１４１】
ここで、現在の処理対象を、フレームＢ１とし、フレームＢ１は、後方参照ピクチャとして拡張レイヤのＩ４を、階層間参照ピクチャとして基本レイヤのＢＢ０（フィールドＢ０１、Ｂ０２）を用いることとする。これらの参照ピクチャは、処理対象のフレームＢ１が復号される時点で、すでに復号処理が完了している。
【０１４２】
また、拡張レイヤの現在の処理対象のフレームに対応する下位レイヤ（基本レイヤ）のフレーム（フィールド）は、各レイヤのビットストリームに含まれる時間情報をもとに特定する。なお、対応するフレームの特定は、時間情報をもとに構成に限られず、例えば、基本レイヤと拡張レイヤとで共通のピクチャ番号を付与する構成により、行ってもよい。
【０１４３】
フレームＢ１の予測ブロックＰＵで用いる動きベクトルＭＶ_ＥＬ（１）_ａを基本レイヤから導出する場合を考える。この場合、フレームＢ１に対応する、基本レイヤのフレームＢＢ０の予測ブロックＰＵにおけるマクロブロックａを処理する際に用いた動きベクトルを利用する。本実施例では、マクロブロックａは、フレームＢ１の予測ブロックＰＵの中心点に対応する座標にある基本レイヤのマクロブロックをマクロブロックａとする。ここでは、予測ブロックのＰＵの中心点の座標に基づいて基本レイヤのマクロブロックを特定したが、ＰＵの左上端や他の端点の座標に基づいて基本レイヤのマクロブロックを特定してもよく、これに限定するものではない。
【０１４４】
上述したようにフレームＢＢ０はフレーム構造としてフィールド予測により処理されている。ここでは、フレームＢＢ０は後方参照ピクチャとして、フィールドＩ２１、Ｉ２２を参照し、マクロブロックａがそれぞれの参照ピクチャを参照して動きベクトルＭＶ_ＢＬ（１−１）_ａ、ＭＶ_ＢＬ（１−２）_ａにより処理されているものとする。
【０１４５】
マクロブロックａはフィールド予測にて動きベクトルを算出しているので、ＭＶ_ＢＬ（１−１）_ａ、 ＭＶ_ＢＬ（１−２）_ａの参照元フィールドはそれぞれＢ０１、Ｂ０２となる。処理対象のフレームｂ１に対応する基本レイヤのフィールドはＢ０２なので、インター予測部１９は動き情報蓄積部２１に蓄積された中間動きベクトルＭＶ_ＩＴＭ（１）_ａを用いて動き情報変換処理部２０が変換した動きベクトルＭＶ_ＥＬ（１）_ａを用いて動き補償を行う。
【０１４６】
具体的には、まず、インター予測部１９は、処理対象のＢ１に対応する基本レイヤのフレームＢＢ０を特定する。そして、フレームＢＢ０の対応するマクロブロックを処理する際に用いた動きベクトル情報（ＭＶ_ＢＬ（１−１）_ａ、ＭＶ_ＢＬ（１−２）_ａ）のうち、処理対象のＢ１に対応する基本レイヤのフレームＢ０２を処理する際に用いた動きベクトルＭＶ_ＢＬ（１−２）_ａを正規化した中間動きベクトルＭＶ_ＩＴＭ（１）_ａを動き情報蓄積部２１から動き情報変換処理部２０に供給させる。
【０１４７】
ここで、動き情報蓄積部２１に蓄積された中間動きベクトルＭＶ_ＩＴＭ（１）_ａは、予測ブロックＰＵの復号時には動き情報正規化部２２により既に正規化されて蓄積されているものとする。中間動きベクトルＭＶ_ＩＴＭ（１）_ａは、動き情報正規化部２２により、動きベクトルＭＶ_ＢＬ（１−２）_ａから式（１）を用いて算出される。
【０１４８】
MV_ITM(1)_a=MV_BL(1-2)_a×tb_a /td_a    式（１）
ここで、ｔｂは処理対象フレームと１フレーム離れた距離を示す時間間隔であり、ｔｄは対象基本レイヤを復号する際に用いた動きベクトルＭＶ_ＢＬ（１−２）_ａを算出する元となったフレームＢ０２とフレームＩ２２との距離を示す時間間隔である。
【０１４９】
次に、動き情報変換処理部２０は、式（２）に従い、用いる動きベクトルＭＶ_ＥＬ（１）_ａを算出する。
【０１５０】
MV_EL(1)_a =MV_ITM(2)_a×tde_a/tb_a×スケーリング処理    式（２）
ここで、スケーリング処理とは、ＥＬ解像度／ＢＬ解像度であり、ｔｄeとは、対象フレームＢ１から１フレーム離れた距離を示す時間間隔である。
【０１５１】
なお、本実施の形態では、基本レイヤと拡張レイヤとでフレームレート（フィールドレート）が一致している前提で記載したが、フレームレートが異なり、かつ逓倍の場合は、拡張レイヤフレームレート/基本レイヤフレームレートをＭＶ_ＩＴＭに乗算して、時間方向のスケールを合わせてＭＶ_ＥＬを求めればよい。基本レイヤフレームレートは、ＭＰＥＧ−２の場合はシーケンスヘッダから取得することができる。
【０１５２】
また、上記では、復号処理を説明したが、動画像符号化装置２における符号化処理においても同様の処理を行う。
【０１５３】
（動きベクトルの導出方法１−２）
次に、基本レイヤで、フレーム構造におけるフレーム予測を行っている場合の拡張レイヤで用いる動きベクトルの導出処理について、図８を参照して説明する。
【０１５４】
ここでは、復号対象は、ｂ２であるとする。まず、インター予測部１９は、処理対象のｂ２に対応する基本レイヤのフレームＢＢ１を特定する。そして、フレームＢＢ１の対応するマクロブロックを処理する際に用いた動きベクトルＭＶ_ＢＬ（１）_ｂを正規化した中間動きベクトルＭＶ_ＩＴＭ（１）_ｂを動き情報蓄積部２１から動き情報変換処理部２０に供給させる。
【０１５５】
ここで、動き情報蓄積部２１に蓄積された中間動きベクトルＭＶ_ＩＴＭ（１）_ｂは、予測ブロックＰＵの復号時には動き情報正規化部２２により既に正規化されて蓄積されているものとする。中間動きベクトルＭＶ_ＩＴＭ（１）_ｂは、動き情報正規化部２２により動きベクトルＭＶ_ＢＬ（１）_ｂから式（３）を用いて算出される。
【０１５６】
MV_ITM(1)_b=MV_BL(1)_b×tb_b/td_b    式（３）
次に、動き情報変換処理部２０は、式（４）に従い、用いる動きベクトルＭＶ_ＥＬ（１）_ｂを算出する。
【０１５７】
MV_EL(1)_b =MV_ITM(2)_b×tde_b/tb_b×スケーリング処理    式（４）
（動きベクトルの導出方法１−３）
次に、基本レイヤで、フレーム構造におけるフィールド予測を行っている場合の拡張レイヤで用いる動きベクトルの導出処理の別の例について、図９を参照して説明する。
【０１５８】
ここでは、復号対象は、ｂ９であるとする。インター予測部１９は、ｂ９に対応する基本レイヤのフレームＢＢ４を特定する。そして、フレームＢＢ４の該当するマクロブックにおいて同じ予測方向の動きベクトル情報が動き情報蓄積部２１に蓄積されていないため、復号対象フレームであるｂ９から符号化順序で直近の参照フレームであるＰ１０に対応する基本レイヤのフレームＢＰ５の該当するマクロブロックの動きベクトル情報を参照する。フレームＢＰ５、すなわちフィールドＰ５１、Ｐ５２において、対応する位置のアンカーマクロブロックを処理した際に用いた動きベクトルのうち、同じ予測方向の動きベクトルであるＭＶ_ＢＬ（１−１）_ｃ、ＭＶ_ＢＬ（１−２）_ｃから算出した中間動きベクトルＭＶ_ＩＴＭ（１−１）_ｃ、ＭＶ_ＩＴＭ（１−１）_ｃの何れかを動き情報蓄積部２１から変換部２２０に供給させる。ここでは、中間動きベクトルＭＶ_ＩＴＭ（１−１）_ｃを供給させることとする。なお、中間動きベクトルＭＶ_ＩＴＭ（１−１）_ｃ、ＭＶ_ＩＴＭ（１−１）_ｃの両方を供給させてもよい。
【０１５９】
そして、動き情報正規化部２２ここで中間動きベクトルＭＶ_ＩＴＭ（１）_ｃは、予測ブロックＰＵの復号時にはにより既に正規化されて蓄積されているものとする。中間動きベクトルＭＶ_ＩＴＭ（１）_ｃは、動き情報正規化部２２により動きベクトルＭＶ_ＢＬ（１−１）_ｂから式（５）を用いて算出される。
【０１６０】
MV_ITM(1)_c=MV_BL(1-1)_c×tb_c/td_c    式（５）
次に、動き情報変換処理部２０は、式（６）に従い、用いる動きベクトルＭＶ_ＥＬ（１）_ｃを算出する。
【０１６１】
MV_EL(1)_c =MV_ITM(2)_c×tde_c/tb_c×スケーリング処理    式（６）
（動きベクトルの導出方法１−４）
次に、基本レイヤで、フレーム構造におけるフレーム予測を行っている場合の拡張レイヤで用いる動きベクトルの導出処理の別の例について、図１０を参照して説明する。
【０１６２】
ここでは、復号対象は、ｂ９であるとする。インター予測部１９は、ｂ９に対応する基本レイヤのフレームＢ４２を特定する。そして、フレームＢ４２の該当するマクロブックにおいて同じ予測方向の動きベクトル情報が動き情報蓄積部２１に蓄積されていないため、復号対象フレームであるｂ９から符号化順序で直近の参照フレームであるＰ１０に対応する基本レイヤのフレームＢＰ５、すなわちフィールドＰ５１、Ｐ５２において、対応する位置のアンカーマクロブロックを処理した際に用いた動きベクトルのうち、同じ予測方向の動きベクトルであるＭＶ_ＢＬ（１）_ｄから算出した中間動きベクトルＭＶ_ＩＴＭ（１）_ｄを動き情報蓄積部２１から動き情報変換部２０に供給させる。
【０１６３】
ここで、中間動きベクトルＭＶ_ＩＴＭ（１）_ｄは、予測ブロックＰＵの復号時には動き情報正規化部２２により既に正規化されて蓄積されているものとする。中間動きベクトルＭＶ_ＩＴＭ（１）_ｄは、動き情報正規化部２２により動きベクトルＭＶ_ＢＬ（１−１）_ｄから式（７）を用いて算出される。
【０１６４】
MV_ITM(1)_d=MV_BL(1-1)_d×tb_d/td_d    式（７）
次に、動き情報変換処理部２０は、式（８）に従い、用いる動きベクトルＭＶ_ＥＬ（１）_ｄを算出する。
【０１６５】
MV_EL(1)_d =MV_ITM(2)_d×tde_d/tb_d×スケーリング処理    式（８）
なお、ここでは基本レイヤにおいて、拡張レイヤで必要とする予測方向の動きベクトルが含まれていない場合、符号化順序で、該フレームの直近の参照フレームに含まれる動きベクトルに基づいて、中間動きベクトルを導出することとしたが、基本レイヤにおいて、拡張レイヤで必要とする予測方向と異なる予測方向の動きベクトルが含まれている場合には、その動きベクトルに基づいて、中間動きベクトルを導出してもよい。
【０１６６】
（動画像復号装置１における処理の流れ）
次に、動画像復号装置１に於ける処理の流れについて、図１２〜１６を参照して説明する。
【０１６７】
まず、拡張レイヤの復号処理の流れについて、図１２を参照して説明する。拡張レイヤ復号部１０は、対象フレームの復号に用いる参照画像リストを構築する（Ｓ１０１）。参照画像リストには、各参照画像の復号画像のフレームバッファ内での位置、および、各参照画像の出力順序の情報を含んでいる。
【０１６８】
次に、基本レイヤ復号部１１は、拡張レイヤの対象フレームの復号に必要な基本レイヤのピクチャ（フレームまたはフィールド）を復号する（Ｓ１０２）。そして、動き情報正規化部２２は、対応する基本レイヤのピクチャを復号するために用いた動きベクトルから、中間動きベクトル情報を算出する中間動き情報導出処理を実行する（中間動き導出処理：Ｓ１０３）。
【０１６９】
次に、処理対象の符号単位ＣＵを設定し（Ｓ１０４）、可変長復号部１３は、対象ＣＵのサイド情報を復号する。サイド情報には、ＣＵ予測タイプ（イントラ予測モード、インター予測モードの識別情報）、スキップフラグ、ＰＵ分割情報を含んでいる（Ｓ１０５）。
【０１７０】
さらに、可変長復号部１３は、対象ＣＵ内の各ＴＵにおける変換係数を復号し、逆直交変換・逆量子化部１４が逆直交変換・逆量子化を行って予測残差を復号する（Ｓ１０６）。
【０１７１】
そして、対象ＣＵ内の予測単位ＰＵについて、イントラ予測により予測画像を生成するイントラＣＵであれば（Ｓ１０７でＹＥＳ）、イントラ予測部１６は、イントラ予測により対象ＣＵ内の各予測単位ＰＵの予測画像を生成する（Ｓ１０８）。
【０１７２】
一方、対象ＣＵ内の予測単位ＰＵについて、インター予測により予測画像を生成するインターＣＵであれば（Ｓ１０７でＮＯ）、インター予測部１９は、インター予測により、対象ＣＵ内の各ＰＵの予測画像を生成する（インター予測処理：Ｓ１０９）。
【０１７３】
そして、対象ＣＵについて復号画像を生成し（Ｓ１１０）、全てのＣＵについて復号画像を生成すると（Ｓ１１１でＹＥＳ）、復号した画像にデブロッキングフィルタ、適応オフセットフィルタ（SAO: Sample Adaptive Offset)、適応ループフィルタ（ALF: Alternative Loop Filter）を適用して（Ｓ１１２）、処理を終了する。
【０１７４】
次に、インター予測処理の流れについて、図１３を参照して説明する。
【０１７５】
インター予測処理では、インター予測部１９は、まず対象ＰＵを設定し（Ｓ２０１）、ＰＵサイド情報を復号する（Ｓ２０２）。ＰＵサイド情報には、ベースレイヤ予測フラグ(base_mode_flag）、マージフラグ(merge_flag)、マージインデックス(merge_idx)が含まれている。
【０１７６】
そして、対象ＰＵがマージを行うマージＰＵでなければ（Ｓ２０３でＮＯ）、当該ＰＵの動き補償パラメータを復号する（Ｓ２０５）。一方、対象ＰＵが、マージＰＵであり（Ｓ２０３でＹＥＳ）、基本レイヤの動きベクトルを参照するベースモードであれば（Ｓ２０３でＹＥＳ）、拡張レイヤ復号部１０は、レイヤ間動き推定処理を行う（レイヤ間動き推定処理：Ｓ２０７）。また、対象ＰＵがベースモードでなければ（Ｓ２０４でＮＯ）、インター予測部１９は、マージ候補を導出する（Ｓ２０６）。
【０１７７】
その後、インター予測部１９は、ステップＳ２０５、ステップＳ２０６、またはステップＳ２０７で導出した動き補償パラメータを用いて、動き補償を行い予測画像を生成する（Ｓ２０８）。そして、全てのＰＵについて処理が終わると（Ｓ２０９でＹＥＳ）、インター予測処理を終了する。
【０１７８】
動き補償パラメータを導出するためのテーブルを図１４に示す。図１４に示す動き補償パラメータ導出テーブルは、ＣＵサイド情報およびＰＵサイド情報と、対象ＰＵにおける動き補償パラメータの導出方法とを対応付けたものである。図１４において、「０」、「１」は対応するシンタックスの値を示し、「−」はそのシンタックス要素の復号が不要であることを示す。
【０１７９】
次に、中間動き情報導出処理の流れについて、図１５を参照して説明する。
【０１８０】
まず、動き情報正規化部２２は、中間動き情報に導出に用いる基本レイヤのピクチャを設定する（Ｓ３０１）。次に、動き情報正規化部２２は、対象フレームを基本処理単位（本実施形態ではＭＰＥＧ−２のマクロブロック）に分割し（Ｓ３０２）、対象基本処理単位に対応する基本レイヤのピクチャの位置を特定し、対応する動きベクトルを読み出す（Ｓ３０３）。そして、読み出した動きベクトルから中間動きベクトルＭＶ_ＩＴＭを導出する（Ｓ３０４）。すべての基本処理単位について処理が終了すると（Ｓ３０５でＹＥＳ）、中間動き情報導出処理を終了する。
【０１８１】
次に、レイヤ間動き推定処理の流れについて、図１６を参照して説明する。図１６に示すように、まず、拡張レイヤ復号部１０は、参照画像リストの利用フラグを推定する。利用フラグは、中間動き情報に動きベクトルが２つ存在する場合には、Ｌ０、Ｌ１ともに利用可能とし、１つしか存在しない場合にはＬ０のみ利用可能とする。
【０１８２】
次に、拡張レイヤ復号部１０は、対象ＰＵの復号に用いる動きベクトルを参照するための参照画像リストを設定する（Ｓ４０２）。参照画像リストは、Ｌ０→Ｌ１の順に選択する。
【０１８３】
そして、拡張レイヤ復号部１０は、設定した参照画像リストから参照画像を設定する（Ｓ４０３、refIdxLX = 0 ）。その後、拡張レイヤ復号部１０は、参照画像の中間動き情報から動きベクトルを読み出し、対象フレームと参照画像の表示間隔に基づいてスケールして、動きベクトルを導出する（Ｓ４０４）。そして、全ての参照画像リストについて処理が終了すると（Ｓ４０５）、レイヤ間推定処理が終了する。
【０１８４】
（動画像符号化装置２）
次に、符号化対象画像を符号化することによって符号化データ＃１（ａ、ｂ）を生成する動画像符号化装置２について、図２１、２２を参照して説明する。動画像符号化装置２は、その一部に、ＭＰＥＧ−２に採用されている方式、Ｈ．２６４／ＭＰＥＧ−４．ＡＶＣに採用されている方式、ＶＣＥＧ（Video Coding Expert Group）における共同開発用コーデックであるＫＴＡソフトウェアに採用されている方式、その後継コーデックであるＴＭｕＣ（Test Model under Consideration）ソフトウェアに採用されている方式、及び、ＨＭ（HEVC TestModel）ソフトウェアに採用されている技術を含んでいる。
【０１８５】
図２１は、本実施形態に係る動画像符号化装置２の構成を示すブロック図である。図２１に示すように、動画像符号化装置２は、拡張レイヤ符号化部（ＨＥＶＣ）８１、基本レイヤ符号化部（ＭＰＥＧ−２）８２、および縮小／インタレース化処理部８３を含む構成である。また、拡張レイヤ符号化部８１は、画像並べ替えバッファ５１、動き情報変換処理部５２、動き情報蓄積部５３、動き情報正規化部５４、フレームメモリ５５、動き予測／補償部５６、拡大／ＩＰ変換部５７、ループ内フィルタ５８、イントラ予測部５９、選択部６０、逆直交変換・逆量子化部６１、直交変換・量子化部６２、可変長符号化部６３、減算器６４、加算器６５を含む構成である。
【０１８６】
また、基本レイヤ符号化部８２は、画像並べ替えバッファ７１、動き推定／動き補償部７２、フレームメモリ７３、逆直交変換・逆量子化部７４、直交変換・量子化部７５、可変長符号化部７６、加算器７７、減算器７８を含む構成である。
【０１８７】
動画像符号化装置２は、動画像＃１０（符号化対象画像）をスケーラブル符号化（ＳＶＣ）することによって、基本レイヤおよび拡張レイヤを含む符号化データ＃１（ａ、ｂ）を生成する装置である。
【０１８８】
画像並べ替えバッファ５１、画像並べ替えバッファ７１は、入力された画像を符号化順に並べ替えるためのバッファである。
【０１８９】
直交変換・量子化部６２は、（１）符号化対象画像から予測画像Ｐｒｅｄを減算した予測残差Ｄをブロック毎にＤＣＴ変換（Discrete Cosine Transform）し、（２）ＤＣＴ変換により得られたＤＣＴ係数を量子化し、（３）量子化により得られた量子化予測残差ＱＤを可変長符号化部６３及び逆直交変換・逆量子化部６１に供給する。なお、直交変換・量子化部６２は、（１）量子化の際に用いる量子化ステップＱＰを、ツリーブロック毎に選択し、（２）選択した量子化ステップＱＰの大きさを示す量子化パラメータ差分Δｑｐを可変長符号化部６３に供給し、（３）選択した量子化ステップＱＰを逆直交変換・逆量子化部６１に供給する。ここで、量子化パラメータ差分Δｑｐとは、ＤＣＴ変換／量子化するツリーブロックに関する量子化パラメータｑｐ（ＱＰ＝２ｐｑ／６）の値から、直前にＤＣＴ変換／量子化したツリーブロックに関する量子化パラメータｑｐ’の値を減算して得られる差分値のことを指す。
【０１９０】
可変長符号化部６３は、（１）直交変換・量子化部６２から供給された量子化予測残差ＱＤ並びにΔｑｐ、（２）イントラ予測部５９から供給されたイントラ予測情報、（３）動き予測／補償部５６から供給された動き情報を可変長符号化することによって、符号化データ＃１ａを生成する。
【０１９１】
動き予測／補償部５６は、各パーティションに関する動きベクトルｍｖを検出し、検出した動きベクトルｍｖと、参照画像として利用したフィルタ済復号画像を指定する参照画像インデックスＲＩとを用いて、動き補償画像ｍｃを生成する。動き予測／補償部５６の詳細については後述する。
【０１９２】
動き推定／動き補償部７２は、各パーティションに関する動きベクトルｍｖを検出し、検出した動きベクトルｍｖと、参照画像として利用したフィルタ済復号画像を指定する参照画像インデックスＲＩとを用いて、動き補償画像ｍｃを生成する。
【０１９３】
直交変換・量子化部７５は、（１）符号化対象画像から予測画像Ｐｒｅｄを減算した予測残差Ｄをブロック毎にＤＣＴ変換（Discrete Cosine Transform）し、（２）ＤＣＴ変換により得られたＤＣＴ係数を量子化し、（３）量子化により得られた量子化予測残差ＱＤを可変長符号化部７６及び逆直交変換・逆量子化部７４に供給する。
【０１９４】
なお、動き情報変換処理部５２、動き情報蓄積部５３、動き情報正規化部５４、フレームメモリ５５、拡大／ＩＰ変換部５７、ループ内フィルタ５８、逆直交変換・逆量子化部６１、加算器６５、フレームメモリ７３、逆直交変換・逆量子化部７４については、上述した動き情報変換処理部２０、動き情報蓄積部２１、動き情報正規化部２２、フレームメモリ１８、拡大／ＩＰ変換部１７、ループ内フィルタ１５、逆直交変換・逆量子化部１４、加算器２４、フレームメモリ３３、逆直交変換・逆量子化部３２と同様の機能を有するものであるので、その説明は省略する。
【０１９５】
（動き予測／補償部５６）
次に、動き予測／補償部５６の構成について、図２２を参照して説明する。図２２に示すように、動き予測／補償部５６は、動き探索部９１１、コスト関数算出部９１２、モード判定部９１３、動き補償部９１４を含む構成である。
【０１９６】
動き探索部９１１は、画像並べ替えバッファ５１から供給された入力画像情報と、フレームメモリ５５から供給された参照画像情報とから、動き情報を導出し、拡張レイヤ動きベクトル情報としてコスト関数算出部９１２に供給する。
【０１９７】
コスト関数算出部９１２は、動きベクトル情報とモード判定とについて、コスト関数を定義する。
【０１９８】
モード判定部９１３は、コスト関数算出部９１２で定義されたコスト関数を用いてマージを行うか、基本レイヤの動きベクトルを参照するか、通常の動き補償処理を行うか予測モードの判定を行う。
【０１９９】
動き補償部９１４は、コスト関数が最小となるインター予測処理を最適パラメータとして選択し、予測画像を生成して選択部６０に供給するとともに、動き補償パラメータ、動きベクトル情報を可変長符号化部６３に供給する。
【０２００】
なお、上述した実施の形態では、算出した中間動きベクトルＭＶ_ＩＴＭを変換して拡張レイヤの動きベクトルＭＶ_ＥＬとして利用したが、中間動きベクトルＭＶ_ＩＴＭを、動き補償で利用する動きベクトルの候補の一つとして拡張レイヤの動き補償予測処理を行ってもよいし、動きベクトルの予測における予測ベクトルとして用いてもよい。また、本実施の形態では、基本レイヤにおいて動き補償で使用するピクチャをフレーム構造としたが、フィールド単位で処理を行ってもよい。また、予測方法としてフレーム予測とフィールド予測の例を説明するが、マクロブロックに対して、異なったフィールドからの予測の平均を求めるデュアルプライム予測の場合でも、上述したようにピクチャの参照関係に基づいて基本レイヤの動きベクトルから中間動きベクトルを算出することが可能である。
【０２０１】
縮小／インタレース化処理部８３は、入力画像をダウンスケーリングするとともに、インタレース化するものである。
【０２０２】
また、上述した実施の形態では、基本レイヤとしてインタレース化した映像データを用いた例で説明したが、プログレッシブの映像データを用いた場合でも、基本レイヤの動きベクトルから算出した中間動きベクトルを用いて、拡張レイヤの動きベクトルを算出することが可能である。この場合、縮小／インタレース化処理部８３は入力画像をダウンスケーリングする処理のみを行う。
【０２０３】
〔実施の形態２〕
本発明の他の実施の形態について図１７から図２０に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、上記の実施の形態１において示した部材と同一の機能を有する部材には、同一の符号を付し、その説明を省略する。
【０２０４】
本実施の形態において、上記実施の形態１と異なるのは、基本レイヤの動き情報をもとに、拡張レイヤの復号を行う点である。換言すれば、上記実施の形態１では、基本レイヤの動き情報を中間動き情報に変換して、拡張レイヤの復号処理に用いたが、本実施の形態では、中間動き情報に変換することなく、拡張レイヤの復号処理に用いる。
【０２０５】
（動画像復号装置１´）
図１７に、本実施の形態に係る動画像復号装置１´の構成を示す。動画像復号装置１´において、動画像復号装置１と異なるのは、動き情報正規化部２２を備えておらず、かつ動き情報変換処理部２０、動き情報蓄積部２１の代わりに動き情報変換処理部２０´、動き情報蓄積部２１´を備えている点である。
【０２０６】
動き情報蓄積部２１´は、基本レイヤの動き情報ＭＶ_ＢＬをマクロブロック単位で蓄積し、インター予測部１９からの指示に従い、動き情報ＭＶ_ＢＬを動き情報変換処理部２０´に供給する。動き情報蓄積部２１´に蓄積される情報例について、図２０を参照して説明する。図２０に示すように、動き情報蓄積部２１´には、ピクチャ単位でピクチャ番号差分値とフィールドレートとが、マクロブロック単位で動きベクトルの方向（前方予測動きベクトル、後方予測動きベクトル）と、水平成分であるか、垂直成分であるかを示す情報が、マクロブロックと対応付けられて動き情報として蓄積されている。
【０２０７】
ピクチャ番号差分値は、例えば、基本レイヤがＭＰＥＧ−２の場合、ピクチャヘッダから取得した現在のピクチャ番号と参照ピクチャのピクチャ番号の差分を取ることで算出できる。また、基本レイヤと拡張レイヤとで共通となるピクチャ番号が定義されている場合、スライスヘッダから取得した現在のピクチャ番号との差分を取ることで算出できる。すなわち、ピクチャ番号差分値は、動きベクトルの参照元と参照先のピクチャの時間間隔を示すものであればよい。
【０２０８】
フレームレートは、基本レイヤと拡張レイヤとの表示レートが異なる場合に用いる。フレームレートは、シーケンスヘッダから取得することができる。本実施の形態では、基本レイヤがインタレースなのでフィールドレートに変換している。
【０２０９】
なお、本実施の形態では、基本レイヤと拡張レイヤとでフレームレート（フィールドレート）が一致している前提で記載したが、フレームレートが異なり、かつ逓倍の場合は、拡張レイヤフレームレート/基本レイヤフレームレート”をＭＶ_ＢＬに乗算して、時間方向のスケールを合わせてＭＶ_ＥＬを求めればよい。
【０２１０】
動き情報変換処理部２０´は、拡張レイヤでのピクチャ参照関係に基づき、動き情報蓄積部２１´に蓄積されている動きベクトルＭＶ_ＢＬをスケーリングして、インター予測部１９が用いる動きベクトルＭＶ_ＥＬを導出する。
【０２１１】
（動きベクトルの導出方法２−１）
次にインター予測部１９が用いる動きベクトルを導出する方法について、図１８を参照して説明する。ここでは、基本レイヤで、フレーム構造におけるフィールド予測を行っている場合の拡張レイヤで用いる動きベクトルの導出処理について説明する。
【０２１２】
まず、処理対象はフレームｂ３とする。そして、フレームｂ３は、前方参照ピクチャとしてＢ１を、後方参照ピクチャとしてＩ４を、階層間参照ピクチャとして基本レイヤのＢＢ１を用いることとする。これらの参照ピクチャは、処理対象フレームｂ３が復号される時点で、すでに復号処理が完了している。
【０２１３】
フレームｂ３の予測ブロックＰＵで用いる動きベクトルＭＶ_ＥＬ（１）_ｅを基本レイヤから導出する場合を考える。この場合、フレームｂ３に対応する、基本レイヤのフレームＢＢ１の予測ブロックＰＵに対応するマクロブロックａを処理する際に用いた動きベクトルを利用する。本実施例では、マクロブロックａは、フレームｂ３の予測ブロックＰＵの中心点に対応する座標にある基本レイヤのマクロブロックをマクロブロックａとする。
【０２１４】
上述したようにフレームＢＢ１はフレーム構造としてフィールド予測により処理されている。ここでは、フレームＢＢ１は後方参照ピクチャとして、フィールドＩ２１、Ｉ２２を参照し、マクロブロックａがそれぞれの参照ピクチャを参照して動きベクトルＭＶ_ＢＬ（１−１）_ｅ、ＭＶ_ＢＬ（１−２）_ｅにより処理されているものとする。
【０２１５】
マクロブロックａはフィールド予測にて動きベクトルを算出しているので、ＭＶ_ＢＬ（１−１）_ｅ、 ＭＶ_ＢＬ（１−２）_ｅの参照元フィールドはそれぞれＢ０１、Ｂ０２となる。処理対象のフレームｂ３に対応する基本レイヤのフィールドはＢ１２なので、インター予測部１９は動き情報蓄積部２１に蓄積された動きベクトルＭＶ_ＢＬ（１−２）_ｅを用いて動き補償を行う。
【０２１６】
具体的には、まず、インター予測部１９は、処理対象のｂ３に対応する基本レイヤのフレームＢＢ１を特定する。そして、フレームＢＢ１の対応するマクロブロックを処理する際に用いた動きベクトル情報（ＭＶ_ＢＬ（１−１）_ｅ、ＭＶ_ＢＬ（１−２）_ｅ）のうち、処理対象のｂ３に対応する基本レイヤのフレームＢ１２を処理する際に用いた動きベクトルＭＶ_ＢＬ（１−２）_ｅを動き情報蓄積部２１´から動き情報変換処理部２０´に供給させる。
【０２１７】
動き情報変換処理部２０´は、式（９）に従い、動きベクトルＭＶ_ＢＬ（１−２）_ｅから動きベクトルＭＶ_ＥＬ（１）_ｅを算出する。
【０２１８】
MV_EL(1)_e=MV_BL(1-2)_e×tb_e/td_e×スケーリング処理    式（９）
ここで、スケーリング処理とは、ＥＬ解像度／ＢＬ解像度であり、tb/tdは、各ピクチャの時間方向の距離の比である。
【０２１９】
（動きベクトルの導出方法２−２）
次に、基本レイヤで、フレーム構造におけるフレーム予測を行っている場合の拡張レイヤで用いる動きベクトルを導出処理について、図１９を参照して説明する。
【０２２０】
ここでは、復号対象は、ｂ３であるとする。まず、インター予測部１９は、処理対象のｂ３に対応する基本レイヤのフレームＢ１を特定する。そして、フレームＢ１の対応するマクロブロックを処理する際に用いた動きベクトルＭＶ_ＢＬ（１）_ｆを動き情報蓄積部２１´から動き情報変換処理部２０´に供給させる。
【０２２１】
動き情報変換処理部２０´は、動きベクトルＭＶ_ＢＬ（１）_ｆから式（１０）を用いて動きベクトルＭＶ_ＥＬ（１）_ｆを算出する。
【０２２２】
MV_EL(1)_f=MV_BL(1)_f×tb_f/td_f×スケーリング処理    式（１０）
（動画像符号化装置２´）
次に、動画像符号化装置２´について、図２３を参照して説明する。動画像符号化装置２´において、動画像符号化装置２と異なるのは、動き情報正規化部５４を備えていない点と、動き情報変換処理部５２、動き情報蓄積部５３に代えて動き情報変換処理部５２´、動き情報蓄積部５３´が備えられている点である。
【０２２３】
なお、動き情報変換処理部５２´、動き情報蓄積部５３´は、動き情報変換処理部２０´、動き情報蓄積部２１´と同様の機能を有するものである。
【０２２４】
なお、本実施の形態では、基本レイヤの動き情報から算出した動きベクトルを利用して拡張レイヤの動き補償予測を行うこととしたが、算出した動きベクトルを動き補償で利用する動きベクトルの候補の一つとして拡張レイヤの動き補償予測処理を行ってもよいし、動きベクトルの予測における予測ベクトルとして用いてもよい。例えば、マージモードやメディアン予測で使用する動きベクトルの候補の一つとして基本レイヤの動き情報から算出した動きベクトルを用いてもよい。
【０２２５】
また、本実施の形態では、基本レイヤにおいて動き補償で使用するピクチャをフレーム構造としたが、フィールド単位で処理を行ってもよい。また、予測方法としてフレーム予測とフィールド予測の例を説明するが、マクロブロックに対して、異なったフィールドからの予測の平均を求めるデュアルプライム予測の場合でも、上述したように各レイヤのピクチャの参照関係に基づいて基本レイヤから拡張レイヤへの動きベクトルを算出することが可能である。
【０２２６】
また、上述した実施の形態では、基本レイヤとしてインタレース化した映像データを用いた例で説明したが、プログレッシブの映像データを用いた場合でも、基本レイヤの動きベクトルから算出した中間動きベクトルを用いて、拡張レイヤの動きベクトルを算出することが可能である。
【０２２７】
（付記事項１）
上述した動画像符号化装置２及び動画像復号装置１は、動画像の送信、受信、記録、再生を行う各種装置に搭載して利用することができる。なお、動画像は、カメラ等により撮像された自然動画像であってもよいし、コンピュータ等により生成された人工動画像（ＣＧおよびＧＵＩを含む）であってもよい。
【０２２８】
まず、上述した動画像符号化装置２及び動画像復号装置１を、動画像の送信及び受信に利用できることを、図２０を参照して説明する。
【０２２９】
図２０の（ａ）は、動画像符号化装置２を搭載した送信装置ＰＲＯＤ＿Ａの構成を示したブロック図である。図２０の（ａ）に示すように、送信装置ＰＲＯＤ＿Ａは、動画像を符号化することによって符号化データを得る符号化部ＰＲＯＤ＿Ａ１と、符号化部ＰＲＯＤ＿Ａ１が得た符号化データで搬送波を変調することによって変調信号を得る変調部ＰＲＯＤ＿Ａ２と、変調部ＰＲＯＤ＿Ａ２が得た変調信号を送信する送信部ＰＲＯＤ＿Ａ３と、を備えている。上述した動画像符号化装置２は、この符号化部ＰＲＯＤ＿Ａ１として利用される。
【０２３０】
送信装置ＰＲＯＤ＿Ａは、符号化部ＰＲＯＤ＿Ａ１に入力する動画像の供給源として、動画像を撮像するカメラＰＲＯＤ＿Ａ４、動画像を記録した記録媒体ＰＲＯＤ＿Ａ５、動画像を外部から入力するための入力端子ＰＲＯＤ＿Ａ６、及び、画像を生成または加工する画像処理部Ａ７を更に備えていてもよい。図２０の（ａ）においては、これら全てを送信装置ＰＲＯＤ＿Ａが備えた構成を例示しているが、一部を省略しても構わない。
【０２３１】
なお、記録媒体ＰＲＯＤ＿Ａ５は、符号化されていない動画像を記録したものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化された動画像を記録したものであってもよい。後者の場合、記録媒体ＰＲＯＤ＿Ａ５と符号化部ＰＲＯＤ＿Ａ１との間に、記録媒体ＰＲＯＤ＿Ａ５から読み出した符号化データを記録用の符号化方式に従って復号する復号部（不図示）を介在させるとよい。
【０２３２】
図２０の（ｂ）は、動画像復号装置１を搭載した受信装置ＰＲＯＤ＿Ｂの構成を示したブロック図である。図２０の（ｂ）に示すように、受信装置ＰＲＯＤ＿Ｂは、変調信号を受信する受信部ＰＲＯＤ＿Ｂ１と、受信部ＰＲＯＤ＿Ｂ１が受信した変調信号を復調することによって符号化データを得る復調部ＰＲＯＤ＿Ｂ２と、復調部ＰＲＯＤ＿Ｂ２が得た符号化データを復号することによって動画像を得る復号部ＰＲＯＤ＿Ｂ３と、を備えている。上述した動画像復号装置１は、この復号部ＰＲＯＤ＿Ｂ３として利用される。
【０２３３】
受信装置ＰＲＯＤ＿Ｂは、復号部ＰＲＯＤ＿Ｂ３が出力する動画像の供給先として、動画像を表示するディスプレイＰＲＯＤ＿Ｂ４、動画像を記録するための記録媒体ＰＲＯＤ＿Ｂ５、及び、動画像を外部に出力するための出力端子ＰＲＯＤ＿Ｂ６を更に備えていてもよい。図２０の（ｂ）においては、これら全てを受信装置ＰＲＯＤ＿Ｂが備えた構成を例示しているが、一部を省略しても構わない。
【０２３４】
なお、記録媒体ＰＲＯＤ＿Ｂ５は、符号化されていない動画像を記録するためのものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化されたものであってもよい。後者の場合、復号部ＰＲＯＤ＿Ｂ３と記録媒体ＰＲＯＤ＿Ｂ５との間に、復号部ＰＲＯＤ＿Ｂ３から取得した動画像を記録用の符号化方式に従って符号化する符号化部（不図示）を介在させるとよい。
【０２３５】
なお、変調信号を伝送する伝送媒体は、無線であってもよいし、有線であってもよい。また、変調信号を伝送する伝送態様は、放送（ここでは、送信先が予め特定されていない送信態様を指す）であってもよいし、通信（ここでは、送信先が予め特定されている送信態様を指す）であってもよい。すなわち、変調信号の伝送は、無線放送、有線放送、無線通信、及び有線通信の何れによって実現してもよい。
【０２３６】
例えば、地上デジタル放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を無線放送で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である。また、ケーブルテレビ放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を有線放送で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である。
【０２３７】
また、インターネットを用いたＶＯＤ（Video On Demand）サービスや動画共有サービスなどのサーバ（ワークステーションなど）／クライアント（テレビジョン受像機、パーソナルコンピュータ、スマートフォンなど）は、変調信号を通信で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である（通常、ＬＡＮにおいては伝送媒体として無線又は有線の何れかが用いられ、ＷＡＮにおいては伝送媒体として有線が用いられる）。ここで、パーソナルコンピュータには、デスクトップ型ＰＣ、ラップトップ型ＰＣ、及びタブレット型ＰＣが含まれる。また、スマートフォンには、多機能携帯電話端末も含まれる。
【０２３８】
なお、動画共有サービスのクライアントは、サーバからダウンロードした符号化データを復号してディスプレイに表示する機能に加え、カメラで撮像した動画像を符号化してサーバにアップロードする機能を有している。すなわち、動画共有サービスのクライアントは、送信装置ＰＲＯＤ＿Ａ及び受信装置ＰＲＯＤ＿Ｂの双方として機能する。
【０２３９】
次に、上述した動画像符号化装置２及び動画像復号装置１を、動画像の記録及び再生に利用できることを、図２１を参照して説明する。
【０２４０】
図２１の（ａ）は、上述した動画像符号化装置２を搭載した記録装置ＰＲＯＤ＿Ｃの構成を示したブロック図である。図２１の（ａ）に示すように、記録装置ＰＲＯＤ＿Ｃは、動画像を符号化することによって符号化データを得る符号化部ＰＲＯＤ＿Ｃ１と、符号化部ＰＲＯＤ＿Ｃ１が得た符号化データを記録媒体ＰＲＯＤ＿Ｍに書き込む書込部ＰＲＯＤ＿Ｃ２と、を備えている。上述した動画像符号化装置２は、この符号化部ＰＲＯＤ＿Ｃ１として利用される。
【０２４１】
なお、記録媒体ＰＲＯＤ＿Ｍは、（１）ＨＤＤ（Hard Disk Drive）やＳＳＤ(Solid State Drive)などのように、記録装置ＰＲＯＤ＿Ｃに内蔵されるタイプのものであってもよいし、（２）ＳＤメモリカードやＵＳＢ（Universal Serial Bus）フラッシュメモリなどのように、記録装置ＰＲＯＤ＿Ｃに接続されるタイプのものであってもよいし、（３）ＤＶＤ（Digital Versatile Disc）やＢＤ（Blu-ray Disc:登録商標）などのように、記録装置ＰＲＯＤ＿Ｃに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。
【０２４２】
また、記録装置ＰＲＯＤ＿Ｃは、符号化部ＰＲＯＤ＿Ｃ１に入力する動画像の供給源として、動画像を撮像するカメラＰＲＯＤ＿Ｃ３、動画像を外部から入力するための入力端子ＰＲＯＤ＿Ｃ４、動画像を受信するための受信部ＰＲＯＤ＿Ｃ５、及び、画像を生成または加工する画像処理部Ｃ６を更に備えていてもよい。図２１の（ａ）においては、これら全てを記録装置ＰＲＯＤ＿Ｃが備えた構成を例示しているが、一部を省略しても構わない。
【０２４３】
なお、受信部ＰＲＯＤ＿Ｃ５は、符号化されていない動画像を受信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを受信するものであってもよい。後者の場合、受信部ＰＲＯＤ＿Ｃ５と符号化部ＰＲＯＤ＿Ｃ１との間に、伝送用の符号化方式で符号化された符号化データを復号する伝送用復号部（不図示）を介在させるとよい。
【０２４４】
このような記録装置ＰＲＯＤ＿Ｃとしては、例えば、ＤＶＤレコーダ、ＢＤレコーダ、ＨＤＤ（Hard Disk Drive）レコーダなどが挙げられる（この場合、入力端子ＰＲＯＤ＿Ｃ４又は受信部ＰＲＯＤ＿Ｃ５が動画像の主な供給源となる）。また、カムコーダ（この場合、カメラＰＲＯＤ＿Ｃ３が動画像の主な供給源となる）、パーソナルコンピュータ（この場合、受信部ＰＲＯＤ＿Ｃ５又は画像処理部Ｃ６が動画像の主な供給源となる）、スマートフォン（この場合、カメラＰＲＯＤ＿Ｃ３又は受信部ＰＲＯＤ＿Ｃ５が動画像の主な供給源となる）なども、このような記録装置ＰＲＯＤ＿Ｃの一例である。
【０２４５】
図２１の（ｂ）は、上述した動画像復号装置１を搭載した再生装置ＰＲＯＤ＿Ｄの構成を示したブロックである。図２１の（ｂ）に示すように、再生装置ＰＲＯＤ＿Ｄは、記録媒体ＰＲＯＤ＿Ｍに書き込まれた符号化データを読み出す読出部ＰＲＯＤ＿Ｄ１と、読出部ＰＲＯＤ＿Ｄ１が読み出した符号化データを復号することによって動画像を得る復号部ＰＲＯＤ＿Ｄ２と、を備えている。上述した動画像復号装置１は、この復号部ＰＲＯＤ＿Ｄ２として利用される。
【０２４６】
なお、記録媒体ＰＲＯＤ＿Ｍは、（１）ＨＤＤやＳＳＤなどのように、再生装置ＰＲＯＤ＿Ｄに内蔵されるタイプのものであってもよいし、（２）ＳＤメモリカードやＵＳＢフラッシュメモリなどのように、再生装置ＰＲＯＤ＿Ｄに接続されるタイプのものであってもよいし、（３）ＤＶＤやＢＤなどのように、再生装置ＰＲＯＤ＿Ｄに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。
【０２４７】
また、再生装置ＰＲＯＤ＿Ｄは、復号部ＰＲＯＤ＿Ｄ２が出力する動画像の供給先として、動画像を表示するディスプレイＰＲＯＤ＿Ｄ３、動画像を外部に出力するための出力端子ＰＲＯＤ＿Ｄ４、及び、動画像を送信する送信部ＰＲＯＤ＿Ｄ５を更に備えていてもよい。図２１の（ｂ）においては、これら全てを再生装置ＰＲＯＤ＿Ｄが備えた構成を例示しているが、一部を省略しても構わない。
【０２４８】
なお、送信部ＰＲＯＤ＿Ｄ５は、符号化されていない動画像を送信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを送信するものであってもよい。後者の場合、復号部ＰＲＯＤ＿Ｄ２と送信部ＰＲＯＤ＿Ｄ５との間に、動画像を伝送用の符号化方式で符号化する符号化部（不図示）を介在させるとよい。
【０２４９】
このような再生装置ＰＲＯＤ＿Ｄとしては、例えば、ＤＶＤプレイヤ、ＢＤプレイヤ、ＨＤＤプレイヤなどが挙げられる（この場合、テレビジョン受像機等が接続される出力端子ＰＲＯＤ＿Ｄ４が動画像の主な供給先となる）。また、テレビジョン受像機（この場合、ディスプレイＰＲＯＤ＿Ｄ３が動画像の主な供給先となる）、デジタルサイネージ（電子看板や電子掲示板等とも称され、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、デスクトップ型ＰＣ（この場合、出力端子ＰＲＯＤ＿Ｄ４又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、ラップトップ型又はタブレット型ＰＣ（この場合、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、スマートフォン（この場合、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）なども、このような再生装置ＰＲＯＤ＿Ｄの一例である。
【０２５０】
（付記事項２）
最後に、動画像復号装置１（１´）、動画像符号化装置２（２´）の各ブロックは、集積回路（ＩＣチップ）上に形成された論理回路によってハードウェア的に実現していてもよいし、ＣＰＵ（central processing unit）を用いてソフトウェア的に実現してもよい。
【０２５１】
後者の場合、動画像復号装置１（１´）、動画像符号化装置２（２´）は、各機能を実現する制御プログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである動画像復号装置１（１´）、動画像符号化装置２（２´）の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記の動画像復号装置１（１´）、動画像符号化装置２（２´）に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ（micro processing unit））が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０２５２】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ（compact disc read-only memory）／ＭＯ（magneto-optical）／ＭＤ（Mini Disc）／ＤＶＤ（digital versatile disk）／ＣＤ−Ｒ（CD Recordable）等の光ディスクを含むディスク類、ＩＣカード（メモリカードを含む）／光カード等のカード類、マスクＲＯＭ／ＥＰＲＯＭ（erasable programmable read-only memory）／ＥＥＰＲＯＭ（electrically erasable and programmable read-only memory）／フラッシュＲＯＭ等の半導体メモリ類、あるいはＰＬＤ（Programmable logic device）やＦＰＧＡ（Field Programmable Gate Array）等の論理回路類などを用いることができる。
【０２５３】
また、動画像復号装置１（１´）、動画像符号化装置２（２´）を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ（local area network）、ＩＳＤＮ（integrated services digital network）、ＶＡＮ（value-added network）、ＣＡＴＶ（community antenna television）通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、ＩＥＥＥ（institute of electrical and electronic engineers）１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（asynchronous digital subscriber loop）回線等の有線でも、ＩｒＤＡ（infrared data association）やリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ（high data rate）、ＮＦＣ（Near Field Communication）、ＤＬＮＡ（Digital Living Network Alliance）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【０２５４】
本発明は上述した各実施の形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【０２５５】
本発明は、スケーラブル符号化により符号化を行う画像符号化装置、画像復号装置に好適に用いることができる。
【符号の説明】
【０２５６】
１、１´    動画像復号装置
３１    可変長復号部（第１レイヤ動きベクトル復号手段）
２０、２０´    動き情報変換処理部（第２レイヤ動きベクトル導出手段）
２２    動き情報正規化部（中間的動きベクトル導出手段）
２、２´    動画像符号化装置
５２、５２´    動き情報変換処理部（第２レイヤ動きベクトル導出手段）
５４    動き情報正規化部（中間的動きベクトル導出手段）
【図１】
2013232775.tif 000003
【図２】
2013232775.tif 000004
【図３】
2013232775.tif 000005
【図４】
2013232775.tif 000006
【図５】
2013232775.tif 000007
【図６】
2013232775.tif 000008
【図７】
2013232775.tif 000009
【図８】
2013232775.tif 000010
【図９】
2013232775.tif 000011
【図１０】
2013232775.tif 000012
【図１１】
2013232775.tif 000013
【図１２】
2013232775.tif 000014
【図１３】
2013232775.tif 000015
【図１４】
2013232775.tif 000016
【図１５】
2013232775.tif 000017
【図１６】
2013232775.tif 000018
【図１７】
2013232775.tif 000019
【図１８】
2013232775.tif 000020
【図１９】
2013232775.tif 000021
【図２０】
2013232775.tif 000022
【図２１】
2013232775.tif 000023
【図２２】
2013232775.tif 000024
【図２３】
2013232775.tif 000025
【図２４】
2013232775.tif 000026
【図２５】
2013232775.tif 000027