(57)【特許請求の範囲】
【請求項１】
入力映像に対するスケーラブル符号化が可能な動画像符号化装置であって、
前記入力映像を、当該入力映像の映像フォーマットとは異なる映像フォーマットの映像に変換して、変換後映像を生成する映像フォーマット変換手段と、
前記映像フォーマット変換手段により前記変換後映像を生成する際に失われた情報を予測する符号化側予測手段と、
前記符号化側予測手段による予測結果を用いて、前記入力映像を符号化する第１の符号化手段と、
前記映像フォーマット変換手段により生成された前記変換後映像を符号化する第２の符号化手段と、
前記第１の符号化手段による符号化結果と、前記第２の符号化手段による符号化結果と、を多重化して、映像フォーマットに関するスケーラビリティを有する圧縮データを生成する多重化手段と、を備え、
前記映像フォーマット変換手段は、前記変換後映像として、前記入力映像のフォーマットと異なるフォーマットで、かつ、１画素あたりのデータ量が当該入力映像より少ない映像フォーマットの映像を生成し、
前記符号化側予測手段は、ベースレイヤの復号画像を構成する複数の成分のうちの１つの画素値を用いて、前記失われた情報を予測し、
前記第１の符号化手段は、既存の標準方式により前記ベースレイヤの符号化を行うことを特徴とする動画像符号化装置。
【請求項２】
前記入力映像についての復号画像を構成する複数の成分のうちの１つである特定成分と、前記変換後映像についての復号画像を構成する複数の成分のうちの１つである所定成分と、は対関係にあり、
前記符号化側予測手段は、前記入力映像についての復号画像の前記特定成分の画素値と、前記変換後映像についての復号画像の前記所定成分の画素値と、を用いて、多項式近似に基づき、前記映像フォーマット変換手段により当該入力映像から当該変換後映像を生成した際に失われた成分の予測値を生成することを特徴とする請求項１に記載の動画像符号化装置。
【請求項３】
前記入力映像についての復号画像を構成する複数の成分のうちの１つである特定成分と、前記変換後映像についての復号画像を構成する複数の成分のうちの１つである所定成分と、は対関係にあり、
前記符号化側予測手段は、前記入力映像についての復号画像の前記特定成分の画素値と、前記変換後映像についての復号画像の前記所定成分の画素値と、を用いて、処理画素値の誤差が最小となる補間フィルタに基づき、前記映像フォーマット変換手段により当該入力映像から当該変換後映像を生成した際に失われた成分の予測値を生成することを特徴とする請求項１に記載の動画像符号化装置。
【請求項４】
前記入力映像についての復号画像を構成する複数の成分のうちの１つである特定成分と、前記変換後映像についての復号画像を構成する複数の成分のうちの１つである所定成分と、は対関係にあり、
前記符号化側予測手段は、前記入力映像についての復号画像の前記特定成分の画素値と、前記変換後映像についての復号画像の前記所定成分の画素値と、を用いて、非線形補間処理に基づき、前記映像フォーマット変換手段により当該入力映像から当該変換後映像を生成した際に失われた成分の予測値を生成することを特徴とする請求項１に記載の動画像符号化装置。
【請求項５】
請求項１から４のいずれかの動画像符号化装置で生成された圧縮データに対するスケーラブル復号が可能な動画像復号装置であって、
前記圧縮データから、映像の符号化結果を映像フォーマットごとに取り出す逆多重化手段と、
前記逆多重化手段により取り出された映像フォーマットごとの符号化結果を復号する復号手段と、
前記映像フォーマット変換手段により前記入力映像から前記変換後映像を生成した際に失われた情報を予測する復号側予測手段と、
前記復号手段により復号された映像と、前記復号側予測手段による予測結果と、を用いて、前記入力映像を求める第１の映像出力手段と、
前記復号手段により復号された映像に基づいて、前記変換後映像を求める第２の映像出力手段と、を備えることを特徴とする動画像復号装置。
【請求項６】
前記復号手段は、既存の標準方式により符号化されたベースレイヤの符号化結果の復号と、前記逆多重化手段により取り出された符号化結果のうち当該ベースレイヤとは異なるエンハンスメントレイヤの符号化結果の復号と、を行い、
前記復号側予測手段は、前記ベースレイヤの復号画像を構成する複数の成分のうちの１つである特定成分の画素値を用いて、前記失われた情報を予測することを特徴とする請求項５に記載の動画像復号装置。
【請求項７】
前記復号側予測手段は、前記ベースレイヤの復号画像の前記特定成分の画素値と、前記エンハンスメントレイヤの復号画像を構成する複数の成分のうちの１つである所定成分の画素値と、を用いて、多項式近似に基づき、前記映像フォーマット変換手段により前記入力映像から前記変換後映像を生成した際に失われた成分の予測値を生成することを特徴とする請求項６に記載の動画像復号装置。
【請求項８】
前記復号側予測手段は、前記ベースレイヤの復号画像の前記特定成分の画素値と、前記エンハンスメントレイヤの復号画像を構成する複数の成分のうちの１つである所定成分の画素値と、を用いて、処理画素値の誤差が最小となる補間フィルタに基づき、前記映像フォーマット変換手段により前記入力映像から前記変換後映像を生成した際に失われた成分の予測値を生成することを特徴とする請求項６に記載の動画像復号装置。
【請求項９】
前記復号側予測手段は、前記ベースレイヤの復号画像の前記特定成分の画素値と、前記エンハンスメントレイヤの復号画像を構成する複数の成分のうちの１つである所定成分の画素値と、を用いて、非線形補間処理に基づき、前記映像フォーマット変換手段により前記入力映像から前記変換後映像を生成した際に失われた成分の予測値を生成することを特徴とする請求項６に記載の動画像復号装置。
【請求項１０】
映像フォーマット変換手段、符号化側予測手段、第１の符号化手段、第２の符号化手段、および多重化手段を備え、入力映像に対するスケーラブル符号化が可能な動画像符号化装置における動画像符号化方法であって、
前記映像フォーマット変換手段が、前記入力映像を、当該入力映像の映像フォーマットとは異なる映像フォーマットの映像に変換して、変換後映像を生成する第１のステップと、
前記符号化側予測手段が、前記映像フォーマット変換手段により前記変換後映像を生成する際に失われた情報を予測する第２のステップと、
前記第１の符号化手段が、前記符号化側予測手段による予測結果を用いて、前記入力映像を符号化する第３のステップと、
前記第２の符号化手段が、前記映像フォーマット変換手段により変換された映像を符号化する第４のステップと、
前記多重化手段が、前記第１の符号化手段による符号化結果と、前記第２の符号化手段による符号化結果と、を多重化して、映像フォーマットに関するスケーラビリティを有する圧縮データを生成する第５のステップと、を備え、
前記第１のステップでは、前記映像フォーマット変換手段が、前記変換後映像として、前記入力映像のフォーマットと異なるフォーマットで、かつ、１画素あたりのデータ量が当該入力映像より少ない映像フォーマットの映像を生成し、
前記第２のステップでは、前記符号化側予測手段が、ベースレイヤの復号画像を構成する複数の成分のうちの１つの画素値を用いて、前記失われた情報を予測し、
前記第３のステップでは、前記第１の符号化手段が、既存の標準方式により前記ベースレイヤの符号化を行うことを特徴とする動画像符号化方法。
【請求項１１】
逆多重化手段、復号手段、復号側予測手段、第１の映像出力手段、および第２の映像出力手段を備え、請求項１０の動画像符号化装置で生成された圧縮データに対するスケーラブル復号が可能な動画像復号装置における動画像復号方法であって、
前記逆多重化手段が、前記圧縮データから、映像の符号化結果を映像フォーマットごとに取り出す第６のステップと、
前記復号手段が、前記逆多重化手段により取り出された映像フォーマットごとの符号化結果を復号する第７のステップと、
前記復号側予測手段が、前記映像フォーマット変換手段により前記入力映像から前記変換後映像を生成した際に失われた情報を予測する第８のステップと、
前記第１の映像出力手段が、前記復号手段により復号された映像と、前記復号側予測手段による予測結果と、を用いて、前記入力映像を求める第９のステップと、
前記第２の映像出力手段が、前記復号手段により復号された映像に基づいて、前記変換後映像を求める第１０のステップと、を備えることを特徴とする動画像復号方法。
【請求項１２】
映像フォーマット変換手段、符号化側予測手段、第１の符号化手段、第２の符号化手段、および多重化手段を備え、入力映像に対するスケーラブル符号化が可能な動画像符号化装置における動画像符号化方法を、コンピュータに実行させるためのプログラムであって、
前記映像フォーマット変換手段が、前記入力映像を、当該入力映像の映像フォーマットとは異なる映像フォーマットの映像に変換して、変換後映像を生成する第１のステップと、
前記符号化側予測手段が、前記映像フォーマット変換手段により前記変換後映像を生成する際に失われた情報を予測する第２のステップと、
前記第１の符号化手段が、前記符号化側予測手段による予測結果を用いて、前記入力映像を符号化する第３のステップと、
前記第２の符号化手段が、前記映像フォーマット変換手段により変換された映像を符号化する第４のステップと、
前記多重化手段が、前記第１の符号化手段による符号化結果と、前記第２の符号化手段による符号化結果と、を多重化して、映像フォーマットに関するスケーラビリティを有する圧縮データを生成する第５のステップと、をコンピュータに実行させ、
前記第１のステップでは、前記映像フォーマット変換手段が、前記変換後映像として、前記入力映像のフォーマットと異なるフォーマットで、かつ、１画素あたりのデータ量が当該入力映像より少ない映像フォーマットの映像を生成し、
前記第２のステップでは、前記符号化側予測手段が、ベースレイヤの復号画像を構成する複数の成分のうちの１つの画素値を用いて、前記失われた情報を予測し、
前記第３のステップでは、前記第１の符号化手段が、既存の標準方式により前記ベースレイヤの符号化を行うためのプログラム。
【請求項１３】
逆多重化手段、復号手段、復号側予測手段、第１の映像出力手段、および第２の映像出力手段を備え、請求項１２の動画像符号化装置で生成された圧縮データに対するスケーラブル復号が可能な動画像復号装置における動画像復号方法を、コンピュータに実行させるためのプログラムであって、
前記逆多重化手段が、前記圧縮データから、映像の符号化結果を映像フォーマットごとに取り出す第６のステップと、
前記復号手段が、前記逆多重化手段により取り出された映像フォーマットごとの符号化結果を復号する第７のステップと、
前記復号側予測手段が、前記映像フォーマット変換手段により前記入力映像から前記変換後映像を生成した際に失われた情報を予測する第８のステップと、
前記第１の映像出力手段が、前記復号手段により復号された映像と、前記復号側予測手段による予測結果と、を用いて、前記入力映像を求める第９のステップと、
前記第２の映像出力手段が、前記復号手段により復号された映像に基づいて、前記変換後映像を求める第１０のステップと、をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラムに関する。
【背景技術】
【０００２】
従来、映像信号における画素値表現方法に関しては、ＹＵＶやＲＧＢなどのフォーマットが定義されている。また、各フォーマットでは、色成分のサンプリング方法が定義されているとともに、色成分の表現ビット数も複数定義されている。
【０００３】
以降では、フォーマットやサンプリング方法やビット数の組み合わせを総称して、映像フォーマットと呼ぶこととする。この映像フォーマット間では、画素値の間引きや補間処理などにより、映像を互いに変換することが可能である。
【０００４】
なお、フォーマットとは、例えばＹＵＶやＲＧＢやＬａｂやＣＭＹＫなどのことである。また、サンプリング方法とは、例えばＹＵＶであれば、４：４：４や４：２：２や４：２：０のことである。また、ビット数とは、１画素あたりのビット数のことである。
【０００５】
一方、Ｈ．２６４（例えば、非特許文献１参照）に代表される映像圧縮符号化技術では、入出力映像は、所定の映像フォーマットに対応しており、用途に応じて使い分けることが可能である。また、Ｈ．２６４では、スケーラブル性を有する映像ストリームを生成可能なプロファイル（ＳＶＣ  ｐｒｏｆｉｌｅ）が設けられており、このプロファイルでは、例えば解像度スケーラビリティが定義されている。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】Joint  Video  Team(JVT)  of  ISO/IEC  MPEG  and  ITU-T  VCEG,  “Text  of  ISO/IEC  14496-10  Advanced  Video  Coding,”
【発明の概要】
【発明が解決しようとする課題】
【０００７】
Ｈ．２６４に代表される映像圧縮符号化技術では、映像フォーマット間のスケーラビリティが定義されていない。このため、映像フォーマットの異なる映像については、絵柄が同じであっても、映像フォーマットごとに映像ストリームを生成する必要があった。したがって、絵柄は同じだが映像フォーマットが異なる映像を、効率的に圧縮することは困難であった。
【０００８】
そこで、本発明は、上述の課題に鑑みてなされたものであり、絵柄は同じだが映像フォーマットが異なる複数の映像を、効率的に圧縮することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、上記の課題を解決するために、以下の事項を提案している。
（１）  本発明は、入力映像に対するスケーラブル符号化が可能な動画像符号化装置であって、前記入力映像を、当該入力映像の映像フォーマットとは異なる映像フォーマットの映像に変換して、変換後映像を生成する映像フォーマット変換手段と、前記映像フォーマット変換手段により前記変換後映像を生成する際に失われた情報を予測する符号化側予測手段と、前記符号化側予測手段による予測結果を用いて、前記入力映像を符号化する第１の符号化手段と、前記映像フォーマット変換手段により生成された前記変換後映像を符号化する第２の符号化手段と、前記第１の符号化手段による符号化結果と、前記第２の符号化手段による符号化結果と、を多重化して、映像フォーマットに関するスケーラビリティを有する圧縮データを生成する多重化手段と、を備えることを特徴とする動画像符号化装置を提案している。
【００１０】
この発明によれば、入力映像に対するスケーラブル符号化が可能な動画像符号化装置に、映像フォーマット変換手段、符号化側予測手段、第１の符号化手段、第２の符号化手段、および多重化手段を設けた。そして、映像フォーマット変換手段により、入力映像を、入力映像の映像フォーマットとは異なる映像フォーマットの映像に変換して、変換後映像を生成することとした。また、符号化側予測手段により、映像フォーマット変換手段により変換後映像を生成する際に失われた情報を予測することとした。また、第１の符号化手段により、符号化側予測手段による予測結果を用いて、入力映像を符号化することとした。また、第２の符号化手段により、映像フォーマット変換手段により生成された変換後映像を符号化することとした。また、多重化手段により、第１の符号化手段による符号化結果と、第２の符号化手段による符号化結果と、を多重化して、映像フォーマットに関するスケーラビリティを有する圧縮データを生成することとした。
【００１１】
映像には、成分間で、画素値の変化について相関性があったり、対関係にあったりする。このため、これら相関性や対関係を用いて、色成分間予測に基づくレイヤ間予測を行うことで、下位レイヤの映像を用いて上位レイヤの色情報を高精度に予測できる。したがって、上位レイヤの映像と下位レイヤの映像とで、絵柄は同じだが映像フォーマットが異なっていても、これら映像を１つの圧縮データとして効率よく圧縮できる。
【００１２】
（２）  本発明は、（１）の動画像符号化装置について、前記映像フォーマット変換手段（例えば、図４の色情報サンプリング部３７に相当）は、前記変換後映像として、前記入力映像（例えば、図４の入力映像ａに相当）のフォーマットと同じフォーマットで、かつ、当該入力映像より色情報の少ない映像フォーマットの映像（例えば、図４の下位レイヤの映像ｘに相当）を生成することを特徴とする動画像符号化装置を提案している。
【００１３】
この発明によれば、（１）の動画像符号化装置において、映像フォーマット変換手段により、変換後映像として、入力映像のフォーマットと同じフォーマットで、かつ、入力映像より色情報の少ない映像フォーマットの映像を生成することとした。このため、上述の成分間での相関性を用いて、色成分間予測に基づくレイヤ間予測を行って、上述した効果と同様の効果を奏することができる。
【００１４】
（３）  本発明は、（２）の動画像符号化装置について、前記第１の符号化手段（例えば、図２のエントロピー符号化部１５と、図３のエントロピー符号化部２５と、に相当）は、既存の標準方式によりベースレイヤの符号化を行い、前記符号化側予測手段（例えば、図２の予測値生成部１２に相当）は、前記ベースレイヤの復号画像の輝度成分の画素値を用いて、前記失われた色情報を予測することを特徴とする動画像符号化装置を提案している。
【００１５】
この発明によれば、（２）の動画像符号化装置において、第１の符号化手段により、既存の標準方式によりベースレイヤの符号化を行い、符号化側予測手段により、ベースレイヤの復号画像の輝度成分の画素値を用いて、失われた色情報を予測することとした。このため、輝度と色情報との相関性を用いて、色成分間予測に基づくレイヤ間予測を行って、上述した効果と同様の効果を奏することができる。
【００１６】
（４）  本発明は、（３）の動画像符号化装置について、前記符号化側予測手段は、前記入力映像についての復号画像の輝度成分の画素値と、前記変換後映像についての復号画像の輝度成分の画素値と、を用いて、多項式近似に基づき、前記映像フォーマット変換手段により当該入力映像から当該変換後映像を生成した際に失われた色差成分の予測値を生成することを特徴とする動画像符号化装置を提案している。
【００１７】
この発明によれば、（３）の動画像符号化装置において、符号化側予測手段により、入力映像についての復号画像の輝度成分の画素値と、変換後映像についての復号画像の輝度成分の画素値と、を用いて、多項式近似に基づき、映像フォーマット変換手段により入力映像から変換後映像を生成した際に失われた色差成分の予測値を生成することとした。このため、輝度と色情報との相関性を用いて、色成分間予測に基づくレイヤ間予測を行って、上述した効果と同様の効果を奏することができる。
【００１８】
（５）  本発明は、（３）の動画像符号化装置について、前記符号化側予測手段は、前記入力映像についての復号画像の輝度成分の画素値と、前記変換後映像についての復号画像の輝度成分の画素値と、を用いて、処理画素値の誤差が最小となる補間フィルタに基づき、前記映像フォーマット変換手段により当該入力映像から当該変換後映像を生成した際に失われた色差成分の予測値を生成することを特徴とする動画像符号化装置を提案している。
【００１９】
この発明によれば、（３）の動画像符号化装置において、符号化側予測手段により、入力映像についての復号画像の輝度成分の画素値と、変換後映像についての復号画像の輝度成分の画素値と、を用いて、処理画素値の誤差が最小となる補間フィルタに基づき、映像フォーマット変換手段により入力映像から変換後映像を生成した際に失われた色差成分の予測値を生成することとした。このため、輝度と色情報との相関性を用いて、色成分間予測に基づくレイヤ間予測を行って、上述した効果と同様の効果を奏することができる。
【００２０】
（６）  本発明は、（３）の動画像符号化装置について、前記符号化側予測手段は、前記入力映像についての復号画像の輝度成分の画素値と、前記変換後映像についての復号画像の輝度成分の画素値と、を用いて、非線形補間処理に基づき、前記映像フォーマット変換手段により当該入力映像から当該変換後映像を生成した際に失われた色差成分の予測値を生成することを特徴とする動画像符号化装置を提案している。
【００２１】
この発明によれば、（３）の動画像符号化装置において、符号化側予測手段により、入力映像についての復号画像の輝度成分の画素値と、変換後映像についての復号画像の輝度成分の画素値と、を用いて、非線形補間処理に基づき、映像フォーマット変換手段により入力映像から変換後映像を生成した際に失われた色差成分の予測値を生成することとした。このため、輝度と色情報との相関性を用いて、色成分間予測に基づくレイヤ間予測を行って、上述した効果と同様の効果を奏することができる。
【００２２】
（７）  本発明は、（１）の動画像符号化装置について、前記映像フォーマット変換手段（例えば、図１１の色フォーマット変換部２２６に相当）は、前記変換後映像として、前記入力映像（例えば、図１１の入力映像αに相当）のフォーマットと異なるフォーマットで、かつ、１画素あたりのデータ量が当該入力映像より少ない映像フォーマットの映像（例えば、図１１の変換後映像θに相当）を生成することを特徴とする動画像符号化装置を提案している。
【００２３】
この発明によれば、（１）の動画像符号化装置において、映像フォーマット変換手段により、変換後映像として、入力映像のフォーマットと異なるフォーマットで、かつ、１画素あたりのデータ量が入力映像より少ない映像フォーマットの映像を生成することとした。このため、上述の成分間での対関係を用いて、色成分間予測に基づくレイヤ間予測を行って、上述した効果と同様の効果を奏することができる。
【００２４】
（８）  本発明は、（７）の動画像符号化装置について、前記第１の符号化手段（例えば、図１０のエントロピー符号化部２１６に相当）は、既存の標準方式によりベースレイヤの符号化を行い、前記符号化側予測手段（例えば、図１０の予測値生成部２１３に相当）は、前記ベースレイヤの復号画像を構成する複数の成分のうちの１つの画素値を用いて、前記失われた情報を予測することを特徴とする動画像符号化装置を提案している。
【００２５】
この発明によれば、（７）の動画像符号化装置において、第１の符号化手段により、既存の標準方式によりベースレイヤの符号化を行い、符号化側予測手段により、ベースレイヤの復号画像を構成する複数の成分のうちの１つの画素値を用いて、失われた情報を予測することとした。このため、例えばＹＵＶフォーマットにおけるＹ成分と、ＲＧＢフォーマットにおけるＧ成分と、のように、予め定められた成分間にある対関係を用いて、色成分間予測に基づくレイヤ間予測を行って、上述した効果と同様の効果を奏することができる。
【００２６】
（９）  本発明は、（８）の動画像符号化装置について、前記入力映像についての復号画像を構成する複数の成分のうちの１つである特定成分（例えば、後述のＲＧＢフォーマットにおけるＧ成分に相当）と、前記変換後映像についての復号画像を構成する複数の成分のうちの１つである所定成分（例えば、後述のＹＵＶフォーマットにおけるＹ成分に相当）と、は対関係にあり、前記符号化側予測手段は、前記入力映像についての復号画像の前記特定成分の画素値と、前記変換後映像についての復号画像の前記所定成分の画素値と、を用いて、多項式近似に基づき、前記映像フォーマット変換手段により当該入力映像から当該変換後映像を生成した際に失われた成分の予測値を生成することを特徴とする動画像符号化装置を提案している。
【００２７】
この発明によれば、（８）の動画像符号化装置において、入力映像についての復号画像を構成する複数の成分のうちの１つである特定成分と、変換後映像についての復号画像を構成する複数の成分のうちの１つである所定成分と、が対関係にある。そして、符号化側予測手段により、入力映像についての復号画像の特定成分の画素値と、変換後映像についての復号画像の所定成分の画素値と、を用いて、多項式近似に基づき、映像フォーマット変換手段により入力映像から変換後映像を生成した際に失われた成分の予測値を生成することとした。このため、例えばＹＵＶフォーマットにおけるＹ成分と、ＲＧＢフォーマットにおけるＧ成分と、のように、予め定められた成分間にある対関係を用いて、色成分間予測に基づくレイヤ間予測を行って、上述した効果と同様の効果を奏することができる。
【００２８】
（１０）  本発明は、（８）の動画像符号化装置について、前記入力映像についての復号画像を構成する複数の成分のうちの１つである特定成分（例えば、後述のＲＧＢフォーマットにおけるＧ成分に相当）と、前記変換後映像についての復号画像を構成する複数の成分のうちの１つである所定成分（例えば、後述のＹＵＶフォーマットにおけるＹ成分に相当）と、は対関係にあり、前記符号化側予測手段は、前記入力映像についての復号画像の前記特定成分の画素値と、前記変換後映像についての復号画像の前記所定成分の画素値と、を用いて、処理画素値の誤差が最小となる補間フィルタに基づき、前記映像フォーマット変換手段により当該入力映像から当該変換後映像を生成した際に失われた成分の予測値を生成することを特徴とする動画像符号化装置を提案している。
【００２９】
この発明によれば、（８）の動画像符号化装置において、入力映像についての復号画像を構成する複数の成分のうちの１つである特定成分と、変換後映像についての復号画像を構成する複数の成分のうちの１つである所定成分と、が対関係にある。そして、符号化側予測手段により、入力映像についての復号画像の特定成分の画素値と、変換後映像についての復号画像の所定成分の画素値と、を用いて、処理画素値の誤差が最小となる補間フィルタに基づき、映像フォーマット変換手段により入力映像から変換後映像を生成した際に失われた成分の予測値を生成することとした。このため、例えばＹＵＶフォーマットにおけるＹ成分と、ＲＧＢフォーマットにおけるＧ成分と、のように、予め定められた成分間にある対関係を用いて、色成分間予測に基づくレイヤ間予測を行って、上述した効果と同様の効果を奏することができる。
【００３０】
（１１）  本発明は、（８）の動画像符号化装置について、前記入力映像についての復号画像を構成する複数の成分のうちの１つである特定成分（例えば、後述のＲＧＢフォーマットにおけるＧ成分に相当）と、前記変換後映像についての復号画像を構成する複数の成分のうちの１つである所定成分（例えば、後述のＹＵＶフォーマットにおけるＹ成分に相当）と、は対関係にあり、前記符号化側予測手段は、前記入力映像についての復号画像の前記特定成分の画素値と、前記変換後映像についての復号画像の前記所定成分の画素値と、を用いて、非線形補間処理に基づき、前記映像フォーマット変換手段により当該入力映像から当該変換後映像を生成した際に失われた成分の予測値を生成することを特徴とする動画像符号化装置を提案している。
【００３１】
この発明によれば、（８）の動画像符号化装置において、入力映像についての復号画像を構成する複数の成分のうちの１つである特定成分と、変換後映像についての復号画像を構成する複数の成分のうちの１つである所定成分と、が対関係にある。そして、符号化側予測手段により、入力映像についての復号画像の特定成分の画素値と、変換後映像についての復号画像の所定成分の画素値と、を用いて、非線形補間処理に基づき、映像フォーマット変換手段により入力映像から変換後映像を生成した際に失われた成分の予測値を生成することとした。このため、例えばＹＵＶフォーマットにおけるＹ成分と、ＲＧＢフォーマットにおけるＧ成分と、のように、予め定められた成分間にある対関係を用いて、色成分間予測に基づくレイヤ間予測を行って、上述した効果と同様の効果を奏することができる。
【００３２】
（１２）  本発明は、（１）〜（６）のいずれかの動画像符号化装置で生成された圧縮データ（例えば、図５の圧縮ストリームｂに相当）に対するスケーラブル復号が可能な動画像復号装置であって、前記圧縮データから、映像の符号化結果を映像フォーマットごとに取り出す逆多重化手段と、前記逆多重化手段により取り出された映像フォーマットごとの符号化結果を復号する復号手段と、前記映像フォーマット変換手段により前記入力映像から前記変換後映像を生成した際に失われた情報を予測する復号側予測手段と、前記復号手段により復号された映像と、前記復号側予測手段による予測結果と、を用いて、前記入力映像を求める第１の映像出力手段と、前記復号手段により復号された映像に基づいて、前記変換後映像を求める第２の映像出力手段と、を備えることを特徴とする動画像復号装置を提案している。
【００３３】
この発明によれば、（１）〜（６）のいずれかの動画像符号化装置で生成された圧縮データに対するスケーラブル復号が可能な動画像復号装置に、逆多重化手段、復号手段、復号側予測手段、第１の映像出力手段、および第２の映像出力手段を設けた。そして、逆多重化手段により、圧縮データから、映像の符号化結果を映像フォーマットごとに取り出すこととした。また、復号手段により、逆多重化手段により取り出された映像フォーマットごとの符号化結果を復号することとした。また、復号側予測手段により、映像フォーマット変換手段により入力映像から変換後映像を生成した際に失われた情報を予測することとした。また、第１の映像出力手段により、復号手段により復号された映像と、復号側予測手段による予測結果と、を用いて、入力映像を求めることとした。また、第２の映像出力手段により、復号手段により復号された映像に基づいて、変換後映像を求めることとした。
【００３４】
映像には、成分間で、画素値の変化について相関性がある場合がある。このため、この相関性を用いて、色成分間予測に基づくレイヤ間予測を行うことで、下位レイヤの映像を用いて上位レイヤの色情報を高精度に予測できる。したがって、１つの圧縮データから、絵柄は同じだが互いに映像フォーマットの異なる映像を復号できる。
【００３５】
（１３）  本発明は、（１２）の動画像復号装置について、前記復号手段（例えば、図６のエントロピー復号部１１１や、図７のエントロピー復号部１２１や、図８のエントロピー復号部１３１に相当）は、既存の標準方式により符号化されたベースレイヤの符号化結果の復号と、前記逆多重化手段（例えば、図５のストリームＤＥＭＵＸ部１４０に相当）により取り出された符号化結果のうち当該ベースレイヤとは異なるエンハンスメントレイヤの符号化結果の復号と、を行い、前記復号側予測手段（例えば、図６の予測値生成部１１４に相当）は、前記ベースレイヤの復号画像の輝度成分の画素値を用いて、前記失われた色情報を予測することを特徴とする動画像復号装置を提案している。
【００３６】
この発明によれば、（１２）の動画像復号装置において、復号手段により、既存の標準方式により符号化されたベースレイヤの符号化結果の復号と、逆多重化手段により取り出された符号化結果のうちベースレイヤとは異なるエンハンスメントレイヤの符号化結果の復号と、を行うこととした。また、復号側予測手段により、ベースレイヤの復号画像の輝度成分の画素値を用いて、失われた色情報を予測することとした。このため、輝度と色情報との相関性を用いて、色成分間予測に基づくレイヤ間予測を行って、上述した効果と同様の効果を奏することができる。
【００３７】
（１４）  本発明は、（１３）の動画像復号装置について、前記復号側予測手段は、前記ベースレイヤの復号画像の輝度成分の画素値と、前記エンハンスメントレイヤの復号画像の輝度成分の画素値と、を用いて、多項式近似に基づき、前記映像フォーマット変換手段により前記入力映像から前記変換後映像を生成した際に失われた色差成分の予測値を生成することを特徴とする動画像復号装置を提案している。
【００３８】
この発明によれば、（１３）の動画像復号装置において、復号側予測手段により、ベースレイヤの復号画像の輝度成分の画素値と、エンハンスメントレイヤの復号画像の輝度成分の画素値と、を用いて、多項式近似に基づき、映像フォーマット変換手段により入力映像から変換後映像を生成した際に失われた色差成分の予測値を生成することとした。このため、輝度と色情報との相関性を用いて、色成分間予測に基づくレイヤ間予測を行って、上述した効果と同様の効果を奏することができる。
【００３９】
（１５）  本発明は、（１３）の動画像復号装置について、前記復号側予測手段は、前記ベースレイヤの復号画像の輝度成分の画素値と、前記エンハンスメントレイヤの復号画像の輝度成分の画素値と、を用いて、処理画素値の誤差が最小となる補間フィルタに基づき、前記映像フォーマット変換手段により前記入力映像から前記変換後映像を生成した際に失われた色差成分の予測値を生成することを特徴とする動画像復号装置を提案している。
【００４０】
この発明によれば、（１３）の動画像復号装置において、復号側予測手段により、ベースレイヤの復号画像の輝度成分の画素値と、エンハンスメントレイヤの復号画像の輝度成分の画素値と、を用いて、処理画素値の誤差が最小となる補間フィルタに基づき、映像フォーマット変換手段により入力映像から変換後映像を生成した際に失われた色差成分の予測値を生成することとした。このため、輝度と色情報との相関性を用いて、色成分間予測に基づくレイヤ間予測を行って、上述した効果と同様の効果を奏することができる。
【００４１】
（１６）  本発明は、（１３）の動画像復号装置について、前記復号側予測手段は、前記ベースレイヤの復号画像の輝度成分の画素値と、前記エンハンスメントレイヤの復号画像の輝度成分の画素値と、を用いて、非線形補間処理に基づき、前記映像フォーマット変換手段により前記入力映像から前記変換後映像を生成した際に失われた色差成分の予測値を生成することを特徴とする動画像復号装置を提案している。
【００４２】
この発明によれば、（１３）の動画像復号装置において、復号側予測手段により、ベースレイヤの復号画像の輝度成分の画素値と、エンハンスメントレイヤの復号画像の輝度成分の画素値と、を用いて、非線形補間処理に基づき、映像フォーマット変換手段により入力映像から変換後映像を生成した際に失われた色差成分の予測値を生成することとした。このため、輝度と色情報との相関性を用いて、色成分間予測に基づくレイヤ間予測を行って、上述した効果と同様の効果を奏することができる。
【００４３】
（１７）  本発明は、（１）、（７）〜（１１）のいずれかの動画像符号化装置で生成された圧縮データ（例えば、図１２の圧縮ストリームβに相当）に対するスケーラブル復号が可能な動画像復号装置であって、前記圧縮データから、映像の符号化結果を映像フォーマットごとに取り出す逆多重化手段と、前記逆多重化手段により取り出された映像フォーマットごとの符号化結果を復号する復号手段と、前記映像フォーマット変換手段により前記入力映像から前記変換後映像を生成した際に失われた情報を予測する復号側予測手段と、前記復号手段により復号された映像と、前記復号側予測手段による予測結果と、を用いて、前記入力映像を求める第１の映像出力手段と、前記復号手段により復号された映像に基づいて、前記変換後映像を求める第２の映像出力手段と、を備えることを特徴とする動画像復号装置を提案している。
【００４４】
この発明によれば、（１）、（７）〜（１１）のいずれかの動画像符号化装置で生成された圧縮データに対するスケーラブル復号が可能な動画像復号装置に、逆多重化手段、復号手段、復号側予測手段、第１の映像出力手段、および第２の映像出力手段を設けた。そして、逆多重化手段により、圧縮データから、映像の符号化結果を映像フォーマットごとに取り出すこととした。また、復号手段により、逆多重化手段により取り出された映像フォーマットごとの符号化結果を復号することとした。また、復号側予測手段により、映像フォーマット変換手段により入力映像から変換後映像を生成した際に失われた情報を予測することとした。また、第１の映像出力手段により、復号手段により復号された映像と、復号側予測手段による予測結果と、を用いて、入力映像を求めることとした。また、第２の映像出力手段により、復号手段により復号された映像に基づいて、変換後映像を求めることとした。
【００４５】
映像には、成分間で対関係がある場合がある。このため、この対関係を用いて、色成分間予測に基づくレイヤ間予測を行うことで、下位レイヤの映像を用いて上位レイヤの色情報を高精度に予測できる。したがって、１つの圧縮データから、絵柄は同じだが互いに映像フォーマットの異なる映像を復号できる。
【００４６】
（１８）  本発明は、（１７）の動画像復号装置について、前記復号手段（例えば、図１３のエントロピー復号部３１１や、図１４のエントロピー復号部３２１に相当）は、既存の標準方式により符号化されたベースレイヤの符号化結果の復号と、前記逆多重化手段（例えば、図１２のストリームＤＥＭＵＸ部３３０に相当）により取り出された符号化結果のうち当該ベースレイヤとは異なるエンハンスメントレイヤの符号化結果の復号と、を行い、前記復号側予測手段（例えば、図１３の予測値生成部３１５に相当）は、前記ベースレイヤの復号画像の前記特定成分の画素値を用いて、前記失われた情報を予測することを特徴とする動画像復号装置を提案している。
【００４７】
この発明によれば、（１７）の動画像復号装置において、復号手段により、既存の標準方式により符号化されたベースレイヤの符号化結果の復号と、逆多重化手段により取り出された符号化結果のうちベースレイヤとは異なるエンハンスメントレイヤの符号化結果の復号と、を行うこととした。また、復号側予測手段により、ベースレイヤの復号画像の特定成分の画素値を用いて、失われた情報を予測することとした。このため、例えばＹＵＶフォーマットにおけるＹ成分と、ＲＧＢフォーマットにおけるＧ成分と、のように、予め定められた成分間にある対関係を用いて、色成分間予測に基づくレイヤ間予測を行って、上述した効果と同様の効果を奏することができる。
【００４８】
（１９）  本発明は、（１８）の動画像復号装置について、前記復号側予測手段は、前記ベースレイヤの復号画像の前記特定成分の画素値と、前記エンハンスメントレイヤの復号画像の前記所定成分の画素値と、を用いて、多項式近似に基づき、前記映像フォーマット変換手段により前記入力映像から前記変換後映像を生成した際に失われた成分の予測値を生成することを特徴とする動画像復号装置を提案している。
【００４９】
この発明によれば、（１８）の動画像復号装置において、復号側予測手段により、ベースレイヤの復号画像の特定成分の画素値と、エンハンスメントレイヤの復号画像の所定成分の画素値と、を用いて、多項式近似に基づき、映像フォーマット変換手段により入力映像から変換後映像を生成した際に失われた成分の予測値を生成することとした。このため、例えばＹＵＶフォーマットにおけるＹ成分と、ＲＧＢフォーマットにおけるＧ成分と、のように、予め定められた成分間にある対関係を用いて、色成分間予測に基づくレイヤ間予測を行って、上述した効果と同様の効果を奏することができる。
【００５０】
（２０）  本発明は、（１８）の動画像復号装置について、前記復号側予測手段は、前記ベースレイヤの復号画像の前記特定成分の画素値と、前記エンハンスメントレイヤの復号画像の前記所定成分の画素値と、を用いて、処理画素値の誤差が最小となる補間フィルタに基づき、前記映像フォーマット変換手段により前記入力映像から前記変換後映像を生成した際に失われた成分の予測値を生成することを特徴とする動画像復号装置を提案している。
【００５１】
この発明によれば、（１８）の動画像復号装置において、復号側予測手段により、ベースレイヤの復号画像の特定成分の画素値と、エンハンスメントレイヤの復号画像の所定成分の画素値と、を用いて、処理画素値の誤差が最小となる補間フィルタに基づき、映像フォーマット変換手段により入力映像から変換後映像を生成した際に失われた成分の予測値を生成することとした。このため、例えばＹＵＶフォーマットにおけるＹ成分と、ＲＧＢフォーマットにおけるＧ成分と、のように、予め定められた成分間にある対関係を用いて、色成分間予測に基づくレイヤ間予測を行って、上述した効果と同様の効果を奏することができる。
【００５２】
（２１）  本発明は、（１８）の動画像復号装置について、前記復号側予測手段は、前記ベースレイヤの復号画像の前記特定成分の画素値と、前記エンハンスメントレイヤの復号画像の前記所定成分の画素値と、を用いて、非線形補間処理に基づき、前記映像フォーマット変換手段により前記入力映像から前記変換後映像を生成した際に失われた成分の予測値を生成することを特徴とする動画像復号装置を提案している。
【００５３】
この発明によれば、（１８）の動画像復号装置において、復号側予測手段により、ベースレイヤの復号画像の特定成分の画素値と、エンハンスメントレイヤの復号画像の所定成分の画素値と、を用いて、非線形補間処理に基づき、映像フォーマット変換手段により入力映像から変換後映像を生成した際に失われた成分の予測値を生成することとした。このため、例えばＹＵＶフォーマットにおけるＹ成分と、ＲＧＢフォーマットにおけるＧ成分と、のように、予め定められた成分間にある対関係を用いて、色成分間予測に基づくレイヤ間予測を行って、上述した効果と同様の効果を奏することができる。
【００５４】
（２２）  本発明は、映像フォーマット変換手段、符号化側予測手段、第１の符号化手段、第２の符号化手段、および多重化手段を備え、入力映像に対するスケーラブル符号化が可能な動画像符号化装置における動画像符号化方法であって、前記映像フォーマット変換手段が、前記入力映像を、当該入力映像の映像フォーマットとは異なる映像フォーマットの映像に変換して、変換後映像を生成する第１のステップと、前記符号化側予測手段が、前記映像フォーマット変換手段により前記変換後映像を生成する際に失われた情報を予測する第２のステップと、前記第１の符号化手段が、前記符号化側予測手段による予測結果を用いて、前記入力映像を符号化する第３のステップと、前記第２の符号化手段が、前記映像フォーマット変換手段により変換された映像を符号化する第４のステップと、前記多重化手段が、前記第１の符号化手段による符号化結果と、前記第２の符号化手段による符号化結果と、を多重化して、映像フォーマットに関するスケーラビリティを有する圧縮データを生成する第５のステップと、を備えることを特徴とする動画像符号化方法を提案している。
【００５５】
この発明によれば、映像フォーマット変換手段により、入力映像を、入力映像の映像フォーマットとは異なる映像フォーマットの映像に変換して、変換後映像を生成することとした。また、符号化側予測手段により、映像フォーマット変換手段により変換後映像を生成する際に失われた情報を予測することとした。また、第１の符号化手段により、符号化側予測手段による予測結果を用いて、入力映像を符号化することとした。また、第２の符号化手段により、映像フォーマット変換手段により変換された映像を符号化することとした。また、多重化手段により、第１の符号化手段による符号化結果と、第２の符号化手段による符号化結果と、を多重化して、映像フォーマットに関するスケーラビリティを有する圧縮データを生成することとした。
【００５６】
映像には、成分間で、画素値の変化について相関性があったり、対関係にあったりする。このため、これら相関性や対関係を用いて、色成分間予測に基づくレイヤ間予測を行うことで、下位レイヤの映像を用いて上位レイヤの色情報を高精度に予測できる。したがって、上位レイヤの映像と下位レイヤの映像とで、絵柄は同じだが映像フォーマットが異なっていても、これら映像を１つの圧縮データとして効率よく圧縮できる。
【００５７】
（２３）  本発明は、逆多重化手段、復号手段、復号側予測手段、第１の映像出力手段、および第２の映像出力手段を備え、（２２）の動画像符号化装置で生成された圧縮データに対するスケーラブル復号が可能な動画像復号装置における動画像復号方法であって、前記逆多重化手段が、前記圧縮データから、映像の符号化結果を映像フォーマットごとに取り出す第６のステップと、前記復号手段が、前記逆多重化手段により取り出された映像フォーマットごとの符号化結果を復号する第７のステップと、前記復号側予測手段が、前記映像フォーマット変換手段により前記入力映像から前記変換後映像を生成した際に失われた情報を予測する第８のステップと、前記第１の映像出力手段が、前記復号手段により復号された映像と、前記復号側予測手段による予測結果と、を用いて、前記入力映像を求める第９のステップと、前記第２の映像出力手段が、前記復号手段により復号された映像に基づいて、前記変換後映像を求める第１０のステップと、を備えることを特徴とする動画像復号方法を提案している。
【００５８】
この発明によれば、逆多重化手段により、圧縮データから、映像の符号化結果を映像フォーマットごとに取り出すこととした。また、復号手段により、逆多重化手段により取り出された映像フォーマットごとの符号化結果を復号することとした。また、復号側予測手段により、映像フォーマット変換手段により入力映像から変換後映像を生成した際に失われた情報を予測することとした。また、第１の映像出力手段により、復号手段により復号された映像と、復号側予測手段による予測結果と、を用いて、入力映像を求めることとした。また、第２の映像出力手段により、復号手段により復号された映像に基づいて、変換後映像を求めることとした。
【００５９】
映像には、成分間で、画素値の変化について相関性があったり、対関係があったりする。このため、これら相関性や対関係を用いて、色成分間予測に基づくレイヤ間予測を行うことで、下位レイヤの映像を用いて上位レイヤの色情報を高精度に予測できる。したがって、１つの圧縮データから、絵柄は同じだが互いに映像フォーマットの異なる映像を復号できる。
【００６０】
（２４）  本発明は、映像フォーマット変換手段、符号化側予測手段、第１の符号化手段、第２の符号化手段、および多重化手段を備え、入力映像に対するスケーラブル符号化が可能な動画像符号化装置における動画像符号化方法を、コンピュータに実行させるためのプログラムであって、前記映像フォーマット変換手段が、前記入力映像を、当該入力映像の映像フォーマットとは異なる映像フォーマットの映像に変換して、変換後映像を生成する第１のステップと、前記符号化側予測手段が、前記映像フォーマット変換手段により前記変換後映像を生成する際に失われた情報を予測する第２のステップと、前記第１の符号化手段が、前記符号化側予測手段による予測結果を用いて、前記入力映像を符号化する第３のステップと、前記第２の符号化手段が、前記映像フォーマット変換手段により変換された映像を符号化する第４のステップと、前記多重化手段が、前記第１の符号化手段による符号化結果と、前記第２の符号化手段による符号化結果と、を多重化して、映像フォーマットに関するスケーラビリティを有する圧縮データを生成する第５のステップと、をコンピュータに実行させるためのプログラムを提案している。
【００６１】
この発明によれば、映像フォーマット変換手段により、入力映像を、入力映像の映像フォーマットとは異なる映像フォーマットの映像に変換して、変換後映像を生成することとした。また、符号化側予測手段により、映像フォーマット変換手段により変換後映像を生成する際に失われた情報を予測することとした。また、第１の符号化手段により、符号化側予測手段による予測結果を用いて、入力映像を符号化することとした。また、第２の符号化手段により、映像フォーマット変換手段により変換された映像を符号化することとした。また、多重化手段により、第１の符号化手段による符号化結果と、第２の符号化手段による符号化結果と、を多重化して、映像フォーマットに関するスケーラビリティを有する圧縮データを生成することとした。
【００６２】
映像には、成分間で、画素値の変化について相関性があったり、対関係にあったりする。このため、これら相関性や対関係を用いて、色成分間予測に基づくレイヤ間予測を行うことで、下位レイヤの映像を用いて上位レイヤの色情報を高精度に予測できる。したがって、上位レイヤの映像と下位レイヤの映像とで、絵柄は同じだが映像フォーマットが異なっていても、これら映像を１つの圧縮データとして効率よく圧縮できる。
【００６３】
（２５）  本発明は、逆多重化手段、復号手段、復号側予測手段、第１の映像出力手段、および第２の映像出力手段を備え、（２４）の動画像符号化装置で生成された圧縮データに対するスケーラブル復号が可能な動画像復号装置における動画像復号方法を、コンピュータに実行させるためのプログラムであって、前記逆多重化手段が、前記圧縮データから、映像の符号化結果を映像フォーマットごとに取り出す第６のステップと、前記復号手段が、前記逆多重化手段により取り出された映像フォーマットごとの符号化結果を復号する第７のステップと、前記復号側予測手段が、前記映像フォーマット変換手段により前記入力映像から前記変換後映像を生成した際に失われた情報を予測する第８のステップと、前記第１の映像出力手段が、前記復号手段により復号された映像と、前記復号側予測手段による予測結果と、を用いて、前記入力映像を求める第９のステップと、前記第２の映像出力手段が、前記復号手段により復号された映像に基づいて、前記変換後映像を求める第１０のステップと、をコンピュータに実行させるためのプログラムを提案している。
【００６４】
この発明によれば、逆多重化手段により、圧縮データから、映像の符号化結果を映像フォーマットごとに取り出すこととした。また、復号手段により、逆多重化手段により取り出された映像フォーマットごとの符号化結果を復号することとした。また、復号側予測手段により、映像フォーマット変換手段により入力映像から変換後映像を生成した際に失われた情報を予測することとした。また、第１の映像出力手段により、復号手段により復号された映像と、復号側予測手段による予測結果と、を用いて、入力映像を求めることとした。また、第２の映像出力手段により、復号手段により復号された映像に基づいて、変換後映像を求めることとした。
【００６５】
映像には、成分間で、画素値の変化について相関性があったり、対関係があったりする。このため、これら相関性や対関係を用いて、色成分間予測に基づくレイヤ間予測を行うことで、下位レイヤの映像を用いて上位レイヤの色情報を高精度に予測できる。したがって、１つの圧縮データから、絵柄は同じだが互いに映像フォーマットの異なる映像を復号できる。
【発明の効果】
【００６６】
本発明によれば、絵柄は同じだが映像フォーマットが異なる複数の映像を、効率的に圧縮できる。
【図面の簡単な説明】
【００６７】
【図１】本発明の第１実施形態に係る動画像符号化装置の構成を示すブロック図である。
【図２】前記動画像符号化装置が備える第１の上位レイヤ符号化部の構成を示すブロック図である。
【図３】前記動画像符号化装置が備える第２の上位レイヤ符号化部の構成を示すブロック図である。
【図４】前記動画像符号化装置が備える下位レイヤ符号化部の構成を示すブロック図である。
【図５】本発明の第１実施形態に係る動画像復号装置の構成を示すブロック図である。
【図６】前記動画像復号装置が備える第１の上位レイヤ復号部の構成を示すブロック図である。
【図７】前記動画像復号装置が備える第２の上位レイヤ復号部の構成を示すブロック図である。
【図８】前記動画像復号装置が備える下位レイヤ復号部の構成を示すブロック図である。
【図９】本発明の第２実施形態に係る動画像符号化装置の構成を示すブロック図である。
【図１０】前記動画像符号化装置が備える上位レイヤ符号化部の構成を示すブロック図である。
【図１１】前記動画像符号化装置が備える下位レイヤ符号化部の構成を示すブロック図である。
【図１２】本発明の第２実施形態に係る動画像復号装置の構成を示すブロック図である。
【図１３】前記動画像復号装置が備える上位レイヤ復号部の構成を示すブロック図である。
【図１４】前記動画像復号装置が備える下位レイヤ復号部の構成を示すブロック図である。
【発明を実施するための形態】
【００６８】
以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の実施形態における構成要素は適宜、既存の構成要素などとの置き換えが可能であり、また、他の既存の構成要素との組合せを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。
【００６９】
＜第１実施形態＞
［動画像符号化装置ＡＡの構成および動作］
図１は、本発明の第１実施形態に係る動画像符号化装置ＡＡの構成を示すブロック図である。動画像符号化装置ＡＡは、入力された入力映像ａから、２つの映像フォーマットの映像を生成し、１つの映像ストリームに多重化して、圧縮ストリームｂとして出力する。
【００７０】
なお、本実施形態では、入力映像ａとして、ＹＵＶ４：４：４フォーマットの映像が入力されるものとする。また、本実施形態では、２つの映像フォーマットの映像として、ＹＵＶ４：４：４フォーマットの映像（上位レイヤ）と、ＹＵＶ４：２：２フォーマットの映像またはＹＵＶ４：２：０フォーマットの映像（下位レイヤ）と、を動画像符号化装置ＡＡが生成するものとする。このため、下位レイヤの映像は、入力映像ａのフォーマットと同じフォーマットで、かつ、入力映像ａより色情報の少ない映像フォーマットの映像となる。
【００７１】
また、本実施形態では、ベースレイヤのデコード画素値を用いて、エンハンスメントレイヤの予測符号化を行うものとする。ベースレイヤの情報としては、デコード画素値しか用いないため、ベースレイヤの符号化には既存の標準方式（例えば、Ｈ．２６４やＭＰＥＧ−２など）を用いることができる。
【００７２】
動画像符号化装置ＡＡは、第１の上位レイヤ符号化部１０、第２の上位レイヤ符号化部２０、下位レイヤ符号化部３０、およびストリームＭＵＸ部４０を備える。
【００７３】
ストリームＭＵＸ部４０は、第１の上位レイヤ符号化部１０から出力される後述の上位レイヤのＵＶ成分に関する符号化情報ｃと、第２の上位レイヤ符号化部２０から出力される後述の上位レイヤのＹ成分に関する符号化情報ｄと、下位レイヤ符号化部３０から出力される後述の下位レイヤの符号化情報ｅと、を入力とする。このストリームＭＵＸ部４０は、これら入力された情報を、標準規格などで予め定められた方法に従って１つの圧縮ストリームｂに多重化し、出力する。
【００７４】
（第１の上位レイヤ符号化部１０の構成および動作）
図２は、第１の上位レイヤ符号化部１０の構成を示すブロック図である。第１の上位レイヤ符号化部１０は、色情報スケーラブル予測部１１、予測値生成部１２、ＤＣＴ／量子化部１３、逆ＤＣＴ／逆量子化部１４、エントロピー符号化部１５、およびローカルメモリ１６を備える。
【００７５】
色情報スケーラブル予測部１１は、第２の上位レイヤ符号化部２０から出力される後述の上位レイヤのＹ成分のローカルデコード映像ｆと、下位レイヤ符号化部３０から出力される後述の下位レイヤのローカルデコード映像ｇと、を入力とする。この色情報スケーラブル予測部１１は、上位レイヤのＹ成分のデコード画素値の情報、および、下位レイヤのＹ成分のデコード画素値の情報を用いて、線形処理、補間フィルタ処理、または非線形処理により上位レイヤのＵＶ成分の予測値ｈを生成し、出力する。
【００７６】
まず、色情報スケーラブル予測部１１が上述の線形処理を行う場合について、説明する。この場合、色情報スケーラブル予測部１１は、処理画素を中心としたこの処理画素近傍のＳ×Ｔ画素（Ｓは、Ｓ≧１を満たす整数であり、Ｔは、Ｔ≧１を満たす整数）のＹ成分の画素値を、多項式により線形的に近似表現する。そして、得られた多項式をこれら処理画素近傍のＳ×Ｔ画素のＵＶ成分の画素値に適用して、処理画素のＵＶ成分の予測値ｈを得る。
【００７７】
次に、色情報スケーラブル予測部１１が上述の補間フィルタ処理を行う場合について、説明する。この場合、色情報スケーラブル予測部１１は、処理画素を中心としたこの処理画素近傍のＳ×Ｔ画素のＹ成分の画素について、処理画素のＹ成分の画素値の誤差が最小となるフィルタ係数を算出する。そして、得られたフィルタ係数を、処理画素近傍のＳ×Ｔ画素のＵＶ成分の画素値に適用して、処理画素のＵＶ成分の予測値ｈを得る。
【００７８】
次に、色情報スケーラブル予測部１１が上述の非線形処理を行う場合について、説明する。この場合、色情報スケーラブル予測部１１は、処理画素を中心としたこの処理画素近傍のＳ×Ｔ画素のＹ成分の画素値に基づいて、メディアフィルタやランクフィルタなどの非線形処理により処理画素のＹ成分の予測値を生成し、処理画素におけるＹ成分の画素値と予測値との差分値を求める。また、処理画素を中心としたこの処理画素近傍のＳ×Ｔ画素のＵＶ成分の画素値に基づいて、メディアフィルタやランクフィルタなどの非線形処理により処理画素のＵＶ成分の予測値を生成する。そして、Ｙ成分の画素値と予測値との差分値についてＹ成分とＵＶ成分との表示ビット深度に基づいてスケーリングした値を求め、ＵＶ成分の予測値と、スケーリングした値と、を加算して、処理画素のＵＶ成分の予測値ｈとする。
【００７９】
予測値生成部１２は、入力映像ａのＵＶ成分と、上位レイヤのＵＶ成分の予測値ｈと、ローカルメモリ１６から出力される後述の上位レイヤのＵＶ成分のローカルデコード映像ｉと、を入力とする。この予測値生成部１２は、これら入力された情報を用いて、予め定められた予測方法のうち符号化効率の最も良い予測方法により、予測値ｊを生成する。そして、予測値ｊを出力するとともに、予測値ｊを生成するのに利用した予測方法を示す情報を、予測情報ｋとして出力する。
【００８０】
ＤＣＴ／量子化部１３は、入力映像ａと予測値ｊとの差分情報を、入力とする。このＤＣＴ／量子化部１３は、入力された差分情報に対してＤＣＴを施し、ＤＣＴ係数を量子化して、量子化されたＤＣＴ係数ｍとして出力する。
【００８１】
逆ＤＣＴ／逆量子化部１４は、量子化されたＤＣＴ係数ｍを入力とする。この逆ＤＣＴ／逆量子化部１４は、入力された量子化されたＤＣＴ係数ｍを逆量子化し、逆量子化した係数を逆ＤＣＴして、逆ＤＣＴおよび逆量子化された差分情報ｎとして出力する。
【００８２】
エントロピー符号化部１５は、量子化されたＤＣＴ係数ｍと、予測情報ｋと、を入力とする。このエントロピー符号化部１５は、入力された情報について、可変長符号化法または算術符号化法により符号化し、上位レイヤのＵＶ成分に関する符号化情報ｃとして出力する。
【００８３】
ローカルメモリ１６は、ローカルデコード映像を入力とする。ローカルメモリ１６に入力されるローカルデコード映像とは、予測値ｊと、逆ＤＣＴおよび逆量子化された差分情報ｎと、の加算情報のことである。このローカルメモリ１６は、入力されたローカルデコード映像を蓄積し、上位レイヤのＵＶ成分のローカルデコード映像ｉとして適宜出力する。
【００８４】
（第２の上位レイヤ符号化部２０の構成および動作）
図３は、第２の上位レイヤ符号化部２０の構成を示すブロック図である。第２の上位レイヤ符号化部２０は、予測値生成部２２、ＤＣＴ／量子化部２３、逆ＤＣＴ／逆量子化部２４、エントロピー符号化部２５、およびローカルメモリ２６を備える。
【００８５】
予測値生成部２２は、入力映像ａのＹ成分と、ローカルメモリ２６から出力される後述の上位レイヤのＹ成分のローカルデコード映像ｆと、下位レイヤ符号化部３０から出力される後述の下位レイヤのローカルデコード映像ｇと、を入力とする。この予測値生成部２２は、これら入力された情報を用いて、予め定められた予測方法のうち符号化効率の最も良い予測方法により、予測値ｐを生成する。そして、予測値ｐを出力するとともに、予測値ｐを生成するのに利用した予測方法を示す情報を、予測情報ｑとして出力する。
【００８６】
ＤＣＴ／量子化部２３は、入力映像ａと予測値ｐとの差分情報を、入力とする。このＤＣＴ／量子化部２３は、入力された差分情報に対してＤＣＴを施し、ＤＣＴ係数を量子化して、量子化されたＤＣＴ係数ｒとして出力する。
【００８７】
逆ＤＣＴ／逆量子化部２４は、量子化されたＤＣＴ係数ｒを入力とする。この逆ＤＣＴ／逆量子化部２４は、入力された量子化されたＤＣＴ係数ｒを逆量子化し、逆量子化した係数を逆ＤＣＴして、逆ＤＣＴおよび逆量子化された差分情報ｓとして出力する。
【００８８】
エントロピー符号化部２５は、量子化されたＤＣＴ係数ｒと、予測情報ｑと、を入力とする。このエントロピー符号化部２５は、入力された情報について、可変長符号化法または算術符号化法により符号化し、上位レイヤのＹ成分に関する符号化情報ｄとして出力する。
【００８９】
ローカルメモリ２６は、ローカルデコード映像を入力とする。ローカルメモリ２６に入力されるローカルデコード映像とは、予測値ｐと、逆ＤＣＴおよび逆量子化された差分情報ｓと、の加算情報のことである。このローカルメモリ２６は、入力されたローカルデコード映像を蓄積し、上位レイヤのＹ成分のローカルデコード映像ｆとして適宜出力する。
【００９０】
（下位レイヤ符号化部３０の構成および動作）
図４は、下位レイヤ符号化部３０の構成を示すブロック図である。下位レイヤ符号化部３０は、予測値生成部３２、ＤＣＴ／量子化部３３、逆ＤＣＴ／逆量子化部３４、エントロピー符号化部３５、ローカルメモリ３６、および色情報サンプリング部３７を備える。
【００９１】
色情報サンプリング部３７は、入力映像ａを入力とする。この色情報サンプリング部３７は、入力映像ａに対して色情報をサブサンプルした映像を生成し、下位レイヤの映像ｘとして出力する。具体的には、本実施形態では、上述のように入力映像ａがＹＵＶ４：４：４フォーマットの映像であるため、色情報サンプリング部３７は、下位レイヤの映像ｘとして、ＹＵＶ４：２：２フォーマットの映像またはＹＵＶ４：２：０フォーマットの映像を出力する。
【００９２】
予測値生成部３２は、下位レイヤの映像ｘと、ローカルメモリ３６から出力される後述の下位レイヤのローカルデコード映像ｇと、を入力とする。この予測値生成部３２は、これら入力された情報を用いて、予め定められた予測方法のうち符号化効率の最も良い予測方法により、予測値ｔを生成する。そして、予測値ｔを出力するとともに、予測値ｔを生成するのに利用した予測方法を示す情報を、予測情報ｕとして出力する。
【００９３】
ＤＣＴ／量子化部３３は、下位レイヤの映像ｘと予測値ｔとの差分情報を、入力とする。このＤＣＴ／量子化部３３は、入力された差分情報に対してＤＣＴを施し、ＤＣＴ係数を量子化して、量子化されたＤＣＴ係数ｖとして出力する。
【００９４】
逆ＤＣＴ／逆量子化部３４は、量子化されたＤＣＴ係数ｖを入力とする。この逆ＤＣＴ／逆量子化部３４は、入力された量子化されたＤＣＴ係数ｖを逆量子化し、逆量子化した係数を逆ＤＣＴして、逆ＤＣＴおよび逆量子化された差分情報ｗとして出力する。
【００９５】
エントロピー符号化部３５は、量子化されたＤＣＴ係数ｖと、予測情報ｕと、を入力とする。このエントロピー符号化部３５は、入力された情報について、可変長符号化法または算術符号化法により符号化し、下位レイヤの符号化情報ｅとして出力する。
【００９６】
ローカルメモリ３６は、ローカルデコード映像を入力とする。ローカルメモリ３６に入力されるローカルデコード映像とは、予測値ｔと、逆ＤＣＴおよび逆量子化された差分情報ｗと、の加算情報のことである。このローカルメモリ３６は、入力されたローカルデコード映像を蓄積し、下位レイヤのローカルデコード映像ｇとして適宜出力する。
【００９７】
［動画像復号装置ＢＢの構成および動作］
図５は、本発明の第１実施形態に係る動画像復号装置ＢＢの構成を示すブロック図である。動画像復号装置ＢＢは、動画像符号化装置ＡＡにおいて生成された圧縮ストリームｂを復号して、上位レイヤ出力映像Ａおよび下位レイヤ出力映像Ｂを生成する。この動画像復号装置ＢＢは、第１の上位レイヤ復号部１１０、第２の上位レイヤ復号部１２０、下位レイヤ復号部１３０、およびストリームＤＥＭＵＸ部１４０を備える。上位レイヤ出力映像Ａは、第１の上位レイヤ復号部１１０から出力される後述の上位レイヤのＵＶ成分に関するデコード画像Ａ１と、第２の上位レイヤ復号部１２０から出力される後述の上位レイヤのＹ成分に関するデコード画像Ａ２と、で構成される。
【００９８】
ストリームＤＥＭＵＸ部１４０は、圧縮ストリームｂを入力とする。このストリームＤＥＭＵＸ部１４０は、圧縮ストリームｂから、上位レイヤの符号化情報と、下位レイヤの符号化情報と、を取り出す。そして、上位レイヤのＵＶ成分に関する符号化情報Ｃを第１の上位レイヤ復号部１１０に出力し、上位レイヤのＹ成分に関する符号化情報Ｄを第２の上位レイヤ復号部１２０に出力し、下位レイヤの符号化情報Ｅを下位レイヤ復号部１３０に出力する。
【００９９】
（第１の上位レイヤ復号部１１０の構成および動作）
図６は、第１の上位レイヤ復号部１１０の構成を示すブロック図である。第１の上位レイヤ復号部１１０は、エントロピー復号部１１１、色情報スケーラブル予測部１１２、逆ＤＣＴ／逆量子化部１１３、予測値生成部１１４、およびローカルメモリ１１５を備える。
【０１００】
エントロピー復号部１１１は、上位レイヤのＵＶ成分に関する符号化情報Ｃを入力とする。このエントロピー復号部１１１は、可変長符号化法または算術符号化法に基づいて符号化情報Ｃを復号し、差分情報Ｈおよび予測情報Ｊを取り出して出力する。
【０１０１】
色情報スケーラブル予測部１１２は、第２の上位レイヤ復号部１２０から出力される後述の上位レイヤのＹ成分のデコード画像Ｆと、下位レイヤ復号部１３０から出力される後述の下位レイヤのデコード画像Ｇと、を入力とする。この色情報スケーラブル予測部１１２は、図２に示した色情報スケーラブル予測部１１と同様に、上位レイヤのＹ成分のデコード画素値の情報、および、下位レイヤのＹ成分のデコード画素値の情報を用いて、線形処理、補間フィルタ処理、または非線形処理により上位レイヤのＵＶ成分の予測値Ｋを生成し、出力する。
【０１０２】
逆ＤＣＴ／逆量子化部１１３は、差分情報Ｈを入力とする。この差分情報Ｈは、量子化されたＤＣＴ係数である。この逆ＤＣＴ／逆量子化部１１３は、差分情報Ｈを逆量子化し、その結果に対して逆ＤＣＴを施して、逆量子化および逆ＤＣＴされた差分情報Ｌとして出力する。
【０１０３】
予測値生成部１１４は、予測情報Ｊと、上位レイヤのＵＶ成分の予測値Ｋと、ローカルメモリ１１５から出力される後述の上位レイヤのＵＶ成分のデコード画像Ｍと、を入力とする。この予測値生成部１１４は、予測情報Ｊに従った予測方法により、予測値Ｋおよびデコード画像Ｍを用いて予測値Ｎを生成し、出力する。
【０１０４】
ローカルメモリ１１５は、上位レイヤのＵＶ成分に関するデコード画像Ａ１を入力とする。この上位レイヤのＵＶ成分に関するデコード画像Ａ１とは、差分情報Ｌと、予測値Ｎと、の加算情報のことである。このローカルメモリ１１５は、上位レイヤのＵＶ成分に関するデコード画像Ａ１を蓄積し、上位レイヤのＵＶ成分のデコード画像Ｍとして適宜出力する。
【０１０５】
（第２の上位レイヤ復号部１２０の構成および動作）
図７は、第２の上位レイヤ復号部１２０の構成を示すブロック図である。第２の上位レイヤ復号部１２０は、エントロピー復号部１２１、逆ＤＣＴ／逆量子化部１２３、予測値生成部１２４、およびローカルメモリ１２５を備える。
【０１０６】
エントロピー復号部１２１は、上位レイヤのＹ成分に関する符号化情報Ｄを入力とする。このエントロピー復号部１２１は、可変長符号化法または算術符号化法に基づいて符号化情報Ｄを復号し、差分情報Ｐおよび予測情報Ｑを取り出して出力する。
【０１０７】
逆ＤＣＴ／逆量子化部１２３は、差分情報Ｐを入力とする。この差分情報Ｐは、量子化されたＤＣＴ係数である。この逆ＤＣＴ／逆量子化部１２３は、差分情報Ｐを逆量子化し、その結果に対して逆ＤＣＴを施して、逆量子化および逆ＤＣＴされた差分情報Ｒとして出力する。
【０１０８】
予測値生成部１２４は、予測情報Ｑと、下位レイヤのデコード画像Ｇと、ローカルメモリ１２５から出力される後述の上位レイヤのＹ成分のデコード画像Ｆと、を入力とする。この予測値生成部１２４は、予測情報Ｑに従った予測方法により、デコード画像Ｆ、Ｇを用いて予測値Ｓを生成し、出力する。
【０１０９】
ローカルメモリ１２５は、上位レイヤのＹ成分に関するデコード画像Ａ２を入力とする。この上位レイヤのＹ成分に関するデコード画像Ａ２とは、差分情報Ｒと、予測値Ｓと、の加算情報のことである。このローカルメモリ１２５は、上位レイヤのＹ成分に関するデコード画像Ａ２を蓄積し、上位レイヤのＹ成分のデコード画像Ｆとして適宜出力する。
【０１１０】
（下位レイヤ復号部１３０の構成および動作）
図８は、下位レイヤ復号部１３０の構成を示すブロック図である。下位レイヤ復号部１３０は、エントロピー復号部１３１、逆ＤＣＴ／逆量子化部１３３、予測値生成部１３４、およびローカルメモリ１３５を備える。
【０１１１】
エントロピー復号部１３１は、下位レイヤの符号化情報Ｅを入力とする。このエントロピー復号部１３１は、可変長符号化法または算術符号化法に基づいて符号化情報Ｅを復号し、差分情報Ｔおよび予測情報Ｕを取り出して出力する。
【０１１２】
逆ＤＣＴ／逆量子化部１３３は、差分情報Ｔを入力とする。この差分情報Ｔは、量子化されたＤＣＴ係数である。この逆ＤＣＴ／逆量子化部１３３は、差分情報Ｔを逆量子化し、その結果に対して逆ＤＣＴを施して、逆量子化および逆ＤＣＴされた差分情報Ｖとして出力する。
【０１１３】
予測値生成部１３４は、予測情報Ｕと、ローカルメモリ１３５から出力される後述の下位レイヤのデコード画像Ｇと、を入力とする。この予測値生成部１３４は、予測情報Ｕに従った予測方法により、デコード画像Ｇを用いて予測値Ｗを生成し、出力する。
【０１１４】
ローカルメモリ１３５は、下位レイヤの出力映像Ｂを入力とする。この下位レイヤの出力映像Ｂとは、差分情報Ｖと、予測値Ｗと、の加算情報のことである。このローカルメモリ１３５は、下位レイヤの出力映像Ｂを蓄積し、下位レイヤのデコード画像Ｇとして適宜出力する。
【０１１５】
以上の動画像符号化装置ＡＡによれば、以下の効果を奏することができる。
【０１１６】
映像には、輝度と色情報との間で、画素値の変化について相関性があることが知られている。そこで、動画像符号化装置ＡＡは、輝度と色情報との間の相関性を用いて、色成分間予測に基づくレイヤ間予測を行う。これによれば、下位レイヤの映像を用いて上位レイヤの色情報を高精度に予測できる。このため、上位レイヤの映像（ＹＵＶ４：４：４フォーマットの映像）と下位レイヤの映像（ＹＵＶ４：２：２フォーマットまたはＹＵＶ４：２：０フォーマットの映像）とで、絵柄は同じだが映像フォーマットが異なっていても、これら映像を１つの圧縮ストリームｂとして効率よく圧縮できる。したがって、例えば、下位レイヤを放送用の映像フォーマットとし、上位レイヤを素材用の映像フォーマットとして、両者を効率よく圧縮できる。
【０１１７】
なお、動画像符号化装置ＡＡは、レイヤ間で映像フォーマットが同一な色成分についても、上位レイヤにおいて、下位レイヤでの劣化を補償する情報を付与すること（ＳＮＲスケーラビリティ）が可能である。
【０１１８】
また、以上の動画像復号装置ＢＢによれば、以下の効果を奏することができる。
【０１１９】
動画像復号装置ＢＢは、輝度と色情報との間の相関性を用いて、色成分間予測に基づくレイヤ間予測を行う。これによれば、下位レイヤの映像を用いて上位レイヤの色情報を高精度に予測できる。このため、１つの圧縮ストリームｂから、上位レイヤ出力映像Ａおよび下位レイヤ出力映像Ｂという互いに映像フォーマットの異なる映像を復号できる。
【０１２０】
＜第２実施形態＞
［動画像符号化装置ＣＣの構成および動作］
図９は、本発明の第２実施形態に係る動画像符号化装置ＣＣの構成を示すブロック図である。動画像符号化装置ＣＣは、入力された入力映像αから、２つの映像フォーマットの映像を生成し、１つの映像ストリームに多重化して、圧縮ストリームβとして出力する。
【０１２１】
なお、本実施形態では、入力映像αとして、ＲＧＢフォーマットの映像が入力され、２つの映像フォーマットの映像として、ＲＧＢフォーマットの映像（上位レイヤ）と、ＹＵＶ（４：２：０）フォーマットの映像（下位レイヤ）と、を動画像符号化装置ＣＣが生成するものとする。このため、下位レイヤの映像は、入力映像αのフォーマットと異なるフォーマットで、かつ、１画素あたりのデータ量が入力映像αより少ない映像フォーマットとの映像となる。
【０１２２】
また、本実施形態では、上位レイヤの表現ビット数と、下位レイヤの表現ビット数とは、同一であるものとする。
【０１２３】
動画像符号化装置ＣＣは、上位レイヤ符号化部２１０、下位レイヤ符号化部２２０、およびストリームＭＵＸ部２３０を備える。
【０１２４】
ストリームＭＵＸ部２３０は、上位レイヤ符号化部２１０から出力される後述の上位レイヤの符号化情報γと、下位レイヤ符号化部２２０から出力される後述の下位レイヤの符号化情報δと、を入力とする。このストリームＭＵＸ部２３０は、これら入力された情報を、標準規格などで予め定められた方法に従って１つの圧縮ストリームβに多重化し、出力する。
【０１２５】
（上位レイヤ符号化部２１０の構成および動作）
図１０は、上位レイヤ符号化部２１０の構成を示すブロック図である。上位レイヤ符号化部２１０は、色フォーマット変換部２１１、色予測値生成部２１２、予測値生成部２１３、ＤＣＴ／量子化部２１４、逆ＤＣＴ／逆量子化部２１５、エントロピー符号化部２１６、およびローカルメモリ２１７を備える。
【０１２６】
予測値生成部２１３、ＤＣＴ／量子化部２１４、逆ＤＣＴ／逆量子化部２１５、エントロピー符号化部２１６、およびローカルメモリ２１７は、それぞれ、図２に示した予測値生成部１２、ＤＣＴ／量子化部１３、逆ＤＣＴ／逆量子化部１４、エントロピー符号化部１５、およびローカルメモリ１６と同様に動作する。
【０１２７】
色フォーマット変換部２１１は、下位レイヤのローカルデコード映像εを入力とする。ここで、下位レイヤのローカルデコード映像εは、ＹＵＶフォーマットの映像である。そこで、色フォーマット変換部２１１は、下位レイヤのローカルデコード映像εのＹ成分、Ｕ成分、およびＶ成分のそれぞれの画素値の重み付け和により、Ｒ成分、Ｇ成分、およびＢ成分のそれぞれの画素値を得て、ＲＧＢフォーマットの変換後映像ζとして出力する。
【０１２８】
色予測値生成部２１２は、変換後映像ζを入力とする。この色予測値生成部２１２は、ＲＧＢの各成分のうちの１つを基準として、残りの２成分の予測値を生成する。
【０１２９】
ここで、ＹＵＶフォーマットとＲＧＢフォーマットとでは、Ｙ成分とＧ成分とが視覚的に重要な成分であることが知られており、これらＹ成分とＧ成分とは、略同等の情報量を持つ。すなわち、Ｙ成分とＧ成分とは、対関係にある。そこで、本実施形態では、Ｇ成分を基準とするものとする。すると、色予測値生成部２１２は、Ｇ成分を、図２に示した色情報スケーラブル予測部１１のＹ成分として、色情報スケーラブル予測部１１でＵＶ成分の予測値ｈを生成するのと同様の方法で、ＲＢ成分を予測する。そして、上位レイヤにおける基準色成分（Ｇ成分）と、残りの成分（ＲＢ成分）の予測値と、を予測値ηとして出力とする。
【０１３０】
（下位レイヤ符号化部２２０の構成および動作）
図１１は、下位レイヤ符号化部２２０の構成を示すブロック図である。下位レイヤ符号化部２２０は、予測値生成部２２１、ＤＣＴ／量子化部２２２、逆ＤＣＴ／逆量子化部２２３、エントロピー符号化部２２４、ローカルメモリ２２５、および色フォーマット変換部２２６を備える。
【０１３１】
予測値生成部２２１、ＤＣＴ／量子化部２２２、逆ＤＣＴ／逆量子化部２２３、エントロピー符号化部２２４、およびローカルメモリ２２５は、それぞれ、図４に示した予測値生成部３２、ＤＣＴ／量子化部３３、逆ＤＣＴ／逆量子化部３４、エントロピー符号化部３５、およびローカルメモリ３６と同様に動作する。
【０１３２】
色フォーマット変換部２２６は、入力映像αを入力とする。ここで、入力映像αは、ＲＧＢフォーマットの映像である。そこで、色フォーマット変換部２２６は、入力映像αのＲ成分、Ｇ成分、およびＢ成分のそれぞれの画素値の重み付け和により、Ｙ成分、Ｕ成分、およびＶ成分のそれぞれの画素値を得て、ＹＵＶフォーマットの変換後映像θとして出力する。
【０１３３】
［動画像復号装置ＤＤの構成および動作］
図１２は、本発明の第２実施形態に係る動画像復号装置ＤＤの構成を示すブロック図である。動画像復号装置ＤＤは、動画像符号化装置ＣＣにおいて生成された圧縮ストリームβを復号して、上位レイヤ出力映像κおよび下位レイヤ出力映像λを生成する。この動画像復号装置ＤＤは、上位レイヤ復号部３１０、下位レイヤ復号部３２０、およびストリームＤＥＭＵＸ部３３０を備える。
【０１３４】
ストリームＤＥＭＵＸ部３３０は、圧縮ストリームβを入力とする。このストリームＤＥＭＵＸ部３３０は、圧縮ストリームβから、上位レイヤの符号化情報νと、下位レイヤの符号化情報ξと、を取り出す。そして、上位レイヤの符号化情報νを上位レイヤ復号部３１０に出力し、下位レイヤの符号化情報ξを下位レイヤ復号部３２０に出力する。
【０１３５】
（上位レイヤ復号部３１０の構成および動作）
図１３は、上位レイヤ復号部３１０の構成を示すブロック図である。上位レイヤ復号部３１０は、エントロピー復号部３１１、色フォーマット変換部３１２、色予測値生成部３１３、逆ＤＣＴ／逆量子化部３１４、予測値生成部３１５、およびローカルメモリ３１６を備える。
【０１３６】
エントロピー復号部３１１、逆ＤＣＴ／逆量子化部３１４、予測値生成部３１５、およびローカルメモリ３１６は、それぞれ、図６に示したエントロピー復号部１１１、逆ＤＣＴ／逆量子化部１１３、予測値生成部１１４、およびローカルメモリ１１５と同様に動作する。
【０１３７】
色フォーマット変換部３１２は、下位レイヤ復号部３２０から出力される後述の下位レイヤのデコード画像μを入力とする。ここで、下位レイヤのデコード画像μは、ＹＵＶフォーマットの映像である。そこで、色フォーマット変換部３１２は、下位レイヤのデコード画像μのＹ成分、Ｕ成分、およびＶ成分のそれぞれの画素値の重み付け和により、Ｒ成分、Ｇ成分、およびＢ成分のそれぞれの画素値を得て、ＲＧＢフォーマットの下位レイヤのデコード画像πとして出力する。
【０１３８】
色予測値生成部３１３は、下位レイヤのデコード画像πを入力とする。この色予測値生成部３１３は、図１０に示した色予測値生成部２１２と同様に、色予測値の生成を行う。そして、下位レイヤにおける基準色成分（Ｇ成分）と、残りの成分（ＲＢ成分）の予測値と、を予測値ρとして出力とする。
【０１３９】
（下位レイヤ復号部３２０の構成および動作）
図１４は、下位レイヤ復号部３２０の構成を示すブロック図である。下位レイヤ復号部３２０は、エントロピー復号部３２１、逆ＤＣＴ／逆量子化部３２２、予測値生成部３２３、およびローカルメモリ３２４を備える。
【０１４０】
エントロピー復号部３２１、逆ＤＣＴ／逆量子化部３２２、予測値生成部３２３、およびローカルメモリ３２４は、それぞれ、図８に示したエントロピー復号部１３１、逆ＤＣＴ／逆量子化部１３３、予測値生成部１３４、およびローカルメモリ１３５と同様に動作する。
【０１４１】
以上の動画像符号化装置ＣＣによれば、以下の効果を奏することができる。
【０１４２】
上述のように、ＹＵＶフォーマットにおけるＹ成分と、ＲＧＢフォーマットにおけるＧ成分とは、対関係にある。そこで、動画像符号化装置ＣＣは、Ｙ成分とＧ成分との対関係を用いて、色成分間予測に基づくレイヤ間予測を行う。これによれば、下位レイヤの映像を用いて上位レイヤの映像を高精度に予測できる。このため、上位レイヤの映像（ＲＧＢフォーマットの映像）と下位レイヤの映像（ＹＵＶフォーマットの映像）とで、絵柄は同じだが映像フォーマットが異なっていても、これら映像を１つの圧縮ストリームβとして効率よく圧縮できる。したがって、例えば、下位レイヤを放送用の映像フォーマットとし、上位レイヤを素材用の映像フォーマットとして、両者を効率よく圧縮できる。
【０１４３】
なお、動画像符号化装置ＣＣは、レイヤ間で映像フォーマットが同一な色成分についても、上位レイヤにおいて、下位レイヤでの劣化を補償する情報を付与すること（ＳＮＲスケーラビリティ）が可能である。
【０１４４】
また、以上の動画像復号装置ＤＤによれば、以下の効果を奏することができる。
【０１４５】
動画像復号装置ＤＤは、Ｙ成分とＧ成分との対関係を用いて、色成分間予測に基づくレイヤ間予測を行う。これによれば、下位レイヤの映像を用いて上位レイヤの映像を高精度に予測できる。このため、１つの圧縮ストリームβから、上位レイヤ出力映像κおよび下位レイヤ出力映像λという互いに映像フォーマットの異なる映像を復号できる。
【０１４６】
なお、本発明の動画像符号化装置ＡＡ、ＣＣや動画像復号装置ＢＢ、ＤＤの処理を、コンピュータ読み取り可能な非一時的な記録媒体に記録し、この記録媒体に記録されたプログラムを動画像符号化装置ＡＡ、ＣＣや動画像復号装置ＢＢ、ＤＤに読み込ませ、実行することによって、本発明を実現できる。
【０１４７】
ここで、上述の記録媒体には、例えば、ＥＰＲＯＭやフラッシュメモリといった不揮発性のメモリ、ハードディスクといった磁気ディスク、ＣＤ−ＲＯＭなどを適用できる。また、この記録媒体に記録されたプログラムの読み込みおよび実行は、動画像符号化装置ＡＡ、ＣＣや動画像復号装置ＢＢ、ＤＤに設けられたプロセッサによって行われる。
【０１４８】
また、上述のプログラムは、このプログラムを記憶装置などに格納した動画像符号化装置ＡＡ、ＣＣや動画像復号装置ＢＢ、ＤＤから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネットなどのネットワーク（通信網）や電話回線などの通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
【０１４９】
また、上述のプログラムは、上述の機能の一部を実現するためのものであってもよい。さらに、上述の機能を動画像符号化装置ＡＡ、ＣＣや動画像復号装置ＢＢ、ＤＤにすでに記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【０１５０】
以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。
【０１５１】
例えば、上述の第１実施形態では、入力映像ａとして、ＹＵＶ４：４：４フォーマットの映像が入力されるものとしたが、これに限らず、例えば、ＹＵＶ４：２：２フォーマットの映像が入力されてもよい。ＹＵＶ４：２：２フォーマットの映像が入力映像ａとして入力される場合には、図４の色情報サンプリング部３７は、ＹＵＶ４：２：０フォーマットの映像を生成することになる。
【０１５２】
また、上述の第１実施形態では、上位レイヤと下位レイヤとの２階層が存在する場合について説明したが、これに限らず、例えば、３階層や４階層が存在する場合にも本発明を適用できる。３階層以上が存在する場合であっても、上述の第１実施形態と同様に、下位のレイヤから逐次的に上位のレイヤの符号化や復号を行えばよい。
【０１５３】
また、上述の第１実施形態において、入力映像ａのＹ成分と、下位レイヤのローカルデコード映像ｇのＹ成分と、の差分が予め定められた閾値より小さい場合に、予測値生成部２２は、入力映像ａと同じ値を予測値ｐとして出力してもよい。これによれば、Ｙ成分について、下位レイヤのローカルデコード映像ｇの画質が十分に良ければ、下位レイヤのローカルデコード映像ｇが、上位レイヤのＹ成分として置き換えられることになる。そして、ＤＣＴ／量子化部２３に入力される入力映像ａと予測値ｐとの差分情報がゼロになり、エントロピー符号化部２５では予測情報ｑのみが符号化されることになる。また、生成される圧縮ストリームｂに対して、後述する動画像復号装置ＢＢで追加情報や特別な処理が不要になる。
【０１５４】
また、上述の第２実施形態では、上位レイヤの表現ビット数と、下位レイヤの表現ビット数と、は同一であるものとしたが、これに限らず、異なるものであってもよい。例えば、下位レイヤから上位レイヤを予測する際に表現ビット数を増加させることで、上位レイヤのビット数が下位レイヤのビット数を包含する映像フォーマット階層構造において、表現ビット数のスケーラビリティを実現できる。
【０１５５】
また、上述の第１実施形態ではＹＵＶフォーマットの映像について説明し、第２実施形態ではＲＧＢフォーマットの映像とＹＵＶフォーマットの映像とについて説明した。しかしながら、これに限らず、ＬａｂやＣＭＹＫなどの他の色空間との間のスケーラビリティについても、本発明を適用できる。
【符号の説明】
【０１５６】
１０・・・第１の上位レイヤ符号化部
２０・・・第２の上位レイヤ符号化部
３０、２２０・・・下位レイヤ符号化部
４０、２３０・・・ストリームＭＵＸ部
１１０・・・第１の上位レイヤ復号部
１２０・・・第２の上位レイヤ復号部
１３０、３２０・・・下位レイヤ復号部
１４０、３３０・・・ストリームＤＥＭＵＸ部
２１０・・・上位レイヤ符号化部
３１０・・・上位レイヤ復号部
ＡＡ、ＣＣ・・・動画像符号化装置
ＢＢ、ＤＤ・・・動画像復号装置
【図１】
0005873395.tif 000002
【図２】
0005873395.tif 000003
【図３】
0005873395.tif 000004
【図４】
0005873395.tif 000005
【図５】
0005873395.tif 000006
【図６】
0005873395.tif 000007
【図７】
0005873395.tif 000008
【図８】
0005873395.tif 000009
【図９】
0005873395.tif 000010
【図１０】
0005873395.tif 000011
【図１１】
0005873395.tif 000012
【図１２】
0005873395.tif 000013
【図１３】
0005873395.tif 000014
【図１４】
0005873395.tif 000015