(57)【特許請求の範囲】
【請求項１】
ピクチャについての輝度成分と前記ピクチャについての第１の解像度を持つ第１の色差成分とを符号化して、前記輝度成分の符号化データと前記第１の色差成分の符号化データとを生成し、
前記ピクチャの複雑度を算出し、前記複雑度に応じて、複数のアップサンプリングフィルタのなかから適用するアップサンプリングフィルタを選択し、
前記第１の色差成分の前記符号化データを復号化して得られたデータに、前記複数のアップサンプリングフィルタのうちの選択したアップサンプリングフィルタを適用して補間データを生成し、
前記補間データと、前記ピクチャについての前記第１の解像度よりも高い第２の解像度を持つ第２の色差成分との対応画素間の差分を求めることで差分データを算出し、
前記差分データを符号化して、前記差分データの符号化データを生成し、
前記適用されるアップサンプリングフィルタを表すフィルタ情報と、前記輝度成分の前記符号化データと、前記第１の色差成分の前記符号化データと、前記差分データの前記符号化データとを含むストリームを生成する、
ことをコンピュータに実行させるためのピクチャ符号化プログラム。
【請求項２】
前記複雑度に応じて前記適用するアップサンプリングフィルタを選択することは、前記複雑度と前記複数のアップサンプリングフィルタのうちの前記適用するアップサンプリングフィルタとの関係を表す情報を参照して前記適用するアップサンプリングフィルタを選択する、請求項１に記載のピクチャ符号化プログラム。
【請求項３】
ピクチャについての輝度成分と前記ピクチャについての第１の解像度を持つ第１の色差成分とを符号化して、前記輝度成分の符号化データと前記第１の色差成分の符号化データとを生成し、
前記ピクチャの複雑度を算出し、前記複雑度に応じて、複数のアップサンプリングフィルタのなかから適用するアップサンプリングフィルタを選択し、
前記第１の色差成分の前記符号化データを復号化して得られたデータに、前記複数のアップサンプリングフィルタのうちの選択したアップサンプリングフィルタを適用して補間データを生成し、
前記補間データと、前記ピクチャについての前記第１の解像度よりも高い第２の解像度を持つ第２の色差成分との対応画素間の差分を求めることで差分データを算出し、
前記差分データを符号化して、前記差分データの符号化データを生成し、
前記適用されるアップサンプリングフィルタを表すフィルタ情報と、前記輝度成分の前記符号化データと、前記第１の色差成分の前記符号化データと、前記差分データの前記符号化データとを含むストリームを生成する、
ことを含むピクチャ符号化方法。
【請求項４】
ピクチャについての輝度成分と、前記ピクチャについての第１の解像度を持つ第１の色差成分と、前記ピクチャについての前記第１の解像度よりも高い第２の解像度を持つ差分データとを符号化して、前記輝度成分の符号化データと、前記第１の色差成分の符号化データと、前記差分データの符号化データとを生成する符号化部と、
前記ピクチャの複雑度を算出し、前記複雑度に応じて、複数のアップサンプリングフィルタのなかから適用するアップサンプリングフィルタを選択するフィルタ選択部と、
前記第１の色差成分の前記符号化データを復号化して得られたデータに、前記複数のアップサンプリングフィルタのうちの選択したアップサンプリングフィルタを適用して補間データを生成するアップサンプリング部と、
前記補間データと、前記ピクチャについての前記第２の解像度を持つ第２の色差成分との対応画素間の差分を求めることで前記差分データを算出する差分部と、
前記適用されるアップサンプリングフィルタを表すフィルタ情報と、前記輝度成分の前記符号化データと、前記第１の色差成分の前記符号化データと、前記差分データの前記符号化データとを含むストリームを生成するストリーム生成部と、
を有するピクチャ符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ピクチャ符号化プログラム、ピクチャ符号化方法及びピクチャ符号化装置ならびにピクチャ復号化プログラムに関する。
【背景技術】
【０００２】
動画像データに含まれる各ピクチャが色成分を有する場合、ピクチャの各画素の輝度及び色を表現するために、例えば、YUVと呼ばれる色空間が用いられる。YUVでは、ピクチャの各画素の値は、輝度成分Yと二つの色差成分U、Vによって表される。そしてYUVに対応する画像フォーマットでは、色差成分について画素を間引かないフォーマットである、いわゆるYUV444と、色差成分について画素が間引かれるYUV420、あるいはYUV422などが用いられる。
【０００３】
YUV420フォーマットで表された動画像データは、元の動画像データに対して色情報が劣化し、不可逆な（すなわち、ロッシ―な）動画像データとなる。一方、YUV444フォーマットで動画像データが表される場合には、元の動画像データに対して色情報の劣化がない、いわゆるロスレスな動画像データとなる。ただし、YUV444フォーマットで動画像データが表される場合、色差成分U、Vのデータ量は、同じ動画像データをYUV420フォーマットで表したときの色差成分U、Vのデータ量の4倍となる。
【０００４】
したがって、一旦符号化された動画像データを再生して得られる動画像データと元の動画像データの色情報の差をできるだけ小さくするように、動画像データを符号化するためには、YUV444フォーマットで表された動画像データが利用されることが好ましい。しかし、符号化された動画像データを復号化するための復号化用のコンピュータプログラムあるいは復号化装置には、YUV420フォーマットに対応していても、YUV444フォーマットに対応していないものもある。そのため、YUV444フォーマットとYUV420フォーマットの両方で動画像データを再生できるように、動画像データは符号化されることが好ましい。一方、予め得られた画像から、解像度がより高い画像を得る技術が提案されている（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−１１８９０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、解像度が異なる２種類のフォーマットの動画像データの各ピクチャを両方とも符号化すると、符号化されたデータの量が多くなってしまう。
【０００７】
一つの側面では、本発明は、ピクチャについての色情報の解像度が異なる２種類のフォーマットの両方を含む符号化データの量を削減できるピクチャ符号化プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
一つの態様では、ピクチャ符号化プログラムは、ピクチャについての輝度成分とそのピクチャについての第１の解像度を持つ第１の色差成分とを符号化して、輝度成分の符号化データと第１の色差成分の符号化データとを生成し、第１の色差成分の符号化データを復号化して得られたデータに、複数のアップサンプリングフィルタのうちの何れかを適用して補間データを生成し、補間データと、ピクチャについての第１の解像度よりも高い第２の解像度を持つ第２の色差成分との対応画素間の差分を求めることで差分データを算出し、差分データを符号化して、差分データの符号化データを生成し、適用されるアップサンプリングフィルタを表すフィルタ情報と、輝度成分の符号化データと、第１の色差成分の符号化データと、差分データの符号化データとを含むストリームを生成することをコンピュータに実行させる命令を含む。
【０００９】
他の態様では、ピクチャ符号化方法は、ピクチャについての輝度成分とそのピクチャについての第１の解像度を持つ第１の色差成分とを符号化して、輝度成分の符号化データと第１の色差成分の符号化データとを生成し、第１の色差成分の符号化データを復号化して得られたデータに、複数のアップサンプリングフィルタのうちの何れかを適用して補間データを生成し、補間データと、ピクチャについての第１の解像度よりも高い第２の解像度を持つ第２の色差成分との対応画素間の差分を求めることで差分データを算出し、差分データを符号化して、差分データの符号化データを生成し、適用されるアップサンプリングフィルタを表すフィルタ情報と、輝度成分の符号化データと、第１の色差成分の符号化データと、差分データの符号化データとを含むストリームを生成することを含む。
【００１０】
さらに他の態様では、ピクチャ符号化装置は、ピクチャについての輝度成分と、そのピクチャについての第１の解像度を持つ第１の色差成分と、そのピクチャについての第１の解像度よりも高い第２の解像度を持つ差分データとを符号化して、輝度成分の符号化データと、第１の色差成分の符号化データと、差分データの符号化データとを生成する符号化部と、第１の色差成分の符号化データを復号化して得られたデータに、複数のアップサンプリングフィルタのうちの何れかを適用して補間データを生成するアップサンプリング部と、補間データと、ピクチャについての第２の解像度を持つ第２の色差成分との対応画素間の差分を求めることで差分データを算出する差分部と、適用されるアップサンプリングフィルタを表すフィルタ情報と、輝度成分の符号化データと、第１の色差成分の符号化データと、差分データの符号化データとを含むストリームを生成するストリーム生成部とを有する。
【００１１】
さらに他の態様では、ピクチャ復号化プログラムは、ピクチャについての輝度成分の符号化データと、そのピクチャについての第１の解像度を持つ第１の色差成分の符号化データと、複数のアップサンプリングフィルタのうちの第１の色差成分に適用されたアップサンプリングフィルタを表すフィルタ情報と、そのピクチャについての第１の解像度よりも高い第２の解像度を持つ差分データの符号化データとを含むストリームから、輝度成分と、第１の色差成分と、差分データとを復号化し、復号化された第１の色差成分に、フィルタ情報で表されたアップサンプリングフィルタを適用して、第２の解像度を持つ補間データを生成し、補間データと差分データとの対応画素間の和を求めることで、ピクチャについての第２の解像度を持つ第２の色差成分を復号化することをコンピュータに実行させる命令を含む。
【００１２】
本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を限定するものではないことを理解されたい。
【発明の効果】
【００１３】
一つの側面として、ピクチャについての色情報の解像度が異なる２種類のフォーマットの両方を含む符号化データの量を削減できるという効果を奏する。
【図面の簡単な説明】
【００１４】
【図１】YUV444フォーマットの各成分及びYUV420フォーマットの各成分を表す図である。
【図２】一つの実施形態によるピクチャ符号化装置の概略構成図である。
【図３】アップサンプリングフィルタ選択の概要を示す図である。
【図４】出力されるビットストリームの一例を示す図である。
【図５】ピクチャ符号化処理の動作フローチャートである。
【図６】変形例によるピクチャ符号化処理の動作フローチャートである。
【図７】一つの実施形態によるピクチャ復号化装置の概略構成図である。
【図８】ピクチャ復号化処理の動作フローチャートである。
【図９】上記の実施形態またはその変形例によるピクチャ符号化装置またはピクチャ復号化装置の各部の機能を実現するコンピュータプログラムが動作することにより、ピクチャ符号化装置またはピクチャ復号化装置として動作するコンピュータの構成図である。
【発明を実施するための形態】
【００１５】
以下、図を参照しつつ、ピクチャ符号化装置、及び、そのようなピクチャ符号化装置で利用されるピクチャ符号化方法及びピクチャ符号化プログラムについて説明する。最初に、YUV444フォーマット及びYUV420フォーマットについて説明する。
【００１６】
図１は、YUV444フォーマットの各成分及びYUV420フォーマットの各成分を表す図である。YUV444フォーマットでは、ピクチャ１００は、ピクチャ１００と同じ解像度を持つ輝度成分１０１及び二つの色差成分(U)１０２、色差成分(Y)１０３で表される。すなわち、輝度成分１０１及び二つの色差成分(U)１０２、色差成分(Y)１０３は、ピクチャ１００と同じ画素数を持つ画像として表される。一方、YUV420フォーマットでも、輝度成分１１１は、ピクチャ１００と同じ解像度を持つ画像として表される。すなわち、輝度成分１０１と輝度成分１１１とは同一とすることができる。しかし、YUV420フォーマットでの色差成分(U)１１２、色差成分(Y)１１３については、水平方向及び垂直方向の両方について、画素数がピクチャ１００の画素数と比較して1/2になるように画素が間引かれる。すなわち、色差成分(U)１１２、色差成分(Y)１１３は、ピクチャ１００と比較して、1/4の画素数を持つ画像として表される。そして色差成分(U)１１２、色差成分(Y)１１３の解像度は、色差成分(U)１０２、色差成分(Y)１０３の解像度よりも低い。
【００１７】
そこでこのピクチャ符号化装置は、動画像データの各ピクチャについて、YUV420フォーマットとYUV444フォーマットの両方で再生可能なように、各ピクチャを符号化する。その際、このピクチャ符号化装置は、動画像データに含まれる各ピクチャについて、輝度成分と、YUV420フォーマットで表された二つの色差成分を符号化する。その後、このピクチャ符号化装置は、その二つの色差成分を復号化して得られたデータに対して、複数のアップサンプリングフィルタのうちの何れかを適用して、色差成分ごとに、YUV444フォーマットの色差成分と同じ解像度を持つ補間データを求める。そしてこのピクチャ符号化装置は、色差成分ごとに、補間データと、YUV444フォーマットの色差成分間の差分データを求め、その差分データを符号化する。そしてこのピクチャ符号化装置は、ピクチャごとに、差分データの符号化データと適用されたアップサンプリングフィルタを表すフィルタ情報とを、輝度成分及びYUV420フォーマットの各色差成分の符号化データとともに出力用のビットストリームに含める。
【００１８】
なお、ピクチャは、フレームまたはフィールドの何れであってもよい。フレームは、動画像データ中の一つの静止画像であり、一方、フィールドは、フレームから奇数行のデータあるいは偶数行のデータのみを取り出すことにより得られる静止画像である。
【００１９】
図２は、一つの実施形態によるピクチャ符号化装置の概略構成図である。ピクチャ符号化装置１は、インターフェース部１１と、記憶部１２と、符号化部１３と、アップサンプリング部１４と、差分部１５と、フィルタ選択部１６と、ストリーム生成部１７とを有する。ピクチャ符号化装置１が有するこれらの各部は、例えば、別個の回路として形成され、信号線で互いに接続される。また、ピクチャ符号化装置１が有するこれらの各部は、一つの集積回路として、デジタルカメラあるいはビデオカメラといった、動画像データを生成する装置に実装されてもよい。
【００２０】
インターフェース部１１は、符号化対象となる動画像データを取得する。そのために、インターフェース部１１は、例えば、他の機器（図示せず）とピクチャ符号化装置１とを接続するためのインターフェース回路を有する。本実施形態では、インターフェース部１１は、同一の映像コンテンツを表すYUV444フォーマットの動画像データとYUV420フォーマットの動画像データを取得する。インターフェース部１１を介して取得された動画像データは、記憶部１２に記憶される。
また、インターフェース部１１は、符号化された動画像データを含む、出力用のビットストリームを他の機器へ出力する。
【００２１】
記憶部１２は、例えば、読み書き可能な揮発性の半導体メモリ回路を有する。そして記憶部１２は、符号化対象となる動画像データを記憶する。また記憶部１２は、符号化された動画像データを含むビットストリームを記憶してもよい。あるいは、記憶部１２は、符号化対象となる動画像データが符号化される際に生成されるデータ等を一時的に記憶してもよい。
【００２２】
符号化部１３は、動画像データに含まれる各ピクチャについての輝度成分Y、及び、YUV420フォーマットの二つの色差成分U、Vをそれぞれ符号化する。
【００２３】
さらに、符号化部１３は、各ピクチャについて、差分部１５により得られる、YUV444フォーマットの色差成分と同じ解像度を持つ、二つの色差成分U、Vのそれぞれの差分データを符号化する。なお、差分データの詳細については後述する。
【００２４】
符号化部１３は、上記の輝度成分などを符号化するための符号化方式として、例えば、Moving Picture Experts Group(MPEG)により策定されたMPEG-2、MPEG-4、H.264/MPEG-4 AVCあるいはH.265を採用できる。また、符号化部１３は、輝度成分、二つの色差成分及び二つの差分データのそれぞれに対して、同一の符号化方式を適用できる。
そのため、以下では、輝度成分に関して、符号化部１３の処理を説明する。
【００２５】
符号化部１３は、輝度成分を複数のブロックに分割し、各ブロックと、そのブロックに対する予測ブロック間の対応画素間の差分値を予測誤差信号として算出する。ここで、符号化部１３は、符号量の推定値である符号化コストが最小となるように予測ブロックを生成する。例えば、符号化対象の輝度成分に対応する符号化対象ピクチャが、イントラ予測符号化が適用されるIピクチャである場合、符号化部１３は、各ブロックについて、その周囲の符号化済みの画素の値から、符号化コストが最小となるように予測ブロックを生成する。
【００２６】
一方、符号化対象ピクチャが、インター予測符号化が適用可能なPピクチャ、あるいは、Bピクチャである場合、符号化部１３は、各ブロックについて、例えば、符号化済みのピクチャについての輝度成分を動き補償して得られる予測ブロックを求める。さらに、符号化部１３は、ブロックの周囲の符号化済みの画素の値を用いて予測ブロックを求める。そして符号化部１３は、それら予測ブロックのなかから、符号量が最小となる予測ブロックを、予測誤差信号の生成のために利用する。
【００２７】
符号化部１３は、各ブロックの予測誤差信号を直交変換して直交変換係数を求め、その直交変換係数を量子化する。そして符号化部１３は、量子化された直交変換係数をエントロピー符号化する。さらに符号化部１３は、予測ブロックの生成に利用する情報、例えば、動き補償用の動きベクトルなどもエントロピー符号化してもよい。これにより、符号化部１３は、輝度成分を符号化する。そして符号化部１３は、輝度成分の符号化データを記憶部１２に書き込む。
【００２８】
さらに、符号化部１３は、符号化対象の輝度成分のうちの未符号のブロック、または、符号化対象の輝度成分よりも符号化順序で後のピクチャの輝度成分についての参照のために、各ブロックの量子化された直交変換係数から、各ブロックの画素の値を再生する。そのために、符号化部１３は、各ブロックの量子化された直交変換係数を逆量子化して直交変換係数を再生する。そして符号化部１３は、再生された各ブロックの直交変換係数を逆直交変換して、各ブロックの予測誤差信号を再生し、その予測誤差信号を、対応する予測ブロックの各画素の値に加算して、各ブロックの画素値を再生する。そして符号化対象の輝度成分の全てのブロックについて、画素値が再生されることで、その輝度成分全体が再生される。そして符号化部１３は、再生された輝度成分も記憶部１２に書き込む。
【００２９】
なお、YUV420フォーマットの各色差成分についても同様に、その色差成分の符号化データとともに、その符号化データから再生される色差成分も得られる。そこで、その再生された色差成分が、アップサンプリング部１４にて利用される。
【００３０】
符号化部１３は、差分データごとに、その差分データを符号化して得られた符号化データの符号量をフィルタ選択部１６へ通知する。
【００３１】
アップサンプリング部１４は、動画像データの各ピクチャについて、YUV420フォーマットの再生された色差成分U、Vのそれぞれに対して複数のアップサンプリングフィルタを適用する。これにより、アップサンプリング部１４は、色差成分U、Vそれぞれについて、適用されるアップサンプリングフィルタごとに、YUV444フォーマットの色差成分と同じ解像度を持つピクチャとなる補間データを求める。
【００３２】
複数のアップサンプリングフィルタの一つとして、例えば、補間される画素の値を、その画素の近傍４画素または８画素の値に対して線形補間を適用することで求めるフィルタが利用される。また、複数のアップサンプリングフィルタの他の一つとして、例えば、補間される画素の値を、その画素の水平方向または垂直方向に隣接する画素の値とするフィルタが利用されてもよい。さらに、複数のアップサンプリングフィルタの他の一つとして、例えば、特開２０１４−４５３９８号公報に開示されるフィルタが利用されてもよい。このフィルタでは、補間される画素を含む近傍領域と、その画素に隣接する複数の加算候補領域から選択した加算候補画素を含む加算候補画素近傍領域との相似度に応じて、各加算候補画素の画素値の寄与率を調整することで、補間される画素の値が求められる。
【００３３】
アップサンプリング部１４は、色差成分U、Vのそれぞれについて、アップサンプリングフィルタごとに求められた補間データを差分部１５へ出力する。
【００３４】
差分部１５は、動画像データの各ピクチャについて、YUV444フォーマットの色差成分U、Vと、複数の補間データのそれぞれとの間で対応画素間の差分演算を実行することで、補間データごとに差分データを算出する。したがって、差分データは、YUV444フォーマットで表される色差成分と、YUV420フォーマットで表される色差成分との画素ごとの差を表すものとなる。差分部１５は、各差分データを符号化部１３へ出力する。
【００３５】
また、本実施形態では、YUV444フォーマットの動画像データとYV420フォーマットの動画像データとは、同一の映像コンテンツを含んでいる。そのため、同一のピクチャについてのYUV444フォーマットの色差成分とYUV420フォーマットの色差成分との差は小さい。そのため、差分データの各画素の値は、0または0に近い値となる、比較的小さな値となることが多い。そのため、差分データについては、符号化部１３が実行する直交変換及び量子化により得られる量子化された直交変換係数についても、0となる係数が多くなる。したがって、元のピクチャの色差成分をそのまま符号化するよりも、差分データを符号化した方が、符号量が少なくて済む。
【００３６】
また、補間データの生成に利用されるアップサンプリングフィルタに応じて、補間データの各画素の値も異なる。そのため、補間データの生成に利用されるアップサンプリングフィルタに応じて、差分データの各画素の値も異なる。そのため、同じピクチャであっても、差分データによって、すなわち、適用されたアップサンプリングフィルタによって、符号化部１３により得られる差分データの符号量は異なることになる。
【００３７】
フィルタ選択部１６は、動画像データの各ピクチャについて、色差成分U、Vそれぞれごとに、対応する複数の差分データのうち、符号化部１３により符号されたデータの符号量が最小となる差分データを特定する。そしてフィルタ選択部１６は、符号量が最小となる差分データの生成に利用されたアップサンプリングフィルタを選択する。
【００３８】
図３は、アップサンプリングフィルタ選択の概要を示す図である。YUV420フォーマットの色差成分３００に対してアップサンプリングフィルタｆ１〜ｆ３をそれぞれ適用することで、YUV444フォーマットの色差成分と同じ解像度を持つ複数の補間データ３０１〜３０３が求められる。そして補間データ３０１〜３０３のそれぞれと、色差成分３００に対応するYUV444フォーマットの色差成分３１０との間で、対応画素間の差分演算を行うことで、差分データ３１１〜３１３が求められる。そして差分データ３１１〜３１３が符号化されることで、符号化データ３２１〜３２３が得られる。
【００３９】
例えば、図３に示される例では、符号化データ３２１〜３２３のうち、符号化データ３２１の符号量が最小となる。そこでフィルタ選択部１６は、符号化データ３２１に対応するアップサンプリングフィルタｆ１を選択する。
【００４０】
フィルタ選択部１６は、動画像データの各ピクチャについて、色差成分U、Vそれぞれごとに、選択したアップサンプリングフィルタを表すフィルタ情報をストリーム生成部１７へ通知する。なお、アップサンプリング部１４で使用されるアップサンプリングフィルタの数がｎ個（ただし、ｎは２以上の整数）である場合、フィルタ情報は、例えば、'0'〜'n-1'までの数値とすることができる。そして各数値が、互いに異なるアップサンプリングフィルタに対応する。
【００４１】
ストリーム生成部１７は、動画像データの各ピクチャについて、輝度成分Yの符号化データ、及び、YUV420フォーマットの色差成分U、Vの符号化データを記憶部１２から読み出して、出力用のビットストリームに含める。さらに、ストリーム生成部１７は、各ピクチャについて、色差成分U、Vのそれぞれについてのフィルタ情報と、そのフィルタ情報で表されるアップサンプリングフィルタに対応する差分データの符号化データを出力用のビットストリームに含める。なお、ストリーム生成部１７は、フィルタ情報を、エントロピー符号化してから出力用のビットストリームに含めてもよい。またストリーム生成部１７は、ピクチャ符号化装置１が準拠する符号化方式に従ってヘッダ情報を生成し、そのヘッダ情報を出力用のビットストリームに含める。
【００４２】
図４は、一つのピクチャに相当する、生成されるビットストリームの一例を示す図である。ビットストリーム４００には、ヘッダ情報に含まれるフィルタ情報４０１が含まれる。また、ビットストリーム４００には、輝度成分の符号化データ４０２と、YUV420フォーマットの色差成分Uの符号化データ４０３と、YUV420フォーマットの色差成分Vの符号化データ４０４が含まれる。さらに、ビットストリーム４００には、色差成分Uの差分データの符号化データ４０５と、色差成分Vの差分データの符号化データ４０６が含まれる。なお、ビットストリーム内での各符号化データの格納順は、図４に示された例に限られない。
【００４３】
ストリーム生成部１７は、生成したビットストリームを、インターフェース部１１を介して出力する。
【００４４】
図５は、ピクチャ符号化装置１により実行される、ピクチャ符号化処理の動作フローチャートである。ピクチャ符号化装置１は、動画像データに含まれるピクチャごとに、下記の動作フローチャートに従ってピクチャ符号化処理を実行する。
【００４５】
符号化部１３は、動画像データの着目するピクチャの輝度成分Y及びYUV420フォーマットの二つの色差成分U、Vを符号化する（ステップＳ１０１）。符号化部１３は、輝度成分及び各色差成分の符号化データを記憶部１２に書き込む。アップサンプリング部１４は、二つの色差成分U、Vのそれぞれについて、色差成分の符号化データを復号化して得られたデータに対して複数のアップサンプリングフィルタを適用することで、複数の補間データを求める（ステップＳ１０２）。
【００４６】
差分部１５は、色差成分U、Vのそれぞれについて、各補間データと対応するYUV444フォーマットの色差成分との間で対応画素間の差分演算を行うことで、アップサンプリングフィルタごとの差分データを算出する（ステップＳ１０３）。そして差分部１５は、各差分データを符号化部１３にわたす。そして符号化部１３は、各差分データを符号化する（ステップＳ１０４）。符号化部１３は、各差分データの符号化データを記憶部１２に書き込む。
【００４７】
フィルタ選択部１６は、色差成分U、Vのそれぞれについて、複数の差分データのうち、符号量が最小となる差分データに対応するアップサンプリングフィルタを選択する（ステップＳ１０５）。そしてフィルタ選択部１６は、選択したアップサンプリングフィルタを表すフィルタ情報をストリーム生成部１７へ通知する。
【００４８】
ストリーム生成部１７は、輝度成分Y及びYUV420フォーマットの色差成分U、Vの符号化データを含むビットストリームを生成する。さらに、ストリーム生成部１７は、色差成分U、Vそれぞれのフィルタ情報と、フィルタ情報で示されたアップサンプリングフィルタに対応する差分データの符号化データをビットストリームに含める（ステップＳ１０６）。そしてピクチャ符号化装置１は、ピクチャ符号化処理を終了する。
【００４９】
以上に説明してきたように、このピクチャ符号化装置は、動画像データの各ピクチャについて、輝度成分及びYUV420フォーマットの各色差成分の符号化データとともに、各色差成分の差分データの符号化データを出力用のビットストリームに含める。そのため、このピクチャ符号化装置は、YUV444フォーマットとYUV420フォーマットのそれぞれの色差成分を直接符号化して得られる符号化データを出力用のビットストリームに含めるよりも、符号量を削減できる。さらに、このピクチャ符号化装置は、複数のアップサンプリングフィルタを利用して複数の差分データを生成し、そのうちの符号量が最小となる差分データの符号化データと対応するアップサンプリングフィルタを表す情報とを出力用のビットストリームに含める。そのため、このピクチャ符号化装置は、符号量をより削減できる。
【００５０】
なお、変形例によれば、ストリーム生成部１７は、フィルタ情報として、適用されるアップサンプリングフィルタのフィルタ係数を出力用のビットストリームに含めてもよい。この場合、ピクチャ復号化装置にとって未知のアップサンプリングフィルタが使用された場合でも、ピクチャ復号化装置は、YUV444フォーマットの動画像データを復号化できる。
【００５１】
また、他の変形例によれば、ピクチャ符号化装置１は、YUV444フォーマットの動画像データを受け取り、その動画像データの各ピクチャの色差成分U、Vをダウンサンプリングして、YUV420フォーマットの動画像データを生成してもよい。
【００５２】
さらに他の変形例によれば、フィルタ選択部１６は、ピクチャの複雑度と符号量が最小となるアップサンプリングフィルタの関係を表したテーブルを参照して、使用するアップサンプリングフィルタを選択してもよい。この場合、例えば、それまでに符号化された各ピクチャ、あるいは複数のサンプルピクチャの複雑度から、複雑度ごとに、かつ、アップサンプリングフィルタごとに、差分データの符号量が最小となる回数が求められる。そしてその回数に基づいて、複雑度ごとに、差分データの符号量が最小となる回数が最も多いアップサンプリングフィルタが、その複雑度に対応するアップサンプリングフィルタとなるように、テーブルが作成される。このテーブルは、例えば、記憶部１２に予め記憶される。なお、このテーブルは、符号化対象となる動画像データに含まれる、符号化済みの各ピクチャについて求められた複雑度と、各アップサンプリングフィルタについて得られた差分データの符号量に基づいて更新されてもよい。
【００５３】
また、フィルタ選択部１６は、複雑度としては、例えば、ピクチャ全体あるいはピクチャの一部領域の画素値の標準偏差、あるいは、近傍画素間のエッジ強度の平均値などを利用できる。あるいは、フィルタ選択部１６は、YUV444フォーマットの色差成分ごとに、複雑度を算出してもよい。この場合には、色差成分ごとにアップサンプリングフィルタが選択される。
【００５４】
図６は、この変形例によるピクチャ符号化処理の動作フローチャートである。この動作フローチャートでは、図５に示された動作フローチャートと比較して、ステップＳ１０２〜Ｓ１０５の処理が異なる。そこで図６では、図５におけるステップＳ１０２〜Ｓ１０５の代わりの処理について説明する。
【００５５】
ステップＳ１０１の処理の後、フィルタ選択部１６は、着目するピクチャについて複雑度を算出する（ステップＳ２０１）。そしてフィルタ選択部１６は、テーブルを参照して、複雑度に対応するアップサンプリングフィルタを選択する（ステップＳ２０２）。フィルタ選択部１６は、選択したアップサンプリングフィルタを表す情報を、アップサンプリング部１４及びストリーム生成部１７へ通知する。
【００５６】
アップサンプリング部１４は、再生されたYUV420フォーマットの色差成分U、Vのそれぞれについて、選択されたアップサンプリングフィルタを適用して補間データを生成する（ステップＳ２０３）。差分部１５は、色差成分U、Vのそれぞれについて、補間データと対応するYUV444フォーマットの色差成分との間で対応画素間の差分演算を行うことで差分データを算出する（ステップＳ２０４）。そして差分部１５は、色差成分ごとの差分データを符号化部１３にわたす。そして符号化部１３は、各差分データを符号化する（ステップＳ２０５）。符号化部１３は、各差分データの符号化データを記憶部１２に書き込む。
【００５７】
ピクチャ符号化装置１は、ステップＳ２０５の処理の後、ステップＳ１０６の処理を行って、ピクチャ符号化処理を終了する。
この変形例によれば、ピクチャ符号化装置は、一つのピクチャにつき、色差成分ごとに一つの補間データ及び一つの差分データを生成し、その差分データを符号化すればよいので、演算量をより削減できる。
【００５８】
さらに他の変形例によれば、ピクチャ符号化装置１は、複数のピクチャごと、例えば、Group Of Pictures(GOP)ごとに、一つのアップサンプリングフィルタを選択してもよい。この場合、フィルタ選択部１６は、例えば、その複数のピクチャのそれぞれについてのアップサンプリングフィルタごとの差分データの符号量の合計が最小となるアップサンプリングフィルタを選択すればよい。この場合、ピクチャ符号化装置１は、フィルタ情報を複数のピクチャについて１回だけ出力用のビットストリームに含めればよい。そのため、連続する複数のピクチャについて、差分データの符号量が最小となるアップサンプリングフィルタが同一となるような動画像データに対して、このピクチャ符号化装置１は、符号化効率をより向上できる。
【００５９】
さらに他の変形例によれば、符号化部１３は、輝度成分及びYUV420フォーマットの色差成分に適用する符号化方式と、差分データに適用する符号化方式を異ならせてもよい。例えば、符号化部１３は、差分データにはH.265を適用し、輝度成分及びYUV420フォーマットの各色差成分に対しては、H.264を適用してもよい。
【００６０】
次に、上記の実施形態または変形例によるピクチャ符号化装置により符号化された動画像データの各ピクチャを復号化するピクチャ復号化装置について説明する。
【００６１】
図７は、一つの実施形態によるピクチャ復号化装置の概略構成図である。ピクチャ復号化装置２は、インターフェース部２１と、記憶部２２と、ヘッダ情報取得部２３と、復号化部２４と、アップサンプリング部２５と、加算部２６と、結合部２７とを有する。ピクチャ復号化装置２が有するこれらの各部は、例えば、別個の回路として形成され、信号線で互いに接続される。また、ピクチャ復号化装置２が有するこれらの各部は、一つの集積回路として、ディスプレイといった、動画像データを再生する装置に実装されてもよい。
【００６２】
インターフェース部２１は、復号対象となる、符号化された動画像データを含むビットストリームを取得する。そしてインターフェース部２１を介して取得されたビットストリームは、記憶部２２に記憶される。またインターフェース部２１は、復号化された動画データを他の装置（図示せず）へ出力する。
【００６３】
記憶部２２は、例えば、読み書き可能な揮発性の半導体メモリ回路を有する。そして記憶部２２は、復号対象となるビットストリームを記憶する。また記憶部２２は、復号化された動画像データを記憶してもよい。あるいは、記憶部２２は、動画像データを復号化する際に生成されるデータ等を一時的に記憶してもよい。
【００６４】
ヘッダ情報取得部２３は、符号化された動画像データを含むビットストリームから、ピクチャごとのヘッダ情報を取り出す。そしてヘッダ情報取得部２３は、そのヘッダ情報から、ピクチャごとに、色差成分U、Vそれぞれのフィルタ情報を取り出す。そしてヘッダ情報取得部２３は、そのフィルタ情報をアップサンプリング部２５へ通知する。
【００６５】
またヘッダ情報取得部２３は、符号化された動画像データを含むビットストリームから、動画像データの各ピクチャについて、輝度成分及びYUV420フォーマットの二つの色差成分のそれぞれの符号化データを取出し、その符号化データを復号化部２４へ渡す。さらに、ヘッダ情報取得部２３は、符号化された動画像データを含むビットストリームから、各ピクチャについて、二つの色差成分のそれぞれについての差分データの符号化データを取出し、その符号化データを復号化部２４へ渡す。
【００６６】
復号化部２４は、動画像データの各ピクチャについて、輝度成分及びYUV420フォーマットの二つの色差成分U、Vの符号化データから、輝度成分及びYUV420フォーマットの二つの色差成分を復号化する。同様に、復号化部２４は、動画像データの各ピクチャについて、二つの色差成分U、Vのそれぞれについて、差分データの符号化データから差分データを復号化する。なお、復号化部２４は、ピクチャ符号化装置１の符号化部１３が準拠するピクチャ符号化方式に従って、輝度成分、色差成分及び差分データを復号化すればよい。
復号化部２４は、ピクチャごとに、復号化した輝度成分、色差成分及び差分データを記憶部２２に書き込む。
【００６７】
アップサンプリング部２５は、動画像データの各ピクチャについて、YUV420フォーマットの二つの色差成分のそれぞれについて、フィルタ情報を参照して、適用するアップサンプリングフィルタを特定する。そしてアップサンプリング部２５は、色差成分ごとに、特定されたアップサンプリングフィルタをその色差成分に適用することで、YUV444フォーマットの色差成分と同じ解像度を持つ補間データをもとめる。アップサンプリング部２５は、得られた補間データを加算部２６へ出力する。
【００６８】
加算部２６は、動画像データの各ピクチャについて、二つの色差成分U、Vのそれぞれについて、復号化された差分データの各画素の値に、補間データの対応する画素の値を加算して、YUV444フォーマットのその色差成分を再生する。そして加算部２６は、再生した色差成分を記憶部２２に書き込む。
【００６９】
結合部２７は、記憶部２２に記憶されている、各ピクチャの輝度成分及びYUV420フォーマットの二つの色差成分を、それぞれ、ピクチャの再生順序に従って並べて結合することで、YUV420フォーマットの動画像データを再生する。また結合部２７は、記憶部２２に記憶されている、各ピクチャの輝度成分及びYUV444フォーマットの二つの色差成分を、それぞれ、ピクチャの再生順序に従って並べて結合することで、YUV444フォーマットの動画像データを再生する。
【００７０】
結合部２７は、再生したYUV420フォーマットの動画像データまたはYUV444フォーマットの動画像データを、インターフェース部２１を介して他の機器へ出力する。
【００７１】
図８は、ピクチャ復号化装置２により実行される、ピクチャ復号化処理の動作フローチャートである。ピクチャ復号化装置２は、動画像データに含まれるピクチャごとに、下記の動作フローチャートに従ってピクチャ復号化処理を実行する。
【００７２】
ヘッダ情報取得部２３は、色差成分U、Vの各差分データに対応するアップサンプリングフィルタを表すフィルタ情報を、符号化された動画像データを含むビットストリームのヘッダ情報から取り出す（ステップＳ３０１）。そしてヘッダ情報取得部２３は、そのフィルタ情報をアップサンプリング部２５へ通知する。
【００７３】
復号化部２４は、着目するピクチャの輝度成分及びYUV420フォーマットの二つの色差成分U、Vのそれぞれについての符号化データから、輝度成分及びYUV420フォーマットの色差成分U、Vを復号化する（ステップＳ３０２）。また復号化部２４は、二つの色差成分U、Vのそれぞれについて、差分データの符号化データから差分データを復号化する（ステップＳ３０３）。復号化部２４は、復号化した輝度成分、色差成分及び各差分データを記憶部２２に書き込む。
【００７４】
アップサンプリング部２５は、着目するピクチャの二つの色差成分U、Vのそれぞれについて、復号化された色差成分に対して、フィルタ情報で特定されたアップサンプリングフィルタを適用して補間データをもとめる（ステップＳ３０４）。アップサンプリング部２５は、得られた補間データを加算部２６へ出力する。
【００７５】
加算部２６は、着目するピクチャの二つの色差成分U、Vのそれぞれについて、復号化された差分データと補間データの対応画素間の和を求めて、着目するピクチャのYUV444フォーマットの色差成分U、Vを再生する（ステップＳ３０５）。そして加算部２６は、再生した色差成分を記憶部２２に書き込む。
【００７６】
結合部２７は、記憶部２２に記憶されている、着目するピクチャの輝度成分及び各フォーマットの二つの色差成分を、それぞれ、ピクチャの再生順序に従って並べることで、各フォーマットの動画像データを再生する（ステップＳ３０６）。そしてピクチャ復号化装置２は、ピクチャ復号化処理を終了する。
【００７７】
以上に説明してきたように、このピクチャ復号化装置は、上記の実施形態または変形例によるピクチャ符号化装置によって符号化された動画像データから、YUV444フォーマットの動画像データとYUV420フォーマットの動画像データの両方を再生できる。
【００７８】
なお、上記の実施形態または変形例によるピクチャ符号化装置及びピクチャ復号化装置において、符号化または復号対象となるピクチャのフォーマットとして、YUV420の代わりに、YUV422が用いられてもよい。あるいは、符号化または復号対象となるピクチャのフォーマットとして、YUV444の代わりに、YUV422が用いられてもよい。さらに、符号化または復号対象となるピクチャを表す色空間として、YUVの代わりに、YPbPrが利用されてもよい。
【００７９】
さらに、符号化対象または復号対象となるピクチャは、１枚のピクチャであってもよい。この場合には、ピクチャ符号化装置の符号化部及びピクチャ復号化装置の復号化部は、静止画用の符号化方式に準拠した処理を行ってもよい。またこの場合には、ピクチャ符号化装置は、一旦符号化されたYUV420フォーマットの色差成分を復号化する復号化部を、符号化部とは別個に有していてもよい。
【００８０】
コンピュータ上で実行されることにより、上述した実施形態またはその変形例によるピクチャ符号化装置またはピクチャ復号化装置の各部の機能を実現するコンピュータプログラムは、半導体メモリまたは光記録媒体などの記録媒体に記録された形で提供されてもよい。ただし、そのような記録媒体には、搬送波は含まれない。
【００８１】
図９は、上記の実施形態またはその変形例によるピクチャ符号化装置またはピクチャ復号化装置の各部の機能を実現するコンピュータプログラムが動作することにより、ピクチャ符号化装置またはピクチャ復号化装置として動作するコンピュータの構成図である。
【００８２】
コンピュータ１００は、ユーザインターフェース部１０１と、通信インターフェース部１０２と、記憶部１０３と、記憶媒体アクセス装置１０４と、プロセッサ１０５とを有する。プロセッサ１０５は、ユーザインターフェース部１０１、通信インターフェース部１０２、記憶部１０３及び記憶媒体アクセス装置１０４と、例えば、バスを介して接続される。
【００８３】
ユーザインターフェース部１０１は、例えば、キーボードとマウスなどの入力装置と、液晶ディスプレイといった表示装置とを有する。または、ユーザインターフェース部１０１は、タッチパネルディスプレイといった、入力装置と表示装置とが一体化された装置を有してもよい。そしてユーザインターフェース部１０１は、例えば、ユーザの操作に応じて、符号化または復号化するピクチャを選択する操作信号をプロセッサ１０５へ出力する。さらに、ユーザインターフェース部１０１は、例えば、ユーザの操作に応じて、YUV444フォーマットあるいはYUV420フォーマットの何れのピクチャを復号化するかを指示する操作信号をプロセッサ１０５へ出力する。
【００８４】
通信インターフェース部１０２は、イーサネット（登録商標）などの通信規格に従った通信ネットワークに接続するための通信インターフェース及びその制御回路を有してもよい。そして通信インターフェース部１０２は、通信ネットワークに接続された他の機器から、符号化対象となるピクチャ、あるいは、符号化されたピクチャを含むビットストリームを取得する。
【００８５】
記憶部１０３は、例えば、読み書き可能な半導体メモリと読み出し専用の半導体メモリとを有する。そして記憶部１０３は、プロセッサ１０５上で実行される、ピクチャ符号化処理またはピクチャ復号化処理を実行するためのコンピュータプログラム、及びこれらの処理の途中または結果として生成されるデータを記憶する。例えば、記憶部１０３は、上記の各実施形態またはその変形例における、ピクチャ符号化装置の記憶部１２あるいはピクチャ復号化装置の記憶部２２として機能する。
【００８６】
記憶媒体アクセス装置１０４は、例えば、磁気ディスク、半導体メモリカード及び光記憶媒体といった記憶媒体１０６にアクセスする装置である。記憶媒体アクセス装置１０４は、例えば、記憶媒体１０６に記憶されたプロセッサ１０５上で実行される、ピクチャ符号化プログラムまたはピクチャ復号化プログラムを読み込み、プロセッサ１０５に渡す。
【００８７】
プロセッサ１０５は、上記の実施形態または変形例によるピクチャ符号化プログラムを実行することにより、ピクチャを、YUV444フォーマットとYUV420フォーマットの何れでも再生可能なように符号化する。あるいは、プロセッサ１０５は、上記の実施形態または変形例によるピクチャ復号化プログラムを実行することで、符号化データを含むビットストリームから、YUV444フォーマットとYUV420フォーマットの何れかまたは両方のピクチャを復号化する。そしてプロセッサ１０５は、再生されたピクチャを記憶部１０３に保存し、またはユーザインターフェース部１０１の表示装置へ出力する。
【００８８】
ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。
【００８９】
以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
（付記１）
ピクチャについての輝度成分の符号化データと、前記ピクチャについての第１の解像度を持つ第１の色差成分の符号化データと、複数のアップサンプリングフィルタのうちの前記第１の色差成分に適用されたアップサンプリングフィルタを表すフィルタ情報と、前記ピクチャについての前記第１の解像度よりも高い第２の解像度を持つ差分データの符号化データとを含むストリームから、前記輝度成分と、前記第１の色差成分と、前記差分データとを復号化し、
復号化された前記第１の色差成分に、前記フィルタ情報で表されたアップサンプリングフィルタを適用して、前記第２の解像度を持つ補間データを生成し、
前記補間データと前記差分データとの対応画素間の和を求めることで、前記ピクチャについての前記第２の解像度を持つ第２の色差成分を復号化する、
ことを含むピクチャ復号化方法。
（付記２）
ピクチャについての輝度成分の符号化データと、前記ピクチャについての第１の解像度を持つ第１の色差成分の符号化データと、複数のアップサンプリングフィルタのうちの前記第１の色差成分に適用されたアップサンプリングフィルタを表すフィルタ情報と、前記ピクチャについての前記第１の解像度よりも高い第２の解像度を持つ差分データの符号化データとを含むストリームから、前記輝度成分と、前記第１の色差成分と、前記差分データとを復号化する復号化部と、
復号化された前記第１の色差成分に、前記フィルタ情報で表されたアップサンプリングフィルタを適用して、前記第２の解像度を持つ補間データを生成するアップサンプリング部と、
前記補間データと前記差分データとの対応画素間の和を求めることで、前記ピクチャについての前記第２の解像度を持つ第２の色差成分を復号化する加算部と、
を有するピクチャ復号化装置。
【符号の説明】
【００９０】
１    ピクチャ符号化装置
１１    インターフェース部
１２    記憶部
１３    符号化部
１４    アップサンプリング部
１５    差分部
１６    フィルタ選択部
１７    ストリーム生成部
２    ピクチャ復号化装置
２１    インターフェース部
２２    記憶部
２３    ヘッダ情報取得部
２４    復号化部
２５    アップサンプリング部
２６    加算部
２７    結合部
１００    コンピュータ
１０１    ユーザインターフェース部
１０２    通信インターフェース部
１０３    記憶部
１０４    記憶媒体アクセス装置
１０５    プロセッサ
１０６    記憶媒体
【図１】
0006409516.tif 000002
【図２】
0006409516.tif 000003
【図３】
0006409516.tif 000004
【図４】
0006409516.tif 000005
【図５】
0006409516.tif 000006
【図６】
0006409516.tif 000007
【図７】
0006409516.tif 000008
【図８】
0006409516.tif 000009
【図９】
0006409516.tif 000010