(57)【要約】  基本レイヤおよび拡張レイヤの画像データを符号化して送信する際の符号化効率の向上を図る。  基本レイヤの各ピクチャの画像データを符号化して第１の符号化ストリームを生成する。拡張レイヤの各ピクチャの画像データを符号化して第２の符号化ストリームを生成する。それらのストリームを含むコンテナを送信する。拡張レイヤの各ピクチャの画像データを符号化する際に基本レイヤのピクチャを参照ピクチャとすることが可能とされ、基本レイヤのピクチャを参照ピクチャとするとき、参照ピクチャのブロックに、基本レイヤの画像データを拡張レイヤの画像データに対応させるための変換処理を施して動き補償予測符号化処理を行う。
2018143268.tif 000002
【特許請求の範囲】
【請求項１】
基本レイヤの各ピクチャの画像データを符号化して第１の符号化ストリームを生成すると共に、拡張レイヤの各ピクチャの画像データを符号化して第２の符号化ストリームを生成する画像符号化部と、
上記第１の符号化ストリームおよび上記第２の符号化ストリームを含むコンテナを送信する送信部を備え、
上記画像符号化部は、
上記拡張レイヤの各ピクチャの画像データを符号化する際に上記基本レイヤのピクチャを参照ピクチャとすることが可能とされ、
上記基本レイヤのピクチャを参照ピクチャとするとき、該参照ピクチャのブロックに基本レイヤの画像データを拡張レイヤの画像データに対応させるための変換処理を施して、動き補償予測符号化処理を行う
送信装置。
【請求項２】
上記拡張レイヤの各ピクチャの画像データには、上記基本レイヤの各ピクチャとは異なる表示タイミングを持つピクチャの画像データが含まれる
請求項１に記載の送信装置。
【請求項３】
上記基本レイヤの画像データは第１の解像度の画像データであり、上記拡張レイヤの画像データは上記第１の解像度より大きな第２の解像度の画像データであり、
上記画像符号化部は、上記変換処理として、上記参照ピクチャにおける参照ブロックの解像度を上記第１の解像度から上記第２の解像度にするスケーリング処理を行う
請求項１に記載の送信装置。
【請求項４】
上記画像符号化部は、上記変換処理として、上記スケーリング処理がされた画像データに画像の鈍ったエッジを補正するシェーピング処理をさらに行う
請求項３に記載の送信装置。
【請求項５】
上記第１の解像度はＨＤ解像度であり、上記第２の解像度はＵＨＤ解像度である
請求項３に記載の送信装置。
【請求項６】
上記ＵＨＤ解像度は４Ｋ解像度であり、
上記画像符号化部は、
上記拡張レイヤのピクチャの２次元的に隣接する２×２の４個の予測ブロックで構成されるベクトルブロック毎に上記スケーリング処理された参照ブロックを用いたブロックマッチング処理を行って第１の動きベクトルを決定し、上記スケーリング処理された参照ブロック内において上記４個の予測ブロックのそれぞれとのブロックマッチング処理を行って各予測ブロックに対応した第２の動きベクトルを決定して、上記動き補償予測符号化処理を行う
請求項５に記載の送信装置。
【請求項７】
上記基本レイヤの画像データは第１のダイナミックレンジの画像データであり、上記拡張レイヤの画像データは上記第１のダイナミックレンジより広い第２のダイナミックレンジの画像データであり、
上記画像符号化部は、上記変換処理として、上記参照ピクチャのブロックの画素値を上記第２のダイナミックレンジの画素値に対応するように変換する処理を行う
請求項１に記載の送信装置。
【請求項８】
画像符号化部が、基本レイヤの各ピクチャの画像データを符号化して第１の符号化ストリームを生成すると共に、拡張レイヤの各ピクチャの画像データを符号化して第２の符号化ストリームを生成する画像符号化ステップと、
送信部が、上記第１の符号化ストリームおよび上記第２の符号化ストリームを含むコンテナを送信する送信ステップを有し、
上記画像符号化ステップでは、
上記拡張レイヤの各ピクチャの画像データを符号化する際に上記基本レイヤのピクチャを参照ピクチャとすることが可能とされ、
上記基本レイヤのピクチャを参照ピクチャとするとき、該参照ピクチャのブロックに基本レイヤの画像データを拡張レイヤの画像データに対応させるための変換処理を施して動き補償予測符号化処理を行う
送信方法。
【請求項９】
基本レイヤの各ピクチャの画像データが符号化されて得られた第１の符号化ストリームと拡張レイヤの各ピクチャの画像データが符号化されて得られた第２の符号化ストリームを含むコンテナを受信する受信部を備え、
上記拡張レイヤの各ピクチャの画像データの符号化では上記基本レイヤのピクチャを参照ピクチャとすることが可能とされ、該基本レイヤのピクチャが参照ピクチャとされるとき、該参照ピクチャのブロックに基本レイヤの画像データを拡張レイヤの画像データに対応させるための変換処理が施されて動き補償予測符号化処理が行われており、
表示能力に応じて、上記第１の符号化ストリーム、または上記第１の符号化ストリームおよび上記第２の符号化ストリームを処理して表示用画像データを得る処理部をさらに備える
受信装置。
【請求項１０】
受信部が、基本レイヤの各ピクチャの画像データが符号化されて得られた第１の符号化ストリームと拡張レイヤの各ピクチャの画像データが符号化されて得られた第２の符号化ストリームを含むコンテナを受信する受信ステップを有し、
上記拡張レイヤの各ピクチャの画像データの符号化では上記基本レイヤのピクチャを参照ピクチャとすることが可能とされ、該基本レイヤのピクチャが参照ピクチャとされるとき、該参照ピクチャのブロックに基本レイヤの画像データを拡張レイヤの画像データに対応させるための変換処理が施されて動き補償予測符号化処理が行われており、
処理部が、表示能力に応じて、上記第１の符号化ストリーム、または上記第１の符号化ストリームおよび上記第２の符号化ストリームを処理して表示用画像データを得る処理ステップをさらに有する
受信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、送信装置、送信方法、受信装置および受信方法に関し、基本レイヤおよび拡張レイヤの画像データを符号化して送信する送信装置等に関する。
【背景技術】
【０００２】
従来、基本フォーマット画像データと共に高品質フォーマット画像データを送信し、受信側において、基本フォーマット画像データまたは高品質フォーマット画像データを選択的に用いることが知られている。例えば、特許文献１には、メディア符号化をスケーラブルに行って、低解像度のビデオサービスのための基本レイヤの符号化ストリームと、高解像度のビデオサービスのための拡張レイヤの符号化ストリームを生成し、これらを含むコンテナを送信することが記載されている。なお、高品質フォーマットには、高解像度の他に、高ダイナミックレンジ、広色域、高ビット長などがある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２００８−５４３１４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ＳＨＶＣ（Scalability Extension of HEVC）等の従来のスケーラブル符号化では、レイヤ間にまたがる予測は、同じ表示順（ＰＯＣ：picture order of composition）のピクチャ間のみに限定されていた。しかも、その内の予測には動き補償は適用されずに、画像の同じ空間相対位置のブロック同士のレイヤ間予測のみに対応するものであった。そのため、符号化効率が低下するという課題があった。【０００５】
本技術の目的は、基本レイヤおよび拡張レイヤの画像データを符号化して送信する際の符号化効率の向上を図ることにある。
【課題を解決するための手段】
【０００６】
本技術の概念は、
基本レイヤの各ピクチャの画像データを符号化して第１の符号化ストリームを生成すると共に、拡張レイヤの各ピクチャの画像データを符号化して第２の符号化ストリームを生成する画像符号化部と、
上記第１の符号化ストリームおよび上記第２の符号化ストリームを含むコンテナを送信する送信部を備え、
上記画像符号化部は、
上記拡張レイヤの各ピクチャの画像データを符号化する際に上記基本レイヤのピクチャを参照ピクチャとすることが可能とされ、
上記基本レイヤのピクチャを参照ピクチャとするとき、該参照ピクチャのブロックに基本レイヤの画像データを拡張レイヤの画像データに対応させるための変換処理を施して動き補償予測符号化処理を行う
送信装置にある。【０００７】
本技術において、画像符号化部により、基本レイヤの各ピクチャの画像データが符号化されて第１の符号化ストリームが生成され、拡張レイヤの各ピクチャの画像データが符号化されて第２の符号化ストリームが生成される。例えば、拡張レイヤの各ピクチャの画像データには、基本レイヤの各ピクチャとは異なる表示タイミングを持つピクチャの画像データが含まれる、ようにされてもよい。送信部により、第１の符号化ストリームおよび上記第２の符号化ストリームを含むコンテナが送信される。【０００８】
画像符号化部では、拡張レイヤの各ピクチャの画像データを符号化する際に基本レイヤのピクチャを参照ピクチャとすることが可能とされる。そして、画像符号化部では、基本レイヤのピクチャを参照ピクチャとするとき、この参照ピクチャのブロックに、基本レイヤの画像データを拡張レイヤの画像データに対応させるための変換処理が施されて、動き補償予測符号化処理が行われる。【０００９】
例えば、基本レイヤの画像データは第１の解像度の画像データであり、拡張レイヤの画像データは第１の解像度より大きな第２の解像度の画像データであり、画像符号化部は、変換処理として、参照ピクチャにおける参照ブロックの解像度を第１の解像度から第２の解像度にするスケーリング処理を行う、ようにされてもよい。【００１０】
この場合、例えば、画像符号化部は、変換処理として、スケーリング処理が施された画像データの鈍ったエッジを補正するシェーピング処理をさらに行う、ようにされてもよい。このシェーピング処理により、スケーリング処理がされたことによる画像のエッジのボケを軽減でき、動きベクトルを求めるためのブロックマッチング処理の効果を高めることが可能となる。【００１１】
また、例えば、第１の解像度はＨＤ解像度であり、第２の解像度はＵＨＤ解像度である、ようにされてもよい。この場合、例えば、ＵＨＤ解像度は４Ｋ解像度であり、画像符号化部は、拡張レイヤのピクチャの２次元的に隣接する２×２の４個の予測ブロックで構成されるベクトルブロック毎にスケーリング処理された参照ブロックを用いたブロックマッチング処理を行って第１の動きベクトルを決定し、スケーリング処理された参照ブロック内において４個の予測ブロックのそれぞれとのブロックマッチング処理を行って各予測ブロックに対応した第２の動きベクトルを決定して、上記動き補償予測符号化処理を行う、ようにされてもよい。これにより、各予測ブロックに対応した動きベクトルを精度よく求めることが可能となり、符号化効率の向上を図ることが可能となる。【００１２】
また、例えば、基本レイヤの画像データは第１のダイナミックレンジの画像データであり、拡張レイヤの画像データは第１のダイナミックレンジより広い第２のダイナミックレンジの画像データであり、画像符号化部は、変換処理として、参照ピクチャのブロックの画素値を第２のダイナミックレンジの画素値に対応するように変換する処理を行う、ようにされてもよい。【００１３】
このように本技術においては、拡張レイヤの各ピクチャの画像データを符号化する際に、基本レイヤのピクチャを参照ピクチャとするとき、参照ピクチャのブロックに、基本レイヤの画像データを拡張レイヤの画像データに対応させるための変換処理を施して、動き補償予測符号化処理を行うものである。そのため、参照ブロックを精度よく決定でき、符号化効率の向上を図ることが可能となる。【００１４】
また、本技術の他の概念は、
基本レイヤの各ピクチャの画像データが符号化されて得られた第１の符号化ストリームと拡張レイヤの各ピクチャの画像データが符号化されて得られた第２の符号化ストリームを含むコンテナを受信する受信部を備え、
上記拡張レイヤの各ピクチャの画像データの符号化では上記基本レイヤのピクチャを参照ピクチャとすることが可能とされ、該基本レイヤのピクチャが参照ピクチャとされるとき、該参照ピクチャのブロックに基本レイヤの画像データを拡張レイヤの画像データに対応させるための変換処理が施されて動き補償予測符号化処理が行われており、
表示能力に応じて、上記第１の符号化ストリーム、または上記第１の符号化ストリームおよび上記第２の符号化ストリームを処理して表示用画像データを得る処理部をさらに備える
受信装置にある。【００１５】
本技術において、受信部により、第１の符号化ストリームと第２の符号化ストリームが含まれたコンテナが受信される。第１の符号化ストリームは、基本レイヤの各ピクチャの画像データが符号化されて得られたものである。第２の符号化ストリームは、拡張レイヤの各ピクチャの画像データが符号化されて得られたものである。【００１６】
拡張レイヤの各ピクチャの画像データの符号化では基本レイヤのピクチャを参照ピクチャとすることが可能とされ、基本レイヤのピクチャが参照ピクチャとされるとき、この参照ピクチャのブロックに、基本レイヤの画像データを拡張レイヤの画像データに対応させるための変換処理が施されて動き補償予測符号化処理が行われている。【００１７】
処理部により、表示能力に応じて、第１の符号化ストリーム、または第１の符号化ストリームおよび第２の符号化ストリームが処理されて表示用画像データが得られる。この場合、第１の符号化ストリームに復号化処理が施されて基本レイヤの画像データが得られ、第２の符号化ストリームに復号化処理が施されて拡張レイヤの画像データが得られる。
【発明の効果】
【００１８】
本技術によれば、基本レイヤおよび拡張レイヤの画像データを符号化して送信する際の符号化効率の向上を図ることができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１９】
【図１】実施の形態としての送受信システムの構成例を示すブロック図である。
【図２】基本レイヤおよび拡張レイヤの画像データの構成例を示す図である。
【図３】基本レイヤおよび拡張レイヤの画像データの他の構成例を示す図である。
【図４】送信装置の構成例を示すブロック図である。
【図５】エンコード部の主要部の構成例を示すブロック図である。
【図６】レイヤ間予測部におけるレイヤ間の動き予測（第１の動き予測）を説明するための図である。
【図７】スケーリング処理およびシェーピング処理を概略的に示す図である。
【図８】ラージブロック内での動き予測（第２の動き予測）を説明するための図である。
【図９】ビデオエンコーダのより具体的な構成例を示す図である。
【図１０】符号化データをコンテナするスライス（Slice）のＮＡＬユニットの構造例と、スライス・セグメント・ヘッダの構造例を示す図である。
【図１１】スライス・セグメント・データの構造例を示す図である。
【図１２】「vector_prediction_unit()」と「micro_prediction_unit()」のフィールドの構造例を示す図である。
【図１３】「prediction_unit2()」のフィールドの構造例を示す図である。
【図１４】各構造例における主要な情報の内容を示す図である。
【図１５】受信装置の構成例を示すブロック図である。
【図１６】デコード部の主要部の構成例を示すブロック図である。
【図１７】ビデオデコーダのより具体的な構成例を示す図である。
【図１８】ＨＤＲ特性、ＳＤＲ特性を示す図である。
【発明を実施するための形態】
【００２０】
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例
【００２１】
＜１．実施の形態＞
［送受信システム］
図１は、実施の形態としての送受信システム１０の構成例を示している。この送受信システム１０は、送信装置１００と、受信装置２００とを有する構成となっている。
【００２２】
送信装置１００は、コンテナとしてのトランスポートストリームＴＳを放送波に載せて送信する。このトランスポートストリームＴＳには、第１の符号化ストリームと第２の符号化ストリームが含まれる。第１の符号化ストリームは、基本レイヤの各ピクチャの画像データが符号化されて得られたものである。第２の符号化ストリームは、拡張レイヤの各ピクチャの画像データが符号化されて得られたものである。
【００２３】
この実施の形態において、基本レイヤの画像データは１２０ｆｐｓでＨＤ解像度の画像データまたは６０ｆｐｓでＨＤ解像度の画像データであり、拡張レイヤの画像データは１２０ｆｐｓでＵＨＤ解像度（４Ｋ解像度、８Ｋ解像度など）、ここでは４Ｋ解像度の画像データである。
【００２４】
ここで、４Ｋ解像度は横:約４０００×縦:約２０００ピクセル級の解像度であり、例えば４０９６×２１６０や３８４０×２１６０であり、８Ｋ解像度は縦、横のピクセルがそれぞれ４Ｋ解像度の２倍となる解像度である。また、ＨＤ解像度は、例えば、縦、横のピクセルが４Ｋ解像度の１/２倍となる解像度である。
【００２５】
拡張レイヤの各ピクチャの画像データを符号化する際に、基本レイヤのピクチャを参照ピクチャとすることが可能とされる。そして、基本レイヤのピクチャを参照ピクチャとするとき、この参照ピクチャのブロックに、基本レイヤの画像データを拡張レイヤの画像データに対応させるための変換処理が施されて、動き補償予測符号化が行われる。
【００２６】
この実施の形態において、変換処理として、参照ピクチャのブロックの解像度をＨＤ解像度から４Ｋ解像度にするスケーリング処理が行われる。また、この実施の形態において、変換処理として、スケーリング処理がされた画像データに画像の鈍ったエッジを補正するシェーピング処理がさらに行われる。このシェーピング処理により、スケーリング処理がされたことによる画像のエッジのボケが軽減され、動きベクトルを求めるためのブロックマッチング処理の精度が高められる。
【００２７】
動き補償予測符号化処理において、拡張レイヤのピクチャの２次元的に隣接する２×２の４個の予測ブロックで構成されるベクトルブロック毎にスケーリング処理された参照ブロックを用いたブロックマッチング処理が行われて第１の動きベクトルが決定される。また、スケーリング処理された参照ブロック内において４個の予測ブロックのそれぞれとのブロックマッチング処理が行われて各予測ブロックに対応した第２の動きベクトル（マイクロベクトル）が決定される。これにより、各予測ブロックに対応した動きベクトルが精度よく求められ、符号化効率の向上が図られる。
【００２８】
受信装置２００は、送信装置１００から放送波に載せて送られてくる上述のトランスポートストリームＴＳを受信する。このトランスポートストリームＴＳには、上述したように、６０ｆｐｓでＨＤ解像度の画像データに係る第１の符号化ストリームと１２０ｆｐｓで４Ｋ解像度の画像データに係る第２の符号化ストリームが含まれている。
【００２９】
受信装置２００は、６０ｆｐｓでＨＤ解像度の表示能力がある場合、第１の符号化ストリームを処理して６０ｆｐｓでＨＤ解像度の表示用画像データを得て、画像表示をする。一方、受信装置２００は、１２０ｆｐｓで４Ｋ解像度の表示能力がある場合、第１の符号化ストリームおよび第２の符号化ストリームを処理して１２０ｆｐｓで４Ｋ解像度の表示用画像データを得て、画像表示をする。
【００３０】
図２は、基本レイヤおよび拡張レイヤの画像データの構成例を示している。図示の例において、横軸は表示順（ＰＯＣ：picture order of composition）を示し、左側は表示時刻が前で、右側は表示時刻が後になる。矩形枠のそれぞれがピクチャを示し、数字はエンコード順（受信側ではデコード順）を示している。また、矢印は予測符号化処理におけるピクチャの参照関係の一例を示し、実線はレイヤ内の参照関係を示し、破線はレイヤ間の参照関係を示している。レイヤ間、レイヤ内の双方とも予測はブロックごとに対象ピクチャが変わり、また、予測の向き、参照数は図示の例に限定されるわけではない。なお、サブレイヤ内の参照関係の表示は省略している。
【００３１】
基本レイヤの画像データとして、第１の画像データ「HD 60Hz Base」が存在する。この第１の画像データは、サブレイヤ１（sublayer 1）を構成する画像データであり、基本となる６０Ｈｚを構成する画像データである。また、基本レイヤの画像データとして、第２の画像データ「HD +60Hz HFR」が存在する。この第２の画像データは、サブレイヤ２（sublayer 2）を構成する画像データであり、第１の画像データ「HD 60Hz Base」に対して時間方向のスケーラビリティである。
【００３２】
また、拡張レイヤの画像データとして、第３の画像データ「UHD(4K) 60Hz」が存在する。この第３の画像データは、サブレイヤ３（sublayer 3）を構成する画像データであり、基本となる６０Ｈｚを構成する画像データである。この第３の画像データは、第１の画像データ「HD 60Hz Base」に対して空間方向のスケーラビリティである。また、拡張レイヤの画像データとして、第４の画像データ「UHD(4K) +60Hz HFR」が存在する。この第４の画像データは、サブレイヤ４（sublayer 4）を構成する画像データであり、第３の画像データ「UHD(4K) 60Hz」に対して時間方向のスケーラビリティであると共に、第２の画像データ「HD +60Hz HFR」に対して空間方向のスケーラビリティである。
【００３３】
この構成例の場合、第１の画像データ「HD 60Hz Base」に基づいて、基本フレームレートで高解像度（ＨＤ）の画像（６０Ｈｚ  ＨＤ画像）の再生が可能である。また、第１の画像データ「HD 60Hz Base」および第２の画像データ「HD +60Hz HFR」に基づいて、ハイフレームレートで高解像度（ＨＤ）の画像（１２０Ｈｚ  ＨＤ画像）の再生が可能である。
【００３４】
また、第１の画像データ「HD 60Hz Base」および第３の画像データ「UHD(4K) 60Hz」に基づいて、基本フレームレートで超高解像度（ＵＨＤ（４Ｋ））の画像（６０Ｈｚ  ＵＨＤ画像）の再生が可能である。また、第１の画像データ「HD 60Hz Base」、第２の画像データ「HD +60Hz HFR」、第３の画像データ「UHD(4K) 60」および第４の画像データ「UHD(4K) +60Hz HFR」に基づいて、ハイフレームレートで超高解像度（ＵＨＤ（４Ｋ））の画像（１２０Ｈｚ  ＵＨＤ画像）の再生が可能である。
【００３５】
図３は、基本レイヤおよび拡張レイヤの画像データの他の構成例を示している。図示の例において、横軸は表示順（ＰＯＣ：picture order of composition）を示し、左側は表示時刻が前で、右側は表示時刻が後になる。矩形枠のそれぞれがピクチャを示し、数字はエンコード順（受信側ではデコード順）を示している。また、矢印は予測符号化処理におけるピクチャの参照関係の一例を示し、実線はレイヤ内の参照関係を示し、破線はレイヤ間の参照関係を示している。レイヤ間、レイヤ内の双方とも予測はブロックごとに対象ピクチャが変わり、また、予測の向き、参照数は図示の例に限定されるわけではない。なお、サブレイヤ内の参照関係の表示は省略している。
【００３６】
この構成例においては、基本レイヤの画像データとして、第２の画像データ「HD +60Hz HFR」が存在しないことを除き、上述の図２の構成例と同様である。この構成例の場合、第１の画像データ「HD 60Hz Base」に基づいて、基本フレームレートで高解像度（ＨＤ）の画像（６０Ｈｚ  ＨＤ画像）の再生が可能である。この構成例では、拡張レイヤの各ピクチャの画像データには、基本レイヤの各ピクチャとは異なる表示タイミングを持つピクチャの画像データが含まれるものとなる。
【００３７】
また、第１の画像データ「HD 60Hz Base」および第３の画像データ「UHD(4K) 60Hz」に基づいて、基本フレームレートで超高解像度（ＵＨＤ（４Ｋ））の画像（６０Ｈｚ  ＵＨＤ画像）の再生が可能である。また、第１の画像データ「HD 60Hz Base」、第３の画像データ「UHD(4K) 60」および第４の画像データ「UHD(4K) +60Hz HFR」に基づいて、ハイフレームレートで超高解像度（ＵＨＤ（４Ｋ））の画像（１２０Ｈｚ  ＵＨＤ画像）の再生が可能である。
【００３８】
「送信装置の構成」
図４は、送信装置１００の構成例を示している。この送信装置１００は、制御部１０１と、ビデオエンコーダ１０２と、システムエンコーダ１０３と、送信部１０４を有している。制御部１０１は、ＣＰＵ（Central Processing Unit）を備えて構成され、制御プログラムに基づいて、送信装置１００の各部の動作を制御する。
【００３９】
ビデオエンコーダ１０２は、１２０ｆｐｓで４Ｋ解像度の画像データを入力し、基本レイヤの各ピクチャの画像データを符号化して得た第１の符号化ストリームＢＳを出力すると共に、拡張レイヤの各ピクチャの画像データを符号化して得た第２の符号化ストリームＥＳを出力する。ここで、１２０ｆｐｓで４Ｋ解像度の画像データは、上述の、第３の画像データ「UHD 60Hz」および第４の画像データ「UHD +60Hz HFR」を含むもので、拡張レイヤの画像データを構成する。
【００４０】
ビデオエンコーダ１０２は、スケーリング部１０２ａ、エンコード部１０２ｂおよびエンコード部１０２ｅを有する。スケーリング部１０２ａは、４Ｋ解像度の画像データにスケーリング処理を施し、基本レイヤの画像データを得る。
【００４１】
ここで、基本レイヤの構成が図２の構成例に示す場合には、スケーリング部１０２ａは、ＵＨＤ解像度の画像データに空間方向のスケーリング処理を施して、１２０ｆｐｓでＨＤ解像度の画像データを得る。この１２０ｆｐｓでＨＤ解像度の画像データは、上述の第１の画像データ「HD 60Hz Base」および第２の画像データ「HD +60Hz HFR」を含むものとなる。
【００４２】
一方、基本レイヤの構成が図３の構成例に示す場合には、スケーリング部１０２ａは、ＵＨＤ解像度の画像データに空間方向および時間方向のスケーリング処理を施して、６０ｆｐｓでＨＤ解像度の画像データを得る。この６０ｆｐｓでＨＤ解像度の画像データは、上述の第１の画像データ「HD 60Hz Base」を含むものとなる。
【００４３】
エンコード部１０２ｂは、スケーリング部１０２ａで得られる基本レイヤの画像データに対して、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの動き補償予測符号化処理を施して符号化画像データを得、この符号化画像データを持つ第１の符号化ストリームＢＳを生成する。
【００４４】
エンコード部１０２ｅは、１２０ｆｐｓでＵＨＤ解像度の画像データ、つまり拡張レイヤの画像データに対して、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどのレイヤ内、そしてレイヤ間の動き補償予測符号化処理を施して符号化画像データを得、この符号化画像データを持つ第２の符号化ストリームＥＳを生成する。
【００４５】
この場合、エンコード部１０２ｅは、拡張レイヤの各ピクチャの画像データを符号化する際に、基本レイヤのピクチャを参照ピクチャとすることが可能とされる。この場合、エンコード部１０２ｅは、予測残差を小さくするために、予測ブロック（符号化ブロック）毎に、拡張レイヤ内の予測、または基本レイヤとの間の予測を、選択的に行う。
【００４６】
エンコード部１０２ｅは、基本レイヤのピクチャを参照ピクチャとするとき、この参照ピクチャにおける参照ブロックに、基本レイヤの画像データを拡張レイヤの画像データに対応させるための変換処理をして動き補償予測符号化処理を行う。
【００４７】
変換処理は、具体的には、参照ピクチャのブロックの解像度をＨＤ解像度からＵＨＤ解像度にするスケーリング処理である。なお、この実施の形態においては、この変換処理に、さらに、スケーリング処理がされた画像データに画像の鈍ったエッジを補正するシェーピング処理も含める。このシェーピング処理により、スケーリング処理がされたことによる画像のエッジのボケを軽減でき、動きベクトルを求めるためのブロックマッチング処理の効果を高めることが可能となる。
【００４８】
図５は、エンコード部１０２ｅの主要部の構成例を示している。エンコード部１０２ｅは、レイヤ内予測部１５１と、レイヤ間予測部１５２と、変換処理部１５３と、選択部１５４と、エンコード機能部１５５を有している。
【００４９】
レイヤ内予測部１５１は、拡張レイヤの画像データＶ１に対して、この画像データＶ１内での予測（レイヤ内予測）を行って予測残差データを得る。レイヤ間予測部１５２は、拡張レイヤの画像データＶ１に対して、基本レイヤの画像データＶ２との間での予測（レイヤ間予測）を行って予測残差データを得る。
【００５０】
変換処理部１５３は、レイヤ間予測部１５２におけるレイヤ間動き予測を効率よく行うために、上述の変換処理（スケーリング処理およびシェーピング処理）を行う。
【００５１】
図６は、レイヤ間予測部１５２におけるレイヤ間の動き予測（第１の動き予測）の概念を示している。符号化ピクチャ（拡張レイヤのピクチャ）の予測ブロック（prediction block）のうち、２次元的に隣接する２×２の４個の予測ブロックを１つのベクトルブロック（vector block）とする。
【００５２】
レイヤ間予測部１５２は、ベクトルブロック毎に、参照ピクチャ（基本レイヤのピクチャ）内の参照ブロック（reference block）にスケーリング処理およびシェーピング処理を施して得られたラージブロック（large block）を用いてブロックマッチング処理をする。レイヤ間予測部１５２は、参照ピクチャの探索範囲内で残差成分パワー（４個の予測ブロックの残差パワー成分の総和）が最小となるように探索を行って、レイヤ間動きベクトル（第１の動きベクトル）を決定する。
【００５３】
この場合、ベクトルブロックのトップレフト（top-left）の起点座標を(ｘ０，ｙ０)とする。そして、この(ｘ０，ｙ０)を参照ピクチャの解像度座標に換算した位置を（ｘ１，ｙ１）とし、この（ｘ１，ｙ１）から参照ブロックまでの距離を参照ピクチャの解像度をベースとし、サブピクセル精度も含んだ値で示す２次元のベクトル(ｍｖｘ，ｍｖｙ)がレイヤ間動きベクトルとなる。
【００５４】
図７は、スケーリング処理およびシェーピング処理を概略的に示している。参照ピクチャから読み出されたＭ×Ｎのブロック（参照ブロック）に、所望のフィルタによりスケーリング処理をする。次に、スケーリング処理されたブロック（ラージブロック）に、テクスチャがぼやけるのを防ぐためのエッジ強調などのシェーピング処理をする。
【００５５】
また、レイヤ間予測部１５２は、さらに、図８に示すように、拡張レイヤのベクトルブロックを構成する各予測ブロックに対してマイクロベクトルによるラージブロック内での動き予測（第２の動き予測）をする。この場合、レイヤ間動きベクトル（第１の動きベクトル）で特定される参照ブロックにスケーリング処理およびシェーピング処理を施して得られたラージブロック内においてベクトルブロックを構成する上述の４個の予測ブロックのそれぞれとのブロックマッチング処理を行って、各予測ブロックに対応した、ラージブロック内で予測残差パワーが最小となる位置を示すマイクロベクトル（第２の動きベクトル）を決定する。このマイクロベクトル（第２の動きベクトル）は、符号化ピクチャの解像度をベースとし、サブピクセル精度も含んだ値で示す２次元のレイヤ間動きベクトルとなる。
【００５６】
レイヤ間予測部１５２は、上述のレイヤ間の動き予測（第１の動き予測）とラージブロック内での動き予測（第２の動き予測）の結果に基づいて、予測ブロック毎に、動き補償予測符号化処理をする。この場合、動きベクトル情報としては、レイヤ間動きベクトル（第１の動きベクトル）とマイクロベクトル（第２の動きベクトル）の２つが存在する。
【００５７】
図４に戻って、システムエンコーダ１０３は、ビデオエンコーダ１０２で生成された第１符号化ストリームＢＳおよび第２の符号化ストリームＥＳに対してＰＥＳパケット化およびＴＳパケット化を行って、トランスポートストリームＴＳを生成する。そして、送信部１０４は、このトランスポートストリームＴＳを、放送波あるいはネットのパケットに載せて、受信装置２００に送信する。
【００５８】
図９は、ビデオエンコーダ１０２のより具体的な構成例を示している。ビデオエンコーダ１０２は、スケーリング部１０２ａと、ブロック化回路１２１と、減算回路１２２と、動き予測/動き補償回路１２３と、整数変換/量子化回路１２４と、逆量子化/逆整数変換回路１２５と、加算回路１２６と、ループフィルタ１２７と、メモリ１２８と、エントロピー符号化回路１２９を有している。ここで、ブロック化回路１２１からエントロピー符号化回路１２９は、エンコード部１０２ｂ（図４参照）を構成している。
【００５９】
また、ビデオエンコーダ１０２は、ブロック化回路１３１と、減算回路１３２と、動き予測/動き補償回路１３３と、切り替え回路１３４と、整数変換/量子化回路１３６と、逆量子化/逆整数変換回路１３７と、加算回路１３８と、ループフィルタ１３９と、メモリ１４０と、エントロピー符号化回路１４１と、変換処理部１５３を有している。ここで、ブロック化回路１３１からエントロピー符号化回路１４１、および変換処理部１５３は、エンコード部１０２ｅ（図４参照）を構成している。
【００６０】
ビデオエンコーダ１０２に入力される１２０ｆｐｓでＵＨＤ解像度の画像データは、スケーリング部１０２ａに供給される。このスケーリング部１０２ａでは、１２０ｆｐｓでＵＨＤ解像度の画像データにスケーリング処理が施され、基本レイヤの画像データが得られる。この基本レイヤの画像データは、１２０ｆｐｓでＨＤ解像度の画像データ（図２参照）、あるいは６０ｆｐｓでＨＤ解像度の画像データ（図３参照）である。
【００６１】
スケーリング部１０２ａで得られる基本レイヤの画像データは、ブロック化回路１２１に供給される。このブロック化回路１２１では、基本レイヤの各ピクチャの画像データが符号化処理単位のブロック（ＭＢ：マクロブロック）に分割される。各ブロックは減算回路１２２に順次供給される。動き予測/動き補償回路１２３では、メモリ１２８に記憶されている参照ピクチャの画像データに基づいて、ブロック毎に、動き補償された予測参照ブロックが得られる。
【００６２】
動き予測/動き補償回路１２３で得られた各予測参照ブロックは、減算回路１２２に順次供給される。減算回路１２２では、ブロック化回路１２１で得られたブロック毎に、予測参照ブロックとの間で減算処理が行われて、予測誤差が得られる。このブロック毎の予測誤差は、整数変換/量子化回路１２４で整数変換（例えばＤＣＴ変換）された後に量子化される。
【００６３】
整数変換/量子化回路１２４で得られたブロック毎の量子化データは、逆量子化/逆整数変換回路１２５に供給される。この逆量子化/逆整数変換回路１２５では、量子化データに対して逆量子化が施され、さらに逆整数変換が施されて、予測残差が得られる。この予測誤差は、加算回路１２６に供給される。
【００６４】
この加算回路１２６では、予測残差に動き補償された予測参照ブロックが加算されて、ブロックが得られる。このブロックは、ループフィルタ１２７で量子化ノイズが除去された後に、メモリ１２８に蓄積される。
【００６５】
また、整数変換/量子化回路１２４で得られたブロック毎の量子化データは、エントロピー符号化回路１２９に供給されて、エントロピー符号化が行われ、第１の符号化ストリームＢＳが得られる。なお、この第１の符号化ストリームＢＳには、各ブロックにおける動きベクトルなどの情報が、受信側における復号化のためにＭＢヘッダ情報として付加される。
【００６６】
また、ビデオエンコーダ１０２に入力される１２０ｆｐｓでＵＨＤ解像度の画像データは、拡張レイヤの画像データとして、ブロック化回路１３１に供給される。このブロック化回路１３１では、拡張レイヤの各ピクチャの画像データが符号化処理単位のブロック（ＭＢ：マクロブロック）に分割される。各ブロックは減算回路１３２に順次供給される。
【００６７】
動き予測/動き補償回路１３３では、レイヤ内予測を行う場合には、メモリ１４０に記憶されている拡張レイヤの参照ピクチャの画像データが切り替え回路１３４を通じて供給され、ブロックマッチング処理により、動き補償されたレイヤ内予測のための予測参照ブロックが得られる。「動きベクトル１」は、このとき決定された動きベクトルを示している。
【００６８】
また、動き予測/動き補償回路１３３では、レイヤ間予測を行う場合には、メモリ１２８に記憶されている基本レイヤの参照ピクチャの画像データが、変換処理部１５３および切り替え回路１３４を通じて供給され、ブロックマッチング処理により、動き補償されたレイヤ間予測のための予測参照ブロックが得られる。変換処理部１５３では、上述したようにスケーリング処理およびシェーピング処理が行われる（図６、図７参照）。「動きベクトル２」は、このとき決定された動きベクトルを示しており、レイヤ間動きベクトル（第１の動きベクトル）とマイクロベクトル（第２の動きベクトル）の２つが含まれる。
【００６９】
動き予測/動き補償回路１３３で得られた各予測参照ブロックは、減算回路１３２に順次供給される。減算回路１３２では、ブロック化回路１３１で得られたブロック毎に、予測参照ブロックとの間で減算処理が行われて、予測誤差が得られる。このブロック毎の予測誤差は、整数変換/量子化回路１３６で整数変換（例えばＤＣＴ変換）された後に量子化される。
【００７０】
整数変換/量子化回路１３６で得られたブロック毎の量子化データは、逆量子化/逆整数変換回路１３７に供給される。この逆量子化/逆整数変換回路１３７では、量子化データに対して逆量子化が施され、さらに逆整数変換が施されて、予測残差が得られる。このブロック毎の予測誤差は、加算回路１３８に供給される。
【００７１】
この加算回路１３８では、予測残差に動き補償された予測参照ブロックが加算されて、ブロックが得られる。このブロックは、ループフィルタ１３９で量子化ノイズが除去された後に、メモリ１４０に蓄積される。
【００７２】
また、整数変換/量子化回路１３６で得られたブロック毎の量子化データは、エントロピー符号化回路１４１に供給されて、エントロピー符号化が行われ、第２の符号化ストリームＥＳが得られる。なお、この第２の符号化ストリームＥＳには、各ブロックにおける動きベクトルなどの情報が、受信側における復号化のためにＭＢヘッダ情報として付加される。
【００７３】
図１０（ａ）は、符号化データをコンテナするスライス（Slice）のＮＡＬユニットの構造例を示している。このＮＡＬユニットは、スライス・セグメント・ヘッダ（slice_segment_header()）と、スライス・セグメント・データ（slice_segment_data()）とからなっている。以下、スライス・セグメント・ヘッダとスライス・セグメント・データの構造例について説明する。なお、図１４は、各構造例における主要な情報の内容（セマンティクス）を示す。
【００７４】
図１０（ｂ）は、スライス・セグメント・ヘッダの構造例を示している。「self_layer」のフィールドは、符号化スライスが属するレイヤを示す。例えば、基本レイヤを“０”、拡張レイヤを“１”とする。
【００７５】
図１１は、スライス・セグメント・データの構造例を示している。「number_of_referencing」のフィールドは、予測参照する数を示す。この数の分だけ動きベクトル等の情報が存在する。「ref_pic_layer_id」のフィールドは、参照ピクチャのレイヤに付与される識別番号を示す。例えば、基本レイヤを“０”、拡張レイヤを“１”とする。「ref_idx_li」のフィールドは、参照ピクチャのインデックスを示す。
【００７６】
「self_layer」と「ref_pic_layer_id」が異なる場合、「ref_pic_resolution」、「ref_pic_scaling_ratio」、「vector_prediction_unit( cod_blc_x, cod_blc_y, interlayer_mvx, interlayer_mvy )」、「micro_prediction_unit( cod_blc_x, cod_blc_y,  microvec_x, microvec_y )」の各フィールドが存在する。「ref_pic_resolution」のフィールドは、参照ピクチャの解像度を示す。「ref_pic_scaling_ratio」のフィールドは、参照ピクチャをスケーリングする比率を示す。
【００７７】
図１２は、「vector_prediction_unit( cod_blc_x, cod_blc_y, interlayer_mvx, interlayer_mvy )」と「micro_prediction_unit( cod_blc_x, cod_blc_y,  microvec_x, microvec_y )」のフィールドの構造例を示している。ここで、「cod_blc_x」は、符号化ブロック（予測ブロック）の“ｘ”ポジションを示す。また、「cod_blc_ｙ」は、符号化ブロック（予測ブロック）の“ｙ”ポジションを示す。
【００７８】
「vector_prediction_unit( cod_blc_x, cod_blc_y, interlayer_mvx, interlayer_mvy )」のフィールドには、「scale_fil_horiz_type」、「scale_fil_vert_type」、「shape_horiz_type」、「shape_vert_type」、「vector_prediction_unit_size」、「prediction_unit_size」、「interlayer_mvx」、「interlayer_mvy」の各フィールドが存在する。
【００７９】
「scale_fil_horiz_type」のフィールドは、水平方向スケーリング・フィルタのタイプを示す。「scale_fil_vert_type」のフィールドは、垂直方向スケーリング・フィルタのタイプを示す。「shape_horiz_type」のフィールドは、ボケ除去の水平方向フィルタ関数、テーブルを示す。「shape_vert_type」のフィールドは、ボケ除去の垂直方向フィルタ関数、テーブルを示す。
【００８０】
「vector_prediction_unit_size」のフィールドは、ベクトルブロック（図６参照）のサイズを示す。「prediction_unit_size」のフィールドは、予測ブロック（図６参照）のサイズを示す。「interlayer_mvx」のフィールドは、水平方向参照ピクチャ解像度をベースとしたサブピクセル精度を含む動きベクトルを示す。「interlayer_mvy」のフィールドは、垂直方向参照ピクチャ解像度をベースとしたサブピクセル精度を含む動きベクトルを示す。
【００８１】
「micro_prediction_unit( cod_blc_x, cod_blc_y,  microvec_x, microvec_y )」のフィールドには、「microvec_x」、「microvec_y」の各フィールドが存在する。「microvec_x」のフィールドは、ラージブロック内の符号化ピクチャ解像度をベースとしたサブピクセル精度を含む水平方向の位置オフセットベクトルを示す。「microvec_y」のフィールドは、ラージブロック内の符号化ピクチャ解像度をベースとしたサブピクセル精度を含む垂直方向の位置オフセットベクトルを示す。
【００８２】
図１１に戻って、「self_layer」と「ref_pic_layer_id」が同じ場合、「prediction_unit( cod_blc_x, cod_blc_y, intralayer_mvx, intralayer_mvy )」のフィールドが存在する。図１３は、「prediction_unit( cod_blc_x, cod_blc_y, intralayer_mvx, intralayer_mvy )」のフィールドの構造例を示している。「prediction_unit_size」のフィールドは、予測ブロックのサイズを示す。「intralayer_mvx」のフィールドは、水平方向符号化ピクチャ解像度をベースとしたサブピクセル精度を含む動きベクトルを示す。「intralayer_mvy」のフィールドは、垂直方向符号化ピクチャ解像度をベースとしたサブピクセル精度を含む動きベクトルを示す。
【００８３】
図１１に戻って、「residual_coding( cod_blc_x,  cod_blc_y, transform_size)」のフィールドには、符号化ピクチャの予測ブロックごとに動き予測・動き補償により求められた残差成分の整数変換による符号化データが配置される。「transform_size」は、変換処理のブロックサイズを示す。
【００８４】
なお、前述のように、ベクトル精度は、サブピクセルを前提とするもので、一つのベクトル要素として表記しているが、このベクトルで直接、サブピクセルのベクトルを表現するようにしてもよいし、あるいは、整数精度のベクトルと小数精度のベクトルとのペアで表現するようにしてもよい。対象の要素は、「interlayer_mvx」、「interlayer_mvy」、「intralayer_mvx」、「intralayer_mvy」、「microvec_x」、「microvec_y」である。
【００８５】
図４に示す送信装置１００の動作を簡単に説明する。ビデオエンコーダ１０２に入力される１２０ｆｐｓでＵＨＤ解像度の画像データはスケーリング部１０２ａに供給される。このスケーリング部１０２ａでは、１２０ｆｐｓでＵＨＤ解像度の画像データにスケーリング処理が施され、基本レイヤの画像データが得られる。この基本レイヤの画像データは、１２０ｆｐｓでＨＤ解像度の画像データ、あるいは６０ｆｐｓでＨＤ解像度の画像データである。
【００８６】
スケーリング部１０２ａで得られた基本レイヤの画像データは、エンコード部１０２ｂに供給される。エンコード部１０２ｂでは、この基本レイヤの画像データに対して、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの動き補償予測符号化処理が施されて符号化画像データが得られ、この符号化画像データを持つ第１の符号化ストリームＢＳが生成される。
【００８７】
また、ビデオエンコーダ１０２に入力される１２０ｆｐｓでＵＨＤ解像度の画像データ、つまり拡張レイヤの画像データは、エンコード部１０２ｅに供給される。エンコード部１０２ｅでは、この拡張レイヤの画像データに対して、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどのレイヤ内、レイヤ間の動き補償予測符号化が施されて符号化画像データが得られ、この符号化画像データを持つ第２の符号化ストリームＥＳが生成される。
【００８８】
この場合、エンコード部１０２ｅでは、拡張レイヤの各ピクチャの画像データを符号化する際に、基本レイヤのピクチャを参照ピクチャとすることが可能とされる。この場合、基本レイヤのピクチャを参照ピクチャとするとき、この参照ピクチャにおける参照ブロックに、基本レイヤの画像データを拡張レイヤの画像データに対応させるための変換処理（スケーリング処理、シェーピング処理）が施されて、動き補償予測符号化処理が行われる。
【００８９】
エンコード部１０２ｂで得られた第１の符号化ストリームＢＳおよびエンコード部１０２ｅで得られた第２の符号化ストリームＥＳは、システムエンコーダ１０３に供給される。システムエンコーダ１０３では、ビデオエンコーダ１０２で生成された第１符号化ストリームＢＳおよび第２の符号化ストリームＥＳに対してＰＥＳパケット化およびＴＳパケット化が行なわれて、トランスポートストリームＴＳが生成される。そして、送信部１０４では、このトランスポートストリームＴＳが、放送波あるいはネットのパケットに載せて、受信装置２００に送信される。
【００９０】
「受信装置の構成」
図１５は、受信装置２００の構成例を示している。この受信装置２００は、図４の送信装置１００の構成例に対応したものである。この受信装置２００は、制御部２０１と、受信部２０２と、システムデコーダ２０３と、ビデオデコーダ２０４と、表示部２０５を有している。
【００９１】
制御部２０１は、ＣＰＵ（Central Processing Unit）を備えて構成され、制御プログラムに基づいて、受信装置２００の各部の動作を制御する。受信部２０２は、送信装置１００から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳを受信する。システムデコーダ２０３は、このトランスポートストリームＴＳから、第１の符号化ストリームＢＳと第２の符号化ストリームＥＳを抽出する。
【００９２】
ビデオデコーダ２０４は、デコード部２０４ｂおよびデコード部２０４ｅを有する。デコード部２０４ｂは、第１の符号化ストリームＢＳに復号化処理を施し、基本レイヤの画像データを得る。デコード部２０４ｂは、基本レイヤの各ピクチャの画像データを復号化する際に、基本レイヤ内での予測補償を行う。
【００９３】
ここで、基本レイヤの構成が図２の構成例に示す場合には、基本レイヤの画像データとして、１２０ｆｐｓでＨＤ解像度の画像データが得られる。一方、基本レイヤの構成を図３の構成例に示す場合には、基本レイヤの画像データとして、６０ｆｐｓでＨＤ解像度の画像データが得られる。
【００９４】
デコード部２０４ｅは、第２の符号化ストリームＢＳに復号化処理を施し、拡張レイヤの画像データとして、１２０ｆｐｓで４Ｋ解像度の画像データを得る。デコード部２０４ｅは、拡張レイヤの各ピクチャの画像データを復号化する際に、拡張レイヤ内での予測補償、または基本レイヤとの間での予測補償を、選択的に行う。
【００９５】
図１６は、デコード部２０４ｅの主要部の構成例を示している。このデコード部２０４ｅは、図４のエンコード部１０２ｅの処理とは逆の処理を行う。このデコード部２０４ｅは、デコード機能部２５１と、レイヤ内予測補償部２５２と、レイヤ間予測補償部２５３と、変換処理部２５４と、選択部２５５を有している。
【００９６】
デコード機能部２５１は、符号化画像データＣＶに対して、予測補償以外のデコード処理を行って予測残差データを得る。レイヤ内予測補償部２５２は、予測残差データに対して、拡張レイヤの画像データＶ１内での予測補償（レイヤ内予測補償）を行って、画像データＶ１を得る。レイヤ間予測補償部２５３は、予測残差データに対して、参照対象の基本レイヤの画像データＶ２との間での予測補償（レイヤ間予測補償）を行って、画像データＶ１を得る。
【００９７】
変換処理部２５４は、詳細説明は省略するが、図５のエンコード部１０２ｅの変換処理部１５３と同様に、スケーリング処理およびシェーピング処理をする。これらの特性は、符号化画像データＣＶに付加されて送られてくる特性情報（図１２参照）によって、送信側と同様に設定される。選択部２５５は、符号化時における予測に対応させて、符号化ブロック（予測ブロック）毎に、レイヤ内予測補償部２５２で得られる画像データＶ１、またはレイヤ間予測補償部２５３で得られる画像データＶ１を選択的に取り出して、出力とする。
【００９８】
図１５に戻って、表示部２０５は、例えば、ＬＣＤ(Liquid Crystal Display)、有機ＥＬ（Organic Electro-Luminescence）パネル等で構成されている。表示部２０５は、表示能力に応じて、デコード部２０４ｂで得られた基本レイヤの画像データによる画像、あるいはデコード部２０４ｅで得られる拡張レイヤの画像データによる画像を表示する。
【００９９】
なお、基本レイヤの画像データに対応した表示能力を持つ受信装置２００においては、システムデコーダ２０３では第１の符号化ストリームＢＳのみを抽出し、ビデオデコーダ２０４では当該第１の符号化ストリームＢＳの復号化処理のみを行う構成も考えられる。
【０１００】
図１７は、ビデオデコーダ２０４のより具体的な構成例を示している。ビデオデコーダ２０４は、エントロピー復号化回路２２１と、逆量子化/逆整数変換回路２２２と、動き補償回路２２３と、加算回路２２４と、ループフィルタ２２５と、メモリ２２６を有している。ここで、エントロピー復号化回路２２１からメモリ２２６は、デコード部２０４ｂ（図１５参照）を構成している。
【０１０１】
また、ビデオデコーダ２０４は、エントロピー復号化回路２３１と、逆量子化/逆整数変換回路２３２と、動き補償回路２３３と、切り替え回路２３４，２３５と、加算回路２３６と、ループフィルタ２３７と、メモリ２３８と、変換処理部２５４を有している。ここで、エントロピー復号化回路２３１からメモリ２３８、および変換処理部２５４は、デコード部２０４ｅ（図１５参照）を構成している。
【０１０２】
エントロピー復号化回路２２１では、第１の符号化ストリームＢＳにエントロピー復号化が施されて、基本レイヤのブロック毎の量子化データが得られる。この量子化データは逆量子化/逆整数変換回路２２２に供給される。この逆量子化/逆整数変換回路２２２では、量子化データに対して逆量子化が施され、さらに逆整数変換が施されて、予測残差が得られる。このブロック毎の予測誤差は、加算回路２２４に供給される。
【０１０３】
動き補償回路２２３では、メモリ２２６に記憶されている参照ピクチャの画像データに基づいて、動き補償された補償参照ブロックが得られる。ここで、動き補償は、ＭＢヘッダ情報として含まれている動きベクトルを用いて行われる。加算回路２２４では、予測残差に補償参照ブロックが加算されて、基本レイヤの各ピクチャの画像データを構成するブロックが得られる。
【０１０４】
このように加算回路２２４で得られるブロックは、ループフィルタ２２５で量子化ノイズが除去された後に、メモリ２２６に蓄積される。そして、このメモリ２２６からの蓄積データの読み出しにより、基本フレイヤの画像データとして、１２０ｆｐｓでＨＤ解像度の画像データあるいは６０ｆｐｓでＨＤ解像度の画像データが得られる。
【０１０５】
また、エントロピー復号化回路２３１では、第２の符号化ストリームＥＳにエントロピー復号化が施されて、拡張レイヤのブロック毎の量子化データが得られる。この量子化データは逆量子化/逆整数変換回路２３２に供給される。この逆量子化/逆整数変換回路２３２では、量子化データに対して逆量子化が施され、さらに逆整数変換が施されて、予測残差が得られる。このブロック毎の予測誤差は、加算回路２３６に供給される。
【０１０６】
動き補償回路２３３では、拡張レイヤ内での予測補償あるいは基本レイヤとの間での予測補償が、選択的に行われる。拡張レイヤ内での予測補償が行われるとき、動き補償回路２３３では、エントロピー復号化回路２３１でＭＢヘッダ情報から抽出された「動きベクトル１」とメモリ２３８に記憶されている参照ピクチャの画像データに基づいて、動き補償された、レイヤ内補償のための補償参照ブロックが得られる。この場合、「動きベクトル１」はエントロピー復号化回路２３１から切り替え回路２３４を通じて動き補償回路２３３に供給され、参照ピクチャの画像データはメモリ２３８から切り替え回路２３５を通じて動き補償回路２３３に供給される。
【０１０７】
一方、基本レイヤとの間での予測補償が行われるとき、動き補償回路２３３では、エントロピー復号化回路２３１でＭＢヘッダ情報から抽出された「動きベクトル２」とメモリ２２６に記憶されている参照ピクチャの画像データに基づいて、動き補償された、レイヤ間補償のための補償参照ブロックが得られる。上述したように、「動きベクトル２」には、レイヤ間動きベクトル（第１の動きベクトル）とマイクロベクトル（第２の動きベクトル）の２つが含まれている。
【０１０８】
この場合、「動きベクトル２」はエントロピー復号化回路２３１から切り替え回路２３４を通じて動き補償回路２３３に供給され、参照ピクチャの画像データはメモリ２２６から変換処理部２５４および切り替え回路２３５を通じて動き補償回路２３３に供給される。変換処理部２５４では、上述したようにエンコーダ１０２における変換処理部１５３（図９参照）におけると同様に、スケーリング処理およびシェーピング処理が行われる。
【０１０９】
加算回路２３６では、予測残差に動き補償回路２３３で得られた補償参照ブロックが加算されて、拡張レイヤの各ピクチャの画像データを構成するブロックが得られる。このブロックは、ループフィルタ２３７で量子化ノイズが除去された後に、メモリ２３８に蓄積される。そして、このメモリ２３８からの蓄積データの読み出しにより、拡張レイヤの画像データとして、１２０ｆｐｓでＵＨＤ解像度の画像データが得られる。
【０１１０】
図１５に示す受信装置２００の動作を簡単に説明する。受信部２０２では、送信装置１００から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳが受信される。このトランスポートストリームＴＳは、システムデコーダ２０３に供給される。
【０１１１】
システムデコーダ２０３では、このトランスポートストリームＴＳから、第１の符号化ストリームＢＳと第２の符号化ストリームＥＳが抽出される。第１の符号化ストリームＢＳは、ビデオデコーダ２０４のデコード部２０４ｂに供給される。また、第２の符号化ストリームＥＳは、ビデオデコーダ２０４のデコード部２０４ｅに供給される。
【０１１２】
デコード部２０４ｂでは、第１の符号化ストリームＢＳに復号化処理が施され、基本レイヤの画像データとして、１２０ｆｐｓでＨＤ解像度の画像データあるいは６０ｆｐｓでＨＤ解像度の画像データが得られる。このデコード部２０４ｂでは、基本レイヤの各ピクチャの画像データが復号化される際に、基本レイヤ内での予測補償が行われる。
【０１１３】
デコード部２０４ｅでは、第２の符号化ストリームＥＳに復号化処理が施され、拡張レイヤの画像データとして、１２０ｆｐｓで４Ｋ解像度の画像データが得られる。このデコード部２０４ｅでは、拡張レイヤの各ピクチャの画像データを復号化する際に、拡張レイヤ内での予測補償、または基本レイヤとの間での予測補償が、選択的に行われる。
【０１１４】
表示部２０５が基本レイヤの画像データによる画像表示のみ可能である場合、表示部２０５にはデコード部２０４ｂで得られる基本レイヤの画像データが供給され、それによる画像の表示がなされる。一方、表示部２０５が拡張レイヤの画像データによる画像表示が可能である場合、表示部２０５にはデコード部２０４ｅで得られる拡張レイヤの画像データが供給され、それによる高品質（この例では高解像度）な画像の表示がなされる。
【０１１５】
以上説明したように、図１に示す送受信システム１０において、送信装置１００は、拡張レイヤの各ピクチャの画像データを符号化する際に、基本レイヤのピクチャを参照ピクチャとするとき、参照ピクチャのブロックに、基本レイヤの画像データを拡張レイヤの画像データに対応させるためのスケーリング処理を施して、動き補償予測符号化処理を行うものである。そのため、参照ブロックを精度よく決定でき、符号化効率の向上を図ることができる。
【０１１６】
また、図１に示す送受信システム１０において、送信装置１００は、スケーリング処理がされた画像データの鈍ったエッジを補正するシェーピング処理をさらに行うものである。そのため、スケーリング処理がされたことによる画像のエッジのボケを軽減でき、動きベクトルを求めるためのブロックマッチング処理の効果を高めることが可能となる。
【０１１７】
また、図１に示す送受信システム１０において、送信装置１００は、ベクトルブロック毎にスケーリング処理された参照ブロックを用いたブロックマッチング処理を行って第１の動きベクトルを決定し、スケーリング処理された参照ブロック内において予測ブロックのそれぞれとのブロックマッチング処理を行って各予測ブロックに対応した第２の動きベクトルを決定して、動き補償予測符号化処理を行うものである。そのため、各予測ブロックに対応した動きベクトルを精度よく求めることが可能となり、符号化効率の向上を図ることが可能となる。
【０１１８】
＜２．変形例＞
なお、上述実施の形態においては、基本レイヤの画像データが６０ＨｚでＨＤ解像度の画像データであり、拡張レイヤの画像データが１２０ＨｚのＵＨＤ（４Ｋ）解像度の画像であるスケーラブル符号化の例を示した。しかし、本技術は、その他のスケーラブル符号化にも同様に適用できる。
【０１１９】
例えば、基本レイヤの画像データが６０ＨｚでＳＤＲ（通常ダイナミックレンジ）の画像データであり、拡張レイヤの画像データが１２０ＨｚでＨＤＲ（ハイダイナミックレンジ）の画像データであるスケーラブル符号化であってもよい。
【０１２０】
その場合、例えば、図９のエンコーダ１０２において、スケーリング部１０２ａにおいては、解像度のスケーリングの代わりにダイナミックレンジのスケーリング、つまりハイダイナミックレンジから通常ダイナミックレンジに変換が、あるいは、解像度のスケーリングに加えてダイナミックレンジのスケーリングへの変換が、行われる。これにより、エンコーダ１０２に入力される１２０ＨｚでＵＨＤのＨＤＲの画像データから、１２０ＨｚでＵＨＤのＳＤＲの画像データ、あるいは６０ＨｚでＵＨＤのＳＤＲの画像データが、あるいは、１２０ＨｚでＨＤのＳＤＲの画像データ、あるいは６０ＨｚでＨＤのＳＤＲの画像データが、得られる。
【０１２１】
また、変換処理部１５３では、上述実施の形態における解像度のスケーリング処理とシェーピング処理の代わりに、通常ダイナミックレンジの参照ピクチャのブロックの画素値をハイダイナミックレンジの画素値に対応するように変換する処理が行われる。
【０１２２】
この変換処理について、図１８のＨＤＲ特性、ＳＤＲ特性を示す図を用いて、さらに説明する。曲線ａは、ＳＤＲ変換カーブを示している。曲線ｂは、ＨＤＲ変換カーブを示している。変換処理では、ＳＤＲの符号化値の曲線ａに対し、輝度レベルが同等となるように、ＨＤＲの符号化値の曲線ｂをトレースするような曲線ｃとなるように、画素値変換が行われる。この変換特性は、関数ｆ(x)で定義できるが、テーブル情報として定義することも可能である。
【０１２３】
また、上述実施の形態においては、送信装置１００と受信装置２００からなる送受信システム１０を示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。例えば、受信装置２００の部分が、例えば、（ＨＤＭＩ（High-Definition Multimedia Interface）などのデジタルインタフェースで接続されたセットトップボックスおよびモニタの構成などであってもよい。なお、「ＨＤＭＩ」は、登録商標である。
【０１２４】
また、上述実施の形態においては、コンテナがトランスポートストリーム（ＭＰＥＧ−２  ＴＳ）である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、ＭＰ４やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ−２  ＴＳ）あるいはＭＭＴ（MPEG Media Transport）、インターネット配信で使用されているＩＳＯＢＭＦＦ（ＭＰ４）などの種々のフォーマットのコンテナが該当する。
【０１２５】
また、本技術は、以下のような構成を取ることもできる。
（１）基本レイヤの各ピクチャの画像データを符号化して第１の符号化ストリームを生成すると共に、拡張レイヤの各ピクチャの画像データを符号化して第２の符号化ストリームを生成する画像符号化部と、
上記第１の符号化ストリームおよび上記第２の符号化ストリームを含むコンテナを送信する送信部を備え、
上記画像符号化部は、
上記拡張レイヤの各ピクチャの画像データを符号化する際に上記基本レイヤのピクチャを参照ピクチャとすることが可能とされ、
上記基本レイヤのピクチャを参照ピクチャとするとき、該参照ピクチャのブロックに基本レイヤの画像データを拡張レイヤの画像データに対応させるための変換処理を施して、動き補償予測符号化処理を行う
送信装置。
（２）上記拡張レイヤの各ピクチャの画像データには、上記基本レイヤの各ピクチャとは異なる表示タイミングを持つピクチャの画像データが含まれる
前記（１）に記載の送信装置。
（３）上記基本レイヤの画像データは第１の解像度の画像データであり、上記拡張レイヤの画像データは上記第１の解像度より大きな第２の解像度の画像データであり、
上記画像符号化部は、上記変換処理として、上記参照ピクチャにおける参照ブロックの解像度を上記第１の解像度から上記第２の解像度にするスケーリング処理を行う
前記（１）または（２）に記載の送信装置。
（４）上記画像符号化部は、上記変換処理として、上記スケーリング処理がされた画像データに画像の鈍ったエッジを補正するシェーピング処理をさらに行う
前記（３）に記載の送信装置。
（５）上記第１の解像度はＨＤ解像度であり、上記第２の解像度はＵＨＤ解像度である
前記（３）または（４）に記載の送信装置。
（６）上記ＵＨＤ解像度は４Ｋ解像度であり、
上記画像符号化部は、
上記拡張レイヤのピクチャの２次元的に隣接する２×２の４個の予測ブロックで構成されるベクトルブロック毎に上記スケーリング処理された参照ブロックを用いたブロックマッチング処理を行って第１の動きベクトルを決定し、上記スケーリング処理された参照ブロック内において上記４個の予測ブロックのそれぞれとのブロックマッチング処理を行って各予測ブロックに対応した第２の動きベクトルを決定して、上記動き補償予測符号化処理を行う
前記（５）に記載の送信装置。
（７）上記基本レイヤの画像データは第１のダイナミックレンジの画像データであり、上記拡張レイヤの画像データは上記第１のダイナミックレンジより広い第２のダイナミックレンジの画像データであり、
上記画像符号化部は、上記変換処理として、上記参照ピクチャのブロックの画素値を上記第２のダイナミックレンジの画素値に対応するように変換する処理を行う
前記（１）から（６）のいずれかに記載の送信装置。
（８）画像符号化部が、基本レイヤの各ピクチャの画像データを符号化して第１の符号化ストリームを生成すると共に、拡張レイヤの各ピクチャの画像データを符号化して第２の符号化ストリームを生成する画像符号化ステップと、
送信部が、上記第１の符号化ストリームおよび上記第２の符号化ストリームを含むコンテナを送信する送信ステップを有し、
上記画像符号化ステップでは、
上記拡張レイヤの各ピクチャの画像データを符号化する際に上記基本レイヤのピクチャを参照ピクチャとすることが可能とされ、
上記基本レイヤのピクチャを参照ピクチャとするとき、該参照ピクチャのブロックに、基本レイヤの画像データを拡張レイヤの画像データに対応させるための変換処理を施して動き補償予測符号化処理を行う
送信方法。
（９）基本レイヤの各ピクチャの画像データが符号化されて得られた第１の符号化ストリームと拡張レイヤの各ピクチャの画像データが符号化されて得られた第２の符号化ストリームを含むコンテナを受信する受信部を備え、
上記拡張レイヤの各ピクチャの画像データの符号化では上記基本レイヤのピクチャを参照ピクチャとすることが可能とされ、該基本レイヤのピクチャが参照ピクチャとされるとき、該参照ピクチャのブロックに基本レイヤの画像データを拡張レイヤの画像データに対応させるための変換処理が施されて動き補償予測符号化処理が行われており、
表示能力に応じて、上記第１の符号化ストリーム、または上記第１の符号化ストリームおよび上記第２の符号化ストリームを処理して表示用画像データを得る処理部をさらに備える
受信装置。
（１０）受信部が、基本レイヤの各ピクチャの画像データが符号化されて得られた第１の符号化ストリームと拡張レイヤの各ピクチャの画像データが符号化されて得られた第２の符号化ストリームを含むコンテナを受信する受信ステップを有し、
上記拡張レイヤの各ピクチャの画像データの符号化では上記基本レイヤのピクチャを参照ピクチャとすることが可能とされ、該基本レイヤのピクチャが参照ピクチャとされるとき、該参照ピクチャのブロックに基本レイヤの画像データを拡張レイヤの画像データに対応させるための変換処理が施されて動き補償予測符号化処理が行われており、
処理部が、表示能力に応じて、上記第１の符号化ストリーム、または上記第１の符号化ストリームおよび上記第２の符号化ストリームを処理して表示用画像データを得る処理ステップをさらに有する
受信方法。
【０１２６】
本技術の主な特徴は、拡張レイヤの各ピクチャの画像データを符号化する際に、基本レイヤのピクチャを参照ピクチャとするとき、参照ピクチャのブロックに、基本レイヤの画像データを拡張レイヤの画像データに対応させるための変換処理を施して、動き補償予測符号化処理を行うことで、参照ブロックを精度よく決定でき、符号化効率の向上を図るようにしたことである（図３、図６参照）。
【符号の説明】
【０１２７】
１０・・・送受信システム
１００・・・送信装置
１０１・・・制御部
１０２・・・ビデオエンコーダ
１０２ａ・・・スケーリング部
１０２ｂ，１０２ｅ・・・エンコード部
１０３・・・システムエンコーダ
１０４・・・送信部
１２１・・・ブロック化回路
１２２・・・減算回路
１２３・・・動き予測/動き補償回路
１２４・・・整数変換/量子化回路
１２５・・・逆量子化/逆整数変換回路
１２６・・・加算回路
１２７・・・ループフィルタ
１２８・・・メモリ
１２９・・・エントロピー符号化回路
１３１・・・ブロック化回路
１３２・・・減算回路
１３３・・・動き予測/動き補償回路
１３４・・・切り替え回路
１３５・・・変換処理部
１３６・・・整数変換/量子化回路
１３７・・・逆量子化/逆整数変換回路
１３８・・・加算回路
１３９・・・ループフィルタ
１４０・・・メモリ
１４１・・・エントロピー符号化回路
１５１・・・レイヤ内予測部
１５２・・・レイヤ間予測部
１５３・・・変換処理部
１５４・・・選択部
１５５・・・エンコード機能部
２００・・・受信装置
２０１・・・制御部
２０２・・・受信部
２０３・・・システムデコーダ
２０４・・・ビデオデコーダ
２０４ｂ・・・デコード部
２０４ｅ・・・デコード部
２０５・・・表示部
２２１・・・エントロピー復号化回路
２２２・・・逆量子化/逆整数変換回路
２２３・・・動き補償回路
２２４・・・加算回路
２２５・・・ループフィルタ
２２６・・・メモリ
２３１・・・エントロピー復号化回路
２３２・・・逆量子化/逆整数変換回路
２３３・・・動き補償回路
２３４，２３５・・・切り替え回路
２３６・・・加算回路
２３７・・・ループフィルタ
２３８・・・メモリ
２５１・・・デコード機能部
２５２・・・レイヤ内予測補償部
２５３・・・レイヤ間予測補償部
２５４・・・変換処理部
２５５・・・選択部
【図１】
2018143268.tif 000003
【図２】
2018143268.tif 000004
【図３】
2018143268.tif 000005
【図４】
2018143268.tif 000006
【図５】
2018143268.tif 000007
【図６】
2018143268.tif 000008
【図７】
2018143268.tif 000009
【図８】
2018143268.tif 000010
【図９】
2018143268.tif 000011
【図１０】
2018143268.tif 000012
【図１１】
2018143268.tif 000013
【図１２】
2018143268.tif 000014
【図１３】
2018143268.tif 000015
【図１４】
2018143268.tif 000016
【図１５】
2018143268.tif 000017
【図１６】
2018143268.tif 000018
【図１７】
2018143268.tif 000019
【図１８】
2018143268.tif 000020
【国際調査報告】
2018143268.tif 000021
2018143268.tif 000022
2018143268.tif 000023