(57)【要約】  ハイフレームレートの動画像データを良好に伝送する。  所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で混合処理を施して基本フレームレートの画像データを得る。上記時間的に連続する２個のピクチャ単位で一方のピクチャの画像データを取り出してハイフレームレートの拡張フレームの画像データを得る。基本フレームレートの画像データにこの基本フレームレートの画像データの予測符号化処理を施して基本ストリームを得る。ハイフレームレートの拡張フレームの画像データに基本フレームレートの画像データとの間の予測符号化処理を施して拡張ストリームを得る。基本ストリームおよび拡張ストリームを含む所定フォーマットのコンテナを送信する。
2017030062.tif 000002
【特許請求の範囲】
【請求項１】
所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で混合処理を施して基本フレームレートの画像データを得ると共に、上記時間的に連続する２個のピクチャ単位で一方のピクチャの画像データを取り出してハイフレームレートの拡張フレームの画像データを得る画像処理部と、
上記基本フレームレートの画像データに該基本フレームレートの画像データの予測符号化処理を施して基本ストリームを得ると共に、上記ハイフレームレートの拡張フレームの画像データに上記基本フレームレートの画像データとの間の予測符号化処理を施して拡張ストリームを得る画像符号化部と、
上記基本ストリームおよび上記拡張ストリームを含む所定フォーマットのコンテナを送信する送信部を備える
送信装置。
【請求項２】
上記画像符号化部は、
上記ハイフレームレートの拡張フレームの画像データに上記基本フレームレートの画像データとの間の予測符号化処理を行って拡張ストリームを得る際に、上記基本フレームレートの画像データに予測残差を低減するための予測係数を乗算する
請求項１に記載の送信装置。
【請求項３】
上記拡張ストリームのレイヤに上記予測係数を定義する情報定義部をさらに備える
請求項２に記載の送信装置。
【請求項４】
上記コンテナのレイヤに上記予測係数を定義する情報定義部をさらに備える
請求項２に記載の送信装置。
【請求項５】
所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で混合処理を施して基本フレームレートの画像データを得ると共に、上記時間的に連続する２個のピクチャ単位毎で一方のピクチャの画像データを取り出してハイフレームレートの拡張フレームの画像データを得る画像処理ステップと、
上記基本フレームレートの画像データに該基本フレームレートの画像データの予測符号化処理を施して基本ストリームを得ると共に、上記ハイフレームレートの拡張フレームの画像データに上記基本フレームレートの画像データとの間の予測符号化処理を施して拡張ストリームを得る画像符号化ステップと、
送信部により、上記基本ストリームおよび上記拡張ストリームを含む所定フォーマットのコンテナを送信する送信ステップを有する
送信方法。
【請求項６】
基本ストリームおよび拡張ストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記基本ストリームは、所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で混合処理を施して得られた基本フレームレートの画像データに該基本フレームレートの画像データの予測符号化処理を施して得られたものであり、
上記拡張ストリームは、上記時間的に連続する２個のピクチャ単位で一方のピクチャの画像データを取り出して得られたハイフレームレートの拡張フレームの画像データに上記基本フレームレートの画像データとの間の予測符号化処理を施して得られたものであり、
上記基本ストリームのみを処理して上記基本フレームレートの画像データを得るか、あるいは上記基本ストリームおよび上記拡張ストリームの双方を処理して上記所定フレームレートの画像データを得る処理部をさらに備える
受信装置。
【請求項７】
上記拡張ストリームのレイヤおよび/または上記コンテナのレイヤに予測残差を低減するための予測係数が定義されており、
上記処理部は、上記ハイフレームレートの拡張フレームの画像データを得る際に、上記基本ストリームを処理して得られた上記基本フレームレートの画像データに上記定義されている予測係数を乗算して参照画像データとする
請求項６に記載の受信装置。
【請求項８】
受信部により、基本ストリームおよび拡張ストリームを含む所定フォーマットのコンテナを受信する受信ステップを有し、
上記基本ストリームは、所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で混合処理を施して得られた基本フレームレートの画像データに該基本フレームレートの画像データの予測符号化処理を施して得られたものであり、
上記拡張ストリームは、上記時間的に連続する２個のピクチャ単位で一方のピクチャの画像データを取り出して得られたハイフレームレートの拡張フレームの画像データに上記基本フレームレートの画像データとの間の予測符号化処理を施して得られたものであり、
上記基本ストリームのみを処理して上記基本フレームレートの画像データを得るか、あるいは上記基本ストリームおよび上記拡張ストリームの双方を処理して上記所定フレームレートの画像データを得る処理ステップをさらに有する
受信方法。
【請求項９】
所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で混合処理を施して基本フレームレートの画像データを得ると共に、上記時間的に連続する２個のピクチャ単位で一方のピクチャの画像データを取り出してハイフレームレートの拡張フレームの画像データを得る画像処理部と、
上記基本フレームレートの画像データに符号化処理を施して基本ストリームを得ると共に、上記ハイフレームレートの拡張フレームの画像データに符号化処理を施して拡張ストリームを得る画像符号化部と、
上記基本ストリームおよび上記拡張ストリームを含む所定フォーマットのコンテナを送信する送信部を備える
送信装置。
【請求項１０】
基本ストリームおよび拡張ストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記基本ストリームは、所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で混合処理を施して得られた基本フレームレートの画像データに符号化処理を施して得られたものであり、
上記拡張ストリームは、上記時間的に連続する２個のピクチャ単位で一方のピクチャの画像データを取り出して得られたハイフレームレートの拡張フレームの画像データに符号化処理を施して得られたものであり、
上記基本ストリームのみを処理して上記基本フレームレートの画像データを得るか、あるいは上記基本ストリームおよび上記拡張ストリームの双方を処理して上記所定フレームレートの画像データを得る処理部をさらに備える
受信装置。
【請求項１１】
上記処理部は、
上記基本ストリームおよび上記拡張ストリームの双方を処理して上記所定フレームレートの画像データを得る場合、
上記基本ストリームに復号化処理を施して上記基本フレームレートの画像データを得ると共に、上記拡張ストリームに復号化処理を施して上記ハイフレームレートの拡張フレームの画像データである上記時間的に連続する２個のピクチャ単位の一方のピクチャの画像データを得る処理と、
上記基本フレームレートの画像データに上記ハイフレームレートの拡張フレームの画像データを用いて上記混合処理の逆の処理を施して上記時間的に連続する２個のピクチャ単位の他方のピクチャの画像データを得る処理と、
上記時間的に連続する２個のピクチャ単位の一方のピクチャの画像データと上記時間的に連続する２個のピクチャ単位の他方のピクチャの画像データを合成して上記所定フレームレートの画像データを得る処理を行う
請求項１０に記載の受信装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、送信装置、送信方法、受信装置および受信方法に関し、詳しくは、ハイフレームレート（High Frame Rate）の動画像データを送信する送信装置等に関する。
【背景技術】
【０００２】
近年、高速フレームシャッターでハイフレームレート撮影を行うカメラが知られている。例えば、ノーマルフレームレートが６０ｆｐｓ、５０ｆｐｓなどであるのに対して、ハイフレームレートはその数倍あるいは数十倍、さらには数百倍のフレームレートとなる。【０００３】
ハイフレームレートのサービスを行う場合、高速フレームシャッターでカメラ撮りされた動画像データを、それよりも低周波数の動画像シーケンスに変換して送信することが考えられる。しかし、高速フレームシャッターの画像は、動きボケを改善し、先鋭度の高い画質を実現する効果がある一方で、受信再生側の従来のフレーム補間技術に画質的な問題を引き起こす要素をもつ。【０００４】
高速フレームシャッターで撮影された先鋭度の高い画像を用いたフレーム補間は、動きベクトル探索が適合する場合と適合しない場合との差が大きくなる。そのため、両者の差が顕著な画質劣化となって表示されるためである。フレーム補間時に、動きベクトル探索の精度を向上させるためには高負荷演算が要求されるが、受信機コストに影響を及ぼす。【０００５】
本出願人は、先に、高速フレームシャッターで撮影された画像による素材を変換して、ノーマルフレームレートのデコードを行う従来の受信機で一定以上の画品質で表示させる技術を提案した（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】国際公開第２０１５/０７６２７７号
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本技術の目的は、ハイフレームレートの画像データを良好に伝送することにある。
【課題を解決するための手段】
【０００８】
本技術の概念は、
所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で混合処理を施して基本フレームレートの画像データを得ると共に、上記時間的に連続する２個のピクチャ単位で一方のピクチャの画像データを取り出してハイフレームレートの拡張フレームの画像データを得る画像処理部と、
上記基本フレームレートの画像データに該基本フレームレートの画像データの予測符号化処理を施して基本ストリームを得ると共に、上記ハイフレームレートの拡張フレームの画像データに上記基本フレームレートの画像データとの間の予測符号化処理を施して拡張ストリームを得る画像符号化部と、
上記基本ストリームおよび上記拡張ストリームを含む所定フォーマットのコンテナを送信する送信部を備える
送信装置にある。【０００９】
本技術において、画像処理部により、所定フレームレートの画像データから基本フレームレートの画像データおよびハイフレームレートの拡張フレームの画像データが得られる。基本フレームレートの画像データは所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で混合処理が施されることで得られる。ハイフレームレートの拡張フレームの画像データは、上記時間的に連続する２個のピクチャ単位で一方のピクチャの画像データが取り出されることで得られる。【００１０】
画像符号化部により、基本フレームレートの画像データにこの基本フレームレートの画像データの予測符号化処理が施されて基本ストリームが得られると共に、ハイフレームレートの拡張フレームの画像データに基本フレームレートの画像データとの間の予測符号化処理が施されて拡張ストリームが得られる。そして、送信部により、基本ストリームおよび拡張ストリームを含む所定フォーマットのコンテナが送信される。【００１１】
このように本技術においては、所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で混合処理を施して基本フレームレートの画像データが得られ、この基本フレームレートの画像データに予測符号化処理を施して得られた基本ストリームが送信される。そのため、例えば、受信側では、基本フレームレートの画像データを処理可能なデコード能力がある場合、この基本ストリームを処理して基本フレームレートの画像データを得ることで、動画像として滑らかな画像を表示でき、また、表示処理において低負荷演算によるフレーム補間処理で画質的な問題を引き起こすことが回避可能となる。【００１２】
また、本技術においては、上記時間的に連続する２個のピクチャ単位で一方のピクチャの画像データが取り出されてハイフレームレートの拡張フレームの画像データが得られ、このハイフレームレートの拡張フレームの画像データに基本フレームレートの画像データとの間の予測符号化処理が施されて得られた拡張ストリームが送信される。この場合、基本フレームレートの画像データが所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で混合処理を施して得られたものであることから、予測残差が小さくなって予測効率が向上し、拡張ストリームの情報データ量の低減が可能となる。【００１３】
なお、本技術において、例えば、画像符号化部は、ハイフレームレートの拡張フレームの画像データに基本フレームレートの画像データとの間の予測符号化処理を行って拡張ストリームを得る際に、基本フレームレートの画像データに予測残差を低減するための予測係数を乗算する、ようにされてもよい。この場合、予測効率の改善が可能となり、拡張ストリームの情報データ量のさらなる低減が可能となる。【００１４】
また、本技術において、拡張ストリームのレイヤおよび/またはコンテナのレイヤに予測係数を定義する情報定義部をさらに備える、ようにされてもよい。このように予測係数が定義されることで、受信側では、この定義された予測係数を用いて拡張ストリームに対する復号化処理を適切に行うことが可能となる。【００１５】
また、本技術の他の概念は、
基本ストリームおよび拡張ストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記基本ストリームは、所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で混合処理を施して得られた基本フレームレートの画像データに該基本フレームレートの画像データの予測符号化処理を施して得られたものであり、
上記拡張ストリームは、上記時間的に連続する２個のピクチャ単位で一方のピクチャの画像データを取り出して得られたハイフレームレートの拡張フレームの画像データに上記基本フレームレートの画像データとの間の予測符号化処理を施して得られたものであり、
上記基本ストリームのみを処理して上記基本フレームレートの画像データを得るか、あるいは上記基本ストリームおよび上記拡張ストリームの双方を処理して上記所定フレームレートの画像データを得る処理部をさらに備える
受信装置にある。【００１６】
本技術において、受信部により、基本ストリームおよび拡張ストリームを含む所定フォーマットのコンテナが受信される。基本ストリームは、所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で混合処理を施して得られた基本フレームレートの画像データにこの基本フレームレートの画像データの予測符号化処理を施して得られたものである。また、拡張ストリームは、上記時間的に連続する２個のピクチャ単位で一方のピクチャの画像データを取り出して得られたハイフレームレートの拡張フレームの画像データに基本フレームレートの画像データとの間の予測符号化処理を施して得られたものである。【００１７】
処理部により、基本ストリームのみが処理されて基本フレームレートの画像データが得られるか、あるいは基本ストリームおよび拡張ストリームの双方が処理されて所定フレームレートの画像データが得られる。【００１８】
このように本技術においては、基本フレームレートの画像データを処理可能なデコード能力がある場合、この基本ストリームのみが処理されて基本フレームレートの画像データが得られる。この基本フレームレートの画像データは、所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で混合処理が施されて得られたものである。そのため、動画像として滑らかな画像を表示でき、また、表示処理において低負荷演算によるフレーム補間処理で画質的な問題を引き起こすことが回避可能となる。【００１９】
なお、本技術において、例えば、拡張ストリームのレイヤおよび/またはコンテナのレイヤに予測残差を低減（抑圧）するための予測係数が定義されており、処理部は、ハイフレームレートの拡張フレームの画像データを得る際に、基本ストリームを処理して得られた基本フレームレートの画像データにその定義された予測係数を乗算して参照画像データとする、ようにされてもよい。これにより、拡張ストリームに対する復号化処理を適切に行うことが可能となる。【００２０】
また、本技術の他の概念は、
所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で混合処理を施して基本フレームレートの画像データを得ると共に、上記時間的に連続する２個のピクチャ単位で一方のピクチャの画像データを取り出してハイフレームレートの拡張フレームの画像データを得る画像処理部と、
上記基本フレームレートの画像データに符号化処理を施して基本ストリームを得ると共に、上記ハイフレームレートの拡張フレームの画像データに符号化処理を施して拡張ストリームを得る画像符号化部と、
上記基本ストリームおよび上記拡張ストリームを含む所定フォーマットのコンテナを送信する送信部を備える
送信装置にある。【００２１】
本技術において、画像処理部により、所定フレームレートの画像データから基本フレームレートの画像データおよびハイフレームレートの拡張フレームの画像データが得られる。基本フレームレートの画像データは所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で混合処理が施されることで得られる。ハイフレームレートの拡張フレームの画像データは、上記時間的に連続する２個のピクチャ単位で一方のピクチャの画像データが取り出されることで得られる。【００２２】
画像符号化部により、基本フレームレートの画像データに符号化処理が施されて基本ストリームが得られると共に、ハイフレームレートの拡張フレームの画像データに符号化処理が施されて拡張ストリームが得られる。そして、送信部により、基本ストリームおよび拡張ストリームを含む所定フォーマットのコンテナが送信される。【００２３】
このように本技術においては、所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で混合処理を施して基本フレームレートの画像データが得られ、この基本フレームレートの画像データに符号化処理を施して得られた基本ストリームが送信される。そのため、例えば、受信側では、基本フレームレートの画像データを処理可能なデコード能力がある場合、この基本ストリームを処理して基本フレームレートの画像データを得ることで、動画像として滑らかな画像を表示でき、また、表示処理において低負荷演算によるフレーム補間処理で画質的な問題を引き起こすことが回避可能となる。【００２４】
また、本技術の他の概念は、
基本ストリームおよび拡張ストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記基本ストリームは、所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で混合処理を施して得られた基本フレームレートの画像データに符号化処理を施して得られたものであり、
上記拡張ストリームは、上記時間的に連続する２個のピクチャ単位で一方のピクチャの画像データを取り出して得られたハイフレームレートの拡張フレームの画像データに符号化処理を施して得られたものであり、
上記基本ストリームのみを処理して上記基本フレームレートの画像データを得るか、あるいは上記基本ストリームおよび上記拡張ストリームの双方を処理して上記所定フレームレートの画像データを得る処理部をさらに備える
受信装置にある。【００２５】
本技術において、受信部により、基本ストリームおよび拡張ストリームを含む所定フォーマットのコンテナが受信される。基本ストリームは、所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で混合処理を施して得られた基本フレームレートの画像データに符号化処理を施して得られたものである。また、拡張ストリームは、上記時間的に連続する２個のピクチャ単位で一方のピクチャの画像データを取り出して得られたハイフレームレートの拡張フレームの画像データに符号化処理を施して得られたものである。【００２６】
処理部により、基本ストリームのみが処理されて基本フレームレートの画像データが得られるか、あるいは基本ストリームおよび拡張ストリームの双方が処理されて所定フレームレートの画像データが得られる。【００２７】
このように本技術においては、基本フレームレートの画像データを処理可能なデコード能力がある場合、この基本ストリームのみが処理されて基本フレームレートの画像データが得られる。この基本フレームレートの画像データは、所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で混合処理が施されて得られたものである。そのため、動画像として滑らかな画像を表示でき、また、表示処理において低負荷演算によるフレーム補間処理で画質的な問題を引き起こすことが回避可能となる。
【発明の効果】
【００２８】
本技術によれば、ハイフレームレートの画像データを良好に伝送することが可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００２９】
【図１】実施の形態としての送受信システムの構成例を示すブロック図である。
【図２】フレームレートの変換処理の一例を示す図である。
【図３】送信装置の構成例を示すブロック図である。
【図４】送信装置を構成するプリプロセッサの構成例を示すブロック図である。
【図５】送信装置を構成するプリプロセッサと、受信装置を構成するポストプロセッサの、それぞれの入出力データの関係の一例を示す図である。
【図６】エンコーダの符号化処理部分の構成例を示すブロック図である。
【図７】レイヤ間予測/レイヤ間補償回路の詳細構成例を示すブロック図である。
【図８】レイヤ・プリディクション・マッピング・ＳＥＩの構造例と、その構造例における主要な情報の内容を示す図である。
【図９】レイヤ・プリディクション・マッピング・デスクリプタの構造例と、その構造例における主要な情報の内容を示す図である。
【図１０】トランスポートストリームＴＳの構成例を示す図である。
【図１１】受信装置（ハイフレームレート対応）の構成例を示すブロック図である。
【図１２】デコーダの復号化処理部分の構成例を示すブロック図である。
【図１３】レイヤ間補償回路の詳細構成例を示すブロック図である。
【図１４】受信装置を構成するポストプロセッサの構成例を示すブロック図である。
【図１５】受信装置（ノーマルフレームレート対応）の構成例を示すブロック図である。
【図１６】（１）混合処理を行わない場合の予測残差と、（２）混合処理を行う場合の予測残差の一例を、比較して示す図である。
【図１７】混合処理を行った場合における、（１）デコーダ側のレイヤ間補償の適用例と、（２）デコーダ後処理（逆混合処理）の例を示す図である。
【図１８】（１）混合処理を行わない場合の予測残差と、（２）混合処理を行い、予測係数をかけない場合（予測係数“１”をかける場合と同じ）の予測残差を、比較して示す図である。
【図１９】（１）混合処理を行い、予測係数をかけない場合（予測係数“１”をかける場合と同じ）の予測残差と、（２）混合処理を行い、予測係数をかける場合の予測残差を、比較して示す図である。
【図２０】混合処理を行い、予測係数をかける場合における、（１）デコーダ側のレイヤ間補償の適用例と、（２）デコーダ後処理（逆混合処理）の例を示す図である。
【発明を実施するための形態】
【００３０】
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例
【００３１】
＜１．実施の形態＞
［送受信システム］
図１は、実施の形態としての送受信システム１０の構成例を示している。この送受信システム１０は、送信装置１００と、受信装置２００とを有する構成となっている。
【００３２】
送信装置１００は、コンテナとしてのトランスポートストリームＴＳを放送波に載せて送信する。このトランスポートストリームＴＳには、ハイフレームレート、この実施の形態においては１２０ｆｐｓの画像データ（動画像データ）が処理されて得られた基本ストリーム（基本ビデオストリーム）および拡張ストリーム（拡張ビデオストリーム）が含まれる。
【００３３】
ここで、基本ストリームは、１２０ｆｐｓの画像データにおいて時間的に連続する２個のピクチャ単位で混合処理を施して得られた基本フレームレートの画像データに、この基本フレームレートの画像データの予測符号化処理を施して得られたものである。この基本フレームレートの画像データは、６０ｆｐｓの画像データである。
【００３４】
また、拡張ストリームは、上記時間的に連続する２個のピクチャ単位で一方のピクチャの画像データを取り出して得られたハイフレームレートの拡張フレームの画像データに、基本フレームレートの画像データとの間の予測符号化処理、あるいはこのハイフレームレートの拡張フレームの画像データの予測符号化処理を適応的に施して得られたものである。このハイフレームレートの拡張フレームの画像データは、６０ｆｐｓの画像データである。
【００３５】
ここで、１２０ｆｐｓの画像データは、図２（ａ）に示すように、オリジナル画像シーケンスであるとする。この場合、時間的に連続する２個のピクチャ単位で混合処理を施して得られた基本フレームレートの画像データは、図２（ｃ）に示すように、オリジナル画像シーケンスがカバーする時間に対するシャッター開口率が１（１００％）である。また、この場合、上記連続する２個のピクチャ単位で一方のピクチャの画像データを取り出して得られたハイフレームレートの拡張フレームの画像データは、図２（ｂ）に示すように、オリジナル画像シーケンスがカバーする時間に対するシャッター開口率が１/２（５０％）である。
【００３６】
この実施の形態において、ハイフレームレートの拡張フレームの画像データに基本フレームレートの画像データとの間の予測符号化処理を行って拡張ストリームを得る際に、基本フレームレートの画像データに予測残差を低減するための予測係数が乗算される。これにより、予測効率の改善が可能となり、拡張ストリームの情報データ量の低減が可能となる。
【００３７】
拡張ストリームのレイヤおよび/またはコンテナとしてのトランスポートストリームＴＳのレイヤに、上述の予測残差を低減するための予測係数が定義される。この実施の形態において、送信装置１００は、予測係数が定義されたＳＥＩメッセージをビデオストリームのレイヤに挿入する。また、送信装置１００は、予測係数が定義されたデスクリプタをトランスポートストリームＴＳのレイヤに挿入する。受信側では、このように定義された予測係数を用いることで、拡張ストリームに対する復号化処理を適切に行うことが可能となる。
【００３８】
受信装置２００は、送信装置１００から放送波に載せて送られてくる上述のトランスポートストリームＴＳを受信する。受信装置２００は、６０ｆｐｓの画像データを処理可能なデコード能力がある場合、トランスポートストリームＴＳに含まれる基本ストリームのみを処理して、基本フレームレートの画像データを得て、画像再生を行う。
【００３９】
一方、受信装置２００は、１２０ｆｐｓの画像データを処理可能なデコード能力がある場合、トランスポートストリームＴＳに含まれる基本ストリームおよび拡張ストリームの双方を処理して、１２０ｆｐｓの画像データを得て、画像再生を行う。
【００４０】
ここで、受信装置２００は、拡張フレームの画像データを得る際に、基本ストリームを処理して得られた６０ｆｐｓの画像データに、上述したように、拡張ストリームのレイヤやトランスポートストリームＴＳのレイヤに定義されている予測残差を低減するための予測係数を乗算して参照画像データとする。これにより、拡張ストリームに対する復号化処理を適切に行うことが可能となる。
【００４１】
「送信装置の構成」
図３は、送信装置１００の構成例を示している。この送信装置１００は、プリプロセッサ１０１と、エンコーダ１０２と、マルチプレクサ１０３と、送信部１０４を有している。プリプロセッサ１０１は、１２０ｆｐｓの画像データＰを入力して、基本フレームレートの画像データＱbと、ハイフレームレートの拡張フレームの画像データＱeを出力する。
【００４２】
ここで、プリプロセッサ１０１は、１２０ｆｐｓの画像データＰにおいて時間的に連続する２個のピクチャ単位で混合処理を施して基本フレームレートの画像データＱbを得る。また、このプリプロセッサ１０１は、１２０ｆｐｓの画像データＰにおいて、上記時間的に連続する２個のピクチャ単位で一方のピクチャの画像データを取り出してハイフレームレートの拡張フレームの画像データＱeを得る。
【００４３】
図４は、プリプロセッサ１０１の構成例を示している。このプリプロセッサ１０１は、１２０ｆｐｓの１フレーム分遅延させる遅延回路１１１と、演算回路１１２と、遅延回路１１１に同期した６０Ｈｚのラッチパルスでラッチするラッチ回路１１３を有している。
【００４４】
１２０ｆｐｓの画像データＰは、遅延回路１１１で１フレーム期間だけ遅延された後、アルファ（α）の利得をもたせて演算回路１１２に入力される。なお、α＝０〜１である。一方、遅延回路１１１の遅延対象の画像データＰの次の画像データは遅延回路１１１を通らずにベータ（β）の利得を持たせて演算回路１１２へ入力される。なお、β＝１−αである。演算回路１１２では、遅延回路１１１の出力と上記の１２０ｆｐｓの画像データＰとが加算される。ここで、画像データＰの時間的に連続する２個のピクチャをＡ，Ｂとするとき、遅延回路１１１の出力がＡとなるタイミングで、演算回路１１２の出力として「α＊Ａ＋β＊Ｂ」の混合出力が得られる。この演算回路１１２の出力はラッチ回路１１３に入力される。
【００４５】
ラッチ回路１１３では、この演算回路１１２の出力が６０Ｈｚのラッチパルスでラッチされ、画像データＰにおいて時間的に連続する２個のピクチャ単位で、混合処理を施した基本フレームレートの画像データＱbが得られる。また、ラッチ回路１１３では、１２０ｆｐｓの画像データＰが６０Ｈｚのラッチパルスでラッチされ、上記時間的に連続する２個のピクチャ単位で、ハイフレームレートを構成する拡張フレームの画像データＱeが得られる。
【００４６】
図５（ａ），（ｂ）は、プリプロセッサ１０１の入力データ（画像データＰ）と、プリプロセッサ１０１の出力データ（画像データＱb，Ｑe）との関係の一例を、模式的に表している。画像データＰの各ピクチャの画像データＦ１，Ｆ２，Ｆ３，Ｆ４，Ｆ５，Ｆ６，Ｆ７，Ｆ８，・・・に対応して、画像データＱbの各ピクチャの画像データＦ１´，Ｆ３´，Ｆ５´，Ｆ７´，・・・と、画像データＱeの各ピクチャの画像データＦ２，Ｆ４，Ｆ６，Ｆ８，・・・が得られる。
【００４７】
図３に戻って、エンコーダ１０２は、プリプロセッサ１０１で得られる画像データＱb，Ｑeに対して符号化処理を施して、基本ストリームおよび拡張ストリームを生成する。ここで、エンコーダ１０２は、基本フレームレートの画像データＱbに、この基本フレームレートの画像データの予測符号化処理を施して、基本ストリームを得る。また、エンコーダ１０２は、ハイフレームレートの拡張フレームの画像データＱeに、基本フレームレートの画像データＱbとの間の予測符号化処理、あるいはこのハイフレームレートの拡張フレームの画像データの予測符号化処理を適応的に施して、拡張フレームを得る。
【００４８】
エンコーダ１０２は、ハイフレームレートの拡張フレームの画像データＱeに基本フレームレートの画像データＱbとの間の予測符号化処理を行って拡張ストリームを得る際に、基本フレームレートの画像データＱbに予測残差を低減するための予測係数を乗算する。
【００４９】
図６は、エンコーダ１０２の符号化処理部分の構成例を示している。このエンコーダ１０２は、ブロック回路１２１と、減算回路１２２と、動き予測/動き補償回路１２３と、整数変換/量子化回路１２４と、逆量子化/逆整数変換回路１２５と、加算回路１２６と、ループフィルタ１２７と、メモリ１２８と、エントロピー符号化回路１２９を有している。
【００５０】
また、エンコーダ１０２は、ブロック化回路１３１と、減算回路１３２と、動き予測/動き補償回路１３３と、レイヤ間予測/レイヤ間補償回路１３４と、切り替え回路１３５，１３６と、整数変換/量子化回路１３７と、逆量子化/逆整数変換回路１３８と、加算回路１３９と、ループフィルタ１４１と、メモリ１４２と、エントロピー符号化回路１４３を有している。
【００５１】
基本フレームレートの画像データＱbは、ブロック化回路１２１に入力される。このブロック化回路１２１では、画像データＱbを構成する各ピクチャの画像データが符号化処理単位のブロック（ＭＢ：マクロブロック）に分割される。各ブロックは減算回路１２２に順次供給される。動き予測/動き補償回路１２３では、メモリ１２８に記憶されている参照ピクチャの画像データに基づいて、ブロック毎に、動き補償された予測参照ブロックが得られる。
【００５２】
動き予測/動き補償回路１２３で得られた各予測参照ブロックは、減算回路１２２に順次供給される。減算回路１２２では、ブロック化回路１２１で得られたブロック毎に、予測参照ブロックとの間で減算処理が行われて、予測誤差が得られる。このブロック毎の予測誤差は、整数変換/量子化回路１２４で整数変換（例えばＤＣＴ変換）された後に量子化される。
【００５３】
整数変換/量子化回路１２４で得られたブロック毎の量子化データは、逆量子化/逆整数変換回路１２５に供給される。この逆量子化/逆整数変換回路１２５では、量子化データに対して逆量子化が施され、さらに逆整数変換が施されて、予測残差が得られる。この予測誤差は、加算回路１２６に供給される。
【００５４】
この加算回路１２６では、予測残差に動き補償された予測参照ブロックが加算されて、ブロックが得られる。このブロックは、ループフィルタ１２７で量子化ノイズが除去された後に、メモリ１２８に蓄積される。
【００５５】
また、整数変換/量子化回路１２４で得られたブロック毎の量子化データは、エントロピー符号化回路１２９に供給されて、エントロピー符号化が行われて、基本フレームレートの画像データＱbの予測符号化結果である基本ストリームが得られる。なお、この基本ストリームには、各ブロックにおける動きベクトルなどの情報が、受信側における復号化のためにＭＢヘッダ情報として付加される。
【００５６】
また、ハイフレームレートの拡張フレームの画像データＱeは、ブロック化回路１３１に入力される。このブロック化回路１３１では、画像データＱeを構成する各ピクチャの画像データが符号化処理単位のブロック（ＭＢ：マクロブロック）に分割される。各ブロックは減算回路１３２に順次供給される。
【００５７】
動き予測/動き補償回路１３３では、メモリ１４２に記憶されている参照ピクチャの画像データに基づいて、動き補償されたレイヤ内予測のための予測参照ブロックが得られる。レイヤ間予測/レイヤ間補償回路１３４では、ループフィルタ１２７の出力、あるいはメモリ１２８に記憶されている参照ピクチャの画像データに基づいて、動き補償され、さらに予測残差を低減するための予測係数が乗算されたレイヤ間予測のための予測参照ブロックが得られる。
【００５８】
切り替え回路１３５では、レイヤ間予測で参照する基本ストリームの対象が拡張レイヤのピクチャと同時刻で処理される基本ストリームの画像であるときは、ループフィルタ１２７の出力が選択される。一方、切り替え回路１３５では、レイヤ間予測で参照する基本ストリームの対象が表示順で過去あるいは未来の基本ストリームの画像であるときは、メモリ１２８の出力が選択される。なお、基本レイヤのピクチャの処理と拡張レイヤのピクチャの処理は同じタイミングで行われる。
【００５９】
図７は、レイヤ間予測/レイヤ間補償回路１３４のさらに詳細な構成例を示している。レイヤ間予測/レイヤ間補償回路１３４は、乗算部１５１と、減算部１５２と、決定ロジック部１５３を有している。乗算部１５１では、基本レイヤのブロックに予測係数「Coef_i」が乗算される。この乗算部１５１の出力は、減算部１５２および決定ロジック部１５３に供給される。
【００６０】
減算部１５２では、拡張レイヤのブロックから予測係数「Coef_i」が乗算された基本レイヤのブロックが減算されて残差データが得られる。この残差データは、決定ロジック１５３に供給される。決定ロジック１５３では、残差パワーが最小となるように動きベクトル「Vector」および予測係数「Coef_i」が調整されて、レイヤ間予測のための予測参照ブロックが決定される。なお、動きベクトル「Vector」が調整される毎に、乗算部１５１に供給される基本レイヤのブロックはその動きベクトル「Vector」で動き補償されたものとなる。
【００６１】
図６に戻って、動き予測/動き補償回路１３３で得られたレイヤ内予測のための予測参照ブロック、あるいはレイヤ間予測/レイヤ間補償回路１３４で得られたレイヤ間予測のための予測参照ブロックが、切り替え回路１３６によりブロック単位、あるいは、ピクチャ単位で選択されて減算回路１３２に供給される。例えば、切り替え回路１３６では、残差成分が小さくなるように切り替えられる。また、例えば、切り替え回路１３６では、シーケンスの境界か否かで強制的に一方に切り替えられる。
【００６２】
減算回路１３２では、ブロック化回路１３１で得られたブロック毎に、予測参照ブロックとの間で減算処理が行われて、予測誤差が得られる。このブロック毎の予測誤差は、整数変換/量子化回路１３７で整数変換（例えばＤＣＴ変換）された後に量子化される。
【００６３】
整数変換/量子化回路１３７で得られたブロック毎の量子化データは、逆量子化/逆整数変換回路１３８に供給される。この逆量子化/逆整数変換回路１３８では、量子化データに対して逆量子化が施され、さらに逆整数変換が施されて、予測残差が得られる。このブロック毎の予測誤差は、加算回路１３９に供給される。
【００６４】
この加算回路１３９には、切り替え回路１３６で選択された予測参照ブロックが供給される。この加算回路１３９では、予測残差に動き補償された予測参照ブロックが加算されて、ブロックが得られる。このブロックは、ループフィルタ１４１で量子化ノイズが除去された後に、メモリ１４２に蓄積される。
【００６５】
また、整数変換/量子化回路１３７で得られたブロック毎の量子化データは、エントロピー符号化回路１４３に供給されて、エントロピー符号化が行われて、ハイフレームレートの拡張フレームの画像データＱeの予測符号化結果である拡張ストリームが得られる。なお、この拡張ストリームには、各ブロックにおける動きベクトル、予測係数、予測参照ブロックの切り換えなど情報が、受信側における復号化のためにＭＢブロック情報として付加される。
【００６６】
ここで、拡張レイヤの所定のブロックにレイヤ間予測の予測参照ブロックが用いられて予測符号化が行われる場合、この所定のブロックの符号化データに対応して予測係数「Coef_i」が付加される。例えば、ＨＥＶＣあるいはＳＨＶＣの符号化の場合には、スライスの「slice_segment_header()」に含まれる予測処理関係で、「pred_weight_table()」中の「luma_weight table」、「chroma_weight table」で指定される“id”によって、予測係数「Coef_i」を識別させる。この“id”と、それで識別される予測係数「Coef_i」との関係が、拡張ストリームのレイヤおよび/またはコンテナとしてのトランスポートストリームＴＳのレイヤに定義される。
【００６７】
図３に戻って、エンコーダ１０２は、拡張ストリームのレイヤに、予測係数を定義する。すなわち、拡張ストリームのレイヤに、上述した“id”とそれで識別される予測係数「Coef_i」との関係が定義されたＳＥＩメッセージを挿入する。この場合、エンコーダ１０２は、アクセスユニット（ＡＵ）の“ＳＥＩｓ”の部分に、新規定義する、レイヤ・プリディクション・マッピング・ＳＥＩ（layer_prediction_mapping_SEI）を挿入する。
【００６８】
図８（ａ）は、レイヤ・プリディクション・マッピング・ＳＥＩの構造例(Syntax)を示している。図８（ｂ）は、その構造例における主要な情報の内容（Semantics）を示している。「number_of_coef」の８ビットフィールドは、レイヤ予測の際の予測対象に乗ずる係数、つまり予測係数「Coef_i」の数を示す。例えば、Ｎ個である場合、ｉ＝０〜Ｎ−１までforループが回る。このとき、“ｉ”が“id”に対応する。
【００６９】
「prediction_coef[i]」の８ビットフィールドは、レイヤ予測の際の予測対象に乗ずる係数、つまり予測係数「Coef_i」の値を示す。例えば、“０ｘ００”は「１．００」を示す、“０ｘ０１”は０．２５を示し、“０ｘ０２”は０．５０を示し、“０ｘ０３”は０．７５を示し、“０ｘ０４”は２．００を示し、“０ｘ０５”は１．２５を示し、“０ｘ０６”は１．５０を示し、“０ｘ０７”は１，７５を示す。
【００７０】
図３に戻って、マルチプレクサ１０３は、エンコーダ１０２で生成される基本ストリームおよび拡張ストリームを、ＰＥＳ（Packetized Elementary Stream）パケット化し、さらにトランスポートパケット化して多重し、多重化ストリームとしてのトランスポートストリームＴＳを得る。
【００７１】
また、マルチプレクサ１０３は、トランスポートストリームＴＳのレイヤに、予測係数を定義する。すなわち、トランスポートストリームＴＳのレイヤに、上述した“id”とそれで識別される予測係数「Coef_i」との関係が定義されたデスクリプタを挿入する。この場合、マルチプレクサ１０３は、プログラムマップテーブルの配下に拡張ストリームに対応して配置されたビデオエレメンタリストリームループの中に、新規定義するレイヤ・プリディクション・マッピング・デスクリプタ（layer_prediction_mapping_descriptor）を挿入する。
【００７２】
図９（ａ）は、レイヤ・プリディクション・マッピング・デスクリプタの構造例（Syntax）を示している。図９（ｂ）は、その構造例における主要な情報の内容（Semantics）を示している。「Layer_prediction_mapping_descriptor_tag」の８ビットフィールドは、デスクリプタタイプを示し、ここでは、レイヤ・プリディクション・マッピング・デスクリプタであることを示す。「Layer_prediction_mapping_descriptor_length」の８ビットフィールドは、デスクリプタの長さ（サイズ）を示し、デスクリプタの長さとして、以降のバイト数を示す。
【００７３】
「number_of_coef」の８ビットフィールドは、レイヤ予測の際の予測対象に乗ずる係数、つまり予測係数「Coef_i」の数を示す。例えば、Ｎ個である場合、ｉ＝０〜Ｎ−１までforループが回る。このとき、“ｉ”が“id”に対応する。「prediction_coef[i]」の８ビットフィールドは、レイヤ予測の際の予測対象に乗ずる係数、つまり予測係数「Coef_i」の値を示す。
【００７４】
図１０は、トランスポートストリームＴＳの構成例を示している。このトランスポートストリームＴＳには、基本ストリーム（ベースストリーム）と拡張ストリーム（エンハンスストリーム）の２つのビデオストリームが含まれている。すなわち、この構成例では、基本ストリームのＰＥＳパケット「video PES1」が存在すると共に、拡張ストリームのＰＥＳパケット「video PES2」が存在する。ＰＥＳパケット「video PES2」でコンテナされる各ピクチャの符号化画像データには、レイヤ・プリディクション・マッピング・ＳＥＩ（図８（ａ）参照）が挿入される。
【００７５】
また、トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）の一つとして、ＰＭＴ（Program Map Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。
【００７６】
ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・ループ（Program loop）が存在する。また、ＰＭＴには、各ビデオストリームに関連した情報を持つエレメンタリストリーム・ループが存在する。この構成例では、基本ストリームに対応したビデオエレメンタリストリームループ「video ES1 loop」が存在すると共に、拡張ストリームに対応したビデオエレメンタリストリームループ「video ES2 loop」が存在する。
【００７７】
「video ES1 loop」には、基本ストリーム（video PES1）に対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このストリームタイプは、基本ストリームを示す“０ｘ２４”とされる。
【００７８】
また、「video ES2 loop」には、拡張ストリーム（video PES2）に対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このストリームタイプは、拡張ストリームを示す“０ｘ２ｘ”とされる。また、デスクリプタの一つとして、レイヤ・プリディクション・マッピング・デスクリプタ（図９（ａ）参照）が挿入される。
【００７９】
図３に戻って、送信部１０４は、トランスポートストリームＴＳを、例えば、ＱＰＳＫ／ＯＦＤＭ等の放送に適した変調方式で変調し、ＲＦ変調信号を送信アンテナから送信する。
【００８０】
図３に示す送信装置１００の動作を簡単に説明する。プリプロセッサ１０１には、１２０ｆｐｓの画像データＰが入力される。そして、このプリプロセッサ１０１からは、基本フレームレートの画像データＱbと、ハイフレームレートの拡張フレームの画像データＱeが出力される。
【００８１】
ここで、プリプロセッサ１０１では、１２０ｆｐｓの画像データＰにおいて時間的に連続する２個のピクチャ単位で混合処理が施されて基本フレームレートの画像データＱbが得られる。また、このプリプロセッサ１０１では、上記時間的に連続する２個のピクチャ単位で一方のピクチャの画像データが取り出されてハイフレームレートの拡張フレームの画像データＱeが得られる。
【００８２】
プリプロセッサ１０１で得られた画像データＱb，Ｑeは、エンコーダ１０２に供給される。エンコーダ１０２では、画像データＱb，Ｑeに対して符号化処理が施されて、基本ストリームおよび拡張ストリームが生成される。ここで、エンコーダ１０２では、基本フレームレートの画像データＱbに、この基本フレームレートの画像データの予測符号化処理が施されて、基本ストリームが得られる。
【００８３】
また、エンコーダ１０２では、ハイフレームレートの拡張フレームの画像データＱeに、基本フレームレートの画像データＱbとの間の予測符号化処理、あるいはこのハイフレームレートの拡張フレームの画像データの予測符号化処理が適応的に施されて、拡張フレームが得られる。ここで、エンコーダ１０２では、拡張レイヤの画像データＱeに基本レイヤの画像データＱbとの間の予測符号化処理が行われるとき、基本レイヤの画像データＱbに予測残差を低減するための予測係数が乗算される。
【００８４】
エンコーダ１０２では、拡張ストリームのレイヤに、予測係数が定義される。具体的には、拡張ストリームのレイヤに、予測係数の“id”とそれで識別される予測係数「Coef_i」との関係が定義された、レイヤ・プリディクション・マッピング・ＳＥＩ（図８（ａ）参照）が挿入される。
【００８５】
エンコーダ１０２で生成された基本ストリームおよび拡張ストリームは、マルチプレクサ１０３に供給される。マルチプレクサ１０３では、基本ストリームおよび拡張ストリームが、ＰＥＳパケット化され、さらにトランスポートパケット化されて多重され、多重化ストリームとしてのトランスポートストリームＴＳが得られる。
【００８６】
また、マルチプレクサ１０３では、トランスポートストリームＴＳのレイヤに、予測係数が定義される。具体的には、プログラムマップテーブルの配下に拡張ストリームに対応して配置されたビデオエレメンタリストリームループの中に、予測係数の“id”とそれで識別される予測係数「Coef_i」との関係が定義された、レイヤ・プリディクション・マッピング・デスクリプタ（図９（ａ）参照）が挿入される。
【００８７】
マルチプレクサ１０３で生成されたトランスポートストリームＴＳは、送信部１０４に送られる。送信部１０４では、このトランスポートストリームＴＳが、例えば、ＱＰＳＫ／ＯＦＤＭ等の放送に適した変調方式で変調され、ＲＦ変調信号が送信アンテナから送信される。
【００８８】
「受信装置の構成」
図１１は、１２０ｆｐｓの動画像データを処理可能なデコード能力がある受信装置２００Ａの構成例を示している。この受信装置２００Ａは、受信部２０１と、デマルチプレクサ２０２と、デコーダ２０３と、ポストプロセッサ２０４と、ディスプレイプロセッサ２０５を有している。
【００８９】
受信部２０１は、受信アンテナで受信されたＲＦ変調信号を復調し、トランスポートストリームＴＳを取得する。デマルチプレクサ２０２は、トランスポートストリームＴＳから、ＰＩＤのフィルタリングによって、基本ストリームおよび拡張ストリームを取り出し、デコーダ２０３に供給する。
【００９０】
また、デマルチプレクサ２０２は、トランスポートストリームＴＳのレイヤに含まれるセクション情報を抽出し、図示しない制御部に送る。この場合、レイヤ・プリディクション・マッピング・デスクリプタ（図９（ａ）参照）も抽出される。これにより、制御部は、予測係数の“id”とそれで識別される予測係数「Coef_i」との関係を認識する。
【００９１】
デコーダ２０３は、基本ストリームに復号化処理を施して基本フレームレートの画像データＱbを得ると共に、拡張ストリームに復号化処理を施してハイフレームレートの拡張フレームの画像データＱeを得る。ここで、画像データＱbは１２０ｆｐｓの画像データＰにおいて時間的に連続する２個のピクチャ単位で混合処理が施されることで得られたものであり、画像データＱeは上記時間的に連続する２個のピクチャ単位で一方のピクチャの画像データが取り出されることで得られたものである（図５（ａ），（ｂ）参照）。
【００９２】
また、デコーダ２０３は、基本ストリーム、拡張ストリームを構成する各アクセスユニットに挿入されているパラメータセットやＳＥＩを抽出し、図示しない制御部に送る。この場合、レイヤ・プリディクション・マッピング・ＳＥＩ（図８（ａ）参照）も抽出される。これにより、制御部は、予測係数の“id”とそれで識別される予測係数「Coef_i」との関係を認識する。
【００９３】
図１２は、デコーダ２０３の復号化処理部分の構成例を示している。このデコーダ２０３は、エントロピー復号化回路２１１と、逆量子化/逆整数変換回路２１２と、動き補償回路２１３と、加算回路２１４と、ループフィルタ２１５と、メモリ２１６を有している。
【００９４】
また、このデコーダ２０３は、エントロピー復号化回路２２１と、逆量子化/逆整数変換回路２２２と、動き補償回路２２３と、レイヤ間補償回路２２４と、切り替え回路２２５と、加算回路２２６と、切り替え回路２２７と、ループフィルタ２２８と、メモリ２２９を有している。
【００９５】
エントロピー復号化回路２１１では、基本ストリームにエントロピー復号化が施されて、基本レイヤのブロック毎の量子化データが得られる。この量子化データは逆量子化/逆整数変換回路２１２に供給される。この逆量子化/逆整数変換回路２１２では、量子化データに対して逆量子化が施され、さらに逆整数変換が施されて、予測残差が得られる。このブロック毎の予測誤差は、加算回路２１４に供給される。
【００９６】
動き補償回路２１３では、メモリ２１６に記憶されている参照ピクチャの画像データに基づいて、動き補償された補償参照ブロックが得られる。ここで、動き補償は、ＭＢヘッダ情報として含まれている動きベクトルを用いて行われる。加算回路２１４では、予測残差に補償参照ブロックが加算されて、基本フレームレートの画像データＱbを構成するブロックが得られる。
【００９７】
このように加算回路２１４で得られるブロックは、ループフィルタ１２５で量子化ノイズが除去された後に、メモリ２１６に蓄積される。そして、このメモリ２１６からの蓄積データの読み出しにより、基本フレームレートの画像データＱbが得られる。
【００９８】
エントロピー復号化回路２２１では、拡張ストリームにエントロピー復号化が施されて、拡張レイヤのブロック毎の量子化データが得られる。この量子化データは逆量子化/逆整数変換回路２２２に供給される。この逆量子化/逆整数変換回路２２２では、量子化データに対して逆量子化が施され、さらに逆整数変換が施されて、予測残差が得られる。このブロック毎の予測誤差は、加算回路２２６に供給される。
【００９９】
動き補償回路２２３では、メモリ２２９に記憶されている参照ピクチャの画像データに基づいて、動き補償された、レイヤ内補償のための補償参照ブロックが得られる。ここで、動き補償は、ＭＢヘッダ情報として含まれている動きベクトルを用いて行われる。
【０１００】
レイヤ間補償回路２２４では、ループフィルタ２０５の出力、あるいはメモリ２１６に記憶されている参照ピクチャの画像データに基づいて、動き補償され、さらに予測残差を低減するための予測係数が乗算された、レイヤ間補償のための補償参照ブロックが得られる。ここで、動き補償は、ＭＢヘッダ情報として含まれている動きベクトルを用いて行われる。
【０１０１】
また、予測係数として、ＭＢヘッダ情報として含まれている予測係数の“id”に対応した予測係数「Coef_i」が用いられる。この際に、レイヤ・プリディクション・マッピング・ＳＥＩ（図８（ａ）参照）あるいはレイヤ・プリディクション・マッピング・デスクリプタ（図９（ａ）参照）に定義されている予測係数の“id”とそれで識別される予測係数「Coef_i」との関係が参照される。
【０１０２】
切り替え回路２２５では、レイヤ間補償で参照する基本ストリームの対象が拡張レイヤのピクチャと同時刻で処理される基本ストリームの画像であるときは、ループフィルタ２０４の出力が選択される。一方、切り替え回路２２５では、レイヤ間補償で参照する基本ストリームの対象が表示順で過去あるいは未来の基本ストリームの画像であるときは、メモリ２１６の出力が選択される。ここで、切り替えは、ＭＢヘッダの情報に従って行われる。
【０１０３】
図１３は、レイヤ間補償回路２２４のさらに詳細な構成例を示している。レイヤ間補償回路２２４は、乗算部２３１を有している。乗算部２３１では、基本レイヤの動き補償された予測参照ブロックに予測係数「Coef_i」が乗算されて、レイヤ間補償のための補償参照ブロックが得られる。
【０１０４】
図１２に戻って、動き補償回路２２３で得られたレイヤ内補償のための補償参照ブロック、あるいはレイヤ間補償回路２２４で得られたレイヤ間補償のための補償参照ブロックが、切り替え回路２２７によりブロック単位で選択されて加算回路２２６に供給される。ここで、切り替えは、ＭＢヘッダの情報に従って行われる。
【０１０５】
加算回路２２６では、予測残差に補償参照ブロックが加算されて、ハイフレームレートの拡張フレームの画像データＱeを構成するブロックが得られる。このように加算回路２２６で得られるブロックは、ループフィルタ２２８で量子化ノイズが除去された後に、メモリ２２９に蓄積される。そして、このメモリ２２９からの蓄積データの読み出しにより、ハイフレームレートの拡張フレームの画像データＱeが得られる。
【０１０６】
図１１に戻って、ポストプロセッサ２０４は、デコーダ２０３で得られる基本フレームレートの画像データＱbおよびハイフレームレートの拡張フレームの画像データＱeに対して、送信装置１００におけるプリプロセッサ１０１とは逆の処理を施し、１２０ｆｐｓの画像データＰ´を得る。
【０１０７】
図１４は、ポストプロセッサ２０４の構成例を示している。このポストプロセッサ２０４は、演算回路２４１と、スイッチ回路２４２を有している。基本フレームレートの画像データＱbは、「アルファの逆数(1/α)」の利得をもたせて演算回路２４１に入力される。また、ハイフレームレートの拡張フレームの画像データＱeは、「(-1) * (β/α)」の利得をもたせて演算回路２４１に入力されると共に、Ｑeの値をそのままでスイッチ回路２４２のｂ側の固定端子に入力される。
【０１０８】
演算回路２４１では、逆混合処理が行われる。この演算回路２４１の出力は、そのままの利得をもってスイッチ回路２４２のａ側の固定端子に入力される。スイッチ回路２４２は、１２０Ｈｚの周期で、ａ側、ｂ側に交互に切り換えられる。このスイッチ回路２４２からは、１２０ｆｐｓの画像データＰ´が得られる。
【０１０９】
図５（ｂ），（ｃ）は、ポストプロセッサ２０４の入力データ（画像データＱb，Ｑe）と、ポストプロセッサ２０４の出力データ（画像データＰ´）との関係の一例を、模式的に表している。画像データＱbの各ピクチャの画像データＦ１´，Ｆ３´，Ｆ５´，Ｆ７´，・・・と、画像データＱeの各ピクチャの画像データＦ２，Ｆ４，Ｆ６，Ｆ８，・・・に対応して、画像データＰ´の各ピクチャの画像データＦ１，Ｆ２，Ｆ３，Ｆ４，Ｆ５，Ｆ６，Ｆ７，Ｆ８，・・・が得られる。
【０１１０】
図１１に戻って、ディスプレイプロセッサ２０５は、ポストプロセッサ２０４で得られる１２０ｆｐｓの画像データＰに対して、必要に応じて時間方向の補間処理、つまりフレーム補間処理を施して、１２０ｆｐｓより高いフレームレートの画像データを得て、表示部に供給する。
【０１１１】
図１１に示す受信装置２００の動作を簡単に説明する。受信部２０１では、受信アンテナで受信されたＲＦ変調信号が復調され、トランスポートストリームＴＳが取得される。このトランスポートストリームＴＳは、デマルチプレクサ２０２に送られる。デマルチプレクサ２０２では、トランスポートストリームＴＳから、ＰＩＤのフィルタリングによって、基本ストリームおよび拡張ストリームが取り出され、デコーダ２０３に供給される。
【０１１２】
また、デマルチプレクサ２０２では、トランスポートストリームＴＳのレイヤに含まれるセクション情報が抽出され、図示しない制御部に送られる。この場合、レイヤ・プリディクション・マッピング・デスクリプタ（図９（ａ）参照）も抽出される。これにより、制御部では、予測係数の“id”とそれで識別される予測係数「Coef_i」との関係が認識される。
【０１１３】
デコーダ２０３では、基本ストリームに復号化処理が施されて基本フレームレートの画像データＱbが得られると共に、拡張ストリームに復号化処理が施されてハイフレームレートの拡張フレームの画像データＱeが得られる。これらの画像データＱb，Ｑeは、ポストプロセッサ２０４に供給される。
【０１１４】
また、デコーダ２０３では、基本ストリーム、拡張ストリームを構成する各アクセスユニットに挿入されているパラメータセットやＳＥＩが抽出され、図示しない制御部に送られる。この場合、レイヤ・プリディクション・マッピング・ＳＥＩ（図８（ａ）参照）も抽出される。これにより、制御部では、予測係数の“id”とそれで識別される予測係数「Coef_i」との関係が認識される。
【０１１５】
デコーダ２０３では、拡張レイヤの画像データＱeを得る際に基本レイヤの画像データＱbを用いた補償が行われるとき、基本レイヤの画像データＱbに予測残差を低減するための予測係数が乗算される。この場合の予測係数として、ＭＢヘッダ情報として含まれている予測係数の“id”に対応した予測係数「Coef_i」が用いられる。この際に、上述の予測係数の“id”とそれで識別される予測係数「Coef_i」との関係が参照される。
【０１１６】
ポストプロセッサ２０４では、デコーダ２０３で得られる基本フレームレートの画像データＱbおよびハイフレームレートの拡張フレームの画像データＱeに対して、送信装置１００におけるプリプロセッサ１０１とは逆の処理が施され、１２０ｆｐｓの画像データＰが得られる。
【０１１７】
ポストプロセッサ２０４で得られた画像データＰは、ディスプレイプロセッサ２０５に供給される。ディスプレイプロセッサ２０５では、必要に応じて、画像データＰに対して時間方向の補間処理、つまりフレーム補間処理が施されて、１２０ｆｐｓより高いフレームレートの画像データが得られる。この画像データは、表示部に供給され、画像表示が行われる。
【０１１８】
図１５は、６０ｆｐｓの動画像データを処理可能なデコード能力がある受信装置２００Ｂの構成例を示している。この図１５において、図１１と対応する部分には同一符号を付し、適宜、その詳細説明を省略する。この受信装置２００Ｂは、受信部２０１と、デマルチプレクサ２０２Ｂと、デコーダ２０３Ｂと、ディスプレイプロセッサ２０５Ｂを有している。
【０１１９】
受信部２０１では、受信アンテナで受信されたＲＦ変調信号が復調され、トランスポートストリームＴＳが取得される。デマルチプレクサ２０２Ｂでは、トランスポートストリームＴＳから、ＰＩＤのフィルタリングによって、基本ストリームのみが取り出されて、デコーダ２０３Ｂに供給される。
【０１２０】
デコーダ２０３Ｂでは、基本ストリームに復号化処理が施されて基本フレームレートの画像データＱbが得られる。ディスプレイプロセッサ２０５Ｂでは、６０ｆｐｓの画像データＱbに対して時間方向の補間処理、つまりフレーム補間処理が施されて、６０ｆｐｓより高いフレームレートの画像データが得られる。この画像データは、表示部に供給され、画像表示が行われる。
【０１２１】
以上説明したように、図１に示す送受信システム１０においては、１２０ｆｐｓの画像データＰにおいて時間的に連続する２個のピクチャ単位で混合処理を施して、６０ｆｐｓの基本フレームレートの画像データＱbを得、この基本フレームレートの画像データに予測符号化処理を施して得られた基本ストリームを送信するものである。そのため、例えば、受信側では、基本フレームレートの画像データを処理可能なデコード能力がある場合、この基本ストリームを処理して基本フレームレートの画像データを得ることで、動画像として滑らかな画像を表示でき、また、表示処理において低負荷演算によるフレーム補間処理で画質的な問題を引き起こすことを回避できる。
【０１２２】
また、図１に示す送受信システム１０においては、１２０ｆｐｓの画像データＰにおいて時間的連続する２個のピクチャ単位で一方のピクチャの画像データを取り出してハイフレームレートの拡張フレームの画像データＱeを得、この画像データＱeに基本フレームレートの画像データＱbとの間の予測符号化処理を施して得られた拡張ストリームを送信するものである。この場合、基本フレームレートの画像データＱbが上記時間的に連続する２個のピクチャ単位で混合処理を施して得られたものであることから、予測残差が小さくなって予測効率が向上し、拡張ストリームの情報データ量の低減が可能となる。
【０１２３】
図１６には、（１）混合処理を行わない場合の予測残差と、（２）混合処理を行う場合の予測残差の一例を、混合処理の係数がα＝１/２(よって、β＝１/２)の場合を例に、比較して示している。（１）、（２）において、“Ａ”、“Ｂ”は、図４のプリプロセッサ１０１の構成例で示されている“Ａ”、“Ｂ”に対応している。なお、この例では、簡単化のため、処理単位のブロックが４×４のブロックとしている。処理の単位はこれに限定することはなく、これより大きいブロックであってもよい。このことは、以下の例においても同様である。図示のように、混合処理を行う場合の予測残差は、混合処理を行わない場合の予測残差より小さくなることがわかる。
【０１２４】
図１７には、混合処理を行った場合における、（１）デコーダ側のレイヤ間補償の適用例と、（２）デコーダ後処理（逆混合処理）の例を示している。（１）、（２）において、“Ａ”、“Ｂ”は、図１４のポストプロセッサ２０４の構成例で示されている“Ａ”、“Ｂ”に対応している。
【０１２５】
また、図１に示す送受信システム１０においては、ハイフレームレートの拡張フレームの画像データＱeに基本フレームレートの画像データＱbとの間の予測符号化処理を行って拡張ストリームを得る際に、基本フレームレートの画像データＱbに予測残差を低減するための予測係数を乗算するものである。そのため、予測効率の改善が可能となり、拡張ストリームの情報データ量のさらなる低減が可能となる。
【０１２６】
図１８には、（１）混合処理を行わない場合の予測残差と、（２）混合処理を行い、予測係数をかけない場合（予測係数“１”をかける場合と同じ）の予測残差を、比較して示している。（１）、（２）において、“Ａ”、“Ｂ”は、図４のプリプロセッサ１０１の構成例で示されている“Ａ”、“Ｂ”に対応している。（２）においては、混合処理を行うことによって予測残差が低減されている。
【０１２７】
図１９には、（１）混合処理を行い、予測係数をかけない場合（予測係数“１”をかける場合と同じ）の予測残差と、（２）混合処理を行い、予測係数をかける場合の予測残差を、比較して示している。（１）、（２）において、“Ａ”、“Ｂ”は、図４のプリプロセッサ１０１の構成例で示されている“Ａ”、“Ｂ”に対応している。（２）においては、混合処理を行うことによって予測残差が低減されていると共に、予測係数“２”を掛けることで、予測残差が低減されている。デコーダ側では、エンコーダの予測係数と同じものをレイヤ間補償で使用することにより、正しい画素値での復元が可能になる。
【０１２８】
図２０は、混合処理を行い、予測係数をかける場合における、（１）デコーダ側のレイヤ間補償の適用例と、（２）デコーダ後処理（逆混合処理）の例を示している。（１）、（２）において、“Ａ”、“Ｂ”は、図１４のポストプロセッサ２０４の構成例で示されている“Ａ”、“Ｂ”に対応している。
【０１２９】
また、図１に示す送受信システム１０においては、拡張ストリームのレイヤおよび/またはコンテナとしてのトランスポートストリームＴＳのレイヤに予測係数を定義するものである。そのため、受信側では、この定義された予測係数を用いて拡張ストリームに対する復号化処理を適切に行うことが可能となる。
【０１３０】
＜２．変形例＞
なお、上述実施の形態においては、全体のフレームレートが１２０ｆｐｓで基本フレームレートが６０ｆｐｓの例を示したが、フレームレートの組み合わせは、これに限定されるものではない。例えば、１００ｆｐｓと５０ｆｐｓの組み合わせでも同様である。
【０１３１】
また、上述実施の形態においては、送信装置１００と受信装置２００からなる送受信システム１０を示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。例えば、受信装置２００の部分が、例えば、（ＨＤＭＩ（High-Definition Multimedia Interface）などのデジタルインタフェースで接続されたセットトップボックスおよびモニタの構成などであってもよい。なお、「ＨＤＭＩ」は、登録商標である。
【０１３２】
また、上述実施の形態においては、コンテナがトランスポートストリーム（ＭＰＥＧ−２  ＴＳ）である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、ＭＰ４やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ−２  ＴＳ）あるいはＭＭＴ（MPEG Media Transport）、インターネット配信で使用されているＩＳＯＢＭＦＦ（ＭＰ４）などの種々のフォーマットのコンテナが該当する。
【０１３３】
また、本技術は、以下のような構成を取ることもできる。
（１）所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で混合処理を施して基本フレームレートの画像データを得ると共に、上記時間的に連続する２個のピクチャ単位で一方のピクチャの画像データを取り出してハイフレームレートの拡張フレームの画像データを得る画像処理部と、
上記基本フレームレートの画像データに該基本フレームレートの画像データの予測符号化処理を施して基本ストリームを得ると共に、上記ハイフレームレートの拡張フレームの画像データに上記基本フレームレートの画像データとの間の予測符号化処理を施して拡張ストリームを得る画像符号化部と、
上記基本ストリームおよび上記拡張ストリームを含む所定フォーマットのコンテナを送信する送信部を備える
送信装置。
（２）上記画像符号化部は、
上記ハイフレームレートの拡張フレームの画像データに上記基本フレームレートの画像データとの間の予測符号化処理を行って拡張ストリームを得る際に、上記基本フレームレートの画像データに予測残差を低減するための予測係数を乗算する
前記（１）に記載の送信装置。
（３）上記拡張ストリームのレイヤに上記予測係数を定義する情報定義部をさらに備える
前記（２）に記載の送信装置。
（４）上記コンテナのレイヤに上記予測係数を定義する情報定義部をさらに備える
前記（２）または（３）に記載の送信装置。
（５）所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で混合処理を施して基本フレームレートの画像データを得ると共に、上記時間的に連続する２個のピクチャ単位で一方のピクチャの画像データを取り出してハイフレームレートの拡張フレームの画像データを得る画像処理ステップと、
上記基本フレームレートの画像データに該基本フレームレートの画像データの予測符号化処理を施して基本ストリームを得ると共に、上記ハイフレームレートの拡張フレームの画像データに上記基本フレームレートの画像データとの間の予測符号化処理を施して拡張ストリームを得る画像符号化ステップと、
送信部により、上記基本ストリームおよび上記拡張ストリームを含む所定フォーマットのコンテナを送信する送信ステップを有する
送信方法。
（６）基本ストリームおよび拡張ストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記基本ストリームは、所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で混合処理を施して得られた基本フレームレートの画像データに該基本フレームレートの画像データの予測符号化処理を施して得られたものであり、
上記拡張ストリームは、上記時間的に連続する２個のピクチャ単位で一方のピクチャの画像データを取り出して得られたハイフレームレートの拡張フレームの画像データに上記基本フレームレートの画像データとの間の予測符号化処理を施して得られたものであり、
上記基本ストリームのみを処理して上記基本フレームレートの画像データを得るか、あるいは上記基本ストリームおよび上記拡張ストリームの双方を処理して上記所定フレームレートの画像データを得る処理部をさらに備える
受信装置。
（７）上記拡張ストリームのレイヤおよび/または上記コンテナのレイヤに予測残差を低減するための予測係数が定義されており、
上記処理部は、上記ハイフレームレートの拡張フレームの画像データを得る際に、上記基本ストリームを処理して得られた上記基本フレームレートの画像データに上記定義されている予測係数を乗算して参照画像データとする
前記（６）に記載の受信装置。
（８）受信部により、基本ストリームおよび拡張ストリームを含む所定フォーマットのコンテナを受信する受信ステップを有し、
上記基本ストリームは、所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で混合処理を施して得られた基本フレームレートの画像データに該基本フレームレートの画像データの予測符号化処理を施して得られたものであり、
上記拡張ストリームは、上記時間的に連続する２個のピクチャ単位で一方のピクチャの画像データを取り出して得られたハイフレームレートの拡張フレームの画像データに上記基本フレームレートの画像データとの間の予測符号化処理を施して得られたものであり、
上記基本ストリームのみを処理して上記基本フレームレートの画像データを得るか、あるいは上記基本ストリームおよび上記拡張ストリームの双方を処理して上記所定フレームレートの画像データを得る処理ステップをさらに有する
受信方法。
（９）所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で混合処理を施して基本フレームレートの画像データを得ると共に、上記時間的に連続する２個のピクチャ単位で一方のピクチャの画像データを取り出してハイフレームレートの拡張フレームの画像データを得る画像処理部と、
上記基本フレームレートの画像データに符号化処理を施して基本ストリームを得ると共に、上記ハイフレームレートの拡張フレームの画像データに符号化処理を施して拡張ストリームを得る画像符号化部と、
上記基本ストリームおよび上記拡張ストリームを含む所定フォーマットのコンテナを送信する送信部を備える
送信装置。
（１０）基本ストリームおよび拡張ストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記基本ストリームは、所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で混合処理を施して得られた基本フレームレートの画像データに符号化処理を施して得られたものであり、
上記拡張ストリームは、上記時間的に連続する２個のピクチャ単位で一方のピクチャの画像データを取り出して得られたハイフレームレートの拡張フレームの画像データに符号化処理を施して得られたものであり、
上記基本ストリームのみを処理して上記基本フレームレートの画像データを得るか、あるいは上記基本ストリームおよび上記拡張ストリームの双方を処理して上記所定フレームレートの画像データを得る処理部をさらに備える
受信装置。
（１１）上記処理部は、
上記基本ストリームおよび上記拡張ストリームの双方を処理して上記所定フレームレートの画像データを得る場合、
上記基本ストリームに復号化処理を施して上記基本フレームレートの画像データを得ると共に、上記拡張ストリームに復号化処理を施して上記ハイフレームレートの拡張フレームの画像データである上記時間的に連続する２個のピクチャ単位の一方のピクチャの画像データを得る処理と、
上記基本フレームレートの画像データに上記ハイフレームレートの拡張フレームの画像データを用いて上記混合処理の逆の処理を施して上記時間的に連続する２個のピクチャ単位の他方のピクチャの画像データを得る処理と、
上記時間的に連続する２個のピクチャ単位の一方のピクチャの画像データと上記時間的に連続する２個のピクチャ単位の他方のピクチャの画像データを合成して上記所定フレームレートの画像データを得る処理を行う
前記（１０）に記載の受信装置。
【０１３４】
本技術の主な特徴は、１２０ｆｐｓの画像データにおいて時間的に連続する２個のピクチャ単位で一方のピクチャの画像データを取り出してハイフレームレートの拡張フレームの画像データを得、この画像データに、上記時間的に連続する２個のピクチャ単位で混合処理を施して得られた基本フレームレートの画像データとの間の予測符号化処理を施して得られた拡張ストリームを送信することで、拡張ストリームの情報データ量の低減を可能としたことである（図４、図６参照）。
【符号の説明】
【０１３５】
１０・・・送受信システム
１００・・・送信装置
１０１・・・プリプロセッサ
１０２・・・エンコーダ
１０３・・・マルチプレクサ
１０４・・・送信部
１１１・・・遅延回路
１１２・・・演算回路
１１３・・・ラッチ回路
１２１・・・ブロック化回路
１２２・・・減算回路
１２３・・・動き予測/動き補償回路
１２４・・・整数変換/量子化回路
１２５・・・逆量子化/逆整数変換回路
１２６・・・加算回路
１２７・・・ループフィルタ
１２８・・・メモリ
１２９・・・エントロピー符号化回路
１３１・・・ブロック化回路
１３２・・・減算回路
１３３・・・動き予測/動く補償回路
１３４・・・レイヤ間予測/レイヤ間補償回路
１３５，１３６・・・切り替え回路
１３７・・・整数変換/量子化回路
１３８・・・逆量子化/逆整数変換回路
１３９・・・加算回路
１４１・・・ループフィルタ
１４２・・・メモリ
１４３・・・エントロピー符号化回路
１５１・・・乗算部
１５２・・・減算部
１５３・・・決定ロジック部
２００Ａ，２００Ｂ・・・受信装置
２０１・・・受信部
２０２，２０２Ｂ・・・デマルチプレクサ
２０３，２０３Ｂ・・・デコーダ
２０４・・・ポストプロセッサ
２０５，２０５Ｂ・・・ディスプレイプロセッサ
２１１・・・エントロピー復号化回路
２１２・・・逆量子化/逆整数変換回路
２１３・・・動き補償回路
２１４・・・加算回路
２１５・・・ループフィルタ
２１６・・・メモリ
２２１・・・エントロピー復号化回路
２２２・・・逆量子化/逆整数変換回路
２２３・・・動き補償回路
２２４・・・レイヤ間補償回路
２２５・・・切り替え回路
２２６・・・加算回路
２２７・・・切り替え回路
２２８・・・ループフィルタ
２２９・・・メモリ
２３１・・・乗算部
２４１・・・演算回路
２４２・・・スイッチ回路
【図１】
2017030062.tif 000003
【図２】
2017030062.tif 000004
【図３】
2017030062.tif 000005
【図４】
2017030062.tif 000006
【図５】
2017030062.tif 000007
【図６】
2017030062.tif 000008
【図７】
2017030062.tif 000009
【図８】
2017030062.tif 000010
【図９】
2017030062.tif 000011
【図１０】
2017030062.tif 000012
【図１１】
2017030062.tif 000013
【図１２】
2017030062.tif 000014
【図１３】
2017030062.tif 000015
【図１４】
2017030062.tif 000016
【図１５】
2017030062.tif 000017
【図１６】
2017030062.tif 000018
【図１７】
2017030062.tif 000019
【図１８】
2017030062.tif 000020
【図１９】
2017030062.tif 000021
【図２０】
2017030062.tif 000022
【手続補正書】
【提出日】平成29年2月22日(2017.2.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で混合処理を施して基本フレームレートの画像データを得ると共に、上記時間的に連続する２個のピクチャ単位で一方のピクチャの画像データを取り出してハイフレームレートの拡張フレームの画像データを得る画像処理部と、
上記基本フレームレートの画像データに該基本フレームレートの画像データの予測符号化処理を施して基本ストリームを得ると共に、上記ハイフレームレートの拡張フレームの画像データに上記基本フレームレートの画像データとの間の予測符号化処理を施して拡張ストリームを得る画像符号化部と、
上記基本ストリームおよび上記拡張ストリームを送信する送信部を備える
送信装置。
【請求項２】
上記画像符号化部は、
上記ハイフレームレートの拡張フレームの画像データに上記基本フレームレートの画像データとの間の予測符号化処理を行って拡張ストリームを得る際に、上記基本フレームレートの画像データに予測残差を低減するための予測係数を乗算する
請求項１に記載の送信装置。
【請求項３】
上記送信部は、上記予測係数をさらに送信する
請求項２に記載の送信装置。
【請求項４】
（削除）
【請求項５】
所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で混合処理を施して基本フレームレートの画像データを得ると共に、上記時間的に連続する２個のピクチャ単位毎で一方のピクチャの画像データを取り出してハイフレームレートの拡張フレームの画像データを得る画像処理ステップと、
上記基本フレームレートの画像データに該基本フレームレートの画像データの予測符号化処理を施して基本ストリームを得ると共に、上記ハイフレームレートの拡張フレームの画像データに上記基本フレームレートの画像データとの間の予測符号化処理を施して拡張ストリームを得る画像符号化ステップと、
送信部により、上記基本ストリームおよび上記拡張ストリームを送信する送信ステップを有する
送信方法。
【請求項６】
基本ストリームおよび拡張ストリームを受信する受信部を備え、
上記基本ストリームは、所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で混合処理を施して得られた基本フレームレートの画像データに該基本フレームレートの画像データの予測符号化処理を施して得られたものであり、
上記拡張ストリームは、上記時間的に連続する２個のピクチャ単位で一方のピクチャの画像データを取り出して得られたハイフレームレートの拡張フレームの画像データに上記基本フレームレートの画像データとの間の予測符号化処理を施して得られたものであり、
上記基本ストリームのみを処理して上記基本フレームレートの画像データを得るか、あるいは上記基本ストリームおよび上記拡張ストリームの双方を処理して上記所定フレームレートの画像データを得る処理部をさらに備える
受信装置。
【請求項７】
上記受信部は、予測残差を低減するための予測係数をさらに受信し、
上記処理部は、上記ハイフレームレートの拡張フレームの画像データを得る際に、上記基本ストリームを処理して得られた上記基本フレームレートの画像データに上記予測係数を乗算して参照画像データとする
請求項６に記載の受信装置。
【請求項８】
受信部により、基本ストリームおよび拡張ストリームを受信する受信ステップを有し、
上記基本ストリームは、所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で混合処理を施して得られた基本フレームレートの画像データに該基本フレームレートの画像データの予測符号化処理を施して得られたものであり、
上記拡張ストリームは、上記時間的に連続する２個のピクチャ単位で一方のピクチャの画像データを取り出して得られたハイフレームレートの拡張フレームの画像データに上記基本フレームレートの画像データとの間の予測符号化処理を施して得られたものであり、
上記基本ストリームのみを処理して上記基本フレームレートの画像データを得るか、あるいは上記基本ストリームおよび上記拡張ストリームの双方を処理して上記所定フレームレートの画像データを得る処理ステップをさらに有する
受信方法。
【請求項９】
所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で混合処理を施して基本フレームレートの画像データを得ると共に、上記時間的に連続する２個のピクチャ単位で一方のピクチャの画像データを取り出してハイフレームレートの拡張フレームの画像データを得る画像処理部と、
上記基本フレームレートの画像データに符号化処理を施して基本ストリームを得ると共に、上記ハイフレームレートの拡張フレームの画像データに符号化処理を施して拡張ストリームを得る画像符号化部と、
上記基本ストリームおよび上記拡張ストリームを送信する送信部を備える
送信装置。
【請求項１０】
基本ストリームおよび拡張ストリームを受信する受信部を備え、
上記基本ストリームは、所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で混合処理を施して得られた基本フレームレートの画像データに符号化処理を施して得られたものであり、
上記拡張ストリームは、上記時間的に連続する２個のピクチャ単位で一方のピクチャの画像データを取り出して得られたハイフレームレートの拡張フレームの画像データに符号化処理を施して得られたものであり、
上記基本ストリームのみを処理して上記基本フレームレートの画像データを得るか、あるいは上記基本ストリームおよび上記拡張ストリームの双方を処理して上記所定フレームレートの画像データを得る処理部をさらに備える
受信装置。
【請求項１１】
上記処理部は、
上記基本ストリームおよび上記拡張ストリームの双方を処理して上記所定フレームレートの画像データを得る場合、
上記基本ストリームに復号化処理を施して上記基本フレームレートの画像データを得ると共に、上記拡張ストリームに復号化処理を施して上記ハイフレームレートの拡張フレームの画像データである上記時間的に連続する２個のピクチャ単位の一方のピクチャの画像データを得る処理と、
上記基本フレームレートの画像データに上記ハイフレームレートの拡張フレームの画像データを用いて上記混合処理の逆の処理を施して上記時間的に連続する２個のピクチャ単位の他方のピクチャの画像データを得る処理と、
上記時間的に連続する２個のピクチャ単位の一方のピクチャの画像データと上記時間的に連続する２個のピクチャ単位の他方のピクチャの画像データを合成して上記所定フレームレートの画像データを得る処理を行う
請求項１０に記載の受信装置。
【国際調査報告】
2017030062.tif 000023
2017030062.tif 000024
2017030062.tif 000025
2017030062.tif 000026