(57)【要約】  ハイフレームレートで超高解像度の画像データを受信側において下位互換を良好に実現可能に伝送する。  ハイフレームレートで超高解像度の画像データを処理して基本フレームレートで高解像度の画像を得るための基本フォーマットの画像データと、基本フレームレートで超高解像度の画像を得るための第１の拡張フォーマットの画像データと、ハイフレームレートで超高解像度の画像を得るための第２の拡張フォーマットの画像データを得る。基本フォーマットの画像データの符号化画像データを含む基本ビデオストリームと、第１の拡張フォーマットの画像データの符号化画像データおよび第２の拡張フォーマットの画像データの符号化画像データを含む２つまたは１つの拡張ビデオストリームを生成する。基本ストリームおよび拡張ビデオストリームを含む所定フォーマットのコンテナを送信する。
2017056956.tif 000002
【特許請求の範囲】
【請求項１】
ハイフレームレートで超高解像度の画像データを処理して基本フレームレートで高解像度の画像を得るための基本フォーマットの画像データと、基本フレームレートで超高解像度の画像を得るための第１の拡張フォーマットの画像データと、ハイフレームレートで超高解像度の画像を得るための第２の拡張フォーマットの画像データを得る画像処理部と、
上記基本フォーマットの画像データの符号化画像データを含む基本ビデオストリームと、上記第１の拡張フォーマットの画像データの符号化画像データおよび上記第２の拡張フォーマットの画像データの符号化画像データをそれぞれ含む２つの拡張ビデオストリームまたは上記第１の拡張フォーマットの画像データの符号化画像データおよび上記第２の拡張フォーマットの画像データの符号化画像データの両方を含む１つの拡張ビデオストリームを生成する画像符号化部と、
上記基本ストリームおよび上記２つまたは１つの拡張ビデオストリームを含む所定フォーマットのコンテナを送信する送信部を備え、
上記画像処理部は、
上記ハイフレームレートで超高解像度の画像データにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して基本フレームレートで超高解像度の第１の画像データを得ると共に、上記時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施して上記第２の拡張フォーマットの画像データを得、さらに、上記第１の画像データにダウンスケール処理を施して上記基本フォーマットの画像データを得ると共に、該基本フォーマットの画像データにアップスケール処理を施して得られた基本フレームレートで超高解像度の第２の画像データと上記第１の画像データとの間の差分をとって上記第１の拡張フォーマットの画像データを得る
送信装置。
【請求項２】
上記第１の拡張フォーマットの画像データの符号化画像データに、空間スケーラブルであることを示す識別情報を挿入する情報挿入部をさらに備える
請求項１に記載の送信装置。
【請求項３】
上記情報挿入部は、
上記第１の拡張フォーマットの画像データの符号化画像データに、空間スケーラブルの比率を示す情報をさらに挿入する
請求項２に記載の送信装置。
【請求項４】
上記２の拡張フォーマットの画像データの符号化画像データに、時間スケーラブルであることを示す識別情報を挿入する情報挿入部をさらに備える
請求項１に記載の送信装置。
【請求項５】
上記情報挿入部は、
上記第２の拡張フォーマットの画像データの符号化画像データに、上記基本フォーマットの画像データが上記混合処理を施して得られた画像データであることを示す識別情報をさらに挿入する
請求項４に記載の送信装置。
【請求項６】
上記情報挿入部は、
上記第２の拡張フォーマットの画像データの符号化画像データに、上記第１の比率の情報および上記第２の比率の情報をさらに挿入する
請求項５に記載の送信装置。
【請求項７】
上記コンテナのレイヤに、上記第１の拡張フォーマットの画像データの符号化画像データに対応して、空間スケーラブルであることを示す識別情報を挿入する情報挿入部をさらに備える
請求項１に記載の送信装置。
【請求項８】
上記情報挿入部は、
上記コンテナのレイヤに、上記第１の拡張フォーマットの画像データの符号化画像データに対応して、空間スケーラブルの比率を示す情報をさらに挿入する
請求項７に記載の送信装置。
【請求項９】
上記コンテナのレイヤに、上記第２の拡張フォーマットの画像データの符号化画像データに対応して、時間スケーラブルであることを示す識別情報を挿入する情報挿入部をさらに備える
請求項１に記載の送信装置。
【請求項１０】
上記情報挿入部は、
上記コンテナのレイヤに、上記第２の拡張フォーマットの画像データの符号化画像データに対応して、上記基本フォーマットの画像データが上記混合処理を施して得られた画像データであることを示す識別情報をさらに挿入する
請求項９に記載の送信装置。
【請求項１１】
上記情報挿入部は、
上記コンテナのレイヤに、上記第２の拡張フォーマットの画像データの符号化画像データに対応して、上記第１の比率の情報および上記第２の比率の情報をさらに挿入する
請求項１０に記載の送信装置。
【請求項１２】
上記基本ビデオストリームと上記２つまたは１つの拡張ビデオストリームを受信装置で取得させるためのメタ情報を持つメタファイルを送信する送信部をさらに備え、
上記メタファイルにはスケーラビリティの対応を示す情報が挿入される
請求項１に記載の送信装置。
【請求項１３】
ハイフレームレートで超高解像度の画像データを処理して基本フレームレートで高解像度の画像を得るための基本フォーマットの画像データと、基本フレームレートで超高解像度の画像を得るための第１の拡張フォーマットの画像データと、ハイフレームレートで超高解像度の画像を得るための第２の拡張フォーマットの画像データを得る画像処理ステップと、
上記基本フォーマットの画像データの符号化画像データを含む基本ビデオストリームと、上記第１の拡張フォーマットの画像データの符号化画像データおよび上記第２の拡張フォーマットの画像データの符号化画像データをそれぞれ含む２つの拡張ビデオストリームまたは上記第１の拡張フォーマットの画像データの符号化画像データおよび上記第２の拡張フォーマットの画像データの符号化画像データの両方を含む１つの拡張ビデオストリームを生成する画像符号化ステップと、
送信部により、上記基本ストリームおよび上記２つまたは１つの拡張ビデオストリームを含む所定フォーマットのコンテナを送信する送信ステップを有し、
上記画像処理ステップでは、
上記ハイフレームレートおよび超高解像度の画像データにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して基本フレームレートで超高解像度の第１の画像データを得ると共に、上記時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施して上記第２の拡張フォーマットの画像データを得、さらに、上記第１の画像データにダウンスケール処理を施して上記基本フォーマットの画像データを得ると共に、該基本フォーマットの画像データにアップスケール処理を施して得られた基本フレームレートで超高解像度の第２の画像データと上記第１の画像データとの間の差分をとって上記第１の拡張フォーマットの画像データを得る
送信方法。
【請求項１４】
基本フレームレートで高解像度の画像を得るための基本フォーマットの画像データの符号化画像データを持つ基本ビデオストリームと、基本フレームレートで超高解像度の画像を得るための第１の拡張フォーマットの画像データの符号化画像データおよびハイフレームレートで超高解像度の画像を得るための第２の拡張フォーマットの画像データの符号化画像データをそれぞれ持つ２つの拡張ビデオストリームまたは上記第１の拡張フォーマットの画像データの符号化画像データおよび上記第２の拡張フォーマットの画像データの符号化画像データの両方を持つ１つの拡張ビデオストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記第２の拡張フォーマットの画像データは、ハイフレームレートで超高解像度の画像データにおいて時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施して得られたものであり、
上記基本フォーマットの画像データは、上記時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して得られた基本フレームレートで超高解像度の第１の画像データにダウンスケール処理を施して得られたものであり、
上記第１の拡張フォーマットの画像データは、上記基本フォーマットの画像データにアップスケール処理を施して得られた基本フレームレートで超高解像度の第２の画像データと上記第１の画像データとの間の差分をとって得られたものであり、
上記基本ビデオストリームのみを処理して基本フレームレートで高解像度の画像データを得るか、あるいは上記基本ビデオストリームおよび上記拡張ビデオストリームの両方を処理して基本フレームレートで超高解像度の画像データまたはハイフレームレートで超高解像度の画像データを得る処理部をさらに備える
受信装置。
【請求項１５】
上記第１の拡張フォーマットの画像データの符号化画像データに、および/または、該符号化画像データに対応したコンテナ位置に、空間スケーラブルの比率を示す情報が挿入されており、
上記処理部は、上記基本フレームレートで超高解像度の画像データを得る場合、上記挿入されている空間スケーラブルの比率を示す情報を用いる
請求項１４に記載の受信装置。
【請求項１６】
上記第１の拡張フォーマットの画像データの符号化画像データに、および/または、該符号化画像データに対応したコンテナ位置に、空間スケーラブルの比率を示す情報が挿入されており、
上記第２の拡張フォーマットの画像データの符号化画像データに、および/または、該符号化画像データに対応したコンテナ位置に上記第１の比率の情報および上記第２の比率の情報が挿入されており、
上記処理部は、上記ハイフレームレートで超高解像度の画像データを得る場合、上記挿入されている空間スケーラブルの比率を示す情報、第１の比率の情報および第２の比率の情報を用いる
請求項１４に記載の受信装置。
【請求項１７】
受信部により、基本フレームレートで高解像度の画像を得るための基本フォーマットの画像データの符号化画像データを持つ基本ビデオストリームと、基本フレームレートで超高解像度の画像を得るための第１の拡張フォーマットの画像データの符号化画像データおよびハイフレームレートで超高解像度の画像を得るための第２の拡張フォーマットの画像データの符号化画像データをそれぞれ持つ２つの拡張ビデオストリームまたは上記第１の拡張フォーマットの画像データの符号化画像データおよび上記第２の拡張フォーマットの画像データの符号化画像データの両方を持つ１つの拡張ビデオストリームを含む所定フォーマットのコンテナを受信する受信ステップを有し、
上記第２の拡張フォーマットの画像データは、ハイフレームレートで超高解像度の画像データにおいて時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施して得られたものであり、
上記基本フォーマットの画像データは、上記時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して得られた基本フレームレートで超高解像度の第１の画像データにダウンスケール処理を施して得られたものであり、
上記第１の拡張フォーマットの画像データは、上記基本フォーマットの画像データにアップスケール処理を施して得られた基本フレームレートで超高解像度の第２の画像データと上記第１の画像データとの間の差分をとって得られたものであり、
上記基本ビデオストリームのみを処理して基本フレームレートで高解像度の画像データを得るか、あるいは上記基本ビデオストリームおよび上記拡張ビデオストリームの両方を処理して基本フレームレートで超高解像度の画像データまたはハイフレームレートで超高解像度の画像データを得る処理ステップをさらに有する
受信方法。
【請求項１８】
ハイフレームレートで超高解像度の画像データを処理して基本フレームレートで高解像度の画像を得るための基本フォーマットの画像データと、基本フレームレートで超高解像度の画像を得るための第１の拡張フォーマットの画像データと、ハイフレームレートで超高解像度の画像を得るための第２の拡張フォーマットの画像データを得る画像処理部と、
上記基本フォーマットの画像データの符号化画像データを含む基本ビデオストリームと、上記第１の拡張フォーマットの画像データの符号化画像データおよび上記第２の拡張フォーマットの画像データの符号化画像データをそれぞれ含む２つの拡張ビデオストリームまたは上記第１の拡張フォーマットの画像データの符号化画像データおよび上記第２の拡張フォーマットの画像データの符号化画像データの両方を含む１つの拡張ビデオストリームを生成する画像符号化部と、
上記基本ストリームおよび上記２つまたは１つの拡張ビデオストリームを含む所定フォーマットのコンテナを送信する送信部を備える
送信装置。
【請求項１９】
基本フレームレートで高解像度の画像を得るための基本フォーマットの画像データの符号化画像データを持つ基本ビデオストリームと、基本フレームレートで超高解像度の画像を得るための第１の拡張フォーマットの画像データの符号化画像データおよびハイフレームレートで超高解像度の画像を得るための第２の拡張フォーマットの画像データの符号化画像データをそれぞれ持つ２つの拡張ビデオストリームまたは上記第１の拡張フォーマットの画像データの符号化画像データおよび上記第２の拡張フォーマットの画像データの符号化画像データの両方を持つ１つの拡張ビデオストリームを含む所定フォーマットのコンテナを受信する受信部と、
上記基本ビデオストリームのみを処理して基本フレームレートで高解像度の画像データを得るか、あるいは上記基本ビデオストリームおよび上記拡張ビデオストリームの両方を処理して基本フレームレートで超高解像度の画像データまたはハイフレームレートで超高解像度の画像データを得る処理部を備える
受信装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、送信装置、送信方法、受信装置および受信方法に関し、詳しくは、ハイフレームレートで超高解像度の画像データを送信する送信装置等に関する。
【背景技術】
【０００２】
固定受信機とモバイル受信機とが同一の伝送帯域を共有する受信環境において、伝送ビットレートの効率的な利用を行うために、解像度が高いとされる固定受信機向けの画像サービス（映像サービス）と中程度の解像度とされるモバイル受信機向けの画像サービスとがストリームを共有することで、固定受信機向けサービスとモバイル受信機向けサービスとを別に行う、いわゆるサイマルキャストサービスに比べて、全体のビットレートを低減できると考えられている。例えば、特許文献１には、メディア符号化をスケーラブルに行って、低解像度の画像サービスのための基本レイヤのストリームと、高解像度の画像サービスのための拡張レイヤのストリームを生成し、これらを含む放送信号を送信することが記載されている。【０００３】
一方で、スポーツシーンなど動きのスムーズさや鮮明さが要求される場合、シャッタ速度を高速にしてフレームレートを高くする、いわゆるハイフレームレートの映像サービスが要求される。ハイフレームレートのサービスを行う場合、高速フレームシャッタでカメラ撮りされた動画像を、それよりも低周波数の動画像シーケンスに変換して送信することが考えられる。高速フレームシャッタの画像は、動きボケを改善し先鋭度の高い画質を実現する効果がある一方で、従来のノーマルフレームレートの受信機との互換性をとる場合には、ハイフレームレートの映像の全体を表示せずに一部のみを表示することによるストロービング（strobing）効果の問題がある。本出願人は、先に、高速フレームシャッタで撮影された画像による素材を変換して、ノーマルフレームレートのデコードを行う従来の受信機で一定以上の画品質で表示させる技術を提案した（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表２００８−５４３１４２号公報
【特許文献２】国際公開第２０１５/０７６２７７号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本技術の目的は、ハイフレームレートで超高解像度の画像データを受信側において下位互換を良好に実現可能に伝送することにある。
【課題を解決するための手段】
【０００６】
本技術の概念は、
ハイフレームレートで超高解像度の画像データを処理して基本フレームレートで高解像度の画像を得るための基本フォーマットの画像データと、基本フレームレートで超高解像度の画像を得るための第１の拡張フォーマットの画像データと、ハイフレームレートで超高解像度の画像を得るための第２の拡張フォーマットの画像データを得る画像処理部と、
上記基本フォーマットの画像データの符号化画像データを含む基本ビデオストリームと、上記第１の拡張フォーマットの画像データの符号化画像データおよび上記第２の拡張フォーマットの画像データの符号化画像データをそれぞれ含む２つの拡張ビデオストリームまたは上記第１の拡張フォーマットの画像データの符号化画像データおよび上記第２の拡張フォーマットの画像データの符号化画像データの両方を含む１つの拡張ビデオストリームを生成する画像符号化部と、
上記基本ストリームおよび上記２つまたは１つの拡張ビデオストリームを含む所定フォーマットのコンテナを送信する送信部を備え、
上記画像処理部は、
上記ハイフレームレートで超高解像度の画像データにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して基本フレームレートで超高解像度の第１の画像データを得ると共に、上記時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施して上記第２の拡張フォーマットの画像データを得、さらに、上記第１の画像データにダウンスケール処理を施して上記基本フォーマットの画像データを得ると共に、該基本フォーマットの画像データにアップスケール処理を施して得られた基本フレームレートで超高解像度の第２の画像データと上記第１の画像データとの間の差分をとって上記第１の拡張フォーマットの画像データを得る
送信装置にある。【０００７】
本技術において、画像処理部により、ハイフレームレートおよび超高解像度の画像データが処理されて、基本フレームレートで高解像度の画像を得るための基本フォーマットの画像データと、基本フレームレートで超高解像度の画像を得るための第１の拡張フォーマットの画像データと、ハイフレームレートで超高解像度の画像を得るための第２の拡張フォーマットの画像データが得られる。【０００８】
ここで、第２の拡張フォーマットの画像データは、ハイフレームレートで超高解像度の画像データにおいて時間的に連続する２個のピクチャ単位で第２の比率の混合処理が施されることで得られる。基本フォーマットの画像データは、上記時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して得られた基本フレームレートで超高解像度の第１の画像データにダウンスケール処理が施されることで得られる。また、第１の拡張フォーマットの画像データは、基本フォーマットの画像データにアップスケール処理を施して得られた基本フレームレートで超高解像度の画像第２の画像データと第１の画像データとの間の差分をとることで得られる。【０００９】
画像符号化部により、基本フォーマットの画像データの符号化画像データを含む基本ビデオストリームと、第１の拡張フォーマットの画像データの符号化画像データおよび第２の拡張フォーマットの画像データの符号化画像データをそれぞれ含む２つの拡張ビデオストリームまたは第１の拡張フォーマットの画像データの符号化画像データおよび第２の拡張フォーマットの画像データの符号化画像データの両方を含む１つの拡張ビデオストリームが生成される。そして、送信部により、基本ストリームおよび２つまたは１つの拡張ビデオストリームを含む所定フォーマットのコンテナが送信される。【００１０】
このように本技術においては、基本フレームレートで高解像度の画像を得るための基本フォーマットの画像データの符号化画像データを含む基本ビデオストリームと、基本フレームレートで超高解像度の画像を得るための第１の拡張フォーマットの画像データの符号化画像データとハイフレームレートで超高解像度の画像を得るための第２の拡張フォーマットの画像データの符号化画像データを含む２つまたは１つの拡張ビデオストリームが送信される。そのため、ハイフレームレートで超高解像度の画像データを受信側において下位互換を良好に実現可能に伝送される。【００１１】
例えば、基本フレームレートで高解像度の画像データを処理可能なデコード能力がある受信機の場合、基本ビデオストリームのみを処理して基本フレームレートで高解像度の画像の表示が可能となる。また、例えば、基本フレームレートで超高解像度の画像データを処理可能なデコード能力がある受信機の場合、基本ビデオストリームおよび拡張ストリームの双方を処理して基本フレームレートで超高解像度の画像の表示が可能となる。また、例えば、ハイフレームレートで超高解像度の画像データを処理可能なデコード能力がある受信機の場合、基本ビデオストリームおよび拡張ストリームの双方を処理してハイフレームレートで超高解像度の画像の表示が可能となる。【００１２】
また、本技術においては、基本フォーマットの画像データは、ハイフレームレートで超高解像度の画像データにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して得られた基本フレームレートで超高解像度の第１の画像データにダウンスケール処理が施されることで得られたものである。そのため、基本ビデオストリームのみを処理して表示される基本フレームレートで高解像度の画像はストロービング効果が抑制された滑らかな画像となる。【００１３】
なお、本技術において、例えば、第１の拡張フォーマットの画像データの符号化画像データに、および/またはこの符号化画像データに対応したコンテナ位置に、空間スケーラブルであることを示す識別情報を挿入する情報挿入部をさらに備える、ようにされてもよい。この識別情報の挿入により、受信側では、第１の拡張フォーマットの画像データが、超高解像度の画像データを得るためのものであることを容易に認識できる。【００１４】
この場合、例えば、情報挿入部は、空間スケーラブルの比率を示す情報をさらに挿入する、ようにされてもよい。受信側では、この空間スケーラブルの比率を示す情報を用いることで、空間スケーラブルの処理を適切に行うことが可能となり、超高解像度の画像データを良好に得ることが可能となる。【００１５】
また、本技術において、例えば、第２の拡張フォーマットの画像データの符号化画像データに、および/またはこの符号化画像データに対応したコンテナ位置に、時間スケーラブルであることを示す識別情報を挿入する情報挿入部をさらに備える、ようにされてもよい。この識別情報の挿入により、受信側では、第２の拡張フォーマットの画像データが、ハイフレームレートの画像データを得るためのものであることを容易に認識できる。【００１６】
この場合、例えば、情報挿入部は、基本フォーマットの画像データが混合処理を施して得られた画像データであることを示す識別情報をさらに挿入する、ようにされてもよい。この識別情報の挿入により、受信側では、基本フォーマットの画像データが混合処理を施して得られた画像データであることを容易に認識できる。【００１７】
また、この場合、例えば、情報挿入部は、混合処理における比率情報（第１の比率の情報および第２の比率の情報）をさらに挿入する、ようにされてもよい。受信側では、この混合処理における比率情報を用いることで、時間スケーラブルの処理を適切に行うことが可能となり、ハイフレームレートの画像データを良好に得ることが可能となる。【００１８】
また、本技術において、例えば、基本ビデオストリームと２つまたは１つの拡張ビデオストリームを受信装置で取得させるためのメタ情報を持つメタファイルを送信する送信部をさらに備え、メタファイルにはスケーラビリティの対応を示す情報が挿入される、ようにされてもよい。受信側では、このようにメタファイルに挿入されるスケーラビリティの対応を示す情報から、スケーラビリティの対応を容易に認識でき、必要なストリームあるいは符号化画像データのみを取得して効率よく処理することが可能となる。【００１９】
また、本技術の他の概念は、
基本フレームレートで高解像度の画像を得るための基本フォーマットの画像データの符号化画像データを持つ基本ビデオストリームと、基本フレームレートで超高解像度の画像データを得るための第１の拡張フォーマットの画像データの符号化画像データおよびハイフレームレートで超高解像度の画像を得るための第２の拡張フォーマットの画像データの符号化画像データをそれぞれ持つ２つの拡張ビデオストリームまたは上記第１の拡張フォーマットの画像データの符号化画像データおよび上記第２の拡張フォーマットの画像データの符号化画像データの両方を持つ１つの拡張ビデオストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記第２の拡張フォーマットの画像データは、ハイフレームレートで超高解像度の画像データにおいて時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施して得られたものであり、
上記基本フォーマットの画像データは、上記時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して得られた基本フレームレートで超高解像度の第１の画像データにダウンスケール処理を施して得られたものであり、
上記第１の拡張フォーマットの画像データは、上記基本フォーマットの画像データにアップスケール処理を施して得られた基本フレームレートで超高解像度の第２の画像データと上記第１の画像データとの間の差分をとって得られたものであり、
上記基本ビデオストリームのみを処理して基本フレームレートで高解像度の画像データを得るか、あるいは上記基本ビデオストリームおよび上記拡張ビデオストリームの両方を処理して基本フレームレートで超高解像度の画像データまたはハイフレームレートで超高解像度の画像データを得る処理部をさらに備える
受信装置にある。【００２０】
本技術において、受信部により、基本ビデオストリームと２つまたは１つの拡張ビデオストリーム含む所定フォーマットのコンテナが受信される。基本ビデオストリームは、基本フレームレートで高解像度の画像を得るための基本フォーマットの画像データの符号化画像データを持っている。２つまたは１つの拡張ビデオストリームは、基本フレームレートで超高解像度の画像を得るための第１の拡張フォーマットの画像データの符号化画像データおよびハイフレームレートで超高解像度の画像を得るための第２の拡張フォーマットの画像データの符号化画像データを持っている。【００２１】
ここで、第２の拡張フォーマットの画像データは、ハイフレームレートで超高解像度の画像データにおいて時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施して得られたものである。基本フォーマットの画像データは、上記時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して得られた基本フレームレートで超高解像度の第１の画像データにダウンスケール処理を施して得られたものである。第１の拡張フォーマットの画像データは、基本フォーマットの画像データにアップスケール処理を施して得られた基本フレームレートで超高解像度の画像第２の画像データと第１の画像データとの間の差分をとって得られたものである。【００２２】
処理部により、基本ビデオストリームのみを処理して基本フレームレートで高解像度の画像データが得られるか、あるいは基本ビデオストリームおよび拡張ビデオストリームの両方が処理されて基本フレームレートで超高解像度の画像データまたはハイフレームレートで超高解像度の画像データが得られる。【００２３】
このように本技術においては、基本フレームレートで高解像度の画像を得るための基本フォーマットの画像データの符号化画像データを含む基本ビデオストリームのみを処理して基本フレームレートで高解像度の画像データを得ることができる。すなわち、基本フレームレートで高解像度の画像データを処理可能なデコード能力がある受信機の場合、基本ビデオストリームのみを処理して基本フレームレートで高解像度の画像の表示が可能となり、下位互換を実現できる。【００２４】
ここで、基本フォーマットの画像データは、ハイフレームレートで超高解像度の画像データにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して得られた基本フレームレートで超高解像度の第１の画像データにダウンスケール処理が施されることで得られたものである。そのため、基本ビデオストリームのみを処理して表示される基本フレームレートで高解像度の画像はストロービング効果が抑制された滑らかな画像となる。【００２５】
また、基本ビデオストリームおよび拡張ビデオストリームの両方を処理して基本フレームレートで超高解像度の画像データまたはハイフレームレートで超高解像度の画像データを得ることができる。すなわち、基本フレームレートで超高解像度の画像データを処理可能なデコード能力がある受信機の場合、基本ビデオストリームおよび拡張ストリームの双方を処理して基本フレームレートで超高解像度の画像の表示が可能となる。また、ハイフレームレートで超高解像度の画像データを処理可能なデコード能力がある受信機の場合、基本ビデオストリームおよび拡張ストリームの双方を処理してハイフレームレートで超高解像度の画像の表示が可能となる。【００２６】
なお、本技術において、例えば、第１の拡張フォーマットの画像データの符号化画像データに、および/または、この符号化画像データに対応したコンテナ位置に、空間スケーラブルの比率を示す情報が挿入されており、処理部は、基本フレームレートで超高解像度の画像データを得る場合、この挿入されている空間スケーラブルの比率を示す情報を用いる、ようにされてもよい。この場合、空間スケーラブルの処理を適切に行うことが可能となり、基本フレームレートで超高解像度の画像データを良好に得ることが可能となる。【００２７】
また、本技術において、例えば、第１の拡張フォーマットの画像データの符号化画像データに、および/または、この符号化画像データに対応したコンテナ位置に、空間スケーラブルの比率を示す情報が挿入されており、第２の拡張フォーマットの画像データの符号化画像データに、および/または、この符号化画像データに対応したコンテナ位置に第１の比率の情報および第２の比率の情報が挿入されており、処理部は、ハイフレームレートで超高解像度の画像データを得る場合、この挿入されている空間スケーラブルの比率を示す情報、第１の比率の情報および第２の比率の情報を用いる、ようにされてもよい。この場合、空間スケーラブルおよび時間スケーラブルの処理を適切に行うことが可能となり、ハイフレームレートで超高解像度の画像データを良好に得ることが可能となる。
【発明の効果】
【００２８】
本技術によれば、ハイフレームレートで超高解像度の画像データを受信側において下位互換を良好に実現可能に伝送できる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
【図面の簡単な説明】
【００２９】
【図１】ＭＰＥＧ−ＤＡＳＨベースのストリーム配信システムの構成例を示すブロック図である。
【図２】ＭＰＤファイルに階層的に配置されている各構造体の関係の一例を示す図である。
【図３】実施の形態としての送受信システムの構成例を示すブロック図である。
【図４】混合比によって変化するシャッタ開口率を説明するための図である。
【図５】サービス送信システムおよびサービス受信機の処理の概要を示す図である。
【図６】基本ビデオストリームＳＴｂと拡張ストリームＳＴｅ１，ＳＴｅ２の３ストリーム構成の伝送の場合におけるストリーム構成例を示す図である。
【図７】３ストリーム構成の伝送の場合におけるＤＡＳＨ/ＭＰ４のトラック構成を示す図である。
【図８】トラックＢ、トラックＥ１、トラックＥ２の各トラックのデータを含むＭＰ４ストリーム（ファイル）の構成例を示す図である。
【図９】ＳＰＳ（ＶＰＳ）の要素の一例を示す図である。
【図１０】ビデオ・スケーラビリティ・ＳＥＩの構造例を示す図である。
【図１１】ビデオ・スケーラビリティ・ＳＥＩの構造例における主要な情報の内容を示す図である。
【図１２】ビデオ・スケーラビリティ・インフォメーション・デスクリプタの構造例を示す図である。
【図１３】３ストリーム構成の伝送の場合におけるＭＰＤファイルの記述例を示す図である。
【図１４】基本ビデオストリームＳＴｂと拡張ストリームＳＴｅの２ストリーム構成の伝送の場合におけるストリーム構成例を示す図である。
【図１５】２ストリーム構成の伝送の場合におけるＤＡＳＨ/ＭＰ４のトラック構成を示す図である。
【図１６】トラックＢ、トラックＥＨの各トラックのデータを含むＭＰ４ストリーム（ファイル）の構成例を示す図である。
【図１７】２ストリーム構成の伝送の場合におけるＭＰＤファイルの記述例を示す図である。
【図１８】サービス送信システムの構成例を示すブロック図である。
【図１９】ビデオエンコーダの構成を概略的に示す図である。
【図２０】ビデオエンコーダにおけるプロセス１の処理を行う信号処理部とプロセス２の処理を行う信号処理部の部分を示す図である。
【図２１】プロセス１の処理を行う信号処理部の構成例を示すブロック図である。
【図２２】プロセス１の処理を行う信号処理部における入力データ（画像データＶａ）と出力データ（画像データＶｂ，Ｖｃ）との関係の一例を模式的に表す図である。
【図２３】プロセス２の処理を行う信号処理部の構成例を示すブロック図である。
【図２４】ハイフレームレートで超高解像度の動画像データを処理可能なサービス受信機の構成例を示すブロック図である。
【図２５】ビデオデコーダの構成を概略的に示す図である。
【図２６】ビデオデコーダにおけるインバースプロセス１の処理を行う信号処理部とインバースプロセス２の処理を行う信号処理部の部分を示す図である。
【図２７】インバースプロセス２の処理を行う信号処理部の構成例を示すブロック図である。
【図２８】インバースプロセス１の処理を行う信号処理部の構成例を示すブロック図である。
【図２９】基本フレームレートで超高解像度の動画像データを処理可能なサービス受信機の構成例を示すブロック図である。
【図３０】基本フレームレートで高解像度の動画像データを処理可能なサービス受信機の構成例を示すブロック図である。
【図３１】３ストリーム構成の伝送の場合におけるトランスポートストリームの構成例を示す図である。
【図３２】２ストリーム構成の伝送の場合におけるトランスポートストリームの構成例を示す図である。
【図３３】３ストリーム構成の伝送の場合におけるＭＭＴストリームの構成例を示す図である。
【図３４】２ストリーム構成の伝送の場合におけるＭＭＴストリームの構成例を示す図である。
【発明を実施するための形態】
【００３０】
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
１．実施の形態
２．変形例
【００３１】
＜１．実施の形態＞
［ＭＰＥＧ−ＤＡＳＨベースのストリーム配信システムの概要］
最初に、本技術を適用し得るＭＰＥＧ−ＤＡＳＨベースのストリーム配信システムの概要を説明する。
【００３２】
図１（ａ）は、ＭＰＥＧ−ＤＡＳＨベースのストリーム配信システム３０Ａの構成例を示している。この構成例では、メディアストリームとＭＰＤファイルが、通信ネットワーク伝送路（通信伝送路）を通じて送信される。このストリーム配信システム３０Ａは、ＤＡＳＨストリームファイルサーバ３１およびＤＡＳＨ ＭＰＤサーバ３２に、Ｎ個のサービス受信機３３-1，３３-2，・・・，３３-Nが、ＣＤＮ（Content Delivery Network）３４を介して、接続された構成となっている。
【００３３】
ＤＡＳＨストリームファイルサーバ３１は、所定のコンテンツのメディアデータ（ビデオデータ、オーディオデータ、字幕データなど）に基づいて、ＤＡＳＨ仕様のストリームセグメント（以下、適宜、「ＤＡＳＨセグメント」という）を生成し、サービス受信機からのＨＴＴＰ要求に応じてセグメントを送出する。このＤＡＳＨストリームファイルサーバ３１は、ストリーミング専用のサーバであってもよいし、また、ウェブ（Web）サーバで兼用されることもある。
【００３４】
また、ＤＡＳＨストリームファイルサーバ３１は、サービス受信機３３（３３-1，３３-2，・・・，３３-N）からＣＤＮ３４を介して送られてくる所定ストリームのセグメントの要求に対応して、そのストリームのセグメントを、ＣＤＮ３４を介して、要求元の受信機に送信する。この場合、サービス受信機３３は、ＭＰＤ（Media Presentation Description）ファイルに記載されているレートの値を参照して、クライアントの置かれているネットワーク環境の状態に応じて、最適なレートのストリームを選択して要求を行う。
【００３５】
ＤＡＳＨ ＭＰＤサーバ３２は、ＤＡＳＨストリームファイルサーバ３１において生成されるＤＡＳＨセグメントを取得するためのＭＰＤファイルを生成するサーバである。コンテンツマネジメントサーバ（図示せず）からのコンテンツメタデータと、ＤＡＳＨストリームファイルサーバ３１において生成されたセグメントのアドレス（url）をもとに、ＭＰＤファイルを生成する。なお、ＤＡＳＨストリームファイルサーバ３１とＤＡＳＨ ＭＰＤサーバ３２は、物理的に同じものであってもよい。
【００３６】
ＭＰＤのフォーマットでは、ビデオやオーディオなどのそれぞれのストリーム毎にリプレゼンテーション（Representation）という要素を利用して、それぞれの属性が記述される。例えば、ＭＰＤファイルには、レートの異なる複数のビデオデータストリーム毎に、リプレゼンテーションを分けてそれぞれのレートが記述される。サービス受信機３３では、そのレートの値を参考にして、上述したように、サービス受信機３３の置かれているネットワーク環境の状態に応じて、最適なストリームを選択できる。
【００３７】
図１（ｂ）は、ＭＰＥＧ−ＤＡＳＨベースのストリーム配信システム３０Ｂの構成例を示している。この構成例では、メディアストリームとＭＰＤファイルが、ＲＦ伝送路（放送伝送路）を通じて送信される。このストリーム配信システム３０Ｂは、ＤＡＳＨストリームファイルサーバ３１およびＤＡＳＨ ＭＰＤサーバ３２が接続された放送送出システム３６と、Ｍ個のサービス受信機３５-1，３５-2，・・・，３５-Mとで構成されている。
【００３８】
このストリーム配信システム３０Ｂの場合、放送送出システム３６は、ＤＡＳＨストリームファイルサーバ３１で生成されるＤＡＳＨ仕様のストリームセグメント（ＤＡＳＨセグメント）およびＤＡＳＨ ＭＰＤサーバ３２で生成されるＭＰＤファイルを、放送波に載せて送信する。
【００３９】
図２は、ＭＰＤファイルに階層的に配置されている各構造体の関係の一例を示している。図２（ａ）に示すように、ＭＰＤファイル全体としてのメディア・プレゼンテーション（Media Presentation）には、時間間隔で区切られた複数のピリオド（Period）が存在する。例えば、最初のピリオドはスタートが０秒から、次のピリオドはスタートが１００秒から、などとなっている。
【００４０】
図２（ｂ）に示すように、ピリオドには、複数のアダプテーションセット(AdaptationSet)が存在する。各アダプテーションセットはビデオやオーディオ等のメディアタイプの違いや、同じメディアタイプでも言語の違い、視点の違い等に依存する。図２（ｃ）に示すように、アダプテーションセットには複数のリプレゼンテーション(Representation)が存在する。各リプレゼンテーションはストリーム属性、例えばレートの違い等に依存する。
【００４１】
図２（ｄ）に示すように、リプレゼンテーションには、セグメントインフォ（SegmentInfo）が含まれている。このセグメントインフォには、図２（e）に示すように、イニシャライゼーション・セグメント（Initialization Segment）と、ピリオドをさらに細かく区切ったセグメント（Segment）毎の情報が記述される複数のメディア・セグメント（Media Segment）が存在する。メディアセグメントには、ビデオやオーディオなどのセグメントデータを実際に取得するためのアドレス(url)の情報等が存在する。
【００４２】
なお、アダプテーションセットに含まれる複数のリプレゼンテーションの間では、ストリームのスイッチングを自由に行うことができる。これにより、受信側のネットワーク環境の状態に応じて、最適なレートのストリームを選択でき、途切れのないビデオ配信が可能となる。
【００４３】
［送受信システムの構成例］
図３は、実施の形態としての送受信システム１０の構成例を示している。この送受信システム１０は、サービス送信システム１００とサービス受信機２００により構成されている。この送受信システム１０において、サービス送信システム１００は、上述の図１（ａ）に示すストリーム配信システム３０ＡのＤＡＳＨストリームファイルサーバ３１およびＤＡＳＨ ＭＰＤサーバ３２に対応する。また、この送受信システム１０において、サービス送信システム１００は、上述の図１（ｂ）に示すストリーム配信システム３０ＢのＤＡＳＨストリームファイルサーバ３１、ＤＡＳＨ ＭＰＤサーバ３２および放送送出システム３６に対応する。
【００４４】
また、この送受信システム１０において、サービス受信機２００は、上述の図１（ａ）に示すストリーム配信システム３０Ａのサービス受信機３３（３３-1，３３-2，・・・，３３-N）に対応する。また、この送受信システム１０において、サービス受信機２００は、上述の図１（ｂ）に示すストリーム配信システム３０Ｂのサービス受信機３５（３５-1，３５-2，・・・，３５-M）に対応する。
【００４５】
サービス送信システム１００は、ＤＡＳＨ/ＭＰ４、つまりメタファイルとしてのＭＰＤファイルと、ビデオやオーディオなどのメディアストリーム（メディアセグメント）が含まれるＭＰ４を、通信ネットワーク伝送路（図１（ａ）参照）またはＲＦ伝送路（図１（ｂ）参照）を通じて、送信する。
【００４６】
この実施の形態において、メディアストリームは、ハイフレームレート（ＨＦＲ：High Frame Rate）で超高解像度（ＵＨＤ：Ultra High Definition）の画像データ（動画像データ）が処理されて得られた、基本ビデオストリームと、２つまたは１つの拡張ビデオストリームである。ハイフレームレートで超高解像度の画像データは、例えば、１２０ｆｐｓで４Ｋ/８Ｋの画像データである。
【００４７】
基本ビデオストリームは、基本フレームレート（ノーマルフレームレート）で高解像度の画像を得るための基本フォーマットの画像データの符号化画像データを持っている。２つまたは１つの拡張ビデオストリームは、基本フレームレートで超高解像度の画像を得るための第１の拡張フォーマットの画像データの符号化画像データおよびハイフレームレートで超高解像度の画像を得るための第２の拡張フォーマットの画像データの符号化画像データを持っている。
【００４８】
ここで、第２の拡張フォーマットの画像データは、ハイフレームレートで超高解像度の画像データにおいて時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施して得られたものである。基本フォーマットの画像データは、上記時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して得られた基本フレームレートで超高解像度の第１の画像データにダウンスケール処理を施して得られたものである。第１の拡張フォーマットの画像データは、基本フォーマットの画像データにアップスケール処理を施して得られた基本フレームレートで超高解像度の第２の画像データと第１の画像データとの間の差分をとって得られたものである。
【００４９】
ここで、ハイフレームレートの画像データは、図４（ａ）に示すように、オリジナル画像シーケンス（高速シャッタ画像シーケンス）であるとする。図において、“Ａ” ，“Ｂ”は、それぞれ、時間的に連続する２個のピクチャ単位で１番目のピクチャの画像データ、２番目のピクチャの画像データを示している。このオリジナル画像シーケンスのシャッタ開口率は１（１００％）である。図示しないが、このハイフレームレートの画像データから単に抽出される“Ａ”あるいは“Ｂ”の画像シーケンスのシャッタ開口率は１/２（５０％）である。
【００５０】
これに対して、図４（ｂ）〜（ｄ）に示すように、時間的に連続する２個のピクチャ単位で混合処理を施して得られた混合画像シーケンスのシャッタ開口率は、１/２（５０％）から１（１００％）までの間となる。図において、“Ｃ”は、２個のピクチャ単位で第１の比率で混合処理をして得られる基本フレームレートの画像データを示し、“Ｄ”は、２個のピクチャ単位で第２の比率で混合処理をして得られるハイフレームレートの拡張フレームの画像データを示している。ここでは、“Ｃ”の混合画像シーケンスに着目している。
【００５１】
例えば、図４（ｂ）に示すように、１番目のピクチャの係数αが１で、２番目のピクチャの係数βが０であるとき、混合画像シーケンスのシャッタ開口率は１/２（５０％）である。また、例えば、図４（ｃ）に示すように、１番目のピクチャの係数αが３/４で、２番目のピクチャの係数βが１/４であるとき、混合画像シーケンスのシャッタ開口率は３/４（７５％）である。また、例えば、図４（ｄ）に示すように、１番目のピクチャの係数αが１/２で、２番目のピクチャの係数βが１/２であるとき、混合画像シーケンスのシャッタ開口率は１（１００％）である。
【００５２】
第１の拡張フォーマットの画像データの符号化画像データとこの符号化画像データに対応したコンテナ位置の一方または両方に、この実施の形態では両方に、空間スケーラブルであることを示す識別情報、さらには、空間スケーラブルの比率を示す情報が挿入される。この実施の形態において、これらの情報を持つＳＥＩ  ＮＡＬユニットが第１の拡張フォーマットの画像データの符号化画像データ（アクセスユニット）に挿入され、また、これらの情報を持つデスクリプタがＭＰ４の第１の拡張フォーマットの画像データに対応した“ｍｏｏｆ”のボックスに挿入される。受信側では、これらの情報により、第１の拡張フォーマットの画像データが空間スケーラブルに係る画像データであること、さらに、その空間スケーラブルの比率を容易に認識可能となる。
【００５３】
第２の拡張フォーマットの画像データの符号化画像データとこの符号化画像データに対応したコンテナ位置の一方または両方に、この実施の形態では両方に、時間スケーラブルであることを示す識別情報、基本フォーマットの画像データが混合処理を施して得られた画像データであることを示す識別情報、さらには、混合比率（第１、第２の比率）の情報が挿入される。
【００５４】
この実施の形態において、これらの情報を持つＳＥＩ  ＮＡＬユニットが第２の拡張フォーマットの画像データの符号化画像データ（アクセスユニット）に挿入され、また、これらの情報を持つデスクリプタがＭＰ４の第２の拡張フォーマットの画像データに対応した“ｍｏｏｆ”のボックスに挿入される。受信側では、これらの情報により、第２の拡張フォーマットの画像データが時間スケーラブルに係る画像データであること、基本フォーマットの画像データが混合処理を施して得られた画像データであること、さらに、混合比率（第１、第２の比率）を容易に認識可能となる。
【００５５】
また、この実施の形態において、ＭＰＤファイルに、スケーラビリティの対応を示す情報が挿入される。すなわち、基本フォーマットの画像データの上に第１の拡張フォーマットの画像データを用いた拡張により基本フレームレートで超高解像度の画像データが得られることが示される。また、基本フォーマットの画像データの上に、第１、第２の拡張フォーマットの画像データを用いた拡張によりハイフレームレートで超高解像度の画像データが得られることが示される。受信側では、この情報により、スケーラビリティの対応を容易に認識でき、必要なストリームあるいは符号化画像データのみを取得して効率よく処理することが可能となる。
【００５６】
サービス受信機２００は、サービス送信システム１００から通信ネットワーク伝送路（図１（ａ）参照）またはＲＦ伝送路（図１（ｂ）参照）を通じて送られてくる上述のＭＰ４を受信する。サービス受信機２００は、基本フレームレートで高解像度の画像データを処理可能なデコード能力がある受信機の場合、基本ビデオストリームのみを処理して、基本フレームレートで高解像度の画像データを得て、画像再生を行う。
【００５７】
また、サービス受信機２００は、基本フレームレートで超高解像度の画像データを処理可能なデコード能力がある受信機の場合、基本ビデオストリームおよび拡張ストリームの双方を処理して、基本フレームレートで超高解像度の画像データを得て、画像再生を行う。さらに、サービス受信機２００は、ハイフレームレートで超高解像度の画像データを処理可能なデコード能力がある受信機の場合、基本ビデオストリームおよび拡張ストリームの双方を処理して、ハイフレームレートで超高解像度の画像データを得て、画像再生を行う。
【００５８】
サービス受信機２００は、第１の拡張フォーマットの画像データを用いた空間スケーラブルの処理を行う場合、第１の拡張フォーマットの画像データの符号化画像データやこの符号化画像データに対応したコンテナ位置に挿入されている空間スケーラブルの比率を示す情報を用いる。これにより、サービス受信機２００は、空間スケーラブルの処理を適切に行うことが可能となる。
【００５９】
また、サービス受信機２００は、第２の拡張フォーマットの画像データを用いた時間スケーラブルの処理を行う場合、第２の拡張フォーマットの画像データの符号化画像データやこの符号化画像データに対応したコンテナ位置に挿入されている混合比率（第１、第２の比率）の情報を用いる。これにより、サービス受信機２００は、時間スケーラブルの処理を適切に行うことが可能となる。
【００６０】
図５は、サービス送信システム１００およびサービス受信機２００の処理の概要を示している。サービス送信システム１００には、ハイフレームレート（ＨＦＲ）で超高解像度（ＵＨＤ）の画像データ「HFR/UHD video」が入力される。このサービス送信システム１００では、エンコーダ１００で画像データ「HFR/UHD video」が処理されて、基本ビデオストリームＳＴｂと、２つの拡張ビデオストリームＳＴｅ１，ＳＴｅ２、あるいは基本ビデオストリームＳＴｂと、１つの拡張ビデオストリームＳＴｅが得られ、送信される。
【００６１】
ここで、基本ビデオストリームＳＴｂは、基本フレームレート（ＬＦＲ）で高解像度（ＨＤ）の画像を得るための基本フォーマットの画像データの符号化画像データを持っている。拡張ビデオストリームＳＴｅ１は、基本フレームレート（ＬＦＲ）で超高解像度（ＵＨＤ）の画像を得るための第１の拡張フォーマットの画像データの符号化画像データを持っている。拡張ビデオストリームＳＴｅ２は、ハイフレームレート（ＨＦＲ）で超高解像度（ＵＨＤ）の画像を得るための第２の拡張フォーマットの画像データの符号化画像データを持っている。拡張ビデオストリームＳＴｅは、第１の拡張フォーマットの画像データの符号化画像データおよび第２の拡張フォーマットの画像データの符号化画像データを持っている。
【００６２】
ハイフレームレートで超高解像度の画像データを処理可能なデコード能力があるサービス受信機２００Ａでは、デコーダ２０３Ａにおいて、基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅ１，ＳＴｅ２、あるいは基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅが処理されて、ハイフレームレートで超高解像度の画像データ「HFR/UHD video」が得られて、画像再生される。
【００６３】
また、基本フレームレートで超高解像度の画像データを処理可能なデコード能力があるサービス受信機２００Ｂでは、デコーダ２０３Ｂにおいて、基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅ１、あるいは基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅが処理されて、基本フレームレートで超高解像度の画像データ「LFR/UHD video」が得られて、画像再生される。また、基本フレームレートで高解像度の画像データを処理可能なデコード能力があるサービス受信機２００Ｃでは、デコーダ２０３Ｃにおいて、基本ビデオストリームＳＴｂが処理されて、基本フレームレートで高解像度の画像データ「LFR/HD video」が得られて、画像再生される。
【００６４】
図６は、基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅ１，ＳＴｅ２の３ストリーム構成の伝送の場合におけるストリーム構成例を示している。図示の例では、ハイフレームレートが１２０Hzである場合を示している。横軸は表示順（ＰＯＣ：picture order of composition）を示し、左側は表示時刻が前で、右側は表示時刻が後になる。矩形枠のそれぞれがピクチャを示し、矢印は、予測符号化処理におけるピクチャの参照関係の一例を示している。レイヤ間、レイヤ内の双方とも予測はブロックごとに対象ピクチャが変わり、また、予測の向き、参照数は図示の例に限定されるわけではない。
【００６５】
最下段に、レイヤリングＩＤ（layering_id）が“０”である基本ビデオストリームＳＴｂに含まれる基本フォーマットの画像データ「HD 60Hz Base」のシーケンスが存在している。この画像データ「HD 60Hz Base」のレイヤＩＤ（Layer_id）は“０”である。
【００６６】
その上段に、レイヤリングＩＤ（layering_id）が“１”である拡張ビデオストリームＳＴｅ１に含まれる第１の拡張フォーマットの画像データ「UHD 60Hz Enhanced」のシーケンスが存在している。この「UHD 60Hz Enhanced」は、画像データ「HD 60Hz Base」に対しての空間方向のスケーラビリティである。この画像データ「UHD 60Hz Enhanced」のレイヤＩＤ（Layer_id）は“１”である。
【００６７】
その上段に、レイヤリングＩＤ（layering_id）が“２”である拡張ビデオストリームＳＴｅ２に含まれる第２の拡張フォーマットの画像データ「UHD HFR Enhanced」のシーケンスが存在している。この「UHD HFR Enhanced」は、画像データ「UHD 60Hz Enhanced」に対しての時間方向のスケーラビリティである。この画像データ「UHD HFR Enhanced」のレイヤＩＤ（Layer_id）は“２”である。
【００６８】
基本フォーマットの画像データ「HD 60Hz Base」に基づいて、基本フレームレートで高解像度（ＨＤ）の画像（６０Ｈｚ  ＨＤ画像）の再生が可能である。また、基本フォーマットの画像データ「HD 60Hz Base」および第１の拡張フォーマットの画像データ「UHD 60Hz Enhanced」に基づいて、基本フレームレートで超高解像度（ＵＨＤ）の画像（６０Ｈｚ  ＵＨＤ画像）の再生が可能である。また、基本フォーマットの画像データ「HD 60Hz Base」、第１の拡張フォーマットの画像データ「UHD 60Hz Enhanced」および第２の拡張フォーマットの画像データ「UHD HFR Enhanced」に基づいて、ハイフレームレートで超高解像度（ＵＨＤ）の画像（１２０Ｈｚ  ＵＨＤ画像）の再生が可能である。
【００６９】
図７は、３ストリーム構成の伝送の場合におけるＤＡＳＨ/ＭＰ４のトラック構成を示している。この場合、基本ビデオストリームＳＴｂ（HD Base stream）に対応したトラックＢ（Track B）と、拡張ビデオストリーム（UHD E1 stream）に対応したトラックＥ１（Track E1）と、拡張ビデオストリーム（UHD E2 stream）に対応したトラックＥ２（Track E2）が存在する。
【００７０】
矩形枠のそれぞれがピクチャを示し、矢印は、スケーラビリティの対応を示している。すなわち、トラックＢに含まれる基本フォーマットの画像データの上にトラックＥ１に含まれる第１の拡張フォーマットの画像データを用いた空間スケーラブルの拡張により、基本フレームレートで超高解像度（ＵＨＤ）の画像、つまり６０Ｈｚ  ＵＨＤ画像の画像データが得られる。また、トラックＢに含まれる基本フォーマットの画像データの上に、トラックＥ１に含まれる第１の拡張フォーマットの画像データとトラックＥ２に含まれる第２の拡張フォーマットの画像データを用いた空間スケーラブル、時間スケーラブルの拡張により、ハイフレームレートで超高解像度（ＵＨＤ）の画像、つまり１２０Ｈｚ  ＵＨＤ画像の画像データが得られる。
【００７１】
図８は、トラックＢ、トラックＥ１、トラックＥ２の各トラックのデータを含むＭＰ４ストリーム（ファイル）の構成例を示している。図示の例は、フラグメンテッドＭＰ４（Fragmented MP4）の場合の例である。ＭＰ４ストリームには、制御情報が入る“ｍｏｏｆ”ボックスとメディアデータ本体が入る“ｍｄａｔ”ボックスから構成されるムービーフラグメント（Movie Fragment）が所定個数配置される。“ｍｄａｔ”ボックスには、トラックデータが断片化されて得られた断片が入るので、“ｍｏｏｆ”ボックスに入る制御情報はその断片に関する制御情報となる。なお、詳細説明は省略するが、トラック間に跨る予測参照関係は、エクストラクタ（extractor）というＮＡＬタイプ（NAL type）のパケットをアクセスユニットごとにトラックに配置することで定義される。
【００７２】
トラックＢに対応したＭＰ４ストリーム「video-basesubbitstream」において、各ムービーフラグメントの“ｍｄａｔ”ボックスには、基本フォーマットの画像データの符号化画像データ（アクセスユニット）が所定ピクチャ数分、例えば１ＧＯＰ分だけ配置される。ここで、各アクセスユニットは、「ＶＰＳ」、「ＳＰＳ」、「ＰＰＳ」、「ＰＳＥＩ」、「ＳＬＩＣＥ」、「ＳＳＥＩ」などのＮＡＬユニットにより構成される。なお、「ＶＰＳ」、「ＳＰＳ」は、例えば、ＧＯＰの先頭ピクチャに挿入される。
【００７３】
図９（ｂ）は、ＳＰＳ（ＶＰＳ）の要素の一例を示している。この例は、基本ビデオストリームＳＴｂ（HD Base stream）、拡張ビデオストリーム（UHD E1 stream）および拡張ビデオストリーム（UHD E2 stream）が、図９（ａ）に示すような構成とされている場合の例である。「general_level_idc」の値は“１５６”とされ、拡張ビデオストリームＳＴｅ２、拡張ビデオストリームＳＴｅ１、基本ビデオストリームＳＴｂのストリーム全体のレベル（スケーラブルの符号化の画素レートの複雑差）が“ｌｅｖｅｌ ５．２”であることが示される。また、「general_profile_idc」の値は“７”とされ、このストリーム全体のプロファイル（スケーラブルの符号化のタイプ）が“Scalable Main 10 Profile”であることが示される。
【００７４】
また、「sublayer_level_present_flag[j-1]」は“１”とされ、「sublayer_level_idc[j-1]」の値は“１５３”とされ、「sublayer_profile_idc[j-1]」は“７”とされる。これにより、拡張ビデオストリームＳＴｅ１、基本ビデオストリームＳＴｂのストリーム全体のレベルが“ｌｅｖｅｌ ５．１”であることが示され、そのプロファイルが“Scalable Main 10 Profile”であることが示される。
【００７５】
また、「sublayer_level_present_flag[j-2]」は“１”とされ、「sublayer_level_idc[j-2]」の値は“１２３”とされ、「sublayer_profile_idc[j-1]」は“２”とされる。これにより、基本ビデオストリームＳＴｂのレベルが“ｌｅｖｅｌ ４．１”であることが示され、そのプロファイルが“Main 10 Profile”であることが示される。
【００７６】
図８に戻って、トラックＢに対応したＭＰ４ストリーム「video-basesubbitstream」において、各ムービーフラグメントの“ｍｏｏｆ”ボックス内に“ｔｒａｆ”ボックスが存在し、そのボックス内に“ｔｆｄｔ”ボックスが存在する。この“ｔｆｄｔ”ボックスに、“ｍｏｏｆ”ボックスの後の最初のアクセスユニットのデコードタイム“baseMediaDecodeTime”の記載がある。
【００７７】
また、“ｍｏｏｆ”ボックス内に“ｔｆｄｔ”ボックスが存在し、その内に“ｓｇｐｄ”ボックスが存在し、さらに、その内に“ｔｓｃｌ”ボックスが存在する。この“ｔｓｃｌ”ボックスに、「temporalLayerId」、「tllevel_idc」、「Tlprofile」、「tlConstantFrameRate」の４つのパラメータの記載がある。「temporalLayerId」は、テンポラルＩＤ（temporal_id）を示す。「tlConstantFrameRate」は“１”とされることで、フレームレートがコンスタントであることを示す。
【００７８】
「tllevel_idc」は、基本ビデオストリームＳＴｂのレベルを示し、上述のＳＰＳ（ＶＰＳ）の要素の「sublayer_level_idc[j-2]」と一致させる。ここでは、「tllevel_idc」は“１２３”とされる。「Tlprofile」は、基本ビデオストリームＳＴｂのプロファイルを示し、上述のＳＰＳ（ＶＰＳ）の要素の「sublayer_profile_idc[j-2]」と一致させる。ここでは、「Tlprofile」は“２”とされる。
【００７９】
トラックＥ１に対応したＭＰ４ストリーム「video-e1subbitstream」において、各ムービーフラグメントの“ｍｄａｔ”ボックスには、第１の拡張フォーマットの画像データの符号化画像データ（アクセスユニット）が所定ピクチャ数分、例えば１ＧＯＰ分だけ配置される。ここで、各アクセスユニットは、「ＰＰＳ」、「ＰＳＥＩ」、「ＳＬＩＣＥ」、「ＳＳＥＩ」などのＮＡＬユニットにより構成される。
【００８０】
トラックＥ１に対応したＭＰ４ストリーム「video-basesubbitstream」において、各ムービーフラグメントの“ｍｏｏｆ”ボックス内に“ｔｒａｆ”ボックスが存在し、そのボックス内に“ｔｆｄｔ”ボックスが存在する。この“ｔｆｄｔ”ボックスに、“ｍｏｏｆ”ボックスの後の最初のアクセスユニットのデコードタイム“baseMediaDecodeTime”の記載がある。
【００８１】
また、“ｍｏｏｆ”ボックス内に“ｔｆｄｔ”ボックスが存在し、その内に“ｓｇｐｄ”ボックスが存在し、さらに、その内に“ｔｓｃｌ”ボックスが存在する。この“ｔｓｃｌ”ボックスに、「temporalLayerId」、「tllevel_idc」、「Tlprofile」、「tlConstantFrameRate」の４つのパラメータの記載がある。「temporalLayerId」は、テンポラルＩＤ（temporal_id）を示す。「tlConstantFrameRate」は“１”とされることで、フレームレートがコンスタントであることを示す。
【００８２】
「tllevel_idc」は、拡張ビデオストリームＳＴｅ１、基本ビデオストリームＳＴｂのストリーム全体のレベルを示し、上述のＳＰＳ（ＶＰＳ）の要素の「sublayer_level_idc[j-1]」と一致させる。ここでは、「tllevel_idc」は“１５３”とされる。「Tlprofile」は、拡張ビデオストリームＳＴｅ１、基本ビデオストリームＳＴｂのストリーム全体のプロファイルを示し、上述のＳＰＳ（ＶＰＳ）の要素の「sublayer_profile_idc[j-1]」と一致させる。ここでは、「Tlprofile」は“７”とされる。
【００８３】
トラックＥ２に対応したＭＰ４ストリーム「video-e1subbitstream」において、各ムービーフラグメントの“ｍｄａｔ”ボックスには、第２の拡張フォーマットの画像データの符号化画像データ（アクセスユニット）が所定ピクチャ数分、例えば１ＧＯＰ分だけ配置される。ここで、各アクセスユニットは、「ＰＰＳ」、「ＰＳＥＩ」、「ＳＬＩＣＥ」、「ＳＳＥＩ」などのＮＡＬユニットにより構成される。
【００８４】
トラックＥ２に対応したＭＰ４ストリーム「video-basesubbitstream」において、各ムービーフラグメントの“ｍｏｏｆ”ボックス内に“ｔｒａｆ”ボックスが存在し、そのボックス内に“ｔｆｄｔ”ボックスが存在する。この“ｔｆｄｔ”ボックスに、“ｍｏｏｆ”ボックスの後の最初のアクセスユニットのデコードタイム“baseMediaDecodeTime”の記載がある。
【００８５】
また、“ｍｏｏｆ”ボックス内に“ｔｆｄｔ”ボックスが存在し、その内に“ｓｇｐｄ”ボックスが存在し、さらに、その内に“ｔｓｃｌ”ボックスが存在する。この“ｔｓｃｌ”ボックスに、「temporalLayerId」、「tllevel_idc」、「Tlprofile」、「tlConstantFrameRate」の４つのパラメータの記載がある。「temporalLayerId」は、テンポラルＩＤ（temporal_id）を示す。「tlConstantFrameRate」は“１”とされることで、フレームレートがコンスタントであることを示す。
【００８６】
「tllevel_idc」は、拡張ビデオストリームＳＴｅ２、拡張ビデオストリームＳＴｅ１、基本ビデオストリームＳＴｂのストリーム全体のレベルを示し、上述のＳＰＳ（ＶＰＳ）の要素の「general_level_idc」と一致させる。ここでは、「tllevel_idc」は“１５６”とされる。「Tlprofile」は、拡張ビデオストリームＳＴｅ２、拡張ビデオストリームＳＴｅ１、基本ビデオストリームＳＴｂのストリーム全体のプロファイルを示し、上述のＳＰＳ（ＶＰＳ）の要素の「general_profile_idc」と一致させる。ここでは、「Tlprofile」は“７”とされる。
【００８７】
トラックＥ１に対応したＭＰ４ストリーム「video-e1subbitstream」において、各ムービーフラグメントの“ｍｄａｔ”ボックスには、上述したように第１の拡張フォーマットの画像データのアクセスユニットが所定ピクチャ数分だけ配置される。各アクセスユニットに、空間スケーラブルであることを示す識別情報、さらには、空間スケーラブルの比率を示す情報を持つＳＥＩ  ＮＡＬユニットが挿入される。この実施の形態においては、アクセスユニット（ＡＵ）の“ＳＥＩｓ”の部分に、新規定義する、ビデオ・スケーラビリティ・ＳＥＩ（video_scalability_SEI）が挿入される。
【００８８】
また、トラックＥ２に対応したＭＰ４ストリーム「video-e1subbitstream」において、各ムービーフラグメントの“ｍｄａｔ”ボックスには、上述したように第２の拡張フォーマットの画像データのアクセスユニットが所定ピクチャ数分だけ配置される。各アクセスユニットに、時間スケーラブルであることを示す識別情報、基本フォーマットの画像データが混合処理を施して得られた画像データであることを示す識別情報、さらには、混合比率（第１、第２の比率）の情報を持つＳＥＩ  ＮＡＬユニットが挿入される。この実施の形態においては、アクセスユニット（ＡＵ）の“ＳＥＩｓ”の部分に、新規定義する、ビデオ・スケーラビリティ・ＳＥＩ（video_scalability_SEI）が挿入される。
【００８９】
図１０は、ビデオ・スケーラビリティ・ＳＥＩの構造例(Syntax)を示し、図１１は、その構造例における主要な情報の内容（Semantics）を示している。「temporal_scalable_flag」の１ビットフィールドは、時間スケーラブルのストリームであるかを示す。例えば、“１”は時間スケーラブルであることを示し、“０”は時間スケーラブルでないことを示す。
【００９０】
第１の拡張フォーマットの画像データのアクセスユニットに挿入されるビデオ・スケーラビリティ・ＳＥＩにあっては、「temporal_scalable_flag」は“０”に設定され、時間スケーラブルのストリームでないことが示される。一方、第２の拡張フォーマットの画像データのアクセスユニットに挿入されるビデオ・スケーラビリティ・ＳＥＩにあっては、「temporal_scalable_flag」は“１”に設定され、時間スケーラブルのストリームであることが示される。
【００９１】
「spatial_scalable_flag」の１ビットフィールドは、空間スケーラブルのストリームであるかを示す。例えば、“１”は空間スケーラブルであることを示し、“０”は空間スケーラブルでないことを示す。第１の拡張フォーマットの画像データのアクセスユニットに挿入されるビデオ・スケーラビリティ・ＳＥＩにあっては、「spatial_scalable_flag」は“１”に設定され、空間スケーラブルのストリームであることが示される。一方、第２の拡張フォーマットの画像データのアクセスユニットに挿入されるビデオ・スケーラビリティ・ＳＥＩにあっては、「spatial_scalable_flag」は“０”に設定され、空間スケーラブルのストリームでないことが示される。
【００９２】
「spatial_scalable_flag」が“１”であるとき、「scaling_ratio」の３ビットフィールドが存在する。このフィールドは、空間スケーラブルの比率、つまり基本と拡張の１次元方向の拡大比率を示す。例えば、“００１”は２倍を示し、“０１０”は３倍を示し、“０１１”は４倍を示す。例えば、超高解像度（ＵＨＤ）が４Ｋ解像度であるとき、「scaling_ratio」は“００１”に設定され、超高解像度（ＵＨＤ）が８Ｋ解像度であるとき、「scaling_ratio」は“０１１”に設定さる。
【００９３】
「temporal_scalable_flag」が“１”であるとき、「picture_blending_flag」の１ビットフィールドが存在する。このフィールドは、基本ストリーム（基本フォーマットの画像データ）にピクチャの混合処理がなされているかを示す。例えば、“１”は混合処理がなされていることを示し、“０”は混合処理がなされていないことを示す。
【００９４】
「picture_blending_flag」が“１”であるとき、混合比率（第１、第２の比率）を示すフィールド、すなわち、「blend_coef_alpha_alternatte_picture」、「blend_coef_beta_alternate_picture」、「blend_coef_alpha_current_picture」、「blend_coef_beta_current_picture」の各３ビットフィールドが存在する。「blend_coef_alpha_alternatte_picture」のフィールドは、基本レイヤのピクチャに乗ずる係数（後述の係数ｐに対応）である。「blend_coef_beta_alternate_picture」のフィールドは、現在のピクチャ（拡張ストリーム中）に乗ずる係数（後述の係数ｒに対応）である。「blend_coef_alpha_current_picture」のフィールドは、拡張レイヤのピクチャに乗ずる係数（後述の係数ｑに対応）である。「blend_coef_beta_current_picture」のフィールドは、現在のピクチャ（拡張ストリーム中）に乗ずる係数（後述の係数ｓに対応）である。
【００９５】
図８に戻って、トラックＥ１に対応したＭＰ４ストリーム「video-e1subbitstream」において、各ムービーフラグメントの“ｍｏｏｆ”ボックスに、空間スケーラブルであることを示す識別情報、さらには、空間スケーラブルの比率を示す情報が挿入される。この実施の形態においては、“ｍｏｏｆ”ボックスの下に、“ｕｄｔａ”あるいは“ｌａｙｓ”のボックスが設けられ、新規定義する、ビデオ・スケーラビリティ・インフォメーション・デスクリプタ（video_scalability_information_descriptor）のシンタクス（Syntax）が伝送される。
【００９６】
また、トラックＥ２に対応したＭＰ４ストリーム「video-e1subbitstream」において、各ムービーフラグメントの“ｍｏｏｆ”ボックスに、時間スケーラブルであることを示す識別情報、基本フォーマットの画像データが混合処理を施して得られた画像データであることを示す識別情報、さらには、混合比率（第１、第２の比率）の情報が挿入される。この実施の形態においては、“ｍｏｏｆ”ボックスの下に、“ｕｄｔａ”あるいは“ｌａｙｓ”のボックスが設けられ、新規定義する、ビデオ・スケーラビリティ・インフォメーション・デスクリプタ（video_scalability_ information_descriptor）のシンタクス（Syntax）が伝送される。
【００９７】
図１２は、ビデオ・スケーラビリティ・インフォメーション・デスクリプタの構造例(Syntax)を示している。なお、この構造例における主要な情報の内容（Semantics）は、上述したビデオ・スケーラビリティ・ＳＥＩと同様であるので、その説明は省略する。
【００９８】
図１３は、３ストリーム構成の伝送の場合（図６参照）におけるＭＰＤファイルの記述例を示している。このＭＰＤファイルには、基本ビデオストリームＳＴｂ（HD Base stream）、拡張ビデオストリームＳＴｅ１（UHD E1 stream）および拡張ビデオストリームＳＴｅ２（UHD E2 stream）にそれぞれ対応したリプレゼンテーション（Representation）が存在する。
【００９９】
基本ビデオストリームＳＴｂ（HD Base stream）に関連したリプレゼンテーションにおいて、「framerate = “60”」、「codecs = "hev1.A.L123,xx"」、「id = “tag0」の記述が存在する。「framerate=“60”& L123 with no dependencyid」は、２Ｋ ６０Ｐの基本ストリームを示し、「“A”」は「Main 10 Profile」を示す、２の値であることを示す。レベルおよびプロファイルの情報は、上述のＳＰＳ（ＶＰＳ）の要素の「sublayer_level_idc[j-2]」、「sublayer_profile_idc[j-2]」と一致している。因みに、「sublayer_profile_idc[j-2]」＝「Main 10 Profile」であり、「sublayer_level_idc[j-2]」＝“level 4.1”＝“123”である。また、「<BaseURL>video-basesubbitstream.mp4</BaseURL>」の記述により、基本ビデオストリームＳＴｂ（HD Base stream）のロケーション先が、「video-basesubbitstream.mp4」として示されている。
【０１００】
拡張ビデオストリームＳＴｅ１（UHD E1 stream）に関連したリプレゼンテーションにおいて、「framerate=“60”」、「codecs="hev1.B.L153,xx"」、「id = “tag1」、「dependencyid = “tag0”」の記述が存在する。「Framerate=“60” & L153 with dependencyid  tagged tag0」は、基本ストリームの上に拡張により４Ｋ ６０Ｐのストリームを実現することを示し、「“B”」は「Scalable Main 10 Profile」を示す、７の値であることを示す。レベルおよびプロファイルの情報は、上述のＳＰＳ（ＶＰＳ）の要素の「sublayer_level_idc[j-1]」、「sublayer_profile_idc[j-1]」と一致している。因みに、「sublayer_profile_idc[j-1]」＝「Scalable Main 10 Profile」であり、「sublayer_level_idc[j-1]」＝“level 5.1”＝“153”である。また、「<BaseURL>video-e1subbitstream.mp4</BaseURL>」の記述により、拡張ビデオストリームＳＴｅ１（UHD E1 stream）のロケーション先が、「video-e1subbitstream.mp4」として示されている。
【０１０１】
拡張ビデオストリームＳＴｅ2（UHD E2 stream）に関連したリプレゼンテーションにおいて、「framerate=“120”」、「codecs="hev1.C.L156,xx"」、「id = “tag2」、「dependencyid = “tag0,tag1”」の記述が存在する。「framerate=“120” & L156 with dependencyid  tagged tag0, tag1」は、基本ストリームの上に４Ｋ ６０Ｐで拡張し、さらにその上に拡張成分を加えて４Ｋ １２０Ｐのストリームを実現することを示し、「“C”」は「Scalable Main 10 Profile」を示す、７の値であることを示す。レベルおよびプロファイルの情報は、上述のＳＰＳ（ＶＰＳ）の要素の「general_level_idc」、「general_profile_idc」と一致している。因みに、「general_level_idc」＝「Scalable Main 10 Profile」であり、「general_level_idc」＝“level 5.2”＝“156”である。また、「<BaseURL>video-e2subset.mp4</BaseURL>」の記述により、拡張ビデオストリームＳＴｅ２（UHD E2 stream）のロケーション先が、「video-e2subset.mp4」として示されている。
【０１０２】
このようにＭＰＤファイルには、スケーラビリティの対応を示す情報が挿入されており、空間スケーラビリティ、そして時間スケーラビリティを同時に実現することが示されている。
【０１０３】
図１４は、基本ビデオストリームＳＴｂと拡張ストリームＳＴｅの２ストリーム構成の伝送の場合におけるストリーム構成例を示している。図示の例では、ハイフレームレートが１２０Hzである場合を示している。横軸は表示順（ＰＯＣ：picture order of composition）を示し、左側は表示時刻が前で、右側は表示時刻が後になる。矩形枠のそれぞれがピクチャを示し、矢印は、予測符号化処理におけるピクチャの参照関係の一例を示している。レイヤ間、レイヤ内の双方とも予測はブロックごとに対象ピクチャが変わり、また、予測の向き、参照数は図示の例に限定されるわけではない。
【０１０４】
最下段に、レイヤリングＩＤ（layering_id）が“０”である基本ビデオストリームＳＴｂに含まれる基本フォーマットの画像データ「HD 60Hz Base」のシーケンスが存在している。この画像データ「HD 60Hz Base」のレイヤＩＤ（Layer_id）は“０”である。
【０１０５】
その上段に、レイヤリングＩＤ（layering_id）が“１”である拡張ビデオストリームＳＴｅに含まれる第１の拡張フォーマットの画像データ「UHD 60Hz Enhanced」のシーケンスが存在している。この「UHD 60Hz Enhanced」は、画像データ「HD 60Hz Base」に対しての空間方向のスケーラビリティである。この画像データ「UHD 60Hz Enhanced」のレイヤＩＤ（Layer_id）は“１”である。また、この画像データ「UHD 60Hz Enhanced」のテンポラルＩＤ（Temporal_id）は、所定の閾値ＴＨ以下とされる。
【０１０６】
その上段に、レイヤリングＩＤ（layering_id）が“２”である拡張ビデオストリームＳＴｅに含まれる第２の拡張フォーマットの画像データ「UHD HFR Enhanced」のシーケンスが存在している。この「UHD HFR Enhanced」は、画像データ「UHD 60Hz Enhanced」に対しての時間方向のスケーラビリティである。この画像データ「UHD HFR Enhanced」のレイヤＩＤ（Layer_id）は“１”である。また、この画像データ「UHD HFR Enhanced」のテンポラルＩＤ（Temporal_id）は、所定の閾値ＴＨより大きくされる。
【０１０７】
上述したように、画像データ「UHD 60Hz Enhanced」のテンポラルＩＤは閾値ＴＨ以下とされ、一方、画像データ「UHD HFR Enhanced」のテンポラルＩＤは閾値ＴＨより大きくされる。これにより、テンポラルＩＤが閾値ＴＨ以下であるか否かで、画像データ「UHD 60Hz Enhanced」と画像データ「UHD HFR Enhanced」の区別をすることが可能となる。
【０１０８】
基本フォーマットの画像データ「HD 60Hz Base」に基づいて、基本フレームレートで高解像度（ＨＤ）の画像（６０Ｈｚ  ＨＤ画像）の再生が可能である。また、基本フォーマットの画像データ「HD 60Hz Base」および第１の拡張フォーマットの画像データ「UHD 60Hz Enhanced」に基づいて、基本フレームレートで超高解像度（ＵＨＤ）の画像（６０Ｈｚ  ＵＨＤ画像）の再生が可能である。また、基本フォーマットの画像データ「HD 60Hz Base」、第１の拡張フォーマットの画像データ「UHD 60Hz Enhanced」および第２の拡張フォーマットの画像データ「UHD HFR Enhanced」に基づいて、ハイフレームレートで超高解像度（ＵＨＤ）の画像（１２０Ｈｚ  ＵＨＤ画像）の再生が可能である。
【０１０９】
図１５は、２ストリーム構成の伝送の場合におけるＤＡＳＨ/ＭＰ４のトラック構成を示している。この場合、基本ビデオストリームＳＴｂ（HD Base stream）に対応したトラックＢ（Track B）と、拡張ビデオストリーム（UHD EH stream）に対応したトラックＥＨ（Track EH）が存在する。
【０１１０】
矩形枠のそれぞれがピクチャを示し、矢印は、スケーラビリティの対応を示している。すなわち、トラックＢに含まれる基本フォーマットの画像データの上にトラックＥＨに含まれる第１の拡張フォーマットの画像データを用いた空間スケーラブルの拡張により、基本フレームレートで超高解像度（ＵＨＤ）の画像、つまり６０Ｈｚ  ＵＨＤ画像の画像データが得られる。また、トラックＢに含まれる基本フォーマットの画像データの上に、トラックＥＨに含まれる第１、第２の拡張フォーマットの画像データを用いた空間スケーラブル、時間スケーラブルの拡張により、ハイフレームレートで超高解像度（ＵＨＤ）の画像、つまり１２０Ｈｚ  ＵＨＤ画像の画像データが得られる。
【０１１１】
図１６は、トラックＢ、トラックＥＨの各トラックのデータを含むＭＰ４ストリーム（ファイル）の構成例を示している。図示の例は、フラグメンテッドＭＰ４（Fragmented MP4）の場合の例である。ＭＰ４ストリームには、制御情報が入る“ｍｏｏｆ”ボックスとメディアデータ本体が入る“ｍｄａｔ”ボックスから構成されるムービーフラグメント（Movie Fragment）が所定個数配置される。“ｍｄａｔ”ボックスには、トラックデータが断片化されて得られた断片が入るので、“ｍｏｏｆ”ボックスに入る制御情報はその断片に関する制御情報となる。なお、詳細説明は省略するが、トラック間に跨る予測参照関係は、エクストラクタ（extractor）というＮＡＬタイプ（NAL type）のパケットをアクセスユニットごとにトラックに配置することで定義される。
【０１１２】
トラックＢに対応したＭＰ４ストリーム「video-basesubbitstream」において、各ムービーフラグメントの“ｍｄａｔ”ボックスには、基本フォーマットの画像データの符号化画像データ（アクセスユニット）が所定ピクチャ数分、例えば１ＧＯＰ分だけ配置される。ここで、各アクセスユニットは、「ＶＰＳ」、「ＳＰＳ」、「ＰＰＳ」、「ＰＳＥＩ」、「ＳＬＩＣＥ」、「ＳＳＥＩ」などのＮＡＬユニットにより構成される。なお、「ＶＰＳ」、「ＳＰＳ」は、例えば、ＧＯＰの先頭ピクチャに挿入される。
【０１１３】
トラックＢに対応したＭＰ４ストリーム「video-basesubbitstream」において、各ムービーフラグメントの“ｍｏｏｆ”ボックス内に“ｔｒａｆ”ボックスが存在し、そのボックス内に“ｔｆｄｔ”ボックスが存在する。この“ｔｆｄｔ”ボックスに、“ｍｏｏｆ”ボックスの後の最初のアクセスユニットのデコードタイム“baseMediaDecodeTime”の記載がある。
【０１１４】
また、“ｍｏｏｆ”ボックス内に“ｔｆｄｔ”ボックスが存在し、その内に“ｓｇｐｄ”ボックスが存在し、さらに、その内に“ｔｓｃｌ”ボックスが存在する。この“ｔｓｃｌ”ボックスに、「temporalLayerId」、「tllevel_idc」、「Tlprofile」、「tlConstantFrameRate」の４つのパラメータの記載がある。「temporalLayerId」は、テンポラルＩＤ（temporal_id）を示す。「tlConstantFrameRate」は“１”とされることで、フレームレートがコンスタントであることを示す。
【０１１５】
「tllevel_idc」は、基本ビデオストリームＳＴｂのレベルを示し、上述のＳＰＳ（ＶＰＳ）の要素の「sublayer_level_idc[j-2]」と一致させる。ここでは、「tllevel_idc」は“１２３”とされる。「Tlprofile」は、基本ビデオストリームＳＴｂのプロファイルを示し、上述のＳＰＳ（ＶＰＳ）の要素の「sublayer_profile_idc[j-2]」と一致させる。ここでは、「Tlprofile」は“２”とされる。
【０１１６】
トラックＥＨに対応したＭＰ４ストリーム「video-e1subbitstream」において、各ムービーフラグメントの“ｍｄａｔ”ボックスには、第１の拡張フォーマットの画像データの符号化画像データ（アクセスユニット）、あるいは、第２の拡張フォーマットの画像データの符号化画像データ（アクセスユニット）が所定ピクチャ数分、例えば１ＧＯＰ分だけ配置される。ここで、各アクセスユニットは、「ＰＰＳ」、「ＰＳＥＩ」、「ＳＬＩＣＥ」、「ＳＳＥＩ」などのＮＡＬユニットにより構成される。
【０１１７】
トラックＥＨに対応したＭＰ４ストリーム「video-basesubbitstream」において、各ムービーフラグメントの“ｍｏｏｆ”ボックス内に“ｔｒａｆ”ボックスが存在し、そのボックス内に“ｔｆｄｔ”ボックスが存在する。この“ｔｆｄｔ”ボックスに、“ｍｏｏｆ”ボックスの後の最初のアクセスユニットのデコードタイム“baseMediaDecodeTime”の記載がある。
【０１１８】
また、“ｍｏｏｆ”ボックス内に“ｔｆｄｔ”ボックスが存在し、その内に“ｓｇｐｄ”ボックスが存在し、さらに、その内に“ｔｓｃｌ”ボックスが存在する。この“ｔｓｃｌ”ボックスに、「temporalLayerId」、「tllevel_idc」、「Tlprofile」、「tlConstantFrameRate」の４つのパラメータの記載がある。「temporalLayerId」は、テンポラルＩＤ（temporal_id）を示す。「tlConstantFrameRate」は“１”とされることで、フレームレートがコンスタントであることを示す。
【０１１９】
第１の拡張フォーマットの画像データに対応した各ムービーフラグメントの“ｍｏｏｆ”ボックスにおいて、「tllevel_idc」は、第１の拡張ビデオストリーム（第１の拡張フォーマットの画像データのアクセスユニットで構成される）、基本ビデオストリームＳＴｂのストリーム全体のレベルを示し、ＳＰＳ（ＶＰＳ）の要素の「sublayer_level_idc[j-1]」と一致させる。ここでは、「tllevel_idc」は“１５３”とされる。「Tlprofile」は、第１の拡張ビデオストリーム、基本ビデオストリームＳＴｂのストリーム全体のプロファイルを示し、ＳＰＳ（ＶＰＳ）の要素の「sublayer_profile_idc[j-1]」と一致させる。ここでは、「Tlprofile」は“７”とされる。
【０１２０】
また、第２の拡張フォーマットの画像データに対応した各ムービーフラグメントの“ｍｏｏｆ”ボックスにおいて、「tllevel_idc」は、拡張ビデオストリームＳＴｅ、基本ビデオストリームＳＴｂのストリーム全体のレベルを示し、ＳＰＳ（ＶＰＳ）の要素の「general_level_idc」と一致させる。ここでは、「tllevel_idc」は“１５６”とされる。「Tlprofile」は、拡張ビデオストリームＳＴｅ、基本ビデオストリームＳＴｂのストリーム全体のプロファイルを示し、ＳＰＳ（ＶＰＳ）の要素の「general_profile_idc」と一致させる。ここでは、「Tlprofile」は“７”とされる。
【０１２１】
トラックＥＨに対応したＭＰ４ストリーム「video-e1subbitstream」において、各ムービーフラグメントの“ｍｄａｔ”ボックスには、上述したように第１の拡張フォーマットの画像データのアクセスユニット、あるいは第１の拡張フォーマットの画像データのアクセスユニットが所定ピクチャ数分だけ配置される。
【０１２２】
第１の拡張フォーマットの画像データの各アクセスユニットに、空間スケーラブルであることを示す識別情報、さらには、空間スケーラブルの比率を示す情報を持つＳＥＩ  ＮＡＬユニットが挿入される。また、第２の拡張フォーマットの画像データの各アクセスユニットに、時間スケーラブルであることを示す識別情報、基本フォーマットの画像データが混合処理を施して得られた画像データであることを示す識別情報、さらには、混合比率（第１、第２の比率）の情報を持つＳＥＩ  ＮＡＬユニットが挿入される。この実施の形態においては、アクセスユニット（ＡＵ）の“ＳＥＩｓ”の部分に、新規定義する、ビデオ・スケーラビリティ・ＳＥＩ（図１０参照）が挿入される。
【０１２３】
また、トラックＥＨに対応したＭＰ４ストリーム「video-e1subbitstream」において、第１の拡張フォーマットの画像データのアクセスユニットを持つ“ｍｄａｔ”に対応した“ｍｏｏｆ”ボックスに、空間スケーラブルであることを示す識別情報、さらには、空間スケーラブルの比率を示す情報が挿入される。
【０１２４】
また、トラックＥＨに対応したＭＰ４ストリーム「video-e1subbitstream」において、第２の拡張フォーマットの画像データのアクセスユニットを持つ“ｍｄａｔ”に対応した“ｍｏｏｆ”ボックスに、時間スケーラブルであることを示す識別情報、基本フォーマットの画像データが混合処理を施して得られた画像データであることを示す識別情報、さらには、混合比率（第１、第２の比率）の情報が挿入される。
【０１２５】
この実施の形態においては、“ｍｏｏｆ”ボックスの下に、“ｕｄｔａ”あるいは“ｌａｙｓ”のボックスが設けられ、新規定義する、ビデオ・スケーラビリティ・インフォメーション・デスクリプタ（図１２参照）のシンタクスが伝送される。
【０１２６】
図１７は、２ストリーム構成の伝送の場合（図１４参照）におけるＭＰＤファイルの記述例を示している。このＭＰＤファイルには、基本ビデオストリームＳＴｂ（HD Base stream）、拡張ビデオストリームＳＴｅ（UHD EH stream）にそれぞれ対応したリプレゼンテーション（Representation）が存在する。さらに、拡張ビデオストリームＳＴｅのリプレゼンテーションの中に、第１の拡張ビデオストリーム（第１の拡張フォーマットの画像データのアクセスユニットで構成される）に対応したサブリプレゼンテーション（Subrepresentation）が存在すると共に、第２の拡張ビデオストリーム（第２の拡張フォーマットの画像データのアクセスユニットで構成される）に対応したサブリプレゼンテーション（Subrepresentation）が存在する
【０１２７】
基本ビデオストリームＳＴｂ（HD Base stream）に関連したリプレゼンテーションにおいて、「framerate = “60”」、「codecs = "hev1.A.L123,xx"」、「id = “tag0」の記述が存在する。「framerate=“60”& L123 with no dependencyid」は、２Ｋ ６０Ｐの基本ストリームを示し、「“A”」は「Main 10 Profile」を示す、２の値であることを示す。レベルおよびプロファイルの情報は、上述のＳＰＳ（ＶＰＳ）の要素の「sublayer_level_idc[j-2]」、「sublayer_profile_idc[j-2]」と一致している。因みに、「sublayer_profile_idc[j-2]」＝「Main 10 Profile」であり、「sublayer_level_idc[j-2]」＝“level 4.1”＝“123”である。また、「<BaseURL>video-basesubbitstream.mp4</BaseURL>」の記述により、基本ビデオストリームＳＴｂ（HD Base stream）のロケーション先が、「video-basesubbitstream.mp4」として示されている。
【０１２８】
第１の拡張ビデオストリームに関連したリプレゼンテーションにおいて、「framerate=“60”」、「codecs="hev1.B.L153,xx"」、「id = “tag1」、「dependencyid = “tag0”」の記述が存在する。「Framerate=“60” & L153 with dependencyid  tagged tag0」は、基本ストリームの上に拡張により４Ｋ ６０Ｐのストリームを実現することを示し、「“B”」は「Scalable Main 10 Profile」を示す、７の値であることを示す。レベルおよびプロファイルの情報は、上述のＳＰＳ（ＶＰＳ）の要素の「sublayer_level_idc[j-1]」、「sublayer_profile_idc[j-1]」と一致している。因みに、「sublayer_profile_idc[j-1]」＝「Scalable Main 10 Profile」であり、「sublayer_level_idc[j-1]」＝“leve 5.1”＝“153”である。
【０１２９】
第２の拡張ビデオストリームに関連したリプレゼンテーションにおいて、「framerate=“120”」、「codecs="hev1.C.L156,xx"」、「id = “tag2」、「dependencyid = “tag0,tag1”」の記述が存在する。「framerate=“120” & L156 with dependencyid  tagged tag0, tag1」は、基本ストリームの上に４Ｋ ６０Ｐで拡張し、さらにその上に拡張成分を加えて４Ｋ １２０Ｐのストリームを実現することを示し、「“C”」は「Scalable Main 10 Profile」を示す、７の値であることを示す。レベルおよびプロファイルの情報は、上述のＳＰＳ（ＶＰＳ）の要素の「general_level_idc」、「general_profile_idc」と一致している。因みに、「general_level_idc」＝「Scalable Main 10 Profile」であり、「general_level_idc」＝“level 5.2”＝“156”である。
【０１３０】
また、拡張ビデオストリームＳＴｅ（UHD EH stream）に関連したリプレゼンテーションにおいて、「<BaseURL>video-enhancedsubstream.mp4</BaseURL>」の記述により、拡張ビデオストリームＳＴｅ（UHD EH stream）のロケーション先が、「video-enhancedsubstream.mp4」として示されている。
【０１３１】
このようにＭＰＤファイルには、スケーラビリティの対応を示す情報が挿入されており、空間スケーラビリティ、そして時間スケーラビリティを同時に実現することが示されている。
【０１３２】
「サービス送信システムの構成例」
図１８は、サービス送信システム１００の構成例を示している。このサービス送信システム１００は、制御部１０１と、ビデオエンコーダ１０２と、コンテナエンコーダ１０３と、送信部１０４を有している。
【０１３３】
制御部１０１は、ＣＰＵ（Central Processing Unit）を備えて構成され、制御プログラムに基づいて、サービス送信システム１００の各部の動作を制御する。ビデオエンコーダ１０２は、ハイフレームレート（ＨＦＲ）で超高解像度（ＵＨＤ）の画像データＶａを入力し、基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅ１，ＳＴｅ２、あるいは基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅを出力する。
【０１３４】
図１９は、ビデオエンコーダ１０２の構成を概略的に示している。ビデオエンコーダ１０２は、プロセス１（Process 1）の処理を行う信号処理部１０２ａと、プロセス２（Process 2
）の処理を行う信号処理部１０２ｂと、一般的な符号化処理を行う符号化処理部１０２ｃからなっている。
【０１３５】
図２０は、ビデオエンコーダ１０２における信号処理部１０２ａおよび信号処理部１０２ｂの部分を示している。図示の例では、ハイフレームレートが１２０Ｈｚである場合を示している。信号処理部１０２ａは、ハイフレームレートで超高解像度の画像データＶａ（120Hz UHD）を処理して、基本フレームレートで超高解像度の画像データＶｂ（UHD 60Hz Base）と、ハイフレームレートで超高解像度の画像を得るための第２の拡張フォーマットの画像データＥＳ２となる画像データＶｃ（UHD HFR Enhanced）を得る。
【０１３６】
信号処理部１０２ｂは、画像データＶｂ（UHD 60Hz Base）を処理して、基本フレームレートで高解像度の画像を得るための基本フォーマットの画像データＢＳとなる画像データＶｄ（HD 60Hz Base）を得ると共に、基本フレームレートで超高解像度の画像を得るための第１の拡張フォーマットの画像データＥＳ１となる画像データＶｅ（UHD 60Hz Enhanced）を得る。
【０１３７】
図２１（ａ）は、信号処理部１０２ａの構成例を示している。この信号処理部１０２ａは、１２０ｆｐｓの1フレーム分遅延させる遅延回路１１１と、演算回路１１２と、６０Ｈｚのラッチパルスでラッチするラッチ回路１１３を有している。また、演算回路１１２は、係数乗算部１１２ａ，１１２ｂ，１１２ｃ，１１２ｄと、加算部１１２ｅ，１１２ｆを有している。
【０１３８】
係数乗算部１１２ａ，１１２ｂおよび加算部１１２ｅは、上記時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施すために使用される。係数乗算部１１２ａでは係数ｐが乗算され、係数乗算部１１２ｂでは係数ｑが乗算される。なお、ｐ＝０〜１であって、ｑ＝１−ｐである。また、係数乗算部１１２ｃ，１１２ｄおよび加算部１１２ｆは、上記時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施すために使用される。係数乗算部１１２ｃでは係数ｒが乗算され、係数乗算部１１２ｄでは係数ｓが乗算される。なお、ｒ＝０〜１であって、ｓ＝１−ｒである。
【０１３９】
ハイフレームレートで超高解像度の画像データＶａ（120Hz UHD）は、遅延回路１１１で１フレーム遅延された後、演算回路１１２を構成する係数乗算部１１２ａ，１１２ｃに入力される。また、この画像データＶａは、そのまま演算回路１１２を構成する係数乗算部１１２ｂ，１１２ｄに入力される。係数乗算部１１２ａ，１１２ｂの出力は加算部１１２ｅに入力されて加算される。また、係数乗算部１１２ｃ，１１２ｄの出力は加算部１１２ｆに入力されて加算される。
【０１４０】
ここで、画像データＰの時間的に連続する２個のピクチャの画像データをＡ，Ｂとするとき、遅延回路１１１の出力がＡとなるタイミングで、加算部１１２ｅの出力としてＣ（＝ｐ＊Ａ＋ｑ＊Ｂ）の混合出力が得られると共に、加算部１１２ｆの出力としてＤ（＝ｒ＊Ａ＋ｓ＊Ｂ）の混合出力が得られる。図２１（ｂ）は、演算回路１１２における混合処理のための演算を数式で表したものである。
【０１４１】
演算回路１１２の加算部１１２ｅ，１１２ｆの出力は、ラッチ回路１１３に入力される。ラッチ回路１１３では、演算回路１１２の加算部１１２ｅ，１１２ｆの出力が、６０Ｈｚのラッチパルスでラッチされ、基本フレームレートで超高解像度の画像データＶｂ（UHD 60Hz Base）と、ハイフレームレートで超高解像度の画像を得るための第２の拡張フォーマットの画像データＥＳ２となる画像データＶｃ（UHD HFR Enhanced）が得られる。
【０１４２】
ここで、画像データＶｂは、画像データＶａにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して得られたものである。また、画像データＶｂは、画像データＶａにおいて時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施して得られたものである。
【０１４３】
図２２は、信号処理部１０２ａの入力データ（画像データＶａ）と、この信号処理部１０２ａの出力データ（画像データＶｂ，Ｖｃ）との関係の一例を、模式的に表している。図２２（ａ）は画像データＶａを示し、図２２（ｂ）は画像データＶｂを示し、図２２（ｃ）は画像データＶｃを示している。１２０ｆｐｓの画像データＶａの各ピクチャの画像データＦ１，Ｆ２，Ｆ３，Ｆ４，Ｆ５，Ｆ６，Ｆ７，Ｆ８，・・・に対応して、６０ｆｐｓの画像データＶｂの各ピクチャの画像データＦ１´，Ｆ３´，Ｆ５´，・・・と、６０ｆｐｓの画像データＶｃの各ピクチャの画像データＦ２´，Ｆ４´，Ｆ６´，・・・が得られる。
【０１４４】
図２３は、信号処理部１０２ｂの構成例を示している。この信号処理部１０２ｂは、ダウンスケール回路１２１と、アップスケール回路１２２と、演算回路１２３を有している。基本フレームレートで超高解像度の画像データＶｂ（UHD 60Hz Base）は、ダウンスケール回路１２１に入力される。このダウンスケール回路１２１では、画像データＶｂに対して超高解像度から高解像度へのダウンスケール処理が施され、基本フォーマットの画像データＢＳとなる画像データＶｄ（HD 60Hz Base）が得られる。
【０１４５】
また、ダウンスケール回路１２１で得られた画像データＶｄは、アップスケール回路１２２に入力される。このアップスケール回路１２２では、画像データＶｄに対して高解像度から超高解像度へのアップスケール処理が施され、基本フレームレートで超高解像度の画像データが得られる。この画像データは、画像データＶｂと同じ解像度とされるが、画像データＶｂに対してダウンスケール処理が施され、さらにアップスケール処理が施されて得られたものであり、ダウンスケール処理で失われた情報は再現されていない。
【０１４６】
画像データＶｂとアップスケール回路１２２で得られた画像データは、演算回路１２３に入力される。演算回路１２３では、２つの画像データ間の差分がとられ、第１の拡張フォーマットの画像データＥＳ１となる画像データＶｅ（UHD 60Hz Enhanced）が得られる。
【０１４７】
図１８に戻って、ビデオエンコーダ１０２は、第１、第２の拡張フォーマットの画像データＥＳ１，ＥＳ２のアクセスユニット（ＡＵ）の“ＳＥＩｓ”の部分に、新規定義する、上述したビデオ・スケーラビリティ・ＳＥＩ（図１０参照）を挿入する。
【０１４８】
これにより、第１の拡張フォーマットの画像データＥＳ１の各アクセスユニットに、空間スケーラブルであることを示す識別情報、さらには、空間スケーラブルの比率を示す情報が挿入される。また、第２の拡張フォーマットの画像データＥＳ２の各アクセスユニットに、時間スケーラブルであることを示す識別情報、基本フォーマットの画像データが混合処理を施して得られた画像データであることを示す識別情報、さらには、混合比率（第１、第２の比率）の情報が挿入される。
【０１４９】
コンテナエンコーダ１０３は、ビデオエンコーダ１０２で得られた基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅ１，ＳＴｅ２、あるいは基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅを含むコンテナ、ここではＭＰ４（図８、図１６参照）を、配信ストリームＳＴＭとして生成する。
【０１５０】
この際、コンテナエンコーダ１０３は、拡張ビデオストリームＳＴｅ１，ＳＴｅ２、あるいは拡張ビデオストリームＳＴｅに対応したＭＰ４ストリームにおいて、“ｍｏｏｆ”ボックスの下に、“ｕｄｔａ”あるいは“ｌａｙｓ”のボックスを設け、上述したビデオ・スケーラビリティ・インフォメーション・デスクリプタ（図１２参照）を挿入する。
【０１５１】
これにより、第１の拡張フォーマットの画像データＥＳ１のアクセスユニットを持つ“ｍｄａｔ”ボックスに対応した“ｍｏｏｆ”ボックスには、空間スケーラブルであることを示す識別情報、さらには、空間スケーラブルの比率を示す情報が挿入される。また、第２の拡張フォーマットの画像データＥＳ２のアクセスユニットを持つ“ｍｄａｔ”ボックスに対応した“ｍｏｏｆ”ボックスには、時間スケーラブルであることを示す識別情報、基本フォーマットの画像データが混合処理を施して得られた画像データであることを示す識別情報、さらには、混合比率（第１、第２の比率）の情報が挿入される。
【０１５２】
送信部１０４は、コンテナエンコーダ１０３で得られたＭＰ４の配信ストリームＳＴＭを、放送波あるいはネットのパケットに載せて、サービス受信機２００に送信する。
【０１５３】
図１８に示すサービス送信システム１００の動作を簡単に説明する。ハイフレームレート（ＨＦＲ）で超高解像度（ＵＨＤ）の画像データＶａがビデオエンコーダ１０２に入力される。ビデオエンコーダ１０２では、この画像データＶａが処理されて、基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅ１，ＳＴｅ２、あるいは基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅが得られる。
【０１５４】
ここで、基本ビデオストリームＳＴｂには、基本フレームレートで高解像度の画像を得るための基本フォーマットの画像データＢＳのアクセスユニットが含まれる。拡張ビデオストリームＳＴｅ１には、基本フレームレートで超高解像度の画像を得るための第１の拡張フォーマットの画像データＥＳ１のアクセスユニットが含まれる。拡張ビデオストリームＳＴｅ２には、基本フレームレートで超高解像度の画像を得るための第２の拡張フォーマットの画像データＥＳ２のアクセスユニットが含まれる。また、拡張ビデオストリームＳＴｅには、第１、第２の拡張フォーマットの画像データＥＳ１，ＥＳ２のアクセスユニットが含まれる。
【０１５５】
ビデオエンコーダ１０２では、第１、第２の拡張フォーマットの画像データＥＳ１，ＥＳ２のアクセスユニット（ＡＵ）の“ＳＥＩｓ”の部分に、ビデオ・スケーラビリティ・ＳＥＩ（図１０参照）が挿入される。これにより、画像データＥＳ１の各アクセスユニットに、空間スケーラブルであることを示す識別情報、さらには、空間スケーラブルの比率を示す情報が挿入される。また、画像データＥＳ２の各アクセスユニットに、時間スケーラブルであることを示す識別情報、基本フォーマットの画像データが混合処理を施して得られた画像データであることを示す識別情報、さらには、混合比率（第１、第２の比率）の情報が挿入される。
【０１５６】
ビデオエンコーダ１０２で得られた基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅ１，ＳＴｅ２、あるいは基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅは、コンテナエンコーダ１０３に供給される。コンテナエンコーダ１０３では、基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅ１，ＳＴｅ２、あるいは基本ビデオストリームＳＴｂと拡張ストリームＳＴｅを含むＭＰ４（図８、図１６参照）が、配信ストリームＳＴＭとして生成される。
【０１５７】
この際、コンテナエンコーダ１０３では、拡張ビデオストリームＳＴｅ１，ＳＴｅ２、あるいは拡張ビデオストリームＳＴｅに対応したＭＰ４ストリームにおいて、“ｍｏｏｆ”ボックスの下に、“ｕｄｔａ”あるいは“ｌａｙｓ”のボックスが設けられ、ビデオ・スケーラビリティ・インフォメーション・デスクリプタ（図１２参照）が挿入される。
【０１５８】
これにより、画像データＥＳ１のアクセスユニットを持つ“ｍｄａｔ”ボックスに対応した“ｍｏｏｆ”ボックスには、空間スケーラブルであることを示す識別情報、さらには、空間スケーラブルの比率を示す情報が挿入される。また、画像データＥＳ２のアクセスユニットを持つ“ｍｄａｔ”ボックスに対応した“ｍｏｏｆ”ボックスには、時間スケーラブルであることを示す識別情報、基本フォーマットの画像データが混合処理を施して得られた画像データであることを示す識別情報、さらには、混合比率（第１、第２の比率）の情報が挿入される。
【０１５９】
コンテナエンコーダ１０３で生成された配信ストリームＳＴＭは送信部１０４に供給される。送信部１０４では、ＭＰ４の配信ストリームＳＴＭを放送波あるいはネットのパケットに載せて、サービス受信機２００に送信することが行われる。
【０１６０】
「サービス受信機の構成例」
図２４は、ハイフレームレートで超高解像度の動画像データを処理可能なサービス受信機２００Ａの構成例を示している。このサービス受信機２００Ａは、制御部２０１と、受信部２０２と、コンテナデコーダ２０３と、ビデオデコーダ２０４を有している。
【０１６１】
制御部２０１は、ＣＰＵ（Central Processing Unit）を備えて構成され、制御プログラムに基づいて、サービス受信機２００Ａの各部の動作を制御する。受信部２０２は、サービス送信システム１００から放送波あるいはネットのパケットに載せて送られてくるＭＰ４の配信ストリームＳＴＭを受信する。
【０１６２】
コンテナデコーダ２０３は、ＭＰ４から、基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅ１，ＳＴｅ２、あるいは基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅを抽出する。上述したように、基本ビデオストリームＳＴｂには、基本フレームレートで高解像度の画像を得るための基本フォーマットの画像データＢＳのアクセスユニットが含まれている。
【０１６３】
また、拡張ビデオストリームＳＴｅ１には、基本フレームレートで超高解像度の画像を得るための第１の拡張フォーマットの画像データＥＳ１のアクセスユニットが含まれている。拡張ビデオストリームＳＴｅ２には、ハイフレームレートで超高解像度の画像を得るための第２の拡張フォーマットの画像データＥＳ２のアクセスユニットが含まれている。また、拡張ビデオストリームＳＴｅには、第１、第２の拡張フォーマットの画像データＥＳ１，ＥＳ２のアクセスユニットが含まれている。
【０１６４】
また、コンテナデコーダ２０３は、ＭＰ４からメタ情報を抽出し、制御部２０１に送る。このメタ情報には、拡張ビデオストリームＳＴｅ１，ＳＴｅ２、あるいは拡張ビデオストリームＳＴｅに対応したＭＰ４ストリームにおいて、“ｍｏｏｆ”ボックスの下に設けられた“ｕｄｔａ”あるいは“ｌａｙｓ”のボックスに挿入されているビデオ・スケーラビリティ・インフォメーション・デスクリプタ（図１２参照）も含まれる。
【０１６５】
制御部２０１は、このビデオ・スケーラビリティ・インフォメーション・デスクリプタから、第１の拡張フォーマットの画像データＥＳ１による拡張が空間スケーラブルであること、さらに空間スケーラブルの比率などを認識する。また、制御部２０１は、このビデオ・スケーラビリティ・インフォメーション・デスクリプタから、第２の拡張フォーマットの画像データＥＳ２による拡張が時間スケーラブルであること、基本フォーマットの画像データＢＳが混合処理を施して得られた画像データであること、さらに混合比率（第１、第２の比率）などを認識する。
【０１６６】
ビデオデコーダ２０４は、コンテナデコーダ２０３で抽出された基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅ１，ＳＴｅ２、あるいは基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅを処理して、ハイフレームレート（ＨＦＲ）で超高解像度（ＵＨＤ）の画像データＶａ´を得る。
【０１６７】
ここで、ビデオデコーダ２０４は、各ビデオストリームを構成するアクセスユニットに挿入されているパラメータセットやＳＥＩを抽出し、制御部２０１に送る。このＳＥＩには、第１、第２の拡張フォーマットの画像データＥＳ１，ＥＳ２のアクセスユニット（ＡＵ）に挿入されているビデオ・スケーラビリティ・ＳＥＩ（図１０参照）も含まれる。
【０１６８】
制御部２０１は、このビデオ・スケーラビリティ・ＳＥＩから、第１の拡張フォーマットの画像データＥＳ１による拡張が空間スケーラブルであること、さらに空間スケーラブルの比率などを認識する。また、制御部２０１は、このビデオ・スケーラビリティ・ＳＥＩから、第２の拡張フォーマットの画像データＥＳ２による拡張が時間スケーラブルであること、基本フォーマットの画像データＢＳが混合処理を施して得られた画像データであること、さらに混合比率（第１、第２の比率）などを認識する。
【０１６９】
図２５は、ビデオデコーダ２０４の構成を概略的に示している。ビデオデコーダ２０４は、インバースプロセス１（Inverse Process 1）の処理を行う信号処理部２０４ａと、インバースプロセス２（Inverse Process 2）の処理を行う信号処理部２０４ｂと、一般的な復号化処理を行う復号化処理部２０４ｃからなっている。ここで、インバースプロセス１の処理は、上述のビデオエンコーダ１０２の信号処理部１０２ａで行われるプロセス１の処理の逆処理となる。同様に、インバースプロセス２の処理は、上述のビデオエンコーダ１０２の信号処理部１０２ｂで行われるプロセス２の処理の逆処理となる。
【０１７０】
図２６は、ビデオデコーダ２０４における信号処理部２０４ａおよび信号処理部２０４ｂの部分を示している。図示の例では、ハイフレームレートが１２０Hzである場合を示している。信号処理部２０４ｂは、基本フォーマットの画像データＢＳ´である画像データＶｄ´（HD 60Hz Base）と、基本フレームレートで超高解像度の画像を得るための第１の拡張フォーマットの画像データＥＳ１´である画像データＶｅ´（UHD 60Hz Enhanced）を処理して、基本フレームレートで超高解像度の画像データＶｂ´（UHD 60Hz Base）を得る。
【０１７１】
信号処理部２０４ａは、画像データＶｂ´（UHD 60Hz Base）と、ハイフレームレートで超高解像度の画像を得るための第２の拡張フォーマットの画像データＥＳ２´である画像データＶｃ´（UHD HFR Enhanced）を処理して、ハイフレームレートで超高解像度の画像データＶａ´（120Hz UHD）を得る。
【０１７２】
図２７は、信号処理部２０４ｂの構成例を示している。この信号処理部２０４ｂは、アップスケール回路２１１と、演算回路２１２を有している。基本フォーマットの画像データＢＳ´である画像データＶｄ´（HD 60Hz Base）は、アップスケール回路２１１に入力される。このアップスケール回路２１１では、画像データＶｄ´に対して高解像度から超高解像度へのアップスケール処理が施され、基本フレームレートで超高解像度の画像データが得られる。ここで、アップスケール回路２１１では、上述したようにビデオ・スケーラビリティ・ＳＥＩ（図１０参照）あるいはビデオ・スケーラビリティ・インフォメーション・デスクリプタ（図１２参照）に挿入されている空間スケーラブルの比率を示す情報が用いられて、適切なアップスケール処理が施される。
【０１７３】
第１の拡張フォーマットの画像データＥＳ１´である画像データＶｅ´（UHD 60Hz Enhanced）と、アップスケール回路２１１で得られた画像データは、演算回路２１２に入力される。演算回路２１２では、２つの画像データが加算され、基本フレームレートで超高解像度の画像データＶｂ´（UHD 60Hz Base）が得られる。
【０１７４】
図２８は、信号処理部２０４ａの構成例を示している。この信号処理部２０４ａは、演算回路２４１と、スイッチ回路２４２を有している。また、演算回路２４１は、係数乗算部２４１ａ，２４１ｂ，２４１ｃ，２４１ｄと、加算部２４１ｅ，２４１ｆを有している。演算回路２４１は、図２１（ａ）の信号処理部１０２ａにおける演算回路１１２における混合処理とは逆の処理（逆混合処理）をする。
【０１７５】
係数乗算部２４１ａ，２４１ｂおよび加算部２４１ｅは、画像データＶｂ´および画像データＶｃ´から、上記時間的に連続する２個のピクチャ単位で１番目のピクチャの画像データを得るために使用される。係数乗算部２４１ａでは係数ｕが乗算され、係数乗算部２４１ｂでは係数ｖが乗算される。また、係数乗算部２４１ｃ，２４１ｄおよび加算部２４１ｆは、画像データＶｂ´および画像データＶｃ´から、上記時間的に連続する２個のピクチャ単位で２番目のピクチャの画像データを得るために使用される。係数乗算部２４１ｃでは係数ｗが乗算され、係数乗算部２４１ｄでは係数ｚが乗算される。
【０１７６】
基本フレームレートで超高解像度の画像データＶｂ´（UHD 60Hz Base）は、演算回路２４１を構成する係数乗算部２４１ａ，２４１ｃに入力される。また、第２の拡張フォーマットの画像データＥＳ２´である画像データＶｃ´（UHD HFR Enhanced）は、演算回路２４１を構成する係数乗算部２４１ｂ，２４１ｄに入力される。係数乗算部２４１ａ，２４１ｂの出力は加算部２４１ｅに入力されて加算される。また、係数乗算部２４１ｃ，２４１ｄの出力は加算部２４１ｆに入力されて加算される。
【０１７７】
この場合、加算部２４１ｅの出力として上記時間的に連続する２個のピクチャ単位で１番目のピクチャの画像データＡが得られると共に、加算部２４１ｆの出力として上記時間的に連続する２個のピクチャ単位で２番目のピクチャの画像データＢが得られる。図２８（ｂ）は、演算回路２４１における逆混合処理のための演算を数式で表したものである。また、図２８（ｃ）は、係数ｕ，ｖ，ｗ，ｚと係数ｐ，ｑ，ｒ，ｓの対応関係を行列式で示している。
【０１７８】
演算回路２４１の加算部２４１ｅ，２４１ｆの出力は、それぞれ、スイッチ回路２４２のａ側、ｂ側の固定端子に入力される。スイッチ回路２４２は、１２０Ｈｚの周期で、ａ側、ｂ側に交互に切り換えられる。このスイッチ回路２４２からは、画像データＡ，Ｂが合成された、ハイフレームレートで超高解像度の画像データＶａ´（120Hz UHD）が得られる。
【０１７９】
ここで、演算回路２４１では、上述したようにビデオ・スケーラビリティ・ＳＥＩ（図１０参照）あるいはビデオ・スケーラビリティ・インフォメーション・デスクリプタ（図１２参照）に挿入されている混合比率（第１、第２の比率）の情報、つまりｐ，ｑ，ｒ，ｓの情報が用いられて、適切な逆混合処理が施される。
【０１８０】
図２４に示すサービス受信機２００Ａの動作を簡単に説明する。受信部２０２では、サービス送信システム１００から放送波あるいはネットのパケットに載せて送られてくるＭＰ４の配信ストリームＳＴＭが受信される。この配信ストリームＳＴＭは、コンテナデコーダ２０３に供給される。コンテナデコーダ２０３では、ＭＰ４から基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅ１，ＳＴｅ２、あるいは基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅが抽出される。
【０１８１】
基本ビデオストリームＳＴｂには、基本フレームレートで高解像度の画像を得るための基本フォーマットの画像データＢＳのアクセスユニットが含まれている。また、拡張ビデオストリームＳＴｅ１には、基本フレームレートで超高解像度の画像を得るための第１の拡張フォーマットの画像データＥＳ１のアクセスユニットが含まれている。拡張ビデオストリームＳＴｅ２には、基本フレームレートで超高解像度の画像を得るための第２の拡張フォーマットの画像データＥＳ２のアクセスユニットが含まれている。また、拡張ビデオストリームＳＴｅには、第１、第２の拡張フォーマットの画像データＥＳ１，ＥＳ２のアクセスユニットが含まれている。
【０１８２】
また、コンテナデコーダ２０３では、ＭＰ４からメタ情報が抽出され、制御部２０１に送られる。このメタ情報には、拡張ビデオストリームＳＴｅ１，ＳＴｅ２、あるいは拡張ビデオストリームＳＴｅに対応したＭＰ４ストリームにおいて、“ｍｏｏｆ”ボックスの下に設けられた“ｕｄｔａ”あるいは“ｌａｙｓ”のボックスに挿入されているビデオ・スケーラビリティ・インフォメーション・デスクリプタ（図１２参照）も含まれる。
【０１８３】
制御部２０１では、このビデオ・スケーラビリティ・インフォメーション・デスクリプタから、第１の拡張フォーマットの画像データＥＳ１による拡張が空間スケーラブルであること、さらに空間スケーラブルの比率などが認識される。また、制御部２０１では、このビデオ・スケーラビリティ・インフォメーション・デスクリプタから、第２の拡張フォーマットの画像データＥＳ１による拡張が時間スケーラブルであること、基本フォーマットの画像データＢＳが混合処理を施して得られた画像データであること、さらに混合比率（第１、第２の比率）などが認識される。
【０１８４】
コンテナデコーダ２０３で抽出された基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅ１，ＳＴｅ２、あるいは基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅは、ビデオデコーダ２０４に供給される。ビデオデコーダ２０４では、基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅ１，ＳＴｅ２、あるいは基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅが処理されて、ハイフレームレート（ＨＦＲ）で超高解像度（ＵＨＤ）の画像データＶａ´が得られる。
【０１８５】
ここで、ビデオデコーダ２０４では、各ビデオストリームを構成するアクセスユニットに挿入されているパラメータセットやＳＥＩが抽出され、制御部２０１に送られる。このＳＥＩには、第１、第２の拡張フォーマットの画像データＥＳ１，ＥＳ２のアクセスユニット（ＡＵ）に挿入されているビデオ・スケーラビリティ・ＳＥＩ（図１０参照）も含まれる。
【０１８６】
制御部２０１では、このビデオ・スケーラビリティ・ＳＥＩから、第１の拡張フォーマットの画像データＥＳ１による拡張が空間スケーラブルであること、さらに空間スケーラブルの比率などが認識される。また、制御部２０１は、このビデオ・スケーラビリティ・ＳＥＩから、第２の拡張フォーマットの画像データＥＳ１による拡張が時間スケーラブルであること、基本フォーマットの画像データＢＳが混合処理を施して得られた画像データであること、さらに混合比率（第１、第２の比率）などが認識される。
【０１８７】
図２９は、基本フレームレートで超高解像度の動画像データを処理可能なサービス受信機２００Ｂの構成例を示している。この図２９において、図２４と対応する部分には同一符号、あるいは「Ｂ」を添えた符号を付し、適宜、その詳細説明を省略する。このサービス受信機２００Ｂは、受信部２０１と、コンテナデコーダ２０３Ｂと、ビデオデコーダ２０４Ｂを有している。
【０１８８】
受信部２０１では、サービス送信システム１００から放送波あるいはネットのパケットに載せて送られてくるＭＰ４の配信ストリームＳＴＭが受信される。この配信ストリームＳＴＭは、コンテナデコーダ２０３Ｂに供給される。コンテナデコーダ２０３Ｂでは、ＭＰ４から基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅ１、あるいは基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅが抽出される。
【０１８９】
コンテナデコーダ２０３Ｂで抽出された基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅ１、あるいは基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅは、ビデオデコーダ２０４Ｂに供給される。ビデオデコーダ２０４Ｂでは、基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅ１、あるいは基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅが処理されて、基本フレームレートで超高解像度の画像データＶｂ´が得られる。
【０１９０】
図３０は、基本フレームレートで高解像度の動画像データを処理可能なサービス受信機２００Ｃの構成例を示している。この図３０において、図２４と対応する部分には同一符号、あるいは「Ｃ」を添えた符号を付し、適宜、その詳細説明を省略する。このサービス受信機２００Ｃは、受信部２０１と、コンテナデコーダ２０３Ｃと、ビデオデコーダ２０４Ｃを有している。
【０１９１】
受信部２０１では、サービス送信システム１００から放送波あるいはネットのパケットに載せて送られてくるＭＰ４の配信ストリームＳＴＭが受信される。この配信ストリームＳＴＭは、コンテナデコーダ２０３Ｃに供給される。コンテナデコーダ２０３Ｃでは、ＭＰ４から基本ビデオストリームＳＴｂのみが抽出される。
【０１９２】
コンテナデコーダ２０３Ｃで抽出された基本ビデオストリームＳＴｂは、ビデオデコーダ２０４Ｃに供給される。ビデオデコーダ２０４Ｃでは、基本ビデオストリームＳＴｂのみが処理されて、基本フレームレートで高解像度の画像データＶｄ´が得られる。
【０１９３】
上述したように、図３に示す送受信システム１０においては、基本フレームレートで高解像度の画像を得るための基本フォーマットの画像データの符号化画像データを含む基本ビデオストリームと、基本フレームレートで超高解像度の画像を得るための第１の拡張フォーマットの画像データの符号化画像データとハイフレームレートで超高解像度の画像を得るための第２の拡張フォーマットの画像データの符号化画像データを含む２つまたは１つの拡張ビデオストリームが送信される。そのため、ハイフレームレートで超高解像度の画像データを受信側において下位互換を良好に実現可能に伝送できる。
【０１９４】
例えば、基本フレームレートで高解像度の画像データを処理可能なデコード能力がある受信機の場合、基本ビデオストリームのみを処理して基本フレームレートで高解像度の画像の表示が可能となる。また、例えば、基本フレームレートで超高解像度の画像データを処理可能なデコード能力がある受信機の場合、基本ビデオストリームおよび拡張ストリームの双方を処理して基本フレームレートで超高解像度の画像の表示が可能となる。また、例えば、ハイフレームレートで超高解像度の画像データを処理可能なデコード能力がある受信機の場合、基本ビデオストリームおよび拡張ストリームの双方を処理してハイフレームレートで超高解像度の画像の表示が可能となる。
【０１９５】
また、図３に示す送受信システム１０においては、基本フォーマットの画像データは、ハイフレームレートで超高解像度の画像データにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して得られた基本フレームレートで超高解像度の第１の画像データにダウンスケール処理が施されることで得られたものである。そのため、基本ビデオストリームのみを処理して表示される基本フレームレートで高解像度の画像はストロービング効果が抑制された滑らかな画像となる。
【０１９６】
＜２．変形例＞
なお、上述実施の形態においては、コンテナがＭＰ４（ＩＳＯＢＭＦＦ）である例を示した。しかし、本技術は、コンテナがＭＰ４に限定されるものではなく、ＭＰＥＧ−２  ＴＳやＭＭＴなどの他のフォーマットのコンテナであっても同様に適用し得る。
【０１９７】
例えば、ＭＰＥＧ−２  ＴＳの場合には、図１８に示すサービス送信システム１００のコンテナエンコーダ１０３では、基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅ１，ＳＴｅ２、あるいは基本ビデオストリームＳＴｂと拡張ストリームＳＴｅを含むトランスポートストリーム（Transport Stream）が生成される。
【０１９８】
この際、コンテナエンコーダ１０３では、プログラム・マップ・テーブル（ＰＭＴ：Program Map Table）の配下の拡張ビデオストリームに対応したビデオエレメンタリストリームループに、ビデオ・スケーラビリティ・インフォメーション・デスクリプタ（図１２参照）が挿入される。
【０１９９】
図３１は、３ストリーム構成の伝送の場合におけるトランスポートストリームの構成例を示している。この構成例では、ＰＩＤ１で識別されるビデオストリームのＰＥＳパケット「video PES1」と、ＰＩＤ２で識別されるビデオストリームのＰＥＳパケット「video PES2」と、ＰＩＤ３で識別されるビデオストリームのＰＥＳパケット「video PES3」が存在する。
【０２００】
ＰＥＳパケット「video PES1」のペイロードには、基本ビデオストリームＳＴｂのアクセスユニット（符号化画像データ）が含まれる。ＰＥＳパケット「video PES2」のペイロードには、拡張ビデオストリームＳＴｅ１のアクセスユニット（符号化画像データ）が含まれる。ＰＥＳパケット「video PES3」のペイロードには、拡張ビデオストリームＳＴｅ２のアクセスユニット（符号化画像データ）が含まれる。ＰＥＳパケット「video PES2」およびＰＥＳパケット「video PES3」でコンテナされる各ピクチャのアクセスユニット（符号化画像データ）には、ビデオ・スケーラビリティ・ＳＥＩ（図１０参照）が挿入される。
【０２０１】
また、トランスポートストリームには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（Program Map Table）が含まれている。ＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。
【０２０２】
ＰＭＴには、各ビデオストリームに対応したビデオエレメンタリストリームループ（video ES loop）が存在する。ビデオエレメンタリストリームループ（video ES loop）には、ビデオストリームに対応して、ストリームタイプ、ＰＩＤ（パケット識別子）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。
【０２０３】
「video ES1 loop」には、基本ビデオストリーム（video PES1）に対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このストリームタイプは、基本ビデオストリームを示す“０ｘ２４”とされる。
【０２０４】
また、「video ES2 loop」には、拡張ビデオストリーム（video PES2）に対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このストリームタイプは、拡張ビデオストリームを示す“０ｘ２ｘ”とされる。また、デスクリプタの一つとして、ビデオ・スケーラビリティ・インフォメーション・デスクリプタ（図１２参照）が挿入される。
【０２０５】
また、「video ES3 loop」には、拡張ビデオストリーム（video PES3）に対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このストリームタイプは、拡張ビデオストリームを示す“０ｘ２ｘ”とされる。また、デスクリプタの一つとして、ビデオ・スケーラビリティ・インフォメーション・デスクリプタ（図１２参照）が挿入される。
【０２０６】
図３２は、２ストリーム構成の伝送の場合におけるトランスポートストリームの構成例を示している。この構成例では、ＰＩＤ１で識別されるビデオストリームのＰＥＳパケット「video PES1」と、ＰＩＤ２で識別されるビデオストリームのＰＥＳパケット「video PES2」が存在する。
【０２０７】
ＰＥＳパケット「video PES1」のペイロードには、基本ビデオストリームＳＴｂのアクセスユニット（符号化画像データ）が含まれる。ＰＥＳパケット「video PES2」のペイロードには、拡張ビデオストリームＳＴｅのアクセスユニット（符号化画像データ）が含まれる。ＰＥＳパケット「video PES2」でコンテナされる各ピクチャのアクセスユニット（符号化画像データ）には、ビデオ・スケーラビリティ・ＳＥＩ（図１０参照）が挿入される。
【０２０８】
また、ＰＭＴの配下に、基本ビデオストリーム「video PES1」と、拡張ビデオストリーム「video PES2」に対応したビデオエレメンタリストリームループ（video ES loop）が存在する。ビデオエレメンタリストリームループ（video ES loop）には、ビデオストリームに対応して、ストリームタイプ、ＰＩＤ（パケット識別子）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。
【０２０９】
「video ES1 loop」には、基本ビデオストリーム（video PES1）に対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このストリームタイプは、基本ビデオストリームを示す“０ｘ２４”とされる。
【０２１０】
また、「video ES2 loop」には、拡張ビデオストリーム（video PES2）に対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このストリームタイプは、拡張ビデオストリームを示す“０ｘ２ｘ”とされる。また、デスクリプタの一つとして、ビデオ・スケーラビリティ・インフォメーション・デスクリプタ（図１２参照）が挿入される。
【０２１１】
また、例えば、ＭＭＴの場合には、図１８に示すサービス送信システム１００のコンテナエンコーダ１０３では、基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅ１，ＳＴｅ２、あるいは基本ビデオストリームＳＴｂと拡張ストリームＳＴｅを含むＭＭＴストリーム（MMT Stream）が生成される。
【０２１２】
この際、コンテナエンコーダ１０３では、ＭＭＴ・パッケージ・テーブル（ＭＰＴ：MMT Package Table）の配下の拡張ビデオストリームに対応したビデオアセットループに、ビデオ・スケーラビリティ・インフォメーション・デスクリプタ（図１２参照）が挿入される。
【０２１３】
図３３は、３ストリーム構成の伝送の場合におけるＭＭＴストリームの構成例を示している。この構成例では、ＩＤ１で識別されるビデオストリームのＭＰＵパケット「video MPU1」と、ＩＤ２で識別されるビデオストリームのＭＰＵパケット「video MPU2」と、ＩＤ３で識別されるビデオストリームのＭＰＵパケット「video MPU3」が存在する。
【０２１４】
ＭＰＵパケット「video MPU1」のペイロードには、基本ビデオストリームＳＴｂのアクセスユニット（符号化画像データ）が含まれる。ＭＰＵパケット「video MPU2」のペイロードには、拡張ビデオストリームＳＴｅ１のアクセスユニット（符号化画像データ）が含まれる。ＭＰＵパケット「video MPU3」のペイロードには、拡張ビデオストリームＳＴｅ２のアクセスユニット（符号化画像データ）が含まれる。ＭＰＵパケット「video MPU2」およびＭＰＵパケット「video MPU3」でコンテナされる各ピクチャのアクセスユニット（符号化画像データ）には、ビデオ・スケーラビリティ・ＳＥＩ（図１０参照）が挿入される。
【０２１５】
また、ＭＭＴストリームには、ＰＡ（Packet Access）メッセージパケットなどのメッセージパケットが存在する。ＰＡメッセージパケットには、ＭＰＴなどのテーブルが含まれている。ＭＰＴには、各アセット（ビデオストリーム）に対応したビデオアセットループ（video asset loop）が存在する。ビデオアセットループ（video asset loop）には、アセット（ビデオストリーム）に対応して、アセットタイプ（Asset_type）、アセットＩＤ（Asset_id）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。
【０２１６】
「video asset1 loop」には、基本ビデオストリーム（video MPU1）に対応して、アセットタイプ、アセットＩＤ等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このアセットタイプは、基本ビデオストリームを示す“０ｘ２４”とされる。
【０２１７】
また、「video asset2 loop」には、拡張ビデオストリーム（video MPU2）に対応して、アセットタイプ、アセットＩＤ等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このアセットタイプは、拡張ビデオストリームを示す“０ｘ２ｘ”とされる。また、デスクリプタの一つとして、ビデオ・スケーラビリティ・インフォメーション・デスクリプタ（図１２参照）が挿入される。
【０２１８】
また、「video asset3 loop」には、拡張ビデオストリーム（video MPU3）に対応して、アセットタイプ、アセットＩＤ等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このストリームタイプは、拡張ビデオストリームを示す“０ｘ２ｘ”とされる。また、デスクリプタの一つとして、ビデオ・スケーラビリティ・インフォメーション・デスクリプタ（図１２参照）が挿入される。
【０２１９】
図３４は、２ストリーム構成の伝送の場合におけるＭＭＴストリームの構成例を示している。この構成例では、ＩＤ１で識別されるビデオストリームのＭＰＵパケット「video MPU1」と、ＰＩＤ２で識別されるビデオストリームのＭＰＵパケット「video MPU2」が存在する。
【０２２０】
ＭＰＵパケット「video MPU1」のペイロードには、基本ビデオストリームＳＴｂのアクセスユニット（符号化画像データ）が含まれる。ＭＰＵパケット「video MPU2」のペイロードには、拡張ビデオストリームＳＴｅのアクセスユニット（符号化画像データ）が含まれる。ＭＰＵパケット「video PES2」でコンテナされる各ピクチャのアクセスユニット（符号化画像データ）には、ビデオ・スケーラビリティ・ＳＥＩ（図１０参照）が挿入される。
【０２２１】
また、ＭＰＴの配下に、基本ビデオストリーム「video MPU1」と、拡張ビデオストリーム「video MPU2」に対応したビデオアセットループ（video asset loop）が存在する。ビデオアセットループ（video asset loop）には、ビデオストリームに対応して、アセットタイプ、アセットＩＤ等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。
【０２２２】
「video asset1 loop」には、基本ビデオストリーム（video MPU1）に対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このアセットタイプは、基本ビデオストリームを示す“０ｘ２４”とされる。
【０２２３】
また、「video ES2 loop」には、拡張ビデオストリーム（video PES2）に対応して、アセットタイプ、アセットＩＤ等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このアセットタイプは、拡張ビデオストリームを示す“０ｘ２ｘ”とされる。また、デスクリプタの一つとして、ビデオ・スケーラビリティ・インフォメーション・デスクリプタ（図１２参照）が挿入される。
【０２２４】
また、本技術は、以下のような構成を取ることもできる。
（１）ハイフレームレートで超高解像度の画像データを処理して基本フレームレートで高解像度の画像を得るための基本フォーマットの画像データと、基本フレームレートで超高解像度の画像を得るための第１の拡張フォーマットの画像データと、ハイフレームレートで超高解像度の画像を得るための第２の拡張フォーマットの画像データを得る画像処理部と、
上記基本フォーマットの画像データの符号化画像データを含む基本ビデオストリームと、上記第１の拡張フォーマットの画像データの符号化画像データおよび上記第２の拡張フォーマットの画像データの符号化画像データをそれぞれ含む２つの拡張ビデオストリームまたは上記第１の拡張フォーマットの画像データの符号化画像データおよび上記第２の拡張フォーマットの画像データの符号化画像データの両方を含む１つの拡張ビデオストリームを生成する画像符号化部と、
上記基本ストリームおよび上記２つまたは１つの拡張ビデオストリームを含む所定フォーマットのコンテナを送信する送信部を備え、
上記画像処理部は、
上記ハイフレームレートで超高解像度の画像データにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して基本フレームレートで超高解像度の第１の画像データを得ると共に、上記時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施して上記第２の拡張フォーマットの画像データを得、さらに、上記第１の画像データにダウンスケール処理を施して上記基本フォーマットの画像データを得ると共に、該基本フォーマットの画像データにアップスケール処理を施して得られた基本フレームレートで超高解像度の第２の画像データと上記第１の画像データとの間の差分をとって上記第１の拡張フォーマットの画像データを得る
送信装置。
（２）上記第１の拡張フォーマットの画像データの符号化画像データに、空間スケーラブルであることを示す識別情報を挿入する情報挿入部をさらに備える
前記（１）に記載の送信装置。
（３）上記情報挿入部は、
上記第１の拡張フォーマットの画像データの符号化画像データに、空間スケーラブルの比率を示す情報をさらに挿入する
前記（２）に記載の送信装置。
（４）上記２の拡張フォーマットの画像データの符号化画像データに、時間スケーラブルであることを示す識別情報を挿入する情報挿入部をさらに備える
前記（１）から（３）のいずれかに記載の送信装置。
（５）上記情報挿入部は、
上記第２の拡張フォーマットの画像データの符号化画像データに、上記基本フォーマットの画像データが上記混合処理を施して得られた画像データであることを示す識別情報をさらに挿入する
前記（４）に記載の送信装置。
（６）上記情報挿入部は、
上記第２の拡張フォーマットの画像データの符号化画像データに、上記第１の比率の情報および上記第２の比率の情報をさらに挿入する
前記（５）に記載の送信装置。
（７）上記コンテナのレイヤに、上記第１の拡張フォーマットの画像データの符号化画像データに対応して、空間スケーラブルであることを示す識別情報を挿入する情報挿入部をさらに備える
前記（１）から（６）のいずれかに記載の送信装置。
（８）上記情報挿入部は、
上記コンテナのレイヤに、上記第１の拡張フォーマットの画像データの符号化画像データに対応して、空間スケーラブルの比率を示す情報をさらに挿入する
前記（７）に記載の送信装置。
（９）上記コンテナのレイヤに、上記第２の拡張フォーマットの画像データの符号化画像データに対応して、時間スケーラブルであることを示す識別情報を挿入する情報挿入部をさらに備える
前記（１）から（８）のいずれかに記載の送信装置。
（１０）上記情報挿入部は、
上記コンテナのレイヤに、上記第２の拡張フォーマットの画像データの符号化画像データに対応して、上記基本フォーマットの画像データが上記混合処理を施して得られた画像データであることを示す識別情報をさらに挿入する
前記（９）に記載の送信装置。
（１１）上記情報挿入部は、
上記コンテナのレイヤに、上記第２の拡張フォーマットの画像データの符号化画像データに対応して、上記第１の比率の情報および上記第２の比率の情報をさらに挿入する
前記（１０）に記載の送信装置。
（１２）上記基本ビデオストリームと上記２つまたは１つの拡張ビデオストリームを受信装置で取得させるためのメタ情報を持つメタファイルを送信する送信部をさらに備え、
上記メタファイルにはスケーラビリティの対応を示す情報が挿入される
前記（１）から（１１）のいずれかに記載の送信装置。
（１３）ハイフレームレートで超高解像度の画像データを処理して基本フレームレートで高解像度の画像を得るための基本フォーマットの画像データと、基本フレームレートで超高解像度の画像を得るための第１の拡張フォーマットの画像データと、ハイフレームレートで超高解像度の画像を得るための第２の拡張フォーマットの画像データを得る画像処理ステップと、
上記基本フォーマットの画像データの符号化画像データを含む基本ビデオストリームと、上記第１の拡張フォーマットの画像データの符号化画像データおよび上記第２の拡張フォーマットの画像データの符号化画像データをそれぞれ含む２つの拡張ビデオストリームまたは上記第１の拡張フォーマットの画像データの符号化画像データおよび上記第２の拡張フォーマットの画像データの符号化画像データの両方を含む１つの拡張ビデオストリームを生成する画像符号化ステップと、
送信部により、上記基本ストリームおよび上記２つまたは１つの拡張ビデオストリームを含む所定フォーマットのコンテナを送信する送信ステップを有し、
上記画像処理ステップでは、
上記ハイフレームレートおよび超高解像度の画像データにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して基本フレームレートで超高解像度の第１の画像データを得ると共に、上記時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施して上記第２の拡張フォーマットの画像データを得、さらに、上記第１の画像データにダウンスケール処理を施して上記基本フォーマットの画像データを得ると共に、該基本フォーマットの画像データにアップスケール処理を施して得られた基本フレームレートで超高解像度の第２の画像データと上記第１の画像データとの間の差分をとって上記第１の拡張フォーマットの画像データを得る
送信方法。
（１４）基本フレームレートで高解像度の画像を得るための基本フォーマットの画像データの符号化画像データを持つ基本ビデオストリームと、基本フレームレートで超高解像度の画像を得るための第１の拡張フォーマットの画像データの符号化画像データおよびハイフレームレートで超高解像度の画像を得るための第２の拡張フォーマットの画像データの符号化画像データをそれぞれ持つ２つの拡張ビデオストリームまたは上記第１の拡張フォーマットの画像データの符号化画像データおよび上記第２の拡張フォーマットの画像データの符号化画像データの両方を持つ１つの拡張ビデオストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記第２の拡張フォーマットの画像データは、ハイフレームレートで超高解像度の画像データにおいて時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施して得られたものであり、
上記基本フォーマットの画像データは、上記時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して得られた基本フレームレートで超高解像度の第１の画像データにダウンスケール処理を施して得られたものであり、
上記第１の拡張フォーマットの画像データは、上記基本フォーマットの画像データにアップスケール処理を施して得られた基本フレームレートで超高解像度の第２の画像データと上記第１の画像データとの間の差分をとって得られたものであり、
上記基本ビデオストリームのみを処理して基本フレームレートで高解像度の画像データを得るか、あるいは上記基本ビデオストリームおよび上記拡張ビデオストリームの両方を処理して基本フレームレートで超高解像度の画像データまたはハイフレームレートで超高解像度の画像データを得る処理部をさらに備える
受信装置。
（１５）上記第１の拡張フォーマットの画像データの符号化画像データに、および/または、該符号化画像データに対応したコンテナ位置に、空間スケーラブルの比率を示す情報が挿入されており、
上記処理部は、上記基本フレームレートで超高解像度の画像データを得る場合、上記挿入されている空間スケーラブルの比率を示す情報を用いる
前記（１４）に記載の受信装置。
（１６）上記第１の拡張フォーマットの画像データの符号化画像データに、および/または、該符号化画像データに対応したコンテナ位置に、空間スケーラブルの比率を示す情報が挿入されており、
上記第２の拡張フォーマットの画像データの符号化画像データに、および/または、該符号化画像データに対応したコンテナ位置に上記第１の比率の情報および上記第２の比率の情報が挿入されており、
上記処理部は、上記ハイフレームレートで超高解像度の画像データを得る場合、上記挿入されている空間スケーラブルの比率を示す情報、第１の比率の情報および第２の比率の情報を用いる
前記（１４）に記載の受信装置。
（１７）受信部により、基本フレームレートで高解像度の画像を得るための基本フォーマットの画像データの符号化画像データを持つ基本ビデオストリームと、基本フレームレートで超高解像度の画像を得るための第１の拡張フォーマットの画像データの符号化画像データおよびハイフレームレートで超高解像度の画像を得るための第２の拡張フォーマットの画像データの符号化画像データをそれぞれ持つ２つの拡張ビデオストリームまたは上記第１の拡張フォーマットの画像データの符号化画像データおよび上記第２の拡張フォーマットの画像データの符号化画像データの両方を持つ１つの拡張ビデオストリームを含む所定フォーマットのコンテナを受信する受信ステップを有し、
上記第２の拡張フォーマットの画像データは、ハイフレームレートで超高解像度の画像データにおいて時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施して得られたものであり、
上記基本フォーマットの画像データは、上記時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して得られた基本フレームレートで超高解像度の第１の画像データにダウンスケール処理を施して得られたものであり、
上記第１の拡張フォーマットの画像データは、上記基本フォーマットの画像データにアップスケール処理を施して得られた基本フレームレートで超高解像度の第２の画像データと上記第１の画像データとの間の差分をとって得られたものであり、
上記基本ビデオストリームのみを処理して基本フレームレートで高解像度の画像データを得るか、あるいは上記基本ビデオストリームおよび上記拡張ビデオストリームの両方を処理して基本フレームレートで超高解像度の画像データまたはハイフレームレートで超高解像度の画像データを得る処理ステップをさらに有する
受信方法。
（１８）ハイフレームレートで超高解像度の画像データを処理して基本フレームレートで高解像度の画像を得るための基本フォーマットの画像データと、基本フレームレートで超高解像度の画像を得るための第１の拡張フォーマットの画像データと、ハイフレームレートで超高解像度の画像を得るための第２の拡張フォーマットの画像データを得る画像処理部と、
上記基本フォーマットの画像データの符号化画像データを含む基本ビデオストリームと、上記第１の拡張フォーマットの画像データの符号化画像データおよび上記第２の拡張フォーマットの画像データの符号化画像データをそれぞれ含む２つの拡張ビデオストリームまたは上記第１の拡張フォーマットの画像データの符号化画像データおよび上記第２の拡張フォーマットの画像データの符号化画像データの両方を含む１つの拡張ビデオストリームを生成する画像符号化部と、
上記基本ストリームおよび上記２つまたは１つの拡張ビデオストリームを含む所定フォーマットのコンテナを送信する送信部を備える
送信装置。
（１９）基本フレームレートで高解像度の画像を得るための基本フォーマットの画像データの符号化画像データを持つ基本ビデオストリームと、基本フレームレートで超高解像度の画像を得るための第１の拡張フォーマットの画像データの符号化画像データおよびハイフレームレートで超高解像度の画像を得るための第２の拡張フォーマットの画像データの符号化画像データをそれぞれ持つ２つの拡張ビデオストリームまたは上記第１の拡張フォーマットの画像データの符号化画像データおよび上記第２の拡張フォーマットの画像データの符号化画像データの両方を持つ１つの拡張ビデオストリームを含む所定フォーマットのコンテナを受信する受信部と、
上記基本ビデオストリームのみを処理して基本フレームレートで高解像度の画像データを得るか、あるいは上記基本ビデオストリームおよび上記拡張ビデオストリームの両方を処理して基本フレームレートで超高解像度の画像データまたはハイフレームレートで超高解像度の画像データを得る処理部を備える
受信装置。
【０２２５】
本技術の主な特徴は、基本フレームレートで高解像度の画像を得るための基本フォーマットの画像データの符号化画像データを含む基本ビデオストリームと、基本フレームレートで超高解像度の画像を得るための第１の拡張フォーマットの画像データの符号化画像データとハイフレームレートで超高解像度の画像を得るための第２の拡張フォーマットの画像データの符号化画像データを含む２つまたは１つの拡張ビデオストリームを送信することで、ハイフレームレートで超高解像度の画像データを受信側において下位互換を良好に実現可能としたことである（図５、図６、図１４参照）。
【０２２６】
また、本技術の主な特徴は、基本フォーマットの画像データを、ハイフレームレートで超高解像度の画像データにおいて時間的に連続する２個のピクチャ単位で混合処理を施して得られた基本フレームレートで超高解像度の第１の画像データにダウンスケール処理を施して得ることで、基本ビデオストリームのみを処理して表示される基本フレームレートで高解像度の画像をストロービング効果が抑制された滑らかな画像とすることを可能としたことである（図２０、図２１参照）。
【符号の説明】
【０２２７】
１０・・・送受信システム
３０Ａ，３０Ｂ・・・ＭＰＥＧ−ＤＡＳＨベースのストリーム配信システム
３１・・・ＤＡＳＨストリームファイルサーバ
３２・・・ＤＡＳＨ ＭＰＤサーバ
３３，３３-1〜３３-N・・・サービス受信機
３４・・・ＣＤＮ
３５，３５-1〜３５-M・・・サービス受信機
３６・・・放送送出システム
１００・・・サービス送信システム
１０１・・・制御部
１０２・・・ビデオエンコーダ
１０２ａ，１０２ｂ・・・信号処理部
１０２ｃ・・・符号化処理部
１０３・・・コンテナエンコーダ
１０４・・・送信部
１１１・・・遅延回路
１１２・・・演算回路
１１２ａ，１１２ｂ，１１２ｃ，１１２ｄ・・・係数乗算部
１１２ｅ，１１２ｆ・・・加算部
１１３・・・ラッチ回路
１２１・・・ダウンスケール回路
１２２・・・アップスケール回路
１２３・・・演算回路
２００，２００Ａ，２００Ｂ，２００Ｃ・・・サービス受信機
２０１・・・制御部
２０２・・・受信部
２０３，２０３Ｂ，２０３Ｃ・・・コンテナデコーダ
２０４，２０４Ｂ，２０４Ｃ・・・ビデオデコーダ
２０４ａ，２０４ｂ・・・信号処理部
２０４ｃ・・・復号化処理部
２１１・・・アップスケール回路
２１２・・・演算回路
２４１・・・演算回路
２４１ａ，２４１ｂ，２４１ｃ，２４１ｄ・・・係数乗算部
２４１ｅ，２４１ｆ・・・加算部
２４２・・・スイッチ回路
【図１】
2017056956.tif 000003
【図２】
2017056956.tif 000004
【図３】
2017056956.tif 000005
【図４】
2017056956.tif 000006
【図５】
2017056956.tif 000007
【図６】
2017056956.tif 000008
【図７】
2017056956.tif 000009
【図８】
2017056956.tif 000010
【図９】
2017056956.tif 000011
【図１０】
2017056956.tif 000012
【図１１】
2017056956.tif 000013
【図１２】
2017056956.tif 000014
【図１３】
2017056956.tif 000015
【図１４】
2017056956.tif 000016
【図１５】
2017056956.tif 000017
【図１６】
2017056956.tif 000018
【図１７】
2017056956.tif 000019
【図１８】
2017056956.tif 000020
【図１９】
2017056956.tif 000021
【図２０】
2017056956.tif 000022
【図２１】
2017056956.tif 000023
【図２２】
2017056956.tif 000024
【図２３】
2017056956.tif 000025
【図２４】
2017056956.tif 000026
【図２５】
2017056956.tif 000027
【図２６】
2017056956.tif 000028
【図２７】
2017056956.tif 000029
【図２８】
2017056956.tif 000030
【図２９】
2017056956.tif 000031
【図３０】
2017056956.tif 000032
【図３１】
2017056956.tif 000033
【図３２】
2017056956.tif 000034
【図３３】
2017056956.tif 000035
【図３４】
2017056956.tif 000036
【国際調査報告】
2017056956.tif 000037
2017056956.tif 000038
2017056956.tif 000039
2017056956.tif 000040