(57)【要約】  ノーマルフレームレートおよびハイフレームレートの画像データを良好に伝送する。  ハイフレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して基本フレームレートの画像データを得ると共に、上記時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施してハイフレームレートの拡張フレームの画像データを得る。基準フレームレートの画像データに符号化処理を施して基本ストリームを得ると共に、ハイフレームレートの拡張フレームの画像データに符号化処理を施して拡張ストリームを得る。基本ストリームおよび拡張ストリームを含む所定フォーマットのコンテナを送信する。
2017043504.tif 000002
【特許請求の範囲】
【請求項１】
ハイフレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して基本フレームレートの画像データを得ると共に、上記時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施してハイフレームレートの拡張フレームの画像データを得る画像処理部と、
上記基準フレームレートの画像データに符号化処理を施して基本ストリームを得ると共に、上記ハイフレームレートの拡張フレームの画像データに符号化処理を施して拡張ストリームを得る画像符号化部と、
上記基本ストリームおよび上記拡張ストリームを含む所定フォーマットのコンテナを送信する送信部を備える
送信装置。
【請求項２】
上記画像処理部は、上記基本フレームレートの画像データおよび上記ハイフレームレートの拡張フレームの画像データを一系統の画像データとして上記画像符号化部に供給し、
上記一系統の画像データには、上記基本フレームレートの画像データおよび上記ハイフレームレートの拡張フレームの画像データのそれぞれのフレームを識別するための識別情報が付加されている
請求項１に記載の送信装置。
【請求項３】
上記基本ストリームのレイヤに上記第１の比率を示す混合比情報を挿入すること、および上記拡張ストリームのレイヤに上記第２の比率を示す混合比情報を挿入することの一方または両方を行う情報挿入部をさらに備える
請求項１に記載の送信装置。
【請求項４】
上記基本ストリームおよび上記拡張ストリームはＮＡＬユニット構造を有し、
上記情報挿入部は、
上記混合比情報を持つＳＥＩ  ＮＡＬユニットを、上記基本ストリームおよび/または上記拡張ストリームに挿入する
請求項３に記載の送信装置。
【請求項５】
上記コンテナのレイヤに、上記基本ストリームに含まれる画像データが上記混合処理を施して得られた画像データであることを示す識別情報を挿入する情報挿入部をさらに備える
請求項１に記載の送信装置。
【請求項６】
ハイフレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して基本フレームレートの画像データを得ると共に、上記時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施してハイフレームレートの拡張フレームの画像データを得る画像処理ステップと、
上記基準フレームレートの画像データに符号化処理を施して基本ストリームを得ると共に、上記ハイフレームレートの拡張フレームの画像データに符号化処理を施して拡張ストリームを得る画像符号化ステップと、
送信部により、上記基本ストリームおよび上記拡張ストリームを含む所定フォーマットのコンテナを送信する送信ステップを有する
送信方法。
【請求項７】
基本ストリームおよび拡張ストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記基本ストリームは、ハイフレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して得られた基本フレームレートの画像データに符号化処理を施して得られたものであり、
上記拡張ストリームは、上記時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施して得られたハイフレームレートの拡張フレームの画像データに符号化処理を施して得られたものであり、
上記基本ストリームのみを処理して基本フレームレートの画像データを得るか、あるいは上記基本ストリームおよび上記拡張ストリームの双方を処理してハイフレームレートの画像データを得る処理部をさらに備える
受信装置。
【請求項８】
上記処理部は、上記ハイフレームレートの画像データを得る場合、
上記基本ストリームに復号化処理を施して上記基本フレームレートの画像データを得ると共に、上記拡張ストリームに復号化処理を施して上記ハイフレームレートの拡張フレームの画像データを得る処理と、
上記基本フレームレートの画像データと上記ハイフレームレートの拡張フレームの画像データを合成して上記ハイフレームレートの画像データを得る処理を行う
請求項７に記載の受信装置。
【請求項９】
上記処理部は、上記ハイフレームレートの画像データを得る場合、
上記基本ストリームに復号化処理を施して上記基本フレームレートの画像データを得ると共に、上記拡張ストリームに復号化処理を施して上記ハイフレームレートの拡張フレームの画像データを得る処理と、
上記基本フレームレートの画像データおよび上記ハイフレームレートの拡張フレームの画像データに上記混合処理の逆処理を施して、上記時間的に連続する２個のピクチャ単位の一方および他方のピクチャの画像データを得る処理と、
上記時間的に連続する２個のピクチャ単位の一方および他方のピクチャの画像データを合成して上記ハイフレームレートの画像データを得る処理を行う
請求項７に記載の受信装置。
【請求項１０】
受信部により、基本ストリームおよび拡張ストリームを含む所定フォーマットのコンテナを受信する受信ステップを有し、
上記基本ストリームは、ハイフレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して得られた基本フレームレートの画像データに符号化処理を施して得られたものであり、
上記拡張ストリームは、上記時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施して得られたハイフレームレートの拡張フレームの画像データに符号化処理を施して得られたものであり、
上記基本ストリームのみを処理して上記基本フレームレートの画像データを得るか、あるいは上記基本ストリームおよび上記拡張ストリームの双方を処理して上記ハイフレームレートの画像データを得る処理ステップをさらに有する
受信方法。
【請求項１１】
第１のフレームおよび第２のフレームが交互に連続したハイフレームレートの画像データにおいて、上記第１のフレームの画像データと該第１のフレームに続く上記第２のフレームの画像データに第１の比率の混合処理を施して基本フレームレートの画像データを得ると共に、上記第２のフレームの画像データと該第２のフレームに続く上記第１のフレームの画像データに第２の比率の混合処理を施してハイフレームレートの拡張フレームの画像データを得る画像処理部と、
上記基準フレームレートの画像データに符号化処理を施して基本ストリームを得ると共に、上記ハイフレームレートの拡張フレームの画像データに符号化処理を施して拡張ストリームを得る画像符号化部と、
上記基本ストリームおよび上記拡張ストリームを含む所定フォーマットのコンテナを送信する送信部を備える
送信装置。
【請求項１２】
上記画像処理部は、上記基本フレームレートの画像データおよび上記ハイフレームレートの拡張フレームの画像データを一系統の画像データとして上記画像符号化部に供給し、
上記一系統の画像データには、上記基本フレームレートの画像データおよび上記ハイフレームレートの拡張フレームの画像データのそれぞれのフレームを識別するための識別情報が付加されている
請求項１１に記載の送信装置。
【請求項１３】
上記基本ストリームのレイヤに上記第１の比率を示す混合比情報を挿入すること、および上記拡張ストリームのレイヤに上記第２の比率を示す混合比情報を挿入することの一方または両方を行う情報挿入部をさらに備える
請求項１１に記載の送信装置。
【請求項１４】
上記基本ストリームおよび上記拡張ストリームはＮＡＬユニット構造を有し、
上記情報挿入部は、
上記混合比情報を持つＳＥＩ  ＮＡＬユニットを、上記基本ストリームおよび/または上記拡張ストリームに挿入する
請求項１３に記載の送信装置。
【請求項１５】
上記コンテナのレイヤに、上記基本ストリームに含まれる画像データが上記混合処理を施して得られた画像データであることを示す識別情報を挿入する情報挿入部をさらに備える
請求項１１に記載の送信装置。
【請求項１６】
第１のフレームおよび第２のフレームが交互に連続したハイフレームレートの画像データにおいて、上記第１のフレームの画像データと該第１のフレームに続く上記第２のフレームの画像データに第１の比率の混合処理を施して基本フレームレートの画像データを得ると共に、上記第２のフレームの画像データと該第２のフレームに続く上記第１のフレームの画像データに第２の比率の混合処理を施してハイフレームレートの拡張フレームの画像データを得る画像処理ステップと、
上記基準フレームレートの画像データに符号化処理を施して基本ストリームを得ると共に、上記ハイフレームレートの拡張フレームの画像データに符号化処理を施して拡張ストリームを得る画像符号化ステップと、
送信部により、上記基本ストリームおよび上記拡張ストリームを含む所定フォーマットのコンテナを送信する送信ステップを有する
送信方法。
【請求項１７】
基本ストリームおよび拡張ストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記基本ストリームは、第１のフレームおよび第２のフレームが交互に連続したハイフレームレートの画像データにおいて、上記第１のフレームの画像データと該第１のフレームに続く上記第２のフレームの画像データに第１の比率の混合処理を施して得られた基本フレームレートの画像データに符号化処理を施して得られたものであり、
上記拡張ストリームは、上記ハイフレームレートの画像データにおいて、上記第２のフレームの画像データと該第２のフレームに続く上記第１のフレームの画像データに第２の比率の混合処理を施して得られたハイフレームレートの拡張フレームの画像データに符号化処理を施して得られたものであり、
上記基本ストリームのみを処理して上記基本フレームレートの画像データを得るか、あるいは上記基本ストリームおよび上記拡張ストリームの双方を処理してハイフレームレートの画像データを得る処理部をさらに備える
受信装置。
【請求項１８】
上記処理部は、上記ハイフレームレートの画像データを得る場合、
上記基本ストリームに復号化処理を施して上記基本フレームレートの画像データを得ると共に、上記拡張ストリームに復号化処理を施して上記ハイフレームレートの拡張フレームの画像データを得る処理と、
上記基本フレームレートの画像データと上記ハイフレームレートの拡張フレームの画像データを合成して上記ハイフレームレートの画像データを得る処理を行う
請求項１７に記載の受信装置。
【請求項１９】
受信部により、基本ストリームおよび拡張ストリームを含む所定フォーマットのコンテナを受信する受信ステップを有し、
上記基本ストリームは、第１のフレームおよび第２のフレームが交互に連続したハイフレームレートの画像データにおいて、上記第１のフレームの画像データと該第１のフレームに続く上記第２のフレームの画像データに第１の比率の混合処理を施して得られた基本フレームレートの画像データに符号化処理を施して得られたものであり、
上記拡張ストリームは、上記ハイフレームレートの画像データにおいて、上記第２のフレームの画像データと該第２のフレームに続く上記第１のフレームの画像データに第２の比率の混合処理を施して得られたハイフレームレートの拡張フレームの画像データに符号化処理を施して得られたものであり、
上記基本ストリームのみを処理して上記基本フレームレートの画像データを得るか、あるいは上記基本ストリームおよび上記拡張ストリームの双方を処理してハイフレームレートの画像データを得る処理ステップをさらに有する
受信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、送信装置、送信方法、受信装置および受信方法に関し、詳しくは、ハイフレームレート（High Frame Rate）の動画像データを送信する送信装置等に関する。
【背景技術】
【０００２】
近年、高速フレームシャッターでハイフレームレート撮影を行うカメラが知られている。例えば、ノーマルフレームレートが６０ｆｐｓ、５０ｆｐｓなどであるのに対して、ハイフレームレートはその数倍あるいは数十倍、さらには数百倍のフレームレートとなる。【０００３】
ハイフレームレートのサービスを行う場合、高速フレームシャッターでカメラ撮りされた動画像データを、それよりも低周波数の動画像シーケンスに変換して送信することが考えられる。しかし、高速フレームシャッターの画像は、動きボケを改善し、先鋭度の高い画質を実現する効果がある一方で、受信再生側の従来のフレーム補間技術に画質的な問題を引き起こす要素をもつ。【０００４】
高速フレームシャッターで撮影された先鋭度の高い画像を用いたフレーム補間は、動きベクトル探索が適合する場合と適合しない場合との差が大きくなる。そのため、両者の差が顕著な画質劣化となって表示されるためである。フレーム補間時に、動きベクトル探索の精度を向上させるためには高負荷演算が要求されるが、受信機コストに影響を及ぼす。【０００５】
本出願人は、先に、高速フレームシャッターで撮影された画像による素材を変換して、ノーマルフレームレートのデコードを行う従来の受信機で一定以上の画品質で表示させる技術を提案した（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】国際公開第２０１５/０７６２７７号
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本技術の目的は、ノーマルフレームレートおよびハイフレームレートの画像データを良好に伝送することにある。
【課題を解決するための手段】
【０００８】
本技術の概念は、
ハイフレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して基本フレームレートの画像データを得ると共に、上記時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施してハイフレームレートの拡張フレームの画像データを得る画像処理部と、
上記基準フレームレートの画像データに符号化処理を施して基本ストリームを得ると共に、上記ハイフレームレートの拡張フレームの画像データに符号化処理を施して拡張ストリームを得る画像符号化部と、
上記基本ストリームおよび上記拡張ストリームを含む所定フォーマットのコンテナを送信する送信部を備える
送信装置にある。【０００９】
本技術において、画像処理部により、ハイフレームレートの画像データから基本フレームレートの画像データおよびハイフレームレートの拡張フレームの画像データが得られる。ここで、基本フレームレートの画像データは、所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理が施されることで得られる。ハイフレームレートの拡張フレームの画像データは、上記時間的に連続する２個のピクチャ単位で第２の比率の混合処理が施されることで得られる。【００１０】
画像符号化部により、基準フレームレートの画像データに符号化処理が施されて基本ストリームが得られると共に、ハイフレームレートの拡張フレームの画像データに符号化処理が施されて拡張ストリームが得られる。送信部により、基本ストリームおよび拡張ストリームを含む所定フォーマットのコンテナが送信される。例えば、画像処理部は、基本フレームレートの画像データおよびハイフレームレートの拡張フレームの画像データを一系統の画像データとして画像符号化部に供給し、この一系統の画像データには基本フレームレートの画像データおよびハイフレームレートの拡張フレームの画像データのそれぞれのフレームを識別するための識別情報が付加されている、ようにされてもよい。【００１１】
このように本技術においては、ハイフレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して開口率が高められた基本フレームレートの画像データを得、この基本フレームレートの画像データに符号化処理を施して得られた基本ストリームが送信される。そのため、基本フレームレートの画像データを処理可能なデコード能力がある受信機の場合、この基本ストリームを処理して基本フレームレートの画像データを得ることで、動画像として滑らかな画像を表示でき、また、表示処理において低負荷演算によるフレーム補間処理で画質的な問題を引き起こすことが回避可能となる。【００１２】
また、本技術においては、基本ストリームと共に、上記時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施して得られたハイフレームレートの拡張フレームの画像データを含む拡張ストリームが送信される。そのため、ハイフレームレートの画像データを処理可能なデコード能力がある受信機の場合、この拡張ストリームを処理してハイフレームレートの拡張フレームの画像データを得、基本フレームレートの画像データと合成してハイフレームレートの画像データを得ることで、ハイフレームレートの画像表示を良好に行うことができる。【００１３】
なお、本技術において、例えば、基本ストリームのレイヤに第１の比率を示す混合比情報を挿入すること、および拡張ストリームのレイヤに第２の比率を示す混合比情報を挿入することの一方または両方を行う情報挿入部をさらに備える、ようにされてもよい。この場合、例えば、基本ストリームおよび拡張ストリームはＮＡＬユニット構造を有し、情報挿入部は、混合比情報を持つＳＥＩ  ＮＡＬユニットを、基本ストリームおよび/または拡張ストリームに挿入する、ようにされてもよい。このように拡張ストリームのレイヤに混合比情報が挿入されることで、受信側では、基本フレームレートの画像データやハイフレームレートの拡張フレームの画像データがいかなる混合比で混合されたものであるかを容易に認識可能となる。例えば、この混合比情報を用いて混合処理の逆の処理を容易かつ適切に行うことが可能となる。【００１４】
また、本技術において、例えば、コンテナのレイヤに基本ストリームに含まれる画像データが混合処理を施して得られた画像データであることを示す識別情報を挿入する情報挿入部をさらに備える、ようにされてもよい。この場合、受信側では、基本ストリームに含まれる画像データが混合処理を施して得られた画像データであることを、識別情報から容易に認識可能となる。【００１５】
また、本技術の他の概念は、
基本ストリームおよび拡張ストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記基本ストリームは、ハイフレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して得られた基本フレームレートの画像データに符号化処理を施して得られたものであり、
上記拡張ストリームは、上記時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施して得られたハイフレームレートの拡張フレームの画像データに符号化処理を施して得られたものであり、
上記基本ストリームのみを処理して基本フレームレートの画像データを得るか、あるいは上記基本ストリームおよび上記拡張ストリームの双方を処理してハイフレームレートの画像データを得る処理部をさらに備える
受信装置にある。【００１６】
本技術において、受信部により、基本ストリームおよび拡張ストリームを含む所定フォーマットのコンテナが受信される。基本ストリームは、ハイフレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して得られた基本フレームレートの画像データ符号化処理を施して得られたものである。拡張ストリームは、上記時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施して得られたハイフレームレートの拡張フレームの画像データに符号化処理を施して得られたものである。【００１７】
処理部により、基本ストリームのみが処理されて基本フレームレートの画像データが得られるか、あるいは基本ストリームおよび拡張ストリームの双方が処理されてハイフレームレートの画像データが得られる。【００１８】
例えば、処理部は、ハイフレームレートの画像データを得る場合、基本ストリームに復号化処理を施して基本フレームレートの画像データを得ると共に、拡張ストリームに復号化処理を施してハイフレームレートの拡張フレームの画像データを得る処理と、基本フレームレートの画像データとハイフレームレートの拡張フレームの画像データを合成してハイフレームレートの画像データを得る処理を行う、ようにされてもよい。この場合、ハイフレームレートの画像データを簡単に得ることが可能となる。【００１９】
また、例えば、処理部は、ハイフレームレートの画像データを得る場合、基本ストリームに復号化処理を施して基本フレームレートの画像データを得ると共に、拡張ストリームに復号化処理を施してハイフレームレートの拡張フレームの画像データを得る処理と、基本フレームレートの画像データおよびハイフレームレートの拡張フレームの画像データに混合処理の逆処理を施して、上記時間的に連続する２個のピクチャ単位の一方および他方のピクチャの画像データを得る処理と、この時間的に連続する２個のピクチャ単位の一方および他方のピクチャの画像データを合成してハイフレームレートの画像データを得る処理を行う、ようにされてもよい。この場合、混合処理の逆処理が施されることから、最終的に得られるハイフレームレートの画像データは元のシャッター開口率が再現されたものとなり、ハイフレームレートの画像表示における画質向上が可能となる。【００２０】
このように本技術においては、基本フレームレートの画像データを処理可能なデコード能力がある場合、基本ストリームのみが処理されて基本フレームレートの画像データが得られる。この基本フレームレートの画像データは、ハイフレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理が施されて得られたものであり、開口率が高められている。そのため、動画像として滑らかな画像を表示でき、また、表示処理において低負荷演算によるフレーム補間処理で画質的な問題を引き起こすことが回避可能となる。【００２１】
また、本技術においては、ハイフレームレートの画像データを処理可能なデコード能力がある場合、基本ストリームが処理されて基本フレームレートの画像データが得られると共に、拡張ストリームが処理されてハイフレームレートの拡張フレームの画像データが得られ、さらにそれらが合成されてハイフレームレートの画像データが得られる。従って、ハイフレームレートの画像表示を良好に行うことができる。【００２２】
また、本技術の他の概念は、
第１のフレームおよび第２のフレームが交互に連続したハイフレームレートの画像データにおいて、上記第１のフレームの画像データと該第１のフレームに続く上記第２のフレームの画像データに第１の比率の混合処理を施して基本フレームレートの画像データを得ると共に、上記第２のフレームの画像データと該第２のフレームに続く上記第１のフレームの画像データに第２の比率の混合処理を施してハイフレームレートの拡張フレームの画像データを得る画像処理部と、
上記基準フレームレートの画像データに符号化処理を施して基本ストリームを得ると共に、上記ハイフレームレートの拡張フレームの画像データに符号化処理を施して拡張ストリームを得る画像符号化部と、
上記基本ストリームおよび上記拡張ストリームを含む所定フォーマットのコンテナを送信する送信部を備える
送信装置にある。【００２３】
本技術において、画像処理部により、ハイフレームレートの画像データから基本フレームレートの画像データおよびハイフレームレートの拡張フレームの画像データが得られる。ここで、基本フレームレートの画像データは、第１のフレームおよび第２のフレームが交互に連続したハイフレームレートの画像データにおいて、第１のフレームの画像データとこの第１のフレームに続く第２のフレームの画像データに第１の比率の混合処理を施して得られる。ハイフレームレートの拡張フレームの画像データは、上記ハイフレームレートの画像データにおいて、第２のフレームの画像データとこの第２のフレームに続く第１のフレームの画像データに第２の比率の混合処理を施して得られる。【００２４】
画像符号化部により、基準フレームレートの画像データに符号化処理が施されて基本ストリームが得られると共に、ハイフレームレートの拡張フレームの画像データに符号化処理が施されて拡張ストリームが得られる。送信部により、基本ストリームおよび拡張ストリームを含む所定フォーマットのコンテナが送信される。例えば、画像処理部は、基本フレームレートの画像データおよびハイフレームレートの拡張フレームの画像データを一系統の画像データとして画像符号化部に供給し、この一系統の画像データには基本フレームレートの画像データおよびハイフレームレートの拡張フレームの画像データのそれぞれのフレームを識別するための識別情報が付加されている、ようにされてもよい。【００２５】
このように本技術においては、第１のフレームおよび第２のフレームが交互に連続したハイフレームレートの画像データにおいて、第１のフレームの画像データとこの第１のフレームに続く第２のフレームの画像データに第１の比率の混合処理を施して得られ、開口率が高められた基本フレームレートの画像データを含む基本ストリームが送信される。そのため、基本フレームレートの画像データを処理可能なデコード能力がある受信機の場合、この基本ストリームを処理して基本フレームレートの画像データを得ることで、動画像として滑らかな画像を表示でき、また、表示処理において低負荷演算によるフレーム補間処理で画質的な問題を引き起こすことが回避可能となる。【００２６】
また、本技術においては、基本ストリームと共に、上記ハイフレームレートの画像データにおいて、第２のフレームの画像データとこの第２のフレームに続く第１のフレームの画像データに第２の比率の混合処理を施して得られたハイフレームレートの拡張フレームの画像データを含む拡張ストリームが送信される。そのため、ハイフレームレートの画像データを処理可能なデコード能力がある受信機の場合、この拡張ストリームを処理してハイフレームレートの拡張フレームの画像データを得、基本フレームレートの画像データと合成してハイフレームレートの画像データを得ることで、ハイフレームレートの画像表示を良好に行うことができる。【００２７】
ここで、基本フレームレートの画像データは第１のフレームの画像データとこの第１のフレームに続く第２のフレームの画像データに混合処理を施して得られたものであり、ハイフレームレートの拡張フレームの画像データは第２のフレームの画像データとこの第２のフレームに続く第１のフレームの画像データに第２の比率の混合処理を施して得られたものであり、合成して得られたハイフレームレートの画像データのフレーム連続性がよく、ハイフレームレートの画像表示を滑らかに行うことができる。【００２８】
なお、本技術において、例えば、基本ストリームのレイヤに第１の比率を示す混合比情報を挿入すること、および拡張ストリームのレイヤに第２の比率を示す混合比情報を挿入することの一方または両方を行う情報挿入部をさらに備える、ようにされてもよい。この場合、例えば、基本ストリームおよび拡張ストリームはＮＡＬユニット構造を有し、情報挿入部は、混合比情報を持つＳＥＩ  ＮＡＬユニットを、基本ストリームおよび/または拡張ストリームに挿入する、ようにされてもよい。このように拡張ストリームのレイヤに混合比情報が挿入されることで、受信側では、基本フレームレートの画像データやハイフレームレートの拡張フレームの画像データがいかなる混合比で混合されたものであるかを容易に認識可能となる。【００２９】
また、本技術において、例えば、コンテナのレイヤに基本ストリームに含まれる画像データが混合処理を施して得られた画像データであることを示す識別情報を挿入する情報挿入部をさらに備える、ようにされてもよい。この場合、受信側では、基本ストリームに含まれる画像データが混合処理を施して得られた画像データであることを、識別情報から容易に認識可能となる。【００３０】
また、本技術の他の概念は、
基本ストリームおよび拡張ストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記基本ストリームは、第１のフレームおよび第２のフレームが交互に連続したハイフレームレートの画像データにおいて、上記第１のフレームの画像データと該第１のフレームに続く上記第２のフレームの画像データに第１の比率の混合処理を施して得られた基本フレームレートの画像データに符号化処理を施して得られたものであり、
上記拡張ストリームは、上記ハイフレームレートの画像データにおいて、上記第２のフレームの画像データと該第２のフレームに続く上記第１のフレームの画像データに第２の比率の混合処理を施して得られたハイフレームレートの拡張フレームの画像データに符号化処理を施して得られたものであり、
上記基本ストリームのみを処理して上記基本フレームレートの画像データを得るか、あるいは上記基本ストリームおよび上記拡張ストリームの双方を処理してハイフレームレートの画像データを得る処理部をさらに備える
受信装置にある。【００３１】
本技術において、受信部により、基本ストリームおよび拡張ストリームを含む所定フォーマットのコンテナが受信される。基本ストリームは、第１のフレームおよび第２のフレームが交互に連続したハイフレームレートの画像データにおいて、第１のフレームの画像データとこの第１のフレームに続く第２のフレームの画像データに第１の比率の混合処理を施して得られた基本フレームレートの画像データに符号化処理が施されて得られたものである。拡張ストリームは、上記ハイフレームレートの画像データにおいて、第２のフレームの画像データとこの第２のフレームに続く第１のフレームの画像データに第２の比率の混合処理を施して得られたハイフレームレートの拡張フレームの画像データに符号化処理が施されて得られたものである。【００３２】
処理部により、基本ストリームのみが処理されて基本フレームレートの画像データが得られるか、あるいは基本ストリームおよび拡張ストリームの双方が処理されてハイフレームレートの画像データが得られる。【００３３】
例えば、処理部は、ハイフレームレートの画像データを得る場合、基本ストリームに復号化処理を施して基本フレームレートの画像データを得ると共に、拡張ストリームに復号化処理を施してハイフレームレートの拡張フレームの画像データを得る処理と、基本フレームレートの画像データとハイフレームレートの拡張フレームの画像データを合成してハイフレームレートの画像データを得る処理を行う、ようにされてもよい。この場合、ハイフレームレートの画像データを簡単に得ることが可能となる。【００３４】
このように本技術においては、基本フレームレートの画像データを処理可能なデコード能力がある場合、基本ストリームのみが処理されて基本フレームレートの画像データが得られる。この基本フレームレートの画像データは、第１のフレームおよび第２のフレームが交互に連続したハイフレームレートの画像データにおいて、第１のフレームの画像データとこの第１のフレームに続く第２のフレームの画像データに第１の比率の混合処理を施して得られたものであり、開口率が高められている。そのため、動画像として滑らかな画像を表示でき、また、表示処理において低負荷演算によるフレーム補間処理で画質的な問題を引き起こすことが回避可能となる。【００３５】
また、本技術においては、ハイフレームレートの画像データを処理可能なデコード能力がある場合、基本ストリームが処理されて基本フレームレートの画像データが得られると共に、拡張ストリームが処理されてハイフレームレートの拡張フレームの画像データが得られ、さらにそれらが合成されてハイフレームレートの画像データが得られる。従って、ハイフレームレートの画像表示を良好に行うことができる。【００３６】
ここで、基本フレームレートの画像データは第１のフレームの画像データとこの第１のフレームに続く第２のフレームの画像データに混合処理を施して得られたものであり、ハイフレームレートの拡張フレームの画像データは第２のフレームの画像データとこの第２のフレームに続く第１のフレームの画像データに第２の比率の混合処理を施して得られたものであり、合成して得られたハイフレームレートの画像データのフレーム連続性がよく、ハイフレームレートの画像表示を滑らかに行うことができる。
【発明の効果】
【００３７】
本技術によれば、ノーマルフレームレート（基本フレームレート）およびハイフレームレートの画像データを良好に伝送することが可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００３８】
【図１】実施の形態としての送受信システムの構成例を示すブロック図である。
【図２】混合比によって変化するシャッター開口率を説明するための図である。
【図３】送信装置および受信装置の処理の概要を示す図である。
【図４】送信装置の構成例を示すブロック図である。
【図５】プリプロセッサの構成例を示すブロック図である。
【図６】プリプロセッサの入力データ（画像データＰ）と、その出力データ（画像データＱｂ，Ｑｅ）との関係の一例を示す図である。
【図７】インバース・ブレンディング・レイヤ・プリディクション・ＳＥＩの構造例と、その構造例における主要な情報の内容を示す図である。
【図８】ビデオ・スケーラビリティ・インフォメーション・デスクリプタの構造例と、その構造例における主要な情報の内容を示す図である。
【図９】トランスポートストリームＴＳの構成例を示す図である。
【図１０】受信装置（ハイフレームレート対応）の構成例を示すブロック図である。
【図１１】ポストプロセッサの構成例を示すブロック図である。
【図１２】ポストプロセッサの他の構成例を示すブロック図である。
【図１３】受信装置（ノーマルフレームレート対応）の構成例を示すブロック図である。
【図１４】プリプロセッサの他の構成例を示すブロック図である。
【図１５】プリプロセッサの入力データ（画像データＰ）と、その出力データ（画像データＱｂ，Ｑｅ）との関係の一例を示す図である。
【発明を実施するための形態】
【００３９】
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例
【００４０】
＜１．実施の形態＞
［送受信システム］
図１は、実施の形態としての送受信システム１０の構成例を示している。この送受信システム１０は、送信装置１００と、受信装置２００とを有する構成となっている。
【００４１】
送信装置１００は、コンテナとしてのトランスポートストリームＴＳを放送波に載せて送信する。このトランスポートストリームＴＳには、ハイフレームレート、この実施の形態においては１２０ｆｐｓの画像データ（動画像データ）が処理されて得られた基本ストリーム（基本ビデオストリーム）および拡張ストリーム（拡張ビデオストリーム）が含まれる。この実施の形態において、基本ストリームおよび拡張ストリームは、ＮＡＬユニット構造を有するものとされる。
【００４２】
ここで、基本ストリームは、ハイフレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して得られた基本フレームレート（ノーマルフレームレート）の画像データに符号化処理を施して得られたものである。この基本ストリームには、基本フレームレートの画像データのピクチャ毎の符号化画像データがアクセスユニットとして含まれる。この基本フレームレートの画像データは、６０ｆｐｓの画像データである。
【００４３】
また、拡張ストリームは、上記時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施して得られたハイフレームレートの拡張フレームの画像データに符号化処理を施して得られたものである。この拡張ストリームには、ハイフレームレートの拡張フレームの画像データのピクチャ毎の符号化画像データがアクセスユニットとして含まれる。このハイフレームレートの拡張フレームの画像データは、６０ｆｐｓの画像データである。
【００４４】
ここで、ハイフレームレートの画像データは、図２（ａ）に示すように、オリジナル画像シーケンス（高速シャッター画像シーケンス）であるとする。図において、“Ａ” ，“Ｂ”は、それぞれ、時間的に連続する２個のピクチャ単位で１番目のピクチャの画像データ、２番目のピクチャの画像データを示している。このオリジナル画像シーケンスのシャッター開口率は１（１００％）である。図示しないが、このハイフレームレートの画像データから単に抽出される“Ａ”あるいは“Ｂ”の画像シーケンスのシャッター開口率は１/２（５０％）である。
【００４５】
これに対して、図２（ｂ）〜（ｄ）に示すように、２個のピクチャ単位で混合処理を施して得られた混合画像シーケンスのシャッター開口率は、１/２（５０％）から１（１００％）までの間となる。図において、“Ｃ”は、２個のピクチャ単位で第１の比率で混合処理をして得られる基本フレームレートの画像データを示し、“Ｄ”は、２個のピクチャ単位で第２の比率で混合処理をして得られるハイフレームレートの拡張フレームの画像データを示している。ここでは、“Ｃ”の混合画像シーケンスに着目している。
【００４６】
例えば、図２（ｂ）に示すように、１番目のピクチャの係数αが１で、２番目のピクチャの係数βが０であるとき、混合画像シーケンスのシャッター開口率は１/２（５０％）である。また、例えば、図２（ｃ）に示すように、１番目のピクチャの係数αが３/４で、２番目のピクチャの係数βが１/４であるとき、混合画像シーケンスのシャッター開口率は３/４（７５％）である。また、例えば、図２（ｄ）に示すように、１番目のピクチャの係数αが１/２で、２番目のピクチャの係数βが１/２であるとき、混合画像シーケンスのシャッター開口率は１（１００％）である。
【００４７】
基本ストリームおよび/または拡張ストリームのレイヤに、混合処理における混合比情報が挿入される。この場合、基本ストリームのレイヤには第１の比率を示す混合比情報が挿入され、拡張ストリームのレイヤには第２の比率を示す混合比情報が挿入される。例えば、混合比情報は、２個のピクチャ単位における１番目のピクチャの係数αと２番目のピクチャの係数βの情報とされる。この実施の形態において、混合比情報を持つＳＥＩ  ＮＡＬユニットが、基本ストリームおよび/または拡張ストリームに挿入される。受信側では、この混合比情報により、基本フレームレートの画像データやハイフレームレートの拡張フレームの画像データがいかなる混合比で混合されたものであるかを容易に認識可能となる。
【００４８】
コンテナのレイヤに、基本ストリームに含まれる画像データが混合処理を施して得られた画像データであることを示す識別情報が挿入される。この実施の形態においては、プログラムマップテーブル（ＰＭＴ：Program Map Table）の配下に拡張ストリームに対応して配置されたビデオエレメンタリストリームループの中に、識別情報が記述されたデスクリプタ（Descriptor）が挿入される。受信側では、基本ストリームに含まれる画像データが混合処理を施して得られた画像データであることを、識別情報から容易に認識可能となる。
【００４９】
受信装置２００は、送信装置１００から放送波に載せて送られてくる上述のトランスポートストリームＴＳを受信する。受信装置２００は、６０ｆｐｓの画像データを処理可能なデコード能力がある場合、トランスポートストリームＴＳに含まれる基本ストリームのみを処理して、基本フレームレート（６０ｆｐｓ）の画像データを得て、画像再生を行う。
【００５０】
一方、受信装置２００は、１２０ｆｐｓの画像データを処理可能なデコード能力がある場合、トランスポートストリームＴＳに含まれる基本ストリームおよび拡張ストリームの双方を処理して、ハイフレームレート（１２０ｆｐｓ）の画像データを得て、画像再生を行う。
【００５１】
この場合、例えば、受信装置２００は、基本ストリームに復号化処理を施して基本フレームレートの画像データを得ると共に、拡張ストリームに復号化処理を施してハイフレームレートの拡張フレームの画像データを得た後、基本フレームレートの画像データとハイフレームレートの拡張フレームの画像データを合成してハイフレームレートの画像データを得る。この場合には、ハイフレームレートの画像データを簡単に得ることができる。
【００５２】
また、この場合、例えば、受信装置２００は、基本フレームレートの画像データおよびハイフレームレートの拡張フレームの画像データを得た後、これらの画像データに混合処理の逆処理を施して、上記時間的に連続する２個のピクチャ単位の一方および他方のピクチャの画像データを得て、それらの画像データを合成してハイフレームレートの画像データを得る。この場合には、混合処理の逆処理が施されることから、最終的に得られるハイフレームレートの画像データは元のシャッター開口率が再現されたものとなり、ハイフレームレートの画像表示における画質向上が可能となる。
【００５３】
図３は、送信装置１００および受信装置２００の処理の概要を示している。送信装置１００には、１２０Ｐシーケンスの画像データＰが入力される。この送信装置１００では、プリプロセッサ１０１において、画像データＰが処理されて、基本フレームレートの画像データＱｂと、ハイフレームレートの拡張フレームの画像データＱｅが得られる。そして、送信装置１００では、エンコーダ１０２において、画像データＱｂ、Ｑｅに符号化処理が施されて、基本ストリームＳＴｂと、拡張ストリームＳＴｅが得られる。送信装置１００から受信装置２００には、これらの２つのストリームＳＴｂ，ＳＴｅが送信される。
【００５４】
１２０ｆｐｓの画像データを処理可能なデコード能力がある受信装置２００Ａでは、デコーダ２０３において、２つのストリームＳＴｂ，ＳＴｅに復号化処理が施されて、基本フレームレートの画像データＱｂ´と、ハイフレームレートの拡張フレームの画像データＱｅ´が得られる。そして、受信装置２００Ａでは、ポストプロセッサ２０４において、画像データＱｂ´、Ｑｅ´が処理されて、１２０Ｐシーケンスの画像データＰ´が得られる。
【００５５】
一方、６０ｆｐｓの画像データを処理可能なデコード能力がある受信装置２００Ｂでは、デコーダ２０３Ｂにおいて、ストリームＳＴｂに復号化処理が施されて、基本フレームレートの画像データＱｂ´が得られる。そして、受信装置２００Ｂでは、この画像データＱｂ´がそのまま６０Ｐシーケンスの画像データとなる。
【００５６】
「送信装置の構成」
図４は、送信装置１００の構成例を示している。この送信装置１００は、プリプロセッサ１０１と、エンコーダ１０２と、マルチプレクサ１０３と、送信部１０４を有している。プリプロセッサ１０１は、１２０ｆｐｓの画像データＰを入力して、基本フレームレートの画像データＱｂと、ハイフレームレートの拡張フレームの画像データＱｅを出力する。
【００５７】
ここで、プリプロセッサ１０１は、１２０ｆｐｓの画像データＰにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して基本フレームレートの画像データＱｂを得る。また、このプリプロセッサ１０１は、上記時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施してハイフレームレートの拡張フレームの画像データＱｅを得る。
【００５８】
図５（ａ）は、プリプロセッサ１０１の構成例を示している。このプリプロセッサ１０１は、１２０ｆｐｓの1フレーム分遅延させる遅延回路１１１，１１４と、演算回路１１２と、切り替え回路１１５を有している。また、演算回路１１２は、係数乗算部１１２ａ，１１２ｂ，１１２ｃ，１１２ｄと、加算部１１２ｅ，１１２ｆを有している。
【００５９】
係数乗算部１１２ａ，１１２ｂおよび加算部１１２ｅは、上記時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施すために使用される。係数乗算部１１２ａでは係数ｐが乗算され、係数乗算部１１２ｂでは係数ｑが乗算される。なお、ｐ＝０〜１であって、ｑ＝１−ｐである。また、係数乗算部１１２ｃ，１１２ｄおよび加算部１１２ｆは、上記時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施すために使用される。係数乗算部１１２ｃでは係数ｒが乗算され、係数乗算部１１２ｄでは係数ｓが乗算される。なお、ｒ＝０〜１であって、ｓ＝１−ｒである。
【００６０】
１２０ｆｐｓの画像データＰは、遅延回路１１１で１フレーム遅延された後、演算回路１１２を構成する係数乗算部１１２ａ，１１２ｃに入力される。また、１２０ｆｐｓの画像データＰは、そのまま演算回路１１２を構成する係数乗算部１１２ｂ，１１２ｄに入力される。係数乗算部１１２ａ，１１２ｂの出力は加算部１１２ｅに入力されて加算される。また、係数乗算部１１２ｃ，１１２ｄの出力は加算部１１２ｆに入力されて加算される。
【００６１】
ここで、画像データＰの時間的に連続する２個のピクチャの画像データをＡ，Ｂとするとき、遅延回路１１１の出力がＡとなるタイミングで、加算部１１２ｅの出力としてＣ（＝ｐ＊Ａ＋ｑ＊Ｂ）の混合出力が得られると共に、加算部１１２ｆの出力としてＤ（＝ｒ＊Ａ＋ｓ＊Ｂ）の混合出力が得られる。図５（ｂ）は、演算回路１１２における混合処理のための演算を数式で表したものである。
【００６２】
演算回路１１２の加算部１１２ｅの出力はそのまま切り替え回路１１５に入力される。一方、演算回路１１２の加算部１１２ｆの出力は、遅延回路１１４で１フレーム遅延された後に、切り替え回路１１５に入力される。切り替え回路１１５には、フラグ信号Ｂ＿ｆｌａｇが切り替え制御信号として供給される。このフラグ信号Ｂ＿ｆｌａｇは、１２０Ｈｚの周期で交互に“１”または“０”となる信号であって、加算部１１２ｅの出力が混合出力Ｃとなるタイミングで“１”となると共に、遅延回路１１４の出力が混合出力Ｄとなるタイミングで“０”となる。
【００６３】
切り替え回路１１５では、フラグ信号Ｂ＿ｆｌａｇが“１”のとき加算部１１２ｅの出力である混合出力Ｃが取り出され、フラグ信号Ｂ＿ｆｌａｇが“０”のとき遅延回路１１４の出力である混合出力Ｄが取り出される。ここで、混合出力Ｃは、画像データＰにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施した基本フレームレートの画像データＱｂを構成する。また、混合出力Ｄは、上記時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施したハイフレームレートの拡張フレームの画像データＱｅを構成する。
【００６４】
切り替え回路１１５から画像データＱｂ，Ｑｅが一系統の画像データとして出力され、エンコーダ１０２に送られる。ここで、この一系統の画像データにフラグ信号Ｂ＿ｆｌａｇが付加されて送られる。このフラグ信号Ｂ＿ｆｌａｇにより、エンコーダ１０２では、一系統で送られてくる画像データの現在のフレーム（ピクチャ）が画像データＱｂのフレームであるか画像データＱｅのフレームであるかの識別が可能となる。
【００６５】
図６は、プリプロセッサ１０１の入力データ（１２０ｆｐｓの画像データＰ）と、プリプロセッサ１０１で生成される６０ｆｐｓの画像データＱｂ（混合出力Ｃ），Ｑｅ（混合出力Ｄ）との関係の一例を、模式的に表している。図６（ａ）は画像データＰを示し、図６（ｂ）は画像データＱｂを示し、図６（ｃ）は画像データＱｅを示している。１２０ｆｐｓの画像データＰの各ピクチャの画像データＦ１，Ｆ２，Ｆ３，Ｆ４，Ｆ５，Ｆ６，Ｆ７，Ｆ８，・・・に対応して、基本フレームレート（６０ｆｐｓ）の画像データＱｂの各ピクチャの画像データＦ１´，Ｆ３´，Ｆ５´，・・・と、ハイフレームレートの拡張フレームの画像データＱｅの各ピクチャの画像データＦ２´，Ｆ４´，Ｆ６´，・・・が得られる。
【００６６】
図４に戻って、エンコーダ１０２は、プリプロセッサ１０１で得られる画像データＱｂ，Ｑｅに対して符号化処理を施して、基本ストリームＳＴｂおよび拡張ストリームＳＴｅを生成する。この場合、画像データＱｂ，Ｑｅに対して、例えば、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの予測符号化処理が施される。
【００６７】
エンコーダ１０２は、基本ストリームＳＴｂおよび拡張ストリームＳＴｅのレイヤに、混合処理における混合比情報を挿入する。この場合、基本ストリームＳＴｂのレイヤには第１の比率を示す混合比情報（係数ｐ，ｑ）が挿入され、拡張ストリームＳＴｅのレイヤには第２の比率を示す混合比情報（係数ｒ，ｓ）が挿入される（図５（ａ）、図６参照）。受信側では、この混合比情報により、基本フレームレートの画像データやハイフレームレートの拡張フレームの画像データがいかなる混合比で混合されたものであるかを容易に認識可能となる。
【００６８】
この実施の形態においては、基本ストリームＳＴｂおよび拡張ストリームＳＴｅの各アクセスユニットに混合比情報を持つＳＥＩ  ＮＡＬユニットが挿入される。この場合、エンコーダ１０２は、アクセスユニット（ＡＵ）の“ＳＥＩｓ”の部分に、新規定義する、インバース・ブレンディング・レイヤ・プリディクション・ＳＥＩ（inverse_blending_layer_prediction_SEI）を挿入する。
【００６９】
図７（ａ）は、インバース・ブレンディング・レイヤ・プリディクション・ＳＥＩの構造例(Syntax)を示し、図７（ｂ）は、その構造例における主要な情報の内容（Semantics）を示している。「blend_coef_alpha」の４ビットフィールドは、係数αを示す。「blend_coef_beta」の４ビットフィールドは、係数βを示す。係数α、βは、基本ストリームＳＴｂに挿入するインバース・ブレンディング・レイヤ・プリディクション・ＳＥＩでは上述した係数ｐ、ｑに対応し、拡張ストリームＳＴｅに挿入するインバース・ブレンディング・レイヤ・プリディクション・ＳＥＩでは上述した係数ｒ，ｓに対応する。
【００７０】
図４に戻って、マルチプレクサ１０３は、エンコーダ１０２で生成される基本ストリームＳＴｂおよび拡張ストリームＳＴｅを、ＰＥＳ（Packetized Elementary Stream）パケット化し、さらにトランスポートパケット化して多重し、多重化ストリームとしてのトランスポートストリームＴＳを得る。
【００７１】
また、マルチプレクサ１０３は、トランスポートストリームＴＳのレイヤに、基本ストリームに含まれる画像データが混合処理を施して得られた画像データであることを示す識別情報を挿入する。この場合、マルチプレクサ１０３は、プログラムマップテーブルの配下に拡張ストリームに対応して配置されたビデオエレメンタリストリームループの中に、新規定義する、ビデオ・スケーラビリティ・インフォメーション・デスクリプタ（video_scalability_information_descriptor）を挿入する。
【００７２】
図８（ａ）は、ビデオ・スケーラビリティ・インフォメーション・デスクリプタの構造例（Syntax）を示している。図８（ｂ）は、その構造例における主要な情報の内容（Semantics）を示している。「video_scalability_information_descriptor_tag」の８ビットフィールドは、デスクリプタタイプを示し、ここでは、ビデオ・スケーラビリティ・インフォメーション・デスクリプタであることを示す。「video_scalability_information_descriptor_length」の８ビットフィールドは、デスクリプタの長さ（サイズ）を示し、デスクリプタの長さとして、以降のバイト数を示す。
【００７３】
「temporal_scalable_flag」の１ビットフィールドは、時間スケーラブルのストリームであるかを示すフラグ情報である。例えば、“１”は時間スケーラブルであることを示し、“０”は時間スケーラブルでないことを示す。「picture_blending_for_base_stream_flag」の１ビットフィールドは、基本ストリームにピクチャの混合処理がなされているかを示すフラグ情報である。例えば、“１”は混合処理がなされていることを示し、“０”は混合処理がなされていないことを示す。
【００７４】
「picture_blending_for_base_stream_flag」が“１”であるとき、「blend_coef_alpha」の４ビットフィールド、「blend_coef_beta」の４ビットフィールドが存在する。「blend_coef_alpha」のフィールドは、係数αを示す。「blend_coef_beta」のフィールドは、係数βを示す。
【００７５】
図９は、トランスポートストリームＴＳの構成例を示している。このトランスポートストリームＴＳには、基本ストリーム（ベースストリーム）ＳＴｂと拡張ストリーム（エンハンスストリーム）ＳＴｅの２つのビデオストリームが含まれている。すなわち、この構成例では、基本ストリームＳＴｂのＰＥＳパケット「video PES1」が存在すると共に、拡張ストリームＳＴｅのＰＥＳパケット「video PES2」が存在する。
【００７６】
ＰＥＳパケット「video PES1」およびＰＥＳパケット「video PES2」でコンテナされる各ピクチャの符号化画像データには、インバース・ブレンディング・レイヤ・プリディクション・ＳＥＩ（図７（ａ）参照）が挿入される。
【００７７】
また、トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）の一つとして、ＰＭＴ（Program Map Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。
【００７８】
ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・ループ（Program loop）が存在する。また、ＰＭＴには、各ビデオストリームに関連した情報を持つエレメンタリストリーム・ループが存在する。この構成例では、基本ストリームに対応したビデオエレメンタリストリームループ「video ES1 loop」が存在すると共に、拡張ストリームに対応したビデオエレメンタリストリームループ「video ES2 loop」が存在する。
【００７９】
「video ES1 loop」には、基本ストリーム（video PES1）に対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このストリームタイプは、基本ストリームを示す“０ｘ２４”とされる。
【００８０】
また、「video ES2 loop」には、拡張ストリーム（video PES2）に対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このストリームタイプは、拡張ストリームを示す“０ｘ２ｘ”とされる。また、デスクリプタの一つとして、ビデオ・スケーラビリティ・インフォメーション・デスクリプタ（図８（ａ）参照）が挿入される。
【００８１】
図４に戻って、送信部１０４は、トランスポートストリームＴＳを、例えば、ＱＰＳＫ／ＯＦＤＭ等の放送に適した変調方式で変調し、ＲＦ変調信号を送信アンテナから送信する。
【００８２】
図４に示す送信装置１００の動作を簡単に説明する。プリプロセッサ１０１には、１２０ｆｐｓの画像データＰが入力される。そして、このプリプロセッサ１０１からは、基本フレームレートの画像データＱｂと、ハイフレームレートの拡張フレームの画像データＱｅが出力される。
【００８３】
ここで、プリプロセッサ１０１では、１２０ｆｐｓの画像データＰにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理が施されて基本フレームレートの画像データＱｂ（６０ｆｐｓ）が得られる。また、このプリプロセッサ１０１では、上記時間的に連続する２個のピクチャ単位で第２の比率の混合処理が施されてハイフレームレートの拡張フレームの画像データＱｅ（６０ｆｐｓ）が得られる。
【００８４】
プリプロセッサ１０１で得られた画像データＱｂ，Ｑｅは、エンコーダ１０２に供給される。エンコーダ１０２では、画像データＱｂ，Ｑｅに対して符号化処理が施されて、基本ストリームＳＴｂおよび拡張ストリームＳＴｅが生成される。このエンコーダ１０２では、基本ストリームＳＴｂおよび拡張ストリームＳＴｅのレイヤに、混合処理における混合比情報が挿入される。この場合、基本ストリームＳＴｂのレイヤには第１の比率を示す混合比情報（係数ｐ，ｑ）が挿入され、拡張ストリームＳＴｅのレイヤには第２の比率を示す混合比情報（係数ｒ，ｓ）が挿入される（図５（ａ）、図６参照）。
【００８５】
具体的には、基本ストリームＳＴｂおよび拡張ストリームＳＴｅの各アクセスユニットの“ＳＥＩｓ”の部分に、インバース・ブレンディング・レイヤ・プリディクション・ＳＥＩ（図７（ａ）参照）が挿入される。
【００８６】
エンコーダ１０２で生成された基本ストリームＳＴｂおよび拡張ストリームＳＴｅは、マルチプレクサ１０３に供給される。マルチプレクサ１０３では、基本ストリームＳＴｂおよび拡張ストリームＳＴｅが、ＰＥＳパケット化され、さらにトランスポートパケット化されて多重され、多重化ストリームとしてのトランスポートストリームＴＳが得られる。
【００８７】
また、マルチプレクサ１０３では、トランスポートストリームＴＳのレイヤに、基本ストリームＳＴｂに含まれる画像データが混合処理を施して得られた画像データであることを示す識別情報が挿入される。具体的には、プログラムマップテーブルの配下に拡張ストリームＳＴｅに対応して配置されたビデオエレメンタリストリームループの中に、ビデオ・スケーラビリティ・インフォメーション・デスクリプタ（図８（ａ）参照）が挿入される。
【００８８】
マルチプレクサ１０３で生成されたトランスポートストリームＴＳは、送信部１０４に送られる。送信部１０４では、このトランスポートストリームＴＳが、例えば、ＱＰＳＫ／ＯＦＤＭ等の放送に適した変調方式で変調され、ＲＦ変調信号が送信アンテナから送信される。
【００８９】
「受信装置の構成」
図１０は、１２０ｆｐｓの動画像データを処理可能なデコード能力がある受信装置２００Ａの構成例を示している。この受信装置２００Ａは、受信部２０１と、デマルチプレクサ２０２と、デコーダ２０３と、ポストプロセッサ２０４と、ディスプレイプロセッサ２０５を有している。
【００９０】
受信部２０１は、受信アンテナで受信されたＲＦ変調信号を復調し、トランスポートストリームＴＳを取得する。デマルチプレクサ２０２は、トランスポートストリームＴＳから、ＰＩＤのフィルタリングによって、基本ストリームＳＴｂおよび拡張ストリームＳＴｅを取り出し、デコーダ２０３に供給する。
【００９１】
また、デマルチプレクサ２０２は、トランスポートストリームＴＳのレイヤに含まれるセクション情報を抽出し、図示しない制御部に送る。この場合、ビデオ・スケーラビリティ・インフォメーション・デスクリプタ（図８（ａ）参照）も抽出される。これにより、制御部は、基本ストリームＳＴｂに含まれる画像データが混合処理を施して得られた画像データであることなどを認識する。
【００９２】
デコーダ２０３は、基本ストリームＳＴｂに復号化処理を施して基本フレームレートの画像データＱｂ´を得ると共に、拡張ストリームＳＴｅに復号化処理を施してハイフレームレートの拡張フレームの画像データＱｅ´を得る。
【００９３】
ここで、画像データＱｂ´は、１２０ｆｐｓの画像データＰにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理が施されて得られた画像データに符号化処理が施され、さらに復号化処理が施されて得られたものである。また、画像データＱｅ´は、上記時間的に連続する２個のピクチャ単位で第２の比率の混合処理が施されて得られた画像データに符号化処理が施され、さらに復号化処理が施されて得られたものである。
【００９４】
また、デコーダ２０３は、基本ストリームＳＴｂ、拡張ストリームＳＴｅを構成する各アクセスユニットに挿入されているパラメータセットやＳＥＩを抽出し、図示しない制御部に送る。この場合、混合比情報を持つインバース・ブレンディング・レイヤ・プリディクション・ＳＥＩ（図７（ａ）参照）も抽出される。これにより、制御部は、基本フレームレートの画像データやハイフレームレートの拡張フレームの画像データがいかなる混合比で混合されたものであるかを容易に認識可能となる。
【００９５】
ポストプロセッサ２０４は、デコーダ２０３で得られる基本フレームレートの画像データＱｂ´およびハイフレームレートの拡張フレームの画像データＱｅ´に処理を施し、１２０ｆｐｓの画像データＰ´を得る。
【００９６】
図１１（ａ）は、ポストプロセッサ２０４の構成例を示している。このポストプロセッサ２０４は、演算回路２４１と、スイッチ回路２４２を有している。また、演算回路２４１は、係数乗算部２４１ａ，２４１ｂ，２４１ｃ，２４１ｄと、加算部２４１ｅ，２４１ｆを有している。演算回路２４１は、図５（ａ）のプリプロセッサ１０１における演算回路１１２における混合処理とは逆の処理（逆混合処理）をする。
【００９７】
係数乗算部２４１ａ，２４１ｂおよび加算部２４１ｅは、画像データＱｂ´および画像データＱｅ´から、上記時間的に連続する２個のピクチャ単位で１番目のピクチャの画像データを得るために使用される。係数乗算部２４１ａでは係数ｕが乗算され、係数乗算部２４１ｂでは係数ｖが乗算される。また、係数乗算部２４１ｃ，２４１ｄおよび加算部２４１ｆは、画像データＱｂ´および画像データＱｅ´から、上記時間的に連続する２個のピクチャ単位で２番目のピクチャの画像データを得るために使用される。係数乗算部２４１ｃでは係数ｗが乗算され、係数乗算部２４１ｄでは係数ｚが乗算される。
【００９８】
基本フレームレートの画像データＱｂ´は、演算回路２４１を構成する係数乗算部２４１ａ，２４１ｃに入力される。また、ハイフレームレートの拡張フレームの画像データＱｅ´は、演算回路２４１を構成する係数乗算部２４１ｂ，２４１ｄに入力される。係数乗算部２４１ａ，２４１ｂの出力は加算部２４１ｅに入力されて加算される。また、係数乗算部２４１ｃ，２４１ｄの出力は加算部２４１ｆに入力されて加算される。
【００９９】
この場合、加算部２４１ｅの出力として上記時間的に連続する２個のピクチャ単位で１番目のピクチャの画像データＡが得られると共に、加算部２４１ｆの出力として上記時間的に連続する２個のピクチャ単位で２番目のピクチャの画像データＢが得られる。図１１（ｂ）は、演算回路２４１における逆混合処理のための演算を数式で表したものである。また、図１１（ｃ）は、係数ｕ，ｖ，ｗ，ｚと係数ｐ，ｑ，ｒ，ｓの対応関係を行列式で示している。
【０１００】
演算回路２４１の加算部２４１ｅ，２４１ｆの出力は、それぞれ、スイッチ回路２４２のａ側、ｂ側の固定端子に入力される。スイッチ回路２４２は、１２０Ｈｚの周期で、ａ側、ｂ側に交互に切り換えられる。このスイッチ回路２４２からは、画像データＡ，Ｂが合成された、１２０ｆｐｓの画像データＰ´が得られる。
【０１０１】
１２０ｆｐｓの画像データＰ´を、上述した図１１（ａ）に示すポストプロセッサ２０４で得る場合、混合処理の逆処理が施されることから、最終的に得られる１２０ｆｐｓの画像データＰ´は元のシャッター開口率が再現されたものとなり、ハイフレームレートの画像表示における画質向上が可能となる。
【０１０２】
図１２は、ポストプロセッサ２０４の他の構成例を示している。このポストプロセッサ２０４は、スイッチ回路２４２を有している。基本フレームレートの画像データＱｂ´は、スイッチ回路２４２のａ側の固定端子に入力される。また、ハイフレームレートの拡張フレームの画像データＱｅ´は、スイッチ回路２４２のｂ側の固定端子に入力される。スイッチ回路２４２は、１２０Ｈｚの周期で、ａ側、ｂ側に交互に切り換えられる。このスイッチ回路２４２からは、画像データＱｂ´（Ｃ）および画像データＱｅ´（Ｄ）が合成された、１２０ｆｐｓの画像データＰ´が得られる。
【０１０３】
１２０ｆｐｓの画像データＰ´を、上述した図１２に示すポストプロセッサ２０４で得る場合、混合処理の逆処理を行う演算を行う必要がないことから、ハイフレームレートの画像データを簡単に得ることが可能となる。
【０１０４】
図１０に戻って、ディスプレイプロセッサ２０５は、ハイフレームレートの画像データＰ´に対して、必要に応じて時間方向の補間処理、つまりフレーム補間処理を施して、１２０ｆｐｓより高いフレームレートの画像データを得て、表示部に供給する。
【０１０５】
図１０に示す受信装置２００Ａの動作を簡単に説明する。受信部２０１では、受信アンテナで受信されたＲＦ変調信号が復調され、トランスポートストリームＴＳが取得される。このトランスポートストリームＴＳは、デマルチプレクサ２０２に送られる。デマルチプレクサ２０２では、トランスポートストリームＴＳから、ＰＩＤのフィルタリングによって、基本ストリームＳＴｂおよび拡張ストリームＳＴｅが取り出され、デコーダ２０３に供給される。
【０１０６】
また、デマルチプレクサ２０２では、トランスポートストリームＴＳのレイヤに含まれるセクション情報が抽出され、図示しない制御部に送られる。ビデオ・スケーラビリティ・インフォメーション・デスクリプタ（図８（ａ）参照）も抽出される。これにより、制御部では、基本ストリームＳＴｂに含まれる画像データが混合処理を施して得られた画像データであることなどが認識される。
【０１０７】
デコーダ２０３では、基本ストリームＳＴｂと拡張ストリームＳＴｅに復号化処理が施されて、基本フレームレートの画像データＱｂ´およびハイフレームレートの拡張フレームの画像データＱｅ´が得られる。また、デコーダ２０３では、基本ストリームＳＴｂ、拡張ストリームＳＴｅを構成する各アクセスユニットに挿入されているパラメータセットやＳＥＩが抽出され、図示しない制御部に送る。これにより、制御部では、基本フレームレートの画像データＱｂ´やハイフレームレートの拡張フレームの画像データＱｅ´がいかなる混合比で混合されたものであるかを容易に認識可能となる。
【０１０８】
デコーダ２０３で得られた基本フレームレートの画像データＱｂ およびハイフレームレートの拡張フレームの画像データＱｅ は、ポストプロセッサ２０４に供給される。このポストプロセッサ２０４では、これらの画像データＱｂ´，Ｑｅ´が処理され、１２０ｆｐｓの画像データＰ´が得られる。
【０１０９】
この画像データＰ´は、ディスプレイプロセッサ２０５に供給される。このディスプレイプロセッサ２０５では、必要に応じて、ハイフレームレートの画像データＱｅ´に対して時間方向の補間処理、つまりフレーム補間処理が施されて、１２０ｆｐｓより高いフレームレートの画像データが得られる。この画像データは、表示部に供給され、画像表示が行われる。
【０１１０】
図１３は、６０ｆｐｓの動画像データを処理可能なデコード能力がある受信装置２００Ｂの構成例を示している。この図１３において、図１０と対応する部分には同一符号を付し、適宜、その詳細説明を省略する。この受信装置２００Ｂは、受信部２０１と、デマルチプレクサ２０２Ｂと、デコーダ２０３Ｂと、ディスプレイプロセッサ２０５Ｂを有している。
【０１１１】
受信部２０１では、受信アンテナで受信されたＲＦ変調信号が復調され、トランスポートストリームＴＳが取得される。デマルチプレクサ２０２Ｂでは、トランスポートストリームＴＳから、ＰＩＤのフィルタリングによって、基本ストリームＳＴｂのみが取り出されて、デコーダ２０３Ｂに供給される。
【０１１２】
デコーダ２０３Ｂでは、基本ストリームＳＴｂに復号化処理が施されて基本フレームレートの画像データＱｂ´が得られる。ここで、画像データＱｂ´は、１２０ｆｐｓの画像データＰにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理が施されて得られた画像データに符号化処理が施され、さらに復号化処理が施されて得られたものである。ディスプレイプロセッサ２０５Ｂでは、６０ｆｐｓの画像データＱｂ´に対して時間方向の補間処理、つまりフレーム補間処理が施されて、６０ｆｐｓより高いフレームレートの画像データが得られる。この画像データは、表示部に供給され、画像表示が行われる。
【０１１３】
以上説明したように、図１に示す送受信システム１０においては、１２０ｆｐｓの画像データＰにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して得られ、開口率が高められた６０ｆｐｓの基本フレームレートの画像データＱｂを含む基本ストリームＳＴｂが送信される。そのため、例えば、受信側では、基本フレームレートの画像データを処理可能なデコード能力がある場合、この基本ストリームＳＴｂを処理して基本フレームレートの画像データを得ることで、動画像として滑らかな画像を表示でき、また、表示処理において低負荷演算によるフレーム補間処理で画質的な問題を引き起こすことを回避できる。
【０１１４】
また、図１に示す送受信システム１０においては、基本ストリームＳＴｂと共に、上記時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施して得られたハイフレームレートの拡張フレームの画像データＱｅを含む拡張ストリームＳＴｅが送信される。そのため、ハイフレームレートの画像データを処理可能なデコード能力がある受信機の場合、この拡張ストリームを処理してハイフレームレートの拡張フレームの画像データを得、基本フレームレートの画像データと合成してハイフレームレートの画像データを得ることで、ハイフレームレートの画像表示を良好に行うことができる。
【０１１５】
＜２．変形例＞
なお、上述実施の形態においては、送信装置１００のプリプロセッサ１０１は、１２０ｆｐｓの画像データＰにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して基本フレームレートの画像データＱｂを得ると共に、上記時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施してハイフレームレートの拡張フレームの画像データＱｅを得る構成となっている（図５（ａ）、図６参照）。
【０１１６】
しかし、このプリプロセッサ１０１は、第１のフレームおよび第２のフレームが交互に連続した１２０ｆｐｓの画像データＰにおいて第１のフレームの画像データとこの第１のフレームに続く第２のフレームの画像データに第１の比率の混合処理を施して基本フレームレートの画像データＱｂを得ると共に、上記１２０ｆｐｓの画像データＰにおいて、第２のフレームの画像データとこの第２のフレームに続く第１のフレームの画像データに第２の比率の混合処理を施してハイフレームレートの拡張フレームの画像データＱｅを得る構成も考えられる。
【０１１７】
図１４は、その場合におけるプリプロセッサ１０１の構成例を示している。この図１４において、図５（ａ）と対応する部分には、同一あるいは対応する符号を付して示している。このプリプロセッサ１０１は、１２０ｆｐｓの1フレーム分遅延させる遅延回路１１１，１１６と、演算回路１１２Ｂと、切り替え回路１１５を有している。また、演算回路１１２Ｂは、係数乗算部１１２ａ，１１２ｂ，１１２ｃ，１１２ｄと、加算部１１２ｅ，１１２ｆを有している。
【０１１８】
係数乗算部１１２ａ，１１２ｂおよび加算部１１２ｅは、第１のフレーム（Ａ）および第２のフレーム（Ｂ）が交互に連続した１２０ｆｐｓの画像データＰにおいて第１のフレーム（Ａ）の画像データとこの第１のフレーム（Ａ）に続く第２のフレーム（Ｂ）の画像データに第１の比率の混合処理を施すために使用される。また、係数乗算部１１２ｃ，１１２ｄおよび加算部１１２ｆは、上記１２０ｆｐｓの画像データＰにおいて、第２のフレーム（Ｂ）の画像データとこの第２のフレーム（Ｂ）に続く第１のフレーム（Ａ）の画像データに第２の比率の混合処理を施すために使用される。
【０１１９】
１２０ｆｐｓの画像データＰは、遅延回路１１１で１フレーム遅延された後に演算回路１１２Ｂを構成する係数乗算部１１２ａに入力されると共に、そのまま係数乗算部１１２ｂに入力される。また、１２０ｆｐｓの画像データＰは、遅延回路１１６で１フレーム遅延された後に演算回路１１２Ｂを構成する係数乗算部１１２ｄに入力されると共に、そのまま係数乗算部１１２ｃに入力される。係数乗算部１１２ａ，１１２ｂの出力は加算部１１２ｅに入力されて加算される。また、係数乗算部１１２ｃ，１１２ｄの出力は加算部１１２ｆに入力されて加算される。
【０１２０】
遅延回路１１１の出力が第１のフレーム（Ａ）となるタイミングで、加算部１１２ｅの出力としてＣ（＝ｐ＊Ａ＋ｑ＊Ｂ）の混合出力が得られる。また、遅延回路１１６の出力が第２のフレーム（Ｂ）となるタイミングで、加算部１１２ｆの出力としてＤ（＝ｒ＊Ａ＋ｓ＊Ｂ）の混合出力が得られる。演算回路１１２Ｂの加算部１１２ｅ，１１２ｆの出力Ｃはそのまま切り替え回路１１５に入力される。
【０１２１】
切り替え回路１１５には、フラグ信号Ｂ＿ｆｌａｇが切り替え制御信号として供給される。このフラグ信号Ｂ＿ｆｌａｇは、１２０Ｈｚの周期で交互に“１”または“０”となる信号であって、加算部１１２ｅの出力が混合出力Ｃとなるタイミングで“１”となると共に、加算部１１２ｆの出力が混合出力Ｄとなるタイミングで“０”となる。
【０１２２】
切り替え回路１１５では、フラグ信号Ｂ＿ｆｌａｇが“１”のとき加算部１１２ｅの出力である混合出力Ｃが取り出され、フラグ信号Ｂ＿ｆｌａｇが“０”のとき加算部１１２ｆの出力である混合出力Ｄが取り出される。ここで、混合出力Ｃは、画像データＰにおいて第１のフレーム（Ａ）の画像データとこの第１のフレーム（Ａ）に続く第２のフレーム（Ｂ）の画像データに第１の比率の混合処理を施した基本フレームレートの画像データＱｂを構成する。また、混合出力Ｄは、画像データＰにおいて第２のフレーム（Ｂ）の画像データとこの第２のフレーム（Ｂ）に続く第１のフレーム（Ａ）の画像データに第２の比率の混合処理を施したハイフレームレートの拡張フレームの画像データＱｅを構成する。
【０１２３】
切り替え回路１１５から画像データＱｂ，Ｑｅが一系統の画像データとして出力され、エンコーダ１０２に送られる。ここで、この一系統の画像データにフラグ信号Ｂ＿ｆｌａｇが付加されて送られる。このフラグ信号Ｂ＿ｆｌａｇにより、エンコーダ１０２では、一系統で送られてくる画像データの現在のフレーム（ピクチャ）が画像データＱｂのフレームであるか画像データＱｅのフレームであるかの識別が可能となる。
【０１２４】
図１５は、プリプロセッサ１０１の入力データ（１２０ｆｐｓの画像データＰ）と、プリプロセッサ１０１で生成される６０ｆｐｓの画像データＱｂ（混合出力Ｃ），Ｑｅ（混合出力Ｄ）との関係の一例を、模式的に表している。図１５（ａ）は画像データＰを示し、図１５（ｂ）は画像データＱｂを示し、図１５（ｃ）は画像データＱｅを示している。１２０ｆｐｓの画像データＰの各ピクチャの画像データＦ１，Ｆ２，Ｆ３，Ｆ４，Ｆ５，Ｆ６，Ｆ７，Ｆ８，・・・に対応して、基本フレームレート（６０ｆｐｓ）の画像データＱｂの各ピクチャの画像データＦ１´，Ｆ３´，Ｆ５´，・・・と、ハイフレームレートの拡張フレームの画像データＱｅの各ピクチャの画像データＦ２´，Ｆ４´，Ｆ６´，・・・が得られる。
【０１２５】
上述したように、基本フレームレートの画像データＱｂが第１のフレームの画像データとこの第１のフレームに続く第２のフレームの画像データに混合処理を施して得られたものであり、ハイフレームレートの拡張フレームの画像データＱｅが第２のフレームの画像データとこの第２のフレームに続く第１のフレームの画像データに第２の比率の混合処理を施して得られたものであるとき、受信側において、例えば、図１２に示すポストプロセッサ２０４で得られた１２０ｆｐｓの画像データＰ´のフレーム連続性がよく、ハイフレームレートの画像表示を滑らかに行うことができる。
【０１２６】
また、上述実施の形態においては、全体のフレームレートが１２０ｆｐｓで基本フレームレートが６０ｆｐｓの例を示したが、フレームレートの組み合わせは、これに限定されるものではない。例えば、１００ｆｐｓと５０ｆｐｓの組み合わせでも同様である。
【０１２７】
また、上述実施の形態においては、送信装置１００と受信装置２００からなる送受信システム１０を示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。例えば、受信装置２００の部分が、例えば、（ＨＤＭＩ（High-Definition Multimedia Interface）などのデジタルインタフェースで接続されたセットトップボックスおよびモニタの構成などであってもよい。なお、「ＨＤＭＩ」は、登録商標である。
【０１２８】
また、上述実施の形態においては、コンテナがトランスポートストリーム（ＭＰＥＧ−２  ＴＳ）である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、ＭＰ４やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ−２  ＴＳ）あるいはＭＭＴ（MPEG Media Transport）、インターネット配信で使用されているＩＳＯＢＭＦＦ（ＭＰ４）などの種々のフォーマットのコンテナが該当する。
【０１２９】
また、本技術は、以下のような構成を取ることもできる。
（１）ハイフレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して基本フレームレートの画像データを得ると共に、上記時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施してハイフレームレートの拡張フレームの画像データを得る画像処理部と、
上記基準フレームレートの画像データに符号化処理を施して基本ストリームを得ると共に、上記ハイフレームレートの拡張フレームの画像データに符号化処理を施して拡張ストリームを得る画像符号化部と、
上記基本ストリームおよび上記拡張ストリームを含む所定フォーマットのコンテナを送信する送信部を備える
送信装置。
（２）上記画像処理部は、上記基本フレームレートの画像データおよび上記ハイフレームレートの拡張フレームの画像データを一系統の画像データとして上記画像符号化部に供給し、
上記一系統の画像データには、上記基本フレームレートの画像データおよび上記ハイフレームレートの拡張フレームの画像データのそれぞれのフレームを識別するための識別情報が付加されている
前記（１）に記載の送信装置。
（３）上記基本ストリームのレイヤに上記第１の比率を示す混合比情報を挿入すること、および上記拡張ストリームのレイヤに上記第２の比率を示す混合比情報を挿入することの一方または両方を行う情報挿入部をさらに備える
前記（１）または（２）に記載の送信装置。
（４）上記基本ストリームおよび上記拡張ストリームはＮＡＬユニット構造を有し、
上記情報挿入部は、
上記混合比情報を持つＳＥＩ  ＮＡＬユニットを、上記基本ストリームおよび/または上記拡張ストリームに挿入する
前記（３）に記載の送信装置。
（５）上記コンテナのレイヤに、上記基本ストリームに含まれる画像データが上記混合処理を施して得られた画像データであることを示す識別情報を挿入する情報挿入部をさらに備える
前記（１）から（４）のいずれかに記載の送信装置。
（６）ハイフレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して基本フレームレートの画像データを得ると共に、上記時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施してハイフレームレートの拡張フレームの画像データを得る画像処理ステップと、
上記基準フレームレートの画像データに符号化処理を施して基本ストリームを得ると共に、上記ハイフレームレートの拡張フレームの画像データに符号化処理を施して拡張ストリームを得る画像符号化ステップと、
送信部により、上記基本ストリームおよび上記拡張ストリームを含む所定フォーマットのコンテナを送信する送信ステップを有する
送信方法。
（７）基本ストリームおよび拡張ストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記基本ストリームは、ハイフレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して得られた基本フレームレートの画像データに符号化処理を施して得られたものであり、
上記拡張ストリームは、上記時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施して得られたハイフレームレートの拡張フレームの画像データに符号化処理を施して得られたものであり、
上記基本ストリームのみを処理して基本フレームレートの画像データを得るか、あるいは上記基本ストリームおよび上記拡張ストリームの双方を処理してハイフレームレートの画像データを得る処理部をさらに備える
受信装置。
（８）上記処理部は、上記ハイフレームレートの画像データを得る場合、
上記基本ストリームに復号化処理を施して上記基本フレームレートの画像データを得ると共に、上記拡張ストリームに復号化処理を施して上記ハイフレームレートの拡張フレームの画像データを得る処理と、
上記基本フレームレートの画像データと上記ハイフレームレートの拡張フレームの画像データを合成して上記ハイフレームレートの画像データを得る処理を行う
前記（７）に記載の受信装置。
（９）上記処理部は、上記ハイフレームレートの画像データを得る場合、
上記基本ストリームに復号化処理を施して上記基本フレームレートの画像データを得ると共に、上記拡張ストリームに復号化処理を施して上記ハイフレームレートの拡張フレームの画像データを得る処理と、
上記基本フレームレートの画像データおよび上記ハイフレームレートの拡張フレームの画像データに上記混合処理の逆処理を施して、上記時間的に連続する２個のピクチャ単位の一方および他方のピクチャの画像データを得る処理と、
上記時間的に連続する２個のピクチャ単位の一方および他方のピクチャの画像データを合成して上記ハイフレームレートの画像データを得る処理を行う
前記（７）に記載の受信装置。
（１０）受信部により、基本ストリームおよび拡張ストリームを含む所定フォーマットのコンテナを受信する受信ステップを有し、
上記基本ストリームは、ハイフレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して得られた基本フレームレートの画像データに符号化処理を施して得られたものであり、
上記拡張ストリームは、上記時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施して得られたハイフレームレートの拡張フレームの画像データに符号化処理を施して得られたものであり、
上記基本ストリームのみを処理して上記基本フレームレートの画像データを得るか、あるいは上記基本ストリームおよび上記拡張ストリームの双方を処理して上記ハイフレームレートの画像データを得る処理ステップをさらに有する
受信方法。
（１１）第１のフレームおよび第２のフレームが交互に連続したハイフレームレートの画像データにおいて、上記第１のフレームの画像データと該第１のフレームに続く上記第２のフレームの画像データに第１の比率の混合処理を施して基本フレームレートの画像データを得ると共に、上記第２のフレームの画像データと該第２のフレームに続く上記第１のフレームの画像データに第２の比率の混合処理を施してハイフレームレートの拡張フレームの画像データを得る画像処理部と、
上記基準フレームレートの画像データに符号化処理を施して基本ストリームを得ると共に、上記ハイフレームレートの拡張フレームの画像データに符号化処理を施して拡張ストリームを得る画像符号化部と、
上記基本ストリームおよび上記拡張ストリームを含む所定フォーマットのコンテナを送信する送信部を備える
送信装置。
（１２）上記画像処理部は、上記基本フレームレートの画像データおよび上記ハイフレームレートの拡張フレームの画像データを一系統の画像データとして上記画像符号化部に供給し、
上記一系統の画像データには、上記基本フレームレートの画像データおよび上記ハイフレームレートの拡張フレームの画像データのそれぞれのフレームを識別するための識別情報が付加されている
前記（１１）に記載の送信装置。
（１３）上記基本ストリームのレイヤに上記第１の比率を示す混合比情報を挿入すること、および上記拡張ストリームのレイヤに上記第２の比率を示す混合比情報を挿入することの一方または両方を行う情報挿入部をさらに備える
前記（１１）または（１２）に記載の送信装置。
（１４）上記基本ストリームおよび上記拡張ストリームはＮＡＬユニット構造を有し、
上記情報挿入部は、
上記混合比情報を持つＳＥＩ  ＮＡＬユニットを、上記基本ストリームおよび/または上記拡張ストリームに挿入する
前記（１３）に記載の送信装置。
（１５）上記コンテナのレイヤに、上記基本ストリームに含まれる画像データが上記混合処理を施して得られた画像データであることを示す識別情報を挿入する情報挿入部をさらに備える
前記（１１）から（１４）のいずれかに記載の送信装置。
（１６）第１のフレームおよび第２のフレームが交互に連続したハイフレームレートの画像データにおいて、上記第１のフレームの画像データと該第１のフレームに続く上記第２のフレームの画像データに第１の比率の混合処理を施して基本フレームレートの画像データを得ると共に、上記第２のフレームの画像データと該第２のフレームに続く上記第１のフレームの画像データに第２の比率の混合処理を施してハイフレームレートの拡張フレームの画像データを得る画像処理ステップと、
上記基準フレームレートの画像データに符号化処理を施して基本ストリームを得ると共に、上記ハイフレームレートの拡張フレームの画像データに符号化処理を施して拡張ストリームを得る画像符号化ステップと、
送信部により、上記基本ストリームおよび上記拡張ストリームを含む所定フォーマットのコンテナを送信する送信ステップを有する
送信方法。
（１７）基本ストリームおよび拡張ストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記基本ストリームは、第１のフレームおよび第２のフレームが交互に連続したハイフレームレートの画像データにおいて、上記第１のフレームの画像データと該第１のフレームに続く上記第２のフレームの画像データに第１の比率の混合処理を施して得られた基本フレームレートの画像データに符号化処理を施して得られたものであり、
上記拡張ストリームは、上記ハイフレームレートの画像データにおいて、上記第２のフレームの画像データと該第２のフレームに続く上記第１のフレームの画像データに第２の比率の混合処理を施して得られたハイフレームレートの拡張フレームの画像データに符号化処理を施して得られたものであり、
上記基本ストリームのみを処理して上記基本フレームレートの画像データを得るか、あるいは上記基本ストリームおよび上記拡張ストリームの双方を処理してハイフレームレートの画像データを得る処理部をさらに備える
受信装置。
（１８）上記処理部は、上記ハイフレームレートの画像データを得る場合、
上記基本ストリームに復号化処理を施して上記基本フレームレートの画像データを得ると共に、上記拡張ストリームに復号化処理を施して上記ハイフレームレートの拡張フレームの画像データを得る処理と、
上記基本フレームレートの画像データと上記ハイフレームレートの拡張フレームの画像データを合成して上記ハイフレームレートの画像データを得る処理を行う
前記（１７）に記載の受信装置。
（１９）受信部により、基本ストリームおよび拡張ストリームを含む所定フォーマットのコンテナを受信する受信ステップを有し、
上記基本ストリームは、第１のフレームおよび第２のフレームが交互に連続したハイフレームレートの画像データにおいて、上記第１のフレームの画像データと該第１のフレームに続く上記第２のフレームの画像データに第１の比率の混合処理を施して得られた基本フレームレートの画像データに符号化処理を施して得られたものであり、
上記拡張ストリームは、上記ハイフレームレートの画像データにおいて、上記第２のフレームの画像データと該第２のフレームに続く上記第１のフレームの画像データに第２の比率の混合処理を施して得られたハイフレームレートの拡張フレームの画像データに符号化処理を施して得られたものであり、
上記基本ストリームのみを処理して上記基本フレームレートの画像データを得るか、あるいは上記基本ストリームおよび上記拡張ストリームの双方を処理してハイフレームレートの画像データを得る処理ステップをさらに有する
受信方法。
【０１３０】
本技術の主な特徴は、１２０ｆｐｓの画像データＰにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して６０ｆｐｓの基本フレームレートの画像データＱｂを得ると共に、上記時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施して６０ｆｐｓのハイフレームレートの拡張フレームの画像データＱｅを得るか、あるいは第１のフレームおよび第２のフレームが交互に連続した１２０ｆｐｓの画像データＰにおいて第１のフレームの画像データとこの第１のフレームに続く第２のフレームの画像データに第１の比率の混合処理を施して基本フレームレートの画像データＱｂを得ると共に、上記１２０ｆｐｓの画像データＰにおいて第２のフレームの画像データとこの第２のフレームに続く第１のフレームの画像データに第２の比率の混合処理を施してハイフレームレートの拡張フレームの画像データＱｅを得て、画像データＱｂを含む基本ストリームＳＴｂと共に、画像データＱｅを含む拡張ストリームＳＴｅを送信することで、下位互換を図りながら、ハイフレームレートの画像データの良好な送信を可能としたことである（図３、図６、図１５参照）。
【符号の説明】
【０１３１】
１０・・・送受信システム
１００・・・送信装置
１０１・・・プリプロセッサ
１０２・・・エンコーダ
１０３・・・マルチプレクサ
１０４・・・送信部
１１１，１１４，１１６・・・遅延回路
１１２，１１２Ｂ・・・演算回路
１１２ａ〜１１２ｄ・・・係数乗算部
１１２ｅ，１１２ｆ・・・加算部
１１５・・・切り替え回路
２００，２００Ａ，２００Ｂ・・・受信装置
２０１・・・受信部
２０２，２０２Ｂ・・・デマルチプレクサ
２０３，２０３Ｂ・・・デコーダ
２０４・・・ポストプロセッサ
２０５，２０５Ｂ・・・ディスプレイプロセッサ
２４１・・・演算回路
２４１ａ〜２４１ｄ・・・係数乗算部
２４１ｅ，２４１ｆ・・・加算部
２４２・・・スイッチ回路
【図１】
2017043504.tif 000003
【図２】
2017043504.tif 000004
【図３】
2017043504.tif 000005
【図４】
2017043504.tif 000006
【図５】
2017043504.tif 000007
【図６】
2017043504.tif 000008
【図７】
2017043504.tif 000009
【図８】
2017043504.tif 000010
【図９】
2017043504.tif 000011
【図１０】
2017043504.tif 000012
【図１１】
2017043504.tif 000013
【図１２】
2017043504.tif 000014
【図１３】
2017043504.tif 000015
【図１４】
2017043504.tif 000016
【図１５】
2017043504.tif 000017
【手続補正書】
【提出日】平成29年1月25日(2017.1.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ハイフレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して基本フレームレートの画像データを得ると共に、上記時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施してハイフレームレートの拡張フレームの画像データを得る画像処理部と、
上記基本フレームレートの画像データに符号化処理を施して基本フレームレートの符号化画像データを得ると共に、上記ハイフレームレートの拡張フレームの画像データに符号化処理を施して拡張フレームの符号化画像データを得る画像符号化部と、
上記基本フレームレートの符号化画像データおよび上記拡張フレームの符号化画像データを送信する送信部を備える
送信装置。
【請求項２】
上記画像処理部は、上記基本フレームレートの画像データおよび上記ハイフレームレートの拡張フレームの画像データを一系統の画像データとして上記画像符号化部に供給し、
上記一系統の画像データには、上記基本フレームレートの画像データおよび上記ハイフレームレートの拡張フレームの画像データのそれぞれのフレームを識別するための識別情報が付加されている
請求項１に記載の送信装置。
【請求項３】
上記送信部は、上記第１の比率を示す混合比情報、および上記第２の比率を示す混合比情報の一方または両方をさらに送信する
請求項１に記載の送信装置。
【請求項４】
上記基本フレームレートの符号化画像データおよび上記拡張フレームの符号化画像データはＮＡＬユニット構造を有し、
上記混合比情報は、上記基本フレームレートの符号化画像データおよび／または上記拡張フレームの符号化画像データのＳＥＩ  ＮＡＬユニットに挿入されている
請求項３に記載の送信装置。
【請求項５】
上記送信部は、上記基本フレームレートの符号化画像データに含まれる画像データが上記混合処理を施して得られた画像データであることを示す識別情報をさらに送信する
請求項１に記載の送信装置。
【請求項６】
ハイフレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して基本フレームレートの画像データを得ると共に、上記時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施してハイフレームレートの拡張フレームの画像データを得る画像処理ステップと、
上記基本フレームレートの画像データに符号化処理を施して基本フレームレートの符号化画像データを得ると共に、上記ハイフレームレートの拡張フレームの画像データに符号化処理を施して拡張フレームの符号化画像データを得る画像符号化ステップと、
送信部により、上記基本フレームレートの符号化画像データおよび上記拡張フレームの符号化画像データを送信する送信ステップを有する
送信方法。
【請求項７】
基本フレームレートの符号化画像データおよび拡張フレームの符号化画像データを受信する受信部を備え、
上記基本フレームレートの符号化画像データは、ハイフレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して得られた基本フレームレートの画像データに符号化処理を施して得られたものであり、
上記拡張フレームの符号化画像データは、上記時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施して得られたハイフレームレートの拡張フレームの画像データに符号化処理を施して得られたものであり、
上記基本フレームレートの符号化画像データのみを処理して基本フレームレートの画像データを得るか、あるいは上記基本フレームレートの符号化画像データおよび上記拡張フレームの符号化画像データの双方を処理してハイフレームレートの画像データを得る処理部をさらに備える
受信装置。
【請求項８】
上記処理部は、上記ハイフレームレートの画像データを得る場合、
上記基本フレームレートの符号化画像データに復号化処理を施して上記基本フレームレートの画像データを得ると共に、上記拡張フレームの符号化画像データに復号化処理を施して上記ハイフレームレートの拡張フレームの画像データを得る処理と、
上記基本フレームレートの画像データと上記ハイフレームレートの拡張フレームの画像データを合成して上記ハイフレームレートの画像データを得る処理を行う
請求項７に記載の受信装置。
【請求項９】
上記処理部は、上記ハイフレームレートの画像データを得る場合、
上記基本フレームレートの符号化画像データに復号化処理を施して上記基本フレームレートの画像データを得ると共に、上記拡張フレームの符号化画像データに復号化処理を施して上記ハイフレームレートの拡張フレームの画像データを得る処理と、
上記基本フレームレートの画像データおよび上記ハイフレームレートの拡張フレームの画像データに上記混合処理の逆処理を施して、上記時間的に連続する２個のピクチャ単位の一方および他方のピクチャの画像データを得る処理と、
上記時間的に連続する２個のピクチャ単位の一方および他方のピクチャの画像データを合成して上記ハイフレームレートの画像データを得る処理を行う
請求項７に記載の受信装置。
【請求項１０】
受信部により、基本フレームレートの符号化画像データおよび拡張フレームの符号化画像データを受信する受信ステップを有し、
上記基本フレームレートの符号化画像データは、ハイフレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して得られた基本フレームレートの画像データに符号化処理を施して得られたものであり、
上記拡張フレームの符号化画像データは、上記時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施して得られたハイフレームレートの拡張フレームの画像データに符号化処理を施して得られたものであり、
上記基本フレームレートの符号化画像データのみを処理して上記基本フレームレートの画像データを得るか、あるいは上記基本フレームレートの符号化画像データおよび上記拡張フレームの符号化画像データの双方を処理して上記ハイフレームレートの画像データを得る処理ステップをさらに有する
受信方法。
【請求項１１】
第１のフレームおよび第２のフレームが交互に連続したハイフレームレートの画像データにおいて、上記第１のフレームの画像データと該第１のフレームに続く上記第２のフレームの画像データに第１の比率の混合処理を施して基本フレームレートの画像データを得ると共に、上記第２のフレームの画像データと該第２のフレームに続く上記第１のフレームの画像データに第２の比率の混合処理を施してハイフレームレートの拡張フレームの画像データを得る画像処理部と、
上記基本フレームレートの画像データに符号化処理を施して基本フレームレートの符号化画像データを得ると共に、上記ハイフレームレートの拡張フレームの画像データに符号化処理を施して拡張フレームの符号化画像データを得る画像符号化部と、
上記基本フレームレートの符号化画像データおよび上記拡張フレームの符号化画像データを送信する送信部を備える
送信装置。
【請求項１２】
上記画像処理部は、上記基本フレームレートの画像データおよび上記ハイフレームレートの拡張フレームの画像データを一系統の画像データとして上記画像符号化部に供給し、
上記一系統の画像データには、上記基本フレームレートの画像データおよび上記ハイフレームレートの拡張フレームの画像データのそれぞれのフレームを識別するための識別情報が付加されている
請求項１１に記載の送信装置。
【請求項１３】
上記送信部は、上記第１の比率を示す混合比情報、および上記第２の比率を示す混合比情報の一方または両方をさらに送信する
請求項１１に記載の送信装置。
【請求項１４】
上記基本フレームレートの符号化画像データおよび上記拡張フレームの符号化画像データはＮＡＬユニット構造を有し、
上記混合比情報は、上記基本フレームレートの符号化画像データおよび／または上記拡張フレームの符号化画像データのＳＥＩ  ＮＡＬユニットに挿入されている
請求項１３に記載の送信装置。
【請求項１５】
上記送信部は、上記基本フレームレートの符号化画像データに含まれる画像データが上記混合処理を施して得られた画像データであることを示す識別情報をさらに送信する
請求項１１に記載の送信装置。
【請求項１６】
第１のフレームおよび第２のフレームが交互に連続したハイフレームレートの画像データにおいて、上記第１のフレームの画像データと該第１のフレームに続く上記第２のフレームの画像データに第１の比率の混合処理を施して基本フレームレートの画像データを得ると共に、上記第２のフレームの画像データと該第２のフレームに続く上記第１のフレームの画像データに第２の比率の混合処理を施してハイフレームレートの拡張フレームの画像データを得る画像処理ステップと、
上記基本フレームレートの画像データに符号化処理を施して基本フレームレートの符号化画像データを得ると共に、上記ハイフレームレートの拡張フレームの画像データに符号化処理を施して拡張フレームの符号化画像データを得る画像符号化ステップと、
送信部により、上記基本フレームレートの符号化画像データおよび上記拡張フレームの符号化画像データを送信する送信ステップを有する
送信方法。
【請求項１７】
基本フレームレートの符号化画像データおよび拡張フレームの符号化画像データを受信する受信部を備え、
上記基本フレームレートの符号化画像データは、第１のフレームおよび第２のフレームが交互に連続したハイフレームレートの画像データにおいて、上記第１のフレームの画像データと該第１のフレームに続く上記第２のフレームの画像データに第１の比率の混合処理を施して得られた基本フレームレートの画像データに符号化処理を施して得られたものであり、
上記拡張フレームの符号化画像データは、上記ハイフレームレートの画像データにおいて、上記第２のフレームの画像データと該第２のフレームに続く上記第１のフレームの画像データに第２の比率の混合処理を施して得られたハイフレームレートの拡張フレームの画像データに符号化処理を施して得られたものであり、
上記基本フレームレートの符号化画像データのみを処理して上記基本フレームレートの画像データを得るか、あるいは上記基本フレームレートの符号化画像データおよび上記拡張フレームの符号化画像データの双方を処理してハイフレームレートの画像データを得る処理部をさらに備える
受信装置。
【請求項１８】
上記処理部は、上記ハイフレームレートの画像データを得る場合、
上記基本フレームレートの符号化画像データに復号化処理を施して上記基本フレームレートの画像データを得ると共に、上記拡張フレームの符号化画像データに復号化処理を施して上記ハイフレームレートの拡張フレームの画像データを得る処理と、
上記基本フレームレートの画像データと上記ハイフレームレートの拡張フレームの画像データを合成して上記ハイフレームレートの画像データを得る処理を行う
請求項１７に記載の受信装置。
【請求項１９】
受信部により、基本フレームレートの符号化画像データおよび拡張フレームの符号化画像データを受信する受信ステップを有し、
上記基本フレームレートの符号化画像データは、第１のフレームおよび第２のフレームが交互に連続したハイフレームレートの画像データにおいて、上記第１のフレームの画像データと該第１のフレームに続く上記第２のフレームの画像データに第１の比率の混合処理を施して得られた基本フレームレートの画像データに符号化処理を施して得られたものであり、
上記拡張フレームの符号化画像データは、上記ハイフレームレートの画像データにおいて、上記第２のフレームの画像データと該第２のフレームに続く上記第１のフレームの画像データに第２の比率の混合処理を施して得られたハイフレームレートの拡張フレームの画像データに符号化処理を施して得られたものであり、
上記基本フレームレートの符号化画像データのみを処理して上記基本フレームレートの画像データを得るか、あるいは上記基本フレームレートの符号化画像データおよび上記拡張フレームの符号化画像データの双方を処理してハイフレームレートの画像データを得る処理ステップをさらに有する
受信方法。
【国際調査報告】
2017043504.tif 000018
2017043504.tif 000019
2017043504.tif 000020