(57)【特許請求の範囲】
【請求項１】
所定フレームレートの第１の動画像データを連続するＮ個（Ｎは２以上の整数）のピクチャ単位で処理し、該Ｎ個のピクチャの画像データに平均処理を施して得られた画像データを１番目のピクチャの画像データとし、上記Ｎ個のピクチャの２番目からＮ番目のピクチャの画像データをそのまま２番目からＮ番目のピクチャの画像データとして、上記所定フレームレートの第２の動画像データを得る画像処理部と、
上記画像処理部で得られた上記第２の動画像データを構成する各ピクチャの画像データを符号化してビデオストリームを生成する画像符号化部と、
上記画像符号化部で生成されたビデオストリームを送信する送信部を備え、
上記画像符号化部は、上記Ｎ個のピクチャ毎の上記１番目のピクチャの符号化画像データを持つ第１のビデオストリームと、上記Ｎ個のピクチャ毎の上記２番目からＮ番目のピクチャの符号化画像データを持つ所定数の第２のビデオストリームとを生成し、
上記画像符号化部は、上記第１および第２のビデオストリームに含まれる符号化画像データに、上記所定フレームレートの第１の動画像データを構成する各ピクチャの画像データにおけるシャッター開口時間比率の情報を挿入する
送信装置。
【請求項２】
上記画像符号化部は、上記画像処理部で得られる上記第２の動画像データを構成する各ピクチャの画像データを複数の階層に分類し、該分類された各階層のピクチャの画像データを符号化すると共に、上記複数の階層を所定数の階層組に分割し、該分割された各階層組のピクチャの符号化画像データをそれぞれ持つ所定数のビデオストリームを生成し、
最下位の階層組には、上記Ｎ個のピクチャ毎の上記１番目のピクチャの符号化画像データが含まれる
請求項１に記載の送信装置。
【請求項３】
上記画像符号化部は、上記第１のビデオストリームに含まれる符号化画像データに、該第１のビデオストリームが上記第２のビデオストリームの時間的な変動要素を含んでいることを示す第１の識別情報を挿入する
請求項１に記載の送信装置。
【請求項４】
上記送信部は、上記ビデオストリームを含む所定フォーマットのコンテナを送信し、
上記コンテナのレイヤに、上記第１のビデオストリームに含まれる符号化画像データに上記第１の識別情報が挿入されていることを示す第２の識別情報を挿入する識別情報挿入部をさらに備える
請求項３に記載の送信装置。
【請求項５】
上記画像符号化部は、上記第１のビデオストリームに含まれる符号化画像データに、上記平均処理の情報を挿入する
請求項１に記載の送信装置。
【請求項６】
画像処理部が、所定フレームレートの第１の動画像データを連続するＮ個（Ｎは２以上の整数）のピクチャ単位で処理し、該Ｎ個のピクチャの画像データに平均処理を施して得られた画像データを１番目のピクチャの画像データとし、上記Ｎ個のピクチャの２番目からＮ番目のピクチャの画像データをそのまま２番目からＮ番目のピクチャの画像データとして、上記所定フレームレートの第２の動画像データを得る画像処理ステップと、
画像符号化部が、上記画像処理ステップで得られた上記第２の動画像データを構成する各ピクチャの画像データを符号化してビデオストリームを生成する画像符号化ステップと、
送信部が、上記画像符号化ステップで生成されたビデオストリームを送信する送信ステップを有し、
上記画像符号化ステップでは、上記Ｎ個のピクチャ毎の上記１番目のピクチャの符号化画像データを持つ第１のビデオストリームと、上記Ｎ個のピクチャ毎の上記２番目からＮ番目のピクチャの符号化画像データを持つ所定数の第２のビデオストリームとを生成し、
上記画像符号化部は、上記第１および第２のビデオストリームに含まれる符号化画像データに、上記所定フレームレートの第１の動画像データを構成する各ピクチャの画像データにおけるシャッター開口時間比率の情報を挿入する
送信方法。
【請求項７】
所定フレームレートの第１の動画像データを連続するＮ個（Ｎは２以上の整数）のピクチャ単位で処理し、該Ｎ個のピクチャの画像データに平均処理を施して得られた画像データを１番目のピクチャの画像データとし、上記Ｎ個のピクチャの２番目からＮ番目のピクチャの画像データをそのまま２番目からＮ番目のピクチャの画像データとして得られた上記所定フレームレートの第２の動画像データを構成する各ピクチャの画像データを符号化して生成されたビデオストリームを受信する受信部と、
上記受信部で受信されたビデオストリームを復号化して上記所定フレームレートの第２の動画像データを得る画像復号化部と、
上記画像復号化部で得られた第２の動画像データを処理して上記第１の動画像データを得る画像処理部を備え、
上記受信部で受信されたビデオストリームには、上記Ｎ個のピクチャ毎の上記１番目のピクチャの符号化画像データを持つ第１のビデオストリームと、上記Ｎ個のピクチャ毎の上記２番目からＮ番目のピクチャの符号化画像データを持つ所定数の第２のビデオストリームが含まれており、
上記第１および第２のビデオストリームに含まれる符号化画像データには、上記所定フレームレートの第１の動画像データを構成する各ピクチャの画像データにおけるシャッター開口時間比率の情報が挿入されており、
上記画像処理部で得られた上記第１の動画像データに対してフレーム補間を行って上記所定フレームレートより高いフレームレートの第３の動画像データを得る表示処理部をさらに備え、
上記表示処理部は、上記シャッター開口時間比率の情報に基づいて上記フレーム補間の処理方法を切り替える
受信装置。
【請求項８】
受信部が、所定フレームレートの第１の動画像データを連続するＮ個（Ｎは２以上の整数）のピクチャ単位で処理し、該Ｎ個のピクチャの画像データに平均処理を施して得られた画像データを１番目のピクチャの画像データとし、上記Ｎ個のピクチャの２番目からＮ番目のピクチャの画像データをそのまま２番目からＮ番目のピクチャの画像データとして得られた上記所定フレームレートの第２の動画像データを構成する各ピクチャの画像データを符号化して生成されたビデオストリームを受信する受信部ステップと、
画像復号化部が、上記受信部で受信されたビデオストリームを復号化して上記所定フレームレートの第２の動画像データを得る画像復号化ステップと、
画像処理部が、上記画像復号化ステップで得られた第２の動画像データを処理して上記第１の動画像データを得る画像処理ステップを有し、
上記受信部で受信されたビデオストリームには、上記Ｎ個のピクチャ毎の上記１番目のピクチャの符号化画像データを持つ第１のビデオストリームと、上記Ｎ個のピクチャ毎の上記２番目からＮ番目のピクチャの符号化画像データを持つ所定数の第２のビデオストリームが含まれており、
上記第１および第２のビデオストリームに含まれる符号化画像データには、上記所定フレームレートの第１の動画像データを構成する各ピクチャの画像データにおけるシャッター開口時間比率の情報が挿入されており、
表示処理部が、上記画像処理部で得られた上記第１の動画像データに対してフレーム補間を行って上記所定フレームレートより高いフレームレートの第３の動画像データを得る表示処理ステップをさらに有し、
上記表示処理ステップでは、上記シャッター開口時間比率の情報に基づいて上記フレーム補間の処理方法を切り替える
受信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、送信装置、送信方法、受信装置および受信方法に関する。詳しくは、本技術は、ハイフレームレート（High Frame Rate）の動画像データを送信する送信装置等に関する。
【背景技術】
【０００２】
近年、高速フレームシャッターでハイフレームレート撮影を行うカメラが知られている（例えば、特許文献１参照）。例えば、ノーマルフレームレートが６０ｆｐｓ、５０ｆｐｓなどであるのに対して、ハイフレームレートはその数倍あるいは数十倍、さらには数百倍のフレームレートとなる。【０００３】
ハイフレームレートのサービスを行う場合、高速フレームシャッターでカメラ撮りされた動画像データを、それよりも低周波数の動画像シーケンスに変換して送信することが考えられる。しかし、高速フレームシャッターの画像は、動きボケを改善し、先鋭度の高い画質を実現する効果がある一方で、受信再生側の従来のフレーム補間技術に画質的な問題を引き起こす要素をもつ。【０００４】
高速フレームシャッターで撮影された先鋭度の高い画像を用いたフレーム補間は、動きベクトル探索が適合する場合と適合しない場合との差が大きくなる。そのため、両者の差が顕著な画質劣化となって表示されるためである。フレーム補間時に、動きベクトル探索の精度を向上させるためには高負荷演算が要求されるが、受信機コストに影響を及ぼす。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０-１７８１２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ハイフレームレートのサービスの一つとされる、従来のノーマルフレームレート(Normal Frame Rate) の受信機との互換性をとる場合には、高速フレームシャッターで撮影された画像による素材を変換して、ノーマルフレームレートのデコードを行う従来の受信機で一定以上の画品質で表示させることが期待される。【０００７】
本技術の目的は、ハイフレームレートの動画像データを良好に伝送することにある。
【課題を解決するための手段】
【０００８】
本技術の概念は、
所定フレームレートの第１の動画像データを連続するＮ個（Ｎは２以上の整数）のピクチャ単位で処理し、該Ｎ個のピクチャの画像データに平均処理を施して得られた画像データを１番目のピクチャの画像データとし、上記Ｎ個のピクチャの２番目からＮ番目のピクチャの画像データをそのまま２番目からＮ番目のピクチャの画像データとして、上記所定フレームレートの第２の動画像データを得る画像処理部と、
上記画像処理部で得られた上記第２の動画像データを構成する各ピクチャの画像データを符号化してビデオストリームを生成する画像符号化部と、
上記画像符号化部で生成されたビデオストリームを送信する送信部を備える
送信装置にある。【０００９】
本技術において、画像処理部により、所定フレームレートの第１の動画像データからこの所定フレームレートの第２の動画像データが得られる。この場合、第２の動画像データは、第１の動画像データを連続するＮ個（Ｎは２以上の整数）のピクチャ単位で処理し、このＮ個のピクチャの画像データに平均処理を施して得られた画像データを１番目のピクチャの画像データとし、Ｎ個のピクチャの２番目からＮ番目のピクチャの画像データをそのまま２番目からＮ番目のピクチャの画像データとすることで得られる。例えば、平均処理は、線形な平均をとる処理、あるいは非線形な平均をとる処理とされる。【００１０】
画像符号化部により、画像処理部で得られる第２の動画像データを構成する各ピクチャの画像データが符号化されてビデオストリームが生成される。例えば、画像符号化部は、Ｎ個のピクチャ毎の１番目のピクチャの符号化画像データを持つ第１のビデオストリームと、Ｎ個のピクチャ毎の２番目からＮ番目のピクチャの符号化画像データを持つ所定数の第２のビデオストリームとを生成する、ようにされてもよい。この場合、例えば、受信側では、所定フレームレートの１/Ｎのフレームレートの動画像データを処理可能なデコード能力がある場合、この第１のビデオストリームだけを選択してデコード処理を行うという構成で済み、複数のビデオストリームの結合処理などを行うなどの複雑な構成が不要となる。【００１１】
なお、この場合、例えば、画像符号化部は、画像処理部で得られる第２の動画像データを構成する各ピクチャの画像データを複数の階層に分類し、この分類された各階層のピクチャの画像データを符号化すると共に、複数の階層を所定数の階層組に分割し、この分割された各階層組のピクチャの符号化画像データをそれぞれ持つ所定数のビデオストリームを生成し、最下位の階層組には、Ｎ個のピクチャ毎の１番目のピクチャの符号化画像データが含まれる、ようにされてもよい。【００１２】
また、この場合、例えば、画像符号化部は、第１のビデオストリームに含まれる符号化画像データに、この第１のビデオストリームが第２のビデオストリームの時間的な変動要素を含んでいることを示す第１の識別情報を挿入する、ようにされてもよい。このとき、例えば、画像符号化部は、第１のビデオストリームに含まれる符号化画像データに、平均処理の情報をさらに挿入する、ようにされてもよい。これにより、例えば、受信側では、第１のビデオストリームが持つＮ個のピクチャ毎の１番目のピクチャの符号化画像データに係る画像データが平均処理により得られたものであること、さらにその平均処理がどのような平均処理であるかを容易に把握可能となる。【００１３】
また、この場合、例えば、送信部は、ビデオストリームを含む所定フォーマットのコンテナを送信し、このコンテナのレイヤに、第１のビデオストリームに含まれる符号化画像データに第１の識別情報が挿入されていることを示す第２の識別情報を挿入する識別情報挿入部をさらに備える、ようにされてもよい。これにより、例えば、受信側では、符号化画像データを処理することなく、この第２の識別情報に基づいて、符号化画像データに第１の識別情報が挿入されていることを識別可能となる。【００１４】
また、例えば、画像符号化部は、ビデオストリームが持つ各ピクチャの符号化画像データに、所定フレームレートの第１の動画像データを構成する各ピクチャの画像データにおけるシャッター開口時間比率の情報を挿入する、ようにされてもよい。これにより、例えば、受信側では、このシャッター開口時間比率の情報に基づいてフレーム補間の処理を適応的に切り替えることが可能となる。【００１５】
このように本技術においては、所定フレームレートの動画像データをそのまま送信するものではなく、Ｎ個のピクチャ毎の１番目のピクチャの画像データとして、Ｎ個のピクチャの画像データに平均処理を施して得られた画像データを送信するものである。そのため、例えば、受信側では、所定フレームレートの１/Ｎのフレームレートの動画像データを処理可能なデコード能力がある場合、Ｎ個のピクチャ毎の１番目のピクチャの符号化画像データだけを選択してデコード処理を行って動画像データを得ることで、滑らかな画像を表示でき、また、低負荷演算によるフレーム補間処理で画質的な問題を引き起こすことが回避可能となる。【００１６】
また、本技術の他の概念は、
所定フレームレートの動画像データを構成する各ピクチャの画像データを符号化して生成されたビデオストリームを受信する受信部と、
上記受信部で受信されたビデオストリームを処理する処理部を備え、
上記所定フレームレートの動画像データは、
上記所定フレームレートの第１の動画像データを連続するＮ個（Ｎは２以上の整数）のピクチャ単位で処理し、該Ｎ個のピクチャの画像データに平均処理を施して得られた画像データを１番目のピクチャの画像データとし、上記Ｎ個のピクチャの２番目からＮ番目のピクチャの画像データをそのまま２番目からＮ番目のピクチャの画像データとして得られた上記所定フレームレートの第２の動画像データである
受信装置にある。【００１７】
本技術において、受信部により、所定フレームレートの動画像データを構成する各ピクチャの画像データを符号化して生成されたビデオストリームが受信される。この所定フレームレートの動画像データは、所定フレームレートの第１の動画像データを連続するＮ個（Ｎは２以上の整数）のピクチャ単位で処理し、このＮ個のピクチャの画像データに平均処理を施して得られた画像データを１番目のピクチャの画像データとし、このＮ個のピクチャの２番目からＮ番目のピクチャの画像データをそのまま２番目からＮ番目のピクチャの画像データとして得られた所定フレームレートの第２の動画像データである。そして、処理部により、この受信されたビデオストリームが処理される。【００１８】
例えば、受信部で受信されたビデオストリームには、Ｎ個のピクチャ毎の１番目のピクチャの符号化画像データを持つ第１のビデオストリームと、Ｎ個のピクチャ毎の２番目からＮ番目のピクチャの符号化画像データを持つ所定数の第２のビデオストリームが含まれる、ようにされてもよい。【００１９】
また、本技術の他の概念は、
所定フレームレートの第１の動画像データを連続するＮ個（Ｎは２以上の整数）のピクチャ単位で処理し、該Ｎ個のピクチャの画像データに平均処理を施して得られた画像データを１番目のピクチャの画像データとし、上記Ｎ個のピクチャの２番目からＮ番目のピクチャの画像データをそのまま２番目からＮ番目のピクチャの画像データとして得られた上記所定フレームレートの第２の動画像データを構成する各ピクチャの画像データを符号化して生成されたビデオストリームを受信する受信部と、
上記受信部で受信されたビデオストリームを復号化して上記所定フレームレートの第２の動画像データを得る画像復号化部と、
上記画像復号化部で得られた第２の動画像データを処理して上記第１の動画像データを得る画像処理部を備える
受信装置にある。【００２０】
本技術において、受信部により、ビデオストリームが受信される。このビデオストリームは、所定フレームレートの第１の動画像データを連続するＮ個（Ｎは２以上の整数）のピクチャ単位で処理し、このＮ個のピクチャの画像データに平均処理を施して得られた画像データを１番目のピクチャの画像データとし、このＮ個のピクチャの２番目からＮ番目のピクチャの画像データをそのまま２番目からＮ番目のピクチャの画像データとして得られた所定フレームレートの第２の動画像データを構成する各ピクチャの画像データを符号化して生成されたものである。【００２１】
例えば、受信部で受信されたビデオストリームには、Ｎ個のピクチャ毎の１番目のピクチャの符号化画像データを持つ第１のビデオストリームと、このＮ個のピクチャ毎の２番目からＮ番目のピクチャの符号化画像データを持つ所定数の第２のビデオストリームが含まれる、ようにされてもよい。【００２２】
画像復号化部により、受信部で受信されたビデオストリームが復号化されて所定フレームレートの第２の動画像データが得られる。そして、画像処理部により、画像復号化部で得られた第２の動画像データが処理されて第１の動画像データが得られる。この場合、Ｎ個のピクチャ毎の１番目のピクチャの画像データは、Ｎ個のピクチャの画像データに平均処理を施して得られた画像データから、平均処理が施される前の１番目のピクチャの画像データに戻される。【００２３】
このように本技術においては、Ｎ個のピクチャ毎の１番目のピクチャの画像データが、平均処理が施される前の１番目のピクチャの画像データに戻されるものである。そのため、例えば、受信側では、所定フレームレートの動画像データを処理可能なデコード能力がある場合、先鋭度が高く滑らかなハイフレームレートの画像表示が可能となる。【００２４】
なお、本技術において、例えば、画像処理部で得られた第１の動画像データに対して時間方向の補間処理を施して所定フレームレートより高いフレームレートの第３の動画像データを得る表示処理部をさらに備える、ようにされてもよい。この場合、例えば、受信部で受信されたビデオストリームが持つ各ピクチャの符号化画像データには、第１の動画像データを構成する各ピクチャの画像データにおけるシャッター開口時間比率の情報が挿入されており、表示処理部は、上シャッター開口時間比率の情報に基づいてフレーム補間の処理を切り替える、ようにされてもよい。【００２５】
また、本技術の概念は、
所定フレームレートの動画像データを構成する各ピクチャの画像データを符号化してビデオストリームを生成する画像符号化部と、
上記画像符号化部で生成されたビデオストリームを送信する送信部を備え、
上記画像符号化部は、
上記ビデオストリームが持つ各ピクチャの符号化画像データに、上記所定フレームレートの上記第１の動画像データを構成する各ピクチャの画像データにおけるシャッター開口時間比率の情報を挿入する
送信装置にある。【００２６】
また、本技術の概念は、
所定フレームレートの動画像データを構成する各ピクチャの画像データが符号化されて得られたビデオストリームを受信する受信部と、
上記受信部で受信されたビデオストリームを復号化して上記所定フレームレートの動画像データを得る画像復号化部と、
上記画像復号化部で得られた上記第１の画像データに対して時間方向の補間処理を施して上記所定フレームレートより高いフレームレートの第３の動画像データを得る表示処理部を備え、
上記受信部で受信されたビデオストリームが持つ各ピクチャの符号化画像データには、上記所定フレームレートの動画像データを構成する各ピクチャの画像データにおけるシャッター開口時間比率の情報が挿入されており、
上記表示処理部は、上記シャッター開口時間比率の情報に基づいてフレーム補間の処理を切り替える
受信装置にある。
【発明の効果】
【００２７】
本技術によれば、ハイフレームレートの動画像データを良好に伝送することが可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００２８】
【図１】実施の形態としての送受信システムの構成例を示すブロック図である。
【図２】フレームレートの変換処理の一例を示す図である。
【図３】送信装置の構成例を示すブロック図である。
【図４】送信装置を構成するプリプロセッサの構成例を示すブロック図である。
【図５】送信装置を構成するプリプロセッサと、受信装置を構成するポストプロセッサの、それぞれの入出力データの関係の一例を示す図である。
【図６】エンコーダで行われる階層符号化の一例を示す図である。
【図７】ＮＡＬユニットヘッダの構造例およびその構造例における主要なパラメータの内容を示す図である。
【図８】ＨＥＶＣによる各ピクチャの符号化画像データの構成を説明するための図である。
【図９】キャプチャリング・スピード・インフォメーションＳＥＩを挿入するためのインタフェースの構造例および「capturing_speed_information()」の構造例を示す図である。
【図１０】「capturing_speed_information()」の構造例における主要な情報の内容を示す図である。
【図１１】シャッター・スピード・インフォメーション・デスクリプタの構造例と、その構造例における主要な情報の内容を示す図である。
【図１２】ＨＥＶＣデスクリプタの構造例を示す図である。
【図１３】トランスポートストリームＴＳの構成例を示す図である。
【図１４】受信装置（ハイフレームレート対応）の構成例を示すブロック図である。
【図１５】受信装置のデマルチプレクサにおけるストリーム選択を説明するための図である。
【図１６】受信装置を構成するポストプロセッサの構成例を示すブロック図である。
【図１７】受信装置（ノーマルフレームレート対応）の構成例を示すブロック図である。
【図１８】送信装置を構成するプリプロセッサと、受信装置を構成するポストプロセッサの、それぞれの入出力データの関係の一例を示す図である。
【発明を実施するための形態】
【００２９】
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例
【００３０】
＜１．実施の形態＞
［送受信システム］
図１は、実施の形態としての送受信システム１０の構成例を示している。この送受信システム１０は、送信装置１００と、受信装置２００とを有する構成となっている。
【００３１】
送信装置１００は、コンテナとしてのトランスポートストリームＴＳを放送波に載せて送信する。このトランスポートストリームＴＳには、ハイフレームレート、この実施の形態においては１２０ｆｐｓの動画像データを構成する各ピクチャの画像データが例えば複数の階層に分類されて符号化されることで得られたビデオストリームが含まれる。この場合、例えば、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの符号化が施される。
【００３２】
ここで、符号化の対象となる１２０ｆｐｓの動画像データは、１２０ｆｐｓの第１の動画像データを連続する２個のピクチャ単位で処理し、この２個のピクチャの画像データに線形または非線形の平均処理を施して得られた画像データを１番目のピクチャの画像データとし、この２個のピクチャの２番目のピクチャの画像データをそのまま２番目のピクチャの画像データとして得られた１２０ｆｐｓの第２の動画像データである。
【００３３】
また、符号化の対象となる１２０ｆｐｓの動画像データは、例えば、１２０ｆｐｓの動画像データを出力するカメラの出力そのものであってもよく、あるいは、さらに高いフレームレートの動画像データを出力するカメラの出力に対してフレームレートの変換処理を施して得られたものであってもよい。
【００３４】
図２は、フレームレートの変換処理の一例を示している。図２（ａ）は、カメラの出力であるオリジナル動画像データを示しており、シャッター開口時間比率は１００％で、フレームレートは３６０ｆｐｓである。図２（ｂ）は、変換処理後の、フレームレートが１２０ｆｐｓの動画像データの一例を示している。この場合、オリジナル動画像データが３個のピクチャ単位で処理され、３個のピクチャの画像データが平均化されて、変換後の１個のピクチャの画像データが生成される。この場合、３個のピクチャの画像データを全て使用するので、オリジナル画像シーケンスがカバーする時間に対するシャッター開口時間比率は１００％となる。
【００３５】
図２（ｃ）は、変換処理後の、フレームレートが１２０ｆｐｓの動画像データの一例を示している。この場合、オリジナル動画像データが３個のピクチャ単位で処理され、３個のうち２個のピクチャの画像データが平均化されて、変換後の１個のピクチャの画像データが生成される。この場合、３個のうち２個のピクチャの画像データを使用するので、オリジナル画像シーケンスがカバーする時間に対するシャッター開口時間比率は６６．７％となる。
【００３６】
図２（ｄ）は、変換処理後の、フレームレートが１２０ｆｐｓの動画像データの一例を示している。この場合、オリジナル動画像データが３個のピクチャ単位で処理され、３個のうち１個のピクチャの画像データが、変換後の１個のピクチャの画像データとされる。この場合、３個のうち１個のピクチャの画像データを使用するので、オリジナル画像シーケンスがカバーする時間に対するシャッター開口時間比率は３３．３％となる。
【００３７】
図２（ｅ）は、変換処理後の、フレームレートが１８０ｆｐｓの動画像データの一例を示している。この場合、オリジナル動画像データが２個のピクチャ単位で処理され、２個のうち１個のピクチャの画像データが、変換後の１個のピクチャの画像データとされる。この場合、２個のうち１個のピクチャの画像データを使用するので、オリジナル画像シーケンスがカバーする時間に対するシャッター開口時間比率は５０％となる。
【００３８】
図２（ｆ）は、変換処理後の、フレームレートが６０ｆｐｓの動画像データの一例を示している。この場合、オリジナル動画像データが６個のピクチャ単位で処理され、６個のうち前半の３個のピクチャの画像データが平均化されて、変換後の１個のピクチャの画像データが生成される。この場合、６個のうち３個のピクチャの画像データを使用するので、オリジナル画像シーケンスがカバーする時間に対するシャッター開口時間比率は５０％となる。
【００３９】
トランスポートストリームＴＳには、所定数のビデオストリームが含まれる。この実施の形態においては、２個のピクチャ毎の１番目のピクチャの符号化画像データを持つベースストリーム（第１のビデオストリーム）と、この２個のピクチャ毎の２番目のピクチャの符号化画像データを持つエンハンスストリーム（第２のビデオストリーム）が含まれる。
【００４０】
この場合、複数の階層が２つの階層組に分割され、最下位の階層組のピクチャの符号化画像データを持つベースストリームと、その上位の階層組のピクチャの符号化画像データを持つエンハンスストリームが生成される。ここで、上述の２個のピクチャ毎の１番目のピクチャの符号化画像データは、最下位の階層組のピクチャの符号化画像データに対応する。
【００４１】
各階層のピクチャの符号化画像データに、ピクチャ毎に、所属階層を識別するための階層識別情報が付加される。この実施の形態においては、各ピクチャのＮＡＬユニット（nal_unit）のヘッダ部分に、階層識別情報（temporal_idを意味する“nuh_temporal_id_plus1”）が配置される。このように階層識別情報が付加されることで、受信側では、ＮＡＬユニットのレイヤにおいて各ピクチャの階層識別が可能となる。
【００４２】
この実施の形態において、ベースストリーム、エンハンスストリームに含まれる符号化画像データに、ベースストリームがエンハンスストリームの時間的な変動要素を含んでいること、つまりベースストリームが持つ各ピクチャの符号化画像データに係る画像データが平均処理により得られたものであることを示す識別情報（第１の識別情報）、さらにはどのような平均処理がされているかを示す平均処理情報が挿入される。これにより、受信側では、ベースストリームが持つ２個のピクチャ毎の１番目のピクチャの符号化画像データに係る画像データが平均処理により得られたものであること、さらにその平均処理がどのような平均処理であるかを容易に把握可能となる。
【００４３】
また、この実施の形態において、トランスポートストリームＴＳのレイヤに、符号化画像データに上述の識別情報（第１の識別情報）が挿入されていることを示す識別情報（第２の識別情報）が挿入される。この識別情報は、例えば、プログラムマップテーブルの配下にビデオストリームにそれぞれ対応して配置されたビデオエレメンタリストリームループの中にデスクリプタとして挿入される。これにより、例えば、受信側では、符号化画像データを処理することなく、この識別情報に基づいて、符号化画像データに識別情報が挿入されていることを識別可能となる。
【００４４】
また、この実施の形態において、ベースストリーム、エンハンスストリームが持つ符号化画像データに、第１の動画像データを構成する各ピクチャの画像データにおけるシャッター開口時間比率の情報が挿入される。これにより、例えば、受信側では、このシャッター開口時間比率の情報に基づいてフレーム補間の処理を適応的に切り替えることが可能となる。
【００４５】
受信装置２００は、送信装置１００から放送波に載せて送られてくる上述のトランスポートストリームＴＳを受信する。受信装置２００は、６０ｆｐｓの動画像データを処理可能なデコード能力がある場合、トランスポートストリームＴＳに含まれるベースストリームのみをデコードし、６０ｆｐｓの動画像データを得て、画像再生を行う。
【００４６】
一方、受信装置２００は、１２０ｆｐｓの動画像データを処理可能なデコード能力がある場合、トランスポートストリームＴＳに含まれるベースストリームおよびエンハンスストリームの双方をデコードし、１２０ｆｐｓの動画像データ（第２の動画像データ）を得る。そして、この１２０ｆｐｓの第２の動画像データから、平均処理情報などに基づいて１２０ｆｐｓの第１の画像データを生成して、画像再生を行う。
【００４７】
なお、受信装置２００は、画像表示前に、必要に応じて、動画像データに対して時間方向の補間処理を施して、フレームレートをより高くした動画像データを得た後に、画像表示を行う。この場合、受信装置２００は、各ピクチャの符号化画像データに挿入されているシャッター開口時間比率の情報に基づいてフレーム補間の処理を切りかえる。
【００４８】
「送信装置の構成」
図３は、送信装置１００の構成例を示している。この送信装置１００は、プリプロセッサ１０１と、エンコーダ１０２と、マルチプレクサ１０３と、送信部１０４を有している。プリプロセッサ１０１は、１２０ｆｐｓの動画像データＰ(n)（第１の動画像データ）を処理して、１２０ｆｐｓの動画像データＱ(n)（第２の動画像データ）を得る。
【００４９】
この場合、プリプロセッサ１０１は、１２０ｆｐｓの動画像データＰ(n)を連続する２個のピクチャ単位で処理し、この２個のピクチャの画像データに線形または非線形の平均処理を施して得られた画像データを１番目のピクチャの画像データとし、この２個のピクチャの２番目のピクチャの画像データをそのまま２番目のピクチャの画像データとして、１２０ｆｐｓの動画像データＱ(n)を得る。
【００５０】
図４は、プリプロセッサ１０１の構成例を示している。このプリプロセッサ１０１は、スイッチ回路１１０，１１４と、１フレーム期間の遅延素子１１１，１１３と、加算回路１１２を有している。１２０ｆｐｓの動画像データＰ(n)は、スイッチ回路１１０の可動端子に供給される。このスイッチ回路１１０は、偶数フレームの期間は「Even」側の固定端子に接続された状態となり、奇数フレームの期間は「Odd」側の固定端子に接続された状態となる。
【００５１】
スイッチ回路１１０の「Even」側の固定端子に得られる偶数フレームの画像データは、遅延素子１１１で１フレーム期間だけ遅延された後に、「１/２」の利得をもって加算回路１１２に入力される。また、スイッチ回路１１０の「Odd」側の固定端子に得られる奇数フレームの画像データは、「１/２」の利得をもって加算回路１１２に入力される。
【００５２】
加算回路１１２は、連続する２個の画像データ（偶数フレームと奇数フレームの画像データ）の線形平均を取る。加算回路１１２の出力画像データは、スイッチ回路１１４の「Odd」側の固定端子に入力される。また、スイッチ回路１１０の側の固定端子に得られる奇数フレームの画像データは、遅延素子１１３で１フレーム期間だけ遅延された後に、スイッチ回路１１４の「Even」側の固定端子に入力される。
【００５３】
このスイッチ回路１１４は、偶数フレームの期間は「Even」側の固定端子に接続された状態となり、奇数フレームの期間は「Odd」側の固定端子に接続された状態となる。このスイッチ回路１１４の可動端子から、平均処理を施して得られた偶数フレームの画像データと奇数フレームの画像データとが交互に配置された１２０ｆｐｓの動画像データＱ(n)が得られる。
【００５４】
図５（ａ），（ｂ）は、プリプロセッサ１０１の入力データ（動画像データＰ(n)）と、プリプロセッサ１０１の出力データ（動画像データＱ(n)）との関係の一例を、模式的に表している。動画像データＰ(n)の各ピクチャの画像データＰ０，Ｐ１，Ｐ２，Ｐ３，・・・に対応して、動画像データＱ(n)の各ピクチャの画像データＱ０＃，Ｑ１，Ｑ２＃，Ｑ３，・・・が得られる。
【００５５】
なお、図５（ａ），（ｂ）において、カッコ「“”」内の数値は、各フレームの画像データにおける画素値の一例を示している。例えば、画像データＱ０＃の画素値は“７”であり、画像データＰ０の画素値“６”と画像データＰ１の画素値“８”の平均値となっている。これにより、画像データＱ０＃が、画像データＰ０と画像データＰ１に線形の平均処理を施して得られたものであることが示されている。また、例えば、画像データＱ１の画素値は“８”であり、画像データＰ１の画素値“８”と同じとなっている。これにより、画像データＱ１は画像データＰ１と同一のものであることが示されている。
【００５６】
図３に戻って、エンコーダ１０２は、プリプロセッサ１０１で得られる１２０ｆｐｓの動画像データＱ(n)に対して、階層符号化を行う。エンコーダ１０２は、この動画像データＱ(n)を構成する各ピクチャの画像データを複数の階層に分類し、この分類された各階層のピクチャの画像データを符号化し、各階層のピクチャの符号化画像データを持つビデオストリームを生成する。エンコーダ１０２は、例えば、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの符号化を行う。この際、エンコーダ１０２は、参照するピクチャ（被参照ピクチャ）が、自己階層および／または自己階層よりも下位の階層に所属するように、符号化する。
【００５７】
図６は、エンコーダ１０２で行われる階層符号化の一例を示している。この例は、０から４までの５階層に分類され、各階層のピクチャの画像データに対して符号化が施された例である。縦軸は階層を示している。階層０から４のピクチャの符号化画像データを構成するＮＡＬユニット（nal_unit）のヘッダ部分に配置されるtemporal_id（階層識別情報）として、それぞれ、０から４が設定される。一方、横軸は表示順（ＰＯＣ：picture order of composition）を示し、左側は表示時刻が前で、右側は表示時刻が後になる。
【００５８】
図７（ａ）は、ＮＡＬユニットヘッダの構造例（Syntax）を示し、図７（ｂ）は、その構造例における主要なパラメータの内容（Semantics）を示している。「Forbidden_zero_bit」の１ビットフィールドは、０が必須である。「Nal_unit_type」の６ビットフィールドは、ＮＡＬユニットタイプを示す。「Nuh_layer_id」の６ビットフィールドは、本記載中は０を前提とする。「Nuh_temporal_id_plus1」の３ビットフィールドは、temporal_idを示し、１を加えた値（１〜７）をとる。
【００５９】
図６に戻って、矩形枠のそれぞれがピクチャを示し、数字は、符号化されているピクチャの順、つまりエンコード順（受信側ではデコード順）を示している。図６の例の場合、「２」から「１７」の１６個のピクチャによりサブ・ピクチャグループ（Sub group of pictures）が構成されており、「２」はそのサブ・ピクチャグループの先頭のピクチャとなる。「１」は前のサブ・ピクチャグループのピクチャである。このサブ・ピクチャグループがいくつか集まってＧＯＰ（Group Of Pictures）となる。
【００６０】
ＧＯＰの先頭ピクチャの符号化画像データは、図８に示すように、ＡＵＤ、ＶＰＳ、ＳＰＳ、ＰＰＳ、ＰＳＥＩ、ＳＬＩＣＥ、ＳＳＥＩ、ＥＯＳのＮＡＬユニットにより構成される。一方、ＧＯＰの先頭ピクチャ以外のピクチャは、ＡＵＤ、ＰＰＳ、ＰＳＥＩ、ＳＬＩＣＥ、ＳＳＥＩ、ＥＯＳのＮＡＬユニットにより構成される。ＶＰＳはＳＰＳと共に、シーケンス（ＧＯＰ）に一度、ＰＰＳは毎ピクチャで伝送可能とされている。なお、ＥＯＳは存在しなくともよい。
【００６１】
図６に戻って、実線矢印は、符号化におけるピクチャの参照関係を示している。例えば、「２」のピクチャは、Ｐピクチャであり、「１」のピクチャを参照して符号化される。また、「３」のピクチャは、被参照可能なＢピクチャであり、「１」、「２」のピクチャを参照して符号化される。同様に、その他のピクチャは、表示順で近くのピクチャを参照して符号化される。なお、最上位の階層のピクチャは、他のピクチャからの参照がない。
【００６２】
図３に戻って、エンコーダ１０２は、所定数のビデオストリームを生成する。この実施の形態においては、偶数フレームの符号化画像データを持つベースストリームと、奇数フレームの符号化画像データを持つエンハンスストリームを生成する。この場合、複数の階層が２つの階層組に分割され、最下位の階層組のピクチャの符号化画像データを持つベースストリームと、その上位の階層組のピクチャの符号化画像データを持つエンハンスストリームが生成される。上述の偶数フレームの符号化画像データは、最下位の階層組のピクチャの符号化画像データに対応する。
【００６３】
例えば、図６の階層符号化の例において、エンコーダ１０２は、破線で区切るように、階層０から３を最下位の階層組とし、階層４をその上位に位置する階層組として、２つの階層組に分割する。この場合、最下位の階層組のピクチャの符号化画像データを持つビデオストリームはベースストリームとされ、そのストリームタイプは“０ｘ２４”とされる。また、この最下位の階層組より上位に位置する階層組のピクチャの符号化画像データを含むビデオストリームはエンハンスストリームとされ、そのストリームタイプは、新規定義する“０ｘ２５”とされる。
【００６４】
このストリームタイプは、所定数のビデオストリームのそれぞれが、ベースストリームであるかエンハンスストリームであるかを識別するための識別情報を構成する。このストリームタイプは、トランスポートストリームＴＳのレイヤに挿入される。すなわち、このストリームタイプは、プログラムマップテーブル（ＰＭＴ：Program Map Table）の配下に所定数のビデオストリームにそれぞれ対応して配置されたビデオエレメンタリストリームループ（Video ES loop）の中に挿入される。
【００６５】
エンコーダ１０２は、上述したように、ベースストリーム、エンハンスストリームが持つ各ピクチャの符号化画像データに、ベースストリームが持つ各ピクチャの符号化画像データに係る画像データが平均処理により得られたものであることを示す識別情報（第１の識別情報）、さらにはどのような平均処理がされているかを示す平均処理情報を挿入する。また、エンコーダ１０２は、上述したように、ベースストリーム、エンハンスストリームが持つ各ピクチャの符号化画像データに、動画像データＰ(n)を構成する各ピクチャの画像データにおけるシャッター開口時間比率の情報（図２（ｂ）−（ｄ）参照）を挿入する。
【００６６】
エンコーダ１０２は、新たに定義する、キャプチャリング・スピード・インフォメーションＳＥＩ（Capturing_speed_information SEI）を、プリフィックスＳＥＩ（Prefix_SEI）の一つとして挿入する。
【００６７】
図９（ａ）は、キャプチャリング・スピード・インフォメーションＳＥＩを挿入するためのインタフェース（I/F）の構造例(Syntax)を示している。「uuid_iso_iec_11578」のフィールドは、“ISO/IEC 11578:1996 Annex A.”で示されるＵＵＩＤ値を持つ。「user_data_payload_byte」のフィールドに、「capturing_speed_information()」が挿入される。
【００６８】
図９（ｂ）は、「capturing_speed_information()」の構造例(Syntax)を示している。図１０は、その構造例における主要な情報の内容（Semantics）を示している。「userdata_id」の１６ビットフィールドには、所定のユーザデータのＩＤを付す。「capturing_speed_information_length」の８ビットフィールドは、“capturing_speed_information”のバイト数（本要素の次の要素からカウント）を示す。
【００６９】
「shutter_ratio_denominator_minus1」の５ビットフィールドは、カメラ撮り時のソース素材からエンコーダ入力画像生成時のシャッター開口時間比率の分母の値を表す。「shutter_ratio_numerator_minus1」の５ビットフィールドは、カメラ撮り時のソース素材からエンコーダ入力画像生成時のシャッター開口時間比率の分子の値を表す。この場合、シャッター開口時間比率Ratioは、(SRN+1) / (SRD+1) で表される。
【００７０】
「cross_stream_smoothing_base_flag」の１ビットフィールドは、該当ストリームは、一つのサービスを構成する複数のストリームがテンポラル・スケーラビリティ（temporal scalability）      をもつよう符号化されていて、最下層のベースストリーム（base stream）は非最下層のストリームの時間的な変動要素を含んでいるかどうかを示す。すなわち、この１ビットフィールドは、ベースストリームが持つ各ピクチャの符号化画像データに係る画像データが平均処理により得られたものであるかどうかを示す。“１”は、ベースストリームは他の非最下層ストリームの時間的な変動を含むことを示す。“０”は、ベースストリームは、他の非最下層ストリームの時間的な変動を含まないことを示す。
【００７１】
「cross_stream_smoothing_base_flag」の１ビットフィールドが“１”であるとき、「smoothing_type」の８ビットフィールドが存在する。このフィールドは、スムージング（smoothing）、つまり平均処理の方法を示す。“０ｘ００”は、線形な平均をとることを示す。その他は、非線形な平均をとることを示し、平均処理の手順はタイプ毎に指定される。なお、図５（ａ），（ｂ）の例は、線形な平均をとる例である。非線形な平均をとる場合は、例えば、Ｐ０とＰ１の利得が異なるものとされる。
【００７２】
図３に戻って、マルチプレクサ１０３は、エンコーダ１０２で生成されるビデオストリームを、ＰＥＳ（Packetized Elementary Stream）パケット化し、さらにトランスポートパケット化して多重し、多重化ストリームとしてのトランスポートストリームＴＳを得る。この実施の形態において、このトランスポートストリームＴＳには、ベースストリームと、エンハンスストリームが含まれる。
【００７３】
また、マルチプレクサ１０３は、トランスポートストリームＴＳのレイヤに、ベースストリーム、エンハンスストリームが持つ符号化画像データに上述の識別情報（第１の識別情報）が挿入されていることを示す識別情報（第２の識別情報）を挿入する。この識別情報は、プログラムマップテーブルの配下にビデオストリームにそれぞれ対応して配置されたビデオエレメンタリストリームループの中にデスクリプタとして挿入される。
【００７４】
マルチプレクサ１０３は、ＨＥＶＣデスクリプタ（HEVC_descriptor）と共に、新規定義するシャッター・スピード・インフォメーション・デスクリプタ（Shutter_speed_information_descriptor）
を挿入する。図１１（ａ）は、シャッター・スピード・インフォメーション・デスクリプタの構造例（Syntax）を示している。図１１（ｂ）は、その構造例における主要な情報の内容（Semantics）を示している。
【００７５】
「Shutter_speed_information_descriptor_tag」の８ビットフィールドは、デスクリプタタイプを示す。ここでは、シャッター・スピード・インフォメーション・デスクリプタであることを示す。「Shutter_speed_information_descriptor_length」の８ビットフィールドは、デスクリプタの長さ（サイズ）を示し、デスクリプタの長さとして、以降のバイト数を示す。ここでは、１バイトを示す。
【００７６】
「Shutter_speed_information_SEI_existed」の１ビットフィールドは、ビデオストリームに、キャプチャリング・スピード・インフォメーションＳＥＩ（Capturing_speed_information SEI）が符号化されているかどうかを示す。“１”は、ビデオストリームにこのＳＥＩが符号化されていることを保証することを示す。“０”は、ビデオストリームにこのＳＥＩが符号化されていることは保証しないことを示す。
【００７７】
図１２は、ＨＥＶＣデスクリプタ（HEVC_descriptor）の構造例（Syntax）を示している。「descriptor_tag」の８ビットフィールドは、デスクリプタタイプを示し、ここでは、ＨＥＶＣデスクリプタであることを示す。「descriptor_length」の８ビットフィールドは、デスクリプタの長さ（サイズ）を示し、デスクリプタの長さとして、以降のバイト数を示す。
【００７８】
「level_idc」の８ビットフィールドは、ビットレートのレベル指定値を示す。また、「temporal_layer_subset_flag = 1」であるとき、「temporal_id_min」の５ビットフィールドと、「temporal_id_max」の５ビットフィールドが存在する。「temporal_id_min」は、対応するビデオストリームに含まれる階層符号化データの最も低い階層のtemporal_idの値を示す。「temporal_id_max」は、対応するビデオストリームが持つ階層符号化データの最も高い階層のtemporal_idの値を示す。
【００７９】
図１３は、トランスポートストリームＴＳの構成例を示している。このトランスポートストリームＴＳには、ベースストリームとエンハンスストリームの２つのビデオストリームが含まれている。すなわち、この構成例では、ベースストリームのＰＥＳパケット「video PES1」が存在すると共に、エンハンスストリームのＰＥＳパケット「video PES2」が存在する。ＰＥＳパケット「video PES1」、「video PES2」でコンテナされる各ピクチャの符号化画像データには、キャプチャリング・スピード・インフォメーションＳＥＩが挿入される。
【００８０】
また、トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）の一つとして、ＰＭＴ（Program Map Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。
【００８１】
ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・ループ（Program loop）が存在する。また、ＰＭＴには、各ビデオストリームに関連した情報を持つエレメンタリストリーム・ループが存在する。この構成例では、ベースストリームに対応したビデオエレメンタリストリームループ「video ES1 loop」が存在すると共に、エンハンスストリームに対応したビデオエレメンタリストリームループ「video ES2 loop」が存在する。
【００８２】
「video ES1 loop」には、ベースストリーム（video PES1）に対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このストリームタイプは、ベースストリームを示す“０ｘ２４”とされる。また、デスクリプタの一つとして、上述したＨＥＶＣデスクリプタ、シャッター・スピード・インフォメーション・デスクリプタが挿入される。
【００８３】
また、「video ES2 loop」には、エンハンスストリーム（video PES2）に対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このストリームタイプは、エンハンスストリームを示す、例えば新規定義する“０ｘ２５”とされる。また、デスクリプタの一つとして、上述したＨＥＶＣデスクリプタ、シャッター・スピード・インフォメーション・デスクリプタが挿入される。
【００８４】
図３に戻って、送信部１０４は、トランスポートストリームＴＳを、例えば、ＱＰＳＫ／ＯＦＤＭ等の放送に適した変調方式で変調し、ＲＦ変調信号を送信アンテナから送信する。
【００８５】
図３に示す送信装置１００の動作を簡単に説明する。プリプロセッサ１０１には、ハイフレームレートの動画像データとして、１２０ｆｐｓの動画像データＰ(n)（第１の動画像データが入力される。プリプロセッサ１０１では、この１２０ｆｐｓの動画像データＰ(n)が処理されて、１２０ｆｐｓの動画像データＱ(n)（第２の動画像データ）が得られる。
【００８６】
この場合、プリプロセッサ１０１では、動画像データＰ(n)を連続する２個のピクチャ単位で処理し、この２個のピクチャの画像データに線形または非線形の平均処理を施して得られた画像データを１番目のピクチャの画像データとし、この２個のピクチャの２番目のピクチャの画像データをそのまま２番目のピクチャの画像データとして、１２０ｆｐｓの動画像データＱ(n)が得られる（図５（ａ），（ｂ）参照）。
【００８７】
プリプロセッサ１０１で得られる１２０ｆｐｓの動画像データＱ(n)は、エンコーダ１０２に供給される。このエンコーダ１０２では、この動画像データＱ(n)に対して、階層符号化が行われる。すなわち、エンコーダ１０２では、この動画像データＱ(n)を構成する各ピクチャの画像データが複数の階層に分類されて符号化され、各階層のピクチャの符号化画像データを持つビデオストリームが生成される。この際、参照するピクチャが、自己階層および／または自己階層よりも下位の階層に所属するように、符号化される。
【００８８】
エンコーダ１０２では、偶数フレームの符号化画像データを持つベースストリームと、奇数フレームの符号化画像データを持つエンハンスストリームが生成される。この場合、複数の階層が２つの階層組に分割され、最下位の階層組のピクチャの符号化画像データを持つベースストリームと、その上位の階層組のピクチャの符号化画像データを持つエンハンスストリームが生成される。上述の偶数フレームの符号化画像データは、最下位の階層組のピクチャの符号化画像データに対応する。
【００８９】
エンコーダ１０２では、ベースストリーム、エンハンスストリームが持つ各ピクチャの符号化画像データに、ベースストリームが持つ各ピクチャの符号化画像データに係る画像データが平均処理により得られたものであることを示す識別情報（第１の識別情報）、さらにはどのような平均処理がされているかを示す平均処理情報が挿入される。また、エンコーダ１０２では、ベースストリーム、エンハンスストリームが持つ各ピクチャの符号化画像データに、動画像データＰ(n)を構成する各ピクチャの画像データにおけるシャッター開口時間比率の情報が挿入される。具体的には、エンコーダ１０２において、新たに定義される、キャプチャリング・スピード・インフォメーションＳＥＩが、プリフィックスＳＥＩの一つとして挿入される。
【００９０】
エンコーダ１０２で生成されたビデオストリームは、マルチプレクサ１０３に供給される。マルチプレクサ１０３では、エンコーダ１０２で生成されるビデオストリームに対して、ＰＥＳパケット化、さらにトランスポートパケット化が行われて多重され、多重化ストリームとしてのトランスポートストリームＴＳが得られる。このトランスポートストリームＴＳには、ベースストリームと、エンハンスストリームが含まれる。
【００９１】
また、マルチプレクサ１０３では、トランスポートストリームＴＳのレイヤに、ベースストリーム、エンハンスストリームが持つ符号化画像データに上述の識別情報（第１の識別情報）が挿入されていることを示す識別情報（第２の識別情報）が挿入される。この識別情報は、プログラムマップテーブルの配下にビデオストリームにそれぞれ対応して配置されたビデオエレメンタリストリームループの中にデスクリプタとして挿入される。具体的には、マルチプレクサ１０３において、ＨＥＶＣデスクリプタと共に、新規定義するシャッター・スピード・インフォメーション・デスクリプタが挿入される。
【００９２】
マルチプレクサ１０３で生成されるトランスポートストリームＴＳは、送信部１０４に送られる。送信部１０４では、このトランスポートストリームＴＳが、例えば、ＱＰＳＫ／ＯＦＤＭ等の放送に適した変調方式で変調され、ＲＦ変調信号が送信アンテナから送信される。
【００９３】
「受信装置の構成」
図１４は、１２０ｆｐｓの動画像データを処理可能なデコード能力がある受信装置２００Ａの構成例を示している。この受信装置２００Ａは、受信部２０１と、デマルチプレクサ２０２と、デコーダ２０３と、ポストプロセッサ２０４と、ディスプレイプロセッサ２０５を有している。
【００９４】
受信部２０１は、受信アンテナで受信されたＲＦ変調信号を復調し、トランスポートストリームＴＳを取得する。デマルチプレクサ２０２は、図１５（ｂ）に示すように、トランスポートストリームＴＳから、ＰＩＤのフィルタリングによって、ベースストリームおよびエンハンスストリームを取り出し、デコードタイミング情報に基づいて１つのビデオストリームに統合してデコーダ２０３に供給する。
【００９５】
また、デマルチプレクサ２０２は、トランスポートストリームＴＳのレイヤに含まれるセクション情報を抽出し、図示しない制御部に送る。この場合、シャッター・スピード・インフォメーション・デスクリプタも抽出される。これにより、制御部は、ベースストリーム、エンハンスストリームが持つ符号化画像データにキャプチャリング・スピード・インフォメーションＳＥＩが挿入されていることを把握する。
【００９６】
デコーダ２０３は、デマルチプレクサ２０２から供給されるビデオストリームを復号化して、送信装置１００における動画像データＱ(n)に対応した、１２０ｆｐｓの動画像データＱ´(n)を得る。また、デコーダ２０３は、ビデオストリームが持つ各ピクチャの符号化画像データに挿入されているキャプチャリング・スピード・インフォメーションＳＥＩを抽出し、図示しない制御部に送る。
【００９７】
これにより、制御部は、ベースストリームが持つ各ピクチャの符号化画像データに係る画像データが平均処理により得られたものであることを把握する。また、制御部は、どのような平均処理がされているかを把握する。さらに、後述するポストプロセッサ２０４で得られる１２０ｆｐｓの動画像データＺ(n)を構成する各ピクチャの画像データにおけるシャッター開口時間比率を把握する。
【００９８】
ポストプロセッサ２０４は、１２０ｆｐｓの動画像データＱ´(n)に対して、送信装置１００におけるプリプロセッサ１０１とは逆の処理を施し、動画像データＰ(n)に対応した、１２０ｆｐｓの動画像データＺ(n)を得る。ポストプロセッサ２０４は、制御部の制御のもと、ベースストリームが持つ各ピクチャの符号化画像データに係る画像データが平均処理により得られたものである場合、平均処理情報を参照して、処理を行う。
【００９９】
図１６は、ポストプロセッサ２０４の構成例を示している。このポストプロセッサ２０４は、スイッチ回路２４０，２４４と、１フレーム期間の遅延素子２４１，２４３と、加算回路２４２を有している。１２０ｆｐｓの動画像データＱ´(n)は、スイッチ回路２４０の可動端子に供給される。このスイッチ回路２４０は、偶数フレームの期間は「Even」側の固定端子に接続された状態となり、奇数フレームの期間は「Odd」側の固定端子に接続された状態となる。
【０１００】
スイッチ回路２４０の「Even」側の固定端子に得られる偶数フレームの画像データは、遅延素子２４１で１フレーム期間だけ遅延された後に、「１」の利得をもって加算回路２４２に入力される。また、スイッチ回路１１０の「Odd」側の固定端子に得られる奇数フレームの画像データは、「−１/２」の利得をもって加算回路２４２に入力される。
【０１０１】
加算回路２４２は、連続する２個の画像データ（偶数フレームと奇数フレームの画像データ）毎に、偶数フレームの画像データから１/２倍とされた奇数フレームの画像データを減算する。この加算回路２４２の出力画像データは「２」の利得を持って、スイッチ回路２４４の「Odd」側の固定端子に入力される。また、スイッチ回路２４０の側の固定端子に得られる奇数フレームの画像データは、遅延素子２４３で１フレーム期間だけ遅延された後に、スイッチ回路２４４の「Even」側の固定端子に入力される。
【０１０２】
このスイッチ回路２４４は、偶数フレームの期間は「Even」側の固定端子に接続された状態となり、奇数フレームの期間は「Odd」側の固定端子に接続された状態となる。このスイッチ回路２４４の可動端子から、平均処理を施す前の状態に戻された偶数フレームの画像データと、奇数フレームの画像データとが交互に配置された１２０ｆｐｓの動画像データＺ(n)が得られる。
【０１０３】
図５（ｂ），（ｃ）は、ポストプロセッサ２０４の入力データ（動画像データＱ´(n)）と、ポストプロセッサ２０４の出力データ（動画像データＺ(n)）との関係の一例を、模式的に表している。動画像データＱ´(n)の各ピクチャの画像データＱ０＃，Ｑ１，Ｑ２＃，Ｑ３，・・・に対応して、動画像データＱ(n)の各ピクチャの画像データＺ０，Ｚ１，Ｚ２，Ｚ３，・・・が得られる。
【０１０４】
なお、図５（ｂ），（ｃ）において、カッコ「“”」内の数値は、各フレームの画像データにおける画素値の一例を示している。例えば、画像データＺ０，Ｚ２，Ｚ４の画素値は“６”，“１２”，“８”であり、画像データＰ０，Ｐ２，Ｐ４の画素値“６” ，“１２”，“８”と同じ値である。これにより、これらのフレームの画像データが平均処理を施す前の状態に戻されることが示されている。
【０１０５】
ディスプレイプロセッサ２０５は、ポストプロセッサ２０４で得られる１２０ｆｐｓの動画像データＺ(n)に対して時間方向の補間処理、つまりフレーム補間処理を施して、１２０ｆｐｓより高いフレームレートの動画像データを得る。ディスプレイプロセッサ２０５は、制御部の制御のもと、動画像データＺ(n)を構成する各ピクチャの画像データにおけるシャッター開口時間比率に基づいて、フレーム補間の処理を切り替える。
【０１０６】
この場合、例えば、フレーム周波数に対するシャッター速度の比率が低くなる（相対的にシャッター速度が高速になる）とき、つまりシャッター開口時間比率が小さくなるにつれて、動き予測処理の際の処理ブロックサイズが小さくされ、予測アルゴリズムがより精度の高いものに切り替えられる。これにより、高精細で安定した画質表示が可能になる
【０１０７】
図１４に示す受信装置２００の動作を簡単に説明する。受信部２０１では、受信アンテナで受信されたＲＦ変調信号が復調され、トランスポートストリームＴＳが取得される。このトランスポートストリームＴＳは、デマルチプレクサ２０２に送られる。デマルチプレクサ２０２では、トランスポートストリームＴＳから、ＰＩＤのフィルタリングによって、ベースストリームおよびエンハンスストリームが取り出され、デコードタイミング情報に基づいて１つのビデオストリームに統合されてデコーダ２０３に供給される。
【０１０８】
また、デマルチプレクサ２０２では、トランスポートストリームＴＳのレイヤに含まれるセクション情報が抽出され、図示しない制御部に送られる。この場合、シャッター・スピード・インフォメーション・デスクリプタも抽出される。これにより、制御部では、ベースストリーム、エンハンスストリームが持つ符号化画像データへのキャプチャリング・スピード・インフォメーションＳＥＩの挿入が把握される。
【０１０９】
デコーダ２０３では、デマルチプレクサ２０２から供給されるビデオストリームの復号化が行われて、送信装置１００における動画像データＱ(n)に対応した、１２０ｆｐｓの動画像データＱ´(n)が得られる。また、デコーダ２０３では、ビデオストリームが持つ各ピクチャの符号化画像データに挿入されているキャプチャリング・スピード・インフォメーションＳＥＩが抽出され、図示しない制御部に送られる。
【０１１０】
これにより、制御部では、ベースストリームが持つ各ピクチャの符号化画像データに係る画像データが平均処理により得られたものであることが把握される。また、制御部は、どのような平均処理がされているかが把握される。さらに、後述するポストプロセッサ２０４で得られる１２０ｆｐｓの動画像データＺ(n)を構成する各ピクチャの画像データにおけるシャッター開口時間比率が把握される。
【０１１１】
デコーダ２０３で得られる１２０ｆｐｓの動画像データは、ポストプロセッサ２０４に供給される。このポストプロセッサ２０４では、制御部の制御のもと、１２０ｆｐｓの動画像データＱ´(n)に対して、送信装置１００におけるプリプロセッサ１０１とは逆の処理が施され、動画像データＰ(n)に対応した、１２０ｆｐｓの動画像データＺ(n)が得られる。この場合、制御部では、キャプチャリング・スピード・インフォメーションＳＥＩに基づいて、ベースストリームが持つ各ピクチャの符号化画像データに係る画像データが平均処理により得られたものであることが確認され、平均処理情報が参照されて処理が行われる。
【０１１２】
ポストプロセッサ２０４で得られる１２０Ｈｚの動画像データＺ（n）は、ディスプレイプロセッサ２０５に供給される。ディスプレイプロセッサ２０５では、ポストプロセッサ２０４で得られる１２０ｆｐｓの動画像データＺ(n)に対して時間方向の補間処理、つまりフレーム補間処理が施されて、１２０ｆｐｓより高いフレームレートの動画像データが得られる。この画像データは、表示部に供給され、画像表示が行われる。
【０１１３】
図１７は、６０ｆｐｓの動画像データを処理可能なデコード能力がある受信装置２００Ｂの構成例を示している。この図１７において、図１４と対応する部分には同一符号を付し、適宜、その詳細説明を省略する。この受信装置２００Ｂは、受信部２０１と、デマルチプレクサ２０２と、デコーダ２０３と、ディスプレイプロセッサ２０５を有している。
【０１１４】
受信部２０１では、受信アンテナで受信されたＲＦ変調信号が復調され、トランスポートストリームＴＳを取得される。デマルチプレクサ２０２では、図１５（ａ）に示すように、トランスポートストリームＴＳから、ＰＩＤのフィルタリングによって、ベースストリームのみが取り出されて、デコーダ２０３に供給される。
【０１１５】
デコーダ２０３で、デマルチプレクサ２０２から供給されるベースストリームが号化されて、６０ｆｐｓの動画像データが得られる。ディスプレイプロセッサ２０５では、デコーダ２０３で得られる６０ｆｐｓの動画像データに対して時間方向の補間処理、つまりフレーム補間処理が施されて、６０ｆｐｓより高いフレームレートの動画像データが得られる。この画像データは、表示部に供給され、画像表示が行われる。
【０１１６】
以上説明したように、図１に示す送受信システム１０においては、送信側では、ハイフレームレートの動画像データである１２０ｆｐｓの動画像データＰ(n)をそのまま送信するものではなく、２個のピクチャ毎の１番目のピクチャの画像データとして、２個のピクチャの画像データに平均処理を施して得られた画像データを送信するものである。
【０１１７】
そのため、例えば、受信側では、６０ｆｐｓの動画像データを処理可能なデコード能力がある場合（図１７参照）、２個のピクチャ毎の１番目のピクチャの符号化画像データだけを選択してデコード処理を行って６０ｆｐｓの動画像データを得ることで、滑らかな画像を表示でき、また、低負荷演算によるフレーム補間処理で画質的な問題を引き起こすことが回避可能となる。
【０１１８】
また、図１に示す送受信システム１０においては、受信側では、２個のピクチャ毎の１番目のピクチャの画像データが、平均処理が施される前の１番目のピクチャの画像データに戻されるものである。そのため、例えば、１２０ｆｐｓの動画像データを処理可能なデコード能力がある場合（図１４参照）、先鋭度が高く滑らかなハイフレームレートの画像表示が可能となる。
【０１１９】
＜２．変形例＞
なお、上述実施の形態においては、全体のフレームレートが１２０ｆｐｓでベースストリームのフレームレート６０ｆｐｓの例を示したが、フレームレートの組み合わせは、これに限定されるものではない。例えば、１００ｆｐｓと５０ｆｐｓの組み合わせでも同様である。
【０１２０】
また、上述実施の形態においては、全体のフレームレートとベースストリームのフレームレートとの比率が２：１である場合、つまりＮ＝２の例を示している。しかし、本技術は、２：１の比率だけでなく、その他の比率においても、同様に適用可能である。
【０１２１】
図１８（ａ），（ｂ）は、４：１の比率、つまりＮ＝４である場合における、プリプロセッサ１０１の入力データ（動画像データＰ(n)）と、プリプロセッサ１０１の出力データ（動画像データＱ(n)）との関係の一例を、模式的に表している。この例は、線形な平均をとる例である。動画像データＰ(n)の各ピクチャの画像データＰ０，Ｐ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５，Ｐ６，Ｐ７，・・・に対応して、動画像データＱ(n)の各ピクチャの画像データＱ０＃，Ｑ１，Ｑ２，Ｑ３，Ｑ４＃，Ｑ５，Ｑ２６＃，Ｑ７・・・が得られる。
【０１２２】
なお、図１８（ａ），（ｂ）において、カッコ「“”」内の数値は、各フレームの画像データにおける画素値の一例を示している。例えば、画像データＱ０＃の画素値は“９”であり、画像データＰ０，Ｐ１，Ｐ２，Ｐ３の画素値“６”，“８”，“１２”，“１０”の平均値となっている。これにより、画像データＱ０＃が、画像データＰ０，Ｐ１，Ｐ２，Ｐ３に線形の平均処理を施して得られたものであることが示されている。また、例えば、画像データＱ１，Ｑ２，Ｑ３の画素値は“８”，“１２”，“１０”であり、画像データＰ１，Ｐ２，Ｐ３の画素値“８” ，“１２”，“１０”と同じとなっている。これにより、画像データＱ１，Ｑ２，Ｑ３は画像データＰ１，Ｐ２，Ｐ３と同一のものであることが示されている。
【０１２３】
また、図１８（ｂ），（ｃ）は、４：１の比率、つまりＮ＝４である場合における、ポストプロセッサ２０４の入力データ（動画像データＱ´(n)）と、ポストプロセッサ２０４の出力データ（動画像データＺ(n)）との関係の一例を、模式的に表している。動画像データＱ´(n)の各ピクチャの画像データＱ０＃，Ｑ１，Ｑ２，Ｑ３，Ｑ４＃，Ｑ５，Ｑ２６＃，Ｑ７・・・に対応して、動画像データＱ(n)の各ピクチャの画像データＺ０，Ｚ１，Ｚ２，Ｚ３，Ｚ４，Ｚ５，Ｚ６，Ｚ７，・・・が得られる。
【０１２４】
なお、図１８（ｂ），（ｃ）において、カッコ「“”」内の数値は、各フレームの画像データにおける画素値の一例を示している。例えば、画像データＺ０，Ｚ４の画素値は“６”，“８”であり、画像データＰ０，Ｐ４の画素値“６” ，“８”と同じ値である。これにより、これらのフレームの画像データが平均処理を施す前の状態に戻されることが示されている。
【０１２５】
また、上述実施の形態においては、送信装置１００と受信装置２００からなる送受信システム１０を示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。例えば、受信装置２００の部分が、例えば、（ＨＤＭＩ（High-Definition Multimedia Interface）などのデジタルインタフェースで接続されたセットトップボックスおよびモニタの構成などであってもよい。なお、「ＨＤＭＩ」は、登録商標である。
【０１２６】
また、上述実施の形態においては、コンテナがトランスポートストリーム（ＭＰＥＧ−２  ＴＳ）である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、ＭＰ４やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ−２  ＴＳ）、インターネット配信で使用されているＭＰ４などの種々のフォーマットのコンテナが該当する。
【０１２７】
また、本技術は、以下のような構成を取ることもできる。
（１）所定フレームレートの第１の動画像データを連続するＮ個（Ｎは２以上の整数）のピクチャ単位で処理し、該Ｎ個のピクチャの画像データに平均処理を施して得られた画像データを１番目のピクチャの画像データとし、上記Ｎ個のピクチャの２番目からＮ番目のピクチャの画像データをそのまま２番目からＮ番目のピクチャの画像データとして、上記所定フレームレートの第２の動画像データを得る画像処理部と、
上記画像処理部で得られた上記第２の動画像データを構成する各ピクチャの画像データを符号化してビデオストリームを生成する画像符号化部と、
上記画像符号化部で生成されたビデオストリームを送信する送信部を備える
送信装置。
（２）上記画像符号化部は、上記Ｎ個のピクチャ毎の上記１番目のピクチャの符号化画像データを持つ第１のビデオストリームと、上記Ｎ個のピクチャ毎の上記２番目からＮ番目のピクチャの符号化画像データを持つ所定数の第２のビデオストリームとを生成する
前記（１）に記載の送信装置。
（３）上記画像符号化部は、上記画像処理部で得られる上記第２の動画像データを構成する各ピクチャの画像データを複数の階層に分類し、該分類された各階層のピクチャの画像データを符号化すると共に、上記複数の階層を所定数の階層組に分割し、該分割された各階層組のピクチャの符号化画像データをそれぞれ持つ所定数のビデオストリームを生成し、
最下位の階層組には、上記Ｎ個のピクチャ毎の上記１番目のピクチャの符号化画像データが含まれる
前記（２）に記載の送信装置。
（４）上記画像符号化部は、上記第１のビデオストリームに含まれる符号化画像データに、該第１のビデオストリームが上記第２のビデオストリームの時間的な変動要素を含んでいることを示す第１の識別情報を挿入する
前記（２）または（３）に記載の送信装置。
（５）上記画像符号化部は、上記第１のビデオストリームに含まれる符号化画像データに、上記平均処理の情報をさらに挿入する
前記（２）から（４）のいずれかに記載の送信装置。
（６）上記送信部は、上記ビデオストリームを含む所定フォーマットのコンテナを送信し、
上記コンテナのレイヤに、上記第１のビデオストリームに含まれる符号化画像データに上記第１の識別情報が挿入されていることを示す第２の識別情報を挿入する識別情報挿入部をさらに備える
前記（４）または（５）に記載の送信装置。
（７）上記画像符号化部は、上記ビデオストリームが持つ符号化画像データに、上記所定フレームレートの上記第１の動画像データを構成する各ピクチャの画像データにおけるシャッター開口時間比率の情報を挿入する
前記（１）から（６）のいずれかに記載の送信装置。
（８）所定フレームレートの第１の動画像データを連続するＮ個（Ｎは２以上の整数）のピクチャ単位で処理し、該Ｎ個のピクチャの画像データに平均処理を施して得られた画像データを１番目のピクチャの画像データとし、上記Ｎ個のピクチャの２番目からＮ番目のピクチャの画像データをそのまま２番目からＮ番目のピクチャの画像データとして、上記所定フレームレートの第２の動画像データを得る画像処理ステップと、
上記画像処理ステップで得られた第２の動画像データを構成する各ピクチャの画像データを符号化してビデオストリームを生成する画像符号化ステップと、
送信部により、上記画像符号化ステップで生成されたビデオストリームを送信する送信ステップを有する
送信方法。
（９）所定フレームレートの動画像データを構成する各ピクチャの画像データを符号化して生成されたビデオストリームを受信する受信部と、
上記受信部で受信されたビデオストリームを処理する処理部を備え、
上記所定フレームレートの動画像データは、
上記所定フレームレートの第１の動画像データを連続するＮ個（Ｎは２以上の整数）のピクチャ単位で処理し、該Ｎ個のピクチャの画像データに平均処理を施して得られた画像データを１番目のピクチャの画像データとし、上記Ｎ個のピクチャの２番目からＮ番目のピクチャの画像データをそのまま２番目からＮ番目のピクチャの画像データとして得られた上記所定フレームレートの第２の動画像データである
受信装置。
（１０）上記受信部で受信されたビデオストリームには、
上記Ｎ個のピクチャ毎の上記１番目のピクチャの符号化画像データを持つ第１のビデオストリームと、上記Ｎ個のピクチャ毎の上記２番目からＮ番目のピクチャの符号化画像データを持つ所定数の第２のビデオストリームが含まれる
前記（９）に記載の受信装置。
（１１）所定フレームレートの第１の動画像データを連続するＮ個（Ｎは２以上の整数）のピクチャ単位で処理し、該Ｎ個のピクチャの画像データに平均処理を施して得られた画像データを１番目のピクチャの画像データとし、上記Ｎ個のピクチャの２番目からＮ番目のピクチャの画像データをそのまま２番目からＮ番目のピクチャの画像データとして得られた上記所定フレームレートの第２の動画像データを構成する各ピクチャの画像データを符号化して生成されたビデオストリームを受信する受信部と、
上記受信部で受信されたビデオストリームを復号化して上記所定フレームレートの第２の動画像データを得る画像復号化部と、
上記画像復号化部で得られた第２の動画像データを処理して上記第１の動画像データを得る画像処理部を備える
受信装置。
（１２）上記受信部で受信されたビデオストリームには、
上記Ｎ個のピクチャ毎の上記１番目のピクチャの符号化画像データを持つ第１のビデオストリームと、上記Ｎ個のピクチャ毎の上記２番目からＮ番目のピクチャの符号化画像データを持つ所定数の第２のビデオストリームが含まれる
前記（１１）に記載の受信装置。
（１３）上記画像処理部で得られた上記第１の動画像データに対して時間方向の補間処理を施して上記所定フレームレートより高いフレームレートの第３の動画像データを得る表示処理部をさらに備える
前記（１１）または（１２）に記載の受信装置。
（１４）上記受信部で受信されたビデオストリームが持つ各ピクチャの符号化画像データには、上記第１の動画像データを構成する各ピクチャの画像データにおけるシャッター開口時間比率の情報が挿入されており、
上記表示処理部は、上記シャッター開口時間比率の情報に基づいてフレーム補間の処理を切り替える
前記（１３）に記載の受信装置。
（１５）受信部により、所定フレームレートの第１の動画像データを連続するＮ個（Ｎは２以上の整数）のピクチャ単位で処理し、該Ｎ個のピクチャの画像データに平均処理を施して得られた画像データを１番目のピクチャの画像データとし、上記Ｎ個のピクチャの２番目からＮ番目のピクチャの画像データをそのまま２番目からＮ番目のピクチャの画像データとして得られた上記所定フレームレートの第２の動画像データを構成する各ピクチャの画像データを符号化して生成されたビデオストリームを受信する受信ステップと、
上記受信ステップで受信されたビデオストリームを復号化して上記所定フレームレートの第２の動画像データを得る画像復号化ステップと、
上記画像復号化ステップで得られた第２の動画像データを処理して上記第１の動画像データを得る画像処理ステップを有する
受信方法。
（１６）所定フレームレートの動画像データを構成する各ピクチャの画像データを符号化してビデオストリームを生成する画像符号化部と、
上記画像符号化部で生成されたビデオストリームを送信する送信部を備え、
上記画像符号化部は、
上記ビデオストリームが持つ各ピクチャの符号化画像データに、上記所定フレームレートの上記第１の動画像データを構成する各ピクチャの画像データにおけるシャッター開口時間比率の情報を挿入する
送信装置。
（１７）所定フレームレートの動画像データを構成する各ピクチャの画像データが符号化されて得られたビデオストリームを受信する受信部と、
上記受信部で受信されたビデオストリームを復号化して上記所定フレームレートの動画像データを得る画像復号化部と、
上記画像復号化部で得られた上記第１の画像データに対して時間方向の補間処理を施して上記所定フレームレートより高いフレームレートの第３の動画像データを得る表示処理部を備え、
上記受信部で受信されたビデオストリームが持つ各ピクチャの符号化画像データには、上記所定フレームレートの動画像データを構成する各ピクチャの画像データにおけるシャッター開口時間比率の情報が挿入されており、
上記表示処理部は、上記シャッター開口時間比率の情報に基づいてフレーム補間の処理を切り替える
受信装置。
【０１２８】
本技術の主な特徴は、ハイフレームレートの動画像データを送信する際に、Ｎ個のピクチャ毎の１番目のピクチャの画像データとして、Ｎ個のピクチャの画像データに平均処理を施して得られた画像データを送信することで、ノーマルフレームレート対応の従来受信機に対する互換性を確保可能としたことである（図３−５参照）。
【符号の説明】
【０１２９】
１０・・・送受信システム
１００・・・送信装置
１０１・・・プリプロセッサ
１０２・・・エンコーダ
１０３・・・マルチプレクサ
１０４・・・送信部
１１０，１１４・・・スイッチ回路
１１１，１１３・・・遅延素子
１１２・・・加算回路
２００，２００Ａ，２００Ｂ・・・受信装置
２０１・・・受信部
２０２・・・デマルチプレクサ
２０３・・・デコーダ
２０４・・・ポストプロセッサ
２０５・・・ディスプレイプロセッサ
２４０，２４４・・・スイッチ回路
２４１，２４３・・・遅延素子
２４２・・・加算回路
【図１】
0006565679.tif 000002
【図２】
0006565679.tif 000003
【図３】
0006565679.tif 000004
【図４】
0006565679.tif 000005
【図５】
0006565679.tif 000006
【図６】
0006565679.tif 000007
【図７】
0006565679.tif 000008
【図８】
0006565679.tif 000009
【図９】
0006565679.tif 000010
【図１０】
0006565679.tif 000011
【図１１】
0006565679.tif 000012
【図１２】
0006565679.tif 000013
【図１３】
0006565679.tif 000014
【図１４】
0006565679.tif 000015
【図１５】
0006565679.tif 000016
【図１６】
0006565679.tif 000017
【図１７】
0006565679.tif 000018
【図１８】
0006565679.tif 000019