(57)【要約】【課題】ノーマルフレームレートおよびハイフレームレートの画像データを良好に伝送する。【解決手段】ハイフレームレートの動画像データを構成する各フレームの画像データのうち少なくともノーマルフレームレートに対応したフレームの画像データを周辺フレームの画像データと混合してシャッタ開口率を高めた状態とし、ノーマルフレームレートに対応したフレームの画像データを符号化して得られた基本ストリームＳＴｂを送信する。基本ストリームＳＴｂと共に、残りのフレームの画像データが符号化されて得られた拡張ストリームＳＴｅを得て、これらにフレームの混合割合の情報（係数セット）を挿入して送信する。【選択図】図４
2018186357.tif 000002
【特許請求の範囲】
【請求項１】
第１のフレームレートの第１の動画像データの各フレームの画像データにフレーム毎に独立した混合割合で周辺のフレームの画像データを混合する処理を施して上記第１のフレームレートの第２の動画像データを得る処理部を備え、
上記第２の動画像データを構成する各フレームの画像データのうち少なくとも上記第１のフレームレートより低い第２のフレームレートに対応したフレームの画像データは周辺フレームの画像データと混合された状態とされ、
上記第２のフレームレートに対応したフレームの画像データを符号化して基本ストリームを得ると共に、残りのフレームの画像データを符号化して拡張ストリームを得る符号化部と、
上記基本ストリームおよび上記拡張ストリームにそれぞれのフレームの画像データに関連付けて対応するフレームの上記混合割合の情報を挿入する挿入部と、
上記混合割合の情報が挿入された上記基本ストリームおよび上記拡張ストリームを含むコンテナを送信する送信部をさらに備える
送信装置。
【請求項２】
上記基本ストリームおよび上記拡張ストリームはＮＡＬユニット構造を有し、
上記挿入部は、
上記混合割合の情報を持つＳＥＩ  ＮＡＬユニットを、上記基本ストリームおよび上記拡張ストリームに挿入する
請求項１に記載の送信装置。
【請求項３】
上記第１のフレームレートは１２０Ｈｚまたは２４０Ｈｚであり、上記第２のフレームレートは６０Ｈｚである
請求項１に記載の送信装置。
【請求項４】
上記混合割合の情報には、混合処理を行ったフィルタの構成情報が付加されている
請求項１に記載の送信装置。
【請求項５】
上記混合割合の情報には、時間的に前のフレームの画像データは用いない混合リフレッシュまでのフレーム数を示す混合リフレッシュ情報が付加されている
請求項１に記載の送信装置。
【請求項６】
上記混合割合を示す情報には、上記混合リフレッシュをするフレームであるか否かを示すリフレッシュフラグ情報が付加されている
請求項５に記載の送信装置。
【請求項７】
上記混合割合の情報には、上記第２のフレームレートに対応したフレームであるか否かを示す先頭フラグ情報が付加されている
請求項１に記載の送信装置。
【請求項８】
処理部が、第１のフレームレートの第１の動画像データの各フレームの画像データにフレーム毎に独立した混合割合で周辺のフレームの画像データを混合する処理を施して上記第１のフレームレートの第２の動画像データを得る処理ステップを有し、
上記第２の動画像データを構成する各フレームの画像データのうち少なくとも上記第１のフレームレートより低い第２のフレームレートに対応したフレームの画像データは周辺フレームの画像データと混合された状態とされ、
挿入部が、上記第２のフレームレートに対応したフレームの画像データを符号化して基本ストリームを得ると共に、残りのフレームの画像データを符号化して拡張ストリームを得る符号化ステップと、
挿入部が、上記基本ストリームおよび上記拡張ストリームにそれぞれのフレームの画像データに関連付けて対応するフレームの上記混合割合の情報を挿入する挿入ステップと、
送信部が、上記混合割合の情報が挿入された上記基本ストリームおよび上記拡張ストリームを含むコンテナを送信する送信ステップをさらに有する
送信方法。
【請求項９】
基本ストリームおよび拡張ストリームを含むコンテナを受信する受信部を備え、
上記基本ストリームは、第１のフレームレートの第１の動画像データの各フレームの画像データにフレーム毎に独立した混合割合で周辺のフレームの画像データを混合する処理を施して得られた上記第１のフレームレートの第２の動画像データを構成する各画像データのうち上記第１のフレームレートより低い第２のフレームレートに対応したフレームの画像データであって少なくとも周辺フレームの画像データと混合された状態にある画像データを符号化して得られたものであり、上記拡張ストリームは、残りのフレームの画像データを符号化して得られたものであり、
上記基本ストリームおよび上記拡張ストリームにそれぞれのフレームの画像データに関連付けて対応するフレームの上記混合割合の情報が挿入されており、
表示能力に応じて、上記基本ストリームを復号化して上記第２のフレームレートの動画像データを得るか、あるいは上記基本ストリームおよび上記拡張フレームを復号化して上記第２の動画像データを得、該第２の動画像データに上記混合割合の情報に基づいて逆混合処理を施して混合解除された第１のフレームレートの動画像データを得る処理部をさらに備える
受信装置。
【請求項１０】
受信部が、基本ストリームおよび拡張ストリームを含むコンテナを受信する受信ステップを有し、
上記基本ストリームは、第１のフレームレートの第１の動画像データの各フレームの画像データにフレーム毎に独立した混合割合で周辺のフレームの画像データを混合する処理を施して得られた上記第１のフレームレートの第２の動画像データを構成する各画像データのうち少なくとも上記第１のフレームレートより低い第２のフレームレートに対応したフレームの画像データであって周辺フレームの画像データと混合された状態とされたにある画像データを符号化して得られたものであり、上記拡張ストリームは、残りのフレームの画像データを符号化して得られたものであり、
上記基本ストリームおよび上記拡張ストリームにそれぞれのフレームの画像データに関連付けて対応するフレームの上記混合割合の情報が挿入されており、
処理部が、表示能力に応じて、上記基本ストリームを復号化して上記第２のフレームレートの動画像データを得るか、あるいは上記基本ストリームおよび上記拡張フレームを復号化して上記第２の動画像データを得、該第２の動画像データに上記混合割合の情報に基づいて逆混合処理を施して混合解除された第１のフレームレートの動画像データを得る処理ステップをさらに有する
受信方法。
【請求項１１】
第１の動画像データの各フレームの画像データにフレーム毎に独立した混合割合で周辺のフレームの画像データを混合する処理を施して得られた第２の動画像データを取得する取得部と、
上記第２の動画像データと、各フレームの混合割合の情報を、伝送路を介して、外部機器に送信する送信部を備える
送信装置。
【請求項１２】
上記混合割合の情報には、次のビデオフレームとの同期が必須であるか否かを示す同期フレーム情報が付加されている
請求項１１に記載の送信装置。
【請求項１３】
上記送信部は、上記各フレームの混合割合の情報をそれぞれ上記第２の動画像データの各フレームの画像データのブランキング期間に挿入して送信する
請求項１１に記載の送信装置。
【請求項１４】
上記第２の動画像データの各フレームの画像データに上記混合割合の情報に基づいて逆混合処理を施して第３の動画像データを得る処理部をさらに備え、
上記送信部は、上記外部機器が上記逆混合処理の機能を持っていないとき、上記第２の動画像データの代わりに、上記第３の動画像データを送信する
請求項１１に記載の送信装置。
【請求項１５】
上記第２の動画像データは第１のフレームレートの動画像データであり、
上記第２の動画像データを構成する各フレームの画像データのうち少なくとも上記第１のフレームレートより低い第２のフレームレートに対応したフレームの画像データは周辺フレームの画像データと混合された状態にあり、
上記送信部は、上記外部機器の表示可能なフレームレートが上記第２のフレームレートであるとき、上記第２の動画像データの代わりに、上記第２のフレームレートに対応したフレームの画像データからなる第４の動画像データを送信する
請求項１１に記載の送信装置。
【請求項１６】
取得部が、第１の動画像データの各フレームの画像データにフレーム毎に独立した混合割合で周辺のフレームの画像データを混合する処理を施して得られた第２の動画像データを取得する取得ステップと、
送信部が、上記第２の動画像データと、各フレームの混合割合の情報を、伝送路を介して、外部機器に送信する送信ステップを有する
送信方法。
【請求項１７】
外部機器から、伝送路を介して、第１の動画像データの各フレームの画像データにフレーム毎に独立した混合割合で周辺のフレームの画像データを混合する処理を施して得られた第２の動画像データと、各フレームの混合割合の情報を受信する受信部と、
上記第２の動画像データの各フレームの画像データに上記混合割合の情報に基づいて逆混合処理を施して混合解除された動画像データを得る処理部を備える
受信装置。
【請求項１８】
受信部が、外部機器から、伝送路を介して、第１の動画像データの各フレームの画像データにフレーム毎に独立した混合割合で周辺のフレームの画像データを混合する処理を施して得られた第２の動画像データと、各フレームの混合割合の情報を受信する受信ステップと、
処理部が、上記第２の動画像データの各フレームの画像データに上記混合割合の情報に基づいて逆混合処理を施して混合解除された動画像データを得る処理ステップを有する
受信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、送信装置、送信方法、受信装置および受信方法に関し、詳しくは、ハイフレームレート（High Frame Rate）の動画像データを送信する送信装置等に関する。
【背景技術】
【０００２】
近年、高速フレームシャッターでハイフレームレート撮影を行うカメラが知られている。例えば、ノーマルフレームレートが６０Ｈｚ、５０Ｈｚなどであるのに対して、ハイフレームレートはその数倍あるいは数十倍、さらには数百倍のフレームレートとなる。
【０００３】
ハイフレームレートのサービスを行う場合、高速フレームシャッターでカメラ撮りされた動画像データを、それよりも低周波数の動画像シーケンスに変換して送信することが考えられる。しかし、高速フレームシャッターの画像は、動きボケを改善し、先鋭度の高い画質を実現する効果がある一方で、配信されるハイフレームレートに対してより低いフレームレートの動画像シーケンスを表示する受信再生側において、従来のフレーム補間技術に画質的な問題を引き起こす要素をもつ。
【０００４】
高速フレームシャッターで撮影された先鋭度の高い画像を用いたフレーム補間は、動きベクトル探索が適合する場合と適合しない場合との差が大きくなる。そのため、両者の差が顕著な画質劣化となって表示されるためである。フレーム補間時に、動きベクトル探索の精度を向上させるためには高負荷演算が要求されるが、受信機コストに影響及ぼす。
【０００５】
本出願人は、先に、高速フレームシャッターで撮影された画像による素材を変換して、ノーマルフレームレートのデコードを行う従来の受信機で一定以上の画品質で表示させる技術を提案した（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】国際公開第２０１５/０７６２７７号
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本技術の目的は、ノーマルフレームレートおよびハイフレームレートの動画像データを良好に伝送することにある。
【課題を解決するための手段】
【０００８】
本技術の概念は、
第１のフレームレートの第１の動画像データの各フレームの画像データにフレーム毎に独立した混合割合で周辺のフレームの画像データを混合する処理を施して上記第１のフレームレートの第２の動画像データを得る処理部を備え、
上記第２の動画像データを構成する各フレームの画像データのうち少なくとも上記第１のフレームレートより低い第２のフレームレートに対応したフレームの画像データは周辺フレームの画像データと混合された状態とされ、
上記第２のフレームレートに対応したフレームの画像データを符号化して基本ストリームを得ると共に、残りのフレームの画像データを符号化して拡張ストリームを得る符号化部と、
上記基本ストリームおよび上記拡張ストリームにそれぞれのフレームの画像データに関連付けて対応するフレームの上記混合割合の情報を挿入する挿入部と、
上記混合割合の情報が挿入された上記基本ストリームおよび上記拡張ストリームを含むコンテナを送信する送信部をさらに備える
送信装置にある。
【０００９】
本技術において、第１のフレームレートの第１の動画像データの各フレームの画像データにフレーム毎に独立した混合割合で周辺のフレームの画像データを混合する処理が施されて第１のフレームレートの第２の動画像データが得られる。ここで、第２の動画像データを構成する各フレームの画像データのうち少なくとも第１のフレームレートより低い第２のフレームレートに対応したフレームの画像データは周辺フレームの画像データと混合された状態とされる。例えば、第１のフレームレートは、いわゆるハイフレームレートで、１２０Ｈｚ、２４０Ｈｚなどであり、第２のフレームレートは、いわゆるノーマルフレームレートで、６０Ｈｚである。
【００１０】
符号化部により、第２のフレームレートに対応したフレームの画像データが符号化されて基本ストリームが得られると共に、残りのフレームの画像データが符号化されて拡張ストリームが得られる。挿入部により、基本ストリームおよび拡張ストリームにそれぞれのフレームの画像データに関連付けられて対応するフレームの混合割合の情報が挿入される。そして、送信部により、混合割合の情報が挿入された基本ストリームおよび拡張ストリームを含むコンテナが送信される。
【００１１】
例えば、基本ストリームおよび拡張ストリームはＮＡＬ（Network Abstraction Layer）ユニット構造を有し、挿入部は、混合割合の情報を持つＳＥＩ（Supplemental Enhancement Information）ＮＡＬユニットを、基本ストリームおよび拡張ストリームに挿入する、ようにされてもよい。
【００１２】
例えば、混合割合の情報には、混合処理を行ったフィルタの構成情報が付加されている、ようにされてもよい。また、例えば、混合割合の情報には、時間的に前のフレームの画像データは用いない混合リフレッシュまでのフレーム数を示す混合リフレッシュ情報が付加されている、ようにされてもよい。この場合、例えば、混合割合を示す情報には、混合リフレッシュをするフレームであるか否かを示すリフレッシュフラグ情報が付加されている、ようにされてもよい。また、例えば、混合割合の情報には、第２のフレームレートに対応したフレームであるか否かを示す先頭フラグ情報が付加されている、ようにされてもよい。
【００１３】
このように本技術においては、第１のフレームレート（ハイフレームレート）の第２の動画像データを構成する各フレームの画像データのうち少なくとも第２のフレームレート（ノーマルフレームレート）に対応したフレームの画像データは周辺フレームの画像データと混合されて開口率が高められた状態とされており、この第２のフレームレート（ノーマルフレームレート）に対応したフレームの画像データが符号化されて得られた基本ストリームが送信される。
【００１４】
そのため、第２のフレームレート（ノーマルフレームレート）の動画像データを処理可能なデコード能力がある受信機の場合、基本ストリームを処理して第２のフレームレートの画像データを得ることで、動画像として滑らかな画像を表示でき、また、表示処理において低負荷演算によるフレーム補間処理で画質的な問題を引き起こすことが回避可能となる。
【００１５】
また、本技術においては、基本ストリームと共に、残りのフレームの画像データが符号化されて得られた拡張ストリームが得られ、これらの基本ストリームおよび拡張ストリームにそれぞれのフレームの画像データに関連付けられて対応するフレームの混合割合の情報が挿入されて送信される。そのため、第１のフレームレート（ハイフレームレート）の動画像データを処理可能なデコード能力がある受信機の場合、各フレームの混合割合の情報に基づいて混合解除された第１のフレームレートの動画像データを容易に得ることができ、第１のフレームレートの動画像表示を良好に行うことができる。
【００１６】
また、本技術の他の概念は、
基本ストリームおよび拡張ストリームを含むコンテナを受信する受信部を備え、
上記基本ストリームは、第１のフレームレートの第１の動画像データの各フレームの画像データにフレーム毎に独立した混合割合で周辺のフレームの画像データを混合する処理を施して得られた上記第１のフレームレートの第２の動画像データを構成する各画像データのうち上記第１のフレームレートより低い第２のフレームレートに対応したフレームの画像データであって少なくとも周辺フレームの画像データと混合された状態にある画像データを符号化して得られたものであり、上記拡張ストリームは、残りのフレームの画像データを符号化して得られたものであり、
上記基本ストリームおよび上記拡張ストリームにそれぞれのフレームの画像データに関連付けて対応するフレームの上記混合割合の情報が挿入されており、
上記基本ストリームを復号化して上記第２のフレームレートの動画像データを得るか、あるいは上記基本ストリームおよび上記拡張フレームを復号化して上記第２の動画像データを得、該第２の動画像データに上記混合割合の情報に基づいて逆混合処理を施して混合解除された上記第１のフレームレートの動画像データを得る処理部をさらに備える
受信装置にある。
【００１７】
本技術において、受信部により、基本ストリームおよび拡張ストリームを含むコンテナが受信される。基本ストリームは、第１のフレームレートの第１の動画像データの各フレームの画像データにフレーム毎に独立した混合割合で周辺のフレームの画像データを混合する処理を施して得られた第１のフレームレートの第２の動画像データを構成する各画像データのうち第１のフレームレートより低い第２のフレームレートに対応したフレームの画像データであって少なくとも周辺フレームの画像データと混合された状態にある画像データを符号化して得られたものである。拡張ストリームは、残りのフレームの画像データを符号化して得られたものである。
【００１８】
基本ストリームのレイヤおよび拡張ストリームにそれぞれのフレームの画像データに関連付けて対応するフレームの混合割合の情報が挿入されている。処理部により、基本ストリームのみが処理されて第２のフレームレート（ノーマルフレームレート）の動画像データが得られるか、あるいは基本ストリームおよび拡張ストリームの双方が処理されて、混合解除された第１のフレームレート（ハイフレームレート）の動画像データが得られる。
【００１９】
このように本技術においては、第２のフレームレート（ノーマルフレームレート）の動画像データを処理可能なデコード能力がある場合、基本ストリームのみが処理されて第２のフレームレート（ノーマルフレームレート）の動画像データが得られる。この第２のフレームレート（ノーマルフレームレート）の動画像データを構成する各フレームの画像データは、周辺フレームの画像データと混合されてシャッタ開口率が高められているので、動画像として滑らかな画像を表示でき、また、表示処理において低負荷演算によるフレーム補間処理で画質的な問題を引き起こすことが回避可能となる。
【００２０】
また、本技術においては、第１のフレームレート（ハイフレームレート）の動画像データを処理可能なデコード能力がある場合、基本ストリームおよび拡張ストリームの双方が処理されて混合処理後の第１のフレームレート（ハイフレームレート）の動画像データが得られ、さらに各フレームの混合割合の情報に基づいて逆混合処理が施されて、混合解除された第１のフレームレート（ノーマルフレームレート）の動画像データが得られる。従って、第１のフレームレート（ハイフレームレート）の動画像表示を良好に行うことができる。
【００２１】
また、本技術の他の概念は、
第１の動画像データの各フレームの画像データにフレーム毎に独立した混合割合で周辺のフレームの画像データを混合する処理を施して得られた第２の動画像データを取得する取得部と、
上記第２の動画像データと、各フレームの混合割合の情報を、伝送路を介して、外部機器に送信する送信部を備える
送信装置にある。
【００２２】
本技術において、取得部により、第１の動画像データの各フレームの画像データにフレーム毎に独立した混合割合で周辺のフレームの画像データを混合する処理を施して得られた第２の動画像データが取得される。送信部により、第２の動画像データと、各フレームの混合割合の情報が、伝送路を介して、外部機器に送信される。例えば、送信部は、各フレームの混合割合の情報をそれぞれ第２の動画像データの各フレームの画像データのブランキング期間に挿入して送信する、ようにされてもよい。また、例えば、混合割合の情報には、表示機器において、混合割合の情報を用いた処理が次のビデオフレームと同期して行うことを必須とするか否かを示す同期フレーム情報が付加されている、ようにされてもよい。
【００２３】
このように本技術においては、第１の動画像データの各フレームの画像データにフレーム毎に独立した混合割合で周辺のフレームの画像データを混合する処理を施して得られた第２の動画像データが、各フレームの混合割合の情報と共に、伝送路を介して、外部機器に送信される。そのため、外部機器では、第２の動画像データに各フレームの混合割合の情報に基づいて逆混合処理を施して、混合解除されたハイフレームレートの動画像データを容易に得ることができ、良好な動画像表示を行うことができる。
【００２４】
なお、本技術において、例えば、第２の動画像データの各フレームの画像データに混合割合の情報に基づいて逆混合処理を施して第３の動画像データを得る処理部をさらに備え、送信部は、外部機器が逆混合処理の機能を持っていないとき、第２の動画像データの代わりに、第３の動画像データを送信する、ようにされてもよい。
【００２５】
また、本技術において、例えば、第２の動画像データは第１のフレームレートの動画像データであり、第２の動画像データを構成する各フレームの画像データのうち少なくとも第１のフレームレートより低い第２のフレームレートに対応したフレームの画像データは周辺フレームの画像データと混合された状態にあり、送信部は、外部機器の表示可能なフレームレートが第２のフレームレートであるとき、第２の動画像データの代わりに、第２のフレームレートに対応したフレームの画像データからなる第４の動画像データを送信する、ようにされてもよい。
【００２６】
また、本技術の他の概念は、
外部機器から、伝送路を介して、第１の動画像データの各フレームの画像データにフレーム毎に独立した混合割合で周辺のフレームの画像データを混合する処理を施して得られた第２の動画像データと、各フレームの混合割合の情報を受信する受信部と、
上記第２の動画像データの各フレームの画像データに上記混合割合の情報に基づいて逆混合処理を施して混合解除された動画像データを得る処理部を備える
受信装置にある。
【００２７】
本技術において、受信部により、外部機器から、伝送路を介して、第１の動画像データの各フレームの画像データにフレーム毎に独立した混合割合で周辺のフレームの画像データを混合する処理を施して得られた第２の動画像データと、各フレームの混合割合の情報が受信される。処理部により、第２の動画像データの各フレームの画像データに混合割合の情報に基づいて逆混合処理が施されて混合解除された動画像データ（混合処理前の動画像データ）が得られる。
【００２８】
このように本技術においては、外部機器から混合処理後の第２の画像データと共に各フレームの混合割合の情報が受信され、第２の動画像データの各フレームの画像データに混合割合の情報に基づいて逆混合処理が施されて混合解除された動画像データが得られる。そのため、混合処理前と同様の動画像データを適切に精度よく得ることができ、良好な動画像表示を行うことができる。
【発明の効果】
【００２９】
本技術によれば、ノーマルフレームレートおよびハイフレームレートの動画像データを良好に伝送することが可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００３０】
【図１】実施の形態としての送受信システムの構成例を示すブロック図である。
【図２】１２０Ｈｚの動画像データに混合処理が施されて得られた６０Ｈｚの基本ストリームと、＋６０Ｈｚの拡張ストリームの一例を示す図である。
【図３】２４０Ｈｚの動画像データに混合処理が施されて得られた６０Ｈｚの基本ストリームと、それに追加する拡張ストリームの一例を示す図である。
【図４】送信装置およびテレビ受信機の処理の概要を示す図である。
【図５】送信側における混合と、受信側における逆混合の一例を模式的に示す図である。
【図６】送信側における混合と、受信側における逆混合の他の一例を模式的に示す図である。
【図７】送信装置の構成例を示すブロック図である。
【図８】送信側で混合処理を行うプリプロセッサの構成例を示すブロック図である。
【図９】送信側で混合処理を行うプリプロセッサの他の構成例を示すブロック図である。
【図１０】受信側で逆混合処理を行うポストプロセッサの構成例を示すブロック図である。
【図１１】受信側で逆混合処理を行うポストプロセッサの他の構成例を示すブロック図である。
【図１２】「Blending_information SEI message」の構造例を示す図である。
【図１３】「Blending_information()」の構造例を示す図である。
【図１４】「Blending_information()」の構造例における主要な内容を示す図である。
【図１５】混合処理されたハイフレームレートの動画像データＱにおいて、各フレーム（ピクチャフレーム）に挿入される「Blending_information()」の情報の変化の一例を示す図である。
【図１６】プリプロセッサにおける混合処理とポストプロセッサにおける逆混合処理の関係の一例を示す図である。
【図１７】送信側における混合と、受信側における逆混合の一例を模式的に示す図である。
【図１８】トランスポートストリームＴＳの構成例を示す図である。
【図１９】ハイフレームレートの動画像データを処理可能なデコード能力があるテレビ受信機の構成例を示すブロック図である。
【図２０】ノーマルフレームレートの動画像データを処理可能なデコード能力があるテレビ受信機の構成例を示すブロック図である。
【図２１】送受信システムの他の構成例を示す図である。
【図２２】セットトップボックスの制御部（ＣＰＵ）における制御処理手順の一例を示すフローチャートである。
【図２３】送信装置、セットトップボックスおよびディスプレイの処理の概要を示す図である。
【図２４】ディスプレイが逆混合処理（混合解除処理）の機能を持つ場合と持たない場合とを比較して示す図である。
【図２５】ＨＦＲ・ブレンディング・インフォフレームの構造例を示す図である。
【図２６】ＨＦＲ・ブレンディング・インフォフレームの構造例における主要な情報の内容を示す図である。
【図２７】ＨＦＲ・ブレンディング・インフォフレームの構造例における主要な情報の内容を示す図である。
【図２８】セットトップボックスの構成例を示すブロック図である。
【図２９】ハイフレームレートの動画像データを取り扱うディスプレイの構成例を示すブロック図である。
【図３０】ノーマルフレームレートの動画像データを取り扱うディスプレイの構成例を示すブロック図である。
【発明を実施するための形態】
【００３１】
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例
【００３２】
＜１．実施の形態＞
［送受信システム］
図１は、実施の形態としての送受信システム１０の構成例を示している。この送受信システム１０は、送信装置１００と、テレビ受信機２００を有する構成となっている。
【００３３】
送信装置１００は、コンテナとしてのトランスポートストリームＴＳを放送波に載せて送信する。このトランスポートストリームＴＳには、ハイフレームレート、この実施の形態においては１２０Ｈｚあるいは２４０Ｈｚの動画像データが処理されて得られた基本ストリーム（基本ビデオストリーム）および拡張ストリーム（拡張ビデオストリーム）が含まれる。この実施の形態において、基本ストリームおよび拡張ストリームは、ＮＡＬユニット構造を有するものとされる。
【００３４】
ここで、基本ストリームは、以下のようにして得られたものである。すなわち、混合前のハイフレームレートの動画像データの各フレームの画像データにフレーム毎に独立した混合割合で周辺のフレームの画像データを混合する処理を施して混合処理後のハイフレームレートの動画像データが得られる。
【００３５】
この混合処理後のハイフレームレートの動画像データを構成する各フレームの画像データのうち、少なくとも、ノーマルフレームレート、この実施の形態では６０Ｈｚに対応したフレームの画像データは周辺フレームの画像データと混合された状態とされる。基本ストリームは、このノーマルフレームレートに対応したフレーム（基本フレーム）の画像データが符号化されて得られたものである。また、拡張ストリームは、残りのフレーム（拡張フレーム）の画像データが符号化されて得られたものである。
【００３６】
基本ストリームには、ノーマルフレームレートの各フレームの符号化画像データがアクセスユニットとして含まれる。また、拡張ストリームには、ハイフレームレートの各拡張フレームの符号化画像データがアクセスユニットとして含まれる。
【００３７】
図２（ａ），（ｂ）は、１２０Ｈｚの動画像データに混合処理が施されて得られた６０Ｈｚの基本ストリームと、＋６０Ｈｚの拡張ストリームの一例を示している。基本ストリームを構成する一つのフレームと、それに続く拡張フレームの１つのフレームからなる２フレームによりフレームペア（Frame-pair）が構成されている。
【００３８】
図２（ａ）においては、各フレームペアにおいて、最初のフレームである基本ストリームのフレームの画像データは周辺フレームの画像データと混合された状態（混合状態）にあるが、それに続く拡張ストリームのフレームの画像データは周辺フレームの画像データと混合されていない状態（非混合状態）にある。また、図２（ｂ）においては、各フレームペアにおいて、最初のフレームである基本ストリームのフレームの画像データは周辺フレームの画像データと混合された状態（混合状態）にあるが、それに続く拡張ストリームのフレームの画像データも周辺フレームの画像データと混合された状態（混合状態）にある。
【００３９】
図３（ａ），（ｂ），（ｃ），（ｄ）は、２４０Ｈｚの動画像データに混合処理が施されて得られた６０Ｈｚの基本ストリームと、それに追加する拡張ストリームの一例を示している。基本ストリームを構成する一つのフレームと、それに続く拡張フレームの３つのフレームからなる４フレームによりフレームペア（Frame-pair）が構成されている。
【００４０】
図３（ａ）においては、各フレームペアにおいて、最初のフレームである基本ストリームのフレームの画像データは周辺フレームの画像データと混合された状態（混合状態）にあるが、それに続く拡張ストリームの３つのフレームの全ての画像データは周辺フレームの画像データと混合されていない状態（非混合状態）にある。
【００４１】
図３（ｂ）においては、各フレームペアにおいて、最初のフレームである基本ストリームのフレームの画像データは周辺フレームの画像データと混合された状態（混合状態）にある。そして、それに続く拡張ストリームの第１のフレームの画像データは周辺フレームの画像データと混合されていない状態（非混合状態）にあり、また第２のフレームの画像データは周辺フレームの画像データと混合された状態（混合状態）にあり、第３のフレームの画像データは周辺フレームの画像データと混合されていない状態（非混合状態）にある。
【００４２】
図３（ｃ）においては、各フレームペアにおいて、最初のフレームである基本ストリームのフレームの画像データは周辺フレームの画像データと混合された状態（混合状態）にある。そして、それに続く拡張ストリームの第１のフレームの画像データは周辺フレームの画像データと混合された状態（混合状態）にあり、また第２のフレームの画像データは周辺フレームの画像データと混合されていない状態（非混合状態）にあり、また第３のフレームの画像データは周辺フレームの画像データと混合された状態（混合状態）にある。
【００４３】
図３（ｄ）においては、各フレームペアにおいて、最初のフレームである基本ストリームのフレームの画像データは周辺フレームの画像データと混合された状態（混合状態）にあるが、それに続く拡張ストリームの３つのフレームの全ての画像データも周辺フレームの画像データと混合された状態（混合状態）にある。
【００４４】
基本ストリームおよび拡張ストリームに、それぞれのフレームの画像データに関連付けて対応するフレームの混合割合の情報が挿入される。ここで、各フレームの混合割合の情報は、それぞれ、混合処理に使用されるフィルタのタップ数分の係数のセットからなっている。例えば、ｍフレームの混合を行い得るｍタップのフィルタが用いられる場合、各フレームの係数セットにはｍ個の係数が含まれる。この実施の形態において、混合割合の情報（係数セット）を持つＳＥＩ  ＮＡＬユニットが、基本ストリームおよび拡張ストリームに挿入される。受信側では、この混合割合の情報に基づいて、基本ストリームおよび拡張ストリームの各フレームの画像データがいかなる割合で周辺の画像データと混合されて得られたものであるかが把握可能となる。
【００４５】
図１に戻って、テレビ受信機２００は、送信装置１００から放送波に載せて送られてくる上述のトランスポートストリームＴＳを受信する。受信装置２００は、ノーマルフレームレート（６０Ｈｚ）の動画像データを処理可能なデコード能力がある場合、トランスポートストリームＴＳに含まれる基本ストリームのみを処理して、ノーマルフレームレートの動画像データを得て、画像再生をする。この場合、テレビ受信機２００は、基本ストリームに復号化処理を施してノーマルフレームレートの各フレームの画像データを得る。
【００４６】
一方、テレビ受信機２００は、ハイフレームレート（１２０Ｈｚあるいは２４０Ｈｚ）の動画像データを処理可能なデコード能力がある場合、トランスポートストリームＴＳに含まれる基本ストリームおよび拡張ストリームの双方を処理して、ハイフレームレートの動画像データを得て、画像再生をする。
【００４７】
この場合、テレビ受信機２００は、基本ストリームに復号化処理を施してノーマルフレームレートの各フレームの画像データを得ると共に、拡張ストリームに復号化処理を施してハイフレームレートの各拡張フレームの画像データを得た後、ノーマルフレームレートの各フレームの画像データとハイフレームレートの各拡張フレームの画像データを用い、各フレームの混合割合の情報（係数セット）に基づいて、逆混合処理を行って、混合処理前と同様のハイフレームレートの動画像データを得る。
【００４８】
図４は、送信装置１００およびテレビ受信機２００の処理の概要を示している。なお、送信装置１００のプリプロセッサ１０２の出力の画像シーケンスＱとテレビ受信機２００Ａのデコーダ２０４の出力の画像シーケンスＱとは、時系列的には同じものであるが、コーデックを通しているので両者の画質が異なる場合も含む。カメラ（撮像装置）８１から出力されるより高いフレームレートの動画像データＶａがＨＦＲプロセッサ８２に送られてハイフレームレート（１２０Ｈｚあるいは２４０Ｈｚ）の動画像データＶｂが得られる。この動画像データＶｂが送信装置１００に動画像データＰとして入力される。
【００４９】
送信装置１００では、プリプロセッサ１０２において、動画像データＰを構成する各フレームの画像データに混合処理が施されて、ノーマルフレームレートの各フレームの画像データＱｂと、ハイフレームレートの各拡張フレームの画像データＱｅとからなる混合処理後の動画像データＱが得られる。送信装置１００では、エンコーダ１０３において、画像データＱｂ、Ｑｅに符号化処理が施されて、基本ストリームＳＴｂと、拡張ストリームＳＴｅが得られる。送信装置１００からテレビ受信機２００には、これらのストリームＳＴｂ，ＳＴｅが送信される。なお、これらのストリームＳＴｂ，ＳＴｅには、それぞれのフレームの画像データに関連付けて、対応するフレームの混合割合の情報が挿入される。
【００５０】
ハイフレームレートの動画像データを処理可能なデコード能力があるテレビ受信機２００Ａでは、デコーダ２０４において、２つのストリームＳＴｂ，ＳＴｅに復号化処理が施されて、ノーマルフレームレートの各フレームの画像データＱｂと、ハイフレームレートの各拡張フレームの画像データＱｅとからなる混合処理がされている動画像データＱが得られる。そして、受信装置２００Ａでは、ポストプロセッサ２０５において、各フレームの混合割合の情報に基づいて、動画像データＱの各フレームの画像データに逆混合処理（混合解除処理）が施されて、送信側における動画像データＰと同様のハイフレームレート（１２０Ｈｚあるいは２４０Ｈｚ）の動画像データＲが得られる。この動画像データＲが、そのまま、あるいはＭＣＦＩ（Motion Compensated Frame Insertion）部２０６でフレーム補間がされてフレームレートが高められて表示用動画像データとなる。
【００５１】
一方、ノーマルフレームレートの画像データを処理可能なデコード能力があるテレビ受信機２００Ｂでは、デコーダ２０４Ｂにおいて、ストリームＳＴｂに復号化処理が施されて、ノーマルフレームレートの各フレームの画像データＱｂが得られる。そして、受信装置２００Ｂでは、このノーマルフレームレートの各フレームの画像データＱｂからなる動画像データが、そのまま、あるいはＭＣＦＩ（Motion Compensated Frame Insertion）部２０６Ｂでフレーム補間がされてフレームレートが高められて表示用動画像データとなる。
【００５２】
図５は、送信側における混合（blending）と、受信側における逆混合（unblending）の一例を模式的に示している。この例は、図２（ａ）の例に対応し、フレーム「ｎ」とフレーム「ｎ＋１」がフレームペアを構成しており、フレーム「ｎ＋２」とフレーム「ｎ＋３」がフレームペアを構成している。なお、図示の例において、オブジェクトＯａ，Ｏｂは動きのないオブジェクトであり、オブジェクトＯｃは動きのあるオブジェクトである。
【００５３】
送信側の混合処理により、各フレームペアにおいて、最初のフレームである基本ストリームのフレームの画像データは周辺フレームの画像データと混合された状態（混合状態）とされ、それに続く拡張ストリームのフレームの画像データは周辺フレームの画像データと混合されていない状態（非混合状態）とされる。また、受信側の逆混合処理により、混合状態が解除される。
【００５４】
図６は、送信側における混合（blending）と、受信側における逆混合（unblending）の他の一例を模式的に示している。この例は、図３（ａ）の例に対応し、フレーム「ｎ」とフレーム「ｎ＋１」〜「ｎ＋３」がフレームペアを構成している。なお、図示の例において、オブジェクトＯａ，Ｏｂは動きのないオブジェクトであり、オブジェクトＯｃは動きのあるオブジェクトである。
【００５５】
送信側の混合処理により、各フレームペアにおいて、最初のフレームである基本ストリームのフレームの画像データは周辺フレームの画像データと混合された状態（混合状態）とされ、それに続く拡張ストリームの３つのフレームの画像データは周辺フレームの画像データと混合されていない状態（非混合状態）とされる。また、受信側の逆混合処理により、混合状態が解除される。
【００５６】
「送信装置の構成」
図７は、送信装置１００の構成例を示している。この送信装置１００は、制御部１０１と、プリプロセッサ１０２と、エンコーダ１０３と、マルチプレクサ１０４と、送信部１０５を有している。制御部１０１は、送信装置１００の各部の動作を制御する。
【００５７】
プリプロセッサ１０２は、ハイフレームレート（１２０Ｈｚあるいは２４０Ｈｚ）の動画像データＰを入力して、ノーマルフレームレート（６０Ｈｚ）の各フレームの画像データＱｂと、ハイフレームレートの各拡張フレームの画像データＱｅを出力する。
【００５８】
ここで、プリプロセッサ１０２は、混合処理前のハイフレームレートの動画像データＰの各フレームの画像データにフレーム毎に独立した混合割合で周辺のフレームの画像データを混合する処理を施して混合処理後のハイフレームレートの動画像データＱを得る。この動画像データＱのうち、ノーマルフレームレート（６０Ｈｚ）に対応した各フレームの画像データが画像データＱｂとなり、残りの各フレームの画像データが画像データＱｅとなる。この場合、少なくとも、画像データＱｂは周辺フレームの画像データと混合された状態とされる。
【００５９】
プリプロセッサ１０２は、例えば、２以上のタップを持つ時間方向のフィルタで構成され、フレーム毎に各タップの係数を変更することで、フレーム毎に独立した混合割合で周辺のフレームの画像データを混合する処理が可能とされる。
【００６０】
図８は、プリプロセッサ１０２の構成例を示している。このプリプロセッサ１０２は、３タップを持つ時間方向のフィルタで構成されている。このプリプロセッサ１０２は、１フレーム期間の遅延時間を持つ遅延素子１０２ａ，１０２ｂと、係数器１０２ｃ，１０２ｄ，１０２ｅと、加算器１０２ｆとを有している。
【００６１】
混合処理前の動画像データＰは、遅延素子１０２ａ，１０２ｂの直列回路に入力される。この場合、動画像データＰは、遅延素子１０２ｂ、遅延素子１０２ａの順に送られていく。遅延素子１０２ａの出力側、遅延素子１０２ａの入力側（遅延素子１０２ｂの出力側）、遅延素子１０２ｂの入力側に３つのタップ出力として３フレームの画像データＰ１，Ｐ２，Ｐ３が得られる。これらの画像データＰ１，Ｐ２，Ｐ３に、それぞれ、係数器１０２ｃ，１０２ｄ，１０２ｅで係数ａ，ｂ，ｃが掛け算される。係数セット（ａ，ｂ，ｃ）は、フレーム毎に、切り替えられる。各係数器１０２ｃ，１０２ｄ，１０２ｅの出力が加算器１０２ｆで加算され、この加算器１０２ｆから混合処理後の動画像データＱの各フレームの画像データＱ１，Ｑ２，Ｑ３が順次得られる。
【００６２】
図９は、プリプロセッサ１０２の他の構成例を示している。このプリプロセッサ１０２は、３タップを持つ時間方向のフィルタで構成されている。このプリプロセッサ１０２は、第１系統、第２系統、第３系統の係数セットを順次フレーム毎に繰り返していく例である。
【００６３】
このプリプロセッサ１０２は、１フレーム期間の遅延時間を持つ遅延素子１０２ａ，１０２ｂと、第１系統の係数器１０２c1，１０２d1，１０２e1と、第２系統の係数器１０２c2，１０２d2，１０２e2と、第２系統の係数器１０２c3，１０２d3，１０２e3と、第１系統の加算器１０２f1、第２系統の加算器１０２f2、第３系統の加算器１０２f3と、フレーム出力切り替え器（ＳＷ）１０２ｇを有している。
【００６４】
混合処理前の動画像データＰは、遅延素子１０２ａ，１０２ｂの直列回路に入力される。この場合、動画像データＰは、遅延素子１０２ｂ、遅延素子１０２ａの順に送られていく。遅延素子１０２ａの出力側、遅延素子１０２ａの入力側（遅延素子１０２ｂの出力側）、遅延素子１０２ｂの入力側に３つのタップ出力として３フレームの画像データＰ１，Ｐ２，Ｐ３が得られる。
【００６５】
画像データＰ１，Ｐ２，Ｐ３に、係数器１０２c1，１０２d1，１０２e1でそれぞれ係数ａ１，ｂ１，ｃ１が掛け算された後に加算器１０２f1で加算されて第１の系統の出力とされる。また、画像データＰ１，Ｐ２，Ｐ３に、係数器１０２c2，１０２d2，１０２e2でそれぞれ係数ａ２，ｂ２，ｃ２が掛け算された後に加算器１０２f2で加算されて第２の系統の出力とされる。画像データＰ１，Ｐ２，Ｐ３に、係数器１０２c3，１０２d3，１０２e3でそれぞれ係数ａ３，ｂ３，ｃ３が掛け算された後に加算器１０２f３で加算されて第３の系統の出力とされる。
【００６６】
加算器１０２f1，１０２f2，１０２f3で得られる各系統の出力がフレーム出力切り替え器１０２ｇでフレームごとに選択的に抽出され、このフレーム出力切り替え器１０２ｇから混合処理後の動画像データＱの各フレームの画像データＱ１，Ｑ２，Ｑ３が順次得られる。
【００６７】
ここで、フレーム「ｎ」がＰ２の位置にあるとき、フレーム出力切り替え器１０２ｇは、「P1*a1 + P2*b1 + P3*c1」の演算結果を選択する。また、フレーム「ｎ＋１」がＰ２の位置にあるとき、フレーム出力切り替え器１０２ｇは、「P1*a2 + P2*b2 + P3*c2」の演算結果を選択する。また、フレーム「ｎ＋２」がＰ２の位置にあるとき、フレーム出力切り替え器１０２ｇは、「P1*a3 + P2*b3 + P3*c3」の演算結果を選択する。
【００６８】
プリプロセッサ１０２は、以上を順次繰返す。なお、係数セットと該当するフレームとの同期関係が崩れないように、プリプロセッサ１０２は、遅延管理の機能を含んでいる。
【００６９】
図１０は、受信側で逆混合処理を行うポストプロセッサ２０５の構成例を示している。この例は、図８に示すプリプロセッサ１０２の構成例に対応したものである。このポストプロセッサ２０５は、３タップを持つフィルタで構成されている。このポストプロセッサ２０５は、１フレーム期間の遅延時間を持つ遅延素子２０５ａ，２０５ｂと、係数器２０５ｃ，２０５ｄ，２０５ｅと、加算器２０５ｆとを有している。
【００７０】
逆混合処理前の動画像データＱは、遅延素子２０５ａ，２０５ｂの直列回路に入力される。この場合、動画像データＱは、遅延素子２０５ｂ、遅延素子２０５ａの順に送られていく。遅延素子２０５ａの出力側、遅延素子２０５ａの入力側（遅延素子２０５ｂの出力側）、遅延素子２０５ｂの入力側に３つのタップ出力として３フレームの画像データＱ１，Ｑ２，Ｑ３が得られる。
【００７１】
これらの画像データＱ１，Ｑ２，Ｑ３に、それぞれ、係数器２０５ｃ，２０５ｄ，２０５ｅで係数ａ´，ｂ´，ｃ´が掛け算される。この係数セット（ａ´，ｂ´，ｃ´）は、送信側から与えられる混合処理時の係数セット（ａ，ｂ，ｃ）（図８参照）から逆混合処理（混合解除処理）を行うように求められたものであり、フレーム毎に、切り替えられる。各係数器２０５ｃ，２０５ｄ，２０５ｅの出力が加算器２０５ｆで加算され、この加算器２０５ｆから逆混合処理後の動画像データＲの各フレームの画像データＲ１，Ｒ２，Ｒ３が順次得られる。
【００７２】
図１１は、受信側で逆混合処理を行うポストプロセッサ２０５の他の構成例を示している。この例は、図９に示すプリプロセッサ１０２の構成例に対応したものである。このポストプロセッサ２０５は、３タップを持つフィルタで構成されている。このポストプロセッサ２０５は、第１系統、第２系統、第３系統の係数セットを順次フレーム毎に繰り返していく例である。
【００７３】
このポストプロセッサ２０５は、１フレーム期間の遅延時間を持つ遅延素子２０５ａ，２０５ｂと、第１系統の係数器２０５c1，２０５d1，２０５e1と、第２系統の係数器２０５c2，２０５d2，２０５e2と、第２系統の係数器２０５c3，２０５d3，２０５e3と、第１系統の加算器２０５f1、第２系統の加算器２０５f2、第３系統の加算器２０５f3と、フレーム出力切り替え器（ＳＷ）２０５ｇを有している。
【００７４】
逆混合処理前の動画像データＱは、遅延素子２０５ａ，２０５ｂの直列回路に入力される。この場合、動画像データＰは、遅延素子２０５ｂ、遅延素子２０５ａの順に送られていく。遅延素子２０５ａの出力側、遅延素子２０５ａの入力側（遅延素子２０５ｂの出力側）、遅延素子２０５ｂの入力側に３つのタップ出力として３フレームの画像データＱ１，Ｑ２，Ｑ３が得られる。
【００７５】
画像データＱ１，Ｑ２，Ｑ３に、係数器２０５c1，２０５d1，２０５e1でそれぞれ係数ａ１´，ｂ１´，ｃ１´が掛け算された後に加算器２０５f1で加算されて第１の系統の出力とされる。また、画像データＱ１，Ｑ２，Ｑ３に、係数器２０５c2，２０５d2，２０５e2でそれぞれ係数ａ２´，ｂ２´，ｃ２´が掛け算された後に加算器２０５f2で加算されて第２の系統の出力とされる。また、画像データＱ１，Ｑ２，Ｑ３に、係数器２０５c3，２０５d3，２０５e3でそれぞれ係数ａ３´，ｂ３´，ｃ３´が掛け算された後に加算器２０５f３で加算されて第３の系統の出力とされる。
【００７６】
係数セット（ａ１´，ｂ１´，ｃ１´）、（ａ２´，ｂ２´，ｃ２´）、（ａ３´，ｂ３´，ｃ３´）は、送信側から与えられる混合処理時の係数セット（ａ１，ｂ１，ｃ１）、（ａ２，ｂ２，ｃ２）、（ａ３，ｂ３，ｃ３）（図９参照）から逆混合処理（混合解除処理）を行うように求められたものである。
【００７７】
加算器２０５f1，２０５f2，２０５f3で得られる各系統の出力がフレーム出力切り替え器２０５ｇでフレームごとに選択的に抽出され、このフレーム出力切り替え器２０５ｇから逆混合処理後の動画像データＲの各フレームの画像データＲ１，Ｒ２，Ｒ３が順次得られる。
【００７８】
ここで、フレーム「ｎ」がＱ２の位置にあるとき、フレーム出力切り替え器２０５ｇは、「Q1*a1’ + Q2*b1’ + Q3*c1’」の演算結果を選択する。また、フレーム「ｎ＋１」がＱ２の位置にあるとき、フレーム出力切り替え器２０５ｇは、「Q1*a2’ + Q2*b2’ + Q3*c2’」の演算結果を選択する。また、フレーム「ｎ＋２」がＱ２の位置にあるとき、フレーム出力切り替え器２０５ｇは、「Q1*a3’ + Q2*b3’ + Q3*c3’」の演算結果を選択する。
【００７９】
ポストプロセッサ２０５は、以上を順次フレームごとに繰返す。なお、係数セットと該当するフレームとの同期関係が崩れないように、ポストプロセッサ２０５は、遅延管理の機能を含んでいる。
【００８０】
図７に戻って、エンコーダ１０３は、プリプロセッサ１０２で得られる画像データＱｂ，Ｑｅに対して符号化処理を施して、基本ストリームＳＴｂおよび拡張ストリームＳＴｅを生成する。この場合、画像データＱｂ，Ｑｅに対して、例えば、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの予測符号化処理が施される。
【００８１】
エンコーダ１０２は、基本ストリームＳＴｂおよび拡張ストリームＳＴｅにそれぞれのフレームの画像データに関連付けて対応するフレームの混合割合の情報を挿入する。受信側では、この混合割合の情報に基づいて、基本ストリームおよび拡張ストリームの各フレームの画像データがいかなる割合で周辺の画像データと混合されて得られたものであるかが把握でき、逆混合処理（混合解除処理）を適切に行うことが可能となる。
【００８２】
この実施の形態においては、基本ストリームＳＴｂおよび拡張ストリームＳＴｅの各アクセスユニットに混合割合の情報を持つＳＥＩ  ＮＡＬユニットが挿入される。この場合、エンコーダ１０３は、アクセスユニット（ＡＵ）の“ＳＥＩｓ”の部分に、新規定義する、ブレンディング・インフォメーション・ＳＥＩメッセージ（Blending_information SEI message）を挿入する。
【００８３】
図１２（ａ）は、「Blending_information SEI message」の構造例(Syntax)を示している。「uuid_iso_iec_11578」は、“ISO/IEC 11578:1996 AnnexA.”で示されるＵＵＩＤ値を持つ。「user_data_payload_byte」のフィールドに、「」が挿入される。図１２（ｂ）は、「Blending_information_SEI()」の構造例(Syntax)を示しており、この中に、混合割合の情報を含む「Blending_information()」が挿入される。「userdata_id」は、符号なし１６ビットで示される識別子である。「Blending_information_SEI_length」の８ビットフィールドは、このフィールド以後の「Blending_information()」のバイトサイズを示す。
【００８４】
図１３は、「Blending_information()」の構造例（Syntax）を示し、図１４は、その構造例における主要な情報の内容（Semantics）を示している。「frame_rate」の３ビットフィールドは、フレームレートを示す。例えば、“３”は１２０Ｈｚを示し、“５”は２４０Ｈｚを示す。
【００８５】
「blending_flag」の１ビットフィールドは、周辺画像データとの混合処理の適用があるか否かを示す。例えば、“０”は適用なしを示し、“１”は適用ありを示す。「temporal_filter_taps」の２ビットフィールドは、混合処理を行うフィルタの構成情報であり、使用フレーム数（タップ数）を示す。例えば、“０”は２フレーム（２タップ）を示し、“１”は３フレーム（３タップ）を示す。
【００８６】
「first_frame_in_frame-pair_flag」の１ビットフィールドは、フレームペア（frame-pair）の最初のフレームであるか、つまりノーマルフレームレートの時間的表示位置に対応するフレームであるか否かを示す。例えば、“０”は最初のフレーム以外であることを示し、“１”は最初のフレームであることを示す。なお、フレームペアは、上述したように、基本ストリームを構成する一つのフレームと、それに続く所定数の拡張フレームからなっている（図２、図３参照）。
【００８７】
「blending_refresh_distance (BR distance)」の３ビットフィールドは、時間的に前のフレームの画像データは用いないで、混合処理の時間的連鎖をリフレッシュするまでのフレーム数（時間的距離）を示す。例えば、“０”は１フレームを示し、“１”は２フレームを示し、“２”は３フレームを示す。「refresh_flag」の１ビットフィールドは、上記の混合処理の時間的連鎖のリフレッシュをするフレームであるか否かを示す。例えば、“０”は混合リフレッシュをしないフレームであることを示し、“１”は混合リフレッシュするフレームであることを示す。
【００８８】
上述の「temporal_filter_taps」のフィールドで示されるフレーム数（タップ数）だけ、「blend_coefficient」の８ビットフィールドが繰り返し存在する。このフィールドは、各フレームの画像データに乗算する係数（ブレンド比）を示す。例えば、“０ｘ０”は「０」を示し、“０ｘ１”は「１/５」を示し、“０ｘ２”は「１/４」を示し、“０ｘ３”は「１/３」を示し、“０ｘ４”は「１/２」を示し、“０ｘ５”は「２/３」を示し、“０ｘ６”は「３/４」を示し、“０ｘ７”は「４/５」を示し、“０ｘ８”は「１」を示す。 
【００８９】
図１５は、混合処理されたハイフレームレートの動画像データＱにおいて、各フレーム（ピクチャフレーム）に挿入される「Blending_information()」の情報の変化の一例を示している。図示の例は、「temporal_filter_taps」が“１”であって、フレーム数（タップ数）が「３」である場合を示している。
【００９０】
例えば、基本ストリームに含まれるフレーム「ｎ」では、「refresh_flag」が“１”であって混合リフレッシュをするフレームであることが示され、また、「blending_refresh_distance (BR distance)」が“３”であって次の混合リフレッシュをするフレームまでのフレーム数が４フレームであることが示されている。また、３フレーム（３タップ）の係数が真ん中のフレームを現フレームとして古い方から「０(=0)，６(=3/4)，２(=1/4)」であることが示されている。
【００９１】
また、例えば、拡張フレームに含まれるフレーム「ｎ＋１」では、「refresh_flag」が“０”であって混合リフレッシュをするフレームでないことが示され、また、「blending_refresh_distance (BR distance)」が“２”であって次の混合リフレッシュをするフレームまでのフレーム数が３フレームであることが示されている。また、３フレーム（３タップ）の係数が真ん中のフレームを現フレームとして古い方から「０(=0)，８(=1)，０(=0)」であることが示されている。
【００９２】
また、例えば、基本フレームに含まれるフレーム「ｎ＋２」では、「refresh_flag」が“０”であって混合リフレッシュをするフレームでないことが示され、また、「blending_refresh_distance (BR distance)」が“１”であって次の混合リフレッシュをするフレームまでのフレーム数が２フレームであることが示されている。また、３フレーム（３タップ）の係数が真ん中のフレームを現フレームとして古い方から「２(=1/4)，４(=1/2)，２(=1/4)」であることが示されている。
【００９３】
また、例えば、拡張フレームに含まれるフレーム「ｎ＋３」では、「refresh_flag」が“０”であって混合リフレッシュをするフレームでないことが示され、また、「blending_refresh_distance (BR distance)」が“０”であって次の混合リフレッシュをするフレームまでのフレーム数が１フレームであることが示されている。また、３フレーム（３タップ）の係数が真ん中のフレームを現フレームとして古い方から「０(=0)，８(=1)，０(=0)」であることが示されている。
【００９４】
また、例えば、基本ストリームに含まれるフレーム「ｎ＋４」では、「refresh_flag」が“１”であって混合リフレッシュをするフレームであることが示され、また、「blending_refresh_distance (BR distance)」が“３”であって次の混合リフレッシュをするフレームまでのフレーム数が４フレームであることが示されている。また、３フレーム（３タップ）の係数が真ん中のフレームを現フレームとして古い方から「０(=0)，６(=3/4)，２(=1/4)」であることが示されている。
【００９５】
図１６は、図１５の例に対応しており、プリプロセッサ１０２における混合処理とポストプロセッサ２０５における逆混合処理の関係の一例を示している。ポストプロセッサ２０５における逆混合処理で用いる係数（混合比）は、近行処理時に使用された係数（混合比）に基づいて求められる。
【００９６】
なお、上述の図５に示す例の場合、「temporal_filter_taps」を“１（３フレーム）”に設定し、フレーム「ｎ」において３フレーム（３タップ）の係数を「０(=0)，４(=1/2)，４(=1/2)」とし、フレーム「ｎ＋１」において３フレーム（３タップ）の係数を「０(=0)，８(=1)，０(=0)」とし、フレーム「ｎ＋２」において３フレーム（３タップ）の係数を「０(=0)，４(=1/2)，４(=1/2)」とし、フレーム「ｎ＋３」において３フレーム（３タップ）の係数を「０(=0)，８(=1)，０(=0)」とし、以下これを繰り返すことで実現できる。
【００９７】
また、プログレッシブ（Progressive）に次のフレームとの間で混合をする場合、すなわち、２フレームを越えるフレームにわたり混合処理のフレーム間の係数の連鎖が継続する場合、「refresh_flag」が“１”であるフレームのみが「first_frame_in_frame-pair_flag」が“１”となるように設定する。ポストプロセッサ２０５では、「refresh_flag」が“１”となるフレームから逆混合処理を行うことになる。「refresh_flag」が“１”であるフレームの一つ前のフレームから、すなわち、図１６では、フレーム「ｎ＋３」から遡ってフレーム「ｎ＋２」、フレーム「ｎ＋１」、フレーム「ｎ」へと逆混合処理を行うことになる。その際、対象となる最大フレーム数が「blending_refresh_distance (BR distance)」で示され、図１６の例では、フレーム「ｎ」に対してその値は４フレームになる。図１７は、送信側における混合（blending）と、受信側における逆混合（unblending）の一例を模式的に示している。
【００９８】
図７に戻って、マルチプレクサ１０４は、エンコーダ１０３で生成された基本ストリームＳＴｂおよび拡張ストリームＳＴｅを、ＰＥＳ（Packetized Elementary Stream）パケット化し、さらにトランスポートパケット化して多重し、多重化ストリームとしてのトランスポートストリームＴＳを得る。
【００９９】
図１８は、トランスポートストリームＴＳの構成例を示している。このトランスポートストリームＴＳには、基本ストリーム（ベースストリーム）ＳＴｂと拡張ストリーム（エンハンスストリーム）ＳＴｅの２つのビデオストリームが含まれている。すなわち、この構成例では、基本ストリームＳＴｂのＰＥＳパケット「video PES1」が存在すると共に、拡張ストリームＳＴｅのＰＥＳパケット「video PES2」が存在する。
【０１００】
ＰＥＳパケット「video PES1」およびＰＥＳパケット「video PES2」でコンテナされる各ピクチャの符号化画像データには、ブレンディング・インフォメーション・ＳＥＩメッセージ（図１３参照）が挿入される。
【０１０１】
また、トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）の一つとして、ＰＭＴ（Program Map Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。
【０１０２】
ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・ループ（Program loop）が存在する。また、ＰＭＴには、各ビデオストリームに関連した情報を持つエレメンタリストリーム・ループが存在する。この構成例では、基本ストリームに対応したビデオエレメンタリストリームループ「video ES1 loop」が存在すると共に、拡張ストリームに対応したビデオエレメンタリストリームループ「video ES2 loop」が存在する。
【０１０３】
「video ES1 loop」には、基本ストリーム（video PES1）に対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このストリームタイプは、ＨＥＶＣ符号化の場合、基本ストリームを示す“０ｘ２４”とされる。
【０１０４】
また、「video ES2 loop」には、拡張ストリーム（video PES2）に対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このストリームタイプは、拡張ストリームを示す“０ｘ２５”とされる。
【０１０５】
なお、図示の例は、ＨＥＶＣの符号化が行われる場合について示しているが、ブレンディング・インフォメーション・ＳＥＩメッセージによるシグナリング情報の伝達は他のコーデックにも同様に適用可能である。他のコーデックの場合は、ＰＭＴに挿入するデスクリプタは別のものとなる。
【０１０６】
図７に戻って、送信部１０５は、トランスポートストリームＴＳを、例えば、ＱＰＳＫ／ＯＦＤＭ等の放送に適した変調方式で変調し、ＲＦ変調信号を送信アンテナから送信する。
【０１０７】
図７に示す送信装置１００の動作を簡単に説明する。ハイフレームレート（１２０Ｈｚあるいは２４０Ｈｚ）の動画像データＰがプリプロセッサ１０２に入力される。このプリプロセッサ１０２では、この動画像データＰに混合処理が施されて、ノーマルフレームレート（６０Ｈｚ）の各フレームの画像データＱｂと、ハイフレームレートの各拡張フレームの画像データＱｅが得られる。
【０１０８】
この場合、プリプロセッサ１０２では、混合処理前のハイフレームレートの動画像データＰの各フレームの画像データにフレーム毎に独立した混合割合で周辺のフレームの画像データを混合する処理が施されて混合処理後のハイフレームレートの動画像データＱが得られる。この動画像データＱのうち、ノーマルフレームレート（６０Ｈｚ）に対応した各フレームの画像データが画像データＱｂとされ、残りの各フレームの画像データが画像データＱｅとされる。この場合、少なくとも、画像データＱｂは周辺フレームの画像データと混合された状態とされる。
【０１０９】
プリプロセッサ１０２で得られた画像データＱｂ，Ｑｅは、エンコーダ１０３に供給される。エンコーダ１０３では、画像データＱｂ，Ｑｅに対して符号化処理が施されて、基本ストリームＳＴｂおよび拡張ストリームＳＴｅが生成される。このエンコーダ１０３では、基本ストリームＳＴｂおよび拡張ストリームＳＴｅに、混合処理における混合比情報が挿入される。
【０１１０】
エンコーダ１０３では、基本ストリームＳＴｂおよび拡張ストリームＳＴｅにそれぞれのフレームの画像データに関連付けて対応するフレームの混合割合の情報が挿入される。受信側では、この混合割合の情報に基づいて、基本ストリームおよび拡張ストリームの各フレームの画像データがいかなる割合で周辺の画像データと混合されて得られたものであるかが把握でき、逆混合処理（混合解除処理）を適切に行うことが可能となる。
【０１１１】
エンコーダ１０３で生成された基本ストリームＳＴｂおよび拡張ストリームＳＴｅは、マルチプレクサ１０４に供給される。マルチプレクサ１０４は、基本ストリームＳＴｂおよび拡張ストリームＳＴｅが、ＰＥＳパケット化され、さらにトランスポートパケット化されて多重され、多重化ストリームとしてのトランスポートストリームＴＳが得られる。
【０１１２】
マルチプレクサ１０４で生成されたトランスポートストリームＴＳは、送信部１０５に送られる。送信部１０５は、このトランスポートストリームＴＳが、例えば、ＱＰＳＫ／ＯＦＤＭ等の放送に適した変調方式で変調され、ＲＦ変調信号が送信アンテナから送信される。
【０１１３】
「テレビ受信機の構成」
図１９は、ハイフレームレート（１２０Ｈｚあるいは２４０Ｈｚ）の動画像データを処理可能なデコード能力があるテレビ受信機２００Ａの構成例を示している。このテレビ受信機２００Ａは、制御部２０１と、受信部２０２と、デマルチプレクサ２０３と、デコーダ２０４と、ポストプロセッサ２０５と、ＭＣＦＩ（Motion Compensated Frame Insertion）部２０６と、パネル表示部２０７を有している。
【０１１４】
制御部２０１は、テレビ受信機２００Ａの各部の動作を制御する。受信部２０２は、受信アンテナで受信されたＲＦ変調信号を復調し、トランスポートストリームＴＳを取得する。デマルチプレクサ２０３は、トランスポートストリームＴＳから、ＰＩＤのフィルタリングによって、基本ストリームＳＴｂおよび拡張ストリームＳＴｅを取り出し、デコーダ２０４に供給する。
【０１１５】
デコーダ２０４は、基本ストリームＳＴｂに復号化処理を施してノーマルフレームレートの各フレームの画像データＱｂを得ると共に、拡張ストリームＳＴｅに復号化処理を施してハイフレームレートの各拡張フレームの画像データＱｅを得る。これにより、画像データＱｂと画像データＱｅとからなる混合処理がされているハイフレームレートの動画像データＱが得られる。
【０１１６】
また、デコーダ２０４は、基本ストリームＳＴｂ、拡張ストリームＳＴｅを構成する各アクセスユニットに挿入されているパラメータセットやＳＥＩを抽出し、制御部２０１に送る。この場合、混合割合の情報を持つブレンディング・インフォメーション・ＳＥＩ（図１３参照）も抽出される。これにより、制御部２０１は、混合処理後のハイフレームレートの動画像データＱの各フレームの画像データがいかなる割合で周辺の画像データと混合されて得られたものであるかを把握して、逆混合処理のための係数を求めることができ、後述するポストプロセッサ２０５の制御を良好に行うことが可能となる。
【０１１７】
ポストプロセッサ２０５は、制御部２０１の制御のもと、デコーダ２０４で得られたハイフレームレートの動画像データＱに、逆混合処理（混合解除処理）を施して、混合解除されたハイフレームレートの動画像データＲを得る。ポストプロセッサ２０５は、例えば、２以上のタップを持つフィルタで構成され、フレーム毎に各タップの係数を変更し、フレーム毎に独立した混合割合で周辺のフレームの画像データを混合することで混合解除が可能となる（図１０、図１１、図１６参照）。この場合、フレーム毎の係数セットは、上述したように制御部２０１において、動画像データＱの各フレームに挿入されている混合処理時の係数セットに基づいて算出されて用いられる。
【０１１８】
ＭＣＦＩ部２０６は、ポストプロセッサ２０５で得られたハイフレームレートの動画像データＲに、動き補償のフレーム補間処理を施して、フレームレートをさらに高めた動画像データを得る。なお、このＭＣＦＩ部２０６を有していない場合もある。パネル表示部２０７は、ポストプロセッサ２０５で得られたハイフレームレートの動画像データＲまたはＭＣＦＩ部２０６でフレームレートが高められた動画像データによる画像表示をする。
【０１１９】
図１９に示すテレビ受信機２００Ａの動作を簡単に説明する。受信部２０２では、受信アンテナで受信されたＲＦ変調信号が復調され、トランスポートストリームＴＳが取得される。このトランスポートストリームＴＳは、デマルチプレクサ２０３に送られる。デマルチプレクサ２０３では、トランスポートストリームＴＳから、ＰＩＤのフィルタリングによって、基本ストリームＳＴｂおよび拡張ストリームＳＴｅが取り出され、デコーダ２０４に供給される。
【０１２０】
デコーダ２０４では、基本ストリームＳＴｂと拡張ストリームＳＴｅに復号化処理が施されて、ノーマルフレームレートの各フレームの画像データＱｂおよびハイフレームレートの各拡張フレームの画像データＱｅからなる混合処理後のハイフレームレートの動画像データＱが得られる。この動画像データＱは、ポストプロセッサ２０５に供給される。
【０１２１】
また、デコーダ２０４では、基本ストリームＳＴｂ、拡張ストリームＳＴｅを構成する各アクセスユニットに挿入されているパラメータセットやＳＥＩが抽出され、制御部２０１に送られる。この場合、混合割合の情報を持つブレンディング・インフォメーション・ＳＥＩ（図１３参照）も抽出される。制御部２０１では、各フレームにおける混合割合の情報（係数セット）の情報に基づいて、逆混合処理のための係数が演算される。
【０１２２】
ポストプロセッサ２０５では、制御部２０１の制御のもと、ハイフレームレートの動画像データＱに逆混合処理（混合解除処理）が施され、混合解除されたハイフレームレートの動画像データＲが得られる。この場合、制御部２０１からポストプロセッサ２０５に、逆混合処理のための係数が与えられる。
【０１２３】
ホストプロセッサ２０５で得られた混合解除されたハイフレームレートの動画像データＲ、あるいはさらにＭＣＦＩ部２０６でフレームレートが高められた動画像データはパネル表示部２０７に供給され、パネル表示部２０７には当該動画像データによる画像表示がされる。
【０１２４】
図２０は、ノーマルフレームレート（６０Ｈｚ）の動画像データを処理可能なデコード能力があるテレビ受信機２００Ｂの構成例を示している。このテレビ受信機２００Ｂは、制御部２０１Ｂと、受信部２０２Ｂと、デマルチプレクサ２０３Ｂと、デコーダ２０４Ｂと、ＭＣＦＩ部２０６Ｂと、パネル表示部２０７Ｂを有している。
【０１２５】
制御部２０１Ｂは、テレビ受信機２００Ｂの各部の動作を制御する。受信部２０２Ｂは、受信アンテナで受信されたＲＦ変調信号を復調し、トランスポートストリームＴＳを取得する。デマルチプレクサ２０３Ｂは、トランスポートストリームＴＳから、ＰＩＤのフィルタリングによって、基本ストリームＳＴｂを取り出し、デコーダ２０４Ｂに供給する。デコーダ２０４Ｂは、基本ストリームＳＴｂに復号化処理を施して、ノーマルフレームレートの各フレームの画像データＱｂからなるノーマルフレームレートの動画像データを得る。
【０１２６】
ＭＣＦＩ部２０６Ｂは、このノーマルフレームレートの動画像データに、動き補償のフレーム補間処理を施して、フレームレートをさらに高めた動画像データを得る。なお、このＭＣＦＩ部２０６Ｂを有していない場合もある。パネル表示部２０７Ｂは、ポストプロセッサ２０５で得られたノーマルフレームレートの動画像データＲまたはＭＣＦＩ部２０６Ｂでフレームレートが高められた動画像データによる画像表示をする。
【０１２７】
図２０に示すテレビ受信機２００Ｂの動作を簡単に説明する。受信部２０２Ｂでは、受信アンテナで受信されたＲＦ変調信号が復調され、トランスポートストリームＴＳが取得される。このトランスポートストリームＴＳは、デマルチプレクサ２０３Ｂに送られる。デマルチプレクサ２０３Ｂでは、トランスポートストリームＴＳから、ＰＩＤのフィルタリングによって、基本ストリームＳＴｂが取り出され、デコーダ２０４Ｂに供給される。
【０１２８】
デコーダ２０４Ｂでは、基本ストリームＳＴｂに復号化処理が施されて、ノーマルフレームレートの各フレームの画像データＱｂからなるノーマルフレームレートの動画像データが得られる。デコーダ２０４Ｂで得られたノーマルフレームレートの動画像データ、あるいはさらにＭＣＦＩ部２０６Ｂでフレームレートが高められた動画像データはパネル表示部２０７Ｂに供給され、パネル表示部２０７Ｂには当該動画像データによる画像表示がされる。
【０１２９】
以上説明したように、図１に示す送受信システム１０においては、ハイフレームレートの動画像データを構成する各フレームの画像データのうち少なくともノーマルフレームレートに対応したフレームの画像データは周辺フレームの画像データと混合されてシャッタ開口率が高められた状態とされており、このノーマルフレームレートに対応したフレームの画像データが符号化されて得られた基本ストリームＳＴｂが送信される。
【０１３０】
そのため、ノーマルフレームレートの動画像データを処理可能なデコード能力があるテレビ受信機２００Ｂの場合、基本ストリームを処理してノーマルフレームレートの動画像データを得ることで、動画像として滑らかな画像を表示でき、また、表示処理において低負荷演算によるフレーム補間処理で画質的な問題を引き起こすことが回避可能となる。
【０１３１】
また、図１に示す送受信システム１０においては、基本ストリームＳＴｂと共に、残りのフレームの画像データが符号化されて得られた拡張ストリームＳＴｅが得られ。これらの基本ストリームＳＴｂおよび拡張ストリームＳＴｅにそれぞれのフレームの画像データに関連付けられて対応するフレームの混合割合の情報（係数セット）が挿入されて送信される。そのため、ハイフレームレートの動画像データを処理可能なデコード能力がある受信機の場合、各フレームの混合割合の情報に基づいて混合解除されたハイフレームレートの動画像データを容易に得ることができ、ハイフレームレートの動画像表示を良好に行うことができる。
【０１３２】
＜２．変形例＞
なお、上述実施の形態においては、送信装置１００とテレビ受信機２００からなる送受信システム１０の例を示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。テレビ受信機２００の部分が、例えばＨＤＭＩ（High-Definition Multimedia Interface）などのデジタルインタフェースで接続されたセットトップボックスおよびディスプレイとされる場合も考えられる。なお、「ＨＤＭＩ」は登録商標である。
【０１３３】
図２１は、送受信システム１０Ａの構成例を示している。この送受信システム１０Ａは、送信装置１００と、セットトップボックス（ＳＴＢ）２００-1と、ディスプレイ２００-2を有する構成となっている。セットトップボックス（ＳＴＢ）２００-1とディスプレイ２００-2はＨＤＭＩで接続されている。
【０１３４】
送信装置１００は、図１に示す送受信システム１０における送信装置１００と同じであるので、その説明は省略する。セットトップボックス２００-1は、送信装置１００から放送波に載せて送られてくるトランスポートストリームＴＳを受信する。
【０１３５】
セットトップボックス２００-1は、ディスプレイ２００-2がハイフレームレート（１２０Ｈｚあるいは２４０Ｈｚ）の動画像データの取り扱いが可能である場合、トランスポートストリームＴＳに含まれる基本ストリームＳＴｂおよび拡張ストリームＳＴｅの双方を処理して、混合処理されているハイフレームレートの動画像データＱを得る。
【０１３６】
セットトップボックス２００-1は、ディスプレイ２００-2が逆混合処理（混合解除処理）の機能を持つ場合には、混合処理されているハイフレームレートの動画像データＱと、各フレームの混合割合の情報（係数セット）を、ＨＤＭＩ伝送路を介して、ディスプレイ２００-2に送る。
【０１３７】
また、セットトップボックス２００-1は、ディスプレイ２００-2が逆混合処理（混合解除処理）の機能を持たない場合には、混合処理されているハイフレームレートの動画像データＱに対して各フレームの混合割合の情報（係数セット）に基づいて逆混合処理（混合解除処理）を行って、混合解除されたハイフレームレートの動画像データＲを得る。そして、セットトップボックス２００-1は、このハイフレームレートの動画像データＲを、ＨＤＭＩ伝送路を介して、ディスプレイ２００-2に送る。
【０１３８】
一方、セットトップボックス２００-1は、ディスプレイ２００-2がノーマルフレームレート（６０Ｈｚ）の動画像データの取り扱いが可能である場合、トランスポートストリームＴＳに含まれる基本ストリームＳＴｂのみを処理して、ノーマルフレームレートの各フレームの画像データＱｂからなるノーマルフレームレートの動画像データを得る。そして、セットトップボックス２００-1は、このノーマルフレームレートの動画像データを、ＨＤＭＩ伝送路を介して、ディスプレイ２００-2に送る。
【０１３９】
ソース機器であるセットトップボックス２００-1は、シンク機器であるディスプレイ２００-2からＥＤＩＤを取得し、ディスプレイ２００-2がハイフレームレート（１２０Ｈｚあるいは２４０Ｈｚ）の動画像データの取り扱いが可能か否かの判断、さらにはディスプレイ２００-2が逆混合処理（混合解除処理）の機能を持つか否かを判断する。
【０１４０】
図２２のフローチャートは、セットトップボックス２００-1の制御部（ＣＰＵ）における制御処理手順の一例を示している。まず、制御部は、ステップＳＴ１において、制御処理を開始する。次に、制御部は、ステップＳＴ２において、ディスプレイ２００-2からＥＤＩＤを読み出してチェックする。そして、制御部は、ステップＳＴ３において、ディスプレイ２００-2がハイフレームレート（１２０Ｈｚあるいは２４０Ｈｚ）の動画像データの取り扱いが可能か否かを判断する。
【０１４１】
取扱いが可能でないとき、制御部は、ステップＳＴ４において、基本ストリームＳＴｂのみをデコードし、ノーマルフレームレートの各フレームの画像データＱｂからなるノーマルフレームレートの動画像データをセットトップボックス２００-1に送信する。制御部は、このステップＳＴ４の処理の後、ステップＳＴ５において、制御処理を終了する。
【０１４２】
また、ステップＳＴ３でディスプレイ２００-2がハイフレームレートの動画像データの取り扱いが可能であるとき、制御部は、ステップＳＴ６において、基本ストリームＳＴｂおよび拡張ストリームＳＴｅをデコードする。
【０１４３】
次に、制御部は、ステップＳＴ７において、ディスプレイ２００-2が逆混合処理（混合解除処理）の機能を持つか否かを判断する。逆混合処理の機能を持たないとき、制御部は、ステップＳＴ８において、セットトップボックス２００-1側で逆混合処理をすることに決定し、混合解除されたハイフレームレートの動画像データＲをセットトップボックス２００-1に送信する。制御部は、このステップＳＴ８の処理の後、ステップＳＴ５において、制御処理を終了する。
【０１４４】
また、ステップＳＴ７でディスプレイ２００-2が逆混合処理の機能を持つとき、制御部は、ステップＳＴ９において、ディスプレイ２００-2側で逆混合処理をすることに決定し、混合処理されているハイフレームレートの動画像データＱと、各フレームの混合割合の情報（係数セット）を、ＨＤＭＩ伝送路を介して、ディスプレイ２００-2に送る。制御部は、このステップＳＴ９の処理の後、ステップＳＴ５において、制御処理を終了する。
【０１４５】
図２３は、送信装置１００、セットトップボックス２００-1およびディスプレイ２００-2の処理の概要を示している。なお、送信装置１００のプリプロセッサ１０２の出力の画像シーケンスＱとセットトップボックス２００-1のデコーダ２０４の出力の画像シーケンスＱとは、時系列的には同じものであるが、コーデックを通しているので両者の画質が異なる場合も含む。送信装置１００については、図４で説明したと同様であるので、ここではその説明を省略する。セットトップボックス２００-1では、ハイフレームレート（１２０Ｈｚあるいは２４０Ｈｚ）の動画像データの取り扱いが可能なディスプレイ２００-2Aが接続されている場合、デコーダ２０４において、２つのストリームＳＴｂ，ＳＴｅに復号化処理が施されて、ノーマルフレームレートの各フレームの画像データＱｂと、ハイフレームレートの各拡張フレームの画像データＱｅとからなる混合処理がされている動画像データＱが得られる。
【０１４６】
また、セットトップボックス２００-1では、ディスプレイ２００-2Aが逆混合処理（混合解除処理）の機能を持つ場合、動画像データＱと、各フレームの混合割合の情報（係数セット）が、ＨＤＭＩ伝送路を介して、ディスプレイ２００-2Aに送信される。図示の例は、ディスプレイ２００-2Aがポストプロセッサ２０５を備えており、ディスプレイ２００-2Aが逆混合処理（混合解除処理）の機能を持つ場合を示している。また、図２４（ａ）は、この場合の状態を示している。
【０１４７】
また、セットトップボックス２００-1では、ディスプレイ２００-2Aが逆混合処理（混合解除処理）の機能を持たない場合、自身が持つポストプロセッサ２０５により、動画像データＱに逆混合処理（混合解除処理）が施され、混合解除されたハイフレームレートの動画像データＲが得られる。そして、セットトップボックス２００-1では、この動画像データＲが、ＨＤＭＩ伝送路を介して、ディスプレイ２００-2Aに送信される。図２４（ｂ）は、この場合の状態を示している。
【０１４８】
また、セットトップボックス２００-1では、ノーマルフレームレート（６０Ｈｚ）の動画像データの取り扱いが可能なディスプレイ２００-2Bが接続されている場合、デコーダ２０４において、ストリームＳＴｂに復号化処理が施されて、ノーマルフレームレートの各フレームの画像データＱｂからなるノーマルフレームレートの動画像データが得られる。そして、セットトップボックス２００-1では、この動画像データが、ＨＤＭＩ伝送路を介して、ディスプレイ２００-2Bに送信される。
【０１４９】
セットトップボックス２００-1は、上述したように、ハイフレームレート（１２０Ｈｚあるいは２４０Ｈｚ）の動画像データの取り扱いが可能であって逆混合処理（混合解除処理）の機能を持つディスプレイ２００-2Aに、混合処理がされている動画像データＱと、各フレームの混合割合の情報（係数セット）を、ＨＤＭＩ伝送路を介して、送信する。
【０１５０】
この場合、混合割合の情報（係数セット）は、例えば、動画像データＱのブランキング期間に挿入して送信する。ここでは、新規定義するＨＦＲ・ブレンディング・インフォフレーム（HFR Blending InfoFrame）を使用する。
【０１５１】
図２５は、ＨＦＲ・ブレンディング・インフォフレームの構造例（Syntax）を示し、図２６、図２７は、その構造例における主要な情報の内容（Semantics）を示している。このインフォフレームの最初の３バイトはヘッダ部分であり、インフォフレームタイプ、バージョンナンバー、データバイトのバイト長の情報が配置されている。
【０１５２】
データバイト１（Data Byte 1）の第７ビットから第５ビットに「frame_rate」の３ビット情報が配置されている。この３ビット情報は、フレームレートを示す。例えば、“３”は１２０Ｈｚを示し、“５”は２４０Ｈｚを示す。また、データバイト１（Data Byte 1）の第４ビットに、「blending_flag」の１ビット情報が配置されている。この１ビット情報は、周辺画像データとの混合処理の適用があるか否かを示す。例えば、“０”は適用なしを示し、“１”は適用ありを示す。
【０１５３】
また、データバイト１（Data Byte 1）の第３ビットから第２ビットに「temporal_filter_taps」の２ビット情報が配置されている。この２ビット情報は、混合処理を行うフィルタの構成情報であり、使用フレーム数（タップ数）を示す。例えば、“０”は２フレーム（２タップ）を示し、“１”は３フレーム（３タップ）を示す。
【０１５４】
また、データバイト１（Data Byte 1）の第１ビットに「first_frame_in_frame-pair_flag（ＦＦ）」の１ビット情報が配置されている。この１ビット情報は、フレームペア（frame-pair）の最初のフレームであるか、つまりノーマルフレームレートに対応したフレームであるか否かを示す。例えば、“０”は最初のフレーム以外であることを示し、“１”は最初のフレームであることを示す。
【０１５５】
また、データバイト１（Data Byte 1）の第０ビットに「Synchronized Frame (SF)」の１ビット情報が配置されている。この１ビット情報は、次のビデオフレームとの同期処理が必須であるか否かを示す。例えば、“０”は次のビデオフレームとの同期処理が必須でないことを示し、“１”は次のビデオフレームとの同期処理が必須であることを示す。
【０１５６】
また、データバイト２（Data Byte 2）の第７ビットから第５ビットに「blending_refresh_distance (BR distance)」の３ビット情報が配置されている。この３ビット情報は、時間的に前のフレームの画像データは用いないで、混合処理の時間的連鎖をリフレッシュするまでのフレーム数（時間的距離）を示す。例えば、“０”は１フレームを示し、“１”は２フレームを示し、“２”は３フレームを示す。
【０１５７】
また、データバイト２（Data Byte 2）の第４ビットに「refresh_flag」の１ビット情報が配置されている。この１ビット情報は、上記の混合処理の時間的連鎖のリフレッシュをするフレームであるか否かを示す。例えば、“０”は混合リフレッシュをしないフレームであることを示し、“１”は混合リフレッシュするフレームであることを示す。
【０１５８】
また、データバイト３（Data Byte 3）からデータバイト７（Data Byte 7）に、１番目から５番目のピクチャフレームに対するブレンド比（係数）が配置される。ここで、何番目まで配置するかは、「temporal_filter_taps」のフィールドで示されるフレーム数（タップ数）に対応する。例えば、“０ｘ０”は「０」を示し、“０ｘ１”は「１/５」を示し、“０ｘ２”は「１/４」を示し、“０ｘ３”は「１/３」を示し、“０ｘ４”は「１/２」を示し、“０ｘ５”は「２/３」を示し、“０ｘ６”は「３/４」を示し、“０ｘ７”は「４/５」を示し、“０ｘ８”は「１」を示す。
【０１５９】
セットトップボックス２００-1では、Synchronized Frame以外の情報、すなわちＨＦＲ・ブレンディング・インフォフレームに含める「frame_rate」、「blending_flag」、「temporal_filter_taps」、「first_frame_in_frame-pair_flag」、「blending_refresh_distance (BR distance)」、「refresh_flag」の情報として、ブレンディング・インフォメーション・ＳＥＩメッセージ（図１３参照）に含まれている情報がそのまま使用される。
【０１６０】
図２８は、セットトップボックス２００-1の構成例を示している。この図２８において、図１９と対応する部分には同一符号を付して示している。このセットトップボックス２００-1は、制御部２０１-1と、受信部２０２と、デマルチプレクサ２０３と、デコーダ２０４と、ポストプロセッサ２０５と、ＨＤＭＩ送信部２０８を有している。
【０１６１】
制御部２０１-1は、セットトップボックス２００-1の各部の動作を制御する。受信部２０２は、受信アンテナで受信されたＲＦ変調信号を復調し、トランスポートストリームＴＳを取得し、デマルチプレクサ２０３に送る。
【０１６２】
デマルチプレクサ２０３は、ディスプレイ２００-2がハイフレームレート（１２０Ｈｚあるいは２４０Ｈｚ）の動画像データの取り扱いが可能であるか否かにより、ＰＩＤのフィルタリングによって、基本ストリームＳＴｂおよび拡張ストリームＳＴｅの双方を取り出すか、基本ストリームＳＴｂを取り出す。
【０１６３】
デコーダ２０４は、デマルチプレクサ２０３で基本ストリームＳＴｂおよび拡張ストリームＳＴｅが取り出されるとき、基本ストリームＳＴｂに復号化処理を施してノーマルフレームレートの各フレームの画像データＱｂを得ると共に、拡張ストリームＳＴｅに復号化処理を施してハイフレームレートの各拡張フレームの画像データＱｅを得る。つまり、画像データＱｂと画像データＱｅとからなる混合処理がされているハイフレームレートの動画像データＱを得る。
【０１６４】
また、このとき、デコーダ２０４は、基本ストリームＳＴｂ、拡張ストリームＳＴｅを構成する各アクセスユニットに挿入されているパラメータセットやＳＥＩを抽出し、制御部２０１-1に送る。この場合、混合割合の情報を持つブレンディング・インフォメーション・ＳＥＩ（図１３参照）も抽出される。
【０１６５】
これにより、制御部２０１-1は、混合処理後のハイフレームレートの動画像データＱの各フレームの画像データがいかなる割合で周辺の画像データと混合されて得られたものであるかを把握して、逆混合処理のための係数を求めることができ、後述するポストプロセッサ２０５の制御を良好に行うことが可能となる。また、制御部２０１-1は、ディスプレイ２００-2にＨＦＲ・ブレンディング・インフォフレームを送信するとき、それに配置する各種情報を、ブレンディング・インフォメーション・ＳＥＩから得ることが可能となる。
【０１６６】
また、デマルチプレクサ２０３で基本ストリームＳＴｂのみが取り出されるとき、基本ストリームＳＴｂに復号化処理を施して、ノーマルフレームレートの各フレームの画像データＱｂからなるノーマルフレームレートの動画像データを得る。
【０１６７】
ポストプロセッサ２０５は、ディスプレイ２００-2がハイフレームレートの動画像データの取り扱いが可能であって、逆混合処理の機能を持っていない場合に、デコーダ２０４で得られたハイフレームレートの動画像データＱに、逆混合処理（混合解除処理）を施して、混合解除されたハイフレームレートの動画像データＲを得る。
【０１６８】
ＨＤＭＩ送信部２０８は、ＨＤＭＩに準拠した通信により、ＨＤＭＩ伝送路を介して、ディスプレイ２００-2に非圧縮の動画像データを送信する。ここで、ディスプレイ２００-2がハイフレームレートの動画像データの取り扱いが可能であって、逆混合処理の機能を持っていない場合には、ポストプロセッサ２０５で得られた混合解除されたハイフレームレートの動画像データＲを、ＨＤＭＩ伝送路を介して、ディスプレイ２００-2に送信する。
【０１６９】
また、ディスプレイ２００-2がハイフレームレートの動画像データの取り扱いが可能であって、逆混合処理の機能を持っている場合には、デコーダ２０４で得られた混合処理されてハイフレームレートの動画像データＱを、ＨＤＭＩ伝送路を介して、ディスプレイ２００-2に送信する。この場合、ディスプレイ２００-2側で逆混合処理をすることになるので、混合割合の情報を含むＨＦＲ・ブレンディング・インフォフレーム（図２５参照）を、動画像データＱを構成する各フレームの画像データのブランキング期間に挿入して送信する。
【０１７０】
また、ディスプレイ２００-2がノーマルフレームレートの動画像データの取り扱いが可能である場合には、デコーダ２０４で得られたノーマルフレームレートの各フレームの画像データＱｂからなるノーマルフレームレートの動画像データを、ＨＤＭＩ伝送路を介して、ディスプレイ２００-2に送信する。
【０１７１】
図２９は、ハイフレームレートの動画像データを取り扱うディスプレイ２００-2Aの構成例を示している。この図２９において、図１９と対応する部分には同一符号を付して示している。このディスプレイ２００-2Aは、制御部２０１-2Aと、ＨＤＭＩ受信部２０９と、ポストプロセッサ２０５と、ＭＣＦＩ部２０６と、パネル表示部２０７を有している。なお、ポストプロセッサ２０５を有しない場合もある
【０１７２】
制御部２０１-2Aは、ディスプレイ２００-2Aの各部の動作を制御する。ＨＤＭＩ受信部２０９は、ＨＤＭＩに準拠した通信により、セットトップボックス２００-1から、ＨＤＭＩ伝送路を介して、非圧縮のハイフレームレートの動画像データを受信する。ここで、ポストプロセッサ２０５が存在しない場合には、混合解除されハイフレームレートの動画像データＲを受信する。
【０１７３】
一方、ポストプロセッサ２０５が存在する場合には、混合処理がされているハイフレームレートの動画像データＱを受信する。この場合、動画像データＱのブランキング期間に挿入されているＨＦＲ・ブレンディング・インフォフレーム（図２５参照）が抽出され、制御部２０１-2Aに送られる。これにより、制御部２０１-2Aは、混合処理後のハイフレームレートの動画像データＱの各フレームの画像データがいかなる割合で周辺の画像データと混合されて得られたものであるかを把握して、逆混合処理のための係数を求めることができ、後述するポストプロセッサ２０５の制御を良好に行うことが可能となる。
【０１７４】
ポストプロセッサ２０５は、制御部２０１-2Aの制御のもと、ＨＤＭＩ受信部２０８で受信されたハイフレームレートの動画像データＱに、逆混合処理（混合解除処理）を施して、混合解除されたハイフレームレートの動画像データＲを得る。
【０１７５】
ＭＣＦＩ部２０６は、ＨＤＭＩ受信部２０９で受信された、あるいはポストプロセッサ２０５で得られたハイフレームレートの動画像データＲに、動き補償のフレーム補間処理を施して、フレームレートをさらに高めた動画像データを得る。なお、このＭＣＦＩ部２０６を有していない場合もある。パネル表示部２０７は、ポストプロセッサ２０５で得られたハイフレームレートの動画像データＲまたはＭＣＦＩ部２０６でフレームレートが高められた動画像データによる画像表示をする。
【０１７６】
図３０は、ノーマルフレームレートの動画像データを取り扱うディスプレイ２００-2Bの構成例を示している。この図３０において、図１９と対応する部分には同一符号を付して示している。このディスプレイ２００-2Bは、制御部２０１-2Bと、ＨＤＭＩ受信部２０９Ｂと、ＭＣＦＩ部２０６Ｂと、パネル表示部２０７Ｂを有している。
【０１７７】
制御部２０１-2Bは、ディスプレイ２００-2Bの各部の動作を制御する。ＨＤＭＩ受信部２０９Ｂは、ＨＤＭＩに準拠した通信により、セットトップボックス２００-1から、ＨＤＭＩ伝送路を介して、非圧縮のノーマルフレームレートの動画像データを受信する。
【０１７８】
ＭＣＦＩ部２０６Ｂは、ＨＤＭＩ受信部２０９Ｂで受信されたノーマルフレームレートの動画像データに、動き補償のフレーム補間処理を施して、フレームレートを高めた動画像データを得る。なお、このＭＣＦＩ部２０６Ｂを有していない場合もある。パネル表示部２０７Ｂは、ＨＤＭＩ受信部２０９Ｂで受信されたノーマルフレームレートの動画像データまたはＭＣＦＩ部２０６Ｂでフレームレートが高められた動画像データによる画像表示をする。
【０１７９】
このように図２１に示す送受信システム１０Ａにおいては、ディスプレイ２００-2に混合処理されているハイフレームレートの動画像データＱを送信する場合、各フレームの混合割合の情報を含むＨＦＲ・ブレンディング・インフォフレームを同時に送信する。そのため、ディスプレイ２００-2では、各フレームの混合割合の情報に基づいてハイフレームレートの動画像データＱに逆混合処理を施して、混合解除された動画像データを容易に得ることができ、良好な動画像表示を行うことができる。
【０１８０】
また、上述実施の形態においては、ハイフレームレートが１２０Ｈｚあるいは２４０Ｈｚでノーマルフレームレートが６０Ｈｚの例を示したが、フレームレートの組み合わせは、これに限定されるものではない。例えば、１００Ｈｚあるいは２００Ｈｚと５０ｆｐｓの組み合わせでも同様である。
【０１８１】
また、上述実施の形態においては、送信装置１００およびテレビ受信機２００からなる送受信システム１０、さらには送信装置１００、セットトップボックス２００-1およびディスプレイ２００-2からなる送受信システム１０Ａを示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。
【０１８２】
また、上述実施の形態においては、コンテナがトランスポートストリーム（ＭＰＥＧ−２  ＴＳ）である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、ＭＰ４やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ−２  ＴＳ）あるいはＭＭＴ（MPEG Media Transport）、インターネット配信で使用されているＩＳＯＢＭＦＦ（ＭＰ４）などの種々のフォーマットのコンテナが該当する。
【０１８３】
また、本技術は、以下のような構成を取ることもできる。
（１）第１のフレームレートの第１の動画像データの各フレームの画像データにフレーム毎に独立した混合割合で周辺のフレームの画像データを混合する処理を施して上記第１のフレームレートの第２の動画像データを得る処理部を備え、
上記第２の動画像データを構成する各フレームの画像データのうち少なくとも上記第１のフレームレートより低い第２のフレームレートに対応したフレームの画像データは周辺フレームの画像データと混合された状態とされ、
上記第２のフレームレートに対応したフレームの画像データを符号化して基本ストリームを得ると共に、残りのフレームの画像データを符号化して拡張ストリームを得る符号化部と、
上記基本ストリームおよび上記拡張ストリームにそれぞれのフレームの画像データに関連付けて対応するフレームの上記混合割合の情報を挿入する挿入部と、
上記混合割合の情報が挿入された上記基本ストリームおよび上記拡張ストリームを含むコンテナを送信する送信部をさらに備える
送信装置。
（２）上記基本ストリームおよび上記拡張ストリームはＮＡＬユニット構造を有し、
上記挿入部は、
上記混合割合の情報を持つＳＥＩ  ＮＡＬユニットを、上記基本ストリームおよび上記拡張ストリームに挿入する
前記（１）に記載の送信装置。
（３）上記第１のフレームレートは１２０Ｈｚまたは２４０Ｈｚであり、上記第２のフレームレートは６０Ｈｚである
前記（１）または（２）に記載の送信装置。
（４）上記混合割合の情報には、混合処理を行ったフィルタの構成情報が付加されている
前記（１）から（３）のいずれかに記載の送信装置。
（５）上記混合割合の情報には、時間的に前のフレームの画像データは用いない混合リフレッシュまでのフレーム数を示す混合リフレッシュ情報が付加されている
前記（１）から（４）のいずれかに記載の送信装置。
（６）上記混合割合を示す情報には、上記混合リフレッシュをするフレームであるか否かを示すリフレッシュフラグ情報が付加されている
前記（１）から（５）のいずれかに記載の送信装置。
（７）上記混合割合の情報には、上記第２のフレームレートに対応したフレームであるか否かを示す先頭フラグ情報が付加されている
前記（１）から（６）のいずれかに記載の送信装置。
（８）処理部が、第１のフレームレートの第１の動画像データの各フレームの画像データにフレーム毎に独立した混合割合で周辺のフレームの画像データを混合する処理を施して上記第１のフレームレートの第２の動画像データを得る処理ステップを有し、
上記第２の動画像データを構成する各フレームの画像データのうち少なくとも上記第１のフレームレートより低い第２のフレームレートに対応したフレームの画像データは周辺フレームの画像データと混合された状態とされ、
挿入部が、上記第２のフレームレートに対応したフレームの画像データを符号化して基本ストリームを得ると共に、残りのフレームの画像データを符号化して拡張ストリームを得る符号化ステップと、
挿入部が、上記基本ストリームおよび上記拡張ストリームにそれぞれのフレームの画像データに関連付けて対応するフレームの上記混合割合の情報を挿入する挿入ステップと、
送信部が、上記混合割合の情報が挿入された上記基本ストリームおよび上記拡張ストリームを含むコンテナを送信する送信ステップをさらに有する
送信方法。
（９）基本ストリームおよび拡張ストリームを含むコンテナを受信する受信部を備え、
上記基本ストリームは、第１のフレームレートの第１の動画像データの各フレームの画像データにフレーム毎に独立した混合割合で周辺のフレームの画像データを混合する処理を施して得られた上記第１のフレームレートの第２の動画像データを構成する各画像データのうち上記第１のフレームレートより低い第２のフレームレートに対応したフレームの画像データであって少なくとも周辺フレームの画像データと混合された状態にある画像データを符号化して得られたものであり、上記拡張ストリームは、残りのフレームの画像データを符号化して得られたものであり、
上記基本ストリームおよび上記拡張ストリームにそれぞれのフレームの画像データに関連付けて対応するフレームの上記混合割合の情報が挿入されており、
表示能力に応じて、上記基本ストリームを復号化して上記第２のフレームレートの動画像データを得るか、あるいは上記基本ストリームおよび上記拡張フレームを復号化して上記第２の動画像データを得、該第２の動画像データに上記混合割合の情報に基づいて逆混合処理を施して混合解除された第１のフレームレートの動画像データを得る処理部をさらに備える
受信装置。
（１０）受信部が、基本ストリームおよび拡張ストリームを含むコンテナを受信する受信ステップを有し、
上記基本ストリームは、第１のフレームレートの第１の動画像データの各フレームの画像データにフレーム毎に独立した混合割合で周辺のフレームの画像データを混合する処理を施して得られた上記第１のフレームレートの第２の動画像データを構成する各画像データのうち少なくとも上記第１のフレームレートより低い第２のフレームレートに対応したフレームの画像データであって周辺フレームの画像データと混合された状態とされたにある画像データを符号化して得られたものであり、上記拡張ストリームは、残りのフレームの画像データを符号化して得られたものであり、
上記基本ストリームおよび上記拡張ストリームにそれぞれのフレームの画像データに関連付けて対応するフレームの上記混合割合の情報が挿入されており、
処理部が、表示能力に応じて、上記基本ストリームを復号化して上記第２のフレームレートの動画像データを得るか、あるいは上記基本ストリームおよび上記拡張フレームを復号化して上記第２の動画像データを得、該第２の動画像データに上記混合割合の情報に基づいて逆混合処理を施して混合解除された第１のフレームレートの動画像データを得る処理ステップをさらに有する
受信方法。
（１１）第１の動画像データの各フレームの画像データにフレーム毎に独立した混合割合で周辺のフレームの画像データを混合する処理を施して得られた第２の動画像データを取得する取得部と、
上記第２の動画像データと、各フレームの混合割合の情報を、伝送路を介して、外部機器に送信する送信部を備える
送信装置。
（１２）上記混合割合の情報には、次のビデオフレームとの同期が必須であるか否かを示す同期フレーム情報が付加されている
前記（１１）に記載の送信装置。
（１３）上記送信部は、上記各フレームの混合割合の情報をそれぞれ上記第２の動画像データの各フレームの画像データのブランキング期間に挿入して送信する
前記（１１）または（１２）に記載の送信装置。
（１４）上記第２の動画像データの各フレームの画像データに上記混合割合の情報に基づいて逆混合処理を施して第３の動画像データを得る処理部をさらに備え、
上記送信部は、上記外部機器が上記逆混合処理の機能を持っていないとき、上記第２の動画像データの代わりに、上記第３の動画像データを送信する
前記（１１）から（１３）のいずれかに記載の送信装置。
（１５）上記第２の動画像データは第１のフレームレートの動画像データであり、
上記第２の動画像データを構成する各フレームの画像データのうち少なくとも上記第１のフレームレートより低い第２のフレームレートに対応したフレームの画像データは周辺フレームの画像データと混合された状態にあり、
上記送信部は、上記外部機器の表示可能なフレームレートが上記第２のフレームレートであるとき、上記第２の動画像データの代わりに、上記第２のフレームレートに対応したフレームの画像データからなる第４の動画像データを送信する
前記（１１）から（１４）のいずれかに記載の送信装置。
（１６）取得部が、第１の動画像データの各フレームの画像データにフレーム毎に独立した混合割合で周辺のフレームの画像データを混合する処理を施して得られた第２の動画像データを取得する取得ステップと、
送信部が、上記第２の動画像データと、各フレームの混合割合の情報を、伝送路を介して、外部機器に送信する送信ステップを有する
送信方法。
（１７）外部機器から、伝送路を介して、第１の動画像データの各フレームの画像データにフレーム毎に独立した混合割合で周辺のフレームの画像データを混合する処理を施して得られた第２の動画像データと、各フレームの混合割合の情報を受信する受信部と、
上記第２の動画像データの各フレームの画像データに上記混合割合の情報に基づいて逆混合処理を施して混合解除された動画像データを得る処理部を備える
受信装置。
（１８）受信部が、外部機器から、伝送路を介して、第１の動画像データの各フレームの画像データにフレーム毎に独立した混合割合で周辺のフレームの画像データを混合する処理を施して得られた第２の動画像データと、各フレームの混合割合の情報を受信する受信ステップと、
処理部が、上記第２の動画像データの各フレームの画像データに上記混合割合の情報に基づいて逆混合処理を施して混合解除された動画像データを得る処理ステップを有する
受信方法。
【０１８４】
本技術の主な特徴は、ハイフレームレートの動画像データを構成する各フレームの画像データのうち少なくともノーマルフレームレートに対応したフレームの画像データを周辺フレームの画像データと混合して開口率が高めた状態とし、ノーマルフレームレートに対応したフレームの画像データを符号化して得られた基本ストリームＳＴｂを送信することで、受信側において、基本ストリームを処理してノーマルフレームレートの動画像データを得て滑らかな画像表示を容易に実現可能としたことである（図４参照）。また、基本ストリームＳＴｂと共に、残りのフレームの画像データが符号化されて得られた拡張ストリームＳＴｅを得て、これらにフレームの混合割合の情報（係数セット）を挿入して送信することで、受信側において、混合解除されたハイフレームレートの動画像データを容易に得ることができ、ハイフレームレートの動画像表示を良好に行い得るようにしたことである（図４参照）。
【符号の説明】
【０１８５】
１０，１０Ａ・・・送受信システム
８１・・・カメラ
８２・・・ＨＦＲプロセッサ
１００・・・送信装置
１０１・・・制御部
１０２・・・プリプロセッサ
１０２ａ，１０２ｂ・・・遅延素子
１０２ｃ，１０２ｃ，１０２ｄ・・・係数器
１０２ｆ・・・加算器
１０２ｇ・・・フレーム出力切り替え器
１０３・・・エンコーダ
１０４・・・マルチプレクサ
１０５・・・送信部
２００，２００Ａ，２００Ｂ・・・テレビ受信機
２００-1・・・セットトップボックス
２００-2，２００-2A，２００-2B・・・ディスプレイ
２０１，２０１-1，２０１-2A，２０１-2B・・・制御部
２０２，２０２Ｂ・・・受信部
２０３，２０３Ｂ・・・デマルチプレクサ
２０４，２０４Ｂ・・・デコーダ
２０５・・・ポストプロセッサ
２０５ａ，２０５ｂ・・・遅延素子
２０５ｃ，２０５ｃ，２０５ｄ・・・係数器
２０５ｆ・・・加算器
２０５ｇ・・・フレーム出力切り替え器
２０６，２０６Ｂ・・・ＭＣＦＩ部
２０７，２０７Ｂ・・・パネル表示部
２０８，２０８Ｂ・・・ＨＤＭＩ送信部
２０９・・・ＨＤＭＩ受信部
【図１】
2018186357.tif 000003
【図２】
2018186357.tif 000004
【図３】
2018186357.tif 000005
【図４】
2018186357.tif 000006
【図５】
2018186357.tif 000007
【図６】
2018186357.tif 000008
【図７】
2018186357.tif 000009
【図８】
2018186357.tif 000010
【図９】
2018186357.tif 000011
【図１０】
2018186357.tif 000012
【図１１】
2018186357.tif 000013
【図１２】
2018186357.tif 000014
【図１３】
2018186357.tif 000015
【図１４】
2018186357.tif 000016
【図１５】
2018186357.tif 000017
【図１６】
2018186357.tif 000018
【図１７】
2018186357.tif 000019
【図１８】
2018186357.tif 000020
【図１９】
2018186357.tif 000021
【図２０】
2018186357.tif 000022
【図２１】
2018186357.tif 000023
【図２２】
2018186357.tif 000024
【図２３】
2018186357.tif 000025
【図２４】
2018186357.tif 000026
【図２５】
2018186357.tif 000027
【図２６】
2018186357.tif 000028
【図２７】
2018186357.tif 000029
【図２８】
2018186357.tif 000030
【図２９】
2018186357.tif 000031
【図３０】
2018186357.tif 000032