(57)【要約】  ハイフレームレートの動画像データを受信する受信側において、適切な画質の画像を容易に提示可能とする。  ハイフレームレートの動画像データを符号化して得られたビデオストリームを生成する。このビデオストリームを含むコンテナを送信する。コンテナのレイヤおよび/またはビデオストリームのレイヤに、ブラーをコントロールするためのブラーコントロール情報を挿入する。例えば、ブラーコントロール情報は、現在フレームの画像データに周辺フレームの画像データを加算するブラー付与処理における各フレームの重み付け係数を与える。
2018194040.tif 000002
【特許請求の範囲】
【請求項１】
ハイフレームレートの動画像データを符号化して得られたビデオストリームを生成する符号化部と、
上記ビデオストリームを含むコンテナを送信する送信部と、
上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤに、ブラーをコントロールするためのブラーコントロール情報を挿入する情報挿入部を備える
送信装置。
【請求項２】
上記ブラーコントロール情報は、現在フレームの画像データに周辺フレームの画像データを加算するブラー付与処理における各フレームの重み付け係数を与える
請求項１に記載の送信装置。
【請求項３】
上記周辺フレームには、過去および未来のフレームが含まれる
請求項２に記載の送信装置。
【請求項４】
上記周辺フレームには、過去のフレームだけが含まれる
請求項２に記載の送信装置。
【請求項５】
上記周辺フレームの重み付け係数には負の係数が含まれる
請求項２に記載の送信装置。
【請求項６】
上記ハイフレームレートの動画像データは、１２０Ｈｚ、２４０Ｈｚあるいは４８０Ｈｚのフレームレートの動画像データである
請求項１に記載の送信装置。
【請求項７】
上記情報挿入部は、上記ブラーコントロール情報を含むＳＥＩメッセージを上記ビデオストリームのレイヤに挿入する
請求項１に記載の送信装置。
【請求項８】
上記情報挿入部は、上記ビデオストリームのレイヤに上記ブラーコントロール情報を挿入するとき、該挿入があることを示す識別情報を上記コンテナのレイヤにさらに挿入する
請求項１に記載の送信装置。
【請求項９】
上記情報挿入部は、上記ブラーコントロール情報を含むデスクリプタを上記コンテナのレイヤに挿入する
請求項１に記載の送信装置。
【請求項１０】
上記コンテナは、ＭＰＥＧ２トランスポートストリームであり、
上記デスクリプタは、プログラム・マップ・テーブル、あるいはイベント・インフォメーション・テーブルに挿入される
請求項９に記載の送信装置。
【請求項１１】
上記情報挿入部は、上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤに、複数種類の上記ブラーコントロール情報を挿入する
請求項１に記載の送信装置。
【請求項１２】
画像符号化部が、ハイフレームレートの動画像データを符号化して得られたビデオストリームを生成する画像符号化ステップと、
送信部が、上記ビデオストリームを含むコンテナを送信する送信ステップと、
情報挿入部が、上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤに、ブラーをコントロールするためのブラーコントロール情報を挿入する情報挿入ステップを有する
送信方法。
【請求項１３】
ハイフレームレートの動画像データを符号化して得られたビデオストリームを含むコンテナを受信する受信部を備え、
上記ビデオストリームを復号化して上記ハイフレームレートの動画像データを得る復号化部と、
上記得られたハイフレームレートの動画像データにブラーコントロール情報を用いたブラー付与処理を行う処理部をさらに備える
受信装置。
【請求項１４】
上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤに、上記ブラーコントロール情報が挿入されており、
上記処理部は、上記挿入されているブラーコントロール情報を用いるか、あるいは該ブラーコントロール情報を修正して用いる
請求項１３に記載の受信装置。
【請求項１５】
上記ブラ―コントロール情報を保持する保持部をさらに備え、
上記処理部は、上記保持部から上記ブラーコントロール情報を取得して用いる
請求項１３に記載の受信装置。
【請求項１６】
上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤに、複数種類の上記ブラーコントロール情報が挿入されており、
上記処理部は、上記複数種類のブラーコントロール情報から表示フレームレートに応じた、あるいは所望画質に応じた種類のブラーコントロール情報を選択して用いる
請求項１３に記載の受信装置。
【請求項１７】
上記処理部は、上記ハイフレームレートの動画像データからフレームレートを落とした表示画像データを得る際に、ブラー付与処理を行う
請求項１３に記載の受信装置。
【請求項１８】
受信部が、ハイフレームレートの動画像データを符号化して得られたビデオストリームを含むコンテナを受信する受信ステップを有し、
上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤに、ブラーをコントロールするためのブラーコントロール情報が挿入されており、
復号化部が、上記ビデオストリームを復号化して上記ハイフレームレートの動画像データを得る復号化ステップと、
処理部が、上記得られたハイフレームレートの動画像データに上記ブラーコントロール情報を用いたブラー付与処理を行う処理ステップをさらに有する
受信方法。
【請求項１９】
ハイフレームレートの動画像データを符号化して得られたビデオストリームを生成する符号化部と、
上記ハイフレームレートの動画像データのブラーをコントロールするためのブラーコントロール情報を生成する生成部と、
上記ビデオストリームのレイヤおよび/または上記ビデオストリームを含むコンテナのレイヤに挿入された上記ブラーコントロール情報および上記ビデオストリームを記録する記録部を備える
記録装置。
【請求項２０】
符号化部が、ハイフレームレートの動画像データを符号化して得られたビデオストリームを生成する符号化ステップと、
生成部が、上記ハイフレームレートの動画像データのブラーをコントロールするためのブラーコントロール情報を生成する生成ステップと、
記録部が、上記ビデオストリームのレイヤおよび/または上記ビデオストリームを含むコンテナのレイヤに挿入された上記ブラーコントロール情報および上記ビデオストリームを記録する記録ステップを有する
記録方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、送信装置、送信方法、受信装置、受信方法、記録装置および記録方法に関し、詳しくは、ハイフレームレートの動画像データを送信する送信装置等に関する。
【背景技術】
【０００２】
近年、高速フレームシャッターでハイフレームレート撮影を行って、ハイフレームレートの動画像データを出力するカメラが知られている（例えば、特許文献１参照）。例えば、ノーマルフレームレートが６０Ｈｚであるのに対して、ハイフレームレートは１２０Ｈｚ、２４０Ｈｚ、４８０Ｈｚなどである。【０００３】
そして、近年、このハイフレームレートの動画像データを符号化して得られたビデオストリームを含むコンテナを生成し、このコンテナを放送波あるいはネットのパケットに載せて送信することが考えられている。例えば、コンテナとしては、ＭＰＥＧ−２  ＴＳ（MPEG-2 Transport Stream）あるいはＭＭＴ（MPEG Media Transport）などが知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０-１７８１２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ハイフレームレートの動画像データを受信する受信機において、表示部がハイフレームレートに対応していなければ、例えばハイフレームレートの動画像データに間引き処理あるは加算処理を行ってノーマルフレームレートの動画像データを得て、画像表示を行うことになる。しかし、単に間引き処理あるは加算処理を行って得られたノーマルフレームレートの動画像データによる表示画像は観察者にとって満足のいくものとはならないことが想定される。【０００６】
本技術の目的は、ハイフレームレートの動画像データを受信する受信側において、適切な画質の画像を容易に提示可能とすることにある。
【課題を解決するための手段】
【０００７】
本技術の概念は、
ハイフレームレートの動画像データを符号化して得られたビデオストリームを生成する符号化部と、
上記ビデオストリームを含むコンテナを送信する送信部と、
上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤに、ブラーをコントロールするためのブラーコントロール情報を挿入する情報挿入部を備える
送信装置にある。【０００８】
本技術において、符号化部により、ハイフレームレートの動画像データを符号化して得られたビデオストリームが生成される。例えば、ハイフレームレートの動画像データは、１２０Ｈｚ、２４０Ｈｚあるいは４８０Ｈｚのフレームレートの動画像データである、ようにされてもよい。送信部により、ビデオストリームを含むコンテナが送信される。【０００９】
情報挿入部により、コンテナのレイヤおよび/またはビデオストリームのレイヤに、ブラーをコントロールするためのブラーコントロール情報が挿入される。例えば、周辺フレームの重み付け係数には負の係数が含まれる、ようにされてもよい。【００１０】
また、例えば、ブラーコントロール情報は、現在フレームの画像データに周辺フレームの画像データを加算するブラー付与処理における各フレームの重み付け係数を与える、ようにされてもよい。この場合、例えば、周辺フレームには、過去および未来のフレームが含まれる、ようにされてもよい。また、この場合、例えば、周辺フレームには、過去のフレームだけが含まれる、ようにされてもよい。【００１１】
また、例えば、情報挿入部は、ブラーコントロール情報を含むＳＥＩメッセージをビデオストリームのレイヤに挿入する、ようにされてもよい。また、例えば、情報挿入部は、ビデオストリームのレイヤにブラーコントロール情報を挿入するとき、該挿入があることを示す識別情報をコンテナのレイヤにさらに挿入する、ようにされてもよい。このようにコンテナのレイヤに識別情報が挿入されることで、受信側では、ビデオストリームをデコードしなくても、ビデオストリームのレイヤにブラーコントロール情報の挿入があることを容易に認識可能となる。【００１２】
また、例えば、情報挿入部は、ブラーコントロール情報を含むデスクリプタをコンテナのレイヤに挿入する、ようにされてもよい。この場合、例えば、コンテナは、ＭＰＥＧ２トランスポートストリームであり、デスクリプタは、プログラム・マップ・テーブル、あるいはイベント・インフォメーション・テーブルに挿入される、ようにされてもよい。【００１３】
また、例えば、情報挿入部は、コンテナのレイヤおよび/またはビデオストリームのレイヤに、複数種類のブラーコントロール情報を挿入する、ようにされてもよい。このように複数種類のブラーコントロール情報が挿入されることで、受信側では、例えば、表示フレームレートに応じた、あるいは所望画質に応じた種類のブラーコントロール情報を選択して用いることができる。【００１４】
このように本技術においては、コンテナのレイヤおよび/またはビデオストリームのレイヤに、ブラーをコントロールするためのブラーコントロール情報を挿入するものである。そのため、受信側では、このブラーコントロール情報に基づいてブラーをコントロールでき、適切な画質の画像を容易に提示できる。【００１５】
また、本技術の他の概念は、
ハイフレームレートの動画像データを符号化して得られたビデオストリームを含むコンテナを受信する受信部を備え、
上記ビデオストリームを復号化して上記ハイフレームレートの動画像データを得る復号化部と、
上記得られたハイフレームレートの動画像データにブラーコントロール情報を用いたブラー付与処理を行う処理部をさらに備える
受信装置にある。【００１６】
本技術において、受信部により、ハイフレームレートの動画像データを符号化して得られたビデオストリームを含むコンテナが受信される。復号化部により、ビデオストリームが復号化されてハイフレームレートの動画像データが得られる。そして、処理部により、このハイフレームレートの動画像データにブラーコントロール情報を用いたブラー付与処理が行われる。【００１７】
例えば、コンテナのレイヤおよび/またはビデオストリームのレイヤに、ブラーコントロール情報が挿入されており、処理部は、挿入されているブラーコントロール情報を用いるか、あるいはこのブラーコントロール情報を修正して用いる、ようにされてもよい。また、例えば、ブラ―コントロール情報を保持する保持部をさらに備え、処理部は、保持部からブラーコントロール情報を取得して用いる、ようにされてもよい。【００１８】
また、例えば、コンテナのレイヤおよび/またはビデオストリームのレイヤに、複数種類のブラーコントロール情報が挿入されており、処理部は、複数種類のブラーコントロール情報から表示フレームレートに応じた、あるいは所望画質に応じた種類のブラーコントロール情報を選択して用いる、ようにされてもよい。また、例えば、処理部は、ハイフレームレートの動画像データからフレームレートを落とした表示画像データを得る際に、ブラー付与処理を行う、ようにされてもよい。【００１９】
このように本技術においては、受信されたハイフレームレートの動画像データにブラーコントロール情報に基づいてブラー付与処理を行うものである。そのため、適切な画質の画像を容易に提示できる。【００２０】
また、本技術の他の概念は、
ハイフレームレートの動画像データを符号化して得られたビデオストリームを生成する符号化部と、
上記ハイフレームレートの動画像データのブラーをコントロールするためのブラーコントロール情報を生成する生成部と、
上記ビデオストリームのレイヤおよび/または上記ビデオストリームを含むコンテナのレイヤに挿入された上記ブラーコントロール情報および上記ビデオストリームを記録する記録部を備える
記録装置にある。【００２１】
本技術において、符号化部により、ハイフレームレートの動画像データを符号化して得られたビデオストリームが生成される。生成部により、ハイフレームレートの動画像データのブラーをコントロールするためのブラーコントロール情報が生成される。そして、記録部により、ビデオストリームのレイヤおよび/またはビデオストリームを含むコンテナのレイヤに挿入されたブラーコントロール情報およびビデオストリームが記録される。【００２２】
このように本技術においては、ビデオストリームを含むコンテナのレイヤおよび/またはビデオストリームのレイヤにブラーをコントロールするためのブラーコントロール情報が挿入されて記録されるものである。そのため、再生時おいて、ハイフレームレートの動画像データのブラーをブラーコントロール情報に基づいてコントロールでき、適切な画質の画像を容易に提示できる。
【発明の効果】
【００２３】
本技術によれば、ハイフレームレートの動画像データを受信する受信側において、適切な画質の画像を容易に提示できる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００２４】
【図１】実施の形態としての送受信システムの構成例を示すブロック図である。
【図２】ハイフレームレートの動画像データに対する間引き処理を説明するための図である。
【図３】光刺激（左）と視覚反応（右）の対応関係を説明するための図である。
【図４】光刺激（左）と視覚反応（右）の対応関係から、見かけの明るさは以前の光刺激の影響を受けることを説明するための図である。
【図５】ブラーコントロール情報を与える関数のタイプを説明するための図である。
【図６】ブラーコントロール情報として送信される各フレームの重み付け係数の一例を示す図である。
【図７】送信装置の構成例を示すブロック図である。
【図８】符号化方式がＨＥＶＣである場合におけるＧＯＰの先頭のアクセスユニットを示す図である。
【図９】符号化方式がＨＥＶＣである場合におけるＧＯＰの先頭以外のアクセスユニットを示す図である。
【図１０】ＨＦＲ・ブラーコントロール・ＳＥＩメッセージの構造例を示す図である。
【図１１】ＨＦＲ・ブラーコントロール・ＳＥＩメッセージの構造例における主要な情報の内容を示す図である。
【図１２】ＨＦＲ・インフォメーション・デスクリプタの構造例と、その構造例における主要な情報の内容を示す図である。
【図１３】ＨＦＲ・ブラーコントロール・デスクリプタの構造例を示す図である。
【図１４】トランスポートストリームＴＳの構成例を示す図である。
【図１５】受信装置の構成例を示すブロック図である。
【図１６】表示画像データＶＤｄのあるフレームとしてのフレーム「０」の信号を得るための処理の一例を示す図である。
【図１７】表示画像データＶＤｄのあるフレームとしてのフレーム「０」の信号を得るための処理の一例を示す図である。
【図１８】表示画像データＶＤｄのあるフレームとしてのフレーム「０」の信号を得るための処理の一例を示す図である。
【図１９】表示画像データＶＤｄのあるフレームとしてのフレーム「０」の信号を得るための処理の一例を示す図である。
【図２０】送受信システムの他の構成例を示すブロック図である。
【図２１】送受信システムの他の構成例を示すブロック図である。
【図２２】ＨＭＤ装置の構成例を示すブロック図である。
【発明を実施するための形態】
【００２５】
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例
【００２６】
＜１．実施の形態＞
［送受信システム］
図１は、実施の形態としての送受信システム１０の構成例を示している。この送受信システム１０は、送信装置１００と、受信装置２００とを有する構成となっている。
【００２７】
送信装置１００は、コンテナとしてのトランスポートストリームＴＳを生成し、このトランスポートストリームＴＳを放送波、あるいはネットのパケットに載せて送信する。このトランスポートストリームＴＳには、例えば１２０Ｈｚ，２４０Ｈｚあるいは４８０Ｈｚ等のハイフレームレートの動画像データを符号化して得られたビデオストリームが含まれる。この場合、例えば、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの符号化が施される。
【００２８】
トランスポートストリームＴＳのレイヤおよび/またはビデオストリームのレイヤに、ブラーをコントロールするためのブラーコントロール情報が１つまたは複数の種類挿入される。受信側においては、コンテナのレイヤあるいはビデオストリームのレイヤから、ブラーコントロール情報を容易に取得可能となる。
【００２９】
この実施の形態において、送信装置１００は、ブラーコントロール情報を含むデスクリプタをトランスポートストリームＴＳのレイヤに挿入する。また、この実施の形態において、送信装置１００は、ブラーコントロール情報を含むＳＥＩメッセージをビデオストリームのレイヤに挿入する。また、この実施の形態において、送信装置１００は、ブラーコントロール情報を含むＳＥＩメッセージがビデオストリームのレイヤに挿入されていることを示す識別情報を含むスクリプタをトランスポートストリームＴＳのレイヤに挿入する。
【００３０】
受信装置２００は、送信装置１００から放送波、あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳを受信する。このトランスポートストリームＴＳには、ハイフレームレートの動画像データが符号化されて得られたデオストリームが含まれている。トランスポートストリームＴＳのレイヤおよび/またはビデオストリームのレイヤに、ブラーをコントロールするためのブラーコントロール情報が挿入されている。
【００３１】
受信装置２００は、ビデオストリームを復号化してハイフレームレートの動画像データを得、この動画像データにブラーコントロール情報を用いたブラ―付与処理をする。この場合、受信装置２００は、複数種類のブラーコントロール情報から表示フレームレートに応じた、あるいは所望画質に応じた種類のブラーコントロール情報を選択して用いる。
【００３２】
例えば、ハイフレームレートの動画像データをそのまま表示画像データとする場合に、ユーザの選択操作に応じて、所望画質に応じた種類のブラーコントロール情報が選択されて用いられる。また、例えば、ハイフレームレートの動画像データからフレームレートを落とした表示画像データを得る際に、適切な画質を得るために、それに対応した種類のブラーコントロール情報が選択されて用いられる。
【００３３】
［ブラーコントロール情報］
ブラーコントロール情報の詳細について説明する。ブラーコントロール情報は、上述したように、ハイフレームレートの動画像データが送られてくる受信側において、所望画質を得るための、あるいはフレームレートを落とした場合に適切な画質を得るためのブラー付与処理において用いられる。
【００３４】
図２（ａ）は、ハイフレームレート、例えば１２０Ｈｚのフレームレートの動画像データにおいて、フレーム進行に伴う所定ピクセルの信号レベルの変化を示している。横軸はフレームであり、「０」は現在フレームを示し、「−ｎ」はｎフレーム前のフレームを示し、「ｎ」はｎフレーム後のフレームを示している。なお、信号レベルは、最大値を１として示している。
【００３５】
従来、表示フレームレートが６０Ｈｚである場合、例えば、図２（ｂ）に示すように、間引き処理が行われて、６０Ｈｚのフレームレートの動画像データとされる。この場合、６０Ｈｚのフレームレートの動画像データにおいて、現在フレーム「０」の信号は、図２（ｃ）に示すように、１２０Ｈｚのフレームレートの動画像データにおける現在フレーム「０」の信号そのものであり、周辺のフレームの信号成分を含んではいない。そのため、このように単なる間引き処理で生成された６０Ｈｚのフレームレートの動画像データで提示される画像は滑らかさに欠けるものとなる。
【００３６】
図３（ａ）〜（ｄ）は、それぞれ、光刺激（左）と視覚反応（右）の対応関係を示している。図３（ａ）に示すように、光刺激が一定時間呈示されると、見かけの明るさは数１０ｍｓの時間遅れを伴う。また、図３（ｂ）に示すように、光刺激が一定間隔で呈示されると、見かけの明るさは同一の周期で変化する。
【００３７】
また、図３（ｃ）に示すように、連続する光刺激が呈示されると、見かけの明るさも連続する。また、図３（ｄ）に示すように、図３（ｂ）と同じ周期でも、連続する光刺激が呈示されると、見かけの明るさは連続する。
【００３８】
図４（ａ），（ｂ）も、それぞれ、光刺激（左）と視覚反応（右）の対応関係を示している。図４（ａ）において、ハッチングを付して示すように、見かけの明るさは、以前の光刺激の影響を受ける。また、図４（ｂ）において、ハッチングを付して示すように、光刺激の呈示時間が長くなると、見かけの明るさの刺激の影響も長くなる。
【００３９】
この光刺激の影響は画像（映像）の重なり（ブラー）として見える。この重なり量をコントロールすることで、画像観察者が知覚する画質を積極的に変化させることが可能となる。この実施の形態においては、ブラーコントロール情報は、フレームをパラメータとする関数情報とされ、現在フレームの画像データに周辺フレームの画像データを加算するブラー付与処理における各フレームの重み付け係数を与える。
【００４０】
図５（ａ）〜（ｄ）は、関数のタイプを示している。図５（ａ）は、過去と未来のフレームを利用し、かつ各フレームの重み付け係数の一部として負の係数が含まれる例である。図５（ｂ）は、過去と未来のフレームを利用し、かつ各フレームの重み付け係数として負の係数が含まれない例である。図５（ｃ）は、過去のフレームだけを利用し、かつ各フレームの重み付け係数の一部として負の係数が含まれる例である。図５（ｄ）は、過去のフレームだけを利用し、かつ各フレームの重み付け係数として負の係数が含まれない例である。
【００４１】
関数のタイプを変化させ、あるいは関数の係数を変化させることで、複数種類のブラーコントロール情報（各フレームの重み付け係数）を得ることが可能となる。例えば、ハイフレームレートの動画像データをそのまま表示画像データとする場合、あるいはそのフレームレートを落とした表示用動画像データを得る場合に、画像観察者に所定の画質を知覚させるためのブラーコントロール情報を得ることができる。また、例えば、ハイフレームレートの動画像データからフレームレートを落とした表示用動画像データを得る際に、画像観察者に適切な画質を知覚させるための、ブラーコントロール情報を得ることができる。
【００４２】
なお、送信装置１００から受信装置２００にブラーコントロール情報を送信する場合、関数情報そのものを送ることも考えられるが、この実施の形態においては、その関数情報で与えられる、受信側のブラー付与処理で使用される各フレームの重み付け係数が送られる。
【００４３】
図６（ａ）〜（ｄ）は、ブラーコントロール情報として送信される各フレームの重み付け係数の一例を示している。図６（ａ）の例は、図５（ａ）に示す関数タイプに対応しており、「−３」〜「３」のフレームにおける関数ｆ(x)の値である重み付け係数ｆ(-3)〜ｆ(3)がブラーコントロール情報として送信される。なお、「−３」〜「３」のフレーム範囲は一例であってこれに限定されない。過去と未来の使用フレームが３でなくてもよく、また過去と未来の使用フレームが同数でなくてもよい。これらの点については、図６（ｂ）〜（ｄ）の例においても同様である。
【００４４】
図６（ｂ）の例は、図５（ｂ）に示す関数タイプに対応しており、「−３」〜「３」のフレームにおける関数ｆ(x)の値である重み付け係数ｆ(-3)〜ｆ(3)がブラーコントロール情報として送信される。図６（ｃ）の例は、図５（ｃ）に示す関数タイプに対応しており、「−３」〜「０」のフレームにおける関数ｆ(x)の値である重み付け係数ｆ(-3)〜ｆ(0)がブラーコントロール情報として送信される。図６（ｄ）の例は、図５（ｄ）に示す関数タイプに対応しており、「−３」〜「０」のフレームにおける関数ｆ(x)の値である重み付け係数ｆ(-3)〜ｆ(0)がブラーコントロール情報として送信される。
【００４５】
「送信装置の構成」
図７は、送信装置１００の構成例を示している。この送信装置１００は、ＣＰＵ（Central Processing Unit）１０１と、エンコーダ１０２と、マルチプレクサ１０３と、送信部１０４を有している。ＣＰＵ１０１は、制御部を構成し、送信装置１００の各部の動作を制御する。
【００４６】
エンコーダ１０２は、例えば１２０Ｈｚ，２４０Ｈｚあるいは４８０Ｈｚ等のハイフレームレートの動画像データＶＤを入力する。このハイフレームレートの動画像データＶＤは、例えば、図示しない撮像装置（カメラ）で撮像されて得られたものであり、ブラ―が付与されていない状態にある。エンコーダ１０２は、この動画像データＶＤに、例えば、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの符号化処理を施し、ビデオストリームを生成する。
【００４７】
この際、エンコーダ１０２は、ビデオストリームのレイヤに、上述のブラーコントロール情報を挿入する。例えば、ピクチャ単位、ＧＯＰ（Group Of Pictures）単位、あるいはシーン単位などの単位で挿入される。
【００４８】
エンコーダ１０２は、アクセスユニット（ＡＵ）の“ＳＥＩｓ”の部分に、新規定義する、ＨＦＲ・ブラーコントロール・ＳＥＩメッセージ（HFR_blur_control SEI message）を挿入する。
【００４９】
図８は、符号化方式がＨＥＶＣである場合におけるＧＯＰ（Group Of Pictures）の先頭のアクセスユニットを示している。また、図９は、符号化方式がＨＥＶＣである場合におけるＧＯＰの先頭以外のアクセスユニットを示している。
【００５０】
ＨＥＶＣの符号化方式の場合、画素データが符号化されているスライス（slices）の前にデコード用のＳＥＩメッセージ群「Prefix_SEIs」が配置され、このスライス（slices）の後に表示用のＳＥＩメッセージ群「Suffix_SEIs」が配置される。図８、図９に示すように、ＨＦＲ・ブラーコントロール・ＳＥＩメッセージは、例えば、ＳＥＩメッセージ群「Suffix_SEIs」として配置される。
【００５１】
図１０は、ＨＦＲ・ブラーコントロール・ＳＥＩメッセージの構造例(Syntax)を示している。図１１は、その構造例における主要な情報の内容（Semantics）を示している。「source_frame_rate」のフィールドは、送信するハイフレームレートの動画像データのフレームレートを示す。例えば、“０ｘ０１”は１２０Ｈｚを示し、“０ｘ０２”は２４０Ｈｚを示し、“０ｘ０３”は４８０Ｈｚを示す。
【００５２】
「number_of_blur_control_info」のフィールドは、送信するブラーコントロール情報の数（種類数）を示す。この数の分だけ、以下の情報が繰り返し存在する。「display_frame_rate」のフィールドは、表示画像データのフレームレートを示す。例えば、“０ｘ０１”は６０Ｈｚを示し、“０ｘ０２”は１２０Ｈｚを示し、“０ｘ０３”は２４０Ｈｚを示し、“０ｘ０４”は４８０Ｈｚを示す。
【００５３】
「function_type」のフィールドは、関数タイプを示す。例えば、“０ｘ０１”は現在とその前のフレームを使用し、かつ重み付け係数の一部に負の係数があるタイプ（図５（ａ）、図６（ａ）参照）であることを示す。また、“０ｘ０２”は現在とその前のフレームを使用し、かつ重み付け係数に負の係数がないタイプ（図５（ｂ）、図６（ｂ）参照）であることを示す。
【００５４】
また、“０ｘ０３”は現在とその前後のフレームを使用し、かつ重み付け係数の一部に負の係数があるタイプ（図５（ｃ）、図６（ｃ）参照）であることを示す。さらに、“０ｘ０４”は現在とその前後のフレームを使用し、かつ重み付け係数に負の係数がないタイプ（図５（ｄ）、図６（ｄ）参照）であることを示す。
【００５５】
「start_frame」のフィールドは、使用する最初のフレームを示す。「end_frame」のフィールドは、使用する最後のフレームを示す。例えば、図６（ａ），（ｂ）の例の場合、最初のフレームは「−３」で、最後のフレームは「３」である。また、例えば、図６（ｃ），（ｄ）の例の場合、最初のフレームは「−３」で、最後のフレームは「０」となる。
【００５６】
「number_of_frame」のフィールドは、使用フレームの数を示す。例えば、図６（ａ），（ｂ）の例の場合、「７」となる。また、例えば、図６（ｃ），（ｄ）の例の場合、「４」となる。この数の分だけ、以下の情報が繰り返し存在する。「frame_coef(i)」のフィールドは、各フレームで用いる重み付け係数（関数値）を示す。
【００５７】
図７に戻って、マルチプレクサ１０３は、エンコーダ１０２で生成されたビデオストリームを、ＰＥＳ（Packetized Elementary Stream）パケット化し、さらにトランスポートパケット化して多重し、多重化ストリームとしてのトランスポートストリームＴＳを得る。
【００５８】
この際、マルチプレクサ１０３は、コンテナとしてのトランスポートストリームＴＳのレイヤに、ビデオストリームのレイヤにブラーコントロール情報の挿入があることを示す識別情報を挿入する。この実施の形態において、マルチプレクサ１０３は、新規定義するＨＦＲ・インフォメーション・デスクリプタ（HFR_information descriptor）を、トランスポートストリームＴＳに含まれるプログラム・マップ・テーブル（ＰＭＴ：Program Map Table）のビデオエレメンタリ・ループ（Video ES loop）の配下に挿入する。
【００５９】
図１２（ａ）は、ＨＦＲ・インフォメーション・デスクリプタの構造例（Syntax）を示している。また、図１２（ｂ）は、その構造例における主要な情報の内容（Semantics）を示している。
【００６０】
「HFR_information descriptor tag」の８ビットフィールドは、デスクリプタタイプを示し、ここでは、ＨＦＲ・インフォメーション・デスクリプタであることを示す。「HFR_ information descriptor length」の８ビットフィールドは、デスクリプタの長さ（サイズ）を示し、デスクリプタの長さとして以降のバイト数を示す。
【００６１】
「HFR_blur_control_SEI_existed」の１ビットフィールドは、ビデオレイヤ（ビデオストリームのレイヤ）に、ＨＦＲ・ブラーコントロール・ＳＥＩメッセージが存在するか否かを示すフラグ情報である。例えば、“１”は存在することを示し、“０”は存在しないことを示す。
【００６２】
図７に戻って、送信部１０４は、マルチプレクサ１０３で得られたトランスポートストリームＴＳを、放送波、あるいはネットのパケットに載せて、受信装置２００に送信する。
【００６３】
図７に示す送信装置１００の動作を簡単に説明する。エンコーダ１０２には、例えば１２０Ｈｚ、２４０Ｈｚあるいは４８０Ｈｚ等のハイフレームレートの動画像データＶＤが入力される。エンコーダ１０２では、この動画像データＶＤに、例えば、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの符号化処理が施され、ビデオストリームが生成される。
【００６４】
また、エンコーダ１０２では、ビデオストリームのレイヤに、ブラーコントロール情報が挿入される。すなわち、エンコーダ１０２では、アクセスユニット（ＡＵ）の“ＳＥＩｓ”の部分に、新規定義する、ＨＦＲ・ブラーコントロール・ＳＥＩメッセージ（図１０参照）が挿入される。
【００６５】
エンコーダ１０２で生成されたビデオストリームは、マルチプレクサ１０３に供給される。マルチプレクサ１０３では、ビデオストリームのＰＥＳパケット化、さらにトランスポートパケット化が行われて多重され、多重化ストリームとしてのトランスポートストリームＴＳが得られる。
【００６６】
また、マルチプレクサ１０３では、コンテナとしてのトランスポートストリームＴＳのレイヤに、ビデオストリームのレイヤにブラーコントロール情報の挿入があることを示す識別情報が挿入される。すなわち、マルチプレクサ１０３では、ＨＦＲ・インフォメーション・デスクリプタ（図１２（ａ）参照）が、プログラム・マップ・テーブル（ＰＭＴ：Program Map Table）のビデオエレメンタリ・ループ（Video ES loop）の配下に挿入される。
【００６７】
マルチプレクサ１０３で生成されたトランスポートストリームＴＳは、送信部１０４に送られる。送信部１０４では、このトランスポートストリームＴＳが、放送波、あるいはネットのパケットに載せられて受信装置２００に送信される。
【００６８】
なお、上述では、ブラーコントロール情報をビデオストリームのレイヤに挿入する例を示した。ＨＦＲ・ブラーコントロール・ＳＥＩメッセージは最も頻繁にはピクチャ毎に送ることができるので、ブラーコントロール情報をピクチャ毎に変更することも可能となる。あるいは、ＨＦＲ・ブラーコントロール・ＳＥＩメッセージを例えばＧＯＰあるいはシーンに１回とか、あるいはもっと粗い単位で送ることもできる。あるいは、ＨＦＲ・ブラーコントロール・ＳＥＩメッセージをピクチャ毎に送っても、メタ情報の値が変わらなければスタティックな運用も可能となる。
【００６９】
ブラーコントロール情報をビデオストリームのレイヤに挿入する代わりに、あるいはビデオストリームのレイヤに挿入すると共に、コンテナのレイヤに挿入することも考えられる。例えば、マルチプレクサ１０３は、プログラム・マップ・テーブル（ＰＭＴ）の配下に、新規定義する、ＨＦＲ・ブラーコントロール・デスクリプタ（HFR_blur_control descriptor）を挿入する。静的な運用で十分な場合には、これで充分である。
【００７０】
あるいは、番組単位でブラーコントロール情報がわかれば充分な場合、ＨＦＲ・ブラーコントロール・デスクリプタを、イベント・インフォメーション・テーブル（ＥＩＴ）の配下に挿入することも考えられる。
【００７１】
図１３は、ＨＦＲ・ブラーコントロール・デスクリプタの構造例(Syntax)を示している。「descriptor_tag」の８ビットフィールドは、デスクリプタタイプを示す。ここでは、ＨＦＲ・ブラーコントロール・デスクリプタであることを示す。「descriptor_length」の８ビットフィールドは、デスクリプタの長さ（サイズ）を示し、デスクリプタの長さとして、以降のバイト数を示す。なお、詳細説明は省略するが、このＨＦＲ・ブラーコントロール・デスクリプタの内容は、上述のＨＦＲ・ブラーコントロール・ＳＥＩメッセージ（図１０参照）の内容と同じである。
【００７２】
[トランスポートストリームＴＳの構成]
図１４は、トランスポートストリームＴＳの構成例を示している。この構成例では、ＰＩＤ１で識別されるビデオストリームのＰＥＳパケット「video PES1」が存在する。アクセスユニットに、ＨＦＲ・ブラーコントロール・ＳＥＩメッセージ（HFR_blur_control SEI message）が挿入されている。
【００７３】
また、トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（Program Map Table）が含まれている。ＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。
【００７４】
ＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、ビデオエレメンタリ・ループ（Video ES loop）が存在する。このビデオエレメンタリ・ループには、上述の１つのビデオエレメンタリストリームに対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのビデオエレメンタリストリームに関連する情報を記述するデスクリプタも配置される。
【００７５】
デスクリプタの一つとして、ＨＦＲ・インフォメーション・デスクリプタ（HFR_information descriptor）が配置される。このデスクリプタは、上述したように、ビデオストリームに、ＨＦＲ・ブラーコントロール・ＳＥＩメッセージの挿入があることを示すものである。
【００７６】
また、デスクリプタの一つとして、ＨＦＲ・ブラーコントロール・デスクリプタ（HFR_blur_control_ descriptor）が挿入されることもある。このデスクリプタは、ＨＦＲ・ブラーコントロール・ＳＥＩメッセージの代わりに、あるいはＨＦＲ・ブラーコントロール・ＳＥＩメッセージと共に、挿入される。
【００７７】
また、トランスポートストリームＴＳには、イベント（番組）単位の管理を行うＳＩ（Serviced Information）としてのＥＩＴ(Event Information Table)が含まれている。このＥＩＴに、ＨＦＲ・ブラーコントロール・デスクリプタ（HFR_blur_control_ descriptor）が挿入されることもある。このデスクリプタは、ＨＦＲ・ブラーコントロール・ＳＥＩメッセージの代わりに、あるいはＨＦＲ・ブラーコントロール・ＳＥＩメッセージと共に、挿入される。
【００７８】
「受信装置の構成」
図１５は、受信装置２００の構成例を示している。この受信装置２００は、ＣＰＵ（Central Processing Unit）２０１と、ユーザ操作部２０１ａと、受信部２０２と、デマルチプレクサ２０３と、デコーダ２０４と、表示処理部２０５と、表示部２０６を有している。ＣＰＵ２０１は、制御部を構成し、受信装置２００の各部の動作を制御する。
【００７９】
受信部２０２は、送信装置１００から放送波、あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳを受信する。このトランスポートストリームＴＳには、例えば１２０Ｈｚ、２４０Ｈｚあるいは４８０Ｈｚ等のハイフレームレートの動画像データＶＤに符号化処理が施されて得られたビデオストリームが含まれている。
【００８０】
デマルチプレクサ２０３は、トランスポートストリームＴＳから、ＰＩＤのフィルタリングによってビデオストリームを取り出し、デコーダ２０４に供給する。また、デマルチプレクサ２０３は、トランスポートストリームＴＳのレイヤに含まれるセクション情報を抽出し、ＣＰＵ２０１に送る。この場合、ＨＦＲ・インフォメーション・デスクリプタ（図１２（ａ）参照）、ＨＦＲ・ブラーコントロール・デスクリプタ（図１３参照）も抽出される。
【００８１】
デコーダ２０４は、デマルチプレクサ２０３から供給されるビデオストリームに復号化処理を施して、ハイフレームレートの動画像データＶＤを出力する。また、デコーダ２０４は、ビデオストリームを構成する各アクセスユニットに挿入されているパラメータセットやＳＥＩメッセージを抽出し、ＣＰＵ２０１に送る。この場合、ＨＦＲ・ブラーコントロール・ＳＥＩメッセージ（図１０参照）も抽出される。
【００８２】
表示処理部２０５は、表示部２０６の表示能力に応じて、デコーダ２０４で得られた動画像データに対して適宜フレームレートの変換などの処理を行って表示画像データＶＤｄを得る。例えば、動画像データＤＶのフレームレートが１２０Ｈｚであって、表示部２０６で１２０Ｈｚ表示を行う場合には、フレームレート変換をしない。また、例えば、動画像データＤＶのフレームレートが１２０Ｈｚであって、表示部２０６で６０Ｈｚ表示を行う場合には、フレームレート変換をする。
【００８３】
表示処理部２０５は、表示画像データＶＤｄの各フレームの画像データを得る際に、現在のフレームの画像データの他に周辺のフレームの画像データを使用し、ＨＦＲ・ブラーコントロール・ＳＥＩメッセージやＨＦＲ・ブラーコントロール・デスクリプタに含まれるブラーコントロール情報（各フレームの重み付け係数）に基づいて、ブラー付与処理をする。
【００８４】
ここで、送信側から複数のブラーコントロール情報が送られてきている場合、どのブラーコントロール情報を使用するかは、動画像データＤＶのフレームレートや表示フレームレート等に基づいてＣＰＵ２０１が自動的に選択し、あるいはユーザが任意に選択する。なお、ＣＰＵ２０１は、ユーザの選択の便宜のために、複数のブラーコントロール情報に係る情報を示すＵＩ画面を表示部２０６に表示してもよい。複数のブラーコントロール情報に係る情報としては、動画像データＤＶのフレームレートや表示フレームレートがどのような場合に適するものであるとか。観察者にどのような画質を知覚させるものであるか等の選択に参考となる情報が考えられる。
【００８５】
表示画像データＶＤｄのあるフレームの信号（画像データ）は、動画像データＤＶの当該フレームおよびその周辺のフレームの信号を用いて算出され、ブラーが付与されたものとなる。この場合、動画像データＤＶのあるフレームおよびその周辺のフレームの信号にそれぞれ対応する重み付け係数が掛け算されて積算され、その積算結果が重み付け係数の積算結果で除算されて表示画像データＶＤｄのあるフレームの信号が得られる。
【００８６】
図１６は、表示画像データＶＤｄのあるフレームとしてのフレーム「０」の信号を得るための処理の一例を示している。図１６（ａ）は、ハイフレームレート、例えば１２０Ｈｚのフレームレートの動画像データＤＶにおいて、フレーム進行に伴う所定ピクセルの信号レベルの変化を示している。なお、信号レベルは、最大値を１として示している。
【００８７】
図１６（ｂ）は、上述の図６（ａ）に示した、「−３」〜「３」の各フレームを使用するブラーコントロール情報（各フレームの重み付け係数）を示している。図１６（ｃ）は、動画像データＤＶの「−３」〜「３」の各フレームの信号Ｓ(-3)〜Ｓ(3)にそれぞれ対応する重み付け係数ｆ(-3)〜ｆ(3)を掛け算した結果を示している。表示画像データＶＤｄの「０」のフレームの信号は、図１６（ｄ）に示すように、「−３」〜「３」の各フレームの掛け算結果の積算値が「−３」〜「３」の各フレームの重み付け係数の積算値で割ったものとなる。
【００８８】
図１７は、表示画像データＶＤｄのあるフレームとしてのフレーム「０」の信号を得るための処理の一例を示している。図１７（ａ）は、図１６（ａ）で示したものと同じである。図１７（ｂ）は、上述の図６（ｂ）に示した、「−３」〜「３」の各フレームを使用するブラーコントロール情報（各フレームの重み付け係数）を示している。
【００８９】
図１７（ｃ）は、動画像データＤＶの「−３」〜「３」の各フレームの信号Ｓ(-3)〜Ｓ(3)にそれぞれ対応する重み付け係数ｆ(-3)〜ｆ(3)を掛け算した結果を示している。表示画像データＶＤｄの「０」のフレームの信号は、図１７（ｄ）に示すように、「−３」〜「３」の各フレームの掛け算結果の積算値が「−３」〜「３」の各フレームの重み付け係数の積算値で割ったものとなる。
【００９０】
図１８は、表示画像データＶＤｄのあるフレームとしてのフレーム「０」の信号を得るための処理の一例を示している。図１８（ａ）は、図１６（ａ）で示したものと同じである。図１８（ｂ）は、上述の図６（ｃ）に示した、「−３」〜「０」の各フレームを使用するブラーコントロール情報（各フレームの重み付け係数）を示している。
【００９１】
図１８（ｃ）は、動画像データＤＶの「−３」〜「０」の各フレームの信号Ｓ(-3)〜Ｓ(0)にそれぞれ対応する重み付け係数ｆ(-3)〜ｆ(0)を掛け算した結果を示している。表示画像データＶＤｄの「０」のフレームの信号は、図１８（ｄ）に示すように、「−３」〜「０」の各フレームの掛け算結果の積算値が「−３」〜「０」の各フレームの重み付け係数の積算値で割ったものとなる。
【００９２】
図１９は、表示画像データＶＤｄのあるフレームとしてのフレーム「０」の信号を得るための処理の一例を示している。図１９（ａ）は、図１６（ａ）で示したものと同じである。図１９（ｂ）は、上述の図６（ｄ）に示した、「−３」〜「０」の各フレームを使用するブラーコントロール情報（各フレームの重み付け係数）を示している。
【００９３】
図１９（ｃ）は、動画像データＤＶの「−３」〜「０」の各フレームの信号Ｓ(-3)〜Ｓ(0)にそれぞれ対応する重み付け係数ｆ(-3)〜ｆ(0)を掛け算した結果を示している。表示画像データＶＤｄの「０」のフレームの信号は、図１９（ｄ）に示すように、「−３」〜「０」の各フレームの掛け算結果の積算値が「−３」〜「０」の各フレームの重み付け係数の積算値で割ったものとなる。
【００９４】
図１５に戻って、表示部２０６は、表示処理部２０５で得られた表示画像データによる動画像を表示する。この表示部２０６は、例えば、ＬＣＤ(Liquid Crystal Display)、有機ＥＬ（Organic Electro-Luminescence）パネル等で構成されている。なお、この表示部２０６は、受信装置２００に接続される外部機器であってもよい。
【００９５】
図１５に示す受信装置２００の動作を簡単に説明する。受信部２０２では、送信装置１００から放送波、あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳを受信される。このトランスポートストリームＴＳは、デマルチプレクサ２０３に送られる。デマルチプレクサ２０３では、トランスポートストリームＴＳから、ＰＩＤのフィルタリングによって、復号化処理をすべきビデオストリームが取り出される。
【００９６】
また、デマルチプレクサ２０３では、トランスポートストリームＴＳのレイヤに含まれるセクション情報が抽出されて、ＣＰＵ２０１に送られる。この場合、ＨＦＲ・インフォメーション・デスクリプタ（図１２（ａ）参照）、さらには、存在する場合には、ＨＦＲ・ブラーコントロール・デスクリプタ（図１３参照）も抽出される。
【００９７】
ＣＰＵ２０１では、ＨＦＲ・インフォメーション・デスクリプタから、ビデオストリーム
にブラーコントロール情報の挿入があることが認識される。また、ＣＰＵ２０１では、ＨＦＲ・ブラーコントロール・デスクリプタからブラーコントロール情報が取得される。
【００９８】
デマルチプレクサ２０３で取り出されたビデオストリームは、デコーダ２０４に供給される。デコーダ２０４では、ビデオストリームに復号化処理が施されて、ハイフレームレートの動画像データＶＤが得られる。
【００９９】
また、デコーダ２０４では、ビデオストリームを構成する各アクセスユニットに挿入されているパラメータセットやＳＥＩメッセージが抽出され、ＣＰＵ２０１に送られる。この場合、ＨＦＲ・ブラーコントロール・ＳＥＩメッセージ（図１０参照）も抽出される。ＣＰＵ２０１では、ＨＦＲ・ブラーコントロール・ＳＥＩメッセージからブラーコントロール情報が取得される。
【０１００】
デコーダ２０４で得られたハイフレームレートの動画像データＤＶは、表示処理部２０５に供給される。表示処理部２０５では、表示部２０６の表示能力に応じて、デコーダ２０４で得られた動画像データＤＶに対して適宜フレームレート変換などの処理が行われて、表示画像データＶＤｄが得られる。
【０１０１】
そして、表示処理部２０５では、表示画像データＶＤｄの各フレームの画像データを得る際に、現在のフレームの画像データの他に周辺のフレームの画像データが使用され、ブラーコントロール情報（各フレームの重み付け係数）に基づいて、ブラー付与処理がされる（図１６〜図１９参照）。
【０１０２】
ここで、送信側から複数のブラーコントロール情報が送られてきている場合、どのブラーコントロール情報を使用するかは、動画像データＤＶのフレームレートや表示フレームレート等に基づいてＣＰＵ２０１により自動的に選択される、あるいはユーザ操作により選択される。このユーザ操作のために、例えば、複数のブラーコントロール情報を示すＵＩ画面が表示部２０６に表示される。
【０１０３】
表示処理部２０５から出力された表示画像データＤＶｄは、表示部２０６に供給される。そして、表示部２０６に、表示画像データＤＶｄによる動画像が表示される。
【０１０４】
以上説明したように、図１に示す送受信システム１０において、送信装置１００では、コンテナ（トランスポートストリームＴＳ）のレイヤおよび/またはビデオストリームのレイヤに、ブラーをコントロールするためのブラーコントロール情報が挿入される。そのため、受信側では、このブラーコントロール情報に基づいてブラーをコントロールでき、適切な画質の画像を容易に提示できる。
【０１０５】
図１に示す送受信システム１０において、受信装置１００では、コンテナ（トランスポートストリームＴＳ）のレイヤおよび/またはビデオストリームのレイヤに挿入されているブラーコントロール情報に基づいてブラー付与処理が行われる。そのため、適切な画質の画像を容易に提示できる。
【０１０６】
＜２．変形例＞
なお、上述実施の形態においては、ハイフレームレートの動画像データからフレームレートを下げた（落とした）表示画像データを得る際にブラーコントロール情報を用いたブラ―付与処理を行って適切な画質を得る例を示したが、ハイフレームレートの動画像データからフレームレートを上げた表示画像データを得る際にブラーコントロール情報を用いたブラ―付与処理を行って適切な画質を得ることも同様に考えられる。
【０１０７】
また、上述実施の形態においては、送信側でブラ―コントロール情報の付加がある例を示したが、送信側でブラ―コントロール情報の付加がない場合に、受信側において予めメモリ等で構成される保持部に保持されているブラ―コントロール情報を用いることも考えられる。この場合、例えば、ネットからブラ―コントロール情報を取得して保持部に保持しておくか、あるいはリムーバブルな記録媒体から取得して保持部に保持しておくことが考えられる。そして、この場合、このリムーバブルな記録媒体が直接保持部を構成することも考えられる。
【０１０８】
また、送信側でブラ―コントロール情報の付加がある場合に、受信側においてそのブラ―コントロール情報のアップデート（修正）を可能とすることも考えられる。この場合に、アップデートするブラ―コントロール情報をネットから取得すること、あるいはリムーバブルな記録媒体から取得することも考えられる。
【０１０９】
また、上述実施の形態においては、受信装置２００が、ブラーコントロール情報が付加されたハイフレームレートの動画像データを放送あるいはネットから得る例を示した。しかし、受信装置２００の部分では、ブラーコントロール情報が付加されたハイフレームレートの動画像データをＵＳＢメモリなどのリムーバブルな記録媒体から得るようにすることも考えられる。
【０１１０】
また、上述実施例においては、送信側から送られてくるハイフレームレートの動画像データに対して、それに付加されて送信側から送られてくるブラ―コントロール情報を用いてブラ―付与処理を行う例を示した。しかし、送信側から送られてくるハイフレームレートの動画像データをコンテンツとして半導体メモリ等で構成される記録部に記録して、適宜なタイミングで再生して利用する記録装置も考えられる。例えば、受信装置２００が、当該記録部を備えていてもよい。
【０１１１】
その場合、送信側からブラ―コントロール情報が送られてくる場合には、ハイフレームレートの動画像データと共にそれに関連付けされてブラ―コントロール情報も記録される。そして、このブラ―コントロール情報については、適宜修正も可能とされる。また、送信側からブラ―コントロール情報が送られてこない場合、コンテンツ編集時に、ブラ―コントロール情報を生成し、あるいはネットから取得して、ハイフレームレートの動画像データと共にそれに関連付けされて記録部に記録することも考えられる。
【０１１２】
また、上述実施の形態においては、ハイフレームレートの動画像データを符号化して得られたビデオストリームを含むコンテナを送信する際に、コンテナのレイヤおよび/またはビデオストリームのレイヤに、ブラーをコントロールするためのブラーコントロール情報を挿入する例を示した。しかし、ハイフレームレートの動画像データを符号化して得られたビデオストリームを半導体メモリ等の所定の記録媒体にコンテンツとして記録して利用することも考えられる。その際には、ハイフレームレートの動画像データのブラーをコントロールするブラーコントロール情報を生成し、当該ブラーコントロール情報を、ビデオストリームのレイヤに挿入するか、あるいはこのビデオストリームを含むコンテナの状態で記録媒体に記録しておく場合にはコンテナのレイヤに挿入して記録することも考えられる。
【０１１３】
また、上述では、送信装置１００および受信装置２００により構成される送受信システム１０を示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。例えば、図２０に示す送受信システム１０Ａのように、受信装置２００の部分がデジタルインタフェース、例えば、ＨＤＭＩ（High-Definition Multimedia Interface）のデジタルインタフェースで接続されたセットトップボックス（ＳＴＢ）２００Ａおよびモニタ２００Ｂからなる構成であってもよい。なお、「ＨＤＭＩ」は、登録商標である。
【０１１４】
この場合、セットトップボックス２００Ａには、表示処理部２０５まで含まれる場合、あるいはデコーダ２０４まで含まれる場合などが考えられる。表示処理部２０５以降がモニタ２００Ｂに含まれる場合、セットトップボックス２００Ａからモニタ２００Ｂには、非圧縮の動画像データＤＶと共にブラーコントロール情報が送信される。セットトップボックス２００Ａは、例えば、ブラーコントロール情報を、動画像データＤＶのブランキング期間に挿入することで送信する。例えば、“Video displaying InfoFrame”のパケットを用いて、ブラーコントロール情報を、モニタ２００Ｂに送る。
【０１１５】
また、図２１に示すように、図２０におけるモニタ２００Ｂの部分をＨＭＤ（ヘッドマウントディスプレイ）装置２００Ｃに置き換えた送受信システム１０Ｂも考えられる。図２２は、ＨＭＤ装置２００Ｃの構成例を示している。
【０１１６】
ＨＭＤ装置２００Ｃは、ＣＰＵ２５１と、ユーザ操作部２５２と、ＨＤＭＩ受信部２５３と、画像処理部２５４と、表示処理部２５５と、左眼用表示部２５６と、右眼用表示部２５７を有している。ＣＰＵ２５１は、制御部を構成し、ＨＭＤ装置２００Ｃの各部の動作を制御する。ユーザ操作部２５２は、ユーザが種々の操作を行うためのキー、ボタン、タッチパネル、リモコンなどである。
【０１１７】
ＨＤＭＩ受信部２５３は、ＨＤＭＩ規格に準拠したＨＤＭＩ受信部の構成とされており、セットトップボックス２００Ａから表示画像データＤＶｄを受信する。画像処理部２５４は、ＨＤＭＩ受信部２５３から入力された表示画像データＤＶｄに対し、スケーリング、ノイズ・リダクションなどの信号処理をする。
【０１１８】
表示制御部２５５は、画像処理部２５４で得られた画像データを左眼用表示部２５６および右眼用表示部２５７に表示出力する。左眼用表示部２５６および右眼用表示部２５７には、それぞれ映像を拡大するレンズ・ブロック（図２２には図示しない）が装備されている。左右のレンズ・ブロックは、それぞれ複数の光学レンズの組み合わせからなり、表示パネルに表示された画像を光学処理する。
【０１１９】
左眼用表示部２５６および右眼用表示部２５７の表示パネルに表示された画像は、レンズ・ブロックを通過する際に拡大され、ユーザの網膜に大きな虚像を結像する。そして、観察するユーザの脳内では左眼用画像と右眼用画像が融像される。左眼用表示部２５６および右眼用表示部２５７は、例えば液晶ディスプレイや、有機ＥＬ素子で構成されている。
【０１２０】
なお、上述では、ＨＤＭＩ受信部２５３でセットトップボックス２００Ａから表示画像データＤＶｄを受信するように説明したが、このＨＤＭＩ受信部２５３でセットトップボックス２００Ａからハイフレームレートの動画像データＤＶとブラーコントロール情報を受信することも考えられる。
【０１２１】
この場合には、画像処理部２５４において、左眼用表示部２５６および右眼用表示部２５７の表示パネルの表示能力に応じて、動画像データＤＶに対して適宜フレームレート変換などの処理が行われて、表示画像データＶＤｄが得られる。
【０１２２】
また、この画像処理部２５４において、図１５に示す受信装置２００の表示処理部２０５と同様に、表示画像データＶＤｄの各フレームの画像データを得る際に、現在のフレームの画像データの他に周辺のフレームの画像データが使用され、ブラーコントロール情報（各フレームの重み付け係数）に基づいて、ブラー付与処理がされる（図１６〜図１９参照）。
【０１２３】
このように、ＨＭＤ装置２００Ｃにおいても、ブラーコントロール情報に基づいてブラー付与処理が施された表示画像データＶＤｄによる画像表示がなされるので、適切な画質の画像を容易に提示できる。
【０１２４】
なお、セットトップボックス２００Ａからモニタ２００ＢやＨＭＤ装置２００Ｃへのブラーコントロール情報の送信を、“Video displaying InfoFrame”のパケットを用いる代わりに、その他の”InfoFrame”のパケット、例えば“Vender Specific InfoFrame”のパケットなどを用いることも考えられる。また、ブラーコントロール情報の送信を、ＣＥＣラインやＨＥＣの通信ラインを介して送信することも考えられる。
【０１２５】
また、上述実施の形態においては、コンテナがトランスポートストリーム（ＭＰＥＧ−２  ＴＳ）である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、ＭＰ４やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ−２  ＴＳ）あるいはＭＭＴ（MPEG Media Transport）、インターネット配信で使用されているＭＰ４などの種々のフォーマットのコンテナが該当する。
【０１２６】
また、本技術は、以下のような構成を取ることもできる。
（１）ハイフレームレートの動画像データを符号化して得られたビデオストリームを生成する符号化部と、
上記ビデオストリームを含むコンテナを送信する送信部と、
上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤに、ブラーをコントロールするためのブラーコントロール情報を挿入する情報挿入部を備える
送信装置。
（２）上記ブラーコントロール情報は、現在フレームの画像データに周辺フレームの画像データを加算するブラー付与処理における各フレームの重み付け係数を与える
前記（１）に記載の送信装置。
（３）上記周辺フレームには、過去および未来のフレームが含まれる
前記（２）に記載の送信装置。
（４）上記周辺フレームには、過去のフレームだけが含まれる
前記（２）に記載の送信装置。
（５）上記周辺フレームの重み付け係数には負の係数が含まれる
前記（２）から（４）のいずれかに記載の送信装置。
（６）上記ハイフレームレートの動画像データは、１２０Ｈｚ、２４０Ｈｚあるいは４８０Ｈｚのフレームレートの動画像データである
前記（１）から（５）のいずれかに記載の送信装置。
（７）上記情報挿入部は、上記ブラーコントロール情報を含むＳＥＩメッセージを上記ビデオストリームのレイヤに挿入する
前記（１）から（６）のいずれかに記載の送信装置。
（８）上記情報挿入部は、上記ビデオストリームのレイヤに上記ブラーコントロール情報を挿入するとき、該挿入があることを示す識別情報を上記コンテナのレイヤにさらに挿入する
前記（１）から（７）のいずれかに記載の送信装置。
（９）上記情報挿入部は、上記ブラーコントロール情報を含むデスクリプタを上記コンテナのレイヤに挿入する
前記（１）から（８）のいずれかに記載の送信装置。
（１０）上記コンテナは、ＭＰＥＧ２トランスポートストリームであり、
上記デスクリプタは、プログラム・マップ・テーブル、あるいはイベント・インフォメーション・テーブルに挿入される
前記（９）に記載の送信装置。
（１１）上記情報挿入部は、上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤに、複数種類の上記ブラーコントロール情報を挿入する
前記（１）から（１０）のいずれかに記載の送信装置。
（１２）画像符号化部が、ハイフレームレートの動画像データを符号化して得られたビデオストリームを生成する画像符号化ステップと、
送信部が、上記ビデオストリームを含むコンテナを送信する送信ステップと、
情報挿入部が、上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤに、ブラーをコントロールするためのブラーコントロール情報を挿入する情報挿入ステップを有する
送信方法。
（１３）ハイフレームレートの動画像データを符号化して得られたビデオストリームを含むコンテナを受信する受信部を備え、
上記ビデオストリームを復号化して上記ハイフレームレートの動画像データを得る復号化部と、
上記得られたハイフレームレートの動画像データにブラーコントロール情報を用いたブラー付与処理を行う処理部をさらに備える
受信装置。
（１４）上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤに、上記ブラーコントロール情報が挿入されており、
上記処理部は、上記挿入されているブラーコントロール情報を用いるか、あるいは該ブラーコントロール情報を修正して用いる
前記（１３）に記載の受信装置。
（１５）上記ブラ―コントロール情報を保持する保持部をさらに備え、
上記処理部は、上記保持部から上記ブラーコントロール情報を取得して用いる
前記（１３）に記載の受信装置。
（１６）上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤに、複数種類の上記ブラーコントロール情報が挿入されており、
上記処理部は、上記複数種類のブラーコントロール情報から表示フレームレートに応じた、あるいは所望画質に応じた種類のブラーコントロール情報を選択して用いる
前記（１３）に記載の受信装置。
（１７）上記処理部は、上記ハイフレームレートの動画像データからフレームレートを落とした表示画像データを得る際に、ブラー付与処理を行う
前記（１３）から（１６）のいずれかに記載の受信装置。
（１８）受信部が、ハイフレームレートの動画像データを符号化して得られたビデオストリームを含むコンテナを受信する受信ステップを有し、
上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤに、ブラーをコントロールするためのブラーコントロール情報が挿入されており、
復号化部が、上記ビデオストリームを復号化して上記ハイフレームレートの動画像データを得る復号化ステップと、
処理部が、上記得られたハイフレームレートの動画像データに上記ブラーコントロール情報を用いたブラー付与処理を行う処理ステップをさらに有する
受信方法。
（１９）ハイフレームレートの動画像データを符号化して得られたビデオストリームを生成する符号化部と、
上記ハイフレームレートの動画像データのブラーをコントロールするためのブラーコントロール情報を生成する生成部と、
上記ビデオストリームのレイヤおよび/または上記ビデオストリームを含むコンテナのレイヤに挿入された上記ブラーコントロール情報および上記ビデオストリームを記録する記録部を備える
記録装置。
（２０）符号化部が、ハイフレームレートの動画像データを符号化して得られたビデオストリームを生成する符号化ステップと、
生成部が、上記ハイフレームレートの動画像データのブラーをコントロールするためのブラーコントロール情報を生成する生成ステップと、
記録部が、上記ビデオストリームのレイヤおよび/または上記ビデオストリームを含むコンテナのレイヤに挿入された上記ブラーコントロール情報および上記ビデオストリームを記録する記録ステップを有する
記録方法。
【符号の説明】
【０１２７】
１０，１０Ａ，１０Ｂ・・・送受信システム
１００・・・送信装置
１０１・・・ＣＰＵ
１０２・・・エンコーダ
１０３・・・マルチプレクサ
１０４・・・送信部
２００・・・受信装置
２００Ａ・・・セットトップボックス
２００Ｂ・・・モニタ
２００Ｃ・・・ＨＭＤ装置
２０１・・・ＣＰＵ
２０１ａ・・・ユーザ操作部
２０２・・・受信部
２０３・・・デマルチプレクサ
２０４・・・デコーダ
２０５・・・表示処理部
２０６・・・表示部
２５１・・・ＣＰＵ
２５２・・・ユーザ操作部
２５３・・・ＨＤＭＩ受信部
２５４・・・画像処理部
２５５・・・表示処理部
２５６・・・左眼用表示部
２５７・・・右眼用表示部
【図１】
2018194040.tif 000003
【図２】
2018194040.tif 000004
【図３】
2018194040.tif 000005
【図４】
2018194040.tif 000006
【図５】
2018194040.tif 000007
【図６】
2018194040.tif 000008
【図７】
2018194040.tif 000009
【図８】
2018194040.tif 000010
【図９】
2018194040.tif 000011
【図１０】
2018194040.tif 000012
【図１１】
2018194040.tif 000013
【図１２】
2018194040.tif 000014
【図１３】
2018194040.tif 000015
【図１４】
2018194040.tif 000016
【図１５】
2018194040.tif 000017
【図１６】
2018194040.tif 000018
【図１７】
2018194040.tif 000019
【図１８】
2018194040.tif 000020
【図１９】
2018194040.tif 000021
【図２０】
2018194040.tif 000022
【図２１】
2018194040.tif 000023
【図２２】
2018194040.tif 000024
【国際調査報告】
2018194040.tif 000025
2018194040.tif 000026