(57)【要約】  受信側で字幕の輝度レベル調整を良好に行い得るようにする。【解決手段】ビデオエンコーダで画像データを持つビデオストリームを生成する。サブタイトルエンコーダで字幕情報を持つサブタイトルストリームを生成する。調整情報挿入部でビデオストリームおよび/またはサブタイトルストリームに、字幕の輝度レベルを調整するための輝度レベル調整情報を挿入する。送信部でビデオストリームとサブタイトルストリームを含む所定フォーマットのコンテナを送信する。
2016125691.tif 000002
【特許請求の範囲】
【請求項１】
画像データを持つビデオストリームを生成するビデオエンコーダと、
字幕情報を持つサブタイトルストリームを生成するサブタイトルエンコーダと、
上記ビデオストリームおよび/または上記サブタイトルストリームに、字幕の輝度レベルを調整するための輝度レベル調整情報を挿入する調整情報挿入部と、
上記ビデオストリームと上記サブタイトルストリームを含む所定フォーマットのコンテナを送信する送信部を備える
送信装置。
【請求項２】
上記輝度レベル調整情報は、画面全体に対応した輝度レベル調整情報および/または画面を所定数に分割して得られた各分割領域に対応した輝度レベル調整情報である
請求項１に記載の送信装置。
【請求項３】
上記ビデオストリームに挿入される輝度レベル調整情報には、上記画像データに基づいて生成された輝度最大値、輝度最小値、輝度平均値が含まれる
請求項２に記載の送信装置。
【請求項４】
上記ビデオストリームに挿入される輝度レベル調整情報には、電光変換特性に基づいて設定された高輝度の閾値、低輝度の閾値、平均輝度の閾値がさらに含まれる
請求項３に記載の送信装置。
【請求項５】
上記サブタイトルストリームに挿入される輝度レベル調整情報には、字幕輝度範囲制限情報が含まれる
請求項２に記載の送信装置。
【請求項６】
上記サブタイトルストリームに挿入される輝度レベル調整情報には、電光変換特性に基づいて設定された高輝度の閾値、低輝度の閾値、平均輝度の閾値がさらに含まれる
請求項５に記載の送信装置。
【請求項７】
上記サブタイトルストリームに挿入される輝度レベル調整情報には、色空間情報がさらに含まれる
請求項５に記載の送信装置。
【請求項８】
上記サブタイトルエンコーダは、ＴＴＭＬの字幕のテキスト情報に基づいて上記サブタイトルストリームを生成し、
上記調整情報挿入部は、ＴＴＭＬ構造のヘッダに存在するメタデータの要素を利用して上記輝度レベル調整情報を挿入する
請求項１に記載の送信装置。
【請求項９】
上記サブタイトルエンコーダは、ＴＴＭＬの字幕のテキスト情報に基づいて上記サブタイトルストリームを生成し、
上記調整情報挿入部は、ＴＴＭＬ構造のヘッダに存在するスタイリング・エクステンションの要素を利用して上記輝度レベル調整情報を挿入する
請求項１に記載の送信装置。
【請求項１０】
上記サブタイトルエンコーダは、セグメントを構成要素とする上記サブタイトルストリームを生成し、
上記調整情報挿入部は、上記サブタイトルストリームに、上記輝度レベル調整情報を含むセグメントを挿入する
請求項１に記載の送信装置。
【請求項１１】
上記ビデオストリームに上記輝度レベル調整情報の挿入があることを示す識別情報を上記コンテナに挿入する識別情報挿入部をさらに備える
請求項１に記載の送信装置。
【請求項１２】
上記サブタイトルストリームに上記輝度レベル調整情報の挿入があることを示す識別情報を上記コンテナに挿入する識別情報挿入部をさらに備える
請求項１に記載の送信装置。
【請求項１３】
上記識別情報には、上記輝度レベル調整情報の上記サブタイトルストリームにおける挿入位置を示す情報が付加される
請求項１２に記載の送信装置。
【請求項１４】
画像データを含むビデオストリームを生成するビデオエンコードステップと、
字幕データを含むサブタイトルストリームを生成するサブタイトルエンコードステップと、
上記ビデオストリームおよび/または上記サブタイトルストリームに、字幕の輝度レベルを調整するための輝度レベル調整情報を挿入する調整情報挿入ステップと、
送信部により、上記ビデオストリームと上記サブタイトルストリームを含む所定フォーマットのコンテナを送信する送信ステップを有する
送信方法。
【請求項１５】
画像データを持つビデオストリームと字幕情報を持つサブタイトルストリームを含む所定フォーマットのコンテナを受信する受信部と、
上記ビデオストリームにデコード処理をして画像データを得るビデオデコード部と、
上記サブタイトルストリームにデコード処理をして字幕のビットマップデータを得るサブタイトルデコード部と、
上記ビットマップデータに、輝度レベル調整情報に基づいて、輝度レベル調整処理を行う輝度レベル調整部と、
上記ビデオデコード部で得られた画像データに上記輝度レベル調整部で得られた輝度レベル調整後のビットマップデータを重畳するビデオ重畳部を備える
受信装置。
【請求項１６】
上記輝度レベル調整部は、上記ビデオストリームおよび/または上記サブタイトルストリームに挿入されている上記輝度レベル調整情報を用いて輝度レベル調整を行う
請求項１５に記載の受信装置。
【請求項１７】
上記輝度レベル調整情報を生成する輝度レベル調整情報生成部をさらに備え、
上記輝度レベル調整部は、上記輝度レベル調整情報生成部で生成された上記輝度レベル調整情報を用いて輝度レベル調整を行う
請求項１５に記載の受信装置。
【請求項１８】
受信部により、画像データを持つビデオストリームと字幕情報を持つサブタイトルストリームを含む所定フォーマットのコンテナを受信する受信ステップと、
上記ビデオストリームにデコード処理をして画像データを得るビデオデコードステップと、
上記サブタイトルストリームにデコード処理をして字幕のビットマップデータを得るサブタイトルデコードステップと、
上記ビットマップデータに、輝度レベル調整情報に基づいて、輝度レベル調整処理を行う輝度レベル調整ステップと、
上記ビデオデコードステップで得られた画像データに上記輝度レベル調整ステップで得られた輝度レベル調整後のビットマップデータを重畳するビデオ重畳ステップを有する
受信方法。
【請求項１９】
ハイダイナミックレンジ画像データにハイダイナミックレンジ光電変換を行って得られた伝送ビデオデータを含むビデオストリームを所定フォーマットのコンテナで送信する送信部と、
上記ビデオストリームがハイダイナミックレンジに対応していることを示す識別情報を上記コンテナに挿入する識別情報挿入部を備える
送信装置。
【請求項２０】
画像データを含むビデオストリームと字幕のテキスト情報を持つサブタイトルストリームを所定フォーマットのコンテナで送信する送信部と、
字幕がテキストコードで伝送されることを示す識別情報を上記コンテナに挿入する識別情報挿入部を備える
送信装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、送信装置、送信方法、受信装置および受信方法に関し、詳しくは、画像データと共に字幕情報を送信する送信装置等に関する。
【背景技術】
【０００２】
従来、例えば、ＤＶＢ（Digital Video Broadcasting）の放送などでは、字幕情報をビットマップデータで送信する運用が行われている。近時、サブタイトルの情報をテキストの文字コードで、つまりテキストベースで送信することが提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−１６９８８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
例えば、字幕を重畳する画像（背景画像）がコントラスト比の非常に大きなＨＤＲ（High Dynamic Range）画像である場合、視覚疲労の抑制などの観点から字幕の輝度レベルを画像内容に応じて適切に調整することが必要となる。【０００５】
本技術の目的は、受信側で字幕の輝度レベル調整を良好に行い得るようにすることにある。
【課題を解決するための手段】
【０００６】
本技術の概念は、
画像データを持つビデオストリームを生成するビデオエンコーダと、
字幕情報を持つサブタイトルストリームを生成するサブタイトルエンコーダと、
上記ビデオストリームおよび/または上記サブタイトルストリームに、字幕の輝度レベルを調整するための輝度レベル調整情報を挿入する調整情報挿入部と、
上記ビデオストリームと上記サブタイトルストリームを含む所定フォーマットのコンテナを送信する送信部を備える
送信装置にある。【０００７】
本技術において、ビデオエンコーダにより、画像データを持つビデオストリームが生成される。例えば、ハイダイナミックレンジ画像データにハイダイナミックレンジ光電変換を行って得られた伝送ビデオデータを含むビデオストリームが生成される。サブタイトルエンコーダにより、字幕情報を持つサブタイトルストリームが生成される。例えば、字幕のテキスト情報を持つセグメントを構成要素とするサブタイトルストリームが生成される。【０００８】
調整情報挿入部により、ビデオストリームおよび/またはサブタイトルストリームに、字幕の輝度レベルを調整するための輝度レベル調整情報が挿入される。例えば、輝度レベル調整情報は、画面全体に対応した輝度レベル調整情報および/または画面を所定数に分割して得られた各分割領域に対応した輝度レベル調整情報である、ようにされてもよい。【０００９】
例えば、ビデオストリームに挿入される輝度レベル調整情報には、画像データに基づいて生成された輝度最大値、輝度最小値、輝度平均値が含まれる、ようにされてもよい。この場合、例えば、ビデオストリームに挿入される輝度レベル調整情報には、電光変換特性に基づいて設定された高輝度の閾値、低輝度の閾値、平均輝度の閾値がさらに含まれる、ようにされてもよい。【００１０】
例えば、サブタイトルストリームに挿入される輝度レベル調整情報には、字幕輝度範囲制限情報が含まれる、ようにされてもよい。この場合、例えば、サブタイトルストリームに挿入される輝度レベル調整情報には、電光変換特性に基づいて設定された高輝度の閾値、低輝度の閾値、平均輝度の閾値がさらに含まれる、ようにされてもよい。また、この場合、例えば、サブタイトルストリームに挿入される輝度レベル調整情報には、色空間情報がさらに含まれる、ようにされてもよい。【００１１】
例えば、サブタイトルエンコーダは、ＴＴＭＬ構造あるいはそれに類似する構造の字幕のテキスト情報に基づいてサブタイトルストリームを生成し、調整情報挿入部は、上記該当する構造のヘッダに存在するメタデータの要素、あるいはスタイリング・エクステンションの要素を利用して輝度レベル調整情報を挿入する、ようにされてもよい。また、例えば、サブタイトルエンコーダは、セグメントを構成要素とする上記サブタイトルストリームを生成し、調整情報挿入部は、サブタイトルストリームに、輝度レベル調整情報を含むセグメントを挿入する、ようにされてもよい。【００１２】
送信部により、ビデオストリームとサブタイトルストリームを含む所定フォーマットのコンテナが送信される。例えば、コンテナは、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ−２  ＴＳ）であってもよい。また、例えば、コンテナは、インターネットの配信などで用いられるＭＰ４、あるいはそれ以外のフォーマットのコンテナであってもよい。【００１３】
このように本技術においては、ビデオストリームおよび/またはサブタイトルストリームに、字幕の輝度レベルを調整するための輝度レベル調整情報が挿入されるものである。そのため、受信側で字幕の輝度レベル調整を良好に行うことが可能となる。【００１４】
なお、本技術において、例えば、ビデオストリームに輝度レベル調整情報の挿入があることを示す識別情報をコンテナに挿入する識別情報挿入部をさらに備える、ようにされてもよい。この場合、受信側では、この識別情報によりビデオストリームに輝度レベル調整情報の挿入があることを容易に認識可能となる。【００１５】
また、本技術において、例えば、サブタイトルストリームに輝度レベル調整情報の挿入があることを示す識別情報をコンテナに挿入する識別情報挿入部をさらに備える、ようにされてもよい。この場合、例えば、識別情報には、輝度レベル調整情報のサブタイトルストリームにおける挿入位置を示す情報が付加される、ようにされてもよい。この場合、受信側では、この識別情報によりサブタイトルストリームに輝度レベル調整情報の挿入があることを容易に認識可能となる。【００１６】
また、本技術の他の概念は、
画像データを持つビデオストリームと字幕情報を持つサブタイトルストリームを含む所定フォーマットのコンテナを受信する受信部と、
上記ビデオストリームにデコード処理をして画像データを得るビデオデコード部と、
上記サブタイトルストリームにデコード処理をして字幕のビットマップデータを得るサブタイトルデコード部と、
上記ビットマップデータに、輝度レベル調整情報に基づいて、輝度レベル調整処理を行う輝度レベル調整部と、
上記ビデオデコード部で得られた画像データに上記輝度レベル調整部で得られた輝度レベル調整後のビットマップデータを重畳するビデオ重畳部を備える
受信装置にある。【００１７】
本技術において、受信部により、画像データを持つビデオストリームと字幕情報を持つサブタイトルストリームを含む所定フォーマットのコンテナが受信される。ビデオストリームには、例えば、ハイダイナミックレンジ画像データにハイダイナミックレンジ光電変換を行って得られた伝送ビデオデータが含まれている。サブタイトルストリームには、例えば、字幕情報としてビットビットマップデータ、あるいは字幕のテキスト情報が含まれている。【００１８】
ビデオデコード部により、ビデオストリームにデコード処理が施されて画像データが得られる。サブタイトルデコード部により、サブタイトルストリームにデコード処理が施されて字幕のビットマップデータが得られる。輝度レベル調整部により、ビットマップデータに、輝度レベル調整情報に基づいて、輝度レベル調整処理が施される。そして、ビデオ重畳部により、画像データに輝度レベル調整後のビットマップデータが重畳される。【００１９】
例えば、輝度レベル調整部は、ビデオストリームおよび/またはサブタイトルストリームに挿入されている輝度レベル調整情報を用いて輝度レベル調整を行う、ようにされてもよい。また、例えば、輝度レベル調整情報を生成する輝度レベル調整情報生成部をさらに備え、輝度レベル調整部は、輝度レベル調整情報生成部で生成された輝度レベル調整情報を用いて輝度レベル調整を行う、ようにされてもよい。【００２０】
このように本技術においては、画像データに重畳される字幕のビットマップデータに対して、輝度レベル調整情報に基づいて輝度レベル調整処理が施されるものである。そのため、字幕の輝度が背景画像に応じたものとすることができ、背景画像と字幕との輝度差が大きいことによる視覚疲労の抑制、背景画像の雰囲気を損なうことの抑制を図ることができる。【００２１】
また、本技術の他の概念は、
ハイダイナミックレンジ画像データにハイダイナミックレンジ光電変換を行って得られた伝送ビデオデータを含むビデオストリームを所定フォーマットのコンテナで送信する送信部と、
上記ビデオストリームがハイダイナミックレンジに対応していることを示す識別情報を上記コンテナに挿入する識別情報挿入部を備える
送信装置にある。【００２２】
本技術において、送信部により、ハイダイナミックレンジ画像データにハイダイナミックレンジ光電変換を行って得られた伝送ビデオデータを含むビデオストリームが所定フォーマットのコンテナで送信される。識別情報挿入部により、コンテナに、ビデオストリームがハイダイナミックレンジに対応していることを示す識別情報が挿入される。【００２３】
このように本技術においては、ビデオストリームがハイダイナミックレンジに対応していることを示す識別情報がコンテナに挿入されるものである。そのため、受信側では、この識別情報によりビデオストリームがハイダイナミックレンジに対応していることを容易に認識可能となる。【００２４】
また、本技術の他の概念は、
画像データを含むビデオストリームと字幕のテキスト情報を持つサブタイトルストリームを所定フォーマットのコンテナで送信する送信部と、
字幕がテキストコードで伝送されることを示す識別情報を上記コンテナに挿入する識別情報挿入部を備える
送信装置にある。【００２５】
本技術において、送信部により、画像データを含むビデオストリームと字幕のテキスト情報を持つサブタイトルストリームが所定フォーマットのコンテナで送信される。識別情報挿入部により、コンテナに、字幕がテキストコードで伝送されることを示す識別情報が挿入される。【００２６】
このように本技術においては、字幕がテキストコードで伝送されることを示す識別情報がコンテナに挿入されるものである。そのため、受信側では、この識別情報により字幕がテキストコードで伝送されることを容易に認識可能となる。
【発明の効果】
【００２７】
本技術によれば、受信側で字幕の輝度レベル調整を良好に行い得る。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
【図面の簡単な説明】
【００２８】
【図１】実施の形態としての送受信システムの構成例を示すブロック図である。
【図２】字幕の輝度レベル調整の概要を説明するための図である。
【図３】送信側から伝送する輝度レベル調整情報（画面全体に対応した輝度レベル調整情報、画面を所定数に分割して得られた各分割領域に対応した輝度レベル調整情報）を説明するための図である。
【図４】合成用閾値（高輝度の閾値、低輝度の閾値、平均輝度の閾値）の設定を説明するための図である。
【図５】ビデオストリーム、サブタイトルストリームへの輝度レベル調整情報の挿入時間位置を説明するための図である。
【図６】受信側における字幕の輝度レベル調整（明るいシーン、暗いシーン）について説明するための図である。
【図７】受信側における字幕の輝度レベル調整（暗い中に高輝度があるシーン、明るい中に低輝度があるシーン）について説明するための図である。
【図８】画面あたりのグローバルなパラメータによる字幕の輝度レベル調整について説明するための図である。
【図９】テキストによる字幕情報の伝送方法における色指定について説明するための図である。
【図１０】「明るいシーン」、「暗いシーン」における字幕輝度レベル調整について説明するための図である。
【図１１】「暗い中に高輝度があるシーン」、「明るい中に低輝度があるシーン」における字幕輝度レベル調整について説明するための図である。
【図１２】パーティション毎のパラメータによる字幕の輝度レベル調整について説明するための図である。
【図１３】パーティション毎のパラメータによる字幕の輝度レベル調整について説明するための図である。
【図１４】送受信システムを構成する送信装置の構成例を示すブロック図である。
【図１５】輝度レベル計算部の構成例を示すブロック図である。
【図１６】符号化方式がＨＥＶＣである場合におけるＧＯＰの先頭のアクセスユニットを示す図である。
【図１７】符号化方式がＨＥＶＣである場合におけるＧＯＰの先頭以外のアクセスユニットを示す図である。
【図１８】ルマ・ダイナミックレンジ・ＳＥＩメッセージの構造例を示す図（１/２）である。
【図１９】ルマ・ダイナミックレンジ・ＳＥＩメッセージの構造例を示す図（２/２）である。
【図２０】ルマ・ダイナミックレンジ・ＳＥＩメッセージの構造例における主要な情報の内容を示す図である。
【図２１】ＴＴＭＬ構造を示す図である。
【図２２】ＴＴＭＬ構造のヘッダ（head）に存在するメタデータ（metadata）、スタイリング（styling）、レイアウト（layout）の各要素の構造例を示す図である。
【図２３】ＴＴＭＬ構造のボディ（body）の構造例を示す図である。
【図２４】輝度レベル調整情報をＴＴＭＬ構造のヘッダに存在するメタデータ（metadata）の要素を利用して挿入する場合におけるメタデータ（ＴＴＭ：TTML Metadata）の構造例を示す図である。
【図２５】輝度レベル調整情報をＴＴＭＬ構造のヘッダに存在するスタイリング・エクステンション（styling extension）の要素を利用して挿入する場合におけるスタイリング・エクステンション（ＴＴＭ：Styling Extension）の構造例を示す図である。
【図２６】輝度レベル調整情報を含むサブタイトル・レンダリング・コントロール・セグメントの構造例を示す図である。
【図２７】ＨＤＲ・レンダリング・サポート・デスクリプタの構造例と、その構造例における主要な情報の内容を示す図である。
【図２８】サブタイトル・レンダリング・メタデータ・デスクリプタの構造例と、その構造例における主要な情報の内容を示す図である。
【図２９】トランスポートストリームＴＳの構成例を示す図である。
【図３０】送受信システムを構成する受信装置の構成例を示すブロック図である。
【図３１】受信装置における字幕重畳処理の制御手順の一例を示すフローチャート（１/２）である。
【図３２】受信装置における字幕重畳処理の制御手順の一例を示すフローチャート（２/２）である。
【図３３】受信装置におけるグローバルな輝度レベル調整処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００２９】
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
１．実施の形態
２．変形例
【００３０】
＜１．実施の形態＞
［送受信システムの構成例］
図１は、実施の形態としての送受信システム１０の構成例を示している。この送受信システム１０は、送信装置１００および受信装置２００により構成されている。
【００３１】
送信装置１００は、コンテナとしてのＭＰＥＧ２のトランスポートストリームＴＳを生成し、このトランスポートストリームＴＳを放送波あるいはネットのパケットに載せて送信する。このトランスポートストリームＴＳには、画像データを持つビデオストリームが含まれる。また、このトランスポートストリームＴＳには、字幕情報を持つサブタイトルストリームが含まれる。ビデオストリームおよび/またはサブタイトルストリームに、字幕（サブタイトル）の輝度レベルを調整するための輝度レベル調整情報が挿入されている。
【００３２】
受信装置２００は、送信装置１００から送られてくるトランスポートストリームＴＳを受信する。受信装置２００は、ビデオストリームにデコード処理を施して画像データを得ると共に、サブタイトルストリームにデコード処理を施して字幕のビットマップデータを得る。そして、受信装置２００は、ビデオストリームおよび/またはサブタイトルストリームに挿入されている輝度レベル調整情報に基づいて、字幕のビットマップデータに輝度レベル調整処理を施し、調整後のビットマップデータを画像データに重畳する。なお、受信装置２００は、ビデオストリームおよび/またはサブタイトルストリームに輝度レベル調整情報の挿入がない場合は、輝度レベル調整情報を生成して用いる。
【００３３】
図２は、字幕の輝度レベル調整の概要を示している。図２において、横軸は時間を示し、縦軸は背景画像（画像データによる画像）の輝度レベルを示している。背景画像の最大輝度、最小輝度は、時間の進みに伴って変化する。ＨＤＲ画像の場合、最小輝度から最大輝度までの輝度範囲Ｄは非常に広くなる。
【００３４】
字幕の輝度レベルの調整においては、背景画像の輝度（最大輝度、最小輝度、平均輝度）に応じて字幕の全体的な輝度レベルが調整され、字幕輝度範囲もＲの制限内とされる。字幕としては、一般的に、ボーダー付き字幕が利用されている。このボーダー付字幕は、文字部分の周囲に長方形のボーダー部分が存在するものである。この場合の字幕輝度範囲とは、文字部分およびボーダー部分の双方を含む全体における輝度範囲を意味する。
【００３５】
なお、字幕としては、この他に、縁取り付き字幕もあるが、ボーダー付き字幕と同様に輝度レベル調整が行われる。この場合、縁取り部分がボーダー部分に相当する。この実施の形態では、ボーダー付き字幕を例にとって説明する。
【００３６】
図２（ａ）のように画像全体が明るめである場合は、字幕（「ＡＢＣ」の文字部分を持つ）の全体的な輝度レベルが高くなるように調整される。このとき、字幕輝度範囲は、この字幕に関連付けて予め設定されたＲ１の制限内とされる。また、図２（ｂ）のように画像全体が暗めである場合は、字幕（「ＤＥＦ」の文字部分を持つ）の全体的な輝度レベルが低くなるように調整される。このとき、字幕輝度範囲は、この字幕に関連付けて予め設定されたＲ２の制限内とされる。
【００３７】
［輝度レベル調整情報］
送信側から伝送する輝度レベル調整情報について説明する。輝度レベル調整情報としては、図３（ａ）に示すように、画面全体に対応した輝度レベル調整情報と、図３（ｂ）に示すように、画面を所定数に分割して得られた各分割領域（以下、適宜、「パーティション」という）に対応した輝度レベル調整情報とが存在する。なお、図３（ｂ）は、画面を２４分割し、Ｐ０からＰ２３までの２４個のパーティションが形成された場合の例を示している。
【００３８】
ビデオストリームには、画面全体に対応した輝度最大値「global_content_level_max」、輝度最小値「global_content_level_min」、輝度平均値「global_content_level_ave」が挿入されると共に、各パーティションに対応した輝度最大値「partition_content_level_max」、輝度最小値「partition_content_level_min」、輝度平均値「partition_content_level_ave」が挿入される。これらの値は、画像データに基づいて得られたものである。なお、必ずしも、画面全体および各パーティションの双方に対応した値が挿される必要はなく、一方のみに対応した値が挿入されることも考えられる。
【００３９】
また、ビデオストリームには、受信側で字幕の輝度調整をどのように行うかの判断をするための高輝度の閾値「Th_max」、低輝度の閾値「Th_min」、平均輝度の閾値「Th_ave」が挿入される。これらの値は、電光変換特性（ＥＯＴＦ特性）に基づいて得られたものである。
【００４０】
図４の曲線ａは、ＥＯＴＦ特性を示している。放送・配信のサービスとして推奨される閾値、すなわち、暗めの閾値、平均の閾値、明るめの閾値の各々に対応する輝度値が“Th_min”、“Th_ave”、“Th_max”に設定される。なお、この値は、サブタイトルストリームに挿入されてあれば、ビデオストリームには挿入されなくてもよい。
【００４１】
サブタイトルストリームには、上述した高輝度の閾値「Th_max」、低輝度の閾値「Th_min」、平均輝度の閾値「Th_ave」が挿入される。なお、この値は、ビデオストリームに挿入されてあれば、サブタイトルストリームには挿入されなくてもよい。また、サブタイトルストリームには、字幕輝度範囲の制限情報「renderingdrange」が挿入される。さらに、サブタイトルストリームには、色空間情報「colorspace」が挿入される。
【００４２】
ビデオストリームには、上述の輝度レベル調整情報が、例えば、ＳＥＩメッセージとして挿入される。そのため、ビデオストリームには、図５（ａ）に示すように、輝度レベル調整情報は、例えば、ピクチャ単位で挿入される。なお、ＧＯＰ単位、あるいは、その他の単位で挿入することも可能である。また、サブタイトルストリームには、上述の輝度レベル調整情報が、例えば、字幕の表示単位で挿入される。
【００４３】
［字幕の輝度レベル調整］
受信側における字幕の輝度レベル調整について説明する。ＨＤＲ画像を背景画像として字幕を重畳する場合、背景画像と字幕との輝度のコントラストが大きい表示となり、輝度差の大きいオブジェクトが画面内に共存することになり、視覚的な疲労につながる。それを抑止する目的で背景画像のＨＤＲ効果を維持した状態で字幕の輝度レベルの調整が行われる。その場合、背景画像の輝度に応じて字幕の文字部分のフォアグランド部とボーダー部分のバックグランド部とが分けて制御される。
【００４４】
図６（ａ−１），（ａ−２）を参照して、タイプａの「明るいシーン」の場合における字幕の輝度レベル調整を説明する。この場合、背景画像には高輝度の領域が存在する。このような背景画像に、図６（ａ−１）に示すように、字幕をそのまま重畳すると、低輝度のバックグランド部と隣接する背景画像の高輝度の領域との輝度差が大きいことから、見難く、視覚的疲労を発生させるものとなる。また、低輝度のバックグランド部が目立ち、明るい雰囲気を損なうものとなる。そこで、この場合は、図６（ａ−２）に示すように、バックグランド部の輝度レベルを低輝度から中輝度に上げる輝度レベル調整を行った後に字幕の重畳を行う。
【００４５】
図６（ｂ−１），（ｂ−２）を参照して、タイプｂの「暗いシーン」の場合における字幕の輝度レベル調整を説明する。この場合、背景画像には低輝度の領域が存在する。このような背景画像に、図６（ｂ−１）に示すように、字幕をそのまま重畳すると、高輝度のフォアグランド部が目立ち、暗い雰囲気を損なうものとなる。そこで、この場合は、図６（ｂ−２）に示すように、フォアグランド部の輝度レベルを高輝度から中輝度に下げる輝度レベル調整を行った後に字幕の重畳を行う。
【００４６】
図７（ｃ−１），（ｃ−２）を参照して、タイプｃの「暗い中に高輝度があるシーン」の場合における字幕の輝度レベル調整を説明する。この場合、全体として暗い背景画像に高輝度の領域が存在し、コントラスト比の高い背景画像である。このような背景画像に、図７（ｃ−１）に示すように、字幕をそのまま重畳すると、高輝度のフォアグランド部が目立ち、暗い雰囲気を損なうものとなる。そこで、この場合は、図７（ｃ−２）に示すように、フォアグランド部の輝度レベルを高輝度から中輝度に下げる輝度レベル調整を行った後に字幕の重畳を行う。
【００４７】
図７（ｄ−１），（ｄ−２）を参照して、タイプｄの「明るい中に低輝度があるシーン」の場合における字幕の輝度レベル調整を説明する。この場合、全体として明るい背景画像に低輝度の領域が存在し、コントラスト比の高い背景画像である。このような背景画像に、図７（ｄ−１）に示すように、字幕をそのまま重畳すると、低輝度のバックグランド部と隣接する背景画像の高輝度の領域との輝度差が大きいことから、見難く、視覚的疲労を発生させるものとなる。また、低輝度のバックグランド部が目立ち、明るい雰囲気を損なうものとなる。そこで、この場合は、図７（ｄ−２）に示すように、バックグランド部の輝度レベルを低輝度から中輝度に上げる輝度レベル調整を行った後に字幕の重畳を行う。
【００４８】
字幕の輝度レベル調整には、画面あたりのグローバルなパラメータによる場合と、パーティション毎のパラメータによる場合とがある。最初に、画面あたりのグローバルなパラメータによる字幕の輝度レベル調整について説明する。この場合、図８のチャートに示すように、画面全体に対応した輝度最大値「global_content_level_max」、輝度最小値「global_content_level_min」、輝度平均値「global_content_level_ave」を用いる。また、この場合、調整制御には高輝度の閾値「Th_max」、低輝度の閾値「Th_min」、平均輝度の閾値「Th_ave」を用いる。さらに、この場合、字幕のフォアグランド部の輝度「Ｌｆ」および字幕のバックグランド部の輝度「Ｌｂ」を用いる。
【００４９】
ここで、輝度Ｌｆ，Ｌｂがどのようにして与えられるかを説明する。従来、テキストによる字幕情報の伝送方法において、色指定は、６桁のカラーコードか、あるいは“Red”，“Green”，“Blue”，“White”といったカラーネームでなされる。例えば、図９（ａ）は、ＴＴＭＬ（Timed Text Markup Language）の例を示している。６桁のカラーコードは、図９（ｂ）のテーブルを前提としている。
【００５０】
ＴＴＭＬの例において、“color”は字幕の文字部分であるフォアグランド部の色を示し、“backgroundColor”は字幕のボーダー部分であるバックグランド部の色を示している。図９（ａ）の例において、ある字幕に関して、フォアグランド部の色が“#ffff00”、つまり“Yellow”であり、バックグランド部の色が“#000000”、つまり“Black”であることが示されている。また、図９（ａ）の例において、他の字幕に関して、フォアグランド部の色が“#ffffff”、つまり“White”であり、バックグランド部の色が“#000000”、つまり“Black”であることが示されている。
【００５１】
上述したように、字幕の色情報の伝送はフォアグランド部、バックグランド部に分けて行われるが、いずれもＲＧＢドメインで行われることが多い。ＲＧＢドメインでは、視覚的な見やすさと輝度との関係がリニアな関係ではないため、字幕の輝度レベル調整制御は、以下のような変換によって、ＲＧＢドメインからＹＣｂＣｒドメイン（輝度・色差ドメイン）に移すことで行われる。
【００５２】
色変換は、色空間に依存しており、例えば“Bt.709”, “Bt.2020”の各々の色空間におけるＲ，Ｇ，Ｂの色度値を輝度Ｙに変換する式は下記のようになる。
Y = 0.212R + 0.715G + 0.072B          (Bt.709の場合)
Y = 0.262R + 0.678G + 0.059B          (Bt.2020の場合)
【００５３】
受信側では、字幕のフォアグランド部、バックグランド部の色情報（Ｒ，Ｇ，Ｂ）に対して色変換が行われることで、輝度Ｌｆ，Ｌｂが与えられる。上述したように色変換は色空間に依存している。そのため、この実施の形態においては、サブタイトルストリームに、上記色情報（Ｒ，Ｇ，Ｂ）の色空間情報「colorspace」が挿入される。
【００５４】
なお、字幕情報がテキストベースで伝送される場合の他、ビットマップデータで伝送される場合も考えられる。この場合、受信側では、ＣＬＵＴ出力から輝度Ｌｆ，Ｌｂを得ることが可能である。
【００５５】
図６に示すタイプａの「明るいシーン」における字幕輝度レベル調整について説明する。図１０（ａ−１）のチャートは、図６（ａ−１）に対応している。ここでは、輝度最大値を「max」、輝度最小値を「min」、輝度平均値を「ave」として説明する。Th_max < max なので、背景画像に非常に高輝度な領域があると判断される。また、Th_ave < ave なので、背景画像は全体的に明るめであると判断される。また、Th_min < min なので、背景画像に非常に低輝度な領域はないと判断される。字幕のフォアグランド部の輝度Ｌｆと、字幕のバックグランド部の輝度Ｌｂは、図示のレベルにあるものとする。
【００５６】
この場合、図１０（ａ−２）に示すように、字幕のバックグランド部の輝度Ｌｂが輝度Ｌｂ´と上げる方向に調整され、かつ輝度レンジ範囲が字幕輝度範囲の制限情報「renderingdrange」を満たすようにされる。“renderingdrange”は、例えば、フォアグランドの輝度とバックグランド部の輝度の比率を示し、Ｌｆ/Ｌｂ´がその比率以下となるように輝度Ｌｂ´のレベルが調整される。
【００５７】
次に、図６に示すタイプｂの「暗いシーン」における字幕輝度レベル調整について説明する。図１０（ｂ−１）のチャートは、図６（ｂ−１）に対応している。Th_max > max なので、背景画像に非常に高輝度な領域はないと判断される。また、Th_ave > ave なので、背景画像は全体的に暗めであると判断される。また、Th_min > min なので、背景画像に非常に低輝度な領域があると判断される。字幕のフォアグランド部の輝度Ｌｆと、字幕のバックグランド部の輝度Ｌｂは、図示のレベルにあるものとする。
【００５８】
この場合、図１０（ｂ−２）に示すように、字幕のフォアグランド部の輝度Ｌｆが輝度Ｌｆ´と下げる方向に調整され、かつ輝度レンジ範囲が字幕輝度範囲の制限情報「renderingdrange」を満たすようにされる。つまり、Ｌｆ´/Ｌｂが“renderingdrange”で示される比率以下となるように輝度Ｌｆ´のレベルが調整される。
【００５９】
次に、図７に示すタイプｃの「暗い中に高輝度があるシーン」における字幕輝度レベル調整について説明する。図１１（ｃ−１）のチャートは、図７（ｃ−１）に対応している。Th_max < max なので、背景画像に非常に高輝度な領域があると判断される。また、Th_ave > ave なので、背景画像は全体的に暗めであると判断される。また、Th_min > min なので、背景画像に非常に低輝度な領域があると判断される。字幕のフォアグランド部の輝度Ｌｆと、字幕のバックグランド部の輝度Ｌｂは、図示のレベルにあるものとする。
【００６０】
この場合、図１１（ｃ−２）に示すように、字幕のフォアグランド部の輝度Ｌｆが輝度Ｌｆ´と下げる方向に調整され、かつ輝度レンジ範囲が字幕輝度範囲の制限情報「renderingdrange」を満たすようにされる。つまり、Ｌｆ´/Ｌｂが“renderingdrange”で示される比率以下となるように輝度Ｌｆ´のレベルが調整される。
【００６１】
次に、図７に示すタイプｄの「明るい中に低輝度があるシーン」における字幕輝度レベル調整について説明する。図１１（ｄ−１）のチャートは、図７（ｄ−１）に対応している。Th_max < max なので、背景画像に非常に高輝度な領域があると判断される。また、Th_ave < ave なので、背景画像は全体的に明るめであると判断される。また、Th_min > min なので、背景画像に非常に低輝度な領域があると判断される。字幕のフォアグランド部の輝度Ｌｆと、字幕のバックグランド部の輝度Ｌｂは、図示のレベルにあるものとする。
【００６２】
この場合、図１１（ｄ−２）に示すように、字幕のバックグランド部の輝度Ｌｂが輝度Ｌｂ´と上げる方向に調整され、かつ輝度レンジ範囲が字幕輝度範囲の制限情報「renderingdrange」を満たすようにされる。つまり、Ｌｆ/Ｌｂ´が“renderingdrange”で示される比率以下となるように輝度Ｌｂ´のレベルが調整される。
【００６３】
次に、パーティション毎のパラメータによる字幕の輝度レベル調整について説明する。画面あたりの輝度最大値、輝度最小値、輝度平均値では、局所的な輝度の分布を示すことができない。パーティション毎の輝度最大値、輝度最小値、輝度平均値を利用することで、よりきめ細かい字幕の輝度レベル調整が可能となる。
【００６４】
ここでは、図１２に示すように、画面が２４分割されてＰ０からＰ２３までの２４個のパーティションが形成されており、Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈの８個のパーティションに跨るように字幕が重畳されるものとする。破線矩形は字幕（ボーダー付き字幕）の重畳位置とサイズを示している。
【００６５】
この場合、図１３のチャートに示すように、Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈの８個のパーティションに対応した輝度最大値「partition_content_level_max」、輝度最小値「partition_content_level_min」、輝度平均値「partition_content_level_ave」を用いる。なお、この８個のパーティションよりも広い範囲のパーティションを含めることも可能である。また、この場合、高輝度の閾値「Th_max」、低輝度の閾値「Th_min」、平均輝度の閾値「Th_ave」を用いる。さらに、この場合、字幕のフォアグランド部の輝度「Ｌｆ」および字幕のバックグランド部輝度「Ｌｂ」を用いる。
【００６６】
この場合、例えば、パーティション毎に、上述した画面あたりのパラメータによる字幕の輝度レベル調整と同様の判断が行われ、最終的な判断は多数決、あるいは優先度を基に行われる。図示の例では、例えば、パーティションＣにおける判断が採用されている（図１１（ｄ−１），（ｄ−２）参照）。すなわち、字幕のバックグランド部の輝度Ｌｂが輝度Ｌｂ´と上げる方向に調整され、かつ輝度レンジ範囲が字幕輝度範囲の制限情報「renderingdrange」を満たすようにされる。つまり、Ｌｆ/Ｌｂ´が“renderingdrange”で示される比率以下となるように輝度Ｌｂ´のレベルが調整される。
【００６７】
「送信装置の構成例」
図１４は、送信装置１００の構成例を示している。この送信装置１００は、制御部１０１と、ＨＤＲカメラ１０２と、ＨＤＲ光電変換部１０３と、RGB/YCbCr変換部１０４と、ビデオエンコーダ１０５と、輝度レベル計算部１０６と、閾値設定部１０７と、字幕発生部１０８と、テキストフォーマット変換部１０９と、サブタイトルエンコーダ１１０と、システムエンコーダ１１１と、送信部１１２を有している。
【００６８】
制御部１０１は、ＣＰＵ（Central Processing Unit）を備えて構成され、制御プログラムに基づいて、送信装置１００の各部の動作を制御する。ＨＤＲカメラ１０２は、被写体を撮像して、ＨＤＲ（High Dynamic Range）ビデオデータ（画像データ）を出力する。このＨＤＲビデオデータは、従来のＳＤＲ画像の白ピークの明るさを超える０〜１００％＊Ｎ（Ｎは１より大きい数）、例えば０〜１０００％などのコントラスト比を持つ。ここで、１００％のレベルは、例えば、白の輝度値１００ｃｄ/ｍ２に相当するように制作されることとする。
【００６９】
マスターモニタ１０３ａは、ＨＤＲカメラ１０２で得られるＨＤＲビデオデータをグレーディングするためのモニタである。このマスターモニタ１０３ａは、ＨＤＲビデオデータに対応した、あるいは、ＨＤＲビデオデータをグレーディングするのに適した表示輝度レベルを持っている。
【００７０】
ＨＤＲ光電変換部１０３は、ＨＤＲカメラ１０２で得られるＨＤＲビデオデータに対して、ＨＤＲ光電変換特性を適用して、伝送ビデオデータＶ１を得る。RGB/YCbCr変換部１０４は、伝送ビデオデータＶ１をＲＧＢドメインからＹＣｂＣｒ（輝度・色差）ドメインに変換する。
【００７１】
輝度レベル計算部１０６は、ＹＣｂＣｒドメインに変換された伝送ビデオデータＶ１に基づいて、例えば、ピクチャ毎に、画面全体に対応した輝度最大値「global_content_level_max」、輝度最小値「global_content_level_min」、輝度平均値「global_content_level_ave」を求めると共に、画面を所定数に分割して得られた各分割領域（パーテション）に対応した輝度最大値「partition_content_level_max」、輝度最小値「partition_content_level_min」、輝度平均値「partition_content_level_ave」を求める。
【００７２】
図１５は、輝度レベル計算部１０６の構成例を示している。この輝度レベル計算部１０６は、画像値比較部１０６ａ，１０６ｂからなっている。画素値比較部１０６ａには、伝送ビデオデータＶ１が入力されると共に、制御部１０１から画面分割サイズが指定される。なお、画面分割サイズが指定される代わりに、画面分割数が指定されてもよい。画素値比較部１０６ａは、パーティション（分割領域）毎に、画素値を比較して、輝度最大値「partition_content_level_max」、輝度最小値「partition_content_level_min」、輝度平均値「partition_content_level_ave」を求める。
【００７３】
画素値比較部１０６ｂには、画素値比較部１０６ａで求められたパーティション毎の各値が入力される。画素値比較部１０６ｂは、各パーティションの値を比較して、画面全体に対応した輝度最大値「global_content_level_max」、輝度最小値「global_content_level_min」、輝度平均値「global_content_level_ave」を求める。
【００７４】
図１４に戻って、閾値設定部１０７は、電光変換特性（ＥＯＴＦ特性）に基づいて、受信側で字幕の輝度調整をどのように行うかの判断をするための高輝度の閾値「Th_max」、低輝度の閾値「Th_min」、平均輝度の閾値「Th_ave」を設定する（図４参照）。
【００７５】
ビデオエンコーダ１０５は、伝送ビデオデータＶ１に対して、例えば、ＭＰＥＧ４−ＡＶＣあるいはＨＥＶＣなどの符号化を施し、符号化画像データを含むビデオストリーム（ＰＥＳストリーム）ＶＳを生成する。また、ビデオエンコーダ１０５は、ビデオストリームに、字幕（サブタイトル）の輝度レベルを調整するための輝度レベル調整情報を挿入する。
【００７６】
具体的には、ビデオストリームに、輝度レベル計算部１０６で求められた、画面全体に対応した輝度最大値「global_content_level_max」、輝度最小値「global_content_level_min」、輝度平均値「global_content_level_ave」を挿入すると共に、各パーティションに対応した輝度最大値「partition_content_level_max」、輝度最小値「partition_content_level_min」、輝度平均値「partition_content_level_ave」を挿入する。また、ビデオストリームに、閾値設定部で設定された高輝度の閾値「Th_max」、低輝度の閾値「Th_min」、平均輝度の閾値「Th_ave」を挿入する。
【００７７】
この実施の形態において、ビデオエンコーダ１０５は、アクセスユニット（ＡＵ）の“ＳＥＩｓ”の部分に、新規定義する、ルマ・ダイナミックレンジ・ＳＥＩメッセージ（Luma_dynamic_range SEI message）を挿入する。
【００７８】
図１６は、符号化方式がＨＥＶＣである場合におけるＧＯＰ（Group Of Pictures）の先頭のアクセスユニットを示している。また、図１７は、符号化方式がＨＥＶＣである場合におけるＧＯＰの先頭以外のアクセスユニットを示している。ＨＥＶＣの符号化方式の場合、画素データが符号化されているスライス（slices）の前にデコード用のＳＥＩメッセージ群「Prefix_SEIs」が配置され、このスライス（slices）の後に表示用のＳＥＩメッセージ群「Suffix_SEIs」が配置される。図１６、図１７に示すように、ルマ・ダイナミックレンジ・ＳＥＩメッセージは、ＳＥＩメッセージ群「Suffix_SEIs」として配置されるようにしてもよい。
【００７９】
図１８、図１９は、ルマ・ダイナミックレンジ・ＳＥＩメッセージの構造例(Syntax)を示している。図２０は、その構造例における主要な情報の内容（Semantics）を示している。「Luma_dynamic_range_cancel_flag」の１ビットのフラグ情報は、“Luma_dynamic_range ”のメッセージをリフレッシュするかを示す。“０”は、“Luma_dynamic_range ”のメッセージをリフレッシュすることを示す。“１”は、“Luma_dynamic_range ”のメッセージをリフレッシュしないこと、つまり前のメッセージをそのまま維持することを示す。
【００８０】
「Luma_dynamic_range_cancel_flag」が“０”であるとき、以下のフィールドが存在する。「coded_data_bit_depth」の８ビットフィールドは、符号化画素ビット数を示す。「number_of_partitions」の８ビットフィールドは、画面中の分割領域（パーティション）の数を示す。この値が“２”未満であるとき、分割されていないことを示す。「block_size」の８ビットフィールドは、ブロックサイズ、つまり画面全体を分割領域の数で割った領域に相当するサイズを示す。
【００８１】
「global_content_level_max」の１６ビットフィールドは、画面全体の輝度最大値を示す。「global_content_level_min」の１６ビットフィールドは、画面全体の輝度最小値を示す。「global_content_level_ave」の１６ビットフィールドは、画面全体の輝度平均値を示す。「content_threshold_max」の１６ビットフィールドは、高輝度の閾値を示す。「content_threshold_min」の１６ビットフィールドは、低輝度の閾値を示す。「content_threshold_ave」の１６ビットフィールドは、平均輝度の閾値を示す。
【００８２】
また、「number_of_partitions」のフィールドで示すパーティションの数が２以上であるとき、パーティション毎に、以下のフィールドが存在する。「partition_content_level_max」の１６ビットフィールドは、パーティション内の輝度最大値を示す。「partition_content_level_min」の１６ビットフィールドは、パーティション内の輝度最小値を示す。「partition_content_level_ave」の１６ビットフィールドは、パーティション内の輝度平均値を示す。
【００８３】
図１４に戻って、字幕発生部１０８は、字幕情報としてのテキストデータ（文字コード）ＤＴを発生する。テキストフォーマット変換部１０９は、テキストデータＤＴを入力し、表示タイミング情報を持つ所定フォーマットのサブタイトルのテキスト情報を得る。この実施の形態においては、ＴＴＭＬに変換する。
【００８４】
図２１は、ＴＴＭＬ構造を示している。ＴＴＭＬは、ＸＭＬベースで記載される。ヘッダ（head）には、メタデータ（metadata）、スタイリング（styling）、レイアウト（layout）などの各要素が存在する。図２２（ａ）は、メタデータ（ＴＴＭ：TTML Metadata）の構造例を示している。このメタデータには、メタデータのタイトルの情報と、コピーライトの情報が含まれている。
【００８５】
図２２（ｂ）は、スタイリング（ＴＴＳ：TTML Styling）の構造例を示している。このスタイリングには、識別子（id）の他に、カラー（color）、フォント（fontFamily）、サイズ（fontSize）、アラインメント（textAlign）などの情報が含まれている。図２２（ｃ）は、レイアウト（region：TTML layout）の構造例を示している。このレイアウトには、サブタイトルを配置するリージョンの識別子（id）の他に、範囲（extent）、オフセット（padding）、バックグラウンドカラー（backgroundColor）、アラインメント（displayAlign）などの情報が含まれている。
【００８６】
図２３は、ボディ（body）の構造例を示している。図示の例では、サブタイトル１（subtitle 1）、サブタイトル２（subtitle 2）、サブタイトル３（subtitle 3）の３つのサブタイトルの情報が含まれている。サブタイトル毎に、表示開始タイミングと表示終了タイミングが記載されると共に、テキストデータが記載されている。例えば、サブタイトル１（subtitle 1）に関しては、表示開始タイミングが“０．７６ｓ”で、表示終了タイミングが“３．４５ｓ”であり、テキストデータが「It seems a paradox, dose it not,」とされている。
【００８７】
図１４に戻って、サブタイトルエンコーダ１１０は、テキストフォーマット変換部１０９で得られたＴＴＭＬを種々のセグメントに変換し、ペイロードにそれらのセグメントを配置したＰＥＳパケットで構成されるサブタイトルストリームＳＳを生成する。
【００８８】
この実施の形態において、サブタイトルストリームＳＳに、字幕（サブタイトル）の輝度レベルを調整するための輝度レベル調整情報が挿入される。具体的には、高輝度の閾値「Th_max」、低輝度の閾値「Th_min」、平均輝度の閾値「Th_ave」、字幕輝度範囲の制限情報「renderingdrange」、字幕の色空間情報「colorspace」が挿入される。
【００８９】
この輝度レベル調整情報の挿入は、テキストフォーマット変換部１０９、あるいはサブタイトルエンコーダ１１０で行われる。テキストフォーマット変換部１０９で輝度レベル調整情報の挿入を行う場合には、例えば、ＴＴＭＬ構造のヘッダに存在するメタデータ（metadata）の要素を利用して挿入される。
【００９０】
図２４は、その場合におけるメタデータ（ＴＴＭ：TTML Metadata）の構造例を示している。「ttm-ext:colorspace」は色空間情報を示し、続いて“ITUR2020”、“ITIUR709”などが記述される。図示の例では、“ITUR2020”が記述されている。「ttm-ext:dynamicrange」はダイナミックレンジ情報、つまりＨＤＲのＥＯＴＦ特性の種類を示し、続いて“ITUR202x”、“ITIUR709”などが記述される。図示の例は、“ITUR202x”が記述されている。
【００９１】
「ttm-ext:renderingcontrol」は、輝度レベル調整情報としてのレンダリング制御情報を示す。「ttm-ext:lumathmax」は高輝度の閾値を示し、続いてその実際の値である“TH_max”が記述される。「ttm-ext:lumathmin」は低輝度の閾値を示し、続いてその実際の値である“TH_min”が記述される。「ttm-ext:lumathave」は平均輝度の閾値を示し、続いてその実際の値である“TH_ave”が記述される。
【００９２】
「ttm-ext:renderingdrange」は字幕輝度範囲の制限情報を示し、続いて“Maxminratio”が記述される。“Maxminratio”は 字幕の輝度最大値を字幕の輝度最小値で割った比率で、この値が例えば“４”のときには、輝度調整後の字幕は、最大輝度が最小輝度の４倍までに収まるようにすることを意味する。
【００９３】
また、テキストフォーマット変換部１０９で輝度レベル調整情報の挿入を行う場合には、例えば、ＴＴＭＬ構造のヘッダに存在するスタイリング・エクステンション（styling extension）の要素を利用して挿入される。この場合には、“xml:id”毎に独立したレンダリング制御（輝度レベル調整）が可能になる。
【００９４】
図２５は、その場合におけるスタイリング・エクステンション（ＴＴＭＬ  Styling Extension）の構造例を示している。「ttse:colorspace」は色空間情報を示し、続いて“ITUR2020”、“ITIUR709”などが記述される。図示の例では、“ITUR2020”が記述されている。「ttse:dynamicrange」はダイナミックレンジ情報、つまりＨＤＲのＥＯＴＦ特性の種類を示し、続いて“ITUR202x”、“ITIUR709”などが記述される。図示の例は、“ITUR202x”が記述されている。
【００９５】
「ttse:renderingcontrol:lumathmax」は高輝度の閾値を示し、続いてその実際の値である“TH_max”が記述される。「ttse:renderingcontrol:lumathmin」は低輝度の閾値を示し、続いてその実際の値である“TH_min”が記述される。「ttse:renderingcontrol:lumathave」は平均輝度の閾値を示し、続いてその実際の値である“TH_ave”が記述される。「ttse: renderingcontrol:renderingdrange」は字幕輝度範囲の制限情報を示し、続いて“Maxminratio”が記述される。
【００９６】
サブタイトルエンコーダ１１０で輝度レベル調整情報の挿入を行う場合には、サブタイトルストリームに、輝度レベル調整情報を含むセグメントが挿入される。この実施の形態においては、新規定義するサブタイトル・レンダリング・コントロール・セグメント（ＳＲＣＳ：Subtitle_rendering_control_segment）が挿入される。
【００９７】
図２６は、サブタイトル・レンダリング・コントロール・セグメントの構造例（syntax）を示している。この構造には、「sync_byte」、「segment_type」、「page_id」、「segment_length」、「version_number」、「number_of _resion」の各情報が含まれている。「segment_type」の８ビットフィールドはセグメントタイプを示し、ここでは、サブタイトル・レンダリング・コントロール・セグメントであることを示す。「segment_length」の８ビットフィールドは、セグメントの長さ（サイズ）を示す。「number_of _resion」の８ビットフィールドは、リージョンの数を示す。
【００９８】
そして、この構造には、リージョン毎に、輝度レベル調整情報が含まれている。「resion_id」の８ビットフィールドは、リージョンを識別する識別子を示す。「colorspace_type」の８ビットフィールドは、色空間情報を示す。「dynamicrange_type」の８ビットフィールドは、ダイナミックレンジ情報、つまりＨＤＲのＥＯＴＦ特性の種類を示す。「luma_th_max」の１６ビットフィールドは、高輝度の閾値を示す。「luma_th_min」の１６ビットフィールドは、低輝度の閾値を示す。「luma_th_ave」の１６ビットフィールドは、平均輝度の閾値を示す。
【００９９】
「renderingdrange」の８ビットフィールドは、字幕輝度範囲の制限情報を示す。この制限情報は、例えば、字幕の輝度最大値を字幕の輝度最小値で割った比率で、この値が例えば“４”のときには、輝度調整後の字幕は、最大輝度が最小輝度の４倍までに収まるようにすることを意味する。
【０１００】
図１４に戻って、システムエンコーダ１１１は、ビデオエンコーダ１０５で生成されたビデオストリームＶＳと、サブタイトルデコーダ１１０で生成されたサブタイトルストリームＳＳを含むトランスポートストリームＴＳを生成する。送信部１１２は、このトランスポートストリームＴＳを、放送波あるいはネットのパケットに載せて、受信装置２００に送信する。
【０１０１】
システムエンコーダ１１１は、コンテナとしてのトランスポートストリームＴＳに、ビデオストリームに輝度レベル調整情報の挿入があることを示す識別情報を挿入する。この実施の形態において、システムエンコーダ１１１は、プログラム・マップ・テーブル（ＰＭＴ：Program Map Table）の配下に、ＨＤＲ・レンダリング・サポート・デスクリプタ（HDR_rendering_support_descriptor）を挿入する。
【０１０２】
図２７（ａ）は、ＨＤＲ・レンダリング・サポート・デスクリプタの構造例(Syntax)を示している。図２７（ｂ）は、その構造例における主要な情報の内容（Semantics）を示している。「descriptor_tag」の８ビットフィールドは、デスクリプタタイプを示し、ここでは、ＨＤＲ・レンダリング・サポート・デスクリプタであることを示す。「descriptor_length」の８ビットフィールドは、デスクリプタの長さ（サイズ）を示し、デスクリプタの長さとして以降のバイト数を示す。
【０１０３】
「HDR_flag」のフラグは、サービスストリーム（ビデオストリーム）がＨＤＲに対応していることを示す。“１”はＨＤＲに対応していることを示し、“０”はＨＤＲに対応していないことを示す。「composition_control_flag」のフラグは、ビデオストリームにルマ・ダイナミックレンジ・ＳＥＩメッセージ（Luma_dynamic_Range SEI message）が符号化されていること、つまりビデオストリームに輝度レベル調整情報が挿入されていることを示す。“１”は符号化されていることを示し、“０”は符号化されていないことを示す。「EOTF_type」の８ビットフィールドは、ビデオののＥＯＴＦ特性の種類（ビデオストリームのＶＵＩの値）を示す。
【０１０４】
また、システムエンコーダ１１１は、コンテナとしてのトランスポートストリームＴＳに、サブタイトルストリームに輝度レベル調整情報の挿入があることを示す識別情報を挿入する。この実施の形態において、システムエンコーダ１１１は、プログラム・マップ・テーブル（ＰＭＴ：Program Map Table）の配下に、サブタイトル・レンダリング・メタデータ・デスクリプタ（Subtitle_rendering_metadata_descriptor）を挿入する。
【０１０５】
図２８（ａ）は、サブタイトル・レンダリング・メタデータ・デスクリプタの構造例(Syntax)を示している。図２８（ｂ）は、その構造例における主要な情報の内容（Semantics）を示している。「descriptor_tag」の８ビットフィールドは、デスクリプタタイプを示し、ここでは、サブタイトル・レンダリング・メタデータ・デスクリプタであることを示す。「descriptor_length」の８ビットフィールドは、デスクリプタの長さ（サイズ）を示し、デスクリプタの長さとして以降のバイト数を示す。
【０１０６】
「subtitle_text_flag」のフラグは、サブタイトル（字幕）がテキストコードで伝送されることを示す。“１”はテキスト符号されたサブタイトルであることを示し、“０”はテキスト符号されたサブタイトルでないことを示す。「subtitle_rendering_control_flag」のフラグは、サブタイトルの輝度調整メタ情報が符号化されていること、つまりサブタイトルに輝度レベル調整情報が挿入されていることを示す。“１”は符号化されていることを示し、“０”は符号化されていないことを示す。
【０１０７】
「meta_container_type」の３ビットは、輝度調整用メタ情報（輝度レベル調整情報）の配置格納場所、つまり挿入位置を示す。“０”はサブタイトル・レンダリング・コントロール・セグメントを示し、“１”はＴＴＭＬ構造のヘッダに存在するメタデータ（metadata）の要素を示し、“２”はＴＴＭＬ構造のヘッダに存在するスタイリング・エクステンション（styling extension）の要素を示す。
【０１０８】
図１４に示す送信装置１００の動作を簡単に説明する。ＨＤＲカメラ１０２で撮像されて得られたＨＤＲビデオデータは、ＨＤＲ光電変換部１０３に供給される。ＨＤＲカメラ１０２で得られるＨＤＲビデオデータは、マスターモニタ１０３ａを用いてグレーディングされる。このＨＤＲ光電変換部１０３では、このＨＤＲビデオデータに対してＨＤＲ光電変換特性（ＨＤＲ ＯＥＴＦカーブ）が適用されて光電変換が行われ、伝送ビデオデータＶ１が得られる。この伝送ビデオデータＶ１は、RGB/YCbCr変換部１０４でＲＧＢドメインからＹＣｂＣｒ（輝度・色差）ドメインに変換される。
【０１０９】
ＹＣｂＣｒドメインに変換された伝送ビデオデータＶ１は、ビデオエンコーダ１０５および輝度レベル計算部１０６に供給される。輝度レベル計算部１０６では、ピクチャ毎に、画面全体に対応した輝度最大値「global_content_level_max」、輝度最小値「global_content_level_min」、輝度平均値「global_content_level_ave」が求められると共に、画面を所定数に分割して得られた各分割領域（パーテション）に対応した輝度最大値「partition_content_level_max」、輝度最小値「partition_content_level_min」、輝度平均値「partition_content_level_ave」が求められる（図１５参照）。求められた各値は、ビデオエンコーダ１０５に供給される。
【０１１０】
閾値設定部１０７には、ＥＯＴＦ特性（電光変換特性）の情報が供給される。閾値設定部１０７では、このＥＯＴＦ特性に基づいて、受信側で字幕の輝度調整をどのように行うかの判断をするための高輝度の閾値「Th_max」、低輝度の閾値「Th_min」、平均輝度の閾値「Th_ave」が設定される（図４参照）。設定された各値は、ビデオエンコーダ１０５に供給される。また、この設定された各値は、テキストフォーマット変換部１０９またはサブタイトルエンコーダ１１０に供給される。
【０１１１】
ビデオエンコーダ１０５では、伝送ビデオデータＶ１に対して、例えば、ＭＰＥＧ４−ＡＶＣあるいはＨＥＶＣなどの符号化が施され、符号化画像データを含むビデオストリーム（ＰＥＳストリーム）ＶＳが生成される。また、ビデオエンコーダ１０５では、ビデオストリームに、字幕（サブタイトル）の輝度レベルを調整するための輝度レベル調整情報が挿入される。すなわち、ビデオエンコーダ１０５では、アクセスユニット（ＡＵ）の“ＳＥＩｓ”の部分に、新規定義する、ルマ・ダイナミックレンジ・ＳＥＩメッセージが挿入される（図１６参照）。
【０１１２】
字幕発生部１０８では、字幕情報としてのテキストデータ（文字コード）ＤＴが発生される。このテキストデータＤＴはテキストフォーマット変換部１０９に供給される。テキストフォーマット変換部１０９では、テキストデータＤＴに基づいて、表示タイミング情報を持つサブタイトルのテキスト情報、つまりＴＴＭＬに変換される（図２１参照）。このＴＴＭＬは、サブタイトルエンコーダ１１０に供給される。
【０１１３】
サブタイトルエンコーダ１１０では、テキストフォーマット変換部１０９で得られたＴＴＭＬが種々のセグメントに変換され、ペイロードにそれらのセグメントが配置されたＰＥＳパケットで構成されるサブタイトルストリームＳＳが生成される。
【０１１４】
サブタイトルストリームＳＳに、字幕（サブタイトル）の輝度レベルを調整するための輝度レベル調整情報が挿入される。この輝度レベル調整情報の挿入は、テキストフォーマット変換部１０９、あるいはサブタイトルエンコーダ１１０で行われる。テキストフォーマット変換部１０９で挿入される場合、例えば、ＴＴＭＬ構造のヘッダに存在するメタデータ（metadata）の要素、あるいはＴＴＭＬ構造のヘッダに存在するスタイリング・エクステンション（styling extension）の要素が利用される（図２４、図２５参照）。一方、サブタイトルエンコーダ１１０で挿入される場合、例えば、サブタイトルストリームに、新規定義するサブタイトル・レンダリング・コントロール・セグメントが挿入される（図２６参照）。
【０１１５】
ビデオエンコーダ１０５で生成されるビデオストリームＶＳは、システムエンコーダ１１１に供給される。サブタイトルエンコーダ１１０で生成されるサブタイトルストリームＳＳは、システムエンコーダ１１１に供給される。システムエンコーダ１１１では、ビデオストリームＶＳとサブタイトルストリームＳＳを含むトランスポートストリームＴＳが生成される。このトランスポートストリームＴＳは、送信部１１２により、放送波あるいはネットのパケットに載せて、受信装置２００に送信される。
【０１１６】
この際、システムエンコーダ１１１では、トランスポートストリームＴＳに、ビデオストリームに輝度レベル調整情報の挿入があることを示す識別情報が挿入される。すなわち、システムエンコーダ１１１では、プログラム・マップ・テーブル（ＰＭＴ）の配下に、ＨＤＲ・レンダリング・サポート・デスクリプタが挿入される（図２７（ａ）参照）。また、システムエンコーダ１１１では、トランスポートストリームＴＳに、サブタイトルストリームＳＳに輝度レベル調整情報の挿入があることを示す識別情報が挿入される。すなわち、システムエンコーダ１１１では、プログラム・マップ・テーブル（ＰＭＴ）の配下に、サブタイトル・レンダリング・メタデータ・デスクリプタが挿入される（図２８（ａ）参照）。
【０１１７】
[トランスポートストリームＴＳの構成]
図２９は、トランスポートストリームＴＳの構成例を示している。この構成例では、ＰＩＤ１で識別されるビデオストリームのＰＥＳパケット「video PES1」が存在する。アクセスユニットに、輝度レベル調整情報（背景画像輝度値、合成用閾値など）が記述されたルマ・ダイナミックレンジ・ＳＥＩメッセージが挿入されている。
【０１１８】
また、この構成例では、ＰＩＤ２で識別されるサブタイトルストリームのＰＥＳパケット「Subtitle PES2」が存在する。ＴＴＭＬ構造のヘッダに存在するメタデータ（metadata）の要素、あるいはＴＴＭＬ構造のヘッダに存在するスタイリング・エクステンション（styling extension）の要素、あるいはサブタイトル・レンダリング・コントロール・セグメントに、輝度レベル調整情報（色空間情報、合成用閾値、字幕輝度範囲制限情報など）が挿入されている。
【０１１９】
また、トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（Program Map Table）が含まれている。ＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・ループ（Program loop）が存在する。
【０１２０】
また、ＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリストリーム・ループが存在する。この構成例では、ビデオストリームに対応したビデオエレメンタリストリーム・ループ（video ES loop）と、サブタイトルストリームに対応したサブタイトルエレメンタリストリーム・ループ（Subtitle ES loop）が存在する。
【０１２１】
ビデオエレメンタリストリーム・ループ（video ES loop）には、ビデオストリームに対応して、ストリームタイプ、ＰＩＤ（パケット識別子）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このビデオストリームの「Stream_type」の値は、例えばＨＥＶＣビデオストリームを示す値に設定され、ＰＩＤ情報はビデオストリームのＰＥＳパケット「video PES1」に付与されるＰＩＤ１を示すものとされる。デスクリプタとして、ＨＥＶＣデスクリプタ、さらには新規定義するＨＤＲ・レンダリング・サポート・デスクリプタなどが挿入されている。
【０１２２】
サブタイトルエレメンタリストリーム・ループ（Subtitle ES loop）には、サブタイトルストリームに対応して、ストリームタイプ、ＰＩＤ（パケット識別子）等の情報が配置されると共に、そのサブタイトルストリームに関連する情報を記述するデスクリプタも配置される。このサブタイトルストリームの「Stream_type」の値は、例えばプライベートストリームを示す値に設定され、ＰＩＤ情報はサブタイトルストリームのＰＥＳパケット「Subtitle PES2」に付与されるＰＩＤ２を示すものとされる。デスクリプタとして、新規定義するサブタイトル・レンダリング・メタデータ・デスクリプタなどが挿入されている。
【０１２３】
「受信装置の構成例」
図３０は、受信装置２００の構成例を示している。この受信装置２００は、制御部２０１と、受信部２０２と、システムデコーダ２０３と、ビデオデコーダ２０４と、サブタイトルテキストデコーダ２０５と、フォント展開部２０６と、RGB/YCbCr変換部２０８と、輝度レベル調整部２０９を有している。また、この受信装置２００は、ビデオ重畳部２１０と、YCbCr/RGB変換部２１１と、ＨＤＲ電光変換部２１２と、ＨＤＲ表示マッピング部２１３と、ＣＥモニタ２１４を有している。
【０１２４】
制御部２０１は、ＣＰＵ（Central Processing Unit）を備えて構成され、制御プログラムに基づいて、受信装置２００の各部の動作を制御する。受信部２０２は、送信装置１００から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳを受信する。システムデコーダ２０３は、このトランスポートストリームＴＳから、ビデオストリームＶＳとサブタイトルストリームＳＳを抽出する。また、システムデコーダ２０３は、トランスポートストリームＴＳ（コンテナ）に挿入されている種々の情報を抽出し、制御部２０１に送る。
【０１２５】
この実施の形態においては、この抽出情報に、ＨＤＲ・レンダリング・サポート・デスクリプタ（図２７（ａ）参照）やサブタイトル・レンダリング・メタデータ・デスクリプタ（図２８（ａ）参照）も含まれる。
【０１２６】
制御部２０１は、ＨＤＲ・レンダリング・サポート・デスクリプタの「HDR_flag」のフラグが“１”であることから、ビデオストリーム（サービスストリーム）がＨＤＲに対応することを認識する。また、制御部２０１は、ＨＤＲ・レンダリング・サポート・デスクリプタの「composition_control_flag」のフラグが“１”であることからビデオストリームにルマ・ダイナミックレンジ・ＳＥＩメッセージが符号化されていること、つまりビデオストリームに輝度レベル調整情報が挿入されていることを認識する。
【０１２７】
また、制御部２０１は、サブタイトル・レンダリング・メタデータ・デスクリプタの「subtitle_text_flag」のフラグが“１”であることからサブタイトル（字幕）がテキストコードで伝送されていることを認識する。また、制御部２０１は、サブタイトル・レンダリング・メタデータ・デスクリプタの「subtitle_rendering_control_flag」のフラグが“１”であることからサブタイトルの輝度調整メタ情報が符号化されていること、つまりサブタイトルに輝度レベル調整情報が挿入されていることを認識する。
【０１２８】
ビデオデコーダ２０４は、システムデコーダ２０３で抽出されるビデオストリームＶＳに対して復号化処理を行って、伝送ビデオデータＶ１を出力する。また、ビデオデコーダ２０４は、ビデオストリームＶＳを構成する各アクセスユニットに挿入されているパラメータセットやＳＥＩメッセージを抽出し、必要な情報を制御部２０１に送る。
【０１２９】
この実施の形態においては、制御部２０１が上述したようにビデオストリームにルマ・ダイナミックレンジ・ＳＥＩメッセージが符号化されていることを認識することから、制御部２０１の制御のもと、ビデオデコーダ２０４は当該ＳＥＩメッセージも確実に抽出し、背景画像輝度値、合成用閾値などの輝度レベル調整情報を取得する。
【０１３０】
サブタイトルテキストデコーダ２０５は、サブタイトルストリームＳＳに含まれている各リージョンのセグメントデータに対してデコード処理を施して、各リージョンのテキストデータや制御コードを得る。また、サブタイトルテキストデコーダ２０５は、サブタイトルストリームＳＳから色空間情報、合成用閾値、字幕輝度範囲制限情報などの輝度レベル調整情報を取得する。この実施の形態においては、制御部２０１が上述したようにサブタイトルの輝度調整メタ情報が符号化されていることを認識することから、制御部２０１の制御のもと、サブタイトルテキストデコーダ２０５は、当該輝度レベル調整情報を確実に取得する。
【０１３１】
フォント展開部２０６は、サブタイトルセグメントデコーダ３０２で得られた各リージョンのテキストデータや制御コードに基づいてフォント展開して、各リージョンのビットマップデータを得る。RGB/YCbCr変換部２０８は、ビットマップデータをＲＧＢドメインからＹＣｂＣｒ（輝度・色差）ドメインに変換する。この場合、RGB/YCbCr変換部２０８は、色空間情報に基づいて、色空間に対応した変換式を用いて変換を行う。
【０１３２】
輝度レベル調整部２０９は、ＹＣｂＣｒドメインに変換された字幕のビットマップデータに対して、背景画像輝度値、合成用閾値、字幕輝度範囲制限情報を用いて、輝度レベル調整を行う。この場合、画面あたりのグローバルなパラメータによる字幕の輝度レベル調整（図８参照）、あるいはパーティション毎のパラメータによる字幕の輝度レベル調整（図１２参照）が行われる。
【０１３３】
ビデオ重畳部２１０は、ビデオデコーダ２０４で得られた伝送ビデオデータＶ１に、輝度レベル調整部２０９で輝度レベルが調整された、各リージョンのビットマップデータを重畳する。YCbCr/RGB変換部２１１は、ビットマップデータが重畳された伝送ビデオデータＶ１´をＹＣｂＣｒ（輝度・色差）ドメインからＲＧＢドメインに変換する。この場合、YCbCr/RGB変換部２１１は、色空間情報に基づいて、色空間に対応した変換式を用いて変換を行う。
【０１３４】
ＨＤＲ電光変換部２１２は、ＲＧＢドメインに変換された伝送ビデオデータＶ１´に、ＨＤＲ電光変換特性を適用して、ＨＤＲ画像を表示するための表示用ビデオデータを得る。ＨＤＲ表示マッピング部２１３は、表示用ビデオデータに対して、ＣＥモニタ２１４の最大輝度表示能力などに応じた表示輝度調整を行う。ＣＥモニタ２１４は、表示輝度調整が行われた表示用ビデオデータに基づいてＨＤＲ画像を表示する。このＣＥモニタ２１４は、例えば、ＬＣＤ(Liquid Crystal Display)、有機ＥＬディスプレイ（organic electroluminescence display）などで構成される。
【０１３５】
図３０に示す受信装置２００の動作を簡単に説明する。受信部２０２では、送信装置１００から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳが受信される。このトランスポートストリームＴＳは、システムデコーダ２０３に供給される。システムデコーダ２０３では、このトランスポートストリームＴＳから、ビデオストリームＶＳおよびサブタイトルストリームＳＳが抽出される。
【０１３６】
また、システムデコーダ２０３では、トランスポートストリームＴＳ（コンテナ）に挿入されている種々の情報が抽出され、制御部２０１に送られる。この抽出情報に、ＨＤＲ・レンダリング・サポート・デスクリプタ（図２７（ａ）参照）やサブタイトル・レンダリング・メタデータ・デスクリプタ（図２８（ａ）参照）も含まれる。
【０１３７】
制御部２０１では、ＨＤＲ・レンダリング・サポート・デスクリプタの「HDR_flag」のフラグが“１”であることから、ビデオストリーム（サービスストリーム）がＨＤＲに対応することが認識される。また、制御部２０１では、ＨＤＲ・レンダリング・サポート・デスクリプタの「composition_control_flag」のフラグが“１”であることからビデオストリームにルマ・ダイナミックレンジ・ＳＥＩメッセージが符号化されていることが認識される。
【０１３８】
また、制御部２０１では、サブタイトル・レンダリング・メタデータ・デスクリプタの「subtitle_text_flag」のフラグが“１”であることからサブタイトル（字幕）がテキストコードで伝送されていることが認識される。また、制御部２０１では、サブタイトル・レンダリング・メタデータ・デスクリプタの「subtitle_rendering_control_flag」のフラグが“１”であることからサブタイトルの輝度調整メタ情報が符号化されていることが認識される。
【０１３９】
システムデコーダ２０３で抽出されたビデオストリームＶＳは、ビデオデコーダ２０４に供給される。ビデオデコーダ２０４では、ビデオストリームＶＳに対して復号化処理が施されて、伝送ビデオデータＶ１が得られる。また、このビデオデコーダ２０４では、ビデオストリームＶＳからルマ・ダイナミックレンジ・ＳＥＩメッセージが抽出され、背景画像輝度値、合成用閾値などの輝度レベル調整情報が取得される。
【０１４０】
システムデコーダ２０３で抽出されたサブタイトルストリームＳＳは、サブタイトルテキストデコーダ２０５に供給される。サブタイトルテキストデコーダ２０５では、サブタイトルストリームＳＳに含まれている各リージョンのセグメントデータに対してデコード処理が施されて、各リージョンのテキストデータや制御コードが得られる。また、サブタイトルテキストデコーダ２０５では、サブタイトルストリームＳＳから色空間情報、合成用閾値、字幕輝度範囲制限情報などの輝度レベル調整情報が取得される。
【０１４１】
各リージョンのテキストデータや制御コードはフォント展開部２０６に供給される。フォント展開部２０６では、各リージョンのテキストデータや制御コードに基づいてフォント展開されて、各リージョンのビットマップデータが得られる。このビットマップデータは、RGB/YCbCr変換部２０８において、色空間情報 S に基づいてＲＧＢドメインからＹＣｂＣｒドメインに変換されて、輝度レベル調整部２０９に供給される。
【０１４２】
輝度レベル調整部２０９では、ＹＣｂＣｒドメインに変換された各リージョンのビットマップデータに対して、背景画像輝度値、合成用閾値、字幕輝度範囲制限情報が用いられて、輝度レベル調整が行われる。この場合、画面あたりのグローバルなパラメータによる字幕の輝度レベル調整（図８参照）、あるいはパーティション毎のパラメータによる字幕の輝度レベル調整（図１２参照）が行われる。
【０１４３】
ビデオデコーダ２０４で得られた伝送ビデオデータＶ１は、ビデオ重畳部２１０に供給される。輝度レベル調整部２０９で得られた輝度レベル調整後の各リージョンのビットマップデータは、ビデオ重畳部２０９に供給される。ビデオ重畳部２１０では、伝送ビデオデータＶ１に各リージョンのビットマップデータが重畳される。
【０１４４】
ビデオ重畳部２１０で得られた、ビットマップデータが重畳された伝送ビデオデータＶ１´は、YCbCr/RGB変換部２１１において、色空間情報 Vの指定に基づいてＹＣｂＣｒ（輝度・色差）ドメインからＲＧＢドメインに変換されて、ＨＤＲ電光変換部２１２に供給される。ＨＤＲ電光変換部２１２では、伝送ビデオデータＶ１´に、ＨＤＲ電光変換特性が適用されて、ＨＤＲ画像を表示するための表示用ビデオデータが得られる。表示用ビデオデータは、ＨＤＲ表示マッピング部２１３に供給される。
【０１４５】
ＨＤＲ表示マッピング部２１３では、表示用ビデオデータに対して、ＣＥモニタ２１４の最大輝度表示能力などに応じた表示輝度調整が行われる。このように表示輝度調整が行われた表示用ビデオデータはＣＥモニタ２１４に供給される。ＣＥモニタ２１４には、この表示用ビデオデータに基づいてＨＤＲ画像が表示される。
【０１４６】
なお、受信装置２００は、サブタイトルストリームＳＳに含まれる字幕情報がビットマップデータである場合にも対処可能とするため、サブタイトルビットマップデコーダ２１５をさらに有する。このサブタイトルビットマップデコーダ２１５は、サブタイトルストリームＳＳにデコード処理を施して、字幕のビットマップデータを得る。この字幕のビットマップデータは、輝度レベル調整部２０９に供給される。
【０１４７】
この場合、サブタイトルストリームＳＳに含まれる字幕情報（伝送データ）はＣＬＵＴに対しての伝送になり、ＣＬＵＴ出力はＹＣｂＣｒドメインである場合もある。そのため、サブタイトルビットマップデコーダ２１５で得られる字幕のビットマップデータは輝度レベル調整部２０９に直接供給されることになる。なお、この場合、受信側では、ＣＬＵＴ出力から、字幕のフォアグランド部の輝度Ｌｆおよび字幕のバックグランド部の輝度Ｌｂを得ることが可能である。
【０１４８】
また、受信装置２００は、ビデオストリームＶＳにルマ・ダイナミックレンジ・ＳＥＩメッセージが符号化されておらず、そのＳＥＩメッセージから背景画像輝度値を取得ができなかった場合に対処可能とするため、輝度レベル計算部２１６をさらに有する。この輝度レベル計算部２１６は、図１４に示す送信装置１００における輝度レベル計算部１０６と同様に構成される（図１５参照）。
【０１４９】
この輝度レベル計算部２１６は、ビデオデコーダ２０４で得られた伝送ビデオデータＶ１に基づいて、ピクチャ毎に、画面全体に対応した輝度最大値「global_content_level_max」、輝度最小値「global_content_level_min」、輝度平均値「global_content_level_ave」を求めると共に、画面を所定数に分割して得られた各分割領域（パーテション）に対応した輝度最大値「partition_content_level_max」、輝度最小値「partition_content_level_min」、輝度平均値「partition_content_level_ave」を求める（図１５参照）。
【０１５０】
また、受信装置２００は、ビデオストリームＶＳにルマ・ダイナミックレンジ・ＳＥＩメッセージが符号化されていないか、またはビデオストリームＶＳにルマ・ダイナミックレンジ・ＳＥＩメッセージが符号化されているが合成用閾値が含まれていなかった場合、さらに、サブタイトルストリームＳＳにも合成用閾値が挿入されていなかった場合に対処可能とするため、閾値設定部２１７を有している。この閾値設定部２１７は、図１４に示す送信装置１００における閾値設定部１０７と同様に構成される。
【０１５１】
この閾値設定部２１７は、電光変換特性（ＥＯＴＦ特性）に基づいて、受信側で字幕の輝度調整をどのように行うかの判断をするための高輝度の閾値「Th_max」、低輝度の閾値「Th_min」、平均輝度の閾値「Th_ave」を設定する（図４参照）。
【０１５２】
図３１、図３２のフローチャートは、受信装置２００における字幕重畳処理の制御手順の一例を示している。受信装置２００は、ステップＳＴ１において、サブタイトルストリームＳＳのサブタイトル・レンダリング・メタデータ・デスクリプを読み、字幕情報の符号化データがテキストベースか否か、および、輝度調整メタ情報の存在を検知する。
【０１５３】
次に、受信装置２００は、ステップＳＴ２において、輝度調整メタ情報が存在するか判断する。存在するとき、受信装置２００は、メタ情報の配置場所を読み取って、その配置場所からメタ情報（色空間情報、合成用閾値、字幕輝度範囲制限情報）を得る。このステップＳＴ３の後、受信装置２００は、ステップＳＴ５の処理に移行する。一方、存在しないとき、受信装置２００は、ステップＳＴ４において、色空間は従来タイプとし、合成用閾値、字幕輝度範囲制限情報は自身で設定する。このステップＳＴ４の後、受信装置２００は、ステップＳＴ５の処理に移行する。
【０１５４】
ステップＳＴ５において、受信装置２００は、字幕情報の符号化データがテキストベースか否か判断する。テキストベースであるとき、受信装置２００は、ステップＳＴ６において、テキストベースの字幕のデコードを行い、字幕合成位置と共に、文字コードからフォント展開して、ビットマップデータにする。その際、展開のサイズと、フォアグランド、バックグランドのカラーでビットマップデータにする。そして、受信装置２００は、ステップＳＴ７において、色空間情報に基づき、字幕のフォアグランドの輝度Ｌｆと、字幕のバックグランドの輝度Ｌｂを求める。このステップＳＴ７の後、受信装置２００は、ステップＳＴ１６の処理に移行する。
【０１５５】
一方、テキストベースでないとき、受信装置２００は、ステップＳＴ８において、サブタイトルストリームをデコードし、字幕ビットマップデータ、字幕合成位置を得る。そして、受信装置２００は、ステップＳＴ９において、ストリームで指定されるＣＬＵＴを通し、字幕のフォアグランドの輝度Ｌｆと、字幕のバックグランドの輝度Ｌｂを求める。このステップＳＴ９の後、受信装置２００は、ステップＳＴ１６の処理に移行する。
【０１５６】
また、受信装置２００は、ステップＳＴ１１において、ＨＤＲ・レンダリング・サポート・デスクリプタを読み、ビデオストリームＶＳのルマ・ダイナミックレンジ・ＳＥＩの有無を検知する。
【０１５７】
次に、受信装置２００は、ステップＳＴ１２において、ルマ・ダイナミックレンジ・ＳＥＩメッセージが存在するか判断する。存在するとき、受信装置２００は、ステップＳＴ１３において、そのＳＥＩメッセージの各要素を読み、背景画像輝度値、合成用閾値を検知する。このステップＳＴ１３の後、受信装置２００は、ステップＳＴ１５の処理に移行する。一方、存在するとき、受信装置２００は、ステップＳＴ１４において、デコード画の輝度レベル計算を行って背景画像輝度値を求め、また、合成用閾値を設定する。このステップＳＴ１４の後、受信装置２００は、ステップＳＴ１５の処理に移行する。
【０１５８】
ステップＳＴ１５において、受信装置２００は、パーティション分割の情報があるか判断する。パーティションの分割情報があるとき、受信装置２００は、ステップＳＴ１６において、低輝度、高輝度なオブジェクトが字幕合成（重畳）位置と離れているか判断する。離れていないとき、受信装置２００は、ステップＳＴ１８の処理に移行する。一方、離れているとき、受信装置２００は、ステップＳＴ１７において、パーティション分割情報による輝度レベル調整処理をする。このステップＳＴ１７の後、受信装置２００は、ステップＳＴ１９の処理に移行する。
【０１５９】
ステップＳＴ１８において、受信装置２００は、グローバルな輝度レベル調整処理をする。このステップＳＴ８の後、受信装置２００は、ステップＳＴ１９の処理に移行する。ステップＳＴ１９において、受信装置２００は、調整後の輝度で背景画像に字幕を合成（重畳）する。このステップＳＴ１９の後、受信装置２００は、ステップＳＴ２０において、処理を終了する。
【０１６０】
図３３のフローチャートは、受信装置２００におけるグローバルな輝度レベル調整処理の一例を示している。受信装置２００は、ステップＳＴ２１において、処理を開始する。そして、受信装置２００は、ステップＳＴ２２において、最大輝度値は高輝度の閾値より高い値か判断する。高い値であるとき、受信装置２００は、ステップＳＴ２３において、最小輝度値は低輝度の閾値より低い値であるか判断する。低い値でないとき、受信装置２００は、ステップＳＴ２４において、字幕の最大と最小の比が指定されている場合、その範囲に収まるように、字幕のバックグランドの輝度レベルを修正する（図１０（ａ−２）参照）。
【０１６１】
また、ステップＳＴ２３で低い値であるとき、受信装置２００は、ステップＳＴ２５において、平均輝度値は平均輝度の閾値より高い値であるか判断する。高い値であるとき、受信装置２００は、ステップＳＴ２６において、字幕の最大と最小の比が指定されている場合、その範囲に収まるように、字幕のバックグランドの輝度レベルを修正する（図１１（ｄ−２）参照）。一方、高い値でないとき、受信装置２００は、ステップＳＴ２７において、字幕の最大と最小の比が指定されている場合、その範囲に収まるように、字幕のフォアグランドの輝度レベルを修正する（図１１（ｃ−２）参照）。
【０１６２】
また、ステップＳＴ２２で高い値でないとき、受信装置２００は、ステップＳＴ２８において、最小輝度値は低輝度の閾値より低い値か判断する。低い値であるとき、受信装置２００は、ステップＳＴ２９において、字幕の最大と最小の比が指定されている場合、その範囲に収まるように、字幕のフォアグランドの輝度レベルを修正する（図１０（ｂ−２）参照）。一方、低い値でないとき、受信装置２００は、ステップＳＴ３０において、字幕の輝度調整はしない。
【０１６３】
なお、パーティション分割情報による輝度レベル調整処理に関しては、受信装置２００は、図３３のフロー処理をパーティション分割単位で行って、分割毎の結果のうち、最終的な決定を、多数決で行うか、あるいは優先度（１から始まる）をつけておき、その順で行う。例えば、優先度に関しては、例えば、図３３のステップＳＴ２４に対応する結果は優先度１とされ（図１３の例では分割Ｄの結果）、図３３のステップＳＴ２６に対応する結果は優先度２とされ（図１３の例では分割Ｃの結果）、図３３のステップＳＴ２９に対応する結果は優先度３とされ（図１３の例では分割Ｆの結果）、図３３のステップＳＴ２７に対応する結果は優先度４とされる（図１３の例では分割Ｅの結果）。
【０１６４】
上述したように、図１に示す送受信システム１０において、ビデオストリームＶＳおよびサブタイトルストリームＳＳに、字幕の輝度レベルを調整するための輝度レベル調整情報が挿入されるものである。そのため、受信側で字幕の輝度レベル調整を良好に行うことができ、視覚疲労の抑制、背景画像の雰囲気が損なわれることの抑制などが可能となる。
【０１６５】
また、図１に示す送受信システム１０において、トランスポートストリームＴＳ（コンテナ）に、ビデオストリームＶＳに輝度レベル調整情報の挿入があることを示す識別情報が挿入されるものである。そのため、受信側では、この識別情報によりビデオストリームＶＳに輝度レベル調整情報の挿入があることを容易に認識できる。
【０１６６】
また、図１に示す送受信システム１０において、トランスポートストリームＴＳ（コンテナ）に、サブタイトルストリームＳＳに輝度レベル調整情報の挿入があることを示す識別情報が挿入されるものである。そのため、受信側では、この識別情報によりサブタイトルストリームＳＳに輝度レベル調整情報の挿入があることを容易に認識できる。
【０１６７】
＜２．変形例＞
なお、上述実施の形態において、コンテナがトランスポートストリーム（ＭＰＥＧ−２  ＴＳ）である例を示した。しかし、本技術は、トランスポートがＴＳと限定されるものではなく、他のパケット、例えばＩＳＯＢＭＦＦやＭＭＴなどの場合でも、ビデオのレイヤは同一の方法で実現できる。また、サブタイトルストリームは、既述のように、ＴＴＭＬをセグメントに載せたうえで多重化のペイロードに配置したＰＥＳパケットで構成されることに限定する必要はなく、本技術の内容は、上記多重化ペイロードに配置するＰＥＳパケットあるいはセクション部にＴＴＭＬを直接配置することによっても実現可能である。
【０１６８】
また、本技術は、以下のような構成を取ることもできる。
（１）画像データを持つビデオストリームを生成するビデオエンコーダと、
字幕情報を持つサブタイトルストリームを生成するサブタイトルエンコーダと、
上記ビデオストリームおよび/または上記サブタイトルストリームに、字幕の輝度レベルを調整するための輝度レベル調整情報を挿入する調整情報挿入部と、
上記ビデオストリームと上記サブタイトルストリームを含む所定フォーマットのコンテナを送信する送信部を備える
送信装置。
（２）上記輝度レベル調整情報は、画面全体に対応した輝度レベル調整情報および/または画面を所定数に分割して得られた各分割領域に対応した輝度レベル調整情報である
前記（１）に記載の送信装置。
（３）上記ビデオストリームに挿入される輝度レベル調整情報には、上記画像データに基づいて生成された輝度最大値、輝度最小値、輝度平均値が含まれる
前記（２）に記載の送信装置。
（４）上記ビデオストリームに挿入される輝度レベル調整情報には、電光変換特性に基づいて設定された高輝度の閾値、低輝度の閾値、平均輝度の閾値がさらに含まれる
前記（３）に記載の送信装置。
（５）上記サブタイトルストリームに挿入される輝度レベル調整情報には、字幕輝度範囲制限情報が含まれる
前記（２）に記載の送信装置。
（６）上記サブタイトルストリームに挿入される輝度レベル調整情報には、電光変換特性に基づいて設定された高輝度の閾値、低輝度の閾値、平均輝度の閾値がさらに含まれる
前記（５）に記載の送信装置。
（７）上記サブタイトルストリームに挿入される輝度レベル調整情報には、色空間情報がさらに含まれる
前記（５）または（６）に記載の送信装置。
（８）上記サブタイトルエンコーダは、ＴＴＭＬの字幕のテキスト情報に基づいて上記サブタイトルストリームを生成し、
上記調整情報挿入部は、ＴＴＭＬ構造のヘッダに存在するメタデータの要素を利用して上記輝度レベル調整情報を挿入する
前記（１）から（７）のいずれかに記載の送信装置。
（９）上記サブタイトルエンコーダは、ＴＴＭＬの字幕のテキスト情報に基づいて上記サブタイトルストリームを生成し、
上記調整情報挿入部は、ＴＴＭＬ構造のヘッダに存在するスタイリング・エクステンションの要素を利用して上記輝度レベル調整情報を挿入する
前記（１）から（７）のいずれかに記載の送信装置。
（１０）上記サブタイトルエンコーダは、セグメントを構成要素とする上記サブタイトルストリームを生成し、
上記調整情報挿入部は、上記サブタイトルストリームに、上記輝度レベル調整情報を含むセグメントを挿入する
前記（１）から（７）のいずれかに記載の送信装置。
（１１）上記ビデオストリームに上記輝度レベル調整情報の挿入があることを示す識別情報を上記コンテナに挿入する識別情報挿入部をさらに備える
前記（１）から（１０）のいずれかに記載の送信装置。
（１２）上記サブタイトルストリームに上記輝度レベル調整情報の挿入があることを示す識別情報を上記コンテナに挿入する識別情報挿入部をさらに備える
前記（１）から（１１）のいずれかに記載の送信装置。
（１３）上記識別情報には、上記輝度レベル調整情報の上記サブタイトルストリームにおける挿入位置を示す情報が付加される
前記（１２）に記載の送信装置。
（１４）画像データを含むビデオストリームを生成するビデオエンコードステップと、
字幕データを含むサブタイトルストリームを生成するサブタイトルエンコードステップと、
上記ビデオストリームおよび/または上記サブタイトルストリームに、字幕の輝度レベルを調整するための輝度レベル調整情報を挿入する調整情報挿入ステップと、
送信部により、上記ビデオストリームと上記サブタイトルストリームを含む所定フォーマットのコンテナを送信する送信ステップを有する
送信方法。
（１５）画像データを持つビデオストリームと字幕情報を持つサブタイトルストリームを含む所定フォーマットのコンテナを受信する受信部と、
上記ビデオストリームにデコード処理をして画像データを得るビデオデコード部と、
上記サブタイトルストリームにデコード処理をして字幕のビットマップデータを得るサブタイトルデコード部と、
上記ビットマップデータに、輝度レベル調整情報に基づいて、輝度レベル調整処理を行う輝度レベル調整部と、
上記ビデオデコード部で得られた画像データに上記輝度レベル調整部で得られた輝度レベル調整後のビットマップデータを重畳するビデオ重畳部を備える
受信装置。
（１６）上記輝度レベル調整部は、上記ビデオストリームおよび/または上記サブタイトルストリームに挿入されている上記輝度レベル調整情報を用いて輝度レベル調整を行う
前記（１５）に記載の受信装置。
（１７）上記輝度レベル調整情報を生成する輝度レベル調整情報生成部をさらに備え、
上記輝度レベル調整部は、上記輝度レベル調整情報生成部で生成された上記輝度レベル調整情報を用いて輝度レベル調整を行う
前記（１５）に記載の受信装置。
（１８）受信部により、画像データを持つビデオストリームと字幕情報を持つサブタイトルストリームを含む所定フォーマットのコンテナを受信する受信ステップと、
上記ビデオストリームにデコード処理をして画像データを得るビデオデコードステップと、
上記サブタイトルストリームにデコード処理をして字幕のビットマップデータを得るサブタイトルデコードステップと、
上記ビットマップデータに、輝度レベル調整情報に基づいて、輝度レベル調整処理を行う輝度レベル調整ステップと、
上記ビデオデコードステップで得られた画像データに上記輝度レベル調整ステップで得られた輝度レベル調整後のビットマップデータを重畳するビデオ重畳ステップを有する
受信方法。
（１９）ハイダイナミックレンジ画像データにハイダイナミックレンジ光電変換を行って得られた伝送ビデオデータを含むビデオストリームを所定フォーマットのコンテナで送信する送信部と、
上記ビデオストリームがハイダイナミックレンジに対応していることを示す識別情報を上記コンテナに挿入する識別情報挿入部を備える
送信装置。
（２０）画像データを含むビデオストリームと字幕のテキスト情報を持つサブタイトルストリームを所定フォーマットのコンテナで送信する送信部と、
字幕がテキストコードで伝送されることを示す識別情報を上記コンテナに挿入する識別情報挿入部を備える
送信装置。
【０１６９】
本技術の主な特徴は、ビデオストリームＶＳやサブタイトルストリームＳＳに字幕の輝度レベルを調整するための輝度レベル調整情報を挿入することで、受信側で字幕の輝度レベル調整を良好に行うことができ、視覚疲労の抑制、背景画像の雰囲気が損なわれることの抑制などを可能としたことである（図２７参照）。
【符号の説明】
【０１７０】
１０・・・送受信システム
１００・・・送信装置
１０１・・・制御部
１０２・・・ＨＤＲカメラ
１０３・・・ＨＤＲ光電変換部
１０３ａ・・・マスターモニタ
１０４・・・RGB/YCbCr変換部
１０５・・・ビデオエンコーダ
１０６・・・輝度レベル計算部
１０６ａ，１０６ｂ・・・画素値比較部
１０７・・・閾値設定部
１０８・・・字幕発生部
１０９・・・テキストフォーマット変換部
１１０・・・サブタイトルエンコーダ
１１１・・・システムエンコーダ
１１２・・・送信部
２００・・・受信装置
２０１・・・制御部
２０２・・・受信部
２０３・・・システムデコーダ
２０４・・・ビデオデコーダ
２０５・・・サブタイトルテキストデコーダ
２０６・・・フォント展開部
２０８・・・RGB/YCbCr変換部
２０９・・・輝度レベル調整部
２１０・・・ビデオ重畳部
２１１・・・YCbCr/RGB変換部
２１２・・・ＨＤＲ電光変換部
２１３・・・ＨＤＲ表示マッピング部
２１４・・・ＣＥモニタ
【図１】
2016125691.tif 000003
【図２】
2016125691.tif 000004
【図３】
2016125691.tif 000005
【図４】
2016125691.tif 000006
【図５】
2016125691.tif 000007
【図６】
2016125691.tif 000008
【図７】
2016125691.tif 000009
【図８】
2016125691.tif 000010
【図９】
2016125691.tif 000011
【図１０】
2016125691.tif 000012
【図１１】
2016125691.tif 000013
【図１２】
2016125691.tif 000014
【図１３】
2016125691.tif 000015
【図１４】
2016125691.tif 000016
【図１５】
2016125691.tif 000017
【図１６】
2016125691.tif 000018
【図１７】
2016125691.tif 000019
【図１８】
2016125691.tif 000020
【図１９】
2016125691.tif 000021
【図２０】
2016125691.tif 000022
【図２１】
2016125691.tif 000023
【図２２】
2016125691.tif 000024
【図２３】
2016125691.tif 000025
【図２４】
2016125691.tif 000026
【図２５】
2016125691.tif 000027
【図２６】
2016125691.tif 000028
【図２７】
2016125691.tif 000029
【図２８】
2016125691.tif 000030
【図２９】
2016125691.tif 000031
【図３０】
2016125691.tif 000032
【図３１】
2016125691.tif 000033
【図３２】
2016125691.tif 000034
【図３３】
2016125691.tif 000035
【国際調査報告】
2016125691.tif 000036
2016125691.tif 000037
2016125691.tif 000038
2016125691.tif 000039
2016125691.tif 000040
2016125691.tif 000041
2016125691.tif 000042
2016125691.tif 000043
2016125691.tif 000044