(57)【要約】【課題】３Ｄ対応の受信装置が、重畳情報のデータとともに、対応する視差情報の取得を適確に行い得るようにする。【解決手段】多重化データストリームに、重畳情報のデータを含む第１のプライベートデータストリーム（２Ｄストリーム）と視差情報を含む第２のプライベートデータストリーム（３Ｄ拡張ストリーム）を持たせる。多重化データストリームに、多重化データストリームには、第１のプライベートデータストリームおよび第２のプライベートデータストリームを関連付ける関連付け情報を挿入する。例えば、関連付け情報として、双方のストリームに関する情報を記述するそれぞれのデスクリプタに共通の識別情報を記述する。受信側の３Ｄ対応の受信装置では、この関連付け情報に基づいて、双方のストリームを効率よく適確に抽出してデコードできる。【選択図】図１５
2013051660.tif 000002
【特許請求の範囲】
【請求項１】
立体画像を構成する左眼画像データおよび右眼画像データを出力する画像データ出力部と、
上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを出力する重畳情報データ出力部と、
上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を出力する視差情報出力部と、
上記画像データを含むビデオデータストリームと、上記重畳情報のデータを含む第１のプライベートデータストリームと、上記視差情報を含む第２のプライベートデータストリームとを有する多重化データストリームを送信するデータ送信部とを備え、
上記多重化データストリームに、上記第１のプライベートデータストリームおよび上記第２のプライベートデータストリームを関連付ける関連付け情報が挿入される
送信装置。
【請求項２】
上記関連付け情報として、上記第１のプライベートデータストリームに関する情報を記述する第１のデスクリプタおよび上記第２のプライベートデータストリームに関する情報を記述する第２のデスクリプタに共通の識別情報が記述される
請求項１に記載の送信装置。
【請求項３】
上記共通の識別情報は、上記第１のプライベートデータストリームおよび上記第２のプライベートデータストリームが存在することを示す特殊な値で定義される
請求項２に記載の送信装置。
【請求項４】
上記多重化データストリームは、複数の言語サービスにそれぞれ対応した上記第１のプライベートデータストリームおよび上記第２のプライベートデータストリームを有し、
各言語サービスに対応した上記共通の識別情報は互いに異なるように設定される
請求項２に記載の送信装置。
【請求項５】
上記重畳情報のデータは、ＤＶＢ方式のサブタイトルデータであり、
上記第１のプライベートデータストリームに対応した第１のサブタイトル・デスクリプタおよび上記第２のプライベートデータストリームに対応したサブタイトル・デスクリプタには、共通のコンポション・ページＩＤが記述される
請求項２に記載の送信装置。
【請求項６】
上記第１のデスクリプタおよび上記第２のデスクリプタには言語情報が記述され、
上記第２のデスクリプタに記述される言語情報は非言語を示すように設定される
請求項２に記載の送信装置。
【請求項７】
上記非言語を示す言語情報は、ＩＳＯ言語コードを示す「ｚｘｘ」、あるいは「ｑａａ」から「ｑｒｚ」の空間に含まれる言語コードのいずれかである
請求項６に記載の送信装置。
【請求項８】
上記関連付け情報として、上記第１のプライベートデータストリームに関する情報を記述する第１のデスクリプタおよび上記第２のプライベートデータストリームに関する情報を記述する第２のデスクリプタに共通の識別情報が記述され、
上記第１のデスクリプタおよび上記第２のデスクリプタに立体画像表示用の情報であることを示すタイプ情報が記述される
請求項１に記載の送信装置。
【請求項９】
上記重畳情報のデータは、ＤＶＢ方式のサブタイトルデータであり、
上記タイプ情報は、サブタイトルタイプ情報である
請求項８に記載の送信装置。
【請求項１０】
上記第１のデスクリプタおよび上記第２のデスクリプタには言語情報が記述され、
上記第２のデスクリプタに記述される言語情報は非言語を示すように設定される
請求項８に記載の送信装置。
【請求項１１】
上記非言語を示す言語情報は、ＩＳＯ言語コードを示す「ｚｘｘ」、あるいは「ｑａａ」から「ｑｒｚ」の空間に含まれる言語コードのいずれかである
請求項１０に記載の送信装置。
【請求項１２】
上記多重化データストリームには、上記第１のプライベートデータストリームおよび上記第２のプライベートデータストリームを紐付けるための専用の紐付け情報が記述されるデスクリプタが挿入される
請求項１に記載の送信装置。
【請求項１３】
上記デスクリプタは、上記専用の紐付け情報を記述するための専用のデスクリプタである
請求項１２に記載の送信装置。
【請求項１４】
立体画像を構成する左眼画像データおよび右眼画像データを出力する画像データ出力ステップと、
上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを出力する重畳情報データ出力ステップと、
上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を出力する視差情報出力ステップと、
上記画像データを含むビデオデータストリームと、上記重畳情報のデータを含む第１のプライベートデータストリームと、上記視差情報を含む第２のプライベートデータストリームとを有する多重化データストリームを送信するデータ送信ステップとを備え、
上記多重化データストリームに、上記第１のプライベートデータストリームおよび上記第２のプライベートデータストリームを関連付ける関連付け情報が挿入される
送信方法。
【請求項１５】
立体画像を構成する左眼画像データおよび右眼画像データをを含むビデオデータストリームと、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを含む第１のプライベートデータストリームと、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を含む第２のプライベートデータストリームとを有する多重化データストリームを受信するデータ受信部と、
上記上記多重化データストリームから上記ビデオデータストリームを抽出してデコードする第１のデコード部と、
上記多重化データストリームから上記第１のプライベートデータストリームおよび上記第２のプライベートデータストリームを抽出してデコードする第２のデコード部とを備え、
上記多重化データストリームには、上記第１のプライベートデータストリームおよび上記第２のプライベートデータストリームを関連付ける関連付け情報が挿入されており、
上記第２のデコード部は、上記関連付け情報に基づいて、上記多重化データストリームから上記第１のプライベートデータストリームおよび上記第２のプライベートデータストリームを抽出する
受信装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、送信装置、送信方法および受信装置に関する。特に、本技術は、左眼画像データおよび右眼画像データを持つ立体画像データと共に、重畳情報のデータおよび視差情報を送信する送信装置等に関する。
【背景技術】
【０００２】
例えば、特許文献１には、立体画像データのテレビ放送電波を用いた伝送方式について提案されている。この伝送方式では、左眼用画像データおよび右眼用画像データを持つ立体画像データが送信され、両眼視差を利用した立体画像表示が行われる。
【０００３】
図７９は、両眼視差を利用した立体画像表示において、スクリーン上におけるオブジェクト（物体）の左右像の表示位置と、その立体像の再生位置との関係を示している。例えば、スクリーン上に図示のように左像Ｌａが右側に右像Ｒａが左側にずれて表示されているオブジェクトＡに関しては、左右の視線がスクリーン面より手前で交差するため、その立体像の再生位置はスクリーン面より手前となる。ＤＰａは、オブジェクトＡに関する水平方向の視差ベクトルを表している。
【０００４】
また、例えば、スクリーン上に図示のように左像Ｌｂおよび右像Ｒｂが同一位置に表示されているオブジェクトＢに関しては、左右の視線がスクリーン面で交差するため、その立体像の再生位置はスクリーン面上となる。さらに、例えば、スクリーン上に図示のように左像Ｌｃが左側に右像Ｒｃが右側にずれて表示されているオブジェクトＣに関しては、左右の視線がスクリーン面より奥で交差するため、その立体像の再生位置はスクリーン面より奥となる。ＤＰｃは、オブジェクトＣに関する水平方向の視差ベクトルを表している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−６１１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述したように立体画像表示において、視聴者は、両眼視差を利用して、立体画像の遠近感を知覚することが普通である。画像に重畳される重畳情報、例えば字幕等に関しても、２次元空間的のみならず、３次元の奥行き感としても、立体画像表示と連動してレンダリングされることが期待される。例えば、画像に字幕を重畳(オーバーレイ)表示する場合、遠近感でいうところの最も近い画像内の物体（オブジェクト）よりも手前に表示されないと、視聴者は、遠近感の矛盾を感じる場合がある。
【０００７】
そこで、重畳情報のデータと共に、左眼画像および右眼画像の間の視差情報を送信し、受信側で、左眼重畳情報および右眼重畳情報との間に視差を付与することが考えられる。このように立体画像を表示し得る受信装置において視差情報は有意義な情報である。放送局から、重畳情報のデータと視差情報とが別個のプライベートデータストリーム（ＰＥＳストリーム）で送信される場合、３Ｄ対応の受信装置では、２つのＰＥＳストリームの存在を容易に認識し、重畳情報のデータとともに、対応する視差情報を取得することが必要となる。
【０００８】
本技術の目的は、３Ｄ対応の受信装置が、重畳情報のデータとともに、対応する視差情報の取得を適確に行い得るようにすることにある。
【課題を解決するための手段】
【０００９】
本技術の概念は、
立体画像を構成する左眼画像データおよび右眼画像データを出力する画像データ出力部と、
上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを出力する重畳情報データ出力部と、
上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を出力する視差情報出力部と、
上記画像データを含むビデオデータストリームと、上記重畳情報のデータを含む第１のプライベートデータストリームと、上記視差情報を含む第２のプライベートデータストリームとを有する多重化データストリームを送信するデータ送信部とを備え、
上記多重化データストリームに、上記第１のプライベートデータストリームおよび上記第２のプライベートデータストリームを関連付ける関連付け情報が挿入される
送信装置にある。
【００１０】
本技術において、画像データ出力部により、立体画像を構成する左眼画像データおよび右眼画像データが出力される。重畳情報データ出力部により、左眼画像データおよび右眼画像データによる画像に重畳する重畳情報のデータが出力される。ここで、重畳情報は、画像に重畳される字幕、グラフィクス、テキストなどの情報である。視差情報出力部により、左眼画像データおよび右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報が出力される。
【００１１】
データ送信部により、多重化データストリームが送信される。この多重化データストリームは、画像データを含むビデオデータストリームと、重畳情報のデータを含む第１のプライベートデータストリームと、視差情報を含む第２のプライベートデータストリームとを有するものとされる。多重化データストリームには、第１のプライベートデータストリームおよび第２のプライベートデータストリームを関連付ける関連付け情報が挿入されている。
【００１２】
本技術において、例えば、関連付け情報として、第１のプライベートデータストリームに関する情報を記述する第１のデスクリプタおよび第２のプライベートデータストリームに関する情報を記述する第２のデスクリプタに共通の識別情報が記述される、ようにしてもよい。この場合、共通の識別情報は、第１のプライベートデータストリームおよび第２のプライベートデータストリームが存在することを示す特殊な値で定義されてもよい。
【００１３】
また、本技術において、多重化データストリームは、複数の言語サービスにそれぞれ対応した第１のプライベートデータストリームおよび第２のプライベートデータストリームを有し、各言語サービスに対応した共通の識別情報は互いに異なるように設定されてもよい。これにより、多言語サービスにおいても、受信側の３Ｄの受信装置においては、言語サービス毎に関連付けされた第１のプライベートデータストリームおよび第２のプライベートデータストリームを正しく抽出してデコードすることが可能となる。
【００１４】
また、本技術において、例えば、重畳情報のデータは、ＤＶＢ方式のサブタイトルデータであり、第１のプライベートデータストリームに対応した第１のサブタイトル・デスクリプタおよび第２のプライベートデータストリームに対応したサブタイトル・デスクリプタには、共通のコンポション・ページＩＤが記述される、ようにしてもよい。
【００１５】
また、本技術において、例えば、第１のデスクリプタおよび第２のデスクリプタには言語情報が記述され、第２のデスクリプタに記述される言語情報は非言語を示すように設定されてもよい。この場合、例えば、非言語を示す言語情報は、ＩＳＯ言語コードを示す「ｚｘｘ」、あるいは「ｑａａ」から「ｑｒｚ」の空間に含まれる言語コードのいずれかとされる。これにより、レガシーの２Ｄの受信装置で、視差情報を含む第２のプライベートデータストリームが抽出されてデコードされることを防止でき、視差情報が受信処理の妨げとなることを防止できる。
【００１６】
このように本技術において、多重化データストリームには、第１のプライベートデータストリームおよび第２のプライベートデータストリームを関連付ける関連付け情報が挿入されている。そのため、受信側の３Ｄ対応の受信装置では、この関連付け情報に基づいて、関連付けされた第１のプライベートデータストリームおよび第２のプライベートデータストリームを効率よく適確に抽出してデコードすることが可能となる。
【００１７】
また、本技術において、例えば、関連付け情報として、第１のプライベートデータストリームに関する情報を記述する第１のデスクリプタおよび第２のプライベートデータストリームに関する情報を記述する第２のデスクリプタに共通の識別情報が記述され、第１のデスクリプタおよび第２のデスクリプタに立体画像表示用の情報であることを示すタイプ情報が記述される、ようにしてもよい。例えば、重畳情報のデータはＤＶＢ方式のサブタイトルデータであり、タイプ情報はサブタイトルタイプ情報とされる。
【００１８】
この場合、立体画像表示用の情報であることを示すタイプ情報が記述されているにもかかわらず、第１のプライベートデータストリームには視差情報が含まれていないので、受信側の３Ｄ対応の受信装置では、視差情報を含む第２のプライベートデータストリームを認識し、共通の識別情報に基づいて見つけて、デコードすることが可能となる。
【００１９】
また、本技術において、例えば、多重化データストリームには、第１のプライベートデータストリームおよび第２のプライベートデータストリームを紐付けるための専用の紐付け情報が記述されるデスクリプタが挿入される、ようにしてもよい。例えば、デスクリプタは、専用の紐付け情報を記述するための専用のデスクリプタとされる。あるいは、既存のデスクリプタを拡張して関連付け情報を記述することも可能である。この場合、デスクリプタは、第１のプライベートデータストリームおよび第２のプライベートデータストリームに対応した第１のデスクリプタおよび第２のデスクリプタであり、それらに共通の識別情報が記述される。
【００２０】
また、本技術の他の概念は、
立体画像を構成する左眼画像データおよび右眼画像データをを含むビデオデータストリームと、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを含む第１のプライベートデータストリームと、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を含む第２のプライベートデータストリームとを有する多重化データストリームを受信するデータ受信部と、
上記上記多重化データストリームから上記ビデオデータストリームを抽出してデコードする第１のデコード部と、
上記多重化データストリームから上記第１のプライベートデータストリームおよび上記第２のプライベートデータストリームを抽出してデコードする第２のデコード部とを備え、
上記多重化データストリームには、上記第１のプライベートデータストリームおよび上記第２のプライベートデータストリームを関連付ける関連付け情報が挿入されており、
上記第２のデコード部は、上記関連付け情報に基づいて、上記多重化データストリームから上記第１のプライベートデータストリームおよび上記第２のプライベートデータストリームを抽出する
受信装置にある。
【００２１】
本技術において、データ受信部により、ビデオデータストリーム、第１のプライベートデータストリームおよび第２のプライベートデータストリームを有する多重化データストリームが受信される。そして、第１のデコード部により、多重化データストリームからビデオデータストリームが抽出されてデコードされる。また、第２のデコード部により、多重化データストリームから第１のプライベートデータストリームおよび第２のプライベートデータストリームが抽出されてデコードされる。
【００２２】
ここで、多重化データストリームには、第１のプライベートデータストリームおよび第２のプライベートデータストリームを関連付ける関連付け情報が挿入されている。そのため、第２のデコード部では、この関連付け情報に基づいて、関連付けされた第１のプライベートデータストリームおよび第２のプライベートデータストリームを正しく抽出してデコードし、重畳情報のデータと共に、それに対応した視差情報を取得することが可能となる。
【発明の効果】
【００２３】
本技術によれば、３Ｄ対応の受信装置が、重畳情報のデータとともに、対応する視差情報の取得を容易に行い得る。
【図面の簡単な説明】
【００２４】
【図１】この発明の実施の形態としての画像送受信システムの構成例を示すブロック図である。
【図２】放送局における送信データ生成部の構成例を示すブロック図である。
【図３】１９２０×１０８０のピクセルフォーマットの画像データを示す図である。
【図４】立体画像データ（３Ｄ画像データ）の伝送方式である「Top & Bottom」方式、「Side By Side」方式、「Frame Sequential」方式を説明するための図である。
【図５】左眼画像に対する右眼画像の視差ベクトルを検出する例を説明するための図である。
【図６】視差ベクトルをブロックマッチング方式で求めることを説明するための図である。
【図７】ピクセル（画素）毎の視差ベクトルの値を各ピクセル（各画素）の輝度値として用いた場合の画像例を示す図である。
【図８】ブロック（Block）毎の視差ベクトルの一例を示す図である。
【図９】送信データ生成部の視差情報作成部で行われるダウンサイジング処理を説明するための図である。
【図１０】サブタイトルデータにおいて、画面上に定義されるリージョンと、このリージョン内に定義されるサブリージョンの一例を示す図である。
【図１１】トランスポートストリームＴＳが有する２Ｄストリームおよび３Ｄ拡張ストリームの構成を示す図である。
【図１２】２Ｄストリーム（ＰＥＳ１(1)：ＰＥＳ＃１）と３Ｄ拡張フレーム（ＰＥＳ２(2)：ＰＥＳ＃２）のＰＥＳヘッダに挿入されるタイムスタンプ（ＰＴＳ）の値が関連付けされることを説明するための図である。
【図１３】２Ｄストリームと３Ｄ拡張ストリームのタイムスタンプ（ＰＴＳ）の値が異なる値に設定される例を示す図である。
【図１４】２Ｄストリームと３Ｄ拡張ストリームのタイムスタンプ（ＰＴＳ）の値が異なる値に設定される他の例を示す図である。
【図１５】２Ｄストリームおよび３Ｄ拡張ストリームを有するトランスポートストリームＴＳの構成例を示す図である。
【図１６】サブタイトルデータを構成するＰＣＳ（page_composition_segment）の構造を示す図である。
【図１７】「segment_type」の各値とセグメントタイプとの対応関係を示す図である。
【図１８】新たに定義される３Ｄ用サブタイトルのフォーマットを示す情報（Component_type=0x15，0x25）を説明するための図である。
【図１９】トランスポートストリームに挿入されているサブタイトル・デスクリプタ（Subtitling_descriptor）およびコンポーネント・デスクリプタ（Component_descriptor）を取り出して示した図である。
【図２０】トランスポートストリームに挿入されているＰＥＳストリーム（２Ｄストリーム、３Ｄ拡張ストリーム）を取り出して示した図である。
【図２１】非言語を示すＩＳＯ言語コードとして、ＩＳＯ言語コードの「ｑａａ」から「ｑｒｚ」の空間に含まれる言語コードのいずれかを使用することを示す図である。
【図２２】ＩＳＯ言語コード（ISO 639-2 Code）リストの抜粋を示す図である。
【図２３】サブタイトルデータストリーム（２Ｄストリームおよび３Ｄ拡張ストリーム）のストリーム構成例を示す図である。
【図２４】コンポーネント・デスクリプタ（Component_descriptor）の構造例（syntax）を示す図である。
【図２５】サブタイトル・デスクリプタ（Subtitling_descriptor）の構造例（syntax）を示す図である。
【図２６】インターバル期間（Interval period）を用いた視差情報の更新例であって、インターバル期間が固定で、しかも、その期間が更新期間と等しい場合を示す図である。
【図２７】インターバル期間（Interval period）を用いた視差情報の更新例であって、インターバル期間を短期間とした場合の視差情報の更新例を示す図である。
【図２８】３Ｄ拡張ストリームの構成例を示す図である。
【図２９】ＤＳＳセグメントを順次送信する場合における、視差情報の更新例を示す図である。
【図３０】更新フレーム間隔が単位期間としてのインターバル期間（ＩＤ：Interval Duration）の倍数で表される視差情報（disparity）の更新例を示す図である。
【図３１】ページ領域（Area for Page_default）に字幕表示領域としてのリージョン（Region）が２つ含まれているサブタイトルの表示例を示す図である。
【図３２】ＤＳＳのセグメントに、字幕表示期間に順次更新される視差情報（Disparity）として、リージョン単位の視差情報と全てのリージョンを含むページ単位の視差情報の双方が含まれている場合において、各リージョンとページの視差情報カーブの一例を示す図である。
【図３３】ページおよび各リージョンの視差情報がどのような構造で送られるかを示す図である。
【図３４】ＤＳＳの構造例（syntax）を示す図（１／３）である。
【図３５】ＤＳＳの構造例を示す図（２／３）である。
【図３６】ＤＳＳの構造例を示す図（３／３）である。
【図３７】ＤＳＳの主要なデータ規定内容（semantics）を示す図（１／４）である。
【図３８】ＤＳＳの主要なデータ規定内容を示す図（２／４）である。
【図３９】ＤＳＳの主要なデータ規定内容を示す図（３／４）である。
【図４０】ＤＳＳの主要なデータ規定内容を示す図（４／４）である。
【図４１】セットトップボックスおよびテレビ受信機が３Ｄ対応機器である場合の放送受信概念を示す図である。
【図４２】セットトップボックスおよびテレビ受信機がレガシー２Ｄ対応機器である場合の放送受信概念を示す図である。
【図４３】受信機がレガシーの２Ｄ対応機器（2D Receiver）である場合および３Ｄ対応機器（3D Receiver）である場合の放送受信概念をまとめて示す図である。
【図４４】２言語サービスが存在する場合におけるサブタイトルデータストリーム（２Ｄストリーム、３Ｄ拡張ストリーム）のストリーム構成例を示す図である。
【図４５】２言語サービスが存在する場合におけるトランスポートストリームＴＳの構成例を示す図である。
【図４６】３Ｄ拡張ストリームをアンシラリ・ページとして運用する場合におけるサブタイトルデータストリーム（２Ｄストリーム、３Ｄ拡張ストリーム）のストリーム構成例を示す図である。
【図４７】３Ｄ拡張ストリームをアンシラリ・ページとして運用する場合におけるトランスポートストリームＴＳの構成例を示す図である。
【図４８】３Ｄサービス判断を行う際の情報を説明するための図である。
【図４９】受信機（セットトップボックス）における３Ｄサービスの判断処理の一例を示すフローチャートである。
【図５０】受信機（セットトップボックス）における３Ｄサービスの判断処理の他の一例を示すフローチャートである。
【図５１】３Ｄサービスであると判断した場合における受信機（セットトップボックス）の処理の流れを概略的に示すフローチャートである。
【図５２】３ＤのＰＥＳストリーム（３Ｄストリーム）の構成例を示す図である。
【図５３】画像上における字幕（グラフィクス情報）の表示例と、背景、近景オブジェクト、字幕の遠近感を示す図である。
【図５４】画像上における字幕の表示例と、字幕を表示するための左眼字幕ＬＧＩおよび右眼字幕ＲＧＩを示す図である。
【図５５】画像送受信システムを構成するセットトップボックスの構成例を示すブロック図である。
【図５６】セットトップボックスを構成するビットストリーム処理部の構成例（３Ｄ対応）を示すブロック図である。
【図５７】２Ｄストリーム、３Ｄ拡張ストリームを関連付けるために使用できるマルチ・デコーディング・デスクリプタの構造例（syntax）を示す図である。
【図５８】画像送受信システムを構成するテレビ受信機の構成例を示すブロック図である。
【図５９】２Ｄストリームの“subtitling_type”が３Ｄに設定される場合におけるサブタイトルデータストリーム（２Ｄストリーム、３Ｄ拡張ストリーム）のストリーム構成例を示す図である。
【図６０】２Ｄストリームの“subtitling_type”が３Ｄに設定される場合におけるトランスポートストリームＴＳの構成例を示す図である。
【図６１】２言語サービスが存在する場合におけるサブタイトルデータストリーム（２Ｄストリーム、３Ｄ拡張ストリーム）のストリーム構成例を示す図である。
【図６２】３Ｄサービスであると判断した場合における受信機（セットトップボックス）の処理の流れを概略的に示すフローチャートである。
【図６３】コンポジション・ページＩＤを特殊な値（special_valueA）で定義する場合におけるサブタイトルデータストリーム（２Ｄストリーム、３Ｄ拡張ストリーム）のストリーム構成例を示す図である。
【図６４】コンポジション・ページＩＤを特殊な値（special_valueA）で定義する場合におけるトランスポートストリームＴＳの構成例を示す図である。
【図６５】２言語サービスが存在する場合におけるサブタイトルデータストリーム（２Ｄストリーム、３Ｄ拡張ストリーム）のストリーム構成例を示す図である。
【図６６】３Ｄサービスであると判断した場合における受信機（セットトップボックス）の処理の流れを概略的に示すフローチャートである。
【図６７】３Ｄ拡張ストリームの紐付けのための専用の情報（紐付け情報）をデスクリプタに記述する場合におけるサブタイトルデータストリーム（２Ｄストリーム、３Ｄ拡張ストリーム）のストリーム構成例を示す図である。
【図６８】ストリーム・アソシエーションＩＤ・デスクリプタの構造例（syntax）を示す図である。
【図６９】ストリーム・アソシエーションＩＤ・デスクリプタの構造例における主要な情報の内容（Semantics）を示す図である。
【図７０】拡張されたコンポーネント・デスクリプタの構造例（syntax）を示す図である。
【図７１】拡張されたコンポーネント・デスクリプタの構造例における主要な情報の内容（Semantics）を示す図である。
【図７２】３Ｄ拡張ストリームの紐付けのための専用の情報（紐付け情報）をデスクリプタに記述する場合におけるトランスポートストリームＴＳの構成例を示す図である。
【図７３】２言語サービスが存在する場合におけるサブタイトルデータストリーム（２Ｄストリーム、３Ｄ拡張ストリーム）のストリーム構成例を示す図である。
【図７４】２言語サービスが存在する場合におけるトランスポートストリームＴＳの構成例を示す図である。
【図７５】３Ｄサービスであると判断した場合における受信機（セットトップボックス）の処理の流れを概略的に示すフローチャートである。
【図７６】画像送受信システムを構成するセットトップボックスの他の構成例を示すブロック図である。
【図７７】画像送受信システムを構成するテレビ受信機の他の構成例を示すブロック図である。
【図７８】画像送受信システムの他の構成例を示すブロック図である。
【図７９】両眼視差を利用した立体画像表示において、スクリーン上におけるオブジェクトの左右像の表示位置と、その立体像の再生位置との関係を説明するための図である。
【発明を実施するための形態】
【００２５】
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
１．実施の形態
２．変形例
【００２６】
＜１．実施の形態＞
［画像送受信システムの構成例］
図１は、実施の形態としての画像送受信システム１０の構成例を示している。この画像送受信システム１０は、放送局１００と、セットトップボックス（ＳＴＢ）２００と、テレビ受信機（ＴＶ）３００を有している。
【００２７】
セットトップボックス２００およびテレビ受信機３００は、ＨＤＭＩ（High Definition Multimedia Interface）のデジタルインタフェースで接続されている。セットトップボックス２００およびテレビ受信機３００は、ＨＤＭＩケーブル４００を用いて接続されている。セットトップボックス２００には、ＨＤＭＩ端子２０２が設けられている。テレビ受信機３００には、ＨＤＭＩ端子３０２が設けられている。ＨＤＭＩケーブル４００の一端はセットトップボックス２００のＨＤＭＩ端子２０２に接続され、このＨＤＭＩケーブル４００の他端はテレビ受信機３００のＨＤＭＩ端子３０２に接続されている。
【００２８】
［放送局の説明］
放送局１００は、トランスポートストリームＴＳを、放送波に載せて送信する。放送局１００は、トランスポートストリームＴＳを生成する送信データ生成部１１０を備えている。このトランスポートストリームＴＳには、画像データ、音声データ、重畳情報のデータ、視差情報などが含まれる。ここで、画像データ（以下、適宜、「立体画像データ」という）は、立体画像を構成する左眼画像データおよび右眼画像データを含む。立体画像データは所定の伝送フォーマットを有する。重畳情報は、一般的には、字幕、グラフィクス情報、テキスト情報などであるが、この実施の形態においてはサブタイトル（字幕）である。
【００２９】
「送信データ生成部の構成例」
図２は、放送局１００における送信データ生成部１１０の構成例を示している。この送信データ生成部１１０は、既存の放送規格の一つであるＤＶＢ（Digital Video Broadcasting）方式に容易に連携できるデータ構造で視差情報（視差ベクトル）を送信する。この送信データ生成部１１０は、データ取り出し部１１１と、ビデオエンコーダ１１２と、オーディオエンコーダ１１３を有している。また、この送信データ生成部１１０は、サブタイトル発生部１１４と、視差情報作成部１１５と、サブタイトル処理部１１６と、サブタイトルエンコーダ１１８と、マルチプレクサ１１９を有している。
【００３０】
データ取り出し部１１１には、データ記録媒体１１１ａが、例えば、着脱自在に装着される。このデータ記録媒体１１１ａには、左眼画像データおよび右眼画像データを含む立体画像データと共に、音声データ、視差情報が対応付けて記録されている。データ取り出し部１１１は、データ記録媒体１１１ａから、立体画像データ、音声データ、視差情報等を取り出して出力する。データ記録媒体１１１ａは、ディスク状記録媒体、半導体メモリ等である。
【００３１】
データ記録媒体１１１ａに記録されている立体画像データは、所定の伝送方式の立体画像データである。立体画像データ（３Ｄ画像データ）の伝送方式の一例を説明する。ここでは、以下の第１〜第３の伝送方式を挙げるが、これら以外の伝送方式であってもよい。また、ここでは、図３に示すように、左眼（Ｌ）および右眼（Ｒ）の画像データが、それぞれ、決められた解像度、例えば、１９２０×１０８０のピクセルフォーマットの画像データである場合を例にとって説明する。
【００３２】
第１の伝送方式は、トップ・アンド・ボトム（Top & Bottom）方式で、図４（ａ）に示すように、垂直方向の前半では左眼画像データの各ラインのデータを伝送し、垂直方向の後半では左眼画像データの各ラインのデータを伝送する方式である。この場合、左眼画像データおよび右眼画像データのラインが１／２に間引かれることから原信号に対して垂直解像度は半分となる。
【００３３】
第２の伝送方式は、サイド・バイ・サイド（Side By Side）方式で、図４（ｂ）に示すように、水平方向の前半では左眼画像データのピクセルデータを伝送し、水平方向の後半では右眼画像データのピクセルデータを伝送する方式である。この場合、左眼画像データおよび右眼画像データは、それぞれ、水平方向のピクセルデータが１／２に間引かれる。原信号に対して、水平解像度は半分となる。
【００３４】
第３の伝送方式は、フレーム・シーケンシャル（Frame Sequential）方式、あるいは、Ｌ／Ｒ ノーインターリービング（L/RNo interleaving）で、図４（ｃ）に示すように、左眼画像データと右眼画像データとをフレーム毎に順次切換えて伝送する方式である。なお、この方式は、フル・フレーム（Full Frame）方式、あるいは従来の２Ｄフォーマットに対してのサービスコンパチブル（service compatible）方式も含む。
【００３５】
また、データ記録媒体１１１ａに記録されている視差情報は、例えば、画像を構成するピクセル（画素）毎の視差ベクトルである。視差ベクトルの検出例について説明する。ここでは、左眼画像に対する右眼画像の視差ベクトルを検出する例について説明する。図５に示すように、左眼画像を検出画像とし、右眼画像を参照画像とする。この例では、（xi,yi）および（xj,yj）の位置における視差ベクトルが検出される。
【００３６】
（xi,yi）の位置における視差ベクトルを検出する場合を例にとって説明する。この場合、左眼画像に、（xi,yi）の位置の画素を左上とする、例えば４×４、８×８あるいは１６×１６の画素ブロック（視差検出ブロック）Ｂｉが設定される。そして、右眼画像において、画素ブロックＢｉとマッチングする画素ブロックが探索される。
【００３７】
この場合、右眼画像に、（xi,yi）の位置を中心とする探索範囲が設定され、その探索範囲内の各画素を順次注目画素として、上述の画素ブロックＢｉと同様の例えば４×４、８×８あるいは１６×１６の比較ブロックが順次設定されていく。
【００３８】
画素ブロックＢｉと順次設定される比較ブロックとの間で、対応する画素毎の差分絶対値の総和が求められる。ここで、図６に示すように、画素ブロックＢｉの画素値をＬ(x,y)とし、比較ブロックの画素値をＲ(x,y)とするとき、画素ブロックＢｉと、ある比較ブロックとの間における差分絶対値の総和は、Σ｜Ｌ(x,y)−Ｒ(x,y)｜で表される。
【００３９】
右眼画像に設定される探索範囲にｎ個の画素が含まれているとき、最終的にｎ個の総和Ｓ１〜Ｓｎが求められ、その中で最小の総和Ｓminが選択される。そして、この総和Ｓminが得られた比較ブロックから左上の画素の位置が（xi′,yi′）が得られる。これにより、（xi,yi）の位置における視差ベクトルは、（xi′−xi，yi′−yi）のように検出される。詳細説明は省略するが、（xj,yj）の位置における視差ベクトルについても、左眼画像に、（xj,yj）の位置の画素を左上とする、例えば４×４、８×８あるいは１６×１６の画素ブロックＢｊが設定されて、同様の処理過程で検出される。
【００４０】
ビデオエンコーダ１１２は、データ取り出し部１１１から取り出された立体画像データに対して、ＭＰＥＧ４−ＡＶＣ、ＭＰＥＧ２、ＶＣ−１等の符号化を施し、ビデオデータストリーム（ビデオエレメンタリストリーム）を生成する。オーディオエンコーダ１１３は、データ取り出し部１１１から取り出された音声データに対して、ＡＣ３、ＡＡＣ等の符号化を施し、オーディオデータストリーム（オーディオエレメンタリストリーム）を生成する。
【００４１】
サブタイトル発生部１１４は、ＤＶＢ（Digital Video Broadcasting）方式の字幕データであるサブタイトルデータを発生する。このサブタイトルデータは、２次元画像用のサブタイトルデータである。このサブタイトル発生部１１４は、重畳情報データ出力部を構成している。
【００４２】
視差情報作成部１１５は、データ取り出し部１１１から取り出されたピクセル（画素）毎の、あるいは複数のピクセルに対しての視差ベクトル（水平方向視差ベクトル）に対して、ダウンサイジング処理を施し、以下に示すように、各階層の視差情報を生成する。なお、視差情報は必ずしも視差情報作成部１１５で生成される必要はなく、外部から別途供給される構成も可能である。
【００４３】
図７は、各ピクセル（画素）の輝度値のようにして与えられる相対的な深さ方向のデータの例を示している。ここで、相対的な深さ方向のデータは所定の変換により画素ごとの視差ベクトルとして扱うことが可能となる。この例において、人物部分の輝度値は高くなっている。これは、人物部分の視差ベクトルの値が大きいことを意味し、従って、立体画像表示では、この人物部分が浮き出た状態に知覚されることを意味している。また、この例において、背景部分の輝度値は低くなっている。これは、背景部分の視差ベクトルの値が小さいことを意味し、従って、立体画像表示では、この背景部分が沈んだ状態に知覚されることを意味している。
【００４４】
図８は、ブロック（Block）毎の視差ベクトルの一例を示している。ブロックは、最下層に位置するピクセル（画素）の上位層に当たる。このブロックは、画像（ピクチャ）領域が、水平方向および垂直方向に所定の大きさで分割されることで構成される。各ブロックの視差ベクトルは、例えば、そのブロック内に存在する全ピクセル（画素）の視差ベクトルから、最も値の大きな視差ベクトルが選択されることで得られる。この例においては、各ブロックの視差ベクトルを矢印で示しており、矢印の長さが視差ベクトルの大きさに対応している。
【００４５】
図９は、視差情報作成部１１５で行われるダウンサイジング処理の一例を示している。最初に、視差情報作成部１１５は、図９（ａ）に示すように、ピクセル（画素）毎の視差ベクトルを用いて、ブロック毎の符号付き視差ベクトルを求める。上述したように、ブロックは、最下層に位置するピクセル（画素）の上位層に当たり、画像（ピクチャ）領域が水平方向および垂直方向に所定の大きさで分割されることで構成される。そして、各ブロックの視差ベクトルは、例えば、そのブロック内に存在する全ピクセル（画素）の視差ベクトルから、最も値の小さな、あるいは最も絶対値が大きい負の値をもつ視差ベクトルが選択されることで得られる。
【００４６】
次に、視差情報作成部１１５は、図９（ｂ）に示すように、ブロック毎の視差ベクトルを用いて、グループ（Group Of Block）毎の視差ベクトルを求める。グループは、ブロックの上位層に当たり、複数個の近接するブロックをまとめてグループ化することで得られる。図９（ｂ）の例では、各グループは、破線枠で括られる４個のブロックにより構成されている。そして、各グループの視差ベクトルは、例えば、そのグループ内の全ブロックの視差ベクトルから、最も値の小さな、あるいは最も絶対値が大きい負の値をもつ視差ベクトルが選択されることで得られる。
【００４７】
次に、視差情報作成部１１５は、図９（ｃ）に示すように、グループ毎の視差ベクトルを用いて、パーティション（Partition）毎の視差ベクトルを求める。パーティションは、グループの上位層に当たり、複数個の近接するグループをまとめてグループ化することで得られる。図９（ｃ）の例では、各パーティションは、破線枠で括られる２個のグループにより構成されている。そして、各パーティションの視差ベクトルは、例えば、そのパーティション内の全グループの視差ベクトルから、最も値の小さな、あるいは最も絶対値が大きい負の値をもつ視差ベクトルが選択されることで得られる。
【００４８】
次に、視差情報作成部１１５は、図９（ｄ）に示すように、パーティション毎の視差ベクトルを用いて、最上位層に位置するピクチャ全体（画像全体）の視差ベクトルを求める。図９（ｄ）の例では、ピクチャ全体には、破線枠で括られる４個のパーティションが含まれている。そして、ピクチャ全体の視差ベクトルは、例えば、ピクチャ全体に含まれる全パーティションの視差ベクトルから、最も値の小さな、あるいは最も絶対値が大きい負の値をもつ視差ベクトルが選択されることで得られる。
【００４９】
このようにして、視差情報作成部１１５は、最下層に位置するピクセル（画素）毎の視差ベクトルにダウンサイジング処理を施して、ブロック、グループ、パーティション、ピクチャ全体の各階層の各領域の視差ベクトルを求めることができる。なお、図９に示すダウンサイジング処理の一例では、最終的に、ピクセル（画素）の階層の他、ブロック、グループ、パーティション、ピクチャ全体の４階層の視差ベクトルを求めている。しかし、階層数ならびに各階層の領域の切り方や領域の数はこれに限定されるものではない。
【００５０】
図２に戻って、サブタイトル処理部１１６は、サブタイトル発生部１１４で発生されたサブタイトルデータに基づいて、リージョン内にサブリージョンの領域を定義できる。また、サブタイトル処理部１１６は、視差情報作成部１１５で作成された視差情報に基づいて、左眼画像および右眼画像における重畳情報の表示位置をシフト調整するための視差情報を設定する。この視差情報は、サブリージョンまたはリージョン毎に、あるいはページ毎に設定可能とされている。
【００５１】
図１０（ａ）は、サブタイトルデータにおいて、画面上に定義されるリージョンと、このリージョン内に定義されるサブリージョンの一例を示している。この例では、「Region_Starting Position」がＲ０であるリージョン０（Region0）に、「SubRegion 1」、「SubRegion 2」の２つのサブリージョンが定義されている。「SubRegion 1」の水平方向位置（Horizontal Position）ｘはＳＲ１で、「SubRegion 2」の水平方向位置（Horizontal Position）ｘはＳＲ２である。そして、この例では、サブリージョン「SubRegion 1」に対して視差情報「disparity 1」が設定され、サブリージョン「SubRegion 2」に対して視差情報「disparity 2」が設定される。
【００５２】
図１０（ｂ）は、視差情報による左眼画像におけるサブリージョン領域内のシフト調整例を示している。サブリージョン「SubRegion 1」に対して視差情報「disparity 1」が設定されている。そのため、サブリージョン「SubRegion 1」に関しては、水平方向位置（Horizontal Position）ｘがＳＲ１−disparity 1 となるようにシフト調整される。また、サブリージョン「SubRegion2」に対して視差情報「disparity 2」が設定されている。そのため、サブリージョン「SubRegion 2」に関しては、水平方向位置（Horizontal Position）ｘがＳＲ２−disparity 2 となるようにシフト調整される。
【００５３】
図１０（ｃ）は、視差情報による右眼画像におけるサブリージョン領域内のシフト調整例を示している。サブリージョン「SubRegion 1」に対して視差情報「disparity 1」が設定されている。そのため、サブリージョン「SubRegion 1」に関しては、上述の左眼画像とは逆向きに、水平方向位置（HorizontalPosition）ｘがＳＲ１＋disparity 1 となるようにシフト調整される。また、サブリージョン「SubRegion 2」に対して視差情報「disparity 2」が設定されている。そのため、サブリージョン「SubRegion 2」に関しては、上述の左眼画像とは逆向きに、水平方向位置（HorizontalPosition）ｘがＳＲ２＋disparity 2 となるようにシフト調整される。
【００５４】
サブタイトル処理部１１６は、サブタイトル発生部１１４で発生されたサブタイトルデータと共に、上述のサブリージョン領域の領域情報、視差情報などの表示制御情報を出力する。なお、視差情報に関しては、上述したようにサブリージョン単位で設定できる他、リージョン単位、あるいはページ単位でも設定できる。
【００５５】
サブタイトルデータは、ＤＤＳ、ＰＣＳ、ＲＣＳ、ＣＤＳ、ＯＤＳ、ＥＤＳなどのセグメントを持つ。ＤＤＳ（display definition segment）は、ＨＤＴＶ用の表示（display）サイズを指定する。ＰＣＳ（page composition segment）は、ページ（page）内のリージョン（region）位置を指定する。ＲＣＳ（region compositionsegment）は、リージョン（Region）の大きさやオブジェクト（object）の符号化モードを指定し、また、オブジェクト（object）の開始位置を指定する。
【００５６】
ＣＤＳ（CLUT definition segment）は、ＣＬＵＴ内容の指定をする。ＯＤＳ（objectdata segment）は、符号化ピクセルデータ（Pixeldata）を含む。ＥＤＳ（end of display set segment）は、ＤＤＳのセグメントからはじまるサブタイトルデータの終了を示す。この実施の形態においては、ＤＳＳ（Desparity Signaling Segment）のセグメントがさらに定義される。このＤＳＳのセグメントに、上述の表示制御情報が挿入される。
【００５７】
図２に戻って、サブタイトルエンコーダ１１８は、第１および第２のプライベートデータストリーム（第１および第２のサブタイトルデータストリーム）を生成する。すなわち、サブタイトルエンコーダ１１８は、ＤＤＳ、ＰＣＳ、ＲＣＳ、ＣＤＳ、ＯＤＳ、ＥＤＳのセグメントを含む第１のプライベートデータストリーム（２Ｄストリーム）を生成する。また、サブタイトルエンコーダ１１８は、ＤＤＳ、ＤＳＳ、ＥＤＳのセグメントを含む第２のプライベートデータストリーム（３Ｄ拡張ストリーム）を生成する。
【００５８】
マルチプレクサ１１９は、ビデオエンコーダ１１２、オーディオエンコーダ１１３およびサブタイトルエンコーダ１１８からの各データストリームを多重化し、多重化データストリームとしてのトランスポートストリームＴＳを得る。このトランスポートストリームＴＳは、ＰＥＳ（Packetized Elementarty Stream）のストリームとして、ビデオデータストリーム、オーディオデータストリーム、第１および第２のプライベートデータストリームを有するものとなる。
【００５９】
図１１は、トランスポートストリームＴＳが有する、２Ｄストリームおよび３Ｄ拡張ストリームの構成を示している。図１１（ａ）は、２Ｄストリームを示し、先頭にＰＥＳヘッダ（PES Header）が配置され、それに続いて、ＤＤＳ、ＰＣＳ、ＲＣＳ、ＣＤＳ、ＯＤＳ、ＥＤＳの各セグメントを含むＰＥＳペイロード（PES Payload）が配置されている。
【００６０】
また、図１１（ｂ）は、３Ｄ拡張ストリームを示し、先頭にＰＥＳヘッダ（PES Header）が配置され、それに続いて、ＤＤＳ、ＤＳＳ、ＥＤＳの各セグメントを含むＰＥＳペイロード（PES Payload）が配置されている。なお、この３Ｄ拡張ストリームは、図１１（ｃ）に示すように、ＰＥＳペイロード（PES Payload）にＤＤＳ、ＰＣＳ、ＤＳＳ、ＥＤＳの各セグメントを含む構成でもよい。その場合、ＰＣＳのＰＡＧＥ  ＳＴＡＴＥはＮＯＲＭＡＬ  ＣＡＳＥとなり、重畳データ（bitmap）には変化がないことを示す。
【００６１】
ここで、２Ｄストリームおよび３Ｄ拡張ストリームに含まれる各セグメントのページＩＤ(page_id)は同一とされる。これにより、受信側の３Ｄ対応の受信装置では、このページＩＤに基づいて、２Ｄストリームのセグメントと３Ｄ拡張ストリームのセグメントとを結合することが容易となる。
【００６２】
マルチプレクサ１１９は、２Ｄストリームおよび３Ｄ拡張ストリームに、受信側において重畳情報のデータによる表示と視差情報（Disparity）によるシフト制御とを同期させるための同期情報を含める。具体的には、マルチプレクサ１１９は、図１２に示すように、２Ｄストリーム（ＰＥＳ１(1)：ＰＥＳ＃１）と３Ｄ拡張ストリーム（ＰＥＳ２(2)：ＰＥＳ＃２）のＰＥＳヘッダに挿入されるタイムスタンプ（ＰＴＳ：Presentation Time Stamp）の値が関連付けされたものとする。
【００６３】
図１２は、２Ｄストリームと３Ｄ拡張ストリームのタイムスタンプ（ＰＴＳ）の値が同じ値、つまりＰＴＳ１に設定される例を示している。この場合、受信側（デコード側）においては、サブタイトルデータ（重畳情報のデータ）による字幕パターンの表示がＰＴＳ１から開始され、字幕パターンを３Ｄ表示とするための視差情報によるシフト制御もＰＴＳ１から開始される。
【００６４】
なお、図１２の例において、３Ｄ拡張ストリームには、ＰＴＳ１のフレームの視差情報と、その後の所定フレームの視差情報との２個の視差情報が含まれていることを示している。受信側（デコード側）においては、それら２個のフレームの間の任意のフレームの視差情報を補間処理で求めてシフト制御をダイナミックに行い得ることが示されている。
【００６５】
また、図１２において、２Ｄストリームに含まれる“Conventional Segments”は、ＤＤＳ、ＰＣＳ、ＲＣＳ、ＣＤＳ、ＯＤＳ、ＥＤＳの各セグメントを意味している。また、３Ｄ拡張ストリームに含まれる“Extended Segments”は、ＤＤＳ、ＤＳＳ、ＥＤＳの各セグメント、あるいはＤＤＳ、ＰＣＳ、ＤＳＳ、ＥＤＳの各セグメントを意味している。また、図１２において、２Ｄストリームの“Elementary_PID”はＩＤ１であり、３Ｄ拡張ストリームの“Elementary_PID”はＩＤ２である。これは、以下の図１３、図１４においても同様である。
【００６６】
図１３は、２Ｄストリームと３Ｄ拡張ストリームのタイムスタンプ（ＰＴＳ）の値が異なる値に設定される例を示している。すなわち、図１２の例においては、２Ｄストリームのタイムスタンプ（ＰＴＳ）の値はＰＴＳ１に設定され、３Ｄ拡張ストリームのタイムスタンプ（ＰＴＳ）の値はＰＴＳ１より後のＰＴＳ２に設定される例を示している。この場合、受信側（デコード側）においては、サブタイトルデータ（重畳情報のデータ）による字幕パターンの表示がＰＴＳ１から開始され、字幕パターンを３Ｄ表示とするための視差情報によるシフト制御がＰＴＳ２から開始される。
【００６７】
なお、図１３の例において、３Ｄ拡張ストリームには、ＰＴＳ２のフレームの視差情報と、その後の複数のフレームの視差情報が含まれていることを示している。受信側（デコード側）においては、それら複数のフレームの間の任意のフレームの視差情報を補間処理で求めてシフト制御をダイナミックに行い得ることが示されている。
【００６８】
図１４は、図１３と同様に、２Ｄストリームと３Ｄ拡張ストリームのタイムスタンプ（ＰＴＳ）の値が異なる値に設定される例であって、しかも、タイムスタンプ（ＰＴＳ）の値が異なる３Ｄ拡張ストリームが複数個存在する例を示している。すなわち、図１４の例においては、２Ｄストリームのタイムスタンプ（ＰＴＳ）の値はＰＴＳ１に設定されている。また、複数の３Ｄ拡張フレームのタイプスタンプ（ＰＴＳ）の値は、ＰＴＳ１より後のＰＴＳ２，ＰＴＳ３，ＰＴＳ４，・・・に設定されている。
【００６９】
この場合、受信側（デコード側）においては、サブタイトルデータ（重畳情報のデータ）による字幕パターンの表示がＰＴＳ１から開始される。また、字幕パターンを３Ｄ表示とするための視差情報によるシフト制御がＰＴＳ２から開始され、その後に順次更新される。なお、図１４の例において、複数個の３Ｄ拡張ストリームにはそれぞれタイプスタンプで示されるフレームの視差情報のみが含まれており、受信側（デコード側）においては、それら複数のフレームの間の任意のフレームの視差情報を補間処理で求めてシフト制御をダイナミックに行い得ることが示されている。
【００７０】
図２に示す送信データ生成部１１０の動作を簡単に説明する。データ取り出し部１１１から取り出された立体画像データは、ビデオエンコーダ１１２に供給される。このビデオエンコーダ１１２では、その立体画像データに対してＭＰＥＧ４−ＡＶＣ、ＭＰＥＧ２、ＶＣ−１等の符号化が施され、符号化ビデオデータを含むビデオデータストリームが生成される。このビデオデータストリームはマルチプレクサ１１９に供給される。
【００７１】
データ取り出し部１１１で取り出された音声データはオーディオエンコーダ１１３に供給される。このオーディオエンコーダ１１３では、音声データに対して、ＭＰＥＧ−２Ａｕｄｉｏ ＡＡＣ、あるいは、ＭＰＥＧ−４  ＡＡＣ等の符号化が施され、符号化オーディオデータを含むオーディオデータストリームが生成される。このオーディオデータストリームはマルチプレクサ１１９に供給される。
【００７２】
サブタイトル発生部１１４では、ＤＶＢの字幕データであるサブタイトルデータ（２次元画像用）が発生される。このサブタイトルデータは、視差情報作成部１１５およびサブタイトル処理部１１６に供給される。
【００７３】
データ取り出し部１１１から取り出されたピクセル（画素）毎の視差ベクトルは、視差情報作成部１１５に供給される。この視差情報作成部１１５では、ピクセル毎の、あるいは複数のピクセルに対しての視差ベクトルに対してダウンサイジング処理が施され、各階層の視差情報（disparity）が作成される。この視差情報は、サブタイトル処理部１１６に供給される。
【００７４】
サブタイトル処理部１１６では、サブタイトル発生部１１４で発生されたサブタイトルデータに基づいて、例えば、リージョン内にサブリージョンの領域が定義される。また、サブタイトル処理部１１６では、視差情報作成部１１５で作成された視差情報に基づいて、左眼画像および右眼画像における重畳情報の表示位置をシフト調整するための視差情報が設定される。この場合、視差情報は、サブリージョンまたはリージョン毎に、あるいはページ毎に設定される。
【００７５】
サブタイトル処理部１１６から出力されるサブタイトルデータおよび表示制御情報は、サブタイトルエンコーダ１１８に供給される。表示制御情報には、サブリージョン領域の領域情報、視差情報などが含まれている。このサブタイトルエンコーダ１１８では、第１および第２のプライベートデータストリーム（エレメンタリストリーム）が生成される。
【００７６】
すなわち、ＤＤＳ、ＰＣＳ、ＲＣＳ、ＣＤＳ、ＯＤＳ、ＥＤＳの各セグメントを含む第１のプライベートデータストリーム（２Ｄストリーム）が生成される。さらに、ＤＤＳ、ＤＳＳ、ＥＤＳの各セグメントを含む第２のプライベートデータストリーム（３Ｄ拡張ストリーム）が生成される。上述したように、ＤＳＳのセグメントは、表示制御情報を含むセグメントである。
【００７７】
マルチプレクサ１１９には、上述したように、ビデオエンコーダ１１２、オーディオエンコーダ１１３およびサブタイトルエンコーダ１１８からの各データストリームが供給される。そして、このマルチプレクサ１１９では、各データストリームがＰＥＳパケット化されて多重され、多重化データストリームとしてのトランスポートストリームＴＳが得られる。このトランスポートストリームＴＳは、ＰＥＳストリームとして、ビデオデータストリーム、オーディオデータストリームの他に、第１のプライベートデータストリーム（２Ｄストリーム）および第２のプライベートデータストリーム（３Ｄ拡張ストリーム）を有するものとなる。
【００７８】
図１５は、トランスポートストリームＴＳの構成例を示している。なお、この図においては、図面の簡単化のために、ビデオおよびオーディオに関係する部分の図示を省略している。このトランスポートストリームＴＳには、各エレメンタリストリームをパケット化して得られたＰＥＳパケットが含まれている。
【００７９】
この構成例では、２Ｄストリーム（第１のプライベートデータストリーム）のＰＥＳパケット「Subtitle PES1」と、３Ｄ拡張ストリーム（第２のプライベートデータストリーム）のＰＥＳパケット「Subtitle PES2」が含まれている。２Ｄストリーム（ＰＥＳストリーム）には、ＤＤＳ、ＰＣＳ、ＲＣＳ、ＣＤＳ、ＯＤＳ、ＥＤＳの各セグメントが含まれている（図１１（ａ）参照）。３Ｄ拡張ストリーム（ＰＥＳストリーム）には、ＤＤＳ、ＤＳＳ、ＥＤＳ、あるいはＤＤＳ、ＰＣＳ、ＤＳＳ、ＥＤＳの各セグメントが含まれている（図１１（ｂ）、（ｃ）参照）。この場合、２Ｄストリーム、３Ｄ拡張ストリームの“Elementary_PID”がＰＩＤ１，ＰＩＤ２のように異なるように設定され、これらのストリームが別のＰＥＳストリームであることが示される。
【００８０】
図１６は、ＰＣＳ（page_composition_segment）の構造を示している。このＰＣＳのセグメントタイプは、図１７に示すように、「0x10」である。「region_horizontal_address」、「region_vertical_address」は、リージョン（region）の開始位置を示す。なお、ＤＤＳ、ＲＣＳ、ＯＤＳなどのその他のセグメントについては、その構造の図示は省略する。図１７に示すように、ＤＤＳのセグメントタイプは「0x14」であり、ＲＣＳのセグメントタイプは「0x11」であり、ＣＤＳのセグメントタイプは「0x12」であり、ＯＤＳのセグメントタイプは「0x13」であり、ＥＤＳのセグメントタイプは「0x80」である。さらに、図１７に示すように、ＤＳＳのセグメントタイプは、「0x15」である。このＤＳＳのセグメントの詳細構造については、後述する。
【００８１】
図１５に戻って、また、トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（ProgramMap Table）が含まれている。ＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。また、トランスポートストリームには、イベント単位の管理を行うＳＩ（Serviced Information）としてのＥＩＴ（EventInformation Table）が含まれている。このＥＩＴには、番組単位のメタデータが記載される。
【００８２】
ＰＭＴの配下に、サブタイトルの内容を示すサブタイトル・デスクリプタ（Subtitling_descriptor）が挿入されている。また、ＥＩＴの配下に、ストリーム毎に、配信内容を示すコンポーネント・デスクリプタ（Component_descriptor）が挿入されている。図１８に示すように、コンポーネント・デスクリプタの“stream_content”がサブタイトル（subtitle）を示す場合、“component_type”が「0x15」あるいは「0x25」であるときは３Ｄ用サブタイトルを示し、その他の値のときは２Ｄ用サブタイトルを示す。図１５に示すように、サブタイトル・デスクリプタの“subtitling_type”は、“component_type”と同じ値に設定される。
【００８３】
ＰＭＴには、サブタイトルエレメンタリストリームに関連した情報を持つサブタイトルエレメンタリ・ループ（Subtitle ES loop）が存在する。このサブタイトルエレメンタリ・ループには、ストリーム毎に、パケット識別子（PID）等の情報が配置されると共に、そのエレメンタリストリームに関連する情報を記述する記述子（デスクリプタ）も配置される。
【００８４】
図１９は、図１５に示されているサブタイトル・デスクリプタ（Subtitling_descriptor）およびコンポーネント・デスクリプタ（Component_descriptor）を取り出して示している。また、図２０は、図１５に示されているＰＥＳストリーム（２Ｄストリーム、３Ｄ拡張ストリーム）を取り出して示している。
【００８５】
２Ｄストリームと３Ｄ拡張ストリームとの関連付けを明示するために、それぞれのストリームに対応したサブタイトル・デスクリプタのコンポジション・ページＩＤ“composition_page_id”が、以下のように設定される。すなわち、２Ｄストリームと３Ｄ拡張ストリームとで、この“composition_page_id”は、同じ値（図示では「0xXXXX」）を共有するように設定される。ここで、“composition_page_id”は、関連付け情報を構成している。また、３Ｄ拡張ストリームに含まれる各セグメントが２Ｄストリームの各セグメントに関連することを示すように、双方のＰＥＳストリームで、関連する各セグメントの“page_id”が同じ値（0xXXXX）を有するようにエンコードされる。
【００８６】
また、サブタイトル・デスクリプタおよびコンポーネント・デスクリプタには、言語情報として、例えば、ＩＳＯ言語コード（ISO_639_language_code）が記述される。２Ｄストリームに対応したデスクリプタのＩＳＯ言語コードは、サブタイトル（字幕）の言語を示すように設定される。図示の例においては、英語を示す「eng」に設定されている。３Ｄ拡張ストリームは、視差情報を持つＤＳＳのセグメントを持つが、ＯＤＳのセグメントは持っておらず、従って言語には依存していない。この３Ｄ拡張ストリームに対応したデスクリプタに記述されるＩＳＯ言語コードは、例えば、非言語を示す「zxx」に設定される。
【００８７】
なお、非言語を示すＩＳＯ言語コードとして、ＩＳＯ言語コードの「ｑａａ」から「ｑｒｚ」の空間に含まれる言語コードのいずれかを使用することも考えられる。図２１は、その場合におけるサブタイトル・デスクリプタ（Subtitling_descriptor）およびコンポーネント・デスクリプタ（Component_descriptor）を示している。なお、参考として、図２２に、ＩＳＯ言語コード（ISO 639-2 Code）リストの抜粋を示す。
【００８８】
図２３は、サブタイトルデータストリーム（２Ｄストリーム、３Ｄ拡張ストリーム）のストリーム構成例を示している。この例は、英語“ｅｎｇ”の単言語サービス例である。３Ｄ拡張ストリームが、２Ｄストリームと共通の「composition_page_id＝0xXXXX」で取り込まれ、「subtitling_type＝3D」、「ISO_639_language_code＝zxx」で指定される。なお、２Ｄストリームは、「subtitling_type=2D」、「ISO_639_language_code＝eng」で指定される。ここで、「subtitling_type＝3D」は、“subtitling_type”の値が「0x15」あるいは「0x25」である場合を意味している。また、「subtitling_type＝2D」は、“subtitling_type”の値が「0x15」と「0x25」のいずれでもない場合を意味している。このことは、以下においても同様である。
【００８９】
図２４は、コンポーネント・デスクリプタ（Component_descriptor）の構造例（syntax）を示している。「descriptor_tag」の８ビットフィールドは、このデスクリプタがコンポーネント・デスクリプタであることを示す。「descriptor_length」の８ビットフィールドは、このフィールド以後の全体のバイトサイズを示す。
【００９０】
「stream_content」の４ビットフィールドは、メインのストリームの例えばビデオ、オーディオ、サブタイトルなどのストリームタイプを示す。「component_type」の４ビットフィールドは、メインのストリームの例えばビデオ、オーディオ、サブタイトルなどのコンポーネントタイプを示す。
【００９１】
メインのストリームが２Ｄストリームである場合、つまり２Ｄストリームに対応したコンポーネント・デスクリプタでは、「stream_content」はサブタイトル“subtitle”とされ、「component_type」は、２次元用“2D”とされる。また、メインのストリームが３Ｄ拡張ストリームである場合、つまり３Ｄ拡張ストリームに対応したコンポーネント・デスクリプタでは、「stream_content」はサブタイトル“subtitle”とされ、「component_type」は、３次元用“3D”とされる。
【００９２】
「component_tag」の８ビットフィールドは、メインのストリームに対応したストリーム・アイデンチファイヤ・デスクリプタ（stream_identifier descriptor）内の「component_tag」と同じ値を持つ。これにより、ストリーム・アイデンチファイヤ・デスクリプタと、コンポーネント・デスクリプタとが、「component_tag」で関連付けられる。「ISO_639_language_code」の２４ビットフィールドは、ＩＳＯ言語コードを示す。
【００９３】
図２５は、サブタイトル・デスクリプタ（Subtitling_descriptor）の構造例（syntax）を示している。「descriptor_tag」の８ビットフィールドは、このデスクリプタがサブタイトル・デスクリプタであることを示す。「descriptor_length」の８ビットフィールドは、このフィールド以後の全体のバイトサイズを示す。
【００９４】
「ISO_639_language_code」の２４ビットフィールドは、ＩＳＯ言語コードを示す。「subtitling_type」の８ビットフィールドは、サブタイトルタイプ情報を示す。メインのストリームが２Ｄストリームである場合、つまり２Ｄストリームに対応したサブタイトル・デスクリプタでは、「subtitling_type」は“2D”とされる。一方、メインのストリームが３Ｄ拡張ストリームである場合、つまり３Ｄ拡張ストリームに対応したサブタイトル・デスクリプタでは、「subtitling_type」は“3D”とされる。「composition_page_id」の１６ビットフィールドは、コンポジション・ページＩＤを示し、メインのストリームに含まれるセグメントのページＩＤ「page_id」と同じ値を持つ。
【００９５】
［視差情報の更新］
上述したように、３Ｄ拡張ストリームにより視差情報が送信される。この視差情報の更新について説明する。
【００９６】
図２６、図２７は、インターバル期間（Interval period）を用いた視差情報の更新例を示している。図２６は、インターバル期間（Interval period）が固定で、しかも、その期間が更新期間と等しい場合を示している。すなわち、Ａ−Ｂ、Ｂ−Ｃ、Ｃ−Ｄ、・・・の各更新期間は、１個のインターバル期間からなっている。
【００９７】
図２７は、一般的なもので、インターバル期間（Interval period）を短期間（例えば、フレーム周期でもよい）とした場合の、視差情報の更新例を示している。この場合、インターバル期間の個数は、各更新期間において、Ｍ，Ｎ，Ｐ，Ｑ，Ｒとなる。なお、図２６、図２７において、“Ａ”は字幕表示期間の開始フレーム（開始時点）を示し、“Ｂ”〜“Ｆ”は、その後の更新フレーム（更新時点）を示している。
【００９８】
字幕表示期間内で順次更新される視差情報を受信側（セットトップボックス２００など）に送る場合、受信側においては、更新期間毎の視差情報に補間処理を施すことで、任意のフレーム間隔、例えば、１フレーム間隔の視差情報を生成して使用することが可能である。
【００９９】
図２８は、３Ｄ拡張ストリームの構成例を示している。なお、この構成例では、ＰＥＳデータペイロード（PES data Payload）にＤＤＳ、ＤＳＳ、ＥＤＳの各セグメントを含む場合を示しているが、ＰＥＳデータペイロードにＤＤＳ、ＰＣＳ、ＤＳＳ、ＥＤＳの各セグメントを含む場合も同様である。
【０１００】
図２８（ａ）は、ＤＳＳのセグメントが１個だけ挿入される例を示している。ＰＥＳヘッダには、時間情報（ＰＴＳ）が含まれている。また、ＰＥＳペイロードデータとして、ＤＤＳ、ＤＳＳ、ＥＤＳの各セグメントが含まれている。これらは、サブタイトル表示期間の開始前に一括送信される。この一個のＤＳＳのセグメントには、字幕表示期間で順次更新される複数の視差情報が含められる。
【０１０１】
なお、１個のＤＳＳに字幕表示期間で順次更新される複数の視差情報を含めずに、この複数の視差情報を受信側（セットトップボックス２００など）に送ることもできる。この場合、３Ｄ拡張ストリームに、更新を行うタイミング毎にＤＳＳのセグメントが挿入される。図２８（ｂ）は、その場合の３Ｄ拡張ストリームの構成例を示している。
【０１０２】
図２９は、上述の図２８（ｂ）に示すように、ＤＳＳのセグメントを順次送信する場合における、視差情報の更新例を示している。なお、図２９において、“Ａ”は字幕表示期間の開始フレーム（開始時点）を示し、“Ｂ”〜“Ｆ”は、その後の更新フレーム（更新時点）を示している。
【０１０３】
ＤＳＳセグメントを順次送信して、字幕表示期間内で順次更新される視差情報を受信側（セットトップボックス２００など）に送る場合も、受信側においては、上述したと同様の処理が可能である。すなわち、この場合も、受信側においては、更新期間毎の視差情報に補間処理を施すことで、任意のフレーム間隔、例えば、１フレーム間隔の視差情報を生成して使用することが可能である。
【０１０４】
図３０は、上述の図２７と同様の、視差情報（disparity）の更新例を示している。更新フレーム間隔は、単位期間としてのインターバル期間（ＩＤ：Interval Duration）の倍数で表される。例えば、更新フレーム間隔「DivisionPeriod 1」は“ＩＤ＊Ｍ”で表され、更新フレーム間隔「Division Period 2」は“ＩＤ＊Ｎ”で表され、以下の各更新フレーム間隔も同様に表される。図３０に示す視差情報の更新例においては、更新フレーム間隔は固定ではなく、視差情報カーブに応じた更新フレーム間隔の設定が行われている。
【０１０５】
また、この視差情報（disparity）の更新例において、受信側では、字幕表示期間の開始フレーム（開始時刻）Ｔ1_0は、この視差情報が含まれるＰＥＳストリームのヘッダに挿入されているＰＴＳ（PresentationTime Stamp）で与えられる。そして、受信側では、視差情報の各更新時刻が、各更新フレーム間隔の情報であるインターバル期間の情報（単位期間の情報）およびそのインターバル期間の個数の情報に基づいて求められる。
【０１０６】
この場合、字幕表示期間の開始フレーム（開始時刻）Ｔ1_0から、以下の（１）式に基づいて、順次各更新時刻が求められる。この（１）式において、「interval_count」はインターバル期間の個数を示し、図３０におけるＭ，Ｎ，Ｐ，Ｑ，Ｒ，Ｓに相当する値である。また、この（１）式において、「interval_time」は、図３０におけるインターバル期間（ＩＤ）に相当する値である。
【０１０７】
Tm_n= Tm_(n-1) + (interval_time * interval_count)      ・・・（１）
【０１０８】
例えば、図３０に示す更新例においては、この（１）式に基づいて、各更新時刻が以下のように求められる。すなわち、更新時刻Ｔ1_1は、開始時刻（Ｔ1_0）と、インターバル期間（ＩＤ）と、個数（Ｍ）が用いられて、「T1_1 = T1_0 + (ID * M) 」のように求められる。また、更新時刻Ｔ1_2は、更新時刻（Ｔ1_1）と、インターバル期間（ＩＤ）と、個数（Ｎ）が用いられて、「T1_2 = T1_1+ (ID * N) 」のように求められる。以降の各更新時刻も同様に求められる。
【０１０９】
図３０に示す更新例において、受信側では、字幕表示期間内で順次更新される視差情報に関して、補間処理が施され、字幕表示期間内における任意のフレーム間隔、例えば、１フレーム間隔の視差情報が生成されて使用される。例えば、この補間処理として、線形補間処理ではなく、時間方向（フレーム方向）にローパスフィルタ（ＬＰＦ）処理を伴った補間処理が行われることで、補間処理後の所定フレーム間隔の視差情報の時間方向（フレーム方向）の変化がなだらかとされる。図３０の破線ａはＬＰＦ出力例を示している。
【０１１０】
図３１は、字幕としてのサブタイトルの表示例を示している。この表示例においては、ページ領域（Area for Page_default）に、字幕表示領域としてのリージョン（Region）が２つ（リージョン１、リージョン２）含まれている。リージョンには１つまたは複数のサブリージョンが含まれている。ここでは、リージョンに１つのサブリージョンが含まれており、リージョン領域とサブリージョン領域とが等しいものとする。
【０１１１】
図３２は、ＤＳＳのセグメントに、字幕表示期間に順次更新される視差情報（Disparity）として、リージョン単位の視差情報とページ単位の視差情報の双方が含まれている場合において、各リージョンとページの視差情報カーブの一例を示している。ここで、ページの視差情報カーブは、２つのリージョンの視差情報カーブの最小値を採るような形とされている。
【０１１２】
リージョン１（Region1）に関しては、開始時刻であるＴ1_0と、その後の更新時刻であるＴ1_1，Ｔ1_2，Ｔ1_3，・・・，Ｔ1_6の７個の視差情報が存在する。また、リージョン２（Region2）に関しては、開始時刻であるＴ2_0と、その後の更新時刻であるＴ2_1，Ｔ2_2，Ｔ2_3，・・・，Ｔ2_7の８個の視差情報が存在する。さらに、ページ（Page_default）に関しては、開始時刻であるＴ0_0と、その後の更新時刻であるＴ0_1，Ｔ0_2，Ｔ0_3，・・・，Ｔ0_6の７個の視差情報が存在する。
【０１１３】
図３３は、図３２に示すページおよび各リージョンの視差情報がどのような構造で送られるかを示している。最初にページレイヤについて説明する。このページレイヤには、視差情報の固定値である「page_default_disparity」が配置される。そして、字幕表示期間に順次更新される視差情報に関しては、開始時刻とその後の各更新時刻に対応した、インターバル期間の個数を示す「interval_count」と、視差情報を示す「disparity_page_updete」が、順次配置される。なお、開始時刻の「interval_count」は“０”とされる。
【０１１４】
次に、リージョンレイヤについて説明する。リージョン１（サブリージョン１）については、視差情報の固定値である「subregion_disparity_integer_part」および「subregion_disparity_fractional_part」が配置される。ここで、「subregion_disparity_integer_part」は視差情報の整数部分を示し、「subregion_disparity_fractional_part」は視差情報の小数部分を示している。
【０１１５】
そして、字幕表示期間に順次更新される視差情報に関しては、開始時刻とその後の各更新時刻に対応した、インターバル期間の個数を示す「interval_count」と、視差情報を示す「disparity_region_updete_integer_part」および「disparity_region_updete_fractional_part」が、順次配置される。ここで、「disparity_region_updete_integer_part」は視差情報の整数部分を示し、「disparity_region_updete_fractional_part」は視差情報の小数部分を示している。なお、開始時刻の「interval_count」は“０”とされる。
【０１１６】
リージョン２（サブリージョン２）については、上述のリージョン１と同様であり、視差情報の固定値である「subregion_disparity_integer_part」および「subregion_disparity_fractional_part」が配置される。そして、字幕表示期間に順次更新される視差情報に関しては、開始時刻とその後の各更新時刻に対応した、インターバル期間の個数を示す「interval_count」と、視差情報を示す「disparity_region_updete_integer_part」および「disparity_region_updete_fractional_part」が、順次配置される。
【０１１７】
図３４〜図３６は、ＤＳＳ（Disparity_Signaling_ Segment）の構造例（syntax）を示している。図３７〜図４０は、ＤＳＳの主要なデータ規定内容（semantics）を示している。この構造には、「sync_byte」、「segment_type」、「page_id」、「segment_length」、「dss_version_number」の各情報が含まれている。「segment_type」は、セグメントタイプを示す８ビットのデータであり、ここでは、ＤＳＳを示す値とされる。「segment_length」は、以降のバイト数を示す８ビットのデータである。
【０１１８】
「disparity_shift_update_sequence_page_flag」の１ビットフラグは、ページ単位の視差情報として字幕表示期間に順次更新される視差情報があるか否かを示す。“１”は存在することを示し、“０”は存在しないことを示す。「page_default_disparity_shift」の８ビットフィールドは、ページ単位の固定の視差情報、つまり、字幕表示期間内において共通に使用される視差情報を示す。上述した「disparity_page_update_sequence_flag」のフラグが“１”であるとき、「disparity_shift_update_sequence()」の読み出しが行われる。
【０１１９】
図３６は、「disparity_shift_update_sequence()」の構造例（Syntax）を示している。「disparity_page_update_sequence_length」は、以降のバイト数を示す８ビットのデータである。「interval_duration[23..0]」の２４ビットフィールドは、単位期間としてのインターバル期間（Interval Duration）（図３０参照）を９０ＫＨｚ単位で指定する。つまり、「interval_duration[23..0]」は、このインターバル期間（Interval Duration）を９０ＫＨｚのクロックで計測した値を２４ビット長で表す。
【０１２０】
ＰＥＳのヘッダ部に挿入されているＰＴＳが３３ビット長であるのに対して、２４ビット長とされているのは、以下の理由からである。すなわち、３３ビット長では２４時間分を超える時間を表現できるが、字幕表示期間内のこのインターバル期間（Interval Duration）としては不必要な長さである。また、２４ビットとすることで、データサイズを縮小でき、コンパクトな伝送を行うことができる。また、２４ビットは８×３ビットであり、バイトアラインが容易となる。
【０１２１】
「division_period_count」の８ビットフィールドは、視差情報が影響を及ぼす期間（Division Period）の数を示す。例えば、図３０に示す更新例の場合には、開始時刻であるＴ1_0とその後の更新時刻であるＴ1_1〜Ｔ1_6に対応して、この数は“７”となる。この「division_period_count」の８ビットフィールドが示す数だけ、以下のforループが繰り返される。
【０１２２】
「interval_count」の８ビットフィールドは、インターバル期間の個数を示す。例えば、図３０に示す更新例の場合には、Ｍ，Ｎ，Ｐ，Ｑ，Ｒ，Ｓが相当する。「disparity_shift_update_integer_part」の８ビットフィールドは、視差情報を示す。開始時刻の視差情報（視差情報の初期値）に対応して「interval_count」は“０”とされる。つまり、「interval_count」が“０”であるとき、「disparity_page_update」は開始時刻の視差情報（視差情報の初期値）を示す。
【０１２３】
図３４のwhileループは、それまでに処理したデータ長（processed_length）が、セグメントデータ長（segment_length）に達していないとき、繰り返される。このwhileループ中に、リージョン単位、あるいはリージョン内のサブリージョン単位の視差情報が配置される。ここで、リージョンには１つまたは複数のサブリージョンが含まれ、サブリージョン領域とリージョン領域とが同じ場合もある。
【０１２４】
このwhileループ中に、「region_id」の情報が含まれている。「disparity_shift_update_sequence_region_flag」の１ビットフラグは、リージョン内の全サブリージョンのための「disparity_shift_update_sequence()」が存在するか否かを示すフラグ情報である。「number_of_subregions_minus_1」の２ビットフィールドは、リージョン内のサブリージョンの数から１を引いた値を示す。「number_of_subregions_minus_1=0」のとき、リージョンは、リージョンと同じ寸法の１つのサブリージョンを持つ。
【０１２５】
「number_of_subregions_minus_1>0」のとき、リージョンは、水平方向に分けられた複数のサブリージョンを持つ。図３５のforループの中に、サブリージョンの数の分だけ、「subregion_horizontal_position」、「subregion_width」の情報が含まれる。「subregion_horizontal_position」の１６ビットフィールドは、サブリージョンの左端のピクセル位置を示す。「subregion_width」はサブリージョンの水平方向の幅をピクセル数で示す。
【０１２６】
「subregion_disparity_shift_integer_part」の８ビットフィールドは、リージョン単位（サブリージョン単位）の固定の視差情報、つまり、字幕表示期間内において共通に使用される視差情報の整数部分を示す。「subregion_disparity_shift_fractional_part」の４ビットフィールドは、リージョン単位（サブリージョン単位）の固定の視差情報、つまり、字幕表示期間内において共通に使用される視差情報の小数部分を示す。上述した「disparity_shift_update_sequence_region_flag」のフラグが“１”であるとき、「disparity_shift_update_sequence()」（図３６参照）の読み出しが行われる。
【０１２７】
［放送受信概念］
図４１は、セットトップボックス２００およびテレビ受信機３００が３Ｄ対応機器である場合の放送受信概念を示している。この場合、放送局１００では、リージョン「Region 0」内にサブリージョン「SR 00」が定義され、その視差情報「Disparity 1」が設定される。ここでは、リージョン「Region 0」とサブリージョン「SR 00」とは同じ領域であるとする。放送局１００から、立体画像データと共に、サブタイトルデータ、表示制御情報（サブリージョンの領域情報「Position」、視差情報「Disparity 1」）が送信される。
【０１２８】
最初に、３Ｄ対応機器であるセットトップボックス２００で受信される場合について説明する。この場合、セットトップボックス２００は、２Ｄストリームからサブタイトルデータを構成する各セグメントのデータを読み込み、３Ｄ拡張ストリームから視差情報などの表示制御情報を含むＤＳＳのセグメントのデータを読み込んで用いる。
【０１２９】
この場合、セットトップボックス２００は、トランスポートストリームＴＳから関連付けされた２Ｄストリームおよび３Ｄ拡張ストリームを抽出してデコードする。その際、セットトップボックス２００は、各ストリームに対応したサブタイトル・デスクリプタ（図１５参照）に記述されている共通のコンポジション・ページＩＤに基づいて、関連付けされた２つのストリームを効率的よく適確に抽出する。
【０１３０】
セットトップボックス２００は、サブタイトルデータに基づいて、サブタイトルを表示するためのリージョンの表示データを生成する。そして、セットトップボックス２００は、リージョンの表示データを、立体画像データを構成する左眼画像フレーム（frame0）部分および右眼画像フレーム（frame1）部分にそれぞれ重畳して、出力立体画像データを得る。
【０１３１】
この際、セットトップボックス２００は、視差情報に基づいて、それぞれに重畳される表示データの位置をシフト調整する。なお、セットトップボックス２００は、立体画像データの伝送フォーマット（サイド・バイ・サイド方式、トップ・アンド・ボトム方式、フレーム・シーケンシャル方式、あるいは、各ビューがフル画面サイズを有するフォーマット方式）に応じて、適宜、重畳位置、サイズなどの変更を行う。
【０１３２】
セットトップボックス２００は、上述のようにして得られた出力立体画像データを、例えばＨＤＭＩのデジタルインタフェースを通じて、３Ｄ対応のテレビ受信機３００に送信する。テレビ受信機３００は、セットトップボックス２００から送られてくる立体画像データに３Ｄ信号処理を施し、サブタイトルが重畳された左眼画像および右眼画像のデータを生成する。そして、テレビ受信機３００は、ＬＣＤ等の表示パネルに、ユーザに立体画像を認識させるための両眼視差画像（左眼画像および右眼画像）を表示する。
【０１３３】
次に、３Ｄ対応機器であるテレビ受信機３００で受信される場合について説明する。この場合、テレビ受信機３００は、２Ｄストリームからサブタイトルデータを構成する各セグメントのデータを読み込み、３Ｄ拡張ストリームから視差情報などの表示制御情報を含むＤＳＳのセグメントのデータを読み込んで用いる。テレビ受信機３００は、上述したセットトップボックス２００と同様に、共通のコンポジション・ページＩＤに基づいて、トランスポートストリームＴＳから関連付けされた２Ｄストリームおよび３Ｄ拡張ストリームを効率よく適確に抽出してデコードする。
【０１３４】
テレビ受信機３００は、サブタイトルデータに基づいて、サブタイトルを表示するためのリージョンの表示データを生成する。そして、テレビ受信機３００は、リージョンの表示データを、立体画像データに伝送フォーマットに応じた処理をして得られた左眼画像データおよび右眼画像データにそれぞれ重畳し、サブタイトルが重畳された左眼画像および右眼画像のデータを生成する。そして、テレビ受信機３００は、ＬＣＤ等の表示パネルに、ユーザに立体画像を認識させるための両眼視差画像（左眼画像および右眼画像）を表示する。
【０１３５】
図４２は、セットトップボックス２００およびテレビ受信機３００がレガシーの２Ｄ対応機器である場合の放送受信概念を示している。この場合、上述の図４１の場合と同様に、放送局１００から、立体画像データと共に、サブタイトルデータ、表示制御情報（サブリージョンの領域情報「Position」、視差情報「Disparity 1」）が送信される。
【０１３６】
最初に、レガシーの２Ｄ対応機器であるセットトップボックス２００で受信される場合について説明する。この場合、セットトップボックス２００は、２Ｄストリームからサブタイトルデータを構成する各セグメントのデータを読み込んで用いる。この場合、セットトップボックス２００は、各ストリームに対応したサブタイトル・デスクリプタ（図１５参照）に記述されているサブタイトルタイプ情報、言語情報などにより、トランスポートストリームＴＳから２Ｄストリームのみを抽出してデコードする。これにより、セットトップボックス２００は、視差情報などの表示制御情報を含むＤＳＳのセグメントの読み込みを行わないので、その読み込みが受信処理の妨げとなることを回避できる。
【０１３７】
上述したように、トランスポートストリームＴＳには、２Ｄストリーム、３Ｄ拡張ストリームにそれぞれ対応して、サブタイトル・デスクリプタが挿入されている（図１５参照）。そして、２Ｄストリームに対応したサブタイトル・デスクリプタのサブタイトルタイプ情報「subtitling_type」は“2D”とされている。また、３Ｄストリームに対応したサブタイトル・デスクリプタのサブタイトルタイプ情報「subtitling_type」は“3D”とされている。
【０１３８】
また、上述したように、トランスポートストリームＴＳには、２Ｄストリーム、３Ｄ拡張ストリームにそれぞれ対応して、コンポーネント・デスクリプタおよびサブタイトル・デスクリプタが挿入されている（図１５参照）。そして、２Ｄストリームに対応したデスクリプタの言語情報（ＩＳＯ言語コード）は言語を示すように設定され、３Ｄ拡張ストリームに対応したデスクリプタの言語情報（ＩＳＯ言語コード）は非言語を示すように設定されている。
【０１３９】
セットトップボックス２００は、２Ｄ対応機器であるため、サブタイトルタイプ情報に基づき、サブタイトルタイプ“2D（HD,SD）”に対応した２Ｄストリームを抽出すべきストリームとして決定する。また、セットトップボックス２００は、ユーザが選択した、あるいは機器が自動的に選択した言語の２Ｄストリームを抽出すべきストリームとして決定する。
【０１４０】
セットトップボックス２００は、サブタイトルデータに基づいて、サブタイトルを表示するためのリージョンの表示データを生成する。そして、セットトップボックス２００は、リージョンの表示データを、立体画像データに対して伝送フォーマットに応じた処理が施されて得られた２次元画像データに重畳して、出力２次元画像データを得る。
【０１４１】
セットトップボックス２００は、上述のようにして得られた出力２次元画像データを、例えばＨＤＭＩのデジタルインタフェースを通じて、テレビ受信機３００に送信する。テレビ受信機３００は、セットトップボックス２００から送られてくる２次元画像データによる２次元画像を表示する。
【０１４２】
次に、２Ｄ対応機器であるテレビ受信機３００で受信される場合について説明する。この場合、テレビ受信機３００は、２Ｄストリームからサブタイトルデータを構成する各セグメントのデータを読み込んで用いる。この場合、テレビ受信機３００は、上述したセットトップボックス２００と同様に、サブタイトルタイプ情報、言語情報により、トランスポートストリームＴＳからユーザが選択した言語の２Ｄストリームのみを抽出してデコードする。つまり、テレビ受信機３００は、視差情報などの表示制御情報を含むＤＳＳのセグメントの読み込みを行わないので、その読み込みが受信処理の妨げとなることを回避できる。
【０１４３】
テレビ受信機３００は、サブタイトルデータに基づいて、サブタイトルを表示するためのリージョンの表示データを生成する。テレビ受信機３００は、このリージョンの表示データを、立体画像データに対して伝送フォーマットに応じた処理が施されて得られた２次元画像データに重畳して、２次元画像データを得る。そして、テレビ受信機３００は、この２次元画像データによる２次元画像を表示する。
【０１４４】
図４３は、上述した受信機（セットトップボックス２００、テレビ受信機３００）がレガシーの２Ｄ対応機器（2D Receiver）である場合および３Ｄ対応機器（3D Receiver）である場合の放送受信概念をまとめて示している。なお、この図においては、立体画像データ（３Ｄ画像データ）の伝送方式をサイド・バイ・サイド（Side By Side）方式としている。
【０１４５】
また、３Ｄ対応機器（3D Receiver）においては、３Ｄモード（3D mode）あるいは２Ｄモード（2D mode）の選択が可能としている。ユーザにより３Ｄモード（3D mode）が選択された場合には、上述の図４１で説明した通りである。ユーザにより２Ｄモード（2D mode）が選択された場合には、上述の図４２で説明した２Ｄ対応機器（2DReceiver）の場合と同様となる。
【０１４６】
図２に示す送信データ生成部１１０において、２Ｄストリームおよび３Ｄ拡張ストリームにそれぞれ対応して挿入されるサブタイトル・デスクリプタには、共通のコンポジション・ページＩＤが記述され、これら２つのストリームの関連付けが明示される。そのため、受信側の３Ｄ対応の受信装置では、この関連付け情報に基づいて、関連付けされた２Ｄストリームおよび３Ｄ拡張ストリームを正しく抽出してデコードし、サブタイトルデータと共に視差情報を得ることができる。
【０１４７】
また、図２に示す送信データ生成部１１０において、２Ｄストリームおよび３Ｄ拡張ストリームにそれぞれ対応して挿入されるコンポーネント・デスクリプタ、サブタイトル・デスクリプタには、それぞれのストリームを識別可能にサブタイトルタイプ情報および言語情報が設定される。そのため、２Ｄ対応の受信装置では、当該サブタイトルタイプ情報、言語情報に基づいて、２Ｄストリームのみを容易かつ精度よく抽出してデコードできる。そのため、２Ｄ対応の受信装置では、視差情報を持つＤＳＳのセグメントの読み込みを強力に防止でき、その処理が受信処理の妨げとなることを回避できる。
【０１４８】
また、図２に示す送信データ生成部１１０においては、トランスポートストリームＴＳに挿入される２Ｄストリームおよび３Ｄ拡張ストリームに含まれる各セグメントのページＩＤ（page_id）は同一とされる。そのため、受信側の３Ｄ対応の受信装置では、このページＩＤに基づいて、２Ｄストリームのセグメントと３Ｄ拡張ストリームのセグメントとを結合することが容易となる。
【０１４９】
また、図２に示す送信データ生成部１１０においては、サブタイトル表示期間において順次更新される視差情報を含むＤＳＳセグメントを送信できるので、左眼サブタイトルおよび右眼サブタイトルの表示位置を動的に制御できる。これにより、受信側においては、左眼サブタイトルおよび右眼サブタイトルの間に付与する視差を画像内容の変化に連動して動的に変化させることが可能となる。
【０１５０】
また、図２に示す送信データ生成部１１０においては、サブタイトルエンコーダ１１８で得られるＤＳＳのセグメントに含まれる更新フレーム間隔毎のフレームの視差情報は、前回の視差情報からのオフセット値ではなく、視差情報そのものである。そのため、受信側において、補間過程でエラーが生じても、一定遅延時間内にエラーからの復帰が可能になる。
【０１５１】
なお、上述では、英語“ｅｎｇ”の１つの言語サービスのみが存在する場合の例を示した（図２３参照）。しかし、本技術は、多言語サービスにも同様に適用できることは勿論である。図４４は、２言語サービスが存在する場合におけるサブタイトルデータストリーム（２Ｄストリーム、３Ｄ拡張ストリーム）のストリーム構成例を示している。この例は、英語“ｅｎｇ”と独語“ｇｅｒ”の２つの言語サービス例である。
【０１５２】
英語サービスに関しては、３Ｄ拡張ストリームは、２Ｄストリームと共通の「composition_page_id＝0xXXXX」で取り込まれ、「subtitling_type＝3D」、「ISO_639_language_code＝zxx」で指定され、２Ｄストリームは、「subtitling_type＝2D」、「ISO_639_language_code＝eng」で指定される。一方、独語サービスに関しては、３Ｄ拡張ストリームは、２Ｄストリームと共通の「composition_page_id＝0xYYYY」で取り込まれ、「subtitling_type＝3D」、「ISO_639_language_code＝zxx」で指定され、２Ｄストリームは、「subtitling_type＝2D」、「ISO_639_language_code＝ger」で指定される。
【０１５３】
上述したように、多言語サービスの場合、各言語サービスに対応したコンポジション・ページＩＤ（composition_page_id）は互いに異なるように設定される。これにより、多言語サービスにおいても、受信側の３Ｄの受信装置においては、言語サービス毎に関連付けされた２Ｄストリームおよび３Ｄ拡張ストリームを効率よく適確に抽出してデコードすることが可能となる。
【０１５４】
図４５は、トランスポートストリームＴＳの構成例を示している。なお、この図においては、図面の簡単化のために、ビデオおよびオーディオに関係する部分の図示を省略している。このトランスポートストリームＴＳには、各エレメンタリストリームをパケット化して得られたＰＥＳパケットが含まれている。
【０１５５】
この構成例では、英語サービスに関して、２ＤストリームのＰＥＳパケット「Subtitle PES1」と、３Ｄ拡張ストリームのＰＥＳパケット「SubtitlePES2」が含まれている。また、独語サービスに関して、２ＤストリームのＰＥＳパケット「SubtitlePES3」と、３Ｄ拡張ストリームのＰＥＳパケット「Subtitle PES4」が含まれている。２Ｄストリーム（ＰＥＳストリーム）には、ＤＤＳ、ＰＣＳ、ＲＣＳ、ＣＤＳ、ＯＤＳ、ＥＤＳの各セグメントが含まれている（図１１（ａ）参照）。３Ｄ拡張ストリーム（ＰＥＳストリーム）には、ＤＤＳ、ＤＳＳ、ＥＤＳ、あるいはＤＤＳ、ＰＣＳ、ＤＳＳ、ＥＤＳの各セグメントが含まれている（図１１（ｂ）、（ｃ）参照）。この場合、各ストリームのElementary_PID”が異なるように設定され、これらのストリームが別のＰＥＳストリームであることが示される。
【０１５６】
ＰＭＴには、サブタイトルエレメンタリストリームに関連した情報を持つサブタイトルエレメンタリ・ループ（Subtitle ES loop）が存在する。このサブタイトルエレメンタリ・ループには、ストリーム毎に、パケット識別子（PID）等の情報が配置されると共に、そのエレメンタリストリームに関連する情報を記述する記述子（デスクリプタ）も配置される。
【０１５７】
英語サービスに係る２Ｄストリームと３Ｄ拡張ストリームとの関連付けを明示するために、各ストリームに対応したサブタイトル・デスクリプタのコンポジション・ページＩＤが、以下のように設定されている。すなわち、この２Ｄストリームと３Ｄ拡張ストリームとで、“composition_page_id”は、同じ値（図示では「0xXXXX」）を共有するように設定される。また、３Ｄ拡張ストリームに含まれる各セグメントが２Ｄストリームの各セグメントに関連することを示すように、双方のＰＥＳストリームで、関連する各セグメントの“page_id”が同じ値（0xXXXX）を有するようにエンコードされる。
【０１５８】
同様に、独語サービスに係る２Ｄストリームと３Ｄ拡張ストリームとの関連付けを明示するために、各ストリームに対応したサブタイトル・デスクリプタのコンポジション・ページＩＤが設定されている。すなわち、この２Ｄストリームと３Ｄ拡張ストリームとで、“composition_page_id”は、同じ値（図示では「0xYYYY」）を共有するように設定される。また、３Ｄ拡張ストリームに含まれる各セグメントが２Ｄストリームの各セグメントに関連することを示すように、双方のＰＥＳストリームで、関連する各セグメントの“page_id”が同じ値（0xYYYY）を有するようにエンコードされる。
【０１５９】
トランスポートストリームＴＳが上述したような多言語に係るサブタイトルデータストリームを有する場合、受信装置では、ユーザが選択した、あるいは自動的に選択された言語サービスに係るサブタイトルデータストリームが抽出されてデコードされる。その際、３Ｄ対応の受信装置では、共通のコンポジション・ページＩＤに基づいて、選択された言語サービスの関連付けされた２Ｄストリームおよび３Ｄ拡張ストリームが効率よく適確に抽出されてデコードが行われる。一方、レガシーの２Ｄ対応の受信装置では、サブタイトリングタイプ情報、言語情報に基づいて、選択された言語サービスの２Ｄストリームのみが抽出されてデコードが行われる。
【０１６０】
また、図４４に示すストリーム構成例においては、３Ｄ拡張ストリームをコンポジション・ページ（composition_page）として運用するものを示した。その場合、上述したように、各言語サービスに対応して、２Ｄストリームおよび３Ｄストリームが存在する。３Ｄ拡張ストリームをアンシラリ・ページとして運用することも考えられる。その場合、３Ｄ拡張ストリームとして各言語サービス共通の１つの３Ｄ拡張ストリームが存在するストリーム構成とできる。これにより、ＰＥＳストリームの帯域の有効活用が可能となる。
【０１６１】
図４６は、３Ｄ拡張ストリームをアンシラリ・ページとして運用する場合におけるサブタイトルデータストリーム（２Ｄストリーム、３Ｄ拡張ストリーム）のストリーム構成例を示している。この例は、英語“ｅｎｇ”と独語“ｇｅｒ”の２つの言語サービス例である。この構成例では、３Ｄ拡張ストリームが各言語サービスの中に「composition_page_id」で取り込まれてはいない。この構成例では、３Ｄ拡張ストリームは、各言語サービス共通のアンシラリ・ページＩＤ“ancillary_page_id”で、各言語サービスから共通に参照される。
【０１６２】
英語サービスに関しては、２Ｄストリームは、「composition_page_id＝0xXXXX」で取り込まれ、「subtitling_type＝2D」、「ISO_639_language_code＝eng」で指定される。そして、３Ｄ拡張ストリームは、「ancillary_page_id＝0xZZZZ」で取り込まれ、「subtitling_type＝3D」、「ISO_639_language_code＝zxx」で指定される。同様に、独語サービスに関しては、２Ｄストリームは、「composition_page_id＝0xYYYY」で取り込まれ、「subtitling_type＝2D」、「ISO_639_language_code＝ger」で指定される。そして、３Ｄ拡張ストリームは、「ancillary_page_id＝0xZZZZ」で取り込まれ、「subtitling_type＝3D」、「ISO_639_language_code＝zxx」で指定される。
【０１６３】
図４７は、トランスポートストリームＴＳの構成例を示している。なお、この図においては、図面の簡単化のために、ビデオおよびオーディオに関係する部分の図示を省略している。このトランスポートストリームＴＳには、各エレメンタリストリームをパケット化して得られたＰＥＳパケットが含まれている。
【０１６４】
この構成例では、英語サービスに関して、２ＤストリームのＰＥＳパケット「Subtitle PES1」が含まれている。また、独語サービスに関して、２ＤストリームのＰＥＳパケット「Subtitle PES2」が含まれている。さらに、英語サービスおよび独語サービスに関して、３Ｄ拡張ストリームのＰＥＳパケット「Subtitle PES3」が含まれている。２Ｄストリーム（ＰＥＳストリーム）には、ＤＤＳ、ＰＣＳ、ＲＣＳ、ＣＤＳ、ＯＤＳ、ＥＤＳの各セグメントが含まれている（図１１（ａ）参照）。３Ｄ拡張ストリーム（ＰＥＳストリーム）には、ＤＤＳ、ＤＳＳ、ＥＤＳが含まれている（図１１（ｂ）参照）。この場合、各ストリームのElementary_PID”が異なるように設定され、これらのストリームが別のＰＥＳストリームであることが示される。
【０１６５】
ＰＭＴには、サブタイトルエレメンタリストリームに関連した情報を持つサブタイトルエレメンタリ・ループ（Subtitle ES loop）が存在する。このサブタイトルエレメンタリ・ループには、ストリーム毎に、パケット識別子（PID）等の情報が配置されると共に、そのエレメンタリストリームに関連する情報を記述する記述子（デスクリプタ）も配置される。
【０１６６】
英語サービスに係る２Ｄストリームと、各言語サービス共通の３Ｄ拡張ストリームとの関連付けを明示するために、各ストリームに対応したサブタイトル・デスクリプタのコンポジション・ページＩＤが、以下のように設定されている。すなわち、この２Ｄストリームと３Ｄ拡張ストリームとで、“composition_page_id”は、同じ値（図示では「0xXXXX」）を共有するように設定される。その際、その３Ｄ拡張ストリームに対応したサブタイトル・デスクリプタにおいて、“ancillary_page_id”は、“composition_page_id”とは異なる値（図示では「0xZZZZ」に設定され、３Ｄ拡張ストリームはアンシラリ・ページとして運用される。
【０１６７】
同様に、独語サービスに係る２Ｄストリームと、各言語サービス共通の３Ｄ拡張ストリームとの関連付けを明示するために、各ストリームに対応したサブタイトル・デスクリプタのコンポジション・ページＩＤが設定されている。すなわち、この２Ｄストリームと３Ｄ拡張ストリームとで、“composition_page_id”は、同じ値（図示では「0xYYYY」）を共有するように設定される。その際、その３Ｄ拡張ストリームに対応したサブタイトル・デスクリプタにおいて、“ancillary_page_id”は、“composition_page_id”とは異なる値（図示では「0xZZZZ」に設定され、３Ｄ拡張ストリームはアンシラリ・ページとして運用される。
【０１６８】
［セットトップボックスの説明］
図１に戻って、セットトップボックス２００は、放送局１００から放送波に載せて送信されてくるトランスポートストリームＴＳを受信する。このトランスポートストリームＴＳには、左眼画像データおよび右眼画像データを含む立体画像データ、音声データが含まれている。また、トランスポートストリームＴＳには、サブタイトル（字幕）を表示するための立体画像用のサブタイトルデータ（表示制御情報を含む）も含まれている。
【０１６９】
すなわち、トランスポートストリームＴＳは、ＰＥＳのストリームとして、ビデオデータストリーム、オーディオデータストリーム、第１および第２のプライベートデータストリーム（サブタイトルデータストリーム）を有している。上述したように、第１および第２のプライベートデータストリームは、それぞれ、２Ｄストリームおよび３Ｄ拡張ストリームである（図１１参照）。
【０１７０】
セットトップボックス２００は、ビットストリーム処理部２０１を有している。セットトップボックス２００が３Ｄ対応機器（3D STB）である場合、ビットストリーム処理部２０１は、トランスポートストリームＴＳから、立体画像データ、音声データ、サブタイトルデータ（表示制御情報を含む）を取得する。そして、ビットストリーム処理部２０１は、２Ｄストリームからサブタイトルデータを構成する各セグメントのデータを取得し、３Ｄ拡張ストリームから視差情報などの表示制御情報を含むＤＳＳのセグメントのデータを取得する。
【０１７１】
そして、ビットストリーム処理部２０１は、立体画像データ、サブタイトルデータ（表示制御情報を含む）を用いて、左眼画像フレーム（frame0）部分および右眼画像フレーム（frame1）部分にそれぞれサブタイトルが重畳された出力立体画像データを生成する（図４１参照）。この場合、左眼画像に重畳するサブタイトル（左眼サブタイトル）と右眼画像に重畳するサブタイトル（右眼サブタイトル）との間に視差を付与できる。
【０１７２】
例えば、上述したように、放送局１００から送られてくる立体画像用のサブタイトルデータに付加されている表示制御情報には、視差情報が含まれており、この視差情報に基づいて、左眼サブタイトルおよび右眼サブタイトルの間に視差を付与できる。このように、左眼サブタイトルと右眼サブタイトルとの間に視差が付与されることで、ユーザは、サブタイトル（字幕）を画像の手前に認識可能となる。
【０１７３】
セットトップボックス２００は、３Ｄサービスと判断するとき、上述した共通のコンポジション・ページＩＤに基づいて、トランスポートストリームＴＳから関連付けされた２Ｄストリームおよび３Ｄ拡張ストリームを抽出してデコードすることを行う。そして、セットトップボックス２００は、サブタイトル（字幕）データおよび視差情報を用いて、上述したように背景画像にサブタイトル（字幕）を貼り付ける処理（重畳処理）を行う。なお、３Ｄ拡張ストリームを抽出できないとき、ビットストリーム処理部２０１は、受信機のロジックに従って、背景画像にサブタイトル（字幕）を貼り付ける処理（重畳処理）を行う。
【０１７４】
セットトップボックス２００は、例えば、以下の（１）〜（３）の場合に、３Ｄサービスであると判断する。
【０１７５】
（１）ＳＤＴにおいて、サービス・デスクリプタ（Service descriptor）の「service_type」が３Ｄ（0x1C，0x1D，0x1E＝frame compatible）である場合（図４８（ａ）参照）。
【０１７６】
（２）ＳＤＴまたはＥＩＴにおいて、コンポーネント・デスクリプタ（component descriptor）の「stream_content」がMPEG4-AVC video（0x05）で、かつ「component_type」が（0x80〜0x83）の３Ｄフォーマットを示す場合（図４８（ｂ）参照）。
【０１７７】
（３）上述の（１）および（２）の双方を満足する場合。
【０１７８】
図４９のフローチャートは、セットトップボックス２００における３Ｄサービスの判断処理の一例を示している。セットトップボックス２００は、ステップＳＴ１において、判断処理を開始し、その後に、ステップＳＴ２の処理に移る。このステップＳＴ２において、セットトップボックス２００は、サービス・デスクリプタの「service_type」が３Ｄであるか否かを判別する。３Ｄであるとき、セットトップボックス２００は、ステップＳＴ３において、３Ｄサービスであると判断する。
【０１７９】
ステップＳＴ２で「service_type」が３Ｄでないとき、セットトップボックス２００は、ステップＳＴ４の処理に移る。このステップＳＴ４において、セットトップボックス２００は、コンポーネント・デスクリプタの「stream_content」がMPEG4-AVC video（0x05）で、かつ「component_type」が３Ｄフォーマットを示すか否かを判別する。３Ｄフォーマットを示すとき、セットトップボックス２００は、ステップＳＴ３において、３Ｄサービスであると判断する。一方、３Ｄフォーマットを示さないとき、セットトップボックス２００は、ステップＳＴ５において、２Ｄサービスであると判断する。
【０１８０】
図５０のフローチャートは、セットトップボックス２００における３Ｄサービスの判断処理の他の一例を示している。セットトップボックス２００は、ステップＳＴ１１において、判断処理を開始し、その後に、ステップＳＴ１２の処理に移る。このステップＳＴ１２において、セットトップボックス２００は、サービス・デスクリプタの「service_type」が３Ｄであるか否かを判別する。３Ｄであるとき、セットトップボックス２００は、ステップＳＴ１３の処理に移る。
【０１８１】
このステップＳＴ１３において、セットトップボックス２００は、コンポーネント・デスクリプタの「stream_content」がMPEG4-AVC video（0x05）で、かつ「component_type」が３Ｄフォーマットを示すか否かを判別する。３Ｄフォーマットを示すとき、セットトップボックス２００は、ステップＳＴ１４において、３Ｄサービスであると判断する。ステップＳＴ１２で３Ｄでないとき、あるいはステップＳＴ１３で３Ｄフォーマットを示さないとき、セットトップボックス２００は、ステップＳＴ１５において、２Ｄサービスであると判断する。
【０１８２】
図５１のフローチャートは、３Ｄサービスであると判断した場合における、セットトップボックス２００の処理の流れを概略的に示している。セットトップボックス２００は、ステップＳＴ２１で３Ｄサービスであると判断し、その後に、ステップＳＴ２２の処理に移る。このステップＳＴ２２において、セットトップボックス２００は、「stream_type」が“0x03(subtitle)”を示す第１のストリームのコンポーネント・デスクリプタ（component descriptor）の「component_type」が“３Ｄ”であるか否かを判別する。
【０１８３】
「component_type」が“３Ｄ”であるとき、セットトップボックス２００は、ステップＳＴ２３において、対象のＰＥＳストリームは、３ＤのＰＥＳストリームであると判断する。ここで、３ＤのＰＥＳストリーム（３Ｄストリーム）は、図５２に示すように、ＤＤＳ、ＰＣＳ、ＲＣＳ、ＣＤＳ、ＯＤＳ、ＥＤＳの重畳情報のデータ（サブタイトルデータ）を構成する各セグメントの他に、上述した視差情報等を持つＤＳＳセグメントを含むＰＥＳストリームである。
【０１８４】
次に、セットトップボックス２００は、ステップＳＴ２４において、３Ｄ拡張セグメント（ＤＳＳセグメント）は、対象ＰＥＳストリーム中に存在すると判断する。その後、セットトップボックス２００は、ステップＳＴ２５において、２Ｄセグメントをデコードした後、３Ｄ拡張セグメントをデコードし、視差情報を考慮して、サブタイトル（字幕）を背景画像（３Ｄビデオ）に重畳する。
【０１８５】
ステップＳＴ２２で「component_type」が“３Ｄ”でないとき、セットトップボックス２００は、ステップＳＴ２６において、対象のＰＥＳストリームは、２Ｄストリームであると判断する。そして、セットトップボックス２００は、ステップＳＴ２７において、３Ｄ拡張ストリームが別個に存在すると判断する。その後、セットトップボックス２００は、ステップＳＴ２８において、コンポジション・ページＩＤを共有するもう一つのＰＥＳストリーム、つまり３Ｄ拡張ストリームを探す。その後、セットトップボックス２００は、ステップＳＴ２９の処理に移る。
【０１８６】
このステップＳＴ２９において、セットトップボックス２００は、３Ｄ拡張ストリームが別に存在するか否かを判別する。３Ｄ拡張ストリームが存在するとき、セットトップボックス２００は、ステップＳＴ２５において、２Ｄセグメントをデコードした後、３Ｄ拡張セグメントをデコードし、視差情報を考慮して、サブタイトル（字幕）を背景画像（３Ｄビデオ）に重畳する。
【０１８７】
一方、３Ｄ拡張ストリームが存在しないとき、セットトップボックス２００は、ステップＳＴ３０において、２Ｄセグメントをデコードした後、当該セットトップボックス２００（受信機）の仕様に則ってサブタイトルに所定の視差を付与して、サブタイトル（字幕）を背景画像（３Ｄビデオ）に重畳する。例えば、サブタイトルに視差を付与せず、サブタイトルをモニタポジションに位置させる。また、例えば、サブタイトルに固定の視差を付与して、モニタポジションより手前の位置にサブタイトルを位置させる。
【０１８８】
図５３（ａ）は、画像上におけるサブタイトル（字幕）の表示例を示している。この表示例では、背景と近景オブジェクトとからなる画像上に、字幕が重畳された例である。図５３（ｂ）は、背景、近景オブジェクト、字幕の遠近感を示し、字幕が最も手前に認識されることを示している。
【０１８９】
図５４（ａ）は、図５３（ａ）と同じ、画像上におけるサブタイトル（字幕）の表示例を示している。図５４（ｂ）は、左眼画像に重畳される左眼字幕ＬＧＩと、右眼画像に重畳される右眼字幕ＲＧＩを示している。図５４（ｃ）は、字幕が最も手前に認識されるために、左眼字幕ＬＧＩと右眼字幕ＲＧＩとの間に視差が与えられることを示している。
【０１９０】
また、セットトップボックス２００がレガシーの２Ｄ対応機器（2D STB）である場合、ビットストリーム処理部２０１は、トランスポートストリームＴＳから、立体画像データ、音声データ、サブタイトルデータ（表示制御情報を含まないビットマップ・パターンデータ）を取得する。そして、ビットストリーム処理部２０１は、立体画像データ、サブタイトルデータを用いて、サブタイトルが重畳された２次元画像データを生成する（図４２参照）。
【０１９１】
この場合、ビットストリーム処理部２０１は、２Ｄストリームからサブタイトルデータを構成する各セグメントのデータを取得する。つまり、この場合、３Ｄ拡張ストリームからＤＳＳのセグメントを読み込むことを行わないので、その読み込みが受信処理の妨げとなることを回避できる。この場合、ビットストリーム処理部２０１は、サブタイトルタイプ情報、言語情報に基づいて、トランスポートストリームＴＳから２Ｄストリームのみを容易かつ精度よく抽出してデコードする。
【０１９２】
［セットトップボックスの構成例］
セットトップボックス２００の構成例を説明する。図５５は、セットトップボックス２００の構成例を示している。このセットトップボックス２００は、ビットストリーム処理部２０１と、ＨＤＭＩ端子２０２と、アンテナ端子２０３と、デジタルチューナ２０４と、映像信号処理回路２０５と、ＨＤＭＩ送信部２０６と、音声信号処理回路２０７を有している。また、このセットトップボックス２００は、ＣＰＵ２１１と、フラッシュＲＯＭ２１２と、ＤＲＡＭ２１３と、内部バス２１４と、リモートコントロール受信部（ＲＣ受信部）２１５と、リモートコントロール送信機（ＲＣ送信機）２１６を有している。
【０１９３】
アンテナ端子２０３は、受信アンテナ（図示せず）で受信されたテレビ放送信号を入力する端子である。デジタルチューナ２０４は、アンテナ端子２０３に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応したトランスポートストリームＴＳ（ビットストリームデータ）を出力する。
【０１９４】
ビットストリーム処理部２０１は、トランスポートストリームＴＳに基づいて、サブタイトルが重畳された出力立体画像データおよび音声データを出力する。このビットストリーム処理部２０１は、セットトップボックス２００が３Ｄ対応機器（3D STB）である場合、トランスポートストリームＴＳから、立体画像データ、音声データ、サブタイトルデータ（表示制御情報を含む）を取得する。
【０１９５】
ビットストリーム処理部２０１は、立体画像データを構成する左眼画像フレーム（frame0）部分および右眼画像フレーム（frame1）部分にそれぞれサブタイトルが重畳された出力立体画像データを生成する（図４１参照）。この際、視差情報に基づいて、左眼画像に重畳するサブタイトル（左眼サブタイトル）と右眼画像に重畳するサブタイトル（右眼サブタイトル）との間に視差を付与する。
【０１９６】
すなわち、ビットストリーム処理部２０１は、サブタイトルデータに基づいて、サブタイトルを表示するためのリージョンの表示データを生成する。そして、ビットストリーム処理部２０１は、リージョンの表示データを、立体画像データを構成する左眼画像フレーム（frame0）部分および右眼画像フレーム（frame1）部分にそれぞれ重畳して、出力立体画像データを得る。この際、ビットストリーム処理部２０１は、視差情報に基づいて、それぞれに重畳される表示データの位置をシフト調整する。
【０１９７】
また、ビットストリーム処理部２０１は、セットトップボックス２００が２Ｄ対応機器（2D STB）である場合、立体画像データ、音声データ、サブタイトルデータ（表示制御情報を含まない）を取得する。ビットストリーム処理部２０１は、立体画像データ、サブタイトルデータを用いて、サブタイトルが重畳された２次元画像データを生成する（図４２参照）。
【０１９８】
すなわち、ビットストリーム処理部２０１は、サブタイトルデータに基づいて、サブタイトルを表示するためのリージョンの表示データを生成する。そして、ビットストリーム処理部２０１は、リージョンの表示データを、立体画像データに対して伝送フォーマットに応じた処理が施されて得られた２次元画像データに重畳して、出力２次元画像データを得る。
【０１９９】
映像信号処理回路２０５は、ビットストリーム処理部２０１で得られた画像データに対して必要に応じて画質調整処理などを行い、処理後の画像データをＨＤＭＩ送信部２０６に供給する。音声信号処理回路２０７は、ビットストリーム処理部２０１から出力された音声データに対して必要に応じて音質調整処理等を行い、処理後の音声データをＨＤＭＩ送信部２０６に供給する。
【０２００】
ＨＤＭＩ送信部２０６は、ＨＤＭＩに準拠した通信により、例えば、非圧縮の画像データおよび音声データを、ＨＤＭＩ端子２０２から送出する。この場合、ＨＤＭＩのＴＭＤＳチャネルで送信するため、画像データおよび音声データがパッキングされて、ＨＤＭＩ送信部２０６からＨＤＭＩ端子２０２に出力される。
【０２０１】
ＣＰＵ２１１は、セットトップボックス２００の各部の動作を制御する。フラッシュＲＯＭ２１２は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ２１３は、ＣＰＵ２１１のワークエリアを構成する。ＣＰＵ２１１は、フラッシュＲＯＭ２１２から読み出したソフトウェアやデータをＤＲＡＭ２１３上に展開してソフトウェアを起動させ、セットトップボックス２００の各部を制御する。
【０２０２】
ＲＣ受信部２１５は、ＲＣ送信機２１６から送信されたリモートコントロール信号（リモコンコード）を受信し、ＣＰＵ２１１に供給する。ＣＰＵ２１１は、このリモコンコードに基づいて、セットトップボックス２００の各部を制御する。ＣＰＵ２１１、フラッシュＲＯＭ２１２およびＤＲＡＭ２１３は内部バス２１４に接続されている。
【０２０３】
セットトップボックス２００の動作を簡単に説明する。アンテナ端子２０３に入力されたテレビ放送信号はデジタルチューナ２０４に供給される。このデジタルチューナ２０４では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応したトランスポートストリーム（ビットストリームデータ）ＴＳが出力される。
【０２０４】
デジタルチューナ２０４から出力されるトランスポートストリーム（ビットストリームデータ）ＴＳは、ビットストリーム処理部２０１に供給される。このビットストリーム処理部２０１では、以下のようにして、テレビ受信機３００に出力するための出力画像データが生成される。
【０２０５】
セットトップボックス２００が３Ｄ対応機器（3D STB）である場合、トランスポートストリームＴＳから、立体画像データ、音声データ、サブタイトルデータ（表示制御情報を含む）が取得される。そして、このビットストリーム処理部２０１では、立体画像データを構成する左眼画像フレーム（frame0）部分および右眼画像フレーム（frame1）部分にそれぞれサブタイトルが重畳された出力立体画像データが生成される。この際、視差情報に基づいて、左眼画像に重畳する左眼サブタイトルと右眼画像に重畳する右眼サブタイトルとの間に視差が付与される。
【０２０６】
また、セットトップボックス２００が２Ｄ対応機器（2D STB）である場合、立体画像データ、音声データ、サブタイトルデータ（表示制御情報を含まない）が取得される。そして、このビットストリーム処理部２０１では、立体画像データ、サブタイトルデータを用いて、サブタイトルが重畳された２次元画像データが生成される。
【０２０７】
ビットストリーム処理部２０１で得られた出力画像データは、映像信号処理回路２０５に供給される。この映像信号処理回路２０５では、出力画像データに対して、必要に応じて画質調整処理等が施される。この映像信号処理回路２０５から出力される処理後の画像データは、ＨＤＭＩ送信部２０６に供給される。
【０２０８】
また、ビットストリーム処理部２０１で得られた音声データは、音声信号処理回路２０７に供給される。この音声信号処理回路２０７では、音声データに対して、必要に応じて音質調整処理等の処理が行われる。この音声信号処理回路２０７から出力される処理後の音声データは、ＨＤＭＩ送信部２０６に供給される。そして、ＨＤＭＩ送信部２０６に供給された画像データおよび音声データは、ＨＤＭＩのＴＭＤＳチャネルにより、ＨＤＭＩ端子２０２からＨＤＭＩケーブル４００に送出される。
【０２０９】
［ビットストリーム処理部の構成例］
図５６は、セットトップボックス２００が３Ｄ対応機器（3D STB）である場合におけるビットストリーム処理部２０１の構成例を示している。このビットストリーム処理部２０１は、上述の図２に示す送信データ生成部１１０に対応した構成となっている。このビットストリーム処理部２０１は、デマルチプレクサ２２１と、ビデオデコーダ２２２と、オーディオデコーダ２２９を有している。
【０２１０】
また、このビットストリーム処理部２０１は、符号化データバッファ２２３と、サブタイトルデコーダ２２４と、ピクセルバッファ２２５と、視差情報補間部２２６と、位置制御部２２７と、ビデオ重畳部２２８を有している。ここで、符号化データバッファ２２３は、デコードバッファを構成している。
【０２１１】
デマルチプレクサ２２１は、トランスポートストリームＴＳから、ビデオデータストリーム、オーディオデータストリームのパケットを抽出し、各デコーダに送ってデコードする。また、デマルチプレクサ２２１は、さらに、以下のストリームを抽出して、符号化データバッファ２２３に一時的に蓄積する。この場合、デマルチプレクサ２２１は、上述したように、３Ｄサービスであると判断した後に、共通のコンポジション・ページＩＤに基づいて、ユーザが選択した、あるいは自動的に選択された言語の２Ｄストリームと３Ｄ拡張ストリームを抽出する。この場合、３Ｄ拡張ストリームを抽出できないこともある。
【０２１２】
ビデオデコーダ２２２は、上述の送信データ生成部１１０のビデオエンコーダ１１２とは逆の処理を行う。すなわち、ビデオデコーダ２２２は、デマルチプレクサ２２１で抽出されたビデオのパケットからビデオデータストリームを再構成し、復号化処理を行って、左眼画像データおよび右眼画像データを含む立体画像データを得る。この立体画像データの伝送フォーマットは、例えば、サイド・バイ・サイド方式、トップ・アンド・ボトム方式、フレーム・シーケンシャル方式、あるいは各ビューがフル画面サイズを占めるビデオ伝送フォーマットの方式などである。
【０２１３】
サブタイトルデコーダ２２４は、上述の送信データ生成部１１０のサブタイトルエンコーダ１２５とは逆の処理を行う。すなわち、このサブタイトルデコーダ２２４は、符号化データバッファ２２３に蓄積されている各ストリームのパケットから各ストリームを再構成し、復号化処理を行って、以下のセグメントのデータを取得する。
【０２１４】
すなわち、サブタイトルデコーダ２２４は、２Ｄストリームをデコードしてサブタイトルデータを構成する各セグメントのデータを取得する。また、サブタイトルデコーダ２２４は、３Ｄ拡張ストリームをデコードしてＤＳＳのセグメントのデータを取得する。上述したように、２Ｄストリームおよび３Ｄ拡張ストリームに含まれる各セグメントのページＩＤ(page_id)は同一とされている。そのため、サブタイトルデコーダ２２４では、このページＩＤに基づいて、２Ｄストリームのセグメントと３Ｄ拡張ストリームのセグメントとを容易に結合できる。
【０２１５】
サブタイトルデコーダ２２４は、サブタイトルデータを構成する各セグメントのデータおよびサブリージョンの領域情報に基づいて、サブタイトルを表示するためのリージョンの表示データ（ビットマップデータ）を生成する。ここで、リージョン内にあってサブリージョンで囲まれていない領域は、透明色が割り当てられる。ピクセルバッファ２２５は、この表示データを一時的に蓄積する。
【０２１６】
ビデオ重畳部２２８は、出力立体画像データＶoutを得る。この場合、ビデオ重畳部２２８は、ビデオデコーダ２２２で得られた立体画像データの左眼画像フレーム（frame0）部分および右眼画像フレーム（frame1）の部分に、それぞれ、ピクセルバッファ２２５に蓄積されている表示データを重畳する。この場合、ビデオ重畳部２２８は、立体画像データの伝送方式（サイド・バイ・サイド方式、トップ・アンド・ボトム方式、フレーム・シーケンシャル方式、ＭＶＣ方式など）に応じて、適宜、重畳位置、サイズなどの変更を行う。このビデオ重畳部２２８は、出力立体画像データＶoutを、ビットストリーム処理部２０１の外部に出力する。
【０２１７】
視差情報補間部２２６は、サブタイトルデコーダ２２４で得られる視差情報を位置制御部２２７に送る。視差情報補間部２２６は、視差情報に対して、必要に応じて、補間処理を施して、位置制御部２２７に送る。位置制御部２２７は、視差情報に基づいて、それぞれのフレームに重畳される表示データの位置をシフト調整する（図４１参照）。この場合、位置制御部２２７は、左眼画像フレーム（frame0）部分および右眼画像フレーム（frame1）部分に重畳される表示データ（字幕パターンデータ）を、視差情報に基づいて、互いに反対方向となるようにシフト調整して、視差を付与する。なお、上述したように３Ｄ拡張ストリームが抽出されない場合には、例えば固定の視差情報により、適宜な視差が付与される。
【０２１８】
なお、表示制御情報には、字幕表示期間内で共通に使用される視差情報が含まれる。また、この表示制御情報には、さらに、字幕表示期間内で順次更新される視差情報が含まれることもある。この字幕表示期間内で順次更新される視差情報は、上述したように、字幕表示期間の最初のフレームの視差情報と、その後の更新フレーム間隔毎のフレームの視差情報とからなっている。
【０２１９】
位置制御部２２７は、字幕表示期間内で共通に使用される視差情報に関しては、そのまま使用する。一方、位置制御部２２７は、字幕表示期間内で順次更新される視差情報に関しては、視差情報補間部２２６で必要に応じて補間処理が施されたものを使用する。例えば、視差情報補間部２２６は、字幕表示期間内における任意のフレーム間隔、例えば、１フレーム間隔の視差情報を生成する。
【０２２０】
視差情報補間部２２６は、この補間処理として、線形補間処理ではなく、例えば、時間方向（フレーム方向）にローパスフィルタ（ＬＰＦ）処理を伴った補間処理を行う。これにより、補間処理後の所定フレーム間隔の視差情報の時間方向（フレーム方向）の変化がなだらかとなる。
【０２２１】
また、オーディオデコーダ２２９は、上述の送信データ生成部１１０のオーディオエンコーダ１１３とは逆の処理を行う。すなわち、このオーディオデコーダ２２９は、デマルチプレクサ２２１で抽出されたオーディオのパケットからオーディオのエレメンタリストリームを再構成し、復号化処理を行って、出力音声データＡoutを得る。このオーディオデコーダ２２９は、出力音声データＡoutを、ビットストリーム処理部２０１の外部に出力する。
【０２２２】
図５６に示すビットストリーム処理部２０１の動作を簡単に説明する。デジタルチューナ２０４（図５５参照）から出力されるトランスポートストリームＴＳは、デマルチプレクサ２２１に供給される。このデマルチプレクサ２２１では、トランスポートストリームＴＳから、ビデオデータストリーム、オーディオデータストリームのパケットが抽出され、各デコーダに供給される。また、このデマルチプレクサ２２１では、さらに、ユーザが選択した言語の２Ｄストリームおよび３Ｄ拡張ストリームのパケットが抽出され、符号化データバッファ２２３に一時的に蓄積される。
【０２２３】
ビデオデコーダ２２２では、デマルチプレクサ２２１で抽出されたビデオデータのパケットからビデオデータストリームが再構成され、さらに復号化処理が行われて、左眼画像データおよび右眼画像データを含む立体画像データが得られる。この立体画像データは、ビデオ重畳部２２８に供給される。
【０２２４】
サブタイトルデコーダ２２４では、符号化データバッファ２２３から２Ｄストリームおよび３Ｄ拡張ストリームのパケットが読み出されてデコードされる。そして、サブタイトルデコーダ２２４では、サブタイトルデータを構成する各セグメントのデータおよびサブリージョンの領域情報に基づいて、サブタイトルを表示するためのリージョンの表示データ（ビットマップデータ）が生成される。この表示データは、ピクセルバッファ２２５に一時的に蓄積される。
【０２２５】
ビデオ重畳部２２８では、ビデオデコーダ２２２で得られた立体画像データの左眼画像フレーム（frame0）部分および右眼画像フレーム（frame1）の部分に、それぞれ、ピクセルバッファ２２５に蓄積されている表示データが重畳される。この場合、立体画像データの伝送方式（サイド・バイ・サイド方式、トップ・アンド・ボトム方式、フレーム・シーケンシャル方式、ＭＶＣ方式など）に応じて、適宜、重畳位置、サイズなどが変更される。このビデオ重畳部２２８で得られる出力立体画像データＶoutは、ビットストリーム処理部２０１の外部に出力される。
【０２２６】
また、サブタイトルデコーダ２２４で得られる視差情報は、視差情報補間部２２６を通じて位置制御部２２７に送られる。視差情報補間部２２６では、必要に応じて、補間処理が行われる。例えば、字幕表示期間内で順次更新される数フレーム間隔の視差情報に関しては、視差情報補間部２２６で必要に応じて補間処理が施され、任意のフレーム間隔、例えば、１フレーム間隔の視差情報が生成される。
【０２２７】
位置制御部２２７では、ビデオ重畳部２２８で左眼画像フレーム（frame0）部分および右眼画像フレーム（frame1）部分に重畳される表示データ（字幕パターンデータ）を、視差情報に基づいて、互いに反対方向となるようにシフト調整することが行われる。これにより、左眼画像に表示される左眼サブタイトルと右眼画像に表示される右眼サブタイトルとの間に視差が付与される。従って、立体画像の内容に応じた、サブタイトル（字幕）の３Ｄ表示が実現される。
【０２２８】
また、オーディオデコーダ２２９では、デマルチプレクサ２２１で抽出されたオーディオのパケットからオーディオエレメンタリストリームが再構成され、さらに復号化処理が施されて、上述の表示用立体画像データＶoutに対応した音声データＡoutが得られる。この音声データＡoutは、ビットストリーム処理部２０１の外部に出力される。
【０２２９】
図５７は、セットトップボックス２００が２Ｄ対応機器（2D STB）である場合におけるビットストリーム処理部２０１の構成例を示している。この図５７において、図５６と対応する部分には、同一符号を付し、その詳細説明は省略する。以下、説明の便宜のため、図５６に示すビットストリーム処理部２０１を３Ｄ対応ビットストリーム処理部２０１と呼び、図５７に示すビットストリーム処理部２０１を２Ｄ対応ビットストリーム処理部２０１と呼ぶこととする。
【０２３０】
図５６に示す３Ｄ対応ビットストリーム処理部２０１において、ビデオデコーダ２２２は、デマルチプレクサ２２１で抽出されたビデオのパケットからビデオデータストリームを再構成し、復号化処理を行って、左眼画像データおよび右眼画像データを含む立体画像データを取得する。それに対して、図５７に示す２Ｄ対応ビットストリーム処理部２０１において、ビデオデコーダ２２２は、立体画像データを取得した後、左眼画像データまたは右眼画像データを切り出し、必要に応じてスケーリング処理等を行って２次元画像データを得る。
【０２３１】
また、図５６に示す３Ｄ対応ビットストリーム処理部２０１において、デマルチプレクサ２２１は、上述したように、ユーザが選択した、あるいは自動的に選択された言語の２Ｄストリームおよび３Ｄ拡張ストリームのパケットを抽出し、サブタイトルデコーダ２２４に送る。それに対して、図５７に示す２Ｄ対応ビットストリーム処理部２０１において、デマルチプレクサ２２１は、図４２で説明したように、ユーザが選択した、あるいは自動的に選択された言語の２Ｄストリームのパケットのみを抽出し、サブタイトルデコーダ２２４に送る。
【０２３２】
この場合、デマルチプレクサ２２１は、サブタイトルタイプ情報、言語情報に基づいて、トランスポートストリームＴＳから２Ｄストリームのみを容易かつ精度よく抽出してデコードする。すなわち、トランスポートストリームＴＳには、２Ｄストリームおよび３Ｄ拡張ストリームに対応して挿入されているコンポーネント・デスクリプタ、サブタイトル・デスクリプタが挿入されている（図１５参照）。
【０２３３】
これらのデスクリプタには、２Ｄストリームおよび３Ｄ拡張ストリームをそれぞれ識別可能にサブタイトルタイプ情報「subtitling_type」および言語情報「ISO_639_language_code」が設定されている（図１５、図１９参照）。そのため、デマルチプレクサ２２１は、当該サブタイトルタイプ情報、言語情報に基づき、トランスポートストリームＴＳから２Ｄストリームのみを容易かつ精度よく抽出することが可能となる。
【０２３４】
また、図５６に示す３Ｄ対応ビットストリーム処理部２０１において、サブタイトルデコーダ２２４は、上述したように、例えば、２Ｄストリームからサブタイトルデータを構成する各セグメントのデータを取得し、さらに、３Ｄ拡張ストリームからＤＳＳのセグメントのデータを取得する。
【０２３５】
それに対して、図５７に示す２Ｄ対応ビットストリーム処理部２０１において、サブタイトルデコーダ２２４は、２Ｄストリームからサブタイトルデータを構成する各セグメントのデータのみを取得する。そして、サブタイトルデコーダ２２４は、この各セグメントのデータおよびサブリージョンの領域情報に基づいて、サブタイトルを表示するためのリージョンの表示データ（ビットマップデータ）を生成し、ピクセルバッファ２２５に一時的に蓄積する。この場合、サブタイトルデコーダ２２４は、ＤＳＳのセグメントのデータの読み込みを行わない。そのため、その読み込みが受信処理の妨げとなることを回避できる。
【０２３６】
また、図５６に示す３Ｄ対応ビットストリーム処理部２０１において、ビデオ重畳部２２８は、出力立体画像データＶoutを得て、ビットストリーム処理部２０１の外部に出力する。この場合、ビデオデコーダ２２２で得られた立体画像データの左眼画像フレーム（frame0）部分および右眼画像フレーム（frame1）の部分に、それぞれ、ピクセルバッファ２２５に蓄積されている表示データを重畳して、出力立体画像データＶoutを得る。そして、位置制御部２２７は、その表示データを、視差情報に基づいて、互いに反対方向となるようにシフト調整し、左眼画像に表示される左眼サブタイトルと右眼画像に表示される右眼サブタイトルとの間に視差を付与する。
【０２３７】
それに対して、図５７に示す２Ｄ対応ビットストリーム処理部２０１において、ビデオ重畳部２２８は、ビデオデコーダ２２２で得られた２次元画像データにピクセルバッファ２２５に蓄積されている表示データを重畳し、出力２次元画像データＶoutを得る。そして、ビデオ重畳部２２８は、この出力２次元画像データＶoutを、ビットストリーム処理部２０１の外部に出力する。
【０２３８】
図５７に示す２Ｄビットストリーム処理部２０１の動作を簡単に説明する。なお、オーディオ系の動作については、図５６に示す３Ｄビットストリーム処理部２０１と同様であるので省略する。
【０２３９】
デジタルチューナ２０４（図５５参照）から出力されるトランスポートストリームＴＳは、デマルチプレクサ２２１に供給される。このデマルチプレクサ２２１では、トランスポートストリームＴＳから、ビデオデータストリーム、オーディオデータストリームのパケットが抽出され、各デコーダに供給される。また、このデマルチプレクサ２２１では、さらに、２Ｄストリームのパケットが抽出され、符号化データバッファ２２３に一時的に蓄積される。
【０２４０】
ビデオデコーダ２２２では、デマルチプレクサ２２１で抽出されたビデオデータのパケットからビデオデータストリームが再構成され、さらに復号化処理が行われて、左眼画像データおよび右眼画像データを含む立体画像データが得られる。そして、ビデオデコーダ２２２では、さらに、この立体画像データから左眼画像データまたは右眼画像データが切り出され、必要に応じてスケーリング処理等が施されて、２次元画像データが得られる。この２次元画像データは、ビデオ重畳部２２８に供給される。
【０２４１】
また、サブタイトルデコーダ２２４では、符号化データバッファ２２３から２Ｄストリームが読み出されてデコードされる。そして、サブタイトルデコーダ２２４では、サブタイトルデータを構成する各セグメントのデータに基づいて、サブタイトルを表示するためのリージョンの表示データ（ビットマップデータ）が生成される。この表示データは、ピクセルバッファ２２５に一時的に蓄積される。
【０２４２】
ビデオ重畳部２２８では、ビデオデコーダ２２２で得られた２次元画像データに対してピクセルバッファ２２５に蓄積されているサブタイトルの表示データ（ビットマップデータ）が重畳され、出力２次元画像データＶoutが得られる。この出力２次元画像データＶoutは、ビットストリーム処理部２０１の外部に出力される。
【０２４３】
図５５に示すセットトップボックス２００において、２Ｄストリームおよび３Ｄ拡張ストリームにそれぞれ対応して挿入されるサブタイトル・デスクリプタには、共通のコンポジション・ページＩＤが記述され、これら２つのストリームの関連付けが明示されている。そのため、セットトップボックス２００では、この関連付け情報に基づいて、関連付けされた２Ｄストリームおよび３Ｄ拡張ストリーム効率よく適確に抽出してデコードし、サブタイトルデータと共に視差情報を得ることができる。
【０２４４】
また、図５５に示すセットトップボックス２００において、２Ｄビットストリーム処理部２０１（図５７参照）のデマルチプレクサ２２１は、サブタイトルタイプ情報、言語情報に基づいて、トランスポートストリームＴＳから２Ｄストリームのみを容易かつ精度よく抽出する。これにより、サブタイトルデコーダ２２４が視差情報を持つＤＳＳのセグメントが含まれる３Ｄ拡張ストリームに対してデコード処理を行うことを強固に防止でき、その処理が受信処理の妨げとなることを回避できる。
【０２４５】
また、図５５に示すセットトップボックス２００において、デジタルチューナ２０４から出力されるトランスポートストリームＴＳには、立体画像データ、サブタイトルデータの他に、表示制御情報も含まれる。この表示制御情報には、表示制御情報（サブリージョンの領域情報、視差情報など）が含まれている。そのため、左眼サブタイトルおよび右眼サブタイトルの表示位置に視差を付与でき、サブタイトル（字幕）の表示において、画像内の各物体との間の遠近感の整合性を最適な状態に維持することが可能となる。
【０２４６】
また、図５５に示すセットトップボックス２００において、３Ｄ対応ビットストリーム処理部２０１（図４６参照）のサブタイトルデコーダ２２４で取得される表示制御情報に字幕表示期間内で順次更新される視差情報が含まれる場合、左眼サブタイトルおよび右眼サブタイトルの表示位置を動的に制御できる。これにより、左眼サブタイトルおよび右眼サブタイトルの間に付与する視差を画像内容の変化に連動して動的に変化させることが可能となる。
【０２４７】
また、図５５に示すセットトップボックス２００において、３Ｄビットストリーム処理部２０１（図４９参照）の視差情報補間部２２６で、字幕表示期間（所定数のフレーム期間）内で順次更新される視差情報を構成する複数フレームの視差情報に対して補間処理が施される。この場合、送信側から更新フレーム間隔毎に視差情報が送信される場合であっても、左眼サブタイトルおよび右眼サブタイトルの間に付与する視差を、細かな間隔で、例えばフレーム毎に制御することが可能となる。
【０２４８】
また、図５５に示すセットトップボックス２００において、３Ｄビットストリーム処理部２０１（図５６参照）の視差情報補間部２２６における補間処理は、例えば、時間方向（フレーム方向）のローパスフィルタ処理を伴うようにすることもできる。そのため、送信側から更新フレーム間隔毎に視差情報が送信される場合であっても、補間処理後の視差情報の時間方向の変化をなだらかにでき、左眼サブタイトルおよび右眼サブタイトルの間に付与される視差の推移が、更新フレーム間隔毎に不連続となることによる違和感を抑制できる。
【０２４９】
なお、上述していないが、セットトップボックス２００が３Ｄ対応機器である場合であって、２次元表示モードまたは３次元表示モードのユーザ選択が可能な構成も考えられる。その場合、３次元表示モードが選択されるときには、ビットストリーム処理部２０１は、上述した３Ｄ対応ビットストリーム処理部２０１（図５６参照）と同様の構成、動作とされる。一方、２次元表示モードが選択されるときには、ビットストリーム処理部２０１は、上述した２Ｄ対応ビットストリーム処理部２０１（図５７参照）と実質的に同様の構成、動作とされる。
【０２５０】
［テレビ受信機の説明］
図１に戻って、テレビ受信機３００は、３Ｄ対応機器である場合、セットトップボックス２００からＨＤＭＩケーブル４００を介して送られてくる立体画像データを受信する。このテレビ受信機３００は、３Ｄ信号処理部３０１を有している。この３Ｄ信号処理部３０１は、立体画像データに対して、伝送フォーマットに対応した処理（デコード処理）を行って、左眼画像データおよび右眼画像データを生成する。
【０２５１】
［テレビ受信機の構成例］
３Ｄ対応のテレビ受信機３００の構成例を説明する。図５８は、テレビ受信機３００の構成例を示している。このテレビ受信機３００は、３Ｄ信号処理部３０１と、ＨＤＭＩ端子３０２と、ＨＤＭＩ受信部３０３と、アンテナ端子３０４と、デジタルチューナ３０５と、ビットストリーム処理部３０６を有している。
【０２５２】
また、このテレビ受信機３００は、映像・グラフィック処理回路３０７と、パネル駆動回路３０８と、表示パネル３０９と、音声信号処理回路３１０と、音声増幅回路３１１と、スピーカ３１２を有している。また、このテレビ受信機３００は、ＣＰＵ３２１と、フラッシュＲＯＭ３２２と、ＤＲＡＭ３２３と、内部バス３２４と、リモートコントロール受信部（ＲＣ受信部）３２５と、リモートコントロール送信機（ＲＣ送信機）３２６を有している。
【０２５３】
アンテナ端子３０４は、受信アンテナ（図示せず）で受信されたテレビ放送信号を入力する端子である。デジタルチューナ３０５は、アンテナ端子３０４に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応したトランスポートストリーム（ビットストリームデータ）ＴＳを出力する。
【０２５４】
ビットストリーム処理部３０６は、トランスポートストリームＴＳに基づいて、サブタイトルが重畳された出力立体画像データおよび音声データを出力する。このビットストリーム処理部２０１は、詳細説明は省略するが、例えば、上述したセットトップボックス２００の、３Ｄ対応ビットストリーム処理部２０１（図５６参照）と同様の構成とされる。このビットストリーム処理部３０６は、立体画像データに対して、左眼サブタイトルおよび右眼サブタイトルの表示データを合成し、サブタイトルが重畳された出力立体画像データを生成して出力する。
【０２５５】
なお、このビットストリーム処理部３０６は、例えば、立体画像データの伝送フォーマットがサイド・バイ・サイド方式、あるいはトップ・アンド・ボトム方式などの場合、スケーリング処理を施し、フル解像度の左眼画像データおよび右眼画像データを出力する。また、ビットストリーム処理部３０６は、画像データに対応した音声データを出力する。
【０２５６】
ＨＤＭＩ受信部３０３は、ＨＤＭＩに準拠した通信により、ＨＤＭＩケーブル４００を介してＨＤＭＩ端子３０２に供給される非圧縮の画像データおよび音声データを受信する。このＨＤＭＩ受信部３０３は、そのバージョンが例えばＨＤＭＩ１．４ａとされており、立体画像データの取り扱いが可能な状態にある。
【０２５７】
３Ｄ信号処理部３０１は、ＨＤＭＩ受信部３０３で受信された立体画像データに対して、デコード処理を行って、フル解像度の左眼画像データおよび右眼画像データを生成する。３Ｄ信号処理部３０１は、ＴＭＤＳ伝送データフォーマットに対応したデコード処理を行う。なお、３Ｄ信号処理部３０１は、ビットストリーム処理部３０６で得られたフル解像度の左眼画像データおよび右眼画像データに対しては何もしない。
【０２５８】
映像・グラフィック処理回路３０７は、３Ｄ信号処理部３０１で生成された左眼画像データおよび右眼画像データに基づいて、立体画像を表示するための画像データを生成する。また、映像・グラフィック処理回路３０７は、画像データに対して、必要に応じて、画質調整処理を行う。
【０２５９】
また、映像・グラフィック処理回路３０７は、画像データに対して、必要に応じて、メニュー、番組表などの重畳情報のデータを合成する。パネル駆動回路３０８は、映像・グラフィック処理回路３０７から出力される画像データに基づいて、表示パネル３０９を駆動する。表示パネル３０９は、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma DisplayPanel）等で構成されている。
【０２６０】
音声信号処理回路３１０は、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた音声データに対してＤ／Ａ変換等の必要な処理を行う。音声増幅回路３１１は、音声信号処理回路３１０から出力される音声信号を増幅してスピーカ３１２に供給する。
【０２６１】
ＣＰＵ３２１は、テレビ受信機３００の各部の動作を制御する。フラッシュＲＯＭ３２２は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ３２３は、ＣＰＵ３２１のワークエリアを構成する。ＣＰＵ３２１は、フラッシュＲＯＭ３２２から読み出したソフトウェアやデータをＤＲＡＭ３２３上に展開してソフトウェアを起動させ、テレビ受信機３００の各部を制御する。
【０２６２】
ＲＣ受信部３２５は、ＲＣ送信機３２６から送信されたリモートコントロール信号（リモコンコード）を受信し、ＣＰＵ３２１に供給する。ＣＰＵ３２１は、このリモコンコードに基づいて、テレビ受信機３００の各部を制御する。ＣＰＵ３２１、フラッシュＲＯＭ３２２およびＤＲＡＭ３２３は、内部バス３２４に接続されている。
【０２６３】
図５８に示すテレビ受信機３００の動作を簡単に説明する。ＨＤＭＩ受信部３０３では、ＨＤＭＩ端子３０２にＨＤＭＩケーブル４００を介して接続されているセットトップボックス２００から送信されてくる、立体画像データおよび音声データが受信される。このＨＤＭＩ受信部３０３で受信された立体画像データは、３Ｄ信号処理部３０１に供給される。また、このＨＤＭＩ受信部３０３で受信された音声データは音声信号処理回路３１０に供給される。
【０２６４】
アンテナ端子３０４に入力されたテレビ放送信号はデジタルチューナ３０５に供給される。このデジタルチューナ３０５では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応したトランスポートストリーム（ビットストリームデータ）ＴＳが出力される。このトランスポートストリームＴＳは、ビットストリーム処理部３０６に供給される。
【０２６５】
ビットストリーム処理部３０６では、ビデオデータストリーム、オーディオデータストリーム、さらには、２Ｄストリーム、３Ｄ拡張ストリームに基づいて、サブタイトルが重畳された出力立体画像データおよび音声データが得られる。この場合、立体画像データに対して、左眼サブタイトルおよび右眼サブタイトルの表示データが合成され、サブタイトルが重畳された出力立体画像データ（フル解像度の左眼画像データおよび右眼画像データ）が生成される。この出力立体画像データは、３Ｄ信号処理部３０１を通って、映像・グラフィック処理回路３０７に供給される。
【０２６６】
３Ｄ信号処理部３０１では、ＨＤＭＩ受信部３０３で受信された立体画像データに対してデコード処理が行われて、フル解像度の左眼画像データおよび右眼画像データが生成される。この左眼画像データおよび右眼画像データは、映像・グラフィック処理回路３０７に供給される。この映像・グラフィック処理回路３０７では、左眼画像データおよび右眼画像データに基づいて、立体画像を表示するための画像データが生成され、必要に応じて、画質調整処理、ＯＳＤ（オンスクリーンディスプレイ）等の重畳情報データの合成処理も行われる。
【０２６７】
この映像・グラフィック処理回路３０７で得られる画像データはパネル駆動回路３０８に供給される。そのため、表示パネル３０９により立体画像が表示される。例えば、表示パネル３０９に、左眼画像データによる左眼画像および右眼画像データによる右眼画像が交互に時分割的に表示される。視聴者は、例えば、表示パネル３０９の表示に同期して左眼シャッタおよび右眼シャッタが交互に開くシャッタメガネを装着することで、左眼では左眼画像のみを見ることができ、右眼では右眼画像のみを見ることができ、立体画像を知覚できる。
【０２６８】
また、ビットストリーム処理部３０６で得られた音声データは、音声信号処理回路３１０に供給される。この音声信号処理回路３１０では、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた音声データに対してＤ／Ａ変換等の必要な処理が施される。この音声データは、音声増幅回路３１１で増幅された後に、スピーカ３１２に供給される。そのため、スピーカ３１２から表示パネル３０９の表示画像に対応した音声が出力される。
【０２６９】
なお、図５８は上述したように３Ｄ対応のテレビ受信機３００である。詳細説明は省略するが、レガシーの２Ｄ対応のテレビ受信機もほぼ同様の構成となる。ただし、レガシーの２Ｄ対応のテレビ受信機の場合、ビットストリーム処理部３０６は、上述の図５７に示す２Ｄ対応ビットストリーム処理部２０１と同様の構成、動作となる。また、レガシーの２Ｄ対応のテレビ受信機の場合、３Ｄ信号処理部３０１は不要となる。
【０２７０】
また、３Ｄ対応のテレビ受信機３００にあって、２次元表示モードまたは３次元表示モードのユーザ選択が可能な構成も考えられる。その場合、３次元表示モードが選択されるときには、ビットストリーム処理部３０６は、上述したと同様の構成、動作とされる。一方、２次元表示モードが選択されるときには、ビットストリーム処理部３０６は、上述の図５７に示す２Ｄ対応ビットストリーム処理部２０１と同様の構成、動作となる。
【０２７１】
＜２．変形例＞
「変形例１」
なお、上述実施の形態においては、２Ｄストリームに対応したサブタイトル・デスクリプタに記述される“subtitling_type”が２Ｄに設定されている。しかし、この“subtitling_type”を３Ｄに設定することも考えられる。この場合、受信側の３Ｄ対応の受信装置では、タイプが３ＤであるＰＥＳストリームにもかかわらず、そのＰＥＳストリームにＤＳＳセグメントが含まれていないとき、ＤＳＳセグメントを含む他のＰＥＳストリームの存在を認識できる。
【０２７２】
図５９は、その場合におけるサブタイトルデータストリーム（２Ｄストリーム、３Ｄ拡張ストリーム）のストリーム構成例を示している。この例は、英語“ｅｎｇ”の単言語サービス例である。３Ｄ拡張ストリームが、２Ｄストリームと共通の「composition_page_id＝0xXXXX」で取り込まれ、「subtitling_type＝3D」、「ISO_639_language_code＝zxx」で指定される。ここで、２Ｄストリームは、「subtitling_type＝3D」、「ISO_639_language_code＝eng」で指定される。
【０２７３】
図６０は、トランスポートストリームＴＳの構成例を示している。なお、この図においては、図面の簡単化のために、ビデオおよびオーディオに関係する部分の図示を省略している。このトランスポートストリームＴＳには、各エレメンタリストリームをパケット化して得られたＰＥＳパケットが含まれている。
【０２７４】
この構成例では、２Ｄストリーム（第１のプライベートデータストリーム）のＰＥＳパケット「Subtitle PES1」と、３Ｄ拡張ストリーム（第２のプライベートデータストリーム）のＰＥＳパケット「Subtitle PES2」が含まれている。２Ｄストリーム（ＰＥＳストリーム）には、ＤＤＳ、ＰＣＳ、ＲＣＳ、ＣＤＳ、ＯＤＳ、ＥＤＳの各セグメントが含まれている（図１１（ａ）参照）。３Ｄ拡張ストリーム（ＰＥＳストリーム）には、ＤＤＳ、ＤＳＳ、ＥＤＳ、あるいはＤＤＳ、ＰＣＳ、ＤＳＳ、ＥＤＳの各セグメントが含まれている（図１１（ｂ）、（ｃ）参照）。この場合、２Ｄストリーム、３Ｄ拡張ストリームの“Elementary_PID”がＰＩＤ１，ＰＩＤ２のように異なるように設定され、これらのストリームが別のＰＥＳストリームであることが示される。
【０２７５】
ＰＭＴの配下に、２Ｄストリーム、３Ｄ拡張ストリームに対応して、それぞれの内容を示すサブタイトル・デスクリプタ（Subtitling_descriptor）が挿入されている。また、ＥＩＴの配下に、ストリーム毎に、配信内容を示すコンポーネント・デスクリプタ（Component_descriptor）が挿入されている。コンポーネント・デスクリプタの“stream_content”がサブタイトル（subtitle）を示す場合、“component_type”が「0x15」あるいは「0x25」であるときは３Ｄ用サブタイトルを示し、その他の値のときは２Ｄ用サブタイトルを示す。サブタイトル・デスクリプタの“subtitling_type”は、“component_type”と同じ値に設定される。
【０２７６】
ここで、３Ｄ拡張ストリームに対応したコンポーネント・デスクリプタの“component_type”およびサブタイトル・デスクリプタの“subtitling_type”は、３Ｄに設定される。さらに、２Ｄストリームに対応したコンポーネント・デスクリプタの“component_type”およびサブタイトル・デスクリプタの“subtitling_type”も、３Ｄに設定される。
【０２７７】
２Ｄストリームと３Ｄ拡張ストリームとの関連付けを明示するために、それぞれのストリームに対応したサブタイトル・デスクリプタのコンポジション・ページＩＤ“composition_page_id”が設定される。すなわち、２Ｄストリームと３Ｄ拡張ストリームとで、この“composition_page_id”は、同じ値（図示では「0xXXXX」）を共有するように設定される。ここで、“composition_page_id”は、関連付け情報を構成している。また、３Ｄ拡張ストリームに含まれる各セグメントが２Ｄストリームの各セグメントに関連することを示すように、双方のＰＥＳストリームで、関連する各セグメントの“page_id”が同じ値（0xXXXX）を有するようにエンコードされる。
【０２７８】
また、サブタイトル・デスクリプタおよびコンポーネント・デスクリプタには、言語情報として、例えば、ＩＳＯ言語コード（ISO_639_language_code）が記述される。２Ｄストリームに対応したデスクリプタのＩＳＯ言語コードは、サブタイトル（字幕）の言語を示すように設定される。図示の例においては、英語を示す「eng」に設定されている。３Ｄ拡張ストリームは、視差情報を持つＤＳＳのセグメントを持つが、ＯＤＳのセグメントは持っておらず、従って言語には依存していない。この３Ｄ拡張ストリームに対応したデスクリプタに記述されるＩＳＯ言語コードは、例えば、非言語を示す「zxx」に設定される。
【０２７９】
なお、図５９に示すストリーム構成例では、英語“ｅｎｇ”の１つの言語サービスのみが存在する場合の例を示した（図２３参照）。しかし、本技術は、多言語サービスにも同様に適用できることは勿論である。図６１は、２言語サービスが存在する場合におけるサブタイトルデータストリーム（２Ｄストリーム、３Ｄ拡張ストリーム）のストリーム構成例を示している。この例は、英語“ｅｎｇ”と独語“ｇｅｒ”の２つの言語サービス例である。
【０２８０】
英語サービスに関しては、３Ｄ拡張ストリームは、２Ｄストリームと共通の「composition_page_id＝0xXXXX」で取り込まれ、「subtitling_type＝3D」、「ISO_639_language_code＝zxx」で指定され、２Ｄストリームは、「subtitling_type＝3D」、「ISO_639_language_code＝eng」で指定される。一方、独語サービスに関しては、３Ｄ拡張ストリームは、２Ｄストリームと共通の「composition_page_id＝0xYYYY」で取り込まれ、「subtitling_type＝3D」、「ISO_639_language_code＝zxx」で指定され、２Ｄストリームは、「subtitling_type＝3D」、「ISO_639_language_code＝ger」で指定される。
【０２８１】
次に、図６２のフローチャートを参照して、２Ｄストリームに対応したサブタイトル・デスクリプタに記述される“subtitling_type”が３Ｄに設定される場合であって、３Ｄ対応受信機が３Ｄサービスであると判断した場合における処理の流れを説明する。ここでは、受信機がセットトップボックス２００であるとして説明する。
【０２８２】
セットトップボックス２００は、ステップＳＴ４１で３Ｄサービスであると判断し、その後に、ステップＳＴ４２の処理に移る。このステップＳＴ４２において、セットトップボックス２００は、「stream_type」が“0x03(subtitle)”を示す第１のストリームのコンポーネント・デスクリプタ（component descriptor）の「component_type」が“３Ｄ”であるか否かを判別する。
【０２８３】
「component_type」が“３Ｄ”であるとき、セットトップボックス２００は、ステップＳＴ４３において、対象のＰＥＳストリームは、３ＤのＰＥＳストリームであると判断する。そして、セットトップボックス２００は、ステップＳＴ４４の処理に移る。このステップＳＴ４４において、セットトップボックス２００は、対象のＰＥＳストリームに３Ｄ拡張されたセグメント、すなわちＤＳＳセグメントが存在するか否かを判断する。
【０２８４】
対象ＰＥＳストリームにＤＳＳセグメントが存在するとき、セットトップボックス２００は、ステップＳＴ４５において、３Ｄ拡張セグメント（ＤＳＳセグメント）は、対象ＰＥＳストリーム中に存在すると判断する（図５２参照）。その後、セットトップボックス２００は、ステップＳＴ４６において、２Ｄセグメントをデコードした後、３Ｄ拡張セグメントをデコードし、視差情報を考慮して、サブタイトル（字幕）を背景画像（３Ｄビデオ）に重畳する。
【０２８５】
ステップＳＴ４４で対象ＰＥＳストリームにＤＳＳセグメントが存在しないとき、セットトップボックス２００は、ステップＳＴ４７において、対象ＰＥＳストリームは、２Ｄストリームであると判断する。そして、セットトップボックス２００は、ステップＳＴ４８において、３Ｄ拡張ストリームが別個に存在すると判断する。
【０２８６】
その後、セットトップボックス２００は、ステップＳＴ４９において、コンポジション・ページＩＤを共有するもう一つのＰＥＳストリーム、つまり３Ｄ拡張ストリームを探す。そして、セットトップボックス２００は、ステップＳＴ４６において、２Ｄセグメントをデコードした後、３Ｄ拡張セグメントをデコードし、視差情報を考慮して、サブタイトル（字幕）を背景画像（３Ｄビデオ）に重畳する。
【０２８７】
また、ステップＳＴ４２で「component_type」が“３Ｄ”でないとき、セットトップボックス２００は、ステップＳＴ５０において、対象のＰＥＳストリームは、２Ｄストリームであると判断する。そして、セットトップボックス２００は、ステップＳＴ５１において、２Ｄセグメントをデコードした後、３Ｄ拡張セグメントをデコードし、視差情報を考慮して、サブタイトル（字幕）を背景画像（３Ｄビデオ）に重畳する。
【０２８８】
「変形例２」
また、上述実施の形態においては、２Ｄストリーム、３Ｄ拡張ストリームに対応したサブタイトル・デスクリプタに記述されるコンポジション・ページＩＤ（composition_page_id）を共有化する例を示した。このコンポジション・ページＩＤを、関連付けされた２Ｄストリームおよび３Ｄ拡張ストリームが存在することを示す特殊な値（special_valueA）で定義することも考えられる。
【０２８９】
この場合、受信側の３Ｄ対応の受信装置では、コンポジション・ページＩＤが特殊な値（special_valueA）であるときのみ、２Ｄストリームの他に３Ｄ拡張ストリームが存在することを確認できる。つまり、受信装置は、ＤＳＳセグメントがもう一つのＰＥＳストリームに分割されていることを確認でき、３Ｄ拡張ストリームが存在しないのに、それを探すなどの無駄な処理を回避できる。
【０２９０】
図６３は、その場合におけるサブタイトルデータストリーム（２Ｄストリーム、３Ｄ拡張ストリーム）のストリーム構成例を示している。この例は、英語“ｅｎｇ”の単言語サービス例である。３Ｄ拡張ストリームが、２Ｄストリームと共通の「composition_page_id＝special_valueA」で取り込まれ、「subtitling_type＝3D」、「ISO_639_language_code＝zxx」で指定される。なお、２Ｄストリームは、「subtitling_type＝2D」、「ISO_639_language_code＝eng」で指定される。
【０２９１】
図６４は、トランスポートストリームＴＳの構成例を示している。なお、この図においては、図面の簡単化のために、ビデオおよびオーディオに関係する部分の図示を省略している。このトランスポートストリームＴＳには、各エレメンタリストリームをパケット化して得られたＰＥＳパケットが含まれている。
【０２９２】
この構成例では、２ＤストリームのＰＥＳパケット「Subtitle PES1」と、３Ｄ拡張ストリームのＰＥＳパケット「SubtitlePES2」が含まれている。２Ｄストリーム（ＰＥＳストリーム）には、ＤＤＳ、ＰＣＳ、ＲＣＳ、ＣＤＳ、ＯＤＳ、ＥＤＳの各セグメントが含まれている（図１１（ａ）参照）。３Ｄ拡張ストリーム（ＰＥＳストリーム）には、ＤＤＳ、ＤＳＳ、ＥＤＳ、あるいはＤＤＳ、ＰＣＳ、ＤＳＳ、ＥＤＳの各セグメントが含まれている（図１１（ｂ）、（ｃ）参照）。この場合、各ストリームのElementary_PID”が異なるように設定され、これらのストリームが別のＰＥＳストリームであることが示される。
【０２９３】
ＰＭＴには、サブタイトルエレメンタリストリームに関連した情報を持つサブタイトルエレメンタリ・ループ（Subtitle ES loop）が存在する。このサブタイトルエレメンタリ・ループには、ストリーム毎に、パケット識別子（PID）等の情報が配置されると共に、そのエレメンタリストリームに関連する情報を記述する記述子（デスクリプタ）も配置される。
【０２９４】
２Ｄストリームと３Ｄ拡張ストリームとの関連付けを明示するために、各ストリームに対応したサブタイトル・デスクリプタのコンポジション・ページＩＤが設定されている。すなわち、この２Ｄストリームと３Ｄ拡張ストリームとで、“composition_page_id”は、同じ値を共有するように設定される。そして、この値は、関連付けされた２Ｄストリームおよび３Ｄ拡張ストリームが存在することを示す特殊な値（special_valueA）とされる。また、３Ｄ拡張ストリームに含まれる各セグメントが２Ｄストリームの各セグメントに関連することを示すように、双方のＰＥＳストリームで、関連する各セグメントの“page_id”が同じ値（special_valueA）を有するようにエンコードされる。
【０２９５】
なお、図６３に示すストリーム構成例では、英語“ｅｎｇ”の１つの言語サービスのみが存在する場合の例を示した。しかし、本技術は、多言語サービスにも同様に適用できることは勿論である。図６５は、２言語サービスが存在する場合におけるサブタイトルデータストリーム（２Ｄストリーム、３Ｄ拡張ストリーム）のストリーム構成例を示している。この例は、英語“ｅｎｇ”と独語“ｇｅｒ”の２つの言語サービス例である。
【０２９６】
英語サービスに関しては、３Ｄ拡張ストリームは、２Ｄストリームと共通の「composition_page_id＝special_valueA」で取り込まれ、「subtitling_type＝3D」、「ISO_639_language_code＝zxx」で指定され、２Ｄストリームは、「subtitling_type＝2D」、「ISO_639_language_code＝eng」で指定される。一方、独語サービスに関しては、３Ｄ拡張ストリームは、２Ｄストリームと共通の「composition_page_id＝special_valueB」で取り込まれ、「subtitling_type＝3D」、「ISO_639_language_code＝zxx」で指定され、２Ｄストリームは、「subtitling_type＝2D」、「ISO_639_language_code＝ger」で指定される。
【０２９７】
次に、図６６のフローチャートを参照して、共通のコンポジション・ページＩＤ（composition_page_id）が特殊な値に設定される場合であって、３Ｄ対応受信機が３Ｄサービスであると判断した場合における処理の流れを説明する。ここでは、受信機がセットトップボックス２００であるとして説明する。
【０２９８】
セットトップボックス２００は、ステップＳＴ６１で３Ｄサービスであると判断し、その後に、ステップＳＴ６２の処理に移る。このステップＳＴ６２において、セットトップボックス２００は、「stream_type」が“0x03(subtitle)”を示す第１のストリームのコンポーネント・デスクリプタ（component descriptor）の「component_type」が“３Ｄ”であるか否かを判別する。
【０２９９】
「component_type」が“３Ｄ”であるとき、セットトップボックス２００は、ステップＳＴ６３において、対象のＰＥＳストリームは、３ＤのＰＥＳストリームであると判断する。ここで、３ＤのＰＥＳストリーム（３Ｄストリーム）は、図５２に示すように、ＤＤＳ、ＰＣＳ、ＲＣＳ、ＣＤＳ、ＯＤＳ、ＥＤＳの重畳情報のデータ（サブタイトルデータ）を構成する各セグメントの他に、上述した視差情報等を持つＤＳＳセグメントを含むＰＥＳストリームである。
【０３００】
次に、セットトップボックス２００は、ステップＳＴ６４において、３Ｄ拡張セグメント（ＤＳＳセグメント）は、対象ＰＥＳストリーム中に存在すると判断する。その後、セットトップボックス２００は、ステップＳＴ６５において、２Ｄセグメントをデコードした後、３Ｄ拡張セグメントをデコードし、視差情報を考慮して、サブタイトル（字幕）を背景画像（３Ｄビデオ）に重畳する。
【０３０１】
また、上述のステップＳＴ６２で「component_type」が“３Ｄ”でないとき、セットトップボックス２００は、ステップＳＴ６６において、対象のＰＥＳストリームは、２Ｄストリームであると判断する。そして、セットトップボックス２００は、ステップＳＴ６７において、対象のＰＥＳストリームを指すサブタイトル・デスクリプタの「composition_page_id」が、デュアルストリーム（Dual stream）を意味する特殊な値か否かを判別する。
【０３０２】
特殊な値であるとき、セットトップボックス２００は、ステップＳＴ６８において、３Ｄ拡張ストリームが別個に存在すると判断する。その後、セットトップボックス２００は、ステップＳＴ６９において、コンポジション・ページＩＤを共有するもう一つのＰＥＳストリーム、つまり３Ｄ拡張ストリームを探す。そして、セットトップボックス２００は、ステップＳＴ６５において、２Ｄセグメントをデコードした後、３Ｄ拡張セグメントをデコードし、視差情報を考慮して、サブタイトル（字幕）を背景画像（３Ｄビデオ）に重畳する。
【０３０３】
上述のステップＳＴ６７で特殊な値でないとき、セットトップボックス２００は、ステップＳＴ７０において、２Ｄストリームに関連するＰＥＳストリームはないと判断する。そして、セットトップボックス２００は、ステップＳＴ７１において、２Ｄセグメントをデコードした後、当該セットトップボックス２００（受信機）の仕様に則ってサブタイトルに所定の視差を付与して、サブタイトル（字幕）を背景画像（３Ｄビデオ）に重畳する。例えば、サブタイトルに視差を付与せず、サブタイトルをモニタポジションに位置させる。また、例えば、サブタイトルに固定の視差を付与して、モニタポジションより手前の位置にサブタイトルを位置させる。
【０３０４】
「変形例３」
また、上述実施の形態においては、２Ｄストリーム、３Ｄ拡張ストリームをサブタイトル・デスクリプタに記述されるコンポジション・ページＩＤ（composition_page_id）を用いて対応付けをする例を示した。２Ｄストリーム、３Ｄ拡張ストリームの紐付けのための専用の情報（紐付け情報）をデスクリプタに記述することも考えらられる。これにより、関連付けされた２Ｄストリーム、３Ｄ拡張ストリームの紐付けをより強固に行うことができる。
【０３０５】
図６７は、その場合におけるサブタイトルデータストリーム（２Ｄストリーム、３Ｄ拡張ストリーム）のストリーム構成例を示している。この例は、英語“ｅｎｇ”の単言語サービス例である。３Ｄ拡張ストリームが、２Ｄストリームと共通の「composition_page_id＝0xXXXX」で取り込まれ、「subtitling_type＝3D」、「ISO_639_language_code＝zxx」で指定される。なお、２Ｄストリームは、「subtitling_type＝2D」、「ISO_639_language_code＝eng」で指定される。
【０３０６】
そして、２Ｄストリーム、３Ｄ拡張ストリームに対応したサブタイトル・デスクリプタのコンポジション・ページＩＤ（composition_page_id）が共通化されることで、これらの２つのストリームの関連が明示的に示される。また、デスクリプタに専用の紐付け情報を記述することで、これら２つのストリームの紐付けが明示される。この場合におけるデスクリプタとしては、（１）新たな定義されたデスクリプタを使用する場合、（２）既存のデスクリプタを利用する場合、の２通りが考えられる。
【０３０７】
最初に新たなデスクリプタを定義する場合について説明する。ここでは、専用の紐付け情報（association_ID）が記述される、ストリーム・アソシエーションＩＤ・デスクリプタ（stream_association_ID descriptor）が新たに定義される。
【０３０８】
図６８は、ストリーム・アソシエーションＩＤ・デスクリプタの構造例（syntax）を示している。図６９は、その構造例における主要な情報の内容（Semantics）を示している。「descriptor_tag」の８ビットフィールドは、このデスクリプタがストリーム・アソシエーションＩＤ・デスクリプタであることを示す。「descriptor_length」の８ビットフィールドは、このフィールド以後の全体のバイトサイズを示す。
【０３０９】
「stream_content」の４ビットフィールドは、メインのストリームの例えばビデオ、オーディオ、サブタイトルなどのストリームタイプを示す。「component_type」の４ビットフィールドは、メインのストリームの例えばビデオ、オーディオ、サブタイトルなどのコンポーネントタイプを示す。これら「stream_content」、「component_type」には、メインのストリームに対応したコンポーネント・デスクリプタ内の「stream_content」、「component_type」と同じ情報とされる。
【０３１０】
「association_ID」の４ビットフィールドは、紐付け情報を示す。紐付けすべき各コンポーネント（ＰＥＳストリーム）に対応したストリーム・アソシエーションＩＤ・デスクリプタの「association_ID」は同じ値を持つ。
【０３１１】
次に、既存のデスクリプタを利用する場合について説明する。ここでは、コンポーネント・デスクリプタを拡張定義して用いる例を説明する。図７０は、拡張されたコンポーネント・デスクリプタの構造例（syntax）を示している。図７１は、その構造例における主要な情報の内容（Semantics）を示している。
【０３１２】
「extended_flag」の１ビットフィールドは、デスクリプタが拡張されているか否かを示す。この場合、“１”は拡張されていることを示し、“０”は拡張されていないことを示す。コンポーネント・デスクリプタが拡張されている場合には、このデスクリプタは、紐付け情報としての「association_ID」を持つ。
【０３１３】
「extension_type」の８ビットフィールドは、拡張タイプを示す。ここでは、例えば「0x01」に設定されることで、当該コンポーネント・デスクリプタに対応するコンポーネント（ＰＥＳストリーム）が、「association_ID」により、紐付けられることを示す。「extension_length」は、このフィールド以後の拡張されているバイトサイズを示す。そして、「association_ID」の４ビットフィールドは、紐付け情報を示す。上述したように、紐付けすべき各コンポーネント（ＰＥＳストリーム）に対応したストリーム・アソシエーションＩＤ・デスクリプタの「association_ID」は同じ値を持つ。
【０３１４】
図７２は、トランスポートストリームＴＳの構成例を示している。なお、この図においては、図面の簡単化のために、ビデオおよびオーディオに関係する部分の図示を省略している。このトランスポートストリームＴＳには、各エレメンタリストリームをパケット化して得られたＰＥＳパケットが含まれている。
【０３１５】
この構成例では、２ＤストリームのＰＥＳパケット「Subtitle PES1」と、３Ｄ拡張ストリームのＰＥＳパケット「SubtitlePES2」が含まれている。２Ｄストリーム（ＰＥＳストリーム）には、ＤＤＳ、ＰＣＳ、ＲＣＳ、ＣＤＳ、ＯＤＳ、ＥＤＳの各セグメントが含まれている（図１１（ａ）参照）。３Ｄ拡張ストリーム（ＰＥＳストリーム）には、ＤＤＳ、ＤＳＳ、ＥＤＳ、あるいはＤＤＳ、ＰＣＳ、ＤＳＳ、ＥＤＳの各セグメントが含まれている（図１１（ｂ）、（ｃ）参照）。この場合、各ストリームのElementary_PID”が異なるように設定され、これらのストリームが別のＰＥＳストリームであることが示される。
【０３１６】
２Ｄストリームと３Ｄ拡張ストリームとの関連付けを明示するために、各ストリームに対応したサブタイトル・デスクリプタのコンポジション・ページＩＤが設定されている。すなわち、この２Ｄストリームと３Ｄ拡張ストリームとで、“composition_page_id”は、同じ値（図示では「0xXXXX」）を共有するように設定される。また、３Ｄ拡張ストリームに含まれる各セグメントが２Ｄストリームの各セグメントに関連することを示すように、双方のＰＥＳストリームで、関連する各セグメントの“page_id”が同じ値（0xXXXX）を有するようにエンコードされる。
【０３１７】
また、２Ｄストリーム、３Ｄ拡張ストリームにそれぞれ対応したコンポーネント・デスクリプタ（component desucriptor）が拡張され、それぞれに記述される紐付け情報としての「association_ID」は同じ値に設定される。これにより、関連づけられた２Ｄストリーム、３Ｄ拡張ストリームが、「association_ID」により、紐付けされる。
【０３１８】
また、トランスポートストリームＴＳには、２Ｄストリーム、３Ｄ拡張ストリームにそれぞれ対応したストリーム・アソシエーションＩＤ・デスクリプタ（stream_association_ID descriptor）が挿入されている。そして、それぞれに記述される紐付け情報としての「association_ID」は同じ値に設定される。これにより、関連づけられた２Ｄストリーム、３Ｄ拡張ストリームが、「association_ID」により、紐付けされる。
【０３１９】
なお、図７２に示すトランスポートストリームＴＳの構成例においては、コンポーネント・デスクリプタの拡張と、ストリーム・アソシエーションＩＤ・デスクリプタの挿入とを両方行っている。しかし、いずれか一方であってもよい。なお、図中に記載はないが、「component descriptor」と「PID」の関連付けは、必要に応じて「stream_identifier descriptor」の“component_tag”を介して行われることは勿論である。
【０３２０】
なお、図６７に示すストリーム構成例では、英語“ｅｎｇ”の１つの言語サービスのみが存在する場合の例を示した。しかし、本技術は、多言語サービスにも同様に適用できることは勿論である。図７３は、２言語サービスが存在する場合におけるサブタイトルデータストリーム（２Ｄストリーム、３Ｄ拡張ストリーム）のストリーム構成例を示している。この例は、英語“ｅｎｇ”と独語“ｇｅｒ”の２つの言語サービス例である。
【０３２１】
この場合、各言語サービスにおいて、２Ｄストリーム、３Ｄ拡張ストリームが、対応するデスクリプタに専用の紐付け情報「association_ID」が記述されることで紐付けされる。この際、異なる言語サービス間において、「association_ID」の値は異なるものとされる。図７４は、その場合におけるトランスポートストリームＴＳの構成例を示している。英語の言語サービスに関して「association_ID」は“association_ID_1”とされ、独語の言語サービスに関して「association_ID」は“association_ID_2”とされている。
【０３２２】
次に、図７５のフローチャートを参照して、専用の紐付け情報をデスクリプタに記述する場合であって、３Ｄ対応受信機が３Ｄサービスであると判断した場合における処理の流れを説明する。ここでは、受信機がセットトップボックス２００であるとして説明する。
【０３２３】
セットトップボックス２００は、ステップＳＴ８１で３Ｄサービスであると判断し、その後に、ステップＳＴ８２の処理に移る。このステップＳＴ８２において、セットトップボックス２００は、ＰＭＴあるいはＥＩＴのデスクリプタ（descriptor）に紐付け情報としての「association_ID」が存在するか否かを判別する。
【０３２４】
「association_ID」が存在するとき、セットトップボックス２００は、ステップＳＴ８３において、各ＰＥＳストリームの「association_ID」を比較する。そして、セットトップボックス２００は、ステップＳＴ８４において、２Ｄストリームと３Ｄ拡張ストリームの関連状態、つまり紐付けを認識する。そして、セットトップボックス２００は、ステップＳＴ８５において、ステップＳＴ６５において、２Ｄセグメントをデコードした後、３Ｄ拡張セグメントをデコードし、視差情報を考慮して、サブタイトル（字幕）を背景画像（３Ｄビデオ）に重畳する。
【０３２５】
上述のステップＳＴ８２で「association_ID」が存在しないとき、セットトップボックス２００は、ステップＳＴ８６の処理に移る。このステップＳＴ８６において、セットトップボックス２００は、「stream_type」が“0x03(subtitle)”を示す第１のストリームのコンポーネント・デスクリプタ（component descriptor）の「component_type」が“３Ｄ”であるか否かを判別する。
【０３２６】
「component_type」が“３Ｄ”であるとき、セットトップボックス２００は、ステップＳＴ８７において、対象のＰＥＳストリームは、３ＤのＰＥＳストリームであると判断する。ここで、３ＤのＰＥＳストリーム（３Ｄストリーム）は、図５２に示すように、ＤＤＳ、ＰＣＳ、ＲＣＳ、ＣＤＳ、ＯＤＳ、ＥＤＳの重畳情報のデータ（サブタイトルデータ）を構成する各セグメントの他に、上述した視差情報等を持つＤＳＳセグメントを含むＰＥＳストリームである。
【０３２７】
次に、セットトップボックス２００は、ステップＳＴ８８において、３Ｄ拡張セグメント（ＤＳＳセグメント）は、対象ＰＥＳストリーム中に存在すると判断する。その後、セットトップボックス２００は、ステップＳＴ８５において、２Ｄセグメントをデコードした後、３Ｄ拡張セグメントをデコードし、視差情報を考慮して、サブタイトル（字幕）を背景画像（３Ｄビデオ）に重畳する。
【０３２８】
また、上述のステップＳＴ８６で「component_type」が“３Ｄ”でないとき、セットトップボックス２００は、ステップＳＴ８９において、対象のＰＥＳストリームは、２Ｄストリームであると判断する。そして、セットトップボックス２００は、ステップＳＴ９０において、２Ｄセグメントをデコードした後、当該セットトップボックス２００（受信機）の仕様に則ってサブタイトルに所定の視差を付与して、サブタイトル（字幕）を背景画像（３Ｄビデオ）に重畳する。例えば、サブタイトルに視差を付与せず、サブタイトルをモニタポジションに位置させる。また、例えば、サブタイトルに固定の視差を付与して、モニタポジションより手前の位置にサブタイトルを位置させる。
【０３２９】
「その他」
なお、図５５に示すセットトップボックス２００においては、デジタルチューナ２０４に接続されるアンテナ入力端子２０３が設けられたものを示した。しかし、ケーブルを介して送信されてくるＲＦ信号を入力するセットトップボックスも同様に構成できる。その場合、アンテナ端子２０３の代わりにケーブル端子が設けられたものとなる。
【０３３０】
また、インターネット、ホームネットワークが直接、あるいはそれらがルータ経由で接続されるセットトップボックスも同様に構成できる。つまり、その場合、セットトップボックスには、上述のトランスポートストリームＴＳがインターネット、ホームネットワークから直接、あるいはそれらからルータ経由で送られてくることになる。
【０３３１】
図７６は、その場合におけるセットトップボックス２００Ａの構成例を示している。この図７６において、図５５と対応する部分には同一符号を付して示している。このセットトップボックス２００Ａは、ネットワークインタフェース２０９に接続されたネットワーク端子２０８を有している。そして、このネットワークインタフェース２０９からトランスポートストリームＴＳが出力され、ビットストリーム処理部２０１に供給される。詳細説明は省略するが、このセットトップボックス２００Ａのその他は、図５５に示すセットトップボックス２００と同様に構成され、同様の動作をする。
【０３３２】
また、図５８に示すテレビ受信機３００においては、デジタルチューナ２０４に接続されるアンテナ入力端子３０４が設けられたものを示した。しかし、ケーブルを介して送信されてくるＲＦ信号を入力するテレビ受信機も同様に構成できる。その場合、アンテナ端子３０４の代わりにケーブル端子が設けられたものとなる。
【０３３３】
また、インターネット、ホームネットワークに直接、あるいはそれらがルータ経由で接続されるテレビ受信機も同様に構成できる。つまり、その場合、テレビ受信機には、上述のトランスポートストリームＴＳがインターネット、ホームネットワークから直接、あるいはそれらからルータ経由で送られてくることになる。
【０３３４】
図７７は、その場合におけるテレビ受信機３００Ａの構成例を示している。この図７７において、図５８と対応する部分には同一符号を付して示している。このテレビ受信機３００Ａは、ネットワークインタフェース３１４に接続されたネットワーク端子３１３を有している。そして、このネットワークインタフェース３１４からトランスポートストリームＴＳが出力され、ビットストリーム処理部３０６に供給される。詳細説明は省略するが、このテレビ受信機３００Ａのその他は、図５８に示すテレビ受信機３００と同様に構成され、同様の動作をする。
【０３３５】
また、上述実施の形態においては、画像送受信システム１０が、放送局１００、セットトップボックス２００およびテレビ受信機３００で構成されているものを示した。しかし、テレビ受信機３００は、図５８に示すように、セットトップボックス２００内のビットストリーム処理部２０１と同様に機能するビットストリーム処理部３０６を備えている。したがって、図７８に示すように、放送局１００およびテレビ受信機３００で構成される画像送受信システム１０Ａも考えられる。詳細説明は省略するが、テレビ受信機３００では、上述のセットトップボックス２００と同様に、３Ｄサービスの判断処理（図４９、図５０参照）、３Ｄサービスであると判断した場合における受信処理（図５１、図６２、図６６、図７５）が行われる。
【０３３６】
また、上述実施の形態においては、コンポーネント・デスクリプタ（component_descriputor）が存在する場合について説明した（図１５参照）。しかし、ＥＰＧが運用されない場合、ＥＩＴが存在せず、コンポーネント・デスクリプタは存在しない。本技術は、コンポーネント・デスクリプタが存在しなくても成り立つものである。すなわち、ＰＭＴの配下に配置されるサブタイトル・デスクリプタ（Subtitle_descriptor）、ストリーム・アソシエーションＩＤ・デスクリプタ（stream_association_ID descriptor）などにより実現できる。
【０３３７】
また、上述実施の形態においては、３Ｄ拡張ストリームにＤＤＳ、ＤＳＳ、ＥＤＳの各セグメント、あるいはＤＤＳ、ＰＣＳ、ＤＳＳ、ＥＤＳの各セグメントが含まれる例を示した（図１１（ｂ）、（ｃ）参照）。しかし、３Ｄ拡張ストリームのセグメント構成は、これに限定されるものではなく、その他のセグメントを含む構成も考えられる。この場合、３Ｄ拡張ストリームには、最大で、ＤＤＳ、ＰＣＳ、ＲＣＳ、ＣＤＳ、ＯＤＳ、ＤＳＳ、ＥＤＳの各セグメントが含まれる。
【０３３８】
また、上述実施の形態においては、セットトップボックス２００と、テレビ受信機３００とが、ＨＤＭＩのデジタルインタフェースで接続されるものを示している。しかし、これらが、ＨＤＭＩのデジタルインタフェースと同様のデジタルインタフェース（有線の他に無線も含む）で接続される場合においても、この発明を同様に適用できる。
【０３３９】
また、上述実施の形態においては、重畳情報としてサブタイトル（字幕）を取り扱うものを示した。しかし、その他のグラフィクス情報、テキスト情報などの重畳情報をはじめ、基本ストリームと追加ストリームとに分割されたものが関連して出力されるようにエンコーダされるもので、オーディオのストリームに関して扱うものにも、この発明を同様に適用できる。
【０３４０】
また、本技術は、以下のような構成を取ることもできる。
（１）立体画像を構成する左眼画像データおよび右眼画像データを出力する画像データ出力部と、
上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを出力する重畳情報データ出力部と、
上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を出力する視差情報出力部と、
上記画像データを含むビデオデータストリームと、上記重畳情報のデータを含む第１のプライベートデータストリームと、上記視差情報を含む第２のプライベートデータストリームとを有する多重化データストリームを送信するデータ送信部とを備え、
上記多重化データストリームに、上記第１のプライベートデータストリームおよび上記第２のプライベートデータストリームを関連付ける関連付け情報が挿入される
送信装置。
（２）上記関連付け情報として、上記第１のプライベートデータストリームに関する情報を記述する第１のデスクリプタおよび上記第２のプライベートデータストリームに関する情報を記述する第２のデスクリプタに共通の識別情報が記述される
前記（１）に記載の送信装置。
（３）上記共通の識別情報は、上記第１のプライベートデータストリームおよび上記第２のプライベートデータストリームが存在することを示す特殊な値で定義される
前記（２）に記載の送信装置。
（４）上記多重化データストリームは、複数の言語サービスにそれぞれ対応した上記第１のプライベートデータストリームおよび上記第２のプライベートデータストリームを有し、
各言語サービスに対応した上記共通の識別情報は互いに異なるように設定される
前記（１）または（２）に記載の送信装置。
（５）上記重畳情報のデータは、ＤＶＢ方式のサブタイトルデータであり、
上記第１のプライベートデータストリームに対応した第１のサブタイトル・デスクリプタおよび上記第２のプライベートデータストリームに対応したサブタイトル・デスクリプタには、共通のコンポション・ページＩＤが記述される
前記（２）から（４）のいずれかに記載の送信装置。
（６）上記第１のデスクリプタおよび上記第２のデスクリプタには言語情報が記述され、
上記第２のデスクリプタに記述される言語情報は非言語を示すように設定される
前記（２）から（５）のいずれかに記載の送信装置。
（７）上記非言語を示す言語情報は、ＩＳＯ言語コードを示す「ｚｘｘ」、あるいは「ｑａａ」から「ｑｒｚ」の空間に含まれる言語コードのいずれかである
前記（６）に記載の送信装置。
（８）上記関連付け情報として、上記第１のプライベートデータストリームに関する情報を記述する第１のデスクリプタおよび上記第２のプライベートデータストリームに関する情報を記述する第２のデスクリプタに共通の識別情報が記述され、
上記第１のデスクリプタおよび上記第２のデスクリプタに立体画像表示用の情報であることを示すタイプ情報が記述される
前記（１）に記載の送信装置。
（９）上記重畳情報のデータは、ＤＶＢ方式のサブタイトルデータであり、
上記タイプ情報は、サブタイトルタイプ情報である
前記（８）に記載の送信装置。
（１０）上記第１のデスクリプタおよび上記第２のデスクリプタには言語情報が記述され、
上記第２のデスクリプタに記述される言語情報は非言語を示すように設定される
前記（８）または（９）に記載の送信装置。
（１１）上記非言語を示す言語情報は、ＩＳＯ言語コードを示す「ｚｘｘ」、あるいは「ｑａａ」から「ｑｒｚ」の空間に含まれる言語コードのいずれかである
前記（１０）に記載の送信装置。
（１２）上記多重化データストリームには、上記第１のプライベートデータストリームおよび上記第２のプライベートデータストリームを紐付けるための専用の紐付け情報が記述されるデスクリプタが挿入される
前記（１）に記載の送信装置。
（１３）上記デスクリプタは、上記専用の紐付け情報を記述するための専用のデスクリプタである
前記（１２）に記載の送信装置。
（１４）立体画像を構成する左眼画像データおよび右眼画像データを出力する画像データ出力ステップと、
上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを出力する重畳情報データ出力ステップと、
上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を出力する視差情報出力ステップと、
上記画像データを含むビデオデータストリームと、上記重畳情報のデータを含む第１のプライベートデータストリームと、上記視差情報を含む第２のプライベートデータストリームとを有する多重化データストリームを送信するデータ送信ステップとを備え、
上記多重化データストリームに、上記第１のプライベートデータストリームおよび上記第２のプライベートデータストリームを関連付ける関連付け情報が挿入される
送信方法。
（１５）立体画像を構成する左眼画像データおよび右眼画像データをを含むビデオデータストリームと、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを含む第１のプライベートデータストリームと、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を含む第２のプライベートデータストリームとを有する多重化データストリームを受信するデータ受信部と、
上記上記多重化データストリームから上記ビデオデータストリームを抽出してデコードする第１のデコード部と、
上記多重化データストリームから上記第１のプライベートデータストリームおよび上記第２のプライベートデータストリームを抽出してデコードする第２のデコード部とを備え、
上記多重化データストリームには、上記第１のプライベートデータストリームおよび上記第２のプライベートデータストリームを関連付ける関連付け情報が挿入されており、
上記第２のデコード部は、上記関連付け情報に基づいて、上記多重化データストリームから上記第１のプライベートデータストリームおよび上記第２のプライベートデータストリームを抽出する
受信装置。
【０３４１】
本技術の主な特徴は、２Ｄセグメント（ＤＤＳ、ＰＣＳ、ＲＣＳ、ＣＤＳ、ＯＤＳ、ＥＤＳの各セグメント）を含む２Ｄストリームと、これとは別個に３Ｄ拡張セグメント（ＤＳＳセグメント）を含む３Ｄ拡張ストリームを送信する場合（図１１参照）、トランスポートストリームＴＳにこれら２つのストリームを関連付ける関連付け情報（共通のcomposition_page_idなど）を挿入することで（図１５参照）、３Ｄ対応受信装置でこれら２つのストリームを効率よく適確に抽出してデコード可能としたことである。
【符号の説明】
【０３４２】
１０，１０Ａ・・・画像送受信システム
１００・・・放送局
１１１・・・データ取り出し部
１１１ａ・・・データ記録媒体
１１２・・・ビデオエンコーダ
１１３・・・オーディオエンコーダ
１１４・・・サブタイトル発生部
１１５・・・視差情報作成部
１１６・・・サブタイトル処理部
１１８・・・サブタイトルエンコーダ
１１９・・・マルチプレクサ
２００，２００Ａ・・・セットトップボックス（ＳＴＢ）
２０１・・・ビットストリーム処理部
２０２・・・ＨＤＭＩ端子
２０３・・・アンテナ端子
２０４・・・デジタルチューナ
２０５・・・映像信号処理回路
２０６・・・ＨＤＭＩ送信部
２０７・・・音声信号処理回路
２０８・・・ネットワーク端子
２０９・・・ネットワークインタフェース
２１１・・・ＣＰＵ
２１５・・・リモートコントロール受信部
２１６・・・リモートコントロール送信機
２２１・・・デマルチプレクサ
２２２・・・ビデオデコーダ
２２３・・・符号化データバッファ
２２４・・・サブタイトルデコーダ
２２５・・・ピクセルバッファ
２２６・・・視差情報補間部
２２７・・・位置制御部
２２８・・・ビデオ重畳部
２２９・・・オーディオデコーダ
３００，３００Ａ・・・テレビ受信機（ＴＶ）
３０１・・・３Ｄ信号処理部
３０２・・・ＨＤＭＩ端子
３０３・・・ＨＤＭＩ受信部
３０４・・・アンテナ端子
３０５・・・デジタルチューナ
３０６・・・ビットストリーム処理部
３０７・・・映像・グラフィック処理回路
３０８・・・パネル駆動回路
３０９・・・表示パネル
３１０・・・音声信号処理回路
３１１・・・音声増幅回路
３１２・・・スピーカ
【図１】
2013051660.tif 000003
【図２】
2013051660.tif 000004
【図３】
2013051660.tif 000005
【図４】
2013051660.tif 000006
【図５】
2013051660.tif 000007
【図６】
2013051660.tif 000008
【図８】
2013051660.tif 000009
【図９】
2013051660.tif 000010
【図１０】
2013051660.tif 000011
【図１１】
2013051660.tif 000012
【図１２】
2013051660.tif 000013
【図１３】
2013051660.tif 000014
【図１４】
2013051660.tif 000015
【図１５】
2013051660.tif 000016
【図１６】
2013051660.tif 000017
【図１７】
2013051660.tif 000018
【図１８】
2013051660.tif 000019
【図１９】
2013051660.tif 000020
【図２０】
2013051660.tif 000021
【図２１】
2013051660.tif 000022
【図２２】
2013051660.tif 000023
【図２３】
2013051660.tif 000024
【図２４】
2013051660.tif 000025
【図２５】
2013051660.tif 000026
【図２６】
2013051660.tif 000027
【図２７】
2013051660.tif 000028
【図２８】
2013051660.tif 000029
【図２９】
2013051660.tif 000030
【図３０】
2013051660.tif 000031
【図３１】
2013051660.tif 000032
【図３２】
2013051660.tif 000033
【図３３】
2013051660.tif 000034
【図３４】
2013051660.tif 000035
【図３５】
2013051660.tif 000036
【図３６】
2013051660.tif 000037
【図３７】
2013051660.tif 000038
【図３８】
2013051660.tif 000039
【図３９】
2013051660.tif 000040
【図４０】
2013051660.tif 000041
【図４１】
2013051660.tif 000042
【図４２】
2013051660.tif 000043
【図４３】
2013051660.tif 000044
【図４４】
2013051660.tif 000045
【図４５】
2013051660.tif 000046
【図４６】
2013051660.tif 000047
【図４７】
2013051660.tif 000048
【図４８】
2013051660.tif 000049
【図４９】
2013051660.tif 000050
【図５０】
2013051660.tif 000051
【図５１】
2013051660.tif 000052
【図５２】
2013051660.tif 000053
【図５５】
2013051660.tif 000054
【図５６】
2013051660.tif 000055
【図５７】
2013051660.tif 000056
【図５８】
2013051660.tif 000057
【図５９】
2013051660.tif 000058
【図６０】
2013051660.tif 000059
【図６１】
2013051660.tif 000060
【図６２】
2013051660.tif 000061
【図６３】
2013051660.tif 000062
【図６４】
2013051660.tif 000063
【図６５】
2013051660.tif 000064
【図６６】
2013051660.tif 000065
【図６７】
2013051660.tif 000066
【図６８】
2013051660.tif 000067
【図６９】
2013051660.tif 000068
【図７０】
2013051660.tif 000069
【図７１】
2013051660.tif 000070
【図７２】
2013051660.tif 000071
【図７３】
2013051660.tif 000072
【図７４】
2013051660.tif 000073
【図７５】
2013051660.tif 000074
【図７６】
2013051660.tif 000075
【図７７】
2013051660.tif 000076
【図７８】
2013051660.tif 000077
【図７９】
2013051660.tif 000078
【図７】
2013051660.tif 000079
【図５３】
2013051660.tif 000080
【図５４】
2013051660.tif 000081