(57)【要約】【課題】視差情報を含むＰＥＳパケットの送信を効果的に行う。【解決手段】左眼画像データおよび右眼画像データを持つ立体画像データを出力する。左眼画像データおよび右眼画像データによる画像に重畳する重畳情報のデータを出力する。左眼画像データおよび右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を出力する。立体画像データを含むビデオデータストリームのＰＥＳパケットと、重畳情報のデータを含む第１のプライベートデータストリームのＰＥＳパケットと有するトランスポートストリームを送信する。第２のプライベートデータストリームのＰＥＳパケットを、このＰＥＳパケットに含まれる表示タイムスタンプのタイミングより所定期間だけ前に受信側のデコーダバッファに到達するように多重化する。【選択図】図１６
2013026696.tif 000002
【特許請求の範囲】
【請求項１】
左眼画像データおよび右眼画像データを持つ立体画像データを出力する画像データ出力部と、
上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを出力する重畳情報データ出力部と、
上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を出力する視差情報出力部と、
上記画像データ出力部から出力される立体画像データを含むビデオデータストリームのＰＥＳパケットと、上記重畳情報データ出力部から出力される重畳情報のデータを含む第１のプライベートデータストリームのＰＥＳパケットと、上記視差情報出力部から出力される視差情報を含む第２のプライベートデータストリームのＰＥＳパケットとを多重化したトランスポートストリームを生成して送信するデータ送信部とを備え、
上記データ送信部は、
上記第２のプライベートデータストリームのＰＥＳパケットを、該ＰＥＳパケットに含まれる表示タイムスタンプのタイミングより所定期間だけ前に受信側のデコーダバッファに到達するように多重化する
送信装置。
【請求項２】
上記所定期間には、少なくとも、上記第２のプライベートデータストリームのＰＥＳパケットをデコードして上記視差情報を取得するために必要な期間が含まれる
請求項１に記載の送信装置。
【請求項３】
上記トランスポートストリームには、上記第１のプライベートデータストリームのＰＥＳパケットの１個に対して、上記第２のプライベートデータストリームのＰＥＳパケットの１個が存在し、
上記第２のプライベートデータストリームのＰＥＳパケットに含まれる視差情報は、上記第１のプライベートデータストリームのＰＥＳパケットに含まれる重畳情報のデータによる重畳情報が表示される期間内で順次更新される視差情報であり、最初のフレームの視差情報と、その後の更新フレーム間隔毎のフレームの視差情報とからなる
請求項１に記載の送信装置。
【請求項４】
上記トランスポートストリームには、上記第１のプライベートデータストリームのＰＥＳパケットの１個に対して、上記第２のプライベートデータストリームのＰＥＳパケットの複数個が存在し、
上記複数個の上記第２のプライベートデータストリームのＰＥＳパケットに含まれる視差情報は、上記第１のプライベートデータストリームのＰＥＳパケットに含まれる重畳情報のデータによる重畳情報が表示される期間内で順次更新される、１個または複数個の視差情報である
請求項１に記載の送信装置。
【請求項５】
上記第２のプライベートデータストリームのＰＥＳパケットに含まれる視差情報が複数個であるとき、該複数個の視差情報には、次のＰＥＳパケットに含まれる最初のフレームの視差情報と同一のフレームの視差情報が含まれる
請求項４に記載の送信装置。
【請求項６】
上記データ送信部は、
上記第２のプライベートデータストリームのＰＥＳパケットに含まれる視差情報が１個であるとき、２番目以降の上記第２のプライベートデータストリームのＰＥＳパケットを、その前のＰＥＳパケットに含まれる表示タイムスタンプのタイミングの次の補間フレームより前に受信側のデコードバッファに到達するように多重化する
請求項４に記載の送信装置。
【請求項７】
上記データ送信部は、
上記第２のプライベートデータストリームのＰＥＳパケットに含まれるデコードタイムスタンプのタイミングを、該ＰＥＳパケットに含まれる表示タイムスタンプのタイミングよりも所定期間だけ早く設定する
請求項１に記載の送信装置。
【請求項８】
上記第１のプライベートデータストリームのＰＥＳパケットおよび上記第２のプライベートデータストリームのＰＥＳパケットには、上記重畳情報のデータによる表示と上記視差情報による視差とを同期させるための同期情報が含まれる
請求項１に記載の送信装置。
【請求項９】
上記トランスポートストリームには、上記第１のプライベートデータストリームのＰＥＳパケットと上記第２のプライベートデータストリームのＰＥＳパケットとを関連付けする関連付け情報が挿入される
請求項１に記載の送信装置。
【請求項１０】
上記重畳情報のデータは、ＤＶＢ方式のサブタイトルデータであり、
上記視差情報は、リージョン単位または該リージョンに含まれるサブリージョン単位の視差情報、あるいは全てのリージョンを含むページ単位の視差情報である
請求項１に記載の送信装置。
【請求項１１】
上記第２のプライベートデータストリームのＰＥＳパケットには、上記視差情報が含まれると共に、上記重畳情報のデータも含まれる
請求項１に記載の送信装置。
【請求項１２】
左眼画像データおよび右眼画像データを持つ立体画像データを出力する画像データ出力ステップと、
上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを出力する重畳情報データ出力ステップと、
上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を出力する視差情報出力ステップと、
上記画像データ出力ステップで出力される立体画像データを含むビデオデータストリームのＰＥＳパケットと、上記重畳情報データ出力ステップで出力される重畳情報のデータを含む第１のプライベートデータストリームのＰＥＳパケットと、上記視差情報出力ステップで出力される視差情報を含む第２のプライベートデータストリームのＰＥＳパケットとを多重化したトランスポートストリームを生成して送信するデータ送信ステップとを備え、
上記データ送信ステップでは、
上記第２のプライベートデータストリームのＰＥＳパケットを、該ＰＥＳパケットに含まれる表示タイムスタンプのタイミングより所定期間だけ前に受信側のデコーダバッファに到達するように多重化する
送信方法。
【請求項１３】
左眼画像データおよび右眼画像データを持つ立体画像データを含むビデオデータストリームのＰＥＳパケットと、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを含む第１のプライベートデータストリームのＰＥＳパケットと、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を含む第２のプライベートデータストリームのＰＥＳパケットとを多重化したトランスポートストリームを受信するデータ受信部を備え、
上記第２のプライベートデータストリームのＰＥＳパケットは、該ＰＥＳパケットに含まれる表示タイムスタンプのタイミングより所定期間だけ前に受信側のデコーダバッファに到達するように多重化されており、
上記データ受信部で受信された上記トランスポートストリームから抽出された上記ビデオデータストリームのＰＥＳパケットに対してデコード処理を行って上記立体画像データを取得する画像データ取得部と、
上記データ受信部で受信された上記トランスポートストリームから抽出された、上記第１のプライベートデータストリーのＰＥＳパケットおよび上記第２のプライベートデータストリームのＰＥＳパケットを一時的に蓄積するデコードバッファと、
上記デコードバッファから上記第１のプライベートデータストリームのＰＥＳパケットを読み出し、該ＰＥＳパケットに対してデコード処理を行って上記重畳情報のデータを取得する重畳情報データ取得部と、
上記デコードバッファから上記第２のプライベートデータストリームのＰＥＳパケットを読み出し、該ＰＥＳパケットに対してデコード処理を行って上記視差情報を取得する視差情報取得部と、
上記画像データ取得部で取得された立体画像データ、上記重畳情報データ取得部で取得された重畳情報のデータおよび上記視差情報取得部で取得された視差情報を用い、左眼画像および右眼画像に重畳する同一の重畳情報に視差を付与し、上記重畳情報が重畳された左眼画像のデータおよび上記重畳情報が重畳された右眼画像のデータを得る画像データ処理部とを、さらに備える
受信装置。
【請求項１４】
上記視差情報取得部で取得される、上記重畳情報が表示される所定数のフレーム期間内に順次更新される視差情報に対して補間処理を施し、上記所定数のフレーム期間内における任意のフレーム間隔の視差情報を生成する視差情報補間部を、さらに備え、
上記画像データ処理部は、上記視差情報補間部で生成された任意のフレーム間隔の視差情報を用いる
請求項１３に記載の受信装置。
【請求項１５】
上記第２のプライベートデータストリームのＰＥＳパケットに含まれるデコードタイムスタンプのタイミングは、該ＰＥＳパケットに含まれる表示タイムスタンプのタイミングより所定期間だけ早く設定されており、
上記視差情報取得部は、上記第２のプライベートデータストリームのＰＥＳパケットに含まれるデコードタイムスタンプのタイミングで、上記デコードバッファから該第２のプライベートデータストリームのＰＥＳパケットを読み出してデコード処理を行う
請求項１３に記載の受信装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、送信装置、送信方法および受信装置に関する。特に、本技術は、左眼画像データおよび右眼画像データを持つ立体画像データと共に、重畳情報に視差を付与するための視差情報を送信する送信装置、送信方法および受信装置に関する。
【背景技術】
【０００２】
例えば、特許文献１には、立体画像データのテレビ放送電波を用いた伝送方式について提案されている。この伝送方式では、左眼用画像データおよび右眼用画像データを持つ立体画像データが送信され、両眼視差を利用した立体画像表示が行われる。
【０００３】
図６０は、両眼視差を利用した立体画像表示において、スクリーン上におけるオブジェクト（物体）の左右像の表示位置と、その立体像の再生位置との関係を示している。例えば、スクリーン上に図示のように左像Ｌａが右側に右像Ｒａが左側にずれて表示されているオブジェクトＡに関しては、左右の視線がスクリーン面より手前で交差するため、その立体像の再生位置はスクリーン面より手前となる。ＤＰａは、オブジェクトＡに関する水平方向の視差ベクトルを表している。
【０００４】
また、例えば、スクリーン上に図示のように左像Ｌｂおよび右像Ｒｂが同一位置に表示されているオブジェクトＢに関しては、左右の視線がスクリーン面で交差するため、その立体像の再生位置はスクリーン面上となる。さらに、例えば、スクリーン上に図示のように左像Ｌｃが左側に右像Ｒｃが右側にずれて表示されているオブジェクトＣに関しては、左右の視線がスクリーン面より奥で交差するため、その立体像の再生位置はスクリーン面より奥となる。ＤＰｃは、オブジェクトＣに関する水平方向の視差ベクトルを表している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−６１１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述したように立体画像表示において、視聴者は、両眼視差を利用して、立体画像の遠近感を知覚することが普通である。画像に重畳される重畳情報、例えば字幕等に関しても、２次元空間的のみならず、３次元（３Ｄ）の奥行き感としても、立体画像表示と連動してレンダリングされることが期待される。例えば、画像に字幕を重畳(オーバーレイ)表示する場合、遠近感でいうところの最も近い画像内の物体（オブジェクト）よりも手前に表示されないと、視聴者は、遠近感の矛盾を感じる場合がある。
【０００７】
そこで、重畳情報のデータと共に、左眼画像および右眼画像の間の視差情報を送信し、受信側で、左眼重畳情報および右眼重畳情報との間に視差を付与することが考えられている。この視差情報（３Ｄ拡張の視差情報）は、実データを伝送すると共に受信側での補間を要求する仕様となっている。そのため、この視差情報を含むＰＥＳ(Packetized Elementarty Stream）パケットをトランスポートストリームに多重化して送信する際には、特別の配慮が必要となる。すなわち、視差情報の受信側のデコーダへの到達タイミングと、このデコーダでの補間のタイミングとの制御をおこなうためのメカニズムが必要になる。
【０００８】
本技術の目的は、視差情報を含むＰＥＳパケットの送信を効果的に行うことにある。
【課題を解決するための手段】
【０００９】
本技術の概念は、
左眼画像データおよび右眼画像データを持つ立体画像データを出力する画像データ出力部と、
上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを出力する重畳情報データ出力部と、
上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を出力する視差情報出力部と、
上記画像データ出力部から出力される立体画像データを含むビデオデータストリームのＰＥＳパケットと、上記重畳情報データ出力部から出力される重畳情報のデータを含む第１のプライベートデータストリームのＰＥＳパケットと、上記視差情報出力部から出力される視差情報を含む第２のプライベートデータストリームのＰＥＳパケットとを多重化したトランスポートストリームを生成して送信するデータ送信部とを備え、
上記データ送信部は、
上記第２のプライベートデータストリームのＰＥＳパケットを、該ＰＥＳパケットに含まれる表示タイムスタンプのタイミングより所定期間だけ前に受信側のデコーダバッファに到達するように多重化する
送信装置にある。
【００１０】
本技術において、画像データ出力部により、左眼画像データおよび右眼画像データを持つ立体画像データが出力される。重畳情報データ出力部により、左眼画像データおよび右眼画像データによる画像に重畳する重畳情報のデータが出力される。ここで、重畳情報は、画像に重畳される字幕、グラフィクス、テキストなどの情報である。視差情報出力部により、左眼画像データおよび右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報が出力される。例えば、重畳情報のデータはＤＶＢ方式のサブタイトルデータであり、視差情報は、リージョン単位またはこのリージョンに含まれるサブリージョン単位の視差情報、あるいは全てのリージョンを含むページ単位の視差情報であってもよい。
【００１１】
データ送信部により、トランスポートストリームが生成されて送信される。このトランスポートストリームは、立体画像データを含むビデオデータストリームのＰＥＳパケットと、重畳情報のデータを含む第１のプライベートデータストリームのＰＥＳパケットと、視差情報を含む第２のプライベートデータストリームのＰＥＳパケットとを有するものとされる。
【００１２】
データ送信部では、例えば、第２のプライベートデータストリームのＰＥＳパケットが、このＰＥＳパケットに含まれる表示タイムスタンプのタイミングより所定期間だけ前に受信側のデコーダバッファに到達するように多重化される。例えば、所定期間には、少なくとも、第２のプライベートデータストリームのＰＥＳパケットをデコードして視差情報を取得するために必要な期間が含まれる、ようにされる。
【００１３】
このように本技術において、視差情報含むＰＥＳパケットが、このＰＥＳパケットに含まれる表示タイムスタンプのタイミングより所定期間だけ前に受信側のデコーダバッファに到達するように多重化される。そのため、受信側において、表示タイムスタンプのタイミングに間に合うように、デコード等を行って視差情報を取得することが可能となる。つまり、本技術においては、視差情報を含むＰＥＳパケットの送信を効果的に行うことができる。
【００１４】
なお、本技術において、例えば、トランスポートストリームには、第１のプライベートデータストリームのＰＥＳパケットの１個に対して、第２のプライベートデータストリームのＰＥＳパケットの１個が存在し、第２のプライベートデータストリームのＰＥＳパケットに含まれる視差情報は、第１のプライベートデータストリームのＰＥＳパケットに含まれる重畳情報データによる重畳情報が表示される期間内で順次更新される視差情報であり、最初のフレームの視差情報と、その後の更新フレーム間隔毎のフレームの視差情報とからなる、ようにされてもよい。
【００１５】
この場合、順次更新される視差情報（複数のプロット位置の視差情報）は、受信側に、例えば、重畳情報の表示前に一括して送信される。この場合の送信コンテンツは、例えば映画などの録画コンテンツであって、視差情報のエンコーダおよび多重化はオフラインで行われる。
【００１６】
また、本技術において、例えば、トランスポートストリームには、第１のプライベートデータストリームのＰＥＳパケットの１個に対して、第２のプライベートデータストリームのＰＥＳの複数個が存在し、複数個の第２のプライベートデータストリームのＰＥＳパケットに含まれる視差情報は、第１のプライベートデータストリームのＰＥＳパケットに含まれる重畳情報のデータによる重畳情報が表示される期間内で順次更新される、１個または複数個の視差情報であってもよい。
【００１７】
この場合、順次更新される視差情報（複数のプロット位置の視差情報）は、受信側に、例えば、重畳情報の表示後にも順次送信される。この場合の送信コンテンツは、例えばスポーツ、コンサートなどのライブコンテンツであって、視差情報のエンコーダおよび多重化はリアルタイムで行われる。ここで、１個のＰＥＳパケットに複数個の視差情報が含まれるようにすることで、遅延が発生するものの、ＰＥＳパケットの多重化の頻度が低減することから、受信側のデコーダにおける読み出し負荷を低減できる。
【００１８】
この場合、例えば、第２のプライベートデータストリームのＰＥＳパケットに含まれる視差情報が複数個であるとき、この複数個の視差情報には、次のＰＥＳパケットに含まれる最初のフレームの視差情報と同一のフレームの視差情報が含まれる、ようにされてもよい。この場合、複数個の視差情報の間隔が数フレーム間隔であった場合に、補間を行って、毎フレームの視差情報を得ることが可能となる。
【００１９】
この場合、例えば、データ送信部は、第２のプライベートデータストリームのＰＥＳパケットに含まれる視差情報が１個であるとき、２番目以降の第２のプライベートデータストリームのＰＥＳパケットを、その前のＰＥＳパケットに含まれる表示タイムスタンプのタイミングの次の補間フレームより前に受信側のでデコードバッファに到達するように多重化する、ようにされてもよい。この場合、各ＰＥＳパケットに含まれる視差情報の間隔が数フレーム間隔であった場合に、補間を行って、毎フレームの視差情報を得ることが可能となる。
【００２０】
また、本技術において、例えば、データ送信部は、第２のプライベートデータストリームのＰＥＳパケットに含まれるデコードタイムスタンプのタイミングを、このＰＥＳパケットに含まれる表示タイムスタンプのタイミングよりも所定期間だけ早く設定する、ようにされてもよい。この場合、受信側において、表示タイムスタンプのタイミングに間に合うように確実にデコードを開始させることができる。
【００２１】
また、本技術において、例えば、第１のプライベートデータストリームのＰＥＳパケットおよび第２のプライベートデータストリームのＰＥＳパケットには、重畳情報のデータによる表示と視差情報による視差とを同期させるための同期情報が含まれる、ようにされてもよい。この場合、重畳情報のデータと視差情報とが別ＰＥＳパケットで送信される場合にあっても、受信側において、重畳情報のデータによる表示と視差情報によるシフト制御との同期をとることが可能となる。
【００２２】
また、本技術において、例えば、トランスポートストリームには、第１のプライベートデータストリームのＰＥＳパケットと第２のプライベートデータストリームのＰＥＳパケットとを関連付けする関連付け情報が挿入される、ようにされてもよい。この場合、関連付け情報により、例えば、受信側では、双方のＰＥＳパケットが関連付けされていることを容易に把握でき、双方のＰＥＳパケットをデコードすべきことが分かる。
【００２３】
また、本技術において、第２のプライベートデータストリームのＰＥＳパケットには、視差情報が含まれると共に、重畳情報のデータも含まれる、ようにされてもい。この場合、受信側の３Ｄ対応機器においては、この第２のプライベートデータストリームのＰＥＳパケットのデコードだけで重畳情報の３Ｄ表示を行うことが可能となる。
【００２４】
また、本技術の他の概念は、
左眼画像データおよび右眼画像データを持つ立体画像データを含むビデオデータストリームのＰＥＳパケットと、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータによる画像に重畳する重畳情報のデータを含む第１のプライベートデータストリームのＰＥＳパケットと、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を含む第２のプライベートデータストリームのＰＥＳパケットとを多重化したトランスポートストリームを受信するデータ受信部を備え、
上記第２のプライベートデータストリームのＰＥＳパケットは、該ＰＥＳパケットに含まれる表示タイムスタンプのタイミングより所定期間だけ前に受信側のデコーダバッファに到達するように多重化されており、
上記データ受信部で受信された上記トランスポートストリームから抽出された上記ビデオデータストリームのＰＥＳパケットに対してデコード処理を行って上記立体画像データを取得する画像データ取得部と、
上記データ受信部で受信された上記トランスポートストリームから抽出された、上記第１のプライベートデータストリーのＰＥＳパケットおよび上記第２のプライベートデータストリームのＰＥＳパケットを一時的に蓄積するデコードバッファと、
上記デコードバッファから上記第１のプライベートデータストリームのＰＥＳパケットを読み出し、該ＰＥＳパケットに対してデコード処理を行って上記重畳情報のデータを取得する重畳情報データ取得部と、
上記デコードバッファから上記第２のプライベートデータストリームのＰＥＳパケットを読み出し、該ＰＥＳパケットに対してデコード処理を行って上記視差情報を取得する視差情報取得部と、
上記画像データ取得部で取得された立体画像データ、上記重畳情報データ取得部で取得された重畳情報のデータおよび上記視差情報取得部で取得された視差情報を用い、左眼画像および右眼画像に重畳する同一の重畳情報に視差を付与し、上記重畳情報が重畳された左眼画像のデータおよび上記重畳情報が重畳された右眼画像のデータを得る画像データ処理部とを、さらに備える
受信装置にある。
【００２５】
なお、本技術において、例えば、視差情報取得部で取得される、重畳情報が表示される所定数のフレーム期間内に順次更新される視差情報に対して補間処理を施し、所定数のフレーム期間内における任意のフレーム間隔の視差情報を生成する視差情報補間部を、さらに備え、画像データ処理部は、視差情報補間部で生成された任意のフレーム間隔の視差情報を用いる、ようにされてもよい。この場合、各ＰＥＳパケットに含まれる視差情報の間隔が数フレーム間隔であった場合であっても、例えば、毎フレームの視差情報を得て、シフト調整を行うことが可能となる。
【００２６】
また、本技術において、例えば、第２のプライベートデータストリームのＰＥＳパケットに含まれるデコードタイムスタンプのタイミングは、このＰＥＳパケットに含まれる表示タイムスタンプのタイミングより所定期間だけ早く設定されており、視差情報取得部は、第２のプライベートデータストリームのＰＥＳパケットに含まれるデコードタイムスタンプのタイミングで、デコードバッファからこの第２のプライベートデータストリームのＰＥＳパケットを読み出してデコード処理を行う、ようにされてもよい。これにより、表示タイムスタンプのタイミングに間に合うように確実にデコードを開始させて視差情報を取得できる。
【発明の効果】
【００２７】
本技術によれば、視差情報を含むＰＥＳパケットの送信を効果的に行うことができる。
【図面の簡単な説明】
【００２８】
【図１】本技術の実施の形態としての画像送受信システムの構成例を示すブロック図である。
【図２】放送局における送信データ生成部の構成例を示すブロック図である。
【図３】１９２０×１０８０のピクセルフォーマットの画像データを示す図である。
【図４】立体画像データ（３Ｄ画像データ）の伝送方式である「Top & Bottom」方式、「Side By Side」方式、「Frame Sequential」方式を説明するための図である。
【図５】左眼画像に対する右眼画像の視差ベクトルを検出する例を説明するための図である。
【図６】視差ベクトルをブロックマッチング方式で求めることを説明するための図である。
【図７】ピクセル（画素）毎の視差ベクトルの値を各ピクセル（各画素）の輝度値として用いた場合の画像例を示す図である。
【図８】ブロック（Block）毎の視差ベクトルの一例を示す図である。
【図９】送信データ生成部の視差情報作成部で行われるダウンサイジング処理を説明するための図である。
【図１０】サブタイトルデータにおいて、画面上に定義されるリージョンと、このリージョン内に定義されるサブリージョンの一例を示す図である。
【図１１】「第１のタイプ」において、トランスポートストリームＴＳが有する２Ｄストリームおよび３Ｄ拡張ストリームの構成を示す図である。
【図１２】「第２のタイプ」において、トランスポートストリームＴＳが有する２Ｄストリームおよび３Ｄストリームの構成を示す図である。
【図１３】「第１のタイプ」において、２Ｄストリーム（ＰＥＳ１(1)：ＰＥＳ＃１）と３Ｄ拡張フレーム（ＰＥＳ２(2)：ＰＥＳ＃２）のＰＥＳヘッダに挿入されるタイムスタンプ（ＰＴＳ）の値が関連付けされることを説明するための図である。
【図１４】２Ｄストリームと３Ｄ拡張ストリームのタイムスタンプ（ＰＴＳ）の値が異なる値に設定される例を示す図である。
【図１５】２Ｄストリームと３Ｄ拡張ストリームのタイムスタンプ（ＰＴＳ）の値が異なる値に設定される他の例を示す図である。
【図１６】「第１のタイプ」の場合で、トランスポートストリームにおける２Ｄストリームおよび３Ｄ拡張ストリームのＰＥＳパケットの多重例（オフライン）を示す図である。
【図１７】「第１のタイプ」の場合で、トランスポートストリームＴＳにおける２Ｄストリームおよび３Ｄ拡張ストリームのＰＥＳパケットの多重例（リアルタイム）を示す図である。
【図１８】「第２のタイプ」の場合で、トランスポートストリームにおける２Ｄストリームおよび３Ｄ拡張ストリームのＰＥＳパケットの多重例（オフライン）を示す図である。
【図１９】「第２のタイプ」の場合で、トランスポートストリームＴＳにおける２Ｄストリームおよび３Ｄ拡張ストリームのＰＥＳパケットの多重例（リアルタイム）を示す図である。
【図２０】視差情報の更新のためにＳＤ・ＤＳＳ（Single Disparity DSS）を持つＰＥＳパケットを毎フレーム送信する、ＳＤ・ＤＳＳが連鎖する場合の例を示す図である。
【図２１】視差情報の更新のためにＭＤ・ＤＳＳ（Multiple Disparity DSS）を持つＰＥＳパケットを送信して、ＰＥＳパケットの出現レートを低減する場合の例を示す図である。
【図２２】ＳＤ・ＤＳＳが連鎖する場合、ＰＥＳパケットの出現頻度を低くするためにＭＤ・ＤＳＳを持つＰＥＳパケットを用いる場合などを示す図である。
【図２３】ＭＤ・ＤＳＳを持つＰＥＳパケットをトランスポートストリームに多重化する場合の具体例を示す図である。
【図２４】ＭＤ・ＤＳＳを持つＰＥＳパケットをトランスポートストリームに多重化する場合の他の具体例を示す図である。
【図２５】ＤＳＳを含むＰＥＳパケットにおけるＤＴＳの具体的なタイミング設定例について説明するための図である。
【図２６】「第１のタイプ」におけるトランスポートストリームの構成例を示す図である。
【図２７】サブタイトルデータを構成するＰＣＳ（page_composition_segment）の構造を示す図である。
【図２８】「segment_type」の各値とセグメントタイプとの対応関係を示す図である。
【図２９】新たに定義される３Ｄ用サブタイトルのフォーマットを示す情報（Component_type=0x15，0x25）を説明するための図である。
【図３０】「第２のタイプ」におけるトランスポートストリームの構成例を示す図である。
【図３１】インターバル期間（Interval period）を用いた視差情報の更新例であって、インターバル期間が固定で、しかも、その期間が更新期間と等しい場合を示す図である。
【図３２】インターバル期間（Interval period）を用いた視差情報の更新例であって、インターバル期間を短期間とした場合の視差情報の更新例を示す図である。
【図３３】「第２のタイプ」における３Ｄストリームの構成例を示す図である。
【図３４】ＤＳＳセグメントを順次送信する場合における、視差情報の更新例を示す図である。
【図３５】更新フレーム間隔が単位期間としてのインターバル期間（ＩＤ：Interval Duration）の倍数で表される視差情報（disparity）の更新例を示す図である。
【図３６】ページ領域（Area for Page_default）に字幕表示領域としてのリージョン（Region）が２つ含まれているサブタイトルの表示例を示す図である。
【図３７】ＤＳＳのセグメントに、字幕表示期間に順次更新される視差情報（Disparity）として、リージョン単位の視差情報と全てのリージョンを含むページ単位の視差情報の双方が含まれている場合において、各リージョンとページの視差情報カーブの一例を示す図である。
【図３８】ページおよび各リージョンの視差情報がどのような構造で送られるかを示す図である。
【図３９】ＤＳＳの構造例（syntax）を示す図（１／３）である。
【図４０】ＤＳＳの構造例を示す図（２／３）である。
【図４１】ＤＳＳの構造例を示す図（３／３）である。
【図４２】ＤＳＳの主要なデータ規定内容（semantics）を示ず図（１／４）である。
【図４３】ＤＳＳの主要なデータ規定内容を示ず図（２／４）である。
【図４４】ＤＳＳの主要なデータ規定内容を示ず図（３／４）である。
【図４５】ＤＳＳの主要なデータ規定内容を示ず図（４／４）である。
【図４６】セットトップボックスおよびテレビ受信機が３Ｄ対応機器である場合の放送受信概念を示す図である。
【図４７】セットトップボックスおよびテレビ受信機がレガシー２Ｄ対応機器である場合の放送受信概念を示す図である。
【図４８】画像上における字幕（グラフィクス情報）の表示例と、背景、近景オブジェクト、字幕の遠近感を示す図である。
【図４９】画像上における字幕の表示例と、字幕を表示するための左眼字幕ＬＧＩおよび右眼字幕ＲＧＩを示す図である。
【図５０】画像送受信システムを構成するセットトップボックスの構成例を示すブロック図である。
【図５１】セットトップボックスを構成するビットストリーム処理部の構成例（３Ｄ対応）を示すブロック図である。
【図５２】２Ｄストリーム、３Ｄ拡張ストリームを関連付けるために使用できるマルチ・デコーディング・デスクリプタの構造例（syntax）を示す図である。
【図５３】マルチ・デコーディング・デスクリプタの構造例における主要な情報の内容（Semantics）を示す図である。
【図５４】マルチ・デコーディング・デスクリプタを配置した場合における、「第１のタイプ」のトランスポートストリームＴＳの構成例を示す図である。
【図５５】セットトップボックスを構成するビットストリーム処理部の他の構成例（２Ｄ対応）を示すブロック図である。
【図５６】画像送受信システムを構成するテレビ受信機の構成例を示すブロック図である。
【図５７】画像送受信システムを構成するセットトップボックスの他の構成例を示すブロック図である。
【図５８】画像送受信システムを構成するテレビ受信機の他の構成例を示すブロック図である。
【図５９】画像送受信システムの他の構成例を示すブロック図である。
【図６０】両眼視差を利用した立体画像表示において、スクリーン上におけるオブジェクトの左右像の表示位置と、その立体像の再生位置との関係を説明するための図である。
【発明を実施するための形態】
【００２９】
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
１．実施の形態
２．変形例
【００３０】
＜１．実施の形態＞
［画像送受信システムの構成例］
図１は、実施の形態としての画像送受信システム１０の構成例を示している。この画像送受信システム１０は、放送局１００と、セットトップボックス（ＳＴＢ）２００と、テレビ受信機（ＴＶ）３００を有している。
【００３１】
セットトップボックス２００およびテレビ受信機３００は、ＨＤＭＩ(High Definition Multimedia Interface)のデジタルインタフェースで接続されている。セットトップボックス２００およびテレビ受信機３００は、ＨＤＭＩケーブル４００を用いて接続されている。セットトップボックス２００には、ＨＤＭＩ端子２０２が設けられている。テレビ受信機３００には、ＨＤＭＩ端子３０２が設けられている。ＨＤＭＩケーブル４００の一端はセットトップボックス２００のＨＤＭＩ端子２０２に接続され、このＨＤＭＩケーブル４００の他端はテレビ受信機３００のＨＤＭＩ端子３０２に接続されている。
【００３２】
［放送局の説明］
放送局１００は、トランスポートストリームＴＳを、放送波に載せて送信する。放送局１００は、トランスポートストリームＴＳを生成する送信データ生成部１１０を備えている。このトランスポートストリームＴＳには、立体画像データ、音声データ、重畳情報のデータ、視差情報などが含まれる。立体画像データは所定の伝送フォーマットを有し、立体画像を表示するための左眼画像データおよび右眼画像データを持っている。重畳情報は、一般的には、字幕、グラフィクス情報、テキスト情報などであるが、この実施の形態においてはサブタイトル（字幕）である。
【００３３】
「送信データ生成部の構成例」
図２は、放送局１００における送信データ生成部１１０の構成例を示している。この送信データ生成部１１０は、既存の放送規格の一つであるＤＶＢ（Digital Video Broadcasting）方式に容易に連携できるデータ構造で視差情報（視差ベクトル）を送信する。
【００３４】
この送信データ生成部１１０は、カメラ１１１Ｌ，１１１Ｒと、ビデオフレーミング部１１２と、視差ベクトル検出部１１３と、マイクロホン１１４と、データ取り出し部１１５と、切換スイッチ１１６〜１１８を有している。また、この送信データ生成部１１０は、ビデオエンコーダ１１９と、オーディオエンコーダ１２０と、サブタイトル発生部１２１と、視差情報作成部１２２と、サブタイトル処理部１２３と、サブタイトルエンコーダ１２５と、マルチプレクサ１２６を有している。
【００３５】
カメラ１１１Ｌは、左眼画像を撮影して立体画像表示のための左眼画像データを得る。カメラ１１１Ｒは、右眼画像を撮影して立体画像表示のための右眼画像データを得る。ビデオフレーミング部１１２は、カメラ１１１Ｌで得られた左眼画像データおよびカメラ１１１Ｒで得られた右眼画像データを、伝送方式に応じた立体画像データ（３Ｄ画像データ）に加工処理する。このビデオフレーミング部１１２は、画像データ出力部を構成している。
【００３６】
立体画像データ（３Ｄ画像データ）の伝送方式の一例を説明する。ここでは、以下の第１〜第３の伝送方式を挙げるが、これら以外の伝送方式であってもよい。また、ここでは、図３に示すように、左眼（Ｌ）および右眼（Ｒ）の画像データが、それぞれ、決められた解像度、例えば、１９２０×１０８０のピクセルフォーマットの画像データである場合を例にとって説明する。
【００３７】
第１の伝送方式は、トップ・アンド・ボトム（Top & Bottom）方式で、図４（ａ）に示すように、垂直方向の前半では左眼画像データの各ラインのデータを伝送し、垂直方向の後半では左眼画像データの各ラインのデータを伝送する方式である。この場合、左眼画像データおよび右眼画像データのラインが１／２に間引かれることから原信号に対して垂直解像度は半分となる。
【００３８】
第２の伝送方式は、サイド・バイ・サイド（Side By Side）方式で、図４（ｂ）に示すように、水平方向の前半では左眼画像データのピクセルデータを伝送し、水平方向の後半では右眼画像データのピクセルデータを伝送する方式である。この場合、左眼画像データおよび右眼画像データは、それぞれ、水平方向のピクセルデータが１／２に間引かれる。原信号に対して、水平解像度は半分となる。
【００３９】
第３の伝送方式は、フレーム・シーケンシャル（Frame Sequential）方式で、図４（ｃ）に示すように、左眼画像データと右眼画像データとをフレーム毎に順次切換えて伝送する方式である。なお、このフレーム・シーケンシャル方式は、フル・フレーム（Full Frame）方式、あるいは従来の２Ｄフォーマットに対してのサービスコンパチブル（service compatible）方式の場合も含む。
【００４０】
視差ベクトル検出部１１３は、左眼画像データおよび右眼画像データに基づき、例えば、画像を構成するピクセル（画素）毎の視差ベクトルを検出する。視差ベクトルの検出例について説明する。ここでは、左眼画像に対する右眼画像の視差ベクトルを検出する例について説明する。図５に示すように、左眼画像を検出画像とし、右眼画像を参照画像とする。この例では、（xi,yi）および（xj,yj）の位置における視差ベクトルが検出される。
【００４１】
（xi,yi）の位置における視差ベクトルを検出する場合を例にとって説明する。この場合、左眼画像に、（xi,yi）の位置の画素を左上とする、例えば４×４、８×８、あるいは１６×１６の画素ブロック（視差検出ブロック）Ｂｉが設定される。そして、右眼画像において、画素ブロックＢｉとマッチングする画素ブロックが探索される。
【００４２】
この場合、右眼画像に、（xi,yi）の位置を中心とする探索範囲が設定され、その探索範囲内の各画素を順次注目画素として、上述の画素ブロックＢｉと同様の例えば４×４、８×８、あるいは１６×１６の比較ブロックが順次設定されていく。
【００４３】
画素ブロックＢｉと順次設定される比較ブロックとの間で、対応する画素毎の差分絶対値の総和が求められる。ここで、図６に示すように、画素ブロックＢｉの画素値をＬ(x,y)とし、比較ブロックの画素値をＲ(x,y)とするとき、画素ブロックＢｉと、ある比較ブロックとの間における差分絶対値の総和は、Σ｜Ｌ(x,y)−Ｒ(x,y)｜で表される。
【００４４】
右眼画像に設定される探索範囲にｎ個の画素が含まれているとき、最終的にｎ個の総和Ｓ１〜Ｓｎが求められ、その中で最小の総和Ｓminが選択される。そして、この総和Ｓminが得られた比較ブロックから左上の画素の位置が（xi′,yi′）が得られる。これにより、（xi,yi）の位置における視差ベクトルは、（xi′−xi，yi′−yi）のように検出される。詳細説明は省略するが、（xj,yj）の位置における視差ベクトルについても、左眼画像に、（xj,yj）の位置の画素を左上とする、例えば４×４、８×８、あるいは１６×１６の画素ブロックＢｊが設定されて、同様の処理過程で検出される。
【００４５】
図２に戻って、マイクロホン１１４は、カメラ１１１Ｌ，１１１Ｒで撮影された画像に対応した音声を検出して、音声データを得る。
【００４６】
データ取り出し部１１５は、データ記録媒体１１５ａを着脱自在に装着した状態で使用される。このデータ記録媒体１１５ａは、ディスク状記録媒体、半導体メモリ等である。このデータ記録媒体１１５ａには、左眼画像データおよび右眼画像データを含む立体画像データと共に、音声データ、重畳情報のデータ、視差ベクトルが対応付けて記録されている。データ取り出し部１１５は、データ記録媒体１１５ａから、立体画像データ、音声データおよび視差ベクトルを取り出して出力する。このデータ取り出し部１１５は、画像データ出力部を構成している。
【００４７】
ここで、データ記録媒体１１５ａに記録されている立体画像データは、ビデオフレーミング部１１２で得られる立体画像データに相当するものである。また、データ記録媒体１１５ａに記録されている音声データは、マイクロホン１１４で得られる音声データに相当するものである。また、データ記録媒体１１５ａに記録されている視差ベクトルは、視差ベクトル検出部１１３で検出される視差ベクトルに相当するものである。
【００４８】
切り換えスイッチ１１６は、ビデオフレーミング部１１２で得られた立体画像データまたはデータ取り出し部１１５から出力された立体画像データを選択的に取り出す。この場合、切り換えスイッチ１１６は、ライブモードでは、ａ側に接続され、ビデオフレーミング部１１２で得られた立体画像データを取り出し、再生モードでは、ｂ側に接続され、データ取り出し部１１５から出力された立体画像データを取り出す。
【００４９】
切り換えスイッチ１１７は、視差ベクトル検出部１１３で検出された視差ベクトルまたはデータ取り出し部１１５から出力された視差ベクトルを選択的に取り出す。この場合、切り換えスイッチ１１７は、ライブモードでは、ａ側に接続され、視差ベクトル検出部１１３で検出された視差ベクトルを取り出し、再生モードでは、ｂ側に接続され、データ取り出し部１１５から出力された視差ベクトルを取り出す。
【００５０】
切り換えスイッチ１１８は、マイクロホン１１４で得られた音声データまたはデータ取り出し部１１５から出力された音声データを選択的に取り出す。この場合、切り換えスイッチ１１８は、ライブモードでは、ａ側に接続され、マイクロホン１１４で得られた音声データを取り出し、再生モードでは、ｂ側に接続され、データ取り出し部１１５から出力された音声データを取り出す。
【００５１】
ビデオエンコーダ１１９は、切り換えスイッチ１１６で取り出された立体画像データに対して、ＭＰＥＧ４−ＡＶＣ、ＭＰＥＧ２、ＶＣ−１等の符号化を施し、ビデオデータストリーム（ビデオエレメンタリストリーム）を生成する。オーディオエンコーダ１２０は、切り換えスイッチ１１８で取り出された音声データに対して、ＡＣ３、ＡＡＣ等の符号化を施し、オーディオデータストリーム（オーディオエレメンタリストリーム）を生成する。
【００５２】
サブタイトル発生部１２１は、ＤＶＢ（Digital Video Broadcasting）の字幕データであるサブタイトルデータを発生する。このサブタイトルデータは、二次元（２Ｄ）画像用のサブタイトルデータである。このサブタイトル発生部１２１は、重畳情報データ出力部を構成している。
【００５３】
視差情報作成部１２２は、切り換えスイッチ１１７で取り出されたピクセル（画素）毎の視差ベクトル（水平方向視差ベクトル）に対して、ダウンサイジング処理を施し、以下に示すように、各階層の視差情報を生成する。なお、視差情報は必ずしも視差情報作成部１２２で生成される必要はなく、外部から別途供給される構成も可能である。
【００５４】
図７は、各ピクセル（画素）の輝度値のようにして与えられる相対的な深さ方向のデータの例を示している。ここで、相対的な深さ方向のデータは所定の変換により画素ごとの視差ベクトルとして扱うことが可能となる。この例において、人物部分の輝度値は高くなっている。これは、人物部分の視差ベクトルの値が大きいことを意味し、従って、立体画像表示では、この人物部分が浮き出た状態に知覚されることを意味している。また、この例において、背景部分の輝度値は低くなっている。これは、背景部分の視差ベクトルの値が小さいことを意味し、従って、立体画像表示では、この背景部分が沈んだ状態に知覚されることを意味している。
【００５５】
図８は、ブロック（Block）毎の視差ベクトルの一例を示している。ブロックは、最下層に位置するピクセル（画素）の上位層に当たる。このブロックは、画像（ピクチャ）領域が、水平方向および垂直方向に所定の大きさで分割されることで構成される。各ブロックの視差ベクトルは、例えば、そのブロック内に存在する全ピクセル（画素）の視差ベクトルから、最も値の大きな視差ベクトルが選択されることで得られる。この例においては、各ブロックの視差ベクトルを矢印で示しており、矢印の長さが視差ベクトルの大きさに対応している。
【００５６】
図９は、視差情報作成部１２２で行われるダウンサイジング処理の一例を示している。最初に、視差情報作成部１２２は、図９（ａ）に示すように、ピクセル（画素）毎の視差ベクトルを用いて、ブロック毎の符号付き視差ベクトルを求める。上述したように、ブロックは、最下層に位置するピクセル（画素）の上位層に当たり、画像（ピクチャ）領域が水平方向および垂直方向に所定の大きさで分割されることで構成される。そして、各ブロックの視差ベクトルは、例えば、そのブロック内に存在する全ピクセル（画素）の視差ベクトルから、最も値の小さな、あるいは最も絶対値が大きい負の値をもつ視差ベクトルが選択されることで得られる。
【００５７】
次に、視差情報作成部１２２は、図９（ｂ）に示すように、ブロック毎の視差ベクトルを用いて、グループ（Group Of Block）毎の視差ベクトルを求める。グループは、ブロックの上位層に当たり、複数個の近接するブロックをまとめてグループ化することで得られる。図９（ｂ）の例では、各グループは、破線枠で括られる４個のブロックにより構成されている。そして、各グループの視差ベクトルは、例えば、そのグループ内の全ブロックの視差ベクトルから、最も値の小さな、あるいは最も絶対値が大きい負の値をもつ視差ベクトルが選択されることで得られる。
【００５８】
次に、視差情報作成部１２２は、図９（ｃ）に示すように、グループ毎の視差ベクトルを用いて、パーティション（Partition）毎の視差ベクトルを求める。パーティションは、グループの上位層に当たり、複数個の近接するグループをまとめてグループ化することで得られる。図９（ｃ）の例では、各パーティションは、破線枠で括られる２個のグループにより構成されている。そして、各パーティションの視差ベクトルは、例えば、そのパーティション内の全グループの視差ベクトルから、最も値の小さな、あるいは最も絶対値が大きい負の値をもつ視差ベクトルが選択されることで得られる。
【００５９】
次に、視差情報作成部１２２は、図９（ｄ）に示すように、パーティション毎の視差ベクトルを用いて、最上位層に位置するピクチャ全体（画像全体）の視差ベクトルを求める。図９（ｄ）の例では、ピクチャ全体には、破線枠で括られる４個のパーティションが含まれている。そして、ピクチャ全体の視差ベクトルは、例えば、ピクチャ全体に含まれる全パーティションの視差ベクトルから、最も値の小さな、あるいは最も絶対値が大きい負の値をもつ視差ベクトルが選択されることで得られる。
【００６０】
このようにして、視差情報作成部１２２は、最下層に位置するピクセル（画素）毎の視差ベクトルにダウンサイジング処理を施して、ブロック、グループ、パーティション、ピクチャ全体の各階層の各領域の視差ベクトルを求めることができる。なお、図９に示すダウンサイジング処理の一例では、最終的に、ピクセル（画素）の階層の他、ブロック、グループ、パーティション、ピクチャ全体の４階層の視差ベクトルを求めている。しかし、階層数ならびに各階層の領域の切り方や領域の数はこれに限定されるものではない。
【００６１】
図２に戻って、サブタイトル処理部１２３は、サブタイトル発生部１２１で発生されたサブタイトルデータに基づいて、リージョン内にサブリージョンの領域を定義できる。また、サブタイトル処理部１２３は、視差情報作成部１２２で作成された視差情報に基づいて、左眼画像および右眼画像における重畳情報の表示位置をシフト調整するための視差情報を設定する。この視差情報は、サブリージョンまたはリージョン毎に、あるいはページ毎に設定可能とされている。
【００６２】
図１０（ａ）は、サブタイトルデータにおいて、画面上に定義されるリージョンと、このリージョン内に定義されるサブリージョンの一例を示している。この例では、「Region_Starting Position」がＲ０であるリージョン０（Resion0）に、「SubResion 1」、「SubResion 2」の２つのサブリージョンが定義されている。「SubResion 1」の水平方向位置（Horizontal Posion）ｘはＳＲ１で、「SubResion 2」の水平方向位置（Horizontal Posion）ｘはＳＲ２である。そして、この例では、サブリージョン「SubResion 1」に対して視差情報「disparity 1」が設定され、サブリージョン「SubResion 2」に対して視差情報「disparity 2」が設定される。
【００６３】
図１０（ｂ）は、視差情報による左眼画像（Left view）におけるサブリージョン領域内のシフト調整例を示している。サブリージョン「SubResion 1」に対して視差情報「disparity 1」が設定されている。そのため、サブリージョン「SubResion 1」に関しては、水平方向位置（Horizontal Posion）ｘがＳＲ１−disparity 1 となるようにシフト調整される。また、サブリージョン「SubResion2」に対して視差情報「disparity 2」が設定されている。そのため、サブリージョン「SubResion 2」に関しては、水平方向位置（Horizontal Posion）ｘがＳＲ２−disparity 2 となるようにシフト調整される。
【００６４】
図１０（ｃ）は、視差情報による右眼画像（Right view）におけるサブリージョン領域内のシフト調整例を示している。サブリージョン「SubResion 1」に対して視差情報「disparity 1」が設定されている。そのため、サブリージョン「SubResion 1」に関しては、上述の左眼画像とは逆向きに、水平方向位置（HorizontalPosion）ｘがＳＲ１＋disparity 1 となるようにシフト調整される。また、サブリージョン「SubResion 2」に対して視差情報「disparity 2」が設定されている。そのため、サブリージョン「SubResion 2」に関しては、上述の左眼画像とは逆向きに、水平方向位置（HorizontalPosion）ｘがＳＲ２＋disparity 2 となるようにシフト調整される。
【００６５】
サブタイトル処理部１２３は、サブタイトル発生部１２１で発生されたサブタイトルデータと共に、上述のサブリージョン領域の領域情報、視差情報などの表示制御情報を出力する。なお、視差情報に関しては、上述したようにサブリージョン単位で設定できる他、リージョン単位、あるいはページ単位でも設定できる。
【００６６】
サブタイトルデータは、ＤＤＳ、ＰＣＳ、ＲＣＳ、ＣＤＳ、ＯＤＳ、ＥＤＳなどのセグメントを持つ。ＤＤＳ（display definition segment）は、ＨＤＴＶ用の表示（display）サイズを指定する。ＰＣＳ（page composition segment）は、ページ（page）内のリージョン（region）位置を指定する。ＲＣＳ（region compositionsegment）は、リージョン（Region）の大きさやオブジェクト（object）の符号化モードを指定し、また、オブジェクト（object）の開始位置を指定する。
【００６７】
ＣＤＳ（CLUT definition segment）は、ＣＬＵＴ内容の指定をする。ＯＤＳ（objectdata segment）は、符号化ピクセルデータ（Pixeldata）を含む。ＥＤＳ（end of display set segment）は、ＤＤＳのセグメントからはじまるサブタイトルデータの終了を示す。この実施の形態においては、ＤＳＳ（Display Signaling Segment）のセグメントがさらに定義される。このＤＳＳのセグメントに、上述の表示制御情報が挿入される。
【００６８】
図２に戻って、サブタイトルエンコーダ１２５は、以下の「第１のタイプ」または「第２のタイプ」で、第１および第２のプライベートデータストリーム（第１および第２のサブタイトルデータストリーム）を生成する。
【００６９】
「第１のタイプ」では、ＤＤＳ、ＰＣＳ、ＲＣＳ、ＣＤＳ、ＯＤＳ、ＥＤＳのセグメントを含む第１のプライベートデータストリーム（２Ｄストリーム）が生成される。また、この「第１のタイプ」では、ＤＤＳ、ＤＳＳ、ＥＤＳのセグメントを含む第２のプライベートデータストリーム（３Ｄ拡張ストリーム）が生成される。「第２のタイプ」では、ＤＤＳ、ＰＣＳ、ＲＣＳ、ＣＤＳ、ＯＤＳ、ＥＤＳのセグメントを含む第１のプライベートデータストリーム（２Ｄストリーム）が生成される。また、この「第２のタイプ」では、ＤＤＳ、ＰＣＳ、ＲＣＳ、ＤＳＳ、ＣＤＳ、ＯＤＳ、ＥＤＳのセグメントを含む第２のプライベートデータストリーム（３Ｄストリーム）が生成される。
【００７０】
マルチプレクサ１２６は、ビデオエンコーダ１１９、オーディオエンコーダ１２０およびサブタイトルエンコーダ１２５からの各データストリームのＰＥＳパケットを多重化し、多重化データストリームとしてのトランスポートストリームＴＳを得る。すなわち、このトランスポートストリームＴＳは、ＰＥＳのストリームとして、ビデオデータストリーム、オーディオデータストリーム、第１および第２のプライベートデータストリームを有するものとなる。
【００７１】
図１１は、「第１のタイプ」において、トランスポートストリームＴＳが有する、第１のプライベートデータストリーム（２Ｄストリーム）および第２のプライベートデータストリーム（３Ｄ拡張ストリーム）の構成を示している。図１１（ａ）は、２Ｄストリームを示し、先頭にＰＥＳヘッダ（PES Header）が配置され、それに続いて、ＤＤＳ、ＰＣＳ、ＲＣＳ、ＣＤＳ、ＯＤＳ、ＥＤＳの各セグメントを含むＰＥＳペイロード（PES Payload）が配置されている。
【００７２】
また、図１１（ｂ）は、３Ｄ拡張ストリームを示し、先頭にＰＥＳヘッダ（PES Header）が配置され、それに続いて、ＤＤＳ、ＤＳＳ、ＥＤＳの各セグメントを含むＰＥＳペイロード（PES Payload）が配置されている。なお、この３Ｄ拡張ストリームは、図１１（ｃ）に示すように、ＰＥＳペイロード（PES Payload）にＤＤＳ、ＰＣＳ、ＤＳＳ、ＥＤＳの各セグメントを含む構成でもよい。その場合、ＰＣＳのＰＡＧＥ  ＳＴＡＴＥはＮＯＲＭＡＬ  ＣＡＳＥとなり、重畳データ（bitmap）には変化がないことを示す。
【００７３】
図１２は、「第２のタイプ」において、トランスポートストリームＴＳが有する、第１のプライベートデータストリーム（２Ｄストリーム）および第２のプライベートデータストリーム（３Ｄストリーム）の構成を示している。図１２（ａ）は、２Ｄストリームを示し、先頭にＰＥＳヘッダ（PES Header）が配置され、それに続いて、ＤＤＳ、ＰＣＳ、ＲＣＳ、ＣＤＳ、ＯＤＳ、ＥＤＳの各セグメントを含むＰＥＳペイロード（PES Payload）が配置されている。また、図１２（ｂ）は、３Ｄストリームを示し、先頭にＰＥＳヘッダ（PES Header）が配置され、それに続いて、ＤＤＳ、ＰＣＳ、ＲＣＳ、ＤＳＳ、ＣＤＳ、ＯＤＳ、ＥＤＳの各セグメントを含むＰＥＳペイロード（PES Payload）が配置されている。
【００７４】
マルチプレクサ１２６は、「第１のタイプ」において、２Ｄストリームおよび３Ｄ拡張ストリームに、受信側において重畳情報のデータによる表示と視差情報（Disparity）によるシフト制御とを同期させるための同期情報を含める。具体的には、マルチプレクサ１２６は、図１３に示すように、２Ｄストリーム（ＰＥＳ１(1)：ＰＥＳ＃１）と３Ｄ拡張フレーム（ＰＥＳ２(2)：ＰＥＳ＃２）のＰＥＳヘッダに挿入されるタイムスタンプ（ＰＴＳ：Presentation Time Stamp）の値が関連付けされたものとする。
【００７５】
図１３は、２Ｄストリームと３Ｄ拡張ストリームのタイムスタンプ（ＰＴＳ：Presentation Time Stamp）の値が同じ値、つまりＰＴＳ１に設定される例を示している。この場合、受信側（デコード側）においては、サブタイトルデータ（重畳情報のデータ）による字幕パターンの表示がＰＴＳ１から開始され、字幕パターンを３Ｄ表示とするための視差情報によるシフト制御もＰＴＳ１から開始される。
【００７６】
なお、図１３の例において、３Ｄ拡張ストリームには、ＰＴＳ１のフレームの視差情報と、その後の所定フレームの視差情報との２個の視差情報が含まれていることを示している。受信側（デコード側）においては、それら２個のフレームの間の任意のフレームの視差情報を補間処理で求めてシフト制御をダイナミックに行い得ることが示されている。
【００７７】
また、図１３において、２Ｄストリームに含まれる“Conventional Segments”は、ＤＤＳ、ＰＣＳ、ＲＣＳ、ＣＤＳ、ＯＤＳ、ＥＤＳの各セグメントを意味している。また、３Ｄ拡張ストリームに含まれる“Extended Segments”は、ＤＤＳ、ＤＳＳ、ＥＤＳ、あるいはＤＤＳ、ＰＣＳ、ＤＳＳ、ＥＤＳの各セグメント意味している。また、図１３において、２Ｄストリームの“Elementary_PID”はＩＤ１であり、３Ｄ拡張ストリームの“Elementary_PID”はＩＤ２である。これは、以下の図１４、図１５においても同様である。
【００７８】
図１４は、２Ｄストリームと３Ｄ拡張ストリームのタイムスタンプ（ＰＴＳ）の値が異なる値に設定される例を示している。すなわち、図１３の例においては、２Ｄストリームのタイムスタンプ（ＰＴＳ）の値はＰＴＳ１に設定され、３Ｄ拡張ストリームのタイムスタンプ（ＰＴＳ）の値はＰＴＳ１より後のＰＴＳ２に設定される例を示している。この場合、受信側（デコード側）においては、サブタイトルデータ（重畳情報のデータ）による字幕パターンの表示がＰＴＳ１から開始され、字幕パターンを３Ｄ表示とするための視差情報によるシフト制御がＰＴＳ２から開始される。
【００７９】
なお、図１４の例において、３Ｄ拡張ストリームには、ＰＴＳ２のフレームの視差情報と、その後の複数のフレームの視差情報が含まれていることを示している。受信側（デコード側）においては、それら複数のフレームの間の任意のフレームの視差情報を補間処理で求めてシフト制御をダイナミックに行い得ることが示されている。
【００８０】
図１５は、図１４と同様に、２Ｄストリームと３Ｄ拡張ストリームのタイムスタンプ（ＰＴＳ）の値が異なる値に設定される例であって、しかも、タイムスタンプ（ＰＴＳ）の値が異なる３Ｄ拡張ストリームが複数個存在する例を示している。すなわち、図１５の例においては、２Ｄストリームのタイムスタンプ（ＰＴＳ）の値はＰＴＳ１に設定されている。また、複数の３Ｄ拡張フレームのタイムスタンプ（ＰＴＳ）の値は、ＰＴＳ１より後のＰＴＳ２，ＰＴＳ３，ＰＴＳ４，・・・に設定されている。
【００８１】
この場合、受信側（デコード側）においては、サブタイトルデータ（重畳情報のデータ）による字幕パターンの表示がＰＴＳ１から開始される。また、字幕パターンを３Ｄ表示とするための視差情報によるシフト制御がＰＴＳ２から開始され、その後に順次更新される。なお、図１５の例において、複数個の３Ｄ拡張ストリームにはそれぞれタイムスタンプで示されるフレームの視差情報のみが含まれており、受信側（デコード側）においては、それら複数のフレームの間の任意のフレームの視差情報を補間処理で求めてシフト制御をダイナミックに行い得ることが示されている。
【００８２】
また、マルチプレクサ１２６は、上述したように、各データストリームのＰＥＳパケットを多重化し、多重化データストリームとしてのトランスポートストリームＴＳを得る。その際、マルチプレクサ１２６は、上述の２ＤストリームのＰＥＳパケットを、このＰＥＳパケットに含まれるＰＴＳ（表示タイムスタンプ）のタイミングより所定期間だけ前に受信側のデコーダバッファに到達するように、多重化する。
【００８３】
同様に、マルチプレクサ１２６は、上述の３Ｄ拡張ストリームあるいは３ＤストリームのＰＥＳパケットを、このＰＥＳパケットに含まれるＰＴＳより所定期間だけ前に受信側のデコーダバッファに到達するように、多重化する。ここで、ＰＥＳパケットの到達は、ＰＥＳペイロードの最後尾の部分の到達を意味する。このことは、以下においても同様である。
【００８４】
図１６は、「第１のタイプ」の場合で、トランスポートストリームＴＳにおける２Ｄストリームおよび３Ｄ拡張ストリームのＰＥＳパケットの多重例を示している。この例は、送信コンテンツが映画などの録画コンテンツである上述の再生モードを想定しており、視差情報のエンコードや多重化がオフラインで行われる場合を示している。
【００８５】
この図１６において、“１st ＰＥＳ”としてのＰＥＳ１(1)は２Ｄストリーム（図１１（ａ）参照）のＰＥＳパケットであり、トランスポートストリームＴＳ内では「Ｐ１-1」で表されている。また、“2nd ＰＥＳ”としてのＰＥＳ２(1)は３Ｄ拡張ストリーム（図１１（ｂ）参照）のＰＥＳパケットであり、トランスポートストリームＴＳ内では「Ｐ２-1」で表されている。
【００８６】
トランスポートストリームＴＳには、ＰＣＲ(Program Clock Reference)が埋め込まれている。このＰＣＲにより、エンコーダのクロックに、受信側のデコーダのクロックが同期される。２ＤストリームのＰＥＳパケット「Ｐ１-1」のＰＴＳで示されるタイミングはＰＴＳ１であり、受信側では、このタイミングから字幕パターンの表示が開始される。また、３Ｄ拡張ストリームのＰＥＳパケット「Ｐ２-1」のＰＴＳで示されるタイミングはＰＴＳ１であり、受信側では、字幕パターンを３Ｄ表示とするための視差情報によるシフト制御もＰＴＳ１から開始される。
【００８７】
３Ｄ拡張ストリームのＰＥＳパケット「Ｐ２-1」には、ＰＴＳ１のフレームをはじめとして４箇所のフレームの位置（視差プロット位置）の視差情報が含まれている。受信側では、各視差プロット位置の間の任意のフレーム間隔、例えば１フレーム間隔の視差情報を、補間処理で求めるようにされる。なお、以下の説明では、説明を簡単にするため、受信側では１フレーム間隔の視差情報を得るように説明している。
【００８８】
受信側では、２ＤストリームのＰＥＳパケット「Ｐ１-1」のデコードおよび表示準備がΔ０の期間で行われるものとする。そのため、マルチプレクサ１２６は、このＰＥＳパケット「Ｐ１-1」を、少なくとも、タイミング１（ＰＴＳ１）よりΔ０だけ前に受信側のデコーダバッファに到達するように、トランスポートストリームＴＳに、多重化する。
【００８９】
また、受信側では、３Ｄ拡張ストリームのＰＥＳパケット「Ｐ２-1」のデコードおよび各視差プロット位置間の各フレームの視差情報の補間処理がΔ１の期間で行われるものとする。そのため、マルチプレクサ１２６は、このＰＥＳパケット「Ｐ２-1」を、少なくとも、タイミング１（ＰＴＳ１）よりΔ１だけ前に受信側のデコーダバッファに到達するように、トランスポートストリームＴＳに、多重化する。
【００９０】
受信側では、３Ｄ拡張ストリームのＰＥＳパケット「Ｐ２-1」がデコードされて４箇所の視差プロット位置の視差情報が取得され、さらに、各視差プロット位置の間の各フレームの視差情報が補間処理で求められる。受信側では、字幕パターンの表示期間において、字幕パターンが、フレーム毎に、上述したように取得された視差情報に基づいてシフト調整され、左眼画像、右眼画像に重畳される。この場合、左眼画像、右眼画像に重畳される字幕パターンは、視差情報に基づいて、互いに反対方向となるシフト調整されて、視差が付与される。これにより、受信側では映画などの録画コンテンツの３Ｄ画像に対して字幕パターンの３Ｄ表示が良好に行われる。
【００９１】
図１７は、「第１のタイプ」の場合で、トランスポートストリームＴＳにおける２Ｄストリームおよび３Ｄ拡張ストリームのＰＥＳパケットの多重例を示している。この例は、送信コンテンツがスポーツ、コンサートなどのライブコンテンツである上述のライブモードを想定しており、視差情報のエンコーダおよび多重化がリアルタイムで行われる場合を示している。
【００９２】
この図１７において、 “１st ＰＥＳ”としてのＰＥＳ１(1)は２Ｄストリーム（図１１（ａ）参照）のＰＥＳパケットであり、トランスポートストリームＴＳ内では「Ｐ１-1」で表されている。また、“2nd ＰＥＳ”としてのＰＥＳ２(1)、ＰＥＳ２(2)、ＰＥＳ２(3)はそれぞれ３Ｄ拡張ストリーム（図１１（ｂ）参照）のＰＥＳパケットであり、トランスポートストリームＴＳ内では「Ｐ２-1」、「Ｐ２-2」、「Ｐ２-3」で表されている。
【００９３】
トランスポートストリームＴＳには、ＰＣＲ(Program Clock Reference)が埋め込まれている。このＰＣＲにより、エンコーダのクロックに、受信側のデコーダのクロックが同期される。２ＤストリームのＰＥＳパケット「Ｐ１-1」のＰＴＳで示されるタイミングはＰＴＳ１であり、受信側では、このタイミングから字幕パターンの表示が開始される。また、３Ｄ拡張ストリームのＰＥＳパケット「Ｐ２-1」のＰＴＳで示されるタイミングはＰＴＳ１であり、受信側では、字幕パターンを３Ｄ表示とするための視差情報によるシフト制御もＰＴＳ１から開始される。
【００９４】
３Ｄ拡張ストリームのＰＥＳパケット「Ｐ２-1」には、ＰＴＳ２のフレームの位置（視差プロット位置）の視差情報が含まれている。また、３Ｄ拡張ストリームのＰＥＳパケット「Ｐ２-2」には、そのＰＴＳで示されるＰＴＳ２のフレームの位置（視差プロット位置）の視差情報が含まれている。さらに、３Ｄ拡張ストリームのＰＥＳパケット「Ｐ２-3」には、そのＰＴＳで示されるＰＴＳ３のフレームの位置（視差プロット位置）の視差情報が含まれている。受信側では、各視差プロット位置の間の各フレームの視差情報を、補間処理で求めるようにされる。
【００９５】
受信側では、２ＤストリームのＰＥＳパケット「Ｐ１-1」のデコードおよび表示準備がΔ０の期間で行われるものとする。そのため、マルチプレクサ１２６は、このＰＥＳパケット「Ｐ１-1」を、少なくとも、タイミング１（ＰＴＳ１）よりΔ０だけ前に受信側のデコーダバッファに到達するように、多重化する。
【００９６】
また、受信側では、３Ｄ拡張ストリームのＰＥＳパケット「Ｐ２-1」のデコードがΔ１の期間で行われるものとする。そのため、マルチプレクサ１２６は、このＰＥＳパケット「Ｐ２-1」を、少なくとも、タイミング１（ＰＴＳ１）よりΔ１だけ前に受信側のデコーダバッファに到達するように、多重化する。
【００９７】
また、受信側では、タイミング２（ＰＴＳ２）の視差情報を含む３Ｄ拡張ストリーム「Ｐ２-2」のデコードを、タイミング１（ＰＴＳ１）の次の補間フレーム(タイミングＡ)よりも前に行う必要がある。その理由は、受信側でタイミングＡの視差情報を補間処理で生成するためには、タイミング１（ＰＴＳ１）の視差情報の他に、タイミング２（ＰＴＳ２）の視差情報が必要だからである。
【００９８】
受信側では、３Ｄ拡張ストリームのＰＥＳパケット「Ｐ２-2」のデコードと、タイミング１（ＰＴＳ１）からタイミング２（ＰＴＳ２）までの間の各フレームの視差情報の補間処理とがαの期間で行われるものとする。そのため、マルチプレクサ１２６は、このＰＥＳパケット「Ｐ２-2」を、少なくとも、タイミングＡよりαだけ、従ってタイミング２（ＰＴＳ２）よりΔ２だけ前に受信側のデコーダバッファに到達するように、多重化する。
【００９９】
タイミング３（ＰＴＳ３）の視差情報を含む３Ｄ拡張ストリームのＰＥＳパケット「Ｐ２-3」に関しても同様である。すなわち、マルチプレクサ１２６は、このＰＥＳパケット「Ｐ２-3」を、少なくとも、タイミングＢよりβだけ、従ってタイミング３（ＰＴＳ３）よりΔ３だけ前に受信側のデコーダバッファに到達するように、多重化する。ここで、タイミングＢは、タイミング２（ＰＴＳ２）の次の補間フレームである。
【０１００】
受信側では、３Ｄ拡張ストリームのＰＥＳパケット「Ｐ２-1」、「Ｐ２-2」、「Ｐ２-3」が順次デコードされ、３箇所の視差プロット位置の視差情報が順次取得される。そして、次の視差プロット位置の視差情報が取得される毎に、その前に取得されている視差情報との間で２つの視差プロット位置の間の各フレームの視差情報が補間処理で求められる。
【０１０１】
受信側では、字幕パターンの表示期間において、字幕パターンが、フレーム毎に、上述したように取得された視差情報に基づいてシフト調整され、左眼画像、右眼画像に重畳される。この場合、左眼画像、右眼画像に重畳される字幕パターンは、視差情報に基づいて、互いに反対方向となるシフト調整されて、視差が付与される。これにより、受信側では、スポーツ、コンサートなどのライブコンテンツの３Ｄ画像に対して、字幕パターンの３Ｄ表示が良好に行われる。
【０１０２】
図１８は、「第２のタイプ」の場合で、トランスポートストリームＴＳにおける２Ｄストリームおよび３ＤストリームのＰＥＳパケットの多重例を示している。この例は、送信コンテンツが映画などの録画コンテンツである上述の再生モードを想定しており、視差情報のエンコードや多重化がオフラインで行われる場合を示している。
【０１０３】
この図１８において、“１st ＰＥＳ”としてのＰＥＳ１(1)は２Ｄストリーム（図１２（ａ）参照）のＰＥＳパケットであり、トランスポートストリームＴＳ内では「Ｐ１-1」で表されている。また、“2nd ＰＥＳ”としてのＰＥＳ２(1)は３Ｄストリーム（図１２（ｂ）参照）のＰＥＳパケットであり、トランスポートストリームＴＳ内では「Ｐ２-1」で表されている。
【０１０４】
トランスポートストリームＴＳには、ＰＣＲ(Program Clock Reference)が埋め込まれている。このＰＣＲにより、エンコーダのクロックに、受信側のデコーダのクロックが同期される。３ＤストリームのＰＥＳパケット「Ｐ２-1」のＰＴＳで示されるタイミングはＰＴＳ１であり、受信側では、このタイミングから字幕パターンの表示および字幕パターンを３Ｄ表示とするための視差情報によるシフト制御が開始される。
【０１０５】
３ＤストリームのＰＥＳパケット「Ｐ２-1」には、ＰＴＳ１のフレームをはじめとして４箇所のフレームの位置（視差プロット位置）の視差情報が含まれている。受信側では、各視差プロット位置の間の各フレームの視差情報を、補間処理で求めるようにされる。
【０１０６】
受信側では、３ＤストリームのＰＥＳパケット「Ｐ２-1」のデコード、表示準備およびおよび各視差プロット位置間の各フレームの視差情報の補間処理がΔ１の期間で行われるものとする。そのため、マルチプレクサ１２６は、このＰＥＳパケット「Ｐ２-1」を、少なくとも、タイミング１（ＰＴＳ１）よりΔ１だけ前に受信側のデコーダバッファに到達するように、多重化する。
【０１０７】
受信側では、３Ｄ拡張ストリームのＰＥＳパケット「Ｐ２-1」がデコードされて４箇所の視差プロット位置の視差情報が取得され、さらに、各視差プロット位置の間の各フレームの視差情報が補間処理で求められる。受信側では、字幕パターンの表示期間において、字幕パターンが、フレーム毎に、上述したように取得された視差情報に基づいてシフト調整され、左眼画像、右眼画像に重畳される。この場合、左眼画像、右眼画像に重畳される字幕パターンは、視差情報に基づいて、互いに反対方向となるシフト調整されて、視差が付与される。これにより、受信側では映画などの録画コンテンツの３Ｄ画像に対して字幕パターンの３Ｄ表示が良好に行われる。
【０１０８】
図１９は、「第２のタイプ」の場合で、トランスポートストリームＴＳにおける２Ｄストリームおよび３ＤストリームのＰＥＳパケットの多重例を示している。この例は、送信コンテンツがスポーツ、コンサートなどのライブコンテンツである上述のライブモードを想定しており、視差情報のエンコーダおよび多重化がリアルタイムで行われる場合を示している。
【０１０９】
この図１９において、 “１st ＰＥＳ”としてのＰＥＳ１(1)は２Ｄストリーム（図１２（ａ）参照）のＰＥＳパケットであり、トランスポートストリームＴＳ内では「Ｐ１-1」で表されている。また、“2nd ＰＥＳ”としてのＰＥＳ２(1)、ＰＥＳ２(2)、ＰＥＳ２(3)はそれぞれ３Ｄストリーム（図１２（ｂ）参照）のＰＥＳパケットであり、トランスポートストリームＴＳ内では「Ｐ２-1」、「Ｐ２-2」、「Ｐ２-3」で表されている。なお、字幕パターンに変更がない場合には、ＰＥＳ２(2)、ＰＥＳ２(3)はそれぞれ３Ｄ拡張ストリーム(図１１（ｂ）参照)であってもよい。
【０１１０】
トランスポートストリームＴＳには、ＰＣＲ(Program Clock Reference)が埋め込まれている。このＰＣＲにより、エンコーダのクロックに、受信側のデコーダのクロックが同期される。３ＤストリームのＰＥＳパケット「Ｐ２-1」のＰＴＳで示されるタイミングはＰＴＳ１であり、受信側では、このタイミングから字幕パターンの表示および字幕パターンを３Ｄ表示とするための視差情報によるシフト制御が開始される。
【０１１１】
３ＤストリームのＰＥＳパケット「Ｐ２-1」には、ＰＴＳ１のフレームの位置（視差プロット位置）の視差情報が含まれている。また、３Ｄストリームあるいは３Ｄ拡張ストリームのＰＥＳパケット「Ｐ２-2」には、そのＰＴＳで示されるＰＴＳ２のフレームの位置（視差プロット位置）の視差情報が含まれている。さらに、３Ｄストリームあるいは３Ｄ拡張ストリームのＰＥＳパケット「Ｐ２-3」には、そのＰＴＳで示されるＰＴＳ３のフレームの位置（視差プロット位置）の視差情報が含まれている。受信側では、各視差プロット位置の間の各フレームの視差情報を、補間処理で求めるようにされる。
【０１１２】
受信側では、３ＤストリームのＰＥＳパケット「Ｐ２-1」のデコード、表示準備および各視差プロット位置間の各フレームの視差情報の補間処理がΔ１の期間で行われるものとする。そのため、マルチプレクサ１２６は、このＰＥＳパケット「Ｐ２-1」を、少なくとも、タイミング１（ＰＴＳ１）よりΔ１だけ前に受信側のデコーダバッファに到達するように、多重化する。
【０１１３】
また、受信側では、タイミング２（ＰＴＳ２）の視差情報を含む３Ｄストリームあるいは３Ｄ拡張ストリームのＰＥＳパケット「Ｐ２-2」のデコードを、タイミング１（ＰＴＳ１）の次の補間フレーム(タイミングＡ)よりも前に行う必要がある。その理由は、受信側でタイミングＡの視差情報を補間処理で生成するためには、タイミング１（ＰＴＳ１）の視差情報の他に、タイミング２（ＰＴＳ２）の視差情報が必要だからである。
【０１１４】
受信側では、３Ｄ拡張ストリームのＰＥＳパケット「Ｐ２-2」のデコードと、タイミング１（ＰＴＳ１）からタイミング２（ＰＴＳ２）までの間の各フレームの視差情報の補間処理とがαの期間で行われるものとする。そのため、マルチプレクサ１２６は、このＰＥＳパケット「Ｐ２-2」を、少なくとも、タイミングＡよりαだけ、従ってタイミング２（ＰＴＳ２）よりΔ２だけ前に受信側のデコーダバッファに到達するように、多重化する。
【０１１５】
タイミング３（ＰＴＳ３）の視差情報を含む３Ｄ拡張ストリームのＰＥＳパケット「Ｐ２-3」に関しても同様である。すなわち、マルチプレクサ１２６は、このＰＥＳパケット「Ｐ２-3」を、少なくとも、タイミングＢよりβだけ、従ってタイミング３（ＰＴＳ３）よりΔ３だけ前に受信側のデコーダバッファに到達するように、多重化する。ここで、タイミングＢは、タイミング２（ＰＴＳ２）の次のフレームである。
【０１１６】
受信側では、３ＤストリームのＰＥＳパケット「Ｐ２-1」と、３Ｄストリームあるいは３Ｄ拡張ストリームのＰＥＳパケット「Ｐ２-2」、「Ｐ２-3」が順次デコードされ、３箇所の視差プロット位置の視差情報が順次取得される。そして、次の視差プロット位置の視差情報が取得される毎に、その前に取得されている視差情報との間で２つの視差プロット位置の間の各フレームの視差情報が補間処理で求められる。
【０１１７】
受信側では、字幕パターンの表示期間において、字幕パターンが、フレーム毎に、上述したように取得された視差情報に基づいてシフト調整され、左眼画像、右眼画像に重畳される。この場合、左眼画像、右眼画像に重畳される字幕パターンは、視差情報に基づいて、互いに反対方向となるシフト調整されて、視差が付与される。これにより、受信側では、スポーツ、コンサートなどのライブコンテンツの３Ｄ画像に対して、字幕パターンの３Ｄ表示が良好に行われる。
【０１１８】
なお、上述の図１７、図１９に示す例においては、３Ｄ拡張ストリーム（図１１（ｂ）参照）あるいは３Ｄストリーム（図１２（ｂ）参照）のＰＥＳパケットには、１個の視差情報が含まれているものである。すなわち、このＰＥＳパケットは、１箇所の視差プロット位置の視差情報のみを持つＤＳＳ（以下、「ＳＤ・ＤＳＳ：Single Disparity DSS」という）を持っている。
【０１１９】
図２０は、視差情報の更新のために、上述のＳＤ・ＤＳＳを持つＰＥＳパケットを毎フレーム送信する例、つまりＳＤ・ＤＳＳが連鎖する場合の例を示している。マルチプレクサ１２６は、ＰＥＳパケット「Ｐ２-1」を、上述したように、受信側でのデコード等に必要とする期間を考慮して、トランスポートストリームＴＳに、少なくとも、ＰＴＳ１よりΔ１だけ前に受信側のデコーダバッファに到達するように、多重化する。同様に、マルチプレクサ１２６は、パケット「Ｐ２-2」、「Ｐ２-3」、・・・を、トランスポートストリームＴＳに、それぞれ、ＰＴＳ２，ＰＴＳ３，・・・よりΔ２，Δ３，・・・だけ前に受信側のデコーダバッファに到達するように、多重化する。
【０１２０】
このようにＳＤ・ＤＳＳが連鎖する場合、受信側のデコーダは、毎フレーム、デコードバッファからＰＥＳパケットの読み出しを行ってデコードすることが必要となり、読み出し負荷が大きくなる。そこで、ＰＥＳパケットに、複数箇所の視差プロット位置の視差情報を持つＤＳＳ（以下、「ＭＤ・ＤＳＳ：Multiple Disparity DSS」という）を持たせ、ＰＥＳパケットの出現レートを低減し、受信側のデコーダの読み出し負荷を軽減することも考えられる。
【０１２１】
図２１は、視差情報の更新のために、上述のＭＤ・ＤＳＳを持つＰＥＳパケットを送信して、ＰＥＳパケットの出現レートを低減する場合の例を示している。ＰＴＳのタイミングがＰＴＳ１であるＰＥＳパケット「Ｐ２-1」は、ＰＴＳ１のフレームの視差情報（実線○印で図示）と、それに続く２フレームの視差情報（破線○印で示す）の、合計３フレームの視差情報を含むＭＤ・ＤＳＳを持っている。マルチプレクサ１２６は、このＰＥＳパケット「Ｐ２-1」を、受信側でのデコード等に必要とする期間を考慮して、トランスポートストリームＴＳに、少なくとも、ＰＴＳ１よりΔ１だけ前に受信側のデコーダバッファに到達するように、多重化する。
【０１２２】
同様に、ＰＴＳのタイミングがＰＴＳ２，ＰＴＳ３，・・・であるＰＥＳパケット「Ｐ２-2」、「Ｐ２-3」、・・・も、それぞれ、ＰＴＳ２，ＰＴＳ３，・・・のフレームの視差情報（実線○印で図示）と、それに続く２フレームの視差情報（破線○印で示す）の、合計３フレームの視差情報を含むＭＤ・ＤＳＳを持っている。マルチプレクサ１２６は、これらのＰＥＳパケット「Ｐ２-2」、「Ｐ２-3」、・・・を、トランスポートストリームＴＳに、少なくとも、ＰＴＳ２，ＰＴＳ３，・・・よりΔ２，Δ３，・・・だけ前に受信側のデコーダバッファに到達するように、多重化する。
【０１２３】
なお、図２１の例では、「Ｐ２-1」、「Ｐ２-2」、「Ｐ２-3」、・・・のＰＥＳパケットは、それぞれ、連続する３フレームの視差情報を含むＭＤ・ＤＳＳを持っている。しかし、これらのＰＥＳパケットは、リアルタイム系の遅延が許される範囲で、所定数のフレーム毎の視差情報を複数個含むＭＤ・ＤＳＳを持つことができる。この場合、ＭＤ・ＤＳＳに複数フレーム毎の視差情報が複数個含まれる場合、受信側において補間処理により各フレームの視差情報を得ることができる。
【０１２４】
図２２（ａ）は、「第１のタイプ」において、トランスポートストリームＴＳに多重化される２Ｄストリームおよび３Ｄ拡張ストリームのＰＥＳパケットの構造例を示している。図２２（ｂ）は、ＳＤ・ＤＳＳが連鎖する場合であって、トランスポートストリームＴＳに多重化される３Ｄ拡張ストリームのＰＥＳパケットの出現頻度が高いことを示している。図２２（ｃ）は、ＭＤ・ＤＳＳを持つＰＥＳパケットを用いることで、トランスポートストリームＴＳに多重化される３Ｄ拡張ストリームのＰＥＳパケットの出現頻度が低くなることを示している。
【０１２５】
図２３は、ＭＤ・ＤＳＳを持つＰＥＳパケットをトランスポートストリームＴＳに多重化する場合の具体例を示している。ＰＴＳのタイミングがＰＴＳ１であるＰＥＳパケット「Ｐ２-1」は、ＰＴＳ１のフレームとそれに続く３フレームの視差情報Ｄ１_0，Ｄ１_1，Ｄ１_2，Ｄ１_3を含むＭＤ・ＤＳＳを持っている。
【０１２６】
また、ＰＴＳのタイミングがＰＴＳ２であるＰＥＳパケット「Ｐ２-2」は、ＰＴＳ２のフレームとそれに続く３フレームの視差情報Ｄ２_0，Ｄ２_1，Ｄ２_2，Ｄ２_3を含むＭＤ・ＤＳＳを持っている。この場合、ＰＥＳパケット「Ｐ２-1」が持つＭＤ・ＤＳＳの最後のフレームの視差情報Ｄ１_3と、ＰＥＳパケット「Ｐ２-2」が持つＭＤ・ＤＳＳの最初のフレームの視差情報Ｄ２_0とが重複される。詳細説明は省略するが、ＰＴＳのタイミングがＰＴＳ３であるＰＥＳパケット「Ｐ２-3」も、上述したＰＥＳパケット「Ｐ２-2」と同様である。
【０１２７】
上述のように、ＭＤ・ＤＳＳが１フレーム毎の視差情報を持つ場合、後述するＤＳＳのシンタクスの「disparity_shift_update_sequence()」において、「interval_duration」の値はビデオのフレーム周期と同じ値とされ、「interval_count」の値は１とされる。このことは、後述する図２４の具体例においても同様である。
【０１２８】
なお、「interval_count」の値が２以上の場合、図２３のように、「disparity_shift_update_sequence()」の最初と最後の視差情報が同一ＰＴＳを共有することで、前後のＤＳＳの補間データの接続性が確保される。例えば、図２３の具体例において、視差情報Ｄ１_3と視差情報Ｄ２_0、並びに、視差情報Ｄ２_3と視差情報Ｄ３_0は、それぞれ、補間の目的で、同一ＰＴＳを共有するようにエンコードされる。図２３の具体例において、垂直方向に延びる破線は、補間タイミングの一例を示している。
【０１２９】
上述したように、図２３の例においては、あるＰＥＳパケットが持つＭＤ・ＤＳＳの最後のフレームの視差情報は、その次のＰＥＳパケットが持つＭＤ・ＤＳＳの最初のフレームの視差情報と重複されている。このような構造を採ることで、ＭＤ・ＤＳＳに複数フレーム毎の視差情報が含まれる場合にあって、受信側におけるフレーム毎の視差情報の補間処理を、あるＰＥＳパケットのデコード結果で得られる視差情報だけで行うことが可能となる。
【０１３０】
図２４は、ＭＤ・ＤＳＳを持つＰＥＳパケットをトランスポートストリームＴＳに多重化する場合の他の具体例を示している。ＰＴＳのタイミングがＰＴＳ１であるＰＥＳパケット「Ｐ２-1」は、ＰＴＳ１のフレームとそれに続く２フレームの視差情報Ｄ１_0，Ｄ１_1，Ｄ１_2を含むＭＤ・ＤＳＳを持っている。
【０１３１】
また、ＰＴＳのタイミングがＰＴＳ２であるＰＥＳパケット「Ｐ２-2」は、ＰＴＳ２のフレームとそれに続く２フレームの視差情報Ｄ２_0，Ｄ２_1，Ｄ２_2を含むＭＤ・ＤＳＳを持っている。この場合、図２３の例とは異なり、ＰＥＳパケット「Ｐ２-1」が持つＭＤ・ＤＳＳの最後のフレームの視差情報Ｄ１_2と、ＰＥＳパケット「Ｐ２-2」が持つＭＤ・ＤＳＳの最初のフレームの視差情報Ｄ２_0とは重複しない。これは、Ｄ１_2とＤ２_0との間に補間処理がないためである。詳細説明は省略するが、ＰＴＳのタイミングがＰＴＳ３であるＰＥＳパケット「Ｐ２-3」も、上述したＰＥＳパケット「Ｐ２-2」と同様である。
【０１３２】
また、マルチプレクサ１２６は、視差情報が含まれる３Ｄ拡張ストリーム（図１１（ｂ）参照）のＰＥＳパケット、あるいは３Ｄストリーム（図１２（ｂ）参照）のＰＥＳパケットのデコードタイムスタンプ（ＤＴＳ）のタイミングを、以下のように設定することも可能である。ＰＥＳパケットにおいては、ヘッダ（PES packet header）の“PTS_DTS_flags”を、「１１」とすることで、表示タイミングだけでなく、デコードタイミングを規定することが可能となっている。
【０１３３】
因みに、“PTS_DTS_flags=11”はＰＴＳとＤＴＳを符号化することを示す。“PTS_DTS_flags=10”はＰＴＳのみを符号化することを示し、“PTS_DTS_flags=00”はＰＴＳもＤＴＳも符号化しないことを示し、さらに、“PTS_DTS_flags=0１”は禁止されている。なお、後述する図５１のビットストリーム処理部２０１において、ＰＴＳはピクセルバッファ２２５からの読み出しのタイミング、ＤＴＳは符号化データバッファ２２３からの読み出しのタイミングになる。
【０１３４】
マルチプレクサ１２６は、視差情報が含まれる３Ｄ拡張ストリームあるいは３ＤストリームのＰＥＳパケットのＤＴＳのタイミングを、このＰＥＳパケットに含まれるＰＴＳのタイミングよりも所定期間だけ早く設定する。この場合、このＰＥＳパケットからの視差情報の取得が、それを使用すべきタイミングに間に合うように、ＤＴＳのタイミングが設定される。
【０１３５】
図２５を参照して、ＤＴＳの具体的なタイミング設定例について説明する。この図２５は、上述の図１７あるいは図１９に対応した図である。ＰＴＳのタイミングがタイミング１（ＰＴＳ１）である３Ｄ拡張ストリームあるいは３ＤストリームのＰＥＳパケット「Ｐ２-1」は、上述したように、少なくとも、タイミング１よりΔ１だけ前に受信側のデコーダバッファに到達するように、多重化される。マルチプレクサ１２６は、このＰＥＳパケット「Ｐ２-1」のＤＴＳのタイミングを、タイミング１よりΔ１だけ前のタイミング１′（ＤＴＳ１）に設定する。
【０１３６】
また、ＰＴＳのタイミングがタイミング２（ＰＴＳ２）であるＰＥＳパケット「Ｐ２-2」は、上述したように、少なくとも、タイミングＡよりαだけ、従ってタイミング２よりΔ２だけ前に受信側のデコーダバッファに到達するように、多重化される。マルチプレクサ１２６は、このＰＥＳパケット「Ｐ２-2」のＤＴＳのタイミングを、タイミング２よりΔ２だけ前のタイミング２′（ＤＴＳ２）に設定する。
【０１３７】
同様に、ＰＴＳのタイミングがタイミング３（ＰＴＳ３）であるＰＥＳパケット「Ｐ２-2」は、上述したように、少なくとも、タイミングＢよりβだけ、従ってタイミング３よりΔ３だけ前に受信側のデコーダバッファに到達するように、多重化される。マルチプレクサ１２６は、このＰＥＳパケット「Ｐ２-3」のＤＴＳのタイミングを、タイミング３よりΔ３だけ前のタイミング２′（ＤＴＳ２）に設定する。
【０１３８】
図２に示す送信データ生成部１１０の動作を簡単に説明する。カメラ１１１Ｌでは、左眼画像が撮影される。このカメラ１１１Ｌで得られる立体画像表示のための左眼画像データはビデオフレーミング部１１２に供給される。また、カメラ１１１Ｒでは、右眼画像が撮影される。このカメラ１１１Ｒで得られる立体画像表示のための右眼画像データはビデオフレーミング部１１２に供給される。ビデオフレーミング部１１２では、左眼画像データおよび右眼画像データが、伝送方式に応じた状態に加工処理されて、立体画像データが得られる（図４（ａ）〜（ｃ）参照）。
【０１３９】
ビデオフレーミング部１１２で得られた立体画像データは、切り換えスイッチ１１６のａ側の固定端子に供給される。また、データ取り出し部１１５で得られた立体画像データは、切り換えスイッチ１１６のｂ側の固定端子に供給される。ライブモードでは、切り換えスイッチ１１６はａ側に接続され、この切り換えスイッチ１１６からはビデオフレーミング部１１２で得られた立体画像データが取り出される。再生モードでは、切り換えスイッチ１１６はｂ側に接続され、この切り換えスイッチ１１６からはデータ取り出し部１１５から出力された立体画像データが取り出される。
【０１４０】
切り換えスイッチ１１６で取り出された立体画像データは、ビデオエンコーダ１１９に供給される。このビデオエンコーダ１１９では、その立体画像データに対してＭＰＥＧ４−ＡＶＣ、ＭＰＥＧ２、ＶＣ−１等の符号化が施され、符号化ビデオデータを含むビデオデータストリーム（ビデオエレメンタリストリーム）が生成される。このビデオデータストリームはマルチプレクサ１２６に供給される。
【０１４１】
マイクロホン１１４で得られた音声データは、切り換えスイッチ１１８のａ側の固定端子に供給される。また、データ取り出し部１１５で得られた音声データは、切り換えスイッチ１１８のｂ側の固定端子に供給される。ライブモードでは、切り換えスイッチ１１８はａ側に接続され、この切り換えスイッチ１１８からはマイクロホン１１４で得られた音声データが取り出される。再生モードでは、切り換えスイッチ１１８はｂ側に接続され、この切り換えスイッチ１１８からはデータ取り出し部１１５から出力された音声データが取り出される。
【０１４２】
切り換えスイッチ１１８で取り出された音声データはオーディオエンコーダ１２０に供給される。このオーディオエンコーダ１２０では、音声データに対して、ＭＰＥＧ−２Ａｕｄｉｏ ＡＡＣ、あるいは、ＭＰＥＧ−４  ＡＡＣ等の符号化が施され、符号化オーディオデータを含むオーディオデータストリーム（オーディオエレメンタリストリーム）が生成される。このオーディオデータストリームはマルチプレクサ１２６に供給される。
【０１４３】
カメラ１１１Ｌ，１１１Ｒで得られた左眼画像データ、右眼画像データは、ビデオフレーミング部１１２を通じて、視差ベクトル検出部１１３に供給される。この視差ベクトル検出部１１３では、左眼画像データおよび右眼画像データに基づき、ピクセル（画素）毎の視差ベクトル、あるいは画素のグループ毎の視差ベクトルが検出される。この視差ベクトルは、切換スイッチ１１７のａ側の固定端子に供給される。また、データ取り出し部１１５から出力されたピクセル（画素）毎の視差ベクトルは、切り換えスイッチ１１７のｂ側の固定端子に供給される。
【０１４４】
ライブモードでは、切り換えスイッチ１１７はａ側に接続され、この切り換えスイッチ１１７からは視差ベクトル検出部１１３で得られたピクセル（画素）毎の視差ベクトル、あるいは画素のグループ毎の視差ベクトルが検出される。が取り出される。再生モードでは、切り換えスイッチ１１７はｂ側に接続され、この切り換えスイッチ１１７からはデータ取り出し部１１５から出力されたピクセル（画素）毎の視差ベクトル、あるいは画素のグループ毎の視差ベクトルが取り出される。
【０１４５】
サブタイトル発生部１２１では、ＤＶＢの字幕データであるサブタイトルデータ（二次元画像用）が発生される。このサブタイトルデータは、視差情報作成部１２２およびサブタイトル処理部１２３に供給される。切り換えスイッチ１１７で取り出されたピクセル（画素）毎の視差ベクトル、あるいは画素のグループ毎の視差ベクトルは、視差情報作成部１２２に供給される。この視差情報作成部１２２では、ピクセル毎の視差ベクトル、あるいは画素のグループ毎の視差ベクトルに対してダウンサイジング処理が施され、各階層の視差情報が生成される。この視差情報は、サブタイトル処理部１２３に供給される。
【０１４６】
サブタイトル処理部１２３では、サブタイトル発生部１２１で発生されたサブタイトルデータに基づいて、例えば、リージョン内にサブリージョンの領域が定義される。また、サブタイトル処理部１２３では、視差情報作成部１２２で作成された視差情報に基づいて、左眼画像および右眼画像における重畳情報の表示位置をシフト調整するための視差情報が設定される。この場合、視差情報は、サブリージョンまたはリージョン毎に、あるいはページ毎に設定される。
【０１４７】
サブタイトル処理部１２３から出力されるサブタイトルデータおよび表示制御情報は、サブタイトルエンコーダ１２５に供給される。表示制御情報には、サブリージョン領域の領域情報、視差情報などが含まれている。このサブタイトルエンコーダ１２５では、「第１のタイプ」あるいは「第２のタイプ」により、第１および第２の２つのプライベートデータストリーム（エレメンタリストリーム）が生成される。
【０１４８】
「第１のタイプ」では、ＤＤＳ、ＰＣＳ、ＲＣＳ、ＣＤＳ、ＯＤＳ、ＥＤＳの各セグメントを含む第１のプライベートデータストリーム（２Ｄストリーム）が生成される。さらに、この「第１のタイプ」では、ＤＤＳ、ＤＳＳ、ＥＤＳ、あるいは、ＤＤＳ、ＰＣＳ、ＤＳＳ、ＥＤＳの各セグメントを含む第２のプライベートデータストリーム（３Ｄ拡張ストリーム）が生成される。
【０１４９】
「第２のタイプ」では、ＤＤＳ、ＰＣＳ、ＲＣＳ、ＣＤＳ、ＯＤＳ、ＥＤＳの各セグメントを含む第１のプライベートデータストリーム（２Ｄストリーム）が生成される。さらに、この「第２のタイプ」では、ＤＤＳ、ＰＣＳ、ＲＣＳ、ＤＳＳ、ＣＤＳ、ＯＤＳ、ＥＤＳの各セグメントを含む第２のプライベートデータストリーム（３Ｄストリーム）が生成される。上述したように、ＤＳＳのセグメントは、表示制御情報を含むセグメントである。
【０１５０】
マルチプレクサ１２６には、上述したように、ビデオエンコーダ１１９、オーディオエンコーダ１２０およびサブタイトルエンコーダ１２５からの各データストリームが供給される。そして、このマルチプレクサ１２６では、各データストリームがＰＥＳパケット化されて多重され、多重化データストリームとしてのトランスポートストリームＴＳが得られる。このトランスポートストリームＴＳは、ＰＥＳストリームとして、ビデオデータストリーム、オーディオデータストリームの他に、第１および第２のプライベートデータストリームを有するものとなる。
【０１５１】
図２６は、「第１のタイプ」におけるトランスポートストリームＴＳの構成例を示している。なお、この図においては、図面の簡単化のために、ビデオおよびオーディオに関係する部分の図示を省略している。このトランスポートストリームＴＳには、各エレメンタリストリームをパケット化して得られたＰＥＳパケットが含まれている。
【０１５２】
この構成例では、２Ｄストリーム（第１のプライベートデータストリーム）のＰＥＳパケット「Subtitle PES1」と、３Ｄ拡張ストリーム（第２のプライベートデータストリーム）のＰＥＳパケット「Subtitle PES2」が含まれている。２Ｄストリーム（ＰＥＳストリーム）には、ＤＤＳ、ＰＣＳ、ＲＣＳ、ＣＤＳ、ＯＤＳ、ＥＤＳの各セグメントが含まれている。３Ｄ拡張ストリーム（ＰＥＳストリーム）には、ＤＤＳ、ＤＳＳ、ＥＤＳ、あるいは、ＤＤＳ、ＰＣＳ、ＤＳＳ、ＥＤＳの各セグメントが含まれている。この場合、２Ｄストリーム、３Ｄ拡張ストリームの“Elementary_PID”がＰＩＤ１，ＰＩＤ２のように異なるように設定され、これらのストリームが別のストリームであることが示される。
【０１５３】
図２７は、ＰＣＳ（page_composition_segment）の構造を示している。このＰＣＳのセグメントタイプは、図２８に示すように、「0x10」である。「region_horizontal_address」、「region_vertical_address」は、リージョン（region）の開始位置を示す。なお、ＤＤＳ、ＲＣＳ、ＯＤＳなどのその他のセグメントについては、その構造の図示は省略する。図２８に示すように、ＤＤＳのセグメントタイプは「0x14」であり、ＲＣＳのセグメントタイプは「0x11」であり、ＣＤＳのセグメントタイプは「0x12」であり、ＯＤＳのセグメントタイプは「0x13」であり、ＥＤＳのセグメントタイプは「0x80」である。さらに、図２８に示すように、ＤＳＳのセグメントタイプは、「0x15」である。このＤＳＳのセグメントの詳細構造については、後述する。
【０１５４】
図２６に戻って、また、トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（ProgramMap Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。また、トランスポートストリームには、イベント単位の管理を行うＳＩ（Serviced Information）としてのＥＩＴ(EventInformation Table)が含まれている。このＥＩＴには、番組単位のメタデータが記載される。
【０１５５】
ＰＭＴの配下に、サブタイトルの内容を示すサブタイトル・デスクリプタ（Subtitle descriptor）が挿入されている。また、ＥＩＴの配下に、ストリーム毎に、配信内容を示すコンポーネント・デスクリプタ（Component_Descriptor）が挿入されている。図２９に示すように、コンポーネント・デスクリプタの“stream_content”がサブタイトル（subtitle）を示す場合、“component_type”が「0x15」あるいは「0x25」であるときは３Ｄ用サブタイトルを示し、その他の値のときは２Ｄ用サブタイトルを示す。図２６に示すように、サブタイトル・デスクリプタの“subtitling_type”は、“component_type”と同じ値に設定される。
【０１５６】
また、このＰＭＴには、サブタイトルエレメンタリストリームに関連した情報を持つサブタイトルエレメンタリ・ループが存在する。このサブタイトルエレメンタリ・ループには、ストリーム毎に、パケット識別子（PID）等の情報が配置されると共に、図示していないが、そのエレメンタリストリームに関連する情報を記述する記述子（デスクリプタ）も配置される。
【０１５７】
「第１のタイプ」の場合、３Ｄ拡張ストリームに含まれる各セグメントが２Ｄストリームの各セグメントに関連することを示すように、サブタイトル・デスクリプタの“composition_page_id”が設定される。すなわち、３Ｄ拡張ストリームと２Ｄストリームとで、この“composition_page_id”は、同じ値（図示では「0xXXXX」）を共有するように設定される。また、この「第１のタイプ」の場合、３Ｄ拡張ストリームに含まれる各セグメントが２Ｄストリームの各セグメントに関連することを示すように、双方のストリームで、関連する各セグメントの“page_id”が同じ値を有するようにエンコードされる。
【０１５８】
図３０は、「第２のタイプ」におけるトランスポートストリームＴＳの構成例を示している。なお、この図においても、図面の簡単化のために、ビデオおよびオーディオに関係する部分の図示を省略している。このトランスポートストリームＴＳには、各エレメンタリストリームをパケット化して得られたＰＥＳパケットが含まれている。
【０１５９】
この構成例では、２Ｄストリーム（第１のプライベートデータストリーム）のＰＥＳパケット「Subtitle PES1」と、３Ｄストリーム（第２のプライベートデータストリーム）のＰＥＳパケット「Subtitle PES2」が含まれている。２Ｄストリーム（ＰＥＳストリーム）には、ＤＤＳ、ＰＣＳ、ＲＣＳ、ＣＤＳ、ＯＤＳ、ＥＤＳの各セグメントが含まれている。３Ｄストリーム（ＰＥＳストリーム）には、ＤＤＳ、ＰＣＳ、ＲＣＳ、ＤＳＳ、ＣＤＳ、ＯＤＳ、ＥＤＳの各セグメントが含まれている。
【０１６０】
「第２のタイプ」の場合、３Ｄストリームは、２ＤストリームにＤＳＳのセグメントが挿入された構成となっている。すなわち、この３Ｄストリームには、３Ｄ対応表示するために必要なすべての情報が含まれている。この場合、２Ｄストリーム、３Ｄストリームの“Elementary_PID”がＰＩＤ１，ＰＩＤ２のように異なるように設定され、これらのストリームが別のストリームであることが示される。また、この「第２のタイプ」の場合、３Ｄストリームと２Ｄストリームとで、サブタイトル・デスクリプタの“composition_page_id”は、別の値（図示では「0xXXXX」と「0xYYYY」）が設定される。
【０１６１】
［視差情報の更新］
上述したように、「第１のタイプ」では３Ｄ拡張ストリームにより視差情報が送信され、「第２のタイプ」では３Ｄストリームにより視差情報が送信される。この視差情報の更新について説明する。
【０１６２】
図３１、図３２は、インターバル期間（Interval period）を用いた視差情報の更新例を示している。図３１は、インターバル期間（Interval period）が固定で、しかも、その期間が更新期間と等しい場合を示している。すなわち、Ａ−Ｂ、Ｂ−Ｃ、Ｃ−Ｄ、・・・の各更新期間は、１個のインターバル期間からなっている。
【０１６３】
図３２は、一般的なもので、インターバル期間（Interval period）を短期間（例えば、フレーム周期でもよい）とした場合の、視差情報の更新例を示している。この場合、インターバル期間の個数は、各更新期間において、Ｍ，Ｎ，Ｐ，Ｑ，Ｒとなる。なお、図３１、図３２において、“Ａ”は字幕表示期間の開始フレーム（開始時点）を示し、“Ｂ”〜“Ｆ”は、その後の更新フレーム（更新時点）を示している。
【０１６４】
字幕表示期間内で順次更新される視差情報を受信側（セットトップボックス２００など）に送る場合、受信側においては、更新期間毎の視差情報に補間処理を施すことで、任意のフレーム間隔、例えば、１フレーム間隔の視差情報を生成して使用することが可能である。
【０１６５】
図３３は、「第２のタイプ」における３Ｄストリームの構成例を示している。図３３（ａ）は、ＤＳＳのセグメントが１個だけ挿入される例を示している。ＰＥＳヘッダには、時間情報（ＰＴＳ）が含まれている。また、ＰＥＳペイロードデータとして、ＤＤＳ、ＰＣＳ、ＲＣＳ、ＤＳＳ、ＣＤＳ、ＯＤＳ、ＥＤＳの各セグメントが含まれている。これらは、サブタイトル表示期間の開始前に一括送信される。この１個のＤＳＳのセグメントには、字幕表示期間で順次更新される複数の視差情報が含められる。
【０１６６】
なお、１個のＤＳＳに字幕表示期間で順次更新される複数の視差情報を含めずに、この複数の視差情報を受信側（セットトップボックス２００など）に送ることもできる。この場合、３Ｄストリームに、更新を行うタイミング毎にＤＳＳのセグメントが挿入される。
【０１６７】
図３３（ｂ）は、その場合の３Ｄストリームの構成例を示している。ＰＥＳペイロードデータとして、最初に、ＤＤＳ、ＰＣＳ、ＲＣＳ、ＣＤＳ、ＯＤＳ、ＥＤＳの各セグメントが送信される。その後に、更新を行うタイミングで、視差情報更新のための所定個数のＤＳＳセグメントが送信される。最後には、ＤＳＳセグメントと共にＥＤＳセグメントも送信される。
【０１６８】
なお、図３３は「第２のタイプ」における３Ｄストリームの構成例を示したが、「第１のタイプ」における３Ｄ拡張ストリームにおいても、同様の構成が可能である。すなわち、３Ｄ拡張フレームに１個のＤＳＳのセグメントが挿入され、このＤＳＳのセグメントに字幕表示期間で順次更新される複数の視差情報を含めることができる。あるいは、３Ｄ拡張フレームに、視差情報の更新を行うタイミング毎に、ＤＳＳのセグメントが挿入される。
【０１６９】
図３４は、上述したようにＤＳＳのセグメントを順次送信する場合における、視差情報の更新例を示している。なお、図３４において、“Ａ”は字幕表示期間の開始フレーム（開始時点）を示し、“Ｂ”〜“Ｆ”は、その後の更新フレーム（更新時点）を示している。
【０１７０】
ＤＳＳセグメントを順次送信して、字幕表示期間内で順次更新される視差情報を受信側（セットトップボックス２００など）に送る場合も、受信側においては、上述したと同様の処理が可能である。すなわち、この場合も、受信側においては、更新期間毎の視差情報に補間処理を施すことで、任意のフレーム間隔、例えば、１フレーム間隔の視差情報を生成して使用することが可能である。
【０１７１】
図３５は、上述の図３２と同様の、視差情報（disparity）の更新例を示している。更新フレーム間隔は、単位期間としてのインターバル期間（ＩＤ：Interval Duration）の倍数で表される。例えば、更新フレーム間隔「DivisionPeriod 1」は“ＩＤ＊Ｍ”で表され、更新フレーム間隔「Division Period 2」は“ＩＤ＊Ｎ”で表され、以下の各更新フレーム間隔も同様に表される。図３５に示す視差情報の更新例においては、更新フレーム間隔は固定ではなく、視差情報カーブに応じた更新フレーム間隔の設定が行われている。
【０１７２】
また、この視差情報（disparity）の更新例において、受信側では、字幕表示期間の開始フレーム（開始時刻）Ｔ1_0は、この視差情報が含まれるＰＥＳストリームのヘッダに挿入されているＰＴＳ（PresentationTime Stamp）で与えられる。そして、受信側では、視差情報の各更新時刻が、各更新フレーム間隔の情報であるインターバル期間の情報（単位期間の情報）およびそのインターバル期間の個数の情報に基づいて求められる。
【０１７３】
この場合、字幕表示期間の開始フレーム（開始時刻）Ｔ1_0から、以下の（１）式に基づいて、順次各更新時刻が求められる。この（１）式において、「interval_count」はインターバル期間の個数を示し、図３５におけるＭ，Ｎ，Ｐ，Ｑ，Ｒ，Ｓに相当する値である。また、この（１）式において、「interval_time」は、図３５におけるインターバル期間（ＩＤ）に相当する値である。
【０１７４】
Tm_n= Tm_(n-1) + (interval_time * interval_count)      ・・・（１）
【０１７５】
例えば、図３５に示す更新例においては、この（１）式に基づいて、各更新時刻が以下のように求められる。すなわち、更新時刻Ｔ1_1は、開始時刻（Ｔ1_0）と、インターバル期間（ＩＤ）と、個数（Ｍ）が用いられて、「T1_1 = T1_0 + (ID * M) 」のように求められる。また、更新時刻Ｔ1_2は、更新時刻（Ｔ1_1）と、インターバル期間（ＩＤ）と、個数（Ｎ）が用いられて、「T1_2 = T1_1+ (ID * N) 」のように求められる。以降の各更新時刻も同様に求められる。
【０１７６】
図３５に示す更新例において、受信側では、字幕表示期間内で順次更新される視差情報に関して、補間処理が施され、字幕表示期間内における任意のフレーム間隔、例えば、１フレーム間隔の視差情報が生成されて使用される。例えば、この補間処理として、線形補間処理ではなく、時間方向（フレーム方向）にローパスフィルタ（ＬＰＦ）処理を伴った補間処理が行われることで、補間処理後の所定フレーム間隔の視差情報の時間方向（フレーム方向）の変化がなだらかとされる。図３５の破線ａはＬＰＦ出力例を示している。
【０１７７】
図３６は、字幕としてのサブタイトルの表示例を示している。この表示例においては、ページ領域（Area for Page_default）に、字幕表示領域としてのリージョン（Region）が２つ（リージョン１、リージョン２）含まれている。リージョンには１つまたは複数のサブリージョンが含まれている。ここでは、リージョンに１つのサブリージョンが含まれており、リージョン領域とサブリージョン領域とが等しいものとする。
【０１７８】
図３７は、ＤＳＳのセグメントに、字幕表示期間に順次更新される視差情報（Disparity）として、リージョン単位の視差情報とページ単位の視差情報の双方が含まれている場合において、各リージョンとページの視差情報カーブの一例を示している。ここで、ページの視差情報カーブは、２つのリージョンの視差情報カーブの最小値を採るような形とされている。
【０１７９】
リージョン１（Region1）に関しては、開始時刻であるＴ1_0と、その後の更新時刻であるＴ1_1，Ｔ1_2，Ｔ1_3，・・・，Ｔ1_6の７個の視差情報が存在する。また、リージョン２（Region2）に関しては、開始時刻であるＴ2_0と、その後の更新時刻であるＴ2_1，Ｔ2_2，Ｔ2_3，・・・，Ｔ2_7の８個の視差情報が存在する。さらに、ページ（Page_default）に関しては、開始時刻であるＴ0_0と、その後の更新時刻であるＴ0_1，Ｔ0_2，Ｔ0_3，・・・，Ｔ0_6の７個の視差情報が存在する。
【０１８０】
図３８は、図３７に示すページおよび各リージョンの視差情報がどのような構造で送られるかを示している。最初にページレイヤについて説明する。このページレイヤには、視差情報の固定値である「page_default_disparity」が配置される。そして、字幕表示期間に順次更新される視差情報に関しては、開始時刻とその後の各更新時刻に対応した、インターバル期間の個数を示す「interval_count」と、視差情報を示す「disparity_page_updete」が、順次配置される。なお、開始時刻の「interval_count」は“０”とされる。
【０１８１】
次に、リージョンレイヤについて説明する。リージョン１（サブリージョン１）については、視差情報の固定値である「subregion_disparity_integer_part」および「subregion_disparity_fractional_part」が配置される。ここで、「subregion_disparity_integer_part」は視差情報の整数部分を示し、「subregion_disparity_fractional_part」は視差情報の小数部分を示している。
【０１８２】
そして、字幕表示期間に順次更新される視差情報に関しては、開始時刻とその後の各更新時刻に対応した、インターバル期間の個数を示す「interval_count」と、視差情報を示す「disparity_region_updete_integer_part」および「disparity_region_updete_fractional_part」が、順次配置される。ここで、「disparity_region_updete_integer_part」は視差情報の整数部分を示し、「disparity_region_updete_fractional_part」は視差情報の小数部分を示している。なお、開始時刻の「interval_count」は“０”とされる。
【０１８３】
リージョン２（サブリージョン２）については、上述のリージョン１と同様であり、視差情報の固定値である「subregion_disparity_integer_part」および「subregion_disparity_fractional_part」が配置される。そして、字幕表示期間に順次更新される視差情報に関しては、開始時刻とその後の各更新時刻に対応した、インターバル期間の個数を示す「interval_count」と、視差情報を示す「disparity_region_updete_integer_part」および「disparity_region_updete_fractional_part」が、順次配置される。
【０１８４】
図３９〜図４１は、ＤＳＳ（Disparity_Signaling_ Segment）の構造例（syntax）を示している。図４２〜図４５は、ＤＳＳの主要なデータ規定内容（semantics）を示している。この構造には、「sync_byte」、「segment_type」、「page_id」、「segment_length」、「dss_version_number」の各情報が含まれている。「segment_type」は、セグメントタイプを示す８ビットのデータであり、ここでは、ＤＳＳを示す値とされる。「segment_length」は、以降のバイト数を示す８ビットのデータである。
【０１８５】
「disparity_shift_update_sequence_page_flag」の１ビットフラグは、ページ単位の視差情報として字幕表示期間に順次更新される視差情報があるか否かを示す。“１”は存在することを示し、“０”は存在しないことを示す。「page_default_disparity_shift」の８ビットフィールドは、ページ単位の固定の視差情報、つまり、字幕表示期間内において共通に使用される視差情報を示す。上述した「disparity_page_update_sequence_flag」のフラグが“１”であるとき、「disparity_shift_update_sequence()」の読み出しが行われる。
【０１８６】
図４１は、「disparity_shift_update_sequence()」の構造例（Syntax）を示している。「disparity_page_update_sequence_length」は、以降のバイト数を示す８ビットのデータである。「interval_duration[23..0]」の２４ビットフィールドは、単位期間としてのインターバル期間（Interval Duration）（図３５参照）を９０ＫＨｚ単位で指定する。つまり、「interval_duration[23..0]」は、このインターバル期間（Interval Duration）を９０ＫＨｚのクロックで計測した値を２４ビット長で表す。
【０１８７】
ＰＥＳのヘッダ部に挿入されているＰＴＳが３３ビット長であるのに対して、２４ビット長とされているのは、以下の理由からである。すなわち、３３ビット長では２４時間分を超える時間を表現できるが、字幕表示期間内のこのインターバル期間（Interval Duration）としては不必要な長さである。また、２４ビットとすることで、データサイズを縮小でき、コンパクトな伝送を行うことができる。また、２４ビットは８×３ビットであり、バイトアラインが容易となる。
【０１８８】
「division_period_count」の８ビットフィールドは、視差情報が影響を及ぼす期間（Division Period）の数を示す。例えば、図３５に示す更新例の場合には、開始時刻であるＴ1_0とその後の更新時刻であるＴ1_1〜Ｔ1_6に対応して、この数は“７”となる。この「division_period_count」の８ビットフィールドが示す数だけ、以下のforループが繰り返される。
【０１８９】
「interval_count」の８ビットフィールドは、インターバル期間の個数を示す。例えば、図３５に示す更新例の場合には、Ｍ，Ｎ，Ｐ，Ｑ，Ｒ，Ｓが相当する。「disparity_shift_update_integer_part」の８ビットフィールドは、視差情報を示す。開始時刻の視差情報（視差情報の初期値）に対応して「interval_count」は“０”とされる。つまり、「interval_count」が“０”であるとき、「disparity_page_update」は開始時刻の視差情報（視差情報の初期値）を示す。
【０１９０】
図３９のwhileループは、それまでに処理したデータ長（processed_length）が、セグメントデータ長（segment_length）に達していないとき、繰り返される。このwhileループ中に、リージョン単位、あるいはリージョン内のサブリージョン単位の視差情報が配置される。ここで、リージョンには１つまたは複数のサブリージョンが含まれ、サブリージョン領域とリージョン領域とが同じ場合もある。
【０１９１】
このwhileループ中に、「region_id」の情報が含まれている。「disparity_shift_update_sequence_region_flag」の１ビットフラグは、リージョン内の全サブリージョンのための「disparity_shift_update_sequence()」が存在するか否かを示すフラグ情報である。「number_of_subregions_minus_1」の２ビットフィールドは、リージョン内のサブリージョンの数から１を引いた値を示す。「number_of_subregions_minus_1=0」のとき、リージョンは、リージョンと同じ寸法の１つのサブリージョンを持つ。
【０１９２】
「number_of_subregions_minus_1>0」のとき、リージョンは、水平方向に分けられた複数のサブリージョンを持つ。図４０のforループの中に、サブリージョンの数の分だけ、「subregion_horizontal_position」、「subregion_width」の情報が含まれる。「subregion_horizontal_position」の１６ビットフィールドは、サブリージョンの左端のピクセル位置を示す。「subregion_width」はサブリージョンの水平方向の幅をピクセル数で示す。
【０１９３】
「subregion_disparity_shift_integer_part」の８ビットフィールドは、リージョン単位（サブリージョン単位）の固定の視差情報、つまり、字幕表示期間内において共通に使用される視差情報の整数部分を示す。「subregion_disparity_shift_fractional_part」の４ビットフィールドは、リージョン単位（サブリージョン単位）の固定の視差情報、つまり、字幕表示期間内において共通に使用される視差情報の小数部分を示す。上述した「disparity_shift_update_sequence_region_flag」のフラグが“１”であるとき、「disparity_shift_update_sequence()」（図４１参照）の読み出しが行われる。
【０１９４】
図４６は、セットトップボックス２００およびテレビ受信機３００が３Ｄ対応機器である場合の放送受信概念を示している。この場合、放送局１００では、リージョン「Region 0」内にサブリージョン「SR 00」が定義され、その視差情報「Disparity 1」が設定される。ここでは、リージョン「Region 0」とサブリージョン「SR 00」とは同じ領域であるとする。放送局１００から、立体画像データと共に、サブタイトルデータ、表示制御情報（サブリージョンの領域情報「Position」、視差情報「Disparity 1」）が送信される。
【０１９５】
最初に、３Ｄ対応機器であるセットトップボックス２００で受信される場合について説明する。この場合、セットトップボックス２００は、「第１のタイプ」においては、２Ｄストリームからサブタイトルデータを構成する各セグメントのデータを読み込み、３Ｄ拡張ストリームから視差情報などの表示制御情報を含むＤＳＳのセグメントのデータを読み込んで用いる。また、セットトップボックス２００は、「第２のタイプ」においては、３Ｄストリームからサブタイトルデータを構成する各セグメント、さらには視差情報などの表示制御情報を含むＤＳＳのセグメントのデータを読み込んで用いる。
【０１９６】
セットトップボックス２００は、サブタイトルデータに基づいて、サブタイトルを表示するためのリージョンの表示データを生成する。そして、セットトップボックス２００は、リージョンの表示データを、立体画像データを構成する左眼画像フレーム（frame0）部分および右眼画像フレーム（frame1）部分にそれぞれ重畳して、出力立体画像データを得る。この際、セットトップボックス２００は、視差情報に基づいて、それぞれに重畳される表示データの位置をシフト調整する。なお、セットトップボックス２００は、立体画像データの伝送フォーマット（サイド・バイ・サイド方式、トップ・アンド・ボトム方式、フレーム・シーケンシャル方式、あるいは、各ビューがフル画面サイズを有するフォーマット方式）に応じて、適宜、重畳位置、サイズなどの変更を行う。
【０１９７】
セットトップボックス２００は、上述のようにして得られた出力立体画像データを、例えばＨＤＭＩのデジタルインタフェースを通じて、３Ｄ対応のテレビ受信機３００に送信する。テレビ受信機３００は、セットトップボックス２００から送られてくる立体画像データに３Ｄ信号処理を施し、サブタイトルが重畳された左眼画像および右眼画像のデータを生成する。そして、テレビ受信機３００は、ＬＣＤ等の表示パネルに、ユーザに立体画像を認識させるための両眼視差画像（左眼画像および右眼画像）を表示する。
【０１９８】
次に、３Ｄ対応機器であるテレビ受信機３００で受信される場合について説明する。この場合、テレビ受信機３００は、「第１のタイプ」においては、２Ｄストリームからサブタイトルデータを構成する各セグメントのデータを読み込み、３Ｄ拡張ストリームから視差情報などの表示制御情報を含むＤＳＳのセグメントのデータを読み込んで用いる。また、セットトップボックス２００は、「第２のタイプ」においては、３Ｄストリームからサブタイトルデータを構成する各セグメント、さらには視差情報などの表示制御情報を含むＤＳＳのセグメントのデータを読み込んで用いる。
【０１９９】
テレビ受信機３００は、サブタイトルデータに基づいて、サブタイトルを表示するためのリージョンの表示データを生成する。そして、テレビ受信機３００は、リージョンの表示データを、立体画像データに伝送フォーマットに応じた処理をして得られた左眼画像データおよび右眼画像データにそれぞれ重畳し、サブタイトルが重畳された左眼画像および右眼画像のデータを生成する。そして、テレビ受信機３００は、ＬＣＤ等の表示パネルに、ユーザに立体画像を認識させるための両眼視差画像（左眼画像および右眼画像）を表示する。
【０２００】
図４７は、セットトップボックス２００およびテレビ受信機３００がレガシーの２Ｄ対応機器である場合の放送受信概念を示している。この場合、放送局１００では、リージョン「Region 0」内にサブリージョン「SR 00」が定義され、その視差情報「Disparity 1」が設定される。ここでは、リージョン「Region 0」とサブリージョン「SR 00」とは同じ領域であるとする。放送局１００から、立体画像データと共に、サブタイトルデータ、表示制御情報（サブリージョンの領域情報「Position」、視差情報「Disparity 1」）が送信される。
【０２０１】
次に、レガシーの２Ｄ対応機器であるセットトップボックス２００で受信される場合について説明する。この場合、セットトップボックス２００は、「第１のタイプ」および「第２のタイプ」のいずれにおいても、２Ｄストリームからサブタイトルデータを構成する各セグメントのデータを読み込んで用いる。つまり、視差情報などの表示制御情報を含むＤＳＳのセグメントの読み込みを行わないので、その読み込みが受信処理の妨げとなることを回避できる。
【０２０２】
セットトップボックス２００は、サブタイトルデータに基づいて、サブタイトルを表示するためのリージョンの表示データを生成する。そして、セットトップボックス２００は、リージョンの表示データを、立体画像データに対して伝送フォーマットに応じた処理が施されて得られた２次元画像データに重畳して、出力２次元画像データを得る。
【０２０３】
セットトップボックス２００は、上述のようにして得られた出力２次元画像データを、例えばＨＤＭＩのデジタルインタフェースを通じて、テレビ受信機３００に送信する。テレビ受信機３００は、セットトップボックス２００から送られてくる２次元画像データによる２次元画像を表示する。
【０２０４】
次に、２Ｄ対応機器であるテレビ受信機３００で受信される場合について説明する。この場合、テレビ受信機３００は、「第１のタイプ」および「第２のタイプ」のいずれにおいても、２Ｄストリームからサブタイトルデータを構成する各セグメントのデータを読み込んで用いる。つまり、視差情報などの表示制御情報を含むＤＳＳのセグメントの読み込みを行わないので、その読み込みが受信処理の妨げとなることを回避できる。
【０２０５】
テレビ受信機３００は、サブタイトルデータに基づいて、サブタイトルを表示するためのリージョンの表示データを生成する。テレビ受信機３００は、このリージョンの表示データを、立体画像データに対して伝送フォーマットに応じた処理が施されて得られた２次元画像データに重畳して、２次元画像データを得る。そして、テレビ受信機３００は、この２次元画像データによる２次元画像を表示する。
【０２０６】
図２に示す送信データ生成部１１０において、マルチプレクサ１２６では、視差情報などの表示制御情報を含むＤＳＳのセグメントが挿入された３Ｄ拡張ストリームあるいは３ＤストリームのＰＥＳパケットが、トランスポートストリームＴＳに多重化される。その際、このＰＥＳパケットが、表示タイムスタンプ（ＰＴＳ）のタイミングより所定期間だけ前に受信側のデコーダバッファに到達するように、多重化される。そのため、受信側において、表示タイムスタンプのタイミングに間に合うように、デコード等を行って視差情報を取得することが可能となる。つまり、視差情報などの表示制御情報を含むＰＥＳパケットの送信を効果的に行うことができる。
【０２０７】
また、図２に示す送信データ生成部１１０において、マルチプレクサ１２６では、視差情報などの表示制御情報を含むＤＳＳのセグメントが挿入された３Ｄ拡張ストリームあるいは３ＤストリームのＰＥＳパケットにデコードタイムスタンプ（ＤＴＳ）が符号化される。この場合、デコードタイムスタンプ（ＤＴＳ）のタイミングは、このＰＥＳパケットに含まれる表示タイムスタンプ（ＰＴＳ）のタイミングよりも早いタイミングに設定される。つまり、受信側において、このＰＥＳパケットからの表示制御情報の取得が、それを使用すべきタイミングに間に合うように、ＤＴＳのタイミングが設定される。そのため、受信側において、表示タイムスタンプ（ＰＴＳ）のタイミングに間に合うように確実にデコードを開始させることができる。
【０２０８】
図２に示す送信データ生成部１１０において、マルチプレクサ１２６から出力される多重化データストリームとしてのトランスポートストリームＴＳは、２つのプライベートデータストリームが含まれるものとされる。すなわち、「第１のタイプ」では２Ｄストリームおよび３Ｄ拡張ストリームが含まれ、「第２のタイプ」では２Ｄストリームおよび３Ｄストリームが含まれる（図１１、図１２参照）。
【０２０９】
そのため、受信側のレガシーの２Ｄ対応の受信装置では、２Ｄストリームからサブタイトルデータを構成する各セグメントのみを読み込んで受信処理を行うことができる。つまり、２Ｄ対応の受信装置では、３Ｄ拡張ストリーム、あるいは３ＤストリームからＤＳＳのセグメントを読み込まないで済み、その読み込みが受信処理の妨げとなることを回避できる。
【０２１０】
また、受信側の３Ｄ対応の受信装置では、３Ｄ拡張ストリームあるいは３ＤストリームからＤＳＳのセグメント、従って表示制御情報（サブリージョンの領域情報、視差情報などを含む）を読み込むことができ、立体画像の表示内容に合わせた左眼画像および右眼画像のサブタイトル（字幕）の視差調整を行うことが可能となる。
【０２１１】
また、図２に示す送信データ生成部１１０においては、サブタイトル表示期間において順次更新される視差情報を含むＤＳＳセグメントを送信できるので、左眼サブタイトルおよび右眼サブタイトルの表示位置を動的に制御できる。これにより、受信側においては、左眼サブタイトルおよび右眼サブタイトルの間に付与する視差を画像内容の変化に連動して動的に変化させることが可能となる。
【０２１２】
また、図２に示す送信データ生成部１１０においては、サブタイトルエンコーダ１２５８で得られるＤＳＳのセグメントに含まれる更新フレーム間隔毎のフレームの視差情報は、前回の視差情報からのオフセット値ではなく、視差情報そのものである。そのため、受信側において、補間過程でエラーが生じても、一定遅延時間内にエラーからの復帰が可能になる。
【０２１３】
［セットトップボックスの説明］
図１に戻って、セットトップボックス２００は、放送局１００から放送波に載せて送信されてくるトランスポートストリームＴＳを受信する。このトランスポートストリームＴＳには、左眼画像データおよび右眼画像データを含む立体画像データ、音声データが含まれている。また、トランスポートストリームＴＳには、サブタイトル（字幕）を表示するための立体画像用のサブタイトルデータ（表示制御情報を含む）も含まれている。
【０２１４】
すなわち、トランスポートストリームＴＳは、ＰＥＳのストリームとして、ビデオデータストリーム、オーディオデータストリーム、第１および第２のプライベートデータストリームを有している。上述したように、「第１のタイプ」の場合、第１および第２のプライベートデータストリームは、それぞれ、２Ｄストリームおよび３Ｄ拡張ストリームである（図１１参照）。また、「第２のタイプ」の場合、第１および第２のプライベートデータストリームは、それぞれ、２Ｄストリームおよび３Ｄストリームである（図１２参照）。
【０２１５】
セットトップボックス２００は、ビットストリーム処理部２０１を有している。セットトップボックス２００が３Ｄ対応機器（3D STB）である場合、ビットストリーム処理部２０１は、トランスポートストリームＴＳから、立体画像データ、音声データ、サブタイトルデータ（表示制御情報を含む）を取得する。
【０２１６】
この場合、ビットストリーム処理部２０１は、「第１のタイプ」においては、２Ｄストリームからサブタイトルデータを構成する各セグメントのデータを取得し、３Ｄ拡張ストリームから視差情報などの表示制御情報を含むＤＳＳのセグメントのデータを取得する。また、ビットストリーム処理部２０１は、「第２のタイプ」においては、３Ｄストリームからサブタイトルデータを構成する各セグメント、さらには視差情報などの表示制御情報を含むＤＳＳのセグメントのデータを取得する。
【０２１７】
そして、ビットストリーム処理部２０１は、立体画像データ、サブタイトルデータ（表示制御情報を含む）を用いて、左眼画像フレーム（frame0）部分および右眼画像フレーム（frame1）部分にそれぞれサブタイトルが重畳された出力立体画像データを生成する（図４６参照）。この場合、左眼画像に重畳するサブタイトル（左眼サブタイトル）と右眼画像に重畳するサブタイトル（右眼サブタイトル）との間に視差を付与できる。
【０２１８】
例えば、上述したように、放送局１００から送られてくる立体画像用のサブタイトルデータに付加されている表示制御情報には、視差情報が含まれており、この視差情報に基づいて、左眼サブタイトルおよび右眼サブタイトルの間に視差を付与できる。このように、左眼サブタイトルと右眼サブタイトルとの間に視差が付与されることで、ユーザは、サブタイトル（字幕）を画像の手前に認識可能となる。
【０２１９】
図４８（ａ）は、画像上におけるサブタイトル（字幕）の表示例を示している。この表示例では、背景と近景オブジェクトとからなる画像上に、字幕が重畳された例である。図４８（ｂ）は、背景、近景オブジェクト、字幕の遠近感を示し、字幕が最も手前に認識されることを示している。
【０２２０】
図４９（ａ）は、図４８（ａ）と同じ、画像上におけるサブタイトル（字幕）の表示例を示している。図４９（ｂ）は、左眼画像に重畳される左眼字幕ＬＧＩと、右眼画像に重畳される右眼字幕ＲＧＩを示している。図４９（ｃ）は、字幕が最も手前に認識されるために、左眼字幕ＬＧＩと右眼字幕ＲＧＩとの間に視差が与えられることを示している。
【０２２１】
また、セットトップボックス２００がレガシーの２Ｄ対応機器（2D STB）である場合、ビットストリーム処理部２０１は、トランスポートストリームＴＳから、立体画像データ、音声データ、サブタイトルデータ（表示制御情報を含まないビットマップ・パターンデータ）を取得する。そして、ビットストリーム処理部２０１は、立体画像データ、サブタイトルデータを用いて、サブタイトルが重畳された２次元画像データを生成する（図４７参照）。
【０２２２】
この場合、ビットストリーム処理部２０１は、「第１のタイプ」および「第２のタイプ」のいずれにおいても、２Ｄストリームからサブタイトルデータを構成する各セグメントのデータを取得する。つまり、この場合、３Ｄ拡張ストリームあるいは３ＤストリームからＤＳＳのセグメントを読み込むことを行わないので、その読み込みが受信処理の妨げとなることを回避できる。
【０２２３】
［セットトップボックスの構成例］
セットトップボックス２００の構成例を説明する。図５０は、セットトップボックス２００の構成例を示している。このセットトップボックス２００は、ビットストリーム処理部２０１と、ＨＤＭＩ端子２０２と、アンテナ端子２０３と、デジタルチューナ２０４と、映像信号処理回路２０５と、ＨＤＭＩ送信部２０６と、音声信号処理回路２０７を有している。また、このセットトップボックス２００は、ＣＰＵ２１１と、フラッシュＲＯＭ２１２と、ＤＲＡＭ２１３と、内部バス２１４と、リモートコントロール受信部（ＲＣ受信部）２１５と、リモートコントロール送信機（ＲＣ送信機）２１６を有している。
【０２２４】
アンテナ端子２０３は、受信アンテナ（図示せず）で受信されたテレビ放送信号を入力する端子である。デジタルチューナ２０４は、アンテナ端子２０３に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応したトランスポートストリームＴＳ（ビットストリームデータ）を出力する。
【０２２５】
ビットストリーム処理部２０１は、トランスポートストリームＴＳに基づいて、サブタイトルが重畳された出力立体画像データおよび音声データを出力する。このビットストリーム処理部２０１は、セットトップボックス２００が３Ｄ対応機器（3D STB）である場合、トランスポートストリームＴＳから、立体画像データ、音声データ、サブタイトルデータ（表示制御情報を含む）を取得する。
【０２２６】
ビットストリーム処理部２０１は、立体画像データを構成する左眼画像フレーム（frame0）部分および右眼画像フレーム（frame1）部分にそれぞれサブタイトルが重畳された出力立体画像データを生成する（図４６参照）。この際、視差情報に基づいて、左眼画像に重畳するサブタイトル（左眼サブタイトル）と右眼画像に重畳するサブタイトル（右眼サブタイトル）との間に視差を付与する。
【０２２７】
すなわち、ビットストリーム処理部２０１は、サブタイトルデータに基づいて、サブタイトルを表示するためのリージョンの表示データを生成する。そして、ビットストリーム処理部２０１は、リージョンの表示データを、立体画像データを構成する左眼画像フレーム（frame0）部分および右眼画像フレーム（frame1）部分にそれぞれ重畳して、出力立体画像データを得る。この際、ビットストリーム処理部２０１は、視差情報に基づいて、それぞれに重畳される表示データの位置をシフト調整する。
【０２２８】
また、ビットストリーム処理部２０１は、セットトップボックス２００が２Ｄ対応機器（2D STB）である場合、立体画像データ、音声データ、サブタイトルデータ（表示制御情報を含まない）を取得する。ビットストリーム処理部２０１は、立体画像データ、サブタイトルデータを用いて、サブタイトルが重畳された２次元画像データを生成する（図４７参照）。
【０２２９】
すなわち、ビットストリーム処理部２０１は、サブタイトルデータに基づいて、サブタイトルを表示するためのリージョンの表示データを生成する。そして、ビットストリーム処理部２０１は、リージョンの表示データを、立体画像データに対して伝送方式に応じた処理が施されて得られた２次元画像データに重畳して、出力２次元画像データを得る。
【０２３０】
映像信号処理回路２０５は、ビットストリーム処理部２０１で得られた画像データに対して必要に応じて画質調整処理などを行い、処理後の画像データをＨＤＭＩ送信部２０６に供給する。音声信号処理回路２０７は、ビットストリーム処理部２０１から出力された音声データに対して必要に応じて音質調整処理等を行い、処理後の音声データをＨＤＭＩ送信部２０６に供給する。
【０２３１】
ＨＤＭＩ送信部２０６は、ＨＤＭＩに準拠した通信により、例えば、非圧縮の画像データおよび音声データを、ＨＤＭＩ端子２０２から送出する。この場合、ＨＤＭＩのＴＭＤＳチャネルで送信するため、画像データおよび音声データがパッキングされて、ＨＤＭＩ送信部２０６からＨＤＭＩ端子２０２に出力される。
【０２３２】
ＣＰＵ２１１は、セットトップボックス２００の各部の動作を制御する。フラッシュＲＯＭ２１２は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ２１３は、ＣＰＵ２１１のワークエリアを構成する。ＣＰＵ２１１は、フラッシュＲＯＭ２１２から読み出したソフトウェアやデータをＤＲＡＭ２１３上に展開してソフトウェアを起動させ、セットトップボックス２００の各部を制御する。
【０２３３】
ＲＣ受信部２１５は、ＲＣ送信機２１６から送信されたリモートコントロール信号（リモコンコード）を受信し、ＣＰＵ２１１に供給する。ＣＰＵ２１１は、このリモコンコードに基づいて、セットトップボックス２００の各部を制御する。ＣＰＵ２１１、フラッシュＲＯＭ２１２およびＤＲＡＭ２１３は内部バス２１４に接続されている。
【０２３４】
セットトップボックス２００の動作を簡単に説明する。アンテナ端子２０３に入力されたテレビ放送信号はデジタルチューナ２０４に供給される。このデジタルチューナ２０４では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応したトランスポートストリーム（ビットストリームデータ）ＴＳが出力される。
【０２３５】
デジタルチューナ２０４から出力されるトランスポートストリーム（ビットストリームデータ）ＴＳは、ビットストリーム処理部２０１に供給される。このビットストリーム処理部２０１では、以下のようにして、テレビ受信機３００に出力するための出力画像データが生成される。
【０２３６】
セットトップボックス２００が３Ｄ対応機器（3D STB）である場合、トランスポートストリームＴＳから、立体画像データ、音声データ、サブタイトルデータ（表示制御情報を含む）が取得される。そして、このビットストリーム処理部２０１では、立体画像データを構成する左眼画像フレーム（frame0）部分および右眼画像フレーム（frame1）部分にそれぞれサブタイトルが重畳された出力立体画像データが生成される。この際、視差情報に基づいて、左眼画像に重畳する左眼サブタイトルと右眼画像に重畳する右眼サブタイトルとの間に視差が付与される。
【０２３７】
また、セットトップボックス２００が２Ｄ対応機器（2D STB）である場合、立体画像データ、音声データ、サブタイトルデータ（表示制御情報を含まない）が取得される。そして、このビットストリーム処理部２０１では、立体画像データ、サブタイトルデータを用いて、サブタイトルが重畳された２次元画像データが生成される。
【０２３８】
ビットストリーム処理部２０１で得られた出力画像データは、映像信号処理回路２０５に供給される。この映像信号処理回路２０５では、出力画像データに対して、必要に応じて画質調整処理等が施される。この映像信号処理回路２０５から出力される処理後の画像データは、ＨＤＭＩ送信部２０６に供給される。
【０２３９】
また、ビットストリーム処理部２０１で得られた音声データは、音声信号処理回路２０７に供給される。この音声信号処理回路２０７では、音声データに対して、必要に応じて音質調整処理等の処理が行われる。この音声信号処理回路２０７から出力される処理後の音声データは、ＨＤＭＩ送信部２０６に供給される。そして、ＨＤＭＩ送信部２０６に供給された画像データおよび音声データは、ＨＤＭＩのＴＭＤＳチャネルにより、ＨＤＭＩ端子２０２からＨＤＭＩケーブル４００に送出される。
【０２４０】
［ビットストリーム処理部の構成例］
図５１は、セットトップボックス２００が３Ｄ対応機器（3D STB）である場合におけるビットストリーム処理部２０１の構成例を示している。このビットストリーム処理部２０１は、上述の図２に示す送信データ生成部１１０に対応した構成となっている。このビットストリーム処理部２０１は、デマルチプレクサ２２１と、ビデオデコーダ２２２と、オーディオデコーダ２２９を有している。
【０２４１】
また、このビットストリーム処理部２０１は、符号化データバッファ２２３と、サブタイトルデコーダ２２４と、ピクセルバッファ２２５と、視差情報補間部２２６と、位置制御部２２７と、ビデオ重畳部２２８を有している。ここで、符号化データバッファ２２３は、デコードバッファを構成している。
【０２４２】
デマルチプレクサ２２１は、トランスポートストリームＴＳから、ビデオデータストリーム、オーディオデータストリームのパケットを抽出し、各デコーダに送ってデコードする。また、デマルチプレクサ２２１は、さらに、以下のストリームを抽出して、符号化データバッファ２２３に一時的に蓄積する。この場合、デマルチプレクサ２２１は、「第１のタイプ」では２Ｄストリームおよび３Ｄ拡張ストリームを抽出して、「第２のタイプ」では３Ｄストリームを抽出する。
【０２４３】
ＣＰＵ２１１は、「第１のタイプ」において、２Ｄストリーム、３Ｄ拡張ストリームに関連してＰＭＴ内のＥＳループに配置されるサブタイトル・デスクリプタ内の“composition_page_id”の値に基づき、双方のＰＥＳストリームをデコードすべきことを認識する。すなわち、“composition_page_id”の値が同じである場合、双方のＰＥＳストリームをデコードすることを意味する。あるいは、composition_page_id”の値が同じ値で、しかも特別な値（予め定義される）である場合、双方のＰＥＳストリームをデコードすることを意味する。
【０２４４】
なお、「第１のタイプ」において、２Ｄストリーム、３Ｄ拡張ストリームの２つのＰＥＳストリームの双方をデコードすべきことを示す、２つのストリームを関連付けるデスクリプタを新規定義し、所定の場所に配置することも考えられる。ＣＰＵ２１１は、このデスクリプタにより、双方のＰＥＳストリームをデコードすべきことを認識し、ビットストリーム処理部２０１を制御する。
【０２４５】
図５２は、２Ｄストリーム、３Ｄ拡張ストリームを関連付けるために使用できるマルチ・デコーディング・デスクリプタ（multi_decoding descriptor）の構造例（syntax）を示している。図５３は、その構造例における主要な情報の内容（Semantics）を示している。
【０２４６】
「descriptor_tag」の８ビットフィールドは、このデスクリプタがマルチ・デコーディング・デスクリプタであることを示す。「descriptor_length」の８ビットフィールドは、このフィールド以後の全体のバイトサイズを示す。
【０２４７】
「stream_content」の４ビットフィールドは、メインのストリームの例えばビデオ、オーディオ、サブタイトルなどのストリームタイプを示す。「component_type」の４ビットフィールドは、メインのストリームの例えばビデオ、オーディオ、サブタイトルなどのコンポーネントタイプを示す。これら「stream_content」、「component_type」には、メインのストリームに対応したコンポーネント・デスクリプタ内の「stream_content」、「component_type」と同じ情報とされる。
【０２４８】
この実施の形態において、メインのストリームが２Ｄストリームとされ、「stream_content」はサブタイトル“subtitle”とされ、「component_type」は、２次元用“2D”とされる。
【０２４９】
「component_tag」は、メインのストリームに対応したストリーム・アイデンチファイヤ・デスクリプタ（stream_identifier descriptor）内の「component_tag」と同じ値を持つ。これにより、ストリーム・アイデンチファイヤ・デスクリプタと、マルチ・デコーディング・デスクリプタとを、「component_tag」で関連付けする。
【０２５０】
「multi_decoding_count」の４ビットフィールドは、メインのストリームに関連付けするターゲットのストリームの数を示す。この実施の形態において、メインのストリームである２Ｄストリームに関連するターゲットのストリームは３Ｄ拡張ストリームであり、「multi_decoding_count」は「１」となる。
【０２５１】
「target_stream_component_type」の８ビットフィールドは、メインのストリームに追加されるストリームの例えばビデオ、オーディオ、サブタイトルなどのストリームタイプを示す。「component_type」の４ビットフィールドは、ターゲットのストリームのコンポーネントタイプを示す。また、「target_stream_component_tag」の８ビットフィールドは、ターゲットのストリームに対応したストリーム・アイデンチファイヤ・デスクリプタ（stream_identifier descriptor）内の「component_tag」と同じ値を持つ。
【０２５２】
この実施の形態において、ターゲットのストリームが３Ｄ拡張ストリームとされ、「target_stream_component_type」は３次元用“3D”とされ、「target_stream_component_tag」は３Ｄ拡張ストリームの「component_tag」と同じ値とされる。
【０２５３】
マルチ・デコーディング・デスクリプタは、例えば、ＰＭＴの配下、あるいはＥＩＴの配下に配置される。図５４は、マルチ・デコーディング・デスクリプタを配置した場合における、「第１のタイプ」のトランスポートストリームＴＳの構成例を示している。
【０２５４】
図５１に戻って、ビデオデコーダ２２２は、上述の送信データ生成部１１０のビデオエンコーダ１１２とは逆の処理を行う。すなわち、ビデオデコーダ２２２は、デマルチプレクサ２２１で抽出されたビデオのパケットからビデオデータストリームを再構成し、復号化処理を行って、左眼画像データおよび右眼画像データを含む立体画像データを得る。この立体画像データの伝送フォーマットは、例えば、サイド・バイ・サイド方式、トップ・アンド・ボトム方式、フレーム・シーケンシャル方式、あるいは各ビューがフル画面サイズを占めるビデオ伝送フォーマットの方式などである。
【０２５５】
サブタイトルデコーダ２２４は、上述の送信データ生成部１１０のサブタイトルエンコーダ１２５とは逆の処理を行う。すなわち、このサブタイトルデコーダ２２４は、符号化データバッファ２２３に蓄積されている各ストリームのパケットから各ストリームを再構成し、復号化処理を行う。サブタイトルデコーダ２２４は、ＣＰＵ２１１の制御のもと、３Ｄ拡張ストリームあるいは３ＤストリームのＰＥＳパケットにデコードタイムスタンプ（ＤＴＳ）が符号化されている場合には、そのタイミングで符号化データバッファ２２３から該当ＰＥＳパケットを読み出して、デコード処理を開始する。
【０２５６】
サブタイトルデコーダ２２４は、サブタイトルデータを構成する各セグメントのデータを取得し、さらに、ＤＳＳのセグメントのデータを取得する。そして、サブタイトルデコーダ２２４は、ＤＳＳのセグメントのデータに基づいて、表示制御情報（サブリージョンの領域情報、視差情報など）を得る。
【０２５７】
サブタイトルデコーダ２２４は、サブタイトルデータを構成する各セグメントのデータおよびサブリージョンの領域情報に基づいて、サブタイトルを表示するためのリージョンの表示データ（ビットマップデータ）を生成する。ここで、リージョン内にあってサブリージョンで囲まれていない領域は、透明色が割り当てられる。ピクセルバッファ２２５は、この表示データを一時的に蓄積する。
【０２５８】
ビデオ重畳部２２８は、出力立体画像データＶoutを得る。この場合、ビデオ重畳部２２８は、ビデオデコーダ２２２で得られた立体画像データの左眼画像フレーム（frame0）部分および右眼画像フレーム（frame1）の部分に、それぞれ、ピクセルバッファ２２５に蓄積されている表示データを重畳する。この場合、ビデオ重畳部２２８は、立体画像データの伝送方式（サイド・バイ・サイド方式、トップ・アンド・ボトム方式、フレーム・シーケンシャル方式、ＭＶＣ方式など）に応じて、適宜、重畳位置、サイズなどの変更を行う。このビデオ重畳部２２８は、出力立体画像データＶoutを、ビットストリーム処理部２０１の外部に出力する。
【０２５９】
視差情報補間部２２６は、サブタイトルデコーダ２２４で得られる視差情報を位置制御部２２７に送る。視差情報補間部２２６は、視差情報に対して、必要に応じて、補間処理を施して、位置制御部２２７に送る。位置制御部２２７は、視差情報に基づいて、それぞれのフレームに重畳される表示データの位置をシフト調整する（図４６参照）。この場合、位置制御部２２７は、左眼画像フレーム（frame0）部分および右眼画像フレーム（frame1）部分に重畳される表示データ（字幕パターンデータ）を、視差情報に基づいて、互いに反対方向となるようにシフト調整して、視差を付与する。
【０２６０】
なお、表示制御情報には、字幕表示期間内で共通に使用される視差情報が含まれる。また、この表示制御情報には、さらに、字幕表示期間内で順次更新される視差情報が含まれることもある。この字幕表示期間内で順次更新される視差情報は、上述したように、字幕表示期間の最初のフレームの視差情報と、その後の更新フレーム間隔毎のフレームの視差情報とからなっている。
【０２６１】
位置制御部２２７は、字幕表示期間内で共通に使用される視差情報に関しては、そのまま使用する。一方、位置制御部２２７は、字幕表示期間内で順次更新される視差情報に関しては、視差情報補間部２２６で必要に応じて補間処理が施されたものを使用する。例えば、視差情報補間部２２６は、字幕表示期間内における任意のフレーム間隔、例えば、１フレーム間隔の視差情報を生成する。
【０２６２】
視差情報補間部２２６は、この補間処理として、線形補間処理ではなく、例えば、時間方向（フレーム方向）にローパスフィルタ（ＬＰＦ）処理を伴った補間処理を行う。これにより、補間処理後の所定フレーム間隔の視差情報の時間方向（フレーム方向）の変化がなだらかとなる。
【０２６３】
また、オーディオデコーダ２２９は、上述の送信データ生成部１１０のオーディオエンコーダ１１３とは逆の処理を行う。すなわち、このオーディオデコーダ２２９は、デマルチプレクサ２２１で抽出されたオーディオのパケットからオーディオのエレメンタリストリームを再構成し、復号化処理を行って、出力音声データＡoutを得る。このオーディオデコーダ２２９は、出力音声データＡoutを、ビットストリーム処理部２０１の外部に出力する。
【０２６４】
図５１に示すビットストリーム処理部２０１の動作を簡単に説明する。デジタルチューナ２０４（図５０参照）から出力されるトランスポートストリームＴＳは、デマルチプレクサ２２１に供給される。このデマルチプレクサ２２１では、トランスポートストリームＴＳから、ビデオデータストリーム、オーディオデータストリームのパケットが抽出され、各デコーダに供給される。また、このこのデマルチプレクサ２２１では、さらに、２Ｄストリームおよび３Ｄ拡張ストリーム、あるいは３Ｄストリームのパケットが抽出され、符号化データバッファ２２３に一時的に蓄積される。
【０２６５】
ビデオデコーダ２２２では、デマルチプレクサ２２１で抽出されたビデオデータのパケットからビデオデータストリームが再構成され、さらに復号化処理が行われて、左眼画像データおよび右眼画像データを含む立体画像データが得られる。この立体画像データは、ビデオ重畳部２２８に供給される。
【０２６６】
サブタイトルデコーダ２２４では、符号化データバッファ２２３から２Ｄストリームおよび３Ｄ拡張ストリーム、あるいは３Ｄストリームのパケットが読み出されてデコードされる。そして、サブタイトルデコーダ２２４では、サブタイトルデータを構成する各セグメントのデータおよびサブリージョンの領域情報に基づいて、サブタイトルを表示するためのリージョンの表示データ（ビットマップデータ）が生成される。
【０２６７】
この表示データは、ピクセルバッファ２２５に一時的に蓄積される。ここで、３Ｄ拡張ストリームあるいは３ＤストリームのＰＥＳパケットにＤＴＳが符号化されている場合、サブタイトルデコーダ２２４では、そのタイミングで符号化データバッファ２２３から該当ＰＥＳパケットが読み出されてデコード処理が開始される。
【０２６８】
ビデオ重畳部２２８では、ビデオデコーダ２２２で得られた立体画像データの左眼画像フレーム（frame0）部分および右眼画像フレーム（frame1）の部分に、それぞれ、ピクセルバッファ２２５に蓄積されている表示データが重畳される。この場合、立体画像データの伝送方式（サイド・バイ・サイド方式、トップ・アンド・ボトム方式、フレーム・シーケンシャル方式、ＭＶＣ方式など）に応じて、適宜、重畳位置、サイズなどが変更される。このビデオ重畳部２２８で得られる出力立体画像データＶoutは、ビットストリーム処理部２０１の外部に出力される。
【０２６９】
また、サブタイトルデコーダ２２４で得られる視差情報は、視差情報補間部２２６を通じて位置制御部２２７に送られる。視差情報補間部２２６では、必要に応じて、補間処理が行われる。例えば、字幕表示期間内で順次更新される数フレーム間隔の視差情報に関しては、視差情報補間部２２６で必要に応じて補間処理が施され、任意のフレーム間隔、例えば、１フレーム間隔の視差情報が生成される。
【０２７０】
位置制御部２２７では、ビデオ重畳部２２８で左眼画像フレーム（frame0）部分および右眼画像フレーム（frame1）部分に重畳される表示データ（字幕パターンデータ）を、視差情報に基づいて、互いに反対方向となるようにシフト調整することが行われる。これにより、左眼画像に表示される左眼サブタイトルと右眼画像に表示される右眼サブタイトルとの間に視差が付与される。従って、立体画像の内容に応じた、サブタイトル（字幕）の３Ｄ表示が実現される。
【０２７１】
また、オーディオデコーダ２２９では、デマルチプレクサ２２１で抽出されたオーディオのパケットからオーディオエレメンタリストリームが再構成され、さらに復号化処理が施されて、上述の表示用立体画像データＶoutに対応した音声データＡoutが得られる。この音声データＡoutは、ビットストリーム処理部２０１の外部に出力される。
【０２７２】
図５５は、セットトップボックス２００が２Ｄ対応機器（2D STB）である場合におけるビットストリーム処理部２０１の構成例を示している。この図５５において、図５１と対応する部分には、同一符号を付し、その詳細説明は省略する。以下、説明の便宜のため、図５１に示すビットストリーム処理部２０１を３Ｄ対応ビットストリーム処理部２０１と呼び、図５５に示すビットストリーム処理部２０１を２Ｄ対応ビットストリーム処理部２０１と呼ぶこととする。
【０２７３】
図５１に示す３Ｄ対応ビットストリーム処理部２０１において、ビデオデコーダ２２２は、デマルチプレクサ２２１で抽出されたビデオのパケットからビデオデータストリームを再構成し、復号化処理を行って、左眼画像データおよび右眼画像データを含む立体画像データを取得する。それに対して、図５５に示す２Ｄ対応ビットストリーム処理部２０１において、ビデオデコーダ２２２は、立体画像データを取得した後、左眼画像データまたは右眼画像データを切り出し、必要に応じてスケーリング処理等を行って２次元画像データを得る。
【０２７４】
また、図５１に示す３Ｄ対応ビットストリーム処理部２０１において、デマルチプレクサ２２１は、上述したように、「第１のタイプ」では２Ｄストリームおよび３Ｄ拡張ストリームのパケットを抽出し、「第２のタイプ」では３Ｄストリームのパケットを抽出し、符号化データバッファ２２３を通じて、サブタイトルデコーダ２２４に送る。それに対して、図５５に示す２Ｄ対応ビットストリーム処理部２０１において、デマルチプレクサ２２１は、「第１のタイプ」および「第２のタイプ」のいずれでも２Ｄストリームのパケットのみを抽出し、符号化データバッファ２２３を通じて、サブタイトルデコーダ２２４に送る。
【０２７５】
また、図５１に示す３Ｄ対応ビットストリーム処理部２０１において、サブタイトルデコーダ２２４は、上述したように、例えば、２Ｄストリームからサブタイトルデータを構成する各セグメントのデータを取得し、さらに、３Ｄ拡張ストリームからＤＳＳのセグメントのデータを取得する。あるいは、このサブタイトルデコーダ２２４は、３Ｄストリームから、サブタイトルデータを構成する各セグメントのデータを取得し、さらに、ＤＳＳのセグメントのデータを取得する。
【０２７６】
それに対して、図５５に示す２Ｄ対応ビットストリーム処理部２０１において、サブタイトルデコーダ２２４は、２Ｄストリームからサブタイトルデータを構成する各セグメントのデータのみを取得する。そして、サブタイトルデコーダ２２４は、この各セグメントのデータおよびサブリージョンの領域情報に基づいて、サブタイトルを表示するためのリージョンの表示データ（ビットマップデータ）を生成し、ピクセルバッファ２２５に一時的に蓄積する。この場合、サブタイトルデコーダ２２４は、ＤＳＳのセグメントのデータの読み込みを行わない。そのため、その読み込みが受信処理の妨げとなることを回避できる。
【０２７７】
また、図５１に示す３Ｄ対応ビットストリーム処理部２０１において、ビデオ重畳部２２８は、出力立体画像データＶoutを得て、ビットストリーム処理部２０１の外部に出力する。この場合、ビデオデコーダ２２２で得られた立体画像データの左眼画像フレーム（frame0）部分および右眼画像フレーム（frame1）の部分に、それぞれ、ピクセルバッファ２２５に蓄積されている表示データを重畳して、出力立体画像データＶoutを得る。そして、位置制御部２２７は、その表示データを、視差情報に基づいて、互いに反対方向となるようにシフト調整し、左眼画像に表示される左眼サブタイトルと右眼画像に表示される右眼サブタイトルとの間に視差を付与する。
【０２７８】
それに対して、図５５に示す２Ｄ対応ビットストリーム処理部２０１において、ビデオ重畳部２２８は、ビデオデコーダ２２２で得られた２次元画像データにピクセルバッファ２２５に蓄積されている表示データを重畳し、出力２次元画像データＶoutを得る。そして、ビデオ重畳部２２８は、この出力２次元画像データＶoutを、ビットストリーム処理部２０１の外部に出力する。
【０２７９】
図５５に示す２Ｄビットストリーム処理部２０１の動作を簡単に説明する。なお、オーディオ系の動作については、図５１に示す３Ｄビットストリーム処理部２０１と同様であるので省略する。
【０２８０】
デジタルチューナ２０４（図５０参照）から出力されるトランスポートストリームＴＳは、デマルチプレクサ２２１に供給される。このデマルチプレクサ２２１では、トランスポートストリームＴＳから、ビデオデータストリーム、オーディオデータストリームのパケットが抽出され、各デコーダに供給される。また、このこのデマルチプレクサ２２１では、さらに、２Ｄストリームのパケットが抽出され、符号化データバッファ２２３に一時的に蓄積される。
【０２８１】
ビデオデコーダ２２２では、デマルチプレクサ２２１で抽出されたビデオデータのパケットからビデオデータストリームが再構成され、さらに復号化処理が行われて、左眼画像データおよび右眼画像データを含む立体画像データが得られる。そして、ビデオデコーダ２２２では、さらに、この立体画像データから左眼画像データまたは右眼画像データが切り出され、必要に応じてスケーリング処理等が施されて、２次元画像データが得られる。この２次元画像データは、ビデオ重畳部２２８に供給される。
【０２８２】
また、サブタイトルデコーダ２２４では、符号化データバッファ２２３から２Ｄストリームが読み出されてデコードされる。そして、サブタイトルデコーダ２２４では、サブタイトルデータを構成する各セグメントのデータに基づいて、サブタイトルを表示するためのリージョンの表示データ（ビットマップデータ）が生成される。この表示データは、ピクセルバッファ２２５に一時的に蓄積される。
【０２８３】
ビデオ重畳部２２８では、ビデオデコーダ２２２で得られた２次元画像データに対してサブタイトルの表示データ（ビットマップデータ）が重畳され、出力２次元画像データＶoutが得られる。この出力２次元画像データＶoutは、ビットストリーム処理部２０１の外部に出力される。
【０２８４】
図５０に示すセットトップボックス２００において、デジタルチューナ２０４から出力されるトランスポートストリームＴＳには、立体画像データ、サブタイトルデータの他に、表示制御情報も含まれる。この表示制御情報には、表示制御情報（サブリージョンの領域情報、視差情報など）が含まれている。そのため、左眼サブタイトルおよび右眼サブタイトルの表示位置に視差を付与でき、サブタイトル（字幕）の表示において、画像内の各物体との間の遠近感の整合性を最適な状態に維持することが可能となる。
【０２８５】
また、図５０に示すセットトップボックス２００において、３Ｄ対応ビットストリーム処理部２０１（図５１参照）のサブタイトルデコーダ２２４で取得される表示制御情報に字幕表示期間内で順次更新される視差情報が含まれる場合、左眼サブタイトルおよび右眼サブタイトルの表示位置を動的に制御できる。これにより、左眼サブタイトルおよび右眼サブタイトルの間に付与する視差を画像内容の変化に連動して動的に変化させることが可能となる。
【０２８６】
また、図５０に示すセットトップボックス２００において、３Ｄビットストリーム処理部２０１（図５１参照）の視差情報補間部２２６で、字幕表示期間（所定数のフレーム期間）内で順次更新される視差情報を構成する複数フレームの視差情報に対して補間処理が施される。この場合、送信側から更新フレーム間隔毎に視差情報が送信される場合であっても、左眼サブタイトルおよび右眼サブタイトルの間に付与する視差を、細かな間隔で、例えばフレーム毎に制御することが可能となる。
【０２８７】
また、図５０に示すセットトップボックス２００において、３Ｄビットストリーム処理部２０１（図５１参照）の視差情報補間部２２６における補間処理は、例えば、時間方向（フレーム方向）のローパスフィルタ処理を伴うようにすることもできる。そのため、送信側から更新フレーム間隔毎に視差情報が送信される場合であっても、補間処理後の視差情報の時間方向の変化をなだらかにでき、左眼サブタイトルおよび右眼サブタイトルの間に付与される視差の推移が、更新フレーム間隔毎に不連続となることによる違和感を抑制できる。
【０２８８】
なお、上述していないが、セットトップボックス２００が３Ｄ対応機器である場合であって、２次元表示モードまたは３次元表示モードのユーザ選択が可能な構成も考えられる。その場合、３次元表示モードが選択されるときには、ビットストリーム処理部２０１は、上述した３Ｄ対応ビットストリーム処理部２０１（図５１参照）と同様の構成、動作とされる。一方、２次元表示モードが選択されるときには、ビットストリーム処理部２０１は、上述した２Ｄ対応ビットストリーム処理部２０１（図５５参照）と実質的に同様の構成、動作とされる。
【０２８９】
［テレビ受信機の説明］
図１に戻って、テレビ受信機３００は、３Ｄ対応機器である場合、セットトップボックス２００からＨＤＭＩケーブル４００を介して送られてくる立体画像データを受信する。このテレビ受信機３００は、３Ｄ信号処理部３０１を有している。この３Ｄ信号処理部３０１は、立体画像データに対して、伝送フォーマットに対応した処理（デコード処理）を行って、左眼画像データおよび右眼画像データを生成する。
【０２９０】
［テレビ受信機の構成例］
３Ｄ対応のテレビ受信機３００の構成例を説明する。図５６は、テレビ受信機３００の構成例を示している。このテレビ受信機３００は、３Ｄ信号処理部３０１と、ＨＤＭＩ端子３０２と、ＨＤＭＩ受信部３０３と、アンテナ端子３０４と、デジタルチューナ３０５と、ビットストリーム処理部３０６を有している。
【０２９１】
また、このテレビ受信機３００は、映像・グラフィック処理回路３０７と、パネル駆動回路３０８と、表示パネル３０９と、音声信号処理回路３１０と、音声増幅回路３１１と、スピーカ３１２を有している。また、このテレビ受信機３００は、ＣＰＵ３２１と、フラッシュＲＯＭ３２２と、ＤＲＡＭ３２３と、内部バス３２４と、リモートコントロール受信部（ＲＣ受信部）３２５と、リモートコントロール送信機（ＲＣ送信機）３２６を有している。
【０２９２】
アンテナ端子３０４は、受信アンテナ（図示せず）で受信されたテレビ放送信号を入力する端子である。デジタルチューナ３０５は、アンテナ端子３０４に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応したトランスポートストリーム（ビットストリームデータ）ＴＳを出力する。
【０２９３】
ビットストリーム処理部３０６は、トランスポートストリームＴＳに基づいて、サブタイトルが重畳された出力立体画像データおよび音声データを出力する。このビットストリーム処理部２０１は、詳細説明は省略するが、例えば、上述したセットトップボックス２００の、３Ｄ対応ビットストリーム処理部２０１（図５１参照）と同様の構成とされる。このビットストリーム処理部３０６は、立体画像データに対して、左眼サブタイトルおよび右眼サブタイトルの表示データを合成し、サブタイトルが重畳された出力立体画像データを生成して出力する。
【０２９４】
なお、このビットストリーム処理部３０６は、例えば、立体画像データの伝送方式がサイド・バイ・サイド方式、あるいはトップ・アンド・ボトム方式などの場合、スケーリング処理を施し、フル解像度の左眼画像データおよび右眼画像データを出力する。また、ビットストリーム処理部３０６は、画像データに対応した音声データを出力する。
【０２９５】
ＨＤＭＩ受信部３０３は、ＨＤＭＩに準拠した通信により、ＨＤＭＩケーブル４００を介してＨＤＭＩ端子３０２に供給される非圧縮の画像データおよび音声データを受信する。このＨＤＭＩ受信部３０３は、そのバージョンが例えばＨＤＭＩ１．４ａとされており、立体画像データの取り扱いが可能な状態にある。
【０２９６】
３Ｄ信号処理部３０１は、ＨＤＭＩ受信部３０３で受信された立体画像データに対して、デコード処理を行って、フル解像度の左眼画像データおよび右眼画像データを生成する。３Ｄ信号処理部３０１は、ＴＭＤＳ伝送データフォーマットに対応したデコード処理を行う。なお、３Ｄ信号処理部３０１は、ビットストリーム処理部３０６で得られたフル解像度の左眼画像データおよび右眼画像データに対しては何もしない。
【０２９７】
映像・グラフィック処理回路３０７は、３Ｄ信号処理部３０１で生成された左眼画像データおよび右眼画像データに基づいて、立体画像を表示するための画像データを生成する。また、映像・グラフィック処理回路３０７は、画像データに対して、必要に応じて、画質調整処理を行う。
【０２９８】
また、映像・グラフィック処理回路３０７は、画像データに対して、必要に応じて、メニュー、番組表などの重畳情報のデータを合成する。パネル駆動回路３０８は、映像・グラフィック処理回路３０７から出力される画像データに基づいて、表示パネル３０９を駆動する。表示パネル３０９は、例えば、ＬＣＤ(Liquid Crystal Display)、ＰＤＰ(Plasma DisplayPanel)等で構成されている。
【０２９９】
音声信号処理回路３１０は、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた音声データに対してＤ／Ａ変換等の必要な処理を行う。音声増幅回路３１１は、音声信号処理回路３１０から出力される音声信号を増幅してスピーカ３１２に供給する。
【０３００】
ＣＰＵ３２１は、テレビ受信機３００の各部の動作を制御する。フラッシュＲＯＭ３２２は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ３２３は、ＣＰＵ３２１のワークエリアを構成する。ＣＰＵ３２１は、フラッシュＲＯＭ３２２から読み出したソフトウェアやデータをＤＲＡＭ３２３上に展開してソフトウェアを起動させ、テレビ受信機３００の各部を制御する。
【０３０１】
ＲＣ受信部３２５は、ＲＣ送信機３２６から送信されたリモートコントロール信号（リモコンコード）を受信し、ＣＰＵ３２１に供給する。ＣＰＵ３２１は、このリモコンコードに基づいて、テレビ受信機３００の各部を制御する。ＣＰＵ３２１、フラッシュＲＯＭ３２２およびＤＲＡＭ３２３は、内部バス３２４に接続されている。
【０３０２】
図５６に示すテレビ受信機３００の動作を簡単に説明する。ＨＤＭＩ受信部３０３では、ＨＤＭＩ端子３０２にＨＤＭＩケーブル４００を介して接続されているセットトップボックス２００から送信されてくる、立体画像データおよび音声データが受信される。このＨＤＭＩ受信部３０３で受信された立体画像データは、３Ｄ信号処理部３０１に供給される。また、このＨＤＭＩ受信部３０３で受信された音声データは音声信号処理回路３１０に供給される。
【０３０３】
アンテナ端子３０４に入力されたテレビ放送信号はデジタルチューナ３０５に供給される。このデジタルチューナ３０５では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応したトランスポートストリーム（ビットストリームデータ）ＴＳが出力される。このトランスポートストリームＴＳは、ビットストリーム処理部３０６に供給される。
【０３０４】
ビットストリーム処理部３０６では、ビデオデータストリーム、オーディオデータストリーム、さらには、２Ｄストリーム、３Ｄ拡張ストリーム、３Ｄストリームに基づいて、サブタイトルが重畳された出力立体画像データおよび音声データが得られる。この場合、立体画像データに対して、左眼サブタイトルおよび右眼サブタイトルの表示データが合成され、サブタイトルが重畳された出力立体画像データ（フル解像度の左眼画像データおよび右眼画像データ）が生成される。この出力立体画像データは、３Ｄ信号処理部３０１を通って、映像・グラフィック処理回路３０７に供給される。
【０３０５】
３Ｄ信号処理部３０１では、ＨＤＭＩ受信部３０３で受信された立体画像データに対してデコード処理が行われて、フル解像度の左眼画像データおよび右眼画像データが生成される。この左眼画像データおよび右眼画像データは、映像・グラフィック処理回路３０７に供給される。この映像・グラフィック処理回路３０７では、左眼画像データおよび右眼画像データに基づいて、立体画像を表示するための画像データが生成され、必要に応じて、画質調整処理、ＯＳＤ（オンスクリーンディスプレイ）等の重畳情報データの合成処理も行われる。
【０３０６】
この映像・グラフィック処理回路３０７で得られる画像データはパネル駆動回路３０８に供給される。そのため、表示パネル３０９により立体画像が表示される。例えば、表示パネル３０９に、左眼画像データによる左眼画像および右眼画像データによる右眼画像が交互に時分割的に表示される。視聴者は、例えば、表示パネル３０９の表示に同期して左眼シャッタおよび右眼シャッタが交互に開くシャッタメガネを装着することで、左眼では左眼画像のみを見ることができ、右眼では右眼画像のみを見ることができ、立体画像を知覚できる。
【０３０７】
また、ビットストリーム処理部３０６で得られた音声データは、音声信号処理回路３１０に供給される。この音声信号処理回路３１０では、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた音声データに対してＤ／Ａ変換等の必要な処理が施される。この音声データは、音声増幅回路３１１で増幅された後に、スピーカ３１２に供給される。そのため、スピーカ３１２から表示パネル３０９の表示画像に対応した音声が出力される。
【０３０８】
なお、図５６は上述したように３Ｄ対応のテレビ受信機３００である。詳細説明は省略するが、レガシーの２Ｄ対応のテレビ受信機もほぼ同様の構成となる。ただし、レガシーの２Ｄ対応のテレビ受信機の場合、ビットストリーム処理部３０６は、上述の図５５に示す２Ｄ対応ビットストリーム処理部２０１と同様の構成、動作となる。また、レガシーの２Ｄ対応のテレビ受信機の場合、３Ｄ信号処理部３０１は不要となる。
【０３０９】
また、３Ｄ対応のテレビ受信機３００にあって、２次元表示モードまたは３次元表示モードのユーザ選択が可能な構成も考えられる。その場合、３次元表示モードが選択されるときには、ビットストリーム処理部３０６は、上述したと同様の構成、動作とされる。一方、２次元表示モードが選択されるときには、ビットストリーム処理部３０６は、上述の図５５に示す２Ｄ対応ビットストリーム処理部２０１と同様の構成、動作となる。
【０３１０】
＜２．変形例＞
なお、図５０に示すセットトップボックス２００においては、デジタルチューナ２０４に接続されるアンテナ入力端子２０３が設けられたものを示した。しかし、ケーブルを介して送信されてくるＲＦ信号を入力するセットトップボックスも同様に構成できる。その場合、アンテナ端子２０３の代わりにケーブル端子が設けられたものとなる。
【０３１１】
また、インターネット、ホームネットワークが直接、あるいはそれらがルータ経由で接続されるセットトップボックスも同様に構成できる。つまり、その場合、セットトップボックスには、上述のトランスポートストリームＴＳがインターネット、ホームネットワークから直接、あるいはそれらからルータ経由で送られてくることになる。
【０３１２】
図５７は、その場合におけるセットトップボックス２００Ａの構成例を示している。この図５７において、図５０と対応する部分には同一符号を付して示している。このセットトップボックス２００Ａは、ネットワークインタフェース２０９に接続されたネットワーク端子２０８を有している。そして、このネットワークインタフェース２０９からトランスポートストリームＴＳが出力され、ビットストリーム処理部２０１に供給される。詳細説明は省略するが、このセットトップボックス２００Ａのその他は、図５０に示すセットトップボックス２００と同様に構成され、同様の動作をする。
【０３１３】
また、図５６に示すテレビ受信機３００においては、デジタルチューナ２０４に接続されるアンテナ入力端子３０４が設けられたものを示した。しかし、ケーブルを介して送信されてくるＲＦ信号を入力するテレビ受信機も同様に構成できる。その場合、アンテナ端子３０４の代わりにケーブル端子が設けられたものとなる。
【０３１４】
また、インターネット、ホームネットワークに直接、あるいはそれらがルータ経由で接続されるテレビ受信機も同様に構成できる。つまり、その場合、テレビ受信機には、上述のトランスポートストリームＴＳがインターネット、ホームネットワークから直接、あるいはそれらからルータ経由で送られてくることになる。
【０３１５】
図５８は、その場合におけるテレビ受信機３００Ａの構成例を示している。この図５８において、図５６と対応する部分には同一符号を付して示している。このテレビ受信機３００Ａは、ネットワークインタフェース３１４に接続されたネットワーク端子３１３を有している。そして、このネットワークインタフェース３１４からトランスポートストリームＴＳが出力され、ビットストリーム処理部３０６に供給される。詳細説明は省略するが、このテレビ受信機３００Ａのその他は、図５６に示すテレビ受信機３００と同様に構成され、同様の動作をする。
【０３１６】
また、上述実施の形態においては、画像送受信システム１０が、放送局１００、セットトップボックス２００およびテレビ受信機３００で構成されているものを示した。しかし、テレビ受信機３００は、図５６に示すように、セットトップボックス２００内のビットストリーム処理部２０１と同様に機能するビットストリーム処理部３０６を備えている。したがって、図５９に示すように、放送局１００およびテレビ受信機３００で構成される画像送受信システム１０Ａも考えられる。
【０３１７】
また、上述実施の形態においては、セットトップボックス２００と、テレビ受信機３００とが、ＨＤＭＩのデジタルインタフェースで接続されるものを示している。しかし、これらが、ＨＤＭＩのデジタルインタフェースと同様のデジタルインタフェース（有線の他に無線も含む）で接続される場合においても、本技術を同様に適用できる。
【０３１８】
また、上述実施の形態においては、重畳情報としてサブタイトル（字幕）を取り扱うものを示した。しかし、その他のグラフィクス情報、テキスト情報などの重畳情報をはじめ、基本ストリームと追加ストリームとに分割されたものが関連して出力されるようにエンコーダされるもので、オーディオのストリームに関して扱うものにも、本技術を同様に適用できる。
【０３１９】
また、本技術は、以下のような構成を取ることもできる。
（１）左眼画像データおよび右眼画像データを持つ立体画像データを出力する画像データ出力部と、
上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを出力する重畳情報データ出力部と、
上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を出力する視差情報出力部と、
上記画像データ出力部から出力される立体画像データを含むビデオデータストリームのＰＥＳパケットと、上記重畳情報データ出力部から出力される重畳情報のデータを含む第１のプライベートデータストリームのＰＥＳパケットと、上記視差情報出力部から出力される視差情報を含む第２のプライベートデータストリームのＰＥＳパケットとを多重化したトランスポートストリームを生成して送信するデータ送信部とを備え、
上記データ送信部は、
上記第２のプライベートデータストリームのＰＥＳパケットを、該ＰＥＳパケットに含まれる表示タイムスタンプのタイミングより所定期間だけ前に受信側のデコーダバッファに到達するように多重化する
送信装置。
（２）上記所定期間には、少なくとも、上記第２のプライベートデータストリームのＰＥＳパケットをデコードして上記視差情報を取得するために必要な期間が含まれる
前記（１）に記載の送信装置。
（３）上記トランスポートストリームには、上記第１のプライベートデータストリームのＰＥＳパケットの１個に対して、上記第２のプライベートデータストリームのＰＥＳパケットの１個が存在し、
上記第２のプライベートデータストリームのＰＥＳパケットに含まれる視差情報は、上記第１のプライベートデータストリームのＰＥＳパケットに含まれる重畳情報のデータによる重畳情報が表示される期間内で順次更新される視差情報であり、最初のフレームの視差情報と、その後の更新フレーム間隔毎のフレームの視差情報とからなる
前記（１）または（２）に記載の送信装置。
（４）上記トランスポートストリームには、上記第１のプライベートデータストリームのＰＥＳパケットの１個に対して、上記第２のプライベートデータストリームのＰＥＳパケットの複数個が存在し、
上記複数個の上記第２のプライベートデータストリームのＰＥＳパケットに含まれる視差情報は、上記第１のプライベートデータストリームのＰＥＳパケットに含まれる重畳情報のデータによる重畳情報が表示される期間内で順次更新される、１個または複数個の視差情報である
前記（１）または（２）に記載の送信装置。
（５）上記第２のプライベートデータストリームのＰＥＳパケットに含まれる視差情報が複数個であるとき、該複数個の視差情報には、次のＰＥＳパケットに含まれる最初のフレームの視差情報と同一のフレームの視差情報が含まれる
前記（４）に記載の送信装置。
（６）上記データ送信部は、
上記第２のプライベートデータストリームのＰＥＳパケットに含まれる視差情報が１個であるとき、２番目以降の上記第２のプライベートデータストリームのＰＥＳパケットを、その前のＰＥＳパケットに含まれる表示タイムスタンプのタイミングの次の補間フレームより前に受信側のデコードバッファに到達するように多重化する
前記（４）に記載の送信装置。
（７）上記データ送信部は、
上記第２のプライベートデータストリームのＰＥＳパケットに含まれるデコードタイムスタンプのタイミングを、該ＰＥＳパケットに含まれる表示タイムスタンプのタイミングよりも所定期間だけ早く設定する
前記（１）から（６）のいずれかに記載の送信装置。
（８）上記第１のプライベートデータストリームのＰＥＳパケットおよび上記第２のプライベートデータストリームのＰＥＳパケットには、上記重畳情報のデータによる表示と上記視差情報による視差とを同期させるための同期情報が含まれる
前記（１）から（７）のいずれかに記載の送信装置。
（９）上記トランスポートストリームには、上記第１のプライベートデータストリームのＰＥＳパケットと上記第２のプライベートデータストリームのＰＥＳパケットとを関連付けする関連付け情報が挿入される
前記（１）から（８）のいずれかに記載の送信装置。
（１０）上記重畳情報のデータは、ＤＶＢ方式のサブタイトルデータであり、
上記視差情報は、リージョン単位または該リージョンに含まれるサブリージョン単位の視差情報、あるいは全てのリージョンを含むページ単位の視差情報である
前記（１）から（９）のいずれかに記載の送信装置。
（１１）上記第２のプライベートデータストリームのＰＥＳパケットには、上記視差情報が含まれると共に、上記重畳情報のデータも含まれる
前記（１）から（１０）のいずれかに記載の送信装置。
（１２）左眼画像データおよび右眼画像データを持つ立体画像データを出力する画像データ出力ステップと、
上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを出力する重畳情報データ出力ステップと、
上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を出力する視差情報出力ステップと、
上記画像データ出力ステップで出力される立体画像データを含むビデオデータストリームのＰＥＳパケットと、上記重畳情報データ出力ステップで出力される重畳情報のデータを含む第１のプライベートデータストリームのＰＥＳパケットと、上記視差情報出力ステップで出力される視差情報を含む第２のプライベートデータストリームのＰＥＳパケットをと多重化したトランスポートストリームを生成して送信するデータ送信ステップとを備え、
上記データ送信ステップでは、
上記第２のプライベートデータストリームのＰＥＳパケットを、該ＰＥＳパケットに含まれる表示タイムスタンプのタイミングより所定期間だけ前に受信側のデコーダバッファに到達するように多重化する
送信方法。
（１３）左眼画像データおよび右眼画像データを持つ立体画像データを含むビデオデータストリームのＰＥＳパケットと、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを含む第１のプライベートデータストリームのＰＥＳパケットと、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を含む第２のプライベートデータストリームのＰＥＳパケットとを多重化したトランスポートストリームを受信するデータ受信部を備え、
上記第２のプライベートデータストリームのＰＥＳパケットは、該ＰＥＳパケットに含まれる表示タイムスタンプのタイミングより所定期間だけ前に受信側のデコーダバッファに到達するように多重化されており、
上記データ受信部で受信された上記トランスポートストリームから抽出された上記ビデオデータストリームのＰＥＳパケットに対してデコード処理を行って上記立体画像データを取得する画像データ取得部と、
上記データ受信部で受信された上記トランスポートストリームから抽出された、上記第１のプライベートデータストリーのＰＥＳパケットおよび上記第２のプライベートデータストリームのＰＥＳパケットを一時的に蓄積するデコードバッファと、
上記デコードバッファから上記第１のプライベートデータストリームのＰＥＳパケットを読み出し、該ＰＥＳパケットに対してデコード処理を行って上記重畳情報のデータを取得する重畳情報データ取得部と、
上記デコードバッファから上記第２のプライベートデータストリームのＰＥＳパケットを読み出し、該ＰＥＳパケットに対してデコード処理を行って上記視差情報を取得する視差情報取得部と、
上記画像データ取得部で取得された立体画像データ、上記重畳情報データ取得部で取得された重畳情報のデータおよび上記視差情報取得部で取得された視差情報を用い、左眼画像および右眼画像に重畳する同一の重畳情報に視差を付与し、上記重畳情報が重畳された左眼画像のデータおよび上記重畳情報が重畳された右眼画像のデータを得る画像データ処理部とを、さらに備える
受信装置。
（１４）上記視差情報取得部で取得される、上記重畳情報が表示される所定数のフレーム期間内に順次更新される視差情報に対して補間処理を施し、上記所定数のフレーム期間内における任意のフレーム間隔の視差情報を生成する視差情報補間部を、さらに備え、
上記画像データ処理部は、上記視差情報補間部で生成された任意のフレーム間隔の視差情報を用いる
前記（１３）に記載の受信装置。
（１５）上記第２のプライベートデータストリームのＰＥＳパケットに含まれるデコードタイムスタンプのタイミングは、該ＰＥＳパケットに含まれる表示タイムスタンプのタイミングより所定期間だけ早く設定されており、
上記視差情報取得部は、上記第２のプライベートデータストリームのＰＥＳパケットに含まれるデコードタイムスタンプのタイミングで、上記デコードバッファから該第２のプライベートデータストリームのＰＥＳパケットを読み出してデコード処理を行う
前記（１３）または（１４）に記載の受信装置。
【符号の説明】
【０３２０】
１０，１０Ａ・・・画像送受信システム
１００・・・放送局
１１１Ｌ，１１１Ｒ・・・カメラ
１１２・・・ビデオフレーミング部
１１３・・・視差ベクトル検出部
１１４・・・マイクロホン
１１５・・・データ取り出し部
１１５ａ・・・データ記録媒体
１１６〜１１８・・・切り換えスイッチ
１１９・・・ビデオエンコーダ
１２０・・・オーディオエンコーダ
１２１・・・サブタイトル発生部
１２２・・・視差情報作成部
１２３・・・サブタイトル処理部
１２５・・・サブタイトルエンコーダ
１２６・・・マルチプレクサ
２００，２００Ａ・・・セットトップボックス（ＳＴＢ）
２０１・・・ビットストリーム処理部
２０２・・・ＨＤＭＩ端子
２０３・・・アンテナ端子
２０４・・・デジタルチューナ
２０５・・・映像信号処理回路
２０６・・・ＨＤＭＩ送信部
２０７・・・音声信号処理回路
２０８・・・ネットワーク端子
２０９・・・ネットワークインタフェース
２１１・・・ＣＰＵ
２１５・・・リモートコントロール受信部
２１６・・・リモートコントロール送信機
２２１・・・デマルチプレクサ
２２２・・・ビデオデコーダ
２２３・・・符号化データバッファ
２２４・・・サブタイトルデコーダ
２２５・・・ピクセルバッファ
２２８・・・ビデオ重畳部
２２９・・・オーディオデコーダ
３００，３００Ａ・・・テレビ受信機（ＴＶ）
３０１・・・３Ｄ信号処理部
３０２・・・ＨＤＭＩ端子
３０３・・・ＨＤＭＩ受信部
３０４・・・アンテナ端子
３０５・・・デジタルチューナ
３０６・・・ビットストリーム処理部
３０７・・・映像・グラフィック処理回路
３０８・・・パネル駆動回路
３０９・・・表示パネル
３１０・・・音声信号処理回路
３１１・・・音声増幅回路
３１２・・・スピーカ
３１３・・・ネットワーク端子
３１４・・・ネットワークインタフェース
３２１・・・ＣＰＵ
３２５・・・リモートコントロール受信部
３２６・・・リモートコントロール送信機
４００・・・ＨＤＭＩケーブル
【図１】
2013026696.tif 000003
【図２】
2013026696.tif 000004
【図３】
2013026696.tif 000005
【図４】
2013026696.tif 000006
【図５】
2013026696.tif 000007
【図６】
2013026696.tif 000008
【図８】
2013026696.tif 000009
【図９】
2013026696.tif 000010
【図１０】
2013026696.tif 000011
【図１１】
2013026696.tif 000012
【図１２】
2013026696.tif 000013
【図１３】
2013026696.tif 000014
【図１４】
2013026696.tif 000015
【図１５】
2013026696.tif 000016
【図１６】
2013026696.tif 000017
【図１７】
2013026696.tif 000018
【図１８】
2013026696.tif 000019
【図１９】
2013026696.tif 000020
【図２０】
2013026696.tif 000021
【図２１】
2013026696.tif 000022
【図２２】
2013026696.tif 000023
【図２３】
2013026696.tif 000024
【図２４】
2013026696.tif 000025
【図２５】
2013026696.tif 000026
【図２６】
2013026696.tif 000027
【図２７】
2013026696.tif 000028
【図２８】
2013026696.tif 000029
【図２９】
2013026696.tif 000030
【図３０】
2013026696.tif 000031
【図３１】
2013026696.tif 000032
【図３２】
2013026696.tif 000033
【図３３】
2013026696.tif 000034
【図３４】
2013026696.tif 000035
【図３５】
2013026696.tif 000036
【図３６】
2013026696.tif 000037
【図３７】
2013026696.tif 000038
【図３８】
2013026696.tif 000039
【図３９】
2013026696.tif 000040
【図４０】
2013026696.tif 000041
【図４１】
2013026696.tif 000042
【図４２】
2013026696.tif 000043
【図４３】
2013026696.tif 000044
【図４４】
2013026696.tif 000045
【図４５】
2013026696.tif 000046
【図４６】
2013026696.tif 000047
【図４７】
2013026696.tif 000048
【図５０】
2013026696.tif 000049
【図５１】
2013026696.tif 000050
【図５２】
2013026696.tif 000051
【図５３】
2013026696.tif 000052
【図５４】
2013026696.tif 000053
【図５５】
2013026696.tif 000054
【図５６】
2013026696.tif 000055
【図５７】
2013026696.tif 000056
【図５８】
2013026696.tif 000057
【図５９】
2013026696.tif 000058
【図６０】
2013026696.tif 000059
【図７】
2013026696.tif 000060
【図４８】
2013026696.tif 000061
【図４９】
2013026696.tif 000062