"左眼画像データおよび右眼画像データを持つ立体画像データを出力する画像データ出力部と、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを出力する重畳情報データ出力部と、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を出力する視差情報出力部と、上記画像データ出力部から出力される立体画像データを含むビデオデータストリームのPESパケットと、上記重畳情報データ出力部から出力される重畳情報のデータを含む第1のプライベートデータストリームのPESパケットと、上記視差情報出力部から出力される視差情報を含む第2のプライベートデータストリームのPESパケットとを多重化したトランスポートストリームを生成して送信するデータ送信部とを備え、上記データ送信部は、上記第2のプライベートデータストリームのPESパケットを、該PESパケットに含まれる表示タイムスタンプのタイミングより所定期間だけ前に受信側のデコーダバッファに到達するように多重化する送信装置。上記所定期間には、少なくとも、上記第2のプライベートデータストリームのPESパケットをデコードして上記視差情報を取得するために必要な期間が含まれる請求項1に記載の送信装置。上記トランスポートストリームには、上記第1のプライベートデータストリームのPESパケットの1個に対して、上記第2のプライベートデータストリームのPESパケットの1個が存在し、上記第2のプライベートデータストリームのPESパケットに含まれる視差情報は、上記第1のプライベートデータストリームのPESパケットに含まれる重畳情報のデータによる重畳情報が表示される期間内で順次更新される視差情報であり、最初のフレームの視差情報と、その後の更新フレーム間隔毎のフレームの視差情報とからなる請求項1に記載の送信装置。上記トランスポートストリームには、上記第1のプライベートデータストリームのPESパケットの1個に対して、上記第2のプライベートデータストリームのPESパケットの複数個が存在し、上記複数個の上記第2のプライベートデータストリームのPESパケットに含まれる視差情報は、上記第1のプライベートデータストリームのPESパケットに含まれる重畳情報のデータによる重畳情報が表示される期間内で順次更新される、1個または複数個の視差情報である請求項1に記載の送信装置。上記第2のプライベートデータストリームのPESパケットに含まれる視差情報が複数個であるとき、該複数個の視差情報には、次のPESパケットに含まれる最初のフレームの視差情報と同一のフレームの視差情報が含まれる請求項4に記載の送信装置。上記データ送信部は、上記第2のプライベートデータストリームのPESパケットに含まれる視差情報が1個であるとき、2番目以降の上記第2のプライベートデータストリームのPESパケットを、その前のPESパケットに含まれる表示タイムスタンプのタイミングの次の補間フレームより前に受信側のデコードバッファに到達するように多重化する請求項4に記載の送信装置。上記データ送信部は、上記第2のプライベートデータストリームのPESパケットに含まれるデコードタイムスタンプのタイミングを、該PESパケットに含まれる表示タイムスタンプのタイミングよりも所定期間だけ早く設定する請求項1に記載の送信装置。上記第1のプライベートデータストリームのPESパケットおよび上記第2のプライベートデータストリームのPESパケットには、上記重畳情報のデータによる表示と上記視差情報による視差とを同期させるための同期情報が含まれる請求項1に記載の送信装置。上記トランスポートストリームには、上記第1のプライベートデータストリームのPESパケットと上記第2のプライベートデータストリームのPESパケットとを関連付けする関連付け情報が挿入される請求項1に記載の送信装置。上記重畳情報のデータは、DVB方式のサブタイトルデータであり、上記視差情報は、リージョン単位または該リージョンに含まれるサブリージョン単位の視差情報、あるいは全てのリージョンを含むページ単位の視差情報である請求項1に記載の送信装置。上記第2のプライベートデータストリームのPESパケットには、上記視差情報が含まれると共に、上記重畳情報のデータも含まれる請求項1に記載の送信装置。左眼画像データおよび右眼画像データを持つ立体画像データを出力する画像データ出力ステップと、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを出力する重畳情報データ出力ステップと、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を出力する視差情報出力ステップと、上記画像データ出力ステップで出力される立体画像データを含むビデオデータストリームのPESパケットと、上記重畳情報データ出力ステップで出力される重畳情報のデータを含む第1のプライベートデータストリームのPESパケットと、上記視差情報出力ステップで出力される視差情報を含む第2のプライベートデータストリームのPESパケットとを多重化したトランスポートストリームを生成して送信するデータ送信ステップとを備え、上記データ送信ステップでは、上記第2のプライベートデータストリームのPESパケットを、該PESパケットに含まれる表示タイムスタンプのタイミングより所定期間だけ前に受信側のデコーダバッファに到達するように多重化する送信方法。左眼画像データおよび右眼画像データを持つ立体画像データを含むビデオデータストリームのPESパケットと、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを含む第1のプライベートデータストリームのPESパケットと、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を含む第2のプライベートデータストリームのPESパケットとを多重化したトランスポートストリームを受信するデータ受信部を備え、上記第2のプライベートデータストリームのPESパケットは、該PESパケットに含まれる表示タイムスタンプのタイミングより所定期間だけ前に受信側のデコーダバッファに到達するように多重化されており、上記データ受信部で受信された上記トランスポートストリームから抽出された上記ビデオデータストリームのPESパケットに対してデコード処理を行って上記立体画像データを取得する画像データ取得部と、上記データ受信部で受信された上記トランスポートストリームから抽出された、上記第1のプライベートデータストリーのPESパケットおよび上記第2のプライベートデータストリームのPESパケットを一時的に蓄積するデコードバッファと、上記デコードバッファから上記第1のプライベートデータストリームのPESパケットを読み出し、該PESパケットに対してデコード処理を行って上記重畳情報のデータを取得する重畳情報データ取得部と、上記デコードバッファから上記第2のプライベートデータストリームのPESパケットを読み出し、該PESパケットに対してデコード処理を行って上記視差情報を取得する視差情報取得部と、上記画像データ取得部で取得された立体画像データ、上記重畳情報データ取得部で取得された重畳情報のデータおよび上記視差情報取得部で取得された視差情報を用い、左眼画像および右眼画像に重畳する同一の重畳情報に視差を付与し、上記重畳情報が重畳された左眼画像のデータおよび上記重畳情報が重畳された右眼画像のデータを得る画像データ処理部とを、さらに備える受信装置。上記視差情報取得部で取得される、上記重畳情報が表示される所定数のフレーム期間内に順次更新される視差情報に対して補間処理を施し、上記所定数のフレーム期間内における任意のフレーム間隔の視差情報を生成する視差情報補間部を、さらに備え、上記画像データ処理部は、上記視差情報補間部で生成された任意のフレーム間隔の視差情報を用いる請求項13に記載の受信装置。上記第2のプライベートデータストリームのPESパケットに含まれるデコードタイムスタンプのタイミングは、該PESパケットに含まれる表示タイムスタンプのタイミングより所定期間だけ早く設定されており、上記視差情報取得部は、上記第2のプライベートデータストリームのPESパケットに含まれるデコードタイムスタンプのタイミングで、上記デコードバッファから該第2のプライベートデータストリームのPESパケットを読み出してデコード処理を行う請求項13に記載の受信装置。上述したように立体画像表示において、視聴者は、両眼視差を利用して、立体画像の遠近感を知覚することが普通である。画像に重畳される重畳情報、例えば字幕等に関しても、2次元空間的のみならず、3次元3Dの奥行き感としても、立体画像表示と連動してレンダリングされることが期待される。例えば、画像に字幕を重畳表示する場合、遠近感でいうところの最も近い画像内の物体オブジェクトよりも手前に表示されないと、視聴者は、遠近感の矛盾を感じる場合がある。そこで、重畳情報のデータと共に、左眼画像および右眼画像の間の視差情報を送信し、受信側で、左眼重畳情報および右眼重畳情報との間に視差を付与することが考えられている。この視差情報3D拡張の視差情報は、実データを伝送すると共に受信側での補間を要求する仕様となっている。そのため、この視差情報を含むPESPacketizedElementartyStreamパケットをトランスポートストリームに多重化して送信する際には、特別の配慮が必要となる。すなわち、視差情報の受信側のデコーダへの到達タイミングと、このデコーダでの補間のタイミングとの制御をおこなうためのメカニズムが必要になる。本技術の目的は、視差情報を含むPESパケットの送信を効果的に行うことにある。本技術の概念は、左眼画像データおよび右眼画像データを持つ立体画像データを出力する画像データ出力部と、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを出力する重畳情報データ出力部と、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を出力する視差情報出力部と、上記画像データ出力部から出力される立体画像データを含むビデオデータストリームのPESパケットと、上記重畳情報データ出力部から出力される重畳情報のデータを含む第1のプライベートデータストリームのPESパケットと、上記視差情報出力部から出力される視差情報を含む第2のプライベートデータストリームのPESパケットとを多重化したトランスポートストリームを生成して送信するデータ送信部とを備え、上記データ送信部は、上記第2のプライベートデータストリームのPESパケットを、該PESパケットに含まれる表示タイムスタンプのタイミングより所定期間だけ前に受信側のデコーダバッファに到達するように多重化する送信装置にある。本技術において、画像データ出力部により、左眼画像データおよび右眼画像データを持つ立体画像データが出力される。重畳情報データ出力部により、左眼画像データおよび右眼画像データによる画像に重畳する重畳情報のデータが出力される。ここで、重畳情報は、画像に重畳される字幕、グラフィクス、テキストなどの情報である。視差情報出力部により、左眼画像データおよび右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報が出力される。例えば、重畳情報のデータはDVB方式のサブタイトルデータであり、視差情報は、リージョン単位またはこのリージョンに含まれるサブリージョン単位の視差情報、あるいは全てのリージョンを含むページ単位の視差情報であってもよい。データ送信部により、トランスポートストリームが生成されて送信される。このトランスポートストリームは、立体画像データを含むビデオデータストリームのPESパケットと、重畳情報のデータを含む第1のプライベートデータストリームのPESパケットと、視差情報を含む第2のプライベートデータストリームのPESパケットとを有するものとされる。データ送信部では、例えば、第2のプライベートデータストリームのPESパケットが、このPESパケットに含まれる表示タイムスタンプのタイミングより所定期間だけ前に受信側のデコーダバッファに到達するように多重化される。例えば、所定期間には、少なくとも、第2のプライベートデータストリームのPESパケットをデコードして視差情報を取得するために必要な期間が含まれる、ようにされる。このように本技術において、視差情報含むPESパケットが、このPESパケットに含まれる表示タイムスタンプのタイミングより所定期間だけ前に受信側のデコーダバッファに到達するように多重化される。そのため、受信側において、表示タイムスタンプのタイミングに間に合うように、デコード等を行って視差情報を取得することが可能となる。つまり、本技術においては、視差情報を含むPESパケットの送信を効果的に行うことができる。なお、本技術において、例えば、トランスポートストリームには、第1のプライベートデータストリームのPESパケットの1個に対して、第2のプライベートデータストリームのPESパケットの1個が存在し、第2のプライベートデータストリームのPESパケットに含まれる視差情報は、第1のプライベートデータストリームのPESパケットに含まれる重畳情報データによる重畳情報が表示される期間内で順次更新される視差情報であり、最初のフレームの視差情報と、その後の更新フレーム間隔毎のフレームの視差情報とからなる、ようにされてもよい。この場合、順次更新される視差情報複数のプロット位置の視差情報は、受信側に、例えば、重畳情報の表示前に一括して送信される。この場合の送信コンテンツは、例えば映画などの録画コンテンツであって、視差情報のエンコーダおよび多重化はオフラインで行われる。また、本技術において、例えば、トランスポートストリームには、第1のプライベートデータストリームのPESパケットの1個に対して、第2のプライベートデータストリームのPESの複数個が存在し、複数個の第2のプライベートデータストリームのPESパケットに含まれる視差情報は、第1のプライベートデータストリームのPESパケットに含まれる重畳情報のデータによる重畳情報が表示される期間内で順次更新される、1個または複数個の視差情報であってもよい。この場合、順次更新される視差情報複数のプロット位置の視差情報は、受信側に、例えば、重畳情報の表示後にも順次送信される。この場合の送信コンテンツは、例えばスポーツ、コンサートなどのライブコンテンツであって、視差情報のエンコーダおよび多重化はリアルタイムで行われる。ここで、1個のPESパケットに複数個の視差情報が含まれるようにすることで、遅延が発生するものの、PESパケットの多重化の頻度が低減することから、受信側のデコーダにおける読み出し負荷を低減できる。この場合、例えば、第2のプライベートデータストリームのPESパケットに含まれる視差情報が複数個であるとき、この複数個の視差情報には、次のPESパケットに含まれる最初のフレームの視差情報と同一のフレームの視差情報が含まれる、ようにされてもよい。この場合、複数個の視差情報の間隔が数フレーム間隔であった場合に、補間を行って、毎フレームの視差情報を得ることが可能となる。この場合、例えば、データ送信部は、第2のプライベートデータストリームのPESパケットに含まれる視差情報が1個であるとき、2番目以降の第2のプライベートデータストリームのPESパケットを、その前のPESパケットに含まれる表示タイムスタンプのタイミングの次の補間フレームより前に受信側のでデコードバッファに到達するように多重化する、ようにされてもよい。この場合、各PESパケットに含まれる視差情報の間隔が数フレーム間隔であった場合に、補間を行って、毎フレームの視差情報を得ることが可能となる。また、本技術において、例えば、データ送信部は、第2のプライベートデータストリームのPESパケットに含まれるデコードタイムスタンプのタイミングを、このPESパケットに含まれる表示タイムスタンプのタイミングよりも所定期間だけ早く設定する、ようにされてもよい。この場合、受信側において、表示タイムスタンプのタイミングに間に合うように確実にデコードを開始させることができる。また、本技術において、例えば、第1のプライベートデータストリームのPESパケットおよび第2のプライベートデータストリームのPESパケットには、重畳情報のデータによる表示と視差情報による視差とを同期させるための同期情報が含まれる、ようにされてもよい。この場合、重畳情報のデータと視差情報とが別PESパケットで送信される場合にあっても、受信側において、重畳情報のデータによる表示と視差情報によるシフト制御との同期をとることが可能となる。また、本技術において、例えば、トランスポートストリームには、第1のプライベートデータストリームのPESパケットと第2のプライベートデータストリームのPESパケットとを関連付けする関連付け情報が挿入される、ようにされてもよい。この場合、関連付け情報により、例えば、受信側では、双方のPESパケットが関連付けされていることを容易に把握でき、双方のPESパケットをデコードすべきことが分かる。また、本技術において、第2のプライベートデータストリームのPESパケットには、視差情報が含まれると共に、重畳情報のデータも含まれる、ようにされてもい。この場合、受信側の3D対応機器においては、この第2のプライベートデータストリームのPESパケットのデコードだけで重畳情報の3D表示を行うことが可能となる。また、本技術の他の概念は、左眼画像データおよび右眼画像データを持つ立体画像データを含むビデオデータストリームのPESパケットと、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータによる画像に重畳する重畳情報のデータを含む第1のプライベートデータストリームのPESパケットと、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を含む第2のプライベートデータストリームのPESパケットとを多重化したトランスポートストリームを受信するデータ受信部を備え、上記第2のプライベートデータストリームのPESパケットは、該PESパケットに含まれる表示タイムスタンプのタイミングより所定期間だけ前に受信側のデコーダバッファに到達するように多重化されており、上記データ受信部で受信された上記トランスポートストリームから抽出された上記ビデオデータストリームのPESパケットに対してデコード処理を行って上記立体画像データを取得する画像データ取得部と、上記データ受信部で受信された上記トランスポートストリームから抽出された、上記第1のプライベートデータストリーのPESパケットおよび上記第2のプライベートデータストリームのPESパケットを一時的に蓄積するデコードバッファと、上記デコードバッファから上記第1のプライベートデータストリームのPESパケットを読み出し、該PESパケットに対してデコード処理を行って上記重畳情報のデータを取得する重畳情報データ取得部と、上記デコードバッファから上記第2のプライベートデータストリームのPESパケットを読み出し、該PESパケットに対してデコード処理を行って上記視差情報を取得する視差情報取得部と、上記画像データ取得部で取得された立体画像データ、上記重畳情報データ取得部で取得された重畳情報のデータおよび上記視差情報取得部で取得された視差情報を用い、左眼画像および右眼画像に重畳する同一の重畳情報に視差を付与し、上記重畳情報が重畳された左眼画像のデータおよび上記重畳情報が重畳された右眼画像のデータを得る画像データ処理部とを、さらに備える受信装置にある。なお、本技術において、例えば、視差情報取得部で取得される、重畳情報が表示される所定数のフレーム期間内に順次更新される視差情報に対して補間処理を施し、所定数のフレーム期間内における任意のフレーム間隔の視差情報を生成する視差情報補間部を、さらに備え、画像データ処理部は、視差情報補間部で生成された任意のフレーム間隔の視差情報を用いる、ようにされてもよい。この場合、各PESパケットに含まれる視差情報の間隔が数フレーム間隔であった場合であっても、例えば、毎フレームの視差情報を得て、シフト調整を行うことが可能となる。また、本技術において、例えば、第2のプライベートデータストリームのPESパケットに含まれるデコードタイムスタンプのタイミングは、このPESパケットに含まれる表示タイムスタンプのタイミングより所定期間だけ早く設定されており、視差情報取得部は、第2のプライベートデータストリームのPESパケットに含まれるデコードタイムスタンプのタイミングで、デコードバッファからこの第2のプライベートデータストリームのPESパケットを読み出してデコード処理を行う、ようにされてもよい。これにより、表示タイムスタンプのタイミングに間に合うように確実にデコードを開始させて視差情報を取得できる。本技術によれば、視差情報を含むPESパケットの送信を効果的に行うことができる。以下、発明を実施するための形態以下、実施の形態とするについて説明する。なお、説明を以下の順序で行う。1.実施の形態2.変形例<1.実施の形態>[画像送受信システムの構成例]図1は、実施の形態としての画像送受信システム10の構成例を示している。この画像送受信システム10は、放送局100と、セットトップボックスSTB200と、テレビ受信機TV300を有している。セットトップボックス200およびテレビ受信機300は、HDMIのデジタルインタフェースで接続されている。セットトップボックス200およびテレビ受信機300は、HDMIケーブル400を用いて接続されている。セットトップボックス200には、HDMI端子202が設けられている。テレビ受信機300には、HDMI端子302が設けられている。HDMIケーブル400の一端はセットトップボックス200のHDMI端子202に接続され、このHDMIケーブル400の他端はテレビ受信機300のHDMI端子302に接続されている。[放送局の説明]放送局100は、トランスポートストリームTSを、放送波に載せて送信する。放送局100は、トランスポートストリームTSを生成する送信データ生成部110を備えている。このトランスポートストリームTSには、立体画像データ、音声データ、重畳情報のデータ、視差情報などが含まれる。立体画像データは所定の伝送フォーマットを有し、立体画像を表示するための左眼画像データおよび右眼画像データを持っている。重畳情報は、一般的には、字幕、グラフィクス情報、テキスト情報などであるが、この実施の形態においてはサブタイトル字幕である。送信データ生成部の構成例図2は、放送局100における送信データ生成部110の構成例を示している。この送信データ生成部110は、既存の放送規格の一つであるDVBDigitalVideoBroadcasting方式に容易に連携できるデータ構造で視差情報視差ベクトルを送信する。この送信データ生成部110は、カメラ111L,111Rと、ビデオフレーミング部112と、視差ベクトル検出部113と、マイクロホン114と、データ取り出し部115と、切換スイッチ116~118を有している。また、この送信データ生成部110は、ビデオエンコーダ119と、オーディオエンコーダ120と、サブタイトル発生部121と、視差情報作成部122と、サブタイトル処理部123と、サブタイトルエンコーダ125と、マルチプレクサ126を有している。カメラ111Lは、左眼画像を撮影して立体画像表示のための左眼画像データを得る。カメラ111Rは、右眼画像を撮影して立体画像表示のための右眼画像データを得る。ビデオフレーミング部112は、カメラ111Lで得られた左眼画像データおよびカメラ111Rで得られた右眼画像データを、伝送方式に応じた立体画像データ3D画像データに加工処理する。このビデオフレーミング部112は、画像データ出力部を構成している。立体画像データ3D画像データの伝送方式の一例を説明する。ここでは、以下の第1~第3の伝送方式を挙げるが、これら以外の伝送方式であってもよい。また、ここでは、図3に示すように、左眼Lおよび右眼Rの画像データが、それぞれ、決められた解像度、例えば、1920×1080のピクセルフォーマットの画像データである場合を例にとって説明する。第1の伝送方式は、トップアンドボトムTopBottom方式で、図4aに示すように、垂直方向の前半では左眼画像データの各ラインのデータを伝送し、垂直方向の後半では左眼画像データの各ラインのデータを伝送する方式である。この場合、左眼画像データおよび右眼画像データのラインが1/2に間引かれることから原信号に対して垂直解像度は半分となる。第2の伝送方式は、サイドバイサイドSideBySide方式で、図4bに示すように、水平方向の前半では左眼画像データのピクセルデータを伝送し、水平方向の後半では右眼画像データのピクセルデータを伝送する方式である。この場合、左眼画像データおよび右眼画像データは、それぞれ、水平方向のピクセルデータが1/2に間引かれる。原信号に対して、水平解像度は半分となる。第3の伝送方式は、フレームシーケンシャルFrameSequential方式で、図4cに示すように、左眼画像データと右眼画像データとをフレーム毎に順次切換えて伝送する方式である。なお、このフレームシーケンシャル方式は、フルフレームFullFrame方式、あるいは従来の2Dフォーマットに対してのサービスコンパチブルservicecompatible方式の場合も含む。視差ベクトル検出部113は、左眼画像データおよび右眼画像データに基づき、例えば、画像を構成するピクセル画素毎の視差ベクトルを検出する。視差ベクトルの検出例について説明する。ここでは、左眼画像に対する右眼画像の視差ベクトルを検出する例について説明する。図5に示すように、左眼画像を検出画像とし、右眼画像を参照画像とする。この例では、xiyiおよびxjyjの位置における視差ベクトルが検出される。xiyiの位置における視差ベクトルを検出する場合を例にとって説明する。この場合、左眼画像に、xiyiの位置の画素を左上とする、例えば4×4、8×8、あるいは16×16の画素ブロック視差検出ブロックBiが設定される。そして、右眼画像において、画素ブロックBiとマッチングする画素ブロックが探索される。この場合、右眼画像に、xiyiの位置を中心とする探索範囲が設定され、その探索範囲内の各画素を順次注目画素として、上述の画素ブロックBiと同様の例えば4×4、8×8、あるいは16×16の比較ブロックが順次設定されていく。画素ブロックBiと順次設定される比較ブロックとの間で、対応する画素毎の差分絶対値の総和が求められる。ここで、図6に示すように、画素ブロックBiの画素値をLとし、比較ブロックの画素値をRとするとき、画素ブロックBiと、ある比較ブロックとの間における差分絶対値の総和は、Σ|L-R|で表される。右眼画像に設定される探索範囲にn個の画素が含まれているとき、最終的にn個の総和S1~Snが求められ、その中で最小の総和Sminが選択される。そして、この総和Sminが得られた比較ブロックから左上の画素の位置がxi′yi′が得られる。これにより、xiyiの位置における視差ベクトルは、xi′-xi,yi′-yiのように検出される。詳細説明は省略するが、xjyjの位置における視差ベクトルについても、左眼画像に、xjyjの位置の画素を左上とする、例えば4×4、8×8、あるいは16×16の画素ブロックBjが設定されて、同様の処理過程で検出される。図2に戻って、マイクロホン114は、カメラ111L,111Rで撮影された画像に対応した音声を検出して、音声データを得る。データ取り出し部115は、データ記録媒体115aを着脱自在に装着した状態で使用される。このデータ記録媒体115aは、ディスク状記録媒体、半導体メモリ等である。このデータ記録媒体115aには、左眼画像データおよび右眼画像データを含む立体画像データと共に、音声データ、重畳情報のデータ、視差ベクトルが対応付けて記録されている。データ取り出し部115は、データ記録媒体115aから、立体画像データ、音声データおよび視差ベクトルを取り出して出力する。このデータ取り出し部115は、画像データ出力部を構成している。ここで、データ記録媒体115aに記録されている立体画像データは、ビデオフレーミング部112で得られる立体画像データに相当するものである。また、データ記録媒体115aに記録されている音声データは、マイクロホン114で得られる音声データに相当するものである。また、データ記録媒体115aに記録されている視差ベクトルは、視差ベクトル検出部113で検出される視差ベクトルに相当するものである。切り換えスイッチ116は、ビデオフレーミング部112で得られた立体画像データまたはデータ取り出し部115から出力された立体画像データを選択的に取り出す。この場合、切り換えスイッチ116は、ライブモードでは、a側に接続され、ビデオフレーミング部112で得られた立体画像データを取り出し、再生モードでは、b側に接続され、データ取り出し部115から出力された立体画像データを取り出す。切り換えスイッチ117は、視差ベクトル検出部113で検出された視差ベクトルまたはデータ取り出し部115から出力された視差ベクトルを選択的に取り出す。この場合、切り換えスイッチ117は、ライブモードでは、a側に接続され、視差ベクトル検出部113で検出された視差ベクトルを取り出し、再生モードでは、b側に接続され、データ取り出し部115から出力された視差ベクトルを取り出す。切り換えスイッチ118は、マイクロホン114で得られた音声データまたはデータ取り出し部115から出力された音声データを選択的に取り出す。この場合、切り換えスイッチ118は、ライブモードでは、a側に接続され、マイクロホン114で得られた音声データを取り出し、再生モードでは、b側に接続され、データ取り出し部115から出力された音声データを取り出す。ビデオエンコーダ119は、切り換えスイッチ116で取り出された立体画像データに対して、MPEG4-AVC、MPEG2、VC-1等の符号化を施し、ビデオデータストリームビデオエレメンタリストリームを生成する。オーディオエンコーダ120は、切り換えスイッチ118で取り出された音声データに対して、AC3、AAC等の符号化を施し、オーディオデータストリームオーディオエレメンタリストリームを生成する。サブタイトル発生部121は、DVBDigitalVideoBroadcastingの字幕データであるサブタイトルデータを発生する。このサブタイトルデータは、二次元2D画像用のサブタイトルデータである。このサブタイトル発生部121は、重畳情報データ出力部を構成している。視差情報作成部122は、切り換えスイッチ117で取り出されたピクセル画素毎の視差ベクトル水平方向視差ベクトルに対して、ダウンサイジング処理を施し、以下に示すように、各階層の視差情報を生成する。なお、視差情報は必ずしも視差情報作成部122で生成される必要はなく、外部から別途供給される構成も可能である。図7は、各ピクセル画素の輝度値のようにして与えられる相対的な深さ方向のデータの例を示している。ここで、相対的な深さ方向のデータは所定の変換により画素ごとの視差ベクトルとして扱うことが可能となる。この例において、人物部分の輝度値は高くなっている。これは、人物部分の視差ベクトルの値が大きいことを意味し、従って、立体画像表示では、この人物部分が浮き出た状態に知覚されることを意味している。また、この例において、背景部分の輝度値は低くなっている。これは、背景部分の視差ベクトルの値が小さいことを意味し、従って、立体画像表示では、この背景部分が沈んだ状態に知覚されることを意味している。図8は、ブロックBlock毎の視差ベクトルの一例を示している。ブロックは、最下層に位置するピクセル画素の上位層に当たる。このブロックは、画像ピクチャ領域が、水平方向および垂直方向に所定の大きさで分割されることで構成される。各ブロックの視差ベクトルは、例えば、そのブロック内に存在する全ピクセル画素の視差ベクトルから、最も値の大きな視差ベクトルが選択されることで得られる。この例においては、各ブロックの視差ベクトルを矢印で示しており、矢印の長さが視差ベクトルの大きさに対応している。図9は、視差情報作成部122で行われるダウンサイジング処理の一例を示している。最初に、視差情報作成部122は、図9aに示すように、ピクセル画素毎の視差ベクトルを用いて、ブロック毎の符号付き視差ベクトルを求める。上述したように、ブロックは、最下層に位置するピクセル画素の上位層に当たり、画像ピクチャ領域が水平方向および垂直方向に所定の大きさで分割されることで構成される。そして、各ブロックの視差ベクトルは、例えば、そのブロック内に存在する全ピクセル画素の視差ベクトルから、最も値の小さな、あるいは最も絶対値が大きい負の値をもつ視差ベクトルが選択されることで得られる。次に、視差情報作成部122は、図9bに示すように、ブロック毎の視差ベクトルを用いて、グループGroupOfBlock毎の視差ベクトルを求める。グループは、ブロックの上位層に当たり、複数個の近接するブロックをまとめてグループ化することで得られる。図9bの例では、各グループは、破線枠で括られる4個のブロックにより構成されている。そして、各グループの視差ベクトルは、例えば、そのグループ内の全ブロックの視差ベクトルから、最も値の小さな、あるいは最も絶対値が大きい負の値をもつ視差ベクトルが選択されることで得られる。次に、視差情報作成部122は、図9cに示すように、グループ毎の視差ベクトルを用いて、パーティションPartition毎の視差ベクトルを求める。パーティションは、グループの上位層に当たり、複数個の近接するグループをまとめてグループ化することで得られる。図9cの例では、各パーティションは、破線枠で括られる2個のグループにより構成されている。そして、各パーティションの視差ベクトルは、例えば、そのパーティション内の全グループの視差ベクトルから、最も値の小さな、あるいは最も絶対値が大きい負の値をもつ視差ベクトルが選択されることで得られる。次に、視差情報作成部122は、図9dに示すように、パーティション毎の視差ベクトルを用いて、最上位層に位置するピクチャ全体画像全体の視差ベクトルを求める。図9dの例では、ピクチャ全体には、破線枠で括られる4個のパーティションが含まれている。そして、ピクチャ全体の視差ベクトルは、例えば、ピクチャ全体に含まれる全パーティションの視差ベクトルから、最も値の小さな、あるいは最も絶対値が大きい負の値をもつ視差ベクトルが選択されることで得られる。このようにして、視差情報作成部122は、最下層に位置するピクセル画素毎の視差ベクトルにダウンサイジング処理を施して、ブロック、グループ、パーティション、ピクチャ全体の各階層の各領域の視差ベクトルを求めることができる。なお、図9に示すダウンサイジング処理の一例では、最終的に、ピクセル画素の階層の他、ブロック、グループ、パーティション、ピクチャ全体の4階層の視差ベクトルを求めている。しかし、階層数ならびに各階層の領域の切り方や領域の数はこれに限定されるものではない。図2に戻って、サブタイトル処理部123は、サブタイトル発生部121で発生されたサブタイトルデータに基づいて、リージョン内にサブリージョンの領域を定義できる。また、サブタイトル処理部123は、視差情報作成部122で作成された視差情報に基づいて、左眼画像および右眼画像における重畳情報の表示位置をシフト調整するための視差情報を設定する。この視差情報は、サブリージョンまたはリージョン毎に、あるいはページ毎に設定可能とされている。図10aは、サブタイトルデータにおいて、画面上に定義されるリージョンと、このリージョン内に定義されるサブリージョンの一例を示している。この例では、RegionStartingPositionがR0であるリージョン0Resion0に、SubResion1、SubResion2の2つのサブリージョンが定義されている。SubResion1の水平方向位置HorizontalPosionxはSR1で、SubResion2の水平方向位置HorizontalPosionxはSR2である。そして、この例では、サブリージョンSubResion1に対して視差情報disparity1が設定され、サブリージョンSubResion2に対して視差情報disparity2が設定される。図10bは、視差情報による左眼画像Leftviewにおけるサブリージョン領域内のシフト調整例を示している。サブリージョンSubResion1に対して視差情報disparity1が設定されている。そのため、サブリージョンSubResion1に関しては、水平方向位置HorizontalPosionxがSR1-disparity1となるようにシフト調整される。また、サブリージョンSubResion2に対して視差情報disparity2が設定されている。そのため、サブリージョンSubResion2に関しては、水平方向位置HorizontalPosionxがSR2-disparity2となるようにシフト調整される。図10cは、視差情報による右眼画像Rightviewにおけるサブリージョン領域内のシフト調整例を示している。サブリージョンSubResion1に対して視差情報disparity1が設定されている。そのため、サブリージョンSubResion1に関しては、上述の左眼画像とは逆向きに、水平方向位置HorizontalPosionxがSR1disparity1となるようにシフト調整される。また、サブリージョンSubResion2に対して視差情報disparity2が設定されている。そのため、サブリージョンSubResion2に関しては、上述の左眼画像とは逆向きに、水平方向位置HorizontalPosionxがSR2disparity2となるようにシフト調整される。サブタイトル処理部123は、サブタイトル発生部121で発生されたサブタイトルデータと共に、上述のサブリージョン領域の領域情報、視差情報などの表示制御情報を出力する。なお、視差情報に関しては、上述したようにサブリージョン単位で設定できる他、リージョン単位、あるいはページ単位でも設定できる。サブタイトルデータは、DDS、PCS、RCS、CDS、ODS、EDSなどのセグメントを持つ。DDSdisplaydefinitionsegmentは、HDTV用の表示displayサイズを指定する。PCSpagecompositionsegmentは、ページpage内のリージョンregion位置を指定する。RCSregioncompositionsegmentは、リージョンRegionの大きさやオブジェクトobjectの符号化モードを指定し、また、オブジェクトobjectの開始位置を指定する。CDSCLUTdefinitionsegmentは、CLUT内容の指定をする。ODSobjectdatasegmentは、符号化ピクセルデータPixeldataを含む。EDSendofdisplaysetsegmentは、DDSのセグメントからはじまるサブタイトルデータの終了を示す。この実施の形態においては、DSSDisplaySignalingSegmentのセグメントがさらに定義される。このDSSのセグメントに、上述の表示制御情報が挿入される。図2に戻って、サブタイトルエンコーダ125は、以下の第1のタイプまたは第2のタイプで、第1および第2のプライベートデータストリーム第1および第2のサブタイトルデータストリームを生成する。第1のタイプでは、DDS、PCS、RCS、CDS、ODS、EDSのセグメントを含む第1のプライベートデータストリーム2Dストリームが生成される。また、この第1のタイプでは、DDS、DSS、EDSのセグメントを含む第2のプライベートデータストリーム3D拡張ストリームが生成される。第2のタイプでは、DDS、PCS、RCS、CDS、ODS、EDSのセグメントを含む第1のプライベートデータストリーム2Dストリームが生成される。また、この第2のタイプでは、DDS、PCS、RCS、DSS、CDS、ODS、EDSのセグメントを含む第2のプライベートデータストリーム3Dストリームが生成される。マルチプレクサ126は、ビデオエンコーダ119、オーディオエンコーダ120およびサブタイトルエンコーダ125からの各データストリームのPESパケットを多重化し、多重化データストリームとしてのトランスポートストリームTSを得る。すなわち、このトランスポートストリームTSは、PESのストリームとして、ビデオデータストリーム、オーディオデータストリーム、第1および第2のプライベートデータストリームを有するものとなる。図11は、第1のタイプにおいて、トランスポートストリームTSが有する、第1のプライベートデータストリーム2Dストリームおよび第2のプライベートデータストリーム3D拡張ストリームの構成を示している。図11aは、2Dストリームを示し、先頭にPESヘッダPESHeaderが配置され、それに続いて、DDS、PCS、RCS、CDS、ODS、EDSの各セグメントを含むPESペイロードPESPayloadが配置されている。また、図11bは、3D拡張ストリームを示し、先頭にPESヘッダPESHeaderが配置され、それに続いて、DDS、DSS、EDSの各セグメントを含むPESペイロードPESPayloadが配置されている。なお、この3D拡張ストリームは、図11cに示すように、PESペイロードPESPayloadにDDS、PCS、DSS、EDSの各セグメントを含む構成でもよい。その場合、PCSのPAGESTATEはNORMALCASEとなり、重畳データbitmapには変化がないことを示す。図12は、第2のタイプにおいて、トランスポートストリームTSが有する、第1のプライベートデータストリーム2Dストリームおよび第2のプライベートデータストリーム3Dストリームの構成を示している。図12aは、2Dストリームを示し、先頭にPESヘッダPESHeaderが配置され、それに続いて、DDS、PCS、RCS、CDS、ODS、EDSの各セグメントを含むPESペイロードPESPayloadが配置されている。また、図12bは、3Dストリームを示し、先頭にPESヘッダPESHeaderが配置され、それに続いて、DDS、PCS、RCS、DSS、CDS、ODS、EDSの各セグメントを含むPESペイロードPESPayloadが配置されている。マルチプレクサ126は、第1のタイプにおいて、2Dストリームおよび3D拡張ストリームに、受信側において重畳情報のデータによる表示と視差情報Disparityによるシフト制御とを同期させるための同期情報を含める。具体的には、マルチプレクサ126は、図13に示すように、2DストリームPES1:PES1と3D拡張フレームPES2:PES2のPESヘッダに挿入されるタイムスタンプPTS:PresentationTimeStampの値が関連付けされたものとする。図13は、2Dストリームと3D拡張ストリームのタイムスタンプPTS:PresentationTimeStampの値が同じ値、つまりPTS1に設定される例を示している。この場合、受信側デコード側においては、サブタイトルデータ重畳情報のデータによる字幕パターンの表示がPTS1から開始され、字幕パターンを3D表示とするための視差情報によるシフト制御もPTS1から開始される。なお、図13の例において、3D拡張ストリームには、PTS1のフレームの視差情報と、その後の所定フレームの視差情報との2個の視差情報が含まれていることを示している。受信側デコード側においては、それら2個のフレームの間の任意のフレームの視差情報を補間処理で求めてシフト制御をダイナミックに行い得ることが示されている。また、図13において、2Dストリームに含まれるConventionalSegmentsは、DDS、PCS、RCS、CDS、ODS、EDSの各セグメントを意味している。また、3D拡張ストリームに含まれるExtendedSegmentsは、DDS、DSS、EDS、あるいはDDS、PCS、DSS、EDSの各セグメント意味している。また、図13において、2DストリームのElementaryPIDはID1であり、3D拡張ストリームのElementaryPIDはID2である。これは、以下の図14、図15においても同様である。図14は、2Dストリームと3D拡張ストリームのタイムスタンプPTSの値が異なる値に設定される例を示している。すなわち、図13の例においては、2DストリームのタイムスタンプPTSの値はPTS1に設定され、3D拡張ストリームのタイムスタンプPTSの値はPTS1より後のPTS2に設定される例を示している。この場合、受信側デコード側においては、サブタイトルデータ重畳情報のデータによる字幕パターンの表示がPTS1から開始され、字幕パターンを3D表示とするための視差情報によるシフト制御がPTS2から開始される。なお、図14の例において、3D拡張ストリームには、PTS2のフレームの視差情報と、その後の複数のフレームの視差情報が含まれていることを示している。受信側デコード側においては、それら複数のフレームの間の任意のフレームの視差情報を補間処理で求めてシフト制御をダイナミックに行い得ることが示されている。図15は、図14と同様に、2Dストリームと3D拡張ストリームのタイムスタンプPTSの値が異なる値に設定される例であって、しかも、タイムスタンプPTSの値が異なる3D拡張ストリームが複数個存在する例を示している。すなわち、図15の例においては、2DストリームのタイムスタンプPTSの値はPTS1に設定されている。また、複数の3D拡張フレームのタイムスタンプPTSの値は、PTS1より後のPTS2,PTS3,PTS4,に設定されている。この場合、受信側デコード側においては、サブタイトルデータ重畳情報のデータによる字幕パターンの表示がPTS1から開始される。また、字幕パターンを3D表示とするための視差情報によるシフト制御がPTS2から開始され、その後に順次更新される。なお、図15の例において、複数個の3D拡張ストリームにはそれぞれタイムスタンプで示されるフレームの視差情報のみが含まれており、受信側デコード側においては、それら複数のフレームの間の任意のフレームの視差情報を補間処理で求めてシフト制御をダイナミックに行い得ることが示されている。また、マルチプレクサ126は、上述したように、各データストリームのPESパケットを多重化し、多重化データストリームとしてのトランスポートストリームTSを得る。その際、マルチプレクサ126は、上述の2DストリームのPESパケットを、このPESパケットに含まれるPTS表示タイムスタンプのタイミングより所定期間だけ前に受信側のデコーダバッファに到達するように、多重化する。同様に、マルチプレクサ126は、上述の3D拡張ストリームあるいは3DストリームのPESパケットを、このPESパケットに含まれるPTSより所定期間だけ前に受信側のデコーダバッファに到達するように、多重化する。ここで、PESパケットの到達は、PESペイロードの最後尾の部分の到達を意味する。このことは、以下においても同様である。図16は、第1のタイプの場合で、トランスポートストリームTSにおける2Dストリームおよび3D拡張ストリームのPESパケットの多重例を示している。この例は、送信コンテンツが映画などの録画コンテンツである上述の再生モードを想定しており、視差情報のエンコードや多重化がオフラインで行われる場合を示している。この図16において、1stPESとしてのPES1は2Dストリーム図11a参照のPESパケットであり、トランスポートストリームTS内ではP11で表されている。また、2ndPESとしてのPES2は3D拡張ストリーム図11b参照のPESパケットであり、トランスポートストリームTS内ではP21で表されている。トランスポートストリームTSには、PCRが埋め込まれている。このPCRにより、エンコーダのクロックに、受信側のデコーダのクロックが同期される。2DストリームのPESパケットP11のPTSで示されるタイミングはPTS1であり、受信側では、このタイミングから字幕パターンの表示が開始される。また、3D拡張ストリームのPESパケットP21のPTSで示されるタイミングはPTS1であり、受信側では、字幕パターンを3D表示とするための視差情報によるシフト制御もPTS1から開始される。3D拡張ストリームのPESパケットP21には、PTS1のフレームをはじめとして4箇所のフレームの位置視差プロット位置の視差情報が含まれている。受信側では、各視差プロット位置の間の任意のフレーム間隔、例えば1フレーム間隔の視差情報を、補間処理で求めるようにされる。なお、以下の説明では、説明を簡単にするため、受信側では1フレーム間隔の視差情報を得るように説明している。受信側では、2DストリームのPESパケットP11のデコードおよび表示準備がΔ0の期間で行われるものとする。そのため、マルチプレクサ126は、このPESパケットP11を、少なくとも、タイミング1PTS1よりΔ0だけ前に受信側のデコーダバッファに到達するように、トランスポートストリームTSに、多重化する。また、受信側では、3D拡張ストリームのPESパケットP21のデコードおよび各視差プロット位置間の各フレームの視差情報の補間処理がΔ1の期間で行われるものとする。そのため、マルチプレクサ126は、このPESパケットP21を、少なくとも、タイミング1PTS1よりΔ1だけ前に受信側のデコーダバッファに到達するように、トランスポートストリームTSに、多重化する。受信側では、3D拡張ストリームのPESパケットP21がデコードされて4箇所の視差プロット位置の視差情報が取得され、さらに、各視差プロット位置の間の各フレームの視差情報が補間処理で求められる。受信側では、字幕パターンの表示期間において、字幕パターンが、フレーム毎に、上述したように取得された視差情報に基づいてシフト調整され、左眼画像、右眼画像に重畳される。この場合、左眼画像、右眼画像に重畳される字幕パターンは、視差情報に基づいて、互いに反対方向となるシフト調整されて、視差が付与される。これにより、受信側では映画などの録画コンテンツの3D画像に対して字幕パターンの3D表示が良好に行われる。図17は、第1のタイプの場合で、トランスポートストリームTSにおける2Dストリームおよび3D拡張ストリームのPESパケットの多重例を示している。この例は、送信コンテンツがスポーツ、コンサートなどのライブコンテンツである上述のライブモードを想定しており、視差情報のエンコーダおよび多重化がリアルタイムで行われる場合を示している。この図17において、1stPESとしてのPES1は2Dストリーム図11a参照のPESパケットであり、トランスポートストリームTS内ではP11で表されている。また、2ndPESとしてのPES2、PES2、PES2はそれぞれ3D拡張ストリーム図11b参照のPESパケットであり、トランスポートストリームTS内ではP21、P22、P23で表されている。トランスポートストリームTSには、PCRが埋め込まれている。このPCRにより、エンコーダのクロックに、受信側のデコーダのクロックが同期される。2DストリームのPESパケットP11のPTSで示されるタイミングはPTS1であり、受信側では、このタイミングから字幕パターンの表示が開始される。また、3D拡張ストリームのPESパケットP21のPTSで示されるタイミングはPTS1であり、受信側では、字幕パターンを3D表示とするための視差情報によるシフト制御もPTS1から開始される。3D拡張ストリームのPESパケットP21には、PTS2のフレームの位置視差プロット位置の視差情報が含まれている。また、3D拡張ストリームのPESパケットP22には、そのPTSで示されるPTS2のフレームの位置視差プロット位置の視差情報が含まれている。さらに、3D拡張ストリームのPESパケットP23には、そのPTSで示されるPTS3のフレームの位置視差プロット位置の視差情報が含まれている。受信側では、各視差プロット位置の間の各フレームの視差情報を、補間処理で求めるようにされる。受信側では、2DストリームのPESパケットP11のデコードおよび表示準備がΔ0の期間で行われるものとする。そのため、マルチプレクサ126は、このPESパケットP11を、少なくとも、タイミング1PTS1よりΔ0だけ前に受信側のデコーダバッファに到達するように、多重化する。また、受信側では、3D拡張ストリームのPESパケットP21のデコードがΔ1の期間で行われるものとする。そのため、マルチプレクサ126は、このPESパケットP21を、少なくとも、タイミング1PTS1よりΔ1だけ前に受信側のデコーダバッファに到達するように、多重化する。また、受信側では、タイミング2PTS2の視差情報を含む3D拡張ストリームP22のデコードを、タイミング1PTS1の次の補間フレームよりも前に行う必要がある。その理由は、受信側でタイミングAの視差情報を補間処理で生成するためには、タイミング1PTS1の視差情報の他に、タイミング2PTS2の視差情報が必要だからである。受信側では、3D拡張ストリームのPESパケットP22のデコードと、タイミング1PTS1からタイミング2PTS2までの間の各フレームの視差情報の補間処理とがαの期間で行われるものとする。そのため、マルチプレクサ126は、このPESパケットP22を、少なくとも、タイミングAよりαだけ、従ってタイミング2PTS2よりΔ2だけ前に受信側のデコーダバッファに到達するように、多重化する。タイミング3PTS3の視差情報を含む3D拡張ストリームのPESパケットP23に関しても同様である。すなわち、マルチプレクサ126は、このPESパケットP23を、少なくとも、タイミングBよりβだけ、従ってタイミング3PTS3よりΔ3だけ前に受信側のデコーダバッファに到達するように、多重化する。ここで、タイミングBは、タイミング2PTS2の次の補間フレームである。受信側では、3D拡張ストリームのPESパケットP21、P22、P23が順次デコードされ、3箇所の視差プロット位置の視差情報が順次取得される。そして、次の視差プロット位置の視差情報が取得される毎に、その前に取得されている視差情報との間で2つの視差プロット位置の間の各フレームの視差情報が補間処理で求められる。受信側では、字幕パターンの表示期間において、字幕パターンが、フレーム毎に、上述したように取得された視差情報に基づいてシフト調整され、左眼画像、右眼画像に重畳される。この場合、左眼画像、右眼画像に重畳される字幕パターンは、視差情報に基づいて、互いに反対方向となるシフト調整されて、視差が付与される。これにより、受信側では、スポーツ、コンサートなどのライブコンテンツの3D画像に対して、字幕パターンの3D表示が良好に行われる。図18は、第2のタイプの場合で、トランスポートストリームTSにおける2Dストリームおよび3DストリームのPESパケットの多重例を示している。この例は、送信コンテンツが映画などの録画コンテンツである上述の再生モードを想定しており、視差情報のエンコードや多重化がオフラインで行われる場合を示している。この図18において、1stPESとしてのPES1は2Dストリーム図12a参照のPESパケットであり、トランスポートストリームTS内ではP11で表されている。また、2ndPESとしてのPES2は3Dストリーム図12b参照のPESパケットであり、トランスポートストリームTS内ではP21で表されている。トランスポートストリームTSには、PCRが埋め込まれている。このPCRにより、エンコーダのクロックに、受信側のデコーダのクロックが同期される。3DストリームのPESパケットP21のPTSで示されるタイミングはPTS1であり、受信側では、このタイミングから字幕パターンの表示および字幕パターンを3D表示とするための視差情報によるシフト制御が開始される。3DストリームのPESパケットP21には、PTS1のフレームをはじめとして4箇所のフレームの位置視差プロット位置の視差情報が含まれている。受信側では、各視差プロット位置の間の各フレームの視差情報を、補間処理で求めるようにされる。受信側では、3DストリームのPESパケットP21のデコード、表示準備およびおよび各視差プロット位置間の各フレームの視差情報の補間処理がΔ1の期間で行われるものとする。そのため、マルチプレクサ126は、このPESパケットP21を、少なくとも、タイミング1PTS1よりΔ1だけ前に受信側のデコーダバッファに到達するように、多重化する。受信側では、3D拡張ストリームのPESパケットP21がデコードされて4箇所の視差プロット位置の視差情報が取得され、さらに、各視差プロット位置の間の各フレームの視差情報が補間処理で求められる。受信側では、字幕パターンの表示期間において、字幕パターンが、フレーム毎に、上述したように取得された視差情報に基づいてシフト調整され、左眼画像、右眼画像に重畳される。この場合、左眼画像、右眼画像に重畳される字幕パターンは、視差情報に基づいて、互いに反対方向となるシフト調整されて、視差が付与される。これにより、受信側では映画などの録画コンテンツの3D画像に対して字幕パターンの3D表示が良好に行われる。図19は、第2のタイプの場合で、トランスポートストリームTSにおける2Dストリームおよび3DストリームのPESパケットの多重例を示している。この例は、送信コンテンツがスポーツ、コンサートなどのライブコンテンツである上述のライブモードを想定しており、視差情報のエンコーダおよび多重化がリアルタイムで行われる場合を示している。この図19において、1stPESとしてのPES1は2Dストリーム図12a参照のPESパケットであり、トランスポートストリームTS内ではP11で表されている。また、2ndPESとしてのPES2、PES2、PES2はそれぞれ3Dストリーム図12b参照のPESパケットであり、トランスポートストリームTS内ではP21、P22、P23で表されている。なお、字幕パターンに変更がない場合には、PES2、PES2はそれぞれ3D拡張ストリームであってもよい。トランスポートストリームTSには、PCRが埋め込まれている。このPCRにより、エンコーダのクロックに、受信側のデコーダのクロックが同期される。3DストリームのPESパケットP21のPTSで示されるタイミングはPTS1であり、受信側では、このタイミングから字幕パターンの表示および字幕パターンを3D表示とするための視差情報によるシフト制御が開始される。3DストリームのPESパケットP21には、PTS1のフレームの位置視差プロット位置の視差情報が含まれている。また、3Dストリームあるいは3D拡張ストリームのPESパケットP22には、そのPTSで示されるPTS2のフレームの位置視差プロット位置の視差情報が含まれている。さらに、3Dストリームあるいは3D拡張ストリームのPESパケットP23には、そのPTSで示されるPTS3のフレームの位置視差プロット位置の視差情報が含まれている。受信側では、各視差プロット位置の間の各フレームの視差情報を、補間処理で求めるようにされる。受信側では、3DストリームのPESパケットP21のデコード、表示準備および各視差プロット位置間の各フレームの視差情報の補間処理がΔ1の期間で行われるものとする。そのため、マルチプレクサ126は、このPESパケットP21を、少なくとも、タイミング1PTS1よりΔ1だけ前に受信側のデコーダバッファに到達するように、多重化する。また、受信側では、タイミング2PTS2の視差情報を含む3Dストリームあるいは3D拡張ストリームのPESパケットP22のデコードを、タイミング1PTS1の次の補間フレームよりも前に行う必要がある。その理由は、受信側でタイミングAの視差情報を補間処理で生成するためには、タイミング1PTS1の視差情報の他に、タイミング2PTS2の視差情報が必要だからである。受信側では、3D拡張ストリームのPESパケットP22のデコードと、タイミング1PTS1からタイミング2PTS2までの間の各フレームの視差情報の補間処理とがαの期間で行われるものとする。そのため、マルチプレクサ126は、このPESパケットP22を、少なくとも、タイミングAよりαだけ、従ってタイミング2PTS2よりΔ2だけ前に受信側のデコーダバッファに到達するように、多重化する。タイミング3PTS3の視差情報を含む3D拡張ストリームのPESパケットP23に関しても同様である。すなわち、マルチプレクサ126は、このPESパケットP23を、少なくとも、タイミングBよりβだけ、従ってタイミング3PTS3よりΔ3だけ前に受信側のデコーダバッファに到達するように、多重化する。ここで、タイミングBは、タイミング2PTS2の次のフレームである。受信側では、3DストリームのPESパケットP21と、3Dストリームあるいは3D拡張ストリームのPESパケットP22、P23が順次デコードされ、3箇所の視差プロット位置の視差情報が順次取得される。そして、次の視差プロット位置の視差情報が取得される毎に、その前に取得されている視差情報との間で2つの視差プロット位置の間の各フレームの視差情報が補間処理で求められる。受信側では、字幕パターンの表示期間において、字幕パターンが、フレーム毎に、上述したように取得された視差情報に基づいてシフト調整され、左眼画像、右眼画像に重畳される。この場合、左眼画像、右眼画像に重畳される字幕パターンは、視差情報に基づいて、互いに反対方向となるシフト調整されて、視差が付与される。これにより、受信側では、スポーツ、コンサートなどのライブコンテンツの3D画像に対して、字幕パターンの3D表示が良好に行われる。なお、上述の図17、図19に示す例においては、3D拡張ストリーム図11b参照あるいは3Dストリーム図12b参照のPESパケットには、1個の視差情報が含まれているものである。すなわち、このPESパケットは、1箇所の視差プロット位置の視差情報のみを持つDSS以下、SDDSS:SingleDisparityDSSというを持っている。図20は、視差情報の更新のために、上述のSDDSSを持つPESパケットを毎フレーム送信する例、つまりSDDSSが連鎖する場合の例を示している。マルチプレクサ126は、PESパケットP21を、上述したように、受信側でのデコード等に必要とする期間を考慮して、トランスポートストリームTSに、少なくとも、PTS1よりΔ1だけ前に受信側のデコーダバッファに到達するように、多重化する。同様に、マルチプレクサ126は、パケットP22、P23、を、トランスポートストリームTSに、それぞれ、PTS2,PTS3,よりΔ2,Δ3,だけ前に受信側のデコーダバッファに到達するように、多重化する。このようにSDDSSが連鎖する場合、受信側のデコーダは、毎フレーム、デコードバッファからPESパケットの読み出しを行ってデコードすることが必要となり、読み出し負荷が大きくなる。そこで、PESパケットに、複数箇所の視差プロット位置の視差情報を持つDSS以下、MDDSS:MultipleDisparityDSSというを持たせ、PESパケットの出現レートを低減し、受信側のデコーダの読み出し負荷を軽減することも考えられる。図21は、視差情報の更新のために、上述のMDDSSを持つPESパケットを送信して、PESパケットの出現レートを低減する場合の例を示している。PTSのタイミングがPTS1であるPESパケットP21は、PTS1のフレームの視差情報実線○印で図示と、それに続く2フレームの視差情報破線○印で示すの、合計3フレームの視差情報を含むMDDSSを持っている。マルチプレクサ126は、このPESパケットP21を、受信側でのデコード等に必要とする期間を考慮して、トランスポートストリームTSに、少なくとも、PTS1よりΔ1だけ前に受信側のデコーダバッファに到達するように、多重化する。同様に、PTSのタイミングがPTS2,PTS3,であるPESパケットP22、P23、も、それぞれ、PTS2,PTS3,のフレームの視差情報実線○印で図示と、それに続く2フレームの視差情報破線○印で示すの、合計3フレームの視差情報を含むMDDSSを持っている。マルチプレクサ126は、これらのPESパケットP22、P23、を、トランスポートストリームTSに、少なくとも、PTS2,PTS3,よりΔ2,Δ3,だけ前に受信側のデコーダバッファに到達するように、多重化する。なお、図21の例では、P21、P22、P23、のPESパケットは、それぞれ、連続する3フレームの視差情報を含むMDDSSを持っている。しかし、これらのPESパケットは、リアルタイム系の遅延が許される範囲で、所定数のフレーム毎の視差情報を複数個含むMDDSSを持つことができる。この場合、MDDSSに複数フレーム毎の視差情報が複数個含まれる場合、受信側において補間処理により各フレームの視差情報を得ることができる。図22aは、第1のタイプにおいて、トランスポートストリームTSに多重化される2Dストリームおよび3D拡張ストリームのPESパケットの構造例を示している。図22bは、SDDSSが連鎖する場合であって、トランスポートストリームTSに多重化される3D拡張ストリームのPESパケットの出現頻度が高いことを示している。図22cは、MDDSSを持つPESパケットを用いることで、トランスポートストリームTSに多重化される3D拡張ストリームのPESパケットの出現頻度が低くなることを示している。図23は、MDDSSを持つPESパケットをトランスポートストリームTSに多重化する場合の具体例を示している。PTSのタイミングがPTS1であるPESパケットP21は、PTS1のフレームとそれに続く3フレームの視差情報D10,D11,D12,D13を含むMDDSSを持っている。また、PTSのタイミングがPTS2であるPESパケットP22は、PTS2のフレームとそれに続く3フレームの視差情報D20,D21,D22,D23を含むMDDSSを持っている。この場合、PESパケットP21が持つMDDSSの最後のフレームの視差情報D13と、PESパケットP22が持つMDDSSの最初のフレームの視差情報D20とが重複される。詳細説明は省略するが、PTSのタイミングがPTS3であるPESパケットP23も、上述したPESパケットP22と同様である。上述のように、MDDSSが1フレーム毎の視差情報を持つ場合、後述するDSSのシンタクスのdisparityshiftupdatesequenceにおいて、intervaldurationの値はビデオのフレーム周期と同じ値とされ、intervalcountの値は1とされる。このことは、後述する図24の具体例においても同様である。なお、intervalcountの値が2以上の場合、図23のように、disparityshiftupdatesequenceの最初と最後の視差情報が同一PTSを共有することで、前後のDSSの補間データの接続性が確保される。例えば、図23の具体例において、視差情報D13と視差情報D20、並びに、視差情報D23と視差情報D30は、それぞれ、補間の目的で、同一PTSを共有するようにエンコードされる。図23の具体例において、垂直方向に延びる破線は、補間タイミングの一例を示している。上述したように、図23の例においては、あるPESパケットが持つMDDSSの最後のフレームの視差情報は、その次のPESパケットが持つMDDSSの最初のフレームの視差情報と重複されている。このような構造を採ることで、MDDSSに複数フレーム毎の視差情報が含まれる場合にあって、受信側におけるフレーム毎の視差情報の補間処理を、あるPESパケットのデコード結果で得られる視差情報だけで行うことが可能となる。図24は、MDDSSを持つPESパケットをトランスポートストリームTSに多重化する場合の他の具体例を示している。PTSのタイミングがPTS1であるPESパケットP21は、PTS1のフレームとそれに続く2フレームの視差情報D10,D11,D12を含むMDDSSを持っている。また、PTSのタイミングがPTS2であるPESパケットP22は、PTS2のフレームとそれに続く2フレームの視差情報D20,D21,D22を含むMDDSSを持っている。この場合、図23の例とは異なり、PESパケットP21が持つMDDSSの最後のフレームの視差情報D12と、PESパケットP22が持つMDDSSの最初のフレームの視差情報D20とは重複しない。これは、D12とD20との間に補間処理がないためである。詳細説明は省略するが、PTSのタイミングがPTS3であるPESパケットP23も、上述したPESパケットP22と同様である。また、マルチプレクサ126は、視差情報が含まれる3D拡張ストリーム図11b参照のPESパケット、あるいは3Dストリーム図12b参照のPESパケットのデコードタイムスタンプDTSのタイミングを、以下のように設定することも可能である。PESパケットにおいては、ヘッダPESpacketheaderのPTSDTSflagsを、11とすることで、表示タイミングだけでなく、デコードタイミングを規定することが可能となっている。因みに、PTSDTSflags11はPTSとDTSを符号化することを示す。PTSDTSflags10はPTSのみを符号化することを示し、PTSDTSflags00はPTSもDTSも符号化しないことを示し、さらに、PTSDTSflags01は禁止されている。なお、後述する図51のビットストリーム処理部201において、PTSはピクセルバッファ225からの読み出しのタイミング、DTSは符号化データバッファ223からの読み出しのタイミングになる。マルチプレクサ126は、視差情報が含まれる3D拡張ストリームあるいは3DストリームのPESパケットのDTSのタイミングを、このPESパケットに含まれるPTSのタイミングよりも所定期間だけ早く設定する。この場合、このPESパケットからの視差情報の取得が、それを使用すべきタイミングに間に合うように、DTSのタイミングが設定される。図25を参照して、DTSの具体的なタイミング設定例について説明する。この図25は、上述の図17あるいは図19に対応した図である。PTSのタイミングがタイミング1PTS1である3D拡張ストリームあるいは3DストリームのPESパケットP21は、上述したように、少なくとも、タイミング1よりΔ1だけ前に受信側のデコーダバッファに到達するように、多重化される。マルチプレクサ126は、このPESパケットP21のDTSのタイミングを、タイミング1よりΔ1だけ前のタイミング1′DTS1に設定する。また、PTSのタイミングがタイミング2PTS2であるPESパケットP22は、上述したように、少なくとも、タイミングAよりαだけ、従ってタイミング2よりΔ2だけ前に受信側のデコーダバッファに到達するように、多重化される。マルチプレクサ126は、このPESパケットP22のDTSのタイミングを、タイミング2よりΔ2だけ前のタイミング2′DTS2に設定する。同様に、PTSのタイミングがタイミング3PTS3であるPESパケットP22は、上述したように、少なくとも、タイミングBよりβだけ、従ってタイミング3よりΔ3だけ前に受信側のデコーダバッファに到達するように、多重化される。マルチプレクサ126は、このPESパケットP23のDTSのタイミングを、タイミング3よりΔ3だけ前のタイミング2′DTS2に設定する。図2に示す送信データ生成部110の動作を簡単に説明する。カメラ111Lでは、左眼画像が撮影される。このカメラ111Lで得られる立体画像表示のための左眼画像データはビデオフレーミング部112に供給される。また、カメラ111Rでは、右眼画像が撮影される。このカメラ111Rで得られる立体画像表示のための右眼画像データはビデオフレーミング部112に供給される。ビデオフレーミング部112では、左眼画像データおよび右眼画像データが、伝送方式に応じた状態に加工処理されて、立体画像データが得られる図4a~c参照。ビデオフレーミング部112で得られた立体画像データは、切り換えスイッチ116のa側の固定端子に供給される。また、データ取り出し部115で得られた立体画像データは、切り換えスイッチ116のb側の固定端子に供給される。ライブモードでは、切り換えスイッチ116はa側に接続され、この切り換えスイッチ116からはビデオフレーミング部112で得られた立体画像データが取り出される。再生モードでは、切り換えスイッチ116はb側に接続され、この切り換えスイッチ116からはデータ取り出し部115から出力された立体画像データが取り出される。切り換えスイッチ116で取り出された立体画像データは、ビデオエンコーダ119に供給される。このビデオエンコーダ119では、その立体画像データに対してMPEG4-AVC、MPEG2、VC-1等の符号化が施され、符号化ビデオデータを含むビデオデータストリームビデオエレメンタリストリームが生成される。このビデオデータストリームはマルチプレクサ126に供給される。マイクロホン114で得られた音声データは、切り換えスイッチ118のa側の固定端子に供給される。また、データ取り出し部115で得られた音声データは、切り換えスイッチ118のb側の固定端子に供給される。ライブモードでは、切り換えスイッチ118はa側に接続され、この切り換えスイッチ118からはマイクロホン114で得られた音声データが取り出される。再生モードでは、切り換えスイッチ118はb側に接続され、この切り換えスイッチ118からはデータ取り出し部115から出力された音声データが取り出される。切り換えスイッチ118で取り出された音声データはオーディオエンコーダ120に供給される。このオーディオエンコーダ120では、音声データに対して、MPEG-2AudioAAC、あるいは、MPEG-4AAC等の符号化が施され、符号化オーディオデータを含むオーディオデータストリームオーディオエレメンタリストリームが生成される。このオーディオデータストリームはマルチプレクサ126に供給される。カメラ111L,111Rで得られた左眼画像データ、右眼画像データは、ビデオフレーミング部112を通じて、視差ベクトル検出部113に供給される。この視差ベクトル検出部113では、左眼画像データおよび右眼画像データに基づき、ピクセル画素毎の視差ベクトル、あるいは画素のグループ毎の視差ベクトルが検出される。この視差ベクトルは、切換スイッチ117のa側の固定端子に供給される。また、データ取り出し部115から出力されたピクセル画素毎の視差ベクトルは、切り換えスイッチ117のb側の固定端子に供給される。ライブモードでは、切り換えスイッチ117はa側に接続され、この切り換えスイッチ117からは視差ベクトル検出部113で得られたピクセル画素毎の視差ベクトル、あるいは画素のグループ毎の視差ベクトルが検出される。が取り出される。再生モードでは、切り換えスイッチ117はb側に接続され、この切り換えスイッチ117からはデータ取り出し部115から出力されたピクセル画素毎の視差ベクトル、あるいは画素のグループ毎の視差ベクトルが取り出される。サブタイトル発生部121では、DVBの字幕データであるサブタイトルデータ二次元画像用が発生される。このサブタイトルデータは、視差情報作成部122およびサブタイトル処理部123に供給される。切り換えスイッチ117で取り出されたピクセル画素毎の視差ベクトル、あるいは画素のグループ毎の視差ベクトルは、視差情報作成部122に供給される。この視差情報作成部122では、ピクセル毎の視差ベクトル、あるいは画素のグループ毎の視差ベクトルに対してダウンサイジング処理が施され、各階層の視差情報が生成される。この視差情報は、サブタイトル処理部123に供給される。サブタイトル処理部123では、サブタイトル発生部121で発生されたサブタイトルデータに基づいて、例えば、リージョン内にサブリージョンの領域が定義される。また、サブタイトル処理部123では、視差情報作成部122で作成された視差情報に基づいて、左眼画像および右眼画像における重畳情報の表示位置をシフト調整するための視差情報が設定される。この場合、視差情報は、サブリージョンまたはリージョン毎に、あるいはページ毎に設定される。サブタイトル処理部123から出力されるサブタイトルデータおよび表示制御情報は、サブタイトルエンコーダ125に供給される。表示制御情報には、サブリージョン領域の領域情報、視差情報などが含まれている。このサブタイトルエンコーダ125では、第1のタイプあるいは第2のタイプにより、第1および第2の2つのプライベートデータストリームエレメンタリストリームが生成される。第1のタイプでは、DDS、PCS、RCS、CDS、ODS、EDSの各セグメントを含む第1のプライベートデータストリーム2Dストリームが生成される。さらに、この第1のタイプでは、DDS、DSS、EDS、あるいは、DDS、PCS、DSS、EDSの各セグメントを含む第2のプライベートデータストリーム3D拡張ストリームが生成される。第2のタイプでは、DDS、PCS、RCS、CDS、ODS、EDSの各セグメントを含む第1のプライベートデータストリーム2Dストリームが生成される。さらに、この第2のタイプでは、DDS、PCS、RCS、DSS、CDS、ODS、EDSの各セグメントを含む第2のプライベートデータストリーム3Dストリームが生成される。上述したように、DSSのセグメントは、表示制御情報を含むセグメントである。マルチプレクサ126には、上述したように、ビデオエンコーダ119、オーディオエンコーダ120およびサブタイトルエンコーダ125からの各データストリームが供給される。そして、このマルチプレクサ126では、各データストリームがPESパケット化されて多重され、多重化データストリームとしてのトランスポートストリームTSが得られる。このトランスポートストリームTSは、PESストリームとして、ビデオデータストリーム、オーディオデータストリームの他に、第1および第2のプライベートデータストリームを有するものとなる。図26は、第1のタイプにおけるトランスポートストリームTSの構成例を示している。なお、この図においては、図面の簡単化のために、ビデオおよびオーディオに関係する部分の図示を省略している。このトランスポートストリームTSには、各エレメンタリストリームをパケット化して得られたPESパケットが含まれている。この構成例では、2Dストリーム第1のプライベートデータストリームのPESパケットSubtitlePES1と、3D拡張ストリーム第2のプライベートデータストリームのPESパケットSubtitlePES2が含まれている。2DストリームPESストリームには、DDS、PCS、RCS、CDS、ODS、EDSの各セグメントが含まれている。3D拡張ストリームPESストリームには、DDS、DSS、EDS、あるいは、DDS、PCS、DSS、EDSの各セグメントが含まれている。この場合、2Dストリーム、3D拡張ストリームのElementaryPIDがPID1,PID2のように異なるように設定され、これらのストリームが別のストリームであることが示される。図27は、PCSpagecompositionsegmentの構造を示している。このPCSのセグメントタイプは、図28に示すように、0x10である。regionhorizontaladdress、regionverticaladdressは、リージョンregionの開始位置を示す。なお、DDS、RCS、ODSなどのその他のセグメントについては、その構造の図示は省略する。図28に示すように、DDSのセグメントタイプは0x14であり、RCSのセグメントタイプは0x11であり、CDSのセグメントタイプは0x12であり、ODSのセグメントタイプは0x13であり、EDSのセグメントタイプは0x80である。さらに、図28に示すように、DSSのセグメントタイプは、0x15である。このDSSのセグメントの詳細構造については、後述する。図26に戻って、また、トランスポートストリームTSには、PSIProgramSpecificInformationとして、PMTProgramMapTableが含まれている。このPSIは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。また、トランスポートストリームには、イベント単位の管理を行うSIServicedInformationとしてのEITが含まれている。このEITには、番組単位のメタデータが記載される。PMTの配下に、サブタイトルの内容を示すサブタイトルデスクリプタSubtitledescriptorが挿入されている。また、EITの配下に、ストリーム毎に、配信内容を示すコンポーネントデスクリプタComponentDescriptorが挿入されている。図29に示すように、コンポーネントデスクリプタのstreamcontentがサブタイトルsubtitleを示す場合、componenttypeが0x15あるいは0x25であるときは3D用サブタイトルを示し、その他の値のときは2D用サブタイトルを示す。図26に示すように、サブタイトルデスクリプタのsubtitlingtypeは、componenttypeと同じ値に設定される。また、このPMTには、サブタイトルエレメンタリストリームに関連した情報を持つサブタイトルエレメンタリループが存在する。このサブタイトルエレメンタリループには、ストリーム毎に、パケット識別子PID等の情報が配置されると共に、図示していないが、そのエレメンタリストリームに関連する情報を記述する記述子デスクリプタも配置される。第1のタイプの場合、3D拡張ストリームに含まれる各セグメントが2Dストリームの各セグメントに関連することを示すように、サブタイトルデスクリプタのcompositionpageidが設定される。すなわち、3D拡張ストリームと2Dストリームとで、このcompositionpageidは、同じ値図示では0xXXXXを共有するように設定される。また、この第1のタイプの場合、3D拡張ストリームに含まれる各セグメントが2Dストリームの各セグメントに関連することを示すように、双方のストリームで、関連する各セグメントのpageidが同じ値を有するようにエンコードされる。図30は、第2のタイプにおけるトランスポートストリームTSの構成例を示している。なお、この図においても、図面の簡単化のために、ビデオおよびオーディオに関係する部分の図示を省略している。このトランスポートストリームTSには、各エレメンタリストリームをパケット化して得られたPESパケットが含まれている。この構成例では、2Dストリーム第1のプライベートデータストリームのPESパケットSubtitlePES1と、3Dストリーム第2のプライベートデータストリームのPESパケットSubtitlePES2が含まれている。2DストリームPESストリームには、DDS、PCS、RCS、CDS、ODS、EDSの各セグメントが含まれている。3DストリームPESストリームには、DDS、PCS、RCS、DSS、CDS、ODS、EDSの各セグメントが含まれている。第2のタイプの場合、3Dストリームは、2DストリームにDSSのセグメントが挿入された構成となっている。すなわち、この3Dストリームには、3D対応表示するために必要なすべての情報が含まれている。この場合、2Dストリーム、3DストリームのElementaryPIDがPID1,PID2のように異なるように設定され、これらのストリームが別のストリームであることが示される。また、この第2のタイプの場合、3Dストリームと2Dストリームとで、サブタイトルデスクリプタのcompositionpageidは、別の値図示では0xXXXXと0xYYYYが設定される。[視差情報の更新]上述したように、第1のタイプでは3D拡張ストリームにより視差情報が送信され、第2のタイプでは3Dストリームにより視差情報が送信される。この視差情報の更新について説明する。図31、図32は、インターバル期間Intervalperiodを用いた視差情報の更新例を示している。図31は、インターバル期間Intervalperiodが固定で、しかも、その期間が更新期間と等しい場合を示している。すなわち、A-B、B-C、C-D、の各更新期間は、1個のインターバル期間からなっている。図32は、一般的なもので、インターバル期間Intervalperiodを短期間例えば、フレーム周期でもよいとした場合の、視差情報の更新例を示している。この場合、インターバル期間の個数は、各更新期間において、M,N,P,Q,Rとなる。なお、図31、図32において、Aは字幕表示期間の開始フレーム開始時点を示し、B~Fは、その後の更新フレーム更新時点を示している。字幕表示期間内で順次更新される視差情報を受信側セットトップボックス200などに送る場合、受信側においては、更新期間毎の視差情報に補間処理を施すことで、任意のフレーム間隔、例えば、1フレーム間隔の視差情報を生成して使用することが可能である。図33は、第2のタイプにおける3Dストリームの構成例を示している。図33aは、DSSのセグメントが1個だけ挿入される例を示している。PESヘッダには、時間情報PTSが含まれている。また、PESペイロードデータとして、DDS、PCS、RCS、DSS、CDS、ODS、EDSの各セグメントが含まれている。これらは、サブタイトル表示期間の開始前に一括送信される。この1個のDSSのセグメントには、字幕表示期間で順次更新される複数の視差情報が含められる。なお、1個のDSSに字幕表示期間で順次更新される複数の視差情報を含めずに、この複数の視差情報を受信側セットトップボックス200などに送ることもできる。この場合、3Dストリームに、更新を行うタイミング毎にDSSのセグメントが挿入される。図33bは、その場合の3Dストリームの構成例を示している。PESペイロードデータとして、最初に、DDS、PCS、RCS、CDS、ODS、EDSの各セグメントが送信される。その後に、更新を行うタイミングで、視差情報更新のための所定個数のDSSセグメントが送信される。最後には、DSSセグメントと共にEDSセグメントも送信される。なお、図33は第2のタイプにおける3Dストリームの構成例を示したが、第1のタイプにおける3D拡張ストリームにおいても、同様の構成が可能である。すなわち、3D拡張フレームに1個のDSSのセグメントが挿入され、このDSSのセグメントに字幕表示期間で順次更新される複数の視差情報を含めることができる。あるいは、3D拡張フレームに、視差情報の更新を行うタイミング毎に、DSSのセグメントが挿入される。図34は、上述したようにDSSのセグメントを順次送信する場合における、視差情報の更新例を示している。なお、図34において、Aは字幕表示期間の開始フレーム開始時点を示し、B~Fは、その後の更新フレーム更新時点を示している。DSSセグメントを順次送信して、字幕表示期間内で順次更新される視差情報を受信側セットトップボックス200などに送る場合も、受信側においては、上述したと同様の処理が可能である。すなわち、この場合も、受信側においては、更新期間毎の視差情報に補間処理を施すことで、任意のフレーム間隔、例えば、1フレーム間隔の視差情報を生成して使用することが可能である。図35は、上述の図32と同様の、視差情報disparityの更新例を示している。更新フレーム間隔は、単位期間としてのインターバル期間ID:IntervalDurationの倍数で表される。例えば、更新フレーム間隔DivisionPeriod1はIDMで表され、更新フレーム間隔DivisionPeriod2はIDNで表され、以下の各更新フレーム間隔も同様に表される。図35に示す視差情報の更新例においては、更新フレーム間隔は固定ではなく、視差情報カーブに応じた更新フレーム間隔の設定が行われている。また、この視差情報disparityの更新例において、受信側では、字幕表示期間の開始フレーム開始時刻T10は、この視差情報が含まれるPESストリームのヘッダに挿入されているPTSPresentationTimeStampで与えられる。そして、受信側では、視差情報の各更新時刻が、各更新フレーム間隔の情報であるインターバル期間の情報単位期間の情報およびそのインターバル期間の個数の情報に基づいて求められる。この場合、字幕表示期間の開始フレーム開始時刻T10から、以下の1式に基づいて、順次各更新時刻が求められる。この1式において、intervalcountはインターバル期間の個数を示し、図35におけるM,N,P,Q,R,Sに相当する値である。また、この1式において、intervaltimeは、図35におけるインターバル期間IDに相当する値である。TmnTm1例えば、図35に示す更新例においては、この1式に基づいて、各更新時刻が以下のように求められる。すなわち、更新時刻T11は、開始時刻T10と、インターバル期間IDと、個数Mが用いられて、T11T10のように求められる。また、更新時刻T12は、更新時刻T11と、インターバル期間IDと、個数Nが用いられて、T12T11のように求められる。以降の各更新時刻も同様に求められる。図35に示す更新例において、受信側では、字幕表示期間内で順次更新される視差情報に関して、補間処理が施され、字幕表示期間内における任意のフレーム間隔、例えば、1フレーム間隔の視差情報が生成されて使用される。例えば、この補間処理として、線形補間処理ではなく、時間方向フレーム方向にローパスフィルタLPF処理を伴った補間処理が行われることで、補間処理後の所定フレーム間隔の視差情報の時間方向フレーム方向の変化がなだらかとされる。図35の破線aはLPF出力例を示している。図36は、字幕としてのサブタイトルの表示例を示している。この表示例においては、ページ領域AreaforPagedefaultに、字幕表示領域としてのリージョンRegionが2つリージョン1、リージョン2含まれている。リージョンには1つまたは複数のサブリージョンが含まれている。ここでは、リージョンに1つのサブリージョンが含まれており、リージョン領域とサブリージョン領域とが等しいものとする。図37は、DSSのセグメントに、字幕表示期間に順次更新される視差情報Disparityとして、リージョン単位の視差情報とページ単位の視差情報の双方が含まれている場合において、各リージョンとページの視差情報カーブの一例を示している。ここで、ページの視差情報カーブは、2つのリージョンの視差情報カーブの最小値を採るような形とされている。リージョン1Region1に関しては、開始時刻であるT10と、その後の更新時刻であるT11,T12,T13,,T16の7個の視差情報が存在する。また、リージョン2Region2に関しては、開始時刻であるT20と、その後の更新時刻であるT21,T22,T23,,T27の8個の視差情報が存在する。さらに、ページPagedefaultに関しては、開始時刻であるT00と、その後の更新時刻であるT01,T02,T03,,T06の7個の視差情報が存在する。図38は、図37に示すページおよび各リージョンの視差情報がどのような構造で送られるかを示している。最初にページレイヤについて説明する。このページレイヤには、視差情報の固定値であるpagedefaultdisparityが配置される。そして、字幕表示期間に順次更新される視差情報に関しては、開始時刻とその後の各更新時刻に対応した、インターバル期間の個数を示すintervalcountと、視差情報を示すdisparitypageupdeteが、順次配置される。なお、開始時刻のintervalcountは0とされる。次に、リージョンレイヤについて説明する。リージョン1サブリージョン1については、視差情報の固定値であるsubregiondisparityintegerpartおよびsubregiondisparityfractionalpartが配置される。ここで、subregiondisparityintegerpartは視差情報の整数部分を示し、subregiondisparityfractionalpartは視差情報の小数部分を示している。そして、字幕表示期間に順次更新される視差情報に関しては、開始時刻とその後の各更新時刻に対応した、インターバル期間の個数を示すintervalcountと、視差情報を示すdisparityregionupdeteintegerpartおよびdisparityregionupdetefractionalpartが、順次配置される。ここで、disparityregionupdeteintegerpartは視差情報の整数部分を示し、disparityregionupdetefractionalpartは視差情報の小数部分を示している。なお、開始時刻のintervalcountは0とされる。リージョン2サブリージョン2については、上述のリージョン1と同様であり、視差情報の固定値であるsubregiondisparityintegerpartおよびsubregiondisparityfractionalpartが配置される。そして、字幕表示期間に順次更新される視差情報に関しては、開始時刻とその後の各更新時刻に対応した、インターバル期間の個数を示すintervalcountと、視差情報を示すdisparityregionupdeteintegerpartおよびdisparityregionupdetefractionalpartが、順次配置される。図39~図41は、DSSDisparitySignalingSegmentの構造例syntaxを示している。図42~図45は、DSSの主要なデータ規定内容semanticsを示している。この構造には、syncbyte、segmenttype、pageid、segmentlength、dssversionnumberの各情報が含まれている。segmenttypeは、セグメントタイプを示す8ビットのデータであり、ここでは、DSSを示す値とされる。segmentlengthは、以降のバイト数を示す8ビットのデータである。disparityshiftupdatesequencepageflagの1ビットフラグは、ページ単位の視差情報として字幕表示期間に順次更新される視差情報があるか否かを示す。1は存在することを示し、0は存在しないことを示す。pagedefaultdisparityshiftの8ビットフィールドは、ページ単位の固定の視差情報、つまり、字幕表示期間内において共通に使用される視差情報を示す。上述したdisparitypageupdatesequenceflagのフラグが1であるとき、disparityshiftupdatesequenceの読み出しが行われる。図41は、disparityshiftupdatesequenceの構造例Syntaxを示している。disparitypageupdatesequencelengthは、以降のバイト数を示す8ビットのデータである。intervalduration230の24ビットフィールドは、単位期間としてのインターバル期間IntervalDuration図35参照を90KHz単位で指定する。つまり、intervalduration230は、このインターバル期間IntervalDurationを90KHzのクロックで計測した値を24ビット長で表す。PESのヘッダ部に挿入されているPTSが33ビット長であるのに対して、24ビット長とされているのは、以下の理由からである。すなわち、33ビット長では24時間分を超える時間を表現できるが、字幕表示期間内のこのインターバル期間IntervalDurationとしては不必要な長さである。また、24ビットとすることで、データサイズを縮小でき、コンパクトな伝送を行うことができる。また、24ビットは8×3ビットであり、バイトアラインが容易となる。divisionperiodcountの8ビットフィールドは、視差情報が影響を及ぼす期間DivisionPeriodの数を示す。例えば、図35に示す更新例の場合には、開始時刻であるT10とその後の更新時刻であるT11~T16に対応して、この数は7となる。このdivisionperiodcountの8ビットフィールドが示す数だけ、以下のforループが繰り返される。intervalcountの8ビットフィールドは、インターバル期間の個数を示す。例えば、図35に示す更新例の場合には、M,N,P,Q,R,Sが相当する。disparityshiftupdateintegerpartの8ビットフィールドは、視差情報を示す。開始時刻の視差情報視差情報の初期値に対応してintervalcountは0とされる。つまり、intervalcountが0であるとき、disparitypageupdateは開始時刻の視差情報視差情報の初期値を示す。図39のwhileループは、それまでに処理したデータ長processedlengthが、セグメントデータ長segmentlengthに達していないとき、繰り返される。このwhileループ中に、リージョン単位、あるいはリージョン内のサブリージョン単位の視差情報が配置される。ここで、リージョンには1つまたは複数のサブリージョンが含まれ、サブリージョン領域とリージョン領域とが同じ場合もある。このwhileループ中に、regionidの情報が含まれている。disparityshiftupdatesequenceregionflagの1ビットフラグは、リージョン内の全サブリージョンのためのdisparityshiftupdatesequenceが存在するか否かを示すフラグ情報である。numberofsubregionsminus1の2ビットフィールドは、リージョン内のサブリージョンの数から1を引いた値を示す。numberofsubregionsminus10のとき、リージョンは、リージョンと同じ寸法の1つのサブリージョンを持つ。numberofsubregionsminus10のとき、リージョンは、水平方向に分けられた複数のサブリージョンを持つ。図40のforループの中に、サブリージョンの数の分だけ、subregionhorizontalposition、subregionwidthの情報が含まれる。subregionhorizontalpositionの16ビットフィールドは、サブリージョンの左端のピクセル位置を示す。subregionwidthはサブリージョンの水平方向の幅をピクセル数で示す。subregiondisparityshiftintegerpartの8ビットフィールドは、リージョン単位サブリージョン単位の固定の視差情報、つまり、字幕表示期間内において共通に使用される視差情報の整数部分を示す。subregiondisparityshiftfractionalpartの4ビットフィールドは、リージョン単位サブリージョン単位の固定の視差情報、つまり、字幕表示期間内において共通に使用される視差情報の小数部分を示す。上述したdisparityshiftupdatesequenceregionflagのフラグが1であるとき、disparityshiftupdatesequence図41参照の読み出しが行われる。図46は、セットトップボックス200およびテレビ受信機300が3D対応機器である場合の放送受信概念を示している。この場合、放送局100では、リージョンRegion0内にサブリージョンSR00が定義され、その視差情報Disparity1が設定される。ここでは、リージョンRegion0とサブリージョンSR00とは同じ領域であるとする。放送局100から、立体画像データと共に、サブタイトルデータ、表示制御情報サブリージョンの領域情報Position、視差情報Disparity1が送信される。最初に、3D対応機器であるセットトップボックス200で受信される場合について説明する。この場合、セットトップボックス200は、第1のタイプにおいては、2Dストリームからサブタイトルデータを構成する各セグメントのデータを読み込み、3D拡張ストリームから視差情報などの表示制御情報を含むDSSのセグメントのデータを読み込んで用いる。また、セットトップボックス200は、第2のタイプにおいては、3Dストリームからサブタイトルデータを構成する各セグメント、さらには視差情報などの表示制御情報を含むDSSのセグメントのデータを読み込んで用いる。セットトップボックス200は、サブタイトルデータに基づいて、サブタイトルを表示するためのリージョンの表示データを生成する。そして、セットトップボックス200は、リージョンの表示データを、立体画像データを構成する左眼画像フレームframe0部分および右眼画像フレームframe1部分にそれぞれ重畳して、出力立体画像データを得る。この際、セットトップボックス200は、視差情報に基づいて、それぞれに重畳される表示データの位置をシフト調整する。なお、セットトップボックス200は、立体画像データの伝送フォーマットサイドバイサイド方式、トップアンドボトム方式、フレームシーケンシャル方式、あるいは、各ビューがフル画面サイズを有するフォーマット方式に応じて、適宜、重畳位置、サイズなどの変更を行う。セットトップボックス200は、上述のようにして得られた出力立体画像データを、例えばHDMIのデジタルインタフェースを通じて、3D対応のテレビ受信機300に送信する。テレビ受信機300は、セットトップボックス200から送られてくる立体画像データに3D信号処理を施し、サブタイトルが重畳された左眼画像および右眼画像のデータを生成する。そして、テレビ受信機300は、LCD等の表示パネルに、ユーザに立体画像を認識させるための両眼視差画像左眼画像および右眼画像を表示する。次に、3D対応機器であるテレビ受信機300で受信される場合について説明する。この場合、テレビ受信機300は、第1のタイプにおいては、2Dストリームからサブタイトルデータを構成する各セグメントのデータを読み込み、3D拡張ストリームから視差情報などの表示制御情報を含むDSSのセグメントのデータを読み込んで用いる。また、セットトップボックス200は、第2のタイプにおいては、3Dストリームからサブタイトルデータを構成する各セグメント、さらには視差情報などの表示制御情報を含むDSSのセグメントのデータを読み込んで用いる。テレビ受信機300は、サブタイトルデータに基づいて、サブタイトルを表示するためのリージョンの表示データを生成する。そして、テレビ受信機300は、リージョンの表示データを、立体画像データに伝送フォーマットに応じた処理をして得られた左眼画像データおよび右眼画像データにそれぞれ重畳し、サブタイトルが重畳された左眼画像および右眼画像のデータを生成する。そして、テレビ受信機300は、LCD等の表示パネルに、ユーザに立体画像を認識させるための両眼視差画像左眼画像および右眼画像を表示する。図47は、セットトップボックス200およびテレビ受信機300がレガシーの2D対応機器である場合の放送受信概念を示している。この場合、放送局100では、リージョンRegion0内にサブリージョンSR00が定義され、その視差情報Disparity1が設定される。ここでは、リージョンRegion0とサブリージョンSR00とは同じ領域であるとする。放送局100から、立体画像データと共に、サブタイトルデータ、表示制御情報サブリージョンの領域情報Position、視差情報Disparity1が送信される。次に、レガシーの2D対応機器であるセットトップボックス200で受信される場合について説明する。この場合、セットトップボックス200は、第1のタイプおよび第2のタイプのいずれにおいても、2Dストリームからサブタイトルデータを構成する各セグメントのデータを読み込んで用いる。つまり、視差情報などの表示制御情報を含むDSSのセグメントの読み込みを行わないので、その読み込みが受信処理の妨げとなることを回避できる。セットトップボックス200は、サブタイトルデータに基づいて、サブタイトルを表示するためのリージョンの表示データを生成する。そして、セットトップボックス200は、リージョンの表示データを、立体画像データに対して伝送フォーマットに応じた処理が施されて得られた2次元画像データに重畳して、出力2次元画像データを得る。セットトップボックス200は、上述のようにして得られた出力2次元画像データを、例えばHDMIのデジタルインタフェースを通じて、テレビ受信機300に送信する。テレビ受信機300は、セットトップボックス200から送られてくる2次元画像データによる2次元画像を表示する。次に、2D対応機器であるテレビ受信機300で受信される場合について説明する。この場合、テレビ受信機300は、第1のタイプおよび第2のタイプのいずれにおいても、2Dストリームからサブタイトルデータを構成する各セグメントのデータを読み込んで用いる。つまり、視差情報などの表示制御情報を含むDSSのセグメントの読み込みを行わないので、その読み込みが受信処理の妨げとなることを回避できる。テレビ受信機300は、サブタイトルデータに基づいて、サブタイトルを表示するためのリージョンの表示データを生成する。テレビ受信機300は、このリージョンの表示データを、立体画像データに対して伝送フォーマットに応じた処理が施されて得られた2次元画像データに重畳して、2次元画像データを得る。そして、テレビ受信機300は、この2次元画像データによる2次元画像を表示する。図2に示す送信データ生成部110において、マルチプレクサ126では、視差情報などの表示制御情報を含むDSSのセグメントが挿入された3D拡張ストリームあるいは3DストリームのPESパケットが、トランスポートストリームTSに多重化される。その際、このPESパケットが、表示タイムスタンプPTSのタイミングより所定期間だけ前に受信側のデコーダバッファに到達するように、多重化される。そのため、受信側において、表示タイムスタンプのタイミングに間に合うように、デコード等を行って視差情報を取得することが可能となる。つまり、視差情報などの表示制御情報を含むPESパケットの送信を効果的に行うことができる。また、図2に示す送信データ生成部110において、マルチプレクサ126では、視差情報などの表示制御情報を含むDSSのセグメントが挿入された3D拡張ストリームあるいは3DストリームのPESパケットにデコードタイムスタンプDTSが符号化される。この場合、デコードタイムスタンプDTSのタイミングは、このPESパケットに含まれる表示タイムスタンプPTSのタイミングよりも早いタイミングに設定される。つまり、受信側において、このPESパケットからの表示制御情報の取得が、それを使用すべきタイミングに間に合うように、DTSのタイミングが設定される。そのため、受信側において、表示タイムスタンプPTSのタイミングに間に合うように確実にデコードを開始させることができる。図2に示す送信データ生成部110において、マルチプレクサ126から出力される多重化データストリームとしてのトランスポートストリームTSは、2つのプライベートデータストリームが含まれるものとされる。すなわち、第1のタイプでは2Dストリームおよび3D拡張ストリームが含まれ、第2のタイプでは2Dストリームおよび3Dストリームが含まれる図11、図12参照。そのため、受信側のレガシーの2D対応の受信装置では、2Dストリームからサブタイトルデータを構成する各セグメントのみを読み込んで受信処理を行うことができる。つまり、2D対応の受信装置では、3D拡張ストリーム、あるいは3DストリームからDSSのセグメントを読み込まないで済み、その読み込みが受信処理の妨げとなることを回避できる。また、受信側の3D対応の受信装置では、3D拡張ストリームあるいは3DストリームからDSSのセグメント、従って表示制御情報サブリージョンの領域情報、視差情報などを含むを読み込むことができ、立体画像の表示内容に合わせた左眼画像および右眼画像のサブタイトル字幕の視差調整を行うことが可能となる。また、図2に示す送信データ生成部110においては、サブタイトル表示期間において順次更新される視差情報を含むDSSセグメントを送信できるので、左眼サブタイトルおよび右眼サブタイトルの表示位置を動的に制御できる。これにより、受信側においては、左眼サブタイトルおよび右眼サブタイトルの間に付与する視差を画像内容の変化に連動して動的に変化させることが可能となる。また、図2に示す送信データ生成部110においては、サブタイトルエンコーダ1258で得られるDSSのセグメントに含まれる更新フレーム間隔毎のフレームの視差情報は、前回の視差情報からのオフセット値ではなく、視差情報そのものである。そのため、受信側において、補間過程でエラーが生じても、一定遅延時間内にエラーからの復帰が可能になる。[セットトップボックスの説明]図1に戻って、セットトップボックス200は、放送局100から放送波に載せて送信されてくるトランスポートストリームTSを受信する。このトランスポートストリームTSには、左眼画像データおよび右眼画像データを含む立体画像データ、音声データが含まれている。また、トランスポートストリームTSには、サブタイトル字幕を表示するための立体画像用のサブタイトルデータ表示制御情報を含むも含まれている。すなわち、トランスポートストリームTSは、PESのストリームとして、ビデオデータストリーム、オーディオデータストリーム、第1および第2のプライベートデータストリームを有している。上述したように、第1のタイプの場合、第1および第2のプライベートデータストリームは、それぞれ、2Dストリームおよび3D拡張ストリームである図11参照。また、第2のタイプの場合、第1および第2のプライベートデータストリームは、それぞれ、2Dストリームおよび3Dストリームである図12参照。セットトップボックス200は、ビットストリーム処理部201を有している。セットトップボックス200が3D対応機器3DSTBである場合、ビットストリーム処理部201は、トランスポートストリームTSから、立体画像データ、音声データ、サブタイトルデータ表示制御情報を含むを取得する。この場合、ビットストリーム処理部201は、第1のタイプにおいては、2Dストリームからサブタイトルデータを構成する各セグメントのデータを取得し、3D拡張ストリームから視差情報などの表示制御情報を含むDSSのセグメントのデータを取得する。また、ビットストリーム処理部201は、第2のタイプにおいては、3Dストリームからサブタイトルデータを構成する各セグメント、さらには視差情報などの表示制御情報を含むDSSのセグメントのデータを取得する。そして、ビットストリーム処理部201は、立体画像データ、サブタイトルデータ表示制御情報を含むを用いて、左眼画像フレームframe0部分および右眼画像フレームframe1部分にそれぞれサブタイトルが重畳された出力立体画像データを生成する図46参照。この場合、左眼画像に重畳するサブタイトル左眼サブタイトルと右眼画像に重畳するサブタイトル右眼サブタイトルとの間に視差を付与できる。例えば、上述したように、放送局100から送られてくる立体画像用のサブタイトルデータに付加されている表示制御情報には、視差情報が含まれており、この視差情報に基づいて、左眼サブタイトルおよび右眼サブタイトルの間に視差を付与できる。このように、左眼サブタイトルと右眼サブタイトルとの間に視差が付与されることで、ユーザは、サブタイトル字幕を画像の手前に認識可能となる。図48aは、画像上におけるサブタイトル字幕の表示例を示している。この表示例では、背景と近景オブジェクトとからなる画像上に、字幕が重畳された例である。図48bは、背景、近景オブジェクト、字幕の遠近感を示し、字幕が最も手前に認識されることを示している。図49aは、図48aと同じ、画像上におけるサブタイトル字幕の表示例を示している。図49bは、左眼画像に重畳される左眼字幕LGIと、右眼画像に重畳される右眼字幕RGIを示している。図49cは、字幕が最も手前に認識されるために、左眼字幕LGIと右眼字幕RGIとの間に視差が与えられることを示している。また、セットトップボックス200がレガシーの2D対応機器2DSTBである場合、ビットストリーム処理部201は、トランスポートストリームTSから、立体画像データ、音声データ、サブタイトルデータ表示制御情報を含まないビットマップパターンデータを取得する。そして、ビットストリーム処理部201は、立体画像データ、サブタイトルデータを用いて、サブタイトルが重畳された2次元画像データを生成する図47参照。この場合、ビットストリーム処理部201は、第1のタイプおよび第2のタイプのいずれにおいても、2Dストリームからサブタイトルデータを構成する各セグメントのデータを取得する。つまり、この場合、3D拡張ストリームあるいは3DストリームからDSSのセグメントを読み込むことを行わないので、その読み込みが受信処理の妨げとなることを回避できる。[セットトップボックスの構成例]セットトップボックス200の構成例を説明する。図50は、セットトップボックス200の構成例を示している。このセットトップボックス200は、ビットストリーム処理部201と、HDMI端子202と、アンテナ端子203と、デジタルチューナ204と、映像信号処理回路205と、HDMI送信部206と、音声信号処理回路207を有している。また、このセットトップボックス200は、CPU211と、フラッシュROM212と、DRAM213と、内部バス214と、リモートコントロール受信部RC受信部215と、リモートコントロール送信機RC送信機216を有している。アンテナ端子203は、受信アンテナ図示せずで受信されたテレビ放送信号を入力する端子である。デジタルチューナ204は、アンテナ端子203に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応したトランスポートストリームTSビットストリームデータを出力する。ビットストリーム処理部201は、トランスポートストリームTSに基づいて、サブタイトルが重畳された出力立体画像データおよび音声データを出力する。このビットストリーム処理部201は、セットトップボックス200が3D対応機器3DSTBである場合、トランスポートストリームTSから、立体画像データ、音声データ、サブタイトルデータ表示制御情報を含むを取得する。ビットストリーム処理部201は、立体画像データを構成する左眼画像フレームframe0部分および右眼画像フレームframe1部分にそれぞれサブタイトルが重畳された出力立体画像データを生成する図46参照。この際、視差情報に基づいて、左眼画像に重畳するサブタイトル左眼サブタイトルと右眼画像に重畳するサブタイトル右眼サブタイトルとの間に視差を付与する。すなわち、ビットストリーム処理部201は、サブタイトルデータに基づいて、サブタイトルを表示するためのリージョンの表示データを生成する。そして、ビットストリーム処理部201は、リージョンの表示データを、立体画像データを構成する左眼画像フレームframe0部分および右眼画像フレームframe1部分にそれぞれ重畳して、出力立体画像データを得る。この際、ビットストリーム処理部201は、視差情報に基づいて、それぞれに重畳される表示データの位置をシフト調整する。また、ビットストリーム処理部201は、セットトップボックス200が2D対応機器2DSTBである場合、立体画像データ、音声データ、サブタイトルデータ表示制御情報を含まないを取得する。ビットストリーム処理部201は、立体画像データ、サブタイトルデータを用いて、サブタイトルが重畳された2次元画像データを生成する図47参照。すなわち、ビットストリーム処理部201は、サブタイトルデータに基づいて、サブタイトルを表示するためのリージョンの表示データを生成する。そして、ビットストリーム処理部201は、リージョンの表示データを、立体画像データに対して伝送方式に応じた処理が施されて得られた2次元画像データに重畳して、出力2次元画像データを得る。映像信号処理回路205は、ビットストリーム処理部201で得られた画像データに対して必要に応じて画質調整処理などを行い、処理後の画像データをHDMI送信部206に供給する。音声信号処理回路207は、ビットストリーム処理部201から出力された音声データに対して必要に応じて音質調整処理等を行い、処理後の音声データをHDMI送信部206に供給する。HDMI送信部206は、HDMIに準拠した通信により、例えば、非圧縮の画像データおよび音声データを、HDMI端子202から送出する。この場合、HDMIのTMDSチャネルで送信するため、画像データおよび音声データがパッキングされて、HDMI送信部206からHDMI端子202に出力される。CPU211は、セットトップボックス200の各部の動作を制御する。フラッシュROM212は、制御ソフトウェアの格納およびデータの保管を行う。DRAM213は、CPU211のワークエリアを構成する。CPU211は、フラッシュROM212から読み出したソフトウェアやデータをDRAM213上に展開してソフトウェアを起動させ、セットトップボックス200の各部を制御する。RC受信部215は、RC送信機216から送信されたリモートコントロール信号リモコンコードを受信し、CPU211に供給する。CPU211は、このリモコンコードに基づいて、セットトップボックス200の各部を制御する。CPU211、フラッシュROM212およびDRAM213は内部バス214に接続されている。セットトップボックス200の動作を簡単に説明する。アンテナ端子203に入力されたテレビ放送信号はデジタルチューナ204に供給される。このデジタルチューナ204では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応したトランスポートストリームビットストリームデータTSが出力される。デジタルチューナ204から出力されるトランスポートストリームビットストリームデータTSは、ビットストリーム処理部201に供給される。このビットストリーム処理部201では、以下のようにして、テレビ受信機300に出力するための出力画像データが生成される。セットトップボックス200が3D対応機器3DSTBである場合、トランスポートストリームTSから、立体画像データ、音声データ、サブタイトルデータ表示制御情報を含むが取得される。そして、このビットストリーム処理部201では、立体画像データを構成する左眼画像フレームframe0部分および右眼画像フレームframe1部分にそれぞれサブタイトルが重畳された出力立体画像データが生成される。この際、視差情報に基づいて、左眼画像に重畳する左眼サブタイトルと右眼画像に重畳する右眼サブタイトルとの間に視差が付与される。また、セットトップボックス200が2D対応機器2DSTBである場合、立体画像データ、音声データ、サブタイトルデータ表示制御情報を含まないが取得される。そして、このビットストリーム処理部201では、立体画像データ、サブタイトルデータを用いて、サブタイトルが重畳された2次元画像データが生成される。ビットストリーム処理部201で得られた出力画像データは、映像信号処理回路205に供給される。この映像信号処理回路205では、出力画像データに対して、必要に応じて画質調整処理等が施される。この映像信号処理回路205から出力される処理後の画像データは、HDMI送信部206に供給される。また、ビットストリーム処理部201で得られた音声データは、音声信号処理回路207に供給される。この音声信号処理回路207では、音声データに対して、必要に応じて音質調整処理等の処理が行われる。この音声信号処理回路207から出力される処理後の音声データは、HDMI送信部206に供給される。そして、HDMI送信部206に供給された画像データおよび音声データは、HDMIのTMDSチャネルにより、HDMI端子202からHDMIケーブル400に送出される。[ビットストリーム処理部の構成例]図51は、セットトップボックス200が3D対応機器3DSTBである場合におけるビットストリーム処理部201の構成例を示している。このビットストリーム処理部201は、上述の図2に示す送信データ生成部110に対応した構成となっている。このビットストリーム処理部201は、デマルチプレクサ221と、ビデオデコーダ222と、オーディオデコーダ229を有している。また、このビットストリーム処理部201は、符号化データバッファ223と、サブタイトルデコーダ224と、ピクセルバッファ225と、視差情報補間部226と、位置制御部227と、ビデオ重畳部228を有している。ここで、符号化データバッファ223は、デコードバッファを構成している。デマルチプレクサ221は、トランスポートストリームTSから、ビデオデータストリーム、オーディオデータストリームのパケットを抽出し、各デコーダに送ってデコードする。また、デマルチプレクサ221は、さらに、以下のストリームを抽出して、符号化データバッファ223に一時的に蓄積する。この場合、デマルチプレクサ221は、第1のタイプでは2Dストリームおよび3D拡張ストリームを抽出して、第2のタイプでは3Dストリームを抽出する。CPU211は、第1のタイプにおいて、2Dストリーム、3D拡張ストリームに関連してPMT内のESループに配置されるサブタイトルデスクリプタ内のcompositionpageidの値に基づき、双方のPESストリームをデコードすべきことを認識する。すなわち、compositionpageidの値が同じである場合、双方のPESストリームをデコードすることを意味する。あるいは、compositionpageidの値が同じ値で、しかも特別な値予め定義されるである場合、双方のPESストリームをデコードすることを意味する。なお、第1のタイプにおいて、2Dストリーム、3D拡張ストリームの2つのPESストリームの双方をデコードすべきことを示す、2つのストリームを関連付けるデスクリプタを新規定義し、所定の場所に配置することも考えられる。CPU211は、このデスクリプタにより、双方のPESストリームをデコードすべきことを認識し、ビットストリーム処理部201を制御する。図52は、2Dストリーム、3D拡張ストリームを関連付けるために使用できるマルチデコーディングデスクリプタmultidecodingdescriptorの構造例syntaxを示している。図53は、その構造例における主要な情報の内容Semanticsを示している。descriptortagの8ビットフィールドは、このデスクリプタがマルチデコーディングデスクリプタであることを示す。descriptorlengthの8ビットフィールドは、このフィールド以後の全体のバイトサイズを示す。streamcontentの4ビットフィールドは、メインのストリームの例えばビデオ、オーディオ、サブタイトルなどのストリームタイプを示す。componenttypeの4ビットフィールドは、メインのストリームの例えばビデオ、オーディオ、サブタイトルなどのコンポーネントタイプを示す。これらstreamcontent、componenttypeには、メインのストリームに対応したコンポーネントデスクリプタ内のstreamcontent、componenttypeと同じ情報とされる。この実施の形態において、メインのストリームが2Dストリームとされ、streamcontentはサブタイトルsubtitleとされ、componenttypeは、2次元用2Dとされる。componenttagは、メインのストリームに対応したストリームアイデンチファイヤデスクリプタstreamidentifierdescriptor内のcomponenttagと同じ値を持つ。これにより、ストリームアイデンチファイヤデスクリプタと、マルチデコーディングデスクリプタとを、componenttagで関連付けする。multidecodingcountの4ビットフィールドは、メインのストリームに関連付けするターゲットのストリームの数を示す。この実施の形態において、メインのストリームである2Dストリームに関連するターゲットのストリームは3D拡張ストリームであり、multidecodingcountは1となる。targetstreamcomponenttypeの8ビットフィールドは、メインのストリームに追加されるストリームの例えばビデオ、オーディオ、サブタイトルなどのストリームタイプを示す。componenttypeの4ビットフィールドは、ターゲットのストリームのコンポーネントタイプを示す。また、targetstreamcomponenttagの8ビットフィールドは、ターゲットのストリームに対応したストリームアイデンチファイヤデスクリプタstreamidentifierdescriptor内のcomponenttagと同じ値を持つ。この実施の形態において、ターゲットのストリームが3D拡張ストリームとされ、targetstreamcomponenttypeは3次元用3Dとされ、targetstreamcomponenttagは3D拡張ストリームのcomponenttagと同じ値とされる。マルチデコーディングデスクリプタは、例えば、PMTの配下、あるいはEITの配下に配置される。図54は、マルチデコーディングデスクリプタを配置した場合における、第1のタイプのトランスポートストリームTSの構成例を示している。図51に戻って、ビデオデコーダ222は、上述の送信データ生成部110のビデオエンコーダ112とは逆の処理を行う。すなわち、ビデオデコーダ222は、デマルチプレクサ221で抽出されたビデオのパケットからビデオデータストリームを再構成し、復号化処理を行って、左眼画像データおよび右眼画像データを含む立体画像データを得る。この立体画像データの伝送フォーマットは、例えば、サイドバイサイド方式、トップアンドボトム方式、フレームシーケンシャル方式、あるいは各ビューがフル画面サイズを占めるビデオ伝送フォーマットの方式などである。サブタイトルデコーダ224は、上述の送信データ生成部110のサブタイトルエンコーダ125とは逆の処理を行う。すなわち、このサブタイトルデコーダ224は、符号化データバッファ223に蓄積されている各ストリームのパケットから各ストリームを再構成し、復号化処理を行う。サブタイトルデコーダ224は、CPU211の制御のもと、3D拡張ストリームあるいは3DストリームのPESパケットにデコードタイムスタンプDTSが符号化されている場合には、そのタイミングで符号化データバッファ223から該当PESパケットを読み出して、デコード処理を開始する。サブタイトルデコーダ224は、サブタイトルデータを構成する各セグメントのデータを取得し、さらに、DSSのセグメントのデータを取得する。そして、サブタイトルデコーダ224は、DSSのセグメントのデータに基づいて、表示制御情報サブリージョンの領域情報、視差情報などを得る。サブタイトルデコーダ224は、サブタイトルデータを構成する各セグメントのデータおよびサブリージョンの領域情報に基づいて、サブタイトルを表示するためのリージョンの表示データビットマップデータを生成する。ここで、リージョン内にあってサブリージョンで囲まれていない領域は、透明色が割り当てられる。ピクセルバッファ225は、この表示データを一時的に蓄積する。ビデオ重畳部228は、出力立体画像データVoutを得る。この場合、ビデオ重畳部228は、ビデオデコーダ222で得られた立体画像データの左眼画像フレームframe0部分および右眼画像フレームframe1の部分に、それぞれ、ピクセルバッファ225に蓄積されている表示データを重畳する。この場合、ビデオ重畳部228は、立体画像データの伝送方式サイドバイサイド方式、トップアンドボトム方式、フレームシーケンシャル方式、MVC方式などに応じて、適宜、重畳位置、サイズなどの変更を行う。このビデオ重畳部228は、出力立体画像データVoutを、ビットストリーム処理部201の外部に出力する。視差情報補間部226は、サブタイトルデコーダ224で得られる視差情報を位置制御部227に送る。視差情報補間部226は、視差情報に対して、必要に応じて、補間処理を施して、位置制御部227に送る。位置制御部227は、視差情報に基づいて、それぞれのフレームに重畳される表示データの位置をシフト調整する図46参照。この場合、位置制御部227は、左眼画像フレームframe0部分および右眼画像フレームframe1部分に重畳される表示データ字幕パターンデータを、視差情報に基づいて、互いに反対方向となるようにシフト調整して、視差を付与する。なお、表示制御情報には、字幕表示期間内で共通に使用される視差情報が含まれる。また、この表示制御情報には、さらに、字幕表示期間内で順次更新される視差情報が含まれることもある。この字幕表示期間内で順次更新される視差情報は、上述したように、字幕表示期間の最初のフレームの視差情報と、その後の更新フレーム間隔毎のフレームの視差情報とからなっている。位置制御部227は、字幕表示期間内で共通に使用される視差情報に関しては、そのまま使用する。一方、位置制御部227は、字幕表示期間内で順次更新される視差情報に関しては、視差情報補間部226で必要に応じて補間処理が施されたものを使用する。例えば、視差情報補間部226は、字幕表示期間内における任意のフレーム間隔、例えば、1フレーム間隔の視差情報を生成する。視差情報補間部226は、この補間処理として、線形補間処理ではなく、例えば、時間方向フレーム方向にローパスフィルタLPF処理を伴った補間処理を行う。これにより、補間処理後の所定フレーム間隔の視差情報の時間方向フレーム方向の変化がなだらかとなる。また、オーディオデコーダ229は、上述の送信データ生成部110のオーディオエンコーダ113とは逆の処理を行う。すなわち、このオーディオデコーダ229は、デマルチプレクサ221で抽出されたオーディオのパケットからオーディオのエレメンタリストリームを再構成し、復号化処理を行って、出力音声データAoutを得る。このオーディオデコーダ229は、出力音声データAoutを、ビットストリーム処理部201の外部に出力する。図51に示すビットストリーム処理部201の動作を簡単に説明する。デジタルチューナ204図50参照から出力されるトランスポートストリームTSは、デマルチプレクサ221に供給される。このデマルチプレクサ221では、トランスポートストリームTSから、ビデオデータストリーム、オーディオデータストリームのパケットが抽出され、各デコーダに供給される。また、このこのデマルチプレクサ221では、さらに、2Dストリームおよび3D拡張ストリーム、あるいは3Dストリームのパケットが抽出され、符号化データバッファ223に一時的に蓄積される。ビデオデコーダ222では、デマルチプレクサ221で抽出されたビデオデータのパケットからビデオデータストリームが再構成され、さらに復号化処理が行われて、左眼画像データおよび右眼画像データを含む立体画像データが得られる。この立体画像データは、ビデオ重畳部228に供給される。サブタイトルデコーダ224では、符号化データバッファ223から2Dストリームおよび3D拡張ストリーム、あるいは3Dストリームのパケットが読み出されてデコードされる。そして、サブタイトルデコーダ224では、サブタイトルデータを構成する各セグメントのデータおよびサブリージョンの領域情報に基づいて、サブタイトルを表示するためのリージョンの表示データビットマップデータが生成される。この表示データは、ピクセルバッファ225に一時的に蓄積される。ここで、3D拡張ストリームあるいは3DストリームのPESパケットにDTSが符号化されている場合、サブタイトルデコーダ224では、そのタイミングで符号化データバッファ223から該当PESパケットが読み出されてデコード処理が開始される。ビデオ重畳部228では、ビデオデコーダ222で得られた立体画像データの左眼画像フレームframe0部分および右眼画像フレームframe1の部分に、それぞれ、ピクセルバッファ225に蓄積されている表示データが重畳される。この場合、立体画像データの伝送方式サイドバイサイド方式、トップアンドボトム方式、フレームシーケンシャル方式、MVC方式などに応じて、適宜、重畳位置、サイズなどが変更される。このビデオ重畳部228で得られる出力立体画像データVoutは、ビットストリーム処理部201の外部に出力される。また、サブタイトルデコーダ224で得られる視差情報は、視差情報補間部226を通じて位置制御部227に送られる。視差情報補間部226では、必要に応じて、補間処理が行われる。例えば、字幕表示期間内で順次更新される数フレーム間隔の視差情報に関しては、視差情報補間部226で必要に応じて補間処理が施され、任意のフレーム間隔、例えば、1フレーム間隔の視差情報が生成される。位置制御部227では、ビデオ重畳部228で左眼画像フレームframe0部分および右眼画像フレームframe1部分に重畳される表示データ字幕パターンデータを、視差情報に基づいて、互いに反対方向となるようにシフト調整することが行われる。これにより、左眼画像に表示される左眼サブタイトルと右眼画像に表示される右眼サブタイトルとの間に視差が付与される。従って、立体画像の内容に応じた、サブタイトル字幕の3D表示が実現される。また、オーディオデコーダ229では、デマルチプレクサ221で抽出されたオーディオのパケットからオーディオエレメンタリストリームが再構成され、さらに復号化処理が施されて、上述の表示用立体画像データVoutに対応した音声データAoutが得られる。この音声データAoutは、ビットストリーム処理部201の外部に出力される。図55は、セットトップボックス200が2D対応機器2DSTBである場合におけるビットストリーム処理部201の構成例を示している。この図55において、図51と対応する部分には、同一符号を付し、その詳細説明は省略する。以下、説明の便宜のため、図51に示すビットストリーム処理部201を3D対応ビットストリーム処理部201と呼び、図55に示すビットストリーム処理部201を2D対応ビットストリーム処理部201と呼ぶこととする。図51に示す3D対応ビットストリーム処理部201において、ビデオデコーダ222は、デマルチプレクサ221で抽出されたビデオのパケットからビデオデータストリームを再構成し、復号化処理を行って、左眼画像データおよび右眼画像データを含む立体画像データを取得する。それに対して、図55に示す2D対応ビットストリーム処理部201において、ビデオデコーダ222は、立体画像データを取得した後、左眼画像データまたは右眼画像データを切り出し、必要に応じてスケーリング処理等を行って2次元画像データを得る。また、図51に示す3D対応ビットストリーム処理部201において、デマルチプレクサ221は、上述したように、第1のタイプでは2Dストリームおよび3D拡張ストリームのパケットを抽出し、第2のタイプでは3Dストリームのパケットを抽出し、符号化データバッファ223を通じて、サブタイトルデコーダ224に送る。それに対して、図55に示す2D対応ビットストリーム処理部201において、デマルチプレクサ221は、第1のタイプおよび第2のタイプのいずれでも2Dストリームのパケットのみを抽出し、符号化データバッファ223を通じて、サブタイトルデコーダ224に送る。また、図51に示す3D対応ビットストリーム処理部201において、サブタイトルデコーダ224は、上述したように、例えば、2Dストリームからサブタイトルデータを構成する各セグメントのデータを取得し、さらに、3D拡張ストリームからDSSのセグメントのデータを取得する。あるいは、このサブタイトルデコーダ224は、3Dストリームから、サブタイトルデータを構成する各セグメントのデータを取得し、さらに、DSSのセグメントのデータを取得する。それに対して、図55に示す2D対応ビットストリーム処理部201において、サブタイトルデコーダ224は、2Dストリームからサブタイトルデータを構成する各セグメントのデータのみを取得する。そして、サブタイトルデコーダ224は、この各セグメントのデータおよびサブリージョンの領域情報に基づいて、サブタイトルを表示するためのリージョンの表示データビットマップデータを生成し、ピクセルバッファ225に一時的に蓄積する。この場合、サブタイトルデコーダ224は、DSSのセグメントのデータの読み込みを行わない。そのため、その読み込みが受信処理の妨げとなることを回避できる。また、図51に示す3D対応ビットストリーム処理部201において、ビデオ重畳部228は、出力立体画像データVoutを得て、ビットストリーム処理部201の外部に出力する。この場合、ビデオデコーダ222で得られた立体画像データの左眼画像フレームframe0部分および右眼画像フレームframe1の部分に、それぞれ、ピクセルバッファ225に蓄積されている表示データを重畳して、出力立体画像データVoutを得る。そして、位置制御部227は、その表示データを、視差情報に基づいて、互いに反対方向となるようにシフト調整し、左眼画像に表示される左眼サブタイトルと右眼画像に表示される右眼サブタイトルとの間に視差を付与する。それに対して、図55に示す2D対応ビットストリーム処理部201において、ビデオ重畳部228は、ビデオデコーダ222で得られた2次元画像データにピクセルバッファ225に蓄積されている表示データを重畳し、出力2次元画像データVoutを得る。そして、ビデオ重畳部228は、この出力2次元画像データVoutを、ビットストリーム処理部201の外部に出力する。図55に示す2Dビットストリーム処理部201の動作を簡単に説明する。なお、オーディオ系の動作については、図51に示す3Dビットストリーム処理部201と同様であるので省略する。デジタルチューナ204図50参照から出力されるトランスポートストリームTSは、デマルチプレクサ221に供給される。このデマルチプレクサ221では、トランスポートストリームTSから、ビデオデータストリーム、オーディオデータストリームのパケットが抽出され、各デコーダに供給される。また、このこのデマルチプレクサ221では、さらに、2Dストリームのパケットが抽出され、符号化データバッファ223に一時的に蓄積される。ビデオデコーダ222では、デマルチプレクサ221で抽出されたビデオデータのパケットからビデオデータストリームが再構成され、さらに復号化処理が行われて、左眼画像データおよび右眼画像データを含む立体画像データが得られる。そして、ビデオデコーダ222では、さらに、この立体画像データから左眼画像データまたは右眼画像データが切り出され、必要に応じてスケーリング処理等が施されて、2次元画像データが得られる。この2次元画像データは、ビデオ重畳部228に供給される。また、サブタイトルデコーダ224では、符号化データバッファ223から2Dストリームが読み出されてデコードされる。そして、サブタイトルデコーダ224では、サブタイトルデータを構成する各セグメントのデータに基づいて、サブタイトルを表示するためのリージョンの表示データビットマップデータが生成される。この表示データは、ピクセルバッファ225に一時的に蓄積される。ビデオ重畳部228では、ビデオデコーダ222で得られた2次元画像データに対してサブタイトルの表示データビットマップデータが重畳され、出力2次元画像データVoutが得られる。この出力2次元画像データVoutは、ビットストリーム処理部201の外部に出力される。図50に示すセットトップボックス200において、デジタルチューナ204から出力されるトランスポートストリームTSには、立体画像データ、サブタイトルデータの他に、表示制御情報も含まれる。この表示制御情報には、表示制御情報サブリージョンの領域情報、視差情報などが含まれている。そのため、左眼サブタイトルおよび右眼サブタイトルの表示位置に視差を付与でき、サブタイトル字幕の表示において、画像内の各物体との間の遠近感の整合性を最適な状態に維持することが可能となる。また、図50に示すセットトップボックス200において、3D対応ビットストリーム処理部201図51参照のサブタイトルデコーダ224で取得される表示制御情報に字幕表示期間内で順次更新される視差情報が含まれる場合、左眼サブタイトルおよび右眼サブタイトルの表示位置を動的に制御できる。これにより、左眼サブタイトルおよび右眼サブタイトルの間に付与する視差を画像内容の変化に連動して動的に変化させることが可能となる。また、図50に示すセットトップボックス200において、3Dビットストリーム処理部201図51参照の視差情報補間部226で、字幕表示期間所定数のフレーム期間内で順次更新される視差情報を構成する複数フレームの視差情報に対して補間処理が施される。この場合、送信側から更新フレーム間隔毎に視差情報が送信される場合であっても、左眼サブタイトルおよび右眼サブタイトルの間に付与する視差を、細かな間隔で、例えばフレーム毎に制御することが可能となる。また、図50に示すセットトップボックス200において、3Dビットストリーム処理部201図51参照の視差情報補間部226における補間処理は、例えば、時間方向フレーム方向のローパスフィルタ処理を伴うようにすることもできる。そのため、送信側から更新フレーム間隔毎に視差情報が送信される場合であっても、補間処理後の視差情報の時間方向の変化をなだらかにでき、左眼サブタイトルおよび右眼サブタイトルの間に付与される視差の推移が、更新フレーム間隔毎に不連続となることによる違和感を抑制できる。なお、上述していないが、セットトップボックス200が3D対応機器である場合であって、2次元表示モードまたは3次元表示モードのユーザ選択が可能な構成も考えられる。その場合、3次元表示モードが選択されるときには、ビットストリーム処理部201は、上述した3D対応ビットストリーム処理部201図51参照と同様の構成、動作とされる。一方、2次元表示モードが選択されるときには、ビットストリーム処理部201は、上述した2D対応ビットストリーム処理部201図55参照と実質的に同様の構成、動作とされる。[テレビ受信機の説明]図1に戻って、テレビ受信機300は、3D対応機器である場合、セットトップボックス200からHDMIケーブル400を介して送られてくる立体画像データを受信する。このテレビ受信機300は、3D信号処理部301を有している。この3D信号処理部301は、立体画像データに対して、伝送フォーマットに対応した処理デコード処理を行って、左眼画像データおよび右眼画像データを生成する。[テレビ受信機の構成例]3D対応のテレビ受信機300の構成例を説明する。図56は、テレビ受信機300の構成例を示している。このテレビ受信機300は、3D信号処理部301と、HDMI端子302と、HDMI受信部303と、アンテナ端子304と、デジタルチューナ305と、ビットストリーム処理部306を有している。また、このテレビ受信機300は、映像グラフィック処理回路307と、パネル駆動回路308と、表示パネル309と、音声信号処理回路310と、音声増幅回路311と、スピーカ312を有している。また、このテレビ受信機300は、CPU321と、フラッシュROM322と、DRAM323と、内部バス324と、リモートコントロール受信部RC受信部325と、リモートコントロール送信機RC送信機326を有している。アンテナ端子304は、受信アンテナ図示せずで受信されたテレビ放送信号を入力する端子である。デジタルチューナ305は、アンテナ端子304に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応したトランスポートストリームビットストリームデータTSを出力する。ビットストリーム処理部306は、トランスポートストリームTSに基づいて、サブタイトルが重畳された出力立体画像データおよび音声データを出力する。このビットストリーム処理部201は、詳細説明は省略するが、例えば、上述したセットトップボックス200の、3D対応ビットストリーム処理部201図51参照と同様の構成とされる。このビットストリーム処理部306は、立体画像データに対して、左眼サブタイトルおよび右眼サブタイトルの表示データを合成し、サブタイトルが重畳された出力立体画像データを生成して出力する。なお、このビットストリーム処理部306は、例えば、立体画像データの伝送方式がサイドバイサイド方式、あるいはトップアンドボトム方式などの場合、スケーリング処理を施し、フル解像度の左眼画像データおよび右眼画像データを出力する。また、ビットストリーム処理部306は、画像データに対応した音声データを出力する。HDMI受信部303は、HDMIに準拠した通信により、HDMIケーブル400を介してHDMI端子302に供給される非圧縮の画像データおよび音声データを受信する。このHDMI受信部303は、そのバージョンが例えばHDMI1.4aとされており、立体画像データの取り扱いが可能な状態にある。3D信号処理部301は、HDMI受信部303で受信された立体画像データに対して、デコード処理を行って、フル解像度の左眼画像データおよび右眼画像データを生成する。3D信号処理部301は、TMDS伝送データフォーマットに対応したデコード処理を行う。なお、3D信号処理部301は、ビットストリーム処理部306で得られたフル解像度の左眼画像データおよび右眼画像データに対しては何もしない。映像グラフィック処理回路307は、3D信号処理部301で生成された左眼画像データおよび右眼画像データに基づいて、立体画像を表示するための画像データを生成する。また、映像グラフィック処理回路307は、画像データに対して、必要に応じて、画質調整処理を行う。また、映像グラフィック処理回路307は、画像データに対して、必要に応じて、メニュー、番組表などの重畳情報のデータを合成する。パネル駆動回路308は、映像グラフィック処理回路307から出力される画像データに基づいて、表示パネル309を駆動する。表示パネル309は、例えば、LCD、PDP等で構成されている。音声信号処理回路310は、HDMI受信部303で受信された、あるいはビットストリーム処理部306で得られた音声データに対してD/A変換等の必要な処理を行う。音声増幅回路311は、音声信号処理回路310から出力される音声信号を増幅してスピーカ312に供給する。CPU321は、テレビ受信機300の各部の動作を制御する。フラッシュROM322は、制御ソフトウェアの格納およびデータの保管を行う。DRAM323は、CPU321のワークエリアを構成する。CPU321は、フラッシュROM322から読み出したソフトウェアやデータをDRAM323上に展開してソフトウェアを起動させ、テレビ受信機300の各部を制御する。RC受信部325は、RC送信機326から送信されたリモートコントロール信号リモコンコードを受信し、CPU321に供給する。CPU321は、このリモコンコードに基づいて、テレビ受信機300の各部を制御する。CPU321、フラッシュROM322およびDRAM323は、内部バス324に接続されている。図56に示すテレビ受信機300の動作を簡単に説明する。HDMI受信部303では、HDMI端子302にHDMIケーブル400を介して接続されているセットトップボックス200から送信されてくる、立体画像データおよび音声データが受信される。このHDMI受信部303で受信された立体画像データは、3D信号処理部301に供給される。また、このHDMI受信部303で受信された音声データは音声信号処理回路310に供給される。アンテナ端子304に入力されたテレビ放送信号はデジタルチューナ305に供給される。このデジタルチューナ305では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応したトランスポートストリームビットストリームデータTSが出力される。このトランスポートストリームTSは、ビットストリーム処理部306に供給される。ビットストリーム処理部306では、ビデオデータストリーム、オーディオデータストリーム、さらには、2Dストリーム、3D拡張ストリーム、3Dストリームに基づいて、サブタイトルが重畳された出力立体画像データおよび音声データが得られる。この場合、立体画像データに対して、左眼サブタイトルおよび右眼サブタイトルの表示データが合成され、サブタイトルが重畳された出力立体画像データフル解像度の左眼画像データおよび右眼画像データが生成される。この出力立体画像データは、3D信号処理部301を通って、映像グラフィック処理回路307に供給される。3D信号処理部301では、HDMI受信部303で受信された立体画像データに対してデコード処理が行われて、フル解像度の左眼画像データおよび右眼画像データが生成される。この左眼画像データおよび右眼画像データは、映像グラフィック処理回路307に供給される。この映像グラフィック処理回路307では、左眼画像データおよび右眼画像データに基づいて、立体画像を表示するための画像データが生成され、必要に応じて、画質調整処理、OSDオンスクリーンディスプレイ等の重畳情報データの合成処理も行われる。この映像グラフィック処理回路307で得られる画像データはパネル駆動回路308に供給される。そのため、表示パネル309により立体画像が表示される。例えば、表示パネル309に、左眼画像データによる左眼画像および右眼画像データによる右眼画像が交互に時分割的に表示される。視聴者は、例えば、表示パネル309の表示に同期して左眼シャッタおよび右眼シャッタが交互に開くシャッタメガネを装着することで、左眼では左眼画像のみを見ることができ、右眼では右眼画像のみを見ることができ、立体画像を知覚できる。また、ビットストリーム処理部306で得られた音声データは、音声信号処理回路310に供給される。この音声信号処理回路310では、HDMI受信部303で受信された、あるいはビットストリーム処理部306で得られた音声データに対してD/A変換等の必要な処理が施される。この音声データは、音声増幅回路311で増幅された後に、スピーカ312に供給される。そのため、スピーカ312から表示パネル309の表示画像に対応した音声が出力される。なお、図56は上述したように3D対応のテレビ受信機300である。詳細説明は省略するが、レガシーの2D対応のテレビ受信機もほぼ同様の構成となる。ただし、レガシーの2D対応のテレビ受信機の場合、ビットストリーム処理部306は、上述の図55に示す2D対応ビットストリーム処理部201と同様の構成、動作となる。また、レガシーの2D対応のテレビ受信機の場合、3D信号処理部301は不要となる。また、3D対応のテレビ受信機300にあって、2次元表示モードまたは3次元表示モードのユーザ選択が可能な構成も考えられる。その場合、3次元表示モードが選択されるときには、ビットストリーム処理部306は、上述したと同様の構成、動作とされる。一方、2次元表示モードが選択されるときには、ビットストリーム処理部306は、上述の図55に示す2D対応ビットストリーム処理部201と同様の構成、動作となる。<2.変形例>なお、図50に示すセットトップボックス200においては、デジタルチューナ204に接続されるアンテナ入力端子203が設けられたものを示した。しかし、ケーブルを介して送信されてくるRF信号を入力するセットトップボックスも同様に構成できる。その場合、アンテナ端子203の代わりにケーブル端子が設けられたものとなる。また、インターネット、ホームネットワークが直接、あるいはそれらがルータ経由で接続されるセットトップボックスも同様に構成できる。つまり、その場合、セットトップボックスには、上述のトランスポートストリームTSがインターネット、ホームネットワークから直接、あるいはそれらからルータ経由で送られてくることになる。図57は、その場合におけるセットトップボックス200Aの構成例を示している。この図57において、図50と対応する部分には同一符号を付して示している。このセットトップボックス200Aは、ネットワークインタフェース209に接続されたネットワーク端子208を有している。そして、このネットワークインタフェース209からトランスポートストリームTSが出力され、ビットストリーム処理部201に供給される。詳細説明は省略するが、このセットトップボックス200Aのその他は、図50に示すセットトップボックス200と同様に構成され、同様の動作をする。また、図56に示すテレビ受信機300においては、デジタルチューナ204に接続されるアンテナ入力端子304が設けられたものを示した。しかし、ケーブルを介して送信されてくるRF信号を入力するテレビ受信機も同様に構成できる。その場合、アンテナ端子304の代わりにケーブル端子が設けられたものとなる。また、インターネット、ホームネットワークに直接、あるいはそれらがルータ経由で接続されるテレビ受信機も同様に構成できる。つまり、その場合、テレビ受信機には、上述のトランスポートストリームTSがインターネット、ホームネットワークから直接、あるいはそれらからルータ経由で送られてくることになる。図58は、その場合におけるテレビ受信機300Aの構成例を示している。この図58において、図56と対応する部分には同一符号を付して示している。このテレビ受信機300Aは、ネットワークインタフェース314に接続されたネットワーク端子313を有している。そして、このネットワークインタフェース314からトランスポートストリームTSが出力され、ビットストリーム処理部306に供給される。詳細説明は省略するが、このテレビ受信機300Aのその他は、図56に示すテレビ受信機300と同様に構成され、同様の動作をする。また、上述実施の形態においては、画像送受信システム10が、放送局100、セットトップボックス200およびテレビ受信機300で構成されているものを示した。しかし、テレビ受信機300は、図56に示すように、セットトップボックス200内のビットストリーム処理部201と同様に機能するビットストリーム処理部306を備えている。したがって、図59に示すように、放送局100およびテレビ受信機300で構成される画像送受信システム10Aも考えられる。また、上述実施の形態においては、セットトップボックス200と、テレビ受信機300とが、HDMIのデジタルインタフェースで接続されるものを示している。しかし、これらが、HDMIのデジタルインタフェースと同様のデジタルインタフェース有線の他に無線も含むで接続される場合においても、本技術を同様に適用できる。また、上述実施の形態においては、重畳情報としてサブタイトル字幕を取り扱うものを示した。しかし、その他のグラフィクス情報、テキスト情報などの重畳情報をはじめ、基本ストリームと追加ストリームとに分割されたものが関連して出力されるようにエンコーダされるもので、オーディオのストリームに関して扱うものにも、本技術を同様に適用できる。また、本技術は、以下のような構成を取ることもできる。1左眼画像データおよび右眼画像データを持つ立体画像データを出力する画像データ出力部と、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを出力する重畳情報データ出力部と、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を出力する視差情報出力部と、上記画像データ出力部から出力される立体画像データを含むビデオデータストリームのPESパケットと、上記重畳情報データ出力部から出力される重畳情報のデータを含む第1のプライベートデータストリームのPESパケットと、上記視差情報出力部から出力される視差情報を含む第2のプライベートデータストリームのPESパケットとを多重化したトランスポートストリームを生成して送信するデータ送信部とを備え、上記データ送信部は、上記第2のプライベートデータストリームのPESパケットを、該PESパケットに含まれる表示タイムスタンプのタイミングより所定期間だけ前に受信側のデコーダバッファに到達するように多重化する送信装置。2上記所定期間には、少なくとも、上記第2のプライベートデータストリームのPESパケットをデコードして上記視差情報を取得するために必要な期間が含まれる前記1に記載の送信装置。3上記トランスポートストリームには、上記第1のプライベートデータストリームのPESパケットの1個に対して、上記第2のプライベートデータストリームのPESパケットの1個が存在し、上記第2のプライベートデータストリームのPESパケットに含まれる視差情報は、上記第1のプライベートデータストリームのPESパケットに含まれる重畳情報のデータによる重畳情報が表示される期間内で順次更新される視差情報であり、最初のフレームの視差情報と、その後の更新フレーム間隔毎のフレームの視差情報とからなる前記1または2に記載の送信装置。4上記トランスポートストリームには、上記第1のプライベートデータストリームのPESパケットの1個に対して、上記第2のプライベートデータストリームのPESパケットの複数個が存在し、上記複数個の上記第2のプライベートデータストリームのPESパケットに含まれる視差情報は、上記第1のプライベートデータストリームのPESパケットに含まれる重畳情報のデータによる重畳情報が表示される期間内で順次更新される、1個または複数個の視差情報である前記1または2に記載の送信装置。5上記第2のプライベートデータストリームのPESパケットに含まれる視差情報が複数個であるとき、該複数個の視差情報には、次のPESパケットに含まれる最初のフレームの視差情報と同一のフレームの視差情報が含まれる前記4に記載の送信装置。6上記データ送信部は、上記第2のプライベートデータストリームのPESパケットに含まれる視差情報が1個であるとき、2番目以降の上記第2のプライベートデータストリームのPESパケットを、その前のPESパケットに含まれる表示タイムスタンプのタイミングの次の補間フレームより前に受信側のデコードバッファに到達するように多重化する前記4に記載の送信装置。7上記データ送信部は、上記第2のプライベートデータストリームのPESパケットに含まれるデコードタイムスタンプのタイミングを、該PESパケットに含まれる表示タイムスタンプのタイミングよりも所定期間だけ早く設定する前記1から6のいずれかに記載の送信装置。8上記第1のプライベートデータストリームのPESパケットおよび上記第2のプライベートデータストリームのPESパケットには、上記重畳情報のデータによる表示と上記視差情報による視差とを同期させるための同期情報が含まれる前記1から7のいずれかに記載の送信装置。9上記トランスポートストリームには、上記第1のプライベートデータストリームのPESパケットと上記第2のプライベートデータストリームのPESパケットとを関連付けする関連付け情報が挿入される前記1から8のいずれかに記載の送信装置。10上記重畳情報のデータは、DVB方式のサブタイトルデータであり、上記視差情報は、リージョン単位または該リージョンに含まれるサブリージョン単位の視差情報、あるいは全てのリージョンを含むページ単位の視差情報である前記1から9のいずれかに記載の送信装置。11上記第2のプライベートデータストリームのPESパケットには、上記視差情報が含まれると共に、上記重畳情報のデータも含まれる前記1から10のいずれかに記載の送信装置。12左眼画像データおよび右眼画像データを持つ立体画像データを出力する画像データ出力ステップと、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを出力する重畳情報データ出力ステップと、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を出力する視差情報出力ステップと、上記画像データ出力ステップで出力される立体画像データを含むビデオデータストリームのPESパケットと、上記重畳情報データ出力ステップで出力される重畳情報のデータを含む第1のプライベートデータストリームのPESパケットと、上記視差情報出力ステップで出力される視差情報を含む第2のプライベートデータストリームのPESパケットをと多重化したトランスポートストリームを生成して送信するデータ送信ステップとを備え、上記データ送信ステップでは、上記第2のプライベートデータストリームのPESパケットを、該PESパケットに含まれる表示タイムスタンプのタイミングより所定期間だけ前に受信側のデコーダバッファに到達するように多重化する送信方法。13左眼画像データおよび右眼画像データを持つ立体画像データを含むビデオデータストリームのPESパケットと、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを含む第1のプライベートデータストリームのPESパケットと、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を含む第2のプライベートデータストリームのPESパケットとを多重化したトランスポートストリームを受信するデータ受信部を備え、上記第2のプライベートデータストリームのPESパケットは、該PESパケットに含まれる表示タイムスタンプのタイミングより所定期間だけ前に受信側のデコーダバッファに到達するように多重化されており、上記データ受信部で受信された上記トランスポートストリームから抽出された上記ビデオデータストリームのPESパケットに対してデコード処理を行って上記立体画像データを取得する画像データ取得部と、上記データ受信部で受信された上記トランスポートストリームから抽出された、上記第1のプライベートデータストリーのPESパケットおよび上記第2のプライベートデータストリームのPESパケットを一時的に蓄積するデコードバッファと、上記デコードバッファから上記第1のプライベートデータストリームのPESパケットを読み出し、該PESパケットに対してデコード処理を行って上記重畳情報のデータを取得する重畳情報データ取得部と、上記デコードバッファから上記第2のプライベートデータストリームのPESパケットを読み出し、該PESパケットに対してデコード処理を行って上記視差情報を取得する視差情報取得部と、上記画像データ取得部で取得された立体画像データ、上記重畳情報データ取得部で取得された重畳情報のデータおよび上記視差情報取得部で取得された視差情報を用い、左眼画像および右眼画像に重畳する同一の重畳情報に視差を付与し、上記重畳情報が重畳された左眼画像のデータおよび上記重畳情報が重畳された右眼画像のデータを得る画像データ処理部とを、さらに備える受信装置。14上記視差情報取得部で取得される、上記重畳情報が表示される所定数のフレーム期間内に順次更新される視差情報に対して補間処理を施し、上記所定数のフレーム期間内における任意のフレーム間隔の視差情報を生成する視差情報補間部を、さらに備え、上記画像データ処理部は、上記視差情報補間部で生成された任意のフレーム間隔の視差情報を用いる前記13に記載の受信装置。15上記第2のプライベートデータストリームのPESパケットに含まれるデコードタイムスタンプのタイミングは、該PESパケットに含まれる表示タイムスタンプのタイミングより所定期間だけ早く設定されており、上記視差情報取得部は、上記第2のプライベートデータストリームのPESパケットに含まれるデコードタイムスタンプのタイミングで、上記デコードバッファから該第2のプライベートデータストリームのPESパケットを読み出してデコード処理を行う前記13または14に記載の受信装置。"