(57)【特許請求の範囲】
【請求項１】
左眼画像データおよび右眼画像データを含む立体画像データを出力する画像データ出力部と、
上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを出力する重畳情報データ出力部と、
上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を出力する視差情報出力部と、
上記画像データ出力部から出力される立体画像データを含む第１のデータストリームと、上記重畳情報データ出力部から出力される重畳情報のデータおよび上記視差情報出力部から出力される視差情報を含む第２のデータストリームとを有する多重化データストリームを送信するデータ送信部とを備え、
上記第２のデータストリームには、上記重畳情報のデータおよび上記視差情報がデータタイプ情報で区別されて挿入され、
上記第２のデータストリームには、同一の画面に表示される所定数の重畳情報のデータがセパレータを介して順に配置され、
上記第２のデータストリームに挿入される視差情報には、上記所定数の重畳情報のデータの配置順を示す識別情報がそれぞれ付加されている所定数の視差情報が含まれている
立体画像データ送信装置。
【請求項２】
上記重畳情報のデータは、ＡＲＩＢ方式の字幕データである
請求項１に記載の立体画像データ送信装置。
【請求項３】
上記視差情報は、上記重畳情報が表示される所定数のフレーム期間で共通に使用される視差情報または上記所定数のフレーム期間で順次更新される視差情報であり、
上記視差情報には、上記各フレームで共通に使用される視差情報であるか上記各フレームで順次更新される視差情報であるかを示すフラグ情報が付加されている
請求項１に記載の立体画像データ送信装置。
【請求項４】
上記各フレームで順次更新される視差情報は、上記所定数のフレーム期間の最初のフレームの視差情報と、２番目以降の、前のフレームの視差情報に対するオフセット情報とからなる
請求項３に記載の立体画像データ送信装置。
【請求項５】
上記視差情報には、上記左眼画像データによる画像に重畳する重畳情報および上記右眼画像データによる画像に重畳する重畳情報のうち該視差情報に基づいてシフトさせる重畳情報を指定するシフト対象情報が付加されている
請求項１に記載の立体画像データ送信装置。
【請求項６】
左眼画像データおよび右眼画像データを含む立体画像データを出力する画像データ出力ステップと、
上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを出力する重畳情報データ出力ステップと、
上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を出力する視差情報出力ステップと、
上記画像データ出力ステップで出力される立体画像データを含む第１のデータストリームと、上記重畳情報データ出力ステップで出力される重畳情報のデータおよび上記視差情報出力ステップで出力される視差情報を含む第２のデータストリームとを有する多重化データストリームを送信するデータ送信ステップとを備え、
上記第２のデータストリームには、上記重畳情報のデータおよび上記視差情報がデータタイプ情報で区別されて挿入され、
上記第２のデータストリームには、同一の画面に表示される所定数の重畳情報のデータがセパレータを介して順に配置され、
上記第２のデータストリームに挿入される視差情報には、上記所定数の重畳情報のデータの配置順を示す識別情報がそれぞれ付加されている所定数の視差情報が含まれている
立体画像データ送信方法。
【請求項７】
第１のデータストリームと第２のデータストリームとが含まれる多重化データストリームを受信するデータ受信部を備え、
上記第１のデータストリームは、立体画像を表示するための左眼画像データおよび右眼画像データを有する立体画像データを含み、
上記第２のデータストリームは、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータと、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を含み、
上記第２のデータストリームには、上記重畳情報のデータおよび上記視差情報がデータタイプ情報で区別されて挿入され、
上記第２のデータストリームには、同一の画面に表示される所定数の重畳情報のデータがセパレータを介して順に配置され、
上記第２のデータストリームに挿入される視差情報には、上記所定数の重畳情報のデータの配置順を示す識別情報がそれぞれ付加されている所定数の視差情報が含まれており、
上記データ受信部で受信された多重化データストリームに含まれる上記第１のデータストリームから立体画像データを取得する画像データ取得部と、
上記データ受信部で受信された多重化データストリームに含まれる上記第２のデータストリームから重畳情報のデータを取得する重畳情報データ取得部と、
上記データ受信部で受信された多重化データストリームに含まれる上記第２のデータストリームから視差情報を取得する視差情報取得部と、
上記画像データ取得部で取得された上記立体画像データに含まれる上記左眼画像データおよび上記右眼画像データと、上記視差情報取得部で取得された上記視差情報と、上記重畳情報データ取得部で取得された上記重畳情報のデータを用い、左眼画像および右眼画像に重畳する同一の重畳情報に視差を付与し、上記重畳情報が重畳された左眼画像のデータおよび上記重畳情報が重畳された右眼画像のデータを得る画像データ処理部とをさらに備える
立体画像データ受信装置。
【請求項８】
第１のデータストリームと第２のデータストリームとが含まれる多重化データストリームを受信するデータ受信ステップを備え、
上記第１のデータストリームは、立体画像を表示するための左眼画像データおよび右眼画像データを有する立体画像データを含み、
上記第２のデータストリームは、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータと、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を含み、
上記第２のデータストリームには、上記重畳情報のデータおよび上記視差情報がデータタイプ情報で区別されて挿入され、
上記第２のデータストリームには、同一の画面に表示される所定数の重畳情報のデータがセパレータを介して順に配置され、
上記第２のデータストリームに挿入される視差情報には、上記所定数の重畳情報のデータの配置順を示す識別情報がそれぞれ付加されている所定数の視差情報が含まれており、
上記データ受信ステップで受信された多重化データストリームに含まれる上記第１のデータストリームから立体画像データを取得する画像データ取得ステップと、
上記データ受信ステップで受信された多重化データストリームに含まれる上記第２のデータストリームから重畳情報のデータを取得する重畳情報データ所得ステップと、
上記データ受信ステップで受信された多重化データストリームに含まれる上記第２のデータストリームから視差情報を取得する視差情報取得ステップと、
上記画像データ取得ステップで取得された上記立体画像データに含まれる上記左眼画像データおよび上記右眼画像データと、上記視差情報取得ステップで取得された上記視差情報と、上記重畳情報データ取得ステップで取得された上記重畳情報のデータを用い、左眼画像および右眼画像に重畳する同一の重畳情報に視差を付与し、上記重畳情報が重畳された左眼画像のデータおよび上記重畳情報が重畳された右眼画像のデータを得る画像データ処理ステップとをさらに備える
立体画像データ受信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法に関し、特に、グラフィクス情報、テキスト情報等の重畳情報の表示を良好に行い得る立体画像データ送信装置等に関する。
【背景技術】
【０００２】
例えば、特許文献１には、立体画像データのテレビ放送電波を用いた伝送方式について提案されている。この場合、左眼用画像データおよび右眼用画像データを含む立体画像データが送信され、テレビ受信機において、両眼視差を利用した立体画像表示が行われる。
【０００３】
図５２は、両眼視差を利用した立体画像表示において、スクリーン上におけるオブジェクト（物体）の左右像の表示位置と、その立体像の再生位置との関係を示している。例えば、スクリーン上に図示のように左像Ｌａが右側に右像Ｒａが左側にずれて表示されているオブジェクトＡに関しては、左右の視線がスクリーン面より手前で交差するため、その立体像の再生位置はスクリーン面より手前となる。ＤＰａは、オブジェクトＡに関する水平方向の視差ベクトルを表している。
【０００４】
また、例えば、スクリーン上に図示のように左像Ｌｂおよび右像Ｒｂが同一位置に表示されているオブジェクトＢに関しては、左右の視線がスクリーン面で交差するため、その立体像の再生位置はスクリーン面上となる。さらに、例えば、スクリーン上に図示のように左像Ｌｃが左側に右像Ｒｃが右側にずれて表示されているオブジェクトＣに関しては、左右の視線がスクリーン面より奥で交差するため、その立体像の再生位置はスクリーン面より奥となる。ＤＰｃは、オブジェクトＣに関する水平方向の視差ベクトルを表している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−６１１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述したように立体画像表示において、視聴者は、両眼視差を利用して、立体画像の遠近感を認知することが普通である。画像に重畳される重畳情報、例えば、グラフィクス情報、テキスト情報等に関しても、２次元空間的のみならず、３次元の奥行き感としても、立体画像表示と連動してレンダリングされることが期待される。
【０００７】
例えば、画像に字幕を重畳表示(オーバーレイ表示)する場合、遠近感でいうところの最も近い画像内の物体（オブジェクト）よりも手前に表示されないと、視聴者は、遠近感の矛盾を感じる場合がある。また、他のグラフィクス情報、あるいはテキスト情報を画像に重畳表示する場合にも、画像内の各物体の遠近感に応じて視差調整を施し、遠近感の整合性を維持することが期待される。
【０００８】
この発明の目的は、グラフィクス情報、テキスト情報等の重畳情報の表示において、画像内の各物体との間の遠近感の整合性の維持を図ることにある。
【課題を解決するための手段】
【０００９】
この発明の概念は、
左眼画像データおよび右眼画像データを含む立体画像データを出力する画像データ出力部と、
上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを出力する重畳情報データ出力部と、
上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を出力する視差情報出力部と、
上記画像データ出力部から出力される立体画像データを含む第１のデータストリームと、上記重畳情報データ出力部から出力される重畳情報のデータおよび上記視差情報出力部から出力される視差情報を含む第２のデータストリームとを有する多重化データストリームを送信するデータ送信部とを備え、
上記第２のデータストリームには、上記重畳情報のデータおよび上記視差情報がデータタイプ情報で区別されて挿入され、
上記第２のデータストリームには、同一の画面に表示される所定数の重畳情報のデータがセパレータを介して順に配置され、
上記第２のデータストリームに挿入される視差情報には、上記所定数の重畳情報のデータの配置順を示す識別情報がそれぞれ付加されている所定数の視差情報が含まれている
立体画像データ送信装置にある。
【００１０】
この発明において、画像データ出力部により、左眼画像データおよび右眼画像データを含む立体画像データが出力される。また、重畳情報データ出力部により、左眼画像データおよび右眼画像データによる画像に重畳する重畳情報のデータが出力される。ここで、重畳情報は、画像に重畳されるグラフィクス情報、テキスト情報等の情報を意味している。例えば、重畳情報のデータは、例えば、ＡＲＩＢ方式の字幕データである。また、視差情報出力部により、左眼画像データおよび右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報が出力される。
【００１１】
そして、データ送信部により、第１のデータストリームと第２のデータストリームとを有する多重化データストリームが送信される。第１のデータストリームには、画像データ出力部から出力される立体画像データを含まれている。また、第２のデータストリームには、重畳情報データ出力部から出力される重畳情報のデータおよび視差情報出力部から出力される視差情報が含まれている。この場合、第２のデータストリームには、重畳情報のデータおよび視差情報がデータタイプ情報で区別されて挿入されている。
【００１２】
第２のデータストリームには、同一の画面に表示される所定数の重畳情報のデータがセパレータを介して順に配置されている。また、第２のデータストリームに挿入される視差情報には、所定数の重畳情報のデータの配置順を示す識別情報がそれぞれ付加されている所定数の視差情報が含まれている。
【００１３】
このように、この発明においては、所定数の視差情報のそれぞれに同一の画面に表示される所定数の重畳情報のデータの配置順を示す識別情報が付加されていることで、所定数の重畳情報のデータと所定数の視差情報との対応付けが行われている。受信側においては、左眼画像および右眼画像に重畳される所定数の重畳情報にそれぞれ対応する視差情報を用いて適切な視差を付与できる。そのため、重畳情報の表示において、画像内の各物体との間の遠近感の整合性を最適な状態に維持できる。
【００１４】
この発明において、例えば、視差情報は、重畳情報が表示される所定数のフレーム期間で共通に使用される視差情報または所定数のフレーム期間で順次更新される視差情報であり、視差情報には、各フレームで共通に使用される視差情報であるか各フレームで順次更新される視差情報であるかを示すフラグ情報が付加されていてもよい。この場合、各フレームで共通に使用する視差情報または各フレームで順次更新される視差情報を、例えば、画像内容に応じて、選択的に、送信することが可能となる。すなわち、画像の動きが大きい場合には、各フレームで順次更新される視差情報を送信して、受信側において、重畳情報に付与する視差を画像内容の変化に連動して動的に変化させることができる。また、画像の動きが小さい場合には、各フレームで共通に使用する視差情報を送信することで、視差情報のデータ量を抑制できる。
【００１５】
また、この発明において、例えば、各フレームで順次更新される視差情報は、所定数のフレーム期間の最初のフレームの視差情報と、２番目以降の、前のフレームの視差情報に対するオフセット情報とからなるようにしてもよい。この場合、視差情報のデータ量を抑制することが可能となる。
【００１６】
また、この発明において、例えば、視差情報には、左眼画像データによる画像に重畳する重畳情報および右眼画像データによる画像に重畳する重畳情報のうちこの視差情報に基づいてシフトさせる重畳情報を指定するシフト対象情報が付加されていてもよい。このシフト対象情報により、左眼画像に重畳する重畳情報のみをシフトさせること、右眼画像に重畳する重畳情報のみをシフトさせること、あるいは、左眼画像および右眼画像の双方に重畳する重畳情報をシフトさせることが可能となる。
【００１７】
また、この発明の他の概念は、
第１のデータストリームと第２のデータストリームとが含まれる多重化データストリームを受信するデータ受信部を備え、
上記第１のデータストリームは、立体画像を表示するための左眼画像データおよび右眼画像データを有する立体画像データを含み、
上記第２のデータストリームは、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータと、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を含み、
上記第２のデータストリームには、上記重畳情報のデータおよび上記視差情報がデータタイプ情報で区別されて挿入され、
上記第２のデータストリームには、同一の画面に表示される所定数の重畳情報のデータがセパレータを介して順に配置され、
上記第２のデータストリームに挿入される視差情報には、上記所定数の重畳情報のデータの配置順を示す識別情報がそれぞれ付加されている所定数の視差情報が含まれており、
上記データ受信部で受信された多重化データストリームに含まれる上記第１のデータストリームから立体画像データを取得する画像データ取得部と、
上記データ受信部で受信された多重化データストリームに含まれる上記第２のデータストリームから重畳情報のデータを取得する重畳情報データ取得部と、
上記データ受信部で受信された多重化データストリームに含まれる上記第２のデータストリームから視差情報を取得する視差情報取得部と、
上記画像データ取得部で取得された上記立体画像データに含まれる上記左眼画像データおよび上記右眼画像データと、上記視差情報取得部で取得された上記視差情報と、上記重畳情報データ取得部で取得された上記重畳情報のデータを用い、左眼画像および右眼画像に重畳する同一の重畳情報に視差を付与し、上記重畳情報が重畳された左眼画像のデータおよび上記重畳情報が重畳された右眼画像のデータを得る画像データ処理部とをさらに備える
立体画像データ受信装置にある。
【００１８】
この発明において、データ受信部により、第１のデータストリームと第２のデータストリームとが含まれる多重化データストリームが受信される。第１のデータストリームには、立体画像を表示するための左眼画像データおよび右眼画像データを有する立体画像データを含まれている。また、第２のデータストリームには、左眼画像データおよび右眼画像データによる画像に重畳する重畳情報のデータと、左眼画像データおよび右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報とが、データタイプ情報で区別されて挿入されている。
【００１９】
第２のデータストリームには、同一の画面に表示される所定数の重畳情報のデータがセパレータを介して順に配置されている。また、第２のデータストリームに挿入される視差情報には、所定数の重畳情報のデータの配置順を示す識別情報がそれぞれ付加されている所定数の視差情報が含まれている。
【００２０】
画像データ取得部により、データ受信部で受信された多重化データストリームに含まれる第１のデータストリームから立体画像データが取得される。また、重畳情報データ取得部により、データ受信部で受信された多重化データストリームに含まれる第２のデータストリームから重畳情報のデータが取得される。また、視差情報取得部により、データ受信部で受信された多重化データストリームに含まれる第２のデータストリームから視差情報が取得される。
【００２１】
そして、画像データ処理部により、左眼画像データおよび右眼画像データと、重畳情報のデータと、視差情報とが用いられ、左眼画像および右眼画像に重畳する同一の重畳情報に視差が付与され、重畳情報が重畳された左眼画像のデータおよび重畳情報が重畳された右眼画像のデータが得られる。
【００２２】
このように、この発明においては、所定数の視差情報のそれぞれに同一の画面に表示される所定数の重畳情報のデータの配置順を示す識別情報が付加されていることで、所定数の重畳情報のデータと所定数の視差情報との対応付けが行われている。そのため、画像データ処理部では、左眼画像および右眼画像に重畳される所定数の重畳情報にそれぞれ対応する視差情報を用いて適切な視差を付与できる。したがって、重畳情報の表示において、画像内の各物体との間の遠近感の整合性を最適な状態に維持できる。
【発明の効果】
【００２３】
この発明によれば、送信側から受信側に、立体画像データを含む第１のデータストリームと重畳情報のデータおよび視差情報が含まれる第２のデータストリームとを有する多重化データストリームが送信される。そして、第２のデータストリームには、同一の画面に表示される所定数の重畳情報のデータがセパレータを介して順に配置されている。また、第２のデータストリームに挿入される視差情報には、所定数の重畳情報のデータの配置順を示す識別情報がそれぞれ付加されている所定数の視差情報が含まれている。
【００２４】
このように、所定数の視差情報のそれぞれに同一の画面に表示される所定数の重畳情報のデータの配置順を示す識別情報が付加されていることで、所定数の重畳情報のデータと所定数の視差情報との対応付けが行われている。そのため、受信側においては、左眼画像および右眼画像に重畳される所定数の重畳情報にそれぞれ対応する視差情報を用いて適切な視差を付与できる。したがって、重畳情報の表示において、画像内の各物体との間の遠近感の整合性を最適な状態に維持できる。
【図面の簡単な説明】
【００２５】
【図１】この発明の実施の形態としての立体画像表示システムの構成例を示すブロック図である。
【図２】放送局における送信データ生成部の構成例を示すブロック図である。
【図３】１９２０×１０８０ｐのピクセルフォーマットの画像データを示す図である。
【図４】立体画像データ（３Ｄ画像データ）の伝送方式である「Top & Bottom」方式、「Side By Side」方式、「Frame Sequential」方式を説明するための図である。
【図５】左眼画像に対する右眼画像の視差ベクトルを検出する例を説明するための図である。
【図６】視差ベクトルをブロックマッチング方式で求めることを説明するための図である。
【図７】視差ベクトル検出部で検出される、画像内の所定位置おける視差ベクトルＶＶの一例を示す図である。
【図８】視差ベクトルの伝送内容を示す図である。
【図９】視差検出ブロック例と、その場合の視差ベクトルの伝送内容を示す図である。
【図１０】視差ベクトルを検出して伝送するタイミングの例を説明するための図である。
【図１１】視差ベクトルを検出して伝送するタイミングの例を説明するための図である。
【図１２】送信データ生成部において多重化される各データのストリーム例を示す図である。
【図１３】放送局における送信データ生成部の他の構成例を示すブロック図である。
【図１４】放送局における送信データ生成部において多重化される各ストリームの一例を示している。
【図１５】放送局における送信データ生成部の他の構成例を示すブロック図である。
【図１６】放送局における送信データ生成部において多重化される各ストリームの一例を示している。
【図１７】伝送方式が第１の伝送方式（「Top & Bottom」方式）の場合における、左眼グラフィクス情報および右眼グラフィクス情報の重畳位置等を説明するための図である。
【図１８】伝送方式が第１の伝送方式（「Top & Bottom」方式）の場合における、左眼グラフィクス情報および右眼グラフィクス情報の生成方法を説明するための図である。
【図１９】伝送方式が第２の伝送方式（「Side By Side」方式）の場合における、左眼グラフィクス情報および右眼グラフィクス情報の生成方法を説明するための図である。
【図２０】伝送方式が第２の伝送方式（「Side By Side」方式）の場合における、左眼グラフィクス情報および右眼グラフィクス情報の生成方法を説明するための図である。
【図２１】放送局における送信データ生成部の他の構成例を示すブロック図である。
【図２２】放送局における送信データ生成部の他の構成例を示すブロック図である。
【図２３】ＡＲＩＢ方式の字幕データを含む字幕エレメンタリストリーム（字幕データストリーム）の構成例を示す図である。
【図２４】ピクセル（画素）毎の視差ベクトルの値を各ピクセル（各画素）の輝度値として用いた場合の画像例を示す図である。
【図２５】ブロック（Block）毎の視差ベクトルの一例を示す図である。
【図２６】送信データ生成部の視差情報セット作成部で行われるダウンサイジング処理の一例を示す図である。
【図２７】視差情報セット作成部で作成される字幕（キャプション・ユニット）毎の視差情報を説明するための図である。
【図２８】字幕データストリーム内に含まれるデータユニットの構造（Syntax）を示す図である。
【図２９】データユニットの種類を識別するための８ビットのパラメータの一例を示す図である。
【図３０】視差情報のデータユニットにおいて、所定数のデータ・ユニット・データ・バイトに格納される視差情報（Disparity data）の構造（Syntax）の一例を示す図である。
【図３１】視差情報（Disparity data）のデータ規定内容（Semantics）を示す図である。
【図３２】視差情報（Disparity data）のデータ規定内容（Semantics）を示す図である。
【図３３】伝送方式が第２の伝送方式（「Side By Side」方式）の場合における、左眼グラフィクス情報および右眼グラフィクス情報の重畳位置を示す図である。
【図３４】左眼画像、右眼画像に対して、ビットストリームデータから抽出された従来方法により伝送されるグラフィクスデータによるグラフィクス画像をそのまま重畳した状態を示す図である。
【図３５】時刻Ｔ０，Ｔ１，Ｔ２，Ｔ３における３つのオブジェクト位置の視差ベクトル（View Vector）を示す図である。
【図３６】画像上における字幕（グラフィクス情報）の表示例と、背景、近景オブジェクト、字幕の遠近感を示す図である。
【図３７】画像上における字幕（グラフィクス情報）の表示例と、字幕を表示するための左眼グラフィクス情報ＬＧＩおよび右眼グラフィクス情報ＲＧＩを示す図である。
【図３８】視差ベクトルとして、画像内の複数位置で検出された視差ベクトルのうち、その重畳位置に対応したものを使用することを説明するための図である。
【図３９】視差ベクトルとして、画像内の複数位置で検出された視差ベクトルのうち、その重畳位置に対応したものを使用することを説明するための図である。
【図４０】画像内にＡ，Ｂ，Ｃの各オブジェクトが存在し、これら各オブジェクトの近傍位置に、各オブジェクトの注釈を示すテキスト情報を重畳することを示す図である。
【図４１】立体画像表示システムを構成するセットトップボックスの構成例を示すブロック図である。
【図４２】セットトップボックスを構成するビットストリーム処理部の構成例を示すブロック図である。
【図４３】視差ベクトルＶＶ１が、テレビディスプレイに向かって左側のビデオオブジェクトの方が大きい場合のスピーカ出力制御例を示す図である。
【図４４】セットトップボックスを構成するビットストリーム処理部の他の構成例を示すブロック図である。
【図４５】セットトップボックスを構成するビットストリーム処理部の他の構成例を示すブロック図である。
【図４６】セットトップボックスを構成するビットストリーム処理部の他の構成例を示すブロック図である。
【図４７】ビットストリーム処理部の他の構成例を含むセットトップボックスの構成例を示すブロック図である。
【図４８】各フレームで順次更新される視差情報に基づいて、左眼画像、右眼画像に重畳される字幕（キャプション・ユニット）に視差を付与する処理の一例を示す図である。
【図４９】左眼画像および右眼画像への字幕（キャプション・ユニット）およびグラフィクス情報の重畳例を示す図である。
【図５０】立体画像表示システムを構成するテレビ受信機の構成例を示す図である。
【図５１】立体画像表示システムの他の構成例を示す図である。
【図５２】両眼視差を利用した立体画像表示において、スクリーン上におけるオブジェクトの左右像の表示位置と、その立体像の再生位置との関係を示す図である。
【発明を実施するための形態】
【００２６】
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
１．実施の形態
２．変形例
【００２７】
＜１．実施の形態＞
［立体画像送受信システムの構成例］
図１は、実施の形態としての立体画像送受信システム１０の構成例を示している。この立体画像送受信システム１０は、放送局１００と、セットトップボックス（ＳＴＢ：Set Top Box）２００と、テレビ受信機３００を有している。
【００２８】
セットトップボックス２００およびテレビ受信機３００は、ＨＤＭＩ(High Definition Multimedia Interface)ケーブル４００を介して接続されている。セットトップボックス２００には、ＨＤＭＩ端子２０２が設けられている。テレビ受信機３００には、ＨＤＭＩ端子３０２が設けられている。ＨＤＭＩケーブル４００の一端はセットトップボックス２００のＨＤＭＩ端子２０２に接続され、このＨＤＭＩケーブル４００の他端はテレビ受信機３００のＨＤＭＩ端子３０２に接続されている。
【００２９】
［放送局の説明］
放送局１００は、ビットストリームデータＢＳＤを、放送波に載せて送信する。このビットストリームデータＢＳＤには、左眼画像データおよび右眼画像データを含む立体画像データ、音声データ、重畳情報のデータ、さらには視差情報（視差ベクトル）などが含まれる。ここで、重畳情報は、グラフィクス情報、テキスト情報などである。
【００３０】
「送信データ生成部の構成例」
図２は、放送局１００において、上述のビットストリームデータＢＳＤを生成する送信データ生成部１１０の構成例を示している。この構成例は、視差ベクトルを数値情報として送信する例である。この送信データ生成部１１０は、カメラ１１１Ｌ，１１１Ｒと、ビデオフレーミング部１１２と、ビデオエンコーダ１１３と、視差ベクトル検出部１１４と、視差ベクトルエンコーダ１１５を有している。
【００３１】
また、この送信データ生成部１１０は、マイクロホン１１６と、オーディオエンコーダ１１７と、グラフィクス発生部１１８と、グラフィクスエンコーダ１１９と、テキスト発生部１２０と、テキストエンコーダ１２１と、マルチプレクサ１２２を有している。
【００３２】
カメラ１１１Ｌは、左眼画像を撮影して立体画像表示のための左眼画像データを得る。カメラ１１１Ｒは、右眼画像を撮影して立体画像表示のための右眼画像データを得る。ビデオフレーミング部１１２は、カメラ１１１Ｌで得られる左眼画像データおよびカメラ１１１Ｒで得られる右眼画像データを、伝送方式に応じた立体画像データに加工処理する。
【００３３】
［立体画像データの伝送方式例］
ここでは、立体画像データ（３Ｄ画像データ）の伝送方式として、以下の第１〜第３の方式を挙げるが、これら以外の伝送方式であってもよい。ここでは、図３に示すように、左眼（Ｌ）および右眼（Ｒ）の画像データが、それぞれ、決められた解像度、例えば、１９２０×１０８０ｐのピクセルフォーマットの画像データである場合を例にとって説明する。
【００３４】
第１の伝送方式は、「Top & Bottom」方式で、図４（ａ）に示すように、垂直方向の前半では左眼画像データの各ラインのデータを伝送し、垂直方向の後半では左眼画像データの各ラインのデータを伝送する方式である。この場合、左眼画像データおよび右眼画像データのラインが１／２に間引かれることから原信号に対して垂直解像度は半分となる。
【００３５】
第２の伝送方式は、「Side By Side」方式で、図４（ｂ）に示すように、水平方向の前半では左眼画像データのピクセルデータを伝送し、水平方向の後半では右眼画像データのピクセルデータを伝送する方式である。この場合、左眼画像データおよび右眼画像データは、それぞれ、水平方向のピクセルデータが１／２に間引かれる。現信号に対して、水平解像度は半分となる。
【００３６】
第３の伝送方式は、「Frame Sequential」方式で、図４（ｃ）に示すように、左眼画像データと右眼画像データとをフィールド毎に順次切換えて伝送する方式である。
【００３７】
図２に戻って、ビデオエンコーダ１１３は、ビデオフレーミング部１１２で加工処理された立体画像データに対して、ＭＰＥＧ４−ＡＶＣ、ＭＰＥＧ２、ＶＣ−１等の符号化を施して符号化ビデオデータを得る。また、ビデオエンコーダ１１３は、後段にストリームフォーマッタ１１３ａを備える。このストリームフォーマッタ１１３ａにより、ペイロード部に符号化ビデオデータを含むビデオのエレメンタリストリームを生成する。
【００３８】
視差ベクトル検出部１１４は、左眼画像データおよび右眼画像データに基づき、画像内の所定位置において、左眼画像および右眼画像の一方に対する他方の視差情報である視差ベクトルを検出する。ここで、画像内の所定位置は、全ての画素（ピクセル）位置、複数画素からなる各領域の代表位置、あるいは、重畳情報、ここではグラフィクス情報、テキスト情報を重畳する領域の代表位置等である。
【００３９】
［視差ベクトルの検出］
視差ベクトルの検出例について説明する。ここでは、左眼画像に対する右眼画像の視差ベクトルを検出する例について説明する。図５に示すように、左眼画像を検出画像とし、右眼画像を参照画像とする。この例では、（xi,yi）および（xj,yj）の位置における視差ベクトルが検出される。
【００４０】
（xi,yi）の位置における視差ベクトルを検出する場合を例にとって説明する。この場合、左眼画像に、（xi,yi）の位置の画素を左上とする、例えば８×８あるいは１６×１６の画素ブロック（視差検出ブロック）Ｂｉが設定される。そして、右眼画像において、画素ブロックＢｉとマッチングする画素ブロックが探索される。
【００４１】
この場合、右眼画像に、（xi,yi）の位置を中心とする探索範囲が設定され、その探索範囲内の各画素を順次注目画素として、上述の画素ブロックＢｉと同様の例えば８×８あるいは１６×１６の比較ブロックが順次設定されていく。
【００４２】
画素ブロックＢｉと順次設定される比較ブロックとの間で、対応する画素毎の差分絶対値の総和が求められる。ここで、図６に示すように、画素ブロックＢｉの画素値をＬ(x,y)とし、比較ブロックの画素値をＲ(x,y)とするとき、画素ブロックＢｉと、ある比較ブロックとの間における差分絶対値の総和は、Σ｜Ｌ(x,y)−Ｒ(x,y)｜で表される。
【００４３】
右眼画像に設定される探索範囲にｎ個の画素が含まれているとき、最終的にｎ個の総和Ｓ１〜Ｓｎが求められ、その中で最小の総和Ｓminが選択される。そして、この総和Ｓminが得られた比較ブロックから左上の画素の位置が（xi′,yi′）が得られる。これにより、（xi,yi）の位置における視差ベクトルは、（xi′−xi，yi′−yi）のように検出される。詳細説明は省略するが、（xj,yj）の位置における視差ベクトルについても、左眼画像に、（xj,yj）の位置の画素を左上とする、例えば８×８あるいは１６×１６の画素ブロックＢｊが設定されて、同様の処理過程で検出される。
【００４４】
図７（ａ）は、視差ベクトル検出部１１４で検出される、画像内の所定位置おける視差ベクトルＶＶの一例を示している。この場合、図７（ｂ）に示すように、この画像内の所定位置においては、左眼画像（検出画像）を視差ベクトルＶＶだけずらすと、右眼画像（参照画像）と重なることを意味する。
【００４５】
図２に戻って、視差ベクトルエンコーダ１１５は、視差ベクトル検出部１１４で検出された視差ベクトル等を含む視差ベクトルのエレメンタリストリームを生成する。ここで、視差ベクトルのエレメンタリストリームには、以下の内容が含まれる。すなわち、ＩＤ（ID_Block）、垂直位置情報（Vertical_Position）、水平位置情報（Horizontal_Position）、視差ベクトル（View_Vector）が１セットとされる。そして、この１セットが視差検出ブロックの数であるＮ個分だけ繰り返される。
【００４６】
図８は、視差ベクトルの伝送内容を示している。視差ベクトルには、垂直方向成分（View_Vector_Vertical）および水平方向成分（View_Vector_Horizontal）が含まれている。  なお、視差検出ブロックの垂直、水平の位置は、画像の左上の原点から、ブロックの左上の画素までの垂直方向、水平方向のオフセット値となる。各視差ベクトルの伝送に、視差検出ブロックのＩＤを付すのは、画像に重畳表示するグラフィクス情報、テキスト情報等の重畳情報とのリンクがとれるようにするためである。
【００４７】
なお、図８の例では、水平、垂直の視差ベクトル（視差情報）を１６ビットの情報としている。しかし、この視差ベクトル（視差情報）のビット数はこの１６ビットに限定されるものではない。後述する８ビットなど、表示サイズ、あるいは付与すべき視差の大きさなどにより適宜なビット数をとることができる。
【００４８】
例えば、図９（ａ）に示すように、Ａ〜Ｆまでの視差検出ブロックが存在するとき、伝送内容には、図９（ｂ）に示すように、その視差検出ブロックＡ〜ＦのＩＤと、垂直、水平の位置情報と、視差ベクトルが含まれる。例えば、図９（ｂ）において、視差検出ブロックＡに関しては、ＩＤ２は視差検出ブロックＡのＩＤを示し、（Ｈａ，Ｖａ）は視差検出ブロックＡの垂直、水平の位置情報を示し、視差ベクトルａは視差検出ブロックＡの視差ベクトルを示している。
【００４９】
ここで、視差ベクトルを検出して伝送するタイミングについて説明する。このタイミングに関しては、例えば、以下の第１〜第４の例が考えられる。
【００５０】
第１の例においては、図１０（ａ）に示すように、ピクチャの符号化に同期させる。この場合、視差ベクトルは、ピクチャ単位で伝送される。このピクチャ単位は、視差ベクトルを伝送する際のもっとも細かい単位である。第２の例においては、図１０（ｂ）に示すように、ビデオのシーンに同期させる。この場合、視差ベクトルは、シーン単位で伝送される。
【００５１】
第３の例においては、図１０（ｃ）に示すように、符号化ビデオのＩピクチャ(Intra picture)、またはＧＯＰ（Group Of Pictures）に同期させる。第４の例においては、図１１に示すように、画像に重畳表示するグラフィクス情報、テキスト情報等の重畳情報の表示開始タイミングに同期させる。
【００５２】
図２に戻って、マイクロホン１１６は、カメラ１１１Ｌ，１１１Ｒで撮影された画像に対応した音声を検出して、音声データを得る。オーディオエンコーダ１１７は、マイクロホン１１６で得られた音声データに対して、ＭＰＥＧ−２Ａｕｄｉｏ ＡＡＣ等の符号化を施し、オーディオのエレメンタリストリームを生成する。
【００５３】
グラフィクス発生部１１８は、画像に重畳するグラフィクス情報（サブタイトル情報も含む）のデータ（グラフィクスデータ）を発生する。グラフィクスエンコーダ１１９は、グラフィクス発生部１１８で発生されたグラフィクスデータを含むグラフィクスエレメンタリストリームを生成する。ここで、グラフィクス情報は、重畳情報を構成している。
【００５４】
グラフィクス情報は、例えば、ロゴなどである。サブタイトル情報は、例えば、字幕などである。このグラフィクスデータは、ビットマップデータである。このグラフィクスデータには、画像上の重畳位置を示すアイドリングオフセット情報が付加されている。このアイドリングオフセット情報は、例えば、画像の左上の原点から、グラフィクス情報の重畳位置の左上の画素までの垂直方向、水平方向のオフセット値を示す。なお、字幕データをビットマップデータとして伝送する規格は、ヨーロッパのデジタル放送規格であるＤＶＢで「DVB_Subtitling」として規格化され、運用されている。
【００５５】
テキスト発生部１２０は、画像に重畳するテキスト情報（クローズド・キャプション情報も含む）のデータ（テキストデータ）を発生する。テキストエンコーダ１２１は、テキスト発生部１２０で発生されたテキストデータを含むテキストエレメンタリストリームを生成する。ここで、テキスト情報は、重畳情報を構成している。
【００５６】
テキスト情報は、例えば電子番組表、文字放送内容などである。このテキストデータには、上述のグラフィクスデータと同様に、画像上の重畳位置を示すアイドリングオフセット情報が付加されている。このアイドリングオフセット情報は、例えば、画像の左上の原点から、テキスト情報の重畳位置の左上の画素までの垂直方向、水平方向のオフセット値を示す。なお、テキストデータを伝送する例としては、番組予約として運用されているＥＰＧ、アメリカのデジタル地上波規格ＡＴＳＣのCC_data(Closed Caption)がある。
【００５７】
マルチプレクサ１２２は、ビデオエンコーダ１１３、視差ベクトルエンコーダ１１５、オーディオエンコーダ１１７、グラフィクスエンコーダ１１９およびテキストエンコーダ１２１から出力される各エレメンタリストリームを多重化する。そして、マルチプレクサ１２２は、伝送データ（多重化データストリーム）としてのビットストリームデータ（トランスポートストリーム）ＢＳＤを出力する。
【００５８】
図２に示す送信データ生成部１１０の動作を簡単に説明する。カメラ１１１Ｌでは、左眼画像が撮影される。このカメラ１１１Ｌで得られる立体画像表示のための左眼画像データはビデオフレーミング部１１２に供給される。また、カメラ１１１Ｒでは、右眼画像が撮影される。このカメラ１１１Ｒで得られる立体画像表示のための右眼画像データはビデオフレーミング部１１２に供給される。ビデオフレーミング部１１２では、左眼画像データおよび右眼画像データが、伝送方式に応じた立体画像データに加工処理されて、立体画像データが得られる（図４（ａ）〜（ｃ）参照）。
【００５９】
ビデオフレーミング部１１２で得られる立体画像データはビデオエンコーダ１１３に供給される。このビデオエンコーダ１１３では、立体画像データに対してＭＰＥＧ４−ＡＶＣ、ＭＰＥＧ２、ＶＣ−１等の符号化が施され、符号化ビデオデータを含むビデオエレメンタリストリームが生成される。このビデオエレメンタリストリームはマルチプレクサ１２２に供給される。
【００６０】
また、カメラ１１１Ｌ，１１１Ｒで得られた左眼画像データ、右眼画像データは、ビデオフレーミング部１１２を通じて、視差ベクトル検出部１１４に供給される。この視差ベクトル検出部１１４では、左眼画像データおよび右眼画像データに基づき、画像内の所定位置において、視差検出ブロックが設定され、左眼画像および右眼画像の一方に対する他方の視差情報である視差ベクトルが検出される。
【００６１】
視差ベクトル検出部１１４で検出された画像内の所定位置における視差ベクトルは、視差ベクトルエンコーダ１１５に供給される。この場合、視差検出ブロックのＩＤ、視差検出ブロックの垂直位置情報、視差検出ブロックの水平位置情報、視差ベクトルが１セットとして渡される。視差ベクトルエンコーダ１１５では、視差ベクトルの伝送内容（図８参照）を含む視差ベクトルエレメンタリストリームが生成される。この視差ベクトルエレメンタリストリームはマルチプレクサ１２２に供給される。
【００６２】
また、マイクロホン１１６では、カメラ１１１Ｌ，１１１Ｒで撮影された画像に対応した音声が検出される。このマイクロホン１１６で得られる音声データはオーディオエンコーダ１１７に供給される。このオーディオエンコーダ１１７では、音声データに対して、ＭＰＥＧ−２Ａｕｄｉｏ ＡＡＣ等の符号化が施され、符号化オーディオデータを含むオーディオエレメンタリストリームが生成される。このオーディオエレメンタリストリームはマルチプレクサ１２２に供給される。
【００６３】
また、グラフィクス発生部１１８では、画像に重畳するグラフィクス情報のデータ（グラフィクスデータ）が発生される。このグラフィクスデータは、グラフィクスエンコーダ１１９に供給される。このグラフィクスデータには、画像上の重畳位置を示すアイドリングオフセット情報が付加されている。グラフィクスエンコーダ１１９では、このグラフィクスデータに対して所定の符号化が施され、符号化データを含むグラフィクスエレメンタリストリームが生成される。このグラフィクスエレメンタリストリームはマルチプレクサ１２２に供給される。
【００６４】
また、テキスト発生部１２０では、画像に重畳するテキスト情報のデータ（テキストデータ）が発生される。このテキストデータは、テキストエンコーダ１２１に供給される。このテキストデータには、上述のグラフィクスデータと同様に、画像上の重畳位置を示すアイドリングオフセット情報が付加されている。テキストエンコーダ１２１では、このテキストデータに対して所定の符号化が施され、符号化データを含むテキストエレメンタリストリームが生成される。このテキストエレメンタリストリームはマルチプレクサ１２２に供給される。
【００６５】
マルチプレクサ１２２では、各エンコーダから供給されるエレメンタリストリームがパケット化されて多重化され、伝送データとしてのビットストリームデータ（トランスポートストリーム）ＢＳＤが得られる。
【００６６】
図１２は、図２に示す送信データ生成部１１０において多重化される各データのストリーム例を示している。なお、この例は、視差ベクトルが、ビデオのシーン単位で検出されて伝送される場合（図１０（ｂ）参照）を示している。なお、各ストリームのパケットには、同期表示用のタイムスタンプが付され、受信側で、画像に対して、サブタイトル情報、グラフィクス情報、テキスト情報等の重畳タイミングを制御することが可能となっている。
【００６７】
なお、図２に示す送信データ生成部１１０において、立体画像データはビデオフレーミング部１１２で生成され、視差情報（視差ベクトル）は視差ベクトル検出部１１４で検出され、音声データはマイクロホン１１６から得られる。しかし、これら立体画像データ、視差情報（視差ベクトル）および音声データを、データ取り出し部（アーカイブ部）において、データ記録媒体から読み出して得る構成も考えられる。
【００６８】
「送信データ生成部の他の構成例」
なお、上述の図２に示す送信データ生成部１１０は、視差ベクトルの伝送内容（図８参照）を独立したエレメンタリストリームとして受信側に伝送する構成となっている。しかし、視差ベクトルの伝送内容を他のストリームの中に埋め込んで伝送することも考えられる。例えば、視差ベクトルの伝送内容は、ビデオのストリームにユーザデータとして埋め込まれて伝送される。また、例えば、視差ベクトルの伝送内容は、グラフィクス、あるいはテキストのストリームに埋め込まれて伝送される。
【００６９】
図１３は、送信データ生成部１１０Ａの構成例を示している。この例も、視差ベクトルを数値情報として送信する例である。この送信データ生成部１１０Ａは、視差ベクトルの伝送内容を、ビデオのストリームにユーザデータとして埋め込んで伝送する構成となっている。この図１３において、図２と対応する部分には同一符号を付し、その詳細説明は省略する。
【００７０】
この送信データ生成部１１０Ａにおいて、視差ベクトル検出部１１４で検出された画像内の所定位置における視差ベクトルは、ビデオエンコーダ１１３内のストリームフォーマッタ１１３ａに供給される。この場合、視差検出ブロックのＩＤ、視差検出ブロックの垂直位置情報、視差検出ブロックの水平位置情報、視差ベクトルが１セットとして渡される。ストリームフォーマッタ１１３ａでは、ビデオのストリームに、視差ベクトルの伝送内容（図８参照）が、ユーザデータとして埋め込まれる。
【００７１】
詳細説明は省略するが、この図１３に示す送信データ生成部１１０Ａのその他は、図２に示す送信データ生成部１１０と同様に構成されている。
【００７２】
図１４は、図１３に示す送信データ生成部１１０Ａにおいて多重化される画像データストリームと、グラフィクスデータストリームと、テキストデータストリームの一例を示している。視差ベクトル（視差情報）は、画像データストリームに埋め込まれて伝送される。
【００７３】
「送信データ生成部の他の構成例」
図１５は、送信データ生成部１１０Ｂの構成例を示している。この例も、視差ベクトルを数値情報として送信する例である。この送信データ生成部１１０Ｂは、視差ベクトルの伝送内容を、グラフィクスデータストリームに埋め込んで伝送する構成となっている。この図１５において、図２と対応する部分には同一符号を付し、その詳細説明は省略する。
【００７４】
この送信データ生成部１１０Ｂにおいて、視差ベクトル検出部１１４で検出された画像内の所定位置における視差ベクトルは、グラフィクスエンコーダ１１９内のストリームフォーマッタ１１９ａに供給される。この場合、視差検出ブロックのＩＤ、視差検出ブロックの垂直位置情報、視差検出ブロックの水平位置情報、視差ベクトルが１セットとして渡される。ストリームフォーマッタ１１９ａでは、グラフィクスデータストリームに、視差ベクトルの伝送内容（図８参照）が埋め込まれる。
【００７５】
詳細説明は省略するが、この図１５に示す送信データ生成部１１０Ｂのその他は、図２に示す送信データ生成部１１０と同様に構成され、同様に動作する。
【００７６】
図１６は、図１５に示す送信データ生成部１１０Ｂにおいて多重化される、画像データストリームと、グラフィクスのデータストリームと、テキストデータストリームの一例を示している。視差ベクトル（視差情報）は、グラフィクスのデータストリームに埋め込まれて伝送される。
【００７７】
「送信データ生成部の他の構成例」
また、上述の図２、図１３、図１５に示す送信データ生成部１１０，１１０Ａ，１１０Ｂは、視差ベクトルを数値情報として送信する（図８参照）。しかし、視差ベクトルを数値情報として伝送する代わりに、画像に重畳するための重畳情報（例えば、グラフィクス情報、テキスト情報等）のデータに送信側で視差情報を予め反映させて送信することも考えられる。
【００７８】
例えば、グラフィクス情報のデータに反映させる場合、送信側で、左眼画像に重畳すべき左眼グラフィクス情報と右眼画像に重畳すべき右眼グラフィクス情報の双方に対応したグラフィクスデータが生成される。この場合、左眼グラフィクス情報および右眼グラフィクス情報は同一のグラフィクス情報である。しかし、画像内の表示位置が、例えば、左眼グラフィクス情報に対して、右眼グラフィクス情報は、その表示位置に対応した視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。
【００７９】
例えば、視差ベクトルとしては、画像内の複数位置で検出された視差ベクトルのうち、その重畳位置に対応したものが使用される。また、例えば、視差ベクトルとしては、画像内の複数位置で検出された視差ベクトルのうち、遠近感でいうところの最も近く認識される位置の視差ベクトルが使用される。なお、詳細説明は省略するが、テキスト情報のデータに視差情報を反映させる場合も同様である。
【００８０】
図１７（ａ）は、伝送方式が上述の第１の伝送方式（「Top & Bottom」方式）である場合における、左眼グラフィクス情報および右眼グラフィクス情報の重畳位置を示している。これら左眼グラフィクス情報および右眼グラフィクス情報は同一の情報である。ただし、左眼画像ＩＬ上に重畳される左眼グラフィクス情報ＬＧＩに対して、右眼画像ＩＲ上に重畳される右眼グラフィクス情報ＲＧＩは、視差ベクトルの水平方向成分ＶＶTだけ水平方向にずれた位置とされている。
【００８１】
各画像ＩＬ，ＩＲに対して、図１７（ａ）に示すように、各グラフィクス情報ＬＧＩ，ＲＧＩが重畳されるように、グラフィクスデータが生成される。これにより、視聴者は、図１７（ｂ）に示すように、各画像ＩＬ，ＩＲと共に、各グラフィクス情報ＬＧＩ，ＲＧＩを、視差をもって観察でき、グラフィクス情報にも、遠近感を認知可能となる。
【００８２】
例えば、各グラフィクス情報ＬＧＩ，ＲＧＩのグラフィクスデータは、図１８（ａ）に示すように、単一領域のデータとして生成される。この場合、各グラフィクス情報ＬＧＩ，ＲＧＩ以外の部分のデータは、透明データとして生成されればよい。また、例えば、各グラフィクス情報ＬＧＩ，ＲＧＩのグラフィクスデータは、図１８（ｂ）に示すように、別領域のデータとして生成される。
【００８３】
図１９（ａ）は、伝送方式が上述の第２の伝送方式（「Side By Side」方式）である場合における、左眼グラフィクス情報および右眼グラフィクス情報の重畳位置を示している。これら左眼グラフィクス情報および右眼グラフィクス情報は同一の情報である。ただし、左眼画像ＩＬ上に重畳される左眼グラフィクス情報ＬＧＩに対して、右眼画像ＩＲ上に重畳される右眼グラフィクス情報ＲＧＩは、視差ベクトルの水平方向成分ＶＶTだけ水平方向にずれた位置とされている。なお、ＩTは、アイドリングオフセット値である。
【００８４】
各画像ＩＬ，ＩＲに対して、図１９（ａ）に示すように、各グラフィクス情報ＬＧＩ，ＲＧＩが重畳されるように、グラフィクスデータが生成される。これにより、視聴者は、図１９（ｂ）に示すように、各画像ＩＬ，ＩＲと共に、各グラフィクス情報ＬＧＩ，ＲＧＩを、視差をもって観察でき、グラフィクス情報にも、遠近感を認知可能となる。
【００８５】
例えば、各グラフィクス情報ＬＧＩ，ＲＧＩのグラフィクスデータは、図２０に示すように、単一領域のデータとして生成される。この場合、各グラフィクス情報ＬＧＩ，ＲＧＩ以外の部分のデータは、透明データとして生成されればよい。
【００８６】
図２１は、送信データ生成部１１０Ｃの構成例を示している。この送信データ生成部１１０Ｃは、グラフィクス情報、テキスト情報等の重畳情報のデータに視差情報を反映させて送信する構成となっている。この図２１において、図２と対応する部分には同一符号を付し、その詳細説明は省略する。
【００８７】
この送信データ生成部１１０Ｃでは、グラフィクス発生部１１８とグラフィクスエンコーダ１１９との間に、グラフィクス処理部１２４が挿入されている。また、この送信データ生成部１１０Ｃでは、テキスト発生部１２０とテキストエンコーダ１２１との間に、テキスト処理部１２５が挿入されている。そして、視差ベクトル検出部１１４で検出された画像内の所定位置における視差ベクトルは、グラフィクス処理部１２４およびテキスト処理部１２５に供給される。
【００８８】
グラフィクス処理部１２４では、グラフィクス発生部１１８で発生されるグラフィクスデータに基づいて、左眼画像上に重畳される左眼グラフィクス情報のデータおよび右眼画像上に重畳される右眼グラフィクス情報のデータが生成される。この場合、左眼グラフィクス情報および右眼グラフィクス情報は同一のグラフィクス情報である。しかし、画像内の重畳位置が、例えば、左眼のグラフィクス情報に対して、右眼のグラフィクス情報は、視差ベクトルの水平方向成分ＶＶTだけ、水平方向にずれるようにされる（図１７（ａ）、図１９（ａ）参照）。
【００８９】
このようにグラフィクス処理部１２４で生成されたグラフィクスデータは、グラフィクスエンコーダ１１９に供給される。なお、このグラフィクスデータには、画像上の重畳位置を示すアイドリングオフセット情報が付加されている。グラフィクスエンコーダ１１９では、グラフィクス処理部１２４で生成されたグラフィクスデータのエレメンタリストリームが生成される。
【００９０】
また、テキスト処理部１２５では、テキスト発生部１２０で発生されるテキストデータに基づいて、左眼画像上に重畳される左眼テキスト情報のデータおよび右眼画像上に重畳される右眼テキスト情報のデータが生成される。この場合、左眼テキスト情報および右眼テキスト情報は同一のテキスト情報であるが、画像内の重畳位置が、例えば、左眼テキスト情報に対して、右眼テキスト情報は、視差ベクトルの水平方向成分ＶＶTだけ、水平方向にずれるようにされる。
【００９１】
このようにテキスト処理部１２５で生成されたテキストデータは、テキストエンコーダ１２１に供給される。なお、このテキストデータには、画像上の重畳位置を示すアイドリングオフセット情報が付加されている。テキストエンコーダ１２１では、テキスト処理部１２５で生成されたテキストスデータのエレメンタリストリームが生成される。
【００９２】
詳細説明は省略するが、この図２１に示す送信データ生成部１１０Ｃのその他は、図２に示す送信データ生成部１１０と同様に構成されている。
【００９３】
「送信データ生成部の他の構成例」
図２２は、送信データ生成部１１０Ｄの構成例を示している。この送信データ生成部１１０Ｄは、既存の放送規格の一つであるＡＲＩＢ（Association of Radio Industries and Businesses）に容易に連携できるデータ構造で視差情報を送信する例である。この送信データ生成部１１０Ｄは、データ取り出し部（アーカイブ部）１３０と、視差情報セット作成部１３１と、ビデオエンコーダ１１３と、オーディオエンコーダ１１７と、字幕発生部１３２と、字幕エンコーダ１３３と、マルチプレクサ１２２を有している。
【００９４】
データ取り出し部１３０には、データ記録媒体１３０ａが、例えば、着脱自在に装着される。このデータ記録媒体１３０ａには、左眼画像データおよび右眼画像データを含む立体画像データと共に、音声データ、視差情報が対応付けて記録されている。データ取り出し部１３０は、データ記録媒体１３０ａから、立体画像データ、音声データ、視差情報等を取り出して出力する。データ記録媒体１３０ａは、ディスク状記録媒体、半導体メモリ等である。
【００９５】
ここで、データ記録媒体１３０ａに記録されている立体画像データは、図２に示す送信データ生成部１１０のビデオフレーミング部１１２で得られる立体画像データに相当するものである。また、データ記録媒体１３０ａに記録されている視差情報は、例えば、画像を構成するピクセル（画素）毎の視差ベクトルである。
【００９６】
字幕発生部１３２は、ＡＲＩＢ方式の字幕データを発生する。字幕エンコーダ１３３は、字幕発生部１３２で発生された字幕データを含む字幕エレメンタリストリーム（字幕データストリーム）を生成する。図２３（ａ）は、字幕データストリームの構成例を示している。この例は、図２３（ｂ）に示すように、１つの画面に、「1st Caption Unit」、「2nd Caption Unit」、「3rd Caption Unit」の３つのキャプション・ユニット（字幕）が表示される例を示している。
【００９７】
字幕データストリームには、各キャプション・ユニットの字幕データが、ユニット・セパレータ（unit_separator）を介して、順に配置されている。各キャプション・ユニットの字幕データには、表示領域を示すデータも含まれている。「1st Caption Unit」、「2nd Caption Unit」、「3rd Caption Unit」のキャプション・ユニットの表示領域は、それぞれ、（x1,y1）、（x2,y2）、（x3,y3）で示されている。
【００９８】
視差情報セット作成部１３１は、ビューワ機能を持っている。この視差情報セット作成部１３１は、データ取り出し部１３０から出力される視差ベクトル、すなわちピクセル（画素）毎の視差ベクトルにダウンサイジング処理を施し、所定の領域に属する視差ベクトルを生成する。
【００９９】
図２４は、各ピクセル（画素）の輝度値のようにして与えられる相対的な深さ方向のデータの例を示している。ここで、相対的な深さ方向のデータは所定の変換により画素ごとの視差ベクトルとして扱うことが可能となる。この例において、人物部分の輝度値は高くなっている。これは、人物部分の視差ベクトルの値が大きいことを意味し、従って、立体画像表示では、この人物部分が浮き出た状態に知覚されることを意味している。また、この例において、背景部分の輝度値は低くなっている。これは、背景部分の視差ベクトルの値が小さいことを意味し、従って、立体画像表示では、この背景部分が沈んだ状態に知覚されることを意味している。
【０１００】
図２５は、ブロック（Block）毎の視差ベクトルの一例を示している。ブロックは、最下層に位置するピクセル（画素）の上位層に当たる。このブロックは、画像（ピクチャ）領域が、水平方向および垂直方向に所定の大きさで分割されることで構成される。各ブロックの視差ベクトルは、例えば、そのブロック内に存在する全ピクセル（画素）の視差ベクトルから、最も値の大きな視差ベクトルが選択されることで得られる。この例においては、各ブロックの視差ベクトルを矢印で示しており、矢印の長さが視差ベクトルの大きさに対応している。
【０１０１】
図２６は、視差情報セット作成部１３１で行われるダウンサイジング処理の一例を示している。まず、視差情報セット作成部１３４は、図２６（ａ）に示すように、ピクセル（画素）毎の視差ベクトルを用いて、ブロック毎の視差ベクトルを求める。上述したように、ブロックは、最下層に位置するピクセル（画素）の上位層に当たり、画像（ピクチャ）領域が水平方向および垂直方向に所定の大きさで分割されることで構成される。そして、各ブロックの視差ベクトルは、例えば、そのブロック内に存在する全ピクセル（画素）の視差ベクトルから、最も値の大きな視差ベクトルが選択されることで得られる。
【０１０２】
次に、視差情報セット作成部１３１は、図２６（ｂ）に示すように、ブロック毎の視差ベクトルを用いて、グループ（Group Of Block）毎の視差ベクトルを求める。グループは、ブロックの上位層に当たり、複数個の近接するブロックをまとめてグループ化することで得られる。図２６（ｂ）の例では、各グループは、破線枠で括られる４個のブロックにより構成されている。そして、各グループの視差ベクトルは、例えば、そのグループ内の全ブロックの視差ベクトルから、最も値の大きな視差ベクトルが選択されることで得られる。
【０１０３】
次に、視差情報セット作成部１３１は、図２６（ｃ）に示すように、グループ毎の視差ベクトルを用いて、パーティション（Partition）毎の視差ベクトルを求める。パーティションは、グループの上位層に当たり、複数個の近接するグループをまとめてグループ化することで得られる。図２６（ｃ）の例では、各パーティションは、破線枠で括られる２個のグループにより構成されている。そして、各パーティションの視差ベクトルは、例えば、そのパーティション内の全グループの視差ベクトルから、最も値の大きな視差ベクトルが選択されることで得られる。
【０１０４】
次に、視差情報セット作成部１３１は、図２６（ｄ）に示すように、パーティション毎の視差ベクトルを用いて、最上位層に位置するピクチャ全体（画像全体）の視差ベクトルを求める。図２６（ｄ）の例では、ピクチャ全体には、破線枠で括られる４個のパーティションが含まれている。そして、ピクチャ全体の視差ベクトルは、例えば、ピクチャ全体に含まれる全パーティションの視差ベクトルから、最も値の大きな視差ベクトルが選択されることで得られる。
【０１０５】
このようにして、視差情報セット作成部１３１は、最下層に位置するピクセル（画素）毎の視差ベクトルにダウンサイジング処理を施して、ブロック、グループ、パーティション、ピクチャ全体の各階層の各領域の視差ベクトルを求めることができる。なお、図２６に示すダウンサイジング処理の一例では、最終的に、ピクセル（画素）の階層の他、ブロック、グループ、パーティション、ピクチャ全体の４階層の視差ベクトルを求めている。しかし、階層数ならびに各階層の領域の切り方や領域の数はこれに限定されるものではない。
【０１０６】
視差情報セット作成部１３１は、汎用目的の視差情報セットを送信する場合、上述したダウンサイジング処理により、所定の大きさの領域毎の視差ベクトルを含む視差情報セットを作成する。なお、この所定の大きさの領域は、後述するようにブロック（Block）とされる。
【０１０７】
また、視差情報セット作成部１３１は、特定のサービス用途向けの視差情報セットを作成する。この実施の形態においては、ＡＲＩＢ方式の字幕向けの視差情報セットを作成する。画面毎に表示される所定数の字幕の表示領域のそれぞれに対応した視差ベクトルが作成される。立体画像上に字幕を重畳表示する場合、この字幕が画像の最も近い位置よりさらに手前に認識されるようにしたい。そのため、視差情報セット作成部１３１は、字幕の表示領域と、その表示領域に対応した画像領域の視差ベクトルとに基づいて、字幕の表示領域に対応した視差ベクトルを作成する。なお、この字幕の表示領域は、後述するようにリージョン（Region）とされる。
【０１０８】
例えば、字幕データストリームに、図２７（ａ）に示すように、「1st Caption Unit」、「2nd Caption Unit」、「3rd Caption Unit」の３つのキャプション・ユニットの字幕データが存在する場合を考える。この場合、視差情報セット作成部１３１は、図２７（ｂ）に示すように、各キャプション・ユニットに対応した視差情報（Disparity Set）を作成する。ここで、各視差情報には、それぞれ、対応するキャプション・ユニットの字幕データの字幕データストリームにおける配置順を示す識別情報が付加される。これにより、各キャプション・ユニットの字幕データと、それに対応した識別情報との対応付けが行われている。
【０１０９】
図２７（ｃ）は、各キャプション・ユニット（字幕）が重畳された第１のビュー（1st View）、例えば左眼画像を示している。また、図２７（ｄ）は、各キャプション・ユニットが重畳された第２のビュー（1st View）、例えば右眼画像を示している。各キャプション・ユニットに対応した視差情報は、図示のように、例えば、左眼画像に重畳する各キャプション・ユニットと、右眼画像に重畳する各キャプション・ユニットとの間に視差を付与するために用いられる。なお、図示の例は、右眼画像に重畳する各キャプション・ユニットの位置をシフトさせている。しかし、左眼画像に重畳する各キャプション・ユニットの位置をシフトさせる場合、あるいは、双方の位置をシフトさせる場合もある。
【０１１０】
ビデオエンコーダ１１３は、データ取り出し部１３０から供給される立体画像データに対して、ＭＰＥＧ４−ＡＶＣ、ＭＰＥＧ２、ＶＣ−１等の符号化を施して符号化ビデオデータを得る。また、このビデオエンコーダ１１３は、後段に備えるストリームフォーマッタ１１３ａにより、ペイロード部に符号化ビデオデータを含むビデオのエレメンタリストリームを生成する。
【０１１１】
オーディオエンコーダ１１７は、データ取り出し部１３０から供給される音声データに対して、ＭＰＥＧ−２Ａｕｄｉｏ ＡＡＣ等の符号化を施し、オーディオのエレメンタリストリームを生成する。字幕エンコーダ１３３は、上述したように、字幕発生部１３２で発生された字幕データを含む字幕エレメンタリストリーム（字幕データストリーム）を生成する。
【０１１２】
字幕エンコーダ１３３は、上述したように視差情報セット作成部１３１で作成された視差情報セットを、字幕エレメンタリストリーム（字幕データストリーム）に含める。図２３（ａ）あるいは図２７（ａ）に示すように、字幕データストリームには、各キャプション・ユニットの字幕データが、ユニット・セパレータ（unit_separator）を介して、順に配置されている。
【０１１３】
各キャプション・ユニットの字幕データとして、各種のデータユニットが存在する。図２８は、字幕データストリーム内に含まれるデータユニットの構造（Syntax）を示している。ユニット・セパレータ「unit_separator」は、８ビットのデータユニット分離符号であり、“0x1F”とされている。
【０１１４】
データ・ユニット・パラメータ「data_unit_parameter」は、データユニットの種類を識別するための８ビットのパラメータである。例えば、図２９に示すように、本文のデータユニットを示すデータ・ユニット・パラメータは“0x20”とされている。また、ジオメトリックのデータユニットを示すデータ・ユニット・パラメータは“0x28”とされている。また、ビットマップのデータユニットを示すデータ・ユニット・パラメータは“0x35”とされている。
【０１１５】
データ・ユニット・サイズ「data_unit_size」は、後続のデータ・ユニット・データのバイト数を示す２４ビットのデータである。データ・ユニット・データ・バイト「data_unit_data_byte」は、データ・ユニット・データを格納するバイトである。例えば、本文のデータユニットにおいては、所定数のデータ・ユニット・データ・バイトに、本文のデータユニットのデータが格納される。
【０１１６】
この実施の形態において、視差情報をデータ・ユニット・データ・バイトに格納するデータユニットを新たに定義する。この視差情報のデータユニットを示すデータ・ユニット・パラメータを、例えば、図２９に示すように、“0x48”とする。
【０１１７】
図３０は、視差情報のデータユニットにおいて、所定数のデータ・ユニット・データ・バイトに格納される視差情報（Disparity data）の構造（Syntax）の一例を示している。図３１、図３２は、視差情報（Disparity data）のデータ規定内容（Semantics）を示している。
【０１１８】
「select_view_shift」は、シフト対象情報を構成する２ビットの情報である。この「select_view_shift」は、左眼画像に重畳するサービス・コンポーネントおよび右眼画像に重畳するサービス・コンポーネントのうち、視差情報に基づいてシフトさせるキャプション・ユニットを指定する。この実施の形態において、サービス・コンポーネントは、キャプション・ユニットである。
【０１１９】
例えば、「select_view_shift=00」はリザーブとされる。また、例えば、「select_view_shift=01」であるとき、右眼画像に重畳するサービス・コンポーネントのみを、視差情報（disparity）分だけ、水平方向にシフトさせることを示す。ここで、視差情報（disparity）が正の値であるときは、右眼画像に重畳するサービス・コンポーネントは、右方向にシフトされる。一方、視差情報（disparity）が負の値であるときは、右眼画像に重畳するサービス・コンポーネントは、左方向にシフトされる。
【０１２０】
また、例えば、「select_view_shift=10」であるとき、左眼画像に重畳するサービス・コンポーネントのみを、視差情報（disparity）分だけ、水平方向にシフトさせることを示す。ここで、視差情報（disparity）が正の値であるときは、左眼画像に重畳するサービス・コンポーネントは、右方向にシフトされる。一方、視差情報（disparity）が負の値であるときは、左眼画像に重畳するサービス・コンポーネントは、左方向にシフトされる。
【０１２１】
また、例えば、「select_view_shift=11」であるとき、左眼画像に重畳するサービス・コンポーネントおよび右眼画像に重畳するサービス・コンポーネントの双方を、水平方向の互いに逆の方向にシフトさせることを示す。左眼画像に重畳するサービス・コンポーネントは、視差情報（disparity）が偶数値である場合、以下のようにシフトされる。すなわち、正の値であるときは「disparity／２」分だけ右方向にシフトされ、負の値であるときは「disparity／２」分だけ左方向にシフトされる。右眼画像に重畳するサービス・コンポーネントは、視差情報（disparity）が偶数値である場合、以下のようにシフトされる。すなわち、正の値であるときは「disparity／２」分だけ左方向にシフトされ、負の値であるときは「disparity／２」分だけ右方向にシフトされる。
【０１２２】
また、左眼画像に重畳するサービス・コンポーネントは、視差情報（disparity）が奇数値である場合、以下のようにシフトされる。すなわち、正の値であるときは「（disparity＋１）／２」分だけ右方向にシフトされ、負の値であるときは「（disparity＋１）／２」分だけ左方向にシフトされる。また、右眼画像に重畳するサービス・コンポーネントは、視差情報（disparity）が奇数値である場合、以下のようにシフトされる。すなわち、正の値であるときは「（disparity−１）／２」分だけ左方向にシフトされ、負の値であるときは「（disparity−１）／２」分だけ右方向にシフトされる。
【０１２３】
「direct_mode」は、視差情報が、汎用目的（Generic用途）の視差情報であるか、字幕（キャプション・ユニット）向けであるかを示す１ビットの用途情報である。「direct_mode=1」であるときは、汎用目的の視差情報であることを示す。この場合、この視差情報は、特定のサービス・コンポーネントと関連付けされていない。「direct_mode=0」であるときは、キャプション・ユニット向けの視差情報であることを示す。この場合、この視差情報と関連付けされたサービス・コンポーネント、つまりキャプション・ユニットが存在する。
【０１２４】
「shareddisparity」は、全てのリージョン（region）またはブロック（Block）で、１つの視差情報を共有するか否かを示す共有情報である。「shareddisparity=1」であるときは、全てのリージョン（region）またはブロック（Block）で、１つの視差情報が共有されることを示す。「shareddisparity=0」であるときは、各リージョン（region）または各ブロック（Block）にそれぞれ対応して視差情報が存在することを示す。
【０１２５】
「number_of_regions_minus1」は、リージョン（region）またはブロック（Block）の数を示す、０〜２５５を示す８ビットのデータである。なお、この０〜２５５は、実際には、１〜２５６を意味する。「direct_mode=0」であるとき、「number_of_regions_minus1」は、ディスプレイ・スクリーン上のキャプション・ユニットの表示領域（リージョン）の数、つまりリージョン（region）の数を示す。
【０１２６】
また、「direct_mode=1」であるとき、「number_of_regions_minus1」は、画面を分割して得られた各分割領域（ブロック）の数を示す。例えば、「number_of_regions_minus1+1」が「１」であるとき、画面は分割されておらず、画面全体の１ブロックであることを示す。また、例えば、「number_of_regions_minus1+1」が「１６」であるとき、縦、横がそれぞれ４等分され、１６ブロックがあることを示す。また、例えば、「number_of_regions_minus1+1」が「２５６」であるとき、縦、横がそれぞれ１６等分され、２５６ブロックがあることを示す。
【０１２７】
「region_block_id」は、ディスプレイ・スクリーン上の各表示領域（リージョン）、あるいは、画面分割されて得られた各分割領域（ブロック）を識別するための、８ビットの識別情報である。「region_block_id」がディスプレイ・スクリーン上の各表示領域（リージョン）を識別するための識別情報であるとき、この識別情報は各表示領域に表示する字幕（キャプション・ユニット）のデータの、字幕データストリームにおける配置順を示す。
【０１２８】
「temporal_extension_flag」は、「region_block_id」で示されるリージョン（region）またはブロック（Block）に対応した視差情報に対する１ビットのフラグ情報である。このフラグ情報は、視差情報が、サービス・コンポーネント（キャプション・ユニット）の表示フレーム期間の各フレームで共通に使用されるものであるか、その各フレームで順次更新される視差情報であるかを示す。「temporal_extension_flag=1」であるときは、表示フレーム期間の各フレームで視差情報の値が更新されることを示す。また、「temporal_extension_flag=0」であるときは、表示フレーム期間の各フレームで視差情報の値が更新されることはなく、同一の視差情報が使用されることを示す。
【０１２９】
「disparity」は、表示フレーム期間の最初のフレームの視差情報の値を示す８ビット情報であり、−１２８〜＋１２７の範囲の値をとる。「temporal_extension_flag=0」であるとき、「region_block_id」で示されるリージョン（region）またはブロック（Block）に対応した視差情報は、「disparity」の８ビット情報のみである。一方、「temporal_extension_flag=1」であるとき、以下のようになる。すなわち、「region_block_id」で示されるリージョン（region）またはブロック（Block）に対応した視差情報は、「disparity」の８ビットの最初のフレームの視差情報の他に、２番目以降のフレームの視差情報が存在する。
【０１３０】
この２番目以降のフレームの視差情報は、前のフレームの視差情報に対するオフセット情報として与えられる。「number_of_frame_set」は、表示フレーム期間の２番目以降のフレームの数を１１フレーム単位で区切った場合に、その単位が何個必要であるかを示す８ビットの情報である。例えば、表示フレーム期間が３０フレームの場合、２番目以降のフレームの数は２９であり、この「number_of_frame_set」で示される単位個数は「３」となる。
【０１３１】
「offset_sequence」は、前のフレームの視差情報に対するオフセット情報としての２ビットの情報である。「offset_sequence=00」は、オフセット値が「０」であることを示す。「offset_sequence=01」は、オフセット値が「＋１」であることを示す。「offset_sequence=10」は、オフセット値が「−１」であることを示す。さらに、「offset_sequence=11」は、そのフレームにはオフセット情報の割り当てがないことを示す。上述した表示フレーム期間が３０フレームの場合、１１フレーム単位で区切った場合の３単位目においては、“offset_sequence_7”以降は、「offset_sequence=11」となる。
【０１３２】
「offset_precision」は、上述の「offset_sequence」で示すオフセット値における「１」の精度、つまりこの「１」のピクセル数を示す１ビットの情報である。「offset_precision=0」であるとき、オフセット値における「１」が１ピクセルであることを示す。また、「offset_precision=1」であるとき、オフセット値における「１」が２ピクセルであることを示す。
【０１３３】
図２２に戻って、マルチプレクサ１２２は、ビデオエンコーダ１１３、オーディオエンコーダ１１７および字幕エンコーダ１３３から出力される各エレメンタリストリームを多重化する。そして、このマルチプレクサ１２２は、伝送データ（多重化データストリーム）としてのビットストリームデータ（トランスポートストリーム）ＢＳＤを出力する。
【０１３４】
図２２に示す送信データ生成部１１０Ｄの動作を簡単に説明する。データ取り出し部１３０から出力される立体画像データは、ビデオエンコーダ１１３に供給される。このビデオエンコーダ１１３では、その立体画像データに対してＭＰＥＧ４−ＡＶＣ、ＭＰＥＧ２、ＶＣ−１等の符号化が施され、符号化ビデオデータを含むビデオエレメンタリストリームが生成される。このビデオエレメンタリストリームはマルチプレクサ１２２に供給される。
【０１３５】
また、字幕発生部１３２では、ＡＲＩＢ方式の字幕データが発生される。この字幕データは、字幕エンコーダ１３３に供給される。字幕エンコーダ１３３では、字幕発生部１３２で発生された字幕データを含む字幕エレメンタリストリーム（字幕データストリーム）が生成される（図２７（ａ）参照）。この字幕エレメンタリストリームはマルチプレクサ１２２に供給される。
【０１３６】
また、データ取り出し部１３０から出力されるピクセル（画素）毎の視差ベクトルは、視差情報セット作成部１３１に供給される。この視差情報セット作成部１３１では、汎用目的の視差情報セットを送信する場合、ダウンサイジング処理により、所定の大きさの領域（ブロック）毎の視差ベクトルを含む視差情報セットが作成される。また、この視差情報セット作成部１３１では、ＡＲＩＢ方式の字幕向けの視差情報セットを送信する場合、各画面に表示される所定数の字幕の表示領域（リージョン）のそれぞれに対応した視差ベクトルを含む視差情報セットが作成される。
【０１３７】
視差情報セット作成部１３１で作成された視差情報（視差情報セット）は、字幕エンコーダ１３３に供給される。字幕エンコーダ１３３では、視差情報（視差情報セット）が、字幕エレメンタリストリーム（字幕データストリーム）に挿入される。この場合、字幕データストリーム内において、視差情報は独立したデータユニットとして挿入され、データ・ユニット・パラメータにより、他の字幕データのデータユニットと区別される（図２８、図２９参照）。
【０１３８】
また、データ取り出し部１３０から出力される音声データはオーディオエンコーダ１１７に供給される。このオーディオエンコーダ１１７では、音声データに対して、ＭＰＥＧ−２Ａｕｄｉｏ ＡＡＣ等の符号化が施され、符号化オーディオデータを含むオーディオエレメンタリストリームが生成される。このオーディオエレメンタリストリームはマルチプレクサ１２２に供給される。
【０１３９】
マルチプレクサ１２２には、上述したように、ビデオエンコーダ１１３、オーディオエンコーダ１１７および字幕エンコーダ１３３からのエレメンタリストリームが供給される。そして、マルチプレクサ１２２では、各エンコーダから供給されるエレメンタリストリームがパケット化されて多重され、伝送データとしてのビットストリームデータ（トランスポートストリーム）ＢＳＤが得られる。
【０１４０】
図２２に示す送信データ生成部１１０Ｄにおいては、マルチプレクサ１２２から出力されるビットストリームデータＢＳＤは、ビデオデータストリームと字幕データストリームとを有する多重化データストリームである。ビデオデータストリームには、立体画像データが含まれている。また、字幕データストリームには、重畳情報としてのＡＲＩＢ方式の字幕（キャプション・ユニット）のデータおよび視差情報（視差情報セット）が含まれている。
【０１４１】
そして、字幕データストリームには、同一の画面に表示される所定数の字幕（キャプション・ユニット）のデータがセパレータ（Unit_Separator）を介して順に配置されている。また、字幕データストリームに挿入される視差情報（視差情報セット）には、所定数の字幕（キャプション・ユニット）のデータの配置順に対応した識別情報(region_block_id)をそれぞれ持つ所定数の視差情報が含まれている。
【０１４２】
このように、所定数の視差情報のそれぞれが所定数の字幕（キャプション・ユニット）のデータの配置順に対応した識別情報を持つことで、所定数の字幕（キャプション・ユニット）のデータと所定数の視差情報との対応付けが行われている。そのため、受信側（セットトップボックス２００）においては、左眼画像および右眼画像に重畳される所定数の字幕（キャプション・ユニット）にそれぞれ対応する視差情報を用いて適切な視差を付与できる。したがって、字幕（キャプション・ユニット）の表示において、画像内の各物体との間の遠近感の整合性を最適な状態に維持できる。
【０１４３】
また、図２２に示す送信データ生成部１１０Ｄにおいては、視差情報に、シフト対象情報（select_view_shift）が付加されている。このシフト対象情報は、左眼画像に重畳する左眼字幕（キャプション・ユニット）および右眼画像に重畳する右眼字幕（キャプション・ユニット）のうち、この視差情報に基づいてシフトさせる字幕（キャプション・ユニット）を指定する。そのため、このシフト対象情報により、左眼字幕（キャプション・ユニット）のみをシフトさせること、右眼字幕（キャプション・ユニット）のみをシフトさせること、あるいは、それらの両方をシフトさせることが任意に可能となる。
【０１４４】
また、図２２に示す送信データ生成部１１０Ｄにおいては、視差情報として、字幕（キャプション・ユニット）が表示される所定数のフレームで共通に使用される視差情報、またはその所定数のフレームで順次更新される視差情報のいずれかを選択できる。視差情報には、そのどちらであるかを示すフラグ情報（temporal_extension_flag）が付加される。そのため、各フレームで共通に使用する視差情報または各フレームで順次更新される視差情報を、例えば、画像内容に応じて、選択的に、送信することが可能となる。
【０１４５】
すなわち、画像の動きが大きい場合には、各フレームで順次更新される視差情報を送信して、受信側において、重畳情報に付与する視差を画像内容の変化に連動して動的に変化させることができる。また、画像の動きが小さい場合には、各フレームで共通に使用する視差情報を送信することで、視差情報のデータ量を抑制できる。
【０１４６】
また、図２２に示す送信データ生成部１１０Ｄにおいては、各フレームで順次更新される視差情報は、所定数のフレーム期間の最初のフレームの視差情報と、２番目以降のフレームの、前のフレームの視差情報に対するオフセット情報とからなるようにされる。そのため、視差情報のデータ量を抑制できる。
【０１４７】
［セットトップボックスの説明］
図１に戻って、セットトップボックス２００は、放送局１００から放送波に載せて送信されてくるビットストリームデータ（トランスポートストリーム）ＢＳＤを受信する。このビットストリームデータＢＳＤには、左眼画像データおよび右眼画像データを含む立体画像データ、音声データ、重畳情報データ、さらには視差情報（視差ベクトル）が含まれる。ここで、重畳情報データは、例えば、グラフィクスデータ、テキストデータ、字幕データ等である。
【０１４８】
セットトップボックス２００は、ビットストリーム処理部２０１を有している。このビットストリーム処理部２０１は、ビットストリームデータＢＳＤから、立体画像データ、音声データ、重畳情報データ、視差ベクトル等を抽出する。このビットストリーム処理部２０１は、立体画像データ、重畳情報データ（グラフィクスデータ、テキストデータ、字幕データ）等を用いて、重畳情報が重畳された左眼画像および右眼画像のデータを生成する。
【０１４９】
ここで、視差ベクトルが数値情報として送信されてくる場合には、視差ベクトルと重畳情報データに基づいて、左眼画像、右眼画像にそれぞれ重畳する左眼重畳情報、右眼重畳情報を生成する。この場合、左眼重畳情報および右眼重畳情報は同一の重畳情報である。しかし、画像内の重畳位置が、例えば、左眼重畳情報に対して、右眼重畳情報は、視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。
【０１５０】
図３３（ａ）は、伝送方式が上述の第２の伝送方式（「Side By Side」方式）である場合における、左眼グラフィクス情報および右眼グラフィクス情報の重畳位置を示している。左眼画像ＩＬ上に重畳される左眼グラフィクス情報ＬＧＩに対して、右眼画像ＩＲ上に重畳される右眼グラフィクス情報ＲＧＩは、視差ベクトルの水平方向成分ＶＶTだけ水平方向にずれた位置とされている。なお、ＩTは、アイドリングオフセット値である。
【０１５１】
ビットストリーム処理部２０１は、各画像ＩＬ，ＩＲに対して各グラフィクス情報ＬＧＩ，ＲＧＩが図３３（ａ）に示すように重畳されるように、グラフィクスデータを生成する。ビットストリーム処理部２０１は、ビットストリームデータから抽出された立体画像データ（左眼画像データ、右眼画像データ）に対して、生成された左眼グラフィクスデータ、右眼グラフィクスデータを合成して、処理後の立体画像データを取得する。この立体画像データによれば、視聴者は、図３３（ｂ）に示すように、各画像ＩＬ，ＩＲと共に、各グラフィクス情報ＬＧＩ，ＲＧＩを、視差をもって観察でき、グラフィクス情報にも、遠近感を認知可能となる。
【０１５２】
なお、図３４（ａ）は、各画像ＩＬ，ＩＲに対して、ビットストリームデータから抽出されたグラフィクスデータによるグラフィクス画像をそのまま重畳した状態を示している。この場合、視聴者は、図３４（ｂ）に示すように、左眼画像ＩＬと共にグラフィクス情報の左半分、右眼画像ＩＲと共にグラフィクス情報の右半分を観察する。そのため、グラフィクス情報を正しく認識できなくなる。
【０１５３】
図３３は、グラフィクス情報の場合を示したが、その他の重畳情報（テキスト情報、サブタイトル情報、クローズド・キャプション情報、ＡＲＩＢ方式の字幕など）に関しても同様である。すなわち、視差ベクトルが数値情報として送信されてくる場合には、視差ベクトルと重畳情報データに基づいて、左眼画像、右眼画像にそれぞれ重畳する左眼重畳情報、右眼重畳情報が生成される。この場合、左眼重畳情報および右眼重畳情報は同一の重畳情報である。しかし、画像内の重畳位置が、例えば、左眼重畳情報に対して、右眼重畳情報は、視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。
【０１５４】
ここで、左眼重畳情報と右眼重畳情報との間に視差を与える視差ベクトルとしては、以下の視差ベクトルを用いることが考えられる。例えば、視差ベクトルとしては、画像内の複数位置で検出された視差ベクトルのうち、遠近感でいうところの最も近く認識される位置の視差ベクトルを使用することが考えられる。図３５（ａ），（ｂ），（ｃ），（ｄ）は、それぞれ時刻Ｔ０，Ｔ１，Ｔ２，Ｔ３における３つのオブジェクト位置の視差ベクトル（View Vector）を示している。
【０１５５】
時刻Ｔ０では、オブジェクト１に対応した位置（Ｈ０，Ｖ０）における視差ベクトルＶＶ０-1が最大の視差ベクトルＭａｘＶＶ（Ｔ０）となっている。時刻Ｔ１では、オブジェクト１に対応した位置（Ｈ１，Ｖ１）における視差ベクトルＶＶ１-1が最大の視差ベクトルＭａｘＶＶ（Ｔ１）となっている。時刻Ｔ２では、オブジェクト２に対応した位置（Ｈ２，Ｖ２）における視差ベクトルＶＶ２-2が最大の視差ベクトルＭａｘＶＶ（Ｔ２）となっている。時刻Ｔ３では、オブジェクト１に対応した位置（Ｈ３，Ｖ３）における視差ベクトルＶＶ３-0が最大の視差ベクトルＭａｘＶＶ（Ｔ３）となっている。
【０１５６】
このように、視差ベクトルとして、画像内の複数位置で検出された視差ベクトルのうち、遠近感でいうところの最も近く認識される位置の視差ベクトルを使用することで、遠近感でいうところの最も近い画像内の物体よりも手前に、重畳情報を表示できる。
【０１５７】
図３６（ａ）は、画像上における字幕（例えば、クローズド・キャプション情報、サブタイトル情報、ＡＲＩＢ方式の字幕など）の表示例を示している。この表示例では、背景と近景オブジェクトとからなる画像上に、字幕が重畳された例である。図３６（ｂ）は、背景、近景オブジェクト、字幕の遠近感を示し、字幕が最も近くにあるように認識されることを示している。
【０１５８】
図３７（ａ）は、図３６（ａ）と同じ、画像上における字幕（例えば、クローズド・キャプション情報、サブタイトル情報、ＡＲＩＢ方式の字幕など）の表示例を示している。図３７（ｂ）は、字幕を表示するための左眼情報ＬＧＩと、右眼情報ＲＧＩを示している。図３７（ｃ）は、字幕が最も近くにあるように認識されるために、各情報ＬＧＩ，ＲＧＩに視差が与えられることを示している。
【０１５９】
また、視差ベクトルとしては、画像内の複数位置で検出された視差ベクトル（視差情報セットに含まれる各階層の各領域の視差ベクトルを含む）のうち、その重畳位置に対応したものを使用することが考えられる。図３８（ａ）は、ビットストリームデータから抽出されるグラフィクスデータによるグラフィクス情報と、ビットストリームデータから抽出されるテキストデータによるテキスト情報を示している。
【０１６０】
図３８（ｂ）は、左眼画像に、左眼グラフィクス情報ＬＧＩおよび左眼テキスト情報ＬＴＩが重畳された状態を示している。この場合、左眼グラフィクス情報ＬＧＩは、その重畳位置が水平方向にはアイドリングオフセット値（ＩＴ-0）で規制されている。また、左眼テキスト情報ＬＴＩは、その重畳位置が水平方向にはアイドリングオフセット値（ＩＴ-1）で規制されている。
【０１６１】
図３８（ｃ）は、右眼画像に、右眼グラフィクス情報ＲＧＩおよび右眼テキスト情報ＲＴＩが重畳された状態を示している。この場合、右眼グラフィクス情報ＲＧＩは、その重畳位置が水平方向にはアイドリングオフセット値（ＩＴ-0）で規制され、さらにこの重畳位置に対応した視差ベクトルの水平方向成分ＶＶT-0だけ、左眼グラフィクス情報ＬＧＩの重畳位置よりずらされている。また、右眼テキスト情報ＲＴＩは、その重畳位置が水平方向にはアイドリングオフセット値（ＩＴ-1）で規制され、さらにこの重畳位置に対応した視差ベクトルの水平方向成分ＶＶT-1だけ、左眼テキスト情報ＬＴＩの重畳位置よりずらされている。
【０１６２】
なお、図３８の例では、右眼画像に重畳されるグラフィクス情報およびテキスト情報の重畳位置を、左眼画像に重畳される同一のグラフィクス情報およびテキスト情報の重畳位置を基準として、ずらすものを示している。すなわち、図３８の例では、右眼画像に重畳されるグラフィクス情報およびテキスト情報の重畳位置のみをずらす処理を行っている。しかし、左眼画像の重畳位置のみをずらすように処理を行うこと、あるいは、左眼画像および右眼画像の双方の重畳位置をずらすように処理を行うことも考えられる。
【０１６３】
図３９（ａ）は、ビットストリームデータから抽出されるグラフィクスデータによるグラフィクス情報と、ビットストリームデータから抽出されるテキストデータによるテキスト情報を示している。図３９（ｂ）は、２次元表示におけるグラフィクス情報ＧＩおよびテキスト情報ＴＩの重畳位置を示している。この場合、テキスト情報の重畳位置は（x1,y1）であり、グラフィクス情報の重畳位置は（x2,y2）である。
【０１６４】
図３９（ｃ）は、左眼画像に、左眼グラフィクス情報ＬＧＩおよび左眼テキスト情報ＬＴＩが重畳された状態を示している。この場合、左眼グラフィクス情報ＬＧＩは、２次元表示におけるグラフィクス情報ＧＩの重畳位置に対して、このグラフィクス情報に対応した視差ベクトルＤ１の画素数だけ右方向にずらされている。また、左眼テキスト情報ＬＴＩは、２次元表示におけるテキスト情報ＬＴの重畳位置に対して、このテキスト情報に対応した視差ベクトルＤ０の画素数だけ右方向にずらされている。
【０１６５】
図３９（ｄ）は、右眼画像に、右眼グラフィクス情報ＲＧＩおよび右眼テキスト情報ＲＴＩが重畳された状態を示している。この場合、右眼グラフィクス情報ＲＧＩは、２次元表示におけるグラフィクス情報ＧＩの重畳位置に対して、このグラフィクス情報に対応した視差ベクトルＤ１の画素数だけ左方向にずらされている。また、右眼テキスト情報ＲＴＩは、２次元表示におけるテキスト情報ＬＴの重畳位置に対して、このテキスト情報に対応した視差ベクトルＤ０の画素数だけ左方向にずらされている。
【０１６６】
上述では、左眼画像および右眼画像に、ビットストリームデータから抽出されたグラフィクスデータによるグラフィクス情報、あるいはビットストリームデータから抽出されたテキストデータによるテキスト情報を重畳する場合を説明した。この他に、セットトップボックス２００内でグラフィクスデータあるいはテキストデータが発生され、それらによる情報を、左眼画像および右眼画像に、重畳する場合も考えられる。
【０１６７】
その場合にあっても、ビットストリームデータから抽出された画像内の所定位置の視差ベクトルを利用して、左眼グラフィクス情報と右眼グラフィクス情報との間、あるいは左眼テキスト情報と右眼テキスト情報との間に、視差を持たせることができる。これにより、グラフィクス情報、テキスト情報の表示において、画像内の各物体（オブジェクト）の遠近感との間で遠近感の整合性の維持を図った適切な遠近感を付与できる。
【０１６８】
図４０（ａ）は、画像内にＡ，Ｂ，Ｃの各オブジェクトが存在し、例えば、これら各オブジェクトの近傍位置に、各オブジェクトの注釈を示すテキスト情報を重畳することを示している。図４０（ｂ）は、Ａ，Ｂ，Ｃの各オブジェクトの位置と、その位置における視差ベクトルの対応を示す視差ベクトルリストと、それぞれの視差ベクトルを、Ａ，Ｂ，Ｃの各オブジェクの注釈を示すテキスト情報に視差を与える場合に利用することを示している。
【０１６９】
例えば、Ａのオブジェクトの近傍には「Ｔｅｘｔ」のテキスト情報が重畳されるが、その左眼テキスト情報と右眼テキスト情報との間には、Ａのオブジェクトの位置（Ｈａ，Ｖａ）における視差ベクトルＶＶ-aに対応した視差が与えられる。なお、Ｂ，Ｃのオブジェクトの近傍に重畳されるテキスト情報に関しても同様である。
【０１７０】
なお、図３８、図３９は、重畳情報がグラフィクス情報およびテキスト情報である場合を示している。また、図４０は、重畳情報がテキスト情報である場合を示している。詳細説明は省略するが、その他の重畳情報の場合も同様である。
【０１７１】
次に、視差ベクトルが、重畳情報（グラフィクス情報、テキスト情報、ＡＲＩＢ方式の字幕など）のデータに予め反映されて送信されてくる場合について説明する。この場合、ビットストリームデータから抽出された重畳情報データには、視差ベクトルにより視差が与えられた、左眼重畳情報および右眼重畳情報のデータが含まれている。
【０１７２】
そのため、ビットストリーム処理部２０１は、ビットストリームデータから抽出された立体画像データ（左眼画像データ、右眼画像データ）に対して、ビットストリームデータから抽出された重畳情報データを単に合成して、処理後の立体画像データを取得する。なお、テキストデータ（クローズド・キャプションデータを含む）に関しては、キャラクタコードをビットマップデータに変換する等の処理は必要である。
【０１７３】
［セットトップボックスの構成例］
セットトップボックス２００の構成例を説明する。図４１は、セットトップボックス２００の構成例を示している。このセットトップボックス２００は、ビットストリーム処理部２０１と、ＨＤＭＩ端子２０２と、アンテナ端子２０３と、デジタルチューナ２０４と、映像信号処理回路２０５と、ＨＤＭＩ送信部２０６と、音声信号処理回路２０７を有している。また、このセットトップボックス２００は、ＣＰＵ２１１と、フラッシュＲＯＭ２１２と、ＤＲＡＭ２１３と、内部バス２１４と、リモコン受信部２１５と、リモコン送信機２１６を有している。
【０１７４】
アンテナ端子２０３は、受信アンテナ（図示せず）で受信されたテレビ放送信号を入力する端子である。デジタルチューナ２０４は、アンテナ端子２０３に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）ＢＳＤを出力する。
【０１７５】
ビットストリーム処理部２０１は、上述したように、ビットストリームデータから立体画像データ（左眼画像データ、右眼画像データ）、音声データ、重畳情報データ、視差情報（視差ベクトル）等を抽出する。重畳情報データは、グラフィクスデータ（サブタイトルデータを含む）、テキストデータ（クローズド・キャプションデータを含む）等である。このビットストリーム処理部２０１は、上述したように、立体画像データに対し、重畳情報（クローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報、ＡＲＩＢ方式の字幕など）のデータを合成し、表示用立体画像データを取得する。また、ビットストリーム処理部２０１は、音声データを出力する。ビットストリーム処理部２０１の詳細構成は後述する。
【０１７６】
映像信号処理回路２０５は、ビットストリーム処理部２０１から出力された立体画像データに対して必要に応じて画質調整処理などを行い、処理後の立体画像データをＨＤＭＩ送信部２０６に供給する。音声信号処理回路２０７は、ビットストリーム処理部２０１から出力された音声データに対して必要に応じて音質調整処理等を行い、処理後の音声データをＨＤＭＩ送信部２０６に供給する。
【０１７７】
ＨＤＭＩ送信部２０６は、ＨＤＭＩに準拠した通信により、ベースバンドの画像（映像）と音声のデータを、ＨＤＭＩ端子２０２から送出する。この場合、ＨＤＭＩのＴＭＤＳチャネルで送信するため、画像および音声のデータがパッキングされて、ＨＤＭＩ送信部２０６からＨＤＭＩ端子２０２に出力される。
【０１７８】
ＣＰＵ２１１は、セットトップボックス２００の各部の動作を制御する。フラッシュＲＯＭ２１２は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ２１３は、ＣＰＵ２１１のワークエリアを構成する。ＣＰＵ２１１は、フラッシュＲＯＭ２１２から読み出したソフトウェアやデータをＤＲＡＭ２１３上に展開してソフトウェアを起動させ、セットトップボックス２００の各部を制御する。
【０１７９】
リモコン受信部２１５は、リモコン送信機２１６から送信されたリモーコントロール信号（リモコンコード）を受信し、ＣＰＵ２１１に供給する。ＣＰＵ２１１は、このリモコンコードに基づいて、セットトップボックス２００の各部を制御する。ＣＰＵ２１１、フラッシュＲＯＭ２１２およびＤＲＡＭ２１３は内部バス２１４に接続されている。
【０１８０】
セットトップボックス２００の動作を簡単に説明する。アンテナ端子２０３に入力されたテレビ放送信号はデジタルチューナ２０４に供給される。このデジタルチューナ２０４では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）ＢＳＤが出力される。
【０１８１】
デジタルチューナ２０４から出力されるビットストリームデータＢＳＤは、ビットストリーム処理部２０１に供給される。このビットストリーム処理部２０１では、ビットストリームデータＢＳＤから立体画像データ（左眼画像データ、右眼画像データ）、音声データ、重畳情報データ、視差情報（視差ベクトル）等が抽出される。また、このビットストリーム処理部２０１では、立体画像データに対し、重畳情報（クローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報、ＡＲＩＢ方式の字幕など）のデータが合成され、表示用立体画像データが生成される。
【０１８２】
ビットストリーム処理部２０１で生成される表示用立体画像データは、映像信号処理回路２０５で必要に応じて画質調整処理等が行われた後に、ＨＤＭＩ送信部２０６に供給される。また、ビットストリーム処理部２０１で得られる音声データは、音声信号処理回路２０７で必要に応じて音質調整処理等が行われた後に、ＨＤＭＩ送信部２０６に供給される。ＨＤＭＩ送信部２０６に供給された立体画像データおよび音声データは、ＨＤＭＩのＴＭＤＳチャネルにより、ＨＤＭＩ端子２０２からＨＤＭＩケーブル４００に送出される。
【０１８３】
［ビットストリーム処理部の構成例］
図４２は、ビットストリーム処理部２０１の構成例を示している。このビットストリーム処理部２０１は、上述の図２に示す送信データ生成部１１０に対応させた構成となっている。このビットストリーム処理部２０１は、デマルチプレクサ２２０と、ビデオデコーダ２２１と、グラフィクスデコーダ２２２と、テキストデコーダ２２３と、オーディオデコーダ２２４と、視差ベクトルデコーダ２２５を有している。また、このビットストリーム処理部２０１は、立体画像用グラフィクス発生部２２６と、立体画像用テキスト発生部２２７と、ビデオ重畳部２２８と、マルチチャネルスピーカコントロール部２２９を有している。
【０１８４】
デマルチプレクサ２２０は、ビットストリームデータＢＳＤから、ビデオ、オーディオ、視差ベクトル、グラフィクスおよびテキストのパケット（ＰＥＳパケット）を抽出し、各デコーダに送る。
【０１８５】
ビデオデコーダ２２１は、上述の送信データ生成部１１０のビデオエンコーダ１１３とは逆の処理を行う。すなわち、このビデオデコーダ２２１は、デマルチプレクサ２２０で抽出されたビデオのパケットからビデオのエレメンタリストリームを再構成し、復号化処理を行って、左眼画像データおよび右眼画像データを含む立体画像データを得る。この立体画像データの伝送方式は、例えば、上述の第１の伝送方式（「Top & Bottom」方式）、第２の伝送方式は（「Side By Side」方式）、第３の伝送方式（「Frame Sequential」方式）などである（図４参照）。
【０１８６】
グラフィクスデコーダ２２２は、上述の送信データ生成部１１０のグラフィクスエンコーダ１１９とは逆の処理を行う。すなわち、このグラフィクスデコーダ２２２は、デマルチプレクサ２２０で抽出されたグラフィクスのパケットからグラフィクスのエレメンタリストリームを再構成する。そして、このグラフィクスデコーダ２２２は、さらに復号化処理を行って、グラフィクスデータ（サブタイトルデータを含む）を得る。
【０１８７】
テキストデコーダ２２３は、上述の送信データ生成部１１０のテキストエンコーダ１２１とは逆の処理を行う。すなわち、このテキストデコーダ２２３は、デマルチプレクサ２２０で抽出されたテキストのパケットからテキストのエレメンタリストリームを再構成し、復号化処理を行って、テキストデータ（クローズド・キャプションデータを含む）を得る。
【０１８８】
オーディオデコーダ２２４は、上述の送信データ生成部１１０のオーディオエンコーダ１１７とは逆の処理を行う。すなわち、このオーディオデコーダ２２４は、デマルチプレクサ２２０で抽出されたオーディオのパケットからオーディオのエレメンタリストリームを再構成し、復号化処理を行って、音声データを得る。
【０１８９】
視差ベクトルデコーダ２２５は、上述の送信データ生成部１１０の視差ベクトルエンコーダ１１５とは逆の処理を行う。すなわち、この視差ベクトルデコーダ２２５は、デマルチプレクサ２２０で抽出された視差ベクトルのパケットから視差ベクトルのエレメンタリストリームを再構成し、復号化処理を行って、画像内の所定位置の視差ベクトルを得る。
【０１９０】
立体画像用グラフィクス発生部２２６は、左眼画像および右眼画像にそれぞれ重畳する左眼および右眼のグラフィクス情報を生成する。この生成処理は、グラフィクスデコーダ２２２で得られたグラフィクスデータと、視差ベクトルデコーダ２２５で得られた視差ベクトルに基づいて行われる。この場合、左眼および左眼のグラフィクス情報は同一の情報である。しかし、画像内の重畳位置が、例えば、左眼グラフィクス情報に対して、右眼グラフィクス情報は、視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。そして、この立体画像用グラフィクス発生部２２６は、生成された左眼および左眼のグラフィクス情報のデータ（ビットマップデータ）を出力する。
【０１９１】
立体画像用テキスト発生部２２７は、テキストデコーダ２２３で得られたテキストスデータと、視差ベクトルデコーダ２２５で得られた視差ベクトルに基づいて、左眼画像、右眼画像にそれぞれ重畳する左眼テキスト情報、右眼テキスト情報を生成する。この場合、左眼テキスト情報および右眼テキスト情報は同一のテキスト情報であるが、画像内の重畳位置が、例えば、左眼テキスト情報に対して、右眼テキスト情報は、視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。そして、この立体画像用テキスト発生部２２７は、生成された左眼テキスト情報および右眼テキスト情報のデータ（ビットマップデータ）を出力する。
【０１９２】
ビデオ重畳部２２８は、ビデオデコーダ２２１で得られた立体画像データ（左眼画像データ、右眼画像データ）に対して、発生部２２６，２２７で発生されたデータを重畳し、表示用立体画像データＶoutを得る。なお、立体画像データ（左眼画像データ、右眼画像データ）への重畳情報データの重畳はシステムレイヤのタイムスタンプにより開始される。
【０１９３】
マルチチャネルスピーカコントロール部２２９は、オーディオデコーダ２２４で得られる音声データに対して、例えば５．１ｃｈサラウンド等を実現するためのマルチチャネルスピーカの音声データを生成する処理、所定の音場特性を付与する処理等を施す。また、このマルチチャネルスピーカコントロール部２２９は、視差ベクトルデコーダ２２５で得られた視差ベクトルに基づいて、マルチチャネルスピーカの出力を制御する。
【０１９４】
視差ベクトルの大きさが大きくなる程、立体感が際だつ効果がある。立体の度合いに合わせて、マルチチャネルのスピーカ出力を制御することで、更なる立体体験の提供を実現できる。
【０１９５】
図４３は、視差ベクトルＶＶ１が、テレビディスプレイに向かって、左側のビデオオブジェクトの方が大きい場合のスピーカ出力制御例を示している。この制御例では、マルチチャネルスピーカのRear Leftのスピーカ音量は大きくされ、Front Leftのスピーカ音量は中程度とされ、さらに、Front Right，Rear Rightのスピーカ音量が小さくされる。このように、ビデオコンテンツ（立体画像データ）の視差ベクトルを、音声データ等の他のメディアデータへ受信側で適用することで、視聴者に、立体感を総合的に体感させることが可能になる。
【０１９６】
図４２に示すビットストリーム処理部２０１の動作を簡単に説明する。デジタルチューナ２０４（図４１参照）から出力されるビットストリームデータＢＳＤは、デマルチプレクサ２２０に供給される。このデマルチプレクサ２２０では、ビットストリームデータＢＳＤから、ビデオ、オーディオ、視差ベクトル、グラフィクス、およびテキストのパケット（ＰＥＳパケット）が抽出され、各デコーダに供給される。
【０１９７】
ビデオデコーダ２２１では、デマルチプレクサ２２０で抽出されたビデオのパケットからビデオのエレメンタリストリームが再構成され、さらに復号化処理が行われて、左眼画像データおよび右眼画像データを含む立体画像データが得られる。この立体画像データは、ビデオ重畳部２２８に供給される。また、視差ベクトルデコーダ２２５では、デマルチプレクサ２２０で抽出された視差ベクトルのパケットから視差ベクトルのエレメンタリストリームが再構成され、さらに復号化処理が行われて、画像内の所定位置の視差ベクトルが得られる（図８等参照）。
【０１９８】
グラフィクスデコーダ２２２では、デマルチプレクサ２２０で抽出されたグラフィクスのパケットからグラフィクスのエレメンタリストリームが再構成される。グラフィクスデコーダ２２２では、さらに、グラフィクスのエレメンタリストリームに対して復号化処理が行われて、グラフィクスデータが得られる。このグラフィクスデータは、立体画像用グラフィクス発生部２２６に供給される。
【０１９９】
この立体画像用グラフィクス発生部２２６には、視差ベクトルデコーダ２２５で得られた視差ベクトルも供給される。この立体画像用グラフィクス発生部２２６では、左眼画像、右眼画像にそれぞれ重畳する左眼グラフィクス情報および右眼グラフィクス情報のデータが生成される。この生成処理は、グラフィクスデコーダ２２２で得られたグラフィクスデータと、視差ベクトルデコーダ２２５で得られた視差ベクトルに基づいて行われる。
【０２００】
この場合、画像内の重畳位置が、例えば、左眼グラフィクス情報に対して、右眼グラフィクス情報は、視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。この立体画像用グラフィクス発生部２２６からは、生成された左眼および右眼のグラフィクス情報のデータ（ビットマップデータ）が出力される。
【０２０１】
また、テキストデコーダ２２３では、デマルチプレクサ２２０で抽出されたテキストのパケットからテキストのエレメンタリストリームが再構成され、さらに復号化処理が行われて、テキストデータが得られる。このテキストデータは立体画像用テキスト発生部２２７に供給される。この立体画像用テキスト発生部２２７には、視差ベクトルデコーダ２２５で得られた視差ベクトルも供給される。
【０２０２】
この立体画像用テキスト発生部２２７では、デコーダ２２３で得られたテキストスデータと、デコーダ２２５で得られた視差ベクトルに基づいて、左眼画像、右眼画像にそれぞれ重畳する左眼テキスト情報、右眼テキスト情報が生成される。この場合、左眼テキスト情報および右眼テキスト情報は同一のテキスト情報であるが、画像内の重畳位置が、例えば、左眼テキスト情報に対して、右眼テキスト情報は、視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。この立体画像用テキスト発生部２２７からは、生成された左眼テキスト情報および右眼テキスト情報のデータ（ビットマップデータ）が出力される。
【０２０３】
ビデオ重畳部２２８には、上述したビデオデコーダ２２１からの立体画像データ（左眼画像データ、右眼画像データ）の他に、グラフィクス発生部２２６およびテキスト発生部２２７から出力されるデータが供給される。このビデオ重畳部２２８では、立体画像データ（左眼画像データ、右眼画像データ）に対して、グラフィクス発生部２２６およびテキスト発生部２２７で発生されたデータが重畳され、表示用立体画像データＶoutが得られる。この表示用立体画像データＶoutは、映像信号処理回路２０５を介して、ＨＤＭＩ送信部２０６（図４１参照）に、送信画像データとして供給される。
【０２０４】
また、オーディオデコーダ２２４では、デマルチプレクサ２２０で抽出されたオーディオのパケットからオーディオのエレメンタリストリームが再構成され、さらに復号化処理が行われて、音声データが得られる。この音声データは、マルチチャネルスピーカコントロール部２２９に供給される。このマルチチャネルスピーカコントロール部２２９では、音声データに対して、例えば５．１ｃｈサラウンド等を実現するためのマルチチャネルスピーカの音声データを生成する処理、所定の音場特性を付与する処理等が施される。
【０２０５】
このマルチチャネルスピーカコントロール部２２９には、視差ベクトルデコーダ２２５で得られた視差ベクトルも供給される。そして、このマルチチャネルスピーカコントロール部２２９では、視差ベクトルに基づいて、マルチチャネルスピーカの出力が制御される。このマルチチャネルスピーカコントロール部２２９で得られるマルチチャネル音声データは、音声信号処理回路２０７を介してＨＤＭＩ送信部２０６（図４１参照）に、送信音声データとして供給される。
【０２０６】
「ビットストリーム処理部の他の構成例」
図４４に示すビットストリーム処理部２０１Ａは、上述の図１３に示す送信データ生成部１１０Ａに対応させた構成となっている。この図４４において、図４２と対応する部分には同一符号を付し、その詳細説明は省略する。
【０２０７】
このビットストリーム処理部２０１Ａは、図４２に示すビットストリーム処理部２０１の視差ベクトルデコーダ２２５の代わりに、視差ベクトル取り出し部２３１が設けられる。この視差ベクトル取り出し部２３１は、ビデオデコーダ２２１を通じて得られるビデオのストリームから、そのユーザデータ領域に埋め込まれている視差ベクトルを取り出す。そして、この視差ベクトル取り出し部２３１は、取り出した視差ベクトルを、立体画像用グラフィクス発生部２２６、立体画像用テキスト発生部２２７およびマルチチャネルスピーカコントロール部２２９に供給する。
【０２０８】
詳細説明は省略するが、この図４４に示すビットストリーム処理部２０１Ａのその他は、図４２に示すビットストリーム処理部２０１と同様に構成され、同様に動作する。
【０２０９】
「ビットストリーム処理部の他の構成例」
図４５に示すビットストリーム処理部２０１Ｂは、上述の図１５に示す送信データ生成部１１０Ｂに対応させた構成となっている。この図４５において、図４２と対応する部分には同一符号を付し、その詳細説明は省略する。
【０２１０】
このビットストリーム処理部２０１Ｂは、図４２に示すビットストリーム処理部２０１の視差ベクトルデコーダ２２５の代わりに、視差ベクトル取り出し部２３２が設けられる。この視差ベクトル取り出し部２３２は、グラフィクスデコーダ２２２を通じて得られるグラフィクスのストリームから、それに埋め込まれている視差ベクトルを取り出す。そして、この視差ベクトル取り出し部２３２は、取り出した視差ベクトルを、立体画像用グラフィクス発生部２２６、立体画像用テキスト発生部２２７およびマルチチャネルスピーカコントロール部２２９に供給する。
【０２１１】
詳細説明は省略するが、この図４５に示すビットストリーム処理部２０１Ｂのその他は、図４２に示すビットストリーム処理部２０１と同様に構成され、同様に動作する。
【０２１２】
「ビットストリーム処理部の他の構成例」
図４６に示すビットストリーム処理部２０１Ｃは、上述の図２１に示す送信データ生成部１１０Ｃに対応させた構成となっている。この図４６において、図４２と対応する部分には同一符号を付し、その詳細説明は省略する。
【０２１３】
このビットストリーム処理部２０１Ｃは、図４２に示すビットストリーム処理部２０１から、視差ベクトルデコーダ２２５、立体画像用グラフィクス発生部２２６および立体画像用テキスト発生部２２７が除かれたものである。この場合、視差ベクトルは、グラフィクス情報、テキスト情報のデータに予め反映されている。
【０２１４】
送信されてくるグラフィクスデータには、上述したように、左眼画像に重畳される左眼グラフィクス情報のデータ、および右眼画像に重畳される右眼グラフィクス情報のデータが含まれている。同様に、送信されてくるテキストデータには、上述したように、左眼画像に重畳される左眼テキスト情報のデータおよび右眼画像に重畳される右眼テキスト情報のデータが含まれている。したがって、視差ベクトルデコーダ２２５、立体画像用グラフィクス発生部２２６および立体画像用テキスト発生部２２７は不要となる。
【０２１５】
なお、テキストデコーダ２２３で得られるテキストデータはコードデータ（キャラクタコード）であるので、これをビットマップデータに変換する処理は必要である。この処理は、例えば、テキストデコーダ２２３の最終段で行われるか、あるいはビデオ重畳部２２８の入力段で行われる。
【０２１６】
［セットトップボックスの他の構成例］
図４７に示すセットトップボックス２００Ａは、セットトップボックスの他の構成例を示している。この図４７において、図４１、図４２と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。このセットトップボックス２００Ａは、ビットストリーム処理部２０１Ｄと、ＨＤＭＩ端子２０２と、アンテナ端子２０３と、デジタルチューナ２０４と、映像・グラフィック処理回路２０５Ａと、ＨＤＭＩ送信部２０６と、音声信号処理回路２０７を有している。
【０２１７】
また、このセットトップボックス２００Ａは、ＣＰＵ２１１と、フラッシュＲＯＭ２１２と、ＤＲＡＭ２１３と、内部バス２１４と、リモコン受信部２１５と、リモコン送信機２１６と、ネットワーク端子２１７と、イーサネットインタフェース２１８を有している。なお、「イーサネット」は登録商標である。
【０２１８】
ビットストリーム処理部２０１Ｄは、上述の図２２に示す送信データ生成部１１０Ｄに対応させた構成となっている。このビットストリーム処理部２０１Ｄは、デジタルチューナ２０４で得られるビットストリームデータＢＳＤから立体画像データ（左眼画像データ、右眼画像データ）、音声データ、字幕データ、視差情報（視差情報セット）等を抽出する。
【０２１９】
このビットストリーム処理部２０１Ｄは、デマルチプレクサ２２０Ａと、ビデオデコーダ２２１と、字幕デコーダ２２２Ａと、立体画像用字幕発生部２２６Ａと、視差情報取り出し部２３１Ａと、オーディオデコーダ２２４と、ビデオ重畳部２２８を有している。デマルチプレクサ２２０Ａは、ビットストリームデータＢＳＤから、ビデオ、オーディオおよび字幕のパケットを抽出し、各デコーダに送る。
【０２２０】
ビデオデコーダ２２１は、デマルチプレクサ２２０Ａで抽出されたビデオのパケットからビデオのエレメンタリストリームを再構成し、復号化処理を行って、左眼画像データおよび右眼画像データを含む立体画像データを得る。字幕デコーダ２２２Ａは、上述の送信データ生成部１１０Ｄの字幕エンコーダ１３３とは逆の処理を行う。すなわち、この字幕デコーダ２２２Ａは、デマルチプレクサ２２０Ａで抽出された字幕のパケットから字幕エレメンタリストリーム（字幕データストリーム）を再構成し、復号化処理を行って、ＡＲＩＢ方式の字幕データを得る。
【０２２１】
視差情報取り出し部２３１Ａは、字幕デコーダ２２１を通じて得られる字幕のストリームから、視差情報（視差情報セット）を取り出す。そして、この視差情報取り出し部２３１Ａは、取り出した視差情報（視差情報セット）を、立体画像用字幕発生部２２６に供給する他に、ビットストリーム処理部２０１Ｄの外部に出力する。
【０２２２】
立体画像用字幕発生部２２６Ａは、左眼画像および右眼画像にそれぞれ重畳する左眼字幕および右眼字幕を生成する。この生成処理は、字幕デコーダ２２２Ａで得られた字幕データと、視差情報取り出し部２３１Ａから供給される視差情報（視差情報セット）に基づいて行われる。そして、この立体画像用字幕発生部２２６Ａは、左眼および左眼の字幕のデータ（ビットマップデータ）を出力する。
【０２２３】
この場合、左眼および左眼の字幕（キャプション・ユニット）は同一の情報である。しかし、画像内の重畳位置が、例えば、左眼の字幕に対して、右眼の字幕は、視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。これにより、左眼画像および右眼画像に重畳される同一の字幕として、画像内の各物体の遠近感に応じて視差調整が施されたものを用いることができ、このグラフィクス情報の表示において、画像内の各物体との間の遠近感の整合性を維持するようにされる。
【０２２４】
ここで使用される視差情報は、字幕向けの視差情報（視差情報セット）とされる。この字幕向けの視差情報（視差情報セット）には、画面毎に表示される所定数の字幕（キャプション・ユニット）にそれぞれ対応した所定数の視差情報が含まれている。各視差情報には、それぞれ、対応する字幕データの字幕データストリームにおける配置順を示す識別情報が付加されている。これにより、各字幕（キャプション・ユニット）の字幕データと、それに対応した識別情報との対応付けが行われている。
【０２２５】
そのため、立体画像用字幕発生部２２６Ａでは、左眼画像および右眼画像に重畳される所定数の字幕（キャプション・ユニット）にそれぞれ対応する視差情報を用いて適切な視差を付与できる。したがって、字幕（キャプション・ユニット）の表示において、画像内の各物体との間の遠近感の整合性を最適な状態に維持できる。なお、字幕向けの視差情報（視差情報セット）の代わりに汎用目的の視差情報（視差情報セット）が送信されてきた場合、この視差情報を用いることもできる。
【０２２６】
立体画像用字幕発生部２２６Ａは、シフト対象指定情報（Select_view_shift）に基づいて、左眼字幕および右眼字幕のいずれか、あるいは双方に対して、視差を付与するためのシフト処理を行う。また、立体画像用字幕発生部２２６Ａは、視差情報取り出し部２３１Ａで取り出された視差情報に応じた、字幕（キャプション・ユニット）に対して、視差付与処理を行う。すなわち、立体画像用字幕発生部２２６Ａは、字幕（キャプション・ユニット）が表示される所定数のフレームで共通に使用される視差情報であるか、その所定数のフレームで順次更新される視差情報であるかにより、以下のように、視差を付与する。
【０２２７】
すなわち、各フレームで共通に使用される視差情報であるとき、立体画像用字幕発生部２２６Ａは、左眼画像、右眼画像に重畳される字幕（キャプション・ユニット）に、この共通の視差情報に基づいて視差を付与する。一方、各フレームで順次更新される視差情報であるとき、立体画像用字幕発生部２２６Ａは、左眼画像、右眼画像に重畳される字幕（キャプション・ユニット）に、フレーム毎に更新された視差情報に基づいて視差を付与する。
【０２２８】
上述したように、各フレームで順次更新される視差情報は、例えば、最初のフレームの視差情報と、２番目以降のフレームの、前のフレームの視差情報に対するオフセット情報とで構成されている。この場合、最初のフレームでは、左眼画像、右眼画像に重畳される字幕（キャプション・ユニット）に、最初のフレームの視差情報に基づいて視差が付与される。そして、２番目以降のフレームでは、左眼画像、右眼画像に重畳される字幕（キャプション・ユニット）に、前のフレームの視差付与状態を基準として、オフセット情報分だけさらに視差を付与する。
【０２２９】
図４８は、各フレームで順次更新される視差情報に基づいて、左眼画像、右眼画像に重畳される字幕（キャプション・ユニット）に視差を付与する処理を示している。最初のフレーム（Frame N）では、最初のフレームの視差情報ＤＰ０に基づいてシフト処理されて、左眼字幕ＬＣと右眼字幕ＲＣに視差が付与される。次のフレーム（Frame N+1）では、字幕ＬＣ，ＲＣに対し、フレーム（Frame N）の状態から、オフセット情報（Differential）である「＋１」だけさらにシフト処理が行われる。
【０２３０】
次のフレーム（Frame N+2）では、字幕ＬＣ，ＲＣに対し、フレーム（Frame N+1）の状態から、オフセット情報である「＋１」だけさらにシフト処理が行われる。次のフレーム（Frame N+3）では、オフセット情報が「０」であるので、字幕ＬＣ，ＲＣのシフト状態は、フレーム（Frame N+2）と同じ状態が維持される。また、次のフレーム（Frame N+3）では、字幕ＬＣ，ＲＣに対し、フレーム（Frame N+3）の状態から、オフセット情報である「＋１」だけさらにシフト処理が行われる。
【０２３１】
ビデオ重畳部２２８は、ビデオデコーダ２２１で得られた立体画像データ（左眼画像データ、右眼画像データ）に対し、立体画像用字幕発生部２２６Ａで発生された左眼および左眼の字幕のデータ（ビットマップデータ）を重畳し、表示用立体画像データを得る。なお、立体画像データ（左眼画像データ、右眼画像データ）への字幕データの重畳はシステムレイヤのタイムスタンプにより開始される。そして、このビデオ重畳部２２８は、表示用立体画像データを、ビットストリーム処理部２０１Ｄの外部に出力する。
【０２３２】
イーサネットインタフェース２１８は、ネットワーク端子２１７を介して、インターネット等の図示しないネットワークに接続される。イーサネットインタフェース２１８は、ユーザ操作に応じて、ネットワークを通じて種々の情報、例えばウィジェット（Widget）でグラフィクス表示する天気予報、株価等の情報も取得できる。このイーサネットインタフェース２１８は、内部バス２１４に接続されている。
【０２３３】
映像・グラフィック処理回路２０５Ａは、ビットストリーム処理部２０１Ｄから出力された表示用立体画像データに対して、必要に応じて、画質調整処理を行う。また、この映像・グラフィック処理回路２０５Ａは、ビットストリーム処理部２０１Ｄから出力された表示用立体画像データに対して、例えば、ウィジェット（Widget）によるグラフィクス情報のデータを重畳する。
【０２３４】
この映像・グラフィック処理回路２０５Ａには、上述したビットストリーム処理部２０１Ｄから出力される視差情報（視差情報セット）が供給される。この視差情報は、例えば、汎用目的の視差情報である。映像・グラフィック処理回路２０５Ａは、この視差情報に基づいて、左眼画像および右眼画像に重畳する同一のグラフィクス情報に、視差を付与する。これにより、左眼画像および右眼画像に重畳される同一のグラフィクス情報として、画像内の各物体の遠近感に応じて視差調整が施されたものを用いることができ、グラフィクス情報の表示において、画像内の各物体との間の遠近感の整合性を維持するようにされる。
【０２３５】
映像・グラフィック処理回路２０５Ａは、処理後の表示用立体画像データをＨＤＭＩ送信部２０６に供給する。音声信号処理回路２０７は、ビットストリーム処理部２０１Ｄから出力された音声データに対して必要に応じて音質調整処理等を行い、処理後の音声データをＨＤＭＩ送信部２０６に供給する。ＨＤＭＩ送信部２０６は、ＨＤＭＩに準拠した通信により、ベースバンドの画像（映像）と音声のデータを、ＨＤＭＩ端子２０２から送出する。この場合、ＨＤＭＩ送信部２０６は、ＨＤＭＩのＴＭＤＳチャネルで送信するため、画像および音声のデータをパッキングしてＨＤＭＩ端子２０２に出力する。
【０２３６】
図４７に示すセットトップボックス２００Ａのその他は、詳細説明は省略するが、図４１に示すセットトップボックス２００と同様に構成される。
【０２３７】
図４７に示すセットトップボックス２００Ａの動作を簡単に説明する。アンテナ端子２０３に入力されたテレビ放送信号はデジタルチューナ２０４に供給される。このデジタルチューナ２０４では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応した所定のビットストリームデータＢＳＤが得られる。このビットストリームデータＢＳＤは、ビットストリーム処理部２０１Ｄに供給される。
【０２３８】
このビットストリーム処理部２０１Ｄでは、ビットストリームデータから立体画像データ（左眼画像データ、右眼画像データ）、音声データ、字幕データおよび視差情報（視差情報セット）等が抽出される。また、このビットストリーム処理部２０１Ｄでは、立体画像データに対し、字幕のデータ（ビットマップデータ）が合成され、表示用立体画像データが生成される。
【０２３９】
この場合、ビットストリーム処理部２０１Ｄでは、視差ベクトルに基づいて、左眼画像および右眼画像に重畳する同一の字幕（キャプション・ユニット）に、視差が付与される。これにより、左眼画像および右眼画像に重畳される同一の字幕として、画像内の各物体の遠近感に応じて視差調整が施されたものを用いることができ、この字幕の表示において、画像内の各物体との間の遠近感の整合性を維持するようにされる。
【０２４０】
ビットストリーム処理部２０１Ｄで生成される表示用立体画像データは、映像・グラフィック処理回路２０５Ａで必要に応じて画質調整処理が行われる。また、この映像・グラフィック処理回路２０５Ａでは、必要に応じて、ビットストリーム処理部２０１Ｄで生成される表示用立体画像データに、ウィジェット（Widget）によるグラフィクス情報のデータを合成することが行われる。
【０２４１】
この場合、映像・グラフィック処理回路２０５Ａでは、ビットストリーム処理部２０１Ｄから供給される視差情報（視差情報セット）に基づいて、左眼画像および右眼画像に重畳する同一のグラフィクス情報に、視差が付与される。これにより、左眼画像および右眼画像に重畳される同一のグラフィクス情報として、画像内の各物体の遠近感に応じて視差調整が施されたものを用いることができ、グラフィクス情報の表示において、画像内の各物体との間の遠近感の整合性を維持するようにされる。
【０２４２】
映像・グラフィック処理回路２０５Ａから得られる処理後の表示用立体画像データは、ＨＤＭＩ送信部２０６に供給される。また、ビットストリーム処理部２０１Ｄで得られる音声データは、音声信号処理回路２０７で必要に応じて音質調整処理等が行われた後に、ＨＤＭＩ送信部２０６に供給される。ＨＤＭＩ送信部２０６に供給された立体画像データおよび音声データは、ＨＤＭＩのＴＭＤＳチャネルにより、ＨＤＭＩ端子２０２からＨＤＭＩケーブル４００に送出される。
【０２４３】
図４７に示すセットトップボックス２００Ａにおいては、視差情報取り出し部２３１Ａで取り出された視差情報に基づいて、ビットストリーム処理部２０１Ｄ内で、左眼画像および右眼画像に重畳される同一の字幕（キャプション・ユニット）に視差が付与される。また、その視差情報（視差情報セット）に基づいて、映像・グラフィック処理回路２０５Ａで、左眼画像および右眼画像に重畳される同一のグラフィクス情報に視差が付与される。したがって、放送局から送られてくる字幕（キャプション・ユニット）だけでなく、このセットトップボックス２００Ａ内で発生されるグラフィクス情報に関しても、その表示において、画像内の各物体との間の遠近感の整合性を維持するようにできる。
【０２４４】
図４９は、図４７に示すセットトップボックス２００Ａにおいて左眼画像および右眼画像への字幕（キャプション・ユニット）およびグラフィクス情報の重畳例を示している。図４９（ａ）は、左眼画像を示している。ビットストリーム処理部２０１Ｄにおいて、字幕（キャプション・ユニット）「Caption 1」は（x1,y1）の位置に重畳され、字幕（キャプション・ユニット）「Caption 2」は（x2,y2）の位置に重畳される。また、映像・グラフィック処理回路２０５Ａにおいて、グラフィクス情報「Graphics 1」は（x3,y3）の位置に重畳される。
【０２４５】
図４９（ｂ）は、右眼画像を示している。ビットストリーム処理部２０１Ｄにおいて、字幕（キャプション・ユニット）「Caption 1」は、左眼画像への重畳位置に対して、対応する視差ベクトルに基づいて、オフセット１（Offset 1）だけずれた位置に重畳される。同様に、このビットストリーム処理部２０１Ｄにおいて、字幕（キャプション・ユニット）「Caption 2」は、左眼画像への重畳位置に対して、対応する視差ベクトルに基づいて、オフセット２（Offset 2）だけずれた位置に重畳される。また、映像・グラフィック処理回路２０５Ａにおいて、グラフィクス情報「Graphics 1」は、左眼画像への重畳位置に対して、オフセット３（Offset 3）だけずれた位置に重畳される。
【０２４６】
なお、図４７に示すセットトップボックス２００Ａでは、ビットストリーム処理部２０１Ｄで字幕（キャプション・ユニット）を取り扱うと共に、映像・グラフィック処理部２０５Ａでグラフィック情報を取り扱う。しかし、他の重畳情報を取り扱うものも同様に構成できる。
【０２４７】
［テレビ受信機の説明］
図１に戻って、テレビ受信機３００は、セットトップボックス２００からＨＤＭＩケーブル４００を介して送られてくる立体画像データを受信する。このテレビ受信機３００は、３Ｄ信号処理部３０１を有している。この３Ｄ信号処理部３０１は、立体画像データに対して、伝送方式に対応した処理（デコード処理）を行って、左眼画像データおよび右眼画像データを生成する。
【０２４８】
すなわち、この３Ｄ信号処理部３０１は、図２、図１３、図１５、図２１に示す送信データ生成部１１０，１１０Ａ，１１０Ｂ，１１０Ｃにおけるビデオフレーミング部１１２とは逆の処理を行う。そして、この３Ｄ信号処理部３０１は、立体画像データを構成する左眼画像データおよび右眼画像データを取得する。
【０２４９】
［テレビ受信機の構成例］
テレビ受信機３００の構成例を説明する。図５０は、テレビ受信機３００の構成例を示している。このテレビ受信機３００は、３Ｄ信号処理部３０１と、ＨＤＭＩ端子３０２と、ＨＤＭＩ受信部３０３と、アンテナ端子３０４と、デジタルチューナ３０５と、ビットストリーム処理部３０６を有している。
【０２５０】
また、このテレビ受信機３００は、映像・グラフィック処理回路３０７と、パネル駆動回路３０８と、表示パネル３０９と、音声信号処理回路３１０と、音声増幅回路３１１と、スピーカ３１２を有している。また、このテレビ受信機３００は、ＣＰＵ３２１と、フラッシュＲＯＭ３２２と、ＤＲＡＭ３２３と、内部バス３２４と、リモコン受信部３２５と、リモコン送信機３２６を有している。
【０２５１】
アンテナ端子３０４は、受信アンテナ（図示せず）で受信されたテレビ放送信号を入力する端子である。デジタルチューナ３０５は、アンテナ端子３０４に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）ＢＳＤを出力する。
【０２５２】
ビットストリーム処理部３０６は、図４２、図４４、図４５、図４６、図４７に示すセットトップボックス内のビットストリーム処理部２０１，２０１Ａ〜２０１Ｄと同様の構成とされている。このビットストリーム処理部３０６は、ビットストリームデータＢＳＤから立体画像データ（左眼画像データ、右眼画像データ）、音声データ、重畳情報データ、視差情報（視差ベクトル）等を抽出する。重畳情報データは、グラフィクスデータ、テキストデータ、ＡＲＩＢ方式の字幕データ等である。このビットストリーム処理部３０６は、立体画像データに対し、重畳情報データを合成し、表示用立体画像データを取得する。また、ビットストリーム処理部３０６は、音声データを出力する。
【０２５３】
ＨＤＭＩ受信部３０３は、ＨＤＭＩに準拠した通信により、ＨＤＭＩケーブル４００を介してＨＤＭＩ端子３０２に供給される非圧縮の画像データおよび音声データを受信する。このＨＤＭＩ受信部３０３は、そのバージョンが例えばＨＤＭＩ１．４とされており、立体画像データの取り扱いが可能な状態にある。
【０２５４】
３Ｄ信号処理部３０１は、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた立体画像データに対して、デコード処理を行って、左眼画像データおよび右眼画像データを生成する。この場合、３Ｄ信号処理部３０１は、ビットストリーム処理部３０６で得られた立体画像データに対しては、その伝送方式（図４参照）に対応したデコード処理を行う。また、３Ｄ信号処理部３０１は、ＨＤＭＩ受信部３０３で受信された立体画像データに対しては、ＴＭＤＳ伝送データ構造に対応したデコード処理を行う。
【０２５５】
映像・グラフィック処理回路３０７は、３Ｄ信号処理部３０１で生成された左眼画像データおよび右眼画像データに基づいて、立体画像を表示するための画像データを生成する。また、映像・グラフィック処理回路３０７は、画像データに対して、必要に応じて、画質調整処理を行う。また、映像・グラフィック処理回路３０７は、画像データに対して、必要に応じて、メニュー、番組表などの重畳情報のデータを合成する。パネル駆動回路３０８は、映像・グラフィック処理回路３０７から出力される画像データに基づいて、表示パネル３０９を駆動する。表示パネル３０９は、例えば、ＬＣＤ(Liquid Crystal Display)、ＰＤＰ(Plasma DisplayPanel)等で構成されている。
【０２５６】
音声信号処理回路３１０は、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた音声データに対してＤ／Ａ変換等の必要な処理を行う。音声増幅回路３１１は、音声信号処理回路３１０から出力される音声信号を増幅してスピーカ３１２に供給する。
【０２５７】
ＣＰＵ３２１は、テレビ受信機３００の各部の動作を制御する。フラッシュＲＯＭ３２２は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ３２３は、ＣＰＵ３２１のワークエリアを構成する。ＣＰＵ３２１は、フラッシュＲＯＭ３２２から読み出したソフトウェアやデータをＤＲＡＭ３２３上に展開してソフトウェアを起動させ、テレビ受信機３００の各部を制御する。
【０２５８】
リモコン受信部３２５は、リモコン送信機３２６から送信されたリモートコントロール信号（リモコンコード）を受信し、ＣＰＵ３２１に供給する。ＣＰＵ３２１は、このリモコンコードに基づいて、テレビ受信機３００の各部を制御する。ＣＰＵ３２１、フラッシュＲＯＭ３２２およびＤＲＡＭ３２３は、内部バス３２４に接続されている。
【０２５９】
図５０に示すテレビ受信機３００の動作を簡単に説明する。ＨＤＭＩ受信部３０３では、ＨＤＭＩ端子３０２にＨＤＭＩケーブル４００を介して接続されているセットトップボックス２００から送信されてくる、立体画像データおよび音声データが受信される。このＨＤＭＩ受信部３０３で受信された立体画像データは、３Ｄ信号処理部３０１に供給される。また、このＨＤＭＩ受信部３０３で受信された音声データは音声信号処理回路３１０に供給される。
【０２６０】
アンテナ端子３０４に入力されたテレビ放送信号はデジタルチューナ３０５に供給される。このデジタルチューナ３０５では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）ＢＳＤが出力される。
【０２６１】
デジタルチューナ３０５から出力されるビットストリームデータＢＳＤは、ビットストリーム処理部３０６に供給される。このビットストリーム処理部３０６では、ビットストリームデータＢＳＤから立体画像データ（左眼画像データ、右眼画像データ）、音声データ、重畳情報データ、視差ベクトル（視差情報）等が抽出される。また、このビットストリーム処理部３０６では、立体画像データに対し、重畳情報（クローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報、ＡＲＩＢ方式の字幕など）のデータが合成され、表示用立体画像データが生成される。
【０２６２】
ビットストリーム処理部３０６で生成される表示用立体画像データは、３Ｄ信号処理部３０１に供給される。また、このビットストリーム処理部３０６で得られる音声データは、音声信号処理回路３１０に供給される。
【０２６３】
３Ｄ信号処理部３０１では、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた立体画像データに対してデコード処理が行われて、左眼画像データおよび右眼画像データが生成される。この左眼画像データおよび右眼画像データは、映像・グラフィック処理回路３０７に供給される。この映像・グラフィック処理回路３０７では、左眼画像データおよび右眼画像データに基づいて、立体画像を表示するための画像データが生成され、必要に応じて、画質調整処理、重畳情報データの合成処理も行われる。
【０２６４】
この映像・グラフィック処理回路３０７で得られる画像データはパネル駆動回路３０８に供給される。そのため、表示パネル３０９により立体画像が表示される。例えば、表示パネル３０９に、左眼画像データによる左眼画像および右眼画像データによる右眼画像が交互に時分割的に表示される。視聴者は、表示パネル３０９の表示に同期して左眼シャッタおよび右眼シャッタが交互に開くシャッタメガネを装着することで、左眼では左眼画像のみを見ることができ、右眼では右眼画像のみを見ることができ、立体画像を知覚できる。
【０２６５】
また、音声信号処理回路３１０では、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた音声データに対してＤ／Ａ変換等の必要な処理が施される。この音声データは、音声増幅回路３１１で増幅された後に、スピーカ３１２に供給される。そのため、スピーカ３１２から表示パネル３０９の表示画像に対応した音声が出力される。
【０２６６】
上述したように、図１に示す立体画像表示システム１０においては、放送局１００（送信データ生成部２０１Ｄ）からセットトップボックス２００に、ビデオデータストリームと字幕データストリームとを有する多重化データストリームが送信される。ビデオデータストリームには、立体画像データが含まれている。また、字幕データストリームには、重畳情報としてのＡＲＩＢ方式の字幕（キャプション・ユニット）のデータおよび視差情報（視差情報セット）が含まれている。
【０２６７】
そして、字幕データストリームには、同一の画面に表示される所定数の字幕（キャプション・ユニット）のデータがセパレータ（Unit_Separator）を介して順に配置されている。また、字幕データストリームに挿入される視差情報（視差情報セット）には、所定数の字幕（キャプション・ユニット）のデータの配置順を示す識別情報(region_block_id)がそれぞれ付加されている所定数の視差情報が含まれている。
【０２６８】
このように、所定数の視差情報のそれぞれに同一の画面に表示される所定数の字幕（キャプション・ユニット）のデータの配置順を示す識別情報が付加されている。これにより、所定数の字幕（キャプション・ユニット）のデータと所定数の視差情報との対応付けが行われている。そのため、セットトップボックス２００においては、左眼画像および右眼画像に重畳される所定数の字幕（キャプション・ユニット）にそれぞれ対応する視差情報を用いて適切な視差を付与できる。したがって、字幕（キャプション・ユニット）の表示において、画像内の各物体との間の遠近感の整合性を最適な状態に維持できる。
【０２６９】
＜２．変形例＞
なお、上述実施の形態においては、立体画像表示システム１０が、放送局１００、セットトップボックス２００およびテレビ受信機３００で構成されているものを示した。しかし、テレビ受信機３００は、図５０に示すように、セットトップボックス２００内のビットストリーム処理部２０１と同等に機能するビットストリーム処理部３０６を備えている。したがって、図５１に示すように、放送局１００およびテレビ受信機３００で構成される立体画像表示システム１０Ａも考えられる。
【０２７０】
また、上述実施の形態においては、立体画像データを含むデータストリーム（ビットストリームデータ）が放送局１００から放送される例を示した。しかし、この発明は、このデータストリームがインターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できることは勿論である。
【０２７１】
また、上述実施の形態においては、セットトップボックス２００と、テレビ受信機３００とが、ＨＤＭＩのデジタルインタフェースで接続されるものを示している。しかし、これらが、ＨＤＭＩのデジタルインタフェースと同様のデジタルインタフェース（有線の他に無線も含む）で接続される場合においても、この発明を適用できることは勿論である。
【産業上の利用可能性】
【０２７２】
この発明は、クローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報、ＡＲＩＢ方式の字幕等の重畳情報を画像に重畳して表示する立体画像表示システム等に適用できる。
【符号の説明】
【０２７３】
１０，１０Ａ・・・立体画像表示システム、１００・・・放送局、１１０，１１０Ａ〜１１０Ｄ・・・送信データ生成部、１１１Ｌ，１１１Ｒ・・・カメラ、１１２・・・ビデオフレーミング部、１１３・・・ビデオエンコーダ、１１３ａ・・・ストリームフォーマッタ、１１４・・・視差ベクトル検出部、１１５・・・視差ベクトルエンコーダ、１１６・・・マイクロホン、１１７・・・オーディオエンコーダ、１１８・・・グラフィクス発生部、１１９・・・グラフィクスエンコーダ、１１９ａ・・・ストリームフォーマッタ、１２０・・・テキスト発生部、１２１・・・テキストエンコーダ、１２２・・・マルチプレクサ、１２４・・・グラフィクス処理部、１２５・・・テキスト処理部、１３０・・・データ取り出し部、１３０ａ・・・データ記録媒体、１３１・・・視差情報セット作成部、１３２・・・字幕発生部、１３３・・・字幕エンコーダ、２００，２００Ａ・・・セットトップボックス、２０１，２０１Ａ〜２０１Ｄ・・・ビットストリーム処理部、２０２・・・ＨＤＭＩ端子、２０３・・・アンテナ端子、２０４・・・デジタルチューナ、２０５・・・映像信号処理回路、２０５Ａ・・・映像・グラフィック処理部、２０６・・・ＨＤＭＩ送信部、２０７・・・音声信号処理回路、２１１・・・ＣＰＵ、２１２・・・フラッシュＲＯＭ、２１３・・・ＤＲＡＭ、２１４・・・内部バス、２１５・・・リモコン受信部、２１６・・・リモコン送信機、２１７・・・ネットワーク端子、２１８・・・イーサネットインタフェース、２２０，２２０Ａ・・・デマルチプレクサ、２２１・・・ビデオデコーダ、２２２・・・グラフィクスデコーダ、２２２Ａ・・・字幕デコーダ、２２３・・・テキストデコーダ、２２４・・・オーディオデコーダ、２２６・・・立体画像用グラフィクス発生部、２２６Ａ・・・立体画像用字幕発生部、２２７・・・立体画像用テキスト発生部、２２８・・・ビデオ重畳部、２２９・・・マルチチャネルスピーカコントロール部、２３１，２３２・・・視差情報取り出し部、２３１Ａ・・・視差情報取り出し部、３００・・・テレビ受信機、３０１・・・３Ｄ信号処理部、３０２・・・ＨＤＭＩ端子、３０３・・・ＨＤＭＩ受信部、３０４・・・アンテナ端子、３０５・・・デジタルチューナ、３０６・・・ビットストリーム処理部、３０７・・・映像・グラフィック処理回路、３０８・・・パネル駆動回路、３０９・・・表示パネル、３１０・・・音声信号処理回路、３１１・・・音声増幅回路、３１２・・・スピーカ、３２１・・・ＣＰＵ、３２２・・・フラッシュＲＯＭ、３２３・・・ＤＲＡＭ、３２４・・・内部バス、３２５・・・リモコン受信部、３２６・・・リモコン送信機、４００・・・ＨＤＭＩケーブル
【図１】
0005429034.tif 000002
【図２】
0005429034.tif 000003
【図３】
0005429034.tif 000004
【図４】
0005429034.tif 000005
【図５】
0005429034.tif 000006
【図６】
0005429034.tif 000007
【図７】
0005429034.tif 000008
【図８】
0005429034.tif 000009
【図９】
0005429034.tif 000010
【図１０】
0005429034.tif 000011
【図１１】
0005429034.tif 000012
【図１２】
0005429034.tif 000013
【図１３】
0005429034.tif 000014
【図１４】
0005429034.tif 000015
【図１５】
0005429034.tif 000016
【図１６】
0005429034.tif 000017
【図１７】
0005429034.tif 000018
【図１８】
0005429034.tif 000019
【図１９】
0005429034.tif 000020
【図２０】
0005429034.tif 000021
【図２１】
0005429034.tif 000022
【図２２】
0005429034.tif 000023
【図２３】
0005429034.tif 000024
【図２５】
0005429034.tif 000025
【図２６】
0005429034.tif 000026
【図２７】
0005429034.tif 000027
【図２８】
0005429034.tif 000028
【図２９】
0005429034.tif 000029
【図３０】
0005429034.tif 000030
【図３１】
0005429034.tif 000031
【図３２】
0005429034.tif 000032
【図３３】
0005429034.tif 000033
【図３４】
0005429034.tif 000034
【図３５】
0005429034.tif 000035
【図３８】
0005429034.tif 000036
【図３９】
0005429034.tif 000037
【図４０】
0005429034.tif 000038
【図４１】
0005429034.tif 000039
【図４２】
0005429034.tif 000040
【図４３】
0005429034.tif 000041
【図４４】
0005429034.tif 000042
【図４５】
0005429034.tif 000043
【図４６】
0005429034.tif 000044
【図４７】
0005429034.tif 000045
【図４８】
0005429034.tif 000046
【図４９】
0005429034.tif 000047
【図５０】
0005429034.tif 000048
【図５１】
0005429034.tif 000049
【図５２】
0005429034.tif 000050
【図２４】
0005429034.tif 000051
【図３６】
0005429034.tif 000052
【図３７】
0005429034.tif 000053