(57)【要約】【課題】受信側の処理の容易化を図る。【解決手段】サブタイトル処理部１２３は、二次元画像用のサブタイトルデータを、立体画像データの伝送フォーマットに対応した立体画像用のサブタイトルデータに変換する。受信側においては、立体画像用のサブタイトルデータに基づいて、立体画像データが持つ左眼画像データに重畳する左眼サブタイトルの表示データおよび立体画像データが持つ右眼画像データに重畳する右眼サブタイトルの表示データを容易に発生でき、処理の容易化が図られる。立体画像データ、立体画像用のサブタイトルデータの他に、左眼、右眼のサブタイトルの表示領域として設定されるリージョン・パーティションの領域情報およびシフト情報を含む表示制御情報を送信する。サブタイトルの一部または全部に付与する視差を画像内容の変化に連動して動的に変化させることができる。シフト情報は、サブピクセル精度で生成される。【選択図】図２
2012044625.tif 000002
【特許請求の範囲】
【請求項１】
左眼画像データおよび右眼画像データを持つ所定の伝送フォーマットの立体画像データを出力する画像データ出力部と、
上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを出力する重畳情報データ出力部と、
上記重畳情報データ出力部から出力される上記重畳情報のデータを、上記所定の伝送フォーマットの立体画像データに含まれる上記左眼画像データに対応した左眼重畳情報のデータおよび上記所定の伝送フォーマットの立体画像データに含まれる上記右眼画像データに対応した右眼重畳情報のデータを持つ送信用重畳情報データに変換する重畳情報データ処理部と、
上記重畳情報データ処理部から出力される上記送信用重畳情報データによる左眼重畳情報が重畳される左眼画像上の領域の一部または全部を含む左眼制御領域および上記重畳情報データ処理部から出力される上記送信用重畳情報データによる右眼重畳情報が重畳される右眼画像上の領域の一部または全部を含む右眼制御領域の領域情報と、上記左眼制御領域および上記右眼制御領域のシフト情報とを含む表示制御情報を生成する表示制御情報生成部と、
上記画像データ出力部から出力される上記立体画像データを含む第１のデータストリームと、上記重畳情報データ処理部から出力される上記送信用重畳情報データおよび上記表示制御情報生成部で生成される上記表示制御情報を含む第２のデータストリームとを有する多重化データストリームを送信するデータ送信部と
を備える立体画像データ送信装置。
【請求項２】
上記表示制御情報に含まれる上記左眼制御領域および上記右眼制御領域のシフト情報は、上記左眼制御領域内の左眼重畳情報および上記右眼制御領域内の右眼重畳情報の表示位置に視差を付与するためのシフト情報である
請求項１に記載の立体画像データ送信装置。
【請求項３】
上記左眼画像データによる左眼画像と上記右眼画像データによる右眼画像との間の視差情報を出力する視差情報出力部をさらに備え、
上記表示制御情報生成部は、上記視差情報出力部から出力される上記視差情報に基づいて、上記左眼制御領域内の左眼重畳情報および上記右眼制御領域内の右眼重畳情報の表示位置に視差を付与するためのシフト情報を生成する
請求項２に記載の立体画像データ送信装置。
【請求項４】
上記表示制御情報に含まれる上記左眼制御領域および上記右眼制御領域のシフト情報は、上記左眼制御領域内の左眼重畳情報および上記右眼制御領域内の上記右眼重畳情報の表示位置を等しく移動させるためのシフト情報である
請求項１に記載の立体画像データ送信装置。
【請求項５】
上記表示制御情報生成部で生成される上記表示制御情報に含まれるシフト情報は、上記重畳情報が表示される所定数のフレーム期間の各フレームで順次更新されるシフト情報である
請求項１に記載の立体画像データ送信装置。
【請求項６】
上記表示制御情報生成部で生成される上記表示制御情報に含まれるシフト情報は、
上記所定数のフレーム期間の最初のフレームのシフト情報と、２番目以降の、前のフレームのシフト情報に対するオフセット情報とからなる
請求項５に記載の立体画像データ送信装置。
【請求項７】
上記表示制御情報生成部は、
上記重畳情報が表示される所定数のフレーム期間の各フレームにおける上記表示制御情報を順次生成する
請求項１に記載の立体画像データ送信装置。
【請求項８】
上記表示制御情報生成部で生成されるシフト情報はサブピクセルの精度を持つ
請求項１に記載の立体画像データ送信装置。
【請求項９】
上記表示制御情報生成部で生成される上記表示制御情報には、さらに、
上記左眼制御領域内の左眼重畳情報および上記右眼制御領域内の右眼重畳情報の表示のオンオフを制御するコマンド情報が含まれる
請求項１に記載の立体画像データ送信装置。
【請求項１０】
上記データ送信部は、上記第２のデータストリームに上記立体画像データの伝送フォーマットに対応した上記送信用重畳情報データが含まれることを識別する識別情報を、上記多重化データストリームに挿入する
請求項１の立体画像データ送信装置。
【請求項１１】
左眼画像データおよび右眼画像データを持つ所定の伝送フォーマットの立体画像データを出力する画像データ出力ステップと、
上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを出力する重畳情報データ出力ステップと、
上記重畳情報データ出力ステップで出力される上記重畳情報のデータを、上記所定の伝送フォーマットの立体画像データに含まれる上記左眼画像データに対応した左眼重畳情報のデータおよび上記所定の伝送フォーマットの立体画像データに含まれる上記右眼画像データに対応した右眼重畳情報のデータを持つ送信用重畳情報データに変換する重畳情報データ処理ステップと、
上記重畳情報データ処理ステップで出力される上記送信用重畳情報データによる左眼重畳情報が重畳される左眼画像上の領域の一部または全部を含む左眼制御領域および上記重畳情報データ処理ステップで出力される上記送信用重畳情報データによる右眼重畳情報が重畳される右眼画像上の領域の一部または全部を含む右眼制御領域の領域情報と、上記左眼制御領域および上記右眼制御領域のシフト情報とを含む表示制御情報を生成する表示制御情報生成ステップ部と、
上記画像データ出力ステップで出力される上記立体画像データを含む第１のデータストリームと、上記重畳情報データ処理ステップで出力される上記送信用重畳情報データおよび上記表示制御情報生成ステップで生成される上記表示制御情報を含む第２のデータストリームとを有する多重化データストリームを送信するデータ送信ステップと
を備える立体画像データ送信方法。
【請求項１２】
第１のデータストリームおよび第２のデータストリームを有する多重化データストリームを受信するデータ受信部を備え、
上記第１のデータストリームは、左眼画像データおよび右眼画像データを持つ所定の伝送フォーマットの立体画像データを含み、
上記第２のデータストリームは、上記所定の伝送フォーマットの立体画像データに含まれる上記左眼画像データに対応した左眼重畳情報のデータおよび上記右眼画像データに対応した右眼重畳情報のデータを持つ送信用重畳情報データを含むと共に、上記送信用重畳情報データによる左眼重畳情報が重畳される左眼画像上の領域の一部または全部を含む左眼制御領域および上記送信用重畳情報データによる右眼重畳情報が重畳される右眼画像上の領域の一部または全部を含む右眼制御領域の領域情報と、上記左眼制御領域および上記右眼制御領域のシフト情報とを持つ表示制御情報を含み、
上記データ受信部で受信された上記多重化データストリームが有する上記第１のデータストリームから上記立体画像データを取得する画像データ取得部と、
上記データ受信部で受信された上記多重化データストリームが有する上記第２のデータストリームから上記送信用重畳情報データを取得する重畳情報データ取得部と、
上記データ受信部で受信された上記多重化データストリームが有する上記第２のデータストリームから上記表示制御情報を取得する表示制御情報取得部と、
上記重畳情報データ取得部で取得された上記送信用重畳情報データに基づいて、左眼画像および右眼画像にそれぞれ左眼重畳情報および右眼重畳情報を重畳表示するための表示データを発生する表示データ発生部と、
上記表示データ発生部で発生された表示データを入力し、上記表示制御情報取得部で取得された上記表示制御情報が持つ領域情報が示す上記左眼制御領域および上記右眼制御領域の表示データの位置を、上記表示制御情報取得部で取得された上記表示制御情報が持つシフト情報に基づいてシフト調整して出力するシフト調整部と、
上記画像データ取得部で取得された上記立体画像データに上記シフト調整部から出力されたシフト調整後の表示データを重畳して出力立体画像データを得るデータ合成部とをさらに備える
立体画像データ受信装置。
【請求項１３】
上記データ合成部で得られた上記出力立体画像データを外部機器に送信するデジタルインタフェース部をさらに備える
請求項１２に記載の立体画像データ受信装置。
【請求項１４】
上記データ受信部で受信される上記多重化データストリームは、上記第２のデータストリームに上記立体画像データの伝送フォーマットに対応した上記送信用重畳情報データが含まれることを識別する識別情報を含み、
上記データ受信部で受信される上記多重化データストリームから上記識別情報を取得する識別情報取得部と、
上記識別情報取得部で取得された上記識別情報に基づいて、上記第２のデータストリームに上記立体画像データの伝送フォーマットに対応した上記送信用重畳情報データが含まれることを識別する重畳情報データ識別部とをさらに備える
請求項１２に記載の立体画像データ受信装置。
【請求項１５】
第１のデータストリームおよび第２のデータストリームを有する多重化データストリームを受信するデータ受信ステップを備え、
上記第１のデータストリームは、左眼画像データおよび右眼画像データを持つ所定の伝送フォーマットの立体画像データを含み、
上記第２のデータストリームは、上記所定の伝送フォーマットの立体画像データに含まれる上記左眼画像データに対応した左眼重畳情報のデータおよび上記右眼画像データに対応した右眼重畳情報のデータを持つ送信用重畳情報データを含むと共に、上記送信用重畳情報データによる左眼重畳情報が重畳される左眼画像上の領域の一部または全部を含む左眼制御領域および上記送信用重畳情報データによる右眼重畳情報が重畳される右眼画像上の領域の一部または全部を含む右眼制御領域の領域情報と、上記左眼制御領域および上記右眼制御領域のシフト情報とを持つ表示制御情報を含み、
上記データ受信ステップで受信された上記多重化データストリームが有する上記第１のデータストリームから上記立体画像データを取得する画像データ取得ステップと、
上記データ受信ステップで受信された上記多重化データストリームが有する上記第２のデータストリームから上記送信用重畳情報データを取得する重畳情報データ取得ステップと、
上記データ受信ステップで受信された上記多重化データストリームが有する上記第２のデータストリームから上記表示制御情報を取得する表示制御情報取得ステップと、
上記重畳情報データ取得ステップで取得された上記送信用重畳情報データに基づいて、左眼画像および右眼画像にそれぞれ左眼重畳情報および右眼重畳情報を重畳表示するための表示データを発生する表示データ発生ステップと、
上記表示データ発生ステップで発生された表示データを入力し、上記表示制御情報取得ステップで取得された上記表示制御情報が持つ領域情報が示す上記左眼制御領域および上記右眼制御領域の表示データの位置を、上記表示制御情報取得ステップで取得された上記表示制御情報が持つシフト情報に基づいてシフト調整して出力するシフト調整ステップと、
上記画像データ取得ステップで取得された上記立体画像データに上記シフト調整ステップでシフト調整された表示データを重畳して出力立体画像データを得るデータ合成ステップとをさらに備える
立体画像データ受信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法に関し、特に、立体画像データと共に字幕などの重畳情報のデータを送信する立体画像データ送信装置等に関する。
【背景技術】
【０００２】
例えば、特許文献１には、立体画像データのテレビ放送電波を用いた伝送方式について提案されている。この伝送方式では、左眼用画像データおよび右眼用画像データを持つ立体画像データが送信され、両眼視差を利用した立体画像表示が行われる。
【０００３】
図５０は、両眼視差を利用した立体画像表示において、スクリーン上におけるオブジェクト（物体）の左右像の表示位置と、その立体像の再生位置との関係を示している。例えば、スクリーン上に図示のように左像Ｌａが右側に右像Ｒａが左側にずれて表示されているオブジェクトＡに関しては、左右の視線がスクリーン面より手前で交差するため、その立体像の再生位置はスクリーン面より手前となる。ＤＰａは、オブジェクトＡに関する水平方向の視差ベクトルを表している。
【０００４】
また、例えば、スクリーン上に図示のように左像Ｌｂおよび右像Ｒｂが同一位置に表示されているオブジェクトＢに関しては、左右の視線がスクリーン面で交差するため、その立体像の再生位置はスクリーン面上となる。さらに、例えば、スクリーン上に図示のように左像Ｌｃが左側に右像Ｒｃが右側にずれて表示されているオブジェクトＣに関しては、左右の視線がスクリーン面より奥で交差するため、その立体像の再生位置はスクリーン面より奥となる。ＤＰｃは、オブジェクトＣに関する水平方向の視差ベクトルを表している。
【０００５】
従来、立体画像データの伝送フォーマットとして、サイド・バイ・サイド（Side BySide）方式、トップ・アンド・ボトム（Top & Bottom）方式などが知られている。受信側が例えばセットトップボックスであるとき、受信された立体画像データを、伝送フォーマットを変換することなく、ＨＤＭＩ（High-Definition Multimedia Interface）などのデジタルインタフェースを介してテレビ受信機などのモニタ機器に送信することが考えられる。例えば、非特許文献１には、ＨＤＭＩ規格の詳細が記載されている。
【０００６】
また、従来、送信側から、二次元画像データと共に、字幕などの重畳情報のデータを送信することが知られている。この場合、受信側においては、重畳情報のデータを処理して、重畳情報を表示するための表示データを生成し、この表示データを二次元画像データに重畳することで、重畳情報が重畳表示された二次元画像が得られる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００５−６１１４号公報
【非特許文献】
【０００８】
【非特許文献１】High-Definition Multimedia Interface Specification Version 1.4,June 52009
【発明の概要】
【発明が解決しようとする課題】
【０００９】
上述したように立体画像データを送信する際にも、字幕などの重畳情報のデータを送信することが考えられる。重畳情報のデータが２次元画像用のものである場合、例えば、上述したようなセットトップボックスでは、この二次元画像用の重畳情報のデータから、立体画像データの伝送フォーマットに併せて、立体画像データに重畳する表示データを発生する処理が必要となる。そのため、立体画像データを受信するセットトップボックスとして、そのような高度な処理機能が必要となることから、高価なものとなる。
【００１０】
この発明の目的は、立体画像データと共に字幕などの重畳情報のデータを送信する際の受信側の処理の容易化を図ることにある。
【課題を解決するための手段】
【００１１】
この発明の概念は、
左眼画像データおよび右眼画像データを持つ所定の伝送フォーマットの立体画像データを出力する画像データ出力部と、
上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを出力する重畳情報データ出力部と、
上記重畳情報データ出力部から出力される上記重畳情報のデータを、上記所定の伝送フォーマットの立体画像データに含まれる上記左眼画像データに対応した左眼重畳情報のデータおよび上記所定の伝送フォーマットの立体画像データに含まれる上記右眼画像データに対応した右眼重畳情報のデータを持つ送信用重畳情報データに変換する重畳情報データ処理部と、
上記重畳情報データ処理部から出力される上記送信用重畳情報データによる左眼重畳情報が重畳される左眼画像上の領域の一部または全部を含む左眼制御領域および上記重畳情報データ処理部から出力される上記送信用重畳情報データによる右眼重畳情報が重畳される右眼画像上の領域の一部または全部を含む右眼制御領域の領域情報と、上記左眼制御領域および上記右眼制御領域のシフト情報とを含む表示制御情報を生成する表示制御情報生成部と、
上記画像データ出力部から出力される上記立体画像データを含む第１のデータストリームと、上記重畳情報データ処理部から出力される上記送信用重畳情報データおよび上記表示制御情報生成部で生成される上記表示制御情報を含む第２のデータストリームとを有する多重化データストリームを送信するデータ送信部と
を備える立体画像データ送信装置にある。
【００１２】
この発明において、画像データ出力部により、左眼画像データおよび右眼画像データを持つ所定の伝送フォーマットの立体画像データが出力される。例えば、立体画像データの伝送フォーマットは、サイド・バイ・サイド（Side By Side）方式、トップ・アンド・ボトム（Top & Bottom）方式などである。
【００１３】
重畳情報データ出力部により、左眼画像データおよび右眼画像データによる画像に重畳する重畳情報のデータが出力される。ここで、重畳情報は、画像に重畳される字幕、グラフィクス、テキストなどの情報である。重畳情報データ処理部により、重畳情報のデータが、左眼重畳情報のデータおよび右眼重畳情報のデータを持つ送信用重畳情報データに変換される。
【００１４】
ここで、左眼重畳情報のデータは、上述の所定の伝送フォーマットの立体画像データに含まれる左眼画像データに対応したデータであり、受信側において、立体画像データが持つ左眼画像データに重畳する左眼重畳情報の表示データを発生するためのデータである。また、右眼重畳情報のデータは、上述の所定の伝送フォーマットの立体画像データに含まれる右眼画像データに対応したデータであり、受信側において、立体画像データが持つ右眼画像データに重畳する右眼重畳情報の表示データを発生するためのデータである。
【００１５】
重畳情報のデータは、例えばサブタイトルデータ（ＤＶＢのサブタイトルデータ）である。重畳情報データ処理部では、左眼重畳情報のデータおよび右眼重畳情報のデータが、以下のように生成される。例えば、立体画像データの伝送方式がサイド・バイ・サイド方式の場合、重畳情報データ処理部では、左眼重畳情報のデータおよび右眼重畳情報のデータが、同一リージョンの異なるオブジェクトのデータとして生成される。また、例えば、立体画像データの伝送方式がトップ・アンド・ボトム方式の場合、重畳情報データ処理部では、左眼重畳情報のデータおよび右眼重畳情報のデータが、異なるリージョンのオブジェクトのデータとして生成される。
【００１６】
表示制御情報生成部により、表示制御情報が生成される。この表示制御情報には、左眼制御領域および右眼制御領域の領域情報およびシフト情報が含まれる。ここで、左眼制御領域は、上述の送信用重畳情報データによる左眼重畳情報が重畳される左眼画像上の領域の一部または全部を含む領域である。同様に、右眼制御領域は、上述の送信用重畳情報データによる右眼重畳情報が重畳される右眼画像上の領域の一部または全部を含む領域である。この左眼制御領域および右眼制御領域は、例えば、ユーザ操作に応じて、あるいは自動的に設定される。
【００１７】
例えば、シフト情報は、左眼制御領域内の左眼重畳情報および右眼制御領域内の右眼重畳情報の表示位置に視差を付与するためのシフト情報とされる。このシフト情報は、例えば、左眼画像データによる左眼画像と右眼画像データによる右眼画像との間の視差情報に基づいて生成される。また、例えば、シフト情報は、左眼制御領域内の左眼重畳情報および右眼制御領域内の右眼重畳情報の表示位置を等しく移動させるためのシフト情報とされる。さらに例えば、シフト情報は、左眼制御領域内の左眼重畳情報および右眼制御領域内の右眼重畳情報の表示位置に視差を付与し、かつ、左眼制御領域内の左眼重畳情報および右眼制御領域内の右眼重畳情報の表示位置を等しく移動させるためのシフト情報とされる。
【００１８】
データ送信部により、第１のデータストリームと第２のデータストリームとを含む多重化データストリームが送信される。第１のデータストリームには、画像データ出力部から出力される所定の伝送フォーマットの立体画像データが含まれている。また、第２のデータストリームには、重畳情報データ処理部から出力される送信用重畳情報データおよび表示制御情報生成部で生成される表示制御情報が含まれている。
【００１９】
このように、この発明においては、立体画像データと共に、その伝送フォーマットに対応した左眼重畳情報のデータおよび右眼重畳情報のデータを持つ送信用重畳情報データが送信される。そのため、受信側においては、送信用重畳情報データに基づいて、立体画像データが持つ左眼画像データに重畳する左眼重畳情報の表示データおよび立体画像データが持つ右眼画像データに重畳する右眼重畳情報の表示データを容易に発生でき、処理の容易化が図られる。
【００２０】
また、この発明においては、立体画像データ、送信用重畳情報データの他に、左眼制御領域および右眼制御領域の領域情報およびシフト情報が含まれる表示制御情報が送信される。受信側においては、左眼制御領域内の左眼重畳情報の表示位置および右眼制御領域内の右眼重畳情報の表示位置がシフトされるように、左眼重畳情報および右眼重畳情報の表示データにシフト情報に基づいたシフト調整を施すことが可能となる。
【００２１】
そのため、シフト情報が左眼制御領域内の左眼重畳情報および右眼制御領域内の右眼重畳情報の表示位置に視差を付与するためのシフト情報である場合、受信側においては、サブタイトル（字幕）などの重畳情報の表示において、その一部または全部につき、画像内の各物体との間の遠近感の整合性を最適な状態に維持できる。また、シフト情報が左眼制御領域内の左眼重畳情報および右眼制御領域内の右眼重畳情報の表示位置を等しく移動させるためのシフト情報である場合、受信側においては、サブタイトル（字幕）などの重畳情報の表示において、その一部または全部につき、その表示位置を移動させることができる。
【００２２】
なお、この発明において、例えば、表示制御情報生成部で生成される表示制御情報に含まれるシフト情報は、重畳情報が表示される所定数のフレーム期間の各フレームで順次更新されるシフト情報であってもよい。この場合、受信側においては、重畳情報が表示される所定数のフレーム期間の各フレームで、順次更新されるシフト情報により左眼制御領域内の左眼重畳情報および右眼制御領域内の右眼重畳情報の表示位置をシフトすることが可能となる。そのため、重畳情報の一部または全部に付与する視差を画像内容の変化に連動して動的に変化させることが可能となる。また、重畳情報の一部または全部の表示位置を動的に変化させる表示効果を得ることが可能となる。
【００２３】
また、この発明において、例えば、表示制御情報生成部で生成される表示制御情報に含まれるシフト情報は、所定数のフレーム期間の最初のフレームのシフト情報と、２番目以降の、前のフレームのシフト情報に対するオフセット情報とからなるようにしてもよい。この場合、シフト情報のデータ量を抑制することが可能となる。
【００２４】
また、この発明において、例えば、表示制御情報生成部は、重畳情報が表示される所定数のフレーム期間の各フレームにおける表示制御情報を順次生成するようにしてもよい。この場合、受信側においては、重畳情報が表示される所定数のフレーム期間の各フレームで、順次更新される表示制御情報（シフト情報）により左眼制御領域内の左眼重畳情報および右眼制御領域内の右眼重畳情報の表示位置をシフトすることが可能となる。そのため、重畳情報の一部または全部に付与する視差を画像内容の変化に連動して動的に変化させることが可能となる。また、重畳情報の一部または全部の表示位置を動的に変化させる表示効果を得ることが可能となる。
【００２５】
また、この発明において、例えば、表示制御情報生成部で生成されるシフト情報はサブピクセルの精度を持つようにされてもよい。この場合、受信側においては、重畳情報が表示される所定数のフレーム期間の各フレームにおいて順次更新されるシフト情報により左眼制御領域内の左眼重畳情報および右眼制御領域内の右眼重畳情報の表示位置をシフトする場合、そのシフト動作を滑らかにでき、画質向上に寄与できる。
【００２６】
また、この発明において、例えば、表示制御情報生成部で生成される表示制御情報には、さらに、左眼制御領域内の左眼重畳情報および右眼制御領域内の右眼重畳情報の表示のオンオフを制御するコマンド情報が含まれていてもよい。この場合、受信側においては、コマンド情報に基づいて、そのコマンド情報と共に表示制御情報に含まれている領域情報およびシフト情報による重畳情報の表示をオンあるいはオフにすることが可能となる。
【００２７】
また、この発明において、例えば、データ送信部は、第２のデータストリームに立体画像データの伝送フォーマットに対応した送信用重畳情報データが含まれることを識別する識別情報を、多重化データストリームに挿入するようにされてもよい。この場合、受信側においては、この識別情報により、第２のデータストリームに立体画像データの伝送フォーマットに対応した送信用重畳情報データ（立体画像用の重畳情報データ）が含まれているか否かが識別可能となる。
【００２８】
また、この発明の他の概念は、
第１のデータストリームおよび第２のデータストリームを有する多重化データストリームを受信するデータ受信部を備え、
上記第１のデータストリームは、左眼画像データおよび右眼画像データを持つ所定の伝送フォーマットの立体画像データを含み、
上記第２のデータストリームは、上記所定の伝送フォーマットの立体画像データに含まれる上記左眼画像データに対応した左眼重畳情報のデータおよび上記右眼画像データに対応した右眼重畳情報のデータを持つ送信用重畳情報データを含むと共に、上記送信用重畳情報データによる左眼重畳情報が重畳される左眼画像上の領域の一部または全部を含む左眼制御領域および上記送信用重畳情報データによる右眼重畳情報が重畳される右眼画像上の領域の一部または全部を含む右眼制御領域の領域情報と、上記左眼制御領域および上記右眼制御領域のシフト情報とを持つ表示制御情報を含み、
上記データ受信部で受信された上記多重化データストリームが有する上記第１のデータストリームから上記立体画像データを取得する画像データ取得部と、
上記データ受信部で受信された上記多重化データストリームが有する上記第２のデータストリームから上記送信用重畳情報データを取得する重畳情報データ取得部と、
上記データ受信部で受信された上記多重化データストリームが有する上記第２のデータストリームから上記表示制御情報を取得する表示制御情報取得部と、
上記重畳情報データ取得部で取得された上記送信用重畳情報データに基づいて、左眼画像および右眼画像にそれぞれ左眼重畳情報および右眼重畳情報を重畳表示するための表示データを発生する表示データ発生部と、
上記表示データ発生部で発生された表示データを入力し、上記表示制御情報取得部で取得された上記表示制御情報が持つ領域情報が示す上記左眼制御領域および上記右眼制御領域の表示データの位置を、上記表示制御情報取得部で取得された上記表示制御情報が持つシフト情報に基づいてシフト調整して出力するシフト調整部と、
上記画像データ取得部で取得された上記立体画像データに上記シフト調整部から出力されたシフト調整後の表示データを重畳して出力立体画像データを得るデータ合成部とをさらに備える
立体画像データ受信装置にある。
【００２９】
この発明において、データ受信部により、第１のデータストリームおよび第２のデータストリームを有する多重化データストリームが受信される。第１のデータストリームには、左眼画像データおよび右眼画像データを持つ所定の伝送フォーマットの立体画像データを含まれている。
【００３０】
第２のデータストリームには、左眼重畳情報のデータおよび右眼重畳情報のデータを持つ送信用重畳情報データ（立体画像用の重畳情報データ）および表示制御情報が含まれている。左眼重畳情報のデータは、上述の所定の伝送フォーマットの立体画像データに含まれる左眼画像データに対応したデータであり、立体画像データが持つ左眼画像データに重畳する左眼重畳情報の表示データを発生するためのデータである。また、右眼重畳情報のデータは、上述の所定の伝送フォーマットの立体画像データに含まれる右眼画像データに対応したデータであり、立体画像データが持つ右眼画像データに重畳する右眼重畳情報の表示データを発生するためのデータである。
【００３１】
また、第２のデータストリームには、左眼制御領域および右眼制御領域の領域情報およびシフト情報を持つ表示制御情報が含まれている。左眼制御領域は、上述の送信用重畳情報データによる左眼重畳情報が重畳される左眼画像上の領域の一部または全部を含む領域である。同様に、右眼制御領域は、上述の送信用重畳情報データによる右眼重畳情報が重畳される右眼画像上の領域の一部または全部を含む領域である。
【００３２】
例えば、シフト情報は、左眼制御領域内の左眼重畳情報および右眼制御領域内の右眼重畳情報の表示位置に視差を付与するためのシフト情報とされる。また、例えば、シフト情報は、左眼制御領域内の左眼重畳情報および右眼制御領域内の右眼重畳情報の表示位置を等しく移動させるためのシフト情報とされる。さらに例えば、シフト情報は、左眼制御領域内の左眼重畳情報および右眼制御領域内の右眼重畳情報の表示位置に視差を付与し、かつ、左眼制御領域内の左眼重畳情報および右眼制御領域内の右眼重畳情報の表示位置を等しく移動させるためのシフト情報とされる。
【００３３】
画像データ取得部により、データ受信部で受信された多重化データストリームが有する第１のデータストリームから所定の伝送フォーマットの立体画像データが取得される。また、重畳情報データ取得部により、データ受信部で受信された多重化データストリームが有する第２のデータストリームから送信用重畳情報データが取得される。さらに、表示制御情報取得部により、データ受信部で受信された多重化データストリームが有する第２のデータストリームから表示制御情報が取得される。
【００３４】
表示データ発生部により、重畳情報データ取得部で取得された送信用重畳情報データに基づいて、左眼画像および右眼画像に重畳情報を重畳表示するための表示データが発生される。シフト調整部には、表示データ発生部で発生された表示データが入力される。そして、このシフト調整部により、表示制御情報取得部で取得された表示制御情報が持つ領域情報が示す左眼制御領域および右眼制御領域の表示データの位置が、表示制御情報取得部で取得された表示制御情報が持つシフト情報に基づいてシフト調整されて出力される。
【００３５】
そして、データ合成部により、画像データ取得部で取得された立体画像データに、シフト調整部から出力されたシフト調整後の表示データが重畳されて、出力立体画像データが得られる。この出力立体画像データは、例えば、ＨＤＭＩなどのデジタルインタフェース部により、外部機器に送信される。
【００３６】
このように、この発明においては、立体画像データと共に、その伝送フォーマットに対応した左眼重畳情報のデータおよび右眼重畳情報のデータを持つ送信用重畳情報データが受信される。そのため、表示データ発生部では、送信用重畳情報データに基づいて、立体画像データが持つ左眼画像データに重畳する左眼重畳情報の表示データおよび立体画像データが持つ右眼画像データに重畳する右眼重畳情報の表示データを容易に発生でき、処理の容易化が図られる。
【００３７】
また、この発明において、立体画像データ、送信用重畳情報データの他に、左眼制御領域および右眼制御領域の領域情報およびシフト情報が含まれる表示制御情報が受信される。そのため、左眼制御領域内の左眼重畳情報の表示位置および右眼制御領域内の右眼重畳情報の表示位置がシフトされるように、左眼重畳情報および右眼重畳情報の表示データにシフト情報に基づいたシフト調整を施すことが可能となる。
【００３８】
したがって、シフト情報が左眼制御領域内の左眼重畳情報および右眼制御領域内の右眼重畳情報の表示位置に視差を付与するためのシフト情報である場合、サブタイトル（字幕）などの重畳情報の表示において、その一部または全部につき、画像内の各物体との間の遠近感の整合性を最適な状態に維持できる。また、シフト情報が左眼制御領域内の左眼重畳情報および右眼制御領域内の右眼重畳情報の表示位置を等しく移動させるためのシフト情報である場合、サブタイトル（字幕）などの重畳情報の表示において、その一部または全部につき、その表示位置を移動させることができる。
【００３９】
この発明において、例えば、データ受信部で受信される多重化データストリームは、第２のデータストリームに立体画像データの伝送フォーマットに対応した送信用重畳情報データが含まれることを識別する識別情報を含み、データ受信部で受信される多重化データストリームから識別情報を取得する識別情報取得部と、識別情報取得部で取得された識別情報に基づいて、第２のデータストリームに立体画像データの伝送フォーマットに対応した送信用重畳情報データが含まれることを識別する重畳情報データ識別部とをさらに備えるようにされてもよい。この場合、この識別情報により、第２のデータストリームに立体画像データの伝送フォーマットに対応した送信用重畳情報データ（立体画像用の重畳情報データ）が含まれているか否かが識別可能となる。
【発明の効果】
【００４０】
この発明によれば、送信側から受信側に、立体画像データと共に、その伝送フォーマットに対応した左眼重畳情報のデータおよび右眼重畳情報のデータを持つ送信用重畳情報データが送信される。そのため、受信側においては、送信用重畳情報データに基づいて、立体画像データが持つ左眼画像データに重畳する左眼重畳情報の表示データおよび立体画像データが持つ右眼画像データに重畳する右眼重畳情報の表示データを容易に発生でき、処理の容易化が図られる。したがって、受信側においては、受信された立体画像データを、伝送フォーマットを変換することなく、ＨＤＭＩなどのデジタルインタフェースを介してテレビ受信機などのモニタ機器に送信する処理を容易に行うことができる。
【００４１】
また、この発明によれば、送信側から受信側に、立体画像データ、送信用重畳情報データの他に、左眼制御領域および右眼制御領域の領域情報およびシフト情報が含まれる表示制御情報が送信される。そのため、受信側においては、左眼制御領域内の左眼重畳情報の表示位置および右眼制御領域内の右眼重畳情報の表示位置がシフトされるように、左眼重畳情報および右眼重畳情報の表示データにシフト情報に基づいたシフト調整を施すことが可能となる。
【００４２】
したがって、シフト情報が左眼制御領域内の左眼重畳情報および右眼制御領域内の右眼重畳情報の表示位置に視差を付与するためのシフト情報である場合、受信側においては、サブタイトル（字幕）などの重畳情報の表示において、その一部または全部につき、画像内の各物体との間の遠近感の整合性を最適な状態に維持できる。また、シフト情報が左眼制御領域内の左眼重畳情報および右眼制御領域内の右眼重畳情報の表示位置を等しく移動させるためのシフト情報である場合、受信側においては、サブタイトル（字幕）などの重畳情報の表示において、その一部または全部につき、その表示位置を移動させることができる。
【図面の簡単な説明】
【００４３】
【図１】この発明の実施の形態としての画像送受信システムの構成例を示すブロック図である。
【図２】放送局における送信データ生成部の構成例を示すブロック図である。
【図３】１９２０×１０８０ｐのピクセルフォーマットの画像データを示す図である。
【図４】立体画像データ（３Ｄ画像データ）の伝送方式である「Top &Bottom」方式、「Side By Side」方式、「FrameSequential」方式を説明するための図である。
【図５】左眼画像に対する右眼画像の視差ベクトルを検出する例を説明するための図である。
【図６】視差ベクトルをブロックマッチング方式で求めることを説明するための図である。
【図７】送信データ生成部の視差情報作成部で行われるダウンサイジング処理を説明するための図である。
【図８】シフト情報がサブピクセルの精度を持つこと、つまりシフト情報が整数部と小数部とから構成されることを説明するための図である。
【図９】ビデオエレメンタリストリーム、サブタイトルエレメンタリストリーム、オーディオエレメンタリストリームを含むトランスポートストリーム（ビットストリームデータ）の構成例を示す図である。
【図１０】サブタイトルデータを構成するＰＣＳ（page_composition_segment）の構造を示す図である。
【図１１】「segment_type」の各値とセグメントタイプとの対応関係を示す図である。
【図１２】新たに定義される３Ｄ用サブタイトルのフォーマットを示す情報（Component_type=0x15，0x25）を説明するための図である。
【図１３】サブタイトル処理部で作成されて送信されるサブタイトルデータ（表示制御情報を含む）の構成例を説明するための図である。
【図１４】ＲＰＣＳのセグメントに含まれるコマンド情報による表示のオンオフ制御を説明するための図である。
【図１５】ＲＰＣＳのセグメントに含まれるコマンド情報による表示のオンオフ制御を説明するための図である。
【図１６】ＲＰＣＳのセグメントに含まれるコマンド情報による表示のオンオフ制御がない場合の表示状態を説明するための図である。ルデータ（視差情報群を含む）の構成例（ケースＡ〜Ｅ）を説明するための図である。
【図１７】立体画像データの伝送フォーマットがサイド・バイ・サイド方式である場合における立体画像用のサブタイトルデータの作成方法を概念的に示す図である。
【図１８】立体画像用のサブタイトルデータによるリージョン（region）およびオブジェクト（object）、さらに、リージョン・パーティション（Region Partition）の一例を示す図である。
【図１９】立体画像データの伝送フォーマットがサイド・バイ・サイド方式である場合における立体画像用のサブタイトルデータの各セグメントの作成例（例１）を示す図である。
【図２０】立体画像データの伝送フォーマットがサイド・バイ・サイド方式である場合における立体画像用のサブタイトルデータの各セグメントの作成例（例２）を示す図である。
【図２１】立体画像データの伝送フォーマットがトップ・アンド・ボトム方式である場合における立体画像用のサブタイトルデータの作成方法を概念的に示す図である。
【図２２】立体画像用のサブタイトルデータによるリージョン（region）およびオブジェクト（object）、さらに、リージョン・パーティション（Region Partition）の一例を示す図である。
【図２３】立体画像データの伝送フォーマットがトップ・アンド・ボトム方式である場合における立体画像用のサブタイトルデータの各セグメントの作成例（例１）を示す図である。
【図２４】立体画像データの伝送フォーマットがトップ・アンド・ボトム方式である場合における立体画像用のサブタイトルデータの各セグメントの作成例（例２）を示す図である。
【図２５】ＲＰＣＳ（region partition compositionsegment）の構造例（syntax）を示す図である。
【図２６】ＲＰＣＳに含まれる「Region_Partition_payload()」の第１の構造例を示す図である。
【図２７】ＲＰＣＳに含まれる「Region_Partition_payload()」の第２の構造例を示す図である。
【図２８】ＲＰＣＳに含まれる「Region_Partition_payload()」の第３の構造例を示す図（１／３）である。
【図２９】ＲＰＣＳに含まれる「Region_Partition_payload()」の第３の構造例を示す図（２／３）である。
【図３０】ＲＰＣＳに含まれる「Region_Partition_payload()」の第３の構造例を示す図（３／３）である。
【図３１】ＲＰＣＳの主要なデータ規定内容（semantics）を示す図（１／２）である。
【図３２】ＲＰＣＳの主要なデータ規定内容（semantics）を示す図（２／２）である。
【図３３】立体画像データの伝送フォーマットがサイド・バイ・サイド方式である場合に、受信側において、左眼ＲＰ内の左眼サブタイトルおよび右眼ＲＰ内の右眼サブタイトルの表示位置に付与される視差がフレーム単位で更新される例を示す図である。
【図３４】立体画像データの伝送フォーマットがサイド・バイ・サイド方式である場合に、受信側において、左眼ＲＰ内の左眼サブタイトルおよび右眼ＲＰ内の右眼サブタイトルの表示位置に付与される視差がフレーム単位で更新される例を示す図である。
【図３５】立体画像データの伝送フォーマットがトップ・アンド・ボトム方式である場合に、受信側において、左眼ＲＰ内の左眼サブタイトルおよび右眼ＲＰ内の右眼サブタイトルの表示位置に付与される視差がフレーム単位で更新される例を示す図である。
【図３６】立体画像データの伝送フォーマットがトップ・アンド・ボトム方式である場合に、受信側において、左眼ＲＰ内の左眼サブタイトルおよび右眼ＲＰ内の右眼サブタイトルの表示位置に付与される視差がフレーム単位で更新される例を示す図である。
【図３７】放送局からセットトップボックスを介してテレビ受信機に至る、立体画像データ（サイド・バイ・サイド方式）およびサブタイトルデータの流れを概略的に示す図である。
【図３８】放送局からセットトップボックスを介してテレビ受信機に至る、立体画像データ（トップ・アンド・ボトム方式）およびサブタイトルデータの流れを概略的に示す図である。
【図３９】画像上における字幕の表示例と、背景、近景オブジェクト、字幕の遠近感を示す図である。
【図４０】画像上における字幕の表示例と、字幕を表示するための左眼字幕ＬＧＩおよび右眼字幕ＲＧＩを示す図である。
【図４１】画像送受信システムを構成するセットトップボックスの構成例を示すブロック図である。
【図４２】セットトップボックスを構成するビットストリーム処理部の構成例を示すブロック図である。
【図４３】セットトップボックスにおいて、水平方向に１／２画素（ピクセル）分のシフトをする場合の補間処理例を概略的に示す図である。
【図４４】画像送受信システムを構成するテレビ受信機の構成例を示すブロック図である。
【図４５】画像送受信システムの他の構成例を示すブロック図である。
【図４６】ＲＰＣＳに含まれる「Region_Partition_payload()」の第３の構造例の他の例を示す図（１／３）である。
【図４７】ＲＰＣＳに含まれる「Region_Partition_payload()」の第３の構造例の他の例を示す図（２／３）である。
【図４８】ＲＰＣＳに含まれる「Region_Partition_payload()」の第３の構造例の他の例を示す図（３／３）である。
【図４９】ＲＰＣＳの主要なデータ規定内容（semantics）を示す図である。
【図５０】両眼視差を利用した立体画像表示において、スクリーン上におけるオブジェクトの左右像の表示位置と、その立体像の再生位置との関係を説明するための図である。
【発明を実施するための形態】
【００４４】
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
１．実施の形態
２．変形例
【００４５】
＜１．実施の形態＞
［画像送受信システムの構成例］
図１は、実施の形態としての画像送受信システム１０の構成例を示している。この画像送受信システム１０は、放送局１００と、セットトップボックス（ＳＴＢ）２００と、テレビ受信機（ＴＶ）３００を有している。
【００４６】
セットトップボックス２００およびテレビ受信機３００は、ＨＤＭＩ(HighDefinition Multimedia Interface)のデジタルインタフェースで接続されている。セットトップボックス２００およびテレビ受信機３００は、ＨＤＭＩケーブル４００を用いて接続されている。セットトップボックス２００には、ＨＤＭＩ端子２０２が設けられている。テレビ受信機３００には、ＨＤＭＩ端子３０２が設けられている。ＨＤＭＩケーブル４００の一端はセットトップボックス２００のＨＤＭＩ端子２０２に接続され、このＨＤＭＩケーブル４００の他端はテレビ受信機３００のＨＤＭＩ端子３０２に接続されている。
【００４７】
［放送局の説明］
放送局１００は、ビットストリームデータＢＳＤを、放送波に載せて送信する。放送局１００は、ビットストリームデータＢＳＤを生成する送信データ生成部１１０を備えている。このビットストリームデータＢＳＤには、立体画像データ、音声データ、重畳情報のデータなどが含まれる。立体画像データは所定の伝送フォーマットを有し、立体画像を表示するための左眼画像データおよび右眼画像データを持っている。重畳情報は、一般的には、字幕、グラフィクス情報、テキスト情報などであるが、この実施の形態においては、サブタイトル（字幕）である。
【００４８】
「送信データ生成部の構成例」
図２は、放送局１００において、送信データ生成部１１０の構成例を示している。この送信データ生成部１１０は、カメラ１１１Ｌ，１１１Ｒと、ビデオフレーミング部１１２と、視差ベクトル検出部１１３と、マイクロホン１１４と、データ取り出し部１１５と、切換スイッチ１１６〜１１８を有している。また、この送信データ生成部１１０は、ビデオエンコーダ１１９と、オーディオエンコーダ１２０と、サブタイトル発生部１２１と、視差情報作成部１２２と、サブタイトル処理部１２３と、サブタイトルエンコーダ１２５と、マルチプレクサ１２５を有している。
【００４９】
カメラ１１１Ｌは、左眼画像を撮影して立体画像表示のための左眼画像データを得る。カメラ１１１Ｒは、右眼画像を撮影して立体画像表示のための右眼画像データを得る。ビデオフレーミング部１１２は、カメラ１１１Ｌで得られた左眼画像データおよびカメラ１１１Ｒで得られた右眼画像データを、伝送フォーマットに応じた立体画像データ（３Ｄ画像データ）に加工処理する。このビデオフレーミング部１１２は、画像データ出力部を構成している。
【００５０】
立体画像データの伝送フォーマット例を説明する。ここでは、以下の第１〜第３の伝送フォーマットを挙げるが、これら以外の伝送フォーマットであってもよい。また、ここでは、図３に示すように、左眼（Ｌ）および右眼（Ｒ）の画像データが、それぞれ、決められた解像度、例えば、１９２０×１０８０ｐのピクセルフォーマットの画像データである場合を例にとって説明する。
【００５１】
第１の伝送方式は、トップ・アンド・ボトム（Top & Bottom）方式で、図４（ａ）に示すように、垂直方向の前半では左眼画像データの各ラインのデータを伝送し、垂直方向の後半では左眼画像データの各ラインのデータを伝送する方式である。この場合、左眼画像データおよび右眼画像データのラインが１／２に間引かれることから原信号に対して垂直解像度は半分となる。
【００５２】
第２の伝送方式は、サイド・バイ・サイド（Side By Side）方式で、図４（ｂ）に示すように、水平方向の前半では左眼画像データのピクセルデータを伝送し、水平方向の後半では右眼画像データのピクセルデータを伝送する方式である。この場合、左眼画像データおよび右眼画像データは、それぞれ、水平方向のピクセルデータが１／２に間引かれる。原信号に対して、水平解像度は半分となる。
【００５３】
第３の伝送方式は、フレーム・シーケンシャル（FrameSequential）方式で、図４（ｃ）に示すように、左眼画像データと右眼画像データとをフレーム毎に順次切換えて伝送する方式である。なお、このフレーム・シーケンシャル方式は、フル・フレーム（Full Frame）方式、あるいはバックワード・コンパチブル（BackwardCompatible）方式と称される場合もある。
【００５４】
視差ベクトル検出部１１３は、左眼画像データおよび右眼画像データに基づき、例えば、画像を構成するピクセル（画素）毎の視差ベクトルを検出する。視差ベクトルの検出例について説明する。ここでは、左眼画像に対する右眼画像の視差ベクトルを検出する例について説明する。図５に示すように、左眼画像を検出画像とし、右眼画像を参照画像とする。この例では、（xi,yi）および（xj,yj）の位置における視差ベクトルが検出される。
【００５５】
（xi,yi）の位置における視差ベクトルを検出する場合を例にとって説明する。この場合、左眼画像に、（xi,yi）の位置の画素を左上とする、例えば４×４、８×８、あるいは１６×１６の画素ブロック（視差検出ブロック）Ｂｉが設定される。そして、右眼画像において、画素ブロックＢｉとマッチングする画素ブロックが探索される。
【００５６】
この場合、右眼画像に、（xi,yi）の位置を中心とする探索範囲が設定され、その探索範囲内の各画素を順次注目画素として、上述の画素ブロックＢｉと同様の例えば４×４、８×８、あるいは１６×１６の比較ブロックが順次設定されていく。
【００５７】
画素ブロックＢｉと順次設定される比較ブロックとの間で、対応する画素毎の差分絶対値の総和が求められる。ここで、図６に示すように、画素ブロックＢｉの画素値をＬ(x,y)とし、比較ブロックの画素値をＲ(x,y)とするとき、画素ブロックＢｉと、ある比較ブロックとの間における差分絶対値の総和は、Σ｜Ｌ(x,y)−Ｒ(x,y)｜で表される。
【００５８】
右眼画像に設定される探索範囲にｎ個の画素が含まれているとき、最終的にｎ個の総和Ｓ１〜Ｓｎが求められ、その中で最小の総和Ｓminが選択される。そして、この総和Ｓminが得られた比較ブロックから左上の画素の位置が（xi′,yi′）が得られる。これにより、（xi,yi）の位置における視差ベクトルは、（xi′−xi，yi′−yi）のように検出される。詳細説明は省略するが、（xj,yj）の位置における視差ベクトルについても、左眼画像に、（xj,yj）の位置の画素を左上とする、例えば４×４、８×８、あるいは１６×１６の画素ブロックＢｊが設定されて、同様の処理過程で検出される。
【００５９】
図２に戻って、マイクロホン１１４は、カメラ１１１Ｌ，１１１Ｒで撮影された画像に対応した音声を検出して、音声データを得る。
【００６０】
データ取り出し部１１５は、データ記録媒体１１５ａを着脱自在に装着した状態で使用される。このデータ記録媒体１１５ａは、ディスク状記録媒体、半導体メモリ等である。このデータ記録媒体１１５ａには、左眼画像データおよび右眼画像データを含む立体画像データと共に、音声データ、重畳情報のデータ、視差ベクトルが対応付けて記録されている。データ取り出し部１１５は、データ記録媒体１１５ａから、立体画像データ、音声データおよび視差ベクトルを取り出して出力する。このデータ取り出し部１１５は、画像データ出力部を構成している。
【００６１】
ここで、データ記録媒体１１５ａに記録されている立体画像データは、ビデオフレーミング部１１２で得られる立体画像データに相当するものである。また、データ記録媒体１１５ａに記録されている音声データは、マイクロホン１１４で得られる音声データに相当するものである。また、データ記録媒体１１５ａに記録されている視差ベクトルは、視差ベクトル検出部１１３で検出される視差ベクトルに相当するものである。
【００６２】
切り換えスイッチ１１６は、ビデオフレーミング部１１２で得られた立体画像データまたはデータ取り出し部１１５から出力された立体画像データを選択的に取り出す。この場合、切り換えスイッチ１１６は、ライブモードでは、ａ側に接続され、ビデオフレーミング部１１２で得られた立体画像データを取り出し、再生モードでは、ｂ側に接続され、データ取り出し部１１５から出力された立体画像データを取り出す。
【００６３】
切り換えスイッチ１１７は、視差ベクトル検出部１１３で検出された視差ベクトルまたはデータ取り出し部１１５から出力された視差ベクトルを選択的に取り出す。この場合、切り換えスイッチ１１７は、ライブモードでは、ａ側に接続され、視差ベクトル検出部１１３で検出された視差ベクトルを取り出し、再生モードでは、ｂ側に接続され、データ取り出し部１１５から出力された視差ベクトルを取り出す。
【００６４】
切り換えスイッチ１１８は、マイクロホン１１４で得られた音声データまたはデータ取り出し部１１５から出力された音声データを選択的に取り出す。この場合、切り換えスイッチ１１８は、ライブモードでは、ａ側に接続され、マイクロホン１１４で得られた音声データを取り出し、再生モードでは、ｂ側に接続され、データ取り出し部１１５から出力された音声データを取り出す。
【００６５】
ビデオエンコーダ１１９は、切り換えスイッチ１１６で取り出された立体画像データに対して、ＭＰＥＧ４−ＡＶＣ、ＭＰＥＧ２、ＶＣ−１等の符号化を施し、ビデオデータストリーム（ビデオエレメンタリストリーム）を生成する。オーディオエンコーダ１２０は、切り換えスイッチ１１８で取り出された音声データに対して、ＡＣ３、ＡＡＣ等の符号化を施し、オーディオデータストリーム（オーディオエレメンタリストリーム）を生成する。  
【００６６】
サブタイトル発生部１２１は、ＤＶＢ（Digital VideoBroadcasting）の字幕データであるサブタイトルデータを発生する。このサブタイトルデータは、二次元画像用のサブタイトルデータである。このサブタイトル発生部１２１は、重畳情報データ出力部を構成している。
【００６７】
視差情報作成部１２２は、切り換えスイッチ１１７で取り出されたピクセル（画素）毎の視差ベクトル（水平方向視差ベクトル）に対して、ダウンサイジング処理を施し、サブタイトルに適用すべき視差情報（水平方向視差ベクトル）を作成する。この視差情報作成部１２２は、視差情報出力部を構成している。なお、サブタイトルに適用する視差情報は、ページ単位、リージョン単位、あるいはオブジェクト単位で付すことが可能である。また、この視差情報は必ずしも視差情報作成部１２２で生成される必要はなく、外部から別途供給される構成も可能である。
【００６８】
図７は、視差情報作成部１２２で行われるダウンサイジング処理の一例を示している。最初に、視差情報作成部１２２は、図７（ａ）に示すように、ピクセル（画素）毎の視差ベクトルを用いて、ブロック毎の視差ベクトルを求める。上述したように、ブロックは、最下層に位置するピクセル（画素）の上位層に当たり、画像（ピクチャ）領域が水平方向および垂直方向に所定の大きさで分割されることで構成される。そして、各ブロックの視差ベクトルは、例えば、そのブロック内に存在する全ピクセル（画素）の視差ベクトルから、最も値の大きな視差ベクトルが選択されることで得られる。
【００６９】
次に、視差情報作成部１２２は、図７（ｂ）に示すように、ブロック毎の視差ベクトルを用いて、グループ（Group Of Block）毎の視差ベクトルを求める。グループは、ブロックの上位層に当たり、複数個の近接するブロックをまとめてグループ化することで得られる。図７（ｂ）の例では、各グループは、破線枠で括られる４個のブロックにより構成されている。そして、各グループの視差ベクトルは、例えば、そのグループ内の全ブロックの視差ベクトルから、最も値の大きな視差ベクトルが選択されることで得られる。
【００７０】
次に、視差情報作成部１２２は、図７（ｃ）に示すように、グループ毎の視差ベクトルを用いて、パーティション（Partition）毎の視差ベクトルを求める。パーティションは、グループの上位層に当たり、複数個の近接するグループをまとめてグループ化することで得られる。図７（ｃ）の例では、各パーティションは、破線枠で括られる２個のグループにより構成されている。そして、各パーティションの視差ベクトルは、例えば、そのパーティション内の全グループの視差ベクトルから、最も値の大きな視差ベクトルが選択されることで得られる。
【００７１】
次に、視差情報作成部１２２は、図７（ｄ）に示すように、パーティション毎の視差ベクトルを用いて、最上位層に位置するピクチャ全体（画像全体）の視差ベクトルを求める。図７（ｄ）の例では、ピクチャ全体には、破線枠で括られる４個のパーティションが含まれている。そして、ピクチャ全体の視差ベクトルは、例えば、ピクチャ全体に含まれる全パーティションの視差ベクトルから、最も値の大きな視差ベクトルが選択されることで得られる。
【００７２】
このようにして、視差情報作成部１２２は、最下層に位置するピクセル（画素）毎の視差ベクトルにダウンサイジング処理を施して、ブロック、グループ、パーティション、ピクチャ全体の各階層の各領域の視差ベクトルを求めることができる。なお、図７に示すダウンサイジング処理の一例では、最終的に、ピクセル（画素）の階層の他、ブロック、グループ、パーティション、ピクチャ全体の４階層の視差ベクトルを求めている。しかし、階層数ならびに各階層の領域の切り方や領域の数はこれに限定されるものではない。
【００７３】
図２に戻って、サブタイトル処理部１２３は、サブタイトル発生部１２１で発生されたサブタイトルデータを、切り換えスイッチ１１６で取り出される立体画像データの伝送フォーマットに対応した立体画像用（三次元画像用）のサブタイトルデータに変換する。このサブタイトル処理部１２３は、重畳情報データ処理部を構成し、変換後の立体画像データ用のサブタイトルデータは、送信用重畳情報データを構成する。
【００７４】
この立体画像用のサブタイトルデータは、左眼サブタイトルのデータおよび右眼サブタイトルのデータを持っている。ここで、左眼サブタイトルのデータは、上述の立体画像データに含まれる左眼画像データに対応したデータであり、受信側において、立体画像データが持つ左眼画像データに重畳する左眼サブタイトルの表示データを発生するためのデータである。また、右眼サブタイトルのデータは、上述の立体画像データに含まれる右眼画像データに対応したデータであり、受信側において、立体画像データが持つ右眼画像データに重畳する右眼サブタイトルの表示データを発生するためのデータである。
【００７５】
このサブタイトル処理部１２３は、表示制御情報生成部１２４を備えている。この表示制御情報生成部１２４は、リージョン・パーティション（Region Partition）の領域情報およびシフト情報を含む表示制御情報を生成する。このリージョン・パーティションには、左眼リージョン・パーティション（左眼ＲＰ）および右眼リージョン・パーティション（右眼ＲＰ）がある。左眼リージョン・パーティションは左眼制御領域を構成し、右眼リージョン・パーティションは右眼制御領域を構成する。以下、適宜、左眼リージョン・パーティションを左眼ＲＰと呼び、右眼リージョン・パーティションを右眼ＲＰと呼ぶ。
【００７６】
ここで、左眼ＲＰは、上述の送信用重畳情報データによる左眼サブタイトル（左眼重畳情報）が重畳される左眼画像上の領域の一部または全部を含む領域に設定される。同様に、右眼ＲＰは、上述の送信用重畳情報データによる右眼サブタイトル（左眼重畳情報）が重畳される右眼画像上の領域の一部または全部を含む領域に設定される。これら左眼ＲＰおよび右眼ＲＰの領域は、サブタイトル発生部１２１で発生されるサブタイトルデータ毎に、例えば、ユーザ操作に基づいて、あるいは自動的に設定される。なお、この場合、左眼ＲＰ内の左眼サブタイトルと右眼ＲＰ内の右眼サブタイトルとが対応したものとなるように、左眼ＲＰおよび右眼ＲＰの領域が設定される。
【００７７】
シフト情報には、例えば、左眼ＲＰ内の左眼サブタイトルおよび右眼ＲＰ内の右眼サブタイトルの表示位置に視差を付与するためのシフト情報が含まれる。表示制御情報生成部１２４は、このシフト情報を、例えば、上述したように、視差情報作成部１２２で作成される上述のサブタイトルに適用すべき視差情報（Disparity）に基づいて、生成する。
【００７８】
ここで、左眼ＲＰのシフト情報「Disparity1」および右眼ＰＲのシフト情報「Disparity1」は、それらの絶対値が等しく、しかもそれらの差が視差情報（Disparity）に対応した値となるように、決定される。例えば、立体画像データの伝送フォーマットがサイド・バイ・サイド方式の場合には、視差情報（Disparity）に対応した値は、“Disparity／２”である。また、例えば、立体画像データの伝送フォーマットがトップ・アンド・ボトム（Top & Bottom）方式の場合には、視差情報（Disparity）に対応した値は、“Disparity”とされる。
【００７９】
また、シフト情報には、例えば、左眼ＲＰ内の左眼サブタイトルおよび右眼ＲＰ内の右眼サブタイトルの表示位置を等しく移動させるためのシフト情報が含まれる。表示制御情報生成部１２４は、このシフト情報を、例えば、ユーザ操作に基づいて、あるいは自動的に、生成する。
【００８０】
表示制御情報生成部１２４は、上述のシフト情報として、サブタイトルが表示される所定数のフレーム期間の各フレームで順次更新されるシフト情報を生成することもある。以下、この所定数のフレーム期間の各フレームにおけるシフト情報を、説明を簡単にするため、適宜、「シフト情報群」と呼ぶ。この実施の形態において、シフト情報群を構成する各フレームのシフト情報は、前のフレームのシフト情報に対するオフセット情報とされて、データ量が抑制される。
【００８１】
この実施の形態において、表示制御情報生成部１２４は、上述のシフト情報をサブピクセルの精度を持つように生成する。この場合、シフト情報は、図８（ａ）に示すように、整数部と小数部とから構成される。なお、サブピクセル（Subpixel）は、デジタル画像を構成するピクセル（Integer pixel）を細分化したものである。
【００８２】
シフト情報がサブピクセルの精度を持つことで、受信側においては、左眼ＲＰ内の左眼サブタイトルおよび右眼ＲＰ内の右眼サブタイトルの表示位置を、サブピクセルの精度でシフト調整することが可能となる。図８（ｂ）は、サブピクセルの精度でのシフト調整例を概略的に示しており、リージョン・パーティション内のサブタイトルの表示位置が実線枠位置から破線枠位置にシフト調整される例を示している。
【００８３】
なお、サブタイトルデータは、ＤＤＳ（display definitionsegment）、ＰＣＳ（page composition segment）、ＲＳＣ（region composition segment）、ＯＤＳ（object datasegment）などのセグメントにより構成されている。ＤＤＳは、ＨＤＴＶ用の表示（display）サイズを指定する。ＰＣＳは、ページ（page）内のリージョン（region）位置を指定する。ＲＣＳは、リージョン（Region）の大きさやオブジェクト（object）の符号化モードを指定し、また、オブジェクト（object）の開始位置を指定する。ＯＤＳは、符号化ピクセルデータ（Pixeldata）を含む。
【００８４】
この実施の形態においては、ＲＰＣＳ（Region Partitioncomposition segment）のセグメントが新たに定義される。そして、このＲＰＣＳのセグメントに、上述したように表示制御情報生成部１２４で生成された表示制御情報が挿入される。サブタイトル処理部１２３の処理の詳細ついては、さらに、後述する。
【００８５】
サブタイトルエンコーダ１２５は、サブタイトル処理部１２３から出力される立体画像用のサブタイトルデータおよび表示制御情報を含むサブタイトルデータストリーム（サブタイトルエレメンタリストリーム）を生成する。マルチプレクサ１２６は、ビデオエンコーダ１１９、オーディオエンコーダ１２０およびサブタイトルエンコーダ１２５からの各データストリームを多重化し、ビットストリームデータ（トランスポートストリーム）ＢＳＤとしての多重化データストリームを得る。
【００８６】
なお、この実施の形態において、マルチプレクサ１２６は、サブタイトルデータストリームに、立体画像用のサブタイトルデータが含まれることを識別する識別情報を挿入する。具体的には、ＥＩＴ（Event Information Table）の配下に挿入されているコンポーネント・デスクリプタ（Component_Descriptor）に、Stream_content(‘0x03’=DVBsubtitles) ＆ Component_type(for 3D target)が記述される。Component_type(for 3D target)は、立体画像用のサブタイトルデータを示すために新たに定義される。
【００８７】
図２に示す送信データ生成部１１０の動作を簡単に説明する。カメラ１１１Ｌでは、左眼画像が撮影される。このカメラ１１１Ｌで得られる立体画像表示のための左眼画像データはビデオフレーミング部１１２に供給される。また、カメラ１１１Ｒでは、右眼画像が撮影される。このカメラ１１１Ｒで得られる立体画像表示のための右眼画像データはビデオフレーミング部１１２に供給される。ビデオフレーミング部１１２では、左眼画像データおよび右眼画像データが、伝送フォーマットに応じた状態に加工処理されて、立体画像データが得られる（図４（ａ）〜（ｃ）参照）。
【００８８】
ビデオフレーミング部１１２で得られた立体画像データは、切り換えスイッチ１１６のａ側の固定端子に供給される。また、データ取り出し部１１５で得られた立体画像データは、切り換えスイッチ１１６のｂ側の固定端子に供給される。ライブモードでは、切り換えスイッチ１１６はａ側に接続され、この切り換えスイッチ１１６からはビデオフレーミング部１１２で得られた立体画像データが取り出される。再生モードでは、切り換えスイッチ１１６はｂ側に接続され、この切り換えスイッチ１１６からはデータ取り出し部１１５から出力された立体画像データが取り出される。
【００８９】
切り換えスイッチ１１６で取り出された立体画像データは、ビデオエンコーダ１１９に供給される。このビデオエンコーダ１１９では、その立体画像データに対してＭＰＥＧ４−ＡＶＣ、ＭＰＥＧ２、ＶＣ−１等の符号化が施され、符号化ビデオデータを含むビデオデータストリームが生成される。このビデオデータストリームはマルチプレクサ１２６に供給される。
【００９０】
マイクロホン１１４で得られた音声データは、切り換えスイッチ１１８のａ側の固定端子に供給される。また、データ取り出し部１１５で得られた音声データは、切り換えスイッチ１１８のｂ側の固定端子に供給される。ライブモードでは、切り換えスイッチ１１８はａ側に接続され、この切り換えスイッチ１１８からはマイクロホン１１４で得られた音声データが取り出される。再生モードでは、切り換えスイッチ１１８はｂ側に接続され、この切り換えスイッチ１１８からはデータ取り出し部１１５から出力された音声データが取り出される。
【００９１】
切り換えスイッチ１１８で取り出された音声データはオーディオエンコーダ１２０に供給される。このオーディオエンコーダ１２０では、音声データに対して、ＭＰＥＧ−２Ａｕｄｉｏ ＡＡＣ、あるいは、ＭＰＥＧ−４  ＡＡＣ等の符号化が施され、符号化オーディオデータを含むオーディオデータストリームが生成される。このオーディオデータストリームはマルチプレクサ１２６に供給される。
【００９２】
カメラ１１１Ｌ，１１１Ｒで得られた左眼画像データ、右眼画像データは、ビデオフレーミング部１１２を通じて、視差ベクトル検出部１１３に供給される。この視差ベクトル検出部１１３では、左眼画像データおよび右眼画像データに基づき、ピクセル（画素）毎の視差ベクトルが検出される。この視差ベクトルは、切換スイッチ１１７のａ側の固定端子に供給される。また、データ取り出し部１１５から出力されたピクセル（画素）毎の視差ベクトルは、切り換えスイッチ１１７のｂ側の固定端子に供給される。
【００９３】
ライブモードでは、切り換えスイッチ１１７はａ側に接続され、この切り換えスイッチ１１７からは視差ベクトル検出部１１３で得られたピクセル（画素）毎の視差ベクトルが取り出される。再生モードでは、切り換えスイッチ１１７はｂ側に接続され、この切り換えスイッチ１１７からはデータ取り出し部１１５から出力されたピクセル（画素）毎の視差ベクトルが取り出される。
【００９４】
サブタイトル発生部１２１では、ＤＶＢの字幕データであるサブタイトルデータ（二次元画像用）が発生される。このサブタイトルデータは、視差情報作成部１２２およびサブタイトル処理部１２３に供給される。
【００９５】
切り換えスイッチ１１７で取り出されたピクセル（画素）毎の視差ベクトルは、視差情報作成部１２２に供給される。この視差情報作成部１２２では、ピクセル毎の視差ベクトルに対してダウンサイジング処理が施され、サブタイトルに適用すべき視差情報（水平方向視差ベクトル＝Disparity）が作成される。この視差情報は、サブタイトル処理部１２３に供給される。
【００９６】
サブタイトル処理部１２３では、サブタイトル発生部１２１で発生された二次元画像用のサブタイトルデータが、上述の切り換えスイッチ１１６で取り出された立体画像データの伝送フォーマットに対応した立体画像用のサブタイトルデータに変換される。この立体画像用のサブタイトルデータは、左眼サブタイトルのデータおよび右眼サブタイトルのデータを持っている。
【００９７】
サブタイトル処理部１２３の表示制御情報生成部１２４では、リージョン・パーティション（RegionPartition）の領域情報およびシフト情報を含む表示制御情報が生成される。リージョン・パーティションには、上述したように、左眼リージョン・パーティション（左眼ＲＰ）および右眼リージョン・パーティション（右眼ＲＰ）が含まれる。そのため、領域情報として、左眼ＲＰの領域情報および右眼ＲＰの領域情報が生成される。同様に、シフト情報として、左眼ＲＰのシフト情報および右眼ＲＰのシフト情報が生成される。
【００９８】
上述したように、左眼ＲＰは、例えば、ユーザ操作に基づいて、あるいは自動的に、立体画像用のサブタイトルデータ（送信用重畳情報データ）による左眼サブタイトルが重畳される左眼画像上の領域の一部または全部を含む領域に設定される。同様に、右眼ＲＰは、ユーザ操作に基づいて、あるいは自動的に、立体画像用のサブタイトルデータ（送信用重畳情報データ）による右眼サブタイトルが重畳される右眼画像上の領域の一部または全部を含む領域に設定される。
【００９９】
例えば、シフト情報には、左眼ＲＰ内の左眼サブタイトルおよび右眼ＲＰ内の右眼サブタイトルの表示位置に視差を付与するためのシフト情報が含まれる。表示制御情報生成部１２４では、このシフト情報は、例えば、視差情報作成部１２２で作成された、サブタイトルに適用すべき視差情報（Disparity）に基づいて生成される。また、例えば、シフト情報には、左眼ＲＰ内の左眼サブタイトルおよび右眼ＲＰ内の右眼サブタイトルの表示位置を等しく移動させるためのシフト情報が含まれる。表示制御情報生成部１２４では、このシフト情報は、例えば、ユーザ操作に基づいて、あるいは自動的に、生成される。
【０１００】
サブタイトル処理部１２３で得られる立体画像用のサブタイトルデータおよび表示制御情報は、サブタイトルエンコーダ１２５に供給される。このサブタイトルエンコーダ１２５では、立体画像用のサブタイトルデータおよび表示制御情報を含むサブタイトルデータストリームが生成される。このサブタイトルデータストリームには、立体画像用のサブタイトルデータが挿入されたＤＤＳ、ＰＣＳ、ＲＣＳ、ＯＤＳ等のセグメントと共に、表示制御情報を含む新たに定義されたＲＰＣＳのセグメントが含まれる。
【０１０１】
マルチプレクサ１２６には、上述したように、ビデオエンコーダ１１９、オーディオエンコーダ１２０およびサブタイトルエンコーダ１２５からの各データリストリームが供給される。そして、このマルチプレクサ１２６では、各データストリームがパケット化されて多重され、ビットストリームデータ（トランスポートストリーム）ＢＳＤとしての多重化データストリームが得られる。
【０１０２】
図９は、トランスポートストリーム（ビットストリームデータ）の構成例を示している。このトランスポートストリームには、各エレメンタリストリームをパケット化して得られたＰＥＳパケットが含まれている。この構成例では、ビデオエレメンタリストリームのＰＥＳパケット「Video PES」、オーディオエレメンタリストリームのＰＥＳパケット「AudioPES」、サブタイトルエレメンタリストリームのＰＥＳパケット「「Subtitle PES」が含まれている。
【０１０３】
この実施の形態において、サブタイトルエレメンタリストリーム（サブタイトルデータストリーム）には、立体画像用のサブタイトルデータおよび表示制御情報が含まれる。このストリームには、ＤＤＳ（display definition segment）、ＰＣＳ（pagecomposition segment）、ＲＣＳ（region composition segment）、ＯＤＳ（object data segment）などの従来周知のセグメントが含まれる。
【０１０４】
図１０は、ＰＣＳ（page_composition_segment）の構造を示している。このＰＣＳのセグメントタイプは、図１１に示すように、「0x10」である。「region_horizontal_address」、「region_vertical_address」は、リージョン（region）の開始位置を示す。なお、ＤＤＳ、ＲＳＣ、ＯＤＳなどのその他のセグメントについては、その構造の図示は省略する。例えば、図１１に示すように、ＤＤＳのセグメントタイプは「0x14」である。また、例えば、図１１に示すように、ＲＣＳのセグメントタイプは「0x11」である。また、例えば、図１１に示すように、ＯＤＳのセグメントタイプは「0x13」である。
【０１０５】
また、このサブタイトルデータには、ＲＰＣＳ（Region Partitioncomposition segment）のセグメントが含まれる。ＲＰＣＳは、リージョン・パーティション情報（領域情報、シフト情報）を含む。例えば、図１１に示すように、ＲＰＣＳのセグメントタイプは「0x49」とされる。このＲＰＣＳのセグメントの詳細構造については、後述する。
【０１０６】
図９に戻って、また、トランスポートストリームには、ＰＳＩ（ProgramSpecific Information）として、ＰＭＴ（Program Map Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。また、トランスポートストリームには、イベント単位の管理を行うＳＩ（Serviced Information）としてのＥＩＴ(EventInformation Table)が含まれている。このＥＩＴには、番組単位のメタデータが記載される。
【０１０７】
ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・デスクリプタ（ProgramDescriptor）が存在する。また、このＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、ビデオエレメンタリ・ループ、オーディオエレメンタリ・ループ、サブタイトルエレメンタリ・ループが存在する。各エレメンタリ・ループには、ストリーム毎に、パケット識別子（PID）等の情報が配置されると共に、図示していないが、そのエレメンタリストリームに関連する情報を記述する記述子（デスクリプタ）も配置される。
【０１０８】
ＥＩＴの配下に、コンポーネント・デスクリプタ（Component_Descriptor）が挿入されている。この実施の形態において、このコンポーネント・デスクリプタに、Stream_content(‘0x03’=DVB subtitles) ＆Component_type(for 3D target)が記述される。これにより、サブタイトルデータストリームに立体画像用のサブタイトルデータが含まれることが識別可能とされる。この実施の形態においては、図１２に示すように、配信内容を示す「component_descriptor」の「stream_content」がサブタイトル（subtitle）を示す場合に、３Ｄ用サブタイトルのフォーマットを示す情報（Component_type=0x15，0x25）が新たに定義される。
【０１０９】
［サブタイトル処理部の処理］
図２に示す送信データ生成部１１０のサブタイトル処理部１２３の処理の詳細を説明する。このサブタイトル処理部１２３は、上述したように、二次元画像用のサブタイトルデータを立体画像用のサブタイトルデータに変換する。また、このサブタイトル処理部１２３は、上述したように、表示制御情報生成部１２４において、表示制御情報（左眼ＲＰおよび右眼ＲＰの領域情報、シフト情報を含む）を生成する。
【０１１０】
サブタイトル処理部１２３で作成されて送信されるサブタイトルデータ（表示制御情報を含む）の構成として、例えば、図１３に示すように、「ケースＡ」あるいは「ケースＢ」が考えられる。「ケースＡ」の構成では、サブタイトルが表示される所定数のフレーム期間の開始前に、ＤＤＳ、ＰＣＳ、ＲＣＳ、ＯＤＳ、ＲＰＣＳ、ＥＯＳのサブタイトル表示に係る一連のセグメントが作成されて、時間情報（ＰＴＳ）が付加されて一括送信される。なお、サブタイトルが表示される所定数のフレーム期間を、以下、適宜、「サブタイトル表示期間」と呼ぶことにする。
【０１１１】
この「ケースＡ」の構成では、ＲＰＣＳのセグメントに、サブタイトル表示期間の各フレームで順次更新されるシフト情報（シフト情報群）を挿入して、左眼ＲＰ内の左眼サブタイトルおよび右眼ＲＰ内の右眼サブタイトルの表示位置を動的に制御できる。これにより、受信側においては、サブタイトルの一部または全部に付与する視差を画像内容の変化に連動して動的に変化させること、あるいは、サブタイトルの一部または全部の表示位置を動的に変化させることが可能となる。
【０１１２】
この「ケースＡ」の構成で、ＲＰＣＳのセグメントにサブタイトル表示期間の各フレームで順次更新されるシフト情報（シフト情報群）を挿入するには、サブタイトル表示期間の前にシフト情報群がまとめて必要となる。そのため、この「ケースＡ」の構成で、ＲＰＣＳのセグメントにシフト情報群を挿入して、左眼ＲＰ内の左眼サブタイトルおよび右眼ＲＰ内の右眼サブタイトルの表示位置を動的に制御する方法は、再生モードで適用できる。
【０１１３】
「ケースＢ」の構成では、サブタイトルが表示される所定数のフレーム期間（サブタイトル表示期間）の開始前に、ＤＤＳ、ＰＣＳ、ＲＣＳ、ＯＤＳ、ＲＰＣＳのサブタイトル表示に係る一連のセグメントが作成され、時間情報（ＰＴＳ）が付加されて一括送信される。その後、含まれるシフト情報が順次更新されたＲＰＣＳのセグメントがサブタイトル表示期間の各フレームに対応して作成されて、時間情報（ＰＴＳ）が付加されて送信される。そして、最後のフレームに対応してはＲＰＣＳのセグメントと共に、ＥＯＳのセグメントも作成されて、時間情報（ＰＴＳ）が付加されて送信される。
【０１１４】
この「ケースＢ」の構成では、シフト情報が順次更新されたＲＰＣＳのセグメントがサブタイトル表示期間の各フレームに対応して送信されるので、左眼ＲＰ内の左眼サブタイトルおよび右眼ＲＰ内の右眼サブタイトルの表示位置を動的に制御できる。これにより、受信側においては、サブタイトルの一部または全部に付与する視差を画像内容の変化に連動して動的に変化させること、あるいは、サブタイトルの一部または全部の表示位置を動的に変化させることが可能となる。
【０１１５】
この「ケースＢ」の構成で、上述の「ケースＡ」の構成とは異なり、サブタイトル表示期間の前にシフト情報群がまとめて必要となるものではない。そのため、この「ケースＢ」の構成で、シフト情報が順次更新されたＲＰＣＳのセグメントを順次送信して、左眼ＲＰ内の左眼サブタイトルおよび右眼ＲＰ内の右眼サブタイトルの表示位置を動的に制御する方法は、ライブモードで良好に適用できる。
【０１１６】
なお、上述の「ケースＢ」の構成で左眼ＲＰ内の左眼サブタイトルおよび右眼ＲＰ内の右眼サブタイトルの表示位置を動的に制御する方法では、受信側において、以下の表示オンオフ制御が必要となる。つまり、この表示オンオフ制御は、あるフレームのＲＰＣＳのセグメント内のシフト情報に基づいた表示を行う際に、この表示をオン（有効）とすると共に、前のフレームのＲＰＣＳのセグメント内のシフト情報に基づいた表示をオフ（無効）にする制御である。
【０１１７】
この受信側における表示オンオフ制御のために、ＲＰＣＳのセグメントには、詳細は後述するが、表示（Display）のオンオフを制御するコマンド情報が含まれる。図１４および図１５を用いて、受信側における表示オンオフの制御の一例を説明する。
【０１１８】
図１４は、受信側に順次送信されてくるＲＰＣＳのセグメントの一例を示している。この例では、Ｔ０フレーム、Ｔ１フレーム、Ｔ２フレームの各フレームに対応したＲＰＣＳが順次送られてくる。図１５は、Ｔ０フレーム、Ｔ１フレーム、Ｔ２フレームの各フレームに対応したＲＰＣＳによる左眼ＲＰ内の左眼サブタイトルおよび右眼ＲＰ内の右眼サブタイトルの表示位置のシフト例を示している。
【０１１９】
図１４に示すように、Ｔ０フレームのＲＰＣＳには、左眼ＲＰ内の左眼サブタイトルの表示位置ＰＲ０を得るためのシフト情報（Shift_0）と、この表示位置ＰＲ０の表示をオン（有効）とするためのコマンド情報（Display_ON）が含まれている。また、このＴ０フレームのＲＰＣＳには、右眼ＲＰ内の右眼サブタイトルの表示位置ＰＲ１を得るためのシフト情報（Shift_1）と、この表示位置ＰＲ１の表示をオン（有効）とするためのコマンド情報（Display_ON）が含まれている。
【０１２０】
そのため、このＴ０フレームでは、図１５（ａ）に実線枠で示すように、左眼画像上の表示位置ＰＲ０に、左眼ＲＰ内の左眼サブタイトルが表示（重畳）された状態となる。また、このＴ０フレームでは、図１５（ａ）に実線枠で示すように、右眼画像上の表示位置ＰＰ１に、右眼ＲＰ内の右眼サブタイトルが表示（重畳）された状態となる。
【０１２１】
また、図１４に示すように、Ｔ１フレームのＲＰＣＳには、表示位置ＰＲ０，ＰＲ１の表示をオフ（無効）とするためのコマンド情報（Display_OFF）が含まれている。また、Ｔ１フレームのＲＰＣＳには、左眼ＲＰ内のサブタイトルの表示位置ＰＲ２を得るためのシフト情報（Shift_2）と、この表示位置ＰＲ２の表示をオン（有効）とするためのコマンド情報（Display_ON）が含まれている。また、このＴ１フレームのＲＰＣＳには、右眼ＲＰ内のサブタイトルの表示位置ＰＲ３を得るためのシフト情報（Shift_3）と、この表示位置ＰＲ３の表示をオン（有効）とするためのコマンド情報（Display_ON）が含まれている。
【０１２２】
そのため、このＴ１フレームでは、図１５（ｂ）に破線枠で示すように、左眼画像上の表示位置ＰＲ０の表示がオフ（無効）とされると共に、右眼画像上の表示位置ＰＲ１の表示がオフ（無効）とされる。このＴ１フレームでは、図１５（ｂ）に実線枠で示すように、左眼画像上の表示位置ＰＲ２に、左眼ＲＰ内の左眼サブタイトルが表示（重畳）された状態となる。また、このＴ１フレームでは、図１５（ｂ）に実線枠で示すように、右眼画像上の表示位置ＰＰ３に、右眼ＲＰ内の右眼サブタイトルが表示（重畳）された状態となる。
【０１２３】
また、図１４に示すように、Ｔ２フレームのＲＰＣＳには、表示位置ＰＲ２，ＰＲ３の表示をオフ（無効）とするためのコマンド情報（Display_OFF）が含まれている。また、Ｔ２フレームのＲＰＣＳには、左眼ＲＰ内のサブタイトルの表示位置ＰＲ４を得るためのシフト情報（Shift_4）と、この表示位置ＰＲ４の表示をオン（有効）とするためのコマンド情報（Display_ON）が含まれている。また、このＴ２フレームのＲＰＣＳには、右眼ＲＰ内のサブタイトルの表示位置ＰＲ５を得るためのシフト情報（Shift_5）と、この表示位置ＰＲ５の表示をオン（有効）とするためのコマンド情報（Display_ON）が含まれている。
【０１２４】
そのため、このＴ２フレームでは、図１５（ｃ）に破線枠で示すように、左眼画像上の表示位置ＰＲ２の表示がオフ（無効）とされると共に、右眼画像上の表示位置ＰＲ３の表示がオフ（無効）とされる。このＴ２フレームでは、図１５（ｃ）に実線枠で示すように、左眼画像上の表示位置ＰＲ４に、左眼ＲＰ内の左眼サブタイトルが表示（重畳）された状態となる。また、このＴ２フレームでは、図１５（ｃ）に実線枠で示すように、右眼画像上の表示位置ＰＰ５に、右眼ＲＰ内の右眼サブタイトルが表示（重畳）された状態となる。
【０１２５】
図１６は、例えば、ＲＰＣＳのセグメントに表示（Display）のオンオフを制御するコマンド情報が含まれていない場合における、受信側の左眼サブタイトルおよび右眼サブタイトルの表示例を示している。この場合、左眼ＲＰ内のサブタイトルは、表示位置ＰＲ０，ＰＲ２，ＰＲ４に、重ねて表示（重畳）された状態となる。また、右眼ＲＰ内のサブタイトルは、表示位置ＰＲ１，ＰＲ３，ＰＲ５に、重ねて表示（重畳）された状態となる。このように、左眼ＲＰ内の左眼サブタイトルおよび右眼ＲＰ内の右眼サブタイトルの表示位置の動的な変化が正しく行われない状態となる。
【０１２６】
図１７は、立体画像データの伝送フォーマットがサイド・バイ・サイド方式である場合における立体画像用のサブタイトルデータの作成方法を概念的に示している。図１７（ａ）は、二次元画像用のサブタイトルデータによるリージョン（region）を示している。なお、この例では、リージョンに３つのオブジェクト（object）が含まれている。
【０１２７】
最初に、サブタイトル処理部１２３は、上述の二次元画像用のサブタイトルデータによるリージョン（region）のサイズを、図１７（ｂ）に示すように、サイド・バイ・サイド方式に適したサイズに変換し、そのサイズのビットマップデータを発生させる。
【０１２８】
次に、サブタイトル処理部１２３は、図１７（ｃ）に示すように、サイズ変換後のビットマップデータを、立体画像用のサブタイトルデータにおけるリージョン（region）の構成要素とする。つまり、サイズ変換後のビットマップデータを、リージョン内の左眼サブタイトルに対応したオブジェクトとすると共に、リージョン内の右眼サブタイトルに対応したオブジェクトとする。
【０１２９】
サブタイトル処理部１２３は、上述したようにして、二次元画像用のサブタイトルデータを、立体画像用のサブタイトルデータに変換し、この立体画像用のサブタイトルデータに対応したＤＤＳ、ＰＣＳ、ＲＣＳ、ＯＤＳなどのセグメントを作成する。
【０１３０】
次に、サブタイトル処理部１２３は、ユーザ操作に基づいて、あるいは自動的に、立体画像用のサブタイトルデータにおけるリージョン（region）の領域上に、図１７（ｃ）に示すように、左眼ＲＰおよび右眼ＲＰを設定する。左眼ＲＰは、左眼サブタイトルに対応したオブジェクトの領域の一部または全部を含む領域に設定される。右眼ＲＰは、右眼サブタイトルに対応したオブジェクトの領域の一部または全部を含む領域に設定される。図１７（ｃ）には、左眼ＲＰ、右ＲＰがオブジェクトの領域の一部を含む領域に設定された場合を示している。
【０１３１】
サブタイトル処理部１２３は、上述したように設定された左眼ＲＰおよび右眼ＲＰの領域情報、シフト情報を含むＲＰＣＳのセグメントを作成する。例えば、サブタイトル処理部１２３は、左眼ＲＰおよび右眼ＲＰの領域情報、シフト情報を共通に含むＲＰＣＳを作成するか、左眼ＲＰおよび右眼ＲＰの領域情報、シフト情報をそれぞれ含むＲＰＣＳのセグメントを作成する。
【０１３２】
図１８は、上述したように作成される立体画像用のサブタイトルデータによるリージョン（region）およびオブジェクト（object）の一例を示している。ここで、リージョンの開始位置は“Region_address”である。そして、左眼画像（left view ）側のオブジェクトに関しては、開始位置は“Object_Position1”であり、“Object_id=1”である。また、右眼画像（Right view ）側のオブジェクトに関しては、開始位置は“Object_Position2”であり、“Object_id=1”である。
【０１３３】
また、図１８は、上述したように設定される左眼ＲＰおよび右眼ＲＰの一例を示している。左眼ＲＰに関しては、開始位置は“Region Partition_position1”であり、“RegionPartition_id=SA0”である。右眼ＲＰに関しては、開始位置は“Region Partition_position2”であり、“Region Partition_id=SA1”である。
【０１３４】
図１９は、立体画像データの伝送フォーマットがサイド・バイ・サイド方式である場合における立体画像用のサブタイトルデータの各セグメントの作成例（例１）を示している。この作成例において、ＰＣＳ（page composition segment）では、リージョン（Region_id=0A）の開始位置(region_address)が指定されている。また、“Region_id=0”のＲＣＳ（region composition segment）では、“Object_id=1”のＯＤＳが参照されている。そして、このＲＣＳでは、左眼画像側のオブジェクトの開始位置“object_position1”および右眼画像側のオブジェクトの開始位置“object_position2”が指定されている。
【０１３５】
また、この作成例において、左眼ＲＰ、右眼ＲＰのＲＰＣＳ（regionpartition composition segment）が別個に作成されている。“RegionPartition_id=SA0”の左眼ＲＰのＲＰＣＳでは、左眼ＲＰの開始位置（RegionPartition Position1）が指定されている。そして、この左眼ＲＰのＲＰＣＳには、左眼ＲＰのシフト情報（Shift1）、表示オンオフのコマンド情報（Command1）が含まれている。また、“Region Partition_id=SA1”の右眼ＲＰのＲＰＣＳでは、右眼ＲＰの開始位置（Region Partition Position2）が指定されている。そして、この右眼ＲＰのＲＰＣＳには、右眼ＲＰのシフト情報（Shift2）、表示オンオフのコマンド情報（Command2）が含まれている。
【０１３６】
図２０は、立体画像データの伝送フォーマットがサイド・バイ・サイド方式である場合における立体画像用のサブタイトルデータの各セグメントの他の作成例（例２）を示している。この作成例においては、図１９に示す作成例（例１）と同様に、ＰＣＳ、ＲＣＳ、ＯＤＳのセグメントが作成される。また、この作成例において、左眼ＲＰ、右眼ＲＰのＲＰＣＳは共通に作成されている。すなわち、共通のＲＰＣＳに、左眼ＲＰ、右眼ＲＰの各種情報が含まれている。
【０１３７】
図２１は、立体画像データの伝送フォーマットがトップ・アンド・ボトム方式である場合における立体画像用のサブタイトルデータの作成方法を概念的に示している。図２１（ａ）は、二次元画像用のサブタイトルデータによるリージョン（region）を示している。なお、この例では、リージョンに３つのオブジェクト（object）が含まれている。
【０１３８】
最初に、サブタイトル処理部１２３は、上述の二次元画像用のサブタイトルデータによるリージョン（region）のサイズを、図２１（ｂ）に示すように、トップ・アンド・ボトム方式に適したサイズに変換し、そのサイズのビットマップデータを発生させる。
【０１３９】
次に、サブタイトル処理部１２３は、図２１（ｃ）に示すように、サイズ変換後のビットマップデータを立体画像用のサブタイトルデータのリージョン（region）の構成要素とする。つまり、サイズ変換後のビットマップデータを、左眼画像（leftview ）側のリージョンのオブジェクトとすると共に、右眼画像（Right view ）側のリージョンのオブジェクトとする。
【０１４０】
サブタイトル処理部１２３は、上述したようにして、二次元画像用のサブタイトルデータを、立体画像用のサブタイトルデータに変換し、この立体画像用のサブタイトルデータに対応したＰＣＳ、ＲＣＳ、ＯＤＳなどのセグメントを作成する。
【０１４１】
次に、サブタイトル処理部１２３は、ユーザ操作に基づいて、あるいは自動的に、立体画像用のサブタイトルデータにおけるリージョン（region）の領域上に、図２１（ｃ）に示すように、左眼ＲＰおよび右眼ＲＰを設定する。左眼ＲＰは、左眼画像側のリージョン内のオブジェクトの領域の一部または全部を含む領域に設定される。右眼ＲＰは、左眼画像側のリージョン内のオブジェクトの領域の一部または全部を含む領域に設定される。図２１（ｃ）には、左眼ＲＰ、右ＲＰがオブジェクトの領域の一部を含む領域に設定された場合を示している。
【０１４２】
サブタイトル処理部１２３は、上述したように設定された左眼ＲＰおよび右眼ＲＰの領域情報、シフト情報を含むＲＰＣＳのセグメントを作成する。例えば、サブタイトル処理部１２３は、左眼ＲＰおよび右眼ＲＰの領域情報、シフト情報を共通に含むＲＰＣＳを作成するか、左眼ＲＰおよび右眼ＲＰの領域情報、シフト情報をそれぞれ含むＲＰＣＳのセグメントを作成する。
【０１４３】
図２２は、上述したように作成される立体画像用のサブタイトルデータによるリージョン（region）およびオブジェクト（object）の一例を示している。ここで、左眼画像（left view ）側のリージョンの開始位置は“Region_address1”であり、右眼画像（right view ）側のリージョンの開始位置は“Region_address2”である。そして、左眼画像側のオブジェクトに関しては、開始位置は“Object_Position1”であり、“Object_id=1”である。また、右眼画像側のオブジェクトに関しては、開始位置は“Object_Position2”であり、“Object_id=1”である。
【０１４４】
また、図２２は、上述したように設定される左眼ＲＰおよび右眼ＲＰの一例を示している。左眼ＲＰに関しては、開始位置は“Region Partition_position1”であり、“RegionPartition_id=SA0”である。右眼ＲＰに関しては、開始位置は“RegionPartition_position2”であり、“Region Partition_id=SA1”である。
【０１４５】
図２３は、立体画像データの伝送フォーマットがトップ・アンド・ボトム方式である場合における立体画像用のサブタイトルデータの各セグメントの作成例（例１）を示している。この作成例において、ＰＣＳ（page composition segment）では、左眼画像（left view）側のリージョン（Region_id=0A）の開始位置(region_address1)が指定されている。また、この作成例において、ＰＣＳ（page composition segment）では、右眼画像（right view）側のリージョン（Region_id=0A）の開始位置(region_address2)が指定されている。“Region_id=A0”のＲＣＳ（region composition segment）では、“Object_id=1”のＯＤＳが参照され、そのオブジェクトの開始位置“object_position1”が指定されている。また、“Region_id=A1”のＲＣＳでは、“Object_id=1”のＯＤＳが参照され、そのオブジェクトの開始位置“object_position2”が指定されている。
【０１４６】
また、この作成例において、左眼ＲＰ、右眼ＲＰのＲＰＣＳ（regionpartition composition segment）が別個に作成されている。“RegionPartition_id=SA0”の左眼ＲＰのＲＰＣＳでは、左眼ＲＰの開始位置（RegionPartition Position1）が指定されている。そして、この左眼ＲＰのＲＰＣＳには、左眼ＲＰのシフト情報（Shift1）、表示オンオフのコマンド情報（Command1）が含まれている。また、“Region Partition_id=SA1”の右眼ＲＰのＲＰＣＳでは、右眼ＲＰの開始位置（Region Partition Position2）が指定されている。そして、この右眼ＲＰのＲＰＣＳには、右眼ＲＰのシフト情報（Shift2）、表示オンオフのコマンド情報（Command2）が含まれている。
【０１４７】
図２４は、立体画像データの伝送フォーマットがトップ・アンド・ボトム方式である場合における立体画像用のサブタイトルデータの各セグメントの他の作成例（例２）を示している。この作成例においては、図２３に示す作成例（例１）と同様に、ＰＣＳ、ＲＣＳ、ＯＤＳのセグメントが作成される。また、この作成例において、左眼ＲＰ、右眼ＲＰのＲＰＣＳは共通に作成されている。すなわち、共通のＲＰＣＳに、左眼ＲＰ、右眼ＲＰの各種情報が含まれている。
【０１４８】
図２５〜図３０は、ＲＰＣＳ（region partition compositionsegment）の構造例（syntax）を示している。図３１，図３２は、ＲＰＣＳの主要なデータ規定内容（semantics）を示している。この構造には、「Sync_byte」、「segment_type」、「page_id」、「segment_length」、「Region_Partition_payload()」の各情報が含まれている。「segment_type」は、セグメントタイプを示す８ビットのデータであり、ここでは、ＲＰＣＳを示す「0x49」とされる。「segment_length」は、セグメントの長さ（サイズ）を示す８ビットのデータである。このデータは、以降のRegion_Partition_payload()」の長さ（バイト数）を示す。「Region_Partition_payload()」は、ＲＰＣＳの実質的な情報を含む部分である。
【０１４９】
図２６は、「Region_Partition_payload()」の第１の構造例を示している。この第１の構造例では、左眼ＲＰ、右眼ＲＰの領域情報、左眼ＲＰ、右眼ＲＰの表示位置に付与する視差の情報および表示オンオフ制御のためのコマンド情報を伝送できる。なお、この「Region_Partition_payload()」は、上述したように「segment_type」で示される長さを持ち、任意の個数のリージョン・パーティション情報を持つことができる。このことは、後述する、第２の構造例、第３の構造例においても同様である。
【０１５０】
「region_id」は、リージョン（region）の識別子を示す８ビット情報である。「region_partition_id」は、リージョン・パーティション（region partition）の識別子を示す８ビット情報である。「region_partition_start_position_horizontal」は、矩形領域であるリージョン・パーティションの左端の位置を示す１６ビット情報である。「region_partition_start_position_vertical」は、矩形領域であるリージョン・パーティションの上端の位置を示す１６ビット情報である。
【０１５１】
「region_partition_horizontal_size」は、矩形領域であるリージョン・パーティションの水平方向のサイズ（画素数）を示す１６ビット情報である。「region_partition_vertical_size」は、矩形領域であるリージョン・パーティションの垂直方向のサイズ（画素数）を示す１６ビット情報である。これらの位置情報およびサイズ情報は、リージョン・パーティションの領域情報を構成している。
【０１５２】
「region_partition_display_disable」は、対応するリージョン・パーティションの表示（重畳）のオンオフを制御する１ビットのフラグ情報（コマンド情報）である。「region_partition_display_disable=1」は表示のオフ（無効）を示し、「region_partition_display_disable=0」は表示のオン（有効）を示す。
【０１５３】
「disparity_integer」は、対応するリージョン・パーティションを水平方向にシフトするための視差情報（disparity）のうち、整数ピクセル（画素）精度部分（整数部）を示す９ビット情報である。この９ビット情報は、符号付きの整数値である。「disparity_fractional」は、対応するリージョン・パーティションを水平方向にシフトするための視差情報（disparity）のうち、サブピクセル精度部分（少数部）を示す４ビット情報である。この４ビット情報により、視差情報（disparity）を、１／１６までのサブピクセル精度をもって表すことができる。ここで、視差情報（disparity）は、上述したように、左眼ＲＰ内の左眼サブタイトルおよび右眼ＲＰ内の右眼サブタイトルの表示位置に視差を付与するためのシフト情報を構成する。
【０１５４】
図２７は、「Region_Partition_payload()」の第２の構造例を示している。この第２の構造例では、左眼ＲＰ、右眼ＲＰの領域情報、左眼ＲＰ、右眼ＲＰの表示位置に付与する視差の情報および表示オンオフ制御のためのコマンド情報と共に、表示位置（ｘ，ｙ）の更新情報を伝送できる。「offset_position_x」は、左眼ＲＰ内の左眼サブタイトルおよび右眼ＲＰ内の右眼サブタイトルの表示位置の前段階からの水平方向の更新情報を示す８ビットオフセット情報である。「offset_position_ｙ」は、左眼ＲＰ内の左眼サブタイトルおよび右眼ＲＰ内の右眼サブタイトルの表示位置の前段階からの垂直方向の更新情報を示す８ビットオフセット情報である。ここで、この移動情報（オフセット情報）は、上述したように、左眼ＲＰ内の左眼サブタイトルおよび右眼ＲＰ内の右眼サブタイトルの表示位置を等しく移動させるためのシフト情報を構成する。
【０１５５】
なお、詳細説明は省略するが、この第２の構造例において、その他は、図２６に示す第１の構造例と同様に構成されている。
【０１５６】
図２８〜図３０は、「Region_Partition_payload()」の第３の構造例を示している。この第３の構造例では、左眼ＲＰ、右眼ＲＰの領域情報、左眼ＲＰ、右眼ＲＰの表示位置に付与する視差の情報および表示オンオフ制御のためのコマンド情報を伝送できる。さらに、この第３の構造例では、表示位置（ｘ，ｙ）の更新情報、さらには、視差情報および表示位置のフレーム毎の更新情報を伝送できる。
【０１５７】
「temporal_extension_type」は、視差情報および表示位置のフレーム毎の更新情報が含まれるか否かを示す２ビット情報である。「temporal_extension_type=00」は、ｘ軸（表示位置の水平方向）の更新情報を含むことを示す。「temporal_extension_type=01」は、ｙ軸（表示位置の垂直方向）の更新情報を含むことを示す。「temporal_extension_type=10」は、ｚ軸（視差情報）の更新情報を含むことを示す。「frame_count」は、サブタイトルの表示フレーム期間中において、視差情報などが更新されるフレーム数を示す。
【０１５８】
「offset_sequence」は、前のフレームの視差情報等に対するオフセット情報としての２ビットの情報である。「offset_sequence=01」は、オフセット値が「＋１」であることを示す。「offset_sequence=10」は、オフセット値が「−１」であることを示す。さらに、「offset_sequence=11」は、オフセット値が前のフレームから変化していないことを示す。この「offset_sequence」は、上述したシフト情報群を構成している。
【０１５９】
「offset_precision」は、上述の「offset_sequence」で示すオフセット値における「１」の精度、つまりこの「１」のピクセル（画素）数を示す３ビットの情報である。「offset_precision=000」であるとき、オフセット値における「１」が１/１６ピクセルであることを示す。また、「offset_precision=001」であるとき、オフセット値における「１」が１/８ピクセルであることを示す。また、「offset_precision=010」であるとき、オフセット値における「１」が１/４ピクセルであることを示す。
【０１６０】
また、「offset_precision=011」であるとき、オフセット値における「１」が１/２ピクセルであることを示す。また、「offset_precision=100」であるとき、オフセット値における「１」が１ピクセルであることを示す。また、「offset_precision=101」であるとき、オフセット値における「１」が２ピクセルであることを示す。また、「offset_precision=110」であるとき、オフセット値における「１」が３ピクセルであることを示す。
【０１６１】
なお、詳細説明は省略するが、この第３の構造例において、その他は、図２６に示す第１の構造例、図２７に示す第２の構造例と同様に構成されている。
【０１６２】
図３３は、立体画像データの伝送フォーマットがサイド・バイ・サイド方式である場合に、受信側において、左眼ＲＰ内の左眼サブタイトルおよび右眼ＲＰ内の右眼サブタイトルの表示位置に付与される視差がフレーム単位で更新される例を示している。この例は、ＲＰＣＳに挿入されているｘ軸のシフト情報群、つまり視差情報群に基づいて更新が行われる例である。
【０１６３】
最初のフレームＴ０の左眼ＲＰ内の左眼サブタイトルおよび右眼ＲＰ内の右眼サブタイトルの表示位置は、以下のように設定される。なお、左眼ＲＰの開始位置は“RP_horizontal_position1”であり、右眼ＲＰの開始位置は“RP_horizontal_position2”であるとする。また、ＰＰＣＳに含まれるフレームＴ０の視差情報はそれぞれ“Disparity1（T0）”、“Disparity2（T0）”であるとする。左眼ＲＰ内の左眼サブタイトルの表示開始位置“RP_horizontal_position1(T0)”は、“RP_horizontal_position1 + Disparity1（T0）”とされる。また、右眼ＲＰ内の右眼サブタイトルの表示開始位置“RP_horizontal_position2(T0)”は、“RP_horizontal_position2+ Disparity2（T0）”とされる。
【０１６４】
次フレームであるフレームＴ１の左眼ＲＰ内の左眼サブタイトルおよび右眼ＲＰ内の右眼サブタイトルの表示位置は、以下のように更新される。なお、このフレームＴ１のオフセット値はそれぞれ“offset_sequence1(T1)”、“offset_sequence2(T1)”であるとする。左眼ＲＰ内の左眼サブタイトルの表示開始位置“RP_horizontal_position1(T1)”は、“RP_horizontal_position1(T0)+ offset_sequence1(T1)”とされる。また、右眼ＲＰ内の右眼サブタイトルの表示開始位置“RP_horizontal_position2(T1)”は、“RP_horizontal_position2 (T0) + offset_sequence2(T1)”とされる。
【０１６５】
また、次フレームであるフレームＴ２の左眼ＲＰ内の左眼サブタイトルおよび右眼ＲＰ内の右眼サブタイトルの表示位置は、以下のように更新される。なお、このフレームＴ２のオフセット値はそれぞれ“offset_sequence1(T2)”、“offset_sequence2(T2)”であるとする。左眼ＲＰ内の左眼サブタイトルの表示開始位置“RP_horizontal_position1(T2)”は、“RP_horizontal_position1(T1)+ offset_sequence1(T2)”とされる。また、右眼ＲＰ内の右眼サブタイトルの表示開始位置“RP_horizontal_position2(T2)”は、“RP_horizontal_position2 (T1) + offset_sequence2(T2)”とされる。
【０１６６】
以下、同様にして、受信側においては、各フレームの左眼ＲＰ内の左眼サブタイトルおよび右眼ＲＰ内の右眼サブタイトルの表示位置が、ＲＰＣＳに挿入されている左眼ＲＰ、右眼ＲＰの視差情報群に基づいて更新されていく。
【０１６７】
図３４は、立体画像データの伝送フォーマットがサイド・バイ・サイド方式である場合に、受信側において、左眼ＲＰ内の左眼サブタイトルおよび右眼ＲＰ内の右眼サブタイトルの表示位置に付与される視差がフレーム単位で更新される例を示している。この例は、各フレームに対応して送信されるＲＰＣＳに含まれる視差情報に基づいて更新が行われる例である。
【０１６８】
最初のフレームＴ０の左眼ＲＰ内の左眼サブタイトルおよび右眼ＲＰ内の右眼サブタイトルの表示位置は、以下のように設定される。なお、左眼ＲＰの開始位置は“RP_horizontal_position1”であり、右眼ＲＰの開始位置は“RP_horizontal_position2”であるとする。また、フレームＴ０のＰＰＣＳの視差情報はそれぞれ“Disparity1（T0）”、“Disparity2（T0）”であるとする。左眼ＲＰ内の左眼サブタイトルの表示開始位置“RP_horizontal_position1(T0)”は、“RP_horizontal_position1 + Disparity1（T0）”とされる。また、右眼ＲＰ内の右眼サブタイトルの表示開始位置“RP_horizontal_position2(T0)”は、“RP_horizontal_position2+ Disparity2（T0）”とされる。
【０１６９】
次フレームであるフレームＴ１の左眼ＲＰ内の左眼サブタイトルおよび右眼ＲＰ内の右眼サブタイトルの表示位置は、以下のように更新される。なお、フレームＴ１のＰＰＣＳの視差情報はそれぞれ“Disparity1（T1）”、“Disparity2（T1）”であるとする。左眼ＲＰ内の左眼サブタイトルの表示開始位置“RP_horizontal_position1(T1)”は、“RP_horizontal_position1 + Disparity1（T1）”とされる。また、右眼ＲＰ内の右眼サブタイトルの表示開始位置“RP_horizontal_position2(T1)”は、“RP_horizontal_position2+ Disparity2（T1）”とされる。
【０１７０】
以下、同様にして、受信側においては、各フレームの左眼ＲＰ内の左眼サブタイトルおよび右眼ＲＰ内の右眼サブタイトルの表示位置が、各フレームのＲＰＣＳに含まれている左眼ＲＰ、右眼ＲＰの視差情報に基づいて更新されていく。
【０１７１】
図３５は、立体画像データの伝送フォーマットがトップ・アンド・ボトム方式である場合に、受信側において、左眼ＲＰ内の左眼サブタイトルおよび右眼ＲＰ内の右眼サブタイトルの表示位置に付与される視差がフレーム単位で更新される例を示している。この例は、ＲＰＣＳに挿入されているｘ軸のシフト情報群、つまり視差情報群に基づいて更新が行われる例である。なお、更新の仕方は、上述した立体画像データの伝送フォーマットがサイド・バイ・サイド方式である場合（図３３参照）と同様であるので、その詳細説明は省略する。
【０１７２】
図３６は、立体画像データの伝送フォーマットがトップ・アンド・ボトム方式である場合に、受信側において、左眼ＲＰ内の左眼サブタイトルおよび右眼ＲＰ内の右眼サブタイトルの表示位置に付与される視差がフレーム単位で更新される例を示している。この例は、各フレームに対応して送信されるＲＰＣＳに含まれる視差情報に基づいて更新が行われる例である。なお、更新の仕方は、上述した立体画像データの伝送フォーマットがサイド・バイ・サイド方式である場合（図３４参照）と同様であるので、その詳細説明は省略する。
【０１７３】
図３７は、放送局１００からセットトップボックス２００を介してテレビ受信機３００に至る、立体画像データおよびサブタイトルデータの流れを概略的に示している。この場合、放送局１００ではサイド・バイ・サイド（Side-by-Side）方式に合わせた立体画像用のサブタイトルデータ（表示制御情報も含む）が生成される。そして、立体画像データはビデオデータストリームに含まれて送信され、立体画像用のサブタイトルデータはサブタイトルデータストリームに含まれて送信される。
【０１７４】
セットトップボックス２００では、サブタイトルデータに基づいて左眼サブタイトルおよび右眼サブタイトルを表示するための表示データが生成され、この表示データが立体画像データに重畳される。この際、左眼ＲＰ内の左眼サブタイトルおよび右眼ＲＰ内の右眼サブタイトルの表示（重畳）位置は、表示制御情報に含まれるシフト情報（視差情報、表示位置の移動情報）に基づいて、シフト調整される。
【０１７５】
サブタイトルの表示データが重畳された立体画像データがＨＤＭＩのデジタルインタフェースを通じて、テレビ受信機３００に送信される。この場合、セットトップボックス２００からテレビ受信機３００への立体画像データの伝送フォーマットは、サイド・バイ・サイド（Side-by-Side）方式である。
【０１７６】
テレビ受信機３００では、セットトップボックス２００から送られてくる立体画像データにデコード処理が施される。そして、サブタイトルが重畳された左眼画像および右眼画像のデータが生成され、ＬＣＤ等の表示パネルに、ユーザに立体画像を認識させるための両眼視差画像（左眼画像および右眼画像）が表示される。なお、図３７に示すように、放送局１００から直接テレビ受信機３００に至る経路も考えられる。この場合、テレビ受信機３００は、例えば、セットトップボックス２００と同様の処理機能部を備えている。
【０１７７】
図３８は、放送局１００からセットトップボックス２００を介してテレビ受信機３００に至る、立体画像データおよびサブタイトルデータの流れを概略的に示している。この場合、放送局１００ではトップ・アンド・ボトム（Top & Bottom）方式に合わせた立体画像用のサブタイトルデータ（表示制御情報も含む）が生成される。そして、立体画像データはビデオデータストリームに含まれて送信され、立体画像用のサブタイトルデータはサブタイトルデータストリームに含まれて送信される。
【０１７８】
セットトップボックス２００では、サブタイトルデータに基づいて左眼サブタイトルおよび右眼サブタイトルを表示するための表示データが生成され、この表示データが立体画像データに重畳される。この際、左眼ＲＰ内の左眼サブタイトルおよび右眼ＲＰ内の右眼サブタイトルの表示（重畳）位置は、表示制御情報に含まれるシフト情報（視差情報、表示位置の移動情報）に基づいて、シフト調整される。そして、サブタイトルの表示データが重畳された立体画像データがＨＤＭＩのデジタルインタフェースを通じて、テレビ受信機３００に送信される。この場合、セットトップボックス２００からテレビ受信機３００への立体画像データの伝送フォーマットは、トップ・アンド・ボトム（Top & Bottom）方式である。
【０１７９】
テレビ受信機３００では、セットトップボックス２００から送られてくる立体画像データにデコード処理が施される。そして、サブタイトルが重畳された左眼画像および右眼画像のデータが生成され、ＬＣＤ等の表示パネルに、ユーザに立体画像を認識させるための両眼視差画像（左眼画像および右眼画像）が表示される。なお、図３８に示すように、この場合も、上述の「ケースＥ（Side-by-Side）」の場合と同様に、放送局１００から直接テレビ受信機３００に至る経路も考えられる。この場合、テレビ受信機３００は、例えば、セットトップボックス２００と同様の処理機能部を備えている。
【０１８０】
図２に示す送信データ生成部１１０において、マルチプレクサ１２２から出力されるビットストリームデータＢＳＤは、ビデオデータストリームとサブタイトルデータストリームとを有する多重化データストリームである。ビデオデータストリームには、立体画像データが含まれている。また、サブタイトルデータストリームには、その立体画像データの伝送フォーマットに対応した立体画像用（三次元画像用）のサブタイトルデータが含まれている。
【０１８１】
この立体画像用のサブタイトルデータは、左眼サブタイトルのデータおよび右眼サブタイトルのデータを持っている。そのため、受信側においては、このサブタイトルデータに基づいて、立体画像データが持つ左眼画像データに重畳する左眼サブタイトルの表示データおよび立体画像データが持つ右眼画像データに重畳する右眼サブタイトルの表示データを容易に発生できる。これにより、処理の容易化が図られる。
【０１８２】
また、図２に示す送信データ生成部１１０において、マルチプレクサ１２２から出力されるビットストリームデータＢＳＤには、立体画像データ、立体画像用のサブタイトルデータの他に、表示制御情報も含まれる。この表示制御情報は、左眼ＲＰおよび右眼ＲＰの領域情報と、左眼ＲＰ内の左眼サブタイトルおよび右眼ＲＰ内の右眼サブタイトルの表示位置のシフト情報が含まれている。そのため、受信側においては、左眼ＲＰ内の左眼サブタイトルおよび右眼ＲＰ内の右眼サブタイトルの表示位置がシフトされるように、左眼サブタイトルおよび右眼サブタイトルの表示データにシフト情報に基づいたシフト調整を施すことが可能となる。
【０１８３】
そのため、シフト情報が左眼ＲＰ内の左眼サブタイトルおよび右眼ＲＰ内の右眼サブタイトルの表示位置に視差を付与するためのシフト情報（視差情報）である場合、以下の効果がある。すなわち、受信側においては、サブタイトル（字幕）の表示において、その一部または全部につき、画像内の各物体との間の遠近感の整合性を最適な状態に維持できる。また、シフト情報が左眼ＲＰ内の左眼サブタイトルおよび右眼ＲＰ内の右眼サブタイトルの表示位置を等しく移動させるためのシフト情報（表示位置の移動情報）である場合、以下の効果がある。すなわち、受信側においては、サブタイトル（字幕）の表示において、その一部または全部につき、その表示位置を移動させることができる。
【０１８４】
また、図２に示す送信データ生成部１１０において、サブタイトル処理部１２３では、サブタイトル表示期間の各フレームに対応したＲＰＣＳのセグメントを順次生成して送信できる。そのため、受信側においては、サブタイトル表示期間の各フレームで、順次更新される表示制御情報（シフト情報）により左眼ＲＰ内の左眼サブタイトルおよび右眼ＲＰ内の右眼サブタイトルの表示位置をシフトすることが可能となる。そのため、サブタイトル（字幕）の一部または全部に付与する視差を画像内容の変化に連動して動的に変化させることが可能となる。また、サブタイトル（字幕）の一部または全部の表示位置を動的に変化させる表示効果を得ることが可能となる。
【０１８５】
また、図２に示す送信データ生成部１１０において、サブタイトル処理部１２３で作成されるＲＰＣＳのセグメントに含まれるシフト情報（視差情報等）は、サブピクセルの精度を持つようにされる。そのため、受信側においては、サブタイトル表示期間の各フレームにおいて順次更新されるシフト情報により左眼ＲＰ内の左眼サブタイトルおよび右眼ＲＰ内の右眼サブタイトルの表示位置をシフト調整する場合、シフト動作を滑らかにでき、画質向上に寄与できる。
【０１８６】
［セットトップボックスの説明］
図１に戻って、セットトップボックス２００は、放送局１００から放送波に載せて送信されてくるビットストリームデータ（トランスポートストリーム）ＢＳＤを受信する。このビットストリームデータＢＳＤには、左眼画像データおよび右眼画像データを含む立体画像データ、音声データが含まれている。また、このビットストリームデータＢＳＤには、サブタイトル（字幕）を表示するための立体画像用のサブタイトルデータ（表示制御情報を含む）が含まれている。
【０１８７】
セットトップボックス２００は、ビットストリーム処理部２０１を有している。このビットストリーム処理部２０１は、ビットストリームデータＢＳＤから、立体画像データ、音声データ、サブタイトルデータを抽出する。そして、このビットストリーム処理部２０１は、立体画像データ、サブタイトルデータ等を用いて、サブタイトルが重畳された立体画像データを生成する。
【０１８８】
この場合、左眼画像に重畳する左眼サブタイトルと右眼画像に重畳する右眼サブタイトルとの間には視差が付与されたものとされる。例えば、上述したように、放送局１００から送られてくる立体画像用のサブタイトルデータには、視差情報としてのシフト情報が含まれており、このシフト情報に基づいて、左眼サブタイトルと右眼サブタイトルとの間に視差が付与される。このように、左眼サブタイトルと右眼サブタイトルとの間に視差が付与されることで、ユーザは、サブタイトル（字幕）を画像の手前に認識可能とされる。
【０１８９】
図３９（ａ）は、画像上におけるサブタイトル（字幕）の表示例を示している。この表示例では、背景と近景オブジェクトとからなる画像上に、字幕が重畳された例である。図３９（ｂ）は、背景、近景オブジェクト、字幕の遠近感を示し、字幕が最も手前に認識されることを示している。
【０１９０】
図４０（ａ）は、図３９（ａ）と同じ、画像上におけるサブタイトル（字幕）の表示例を示している。図４０（ｂ）は、左眼画像に重畳される左眼字幕ＬＧＩと、右眼画像に重畳される右眼字幕ＲＧＩを示している。図４０（ｃ）は、字幕が最も手前に認識されるために、左眼字幕ＬＧＩと右眼字幕ＲＧＩとの間に視差が与えられることを示している。
【０１９１】
［セットトップボックスの構成例］
セットトップボックス２００の構成例を説明する。図４１は、セットトップボックス２００の構成例を示している。このセットトップボックス２００は、ビットストリーム処理部２０１と、ＨＤＭＩ端子２０２と、アンテナ端子２０３と、デジタルチューナ２０４と、映像信号処理回路２０５と、ＨＤＭＩ送信部２０６と、音声信号処理回路２０７を有している。また、このセットトップボックス２００は、ＣＰＵ２１１と、フラッシュＲＯＭ２１２と、ＤＲＡＭ２１３と、内部バス２１４と、リモコン受信部２１５と、リモコン送信機２１６を有している。
【０１９２】
アンテナ端子２０３は、受信アンテナ（図示せず）で受信されたテレビ放送信号を入力する端子である。デジタルチューナ２０４は、アンテナ端子２０３に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）ＢＳＤを出力する。
【０１９３】
ビットストリーム処理部２０１は、上述したように、ビットストリームデータＢＳＤから立体画像データ、音声データ、立体画像用のサブタイトルデータ（表示制御情報を含む）等を抽出する。このビットストリーム処理部２０１は、立体画像データに対して、左眼サブタイトルおよび右眼サブタイトルの表示データを合成し、サブタイトルが重畳された表示用立体画像データを得る。また、ビットストリーム処理部２０１は、音声データを出力する。
【０１９４】
この際、ビットストリーム処理部２０１は、左眼ＲＰ内の左眼サブタイトルおよび右眼ＲＰ内の右眼サブタイトルの表示位置（重畳位置）を、表示制御情報に基づいて、シフト調整する。上述したように、表示制御情報には、左眼ＲＰ、右眼ＲＰの領域情報と、左眼ＲＰ内の左眼サブタイトルおよび右眼ＲＰ内の右眼サブタイトルの表示位置のシフト情報（視差情報、表示位置の移動情報）が含まれている。ビットストリーム処理部２０１の詳細構成は後述する。
【０１９５】
映像信号処理回路２０５は、ビットストリーム処理部２０１で得られた表示用立体画像データに対して必要に応じて画質調整処理などを行い、処理後の表示用立体画像データをＨＤＭＩ送信部２０６に供給する。音声信号処理回路２０７は、ビットストリーム処理部２０１から出力された音声データに対して必要に応じて音質調整処理等を行い、処理後の音声データをＨＤＭＩ送信部２０６に供給する。
【０１９６】
ＨＤＭＩ送信部２０６は、ＨＤＭＩに準拠した通信により、例えば、非圧縮の画像データおよび音声データを、ＨＤＭＩ端子２０２から送出する。この場合、ＨＤＭＩのＴＭＤＳチャネルで送信するため、画像データおよび音声データがパッキングされて、ＨＤＭＩ送信部２０６からＨＤＭＩ端子２０２に出力される。
【０１９７】
例えば、放送局１００からの立体画像データの伝送フォーマットがサイド・バイ・サイド方式であるとき、ＴＭＤＳ伝送フォーマットはサイド・バイ・サイド方式とされる（図３７参照）。また、例えば、放送局１００からの立体画像データの伝送フォーマットがトップ・アンド・ボトム方式であるとき、ＴＭＤＳ伝送フォーマットはトップ・アンド・ボトム方式とされる（図３８参照）。
【０１９８】
ＣＰＵ２１１は、セットトップボックス２００の各部の動作を制御する。フラッシュＲＯＭ２１２は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ２１３は、ＣＰＵ２１１のワークエリアを構成する。ＣＰＵ２１１は、フラッシュＲＯＭ２１２から読み出したソフトウェアやデータをＤＲＡＭ２１３上に展開してソフトウェアを起動させ、セットトップボックス２００の各部を制御する。
【０１９９】
リモコン受信部２１５は、リモコン送信機２１６から送信されたリモートコントロール信号（リモコンコード）を受信し、ＣＰＵ２１１に供給する。ＣＰＵ２１１は、このリモコンコードに基づいて、セットトップボックス２００の各部を制御する。ＣＰＵ２１１、フラッシュＲＯＭ２１２およびＤＲＡＭ２１３は内部バス２１４に接続されている。
【０２００】
セットトップボックス２００の動作を簡単に説明する。アンテナ端子２０３に入力されたテレビ放送信号はデジタルチューナ２０４に供給される。このデジタルチューナ２０４では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）ＢＳＤが出力される。
【０２０１】
デジタルチューナ２０４から出力されるビットストリームデータＢＳＤは、ビットストリーム処理部２０１に供給される。このビットストリーム処理部２０１では、ビットストリームデータＢＳＤから立体画像データ、音声データ、立体画像用のサブタイトルデータ（表示制御情報を含む）等が抽出される。ビットストリーム処理部２０１では、立体画像データに対して、左眼サブタイトルおよび右眼サブタイトルの表示データ（ビットマップデータ）が合成され、サブタイトルが重畳された表示用立体画像データが得られる。
【０２０２】
この際、ビデオストリーム処理部２０１では、表示制御情報に基づいて、左眼ＲＰ内の左眼サブタイトルおよび右眼ＲＰ内の右眼サブタイトルの表示（重畳）位置がシフト調整される。このシフト調整により、サブタイトル（字幕）の表示において、その一部または全部につき、画像内の各物体との間の遠近感の整合性を最適な状態に維持することが可能となる。また、このシフト調整により、サブタイトル（字幕）の表示において、その一部または全部につき、その表示位置を移動させることが可能となる。
【０２０３】
ビットストリーム処理部２０１で得られた表示用立体画像データは、映像信号処理回路２０５に供給される。この映像信号処理回路２０５では、表示用立体画像データに対して、必要に応じて画質調整処理等が行われる。この映像信号処理回路２０５から出力される処理後の表示用立体画像データは、ＨＤＭＩ送信部２０６に供給される。
【０２０４】
また、ビットストリーム処理部２０１で得られた音声データは、音声信号処理回路２０７に供給される。この音声信号処理回路２０７では、音声データに対して、必要に応じて音質調整処理等の処理が行われる。この音声信号処理回路２０７から出力される処理後の音声データは、ＨＤＭＩ送信部２０６に供給される。そして、ＨＤＭＩ送信部２０６に供給された立体画像データおよび音声データは、ＨＤＭＩのＴＭＤＳチャネルにより、ＨＤＭＩ端子２０２からＨＤＭＩケーブル４００に送出される。
【０２０５】
［ビットストリーム処理部の構成例］
図４２は、ビットストリーム処理部２０１の構成例を示している。このビットストリーム処理部２０１は、上述の図２に示す送信データ生成部１１０に対応した構成となっている。このビットストリーム処理部２０１は、デマルチプレクサ２２１と、ビデオデコーダ２２２と、サブタイトルデコーダ２２３と、立体画像用サブタイトル発生部２２４と、シフト調整部２２５と、ビデオ重畳部２２６と、オーディオデコーダ２２７とを有している。
【０２０６】
デマルチプレクサ２２１は、ビットストリームデータＢＳＤから、ビデオ、オーディオ、サブタイトルのパケットを抽出し、各デコーダに送る。なお、デマルチプレクサ２２１は、ビットストリームデータＢＳＤに挿入されているＰＭＴ、ＥＩＴ等の情報を抽出し、ＣＰＵ２１１に送る。上述したように、ＥＩＴの配下にあるコンポーネント・デスクリプタに,Stream_content(‘0x03’=DVB subtitles) ＆Component_type(for 3D target)が記述されている。これにより、サブタイトルデータストリームに立体画像用のサブタイトルデータが含まれることが識別可能とされている。したがって、ＣＰＵ２１１は、この記述により、サブタイトルデータストリームに立体画像用のサブタイトルデータが含まれることを識別できる。
【０２０７】
ビデオデコーダ２２２は、上述の送信データ生成部１１０のビデオエンコーダ１１９とは逆の処理を行う。すなわち、デマルチプレクサ２２１で抽出されたビデオのパケットからビデオデータストリームを再構成し、復号化処理を行って、左眼画像データおよび右眼画像データを含む立体画像データを得る。この立体画像データの伝送フォーマットは、例えば、サイド・バイ・サイド方式、トップ・アンド・ボトム方式などである。
【０２０８】
サブタイトルデコーダ２２３は、上述の送信データ生成部１１０のサブタイトルエンコーダ１２５とは逆の処理を行う。すなわち、このサブタイトルデコーダ２１２は、デマルチプレクサ２２１で抽出されたサブタイトルのパケットからサブタイトルデータストリームを再構成し、復号化処理を行って、立体画像用のサブタイトルデータ（表示制御情報を含む）を得る。立体画像用サブタイトル発生部２２４は、立体画像用のサブタイトルデータ（表示制御情報を除く）に基づいて、立体画像データに重畳する左眼サブタイトルおよび右眼サブタイトルの表示データ（ビットマップデータ）を発生する。この立体画像用サブタイトル発生部２２４は、表示データ発生部を構成している。
【０２０９】
シフト調整部２２５は、立体画像用サブタイトル発生部２２４で発生された表示データを入力し、表示制御情報に基づいて、左眼ＲＰ内の左眼サブタイトルおよび右眼ＲＰ内の右眼サブタイトルの表示位置（重畳位置）をシフト調整して、出力する。上述したように、表示制御情報に含まれる表示位置のシフト情報は、サブピクセルの精度を持っている（図８参照）。そのため、シフト調整部２２５は、補間処理を用いて、サブピクセルの精度でのシフト調整を行う。図４３は、水平方向に１／２画素（ピクセル）分のシフトをする場合の補間処理例を概略的に示している。図４３（ａ）の黒丸は、受信データを示している。図４３（ｂ）の白丸は、受信データを単純に、水平方向に１／２画素分だけシフトした状態を示している。しかし、この白丸で示すデータは、画素（ピクセル）位置のデータはない。そこで、シフト調整部２２５は、白丸で示すデータに対して補間処理を施して、図４３（ｂ）のハッチング付きの丸で示す画素位置のデータを生成し、シフト調整後のデータとする。
【０２１０】
ビデオ重畳部２２６は、表示用立体画像データＶoutを得る。この場合、ビデオ重畳部２２６は、ビデオデコーダ２２２で得られた立体画像データに対し、シフト調整部２２５でシフト調整された左眼サブタイトルおよび右眼サブタイトルの表示データ（ビットマップデータ）を重畳する。そして、ビデオ重畳部２２６は、この表示用立体画像データＶoutを、ビットストリーム処理部２０１の外部に出力する。
【０２１１】
また、オーディオデコーダ２２７は、上述の送信データ生成部１１０のオーディオエンコーダ１２０とは逆の処理を行う。すなわち、このオーディオデコーダ２２７は、デマルチプレクサ２２１で抽出されたオーディオのパケットからオーディオのエレメンタリストリームを再構成し、復号化処理を行って、音声データＡoutを得る。そして、このオーディオデコーダ２２７は、音声データＡoutを、ビットストリーム処理部２０１の外部に出力する。
【０２１２】
図４２に示すビットストリーム処理部２０１の動作を簡単に説明する。デジタルチューナ２０４（図４１参照）から出力されるビットストリームデータＢＳＤは、デマルチプレクサ２２１に供給される。このデマルチプレクサ２２１では、ビットストリームデータＢＳＤから、ビデオ、オーディオおよびサブタイトルのパケットが抽出され、各デコーダに供給される。
【０２１３】
ビデオデコーダ２２２では、デマルチプレクサ２２１で抽出されたビデオのパケットからビデオデータストリームが再構成され、さらに復号化処理が行われて、左眼画像データおよび右眼画像データを含む立体画像データが得られる。この立体画像データは、ビデオ重畳部２２６に供給される。
【０２１４】
また、サブタイトルデコーダ２２３では、デマルチプレクサ２２１で抽出されたサブタイトルのパケットからサブタイトルデータストリームが再構成され、さらに復号化処理が行われて、立体画像用のサブタイトルデータ（表示制御情報を含む）が得られる。このサブタイトルデータは、立体画像用サブタイトル発生部２２４に供給される。
【０２１５】
立体画像用サブタイトル発生部２２４では、立体画像用のサブタイトルデータ（表示制御情報を除く）に基づいて、立体画像データに重畳する左眼サブタイトルおよび右眼サブタイトルの表示データ（ビットマップデータ）が発生される。この表示データは、シフト調整部２２５に供給される。また、このシフト調整部２２５には、サブタイトルデコーダ２２３から、表示制御情報が供給される。シフト調整部２２５では表示制御情報に基づいて、左眼ＲＰ内の左眼サブタイトルおよび右眼ＲＰ内の右眼サブタイトルの表示位置（重畳位置）が、シフト調整される。
【０２１６】
シフト調整部２２５でシフト調整された表示データ（立体画像データに重畳する左眼サブタイトルおよび右眼サブタイトルの表示データ）は、ビデオ重畳部２２６に供給される。ビデオ重畳部２２６では、ビデオデコーダ２２２で得られた立体画像データに対し、シフト調整部２２５でシフト調整された表示データが重畳され、表示用立体画像データＶoutが得られる。この表示用立体画像データＶoutは、ビットストリーム処理部２０１の外部に出力される。
【０２１７】
また、オーディオデコーダ２２７では、デマルチプレクサ２２１で抽出されたオーディオのパケットからオーディオエレメンタリストリームが再構成され、さらに復号化処理が行われて、上述の表示用立体画像データＶoutに対応した音声データＡoutが得られる。この音声データＡoutは、ビットストリーム処理部２０１の外部に出力される。
【０２１８】
図４２に示すセットトップボックス２００において、デジタルチューナ２０４から出力されるビットストリームデータＢＳＤは、ビデオデータストリームとサブタイトルデータストリームとを有する多重化データストリームである。ビデオデータストリームには、立体画像データが含まれている。また、サブタイトルデータストリームには、その立体画像データの伝送フォーマットに対応した立体画像用（三次元画像用）のサブタイトルデータが含まれている。
【０２１９】
この立体画像用のサブタイトルデータは、左眼サブタイトルのデータおよび右眼サブタイトルのデータを持っている。そのため、ビットストリーム処理部２０１の立体画像用サブタイトル発生部２２４では、立体画像データが持つ左眼画像データに重畳する左眼サブタイトルの表示データを容易に発生できる。また、ビットストリーム処理部２０１の立体画像用サブタイトル発生部２２４では、立体画像データが持つ右眼画像データに重畳する右眼サブタイトルの表示データを容易に発生できる。これにより、処理の容易化が図られる。
【０２２０】
また、図４２に示すセットトップボックス２００において、デジタルチューナ２０４から出力されるビットストリームデータＢＳＤには、立体画像データ、立体画像用のサブタイトルデータの他に、表示制御情報も含まれる。この表示制御情報は、左眼ＲＰおよび右眼ＲＰの領域情報と、左眼ＲＰ内の左眼サブタイトルおよび右眼ＲＰ内の右眼サブタイトルの表示位置のシフト情報が含まれている。そのため、シフト調整部２２５では、左眼ＲＰ内の左眼サブタイトルおよび右眼ＲＰ内の右眼サブタイトルの表示位置がシフトされるように、左眼サブタイトルおよび右眼サブタイトルの表示データにシフト情報に基づいたシフト調整を施すことが可能となる。
【０２２１】
したがって、シフト情報が左眼ＲＰ内の左眼サブタイトルおよび右眼ＲＰ内の右眼サブタイトルの表示位置に視差を付与するためのシフト情報（視差情報）である場合、以下の効果がある。すなわち、サブタイトル（字幕）の表示において、その一部または全部につき、画像内の各物体との間の遠近感の整合性を最適な状態に維持できる。また、シフト情報が左眼ＲＰ内の左眼サブタイトルおよび右眼ＲＰ内の右眼サブタイトルの表示位置を等しく移動させるためのシフト情報（表示位置の移動情報）である場合、以下の効果がある。すなわち、サブタイトル（字幕）の表示において、その一部または全部につき、その表示位置を移動させることができる。
【０２２２】
［テレビ受信機の説明］
図１に戻って、テレビ受信機３００は、セットトップボックス２００からＨＤＭＩケーブル４００を介して送られてくる立体画像データを受信する。このテレビ受信機３００は、３Ｄ信号処理部３０１を有している。この３Ｄ信号処理部３０１は、立体画像データに対して、伝送フォーマットに対応した処理（デコード処理）を行って、左眼画像データおよび右眼画像データを生成する。
【０２２３】
［テレビ受信機の構成例］
テレビ受信機３００の構成例を説明する。図４４は、テレビ受信機３００の構成例を示している。このテレビ受信機３００は、３Ｄ信号処理部３０１と、ＨＤＭＩ端子３０２と、ＨＤＭＩ受信部３０３と、アンテナ端子３０４と、デジタルチューナ３０５と、ビットストリーム処理部３０６を有している。
【０２２４】
また、このテレビ受信機３００は、映像・グラフィック処理回路３０７と、パネル駆動回路３０８と、表示パネル３０９と、音声信号処理回路３１０と、音声増幅回路３１１と、スピーカ３１２を有している。また、このテレビ受信機３００は、ＣＰＵ３２１と、フラッシュＲＯＭ３２２と、ＤＲＡＭ３２３と、内部バス３２４と、リモコン受信部３２５と、リモコン送信機３２６を有している。
【０２２５】
アンテナ端子３０４は、受信アンテナ（図示せず）で受信されたテレビ放送信号を入力する端子である。デジタルチューナ３０５は、アンテナ端子３０４に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）ＢＳＤを出力する。
【０２２６】
ビットストリーム処理部３０６は、図４１に示すセットトップボックス２００内のビットストリーム処理部２０１と同様の構成とされている。このビットストリーム処理部３０６は、ビットストリームデータＢＳＤから立体画像データ、音声データ、立体画像用のサブタイトルデータ（表示制御情報も含む）等を抽出する。
【０２２７】
また、このビットストリーム処理部３０６は、立体画像データに対して、左眼サブタイトルおよび右眼サブタイトルの表示データを合成し、サブタイトルが重畳された表示用立体画像データを生成して出力する。また、ビットストリーム処理部３０６は、音声データを出力する。この際、ビットストリーム処理部３０６は、左眼ＲＰ内の左眼サブタイトルおよび右眼ＲＰ内の右眼サブタイトルの表示（重畳）位置を、表示制御情報に基づいて、シフト調整する。また、ビットストリーム処理部３０６は、音声データを出力する。
【０２２８】
ＨＤＭＩ受信部３０３は、ＨＤＭＩに準拠した通信により、ＨＤＭＩケーブル４００を介してＨＤＭＩ端子３０２に供給される非圧縮の画像データおよび音声データを受信する。このＨＤＭＩ受信部３０３は、そのバージョンが例えばＨＤＭＩ１．４ａとされており、立体画像データの取り扱いが可能な状態にある。
【０２２９】
３Ｄ信号処理部３０１は、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた立体画像データに対して、デコード処理を行って、左眼画像データおよび右眼画像データを生成する。この場合、３Ｄ信号処理部３０１は、ビットストリーム処理部３０６で得られた立体画像データに対しては、その伝送フォーマット（図４参照）に対応したデコード処理を行う。また、３Ｄ信号処理部３０１は、ＨＤＭＩ受信部３０３で受信された立体画像データに対しては、ＴＭＤＳ伝送データフォーマットに対応したデコード処理を行う。
【０２３０】
映像・グラフィック処理回路３０７は、３Ｄ信号処理部３０１で生成された左眼画像データおよび右眼画像データに基づいて、立体画像を表示するための画像データを生成する。また、映像・グラフィック処理回路３０７は、画像データに対して、必要に応じて、画質調整処理を行う。また、映像・グラフィック処理回路３０７は、画像データに対して、必要に応じて、メニュー、番組表などの重畳情報のデータを合成する。パネル駆動回路３０８は、映像・グラフィック処理回路３０７から出力される画像データに基づいて、表示パネル３０９を駆動する。表示パネル３０９は、例えば、ＬＣＤ(Liquid Crystal Display)、ＰＤＰ(Plasma DisplayPanel)等で構成されている。
【０２３１】
音声信号処理回路３１０は、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた音声データに対してＤ／Ａ変換等の必要な処理を行う。音声増幅回路３１１は、音声信号処理回路３１０から出力される音声信号を増幅してスピーカ３１２に供給する。
【０２３２】
ＣＰＵ３２１は、テレビ受信機３００の各部の動作を制御する。フラッシュＲＯＭ３２２は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ３２３は、ＣＰＵ３２１のワークエリアを構成する。ＣＰＵ３２１は、フラッシュＲＯＭ３２２から読み出したソフトウェアやデータをＤＲＡＭ３２３上に展開してソフトウェアを起動させ、テレビ受信機３００の各部を制御する。
【０２３３】
リモコン受信部３２５は、リモコン送信機３２６から送信されたリモートコントロール信号（リモコンコード）を受信し、ＣＰＵ３２１に供給する。ＣＰＵ３２１は、このリモコンコードに基づいて、テレビ受信機３００の各部を制御する。ＣＰＵ３２１、フラッシュＲＯＭ３２２およびＤＲＡＭ３２３は、内部バス３２４に接続されている。
【０２３４】
図４４に示すテレビ受信機３００の動作を簡単に説明する。ＨＤＭＩ受信部３０３では、ＨＤＭＩ端子３０２にＨＤＭＩケーブル４００を介して接続されているセットトップボックス２００から送信されてくる、立体画像データおよび音声データが受信される。このＨＤＭＩ受信部３０３で受信された立体画像データは、３Ｄ信号処理部３０１に供給される。また、このＨＤＭＩ受信部３０３で受信された音声データは音声信号処理回路３１０に供給される。
【０２３５】
アンテナ端子３０４に入力されたテレビ放送信号はデジタルチューナ３０５に供給される。このデジタルチューナ３０５では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）ＢＳＤが出力される。
【０２３６】
デジタルチューナ３０５から出力されるビットストリームデータＢＳＤは、ビットストリーム処理部３０６に供給される。このビットストリーム処理部３０６では、ビットストリームデータＢＳＤから立体画像データ、音声データ、立体画像用のサブタイトルデータ（表示制御情報も含む）等を抽出する。また、このビットストリーム処理部３０６では、立体画像データに対して、左眼サブタイトルおよび右眼サブタイトルの表示データが合成されて、サブタイトルが重畳された表示用立体画像データが生成される。この際、左眼ＲＰ内の左眼サブタイトルおよび右眼ＲＰ内の右眼サブタイトルの表示位置（重畳位置）が、表示制御情報に基づいて、シフト調整される。
【０２３７】
ビットストリーム処理部３０６で生成された表示用立体画像データは、３Ｄ信号処理部３０１に供給される。また、このビットストリーム処理部３０６で得られた音声データは、音声信号処理回路３１０に供給される。
【０２３８】
３Ｄ信号処理部３０１では、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた立体画像データに対してデコード処理が行われて、左眼画像データおよび右眼画像データが生成される。この左眼画像データおよび右眼画像データは、映像・グラフィック処理回路３０７に供給される。この映像・グラフィック処理回路３０７では、左眼画像データおよび右眼画像データに基づいて、立体画像を表示するための画像データが生成され、必要に応じて、画質調整処理、重畳情報データの合成処理も行われる。
【０２３９】
この映像・グラフィック処理回路３０７で得られる画像データはパネル駆動回路３０８に供給される。そのため、表示パネル３０９により立体画像が表示される。例えば、表示パネル３０９に、左眼画像データによる左眼画像および右眼画像データによる右眼画像が交互に時分割的に表示される。視聴者は、例えば、表示パネル３０９の表示に同期して左眼シャッタおよび右眼シャッタが交互に開くシャッタメガネを装着することで、左眼では左眼画像のみを見ることができ、右眼では右眼画像のみを見ることができ、立体画像を知覚できる。
【０２４０】
また、ビットストリーム処理部３０６で得られた音声データは、音声信号処理回路３１０に供給される。この音声信号処理回路３１０では、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた音声データに対してＤ／Ａ変換等の必要な処理が施される。この音声データは、音声増幅回路３１１で増幅された後に、スピーカ３１２に供給される。そのため、スピーカ３１２から表示パネル３０９の表示画像に対応した音声が出力される。
【０２４１】
上述したように、図１に示す画像送受信システム１０においては、放送局１００（送信データ生成部２０１）からセットトップボックス２００に、ビデオデータストリームとサブタイトルデータストリームとを有する多重化データストリームが送信される。ビデオデータストリームには、立体画像データが含まれている。また、サブタイトルデータストリームには、その立体画像データの伝送フォーマットに対応した立体画像用（三次元画像用）のサブタイトルデータが含まれている。
【０２４２】
この立体画像用のサブタイトルデータは、左眼サブタイトルのデータおよび右眼サブタイトルのデータを持っている。そのため、セットトップボックス２００においては、立体画像データが持つ左眼画像データに重畳する左眼サブタイトルの表示データを容易に発生できる。また、このセットトップボックス２００においては、立体画像データが持つ右眼画像データに重畳する右眼サブタイトルの表示データを容易に発生できる。これにより、ビットデータ処理部２０１の処理の容易化が図られる。
【０２４３】
また、図１に示す画像送受信システム１０においては、放送局１００の送信データ生成部１１０から出力されるビットストリームデータＢＳＤには、立体画像データ、立体画像用のサブタイトルデータの他に、表示制御情報も含まれる。この表示制御情報は、左眼ＲＰおよび右眼ＲＰの領域情報と、左眼ＲＰ内の左眼サブタイトルおよび右眼ＲＰ内の右眼サブタイトルの表示位置のシフト情報が含まれている。そのため、セットトップボックス２００においては、左眼ＲＰ内の左眼サブタイトル、右眼ＲＰ内の右眼サブタイトルの表示位置がシフトされるように、左眼サブタイトル、右眼サブタイトルの表示データにシフト情報に基づいたシフト調整を施すことが可能となる。
【０２４４】
したがって、シフト情報が左眼ＲＰ内の左眼サブタイトルおよび右眼ＲＰ内の右眼サブタイトルの表示位置に視差を付与するためのシフト情報（視差情報）である場合、以下の効果がある。すなわち、セットトップボックス２００においては、サブタイトル（字幕）の表示において、その一部または全部につき、画像内の各物体との間の遠近感の整合性を最適な状態に維持できる。また、シフト情報が左眼ＲＰ内の左眼サブタイトルおよび右眼ＲＰ内の右眼サブタイトルの表示位置を等しく移動させるためのシフト情報（表示位置の移動情報）である場合、以下の効果がある。すなわち、セットトップボックス２００においては、サブタイトル（字幕）の表示において、その一部または全部につき、その表示位置を移動させることができる。
【０２４５】
また、図１に示す画像送受信システム１０においては、放送局１００の送信データ生成部１１０からサブタイトル表示期間の各フレームに対応したＲＰＣＳのセグメントを順次送信できる。そのため、セットトップボックス２００においては、サブタイトル表示期間の各フレームで、順次更新される表示制御情報（シフト情報）により左眼ＲＰ内の左眼サブタイトルおよび右眼ＲＰ内の右眼サブタイトルの表示位置をシフトすることが可能となる。したがって、サブタイトル（字幕）の一部または全部に付与する視差を画像内容の変化に連動して動的に変化させることが可能となる。また、サブタイトル（字幕）の一部または全部の表示位置を動的に変化させる表示効果を得ることが可能となる。
【０２４６】
また、図１に示す画像送受信システム１０においては、放送局１００の送信データ生成部１１０で作成されるＲＰＣＳのセグメントに含まれるシフト情報（視差情報等）は、サブピクセルの精度を持つようにされる。そのため、セットトップボックス２００においては、サブタイトル表示期間の各フレームにおいて順次更新されるシフト情報により左眼ＲＰ内の左眼サブタイトル、右眼ＲＰ内の右眼サブタイトルの表示位置をシフト調整する場合、シフト動作を滑らかにできる。これにより、画質向上に寄与できる。
【０２４７】
＜２．変形例＞
なお、上述実施の形態において、図２８〜図３０に示す「Region_Partition_payload()」の第３の構造例は、ＲＰＣＳの中で、別ループで回すようにすることで、ｘ軸、ｙ軸、ｚ軸の「offset_sequence」の挿入を可能にしている。しかし、同一のループで、ｘ軸、ｙ軸、ｚ軸の「offset_sequence」の挿入を可能にすることも考えられる。
【０２４８】
図４６〜図４８は、「Region_Partition_payload()」の第３の構造例（syntax）の他の例を示している。図４９は、その構造例におけるデータ規定内容（semantics）の一部を示している。「temporal_extension_flg」は、視差情報および表示位置のフレーム毎の更新情報が含まれるか否かを示す１ビットのフラグ情報である。「temporal_extension_flg=1」は含まれることを示し、「temporal_extension_flg=0」は含まれないことを示す。
【０２４９】
「temporal_extension_type」は、視差情報および表示位置のフレーム毎の更新情報が含まれるか否かを示す３ビット情報である。「temporal_extension_type=001」は、ｘ軸（表示位置の水平方向）の更新情報を含むことを示す。「temporal_extension_type=010」は、ｙ軸（表示位置の垂直方向）の更新情報を含むことを示す。「temporal_extension_type=100」は、ｚ軸（視差情報）の更新情報を含むことを示す。
【０２５０】
また、上述実施の形態においては、画像送受信システム１０が、放送局１００、セットトップボックス２００およびテレビ受信機３００で構成されているものを示した。しかし、テレビ受信機３００は、図４４に示すように、セットトップボックス２００内のビットストリーム処理部２０１と同等に機能するビットストリーム処理部３０６を備えている。したがって、図４５に示すように、放送局１００およびテレビ受信機３００で構成される画像送受信システム１０Ａも考えられる。
【０２５１】
また、上述実施の形態においては、立体画像データを含むデータストリーム（ビットストリームデータ）が放送局１００から放送される例を示した。しかし、この発明は、このデータストリームがインターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。
【０２５２】
また、上述実施の形態においては、セットトップボックス２００と、テレビ受信機３００とが、ＨＤＭＩのデジタルインタフェースで接続されるものを示している。しかし、これらが、ＨＤＭＩのデジタルインタフェースと同様のデジタルインタフェース（有線の他に無線も含む）で接続される場合においても、この発明を同様に適用できる。
【０２５３】
また、上述実施の形態においては、重畳情報としてサブタイトル（字幕）を取り扱うものを示した。しかし、その他のグラフィクス情報、テキスト情報などの重畳情報を扱うものにも、この発明を同様に適用できる。
【０２５４】
また、上述実施の形態においては、ＲＰＣＳセグメントを新たに定義し、このセグメントを用いて、放送局１００からセットトップボックス２００に、表示制御情報を供給するようにしている。しかし、表示制御情報をセットトップボックス２００に供給する方法は、これに限定されるものではなく、例えば、セットトップボックス２００が必要に応じてインターネットから取得する構成であってもよい。
【産業上の利用可能性】
【０２５５】
この発明は、画像に重ねてサブタイトル（字幕）などの重畳情報の表示を行い得る立体画像システムに適用できる。
【符号の説明】
【０２５６】
１０，１０Ａ・・・画像送受信システム
１００・・・放送局
１１０・・・送信データ生成部
１１１Ｌ，１１１Ｒ・・・カメラ
１１２・・・ビデオフレーミング部
１１３・・・視差ベクトル検出部
１１４・・・マイクロホン
１１５・・・データ取り出し部
１１５ａ・・・データ記録媒体
１１６〜１１８・・・切り換えスイッチ
１１９・・・ビデオエンコーダ
１２０・・・オーディオエンコーダ
１２１・・・サブタイトルエンコーダ
１２２・・・視差情報作成部
１２３・・・サブタイトル処理部
１２４・・・表示制御情報生成部
１２５・・・サブタイトルエンコーダ
１２６・・・マルチプレクサ
２００・・・セットトップボックス（ＳＴＢ）
２０１・・・ビットストリーム処理部
２０２・・・ＨＤＭＩ端子
２０３・・・アンテナ端子
２０４・・・デジタルチューナ
２０５・・・映像信号処理回路
２０６・・・ＨＤＭＩ送信部
２０７・・・音声信号処理回路
２１１・・・ＣＰＵ
２１５・・・リモコン受信部
２１６・・・リモコン送信機
２２１・・・デマルチプレクサ
２２２・・・ビデオデコーダ
２２３・・サブタイトルデコーダ
２２４・・・立体画像用サブタイトル発生部
２２５・・・シフト調整部
２２６・・・ビデオ重畳部
２２７・・・オーディオデコーダ
３００・・・テレビ受信機（ＴＶ）
３０１・・・３Ｄ信号処理部
３０２・・・ＨＤＭＩ端子
３０３・・・ＨＤＭＩ受信部
３０４・・・アンテナ端子
３０５・・・デジタルチューナ
３０６・・・ビットストリーム処理部
３０７・・・映像・グラフィック処理回路
３０８・・・パネル駆動回路
３０９・・・表示パネル
３１０・・・音声信号処理回路
３１１・・・音声増幅回路
３１２・・・スピーカ
３２１・・・ＣＰＵ
３２５・・・リモコン受信部
３２６・・・リモコン送信機
４００・・・ＨＤＭＩケーブル
【図１】
2012044625.tif 000003
【図２】
2012044625.tif 000004
【図３】
2012044625.tif 000005
【図４】
2012044625.tif 000006
【図５】
2012044625.tif 000007
【図６】
2012044625.tif 000008
【図７】
2012044625.tif 000009
【図８】
2012044625.tif 000010
【図９】
2012044625.tif 000011
【図１０】
2012044625.tif 000012
【図１１】
2012044625.tif 000013
【図１２】
2012044625.tif 000014
【図１３】
2012044625.tif 000015
【図１４】
2012044625.tif 000016
【図１５】
2012044625.tif 000017
【図１６】
2012044625.tif 000018
【図１７】
2012044625.tif 000019
【図１８】
2012044625.tif 000020
【図１９】
2012044625.tif 000021
【図２０】
2012044625.tif 000022
【図２１】
2012044625.tif 000023
【図２２】
2012044625.tif 000024
【図２３】
2012044625.tif 000025
【図２４】
2012044625.tif 000026
【図２５】
2012044625.tif 000027
【図２６】
2012044625.tif 000028
【図２７】
2012044625.tif 000029
【図２８】
2012044625.tif 000030
【図２９】
2012044625.tif 000031
【図３０】
2012044625.tif 000032
【図３１】
2012044625.tif 000033
【図３２】
2012044625.tif 000034
【図３３】
2012044625.tif 000035
【図３４】
2012044625.tif 000036
【図３５】
2012044625.tif 000037
【図３６】
2012044625.tif 000038
【図３７】
2012044625.tif 000039
【図３８】
2012044625.tif 000040
【図４１】
2012044625.tif 000041
【図４２】
2012044625.tif 000042
【図４３】
2012044625.tif 000043
【図４４】
2012044625.tif 000044
【図４５】
2012044625.tif 000045
【図４６】
2012044625.tif 000046
【図４７】
2012044625.tif 000047
【図４８】
2012044625.tif 000048
【図４９】
2012044625.tif 000049
【図５０】
2012044625.tif 000050
【図３９】
2012044625.tif 000051
【図４０】
2012044625.tif 000052