(57)【要約】  ３Ｄ映像を構成する第１及び第２視点映像のうち、事前蓄積される第２視点映像による追い越し再生の可否を適切に制御する映像再生装置及び映像送信装置を提供する。放送波を用いてリアルタイム放送される第１視点映像と、第２視点映像とを組み合わせて３Ｄ映像をリアルタイム再生する映像再生装置であって、蓄積手段と、放送波を用いて第１視点映像を受信する映像受信手段と、リアルタイム再生のために予め指定されている表示予定時刻に達していない映像フレームの表示可否を示す可否情報を取得する情報取得手段と、第２視点映像を再生する再生手段と、第２視点映像の再生において、次に表示すべき映像フレームについて、前記リアルタイム再生のために予め指定されている表示予定時刻が現在時刻を過ぎており、かつ、前記可否情報が表示不可を示している場合には、第２視点映像の再生を抑止する制御手段とを備える。
2013099290.tif 000002
【特許請求の範囲】
【請求項１】
放送波を用いてリアルタイム放送される第１視点映像と、前記第１視点映像の放送前に蓄積する第２視点映像とを組み合わせて３Ｄ映像をリアルタイム再生する映像再生装置であって、
前記第２視点映像を蓄積している蓄積手段と、
前記放送波を用いて前記第１視点映像を受信する映像受信手段と、
現在時刻が前記リアルタイム再生のために予め指定されている表示予定時刻に達していない映像フレームの表示可否を示す可否情報を取得する情報取得手段と、
前記第２視点映像を再生する再生手段と、
前記第２視点映像の再生において、次に表示すべき映像フレームについて、前記リアルタイム再生のために予め指定されている表示予定時刻が現在時刻を超え、かつ、前記可否情報が表示不可を示している場合には、前記第２視点映像の再生を抑止する制御手段とを備える
ことを特徴とする映像再生装置。
【請求項２】
前記可否情報は、前記放送波を用いて送信されており、
前記情報取得手段は、前記放送波を受信し、前記放送波から前記可否情報を取得する
ことを特徴とする請求項１記載の映像再生装置。
【請求項３】
前記可否情報は、前記蓄積手段に蓄積されており、
前記情報取得手段は、前記可否情報を、前記蓄積手段から読み出すことにより取得する
ことを特徴とする請求項１記載の映像再生装置。
【請求項４】
前記可否情報には、前記可否情報の使用開始日時が付されており、
前記情報取得手段は、前記使用開始日時を取得し、
前記制御手段は、前記第２視点映像の再生に関し、前記使用開始日時が現在時刻を超えていない場合には、前記可否情報が表示可を示す場合であっても、前記第２視点映像の再生を抑止する
ことを特徴とする請求項１記載の映像再生装置。
【請求項５】
前記情報取得手段は、さらに、前記蓄積している第２視点映像を削除する日時を示す日時情報を取得し、
前記映像再生装置は、さらに、現在時刻が前記日時情報により示される日時に達した場合に、前記蓄積手段に蓄積されている前記第２視点映像を削除する削除手段を備える
ことを特徴とする請求項１記載の映像再生装置。
【請求項６】
前記第１視点映像を構成する一連の映像フレームそれぞれには、第１の初期時刻を基準とする表示予定時刻が付されており、
前記第２視点映像を構成する一連の映像フレームそれぞれには、前記第１の初期時刻とは異なる第２の初期時刻を基準とする表示予定時刻が付されており、
前記情報取得手段は、さらに、前記第１の初期時刻と前記第２の初期時刻との差分時刻を取得し、
前記制御手段は、前記次に表示すべき映像フレームについて前記リアルタイム再生のために予め指定されている表示予定時刻として、前記次に表示すべき映像フレームに付されている表示予定時刻に前記差分時刻を加えた時刻を用いる
ことを特徴とする請求項１記載の映像再生装置。
【請求項７】
放送波を用いてリアルタイム放送される第１視点映像と、前記第１視点映像の放送前に蓄積する第２視点映像とを組み合わせて３Ｄ映像をリアルタイム再生する映像再生装置が実行する映像再生方法であって、
前記第２視点映像を蓄積する蓄積ステップと、
前記放送波を用いて前記第１視点映像を受信する映像受信ステップと、
現在時刻が前記リアルタイム再生のために予め指定されている表示予定時刻に達していない映像フレームの表示可否を示す可否情報を取得する情報取得ステップと、
前記第２視点映像を再生する再生ステップと、
前記第２視点映像の再生において、次に表示すべき映像フレームについて、前記リアルタイム再生のために予め指定されている表示予定時刻が現在時刻を超え、かつ、前記可否情報が表示不可を示している場合には、前記第２視点映像の再生を抑止する制御ステップとを含む
ことを特徴とする映像再生方法。
【請求項８】
コンピュータを、放送波を用いてリアルタイム放送される第１視点映像と、前記第１視点映像の放送前に蓄積する第２視点映像とを組み合わせて３Ｄ映像をリアルタイム再生する映像再生装置として機能させるための映像再生プログラムであって、
前記コンピュータを、
前記第２視点映像を蓄積する蓄積手段と、
前記放送波を用いて前記第１視点映像を受信する映像受信手段と、
現在時刻が前記リアルタイム再生のために予め指定されている表示予定時刻に達していない映像フレームの表示可否を示す可否情報を取得する情報取得手段と、
前記第２視点映像を再生する再生手段と、
前記第２視点映像の再生において、次に表示すべき映像フレームについて、前記リアルタイム再生のために予め指定されている表示予定時刻が現在時刻を超え、かつ、前記可否情報が表示不可を示している場合には、前記第２視点映像の再生を抑止する制御手段として機能させる
ことを特徴とする映像再生プログラム。
【請求項９】
第１視点映像と第２視点映像とを組み合わせてリアルタイム再生される３Ｄ映像を送信する映像送信装置であって、
前記第１視点映像をリアルタイム放送するリアルタイム送信手段と、
前記第１視点映像のリアルタイム放送に先立ち、前記第２視点映像を送信する事前送信手段と、
現在時刻が予め指定されている表示予定時刻に達していない映像フレームの表示可否を示す可否情報を送信する情報送信手段とを備える
ことを特徴とする映像送信装置。
【請求項１０】
前記情報送信手段は、放送波を用いて前記可否情報を送信する
ことを特徴とする請求項９記載の映像送信装置。
【請求項１１】
前記情報送信手段は、前記可否情報に、前記可否情報の使用開始日時を付して送信する
ことを特徴とする請求項９記載の映像送信装置。
【請求項１２】
前記情報送信手段は、さらに、第２視点映像を削除する日時を指定する日時情報を送信する
ことを特徴とする請求項９記載の映像送信装置。
【請求項１３】
前記第１視点映像を構成する一連の映像フレームそれぞれには、第１の初期時刻を基準とする表示予定時刻が付されており、
前記第２視点映像を構成する一連の映像フレームそれぞれに、前記第１の初期時刻とは異なる第２の初期時刻を基準とする表示予定時刻が付されており、
前記情報送信手段は、さらに、前記第１の初期時刻と前記第２の初期時刻との差分時刻を送信する
ことを特徴とする請求項９記載の映像送信装置。
【請求項１４】
第１視点映像と第２視点映像とを組み合わせてリアルタイム再生される３Ｄ映像を送信する映像送信装置が実行する映像送信方法であって、
前記第１視点映像をリアルタイム放送するリアルタイム送信ステップと、
前記第１視点映像のリアルタイム放送に先立ち、前記第２視点映像を送信する事前送信ステップと、
現在時刻が予め指定されている表示予定時刻に達していない映像フレームの表示可否を示す可否情報を送信する情報送信ステップとを含む
ことを特徴とする映像送信方法。
【請求項１５】
コンピュータを、第１視点映像と第２視点映像とを組み合わせてリアルタイム再生される３Ｄ映像を送信する映像送信装置として機能させるための映像送信プログラムであって、
前記コンピュータを、
前記第１視点映像をリアルタイム放送するリアルタイム送信手段と、
前記第１視点映像のリアルタイム放送に先立ち、前記第２視点映像を送信する事前送信手段と、
現在時刻が予め指定されている表示予定時刻に達していない映像フレームの表示可否を示す可否情報を送信する情報送信手段として機能させる
ことを特徴とする映像送信プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３Ｄ映像を構成する左目映像と右目映像とを、放送と通信とを用いて別々に送信するハイブリッド３Ｄ放送に関する。
【背景技術】
【０００２】
近年、放送事業者などにより、放送と通信のハイブリッドサービスが検討されている。このハイブリッドサービスを提供するための技術の一例として、非特許文献１に、放送波により送られてくる放送番組と、ネットワーク経由で送られてくるコンテンツとを再生装置で受信し、同期させ、合成して提示する技術（「Ｈｙｂｒｉｄｃａｓｔ（登録商標）」）が開示されている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】松村欣司、金次保明、「ＨｙｂｒｉｄｃａｓｔTM  の概要と技術」、ＮＨＫ技研Ｒ＆Ｄ  Ｎｏ．１２４  ２０１０年
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、上述の技術を用いれば、送信装置（放送局）が、再生装置に対し、３Ｄ映像を構成する左目映像については、放送によりリアルタイムに送信し、右目映像については、ネットワーク経由などでネットワーク負荷の少ない時期を見計らって事前に送信し再生装置に蓄積させておくことも考え得る。再生装置は、リアルタイムに放送される左目映像と、蓄積された右目映像とを組み合わせて再生することで、左目映像と右目映像との双方がリアルタイム放送される場合と同様に、３Ｄ映像をリアルタイム再生できることとなる。【０００５】
しかしながら、再生装置に事前に右目映像を蓄積させると、この右目映像を用いて特殊再生（早送りや高速再生など）が行われる場合など、右目映像を構成する映像フレームのうち、リアルタイム再生のために指定されている表示予定時刻（ＰＴＳ：Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅ  Ｓｔａｍｐ）を迎えていないものについての表示（以下、「追い越し再生」という。）が可能となってしまう。【０００６】
そうすると、視聴者は、３Ｄ映像を放送波から受信してリアルタイム再生した場合には視聴できない映像を、事前に見ることが可能になってしまう。放送事業者においては、例えば、実施期間を限定したバーゲンの情報に関する映像などの、適時に放送することにより効果をあげることを期待して放送予定時刻を決定しているＣＭ（Ｃｏｍｍｅｒｃｉａｌ  Ｍｅｓｓａｓｇｅ）映像など、放送予定時刻よりも先には見せたくない映像があり、これらが視聴者に放送予定時刻より以前に見られることになると不利益を受ける。【０００７】
そこで、本発明は、係る問題に鑑みてなされたものであり、事前蓄積された映像の追い越し再生による視聴可否を適切に制御し、放送事業者等の利益を守ることができる映像再生装置及び映像送信装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために本発明に係る映像再生装置は、放送波を用いてリアルタイム放送される第１視点映像と、前記第１視点映像の放送前に蓄積する第２視点映像とを組み合わせて３Ｄ映像をリアルタイム再生する映像再生装置であって、前記第２視点映像を蓄積している蓄積手段と、前記放送波を用いて前記第１視点映像を受信する映像受信手段と、現在時刻が前記リアルタイム再生のために予め指定されている表示予定時刻に達していない映像フレームの表示可否を示す可否情報を取得する情報取得手段と、前記第２視点映像を再生する再生手段と、前記第２視点映像の再生において、次に表示すべき映像フレームについて、前記リアルタイム再生のために予め指定されている表示予定時刻が現在時刻を超え、かつ、前記可否情報が表示不可を示している場合には、前記第２視点映像の再生を抑止する制御手段とを備える。
【発明の効果】
【０００９】
上述の構成により、本発明に係る映像再生装置は、事前蓄積されており、現在時刻が前記リアルタイム再生のために予め指定されている表示予定時刻に達していない映像フレームの再生可否を可否情報を用いて適切に制御することができる。
【図面の簡単な説明】
【００１０】
【図１】２Ｄ映像とデプスマップから左目映像と右目映像の視差画像を生成する例を模式的に示す図
【図２】（ａ）３Ｄデジタルテレビの使用形態を示す図、（ｂ）３Ｄ眼鏡の左目用映像の表示時の状態を示す図、（ｃ）３Ｄ眼鏡の右目用映像の表示時の状態を示す図
【図３】ＭＰＥＧ２  ＴＳ形式のデジタルストリームの構成を示す図
【図４】ＰＭＴのデータ構造を説明する図
【図５】（ａ）ＧＯＰの一例を示す図、（ｂ）ＧＯＰの先頭に位置するＩピクチャに該当するビデオアクセスユニットの内部構成を示す図
【図６】ピクチャデータがＰＥＳパケットに変換される過程を模式的に示す図
【図７】（ａ）ＴＳパケットのデータ構造を示す図、（ｂ）ＴＳヘッダのデータ構造を示す図
【図８】視差画像について模式的に示す図
【図９】Ｓｉｄｅ−ｂｙ−Ｓｉｄｅ方式について示す図
【図１０】レフトビュービデオストリーム、ライトビュービデオストリームの内部構成の一例を示す図
【図１１】ビデオアクセスユニットの構成を示す図
【図１２】各ビデオアクセスユニットに割り当てるＰＴＳとＤＴＳの関係を示す図
【図１３】ベースビュービデオストリームとディペンデントビュービデオストリームのＧＯＰ構成を示す図
【図１４】（ａ）ディペンデントＧＯＰ先頭のアクセスユニットの構成を示す図、（ｂ）ディペンデントＧＯＰ先頭以外のアクセスユニットの構成を示す図
【図１５】本発明の一実施の形態に係る映像送受信システムの構成を示す図
【図１６】送信装置の機能構成を示すブロック図
【図１７】追い越し再生制御記述子のデータ構造を示す図
【図１８】再生装置の機能構成を示すブロック図
【図１９】映像送信処理を示すフローチャート
【図２０】映像再生処理を示すフローチャート
【図２１】蓄積映像による特殊再生処理を示すフローチャート
【図２２】変形例に係るＰＴＳ差分記述子のデータ構造を示す図
【図２３】変形例に係る３Ｄ再生限定記述子のデータ構造を示す図
【図２４】変形例に係る再生装置の機能構成を示すブロック図
【発明を実施するための形態】
【００１１】
＜１．実施の形態＞
以下、本発明に係る実施の形態について、図面を参照しながら説明する。
＜１．１．概要＞
本発明の一実施の形態に係る映像送受信システム１０００は、図１５に示すように、３Ｄ映像を送信する映像送信装置の一例としての送信装置２０と、３Ｄ映像を受信して再生する映像再生装置の一例としての再生装置３０とから構成されている。
【００１２】
送信装置２０は、３Ｄ映像を構成する第１視点映像（本実施の形態では、一例として左目映像）と第２視点映像（本実施の形態では、一例として右目映像）とのそれぞれを符号化することによりトランスポートストリーム（以下、「ＴＳ」ともいう。）を生成する。送信装置２０は、左目映像を符号化したＴＳ（以下、「左目用ＴＳ」ともいう。）については、放送波を用いてリアルタイム放送する。
【００１３】
一方、右目映像を符号化したＴＳ（以下、「右目用ＴＳ」ともいう。）については、送信装置２０は、左目用ＴＳがリアルタイム放送させるよりも前に、ネットワークを介して再生装置３０へと送信する。右目用ＴＳは、放送波により左目用ＴＳがリアルタイム放送されるよりも前に、再生装置３０によって受信され、蓄積される。
【００１４】
再生装置３０は、リアルタイム放送されている左目映像を再生するのと並行して、事前蓄積している右目映像を再生し、左目映像と右目映像とをタイミング良く再生することで３Ｄ映像を再生する（以下、「リアルタイム３Ｄ再生」という。）。
【００１５】
ここで、放送波とネットワークとを組み合わせて行われる３Ｄ映像の放送を、以下、「ハイブリッド３Ｄ放送」という。また、放送波によるリアルタイム放送に先立ち、３Ｄ映像を構成する映像（本実施の形態では、右目映像）をＩＰネットワーク経由で事前に送信し、蓄積する方式を「事前蓄積型３Ｄ放送（又は、事前ダウンロード型３Ｄ放送）」という。
【００１６】
ここで、事前蓄積型３Ｄ放送においては、事前蓄積された右目映像を用いての追い越し再生が可能となってしまう。例えば、１時間番組を構成する３Ｄ映像がリアルタイム放送される予定である場合に、放送波により左目映像が３０分しかリアルタイム放送されていないにもかかわらず、再生装置３０が、放送開始から４０分後に再生される予定である右目映像を再生してしまうような場合がこれに該当する。
【００１７】
放送事業者が放送する映像には、効果が最大限となるよう検討の上、放送時刻が決定されているＣＭ映像（一例として、期間を限定したバーゲンの情報を含むＣＭ）など、放送波をリアルタイムで視聴していては見ることができない時期に、視聴者に見られてしまうと、放送事業者の利益が損なわれてしまうものがある。一方で、追い越し再生されても問題無い映像もある。
【００１８】
本発明の一実施の形態に係る映像送受信システム１０００では、送信装置２０が再生装置３０に対し追い越し再生の可否を示す情報を送信し、再生装置３０が、この情報に従い追い越し再生の可否を判断して映像を再生することで、放送事業者の利益を守っている。
【００１９】
以下、映像送受信システム１０００について、図面を参照しながら、より詳細に説明する。
＜１．２．構成＞
以下、映像送受信システム１０００を構成する各装置について具体的に説明する。
＜１．２．１．送信装置２０＞
送信装置２０は、パーソナルコンピュータなどの情報処理装置、放送用アンテナ等により構成される。
【００２０】
送信装置２０は、機能構成としては、図１６に示すように、映像格納部２０１、ストリーム管理情報格納部２０２、字幕ストリーム格納部２０３、オーディオストリーム格納部２０４、符号化処理部２０５、第１多重化処理部２０８、第２多重化処理部２０９、第１ＴＳ格納部２１０、第２ＴＳ格納部２１１、放送部２１２及びＮＩＣ（Ｎｅｔｗｏｒｋ  Ｉｎｔｅｒｆａｃｅ  Ｃａｒｄ）２１３を含んで構成されている。
【００２１】
また、送信装置２０は、プロセッサ及びメモリを含んで構成されており、符号化処理部２０５、第１多重化処理部２０８、第２多重化処理部２０９、放送部２１２及びＮＩＣ２１３の機能は、メモリに記憶されているプログラムをプロセッサが実行することにより実現される。
＜映像格納部２０１＞
映像格納部２０１は、不揮発性の蓄積デバイスにより構成される。映像格納部２０１は、放送対象（送信対象）である３Ｄ番組を構成する左目映像及び右目映像を格納する。
＜ストリーム管理情報格納部２０２＞
ストリーム管理情報格納部２０２は、不揮発性の蓄積デバイスにより構成される。ストリーム管理情報格納部２０２は、左目映像とともに送信されるＳＩ（Ｓｅｒｖｉｃｅ  Ｉｎｆｏｒｍａｔｉｏｎ）／ＰＳＩ（Ｐｒｏｇｒａｍ  Ｓｐｅｃｉｆｉｃ  Ｉｎｆｏｒｍａｔｉｏｎ）を格納する。ＳＩ、ＰＳＩには、放送局、チャンネル（サービス）の詳細情報、及び番組詳細情報などが記載される。ＳＩ／ＰＳＩの詳細は、「社団法人  電波産業会、ＡＲＩＢ  ＳＴＤ−Ｂ１０  ４．９版、  ２０１１年３月２８日改定」（以下、「ＡＲＩＢ  ＳＴＤ−Ｂ１０」という。）などに詳細に記載されている。
【００２２】
ここで、本実施形態では、ＥＩＴ（Ｅｖｅｎｔ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｔａｂｌｅ）に含める記述子として、後述の追い越し再生制御記述子を新たに追加する。
【００２３】
なお、事前蓄積される右目映像には固有の識別子が付されているものとする。そして、放送波を用いてリアルタイム放送される左目映像に対応するＥＩＴなどに、この左目映像に対応する右目映像を示す識別子を記載しておくものとする。再生装置３０においては、この左目映像に対応するＥＩＴを参照することにより、リアルタイム放送される左目映像に対応する右目映像を特定することができるものとする。
＜字幕ストリーム格納部２０３＞
字幕ストリーム格納部２０３は、不揮発性の蓄積デバイスにより構成される。字幕ストリーム格納部２０３は、具体的には、映像に重畳して再生される字幕に係る字幕データを格納する。格納される字幕データは、字幕に対してＭＰＥＧ２などの方式を使って符号化されたものである。
＜オーディオストリーム格納部２０４＞
オーディオストリーム格納部２０４は、不揮発性の蓄積デバイスにより構成される。オーディオストリーム格納部２０４は、具体的には、リニアＰＣＭなどの方式で圧縮符号化された音声データを格納する。
＜符号化処理部２０５＞
符号化処理部２０５は、ＡＶ信号符号化ＬＳＩで構成されており、符号化処理部２０５は、第１映像符号化部２０６及び第２映像符号化部２０７を含む。
【００２４】
第１映像符号化部２０６は、映像格納部２０１に格納されている左目映像を、ＭＰＥＧ２  Ｖｉｄｅｏ方式により圧縮符号化する機能を有する。第１映像符号化部２０６は、左目映像を映像格納部２０１から読み出して、圧縮符号化し、第１多重化処理部２０８に出力する。以下、第１映像符号化部２０６により圧縮符号化された左目映像から成る映像ストリームを「左目用映像ストリーム」という。なお、映像をＭＰＥＧ２  Ｖｉｄｅｏ方式により圧縮符号化する処理については既知の技術であるので、特段の説明を要する場合を除き、説明は省略する。
【００２５】
第２映像符号化部２０７は、映像格納部２０１に格納されている右目映像を、ＭＰＥＧ２  Ｖｉｄｅｏ方式により圧縮符号化する機能を有する。第２映像符号化部２０７は、右目映像を映像格納部２０１から読み出して、圧縮符号化し、第２多重化処理部２０９に出力する。以下、第２映像符号化部２０７により圧縮符号化された右目映像から成る映像ストリームを「右目用映像ストリーム」という。
【００２６】
なお、再生装置３０において、左目映像と右目映像とを用いた３Ｄ映像の再生を可能とするため、第１映像符号化部２０６及び第２映像符号化部２０７は、連携動作し、左目映像における映像フレーム（以下、「左目映像フレーム」ともいう。）のＰＴＳと、右目映像における映像フレーム（以下、「右目映像フレーム」ともいう。）であって、この左目映像フレームと対になって３Ｄ映像を構成するもののＰＴＳとを一致させる。
＜第１多重化処理部２０８＞
第１多重化処理部２０８は、マルチプレクサＬＳＩで構成される。第１多重化処理部２０８は、ストリーム管理情報格納部２０２、字幕ストリーム格納部２０３、オーディオストリーム格納部２０４に格納されたＳＩ／ＰＳＩ、字幕データ、圧縮・符号化された音声データ、及び第１映像符号化部２０６から取得する左目用映像ストリームを、必要に応じてパケット化し、多重化することによりＭＰＥＧ２−ＴＳ形式のＴＳを生成し、生成したＴＳを第１ＴＳ格納部２１０に格納する。なお、第１多重化処理部２０８により生成されたＴＳが、上述の左目用ＴＳに相当する。
＜第２多重化処理部２０９＞
第２多重化処理部２０９は、マルチプレクサＬＳＩで構成される。第２多重化処理部２０９は、第２映像符号化部２０７で圧縮符号化された映像を、必要に応じてパケット化し、多重化することによりＭＰＥＧ２−ＴＳ形式のＴＳを生成し、生成したＴＳを第２ＴＳ格納部２１１に格納する。なお、第２多重化処理部２０９により生成されたＴＳが、上述の右目用ＴＳに相当する。
＜第１ＴＳ格納部２１０＞
第１ＴＳ格納部２１０は、不揮発性の蓄積デバイスにより構成される。第１ＴＳ格納部２１０は、第１多重化処理部２０８によって生成された左目用ＴＳを格納する。
＜第２ＴＳ格納部２１１＞
第２ＴＳ格納部２１１は、不揮発性の蓄積デバイスにより構成される。第２ＴＳ格納部２１１は、第２多重化処理部２０９によって生成された右目用ＴＳを格納する。
＜放送部２１２＞
放送部２１２は、放送波を用いてストリームを送信する送信用ＬＳＩ、放送波送出用のアンテナなどで構成されている。放送部２１２は、第１ＴＳ格納部２１０に格納された左目用ＴＳを、地上波デジタル放送などのデジタル放送波を用いてリアルタイム放送する。
＜ＮＩＣ２１３＞
ＮＩＣ２１３は、ネットワークを介し、データの送受信を行うための通信用ＬＳＩで構成されている。ＮＩＣ２１３は、右目映像の送信要求を受信する。そして、送信要求された右目映像が圧縮符号化された右目用ＴＳを第２ＴＳ格納部２１１から読み出して、要求元の装置（本実施の形態では、再生装置３０）に対し、ネットワークを介して送信する。
【００２７】
なお、右目映像には、識別用のＩＤが付されているものとする。また、送信要求には、右目映像を識別するＩＤが含められているものとする。
＜１．２．２．データ構造＞
ここで、ＥＩＴに含める新たな記述子である、可否情報の一例としての追い越し再生制御記述子について説明する。
【００２８】
図１７は、追い越し再生制御記述子のデータ構造を示す図である。
【００２９】
追い越し再生制御記述子は、追い越し再生が可能か否かを示す記述子である。
【００３０】
追い越し再生制御記述子は、ｄｅｓｃｒｉｐｔｏｒ＿ｔａｇ、ｄｅｓｃｒｉｐｔｏｒ＿ｌｅｎｇｔｈ、ｒｅｓｅｒｖｅｄ＿ｆｕｔｕｒｅ＿ｕｓｅ、ｐａｓｓｉｎｇ＿ｅｎａｂｌｅ、ｓｔａｒｔ＿ｔｉｍｅ、及びｄｅｌｅｔｅ＿ｔｉｍｅを含む。
【００３１】
ｄｅｓｃｒｉｐｔｏｒ＿ｔａｇ、ｄｅｓｃｒｉｐｔｏｒ＿ｌｅｎｇｔｈ、ｒｅｓｅｒｖｅｄ＿ｆｕｔｕｒｅ＿ｕｓｅは、他の記述子におけるものと同様である。ここで、ｓｔａｒｔ＿ｔｉｍｅ及びｄｅｌｅｔｅ＿ｔｉｍｅについては、本実施形態では用いずに変形例にて用いる。すなわち、本実施形態では、これらについては追い越し再生制御記述子に必ずしも含める必要はない。
【００３２】
ｐａｓｓｉｎｇ＿ｅｎａｂｌｅは、事前蓄積されている映像（本実施形態では、右目映像）による追い越し再生を許可するか否かを示す。値が１である場合、追い越し再生許可を示し、値が０である場合、追い越し再生不許可を示す。
【００３３】
放送事業者は、例えば、適時に放送することにより効果をあげることを期待して放送予定時刻を決定しているＣＭ映像など、放送予定時刻よりも先には見せたくない映像については、追い越し再生制御記述子のｐａｓｓｉｎｇ＿ｅｎａｂｌｅに追い越し不許可を示す０を記載し、この記述子が記載されたＥＩＴを送信する。一方、放送予定時刻よりも先に見せてもよい映像については、追い越し再生制御記述子のｐａｓｓｉｎｇ＿ｅｎａｂｌｅに追い越し許可を示す１を記載し、この記述子が記載されたＥＩＴを送信する。以上により、再生装置における追い越し再生の可否を、放送事業者が望む通りに制御することができる。
＜１．２．３．再生装置３０＞
再生装置３０は、デジタルテレビで構成されている。再生装置３０は、リアルタイム放送される左目映像を放送波により受信し、ネットワークを用いて事前に蓄積している右目映像と組み合わせて、３Ｄ映像としてリアルタイム再生するリアルタイム再生機能を有する。
【００３４】
また、再生装置３０は、蓄積している右目映像のみを用いた特殊再生を行う特殊再生機能を有する。
【００３５】
図１８は、再生装置３０の機能構成を示すブロック図である。
【００３６】
再生装置３０は、図１８に示すように、映像受信手段及び情報取得手段の一例としてのチューナ３０１、ＮＩＣ３０２、ユーザインターフェース部３０３、第１多重分離部３０４、第２多重分離部３０５、制御手段の一例としての再生制御部３０６、再生手段の一例としての再生処理部３０７、字幕復号部３０８、ＯＳＤ（Ｏｎ−Ｓｃｒｅｅｎ  Ｄｉｓｐｌａｙ）作成部３０９、音声復号部３１０、表示部３１１、蓄積手段の一例としての記録媒体３１２、及びスピーカ３１３を含んで構成される。
【００３７】
再生装置３０は、プロセッサ及びメモリを含んで構成されており、ユーザインターフェース部３０３、第１多重分離部３０４、第２多重分離部３０５、再生制御部３０６、再生処理部３０７、字幕復号部３０８、ＯＳＤ作成部３０９、音声復号部３１０、及び表示部３１１の各機能は、メモリに記憶されているプログラムをプロセッサが実行することにより実現される。
＜チューナ３０１＞
チューナ３０１は、デジタル放送波受信用のチューナで構成されている。チューナ３０１は、送信装置２０が放送するデジタル放送波を受信し、復調することにより左目用ＴＳを抽出して第１多重分離部３０４へ出力する。
＜ＮＩＣ３０２＞
ＮＩＣ３０２は、ネットワークを介してデータの送受信を行う通信用のＬＳＩで構成されている。ＮＩＣ３０２は、ネットワークに接続されており、送信装置２０により出力されるストリーム（本実施形態では、右目用ＴＳ）を受信し、記録媒体３１２に蓄積する。
＜ユーザインターフェース部３０３＞
ユーザインターフェース部３０３は、ユーザによる選局の指示や電源オフの指示をリモコン３３０から受け付ける機能を有する。
【００３８】
この機能の一例として、ユーザインターフェース部３０３は、ユーザがリモコン３３０などを用いて行うチャネル変更の指示を受け付けると、チューナ３０１が受信するチャネルを、ユーザから指示されたチャネルへと変更する。これにより、チューナ３０１は、ユーザによって指定されたチャネルの放送波を受信することとなる。
＜第１多重分離部３０４＞
第１多重分離部３０４は、デマルチプレクサＬＳＩで構成されており、ＭＰＥＧ２  ＴＳを取得して、映像ストリーム、音声ストリーム、ＰＳＩ／ＳＩ等の情報に分離する機能を有する。第１多重分離部３０４は、チューナ３０１によって抽出された左目用ＴＳを、左目用映像ストリーム、ＳＩ／ＰＳＩ、字幕ストリーム及び音声ストリームに分離し、分離した左目用映像ストリームを再生処理部３０７へ、字幕ストリームを字幕復号部３０８へ、音声ストリームを音声復号部３１０へそれぞれ出力する。また、第１多重分離部３０４は、ＳＩ中のＥＩＴに含まれる追い越し再生制御記述子を抽出し、再生制御部３０６に通知する。
＜第２多重分離部３０５＞
第２多重分離部３０５は、デマルチプレクサＬＳＩで構成されており、ＭＰＥＧ２  ＴＳを取得して、映像ストリーム、音声ストリーム、ＰＳＩ／ＳＩ等の情報に分離する機能を有する。第２多重分離部３０５は、記録媒体３１２に蓄積されている右目用ＴＳを読み出して右目用映像ストリームを分離し、分離した右目用映像ストリームを再生処理部３０７へ出力する。
＜再生制御部３０６＞
再生制御部３０６は、リアルタイム３Ｄ再生及び特殊再生の実行制御を行う再生制御機能及び事前蓄積要求機能とを有する。
【００３９】
再生制御機能に基づく映像再生処理については、後ほど図２１及び２２を用いて説明するが、ここで、特殊再生処理中における追い越し再生の可否判定について説明しておく。
【００４０】
再生制御部３０６は、特殊再生処理を行っている間、第２映像復号部３２２から、第２映像復号部３２２が次に表示しようとしている右目映像フレームそれぞれについて、ＰＴＳを取得する。第２映像復号部３２２は、右目映像フレームのＰＴＳを取得する毎に、第１映像復号部３２１の第１ＳＴＣカウンタ時刻を読み出す。そして、再生制御部３０６は、取得したＰＴＳが第１ＳＴＣカウンタ時刻を超えているか否かを判断する。
【００４１】
また、再生制御部３０６は、第１多重分離部３０４から、再生中の右目映像に対応しており、リアルタイム放送中である３Ｄ映像のＥＩＴに含まれる追い越し制御記述子を受信する。
【００４２】
そして、再生制御部３０６は、追い越し制御記述子に含まれるｐａｓｓｉｎｇ＿ｅｎａｂｌｅを抽出する。
【００４３】
再生制御部３０６は、取得したＰＴＳが第１ＳＴＣカウンタ時刻を超えており、かつｐａｓｓｉｎｇ＿ｅｎａｂｌｅが０である場合に、追い越し再生を許可しないと判断し、第２映像復号部３２２に対し、リアルタイム３Ｄ再生への変更要求を送信する。また、ｐａｓｓｉｎｇ＿ｅｎａｂｌｅが１の場合、追い越し再生を許可すると判断し、第２映像復号部３２２には、何も通知せず特殊再生の継続を許可する。なお、取得したＰＴＳが第１ＳＴＣカウンタ時刻以下の場合、何も通知せず特殊再生の継続を許可する。
【００４４】
なお、以上、左目映像がリアルタイム放送されている間における、第１ＳＴＣカウンタ時刻を参照しての追い越し再生可否判定について説明したが、左目映像がリアルタイム放送されていない期間については、第１ＳＴＣカウンタ時刻を参照しなくても追い越し再生か否か判断できる。すなわち、ＥＩＴを参照すれば、再生しようとしている右目映像に対応する左目映像が、リアルタイム放送中であるか否かの判定は可能である。そして、右目映像を再生しようとしたときがリアルタイム放送前である場合、この再生は必ず追い越し再生となる。
（２）事前蓄積要求機能
事前蓄積要求機能は、事前蓄積すべき右目映像を選出し、選出した右目映像の送信を送信装置２０に要求する機能である。
【００４５】
再生制御部３０６は、事前蓄積要求機能（図２２のＳ１０１に相当）を以下のように実現する。
【００４６】
再生制御部３０６は、放送波によりリアルタイム放送される以前に視聴予約された３Ｄ映像を構成する右目映像を選出する。
【００４７】
また、再生制御部３０６は、事前蓄積すべき右目映像をユーザの嗜好に基づき選出する。例えば、再生制御部３０６は、ユーザによる映像の視聴履歴を記録しておく。そして、その視聴履歴が、アクション映画をよく視聴していることを示す場合には、アクション映画に係る３Ｄ映像を構成する右目映像を選出する。
【００４８】
再生制御部３０６は、選出した右目映像を示すＩＤを含む送信要求を送信装置２０に対し送信する。
＜再生処理部３０７＞
再生処理部３０７は、ＡＶ信号処理ＬＳＩで実現されており、再生制御部３０６による制御に基づきリアルタイム再生機能及び特殊再生機能を実行する。
【００４９】
再生処理部３０７は、図１８に示すように、第１映像復号部３２１、第２映像復号部３２２、第１フレームバッファ３２３、第２フレームバッファ３２４、フレームバッファ切替部３２５、重畳部３２６を含んで構成される。
（ａ）第１映像復号部３２１
第１映像復号部３２１は、第１多重分離部３０４から左目用映像ストリームを取得して復号し、復号することにより得た各左目映像フレームを第１フレームバッファ３２３に出力する。
【００５０】
ここで、第１映像復号部３２１は、ＭＰＥＧ２−ＴＳを復号するのに通常用いられているシステムと同様、ＳＴＣ（Ｓｙｓｔｅｍ  Ｔｉｍｅ  Ｃｌｏｃｋ）をカウントするＳＴＣカウンタを備えている。第１映像復号部３２１は、ＳＴＣカウンタの時刻を、左目用映像ストリームに含まれるＰＣＲ（Ｐｒｏｇｒａｍ  Ｃｌｏｃｋ  Ｒｅｆｅｒｅｎｃｅ）の時刻に基づいて校正する。そして、左目映像フレームそれぞれについて指定されているＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅ  Ｓｔａｍｐ）の値が、ＳＴＣカウンタの指す時刻と一致したら、その左目映像フレームを第１フレームバッファ３２３から重畳部３２６へと転送する。なお、以下、第１映像復号部３２１が備えるＳＴＣカウンタを「第１ＳＴＣカウンタ」といい、第１ＳＴＣカウンタが指す時刻を「第１ＳＴＣカウンタ時刻」という。
【００５１】
第１映像復号部３２１が復号する左目用映像ストリームは、放送波によりリアルタイム放送されているものであるため、左目用映像ストリームに含まれるＰＣＲも現在時刻と一致するものとなる。すなわち、第１ＳＴＣカウンタ時刻は、現在時刻に一致する。
【００５２】
第１映像復号部３２１は、外部から第１ＳＴＣカウンタ時刻を読み出しできるよう構成されている。本実施形態では、第１ＳＴＣカウンタ時刻は、再生制御部３０６により読み出される。
（ｂ）第２映像復号部３２２
第２映像復号部３２２は、第２多重分離部３０５から右目用映像ストリームを取得して復号し、復号することにより得た各右目映像フレームを第２フレームバッファ３２４に出力する機能を有する。
【００５３】
第２映像復号部３２２は、ＭＰＥＧ２−ＴＳを復号するのに通常用いられているシステムと同様、ＳＴＣをカウントするＳＴＣカウンタ（以下、「第２ＳＴＣカウンタ」という。）を備えている。第２映像復号部３２２は、第２ＳＴＣカウンタの時刻を、右目用映像ストリームに含まれるＰＣＲの時刻に基づいて校正する。そして、右目映像フレームそれぞれについて指定されているＰＴＳの値が、第２ＳＴＣカウンタの指す時刻（以下、「第２ＳＴＣカウンタ時刻」ともいう。）と一致したら、その右目映像フレームを第２フレームバッファ３２４から重畳部３２６へと転送する。
【００５４】
ここで、第２映像復号部３２２は、左目映像と右目映像とを用いてリアルタイム３Ｄ再生を行う場合と、右目映像を用いて特殊再生を行う場合とでは、第２ＳＴＣカウンタの用い方が異なる。
【００５５】
（ｂ１）リアルタイム３Ｄ再生を行う場合
第２映像復号部３２２は、第１映像復号部３２１と連携動作を行う。以下、連携動作について説明する。
【００５６】
第２映像復号部３２２に入力される右目用映像ストリームは、リアルタイム放送されているものではなく蓄積されているものであるため、任意のタイミングで映像復号部３２２に入力され得る。任意のタイミングで映像復号部３２２に入力された右目用映像ストリームから、ＰＣＲを抽出し、このＰＣＲを用いて第２ＳＴＣカウンタを校正しても、第２ＳＴＣカウンタ時刻は、現在時刻を示す第１ＳＴＣカウンタ時刻とは一致しないことになる。
【００５７】
よって、３Ｄ映像を再生する場合に第１ＳＴＣカウンタ時刻と、第２ＳＴＣカウンタ時刻とを一致させるために、第２映像復号部３２２は、第１映像復号部３２１においてリアルタイム再生のため抽出されているＰＣＲ（以下、「第１ＰＣＲ」という。）を参照し、右目用映像ストリームからこの第１ＰＣＲに一致するＰＣＲ（以下、「第２ＰＣＲ」という。）を抽出して、第２ＰＣＲを有する部分から復号を開始する。
【００５８】
これにより、第１ＳＴＣカウンタ時刻と、第２ＳＴＣカウンタ時刻との同期がとれる。そして、対となる左目映像フレームと右目映像フレームとを、それぞれの有するＰＴＳに従い重畳部３２６へと転送することで、表示部３１１における３Ｄ表示が実現できる。
【００５９】
（ｂ２）特殊再生を行う場合
この場合、通常のＭＰＥＧ２システムにおいて行われているように、右目用映像ストリームから抽出したＰＣＲ、第２ＳＴＣカウンタ時刻は無視して、右目映像フレームを所定の順に復号し、表示することになる。
【００６０】
このとき、第２映像復号部３２２は、次に表示しようとしている右目映像フレームについては、その右目映像フレームについて指定されているＰＴＳを逐次、再生制御部３０６に通知するものとする。
【００６１】
この通知への応答として、再生制御部３０６からリアルタイム３Ｄ再生への変更要求を受け付けた場合には、第２映像復号部３２２は、特殊再生を停止して上述のリアルタイム３Ｄ再生に切り替える。
【００６２】
なお、特殊再生を行う場合、左目映像の表示は行わないが、第１ＳＴＣカウンタ時刻を参照する必要があるため、第１映像復号部３２１などにおいて、リアルタイム放送波から左目用映像ストリームを取得してＰＣＲを抽出し、抽出したＰＣＲを用いて第１ＳＴＣカウンタを動作させておく必要がある。
（ｃ）第１フレームバッファ３２３
第１フレームバッファ３２３は、フレームバッファで構成されている。第１フレームバッファ３２３は、第１映像復号部３２１により出力された各左目映像フレームを格納する。
（ｄ）第２フレームバッファ３２４
第２フレームバッファ３２４は、フレームバッファで構成されている。第２フレームバッファ３２４は、第２映像復号部３２２により出力された各右目映像フレームを格納する。
（ｅ）フレームバッファ切替部３２５
フレームバッファ切替部３２５は、スイッチで構成される。フレームバッファ切替部３２５は、表示部３１１に出力する映像を切り替えるために、第１フレームバッファ３２３及び第２フレームバッファ３２４の何れかが、重畳部３２６に接続されるよう切り替える接続切替機能を有する。
【００６３】
フレームバッファ切替部３２５は、接続切替機能を以下のように実現する。
【００６４】
フレームバッファ切替部３２５は、再生制御部３０６から３Ｄ再生指示、２Ｄ再生指示のいずれを受け付ける。フレームバッファ切替部３２５は、３Ｄ再生指示を受け付けた場合、重畳部３２６に、第１フレームバッファ３２３及び第２フレームバッファ３２４を交互に接続する。この場合のフレームバッファ切替部３２５による切り替え周期は、一例として１２０Ｈｚである。そうすると、重畳部３２６により、左目映像フレーム及び右目映像フレームが一例として１２０Ｈｚの切り替え周期で交互に読み出され、表示部３１１のディスプレイに表示されることになる。よって、ユーザは、３Ｄ眼鏡を用いてディスプレイの表示を見ることにより、３Ｄ映像の視聴が可能となる。
【００６５】
また、フレームバッファ切替部３２５は、２Ｄ再生指示を受け付けた場合、重畳部３２６に、第２フレームバッファ３２４を接続する。この場合、重畳部３２６により、右目映像フレームが一例として１２０Ｈｚの周期で読み出され、表示部３１１のディスプレイに表示される。よって、ユーザは、２Ｄ映像の視聴が可能となる。
（ｆ）重畳部３２６
重畳部３２６は、フレームバッファ切替部３２５を介し、特定の読み出し周期（本実施形態では、一例として１２０Ｈｚ）で、接続先のフレームバッファから映像フレームを読み出し、読み出した映像フレームに対して、必要に応じて字幕復号部３０８でデコードされた字幕データ及びＯＳＤ作成部３０９で作成された情報を重畳し、表示部３１１へと出力する。
＜字幕復号部３０８＞
字幕復号部３０８は、字幕信号処理ＬＳＩで実現されている。字幕復号部３０８は、第１多重分離部３０４から受け取った字幕データストリームをデコードして字幕を生成し、生成した字幕を再生処理部３０７へ出力する機能を有する。なお、字幕、後述のＯＳＤ及び音声に関する構成及び処理は、本発明との関連が希薄な事項なので詳細な説明は行わない。
＜ＯＳＤ作成部３０９＞
ＯＳＤ作成部３０９は、取得したＰＳＩ／ＳＩを解析処理して、ＯＳＤを生成するＯＳＤ処理ＬＳＩで構成されている。ＯＳＤ作成部３０９は、現在受信中の番組とともにチャネル番号、放送局名などを表示するためのＯＳＤを生成し、生成したＯＳＤを再生処理部３０７へ出力する機能を有する。
＜音声復号部３１０＞
音声復号部３１０は、第１多重分離部３０４から逐次受け取った音声ストリームを復号して、音声データを生成し、生成した音声データを音声としてスピーカ３１３を介して出力する機能を有する。
＜表示部３１１＞
表示部３１１は、重畳部３２６から受け取った映像フレームを、映像としてディスプレイ（図示せず）に表示する。
＜記録媒体３１２＞
記録媒体３１２は、不揮発性の蓄積デバイスにより構成される。記録媒体３１２は、ＮＩＣ３０２により受信された右目用ＴＳを格納する。
＜スピーカ３１３＞
スピーカ３１３は、スピーカで構成され、音声復号部３１０でデコードされた音声データを音声として出力する。
＜１．３．動作＞
以下、送信装置２０による映像送信処理、及び、再生装置３０による映像再生処理のそれぞれについて説明する。
＜１．３．１．送信装置２０による映像送信処理＞
以下、送信装置２０が行う映像送信処理について、図１９に示すフローチャートを用いて説明する。
【００６６】
まず、送信装置２０の第１映像符号化部２０６は、映像格納部２０１に格納されている左目映像を符号化して左目用映像ストリームを生成し、第１多重化処理部２０８に出力する（Ｓ１）。
【００６７】
次に、第２映像符号化部２０７が、映像格納部２０１に格納されている右目映像を符号化して右目用映像ストリームを生成する（Ｓ２）。
【００６８】
また、第１多重化処理部２０８が、ストリーム管理情報格納部２０２、字幕ストリーム格納部２０３、及びオーディオストリーム格納部２０４に格納された各種情報、並びに左目用映像ストリームを多重化することにより左目用ＴＳを生成し、第１ＴＳ格納部２１０に格納する（Ｓ３）。
【００６９】
また、第２多重化処理部２０９が、Ｓ１で生成された右目用映像ストリームを、多重化することにより右目用ＴＳを生成し、第２ＴＳ格納部２１１へ格納する（Ｓ４）。
【００７０】
ＮＩＣ２１３は、右目映像の送信要求を受信して、第２ＴＳ格納部２１１に格納された右目用ＴＳを、右目映像の送信要求元である装置（再生装置３０）へと事前に送信する（Ｓ５）。
【００７１】
そして、放送部２１２は、第１ＴＳ格納部２１０に格納された左目用ＴＳを、放送予定時刻が到来したときに放送波により放送する（Ｓ６）。
＜１．３．２．再生装置３０による映像再生処理＞
以下、上述の再生制御機能に基づく映像再生処理について図２０を用いて説明する。
【００７２】
まず、再生装置３０のＮＩＣ３０２は、右目用ＴＳを事前受信し、記録媒体３１２に蓄積する（Ｓ１０１）。
【００７３】
次に、再生装置３０のユーザインターフェース部３０３は、ユーザによる選局指示を受け付ける（Ｓ１０２）。チューナ３０１は、選局指示されたチャネルに係る放送波を受信して復調することにより左目用ＴＳを得る（Ｓ１０３）。
【００７４】
第１多重分離部３０４は、左目用ＴＳを多重分離し、左目用映像ストリーム、ＳＩ／ＰＳＩ、字幕データストリーム及び音声データストリームなどに分離する。そして、第１多重分離部３０４は、左目用映像ストリームを再生処理部３０７へ、字幕ストリームを字幕復号部３０８へ、音声ストリームを音声復号部３１０へ出力する。
【００７５】
次に、第２多重分離部３０５は、事前蓄積している右目用ＴＳを記録媒体３１２から読み出して、多重分離することにより右目用映像ストリームを得る（Ｓ１０５）。第２多重分離部３０５は、右目用映像ストリームを再生処理部３０７へ出力する。
【００７６】
再生処理部３０７における第１映像復号部３２１は、左目用映像ストリームを復号し、復号により得た左目映像フレームを第１フレームバッファ３２３に格納する（Ｓ１０６）。
【００７７】
第２映像復号部３２２は、右目用映像ストリームを復号し、復号により得た右目映像フレームを第２フレームバッファ３２４に格納する（Ｓ１０７）。
【００７８】
重畳部３２６は、第１フレームバッファ３２３及び第２フレームバッファ３２４から、交互に左目映像フレーム及び右目映像フレームを読み出して、表示部３１１のディスプレイに表示させる。
【００７９】
そして、再生制御部３０６は、ユーザインターフェース部３０３により、蓄積映像による特殊再生指示が取得されるのを待つ（Ｓ１０９でＮＯ）。
【００８０】
蓄積映像による特殊再生指示が取得された場合（Ｓ１０９でＹＥＳ）、蓄積映像による特殊再生処理を行う（Ｓ１１０）。
【００８１】
図２１は、図２０におけるＳ１１０の蓄積映像による特殊再生処理について示すフローチャートである。
【００８２】
まず、再生制御部３０６は、第１多重分離部３０４により得られたＳＩのうちのＥＩＴから、追い越し制御記述子を抽出し、ｐａｓｓｉｎｇ＿ｅｎａｂｌｅを読み出す（Ｓ１５１）。
【００８３】
そして、再生制御部３０６は、再生処理部３０７に対し、蓄積映像の特殊再生開始を指示する（Ｓ１５２）。
【００８４】
再生処理部３０７の第２映像復号部３２２は、蓄積映像である右目映像のうち、右目映像フレームに係る所定の表示順に従って、次に表示予定の右目映像フレーム（以下、「次表示フレーム」という。）を特定する（Ｓ１５３）。
【００８５】
そして、次表示フレームのＰＴＳを、再生制御部３０６に通知する。
【００８６】
再生制御部３０６は、第１映像復号部３２１の第１ＳＴＣカウンタ時刻を読み出して、通知されたＰＴＳが、現在時刻、すなわち第１ＳＴＣカウンタ時刻を超えているか否かを判断する（Ｓ１５４）。
【００８７】
Ｓ１５４において、超えていないと判断した場合には（Ｓ１５４でＮＯ）、第２映像復号部３２２に何も通知せず特殊再生の継続を許可する。
【００８８】
この場合、第２映像復号部３２２は、次表示フレームを復号して、第２フレームバッファ３２４に格納する。そして、重畳部３２６が、第２フレームバッファ３２４から次表示フレームを読み出して、表示部３１１のディスプレイに表示する（Ｓ１５５）。
【００８９】
そして、特殊再生停止指示を取得するまで特殊再生を継続し（Ｓ１５６でＮＯの場合、Ｓ１５３へ移行）、特殊再生停止指示を取得したときは、リアルタイム３Ｄ再生を行う（Ｓ１５６でＹＥＳの場合、Ｓ１０８へ移行）。
【００９０】
また、Ｓ１５４において、ＰＴＳが第１ＳＴＣカウンタ時刻を超えていると判断し（Ｓ１５４でＹＥＳ）、かつ、ｐａｓｓｉｎｇ＿ｅｎａｂｌｅが０の場合（Ｓ１７１でＮＯ）の場合、特殊再生を停止し、リアルタイム３Ｄ再生に戻る（Ｓ１０８）。
【００９１】
ｐａｓｓｉｎｇ＿ｅｎａｂｌｅが１の場合（Ｓ１７１でＹＥＳ）、特殊再生停止指示を取得するまで特殊再生（Ｓ１７２）を継続し（Ｓ１７３でＮＯの場合、Ｓ１５３へ移行）、特殊再生停止指示を取得したときは、リアルタイム３Ｄ再生を行う（Ｓ１７３でＹＥＳの場合、Ｓ１０８へ移行）。
＜２．変形例＞
以上、本発明に係る映像送受信システムの実施形態を説明したが、例示した映像送受信システムを以下のように変形することも可能であり、本発明が上述の実施形態で示した通りの映像送受信システムに限られないことは勿論である。
【００９２】
（１）上記実施の形態では、追い越し再生制御記述子について、有効期限を設けていなかったが、有効期限を設けることとしてもよい。これにより、追い越し再生の可否をより詳細に制御することができる。
【００９３】
図１７に示す、使用開始日時の一例としての追い越し再生制御記述子のｓｔａｒｔ＿ｔｉｍｅは、追い越し再生を許可する期間の始まりの日時を、日本標準時と修正ユリウス日で示す。追い越し再生可とする期間に始まりの日時を設けない場合には、４０ビット全てを１にする。
【００９４】
本変形例では、再生装置３０の再生制御部３０６は、追い越し制御記述子に含まれるｐａｓｓｉｎ＿ｅｎａｂｌｅを参照する際に、ｓｔａｒｔ＿ｔｉｍｅも参照する。そして、ｓｔａｒｔ＿ｔｉｍｅが現在時刻（第１ＳＴＣカウンタ時刻）を超えているか否か判断し、超えていない場合には、ｐａｓｓｉｎｇ＿ｅｎａｂｌｅの値にかかわらず追い越し再生を許可しないものと判断する。一方、ｓｔａｒｔ＿ｔｉｍｅが現在時刻（第１ＳＴＣカウンタ時刻）を超えている場合には、ｐａｓｓｉｎｇ＿ｅｎａｂｌｅの値に従い、追い越し再生の可否を判断する。
【００９５】
なお、ｓｔａｒｔ＿ｔｉｍｅは、以下のような場合に設けられることが想定される。
【００９６】
送信装置２０が、左目映像については異なる日時に繰り返しリアルタイム放送し、右目映像については一度事前に送信しておくという３Ｄ映像の送信形態が考えられる。この場合、リアルタイム放送において１度でも左目映像が放送されれば、このとき右目映像についても、いずれかの視聴者に既に視聴され、公表されたものとみなすことができる。公表されたものとみなされた後は、追い越し再生を許可しても問題が無いと考えることもできる。
【００９７】
放送事業者は、この追い越し再生を許可しても問題ないとしてよい期間の始めの日時をｓｔａｒｔ＿ｔｉｍｅとして指定できる。
【００９８】
（２）上記実施の形態では、右目映像の削除時期について言及しなかったが、一例として、以下のようなタイミングで削除することが考えられる。
【００９９】
（ａ）視聴者により右目映像が１度視聴された場合に削除する。
【０１００】
（ｂ）送信装置２０により送信される、削除する日時を示す情報に従い削除する。
【０１０１】
（ｂ）の場合、送信装置２０は、右目映像の削除日時を示す、図１７の追い越し再生記述子のｄｅｌｅｔｅ＿ｔｉｍｅのような日時情報を、放送波又はネットワーク通信により送信すればよい。
【０１０２】
ｄｅｌｅｔｅ＿ｔｉｍｅは、事前蓄積した映像（本実施の形態及び変形例では、右目映像）を削除する日時を示す。
【０１０３】
これらの場合、再生装置３０には、削除手段としての削除部（図示せず）を設ける。
【０１０４】
この削除部は、（ｂ）のような右目映像の削除日時を示す日時情報を取得し、現在日時をチェックし、現在日時が、日時情報により示される日時になったか否か判定する。
【０１０５】
日時情報により示された日時が到来した場合に、この削除部は、右目映像を削除することとなる。
【０１０６】
（３）変形例（１）で説明したような、送信装置２０が、左目映像については異なる日時に繰り返しリアルタイム放送し、右目映像については一度事前に送信しておくという３Ｄ映像の送信形態では、対になっている左目映像フレームのＰＴＳと、右目映像フレームのＰＴＳとが異なってしまうことが考えられる。例えば、左目映像における表示順が最初の左目映像フレームについて、第１回目の放送のために付されるＰＴＳ（便宜上「第１ＰＴＳ」という。）と、第２回目の放送のために付されるＰＴＳ（便宜上「第２ＰＴＳ」という。）とは、異なる時刻になる。
【０１０７】
表示順が最初の右目映像フレームは、第１回目のリアルタイム放送時に表示されるには、第１ＰＴＳで示される時刻に表示され、第２回目のリアルタイム放送時に表示されるには、第２ＰＴＳで示される時刻に表示されねばならない。
【０１０８】
そこで、右目映像を構成する各右目映像フレームについては、第１回目、第２回目の両放送に対応できるよう、０から始まるＰＴＳを付する。
【０１０９】
そして、第１回目の放送時には、右目映像フレームのＰＴＳと、第１回目に放送する左目映像フレームのＰＴＳとの差分を示す情報を、ＥＩＴなどの情報に含めてリアルタイム放送する。また、第２回目の放送時には、右目映像フレームのＰＴＳと、第２回目に放送する左目映像フレームのＰＴＳとの差分を示す情報を、ＥＩＴなどの情報に含めてリアルタイム放送する。
【０１１０】
そして、再生装置３０では、右目映像フレームを再生するときには、右目映像フレームについて指定されているＰＴＳに、上述のＰＴＳの差分を加えた時刻に、右目映像フレームを表示する。
【０１１１】
図２２は、上述のＰＴＳの差分を記述する情報の一例である、ＰＴＳ差分記述子のデータ構造を示す図である。
【０１１２】
ｐｔｓ＿ｄｉｆｆｅｒｅｎｃｅは、４０ビットのフィールドであり、リアルタイム放送される左目映像と、事前蓄積される右目映像とのＰＴＳの差分を示す。
【０１１３】
なお、右目映像を表示するための基準とするＳＴＣ（Ｓｙｓｔｅｍ  Ｔｉｍｅ  Ｃｌｏｃｋ）としては、左目映像を復号するのに用いるＳＴＣそのものを用いるか、又はこれと同じ時刻を計測するＳＴＣを別途用意して用いることになる。
【０１１４】
なお、上述の場合において、第１回目、第２回目・・・のリアルタイム放送時に最初に表示される左目映像に係る映像フレームのＰＴＳが第１の初期時刻に相当し、右目映像に係る映像フレームのうち最初に表示されるものに付されたＰＴＳ（一例として０）が第２の初期時刻に相当する。
【０１１５】
（４）上記実施の形態及び変形例では、ＥＩＴに、追い越し再生制御記述子、及びＰＴＳ差分記述子を新たに追加することとしていたが、同様の意味内容を伝達できる仕組みがあれば足りる。例えば、既存の記述子の予備ビットであるｒｅｓｅｒｖｅｄ＿ｆｕｔｕｒｅ＿ｕｓｅを、追い越し再生制御記述子、及びＰＴＳ差分記述子と同様の意味内容を持つよう変更してもよい。
【０１１６】
また、追い越し再生制御記述子及びＰＴＳ差分記述子について、必ずしも放送波で放送する必要はなく、ネットワークを介して、送信装置２０から再生装置３０へと送信することとしてもよい。
【０１１７】
（５）上記実施の形態では、右目映像は、送信装置２０から再生装置３０へとネットワークを介して送信していたが、送信さえできれば足りる。例えば、送信装置２０は、３Ｄ映像に係る左目映像をリアルタイム放送するよりも前に、右目映像を放送波を用いて送信しておくこととしてもよい。具体的には、通常の放送が行われていない深夜などの時間帯を用いたり、放送の空きチャネルを利用して送信するようなことが考えられる。
【０１１８】
これにより、既存の２Ｄ用放送設備を用いて右目映像をも送信できることとなり、ネットワークを使用する必要がなくなる。
【０１１９】
また、左目映像及び右目映像のそれぞれは、ＭＰＥＧ２−ＴＳ形式に加工され、送信装置２０から再生装置３０へと伝送することとしていたが、各映像を伝送できれば足りる。
【０１２０】
例えば、ｍｐ４（ＭＰＥＧ−４）形式など他のコンテナ形式に加工して伝送することとしてもよい。
【０１２１】
（６）上記変形例（３）で少し説明したように、送信装置２０が、左目映像については異なる日時に繰り返しリアルタイム放送し、右目映像については一度事前に送信しておくという３Ｄ映像の送信形態では、対になっている左目映像フレームのＰＴＳと、右目映像フレームのＰＴＳとが異なってしまうことが考えられる。
【０１２２】
そこで、左目映像フレームと右目映像フレームとを同期表示させるための情報として、ＰＴＳのように、そのフレームの表示予定時刻を示す情報であって、左目映像フレームと右目映像フレームとで共通の時間軸を基準として作成したタイムスタンプを、左目映像フレーム及び右目映像フレームのそれぞれについて付することとしてもよい。
【０１２３】
このタイムスタンプを参照すれば、左目映像の放送時刻に影響されることなく、容易に左目映像フレームと、これに対応する右目映像フレームとの同期表示を行うことができる。
【０１２４】
（７）上述の実施形態では、追い越し再生の可否について判断するための情報として、追い越し再生制御記述子を用いていたが、追い越し再生の可否について判断できる情報であれば足りる。例えば、３Ｄ映像に関し、３Ｄ映像としての再生のみを許可するか否かを示す情報を用いてもよい。
【０１２５】
図２３は、本変形例に係る３Ｄ再生限定記述子のデータ構造を示す図である。
【０１２６】
３Ｄ再生限定記述子は、ｄｅｓｃｒｉｐｔｏｒ＿ｔａｇ、ｄｅｓｃｒｉｐｔｏｒ＿ｌｅｎｇｔｈ、ｒｅｓｅｒｖｅｄ＿ｆｕｔｕｒｅ＿ｕｓｅ、及び３Ｄ＿ｏｎｌｙを含む。
【０１２７】
ｄｅｓｃｒｉｐｔｏｒ＿ｔａｇ、ｄｅｓｃｒｉｐｔｏｒ＿ｌｅｎｇｔｈ、ｒｅｓｅｒｖｅｄ＿ｆｕｔｕｒｅ＿ｕｓｅは、他の記述子におけるものと同様である。
【０１２８】
３Ｄ＿ｏｎｌｙは、３Ｄ映像に関し、３Ｄ映像としての再生のみを許可するか否かを示す情報であり、値が１の場合、３Ｄ再生のみ許可することを示し、値が０の場合、３Ｄ再生以外も許可することを示す。
【０１２９】
再生装置３０における再生制御部３０６は、特殊再生を行う場合、３Ｄ＿ｏｎｌｙを参照する。
【０１３０】
そして、３Ｄ＿ｏｎｌｙが１である場合、再生制御部３０６は、３Ｄ再生のみ実行するよう制御する。すなわち、この場合、再生制御部３０６は、右目映像のみの再生、特殊再生は実行しない。
【０１３１】
一方、３Ｄ＿ｏｎｌｙが０である場合、再生制御部３０６は、３Ｄ再生以外の再生であっても実行するよう制御する。すなわち、この場合には、再生制御部３０６は、右目映像のみの再生、特殊再生も実行する。
【０１３２】
なお、追い越し再生制御記述子と３Ｄ再生限定記述子との双方を用いて、より細やかな制御を行うこととしてもよい。この場合、再生制御部３０６は、３Ｄ＿ｏｎｌｙが０であり、かつｐａｓｓｉｎｇ＿ｅｎａｂｌｅが１の場合に、追い越し再生が可能であると判断することとなる。
【０１３３】
なお、３Ｄの深度(奥行き)が頻繁に変わる３Ｄ映像を視聴すると、視聴者において、３Ｄ酔いなどの悪影響が生じることがある。
【０１３４】
例えば、放送局のスタジオ内で位置がほぼ固定されているカメラで撮影されたような３Ｄ映像から成る番組であれば、３Ｄ映像内で３Ｄの深度(奥行き)が変わることが少ない。よって、このような３Ｄ映像については、高速再生を行ったとしても３Ｄ酔いなどの不快さを感じることは少ない。一方、アクション映画のようにカメラアングルが頻繁に変わり、３Ｄの深度が頻繁に変わるような３Ｄ映像については、高速再生を行うと、視聴者が３Ｄ酔いなどの不快さを感じることが多くなる。
【０１３５】
このため、例えば、上述の３Ｄ再生限定記述子を拡張し、又は別途の記述子として「３Ｄ特殊再生不可」、「３Ｄ特殊再生はしない方がよい（再生装置側で特殊再生可否を判断する）」、「３Ｄ特殊再生可」の別を示す特殊再生可否情報を入れておいてもよい。
【０１３６】
この場合に、再生装置３０では、特殊再生可否情報を受信し、これに従い特殊再生の可否を判断する。これにより、放送事業者は、３Ｄ酔いが発生し得ると考えるような映像について、再生装置に対し、特殊再生を避けるなどの指示を行うことができる。
【０１３７】
（８）上述の実施形態、変形例で示した映像送信処理、映像再生処理などを送信装置２０及び再生装置３０のプロセッサ、及びそのプロセッサに接続された各種回路に実行させるための機械語或いは高級言語のプログラムコードからなる制御プログラムを、記録媒体に記録すること、又は各種通信路等を介して流通させ頒布することもできる。このような記録媒体には、ＩＣカード、ハードディスク、光ディスク、フレキシブルディスク、ＲＯＭ、フラッシュメモリ等がある。流通、頒布された制御プログラムはプロセッサに読み出され得るメモリ等に格納されることにより利用に供され、そのプロセッサがその制御プログラムを実行することにより各実施形態で示したような各機能が実現されるようになる。なお、プロセッサは、制御プログラムを直接実行する他、コンパイルして実行或いはインタプリタにより実行してもよい。
【０１３８】
（９）上述の実施形態で示した各機能構成要素（映像格納部２０１、ストリーム管理情報格納部２０２、字幕ストリーム格納部２０３、オーディオストリーム格納部２０４、符号化処理部２０５、第１多重化処理部２０８、第２多重化処理部２０９、第１ＴＳ格納部２１０、第２ＴＳ格納部２１１、放送部２１２、ＮＩＣ２１３、チューナ３０１、ＮＩＣ３０２、ユーザインターフェース部３０３、第１多重分離部３０４、第２多重分離部３０５、再生制御部３０６、再生処理部３０７、字幕復号部３０８、ＯＳＤ作成部３０９、音声復号部３１０、表示部３１１、記録媒体３１２、及びスピーカ３１３など）は、その機能を実行する回路として実現されてもよいし、１又は複数のプロセッサによりプログラムを実行することで実現されてもよい。
【０１３９】
（１０）なお、上述の各機能構成要素は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップされてもよいし、一部又は全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。更には、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
【０１４０】
（１１）本発明は、上記に示す方法であるとしてもよい。
【０１４１】
（１２）上述の実施形態及び各変形例を、部分的に組み合せてもよい。
＜３．補足１＞
以下、更に本発明の一実施形態としてのコンテンツ再生装置の構成及びその変形例と効果について説明する。
（１）本発明の一実施形態に係る映像再生装置は、放送波を用いてリアルタイム放送される第１視点映像と、前記第１視点映像の放送前に蓄積する第２視点映像とを組み合わせて３Ｄ映像をリアルタイム再生する映像再生装置であって、前記第２視点映像を蓄積している蓄積手段と、前記放送波を用いて前記第１視点映像を受信する映像受信手段と、現在時刻が前記リアルタイム再生のために予め指定されている表示予定時刻に達していない映像フレームの表示可否を示す可否情報を取得する情報取得手段と、前記第２視点映像を再生する再生手段と、前記第２視点映像の再生において、次に表示すべき映像フレームについて、前記リアルタイム再生のために予め指定されている表示予定時刻が現在時刻を超え、かつ、前記可否情報が表示不可を示している場合には、前記第２視点映像の再生を抑止する制御手段とを備える。
【０１４２】
この構成により、事前蓄積されており、現在時刻が前記リアルタイム再生のために予め指定されている表示予定時刻に達していない映像フレームの再生可否を、可否情報を用いて適切に制御することができる。
（２）また、前記可否情報は、前記放送波を用いて送信されており、前記情報取得手段は、前記放送波を受信し、前記放送波から前記可否情報を取得することとしてもよい。
【０１４３】
この構成により、映像再生装置は、可否情報を送信する装置が、放送波を用いて可否情報を送信するものである場合に、この可否情報を取得することができる。
（３）また、前記可否情報は、前記蓄積手段に蓄積されており、前記情報取得手段は、前記可否情報を、前記蓄積手段から読み出すことにより取得することとしてもよい。
【０１４４】
この構成により、映像再生装置は、可否情報を送信する装置が、可否情報を事前に送信するものである場合に、この可否情報を取得することができる。
（４）また、前記可否情報には、前記可否情報の使用開始日時が付されており、前記情報取得手段は、前記使用開始日時を取得し、前記制御手段は、前記第２視点映像の再生に関し、前記使用開始日時が現在時刻を超えていない場合には、前記可否情報が表示可を示す場合であっても、前記第２視点映像の再生を抑止することとしてもよい。
【０１４５】
この構成により、可否情報に有効期限を設けて、より詳細に、現在時刻が前記リアルタイム再生のために予め指定されている表示予定時刻に達していない映像フレームの表示可否を制御することができる。
（５）また、前記情報取得手段は、さらに、前記蓄積している第２視点映像を削除する日時を示す日時情報を取得し、前記映像再生装置は、さらに、現在時刻が前記日時情報により示される日時に達した場合に、前記蓄積手段に蓄積されている前記第２視点映像を削除する削除手段を備えることとしてもよい。
【０１４６】
この構成により、第２視点映像が蓄積されたままになり、蓄積手段の記録容量を圧迫するのを防ぐことができる。
（６）また、前記第１視点映像を構成する一連の映像フレームそれぞれには、第１の初期時刻を基準とする表示予定時刻が付されており、前記第２視点映像を構成する一連の映像フレームそれぞれには、前記第１の初期時刻とは異なる第２の初期時刻を基準とする表示予定時刻が付されており、前記情報取得手段は、さらに、前記第１の初期時刻と前記第２の初期時刻との差分時刻を取得し、前記制御手段は、前記次に表示すべき映像フレームについて前記リアルタイム再生のために予め指定されている表示予定時刻として、前記次に表示すべき映像フレームに付されている表示予定時刻に前記差分時刻を加えた時刻を用いることとしてもよい。
【０１４７】
この構成により、第２視点映像を、複数のうちのいずれの第１視点映像と組み合わせる場合であっても、第１及び第２視点映像において対応する映像フレーム同士を同期して表示させることができる。
（７）本発明の一実施形態に係る映像再生方法は、放送波を用いてリアルタイム放送される第１視点映像と、前記第１視点映像の放送前に蓄積する第２視点映像とを組み合わせて３Ｄ映像をリアルタイム再生する映像再生装置が実行する映像再生方法であって、前記第２視点映像を蓄積する蓄積ステップと、前記放送波を用いて前記第１視点映像を受信する映像受信ステップと、現在時刻が前記リアルタイム再生のために予め指定されている表示予定時刻に達していない映像フレームの表示可否を示す可否情報を取得する情報取得ステップと、前記第２視点映像を再生する再生ステップと、前記第２視点映像の再生において、次に表示すべき映像フレームについて、前記リアルタイム再生のために予め指定されている表示予定時刻が現在時刻を超え、かつ、前記可否情報が表示不可を示している場合には、前記第２視点映像の再生を抑止する制御ステップとを含む。
【０１４８】
本発明の一実施形態に係る映像再生プログラムは、コンピュータを、放送波を用いてリアルタイム放送される第１視点映像と、前記第１視点映像の放送前に蓄積する第２視点映像とを組み合わせて３Ｄ映像をリアルタイム再生する映像再生装置として機能させるための映像再生プログラムであって、前記コンピュータを、前記第２視点映像を蓄積する蓄積手段と、前記放送波を用いて前記第１視点映像を受信する映像受信手段と、現在時刻が前記リアルタイム再生のために予め指定されている表示予定時刻に達していない映像フレームの表示可否を示す可否情報を取得する情報取得手段と、前記第２視点映像を再生する再生手段と、前記第２視点映像の再生において、次に表示すべき映像フレームについて、前記リアルタイム再生のために予め指定されている表示予定時刻が現在時刻を超え、かつ、前記可否情報が表示不可を示している場合には、前記第２視点映像の再生を抑止する制御手段として機能させる。
【０１４９】
この構成により、事前蓄積されており、現在時刻が前記リアルタイム再生のために予め指定されている表示予定時刻に達していない映像フレームの再生可否を、可否情報を用いて適切に制御することができる。
（８）本発明の一実施形態に係る映像送信装置は、第１視点映像と第２視点映像とを組み合わせてリアルタイム再生される３Ｄ映像を送信する映像送信装置であって、前記第１視点映像をリアルタイム放送するリアルタイム送信手段と、前記第１視点映像のリアルタイム放送に先立ち、前記第２視点映像を送信する事前送信手段と、現在時刻が予め指定されている表示予定時刻に達していない映像フレームの表示可否を示す可否情報を送信する情報送信手段とを備える。
【０１５０】
この構成により、３Ｄ映像を再生する映像再生装置における、事前蓄積され、現在時刻が前記リアルタイム再生のために予め指定されている表示予定時刻に達していない映像フレームの再生可否を、可否情報を用いて映像送信装置から適切に制御することができる。
（９）また、前記情報送信手段は、放送波を用いて前記可否情報を送信することとしてもよい。
【０１５１】
この構成により、放送波から可否情報を取得する映像再生装置に対し、可否情報を送信することができる。
（１０）また、前記情報送信手段は、前記可否情報に、前記可否情報の使用開始日時を付して送信することとしてもよい。
【０１５２】
この構成により、可否情報に有効期限を設けて、映像再生装置に、より詳細に、現在時刻が前記リアルタイム再生のために予め指定されている表示予定時刻に達していない映像フレームの表示可否の制御をさせることができる。
（１１）また、前記情報送信手段は、さらに、第２視点映像を削除する日時を指定する日時情報を送信することとしてもよい。
【０１５３】
この構成により、映像再生装置において、第２視点映像が蓄積されたままになり、映像再生装置が備える蓄積手段の記録容量を圧迫するのを防ぐよう制御することができる。
（１２）また、前記第１視点映像を構成する一連の映像フレームそれぞれには、第１の初期時刻を基準とする表示予定時刻が付されており、前記第２視点映像を構成する一連の映像フレームそれぞれに、前記第１の初期時刻とは異なる第２の初期時刻を基準とする表示予定時刻が付されており、前記情報送信手段は、さらに、前記第１の初期時刻と前記第２の初期時刻との差分時刻を送信することとしてもよい。
【０１５４】
この構成により、映像再生装置において、第２視点映像を、複数のうちのいずれの第１視点映像と組み合わせる場合にも、第１及び第２視点映像において対応する映像フレーム同士を同期させて表示させることができる。
（１３）本発明の一実施形態に係る映像送信方法は、第１視点映像と第２視点映像とを組み合わせてリアルタイム再生される３Ｄ映像を送信する映像送信装置が実行する映像送信方法であって、前記第１視点映像をリアルタイム放送するリアルタイム送信ステップと、前記第１視点映像のリアルタイム放送に先立ち、前記第２視点映像を送信する事前送信ステップと、現在時刻が予め指定されている表示予定時刻に達していない映像フレームの表示可否を示す可否情報を送信する情報送信ステップとを含む。
【０１５５】
本発明の一実施形態に係る映像送信プログラムは、コンピュータを、第１視点映像と第２視点映像とを組み合わせてリアルタイム再生される３Ｄ映像を送信する映像送信装置として機能させるための映像送信プログラムであって、前記コンピュータを、前記第１視点映像をリアルタイム放送するリアルタイム送信手段と、前記第１視点映像のリアルタイム放送に先立ち、前記第２視点映像を送信する事前送信手段と、現在時刻が予め指定されている表示予定時刻に達していない映像フレームの表示可否を示す可否情報を送信する情報送信手段として機能させる。
【０１５６】
この構成により、３Ｄ映像を再生する映像再生装置における、事前蓄積され、現在時刻が前記リアルタイム再生のために予め指定されている表示予定時刻に達していない映像フレームの再生可否を、可否情報を用いて映像送信装置から適切に制御することができる。
＜４．補足２＞
以下、上述の実施形態についての補足説明を行う。
【０１５７】
＜立体視の原理＞
以下、立体視の原理について簡単に述べる。立体視の実現法としては、ホログラフィ技術等を用いる光線再生方式と、視差画像を用いる方式とがある。
【０１５８】
まず、１つ目のホログラフィ技術を用いる方式の特徴としては、人間が通常物体を認識するのと全く同じように物体を立体として再現することができるが、動画生成に関しては、技術的な理論は確立しているが、ホログラフィ用の動画をリアルタイムで生成する膨大な演算量を伴うコンピュータ、及び１ｍｍの間に数千本の線を引けるだけの解像度を持った表示装置が必要であるが、現在の技術での実現は非常に難しく、商用として実用化されている例はほとんどない。
【０１５９】
次に、２つ目の視差画像を用いる方式について説明する。一般に右目と、左目は、その位置の差に起因して、右目から見える像と左目から見える像には見え方に若干の差がある。この差を利用して人間は目に見える像を立体として認識できるのである。視差画像を用いて立体表示をする場合には、人間の視差を利用し平面の画像があたかも立体に見えるようにしている。
【０１６０】
この方式のメリットは、高々右目用と左目用の２つの視点の映像を準備するだけで立体視を実現できることにあり、技術的には、左右のそれぞれの目に対応した絵を、いかにして対応した目にだけ見せることができるかの観点から、継時分離方式を始めとするいくつかの技術が実用化されている。
【０１６１】
継時分離方式とは、左目用映像及び右目用映像を時間軸方向で交互に表示させ、目の残像反応により左右のシーンを脳内で重ね合わさせて、立体映像として認識させる方法である。
【０１６２】
また、視差画像を用いた立体視においては、右目に入る映像と左目に入る映像をそれぞれ用意する方式の他に、２Ｄ映像に対して画素単位で奥行き値が与えられたデプスマップを別途用意して、２Ｄ映像とデプスマップに基づいて左目映像と右目映像の視差画像をプレーヤやディスプレイで生成する方法がある。
【０１６３】
図１は、２Ｄ映像とデプスマップから左目映像と右目映像の視差画像を生成する例を模式的に示している。デプスマップは２Ｄ映像内のそれぞれの画素に対応して奥行き値をもっており、図１の例では、２Ｄ映像の円形の物体は、デプスマップでは奥行きが高いことを示す情報が割り当てられ、それ以外の領域は奥行きが低いことを示す情報が割り当てられている。この情報は、画素ごとのビット列で格納しても良いし、画像イメージ（例えば「黒」を奥行きが低いことを示し、「白」を奥行きが高いことを示す画像イメージ）として格納しても良い。視差画像は、デプスマップの奥行き値から、２Ｄ映像の視差量を調整することによって作成することができる。図１の例では、２Ｄ映像内の円形の物体の奥行き値は高いため、視差画像を作成するときには、円形の物体の画素の視差量を大きくし、円形物体以外の領域は、奥行き値が低いため、円形の物体の画素の視差量を小さくして、左目映像、右目映像を作成する。この左目映像と右目映像を、継時分離方式等を使って表示すれば立体視が可能となる。
【０１６４】
以上が立体視の原理についての説明である。
【０１６５】
＜再生装置３０の使用形態＞
以下、再生装置３０の使用形態について説明する。
【０１６６】
本実施形態における再生装置３０は、例えば２Ｄ映像及び３Ｄ映像の視聴が可能な３Ｄデジタルテレビである。
【０１６７】
図２（ａ）は、再生装置（３Ｄデジタルテレビ）３０の使用形態を示す図である。本図に示すように、再生装置３０は、ユーザが着用する３Ｄ眼鏡１０と共に用いられ、３Ｄ眼鏡１０と連携動作する。
【０１６８】
３Ｄ眼鏡１０は、液晶シャッターを備え、継時分離方式による視差画像をユーザに視聴させる。視差画像とは、右目に入る映像と、左目に入る映像とから構成される一組の映像であり、それぞれの目に対応したピクチャだけがユーザの目に入るようにして立体視を行わせる。
【０１６９】
図２（ｂ）は、左目用映像の表示時（レフトビュー映像視聴時）の状態を模式的に示す。画面上に左目用の映像が表示されている瞬間において、３Ｄ眼鏡１０は、左目に対応する液晶シャッターを透過にし、右目に対応する液晶シャッターは遮光する。
【０１７０】
図２（ｃ）は、右目用映像の表示時を示す。画面上に右目用の映像が表示されている瞬間において、先ほどと逆に右目に対応する液晶シャッターを透光にし、左目に対応する液晶シャッターを遮光する。
【０１７１】
また、再生装置３０において、３Ｄ映像を表示するための、継時分離方式とは別の方法としては、一画面中の縦方向に左目用のピクチャと右目用のピクチャを同時に交互に並べ、ディスプレイ表面にレンチキュラーレンズと呼ばれる蒲鉾上のレンズを通して、左目用のピクチャを構成する画素は左目だけに結像し、右目用のピクチャを構成する画素は右目だけに結像するようにすることで、左右の目に視差のあるピクチャを見せ、３Ｄとしてみることができる方式がある。なお、レンチキュラーレンズに代えて、同様の機能を持たせたデバイス、例えば液晶素子を用いてもよい。
【０１７２】
また左目用の画素には縦偏光のフィルタ、右目用の画素には横偏光のフィルタを設置し、視聴者は、左目用には縦偏光、右目用には横偏光のフィルタを設置した偏光メガネを用いてディスプレイを見ることによって立体視を可能とする方式を用いてもよい。
【０１７３】
視差画像を用いた立体視のための方法としては、上記の他にも２色分離方式などさまざまな技術が提案されており、本実施の例においては、継時分離方式を例として用いて説明するが、視差画像を用いる限りこの方式に限定するものではない。
【０１７４】
以上が、再生装置３０の使用形態についての説明である。
＜ストリームの構造＞
次に、デジタルテレビの放送波等で伝送される一般的なストリームの構造について説明する。
【０１７５】
デジタルテレビの放送波等での伝送では、ＭＰＥＧ２  ＴＳ形式のデジタルストリームが使われている。ＭＰＥＧ２  ＴＳとは、ビデオやオーディオなど様々なストリームを多重化して伝送するための規格であり、ＩＳＯ／ＩＥＣ１３８１８−１およびＩＴＵ−Ｔ勧告Ｈ２２２．０において標準化されている。
【０１７６】
図３は、ＭＰＥＧ２  ＴＳ形式のデジタルストリームの構成を示す図である。本図に示すようにＴＳは、ビデオストリーム、オーディオストリーム、字幕ストリーム及びストリーム管理情報などを多重化することで得られる。ビデオストリームは番組の主映像を、オーディオストリームは番組の主音声部分や副音声を、字幕ストリームは番組の字幕情報を格納している。ビデオストリームは、ＭＰＥＧ２、ＭＰＥＧ４  ＡＶＣなどの方式を使って符号化されている。オーディオストリームは、ドルビーＡＣ−３、ＭＰＥＧ２  ＡＡＣ、ＭＰＥＧ４  ＡＡＣ、ＨＥ−ＡＡＣなどの方式で圧縮・符号化されている。
【０１７７】
ビデオストリームは、図３に示すように、先ずビデオフレーム列３１がＰＥＳパケット列３２に変換され、その後ＴＳパケット列３３に変換されることで得られる。
【０１７８】
オーディオストリームは、図３に示すように、オーディオ信号が量子化・サンプリングを経てオーディオフレーム列３４に変換され、その後オーディオフレーム列３４がＰＥＳパケット列３５に変換され、そしてＴＳパケット列３６に変換されることで得られる。
【０１７９】
字幕ストリームは、図３に示すように、Ｐａｇｅ  Ｃｏｍｐｏｓｉｔｉｏｎ  Ｓｅｇｍｅｎｔ（ＰＣＳ）、Ｒｅｇｉｏｎ  Ｃｏｍｐｏｓｉｔｉｏｎ  Ｓｅｇｍｅｎｔ（ＲＣＳ）、Ｐａｌｌｅｔ  Ｄｅｆｉｎｅ  Ｓｅｇｍｅｎｔ（ＰＤＳ）、Ｏｂｊｅｃｔ  Ｄｅｆｉｎｅ  Ｓｅｇｍｅｎｔ（ＯＤＳ）といった複数種別からなる機能セグメント列３８を、ＴＳパケット列３９に変換されることで得られる。
＜ストリーム管理情報＞
ストリーム管理情報は、ＰＳＩと呼ばれるシステムパケットに格納され、トランスポートストリームに多重化されているビデオストリーム、オーディオストリーム、字幕ストリームを１つの放送番組として管理する情報のことである。ストリーム管理情報には、図４に示すように、ＰＡＴ（Ｐｒｏｇｒａｍ  Ａｓｓｏｃｉａｔｉｏｎ  Ｔａｂｌｅ）、ＰＭＴ（Ｐｒｏｇｒａｍ  Ｍａｐ  Ｔａｂｌｅ）、イベント情報テーブルＥＩＴ及びサービス情報テーブルＳＩＴ（Ｓｅｒｖｉｃｅ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｔａｂｌｅ）といった情報から構成されている。
【０１８０】
ＰＡＴはトランスポートストリーム中に利用されるＰＭＴのＰＩＤが何であるかを示し、ＰＡＴ自身のＰＩＤ配列で登録される。ＰＭＴは、トランスポートストリーム中に含まれる映像・音声・字幕などの各ストリームのＰＩＤと各ＰＩＤに対応するストリームの属性情報を持ち、またトランスポートストリームに関する各種ディスクリプタを持つ。ディスクリプタにはＡＶストリームのコピーを許可・不許可を指示するコピーコントロール情報などがある。ＳＩＴは、ＭＰＥＧ２  ＴＳ標準でユーザが定義可能な領域を用いて各放送波の標準に従って定義した情報である。ＥＩＴは、番組の名称や放送日時、放送内容など番組に関連する情報を持つ。上述の情報の具体的なフォーマットについては、ＡＲＩＢ（Ａｓｓｏｃｉａｔｉｏｎ  ｏｆ  Ｒａｄｉｏ  Ｉｎｄｕｓｔｒｉｅｓ  ａｎｄ  Ｂｕｓｉｎｅｓｓｅｓ）に公開されている、ｈｔｔｐ：ｗｗｗ．ａｒｉｂ．ｏｒ．ｊｐ／ｅｎｇｌｉｓｈ／ｈｔｍｌ／ｏｖｅｒｖｉｅｗ／ｄｏｃ／４−ＴＲ−Ｂ１４ｖ４＿４−２ｐ３．ｐｄｆに記載されている。
【０１８１】
図４は、ＰＭＴのデータ構造を詳しく説明する図である。ＰＭＴ５０の先頭には、そのＰＭＴに含まれるデータの長さなどを記したＰＭＴヘッダ５１が配置される。その後ろには、トランスポートストリームに関する複数のディスクリプタ５２、・・・、５３が配置される。ディスクリプタ５２、・・・、５３には、前述したコピーコントロール情報などが記載される。ディスクリプタ５２、・・・、５３の後には、トランスポートストリームに含まれる各ストリームに関する複数のストリーム情報５４、・・・、５５が配置される。各ストリーム情報は、ストリームの圧縮コーデックなどを識別するためストリームタイプ５６、ストリームのＰＩＤ５７、ストリームの属性情報（フレームレート、アスペクト比など）が記載されたストリームディスクリプタ５８、・・・、５９から構成される。
＜ビデオストリーム＞
上記実施形態の符号化方式で生成されるビデオストリームは、ＭＰＥＧ２、ＭＰＥＧ４  ＡＶＣ、ＳＭＰＴＥ  ＶＣ−１などの動画圧縮符号化方式による圧縮符号化がなされたものである。これらの圧縮符号化方式においては、動画像の空間方向および時間方向の冗長性を利用してデータ量の圧縮を行う。時間方向の冗長性を利用する方法として、ピクチャ間予測符号化が用いられる。ピクチャ間予測符号化では、あるピクチャを符号化する際に、表示時間順で前方または後方にあるピクチャを参照ピクチャとする。そして、その参照ピクチャからの動き量を検出し、動き補償を行ったピクチャと符号化対象のピクチャとの差分値に対して空間方向の冗長度を取り除くことによりデータ量の圧縮を行う。
【０１８２】
上述したような各符号化方式のビデオストリームは、図５（ａ）に示すようなＧＯＰ構造を有する点で共通している。ビデオストリームは、複数のＧＯＰ（Ｇｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅｓ）から構成されており、ＧＯＰを符号化処理の基本単位とすることで動画像の編集やランダムアクセスが可能となっている。ＧＯＰは１つ以上のビデオアクセスユニットにより構成されている。
＜ＧＯＰ＞
図５（ａ）は、ＧＯＰの一例を示す。図５（ａ）に示すように、ＧＯＰは、Ｉピクチャ、Ｐピクチャ、Ｂピクチャ、Ｂｒピクチャといった複数種別のピクチャデータから構成される。
【０１８３】
ＧＯＰ構造における個々のピクチャデータのうち、参照ピクチャを持たずに符号化対象ピクチャのみを用いてピクチャ内予測符号化を行うピクチャをＩｎｔｒａ（Ｉ）ピクチャと呼ぶ。ピクチャとは、フレームおよびフィールドの両者を包含する１つの符号化の単位である。また、既に処理済の１枚のピクチャを参照してピクチャ間予測符号化するピクチャをＰピクチャと呼び、既に処理済みの２枚のピクチャを同時に参照してピクチャ間予測符号化するピクチャをＢピクチャと呼び、Ｂピクチャの中で他のピクチャから参照されるピクチャをＢｒピクチャと呼ぶ。また、フレーム構造の場合のフレーム、フィールド構造の場合のフィールドを、ビデオアクセスユニットと呼ぶ。
【０１８４】
ビデオアクセスユニットは、ピクチャの符号化データを格納する単位であり、フレーム構造の場合は１フレーム、フィールド構造の場合は１フィールドのデータが格納される。ＧＯＰの先頭は、Ｉピクチャとなる。ＭＰＥＧ４  ＡＶＣ、ＭＰＥＧ２の双方について説明を行うとすると説明が冗長になるので、以降の説明では、特に断らない限り、ビデオストリームの圧縮符号化形式はＭＰＥＧ４  ＡＶＣであるとの前提で説明を進める。
【０１８５】
図５（ｂ）は、ＧＯＰの先頭に位置するＩピクチャデータに該当するビデオアクセスユニットの内部構成を示す。ＧＯＰ先頭にあたるビデオアクセスユニットは、複数のネットワーク抽象化レイヤ（ＮＡＬ）ユニットから構成される。ＧＯＰの先頭にあたるビデオアクセスユニットは、図５（ｂ）に示すように、ＡＵ識別コード６１、シーケンスヘッダ６２、ピクチャヘッダ６３、補足データ６４、圧縮ピクチャデータ６５及びパディングデータ６６を含むＮＡＬユニットで構成される。
【０１８６】
ＡＵ識別コード６１は、ビデオアクセスユニットの先頭を示す開始符号である。シーケンスヘッダ６２は、複数ビデオアクセスユニットから構成される再生シーケンスでの共通の情報を格納している。共通の情報としては、解像度、フレームレート、アスペクト比、ビットレートなどがある。ピクチャヘッダ６３は、ピクチャ全体の符号化の方式などの情報を格納している。補足データ６４は、圧縮データの復号化に必須ではない付加データであり、例えば、映像と同期してＴＶに表示するクローズドキャプションの文字情報やＧＯＰ構造情報などを格納している。圧縮ピクチャデータ６５には、圧縮符号化されたピクチャのデータが格納される。パディングデータ６６には、形式を整えるための意味のないデータが格納される。例えば、決められたビットレートを保つためのスタッフィングデータとして用いる。
【０１８７】
ＡＵ識別コード６１、シーケンスヘッダ６２、ピクチャヘッダ６３、補足データ６４、圧縮ピクチャデータ６５、パディングデータ６６の中身の構成は、ビデオの符号化方式によって異なる。
【０１８８】
例えば、ＭＰＥＧ４  ＡＶＣの場合であれば、ＡＵ識別コード６１はＡＵデリミタ（Ａｃｃｅｓｓ  Ｕｎｉｔ  Ｄｅｌｉｍｉｔｅｒ）に、シーケンスヘッダ６２はＳＰＳ（Ｓｅｑｕｅｎｃｅ  Ｐａｒａｍｅｔｅｒ  Ｓｅｔ）に、ピクチャヘッダ６３はＰＰＳ（Ｐｉｃｔｕｒｅ  Ｐａｒａｍｅｔｅｒ  Ｓｅｔ）に、補足データ６４はＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ  Ｅｎｈａｎｃｅｍｅｎｔ  Ｉｎｆｏｒｍａｔｉｏｎ）に、圧縮ピクチャデータ６５は複数個のスライス（ｓｌｉｃｅ）に、パディングデータ６６はＦｉｌｌｅｒＤａｔａに対応する。
【０１８９】
例えば、ＭＰＥＧ２の場合であれば、シーケンスヘッダ６２はｓｅｑｕｅｎｃｅ＿Ｈｅａｄｅｒ、ｓｅｑｕｅｎｃｅ＿ｅｘｔｅｎｓｉｏｎ、ｇｒｏｕｐ＿ｏｆ＿ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒに、ピクチャヘッダ６３はｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ、ｐｉｃｔｕｒｅ＿ｃｏｄｉｎｇ＿ｅｘｔｅｎｓｉｏｎに、補足データ６４はｕｓｅｒ＿ｄａｔａに、圧縮ピクチャデータ６５は複数個のスライスに対応する。ＡＵ識別コード６１は存在しないが、それぞれのヘッダのスタートコードを使えば、ビデオアクセスユニットの切れ目を判断できる。トランスポートストリームに含まれる各ストリームはＰＩＤと呼ばれるストリーム識別ＩＤによって識別される。このＰＩＤのパケットを抽出することでデコーダは、対象のストリームを抽出することができる。ＰＩＤとストリームの対応は以降で説明するＰＭＴパケットのディスクリプタに格納される。
＜ＰＥＳ＞
図６は、個々のピクチャデータがＰＥＳパケットに変換される過程を示す図である。
【０１９０】
個々のピクチャデータは、図６に示す変換過程を経て、ＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ  Ｅｌｅｍｅｎｔａｒｙ  Ｓｔｒｅａｍ）パケットのペイロードに配置される。
【０１９１】
図６における第１段目はビデオストリームのビデオフレーム列７０を示す。第２段目は、ＰＥＳパケット列７１を示す。図６の矢印ｙｙ１、ｙｙ２、ｙｙ３、ｙｙ４に示すように、ビデオストリームにおける複数のＶｉｄｅｏ  Ｐｒｅｓｅｎｔａｔｉｏｎ  ＵｎｉｔであるＩピクチャ、Ｂピクチャ、Ｐピクチャは、ピクチャ毎に分割され、ＰＥＳパケットのペイロードに格納される。各ＰＥＳバケットはＰＥＳヘッダを持ち、ＰＥＳヘッダには、ピクチャの表示時刻であるＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅ−Ｓｔａｍｐ）やピクチャの復号化時刻であるＤＴＳ（Ｄｅｃｏｄｉｎｇ  Ｔｉｍｅ−Ｓｔａｍｐ）が格納される。
【０１９２】
個々のピクチャデータを変換することで得られたＰＥＳパケットは複数に分割され、個々の分割部分は、ＴＳパケットのペイロードに配置される。
＜ＴＳパケット＞
図７（ａ）は、トランスポートストリームを構成するＴＳパケット８１ａ、８１ｂ、８１ｃ、８１ｄのデータ構造を示している。ＴＳパケット８１ａ、８１ｂ、８１ｃ、８１ｄのデータ構造は同一であるので、ＴＳパケット８１ａのデータ構造について説明する。ＴＳパケット８１ａは、４ＢｙｔｅのＴＳヘッダ８２と、アダプテーションフィールド８３と、ＴＳペイロード８４から構成される、１８８Ｂｙｔｅ固定長のパケットである。ＴＳヘッダ８２は、図７（ｂ）に示すように、ｔｒａｎｓｐｏｒｔ−ｐｒｉｏｒｉｔｙ８５、ＰＩＤ８６、ａｄａｐｔａｔｉｏｎ＿ｆｉｅｌｄ＿ｃｏｎｔｒｏｌ８７などから構成される。
【０１９３】
ＰＩＤ８６は、前述したとおりトランスポートストリームに多重化されているストリームを識別するためのＩＤである。
【０１９４】
ｔｒａｎｓｐｏｒｔ＿ｐｒｉｏｒｉｔｙ８５は、同一ＰＩＤのＴＳパケットの中のパケットの種別を識別するための情報である。
【０１９５】
また、以上の各部は、全て具備する必要があるわけではなく、アダプテーションフィールドとＴＳペイロードはどちらかだけが存在する場合と両方が存在する場合がある。ここで、ａｄａｐｔａｔｉｏｎ＿ｆｉｅｌｄ＿ｃｏｎｔｒｏｌ８７は、アダプテーションフィールド８３とＴＳペイロード８４が存在するかを示すものである。ａｄａｐｔａｔｉｏｎ＿ｆｉｅｌｄ＿ｃｏｎｔｒｏｌ８７が示す値が１の場合はＴＳペイロード８４のみが存在し、ａｄａｐｔａｔｉｏｎ＿ｆｉｅｌｄ＿ｃｏｎｔｒｏｌ８７が示す値が２の場合はアダプテーションフィールド８３のみが存在し、ａｄａｐｔａｔｉｏｎ＿ｆｉｅｌｄ＿ｃｏｎｔｒｏｌ８７が示す値が３の場合はＴＳペイロード８４とアダプテーションフィールド８３の両方が存在することを示す。
【０１９６】
アダプテーションフィールド８３は、ＰＣＲなどの情報や、ＴＳパケットを１８８バイト固定長にするためにスタッフィングするデータの格納領域である。ＴＳペイロード８４にはＰＥＳパケットが分割されて格納される。
【０１９７】
以上のように、個々のピクチャデータは、ＰＥＳパケット化、ＴＳパケット化の過程を経てトランスポートストリームにされており、また、ピクチャデータを構成する個々のパラメータは、ＮＡＬユニットに変換されていることがわかる。
【０１９８】
また、トランスポートストリームに含まれるＴＳパケットには、映像・音声・字幕などの各ストリーム以外にもＰＡＴ、ＰＭＴ、ＰＣＲ（Ｐｒｏｇｒａｍ  Ｃｌｏｃｋ  Ｒｅｆｅｒｅｎｃｅ）などがある。これらのパケットが上述したＰＳＩと呼ばれている。このとき、ＰＡＴが含まれるＴＳパケットのＰＩＤは０である。ＰＣＲは、ＴＳパケットのデコーダへの到着時刻とＰＴＳ・ＤＴＳの時間軸であるＳＴＣ（Ｓｙｓｔｅｍ  Ｔｉｍｅ  Ｃｌｏｃｋ）の同期を取るために、そのＰＣＲパケットがデコーダに転送されるタイミングに対応するＳＴＣ時間の情報を持つ。
【０１９９】
以上がデジタルテレビの放送波等で伝送される一般的なストリーム構造の説明である。
＜視差画像＞
次に、立体視に使う視差画像を実現するための一般的な映像フォーマットについて説明する。
【０２００】
視差画像を使った立体視の方式では、右目に入る映像と、左目に入る映像とを各々用意し、それぞれの目に対応したピクチャだけが入るようにして立体視を行う。
【０２０１】
図８では、左側にユーザの顔を描き、右側に、対象物たる恐竜の骨格を左目から見た場合の例と、対象物たる恐竜の骨格を右目から見た場合の例とを描いている。
【０２０２】
右目及び左目の透光、遮光が繰り返されると、ユーザの脳内では、目の残像反応により左右のシーンの重合せがなされ、顔の中央の延長線上に立体映像が存在すると認識する。
【０２０３】
視差画像のうち、左目に入る画像を左目画像(Ｌ画像)といい、右目に入る画像を右目画像(Ｒ画像)という。そして、各々のピクチャが、Ｌ画像になっている動画像をレフトビュービデオ（左目映像）といい、各々のピクチャがＲ画像になっている動画像をライトビュービデオ（右目映像）という。
【０２０４】
レフトビュービデオとライトビュービデオを合成して圧縮符号化する３Ｄの映像方式には、フレーム互換方式とマルチビュー符号化方式がある。
＜フレーム互換方式＞
まず１つ目のフレーム互換方式は、レフトビュービデオとライトビュービデオの対応する各ピクチャをそれぞれ間引きまたは縮小した上で一つのピクチャに合成して、通常の動画像圧縮符号化を行う方式である。
【０２０５】
フレーム互換方式の一例としては、図９に示すような、Ｓｉｄｅ−ｂｙ−Ｓｉｄｅ方式がある。Ｓｉｄｅ−ｂｙ−Ｓｉｄｅ方式では、レフトビュービデオとライトビュービデオの対応する各ピクチャをそれぞれ水平方向に１／２に圧縮した上で、左右に並べることで一つのピクチャに合成する。合成されたピクチャによる動画像は、通常の動画像圧縮符号化が行われてストリーム化される。一方再生時には、ストリームを通常の動画像圧縮符号化方式に基づいて動画像に復号化される。復号化された動画像の各ピクチャは、左右画像に分割されて、それぞれ水平方向に２倍に伸長されることによって、レフトビュービデオとライトビュービデオの対応する各ピクチャが得られる。得られたレフトビュービデオのピクチャ（Ｌ画像）とライトビュービデオのピクチャ（Ｒ画像）を交互に表示することによって、図８に示すような立体視画像を得ることができる。
【０２０６】
フレーム互換方式にはＳｉｄｅ−ｂｙ−Ｓｉｄｅ方式の他に、左右画像を上下に並べるＴｏｐ  ａｎｄ  Ｂｏｔｔｏｍ方式や、ピクチャ内の１ライン毎に左右画像を交互に配置するＬｉｎｅ  Ａｌｔｅｒｎａｔｉｖｅ方式などがある。
＜マルチビュー符号化方式＞
次に、２つ目のマルチビュー符号化方式について説明する。マルチビュー符号化方式の例として、３Ｄ映像を高効率に圧縮する符号化方式である、ＭＰＥＧ４  ＭＶＣ（Ｍｕｌｔｉｖｉｅｗ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）と呼ばれるＭＰＥＧ４  ＡＶＣ／Ｈ．２６４の修正規格が挙げられる。ＩＳＯ／ＩＥＣ  ＭＰＥＧとＩＴＵ−Ｔ  ＶＣＥＧの共同プロジェクトであるＪｏｉｎｔ  Ｖｉｄｅｏ  Ｔｅａｍ（ＪＶＴ）は、２００８年７月にＭｕｌｔｉｖｉｅｗ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（ＭＶＣ）と呼ばれるＭＰＥＧ４  ＡＶＣ／Ｈ．２６４の修正規格の策定を完了した。
【０２０７】
マルチビュー符号化方式では、レフトビュービデオ、ライトビュービデオをデジタル化し、圧縮符号化することにより得られるビデオストリームである。
【０２０８】
図１０は、マルチビュー符号化方式による立体視のためのレフトビュービデオストリーム、ライトビュービデオストリームの内部構成の一例を示す図である。
【０２０９】
本図の第２段目は、レフトビュービデオストリームの内部構成を示す。このストリームには、ピクチャデータＩ１、Ｐ２、Ｂｒ３、Ｂｒ４、Ｐ５、Ｂｒ６、Ｂｒ７、Ｐ９というピクチャデータが含まれている。これらのピクチャデータは、ＤＴＳ（Ｄｅｃｏｄｅ  Ｔｉｍｅ  Ｓｔａｍｐ）に従いデコードされる。
【０２１０】
本図の第１段目は、左目画像を示す。そうしてデコードされたピクチャデータＩ１、Ｐ２、Ｂｒ３、Ｂｒ４、Ｐ５、Ｂｒ６、Ｂｒ７、Ｐ９をＰＴＳに従い、Ｉ１、Ｂｒ３、Ｂｒ４、Ｐ２、Ｂｒ６、Ｂｒ７、Ｐ５の順序で再生することで、左目画像が再生されることになる。本図において、参照ピクチャを持たずに符号化対象ピクチャのみを用いてピクチャ内予測符号化を行うピクチャをＩピクチャと呼ぶ。ピクチャとは、フレームおよびフィールドの両者を包含する１つの符号化の単位である。また、既に処理済の１枚のピクチャを参照してピクチャ間予測符号化するピクチャをＰピクチャと、既に処理済みの２枚のピクチャを同時に参照してピクチャ間予測符号化するピクチャをＢピクチャと、Ｂピクチャの中で他のピクチャから参照されるピクチャをＢｒピクチャとそれぞれ呼ばれる。
【０２１１】
第４段目は、ライトビュービデオストリームの内部構成を示す。このレフトビュービデオストリームは、Ｐ１、Ｐ２、Ｂ３、Ｂ４、Ｐ５、Ｂ６、Ｂ７、Ｐ８というピクチャデータが含まれている。これらのピクチャデータは、ＤＴＳに従いデコードされる。第３段目は、右目画像を示す。そうしてデコードされたピクチャデータＰ１、Ｐ２、Ｂ３、Ｂ４、Ｐ５、Ｂ６、Ｂ７、Ｐ８をＰＴＳに従い、Ｐ１、Ｂ３、Ｂ４、Ｐ２、Ｂ６、Ｂ７、Ｐ５の順序で再生することで、右目画像が再生されることになる。ただし、継時分離方式の立体視再生では、同じＰＴＳが付された左目画像と右目画像とのペアうち一方の表示を、ＰＴＳの間隔の半分の時間（以下、「３Ｄ表示ディレイ」という）分だけ遅延して表示する。
【０２１２】
第５段目は、３Ｄ眼鏡１０の状態をどのように変化させるかを示す。この第５段目に示すように、左目画像の視聴時は、右目のシャッターを閉じ、右目画像の視聴時は、左目のシャッターを閉じていることがわかる。
【０２１３】
これらのレフトビュービデオストリーム、ライトビュービデオストリームは、時間方向の相関特性を利用したピクチャ間予測符号化に加えて、視点間の相関特性を利用したピクチャ間予測符号化によって圧縮されている。ライトビュービデオストリームのピクチャは、レフトビュービデオストリームの同じ表示時刻のピクチャを参照して圧縮されている。
【０２１４】
例えば、ライトビュービデオストリームの先頭Ｐピクチャは、レフトビュービデオストリームのＩピクチャを参照し、ライトビュービデオストリームのＢピクチャは、レフトビュービデオストリームのＢｒピクチャを参照し、ライトビュービデオストリームの二つ目のＰピクチャは、レフトビュービデオストリームのＰピクチャを参照している。
【０２１５】
そして、圧縮符号化されたレフトビュービデオストリーム及びライトビュービデオストリームのうち、単体で復号化が可能になるものを「ベースビュービデオストリーム」という。また、レフトビュービデオストリーム及びライトビュービデオストリームのうち、ベースビュービデオストリームを構成する個々のピクチャデータとのビュー間でのフレーム間相関特性に基づき圧縮符号化されており、ベースビュービデオストリームが復号された上で復号可能になるビデオストリームを、「ディペンデントビュービデオストリーム」という。また、ベースビュービデオストリームとディペンデントビュービデオストリームを合わせて、「マルチビュービデオストリーム」と呼ぶ。なおベースビュービデオストリームとディペンデントビュービデオストリームは、それぞれ別々のストリームとして格納や伝送されてもよいし、例えばＭＰＥＧ２−ＴＳなどの同一のストリームに多重化されてもよい。
＜ベースビュービデオストリームとディペンデントビュービデオストリームのアクセスユニットの関係＞
図１１は、ベースビュービデオストリームの各ピクチャと右目映像ストリームの各ピクチャのビデオアクセスユニットの構成を示している。前述したとおり、図１１上段のように、ベースビュービデオストリームは、各ピクチャが１つのビデオアクセスユニットとして構成される。図１１下段のように、ディペンデントビュービデオストリームも同様に、各ピクチャが１つのビデオアクセスユニットを構成するが、ベースビュービデオストリームのビデオアクセスユニットとはデータ構造が異なる。また、図１１下段のように、ベースビュービデオストリームのビデオアクセスユニットは、表示時刻で対応するディペンデントビュービデオストリームのビデオアクセスユニットによって、３Ｄビデオアクセスユニット９０を構成し、後述するビデオデコーダは、この３Ｄビデオアクセスユニット単位でデコードおよび表示を行う。なお、ＭＰＥＧ４  ＭＶＣのビデオコーデックでは、１つのビューにおける各ピクチャ（ここでいうビデオアクセスユニット）を「ビューコンポーネント」と定義し、マルチビューにおける同一時刻のピクチャ群（ここでいう３Ｄビデオアクセスユニット）を「アクセスユニット」と定義しているが、本実施の形態では図１１で説明した定義で説明を行う。
＜ＰＴＳとＤＴＳ＞
図１２はＡＶストリーム中におけるベースビュービデオストリームとディペンデントビュービデオストリームの各ビデオアクセスユニットに割り当てる表示時刻（ＰＴＳ）、デコード時刻（ＤＴＳ）の関係の例を示している。
【０２１６】
同時刻の視差画像を格納するベースビュービデオストリームのピクチャとディペンデントビュービデオストリームのピクチャは、同一のＤＴＳ／ＰＴＳになるように設定される。これは、ピクチャ間予測符合化の参照関係にあるベースビューピクチャとディペンデントビューピクチャのデコード／表示順を同一に設定することで実現できる。このように構成することで、ベースビュービデオストリームのピクチャとディペンデントビュービデオストリームのピクチャをデコードするビデオビコーダは、３Ｄビデオアクセスユニット単位でデコードおよび表示を行うことができる。
＜ベースビュービデオストリームとディペンデントビュービデオストリームのＧＯＰ構成＞
図１３はベースビュービデオストリームとディペンデントビュービデオストリームのＧＯＰ構成を示している。ベースビュービデオストリームのＧＯＰ構造は、従来のビデオストリームの構成と同じであり、複数のビデオアクセスユニットで構成される。また、ディペンデントビュービデオストリームは、従来のビデオストリームと同様に、複数のディペンデントＧＯＰ１００、１０１、・・・から構成される。また、各ディペンデントＧＯＰは、複数のビデオアクセスユニットＵ１００、Ｕ１０１、Ｕ１０２、・・・から構成される。各ディペンデントＧＯＰの先頭ピクチャは、３Ｄ映像を再生する際に、ベースビュービデオストリームのＧＯＰ先頭のＩピクチャとペアで表示されるピクチャであり、ベースビュービデオストリームのＧＯＰ先頭のＩピクチャのＰＴＳと同じＰＴＳが付与されたピクチャである。
＜ディペンデントＧＯＰに含まれるビデオアクセスユニット＞
図１４（ａ）、（ｂ）は、ディペンデントＧＯＰに含まれるビデオアクセスユニットの構成を示している。ビデオアクセスユニットは、図１４（ａ）、（ｂ）に示すように、ＡＵ識別コード１１１、シーケンスヘッダ１１２、ピクチャヘッダ１１３、補足データ１１４、圧縮ピクチャデータ１１５、パディングデータ１１６、シーケンス終端コード１１７及びストリーム終端コード１１８から構成されている。ＡＵ識別コード１１１は、図４で示したＡＵ識別コード６１と同様に、アクセスユニットの先頭を示す開始符号が格納される。シーケンスヘッダ１１２、ピクチャヘッダ１１３、補足データ１１４、圧縮ピクチャデータ１１５、パディングデータ１１６、のそれぞれは、図４で示したシーケンスヘッダ６２、ピクチャヘッダ６３、補足データ６４、圧縮ピクチャデータ６５、パディングデータ６６と同様であるので、ここでの説明は省略する。シーケンス終端コード１１７には、再生シーケンスの終端を示すデータが格納される。ストリーム終端コード１１８には、ビットストリームの終端を示すデータが格納される。
【０２１７】
図１４（ａ）に示すディペンデントＧＯＰ先頭のビデオアクセスユニットは、圧縮ピクチャデータ１１５として、ベースビュービデオストリームのＧＯＰ先頭のＩピクチャと同時刻に表示されるピクチャのデータが必ず格納され、ＡＵ識別コード１１１、シーケンスヘッダ１１２及びピクチャヘッダ１１３にもデータが必ず格納される。補足データ１１４、パディングデータ１１６、シーケンス終端コード１１７及びストリーム終端コード１１８にはデータが格納されていてもよいし、格納されなくてもよい。シーケンスヘッダ１１２のフレームレート、解像度、アスペクト比の値は、対応するベースビュービデオストリームのＧＯＰ先頭のビデオアクセスユニットに含まれるシーケンスヘッダのフレームレート、解像度、アスペクト比と同じである。図１４（ｂ）に示すようにＧＯＰ先頭以外のビデオアクセスユニットは、ＡＵ識別コード１１１、圧縮ピクチャデータ１１５にはデータが必ず格納され、ピクチャヘッダ１１３、補足データ１１４、パディングデータ１１６、シーケンス終端コード１１７、ストリーム終端コード１１８にはデータは格納されていてもよいし、格納されなくてもよい。
【０２１８】
以上が、立体視に使う視差画像を実現するための一般的な映像フォーマットについての説明である。
＜ハイブリッド３Ｄ放送のリアルタイム再生＞
上記実施形態では、ハイブリッド３Ｄ放送に関し、右目映像を事前蓄積する構成としていた。以下では、右目映像を事前蓄積せず、リアルタイムで受信する場合の再生装置３０の構成について、図２４を用い、図１８を用いて既に説明した再生装置３０との差異を中心に説明する。
【０２１９】
図２４に示す本補足説明に係る再生装置３０は、第１記録媒体３３１、第３記録媒体３３３及び第４記録媒体３３４を備える点が、図１８に示す場合と異なる。図２４に示す第２記録媒体３３２と、図１８に示す記録媒体３１２とは、名称が異なっているが実質的に変わるところはない。
【０２２０】
上記の第３記録媒体３３３及び第４記録媒体３３４を設けているのは、ハイブリッド３Ｄ放送波の送信から受信、再生までの間に、各種の遅延が発生し、この遅延を吸収する必要があるためである。第３記録媒体３３３及び第４記録媒体３３４は、高速に読み書き可能な半導体メモリなどで構成される。
【０２２１】
ここで、ある時刻（ＰＴＳ）が指定された映像の先頭データを含むＴＳパケットが放送波として送信された時刻をｔｂｓ、ＴＳパケットをチューナ３０１が受信した時刻をｔｂｒ、ＰＴＳと同時刻の右目映像のビデオの先頭データを含むＴＳパケットがネットワーク経由で送信された時刻をｔｉｓ、ＮＩＣ３０２で受信した時刻をｔｉｒとする。
【０２２２】
送信装置２０において、左目映像の送信処理と右目映像の送信処理を同時に開始する場合、映像を放送波により送信する処理に要する時間と、ネットワークにより送信する処理に要する時間とが異なることから、ｔｂｓとｔｉｓとが異なってくる。また受信機に到着するまでに要する時間も、放送波を用いた場合と、ネットワークを用いた場合とでは異なる。これらのことから、ｔｂｒとｔｉｒが異なる。
【０２２３】
このｔｂｒとｔｉｒとの差異（以下、「伝送遅延」という。）を吸収するためのバッファが、第３記録媒体３３３及び第４記録媒体３３４である。
【０２２４】
なお、本補足説明では、第３記録媒体３３３と第４記録媒体３３４とを別個の記録媒体で構成しているが、データの書き込み速度及び読み出し速度が十分に高速であり、データの書き込みエラーや読み出しエラーが生じないならば、これらを１つの記録媒体で構成してもよい。
【０２２５】
第１記録媒体３３１及び第２記録媒体３３２は、受信バッファとして機能する。すなわち、ハイブリッド３Ｄ放送の受信時に、一定量のデータを一時的に蓄積する。一定量とは、例えば１０秒の映像などに相当するデータ量、記録媒体の容量から定まる量(例えば１００ＭＢ)などを指す。
【０２２６】
また、第１記録媒体３３１及び第２記録媒体３３２は、ハイブリッド３Ｄ放送の録画に使用することもできる。録画することにより、伝送遅延を補償するための第３記録媒体３３３及び第４記録媒体３３４の容量を小さくすることができる。
【０２２７】
第３記録媒体３３３及び第４記録媒体３３４の容量を小さくすることは、以下のように価格面で有利に働く。
【０２２８】
すなわち、第１記録媒体３３１及び第２記録媒体３３２は、記録されるデータがＴＳであり、これに含まれるビデオＥＳは圧縮されているため、書き込み及び読み出しに係る転送レートが比較的低く、単位容量当たりの価格が安いＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）などの記録媒体を用いても問題ない。
【０２２９】
一方、第３記録媒体３３３及び第４記録媒体３３４に記録されるデータは、第１フレームバッファ３２３及び第２フレームバッファ３２４から転送される、復号された映像フレームであり、圧縮されていない。よって、第３記録媒体３３３及び第４記録媒体３３４としては、圧縮されていない大容量のデータを短期間に転送する必要性から、書き込み及び読み出しに係る転送レートは早いが、単位容量当たりの価格が高い半導体メモリなどの記録媒体を使わざるを得ない。このため、第３記録媒体３３３及び第４記録媒体３３４の容量を小さくすると、価格面で有利になる。
【０２３０】
一例として、第４記録媒体３３４の容量をフレームバッファ３枚分などと決め、第４記録媒体３３４に格納されているフレーム数が３を下回った際に、第２記録媒体３３２に蓄積されているデータを第２多重分離部３０５に出すという制御をすることにより、常に第４記録媒体３３３に３枚分のフレームピクチャが蓄積されている状態にする。また、第３記録媒体３３３と第１記録媒体３３１に関しても同様に処理する。そうすれば、第１記録媒体３３１及び第２記録媒体３３２に記録されているデータが枯渇しない限り、第３記録媒体３３３及び第４記録媒体３３４に記録されるデータが枯渇しないので、伝送遅延を効果的に吸収できる。
【０２３１】
また、第１記録媒体３３１に記録されるＴＳは、放送波経由で受信するため、受信状況さえ良好であれば、放送局から送信されたＴＳを確実に記録することができる。一方、第２記録媒体３３２に記録されるＴＳは、ネットワーク経由で受信するため、ネットワークが過負荷状態となっている場合などに確実に受信できないこともある。
【０２３２】
このようにネットワーク経由のＴＳが受信できなくなると、第２記録媒体３３２から第２多重分離部３０５を経て第２映像復号部３２２に供給すべきデータが枯渇することになる。これを回避するために、再生装置３０が、第２記録媒体３３２に記録されているデータが一定量を下回り枯渇しそうな場合を検出し、枯渇しそうなときに、送信装置２０に対して、よりビットレートの低いＴＳの送信を要求するようにすることで、枯渇を未然に防ぐことも可能である。
【０２３３】
また、第１記録媒体３３１及び第２記録媒体３３２において最低限必要となる容量は、放送波とネットワークとの間で想定される遅延時間に、放送波経由のＴＳとネットワーク経由のＴＳとのうちで早く到着する方のＴＳに係る転送レートを乗算して算出される容量を基準とし、必要に応じ余裕分を追加して決めれば良い。余裕分としては、例えば、想定される遅延時間に対して必ずプラス１秒分余分に容量を確保することが考えられる。また、想定される遅延時間に対して、一定の割合(例えば１０％)に相当する時間を加算しておくことにより、一定の割合に相当する分の容量を確保するなども考えられる。
＜ハイブリッド３Ｄ放送における特殊再生＞
ハイブリッド３Ｄ放送により送信される３Ｄ映像の特殊再生（早送り再生、巻き戻し再生、コマ送り再生、１．５倍速、２倍速、３倍速などの倍速再生など）に関する補足説明をする。
【０２３４】
以降の説明は、前提として、特殊再生のためにハイブリッド３Ｄ放送で送信された番組の全てまたは一部が、図２４における第１記録媒体３３１及び第２記録媒体３３２に蓄積されているものとする。
【０２３５】
（１）一般に、２Ｄ放送を再生装置において録画しておき、早送り再生などを行う際には、記録時にＩピクチャに位置とＩピクチャの先頭を含むＴＳパケットの位置などを記録しておき、Ｉピクチャだけを読み出して復号し再生することで、早送り再生が行われる。Ｉピクチャを復号、再生するだけでは早送り速度に見合ったフレーム数が確保できない場合に、ＩピクチャとＰピクチャだけを読み出して早送り再生を行う場合もある。
【０２３６】
ここで、３Ｄ映像についても、上述の２Ｄ映像の場合と同様、ＩピクチャやＰピクチャのみを読み出して早送りを行うとする。
【０２３７】
この場合、同表示予定時刻の左目映像フレームと右目映像フレームとを、数フレーム間隔で表示する。ここで、左目映像フレームはＩピクチャであるが、これと同表示予定時刻である右目映像がＢピクチャとなっているような場合には、早送り再生ができなくなる。
【０２３８】
以上のことから、ハイブリッド３Ｄ放送を再生装置において録画し早送り再生を実現するためには、放送波により放送される映像のピクチャ構成と、ネットワーク経由で送信される映像のピクチャ構成を一致させておく必要がある。ピクチャ構成を一致させるには、以下のような手法が考えられる。
（ａ）ハイブリッド３Ｄ放送を行うシステムとしては、左目映像について既存の２Ｄ放送用の送信システムを用いて送信し、右目映像について、ネットワーク経由で送信するための新たな機器を追加することが多いと考えられる。このようにすれば、既存の２Ｄ放送用の送信システムを大幅に変更する必要はなく、既存の２Ｄ放送用の送信システムをハイブリッド３Ｄ放送に対応させるためのコストを抑えることができるためである。
【０２３９】
この場合、図１６に示す送信装置２０における、第１映像符号化部２０６（既存の２Ｄ放送用のシステムに対応）が、生成した映像フレームに係るピクチャの構造を、第２映像符号化部２０７（上述の新たな機器に対応）に通知し、第２映像符号化部２０７が第１映像符号化部２０６から通知されたピクチャの構造に合わせて映像フレームを生成することで、左目映像と右目映像のピクチャ構造を合わせる(ある時刻の左目映像がＩピクチャの際には、同時刻の右目映像がＩピクチャまたはＰピクチャとする)ことができる。
（ｂ）第１映像符号化部２０６及び第２映像符号化部２０７の双方に、Ｉ、Ｐ、Ｂピクチャの符号化順序を示したピクチャ構成情報を入力する。このピクチャ構成情報に基づき第１映像符号化部２０６及び第２映像符号化部２０７が動作することで、左目映像と右目映像とでピクチャ構造の合ったビデオＥＳを出力することができる。
（２）ハイブリッド３Ｄ放送を録画し、早送りなどの特殊再生を行うことを考慮すると、放送波から受信するビデオＥＳと、ネットワーク経由で受信するビデオＥＳのピクチャ構造が合っているかどうかを、再生装置３０側で認識できることが望ましい。
【０２４０】
これを実現する一手法として、送信装置２０が、例えば、番組単位でピクチャ構造が合っているか否かを示すフラグをＥＩＴに記載して送信することとすればよい。
【０２４１】
また、チャンネル毎（放送局毎に）にピクチャ構造が合っているか否かが異なる場合には、各チャンネルに付随する情報であるＮＩＴ(Ｎｅｔｗｏｒｋ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｔａｂｌｅ)や、ＳＩＴに入れることとすればよい。
（３）放送波で送信される左目映像がＭＰＥＧ２  Ｖｉｄｅｏに係る映像であり、ネットワーク経由で送信される右目映像がＭＰＥＧ４  ＡＶＣに係る映像の場合も考えられる。ＭＰＥＧ２  Ｖｉｄｅｏは比較的古い圧縮技術であり復号処理の負荷も軽く、ＭＰＥＧ４  ＡＶＣは復号処理の負荷が重い。
【０２４２】
この場合、ＭＰＥＧ２  Ｖｉｄｅｏについては全フレームを復号し、ＭＰＥＧ４  ＡＶＣについてはＩピクチャ（必要であればＰピクチャも）だけを選択的に復号し、ＭＰＥＧ４  ＡＶＣについて復号されたピクチャと同時刻のＰＴＳを持つＭＰＥＧ２  Ｖｉｄｅｏの映像フレームだけを早送りのために使用することとしてもよい。
【０２４３】
この場合、再生装置３０において、映像を記録するときに、ＭＰＥＧ４  ＡＶＣの側のＩピクチャ(またはＰピクチャも)の先頭を含むＴＳパケットの位置を記録しておけば、特殊再生が容易になる。
（４）ＭＰＥＧ２  Ｖｉｄｅｏと、ＭＰＥＧ４  ＡＶＣとで、同時刻のＰＴＳを持つピクチャが同じ属性(Ｉピクチャ)のピクチャである場合に、このピクチャを伝送するＴＳパケット内のｔｒａｎｓｐｏｒｔ＿ｐｒｉｏｒｉｔｙ（図７参照）を１に設定し、これ以外のＴＳパケットのｔｒａｎｓｐｏｒｔ＿ｐｒｉｏｒｉｔｙを０に設定することとしてもよい。そして、ハイブリッド３Ｄ放送を記録し再生する場合に、ｔｒａｎｓｐｏｒｔ＿ｐｒｉｏｒｉｔｙが１に設定されているＴＳパケットだけを第１多重分離部３０４及び第２多重分離部３０５を経て選択的に第１映像復号部３２１及び第２映像復号部３２２に入力することによって早送り再生を実現できる。
【産業上の利用可能性】
【０２４４】
本発明の一形態に係る映像再生装置は、事前蓄積された映像の追い越し再生による視聴可否を適切に制御するものであり、３Ｄ映像について事前蓄積を行い再生する装置などとして有用である。
【符号の説明】
【０２４５】
１０００  コンテンツ提供システム
１０    ３Ｄ眼鏡
２０    送信装置
３０    再生装置
２０１    映像格納部
２０２    ストリーム管理情報格納部
２０３    字幕ストリーム格納部
２０４    オーディオストリーム格納部
２０５    符号化処理部
２０６    第１映像符号化部
２０７    第２映像符号化部
２０８    第１多重化処理部
２０９    第２多重化処理部
２１０    第１ＴＳ格納部
２１１    第２ＴＳ格納部
２１２    放送部
２１３    ＮＩＣ
３０１    チューナ
３０２    ＮＩＣ
３０３    ユーザインターフェース部
３０４    第１多重分離部
３０５    第２多重分離部
３０６    再生制御部
３０７    再生処理部
３０８    字幕復号部
３０９    ＯＳＤ作成部
３１０    音声復号部
３１１    表示部
３１２    記録媒体
３１３    スピーカ
３２１    第１映像復号部
３２２    第２映像復号部
３２３    第１フレームバッファ
３２４    第２フレームバッファ
３２５    フレームバッファ切替部
３２６    重畳部
３３０    リモコン
【図１】
2013099290.tif 000003
【図２】
2013099290.tif 000004
【図３】
2013099290.tif 000005
【図４】
2013099290.tif 000006
【図５】
2013099290.tif 000007
【図６】
2013099290.tif 000008
【図７】
2013099290.tif 000009
【図８】
2013099290.tif 000010
【図９】
2013099290.tif 000011
【図１０】
2013099290.tif 000012
【図１１】
2013099290.tif 000013
【図１２】
2013099290.tif 000014
【図１３】
2013099290.tif 000015
【図１４】
2013099290.tif 000016
【図１５】
2013099290.tif 000017
【図１６】
2013099290.tif 000018
【図１７】
2013099290.tif 000019
【図１８】
2013099290.tif 000020
【図１９】
2013099290.tif 000021
【図２０】
2013099290.tif 000022
【図２１】
2013099290.tif 000023
【図２２】
2013099290.tif 000024
【図２３】
2013099290.tif 000025
【図２４】
2013099290.tif 000026
【国際調査報告】
2013099290.tif 000027
2013099290.tif 000028
2013099290.tif 000029