(57)【要約】  符号化方法は、原画を圧縮符号化することにより得られる、2D映像を構成するビデオストリームおよび、3D映像を構成する複数のビデオストリームを、１本のトランスポートストリーム内に格納する。この際、トランスポートストリームに格納された3D映像を構成するビデオストリームを特定するディスクリプタをPMT（Program Map Table）内に格納する。
2012057164.tif 000002
【特許請求の範囲】
【請求項１】
符号化方法であって、
画像を圧縮符号化してビデオストリームを生成するエンコードステップと、
前記エンコードステップによって生成される複数のビデオストリームに対して多重化処理を施すことで、1つのトランスポートストリームを得る多重化ステップとを有し、
前記複数のビデオストリームは、2D映像を構成する2Dビデオストリームを含むとともに、複数のビデオストリームを組み合わせることで3D映像を構成し、
3D映像を構成するビデオストリームの組み合わせには、前記2Dビデオストリームと1つの他のビデオストリームの組み合わせと、2Dビデオストリーム以外の2以上の他のビデオストリームの組み合わせがあり、
前記トランスポートストリームは、3D映像を構成するビデオストリームを特定する3D映像特定情報を含む
ことを特徴とする符号化方法。
【請求項２】
前記符号化方法は、コンテンツテーブルを作成するコンテンツテーブル作成ステップを有し、
前記多重化ステップによる多重化は、
前記複数のビデオストリームとコンテンツテーブルとを多重化することでなされ、
前記コンテンツテーブルは、1つ以上のテーブルディスクリプタと、各ビデオストリームに対応するストリーム情報とを含み、
前記各ストリーム情報は、ストリームタイプと、ストリーム識別子と、ストリームディスクリプタとを含み、
前記3D映像特定情報は、テーブルディスクリプタ及びストリームディスクリプタの何れかに存在する
ことを特徴とする請求項１に記載の符号化方法。
【請求項３】
前記3D映像特定情報は、2Dビデオストリームを特定する2D映像特定情報を含むことを特徴とする請求項１に記載の符号化方法。
【請求項４】
2D映像特定情報及び3D映像特定情報によるビデオストリームの特定は、2Dビデオストリーム、左目映像を構成する左目ビデオストリーム、右目映像を構成するビデオストリームに、それぞれ対応するストリーム識別子を記載することでなされる
ことを特徴とする請求項3に記載の符号化方法。
【請求項５】
前記コンテンツテーブルには2D/3D共用フラグを含み、
前記2D/3D共用フラグは、2Dビデオストリームと、3D映像を構成する複数のビデオストリームのいずれかが一致するか否かを示すことを特徴とする請求項2に記載の符号化方法。
【請求項６】
前記3D特定情報によって指定される3D映像を構成するビデオストリームが1つの場合、
前記ビデオストリームは、LRパック映像を構成し、
前記LRパック映像は、動画像を構成する個々のフレームに、左目画像と、右目画像とを格納した映像であり、
前記コンテンツテーブルは、LRパック情報を含み、
LRパック情報は、左目画像及び右目画像が、どのようなパッキング方式でビデオストリームの各フレームに格納されているかを示す
ことを特徴とする請求項2に記載の符号化方法。
【請求項７】
前記コンテンツテーブルは、カメラのチャネル構成を示すカメラアサインメントを含み、
前記カメラのチャネル構成には、
Ｃチャネル、Ｌチャネル＋Ｒチャネル、Ｃチャネル＋Ｌチャネル＋Ｒチャネル、Ｃチャネル＋R1チャネル＋R2チャネルがあり
前記3D特定情報によって特定されるビデオストリームは、前記カメラのチャネル構成のうち、何れかのものに従って撮影されたものであるかを示す
ことを特徴とする請求項2に記載の符号化方法。
【請求項８】
前記2Dビデオストリーム、他のビデオストリームのそれぞれには、文字表示制御情報が存在しており、
前記作成ステップは、
2D再生モード、3D再生モードのそれぞれにおいて、2Dビデオストリーム、他のビデオストリームのうち、どちらのビデオストリームに存在する文字表示制御情報を用いて文字表示を実現すべきかを示す情報をコンテンツテーブルに記述する
ことを特徴とする請求項2に記載の符号化方法。
【請求項９】
ストリーム情報のストリームディスクリプタは、
ビデオストリームが左目画像及び右目画像のうち、何れに該当するかを示すフラグを含むことを特徴とする請求項2に記載の符号化方法。
【請求項１０】
前記3D映像特定情報を、コンテンツテーブルにおけるストリーム情報内のストリームディスクリプタ内に記述する
ことを特徴とする請求項2に記載の符号化方法。
【請求項１１】
前記作成ステップは、
前記コンテンツテーブルにおける各ビデオストリームに対応するストリーム情報に、組合せの相手側となるビデオストリームのストリーム識別子を記述することで、組合せの対象となる2以上のビデオストリームを示す
ことを特徴とする請求項2に記載の符号化方法。
【請求項１２】
前記作成ステップは、
ディスクリプタを作成して、作成されたディスクリプタをビデオストリームの内部に組込む
ことを特徴とする請求項１に記載の符号化方法。
【請求項１３】
表示装置であって、
装置外部からのトランスポートストリームの入力を受け付ける受付手段と、
2Dモード及び3Dモードの何れか1つをカレントモードとして記憶する記憶手段と、
カレントモードが2Dモードである場合、トランスポートストリームに含まれる1つのビデオストリームを用いて2D映像の再生を行う再生手段とを備え、
トランスポートストリームは3D映像特定情報を備え、
3D映像特定情報は、3D映像を構成するビデオストリームを特定し、
カレントモードが3Dモードである場合、トランスポートストリームに含まれる3D映像を構成するビデオストリームを用いて3D映像の再生を行い、
3D映像の構成するビデオストリームは、前記2Dビデオストリームと1つの他のビデオストリームとの組み合わせからなる場合と、2Dビデオストリーム以外の他のビデオストリームの2以上組み合わせからなる場合とがある
ことを特徴とする表示装置。
【請求項１４】
前記トランスポートストリームは、複数のビデオストリームと、コンテンツテーブルとをトランスポートストリームパケット列に変換することで得られ、
前記表示装置は、
トランスポートストリームから所定のトランスポートストリームパケットを分離する多重分離手段を備え、コンテンツテーブルを格納したトランスポートストリームパケットを分離することで、3D映像特定情報の取得を行う
ことを特徴とする請求項１３に記載の表示装置。
【請求項１５】
前記3D映像特定情報には、2Dビデオストリームを特定する2D映像特定情報を含み、
カレントモードが2Dモードである場合、多重分離部は、2D映像特定情報に基づき、2D映像を構成するビデオストリームをトランスポートストリームから分離し、
カレントモードが3Dモードである場合、多重分離部は、3D映像特定情報に基づき、3D映像を構成するビデオストリームを格納した複数のトランスポートストリームパケットをトランスポートストリームから分離する
ことを特徴とする請求項１４に記載の表示装置。
【請求項１６】
2D映像特定情報及び3D映像特定情報によるビデオストリームの特定は、2Dビデオストリーム、左目映像を構成する左目ビデオストリーム、右目映像を構成するビデオストリームに、それぞれ対応するストリーム識別子を記載することでなされる
ことを特徴とする請求項１５に記載の表示装置。
【請求項１７】
トランスポートストリームは、2Dビデオストリームと、3D映像を構成する複数のビデオストリームのいずれかが一致するか否かを示す2D/3D共用フラグを含み、
前記多重分離部は、2D映像を構成するビデオストリームが複数のビデオストリームの何れかと一致しない場合、2Dモード、3Dモードのそれぞれにおいて、多重分離の対象となるビデオストリームを変更し、
再生手段は、3D映像を構成するビデオストリームが1つである場合、1つのビデオストリームにおける個々のフレームから、左目画像及び右目画像を切り出して、左目画像及び右目画像のそれぞれを表示に供することで3D画像の再生を行い、
3D映像を構成するビデオストリームが2つ以上である場合、多重分離部によって分離された2以上のビデオストリームをデコードすることで左目画像及び右目画像を得て、左目画像及び右目画像のそれぞれを表示に供することで3D画像の再生を行う
ことを特徴とする請求項１６に記載の表示装置。
【請求項１８】
前記3D特定情報によって指定される3D映像を構成するビデオストリームが1つの場合、
前記ビデオストリームはLRパック映像を構成し、前記LRパック映像は、動画像を構成する個々のフレームに、左目画像と、右目画像とを格納した映像であり、
前記コンテンツテーブルは、LRパック情報を含み、
LRパック情報は、左目画像及び右目画像が、どのようなパッキング方式でビデオストリームの各フレームに格納されているかを示し、
再生手段は、LRパック情報に従って、フレームのうち、左目画像及び右目画像を切り出すべき領域を特定する
ことを特徴とする請求項１７に記載の表示装置。
【請求項１９】
復号方法であって、
トランスポートストリームの入力を受け付ける受付ステップと、
2Dモード及び3Dモードの何れか1つをカレントモードとして記憶する記憶ステップと、
カレントモードが2Dモードである場合、トランスポートストリームに含まれる1つのビデオストリームを用いて2D映像の再生を行う再生ステップとを含み、
トランスポートストリームは3D映像特定情報を備え、
3D映像特定情報は、3D映像を構成するビデオストリームを特定し、
カレントモードが3Dモードである場合、トランスポートストリームに含まれる3D映像を構成するビデオストリームを用いて3D映像の再生を行い、
3D映像の構成するビデオストリームは、前記2Dビデオストリームと1つの他のビデオストリームとの組み合わせからなる場合と、2Dビデオストリーム以外の他のビデオストリームの2以上組み合わせからなる場合とがある
ことを特徴とする復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化方法技術に関し、特に3D映像に関するトランスポートストリームの符号化方法技術に関する。
【背景技術】
【０００２】
現在、3D番組の放送は、サイドバイサイド方式で3D再生を実現するビデオストリームを1TS（１本のトランスポートストリームのことである）に多重化して、放送局がかかる1TSを各世帯のテレビ表示装置に供給することでなされる。サイドバイサイド方式とは、立体視に必要な左目映像と、立体視に必要な右目映像とを横方向に並べて、1つのフレームの領域内にパッケージングすることで3D再生を実現する方式である（特許文献１参照）。【０００３】
従来の3D表示装置は、入力されてくるビデオストリームが3D映像であるか否かの判定を行い、3D映像であると判定すると、ビデオストリームを構成する個々のフレームのピクチャデータは必ずサイドバイサイド方式の画像であり、右半分に右目画像、左半分に左目画像が格納されているとの前提で、右目画像、左目画像の復号を行う。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】日本特許第３７８９７９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来の3Dテレビ放送は、1TS-1VS方式（１本のトランスポートストリームで1本のビデオストリームを伝送する方式）であり、3Dモード−2Dモード間の切り替えは実現されていない。従ってユーザは、3Dテレビ放送を3D映像としか視聴することができず、ユーザに対して充分な配慮がなされているとはいえない。【０００６】
一方、BD-ROM再生装置では、右目用のビデオストリームを格納したトランスポートストリーム、左目用のビデオストリームを格納したトランスポートストリームをBD-ROMから読み出してデコーダに供することで、2Dモード、3Dモードの自由なモード切り替えを実現している。右目用のビデオストリームを格納したトランスポートストリーム、左目用のビデオストリームを格納したトランスポートストリームをまとめて読み出すため、これら2本のトランスポートストリーム(2TS)はインターリーブ形式のファイルに変換された上でBD-ROMに記録されている。しかしながらデジタルテレビ放送のTV番組では、１つのTV番組に使用できるトランスポートストリームは、1TSであるという前提があるので、上記右目用のビデオストリーム、左目用のビデオストリームを2本のTSを用いて伝送することはできない。また、デジタルテレビ放送において、テレビ番組はファイルという単位で伝送される訳ではないから、右目用のビデオストリームを格納したトランスポートストリーム、左目用のビデオストリームを格納したトランスポートストリームをファイルによって対応付けることができず、かかるBD-ROMにおける対応付けを、デジタルテレビ放送にそのまま応用することは不可能である。【０００７】
本発明の目的は、１つのTV番組に使用できるトランスポートストリームは、1TSであるという前提下で、2Dモード、3Dモード間の自由なモード切り替えを実現することができる符号化方式を提供することである。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明にかかる符号化方法は、画像を圧縮符号化してビデオストリームを生成するエンコードステップと、エンコードステップによって生成される複数のビデオストリームに対して多重化処理を施すことで、1つのトランスポートストリームを得る多重化ステップとを有し、前記複数のビデオストリームは、2D映像を構成する2Dビデオストリームを含むとともに、複数のビデオストリームを組み合わせることで3D映像を構成し、3D映像を構成するビデオストリームの組み合わせには、前記2Dビデオストリームと1つの他のビデオストリームの組み合わせと、2Dビデオストリーム以外の2以上の他のビデオストリームの組み合わせがあり、前記トランスポートストリームは、3D映像を構成するビデオストリームを特定する3D映像特定情報を含むことを特徴とする。
【発明の効果】
【０００９】
3D再生に必要な組合せが記載されている3D映像特定情報が、1本のトランスポートストリームに存在するから、表示装置が2D再生を実行していて、これを3D再生に切り替える場合、トランスポートストリーム内の関連付け情報を参照することで、3D再生に必要なビデオストリームがどれであるかを知得することができる。【００１０】
請求項2によれば、3D映像特定情報がコンテンツテーブルに存在するので、かかるコンテンツテーブルがトランスポートストリームの先頭部に配置されたり、所定の時間置きに配置されている場合、このコンテンツテーブルを格納したパケットをトランスポートストリームから取り出して、3D映像特定情報を参照することにより、多重分離すべきビデオストリームを容易に特定することができ、3D映像を再生することができる。【００１１】
請求項3によれば、2Dビデオストリームを特定する2D映像特定情報がトランスポートストリームに存在するから、2D再生に必要なビデオストリームがどれであるかを知得することができ、2D再生、3D再生の互換再生が可能となる。【００１２】
請求項4によれば、2Dビデオストリーム、左目映像を構成する左目ビデオストリーム、右目映像を構成するビデオストリームに、それぞれ対応するストリーム識別子を示す情報がトランスポートストリームに存在するから、2D再生、または3D再生において、多重分離すべきビデオストリームを特定することができ、2Dモードと3Dモードとの間での多重分離対象の切り替えを高速にすることができる。【００１３】
請求項5によれば、2Dビデオストリームと、3D映像を構成する複数のビデオストリームのいずれかが一致するか否かを示すフラグがコンテンツテーブルに存在するから、このコンテンツテーブルを格納したパケットをトランスポートストリームから取り出して、このフラグを参照することにより、トランスポートストリームのストリーム構成を特定することができる。【００１４】
請求項6によれば、フレームへの左目画像、右目画像のパッケージングに様々な格納方式を採用することができるので、サイドバイサイド、トップアンドボトム等、既存の撮影行為で取得可能な様々な3D素材をコンテンツ作成に利用することができる。【００１５】
請求項7によれば、ストリームディスクリプタにおけるカメラアサインメントには、カメラのチャネル構成が示されているので、撮影時のカメラ環境を再生時に再現することができる。【００１６】
請求項8によれば、2Dビデオストリーム、他のビデオストリームのうち、どちらのビデオストリームに存在するクローズドキャプションの字幕データを用いるかを示す情報がコンテンツテーブルに記述されているので、このコンテンツテーブルを格納したパケットをトランスポートストリームから取り出して参照することにより、2D再生または3D再生で用いるべきクローズドキャプションのデータを識別することができる。【００１７】
請求項10によれば、3D映像特定情報を、コンテンツテーブルにおけるストリーム情報内のストリームディスクリプタ内に記述するので、ストリーム情報を参照することで、多重分離すべきビデオストリームを特定することができ、3D映像を再生することができる。【００１８】
請求項11によれば、コンテンツテーブルにおける各ビデオストリームに対応するストリーム情報に、組合せの相手側となるビデオストリームのストリーム識別子を記述しているので、ストリーム情報を参照することで、3D再生において必要となるもう一方のビデオストリームを特定することができる。
【図面の簡単な説明】
【００１９】
【図１】Side-by-Side方式の映像を配信する場合の課題を説明する図である。
【図２】再生装置と2Dデジタルテレビの利用形態を示す図である。
【図３】立体視画像の表示の一例を示す図である。
【図４】Side-by-Side方式による映像の表示の例を示す図である。
【図５】立体視のためのフレームの構成の一例を示す図である。
【図６】トランスポートストリームの構成を説明する図である。
【図７】ビデオストリームの構造を説明する図である。
【図８】PESパケット列に、ビデオストリームどのように格納されるかを更に詳しく示した図である。
【図９】TSパケットの構造を説明する図である。
【図１０】PMTのデータ構造を説明する図である。
【図１１】ビデオのクロッピング領域情報、スケーリング情報を説明する図である。
【図１２】ビデオのクロッピング領域情報の具体例を示す図である
【図１３】フレームパッキング情報とフレームパッキング情報ディスクリプタの格納方法を説明する図である。
【図１４】フレームパッキング情報ディスクリプタとフレームパッキング情報の関係の例を示す図である。
【図１５】本実施の形態に係る再生装置を説明する図である。
【図１６】フレームパッキング情報ディスクリプタの「処理優先度」を説明する図である。
【図１７】フレームパッキング情報ディスクリプタの「表示切替開始PTS」を説明する図である。
【図１８】左目映像と右目映像を別々のビデオストリームとして、１本のトランスポートストリームに格納する構成を説明する図である。
【図１９】２本のビデオストリームで構成する場合の符号化ビットレートを確保する上で効率的なデータフォーマットを説明する図である。
【図２０】3D再生情報ディスクリプタを説明する図である。
【図２１】２本のビデオストリームで構成する場合の特殊再生に好適な符号化方法を説明する図である。
【図２２】２本のビデオストリームで構成する場合の特殊再生、編集に好適な多重化方法を説明する図である。
【図２３】本実施の形態に係るデータ作成装置を説明する図である。
【図２４】2D映像とデプスマップから左目映像と右目映像の視差画像を生成する例を示す図である。
【図２５】2D再生および3D再生時の左目用（Ｌ）映像として用いられるビデオに加え、右目用（Ｒ）映像のビデオを格納するトランスポートストリーム構成（2D/L + R）を示す図である。
【図２６】2Dのビデオとは別に、左目用（Ｌ）のビデオ、および右目用（Ｒ）のビデオを２本格納するトランスポートストリームの構成（2D + L + R）を示す図である。
【図２７】2D + L + Rのストリーム構成における、3D_system_info_descriptorの構造を示す図である。
【図２８】3D_playback_typeに設定される値を示す図である
【図２９】2D + L + Rのストリーム構成における、3D_service_info_descriptorの構造を示す図である。
【図３０】2D + L + Rのストリーム構成における、3D_combi_info_descriptorの構造を示す図である。
【図３１】2Dのビデオに加えて、Side-by-Side方式のビデオを格納するトランスストリーム構成（2D + Side-by-Side）を示す図である。
【図３２】2D + Side-by-Side のストリーム構成における、3D_service_info_descriptorの構造を示す図である。
【図３３】2D + Side-by-Side のストリーム構成における、3D_combi_info_descriptorの構造を示す図である。
【図３４】2D再生のみに用いられるビデオに加えて、MVCにより圧縮符号化された２本のビデオを格納するトランスポートストリーム構成（2D + MVC）を示す図である。
【図３５】2D + MVC のストリーム構成における、3D_combi_info_descriptorの構造を示す図である。
【図３６】2D再生、および3D再生時のL映像として用いられるビデオに加え、複数視点のR映像のビデオを格納するトランスポートストリーム構成（2D + R1 + R2）を示す図である。
【図３７】2D + R1 + R2のストリーム構成における、3D_system_info_descriptorの構造を示す図である。
【図３８】2D + R1 + R2のストリーム構成における、3D_service_info_descriptorの構造を示す図である。
【図３９】2D + R1 + R2のストリーム構成における、3D_combi_info_descriptorの構造を示す図である。
【図４０】データ作成装置４０００の内部構成を示す図である。
【図４１】データ作成装置４０００の符号化処理の流れを示すフローチャートである。
【図４２】3Dデジタルテレビ４２００の内部構成を示す図である。
【図４３】3Dデジタルテレビ４２００による番組の再生処理の流れの一例を示すフローチャートである。
【図４４】2D + SBSのストリームの処理の流れを示すフローチャートである。
【図４５】2D/SBSのストリームの処理の流れを示すフローチャートである。
【図４６】2D/L + Rのストリームの処理の流れを示すフローチャートである。
【図４７】2D/L + R1 + R2のストリームの処理の流れを示すフローチャートである。
【図４８】MPEG2 + AVC + AVCのストリームの処理の流れを示すフローチャートである。
【図４９】MPEG2 + MVC(Base) + MVC(Dependent)のストリームの処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００２０】
以下本発明の実施の形態について、図面を参照しながら説明する。
【００２１】
（実施の形態１）
本実施の形態に係る映像フォーマットと、その映像フォーマットにおけるデータ作成方法、データ作成装置、再生方法、再生装置について説明する。
【００２２】
先ず始めに、立体視の原理について簡単に述べる。立体視の実現法としては、ホログラフィ技術を用いる方法と、視差画像を用いる方式とがある。
【００２３】
まず、１つ目のホログラフィ技術の特徴としては、人間が通常物体を認識するのと全く同じように物体を立体として再現することができるが、動画生成に関しては、技術的な理論は確立しているが、ホログラフィ用の動画をリアルタイムで生成する膨大な演算量を伴うコンピューター、及び１mmの間に数千本の線を引けるだけの解像度を持った表示装置が必要であるが、現在の技術での実現は非常に難しく、商用として実用化されている例はほとんどない。
【００２４】
次に、２つ目の視差画像を用いる方式について説明する。一般に右目と、左目は、その位置の差に起因して、右目から見える像と左目から見える像には見え方に若干の差がある。この差を利用して人間は目に見える像を立体として認識できるのである。視差画像を用いて立体表示をする場合には、人間の視差を利用し平面の画像があたかも立体に見えるようにしている。
【００２５】
この方式のメリットは、高々右目用と左目用の２つの視点の映像を準備するだけで立体視を実現できることにあり、技術的には、左右のそれぞれの目に対応した絵を、いかにして対応した目にだけ見せることができるかの観点から、継時分離方式を始めとするいくつかの技術が実用化されている。
【００２６】
継時分離方式とは、左目用映像及び右目用映像を時間軸方向で交互に表示させ、目の残像反応により左右のシーンを脳内で重ね合わさせて、立体映像として認識させる方法である。
【００２７】
また、視差画像を用いた立体視においては、右目に入る映像と左目に入る映像をそれぞれ用意する方式の他に、2D映像に対して画素単位で奥行き値が与えられたデプスマップを別途用意して、2D映像とデプスマップに基づいて左目映像と右目映像の視差画像をプレーヤやディスプレイで生成する方法がある。図２４は2D映像とデプスマップから左目映像と右目映像の視差画像を生成する例を模式的に示している。デプスマップは2D映像内のそれぞれの画素に対応して奥行き値をもっており、図２４の例では、2D映像の円形の物体は、デプスマップでは奥行きが高いことを示す情報が割り当てられ、それ以外の領域は奥行きが低いことを示す情報が割り当てられている。この情報は、画素ごとのビット列で格納しても良いし、画像イメージ（例えば「黒」を奥行きが低いことを示し、「白」を奥行きが高いことを示す画像イメージ）として格納しても良い。視差画像は、デプスマップの奥行き値から、2D映像の視差量を調整することによって作成することができる。図２４の例では、2D映像内の円形の物体の奥行き値は高いため、視差画像を作成するときには、円形の物体の画素の視差量を大きくし、円形物体以外の領域は、奥行き値が低いため、円形の物体の画素の視差量を小さくして、左目映像、右目映像を作成する。この左目映像と右目映像を、継時分離方式等を使って表示すれば立体視が可能となる。
【００２８】
以上が立体視の原理についての説明である。
【００２９】
次に、本実施の形態における再生装置の使用形態について説明する。
【００３０】
本実施の形態における再生装置は、2D映像もしくは3D映像を復号してディスプレイに映像を転送する装置である。ここでは、例としてデジタルテレビを挙げて説明する。
【００３１】
デジタルテレビには、図２に示すように3D映像が視聴可能な再生装置１００と、3D映像の再生をサポートしない2D映像のみを再生できる2Dデジタルテレビ３００がある。
【００３２】
図２（a）は、再生装置の、使用行為についての形態を示す図である。本図に示すように、デジタルテレビ１００と3D眼鏡２００とから構成され、ユーザによる使用が可能となる。
【００３３】
再生装置１００は、2D映像及び3D映像を表示することができるものであり、受信した放送波に含まれるストリームを再生することで映像を表示する。
【００３４】
本実施形態の再生装置１００は、3D眼鏡２００をユーザが着用することで立体視を実現するものである。3D眼鏡２００は、液晶シャッターを備え、継時分離方式による視差画像をユーザに視聴させる。視差画像とは、右目に入る映像と、左目に入る映像とから構成される一組の映像であり、それぞれの目に対応したピクチャだけがユーザの目に入るようにして立体視を行わせる。図２（b）は、左目用映像の表示時を示す。画面上に左目用の映像が表示されている瞬間において、前述の3D眼鏡２００は、左目に対応する液晶シャッターを透過にし、右目に対応する液晶シャッターは遮光する。同図（c）は、右目用映像の表示時を示す。画面上に右目用の映像が表示されている瞬間において、先ほどと逆に右目に対応する液晶シャッターを透光にし、左目に対応する液晶シャッターを遮光する。
【００３５】
また、別の方法の再生装置としては、先ほどの継時分離方式では左右のピクチャーを時間軸方向で交互に出力していたのに対して、一画面中の縦方向に左目用のピクチャーと右目用のピクチャーを同時に交互に並べ、ディスプレイ表面にレンチキュラーレンズと呼ばれる蒲鉾上のレンズを通して、左目用のピクチャーを構成する画素は左目だけに結像し、右目用のピクチャーを構成する画素は右目だけに結像するようにすることで、左右の目に視差のあるピクチャーを見せ、3Dとしてみることができる方式がある。なお、レンチキュラーレンズだけでなく、同様の機能を持たせたデバイス、例えば液晶素子を用いてもよい。また左目用の画素には縦偏光のフィルター、右目用の画素には横偏光のフィルターを設置し、視聴者は、左目用には縦偏光、右目用には横偏光のフィルターを設置した偏光メガネを用いてディスプレイを見ることによって立体視が可能となる偏光方式がある。
【００３６】
視差画像を用いた立体視のための方法はこの他にも２色分離方式などさまざまな技術が提案されており、本実施の例においては、継時分離方式を例として用いて説明するが、視差画像を用いる限りこの方式に限定するものではない。
【００３７】
2Dデジタルテレビ３００は、図２の（d）に示すように、再生装置１００と異なり、立体視を実現できない。2Dデジタルテレビ３００は、2D映像のみを表示することができるものであり、受信した放送波に含まれるストリームを2D映像としてのみ再生できる。
【００３８】
以上が、再生装置の使用形態についての説明である。
【００３９】
次に、デジタルテレビの放送波等で伝送される一般的なストリームの構造について説明する。
【００４０】
デジタルテレビの放送波等での伝送では、MPEG-２トランスポートストリーム形式のデジタルストリームが使われている。MPEG-２トランスポートストリームとは、ビデオやオーディオなど様々なストリームを多重化して伝送するための規格である。ISO/IEC１３８１８-１およびITU-T勧告H２２２.０において標準化されている。
【００４１】
図６は、MPEG-２トランスポートストリーム形式のデジタルストリームの構成を示す図である。本図に示すようにトランスポートストリームは、ビデオストリーム、オーディオストリーム、字幕ストリームなどを多重化することで得られる。ビデオストリームは番組の主映像を、オーディオストリームは番組の主音声部分や副音声を、字幕ストリームは番組の字幕情報を格納している。ビデオストリームは、MPEG-２、MPEG-４  AVCなどの方式を使って符号化記録される。オーディオストリームは、ドルビーAC-３、MPEG-２  AAC、MPEG-４  AAC、HE-AACなどの方式で圧縮・符号化記録されている。
【００４２】
ビデオストリームの構成について説明する。MPEG-２、MPEG-４  AVC、SMPTE  VC-１などの動画圧縮符号化においては、動画像の空間方向および時間方向の冗長性を利用してデータ量の圧縮を行う。時間方向の冗長性を利用する方法として、ピクチャ間予測符号化が用いられる。ピクチャ間予測符号化では、あるピクチャを符号化する際に、表示時間順で前方または後方にあるピクチャを参照ピクチャとする。そして、その参照ピクチャからの動き量を検出し、動き補償を行ったピクチャと符号化対照のピクチャとの差分値に対して空間方向の冗長度を取り除くことによりデータ量の圧縮を行う。
【００４３】
ここでは、参照ピクチャを持たずに符号化対象ピクチャのみを用いてピクチャ内予測符号化を行うピクチャをIピクチャと呼ぶ。ピクチャとは、フレームおよびフィールドの両者を包含する１つの符号化の単位である。また、既に処理済の１枚のピクチャを参照してピクチャ間予測符号化するピクチャをPピクチャとよび、既に処理済みの２枚のピクチャを同時に参照してピクチャ間予測符号化するピクチャをBピクチャと呼び、Bピクチャの中で他のピクチャから参照されるピクチャをBrピクチャと呼ぶ。また、フレーム構造の場合のフレーム、フィールド構造のフィールドを、ここではビデオアクセスユニットと呼ぶ。
【００４４】
また、ビデオストリームは、図７に示すような階層構造を有している。ビデオストリームは、複数のGOP（Group  of  Pictures）から構成されており、これを符合化処理の基本単位とすることで動画像の編集やランダムアクセスが可能となっている。GOPは１つ以上のビデオアクセスユニットにより構成されている。ビデオアクセスユニットは、ピクチャの符合化データを格納する単位であり、フレーム構造の場合は１フレーム、フィールド構造の場合の１フィールドのデータが格納される。各ビデオアクセスユニットは、AU識別コード、シーケンスヘッダ、ピクチャヘッダ、補足データ、圧縮ピクチャデータ、パディングデータ、シーケンス終端コード、ストリーム終端コードなどから構成される。各データはMPEG-４  AVCの場合は、NALユニットと呼ばれる単位で格納される。
【００４５】
AU識別コードはアクセスユニットの先頭を示す開始符号である。シーケンスヘッダは、複数ビデオアクセスユニットから構成される再生シーケンスでの共通の情報を格納したヘッダであり、解像度、フレームレート、アスペクト比、ビットレートなどの情報が格納される。ピクチャヘッダはピクチャ全体の符合化の方式などの情報を格納したヘッダである。補足データは圧縮データの復号に必須ではない付加情報であり、例えば、映像と同期してTVに表示するクローズドキャプションの文字情報やGOP構造情報などが格納される。圧縮ピクチャデータには、圧縮符号化されたピクチャのデータが格納される。パディングデータは、形式を整えるための意味のないデータが格納される。例えば、決められたビットレートを保つためのスタッフィングデータとして用いる。シーケンス終端コードは、再生シーケンスの終端を示すデータである。ストリーム終端コードは、ビットストリームの終端を示すデータである。
【００４６】
AU識別コード、シーケンスヘッダ、ピクチャヘッダ、補足データ、圧縮ピクチャデータ、パディングデータ、シーケンス終端コード、ストリーム終端コードの中身の構成は、ビデオの符合化方式によって異なる。
【００４７】
例えば、MPEG-４  AVCの場合であれば、AU識別コードは、AUデリミタ（Access  Unit  Delimiter）、シーケンスヘッダはSPS（Sequence  Paramter  Set）に、ピクチャヘッダはPPS（Picture  Parameter  Set）に、圧縮ピクチャデータは複数個のスライス、補足データはSEI（Supplemental  Enhancement  Information）、パディングデータはFillerData、シーケンス終端コードはEnd  of  Sequence、ストリーム終端コードはEnd  of  Streamに対応する。
【００４８】
例えば、MPEG-２の場合であれば、シーケンスヘッダはsequence_Header、sequence_extension、group_of_picture_headerに、ピクチャヘッダはpicture_header、picture_coding_extension、圧縮ピクチャデータは複数個のスライス、補足データはuser_data、シーケンス終端コードはsequence_end_codeに対応する。AU識別コードは存在しないが、それぞれのヘッダのスタートコードを使えば、アクセスユニットの切れ目を判断できる。
【００４９】
各データは常に必要ではなく、例えば、シーケンスヘッダはGOP先頭のビデオアクセスユニットでのみ必要で、それ以外のビデオアクセスユニットにはなくてもよい、としてもよい。また、符号化方式によっては、ピクチャヘッダは前のビデオアクセスユニットのものを参照して、自身のビデオアクセスユニット内にピクチャヘッダがなくても良い。
【００５０】
ここで、クロッピング領域情報とスケーリング情報について図１１を参照しながら説明する。ビデオ符号化方式によっては、符号化されたフレームの領域と、実際に表示に使う領域を変更することができる。図１１のように、符号化されたフレーム領域の中から実際に表示する領域を、「クロッピング領域」として指定することが出来る。例えば、MPEG-４  AVCの場合には、SPSに格納されるframe_cropping情報を使って指定できる。frame_cropping情報は、図１２左のように、クロッピンング領域の上線/下線/左線/右線と、符号化されたフレーム領域の上線/下線/左線/右線との差分を、上下左右のクロップ量として指定する。より具体的には、クロッピング領域を指定する場合には、frame_cropping_flagを1に設定し、frame_crop_top_offset / frame_crop_bottom_offset / frame_crop_left_offset / frame_crop_right_offsetに上/下/左/右のクロップ量を指定する。MPEG-２の場合には、クロッピング領域の縦横のサイズ(sequence_display_extensionのdisplay_horizontal_size, display_vertical_size)と、符号化されたフレーム領域の中心とクロッピング領域の中心との差分情報(picture_display_extensionのframe_centre_horizontal_offset, frame_centre_vertical_offset)を使ってクロッピング領域を指定できる。また、ビデオ符号化方式によっては、クロッピング領域を実際にテレビなどに表示する際のスケーリング方法を示すスケーリング情報が存在する。これは、例えばアスペクト比として設定される。再生装置はそのアスペクト比の情報を使って、クロッピング領域をアップコンバートして表示を行う。例えば、MPEG-４  AVCの場合には、スケーリング情報として、SPSにアスペクト比の情報(aspect_ratio_idc)が格納される。MPEG-４  AVCの場合、１４４０x１０８０のクロッピング領域を、１９２０x１０８０に拡大して表示するためには、アスペクト比は４：３を指定する。この場合水平方向に4/3倍にアップコンバート（１４４０x４/３=１９２０）され、１９２０x１０８０に拡大されて表示される。MPEG-２の場合にも同様にsequence_headerにアスペクト比の情報(aspect_ratio_information)が格納されている。
【００５１】
トランスポートストリームに含まれる各ストリームはPIDと呼ばれるストリーム識別IDによって識別される。このPIDのパケットを抽出することで複合装置は、対象のストリームを抽出することが出来る。PIDとストリームの対応は以降で説明するPMTパケットのディスクリプタに格納される。
【００５２】
図６は、トランスポートストリームがどのように多重化されるかを模式的に示す図である。まず、複数のビデオフレームからなるビデオストリーム５０１、複数のオーディオフレームからなるオーディオストリーム５０４を、それぞれPESパケット列５０２および５０５に変換し、TSパケット５０３および５０６に変換する。同じく字幕ストリーム５０７のデータをそれぞれPESパケット列５０８に変換し、更にTSパケット５０９に変換する。MPEG-２トランスポートストリーム５１３はこれらのTSパケットを１本のストリームに多重化することで構成される。
【００５３】
図８は、PESパケット列に、ビデオストリームがどのように格納されるかを更に詳しく示している。本図における第１段目はビデオストリームのビデオフレーム列を示す。第２段目は、PESパケット列を示す。本図の矢印yy１,yy２, yy３, yy４に示すように、ビデオストリームにおける複数のVideo  Presentation  UnitであるIピクチャ、Bピクチャ、Pピクチャは、ピクチャ毎に分割され、PESパケットのペイロードに格納される。各PESパケットはPESヘッダを持ち、PESヘッダには、ピクチャの表示時刻であるPTS（Presentation  Time-Stamp）やピクチャの復号時刻であるDTS（Decoding  Time-Stamp）が格納される。
【００５４】
図９は、トランスポートストリームを構成するTSパケットのデータ構造を示している。TSパケットは、４ByteのTSヘッダと、アダプテーションフィールドとTSペイロードから構成される１８８Byte固定長のパケットである。TSヘッダは、transport_priority、PID、adaptaion_field_controlなどから構成される。PIDは前述したとおりトランスポートストリームに多重化されているストリームを識別するためのIDである。transport_priorityは、同一PIDのTSパケットの中のパケットの種別を識別するための情報である。adaptation_field_controlは、アダプテーションフィールドとTSペイロードの構成を制御するための情報である。アダプテーションフィールドとTSペイロードはどちらかだけが存在する場合と両方が存在する場合があり、adaptation_field_controlはその有無を示す。adaptation_field_controlが１の場合は、TSペイロードのみが存在し、adaptation_field_controlが２の場合は、アダプテーションフィールドのみが存在し、adaptation_field_controlが３の場合は、TSペイロードとアダプテーションフィールドの両方が存在することを示す。
【００５５】
アダプテーションフィールドは、PCRなどの情報の格納や、TSパケットを１８８バイト固定長にするためのスタッフィングするデータの格納領域である。TSペイロードにはPESパケットが分割されて格納される。
【００５６】
トランスポートストリームに含まれるTSパケットには、映像・音声・字幕などの各ストリーム以外にもPAT（Program  Association  Table）、PMT（Program  Map  Table）、PCR（Program  Clock  Reference）などがある。これらのパケットはPSI（Program  Specific  Information）と呼ばれる。PATはトランスポートストリーム中に利用されるPMTのPIDが何であるかを示し、PAT自身のPIDは０で登録される。PMTは、トランスポートストリーム中に含まれる映像・音声・字幕などの各ストリームのPIDと各PIDに対応するストリームの属性情報を持ち、またトランスポートストリームに関する各種ディスクリプタを持つ。ディスクリプタにはAVストリームのコピーを許可・不許可を指示するコピーコントロール情報などがある。PCRは、TSパケットのデコーダへの到着時刻とPTS・DTSの時間軸であるSTC（System  Time  Clock）の同期を取るために、そのPCRパケットがデコーダに転送されるタイミングに対応するSTC時間の情報を持つ。
【００５７】
図１０はPMTのデータ構造を詳しく説明する図である。PMTの先頭には、そのPMTに含まれるデータの長さなどを記したPMTヘッダが配置される。その後ろには、トランスポートストリームに関するディスクリプタが複数配置される。前述したコピーコントロール情報などが、ディスクリプタとして記載される。ディスクリプタの後には、トランスポートストリームに含まれる各ストリームに関するストリーム情報が複数配置される。ストリーム情報は、ストリームの圧縮コーデックなどを識別するためストリームタイプ、ストリームのPID、ストリームの属性情報（フレームレート、アスペクト比など）が記載されたストリームディスクリプタから構成される。  
【００５８】
以上がデジタルテレビの放送波等で伝送される一般的なストリームの構造の説明である。
【００５９】
次に、立体視に使う視差画像を実現するための一般的な映像フォーマットについて説明する。
【００６０】
視差画像を使った立体視の方式では、右目に入る映像と、左目に入る映像とを各々用意し、それぞれの目に対応したピクチャだけが入るようにして立体視を行う。図３は、ユーザの顔を左側に描き、右側には、対象物たる恐竜の骨格を左目から見た場合の例と、対象物たる恐竜の骨格を、右目から見た場合の例とを示している。右目及び左目の透光、遮光から繰り返されば、ユーザの脳内では、目の残像反応により左右のシーンの重合せがなされ、顔の中央の延長線上に立体映像が存在すると認識することができる。
【００６１】
視差画像のうち、左目に入る画像を左目画像(L画像)といい、右目に入る画像を右目画像(R画像)という。そして、各々のピクチャが、L画像になっている動画像をレフトビュービデオといい、各々のピクチャがR画像になっている動画像をライトビュービデオという。
【００６２】
レフトビュービデオとライトビュービデオを合成して圧縮符号化する3Dの映像方式には、フレーム互換方式とサービス互換方式がある。
【００６３】
まず１つ目のフレーム互換方式は、レフトビュービデオとライトビュービデオの対応する各ピクチャをそれぞれ間引きまたは縮小した上で一つのピクチャに合成して、通常の動画像圧縮符号化を行う方式である。一例としては、図４に示すような、Side-by-Side方式がある。Side-by-Side方式では、レフトビュービデオとライトビュービデオの対応する各ピクチャをそれぞれ水平方向に１/２に圧縮した上で、左右に並べることで一つのピクチャに合成する。合成されたピクチャによる動画像は、通常の動画像圧縮符号化が行われてストリーム化される。一方再生時は、ストリームを通常の動画像圧縮符号化方式に基づいて動画像に復号化される。復号化された動画像の各ピクチャは、左右画像に分割されて、それぞれ水平方向に２倍に伸長されることによって、レフトビュービデオとライトビュービデオの対応する各ピクチャが得られる。得られたレフトビュービデオのピクチャ（L画像）とライトビュービデオのピクチャ（R画像）を交互に表示することによって、図２に示すような立体視画像を得ることができる。フレーム互換方式にはSide-by-Side方式の他に、左右画像を上下に並べるTop  and  Bottom方式や、ピクチャ内の１ライン毎に左右画像を交互に配置するLine  Alternative方式などがある。
【００６４】
このような立体視用の左右の映像の格納方式を識別する手段として、ビデオストリームには、フレームパッキング情報が用意されている。フレームパッキング情報は、例えばMPEG-４  AVCでは、Frame_packing_arrangement SEIである。図１は、フレームパッキング情報を説明する図である。図１下段は、ビデオフレーム列を示す。区間(A)はSide-by-Sideの映像が再生される区間であり、区間(B)は2D映像が再生される区間であり、区間(C)はTopBottom映像が再生される区間である。このような再生区間におけるフレームパッキング情報の例を図１の上段に示している。フレームパッキング情報には、フレーム格納タイプ、キャンセルフラグ、リピートフラグがある。フレーム格納タイプは、立体視用の左右の映像をフレーム内に格納する方式のタイプを示し、前述で説明した「Side-by-Side」「TopBottom」「チェッカーボード」「ラインバイライン」といった方式を識別する情報である。MPEG-4 AVCのFrame_packing_arrangementでは、Frame_packing_arrangement_typeに対応する。リピートフラグは、フレームパッキング情報の有効期間を示し、０であればフレームパッキング情報は該当フレームのみに対して有効であることを示し、１であれば該当フレームパッキング情報は、次のビデオシーケンスが来るまでか、ディスプレイ順で該当フレームよりも遅いフレームパッキング情報を持ったフレームがくるまで有効となる。MPEG-4 AVCのFrame_packing_arrangementでは、Frame_packing_arrangement_repetition_periodに対応する。キャンセルフラグは、前回のフレームパッキング情報の有効期間をキャンセルするフラグである。キャンセルフラグが１の場合には、以前に送出されたフレームパッキング情報がキャンセルされ、０の場合には該当のフレームパッキング情報が有効となる。MPEG-4 AVCのFrame_packing_arrangementでは、Frame_packing_arrangement_cancel_flagに対応する。
【００６５】
Side-by-Side再生区間の先頭に格納されているフレームパッキング情報（A）のフレーム格納タイプはSide-by-Side、リピートフラグは１、キャンセルフラグは０となっている。Side-by-Side再生区間の先頭には、フレームパッキング情報は格納されておらず、また、リピートフラグは１であるため、この区間のフレーム列においては、Side-by-Side再生区間の先頭に格納されているフレームパッキング情報（A）が有効となる。2D再生区間の先頭に格納されているフレームパッキング情報（B）には、キャンセルフラグは１となっており、フレーム格納タイプやリピートフラグは格納されない。2D区間では、フレームパッキング情報は不要であるため、この先頭でキャンセルした後には、フレームパッキング情報は格納されていない。TopBottom再生区間には、フレームパッキング情報（C）が全てのフレームに格納されている。フレームパッキング情報（C）のフレーム格納タイプはTopBottom、リピートフラグは０、キャンセルフラグは０となっている。リピートフラグは０であるため、すべてのフレームがTopBottomであることを示すために、すべてのフレームにフレームパッキング情報を格納する必要がある。
【００６６】
このようにビデオストリームにフレームパッキング情報を格納することにより、再生装置はその情報を参照することで、方式に従った立体視の表示処理を実現できる。
【００６７】
次に、２つ目のサービス互換方式について説明する。サービス互換方式では、レフトビュービデオ、ライトビュービデオをデジタル化し、圧縮符号化することにより得られるビデオストリームである、レフトビュービデオストリームとライトビュービデオストリームを用いる。
【００６８】
サービス互換方式において、レフトビュービデオ、ライトビュービデオを視点間の相関特性を利用したピクチャ間予測符号化技術により圧縮符号化したものを、特にマルチビュー符号化方式と呼ぶ。
【００６９】
図５は、マルチビュー符号化方式による立体視のためのレフトビュービデオストリーム、ライトビュービデオストリームの内部構成の一例を示す図である。
【００７０】
本図の第２段目は、レフトビュービデオストリームの内部構成を示す。このストリームには、ピクチャデータI１、P２、Br３、Br４、P５、Br６、Br７、P９というピクチャデータが含まれている。これらのピクチャデータは、Decode  Time  Stamp（DTS）に従いデコードされる。第１段目は、左目画像を示す。そうしてデコードされたピクチャデータI１、P２、Br３、Br４、P５、Br６、Br７、P９をPTSに従い、I１、Br３、Br４、P２、Br６、Br７、P５の順序で再生することで、左目画像が再生されることになる。本図において、参照ピクチャを持たずに符号化対象ピクチャのみを用いてピクチャ内予測符号化を行うピクチャをIピクチャと呼ぶ。ピクチャとは、フレームおよびフィールドの両者を包含する１つの符号化の単位である。また、既に処理済の１枚のピクチャを参照してピクチャ間予測符号化するピクチャをPピクチャと、既に処理済みの２枚のピクチャを同時に参照してピクチャ間予測符号化するピクチャをBピクチャと、Bピクチャの中で他のピクチャから参照されるピクチャをBrピクチャとそれぞれ呼ばれる。
【００７１】
第４段目は、レフトビュービデオストリームの内部構成を示す。このレフトビュービデオストリームは、P１、P２、B３、B４、P５、B６、B７、P８というピクチャデータが含まれている。これらのピクチャデータは、DTSに従いデコードされる。第３段目は、右目画像を示す。そうしてデコードされたピクチャデータP１、P２、B３、B４、P５、B６、B７、P８をPTSに従い、P１、B３、B４、P２、B６、B７、P５の順序で再生することで、右目画像が再生されることになる。ただし、継時分離方式の立体視再生では、同じPTSが付された左目画像と右目画像とのペアうち一方の表示を、PTSの間隔の半分の時間（以下、「3D表示ディレイ」という）分だけ遅延して表示する。
【００７２】
第５段目は、3D眼鏡２００の状態をどのように変化させるかを示す。この第５段目に示すように、左目画像の視聴時は、右目のシャッターを閉じ、右目画像の視聴時は、左目のシャッターを閉じていることがわかる。
【００７３】
これらのレフトビュービデオストリーム、ライトビュービデオストリームは、時間方向の相関特性を利用したピクチャ間予測符号化に加えて、視点間の相関特性を利用したピクチャ間予測符号化によって圧縮されている。ライトビュービデオストリームのピクチャは、レフトビュービデオストリームの同じ表示時刻のピクチャを参照して圧縮されている。
【００７４】
例えば、ライトビュービデオストリームの先頭Pピクチャは、レフトビュービデオストリームのIピクチャを参照し、ライトビュービデオストリームのBピクチャは、レフトビュービデオストリームのBrピクチャを参照し、ライトビュービデオストリームの二つ目のPピクチャは、レフトビュービデオストリームのPピクチャを参照している。
【００７５】
そして、圧縮符号化されたレフトビュービデオストリーム及びライトビュービデオストリームのうち、単体で復号化が可能になるものを"ベースビュービデオストリーム"という。また、レフトビュービデオストリーム及びライトビュービデオストリームのうち、ベースビュービデオストリームを構成する個々のピクチャデータとのフレーム間相関特性に基づき圧縮符号化されており、ベースビュービデオストリームが復号された上で復号可能になるビデオストリームを、"ディペンデントビューストリーム"という。なおベースビュービデオストリームとディペンデントビューストリームは、それぞれ別々のストリームとして格納や伝送されてもよいし、例えばMPEG２-TSなどの同一のストリームに多重化されてもよい。
【００７６】
このように視点間の相関を利用したマルチビュー符号化方式の圧縮方法としては、Multiview  Video  Coding（MVC）と呼ばれるMPEG-４  AVC/H.２６４の修正規格がある。ISO/IEC  MPEGとITU-T  VCEGの共同プロジェクトであるJoint  Video  Team（JVT）は、２００８年7月にMultiview  Video  Coding（MVC）と呼ばれるMPEG-４  AVC/H.２６４の修正規格の策定を完了した。MVCは、複数視点の映像をまとめて符号化する規格であり、映像の時間方向の類似性だけでなく視点間の類似性も予測符号化に利用することで、複数視点の独立した圧縮に比べて圧縮効率を向上している。
【００７７】
以上が立体視に使う視差画像を実現するための一般的な映像フォーマットについての説明である。（3D映像を格納するデータフォーマット）
次に、本実施の形態に係る3D映像を格納するデータフォーマットについて、図面を参照しながら説明を行う。
【００７８】
図１で示したように、フレームパッキング情報を格納する符号方法としては、フレームパッキング情報（A）、フレームパッキング情報（B）のように、再生区間の先頭のみに配置する方法や、フレームパッキング（C）のように各フレームすべてに格納する方法が混在するケースがある。このように、異なるフレームパッキング情報を格納する方法が混在すると、再生および編集装置において処理が非効率である。例えば、図１のSide-byーSide再生区間（A）の、先頭以外のビデオフレームから飛び込み再生を行う場合には、Side-By-Side先頭のフレームに格納されるフレームパッキング情報を解析して取得する必要がある。例えば、TopBottom再生区間（C）の再生を行う際には、全フレームにおいてフレームパッキング情報の解析が必要であり、処理負荷がかかる。そこで、本実施の形態では、フレームパッキング情報を格納する符号方法を、再生装置が前もって特定でき、再生処理の効率化ができるように、以下のような映像フォーマット構造をとる。
【００７９】
図１３を参照して映像フォーマットの構造を説明する。図１３の例はSide-By-Side方式のフレーム互換方式の3D映像を格納する場合の例である。トランスポートストリームに格納されるビデオストリームは、MPEG-４AVCやMPEG-２など映像符号化方式で圧縮されているビデオストリームである。
【００８０】
ビデオストリームの補足データには、フレームパッキング情報が格納されている。フレームパッキング情報は、図１を使って説明した情報である。フレームパッキング情報には、フレーム格納タイプ、リピートフラグ、キャンセルフラグが格納される。フレームパッキング情報は、図１を使って説明したように、全てのビデオアクセスユニットの補足データに格納せずに、リピートフラグを１に設定して、GOP先頭のみに格納して、他のビデオアクセスユニットには格納しないようにすることも出来る。
【００８１】
PMTパケットには、フレームパッキング情報ディスクリプタが格納される。フレームパッキング情報ディスクリプタは、トランスポートストリームに格納されるビデオストリーム毎に用意され、該当のビデオストリームの補足データに含まれるフレームパッキング情報の属性情報を格納する。フレームパッキング情報ディスクリプタには、「フレーム格納タイプ」、「フレームパッキング情報格納タイプ」、「開始PTS」が格納される。
【００８２】
フレーム格納タイプは、フレームパッキング情報のフレーム格納タイプと同じ意味を持ち、該当ビデオストリームの立体視映像のフレーム格納方式（Side-by-Side方式など）を示す。この情報は、該当ビデオストリームの補足データに含まれるフレームパッキング情報のフレーム格納タイプと一致する。再生装置は、フレーム格納タイプを参照することにより、ビデオストリームを解析せずとも立体映像のフレーム格納方式を判断することができる。これにより、例えば、再生装置は、3D表示方法を前もって判断できることにより、3D表示用のOSDの生成処理など3D表示に必要な処理を前もって、ビデオストリームのデコードの前に行うことが可能となる。
【００８３】
フレームパッキング情報格納タイプは、該当ビデオストリームに含まれるフレームパッキング情報の挿入方法を示している。図１を使って説明したように、フレームパッキング情報は、リピートフラグを１に設定して、GOP先頭のみに格納して、他のビデオアクセスユニットには格納しないようにすることも出来る。また反対にリピートフラグを０に設定して、すべてのフレームに格納するようにすることも出来る。フレームパッキング情報格納タイプは、このフレームパッキング情報の格納方法を特定するための情報であり、つまり、フレームパッキング情報タイプが、「GOP単位」であればGOP先頭のビデオアクセスユニットの補足データのみにフレームパッキング情報が格納されることを示し、「アクセスユニット単位」であれば全ビデオアクセスユニットの補足データのみにフレームパッキング情報が格納されることを示す。再生装置は、フレームパッキング情報格納タイプを参照することにより、ビデオストリームを解析せずともフレームパッキング情報の格納方法を判別できため、再生および編集処理を効率化できる。例えば、GOP先頭以外のフレームにも飛び込み再生を行う再生装置の場合には、フレームパッキング情報格納タイプを参照することで、それが「GOP先頭」を示す場合には、常にGOP先頭のみから飛び込み再生を開始するように制御できる。
【００８４】
なお、フレームパッキング情報ディスクリプタには、GOP単位で属性が変化するかどうかを示す情報が格納されていても良い。このような構成にすることで、例えば、フレームパッキング情報格納タイプが「フレーム単位」で、GOP内で属性が変化しないことが示されれば、全フレームで同じフレームパッキング情報が格納されることが明示されるため、ビデオストリームに含まれるGOP先頭以外のフレームパッキング情報の解析をスキップすることができる。
【００８５】
開始PTSは、該当のフレームパッキング情報ディスクリプタが有効となる時刻を示す。PMTパケットの位置は、ビデオストリームの多重化位置と一般的に同期しないため、該当のフレームパッキング情報ディスクリプタが有効となる時間をビデオストリームの表示時刻上で知ることができない。そこで、この開始PTSを参照することで、フレームパッキング情報ディスクリプタが有効となる時刻を再生装置は知ることができる。開始PTSは、ビデオに付与されるPTSを示すように制限してもよく、そうすることで明確にビデオとの同期を再生装置に指示できる。なお、再生装置がビデオデコードよりも前にフレームパッキング情報ディスクリプタを参照できるように、開始PTSと同じPTSが付与されるビデオアクセスユニットよりも、該当開始PTSを含むフレームパッキング情報ディスクリプタが格納されるPMTパケットは、多重化（符号）順で、前方に配置されるとしてもよい。上記開始PTSを含むPMTパケットが複数存在する場合には、先頭のパケットのみが多重化（符号）順で、前方に配置されるとしてもよい。
【００８６】
図１４は、フレームパッキング情報ディスクリプタとフレームパッキング情報の関係の例を示す図である。図１４下段は、ビデオフレーム列を表示順に並べた図である。区間(A)はSide-by-Sideの映像が再生される区間であり、区間(B)は2D映像が再生される区間であり、区間(C)はTopBottom映像が再生される区間である。このような再生区間におけるフレームパッキング情報の例を図１４の中段に示している。これは図１で示した構成と同じである。ここで、図１４上段は、このデータ構成におけるフレームパッキング情報ディスクリプタの構成を示す。
【００８７】
フレームパッキング情報ディスクリプタ（A）は、Side-by-Side再生区間（A）におけるフレームパッキング情報に対応する情報を含む。フレームパッキング情報ディスクリプタ（A）の各値は次のように設定される。フレーム格納タイプは、フレームパッキング情報のフレーム格納タイプと同じ「Side-by-Side」、フレームパッキング情報格納タイプはフレームパッキング情報が区間先頭のみに格納されているため「GOP先頭」、開始PTSは再生区間（A）における先頭の「ビデオPTSの値（例では１８００００）」が設定される。
【００８８】
フレームパッキング情報ディスクリプタ（B）は、2D再生区間（B）におけるフレームパッキング情報に対応する情報を含む。フレームパッキング情報ディスクリプタ（B）の各値は次のように設定される。フレーム格納タイプは、フレームパッキング情報のフレーム格納タイプと同じであり設定されない。もしくは、「2D」というフレーム格納タイプが定義されるのであれば、その値が設定される。フレームパッキング情報格納タイプはフレームパッキング情報が区間先頭のみに格納されているため「GOP先頭」が設定される。開始PTSは再生区間（B）における先頭の「ビデオPTSの値（例では5580000）」が設定される。
【００８９】
フレームパッキング情報ディスクリプタ（C）は、TopBottom再生区間（C）におけるフレームパッキング情報に対応する情報を含む。フレームパッキング情報ディスクリプタ（C）の各値は次のように設定される。フレーム格納タイプは、フレームパッキング情報のフレーム格納タイプと同じ「TopBottom」、フレームパッキング情報格納タイプはフレームパッキング情報が区間の全ビデオアクセスユニットに格納されているため「アクセスユニット単位」、開始PTSは再生区間（C）における先頭の「ビデオPTSの値（例では10980000）」が設定される。
【００９０】
以上が、本実施の形態に係る映像フォーマットの説明である。（3D映像の再生装置）
次に本実施の携帯に係る3D映像を再生する再生装置の構成について図１５を用いて説明する。
【００９１】
再生装置は、具体的には、3D映像の表示に対応するプラズマテレビや液晶テレビであり、ビデオストリームを送出するトランスポートストリームを受信する。ここでは継時分離方式でシャッタ眼鏡を利用する3D方式のテレビとする。再生装置は、IPネットワーク及び再生装置と接続され、これらから出力されたビデオストリームをも復号して表示する。
【００９２】
再生装置は、図１５に示すように、チューナ１５０１、NIC１５０２、多重分離部１５０３、映像デコード部１５０４、表示判定部１５０５、表示処理部１５０６、表示部１５０７、フレームバッファ（１）１５１０、フレームバッファ（２）１５１１、スイッチ１５１２から構成される。
【００９３】
チューナ１５０１は、デジタル放送波のトランスポートストリームを受信し、受信した信号を復調する機能を有している。
【００９４】
NIC１５０２は、IPネットワークと接続されており、外部から出力されたトランスポートストリームを受信する機能を有している。
【００９５】
多重化分離部１５０３は、受信したトランスポートストリームを、ビデオストリームと、それ以外の音声ストリームなどに分離し、ビデオストリームを映像デコード部１５０４へ出力する。また多重分離部は、受信したトランスポートストリームからPSIなどのシステムパケットを抽出し、PMTパケットから、「フレームパッキング情報ディスクリプタ」を取得し、表示判定部や映像デコード部に通知する。多重化分離部１５０３は、チューナ１５０１やNIC１５０２からの入力に加えて、記録媒体からトランスポートストリームを読み出すこともできる。
【００９６】
映像デコード部１５０４は、ビデオストリームを多重化分離部１５０３から受け取ると、受け取ったストリームのデコードを行うとともに、ビデオストリーム中の「フレームパッキング情報」を取り出す機能を有している。この映像デコード部１５０４により、フレーム単位の映像が復号される。ここで、多重化分離部１５０３より通知されるフレームパッキング情報ディスクリプタの「フレームパッキング情報格納タイプ」がGOP単位であれば、「フレームパッキング情報」の取り出しをGOP先頭のビデオアクセスユニット以外はスキップできる。
【００９７】
映像デコード部１５０４は、復号されたフレームをフレームバッファ（１）１５０８へ書き込み、「フレームパッキング情報」を表示判定部１５０６に出力する。
【００９８】
フレームバッファ（１）１５０８は、映像デコード部１５０４でデコードされたフレームを格納するための領域を有する。
【００９９】
表示判定部１５０５は、「フレームパッキング情報ディスクリプタ」や「フレームパッキング情報」を元に表示方法を決定する。「フレームパッキング情報ディスクリプタ」や「フレームパッキング情報」に格納されるフレーム格納タイプにしたがって、3D映像の格納方式を判別して、「フレームパッキング情報ディスクリプタ」の「開始PTS」や、フレームパッキング情報が格納されるビデオのPTSのタイミングで、表示処理部に通知する。表示判定部１５０５は、このように表示方法を決定して、その内容を表示処理部１５０６に通知する。
【０１００】
表示処理部１５０６は、フレームバッファ(１）に格納された復号化されたフレームデータを、表示判定部１５０５からの指示に従って変形を行い、フレームバッファ（L）やフレームバッファ（R）に書き出す。Side-by-Side方式の場合は、表示処理部１５０６はフレームの左半分からHalfHDの左目画像をクロップしてフレームバッファ（L）に書き出し、表示処理部１５０６はフレームの右半分からHalfHDの右目画像をクロップしてフレームバッファ（R）に書き出す。TopBottom方式の場合は、表示処理部１５０６はフレームの上半分からHalfHDの左目画像をクロップしてフレームバッファ（L）に書き出し、表示処理部１５０６はフレームの下半分からHalfHDの右目画像をクロップしてフレームバッファ（R）に書き出す。2Dの場合は、フレームバッファ（１）の映像をフレームバッファ（L）とフレームバッファ（R）の両方に書き出す。
【０１０１】
フレームバッファ（L）１５１０、フレームバッファ（R）１５１１は、表示処理部１５０６から出力されるフレームを格納するための領域を有する。
【０１０２】
スイッチ１５１２は、フレームバッファ（L）１５１０、フレームバッファ（R）１５１１に書き出されたフレーム画像を選択して表示部に転送する。表示するフレームに応じてフレームバッファ（L）１５１０、フレームバッファ（R）１５１１を交互に選択して表示する。
【０１０３】
表示部は１５０６は、スイッチ１５１２から転送されたフレームを表示する。表示部１５０６は3D眼鏡に通信を行い、左目画像が表示されるときは、3D眼鏡の左目側が開き、右目画像が表示されるときは、3D眼鏡の右目側が開くように3D眼鏡の液晶シャッタを制御する。なお、2D映像を表示する場合には、3D眼鏡の制御は行われない。
【０１０４】
以上が本実施の形態に係る再生装置の説明である。
【０１０５】
なお、フレームパッキング情報ディスクリプタは、PMTパケット以外にも、番組情報などを含めた SI (Service Information) のディスクリプタ、TSパケットヘッダ、PESヘッダなどに格納しても良い。
【０１０６】
なお、フレームパッキング情報ディスクリプタのフレームパッキング情報格納タイプには、「GOP単位」と「アクセスユニット単位」があるとしたが、PESパケットに1つ存在することを示す「PESパケット単位」、Iピクチャに1つ存在することを示す「Iピクチャ単位」、フレームパッキング情報に含まれる値が切り替わる度に１つ存在することを示す「属性切り替わり単位」など他のタイプがあっても良い。
【０１０７】
なお、フレームパッキング情報ディスクリプタには、前のPMTパケットに格納されるフレームパッキング情報ディスクリプタの値と変化があるかどうかが分かる識別子が存在しても良い。この識別子を参照することで、変化がない場合には、フレームパッキング情報ディスクリプタの解析処理や表示判定部への通知および表示判定部の処理をスキップすることが出来る。
【０１０８】
なお、フレームパッキング情報ディスクリプタのフレームパッキング情報格納タイプとして、リピートフラグが格納されていても良い。例えば、フレームパッキング情報ディスクリプタのリピートフラグが１であればGOP単位、フレームパッキング情報ディスクリプタのリピートフラグが０であればアクセスユニット単位と再生装置は判定できる。
【０１０９】
なお、フレームパッキング情報ディスクリプタのフレームパッキング情報格納タイプは、フレーム格納タイプ毎に設定できるようにしてもよい。例えば、Side-by-Side方式の場合は「GOP単位」、TopBottom方式の場合は「フレーム単位」というように設定できても良い。なお、フレームパッキング情報ディスクリプタのフレームパッキング情報格納タイプは、フレームパッキング情報のID毎に設定できても良い。図１の説明では省略したが、フレームパッキング情報は、IDを持って複数設定することが可能である。このIDはMPEG-４  AVCのFrame_packing_arrangement SEIにおけるFrame_packing_arrangement_idに対応する。このID毎に、フレームパッキング情報格納タイプを設定できても良い。このようにすることで、PMTパケットのフレームパッキング情報ディスクリプタを毎回解析しなくても、一度、解析できれば、それを使い続けることが出来る。（3D映像を格納するデータフォーマットの変形例）
次に、本実施の形態に係る3D映像を格納するデータフォーマットの変形例について図面を参照しながら説明を行う。
【０１１０】
再生装置において、3D映像から2D映像への切り替え、2D映像から3D映像への切り替えなどの表示切替処理には、処理時間を伴うケースがある。例えば、HDMIなどでテレビと接続をしている場合には、2D映像と3D映像間の切り替え時に、HDMIの再認証が発生するケースがある。この場合には、切り替え処理の間には、映像が正しく再生できないという問題が発生する。そこで、以下のケースではその課題をかんがみ、再生装置における切り替え時間を適切に制御することで、コンテンツ製作者の期待通りの再生を実現可能とする。
【０１１１】
図１６上段は、TSパケット列と再生するビデオフレーム列との関係を示す図である。ビデオフレーム列は、PTS５５８００００まではSide-by-Sideの3D映像再生区間であり、PTS５５８００００からは2D映像再生区間となっている。この場合に、TSパケット内のPMTパケットに含まれるフレームパッキング情報ディスクリプタの構成が上部の(1)から(4)に記載されている。(1)はSide-by-Side区間を示すディスクリプタであり、(2)(3)(4)は2D区間を示すディスクリプタである。ここで、前述したように、多重化されたTSパケットがデコーダに到着する時刻と、ビデオの表示時刻には（A）で示すように時間のギャップが存在する。具体的には、（２）のディスクリプタが2Dであると通知する時刻では、まだビデオ表示時刻においては、Side-By-Sideを表示している区間となる。よって、再生装置が、PMTパケットが到着する時刻において、PMTパケット内のフレームパッキング情報ディスクリプタを参照して、表示処理を行ってしまうと、ギャップ（A）の時間で、表示切替処理が行われ、ギャップ（A）は正しく3D映像として再生できなくなる。
【０１１２】
そこで、図１６下段のように、フレームパッキング情報ディスクリプタに「処理優先度」を格納する。この「処理優先度」は、PMTのフレームパッキング情報ディスクリプタを優先して処理することを示す「ディスクリプタ優先」と、ビデオストリームに格納されるフレームパッキング情報を優先して処理することを示す「ビデオ優先」の2種類が用意される。処理優先度が、「ディスクリプタ優先」である場合には、再生装置は、PMTに含まれるフレームパッキング情報ディスクリプタを優先して、表示の切り替え処理を行う。PMTパケットが到着して処理を行うことで、ギャップ（A）の中で表示切替処理を行う。この場合の再生遷移を図１６下段下部の再生遷移Xで示している。このようにすることで、Side-by-Sideの再生区間の終端は表示切替処理により正しく再生できないが、その代わりに、2D再生区間は先頭から正しく再生することが出来る。
【０１１３】
処理優先度が、「ビデオ優先」である場合には、再生装置は、ビデオに含まれるフレームパッキング情報を優先して、表示の切り替え処理を行う。PMTパケットが到着しても表示切り替え処理を行わず、ビデオストリームの表示時刻のタイミングから表示切替処理を行う。この場合には、ギャップ（A）においては正しくデータの再生が行われ、PTS５５８００００の2D映像に遷移した時点から区間(B)を使って表示切り替え処理を行う。この場合の再生遷移を図１６下段下部の再生遷移Yで示している。このようにすることで、2D再生区間の先頭部分は表示切替処理により正しく再生できないが、Side-by-Side再生区間の終端部分は正しく再生できる。
【０１１４】
このように処理優先度を設けることによって、再生装置に、コンテンツ製作者の意図を反映させて表示切り替え処理の時刻を制御できる。図１６の例においては、コンテンツ製作者の意図において、2D映像の再生を優先させる場合には、処理優先度を「ディスクリプタ優先」に設定し、Side-by-Sideの3D映像の再生を優先させる場合には、処理優先度を「ビデオ優先」に設定すればよい。なお、処理優先度によって表示切替処理が行われる区間には、黒映像など無意味な映像を格納するようにしてもよい。その区間は、図１６の例では、処理優先度が「ディスクリプタ優先」の場合のギャップ（A）であり、処理優先度が「ビデオ優先」の場合の（B）区間である。このようにすることで、ユーザがコンテンツを楽しめなくなる区間を発生させずにすむ。
【０１１５】
なお、フレームパッキング情報ディスクリプタには処理優先度ではなく、図１７に示すように表示切替開始時刻を設定するようにしてもよい。このように構成することで、より正確に表示処理の開始時間を制御することが出来る。
【０１１６】
以上が、本実施の形態に係る3D映像を格納するデータフォーマットの変形例の説明である。（3D映像を２本のビデオストリームで構成する場合のデータフォーマット）
次に、本実施の形態に係る3D映像を２本のビデオストリームで構成する場合のデータフォーマットについて図面を参照しながら説明を行う。
【０１１７】
フレーム互換方式の3D映像を例にとって説明したが、図１８に示すように左目映像と右目映像を別々のビデオストリームとして、１本のトランスポートストリームに格納するようにして、2D映像は左目、右目のどちらかの映像を再生し、3D映像は左目、右目の両方を再生する、という構成にしてもよい。
【０１１８】
図１９は、図１８の構成における左目/右目映像のビデオストリームのフレームを表示順に並べた図である。図１９上段のように2D映像と3D映像の再生区間が存在するケースにおいて、左右の映像両方に、2D映像を格納すれば、3D映像と2D映像のシームレスな接続を実現できる。しかし、この場合には、片方のビデオフレーム列は冗長なデータとなる。できるだけ高画質な2D映像を実現するには、図１９下段のように片方のビデオフレーム列のみに2D映像を格納して、もう一方のビデオフレーム列には映像を格納しないことが好ましい。その方が、2D映像の符号化に多くのビットレートを確保することが出来る。
【０１１９】
そこで、トランスポートストリームに多重化されるビデオストリームの2D再生区間と3D再生区間を判別できるように、図２０のように3D再生情報ディスクリプタを用意する。3D再生情報ディスクリプタは、PMTパケットに格納される。3D再生情報ディスクリプタには、再生方式と開始PTSが用意されている。再生方式は、2D再生か、3D再生かを示す識別子であり、開始PTSは、該当再生区間がどのフレームから始まるのかを示すための時刻情報である。3D再生情報ディスクリプタ（A）は、PTS１８００００から3D再生区間が始まることを示し、3D再生情報ディスクリプタ（B）は、PTS５５８００００から2D再生区間が始まることを示し、3D再生情報ディスクリプタ（C）は、PTS１０９８００００から3D再生区間が始まることを示す。3D再生装置は、この情報を参照することにより、どこが3D再生なのか、2D再生なのかを判別できるため、2D映像再生区間においては、左目ビデオフレーム列のみをデコードして表示を行うことができ、この間は右目ビデオフレーム列にデータを格納しなくても良くなり、左目ビデオフレーム列の符号化にビットレートを多く確保することが出来る。
【０１２０】
なお、どちらのビデオストリームを2D映像として再生するかを示すために、3D再生情報ディスクリプタには、2D映像として再生を行うビデオのPIDを指定できるようにしても良い。ここで、2D映像として再生を行うビデオストリームをベースビデオストリーム、3D映像としてのみ再生を行うビデオストリームを拡張ビデオストリームと以降呼ぶことにする。PIDで指定するのではなく、ベースビデオは通常のストリームタイプを使い拡張ビデオは特殊なストリームタイプが設定されるとしても良い。
【０１２１】
なお、3D再生情報ディスクリプタは、ベースビデオストリームの補足データや拡張領域に格納されていてもよい。再生装置による表示切替の準備を前もって行うために、該当の2D再生区間(B)のビデオストリームではなく、その前にある3D再生区間(A)に格納されていても良い。
【０１２２】
なお、図２０において、拡張ビデオが存在しない2D再生区間（B）の最終ビデオフレームには、ビデオフレームがなくなる旨をシグナリングする情報が格納されていても良い。例えば、EndOfSequenceなどである。再生装置は、デコード時にこの信号を受け取れば、そこで、拡張ビデオがなくなることが分かり、2D映像再生に遷移することが可能となる。
【０１２３】
なお、2D再生区間においては、ベースビデオストリームに2D映像を格納しておき、拡張ビデオストリームも用意しておくが、2D映像ではなく、例えば黒映像など低ビットレートで実現でき、また、ユーザに2D再生を促すメッセージを表示する映像を格納しておくようにしておき、3D再生情報ディスクリプタを拡張ビデオストリームの補足データや拡張領域に格納されているようにしても良い。この場合、再生装置は、拡張ビデオストリームに格納される3D再生情報ディスクリプタを参照して、2D再生であると判別できる場合には、ベースビデオストリームのみを使って2D映像の再生を行う。再生装置が3D再生情報ディスクリプタを処理できない場合には、ユーザに2D再生を促すメッセージが表示されるため、ユーザに2D映像再生処理を促すことが出来る。2D再生区間における拡張ビデオのビットレートは低くてすむため、その分、ベースビデオにビットレートを割り当てることが出来る。
【０１２４】
なお、3D再生情報ディスクリプタがPMTパケットに格納される場合には、該当PMTパケットの再生装置への到着時刻とビデオストリームの表示時刻にギャップがあるため、このギャップにおいては、黒映像のような無意味な映像を格納しても良い。このようにすることで、ユーザがコンテンツを楽しめなくなる区間を発生させずにすむ。
【０１２５】
なお、3D再生情報ディスクリプタの再生方式が2Dの場合には、HDMIの再認証を避けるために、該当の2D再生区間においてはフレームを複製して3Dと同じフォーマット（フレームレートなど）になるように、2Dのフレームをダブリングして再生するようにしても良い。
【０１２６】
なお、図１８のような２つのビデオストリームで3D映像を伝送する方式の場合には、PMTパケットのディスクリプタには、どのビデオストリームとペアで3D映像を構成するかを示す情報が格納されている。例えば、図１８の例では、左目映像はPIDが０x１０１１、右目映像はPIDが０x１０１５であり、この場合には、そのディスクリプタには、左目映像のPID=０x１０１１で、右目映像のPID=０x１０１５であるという情報が記載される。もしくは、該当ビデオストリームに対応するストリームディスクリプタに、反対側のビューのPIDが記載されてもよい。例えば、図１８の例では、左目映像のビデオストリームに対応するストリームディスクリプタに、右目映像ビデオストリームのPIDとして０x１０１５が格納され、右目映像のビデオストリームに対応するストリームディスクリプタに、左目映像ビデオストリームのPIDとして０x１０１１が格納される。なお、左右のペアを識別するディスクリプタとしては、それぞれのビデオストリームに付加されるディスクリプタに、ペアとなる相手側のPIDが格納されても良い。なお、左右のペアを識別するディスクリプタとしては、MPEG-２システム規格に定義されるヒエラルキーディスクリプタを使っても良い。この場合には、新しいヒエラルキータイプを用意しても良い。
【０１２７】
なお、図１８のような２つのビデオストリームで3D映像を伝送する方式の場合には、3D再生での早送りなどの特殊再生の効率化のために、ピクチャタイプを図２１下段のように制約しても良い。ベースビデオストリームのビデオアクセスユニットがIピクチャであれば、同一PTSを持つ拡張ビデオストリームのビデオアクセスユニットもIピクチャで構成する。ベースビデオストリームのビデオアクセスユニットがPピクチャであれば、同一PTSを持つ拡張ビデオストリームのビデオアクセスユニットもPピクチャで構成する。図２１上段はその制約をしていない場合であるが、この場合には、IピクチャとPピクチャを選んで特殊再生を行う再生装置では、ベースビデオのビデオアクセスユニットがPピクチャ（P３）の場合に、同一時刻の拡張ビデオのビデオアクセスユニットはBピクチャ（B３）なので、この場合、拡張ビデオの方は、前に存在するPピクチャ（P２）までデコードしなければならず負荷が大きくなる。図２１下段のように制約することで、該当時刻のピクチャのみをデコードすればよいので処理負荷が図２１上段に比較して小さくすむ。
【０１２８】
なお、図１８のような２つのビデオストリームで3D映像を伝送する方式の場合には、二つのストリームにおけるフレームレート、解像度、アスペクト比などの属性は同じにすると制約しても良い。このように構成することで、片方の属性情報のみを解析すればよいので処理が楽になる。
【０１２９】
なお、図１８のような２つのビデオストリームで3D映像を伝送する方式の場合には、図２２のように多重化の制約を追加しても良い。この場合、図２２において、B#NStartはGOP#N先頭のベースビデオのTSパケットであり、E#NStartは、GOP#N先頭の拡張ビデオのTSパケットであり、B#N+１StartはGOP#N+１先頭のベースビデオのTSパケットであり、E#NEndは、GOP#N終端の拡張ビデオのTSパケットである。この場合、図２２上段のような構成の場合には、ベースビデオ単位で飛び込み再生を行うためにB#NStartから飛び込み再生をしようとしても、対応する拡張ビデオのパケットを読み込めない。また、ベースビデオのGOP単位で編集を行う場合にも、ベースビューのGOPの範囲に同一時刻の拡張ビデオが入らない。この場合、再生装置や編集装置は、ベースビデオだけでなく拡張ビデオのGOP構成もチェックする必要があり処理負荷が大きい。そこで、図２２下段のように、GOP#N先頭のベースビデオのTSパケットは、GOP#N先頭の拡張ビデオのTSパケットよりも前に来るように構成し、GOP#N+１先頭のベースビデオのTSパケットは、GOP#N終端の拡張ビデオのTSパケットよりも後ろに来るように構成する。このようにすることで、飛び込み再生や編集をベースビデオ単位で行うことが出来る。
【０１３０】
なお、図１８の構成では、拡張ビデオは、左目もしくは右目映像を指すとしたが、2D映像の奥行きを映像化したデプスマップでもよい。デプスマップの場合は、3Dの再生方式をディスクリプタで指定できるとしてもよい。（データ作成装置）
次に本実施の形態に係るデータ作成装置およびデータ作成方法について図２３を参照しながら説明を行う。
【０１３１】
データ作成装置は、ビデオエンコーダ２３０１、多重化処理部２３０２、データ格納方法決定部２３０３から構成されている。
【０１３２】
データ格納方法決定部２３０３は、作成するトランスポートストリームのデータフォーマットを指定する。例えば、図１４の例に示す映像フォーマットの場合には、PTS１８００００から５５８００００まではSide-by-Side再生区間、PTS５５８００００から１０９８００００までは2D再生区間、PTS１０９８００００以降まではTopBottom再生区間と指定する。この再生方式の情報と、時刻情報およびフレームパッキング情報格納タイプをビデオエンコーダ２３０１に指定する。
【０１３３】
ビデオエンコーダ２３０１は、左目映像の非圧縮のビットマップなどの画像イメージと、右目映像の非圧縮のビットマップなどの画像イメージからMPEG４-AVCやMPEG２などの圧縮方式に従い、データ格納方法決定部２３０３の指定に従って符合化を行う。データ格納方法決定部２３０３が、「Side-by-Side方式の3D映像」と指定する場合には、フルHDの左目映像の画像イメージとフルHDの右目映像の画像イメージをそれぞれハーフHDにダウンコンバートして、それぞれのイメージを左右に１フレームにSide-by-Side方式で格納した後、圧縮符合化を行う。データ格納方法決定部２３０３が、「2D映像」と指定する場合には、フルHDの2D映像の画像イメージ圧縮符合化を行う。データ格納方法決定部２３０３が、「TopBottom方式の3D映像」と指定する場合には、フルHDの左目映像の画像イメージとフルHDの右目映像の画像イメージをそれぞれハーフHDにダウンコンバートして、それぞれのイメージを上下に１フレームにSide-by-Side方式で格納した後、圧縮符合化を行う。そして、本実施の形態で説明した映像フォーマットに従って、各方式に従ったフレームパッキング情報を補足データに格納する。格納方法は、データ格納方法決定部２３０３から指定されるフレームパッキング情報格納タイプにしたがう。圧縮した映像ストリームはビデオストリームとして出力される。
【０１３４】
多重化処理部１７０２は、ビデオエンコーダ２３０１から出力されたビデオストリームや、オーディオ、字幕などのストリームとともに、データ格納方法決定部２３０３の指示に従い多重化を行い、トランスポートストリームを作成して出力する。データ格納方法決定部１７０３が、「Side-by-Side方式の3D映像」と指定する場合には、トランスポートストリームへの多重化を行うとともに、本実施の形態で説明した映像フォーマットに従って、PMTパケットに「フレームパッキング情報ディスクリプタ」を格納して、トランスポートストリームを出力する。
【０１３５】
以上が本実施の形態に係るデータ作成装置およびデータ作成方法である。
【０１３６】
（実施の形態２）
実施の形態２として、上述のディスクリプタの具体的な形態について説明する。
【０１３７】
3D番組の放送は、複数のビデオストリームを１本のトランスポートストリームに多重化して、放送局がかかるトランスポートストリームを各世帯のテレビ表示装置に供給することでなされる。この際、トランスポートストリームが格納するビデオストリームの組み合わせには、様々なパターンが存在する。本実施の形態にかかるディスクリプタは、かかる様々なストリーム構成において、2D再生、3D再生の互換再生、およびシームレスな2D再生、3D再生の切り替えの実現を可能とするものである。
【０１３８】
図２５は、2D再生および3D再生時の左目用（Ｌ）映像として用いられるビデオに加え、右目用（Ｒ）映像のビデオを格納するトランスポートストリーム構成（2D/L + R）を示す図である。本図に示される例において、トランスポートストリームは、2D再生並びに3D再生時の左目用映像として用いられるビデオストリーム（ベースビデオストリーム）、および右目用のビデオストリーム（拡張ビデオストリーム♯１）を格納している。
【０１３９】
ベースビデオストリーム、拡張ビデオストリームはそれぞれ、PMTに固有のストリームタイプが定義される。また、ベースビデオストリームは、MPEG-2により動画圧縮符号化され、拡張ビデオストリームは、AVCにより動画圧縮符号化されている。
【０１４０】
2Dテレビ、または3Dテレビの2Dモードにおいては、2D/Lのビデオストリームを用いて2D再生を行う。一方、3Dテレビの3Dモードにおいては、2D/Lのビデオストリーム、およびRのビデオストリームを用いて、3D再生を行う。
【０１４１】
上記の2D/L + Rのストリーム構成の他に、2Dのビデオとは別に、左目用（Ｌ）のビデオ、および右目用（Ｒ）のビデオを２本格納するトランスポートストリームの構成（2D + L + R）がある。
【０１４２】
図２６は、2D + L + Rのトランスポートストリームのストリーム構成を示す図である。本図に示される例において、トランスポートストリームは、2Dのビデオストリーム（ベースビデオストリーム）、左目用のビデオストリーム（拡張ビデオストリーム♯１）、および右目用のビデオストリーム（拡張ビデオストリーム♯２）を格納している。ベースビデオストリームは、MPEG-2により動画圧縮符号化され、拡張ビデオストリームは、AVCにより動画圧縮符号化されている。
【０１４３】
2Dテレビ、または3Dテレビの2Dモードにおいては、2Dのビデオストリームを用いて2D再生を行う。一方、3Dテレビの3Dモードにおいては、左目用のビデオストリーム、および右目用のビデオストリームを用いて、3D再生を行う。
【０１４４】
このように、再生装置が受信するトランスポートストリームには、様々なストリーム構成が考えられる。このような状況下において、再生装置が、2D映像、3D映像を構成するビデオストリームを特定し、2D再生、3D再生の互換再生、およびシームレスな2D再生、3D再生の切り替えの実現を可能とするため、本実施の形態では、以下に示すディスクリプタをトランスポートストリームに格納する。
【０１４５】
このディスクリプタには、3D方式を通知する3D_system_info_descriptor、3D再生を実現するための補足情報である3D_service_info_descriptor、2D再生、3D再生に用いるビデオストリームの対応関係を示す3D_combi_info_descriptorがある。
【０１４６】
以下では、上記の３つのディスクリプタの具体的内容について説明する。まず、3D_system_info_descriptorについて説明する。
【０１４７】
3D_system_info_descriptorは、PMTパケット内の番組情報長（program_info_length）フィールドに続く記述子フィールド（プログラムループ）に格納される。すなわち、図１０においてディスクリプタ♯１〜♯Ｎに格納される。
【０１４８】
3D_system_info_descriptorは、トランスポートストリームが提供する3D方式を示す。具体的には、2D再生、フレーム互換方式による3D再生、またはサービス互換方式による3D再生のいずれかの再生方式を示す。また、3D_system_info_descriptorは、フレーム互換方式による3D再生、またはサービス互換方式による3D再生の場合において、2D再生に用いられるビデオストリームと、3D再生に用いられるビデオストリームが共有されているか否かを示す。
【０１４９】
図２７は、3D_system_info_descriptorの構造を示す図である。
【０１５０】
3D_playback_typeは、トランスポートストリームが提供する再生方式を示す識別子である。図２８は、3D_playback_typeに設定される値を示す図である。本図に示されるように、値が０の場合は、本トランスポートストリームにより2D再生が提供されることを示し、値が０１の場合は、フレーム互換方式による3D再生が提供されることを示し、値が１０の場合は、サービス互換方式による3D再生が提供されることを示す。2D + L + Rや2D/L + Rのストリーム構成の場合は、１０の値が設定される。
【０１５１】
このように、再生装置は、3D_playback_typeを参照することで、トランスポートストリームが提供する再生方式を識別することができる。
【０１５２】
2D_independent_flagは、2D再生に用いられるビデオストリームと、3D再生に用いられるビデオストリームが共有されているか否かを示す識別子である。値が０の場合は、2D再生に用いられるビデオストリームと、3D再生に用いられるビデオストリームが共有されていることを示す。値が１の場合は、2D再生に用いられるビデオストリームと、3D再生に用いられるビデオストリームが独立して存在することを示す。2D/L + Rのストリーム構成の場合は、０の値が設定される。2D + L + Rのストリーム構成の場合は、１の値が設定される。
【０１５３】
このように、再生装置は、2D_independent_flagを参照することで、フレーム互換方式による3D再生、またはサービス互換方式による3D再生の場合（3D_playback_typeに設定される値が０１、または１０の場合）において、2D再生に用いられるビデオストリームと、3D再生に用いられるビデオストリームが共有されているか識別することができる。
【０１５４】
2D_view_flagは、3Dを構成するビデオストリームのうち、どちらを2D再生に用いるかを示す識別子である。3Dを構成するビデオストリームがフレーム互換方式である場合、2D_view_flagは、左目用画像、右目用画像のどちらを2D再生に用いるかを示す。3Dを構成するビデオストリームがサービス互換方式の場合、2D_view_flagは、ベースビデオストリーム、拡張ビデオストリームのどちらを2D再生に用いるかを示す。
【０１５５】
以上が、3D_system_info_descriptorについての説明である。続いて、3D_service_info_descriptorについて説明する。
【０１５６】
3D_service_info_descriptorは、PMTパケット内のＥＳ情報長（ES_info_length）フィールドに続く記述子フィールド（ＥＳループ）に格納される。すなわち、図１０においてストリームディスクリプタ♯１〜♯Ｎに格納される。
【０１５７】
3D_service_info_descriptorは、3D再生を実現するための補足情報を示す。具体的には、ビデオストリームが左目用のビデオであるか右目用のビデオであるかを示す。ただし、2D再生にのみ用いられるビデオストリームに対しては、3D_service_info_descriptorを格納しない。3D再生に用いられないビデオストリームだからである。
【０１５８】
図２９は、3D_service_info_descriptorの構造を示す図である。
【０１５９】
is_base_videoは、ビデオストリームが、ベースビデオストリームであるか、拡張ビデオストリームであるかを示す識別子である。値が１の場合は、ビデオストリームがベースビデオストリームであることを示す。値が０の場合は、ビデオストリームが拡張ビデオストリームであることを示す。
【０１６０】
leftview_flagは、ビデオストリームが左目映像であるか、右目映像であるかを示す識別子である。値が１の場合は、ビデオストリームが左目映像であることを示す。値が０の場合は、ビデオストリームが右目映像であることを示す。
【０１６１】
再生装置は、このフラグを参照することで、３Ｄ映像として、テレビに表示する場合に、ビデオストリームを左目・右目どちらの視点映像として出力するかを識別することができる。なお、leftview_flagは、ビデオストリームがベースビデオストリームである場合、拡張ビデオストリームである場合の両方に設けられる。
【０１６２】
以上が、3D_service_info_descriptorについての説明である。続いて、3D_combi_info_descriptorについて説明する。
【０１６３】
3D_combi_info_descriptorは、PMTパケット内の番組情報長（program_info_length）フィールドに続く記述子フィールド（プログラムループ）に格納される。すなち、図１０においてディスクリプタ♯１〜♯Ｎに格納される。
【０１６４】
3D_combi_info_descriptorは、2D再生、3D再生に用いるビデオストリームの対応関係を示す。具体的には、トランスポートストリームを構成するビデオストリームのPIDを示す。
【０１６５】
図３０は、3D_combi_info_descriptorの構造を示す図である。
【０１６６】
2D_view_PID/tagは、2D再生に用いられるビデオストリームのPIDを示す。
【０１６７】
Left_view_PID/tagは、左目用映像のビデオストリームのPIDを示す。
【０１６８】
Right_view_PID/tagは、右目用映像のビデオストリームのPIDを示す。
【０１６９】
再生装置は、これらのディスクリプタを参照することにより、3D再生に用いるビデオストリームのペア、および2D再生に用いられるビデオストリームを特定することができる。2Dモード／3Dモードのそれぞれで多重分離に使用すべきパケット識別子が１つのディスクリプタに記載されているから、2Dモードと3Dモードとの間での多重分離対象の切り替えを高速にすることができ、シームレスな2D、3D再生の切り替えが可能になる。
【０１７０】
以上が、2D + L + Rや2D/L + Rのストリーム構成におけるディスクリプタの説明である。
【０１７１】
続いて、2Dのビデオに加えて、Side-by-Side方式のビデオを格納するトランスストリーム構成（2D + Side-by-Side）におけるディスクリプタの内容について説明する。
【０１７２】
図３１は、2D + Side-by-Sideのトランスポートストリームのストリームの構成を示す図である。本図に示される例において、トランスポートストリームは、2Dのビデオストリーム（ベースビデオストリーム）、およびSide-by-Side方式のビデオストリーム（拡張ビデオストリーム♯１）を格納している。ベースビデオストリームは、MPEG-2により動画圧縮符号化され、拡張ビデオストリームは、AVCにより動画圧縮符号化されている。
【０１７３】
上記トランスポートストリームには、2D + L + Rのストリーム構成の場合と同様に、3D方式を通知する3D_system_info_descriptor、3D再生を実現するための補足情報である3D_service_info_descriptor、2D再生、3D再生に用いるビデオストリームの対応関係を示す3D_combi_info_descriptorが格納されている。
【０１７４】
これらのディスクリプタを参照し、2Dテレビ、または3Dテレビの2Dモードにおいては、2Dのベースビデオストリームを用いて2D再生を行う。一方、3Dテレビの3Dモードにおいては、Side-by-Side方式の拡張ビデオストリーム♯１を用いて、3D再生を行う。
【０１７５】
3D_system_info_descriptorは、図２７に示す2D + L + Rのストリーム構成の場合と同様の構造であり説明を略する。再生装置は、このディスクリプタを参照することで、トランスポートストリームが提供する再生方式を識別することができる。
【０１７６】
図３２は、3D_service_info_descriptorの構造を示す図である。図２９に示す2D + L + Rのストリーム構成におけるディスクリプタに加えて、frame_packing_arrangement_typeが設けられている。
【０１７７】
frame_packing_arrangement_typeは、ビデオストリームが、Side-by-Side方式であるか否かを示す識別子である。値が１の場合は、ビデオストリームがSide-by-Side方式であることを示す。値が０の場合は、TopBottom方式であることを示す。
【０１７８】
再生装置は、この識別子を参照することにより、拡張ビデオストリームが、Side-by-Side方式であるか否かを識別でき、格納方式に対応した3D再生を行うことができる。
【０１７９】
なお、上記の説明では、Side-by-Side方式の場合と、TopBottom方式の場合におけるframe_packing_arrangement_typeの値を設定したが、他に左目用映像を奇数ラインに、右目用映像を偶数ラインにインターリーブして配置するラインバイライン方式、左右の映像を合成し１フレームの中に市松模様のように上下左右交互に映像を格納するチェッカーボード方式における値をframe_packing_arrangement_typeに設定してもよい。
【０１８０】
なお、2D再生にのみに用いられるビデオストリームは、3D再生に用いられないため、3D_service_info_descriptorを格納しない。
【０１８１】
図３３は、3D_combi_info_descriptorの構造を示す図である。
【０１８２】
2D_view_PID/tagは、2D再生に用いられるビデオストリームのPIDを示す。
【０１８３】
Frame_compatible_3D_PID/tagは、フレーム互換方式のビデオストリームのPIDを示す。
【０１８４】
再生装置は、これらのディスクリプタを参照することにより、3D再生に用いるフレーム互換方式のビデオストリーム、および2D再生に用いられるビデオストリームを特定することができる。これにより、シームレスな2D、3D再生の切り替えが可能になる。
【０１８５】
以上が、2D + Side-by-Sideのストリーム構成におけるディスクリプタの説明である。
【０１８６】
続いて、2D再生のみに用いられるビデオに加えて、MVCにより圧縮符号化された２本のビデオ（ベースビュービデオストリーム、ディペンデントビューストリーム）を格納するトランスポートストリーム構成（2D + MVC）におけるディスクリプタの内容について説明する。
【０１８７】
図３４は、2D + MVCのトランスポートストリームの構成を示す図である。本図に示される例において、トランスポートストリームは、2Dのビデオストリーム（ベースビデオストリーム）、MVCのベースビューストリーム（拡張ビデオ♯１）、およびMVCのディペンデントビューストリーム（拡張ビデオ♯２）を格納している。ベースビデオストリームは、MPEG-2により動画圧縮符号化され、拡張ビデオストリーム♯１、拡張ビデオストリーム♯２はMVCにより動画圧縮符号化されている。
【０１８８】
上記トランスポートストリームには、2D + L + Rのストリーム構成の場合と同様に、3D方式を通知する3D_system_info_descriptor、3D再生を実現するための補足情報である3D_service_info_descriptor、2D再生、3D再生に用いるビデオストリームの対応関係を示す3D_combi_info_descriptorが格納されている。
【０１８９】
テレビ等の再生装置は、これらのディスクリプタを参照し、2Dテレビ、または3Dテレビの2Dモードにおいては、2Dのベースビデオストリームを用いて2D再生を行う。一方、3Dテレビの3Dモードにおいては、MVCにより圧縮符号化された拡張ビデオストリーム♯１、拡張ビデオストリーム♯２を用いて、3D再生を行う。
【０１９０】
3D_system_info_descriptor、3D_service_info_descriptorは、図２７、図２９に示す2D + L + Rのストリーム構成の場合と同様の構造であり説明を略する。なお、2D + L + Rのストリーム構成の場合と同様に、2D再生にのみ用いられるビデオストリームに対しては、3D_service_info_descriptorを格納しない。
【０１９１】
図３５は、3D_combi_info_descriptorの構造を示す図である。
【０１９２】
2D_view_PID/tagは、2D再生に用いられるビデオストリームのPIDを示す。
【０１９３】
MVC_base_view_PID/tagは、MVCのベースビューストリームのPIDを示す。
【０１９４】
MVC_dept_view_PID/tagは、MVCのディペンデントビューストリームのPIDを示す。
【０１９５】
再生装置は、これらのディスクリプタを参照することにより、3D再生に用いるMVCのビデオストリームのペア、および2D再生に用いられるビデオストリームを特定することができる。これにより、シームレスな2D、3D再生の切り替えが可能になる。
【０１９６】
以上が、2D + MVCのストリーム構成におけるディスクリプタの説明である。
【０１９７】
続いて、2D再生、および3D再生時のL映像として用いられるビデオに加え、複数視点のR映像のビデオを格納するトランスポートストリーム構成（2D + R1 + R2）におけるディスクリプタの内容について説明する。
【０１９８】
図３６は、2D + R1 + R2のトランスポートストリームのストリーム構成を示す図である。本図に示される例において、トランスポートストリームは、2D再生、および3D再生時のL映像として用いられるビデオストリーム（ベースビデオストリーム）、第１のR映像のビデオストリーム（拡張ビデオストリーム♯１）、および第２のR映像のビデオストリームを格納している。ベースビデオストリームは、MPEG-2により動画圧縮符号化され、拡張ビデオストリーム♯１、および拡張ビデオストリーム♯２は、AVCにより動画圧縮符号化されている。
【０１９９】
上記トランスポートストリームには、3D方式を通知する3D_system_info_descriptor、3D再生を実現するための補足情報である3D_service_info_descriptor、2D再生、3D再生に用いるビデオストリームの対応関係を示す3D_combi_info_descriptorが格納されている。
【０２００】
テレビ等の再生装置は、これらのディスクリプタを参照し、2Dテレビ、または3Dテレビの2Dモードにおいては、ベースビデオストリームを用いて2D再生を行う。一方、3Dテレビの3Dモードにおいては、ベースビデオストリームと拡張ビデオストリーム♯１、またはベースビデオストリームと拡張ビデオストリーム♯２を用いて、3D再生を行う。
【０２０１】
図３７は、3D_system_info_descriptorの構造を示す図である。図２９に示す2D + L + Rのストリーム構成におけるディスクリプタにおいて、2D_independent_flagの代わりに、camera_assingment_typeが設けされている。
【０２０２】
camera_assingment_typeは、トランスポートストリームに格納されるビデオストリームに対するカメラの配置タイプを示す識別子である。値が１の場合は、トランスポートストリームがセンター（Ｃ）のカメラ視点のビデオストリームから構成されることを示す。値が２の場合は、トランスポートストリーム
が左視点（Ｌ）と右視点（Ｒ）のカメラ視点のビデオストリームから構成されることを示す。値が３の場合は、トランスポートストリームがセンター（Ｃ）、左視点（Ｌ）、および右視点（Ｒ）のカメラ視点のビデオストリームから構成されることを示す。値が４の場合は、トランスポートストリームが左視点（Ｌ）、第１右視点（Ｒ１）、および第２右視点（Ｒ２）のカメラ視点のビデオストリームから構成されることを示す。
【０２０３】
再生装置は、この識別子を参照することで、トランスポートストリームを構成するビデオストリームのカメラの割り当てを識別することができる。
【０２０４】
図３８は、3D_service_info_descriptorの構造を示す図である。図３１に示す2D + L + Rのストリーム構成におけるディスクリプタに
おいて、camera_assingmentが新たに設けられている。
【０２０５】
camera_assingmentは、ビデオストリームの左目、センター、右目といったカメラの位置情報を示す識別子である。
【０２０６】
再生装置は、この識別子を参照することで、ビデオストリームに対応するカメラ配置を識別することができる。
【０２０７】
図３９は、3D_combi_info_descriptorの構造を示す図である。
【０２０８】
2D_view_PID/tagは、2D再生、および3D再生時のL映像として用いられるビデオストリームのPIDを示す。
【０２０９】
Right1_view_PID/tagは、第１のR映像のビデオストリームのPIDを示す。
【０２１０】
Right2_view_PID/tagは、第２のR映像のビデオストリームのPIDを示す。
【０２１１】
再生装置は、これらのディスクリプタを参照することにより、2D再生、および3D再生時のL映像として用いられるビデオストリーム、複数のR視点のビデオストリームを特定することができる。これにより、シームレスな2D、3D再生の切り替えが可能となる。
【０２１２】
以上が、2D + R1 + R2のストリーム構成におけるディスクリプタの説明である。
【０２１３】
以上、トランスポートストリームの構成のパターンを説明したが、上述のディスクリプタをトランスポートストリームに格納することにより、トランスポートストリームにおいて様々なストリーム構成が可能となる。再生装置は、ディスクリプタを参照することにより、トランスポートストリームのストリーム構成を特定し、2D再生、3D再生のシームレスな切り替え処理が可能となる。
【０２１４】
なお、上述のトランスポートストリームの構成パターンにおいては、AVCにより圧縮符号化した拡張ビデオストリームを格納する場合を説明したが、これに限られない。AVC以外の動画圧縮符号化技術により圧縮符号化した拡張ビデオストリームを格納してもよい。例えば、次世代の動画圧縮符号化技術であるH.265により、拡張ビデオストリームを圧縮符号化してもよい。
【０２１５】
また、上記では、3D_combi_info_descriptorに、3D映像を構成するビデオストリームを示す情報を格納したが、L及びRのビデオストリームに対応するストリームディスクリプタに、3D再生において組合せの相手側となる視点のビデオストリームのPIDを記載してもよい。
【０２１６】
また、ベースストリームと拡張ストリームにクローズドキャプション（Closed Caption）の字幕データが含まれる場合、2D再生または3D再生でどちらデータを使うかを示す識別子をトランスポートストリームのPMTに格納してもよい。
【０２１７】
再生装置は、この識別子を参照することにより、2D再生または3D再生で用いるべきクローズドキャプションのデータを識別することができる。
【０２１８】
また、3D_system_info_descriptor、3D_service_info_descriptor、3D_combi_info_descriptorは、PMTパケット内に格納されるとしたが、格納位置はこれに限られない。トランスポートストリームのいずれかの領域に格納されていればよい。例えば、PMTパケット以外の、各ビデオストリームの補足データ等に格納されてもよい。
【０２１９】
また、上記では、3D_combi_info_descriptorに、ビデオストリームのPIDを設定することにより、2D再生に用いられるビデオストリーム、3D再生に用いられるビデオストリームを特定したが、これに限定されない。3D_combi_info_descriptorには、多重化されるビデオストリームを特定できる情報が含まれていればよい。
【０２２０】
例えば、MPEG-２システム規格に定義されるヒエラルキーディスクリプタを設定することにより、各ビデオストリームを特定してもよい。具体的には、hierarchy_descriptorに新しいhierarchy_typeを定義し、3D_combi_info_descriptorからは、hierarchy_layer_indexを使って、ビデオストリームを指定することにより、3D再生に用いるビデオストリームのペア、および2D再生に用いられるビデオストリームの各ビデオストリームを特定する。
【０２２１】
次に、本実施の形態にかかるトランスポートストリームのデータ作成装置について説明する。
【０２２２】
図４０は、本実施の形態にかかるデータ作成装置４０００の内部構成を示す図である。本図に示すように、データ作成装置４０００は、ビデオエンコーダ４００１、多重化処理部４００２、データ格納方法決定部４００３、ユーザーインターフェイス部４００４を含んで構成される。
【０２２３】
ユーザーインターフェイス部４００４は、データ作成者に対し、キーボード、マウス、その他のコントローラ等を用いたデータ入力を提供する。データ作成者は、ユーザーインターフェイス部４００４を用いて、作成するトランスポートストリームのストリーム構成パターンや圧縮符号化方式を指定する。
【０２２４】
データ格納方法決定部４００３は、ユーザーインターフェイス部４００４によるユーザ指定に応じて、トランスポートストリームのストリーム構成やビデオストリームの圧縮符号化方式を決定する。
【０２２５】
ビデオエンコーダ４００１は、3D映像原画を、MPEG-２、AVC、MVC、H.265などの圧縮符号化方式により、動画圧縮符号化することにより、データ格納方法決定部４００３に指定されたビデオストリームを作成する。
【０２２６】
多重化処理部４００２は、データ格納方法決定部３９０３の指示に従い、作成するトランスポートストリームのストリーム構造に応じた、3D_system_info_descriptor、3D_service_info_descriptor、3D_combi_info_descriptor、の各ディスクリプタを作成する。そして、ビデオエンコーダ４００１から出力されたビデオストリーム、オーディオ、字幕などのストリームとともに、各ディスクリプタを、データ格納方法決定部４００３の指示に従い多重化することにより、トランスポートストリームを作成する。
【０２２７】
作成したトランスポートストリームは、外部の記録媒体に記録する。また、外部の送信部により、放送またはネットワークを経由してデータを送信する
以上がデータ作成装置の構成についての説明である。続いて、このデータ作成装置の動作について説明する。
【０２２８】
図４１は、データ作成装置４０００の符号化処理の流れを示すフローチャートである。
【０２２９】
まず、データ格納方法決定部４００３は、トランスポートストリームを構成するビデオストリームのパターンを決定する（ステップＳ４１０１）。具体的には、トランスポートストリームのストリーム構成、およびトランスポートストリームに格納するビデオストリームの圧縮符号化方式を決定する。ここでは、図２５、図２６、図３１、図３４、図３７に示したストリーム構成のパターンが考えられるが、Side-by-Sideのビデオストリームのみを格納するストリーム構成(2D/SBS)、その他のストリーム構成であってもよい。
【０２３０】
次に、ビデオエンコーダ４００１は、3D原画を圧縮符号化し、ビデオストリームを作成する（ステップＳ４１０２）。この際、ビデオエンコーダ４００１は、データ格納方法決定部４００３による、トランスポートストリームのストリーム構成、およびトランスポートストリームに格納するビデオストリームの圧縮符号化方式の指定に基づき圧縮符号化方式を決定し、3D映像原画の圧縮符号化を行う。
【０２３１】
次に、多重化処理部４００２は、データ格納方法決定部４００３が指定するトランスポートストリームのストリーム構成に基づき、ビデオストリームを各フレームに格納する（ステップＳ４１０３）。
【０２３２】
次に、多重化処理部４００２は、3D_system_info_descriptor、3D_service_info_descriptor、3D_combi_info_descriptorの各ディスクリプタを作成し、トランスポートストリームのＰＭＴ内に格納する（ステップＳ４１０４）。この際、多重化処理部４００２は、データ格納方法決定部４００３の指定するトランスポートストリームのストリーム構成に基づき、各ディスクリプタを作成する。
【０２３３】
以上が、データ作成装置４０００の動作について説明である。
【０２３４】
次に、本実施の形態にかかるトランスポートストリームの再生装置である3Dデジタルテレビについて説明する。
【０２３５】
図４２は、本実施の形態にかかる3Dデジタルテレビ４２００の内部構成を示す図である。本図に示されるように、3Dデジタルテレビ４２００は、チューナ４２０１、ＮＩＣ４２０２、ユーザーインターフェイス部４２０３、モード記憶部４２０４、多重分離部４２０５、表示判定部４２０６、映像デコード部４２０７、フレームバッファ（１）４２０８、表示処理部４２０９、フレームバッファ（Ｌ）４１１０、フレームバッファ（Ｒ）４１１２、スイッチ４１１１、表示部４１１３を含んで構成される。
【０２３６】
チューナ４２０１は、デジタル放送波のトランスポートストリームを受信し、受信した信号を復調する機能を有している。
【０２３７】
ネットワークインターフェイスカード（ＮＩＣ）４２０２は、ＩＰネットワークと接続されており、外部から入力されたトランスポートストリームを受信する機能を有している。
【０２３８】
ユーザーインターフェイス部４２０３は、チャネル選択操作、2Dモード／3Dモードの選択操作などをユーザから受け付ける。
【０２３９】
モード記憶部４２０４は、カレントの表示モードが、2Dモード、3Dモードの何れであるかを示すフラグを格納している。
【０２４０】
多重分離部４２０５は、受信したトランスポートストリームを、ビデオストリームと、それ以外の音声ストリーム、グラフィクスストリームなどに分離し、ビデオストリームを映像デコード部４２０７へ出力する機能を有する。
【０２４１】
また、多重分離部４２０５は、受信したトランスポートストリームから、PSIなどのシステムパケットを抽出し、PMTパケットから、3D_system_info_descriptor、3D_service_info_descriptor、3D_combi_info_descriptorの各ディスクリプタを取得し、表示判定部４２０６に通知する。
【０２４２】
ビデオストリームのデマックスにおいては、表示判定部４２０６からカレントの表示モードにおいてデマックスすべきTSパケットのPIDの指定を受け付ける。多重分離部４２０５は、指定されたPIDのTSパケットを分離することで、ビデオストリームを取得する。
【０２４３】
なお、多重分離部４２０５は、チューナ４２０１やＮＩＣ４２０２からトランスポートストリームを読み出すことに加えて、記録媒体からトランスポートストリームを読み出すこともできる。
【０２４４】
表示判定部４２０６は、多重分離部４２０５から通知される、3D_system_info_descriptor、3D_service_info_descriptor、3D_combi_info_descriptorの各ディスクリプタを参照して、トランスポートストリームのストリーム構成を把握する。そして、モード記憶部４２０４が示すカレントの表示モードにおいて、デマックスすべきTSパケットのPIDを多重分離部４２０５に通知する。
【０２４５】
また、表示判定部４２０６は、３Ｄの再生方式がフレーム互換方式の場合において、3D_system_info_descriptorの2D_view_flagや、3D_service_info_descriptorのframe_packing_arrangement_typeを参照して、表示処理部４２０９に対して、左目用画像、右目用画像のどちらを2D再生に用いるか、ビデオストリームが、Side-by-Side方式であるか等を通知する。
【０２４６】
映像デコード部４２０７は、ビデオストリームを多重分離部４２０５から受け取ると、受け取ったストリームのデコードを行う。映像デコード部４２０７は、復号化されたフレームをフレームバッファ（１）４２０８へ書き込む。
【０２４７】
フレームバッファ（１）４１０８は、映像デコード部４２０７で復号化されたフレームを格納するための領域を有する。
【０２４８】
表示処理部４２０９は、フレームバッファ（１）４２０８に格納されるビデオストリームがSide-by-Side形式の場合において、クロッピング情報に従ったクロッピング制御、スケーリング情報に従ったスケーリング制御を実行する。クロッピング処理により得られた左目用フレーム、右目用フレームは、フレームバッファ（Ｌ）、フレームバッファ（Ｒ）に格納する。
【０２４９】
また、表示処理部４２０９は、フレームバッファ（１）４２０８に格納されるビデオストリームが、左目用のビデオストリーム、右目用のビデオストリームの場合においては、ビデオストリームをフレームバッファ（L）４２１０、フレームバッファ（R）４２１２に振り分ける。
【０２５０】
フレームバッファ（L）４２１０、フレームバッファ（R）４２１２は、表示処理部４２０９から出力されるフレームを格納するための領域を有する。
【０２５１】
スイッチ４２１１は、フレームバッファ（L）４２１０、フレームバッファ（R）４２１２に書き出されたフレーム画像を選択して表示部に転送する。
【０２５２】
表示部４２１３は、スイッチ４２１１から転送されたフレームを表示する。表示部４２１３は3D眼鏡に通信を行い、左目画像が表示されるときは、3D眼鏡の左目側が開き、右目画像が表示されるときは、3D眼鏡の右目側が開くように3D眼鏡の液晶シャッターを制御する。なお、2D映像を表示する場合には、3D眼鏡の制御は行われない。
【０２５３】
以上が3Dデジタルテレビ４２００の構成についての説明である。
【０２５４】
続いて、この3Dデジタルテレビ４２００の動作について説明する。図４３は、3Dデジタルテレビ４２００による番組の再生処理の流れの一例を示すフローチャートである。
【０２５５】
本図に示されるように、多重分離部４２０５は、トランスポートストリームのＰＭＴを解析し、ディスクリプタを抽出する（ステップＳ４３０１）。
【０２５６】
表示判定部４２０６は、多重分離部４２０５により抽出された3D_system_info_descriptorの3D_playback_typeを参照し、受信したトランスポートストリームの再生方式を判定する（ステップＳ４３０２）。
【０２５７】
再生方式がサービス互換方式である場合（ステップＳ４３０２）、表示判定部４２０６は、3D_system_info_descriptorの2D_independent_flagを参照し、2D再生に用いられるビデオストリームと、3D再生に用いられるビデオストリームが共有されているか否かを判定する（ステップＳ４３０３）。
【０２５８】
2D_independent_flagの値が０の場合（ステップＳ４３０３、ＮＯ）表示判定部４２０６は、3D_combi_info_descriptorを参照して、ストリーム構成を特定する（ステップＳ４３０４）。
【０２５９】
トランスポートストリームのストリーム構成が2D/L + R1 + R2である場合（ステップＳ４３０５、ＹＥＳ）、3Dデジタルテレビ４２００は、後述する2D/L + R1 + R2のストリームの処理を行う（ステップＳ４３０６）。
【０２６０】
トランスポートストリームのストリーム構成が2D/L + Rである場合（ステップＳ４３０５、ＮＯ）、3Dデジタルテレビ４２００は、後述する2D/L + Rのストリームの処理を行う（ステップＳ４３０７）。
【０２６１】
2D_independent_flagの値が１の場合（ステップＳ４３０３、ＹＥＳ）表示判定部４２０６は、3D_combi_info_descriptorを参照して、ストリーム構成を特定する（ステップＳ４３０８）。
【０２６２】
トランスポートストリームのストリーム構成がMPEG2 + MVC(Base) +MVC(Dependent)である場合（ステップＳ４３１０、ＹＥＳ）、3Dデジタルテレビ４２００は、後述するMPEG2 + MVC(Base) +MVC(Dependent)のストリームの処理を行う（ステップＳ４３１１）。
【０２６３】
トランスポートストリームのストリーム構成がMPEG2 + AVC + AVCである場合（ステップＳ４３０９、ＹＥＳ）、3Dデジタルテレビ４２００は、後述するMPEG2 + AVC + AVCのストリームの処理を行う（ステップＳ４３１２）。
【０２６４】
再生方式がフレーム互換方式である場合（ステップＳ４３０２）、表示判定部４２０６は、3D_system_info_descriptorの2D_independent_flagを参照し、2D再生に用いられるビデオストリームと、3D再生に用いられるビデオストリームが共有されているか否かを判定する（ステップＳ４３１３）。
【０２６５】
2D_independent_flagの値が０の場合（ステップＳ４３１３、ＮＯ）、3Dデジタルテレビ４２００は、後述する2D/SBSのストリームの処理を行う（ステップＳ４３１４）。
【０２６６】
2D_independent_flagの値が１の場合（ステップＳ４３１３、ＹＥＳ）、3Dデジタルテレビ４２００は、後述する2D + SBSのストリームの処理を行う（ステップＳ４３１５）。
【０２６７】
次に、ステップＳ４２１５の2D + SBSのストリームの処理の詳細について説明する。図４４は、2D + SBSのストリームの処理の流れを示すフローチャートである。
【０２６８】
本図に示されるように、表示判定部４２０６は、モード記憶部４２０４のフラグを参照して、カレントモードが２Ｄモードであるか、３Ｄモードであるか判定する（ステップＳ４４０１）。
【０２６９】
カレントモードが２Ｄモードである場合（ステップＳ４４０１）、表示判定部４２０６は、3D_combi_info_descriptorの2D_view_PID/tagに示されるＴＳパケットを分離し、2Dビデオストリームを抽出する（ステップＳ４４０２）。
【０２７０】
そして、抽出したMPEG2(2D)ビデオストリームを映像デコード部４２０７でデコードし、ビデオ信号を表示部４２１３に出力することで、3Dデジタルテレビ４２００は2D再生を行う（ステップＳ４４０３）。
【０２７１】
カレントモードが３Ｄモードである場合（ステップＳ４４０１）、表示判定部４２０６は、3D_combi_info_descriptorのframe_compatible_3D_PID/tagに示されるＴＳパケットを分離し、ビデオストリームを抽出する（ステップＳ４４０４）。
【０２７２】
表示判定部４２０６は、3D_service_info_descriptorのframe_packing_arrangement_typeを参照し、Side-by-Side形式で格納されているか判定する（ステップＳ４４０５）。
【０２７３】
frame_packing_arrangement_typeがSide-by-Side形式である場合（ステップＳ４４０５、ＹＥＳ）、表示処理部４２０９は、左右に存在する左目用画像、右目用画像をクロップアウトすることで、3D再生を行う（ステップＳ４４０６）。
【０２７４】
frame_packing_arrangement_typeがSide-by-Side形式でない場合（ステップＳ４３０５、ＮＯ）、TopBottom方式と特定し、表示処理部４２０９は、上下に存在する左目用画像、右目用画像をクロップアウトすることで、3D再生を行う（ステップＳ４４０７）。
【０２７５】
以上が、ステップＳ４３１５の2D + SBSのストリームの処理の詳細についての説明である。続いて、ステップＳ４３１４の2D/SBSのストリームの処理の詳細について説明する。
【０２７６】
図４５は、2D/SBSのストリームの処理の流れを示すフローチャートである。本図に示されるように、多重分離部４２０５は、3D_combi_info_descriptorのframe_compatible_3D_PID/tagに示されるＴＳパケットを分離し、2D/SBSのビデオストリームを抽出する（ステップＳ４５０１）。
【０２７７】
表示判定部４２０６は、モード記憶部４２０４のフラグを参照して、カレントモードが２Ｄモードであるか、３Ｄモードであるか判定する（ステップＳ４５０２）。
【０２７８】
カレントモードが２Ｄモードである場合（ステップＳ４５０２）、表示判定部４２０６は、3D_system_info_descriptor_の2D_view_flagを参照し、Side-by-Sideのフレームのうち、どちらを2D再生に用いるか判定する。
【０２７９】
2D_view_flagが左目用画像を示す場合（ステップＳ４５０３、ＹＥＳ）、表示処理部４２０９は、Side-by-Sideのフレームのうち、左目用画像の領域をクロップアウトすることで2D再生を行う（ステップＳ４５０５）。
【０２８０】
2D_view_flagが右目用画像を示す場合（ステップＳ４５０３、ＮＯ）、表示処理部４２０９は、Side-by-Sideのフレームのうち、右目用画像の領域をクロップアウトすることで2D再生を行う（ステップＳ４５０４）。
【０２８１】
カレントモードが３Ｄモードである場合（ステップＳ４５０２）、表示処理部４２０９は、Side-by-Sideのフレームのうち、右目用画像の領域をクロップアウトし（ステップＳ４５０６）、Side-by-Sideのフレームのうち、左目用画像の領域をクロップアウトする（ステップＳ４５０７）。
【０２８２】
3Dデジタルテレビ４２００は、クロップアウトした左目用画像、右目用画像を交互に表示部４２１３に出力することで3D再生を行う（ステップＳ４５０８）。
【０２８３】
以上が、ステップＳ４３１４の2D/SBSのストリームの処理の詳細についての説明である。続いて、ステップ４３０７の2D/L + Rのストリームの処理の詳細について説明する。
【０２８４】
図４６は、2D/L + Rのストリームの処理の流れを示すフローチャートである。本図に示されるように、表示判定部４２０６は、モード記憶部４２０４のフラグを参照して、カレントモードが２Ｄモードであるか、３Ｄモードであるか判定する（ステップＳ４６０１）。
【０２８５】
カレントモードが３Ｄモードである場合（ステップＳ４６０１）、表示判定部４２０６は、3D_combi_info_descriptorのLeft_view_PID/tagに示されるＴＳパケット、およびRight_view_PID/tagに示されるＴＳパケットを分離し、2D/Lビデオストリーム、Rのビデオストリームを抽出する（ステップＳ４６０２）。
【０２８６】
そして、抽出した2D/Lビデオストリーム、Rのビデオストリームを映像デコード部４２０７でデコードし、ビデオ信号を表示部４２１３に出力することで、3Dデジタルテレビ４２００は3D再生を行う（ステップＳ４６０３）。
【０２８７】
カレントモードが２Ｄモードである場合（ステップＳ４６０１）、多重分離部４２０５は、3D_combi_info_descriptorの2D_view_PID/tagに示されるＴＳパケットを分離し、2D/Lビデオストリームを抽出する（ステップＳ４６０４）。
【０２８８】
そして、抽出した2D/Lビデオストリームを映像デコード部４２０７でデコードし、ビデオ信号を表示部４２１３に出力することで、3Dデジタルテレビ４２００は2D再生を行う（ステップＳ４６０５）。
【０２８９】
以上が、ステップＳ４３０７の2D/L + Rのストリームの処理の詳細についての説明である。続いて、ステップ４３０６の2D/L + R1 + R2のストリームの処理の詳細について説明する。なお、図４６で示した2D/L + Rのストリームの処理における処理と同内容の処理については、同符号を付す。
【０２９０】
図４７は、2D/L + R1 + R2のストリームの処理の流れを示すフローチャートである。本図に示されるように、表示判定部４２０６は、モード記憶部４２０４のフラグを参照して、カレントモードが２Ｄモードであるか、３Ｄモードであるか判定する（ステップＳ４６０１）。
【０２９１】
カレントモードが３Ｄモードである場合（ステップＳ４６０１）、表示判定部４２０６は、3D_combi_info_descriptorのLeft_view_PID/tagに示されるＴＳパケット、Right1_view_PID/tagに示されるＴＳパケット、およびRight2_view_PID/tagに示されるＴＳパケットを分離し、2D/Lビデオストリーム、R1のビデオストリーム、R2のビデオストリームを抽出する（ステップＳ４７０１）。
【０２９２】
そして、抽出した2D/Lビデオストリームと、R1のビデオストリームまたはR2のビデオストリームを映像デコード部４２０７でデコードし、ビデオ信号を表示部４２１３に出力することで、3Dデジタルテレビ４２００は3D再生を行う（ステップＳ４７０２）。
【０２９３】
ステップＳ４６０４、４６０５については、図４６に示す2D/L + Rのストリームの処理における処理と同内容の処理であり、説明を略する。
【０２９４】
以上が、ステップＳ４３０６の2D/L + R1 + R2のストリームの処理の詳細についての説明である。続いて、ステップ４３１２のMPEG2 + AVC + AVCのストリームの処理の詳細について説明する。
【０２９５】
図４８は、MPEG2 + AVC + AVCのストリームの処理の流れを示すフローチャートである。本図に示されるように、表示判定部４２０６は、モード記憶部４２０４のフラグを参照して、カレントモードが２Ｄモードであるか、３Ｄモードであるか判定する（ステップＳ４８０１）。
【０２９６】
カレントモードが２Ｄモードの場合、表示判定部４２０６は、3D_combi_info_descriptorの2D_view_PID/tagに示されるTSパケットを分離し、MPEG2(2D)ビデオストリームを抽出する（ステップＳ４８０２）。
【０２９７】
そして、抽出したMPEG2(2D)ビデオストリームを映像デコード部４２０７でデコードし、ビデオ信号を表示部４２１３に出力することで、3Dデジタルテレビ４２００は2D再生を行う（ステップＳ４８０３）。
【０２９８】
カレントモードが３Ｄモードの場合、表示判定部４２０６は、3D_combi_info_descriptorのLeft_view_PID/tagに示されるＴＳパケット、およびRight_view_PID/tagに示されるＴＳパケットを分離し、左目用のビデオストリーム、右目用のビデオストリームを抽出する（ステップＳ４８０４）。
【０２９９】
そして抽出した左目用のビデオストリーム、右目用のビデオストリームを映像デコード部４２０７でデコードし、ビデオ信号を表示部４２１３に出力することで、3Dデジタルテレビ４２００は３Ｄ再生を行う（ステップＳ４８０５）。
【０３００】
以上が、ステップＳ４３１２のMPEG2 + AVC + AVCのストリームの処理の詳細についての説明である。続いて、ステップ４３１１のMPEG2 + MVC(Base) + MVC(Dependent)のストリームの処理の詳細について説明する。
【０３０１】
図４９は、MPEG2 + MVC(Base) + MVC(Dependent)のストリームの処理の流れを示すフローチャートである。本図に示されるように、表示判定部４２０６は、モード記憶部４２０４のフラグを参照して、カレントモードが２Ｄモードであるか、３Ｄモードであるか判定する（ステップＳ４９０１）。
【０３０２】
カレントモードが２Ｄモードの場合、表示判定部４２０６は、3D_combi_info_descriptorの2D_view_PID/tagに示されるTSパケットを分離し、MPEG2(2D)ビデオストリームを抽出する（ステップＳ４９０２）。
【０３０３】
そして、抽出したMPEG2(2D)ビデオストリームを映像デコード部４２０７でデコードし、ビデオ信号を表示部４２１３に出力することで、3Dデジタルテレビ４２００は2D再生を行う（ステップＳ４９０３）。
【０３０４】
カレントモードが３Ｄモードの場合、表示判定部４２０６は、3D_combi_info_descriptorのMVC_base_view_PID/tagに示されるＴＳパケット、およびMVC_dept_view_PID/tagに示されるＴＳパケットを分離し、ベースビューストリーム、ディペンデントビューストリームを抽出する（ステップＳ４９０４）。
【０３０５】
そして抽出したベースビューストリーム、ディペンデントビューストリームを映像デコード部４２０７でデコードし、ビデオ信号を表示部４２１３に出力することで、3Dデジタルテレビ４２００は３Ｄ再生を行う（ステップＳ４９０５）。
【０３０６】
以上のように、本実施の形態によれば、トランスポートストリームに多重化されたディスクリプタを参照することにより、トランスポートストリームのストリーム構成を特定できるので、2D再生、3D再生の互換再生、および2D再生、3D再生のシームレスな切り替えを行うことができる。
【０３０７】
（補足）
なお、上記の実施の形態に基づいて説明してきたが、本発明は上記の実施の形態に限定されないことはもちろんである。以下のような場合も本発明に含まれる。
【０３０８】
（ａ）本発明は、各実施形態で説明した処理手順が開示するアプリケーション実行方法であるとしてもよい。また、前記処理手順でコンピュータを動作させるプログラムコードを含むコンピュータプログラムであるとしてもよい。
【０３０９】
（ｂ）本発明は、上記各実施の形態に記載の画像処理装置を制御するＬＳＩとしても実施可能である。このようなＬＳＩは、各機能ブロックを集積化することで実現できる。これらの機能ブロックは、個別に１チップ化されても良いし、一部または全てを含むように１チップ化されてもよい。
【０３１０】
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０３１１】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または、汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０３１２】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロック及び部材の集積化を行ってもよい。このような技術には、バイオ技術の適用等が可能性としてありえる。
【産業上の利用可能性】
【０３１３】
本発明にかかる符号化方法によれば、２Ｄ映像を構成するビデオストリーム、および３Ｄ映像を構成するビデオストリームを特定するディスクリプタをトランスポートストリームに格納することができる。トランスポートストリームに多重化されたディスクリプタを参照することにより、トランスポートストリームのストリーム構成を特定できるので、2D再生、3D再生の互換再生、および2D再生、3D再生のシームレスな切り替えを行うことができ、有益である。
【符号の説明】
【０３１４】
１００  再生装置
２００  3D眼鏡
３００  2Dデジタルテレビ
５０１  ビデオフレーム列
５０２  ビデオのPESパケット
５０３  ビデオのTSパケット
５０４  オーディオフレーム列
５０５  オーディオのPESパケット
５０６  オーディオのTSパケット
５０７  字幕ストリーム
５０８  字幕ストリームのPESパケット
５０９  字幕ストリームのTSパケット
５１３  トランスポートストリーム
１５０１  再生装置のチューナ
１５０２  再生装置のNIC
１５０３  再生装置の多重分離部
１５０４  再生装置の映像デコード部
１５０５  再生装置の表示判定部
１５０６  再生装置の表示処理部
１５０７  再生装置の表示部
１５０８  再生装置のフレームバッファ（１）
１５１０  再生装置のフレームバッファ（L）
１５１１  再生装置のフレームバッファ（R）
１５１２  再生装置のスイッチ
２３０１  ビデオエンコーダ
２３０２  多重化処理部
２３０３  データ格納方法決定部
４０００  データ作成装置
４００１  ビデオエンコーダ
４００２  多重化処理部
４００３  データ格納方法決定部
４００４  ユーザーインターフェイス部４００４
４２００  3Dデジタルテレビ
４２０１  チューナ
４２０２  ＮＩＣ
４２０３  ユーザーインターフェイス部
４２０４  モード記憶部
４２０５  多重分離部
４２０６  表示判定部
４２０７  映像デコード部
４２０８  フレームバッファ（１）
４２０９  表示処理部４２０９、
４２１０  フレームバッファ（Ｌ）
４２１１  スイッチ
４２１２  フレームバッファ（Ｒ）
４２１３  表示部
【図１】
2012057164.tif 000003
【図２】
2012057164.tif 000004
【図３】
2012057164.tif 000005
【図４】
2012057164.tif 000006
【図５】
2012057164.tif 000007
【図６】
2012057164.tif 000008
【図７】
2012057164.tif 000009
【図８】
2012057164.tif 000010
【図９】
2012057164.tif 000011
【図１０】
2012057164.tif 000012
【図１１】
2012057164.tif 000013
【図１２】
2012057164.tif 000014
【図１３】
2012057164.tif 000015
【図１４】
2012057164.tif 000016
【図１５】
2012057164.tif 000017
【図１６】
2012057164.tif 000018
【図１７】
2012057164.tif 000019
【図１８】
2012057164.tif 000020
【図１９】
2012057164.tif 000021
【図２０】
2012057164.tif 000022
【図２１】
2012057164.tif 000023
【図２２】
2012057164.tif 000024
【図２３】
2012057164.tif 000025
【図２４】
2012057164.tif 000026
【図２５】
2012057164.tif 000027
【図２６】
2012057164.tif 000028
【図２７】
2012057164.tif 000029
【図２８】
2012057164.tif 000030
【図２９】
2012057164.tif 000031
【図３０】
2012057164.tif 000032
【図３１】
2012057164.tif 000033
【図３２】
2012057164.tif 000034
【図３３】
2012057164.tif 000035
【図３４】
2012057164.tif 000036
【図３５】
2012057164.tif 000037
【図３６】
2012057164.tif 000038
【図３７】
2012057164.tif 000039
【図３８】
2012057164.tif 000040
【図３９】
2012057164.tif 000041
【図４０】
2012057164.tif 000042
【図４１】
2012057164.tif 000043
【図４２】
2012057164.tif 000044
【図４３】
2012057164.tif 000045
【図４４】
2012057164.tif 000046
【図４５】
2012057164.tif 000047
【図４６】
2012057164.tif 000048
【図４７】
2012057164.tif 000049
【図４８】
2012057164.tif 000050
【図４９】
2012057164.tif 000051
【手続補正書】
【提出日】平成25年3月21日(2013.3.21)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
符号化方法であって、
画像を圧縮符号化してビデオデータを生成するエンコードステップと、
前記エンコードステップによって生成される複数のビデオデータに対して多重化処理を施すことで、1つのトランスポートストリームを得る多重化ステップとを有し、
前記複数のビデオデータは、2D映像を構成する2Dビデオデータを含むとともに、複数のビデオデータを組み合わせることで3D映像を構成し、
3D映像を構成するビデオデータの組み合わせには、前記2Dビデオデータと1つの他のビデオデータの組み合わせと、2Dビデオデータ以外の2以上の他のビデオデータの組み合わせがあり、
前記トランスポートストリームは、3D映像を構成するビデオデータを特定する3D映像特定情報を含む
ことを特徴とする符号化方法。
【請求項２】
前記符号化方法は、コンテンツテーブルを作成するコンテンツテーブル作成ステップを有し、
前記多重化ステップによる多重化は、
前記複数のビデオデータとコンテンツテーブルとを多重化することでなされ、
前記コンテンツテーブルは、1つ以上のテーブルディスクリプタと、各ビデオデータに対応するストリーム情報とを含み、
前記各ストリーム情報は、ストリームタイプと、ストリーム識別子と、ストリームディスクリプタとを含み、
前記3D映像特定情報は、テーブルディスクリプタ及びストリームディスクリプタの何れかに存在する
ことを特徴とする請求項１に記載の符号化方法。
【請求項３】
前記3D映像特定情報は、2Dビデオデータを特定する2D映像特定情報を含むことを特徴とする請求項１に記載の符号化方法。
【請求項４】
2D映像特定情報及び3D映像特定情報によるビデオデータの特定は、2Dビデオデータ、左目映像を構成する左目ビデオデータ、右目映像を構成するビデオデータに、それぞれ対応するデータ識別子を記載することでなされる
ことを特徴とする請求項3に記載の符号化方法。
【請求項５】
前記トランスポートストリームは2D/3D共用フラグを含み、
前記2D/3D共用フラグは、2Dビデオデータと、3D映像を構成する複数のビデオデータのいずれかが一致するか否かを示すことを特徴とする請求項1に記載の符号化方法。
【請求項６】
前記3D特定情報によって指定される3D映像を構成するビデオデータが1つの場合、
前記ビデオデータは、LRパック映像を構成し、
前記LRパック映像は、動画像を構成する個々のフレームに、左目画像と、右目画像とを格納した映像であり、
前記トランスポートストリームは、LRパック情報を含み、
LRパック情報は、左目画像及び右目画像が、どのようなパッキング方式でビデオデータの各フレームに格納されているかを示す
ことを特徴とする請求項1に記載の符号化方法。
【請求項７】
前記トランスポートストリームは、カメラのチャネル構成を示すカメラアサインメントを含み、
前記カメラのチャネル構成には、
Ｃチャネル、Ｌチャネル＋Ｒチャネル、Ｃチャネル＋Ｌチャネル＋Ｒチャネル、Ｃチャネル＋R1チャネル＋R2チャネルがあり
前記3D特定情報によって特定されるビデオデータは、前記カメラのチャネル構成のうち、何れかのものに従って撮影されたものであるかを示す
ことを特徴とする請求項1に記載の符号化方法。
【請求項８】
前記2Dビデオデータ、他のビデオデータのそれぞれには、文字表示制御情報が存在しており、
前記トランスポートストリームは、
2D再生モード、3D再生モードのそれぞれにおいて、2Dビデオデータ、他のビデオデータのうち、どちらのビデオデータに存在する文字表示制御情報を用いて文字表示を実現すべきかを示す情報を含む
ことを特徴とする請求項1に記載の符号化方法。
【請求項９】
ストリーム情報のストリームディスクリプタは、ビデオデータが左目画像及び右目画像のうち、何れに該当するかを示すフラグを含むことを特徴とする請求項2に記載の符号化方法。
【請求項１０】
前記3D映像特定情報を、コンテンツテーブルにおけるストリーム情報内のストリームディスクリプタ内に記述する
ことを特徴とする請求項2に記載の符号化方法。
【請求項１１】
前記作成ステップは、
前記コンテンツテーブルにおける各ビデオデータに対応するストリーム情報に、組合せの相手側となるビデオデータのストリーム識別子を記述することで、組合せの対象となる2以上のビデオデータを示す
ことを特徴とする請求項2に記載の符号化方法。
【請求項１２】
前記作成ステップは、
ディスクリプタを作成して、作成されたディスクリプタをビデオデータの内部に組込む
ことを特徴とする請求項2に記載の符号化方法。
【請求項１３】
表示装置であって、
装置外部からのトランスポートストリームの入力を受け付ける受付手段と、
2Dモード及び3Dモードの何れか1つをカレントモードとして記憶する記憶手段と、
カレントモードが2Dモードである場合、トランスポートストリームに含まれる1つのビデオデータを用いて2D映像の再生を行う再生手段とを備え、
トランスポートストリームは3D映像特定情報を備え、
3D映像特定情報は、3D映像を構成するビデオデータを特定し、
カレントモードが3Dモードである場合、トランスポートストリームに含まれる3D映像を構成するビデオデータを用いて3D映像の再生を行い、
3D映像の構成するビデオデータは、前記2Dビデオデータと1つの他のビデオデータとの組み合わせからなる場合と、2Dビデオデータ以外の他のビデオデータの2以上組み合わせからなる場合とがある
ことを特徴とする表示装置。
【請求項１４】
前記トランスポートストリームは、複数のビデオデータと、コンテンツテーブルとをトランスポートストリームパケット列に変換することで得られ、
前記表示装置は、
トランスポートストリームから所定のトランスポートストリームパケットを分離する多重分離手段を備え、コンテンツテーブルを格納したトランスポートストリームパケットを分離することで、3D映像特定情報の取得を行う
ことを特徴とする請求項１３に記載の表示装置。
【請求項１５】
前記3D映像特定情報には、2Dビデオデータを特定する2D映像特定情報を含み、
カレントモードが2Dモードである場合、多重分離部は、2D映像特定情報に基づき、2D映像を構成するビデオデータをトランスポートストリームから分離し、
カレントモードが3Dモードである場合、多重分離部は、3D映像特定情報に基づき、3D映像を構成するビデオデータを格納した複数のトランスポートストリームパケットをトランスポートストリームから分離する
ことを特徴とする請求項１４に記載の表示装置。
【請求項１６】
2D映像特定情報及び3D映像特定情報によるビデオデータの特定は、2Dビデオデータ、左目映像を構成する左目ビデオデータ、右目映像を構成する右目ビデオデータに、それぞれ対応するストリーム識別子を記載することでなされる
ことを特徴とする請求項１５に記載の表示装置。
【請求項１７】
トランスポートストリームは、2Dビデオデータと、3D映像を構成する複数のビデオデータのいずれかが一致するか否かを示す2D/3D共用フラグを含み、
前記多重分離部は、2D映像を構成するビデオデータが複数のビデオデータの何れかと一致しない場合、2Dモード、3Dモードのそれぞれにおいて、多重分離の対象となるビデオデータを変更し、
再生手段は、3D映像を構成するビデオデータが1つである場合、1つのビデオデータにおける個々のフレームから、左目画像及び右目画像を切り出して、左目画像及び右目画像のそれぞれを表示に供することで3D画像の再生を行い、
3D映像を構成するビデオデータが2つ以上である場合、多重分離部によって分離された2以上のビデオデータをデコードすることで左目画像及び右目画像を得て、左目画像及び右目画像のそれぞれを表示に供することで3D画像の再生を行う
ことを特徴とする請求項１６に記載の表示装置。
【請求項１８】
前記3D特定情報によって指定される3D映像を構成するビデオデータが1つの場合、
前記ビデオデータはLRパック映像を構成し、前記LRパック映像は、動画像を構成する個々のフレームに、左目画像と、右目画像とを格納した映像であり、
前記トランスポートストリームは、LRパック情報を含み、
LRパック情報は、左目画像及び右目画像が、どのようなパッキング方式でビデオデータの各フレームに格納されているかを示し、
再生手段は、LRパック情報に従って、フレームのうち、左目画像及び右目画像を切り出すべき領域を特定する
ことを特徴とする請求項１７に記載の表示装置。
【請求項１９】
復号方法であって、
トランスポートストリームの入力を受け付ける受付ステップと、
2Dモード及び3Dモードの何れか1つをカレントモードとして記憶する記憶ステップと、
カレントモードが2Dモードである場合、トランスポートストリームに含まれる1つのビデオデータを用いて2D映像の再生を行う再生ステップとを含み、
トランスポートストリームは3D映像特定情報を備え、
3D映像特定情報は、3D映像を構成するビデオデータを特定し、
カレントモードが3Dモードである場合、トランスポートストリームに含まれる3D映像を構成するビデオデータを用いて3D映像の再生を行い、
3D映像の構成するビデオデータは、前記2Dビデオデータと1つの他のビデオデータとの組み合わせからなる場合と、2Dビデオデータ以外の他のビデオデータの2以上組み合わせからなる場合とがある
ことを特徴とする復号方法。
【手続補正書】
【提出日】平成25年6月11日(2013.6.11)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
符号化方法であって、
画像を圧縮符号化してビデオデータを生成するエンコードステップと、
前記エンコードステップによって生成される複数のビデオデータに対して多重化処理を施すことで、1つのトランスポートストリームを得る多重化ステップとを有し、
前記複数のビデオデータは、2D映像を構成する2Dビデオデータを含むとともに、複数のビデオデータを組み合わせることで3D映像を構成し、
3D映像を構成するビデオデータの組み合わせには、前記2Dビデオデータと1つの他のビデオデータの組み合わせと、2Dビデオデータ以外の2以上の他のビデオデータの組み合わせがあり、
前記トランスポートストリームは、3D映像を構成するビデオデータを特定する3D映像特定情報を含む
ことを特徴とする符号化方法。
【請求項２】
前記符号化方法は、コンテンツテーブルを作成するコンテンツテーブル作成ステップを有し、
前記多重化ステップによる多重化は、
前記複数のビデオデータとコンテンツテーブルとを多重化することでなされ、
前記コンテンツテーブルは、1つ以上のテーブルディスクリプタと、各ビデオデータに対応するストリーム情報とを含み、
前記各ストリーム情報は、ストリームタイプと、ストリーム識別子と、ストリームディスクリプタとを含み、
前記3D映像特定情報は、テーブルディスクリプタ及びストリームディスクリプタの何れかに存在する
ことを特徴とする請求項１に記載の符号化方法。
【請求項３】
前記3D映像特定情報は、2Dビデオデータを特定する2D映像特定情報を含むことを特徴とする請求項１に記載の符号化方法。
【請求項４】
2D映像特定情報及び3D映像特定情報によるビデオデータの特定は、2Dビデオデータ、左目映像を構成する左目ビデオデータ、右目映像を構成するビデオデータに、それぞれ対応するデータ識別子を記載することでなされる
ことを特徴とする請求項3に記載の符号化方法。
【請求項５】
前記トランスポートストリームは2D/3D共用フラグを含み、
前記2D/3D共用フラグは、2Dビデオデータと、3D映像を構成する複数のビデオデータのいずれかが一致するか否かを示すことを特徴とする請求項1に記載の符号化方法。
【請求項６】
前記3D映像特定情報によって指定される3D映像を構成するビデオデータが1つの場合、
前記ビデオデータは、LRパック映像を構成し、
前記LRパック映像は、動画像を構成する個々のフレームに、左目画像と、右目画像とを格納した映像であり、
前記トランスポートストリームは、LRパック情報を含み、
LRパック情報は、左目画像及び右目画像が、どのようなパッキング方式でビデオデータの各フレームに格納されているかを示す
ことを特徴とする請求項1に記載の符号化方法。
【請求項７】
前記トランスポートストリームは、カメラのチャネル構成を示すカメラアサインメントを含み、
前記カメラのチャネル構成には、
Ｃチャネル、Ｌチャネル＋Ｒチャネル、Ｃチャネル＋Ｌチャネル＋Ｒチャネル、Ｃチャネル＋R1チャネル＋R2チャネルがあり
前記カメラアサインメントは、前記3D映像特定情報によって特定されるビデオストリームが、前記カメラのチャネル構成のうち何れに従って撮影されたかを示す
ことを特徴とする請求項1に記載の符号化方法。
【請求項８】
前記2Dビデオデータ、他のビデオデータのそれぞれには、文字表示制御情報が存在しており、
前記トランスポートストリームは、
2D再生モード、3D再生モードのそれぞれにおいて、2Dビデオデータ、他のビデオデータのうち、どちらのビデオデータに存在する文字表示制御情報を用いて文字表示を実現すべきかを示す情報を含む
ことを特徴とする請求項1に記載の符号化方法。
【請求項９】
ストリーム情報のストリームディスクリプタは、ビデオデータが左目画像及び右目画像のうち、何れに該当するかを示すフラグを含むことを特徴とする請求項2に記載の符号化方法。
【請求項１０】
前記3D映像特定情報を、コンテンツテーブルにおけるストリーム情報内のストリームディスクリプタ内に記述する
ことを特徴とする請求項2に記載の符号化方法。
【請求項１１】
前記作成ステップは、
前記コンテンツテーブルにおける各ビデオデータに対応するストリーム情報に、組合せの相手側となるビデオデータのストリーム識別子を記述することで、組合せの対象となる2以上のビデオデータを示す
ことを特徴とする請求項2に記載の符号化方法。
【請求項１２】
前記作成ステップは、
ディスクリプタを作成して、作成されたディスクリプタをビデオデータの内部に組込む
ことを特徴とする請求項2に記載の符号化方法。
【請求項１３】
表示装置であって、
装置外部からのトランスポートストリームの入力を受け付ける受付手段と、
2Dモード及び3Dモードの何れか1つをカレントモードとして記憶する記憶手段と、
カレントモードが2Dモードである場合、トランスポートストリームに含まれる1つのビデオデータを用いて2D映像の再生を行う再生手段とを備え、
トランスポートストリームは3D映像特定情報を備え、
3D映像特定情報は、3D映像を構成するビデオデータを特定し、
カレントモードが3Dモードである場合、トランスポートストリームに含まれる3D映像を構成するビデオデータを用いて3D映像の再生を行い、
3D映像を構成するビデオデータは、2D映像を構成する2Dビデオデータと1つの他のビデオデータとの組み合わせからなる場合と、前記2Dビデオデータ以外の他のビデオデータの2以上組み合わせからなる場合とがある
ことを特徴とする表示装置。
【請求項１４】
前記トランスポートストリームは、複数のビデオデータと、コンテンツテーブルとをトランスポートストリームパケット列に変換することで得られ、
前記表示装置は、
トランスポートストリームから所定のトランスポートストリームパケットを分離する多重分離手段を備え、コンテンツテーブルを格納したトランスポートストリームパケットを分離することで、3D映像特定情報の取得を行う
ことを特徴とする請求項１３に記載の表示装置。
【請求項１５】
前記3D映像特定情報には、2Dビデオデータを特定する2D映像特定情報を含み、
カレントモードが2Dモードである場合、多重分離部は、2D映像特定情報に基づき、2D映像を構成するビデオデータをトランスポートストリームから分離し、
カレントモードが3Dモードである場合、多重分離部は、3D映像特定情報に基づき、3D映像を構成するビデオデータを格納した複数のトランスポートストリームパケットをトランスポートストリームから分離する
ことを特徴とする請求項１４に記載の表示装置。
【請求項１６】
2D映像特定情報及び3D映像特定情報によるビデオデータの特定は、2Dビデオデータ、左目映像を構成する左目ビデオデータ、右目映像を構成する右目ビデオデータに、それぞれ対応するストリーム識別子を記載することでなされる
ことを特徴とする請求項１５に記載の表示装置。
【請求項１７】
トランスポートストリームは、2Dビデオデータと、3D映像を構成する複数のビデオデータのいずれかが一致するか否かを示す2D/3D共用フラグを含み、
前記多重分離部は、2D映像を構成するビデオデータが複数のビデオデータの何れかと一致しない場合、2Dモード、3Dモードのそれぞれにおいて、多重分離の対象となるビデオデータを変更し、
再生手段は、3D映像を構成するビデオデータが1つである場合、1つのビデオデータにおける個々のフレームから、左目画像及び右目画像を切り出して、左目画像及び右目画像のそれぞれを表示に供することで3D画像の再生を行い、
3D映像を構成するビデオデータが2つ以上である場合、多重分離部によって分離された2以上のビデオデータをデコードすることで左目画像及び右目画像を得て、左目画像及び右目画像のそれぞれを表示に供することで3D画像の再生を行う
ことを特徴とする請求項１６に記載の表示装置。
【請求項１８】
前記3D映像特定情報によって指定される3D映像を構成するビデオデータが1つの場合、
前記ビデオデータはLRパック映像を構成し、前記LRパック映像は、動画像を構成する個々のフレームに、左目画像と、右目画像とを格納した映像であり、
前記トランスポートストリームは、LRパック情報を含み、
LRパック情報は、左目画像及び右目画像が、どのようなパッキング方式でビデオデータの各フレームに格納されているかを示し、
再生手段は、LRパック情報に従って、フレームのうち、左目画像及び右目画像を切り出すべき領域を特定する
ことを特徴とする請求項１７に記載の表示装置。
【請求項１９】
復号方法であって、
トランスポートストリームの入力を受け付ける受付ステップと、
2Dモード及び3Dモードの何れか1つをカレントモードとして記憶する記憶ステップと、
カレントモードが2Dモードである場合、トランスポートストリームに含まれる1つのビデオデータを用いて2D映像の再生を行う再生ステップとを含み、
トランスポートストリームは3D映像特定情報を備え、
3D映像特定情報は、3D映像を構成するビデオデータを特定し、
カレントモードが3Dモードである場合、トランスポートストリームに含まれる3D映像を構成するビデオデータを用いて3D映像の再生を行い、
3D映像を構成するビデオデータは、2D映像を構成する2Dビデオデータと1つの他のビデオデータとの組み合わせからなる場合と、前記2Dビデオデータ以外の他のビデオデータの2以上組み合わせからなる場合とがある
ことを特徴とする復号方法。
【国際調査報告】
2012057164.tif 000052
2012057164.tif 000053
2012057164.tif 000054
2012057164.tif 000055