"二次元または三次元のマルチメディアサービスに係わるプログラムから、視点別ビデオデータを含む少なくとも1つのESelementarystreamを生成する段階と、前記少なくとも1つのESに係わる参照情報と、前記視点別ビデオデータを視点別に識別して再生するための三次元付加情報と、を含む前記プログラムに係わるPMTprogrammaptable情報を生成する段階と、前記少なくとも1つのESをパケット化して生成されたPESpacketizedelementarystreamパケットと前記PMT情報とを多重化してTSを生成する段階と、を含むことを特徴とする三次元マルチメディアサービスを提供するためのデータストリーム生成方法。前記PMT情報の生成段階は、前記PMT情報において、前記少なくとも1つのESのうち基本ESのための叙述子情報に、前記基本ESに挿入された基本ビデオデータに係わる三次元付加情報を挿入する段階と、前記基本ESのための叙述子情報に、前記少なくとも1つのESのうち、付加ESに含まれた付加ビデオデータに係わる三次元付加情報及び参照情報のうち、少なくとも一つを挿入する段階と、を含み、前記基本ビデオデータ及び前記付加ビデオデータは、それぞれ前記視点別ビデオデータの組み合わせであることを特徴とする請求項1に記載の三次元マルチメディアサービスを提供するためのデータストリーム生成方法。前記基本ビデオデータに係わる三次元付加情報は、前記基本ビデオデータの映像フォーマット情報、前記基本ビデオデータの映像フォーマットのうち視点別配置順序情報、及び付加ESの個数情報のうち少なくとも一つを含み、前記付加ESに係わる参照情報は、前記付加ESのストリームタイプ情報、及び前記付加ESのPIDpacketindentifier情報のうち少なくとも一つを含むことを特徴とする請求項2に記載の三次元マルチメディアサービスを提供するためのデータストリーム生成方法。前記PMT情報の生成段階は、前記PMT情報に、前記少なくとも1つのES別に順次に、当該ESのストリームタイプ情報、PID情報及びビデオストリーム叙述子情報を含むES情報を挿入する段階を含むことを特徴とする請求項1に記載の三次元マルチメディアサービスを提供するためのデータストリーム生成方法。前記PMT情報の生成段階は、前記少なくとも1つのESのうち、前記基本ESに含まれた基本ビデオデータに係わる三次元付加情報を含む三次元ビデオ叙述子情報を挿入する段階と、前記少なくとも1つのESのうち付加ESに係わるES情報に、前記三次元付加情報を含む付加ESビデオ叙述子情報を挿入する段階と、をさらに含むことを特徴とする請求項4に記載の三次元マルチメディアサービスを提供するためのデータストリーム生成方法。二次元または三次元のマルチメディアサービスに係わるプログラムに係わるTStransportstreamを受信する段階と、前記TSを逆多重化し、前記プログラムに係わるPESpacketizedelementarystreamパケット及び前記プログラムに係わるPMTprogrammaptable情報を抽出する段階と、前記PMT情報から、前記プログラムにおける視点別ビデオデータを含む少なくとも1つのESelementarystreamに係わる参照情報と、前記視点別ビデオデータを視点別に識別して再生するESための三次元付加情報と、を抽出する段階と、前記PESパケットを逆パケット化して抽出されたESのうち、前記PMT情報から抽出された前記ESに係わる参照情報を利用し、前記少なくとも1つのESを復元し、前記少なくとも1つのESから、前記プログラムにおける視点別ビデオデータを抽出する段階と、を含むことを特徴とする三次元マルチメディアサービスを提供するためのデータストリーム受信方法。前記データストリーム受信方法は、前記抽出された視点別ビデオデータを復号化して復元し、前記三次元付加情報を利用し、三次元で再生する段階をさらに含むことを特徴とする請求項6に記載の三次元マルチメディアサービスを提供するためのデータストリーム受信方法。前記PMT情報から参照情報及び三次元付加情報抽出段階は、前記PMT情報において、前記少なくとも1つのESelementarystreamのうち、基本ESのための叙述子情報から、前記基本ESに係わる参照情報及び前記基本ESに含まれた基本ビデオデータに係わる三次元付加情報のうち少なくとも一つを抽出する段階と、前記基本ESのための叙述子情報から、前記少なくとも1つのESのうち付加ESに係わる参照情報、及び前記付加ESに含まれた付加ビデオデータに係わる三次元付加情報のうち少なくとも一つを抽出する段階と、を含み、前記基本ビデオデータ及び前記付加ビデオデータは、それぞれ前記視点別ビデオデータの組み合わせであることを特徴とする請求項6に記載の三次元マルチメディアサービスを提供するためのデータストリーム受信方法。前記基本視点ビデオデータに係わる三次元付加情報は、前記基本ビデオデータの映像フォーマット情報、前記基本ビデオデータの映像フォーマットのうち視点別配置順序情報、付加ESの個数情報及び前記付加ESに係わる参照情報のうち少なくとも一つを含み、前記付加ESに係わる参照情報は、前記付加ESのストリームタイプ情報及び前記付加ESのPID情報のうち少なくとも一つを含むことを特徴とする請求項8に記載の三次元マルチメディアサービスを提供するためのデータストリーム受信方法。前記PMT情報からの参照情報及び三次元付加情報抽出段階は、前記PMT情報から、前記少なくとも1つのES別に順次に、当該ESのストリームタイプ情報、PID情報及びビデオストリーム叙述子情報を含むES情報を抽出する段階を含むことを特徴とする請求項6に記載の三次元マルチメディアサービスを提供するためのデータストリーム受信方法。前記PMT情報からの参照情報及び三次元付加情報抽出段階は、前記少なくとも1つのESのうち、前記視点別ビデオデータのうち基本視点ビデオデータを含む基本視点ESに係わるES情報から、前記視点別ビデオデータに係わる三次元付加情報を含む三次元ビデオ叙述子情報を抽出する段階と、前記少なくとも1つのESのうち付加ESに係わるES情報から、前記三次元付加情報を含む付加ESビデオ叙述子情報を抽出する段階と、をさらに含むことを特徴とする請求項10に記載の三次元マルチメディアサービスを提供するためのデータストリーム受信方法。三次元マルチメディアサービスを提供するためのデータストリーム生成装置において、二次元または三次元のマルチメディアサービスに係わるプログラムから、視点別ビデオデータを含む少なくとも1つのESelementarystreamを生成するES生成部と、前記少なくとも1つのESに係わる参照情報と、前記視点別ビデオデータを視点別に識別して再生するための三次元付加情報と、を含む前記プログラムに係わるPMTprogrammaptable情報を生成するPMT生成部と、前記少なくとも1つのESをパケット化して生成されたPESpacketizedelementarystreamパケットと前記PMT情報とを多重化してTSを生成するTS生成部と、前記TSをチャネルに同調化して伝送するチャネル伝送部と、を含むことを特徴とする三次元マルチメディアサービスを提供するためのデータストリーム生成装置。三次元マルチメディアサービスを提供するためのデータストリーム受信装置において、二次元または三次元のマルチメディアサービスに係わるプログラムに係わるTStransportstreamを受信するTS受信部と、前記TSを逆多重化し、前記プログラムに係わるPESpacketizedelementarystreamパケット及び前記プログラムに係わるPMTprogrammaptable情報を抽出するTS逆多重化部と、前記PMT情報から、前記プログラムにおける視点別ビデオデータを含む少なくとも1つのESに係わる参照情報と、前記視点別ビデオデータを視点別に識別して再生するための三次元付加情報と、を抽出するPMT三次元付加情報抽出部と、前記PESパケットを逆パケット化して抽出されたESのうち、前記PMT情報から抽出された前記ESに係わる参照情報を利用し、前記少なくとも1つのESを復元し、前記少なくとも1つのESから、前記プログラムにおける視点別ビデオデータを抽出するES復元部と、前記抽出された視点別ビデオデータを復号化して復元し、前記三次元付加情報及び前記参照情報のうち少なくとも一つを利用し、三次元で再生する再生部と、を含むことを特徴とする三次元マルチメディアサービスを提供するためのデータストリーム受信装置。請求項1に記載の三次元マルチメディアサービスを提供するためのデータストリーム生成方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体。請求項6に記載の三次元マルチメディアサービスを提供するためのデータストリーム受信方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体。本発明は、一実施形態によって、三次元付加情報及び参照情報または、三次元叙述子情報が、MPEGTSシステムのPMT情報内のビデオ叙述子情報に追加して挿入され、三次元ビデオを再生するために、三次元付加情報及び参照情報または、三次元叙述子情報が認識されて抽出されるものである。本発明の一実施形態による三次元3Dマルチメディアサービスを提供するためのデータストリーム生成方法は、二次元2Dまたは三次元のマルチメディアサービスに係わるプログラムから、視点別ビデオデータを含む少なくとも1つのESelementarystreamを生成する段階と、前記少なくとも1つのESに係わる参照reference情報と、前記視点別ビデオデータを視点別に識別して再生するための三次元付加情報と、を含む前記プログラムに係わるPMTprogrammaptable情報を生成する段階と、前記少なくとも1つのESをパケット化packetizingして生成されたPESpacketizedelementarystreamパケットと前記PMT情報とを多重化してTStransportstreamを生成する段階と、を含む。三次元付加情報及び参照情報または、三次元叙述子情報を含むPMT情報が収録されたデータストリームが伝送され、このデータストリームを受信システムが受信する場合、既存MPEGTSシステムによる受信システムは、三次元付加情報及び参照情報または、三次元叙述子情報と関係なく、二次元マルチメディアサービスを提供することができるので、既存MPEGTSシステムとの互換性が維持され、一実施形態によるデータストリーム受信装置が搭載された受信システムは、三次元マルチメディアサービスを提供することができる。また、既存MPEGTSシステムで定義されたストリームタイプ情報を利用し、それぞれのESのストリームタイプ情報が設定されるので、既存MPEGTSシステムのデータストリーム構造と比べ、ストリームタイプが追加して新設される必要がない。本発明の一実施形態による三次元マルチメディアサービスを提供するためのデータストリーム生成方法は、二次元または三次元のマルチメディアサービスに係わるプログラムから、視点別ビデオデータを含む少なくとも1つのESelementarystreamを生成する段階と、前記少なくとも1つのESに係わる参照reference情報と、前記視点別ビデオデータを視点別に識別して再生するための三次元付加情報と、を含む前記プログラムに係わるPMTprogrammaptable情報を生成する段階と、前記少なくとも1つのESをパケット化packetizingして生成されたPESpacketizedelementarystreamパケットと前記PMT情報とを多重化してTStransportstreamを生成する段階と、を含む。一実施形態による前記PMT情報の生成段階は、前記PMT情報において、前記少なくとも1つのESのうち基本ESのための叙述子descriptor情報に、前記基本ESに挿入された基本ビデオデータに係わる三次元付加情報を挿入する段階と、前記基本ESのための叙述子情報に、前記少なくとも1つのESのうち付加ESに含まれた付加ビデオデータに係わる三次元付加情報及び参照情報のうち少なくとも一つを挿入する段階と、を含み、前記基本ビデオデータ及び前記付加ビデオデータは、それぞれ前記視点別ビデオデータの組み合わせである。一実施形態による前記ESに係わる参照情報は、当該ESのストリームタイプsteamtype情報及びPIDpacketindentifier情報のうち少なくとも一つを含んでもよい。一実施形態による前記付加ビデオデータに係わる三次元付加情報及び参照情報の挿入段階は、前記付加ESに係わる参照情報のうち、前記付加ESのストリームタイプstreamtype情報をMPEGmovingpictureexpertsgroupシステムで割り当てられた値に設定される。一実施形態による前記付加ビデオデータに係わる三次元付加情報及び参照情報の挿入段階は、前記少なくとも1つのESのうち、前記付加ESの個数が複数個である場合、それぞれの付加ES別に、三次元付加情報及び参照情報のうち少なくとも一つを設定することができる。一実施形態による前記基本視点ビデオデータに係わる三次元付加情報は、前記基本ビデオデータの映像フォーマット情報、前記基本ビデオデータの映像フォーマットのうち視点別配置順序情報、及び付加ESの個数情報のうち少なくとも一つを含んでもよい。一実施形態による前記付加ビデオデータに係わる三次元付加情報は、前記付加ビデオデータの映像フォーマット情報、前記基本ビデオデータ及び前記付加ビデオデータのディスプレイ順序情報、子供用あるいは大人用の立体感効果調節情報、及び前記視点別ビデオデータのうち、前記付加ビデオデータを指す付加ビデオインデックス情報のうち少なくとも一つを含んでもよい。一実施形態による前記PMT情報の生成段階は、前記PMT情報に、前記少なくとも1つのES別に順次に、当該ESのストリームタイプ情報、PID情報及びビデオストリーム叙述子情報を含むES情報を挿入する段階を含んでもよい。一実施形態による前記PMT情報の生成段階は、前記少なくとも1つのESのうち、前記基本ESに含まれた基本ビデオデータに係わる三次元付加情報を含む三次元ビデオ叙述子情報を挿入する段階をさらに含んでもよい。一実施形態による前記三次元ビデオ叙述子情報の挿入段階は、前記三次元ビデオ叙述子情報に、前記少なくとも1つのESの個数情報、及び前記少なくとも1つのESの映像フォーマット情報を挿入する段階を含んでもよい。一実施例によって、前記少なくとも1つのESの個数が一つである場合、前記映像フォーマット情報は、前記視点別ビデオデータのうち、基本視点ビデオデータ及び付加視点ビデオデータが合成された三次元合成フォーマットを示し、前記少なくとも1つのESの個数が2以上である場合、前記映像フォーマット情報は、前記視点別ビデオデータが、前記基本視点ビデオに係わる前記付加視点ビデオの深度depth情報、両眼視差情報及び前記付加視点ビデオデータのうち少なくとも一つと、前記基本視点ビデオデータと、を含む三次元映像フォーマットであってもよい。一実施形態による前記PMT情報の生成段階は、前記少なくとも1つのESのうち付加ESに係わるES情報に、前記付加ESに含まれた付加ビデオデータの符号化/復号化方式に係わるコーデック情報を挿入することができる。一実施形態による前記PMT情報の生成段階は、前記少なくとも1つのESのうち付加ESに係わるES情報に、前記三次元付加情報及び参照情報のうち少なくとも一つを含む付加ESビデオ叙述子情報を挿入する段階を含んでもよい。一実施形態による前記付加ESビデオ叙述子情報の挿入段階は、前記付加ESビデオ叙述子情報に、前記基本視点ビデオに係わる前記付加視点ビデオの深度情報または両眼視差parallax情報を、前記付加視点ビデオデータと同時に伝送する三次元ハイブリッドフォーマットであるか否かを示すための情報と、三次元ハイブリッドフォーマット情報と、を挿入する段階を含んでもよい。一実施形態による前記付加ESビデオ叙述子情報の挿入段階は、前記付加ESビデオ叙述子情報に、前記付加ビデオデータが、前記基本視点ビデオに係わる前記付加視点ビデオの深度情報または両眼視差情報、及び付加視点ビデオデータのうち少なくとも一つであるか否かを示す情報を挿入する段階を含んでもよい。一実施形態による前記付加ESビデオ叙述子情報の挿入段階は、前記付加ビデオデータが付加視点ビデオデータである場合、前記付加ESビデオ叙述子情報に、前記付加視点ESと関連する基本視点ESに係わるPID情報、及び前記付加ビデオデータが左視点または右視点のビデオデータであるかを示す情報のうち少なくとも一つを含む付加視点ビデオパラメータをさらに挿入する段階をさらに含んでもよい。一実施形態による前記付加視点ビデオパラメータは、前記三次元マルチメディアサービスの再生時、前記基本視点ビデオデータと、前記付加視点ビデオデータとの映像サイズを同一に変換するために、前記付加視点ビデオデータの映像サイズを示す情報を含んでもよい。一実施形態による前記ES情報の挿入段階は、前記少なくとも1つのESのうち付加ESに係わるES情報のうち、前記ストリームタイプ情報をMPEGシステムで割り当てられた付加ビデオストリームauxiliaryvideostream値として設定することができる。一実施形態による前記付加ESビデオ叙述子情報の挿入段階は、前記付加ESの個数が複数個である場合、それぞれの付加ES別に、付加ESビデオ叙述子情報を設定することができる。一実施形態による前記PMT情報の生成段階は、前記PMT情報に、前記TSに三次元ビデオデータが含まれるか否かを示す三次元通知叙述子noticedescriptor情報を挿入する段階を含んでもよい。一実施形態による前記三次元通知叙述子情報は、現在ESに三次元ビデオデータが含まれていることを示す三次元通知表示アイコンが存在するか否かを示す情報、現在PMT情報の二次元モードまたは三次元モードのうち、現在モード情報と異なるモード情報が現在PMT情報に後続するPMT情報に含まれるか否かを示す二次元/三次元モード転換情報、前記二次元/三次元モード転換が生じる時間を示す転換時間スタンプ情報、及び前記二次元/三次元モード転換が生じる場合、画面に表示するメッセージを含んだテキスト情報のうち少なくとも一つを含んでもよい。一実施形態による前記PMT情報の生成段階は、前記PMT情報に、現在ESに二次元ビデオデータ、三次元ビデオデータ、並びに二次元及び三次元のビデオデータの混合データのうちいずれか一つが含まれているか否かを示す二次元/三次元モード情報、及び前記現在PMT情報の前記二次元/三次元モード情報が現在PMT情報に後続するPMT情報において転換されているか否かを示す二次元/三次元モード転換情報のうち少なくとも一つを含む二次元/三次元モード情報をさらに挿入する段階を含んでもよい。一実施形態による前記PMT情報の生成段階は、前記PMT情報に、前記視点別ビデオデータのうち、基本視点ビデオデータ及び付加視点ビデオデータの大きさまたは縦横比aspectratioが異なるように伝送される場合、前記三次元再生時、前記基本視点ビデオデータ及び前記付加視点ビデオデータが表示される領域を調節する方法に係わるクロップオフセット情報を含む縦横比叙述子情報を挿入する段階を含んでもよい。一実施形態による前記データストリーム生成方法は、前記TSをチャネルに同調化して伝送する段階を含んでもよい。本発明の一実施形態による三次元マルチメディアサービスを提供するためのデータストリーム受信方法は、二次元または三次元のマルチメディアサービスに係わるプログラムに係わるTSを受信する段階と、前記TSを逆多重化し、前記プログラムに係わるPESパケット及び前記プログラムに係わるPMT情報を抽出する段階と、前記PMT情報から、前記プログラムにおける視点別ビデオデータを含む少なくとも1つのESに係わる参照情報と、前記視点別ビデオデータを視点別に識別して再生するための三次元付加情報と、を抽出する段階と、前記PESパケットを逆パケット化して抽出されたESのうち、前記PMT情報から抽出された前記ESに係わる参照情報を利用し、前記少なくとも1つのESを復元し、前記少なくとも1つのESから、前記プログラムにおける視点別ビデオデータを抽出する段階と、を含む。一実施形態による前記データストリーム受信方法は、前記抽出された視点別ビデオデータを復号化して復元し、前記三次元付加情報及び参照情報のうち少なくとも一つを利用し、三次元で再生する段階をさらに含んでもよい。一実施形態による前記PMT情報から三次元付加情報を抽出する段階は、前記PMT情報において、前記少なくとも1つのESのうち基本ESのための叙述子情報から、前記基本ESに含まれた基本ビデオデータに係わる三次元付加情報及び付加情報のうち少なくとも一つを抽出する段階と、前記基本ESのための叙述子情報から、前記少なくとも1つのESのうち付加ESに含まれた付加ビデオデータに係わる三次元付加情報及び参照情報のうち少なくとも一つを抽出する段階と、を含み、前記基本ビデオデータ及び前記付加ビデオデータは、それぞれ前記視点別ビデオデータの組み合わせであってもよい。一実施形態による前記付加ビデオデータに係わる三次元付加情報及び参照情報の抽出段階は、前記付加ESの個数が複数個である場合、それぞれの付加ES別に、三次元付加情報及び参照情報のうち少なくとも一つを抽出することができる。一実施形態による前記PMT情報からの三次元付加情報及び参照情報の抽出段階は、前記PMT情報から、前記少なくとも1つのES別に順次にES情報を抽出する段階を含み、前記ES情報は、当該ESのストリームタイプ情報、PID情報を含む参照情報及び三次元付加情報のうち少なくとも一つを含むビデオストリーム叙述子情報を含んでもよい。一実施形態による前記PMT情報からの三次元付加情報及び参照情報の抽出段階は、前記少なくとも1つのESのうち、前記視点別ビデオデータのうち基本視点ビデオデータを含む基本視点ESに係わるES情報から、前記視点別ビデオデータに係わる三次元付加情報及び参照情報のうち少なくとも一つを含む三次元ビデオ叙述子情報を抽出する段階をさらに含んでもよい。一実施形態による前記PMT情報からの三次元付加情報及び参照情報の抽出段階は、前記少なくとも1つのESのうち付加ESに係わるES情報から、前記三次元付加情報及び参照情報のうち少なくとも一つを含む付加ESビデオ叙述子情報を抽出する段階を含んでもよい。一実施形態による前記ES情報抽出段階は、前記少なくとも1つのESのうち付加ESに係わるES情報のうち、前記ストリームタイプ情報がMPEGシステムで割り当てられた付加ビデオストリームauxiliaryvideostream値として設定されていてもよい。一実施形態による前記PMT情報からの三次元付加情報及び参照情報の抽出段階は、前記PMT情報から、前記TSに三次元ビデオデータが含まれるか否かを示す三次元通知叙述子情報を抽出する段階を含んでもよい。一実施形態による前記PMT情報からの三次元付加情報及び参照情報の抽出段階は、前記PMT情報から、二次元/三次元モード情報及び二次元/三次元モード転換情報のうち少なくとも一つをさらに抽出する段階を含んでもよい。一実施形態による前記PMT情報からの三次元付加情報及び参照情報の抽出段階は、前記PMT情報から、クロップオフセット情報を含む縦横比叙述子情報を抽出する段階を含んでもよい。一実施形態による前記三次元再生段階は、前記三次元マルチメディアサービスの三次元ビデオの基本視点ビデオデータ及び付加視点ビデオデータを復元する段階と、前記三次元付加情報及び参照情報のうち少なくとも一つを利用し、前記基本視点ビデオデータ及び前記付加視点ビデオデータを三次元再生フォーマットに変換して再生する段階を含んでもよい。一実施形態による前記三次元再生段階は、前記三次元マルチメディアサービスの三次元ビデオの基本視点ビデオデータ及び二次元ビデオデータのうち一つである第1視点ビデオデータと、前記三次元ビデオの付加視点ビデオ及び前記基本視点ビデオと前記付加視点ビデオとの差情報、深度情報及び両眼視差情報のうち少なくとも一つを含む第2視点ビデオデータと、を復元する段階と、前記三次元付加情報及び参照情報のうち少なくとも一つを利用し、前記第1視点ビデオデータ及び前記第2視点ビデオデータを三次元再生フォーマットに変換して再生する段階と、を含んでもよい。一実施形態による前記三次元再生段階は、前記三次元マルチメディアサービスの三次元ビデオの基本視点ビデオデータ及び付加視点ビデオデータが合成された三次元合成フォーマットデータである第1視点ビデオデータと、前記基本視点ビデオ及び前記付加視点ビデオ間の差情報、深度情報及び両眼視差情報のうち一つである第2視点ビデオデータと、を復元し、前記三次元付加情報及び参照情報のうち少なくとも一つを利用し、前記第1視点ビデオデータ及び前記第2視点ビデオデータを三次元再生フォーマットに変換して再生することができる。一実施形態による前記復元段階は、前記第1視点ビデオデータ及び前記第2視点ビデオデータを利用し、基本視点及び付加視点の中間視点ビデオデータを生成する段階を含み、前記三次元再生フォーマットに変換して再生する段階は、前記三次元付加情報及び参照情報のうち少なくとも一つを利用し、前記第1視点ビデオデータ、前記中間視点ビデオデータ及び前記第2視点ビデオデータを三次元再生フォーマットに変換して再生することができる。一実施形態による前記三次元再生段階は、三次元ビデオを構成する多数の二次元ビデオデータを復元する段階と、前記三次元付加情報及び参照情報のうち少なくとも一つを利用し、前記多数の二次元ビデオデータを選択的に再生したり、あるいはPIPpictureinpicture再生モードで再生する段階を含んでもよい。一実施形態による前記データストリーム受信方法は、前記抽出された視点別ビデオデータを復号化して復元し、前記三次元付加情報及び参照情報のうち少なくとも一つを利用し、三次元で再生する段階をさらに含み、前記三次元再生段階は、前記縦横比叙述子情報のうち前記クロップオフセット情報に基づいて、前記付加視点ビデオデータに比べて、前記基本視点ビデオデータが外れる領域をクロップcroppingし、前記クロップされた基本視点ビデオデータ及び前記付加視点ビデオデータを利用し、三次元で再生することができる。一実施形態による前記データストリーム受信方法は、前記抽出された視点別ビデオデータを復号化して復元し、前記三次元付加情報及び参照情報のうち少なくとも一つを利用し、三次元で再生する段階をさらに含み、前記三次元再生段階は、前記縦横比叙述子情報のうち前記クロップオフセット情報に基づいて、前記基本視点ビデオデータに比べて、前記付加視点ビデオデータが小さい領域に、当該基本視点ビデオデータを充填した拡張された付加視点ビデオデータを生成する段階と、前記基本視点ビデオデータ及び前記拡張された付加視点ビデオデータを利用して三次元で再生する段階と、を含んでもよい。本発明の一実施形態による三次元マルチメディアサービスを提供するためのデータストリーム生成装置は、二次元または三次元のマルチメディアサービスに係わるプログラムにおける視点別ビデオデータを含む少なくとも1つのESを生成するES生成部と、前記少なくとも1つのESに係わる参照情報と、前記視点別ビデオデータを視点別に識別して再生するための三次元付加情報と、を含む前記プログラムに係わるPMT情報を生成するPMT生成部と、前記少なくとも1つのESをパケット化して生成されたPESパケットと前記PMT情報とを多重化してTSを生成するTS生成部と、前記TSをチャネルに同調化して伝送するチャネル伝送部と、を含む。一実施形態による三次元マルチメディアサービスを提供するためのデータストリーム受信装置は、二次元または三次元のマルチメディアサービスに係わるプログラムに係わるTSを受信するTS受信部と、前記TSを逆多重化し、前記プログラムに係わるPESパケット及び前記プログラムに係わるPMT情報を抽出するTS逆多重化部と、前記PMT情報から、前記プログラムにおける視点別ビデオデータを含む少なくとも1つのESに係わる参照情報と、前記視点別ビデオデータを視点別に識別して再生するための三次元付加情報と、を抽出するPMT三次元付加情報抽出部と、前記PESパケットを逆パケット化して抽出されたESのうち、前記PMT情報から抽出された前記ESに係わる参照情報を利用し、前記少なくとも1つのESを復元し、前記少なくとも1つのESから、前記プログラムにおける視点別ビデオデータを抽出するES復元部と、前記抽出された視点別ビデオデータを復号化して復元し、前記三次元付加情報及び参照情報のうち少なくとも一つを利用し、三次元で再生する再生部と、を含む。本発明は、一実施形態による三次元マルチメディアサービスを提供するためのデータストリーム生成方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を含む。本発明は、一実施形態による三次元マルチメディアサービスを提供するためのデータストリーム受信方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を含む。本発明の多様な実施形態については、前記添付された図面を参照しつつ説明する。以下、羅列された構成要素に先行する少なくとも1つのというような表現は、羅列された構成要素をいずれも限定するものであり、個々の構成要素を限定するというものではない。また、部と命名された構成要素は、ハードウェア構成要素でもって具現されたり、あるいはコンピュータまたはハードウェアプロセッサによって実行されるソフトウェア構成要素でもあってもよい。以下、図1ないし図16を参照しつつ、一実施形態による三次元マルチメディアサービスを提供するためのデータストリーム生成装置及びこれを具現する方法、並びに一実施形態による三次元マルチメディアサービスを提供するためのデータストリーム受信装置及びこれを具現する方法について説明する。図1は、一実施形態による三次元マルチメディアサービスを提供するためのデータストリーム生成装置のブロック図である。一実施形態による三次元マルチメディアサービスを提供するためのデータストリーム生成装置100は、ESelementarystream生成部110、PMTelementarystream生成部120、TStransportstream生成部130及びチャネル伝送部140を含む。一実施形態によるES生成部110は、二次元ビデオまたは三次元ビデオの視点別ビデオデータを受信し、視点別ビデオデータを含む少なくとも1つのESを生成する。受信された視点別ビデオデータ、関連オーディオデータ及び付加データは、1つのプログラムで構成され、一実施形態によるES生成部110は、二次元または三次元のマルチメディアサービスに係わるプログラムを構成するための視点別ビデオデータ及びオーディオデータに係わるそれぞれのESを生成することができる。三次元マルチメディアサービスのための視点別ビデオデータは、基本視点ビデオデータ及び少なくとも1つの付加ビデオデータを含んでもよい。付加ビデオデータは、付加視点ビデオデータそれ自体であるか、あるいは基本視点ビデオデータ及び付加視点ビデオデータが合成された三次元合成フォーマットのビデオデータ、基本視点ビデオデータまたは付加視点ビデオデータ間の深度depth情報、両眼視差parallax情報及び差difference情報などでもある。一実施形態によるES生成部110は、複数個の視点別ビデオデータをそれぞれのESに挿入することができる。1つのプログラムのビデオデータのためのESは、基本ES及び少なくとも1つの付加ESを含んでもよい。一実施形態による基本ESには、基本視点ビデオデータが挿入されたり、あるいは基本視点ビデオデータ及び付加視点ビデオデータが合成された三次元合成フォーマットのビデオデータが挿入されてもよい。付加ESには、付加ビデオデータが挿入されてもよい。一実施形態によるPMT生成部120は、ES生成部110で生成されたESと関連したプログラムに係わるPMT情報を生成する。PMT情報は、プログラムを構成するビデオデータ、オーディオデータ、付加データなどのデータに係わる参照reference情報を含む。参照情報は、データが含まれたTSのPIDpacketidentifier情報及びストリームタイプstreamtype情報のうち少なくとも1つの情報であってもよい。1つのプログラムに係わる視点別ビデオデータが挿入されたESが複数個生成される場合、一実施形態によるPMT情報は、ES別PID情報及びストリームタイプ情報のうち少なくとも一つを収録することができる。一実施形態によるPMT生成部120は、PMT情報に、当該プログラムの三次元ビデオが2以上の視点別ビデオから構成される特性から起因する三次元付加情報及び参照情報のうち少なくとも一つを挿入する。一実施形態による三次元付加情報は、当該プログラムの視点別ビデオデータを視点別に識別して再生するのに利用される。一実施形態によれば、1つのプログラムに係わる視点別ビデオデータが挿入されたESが複数個生成される場合、ES別に、三次元付加情報及び参照情報のうち少なくとも一つが設定される。それぞれのESについては、ESのストリームタイプ情報が設定される。一実施形態によるPMT生成部120は、参照情報に、当該ビデオデータが挿入された基本ES及び付加ESのストリームタイプ情報を含めることができる。例えば、一実施形態によるデータストリーム生成装置100がMPEGmovingpictureexpertsgroupTSシステムに基づく場合、基本ESのストリームタイプ情報及び付加ESのストリームタイプ情報が、MPEGシステムで定義されたストリームタイプ情報を利用して設定することができる。一実施形態によるPMT生成部120は、PMT情報のうち当該ESに係わる叙述子descriptor情報に、三次元付加情報及び参照情報のうち少なくとも一つを挿入することができる。一実施形態によるPMT生成部120は、基本ES及び付加ESに係わる三次元付加情報または参照情報をPMT情報に挿入する位置によって、多様な構造のPMT情報を生成することができる。第1実施形態によるPMT情報において、基本ESに係わる三次元付加情報は、付加ESに係わる三次元付加情報及び参照情報のうち少なくとも一つを含む。一実施形態によるPMT生成部120は、第1実施形態によるPMT情報のうち基本ESに係わる三次元付加叙述子情報内に、付加ESに係わる三次元付加情報及び参照情報のうち少なくとも一つを挿入することができる。すなわち、基本ESに係わる三次元付加情報または参照情報が、付加ESに係わる三次元付加情報または参照情報と階層関係をなす。第2実施形態によるPMT情報は、少なくとも1つのESに係わるそれぞれのES情報を順次に含む。一実施形態によるPMT生成部120は、第2実施形態によるPMT情報のうち、付加ESに係わるES情報、または基本ESに係わるES情報に、三次元付加叙述子情報を挿入することができる。すなわち、基本ESに係わる三次元付加情報または参照情報が、付加ESに係わる三次元付加情報または参照情報と、並列関係をなす。例えば、三次元付加情報は、当該ESに挿入されたビデオデータの視点識別情報、三次元合成フォーマット情報、視点優先順位情報、視点別ビデオデータのサイズ情報、コーデック情報など視点別ビデオデータについての情報などを含んでもよい。第1実施形態によるPMT情報、当該参照情報及び三次元付加情報は、図9A及び図9B、並びに表5ないし表6を参照して後述する。第2実施形態によるPMT情報、当該参照情報及び三次元付加情報は、図10A及び図10B、並びに表7ないし表20を参照して後述する。一実施形態によるPMT生成部120は、PMT情報にTSに挿入されたビデオデータが、二次元または三次元のビデオデータであるかを示す二次元/三次元モード情報、二次元/三次元モード転換通知情報または二次元/三次元通知叙述子情報を挿入することができる。このような二次元/三次元モードまたは二次元/三次元モード転換についての三次元付加情報に係わる詳細な説明は、表3、4、21及び22、並びに図11を参照して後述する。一実施形態によるPMT生成部120は、基本視点ビデオデータ及び付加視点ビデオデータの大きさまたは縦横比aspectratioが異なるように伝送される場合、三次元再生時、基本視点ビデオデータ及び付加視点ビデオデータが表示される領域を調節する方法に係わるクロップオフセット情報及び縦横比叙述子情報を、PMT情報に挿入することができる。このようなクロップオフセットまたは縦横比に係わる三次元付加情報についての詳細な説明は、表23、並びに図12及び13を参照して後述する。一実施形態によるTS生成部130は、ES生成部110から入力された少なくとも1つのESを、ESをパケット化してPESpacketizedelementarystreamパケットを生成する。一実施形態によるTS生成部130は、PESパケット、及びPMT生成部120から入力されたPMT情報を多重化してTSを生成する。一実施形態によるチャネル伝送部140は、TS生成部130から入力されたTSをチャネルに同調化してチャネルを介して伝送する。ES生成部110、TS生成部130及びチャネル伝送部140の詳細な動作は、図5のシングルプログラム、PESパケット及びTS生成過程を介して詳細に後述する。図2は、一実施形態による三次元マルチメディアサービスを提供するためのデータストリーム受信装置のブロック図である。一実施形態による三次元マルチメディアサービスを提供するためのデータストリーム受信装置200は、TS受信部210、TS逆多重化部220、PMT付加情報抽出部230、ES復元部240及び再生部250を含む。一実施形態によるTS受信部210は、所定チャネルを介して、二次元または三次元のマルチメディアサービスに係わるプログラムに係わるTSを受信する。一実施形態によるTS逆多重化部220は、TS受信部210によって受信されたTSを逆多重化し、プログラムに係わるPESパケット及びプログラムに係わるPMT情報を抽出する。一実施形態によるPMT付加情報抽出部230は、TS逆多重化部220によって抽出されたPMT情報から、プログラムにおける視点別ビデオデータを含む少なくとも1つのESまたはTSに係わる参照情報を抽出する。一実施形態によるES復元部240は、TS逆多重化部220によって抽出されたPESパケットを逆パケット化してESを復元する。このとき、PMT情報から抽出されたESに係わる参照情報を利用し、同じ種類のデータが挿入されたESがそれぞれ復元される。一実施形態によるES復元部240は、ESからプログラムの視点別ビデオデータを抽出する。類似の方式で、一実施形態によるES復元部240は、オーディオESを復元してオーディオデータを抽出することができる。一実施形態によるPMT付加情報抽出部230は、TS逆多重化部220によって抽出されたPMT情報から、二次元ビデオ及び三次元ビデオの視点別ビデオデータに係わる三次元付加情報及び参照情報のうち少なくとも一つを抽出する。1つのプログラムに係わる視点別ビデオデータが挿入されたESが複数個存在する場合、一実施形態によるPMT付加情報抽出部230は、ES別に、三次元付加情報及び参照情報のうち少なくとも一つを抽出することもできる。一実施形態によるPMT付加情報抽出部230は、参照情報から、当該ESに係わるストリームタイプ情報を抽出することができる。例えば、一実施形態によるデータストリーム受信装置100がMPEGTSシステムに基づく場合、基本ESのストリームタイプ情報及び付加ESのストリームタイプ情報は、MPEGシステムで定義されたストリームタイプ情報を利用して設定されている。一実施形態によるPMT付加情報抽出部230は、PMT情報のうち当該ESに係わる叙述子情報から、三次元付加情報及び参照情報のうち少なくとも一つを抽出することができる。一実施形態によるPMT付加情報抽出部230は、PMT情報に挿入する位置によって、多様な構造のPMT情報から、基本ES及び付加ESに係わる三次元付加情報及び参照情報のうち少なくとも一つを抽出することができる。例えば、基本ESに係わる三次元付加情報の下位階層に付加ESに係わる三次元付加情報及び参照情報が含まれた第1実施形態によるPMT情報と、少なくとも1つのESに係わるそれぞれのESに係わる三次元付加情報及び参照情報がES別に順次に含まれた第2実施形態によるPMT情報と、がある。一実施形態によるPMT付加情報抽出部230は、第1実施形態によるPMT情報のうち、基本ESに係わる三次元付加叙述子情報から、付加ESに係わる三次元付加情報及び参照情報のうち少なくとも一つを抽出することができる。一実施形態によるPMT生成部120は、第2実施形態によるPMT情報のうち、付加ESに係わるES情報または基本ESに係わるES情報から、三次元付加叙述子情報を抽出することができる。例えば、一実施形態によるPMT生成部120は、三次元付加情報から、当該ESに挿入されたビデオデータの視点識別情報、三次元合成フォーマット情報、視点優先順位情報、視点別ビデオデータのサイズ情報、コーデック情報など視点別ビデオデータについての情報などを抽出することができる。一実施形態によるPMT生成部120は、PMT情報から、TSに二次元ビデオデータまたは三次元ビデオデータが含まれているか否かを示す二次元/三次元モード情報、二次元/三次元モード転換通知情報または三次元通知叙述子情報を抽出することができる。一実施形態によるPMT生成部120は、三次元再生時、基本視点ビデオデータ及び付加視点ビデオデータが表示される領域を調節する方法に係わるクロップオフセットcroppingoffset情報及び縦横比叙述子情報を、PMT情報から抽出することができる。基本視点ビデオデータ及び付加視点ビデオデータの大きさまたは縦横比が異なって伝送される場合、基本視点ビデオデータ及び付加視点ビデオデータを利用した三次元再生時、それぞれの視点別ビデオデータの大きさを同一に調整するために、クロップオフセット情報または縦横比叙述子情報が利用される。一実施形態による再生部250は、ES復元部240によって抽出された視点別ビデオデータを復号化して復元し、PMT付加情報抽出部230によって抽出された三次元付加情報及び参照情報のうち少なくとも一つを利用し、復元された三次元ビデオ映像を三次元で再生する。一実施形態による再生部250は、基本ES及び付加ESから抽出された視点別ビデオデータを、再生部250が再生できる三次元再生フォーマットに変換して再生することができる。例えば、再生部250が基本ESから基本視点ビデオデータを抽出し、付加ESから付加視点ビデオデータを抽出することができる。再生部250は、抽出された基本視点ビデオデータ及び付加視点ビデオデータを、三次元再生フォーマットに変換して再生することができる。または、再生部250が基本ESから基本視点ビデオデータを抽出し、付加ESから、付加視点ビデオデータ、深度情報、両眼視差情報及び差情報のうち一つまたは組み合わせを抽出することができる。または、再生部250が基本ESから三次元合成フォーマットのビデオデータを抽出し、付加ESから、深度情報、両眼視差情報及び差情報のうち少なくとも一つを抽出することができる。この場合、再生部250は、抽出されたビデオデータから、基本視点ビデオデータ及び付加視点ビデオデータを復元し、三次元再生フォーマットに変換して再生することができる。一実施形態によるデータストリーム生成装置100によって生成されたPMT情報は、三次元ビデオデータを含む複数個のES別に、ES情報、並びに三次元付加情報及び参照情報のうち少なくとも一つを含んでもよいので、三次元ビデオデータストリームと共に、三次元付加情報及び参照情報のうち少なくとも一つが送受信されるので、受信端で、三次元ビデオが正確に再生される。受信端は、セットトップボックス、ディスプレイ機器、及びマルチメディアプロセッサが装着されたコンピュータなどを含む。既存MPEGTSシステムでは、二次元ビデオに係わるTSを仮定し、1つのPMT情報で、1つのビデオに係わる叙述子情報だけ設定される。一実施形態によるデータストリーム生成装置100は、既存MPEGTSシステムのPMT情報のうちビデオ叙述子情報に、三次元付加情報及び参照情報または、三次元叙述子情報を含めることによって、一実施形態によるデータストリーム受信装置200が搭載された受信端は、三次元付加情報及び参照情報または、三次元叙述子情報を認識して抽出し、三次元ビデオ再生時に利用することができ、既存MPEGTSシステムによる受信システムは、三次元付加情報及び参照情報または、三次元叙述子情報を認識することができないので、既存叙述子情報だけを判読して利用する。従って、一実施形態によるデータストリーム生成装置100が、三次元付加情報及び参照情報または、三次元叙述子情報を含むPMT情報が収録されたデータストリームを伝送し、このデータストリームを受信システムが受信する場合、既存MPEGTSシステムによる受信システムは、三次元付加情報及び参照情報または、三次元叙述子情報と関係なく、二次元マルチメディアサービスを提供することができるので、既存MPEGTSシステムとの互換性が維持され、一実施形態によるデータストリーム受信装置200が搭載された受信システムは、三次元マルチメディアサービスを提供することができる。また、一実施形態によるデータストリーム生成装置100及び一実施形態によるデータストリーム受信装置200が、既存MPEGTSシステムで定義されたストリームタイプ情報を利用し、それぞれのESのストリームタイプ情報が設定されるので、既存MPEGTSシステムのデータストリーム構造と比べて、ストリームタイプが追加して新設される必要がない。図3は、MPEGTSシステム基盤のデジタル放送伝送装置の概要図である。デジタル放送伝送装置300は、シングルプログラム符号化器singleprogramencoder310を介して、1つのビデオTS及びオーディオTSを含むシングルプログラムSPTSを生成し、複数個のシングルプログラム符号化器を介して生成した一つ以上のシングルプログラムTSを、多重化器multiplexerMUX380を介して、マルチプログラムTSMPTSを生成して伝送する。デジタル放送伝送装置300は、MMSmultimodeservice方式のMPEGTSシステムに基づくので、複数個のプログラムを伝送するために、シングルプログラムTSが多重化されたマルチプログラムTSを伝送することができる。シングルプログラム符号化器310は、ビデオ符号化器videoencoder320、オーディオ符号化器audioencoder330、パケット化器packetizer340,350及び多重化器MUX360を含む。ビデオ符号化器320及びオーディオ符号化器330は、それぞれ無圧縮のビデオデータ及びオーディオデータを符号化し、ビデオESvideoES及びオーディオESaudioESを生成して出力する。シングルプログラム符号化器310のパケット化器340,350は、それぞれビデオES及びオーディオESをパケット化してPESヘッダを挿入し、ビデオPESパケットvideoPES及びオーディオPESパケットaudioPESを生成する。多重化器MUX360を介して、ビデオPESパケット及びオーディオPESパケットと各種付加データとが多重化され、第1シングルプログラムTSSPTS1が構成される。PMT情報は、ビデオPESパケット及びオーディオPESパケットと共に多重化され、第1シングルプログラムTSに含まれてもよい。PMT情報は、それぞれのシングルプログラムTSに含まれ、それぞれのTSのPID情報を記述する。多重化器MUX380を介して、複数個のシングルプログラムTSSPTS1,SPTS2,...がPAT情報と共に多重化され、1つのマルチプログラムTSMPTSが構成される。PMT情報及びPAT情報は、PSI及びPSIP生成器programspecificationinformationPSIandprogramandsysteminformationprotocolPSIPgenerator370によって生成される。マルチプログラムTSに、PAT情報及びPSIPを挿入することができる。PAT情報は、当該マルチプログラムTSに含まれたシングルプログラムTSに係わるPMT情報のPID情報を記述する。図4は、MPEGTSシステム基盤のデジタル放送受信装置の概要図である。デジタル放送受信装置400は、デジタルデータストリームを入力され、ビデオデータ、オーディオデータ及び付加データを抽出する。デジタルTVチュナDTVtuner410は、視聴者によるチャネル選択physicalchannelselect信号に基づいて選択されたチャネルの電波周波数に同調し、当該電波を介して受信された信号だけを選択的に抽出する。チャネル復号化及び復調器channeldecoderanddemodulator420は、チャネル信号からマルチプログラムTSMPTSを抽出する。デジタル放送受信装置400は、MMS方式のMPEGTSシステムに基づくので、マルチプログラムTSを受信し、シングルプログラムTSに逆多重化することができる。マルチプログラムTSは、逆多重化器demultiplexerDEMUX430を介して、複数個のシングルプログラムTSSPTS1,SPTS2,...及びPSIPに分離される。視聴者によるプログラム選択programselect信号を介して選択された第1シングルプログラムTSSPTS1は、シングルプログラム復号化器singleprogramdecoder440を介して復号化される。シングルプログラム復号化器440は、シングルプログラム符号化器310の逆順で構成される。第1シングルプログラムTSから、それぞれビデオPESパケット、オーディオPESパケット及び付加データdataが復元される。ビデオPESパケット、オーディオPESパケットは、それぞれ逆パケット化器depacketizer460,465を介して、ES形態に復元された後、それぞれビデオ復号化器videodecoder470とオーディオ復号化器audiodecoder475とを介して、ビデオデータ及びオーディオデータに復元される。ビデオデータは、ディスプレイ処理部displayprocessing480を介して、ディスプレイ可能な形態に変換される。クロック復元及びAV同期化装置clockrecoveryandAVsynchronization490は、第1シングルプログラムTSから抽出されたPCRprogramclockreference情報及びタイムスタンプtimestamp情報を利用し、ビデオデータ及びオーディオデータの再生時間を同期化させることができる。ユーザから入力されたプログラム選択信号に基づいて、マルチプログラムTSMPTSから抽出されたPSIPと、プログラムガイドデータベースprogramguidedatabase、445とを比較し、プログラムガイドデータベース445からユーザのプログラム選択信号に対応するチャネル及びプログラムが検索される。検索されたチャネル信号及びプログラム入力信号は、それぞれデジタルTVチュナ410及び逆多重化器430に出力されてもよい。また、プログラムガイドデータベース445からオンスクリーンディスプレイonscreendisplay情報が、ディスプレイ処理部480に伝送されてオンスクリーンディスプレイ機能が支援される。前述の図1を参考にし、一実施形態によるデータストリーム生成装置100が、互いに関連した三次元ビデオの視点別ビデオデータ、オーディオデータ及び付加データを含む1つのプログラムに係わるTS、すなわち、シングルプログラムTSを生成する場合を例に挙げて説明したが、一実施形態によるデータストリーム生成装置100の機能は、1つのビデオに限定されるものではない。すなわち、一実施形態によるデータストリーム生成装置100に、複数個のビデオデータ、オーディオデータ及び付加データが入力されるならば、複数個のビデオが含まれたシングルプログラムTSを生成することができる。図5は、一実施形態によるデータストリーム生成装置100によって、複数個のビデオESを伝送するためのMPEGTS伝送装置の概要図である。MPEGTS伝送装置500は、1つのプログラム内に複数個のビデオが含まれたMPEGTSを支援するために、一実施形態によるデータストリーム生成装置100を拡張した実施形態に該当する。すなわち、MPEGTS伝送装置500のシングルプログラム符号化器510、多重化器MUX580の動作は、一実施形態によるデータストリーム生成装置100のES生成部110及びTS生成部130の動作に対応し、MPEGTS伝送装置500のPSI及びPSIP生成器570の動作は、一実施形態によるデータストリーム生成装置100のPMT生成部120の動作に対応し、MPEGTS伝送装置500のチャネル符号化及び変調化器590及びDTV伝送器595の動作は、第3実施形態によるデータストリーム生成装置100のチャネル伝送部140の動作に対応する。シングルプログラム符号化器510は、三次元ビデオを構成する第1ビデオvideo1、第2ビデオvideo2及び第3ビデオvideo3を入力され、それぞれのビデオ符号化器videoencoder520,530,540を介して、第1ビデオESvideoES1、第2ビデオESvideoES2及び第3ビデオESvideoES3を生成する。第1ビデオ、第2ビデオ及び第3ビデオは、それぞれ三次元ビデオを構成する第1視点ビデオ、第2視点ビデオ及び第3視点ビデオであって、または第1視点ビデオ、第2視点ビデオ及び第3視点ビデオに係わるデータの組み合わせでもある。一実施形態によるビデオ符号化器520,530は、それぞれ独立したビデオ符号化方式によってもよい。例えば、第1ビデオ及び第2ビデオは、MPEG-2ビデオ符号化方式によって符号化され、第3ビデオは、MPEGAVCadvancedvideocoding/H.264ビデオ符号化方式によって符号化されもする。第1ビデオESvideoES1、第2ビデオESvideoES2及び第3ビデオESvideoES3は、それぞれのパケット化器packetizer525,535,545を介して、第1ビデオPESvideoPES1、第2ビデオPESパケットvideoPES2及び第3ビデオPESパケットvideoPES3にパケット化される。シングルプログラム符号化器510は、オーディオaudioを入力され、オーディオ符号化器audioencoder550を介して、オーディオESaudioESに変換され、オーディオESaudioESは、パケット化器555を介して、オーディオPESパケットaudioPESに変換される。シングルプログラム符号化器510の多重化器560は、第1ビデオPESパケット、第2ビデオPESパケット及び第3ビデオPESパケットとオーディオPESパケットとを共に多重化し、1つのシングルプログラムTSSPTS1を出力することができる。シングルプログラム符号化器510が入力された各種付加データdataと、PSI及びPSIP生成器PSIandPSIPgenerator570によって生成されたPMT情報も、多重化器560によって第1ビデオPESパケット、第2ビデオPESパケット及び第3ビデオPESパケット及びオーディオPESパケットと共に、第1シングルプログラムTSSPTS1に挿入されて出力されてもよい。他の三次元ビデオデータが、第2シングルプログラムTSSPTS2に多重化されて変換される。PSI及びPSIP生成器PSIandPSIPgenerator570は、第1シングルプログラムTSSPTS1及び第2シングルプログラムTSSPTS2に含まれたPMT情報のPID情報を収録するPAT情報、並びに各種プログラム及びシステム情報に係わるPSIPを生成することができる。多重化器580は、第1シングルプログラムTSSPTS1及び第2シングルプログラムTSSPTS2、並びにPAT情報を多重化し、1つのマルチプログラムTSMPTSを出力することができる。マルチプログラムTSMPTSは、チャネル符号化及び変調化器590によって、チャネルに合うように符号化及び同調化される。DTV伝送器595は、チャネルに割り当てられたTSを送信することができる。シングルプログラム符号化器510は、TSをそれぞれ独立したデジタルデータ通信方式によって生成することもできる。プログラム別に、TSがいずれも同じデジタルデータ通信方式によって生成されて伝送することができるが、それぞれ異なるデジタルデータ通信方式によって生成されて伝送されもする。例えば、ATSCAdvancedTelevisionSystemsCommittee地上波放送通信方式では、E-VSBenhancedVSBvestigialsideband方式を支援し、E-VSB方式は、MPEG方式とは異なる方式で伝送ストリームを構成することができる。しかし、プログラムに係わるPMT情報が生成されてTSに挿入されて伝送されることは、MPEG方式と同一である。従って、第1シングルプログラムTSは、MPEGTSの形態、第2シングルプログラムTSは、E-VSB伝送ストリームの形態で伝送され、第1シングルプログラムTS及び第2シングルプログラムTSには、それぞれプログラムを構成する視点別ビデオデータに係わる三次元付加情報を含むPMT情報が挿入されてもよい。前述の図2を参考にし、一実施形態によるデータストリーム受信装置200が1つのプログラムに係わるTS、すなわち、シングルプログラムTSを受信する場合を例に挙げて説明したが、一実施形態によるデータストリーム受信装置200の機能は、1つのプログラムに限定されるものではない。すなわち、一実施形態によるデータストリーム受信装置200に、複数個のプログラムに係わるプログラム別TSを受信し、複数個のTSからプログラム別PMT情報を抽出し、複数個のプログラムのビデオデータ、オーディオデータ及び付加データを抽出することができる。以下、図6を参照し、一実施形態によるデータストリーム受信装置200の1個のプログラムが、複数個のビデオを含むMPEGTSを支援する場合について説明する。図6は、一実施形態によるデータストリーム受信装置200によって、複数個のビデオESを受信するためのMPEGTS受信装置の概要図である。MPEGTS受信装置600は、1個のプログラムが複数個のビデオを含むMPEGTSを支援するために一実施形態によるデータストリーム受信装置200を拡張した実施形態に該当する。すなわち、MPEGTS受信装置600のチャネル復号化及び復調器615、逆多重化器620及びシングルプログラム復号化器630の動作は、一実施形態によるデータストリーム受信装置100のTS受信部210、TS逆多重化部220、PMT付加情報抽出部230及びES復元部240の動作に対応する。デジタルTVチュナ610は、視聴者による選択されたチャネルの電波を介して受信された信号だけを選択的に抽出する。チャネル復号化及び復調器615は、チャネル信号からマルチプログラムTSを抽出する。マルチプログラムTSは、逆多重化器630を介して複数個のシングルプログラムTSSPTS1,SPTS2,...及びPSIPに分離される。視聴者によって選択された第1シングルプログラムTSSPTS1は、シングルプログラム復号化器630を介して復号化される。第1シングルプログラムTSが逆多重化され、それぞれ第1ビデオPESパケットvideoPES1、第2ビデオPESパケットvideoPES2、第3ビデオPESパケットvideoPES3、オーディオPESパケットaudioPES及び付加データdataが復元される。第1ビデオPESパケット、第2ビデオPESパケット及び第3ビデオPESパケットは、それぞれ逆パケット化器650,660,670を介して、第1ビデオESvideoES1、第2ビデオESvideoES2及び第3ビデオESvideoES3に復元された後、それぞれビデオ復号化器videodecoder653,663,673を介して、第1ビデオ、第2ビデオ及び第3ビデオに復元される。第1ビデオ、第2ビデオ及び第3ビデオは、それぞれディスプレイ処理部655,665,675を介して、ディスプレイ可能な形態に変換される。オーディオPESパケットaudioPESも、逆パケット化器680とオーディオ復号化器683とを介してオーディオデータに復元される。クロック復元及びAV同期化装置690は、第1シングルプログラムTSから抽出されたPCR情報及びタイムスタンプ情報を利用し、ビデオデータ及びオーディオデータの再生時間を同期化させることができる。ユーザから入力されたプログラム選択信号に基づいて、プログラムガイドデータベース635からユーザのプログラム選択信号に対応するチャネル及びプログラムに係わる信号が、デジタルTVチュナ610及び逆多重化器630に伝送される。また、オンスクリーンディスプレイonscreendisplay情報がプログラムガイドデータベース635からディスプレイ処理部655,665,675に伝送される。従って、MPEGTS受信装置600は、1つのチャネルを介して伝送され、三次元ビデオの第1ビデオ、第2ビデオ及び第3ビデオ、並びにオーディオに係わる1つのマルチプログラムTSを抽出し、1つのマルチプログラムTSを逆多重化し、所望するシングルプログラムTSを選択的に抽出することができる。また、MPEGTS受信装置600は、抽出されたシングルプログラムTSから、三次元ビデオの第1ビデオ及び第2ビデオ及び第3ビデオに係わるビデオESを選択的に抽出し、所望するビデオデータを復元することができる。このとき、MPEGTS受信装置600は、第1シングルプログラムTSからPMT情報を抽出し、PMT情報から、第1シングルプログラムの三次元ビデオに係わる三次元付加情報または三次元叙述子情報を抽出することができる。三次元付加情報または三次元叙述子情報を利用し、三次元ビデオを構成する視点別ビデオデータを正確に識別することによって、三次元ビデオが正確に再生される。一実施形態によるデータストリーム生成装置100によって生成され、一実施形態によるデータストリーム受信装置200によって受信されるTSのペイロードに挿入される三次元ビデオデータは、三次元ビデオを構成する視点に係わる視点別ビデオデータを含まねばならない。以下、説明の便宜のために、三次元ビデオにおいて、左視点ビデオ及び右視点ビデオから構成されるステレオ映像を利用する。しかし、本発明の多様な実施形態は、左視点ビデオ及び右視点ビデオの2視点ビデオから構成されるステレオ映像だけに限定されるものではなく、3以上の視点ビデオから構成された三次元ビデオにも適用される。三次元ビデオデータとしては、1つの映像に三次元ビデオを構成する左視点映像データ及び右視点映像データがいずれも挿入された三次元合成フォーマットと、2以上の映像に左視点映像データ、右視点映像データ、深度情報、両眼視差情報または差情報のうち3以上の組み合わせが挿入される三次元ハイブリッドフォーマットとがある。以下、図7及び図8を参考にして、三次元合成フォーマット及び三次元ハイブリッドフォーマットについて説明する。図7は、一実施形態による三次元合成フォーマットを図示している。三次元合成フォーマット3D_composite_formatとしては、サイドバイサイドフォーマットsidebysideformat、トップアンドボトムフォーマットtopandbottomformat、垂直ラインインターリーブドフォーマットverticallineinterleavedformat、水平ラインインターリーブドフォーマットhorizontallineinterleavedformat、フィールドシーケンシャルフォーマットfieldsequentialformat及びフレームシーケンシャルフォーマットframesequentialformatがある。、サイドバイサイドフォーマットは、三次元合成フォーマット映像の左側領域及び右側領域に相応する左視点映像及び右視点映像が並んで配列された映像フォーマットである。トップアンドボトムフォーマットは、三次元合成フォーマット映像の上領域及び下領域に相応する左視点映像及び右視点映像が並んで配列された映像フォーマットである。垂直ラインインターリーブドフォーマットは、三次元合成フォーマット映像の奇数番目の垂直ライン及び偶数番目の垂直ラインに相応する左視点映像及び右視点映像が並んで配列された映像フォーマットである。水平ラインインターリーブドフォーマットは、三次元合成フォーマット映像の奇数番目の水平ライン及び偶数番目の水平ラインに相応する左視点映像及び右視点映像が並んで配列された映像フォーマットである。フィールド/フレームシーケンシャルフォーマットfieldframesequentialformatは、三次元合成フォーマット映像の奇数番目のフレーム/情報、及び偶数番目のフレーム/情報に相応する左視点映像及び右視点映像が並んで配列された映像フォーマットである。サイドバイサイドフォーマット、トップアンドボトムフォーマット、垂直ラインインターリーブドフォーマット、水平ラインインターリーブドフォーマットの三次元映像は、原本映像の解像度の半分halfである左視点映像及び右視点映像を有する。三次元ビデオデータが三次元合成フォーマットの形態で、付加ESなしに1つのESにのみ挿入された場合、一実施形態による三次元付加情報は、現在三次元ビデオデータの映像フォーマットの種類を示す三次元合成フォーマット情報1ES_formatを含んでもよい。すなわち、現在ESに挿入された三次元ビデオデータの三次元合成フォーマットが、サイドバイサイドフォーマット、トップアンドボトムフォーマット、垂直ラインインターリーブドフォーマット、水平ラインインターリーブドフォーマット、フィールドシーケンシャルフォーマット及びフレームシーケンシャルフォーマットのうちいずれか一つであるかということによって、三次元合成フォーマット情報1ES_format値が、図7で図示されたように、3ビットで割り当てられる。図8は、一実施形態によって、三次元ビデオを構成する複数個の視点別ビデオデータに係わるESの各種組み合わせを図示している。2以上のESに、三次元ビデオデータが挿入される場合、それぞれのESに、左視点映像データ、右視点映像データ、深度depth情報、両眼視差parallex情報または差情報が挿入される三次元ハイブリッドフォーマットのビデオデータが挿入されてもよい。三次元ハイブリッドフォーマットの種類としては、2つのESのうち、第1ESに左視点ビデオデータが挿入され、第2ESに付加ビデオデータが挿入されるフォーマットがある。第1ハイブリッドフォーマット、第2ハイブリッドフォーマット及び第3ハイブリッドフォーマットで、第2ESに挿入される付加ビデオデータは、それぞれ深度情報、両眼視差情報及び右視点ビデオデータであってもよい。三次元ハイブリッドフォーマットの種類としては、2以上のESのうち、第1ESに左視点ビデオデータが挿入され、第2ESまたは第3ESに、右視点ビデオデータと共に、深度情報及び両眼視差情報のうちいずれか一つが挿入されるフォーマットがある。第4ハイブリッドフォーマットの第2ESに、右視点ビデオデータ、第3ESに、深度情報が挿入される。第5ハイブリッドフォーマットの第2ESに、深度情報、第3ESに、右視点ビデオデータが挿入される。第6ハイブリッドフォーマットの第2ESに、右視点ビデオデータ及び深度情報が1つの映像に合成された付加ビデオデータが挿入される。第7ハイブリッドフォーマットの第2ESに、右視点ビデオデータ、第3ESに、両眼視差情報が挿入される。第8ハイブリッドフォーマットの第2ESに、両眼視差情報、第3ESに、右視点ビデオデータが挿入される。第9ハイブリッドフォーマットの第2ESに、右視点ビデオデータ及び両眼視差情報が1つの映像に合成された付加ビデオデータが挿入される。図8に図示された三次元ハイブリッドフォーマットは例示であり、三次元ハイブリッドフォーマットの組み合わせ及び順序は、これに限定されるものではない。三次元ビデオデータが2以上のESに挿入された場合、一実施形態による三次元付加情報は、現在三次元ビデオデータの映像フォーマットの種類を示す三次元ハイブリッドフォーマット情報Multi_ES_formatを含んでもよい。すなわち、現在ESに挿入された三次元ビデオデータの三次元ハイブリッドフォーマットが、第1ハイブリッドフォーマットないし第9ハイブリッドフォーマットのうちいずれか一つであるかということによって、三次元ハイブリッドフォーマット情報Multi_ES_format値が図8で図示されたように、4ビットで割り当てられる。以下の表1は、MPEGTSシステムのPMT情報のシンタックスをsyntax示している。一実施形態によるデータストリーム生成装置100及び一実施形態によるデータストリーム受信装置200は、TS及びPMT情報を利用するが、TS構造は、MPEGTSシステム以外に、他のデジタル通信方式でも採択している。従って、一実施形態によるデータストリーム生成装置100及び一実施形態によるデータストリーム受信装置200がTSに挿入されるPMT情報も、表1に限定されるものではない。一実施形態によれば、PMT情報シンタックスのうち、予約情報reservedに、表3の二次元/三次元モード情報2D/3D_mode及び表4の二次元/三次元モード転換通知情報notice_indicatorが挿入されてもよい。一実施形態によれば、PMT情報シンタックスのうち、最初のfor文は、現在PMT情報が記述するプログラムに係わる各種特性を示す情報が収録されるプログラムループloopであり、プログラムループの叙述子領域descriptorに、表21の三次元モード叙述子情報3D_mode_descriptorが挿入されてもよい。一実施形態によれば、PMT情報シンタックスのうち2番目のfor文は、現在PMT情報が記述するESに係わる各種特性を示す情報が収録されるESループであり、ESループの叙述子領域descriptorに、表5の三次元ストリーム叙述子情報3D_stream_Descriptor、表21の三次元モード叙述子情報3D_mode_descriptor及び表22の二次元/三次元モード転換通知叙述子情報3D_notice_descriptorが挿入されてもよい。ストリームタイプ情報stream_typeは、当該ESのストリームタイプを示す。表2は、MPEGTSシステムのISO/IEC13818-1規格で定義されたストリームタイプと、それぞれのストリームタイプとに割り当てられた値Valueを表示している。それぞれのESにおいて、ストリームタイプ情報は、当該ESのタイプによって、表2のストリームタイプのうち一つに設定される。ただし、表2のストリームタイプは、一実施形態によるデータストリーム生成装置100及び一実施形態によるデータストリーム受信装置200が採択することができるESのタイプ種類を例示するものであり、採択可能なストリームタイプの種類が、表2のストリームタイプに必ずしも限定されるものではない。以下、図9A及び図9B、図10A及び図10Bを参照し、PMT情報に三次元付加情報が挿入される位置によって分類される第1実施形態によるPMT情報及び第2実施形態のPMT情報の構造が、表1のPMT情報シンタックスと比較して詳細に記述してある。図9Aは、一実施形態によるPMT情報の三次元付加情報のうち、基本ESに係わる三次元ビデオ叙述子情報に、付加ESに係わる三次元ビデオ叙述子情報が含まれる一例を図示している。第1実施形態によるPMT情報900は、第1ビデオESに係わる第1ESループVIDEO1ESLOOP910を含む。第1ESループ910は、第1ビデオESに係わるストリームタイプ情報VIDEO1STREAMTYPE、PID情報VIDEO1PID及び第1ビデオ叙述子情報VIDEO1DESCRIPTOR915を含んでもよい。第1ビデオ叙述子情報915は、第2ビデオESに係わる第2ESループVIDEO2ESLOOP920及び第3ビデオESに係わる第3ESループVIDEO3ESLOOP930を含んでもよい。第2ESループ920及び第3ESループ930は、それぞれ第2ビデオに係わる三次元付加情報が収録された第2ビデオ叙述子情報VIDEO2DESCRIPTOR925、及び第3ビデオに係わる三次元付加情報が収録された第3ビデオ叙述子情報VIDEO3DESCRIPTOR935を含んでもよい。第1実施形態によるPMT情報900は、オーディオESに係わるオーディオESループAUIDOESLOOP940も含んでもよい。オーディオESループ940は、オーディオESに係わるストリームタイプ情報AUDIOSTREAMTYPE、PID情報AUDIOPID及びオーディオ叙述子情報AUDIODESCRIPTOR945を含んでもよい。すなわち、表1のPMT情報の2番目のfor文は、第1ビデオESループ910に対応し、2番目のfor問い合わせ叙述子領域に、第1ビデオ叙述子情報915が挿入され、同時に、第1ビデオ叙述子情報915の下位階層に、第2ビデオESループ920及び第3ビデオESループ930が挿入されることによって、2番目のfor問い合わせ叙述子領域に、第2ビデオ叙述子情報925及び第3ビデオ叙述子情報935が挿入されてもよい。すなわち、第1ビデオ叙述子情報915、第2ビデオ叙述子情報925及び第3ビデオ叙述子情報935の間には、階層的構造が形成される。図9Bは、図9AによるPMT情報のストリーム構造を図示している。第1実施形態によるPMT情報のPMTストリーム950は、第1ビデオESVIDEO1ESループ955を含み、第1ビデオESループ955は、stream_typeフィールド955、Elementary_PIDフィールド952、ES_info_lengthフィールド953及びDescriptorsフィールド954を含む。それぞれの情報に当該情報が挿入される。第1ビデオESループ955のDescriptorsフィールド954に、第1ES叙述子情報960が挿入される。第1ES叙述子情報960は、Descriptor_tagフィールド961、Descriptor_lengthフィールド962、Main_Video_formatフィールド963、L/R_firstフィールド964及びnum_of_sub_streamフィールド965を含む。Main_Video_formatフィールド963に、第1ビデオの映像フォーマットについての情報が挿入され、L/R_firstフィールド964に、三次元合成フォーマットにおける左視点映像及び右視点映像の配置順序についての情報が挿入され、num_of_sub_streamフィールド965に、付加ESの個数についての情報が挿入されてもよい。第1ビデオESループ955のDescriptorsフィールド954において、第1ES叙述子情報960に続き、第2ビデオESVIDEO2ESループ970及び第3ビデオESVIDEO3ESループ980が、第1ビデオES叙述子情報の下位階層に含まれてもよい。num_of_sub_streamフィールド965の値ほど、複数個の付加ESループが第1ES叙述子情報960に続き、第1ビデオESループ955のDescriptorsフィールド954に含まれてもよい。第2ビデオESループ970及び第3ビデオESループ980は、それぞれ、sub_stream_typeフィールド971,981、sub_video_PIDフィールド972,982、sub_video_Formatフィールド973,983、picture_display_orderフィールド974,984、sub_view_infoフィールド975、985及びsub_view_indexフィールド976、986を含んでもよい。sub_stream_typeフィールド971,981に第2、3ビデオESのストリームタイプ情報が挿入され、sub_video_PIDフィールド972,982に第2、3ビデオESのPID情報が挿入され、sub_video_Formatフィールド973,983に第2、3ビデオデータの映像フォーマット情報が挿入されてもよい。picture_display_orderフィールド974,984に、第1ビデオ、第2ビデオ及び第3ビデオなどを含み、三次元ビデオを構成する視点別ビデオの視点による再生順序についての情報が挿入されてもよい。sub_view_infoフィールド975,985に、子供用または大人用の立体感効果を調節するための情報が挿入され、sub_view_indexフィールド976,986に付加ビデオのうち、第2ビデオ及び第3ビデオのインデックス情報が挿入されてもよい。図10Aは、一実施形態によるPMT情報の三次元付加情報のうち、基本ESに係わる三次元ビデオ叙述子情報及び付加ESに係わる三次元ビデオ叙述子情報が順次に含まれる一例を図示している。第2実施形態によるPMT情報1000に、第1ビデオESに係わる第1ESループVIDEO1ESLOOP1010、第2ビデオESに係わる第2ESループVIDEO2ESLOOP1020、第3ビデオESに係わる第3ESループVIDEO3ESLOOP930及びオーディオESに係わるオーディオESループAUIDOESLOOP1040を順次に挿入することができる。第1ESループ1010は、第1ビデオESに係わるストリームタイプ情報VIDEO1STREAMTYPE、PID情報VIDEO1PID及び第1ビデオ叙述子情報VIDEO1DESCRIPTOR1015を含んでもよい。類似の方式で、第2ESループ1020は、第3ビデオESに係わるストリームタイプ情報VIDEO2STREAMTYPE、PID情報VIDEO2PID及びビデオ叙述子情報VIDEO2DESCRIPTOR1025を含み、第3ESループ1030は、第3ビデオESに係わるストリームタイプ情報VIDEO3STREAMTYPE、PID情報VIDEO3PID及びビデオ叙述子情報VIDEO3DESCRIPTOR1035を含んでもよい。この場合、付加ESの第2ES及び第3ESのストリームタイプ情報は、ストリームタイプのうちAuxiliaryvideostreamとして選択されてもよい。例えば、表2のストリームタイプのうちAuxiliaryvideostreamasdefinedinISO/IEC23002-3が第2ES及び第3ESのストリームタイプ情報として選択されてもよい。オーディオESループ1040は、オーディオESに係わるストリームタイプ情報AUDIOSTREAMTYPE、PID情報AUDIOPID及びオーディオ叙述子情報AUDIODescriptor1045を含んでもよい。すなわち、表1のPMT情報の2番目のfor文は、第2ビデオESループ1010、第2ビデオESループ1020及び第3ビデオESループ1030が挿入され、それぞれのESループ1010,1020,1030のビデオ叙述子情報1015,1025,1035に、それぞれの三次元付加情報が挿入されてもよい。すなわち、第1ビデオESループ1010、第2ビデオESループ1020及び第3ビデオESループ1030の間に並列的構造が形成される。図10Bは、図10AによるPMT情報のストリーム構造を図示している。第2実施形態によるPMT情報のPMTストリーム1050は、第1ビデオESVIDEO1ESループ1055を含み、第1ビデオESループ1055に続き、第2ビデオESVIDEO2ESループ1060及び第3ビデオESVIDEO3ESループ1070を続けて含んでもよい。三次元ビデオを構成するために、第1ビデオESと関連した複数個の付加ESループが存在する場合、PMTストリーム1050において、第1ビデオESループ1055に続き、それぞれのESループが挿入されてもよい。第1ビデオESループ1055、第2ビデオESループ1060及び第3ビデオESループ1070は、それぞれ、Stream_typeフィールド1051,1061,1071、PIDフィールド1052,1062,1072及びDescriptorsフィールド1053,1063,1073を含んでもよい。Stream_typeフィールド1051,1061,1071に、当該ビデオESのストリームタイプ情報が挿入され、PIDフィールド1052,1062,1072に、当該ビデオESのPID情報が挿入されてもよい。Descriptorsフィールド1053,1063,1073には、当該ビデオESのビデオデータに係わるビデオ特性についての情報が含まれ、当該ビデオESが三次元を構成するための特性に係わる三次元付加情報または三次元叙述子情報が含まれてもよい。以上、図9A及び図9Bを参照し、第1実施形態によるPMT情報の構造を例示し、図10A及び図10Bを参照し、第2実施形態によるPMT情報の構造を例示したが、第1ESループ、第2ESループ、第3ESループが階層的または並列的な構造によって挿入されるならば、それぞれのPMT情報に挿入されるパラメータまたは情報などの種類、順序、定義及び使用例は変更される。一実施形態による三次元付加情報は、現在ESへの二次元ビデオデータまたは三次元ビデオデータの挿入いかんを示すための情報を含んでもよい。例えば、表3の二次元/三次元モード情報2D/3D_mode及び表4の二次元/三次元モード転換通知情報notice_indicatorがこれに該当する。一実施形態による二次元/三次元モード情報2D/3D_modeは、現在ESに挿入されたビデオデータが、二次元ビデオ、三次元ビデオまたは二次元/三次元混合ビデオであるかを示す。二次元/三次元混合ビデオは、二次元ビデオ及び三次元ビデオが混在しているビデオストリームであり、1つのチャネルを介して、二次元ビデオ及び三次元ビデオが共に送受信できる。一実施形態によるデータストリーム生成装置100は、PMT情報に、二次元/三次元モード情報2D/3D_modeを挿入し、現在ビデオデータに、二次元ビデオ及び三次元ビデオ、並びに二次元/三次元混合ビデオのうちいずれか一つが挿入されているという情報を知らせることができる。一実施形態によるデータストリーム受信装置200は、PMT情報から抽出された二次元/三次元モード情報2D/3D_modeに基づいて、1つのチャネルを介して、受信したビデオデータストリームに、二次元ビデオ、三次元ビデオ及び二次元/三次元ビデオデータのうちいずれか一つが抽出されるかを予想できる。一実施形態による二次元/三次元モード転換通知情報notice_indicatorは、現在ESのうち、ビデオデータが二次元ビデオデータから三次元ビデオデータに転換されるか否かを示す。一実施形態によるデータストリーム生成装置100は、現在ESのビデオデータが、二次元ビデオデータから三次元ビデオデータに転換されるか否かを示すために、二次元/三次元モード転換通知情報をPMT情報に挿入することができる。一実施形態によるデータストリーム受信装置200は、PMT情報から抽出した二次元/三次元モード転換通知情報に基づいて、現在受信したビデオデータのうち、二次元ビデオデータ及び三次元ビデオデータ間の転換が生じるか否かを予想することができる。一実施形態によるデータストリーム生成装置100のPMT生成部120は、一実施形態による二次元/三次元モード情報及び二次元/三次元モード転換通知情報を、PMT情報の予約割当reserved領域に挿入することができる。一実施形態によるデータストリーム受信装置200のPMT付加情報抽出部230が、一実施形態による二次元/三次元モード情報及び二次元/三次元モード転換通知情報を、PMT情報の予約割当reserved領域から抽出することができる。一実施形態によるデータストリーム受信装置200は、二次元/三次元モード情報及び二次元/三次元モード転換通知情報を利用し、現在ESから、いずれのビデオデータ及び関連付加情報をパーシングして抽出するかを決定することができる。一実施形態による二次元/三次元モード情報及び二次元/三次元モード転換通知情報は、多様な用途によって、第1実施形態によるPMT情報及び第2実施形態によるPMT情報で、選択的に挿入されることもあれば、挿入されないこともある。以下の表5の三次元ストリーム叙述子情報3D_stream_Descriptor及び表6の視点別配置順序情報LR_firstは、第1実施形態によるPMT情報に挿入される三次元付加情報に属する。表5の三次元ストリーム叙述子情報3D_stream_Descriptorは、図9A及び図9Bを参照して説明した第1ビデオESループ910,955に挿入された叙述子情報915,954に挿入することができる。表5の三次元ストリーム叙述子情報3D_stream_Descriptorにおいて、for文が付加ESループ、すなわち、図9A及び図9Bの第2ビデオESループ920,970に対応する。三次元ストリーム叙述子情報3D_stream_Descriptorに、基本ESに係わる三次元付加情報が挿入され、付加ESループに、付加ESに係わる三次元付加情報が挿入されてもよい。第1実施形態によるPMT生成部120は、三次元付加情報に、三次元ビデオデータを視点別に識別して再生するための情報として、基本ビデオデータの映像フォーマット情報Main_Video_format、基本ビデオデータの映像フォーマットのうち視点別配置順序情報LR_first、及び付加ESの個数情報num_of_sub_streamのうち少なくとも一つを含んでもよい。付加ESの個数情報num_of_sub_streamによって、三次元ストリーム叙述子情報3D_stream_Descriptorに挿入される付加ESループの個数が決定され、それぞれの付加ESループに、三次元付加情報が挿入されてもよい。第1実施形態によるPMT生成部120は、三次元付加情報として、付加ESのストリームタイプ情報sub_stream_type、付加ESのPID情報sub_video_PID、付加視点ビデオデータの映像フォーマット情報sub_video_Format、基本視点ビデオデータ及び付加視点ビデオデータのディスプレイ順序情報picture_display_order、子供用または大人用の立体感効果を調節するための情報sub_view_info、及び三次元ビデオデータのうち付加視点ビデオデータを指す付加視点インデックス情報sub_view_indexのうち、少なくとも一つをPMT情報に挿入することができる。視点別配置順序情報LR_firstによって、現在ESの三次元合成フォーマットのうち、いずれの領域が左視点映像であり、右視点映像であるかが表現される。表6を参照すれば、一実施形態によるフォーマット配置順序が、図7の三次元合成フォーマットにおいて、左視点映像と右視点映像とが配置される位置を定義することができる。LR_first値が0である場合、左視点ビデオデータが、サイドバイサイドフォーマット映像の左側領域、トップアンドボトムフォーマットの上領域、垂直方向ラインインターリーブドフォーマットの奇数番目のライン、水平方向ラインインターリーブドフォーマットでの奇数番目のライン、フィールドシーケンシャルフォーマットの奇数番目のパラメータ及びフレームシーケンシャルフォーマットの奇数番目のフレームに配置される。また、現在三次元ビデオデータが2つのESTwoESに挿入されている場合、LR_first値が0であるならば、左視点ビデオデータが2つのESのうち、第1ESの基本視点ビデオデータMainmediaであることが設定される。これにより、前述の各合成フォーマットのうち、左視点ビデオデータが配置された領域の反対領域に、右視点ビデオデータが配置されてもよい。LR_first値が1である場合、右視点ビデオデータ及び左視点ビデオデータの配置が、前述のLR_first値が0である場合と正反対となる。一実施形態によるデータストリーム受信装置200のPMT付加情報抽出部230は、表5の三次元ストリーム叙述子情報3D_stream_Descriptorを判読し、第1ビデオESループ910,955内の叙述子情報915,954から、基本ESに係わる三次元付加情報を抽出することができる。また、一実施形態によるPMT付加情報抽出部230は、三次元ストリーム叙述子情報3D_stream_Descriptorにおいて、付加ESループから、付加ESに係わる三次元付加情報を抽出することができる。従って、基本ES及び付加ESに係わる三次元付加情報を利用し、ES復元部240が三次元ビデオデータを正確に復元し、再生部250が三次元ビデオを再生することができる。図10A及び図10Bを参照して説明した第2実施形態によるPMT情報に挿入することができる多様な三次元付加情報または三次元付加叙述子を、以下の表7ないし表20で例示する。一実施形態によるデータストリーム生成装置100のPMT生成部120は、下記表7の三次元叙述子情報3D_descriptorについて、図10A及び図10Bを参照して説明した第1ビデオESループ1010,1055のうち叙述子情報1015,1053に挿入することができる。表7の三次元叙述子情報3d_descriptorは、三次元ビデオの視点別ビデオデータが挿入されたESの個数情報num_of_ESによって、記述する三次元ビデオに係わる情報が変わる。1個のESに、視点別ビデオデータが挿入されたとすれば、三次元叙述子情報3d_descriptorでは、図7を参照して説明した三次元合成フォーマット情報1ES_format及び表6を参照して説明した視点別配置順序情報LR_firstが記述される。また、2以上のESに、視点別ビデオデータが挿入されたとすれば、三次元叙述子情報3d_descriptorで、図8を参照して説明した三次元ハイブリッドフォーマット情報Multi_ES_formatが記述される。従って、一実施形態によるデータストリーム生成装置200のPMT付加情報抽出部230は、第2実施形態によるPMT情報のうち、第1ビデオESループ1010,1055内の叙述子情報1015,1053だけパージングして判読しても、第1ビデオESに係わる三次元付加情報だけではなく、付加ESに挿入された付加ビデオデータの三次元映像フォーマットまで予測することができる。一実施形態によるデータストリーム生成装置100のPMT生成部120は、下記表8の付加ビデオストリーム叙述子情報Auxiliary_video_stream_descriptorについて、図10A及び図10Bを参照して説明した第2ビデオ及び第3ビデオESループ1020,1030,1060,1070のうち叙述子情報1025,1035,1063,1073に挿入することができる。一実施形態による付加ビデオストリーム叙述子情報Auxiliary_video_stream_descriptorは、付加ビデオデータの符号化方式についての情報aux_video_codedstreamtypeを含んでもよい。一実施形態によるPMT生成部120は、三次元付加情報をsi_rbspdescriptor_length-1情報に挿入することができる。さらに具体的には、一実施形態によるPMT生成部120は、表9のAuxiliary_video_stream_descriptor情報のうちのsi_rbsp情報のうちのsi_message情報のうちのsi_payloadに、三次元付加情報を挿入することができる。以下の表9、表10及び表11が、Auxiliary_video_stream_descriptor情報のうちsi_rbsp情報、si_message情報及びsi_payload情報の構造をそれぞれ図示している。一実施形態によるPMT生成部120は、表12のように、付加ESのためのペイロードタイプ情報として、深度マップDepthmap及び両眼視差マップParallaxmapに追加して、付加視点ビデオデータAdditionalview項目を追加する。また、現在付加ビデオストリームタイプのESのためのペイロードタイプ情報が付加視点ビデオデータである場合payloadType==2に必要な三次元付加情報のために、PMT生成部120は、表10のsi_payload情報のうち、generic_params情報の設定内容を、表13のように変更して利用し、表16のadditional_view_params情報を新たに追加することができる。まず、一実施形態によるPMT生成部120は、表13のgeneric_params情報に、現在三次元ビデオデータがハイブリッドフォーマットであるか否かを示す情報hybrid_indicator及びハイブリッドフォーマット種類についての情報hybrid_typeをさらに挿入する。一実施形態によるデータストリーム受信装置200のPMT付加情報抽出部230は、PMT情報のうち、付加ESに係わる付加ストリーム叙述子情報Auxiliary_video_stream_descriptorから、ハイブリッドフォーマット表示子情報hybrid_indicatorを抽出し、再生部250は、これを基に、現在ESに挿入されている三次元ビデオデータが、三次元ハイブリッドフォーマットであるか否かを、表14によって予測することができる。また、一実施形態によるPMT付加情報抽出部230は、付加ストリーム叙述子情報Auxiliary_video_stream_descriptorから、ハイブリッドフォーマットタイプ情報hybrid_typeを抽出し、再生部250は、これを基に、現在付加ESの付加ビデオデータのハイブリッドフォーマットの種類を、表15によって決定することができる。一実施形態によるPMT生成部120は、付加ストリームタイプのESのペイロードタイプ情報が、付加視点ビデオデータである場合payloadType==2に必要な三次元付加情報のために、付加ビデオ叙述子情報Auxiliary_video_stream_descriptorに、表16のadditional_view_params情報をさらに挿入することができる。一実施形態によるPMT生成部120は、additional_view_params情報に、三次元ビデオデータを構成するように、現在付加ESの付加ビデオデータと関連した他のビデオデータのPID情報linked_PID及び付加ビデオデータが、左視点ビデオであるか、右視点ビデオであるかを示す情報LR_indicatorをさらに挿入することができる。一実施形態によるデータストリーム受信装置200のPMT付加情報抽出部230は、PMT情報のうち、付加ESに係わる付加ストリーム叙述子情報Auxiliary_video_stream_descriptorから、表16の付加視点パラメータadditional_view_paramsを抽出することができる。一実施形態によるPMT付加情報抽出部230が、付加視点パラメータadditional_view_paramsにおいて、関連ビデオPID情報linked_PIDを抽出し、再生部250は、これを基に、現在付加ビデオデータと三次元ビデオデータとを構成するように、関連する他のビデオデータが挿入されたパケットまたはストリームに係わるPID情報を確認することができる。表17によって、一実施形態による関連ビデオPID情報linked_PIDは、現在付加ビデオデータと関連する基本視点ビデオデータとして示すことができる。一実施形態によるPMT付加情報抽出部230が、付加視点パラメータadditional_view_paramsにおいて、左右表示情報LR_indicatorを抽出し、再生部250は、これを基に、表18のように、現在付加ESの付加ビデオデータがステレオビデオにおいて、左視点または右視点のビデオデータであるかを決定することができる。他の実施形態によるPMT生成部120は、表19によって、付加視点パラメータadditional_view_paramsに、関連ビデオPID情報linked_PID及び左右表示情報LR_indicator以外に、付加視点ビデオ解像度情報additional_view_resolutionをさらに挿入することができる。一実施形態によるPMT付加情報抽出部230が、付加視点パラメータadditional_view_paramsにおいて、付加視点ビデオ解像度情報additional_view_resolutionを抽出し、再生部250は、表20によって、伝送フォーマットの付加視点ビデオデータの大きさを確認することができる。再生部250は、伝送フォーマットの基本視点ビデオデータ及び付加視点ビデオデータの大きさを比較し、伝送フォーマットを再生フォーマットに変換するときに大きさを調節することができる。一実施形態によるデータストリーム生成装置100のPMT生成部120は、三次元ビデオデータの特性についての情報が収録された三次元ストリーム叙述子情報3D_stream_Descriptorまたは三次元ビデオ叙述子情報3d_descriptor以外に、表21の三次元モード叙述子情報3D_mode_descriptor及び表22の三次元通知叙述子情報3D_notice_descriptorを、三次元付加情報として、PMT情報にさらに挿入することもできる。一実施形態によるPMT生成部120は、三次元モード叙述子情報3D_mode_descriptorに、二次元/三次元モード情報2D/3D_mode及び二次元/三次元モード転換通知情報notice_indicatorを挿入することができる。一実施形態によるPMT生成部120は、三次元通知叙述子情報3D_notice_descriptorに、三次元アイコン表示情報es_icon_indicator、転換表示情報transition_indicator、転換時間スタンプ情報transition_time_stamp及び転換メッセージ情報transition_messageを挿入することができる。一実施形態によるデータストリーム受信装置100のPMT付加情報抽出部230は、PMT情報のうち、プログラムループの叙述子領域またはESループの叙述子領域から、三次元モード叙述子情報3D_mode_descriptorを抽出し、二次元/三次元モード情報2D/3D_mode及び二次元/三次元モード転換通知情報notice_indicatorを抽出することもできる。一実施形態によるデータストリーム受信装置100の再生部250は、これを基に、現在プログラムまたはESのビデオデータのうち、二次元モード及び三次元モード間の転換が生じるか否かを決定することができる。一実施形態によるデータストリーム受信装置100のPMT付加情報抽出部230は、PMT情報のうち、プログラムループの叙述子領域またはESループの叙述子領域から、三次元通知叙述子情報3D_notice_descriptorを抽出することができる。一実施形態によるPMT付加情報抽出部230は、三次元通知叙述子情報3D_notice_descriptorにおいて、三次元アイコン表示情報es_icon_indicatorを抽出し、再生部250は、これを基に、三次元通知表示のような三次元関連アイコンが、コンテンツ提供者から提供されていることを認識し、コンテンツの三次元通知表示を、セットトップボックスsettopboxまたはTVtelevision自体の三次元通知表示と重複しないようにディスプレイすることができる。例えば、三次元アイコン表示情報es_icon_indicator値が0である場合、ビデオES内に、三次元通知アイコンがないことが予想されるので、セットトップボックスやTV自体の三次元通知表示を利用し、三次元アイコン表示情報値が1である場合、三次元通知アイコンがあることが予想されるので、ビデオES内の三次元通知アイコン、セットトップボックスやTV自体の三次元通知表示において選択的に利用するように決定することができる。一実施形態によるPMT付加情報抽出部230は、三次元通知叙述子情報3D_notice_descriptorにおいて、転換表示情報transition_indicatorを抽出し、再生部250は、今後受信するPMT情報に、現在PMT情報から得られた現在二次元/三次元モードと異なるモードであることを示す二次元/三次元モード情報が含まれていることを示す情報、すなわち、二次元/三次元モードの転換が生じるか否かを決定することができる。例えば、転換表示情報transition_indicator値が0である場合、ビデオES内に、現在二次元/三次元モードが持続されるということが予想され、1である場合、今後現在二次元/三次元モードが、反対モードに転換される予定であることが予想される。一実施形態によるPMT付加情報抽出部230は、転換表示情報が、今後二次元/三次元転換が生じるということを示す場合transition_indicator==1、三次元通知叙述子情報3D_notice_descriptorから、転換時間スタンプ情報transition_time_stampを抽出し、再生部250は、今後二次元/三次元モードの転換が生じる時間情報を決定することができる。一実施形態による転換発生時間スタンプ情報は、PTSpresentationtimestamp単位で表現される。この場合、一実施形態による転換発生時間スタンプ情報は、現在PMT情報を含むピクチャ映像のPTS値と、二次元/三次元モード転換が生じる時点のPTS値との相対値、または二次元/三次元モード転換が生じる時点のPTS値の絶対値として表現される。一実施形態による転換発生時間スタンプ情報は、PTS単位以外に、フレーム個数単位など多様な方式でも表現される。一実施形態によるPMT付加情報抽出部230は、転換表示情報が、今後二次元/三次元転換が生じるということを示す場合transition_indicator==1、三次元通知叙述子情報3D_notice_descriptorから、転換メッセージ情報transition_messageを抽出することができる。一実施形態によるデータストリーム受信装置100の再生部250は、これを基に、コンテンツサービス再生中、二次元/三次元モード転換通知表示のアイコン、テキスト、声などの視覚効果または聴覚効果を決定することができる。ユーザは、二次元/三次元モード転換通知表示を介して、現在二次元/三次元モードが転換されるということを認識したり、あるいはすぐに二次元/三次元モードが転換される予定であるならば、あらかじめ視聴方式を変更するように準備することができる。図11は、一実施形態による二次元/三次元モード転換情報の使用例を図示している。現在ビデオストリーム1100において一部分である二次元映像1102から三次元映像1136まで図示されており、二次元映像シーケンス1102,1104,1106,1108,1110,1112,1114,1116,1118,1120,1122,1124,1126,1128、及び三次元映像シーケンス1130,1132,1134,1136から構成されている。一実施形態によるデータストリーム生成装置100は、現在ビデオストリーム1100において、時点T1,T2,T3で、現在ビデオストリーム1100に係わるPMT情報1140,1150,1160をそれぞれ伝送する。時点T1のPMT情報1140で、二次元/三次元モード情報2D/3D_modeが2Dを示しているので、現在ビデオデータは、二次元モードであることが確認される。ただし、時点T2のPMT情報1150で、二次元/三次元モード情報2D/3D_modeは、2Dを示しているが、二次元/三次元モード転換情報transition_time_stampは、時点T3を指している。すなわち、現在ビデオデータは、二次元モードであるが、今後現在ビデオストリーム1100において、三次元モードが生じるということが予想される。時点T2のPMT情報1150で、二次元/三次元モード転換情報transition_time_stampが予告したように、時点T3で、二次元/三次元モード転換が生じ、時点T3のPMT情報1160で、二次元/三次元モード情報2D/3D_modeは、3Dを示している。一実施形態によるデータストリーム受信装置200は、PMT情報1140,1150,1160の二次元/三次元モード転換情報を利用し、時点T1,T2,T3当時の二次元/三次元モード及び今後二次元/三次元モード転換が生じる時点を予想することができ、二次元/三次元モード転換通知表示情報transition_messageによって、時点T2及び時点T3間の所定時点から、二次元/三次元モード転換通知メッセージが、画面上で、視聴資料として表示されたり、あるいは聴覚資料として再生される。一実施形態によるデータストリーム生成装置100は、互いに異なる解像度の基本視点ビデオと、付加視点ビデオとを伝送することもできる。例えば、一実施形態によるデータストリーム生成装置100は、フルHDfullhighdefinition級解像度の基本視点ビデオデータと、SDstandarddefinitionクラス解像度の付加視点ビデオデータとを伝送することができる。図12は、左視点leftviewビデオ及び右視点rightviewビデオが異なった大きさで伝送される場合を例示している。一実施形態によるデータストリーム生成装置100は、縦横に1920x1080のフルHDクラス解像度の左視点ビデオ1210及びフルHDクラス解像度の右視点ビデオ1220を獲得し、伝送フォーマットとしては、縦横に1920x1080のフルHDクラス解像度の左視点ビデオデータ1230、及び縦横に640x480のSDクラス解像度の右視点ビデオデータ1240が挿入されたデータストリームを、TSの形態に変換して伝送することができる。一実施形態によるデータストリーム受信装置200は、TSを受信し、ES復元部240で、フルHDクラス解像度の左視点ビデオデータ1230、及びSDクラス解像度の右視点ビデオデータ1240を復元することができる。一実施形態による再生部250は、フルHDクラス解像度の左視点ビデオデータ1230及びSDクラス解像度の右視点ビデオデータ1240を再生フォーマットに変換するために拡大したとしても、左視点ビデオデータ1230及び右視点ビデオデータ1240の縦横比が16:9及び4:3と異なるために、縦横がいずれも一致しない。すなわち、再生フォーマットのフルHDクラス解像度の左視点ビデオ1250、及び縦横に1440x1080の拡大された右視点ビデオ1260は、縦サイズが1080ピクセルと同一であっても、横サイズが1920:1440と異なってしまう。基本視点ビデオ及び付加視点ビデオの解像度が同一ではないならば、三次元ビデオ再生時、三次元効果が生じ難くなる。図13は、一実施形態による縦横比情報の使用例を図示している。一実施形態による再生部250が、再生フォーマットのフルHDクラス左視点ビデオ1250を復元し、伝送フォーマットが、拡大された再生フォーマットの右視点ビデオ1260を復元することができる。この場合、左視点ビデオ1250及び右視点ビデオ1260がそのまま再生されれば、左視点ビデオ1250において、右視点ビデオ1260が表示されない領域1350,1360が生じる。従って、一実施形態によるデータストリーム生成装置100は、基本視点ビデオ及び付加視点ビデオの解像度が同一ではない場合のために、三次元付加情報として、縦横比情報を含む。一実施形態によるデータストリーム生成装置100のPMT生成部120は、三次元付加情報として、縦横比情報3d_aspect_ratio_descriptorをPMT情報に挿入し、表23のように、縦横比情報3d_aspect_ratio_descriptorとして、クロップオフセット情報cropping_offsetを挿入することができる。例えば、基本視点ビデオにおいて、拡大された付加視点ビデオで隠れない領域の幅に係わる情報をクロップオフセット情報cropping_offsetとして設定し、三次元付加情報として、PMT情報に挿入することができる。一実施形態によるデータストリーム受信装置200のPMT付加情報抽出部230は、PMT情報から縦横比情報3d_aspect_ratio_descriptorを抽出し、縦横比情報3d_aspect_ratio_descriptorにおいて、クロップオフセット情報cropping_offsetを抽出することができる。一実施形態による再生部250は、クロップオフセット情報cropping_offsetに基づいて、縦横に1920x1080の左視点ビデオ1250において、中央の縦横に1440x1080の右視点ビデオ1260で隠れない領域1350,1360をクロップし、縦横比4:3の左視点ビデオ及び右視点ビデオを再生することができる。または、一実施形態による再生部250は、縦横に1920x1080の左視点ビデオ1250において領域1350,1360は、左視点ビデオをディスプレイし、付加視点ビデオ1260で隠れる中央の縦横に1440x1080領域でのみ左視点ビデオと右視点ビデオとが交互にディスプレイされるように制御することによって、中央の縦横に1440x1080領域でのみ三次元効果が生じる。一実施形態によるデータストリーム生成装置100は、PMT情報に、二次元または三次元のビデオデータが挿入されたパケットに係わるPID情報を挿入し、PMT情報のうち、プログラムループ、ストリームタイプ情報がvideostream_typeまたはauxiliaryvideostream_typeである.ESループ及び各種予約割当領域に、以上の表1ないし表23の三次元付加情報を挿入し、二次元または三次元のビデオデータが挿入されたパケットと共にTSに変換して伝送することができる。MPEGTS方式による受信端が二次元ビデオだけ支援する場合、受信端の受信されたデータストリームパージング及び復号化過程で、一実施形態によるPMT情報のうち、三次元付加情報、三次元叙述子情報、三次元ストリーム叙述子情報は、パージングされて解釈されないので、三次元ビデオデータが含まれたパケットも検出されず、MPEGTS方式で設定された二次元ビデオデータ及びそれに係わる叙述子情報だけ認識されて復号化される。従って、二次元ビデオだけ支援する受信端でも、一実施形態によるデータストリーム生成装置100によって生成されたデータストリームのうち二次元ビデオ関連データを処理することができる。一実施形態によるデータストリーム受信装置200は、TSを受信し、PMT情報のPID情報を有するパケットを集めてPMT情報を抽出し、PMT付加情報抽出部230は、PMT情報のプログラムループ、ESループ及び各種予約割当領域から三次元付加情報を抽出し、て再生部250に伝達することができる。また、一実施形態によるデータストリーム受信装置200は、PMT情報のうち、ストリームタイプ情報がvideostream_typeを有するパケットのPID情報に基づいて、videostream_typeを有するパケットのペイロードを集め、ES復元部240でビデオデータを復元することができる。また、一実施形態によるデータストリーム受信装置200は、ストリームタイプ情報がAuxiliaryvideostream_typeを有するパケットのPID情報に基づいて、Auxiliaryvideostream_typeを有するパケットのペイロードを集め、ES復元部240で付加ビデオデータが復元される。一実施形態によるデータストリーム受信装置200の再生部250は、PMT情報のうち三次元付加情報を利用し、基本ES及び付加ESから抽出された基本ビデオデータ、並びに付加ビデオデータの三次元合成フォーマットまたは三次元ハイブリッドフォーマットを解釈し、基本視点ビデオ及び付加視点ビデオを復元し、相互関連した基本視点及び付加視点を再生周期を同期化して再生することができる。以下、一実施形態による再生部250の動作について具体的に記述する。一実施形態によるES復元部240が、基本ビデオデータとして基本視点ビデオを抽出し、付加ビデオデータとして付加視点ビデオを抽出する場合、一実施形態による再生部250は、基本視点ビデオ及び付加視点ビデオを、三次元ディスプレイ装置が再生可能な再生フォーマットに構成して出力することができる。一実施形態によるES復元部240が、基本ビデオデータとして基本視点ビデオを抽出し、付加ビデオデータとして差映像を抽出する場合、一実施形態による再生部250は、基本視点ビデオ及び差映像を利用し、付加視点ビデオを復元した後、基本視点ビデオ及び付加視点ビデオを、三次元ディスプレイ装置が再生可能な再生フォーマットに構成して出力することができる。一実施形態によるES復元部240が、基本ビデオデータとして基本視点ビデオを抽出し、1つまたは2つの付加ビデオデータとして、深度情報または、両眼視差情報と付加視点ビデオとを抽出する場合、一実施形態による再生部250は、基本視点ビデオ、付加視点ビデオ及び深度情報または、両眼視差情報を利用し、中間視点ビデオを生成することができる。例えば、DIBRdepthimagebasedrendering技法を利用し、基本視点ビデオ及び深度情報を基に中間視点の映像が生成される。一実施形態による再生部250は、基本視点ビデオ、中間視点ビデオ及び付加視点ビデオのうち2視点ビデオを選択し、三次元ディスプレイ装置が再生可能な再生フォーマットに構成して出力することができる。基本視点ビデオ及び付加視点ビデオ間の深度または両眼視差が大きい場合、中間視点ビデオが導入されるので、視聴疲労感を防止するのに有用である。一実施形態によるES復元部240が、基本ビデオデータとして三次元合成フォーマットデータを抽出する場合、一実施形態による再生部250は、三次元合成フォーマットデータから、基本視点ビデオ及び付加視点ビデオを復元した後、基本視点ビデオ及び付加視点ビデオを、三次元ディスプレイ装置が再生可能な再生フォーマットに構成して出力することができる。一実施形態によるES復元部240が、基本ビデオデータとして三次元合成フォーマットデータを抽出し、付加ビデオデータとして深度情報両眼視差情報を抽出する場合、一実施形態による再生部250は、三次元合成フォーマットデータから、基本視点ビデオ及び付加視点ビデオを復元し、基本視点ビデオ、付加視点ビデオ及び深度情報または、両眼視差情報を利用し、中間視点ビデオを生成することができる。例えば、中間視点ビデオは、基本視点、付加視点ビデオ及び深度情報について、DIBR技法が適用されれば、任意の中間視点ビデオが生成される。中間視点ビデオ及び付加視点ビデオのうち2視点ビデオを選択し、三次元ディスプレイ装置が再生可能な再生フォーマットに構成して出力することができる。一実施形態によるES復元部240が、基本ビデオデータとして三次元合成フォーマットデータを抽出し、付加ビデオデータとして差情報を抽出する場合、一実施形態による再生部250は、三次元合成フォーマットデータから、原本解像度の半分である基本視点ビデオ及び付加視点ビデオを復元することができる。この場合、一実施形態による再生部250は、半解像度の基本視点ビデオ及び付加視点ビデオに差情報を追加して利用し、原本解像度と同じ基本視点ビデオ及び付加視点ビデオを復元することができる。一実施形態による再生部250は、基本視点ビデオ及び付加視点ビデオを、三次元ディスプレイ装置が再生可能な再生フォーマットに構成して出力することができる。一実施形態によるES復元部240が、基本ビデオデータとして二次元ビデオを抽出し、付加ビデオデータとして深度情報または、両眼視差情報を抽出する場合、一実施形態による再生部250は、二次元ビデオ及び深度情報または、両眼視差情報を利用し、付加視点ビデオを復元した後、基本視点ビデオ及び付加視点ビデオを、三次元ディスプレイ装置が再生可能な再生フォーマットに構成して出力することができる。ただし、この場合、基本視点ビデオと、完全な三次元ビデオを構成する付加視点ビデオとが復元されない場合、視差遮蔽occlusion現象が発生しうる。一実施形態によるES復元部240が、基本ビデオデータとして多視点ビデオを構成する第1視点ビデオを抽出し、複数個の付加ビデオデータとして、多視点ビデオを構成する第2視点ビデオ、第3視点ビデオなどの複数個の他の視点ビデオを抽出する場合、一実施形態による再生部250は、複数個の視点ビデオを、第1視点ビデオを基準に、三次元ディスプレイ装置が再生可能な再生フォーマットに構成して出力することができる。ステレオビデオとは異なり、多視点ビデオは、360°回転して視聴可能な三次元ビデオを提供することができる。一実施形態によるES復元部240が、基本ビデオデータとして多重撮影ビデオを構成する第1ビデオを抽出し、付加ビデオデータとして、第2ビデオ、第3ビデオなどの複数個の他のビデオを抽出する場合、一実施形態による再生部250は、選択的に、それぞれのビデオを別途に出力したり、あるいはPIPpictureinpicture方式で構成して出力することができる。例えば、野球試合で、捕手の視点から撮影された第1ビデオ、投手視点から撮影された第2ビデオ、観衆席を撮影した第3ビデオ、1つの主題でさまざまな位置、さまざまな方向から撮影されたコンテンツのディスプレイ方式は、多視点ビデオとは異なり、視聴者または放送目的によって変更されもする。図14は、一実施形態によるデータストリーム伝送装置100及び一実施形態によるデータストリーム受信装置200が具現される三次元ビデオデータストリーム通信システムの概要図である。伝送端のコンテンツ生成部contentgenerator1410は、準手動深度抽出方式semimanualdepthextractionfrom2D1412、RGB赤外線カメラ方式RGBinfraredcamera1414、またはステレオカメラ方式stereocamera1416などの多様な撮影方式を利用し、コンテンツに係わるビデオデータを生成することができる。コンテンツ生成部1410のビデオデータのうち、基本ビデオデータMAINVIDEOは、ビデオエンコーダAVIDEOENCODERA1420に、第1付加ビデオデータ/第1深度情報/第1両眼視差情報SUBVIDEO1/DEPTH1/PARALLAX1のうち少なくとも一つは、ビデオエンコーダBVIDEOENCODERB1430に、第2付加ビデオデータ/第2深度情報/第2両眼視差情報SUBVIDEO2/DEPTH2/PARALLAX2のうち少なくとも一つは、ビデオエンコーダCVIDEOENCODERC1440に出力されてもよい。ビデオエンコーダA1420、ビデオエンコーダB1430及びビデオエンコーダC1430は、それぞれ入力されたビデオデータを符号化し、基本ビデオストリームMAINVIDEOSTREAM、第1付加ストリームSUBVIDEOSTREAM1及び第2付加ストリームSUBVIDEOSTREAM1をチャネルCHANNEL1450に出力することができる。基本ビデオストリーム、第1付加ストリーム及び第2付加ストリームのTSは、チャネル1450を介して受信端に伝送され、受信端は、TSを逆多重化し、ビデオパケットをビデオデコーダAVIDEODECODERA1460、ビデオデコーダBVIDEODECODERB1470及びビデオデコーダCVIDEODECODERC1480に伝達することができる。ビデオデコーダA1460は、基本ビデオストリームから基本ビデオを復元し、ビデオデコーダB1470は、第1付加ストリームから、第1付加ビデオデータ/第1深度情報/第1両眼視差情報を復元し、ビデオデコーダC1480は、第2付加ストリームから、第2付加ビデオデータ/第2深度情報/第2両眼視差情報を復元して出力することができる。復元された基本ビデオ、第1付加ビデオデータ/第1深度情報/第1両眼視差情報、及び第2付加ビデオデータ/第2深度情報/第2両眼視差情報は、三次元ディスプレイ装置3DDISPLAYDEVICE1490に入力され、それぞれのディスプレイ方式に適するように変換されて三次元で再生される。例えば、復元された三次元ビデオは、オートステレオスコピックレンチキュラAUTOSTEREOSCOPICLENTICULAR方式1492、オートステレオスコピックバリアAUTOSTEREOSCOPICBARRIER方式1494、または立体メガネ方式のステレオスコピックシステムGLASSESBASEDSTEREOSCOPICSYSTEM1496など多様な方式の三次元ディスプレイ機器によって三次元で再生される。従って、一実施形態によるデータストリーム伝送装置100が、三次元ハイブリッドフォーマットの基本ビデオデータ、第1付加データ及び第2付加データを、三次元付加情報をPMT情報に挿入して伝送することができる。また、一実施形態によるデータストリーム受信装置200は、受信したデータストリームにおいて、PMT情報から三次元付加情報を抽出し、これを利用し、データストリームのペイロードに、三次元ハイブリッドフォーマットの基本ビデオデータ、第1付加データ及び第2付加データのような三次元付加情報が挿入されていることを予想することができる。また、一実施形態によるデータストリーム受信装置200は、ペイロードのビデオデータを抽出した後には、三次元付加情報を利用し、基本視点ビデオ及び付加視点ビデオに復元し、三次元ディスプレイ機器を介して三次元で再生することができる。図15は、一実施形態による三次元マルチメディアサービスを提供するためのデータストリーム生成方法のフローチャートである。段階1510で、二次元または三次元のマルチメディアサービスに係わるプログラムにおける視点別ビデオデータを含む少なくとも1つのESが生成される。プログラムにおけるオーディオデータ及び付加データに係わるESも生成される。段階1520で、少なくとも1つのESに係わる参照情報及び視点別ビデオデータを、視点別に識別して再生するための三次元付加情報を含むプログラムに係わるPMT情報が生成される。PMT情報のうち、当該ESに係わる叙述子情報に、三次元付加情報及び参照情報のうち少なくとも一つが挿入されてもよい。第1実施形態によるPMT情報の構造によれば、PMT情報のうち、基本ESに係わる三次元付加情報が、付加ESに係わる三次元付加情報及び参照情報のうち少なくとも一つを含んでもよい。第2実施形態によるPMT情報の構造によれば、PMT情報が、少なくとも1つのESに係わるそれぞれのES情報を順次に含み、それぞれのES情報には、当該ESに係わる三次元付加情報及び参照情報のうち少なくとも一つが含まれる。三次元付加情報は、現在ビデオパケットが、二次元または三次元のビデオデータを含むということを知らせるための二次元/三次元通知情報、三次元ビデオの復元及び再生のための三次元叙述子情報、現在プログラムにおける現在二次元/三次元モード、及び未来の二次元/三次元モードの転換を知らせるための二次元/三次元モード転換情報、三次元縦横比情報などを含んでもよい。段階1530で、少なくとも1つのESをパケット化して生成されたPESパケット及びPMT情報を多重化し、TSが生成される。TSは、ペイロードとヘッダとから構成され、ペイロードに、PESパケットまたはPMT情報などのセクションが含まれてもよい。TSは、少なくとも1つのチャネルを介して伝送される。図16は、一実施形態による三次元マルチメディアサービスを提供するためのデータストリーム受信方法のフローチャートである。段階1610で、二次元または三次元のマルチメディアサービスに係わるプログラムに係わるTSが受信される。段階1620で、TSが逆多重化され、プログラムに係わるPESパケット及びプログラムに係わるPMT情報が抽出される。段階1630で、PMT情報から、プログラムにおける視点別ビデオデータのESに係わる参照情報及び三次元付加情報が抽出される。第1実施形態によるPMT情報のうち、基本ESに係わる三次元付加叙述子情報から、付加ESに係わる三次元付加情報及び参照情報のうち少なくとも一つが抽出される。または、第2実施形態によるPMT情報のうち、付加ESに係わるES情報または基本ESに係わるES情報から、三次元付加叙述子情報が抽出され、三次元付加叙述子情報から、付加ESに係わる参照情報及び三次元付加情報が抽出される。段階1640で、PESパケットを逆パケット化して抽出されたESのうち、PMT情報から抽出されたESに係わる参照情報を利用し、少なくとも1つのESストリームが復元され、少なくとも1つのESから、プログラムにおける視点別ビデオデータが抽出される。三次元付加情報及び参照情報を利用し、視点別ビデオデータを復元し、視点別に再生周期及び再生順序を同期化し、再生位置を合わせて三次元ビデオを再生することによって、視聴者に三次元マルチメディアサービスが提供される。一実施形態によるデータストリーム伝送方法によれば、MPEGTSシステムを基に、三次元ビデオデータを挿入するためのESに係わるストリームタイプを追加する必要なしに、既存ストリームタイプのESを利用し、二次元ビデオ及び三次元ビデオを、各種三次元付加情報及び参照情報と共に伝送することができる。例えば、基本ESのストリームタイプは、周知の符号化方式であるMPEG-2規格、MPEG-4/AVC規格によるESとして設定し、付加ESのストリームタイプは、MPEG-2規格、MPEG-4/AVC規格によるESだけではなく、補助ビデオストリームauxiliaryvideostreamとして設定されもする。補助ビデオストリームタイプを支援しない受信システムでは、付加ESを認識することができないので、基本ESだけを認識し、現在サービスを二次元ビデオサービスで認識することもできる。従って、既存受信システムが、一実施形態によるデータストリーム生成方法によって生成されたTSを受信しても、基準受信システムの機能に合うように、ビデオデータを解釈し、二次元で再生することによって、逆互換性も維持される。一実施形態によるデータストリーム受信方法によれば、1つのチャネルを介して、受信された1つのプログラム番組に係わるTSを介して、基本視点ビデオデータ及び付加視点ビデオデータだけではなく、深度情報及び両眼視差情報が追加して受信される場合、これを復元し、ステレオビデオだけではなく、多視点ビデオが再生される。この場合、PMT情報から抽出された三次元付加情報及び参照情報を利用し、多視点ビデオが正確に復元されて再生される。一方、前述の本発明の実施形態は、コンピュータで実行されるプログラムで作成可能であり、コンピュータで読み取り可能な記録媒体を利用し、前記プログラムを動作させる汎用デジタルコンピュータで具現される。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体例えば、ROMreadonlymemory、フロッピー登録商標ディスク、ハードディスクなど、光学的判読媒体例えば、CD-ROM、DVDなどのような記録媒体を含む。また、前述の装置の一つ以上の構成要素は、コンピュータで読み取り可能な記録媒体に保存されたコンピュータプログラムを実行するプロセッサまたはマイクロプロセスを含んでもよい。以上、本発明について、その望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者であるならば、本発明が本発明の本質的な特性から外れない範囲で変形された形態で具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されねばならない。本発明の範囲は、前述の説明ではなく、特許請求範囲に示されており、それと同等な範囲内にあるあらゆる差異点は、本発明に含まれたものであると解釈されねばならないのである。"