"第1の画像データを含む第1のエレメンタリストリームと上記第1の画像データに関連した所定数の第2の画像データおよび/またはメタデータをそれぞれ含む所定数の第2のエレメンタリストリームとを生成するエンコード部と、上記エンコード部で生成された上記各エレメンタリストリームをパケット化して得られた各パケットを有するトランスポートストリームを送信する送信部を備え、上記エンコード部は、少なくとも、上記第1のエレメンタリストリームに、上記各エレメンタリストリームの関連を示すストリーム関連付け情報を挿入する画像データ送信装置。上記ストリーム関連付け情報は、上記各エレメンタリストリームの関連の変化が実際に起きる前に、該変化が起きることを知らせる前触れ情報を含む請求項1に記載の画像データ送信装置。上記エンコード部は、上記エレメンタリストリームに、上記ストリーム関連付け情報をピクチャ単位あるいはGOP単位で挿入する請求項1に記載の画像データ送信装置。上記ストリーム関連付け情報は、上記各エレメンタリストリームを識別するための識別子を用いて、上記各エレメンタリストリームの関連を示す請求項1に記載の画像データ送信装置。上記送信部は、上記トランスポートストリームに、上記各エレメンタリストリームの識別子と、該各エレメンタリストリームのパケット識別子またはコンポーネントタグとの対応関係を示す記述子を挿入する請求項4に記載の画像データ送信装置。上記送信部は、上記トランスポートストリームに、上記エレメンタリストリームに上記ストリーム関連付け情報が挿入されているか否か、あるいは、上記エレメンタリストリームに挿入されている上記ストリーム関連付け情報に変更があるか否かを示す記述子を挿入する請求項1に記載の画像データ送信装置。上記第1のエレメンタリストリームに含まれる第1の画像データの符号化方式と、上記所定数の第2のエレメンタリストリームに含まれる第2の画像データの符号化方式として、任意の符号化方式の組み合わせが可能とされている請求項1に記載の画像データ送信装置。上記第1の画像データは、立体画像データを構成するベースビューの画像データであり、上記第2の画像データは、上記立体画像データを構成する上記ベースビュー以外のビューの画像データである請求項1に記載の画像データ送信装置。上記第1の画像データは、ステレオ立体画像を得るための左眼および右眼の一方の画像データであり、上記第2の画像データは、上記ステレオ立体画像を得るための左眼および右眼の他方の画像データである請求項8に記載の画像データ送信装置。上記メタデータは、上記立体画像データに対応した視差情報である請求項8に記載の画像データ送信装置。上記ストリーム関連付け情報は、該ストリーム関連付け情報が挿入されたエレメンタリストリームに含まれる画像データによるビューが、立体表示の際に、マルチビューイングの中のいずれのビューとして表示されるべきかを示すポジション情報を含む請求項8に記載の画像データ送信装置。上記第1の画像データは、スケーラブル符号化画像データを構成する最下位層の符号化画像データであり、上記第2の画像データは、上記スケーラブル符号化画像データを構成する上記最下位層以外の階層の符号化画像データである請求項1に記載の画像データ送信装置。上記ストリーム関連付け情報は、上記第1の画像データおよび上記第2の画像データの出力解像度の制御情報をさらに含む請求項1に記載の画像データ送信装置。上記ストリーム関連付け情報は、上記所定数の第2の画像データのそれぞれに対して表示必須とするか否かを指定する制御情報をさらに含む請求項1に記載の画像データ送信装置。第1の画像データを含む第1のエレメンタリストリームと上記第1の画像データに関連した所定数の第2の画像データおよび/またはメタデータをそれぞれ含む所定数の第2のエレメンタリストリームとを生成するエンコードステップと、上記エンコードステップで生成された上記各エレメンタリストリームをパケット化して得られた各パケットを有するトランスポートストリームを送信する送信ステップを備え、上記エンコードステップでは、少なくとも、上記第1のエレメンタリストリームに、上記各エレメンタリストリームの関連を示すストリーム関連付け情報を挿入する画像データ送信方法。第1の画像データを含む第1のエレメンタリストリームと上記第1の画像データに関連した所定数の第2の画像データおよび/またはメタデータをそれぞれ含む所定数の第2のエレメンタリストリームとをパケット化して得られた各パケットを有するトランスポートストリームを受信する受信部を備え、少なくとも、上記第1のエレメンタリストリームには、上記各エレメンタリストリームの関連を示すストリーム関連付け情報が挿入されており、上記ストリーム関連付け情報に基づいて、上記受信部で受信された上記第1のエレメンタリストリームから上記第1の画像データを取得し、上記受信部で受信された上記所定数の第2のエレメンタリストリームから上記第1の画像データに関連した上記第2の画像データおよび/またはメタデータを取得するデータ取得部をさらに備える画像データ受信装置。上記データ取得部で取得された上記第1の画像データおよび上記第2の画像データの解像度を調整して出力する解像度調整部をさらに備え、上記ストリーム関連付け情報は、上記第1の画像データおよび上記第2の画像データの出力解像度の制御情報を含み、上記解像度調整部は、上記出力解像度の制御情報に基づいて、上記第1の画像データおよび上記第2の画像データの解像度を調整する請求項16に記載の画像データ受信装置。上記データ取得部で取得された上記第1の画像データおよび上記第2の画像データに基づく画像表示態様を選択する画像表示態様選択部をさらに備え、上記ストリーム関連付け情報は、上記所定数の第2の画像データのそれぞれに対して表示必須とするか否かを指定する制御情報を含み、上記画像表示態様選択部は、上記制御情報に基づいて画像表示態様の選択が制限される請求項16に記載の画像データ受信装置。上記データ取得部で取得された上記メタデータは、上記立体画像データに対応した視差情報であり、該視差情報を用い、上記データ取得部で取得された上記第1の画像データおよび上記第2の画像データに補間処理を施して、所定数のビューの表示画像データを得るポスト処理部をさらに備える請求項16に記載の画像データ受信装置。第1の画像データを含む第1のエレメンタリストリームと上記第1の画像データに関連した所定数の第2の画像データおよび/またはメタデータをそれぞれ含む所定数の第2のエレメンタリストリームとをパケット化して得られた各パケットを有するトランスポートストリームを受信する受信ステップを備え、少なくとも、上記第1のエレメンタリストリームには、上記各エレメンタリストリームの関連を示すストリーム関連付け情報が挿入されており、上記ストリーム関連付け情報に基づいて、上記受信ステップで受信された上記第1のエレメンタリストリームから上記第1の画像データを取得し、上記受信ステップで受信された上記所定数の第2のエレメンタリストリームから上記第1の画像データに関連した上記第2の画像データおよび/またはメタデータを取得するデータ取得ステップをさらに備える画像データ受信方法。AVCストリームとMVCストリームとが、動的に切り替わる配信環境において、MVCに対応した受信機は、StreamType0x1Bのみのストリームか、StreamType0x1BとStreamType0x20の両方があるストリームかを判断して、受信モードの切換えを行うことが期待される。通常のAVC2Dのビデオエレメンタリストリームは、PMTProgramMapTableのStreamType0x1Bで送られる。また、MVCのベースビューBaseviewのビデオエレメンタリストリームBaseviewsubbitstreamは、PMTのStreamType0x1Bで送られる場合がある。MVCの場合、ベースビューの画像データと、ノンベースビューNonbaseviewの画像データとがまとめて送られる場合がある。つまり、ベースビューの画像データと、ノンベースビューの画像データとが分かれて送られる場合には、MVCのベースビューのビデオエレメンタリストリームBaseviewsubbitstreamは、PMTのStreamType0x1Bで送られることがある。トランスポートストリームTransportStreamの中のセクションSection部分には、PSIProgramSpecificInformationとしてのPMTのレベルで、AVCストリームであるかMVCストリームであるかが分かる仕組みが提供されている。すなわち、ビデオエレメンタリストリームがStreamType0x1Bのみのときは、2DAVCストリームであることが分かる。また、ビデオエレメンタリストリームがStreamType0x1BとStreamType0x20の両方があるときは、MVCストリームであることが分かる。しかし、PMTというのは、送信側設備によっては、必ずしも動的に更新されない場合がある。その場合には、配信内容が立体3D画像から二次元2D画像に切り替わる際に、以下の不都合が考えられる。すなわち、受信機は、ストリームタイプStreamTypeが0x1Bのエレメンタリストリームと共に、ストリームタイプStreamTypeが0x20のストリームも継続受信するものとして、そのデータを待ち続けることが考えられる。配信内容が二次元2D画像に切り替わった後には、0x20のエレメンタリストリームは受信されないわけだが、受信機内部では、0x20のエレメンタリストリームがくるものとして、待ち続ける。その結果、正しいデコードに至らず、正常な表示ができなくなるおそれがある。このように、受信機が、PMTの[Streamtype]の種類のみを当てにして自らのモードを決定した場合、そのモードが正しくなく、正しいストリーム受信でない可能性が出てくる。図27は、トランスポートストリーム内におけるビデオエレメンタリストリームとPMTProgramMapTableの構成例を示している。ビデオエレメンタリストリームES1,ES2の001~009のアクセスユニットAU:AccessUnitの期間は、2本のビデオエレメンタリストリームが存在する期間である。この期間は、例えば3D番組の本体期間であり、この2本のストリームは立体3D画像データのストリームを構成している。それに続く、ビデオエレメンタリストリームES1の010~014のアクセスユニットの期間は、1本のビデオエレメンタリストリームのみ存在する期間である。この期間は、例えば、3D番組の本体期間の間に挿入されているCM期間であり、この1本のストリームは2次元画像データのストリームを構成している。さらに、それに続く、ビデオエレメンタリストリームES1,ES2の0015~016のアクセスユニットの期間は、2本のビデオエレメンタリストリームが存在する期間である。この期間は、例えば3D番組の本体期間であり、この2本のストリームは立体3D画像データのストリームを構成している。PMTにおけるビデオエレメンタリストリームの登録をアップデートする周期例えば、100msecは、ビデオのフレーム周期例えば、33.3msecに追従できない。トランスポートストリームを構成するエレメンタリストリームの動的変化をPMTによって知らせる方法では、エレメンタリストリームとPMTのトランスポートストリーム内の構成が非同期なため、受信機に対して正しい動作を約束させるものにはならない。また、既存の信号規格では、StreamType0x1BのMVCのベースビューのビデオエレメンタリストリームBaseviewsubbitstreamには、PMTの記述子として、MVCextensiondescriptorのデスクリプタを挿入することが必須とされている。このデスクリプタが存在すれば、ノンベースビューのビデオエレメンタリストリームNonBaseviewsubbitstreamの存在が分かる。しかし、StreamType0x1Bが指すElementaryPIDのビデオエレメンタリストリームは、上述のMVCのベースビューBaseviewのビデオエレメンタリストリームBaseviewsubbitstreamであるとは限らない。従来のAVCこの場合、多くはHighProfileのストリームである場合も考えられる。特に、既存の2D受信機との互換性を保証するために、立体3D画像データであるが、ベースビューのビデオエレメンタリストリームが、従来のAVC2Dのビデオエレメンタリストリームそのままであることが推奨される場合がある。この場合、立体画像データのストリームは、AVC2Dのビデオエレメンタリストリームと、ノンベースビューのビデオエレメンタリストリームNonBaseviewsubbitstreamとで構成される。その場合、StreamType0x1Bのビデオエレメンタリストリームには、MVCextensiondescriptorの記述子は関連付けされない。そのため、ベースビューのビデオエレメンタリストリームに相当するAVC2Dのビデオエレメンタリストリーム以外に、ノンベースビューのビデオエレメンタリストリームNonBaseviewsubbitstreamの存在が分からないことになる。また、上述したように、AVC2DストリームとMVCストリームとが、動的に切り替わる配信環境において、MVCに対応した受信機は、StreamType0x1Bのみのストリームか、StreamType0x1BとStreamType0x20の両方あるストリームかを判断して、受信モードの切換えを行うことが期待される。通常のAVC2Dのビデオエレメンタリストリームは、PMTProgramMapTableのStreamType0x1Bで送られる。また、MVCのベースビューBaseviewのビデオエレメンタリストリームBaseviewsubbitstreamは、PMTのStreamType0x1Bで送られる場合がある。その際、1つのトランスポートストリームTS:TranportStreamの中に、複数のビデオエレメンタリストリームを多重化することが可能である。そして、そのうちの幾つかのビデオエレメンタリストリームで、立体画像データのストリームが構成される場合がある。例えば、1つのトランスポートストリームに、以下のようなビデオストリームが多重されている場合を考える。PID0streamtype0x1BPID1streamtype0x1BPID2streamtype0x20PID0のビデオエレメンタリストリームは、これ自体は従来の2次元2D画像データのストリームそのものである。このビデオエレメンタリストリームが、PID2のノンベースビューのビデオエレメンタリストリームNonBaseviewsubbitstreamと共に、立体3D画像データのストリームを構成する。しかし、単に、streamtypeだけで3D構成要素としてのビデオストリームを関連付けできるわけではない。すなわち、streamtype0x1Bは、PID1のビデオエレメンタリストリームにも当てはまるからである。なお、AVC3DFrameCompatibleは、サイドバイサイド方式やトップアンドボトム方式等の立体3D画像データを示している。なお、上述では、ベースビューの画像データの符号化方式とノンベースビューの画像データの符号化方式がMPEG4-AVCである例を示した。しかし、ベースビューの画像データの符号化方式とノンベースビューの画像データの符号化方式がMPEG2video方式等の他の符号化方式である場合、さらには、ベースビューの画像データの符号化方式とノンベースビューの画像データの符号化方式が同一ではなく、異なる場合も考えられる。また、上述では、トランスポートストリームに含まれるエレメンタリストリームが立体3D画像データを構成しているか否かの判断が困難であること、さらには、トランスポートストリームに含まれるエレメンタリストリームのうち、立体3D画像データを構成するエレメンタリストリームがどれであるかの特定が困難であること等を説明した。詳細説明は省略するが、これらの不都合は、AVCストリームと上述のSVCストリームとを時分割的に送信する場合にも生じる。本技術の目的は、例えば、MVCあるいはSVC等に対応する受信機が、配信内容の動的な変化に的確に対応し、正しいストリーム受信を行い得るようにすることにある。本技術の概念は、第1の画像データを含む第1のエレメンタリストリームと上記第1の画像データに関連した所定数の第2の画像データおよび/またはメタデータをそれぞれ含む所定数の第2のエレメンタリストリームとを生成するエンコード部と、上記エンコード部で生成された上記各エレメンタリストリームをパケット化して得られた各パケットを有するトランスポートストリームを送信する送信部を備え、上記エンコード部は、少なくとも、上記第1のエレメンタリストリームに、上記各エレメンタリストリームの関連を示すストリーム関連付け情報を挿入する画像データ送信装置にある。本技術において、エンコード部により、第1の画像データを含む第1のエレメンタリストリームと、第1の画像データに関連した所定数の第2の画像データおよび/またはメタデータをそれぞれ含む所定数の第2のエレメンタリストリームとが生成される。そして、送信部により、エンコード部で生成された各エレメンタリストリームをパケット化して得られた各パケットを有するトランスポートストリームが送信される。この場合、所定数の第2の画像データのみが存在する状態、所定数のメタデータのみが存在する状態、さらには、第2の画像データおよびメタデータを合わせて所定数存在する状態などがある。例えば、第1のエレメンタリストリームに含まれる第1の画像データの符号化方式と、所定数の第2のエレメンタリストリームに含まれる第2の画像データの符号化方式として、任意の符号化方式の組み合わせが可能とされる。例えば、符号化方式がMPEG4-AVCのみである場合、符号化方式がMPEG2videoのみである場合、さらには、それらの符号化方式の組み合わせが考えられる。なお、符号化方式は、これらMPEG4-AVC、MPEG2videoに限定されない。例えば、第1の画像データは、立体3D画像データを構成するベースビューの画像データであり、第2の画像データは、立体画像3Dデータを構成するベースビュー以外のビューノンベースビューの画像データである。この場合、例えば、第1の画像データは、ステレオ立体画像を得るための左眼および右眼の一方の画像データであり、第2の画像データは、ステレオ立体画像を得るための左眼および右眼の他方の画像データである。また、例えば、メタデータは、立体画像データに対応した視差情報視差ベクトル、奥行きデータなどである。例えば、受信側においては、この視差情報を用い、受信画像データに補間処理ポスト処理を施して、所定数のビューの表示画像データを得ることが可能となる。また、例えば、第1の画像データは、スケーラブル符号化画像データを構成する最下位層の符号化画像データであり、第2の画像データは、スケーラブル符号化画像データを構成する最下位層以外の階層の符号化画像データである。例えば、ストリーム関連付け情報は、このストリーム関連付け情報が挿入されたエレメンタリストリームに含まれる画像データによるビューが、立体表示の際に、マルチビューイング中のいずれのビューとして表示されるべきかを示すポジション情報を含む、ようにされてもよい。エンコード部により、少なくとも、第1のエレメンタリストリームに、各エレメンタリストリームの関連を示すストリーム関連付け情報が挿入される。例えば、ストリーム関連付け情報は、各エレメンタリストリームを識別するための識別子を用いて、各エレメンタリストリームの関連を示すようにされる。例えば、トランスポートストリームに、各エレメンタリストリームの識別子と、各エレメンタリストリームのパケット識別子またはコンポーネントタグとの対応関係を示す記述子デスクリプタが挿入される。例えば、この記述子は、プログラムマップテーブルの配下に挿入される。なお、この対応関係が予め定義されていてもよい。これにより、各エレメンタリストリームのトランスポートストリームレイヤでの登録状態と、ストリーム関連付け情報との連携がとられる。このように、本技術においては、少なくとも、第1のエレメンタリストリームに、各エレメンタリストリームの関連を示すストリーム関連付け情報が挿入される。そのため、受信側では、このストリーム関連付け情報に基づいて、このトランスポートストリームに、第1のエレメンタリストリームと関連する第2のエレメンタリストリームが含まれるか否かを容易に判断できる。また、エレメンタリストリーム自体にストリーム関連付け情報が挿入されることから、受信側では、このストリーム関連付け情報に基づいて、エレメンタリストリームの構成変化、つまり、配信内容の動的な変化に的確に対応でき、正しいストリーム受信を行い得る。なお、本技術において、例えば、ストリーム関連付け情報は、各エレメンタリストリームの関連の変化が実際に起きる前に、この変化が起きることを知らせる前触れ情報を含む、ようにされてもよい。この前触れ情報に基づいて、受信側では、デコーダバッファからの読み出し制御を手際よく動的に変えることが可能となる。また、本技術において、例えば、エンコード部は、エレメンタリストリームに、ストリーム関連付け情報をピクチャ単位あるいはGOP単位で挿入する、ようにされてもよい。これにより、受信側では、エレメンタリストリームの構成、例えば、立体画像データのビュー数の変化、あるいはスケーラブル符号化画像データの階層数の変化等を、ピクチャ単位あるいはGOP単位で管理可能となる。また、本技術において、送信部は、トランスポートストリームに、エレメンタリストリームにストリーム関連付け情報が挿入されているか否か、あるいは、エレメンタリストリームに挿入されているストリーム関連付け情報に変更があるか否かを示す記述子を挿入する、ようにされてもよい。この記述子により、エレメンタリストリームに挿入されているストリーム関連付け情報の参照を促すことができ、受信側において安定した受信動作が可能となる。また、本技術において、例えば、ストリーム関連付け情報は、第1の画像データおよび第2の画像データの出力解像度の制御情報をさらに含む、ようにされてもよい。これにより、受信側においては、この制御情報に基づいて、第1の画像データおよび第2の画像データの出力解像度を所定解像度に調整することが可能となる。また、本技術において、例えば、ストリーム関連付け情報は、所定数の第2の画像データのそれぞれに対して表示必須とするか否かを指定する制御情報をさらに含む、ようにされてもよい。これにより、受信側においては、この制御情報に基づいて、所定数の第2の画像データのどれが表示必須であるかを知ることができ、ユーザによる画像表示態様の選択を制限可能となる。また、本技術の他の概念は、第1の画像データを含む第1のエレメンタリストリームと上記第1の画像データに関連した所定数の第2の画像データおよび/またはメタデータをそれぞれ含む所定数の第2のエレメンタリストリームとをパケット化して得られた各パケットを有するトランスポートストリームを受信する受信部を備え、上記第1のエレメンタリストリームには、上記各エレメンタリストリームの関連を示すストリーム関連付け情報が挿入されており、上記ストリーム関連付け情報に基づいて、上記受信部で受信された上記第1のエレメンタリストリームから上記第1の画像データを取得し、上記受信部で受信された上記所定数の第2のエレメンタリストリームから上記第1の画像データに関連した上記第2の画像データおよび/またはメタデータを取得するデータ取得部をさらに備える画像データ受信装置にある。本技術において、受信部により、トランスポートストリームが受信される。このトランスポートストリームは、第1の画像データを含む第1のエレメンタリストリームおよびこの第1の画像データに関連した所定数の第2の画像データおよび/またはメタデータをそれぞれ含む所定数の第2のエレメンタリストリームをパケット化して得られた各パケットを有している。この場合、第1のエレメンタリストリームには、各エレメンタリストリームの関連を示すストリーム関連付け情報を挿入されている。データ取得部により、受信部で受信されたトランスポートストリームから画像データおよび/またはメタデータが取得される。この場合、ストリーム関連付け情報に基づいて、第1のエレメンタリストリームから第1の画像データが取得され、さらに、所定数の第2のエレメンタリストリームから第2の画像データおよび/またはメタデータが取得される。本技術においては、トランスポートストリームに、各エレメンタリストリームの関連を示すストリーム関連付け情報が挿入されている。そのため、このストリーム関連付け情報に基づいて、このトランスポートストリームに、第1のエレメンタリストリームと関連する第2のエレメンタリストリームが含まれるか否かを容易に判断できる。また、エレメンタリストリーム自体にストリーム関連付け情報が挿入されていることから、このストリーム関連付け情報に基づいて、エレメンタリストリームの構成変化、つまり、配信内容の動的な変化に的確に対応でき、正しいストリーム受信を行い得る。なお、本技術において、例えば、データ取得部で取得された第1の画像データおよび第2の画像データの解像度を調整して出力する解像度調整部をさらに備え、ストリーム関連付け情報は、第1の画像データおよび第2の画像データの出力解像度の制御情報を含み、解像度調整部は、出力解像度の制御情報に基づいて、第1の画像データおよび第2の画像データの解像度を調整する、ようにされてもよい。この場合、第1の画像データおよび所定数の第2の画像データの解像度が異なる場合であっても、解像度調整部によりそれらの出力解像度を合わせることが可能となる。また、本技術において、例えば、データ取得部で取得された第1の画像データおよび第2の画像データに基づく画像表示態様を選択する画像表示態様選択部をさらに備え、ストリーム関連付け情報は、所定数の第2の画像データのそれぞれに対して表示必須とするか否かを指定する制御情報を含み、画像表示態様選択部は、この制御情報に基づいて画像表示態様の選択が制限される、ようにされてもよい。また、本技術において、例えば、データ取得部で取得されたメタデータは、立体画像データに対応した視差情報であり、この視差情報を用い、データ取得部で取得された第1の画像データおよび第2の画像データに補間処理を施して、所定数のビューの表示画像データを得るポスト処理部をさらに備える、ようにされてもよい。本技術によれば、受信側では、エレメンタリストリームの構成変化、つまり、配信内容の動的な変化に的確に対応でき、ストリーム受信を良好に行うことができる。以下、本技術を実施するための形態以下、実施の形態とするについて説明する。なお、説明は以下の順序で行う。1.実施の形態2.変形例<1.実施の形態>[画像送受信システム]図1は、実施の形態としての画像送受信システム10の構成例を示している。この画像送受信システム10は、放送局100および受信機200により構成されている。放送局100は、トランスポートストリームを、放送波にのせて送信する。トランスポートストリームは、番組を構成する画像データやメタデータを含んでいる。すなわち、このトランスポートストリームは、第1の画像データを含む第1のエレメンタリストリームと、この第1の画像データに関連した所定数の第2の画像データおよび/またはメタデータをそれぞれ含む所定数の第2のエレメンタリストリームをパケット化して得られた各パケットを有している。このパケットは、PESPacketizedElementaryStreamパケットである。この場合、所定数の第2の画像データのみが存在する状態、所定数のメタデータのみが存在する状態、さらには、第2の画像データおよびメタデータを合わせて所定数存在する状態などがある。なお、所定数には0が含まれる。その場合、第1の画像データに関連する第2の画像データやメタデータは存在せず、トランスポートストリームは、第1の画像データを含む第1のエレメンタリストリームをパケット化して得られたパケットのみを有することとなる。第1の画像データを含む第1のエレメンタリストリームのみが存在する場合、この第1の画像データは2次元2D画像データを構成する。一方、第1の画像データを含む第1のエレメンタリストリームの他に、第2の画像データを含む単数あるいは複数の第2のエレメンタリストリームが存在する場合、これら第1の画像データおよび所定数の第2の画像データは立体3D画像データを構成する。ここで、第1の画像データはベースビューの画像データであり、所定数の第2の画像データはノンベースビューの画像データを構成している。なお、ステレオ立体3D画像データの場合、立体画像データを構成するノンベースビューの画像データは単数である。すなわち、所定数は1である。この場合、ベースビューの画像データは左眼および右眼の一方の画像データであり、ノンベースビューの画像データは左眼および右眼の他方の画像データである。図2は、番組が複数本、例えば2本のビデオエレメンタリストリームにより構成される例を示している。図2aは、PMTのStreamType0x1Bで送られるMVCのベースビューのストリームと、PMTのStreamType0x20で送られるMVCのノンベースビューNonbaseviewのストリームから構成されている。また、図2bは、PMTのStreamType0x20で送られるMPEG2videoストリームと、PMTのStreamType0x1Bで送られるAVCストリームとから構成されている。さらに、図2cは、PMTのStreamType0x20で送られるMPEG2videoストリームが2本で構成されている。少なくとも、第1のエレメンタリストリームには、各エレメンタリストリームの関連を示すストリーム関連付け情報が挿入されている。このストリーム関連付け情報は、ピクチャ単位あるいは予測画像を含めた表示アクセス単位であるGOPGroupeofPicture単位で挿入されている。このストリーム関連付け情報の詳細説明は後述する。受信機200は、放送局100から放送波にのせて送られてくるトランスポートストリームを受信する。このトランスポートストリームは、上述したように、第1のエレメンタリストリームと所定数の第2のエレメンタリストリームをパケット化して得られた各パケットを有している。第1のエレメンタリストリームには、第1の画像データが含まれている。また、所定数の第2のエレメンタリストリームには、この第1の画像データに関連した所定数の第2の画像データおよび/またはメタデータがそれぞれ含まれている。少なくとも、第1のエレメンタリストリームには、各エレメンタリストリームの関連を示すストリーム関連付け情報が挿入されている。受信機200は、このストリーム関連付け情報に基づいて、第1のエレメンタリストリームから第1の画像データを取得し、所定数の第2のエレメンタリストリームから画像データやメタデータを取得する。送信データ生成部の構成例図3は、放送局100において、上述したトランスポートストリームを生成する送信データ生成部110の構成例を示している。この送信データ生成部110は、データ取り出し部アーカイブ部111と、ビデオエンコーダ112と、視差情報エンコーダ113と、オーディオエンコーダ114を有している。また、この送信データ生成部110は、グラフィクス発生部115と、グラフィクスエンコーダ116と、マルチプレクサ117を有している。データ取り出し部111には、データ記録媒体111aが、例えば、着脱自在に装着される。このデータ記録媒体111aには、送信すべき番組の画像データと共に、この画像データに対応した音声データが記録されている。例えば、画像データは、番組に応じて、立体3D画像データあるいは二次元2D画像データに切り替わる。また、例えば、画像データは、番組内においても、本編やコマーシャルなどの内容に応じて、立体画像データあるいは二次元画像データに切り替わる。立体画像データは、上述したように、ベースビューの画像データと、所定数のノンベースビューの画像データとからなっている。画像データが立体画像データである場合、データ記録媒体111aには、この立体画像データに対応して、視差情報も記録されている。この視差情報は、ベースビューと各ノンベースビューとの間の視差を示す視差ベクトル、あるいは奥行きデータ等である。奥行きデータは、所定の変換により視差ベクトルとして扱うことが可能となる。視差情報は、例えば、ピクセル画素毎の視差情報、あるいはビュー画像を所定数に分割して得られた各分割領域の視差情報などである。例えば、この視差情報は、受信側において、ベースビューおよび各ノンベースビューの画像にそれぞれ重畳する同一の重畳情報グラフィクス情報等の位置を調整して視差を付与するために用いられる。また、例えば、この視差情報は、受信側において、ベースビューおよび各ノンベースビューの画像データに補間処理ポスト処理を施して所定数のビューの表示画像データを得るために用いられる。データ記録媒体111aは、ディスク状記録媒体、半導体メモリ等である。データ取り出し部111は、データ記録媒体111aから、画像データ、音声データ、視差情報等を取り出して出力する。ビデオエンコーダ112は、データ取り出し部111から出力される画像データに対して、例えば、MPEG4-AVCMVC、MPEG2videoなどの符号化を施して符号化ビデオデータを得る。また、このビデオエンコーダ112は、後段に備えるストリームフォーマッタ図示せずにより、ビデオエレメンタリストリームを生成する。すなわち、このビデオエンコーダ112は、画像データが2次元画像データであるとき、この2次元画像データ第1の画像データを含むビデオエレメンタリストリームを生成する。また、このビデオエンコーダ112は、画像データが立体画像データであるとき、ベースビューの画像データ第1の画像データを含むビデオエレメンタリストリームおよび所定数のノンベースビューの画像データ第2の画像データを含むビデオエレメンタリストリームを生成する。また、このビデオエンコーダ112は、少なくとも、第1の画像データを含むビデオエレメンタリストリーム第1のエレメンタリストリームに、ストリーム関連付け情報を挿入する。このストリーム関連付け情報は、各エレメンタリストリームの関連を示す情報である。第2のエレメンタリストリームには、上述した第2の画像データおよび/またはメタデータが含まれる。ビデオエンコーダ112は、このストリーム関連付け情報を、ピクチャ単位あるいは予測画像を含めた表示アクセス単位であるGOP単位で挿入する。オーディオエンコーダ114は、データ取り出し部111から出力される音声データに対して、MPEG2AudioAAC等の符号化を施し、オーディオのエレメンタリストリームを生成する。視差情報エンコーダ113は、データ取り出し部111から出力される視差情報に対して所定の符号化を施し、視差情報のエレメンタリストリームを生成する。なお、視差情報が、上述したようにピクセル画素毎の視差情報である場合、この視差情報を画素データのように取り扱うことができる。この場合、視差情報エンコーダ113は、視差情報に対して、上述した画像データと同様の符号化方式で符号化を施し、視差情報エレメンタリストリームを生成できる。なお、この場合、データ取り出し部111から出力される視差情報の符号化をビデオエンコーダ112で行う構成も考えられ、その場合には、視差情報エンコーダ113は不要となる。グラフィクス発生部115は、画像に重畳するグラフィクス情報サブタイトル情報も含むのデータグラフィクスデータを発生する。グラフィクスエンコーダ116は、グラフィクス発生部115で発生されたグラフィクスデータを含むグラフィクスエレメンタリストリームを生成する。ここで、グラフィクス情報は、重畳情報を構成している。グラフィクス情報は、例えば、ロゴなどである。サブタイトル情報は、例えば、字幕である。このグラフィクスデータは、ビットマップデータである。このグラフィクスデータには、画像上の重畳位置を示すアイドリングオフセット情報が付加されている。このアイドリングオフセット情報は、例えば、画像の左上の原点から、グラフィクス情報の重畳位置の左上の画素までの垂直方向、水平方向のオフセット値を示す。なお、字幕データをビットマップデータとして伝送する規格は、ヨーロッパのデジタル放送規格であるDVBでDVBSubtitlingとして規格化され、運用されている。マルチプレクサ117は、ビデオエンコーダ112、視差情報エンコーダ113、オーディオエンコーダ114およびグラフィクスエンコーダ116で生成された各エレメンタリストリームをパケット化して多重し、トランスポートストリームTSを生成する。図3に示す送信データ生成部110の動作を簡単に説明する。データ取り出し部111から出力される画像データ立体画像データあるいは2次元画像データは、ビデオエンコーダ112に供給される。このビデオエンコーダ112では、その画像データに対して、例えばMPEG4-AVCMVC、MPEG2videoなどの符号化が施され、符号化ビデオデータを含むビデオエレメンタリストリームが生成され、マルチプレクサ117に供給される。すなわち、このビデオエンコーダ112では、画像データが2次元画像データであるとき、この2次元画像データ第1の画像データを含むビデオエレメンタリストリームが生成される。また、このビデオエンコーダ112では、画像データが立体3D画像データであるとき、ベースビューの画像データ第1の画像データを含むビデオエレメンタリストリームおよび所定数のノンベースビューの画像データ第2の画像データを含むビデオエレメンタリストリームが生成される。なお、このビデオエンコーダ112では、ピクチャ単位あるいは予測画像を含めた表示アクセス単位であるGOP単位で、少なくとも、第1の画像データを含むビデオエレメンタリストリーム第1のビデオエレメンタリストリームに、ストリーム関連付け情報が挿入される。これにより、第1の画像データが含まれる第1のエレメンタリストリームに対して、第2の画像データが含まれる第2のエレメンタリストリームの有無などを示す情報が受信側に送信されることになる。また、データ取り出し部111から立体画像データが出力されるとき、このデータ取り出し部111からその立体画像データに対応した視差情報も出力される。この視差情報は、視差情報エンコーダ113に供給される。視差情報エンコーダ113では、視差情報に対して所定の符号化が施され、符号化データを含む視差情報エレメンタリストリームが生成される。この視差情報エレメンタリストリームはマルチプレクサ117に供給される。また、データ取り出し部111から画像データが出力されるとき、このデータ取り出し部111からその画像データに対応した音声データも出力される。この音声データは、オーディオエンコーダ114に供給される。このオーディオエンコーダ114では、音声データに対して、MPEG2AudioAAC等の符号化が施され、符号化オーディオデータを含むオーディオエレメンタリストリームが生成される。このオーディオエレメンタリストリームはマルチプレクサ117に供給される。また、データ取り出し部111から出力される画像データに対応してグラフィクス発生部115では、画像ビューに重畳するグラフィクス情報サブタイトル情報を含むのデータグラフィクスデータが発生される。このグラフィクスデータは、グラフィクスエンコーダ116に供給される。グラフィクスエンコーダ116では、このグラフィクスデータに対して所定の符号化が施され、符号化データを含むグラフィクスエレメンタリストリームが生成される。このグラフィクスエレメンタリストリームはマルチプレクサ117に供給される。マルチプレクサ117では、各エンコーダから供給されるエレメンタリストリームがパケット化されて多重され、トランスポートストリームTSが生成される。このトランスポートストリームTSは、データ取り出し部111から立体3D画像データが出力される期間は、ベースビューのビデオエレメンタリストリームと、所定数のノンベースビューのビデオエレメンタリストリームとを有するものとなる。また、このトランスポートストリームTSは、データ取り出し部111から二次元2D画像データが出力される期間は、この二次元画像データを含むビデオエレメンタリストリームを有するものとなる。図4は、ビデオエレメンタリストリーム、オーディオエレメンタリストリーム等を含む一般的なトランスポートストリームの構成例を示している。トランスポートストリームには、各エレメンタリストリームをパケット化して得られたPESパケットが含まれている。この構成例では、2つのビデオエレメンタリストリームのPESパケットVideoPES1、VideoPES2が含まれている。また、この構成例では、グラフィクスエレメンタリストリームのPESパケットGraphicsPESおよびプライベートエレメンタリストリームのPESパケットDisparityDataPESが含まれている。さらに、この構成例では、オーディオエレメンタリストリームのPESパケットAudioPESが含まれている。また、トランスポートストリームには、PSIProgramSpecificInformationとして、ProgramMapTableが含まれている。このPSIは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。また、トランスポートストリームには、イベント単位の管理を行うSIServicedInformationとしてのEITが含まれている。PMTには、プログラム全体に関連する情報を記述するプログラムデスクリプタProgramDescriptorが存在する。また、このPMTには、各エレメンタリストリームに関連した情報を持つエレメンタリループが存在する。この構成例では、ビデオエレメンタリループ、グラフィクスエレメンタリループ、プライベートエレメンタリループおよびオーディオエレメンタリループが存在する。各エレメンタリループには、ストリーム毎に、パケット識別子PID、ストリームタイプStreamType等の情報が配置されると共に、図示していないが、そのエレメンタリストリームに関連する情報を記述するデスクリプタも配置される。[ストリーム関連付け情報]上述したように、ビデオエンコーダ112は、少なくとも、第1の画像データを含むビデオエレメンタリストリーム第1のエレメンタリストリームに、ストリーム関連付け情報を、ピクチャ単位あるいはGOP単位で挿入する。このストリーム関連付け情報は、各エレメンタリストリームの関連を示す情報である。このストリーム関連付け情報は、各エレメンタリストリームを識別するための識別子を用いて、各エレメンタリストリームの関連を示すものとされる。この場合、各エレメンタリストリームのトランスポートストリームレイヤでの登録状態と、ストリーム関連付け情報との連携をとる必要がある。例えば、各エレメンタリストリームの識別子と、各エレメンタリストリームのパケット識別子またはコンポーネントタグとの対応関係を予め定義することが考えられる。この実施の形態において、マルチプレクサ117は、トランスポートストリームに、各エレメンタリストリームの識別子と、各エレメンタリストリームのパケット識別子またはコンポーネントタグとの対応関係を示す記述子、つまりESIDデスクリプタを挿入する。マルチプレクサ117は、このESIDデスクリプタを、例えば、PMTの配下に挿入する。また、この実施の形態において、マルチプレクサ117は、トランスポートストリームに、ストリーム関連付け情報の存在などを示す記述子、つまりESassociationデスクリプタを挿入する。この記述子は、エレメンタリストリームに上述のストリーム関連付け情報が挿入されているか否か、あるいは、エレメンタリストリームに挿入されている上述のストリーム関連付け情報に変更があるか否かを示す。マルチプレクサ117は、このESassociationデスクリプタを、PMTの配下、あるいはEITの配下に挿入する。図5は、第1のエレメンタリストリームにストリーム関連付け情報を挿入し、さらに、トランスポートストリームに、ESIDデスクリプタおよびESassociationデスクリプタを挿入する場合におけるトランスポートストリームの構成例を示している。この構成例では、トランスポートストリームに、ベースビューのビデオエレメンタリストリームStreamTypevideo1のPESパケットVideoPES1が含まれている。また、この構成例では、トランスポートストリームに、ノンベースビューのビデオエレメンタリストリームStreamTypevideo2のPESパケットVideoPES2が含まれている。なお、この構成例では、図面の簡単化のために、その他のPESパケットに関しては、図示を省略している。この構成例では、ビデオエレメンタリループに、各エレメンタリストリームの識別子ESIDと、各エレメンタリストリームのパケット識別子PIDまたはコンポーネントタグとの対応関係を示すESIDデスクリプタが挿入されている。図6は、ESIDデスクリプタの構造例Syntaxを示している。descriptortagは、デスクリプタタイプを示す8ビットのデータであり、ここでは、ESIDデスクリプタであることを示す。descriptorlengthは、デスクリプタの長さサイズを示す8ビットのデータである。このデータは、デスクリプタの長さとして、descriptorlength以降のバイト数を示す。streamcountforassociationは、ストリームの本数を示す4ビットのデータである。このストリームの本数分だけ、forループを繰り返す。streamAssociationIDの4ビットフィールドは、各エレメンタリストリームの識別子ESIDを示す。また、AssociatedstreamElementaryPIDの13ビットフィールドは、各エレメンタリストリームのパケット識別子PIDを示す。なお、各エレメンタリストリームの識別子と、各エレメンタリストリームのコンポーネントタグとの対応関係を示す場合には、AssociatedstreamElementaryPIDの代わりに、Componenttagが配されることとなる。図7aは、ESassociationデスクリプタの構造例Syntaxを示している。descriptortagは、デスクリプタタイプを示す8ビットのデータであり、ここでは、ESassociationデスクリプタであることを示す。descriptorlengthは、デスクリプタの長さサイズを示す8ビットのデータである。このデータは、デスクリプタの長さとして、descriptorlength以降のバイト数を示す。existenceofstreamassociationinfoの1ビットフィールドは、図7bに示すように、エレメンタリストリームに、ストリーム関連付け情報が存在するかなどを示すフラグである。1はエレメンタリストリーム内にストリーム関連付け情報が存在することを示し、0は、エレメンタリストリーム内にストリーム関連付け情報が存在しないことを示す。あるいは、1はエレメンタリストリーム内に挿入されているストリーム関連付け情報に変更があることを示し、0はエレメンタリストリーム内に挿入されているストリーム関連付け情報に変更がないことを示す。図8は、エレメンタリストリームに挿入されているストリーム関連付け情報と、トランスポートストリームに挿入されているESassociationデスクリプタとの関係の一例を示している。ストリーム関連付け情報がエレメンタリストリームに存在するので、受信側においてその参照を促すように、トランスポートストリームの例えばPMTの配下にESassociationデスクリプタを挿入して伝送する。受信側のデコーダは、ESassociationデスクリプタを参照し、次のGOPから各エレメンタリストリームの関連付け構成が変わることを事前に検知できるので、安定した受信動作が可能となる。なお、番組単位に固定的に配置する際には、ESassociationデスクリプタは、EIT配下に置かれる。また、図4の構成例では、ベースビューのエレメンタリストリームに、このベースビューのエレメンタリストリームと、ノンベースビューのビデオエレメンタリストリームとの関連を示すストリーム関連付け情報が挿入される。このストリーム関連付け情報は、ユーザデータ領域を利用して、ピクチャ単位あるいはGOP単位で挿入される。例えば、符号化方式がMPEG4-AVCである場合、ストリーム関連付け情報は、アクセスユニットのSELsの部分に、StreamAssociationInformationSEImessageとして、挿入される。図9aは、GOPGroupOfPicturesの先頭のアクセスユニットを示しており、図9bは、GOPの先頭以外のアクセスユニットを示している。ストリーム関連付け情報がGOP単位で挿入される場合、GOPの先頭のアクセスユニットにのみStreamAssociationInformationSEImessageが挿入される。図10aは、StreamAssociationInformationSEImessageの構造例を示している。uuidisoiec11578は、ISOIEC115781996AnnexAで示されるUUID値をもつ。userdatapayloadbyteのフィールドに、userdataforstreamassociationが挿入される。図10bは、userdataforstreamassociationの構造例を示しており、この中に、ストリーム関連付け情報としてのstreamassociationが挿入される。streamassociationidは、符号なし16ビットで示されるストリーム関連付け情報の識別子である。また、例えば、符号化方式がMPEG2videoである場合、ストリーム関連付け情報は、ピクチャヘッダ部のユーザデータ領域に、ユーザデータuserdataとして挿入される。図11は、userdataの構造例を示している。userdatastartcodeの32ビットフィールドは、ユーザデータuserdataの開始コードであり、0x000001B2の固定値とされる。この開始コードに続く16ビットフィールドは、ユーザデータの内容を識別する識別子である。ここでは、StreamAssociationidentifierとされ、ユーザデータが、ストリーム関連付け情報であることを識別可能とする。この識別子の後のデータ本体として、ストリーム関連付け情報としてのstreamassociationが挿入される。図12は、ストリーム関連付け情報streamassociationの構造例Syntaxを示している。図13は、図12に示す構造例における各情報の内容Semanticsを示している。streamassociationlengthの8ビットフィールドは、このフィールド以後の全体のバイトサイズを示す。streamcountforassociationの4ビットフィールドは、関連付けされるエレメンタリストリームの数を示し、0~15の値をとる。selfESidの4ビットフィールドは、本ストリーム関連付け情報が配置されるエレメンタリストリーム本エレメンタリストリーム自身の関連付け識別子を示す。例えば、基本となるエレメンタリストリーム第1の画像データを含む第1のエレメンタリストリームの識別子を0とする。indicationofselectedstreamdisplayの1ビットフィールドは、本エレメンタリストリーム以外にデコーダ出力を表示させる、表示必須のエレメンタリストリームが存在するか否かを指示するフラグである。1は、本エレメンタリストリーム以外に表示必須のエレメンタリストリームがあることを示す。0は、本エレメンタリストリーム以外に表示必須のエレメンタリストリームがないことを示す。1の場合、後述のdisplaymandatoryflagでセットされたノンベースビューのエレメンタリストリームは、ベースビューのビデオエレメンタリストリームと共に表示必須となる。indicationofotherresolutionmasterの1ビットフィールドは、本エレメンタリストリームではなく、他のエレメンタリストリームが解像度あるいはサンプリング周波数の表示基準であるか否かを示すフラグである。1は、他のエレメンタリストリームが表示基準になることを示す。0は、本エレメンタリストリームが表示基準になることを示す。terminatingcurrentassociationflagの1ビットフィールドは、エレメンタリストリームの構成が次のアクセスユニットAU:AccessUnitから変更になるかを示す。1は、次のアクセスユニットからエレメンタリストリームの構成が変更になることを示す。0は、次のアクセスユニットも現在のアクセスユニットとエレメンタリストリームの構成が同じであることを示す。このフラグ情報は、前触れ情報を構成している。displaypositionの4ビットフィールドは、本エレメンタリストリームに含まれる画像データによるビューが、立体3D表示の際に、マルチビューイングの中のいずれのビューとして表示されるべきかを示し、0~15の値をとる。例えば、図14に示すように、トランスポートストリームが、PMTのStreamType0x1Bで送られるMVCのベースビューのストリームと、PMTのStreamType0x20で送られるMVCのノンベースビューNonbaseviewのストリームを有する場合の例を考える。この場合、ベースビューストリーム内のストリーム関連付け情報ではdisplayposition=0であり、ノンベースビューストリーム内のストリーム関連付け情報ではdisplayposition=15であるとする。図15は、その場合における、受信側における立体3D表示の際のビュー表示例を示している。すなわち、ベースビューストリームに含まれる画像データによるビューは表示ポジション0のビューとして表示される。また、ノンベースビューストリームに含まれる画像データによるビューは表示ポジション15のビューとして表示される。図12に戻って、associatedESidの4ビットフィールドは、本エレメンタリストリームと関連するエレメンタリストリームの識別子関連付け識別子を示し、0~15の値をとる。displaymandatoryflagの1ビットフィールドは、associatedESidのエレメンタリストリームが表示必須であるか否かを示す。1は、該当エレメンタリストリームは表示必須であることを示す。0は、該当エレメンタリストリームは表示必須でないことを示す。resolutionmasterflagの1ビットフィールドは、associatedESidのエレメンタリストリームが解像度あるいはサンプリング周波数の表示基準であるか否かを示す。1は、該当エレメンタリストリームは表示基準であることを示す。0は、該当エレメンタリストリームは表示基準でないことを示す。図16は、indicationofselectedstreamdisplayの挿入例を示している。この例は、ベースビューのエレメンタリストリームは左眼L画像データを含み、右眼R画像データおよび中央C画像データをそれぞれ含む2つのノンベースビューのエレメンタリストリームが存在する例である。なお、この図16においては、indicationofselectedstreamdisplayをindicationdisplayに、displaymandatoryflagをmandatoryflagに、略記している。ベースビューの他に2つのノンベースビューのエレメンタリストリームを表示必須とする場合を考える。この場合、indicationofselectedstreamdisplay=1とされ、さらに、2つのノンベースビューのエレメンタリストリームについてdisplaymandatoryflag=1とされる。この設定により、受信機における表示必須は、左眼L、右眼Rおよび中央Cの画像となる。また、ベースビューの他に右眼R画像データを含むノンベースビューのエレメンタリストリームを表示必須とする場合を考える。この場合、indicationofselectedstreamdisplay=1とされ、さらに、右眼R画像データを含むノンベースビューのエレメンタリストリームについてのみdisplaymandatoryflag=1とされる。この設定により、受信機における表示必須は、左眼Lおよび右眼Rの画像となる。また、ベースビューのエレメンタリストリームのみを表示必須とする場合を考える。この場合、indicationofselectedstreamdisplay=0とされる。この設定により、受信機における表示必須は、左眼Lの画像のみとなる。受信機の構成例図17は、受信機200の構成例を示している。この受信機200は、CPU201と、フラッシュROM202と、DRAM203と、内部バス204と、リモコン受信部205と、リモコン送信機206を有している。また、この受信機200は、アンテナ端子211と、デジタルチューナ212と、トランスポートストリームバッファTSバッファ213と、デマルチプレクサ214を有している。また、受信機200は、ビデオデコーダ215と、ビューバッファ216,2161~216Nと、スケーラ224,2241~224Nと、ビデオ重畳部217,2171~217Nを有している。さらに、受信機200は、グラフィクスデコーダ218と、グラフィクス発生部219と、視差情報デコーダ220と、グラフィクスバッファ221,2211~221Nと、オーディオデコーダ222と、チャネル処理部223を有している。CPU201は、受信機200の各部の動作を制御する。フラッシュROM202は、制御ソフトウェアの格納およびデータの保管を行う。DRAM203は、CPU201のワークエリアを構成する。CPU201は、フラッシュROM202から読み出したソフトウェアやデータをDRAM203上に展開してソフトウェアを起動させ、受信機200の各部を制御する。リモコン受信部205は、リモコン送信機206から送信されたリモーコントロール信号リモコンコードを受信し、CPU201に供給する。CPU201は、このリモコンコードに基づいて、受信機200の各部を制御する。CPU201、フラッシュROM202およびDRAM203は内部バス204に接続されている。アンテナ端子211は、受信アンテナ図示せずで受信されたテレビ放送信号を入力する端子である。デジタルチューナ212は、アンテナ端子211に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応した所定のトランスポートストリームビットストリームデータTSを出力する。トランスポートストリームバッファTSバッファ213は、デジタルチューナ212から出力されたトランスポートストリームTSを一時的に蓄積する。このトランスポートストリームTSは、上述したように、ビデオ、視差情報、グラフィクス、オーディオなどのエレメンタリストリームをパケット化して得られた各パケットを有している。そして、この場合、このトランスポートストリームTSは、第1の画像データを含む第1のエレメンタリストリームを有している。また、このトランスポートストリームTSは、この第1の画像データに関連した所定数の第2の画像データおよび/またはメタデータをそれぞれ含む所定数の第2のエレメンタリストリームを有している。ここで、第1の画像データを含む第1のエレメンタリストリームのみが存在する場合、この第1の画像データは2次元2D画像データを構成する。一方、第1の画像データを含む第1のエレメンタリストリームの他に、第2の画像データを含む単数あるいは複数の第2のエレメンタリストリームが存在する場合、これら第1の画像データおよび所定数の第2の画像データは立体3D画像データを構成する。ここで、第1の画像データはベースビューの画像データを構成し、所定数の第2の画像データはノンベースビューの画像データを構成している。上述したように、トランスポートストリームTSのビデオエレメンタリストリーム、少なくとも第1の画像データを含む第1のエレメンタリストリームには、ピクチャ単位あるいはGOP単位で、ユーザデータ領域を利用して、ストリーム関連付け情報図12参照が挿入されている。また、上述したように、トランスポートストリームTSには、例えばPMTの配下に、ESIDデスクリプタ図6参照が挿入されている。このESIDデスクリプタは、各エレメンタリストリームの識別子と、各エレメンタリストリームのパケット識別子またはコンポーネントタグとの対応関係を示すものである。ストリーム関連付け情報は、各エレメンタリストリームを識別するための識別子を用いて各エレメンタリストリームの関連を示す。従って、ESIDデスクリプタにより、各エレメンタリストリームのトランスポートストリームレイヤでの登録状態と、ストリーム関連付け情報との連携がとられる。また、上述したように、トランスポートストリームTSには、例えばPMTあるいはEITの配下に、ESassociationデスクリプタ図7a参照が挿入されている。このESassociationデスクリプタは、エレメンタリストリームにストリーム関連付け情報が挿入されているか否か、あるいは、エレメンタリストリームに挿入されているストリーム関連付け情報に変更があるか否かを示すものである。従って、このESassociationデスクリプタにより、ストリーム関連付け情報の参照が促される。デマルチプレクサ214は、TSバッファ213に一時的に蓄積されたトランスポートストリームTSから、ビデオ、視差情報、グラフィクスおよびオーディオの各エレメンタリストリームを抽出する。視差情報エレメンタリストリームは、トランスポートストリームTSに立体3D画像データのビデオエレメンタリストリームが含まれている場合のみ抽出される。また、デマルチプレクサ214は、トランスポートストリームTSに含まれるESIDデスクリプタおよびESassociationデスクリプタを抽出し、CPU201に供給する。CPU201は、ESIDデスクリプタにより、各エレメンタリストリームの識別子と、各エレメンタリストリームのパケット識別子またはコンポーネントタグとの対応関係を認識する。また、CPU201は、ESassociationデスクリプタにより、ビデオエレメンタリストリーム、例えば第1の画像データを含むビデオエレメンタリストリームにストリーム関連付け情報が挿入されているか否か、あるいは、その情報に変更があるか否かを認識する。ビデオデコーダ215は、上述の送信データ生成部110のビデオエンコーダ112とは逆の処理を行う。すなわち、このビデオデコーダ215は、デマルチプレクサ214で抽出された各ビデオエレメンタリストリームに含まれる符号化画像データに対して復号化処理を行って復号化された画像データを得る。ここで、第1の画像データを含む第1のエレメンタリストリームのみが存在する場合、ビデオデコーダ215は、この第1の画像データを2次元2D画像データとして得る。また、第1の画像データを含む第1のエレメンタリストリームの他に、第2の画像データを含む単数あるいは複数の第2のエレメンタリストリームが存在する場合、ビデオデコーダ215は、立体3D画像データを得る。すなわち、第1の画像データをベースビューの画像データとして得ると共に、所定数の第2の画像データをノンベースビューの画像データとして得る。また、ビデオデコーダ215は、ビデオエレメンタリストリーム、例えば第1の画像データを含む第1のエレメンタリストリームからストリーム関連付け情報を抽出し、CPU201に供給する。ビデオデコーダ215は、この抽出処理を、CPU201の制御のもと行う。CPU201は、上述したように、ESassociationデスクリプタにより、ストリーム関連付け情報が存在するか否か、あるいは、その情報に変更があるか否かを認識できることから、必要に応じて、ビデオデコーダ215に抽出処理を行わせることができる。CPU201は、ビデオデコーダ215で抽出されるストリーム関連付け情報により、第1の画像データを含む第1のエレメンタリストリームに関連する所定数の第2のエレメンタリストリームの存在を認識できる。CPU201は、この認識に基づいて、第1のエレメンタリストリームと共に、この第1のエレメンタリストリームに関連する所定数の第2のエレメンタリストリームが抽出されるように、デマルチプレクサ214を制御する。ビューバッファビデオバッファ216は、CPU201の制御により、ビデオデコーダ215で取得される第1の画像データを一時的に蓄積する。この第1の画像データは、二次元画像データ、あるいは立体画像データを構成するベースビューの画像データである。また、ビューバッファビデオバッファ2161~216Nは、CPU201の制御により、ビデオデコーダ215で取得される立体画像データを構成するN個のノンベースビューの画像データをそれぞれ一時的に蓄積する。CPU201は、ビューバッファ216,2161~216Nの読み出し制御を行う。CPU201は、ストリーム関連付け情報に含まれるterminatingcurrentassociationflagのフラグにより、エレメンタリストリームの構成が次のアクセスユニットピクチャから変更されるか否かを予め知ることができる。そのため、これらビューバッファ216,2161~216Nからの読み出し制御を手際よく動的に変えることが可能となる。スケーラ224,2241~224Nは、CPU201の制御のもと、ビューバッファ216,2161~216Nから出力される各ビューの画像データの出力解像度が、所定の解像度となるように調整する。スケーラ224,2241~224Nは、解像度調整部を構成している。ビデオ重畳部217,2171~217Nには、解像度調整された各ビューの画像データが送られる。この場合、CPU201は、ビデオデコーダ215から、各ビューの画像データの解像度情報を取得する。CPU201は、各ビューの画像データの出力解像度が目標解像度となるように、各ビューの解像度情報に基づいて、スケーラ224,2241~224Nのフィルタ設定を実行する。スケーラ224,2241~224Nでは、入力画像データの解像度が目標解像度と異なるとき、補間処理により解像度変換が行われて、目標解像度の出力画像データが得られる。CPU201は、ストリーム関連付け情報に含まれるindicationofotherresolutionmasterおよびresolutionmasterflagのフラグに基づいて、目標解像度の設定を行う。すなわち、これららフラグで解像度基準とされているエレメンタリストリームに含まれる画像データの解像度を目標解像度に設定する。グラフィクスデコーダ218は、上述の送信データ生成部110のグラフィクスエンコーダ116とは逆の処理を行う。すなわち、グラフィクスデコーダ218は、デマルチプレクサ214で抽出されたグラフィクスエレメンタリストリームに含まれる符号化グラフィクスデータに対して復号化処理を行って復号化されたグラフィクスデータサブタイトルデータを含むを得る。視差情報デコーダ220は、上述の送信データ生成部110の視差情報エンコーダ113とは逆の処理を行う。すなわち、視差情報デコーダ220は、デマルチプレクサ214で抽出された視差情報エレメンタリストリームに含まれる符号化視差情報に対して復号化処理を行って復号化された視差情報を得る。この視差情報は、ベースビューと各ノンベースビューとの間の視差を示す視差ベクトル、あるいは奥行きデータ等である。奥行きデータは、所定の変換により視差ベクトルとして扱うことが可能となる。視差情報は、例えば、ピクセル画素毎の視差情報、あるいはビュー画像を所定数に分割して得られた各分割領域の視差情報である。グラフィクス発生部219は、CPU201の制御により、グラフィクスデコーダ218で得られたグラフィクスデータに基づいて、画像に重畳するグラフィクス情報のデータを発生する。グラフィクス発生部219は、ビデオデコーダ215から二次元画像データ第1の画像データのみが出力されるときは、この2次元画像データに重畳するグラフィクス情報のデータを発生する。また、グラフィクス発生部219は、ビデオデコーダ215から立体3D画像データを構成する各ビューの画像データが出力されるときは、各ビューの画像データに重畳するグラフィクス情報のデータを発生する。グラフィクスバッファ221は、CPU201の制御により、グラフィクス発生部219で発生される、第1の画像データに重畳すべきグラフィクス情報のデータを蓄積する。この第1の画像データは、二次元画像データ、あるいは立体画像データを構成するベースビューの画像データである。また、グラフィクスバッファ2211~221Nは、グラフィクス発生部219で発生される、N個のノンベースビューの画像データに重畳すべきグラフィクス情報のデータを蓄積する。ビデオ重畳部ディスプレイバッファ217は、CPU201の制御により、グラフィクス情報が重畳された第1の画像データを出力する。この第1の画像データは、二次元画像データSV、あるいは立体画像データを構成するベースビューの画像データBNである。このとき、ビデオ重畳部217は、スケーラ224で解像度調整された第1の画像データに、グラフィクスバッファ221に蓄積されたグラフィクス情報のデータを重畳する。また、ビデオ重畳部ディスプレイバッファ2171~217Nは、CPU201の制御により、グラフィクス情報が重畳されたN個のノンベースビューの画像データNB1~NBNを出力する。このとき、ビデオ重畳部2171~217Nは、スケーラ2241~224Nで解像度調整されたベースビューの画像データに、それぞれグラフィクスバッファ2211~221Nに蓄積されたグラフィクス情報のデータを重畳する。なお、ビデオデコーダ215から立体3D画像データを構成する各ビューの画像データが出力されるとき、基本的には、上述したように、ビデオ重畳部217,2171~217Nからそれらの画像データが出力される。しかし、ユーザの選択操作に応じて、CPU201は、ノンベースビューの画像データの出力を制御する。ただし、CPU201は、表示必須とされているノンベースビューの画像データに関しては、ユーザの選択操作に拘わらず、必ず出力されるように制御する。CPU201は、ストリーム関連付け情報に含まれるindicationofselectedstreamdisplayおよびdisplaymandatoryflagのフラグに基づいて、表示必須とされているノンベースビューの画像データを認識できる。例えば、左眼画像データを含むベースビューのビデオエレメンタリストリームに対して、右眼画像データを含むノンベースビューのビデオエレメンタリストリームが関連付けられている場合を考える。この場合、indicationofselectedstreamdisplayが1で、ノンベースビューのdisplaymandatoryflagが1であるときは、ユーザの選択操作に拘わらず、左眼画像データおよび右眼画像データの双方を表示画像データとして出力させる。一方、indicationofselectedstreamdisplayが0であるときは、ユーザの選択操作に応じて、左眼画像データのみ、あるいは左眼画像データおよび右眼画像データの双方を、表示画像データとして出力させる。オーディオデコーダ222は、上述の送信データ生成部110のオーディオエンコーダ114とは逆の処理を行う。すなわち、このオーディオデコーダ222は、デマルチプレクサ214で抽出されたオーディオエレメンタリストリームに含まれる符号化音声データに対して復号化処理を行って復号化された音声データを得る。チャネル処理部223は、オーディオデコーダ222で得られる音声データに対して、例えば5.1chサラウンド等を実現するための各チャネルの音声データSAを生成して出力する。受信機200の動作を簡単に説明する。アンテナ端子211に入力されたテレビ放送信号はデジタルチューナ212に供給される。このデジタルチューナ212では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応した所定のトランスポートストリームTSが出力される。このトランスポートストリームTSは、TSバッファ213に一時的に蓄積される。デマルチプレクサ214では、TSバッファ213に一時的に蓄積されたトランスポートストリームTSから、ビデオ、視差情報、グラフィクスおよびオーディオの各エレメンタリストリームが抽出される。視差情報エレメンタリストリームは、トランスポートストリームTSに立体3D画像データのビデオエレメンタリストリームが含まれている場合のみ抽出される。また、デマルチプレクサ214では、トランスポートストリームTSに含まれるESIDデスクリプタおよびESassociationデスクリプタが抽出され、CPU201に供給される。CPU201では、ESIDデスクリプタにより、各エレメンタリストリームの識別子と、各エレメンタリストリームのパケット識別子またはコンポーネントタグとの対応関係が認識される。また、CPU201では、ESassociationデスクリプタにより、ビデオエレメンタリストリーム、例えば第1の画像データを含むビデオエレメンタリストリームにストリーム関連付け情報が挿入されているか否か、あるいは、その情報に変更があるか否かが認識される。ビデオデコーダ215では、デマルチプレクサ214で抽出された各ビデオエレメンタリストリームに含まれる符号化画像データに対して復号化処理が行われ、復号化された画像データが得られる。ここで、第1の画像データを含む第1のエレメンタリストリームのみが存在する場合、ビデオデコーダ215では、この第1の画像データが2次元2D画像データとして得られる。また、第1の画像データを含む第1のエレメンタリストリームの他に、第2の画像データを含む単数あるいは複数の第2のエレメンタリストリームが存在する場合、ビデオデコーダ215では、立体3D画像データが得られる。すなわち、第1の画像データがベースビューの画像データとして得られると共に、所定数の第2の画像データがノンベースビューの画像データとして得られる。また、ビデオデコーダ215では、ビデオエレメンタリストリーム、例えば第1の画像データを含む第1のエレメンタリストリームからストリーム関連付け情報が抽出され、CPU201に供給される。ビデオデコーダ215では、この抽出処理が、CPU201の制御のもと行われる。CPU201は、上述したように、ESassociationデスクリプタにより、ストリーム関連付け情報が存在するか否か、あるいは、その情報に変更があるか否かを認識できることから、必要に応じて、ビデオデコーダ215に抽出処理を行わせることができる。CPU201では、ビデオデコーダ215で抽出されるストリーム関連付け情報により、第1の画像データを含む第1のエレメンタリストリームに関連する所定数の第2のエレメンタリストリームの存在が認識される。CPU201では、この認識に基づいて、第1のエレメンタリストリームと共に、この第1のエレメンタリストリームに関連する所定数の第2のエレメンタリストリームが抽出されるように、デマルチプレクサ214の制御が行われる。ビューバッファビデオバッファ216では、CPU201の制御により、ビデオデコーダ215で取得される第1の画像データが一時的に蓄積される。この第1の画像データは、二次元画像データ、あるいは立体画像データを構成するベースビューの画像データである。また、ビューバッファビデオバッファ2161~216Nでは、CPU201の制御により、ビデオデコーダ215で取得される立体画像データを構成するN個のノンベースビューの画像データがそれぞれ一時的に蓄積される。CPU201では、ビューバッファ216,2161~216Nの読み出し制御が行われる。CPU201では、ストリーム関連付け情報に含まれるterminatingcurrentassociationflagのフラグにより、エレメンタリストリームの構成が次のアクセスユニットピクチャから変更されるか否かが予め認識される。そのため、これらビューバッファ216,2161~216Nからの読み出し制御を、手際よく動的に変えることが可能となる。スケーラ224,2241~224Nでは、CPU201の制御のもと、ビューバッファ216,2161~216Nから出力される各ビューの画像データの出力解像度が、所定の解像度となるように調整される。そして、ビデオ重畳部217,2171~217Nには、解像度調整された各ビューの画像データが送られる。この場合、CPU201では、ビデオデコーダ215から、各ビューの画像データの解像度情報が取得される。そして、CPU201では、各ビューの画像データの出力解像度が目標解像度となるように、各ビューの解像度情報に基づいて、スケーラ224,2241~224Nのフィルタ設定が行われる。そのため、スケーラ224,2241~224Nでは、入力画像データの解像度が目標解像度と異なるとき、補間処理により解像度変換が行われて、目標解像度の出力画像データが得られる。CPU201では、ストリーム関連付け情報に含まれるindicationofotherresolutionmasterおよびresolutionmasterflagのフラグに基づいて、目標解像度の設定が行われる。この場合、これらのフラグによって解像度基準とされているエレメンタリストリームに含まれる画像データの解像度が目標解像度とされる。グラフィクスデコーダ218では、デマルチプレクサ214で抽出されたグラフィクスエレメンタリストリームに含まれる符号化グラフィクスデータに対して復号化処理が行われ、復号化されたグラフィクスデータサブタイトルデータを含むが得られる。視差情報デコーダ220では、デマルチプレクサ214で抽出された視差情報エレメンタリストリームに含まれる符号化視差情報に対して復号化処理が行われ、復号化された視差情報が得られる。この視差情報は、ベースビューと各ノンベースビューとの間の視差を示す視差ベクトル、あるいは奥行きデータ等である。奥行きデータは、所定の変換により視差ベクトルとして扱うことが可能となる。グラフィクス発生部219では、グラフィクスデコーダ218で得られたグラフィクスデータに基づいて、画像に重畳するグラフィクス情報のデータが発生される。グラフィクス発生部219では、ビデオデコーダ215から二次元画像データ第1の画像データのみが出力されるときは、この2次元画像データに重畳するグラフィクス情報のデータが発生される。また、グラフィクス発生部219では、ビデオデコーダ215から立体3D画像データを構成する各ビューの画像データが出力されるときは、各ビューの画像データに重畳するグラフィクス情報のデータが発生される。グラフィクスバッファ221では、グラフィクス発生部219で発生される、第1の画像データに重畳すべきグラフィクス情報のデータが蓄積される。この第1の画像データは、二次元画像データ、あるいは立体画像データを構成するベースビューの画像データである。また、グラフィクスバッファ2211~221Nでは、グラフィクス発生部219で発生される、N個のノンベースビューの画像データに重畳すべきグラフィクス情報のデータが蓄積される。ビデオ重畳部ディスプレイバッファ217では、スケーラ224で解像度調整された第1の画像データに、グラフィクスバッファ221に蓄積されたグラフィクス情報のデータが重畳される。そして、このビデオ重畳部217からは、グラフィクス情報が重畳された第1の画像データが出力すされる。この第1の画像データは、二次元画像データSV、あるいは立体画像データを構成するベースビューの画像データBNである。また、ビデオ重畳部ディスプレイバッファ2171~217Nでは、スケーラ2241~224Nで解像度調整されたベースビューの画像データに、それぞれグラフィクスバッファ2211~221Nに蓄積されたグラフィクス情報のデータが重畳される。そして、ビデオ重畳部2171~217Nからは、グラフィクス情報が重畳されたN個のノンベースビューの画像データNB1~NBNが出力される。オーディオデコーダ222では、デマルチプレクサ214で抽出されたオーディオエレメンタリストリームに含まれる符号化音声データに対して復号化処理が行われ、復号化された音声データが得られる。チャネル処理部223では、オーディオデコーダ222で得られる音声データに対して処理が行われ、例えば5.1chサラウンド等を実現するための各チャネルの音声データSAが生成されて出力される。以上説明したように、図1に示す画像送受信システム10において、放送局100から受信機200に送信されるトランスポートストリームTSが有するエレメンタリストリームに、各エレメンタリストリームの関連を示すストリーム関連付け情報が挿入される図12参照。このストリーム関連付け情報は、第1の画像データ二次元画像データあるいはベースビューの画像データを含む第1のエレメンタリストリームと、所定数の第2の画像データおよび/メタデータを含む第2のエレメンタリストリームとの関連を示すものである。そのため、受信機200では、ストリーム関連付け情報に基づいて、エレメンタリストリームの構成の動的な変化、つまり配信内容の動的な変化に的確に対応でき、正しいストリーム受信を行うことができる。図18は、トランスポートストリームTSに、StreamType0x1Bで、PID=01であるMVCのベースビューのストリームES1が連続して含まれ、StreamType0x20で、PID=11であるMVCのノンベースビューのストリームES2が間欠的に含まれる場合の例を示している。この場合、ストリームES1に、ストリーム関連付け情報が挿入されている。なお、ストリームES1の識別子ESidは0であり、ストリームES2の識別子ESidは1であるとする。tn1,tn1の期間には、ストリームES1と共に、ストリームES2が存在する。そのため、ストリーム関連付け情報において、Streamcountforassociation=1とされてストリームES1に関連するストリームがひとつ存在し、そのストリームの識別子ESidが1であることが示される。つまり、ストリーム関連付け情報において、ストリームES1とストリームES2とが関連付けされている。そのため、ストリームES1,ES2の双方が抽出されてデコードされ、ベースビューの画像データ、例えば左眼画像データと、ノンベースビューの画像データ、例えば右眼画像データが表示画像データとして出力され、立体3D表示が行われる。また、tnの期間には、ストリームES1のみが存在する。そのため、ストリーム関連付け情報において、Streamcountforassociation=0とされてストリームES1に関連するストリームが存在しないことが示される。そのため、ストリームES1のみが抽出されてデコードされて二次元画像データとして出力され、二次元2D表示が行われる。図19は、トランスポートストリームTSに、StreamType0x02で、PID=01であるMPEG2videoストリームES1が連続して含まれ、StreamType0x02で、PID=11であるMPEG2videoストリームES2が間欠的に含まれる場合の例を示している。この場合、ストリームES1に、ストリーム関連付け情報が挿入されている。なお、ストリームES1の識別子ESidは0であり、ストリームES2の識別子ESidは1であるとする。tn1,tn1の期間には、ストリームES1と共に、ストリームES2が存在する。そのため、ストリーム関連付け情報において、Streamcountforassociation=1とされてストリームES1に関連するストリームがひとつ存在し、そのストリームの識別子ESidが1であることが示される。つまり、ストリーム関連付け情報において、ストリームES1とストリームES2とが関連付けされている。そのため、ストリームES1,ES2の双方が抽出されてデコードされ、第1の画像データ、例えば左眼画像データと、第2の画像データ、例えば右眼画像データが表示画像データとして出力され、立体3D表示が行われる。また、tnの期間には、ストリームES1のみが存在する。そのため、ストリーム関連付け情報において、Streamcountforassociation=0とされてストリームES1に関連するストリームが存在しないことが示される。そのため、ストリームES1のみが抽出されてデコードされて二次元画像データが出力され、二次元2D表示が行われる。図20は、トランスポートストリームTSに、StreamType0x02で、PID=01であるMPEG2videoストリームES1が連続して含まれ、StreamType0x1Bで、PID=11であるAVCストリームES2が間欠的に含まれる場合の例を示している。この場合、ストリームES1に、ストリーム関連付け情報が挿入されている。なお、ストリームES1の識別子ESidは0であり、ストリームES2の識別子ESidは1であるとする。tn1,tn1の期間には、ストリームES1と共に、ストリームES2が存在する。そのため、ストリーム関連付け情報において、Streamcountforassociation=1とされてストリームES1に関連するストリームがひとつ存在し、そのストリームの識別子ESidが1であることが示される。つまり、ストリーム関連付け情報において、ストリームES1とストリームES2とが関連付けされている。そのため、ストリームES1,ES2の双方が抽出されてデコードされ、第1の画像データ、例えば左眼画像データと、第2の画像データ、例えば右眼画像データが表示画像データとして出力され、立体3D表示が行われる。また、tnの期間には、ストリームES1のみが存在する。そのため、ストリーム関連付け情報において、Streamcountforassociation=0とされてストリームES1に関連するストリームが存在しないことが示される。そのため、ストリームES1のみが抽出されてデコードされて二次元画像データが出力され、二次元2D表示が行われる。また、図1に示す画像送受信システム10において、エレメンタリストリームに挿入されるストリーム関連付け情報には、所定数の第2の画像データのそれぞれに対して表示必須とするか否かを指定する制御情報が含まれている。つまり、このストリーム関連付け情報には、indicationofselectedstreamdisplay、displaymandatoryflagが含まれている図12参照。そのため、受信機200においては、この制御情報に基づいて、所定数の第2の画像データのどれが表示必須であるかを知ることができ、ユーザによる画像表示態様の選択を制限することが可能となる。図21は、トランスポートストリームTSに、StreamType0x1Bで、PID=01であるMVCのベースビューのストリームES1と、StreamType0x20で、PID=11であるMVCのノンベースビューのストリームES2が、連続的に含まれる場合の例を示している。この場合、ストリームES1に、ストリーム関連付け情報が挿入されている。なお、ストリームES1の識別子ESidは0であり、ストリームES2の識別子ESidは1であるとする。tn1,tn1の期間には、ストリームES1と共に、ストリームES2が存在する。そのため、ストリーム関連付け情報において、Streamcountforassociation=1とされてストリームES1に関連するストリームがひとつ存在し、そのストリームの識別子ESidが1であることが示される。つまり、ストリーム関連付け情報において、ストリームES1とストリームES2とが関連付けされている。この期間、ストリーム関連付け情報において、indicationofselectedstreamdisplay=1とされ、自身のストリーム以外に表示必須のストリームが存在することが示されている。また、このストリーム関連付け情報において、ストリームの識別子ESIDが1であるストリームでは、displaymandatoryflag=1とされ、ストリームES2が表示必須であることが示されている。なお、図21では、indicationofselectedstreamdisplayがSelecteddisplayと略記されている。そのため、この期間においては、ストリームES1,ES2の双方が抽出されてデコードされ、ベースビューの画像データ、例えば左眼画像データと、ノンベースビューの画像データ、例えば右眼画像データが表示画像データとして出力され、立体3D表示が行われる。また、tnの期間にも、tn1の期間と同様に、ストリームES1と共に、ストリームES2が存在する。そのため、ストリーム関連付け情報において、Streamcountforassociation=1とされてストリームES1に関連するストリームがひとつ存在し、そのストリームの識別子ESidが1であることが示される。つまり、ストリーム関連付け情報において、ストリームES1とストリームES2とが関連付けされている。この期間、ストリーム関連付け情報において、indicationofselectedstreamdisplay=0とされ、自身のストリーム以外に表示必須のストリームが存在しないことが示されている。また、このストリーム関連付け情報において、ストリームの識別子ESidが1であるストリームでは、displaymandatoryflag=0とされ、ストリームES2が表示必須でないことが示されている。そのため、この期間においては、ストリームES1,ES2の双方が抽出されてデコードされる。この場合、ストリームES2が表示必須ではないので、立体3D表示の他に、ユーザの選択操作により、二次元2D表示も許可される。立体3D表示の場合には、ベースビューの画像データ、例えば左眼画像データと、ノンベースビューの画像データ、例えば右眼画像データが表示画像データとして出力される。一方、二次元2D表示の場合には、ベースビューの画像データのみが表示画像データとして出力される。また、図1に示す画像送受信システム10において、エレメンタリストリームに挿入されるストリーム関連付け情報には、各エレメンタリストリームの関連の変化が実際に起きる前に、この変化が起きることを知らせる前触れ情報を含まれている。つまり、このストリーム関連付け情報には、terminatingcurrentassociationflagが含まれている図12参照。そのため、受信機200においては、この前触れ情報に基づいて、デコーダバッファからの読み出し制御を手際よく動的に変えることが可能となる。図22は、トランスポートストリームTSに、StreamType0x1Bで、PID=01であるMVCのベースビューのストリームES1が連続的に含まれると共に、StreamType0x20で、PID=11であるMVCのノンベースビューのストリームES2が間欠的に含まれる場合の例を示している。この場合、ストリームES1に、ストリーム関連付け情報が挿入されている。なお、ストリームES1の識別子ESidは0であり、ストリームES2の識別子ESidは1であるとする。tn1の期間には、ストリームES1と共に、ストリームES2が存在する。そのため、ストリーム関連付け情報において、Streamcountforassociation=1とされてストリームES1に関連するストリームがひとつ存在し、そのストリームの識別子ESidが1であることが示される。つまり、ストリーム関連付け情報において、ストリームES1とストリームES2とが関連付けされている。そのため、ストリームES1,ES2の双方が抽出されてデコードされ、ベースビューの画像データ、例えば左眼画像データと、ノンベースビューの画像データ、例えば右眼画像データが表示画像データとして出力され、立体3D表示が行われる。このtn1の期間の最後のアクセスユニットに配置されるストリーム関連付け情報において、terminatingcurrentassociationflag=1とされ、次のアクセスユニットからエレメンタリストリームの構成が変更になることが示される。なお、図22において、terminatingcurrentassociationflagは、Terminatingflgと略記されている。また、tn1の期間に続くtnの期間には、ストリームES1のみが存在する。そのため、ストリーム関連付け情報において、Streamcountforassociation=0とされてストリームES1に関連するストリームが存在しないことが示される。そのため、ストリームES1のみが抽出されてデコードされて二次元画像データとして出力され、二次元2D表示が行われる。このtnの期間の最後のアクセスユニットに配置されるストリーム関連付け情報において、terminatingcurrentassociationflag=1とされ、次のアクセスユニットからエレメンタリストリームの構成が変更になることが示される。さらに、tnの期間に続くtn1期間には、tn1期間と同様の状態となる。この期間におけるストリーム関連付け情報の内容は、上述のtn1の期間と同様となる。そのため、ストリームES1,ES2の双方が抽出されてデコードされ、ベースビューの画像データ、例えば左眼画像データと、ノンベースビューの画像データ、例えば右眼画像データが表示画像データとして出力され、立体3D表示が行われる。また、図1に示す画像送受信システム10において、エレメンタリストリームには、ストリーム関連付け情報が、ピクチャ単位あるいはGOP単位で挿入される。そのため、受信機200では、エレメンタリストリームの構成、例えば、立体画像データのビュー数の変化等を、ピクチャ単位あるいはGOP単位で管理可能となる。また、図1に示す画像送受信システム10において、放送局100から受信機200に送信されるトランスポートストリームTSには、エレメンタリストリームにストリーム関連付け情報が挿入されているか否か、あるいは、エレメンタリストリームに挿入されているストリーム関連付け情報に変更があるか否かを示す記述子が挿入される。つまり、トランスポートストリームTSに、ESassociationデスクリプタが挿入される。このESassociationデスクリプタにより、エレメンタリストリームに挿入されているストリーム関連付け情報の参照を促すことができ、受信機200において安定した受信動作が可能となる。また、図1に示す画像送受信システム10において、エレメンタリストリームに挿入されるストリーム関連付け情報には、第1の画像データおよび第2の画像データの出力解像度の制御情報が含まれる。つまり、このストリーム関連付け情報には、indicationofotherresolutionmaster、resolutionmasterflagが含まれている。そのため、受信機200においては、この制御情報に基づいて、第1の画像データおよび第2の画像データの出力解像度を表示基準の解像度に調整することが可能となる。なお、上述の説明では、第1の画像データ二次元画像データあるいはベースビューの画像データを含む第1のエレメンタリストリームにのみストリーム関連付け情報が挿入されている例を示した図18等参照。しかし、第2の画像データノンベースビューの画像データを含む第2のエレメンタリストリームにストリーム関連付け情報をさらに挿入することも考えられる。図23は、トランスポートストリームTSに、StreamType0x1Bで、PID=01であるMVCのベースビューのストリームES1が含まれ、StreamType0x20で、PID=11、PID=21であるMVCのノンベースビューのストリームES2,ES3が含まれる場合の例を示している。この場合、ストリームES1に、ストリーム関連付け情報が挿入される他、ストリームES2,ES3にもストリーム関連付け情報が挿入されている。なお、ストリームES1の識別子ESidは0であり、ストリームES2の識別子ESidは1であり、さらに、ストリームES3の識別子ESidは2であるとする。ストリームES1に挿入されているストリーム関連付け情報においては、Streamcountforassociation=2とされ、このストリームES1に関連するストリームが2つ存在し、そのストリームの識別子ESidが1,2であることが示されている。ストリームES2に挿入されているストリーム関連付け情報においては、Streamcountforassociation=1とされ、このストリームES2に関連するストリームがひとつ存在し、そのストリームの識別子ESidが0であることが示されている。また、ストリームES3に挿入されているストリーム関連付け情報においては、Streamcountforassociation=1とされ、このストリームES3に関連するストリームがひとつ存在し、そのストリームの識別子ESidが0であることが示されている。tn1,tn1の期間で、ストリームES1に挿入されているストリーム関連付け情報において、indicationofselectedstreamdisplay=1とされ、自身のストリーム以外に表示必須のストリームが存在することが示されている。そして、ストリームの識別子ESidが1,2であるストリームでは、displaymandatoryflag=1とされ、ストリームES2,ES3の双方が表示必須であることが示されている。また、tnの期間で、ストリームES1に挿入されているストリーム関連付け情報において、indicationofselectedstreamdisplay=0とされ、自身のストリーム以外に表示必須のストリームが存在しないことが示されている。そして、ストリームの識別子ESidが1,2であるストリームでは、displaymandatoryflag=0とされ、ストリにームES2,ES3の双方とも表示必須でないことが示されている。図24は、図23と同様に、トランスポートストリームTSに、StreamType0x1Bで、PID=01であるMVCのベースビューのストリームES1が含まれ、StreamType0x20で、PID=11、PID=21であるMVCのノンベースビューのストリームES2,ES3が含まれる場合の例を示している。この場合、ストリームES1に、ストリーム関連付け情報が挿入される他、ストリームES2,ES3にもストリーム関連付け情報が挿入されている。なお、ストリームES1の識別子ESidは0であり、ストリームES2の識別子ESidは1であり、さらに、ストリームES3の識別子ESidは2であるとする。ストリームES1に挿入されているストリーム関連付け情報においては、Streamcountforassociation=2とされ、このストリームES1に関連するストリームが2つ存在し、そのストリームの識別子ESidが1,2であることが示されている。ストリームES2に挿入されているストリーム関連付け情報においては、Streamcountforassociation=2とされ、このストリームES2に関連するストリームが2つ存在し、そのストリームの識別子ESidが0,2であることが示されている。また、ストリームES3に挿入されているストリーム関連付け情報においては、Streamcountforassociation=2とされ、このストリームES3に関連するストリームが2つ存在し、そのストリームの識別子ESidが0,1であることが示されている。tn1,tnの期間で、ストリームES1に挿入されているストリーム関連付け情報において、indicationofselectedstreamdisplay=1とされ、自身のストリーム以外に表示必須のストリームが存在することが示されている。そして、ストリームの識別子ESidが1,2であるストリームでは、displaymandatoryflag=1とされ、ストリームES2,ES3の双方が表示必須であることが示されている。また、tn1,tnの期間で、ストリームES2に挿入されているストリーム関連付け情報において、indicationofselectedstreamdisplay=1とされ、自身のストリーム以外に表示必須のストリームが存在することが示されている。そして、ストリームの識別子ESidが0,2であるストリームでは、displaymandatoryflag=1とされ、ストリームES1,ES3の双方が表示必須であることが示されている。さらに、tn1,tnの期間で、ストリームES3に挿入されているストリーム関連付け情報において、indicationofselectedstreamdisplay=1とされ、自身のストリーム以外に表示必須のストリームが存在することが示されている。そして、ストリームの識別子ESidが0,1であるストリームでは、displaymandatoryflag=1とされ、ストリームES1,ES2の双方が表示必須であることが示されている。また、tnの期間で、ストリームES1に挿入されているストリーム関連付け情報において、indicationofselectedstreamdisplay=0とされ、自身のストリーム以外に表示必須のストリームが存在しないことが示されている。そして、ストリームの識別子ESidが1,2であるストリームでは、displaymandatoryflag=0とされ、ストリにームES2,ES3の双方とも表示必須でないことが示されている。また、このtnの期間で、ストリームES2,ES3に挿入されているストリーム関連付け情報において、indicationofselectedstreamdisplay=0とされ、自身のストリーム以外に表示必須のストリームが存在しないことが示されている。しかし、上述したように、ストリームES1に挿入されているストリーム関連付け情報において、indicationofselectedstreamdisplay=0とされ、自身のストリーム以外に表示必須のストリームが存在しないことが示されている。そのため、ストリームES2,ES3に挿入されているストリーム関連付け情報における表示必須の情報は無視される。<2.変形例>なお、上述実施の形態においては、画像データの符号化方式として、MPEG4-AVCおよびMPEG2videoの符号化をあげている。しかし、画像データに施される符号化はこれらに限定されない。また、上述実施の形態においては、主に、ストリーム関連付け情報により、ベースビューおよび所定数のノンベースビューのストリームを関連付けする例を示した。しかし、このストリーム関連付け情報により、例えば、ベースビューの画像データに関連するメタデータをも関連付けすることが考えられる。メタデータとしては、例えば視差情報視差ベクトルあるいは奥行きデータなどが考えられる。図25は、トランスポートストリームTSに、StreamType0x1Bで、PID=01であるMVCのベースビューのストリームES1が含まれ、StreamType0x20で、PID=11であるMVCのノンベースビューのストリームES2が含まれ、さらに、StreamType0xABで、PID=21であるメタデータストリームES3が含まれている。なお、ストリームES1の識別子ESidは0であり、ストリームES2の識別子ESidは1であり、さらに、ストリームES3の識別子ESidは2であるとする。ストリームES1に挿入されているストリーム関連付け情報においては、Streamcountforassociation=2とされ、このストリームES1に関連するストリームが2つ存在し、そのストリームの識別子ESidが1,2であることが示されている。なお、この例では、ストリームES2,ES3に、ストリーム関連付け情報は、挿入されていない。tn1,tn1の期間で、ストリームES1に挿入されているストリーム関連付け情報において、indicationofselectedstreamdisplay=1とされ、自身のストリーム以外に表示必須のストリームが存在することが示されている。そして、ストリームの識別子ESidが1であるストリームでは、displaymandatoryflag=1とされ、ストリームES2が表示必須であることが示されている。また、tnの期間で、ストリームES1に挿入されているストリーム関連付け情報において、indicationofselectedstreamdisplay=0とされ、自身のストリーム以外に表示必須のストリームが存在しないことが示されている。図26は、ポスト処理部を備える受信機200Aの構成例を示している。この図26において、図17と対応する部分には同一符号を付し、その詳細説明は省略する。なお、この受信機200Aにおいては、スケーラ224,2241~224Nを除いたものとしている。この受信機200Aは、CPU201と、フラッシュROM202と、DRAM203と、内部バス204と、リモコン受信部205と、リモコン送信機206を有している。また、この受信機200は、アンテナ端子211と、デジタルチューナ212と、トランスポートストリームバッファTSバッファ213と、デマルチプレクサ214を有している。また、受信機200Aは、ビデオデコーダ215と、ビューバッファ216,2161~216Nと、ビデオ重畳部217,2171~217Nと、メタデータバッファ225と、ポスト処理部226を有している。さらに、受信機200は、グラフィクスデコーダ218と、グラフィクス発生部219と、視差情報デコーダ220と、グラフィクスバッファ221,2211~221Nと、オーディオデコーダ222と、チャネル処理部223を有している。メタデータバッファ225は、ビデオデコーダ215で取得されるピクセル画素毎の視差情報を一時的に蓄積する。なお、視差情報がピクセル画素毎の視差情報である場合、この視差情報を画素データのように取り扱うことができる。ビデオデコーダ215でピクセル画素毎の視差情報が取得されるものにあっては、送信側において、視差情報に対して画像データと同様の符号化方式で符号化が施されて視差情報エレメンタリストリームが生成されている。ポスト処理部226は、メタデータバッファ225に蓄積されているピクセル画素毎の視差情報を用い、ビューバッファ216,2161~216Nから出力される各ビューの画像データに補間処理ポスト処理を施して、所定数のビューの表示画像データDisplayView1~DisplayViewPを得る。図26に示す受信機200Aにおけるその他は、詳細説明は省略するが、図17に示す受信機200と同様に構成され、同様に動作する。また、上述実施の形態においては、立体3D表示のためのベースビューとノンベースビューの画像データを含む複数のエレメンタリストリームを、ストリーム関連付け情報によって関連付ける例をあげている。しかし、本技術は、SVCストリームにも同様に適用できる。SVCストリームには、スケーラブル符号化画像データを構成する最下位層の符号化画像データのビデオエレメンタリストリームが含まれる。さらに、このSVCストリームには、スケーラブル符号化画像データを構成する最下位層以外の所定数の上位階層の符号化画像データのビデオエレメンタリストリームが含まれる。このSVCストリームに、上述のストリーム関連付け情報と同様の情報を挿入することで、受信側では、SVCストリームの動的な変化、つまり配信内容の動的な変化に的確に対応でき、正しいストリーム受信を行うことが可能となる。また、上述実施の形態においては、トランスポートストリームTSを放送波にのせて配信する例を示したが、この発明は、このトランスポートストリームTSを、インターネット等のネットワークを通じて配信する場合にも同様に適用できる。一方で、トランスポートストリームTS以外のコンテナファイルフォーマットにおけるインターネット配信の場合にも、上述の関連付けデータの構成を適用できることは勿論である。なお、本技術は、以下のような構成も取ることができる。1第1の画像データを含む第1のエレメンタリストリームと上記第1の画像データに関連した所定数の第2の画像データおよび/またはメタデータをそれぞれ含む所定数の第2のエレメンタリストリームとを生成するエンコード部と、上記エンコード部で生成された上記各エレメンタリストリームをパケット化して得られた各パケットを有するトランスポートストリームを送信する送信部を備え、上記エンコード部は、少なくとも、上記第1のエレメンタリストリームに、上記各エレメンタリストリームの関連を示すストリーム関連付け情報を挿入する画像データ送信装置。2上記ストリーム関連付け情報は、上記各エレメンタリストリームの関連の変化が実際に起きる前に、該変化が起きることを知らせる前触れ情報を含む前記1に記載の画像データ送信装置。3上記エンコード部は、上記エレメンタリストリームに、上記ストリーム関連付け情報をピクチャ単位あるいはGOP単位で挿入する前記1または2に記載の画像データ送信装置。4上記ストリーム関連付け情報は、上記各エレメンタリストリームを識別するための識別子を用いて、上記各エレメンタリストリームの関連を示す前記1から3のいずれかに記載の画像データ送信装置。5上記送信部は、上記トランスポートストリームに、上記各エレメンタリストリームの識別子と、該各エレメンタリストリームのパケット識別子またはコンポーネントタグとの対応関係を示す記述子を挿入する前記4に記載の画像データ送信装置。6上記送信部は、上記トランスポートストリームに、上記エレメンタリストリームに上記ストリーム関連付け情報が挿入されているか否か、あるいは、上記エレメンタリストリームに挿入されている上記ストリーム関連付け情報に変更があるか否かを示す記述子を挿入する前記1から5のいずれかに記載の画像データ送信装置。7上記第1のエレメンタリストリームに含まれる第1の画像データの符号化方式と、上記所定数の第2のエレメンタリストリームに含まれる第2の画像データの符号化方式として、任意の符号化方式の組み合わせが可能とされている前記1から6のいずれかに記載の画像データ送信装置。8上記第1の画像データは、立体画像データを構成するベースビューの画像データであり、上記第2の画像データは、上記立体画像データを構成する上記ベースビュー以外のビューの画像データである前記1から7に記載の画像データ送信装置。9上記第1の画像データは、ステレオ立体画像を得るための左眼および右眼の一方の画像データであり、上記第2の画像データは、上記ステレオ立体画像を得るための左眼および右眼の他方の画像データである前記8に記載の画像データ送信装置。10上記メタデータは、上記立体画像データに対応した視差情報である前記8または9に記載の画像データ送信装置。11上記ストリーム関連付け情報は、該ストリーム関連付け情報が挿入されたエレメンタリストリームに含まれる画像データによるビューが、立体表示の際に、マルチビューイングの中のいずれのビューとして表示されるべきかを示すポジション情報を含む前記8から10のいずれかに記載の画像データ送信装置。12上記第1の画像データは、スケーラブル符号化画像データを構成する最下位層の符号化画像データであり、上記第2の画像データは、上記スケーラブル符号化画像データを構成する上記最下位層以外の階層の符号化画像データである前記1から11に記載の画像データ送信装置。13上記ストリーム関連付け情報は、上記第1の画像データおよび上記第2の画像データの出力解像度の制御情報をさらに含む前記1から12に記載の画像データ送信装置。14上記ストリーム関連付け情報は、上記所定数の第2の画像データのそれぞれに対して表示必須とするか否かを指定する制御情報をさらに含む前記1から13に記載の画像データ送信装置。15第1の画像データを含む第1のエレメンタリストリームと上記第1の画像データに関連した所定数の第2の画像データおよび/またはメタデータをそれぞれ含む所定数の第2のエレメンタリストリームとを生成するエンコードステップと、上記エンコードステップで生成された上記各エレメンタリストリームをパケット化して得られた各パケットを有するトランスポートストリームを送信する送信ステップを備え、上記エンコードステップでは、少なくとも、上記第1のエレメンタリストリームに、上記各エレメンタリストリームの関連を示すストリーム関連付け情報を挿入する画像データ送信方法。16第1の画像データを含む第1のエレメンタリストリームと上記第1の画像データに関連した所定数の第2の画像データおよび/またはメタデータをそれぞれ含む所定数の第2のエレメンタリストリームとをパケット化して得られた各パケットを有するトランスポートストリームを受信する受信部を備え、少なくとも、上記第1のエレメンタリストリームには、上記各エレメンタリストリームの関連を示すストリーム関連付け情報が挿入されており、上記ストリーム関連付け情報に基づいて、上記受信部で受信された上記第1のエレメンタリストリームから上記第1の画像データを取得し、上記受信部で受信された上記所定数の第2のエレメンタリストリームから上記第1の画像データに関連した上記第2の画像データおよび/またはメタデータを取得するデータ取得部をさらに備える画像データ受信装置。17上記データ取得部で取得された上記第1の画像データおよび上記第2の画像データの解像度を調整して出力する解像度調整部をさらに備え、上記ストリーム関連付け情報は、上記第1の画像データおよび上記第2の画像データの出力解像度の制御情報を含み、上記解像度調整部は、上記出力解像度の制御情報に基づいて、上記第1の画像データおよび上記第2の画像データの解像度を調整する前記16に記載の画像データ受信装置。18上記データ取得部で取得された上記第1の画像データおよび上記第2の画像データに基づく画像表示態様を選択する画像表示態様選択部をさらに備え、上記ストリーム関連付け情報は、上記所定数の第2の画像データのそれぞれに対して表示必須とするか否かを指定する制御情報を含み、上記画像表示態様選択部は、上記制御情報に基づいて画像表示態様の選択が制限される前記16または17に記載の画像データ受信装置。19上記データ取得部で取得された上記メタデータは、上記立体画像データに対応した視差情報であり、該視差情報を用い、上記データ取得部で取得された上記第1の画像データおよび上記第2の画像データに補間処理を施して、所定数のビューの表示画像データを得るポスト処理部をさらに備える前記16から18のいずれかに記載の画像データ受信装置。20第1の画像データを含む第1のエレメンタリストリームと上記第1の画像データに関連した所定数の第2の画像データおよび/またはメタデータをそれぞれ含む所定数の第2のエレメンタリストリームとをパケット化して得られた各パケットを有するトランスポートストリームを受信する受信ステップを備え、少なくとも、上記第1のエレメンタリストリームには、上記各エレメンタリストリームの関連を示すストリーム関連付け情報が挿入されており、上記ストリーム関連付け情報に基づいて、上記受信ステップで受信された上記第1のエレメンタリストリームから上記第1の画像データを取得し、上記受信ステップで受信された上記所定数の第2のエレメンタリストリームから上記第1の画像データに関連した上記第2の画像データおよび/またはメタデータを取得するデータ取得ステップをさらに備える画像データ受信方法。"