(57)【要約】  受信装置が開示される。本装置は、第１ストリームを放送網を通じて受信するための第１受信部と、第２ストリームを通信網を通じて受信するための第２受信部と、第１及び第２ストリームのうち少なくとも一方のストリームに含まれたアグリゲーション（ａｇｇｒｅｇａｔｉｏｎ）情報を検出し、アグリゲーション情報に応じて、第１ストリーム内のデータ及び第２ストリーム内のデータを組み合わせて処理するデータ処理部と、データ処理部で処理されたデータを出力する出力部とを含む。それにより、相互関連性のあるデータを容易に組み合わせて処理することができるようになる。
2014515905.tif 000002
【特許請求の範囲】
【請求項１】
第１ストリームを放送網を通じて受信するための第１受信部と、
第２ストリームを通信網を通じて受信するための第２受信部と、
前記第１及び第２ストリームのうち少なくとも一方のストリームに含まれたアグリゲーション（ａｇｇｒｅｇａｔｉｏｎ）情報を検出し、前記アグリゲーション情報に応じて、前記第１ストリーム内のデータ及び前記第２ストリーム内のデータを組み合わせて処理するデータ処理部と、
前記データ処理部で処理されたデータを出力する出力部と
を含む受信装置。
【請求項２】
前記アグリゲーション情報は、
前記第１ストリーム及び前記第２ストリームのうち少なくとも一方のストリームのプログラムマップテーブル内の基礎ストリームループに記録されたものであることを特徴とする請求項１に記載の受信装置。
【請求項３】
前記アグリゲーション情報は、
前記第１ストリーム及び前記第２ストリームのうち少なくとも一方のストリームで、プログラム接続テーブル（Ｐｒｏｇｒａｍ  Ａｓｓｏｃｉａｔｉｏｎ  Ｔａｂｌｅ：ＰＡＴ）の上位に配置されたマルチメディア接続テーブル（Ｍｕｌｔｉｍｅｄｉａ  Ａｓｓｏｃｉａｔｉｏｎ  Ｔａｂｌｅ：ＭＡＴ）に記録されたものであることを特徴とする請求項１に記載の受信装置。
【請求項４】
前記データ処理部は、
前記第１ストリームをデマルチプレキシングしてデータ及び前記アグリゲーション情報を検出する第１デマルチプレクサ部と、
前記アグリゲーション情報に応じて前記第２ストリームを受信するように前記第２受信部を制御する連動制御部と、
前記第２受信部で受信された前記第２ストリームからデータを検出する第２デマルチプレクサ部と、
前記第１デマルチプレクサ部から検出されたデータをデコードする第１デコーダ部と、
前記第２デマルチプレクサ部から検出されたデータをデコードする第２デコーダ部と、
前記第１及び第２デコーダ部でデコードされた各データのうち、前記アグリゲーション情報によって指定されたデータを組み合わせてレンダリングするレンダリング部と
を含むことを特徴とする請求項１に記載の受信装置。
【請求項５】
前記データ処理部は、
前記第１ストリーム及び前記第２ストリームを保存する保存部と、
前記第１ストリームをデマルチプレキシングしてデータ及び第１アグリゲーション情報を検出する第１デマルチプレクサ部と、
前記第２ストリームをデマルチプレキシングしてデータ及び第２アグリゲーション情報を検出する第２デマルチプレクサ部と、
前記第１アグリゲーション情報及び前記第２アグリゲーション情報を用いて、前記第１ストリーム及び前記第２ストリーム内で互いに組み合わせるデータを決定し、決定されたデータを組み合わせる連動制御部と、
前記連動制御部で組み合わせられたデータをデコードするデコーダ部と、
前記デコードされたデータをレンダリングするレンダリング部と
を含むことを特徴とする請求項１に記載の受信装置。
【請求項６】
前記アグリゲーション情報は、
他ストリームを通じて提供されるデータの種類、データの伝送形態、データの区分子、ＰＩＤ、ＵＲＬ、マニフェスト情報のうち、少なくとも一つを含むことを特徴とする請求項１に記載の受信装置。
【請求項７】
第１ストリームを放送網を通じて受信するステップと、
前記第１ストリームに含まれたデータ及びアグリゲーション（ａｇｇｒｅｇａｔｉｏｎ）情報を検出するステップと、
前記アグリゲーション情報に応じて、前記第１ストリームに関連する第２ストリームを通信網を通じて受信するステップと、
前記第１ストリーム及び前記第２ストリームのデータを各々デコードするステップと、
前記デコードされたデータを前記アグリゲーション情報に応じて組み合わせるステップと、
前記組み合わせられたデータを処理して出力するステップと
を含むストリーム処理方法。
【請求項８】
前記アグリゲーション情報は、
前記第１ストリームのプログラムマップテーブル内の基礎ストリームループに記録されたものであることを特徴とする請求項７に記載のストリーム処理方法。
【請求項９】
第１ストリームを放送網を通じて受信するステップと、
第２ストリームを通信網を通じて受信するステップと、
前記第１及び第２ストリームのうち少なくとも一方のストリームに含まれたアグリゲーション（ａｇｇｒｅｇａｔｉｏｎ）情報を検出し、検出されたアグリゲーション情報に応じて、前記第１ストリーム内のデータ及び前記第２ストリーム内のデータを組み合わせて処理するステップと、
前記処理されたデータを出力するステップと
を含むストリーム処理方法。
【請求項１０】
前記アグリゲーション情報は、
前記第１ストリーム及び前記第２ストリームのうち少なくとも一方のストリームのプログラムマップテーブル内の基礎ストリームループに記録されたものであることを特徴とする請求項９に記載のストリーム処理方法。
【請求項１１】
前記アグリゲーション情報は、
前記第１ストリーム及び前記第２ストリームのうち少なくとも一方のストリームで、プログラム接続テーブル（Ｐｒｏｇｒａｍ  Ａｓｓｏｃｉａｔｉｏｎ  Ｔａｂｌｅ：ＰＡＴ）の上位に配置されたマルチメディア接続テーブル（Ｍｕｌｔｉｍｅｄｉａ  Ａｓｓｏｃｉａｔｉｏｎ  Ｔａｂｌｅ：ＭＡＴ）に記録されたものであることを特徴とする請求項９に記載のストリーム処理方法。
【請求項１２】
前記処理するステップは、
前記第１ストリーム及び前記第２ストリームを保存するステップと、
前記第１ストリームをデマルチプレキシングしてデータ及び第１アグリゲーション情報を検出するステップと、
前記第２ストリームをデマルチプレキシングしてデータ及び第２アグリゲーション情報を検出するステップと、
前記第１アグリゲーション情報及び前記第２アグリゲーション情報を用いて、前記第１ストリーム及び前記第２ストリーム内で互いに組み合わせるデータを決定し、決定されたデータを組み合わせるステップと、
前記組み合わせられたデータをデコードするステップと、
前記デコードされたデータをレンダリングするステップと
前記レンダリングされたデータを出力するステップと、
を含むことを特徴とする請求項９に記載のストリーム処理方法。
【請求項１３】
前記アグリゲーション情報は、
他ストリームを通じて提供されるデータの種類、データの伝送形態、データの区分子、ＰＩＤ、ＵＲＬ、マニフェスト情報のうち、少なくとも一つを含むことを特徴とする請求項９に記載のストリーム処理方法。
【請求項１４】
データを含む基礎ストリームを生成するステップと、
前記基礎ストリームに対するプログラムマップテーブル情報を生成するステップと、
前記データと結合される他データに対するアグリゲーション情報を生成し、前記プログラムマップテーブル情報内の基礎ストリームループに記録するステップと、
前記基礎ストリーム及び前記プログラムマップテーブル情報を含む伝送ストリームを生成して伝送するステップと
を含み、
前記アグリゲーション情報は、
前記他データの種類、伝送形態、データの区分子、ＰＩＤ、ＵＲＬ、マニフェスト情報のうち、少なくとも一つを含むストリーム送信方法。
【請求項１５】
データを含む基礎ストリームを生成するステップと、
前記基礎ストリームに対するプログラムマップテーブル情報及びプログラム接続テーブル情報を生成するステップと、
前記データに関連する他データに対するアグリゲーション情報を含むマルチメディア接続テーブル（Ｍｕｌｔｉｍｅｄｉａ  Ａｓｓｏｃｉａｔｉｏｎ  Ｔａｂｌｅ：ＭＡＴ）を生成するステップと、
前記基礎ストリーム、前記マルチメディア接続テーブル、前記プログラム接続テーブル及び前記プログラムマップテーブルを含む伝送ストリームを生成して伝送するステップと
を含み、
前記アグリゲーション情報は、
前記他データの種類、伝送形態、データの区分子、ＰＩＤ、ＵＲＬ、マニフェスト情報のうち、少なくとも一つを含むストリーム送信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のストリームを受信して処理する受信装置とそのストリーム処理方法及びそのためのストリーム送信方法に関し、より詳細には、互いに異なる経路を通じて複数のストリームを受信し、アグリゲーション情報に応じて互いに組み合わせて処理する受信装置とそのストリーム処理方法及びそのためのストリーム送信方法に関する。
【背景技術】
【０００２】
電子技術の発達により、多様な電子装置が開発及び普及されている。これらの電子装置の代表的な例としてテレビのような受信装置を挙げることができる。
【０００３】
近来は、テレビの性能が向上するにつれ、３ＤコンテンツやフルＨＤコンテンツのようなマルチメディアコンテンツまでもサービスされている。このような類型のコンテンツは、既存のコンテンツよりサイズが大きい。
【０００４】
しかし、放送網で使用される伝送帯域幅は制限的である。よって、伝送可能なコンテンツのサイズに制約があった。このような制約に合わせるためには、やむを得ず解像度を減らす必要があり、それによって画質が劣化するという問題点があった。
【０００５】
このような問題点を解決するために、多様な種類のメディアデータを多様な伝送環境を通じて提供しようとする試みが行われてきた。しかし、このようなデータは、互いに異なる経路を通じて伝送されるため、受信装置側で互いに関連性のあるデータかを知ることができないという問題点があった。
【０００６】
仮に、３Ｄコンテンツの左眼映像及び右眼映像を互いに異なる経路を通じて伝送した場合、両映像が組み合わせられて再生されなければならないが、両映像が相互関連しているか否かを判断することが困難であるという問題点があった。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、互いに異なる経路を通じて複数のストリームを受信し、互いに組み合わせて処理できる受信装置とそのストリーム処理方法及びそのためのストリーム送信方法を提供することにある。
【課題を解決するための手段】
【０００８】
以上のような目的を達成するための本発明の一実施形態に係る受信装置は、第１ストリームを放送網を通じて受信するための第１受信部と、第２ストリームを通信網を通じて受信するための第２受信部と、前記第１及び第２ストリームのうち少なくとも一方のストリームに含まれたアグリゲーション（ａｇｇｒｅｇａｔｉｏｎ）情報を検出し、前記アグリゲーション情報に応じて、前記第１ストリーム内のデータ及び前記第２ストリーム内のデータを組み合わせて処理するデータ処理部と、前記データ処理部で処理されたデータを出力する出力部とを含む。
【０００９】
ここで、前記アグリゲーション情報は、前記第１ストリーム及び前記第２ストリームのうち少なくとも一方のストリームのプログラムマップテーブル内の基礎ストリームループに記録されたものであってよい。
【００１０】
または、前記アグリゲーション情報は、前記第１ストリーム及び前記第２ストリームのうち少なくとも一方のストリームで、プログラム接続テーブル（Ｐｒｏｇｒａｍ  Ａｓｓｏｃｉａｔｉｏｎ  Ｔａｂｌｅ：ＰＡＴ）の上位に配置されたマルチメディア接続テーブル（Ｍｕｌｔｉｍｅｄｉａ  Ａｓｓｏｃｉａｔｉｏｎ  Ｔａｂｌｅ：ＭＡＴ）に記録されたものであってよい。
【００１１】
そして、前記データ処理部は、前記第１ストリームをデマルチプレキシングしてデータ及び前記アグリゲーション情報を検出する第１デマルチプレクサ部と、前記アグリゲーション情報に応じて前記第２ストリームを受信するように前記第２受信部を制御する連動制御部と、前記第２受信部で受信された前記第２ストリームからデータを検出する第２デマルチプレクサ部と、前記第１デマルチプレクサ部から検出されたデータをデコードする第１デコーダ部と、前記第２デマルチプレクサ部から検出されたデータをデコードする第２デコーダ部と、前記第１及び第２デコーダ部でデコードされた各データのうち、前記アグリゲーション情報によって指定されたデータを組み合わせてレンダリングするレンダリング部とを含んでよい。
【００１２】
または、前記データ処理部は、前記第１ストリーム及び前記第２ストリームを保存する保存部と、前記第１ストリームをデマルチプレキシングしてデータ及び第１アグリゲーション情報を検出する第１デマルチプレクサ部と、前記第２ストリームをデマルチプレキシングしてデータ及び第２アグリゲーション情報を検出する第２デマルチプレクサ部と、前記第１アグリゲーション情報及び前記第２アグリゲーション情報を用いて、前記第１ストリーム及び前記第２ストリーム内で互いに組み合わせるデータを決定し、決定されたデータを組み合わせる連動制御部と、前記連動制御部で組み合わせられたデータをデコードするデコーダ部と、前記デコードされたデータをレンダリングするレンダリング部とを含む。
【００１３】
上述のアグリゲーション情報は、他ストリームを通じて提供されるデータの種類、データの伝送形態、データの区分子、ＰＩＤ、ＵＲＬ、マニフェスト情報のうち、少なくとも一つを含んでよい。
【００１４】
一方、本発明の一実施形態に係る受信装置のストリーム処理方法は、第１ストリームを放送網を通じて受信するステップと、前記第１ストリームに含まれたデータ及びアグリゲーション（ａｇｇｒｅｇａｔｉｏｎ）情報を検出するステップと、前記アグリゲーション情報に応じて、前記第１ストリームに関連する第２ストリームを通信網を通じて受信するステップと、前記第１ストリーム及び前記第２ストリームのデータを各々デコードするステップと、前記デコードされたデータを前記アグリゲーション情報に応じて組み合わせるステップと、前記組み合わせられたデータを処理して出力するステップとを含む。
【００１５】
ここで、前記アグリゲーション情報は、前記第１ストリームのプログラムマップテーブル内の基礎ストリームループに記録されたものであってよい。
【００１６】
本発明の別の実施形態に係る受信装置のストリーム処理方法は、第１ストリームを放送網を通じて受信するステップと、第２ストリームを通信網を通じて受信するステップと、前記第１及び第２ストリームのうち少なくとも一方のストリームに含まれたアグリゲーション（ａｇｇｒｅｇａｔｉｏｎ）情報を検出し、検出されたアグリゲーション情報に応じて、前記第１ストリーム内のデータ及び前記第２ストリーム内のデータを組み合わせて処理するステップと、前記処理されたデータを出力するステップとを含む。
【００１７】
ここで、前記アグリゲーション情報は、前記第１ストリーム及び前記第２ストリームのうち少なくとも一方のストリームのプログラムマップテーブル内の基礎ストリームループに記録されたものであってよい。
【００１８】
なお、前記アグリゲーション情報は、前記第１ストリーム及び前記第２ストリームのうち少なくとも一方のストリームで、プログラム接続テーブル（Ｐｒｏｇｒａｍ  Ａｓｓｏｃｉａｔｉｏｎ  Ｔａｂｌｅ：ＰＡＴ）の上位に配置されたマルチメディア接続テーブル（Ｍｕｌｔｉｍｅｄｉａ  Ａｓｓｏｃｉａｔｉｏｎ  Ｔａｂｌｅ：ＭＡＴ）に記録されたものであってよい。
【００１９】
そして、前記処理するステップは、前記第１ストリーム及び前記第２ストリームを保存するステップと、前記第１ストリームをデマルチプレキシングしてデータ及び第１アグリゲーション情報を検出するステップと、前記第２ストリームをデマルチプレキシングしてデータ及び第２アグリゲーション情報を検出するステップと、前記第１アグリゲーション情報及び前記第２アグリゲーション情報を用いて、前記第１ストリーム及び前記第２ストリーム内で互いに組み合わせるデータを決定し、決定されたデータを組み合わせるステップと、前記組み合わせられたデータをデコードするステップと、前記デコードされたデータをレンダリングするステップとを含む。
そして、前記アグリゲーション情報は、他ストリームを通じて提供されるデータの種類、データの伝送形態、データの区分子、ＰＩＤ、ＵＲＬ、マニフェスト情報のうち、少なくとも一つを含んでよい。
【００２０】
一方、本発明の一実施形態に係る送信装置のストリーム送信方法は、データを含む基礎ストリームを生成するステップと、前記基礎ストリームに対するプログラムマップテーブル情報を生成するステップと、前記データと結合される他データに対するアグリゲーション情報を生成し、前記プログラムマップテーブル情報内の基礎ストリームループに記録するステップと、前記基礎ストリーム及び前記プログラムマップテーブル情報を含む伝送ストリームを生成して伝送するステップとを含む。
【００２１】
ここで、前記アグリゲーション情報は、前記他データの種類、伝送形態、データの区分子、ＰＩＤ、ＵＲＬ、マニフェスト情報のうち、少なくとも一つを含んでよい。
【００２２】
または、本発明の別の一実施形態に係る送信装置のストリーム送信方法は、データを含む基礎ストリームを生成するステップと、前記基礎ストリームに対するプログラムマップテーブル情報及びプログラム接続テーブル情報を生成するステップと、前記データに関連する他データに対するアグリゲーション情報を含むマルチメディア接続テーブル（Ｍｕｌｔｉｍｅｄｉａ  Ａｓｓｏｃｉａｔｉｏｎ  Ｔａｂｌｅ：ＭＡＴ）を生成するステップと、前記基礎ストリーム、前記マルチメディア接続テーブル、前記プログラム接続テーブル及び前記プログラムマップテーブルを含む伝送ストリームを生成して伝送するステップとを含み、前記アグリゲーション情報は、前記他データの種類、伝送形態、データの区分子、ＰＩＤ、ＵＲＬ、マニフェスト情報のうち、少なくとも一つを含んでよい。
【発明の効果】
【００２３】
以上説明したように、本発明によれば、アグリゲーション情報を用いて複数のストリームを互いに組み合わせて出力することができるようになる。
【図面の簡単な説明】
【００２４】
【図１】本発明の一実施形態に係るメディア送受信システムの構成を示す図である。
【図２】放送網を通じて伝送される第１ストリーム及び通信網を通じて伝送される第２ストリームの構成を示す図である。
【図３】本発明の一実施形態に係るメディア送受信システムの動作を説明するための図である。
【図４】本発明の一実施形態に係る受信装置の構成を示すブロック図である。
【図５】アグリゲーション情報をプログラムマップテーブル内に配置する方法を説明するための図である。
【図６】図５のアグリゲーション情報の構成を一例を示す図である。
【図７】アグリゲーション情報を含む基礎ストリームループの構成の一例を示す図である。
【図８】通信網で伝送されるストリームがＴＳ  ｏｖｅｒ  ＩＰ形態で構成された場合を示す図である。
【図９】通信網で伝送されるストリームがＩＰ形態で構成された場合を示す図である。
【図１０】図４の受信装置に含まれたデータ処理部の構成の一例を示すブロック図である。
【図１１】マルチメディア接続テーブルを用いてアグリゲーション情報を伝達する方式を説明するための図である。
【図１２】図１１のマルチメディア接続テーブルの構成の一例を示す図である。
【図１３】図１１のアグリゲーション情報を含むストリーム及びＴＳ  ｏｖｅｒ  ＩＰ形態で提供されるストリームの構成を示す図である。
【図１４】図１３のマルチメディア接続テーブルを用いてデータを組み合わせる方法を説明するための図である。
【図１５】図１１のアグリゲーション情報を含むストリーム及びＩＰ形態で提供されるストリームの構成を示す図である。
【図１６】図１５のマルチメディア接続テーブルを用いてデータを組み合わせる方法を説明するための図である。
【図１７】図４の受信装置に含まれたデータ処理部の構成の別の例を示すブロック図である。
【図１８】本発明の一実施形態に係るストリーム処理方法を説明するためのフローチャートである。
【図１９】本発明の別の実施形態に係るストリーム処理方法を説明するためのフローチャートである。
【図２０】図１９のストリーム処理方法でデータ処理ステップを具体的に説明するためのフローチャートである。
【図２１】本発明の一実施形態に係る送信装置の構成を示すブロック図である。
【図２２】本発明の一実施形態に係るストリーム送信方法を説明するためのフローチャートである。
【図２３】本発明の別の実施形態に係るストリーム送信方法を説明するためのフローチャートである。
【発明を実施するための形態】
【００２５】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。
【００２６】
図１は、本発明の一実施形態に係るメディア送受信システムの構成を示す図である。図１によると、多様なソース１０、２０から多様な経路を通じてメディアデータが伝送される。伝送経路は、放送網及び通信網等がある。通信網とは、インターネット、クラウドネットワーク、ローカルネットワーク、企業内ネットワーク（ｉｎｔｒａｎｅｔ）等のように多様なネットワークを意味する。
【００２７】
受信装置１００−１、１００−２、１００−３は、接続されたソースからメディアデータを受信して処理する。メディアデータとしては、動画データ、オーディオデータ、イメージデータ、テキストデータ等のような多様なデータが含まれてよい。図１では、テレビ１００−１、携帯電話１００−２、パソコン１００−３が図示されているが、その他に、セットトップボックスや、ノートパソコン、ＰＤＡ、デジタルフォトフレーム、電子書籍、ＭＰ３プレーヤ等のような多様な受信装置で設けられてよい。なお、図１では、３つの受信装置１００−１、１００−２、１００−３を示しているが、その数に制限は設けない。
【００２８】
受信装置の一つであるテレビ１００−１を基準として説明すると、テレビ１００−１は当該地域の放送ソース１０でアンテナまたは衛星を通じてストリームを伝送すると、それを受信する。そして、ネットワークを通じて接続されたソース２０にアクセスしてストリームを受信することができる。この場合、両ストリームのうち少なくとも一方のストリームには、アグリゲーション情報（ａｇｇｒｅｇａｔｉｏｎ  ｉｎｆｏｒｍａｔｉｏｎ）が含まれる。テレビ１００−１は、アグリゲーション情報を用いて、各ストリーム内のデータのうち少なくとも一つ以上のデータを組み合わせ、組み合わせられたデータを生成して画面上に出力する。テレビ１００−１以外の他受信装置１００−２、１００−３もこのような方式でデータを結合して処理することができる。
【００２９】
図２は、放送網を通じて伝送されるストリーム（以下では、第１ストリームという）及び通信網を通じて伝送されるストリーム（以下では、第２ストリームという）の構成を示す図である。図２によると、放送網を通じて伝送される第１ストリーム１１は、ビデオデータ、オーディオデータ、付加データを含み、各データは、ＴＳヘッダ（Ｔｒａｎｓｐｏｒｔ  Ｓｔｒｅａｍ  ｈｅａｄｅｒ）及びペイロード（ｐａｙｌｏａｄ）からなるＴＳパケットにパケット化されて伝送される。図２では、一つのパケットが１８８バイトからなるものとして示しているが、そのパケットサイズは、放送通信規格に応じて異なるように定められてよい。
【００３０】
なお、図２によると、第２ストリーム２１は、ビデオデータ、オーディオデータ、付加データ等を伝送ストリームにパケット化した後、再びＩＰパケット化したＴＳ  ｏｖｅｒ  ＩＰ形態２１ａまたはビデオデータ、オーディオデータ、付加データ等をＩＰ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）パケット化（ｐａｃｋｅｔｉｚｉｎｇ）して生成したＩＰパケット形態２１ｂで伝送されてよい。
【００３１】
図２では、第１及び第２ストリーム１１、２１のみを示しているが、その数は２つ以上であってよい。
【００３２】
図３は、図１のメディア送受信システムでアグリゲーション情報を用いてデータを組み合わせる方法を示す。すなわち、図３によると、第１ストリーム１１内にビデオ（Ｖｉｄｅｏ）、オーディオ（Ａｕｄｉｏ１）、一般データ（Ｄａｔａ１）、テキスト（Ｔｅｘｔ）等が含まれ、第２ストリーム２１内にオーディオ（Ａｕｄｉｏ２）、一般データ（Ｄａｔａ２）、アプリケーション（Ａｐｐ）等が含まれる。
【００３３】
アグリゲーション情報３０では、第１及び第２ストリーム１１、２１に含まれた各データを指定するための情報が含まれる。第１及び第２ストリーム１１、２１を受信した各受信装置１００−１、１００−２、１００−３はアグリゲーション情報３０で指定したビデオ（Ｖｉｄｅｏ）、オーディオ（Ａｕｄｉｏ１、Ａｕｄｉｏ２）、一般データ（Ｄａｔａ１、Ｄａｔａ２）、アプリケーション（Ａｐｐ）、テキスト（Ｔｅｘｔ）を組み合わせて、処理する。
【００３４】
一方、図３においては、ビデオ、オーディオ、一般データ、アプリケーション、テキスト等が示されているが、その他に、イメージベクトルグラフィック、ＴｉｍｅｄＴｅｘｔ、Ｓｐｅｅｃｈ、Ｓｃｅｎｅ  Ｄｅｓｃｒｉｐｔｏｒ、Ｗｅｂ  ｃｏｎｔｅｎｔ、Ｍｅｔａｄａｔａ等も上述のストリーム内に含まれ、アグリゲーション情報によって組み合わせられてよい。
【００３５】
図４は、一実施形態に係る受信装置の必須構成を示すブロック図である。図４の受信装置１００の構成は、図１及び図３に示すシステムに含まれた各受信装置１００−１、１００−２、１００−３だけでなく、その他の受信装置にも適用されてよい。
【００３６】
図４によると、受信装置１００は、第１受信部１１０と、第２受信部１２０と、データ処理部１３０及び出力部１４０を含む。
【００３７】
第１受信部１１０は、第１ストリームを放送網を通じて受信する動作を行う。第１受信部１１０は、アンテナと、チューナ部と、復調部と、等化部等を含む形態で実現されてよい。アンテナと、チューナ部と、復調部と、等化部等の構成及び動作に対しては、公知となっている様々な放送規格で記載されているため、具体的な説明は省略する。
【００３８】
第２受信部１２０は、通信網を通じて外部ソースにアクセスして第２ストリームを受信する動作を行う。第２受信部１２０は、ネットワークインターフェースカード等を含んでよい。
【００３９】
データ処理部１３０は、第１及び第２ストリームのうち少なくとも一方のストリームに含まれたアグリゲーション情報を検出し、アグリゲーション情報に応じて第１ストリーム内のデータ及び第２ストリーム内のデータを組み合わせて処理する。データ処理部１３０では、デコード、スケーリング、レンダリング等のような処理を行うことができる。このような動作については、公知となっている様々な文献を通じて既に知られているため、具体的な説明は省略する。
【００４０】
出力部１４０は、データ処理部１３０で処理されたデータを出力する。出力部１４０は、ディスプレイユニット（図示せず）及びスピーカ（図示せず）を含んでよい。データ処理部１３０では、組み合わせられたデータのうち、ビデオデータ及びテキスト等をレンダリングして画面を構成した後、構成された画面をディスプレイユニットを通してディスプレイする。なお、データ処理部１３０で処理されたオーディオデータはスピーカを通じて出力される。このような処理によって、ビデオデータ、オーディオデータ、一般データ及びその他のデータが各々異なる経路を通じて受信されているとしても、組み合わせられて一つのマルチメディアサービスを提供することができる。
【００４１】
アグリゲーション情報は、多様な方式でストリームに記録されてよい。以下では、アグリゲーション情報の伝送方式に対する多様な実施形態を説明する。
【００４２】
まず、第１例として、アグリゲーション情報は、ストリームのプログラムマップテーブル内の基礎ストリームループに記録され、受信装置１００側に提供されてよい。
【００４３】
図５は、基礎ストリームループを用いてアグリゲーション情報を提供する方法を説明するための図である。図５によると、第１ストリーム１１には、プログラム接続テーブル（Ｐｒｏｇｒａｍ  Ａｓｓｏｃｉａｔｉｏｎ  Ｔａｂｌｅ：ＰＡＴ）、プログラムマップテーブル（Ｐｒｏｇｒａｍ  Ｍａｐ  Ｔａｂｌｅ：ＰＭＴ）、ビデオデータ（Ｖ）、オーディオデータ（Ａ）等が含まれる。
【００４４】
プログラム接続テーブルとは、一つの伝送ストリーム上で提供される一つまたは複数のプログラムに対する各々のプログラムナンバー（ｐｒｏｇｒａｍ  ｎｕｍｂｅｒ）とＰＭＴ  ＰＩＤ（Ｐａｃｋｅｔ  ＩＤｅｎｔｉｆｉｅｒ）を示す部分である。プログラムマップテーブルとは、一つのプログラムに含まれる各々のメディアコンポーネントに対するＰＩＤ及び情報を提供する部分である。一つの伝送ストリーム内に複数のプログラムが含まれる場合、複数のＰＭＴが含まれてよい。各ＰＭＴに対する情報はＰＡＴに保存される。
【００４５】
図５において、第１ストリーム１１内に含まれたＰＭＴには基礎ストリームに対する情報が記録される基礎ストリームループが設けられる。本実施形態においては、基礎ストリームループを追加で定義してアグリゲーション情報を提供する。アグリゲーション情報は、既存の基礎ストリームループと違って、同一の伝送ストリーム内で提供されないメディアデータを指定することができる。すなわち、図５に示すように、ＰＭＴ内には、ビデオデータ（Ｖ）に対する情報を含む基礎ストリームループ１、オーディオデータ（Ａ）に対する情報を含む基礎ストリームループ２、第２ストリーム内のデータ（Ｄ）に対するアグリゲーション情報３０を含む基礎ストリームループ３が含まれる。
【００４６】
基礎ストリームループ１には、ビデオストリームタイプ情報（ＶＩＤＥＯ  ＳＴＲＥＡＭ  ＴＹＰＥ）、ＰＩＤ情報（ＶＩＤＥＯ  ＰＩＤ）及びビデオ記述子情報（ＶＩＤＥＯ  ＤＥＳＣＲＩＰＴＯＲ）等が含まれてよい。基礎ストリームループ２には、オーディオ基礎ストリーム（Ａ）に対するストリームタイプ情報（ＡＵＤＩＯ  Ｓｔｒｅａｍ＿ｔｙｐｅ）、ＰＩＤ情報（ＡＵＤＩＯ  ＰＩＤ）及びオーディオ記述子情報（ＡＵＤＩＯ  Ｄｅｓｃｒｉｐｔｏｒ）等が含まれてよい。基礎ストリームループ３に含まれるアグリゲーション情報３０は、他ストリームを通じて提供されるデータの種類、データの伝送形態、データの区分子、ＰＩＤ、ＵＲＬ、マニフェスト情報のうち、少なくとも一つを含んでよい。
【００４７】
データの種類とは、他ストリーム内で結合されるデータの種類を指定するものとして、ビデオ、イメージベクトルグラフィック、テキスト、タイムドテキスト（Ｔｉｍｅｄ  Ｔｅｘｔ）、オーディオ、スピーチ（ｓｐｅｅｃｈ）、場面記述子（Ｓｃｅｎｅ  Ｄｅｓｃｒｉｐｔｏｒ）、ウェブコンテンツ（Ｗｅｂ  ｃｏｎｔｅｎｔｓ）、アプリケーション（ａｐｐｌｉｃａｔｉｏｎ）、メタデータ等であってよい。データの伝送形態とは、他ストリーム内におけるデータの伝送フォーマットを示すものとして、ＴＳ（Ｔｒａｎｓｐｏｒｔ  Ｓｔｒｅａｍ）、ＴＳ  ｏｖｅｒ  ＩＰ、ＩＰ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）等であってよい。データの区分子は、データを区分するためのものとして、チャネル周波数（ｃｈａｎｎｅｌ  ｆｒｅｑｕｅｎｃｙ）、オリジナルネットワークＩＤ（ｏｒｉｇｉｎａｌ  ｎｅｔｗｏｒｋ  ｉｄ）、ネットワークＩＤ（ｎｅｔｗｏｒｋ  ｉｄ）、伝送ストリームＩＤ（ＴＳＩＤ）等を含む。その他に、ＰＩＤは、他経路を通じて伝送されるストリーム内のデータを指定する基礎ＰＩＤ（ｅｌｅｍｅｎｔａｒｙ＿ＰＩＤ）であってよく、ＵＲＬ情報またはマニフェスト情報は、当該データを提供するソースを指定するための情報であってよい。
【００４８】
一方、第２ストリームを提供するソースに対する情報は、第２ストリームを伝送するプロトコルの種類の応じて異なってよい。仮に、第２ストリームは、ＲＴＰやＨＴＴＰのようなプロトコルを用いて送信されるリアルタイムストリームであってよい。このうち、ＨＴＴＰを利用する場合には、メタデータが提供されなければならないため、アグリゲーション情報には、このようなメタデータを獲得できるソースに対するアドレス情報が含まれてよい。
【００４９】
メタデータは、マルチメディアコンテンツをどこから受信することができるかを報知するための情報である。メタデータファイルは、ＨＴＴＰ基盤ストリーミングの種類に応じて多様に区分されてよい。すなわち、スムースストリーミング（ｓｍｏｏｔｈ  Ｓｔｒｅａｍｉｎｇ）方式の場合、ＩＳＭ（Ｉｎｔｅｒｎｅｔ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｓｅｒｖｉｃｅ（ＩＩＳ）  Ｓｍｏｏｔｈ  Ｓｔｒｅａｍｉｎｇ  Ｍｅｄｉａ）ファイルがメタデータファイルとして使用される。ＩＥＴＦ（Ｉｎｔｅｒｎｅｔ  Ｅｎｇｉｎｅｅｒｉｎｇ  Ｔａｓｋ  Ｆｏｒｃｅ）
ＨＴＴＰライブストリーミング（ｌｉｖｅ  Ｓｔｒｅａｍｉｎｇ）方式の場合には、ｍ３ｖ８ファイルがメタデータファイルとして使用され、３ＧＰＰで採用された適応的（ａｄａｐｔｉｖｅ）ＨＴＴＰストリーミングＲｅｌ．９や、ＯＩＰＦで採用された適応的ＨＴＴＰストリーミングＲｅｌ．２、ＭＰＥＧで採用されたＤｙｎａｍｉｃ  ａｄａｐｔｉｖｅ  ｓｔｒｅａｍｉｎｇ  ｏｖｅｒ  ＨＴＴＰ方式の場合には、ＭＰＤ（Ｍｅｄｉａ  Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｄｅｓｃｒｉｐｔｉｏｎ）がメタデータファイルとして使用されてよい。メタデータファイルには、複数の分離された各ファイルに相応のコンテンツ時間上の位置、当該ファイルを提供するソースのＵＲＬ、大きさ等、クライアントが予め知っておくべき情報等が盛り込まれていてよい。
【００５０】
図５においては、第１ストリーム１１内のＰＭＴで基礎ストリーム３（ＥＳ  ｌｏｏｐ  ３）を用いて第２ストリーム２１内のデータＤを指定した状態を示している。図５のストリームを受信した受信装置は、ＰＭＴ内のアグリゲーション情報に応じてビデオデータＶ、オーディオデータＡ、データＤを組み合わせて処理する。
【００５１】
図６は、ＰＭＴ及びＥＳループの構成例を示す図である。図６によると、プログラムマップテーブル内には、プログラムナンバー（ｐｒｏｇｒａｍ  ｎｕｍｂｅｒ）、バージョンナンバー（ｖｅｒｓｉｏｎ  ｎｕｍｂｅｒ）、セクションナンバー（ｓｅｃｔｉｏｎ  ｎｕｍｂｅｒ）、各種インディケータとリザーブ領域（ｒｅｓｅｒｖｅｄ）そして、ＥＳループ４１、４２、４３、４４が設けられる。
【００５２】
この中のＥＳループ１、２（４１、４２）は、既存の受信装置で解釈可能な情報であり、ＥＳループ３、４（４３、４４）は、新規の受信装置で解釈可能な情報である。ＥＳループの数は、構成するメディアの数に応じて定められる。各ＥＳループ内のストリームタイプ及び記述子（ｄｅｓｃｒｉｐｔｏｒ）を通じてメディアの属性を提供することができる。
【００５３】
他経路で伝送されるストリームに対しては、ＥＳループ３、４内で新規のストリームタイプで定義されるため、新規のストリームタイプを認識できない既存の受信装置は当該ＥＳループを無視する。それにより、従来の受信装置と下位互換性が保持されることができる。
【００５４】
ＥＳループ３（４３）には、Ｖｅｃｔｏｒ  ＧｒａｐｈｉｃタイプのストリームがＴＳ  ｏｖｅｒ  ＩＰ形態で伝送されるという内容及びそのデータ識別子を含むアグリゲーション情報３１が含まれる。そして、ＥＳループ４（４４）には、タイムドテキスト（Ｔｉｍｅｄ  Ｔｅｘｔ）タイプのストリームがＴＳ  ｏｖｅｒ  ＩＰ形態で伝送される内容及びそのデータ記述子（ｄｅｓｃｒｉｐｔｏｒ）を含むアグリゲーション情報３２が含まれる。
【００５５】
新規のストリームタイプを認識することができる受信装置は、プログラムマップテーブルが提供するプログラム単位を構成するために、基礎ストリームループ３、４内の情報を用いて他経路で伝送されたデータを取り込んだり、連動させて再生することができる。
【００５６】
図７は、他経路のメディアを指定するためのアグリゲーション情報が含まれたＥＳループの構成例を具体的に示す図である。図７によると、ＥＳループ内には、ストリームタイプ、基礎ＰＩＤ、伝送タイプ、記述子（ｈｙｂｒｉｄ＿ｄｅｓｃｒｉｐｔｏｒ）、ＵＲＬ（ｌｉｎｋｅｄ  ＵＲＬ）、オリジナルネットワークＩＤ、ネットワークＩＤ、ＴＳＩＤ等のような多様なアグリゲーション情報が記述される。
【００５７】
図８は、通信網で伝送されるストリームがＴＳ  ｏｖｅｒ  ＩＰ形態で構成される場合を示す図である。図８によると、放送網を通じて伝送されるストリーム（ａ、ｂ）には、ＰＡＴ、ＰＭＴ及び各種基礎ストリームが含まれる。このうち、ＰＭＴ部分に上述のように、アグリゲーション情報が含まれてよい。一方、通信網を通じて伝送されるストリーム（ｃ）は、ＴＳがＩＰパケット化され、ＩＰヘッダが付いている状態で伝送される。図８で、ＴＳＩＤ＝ＸＸであるストリーム（ａ）のＰＭＴでＶｉｄｅｏ  １−１、Ａｕｄｉｏ  １−２とともに、ストリーム（ｃ）のＰｒｉｖａｔｅ  １−３を指定しているとしたら、ストリーム（ａ）のＶｉｄｅｏ  １−１、Ａｕｄｉｏ  １−２、ストリーム（ｃ）のＰｒｉｖａｔｅ  １−３が組み合わせられて併せて処理される。このようなデータは、相互連動して再生されなければならないデータであってよい。仮に、左眼映像と右眼映像または一つの場面（ｓｃｅｎｅ）を構成するビデオデータ、オーディオデータ、字幕データ等が相互連動して再生されなければならないデータであってよい。
【００５８】
図９は、通信網で伝送されるストリームがＩＰ形態で構成される場合を示す図である。図９によると、放送網を通じて伝送されるストリーム（ａ、ｂ）には、ＰＡＴ、ＰＭＴとともに各種基礎ストリームが含まれる。一方、通信網を通じて伝送されるストリーム（ｃ）には、ビデオデータ、ベクトルグラフィック、タイムドテキスト、アプリケーション等のような多様なデータがＩＰパケット化されて含まれる。各パケットには、ＩＰヘッダが付き、データはＩＰペイロード部分に記録される。図９でも、ストリーム（ａ、ｂ）内のＰＭＴに記録されたアグリゲーション情報に応じてＩＰパケット内のデータとストリーム（ａ、ｂ）内の基礎ストリームデータが組み合わせられて処理されてよい。
【００５９】
図１０は、アグリゲーション情報がＰＭＴに含まれて伝送される実施形態に係るデータ処理部の構成例を示すブロック図である。図１０によると、データ処理部１３０は、第１デマルチプレクサ部１３１と、連動制御部１３２と、第２及び第３デマルチプレクサ部１３３、１３４と、第１ないし第３デコーダ１３５、１３６、１３７及びレンダリング部１３８を含む。
【００６０】
図１０の実施形態では、通信網を通じて受信される伝送ストリームが放送網を通じて受信される伝送ストリームに従属的な関係を有する場合を示す。仮に、一つのマルチメディアデータサイズが大きいため、放送網を通じて全て受信することが困難な場合、データを分けて一部のデータを通信網を通じて伝送する場合があってよい。このような場合には、通信網を通じて伝送するデータを提供するソースに対する情報をアグリゲーション情報に含めて放送網を通じて先に伝送することができる。それにより、図１０では、第１デマルチプレクサ部１３１を用いて放送網を通じて受信されたストリームを先にデマルチプレキシングし、そこから検出されたアグリゲーション情報を用いて残りのストリームを受信する。
【００６１】
図１０において、ストリーム＃１（１１）は、放送網を通じて受信されるストリームであり、ストリーム＃２、＃３（２１、３１）は、通信網を通じて受信されるストリームを意味する。すなわち、図４の第２受信部１２０は、通信網を通じて二つ以上のストリームを受信することができる。本明細書では、説明の便宜上、放送網を通じて受信されるストリームを第１ストリームとし、通信網を通じて受信されるストリームを第２ストリームとする。図１０では、ストリーム＃２、＃３が第２ストリームに該当する。
【００６２】
第１デマルチプレクサ部１３１は、第１ストリーム１１をデマルチプレキシングしてデータ及びアグリゲーション情報を検出する。データは、ビデオ、オーディオ、一般データ、付加データ、字幕データ等のように多様に設けられてよく、これらの各データは、ＰＩＤに応じて第１デマルチプレクサ部１３１でデマルチプレキシングされる。
【００６３】
第１デマルチプレクサ部１３１は、第１ストリーム１１内のＰＭＴ部分でアグリゲーション情報を検出し、連動制御部１３２に提供する。
【００６４】
連動制御部１３２は、アグリゲーション情報に応じて第２ストリームを受信するように第２受信部１２０を制御する。すなわち、連動制御部１３２は、アグリゲーション情報内に含まれたＵＲＬ情報またはマニフェスト情報を用いて、第２ストリームのソースにアクセスして第２ストリームを受信するように第２受信部１２０を制御する。
【００６５】
第２受信部１２０は、連動制御部１３２の制御に応じて、ストリーム＃２、＃３（２１、３１）を受信する。第２デマルチプレクサ部１３３は、第２受信部１２０で受信されたストリーム＃２（２１）からデータを検出する。そして、第３デマルチプレクサ部１３４は、ストリーム＃３（３１）からデータを検出する。
【００６６】
第１デコーダ部１３５と、第２デコーダ部１３６及び第３デコーダ部１３７は、各々ストリーム＃１（１１）、ストリーム＃２（２１）、ストリーム＃３（３１）からデマルチプレキシングされたデータをデコードする。すなわち。第１デマルチプレクサ部１３１、第２デマルチプレクサ部１３３及び第３デマルチプレクサ部１３４から検出されたデータを提供され、デコードを行う。図１０では、ストリーム別に一つのデコーダ部がマッチングされるものとして示しているが、ビデオデータ、オーディオデータ、一般データ等のようにデータの種類に応じて異なるデコーダ部が設けられる。
【００６７】
レンダリング部１３８は、第１ないし図３デコーダ部１３５、１３６、１３７でデコードされた各データのうち、アグリゲーション情報によって指定されたデータを組み合わせてレンダリング処理する。レンダリング部１３８の動作は、連動制御部１３３によって制御されてよい。すなわち、連動制御部１３２がアグリゲーション情報を確認し、確認の結果に応じてレンダリング部１３８を制御してデータを組み合わせることができる。
【００６８】
レンダリング部１３８は、処理されたデータを出力部１４０に提供して出力する。図１０では、ディスプレイユニットを通じて出力される画面を示しているが、組み合わせられたデータにオーディオデータが含まれた場合には、スピーカを通じて音響信号も出力されることができることは言うまでもない。
【００６９】
図１０では、３つのストリームが受信され、アグリゲーション情報によって各伝送ストリーム内のデータが組み合わせられることを説明してきたが、伝送ストリームの数は必ずしもそれに限定されるものではない。すなわち、２つのストリームのみが受信されて組み合わせられてよく、この場合には、デマルチプレクサ部、デコーダ部の数はそれぞれ２つで実現されてよい。
【００７０】
以下では、アグリゲーション情報が第１ストリームのプログラムマップテーブルにのみ含まれた場合として説明したが、アグリゲーション情報は第１及び第２ストリームのプログラムマップテーブルに併せて含まれてよく、第２ストリームのプログラムマップテーブルのみに含まれてよい。
【００７１】
なお、以下では、アグリゲーション情報がストリームのプログラムマップテーブル内の基礎ストリームループに記録されて提供される実施形態を説明してきたが、アグリゲーション情報はそれと異なる方式で提供されてよい。
【００７２】
すなわち、第２例として、アグリゲーション情報を記録した新規領域をストリーム内に設けて提供することができる。
【００７３】
図１１は、マルチメディア接続テーブルを用いてアグリゲーション情報を伝達する方式を説明するための図である。マルチメディア接続テーブル（Ｍｕｌｔｉｍｅｄｉａ  Ａｓｓｏｃｉａｔｉｏｎ  Ｔａｂｌｅ：ＭＡＴ）とは、他経路を通じて伝達されるデータを組み合わせるために、新たに定義されたテーブルを意味する。マルチメディア接続テーブルは、ＰＡＴの上位レベルに配置され、既存のＰＡＴ、ＰＭＴ機能を含むことができる。
【００７４】
図１１によると、マルチメディア接続テーブル５０は、組み合わせるデータに対する情報を各々記録された基礎ストリームループ５１、５２、５３を含む。基礎ストリームループ３（５３）には、第２ストリーム２１に含まれたデータＤを指定するアグリゲーション情報が含まれる。
【００７５】
図１２は、マルチメディア接続テーブル５０の構成の一例を示す。図１２によると、マルチメディア接続テーブル５０内には、各種インディケータ及びバージョンナンバー、セクションナンバーを初め、ＥＳループが記録される。既存の受信装置は、マルチメディア接続テーブル５０を認識することができずバイパスさせ、新規の受信装置はそれを認識して新たな単位のプログラムを構成することができるようになる。
【００７６】
図１３は、マルチメディア接続テーブル５０が含まれたストリーム及び他ストリームの構成を示す。図１３によると、放送網及び通信網を通じて受信されるストリーム（ａ、ｂ、ｃ）のうち、第１ストリーム（ａ）内にＭＡＴ５０が記録される。通信網を通じて受信されるストリーム（ｃ）は、ＴＳ  ｏｖｅｒ  ＩＰタイプのパケットを含む。
【００７７】
図１４は、図１３のストリームのマルチメディア接続テーブル５０を用いてビデオデータ１−１、１−２、１−３、オーディオデータ１−２、１−３、プライベートデータ１−１、１−２、１−３を組み合わせた状態を示す。
【００７８】
そして、図１５は、マルチメディア接続テーブル５０が含まれたストリーム及び他ストリームの構成を示す。図１５では、通信網を通じて受信されるストリーム（ｃ）はＩＰタイプのパケットを含む。
【００７９】
図１６は、図１５のストリームのマルチメディア接続テーブル５０を用いてビデオデータ、ビデオデータ１−１、１−２、オーディオデータ１−１、１−２、アプリケーション、タイムドテキスト、プライベートデータ１−３を組み合わせた状態を示す。
【００８０】
図１３ないし図１６に示すように、マルチメディア接続テーブル５０を用いて互いに異なる経路のストリーム内のデータを組み合わせることができるようになる。図１３、図１５では、マルチメディア接続テーブル５０が一つのストリーム（ａ）にのみ含まれているものとして示しているが、全ストリーム（ａ、ｂ、ｃ）または他ストリーム（ｂ、ｃ）にのみ含まれていてよい。
【００８１】
図１７は、マルチメディア接続テーブル５０を用いてアグリゲーション情報を伝送する実施形態におけるデータ処理部１３０の構成例を示すブロック図である。
【００８２】
図１７によると、受信装置１００には、保存部１５０が更に含まれてよい。保存部１５０には、各受信部１１０、１２０で受信されたストリーム＃１、＃２、＃３（１１、２１、３１）が保存される。図１０に示す実施形態と違って、図１７では、ストリームが予め受信されて保存されていてよい。すなわち、図１７では、各ストリームのデータが互いに関連性はあるが、従属的ではない場合に対するデータ処理部１３０の構成を示す。仮に、野球中継放送を伝送する場合、ストリーム＃１では、投手観点から撮ったビデオデータとオーディオデータ等を伝送し、ストリーム＃２、＃３では各々キャッチャ観点または１塁手観点から撮ったビデオデータとオーディオデータ等を伝送することができる。このような場合、受信装置１００は、アグリゲーション情報を用いて各データを組み合わせた後、組み合わせられたデータを互いに異なる画面領域に表示し、ユーザが多様な観点からコンテンツを視聴するようにすることもでき、または、ユーザの選択に応じて特定データのみを再生することもできる。このように、互いに関連性はあるが、独立して再生可能なデータを処理する場合には、データ処理部１３０は、図１７のように構成されてよい。
【００８３】
図１７によると、第１デマルチプレクサ部１３１と、第２デマルチプレクサ部１３３及び第３デマルチプレクサ部１３４は、各々ストリーム＃１、＃２、＃３（１１、２１、３１）を受信してデマルチプレキシングする。各ストリームに全部マルチメディア接続テーブルが含まれている場合、第１ないし第３デマルチプレクサ部１３１、１３３、１３４ではデータとともにマルチメディア接続テーブル内のアグリゲーション情報も検出される。第１ないし第３デマルチプレクサ部１３１、１３３、１３４から各々検出されるアグリゲーション情報は、説明の便宜上、第１ないし第３アグリゲーション情報と称する。
【００８４】
検出された第１ないし第３アグリゲーション情報は、連動制御部１３２に提供される。連動制御部１３２は、第１ないし第３アグリゲーション情報を用いて、ストリーム＃１、＃２、＃３（１１、２１、３１）内で互いに組み合わせるデータを決定し、決定されたデータを組み合わせる。
【００８５】
連動制御部１３２は、組み合わせられたデータを各々第１ないし第３デコーダ部１３５、１３６、１３７に提供してデコードするように制御することができる。
【００８６】
連動制御部１３２は、動作及び各デコーダ部の構成は、実施形態に応じて異なるように実現されてよい。
【００８７】
仮に、連動制御部１３２が直接データを組み合わせる実施形態の場合には、連動制御部１３２は、アグリゲーション情報に応じてデータを組み合わせた後に、データの種類に応じてデータを区分し、対応するデコーダ部に伝達することができる。この場合、第１ないし第３デコーダ部１３５、１３６、１３７は、ビデオデコーダ、オーディオデコーダ等のように、データの種類別に設けられてよい。仮に、第１ないし第３デコーダ部１３５、１３６、１３７が各々ビデオデコーダ、オーディオデコーダ、データデコーダで実現されている場合、組み合わせられたデータのうち、ビデオデータは第１デコーダ部１３５に提供し、オーディオデータは第２デコーダ部１３６に提供し、一般データは第３デコーダ部１３７に提供することができる。
【００８８】
別の実施形態として、連動制御部１３２がレンダリング部１３８を制御してデータを組み合わせる場合には、各デコーダ部１３５、１３６、１３７は、ビデオデコーダ、オーディオデコーダ、データデコーダを全て含む形態で構成されてよい。この場合、連動制御部１３２は、ストリーム＃１、＃２、＃３（１１、２１、３１）別に第１ないし第３デコーダ部１３５、１３６、１３７をマッピングさせ、データをデコードするように制御する。連動制御部１３２は、各デコーダ部でデータデコードを行った後に、それを組み合わせてレンダリングするようにレンダリング部１３８を制御することができる。
【００８９】
レンダリング部１３８においてレンダリング処理されたデータは、出力部１４０によってディスプレイユニット及びスピーカのうち少なくとも一方を通じて出力される。
【００９０】
以上のような実施形態において、マルチメディア接続テーブル内に含まれるアグリゲーション情報も上述のように、データの種類、データの伝送形態、データの区分子、ＰＩＤ、ＵＲＬ、マニフェスト情報のうち、少なくとも一つを含んでよい。それについては、上述の別の実施形態において具体的に説明しているため、繰り返し説明は省略する。
【００９１】
図１８は、本発明の一実施形態に係るストリーム処理方法を説明するためのフローチャートである。図１８によると、受信装置は、第１ストリームを放送網を通じて受信する（Ｓ１８１０）。受信装置は、受信された第１ストリームからデータ及びアグリゲーション情報を検出する（Ｓ１８２０）。アグリゲーション情報は、上述の多様な実施形態で説明したように、プログラムマップテーブル内のＥＳループに記録されてよく、別途に設けられたマルチメディア接続テーブルに記録されてよい。アグリゲーション情報の配置位置、内容、フォーマットについては、既に具体的に説明しているため、繰り返し説明は省略する。
【００９２】
受信装置は、検出されたアグリゲーション情報に応じて第２ストリームを提供するソースにアクセスして通信網を通じて第２ストリームを受信する（Ｓ１８２０）。そして、受信された第２ストリーム内でアグリゲーション情報によって指定されたデータを検出し、検出されたデータをデコードする（Ｓ１８４０）。指定されたデータか否かは、ＰＩＤを用いて確認することができる。すなわち、アグリゲーション情報内に含まれたＰＩＤを有するパケットを検出し、デコードする。指定されていない残りのデータは、廃棄することもでき、別途のメモリに保存しておくこともできる。
【００９３】
受信装置は、指定されたデータが全て受信されてデコードされると、デコードされた各データを組み合わせて（Ｓ１８５０）、出力する（Ｓ１８６０）。受信装置は、ビデオデータのみ組み合わせられた場合なら、画面上にディスプレイし、オーディオデータのみ組み合わせられた場合には、スピーカを通じて音響信号を出力し、ビデオ及びオーディオデータ等が組み合わせられた動画データである場合には、各データの出力時点を同期化させ、ディスプレイユニット及びスピーカを通じて各々出力することができる。
【００９４】
図１９は、本発明の別の実施形態に係る受信装置のストリーム処理方法を説明するためのフローチャートである。図１９によると、受信装置は第１及び第２ストリームを受信する（Ｓ１９１０）。このような状態で、第１及び第２ストリームのうち、少なくとも一つからアグリゲーション情報が検出されると、検出されたアグリゲーション情報を用いてデータを組み合わせる（Ｓ１９２０）。そして、組み合わせられたデータを出力する（Ｓ１９３０）。アグリゲーション情報は、上述のように、プログラムマップテーブルまたはマルチメディア接続テーブルを用いて伝送されることができる。
【００９５】
図２０は、図１９のストリーム処理方法でデータを処理する過程を具体的に説明するためのフローチャートである。図２０によると、受信された第１及び第２ストリームを各々保存する（Ｓ２０１０）。
【００９６】
受信装置は、保存された各ストリームをデマルチプレキシングし（Ｓ２０２０）、アグリゲーション情報を検出し、アグリゲーション情報を用いて組み合わせるデータを決定する（Ｓ２０３０）。そして、決定されたデータを互いに組み合わせた後（Ｓ２０４０）、デコードを行う（Ｓ２０５０）。それにより、デコードされた各データに対してレンダリング等のような適切な信号処理プロセスを適用し（Ｓ２０６０）、出力可能なフォーマットの出力データを生成する。それにより、ディスプレイユニット及びスピーカのうち少なくとも一方で出力データを提供し、出力する。本実施形態に係る受信装置の動作に対しては、図１７で具体的に説明しているため、これ以上の具体的な説明は省略する。
【００９７】
図２１は、本発明の一実施形態に係る送信装置の構成を示すブロック図である。図２１によると、送信装置３００は、ＥＳ生成部３１０と、情報生成部３２０と、ＴＤ生成部３３０及び伝送部３４０を含む。図２１の送信装置３００は、放送局に備えられた放送送信装置またはウェブサーバ等で実現されてよい。
【００９８】
ＥＳ生成部３１０は、データを含む基礎ストリームを生成する。基礎ストリームに含まれるデータは上述のように、ビデオ、イメージベクトルグラフィック、テキスト、タイムドテキスト（Ｔｉｍｅｄ  Ｔｅｘｔ）、オーディオ、スピーチ（ｓｐｅｅｃｈ）、場面記述子（Ｓｃｅｎｅ  Ｄｅｓｃｒｉｐｔｏｒ）、ウェブコンテンツ（Ｗｅｂ  ｃｏｎｔｅｎｔｓ）、アプリケーション（ａｐｐｌｉｃａｔｉｏｎ）、メタデータ等のように、多様な形で実現されてよい。ＥＳ生成部３１０は、コンテンツ制作業者等のような多様な外部ソースからデータを受信して基礎ストリームを生成することができる。
【００９９】
情報生成部３２０は、基礎ストリームに対する情報を生成する。
【０１００】
第１実施形態によると、情報生成部３２０は、基礎ストリームに対するプログラムマップテーブル情報を生成する。そして、基礎ストリーム内のデータと組み合わせられる他データに対するアグリゲーション情報を生成してプログラムマップテーブル情報内の基礎ストリームループに記録する。なお、情報生成部３２０は、プログラムマップテーブルに対する情報を含むプログラム接続テーブル情報も生成する。上述で既に説明しているように、アグリゲーション情報は、前記他データの種類、伝送形態、データの区分子、ＰＩＤ、ＵＲＬ、マニフェスト情報のうち、少なくとも一つを含んでよい。アグリゲーション情報は、当該プログラムまたはコンテンツを提供する業者が直接提供することができる。
【０１０１】
ＴＳ生成部３３０は、基礎ストリーム、プログラムマップテーブル情報、プログラム接続テーブル情報を含む伝送ストリームを生成する。
【０１０２】
または、第２実施形態によると、情報生成部３２０は、基礎ストリームに対するプログラムマップテーブル情報、プログラム接続テーブル情報を生成した後、基礎ストリーム内のデータに関連する他データに対するアグリゲーション情報を含むマルチメディア接続テーブル（Ｍｕｌｔｉｍｅｄｉａ  Ａｓｓｏｃｉａｔｉｏｎ  Ｔａｂｌｅ：ＭＡＴ）を生成する。マルチメディア接続テーブルの構成及び配置方式については、上述の部分で具体的に記載しているため、繰り返し説明は省略する。
【０１０３】
ＴＳ生成部３３０は、基礎ストリーム、マルチメディア接続テーブル、プログラム接続テーブル及びプログラムマップテーブルを含む伝送ストリームを生成する。
【０１０４】
一方、ＴＳ生成部３３０内には、ＭＵＸ、ＲＳエンコーダ、インターリーバ等を備え、上述の第１及び第２実施形態によって生成された各データをマキシングしてＲＳエンコード、インターリーブ等の作業を行うことができる。
【０１０５】
伝送部３４０は、ＴＳ生成部３３０で生成された伝送ストリームを予め設定された通信規格による方式で処理して伝送する。仮に、ＡＴＳＣ規格による場合、伝送部３４０は、伝送ストリームに対してランダム化、ＲＳエンコード、インターリーブ、トレリスエンコード、フィールドシンク及びセグメントシンクマキシング、パイロット挿入、８  ＶＳＢ変調、ＲＦアップコンバーティング等の作業を行って伝送することができる。このような各処理ステップに対しては、規格文書及びその他の先行文献で既に具体的に説明しているため、これ以上の具体的な説明は省略する。一方、送信装置が通信網を通じて伝送ストリームを伝送する場合なら、伝送部３４０はＴＳ生成部３３０で生成した伝送ストリームをＩＰパケット化して伝送することもできる。
【０１０６】
図２２は、上述の第１実施形態に係る送信装置のストリーム送信方法を説明するためのフローチャートである。図２２によると、基礎ストリームを生成した後（Ｓ２２１０）、その基礎ストリーム内のデータに対する情報を含むＰＭＴを生成する（Ｓ２２２０）。ＰＭＴ内には、アグリゲーション情報が記録される（Ｓ２２３０）。図２２では、ＰＭＴを生成した後に、アグリゲーション情報を記録するように示しているが、それは説明の便宜のためのものであり、ＰＭＴ生成時にアグリゲーション情報が含まれてよい。ＰＭＴが生成されると、それに対する情報を含むＰＡＴを生成し、基礎ストリーム、ＰＭＴ、ＰＡＴ等を含む伝送ストリームを生成した後（Ｓ２２４０）、伝送する（Ｓ２２５０）。
【０１０７】
図２３は、上述の第２実施形態に係る送信装置のストリーム送信方法を説明するためのフローチャートである。
【０１０８】
図２３によると、基礎ストリームを生成した後（Ｓ２３１０）、ＰＭＴ及びＰＡＴを順次に生成する（Ｓ２３２０）。そして、アグリゲーション情報を含むＭＡＴを生成する（Ｓ２３３０）。それから、これらの情報及び基礎ストリームを全て含む伝送ストリームを生成する（Ｓ２３４０）。生成された伝送ストリームは、定められた通信規格に応じて処理されて伝送される（Ｓ２３５０）。
【０１０９】
以上のような本発明の多様な実施形態によると、一つのプログラム単位を構成するための複数のメディアデータを互いに異なる経路を通じて伝送しつつ、アグリゲーション情報を併せて提供し、受信装置が適切にデータを組み合わせて処理することができるようにする。
【０１１０】
これにより、左眼映像と右眼映像、ビデオデータとオーディオデータ等のように、互いに連動して再生されるべき類型のデータだけでなく、互いに関連性はあるが独立して再生可能な類型のデータについても、上述の方式で相互組み合わせて処理することができるようになる。
【０１１１】
上述の本発明の多様な実施形態に係る方法を実行するためのプログラムは、多様な記録媒体に保存されて使用されてよい。
【０１１２】
具体的には、上述の方法を実行するためのコードは、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、フラッシュメモリ、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｏｎｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  ａｎｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）、レジスタ、ハードディスク、リムーバブルディスク、メモリカード、ＵＳＢメモリ、ＣＤ−ＲＯＭなどのように、端末機で読取可能な多様な記録媒体に保存されていてよい。
【０１１３】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明は以上の実施形態に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的趣旨の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【図１】
2014515905.tif 000003
【図２】
2014515905.tif 000004
【図３】
2014515905.tif 000005
【図４】
2014515905.tif 000006
【図５】
2014515905.tif 000007
【図６】
2014515905.tif 000008
【図７】
2014515905.tif 000009
【図８】
2014515905.tif 000010
【図９】
2014515905.tif 000011
【図１０】
2014515905.tif 000012
【図１１】
2014515905.tif 000013
【図１２】
2014515905.tif 000014
【図１３】
2014515905.tif 000015
【図１４】
2014515905.tif 000016
【図１５】
2014515905.tif 000017
【図１６】
2014515905.tif 000018
【図１７】
2014515905.tif 000019
【図１８】
2014515905.tif 000020
【図１９】
2014515905.tif 000021
【図２０】
2014515905.tif 000022
【図２１】
2014515905.tif 000023
【図２２】
2014515905.tif 000024
【図２３】
2014515905.tif 000025
【国際調査報告】
2014515905.tif 000026
2014515905.tif 000027