(57)【要約】  左眼映像および第１同期化情報を含む第１信号と、右眼映像および第２同期化情報を含む第２信号とを互いに異なる経路を通じて受信する受信部と、第１同期化情報および第２同期化情報を用いて、左眼映像および右眼映像を同期化させて再生する信号処理部とを含む。第１および第２同期化情報は、コンテンツスタート情報、第１データおよび第２データの間のタイムスタンプ差異値、フレームインデックス、タイムコード情報、ＵＴＣ情報、フレームカウント情報のうち、少なくとも一つが使用されてよい。それにより、互いに異なるデータの同期化を効果的に行うことができる。
2014504083.tif 000002
【特許請求の範囲】
【請求項１】
左眼映像および第１同期化情報を含む第１信号と、右眼映像および第２同期化情報を含む第２信号とを互いに異なる経路を通じて受信する受信部と、
前記第１同期化情報および前記第２同期化情報を用いて、前記左眼映像および前記右眼映像を同期化させて再生する信号処理部と
を含む受信装置。
【請求項２】
前記第１同期化情報および前記第２同期化情報は、
前記左眼映像および前記右眼映像で構成されるコンテンツの開始時点を報知するコンテンツスタート情報を含むことを特徴とする請求項１に記載の受信装置。
【請求項３】
前記信号処理部は、
前記コンテンツの開始時点と、前記左眼映像のタイムスタンプおよび前記右眼映像のタイムスタンプをそれぞれ比較し、比較結果に応じて、前記左眼映像のタイムスタンプおよび前記右眼映像のタイムスタンプのうち、少なくとも一方を補正して同期化させることを特徴とする請求項２に記載の受信装置。
【請求項４】
前記第１同期化情報および前記第２同期化情報は、それぞれ前記左眼映像のタイムスタンプおよび前記右眼映像のタイムスタンプの間の差異値を含み、
前記信号処理部は、
前記差異値を用いて、前記左眼映像のタイムスタンプおよび前記右眼映像のタイムスタンプのうち、少なくとも一方を補正して同期化させることを特徴とする請求項１に記載の受信装置。
【請求項５】
前記第１同期化情報は、前記左眼映像のフレームインデックスを含み、
前記第２同期化情報は、前記右眼映像のフレームインデックスを含み、
前記信号処理部は、
前記左眼映像のフレームインデックスおよび前記右眼映像のフレームインデックスを比較し、同じフレームインデックスを有する左眼映像および右眼映像が同期化するように処理することを特徴とする請求項１に記載の受信装置。
【請求項６】
前記第１同期化情報は、前記左眼映像のタイムコードを含み、
前記第２同期化情報は、前記右眼映像のタイムコードを含み、
前記信号処理部は、
前記左眼映像のタイムコードおよび前記右眼映像のタイムコードを比較し、同じタイムコードを有する左眼映像および右眼映像が同期化するように処理することを特徴とする請求項１に記載の受信装置。
【請求項７】
前記第１同期化情報および前記第２同期化情報は、ＵＴＣ（Ｃｏｏｒｄｉｎａｔｅｄ  Ｕｎｉｖｅｒｓａｌ  Ｔｉｍｅ）情報を含み、
前記信号処理部は、前記ＵＴＣ情報を比較して同じＵＴＣを有する左眼映像および右眼映像が同期化するように処理することを特徴とする請求項１に記載の受信装置。
【請求項８】
前記第１信号および前記第２信号のうち、少なくとも一方を分析してルックアップテーブルを生成する信号分析部と、
前記ルックアップテーブルを保存する保存部と、
前記ルックアップテーブルに応じて、互いにマッチングする左眼映像および右眼映像を同期化させて再生するように前記信号処理部を制御する制御部と
を含み、
前記第１信号および前記第２信号のうち、少なくとも一方はリアルタイム伝送ストリームであることを特徴とする請求項１ないし７のいずれか一項に記載の受信装置。
【請求項９】
マルチメディアコンテンツを構成する第１データおよび、前記マルチメディアコンテンツを構成する第２データとの同期化のための同期化情報を含む伝送データを生成するデータ生成部と、
前記データ生成部から提供される伝送データを伝送信号に変換して受信装置に伝送する伝送部と
を含む送信装置。
【請求項１０】
前記同期化情報は、
前記マルチメディアコンテンツの開始地点を報知するコンテンツスタート情報、前記第１データおよび前記第２データの間のタイムスタンプ差異値、フレームインデックスのうち、少なくとも一つを含むことを特徴とする請求項９に記載の送信装置。
【請求項１１】
前記データ生成部は、
前記第１データおよびシグナリング情報を入力される入力部と、
前記第１データをエンコードし、前記シグナリング情報を用いて前記同期化情報を生成して、前記エンコードされた第１データに付加する符号化処理部と、
前記符号化処理部から生成されたデータに付加データをマルチプレキシングして前記伝送データを生成する多重化部と
を含むことを特徴とする請求項１０に記載の送信装置。
【請求項１２】
前記第１データは、少なくとも一つの映像フレームに対するデータを含み、
前記同期化情報は、
前記映像フレームのタイムコード情報であることを特徴とする請求項９に記載の送信装置。
【請求項１３】
前記第１データは、３Ｄフレームを構成するための左眼映像および右眼映像のうち、いずれか一方を含み、前記第２データは、前記左眼映像および前記右眼映像のうち、いずれか他方を含むことを特徴とする請求項９ないし１２のいずれか一項に記載の送信装置。
【請求項１４】
前記第１データは、前記マルチメディアコンテンツを構成するビデオデータ、オーディオデータ、字幕データおよび付加データのうち、少なくとも一つのデータを含み、
前記第２データは、前記ビデオデータ、オーディオデータ、字幕データおよび付加データのうち、残りのデータを含むことを特徴とする請求項９ないし１２のいずれか一項に記載の送信装置。
【請求項１５】
マルチメディアコンテンツを再生する再生方法において、
マルチメディアコンテンツを構成する第１データおよび第１同期化情報を含む第１信号と、前記マルチメディアコンテンツを構成する第２データおよび第２同期化情報を含む第２信号とを互いに異なる経路を通じて受信するステップと、
前記第１同期化情報および前記第２同期化情報を用いて、前記第１データおよび前記第２データを同期化させ、前記マルチメディアコンテンツを再生するステップと
を含み、
前記第１同期化情報および前記第２同期化情報は、
前記マルチメディアコンテンツの開始地点を報知するコンテンツスタート情報、前記第１データおよび前記第２データの間のタイムスタンプ差異値、フレームインデックス、タイムコード情報、ＵＴＣ情報、フレームカウント情報のうち、少なくとも一つをそれぞれ含むことを特徴とする再生方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチメディアコンテンツを送受信する送信装置および受信装置、その再生方法に関し、より詳細には、一つのマルチメディアコンテンツを互いに異なる経路を通じて送受信する送信装置および受信装置、その再生方法に関する。
【背景技術】
【０００２】
電子技術の発達により、多様な電子装置が開発および普及されている。これらの電子装置の代表的な例としてテレビのような受信装置を挙げることができる。
【０００３】
最近は、テレビの性能が向上するにつれて、３Ｄコンテンツのようなマルチメディアコンテンツまでもサービスされている。３Ｄコンテンツは、左眼映像および右眼映像を含むため、既存の２Ｄコンテンツよりコンテンツのサイズが大きい。
【０００４】
しかし、放送網で使用される伝送帯域幅は制限的である。単一放送網において、３Ｄコンテンツを提供するためには、解像度を減らす必要があり、それにより、画質が劣化するという問題点があった。
【０００５】
このような問題点を克服するために、左眼映像および右眼映像を互いに異なる経路を通じて伝送し、受信装置でそれを組み合わせて３Ｄコンテンツを再生するようにする技術が登場している。
【０００６】
一般的に、受信装置では、各映像のタイムスタンプ、すなわち、ＰＴＳを参照して左眼映像および右眼映像を同期化させる。よって、同期化が正常に行われるためには、両映像のタイムスタンプが正確に一致しなければならない。しかし、左眼映像および右眼映像を生成するための送信装置が互いに分離されているか、左眼映像および右眼映像を生成する時間が互いに異なる場合、両映像のタイムスタンプが正確に一致することは困難である。それにより、同期化が困難になるという問題点があった。
【０００７】
よって、高解像度のマルチメディアコンテンツが受信装置で効果的に再生できるようにする技術の必要性が生じてきた。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、互いに異なるデータを互いに異なる経路を通じて送受信しつつ、そのデータを同期化させることができる同期化情報を併せて提供してデータを再生できるようにする送信装置および受信装置、その再生方法を提供することにある。
【課題を解決するための手段】
【０００９】
以上のような目的を達成するための本発明の一実施形態に係る受信装置は、左眼映像および第１同期化情報を含む第１信号と、右眼映像および第２同期化情報を含む第２信号とを互いに異なる経路を通じて受信する受信部と、前記第１同期化情報および前記第２同期化情報を用いて、前記左眼映像および前記右眼映像を同期化させて再生する信号処理部とを含む。
【００１０】
ここで、前記第１同期化情報および前記第２同期化情報は、前記左眼映像および前記右眼映像で構成されるコンテンツの開始時点を報知するコンテンツスタート情報を含んでよい。
【００１１】
この場合、前記信号処理部は、前記コンテンツの開始時点と、前記左眼映像のタイムスタンプおよび前記右眼映像のタイムスタンプをそれぞれ比較し、比較結果に応じて、前記左眼映像のタイムスタンプおよび前記右眼映像のタイムスタンプのうち、少なくとも一方を補正して同期化させてよい。
【００１２】
または、前記第１同期化情報および前記第２同期化情報は、それぞれ前記左眼映像のタイムスタンプおよび前記右眼映像のタイムスタンプの間の差異値を含んでよい。この場合、前記信号処理部は、前記差異値を用いて、前記左眼映像のタイムスタンプおよび前記右眼映像のタイムスタンプのうち、少なくとも一方を補正して同期化させることができる。
【００１３】
または、前記第１同期化情報は、前記左眼映像のフレームインデックスを含み、前記第２同期化情報は、前記右眼映像のフレームインデックスを含む。この場合、前記信号処理部は、前記左眼映像のフレームインデックスおよび前記右眼映像のフレームインデックスを比較し、同じフレームインデックスを有する左眼映像および右眼映像が同期化するように処理することができる。
【００１４】
または、前記第１同期化情報は、前記左眼映像のタイムコードを含み、前記第２同期化情報は、前記右眼映像のタイムコードを含む。この場合、前記信号処理部は、前記左眼映像のタイムコードおよび前記右眼映像のタイムコードを比較し、同じタイムコードを有する左眼映像および右眼映像が同期化するように処理することができる。
【００１５】
または、前記第１同期化情報および前記第２同期化情報は、ＵＴＣ（Ｃｏｏｒｄｉｎａｔｅｄ  Ｕｎｉｖｅｒｓａｌ  Ｔｉｍｅ）情報を含んでよく、この場合、前記信号処理部は、前記ＵＴＣ情報を比較して同じＵＴＣを有する左眼映像および右眼映像が同期化するように処理してよい。
【００１６】
一方、上述の受信装置は、前記第１信号および前記第２信号のうち、少なくとも一方を分析してルックアップテーブルを生成する信号分析部と、前記ルックアップテーブルを保存する保存部と、前記ルックアップテーブルに応じて、互いにマッチングする左眼映像および右眼映像を同期化させて再生するように前記信号処理部を制御する制御部とを含んでよい。ここで、前記第１信号および前記第２信号のうち、少なくとも一方はリアルタイム伝送ストリームであってよい。
【００１７】
一方、本発明の一実施形態に係る送信装置は、マルチメディアコンテンツを構成する第１データおよび、前記マルチメディアコンテンツを構成する第２データとの同期化のための同期化情報を含む伝送データを生成するデータ生成部と、前記データ生成部から提供される伝送データを伝送信号に変換して受信装置に伝送する伝送部とを含む。
【００１８】
ここで、前記同期化情報は、前記マルチメディアコンテンツの開始地点を報知するコンテンツスタート情報、前記第１データおよび前記第２データの間のタイムスタンプ差異値、フレームインデックスのうち、少なくとも一つを含んでよい。
【００１９】
そして、前記データ生成部は、前記第１データおよびシグナリング情報を入力される入力部と、前記第１データをエンコードし、前記シグナリング情報を用いて前記同期化情報を生成して、前記エンコードされた第１データに付加する符号化処理部と、前記符号化処理部から生成されたデータに付加データをマルチプレキシングして前記伝送データを生成する多重化部とを含んでよい。
【００２０】
ここで、前記第１データは、少なくとも一つの映像フレームに対するデータを含み、前記同期化情報は、前記映像フレームのタイムコード情報であってよい。
【００２１】
一方、前記第１データは、３Ｄフレームを構成するための左眼映像および右眼映像のうち、いずれか一方を含み、前記第２データは、前記左眼映像および前記右眼映像のうち、いずれか他方を含んでよい。
【００２２】
または、前記第１データは、前記マルチメディアコンテンツを構成するビデオデータ、オーディオデータ、字幕データおよび付加データのうち、少なくとも一つのデータを含み、前記第２データは、前記ビデオデータ、オーディオデータ、字幕データおよび付加データのうち、残りのデータを含んでよい。
【００２３】
一方、本発明の一実施形態に係るマルチメディアコンテンツを再生する再生方法は、マルチメディアコンテンツを構成する第１データおよび第１同期化情報を含む第１信号と、前記マルチメディアコンテンツを構成する第２データおよび第２同期化情報を含む第２信号とを互いに異なる経路を通じて受信するステップと、前記第１同期化情報および前記第２同期化情報を用いて、前記第１データおよび前記第２データを同期化させ、前記マルチメディアコンテンツを再生するステップとを含む。ここで、前記第１同期化情報および前記第２同期化情報は、前記マルチメディアコンテンツの開始地点を報知するコンテンツスタート情報、前記第１データおよび前記第２データの間のタイムスタンプ差異値、フレームインデックス、タイムコード情報、ＵＴＣ情報、フレームカウント情報のうち、少なくとも一つをそれぞれ含んでよい。
【発明の効果】
【００２４】
以上説明したように、本発明によれば、互いに異なる経路を通じて異なるデータを送受信して伝送帯域幅の制限を克服し、同期化情報を用いてデータが効果的に再生できるようにする。
【図面の簡単な説明】
【００２５】
【図１】本発明の一実施形態に係るマルチメディアコンテンツ再生システムの構成を示す図である。
【図２】本発明の一実施形態に係る受信装置の構成を示す図である。
【図３】ストリーム内のＰＭＴを用いて同期化情報を伝送する過程を説明するための図である。
【図４】ＰＭＴ内に同期化情報が挿入される方法を説明するための図である。
【図５】ＴＳアダプテーションフィールドを用いた同期化情報伝達方法を説明するための図である。
【図６】ＰＥＳヘッダを用いた同期化情報伝達方法を説明するための図である。
【図７】ＥＩＴテーブルを用いた同期化情報伝達方法を説明するための図である。
【図８】プライベートストリームを用いた同期化情報伝達方法を説明するための図である。
【図９】フレームインデックスを同期化情報として使用する実施形態におけるストリーム構成を示す図である。
【図１０】保存ファイルフォーマットにおける同期化情報挿入方法の一例を示す図である。
【図１１】伝送ストリーム内で別途のプライベートストリームを用いてフレームインデックスを提供する方法を説明するための図である。
【図１２】タイムコードを同期化情報として使用する実施形態における同期化方法を説明するための図である。
【図１３】タイムコードを伝送する方法の一例を説明するための図である。
【図１４】ＧｏＰヘッダにタイムコードを挿入した構成を説明するための図である。
【図１５】別途のプライベートストリームを用いてタイムコードを伝送した第１および第２信号を比較して同期化する方法を説明するための図である。
【図１６】本発明の別の実施形態に係る受信装置の構成を示す図である。
【図１７】ルックアップテーブルを用いた同期化方法を説明するための図である。
【図１８】フレームインデックスが記録されたルックアップテーブルを用いた同期化方法を説明するための図である。
【図１９】タイムコードを用いて同期化する受信装置の多様な構成例を示す図である。
【図２０】タイムコードを用いて同期化する受信装置の多様な構成例を示す図である。
【図２１】タイムコードを用いて同期化する受信装置の多様な構成例を示す図である。
【図２２】タイムコードを含むビデオ基礎ストリーム（Ｅｌｅｍｅｎｔａｒｙ  Ｓｔｒｅａｍ：ＥＳ）の構成を示す図である。
【図２３】タイムコードを含むオーディオ基礎ストリーム（Ｅｌｅｍｅｎｔａｒｙ  Ｓｔｒｅａｍ：ＥＳ）の構成を示す図である。
【図２４】タイムコードを含むＰＭＴ（Ｐｒｏｇｒａｍ  Ｍａｐ  Ｔａｂｌｅ）の構成を示す図である。
【図２５】本発明の一実施形態に係る送信装置の構成を示すブロック図である。
【図２６】本発明の一実施形態に係る送信装置の構成を示すブロック図である。
【図２７】プライベートストリームを用いてタイムコードを伝送する送信装置構成の一例を示すブロック図である。
【図２８】複数の送信装置において同期化情報を共有する多様な方法を説明する図である。
【図２９】複数の送信装置において同期化情報を共有する多様な方法を説明する図である。
【図３０】ＵＴＣまたはフレームカウント値を用いて複数のデータを同期化させる方法を説明するための図である。
【図３１】本発明の多様な実施形態に係るマルチメディアコンテンツの再生方法を説明するためのフローチャートである。
【図３２】本発明の多様な実施形態に係るマルチメディアコンテンツの再生方法を説明するためのフローチャートである。
【発明を実施するための形態】
【００２６】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。
【００２７】
図１は、本発明の一実施形態に係るマルチメディアコンテンツ再生システムの構成を示す図である。同図によると、マルチメディアコンテンツ再生システムは、複数の送信装置２００−１、２００−２と、受信装置１００とを含む。
【００２８】
送信装置１、２（２００−１、２００−２）は、互いに異なる信号を異なる経路で伝送する。図１の場合を例えると、送信装置１（２００−１）は、放送網を通じて第１信号を伝送し、送信装置２（２００−２）は、ネットワーク１０を通じて第２信号を伝送する。
【００２９】
第１信号および第２信号は、一つのマルチメディアコンテンツを構成する互いに異なるデータをそれぞれ含む。例えば、３Ｄコンテンツの場合には、左眼映像および右眼映像がそれぞれ第１信号および第２信号に含まれてよい。または、ビデオデータおよびオーディオデータに区分されたり、動画データおよび字幕データ、その他のデータ等に区分されてそれぞれ第１信号および第２信号に含まれてよい。
【００３０】
第１信号には、第１データとともに第１同期化情報が含まれ、第２信号には、第２データとともに第２同期化情報が含まれる。
【００３１】
第１および第２同期化情報としては、多様な情報が使用されてよい。具体的には、マルチメディアコンテンツの開始地点を報知するコンテンツスタート情報、第１データおよび第２データの間のタイムスタンプ差異値、フレームインデックス、タイムコード情報、ＵＴＣ情報、フレームカウント情報のうち、少なくとも一つが同期化情報として使用されてよい。
【００３２】
ＭＰＥＧ規格によると、放送データを伝送する伝送ストリームには、ＰＣＲ（Ｐｒｏｇｒａｍ  Ｃｌｏｃｋ  Ｒｅｆｅｒｅｎｃｅ）およびＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅ  Ｓｔａｍｐ）等が含まれる。
【００３３】
ＰＣＲとは、ＭＰＥＧ規格による受信装置（セットトップボックスやテレビ等）で時刻基準を送信機側に合わせる参照時間情報を意味する。受信装置では、ＰＣＲに応じてＳＴＣ（Ｓｙｓｔｅｍ  Ｔｉｍｅ  Ｃｌｏｃｋ）の値を合わせるようになる。ＰＴＳは、ＭＰＥＧ規格による放送システムで映像および音声の同期化のための再生時刻を報知するタイムスタンプを意味する。本明細書では、タイムスタンプと呼ぶ。
【００３４】
互いに異なる信号が異なる送信装置１００−１、１００−２から伝送される場合には、送信装置１００−１、１００−２の特性に応じてＰＣＲが異なってよい。そのため、ＰＣＲに合わせたタイムスタンプに応じて再生するとしても、同期化が行われなくてよい。
【００３５】
本システムにおいて、受信装置２００は同期化情報を用いてタイムスタンプを補正したり、同期化情報を直接比較して同期化を行う。
【００３６】
図２は、発明の一実施形態に係る受信装置の構成を示す図である。同図によると、受信装置１００は、受信部１１０および信号処理部１２０を含む。
【００３７】
受信部１１０は、複数の互いに異なる信号を異なる経路を通じてそれぞれ受信する。３Ｄコンテンツの場合、左眼映像および第１同期化情報を含む第１信号と、右眼映像および第２同期化情報を含む第２信号をそれぞれ受信してよい。
【００３８】
第１信号および第２信号は、いずれもリアルタイム伝送ストリームであってよく、ＭＰ４ファイルのような保存ファイルフォーマットであってよい。
【００３９】
信号処理部１２０は、第１同期化情報および第２同期化情報を用いて、左眼映像および右眼映像を同期化させて再生する。図２では図示していないが、信号処理部１２０は、デマルチプレクサ、デコーダ、レンダリング部、ディスプレイ部等を含んでよい。
【００４０】
信号処理部１２０は、受信装置１００の種類に応じて異なる方式で、３Ｄフレームを構成することができる。すなわち、偏光方式の場合には、信号処理部１２０は、同期化された左眼映像の一部および右眼映像の一部を交互に配列し、１つまたは２つのフレームで構成することができる。それにより、レンチキュラーレンズまたはパララックスバリアが付加されたディスプレイパネルを通じて当該フレームを出力することができる。
【００４１】
または、シャッタグラス方式の場合には、信号処理部１２０は同期化された左眼映像および右眼映像を交互に配置してディスプレイパネルを通じて順次にディスプレイすることができる。
【００４２】
一方、第１および第２同期化情報としては、実施形態に応じて多様な情報が用いられてよい。
【００４３】
具体的には、コンテンツスタート情報が同期化情報として使用される実施形態では、信号処理部１２０はコンテンツスタート情報を用いてマルチメディアコンテンツの開始時点を把握する。そして、第１データに含まれたフレームのタイムスタンプと第２データに含まれたフレームのタイムスタンプとを、開始時点とそれぞれ比較する。比較結果に応じて、各データのフレームインデックスを抽出することができ、抽出されたフレームインデックスを用いて同期化を行う。
【００４４】
すなわち、第１信号のＬ２フレームのタイムスタンプと第２信号のＲ２フレームのタイムスタンプとが互いに異なるとしても、第１信号および第２信号が構成するコンテンツの開始時点とＬ２フレームのタイムスタンプとの間の差異、開始時点とＲ２フレームのタイムスタンプとの間の差異が同様である場合、Ｌ２フレームとＲ２フレームとを同期化させてｎ＋１フレームを生成する。
【００４５】
信号処理部１２０は、コンテンツスタート情報とタイムスタンプを比較し、フレームインデックスを検出することができる。仮に、第１信号でコンテンツスタート情報（ＰＴＳＨ＿Ｓｔａｒｔ）が１００であり、左眼映像Ｌ１フレームのタイムスタンプ（ＰＴＳ）が１００であれば、ＰＴＳ−ＰＴＳＨ＿Ｓｔａｒｔ＝０となる。次の左眼映像であるＬ２フレームのタイムスタンプ（ＰＴＳ）が１１５であれば、ＰＴＳ−ＰＴＳＨ＿Ｓｔａｒｔ＝１５となる。この場合、信号処理部１２０は、タイムスタンプインターバルを１５にしておき、Ｌ１フレームをｎ番目フレーム、Ｌ２フレームをｎ＋１フレームにマッチングする。一方、第２信号でコンテンツスタート情報が３００であり、Ｒ１フレームのタイムスタンプが３００、Ｒ２フレームのタイムスタンプが３３０であるとしたら、信号処理部１２０は、タイムスタンプインターバルを３０にしておき、Ｒ１フレームをｎ番目フレーム、Ｒ２フレームをｎ＋１フレームにマッチングする。
【００４６】
信号処理部１２０は、マッチングする両フレームのタイムスタンプが同様になるように、右眼映像フレームのタイムスタンプまたは左眼映像フレームのタイムスタンプを補正する。
【００４７】
右眼映像フレームは、左眼映像フレームの次のフレームにマッチングする。信号処理部１２０は、右眼映像フレームのタイムスタンプを左眼映像フレームの次のフレームのタイムスタンプと同様になるように補正し、同期化させる。
【００４８】
別の実施形態では、両データ間のタイムスタンプ差異値が同期化情報として使用されてよい。すなわち、第１同期化情報および第２同期化情報は、それぞれ左眼映像のタイムスタンプおよび右眼映像のタイムスタンプの間の差異値を含んでよい。この場合、信号処理部１２０は、その差異値を反映して、左眼映像のタイムスタンプおよび右眼映像のタイムスタンプのうち、少なくとも一方を補正して同期化させる。
【００４９】
コンテンツスタート情報、タイムスタンプ差異値情報等は、ＥＩＴ（Ｅｖｅｎｔ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｔａｂｌｅ）、ＰＭＴ、プライベートストリーム、伝送ストリームヘッダ等に記録されてよい。
【００５０】
または、保存ファイあるフォーマットであるＭＰ４ファイルに伝送される場合には、保存ファイルの特性上、コンテンツのスタート地点から記録されているため、別途のコンテンツスタート情報を提供する必要がない。ただ、コンテンツスタート情報、タイムスタンプ差異値情報に基づいて抽出したリアルタイム伝送ストリームのフレームインデックスと同期化を行うために、保存ファイルもフレームインデックス値を抽出できるようにしなければならない。ＭＰ４ファイルの場合、ｓｔｔｓ、ｃｔｔｓボックスを通じて、タイムスタンプに該当する再生タイミング関連の情報が提供される。それを通じて、ＭＰ４ファイルのスタート地点までの再生順を求めることができる。再生順は、フレームインデックスと一致するために、それを用いてリアルタイム伝送ストリームのフレームインデックスと同期化を行うことができる。
【００５１】
別の実施形態においては、フレームインデックス情報が同期化情報として使用されてよい。フレームインデックス情報は、各フレームごとに付与される識別情報を意味する。フレームインデックス情報は、リアルタイム伝送ストリームのＥＩＴ（Ｅｖｅｎｔ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｔａｂｌｅ）、ＰＭＴ、プライベートストリーム、伝送ストリームヘッダ等に記録されてよい。信号処理部１２０は、同じフレームインデックスを有するフレームのタイムスタンプが同様になるように補正を行うことができる。
【００５２】
図３は、プログラムマップテーブル（Ｐｒｏｇｒａｍ  Ｍａｐ  Ｔａｂｌｅ：ＰＭＴ）を含む第１信号および第２信号の構成を示す。同図によると、ＰＭＴは、第１信号、第２信号内で周期的に含まれて伝送される。上述のコンテンツスタート情報、タイムスタンプ差異値、フレームインデックス等のような多様な同期化情報は、このようなＰＭＴ内に含まれて伝送されてよい。
【００５３】
図４は、ＰＭＴの構造を示す図である。同図によると、各種同期化情報は、ＰＭＴ内のリザーブ領域（Ｒｅｓｅｒｖｅｄ  ａｒｅａ）や新規ｄｅｓｃｒｉｐｔｏｒ、既存ｄｅｓｃｒｉｐｔｏｒの拡張領域等を用いて伝送されてよい。
【００５４】
図５は、伝送ストリームのアダプテーションフィールドを用いて各種同期化情報を伝送する方式を説明するための図である。同図においては、アダプテーションフィールド内にｒａｎｄｏｍ＿ａｃｃｅｓｓ＿ｉｎｄｉｃａｔｏｒ、ｔｒａｎｓｐｏｒｔ＿ｐｒｉｖａｔｅ＿ｄａｔａ＿ｆｌａｇ、ｐｒｉｖａｔｅ＿ｄａｔａ＿ｂｙｔｅ等が設けられる。ｒａｎｄｏｍ＿ａｃｃｅｓｓ＿ｉｎｄｉｃａｔｏｒは、１ビットで実現され、１にセッティングされる場合、シーケンスヘッダの開始を意味する。すなわち、伝送ストリームの任意接近時点を示す。ｔｒａｎｓｐｏｒｔ＿ｐｒｉｖａｔｅ＿ｄａｔａ＿ｆｌａｇも、１ビットで実現され、１にセッティングされる場合、プライベートデータが１バイト以上存在することを意味する。ｐｒｉｖａｔｅ＿ｄａｔａ＿ｂｙｔｅは、４ないし５バイトで実現され、この部分にコンテンツスタート情報、タイムスタンプ差異値、フレームインデックス等のような同期化情報が含まれてよい。
【００５５】
図６は、ＰＥＳヘッダを用いた同期化情報伝達方法を示す。ＰＥＳパケットヘッダは、フレーム単位で提供されるため、ＰＥＳ＿ｐｒｉｖａｔｅ＿ｄａｔａ部分に各種同期化情報を記録して伝送することができる。同図によると、ＰＥＳ＿ｐｒｉｖａｔｅ＿ｄａｔａ＿ｆｌａｇを１にセッティングし、ＰＥＳ＿ｐｒｉｖａｔｅ＿ｄａｔａ部分に同期化情報を記録することができる。
【００５６】
図７は、イベント情報テーブル（Ｅｖｅｎｔ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｔａｂｌｅ）を用いてコンテンツスタート情報やタイムスタンプ差異値、フレームインデックス等のような同期化情報を伝達する方法を示す。このような情報は、ＥＩＴのｒｅｓｅｒｖｅｄ領域や、新規または既存のｄｅｓｃｒｉｐｔｏｒ拡張領域に記録されて伝送されてよい。
【００５７】
図８は、プライベートストリームを用いた同期化情報方式を示す。図８に示すように、コンテンツスタート情報、タイムスタンプ情報、フレームインデックス情報等の同期化情報が記録されたプライベートストリーム、すなわち、データビットストリームを基礎ストリーム（Ｐｒｏｇｒａｍ  Ｅｌｅｍｅｎｔａｒｙ  Ｓｔｒｅａｍ：ＰＥＳ）と別途に含めて伝送することができる。この場合、ＰＥＳヘッダのストリームＩＤは、予め定義されたＯｘＢＤ、ＯｘＢＦ以外に予約されている値の使用も可能である。その他に、タイムコードや、ＵＴＣや、フレームカウント情報等もプライベートストリームを用いて伝送されてよい。それについては、後述する。
【００５８】
図９は、同期化情報のうち、フレームインデックスを含む伝送ストリーム構成の一例を示す。ＭＰＥＧ規格によると、伝送ストリームは、ビデオ、オーディオ、その他のデータを伝送する。各プログラムの情報は、プログラムマップテーブル（Ｐｒｏｇｒａｍ  Ｍａｐ  Ｔａｂｌｅ：ＰＭＴ）に記録される。
【００５９】
同図においては、フレームインデックスがＰＭＴに挿入された構造を示すが、別の実施形態では、ビデオストリームヘッダ、オーディオストリームヘッダ、ＴＳヘッダ等に挿入されてよい。
【００６０】
同図によると、各ＰＭＴには、その次のフレームのフレームインデックスが記録される。各フレームの間に２つ以上のＰＭＴが提供される場合には、Ｈｙｂｒｉｄｓｔｒｅａｍ＿Ｉｎｆｏ＿Ｄｅｓｃｒｉｐｔｏｒ（）の値は、同じフレームインデックスを示すように定義する。送信装置のマルチプレクサでＩフレーム単位でＤｅｓｃｒｉｐｔｏｒ（）を挿入できたら、データの重複を防止することもできる。
【００６１】
受信装置１００では、各ＰＭＴを参考にしてフレームのインデックスを検出した後、それを用いて第１信号および第２信号の各フレームを同期化させることができる。
【００６２】
一方、データがリアルタイム伝送ストリームではない、非リアルタイムストリーム形態で伝送される場合には、フレームインデックスは、図９と異なる方式で提供されてよい。
【００６３】
図１０は、ＭＰ４ファイルに記録されて伝送される実施形態を示した。同図によると、フレームインデックス等の同期化情報は、ＭＰ４ファイルディレクトリ内で、ｓｔｔｓ、ｓｔｓｃ等のボックスに記録されてよい。または、ＩＳＯ  ｍｅｄｉａ  ｂａｓｅ  ｆｉｌｅ  ｆｏｒｍａｔ（１４４９６−１２）で追加ボックス（ｂｏｘ）を定義したり、予め定義されたボックス内のフィールドを拡張してタイムコードを提供することもできる。一例として、ランダムアクセスを提供する“ｓｔｓｓ（ｓｙｎｃ  ｓａｍｐｌｅ  ｔａｂｌｅ）”ボックスを拡張してタイムコードを提供することもできる。
【００６４】
図９および図１０では、フレームインデックスが挿入された場合について説明したが、その他の同期化情報も、図９および図１０に示す方式で伝送されることができる。
【００６５】
なお、図１では、第１信号および第２信号として説明してきたが、第１信号はメインストリーム、第２信号はハイブリッドストリームと呼んでよい。図９および図１０は、ハイブリッドストリームの構造を例示しているが、メインストリームも同じ構造のストリームで構成されてよい。この場合、図９のｄｅｓｃｒｉｐｔｏｒ名称は変更されてよいことは自明である。
【００６６】
図１１は、フレームインデックスが別途のプライベートストリームを通じて伝送される場合を示す図である。同図に示すように、第１信号でビデオまたはオーディオのようなマルチメディアストリームと別途にプライベートストリームが提供されてよく、当該プライベートストリームを通じて第２信号と同期化されるフレームインデックス値を提供することができる。この場合、第２信号も、図１１のような構造のリアルタイム伝送ストリームなら、当該伝送ストリームのプライベートストリームからフレームインデックスを検出して、同期化させることができる。
【００６７】
一方、第２信号が、図１０に示す構造を有する保存ファイルフォーマットなら、その保存ファイルのｓｔｂｌボックス等からフレームインデックスを確認し、第１信号のフレームインデックスと比較することができる。
【００６８】
一方、別の実施形態では、タイムコード、ＵＴＣ（Ｃｏｏｒｄｉｎａｔｅｄ  Ｕｎｉｖｅｒｓａｌ  Ｔｉｍｅ）情報、フレームカウント情報等も同期化情報として使用されてよい。
【００６９】
図１２は、タイムコードを同期化情報として用いてフレームを同期化させる実施形態について説明する。タイムコードは、タイムコード生成機によって作られる一連のパルス信号として、容易な編集管理のために開発された信号規格である。コンテンツ制作および編集時には、左眼映像及び右眼映像の同期化された管理のために、同じタイムコードを使用する。よって、タイムコードは、ストリーム生成または送出時点に関係なく、同じペア（ｐａｉｒ）を保持することができる。
【００７０】
具体的には、ＳＭＰＴＥ（Ｓｏｃｉｅｔｙ  ｏｆ  Ｍｏｔｉｏｎ  Ｐｉｃｔｕｒｅ  ａｎｄ  Ｔｅｌｅｖｉｓｉｏｎ  Ｅｎｇｉｎｅｅｒｓ）タイムコードが使用されてよい。すなわち、ＳＭＰＴＥ  １２Ｍでは、“時：分：秒：フレーム”の形式でタイムコードを表現する。ＳＭＰＴＥタイムコードは、記録方式によってＬＴＣ（Ｌｏｎｇｉｔｕｄｅ  Ｔｉｍｅ  Ｃｏｄｅ）またはＶＩＴＣ（Ｖｅｒｔｉｃａｌ  Ｉｎｔｅｒｖａｌ  Ｔｉｍｅ  Ｃｏｄｅ）に区分されてよい。ＬＴＣは、テープの進行方向に沿って記録される。ＬＴＣの場合、視覚情報（２５ｂｉｔｓ）、ユーザ情報（３２ｂｉｔｓ）、同期情報（１６ｂｉｔｓ）、保存領域（４ｂｉｔｓ）、フレームモード表示（２ｂｉｔｓ）を含めて総８０ｂｉｔｓのデータで構成されてよい。ＶＩＴＣは、ビデオ信号の垂直帰線期間内の２つの水平ラインに記録される。
【００７１】
ＳＭＰＴＥ  ＲＰ−１８８では、ＬＴＣまたはＶＩＴＣタイプのタイムコードがａｎｃｉｌｌａｒｙ  ｄａｔａに伝送できるインターフェース規格を定義している。タイムコードおよびタイムコードに関連する付加情報を新規定義し、このようなインターフェース規格によって伝送してよい。
【００７２】
タイムコードに関連する付加情報としては、左眼映像および右眼映像のタイムコードが一致しない場合に、提供される他映像に対するタイムコード、現在映像が立体映像か否かを報知するための２Ｄ／３Ｄ切り替え情報、立体映像の開始点情報等があってよい。このような付加情報は、ユーザ情報町域または保存領域（或いは、未割り当て領域）を通じて提供することができる。なお、タイムコードを含まないメディアの場合には、ネットワークプロトコールでタイムコードスペースを拡張定義して使用することができる。例えば、ＲＴＰ  ｈｅａｄｅｒ  ｅｘｔｅｎｓｉｏｎを通じてタイムコードを提供することもできる。
【００７３】
送信装置２００−１、２００−２では、左眼映像のタイムコード、右眼映像のタイムコード情報をそれぞれ第１同期化情報および第２同期化情報として用いて、左眼映像および右眼映像とともに伝送する。
【００７４】
受信装置１００は、受信されたタイムコードを用いて左眼映像および右眼映像のタイムスタンプを補正したり、タイムコードを直接比較して同じタイムコードを有する左眼映像および右眼映像を直ちに検出する方式で同期化させることができる。
【００７５】
タイムコードは、ビデオ基礎ストリーム（ＭＰＥＧ  ＧｏＰ等）、オーディオ基礎ストリーム、伝送ストリームヘッダ、プライベートストリーム、ＰＭＴ等に記録されてよい。伝送ストリームヘッダに記録される場合、Ｒａｎｄｏｍ  ａｃｃｅｓｓ  Ｉｎｄｉｃａｔｏｒ、Ｔｒａｎｓｐｏｒｔ＿ｐｒｉｖａｔｅ＿ｄａｔａ＿ｆｌａｇ領域、Ｐｒｉｖａｔｅ＿ｄａｔａ＿ｂｙｔｅ領域等が使用されてよい。
【００７６】
図１３は、ＧｏＰヘッダ内にタイムコードが記録されたＭＰＥＧストリームの構成を示す。図１４は、図１３のＧｏＰヘッダのシンタックス構造の一例を示す。
【００７７】
図１４によると、タイムコード（ｔｉｍｅ  ｃｏｄｅ）は、２５ｂｉｔｓのデータで記録されてよい。図１３および図１４に示すように、タイムコードはＧｏＰ単位で受信装置１００に伝送されてよい。
【００７８】
図１５は、タイムコードが別途のプライベートストリームを通じて提供される場合を示す。第１信号でビデオまたはオーディオストリームと別途にプライベートストリームが提供される。プライベートストリームには、第２信号と同期化するためのタイムコードが含まれる。第２信号でも、ビデオまたはオーディオストリームと別途にプライベートストリームが提供される。受信装置１００は、第１信号および第２信号のプライベートストリーム内に記録されたタイムコードを比較する。それにより、同じタイムコードを有するＰＴＳ１、ＤＴＳ１の第１信号データと、ＰＴＳ１’、ＤＴＳ１’の第２信号データを同期化させて生成する。残りの信号データに対しても、タイムコードを比較して同期化させる。
【００７９】
プライベートストリームを含む伝送ストリームの構成は、上述の図８のように実現されてよい。同図に示すように、タイムコードが記録されたプライベートストリーム、すなわち、データビットストリームを基礎ストリーム（Ｐｒｏｇｒａｍ  Ｅｌｅｍｅｎｔａｒｙ  Ｓｔｒｅａｍ：ＰＥＳ）と別途に含めて伝送することができる。この場合、ＰＥＳヘッダのストリームＩＤは、予め定義されたＯｘＢＤ、ＯｘＢＦ以外に予約されている値の使用も可能である。その他に、ＵＴＣや、フレームカウント情報等もタイムコートと同様に伝送されてよいため、それについては図示および説明を省略する。
【００８０】
図１６は、本発明の別の実施形態に係る受信装置の構成を示すブロック図である。同図によると、受信装置は、受信部１１０と、信号処理部１２０の他に、信号分析部１３０と、保存部１４０および制御部１５０を含む。
【００８１】
受信部１１０は、第１受信部１１１と、第２受信部１１２とを含む。各受信部１１１、１１２は、互いに異なる経路を通じて伝送される第１信号および第２信号をそれぞれ受信する。第１および第２受信部１１１、１１２の構成は、その通信経路を応じて多様な実現されてよい。例えば、放送網を通じて伝送される信号を受信するためのモジュールである場合には、アンテナや、チューナや、復調部、等化部等のような構成要素を含んでよい。ネットワークを通じて信号を受信する場合には、ネットワーク通信モジュールを含んでよい。
【００８２】
信号分析部１３０は、第１信号および第２信号のうち、少なくとも一方を分析してルックアップテーブルを生成する。互いに異なる信号が異なる経路を通じて受信されるため、第１信号および第２信号のいずれか一方は、他方の信号より遅く受信されてよい。例えば、放送中にチャネルを変更し、３Ｄコンテンツの開始時点よりチャネル変更時点が遅い場合が生じ得る。このとき、第１信号および第２信号が全てリアルタイム伝送ストリームの場合にも、第１信号および第２信号が早く同期化されなければならない。このような点を考慮し、同期化情報を用いて互いにマッチングするフレームに対する情報をルックアップテーブルに記録しておくことができる。ルックアップテーブルは、上述の多様な同期化情報に基づいて互いにマッチングすると判断されたフレームのインデックス情報を含んでよい。
【００８３】
信号分析部１３０から生成されたルックアップテーブルは、保存部１４０に保存される。
【００８４】
制御部１５０は、ルックアップテーブルを参考にし、互いにマッチングする左眼映像および右眼映像を同期化させて再生するように、信号処理部１２０を制御することができる。
【００８５】
図１７は、ルックアップテーブル生成および保存過程を説明するための図である。同図によると、ＭＰＥＧ規格に係る第２信号、すなわち、ハイブリッドストリームが受信されると、信号分析部１３０は、同期化情報を参考にＩフレームのインデックスを検出する。そして、当該フレームのタイムスタンプ、メモリアドレス等を含むルックアップテーブル２０を生成した後、保存部１４０に保存する。
【００８６】
フレームインデックス検出は、上述のように、コンテンツスタート情報と当該フレームのタイムスタンプとを比較したり、タイムスタンプ差異値等を用いて行うことができる。それについては、上述しているため、繰り返し説明は省略する。
【００８７】
図１８は、フレームインデックス情報そのものが同期化情報で提供される場合のルックアップテーブル生成および保存過程を示す。同図によると、第１信号の各フレームに対するフレームインデックス情報が第１信号、すなわち、メインストリームに併せて伝送される。
【００８８】
それにより、第２信号、すなわち、ハイブリッドストリームの各フレームに対するフレームインデックス情報とともにルックアップテーブル２０に記録される。第１信号および第２信号のフレームのマッチング関係がルックアップテーブル２０に記録されると、制御部１５０はそれを参考に同期化再生を行うように、信号処理部１２０を制御することができる。
【００８９】
フレームインデックス情報が直接提供される場合、図１６の信号分析部１３０は省略されてよい。
【００９０】
図１９は、タイムコードを同期化情報として使用する実施形態に係る受信装置構成を示す図である。同図によると、受信装置３００は、第１デマルチプレクサ３１０と、第１デパケット化部３２０と、第１デコーダ３３０と、レンダリング部３４０と、第２デマルチプレクサ３５０と、第２デパケット化部３６０と、第２デコーダ３７０および制御部３８０を含む。
【００９１】
第１デマルチプレクサ３１０と、第１デパケット化部３２０と、第１デコーダ３３０と、レンダリング部３４０と、第２デマルチプレクサ３５０および第２デパケット化部３６０は、図２および図１６の信号処理部１２０に含まれる構造であってよい。
【００９２】
第１デマルチプレクサ３１０および第２デマルチプレクサ３５０は、それぞれ第１信号および第２信号からタイムコードを分離して制御部３８０に提供する。第１デマルチプレクサ３１０および第２デマルチプレクサ３５０は、タイムコードが分離されたビデオＰＥＳパケットを第１デパケット化部３２０および第２デパケット化部３６０にそれぞれ提供する。
【００９３】
第１デパケット化部３２０および第２デパケット化部３６０は、タイムコードが分離されたパケットをパーシング（Ｐａｒｓｉｎｇ）してビデオデータを第１デコーダ３３０および第２デコーダ３７０に提供する。
【００９４】
第１および第２デコーダ３３０、３７０は、各ビデオデータをデコードしてレンダリング部３４０に提供する。レンダリング部３４０は、制御部３８０の制御により、第１信号のビデオデータと第２信号のビデオデータとを同期化させて３Ｄ映像３０を再生する。
【００９５】
もし、第２信号が非リアルタイムストリームであり、第１信号がリアルタイムストリークである場合、制御部３８０は、第２信号のタイムコードを予め獲得して待機することができる。その後、第１信号のタイムコードが獲得されると、制御部３３０は、二つのタイムコードを比較して、互いにマッチングするフレームを探索する。そして、探索されたフレームを同期化させて再生するように、レンダリング部３４０を制御する。
【００９６】
図２０は、タイムコードを同期化情報として使用する別の実施形態に係る受信装置の構成を示すブロック図である。同図の受信装置も、第１デマルチプレクサ３１０と、第１デパケット化部３２０と、第１デコーダ３３０と、レンダリング部３４０と、第２デマルチプレクサ３５０と、第２デパケット化部３６０と、第２デコーダ３７０および制御部３８０を含んでよい。
【００９７】
第１デマルチプレクサ３１０は、受信された第１信号からビデオパケットを分離して第１デパケット化部３２０に提供する。第１デパケット化部３２０は、ビデオパケットをデパケット化してＤＴＳ、ＰＴＳを検出し、タイムコード情報を制御部３８０に提供する。
【００９８】
第２デマルチプレクサ３５０は、受信された第２信号からビデオパケットを分離して第２デパケット化部３６０に提供する。第２デパケット化部３６０は、ビデオパケットをデパケット化してＤＴＳ、ＰＴＳを検出し、タイムコード情報を制御部３８０に提供する。
【００９９】
第１デコーダ３３０および第２デコーダ３７０は、それぞれビデオデータをデコードする。
【０１００】
制御部３８０は、各信号のタイムコードを参考にして、同じタイムコードを有するフレーム間のタイムスタンプ差異を計算する。そして、計算された差異を反映して第１信号および第２信号のうち、少なくとも一方のタイムスタンプを補正し、補正されたタイムスタンプ情報を各信号のフレームに付与して、レンダリング部３４０に提供する。例えば、左眼映像のタイムスタンプが右眼映像のタイムスタンプより遅い場合、左眼映像のタイムスタンプを調整したり、右眼映像のタイムスタンプを調整し、同じ値に合わせることができる。レンダリング部３４０は、調整されたタイムスタンプに応じて左眼映像および右眼映像を組み合わせて３Ｄ映像を再生する。
【０１０１】
図２１は、タイムコードを同期化情報として使用する別の実施形態に係る受信装置の構成を示すブロック図である。同図も、図１９および２０と同様に、第１デマルチプレクサ３１０と、第１デパケット化部３２０と、第１デコーダ３３０と、レンダリング部３４０と、第２デマルチプレクサ３５０と、第２デパケット化部３６０と、第２デコーダ３７０および制御部３８０を含んでよい。
【０１０２】
制御部３８０は、タイムコードとマッチングするインデックスナンバーまたはタイムスタンプ等が記録されたルックアップテーブルを別途のソースまたは経路を通じて提供され、保存することができる。制御部３８０は、ルックアップテーブルを参考に、同じ時点で再生されなければならない左眼映像および右眼映像を探索した後、探索結果をレンダリング部３４０に提供する。それにより、同期化再生が行われてよい。このようなルックアップテーブルは、第１信号および第２信号のうち、いずれか一方とともに受信されてよく、それと異なる経路を通じて提供されてよい。
【０１０３】
すなわち、左眼映像および右眼映像を製作したコンテンツ製作者がルックアップテーブルを予め生成して受信装置側に配布することができる。
【０１０４】
場合によっては、一つのプログラム内でタイムコードが不連続的に生成されてよい。この場合、プログラム中にチャネルを変更すると、ランダムアクセス時間遅延により、リアルタイムで入力される左眼映像または右眼映像と同期化する他映像を探し出すことが困難になる可能性がある。よって、ランダムアクセスに関連するルックアップテーブルを予め生成しておくと、ランダムアクセス時間遅延を最小限化することができる。
【０１０５】
以上のように、受信装置は多様な形態で実現されてよい。
【０１０６】
一方、上述のように、タイムコードは、多様な方式で受信装置側に提供されてよい。
【０１０７】
図２２は、ビデオストリームを用いてタイムコードを提供する場合のストリーム構造を示す。同図によると、タイムコードは、ＡＶＣ（Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ：ＩＳＯ／ＩＥＣ  １４４９６−１０）で定義するＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ  Ｅｎｈａｎｃｅｍｅｎｔ  Ｉｎｆｏｒｍａｔｉｏｎ）を用いて伝送することができる。すなわち、同図に示すように、Ｐｉｃｔｕｒｅ  ｔｉｍｉｎｇ  ＳＥＩで定義するｓｅｃｏｎｄｓ＿ｖａｌｕｅ、ｍｉｎｕｔｅｓ＿ｖａｌｕｅ、ｈｏｕｒｓ＿ｖａｌｕｅ、ｎ＿ｆｒａｍｅｓを用いてタイムコードを伝達することができる。
【０１０８】
図２３は、オーディオストリームを用いてタイムコードを提供する場合のストリーム構造を示す。同図に示すように、ＡＣ−３（ＡＴＳＣ  Ａ／５２：  ２０１０）によると、オーディオストリームはシンクフレーム（Ｓｙｎｃ  Ｆｒａｍｅ）が連続的に並ぶ構造を有する。
【０１０９】
シンクフレームの構成中で、シンクフレークの情報を提供するＢＳＩ（Ｂｉｔ  Ｓｔｒｅａｍ  Ｉｎｆｏｒｍａｔｉｏｎ）領域でタイムコードに対する情報を提供することができる。
【０１１０】
図２４は、タイムコードがＰＭＴを通じて提供される場合のＰＭＴシンタックス（ｓｙｎｔａｘ）を示す。同図によると、タイムコードは周期的に伝送されるＰＭＴのリザーブまたはｄｅｓｃｒｉｐｔｏｒを通じて提供されてよい。ＰＭＴ提供間隔は、同期化されたタイムコードを付与するためのＧｏＰ単位またはフレーム単位で構成されてよい。図９においては、２つのフレームごとにＰＭＴが伝送されるものとして示しているが、毎フレーム単位でタイムコードを含むＰＭＴが提供されてよい。
【０１１１】
上述のように、多様な情報が同期化情報として使用されてよく、その位置も多様に設定されてよい。
【０１１２】
図２５は、このような同期化情報が含まれた情報を送信する送信装置の構成の一例を示すブロック図である。同図によると、送信装置２００は、データ生成部４１０および伝送部４２０を含む。同図の送信装置２００は、図１のシステムで複数の送信装置２００−１、２００−２のいずれか一方であってよい。なお、図２５の送信装置２００から提供するデータは、マルチメディアコンテンツを構成する複数のデータの一つであってよい。それにより、他装置装置が伝送する別のデータとともに受信装置に提供されると、受信装置はそれを用いてマルチメディアコンテンツを再生することができる。説明の便宜上、以下では、図２５の送信装置が提供するデータを、第１データ、他送信装置が提供するデータを第２データという。
【０１１３】
一実施形態によると、第１データは左眼映像および右眼映像のうちの一方であり、第２データは左眼映像および右眼映像のうちの他方であってよい。それにより、受信装置は、第１データおよび第２データを組み合わせて一つの３Ｄコンテンツを構成できるようになる。この場合、オーディオデータや字幕データ等のその他のデータは、第１データおよび第２データのうちの一方とともに提供されたり、別途の経路を通じて受信装置に提供されてよい。
【０１１４】
別の実施形態によると、第１データはマルチメディアコンテンツを構成するビデオデータ、オーディオデータ、字幕データおよび付加データのうち、少なくとも一つのデータを含み、第２データはビデオデータ、オーディオデータ、字幕データおよび付加データのうち、残りのデータを含んでよい。それにより、受信装置で３Ｄコンテンツを再生する場合の他に、２Ｄコンテンツを再生する場合にも、上述の様々な実施形態がそのまま適用されてよい。
【０１１５】
データ生成部４１０は、第１データと同期化情報を含む伝送データを生成する。同期化情報とは、第１データおよび第２データの間の同期化のための情報を意味する。
【０１１６】
上述のように、同期化情報は、マルチメディアコンテンツの開始時点を報知するコンテンツスタート情報、第１データおよび前記第２データの間のタイムスタンプ差異値、フレームインデックス、タイムコード情報、ＵＴＣ情報、フレームカウント情報のうち、少なくとも一つを含んでよい。これら同期化情報の挿入方法は、詳細に上述しているため、繰り返し説明は省略する。
【０１１７】
伝送部４２０は、データ生成部４１０で生成したストリームを受信装置１００側に伝送する。伝送部４２０の細部構成は、ストリームの種類に応じて異なるように実現されてよい。
【０１１８】
仮に、図２５の装置装置が放送送信装置である場合、伝送部４２０は、ＲＳエンコーダ、インターリーバ、トレリスエンコーダ、変調器等を含む形態で実現されてよい。
【０１１９】
または、図２５の送信装置がインターネットのようなネットワークを通じてストリームを伝送するウェブサーバである場合には、伝送部４２０は、ＨＴＴＰプロトコルによって受信装置、すなわち、ウェブクライアントと通信するネットワークインターフェースモジュールで実現されてよい。
【０１２０】
データ生成部４１０の細部構成は、実施形態に応じて異なるように実現されてよい。
【０１２１】
図２６は、送信装置の細部構成の一例を示すブロック図である。
【０１２２】
同図によると、データ生成部４１０と、入力部４１１と、符号化処理部４１２および多重化部４１３を含む。
【０１２３】
入力部４１１は、コンテンツ製作者から第１データおよびシグナリング情報を提供される。シグナリング情報とは、同期化情報生成に用いられる情報である。
【０１２４】
符号化処理部４１２は、第１データをエンコードし、シグナリング情報を用いて同期化情報を生成した後、エンコードされた第１データに付加する。
【０１２５】
同期化情報がコンテンツスタート情報である場合、符号化処理部４１２は、ＰＣＲに基づいて最初のフレームのタイムスタンプを生成し、そのタイムスタンプを同期化情報に付加する。
【０１２６】
または、タイムスタンプ差異値が同期化情報として使用される場合、シグナリング情報は、第２データを生成および送信する別の送信装置のＰＣＲに対する情報で実現されてよい。符号化処理部４１２は、シグナリング情報に基づいて、第１および第２データ間のタイムスタンプ差異値を同期化情報で生成した後、エンコードされた第１データに付加することができる。
【０１２７】
一方、タイムコードが同期化情報として使用される場合、別途のシグナリング情報なしに、第１データおよび同期化情報が入力部４１１に入力されてよい。符号化処理部４１２は、第１データおよび同期化情報をそのままエンコードして多重化部４１３に提供する。
【０１２８】
その他に、ＭＰＥＧ規格によるビデオデータ圧縮等を行う構成が更に追加されてよいが、このような構成は図示および説明を省略する。
【０１２９】
多重化部４１３は、符号化処理部４１２から生成されたデータに付加データをマキシングして伝送データを生成する。付加データとは、ＰＳＩＰ、ＥＰＧ情報等であってよい。
【０１３０】
伝送部４２０は、多重化部４１３から提供される伝送ストリームに対してチャネル符号化、変調等の処理を行って伝送信号に変換した後、チャネルを通じて伝送する。変調には、地上放送方式で使用される８  ＶＳＢ方式、ケーブルテレビのための高速データ率方式である１６  ＶＳＢ方式等が使用されてよい。
【０１３１】
一方、上述のように、受信装置で互いに異なるデータが異なる経路を通じて受信されるためには、複数の送信装置でそれぞれデータを伝送したり、一つの送信装置が互いに異なる電素うユニットを用いてデータを伝送しなければならない。複数の送信装置でそれぞれのデータを伝送する場合には、各送信装置が同期化情報を生成して付加するためには、プログラムの時間計画を共有すべきである。
【０１３２】
図２７は、本発明の別の実施形態に係る送信装置の構成を示す。同図の送信装置は、タイムコードを別途のプライベートストリームで処理して伝送する。同図によると、送信装置は、Ａ／Ｖエンコーダ部５１０と、タイムコード検出部５２０と、タイムコードエンコーダ部５３０およびマルチプレクサ５４０を含む。
【０１３３】
Ａ／Ｖエンコーダ部５１０は、入力されるマルチメディアデータに含まれたＡ／Ｖデータをエンコードする。エンコード方式は、送信装置に適用された規格に応じて異なってよい。
【０１３４】
タイムコード検出部５２０は、入力されるマルチメディアデータから映像のタイムコードを検出してタイムコードエンコーダ部５３０に提供する。検出されるタイムコードは、タイムラインデータファイルに保存されてよい。タイムコードエンコーダ部５３０は、検出されたタイムコードを適切な伝送フォーマットにカプセル化（ｅｎｃａｐｓｕｌａｔｅ）し、Ａ／Ｖエンコーダ部５１０と同様のプログラムシステムクロックを使用して算出されるプレゼンテーションタイムスタンプを組み合わせて、Ａ／Ｖエンコーダ部５１０で処理するＡ／Ｖ（Ａｕｄｉｏ／Ｖｉｄｅｏ）データと同期化させる。
【０１３５】
タイムコードエンコーダ部５３０で処理されたタイムコード情報は、Ａ／Ｖエンコーダ部５１０で処理されたＡ／Ｖデータとともにマルチプレクサ５４０に提供される。マルチプレクサ５４０は、このようなデータをマルチプレキシングしてＭＰＥＧ２−ＴＳを出力する。
【０１３６】
図２７では図示していないが、送信装置にはパイロット挿入部と、変調部と、インターリーバ、ランダム化部、ＲＦアップコンバータ等のような多様な構成が追加されてよい。これらの構成は、送信装置の一般的な構成に該当するため、具体的な図示および説明は省略する。
【０１３７】
図２８は、プログラムの時間計画を共有する複数のストリーム生成主体について図示している。
【０１３８】
ストリーム生成主体を例えると、ビデオおよびオーディオを伝送する放送局、字幕のような付加データを伝送する第三者、関連するゲームを提供する第三者等があってよい。図２０によると、一つのプログラムを構成する伝送ストリームを製作するために、ストリーム生成主体１、２、３のうち、一つは別のストリーム生成主体に、タイムコードに基づいて時間計画を伝送する。各ストリーム生成主体は、時間計画を用いて同期化情報を生成し、それぞれ伝送ストリームを生成して伝送することができる。このような時間計画または同期化情報は、既存のＥＰＧから提供する時間スケジュールと違ってストリーム生成端同期化のために、正確度を有するフレーム単位情報である。
【０１３９】
図２９は、同期化情報を生成するための情報共有の別の方法を説明する図である。同図によると、基準時間サーバ６００は、各ストリーム生成主体１、２、３で基準時間を提供する。同じ基準時間サーバ６００を通じて基準時間、すなわち、ＰＣＲを提供されて共有するようになると、同じコンテンツのフレームに対して同じＤＴＳ、ＰＴＳを生成して付加することができるようになる。
【０１４０】
図３０は、ＵＴＣまたはフレームカウント値等を同期化情報として使用する送信装置の構成の例を示す図である。
【０１４１】
同図によると、互いに異なるメディア＃１、＃２、＃３は、それぞれ異なるストリーム生成部７１０、７２０、７３０に提供される。この場合、各メディア＃１、＃２、＃３とともに、ＵＴＣまたはフレームカウント値も提供されてよい。各ストリーム生成部７１０、７２０、７３０は、これらの情報を同期化情報に付加して伝送ストリーム＃１、＃２、＃３をそれぞれ生成した後、伝送する。
【０１４２】
以上のように、多様な種類の同期化情報が各データとともに受信装置に提供され、受信装置は、それに基づいてデータを正確に同期化させてコンテンツを再生することができるようになる。
【０１４３】
図３１は、本発明の一実施形態に係るコンテンツ再生方法を説明するためのフローチャートである。
【０１４４】
同図によると、受信装置は、第１信号および第２信号を異なる経路を通じてそれぞれ受信する（Ｓ２３１０）。第１信号には、第１データとともに第１同期化情報が含まれ、第２信号には、第２データとともに第２同期化情報が含まれる。
【０１４５】
受信装置は、第１および第２同期化情報をそれぞれ検出した後（Ｓ２３２０）、それに基づいてマッチングするフレームを確認して同期化させて再生する（Ｓ２３３０）。具体的には、互いにマッチングするフレームのタイムスタンプを直接補正したり、同期化情報を直接比較してマッチングするフレームを直ちに同期化させて再生することができる。
【０１４６】
図３２は、本発明の別の実施形態に係る受信装置の再生方法を説明するためのフローチャートである。同図によると、２つの信号のうち、第２信号を受信して保存する（Ｓ２４１０）。そして、第２信号を分析し（Ｓ２４２０）、第２信号に含まれたデータのフレームインデックスを検出した後、インデックステーブルを保存する（Ｓ２４３０）。
【０１４７】
第２信号受信と別に、第１信号が受信されると（Ｓ２４４０）、第１信号のフレームのタイムスタンプを抽出する（Ｓ２４５０）。そして、当該フレームのフレームインデックスを抽出した後（Ｓ２４６０）、インデックステーブルと比較してマッチングするフレームを検索する（Ｓ２４７０）。
【０１４８】
それから、検索されたフレームを同期化させて再生する（Ｓ２４８０）。
【０１４９】
同期化情報の例およびそれを用いた同期化方法については、上述の様々な実施形態について説明しているため、繰り返し説明は省略する。
【０１５０】
上述のように、本明細書における左眼映像および右眼映像の同期化以外に、映像とテキスト、映像とオーディオ等のような多様な異種のデータ間の同期化を行うこともできる。一例として、ＵＨＤ（Ｕｌｔｒａ  Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ）伝送においても、既存のＨＤチャネルを用いる装置との互換性を保障するために、非リアルタイムでＵＨＤ付加映像を伝送することができる。この場合、一つの原本映像に復元するためには、映像間の同期化が必須である。よって、上述の多様な実施形態の同期化技術がＵＨＤ伝送にも使用されてよい。
【０１５１】
上述の本発明の多様な実施形態に係る方法を実行するためのプログラムは、多様な記録媒体に保存して使用されてよい。
【０１５２】
具体的には、上述の方法を実行するためのコードは、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、フラッシュメモリ、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｏｎｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  ａｎｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）、レジスタ、ハードディスク、リムーバブルディスク、メモリカード、ＵＳＢメモリ、ＣＤ−ＲＯＭ等のように、端末機で読取可能な多様な記録媒体に保存されていてよい。
【０１５３】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明は以上の実施形態に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的趣旨の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【図１】
2014504083.tif 000003
【図２】
2014504083.tif 000004
【図３】
2014504083.tif 000005
【図４】
2014504083.tif 000006
【図５】
2014504083.tif 000007
【図６】
2014504083.tif 000008
【図７】
2014504083.tif 000009
【図８】
2014504083.tif 000010
【図９】
2014504083.tif 000011
【図１０】
2014504083.tif 000012
【図１１】
2014504083.tif 000013
【図１２】
2014504083.tif 000014
【図１３】
2014504083.tif 000015
【図１４】
2014504083.tif 000016
【図１５】
2014504083.tif 000017
【図１６】
2014504083.tif 000018
【図１７】
2014504083.tif 000019
【図１８】
2014504083.tif 000020
【図１９】
2014504083.tif 000021
【図２０】
2014504083.tif 000022
【図２１】
2014504083.tif 000023
【図２２】
2014504083.tif 000024
【図２３】
2014504083.tif 000025
【図２４】
2014504083.tif 000026
【図２５】
2014504083.tif 000027
【図２６】
2014504083.tif 000028
【図２７】
2014504083.tif 000029
【図２８】
2014504083.tif 000030
【図２９】
2014504083.tif 000031
【図３０】
2014504083.tif 000032
【図３１】
2014504083.tif 000033
【図３２】
2014504083.tif 000034
【国際調査報告】
2014504083.tif 000035
2014504083.tif 000036
2014504083.tif 000037
2014504083.tif 000038