(57)【特許請求の範囲】
【請求項１】
各メディアの処理ユニットに対してオリジナルのタイムスタンプが付与されたマルチメディアコンテンツを蓄積するとともに、要求に応じて蓄積したマルチメディアコンテンツを提供する第１のコンテンツサーバ手段と、
外部から入力したマルチメディアコンテンツの各メディアの処理ユニットに対してオリジナルのタイムスタンプを付与し、前記オリジナルのタイムスタンプが付与された外部から入力したマルチメディアコンテンツ、又は前記第１のコンテンツサーバ手段から読み出したマルチメディアコンテンツを送信する送信手段と、
各メディアの処理ユニットに対してオリジナルのタイムスタンプが付与されたマルチメディアコンテンツを蓄積するとともに、要求に応じて蓄積したマルチメディアコンテンツを提供する第２のコンテンツサーバ手段と、
前記送信手段により送信されたマルチメディアコンテンツを受信し、又は前記第２のコンテンツサーバ手段からＩＰ網を介してマルチメディアコンテンツを取得する受信手段と、
前記受信手段により受信されたマルチメディアコンテンツを蓄積するコンテンツ蓄積手段と、
前記受信手段により受信若しくは取得されたマルチメディアコンテンツ、又は前記コンテンツ蓄積手段から読み出されたマルチメディアコンテンツを個々のメディアストリームに分離する分離手段と、
前記分離手段により分離された各メディアストリームを同期再生する同期再生手段とを備え、
前記送信手段は、マルチメディアコンテンツの送信時に、
前記マルチメディアコンテンツの構成要素である各メディアストリームに対して処理ユニットを検出し、
前記処理ユニットに付与されているオリジナルのタイムスタンプに対して、送信時のタイムクロック情報に基づきタイムスタンプの付け替えを行い、
送信時に付与するタイムスタンプとオリジナルのタイムスタンプとの差分値を算出し、
前記マルチメディアコンテンツ、送信時に付与するタイムスタンプ、及び前記差分値を送信し、
前記同期再生手段は、
１つ又は複数のマルチメディアコンテンツに対して送信時に付与されたタイムスタンプ、及び前記差分値を用いて、１つ又は複数のマルチメディアコンテンツを構成する各メディアストリームを同期再生する
ことを特徴とする複数メディアの同期再生システム。
【請求項２】
前記同期再生手段は、
前記受信手段により受信中のマルチメディアコンテンツについては、送信時に付与されたタイムスタンプを用い、前記コンテンツ蓄積手段に蓄積されたマルチメディアコンテンツについては、前記蓄積されたマルチメディアコンテンツに付与されたオリジナルのタイムスタンプに対して、前記受信中のマルチメディアコンテンツに含まれる差分値を足し合わせることによって得たタイムスタンプを用いて、前記受信中のマルチメディアコンテンツと前記コンテンツ蓄積手段に蓄積されたマルチメディアコンテンツの同期再生を行う
ことを特徴とする請求項１記載の複数メディアの同期再生システム。
【請求項３】
前記同期再生手段は、
送信時に付与されたタイムスタンプから前記差分値を差し引くことによって得たオリジナルのタイムスタンプを用いてマルチメディアコンテンツの同期再生を行う
ことを特徴とする請求項１記載の複数メディアの同期再生システム。
【請求項４】
マルチメディアコンテンツのコンテンツＩＤと、関連するマルチメディアコンテンツの関連コンテンツＩＤとを少なくとも含む、マルチメディアコンテンツに対するインデックスファイルを生成するインデックスファイル生成手段をさらに備えた
ことを特徴とする請求項１記載の複数メディアの同期再生システム。
【請求項５】
前記インデックスファイルは、
前記コンテンツ蓄積手段に蓄積された各マルチメディアコンテンツを構成するメディア毎に生成され、
送信時に付与されたタイムスタンプから前記差分値を差し引くことによって得たオリジナルのタイムスタンプと、１つ前のオリジナルのタイムスタンプから現在のオリジナルのタイムスタンプまでの間隔とを少なくとも含む
ことを特徴とする請求項４記載の複数メディアの同期再生システム。
【請求項６】
前記インデックスファイルは、
前記コンテンツ蓄積手段に蓄積された各マルチメディアコンテンツを構成するメディア毎に生成され、
送信時に付与されたタイムスタンプから前記差分値を差し引くことによって得たオリジナルのタイムスタンプと、前記処理ユニットである固定長パケットの個数とを少なくとも含む
ことを特徴とする請求項４記載の複数メディアの同期再生システム。
【請求項７】
前記インデックスファイルは、
前記コンテンツ蓄積手段に蓄積された各マルチメディアコンテンツを構成するメディア毎に生成され、
送信時に付与されたタイムスタンプから前記差分値を差し引くことによって得たオリジナルのタイムスタンプと、前記処理ユニットである可変長パケットの長さとを少なくとも含む
ことを特徴とする請求項４記載の複数メディアの同期再生システム。
【請求項８】
各メディアの処理ユニットに対してオリジナルのタイムスタンプが付与されたマルチメディアコンテンツを格納するとともに、要求に応じて格納したマルチメディアコンテンツを提供するステップと、
外部から入力したマルチメディアコンテンツの各メディアの処理ユニットに対してオリジナルのタイムスタンプを付与し、前記オリジナルのタイムスタンプが付与された外部から入力したマルチメディアコンテンツ、又は格納されたマルチメディアコンテンツを送信するステップと、
送信されたマルチメディアコンテンツを受信し、又はＩＰ網を介して各メディアの処理ユニットに対してオリジナルのタイムスタンプが付与されたマルチメディアコンテンツを取得するステップと、
受信されたマルチメディアコンテンツを蓄積するステップと、
前記受信手段により受信若しくは取得されたマルチメディアコンテンツ、又は蓄積されたマルチメディアコンテンツを個々のメディアストリームに分離するステップと、
分離された各メディアストリームを同期再生するステップとを含み、
前記送信するステップは、マルチメディアコンテンツの送信時に、
前記マルチメディアコンテンツの構成要素である各メディアストリームに対して処理ユニットを検出し、
前記処理ユニットに付与されているオリジナルのタイムスタンプに対して、送信時のタイムクロック情報に基づきタイムスタンプの付け替えを行い、
送信時に付与するタイムスタンプとオリジナルのタイムスタンプとの差分値を算出し、
前記マルチメディアコンテンツ、送信時に付与するタイムスタンプ、及び前記差分値を送信し、
前記同期再生するステップは、
１つ又は複数のマルチメディアコンテンツに対して送信時に付与されたタイムスタンプ、及び前記差分値を用いて、１つ又は複数のマルチメディアコンテンツを構成する各メディアストリームを同期再生する
ことを特徴とする複数メディアの同期再生方法。
【請求項９】
前記同期再生するステップは、
受信中のマルチメディアコンテンツについては、送信時に付与されたタイムスタンプを用い、蓄積されたマルチメディアコンテンツについては、前記蓄積されたマルチメディアコンテンツに付与されたオリジナルのタイムスタンプに対して、前記受信中のマルチメディアコンテンツに含まれる差分値を足し合わせることによって得たタイムスタンプを用いて、前記受信中のマルチメディアコンテンツと前記蓄積されたマルチメディアコンテンツの同期再生を行う
ことを特徴とする請求項８記載の複数メディアの同期再生方法。
【請求項１０】
前記同期再生するステップは、
送信時に付与されたタイムスタンプから前記差分値を差し引くことによって得たオリジナルのタイムスタンプを用いてマルチメディアコンテンツの同期再生を行う
ことを特徴とする請求項８記載の複数メディアの同期再生方法。
【請求項１１】
マルチメディアコンテンツのコンテンツＩＤと、関連するマルチメディアコンテンツの関連コンテンツＩＤとを少なくとも含む、マルチメディアコンテンツに対するインデックスファイルを生成するステップをさらに含む
ことを特徴とする請求項８記載の複数メディアの同期再生方法。
【請求項１２】
前記インデックスファイルは、
蓄積された各マルチメディアコンテンツを構成するメディア毎に生成され、
送信時に付与されたタイムスタンプから前記差分値を差し引くことによって得たオリジナルのタイムスタンプと、１つ前のオリジナルのタイムスタンプから現在のオリジナルのタイムスタンプまでの間隔とを少なくとも含む
ことを特徴とする請求項１１記載の複数メディアの同期再生方法。
【請求項１３】
前記インデックスファイルは、
蓄積された各マルチメディアコンテンツを構成するメディア毎に生成され、
送信時に付与されたタイムスタンプから前記差分値を差し引くことによって得たオリジナルのタイムスタンプと、前記処理ユニットである固定長パケットの個数とを少なくとも含む
ことを特徴とする請求項１１記載の複数メディアの同期再生方法。
【請求項１４】
前記インデックスファイルは、
蓄積された各マルチメディアコンテンツを構成するメディア毎に生成され、
送信時に付与されたタイムスタンプから前記差分値を差し引くことによって得たオリジナルのタイムスタンプと、前記処理ユニットである可変長パケットの長さとを少なくとも含む
ことを特徴とする請求項１１記載の複数メディアの同期再生方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、受信中のコンテンツと蓄積媒体に蓄積してあるコンテンツ間の同期再生や、異なる伝送路を介して受信したコンテンツ間の同期再生を可能にするため、送信時に付与されるタイムスタンプとオリジナルのタイムスタンプとの差分値を付加情報として送信する複数メディアの同期再生システム及び同期再生方法に関するものである。
【背景技術】
【０００２】
従来の複数メディアの同期再生システムは、記録媒体から再生したデータと、ネットワークを介してダウンロードしたデータを同期再生するものがある（例えば、特許文献１参照）。双方のデータともタイムスタンプを含むＭＰＥＧパケットとして符号化しておき、付与されているタイムスタンプに従って同期再生している。
【０００３】
また、予め用意したタイムコード情報に従って複数データを同期再生するものもある（例えば、特許文献２参照）。
【０００４】
このほか、ストリーミング伝送されるデータに送信側で付与した収録時刻情報と、無線伝送されたマルチメディア信号に対して受信側で付与した受信時刻情報とを利用して、ストリーミング伝送されたデータと無線伝送されたマルチメディアデータの同期再生を行うものもある（例えば、特許文献３参照）。
【０００５】
更に、蓄積した番組コンテンツと対応するウェブページとを同期再生するため、受信側での蓄積時に番組コンテンツと対応するウェブコンテンツとにタイムスタンプを押して保存するようにするものもある（例えば、特許文献４参照）。
【０００６】
【特許文献１】特開２００５−１１７５１５号公報（第３頁２８〜３０行、第７頁４０行〜第９頁４６行）
【特許文献２】特開２００５−７３１３８号公報（第１頁、第２頁）
【特許文献３】特開２００４−１２８８３６号公報（第２頁、第５頁２９〜３６行）
【特許文献４】特表２００４−５２９５８８号公報（第５頁３０〜４１行）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
従来の複数メディアの同期再生システムは、ＤＶＤなどの記録媒体に一旦蓄積したマルチメディアコンテンツ同士の同期再生に関するものであった。しかしながら、放送により送られるマルチメディアコンテンツは、通常、マルチメディアコンテンツの送信時にタイムスタンプが付与されるため、放送受信中のマルチメディアコンテンツと受信機に蓄積されているマルチメディアコンテンツとの同期再生や、放送中のマルチメディアコンテンツとインターネットのような別の伝送路を使ってストリーミング受信されるマルチメディアコンテンツとの同期再生が困難であるという問題点があった。
【０００８】
この発明は、上述のような課題を解決するためになされたもので、その目的は、受信中のマルチメディアコンテンツと蓄積媒体に蓄積してあるマルチメディアコンテンツ間の同期再生や、異なる伝送路で受信しているマルチメディアコンテンツ間の同期再生を可能にすることができる複数メディアの同期再生システム及び同期再生方法を得るものである。
【０００９】
例えば、放送されてきた映像とインターネットでダウンロードまたはストリーミング配信された音声との同期再生や、ＤＶＤに蓄積した映像とインターネットでダウンロードまたはストリーミング配信された音声との同期再生による多言語視聴サービスの実現や、放送とインターネットとＤＶＤなどの蓄積メディアから取得したマルチメディアコンテンツを同期再生することにより展開される多種多様なマルチメディアサービスの実現を目的とする。
【課題を解決するための手段】
【００１０】
この発明に係る複数メディアの同期再生システムは、各メディアの処理ユニットに対してオリジナルのタイムスタンプが付与されたマルチメディアコンテンツを蓄積するとともに、要求に応じて蓄積したマルチメディアコンテンツを提供する第１のコンテンツサーバ手段と、外部から入力したマルチメディアコンテンツの各メディアの処理ユニットに対してオリジナルのタイムスタンプを付与し、前記オリジナルのタイムスタンプが付与された外部から入力したマルチメディアコンテンツ、又は前記第１のコンテンツサーバ手段から読み出したマルチメディアコンテンツを送信する送信手段と、各メディアの処理ユニットに対してオリジナルのタイムスタンプが付与されたマルチメディアコンテンツを蓄積するとともに、要求に応じて蓄積したマルチメディアコンテンツを提供する第２のコンテンツサーバ手段と、前記送信手段により送信されたマルチメディアコンテンツを受信し、又は前記第２のコンテンツサーバ手段からＩＰ網を介してマルチメディアコンテンツを取得する受信手段と、前記受信手段により受信されたマルチメディアコンテンツを蓄積するコンテンツ蓄積手段と、前記受信手段により受信若しくは取得されたマルチメディアコンテンツ、又は前記コンテンツ蓄積手段から読み出されたマルチメディアコンテンツを個々のメディアストリームに分離する分離手段と、前記分離手段により分離された各メディアストリームを同期再生する同期再生手段とを設け、前記送信手段は、マルチメディアコンテンツの送信時に、前記マルチメディアコンテンツの構成要素である各メディアストリームに対して処理ユニットを検出し、前記処理ユニットに付与されているオリジナルのタイムスタンプに対して、送信時のタイムクロック情報に基づきタイムスタンプの付け替えを行い、送信時に付与するタイムスタンプとオリジナルのタイムスタンプとの差分値を算出し、前記マルチメディアコンテンツ、送信時に付与するタイムスタンプ、及び前記差分値を送信し、前記同期再生手段は、１つ又は複数のマルチメディアコンテンツに対して送信時に付与されたタイムスタンプ、及び前記差分値を用いて、１つ又は複数のマルチメディアコンテンツを構成する各メディアストリームを同期再生するものである。
【発明の効果】
【００１１】
この発明に係る複数メディアの同期再生システムは、受信中のマルチメディアコンテンツと蓄積媒体に蓄積してあるマルチメディアコンテンツ間の同期再生や、異なる伝送路で受信しているマルチメディアコンテンツ間の同期再生を可能にすることができるという効果を奏する。
【発明を実施するための最良の形態】
【００１２】
実施の形態１．
この発明の実施の形態１に係る複数メディアの同期再生システムについて図１から図４までを参照しながら説明する。図１は、この発明の実施の形態１に係る複数メディアの同期再生システムの構成を示す図である。なお、各図中、同一符号は同一又は相当部分を示す。
【００１３】
図１において、この実施の形態１に係る複数メディアの同期再生システムは、放送局などの送信機側には、マルチメディアコンテンツを構成するメディア信号１１０に対して符号化と多重化を行う符号化及び多重化部１０と、マルチメディアコンテンツの蓄積と読み出しを行う放送コンテンツサーバ（第１のコンテンツサーバ手段）１１と、同期再生に必要となるタイムクロック（タイムクロック情報）１１２を生成するタイムクロック生成部１２と、マルチメディアコンテンツを放送する送信処理部１３とが設けられている。さらに、放送コンテンツサーバ１１と同様にしてマルチメディアコンテンツを蓄積し、ＩＰ網６０を介してマルチメディアコンテンツを提供するインターネットコンテンツサーバ（第２のコンテンツサーバ手段）２１が設けられている。なお、符号化及び多重化部１０、タイムクロック生成部１２及び送信処理部１３が送信手段を構成している。
【００１４】
また、ディジタルＴＶなどの受信機側には、放送及びＩＰ伝送されたマルチメディアコンテンツを受信する受信処理部（受信手段）４１と、マルチメディアコンテンツの蓄積と読み出しを行うマルチメディアコンテンツ蓄積部（コンテンツ蓄積手段）４２と、マルチメディアコンテンツを個々のメディア信号に分離する分離部（分離手段）４３と、分離したメディア信号を同期再生する同期再生部（同期再生手段）４４と、マルチメディアコンテンツに対するインデックスファイルを生成するインデックスファイル生成部（インデックスファイル生成手段）５１とが設けられている。
【００１５】
図２は、この発明の実施の形態１に係る複数メディアの同期再生システムの符号化及び多重化部の詳細構成を示す図である。
【００１６】
図２において、符号化及び多重化部１０は、メディア信号１１０であるビデオ信号の符号化を行うビデオ符号器１４と、メディア信号１１０であるオーディオ信号の符号化を行うオーディオ符号器１５と、メディア信号１１０であるデータ信号の符号化を行うデータ符号器１６と、符号化ビット列１１５をパケット化するパケット化部１７、１８、１９と、パケット列１１６を多重化してマルチメディアコンテンツを生成するメディア多重化部２２と、複数のマルチメディアコンテンツ（メディア多重化ビット列１１１）を多重化して多重化ビット列１１３を生成するマルチメディアコンテンツ多重化部２３とが設けられている。
【００１７】
つぎに、この実施の形態１に係る複数メディアの同期再生システムの動作について図面を参照しながら説明する。図３は、この発明の実施の形態１に係る複数メディアの同期再生システムの符号化及び多重化部のパケット化部の動作を示す図である。また、図４は、この発明の実施の形態１に係る複数メディアの同期再生システムのインデックスファイルの構成を示す図である。
【００１８】
送信機側の符号化及び多重化部１０は、メディア信号１１０を符号化して多重化する。ここで、図２を用いて符号化及び多重化部１０の詳細な動作を説明する。
【００１９】
まず、各メディア信号１１０は、それぞれ対応する、ビデオ符号器１４、オーディオ符号器１５、データ符号器１６のいずれかで符号化されて符号化ビット列１１５となる。各符号化ビット列１１５は、パケット化部１７、１８、１９において、固定長のパケット（処理ユニット）からなるパケット列１１６に変換される。
【００２０】
このとき、受信機側での復号開始時刻と、復号したメディア信号の再生時刻を通知するタイムスタンプが付加される。このタイムスタンプは、タイムクロック生成部１２で生成したタイムクロック情報１１２に対して伝送遅延と処理遅延を勘案して生成する。
【００２１】
すなわち、タイムクロック情報１１２で与えられた時刻をＴ０、伝送遅延をＴＤｔ、受信機における受信から復号処理までの処理遅延をＴＤｄ、受信機における受信から再生処理までの処理遅延ＴＤｐとするとき、復号開始時刻に関するタイムスタンプＴＳｄ、再生時刻に関するタイムスタンプＴＳｐをそれぞれ次式により決定する。
【００２２】
ＴＳｄ＝Ｔ０＋ＴＤｔ＋ＴＤｄ＋ｔｄ
【００２３】
ＴＳｐ＝Ｔ０＋ＴＤｔ＋ＴＤｐ＋ｔｐ
【００２４】
なお、ｔｄ及びｔｐは、装置による処理遅延のバリエーションを考慮して決定した定数である。
【００２５】
メディア多重化部２２では、メディア毎のパケット列１１６を多重化してメディア多重化ビット列１１１を生成する。個々のメディア多重化ビット列１１１は、個々のマルチメディアコンテンツに対応する。メディア多重化部２２で生成したメディア多重化ビット列１１１は、放送コンテンツサーバ１１、またはマルチメディアコンテンツ多重化部２３に転送される。
【００２６】
マルチメディアコンテンツ多重化部２３では、１つまたは複数のメディア多重化部２２から転送されたメディア多重化ビット列１１１や、放送コンテンツサーバ１１から転送されたメディア多重化ビット列１１１を多重化して多重化ビット列１１３を生成する。このとき、放送コンテンツサーバ１１から転送されたメディア多重化ビット列１１１に対しては、タイムスタンプの付け替え処理を行う。
【００２７】
マルチメディアコンテンツ多重化部２３で送信時に新たに付与したタイムスタンプ（ＴＳｎｅｗ）と、パケット化部１７、１８、１９で付与したオリジナルのタイムスタンプ（ＴＳｏｒｉ）の差分値（ΔＴＳ＝ＴＳｎｅｗ−ＴＳｏｒｉ）を多重化ビット列１１３の中の付加情報で通知する。各マルチメディアコンテンツにおいて差分値（ΔＴＳ）を計算する場合、マルチメディアコンテンツ内の任意のＴＳｎｅｗと対応するＴＳｏｒｉを使っても得られる差分値（ΔＴＳ）は通常同じ値となる。また、復号開始時刻に関するタイムスタンプ（ＴＳｄ）と再生時刻に関するタイムスタンプ（ＴＳｐ）を使って差分値（ΔＴＳ）を計算しても通常同じ値となる。
【００２８】
メディア多重化部２２から転送されたメディア多重化ビット列１１１については、タイムスタンプの付け替え処理を行わないためＴＳｎｅｗ＝ＴＳｏｒｉとなり、差分値として「ΔＴＳ＝０」が付加情報で通知される。差分値（ΔＴＳ）は、多重化ビット列１１３の中で定期的に送られるものとする。多重化ビット列１１３が「ＭＰＥＧ−２  Ｓｙｓｔｅｍｓ標準」に準拠する場合は、差分値（ΔＴＳ）をＰＭＴ（Program Map Table）の中の個々のメディア毎の情報とペアにして伝送してもよい。
【００２９】
符号化及び多重化部１０のパケット化部１７、１８、１９での処理について図３を用いて説明する。
【００３０】
まず、メディア毎の符号化ビット列１１５に対して、符号化処理フレームに相当する可変長の符号化ユニット毎にパケット化処理を行って可変長パケットを生成する。すなわち、図３に示すように、可変長パケットのペイロード２０２には、符号化ユニットが格納される。可変長パケットのパケットヘッダ２００には、パケット検出を容易にするためユニークワードが付与されているほか、符号化ビット列の復号開始時刻と復号したメディア信号の再生時刻を通知するタイムスタンプ２０１が格納されている。
【００３１】
可変長パケットは、図３に示すように、更に固定長のパケットに分割される。固定長パケットは、ユニークワードが付与された固定長パケットヘッダ２０３と固定長パケットペイロード２０５で構成される。固定長パケットヘッダ２０３には、各パケット列１１６を識別するためのパケットＩＤ２０４が付与されている。固定長パケットペイロード２０５には、可変長パケットを分割して格納する。このとき、可変長パケットヘッダ２００の先頭が常に固定長パケットペイロード２０５の先頭に来るように格納する。固定長パケットペイロード２０５のデータ未格納部分にはスタッフィングバイト（ダミーデータ）２０６を詰める。タイムスタンプを必要としない非同期データについては、可変長パケット化のプロセスを経ないで符号化ビット列１１５から直接固定長パケットを生成してもよい。
【００３２】
放送コンテンツサーバ１１は、メディア多重化ビット列１１１を蓄積すると共に、蓄積したメディア多重化ビット列１１１を読み出して転送する。
【００３３】
送信処理部１３では、多重化ビット列１１３に対して、誤り訂正符号化や伝送フレーミング、変調などの処理を行って放送ビット列１１４を生成し、放送する。
【００３４】
受信機側の受信処理部４１では、放送ビット列１１４を受信し、復調や誤り訂正処理などを行って所望のメディア多重化ビット列１１１を生成するほか、ＩＰ網６０に接続したインターネットコンテンツサーバ２１にアクセスしてオリジナルのタイムスタンプが付与された所望のマルチメディアコンテンツをダウンロードしてＩＰビット列１１７からメディア多重化ビット列１１１を生成する。ここで、ＩＰ網６０を介してダウンロードするコンテンツは、映像や音声のようなモノメディアコンテンツであってもよい。
【００３５】
マルチメディアコンテンツ蓄積部４２では、メディア多重化ビット列１１１の形式でマルチメディアコンテンツを蓄積する。このとき、インデックスファイル生成部５１において、メディア多重化ビット列１１１に多重化されているメディア毎にインデックスファイル１１８が生成され、マルチメディアコンテンツ蓄積部４２に蓄積される。
【００３６】
インデックスファイル１１８の構成例を図４に示す。インデックスファイル１１８には、受信機側で独自に決めた『ファイル名』と、マルチメディアコンテンツを識別する『コンテンツＩＤ』と、関連するマルチメディアコンテンツの『関連コンテンツＩＤ』と、『オリジナルの復号開始時刻に関するタイムスタンプ及びオリジナルの再生時刻に関するタイムスタンプ（ＴＳｏｒｉ＿ｄ，ＴＳｏｒｉ＿ｐ）、マルチメディアコンテンツを構成するメディアのパケットＩＤ、及び１つ前のタイムスタンプから現在のタイムスタンプまでの間隔（固定長パケットの個数で示す）』とを格納する。
【００３７】
図４に示した記入例では、タイムスタンプ（ＴＳｏｒｉ＿ｄ＝２５．０，ＴＳｏｒｉ＿ｐ＝２５．０）を格納したパケットＩＤ＝２５の固定長パケットから数えて２７個目に位置するパケットＩＤ＝３５の固定長パケットがタイムスタンプ（ＴＳｏｒｉ＿ｄ＝３３．３，ＴＳｏｒｉ＿ｐ＝３３．３）を格納することを示している。
【００３８】
オリジナルの復号開始時刻に関するタイムスタンプ及びオリジナルの再生時刻に関するタイムスタンプ（ＴＳｏｒｉ＿ｄ，ＴＳｏｒｉ＿ｐ）は、順次伝送されてくる復号開始時刻に関するタイムスタンプ及び再生時刻に関するタイムスタンプ（ＴＳｎｅｗ＿ｄ，ＴＳｎｅｗ＿ｐ）から付加情報として多重化伝送されてくる差分値（ΔＴＳ）を差し引くことによって得ることができる。
【００３９】
受信中のマルチメディアコンテンツと、マルチメディアコンテンツ蓄積部４２に蓄積した関連メディアのコンテンツの一部又は全てを同期再生する場合、マルチメディアコンテンツ蓄積部４２は、インデックスファイル１１８を参照して受信中のコンテンツのコンテンツＩＤと同一の「関連コンテンツＩＤ」を有する蓄積コンテンツを検索し、「パケットＩＤ」と「オリジナルのタイムスタンプ（ＴＳｏｒｉ＿ｄ，ＴＳｏｒｉ＿ｐ）、符号化ユニットを格納する固定長パケットの個数」を参照して、受信中のメディアコンテンツのタイムスタンプに対応するタイムスタンプを有する固定長パケットを蓄積したメディア多重化ビット列１１１の中から特定し、特定した固定長パケットの部分からメディア多重化ビット列１１１を読み出して分離部４３に転送する。
【００４０】
分離部４３では、受信処理部４１からのメディア多重化ビット列１１１と、インデックスファイル１１８を参照してマルチメディアコンテンツ蓄積部４２から読み出したメディア多重化ビット列１１１とから、所望のメディアの符号化ビット列１１５を分離し、各符号化ビット列１１５に対応したタイムスタンプ情報１１９を生成する。該タイムスタンプ情報１１９は、以下のようにして生成する。
【００４１】
すなわち、放送ビット列１１４を受信して受信処理部４１から分離部４３に直接入力されたメディア多重化ビット列１１１から分離した符号化ビット列１１５については、順次伝送されてくる復号開始時刻に関するタイムスタンプ及び再生時刻に関するタイムスタンプ（ＴＳｎｅｗ＿ｄ，ＴＳｎｅｗ＿ｐ）がタイムスタンプ情報１１９となる。
【００４２】
一方、ＩＰ網６０からストリーミング配信されるメディア多重化ビット列１１１やマルチメディアコンテンツ蓄積部４２から読み出されたメディア多重化ビット列１１１については、オリジナルの復号開始時刻に関するタイムスタンプ及びオリジナルの再生時刻に関するタイムスタンプ（ＴＳｏｒｉ＿ｄ，ＴＳｏｒｉ＿ｐ）に対して差分値（ΔＴＳ）を足し合わせることにより、それぞれ得られる復号開始時刻に関するタイムスタンプ及び再生時刻に関するタイムスタンプ（ＴＳｎｅｗ＿ｄ，ＴＳｎｅｗ＿ｐ）がタイムスタンプ情報１１９となる。
【００４３】
同期再生部４４では、分離部４３からの各符号化ビット列１１５をタイムスタンプ情報１１９に従って復号し、再生することにより、互いに関連する各メディアの同期再生を行う。
【００４４】
なお、上記では送信時に新たに付与したタイムスタンプをベースに同期再生を行う場合について説明したが、オリジナルのタイムスタンプをベースに同期再生を行う場合の処理は、以下のようになる。
【００４５】
すなわち、放送ビット列１１４を受信して受信処理部４１から分離部４３に直接入力されたメディア多重化ビット列１１１から分離した符号化ビット列１１５については、順次伝送されてくる復号開始時刻に関するタイムスタンプ及び再生時刻に関するタイムスタンプ（ＴＳｎｅｗ＿ｄ，ＴＳｎｅｗ＿ｐ）から差分値（ΔＴＳ）を差し引くことによって得られるオリジナルの復号開始時刻に関するタイムスタンプ及びオリジナルの再生時刻に関するタイムスタンプ（ＴＳｏｒｉ＿ｄ，ＴＳｏｒｉ＿ｐ）がタイムスタンプ情報１１９となる。
【００４６】
一方、ＩＰ網６０からストリーミング配信されるメディア多重化ビット列１１１や、マルチメディアコンテンツ蓄積部４２から読み出されたメディア多重化ビット列１１１については、オリジナルの復号開始時刻に関するタイムスタンプ及びオリジナルの再生時刻に関するタイムスタンプ（ＴＳｏｒｉ＿ｄ，ＴＳｏｒｉ＿ｐ）がタイムスタンプ情報１１９となる。
【００４７】
オリジナルのタイムスタンプをベースに同期再生を行う場合、同期再生部４４においては、同期再生部４４におけるクロックに対して差分値（ΔＴＳ）を差し引くことによってオリジナルのタイムスタンプに対応したクロックに変換し、変換したクロックを用いて同期再生処理を行う。
【００４８】
以上のように、この実施の形態１では、送信時に付与したタイムスタンプとオリジナルのタイムスタンプとの差分値（ΔＴＳ）を付加情報として伝送するようにしたため、送信時に付与したタイムスタンプとオリジナルのタイムスタンプの両方を送信する場合に比べ、タイムスタンプ関連の情報を伝送するのに要するビット量を抑制することができると共に、送信時に付与されたタイムスタンプと差分値（ΔＴＳ）からオリジナルのタイムスタンプを再生することができる。
【００４９】
また、受信機側では受信した差分値（ΔＴＳ）と送信時に付与されたタイムスタンプからオリジナルのタイムスタンプを再生することができる。
【００５０】
また、オリジナルのタイムスタンプ情報を付与して蓄積したマルチメディアコンテンツに対して受信した差分値（ΔＴＳ）を足し合わせて得たタイムスタンプ情報１１９を利用することにより、放送受信中のマルチメディアコンテンツと蓄積媒体から読み出した関連コンテンツとの同期再生が可能になる。
【００５１】
また、受信機側では受信した差分値（ΔＴＳ）を利用することにより、放送中のコンテンツと受信機側の蓄積媒体に蓄積済みのコンテンツとの同期再生だけでなく、放送中のコンテンツとＩＰ網６０のような補助の回線を使って伝送したコンテンツとの同期再生や、ＩＰ網６０のような補助の回線を使って伝送したコンテンツと受信機側の蓄積媒体に蓄積済みのコンテンツとの同期再生が可能になる。
【００５２】
また、放送中の映像コンテンツに対して、受信機側の蓄積媒体に蓄積済みの多言語音声コンテンツや字幕コンテンツ、あるいは補助の回線を使って伝送される多言語音声コンテンツや字幕コンテンツと組み合わせて同期再生することができるため、通常の放送波では帯域上の制約から不可能であった多言語放送のようなサービスが可能になる。
【００５３】
なお、上記実施の形態１では、マルチメディアコンテンツ蓄積部４２にマルチメディアコンテンツを蓄積する際に受信機側で独自に決めたファイル名を使用するようにしたが、マルチメディアコンテンツのファイル名を送信機側から付加情報として多重化伝送するようにし、受信機側ではそのファイル名を使用するようにしても上記と同様の効果が得られる。
【００５４】
また、この実施の形態１では、インデックスファイル１１８にオリジナルのタイムスタンプ（ＴＳｏｒｉ＿ｄ，ＴＳｏｒｉ＿ｐ）を記載するようにしたが、代わりに送信時に付与された復号開始時刻に関するタイムスタンプ及び再生時刻に関するタイムスタンプ（ＴＳｎｅｗ＿ｄ，ＴＳｎｅｗ＿ｐ）と差分値（ΔＴＳ）の両方を記載するようにしても、ＴＳｎｅｗ＿ｄ、ＴＳｎｅｗ＿ｐ及びΔＴＳを用いていれば、オリジナルのタイムスタンプ（ＴＳｏｒｉ＿ｄ，ＴＳｏｒｉ＿ｐ）が再生できるため、上記と同様の効果が得られる。
【００５５】
また、マルチメディアコンテンツ蓄積部４２にマルチメディアコンテンツを蓄積する際に、マルチメディアコンテンツに付与されている復号開始時刻に関するタイムスタンプ及び再生時刻に関するタイムスタンプ（ＴＳｎｅｗ＿ｄ，ＴＳｎｅｗ＿ｐ）をオリジナルのタイムスタンプ（ＴＳｏｒｉ＿ｄ，ＴＳｏｒｉ＿ｐ）に付け替えて蓄積しても上記と同様の効果が得られる。
【００５６】
受信中の放送コンテンツと、ＩＰ網６０からストリーミング配信されてきた関連コンテンツを同期再生する場合には、それぞれに対して算出したオリジナルのタイムスタンプをベースにして同期再生を行う。
【００５７】
実施の形態２．
この発明の実施の形態２に係る複数メディアの同期再生システムについて図５を参照しながら説明する。図５は、この発明の実施の形態２に係る複数メディアの同期再生システムの構成を示す図である。
【００５８】
上記の実施の形態１では、受信機側でインデックスファイル１１８を作成して、マルチメディアコンテンツと一緒にマルチメディアコンテンツ蓄積部４２に蓄積するようにしていたが、この実施の形態２では、図５に示すように、送信機側においてインデックスファイル生成部５１によりインデックスファイル１１８を生成して、このインデックスファイル１１８を付加情報として多重化ビット列１１３に多重化して伝送し、受信機側では受信したマルチメディアコンテンツと対応するインデックスファイル１１８をマルチメディアコンテンツ蓄積部４２に蓄積するようにしてもよい。なお、インデックスファイル１１８の『ファイル名』に、放送コンテンツサーバ１１に蓄積したファイル名を使用してもよい。
【００５９】
この実施の形態２によれば、上記の実施の形態１に比べて受信機側での処理を軽減できる効果がある。
【００６０】
実施の形態３．
この発明の実施の形態３に係る複数メディアの同期再生システムについて図６から図８までを参照しながら説明する。
【００６１】
上記実施の形態１では、放送コンテンツサーバ１１及びマルチメディアコンテンツ蓄積部４２にはメディア多重化ビット列１１１の形式でマルチメディアコンテンツを蓄積していたが、代わりにメディア毎の固定長のパケット列１１６を蓄積するようにしてもよい。
【００６２】
図６は、この発明の実施の形態３に係る複数メディアの同期再生システムのインデックスファイルの構成を示す図である。
【００６３】
図６に示すように、インデックスファイル１１８には、蓄積した『ファイル名』と、蓄積したマルチメディアコンテンツを識別する『コンテンツＩＤ』と、関連するマルチメディアコンテンツの『関連コンテンツＩＤ』と、マルチメディアコンテンツを構成するメディアの『パケットＩＤ』と、マルチメディアコンテンツを構成する他のメディアのパケットＩＤに相当する『関連パケットＩＤ』と、『オリジナルの復号開始時刻に関するタイムスタンプ及びオリジナルの再生時刻に関するタイムスタンプ（ＴＳｏｒｉ＿ｄ，ＴＳｏｒｉ＿ｐ）、並びにタイムスタンプに対応する符号化ユニットを格納する固定長パケットの個数』とを格納する。
【００６４】
図６に示した記入例では、パケットＩＤが２５と３５，４５の３つのメディアから構成されたマルチメディアコンテンツについて示しており、このマルチメディアコンテンツに対して各メディアに対応した３つのインデックスファイルが作成される。
【００６５】
なお、コンテンツＩＤと関連コンテンツＩＤは、付加情報として多重化ビット列１１３に多重化されて送信機側より伝送される。
【００６６】
図７は、この発明の実施の形態３に係る複数メディアの同期再生システムの送信機側の符号化及び多重化部と放送コンテンツサーバの接続形態を示す図である。
【００６７】
送信機側では、放送コンテンツサーバ１１からマルチメディアコンテンツに対応するメディア毎のパケット列１１６を読み出した後に多重化してメディア多重化ビット列１１１を生成する。
【００６８】
図８は、この発明の実施の形態３に係る複数メディアの同期再生システムの受信機側の分離部とマルチメディアコンテンツ蓄積部の接続形態を示す図である。
【００６９】
受信機側では、分離部４３が、メディア分離部４５と、パケット分解部４６、４７、４８とで構成される。この分離部４３の構成は、上記実施の形態１の分離部４３の構成と同じである。メディア多重化ビット列１１１をメディア分離部４５で分離して生成したメディア毎のパケット列１１６をインデックスファイル１１８と共にマルチメディアコンテンツ蓄積部４２に蓄積する。
【００７０】
パケット分解部４６、４７、４８では、メディア毎のパケット列１１６に対して、固定長パケットを分解して可変長パケットを取り出し、可変長パケットを更に分解してメディア毎の符号化ビット列１１５とタイムスタンプ情報１１９を取り出す。
【００７１】
この実施の形態３によれば、放送コンテンツサーバ１１及びマルチメディアコンテンツ蓄積部４２にはメディア毎の固定長のパケット列で蓄積するため、所望のメディアのみの蓄積や読み出しが可能である。
【００７２】
実施の形態４．
この発明の実施の形態４に係る複数メディアの同期再生システムについて図９を参照しながら説明する。図９は、この発明の実施の形態４に係る複数メディアの同期再生システムのインデックスファイルの構成を示す図である。
【００７３】
放送コンテンツサーバ１１及びマルチメディアコンテンツ蓄積部４２には、メディア毎の可変長パケットを蓄積してもよい。この場合の分離部４３の構成も上記実施の形態１に示した分離部４３の構成と同様である。
【００７４】
上記実施の形態１では「１つ前のタイムスタンプから現在のタイムスタンプまでの間隔（固定長パケットの個数で示す）」を、上記実施の形態３では「符号化ユニットを格納する固定長パケットの個数」をインデックスファイル１１８に記載していたが、この実施の形態４では、図９に示すように、代わりに「符号化ユニットを格納する可変長パケットの長さ（byte）」を記載する。
【００７５】
この実施の形態４によれば、マルチメディアコンテンツ蓄積部４２に蓄積した所望のメディアを読み出して再生する場合、上記実施の形態１で必要であったメディアの分離処理や、上記実施の形態３で必要であった固定長パケットの分解処理が不要となるため、読み出しから再生までの処理をより簡略化することができる。
【図面の簡単な説明】
【００７６】
【図１】この発明の実施の形態１に係る複数メディアの同期再生システムの構成を示す図である。
【図２】この発明の実施の形態１に係る複数メディアの同期再生システムの符号化及び多重化部の詳細構成を示す図である。
【図３】この発明の実施の形態１に係る複数メディアの同期再生システムの符号化及び多重化部のパケット化部の動作を示す図である。
【図４】この発明の実施の形態１に係る複数メディアの同期再生システムのインデックスファイルの構成を示す図である。
【図５】この発明の実施の形態２に係る複数メディアの同期再生システムの構成を示す図である。
【図６】この発明の実施の形態３に係る複数メディアの同期再生システムのインデックスファイルの構成を示す図である。
【図７】この発明の実施の形態３に係る複数メディアの同期再生システムの送信機側の符号化及び多重化部と放送コンテンツサーバの接続形態を示す図である。
【図８】この発明の実施の形態３に係る複数メディアの同期再生システムの受信機側の分離部とマルチメディアコンテンツ蓄積部の接続形態を示す図である。
【図９】この発明の実施の形態４に係る複数メディアの同期再生システムのインデックスファイルの構成を示す図である。
【符号の説明】
【００７７】
１０  符号化及び多重化部、１１  放送コンテンツサーバ、１２  タイムクロック生成部、１３  送信処理部、１４  ビデオ符号器、１５  オーディオ符号器、１６  データ符号器、１７、１８、１９  パケット化部、２１  インターネットコンテンツサーバ、２２  メディア多重化部、２３  マルチメディアコンテンツ多重化部、４１  受信処理部、４２  マルチメディアコンテンツ蓄積部、４３  分離部、４４  同期再生部、４５  メディア分離部、４６、４７、４８  パケット分解部、５１  インデックスファイル生成部、６０  ＩＰ網、１１０  メディア信号、１１１  メディア多重化ビット列、１１２  タイムクロック情報、１１３  多重化ビット列、１１４  放送ビット列、１１５  符号化ビット列、１１６  パケット列、１１７  ＩＰビット列、１１８  インデックスファイル、１１９  タイムスタンプ情報。
【図１】
0004718275.tif 000002
【図２】
0004718275.tif 000003
【図３】
0004718275.tif 000004
【図４】
0004718275.tif 000005
【図５】
0004718275.tif 000006
【図６】
0004718275.tif 000007
【図７】
0004718275.tif 000008
【図８】
0004718275.tif 000009
【図９】
0004718275.tif 000010