(57)【特許請求の範囲】
【請求項１】
ネットワークを介して、同期して再生されるべき異なる種類のメディアデータを複数のサーバから受信し、少なくとも１つのクライアントに送信する伝送装置であって、
前記クライアントから受信したマルチメディアデータの指定から、同期して再生されるべき異なる種類のメディアデータが格納されているサーバを判別し、該サーバにメディアデータの送信を要求する要求手段と、
前記クライアントから送られる、マルチメディアデータの相互関係を記述したマルチメディアデータ記述言語を解析する解析手段と、
前記解析手段によって解析されたマルチメディアデータの再生時刻に関する情報若しくは再生順序に関する情報を記憶する記憶手段と、
前記異なる種類のメディアデータを前記複数のサーバから受信する受信手段と、
前記受信手段によって受信された異なる種類のメディアデータを、メディアデータが有するタイムスタンプと、前記記憶手段に記憶された再生時刻に関する情報若しくは再生順序に関する情報とに基づいてマルチプレクスしてマルチメディアデータとするマルチプレクス手段と、
前記マルチプレクス手段によってマルチプレクスされたマルチメディアデータを前記複数のクライアントに送信する送信手段とを備えたことを特徴とする伝送装置。
【請求項２】
前記メディアデータが、少なくとも、ビデオデータ、オーディオデータ、グラフィクスデータまたはテキストデータのいずれかを含むことを特徴とする請求項１に記載の伝送装置。
【請求項３】
ネットワークを介して、同期して再生されるべき異なる種類のメディアデータを複数のサーバから受信し、少なくとも１つのクライアントに送信する伝送装置を制御する伝送方法であって、
前記クライアントから受信したマルチメディアデータの指定から、同期して再生されるべき異なる種類のメディアデータが格納されているサーバを判別し、該サーバにメディアデータの送信を要求し、
前記クライアントから送られる、マルチメディアデータの相互関係を記述したマルチメディアデータ記述言語を解析し、
解析されたマルチメディアデータの再生時刻に関する情報若しくは再生順序に関する情報を記憶し、
前記異なる種類のメディアデータを前記複数のサーバから受信し、
受信された異なる種類のメディアデータを、メディアデータが有するタイムスタンプと、記憶された再生時刻に関する情報若しくは再生順序に関する情報とに基づいてマルチプレクスしてマルチメディアデータとし、
マルチプレクスされたマルチメディアデータを前記複数のクライアントに送信することを特徴とする伝送方法。
【請求項４】
ネットワークを介して、同期して再生されるべき異なる種類のメディアデータを複数のサーバから受信し、少なくとも１つのクライアントに送信するための制御をコンピュータによって実現するためのプログラムを格納するコンピュータ読み取り可能な記憶媒体であって、前記コンピュータに、
前記クライアントから受信したマルチメディアデータの指定から、同期して再生されるべき異なる種類のメディアデータが格納されているサーバを判別し、該サーバにメディアデータの送信を要求し、
前記クライアントから送られる、マルチメディアデータの相互関係を記述したマルチメディアデータ記述言語を解析し、
解析されたマルチメディアデータの再生時刻に関する情報若しくは再生順序に関する情報を記憶し、
前記異なる種類のメディアデータを前記複数のサーバから受信し、
受信された異なる種類のメディアデータを、メディアデータが有するタイムスタンプと、記憶された再生時刻に関する情報若しくは再生順序に関する情報とに基づいてマルチプレクスしてマルチメディアデータとし、
マルチプレクスされたマルチメディアデータを前記複数のクライアントに送信する手順を実行させるためのプログラムを格納したコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ビデオ、オーディオなどのマルチメディアデータの伝送システムおよび装置およびそれらの方法に関する。
【０００２】
【従来の技術】
昨今、テキストや動画や音声などのマルチメディアデータを、ネットワークを通じてリアルタイムに配信する種々の方式が実用化されている。図３は、一般的なマルチメディアデータの配信システムの一構成例を示すブロック図である。
【０００３】
図３において、３０１は、ハードディスクなどの蓄積メディアであり、テキストや動画や音声などのマルチメディアデータを蓄積しておく部分である。通常、データは最適な手法によってあらかじめ圧縮（符号化）されており、このデータ形式をビットストリームと呼んでいる。
【０００４】
図４はビデオデータとオーディオデータのビットストリームを重畳した様子を示す図である。ビデオデータとオーディオデータを同時に送信する場合は、図４に示すように、双方のデータを特定のサイズに分割して重畳する。図４において、４０１はヘッダ情報であり、４０３、４０７、４１１はビデオビットストリーム、４０５、４０９、４１３はオーディオビットストリームである。また、各々のビットストリームは、タイムスタンプと呼ばれる時間情報を同時に付加される。４０２、４０６、４１０が後続するビデオストリームのタイムスタンプを示し、４０４、４０８、４１２が後続するオーディオストリームのタイムスタンプになっている。
【０００５】
再び図３において、３０３はクライアント側の送信機であり、配信サーバに、クライアントが必要とするビットストリームデータを特定するためのデータを指定する。３０２は、配信サーバであり、クライアントからの要求に応じてビットストリームデータを配信する。３０４は、受信機であり、伝送路からビットストリームを受信する。
【０００６】
３０５はデマルチプレクサであり、受信したビットストリームデータをビデオ、オーディオのビットストリーム毎に分割する。３０６はビデオデコーダ、３０７はオーディオデコーダであり、各々ビデオビットストリーム、オーディオビットストリームをデコード（復号）処理する。３０８は同期制御部であり、デマルチプレクサからビデオ、オーディオの同期制御データ（タイムスタンプ）を受信し、双方の再生のための同期制御を行う。３０９はビデオ再生機であり、３１０はオーディオ再生機である。
【０００７】
更に図５を参照してもう１つの別の構成を説明する。図５は、一般的なマルチメディアデータの配信システムの一構成例を示すブロック図である。
【０００８】
図５において、５０１と５０２は、それぞれ、サーバ１とサーバ２からのデータを蓄積する、ハードディスクなどの蓄積メディアである。５０３と５０４は、それぞれ、配信サーバ１と配信サーバ２であり、クライアントからの要求に応じてビットストリームデータを配信する。本例では、ビデオストリーム（サーバ１）と、オーディオストリーム（サーバ２）が異なったサーバ上に設置されている場合が示されている。
【０００９】
５０５はクライアント側の送信機であり、各配信サーバにリクエストが送信され、別々の受信機（必ずしも物理的な受信機でなく、同じ伝送路において複数のセッションによって制御してもかまわない）によって受信される。
【００１０】
このように各メディアが分散して設置される場合には、各メディア間の関係が適当な言語により記述され、その設置場所（URLなど）が明記されるが、ここでは、その記述方式については特に言及しない。
【００１１】
５０６、５０７はクライアント側の受信機であり、各配信サーバからビットストリームデータを受信する。この受信機５０６、５０７は、必ずしも物理的に分かれている必要はなく、各々のサーバとの伝送セッションを行えるソフトウェアモジュールで実装されることも多い。本例の場合、すでにメディアごとのビットストリームに分割されているので、デマルチプレクスの必要はなく、受信されたビットストリームが直接各デコーダ（５０８、５１０）に送られる。それ以降の再生までの処理は、図３の従来例と共通である。
【００１２】
５０８はビデオデコーダ、５１０はオーディオデコーダであり、各々ビデオビットストリーム、オーディオビットストリームをデコード（復号）処理する。５０９は同期制御部であり、各受信機からビデオオーディオの同期制御データを受信し、双方の再生のための同期制御を行う。５１１はビデオ再生機であり、５１２はオーディオ再生機である。
【００１３】
【発明が解決しようとする課題】
しかしながら、図３の例においては、ビデオオーディオなどのマルチメディアビットストリームをあらかじめマルチプレクスして蓄積しておかなければならないので、分散データベースのような用途には不向きであるという問題がある。
【００１４】
また、図５の例においては、サーバ１からクライアントへの伝送路と、サーバ２からクライアントへの伝送路において、伝送レートや回線状況の違いにより、受信するクライアント側で最適に同期をとることが困難になる可能性があるという問題がある。
【００１５】
本発明は、上述の課題に鑑みてなされたもので、その目的とするところは、マルチメディアデータの分散データベースにおいて、そのデータが異なる実効伝送レートで送られる場合でも、受信側で最適に同期をとることを可能にすることにある。
【００１６】
【課題を解決するための手段】
上記の目的を達成するための本発明による伝送装置は以下の構成を備える。すなわち、
ネットワークを介して、同期して再生されるべき異なる種類のメディアデータを複数のサーバから受信し、少なくとも１つのクライアントに送信する伝送装置であって、
前記クライアントから受信したマルチメディアデータの指定から、同期して再生されるべき異なる種類のメディアデータが格納されているサーバを判別し、該サーバにメディアデータの送信を要求する要求手段と、
前記クライアントから送られる、マルチメディアデータの相互関係を記述したマルチメディアデータ記述言語を解析する解析手段と、
前記解析手段によって解析されたマルチメディアデータの再生時刻に関する情報若しくは再生順序に関する情報を記憶する記憶手段と、
前記異なる種類のメディアデータを前記複数のサーバから受信する受信手段と、
前記受信手段によって受信された異なる種類のメディアデータを、メディアデータが有するタイムスタンプと、前記記憶手段に記憶された再生時刻に関する情報若しくは再生順序に関する情報とに基づいてマルチプレクスしてマルチメディアデータとするマルチプレクス手段と、
前記マルチプレクス手段によってマルチプレクスされたマルチメディアデータを前記複数のクライアントに送信する送信手段とを備える。
【００１７】
また、上記の目的を達成するための本発明による伝送方法は、
ネットワークを介して、同期して再生されるべき異なる種類のメディアデータを複数のサーバから受信し、少なくとも１つのクライアントに送信する伝送装置を制御する伝送方法であって、
前記クライアントから受信したマルチメディアデータの指定から、同期して再生されるべき異なる種類のメディアデータが格納されているサーバを判別し、該サーバにメディアデータの送信を要求し、
前記クライアントから送られる、マルチメディアデータの相互関係を記述したマルチメディアデータ記述言語を解析し、
解析されたマルチメディアデータの再生時刻に関する情報若しくは再生順序に関する情報を記憶し、
前記異なる種類のメディアデータを前記複数のサーバから受信し、
受信された異なる種類のメディアデータを、メディアデータが有するタイムスタンプと、記憶された再生時刻に関する情報若しくは再生順序に関する情報とに基づいてマルチプレクスしてマルチメディアデータとし、
マルチプレクスされたマルチメディアデータを前記複数のクライアントに送信する。
【００１８】
【発明の実施の形態】
以下、添付の図面を参照して、本発明の好適な実施形態を説明する。
【００１９】
［第１の実施形態］
図１は第１の実施形態に係るマルチメディアデータ配信システムの構成を示すブロック図である。なお、図１において１０１〜１０７で示される各構成は、それぞれ、図５を用いて説明した５０１〜５０７の各構成と同等である。なお、配信されるマルチメディアデータは、ビデオデータ、オーディオデータ、グラフィクスデータ、テキストデータなどで構成される。
【００２０】
１０８は同期制御部であり、受信機１０６および１０７で受信したビットストリームデータの同期制御を行う。具体的には、個々のビットストリームから時間情報（タイムスタンプ）を抜き出し、その時間情報に応じて適宜、他チャンネルとの時間調整を行う。
【００２１】
１０９は、マルチプレクサであり、別々に受信されたビットストリームをマルチプレクスする。このとき、マルチプレクサ１０９は、同期制御部１０８により、受信された各々のメディアストリームの時間情報を監視しながらマルチプレクスを行う。１１０は、プロキシサーバであり、実際のサーバ１、サーバ２に代わって、クライアントにマルチプレクスされたビットストリームを伝送する。
【００２２】
なお、サーバからの受信、マルチプレクス、再送信までを行う１０６から１１０までを総じてメディアプロキシサーバと表記することも可能である。
【００２３】
１０５はクライアント側の送信機であり、サーバへの転送要求は、このプロキシサーバ経由で行われる。
【００２４】
以上の構成を備えた第１の実施形態によるシステムの動作について説明する。図７は第１の実施形態によるマルチメディア配信システムによる動作を説明するフローチャートである。
【００２５】
まず、ステップＳ１０１において、クライアントの送信機１０５からプロキシサーバ１１０に対して所望のマルチメディアデータを指定する。次にステップＳ１０２において、プロキシサーバは指定されたマルチメディアデータから、当該マルチメディアデータを構成する各メディアデータが格納されたサーバを割りだし、メディアデータを要求する。
【００２６】
メディアデータの要求を受けた各サーバ（１０３、１０４）はそれぞれに対応した受信機（１０６、１０７）に対してメディアデータを送信し、各受信機はこれを受信する（ステップＳ１０３）。なお、この受信機１０６、１０７は、必ずしも物理的に分かれている必要はなく、各々のサーバへとの伝送セッションを行えるソフトウェアモジュールで実装されていてもよい。続いて、マルチプレクサ１０９は受信機１０６、１０７で受信したメディアデータを、同期制御部１０８による時間管理のもとでマルチプレクスし、得られたマルチメディアデータをプロキシサーバ１１０へ送る（ステップＳ１０４）。
【００２７】
マルチプレクサ１０９からマルチメディアデータを受信したプロキシサーバ１１０は、そのマルチメディアデータをクライアントの受信機１１１に送信する（ステップＳ１０５）。なお、前述したように、サーバからの受信、マルチプレクス、クライアントへのマルチメディアデータの再送信までを行う１０６から１１０までを総じてメディアプロキシサーバとして１つの装置で構成されてもよい。クライアント側では、デマルチプレクサ１１２、ビデオデコーダ１１３、オーディオデコーダ１１４、同期制御部１１５を用いて、受信機１１１で受信したマルチメディアデータを個々のメディアデータにデマルチプレクスし、再生する。
【００２８】
［第２の実施形態］
本発明の、第２の実施形態に係る装置の構成を図２に示す。図２において、２０１〜２１７で示される各構成は、図１の１０１〜１１７で示される各構成と同様のものである。
【００２９】
本実施形態に係る装置の構成と第１の実施形態に係る装置の構成との相違は、２１８および２１９のキャッシュメモリにある。これらキャッシュメモリ２１８、２１９は、サーバ１およびサーバ２の伝送路の状態が著しく異なる場合や、いずれかの伝送の実効ビットレートが著しく低いなどの伝送レートに支障がある場合に、高速伝送可能なサーバからのデータを一時的に保存を行い、もう一方のサーバの伝送速度に合わせてマルチプレクスを行うことにより、高速伝送可能なサーバからのデータ転送を遅延させずに済む。
【００３０】
なお、第２の実施形態によるマルチメディアデータ配信システムの動作は、上記第１の実施形態と同様である。
【００３１】
［第３の実施形態］
次に、本発明の、第３の実施形態に係る装置の構成を図６に示す。なお、図６の６０１〜６１９で示される各構成は、第２の実施形態（図２）で示した２０１〜２１９で示される各構成と同様である。
【００３２】
本実施形態に係る装置では、クライアントから、複数のマルチメディアデータを記述する言語がプロキシサーバに伝送される。
【００３３】
６２０は、パーサであり、クライアントから伝送されるマルチメディアデータ記述言語を解釈し、その中にどのようなメディアストリームが含まれるかどうかを解釈する。本件においては、記述言語の仕様自体については言及しないが、記述の中に、複数のマルチメディアデータについて、各マルチメディアデータの再生を行う時間情報（再生時間、相対的な再生時刻（開始時刻・終了時刻）、再生順序など）が含まれることもある。
【００３４】
６２１は、この時間情報を一時的に記憶しておくためのメモリで、サーバから個別に伝送されるメディアデータをこの時間情報に応じて再マルチプレクスを行う際に、個々のタイムスタンプ情報と同時に利用される。
【００３５】
以下、第３の実施形態によるマルチメディア配信システムの動作を説明する。図８は第３の実施形態によるマルチメディア配信システムによる動作を説明するフローチャートである。なお、ステップＳ１０１、Ｓ１０２、Ｓ１０３、Ｓ１０５、Ｓ１０６は上記第１の実施形態と同様の処理である。以下、第１の実施形態と異なる部分を説明する。
【００３６】
ステップＳ２０１では、パーサ６２０がプロキシサーバ６１０から提供されるマルチメディアデータ記述言語を解釈し、ステップＳ２０２で、再生を行う時間情報（再生時間、相対的な再生時刻（開始時刻・終了時刻）、再生順序など）を時間情報メモリ６２１に格納する。
【００３７】
ステップＳ２０３では、受信機６０６、６０７で受信したメディアデータをマルチプレクサ６０９によってマルチプレクスし、マルチメディアデータを生成する。このとき、同期制御部６０８は、各メディアデータが有する時間情報（タイムスタンプ）と、時間情報メモリ６２１に格納された時間情報を参照して、再生順序や再生時刻（開始時刻・終了時刻）などに従いマルチプレクスを行う。
【００３８】
なお、上述の第１から第３の実施形態に係る構成は、ハードウェアで実現することも可能であるが、このシステム全体をソフトウェアで実現してもかまわないことは言うまでもない。また、マルチメディアデータとして、ビデオおよびオーディオのデータを扱ったが、テキストやグラフィックスなどを含めることも可能である。
【００３９】
また、本発明の第１の実施形態に係るデータ配信サーバの数を２としたが、３以上のデータ配信サーバでも同様の構成で実現可能であることは言うまでもない。
【００４０】
なお、本発明は、複数の機器（例えば、ホストコンピュータ、インタフェース機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【００４１】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または、記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が、記憶媒体に格納されたプログラムコードを読み出し、実行することによっても達成されることは言うまでもない。
【００４２】
この場合、記憶媒体から読み出されたプログラムコード自体が、前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は、本発明を構成することになる。
【００４３】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【００４４】
また、コンピュータが読み出したプログラムコードを実行することによって、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが、実際の処理の一部または全部を行いその処理によって、前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００４５】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって、前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００４６】
【発明の効果】
以上説明したように、本発明によれば、サーバからクライアントへの伝送路の実効レートによる影響を考慮することなく、分散マルチメディアサーバを構築することが可能になるという効果がある。
【図面の簡単な説明】
【図１】本発明の、第１の実施形態に係る装置の構成を示す図である。
【図２】本発明の、第２の実施形態に係る装置の構成を示す図である。
【図３】従来の、マルチメディアデータの伝送を行う装置の１例を示す図である。
【図４】マルチメディアデータの重畳例を示す図である。
【図５】従来の、マルチメディアデータの伝送を行う装置の他の１例を示す図である。
【図６】本発明の、第３の実施形態に係る装置の構成を示す図である。
【図７】第１の実施形態によるマルチメディア配信システムによる動作を説明するフローチャートである。
【図８】第２の実施形態によるマルチメディア配信システムによる動作を説明するフローチャートである。
【図１】
0004454821.tif 000002
【図２】
0004454821.tif 000003
【図３】
0004454821.tif 000004
【図４】
0004454821.tif 000005
【図５】
0004454821.tif 000006
【図６】
0004454821.tif 000007
【図７】
0004454821.tif 000008
【図８】
0004454821.tif 000009