(57)【要約】【課題】Ｅｎｄ　ｔｏ　ｅｎｄ　ｄｅｌａｙ　ｔｉｍｅを短縮する。【解決手段】本発明のデータ配信システムは、ネットワークを介してデータストリームを送信する送信装置と、データストリームを受信して受信バッファに格納し、受信バッファに格納されたデータストリームを復号する受信装置とを備える。ネットワークには、送信装置から受信装置へのデータ転送時間の変動に関わらず受信したデータストリームを連続して復号できる受信バッファのデータ蓄積量（連続復号可能データ蓄積量）が想定されている。受信装置は、データの受信を開始してから受信バッファに対して連続復号可能データ蓄積量分のデータが蓄積される前までに、符号化時に想定された復号速度よりも遅い復号速度で受信したデータストリームの復号を開始する。さらに、受信装置は、受信バッファに対して連続復号可能データ蓄積量分のデータが蓄積された後に、上記復号速度を符号化時に想定された復号速度に変更する。【選択図】　図２
2004015111.tif 000002
【特許請求の範囲】
【請求項１】
ネットワークを介してデータストリームを送信する送信装置と、当該データストリームを受信して受信バッファに格納し、受信バッファに格納されたデータストリームを復号する受信装置とを備えるデータ配信システムにおいて、
上記ネットワークには、送信装置から受信装置へのデータ転送時間の変動に関わらず受信したデータストリームを連続して復号できる上記受信バッファのデータ蓄積量（連続復号可能データ蓄積量）が想定されており、
上記受信装置は、データの受信を開始してから上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積される前までに、符号化時に想定された復号速度よりも遅い復号速度で受信したデータストリームの復号を開始し、上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積された後に、上記復号速度を符号化時に想定された復号速度に変更すること
を特徴とするデータ配信システム。
【請求項２】
上記受信装置は、
データの受信を開始してから上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積される前までに、基準クロックを、符号化時に想定された速度よりも遅い速度に設定して、受信したデータストリームの復号を開始し、
上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積された後に、上記基準クロックを符号化時に想定された速度に変更すること
を特徴とする請求項１記載のデータ配信システム。
【請求項３】
上記送信装置は、送信するデータストリームに含める上記基準クロックを再生するための同期情報を制御して、受信装置の上記基準クロックの速度を制御すること
を特徴とする請求項２記載のデータ配信システム。
【請求項４】
上記受信装置は、受信したデータストリームに含められている上記基準クロックを再生するための同期情報を変更して、基準クロックの速度を制御すること
を特徴とする請求項２記載のデータ配信システム。
【請求項５】
上記受信装置は、
データの受信を開始してから上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積される前までに、単独でデータを復号することができる単位であるアクセスユニットの復号タイミングの間隔を、符号化時に想定された間隔よりも広い間隔に設定して、受信したデータストリームの復号を開始し、
上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積された後に、上記アクセスユニットの上記復号タイミングの間隔を、符号化時に想定された間隔に変更すること
を特徴とする請求項１記載のデータ配信システム。
【請求項６】
上記送信装置は、送信するデータストリームに含める各アクセスユニットの復号タイミングを示したタイミング情報を制御して、受信装置のアクセスユニットの復号タイミングの間隔を制御すること
を特徴とする請求項５記載のデータ配信システム。
【請求項７】
上記受信装置は、受信したデータストリームに含められている各アクセスユニットの復号タイミングを示したタイミング情報を変更して、アクセスユニットの復号タイミングの間隔を制御すること
を特徴とする請求項５記載のデータ配信システム。
【請求項８】
送信側がネットワークを介してデータストリームを送信し、受信側が当該データストリームを受信して受信バッファに格納し、受信バッファに格納されたデータストリームを復号するデータ配信方法において、
上記ネットワークを介したデータ転送時間の変動に関わらず受信したデータストリームを連続して復号できる受信バッファのデータ蓄積量（連続復号可能データ蓄積量）を想定し、
上記受信側は、
データの受信を開始してから上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積される前までに、符号化時に想定された復号速度よりも遅い復号速度で、受信したデータストリームの復号を開始し、
上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積された後に、上記復号速度を符号化時に想定された復号速度に変更すること
を特徴とするデータ配信方法。
【請求項９】
上記受信側は、
データの受信を開始してから上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積される前までに、基準クロックを、符号化時に想定された速度よりも遅い速度に設定して、受信したデータストリームの復号を開始し、
上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積された後に、上記基準クロックを符号化時に想定された速度に変更すること
を特徴とする請求項８記載のデータ配信方法。
【請求項１０】
上記送信側は、送信するデータストリームに含める上記基準クロックを再生するための同期情報を制御して、受信側の上記基準クロックの速度を制御すること
を特徴とする請求項９記載のデータ配信方法。
【請求項１１】
上記受信側は、受信したデータストリームに含められている上記基準クロックを再生するための同期情報を変更して、基準クロックの速度を制御すること
を特徴とする請求項９記載のデータ配信方法。
【請求項１２】
上記受信側は、
データの受信を開始してから上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積される前までに、単独でデータを復号することができる単位であるアクセスユニットの復号タイミングの間隔を、符号化時に想定された間隔よりも広い間隔に設定して、受信したデータストリームの復号を開始し、
上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積された後に、上記アクセスユニットの上記復号タイミングの間隔を、符号化時に想定された間隔に変更すること
を特徴とする請求項８記載のデータ配信方法。
【請求項１３】
上記送信側は、送信するデータストリームに含める各アクセスユニットの復号タイミングを示したタイミング情報を制御して、受信側のアクセスユニットの復号タイミングの間隔を制御すること
を特徴とする請求項１２記載のデータ配信方法。
【請求項１４】
上記受信側は、受信したデータストリームに含められている各アクセスユニットの復号タイミングを示したタイミング情報を変更して、アクセスユニットの復号タイミングの間隔を制御すること
を特徴とする請求項１２記載のデータ配信方法。
【請求項１５】
送信側がネットワークを介してデータストリームを送信し、受信側が当該データストリームを受信して受信バッファに格納し、受信バッファに格納されたデータストリームを復号するデータ配信システムにおける受信装置において、
上記ネットワークには、送信装置から受信装置へのデータ転送時間の変動に関わらずデータストリームを連続して復号できる上記受信バッファのデータ蓄積量（連続復号可能データ蓄積量）が想定され、
データの受信を開始してから上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積される前までに、符号化時に想定された復号速度よりも遅い復号速度で、受信したデータストリームの復号を開始し、
上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積された後に、上記復号速度を符号化時に想定された復号速度に変更すること
を特徴とする受信装置。
【請求項１６】
データの受信を開始してから上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積される前までに、基準クロックを、符号化時に想定された速度よりも遅い速度に設定して、受信したデータストリームの復号を開始し、
上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積された後に、上記基準クロックを符号化時に想定された速度に変更すること
を特徴とする請求項１５記載の受信装置。
【請求項１７】
受信したデータストリームに含められている上記基準クロックを再生するための同期情報を変更して、基準クロックの速度を制御すること
を特徴とする請求項１６記載の受信装置。
【請求項１８】
データの受信を開始してから上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積される前までに、単独でデータを復号することができる単位であるアクセスユニットの復号タイミングの間隔を、符号化時に想定された間隔よりも広い間隔に設定して、受信したデータストリームの復号を開始し、
上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積された後に、上記アクセスユニットの上記復号タイミングの間隔を、符号化時に想定された間隔に変更すること
を特徴とする請求項１５記載の受信装置。
【請求項１９】
受信したデータストリームに含められている各アクセスユニットの復号タイミングを示したタイミング情報を変更して、アクセスユニットの復号タイミングの間隔を制御すること
を特徴とする請求項１８記載の受信装置。
【請求項２０】
送信側がネットワークを介してデータストリームを送信し、受信側が当該データストリームを受信して受信バッファに格納し、受信バッファに格納されたデータストリームを復号するデータ配信システムにおける送信装置において、
上記ネットワークには、送信装置から受信装置へのデータ転送時間の変動に関わらずデータストリームを連続して復号できる上記受信バッファのデータ蓄積量（連続復号可能データ蓄積量）が想定され、
上記受信装置に対して、データの受信を開始してから上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積される前までに、符号化時に想定された復号速度よりも遅い復号速度で、受信したデータストリームの復号を開始させ、
上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積された後に、上記復号速度を符号化時に想定された復号速度に変更させること
を特徴とする送信装置。
【請求項２１】
上記受信装置に対して、データの受信を開始してから上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積される前までに、基準クロックを、符号化時に想定された速度よりも遅い速度に設定して、受信したデータストリームの復号を開始させ、
上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積された後に、上記基準クロックを符号化時に想定された速度に変更させること
を特徴とする請求項２０記載の送信装置。
【請求項２２】
送信するデータストリームに含める上記基準クロックを再生するための同期情報を制御して、受信装置の上記基準クロックの速度を制御すること
を特徴とする請求項２１記載の送信装置。
【請求項２３】
上記受信装置に対して、データの受信を開始してから上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積される前までに、単独でデータを復号することができる単位であるアクセスユニットの復号タイミングの間隔を、符号化時に想定された間隔よりも広い間隔に設定して、受信したデータストリームの復号を開始させ、
上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積された後に、上記アクセスユニットの上記復号タイミングの間隔を、符号化時に想定された間隔に変更させること
を特徴とする請求項２０記載の送信装置。
【請求項２４】
送信するデータストリームに含める各アクセスユニットの復号タイミングを示したタイミング情報を制御して、受信装置のアクセスユニットの復号タイミングの間隔を制御すること
を特徴とする請求項２３記載の送信装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ネットワークを介してデジタルコンテンツを配信するデータ配信システムに関するものである。
【０００２】
【従来の技術】
近年、インターネット等のネットワークを介したデジタル動画像やデジタル音声等のデジタルコンテンツのリアルタイム配信が行われ始めている。
【０００３】
ネットワークを利用したコンテンツのリアルタイム配信システム１０１は、図１０に示すように、コンテンツを送信する送信装置１０２と、送信されたコンテンツを受信する受信装置１０３とにより構成される。送信装置１０２は、例えば、ネットワークを介してコンテンツを配信する例えばコンテンツプロバイダ側の装置である。受信装置１０３は、ネットワークを介して提供されるコンテンツを視聴するユーザ側の装置である。ネットワーク１０４は、例えば、インターネット、ケーブル放送、デジタル地上波放送、衛星通信システム等のデータ伝送が可能な媒体である。このようなコンテンツ配信システムでは、ネットワーク１０４を介して送信装置１０２から受信装置１０３にコンテンツがリアルタイムで配信される。
【０００４】
送信装置１０２は、コンテンツをデータ配信用のデータストリームに符号化するエンコーダ１１１と、符号化されたデータストリームを一旦蓄積する送信バッファ１１２とを備えている。また、受信装置１０３は、受信したデータストリームを一旦蓄積する受信バッファ１２１と、データストリームからデジタルコンテンツを復号するデコーダ１２２とを備えている。
【０００５】
データ配信時における送信装置１０２及び受信装置１０３の動作について以下説明する。
【０００６】
送信装置１０２には、リアルタイムで順次生成される例えばビデオデータやオーディオデータ等のコンテンツが入力される。送信装置１０２のエンコーダ１１１は、順次入力されてくるコンテンツを符号化し、所定の伝送形式のデータストリームを生成する。エンコーダ１１１は、生成したデータストリームを、送信バッファ１１２に一旦格納する。そして、送信装置１０２は、送信バッファ１１２に格納されているデータストリームをネットワーク１０４を介して受信装置１０３に送信する。
【０００７】
送信装置１０２は、ネットワーク１０４にデータストリームを送出する際に、受信装置１０３の基準クロックを制御するための基準時間情報（ＳＴＣ：ＳｙｓｔｅｍＴｉｍｅ　Ｃｌｏｃｋ）、並びに、各アクセスユニットのデコード時刻を示すタイムスタンプ（ＤＴＳ：Ｄｅｃｏｄｉｎｇ　Ｔｉｍｅ　Ｓｔａｍｐ）を、データストリームに付加する。送信装置１０２は、データストリームの到着時刻を想定し、その想定した到着時刻に基づき発生されたＳＴＣをデータストリーム内に離散的に挿入しておく。すなわち、送信装置１０２は、受信側の基準時刻を符号化時に想定して、その想定した基準時刻に従ったＳＴＣをデータストリームに挿入する。送信装置１０２は、各アクセスユニットのデコード時刻を想定し、各アクセスユニットに対してその想定したデコード時刻が記述されたＤＴＳを付加する。なお、アクセスユニットは、単独でデータを復号することができるデータストリームの最小単位である。例えば、動画像のデータストリームであれば１フレームがアクセスユニットに該当することとなる。ネットワーク１０３を介して配信されるデータストリームは、複数のアクセスユニットが連続して形成されたデータ列である。
【０００８】
受信装置１０３は、ネットワーク１０４を介してデータストリームを受信すると、そのデータストリームに付加されているＳＴＣを抜き出す。受信装置１０３は、データストリーム上に離散的に配置されたＳＴＣからＰＬＬ制御し、ＳＴＣに記述された時刻情報に同期した基準クロックを再生する。受信装置１０３は、この基準クロックに基づき復号動作の時刻を制御する。
【０００９】
受信装置１０３の受信バッファ１２１は、受信したデータストリームを一旦格納する。受信装置１０３のデコーダ１２２は、アクセスユニットに付加されているＤＴＳを参照し、このＤＴＳと基準クロックとが一致したときに、そのアクセスユニットを受信バッファ１２１から抜き出して復号を行う。
【００１０】
ところで、リアルタイム配信システム１０１では、ネットワークの伝送エラー等が生じていない定常状態においては、送信バッファ１１２及び受信バッファ１２１に一定のバッファ占有量を確保した状態で、データストリームの配信がされることとなる。データ配信時における送信バッファ１１２及び受信バッファ１２１のバッファ占有量について、図１１を参照して説明をする。
【００１１】
データ配信動作が開始されると、送信装置１０１は、コンテンツを１アクセスユニットごとに符号化していく。符号化されたデータは、送信バッファ１１２に格納される。このとき、まだ、送信バッファ１１２からネットワーク１０４へデータの送出は開始されていない。そのため、データ配信の開始時には、送信バッファ１１２のバッファ占有量が階段状に増加していく。
【００１２】
続いて、送信バッファ１１２に、ある一定量のデータストリームが確保されると、データストリームの送出が開始される。この一定量のことを、ここでは送信マージンＢＳという。送信マージンは、例えば、エンコーダ１１１による符号化エラー等が生じてデータストリームが予定どおりに符号化されなかったときでも、ネットワーク１０４に送出されるデータストリームの連続性が途切れないように設定されたマージンである。データの送出が開始された後は、送信バッファ１１２には、所定の伝送レートで連続的にデータが抜き出されていくとともに、１つのアクセスユニットに対する符号化間隔ごとに一定量のデータが蓄積されていく。なお、送信装置１０２では、符号化エラー等が生じていない定常状態のときには、データ転送レートとエンコードレートとのバランスがとられており、送信バッファ１１２内のバッファ占有量が、送信マージンを下回らず一定となる。
【００１３】
ネットワーク１０４に対してデータの送出が開始されると、受信装置１０３の受信バッファ１２１に対してデータの蓄積が開始される。このとき、まだ、データストリームの復号は開始されていない。そのため、受信バッファ１２１のバッファ占有量は、データの伝送レートで増加していく。
【００１４】
続いて、受信バッファ１２１に、ある一定量のデータストリームが確保されると、データストリームの復号が開始される。この一定量のことを、ここでは受信マージンＢＲという。受信マージンは、ネットワーク１０４の伝送品質により、送信装置１０２から受信装置１０３へのデータ転送時間にジッタが生じる場合であっても、復号の連続性が途切れないように設定されたマージンである。つまり、ネットワーク１０４のデータ伝送時間にジッタある場合、データストリームの到着時間が、送信側で想定した到着時間からずれることがある。このずれが大きいと、復号が開始されるまでに、データストリームが到着せず、出力する画像や音声が途切れてしまうという状態となる。受信マージンは、このような出力停止の状態を回避するために設けられたマージンである。受信マージンの容量は、ネットワーク１０４の伝送品質に応じて、データ転送に或る一定以上のジッタが生じることを想定し、その想定した大きさ以上に設定されている。
【００１５】
データの復号が開始された後は、受信バッファ１２１には、所定の伝送レートで連続的にデータが入力されるとともに、１つのアクセスユニットに対する復号間隔ごとに一定量のデータが抜き出されていく。なお、受信装置１０３では、ネットワーク１０４にジッタ等が生じていない定常状態のときには、データ転送レートとデコードレートとのバランスがとられており、受信バッファ１２１内のバッファ占有量が、受信マージンを下回らず一定となる。
【００１６】
【発明が解決しようとする課題】
ところで、以上のようにネットワーク１０４のデータ伝送時間のジッタを考慮して、受信マージンを設定した場合、エンコードが開始されてからデコードが開始されるまでの遅延時間（エンドトゥエンドディレイタイム）が非常に長くなる。つまり、送信側でコンテンツの配信を開始してから、実際にユーザがコンテンツを鑑賞できるまでの遅延時間が、非常に長くなる。
【００１７】
本発明は、データの送信を開始してからデコードを開始するまでの時間を短縮したデータ配信システム、データ配信方法、受信装置及び送信装置を提供することを目的とする。
【００１８】
【課題を解決するための手段】
本発明にかかるデータ配信システムは、ネットワークを介してデータストリームを送信する送信装置と、当該データストリームを受信して受信バッファに格納し、受信バッファに格納されたデータストリームを復号する受信装置とを備えるデータ配信システムであって、上記ネットワークには、送信装置から受信装置へのデータ転送時間の変動に関わらず受信したデータストリームを連続して復号できる上記受信バッファのデータ蓄積量（連続復号可能データ蓄積量）が想定されており、上記受信装置は、データの受信を開始してから上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積される前までに、符号化時に想定された復号速度よりも遅い復号速度で受信したデータストリームの復号を開始し、上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積された後に、上記復号速度を符号化時に想定された復号速度に変更することを特徴とする。
【００１９】
本発明にかかるデータ配信方法は、送信側がネットワークを介してデータストリームを送信し、受信側が当該データストリームを受信して受信バッファに格納し、受信バッファに格納されたデータストリームを復号するデータ配信方法であって、上記ネットワークを介したデータ転送時間の変動に関わらず受信したデータストリームを連続して復号できる受信バッファのデータ蓄積量（連続復号可能データ蓄積量）を想定し、上記受信側は、データの受信を開始してから上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積される前までに、符号化時に想定された復号速度よりも遅い復号速度で、受信したデータストリームの復号を開始し、上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積された後に、上記復号速度を符号化時に想定された復号速度に変更することを特徴とする。
【００２０】
本発明にかかる受信装置は、送信側がネットワークを介してデータストリームを送信し、受信側が当該データストリームを受信して受信バッファに格納し、受信バッファに格納されたデータストリームを復号するデータ配信システムにおける受信装置であって、上記ネットワークには、送信装置から受信装置へのデータ転送時間の変動に関わらずデータストリームを連続して復号できる上記受信バッファのデータ蓄積量（連続復号可能データ蓄積量）が想定され、データの受信を開始してから上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積される前までに、符号化時に想定された復号速度よりも遅い復号速度で、受信したデータストリームの復号を開始し、上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積された後に、上記復号速度を符号化時に想定された復号速度に変更することを特徴とする。
【００２１】
本発明にかかる送信装置は、送信側がネットワークを介してデータストリームを送信し、受信側が当該データストリームを受信して受信バッファに格納し、受信バッファに格納されたデータストリームを復号するデータ配信システムにおける送信装置であって、上記ネットワークには、送信装置から受信装置へのデータ転送時間の変動に関わらずデータストリームを連続して復号できる上記受信バッファのデータ蓄積量（連続復号可能データ蓄積量）が想定され、上記受信装置に対して、データの受信を開始してから上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積される前までに、符号化時に想定された復号速度よりも遅い復号速度で、受信したデータストリームの復号を開始させ、上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積された後に、上記復号速度を符号化時に想定された復号速度に変更させることを特徴とする。
【００２２】
【発明の実施の形態】
以下、本発明の実施の形態として、ネットワークを利用したコンテンツのリアルタイム配信システムについて説明をする。
【００２３】
本発明の実施の形態のコンテンツのリアルタイム配信システムの構成図を図１に示す。リアルタイム配信システム１は、コンテンツを送信する送信装置２と、送信されたコンテンツを受信する受信装置３とにより構成される。送信装置２は、例えば、ネットワークを介してコンテンツを配信する例えばコンテンツプロバイダ側の装置である。受信装置３は、ネットワークを介して提供されるコンテンツを視聴するユーザ側の装置である。ネットワーク４は、例えば、インターネット、ケーブル放送、デジタル地上波放送、衛星通信システム等のデータ伝送が可能な媒体である。このようなコンテンツ配信システムでは、ネットワーク４を介して送信装置２から受信装置３にコンテンツがリアルタイムで配信される。
【００２４】
送信装置２は、コンテンツをデータ配信用のデータストリームに符号化するエンコーダ１１と、符号化されたデータストリームを一旦蓄積する送信バッファ１２とを備えている。また、受信装置３は、受信したデータストリームを一旦蓄積する受信バッファ１３と、データストリームからデジタルコンテンツを復号するデコーダ１４とを備えている。
【００２５】
データ配信時における送信装置２及び受信装置３の動作について以下説明する。
【００２６】
送信装置２には、リアルタイムで順次生成されるコンテンツが入力される。送信装置２のエンコーダ１１は、順次入力されてくるコンテンツを符号化し、所定の伝送形式のデータストリームを生成する。エンコーダ１１は、生成したデータストリームを、送信バッファ１２に一旦格納する。そして、送信装置２は、送信バッファ１２に格納されたデータストリームを、ネットワーク４を介して受信装置３に送信する。
【００２７】
送信装置２は、ネットワーク４にデータストリームを送出する際に、受信装置３の基準クロックを制御するためのＳＴＣ、並びに、各アクセスユニットのデコード時刻を示すＤＴＳを、データストリームに付加する。送信装置２は、データストリームの到着時刻を想定し、その想定した到着時刻に基づき発生されたＳＴＣをデータストリーム内に離散的に挿入しておく。すなわち、送信装置２は、受信側の基準時刻を符号化時に想定して、その想定した基準時刻に従ったＳＴＣをデータストリームに挿入する。送信装置２は、各アクセスユニットのデコード時刻を想定し、各アクセスユニットに対してその想定したデコード時刻が記述されたＤＴＳを付加する。
【００２８】
受信装置３は、ネットワーク４を介してデータストリームを受信すると、そのデータストリームに付加されているＳＴＣを抜き出す。受信装置３は、データストリーム上に離散的に配置されたＳＴＣからＰＬＬ制御し、ＳＴＣに記述された時刻情報に同期した基準クロックを再生する。受信装置３は、この基準クロックに基づき復号動作の時刻を制御する。
【００２９】
受信装置３の受信バッファ１３は、受信したデータストリームを一旦格納する。受信装置３のデコーダ１４は、アクセスユニットに付加されているＤＴＳを参照し、このＤＴＳと基準クロックとが一致したときに、そのアクセスユニットを受信バッファ１３から抜き出して復号を行う。
【００３０】
ここで、受信装置３では、受信バッファ１３に格納されているデータストリームの容量が受信マージンＢＲに達する前に、符号化時に想定されている通常の復号速度より遅い速度で、復号を開始する。つまり、受信したデータストリームに対する通常の符号開始時刻よりも早い時刻から復号を開始し、且つ、受信したデータストリームに対する通常の復号速度よりも遅い速度で、復号を行う。
【００３１】
符号化時に想定されている通常の復号速度と、ネットワーク４上のデータ転送レートとはバランスがとられている。そのため、符号化時に想定されている復号速度より遅い速度で復号を行った場合、復号を連続して行っていったとしても、受信バッファ１３のバッファ占有量は増加し続けることとなる。
【００３２】
続いて、受信装置３は、受信バッファ１３に対して受信マージン分のデータストリームが確保されると、復号速度を、符号化時に想定されている通常の復号速度に変更する。符号化時に想定されている通常の復号速度で復号を行った場合には、受信バッファ１３のバッファ占有量は、受信マージンの状態を維持することとなる。
【００３３】
つぎに、以上のような制御を行った場合における送信バッファ１２及び受信バッファ１３のバッファ占有量の遷移について、図２を参照して説明をする。
【００３４】
データ配信動作が開始されると、送信装置１は、コンテンツを１アクセスユニットごとに符号化していく。符号化されたデータは、送信バッファ１２に格納される。このとき、まだ、送信バッファ１２からネットワーク４へデータの送出は開始されていない。そのため、データ配信の開始時には、送信バッファ１２のバッファ占有量が階段状に増加していく。
【００３５】
続いて、送信バッファ１２に、送信マージン分のデータストリームが確保されると、データストリームの送出が開始される。データの送出が開始された後は、送信バッファ１２には、所定の伝送レートで連続的にデータが抜き出されていくとともに、１つのアクセスユニットに対する符号化間隔ごとに一定量のデータが蓄積されていく。なお、送信装置２では、エンコードエラー等が生じてない定常状態のときには、データ転送レートとエンコードレートとのバランスがとられており、送信バッファ１２内のバッファ占有量が、送信マージンを下回らず一定となる。
【００３６】
ネットワーク４へのデータの送出が開始されると、受信装置３の受信バッファ１３に対してデータの蓄積が開始される。このとき、まだ、データストリームの復号は開始されていない。そのため、受信バッファ１３のバッファ占有量は、データの伝送レートで増加していく。
【００３７】
続いて、受信バッファ１３に、少なくとも１アクセスユニット分以上のデータが蓄積されると、データストリームの復号が開始される。ここで、データストリームの復号の開始時刻は、データストリームの符号化時に想定されている時刻よりも、早いタイミングとする。つまり、受信バッファ１３に対して受信マージン分のデータが確保された本来のタイミングよりも、早いタイミングで復号を開始する。さらに、このときの復号速度は、データストリームの符号化時に想定されている通常の復号速度よりも、遅い速度で復号を行っていく。低速で復号をする方法としては、例えば、受信装置３の基準クロックを遅くしたり、各アクセスユニットの復号間隔を広げたりすることにより実現できる。低速復号が開始された後は、受信バッファ１３には、所定の伝送レートで連続的にデータが入力されるとともに、１つのアクセスユニットに対する復号間隔ごとに一定量のデータが抜き出されていく。ここで、通常の復号速度で復号を行っていった場合には、データの伝送レートと、復号で抜き出されるデータ量のバランスがとられているため、受信バッファ１３のバッファ占有量は平均すると一定となるが、ここでは、復号速度が通常の速度よりも低速となっているので、受信バッファ１３のバッファ占有量は増加していく。そして、受信装置３は、受信バッファ１３に、受信マージン分のデータが確保されると、復号速度を通常の復号速度に変更する。復号速度を、通常の復号速度に変更したのちは、データ転送レートと復号速度とのバランスがとられた状態となり、受信バッファ１３のバッファ占有量は受信マージンを下回らず一定となる。
【００３８】
以上のように本発明の実施の形態のリアルタイム配信システムでは、データストリームの復号開始時刻を、符号化時に想定されている通常の復号開始時刻よりも早くすることができる。従って、本発明の実施の形態のリアルタイム配信システムでは、符号化が開始されてから復号が開始されるまでの遅延時間（エンドトゥエンドディレイタイム）を短くすることができる。つまり、送信側でコンテンツの配信を開始してから、実際にユーザがコンテンツを鑑賞できるまでの遅延時間を短くすることができる。
【００３９】
なお、本発明は、リアルタイム配信のみならず、予めエンコード済みのデータストリームをサーバに格納しておき配信するノンリアルタイム配信にも適用することができる。具体的には、リアルタイム配信システムの送信マージンを無限に大きくしたモデルをノンリアルタイム配信システムとすれば、本実施の形態のリアルタイム配信システム１をそのままノンリアルタイム配信に適用することができる。
【００４０】
つぎに、以上のような本実施の形態のリアルタイム配信システム１を実現するための、送信装置及び受信装置の第１〜第４の具体的な構成例を示す。
【００４１】
まず、第１の適用例のリアルタイム配信システムについて説明をする。図３に第１の適用例の送信装置のブロック構成図を示し、図４に第１の適用例のリアルタイム配信システムのブロック構成図を示す。第１の適用例は、コンテンツとしてビデオデータを配信する場合に適用されるリアルタイム配信システムである。
【００４２】
第１の適用例の送信装置２は、図３に示すように、ビデオエンコーダ（Ｖ．エンコーダ）２１と、ビデオエレメンタリバッファ（Ｖ．Ｅ．バッファ）２２と、マルチプレクサ（ＭＵＸ）２３と、ストリームバッファ２４と、ＳＴＣ発生部２５と、ＤＴＳ制御部２６と、エンコード制御部２７とを備えて構成される。
【００４３】
ビデオエンコーダ２１には、ベースバンドのビデオデータが入力される。ビデオエンコーダ２１は、例えばＭＰＥＧ−２やＭＰＥＧ−４といった符号化方式に従い、ベースバンドのビデオデータを符号化し、ビデオエレメンタリストリームを生成する。生成されたビデオエレメンタリストリームは、ビデオエレメンタリバッファ２２に格納される。
【００４４】
ＳＴＣ発生部２５は、ネットワーク上に伝送する多重化ストリームに挿入するＳＴＣを生成する。生成されたＳＴＣは、マルチプレクサ２３に供給される。
【００４５】
マルチプレクサ２３は、例えばＭＰＥＧ−２システムズ等のデータ伝送規格に従い、ビデオエレメンタリバッファ２２に格納されているビデオエレメンタリストリーム、エンコード制御部２８により生成されるシステムデータ等を多重化して、多重化ストリームを生成する。また、マルチプレクサ２３は、多重化ストリームの受信装置３への到着時間を想定して、多重化ストリームに対して離散的にＳＴＣを挿入する。これとともに、マルチプレクサ２３は、各アクセスユニット（例えばフレーム）に対してＤＴＳ及びＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ　Ｔｉｍｅ　Ｓｔａｍｐ）を付加する。なお、ＤＴＳ及びＰＴＳは、ビデオエンコーダ２１による符号化時に付加してもよい。マルチプレクサ２３により生成された多重化ストリームは、ストリームバッファ２４に格納される。
【００４６】
ストリームバッファ２４は、マルチプレクサ２４により生成された多重化ストリームを一旦格納したのち、ネットワーク４に送出を行う。
【００４７】
ＤＴＳ制御部２６は、マルチプレクサ２３により付加されたＤＴＳに対して補正を行う。
【００４８】
エンコード制御部２７は、送信装置２の各回路の制御、並びに、ネットワーク４を介して受信装置３に伝送するシステムデータの生成等を行う。
【００４９】
第１の適用例の受信装置３は、図４に示すように、ＳＴＣ検出部３１と、時間情報比較部３２と、クロック制御部３３と、ストリームバッファ３４と、デマルチプレクサ（Ｄｅ−ＭＵＸ）３５と、ビデオエレメンタリバッファ（Ｖ．Ｅ．バッファ）３６と、ビデオデコーダ（Ｖ．デコーダ）３７と、出力制御部３８と、デコード制御部３９とを備えて構成される。
【００５０】
受信装置３は、ネットワーク４を介して送信装置２から伝送された多重化ストリームを受信する。受信された多重化ストリームは、ＳＴＣ検出部３１に入力される。
【００５１】
ＳＴＣ検出部３１は、受信した多重化ストリームからＳＴＣを抽出し、時間情報比較器３２に供給する。
【００５２】
時間情報比較部３２は、多重化ストリームから抽出したＳＴＣと、クロック制御部３３により生成された基準クロックとを比較し、その誤差情報を検出する。検出された誤差情報は、クロック制御部３３に供給される。
【００５３】
クロック制御部３３は、時間情報比較部３２により検出された誤差情報に基づきＰＬＬ制御を行い、多重化ストリームに含められたＳＴＣに同期した基準クロックを生成する。クロック制御部３３により生成された基準クロックは、受信装置３の基準時間情報として、各回路に用いられる。
【００５４】
ストリームバッファ３４は、受信した多重化ストリームを格納する。
【００５５】
デマルチプレクサ３５は、ストリームバッファ３４に格納されている多重化ストリームを、各要素ごとに分割する。第１の適用例では、ビデオエレメンタリストリームとシステムデータとに分割する。システムデータは、デコード制御部３９に供給され、ビデオエレメンタリストリームはビデオエレメンタリバッファ３６に格納される。
【００５６】
ビデオデコーダ３７は、例えばＭＰＥＧ−２やＭＰＥＧ−４といった符号化方式に従い、ビデオエレメンタリストリームを復号し、ベースバンドのビデオデータを生成する。生成されたベースバンドのビデオデータは、出力制御部３８に供給される。
【００５７】
出力制御３８は、復号されたビデオデータの出力制御を行う。
【００５８】
デコード制御部３９は、送信装置３０の各回路の制御、並びに、ネットワーク４を介して受信装置３に伝送されたシステムデータに基づく動作を行う。
【００５９】
以上のような第１の適用例のリアルタイム配信システムでは、受信バッファ１３に対応するバッフは、ストリームバッファ３４及びビデオエレメンタリバッファ３６となる。
【００６０】
このような第１の適用例のリアルタイム配信システムでは、ビデオデータの復号間隔を、符号化時に想定した通常の復号間隔よりも長くすることで、復号を行いながらデータの蓄積を実現している。具体的には、送信装置２側のＤＴＳ制御部２６が、ビデオエレメンタリストリームに付加されているＤＴＳを補正することで、復号間隔を制御している。
【００６１】
ＤＴＳ制御部２６によるＤＴＳの具体的な補正方法について説明をする。
【００６２】
まず、ＤＴＳ制御部２６によりＤＴＳの補正が行われなかった場合、受信装置３は、ビデオエレメンタリストリームが受信マージンに達した時点で復号を開始するとともに、符号化時に想定された通常の復号間隔でビデオエレメンタリストリームの復号を行っていくこととなる。
【００６３】
復号の開始時刻を早めようとする時間間隔をオフセット時間Ｔｘとする。つまり、通常の復号開始点からの減算する時間間隔をオフセット時間Ｔｘとする。ＤＴＳ制御部２６は、ビデオエレメンタリストリームの最初のアクセスユニットに付加されているＤＴＳの値から、このオフセット時間Ｔｘ分減算する。この結果、符号化時に想定されているデコード開始タイミングよりも、早いタイミングで最初のアクセスユニットの復号が開始される。つまり、受信装置３が蓄積する多重化ストリーム量が受信マージンに達したときのタイミングよりも、早いタイミングで最初のアクセスユニットのデコードが開始される。
【００６４】
続いて、ストリームの２番目以降のアクセスユニットに付加されているＤＴＳからも、オフセット時間Ｔｘを減算する。ただし、符号化時に想定されている通常の復号間隔よりも長くなるように、つまり、アクセスユニットの間隔が通常の間隔よりも長くなるように、オフセット時間Ｔｘをアクセスユニット毎に徐々に減少させ、ＤＴＳの補正を行う。オフセット時間Ｔｘを減少させていく時間間隔は、オフセット時間Ｔｘが０となった時点で、受信装置３に蓄積される多重化ストリームが受信マージンに達するような時間間隔に設定する。
【００６５】
続いて、オフセット時間Ｔｘが０となったのちのアクセスユニットに対しては、ＤＴＳの補正を行わない。従って、受信装置３に蓄積される多重化ストリームが受信マージンに達する前は、通常の復号間隔よりも長い間隔でアクセスユニットが復号されていき、受信装置３に蓄積される多重化ストリームが受信マージンに達した後は、通常の復号間隔でアクセスユニットが復号されることとなる。
【００６６】
以上のように第１の適用例のリアルタイム配信システムでは、送信側で復号間隔の制御を行い、受信側は通常の装置で処理が行われる。
【００６７】
つぎに、第２の適用例のリアルタイム配信システムについて説明をする。第２の適用例のリアルタイム配信システムでは、送信装置２の構成が、図３に示す第１の適用例の送信装置２のＤＴＳ制御部２６を除いた構成と同一であり、受信装置３の構成が、図４に示す第１の適用例の受信装置３の構成と同一である。第２の適用例の送信装置２及び受信装置３の図示は省略する。
【００６８】
第２の適用例のリアルタイム配信システムも、第１の適用例のリアルタイム配信システムと同様に、ビデオデータの復号間隔を、符号化時に想定した通常の復号間隔よりも長くすることで、復号を行いながらデータの蓄積を実現している。具体的に、第２の適用例のリアルタイム配信システムでは、ビデオエレメンタリストリームに付加されているＤＴＳに関わらず、ビデオデコーダ３７がアクセスユニットの復号を行うことによって、復号間隔を制御している。
【００６９】
まず、ビデオデコーダ３７が、ビデオエレメンタリストリームに付加されているＤＴＳに従って復号を行っていった場合、ビデオエレメンタリストリームが受信マージンに達した時点で復号を開始するとともに、符号化時に想定された通常の復号間隔でビデオエレメンタリストリームの復号を行っていくこととなる。
【００７０】
これに対して、第２の適用例のビデオデコーダ３９は、図５に示すように、ビデオエレメンタリバッファ３６に１アクセスユニット以上のデータが格納されると（ステップＳ１）、通常の復号間隔以上の復号間隔で、各アクセスユニットの復号を開始する（ステップＳ２）。続いて、通常の復号間隔以上の復号間隔で各アクセスユニットに対する復号を行いながら、ビデオエレメンタリバッファ３６及びストリームバッファ３４に格納されているデータ量を検出し、受信マージン以上の多重化ストリームが格納されたか否かを判断する（ステップＳ３）。受信マージン以上の多重化ストリームが格納されていれば、以後、通常の復号間隔で復号を開始する。
【００７１】
以上のように第２の適用例のリアルタイム配信システムでは、受信側で復号間隔の制御を行い、送信側では通常の装置で処理が行われる。
【００７２】
つぎに、第３の適用例のリアルタイム配信システムについて説明をする。第３の適用例は、コンテンツとしてビデオデータ及びオーディオデータを配信する場合に適用されるリアルタイム配信システムである。図６に第３の適用例の送信装置のブロック構成図を示し、図７に第３の適用例のリアルタイム配信システムのブロック構成図を示す。
【００７３】
第３の適用例の送信装置２は、図６に示すように、ビデオエンコーダ（Ｖ．エンコーダ）４１と、ビデオエレメンタリバッファ（Ｖ．Ｅ．バッファ）４２と、オーディオエンコーダ（Ａ．エンコーダ）４３と、オーディオエレメンタリバッファ（Ａ．Ｅ．バッファ）４４と、マルチプレクサ（ＭＵＸ）４５と、ストリームバッファ４６と、ＳＴＣ発生部４７と、ＳＴＣ制御部４８と、エンコード制御部４９とを備えて構成される。
【００７４】
ビデオエンコーダ４１には、ベースバンドのビデオデータが入力される。ビデオエンコーダ４１は、例えばＭＰＥＧ−２やＭＰＥＧ−４といった符号化方式に従い、ベースバンドのビデオデータを符号化し、ビデオエレメンタリストリームを生成する。生成されたビデオエレメンタリストリームは、ビデオエレメンタリバッファ４２に格納される。
【００７５】
オーディオエンコーダ４３には、ベースバンドのオーディオデータが入力される。オーディオエンコーダ４３は、例えばＭＰＥＧ−２やＭＰＥＧ−４といった符号化方式に従い、ベースバンドのオーディオデータを符号化し、オーディオエレメンタリストリームを生成する。生成されたオーディオエレメンタリストリームは、オーディオエレメンタリバッファ４４に格納される。
【００７６】
ＳＴＣ発生部４７は、伝送する多重化ストリームに挿入するＳＴＣを生成する。生成されたＳＴＣは、時間情報制御部４８に供給される。
【００７７】
ＳＴＣ制御部２６は、マルチプレクサ２３により付加されたＳＴＣに対して補正を行う。補正されたＳＴＣは、マルチプレクサ４５に供給される。
【００７８】
マルチプレクサ４５は、例えばＭＰＥＧ−２システムズ等のデータ伝送規格に従い、ビデオエレメンタリバッファ４２に格納されているビデオエレメンタリストリーム、オーディオエレメンタリバッファ４４に格納されているオーディオエレメンタリストリーム、エンコード制御部４９により生成されるシステムデータ等を多重化して、伝送用の多重化ストリームを生成する。また、マルチプレクサ４５は、多重化ストリームに対して離散的にＳＴＣを挿入するとともに、各アクセスユニット（例えばフレーム）に対してＤＴＳを付加する。受信装置３は、マルチプレクサ２３により生成された多重化ストリームは、ストリームバッファ２４に格納される。
【００７９】
ストリームバッファ２４は、マルチプレクサ２４により生成された多重化ストリームを一旦格納したのち、ネットワーク４に送出を行う。
【００８０】
エンコード制御部２７は、送信装置２の各回路の制御、並びに、ネットワーク４を介して受信装置３に伝送するシステムデータの生成等を行う。
【００８１】
第３の適用例の受信装置３は、図７に示すように、ＳＴＣ検出部５１と、時間情報比較部５２と、クロック制御部５３と、ストリームバッファ５４と、デマルチプレクサ（Ｄｅ−ＭＵＸ）５５と、ビデオエレメンタリバッファ（Ｖ．Ｅ．バッファ）５６と、ビデオデコーダ（Ｖ．デコーダ）５７と、オーディオエレメンタリバッファ（Ａ．Ｅ．バッファ）５８と、オーディオデコーダ（Ａ．デコーダ）５９と、出力制御部６０と、デコード制御部６１とを備えて構成される。
【００８２】
受信装置３は、ネットワーク４を介して送信装置２から伝送された多重化ストリームを受信する。受信された多重化ストリームは、ＳＴＣ検出部５１に入力される。
【００８３】
ＳＴＣ検出部５１は、受信した多重化ストリームからＳＴＣを抽出し、抽出したＳＴＣを時間情報比較器５２に供給する。
【００８４】
時間情報比較部５２は、多重化ストリームから抽出したＳＴＣと、クロック制御部５３により生成された基準クロックとを比較し、その誤差情報を検出する。検出された誤差情報は、クロック制御部５３に供給される。
【００８５】
クロック制御部５３は、時間情報比較部５２により検出された誤差情報に基づきＰＬＬ制御を行い、多重化ストリームに含められたＳＴＣに同期した基準クロックを生成する。クロック制御部３３により生成された基準クロックは、受信装置３の基準時間情報として各回路に用いられる。
【００８６】
ストリームバッファ５４は、受信した多重化ストリームを格納する。
【００８７】
デマルチプレクサ５５は、ストリームバッファ５４に格納されている多重化ストリームを、各要素ごとに分割する。第３の適用例では、ビデオエレメンタリストリームとオーディオエレメンタリストリームとシステムデータとに分割する。システムデータは、デコード制御部６１に供給され、ビデオエレメンタリストリームはビデオエレメンタリバッファ５６に格納され、オーディオエレメンタリストリームはオーディオエレメンタリバッファ５８に格納される。
【００８８】
ビデオデコーダ５７は、ビデオエレメンタリバッファ５６に格納されているビデオエレメンタリストリームを１アクセスユニットごとに読み出して、例えばＭＰＥＧ−２やＭＰＥＧ−４といった符号化方式に従い、ベースバンドのビデオデータを復号する。なお、ビデオデコーダ５７は、ビデオエレメンタリストリームの各アクセスユニットに含まれているＤＴＳと、クロック制御部５３から発生される基準クロックとを比較し、ＤＴＳと基準クロックとが一致したタイミングで、各アクセスユニットの復号を行う。復号されたベースバンドのビデオデータは、出力制御部６０に供給される。
【００８９】
オーディオデコーダ５９は、オーディオエレメンタリバッファ５８に格納されているオーディオエレメンタリストリームを１アクセスユニットごとに読み出して、例えばＭＰＥＧ−２やＭＰＥＧ−４といった符号化方式に従い、ベースバンドのオーディオデータを復号する。なお、オーディオデコーダ５９は、オーディオエレメンタリストリームの各アクセスユニットに含まれているＤＴＳと、クロック制御部５３から発生される基準クロックとを比較し、ＤＴＳと基準クロックとが一致したタイミングで、各アクセスユニットの復号を行う。復号されたベースバンドのオーディオデータは、出力制御部６０に供給される。
【００９０】
出力制御部６０は、復号されたビデオデータ及びオーディオデータの出力制御を行う。
【００９１】
デコード制御部６１は、受信装置３内の各回路の制御、並びに、ネットワーク４を介して受信装置３に伝送されたシステムデータに基づく動作を行う。
【００９２】
以上のような第３の適用例のリアルタイム配信システムでは、受信装置３の基準クロックの速度を、符号化時に想定した通常のクロック速度よりも長くすることで、復号を行いながらデータの蓄積を実現している。具体的には、送信装置２側のＳＴＣ制御部４８が、多重化ストリームに付加するＳＴＣを補正することで、基準クロックの速度を制御している。
【００９３】
ＳＴＣ制御部４８によるＳＴＣの具体的な補正方法について説明をする。
【００９４】
まず、ＳＴＣ制御部４８によりＳＴＣの補正が行われなかった場合、受信装置３は、ビデオエレメンタリストリームが受信マージンに達した時点で、ビデオエレメンタリストリーム及びオーディオエレメンタリストリームを同時に復号を開始するとともに、符号化時に想定された基準クロックの速度でビデオエレメンタリストリーム及びオーディオエレメンタリストリームの復号を行っていくこととなる。
【００９５】
ＳＴＣ制御部４８は、最初のアクセスユニットが復号される時刻から、多重化ストリームに付加するＳＴＣにオフセット時間Ｔｙを加算していく。最初のアクセスユニットが復号される時刻は、受信装置３に蓄積されたビデオエレメンタリストリームが受信マージンに達した時刻ではなく、オーディオエレメンタリストリームが受信マージンに達した時刻とする。一般にオーディオデータは、ビデオデータよりもデータ量が少ない。そのため、ネットワークのジッタを考慮した受信マージンは、ビデオデータよりもオーディオデータの方が少なくなる。従って、オーディオデータが受信マージンに達したときに復号を開始すると、ビデオデータはまだ受信マージンに達していないこととなる。
【００９６】
加算するオフセット時間Ｔｙは、最初のアクセスユニットに対しては０とし、時間が進むにつれ増加させていく。
【００９７】
続いて、ビデオデータのデータ蓄積量が受信マージンに達する時刻で、オフセット時間Ｔｙの増加を停止し、以後のＳＴＣには、最後に加算したオフセット時間Ｔｙを加算しつづける。従って、受信装置３に蓄積される多重化ストリームが受信マージンに達する前は、通常の基準クロックよりも速度が遅くなり、受信装置３に蓄積される多重化ストリームが受信マージンに達した後は、通常の基準クロックの速度となる。
【００９８】
以上のように第３の適用例のリアルタイム配信システムでは、送信側で基準クロックの速度制御を行い、受信側では通常の装置で処理が行われる。
【００９９】
つぎに、第４の適用例のリアルタイム配信システムについて説明をする。第４の適用例は、コンテンツとしてビデオデータ及びオーディオデータを配信する場合に適用されるリアルタイム配信システムである。図８に第４の適用例の送信装置のブロック構成図を示し、図９に第４の適用例のリアルタイム配信システムのブロック構成図を示す。なお、第４の適用例を説明するにあたり、第３の適用例の構成要素と同一の構成要素については、同一の符号をつけている。
【０１００】
第４の適用例の送信装置２は、図８に示すように、ビデオエンコーダ（Ｖ．エンコーダ）４１と、ビデオエレメンタリバッファ（Ｖ．Ｅ．バッファ）４２と、オーディオエンコーダ（Ａ．エンコーダ）４３と、オーディオエレメンタリバッファ（Ａ．Ｅ．バッファ）４４と、マルチプレクサ（ＭＵＸ）４５と、ストリームバッファ４６と、ＳＴＣ発生部４７と、エンコード制御部４９とを備えて構成される。第４の適用例の送信装置２は、第３の適用例の送信装置のＳＴＣ制御部４８が除かれた構成である。つまり、ＳＴＣの補正が送信側では行われない構成となる。
【０１０１】
第４の適用例の受信装置３は、図９に示すように、ＳＴＣ検出部５１と、時間情報比較部５２と、クロック制御部５３と、ストリームバッファ５４と、デマルチプレクサ（Ｄｅ−ＭＵＸ）５５と、ビデオエレメンタリバッファ（Ｖ．Ｅ．バッファ）５６と、ビデオデコーダ（Ｖ．デコーダ）５７と、オーディオエレメンタリバッファ（Ａ．Ｅ．バッファ）５８と、オーディオデコーダ（Ａ．デコーダ）５９と、出力制御部６０と、デコード制御部６１と、基準時間制御部６５とを備えて構成される。
【０１０２】
基準時間制御部６５は、受信装置３内の各回路に供給する基準クロックの値を補正する回路である。ただし、時間情報比較部５２に供給する基準クロックの値に対しては補正を行わない。
【０１０３】
以上のような第４の適用例のリアルタイム配信システムでは、受信装置３の基準クロックの速度を、符号化時に想定した通常のクロック速度よりも長くすることで、復号を行いながらデータの蓄積を実現している。具体的には、受信装置３側の基準時間制御部６５が、基準クロックの速度を制御している。
【０１０４】
基準時間制御部６５による具体的な補正方法について説明をする。
【０１０５】
まず、基準時間制御部６５により基準クロックの補正が行われなかった場合、受信装置３は、ビデオエレメンタリストリームが受信マージンに達した時点で、ビデオエレメンタリストリーム及びオーディオエレメンタリストリームを同時に復号を開始するとともに、符号化時に想定された基準クロックの速度でビデオエレメンタリストリーム及びオーディオエレメンタリストリームの復号を行っていくこととなる。
【０１０６】
基準時間制御部６５は、最初のアクセスユニットが復号される時刻から、多重化ストリームに付加する基準クロックにオフセット時間Ｔｙを加算していく。最初のアクセスユニットが復号される時刻は、受信装置３に蓄積されたビデオエレメンタリストリームが受信マージンに達した時刻ではなく、オーディオエレメンタリストリームが受信マージンに達した時刻とする。一般にオーディオデータは、ビデオデータよりもデータ量が少ない。そのため、ネットワークのジッタを考慮した受信マージンは、ビデオデータよりもオーディオデータの方が少なくなる。従って、オーディオデータが受信マージンに達したときに復号を開始すると、ビデオデータはまだ受信マージンに達していないこととなる。
【０１０７】
続いて、加算するオフセット時間Ｔｙは、復号開始時刻では、その値を０とし、時間が進むにつれ増加させていく。
【０１０８】
続いて、ビデオデータのデータ蓄積量が受信マージンに達する時刻で、オフセット時間Ｔｙの増加を停止し、以後の基準クロックには、最後に加算したオフセット時間Ｔｙを加算しつづける。従って、受信装置３に蓄積される多重化ストリームが受信マージンに達する前は、通常の基準クロックよりも速度が遅くなり、受信装置３に蓄積される多重化ストリームが受信マージンに達した後は、通常の基準クロックの速度となる。
【０１０９】
【発明の効果】
本発明にかかるデータ配信システム及び方法、並びに、送信装置及び受信装置では、データの受信を開始してから受信バッファに対して連続復号可能データ蓄積量分のデータが蓄積される前までに、符号化時に想定された復号速度よりも遅い復号速度で受信したデータストリームの復号を開始し、上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積された後に、上記復号速度を符号化時に想定された復号速度に変更する。
【０１１０】
このため、本発明では、データの送信を開始してからデコードを開始するまでの時間を短縮することができる。
【図面の簡単な説明】
【図１】本発明を適用したデータ配信システムの構成図である。
【図２】本発明を適用したデータ配信システムの送信バッファ及び受信バッファのバッファ占有量を示す図である。
【図３】本発明の第１の適用例の送信装置の具体的なブロック構成図である。
【図４】本発明の第１の適用例の受信装置の具体的なブロック構成図である。
【図５】本発明の第２の適用例の受信装置内のデコーダの処理フローを示す図である。
【図６】本発明の第３の適用例の送信装置の具体的なブロック構成図である。
【図７】本発明の第３の適用例の受信装置の具体的なブロック構成図である。
【図８】本発明の第４の適用例の送信装置の具体的なブロック構成図である。
【図９】本発明の第４の適用例の受信装置の具体的なブロック構成図である。
【図１０】従来のデータ配信システムの構成図である。
【図１１】従来のデータ配信システムの送信バッファ及び受信バッファのバッファ占有量を示す図である。
【符号の説明】
１　データ配信システム、２　送信装置、３　受信装置、４　ネットワーク、１１　エンコーダ、１２　送信バッファ、１３　受信バッファ、１４　デコーダ
【図１】
2004015111.tif 000003
【図２】
2004015111.tif 000004
【図３】
2004015111.tif 000005
【図４】
2004015111.tif 000006
【図５】
2004015111.tif 000007
【図６】
2004015111.tif 000008
【図７】
2004015111.tif 000009
【図８】
2004015111.tif 000010
【図９】
2004015111.tif 000011
【図１０】
2004015111.tif 000012
【図１１】
2004015111.tif 000013