(57)【特許請求の範囲】
【請求項１】
ストリーミングデータとストリーミングデータ以外のデータとを多重処理するデータ多重装置において、
前記両データの再生時間，ビットレートなどの多重処理上必要な条件データを入力する条件データ入力手段と、
前記ストリーミングデータのパケット化有無を判断し、パケット化されていないとき当該ストリーミングデータをパケット化するパケット処理手段と、
前記条件データを用いて、ストリーミングデータに多重するストリーミングデータ以外のデータパケットの送出順序を決定し多重処理する多重処理手段とを備え、
この多重処理手段は、番組の開始時刻，終了時刻と前記ストリーミングデータの条件データである再生開始時刻，再生終了時刻とが異なるか否かを判断する時刻判断手段と、この時刻判断手段により時刻が異なるとき、前記ストリーミングデータの再生開始時刻，再生終了時刻を境としてセクション分けするセクション分割手段と、この分割された各セクションの開始時刻，終了時刻およびトータルビットレートを用いて、セクションごとの送出パケット数およびパケット送出間隔を算出するパケット挿入処理手段と、この手段により得られる送出パケット数およびパケット送出間隔を用いて、前記ストリーミングデータ以外のデータパケットにタイムスタンプを割り当てするタイムスタンプ割り当て手段とを設けたことを特徴とするデータ多重装置。
【請求項２】
コンピュータに、ストリーミングデータとストリーミングデータ以外のデータとの多重処理を実現させる多重処理用プログラムを記録した記録媒体であって、
多重すべきストリーミングデータとストリーミングデータ以外のデータが準備されているか否かを判断するデータ有無判断機能と、両データが準備されていると判断されたとき、前記ストリーミングデータの固定ビットレート、前記両データの再生開始時刻，再生終了時刻および多重すべきデータのトータルビットレートなどの多重処理上必要な条件データが入力されたか否かを判断する条件データ入力判断機能と、前記条件データが入力されているとき、前記ストリーミングデータがパケット化されているか否かを判断し、パケット化されていない場合には当該ストリーミングデータをパケット処理するパケット処理機能と、番組の開始時刻，終了時刻と前記ストリーミングデータの条件データである再生開始時刻，再生終了時刻とが異なるか否かを判断する時刻判断機能と、この時刻判断機能により時刻が異なるとき、前記ストリーミングデータの再生開始時刻，再生終了時刻を境としてセクション分けするセクション分割機能と、この分割された各セクションの開始時刻，終了時刻およびトータルビットレートを用いて、セクションごとの送出パケット数およびパケット送出間隔を算出するパケット挿入処理機能と、このパケット挿入処理機能により得られる送出パケット数およびパケット送出間隔を用いて、前記ストリーミングデータ以外のデータパケットにタイムスタンプを割り当てするタイムスタンプ割り当て機能とを実現させるための前記多重処理用プログラムを記録した前記コンピュータ読取り可能な記録媒体。
【請求項３】
ストリーミングデータとストリーミングデータ以外のデータとを多重し受信端末に配信するデータ配信システムにおいて、
前記両データの準備状態を確認するデータ有無判断手段と、
前記両データが準備されている場合、前記両データの再生時間，ビットレートなどの多重処理上必要な条件データを入力する条件データ入力手段と、
前記ストリーミングデータのパケット化有無を判断し、パケット化されていないとき当該ストリーミングデータをパケット処理するパケット処理手段と、
番組の開始時刻，終了時刻と前記ストリーミングデータの条件データである再生開始時刻，再生終了時刻とが異なるか否かを判断する時刻判断手段と、この時刻判断手段により時刻が異なるとき、前記ストリーミングデータの再生開始時刻，再生終了時刻を境としてセクション分けするセクション分割手段と、この分割された各セクションの開始時刻，終了時刻およびトータルビットレートを用いて、セクションごとの送出パケット数およびパケット送出間隔を算出するパケット挿入処理手段と、この手段により得られる送出パケット数およびパケット送出間隔を用いて、前記ストリーミングデータ以外のデータパケットにタイムスタンプを割り当てて送出順序を決定し多重処理するするタイムスタンプ割り当て手段とからなる多重処理手段と、
この多重処理手段により多重化されたデータパケットを蓄積するパケット蓄積手段と、
このパケット蓄積手段によって蓄積されたデータパケットをパケット毎に固定ビットレートで受信端末に配信するデータ配信手段と
を備えたことを特徴とするデータ配信システム。
【請求項４】
コンピュータに、ストリーミングデータとストリーミングデータ以外のデータとを多重処理して配信処理を実現させるデータ配信処理用プログラムを記録した記録媒体であって、
多重すべきストリーミングデータとストリーミングデータ以外のデータとが準備されているか否かを判断するデータ有無判断機能と、この判断機能によって両データが準備されていると判断されたとき、前記ストリーミングデータのビットレート、前記両データの表示開始時刻，表示終了時刻および多重すべきデータのトータルビットレートなどの多重処理上必要な条件データが入力されたか否かを判断する条件データ入力判断機能と、前記条件データが入力されているとき、前記ストリーミングデータがパケット化されているか否かを判断し、パケット化されていない場合には当該ストリーミングデータをパケット処理するパケット処理機能と、番組の開始時刻，終了時刻と前記ストリーミングデータの条件データである再生開始時刻，再生終了時刻とが異なるか否かを判断する時刻判断機能と、この時刻判断機能により時刻が異なるとき、前記ストリーミングデータの再生開始時刻，再生終了時刻を境としてセクション分けするセクション分割機能と、この分割された各セクションの開始時刻，終了時刻およびトータルビットレートを用いて、セクションごとの送出パケット数およびパケット送出間隔を算出するパケット挿入処理機能と、このパケット挿入処理機能により得られる送出パケット数およびパケット送出間隔を用いて、前記ストリーミングデータ以外のデータパケットにタイムスタンプを割り当てて送出順序を決定するタイムスタンプ割り当て機能と、この送出順序に基づいて多重化されたデータパケットを蓄積するパケット蓄積機能と、このパケット蓄積機能により蓄積されたデータパケットをパケット毎に固定ビットレートで受信端末に配信するデータ配信機能とを実現させるための前記データ配信処理用プログラムを記録した前記コンピュータ読取り可能な記録媒体。
【請求項５】
ストリーミングデータとストリーミングデータ以外のデータとを多重し受信端末に配信するデータ配信システムにおいて、
前記ストリーミングデータ以外のデータの準備状態を確認するデータ有無判断手段と、
このデータ有無判断手段により前記データが準備されているとき、前記両データの再生時間，ビットレートなどの多重処理上必要な条件データおよび前記ストリーミングデータ以外のデータの送出順序を設定するデータ設定手段と、
外部から入力される前記ストリーミングデータをリアルタイムに取り込み、前記条件データおよび前記送出順序データを用いてストリーミングデータに多重するストリーミングデータ以外のデータパケットの送出順序を決定し多重処理する多重処理手段と、
この多重処理手段により多重化されたデータパケットをパケット毎に固定ビットレートで受信端末に配信するデータ配信手段と
を備えたことを特徴とするデータ配信システム。
【請求項６】
コンピュータに、ストリーミングデータとストリーミングデータ以外のデータとを多重処理して配信処理を実現させるデータ配信処理用プログラムを記録した記録媒体であって、
前記ストリーミングデータ以外のデータの準備状態を確認するデータ有無判断機能と、このデータ有無判断機能により前記データが準備されているとき、前記ストリーミングデータのビットレート、前記両データの表示開始時刻，表示終了時刻、多重すべきデータのトータルビットレートなどの多重処理上必要な条件データおよび前記ストリーミングデータ以外の送出順序を設定するデータ設定機能と、外部から入力される前記ストリーミングデータをリアルタイムに取り込み、前記条件データおよび前記送出順序データを用いてストリーミングデータに多重するストリーミングデータ以外のデータパケットの送出順序を決定し多重処理する多重処理機能と、この多重処理機能によって多重化されたデータパケットをパケット毎に固定ビットレートで受信端末に配信するデータ配信機能とを実現させるための前記データ配信処理用プログラムを記録した前記コンピュータ読取り可能な記録媒体。
【請求項７】
請求項１に記載のデータ多重装置において、
ストリーミングデータの再生開始時刻および再生終了時刻を用いてセクション分けし、このセクション分け後に当該セクション内に別の種類のストリーミングデータのデータパケットを再配置し、再度セクション分けを実施することを特徴とするデータ多重装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ストリーミングデータとそれ以外のデータとを多重するデータ多重装置、データ配信システムおよび記録媒体に関する。
【０００２】
【従来の技術】
従来、固定ビットレートのもとに、ビデオ，オーディオなどのストリーミングデータと静止画，テキストのようなストリーミングデータ以外のデータとを多重する場合、幾つかのデータ多重方式が考えられている。
【０００３】
その１つの多重方式は、固定ビットレート内でストリーミングデータ用帯域とそれ以外のデータ用帯域とが全く別個であると考え、図１４に示すようにビデオデータおよびオーディオデータ等のストリーミングデータ帯域５１，５２とストリーミング以外のデータ帯域５３とに分けて多重する方式である。
【０００４】
他の１つの多重方式は、図１５に示すようにストリーミングデータのビットレートを監視し、ストリーミングデータに空き帯域が生じたとき、その都度空き帯域にストリーミングデータ以外のデータを多重する方式である。
【０００５】
【発明が解決しようとする課題】
しかしながら、図１４に示す多重方式は、ストリーミングデータ以外のデータ量が少ないとき、図示点線５４で示すような無駄な帯域が発生し、ストリーミングデータの存在しない帯域を有効に活用できない問題がある。
【０００６】
一方、図１５に示す多重方式は、ストリーミングデータの存在しない帯域にそれ以外のデータである例えば静止画一画面分に相当する数のデータパケットを多重し伝送するが、ストリーミングデータ以外のデータパケットをストリーミングデータのパケット送出終了時刻までに送出できず、ストリーミングデータ以外のデータパケットがストリーミングデータの送出終了時刻を越えてあふれた状態となる。
【０００７】
本来であれば、ストリーミングデータ以外のデータパケットは、クライアントであるデータ受信端末側で再生開始する時間前に全て届くように多重しなければならないが、それが出来ない場合には例えば静止画一画面が再生できなくなる。しかも、ストリーミングデータは、そのデータ送出，再開の時刻が変動するが、それに伴ってストリーミングデータの送出可能帯域も時間によって変動し、適切なタイミングでストリーミングデータ以外のデータパケットを送出するのが非常に難しくなる問題がある。
【０００８】
本発明は上記事情にかんがみてなされたもので、ストリーミングデータ以外の帯域を有効に利用し、ストリーミング以外のデータを多重処理するデータ多重装置を提供することにある。
【０００９】
本発明の他の目的は、ストリーミングデータ以外の帯域を無駄なく利用し、受信端末側での再生開始時刻までにストリーミングデータ以外のデータパケットを送出可能とするデータ配信システムを提供することにある。
【００１０】
さらに、本発明の他の目的は、ストリーミングデータ以外の帯域を有効に活用するためのプログラムを記録した記録媒体を提供することにある。
【００１１】
さらに、本発明の他の目的は、ストリーミングデータ以外の帯域を無駄なく利用し、受信端末側での再生開始時刻までにストリーミングデータ以外のデータパケットを送出するためのプログラムを記録した記録媒体を提供することにある。
【００１２】
【課題を解決するための手段】
（１）  上記課題を解決するために、本発明に係るデータ多重装置は、ストリーミングデータとストリーミングデータ以外のデータとを多重するデータ多重装置であって、前記両データの再生開始，終了時刻，各ストリーミングデータのビットレートおよび多重すべきデータのトータルビットレートなどの多重処理上必要な条件データを入力する条件データ入力手段と、前記ストリーミングデータがパケット化されていない場合、当該ストリーミングデータをパケット処理するパケット処理手段と、前記条件データに基づいてストリーミングデータとストリーミングデータ以外のデータとのデータパケットの送出順序を決定し多重処理する多重処理手段とを備えた構成である。
【００１３】
なお、前記多重処理手段としては、番組の開始時刻，終了時刻と前記ストリーミングデータの再生開始時刻，再生終了時刻とが異なるか否かを判断する時刻判断手段と、この時刻判断手段により時刻が異なるとき、前記ストリーミングデータの再生開始時刻，再生終了時刻を境としてセクションに分割するセクション分割手段と、この分割されたセクションごとに各セクションの開始時刻，終了時刻およびトータルビットレートを用いて、セクションごとの送出パケット数およびパケット送出間隔を算出する手段と、この手段により得られる送出パケット数およびパケット送出間隔を用いて、前記ストリーミングデータ以外のデータパケットのタイムスタンプを算出するタイムスタンプ算出手段とを設けた構成とする。
【００１４】
従って、本発明は、以上のような構成としたことにより、条件データ入力手段にて多重処理上必要な条件データを入力すると、パケット処理手段では、ストリーミングデータが既にデータパケットとなっているか否かを判断し、データパケットとなっていない場合にはデータパケットとする。しかる後、多重処理手段では、条件データを用いて両データのデータパケットの送出順序を決定する。
【００１５】
この多重処理手段は、具体的には、番組の開始時刻，終了時刻と前記ストリーミングデータの再生開始時刻，再生終了時刻とが異なるとき、前記ストリーミングデータの再生開始時刻，再生終了時刻を境としてセクションに分割するとともに、この分割セクションごとに各セクションの開始時刻，終了時刻およびトータルビットレートを用いて、セクションごとの送出パケット数およびパケット送出間隔を算出し、この算出された送出パケット数およびパケット送出間隔を用いて、前記ストリーミングデータ以外のデータパケットのタイムスタンプを算出するようにすれば、ストリーミングデータ以外の帯域を有効に活用しつつ多重処理することが可能となる。
【００１６】
（２）  また、本発明は、前記（１）の構成に新たに、多重処理手段で多重化されたデータパケットを蓄積するパケット蓄積手段、このパケット蓄積手段によって蓄積されたデータパケットをパケット毎に固定ビットレートで受信端末に配信するデータ配信手段等を付加すれば、ストリーミングデータ以外の帯域を無駄なく利用し、受信端末側で再生開始時刻までにストリーミングデータ以外のデータパケットを送出できるデータ配信システムを実現することが可能である。
【００１７】
（３）  また、本発明は、ストリーミングデータとストリーミングデータ以外のデータとを多重処理する場合、ストリーミングデータ以外のデータの準備状態を確認するデータ有無判断手段と、データが準備されている場合、前記両データの再生時間，ビットレートなどの多重処理上必要な条件データおよび前記ストリーミングデータ以外のデータの送出順序を設定するデータ設定手段と、外部から入力される前記ストリーミングデータをリアルタイムに取り込み、前記条件データおよび前記送出順序データを用いてストリーミングデータとストリーミングデータ以外のデータとのデータパケットの送出順序を決定し多重処理する多重処理手段と、この多重処理手段により多重化されたデータパケットをパケット毎に固定ビットレートで受信端末に配信するデータ配信手段とを備えたデータ配信システムとすることも可能である。
【００１８】
このような構成とすることにより、予め両データの再生時間，ビットレートなどの多重処理上必要な条件データおよび前記ストリーミングデータ以外のデータの送出順序を設定しておき、外部から入力されるストリーミングデータをリアルタイムに取り込み、条件データおよび送出順序データを用いてストリーミングデータとストリーミングデータ以外のデータとのデータパケットの送出順序を決定し多重処理し、パケット毎に固定ビットレートで受信端末に配信するようにすれば、ストリーミングデータをリアルタイムに取り込みつつ、ストリーミングデータとストリーミングデータ以外のデータとの多重化されたデータパケットを配信可能である。
【００１９】
（４）  なお、ストリーミングデータの再生開始時刻および再生終了時刻を用いてセクション分けし、このセクション分け後にストリーミングデータ以外のデータパケットに代えて当該セクション内に別の種類のストリーミングデータのデータパケットを配置し、再度のセクション分けし、ストリーミングデータ以外のデータパケットまたはダミーパケットを配置する構成としてもよい。
【００２０】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
【００２１】
図１は本発明に係る多重装置を含むデータ配信システムの一実施の形態を示す構成図である。
【００２２】
このデータ配信システムは、例えばビデオデータ，オーディオデータといったストリーミングデータと例えば静止画データ，テキストデータといったストリーミングデータ以外のデータとを多重するデータ多重装置１と、このデータ多重装置１で多重処理されたデータパケットを固定ビットレートで送出するサーバ２と、このサーバ２から送出されるデータパケットから各データを再生し合成する機能を内蔵した受信端末となるクライアント３とによって構成されている。
【００２３】
ここで、ストリーミングデータは、ビデオ機器，オーディオ機器から入力されるビデオデータ，オーディオデータなどのように、受信端末側でデータパケットを全て受信した後に再生する必要はなく、受信しながら再生可能なデータを意味する。このストリーミングデータは、特にフォーマットを規定するものでないが、固定ビットレートであることを前提とする。これらビデオデータ，オーディオデータはビデオファイル１１ａ，オーディオファイル１１ｂにパケットの形式で格納されるか、或いはパケットとせずに連続的に格納される場合がある。
【００２４】
一方、ストリーミングデータ以外のデータは、静止画，テキスト等のように、クライアント３側にて全てのデータを受信した後に初めて再生可能とするデータを意味する。このストリーミングデータ以外のデータも特にフォーマットを規定するものではない。これらデータは静止画データファイル１１ｃ，テキストファイル１１ｄに連続的に格納される。
【００２５】
なお、ビデオ，オーディオ，静止画，テキストデータは、各ファイル１１ａ〜１１ｄにそれぞれファイル形式で格納されているが、例えばファイル形式ではなくメモリ経由により後記するデータ多重処理部１３に入力する形式であってもよい。データ形式としては、ビデオ，オーディオ，静止画，テキスト以外であってもよい。
【００２６】
前記データ多重装置１は、以上のようなデータファイル１１ａ〜１１ｄの他、データ多重処理用プログラムを記録する記録媒体１２と、この記録媒体１２に記録されるデータ多重処理用プログラムを読取ってストリーミングデータと例えば静止画データ，テキストデータといったストリーミングデータ以外のデータとを多重するＣＰＵで構成されたデータ多重処理部１３と、このデータ多重処理部１３により多重すべきデータや多重処理する途中の処理データ、処理結果のデータを表示する表示装置１４と、ストリーミングデータとストリーミングデータ以外のデータとを多重処理するために必要な条件データ，例えばストリーミングデータの固定ビットレート、多重すべきデータのトータルビットレート、各データの再生開始時刻，再生終了時刻その他のデータを入力するキーボード，マウス等の条件データ入力手段１５とによって構成されている。
【００２７】
前記記録媒体１２は、一般的にはＣＤ−ＲＯＭや磁気ディスクが用いられるが、それ以外にも例えば磁気テープ、ＤＶＤ−ＲＯＭ、フロッピーディスク、ＭＯ、ＣＤ−Ｒ、メモリカードなどを用いてもよい。
【００２８】
前記データ多重処理部１３は、機能的には図２に示すように構成されている。
【００２９】
すなわち、多重すべきストリーミングデータおよびストリーミングデータ以外のデータがデータファイル１１ａ〜１１ｄに格納され準備されているか、つまり各データが多重できる状態に準備されているか否かを確認するデータ有無判断手段１３Ａと、この判断手段１３Ａによって多重すべき両データが準備されているとき、前記各ストリーミングデータの固定ビットレート，多重すべきデータのトータルビットレート，各データのクライアント３側での再生開始時刻，再生終了時刻その他多重処理に必要な条件データが前記条件データ入力手段１５から入力されているか否かを確認する条件データ入力判断手段１３Ｂと、前記ストリーミングデータが既にファイル１１ａ，１１ｂにパケットとして格納されている場合がありうるので、パケット化されているか否かを判断し、パケット化されている場合にはパケット処理を省略し、パケット化されていない場合にはストリーミングデータをパケット処理するパケット処理手段１３Ｃと、前記条件データのもとに後記（１）式，（２）式等を用いて、ストリーミングデータに多重するストリーミングデータ以外のデータパケットの送出順序を決定し多重処理する多重処理手段１３Ｄとが設けられている。
【００３０】
以上の構成は、主にデータ多重装置１について説明したが、データ配信システムの場合には、図３に示すように前記データ多重処理部１３で多重処理されたデータパケットを多重ファイル２１に蓄積するデータパケット蓄積手段２２Ａおよびこの多重ファイル２１に蓄積されたデータパケットをパケット毎に固定ビットレートでクライアント３に送出するデータパケット配信手段２２Ｂが設けられている。
【００３１】
なお、データ配信システムは、データ多重装置１とサーバ２とで機能分担してもよいし、或いはデータ多重装置１に関する諸機能を実現するプログラムを記録媒体１２に記録し、サーバ２に装填することにより、サーバ自身で多重処理からクライアント３に配信する一連の処理を行うようにしてもよい。
【００３２】
前記クライアント３は、サーバ２から送信されてくるデータパケットを受信し、内部の再生機構にて各データを再生する。このとき、ビデオ，オーディオ，静止画，テキストすべてのデータを一つの画面上に合成して表示する。しかも、ストリーミングデータはデータを受信しながら再生し、それ以外のデータは全てのデータが揃った後に再生表示する。全てのデータの表示開始時間は、多重ファイル作成時に決定されている。
【００３３】
次に、以上のように構成されたデータ多重装置の動作について図４および図５を参照して説明する。なお、図４および図５に示す一連の多重処理用プログラムは記録媒体１２に記録され、データ多重処理部１３で読取って所定の機能を実現するものである。
【００３４】
すなわち、データ多重処理部１３は、動作が開始すると、記録媒体１２に記録される多重処理用プログラムを読取ってバッファメモリ（図示せず）などに保存した後、多重すべきストリーミングデータおよびストリーミングデータ以外のデータがファイル１１ａ〜１１ｄに準備されているか否かを判断し（Ｓ１，データ有無判断機能）、データが準備されていると判断されたとき、例えば表示装置１４に条件データの入力メッセージを表示する。ここで、条件データ入力手段１５から各データのクライアント側での再生開始時刻（表示開始時刻）および再生終了時刻（表示終了時刻）が入力され（Ｓ２）、また各ストリーミングデータの固定ビットレートが入力され（Ｓ３）、さらに多重すべきデータのトータルビットレートが決定され入力されたか（Ｓ４）を判断する。Ｓ２〜Ｓ４は条件データ入力判断機能である。なお、再生時間、固定ビットレートおよびトータルビットレートの入力判断の順序は特に問わない。
【００３５】
以上のようにして多重処理上必要な条件データの入力完了を確認した後、ストリーミングデータがファイル１１ａ，１１ｂに既にパケット化されて格納されているか否かを判断し、パケット化されていない場合にはストリーミングデータのパケット処理を実施する（Ｓ５〜Ｓ７：パケット処理機能）。
【００３６】
しかる後、ストリーミングデータの再生開始時刻，再生終了時刻，各データのビットレートおよび多重すべきデータのトータルビットレートを用いて、ストリーミングデータ以外のデータの帯域を計算し、ストリーミングデータ以外のデータパケットの送出順序を決定し多重化処理する（Ｓ８，Ｓ９：多重処理機能）。
【００３７】
なお、ステップＳ８，Ｓ９による多重処理機能ないし多重処理手段１３Ｄは、具体的には図５に示すような処理を実行する。
【００３８】
先ず、多重処理開始に先立ち、図６に示す如く予め各データの再生開始時刻および再生終了時刻とは別に多重されるデータ全体の再生開始時刻（番組開始時刻）および再生終了時刻（番組終了時刻）が適宜なメモリに記憶されている。この番組開始時刻から再生終了時刻までを番組時間と呼ぶ。
【００３９】
多重処理機能ないし多重処理手段１３Ｄでは、ストリーミングデータの再生開始時刻および再生終了時刻が予めメモリに記憶されている番組開始時刻および番組終了時刻と一致するか否かを判断する（Ｓ１１：時刻判断機能ないし時刻判断手段）。ここで、両者の時刻が異なる場合にはストリーミングデータ以外のデータに使用できる帯域は時間とともに変動し、よって、一定時間に送出できるストリーミングデータ以外のデータパケットの数も変動し、非常に複雑になる。つまり、ストリーミングデータ以外のデータに使用できる帯域は時間ともに変動する。
【００４０】
そこで、ストリーミングデータ以外のデータに関し、次のような手法を用いてストリーミングデータ以外の帯域に割り振りる。すなわち、各ストリーミングデータが開始し、かつ、終了すると、トータル帯域中のストリーミングデータ以外のデータ帯域は、そのストリーミングデータの帯域分だけ変動する。
【００４１】
よって、各ストリーミングデータの再生開始時刻および再生終了時刻を取得し（Ｓ１２）、この再生開始時刻および再生終了時刻を境とし、図７に示すようにセクションに分割し、帯域の変化しない時間帯を形成する（Ｓ１３）。Ｓ１２，Ｓ１３はセクション分割機能ないしセクション分割手段を意味する。
【００４２】
各セクションでは、それぞれ開始時刻，終了時刻およびビットレート等の情報を持つので、これらの情報に基づいて各セクションごとに送出パケット数およびパケット送出間隔を計算する（Ｓ２４：パケット挿入処理機能ないしパケット挿入処理手段）。
【００４３】
先ず、各セクション内で送出可能なパケット数Ｎは、
0003987253.tif 000002
なる演算式により計算する。
【００４４】
一方、各セクション内のパケットのタイムスタンプ間隔Ｄは、
Ｄ＝パケットサイズ／セクションのビットレート            ……（２）
から求める。
【００４５】
このようにして各セクションのそれぞれの使用可能なパケット数、パケットのタイムスタンプ間隔を取得することにより、これらの情報を用いて各セクションごとにストリーミングデータ以外のデータパケットを送出可能なタイムスタンプが判明するので、図６に示すようにストリーミング以外のデータの再生開始時刻前に送出完了するように各セクション内に割り当てていく。つまり、各セクションごとの情報を利用しながらストリーミングデータ以外のデータパケットを送出すべきタイムスタンプを計算し（Ｓ１５：タイムスタンプ割り当て機能ないしタイムスタンプ割り当て手段）、各パケットごとにタイムスタンプが振られて多重ファイル２１に蓄積する（Ｓ１６：データパケット蓄積機能ないしデータパケット蓄積手段）。
【００４６】
図８は各データのパケットの割り当てを説明する図であり、静止画データのデータのデータパケットはオーディオストリーミングデータの開始時刻と終了時刻とを境とするセクション「３」において伝送用帯域内で割り当て、当該セクション「３」の残りの帯域にはダミーパケットが割り当てられる。また、テキストデータのデータパケットはオーディオストリーミングデータの終了時刻とビデオストリーミングデータの終了時刻とを境とするセクション「４」内およびビデオストリーミングデータの終了時刻とストリーミング以外のデータの再生終了時刻とを境とするセクション「５」内に割り当て、セクション「５」の残りの帯域にはダミーパケットが割り当てられる。
【００４７】
次に、データ配信システムの動作ないし記録媒体１２に記録される配信処理用プログラムの一連の処理例について図９を参照して説明する。
【００４８】
なお、同図においてＳ２１〜Ｓ２８は図４に示すＳ１〜Ｓ８および図５の処理と同様であるので、ここではそれらの説明を図４，図５に譲り、特に異なるステップＳ２９ないしＳ３１について説明する。
【００４９】
ステップＳ２８において多重されたデータパケットは、多重ファイル２１に蓄積され（Ｓ２９）、サーバ２にてクライアント３に向かって固定ビットレートで送出する（Ｓ３０）。なお、ストリーミングデータ以外のデータは、以上のような処理によって求めたパケット送出可能時刻を参照しつつ送出時刻を決定し送出する。
【００５０】
そして、全部のデータパケットの送出完了を確認し（Ｓ３１）、データ配信処理は終了する（Ｓ３１）。
【００５１】
従って、以上のような実施の形態によれば、送出すべきデータの存在しない時間帯にダミーパケットを送出することにより、固定ビットレートを保つことができる。また、以上のように全てのデータパケットにタイムスタンプを割り当てることにより、データパケットの送出順序を決定し送出制御を行うので、クライアント側での再生開始時刻までに正確にストリーミングデータ以外のデータをクライアントに届けることが可能となる。
【００５２】
一方、受信端末３は、多重化されたデータをパケット毎に受信し、内部の再生機構にてデータを再生する。このとき、ビデオ，オーディオ，静止画，テキスト等の全てのデータを一つの画面上に合成し表示する。ストリーミングデータはデータを受信しながら再生し、それ以外のデータはデータが全て揃ってから表示する。
【００５３】
従って、以上のような実施の形態によれば、ストリーミングデータの再生開始時刻および終了時刻を境とし、帯域が変化しない時間帯をもってセクションに分割し、各セクションごとに送出可能なパケット数、パケットのタイムスタンプ間隔を計算することにより、ストリーミングデータ以外のデータの送出順序を容易に決定できるだけでなく、再生開始時間内までにストリーミングデータ以外のデータを確実に受信端末側に届けることができる。また、ストリーミングデータ以外の使用可能帯域をすべて効率的に使用することが可能である。
【００５４】
なお、各セクション内において送出可能なパケット数を計算した時、各セクションごとに帯域が余ってしまうことがあるが、このような場合には図１０に示すように、余剰分の帯域をセクションが変化するごとに積算していき、その積算した帯域がパケットサイズ分を超えたとき、１つのダミーパケットを挿入する。このような処理によって帯域の余剰分によりビットレートが減少してしまうのを防ぎ、固定ビットレートを保つことが可能となる。
【００５５】
（その他の実施の形態）
（１）  上記実施の形態では、予めストリーミングデータおよびストリーミングデータ以外のデータをファイル１１ａ〜１１ｄに準備した後、各ファイル１１ａ〜１１ｄからデータを取り出し、多重処理上必要な条件データのもとに多重化処理したが、例えば図１１に示すようにビデオ機器，オーディオ機器からのストリーミングデータをリアルタイムに入力し、多重処理を行った後、サーバ２からクライアント３に配信するデータ配信システムであってもよい。なお、データ多重処理部１２の行うソフト的な諸機能全部をサーバ２で行うようにしてもよい。
【００５６】
図１２は図１１に示すデータ配信システムの動作を説明する図である。
【００５７】
なお、このシステムでは、記録媒体１２に図１２に示す一連のデータ配信処理用プログラムを記録し、データ多重処理部１３またはサーバ２がそのプログラムを読み取って多重処理およびデータ配信を行うものである。
【００５８】
先ず、多重すべきストリーミングデータ以外のデータがファイル１１ｃ，１１ｄに準備されているか否かを確認し（Ｓ３１：データ有無判断機能ないしデータ有無判断手段）、該当データが準備されている場合には例えば必要データの入力メッセージ等に基づいて条件データ入力手段１５から各ストリーミングデータの固定ビットレート、多重すべきデータのトータルビットレート、各データのクライアント側での再生開始時刻（表示開始時刻）および再生終了時刻（表示終了時刻）を入力するが、これらデータの入力有無を確認し（Ｓ３２〜Ｓ３４）、さらに予めストリーミングデータ以外のデータパケットの送出順序を設定する（Ｓ３５）。Ｓ３２〜Ｓ３５はデータ設定機能ないしデータ設定手段を意味する。
【００５９】
以上のようにして必要なデータを入力した後、ビデオ，オーディオ機器からエンコードされたストリーミングデータを受けると、適宜なメモリにバッフアリングしながら、前述する条件データおよび送出順序に基づいてストリーミングデータとストリーミングデータ以外のデータとを多重しつつリアルタイムにサーバ2に送出する（Ｓ３６〜Ｓ３８：多重処理機能ないし多重処理手段）。
【００６０】
ここで、サーバ２は、クライアント３へデータパケットを固定ビットレートで送出する（Ｓ３９：データ配信機能ないしデータ配信手段）。クライアント３は受信したリアルタイムなストリーミングデータとそれ以外のデータとを合成し表示する（Ｓ４０）。
【００６１】
従って、このような実施の形態によれば、予め多重処理上に必要な条件データおよびストリーミングデータ以外のデータパケットの送出順序を設定しておけば、ビデオ，オーディオ機器から直接にストリーミングデータを取り込み、ストリーミングデータ以外のデータとで多重処理することが可能であり、しかも予めストリーミングデータ以外のデータパケットの送出順序が設定されているので、クライアント３側にて再生開始時間までにストリーミングデータ以外のデータを届けることが可能となる。
【００６２】
（２）  前述する実施の形態では、ストリーミングデータの開始時刻，終了時刻を境としてセクションに分割し、ストリーミングデータ帯域外にストリーミングデータ以外のデータパケットを配置したが、例えば図１３に示すように再度別のストリーミングデータのデータパケットを配置し、データ配信する構成であってもよい。
【００６３】
この場合においても、再度別のストリーミングデータを配置することによりもとの帯域が変化するので、再度セクション分けし、ストリーミングデータ以外のデータパケットまたはダミーパケットを配置することになる。
【００６４】
従って、このような実施の形態によれば、ストリーミングデータの種類が多い場合でも順次積み上げつつセクション分けし、ストリーミングデータ帯域外を計算しストリーミングデータ以外のデータを配置し送出することができる。
【００６５】
なお、本発明はその要旨を逸脱しない範囲で種々変形して実施できる。
【００６６】
【発明の効果】
以上説明したように本発明によれば、ストリーミングデータ以外の帯域を有効に利用しつつストリーミングデータとストリーミングデータ以外のデータを適切に多重処理するデータ多重装置を提供できる。。
【００６７】
また、本発明は、ストリーミングデータ以外の帯域を無駄なく利用し、受信端末側での再生開始時刻までにストリーミングデータ以外のデータパケットを確実に送出できるデータ配信システムを提供できる。
【００６８】
さらに、本発明は、ストリーミングデータ以外の帯域を有効に利用し、また受信端末側での再生開始時刻までに全部のストリーミングデータ以外のデータパケットを送出できるプログラムを記録した記録媒体を提供できる。
【図面の簡単な説明】
【図１】  本発明に係るデータ多重装置を含むデータ配信システムの一実施の形態を示す構成図。
【図２】  図１に示すデータ多重処理部の機能ブロック図
【図３】  図１に示すデータ多重処理部の多重処理およびサーバの配信処理を含む機能ブロック図。
【図４】  データ多重処理に関する全体動作を説明する図。
【図５】  図４に示すデータパケットの送出順序を決定し多重化処理する詳細な動作説明図。
【図６】  ストリーミングデータの開始時刻，終了時刻と番組の開始時刻，終了時刻との関係を説明する図。
【図７】  ストリーミングデータ以外の帯域をセクション分けした図。
【図８】  セクション分けしたセクション内にストリーミング以外のデータパケットを配置する例を示す図。
【図９】  多重処理を含むデータ配信処理の全体動作を説明する図。
【図１０】  セクション内に１パケットに満たない帯域が生じた時の対処例を説明する図。
【図１１】  本発明に係るデータ多重装置を含むデータ配信システムの他の実施の形態を示す構成図。
【図１２】  図１１に示すシステムの動作を説明する図。
【図１３】  本発明に係るデータ多重装置を含むデータ配信システムの他の実施の形態を示す多重処理の説明図。
【図１４】  従来のデータ多重方式を説明する図。
【図１５】  従来の別のデータ多重方式を説明する図。
【符号の説明】
１…データ多重装置
２…サーバ
３…クライアント（受信端末）
１１ａ〜１１ｄ…ファイル
１２…記録媒体
１３…データ多重処理部
１５…条件データ入力手段
２１…多重ファイル
【図１】
0003987253.tif 000003
【図２】
0003987253.tif 000004
【図３】
0003987253.tif 000005
【図４】
0003987253.tif 000006
【図５】
0003987253.tif 000007
【図６】
0003987253.tif 000008
【図７】
0003987253.tif 000009
【図８】
0003987253.tif 000010
【図９】
0003987253.tif 000011
【図１０】
0003987253.tif 000012
【図１１】
0003987253.tif 000013
【図１２】
0003987253.tif 000014
【図１３】
0003987253.tif 000015
【図１４】
0003987253.tif 000016
【図１５】
0003987253.tif 000017