(57)【特許請求の範囲】
【請求項１】
ビデオデータやオーディオデータ等のストリーミングデータと、テキストデータや静止画データ等の非ストリーミングデータとを多重化して出力するデータ多重装置において、
前記非ストリーミングデータをいくつかのパケット毎に順に出力し、
前記ストリーミングデータが存在しない空き帯域で出力できる前記パケットの数を算出するとともに、前記空き帯域を当該パケットの数で分割した各々の領域である第１のパケットエリアのそれぞれに出力開始時刻および出力終了時刻情報を関連付け、
前記非ストリーミングデータのパケットの数が、前記第１のパケットエリアの数よりも多い場合には、
前記ストリーミングデータか前記非ストリーミングデータかのいずれかの出力が開始された時から、前記ストリーミングデータおよび前記非ストリーミングデータの全ての出力が終了するまでの時間内で、前記空き帯域で出力できない全てのパケットを出力できる出力速度を決定するとともに、前記空き帯域で出力できない各々のパケットを前記出力速度で出力する各々の領域である第２のパケットエリアのそれぞれに出力開始時刻および出力終了時刻情報を関連付け、
前記非ストリーミングデータのパケットを、前記第１のパケットエリアの各々および前記第２のパケットエリアの各々のうち出力終了時刻の早いパケットエリアから順に割り振るとともに、割り振られたパケットを各パケットエリアのそれぞれに関連付けられた出力開始時刻および出力終了時刻情報に基づいて出力し、
前記非ストリーミングデータのパケットの数が、前記第１のパケットエリアの数と等しいか、あるいはそれよりも少ない場合には、
前記非ストリーミングデータのパケットを、前記第１のパケットエリアの各々のうち出力終了時刻の早いパケットエリアから順に割り振るとともに、割り振られたパケットを前記第１のパケットエリアのそれぞれに関連付けられた出力開始時刻および出力終了時刻情報に基づいて出力する
ことを特徴とするデータ多重装置。
【請求項２】
請求項１に記載のデータ多重装置において、
前記ストリーミングデータは、ビデオカメラやオーディオ装置等のハードウェアからリアルタイムで入力され、
入力された前記ストリーミングデータを複数のストリーミングデータパケットに分割し、前記複数のストリーミングデータパケットのそれぞれに出力開始時刻および出力終了時刻情報を関連付け、関連付けられた出力開始時刻および出力終了時刻情報に基づいて前記複数のストリーミングデータパケットを出力する
ことを特徴とするデータ多重装置。
【請求項３】
ビデオデータやオーディオデータ等のストリーミングデータと、テキストデータや静止画データ等の非ストリーミングデータとをそれぞれいくつかのパケットに分割して多重化した後に順に出力するデータ多重装置を制御するプログラムを記録した記録媒体であって、コンピュータに、
前記ストリーミングデータが存在しない空き帯域で出力できる前記パケットの数を算出させるとともに、前記空き帯域を当該パケットの数で分割した各々の領域である第１のパケットエリアのそれぞれに出力開始時刻および出力終了時刻情報を関連付けさせ、
前記非ストリーミングデータのパケットの数が、前記第１のパケットエリアの数よりも多い場合には、
前記ストリーミングデータか前記非ストリーミングデータかのいずれかの出力が開始された時から、前記ストリーミングデータおよび前記非ストリーミングデータの全ての出力が終了するまでの時間内で、前記空き帯域で出力できない全てのパケットを出力できる出力速度を決定させるとともに、前記空き帯域で出力できない各々のパケットを前記出力速度で出力する各々の領域である第２のパケットエリアのそれぞれに出力開始時刻および出力終了時刻情報を関連付けさせ、
前記非ストリーミングデータのパケットを、前記第１のパケットエリアの各々および前記第２のパケットエリアの各々のうち出力終了時刻の早いパケットエリアから順に割り振るとともに、割り振られたパケットを各パケットエリアのそれぞれに関連付けられた出力開始時刻および出力終了時刻情報に基づいて出力させ、
前記非ストリーミングデータのパケットの数が、前記第１のパケットエリアの数と等しいか、あるいはそれよりも少ない場合には、
前記非ストリーミングデータのパケットを、前記第１のパケットエリアの各々のうち出力終了時刻の早いパケットエリアから順に割り振るとともに、割り振られたパケットを前記第１のパケットエリアのそれぞれに関連付けられた出力開始時刻および出力終了時刻情報に基づいて出力させる
コンピュータ読み取り可能なプログラムを記録した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、データ多重装置に係り、更に詳しくは、複数種類のデータを多重するデータ多重装置およびプログラムを記録した記録媒体に関するものである。
【０００２】
【従来の技術】
図１２は、この種の従来から用いられているデータ多重装置の伝送用帯域利用方法を示す概念図である。
【０００３】
図１２に示すデータ多重方式は、固定ビットレート方式と呼ばれるデータ多重方式であり、オーディオデータやビデオデータといったストリーミングデータと、静止画データやテキストデータといった非ストリーミングデータとの多重を行なう場合、各ストリーミングデータ用の帯域および非ストリーミングデータ用の帯域をそれぞれ独立に一定のビットレート（送信速度）でクライアント側に送信している。
【０００４】
【発明が解決しようとする課題】
しかしながら、このような従来のデータ多重装置では、以下のような問題がある。
【０００５】
すなわち、従来のデータの多重装置では、図１２において斜線で示すようなストリーミングデータが存在しない空き帯域がある場合、その空き帯域を活用していない。
【０００６】
これを、たとえば図１２を用いて説明すると、ビデオやオーディオのデータが、連続的ではなく断続的に再生される場合、データが送信されない空き帯域（Ａ１、Ａ２、Ｖ１、Ｖ２）が存在する。この空き帯域（Ａ１、Ａ２、Ｖ１、Ｖ２）では、固定ビットレートでデータを送信することが可能な状態になっているにもかかわらず何のデータも送られておらず、空き帯域は全く活用されていない。
【０００７】
空き帯域を活用する方法としては、随時ストリーミングデータのビットレートを監視しながら、空き帯域にその都度非ストリーミングデータを組み入れる方法がある。
【０００８】
このような方法では、非ストリーミングデータを、クライアント側で再生される時間前にすべて届いているように送信しなければならない。
【０００９】
しかしながら、空き帯域は、オーディオデータやビデオデータの内容に依存するので、いつも同じ容量とは限らない。
【００１０】
例えば、図１２においてオーディオストリーミングデータとビデオストリーミングデータの空き帯域Ａ１、Ｖ１、Ａ２、Ｖ２を用いて非ストリーミングデータを送出する場合、まずオーディオストリーミングデータが送信される前の空き帯域Ａ１を利用して非ストリーミングデータのパケットの一部を送信することになる。次の空き帯域は、ビデオストリーミングデータの空き帯域Ｖ１である。この空き帯域Ｖ１についても、非ストリーミングデータのパケットの一部を送信することになる。また、その他の空き帯域である空き帯域Ａ２、Ｖ２についても非ストリーミングデータのパケットの一部を送信することになる。
【００１１】
しかしながら、ストリーミングデータ同士でも、オーディオデータとビデオデータとでは、同じビットレートとは限らない。この場合、空き帯域Ａ２と空き帯域Ｖ２とに示すように、空き帯域の時間が同一であっても空き帯域で送信可能なデータ量は、オーディオデータとビデオデータとでは異なる。
【００１２】
このように、空き帯域で送信可能なパケットの数は、空き帯域の各々の容量によって異なる。
【００１３】
従って、ストリーミングデータの空き帯域を用いて、非ストリーミングデータのパケットを送信する場合、空き帯域の容量に応じて送信可能なパケット数を算出するとともに、空き帯域の開始時間にあわせてパケットの送信を開始し、空き帯域の終了時間までに所定個数のパケットの送信を完了させなければならない。
【００１４】
そして、以降の空き帯域についても同様に、個々の空き帯域に応じたパケット数を算出し、空き帯域のタイミングに合わせて所定個数のパケットを送信する必要がある。
【００１５】
このように、非ストリーミングデータのデータパケットを、ストリーミングデータの空き帯域を利用して送信するのは極めて煩雑なので、従来のデータ多重装置では、空き帯域は活用されておらず、限定された回線容量を有効に活用していないという問題点があった。
【００１６】
本発明はこのような事情に鑑みてなされたものであり、ストリーミングデータの空き帯域を利用して非ストリーミングデータを送信し、もって、限定された回線容量を有効に活用することができるデータ多重装置を提供することを目的とする。
【００１７】
【課題を解決するための手段】
上記の目的を達成するために、本発明では、以下のような手段を講じる。
【００１９】
すなわち、請求項１の発明では、ビデオデータやオーディオデータ等のストリーミングデータと、テキストデータや静止画データ等の非ストリーミングデータとを多重化して出力するデータ多重装置において、非ストリーミングデータをいくつかのパケット毎に順に出力し、ストリーミングデータが存在しない空き帯域で出力できるパケットの数を算出するとともに、空き帯域を当該パケットの数で分割した各々の領域である第１のパケットエリアのそれぞれに出力開始時刻および出力終了時刻情報を関連付け、非ストリーミングデータのパケットの数が、第１のパケットエリアの数よりも多い場合には、ストリーミングデータか非ストリーミングデータかのいずれかの出力が開始された時から、前記ストリーミングデータおよび前記非ストリーミングデータの全ての出力が終了するまでの時間内で、空き帯域で出力できない全てのパケットを出力できる出力速度を決定するとともに、空き帯域で出力できない各々のパケットを出力速度で出力する各々の領域である第２のパケットエリアのそれぞれに出力開始時刻および出力終了時刻情報を関連付け、非ストリーミングデータのパケットを、第１のパケットエリアの各々および第２のパケットエリアの各々のうち出力終了時刻の早いパケットエリアから順に割り振るとともに、割り振られたパケットを各パケットエリアのそれぞれに関連付けられた出力開始時刻および出力終了時刻情報に基づいて出力し、非ストリーミングデータのパケットの数が、第１のパケットエリアの数と等しいか、あるいはそれよりも少ない場合には、非ストリーミングデータのパケットを、第１のパケットエリアの各々のうち出力終了時刻の早いパケットエリアから順に割り振るとともに、割り振られたパケットを第１のパケットエリアのそれぞれに関連付けられた出力開始時刻および出力終了時刻情報に基づいて出力する。
【００２０】
請求項２の発明では、請求項１に記載のデータ多重装置において、ストリーミングデータは、ビデオカメラやオーディオ装置等のハードウェアからリアルタイムで入力され、入力されたストリーミングデータを複数のストリーミングデータパケットに分割し、複数のストリーミングデータパケットのそれぞれに出力開始時刻および出力終了時刻情報を関連付け、関連付けられた出力開始時刻および出力終了時刻情報に基づいて複数のストリーミングデータパケットを出力する。
【００２１】
請求項３の発明では、ビデオデータやオーディオデータ等のストリーミングデータと、テキストデータや静止画データ等の非ストリーミングデータとをそれぞれいくつかのパケットに分割して多重化した後に順に出力するデータ多重装置を制御するプログラムを記録した記録媒体であって、コンピュータに、ストリーミングデータが存在しない空き帯域で出力できるパケットの数を算出させるとともに、空き帯域を当該パケットの数で分割された各々の領域である第１のパケットエリアのそれぞれに出力開始時刻および出力終了時刻情報を関連付けさせ、非ストリーミングデータのパケットの数が、第１のパケットエリアの数よりも多い場合には、ストリーミングデータか非ストリーミングデータかのいずれかの出力が開始された時から、前記ストリーミングデータおよび前記非ストリーミングデータの全ての出力が終了するまでの時間内で、空き帯域で出力できない全てのパケットを出力できる出力速度を決定させるとともに、空き帯域で出力できない各々のパケットを出力速度で出力する各々の領域である第２のパケットエリアのそれぞれに出力開始時刻および出力終了時刻情報を関連付けさせ、非ストリーミングデータのパケットを、第１のパケットエリアの各々および第２のパケットエリアの各々のうち出力終了時刻の早いパケットエリアから順に割り振るとともに、割り振られたパケットを各パケットエリアのそれぞれに関連付けられた出力開始時刻および出力終了時刻情報に基づいて出力させ、非ストリーミングデータのパケットの数が、第１のパケットエリアの数と等しいか、あるいはそれよりも少ない場合には、非ストリーミングデータのパケットを、第１のパケットエリアの各々のうち出力終了時刻の早いパケットエリアから順に割り振るとともに、割り振られたパケットを第１のパケットエリアのそれぞれに関連付けられた出力開始時刻および出力終了時刻情報に基づいて出力させる。
【００２２】
従って、請求項１から２の発明のデータ多重装置、および請求項３の発明のプログラムを記録した記録媒体においては、ストリーミングデータの空き帯域を利用して非ストリーミングデータを送信することにより、トータルビットレートを減少させることができる。
【００２３】
特に、請求項２の発明のデータ多重装置においては、更に、ストリーミングデータをビデオカメラやオーディオ装置などのハードウェアから直接的に取り込む場合においても適用できる。
【００２４】
【発明の実施の形態】
以下に、本発明の実施の形態について図面を参照しながら説明する。
【００２５】
（第１の実施の形態）
本発明の第１の実施の形態を図１から図６を用いて説明する。
【００２６】
図１は、本発明の実施の形態によるデータ多重装置の一例を示す全体構成図である。
【００２７】
すなわち、本実施の形態によるデータ多重装置１は、ビデオデータ３、オーディオデータ５といったストリーミングデータと、静止画データ７、テキストデータ９といった非ストリーミングデータとを多重する多重手段１０と、多重手段１０により多重された多重データを保存する多重データ記憶手段２０と、多重データ記憶手段２０から多重データを取り出し、多重データをいくつかのパケットに分割してパケット毎に送信する送出サーバ３０と、送出サーバ３０から送信されたパケットを受信・再生し合成表示する表示手段４０とを備えている。
【００２８】
ビデオデータ３、オーディオデータ５といったストリーミングデータは、表示手段４０で受信されるのと同時に再生が可能となるデータである。
【００２９】
一方、静止画データ７、テキストデータ９といった非ストリーミングデータは、表示手段４０で全て受信がなされてから再生可能となるデータである。
【００３０】
なお、ストリーミングデータおよび非ストリーミングデータのフォーマットについては特に規定しない。
【００３１】
多重手段１０は、このようなストリーミングデータおよび非ストリーミングデータがそれぞれ入力されるようになっている。また、ストリーミングデータについては、単位時間当たりに送信されるデータ量、すなわち送信速度であるビットレートもそれぞれ入力されるようになっている。更に、多重データのビットレートであるトータルビットレートも入力されるようになっている。
【００３２】
多重手段１０は、入力されたこれらのストリーミングデータおよび非ストリーミングデータを固定サイズのパケットに分割すると共に、それぞれをタイムスタンプ情報と関連付ける。タイムスタンプとは送出サーバ３０から表示手段４０に送信されるときにおけるパケットの送信開始および終了時刻である。
【００３３】
更に、多重手段１０は、これらパケットを、表示手段４０での再生開始および終了時刻とタイムスタンプ情報とを比較することにより、パケットの送信順序を決定し、これらの情報を多重データとして多重データ記憶手段２０に保存する。
【００３４】
送出サーバ３０は、このような多重データを多重データ記憶手段２０から取り出すとともに、多重手段１０に入力されたビットレートに応じて、パケット単位で表示手段４０に送信する。
【００３５】
送出サーバ３０から表示手段４０へのパケット送信は、ネットワーク回線を介して行なっても良い。このネットワーク回線は、インターネット、イーサネット等のＬＡＮ、あるいは公衆回線や専用回線を介して複数のＬＡＮが接続されるＷＡＮ等も含まれる。インターネット、ＷＡＮ等の場合には、公衆回線に接続するためのファイアウォール等を適宜備えているが、ここではその図示及び詳細説明を省略する。
【００３６】
表示手段４０は、送出サーバ３０より送信されたパケットを受信・再生し、ビデオ、オーディオ、テキスト、静止画すべてのデータを一つの画面上に合成表示する。ストリーミングデータについては、パケットを受信しながら表示し、非ストリーミングデータについては、パケットを全て受信後に表示する。表示のタイミングについては、各パケットが有している再生開始および終了時刻データに従う。
【００３７】
次に、以上のように構成した本実施の形態のデータ多重装置の動作について説明する。
【００３８】
図２は、本実施の形態に係るデータ多重装置の動作を示すフローチャートである。
【００３９】
先ず、合成表示したい全てのデータを多重手段１０に入力する（Ｓ１）。データの種類としてはビデオ、オーディオなどのストリーミングデータと、静止画、テキストなどの非ストリーミングデータとがあり、各データは表示手段４０における再生開始および終了時刻データも含んでいる。
【００４０】
データの入力は、ファイル形式で行なっても、また、別の手段を経由して行なっても良い。なお、データ形式としてはビデオ、オーディオ、静止画、テキストデータ以外のデータでも構わない。
【００４１】
次に、ストリーミングデータのビットレートについて、各ストリーミングデータ毎（例えば、オーディオデータとビデオデータのそれぞれ毎）に多重手段１０に入力する（Ｓ２）。
【００４２】
更に、多重データのビットレートであるトータルビットレートを多重手段１０に入力する（Ｓ３）。
【００４３】
多重手段１０では、ストリーミングデータの空き帯域で送信される非ストリーミングデータのパケットの送信順序、および送信開始および終了時刻が決定され、データの多重がなされる（Ｓ４）。
【００４４】
なお、Ｓ４において行われる多重手段１０の動作の詳細については、後述する。
【００４５】
多重手段１０において多重された多重データは、多重データ記憶手段２０で保存される（Ｓ５）。
【００４６】
多重データ記憶手段２０で保存された多重データは、送出サーバ３０によって取り出され、更に各々のストリーミングデータの固定ビットレートで表示手段４０に送信される（Ｓ６）。
【００４７】
このようにして送信された多重データは、表示手段４０においてパケット毎に受信・再生され合成表示される（Ｓ７）。
【００４８】
このとき、多重データに含まれていたビデオ、オーディオ、テキスト、静止画すべてのデータが一つの画面上に合成表示される。
【００４９】
表示手段４０では、ストリーミングデータはパケットが受信されながら再生されることが可能である。一方、非ストリーミングデータは受信が完了したパケットから再生される。
【００５０】
次に、Ｓ４において行われる多重手段１０の動作の詳細について説明する。
【００５１】
図３は、前述したような多重手段１０の動作を示すフローチャートである。
【００５２】
なお、ここで、多重データの再生開始時刻を番組開始時刻、再生終了時刻を番組終了時刻、番組開始時刻から番組終了時刻までを番組時間と称する。
【００５３】
先ず、多重手段１０において、全データの帯域（トータル帯域）から、全ストリーミングデータの帯域が差し引かれる（Ｓ１１）。次に、全ストリーミングデータの再生開始および終了時刻が、番組開始および終了時刻と一致するかの比較がなされる（Ｓ１２）。
【００５４】
図４は、全ストリーミングデータの再生開始および終了時刻が、番組開始および終了時刻と一致する場合におけるデータ多重装置の伝送用帯域利用方法を示す概念図である。
【００５５】
図４に示すように、全ストリーミングデータの再生開始および終了時刻が、番組開始および終了時刻と一致する（Ｓ１２：ＹＥＳ）場合においては、ストリーミングデータの空き帯域が存在しないので、非ストリーミングデータに使用できる帯域は番組開始および終了時刻まで一定である（Ｓ１３）。
【００５６】
このとき、下記に示す（１）式に従って、非ストリーミングデータの送信可能なパケット数が算出される（Ｓ１４）。また、番組時間をパケット数で除することにより、各パケットを送信するためのエリア毎にタイムスタンプ（送信開始および終了時刻情報）が割り振られる（Ｓ１５）。
【００５７】
（送信可能なパケット数）
＝（ビットレート）×（番組時間）／（パケットサイズ）  …（１）
このようにして非ストリーミングデータの全パケットを送信するためのエリアが確保される。同様にして、ストリーミングデータについても全パケットを送信するためのエリアが確保される。これらエリアに、再生時刻に間に合うようにパケットの割り振りがなされ、そのデータは多重手段１０から多重データ記憶手段２０へと出力される（Ｓ１６）。
【００５８】
図４は、１秒間に１パケットを送信する場合であり、２秒後と６秒後とにそれぞれ「Ｃａｒｒｏｔｓ」、「Ｉｔ  ｉｓ  ａ  ｓａｍｐｌｅ」という非ストリーミングデータを表示できるようにそれぞれのパケットを送信している例を示している。
【００５９】
一方、ストリーミングデータの再生開始および終了時刻が、番組開始および終了時刻と異なっている場合（Ｓ１２：ＮＯ）においては、非ストリーミングデータのパケット送信パターンは、ストリーミングデータの空き帯域に依存する。これを図５を用いて説明する。
【００６０】
図５は、ストリーミングデータの再生開始および終了時刻が、番組開始および終了時刻と異なる場合におけるデータ多重装置の伝送用帯域利用方法を示す概念図である。
【００６１】
ここでは、送信開始後１分から９分まで送信されるビデオストリーミングデータと、送信開始後３分から９分まで送信されるオーディオストリーミングデータと、送信開始から送信終了まで継続して送信される非ストリーミングデータの例を示している。
【００６２】
また、ビデオストリーミングデータのビットレートＲｖ１は毎秒２０００ビット、オーディオストリーミングデータのビットレートＲａ１は毎秒１０００ビット、非ストリーミングデータのビットレートＲｎ１は毎秒１０００ビットとする。すなわち、トータルビットレートＲｔ１は毎秒４０００ビットである。
【００６３】
非ストリーミングデータは１分毎に１パケット送信され、送信が完了する１０分後までに１０パケットが送信される。すなわち、非ストリーミングデータの１パケットサイズは６００００ビットである。
【００６４】
図５のように、ストリーミングデータの再生開始および終了時刻が、番組開始および終了時刻と異なる場合には、ストリーミングデータが伝送されない空き帯域ａ１、ａ２、ｖ１、ｖ２が存在する。
【００６５】
空き帯域の容量は、各ストリーミングデータのビットレートと、時間との積で決定される。従って、空き帯域を利用して送信できる非ストリーミングデータのパケット数も空き帯域ａ１、ａ２、ｖ１、ｖ２毎に異なる。
【００６６】
このように、ストリーミングデータの再生開始および終了時刻が、番組開始および終了時刻と異なる場合におけるパケットの割り振りは、多重手段１０において以下の様にして行われる。
【００６７】
先ず、多重手段１０において、各ストリーミングデータの空き帯域の容量が計算される（Ｓ２１）。
【００６８】
この帯域は、番組開始および終了時刻と、各ストリーミングデータの再生開始および終了時刻とから、以下に示す（２）式に従って算出される。
【００６９】
（ストリーミングデータ再生開始前と終了後との空き帯域）
＝{（再生開始時刻−番組開始時刻）＋（番組終了時刻−再生終了時刻）}
×（ビットレート）…（２）
図５の場合だと、空き帯域の容量はそれぞれ以下の通りとなる。
【００７０】
空き帯域ａ１＝１８００００ビット
空き帯域ａ２＝  ６００００ビット
空き帯域ｖ１＝１２００００ビット
空き帯域ｖ２＝１２００００ビット
更に、このように算出された空き帯域を非ストリーミングデータの１パケットサイズで除することで、その空き帯域で送信可能な非ストリーミングデータのパケット数が算出される（Ｓ２２）。
【００７１】
いま、非ストリーミングデータのパケットサイズは６００００ビットであるので、各空き帯域で送信可能な非ストリーミングデータのパケット数は以下の通りとなる。
【００７２】
空き帯域ａ１＝３パケット
空き帯域ａ２＝１パケット
空き帯域ｖ１＝２パケット
空き帯域ｖ２＝２パケット
なお、残りの２パケット（１２００００ビット）は、空き帯域では送信できないので、非ストリーミングデータ用帯域で送信する。この場合、２パケットを１０分間かけて送信すれば良いので、非ストリーミングデータのビットレートは毎秒２００ビット必要となる。
【００７３】
すなわち、このように空き帯域を利用することによって、非ストリーミングデータ用帯域のビットレートを毎秒１０００ビットから毎秒２００ビットに減少させることが可能となる。
【００７４】
このようにして、空き帯域を利用して非ストリーミングデータを送信する場合、各データは図６に示すようにして送信される。
【００７５】
図６は、図５に示すような状態において、ストリーミングデータの空き帯域を利用して非ストリーミングデータを送信する場合におけるデータ多重装置の伝送用帯域利用方法を示す概念図である。
【００７６】
ストリーミングデータの空き帯域ａ１、ａ２、ｖ１、ｖ２はそれぞれ非ストリーミングデータの送信に用いられ、非ストリーミングデータのビットレートＲｎ１’は毎秒２００ビットとなったことにより、トータルビットレートＲｔ１’は毎秒３２００ビットとなる。
【００７７】
このようにして、各空き帯域に割り振られた非ストリーミングデータのパケットを送信するためのエリアには、タイムスタンプが付され（Ｓ２３）、送信開始時間と送信終了時間との関連付けがなされる。
【００７８】
次に、各エリアは、付されたタイムスタンプ情報に従って、連続したデータにマージされる（Ｓ２４）。
【００７９】
更に、各エリアのタイムスタンプ情報と各パケットの再生開始時刻との比較がなされ、再生開始時刻前に送信が完了するようにパケットがエリアに割り振られる（Ｓ２５）。
【００８０】
図６中に示す数字は、このようにして各エリアに割り振られたパケットの送信順を示すものである。請求項でいう第１のパケットエリアで送信されるパケットは、それぞれ１、２、４、５、６、８、９、１０番目に送信されるパケットが相当する。また、請求項でいう第２のパケットエリアで送信されるパケットは、それぞれ３、７番目に送信されるパケットが相当する。
【００８１】
このようにして各エリアに割り振られた各パケットは、多重手段１０から多重データ記憶手段２０へと出力される（Ｓ２６）。
【００８２】
上述したように、本実施の形態のデータ多重装置においては、ストリーミングデータの空き帯域を利用して、非ストリーミングデータを送信することにより、トータルビットレートを減少させることができる。
【００８３】
その結果、限定された回線容量を有効に活用し、もって、データの送信負荷を低減したデータ多重装置を実現することが可能となる。
【００８４】
（第２の実施の形態）
本発明の第２の実施の形態を図７から図９を用いて説明する。
【００８５】
本発明の第２の実施の形態におけるデータ多重装置は、その構成を第１の実施の形態のデータ多重装置と同一とし、ストリーミングデータの空き帯域のパターンが異なるのみである。
【００８６】
図７は、あるストリーミングデータの送信終了後と別のストリーミングデータの送信開始前との間に空き帯域が存在するパターンにおける帯域利用方法を示す概念図である。
【００８７】
ここでは、送信開始後１分から５分まで送信されるビデオストリーミングデータＡと、送信開始後６分から９分まで送信されるビデオストリーミングデータＢと、送信開始から送信終了まで継続して送信される非ストリーミングデータの例を示している。
【００８８】
また、ビデオストリーミングデータのビットレートＲｖ２はビデオストリーミングデータＡ、ビデオストリーミングデータＢともに毎秒２０００ビット、非ストリーミングデータのビットレートＲｎ２は毎秒１０００ビットとする。すなわち、トータルビットレートＲｔ２は毎秒３０００ビットである。
【００８９】
非ストリーミングデータは１分毎に１パケット送信され、送信が完了する１０分後までに１０パケットが送信される。すなわち、非ストリーミングデータの１パケットサイズは６００００ビットである。
【００９０】
また、ビデオストリーミングデータが伝送されない空き帯域ｖ３、ｖ４、ｖ５が存在する。
【００９１】
本実施の形態によるデータ多重装置は、図７に示すように、あるストリーミングデータの送信が終了した後、別のストリーミングデータの送信が開始するまでの空き帯域も利用して非ストリーミングデータを送信する。
【００９２】
このような本実施の形態のデータ多重装置の動作について説明する。
【００９３】
図８は、本実施の形態に係るデータ多重装置の動作を示すフローチャートである。
【００９４】
先ず、番組開始時刻から、ビデオストリーミングデータＡの再生開始時刻までの空き帯域ｖ３の容量が計算され（Ｓ３１）、次にビデオストリーミングデータＡの再生終了時刻から、ビデオストリーミングデータＢの再生開始時刻までの空き帯域ｖ４の容量が計算される（Ｓ３２）。
【００９５】
更に、ビデオストリーミングデータＢの再生終了時刻から、番組終了時刻までの空き帯域ｖ５の容量が計算される（Ｓ３３）とともに、これら空き帯域ｖ３、ｖ４、ｖ５のそれぞれにおいて送信可能な非ストリーミングデータのパケット数が算出される（Ｓ３４）。
【００９６】
いま、非ストリーミングデータのパケットサイズは６００００ビットであるので、各空き帯域で送出可能な非ストリーミングデータのパケット数は以下の通りとなる。
【００９７】
空き帯域ｖ３＝２パケット
空き帯域ｖ４＝２パケット
空き帯域ｖ５＝２パケット
なお、残りの４パケット（２４００００ビット）は、これら空き帯域では送信できないので、非ストリーミングデータ用帯域で送信する。４パケットを１０分間かけて送信すれば良いので、非ストリーミングデータのビットレートは毎秒４００ビット必要となる。
【００９８】
すなわち、このように空き帯域を利用することによって、非ストリーミングデータ用の帯域のビットレートを毎秒１０００ビットから毎秒４００ビットに減少させることが可能となる。
【００９９】
このようにして、空き帯域を利用して非ストリーミングデータを送信する場合、各データは図９に示すようにして送信される。
【０１００】
図９は、図７に示すような状態において、ストリーミングデータの空き帯域を利用して非ストリーミングデータを送信する場合におけるデータ多重装置の伝送用帯域利用方法を示す概念図である。
【０１０１】
ストリーミングデータの空き帯域ｖ３、ｖ４、ｖ５はそれぞれ非ストリーミングデータの送信に用いられ、非ストリーミングデータのビットレートＲｎ２’は毎秒４００ビットとなったことにより、トータルビットレートＲｔ２’は毎秒２４００ビットとなる。
【０１０２】
Ｓ３５、Ｓ３６、Ｓ３７、Ｓ３８はそれぞれ既に説明したＳ２３、Ｓ２４、Ｓ２５、Ｓ２６と同様であるのでここではその説明を省略する。
【０１０３】
なお、図９中に示す数字は図８のフローチャートに示すルーチンに従って各エリアに割り振られたパケットの送信順を示すものである。請求項でいう第１のパケットエリアで送信されるパケットは、それぞれ１、３、５、７、９、１０番目に送信されるパケットが相当する。また、請求項でいう第２のパケットエリアで送信されるパケットは、それぞれ２、４、６、８番目に送信されるパケットが相当する。
【０１０４】
上述したように、本実施の形態のデータ多重装置においては、あるストリーミングデータの送信終了後から別のストリーミングデータの送信が開始するまでの空き帯域を利用して、非ストリーミングデータを送信することによりトータルビットレートを減少させることができる。
【０１０５】
その結果、限定された回線容量を有効に活用し、もって、データの送信負荷を低減したデータ多重装置を実現することが可能となる。
【０１０６】
（第３の実施の形態）
本発明の第３の実施の形態を図１０と図１１とを用いて説明する。
【０１０７】
図１０は、本発明の第３の実施の形態に係るデータ多重装置の一例を示す全体構成図であり、図１と同一部分には同一符号を付してその説明を省略し、ここでは異なる部分についてのみ述べる。
【０１０８】
本実施の形態におけるデータ多重装置は、多重手段１０に入力されるストリーミングデータが、予め保存されたデータとして入力されるのでは無く、ハードウェアから直接、かつリアルタイムで入力されるところが、第１の実施の形態におけるデータ多重装置と異なる。その他の構成は第１の実施の形態のデータ多重装置と同一の構成をなす。
【０１０９】
すなわち、本実施の形態におけるデータ多重装置は、ストリーミングデータが、ビデオカメラ４やオーディオ装置６からリアルタイムで多重手段１０に入力されるようになっている。また、このようなストリーミングデータの再生開始および終了時刻、ビットレートは別途図示しない入力手段を介して多重手段１０に入力されるようになっている。
【０１１０】
一方、非ストリーミングデータについては、第１の実施の形態において説明したものと同様にファイル形式、またはその他のハードウェア等から入力されるようになっている。
【０１１１】
次に、以上のように構成した本実施の形態に係るデータ多重装置の動作について説明する。
【０１１２】
図１１は、本実施の形態に係るデータ多重装置の動作を示すフローチャートである。
【０１１３】
先ず、合成表示したいデータを多重手段１０に入力する（Ｓ４１）。データの種類としてはビデオ、オーディオなどのストリーミングデータと、静止画、テキストなどの非ストリーミングデータとがあり、それぞれ表示手段４０における再生開始および終了時刻データも含んでいる。
【０１１４】
尚、この時点では、リアルタイムで入力がなされるビデオデータやオーディオデータといったストリーミングデータについてはまだ入力しない。
【０１１５】
データの入力は、ファイル形式で行なっても、また、別の手段を経由して行なっても良い。なお、データ形式としてはビデオ、オーディオ、静止画、テキストデータ以外のデータでも構わない。
【０１１６】
次に、ストリーミングデータのビットレートについて、ストリーミングデータ毎にそれぞれ多重手段１０に入力する（Ｓ４２）。更に、多重データのビットレートであるトータルビットレートを多重手段１０に入力する（Ｓ４３）。また、全データの再生開始および終了時刻を多重手段１０に入力する（Ｓ４４）。
【０１１７】
多重手段１０では、空き帯域を利用して送信される非ストリーミングデータのパケットの送信順序が決定される（Ｓ４５）。なお、ここで行われるパケットの送信順序決定方法については、図３で説明した方法と同様である。
【０１１８】
次に、リアルタイムで入力されるストリーミングデータをビデオやオーディオ装置を介してエンコードし、多重手段１０に入力する（Ｓ４６）。
【０１１９】
その後、多重手段１０において、Ｓ４６で入力されたストリーミングデータがバッファリングされると同時に、非ストリーミングデータとの多重化がなされ、その多重化されたデータはリアルタイムで送出サーバ３０に出力される（Ｓ４７）。
【０１２０】
尚、このとき、必要に応じて多重データ記憶手段２０にデータを送信して多重データを一旦保存しても良い。また、多重データ記憶手段２０を介さずに、多重手段１０から直接的に送出サーバ３０にデータを送信しても良い。
【０１２１】
このようにして送出サーバ３０に出力された多重データは、更に送出サーバ３０から表示手段４０へと、パケット毎に固定ビットレートで送信される（Ｓ４８）。
【０１２２】
表示手段４０では、送出サーバ３０から送信されたパケットに基づいて、ストリーミングデータと非ストリーミングデータとの再生がなされた後に合成表示される（Ｓ４９）。
【０１２３】
上述したように、本実施の形態のデータ多重装置においては、ビデオデータや音声データなどのストリーミングデータがリアルタイムで入力される場合においても、第１および第２の実施の形態で説明したように、ストリーミングデータの空き帯域を利用して、非ストリーミングデータを送信することにより、トータルビットレートを減少させることができる。
【０１２４】
その結果、ビデオデータや音声データなどのストリーミングデータを直接送信するような場合においても、第１および第２の実施の形態で説明したもの同様の効果を奏することができ、もって、データの送信負荷を低減したデータ多重装置を実現することが可能となる。
【０１２５】
また、各実施の形態に記載した方法は、計算機（コンピュータ）に実行させることができるプログラム（ソフトウェア手段）として、例えば磁気ディスク（フロッピーディスク、ハ一ドディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記録媒体に格納し、また通信媒体により伝送して頒布することもできる。なお、媒体側に格納されるプログラムには、計算機に実行させるソフトウエア手段（実行プログラムのみならずテーブルやデータ構造も含む）を計算機内に構成させる設定プログラムをも含むものである。本装置を実現する計算機は、記録媒体に記録されたプログラムを読み込み、また場合により設定プログラムによりソフトウエア手段を構築し、このソフトウエア手段によって動作が制御されることにより上述した処理を実行する。
【０１２６】
一方、各実施の形態では、図１に示すデータ多重装置１をデータ多重装置として説明したが、本発明でいうデータ多重装置は、このデータ多重装置１のみならず、多重手段１０単体、または多重手段１０と多重データ記憶手段２０と送出サーバ３０からなるものをも含むものである。
【０１２７】
また、多重手段１０により多重された多重データを、多重データ記憶手段２０を介さずに、多重装置１０から送出サーバ３０に直接送るようにしても良い。
【０１２８】
【発明の効果】
以上説明したように、本発明のデータ多重装置によれば、ストリーミングデータの空き帯域を利用して非ストリーミングデータを送信できる。
【０１２９】
以上により、限定された回線容量を有効に活用することができるデータ多重装置を実現することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係るデータ多重装置の一例を示す全体構成図。
【図２】本発明の第１の実施の形態に係るデータ多重装置の動作を示すフローチャート。
【図３】本発明の第１の実施の形態に係る多重手段の動作を示すフローチャート。
【図４】全ストリーミングデータの再生開始および終了時刻が、番組開始および終了時刻と一致する場合におけるデータ多重装置の伝送用帯域利用方法を示す概念図。
【図５】ストリーミングデータの再生開始および終了時刻が、番組開始および終了時刻と異なる場合におけるデータ多重装置の伝送用帯域利用方法を示す概念図。
【図６】ストリーミングデータの空き帯域を利用して非ストリーミングデータを送信する場合におけるデータ多重装置の伝送用帯域利用方法を示す概念図。
【図７】あるストリーミングデータの再生終了後と別のストリーミングデータの再生開始前との間に空き帯域が存在するパターンにおける帯域利用方法を示す概念図。
【図８】本発明の第２の実施の形態に係るデータ多重装置の動作を示すフローチャート。
【図９】ストリーミングデータの空き帯域を利用して非ストリーミングデータを送信する場合におけるデータ多重装置の伝送用帯域利用方法を示す概念図。
【図１０】本発明の第３の実施の形態に係るデータ多重装置の一例を示す全体構成図。
【図１１】本発明の第３の実施の形態に係るデータ多重装置の動作を示すフローチャート。
【図１２】従来から用いられているデータ多重装置における帯域利用方法を示す概念図。
【符号の説明】
１…データ多重装置、
３…ビデオデータ、
４…ビデオ、
５…オーディオデータ、
６…オーディオ装置、
７…静止画データ、
９…テキストデータ、
１０…多重手段、
２０…多重データ記憶手段、
３０…送出サーバ、
４０…表示手段。
【図１】
0003910763.tif 000002
【図２】
0003910763.tif 000003
【図３】
0003910763.tif 000004
【図４】
0003910763.tif 000005
【図５】
0003910763.tif 000006
【図６】
0003910763.tif 000007
【図７】
0003910763.tif 000008
【図８】
0003910763.tif 000009
【図９】
0003910763.tif 000010
【図１０】
0003910763.tif 000011
【図１１】
0003910763.tif 000012
【図１２】
0003910763.tif 000013