(57)【特許請求の範囲】
【請求項１】
複数の情報源からのデータを蓄積する複数の多重化バッファ手段と、
これら多重化バッファ手段に蓄積されるデータを多重して出力する多重化手段と、
上記多重化バッファに蓄積される各データの蓄積時間を測定する遅延測定手段と、
データ毎に設定した最大遅延可能時間から上記遅延測定手段によって測定された各多重化バッファにおける遅延時間を引いた値の大小に基づくデータ優先度評価値により、上記多重化手段により多重するデータを選択する多重化制御手段と
を備え、
上記多重化制御手段で用いられるデータ優先度評価値は、データ毎の最大遅延可能時間から現在までのバッファにおける遅延時間を引いたものを変数ｘとおいた場合、Ａｘ＋Ｂで表され、Ａは正数でレート制御が可能なほど大きく、Ｂはゼロもしくは正数でデータ廃棄が可能なほど値が大きくなるように設定し、データ優先度評価値が小さいデータより優先的に多重送出する多重化装置。
【請求項２】
請求項１に記載の多重化装置において、上記遅延測定手段は、各データの符号化単位を認識し、最大遅延可能時間を超過したデータおよび、そのデータと同一の符号化単位のデータを多重化バッファ手段から廃棄することを特徴とする多重化装置。
【請求項３】
請求項１または２に記載の多重化装置において、上記多重化制御手段は、各情報源のデータの多重化バッファ手段における遅延時間を基に、各情報源の情報発生量を制御することを特徴とする多重化装置。
【請求項４】
請求項３に記載の多重化装置において、上記多重化制御手段は、複数の情報源を複数のグループに分割し、そのグループ内でｎ番目に優先度の高いデータのデータ優先度評価値を各グループ間で比較し、優先度の最も高いグループから、ｎ個のデータを選択送出することを特徴とする多重化装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、例えばディジタル化されたビデオデータ、オーディオデータ、および汎用データなどのマルチメディアデータを多重化する多重化装置に関するものである。
【０００２】
【従来の技術】
従来、多重化装置として、例えば特開平９−１１６５２０号公報に示すものがある。
図１０は特開平９−１１６５２０号公報に示された従来の多重化装置を示す構成図である。
図１０において、１０ａ〜１０ｎはビデオ、オーディオなどの各種メディア情報２０ａ〜２０ｎの符号化を行うｎ個の符号化部、１１ａ〜１１ｎはこの符号化部１０ａ〜１０ｎから出力される符号化データ２１ａ〜２１ｎを蓄積するｎ個の多重化バッファ手段としての多重化バッファ、１２はこの多重化バッファ１１ａ〜１１ｎに蓄積された符号化データ２２ａ〜２２ｎを多重し、多重化ストリームとして出力する多重手段としての多重部、１３は上記各多重化バッファ１１ａ〜１１ｎにおける符号化データ２１ａ〜２１ｎのバッファ蓄積量２３ａ〜２３ｎの情報に基づき、上記多重部１３により多重して出力する符号化データを上記複数の多重化バッファ１１ａ〜１１ｎに蓄積された符号化データから選択する多重制御手段としての多重制御部である。
【０００３】
次に動作について説明する。
符号化部１０ａ〜１０ｎは、メディア情報２０ａ〜２０ｎの符号化を行い、符号化データ２１ａ〜２１ｎとして多重化バッファ１１ａ〜１１ｎに出力する。多重化制御部１３は、各多重化バッファ１１ａ〜１１ｎのバッファ蓄積量２３ａ〜２３ｎ情報により、多重化すべき符号化データを選択し、多重部１２に通知する。多重部１２は、その通知により、選択すべき多重化バッファ１１より符号化データ２２を取り出し、多重化ストリームとして出力する。
【０００４】
また、符号化部１０ａ〜１０ｎは、それぞれ対応する多重化バッファ１１ａ〜１１ｎのバッファ蓄積量２３ａ〜２３ｎにより、符号化データ２１ａ〜２１ｎの情報発生量の制御を行う。
【０００５】
図１０に示す構成では、多重化バッファ１１ａ〜１１ｎのバッファ蓄積量２３ａ〜２３ｎが多いものから多重されるため、各多重化バッファがオーバーフローせず、また、符号化部１０ａ〜１０ｎで発生させた情報発生量に比例して多重化を行うことができる。さらに、多重化バッファ１１ａ〜１１ｎの残量により、符号化部１０ａ〜１０ｎの情報発生量を制御するため、各多重化バッファ１１ａ〜１１ｎがオーバーフローやアンダーフローせずに、多重化部１２で多重化を行うことができる。
【０００６】
【発明が解決しようとする課題】
しかしながら、上述した従来の多重化装置では、バッファ蓄積量により多重化するメディアを選択していたため、多重化されるまでに多重化バッファに蓄積されている時間（多重時の遅延時間）に関して考慮されていない。
例えば情報発生量が可変のメディアにおいて、一時的に情報発生量が少なくなった時、バッファ蓄積量が増えないため、なかなか多重化されるデータとして選択されず、そのデータの多重時の遅延時間は大きいものとなる。このように、多重時の遅延時間に制限がないため、極端に多重されるのが遅れるという問題点がある。
【０００７】
また、バッファ蓄積量によって符号化部の情報発生量を制御するため、常にバッファはある程度満たされた状態となり、バッファからの読み出し量が少ない場合に、バッファ内に蓄積されたデータの遅延時間が増大するという問題点がある。
【０００８】
この発明は上記のような問題点を解決するためになされたもので、メディア毎にバッファ内に蓄積される遅延時間を考慮して、多重化部の多重化制御及び符号化部の情報発生量の制御を行うことができる多重化装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
この発明に係る多重化装置は、複数の情報源からのデータを蓄積する複数の多重化バッファ手段と、これら多重化バッファ手段に蓄積されるデータを多重して出力する多重化手段と、上記多重化バッファに蓄積される各データの蓄積時間を測定する遅延測定手段と、データ毎に設定した最大遅延可能時間から上記遅延測定手段によって測定された各多重化バッファにおける遅延時間を引いた値の大小に基づくデータ優先度評価値により、上記多重化手段により多重するデータを選択する多重化制御手段とを備え、上記多重化制御手段で用いられるデータ優先度評価値は、データ毎の最大遅延可能時間から現在までのバッファにおける遅延時間を引いたものを変数ｘとおいた場合、Ａｘ＋Ｂで表され、Ａは正数でレート制御が可能なほど大きく、Ｂはゼロもしくは正数でデータ廃棄が可能なほど値が大きくなるように設定し、データ優先度評価値が小さいデータより優先的に多重送出するものである。
また、上記遅延測定手段は、各データの符号化単位を認識し、最大遅延可能時間を超過したデータおよび、そのデータと同一の符号化単位のデータを多重化バッファ手段から廃棄することを特徴とするものである。
また、上記多重化制御手段は、各情報源のデータの多重化バッファ手段における遅延時間を基に、各情報源の情報発生量を制御することを特徴とするものである。
さらに、上記多重化制御手段は、複数の情報源を複数のグループに分割し、そのグループ内でｎ番目に優先度の高いデータのデータ優先度評価値を各グループ間で比較し、優先度の最も高いグループから、ｎ個のデータを選択送出することを特徴とするものである。
【００２７】
【発明の実施の形態】
実施の形態１．
図１はこの発明の実施の形態１に係る多重化装置を示す構成図である。
図１において、１ａから１ｃはメディアデータ１００ａ〜１００ｃを蓄積する多重化バッファ手段、２ａ〜２ｃはこれら多重化バッファ手段１ａ〜１ｃに蓄積されているデータの遅延時間を測定する遅延測定手段、３は各遅延測定手段２ａ〜２ｃで検出した遅延時間を基に多重するメディアデータを選択する多重化制御手段、４は多重化制御手段３で選択したメディアデータの蓄積されている多重化バッファ手段１よりデータを読み出し、多重化データ１０１として出力する多重化手段である。なお、本実施の形態では３系統の入力しか記述していないが、複数系統の入力であればいくつでもよい。
【００２８】
次に動作について説明する。
メディアデータ１００ａ〜１００ｃは、対応する多重化バッファ手段１ａ〜１ｃに蓄積され多重化されるのを待つ。
遅延測定手段２ａ〜２ｃは、各メディアデータ１００ａ〜１００ｃの多重化バッファ手段１ａ〜１ｃでの遅延時間を検出し多重化制御手段３に通知する。
【００２９】
多重化制御手段３では、遅延測定手段２ａ〜２ｃで測定した遅延時間をもとに多重するメディアデータを選択し、多重化部４でそのメディアデータを多重化データとして送出する。
【００３０】
多重化時には、複数のメディアデータを選択しながら多重送出するため、各メディアデータ毎に遅延が発生する。
その複数のメディアデータが多重化されたデータを受信する受信装置では、各メディア毎に復号を行う。その際、メディアデータ毎に受信装置で許容できる遅延時間が異なるため、多重化装置では、各メディア毎に多重化の際に発生する遅延時間に限度を設けて、必ず受信装置で許容できる遅延時間以内に各メディアデータを転送する必要がある。
【００３１】
そのため、各メディアデータが多重化の際に許容される遅延時間（データ毎の最大遅延可能時間）から、現在までに多重化バッファ内でそのデータが留まっていた時間（現在までのバッファにおける遅延時間）を引いたものが、そのメディアデータの多重化までに残された時間となる。
この残された時間が小さいメディアデータほど優先的に多重する必要がある。
【００３２】
多重化制御手段３では、このメディアデータ毎に残された時間を計算し、これを遅延時間変数ｘとおき、この遅延時間変数ｘを用いて多重化の際のメディアデータの選択を行う。遅延時間変数ｘは式（１）の通りである。
0004074019.tif 000002
【００３３】
遅延時間変数ｘは、各メディアデータの多重化処理での残された時間を示すため、メディアデータが多重化バッファ手段１に到着してから徐々に減っていき、この値が０になった時点でそのメディアデータは受信装置にとって不要となる。そのため、値が０となったメディアデータは多重化の必要はなくなり、多重化装置内で廃棄するのが適当である。
データを廃棄しないためにも、遅延時間変数が０に近いものから多重化データとして選択すべきである。
【００３４】
以上のように、多重化制御手段３において、遅延時間変数の小さいメディアデータから多重化にすることによって、各メディアデータの最大遅延可能時間を超えないように多重化を行うことができるという効果がある。
【００３５】
図２は、あるメディアデータの遅延時間変数の時間的経過を示した説明図である。
あるメディアデータが多重化バッファ手段１に到着した時点で、遅延時間変数はそのメディアの最大遅延可能時間を示す。
その後、時間経過と共に遅延時間変数は、経過した時間分だけ値が減じられ、最大遅延可能時間経過後に値は０となる。
【００３６】
遅延時間変数をそのまま多重の優先順位の評価基準とすることで、一意に多重化の優先順位は決定する。しかしながら、遅延時間変数を用いた関数を評価基準にすることで、遅延時間だけでないメディア独特の優先順位付けも考慮することが可能となる。
【００３７】
多重化制御手段３では、遅延時間変数ｘの関数をデータ優先度評価値ｆ（ｘ）とし、多重化の優先度をこのデータ優先度評価値ｆ（ｘ）により決定する。
データ優先度評価値ｆ（ｘ）を与える関数は、基本的に遅延時間変数ｘが０に近づくにつれデータ優先度評価値ｆ（ｘ）の値を小さくするものであり、多重化制御手段３は、データ優先度評価値ｆ（ｘ）が小さいものから優先的に多重を行うものとする。
【００３８】
多重化制御部３は、データ優先度評価値ｆ（ｘ）の小さいものから多重していくことにより、最大遅延可能時間が迫ってきたメディアデータから多重される。これにより、各メディアデータの許容される遅延時間を使い切らないように、多重化が行われる。
【００３９】
以上のように、遅延時間変数ｘを関数としたデータ優先度評価値ｆ（ｘ）を用いて多重制御を行うことにより、各メディアデータの許容遅延時間を超えないような多重化制御が行えるいう効果がある。
【００４０】
また、多重化制御部３では、データ優先度評価値ｆ（ｘ）だけで多重するメディアデータを選択するのではなく、各メディアに依存した情報優先度評価値と併用することでさらに多彩な多重制御が行える。
ここで、情報優先度評価値とは、各メディア（情報源）に固有の多重のための優先度を付与したものである。
【００４１】
例として、情報優先度評価値とデータ優先度評価値の２種類の評価値を使用した多重化制御について示す。
オーディオ、ビデオ、汎用データの３種類のメディアが存在し、汎用データのみ情報優先度評価値による優先度が低いとする。多重化制御部３は、まず、ビデオとオーディオのデータ優先度評価値により優先度の高いメディアデータを多重化データとして選択する。その後もビデオとオーディオでデータ優先度評価値により優先度の高いデータを多重化データとして選択し続け、ビデオ、オーディオとも選択できるデータが多重化バッファ手段の中に存在しない場合に、汎用データを多重化データとして選択する。
これにより、ビデオとオーディオは、常に優先されると共に遅延時間を考慮した多重が行える。
【００４２】
また、逆に、汎用データのみ情報優先度評価値による優先後が高い場合には、まず、汎用データ用の多重化バッファ手段が空になるまで、汎用データが多重化データとして選択され、その後、ビデオとオーディオがデータ優先度評価値により遅延時間を考慮した多重化データの選択が行われる。
これにより、汎用データは常に優先的に多重化され、残った時間をビデオとオーディオで遅延時間を考慮しながら多重化が行われる。
【００４３】
以上のように、情報優先度評価値及びデータ優先度評価値を併用することにより、メディアによる優先度と遅延時間による優先度の２つの優先度を考慮した多重化制御が行えるという効果がある。
【００４４】
次に、データ優先度評価値の関数を決定するための手段を以下に示す。例として、遅延時間変数ｘの１次関数をデータ優先度評価値ｆ（ｘ）とした場合について式（２）に示す。
ｆ（ｘ）＝Ａｘ＋Ｂ                              ・・・（２）
ここで、Ａ，Ｂ：メディア別変数
【００４５】
許容可能な遅延時間を越えたものは、その情報に利用価値がないものとして廃棄されるべきである。そのため、遅延時間変数ｘは負にはならない。
メディアデータの中に廃棄可能なものが存在する場合、それ以外のメディアデータの許容可能な遅延時間を超える前に、廃棄可能なメディアデータを廃棄し、それ以外のメディアデータを多重する割合を増やすことによって、それ以外のメディアデータを許容時間以内に多重化することが可能となる。
そこで、廃棄可能なメディアデータの優先度をある程度以上高くならないようにする。
【００４６】
データ優先度評価値ｆ（ｘ）が式（２）で表される場合、廃棄可能なメディアの優先度をある程度以上高くしないためには、データ優先度評価値の値がある程度以上小さくならなければよい。
式（２）の変数Ｂに正数を設定することで、データ優先度評価値ｆ（ｘ）は常にＢ（＞０）以上となり、そのメディアの優先度が最高（データ優先度評価値＝０）となることはない。
【００４７】
他のメディアデータのデータ優先度評価値ｆ（ｘ）が常にＢ以下の場合、つまり多重化のために許容されている遅延時間の残りが少ない場合、廃棄可能なメディアは送信されず廃棄される。一方、他のメディアデータの許容される遅延時間の残りが多いとき、データ優先度評価値はＢを超えているため、廃棄可能なメディアは多重化され送信される。
つまり、式（２）の変数Ｂは、メディア別のデータ廃棄可能な度合いを表す係数、すなわちゼロもしくは正数で、０は廃棄不可を示し、値が大きくなるにつれて、データ廃棄の可能性が高くなる。
【００４８】
以上のように、廃棄可能なデータの優先度を定められた値以上高くならないようにすることによって、他のデータの廃棄の可能性が減るような多重化制御、すなわちデータ優先度評価値が小さいデータより優先的に多重伝送が行えるという効果がある。
【００４９】
ところで、従来例では、情報発生量を多重化バッファのバッファ蓄積量で行っている。蓄積量が多い場合には情報発生量を減らし、蓄積量が少ない場合には情報発生量を増やして、多重化データ全体の出力レートに個々のメディアデータの入力レートとの合計が一致するようにしている。
【００５０】
レート制御を有効に行うためには、レート制御が行えるメディアに対して割り与えられる帯域（レート）を顕著に表すようなバッファ蓄積量の変動が必要である。そのために、レート制御が行えないメディアの優先度を高くして、優先的に多重させ、残った帯域（時間）でレート制御可能なメディアを多重すれば、レート制御可能なメディアに割り与えられるレートと現在の発生レートとの差分が顕著に多重化バッファ手段１の蓄積量に表れる。
【００５１】
ただし、レート制御可能なメディアにも、最大遅延可能時間が設定されるため、その時間を超えることは避けなければならず、そのために遅延時間変数ｘが０に近づいた場合は優先度が最高（データ優先度評価値ｆ（ｘ）＝０）となる必要がある。
【００５２】
よって、情報源で発生するデータ量を制御可能なデータに対しては、通常優先度を低くし、遅延時間が大きくなる、つまり遅延時間変数ｘが０に近づくにつれて優先度が最高になるようにする。
【００５３】
データ優先度評価値ｆ（ｘ）が式（２）で表される場合、レート制御可能なメディアに対しては、遅延時間変数ｘが０の時データ優先度評価値ｆ（ｘ）が０になり、かつ他のメディアより通常はデータ優先度評価値ｆ（ｘ）が大きくなる必要がある。
【００５４】
式（２）の変数Ａの値を大きくすることで、データ優先度評価値ｆ（ｘ）は他のメディアより比較的大きくなり、変数Ｂが０の場合は遅延時間変数ｘが０に近づくにつれてデータ優先度評価値ｆ（ｘ）も０に近づき最高の優先度になりうる。つまり、式（２）の変数Ａは、メディア別の情報発生量の制御可能な、すなわちレート制御が可能な度合いを表す正数で、値が大きくなるにつれて、制御可能な情報量の範囲が広くなる。
【００５５】
以上のように、情報源で発生するデータ量を制御可能なデータに対して、通常優先度を低くし、遅延時間変数ｘが０に近づくにつれて優先度が最高になるようにすることによって、レート制御をダイナミックに行えるという効果がある。
【００５６】
また、遅延時間に制約（制限）のないメディアデータは、いつ多重してもよいため、優先度を最低にして、他のメディアで多重するデータがない場合に、この遅延時間に制約のないメディアデータを多重送信する。
そのため、最大遅延可能時間を考慮したデータ優先度評価値による優先度付けは行わず、情報優先度評価値を用いて、常に優先度を低くする。
【００５７】
以上のように、遅延時間に制約のないメディアは、情報優先度評価値による優先度を最低にすることによって、他のメディアの多重すべきデータがない場合だけ選択多重されるため、他のメディアの送出に制限を加えずに多重化が行えるという効果がある。
【００５８】
一般に、メディアデータは、ある符号化単位で符号化されている。受信装置では符号化データの一部が廃棄されると、その符号化単位全てが復号できなくなる場合がある。
そこで、多重化装置で、遅延時間超過等により廃棄されるメディアデータ、すなわち、最大遅延可能時間を超過したデータと同一の符号化単位であるメディアデータを同時に廃棄することにより、受信装置で復号不可能なデータを受信せずに済み、また、多重化装置では復号不可能なその同一の符号化単位のデータの伝送時間を他のメディアの伝送に使用できる。
【００５９】
以上のように、廃棄するメディアデータと同一の符号化単位のメディアデータも同時に廃棄することによって、受信装置で不要なデータを受信せず、また、多重化装置ではその代わりに他のメディアデータを多重できるため、多重化装置出力の伝送容量を効率的に使用できるという効果がある。
【００６０】
さらに、多重化されるのを待っているメディアデータとその同一符号化単位であるメディアデータ全てを送出するために必要な時間を、そのメディアに割り与えられる可能性のある最大レートとから算出し、その同一符号化単位のメディアデータ全てが各々最大遅延可能時間内に遅れそうもない場合、その同一符号化単位のメディアデータ全てを廃棄する。
【００６１】
以上のように、同一符号化単位のメディアデータを全て最大遅延可能時間内に送信できない状況を認識し、最大遅延可能時間になる前に廃棄することによって、すなわち、各データの符号化単位をすべて送信するために必要な時間が遅延可能時間より大きい場合に、その符号化単位すべてを多重化バッファ手段から廃棄することによって、受信装置で不要なデータを受信せず、また、多重化装置ではその代わりに他のメディアデータを多重できるため、多重化装置出力の伝送容量を効率的に使用できるという効果がある。
【００６２】
また、多重化バッファ手段１内のメディアデータの遅延時間を計測する手段として、符号化単位を検出し、符号化単位の先頭のデータが、多重化バッファ手段１に到着した時にその時刻を記憶し、同一符号化単位の最終データがバッファから出力される時刻までを、それらの同一符号化単位全体の共通の遅延時間として計算する。
このようにすることで、１符号化単位データで１つの時間管理をすればよいので、１バイトずつ時間管理をする必要がなく簡易な装置構成が実現できる。
【００６３】
以上のように、遅延時間を測定する単位を符号化単位とすることにより、時間管理を行うデータ数が減り、簡易に遅延時間を測定できるという効果がある。
【００６４】
次に、多重化バッファ手段１内のメディアデータの遅延時間を計測する別の手段を示す。
多重化バッファ手段は、１バイト毎に書き込み・読み出しが行えると共に、１バイトのデータに対して１ビットのデータの有無を示すフラグを具備する。
各情報源毎に最大情報発生レートのクロックで多重化バッファ手段１にメディアデータを書きこむ。しかし、必ずしも書きこむデータがあるわけではないため、実際受信したデータを書きこんだ時には上記データの有無を示すフラグを「有」にし、受信したデータがない場合にはこのフラグを「無」にする。
【００６５】
多重化バッファ手段１よりデータを読み出す場合には、このフラグが「有」となっているデータのみを読み出す。これにより、有効なデータのみを読み出すことができる。
多重化バッファ手段１には、データを一定レートで書き込みを行っているため、書き込み後まだ読み出しが行われていない部分、つまりバッファ残量（フラグが「無」となっているデータも含む）を計測し、それを書き込みを行ったレート（最大情報発生レート）で除算することにより、先頭のデータの遅延時間を計測することができる。
【００６６】
図３は、多重化バッファ手段１の構造の一例を示した説明図である。
多重化バッファの上部より読み込んだ受信データ（８bit）を入れると共に、1ビットのデータ有無のフラグを設定する。バッファの読み出しはバッファ下部より行い、データ有無フラグが「有」となっているデータのみ有効とする。
この時データの書き込みが行われているバッファ残量によって、最も古い（図では最下部に位置する）データの遅延時間が計算できる。
【００６７】
以上のように、多重化バッファ手段１に１バイトのデータ書き込み領域に対して１ビットのデータ有無のフラグを具備し、常に各情報源の最大情報発生レートでデータの書き込みを行い、実際に受信データがある場合にのみフラグを「有」にすることによって、バッファ残量を書き込みレートで割ることによりデータの遅延時間を容易に計測できるという効果がある。
【００６８】
多重化バッファ手段１内のメディアデータの遅延時間を計測する別の手段を示す。
多重化バッファ手段１には、１バイトのデータを書きこむ領域と、データの書き込みを行った時刻を書きこむ領域が存在する。多重化バッファ手段１は、情報源よりメディアデータを受信したら、1バイトずつ受信データをバッファに書き込みを行うと同時に、書き込みを行った時刻を一緒にバッファへ書き込む。
多重化バッファ手段１よりメディアデータが読み出される時は、読み出されるデータに付随する時刻情報と現在の時刻を比較することによって遅延時間が計算できる。
【００６９】
図４は、多重化バッファ手段１の構造の例を示した説明図である。
多重化バッファの上部より読み込んだ受信データ（８bit）を入れると共に、現在の時刻（つまりデータの書き込み時刻）を書き込む。バッファの読み出しはバッファ下部よりデータ部分のみを読み出す。
この時、バッファからデータを読み出す際に、データの書き込みが行われた時刻を参照し、現在の時刻と比較することで、そのデータのバッファにおける遅延時間が算出できる。
【００７０】
以上のように、多重化バッファ手段１に１バイトのデータ書き込み領域に対して、時刻情報を書き込む領域を具備することによって、データ読み出し時に時刻情報領域を参照し現在の時刻と比較することによってデータの遅延時間を容易に計測できるという効果がある。
【００７１】
さらに、多重化バッファ手段１内のメディアデータの遅延時間を計測する別の手段を示す。
多重化バッファ手段１には、データを書き込む領域と、データＮ（Ｎは整数）バイト毎に時刻情報を書き込む領域が存在する。
多重化バッファ手段１は、情報源よりメディアデータを受信したら、1バイトずつ受信データをバッファに書き込みを行うと同時に、データをＮバイト書き込む度に現在の時刻を時刻情報領域に書き込む。
多重化バッファ手段１よりメディアデータが読み出される時は、読み出されるデータからＮバイト以内に存在する時刻情報と現在の時刻を比較することによって遅延時間が計算できる。
【００７２】
図５は、多重化バッファ手段１の構造の別の例を示した説明図である。
多重化バッファの上部より読み込んだ受信データ（８bit）を入れる。データをＮバイト書き込んだら、現在の時刻（つまりデータの書き込み時刻）を時刻情報領域に書き込む。バッファの読み出しはバッファ下部よりデータ部分のみを読み出す。
この時、バッファからデータを読み出す際に、読み出すデータのＮバイト以内に存在する時刻情報を照し、現在の時刻と比較することで、そのデータのバッファにおける遅延時間が算出できる。
【００７３】
以上のように、多重化バッファ手段１にＮ（Ｎは整数）バイトのデータ書き込み領域に対して、時刻情報を書き込む領域を具備することによって、データ読み出し時に時刻情報領域を参照し現在の時刻と比較することによってデータの遅延時間を容易に計測できるという効果がある。
【００７４】
実施の形態２．
上述した実施の形態１では、多重するデータを選択するための手段についてのものであるが、次に情報源の情報発生量を制御する実施の形態を示す。
図６は、このような場合の多重化装置を示す構成図である。
図において、６は遅延測定手段２ａ〜２ｃにより通知されるデータの遅延時間を基に、多重するメディアデータを選択し多重化手段４に通知し、さらに同遅延時間を基に情報源（図示せず）に対して情報量制御データ２００ａ〜２００ｃを用いて情報発生量の制御を行う多重化制御手段である。図６において、図１と同一の参照番号は図１と同一または同等の要素であるので、詳細説明を省略する。
【００７５】
次に動作について説明する。
メディアデータ１００ａ〜１００ｃは、対応する多重化バッファ手段１ａ〜１ｃに蓄積され多重化されるのを待つ。
遅延測定手段２ａ〜２ｃは、各メディアデータ１００ａ〜１００ｃの多重化バッファ手段１ａ〜１ｃでの遅延時間を検出し、遅延時間を多重化制御手段３に通知する。
【００７６】
多重化制御手段３では、遅延測定手段６ａ〜６ｃで検出した遅延時間をもとに多重するメディアデータを選択し、さらにこの遅延時間を基に、情報源（図示せず）に対して情報量制御データ２００ａ〜２００ｃを用いて情報発生量を制御する。多重化部４では多重化制御手段６の選択したメディアデータを多重化データとして送出する。
【００７７】
多重化制御手段６では、情報量制御データ２００ａ〜２００ｃを用いて、検出した遅延時間が大きい場合には情報発生量を少なくするように、遅延時間が小さい場合には情報発生量を多くするような情報を通知する。
これにより、多重化バッファ手段１で蓄積されているデータの遅延時間が小さい場合、情報発生量を増加することにより、データ遅延時間が増加し、多重化バッファ手段のアンダーフローを避けることができる。逆に多重化バッファ手段１で蓄積されているデータの遅延時間が大きい場合、情報発生量を減少することにより、データ遅延時間が減少し、多重化バッファ手段のオーバーフローを避けることができる。
【００７８】
また、バッファ蓄積量が少なくてもバッファからの出力量が少ないと、バッファにおける遅延時間が増大してしまうが、バッファでの遅延時間を基に情報発生量を決定するためバッファでの遅延時間が大きくなることはなくなる。
【００７９】
ここでの情報発生量の制御とは、純粋に情報源で発生させる情報量を制御する場合と、情報源における量子化ステップ等を制御する場合がある。前者は各メディア単位に情報発生量を所望の値に近づけるために、後者は各メディア間の量子化ステップサイズを共通にしさらに全体の情報発生量を制御するために利用できる。
【００８０】
以上のように、情報源の情報発生量を各多重化バッファ手段１でのメディアデータの遅延時間によって制御するために、多重化バッファ手段のオーバーフローやアンダーフローおよびバッファ内での遅延時間の増大を防ぐことができるという効果がある。
【００８１】
実施の形態３．
以上の実施の形態１、２では、１つの多重化装置について示したものであるが、ここでは多重化装置を多段接続する実施の形態を示す。
図７は、このような場合の多重化装置を示す構成図である。
図７において、７は伝送レートデータ２０１により出力レートを制御しながら、多重制御手段６で選択したメディアデータの蓄積されている多重化バッファ手段１よりデータを読み出し、多重化データ１０１として出力する多重化手段である。なお、図７において、図６と同一の参照番号は図６と同一または同等の要素であるので、詳細説明を省略する。
【００８２】
次に動作について説明する。
メディアデータ１００ａ〜１００ｃは、対応する多重化バッファ手段１ａ〜１ｃに蓄積され多重化されるのを待つ。
遅延測定手段２ａ〜２ｃは、各メディアデータ１００ａ〜１００ｃの多重化バッファ手段１ａ〜１ｃでの遅延時間を検出し、遅延時間を多重化制御手段６に通知する。
【００８３】
多重化制御手段６では、遅延測定手段２ａ〜２ｃで検出した遅延時間を基に多重するメディアデータを選択する。さらに、この遅延時間を基に、情報源（図示せず）に対して情報量制御データ２００ａ〜２００ｃを用いて情報発生量を制御する。多重化部７は、出力レートデータ２０１により出力レートを外部より制御されながら、多重化制御手段３で選択したメディアデータを多重化データとして送出する。
【００８４】
多重化制御手段６では、情報量制御データ２００ａ〜２００ｃを用いて、検出した遅延時間が大きい場合には情報発生量を少なくするように、遅延時間が小さい場合には情報発生量を多くするような情報を通知する。
多重化手段７において、出力レートの制御とは、純粋に多重化手段で発生させる出力レートを制御する場合と、情報源における量子化ステップ等を制御する場合がある。前者は出力レートを所望の値に近づけるために、後者は各メディア間の量子化ステップサイズを共通にしさらに出力レートを制御するために利用できる。
【００８５】
以上のように、出力レートを外部からの制御データにより制御できるようにしたため、多重化装置の出力データを受信する装置が必要とするだけのデータ量を受信することができるという効果がある。
【００８６】
図８は、多重化装置の多段接続の例を示した説明図である。
図８において、９は、図７に示される多重化装置であり、複数段木構造状に多段接続されている。なお、図８において、図７と同一の参照番号は図７と同一または同等の要素であるので、詳細説明を省略する。
【００８７】
次に動作について説明する。
メディアデータ１００ａ〜１００ｄは、情報量制御データ２００ａ〜２００ｄにより出力情報量を制御された状態で、多重化装置９ａ、９ｃに入力される。多重化装置９ａ、９ｃはそれぞれ出力レートデータ２０１ａ、２０１ｃにより出力レートを制御しながら、メディアデータ１００ａ〜１００ｄを多重して、多重化データ１０１ａ、１０１ｃを出力する。
【００８８】
多重化装置９ｅでは、この多重化データ１０１ａ、１０１cを受信データ（メディアデータ）１００ｅ、１００ｆとして扱い、さらにその情報量の制御を行う出力レートデータ２０１ａ、２０１ｃを情報量制御データ２００ｅと扱うことで、多重化装置９ｅは多重化装置９ａ、９ｃの出力を多重する多重化装置となる。そしてこの多重化データ１０１ｅは出力レートデータ２０１ｅにより制御される。
【００８９】
多重化装置９ｅで多重化を行う多重化データの出力情報量は、出力レートデータ２０１ｅにより制御される。この出力レートの制御により、受信データ１００ｅ、１００ｆを受信するバッファが破綻しないように、情報量制御データ２００ｅ、２００ｆを用いて入力レートの制限を行う。
【００９０】
多重化装置９ａ、９ｃでは、情報量制御データ２００ｅ、２００ｆを出力レートデータ２０１ａ、２０１ｃとみなし、多重化データ１０１a、１０１ｃの出力レートを制限する。またこの出力レートに応じて、メディアデータ１００ａ〜１００ｄの入力レートの制限も行う。
【００９１】
このようにすることで、多段に接続された各多重化装置内の受信バッファが破綻することなく多重が行える。
例えば、ディジタル放送などで、ビデオ、オーディオ等を多重して１つの番組を作成し、さらにこれらの番組を複数多重して放送する場合などに、このような多段の多重を用いることができる。
【００９２】
以上のように、多重化装置を木構造状に多段に接続しても、入出力のレート制御を適正に行うことができるようにしたので、多重化を複数回繰り返す場合でも多重化装置内のバッファの破綻をきたすことなく多重化を行うことができるという効果がある。
【００９３】
実施の形態４．
以上の実施の形態１、２、３では、通信プロトコルにおける１つのレイヤの多重化機能の実現について示したものであるが、ここでは複数のレイヤにおける多重化を一度に行う実施の形態を示す。
このような場合の多重化装置を示す構成図は、図１、図６もしくは図７と同様である。
【００９４】
次に動作について説明する。
多重化制御手段は、特定の情報源の中か多重化されるデータを選択する。この場合選択する方法については上記の通り。また、特定の情報源とは、外部から選択されたり、時々刻々と変化するようなものであってもよい。
【００９５】
一般に、下位レイヤにおける多重化制御は、ある一定間隔で多重される対象を変更することがある。例えば時分割多重などでは、複数の多重対象をある時間間隔で切り替えて多重を行っている。
【００９６】
図９は、このような複数レイヤの同時多重化を行う際の多重化のタイミングを示す説明図である。
図９では、このような時分割多重を用いて２つの番組の多重を行う下位レイヤの多重と、ビデオ、オーディオなどのメディア多重を行う上位レイヤの多重を同時に行う例を示す。
【００９７】
２つの番組は、それぞれ複数のメディアからなる。ここでは、番組１はメディアａ，ｂ，ｃ、番組２はメディアｄ，ｅ，ｆからなるものとする。また下位レイヤの多重化の制約により、番組１と番組２はある一定間隔で交互に送信されるものとする。
【００９８】
多重化制御手段は、多重化パターンが番組１を送信する時間であれば、メディアａ、ｂ、ｃの中から、データ優先度評価値などにより多重すべきメディアを選択する。同様に番組２を送信する時間であればメディアｄ，ｅ，ｆの中から多重すべきメディアを選択する。
これにより、２つの番組を一定間隔で交互に送るような多重化機能を実現できる。
【００９９】
以上のように、多重化制御手段で選択するメディアに制限をつけるようにしたため、時分割多重等の機能も実現でき、複数回の多重化を１度に行えるという効果がある。
【０１００】
時分割多重の対象が固定的でない場合、つまり時分割多重の最小多重時間は一定であるが、選択される対象が不定の場合について説明する。
図９において、番組多重パターンは番組１と番組２が交互になっているが、この多重パターンを多重化装置で任意に変更できる場合、多重化装置は送りたい番組を選択して送る。
【０１０１】
番組にはそれぞれ３つのメディアが多重されており、これらのメディアの中（重複可能）で送信可能なデータのデータ優先度評価値を算出する。
３つのデータ単位に番組多重パターンを変更する場合、それぞれの番組に含まれるメディアグループの中で３番目に優先度の高いデータのデータ優先度評価値を検出する。
そして、番組１と２のそれぞれの３番目のデータ優先度評価値を比較し、優先度の高い方を次回の番組多重パターンに選択し、最小時分割多重時間（図では３）が終了するまでその番組内のメディア（重複可能）の中から優先度の高いデータを３つ選択する。
この動作は最小時分割多重時間単位毎に行われ、その都度どの番組を多重するかを選定する。
【０１０２】
以上のように、複数の情報源を複数のグループに分割し、そのグループ内でｎ番目に優先度の高いデータのデータ優先度評価値を各グループ間で比較し、優先度の最も高いグループから、ｎ個のデータを選択送出することにより、グループの効率的な多重化を行うことができるという効果がある。
【０１０３】
【発明の効果】
以上のように、この発明に係る多重化装置よれば、メディア毎にバッファ内に蓄積される遅延時間を考慮して、多重化部の多重制御及び符号化部の情報発生量の制御を行うことができる。
【図面の簡単な説明】
【図１】  この発明の実施の形態１に係る多重化装置を示す構成図である。
【図２】  あるメディアデータの遅延時間変数の時間的経過を示した説明図である。
【図３】  多重化バッファ手段１の構造の一例を示した説明図である。
【図４】  多重化バッファ手段１の構造の他の例を示した説明図である。
【図５】  多重化バッファ手段１の構造のさらに他の例を示した説明図である。
【図６】  この発明の実施の形態２に係る多重化装置を示す構成図である。
【図７】  この発明の実施の形態３に係る多重化装置を示す構成図である。
【図８】  多重化装置の多段接続の例を示した説明図である。
【図９】  この発明の実施の形態４に係るもので、複数レイヤの同時多重化を行う際の多重化のタイミングを示す説明図である。
【図１０】  特開平９−１１６５２０号公報に示された従来の多重化装置を示す構成図である。
【符号の説明】
１ａ，１ｂ，１ｃ  多重化バッファ装置、２ａ，２ｂ，２ｃ  遅延測定手段、３，６  多重化制御手段、４，７  多重化手段、９ａ，９ｃ，９ｅ  多重化装置。
【図１】
0004074019.tif 000003
【図２】
0004074019.tif 000004
【図３】
0004074019.tif 000005
【図４】
0004074019.tif 000006
【図５】
0004074019.tif 000007
【図６】
0004074019.tif 000008
【図７】
0004074019.tif 000009
【図８】
0004074019.tif 000010
【図９】
0004074019.tif 000011
【図１０】
0004074019.tif 000012