(57)【特許請求の範囲】
【請求項１】
複数のメディアデータに対応して設けられ、入力したメディアデータを符号化する複数の符号化手段と、この符号化手段の出力データを多重して出力する複数の多重化手段と、この複数の多重化手段の後段にさらに上記複数の多重化手段からの出力を多重する後段の多重化手段が設けられた多重化システムにおいて、
上記複数の多重化手段からの出力を上記後段の多重化手段で多重した多重化状態を上記後段の多重化手段から通知され、この通知された多重化状態を基に上記メディアデータに対応した各符号化手段の出力レートを調整する制御を行う制御手段を設けたことを特徴とする多重化システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、複数の入力データを多重して出力する複数の多重化手段が前段に並列に設けられると共に、その後段に上記複数の多重化手段からの出力を多重する多重化手段が設けられた多重化システムに関し、特に、ディジタル化されたビデオデータ、オーディオデータ、および汎用データなどのマルチメディアデータを多重化する多重化システムに関するものである。
【０００２】
【従来の技術】
従来の多重化システムとして、例えば、１９９８年１２月号の電子技術の論文「衛星デジタルＴＶ放送の規格とその特徴」に示された従来の多重化システムがある。この多重化装置では、複数の番組符号化装置が、それぞれ、音声、ビデオなどの各種メディアの符号化を行い、予め決められたビットレートで符号化データ列を出力し、次に各番組多重化装置がそれぞれ複数の符号化装置からの符号化データ列を多重し、予め決められたビットレートで番組データ列として出力する。そして、複数の番組多重化装置に後段に設けられたサービス多重化装置が、その複数の番組多重化装置からの番組データ列を多重し、予め決められたビットレートで出力している。
【０００３】
【発明が解決しようとする課題】
しかし、上述の従来の多重化システムでは、各番組多重化装置が予め決められたレートで出力を行っているため、各番組多重化装置は最適な出力レートで出力を行えず、全体として伝送効率のよい多重化を行えない、という問題点があった。
【０００４】
これは、番組やサービスの多重化装置は、通常、入力レートの総和が出力レートよりも大きくなると、出力すべきデータが遅延し、さらには多重化装置内でそれらのデータの廃棄を行う場合もあるので、そのため輻輳状態にならないように予め設定されている。しかし、入力レートを十分に低く抑えておけば輻輳状態は発生しないが、伝送路を有効に使用していないため、効率的な伝送をしていないことになるからである。
【０００５】
この発明は、上記のような問題点を解決するためになされたもので、各多重化手段の出力レートの最適な割り当てを行い、全体として伝送効率のよい多重化を行うことのできる多重化システムを提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記課題を解決するため、本発明では、複数のメディアデータに対応して設けられ、入力したメディアデータを符号化する複数の符号化手段と、この符号化手段の出力データを多重して出力する複数の多重化手段と、この複数の多重化手段の後段にさらに上記複数の多重化手段からの出力を多重する後段の多重化手段が設けられた多重化システムにおいて、上記複数の多重化手段からの出力を上記後段の多重化手段で多重した多重化状態を上記後段の多重化手段から通知され、この通知された多重化状態を基に上記メディアデータに対応した各符号化手段の出力レートを調整する制御を行う制御手段を設けたものである。
【００２５】
【発明の実施の形態】
実施の形態１．
図１は、この発明の多重化システムの実施の形態１の構成を示す構成図である。
図において、１ａ〜１ｆは音声、ビデオなどの各種メディアの符号化を行い、符号化データ列を出力する符号化装置、２ａ，２ｂは複数の入力データ列を多重して１つのデータ列を出力する前段の多重化手段としての多重化装置（以下、「前段多重化装置」という）、２ｃは複数の前段多重化装置２ａ，２ｂからの番組データ列を多重して出力する後段の多重化手段としての多重化装置（以下、「後段多重化装置」という）、３は多重化装置２ａ〜２ｃの多重化動作を制御する制御装置である。
【００２６】
尚、符号化装置１ａ〜１ｆおよび前段および後段多重化装置２ａ〜２ｃは複数であれば何台でもよく、前段および後段多重化装置２ａ〜２ｃは３段以上に構成しても良いことは勿論である。また、前段多重化装置２ａ，２ｂは、上記従来の技術では、複数の符号化装置１ａ〜１ｆからの複数のデータ列を多重して１つの番組データ列にする番組多重化装置に相当し、後段多重化装置２ｃは前段多重化装置２ａ，２ｂからの番組データ列を多重して出力するサービス多重化装置に相当することになる。
【００２７】
次に動作について説明する。
まず符号化装置１ａ〜１ｆは、ビデオや音声、それに付属するデータや独立データ等の各種メディアデータの符号化を行い、データ列を前段多重化装置２ａ，２ｂに送信する。前段多重化装置２ａ，２ｂは、それぞれ受信したデータ列を多重し、後段多重化装置２ｃに出力する。後段多重化装置２ｃは前段多重化装置２ａ，２ｂより受信したデータ列を更にまとめて多重し、出力する。
【００２８】
その際、前段多重化装置２ａ，２ｂおよび後段多重化装置２ｃは、それぞれ、あらかじめ制御装置３から通知された出力レートで多重化を行い、その時の多重化状態、例えば輻輳状態などを制御装置３に通知する。制御装置３は、前段多重化装置２ａ，２ｂおよび後段多重化装置２ｃからの輻輳状態等の多重化状態に基づき、前段多重化装置２ａ，２ｂおよび後段多重化装置２ｃの動作を制御する。
【００２９】
例えば、前段多重化装置２ａが輻輳状態、例えば符号化装置１ａ〜１ｃからの入力レートの和が多重化装置２ａの出力レートを上回っているような場合で、前段多重化装置２ａが符号化装置１ａ〜１ｃからのデータを多重化しきれないような状態のときに、前段多重化装置２ｂが輻輳状態でないときは、制御装置３は、これらの輻輳状態を基に、前段多重化装置２ｂが輻輳状態にならない程度に当該前段多重化装置２ｂの出力レートを下げ、その分のレートを多重化装置２ａの出力レートに加算するように制御を行う。
【００３０】
これにより前段多重化装置２ｂの出力レートは下げられ、その分多重化装置２ａの出力レートが上がるので、後段多重化装置２ｃの入力レートは変化しないが、前段多重化装置２ｂは輻輳状態にならずに、多重化装置２ａの輻輳状態は緩和されることになる。
【００３１】
図２(１)〜（４）は、それぞれ、各多重化装置の入出力のレートの変化を示す説明図である。
上記のように、前段多重化装置２ａが輻輳状態で前段多重化装置２ｂ用の出力レートを前段多重化装置２ａに割り振った場合の例を示す。
【００３２】
図２（１）において、斜線部分は前段多重化装置２ａに入力されるレートの合計を示したものである。予め前段多重化装置２ａに割り当てられた出力レートを点線で示している。つまり、前段多重化装置２ａでは、最初、斜線部分の入力レートの合計は、点線で示す出力レートを下回っていたが、その後入力レートの合計が大きくなり、出力レートを越えた場合の例である。
【００３３】
図２（２）は、同様に前段多重化装置２ｂに入力されるレートの合計を示したものである。前段多重化装置２ｂでは、終始斜線部分の入力レートの合計は、点線で示す出力レートを越えない例である。尚、図２（１），（２）から分かるが、この例では、前段多重化装置２ａ，２ｂの出力レートは、予め同一値に設定されている。
【００３４】
図２（３）は、制御装置３が何も制御を行わない従来技術の場合の後段多重化装置２ｃに入力されるレートの合計を示したものである。つまり、この場合は、図２（１），（２）の出力レートのまま、すなわち前段多重化装置２ａ，２ｂの出力レートは同一値で変更しないので、図２（１）に示すように前段多重化装置２ａでは、入力レートの合計が割り与えられた出力レートを越えるため、当該前段多重化装置２ａでは出力レートを越えた分の入力レートを遅延もしくは廃棄させて、予め与えられた点線で示す出力レートの範囲で出力を行う。そのため、図２（３）の図に示すように多重化装置２ａ用の入力レートは予め与えられた出力レートを越えない範囲で後段多重化装置２ｃに入力される。
【００３５】
図２（４）は、制御装置３が前段多重化装置２ａ，２ｂの出力レートの制御を行なう本実施の形態１の場合の後段多重化装置２ｃに入力されるレートの合計を示したものである。つまり、図２（１）に示すように、前段多重化装置２ａでは入力レートの合計が点線で示す予め割り与えられた出力レートを越えて輻輳状態にある場合は、その輻輳状態の多重化状態が前段多重化装置２ａから制御装置３へ通知されているので、制御装置３がその状況を認識し、同じ後段多重化装置２ｃへ出力している他の前段多重化装置、すなわちこの例では前段多重化装置２ｂを検索して、その前段多重化装置２ａが制御装置３へ通知している多重化状態をチェックし、出力帯域に余裕がある場合には、その前段多重化装置２ｂの出力帯域を減らして、その分を多重化装置２ａの出力帯域として割り当てるようにする。これにより前段多重化装置２ａに入力されるデータを全て出力可能になる。その結果、図２（３）と比較すると明らかだが、前段多重化装置２ａの出力レートは、前段多重化装置２ｂの出力レートより、大きく変更されている。
【００３６】
図３は、制御装置３の動作フローを示したものである。
まず、制御装置３は、制御の反映を待つために、一定時間間隔をあけて各前段多重化装置２ａ，２ｂからの入力を待機する（ステップ１００）。そして、制御装置３は、各多重化装置２ａ，２ｂより集めた多重化状態から輻輳状態にある多重化装置を検出し（ステップ２００）、輻輳状態にある多重化装置を検出できない場合は（ステップ２００“Ｎｏ”）、ステップ１００へ戻る一方、輻輳状態にある多重化装置を検出できた場合は（ステップ２００“Ｙｅｓ”）、その輻輳状態にある多重化装置（本実施の形態１では、前段多重化装置２ａ，２ｂとなる）と同一の後段多重化装置（本実施の形態１では、多重化装置は２段で構成しているので、後段多重化装置２ｃとなる）に出力している他の多重化装置（本実施の形態１では、前段多重化装置２ａ，２ｂとなる）を検索して（ステップ３００）、当該他の多重化装置が出力帯域に余裕があるか、すなわち出力レートの帯域全てを使用していないか否かを検出する（ステップ４００）。
【００３７】
ここで、同一の後段多重化装置２ｃに出力している他の前段多重化装置のなかに、出力帯域に余裕のある多重化装置がない場合は（ステップ４００”Ｎｏ”）、制御装置３はなにもせずにステップ１００に戻る一方、出力帯域に余裕のある多重化装置がある場合は（ステップ４００”Ｙｅｓ”）、制御装置３は、その余裕のある他の前段多重化装置の余った帯域から、輻輳回避に必要な帯域分だけ出力レートの割り当てを変更して（ステップ５００）、ステップ１００へ戻るようにする。
【００３８】
尚、後段多重化装置２ｃで輻輳状態が発生した場合、制御装置３は、前段多重化装置２ａ，２ｂに対して出力レートを下げるように指示すれば、後段多重化装置２ｃの輻輳状態を緩和するようにしても良いし、また、当該後願多重化装置２ｃに対し出力レートを上げるように指示して、当該後段多重化装置２ｃの輻輳状態を緩和するようにしても良い。
【００３９】
図４に、各多重化装置２ａ〜２ｃが制御装置３に通知する多重化状態の一例を示す。
つまり、本実施の形態１では、各多重化装置２ａ〜２ｃは、制御装置３に通知する多重化状態として、例えば多重化時の平均多重化遅延時間を用いることができる。ここで、平均多重化遅延時間とは、多重化装置２ａ〜２ｃに入力されたデータが多重化されて出力されるまでの時間を各入力毎に平均した時間である。
【００４０】
図４では、ある多重化装置に入力された入力データAと、入力データBとが多重化され、出力データとして時系列的に多重出力される様子を示したものである。図４においてA1のデータが入力された時刻からA1が出力されるまでの時刻の差であるTA1が、A1データの多重化遅延時間となる。A2，A3，A4の各データについても多重化遅延時間が求められ、それらをある一定期間で平均したものが平均多重化遅延時間となる。また、入力データBについても同様にして平均多重化遅延時間を求めることができる。
【００４１】
ここで、多重化装置が輻輳状態にない場合には、平均多重化遅延時間は０に近づき、すなわちデータは多重化装置に入力後直ちに出力される一方、輻輳状態がひどい場合、平均多重化遅延時間は大きな値を示し、その多重化装置にデータが入力されてから出力されるまでに時間がかかることになる。つまり、この平均多重化遅延時間が輻輳の度合いを示すことになる。
【００４２】
制御装置３は、このようにして各多重化装置２ａ〜２ｃよりこの平均多重化遅延時間の情報を取得することで、最も輻輳状態のひどい多重化装置２ａ〜２ｃを認識し、その出力レートを上げるよう変更することで最も輻輳状態のひどい部分の輻輳を緩和できる。
【００４３】
これは、多重化装置の多重化アルゴリズムによっては、多重する入力データに多重化における優先度を付与して多重化を行うことがあるため、各入力データの多重化遅延は各々異なる。特に、リアルタイム系のビデオやオーディオデータは遅延時間を少なく、その他の汎用データは遅延時間をそれほど小さくする必要がない。また、多重化装置が符号化装置の情報発生量（出力レート）を制御可能な場合、多重化装置では効率的な伝送を行うため、常にある程度データをため込みながら多重を行う。そのために、多重化遅延時間はある程度の値を持つことになる。そこで、輻輳状態を反映しそうな入力データの多重化遅延時間を多重化状態として制御装置３に通知することで、制御装置３は各多重化装置２の正確な輻輳状態を認識できる。このため、本実施の形態１では、上述のように、多重化遅延時間をある期間で平均した平均多重化遅延時間を多重化状態として制御装置３に通知するようにしているが、勿論、平均しない多重化遅延時間、例えば、最も遅延の大きいデータの多重化遅延時間でも良いし、ビデオ等ある特定のデータの多重化遅延時間でもよい。
【００４４】
以上のように、本実施の形態１によれば、ある多重化装置で輻輳状態が発生したとしても、その多重化装置に輻輳状態に無い他の多重化装置の出力レートの一部を割り当てるようにしたので、輻輳状態を緩和することができると共に、効率的な伝送を行うことができる。
【００４５】
また、本実施の形態１によれば、各多重化装置２ａ〜２ｃが制御装置３に対し平均多重化遅延時間を通知することで、制御装置３は最も輻輳状態のひどい個所、すなわち多重化装置を認識することができ、そこの部分から輻輳を緩和する処置を行うことができる。
【００４６】
特に、本実施の形態１において、各多重化装置２ａ〜２ｃが制御装置３に対しビデオデータ等の特定の入力データの多重化遅延時間を通知するようにすれば、制御装置３はその特定の入力データについて最も輻輳状態のひどい多重化装置を認識でき、そこの部分から輻輳を緩和する処置を行うことができる。
【００４７】
実施の形態２．
上記実施の形態１では、制御装置３が前段および後段の多重化装置２ａ〜２ｃのみを制御するようにして説明したが、次に、符号化装置１ａ〜１ｆの制御も同時に行うようにしたことを特徴とする実施の形態２について説明する。
【００４８】
図５は、本実施の形態２の多重化システムの構成を示す構成図である。
図において、１ａ〜１ｆはビデオ、音声などの各種メディアの符号化を行い、符号化データ列を出力する符号化装置、２ａ〜２ｃは複数の入力データ列を多重して１つのデータ列を出力する多重化装置。３は符号化装置１ａ〜１ｆの符号化制御および前段多重化装置２ａ〜２ｃの多重化動作を制御する制御装置である。なお、実施の形態１と同様に、符号化装置および多重化装置は複数であればいくつでもよい。
【００４９】
次に動作について説明する。
まず符号化装置１ａ〜１ｆは、各種メディアデータの符号化を行い、データ列を前段多重化装置２ａ，２ｂに送信する。前段多重化装置２ａ，２ｂはそれぞれ受信したデータ列を多重し、後段多重化装置２ｃに出力する。後段多重化装置２ｃは前段多重化装置２ａ，２ｂより受信したデータ列を多重し、出力する。
【００５０】
その際、符号化装置１ａ〜１ｆは、あらかじめ制御装置３から通知された出力レートで符号化を行うと共に、その時の符号化制御状況、例えば符号化品質などを制御装置３に通知する。また、多重化装置２ａ〜２ｃも、あらかじめ制御装置３から通知された出力レートで多重化を行うと共に、その時の多重化状態、例えば輻輳状態などを上記実施の形態１と同様に制御装置３に通知する。
【００５１】
すると、本実施の形態２の制御装置３では、各多重化装置２ａ〜２ｃの多重化状態だけでなく、符号化装置１ａ〜１ｆの符号化制御状況をも参照して制御する。例えば、前段多重化装置２ａと前段多重化装置２ｂとの間で出力レートの配分を適切に行っても、前段多重化装置２ａ，２ｂが輻輳状態から抜け出せない場合、例えばすべての前段多重化装置２ａ，２ｂが輻輳状態の場合は、後段多重化装置２ｃの出力レートを上げるようにしても良いが、後段多重化装置２ｃの出力レートを上げることが禁止されている場合は、符号化装置１ａ〜１ｆの出力レートを下げることで輻輳状態を回避できる。また、前段多重化装置２ａのみが輻輳状態の場合で、前段多重化装置２ｂがその伝送帯域ぎりぎりなどの場合は、前段多重化装置２ａの前段の符号化装置１ａ〜１ｃのみの出力レートを下げることで、他の前段多重化装置２ｂに影響を与えずに輻輳状態を回避できる。
【００５２】
特に、符号化装置１ａ〜１ｆは、符号化状態として現在符号化を行っているデータの符号化品質を制御装置３に通知するようにしているので、制御装置３は、符号化装置１ａ〜１ｆの出力レートを変更する際に、この符号化品質の情報を基に、符号化品質の低いものに対しては出力レートを増やし、品質の高いものに対しては出力レートを減らす、というように符号化品質が同レベルとなるような最適なレート配分を行うこともできる。このように、符号化装置１ａ〜１ｆの符号化品質情報に基づき出力レートの配分を行うことで、各符号化装置の符号化品質を同レベルとするような制御を行うことができると共に、伝送帯域を有効に利用した効率的な伝送が可能になる。
【００５３】
また、逆に各前段多重化装置２ａ，２ｂで入力総レートが出力レートより低い場合、その前段の符号化装置１ａ〜１ｆの出力レートを上げることにより、伝送路を有効に活用することもできる。
【００５４】
このように、本実施の形態２の制御装置３では、前段や後段の多重化装置２ａ〜２ｃからの多重化状態を基に、符号化装置１ａ〜１ｆや多重化装置２ａ〜２ｃの出力レートの制御を行う。
【００５５】
以上のように、本実施の形態２によれば、前段や後段の多重化装置２ａ〜２ｃの出力レートの変更だけでなく、符号化装置１ａ〜１ｆの出力レート等の制御を行うようにしたので、前段や後段の多重化装置２ａ〜２ｃの出力レートの変更により最適な多重化制御が行えない場合でも、符号化装置１ａ〜１ｆの出力レート等の制御を行うことにより輻輳を避け、伝送効率のよい多重化を行うことができる。
【００５６】
なお、図５中において点線で示した制御信号については、LAN（ローカルエリアネットワーク）等のネットワークを通じてコマンドやメッセージとして伝送する方法や、RS-232C等のシリアル伝送路による装置間の制御信号として伝送する方法が考えられる。
【００５７】
実施の形態３．
上記実施の形態２では、制御装置３が前段および後段の多重化装置２ａ〜２ｃと、符号化装置１ａ〜１ｆを制御するようにしたが、次に、符号化装置１ａ〜１ｆのみの制御を行う実施の形態３について説明する。
【００５８】
図６は、本実施の形態３の多重化システムの構成を示す構成図である。
図において、１ａ〜１ｆは音声、ビデオなどの各種メディアの符号化を行い、符号化データ列を出力する符号化装置、２ａ〜２ｃは複数の入力データ列を多重して１つのデータ列を出力する多重化装置。３は符号化装置１ａ〜１ｆの符号化制御を制御する制御装置である。なお、上記実施の形態１，２と同様に、符号化装置および多重化装置は複数であればいくつでもよい。
【００５９】
次に動作について説明する。
まず符号化装置１ａ〜１ｆは、各種メディアデータの符号化を行い、データ列を前段多重化装置２ａ，２ｂに送信する。前段多重化装置２ａ，２ｂはそれぞれ受信したデータ列を多重し、後段多重化装置２ｃに出力する。後段多重化装置２ｃは、前段多重化装置２ａ，２ｂより受信したデータ列を多重し、出力する。
【００６０】
その際、符号化装置１はあらかじめ制御装置３から通知される出力レートで符号化を行い、その時の符号化制御状況、例えば符号化品質などを制御装置３に通知する。
【００６１】
すると、制御装置３は、各符号化装置１ａ〜１ｆの出力するデータレートの総和が最終段の後段多重化装置２ｃの出力レートとなるように、各符号化装置１ａ〜１ｆに対しそれぞれの出力レートを設定する。
【００６２】
一方、前段多重化装置２ａ，２ｂは制御装置３によって出力レートの制御が行われずに、入力データをそのまま多重して出力データをして出力する。また、最終段の後段多重化装置２ｃは、あらかじめ制御装置３等によって設定された出力レートで多重出力し、その際の多重化状態を制御装置３に通知する。
【００６３】
従って、本実施の形態３によれば、制御装置３は逐次多重化装置２ａ〜２ｃの出力レート制御を行わず、符号化装置１ａ〜１ｆへの制御のみを行うことで、簡易かつ効率のよい多重化制御を行うことができる。
【００６４】
尚、上記実施の形態２と同様に、各符号化装置１ａ〜１ｆは符号化状態として現在符号化を行っているデータの符号化品質などを制御装置３に通知するようにしてもよい。このようにすれば、制御装置３は、この符号化品質の情報を基に、符号化品質の低いものに対しては出力レートを増やし、品質の高いものに対しては出力レートを減らすことによって、符号化品質を同レベルとするような最適なレート配分を行うことができる。このように符号化装置１ａ〜１ｆの符号化品質情報を基に出力レートの配分を行うことにより、各符号化装置１ａ〜１ｆの符号化品質を同レベルになるような制御が可能になる。
【００６５】
また、符号化装置１ａ〜１ｆが制御装置３より通知される出力レートを実現できない場合、最終段の後段多重化装置２ｃで入力総レートと出力レートが一致せず、効率のよい多重伝送が行えなくなる。そのため最終段の後段多重化装置２ｃは、多重化状態を制御装置３に通知し、制御装置３は輻輳状態等を考慮に入れて、各符号化装置１ａ〜１ｆに設定する出力レートを制御するようにしても良い。つまり、例えば、最終段の後段多重化装置２ｃで輻輳状態が発生しているときは、各符号化装置１ａ〜１ｆに設定する出力レートを少しずつ減らし、出力帯域に余りがあるときは出力レートを少しずつ増やすように制御する。このようにすれば、最終段の後段多重化装置２ｃでの多重化状態を基に、制御装置３が各符号化装置１ａ〜１ｆに設定する出力レートを調整することで、各符号化装置１ａ〜１ｆが制御装置３から指示される出力レートに正確に追従できなくても、徐々に所望の出力レートに近づけることができ、効率のよい多重化制御を行うことができることになる。
【００６６】
実施の形態４．
上記実施の形態２，３では、制御装置３が符号化装置１ａ〜１ｆの出力レートの制御を行ったが、次に、前段多重化装置２ａ，２ｂが直接または制御装置３などを介し、符号化装置１ａ〜１ｆの符号化品質や出力レート等を制御を行う実施の形態４について説明する。
【００６７】
図７は、本実施の形態４の多重化システムの構成を示す構成図である。
図において、１ａ〜１ｆは音声、ビデオなどの各種メディアの符号化を行い、符号化データ列を出力する符号化装置、２ａ〜２ｃは複数の入力データ列を多重して１つのデータ列を出力する多重化装置。３は前段多重化装置２ａ〜２ｃの多重化動作を制御する制御装置である。なお、上記実施の形態１〜３と同様、符号化装置および多重化装置は複数であればいくつでもよい。
【００６８】
次に動作について説明する。
まず符号化装置１ａ〜１ｆは、各種メディアデータの符号化を行い、データ列を前段多重化装置２ａ，２ｂに送信する。前段多重化装置２ａ，２ｂはそれぞれ受信したデータ列を多重し、後段多重化装置２ｃに出力する。後段多重化装置２ｃは前段多重化装置２ａ，２ｂより受信したデータ列を多重し、出力する。
【００６９】
その際、符号化装置１ａ〜１ｆは、それぞれ、多重化装置２ａ，２ｂから通知された出力レートで符号化を行い出力する。
【００７０】
一方、多重化装置２ａ，２ｂは、あらかじめ制御装置３から通知される出力レートで多重化を行い、その時の多重化状態、例えば輻輳状態などを制御装置３に通知すると共に、符号化装置１ａ〜１ｆに対して適切な出力レートを通知する。この出力レートは制御装置３から多重化装置２ａ，２ｂへ通知されたものでも、あるいは制御装置３とは関係なしに多重化装置２ａ，２ｂ内で多重化状態に応じて決定したものでもよい。
【００７１】
制御装置３では、前段多重化装置２ａ，２ｂより通知される多重化状態に応じて、最終段である後段多重化装置２ｃの出力レートが所望のレートとなるように、前段多重化装置２ａ，２ｂの出力レートを決定し、それを前段多重化装置２ａ，２ｂに通知して制御する。これに基づき、前段多重化装置２ａ，２ｂは、符号化装置１ａ〜１ｆに対して適切な出力レートを通知して制御するので、各符号化装置１ａ〜１ｆにおいて最終段である後段多重化装置２ｃの出力レートが所望のレートを考慮した適切な出力レートの配分が行うことが可能になる。
【００７２】
以上のように、本実施の形態４によれば、前段多重化装置２ａ，２ｂが直接符号化装置１ａ〜１ｆの符号化品質や出力レート等の制御を行うことにより、全体として効率のよい多重化制御を行うことができる。
【００７３】
尚、上記実施の形態２，３と同様に、各符号化装置１ａ〜１ｆが符号化状態として現在符号化を行っているデータの符号化品質などを制御装置３に通知するようにすれば、制御装置３は、直接に、または前段多重化装置２ａ，２ｂを介して、多重化装置２ａ，２ｂａ，２ｂに対して適切な出力レートの割り振りを指示できることになる。このようにすれば、符号化装置１ａ〜１ｆの符号化品質情報を基に出力レートの配分を行うことになり、各符号化装置の符号化品質を同レベルとするような制御を行うことが可能になる。
【００７４】
また、上記実施の形態２〜４では、符号化装置１ａ〜１ｆの出力レートを制御するように説明したが、本発明では、これに限らず、符号化装置１ａ〜１ｆの符号化品質の制御を行うようにしても勿論良い。具体的には、実施の形態２，３の構成を示す図５，６においては制御装置３が、また実施の形態４の構成を示す図７においては前段多重化装置２ａ，２ｂが、符号化装置１ａ〜１ｆの出力レートの制御を行っているが、この制御の対象を符号化品質に置き換えるのである。つまり、制御装置３が多重化装置の輻輳状態を検出したら、各符号化装置１ａ〜１ｆの符号化品質を下げることで、一般に符号化装置１ａ〜１ｆの出力レートは下がり、輻輳状態を回避できる。逆に、伝送帯域を十分に利用していない場合、各符号化装置１ａ〜１ｆの符号化品質を上げることで、一般に符号化装置の出力レートは上がり、伝送路の利用率が向上する。このように符号化品質によって各符号化装置１ａ〜１ｆを制御することによって、各符号化装置１で出力されるデータの符号化品質を同レベルにすることができる。その結果、符号化装置１ａ〜１ｆの動作を符号化品質によって制御することにより各符号化装置１ａ〜１ｆの出力する符号化品質を同レベルにすることができると共に、伝送帯域を有効に利用した効率的な伝送が可能になる。尚、このことは、次に説明する実施の形態５でも同様である。
【００７５】
実施の形態５．
上記実施の形態１〜４では、最終段の後段多重化装置２ｃの出力レートを既知として制御するようにしたが、次に、この出力レートがネットワークもしくは伝送路と接続されたネットワークインターフェースによって通知されるようにした実施の形態５について説明する。
【００７６】
図８は、本実施の形態５の多重化システムの構成を示す構成図である。
図において、４はネットワークインターフェースであり、ネットワークもしくはデジタル伝送路に接続されているものである。尚、その他の構成は、図１や図５〜図７に示す実施の形態１〜４の構成と同様なので、省略する。
【００７７】
次に動作について説明する。
まず、符号化装置１ａ〜１ｆは、各種メディアデータの符号化を行い、データ列を前段多重化装置２ａ，２ｂに送信する。前段多重化装置２ａ，２ｂはそれぞれ受信したデータ列を多重し、後段多重化装置２ｃに出力する。後段多重化装置２ｃは前段多重化装置２ａ，２ｂより受信したデータ列を多重し、ネットワークインタフェース４に出力する。
【００７８】
ネットワークインタフェース４は、後段多重化装置２ｃから出力されたデータ列を入力して、ネットワークへ出力すると共に、後段多重化装置２ｃの出力レートを制御装置３へ通知する。
【００７９】
制御装置３は、ネットワークインタフェース４より通知された出力レートを後段多重化装置２ｃに通知して制御するとともに、前段多重化装置２ａ，２ｂの出力レートの合計が通知された出力レートとなるように最適な出力レートの分配を行い、前段多重化装置２ａ，２ｂに対し出力レートの設定を行う。これにより、ネットワークや伝送路の状態に応じて出力レートを考慮した各多重化装置２ａ〜２ｃに適切な出力レートの配分が行えることになる。尚、本実施の形態５においても、上記実施の形態４などと同様に、制御装置３等が符号化装置１ａ〜１ｆを制御するようにしても勿論よい。
【００８０】
以上のように、本実施の形態５によれば、ネットワークへの出力レートの制御情報を基に、各多重化装置２ａ〜２ｃや符号化装置１ａ〜１ｆの出力レート等の制御を行うことで、ネットワーク上の伝送レートに対応した最適な多重化制御を行うことができる。
【００８１】
尚、上記実施の形態１〜５の説明では、符号化装置１ａ〜１ｆおよび多重化装置２ａ〜２ｃの出力レートを制御するように説明したが、本発明では、これに限らず、符号化装置１ａ〜１ｆおよび多重化装置２ａ〜２ｃの装置の入力レートを制御するようにしても良いし、符号化装置１ａ〜１ｆの符号化制御方法、例えば、イントラ符号化や、前方向や両方向の符号化方法、さらには量子化ステップを変更するなどの符号化制御方法を変更するようにして、符号化品質や出力レートを変更するようにしても良い。
【００８２】
【発明の効果】
以上説明したように、本発明では、複数のメディアデータに対応して設けられ、入力したメディアデータを符号化する複数の符号化手段と、この符号化手段の出力データを多重して出力する複数の多重化手段と、この複数の多重化手段の後段にさらに上記複数の多重化手段からの出力を多重する後段の多重化手段が設けられた多重化システムにおいて、
上記複数の多重化手段からの出力を上記後段の多重化手段で多重した多重化状態を上記後段の多重化手段から通知され、この通知された多重化状態を基に上記メディアデータに対応した各符号化手段の出力レートを調整する制御を行う制御手段を設けたことを設けるようにしたので、全体として伝送効率のよい多重化を行うことが可能となる。
【００８３】
また、各多重化手段の多重化状態に基づいて、各多重化手段に最適な出力レートを指示して制御するようにしたので、例えば、ある多重化手段で輻輳状態が発生したとしても、その多重化手段に輻輳状態に無い他の多重化手段の出力レートの一部を割り当てることができ、輻輳状態を緩和することができると共に、効率的な伝送を行うことができる。
【図面の簡単な説明】
【図１】  この発明の多重化システムの実施の形態１の構成を示す構成図である。
【図２】  (１)〜（４）、それぞれ、各多重化装置の入出力のレートの変化を示す説明図である。
【図３】  制御装置３の動作フローを示すフローチャートである。
【図４】  前段多重化装置２ａ，２ｂａ〜２ｃが制御装置３に通知する多重化状態の一例を示す説明図である。
【図５】  この発明の多重化システムの実施の形態２の構成示す構成図である。
【図６】  この発明の多重化システムの実施の形態３の構成示す構成図である。
【図７】  この発明の多重化システムの実施の形態４の構成示す構成図である。
【図８】  この発明の多重化システムの実施の形態５の構成示す構成図である。
【符号の説明】
１ａ〜１ｆ  符号化装置（符号化手段）、２ａ，２ｂ  前段多重化装置（前段の多重化手段）、２ｃ  後段多重化装置（後段の多重化手段）、３  制御装置（制御手段）、４  ネットワークインターフェース。
【図１】
0003911960.tif 000002
【図２】
0003911960.tif 000003
【図３】
0003911960.tif 000004
【図４】
0003911960.tif 000005
【図５】
0003911960.tif 000006
【図６】
0003911960.tif 000007
【図７】
0003911960.tif 000008
【図８】
0003911960.tif 000009