(57)【特許請求の範囲】
【請求項１】
ネットワークにおけるビットストリーム転送中のネットワーク資源の動的割当て方法であって、
前記ビットストリームから第１のコンテンツ特徴を抽出して、再調整ポイントおよび観察期間を決定するステップと、
前記観察期間中に、第２のコンテンツ特徴およびトラヒック特徴を前記ビットストリームから抽出するステップと、
割り当てる前記ネットワーク資源を前記再調整ポイントで予測すべく、前記第２のコンテンツ特徴および前記トラヒック特徴を組み合わせるステップと
を含み、
前記第２のコンテンツ特徴および前記トラヒック特徴は、予測ニューラルネットワークにおいて組み合わせられるネットワークにおけるビットストリーム転送中のネットワーク資源の動的割当て方法。
【請求項２】
ネットワークにおけるビットストリーム転送中のネットワーク資源の動的割当て方法であって、
前記ビットストリームから第１のコンテンツ特徴を抽出して、再調整ポイントおよび観察期間を決定するステップと、
前記観察期間中に、第２のコンテンツ特徴およびトラヒック特徴を前記ビットストリームから抽出するステップと、
割り当てる前記ネットワーク資源を前記再調整ポイントで予測すべく、前記第２のコンテンツ特徴および前記トラヒック特徴を組み合わせるステップと、
候補特徴の集合を識別するステップと、
候補特徴の部分集合を前記第２のコンテンツ特徴および前記トラヒック特徴として選択するステップと
を含むネットワークにおけるビットストリーム転送中のネットワーク資源の動的割当て方法。
【請求項３】
前記候補特徴の集合は、トレーニングビットストリームにおいて識別される請求項２に記載の方法。
【請求項４】
前記特徴の部分集合は、逐次順方向選択によって選択される請求項２に記載の方法。
【請求項５】
選択ニューラルネットワークを用いて、前記選択された特徴の部分集合の関連性を評価するステップをさらに含む請求項４に記載の方法。
【請求項６】
前記選択ニューラルネットワークは、一般回帰ニューラルネットワークである請求項５に記載の方法。
【請求項７】
前記特徴の部分集合は、前記ビットストリームを転送する前に静的に選択される請求項２に記載の方法。
【請求項８】
前記特徴の部分集合は、前記ビットストリームが転送されるときに動的に選択される請求項２に記載の方法。
【請求項９】
ネットワークにおけるビットストリーム転送中のネットワーク資源の動的割当て方法であって、
前記ビットストリームから第１のコンテンツ特徴を抽出して、再調整ポイントおよび観察期間を決定するステップと、
前記観察期間中に、第２のコンテンツ特徴およびトラヒック特徴を前記ビットストリームから抽出するステップと、
割り当てる前記ネットワーク資源を前記再調整ポイントで予測すべく、前記第２のコンテンツ特徴および前記トラヒック特徴を組み合わせるステップと、
前記候補特徴の集合に基づいて、トレーニングビットストリームをトラヒッククラスタに分類するステップと、
前記トラヒッククラスタに基づいて、各候補特徴について一貫性測度を決定するステップと、
最も高い前記一貫性測度を有する所定数の候補特徴を前記特徴の部分集合として選択するステップと、
を含むネットワークにおけるビットストリーム転送中のネットワーク資源の動的割当て方法。
【請求項１０】
各候補特徴について平均クラス間距離を決定するステップと、
各候補特徴について平均クラス内距離を決定するステップと、
前記平均クラス間距離を前記平均クラス内距離で除算して、各コンテンツ特徴について前記一貫性測度を決定するステップと、
をさらに含む請求項９に記載の方法。
【請求項１１】
前記選択された特徴の部分集合は、Ｉフレーム空間複雑度、加速ベクトルの平均量、動きベクトルの平均量、および動きベクトルの空間的ばらつきを含む請求項２に記載の方法。
【請求項１２】
前記一貫性測度は、単調的に前記トラヒック特徴に関連するコンテンツ特徴を考慮する請求項９に記載の方法。
【請求項１３】
前記Ｉフレームの各マクロブロックにおけるＡＣ係数の大きさの加重和により、前記Ｉフレーム空間複雑度を推定するステップをさらに含む請求項１１に記載の方法。
【請求項１４】
動きベクトルを隣接するＰフレームから差し引いて、加速ベクトルを形成するステップと、
次式によって前記加速ベクトルの平均量を決定するステップと、
をさらに含み、
【数１】
0003961849.tif 000014
式中の
【数２】
0003961849.tif 000015
は、フレームｋのマクロブロックの順方向動きベクトル（ｉ，ｊ）であり、ＭおよびＮは、マクロブロックに関する前記フレームの次元である請求項１１に記載の方法。
【請求項１５】
前記特徴の部分集合は、逐次順方向選択によって選択され、
前記特徴の部分集合に基づいて、トレーニングビットストリームをトラヒッククラスタに分類するステップと、
前記特徴の部分集合の特徴について一貫性測度を決定するステップと、
最も高い前記一貫性測度を有する部分集合の所定数の特徴を、最終的な特徴の部分集合として選択するステップと、
をさらに含む請求項２に記載の方法。
【請求項１６】
ネットワークにおけるビットストリーム転送中のネットワーク資源の動的割当て方法であって、
前記ビットストリームから第１のコンテンツ特徴を抽出して、再調整ポイントおよび観察期間を決定するステップと、
前記観察期間中に、第２のコンテンツ特徴およびトラヒック特徴を前記ビットストリームから抽出するステップと、
割り当てる前記ネットワーク資源を前記再調整ポイントで予測すべく、前記第２のコンテンツ特徴および前記トラヒック特徴を組み合わせるステップと、
様々な時間間隔についてビットの許容される最大到着率を含むベクトルとして、前記トラヒック特徴を表現するステップと
を含むネットワークにおけるビットストリーム転送中のネットワーク資源の動的割当て方法。
【請求項１７】
前記特徴の部分集合に主成分分析を適用するステップと、
最初のＮ個の主成分を、前記予測ニューラルネットワークに対する入力記述子として提供するステップと
をさらに含む請求項１に記載の方法。
【請求項１８】
前記特徴の部分集合の対の間の相互相関を決定して、前記部分集合のサイズを低減するステップをさらに含む請求項１に記載の方法。
【請求項１９】
複数の候補特徴部分集合を構築するステップと、
各候補特徴部分集合の特徴の実際の値と推定値との間の平均二乗誤差を決定するステップと、
最も低い平均二乗誤差をもたらす最小数の特徴を有する前記候補特徴部分集合を、前記特徴部分集合として選択するステップと、
をさらに含む請求項４に記載の方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、概してネットワーク資源をビットストリームに割り当てる方法およびシステムに関し、特に、マルチメディアビットストリームに対する資源の動的割り当てに関するものである。
【０００２】
【従来の技術】
ネットワークは、通信装置の間でマルチメディアを通信する主な手段である。マルチメディアのコンテンツには、データ、オーディオ、テキスト、イメージ、ビデオ等を含ませることができる。通信装置としては、入出力装置、コンピュータ、端末、マルチメディアワークステーション、ファクシミリ機、プリンタ、サ．ーバ、電話、および個人情報端末が挙げられる。
【０００３】
マルチメディアネットワークは、通常、回線によって互いを接続する、または通信装置に接続するネットワークスイッチを備えている。この回線は、物理的または仮想的なものである場合がある。後者の場合、回線は、発信元アドレスおよび宛先アドレスによって特定される。使用される実際の物理的な回線は、帯域幅等、ネットワークトラヒック、資源の要件および可用性に応じて、経時的に変化する。
【０００４】
マルチメディアは、多くの形態でフォーマット化することが可能であるが、パケットにフォーマット化することが多くなってきている。通信装置の間で送信中のパケットは、パスに沿った後続回線上に利用できる十分な帯域幅が保留されている回線のパスに沿ったスイッチにおけるバッファに一時的に格納することができる。
【０００５】
ネットワーク運用における重要な考慮事項は、アドミッション制御および資源割り当てである。通常、アドミッション制御および資源割り当ては、ビットストリームの伝送中に周期的に行われる継続したプロセスである。アドミッション制御および資源割り当ての決定には、ネットワークトポロジや、スイッチにおけるバッファ空間および回線の容量等の現在利用可能なネットワーク資源、任意のサービス品質コミットメント（ＱｏＳ）、たとえば保証帯域幅、および遅延またはパケット損失確率等の様々な要因を考慮することができる。
【０００６】
アドミッション制御および資源割り当て問題は、可変ビットレート（ＶＢＲ）マルチメディアソースまたは通信装置が、ネットワークにアクセスを求め、データストリーミングのために仮想回線を要求する場合に、複雑である。マルチメディアコンテンツの変化を描写する特徴はしばしば不正確であるため、複雑性が生じる。したがって、将来、ＶＢＲソースによる、帯域幅要件等、ネットワーク資源についての要件が何であるか予測することは困難である。たとえば、ＶＢＲソースの帯域幅要件は通常、時間と共に変化し、帯域幅の変化は通常、特徴付けが困難である。したがって、アドミッション割り当て決定は、ＶＢＲソースによってネットワークに課される要求が正確に情報として反映されないことがあり、その結果、ネットワークパフォーマンスの低下を引き起こす可能性がある。
【０００７】
より具体的には、ネットワーク資源要件を高く見積もりすぎた場合、ネットワークは、容量未満で稼動することになる。あるいは、ネットワーク資源要件を低く見積もりすぎた場合、ネットワークが輻輳することになり、ネットワークを横行するパケットの損失につながる場合がある。たとえば、Roberts "Variable-Bit-Rate Traffic-Control in B-ISDN"（IEEE Comm. Mag., pp. 50-56, Sept. 1991）、 Elwalid他 "Effective Bandwidth of General Markovian Traffic Sources and Admission Control of High Speed Networks"（IEEE/ACM Trans. on Networking, Vol. 1, No. 3, pp. 329-343, 1993）、 Guerin他 "Equivalent Capacity and its Application to Bandwidth Allocation in High-Speed Networks"（IEEE J. Sel. Areas in Comm., Vol. 9, No. 7, pp.968-981, Sept. 1991）を参照されたい。
【０００８】
帯域幅が限られたネットワークにわたるデジタルマルチメディアの伝送は、将来のインターネットおよび無線通信においてますます重要になるであろう。マルチメディアソースおよび受信者の数、各ストリームにより要求される帯域幅、およびネットワーク自体のトポロジ等、絶えず変化し続けるネットワークパラメータに対処することは、難しい問題である。最適な資源割り当ては、大帯域的な戦略、すなわちグローバルネットワーク管理、ならびに個々の接続中のアドミッション制御等、局所的な戦略を動的に考慮すべきである。
【０００９】
個々のビットストリームに対する帯域幅の割り当ておよび管理は一般に、ネットワークスイッチの計算資源を保存するために、ネットワークの「末端」で行われる。オフラインシステムは、事前にストリームの正確な帯域幅特徴を決定することが可能である一方、多くの用途では、オンライン処理が望ましいあるいは遅延および計算要件を低く保つために要求さえされる。さらに、帯域幅決定を行うために用いられる任意の情報は、圧縮されたビットストリーム中で直接利用可能であるべきである。圧縮されたドメイン情報のみを用いて、要求される帯域幅をリアルタイムで正確に推定することのできる資源管理システムを有することが望ましい。
【００１０】
ＶＢＲビデオについての資源再調整
すべてのマルチメディアの中で、ＶＢＲビデオおよびオーディオデータについての資源割り当てを向上することが特に望ましい。これらは、ばらつきのない視覚的および音響的な質により、ますます普及しつつある。ＶＢＲデータの特徴は、根底をなすコンテンツの複雑性ひいては圧縮度に反応して、帯域幅が、短期および長期双方の変化を受けることである。さらに、長期変動は取り扱いがより困難であり、推定された帯域幅をより長い間隔にわたって予測可能であることが望ましい。
【００１１】
上述したように、一定量の帯域幅をＶＢＲストリームに割り当てると、通常、１つまたは複数の結果がもたらされる。すなわち、帯域幅を高くまたは低く割り当て過ぎたことによるネットワーク資源の非効率的な使用、および大きなネットワークバッファの必要および結果としての遅延である。したがって、ＶＢＲソースによって行われる帯域幅要求は、高いネットワーク利用率および低い遅延を得るために、周期的に再調整すべきである。適切な再調整ポイントの決定もまた、問題である。再調整が頻繁すぎる場合、オーバヘッドが増大する。一方、再調整が少ない場合、粗い推定が行われる。
【００１２】
通常、従来の方法は、ビットストリームレベルの統計変化に従って資源を再調整する。Zhang他 "RED-VBR: A new approach to support delay-sensitive VBR video in packet-switched networks,"（NOSSDAV議事録, pp. 258-272 1995）を参照されたい。過去のトラヒックと将来のトラヒックとの間の関係は、Chong他 "Predictive dynamic bandwidth allocation for efficient transport of real-time VBR video over ATM"（IEEE J. Sel. Areas of Comm., Vol. 13, No.1, pp. 12-23, 1995）およびIzquierdo他 "A survey of statistical source models for variable bit-rate compressed video" (Multi-media Systems, Vol. 7, No. 3, pp.199-213, 1999)およびその中の引用に記載される技法において、パラメトリック的にモデリングされる。
【００１３】
コンテンツベースの方法は、長期トラヒック特徴とビデオコンテンツとの間の高い相関によって動機付けられる。Dawood他 "MPEG video modeling based on scene description" (IEEE ICIP議事録、Vol. 2, pp.351-355, 1998)、およびBocheck他 "Content-based VBR traffic modeling and its application to dynamic network resource allocation" (Research Report 48c-98-20, Columbia Univ., 1998)を参照されたい。マルチメディアコンテンツは、帯域幅の割り当てを決定する際の主要な要因であるが、コンテンツだけでは、将来のトラヒックの推測、およびどのくらいの資源が要求されるかについての推定に十分ではないことがある。
【００１４】
帯域幅再調整ポイント
従来技術においては、ＶＢＲコンテンツについての帯域幅再調整ポイントのオンラインでの決定は一般に、３つのカテゴリ、すなわち決定論、トラヒックベース、およびコンテンツベースに分類される。
【００１５】
決定論的な再調整ポイントの設定は、最も単純な方法である。帯域幅要求が、ｎフレームごとに行われる。但し、ｎは、要求オーバヘッドとビットレートの相関との間の経験的に決定される平衡である。トラヒックベースの再調整は、先に交渉された帯域幅要求をストリームが越える場合、または利用がある閾値レベル未満に下がる場合に行われる。トラヒックベースの再調整は、実際の帯域幅をより綿密に追跡するが、ビデオ中の単一の複雑なフレームにより、要求された帯域幅が、ある期間不必要に高いままになることがある。
【００１６】
より「自然な」再調整ポイントは、コンテンツベース、たとえばシーンまたは「ショット」の境界である。ショットは、カメラのシャッタが開いてから閉じる間に、連続シーケンスで得られるすべてのフレームと定義される。ＶＢＲビデオ内のフレームごとに使用されるビットを調べることによって、ビット使用の最も劇的な変化が、新しいセグメントの冒頭で生じることを突き止めることができる。単一セグメント内では、トラヒック特徴は通常比較的一定である。セグメントが、コンテンツ特徴の突然の変化を有する場合、その変化は、再調整を考慮する限り、別のセグメント境界とみなすことができる。
【００１７】
圧縮されたドメインにおけるセグメント境界を見つける多くの方法が知られている。たとえば、Yao他、 "Rapid scene analysis on compressed video" (IEEE Tr. Circuits and Systems for Video Tech., vol. 5, No.6, pp. 533-544, 1995)を参照されたい。この方法は、絶対ピクセル差分の和を表示した相対閾値を使用し、再調整ポイントを高速にオンラインで決定することが可能である。
【００１８】
間隔当たりの帯域幅要求
次のステップは、あまり遅延を導入することなく、どのくらいの資源を各再調整ポイントで要求するかを決定するものである。セグメント境界等の自然の再調整ポイントの場合、先行のトラヒックは、一般に、トラヒックパターンが変化した場合に、どのくらい資源を要求するかの決定を支援することはできない。オンライン処理の要件を念頭に置き、図１に示すように、新しいセグメントの冒頭部分の短い観察に基づいて、セグメント全体のトラヒックを予測することが可能である。
【００１９】
図１においては、ビデオソース１０１が、セグメント境界１０２および観察期間１０３を有する。帯域幅再調整ポイント１０４は、観察期間１０３後に発生する。ビデオ１０１は、資源が１０５において承認される場合、新しく割り当てられた帯域幅を使用して伝送される。観察期間は、再調整に短い遅延を必然的に導入することになる。ビデオは、遅延１１０なしで伝送することができる。この手法を用いると、過度に要求されたトラヒックが時間間隔ｔ１１１中に発生する。ネットワークバッファは、ｔが小さい場合に、このトラヒックを平滑化することが可能である。短い遅延を許容する用途の場合、ビデオ１２０は、ｔ秒の遅延１２１と共に伝送可能であり、したがってビデオトラヒックは、交渉された取り決めの境界内にある。
【００２０】
Bocheck他により記載されるコンテンツベースの予測方法は、トレーニング段階および試験段階を含む。トレーニング段階では、トレーニングビデオのコンテンツ特徴が、少ない数のレベル、たとえば低速モーション、中間モーション、または高速モーションに量子化される。顕著な特徴の可能なあらゆる組み合わせは、典型的なトラヒックパターンが決定されるコンテンツクラスとラベルされる。試験中において、ビデオ中の各セグメントのコンテンツクラスは、同じ特徴を抽出することによって識別され、クラスの典型的なトラヒックパターンは、そのセグメントの予測トラヒックとして使用される。
【００２１】
しかし、Bocheckの方法は、いくつかの潜在的な弱点を有する。第１に、分類を介した特定の予測構造は、限られた数の粗く量子化された特徴の組み込みしか実現することができず、各特徴は、トラヒックに対する適合性によってではなく、等しく重み付けられる。第２に、コンテンツのみをベースとする予測は、異なる符号化アルゴリズムまたはパラメータを用いて生成されたビットストリームには適用不可能なことがある。第３に、観察期間中に利用可能な情報のすべてが、再調整ポイントで使用されるわけではない。
【００２２】
不正確な予測は、割り当て要求の非承認または不十分な資源の要求を引き起こす可能性がある。この結果、サービスの拒絶、パケットの紛失、またはおそらく質の劣化したより低いビットレートへのトランスコーディングが生じうる。
【００２３】
【発明が解決しようとする課題】
したがって、ネットワークを介したマルチメディアコンテンツを転送中に、再調整ポイントにおいてネットワーク資源を動的に割り当てる方法およびシステムを改良する必要性がある。
【００２４】
【課題を解決するための手段】
動的資源割り当ては、マルチメディアビットストリーム、特にビデオデータおよびオーディオデータの伝送において極めて重要である。コンテンツは、ビットストリームの帯域幅要件を制御する主要な要因の１つであるが、コンテンツだけでは、将来のトラヒックパターンの予測、およびどのくらいのネットワーク資源を要求するかの決定に不十分である。本発明は、コンテンツ特徴および利用可能な短期トラヒック特徴の双方を考慮に入れて、資源要件を動的に予測する方法を提供する。
【００２５】
より具体的には、本発明は、ネットワークにおいてビットストリームを転送しながら、ネットワーク資源を動的に割り当てる方法およびシステムを提供する。該方法は、第１のコンテンツ特徴をビットストリームから抽出し、再調整ポイントおよび観察期間を決定する。第２のコンテンツ特徴およびトラヒック特徴が、観察期間中にビットストリームから抽出される。第２のコンテンツ特徴およびトラヒック特徴は、予測ニューラルネットワークにおいて組み合わされ、割り当てるネットワーク資源を再調整ポイントで決定する。ビットストリームは、可変または一定のビットレートを有することができる。抽出する特徴は、逐次順方向選択あるいは一貫性測度のいずれか、またはこれら双方の組み合わせを使用して、トレーニングビットストリームから選択することが可能である。
【００２６】
【発明の実施の形態】
図２に示すように、本発明は、マルチメディアビットストリーム２２０にネットワーク２１０の資源を動的に割り当てる方法およびシステム２００を提供する。ビットストリームは、可変または一定のビットレートを使用することができる。本発明は、マルチメディアストリームのコンテンツ特徴２０１およびトラヒック特徴２０２の双方を使用する。コンテンツ特徴およびトラヒック特徴は、たとえば、セグメントの冒頭における観察期間中、またはマルチメディアのコンテンツ特徴およびトラヒック特徴が大幅に変化する他の時点で、周期的に得ることができる。
【００２７】
図３に示すように、コンテンツ特徴およびトラヒック特徴を使用して、交渉ポイント３０１を決定すると共に、再調整ポイントにおけるマルチメディアについての帯域幅要件３０２を予測する。本方法は、予測の精度を向上させる。本方法は、様々なマルチメディアソースによってなされる寄与を評価するためにも使用することができる。したがって、本方法は、評価に応じて異なるトレードオフ特徴を有する動的割り当てシステムの構築にも使用することが可能である。
【００２８】
短期トラヒックに基づいて長期すなわち将来のトラヒックを予測する問題は、パラメトリックモデリングを介して処理することができるが、コンテンツ特徴を組み込んだ場合に、単純で効率的なパラメトリックモデルを導き出すことは困難である。この理由により、本明細書には、予測タスクを達成するための予測ニューラルネットワークの使用を記載する。
【００２９】
図４に示すように、コンテンツ特徴をマルチメディアビットストリーム２２０から抽出して、セグメント境界２２１および再調整ポイント３０１を決定する。本発明では、Yeo他 "Rapid scene analysis on compressed video"(IEEE Tr. Circuits and Systems for Video Tech., vol. 5, no.6, pp. 533-544, 1995)に記載される「カット」検出法が好ましい。動き、カラー、オーディオ特徴、またはこれらの組み合わせを用いる他のコンテンツ境界検出方法も、マルチメディア２２０を細分化するために使用することができる。
【００３０】
本発明は、コンテンツ境界２２１と再調整ポイント３０１との間の時間を観察期間４０１として使用する。各観察期間４０１中に、さらなるコンテンツ特徴２０１およびトラヒック特徴２０２を抽出する。
【００３１】
観察されたコンテンツ特徴およびトラヒック特徴は、分類されて解析され、選択された特徴および特徴が、予測ニューラルネットワーク４００によって組み合わせられる。予測ニューラルネットワークにおける組み合わせは、０から１の範囲で重み付け可能なことに留意する。たとえば、用途によっては、予測全体が、トラヒック特徴をベースとするように、コンテンツ特徴の重みを０とし、トラヒック特徴の重みを１とすることができるものもある。Kung "Digital Neural Networks" (Prentice Hall, 1993)に記載されるように、逆伝搬法をトレーニング中に適用して、重みを決定することができる。予測ニューラルネットワークは、組み合わせられたコンテンツ特徴およびトラヒック特徴から、再調整ポイント３０１で要求されるネットワーク資源４１０を予測する。
【００３２】
特徴選択
図５は、圧縮されたドメイン中のマルチメディア２２０から抽出することのできる１８個の可能な候補特徴５００の集合を示す。特徴は、コンテンツ特徴（１〜１４）および短期トラヒック特徴（１５〜１８）を含む。トラヒック特徴については、さらに詳細に後述する。
【００３３】
図６に示すように、トレーニングビットストリーム６０１を特徴抽出ユニット２０１〜２０２に与える。特徴抽出ユニットは、候補特徴５００を抽出する。候補特徴５００は、特徴選択プロセス６０２を受け、該プロセス６０２が、予測ニューラルネットワーク４００に入力する特徴の集合６０３を出力する。
【００３４】
逐次順方向選択および一般回帰ニューラルネットワーク
特徴選択６０２は、以下の３つの特徴評価および選択手順のうちの１つに従って行うことができる。
【００３５】
第１の手順では、逐次順方向選択（ＳＦＳ：sequential forward selection）に基づいた非線形ワンパス選択、および一般回帰ニューラルネットワーク（ＧＲＮＮ：general regression neural network）を用いて、トラヒックの予測に関連する特徴部分集合５０１〜５０５を選択する。ＳＦＳおよびＧＲＮＮの原理は、"Feature set search algorithms" (Pattern Recognition and Signal Processing, C. H. Chen, Ed. Sijthoff & Noordhoff, 1978)においてKittlerにより、および"A general regression neural network" (IEEE Trans. Neural Networks, vol.2, no. 6, pp. 568-576, 1991)においてSpechtによりそれぞれ概説されている。これらは、ＳＦＳおよびＧＲＮＮの組み合わせと、ネットワーク資源割り当て文脈における特徴選択についての組み合わせた使用について記載していない。
【００３６】
ＳＦＳ手順は、最良の単一特徴を部分集合５０１の第１の特徴として選択する。次に、その他の候補特徴はそれぞれ、第１の特徴を用いて評価されて、第１の特徴を含む最良の２つの特徴を見つける。これは、所望の数の特徴が選択されるまで繰り返される。ＳＦＳ法は、単一の特徴から関連する部分集合をだんだんと構築することが可能なため、この目的に適している。したがって、特徴部分集合の構築は、多くの可能な部分集合の観察を必要とすることなく行うことができる。
【００３７】
図７ａに示すように、選択ニューラルネットワーク７００は、反復プロセスを必要とすることなく、個々の候補部分集合の関連性を効率的に評価するために使用される。選択ニューラルネットワーク７００のパラメータは、トレーニングの単一パスにおいて直接決定することができる。これにより、関連性について、個々の特徴部分集合を高速に評価することができる。トレーニングは、ビットストリームを転送前にオフラインで（静的に）行ってもよく、またビットストリームが転送されるときに動的に行ってもよい。
【００３８】
特徴部分集合５０１〜５０５の関連性を評価するために、トラヒック特徴の実際の値と推定値との間の平均二乗誤差（ＭＳＥ）を考慮する。好ましい実施形態においては、実際の値および推定値は、Ｄ−ＢＩＮＤトラヒック特徴の主成分（ＰＣＡ）に関して表現される。Ｄ−ＢＩＮＤトラヒック特徴を以下にさらに詳細に述べる。完全な特徴集合Ｆ５００および特徴部分集合Ｆｍ５０１〜５０５のマッピングを考慮する。トレーニングデータは（ｘＦ，ｐ、ｙｐ）で表され、ここでｘＦ，ｐはｐの完全な特徴集合５００のｐ番目の特徴であり、ｙｐは、近似したいグラウンドトルースデータ、すなわち実際のＤＢＩＮＤ―ＰＣＡ値である。各特徴の特徴部分集合から概算データへのマッピングは、
【数３】
0003961849.tif 000002
で表される。ＭＳＥは、次のように表される。
【数４】
0003961849.tif 000003
【００３９】
Ｆｍについての空の部分集合から始めて、補集合、すなわちＦ〜Ｆｍ内の残りの特徴の関連性を個々に評価する。各反復において、新しい特徴が部分集合Ｆｍに追加される。このプロセスの終わりでは、部分集合Ｆｍは、最も低いＭＳＥをもたらす最小数の特徴を含む。
【００４０】
図７ａは、選択ニューラルネットワーク７００によって定義される特徴のマッピングを示す。選択ＧＲＮＮ７００は、第１のレイヤ７０２および第２のレイヤ７０３を含む。図７ａに示すように、選択ニューラルネットワーク７００に対する入力ベクトルｘ７０１は、出力ベクトルｙ７０４をもたらす。本システムの場合、入力ベクトルｘ７０１は、ＳＦＳによって構築された実際の候補特徴部分集合であり、出力ベクトルｙ７０４は、ＤＢＩＮＤ―ＰＣＡ値の推定値である。ＧＲＮＮ７００の第１のレイヤ７０２のユニットは、ガウスカーネルを非線形転送関数として適合する一方、第２のレイヤは、線形加算ユニットΣ７０３を含む。第１のレイヤ７０２のガウスカーネルの中心および幅は、トレーニングデータの決定論的関数として表される。換言すれば、ＧＲＮＮ７００を用いてのマッピングの再構築には、反復的トレーニング手順は必要ない。したがって、この方法は、異なる特徴部分集合の関連性を高速で評価できるようにする。
【００４１】
トレーニングデータセットが与えられると、各サンプルポイントを第１のネットワークレイヤ７０２の単一のガウスカーネルと関連付ける。入力ベクトルｘ７０１は、カーネルの中心として割り当てられる。任意の入力ベクトルについて、ｐ番目の出力は、以下の式によって与えられる。
【数５】
0003961849.tif 000004
式中、σは、ユーザに固有の平滑化パラメータである。ｘの推定される関数値を表すＧＲＮＮ出力７０４は、以下の凸結合によって与えられる。
【数６】
0003961849.tif 000005
式中、係数αｐは、次のように定義される。
【数７】
0003961849.tif 000006
【００４２】
直観的に、ＧＲＮＮ７００は、適合的に決定された係数の集合を使用して、所与のトレーニング出力を線形的に組み合わせることによって補間を行う。
【００４３】
一貫性測度ベースの特徴選択
図７ｂに示す第２の評価手順は、一貫性測度ベースのものである。ここで、コンテンツ特徴２０１およびトラヒック特徴２０２は、上述したようにトレーニングビデオ６０１から抽出される。主成分分析（ＰＣＡ）７１０が、トラヒック特徴２０２に適用される。トラヒック特徴の主成分は、ｋ個のトラヒッククラスタ７１４に分類される（７１２）。分類は、Ｋ平均、期待値最大化、または他の分類方法を介して行うことができる。
【００４４】
各特徴集合についての一貫性測度Ｃが決定される（７１６）。
【数８】
0003961849.tif 000007
コンパクトであると共に、他のクラスから十分に分けられたクラスが望ましい。したがって、良好な特徴は、小さなクラス内距離および大きなクラス間距離を有し、大きな一貫性測度Ｃをもたらす。距離測定は、ユークリッドによることができる。好ましい一貫性測度は、単調的にトラヒックに関連するコンテンツ特徴を考慮する。
【００４５】
最も大きなＣ値を与える特徴部分集合６０３を選択する。重要度が減少する順で、これらの特徴は、Ｉフレーム空間複雑度５０１、加速ベクトルの平均量５０２、動きベクトルの平均量５０３、および動きベクトルの空間的ばらつき５０４を含む。一貫性測度Ｃを増大する場合、他の特徴を使用することもできる。
【００４６】
最初のＩフレーム空間複雑度は、セグメント中の将来のＩフレームについてのピーク帯域幅要件に直接影響すると共に、ＰフレームおよびＢフレームのピーク帯域幅要件に間接的に影響する。空間複雑度は、Ｉフレームの各マクロブロックのＡＣ係数の大きさの加重和を用いて推定することができる。
【００４７】
隣接するＰフレームからの動きベクトルが、「加速」ベクトルから差し引かれる。加速ベクトルの平均量は、本発明の第２のコンテンツ特徴をなす。
【数９】
0003961849.tif 000008
式中の
【数１０】
0003961849.tif 000009
は、フレームｋのマクロブロックについての順方向動きベクトル（ｉ、ｊ）であり、ＭおよびＮは、マクロブロック内のフレームの次元である。高い値の平均量は、ビデオ内の動きが複雑であり、残余フレームがますます複雑になり、したがってより多くのビットが必要になることを示す。
【００４８】
同様に、動きベクトルの平均量は、どのくらいの動き補償が必要であるかの尺度、したがって残余フレームがどのくらい複雑になりそうであるかの指標である。最後に、動きベクトルのｘおよびｙ成分の空間共分散を測定する。
【００４９】
混成ＳＦＳ／ＧＲＮＮおよび一貫性ベースの特徴選択
特徴選択の第３の技法は、図７ｃに示す混成手法を利用する。まず、ＳＦＳ／ＧＲＮＮ手順７３０を用いて、特徴の部分集合を選択する。次に、部分集合が、候補特徴の一貫性測度をベースにして予測ニューラルネットワーク４００について最終的な特徴の部分集合６０３に改良される（７３２）。混成技法は、選択された特徴の数が大きい場合に向上した結果をもたらす。この場合、ＳＦＳ／ＧＲＮＮ手順の近似誤差が、高次元空間により顕著になる。ＳＦＳ／ＧＲＮＮ特徴選択手順における信頼度が、およそ最小ＭＳＥポイント、また最小ＭＳＥポイントを越えて減少するにつれ、一貫性測度をベースとした相補的な追従ステップを採用する。この手法は、トラヒック予測誤差をさらに一層低減することができる。
【００５０】
トラヒック記述子
多くのトラヒック記述子が知られている。その中で、ピークレート、アベレージレート、および平均レートは、単純なものである。しかし、これら記述子は、異なる時間尺度にわたってトラヒックパターンを取り込まない。この問題を克服するため、また図７を参照して上述したように、"D-BIND: An accurate traffic model for providing QoS guarantees to VBR traffic"（IEEE Tr. Networking, vol. 5, no. 2, pp.219-231, 1997）においてKnightly他によって記載されるＤ−ＢＩＮＤ（deterministic bounding interval dependent traffic descriptor）が好ましい。異なる時間尺度にわたりトラヒック特徴を正確に特徴付ける他の記述子も使用することができる。
【００５１】
Ｄ−ＢＩＮＤは、様々な時間間隔について許容される最大の到達率を含むベクトルである。Ｄ−ＢＩＮＤは、最悪の場合にパフォーマンスの保証を提供する。これは、以下のように定義される。
【００５２】
時間τで始まり、長さｔの時間間隔中に到着するビットの累積数は、Ａ[τ、τ＋ｔ]である。経験的エンベロープと呼ばれる、常に最も狭い境界は、以下である。
【数１１】
0003961849.tif 000010
区分的線形境界関数が構築される。
但し、
【数１２】
0003961849.tif 000011
は、ビット到着および間隔対のベクトルである。集合ｔｋが与えられる場合、最も狭い関数は、
【数１３】
0003961849.tif 000012
で示される。
【００５３】
Ｄ−ＢＩＮＤ記述子は、通常、到着率に関して表現される。
【数１４】
0003961849.tif 000013
式中、ｒｋ＝ｑｋ／ｔｋである。この記述子は、アドミッション制御および方針決定での実施に比較的単純でありながら、ビットストリームの短期「バースト性」および長期トラヒック特徴の双方を取り込む。
【００５４】
[ｔ１，．．．，ｔｐ]を固定すると、Ｄ−ＢＩＮＤは、ベクトル[ｒ１，．．．，ｒｐ]によって記述することができる。短期に観察されたトラヒック特徴のｒ１からｒ４５０５（図５）を、本発明の予測ニューラルネットワーク４００に対する入力として使用する。
【００５５】
セグメント全体を記述する場合、Ｄ−ＢＩＮＤの次元は大きくなり、予測の複雑性が増大する。このような増大は、Ｄ−ＢＩＮＤにはいくらかの冗長性があるため、むしろ無駄である。たとえば、値ｒｋが、大きなｋについての平均ビットレートに近づく。
【００５６】
冗長性チェック
予測の複雑性を低減するために、図７ｃに示すように、冗長性チェック７３４の形態の２つの解決策を提供する。
【００５７】
第１の実施形態においては、選択された特徴部分集合に主成分分析（ＰＣＡ）を適用し、最初のＮ個の主成分を、予測ニューラルネットワーク４００に対する入力記述子として使用する。したがって、予測ニューラルネットワーク４００は、Ｎ個の値を動的に予測することが可能である。
【００５８】
第２の実施形態においては、選択された特徴部分集合内の対の間の相互相関を直接決定する。特定の特徴対が高い相関を示す場合、冗長特徴をなくすことによって、部分集合のサイズを低減することができる。
【００５９】
動的資源割り当ての詳細な構造
本方法の詳細な構造を図８に示す。３つの主なブロック、すなわち特徴抽出８０１、特徴選択およびトラヒック分析８０２、およびトラヒック予測８０３がある。太線８０４は、図５〜図７ｃに関して述べたトレーニングおよび特徴選択中に使用されるデータフローを示す。上述したように、トレーニングは、オフラインまたは動的に行うことができる。細線８０５は、動的資源予測中のデータフローを示す。
【００６０】
圧縮されたドメインの処理８０６は、絶対ピクセル差分の和に窓になった相対閾値を使用し、入力マルチメディア２２０の一時的な細分化８１０を行い、再調整ポイント３０１および図４の後続する観察期間４０１を決定する。観察期間中に抽出された特徴は、上述した３つの手順のいずれかを使用して、特徴選択６０２に順方向に渡される。選択された特徴部分集合は予測ニューラルネットワーク４００に渡される。
【００６１】
トラヒック記述子８１２は、抽出されたトラヒック特徴２０２から導出される。記述子は、上述したようにトラヒックパターンを分類するために使用することができる。パターンの次元は、主成分分析によって低減することが可能であり、次元が低減されたトラヒック記述子が、最終的な選択された特徴部分集合６０３と併せて使用される予測ニューラルネットワーク４００に提供され、再調整ポイント３０１において要求されるネットワーク資源４１０を予測する。
【００６２】
動的資源割り当ての効果
本方法を使用するチャネルの利用を既知のビットストリームレベル手法と比較する。また、資源予測に対する短期観察期間のコンテンツ特徴およびトラヒック特徴の寄与を評価する。比較では、１秒当たり３０フレームでケーブルテレビからデジタル化した、約７分の１３１７５フレームビデオを使用する。ビデオは、平均ビットレート２．１Ｍｂｐｓを用いて、固定量子化ステップサイズのＭＰＥＧ−１  ＶＢＲを介して符号化される。
【００６３】
リンク利用率
"RED-VBR: A new approach to support delay-sensitive VBR video in packet-switched networks"（NOSSDAV議事録、pp. 258-272, 1995）においてZhang他により記載されるＲＥＤ−ＶＢＲ方式は、ヒューリスティック再調整方法である。この方法は、Ｄ−ＢＩＮＤに記述されるように、実際の帯域幅が現在の確保分を越える場合、確保された帯域幅をα倍増大し、実際の帯域幅がＫフレームについて確保された資源を下回る状態のままである場合、確保された帯域幅をβ分の一に低減する。平均Ｒ−ＶＢＲ再調整頻度は、α、β、およびＫに依存する。
【００６４】
対照的に、本方法は、コンテンツベースの一時的な細分化８１０から得られるビデオ境界における再調整ポイントを使用する。サンプルビデオでは、１７７セグメントを識別した。帯域幅確保は、本発明の予測ニューラルネットワーク４００からの２つのＤ−ＢＩＮＤ主成分を含む。最初の５０のセグメントからのデータを用いて１００回掃引することにより、予測ニューラルネットワーク４００をトレーニングする。
【００６５】
リンク利用率は、Bocheck他によって記載されるものと同様に、追跡から導出されるシミュレーションによって得られる。上述したサンプルビデオをベースとするが、ランダムな開始ポイントを有する複数のビデオソースは、帯域幅４５Ｍｂｐｓを有するＴ３ラインに多重化される。比較の結果が、図９に示される。
【００６６】
特定された３つのパラメータ集合を用いる場合、ＲＥＤ−ＶＢＲからの再調整要求が、０．８１秒、１．５４秒、および２．２３秒という平均間隔で行われた。対応する利用率は、破線の曲線９０１〜９０３で示される。水平線９０４は、ピーク帯域幅が各セグメントに割り当てられる場合の利用率を示す。上部の実線による曲線９０５は、平均として２．４８秒ごとに一度再調整する本方法による利用率である。本方法は、曲線９０３で示される同様の再調整頻度のＲＥＤ−ＶＢＲ方式よりも１８％優れており、また曲線９０１で示される再調整頻度が３倍のＲＥＤ−ＶＢＲよりも９％優れている。
【００６７】
トラヒック予測の平均二乗誤差（ＭＳＥ）
図１０においては、トラヒック記述子を高く見積もりすぎると、利用率が低下しうる一方で、低く見積もりすぎるとＱｏＳが劣化しうることを念頭に置きながら、４つの異なる戦略下での予測のＭＳＥを比較する。
【００６８】
再調整ポイントに関して、以下を考慮する。
（Ａ）長さの等しい要求間隔を使用する。たとえば、平均セグメント長である７５フレームごとに１つの要求を行う。
（Ｂ）一時的な細分化から得られた観察期間を使用する。
【００６９】
観察期間中に抽出された特徴にすべて基づいた、トラヒック予測についての３つの異なるニューラルネットワーク入力を考慮する。
（Ｉ）４つのコンテンツ特徴のみ、
（ＩＩ）４次元トラヒック特徴のみ、および
（ＩＩＩ）本発明により組み合わせられたコンテンツ特徴およびトラヒック特徴。
【００７０】
図１０は、本発明のニューラルネットワークに対する入力が異なる場合のＭＳＥ値を示す。左側の２つの柱Ａ−ＩＩＩおよびＢ−ＩＩＩを比較すると、Ｂ−ＩＩＩは、はるかに小さなＭＳＥを与えることが見て取れる。これは、コンテンツベースの再調整ポイントが、非コンテンツベースのものよりもはるかに優れていることを意味する。右側の３つの柱を比較すると、短期トラヒックＢ−ＩＩが、コンテンツ特徴のみのＢ−Ｉよりも良好な予測を与えることが分かる。また、組み合わせされたコンテンツ特徴および短期トラヒック特徴Ｂ−ＩＩＩの使用は、短期トラヒック特徴のみのＢ−ＩＩの使用よりも良好なこともわかる。
【００７１】
一定ビットレート資源予測
本方法は、ＣＢＲトランスコーダおよびエンコーダが使用される用途においても使用することができる。ＣＢＲビデオストリームは、上記のように細分化されるが、セグメントの長さは、ＶＢＲビットストリームの場合よりもはるかに長くなりうる。次に、各セグメントが、セグメントの冒頭にある観察期間中に予測された適切な一定のビットレートで伝送される。これにより、ＣＢＲビットストリームの場合の経時にわたる帯域幅の区分的な推定がもたされる。
【００７２】
ネットワーク資源をマルチメディアビットストリームに動的に割り当てる方法を述べた。最適な再調整ポイントを決定するためのコンテンツベースの手法は、非コンテンツベースの方法を越えてネットワークの利用率を改良する。トラヒック予測では、短期トラヒック特徴ならびにコンテンツ特徴を予測ニューラルネットワークに対する入力として使用することは、コンテンツ特徴のみあるいはトラヒック特徴のみを利用するよりもより効率的である。
【００７３】
本発明は、好ましい実施形態の例として記載されたが、他の様々な適合および変更を本発明の趣旨および範囲内で行いうることを理解されたい。したがって、添付の特許請求の範囲の目的は、本発明の真の趣旨および範囲内にあるかかるすべての変形および変更を網羅することである。
【図面の簡単な説明】
【図１】  従来技術によるコンテンツベースのトラヒックモデリング方法のタイミング図である。
【図２】  本発明による動的資源割り当て方法およびシステムのブロック図である。
【図３】  本発明による再調整ポイントにおける帯域幅要求のグラフである。
【図４】  本発明によって使用される予測ニューラルネットワークのブロック図である。
【図５】  図４のニューラルネットワークに対する入力の候補および選択された特徴のブロック図である。
【図６】  本発明による特徴選択方法のブロック図である。
【図７】  選択ニューラルネットワーク７００によって定義される特徴のマッピングである。
【図７ａ】  特徴を選択するための選択ニューラルネットワークのブロック図である。
【図７ｂ】  一貫性測度に従って特徴を選択するプロセスのブロック図である。
【図７ｃ】  混成特徴選択プロセスのブロック図である。
【図８】  本発明による動的資源割り当て方法およびシステムの詳細なブロック図である。
【図９】  ネットワークの利用率を比較したグラフである。
【図１０】  予測平均二乗誤差を比較したグラフである。
【符号の説明】
２００  資源割り当ておよびアドミッション制御、２０１  コンテンツ特徴、２０２  トラヒック特徴、２１０  ネットワーク、２２０  マルチメディア／ビデオ／テキスト／イメージ／オーディオ、３０１  再調整ポイント、４００  予測ニューラルネットワーク、４１０  資源予測、６０１  トレーニングビデオ、６０２  特徴選択、６０３  特徴の部分集合、７１２  トラヒックパターン分類、７１４  トラヒッククラスタ、７１６  一貫性測度、７３４  冗長性チェック、８０１  特徴抽出  統計学的抽出、８０２  特徴選択、８０３  将来の予測、８１０  一時的な細分化、８０６  圧縮されたドメインの処理、８１２  トラヒック記述子の決定。
【図１】
0003961849.tif 000016
【図２】
0003961849.tif 000017
【図３】
0003961849.tif 000018
【図４】
0003961849.tif 000019
【図５】
0003961849.tif 000020
【図６】
0003961849.tif 000021
【図７】
0003961849.tif 000022
【図７ａ】
0003961849.tif 000023
【図７ｂ】
0003961849.tif 000024
【図７ｃ】
0003961849.tif 000025
【図８】
0003961849.tif 000026
【図９】
0003961849.tif 000027
【図１０】
0003961849.tif 000028