(57)【特許請求の範囲】
【請求項１】
複数のストリーミングビデオトラフィックに対応する通信ネットワーク（１０）内の輻輳制御のための方法であって、
進行中のストリーミングビデオトラフィックについて適切な輻輳制御ポリシーを決定し、それを進行中のストリーミングビデオに関連付けるための決定ステップと、
決定した輻輳制御ポリシーを前記進行中のストリーミングビデオトラフィックに適用する適用ステップとを含んでおり、
決定ステップについて、このステップが、
複数の訓練ストリーミングビデオトラフィックから、オフラインで複数の輻輳制御ポリシーを予備決定する学習ステップであって、代表的なビデオコンテンツの集まりの中で１組のパラメータが観察され、強化学習法を使用して学習されて、考慮されるパラメータの収束点の値に基づいて最適なポリシーが予備決定される学習ステップと、
予備決定された輻輳制御ポリシーの中から、前記複数の進行中ストリーミングビデオトラフィックの各トラフィックについてのポリシーを同時にオンラインで選択する推定ステップとを含み、
前記適用ステップが、選択された輻輳制御ポリシーをそれぞれ、前記複数の進行中ストリーミングビデオトラフィックのトラフィックに、オンラインで適用するステップを含むことを特徴とする方法。
【請求項２】
複数のストリーミングビデオトラフィックの通信ネットワーク（１０）内でのインターセプトするステップをさらに含む、請求項１に記載の方法。
【請求項３】
推定ステップが、無線リンク制御（ＲＬＣ）バッファ（１４−１６）占有率、符号化レート、空間分解能、時間分解能を含むパラメータに基づいて行われる、請求項１または２に記載の方法。
【請求項４】
推定ステップが、フレーム毎に行われる、請求項１から３のいずれか一項に記載の方法。
【請求項５】
推定ステップが、画像のグループ毎に行われる、請求項１から３のいずれか一項に記載の方法。
【請求項６】
輻輳制御ポリシーがビデオパケット破棄ポリシーである、請求項１から５のいずれか一項に記載の方法。
【請求項７】
輻輳制御ポリシーがトランスコードポリシーである、請求項１から５のいずれか一項に記載の方法。
【請求項８】
複数のストリーミングビデオトラフィックに対応する通信ネットワーク（１０）内の輻輳制御のためのシステムであって、
進行中のストリーミングビデオについて適切な輻輳制御ポリシーを決定する手段と、
決定した輻輳制御ポリシーを前記進行中のストリーミングビデオに適用する手段とを備えており、
複数の進行中のストリーミングビデオトラフィックについて複数の適切な輻輳制御ポリシーをそれぞれ同時に決定するために、
複数の訓練ストリーミングビデオトラフィックからオフラインで、複数の輻輳制御ポリシーを予備決定するように訓練されたフィルタリング決定モジュール（１３）であって、代表的なビデオコンテンツの集まりの中で１組のパラメータが観察され、強化学習法を使用して学習されて、考慮されるパラメータの収束点の値に基づいて最適なポリシーが予備決定されるフィルタリング決定モジュールと、
予備決定された輻輳制御ポリシーの中からオンラインで、前記複数の進行中のストリーミングビデオトラフィックの各トラフィックについてのポリシーを選択するように構成されたビデオ分類装置（１２）と、
選択された輻輳制御ポリシーをそれぞれ、前記複数の進行中ストリーミングビデオトラフィックのトラフィックにオンラインで適用するための手段と
を備えることを特徴とするシステム。
【請求項９】
請求項８に記載のシステムを備えるコアネットワークノード（１１）。
【請求項１０】
通信ネットワーク（１０）が対応する複数のストリーミングビデオトラフィックをインターセプトするように構成される、請求項９に記載のコアネットワークノード（１１）。
【請求項１１】
コンピュータの処理ユニット上に実装されるコンピュータプログラムであって、請求項１から７のいずれか一項による方法のステップに対応する命令を実行するためのコード部分を含むプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通信ネットワーク上のマルチメディアコンテンツ送信の最適化に関する。
【背景技術】
【０００２】
マルチメディアに対応可能なユーザ機器の急増に起因する有線および無線ネットワーク上のマルチメデイアトラフィックの指数関数的成長に伴い、通信ネットワーク上でのマルチメディアトラフィックの監視は、輻輳回避、およびサービス品質とネットワーク資源の利用との間のトレードオフを見いだすための、疑いなく最も影響力のある解決策である。
【０００３】
実際、待ち行列遅延、パケット損失および新規接続の妨害を引き起こすことにより、ネットワーク輻輳はユーザから見たサービス品質に深刻な影響を及ぼす。
【０００４】
最近のネットワークアプリケーション、特にソーシャルネットワークおよびオンラインコンテンツ共有プラットフォームでは、実時間で処理すべき膨大な量のマルチメディアトラフィックデータを運ぶので、問題はより複雑になる。したがって、通信ネットワーク上のビデオトラフィックの量はさらに増大すると思われ、速度が提供されたとしても、移動通信ネットワークは増加しつつあり、高品質なコンテンツへの需要が急速に増加している。
【０００５】
従来技術のもう１つの問題は、クライアントとサーバとの間のマルチメディアセッションがクライアント（ＨＴＴＰアダプティブストリーミングの場合など）またはサーバ（ＲＴＰの場合など）のどちらかのみにより制御されるということである。したがって、どちらの場合でも、ネットワークはビデオトラフィックを認識せず、ネットワーク内のいかなる輻輳の制御も、進行中のマルチメディアセッションの良好な振る舞いに委ねられている。
【０００６】
ＮＥＳＲＩＮＥ  ＣＨＡＮＧＵＥＬら、「Ｏｎ  ｌｉｎｅ  ｌｅａｒｎｉｎｇ  ｆｏｒ  ＱｏＥ−ｂａｓｅｄ  ｖｉｄｅｏ  ｓｔｒｅａｍｉｎｇ  ｔｏ  ｍｏｂｉｌｅ  ｒｅｃｅｉｖｅｒｓ」、２０１２  ＩＥＥＥＧＬＯＢＥＣＯＭ  ＷＯＲＫＳＨＯＰＳ、２０１２年１２月７日、１３１９−１３２４頁、ＸＰ０５５０６５１００に、複数のストリーミングビデオトラフィックに対応する通信ネットワーク内の輻輳制御のための方法が記載されており、前記方法は、進行中の各ストリーミングビデオについて適切な輻輳制御ポリシーをオンラインで決定するステップを含む。しかし、トラフィック毎のフロー制御のための知られているアルゴリズムがネットワークのレベルで使用されたとしても、ネットワーク内の莫大な数のフローを同時に管理しなければならなくなると、すぐに無力になる。制御システムは解決するには非常に複雑になる。実際、同じアルゴリズムを同時にＮ回実行して同時にＮ個のビデオフローを処理することによって輻輳を回避することは、管理不能なほどに計算が複雑になる。
【０００７】
したがって、ネットワーク上の輻輳制御には、複数の課題が同時に直面している。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】ＮＥＳＲＩＮＥ  ＣＨＡＮＧＵＥＬら、「Ｏｎ  ｌｉｎｅ  ｌｅａｒｎｉｎｇ  ｆｏｒ  ＱｏＥ−ｂａｓｅｄ  ｖｉｄｅｏ  ｓｔｒｅａｍｉｎｇ  ｔｏ  ｍｏｂｉｌｅ  ｒｅｃｅｉｖｅｒｓ」、２０１２  ＩＥＥＥＧＬＯＢＥＣＯＭ  ＷＯＲＫＳＨＯＰＳ、２０１２年１２月７日、１３１９−１３２４頁、ＸＰ０５５０６５１００
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明の１つの目的は、乏しいネットワーク資源を考慮しながらエンドユーザに最高の体感品質を保証できるように、マルチメディアコンテンツ配信のための効率的な方法を提案することである。
【００１０】
本発明のもう１つの目的は、多数のマルチメディアフローに対応することのできる、ネットワーク内の輻輳回避のための拡張性があって扱いやすい方法を提案することである。
【００１１】
本発明のもう１つの目的は、システムの制約のほとんどを考慮しながら複数の制約のあるトラフィック（遅延、帯域幅、無線アクセス、およびジッタ）の配信を最適化することである。
【００１２】
本発明のもう１つの目的は、輻輳制御およびビデオトラフィック配信の最適化のためのネットワークレベルの機構を設計することである。
【００１３】
本発明のもう１つの目的は、無線ネットワーク上のベストエフォート型サービスのためにＴＣＰでの輻輳制御機構の性能を向上させ、計算の複雑性を減少させることである。
【００１４】
本発明のもう１つの目的は、様々なマルチメディアコンテンツを移動通信受信者に効率的にストリーミングするための方法を提案することである。
【課題を解決するための手段】
【００１５】
様々な実施形態が、上記の問題のうち１つまたは複数の影響への対処を目的とする。下記に、様々な実施形態のいくつかの態様について基本的な理解を得るために、実施形態の簡潔な概要を記載する。この概要は、これら様々な実施形態の網羅的な概観ではない。この概要は、不可欠な要素の鍵を特定することも、これら様々な実施形態の範囲を描写することも意図しない。この概要の唯一の目的は、後に議論する、より詳細な説明への準備として簡潔な形でいくつかの概念を表すことである。
【００１６】
複数のストリーミングビデオトラフィックに対応する通信ネットワーク内の輻輳制御のための方法に、様々な実施形態が関係する。前記方法は、進行中のストリーミングビデオトラフィックについて適切な輻輳制御ポリシーを決定するステップを含んでおり、
複数の適切な輻輳制御ポリシーをそれぞれ、複数の進行中ストリーミングビデオトラフィックについて、同時に決定するために、次のステップを含むことを特徴とする：
−  複数の訓練ストリーミングビデオトラフィックから、複数の輻輳制御ポリシーを予備決定する学習ステップであって、代表的なビデオコンテンツの集まりの中で１組のパラメータが観察され、強化学習法を使用して学習されて、考慮されるパラメータの収束点の値に基づいて最適なポリシーが予備決定される、学習ステップ；
−  予備決定された輻輳制御ポリシーの中から、前記複数の進行中のストリーミングビデオトラフィックの各トラフィックについてのポリシーを選択する推定ステップ；
−  選択された輻輳制御ポリシーをそれぞれ、前記複数の進行中ストリーミングビデオトラフィックのトラフィックに同時に適用する適用ステップ。
【００１７】
広範な態様によると、上記の方法は、複数のストリーミングビデオトラフィックの通信ネットワーク内でのインターセプトするステップをさらに含む。
【００１８】
別の広範な態様によると、ビデオカテゴリは、無線リンク制御（ＲＬＣ）バッファ占有率、符号化レート、空間分解能、時間分解能を含むパラメータに基づいて推定される。
【００１９】
別の広範な態様によると、輻輳制御ポリシーは、ビデオパケット破棄ポリシーおよびトランスコードポリシーを含む。
【００２０】
複数のストリーミングビデオトラフィックに対応する通信ネットワーク内の輻輳制御のためのシステムに、様々な実施形態が関係する。前記システムには、次のものが備わる。
−  適切な輻輳制御ポリシーをそれぞれ、複数の訓練ストリーミングビデオトラフィックから推定されたビデオカテゴリに関連付けるように訓練されたフィルタリング決定モジュール、
−  進行中のストリーミングビデオトラフィックのビデオカテゴリを推定するように構成されたビデオ分類装置、
−  進行中のストリーミングビデオトラフィックの推定されたビデオカテゴリに関連する輻輳制御ポリシーを前記進行中のストリーミングビデオトラフィックに適用するための手段。
【００２１】
様々な実施形態が、上記のシステムを備えるコアネットワークノードにさらに関連する。
【００２２】
広範な態様によると、上記のコアネットワークノードは通信ネットワークが対応する複数のストリーミングビデオトラフィックをインターセプトするように構成される。
【００２３】
様々な実施形態が、上記の方法を実行するためのコンピュータプログラム製品にさらに関連する。
【００２４】
様々な実施形態が様々な変更形態および代替形態を許容するが、それの特定の実施形態が図面に例として示されている。ただし、本明細書における特定の実施形態の記載は、様々な実施形態を開示される特定の形態に限定するよう意図するものではないことを理解されたい。
【００２５】
当然のことながら、このような実際の実施形態の開発において、システム関連および事業関連の制約への準拠などの開発者の特有の目標を達成するために、実装に特有な決定を行うべきであろう。当然のことながら、そのような開発努力には時間がかかり得るが、それでも、本開示から利益を得る当業者には通常理解されることであろう。
【００２６】
本発明の目的、利点および他の特徴は、下記の開示および特許請求の範囲によりさらに明確になる。下記の好ましい実施形態の非制限的記載は、添付図面を参照しながら、例示のみを目的とする。
【図面の簡単な説明】
【００２７】
【図１】様々な実施形態を配備するための環境を示す概略図である。
【発明を実施するための形態】
【００２８】
図１を参照すると、通信ネットワーク１０に接続され、それぞれユニキャストセッション４−６に関与する複数のユーザ機器１−３が示されている。
【００２９】
ストリーミングコンテンツは、異なるコンテンツプロバイダソース７−９からユーザ機器１−３にストリーミングされる。これらのリモートコンテンツプロバイダソース７−９は、異なるサービスプラットフォーム（ビデオオンデマンド、ＩＰＴＶ、タイムシフトＴＶ、ＩＰＴＶ、ソーシャルネットワーク、ビデオ共有プラットフォームなど）に所属してもよい。コンテンツプロバイダソース７−９は、ビデオサーバ、ウェブサーバ、ライブビデオプログラムを配布しているオーバーレイノード、またはより一般的に、ネットワーク１０を通じて下流のユーザ機器１−３にコンテンツをストリーミングすることのできるノードであってもよい。
【００３０】
「ユーザ機器」という用語は、本明細書では、リモートコンテンツプロバイダソースとユニキャストストリーミングセッションを確立することのできる任意のユーザデバイスを意味する。そのようなユーザ機器１−３の例には、デスクトップコンピュータ、ラップトップコンピュータ、ノートコンピュータ、タブレット、スマートフォン、携帯電話、または携帯情報端末（ＰＤＡ）がある。
【００３１】
同時に進行する複数のユニキャストストリーミングセッション４−６に起因するネットワーク１０内の輻輳は、ビデオ分類装置１２および訓練されたフィルタリング決定モジュール１３を適用することにより回避される。
【００３２】
ビデオ分類装置１２は、ストリーミングビデオトラフィックのビデオカテゴリを推定するように構成される。フィルタリング決定モジュール１３は、ネットワーク１０内の輻輳を回避するために、それぞれの推定されたビデオカテゴリに適用される最適な輻輳制御ポリシーを決定するよう、オンラインまたはオフラインで訓練される（学習フェーズ）。
【００３３】
輻輳回避のために所与のストリーミングビデオトラフィックに適用される最適ポリシー（ビデオパケットのフィルタリング、選択または破棄のポリシーなど）は、このビデオの推定されたカテゴリと関連付けられ、分類のために考慮されるパラメータの値から推測される。そのようなパラメータの例として、基地局１７内のＲＬＣ（無線リンク制御）バッファ１４−１６の占有率、送信されるフレームの優先度、ユーザの再生マージン、符号化レート、アクティビティレベル、空間分解能、時間分解能、またはその他の、ビデオコンテンツ間の示差的特徴を挙げることができる。
【００３４】
実際には、学習フェーズの間、代表的なビデオコンテンツの集まりの中で１組のパラメータが観察され、強化学習法を使用して学習されて、考慮されるパラメータの収束点の値に基づいて異なるカテゴリのビデオおよび対応する最適なポリシーが取得される。制御の問題は、マルコフ決定過程の枠組みにおさめられる。
【００３５】
代表的なビデオコンテンツの集まりは、異なる特徴（例えば、時間分解能、空間分解能、歪み、符号化レート、制約など）をもつビデオコンテンツ（ニュース、スポーツ、ドキュメンタリなど）を網羅するように、通常の、または意図的に修正されたビデオシーケンスを含んでもよい。
【００３６】
学習フェーズにより、Ｑ行列、または、より一般的にはデータの組の取得が可能になり、このデータの組は、ストリーミングビデオトラフィックのために行う最適なスケジューリング処置を定める。次に、各行列は、学習されたストリーミングビデオトラフィックのカテゴリに従ってラベル付けおよび格納される。
【００３７】
所与のビデオカテゴリに関連する選択的処置をもつ行列が学習されれば、これらの行列はフィルタリング決定モジュール１３により、同じカテゴリに入る他の任意の進行中のストリーミングビデオトラフィックのためにオンラインで使用される。換言すると、進行中のストリーミングビデオトラフィックが、それ以前に学習されたビデオコンテンツと同じカテゴリに属する場合は、進行中のストリーミングビデオトラフィックをスケジューリングするために、以前に学習されたビデオのＱ行列がフィルタリング決定モジュール１３により使用される。
【００３８】
それに応じて、様々なビデオフローを分類し、オンラインのストリーミングビデオトラフィック４−６に適用するために学習される一種のマスクまたはポリシーの組を得るために、学習／訓練のフェーズがオフラインで実行される。よって、学習フェーズの間に得られた最適ポリシーが、ビデオトラフィックのストリーミング中に、推定されたカテゴリに基づいてオンラインで使用される。
【００３９】
一実施形態において、所与のビデオのために学習された最適な輻輳制御ポリシーが、同じカテゴリ内の他のシーケンスにも最適であることを確認するために、意思決定アルゴリズム（つまり、フィルタリング決定モジュール１３）が第１のビデオＶ１で学習され、同じカテゴリＣ１であると考えられる第２のビデオＶ２のために得られた最適な輻輳制御ポリシーについてテストされる。次に、フィルタリング決定モジュール１３がカテゴリＣ３の第３のビデオＶ３で訓練され（学習フェーズ）、第２のビデオＶ２のために得られた最適な輻輳制御ポリシーについてテストされる。
【００４０】
一実施形態で、ビデオコンテンツのカテゴリの粒度はさらに微調整、すなわち、フレームレベル（つまりフレーム毎）、ＧＯＰ（Ｇｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅ）レベル（つまり、ＧＯＰ毎）、ＧＯＰの組のレベル（中間レベル）、またはビデオクリップレベル（粗いレベル、つまりビデオコンテンツ全体）で調整されてもよい。
【００４１】
フィルタリング決定モジュール１３によって事前計算／学習され、所与のビデオカテゴリに関連付けられる処置の組（つまり、輻輳制御ポリシー）は、コアネットワークノード１１で、これと同じカテゴリに入る任意の進行中のストリーミングビデオトラフィックに適用されて、ネットワーク１０の中の輻輳を解決する。
【００４２】
進行中のストリーミングセッション４−６のトラフィックは、コアネットワークノード１１（例えば、プロキシ）によってインターセプトされ、ビデオ分類装置１２に提供される。
【００４３】
ビデオ分類装置１２は、進行中のストリーミングビデオトラフィックが所属するカテゴリを推定する役割を担う。
【００４４】
あるいはまた、ユニキャストされた各ビデオストリームのカテゴリは、コンテンツプロバイダソース７−９により定められ、送信の開始時にフローの中に印されてもよい。
【００４５】
コアネットワークノード１１内のフィルタリング決定モジュール１３は、ビデオ分類装置１２により推定されたビデオカテゴリに関連して進行中の各ストリーミングビデオトラフィックに適用される適切な輻輳制御ポリシーを選択する役割を担う。
【００４６】
さらに、フィルタリング決定モジュール１３は、各ユニキャストストリーミングセッション４−６でのストリーミングビデオトラフィックおよびチャネルの特性の変動を考慮しながら、受信されるビデオの品質を最大化する。
【００４７】
その目的で、ユーザ機器１−３で復号されるフレームの品質は、様々なスケーラビリティレイヤの品質とコンテンツプロバイダソース７−９のＲＬＣ／ＭＡＣレイヤでの待ち行列のレベルとを観察することによってのみ推測される。学習フェーズは、起こり得る各システム状態で行われる最適なフィルタリング処置を見つける役割を担う。最適な処置は最大受信品質につながるべきである。
【００４８】
例えば、フィルタリング決定モジュール１３は、各ビデオプログラムのために送信（または選択的に破棄）するビデオパケットの数を、一定のビデオカテゴリに対応するパラメータ（各リンクのバッファ占有率など）の組に基づいて選択し、受信されるビデオ品質が最大化されるようにする。
【００４９】
さらに、フィルタリング決定モジュール１３がとることのできる措置は、Ｈ２６３、Ｈ２６４／ＡＶＣ、もしくはＭＰＥＧ２／４標準を使って、または、Ｈ２６４  ＳＶＣ（スケーラブルビデオ符号化）の場合にレイヤフィルタリング機構を使って符号化されているビデオソースの場合は、トランスコード措置でもよい。この操作は、受信品質を最大化するために必要である。ビデオ品質は、既存の主観的または客観的測定基準のいずれを使用して測定されてもよい。
【００５０】
したがって、コンテンツプロバイダソース７からユーザ機器１へのユニキャストストリーミングセッション４を通じたビデオプログラムの配信は、次のように行われてもよい。
−  ビデオプログラムｉからフレームパケットを送信する。フレームタイプはｆｉ。
−  プログラムｉのＲＬＣ１４バッファＢｉのバッファ占有率などの考慮するパラメータを測定する。
−  プログラムｉのカテゴリＣｉを推定する。Ｃｉはビデオのコンテンツに依存する。
−  フィルタリング決定モジュール１３によって選択される最適なフィルタリング決定を適用する。この決定は、Ｂｉ、ｆｉおよびＣｉに基づき受信品質を最大化する。
【００５１】
有利には、上記の方法およびシステムの結果、選択／破棄の戦略の計算の複雑さおよび計算時間が大幅に縮小され、輻輳回避のために複数のビデオフローを同時に処理することができる。特に、最も時間のかかるフェーズである強化学習デーズがオフラインで行われることを考えると、オンラインの計算時間は縮小され、配信決定時間は迅速になる。さらに、表現的な量のＣＰＵ時間およびメモリ要件がネットワークノード資源のレベルで獲得され得る。
【００５２】
有利には、ビデオコンテンツ配信のための上記の方法により、ビデオフローの制御、その分類、および基地局１７内のＲＬＣバッファ１４−１６ステータスを使用したネットワーク輻輳の制御が、同時に、複数のユニキャスト接続のために並行して（個別ではなく）可能になる。
【００５３】
有利には、すべてのアクティブなストリーミングビデオトラフィックについて、輻輳制御はコアネットワークノードで行われ、ネットワーク内の各ストリーム経路では行われない。
【図１】
0006019250.tif 000002