(57)【特許請求の範囲】
【請求項１】
スケーラブルビデオ符号化に基づいてビデオ品質変動を制御するための方法であって、
符号化モジュールが、伝送すべきビデオデータにスケーラブルビデオ符号化を行ない、１つの基本層および少なくとも１つの拡張層を生成するステップと、
第１の伝送モジュールが、スケーラブルビデオ符号化後の伝送すべきビデオデータを端末装置に送信するステップと、
分析モジュールが、現在使用されているチャネルによって端末装置に送信されたビデオデータの伝送状態に従って、現在予期されるビットレートを判断するステップとを含み、前記現在予期されるビットレートは、現在使用されているチャネルによって伝送可能な予測される最大データ伝送ビットレートであり、前記方法はさらに、
取得モジュールが、前記現在予期されるビットレートに従って、現在最も高い拡張層を取得するステップを含み、前記現在最も高い拡張層の下のビデオデータを伝送する際にかかる全ビットレートの合計は、前記現在予期されるビットレートより大きくなく、前記方法はさらに、
第２の伝送モジュールが、前記現在最も高い拡張層の下のビデオデータを端末装置に送信するステップを含み、
前記分析モジュールが、現在使用されているチャネルによって伝送すべき前記ビデオデータの伝送状態に従って、現在予期されるビットレートを判断するプロセスは、周期的であり、
現在予期されるビットレートを周期的に判断する前記プロセスは、
第１の取得ユニットが、設定時間内に現在使用されているチャネルによって送信されたデータ量を取得するステップと、
第２の取得ユニットが、前記設定時間内に送信されたデータ量に従って再生時間を取得するステップとを含み、前記再生時間は、前記設定時間内に送信されたビデオデータに従った、端末装置によるビデオ再生の継続時間であり、前記方法はさらに、
第３の取得ユニットが、前記設定時間および前記再生時間に従って、前記現在予期されるビットレートを取得するステップを含む、方法。
【請求項２】
前記第１の取得ユニットが、設定時間内に現在使用されているチャネルによって送信されたデータ量を取得する前記ステップは、
第１のタイミングサブユニットが、送信されたデータ量をカウントし、カウント開始時間を判断するステップと、
第２のタイミングサブユニットが、現在の時間を判断し、カウントサブユニットが、前記設定時間内に送信されたデータ量を取得するステップとを含み、前記設定時間は、前記カウント開始時間から前記現在の時間までの期間であることを特徴とする、請求項１に記載のスケーラブルビデオ符号化に基づいてビデオ品質変動を制御するための方法。
【請求項３】
前記第３の取得ユニットが、前記設定時間および前記再生時間に従って、前記現在予期されるビットレートを取得する前記ステップは、
第１の取得サブユニットが、再生時間に対する設定時間の比率に従って、システム出力値を取得するステップと、
第２の取得サブユニットが、前記システム出力値および現在のデータ伝送ビットレートに従って、前記現在予期されるビットレートを取得するステップとを含むことを特徴とする、請求項１に記載のスケーラブルビデオ符号化に基づいてビデオ品質変動を制御するための方法。
【請求項４】
前記取得された現在予期されるビットレートは、システム出力値と現在のデータ伝送ビットレートとの積であることを特徴とする、請求項３に記載のスケーラブルビデオ符号化に基づいてビデオ品質変動を制御するための方法。
【請求項５】
前記現在最も高い拡張層の下のビデオデータは、前記現在最も高い拡張層と、前記現在最も高い拡張層より低い全ての拡張層と、基本層とに対応するビデオデータの合計を含み、
前記取得モジュールが、前記現在予期されるビットレートに従って、現在最も高い拡張層を取得する前記ステップは、
１）  第１の抽出ユニットが、まだ抽出されたことがない全ての拡張層から、層番号が最も低い拡張層を抽出するステップと、
２）  第４の取得ユニットが、前記基本層と抽出された全ての拡張層とに対応するビデオデータの合計を伝送する際にかかるビットレートの合計を取得するステップと、
３）  検出ユニットが、前記ビットレートの合計が前記現在予期されるビットレートより大きいか否かを検出するステップと、
前記ビットレートの合計が前記現在予期されるビットレートより大きくない場合、前記ビットレートの合計が前記現在予期されるビットレートより大きいことが検出されるまで、ステップ１）〜ステップ３）は周期的に繰返され、さらに、
４）  第２の抽出ユニットが、前記ビットレートの合計が前記現在予期されるビットレートより大きい場合、最後の周期においてまだ抽出されたことがない全ての拡張層から抽出された、層番号が最も低い拡張層が、現在最も高い拡張層として選択されるステップを含むことを特徴とする、請求項１に記載のスケーラブルビデオ符号化に基づいてビデオ品質変動を制御するための方法。
【請求項６】
前記取得モジュールが、前記現在予期されるビットレートに従って、現在最も高い拡張層を取得する前記ステップはさらに、拡張層番号設定モジュールが、まだ抽出されたことがない全ての拡張層のうち層番号が最も低い拡張層の層番号を１として設定するステップを、ステップ１）の前に含むことを特徴とする、請求項５に記載のスケーラブルビデオ符号化に基づいてビデオ品質変動を制御するための方法。
【請求項７】
スケーラブルビデオ符号化に基づいてビデオ品質変動を制御するための装置であって、
伝送すべきビデオデータにスケーラブルビデオ符号化を行ない、１つの基本層および少なくとも１つの拡張層を生成するための符号化モジュールと、
スケーラブルビデオ符号化後の伝送すべきビデオデータを端末装置に送信するための第１の伝送モジュールと、
現在使用されているチャネルによって端末装置に送信されたビデオデータの伝送状態に従って、現在予期されるビットレートを判断するための分析モジュールとを含み、前記現在予期されるビットレートは、現在使用されているチャネルによって伝送可能な予測される最大データ伝送ビットレートであり、前記装置はさらに、
前記現在予期されるビットレートに従って、現在最も高い拡張層を取得するための取得モジュールを含み、前記現在最も高い拡張層の下のビデオデータを伝送する際にかかる全ビットレートの合計は、前記現在予期されるビットレートより大きくなく、前記装置はさらに、
前記現在最も高い拡張層の下のビデオデータを端末装置に送信するための第２の伝送モジュールを含み、
現在使用されているチャネルによって伝送すべき前記ビデオデータの伝送状態に従って、現在予期されるビットレートを分析モジュールによって判断するプロセスは、周期的であり、
前記分析モジュールは、
設定時間内に現在使用されているチャネルによって送信されたデータ量を取得するための第１の取得ユニットと、
前記設定時間内に送信されたデータ量に従って再生時間を取得するための第２の取得ユニットとを含み、前記再生時間は、前記設定時間内に送信されたビデオデータに従った、端末装置によるビデオ再生の継続時間であり、前記分析モジュールはさらに、
前記設定時間および前記再生時間に従って前記現在予期されるビットレートを取得するための第３の取得ユニットを含む、装置。
【請求項８】
前記第１の取得ユニットは、
送信されたデータ量をカウントするプロセスの間、カウント開始時間を判断するための第１のタイミングサブユニットと、
現在の時間を判断するための第２のタイミングサブユニットとを含み、前記設定時間は、前記カウント開始時間から前記現在の時間までの期間であり、前記第１の取得ユニットはさらに、
前記設定時間内に送信されたデータ量を取得するためのカウントサブユニットを含むことを特徴とする、請求項７に記載のスケーラブルビデオ符号化に基づいてビデオ品質変動を制御するための装置。
【請求項９】
前記第３の取得ユニットは、
再生時間に対する設定時間の比率に従ってシステム出力値を取得するための第１の取得サブユニットと、
前記システム出力値および現在のデータ伝送ビットレートに従って、前記現在予期されるビットレートを取得するための第２の取得サブユニットとを含むことを特徴とする、請求項７に記載のスケーラブルビデオ符号化に基づいてビデオ品質変動を制御するための装置。
【請求項１０】
第２の取得サブユニットによって取得された前記現在予期されるビットレートは、システム出力値と現在のデータ伝送ビットレートとの積であることを特徴とする、請求項９に記載のスケーラブルビデオ符号化に基づいてビデオ品質変動を制御するための装置。
【請求項１１】
前記現在最も高い拡張層の下のビデオデータは、前記現在最も高い拡張層と、前記現在最も高い拡張層より低い全ての拡張層と、基本層とに対応するビデオデータの合計を含み、
前記取得モジュールは、
まだ抽出されたことがない全ての拡張層から、層番号が最も低い拡張層を抽出するための第１の抽出ユニットと、
前記基本層と抽出された全ての拡張層とに対応するビデオデータの合計を伝送する際にかかるビットレートの合計を取得するための第４の取得ユニットと、
ビットレートの合計が前記現在予期されるビットレートより大きいか否かを検出するための検出ユニットとを含み、
前記ビットレートの合計が前記現在予期されるビットレートより大きくない場合、前記ビットレートの合計が前記現在予期されるビットレートより大きいことが検出されるまで、第１の抽出ユニット、第４の取得ユニット、および検出ユニットの動作を周期的に繰返し、前記取得モジュールはさらに、
前記ビットレートの合計が前記現在予期されるビットレートより大きい場合、最後の周期においてまだ抽出されたことがない全ての拡張層から抽出された、層番号が最も低い拡張層を、現在最も高い拡張層として選択するための第２の抽出ユニットを含むことを特徴とする、請求項７に記載のスケーラブルビデオ符号化に基づいてビデオ品質変動を制御するための装置。
【請求項１２】
前記取得モジュールはさらに、第１の抽出ユニットに接続された、まだ抽出されたことがない全ての拡張層のうち層番号が最も低い拡張層の層番号を１として設定するための拡張層番号設定モジュールを含むことを特徴とする、請求項１１に記載のスケーラブルビデオ符号化に基づいてビデオ品質変動を制御するための装置。
【発明の詳細な説明】
【技術分野】
【０００１】
発明の分野
この発明はネットワークビデオ伝送の分野に関し、特にスケーラブルビデオ符号化に基づいてビデオ品質変動を制御するための方法および装置に関する。
【背景技術】
【０００２】
発明の背景
ビデオ伝送技術の発展とともに、ネットワーク帯域幅に基づいたビデオ伝送技術が主流となっている。スケーラブルビデオ符号化（Scalable video coding：ＳＶＣ）は、ネットワークビデオ伝送技術のうち、一般的な符号化方法である。
【０００３】
ＳＶＣを採用しているビデオ伝送装置は、ビデオ信号に階層符号化を行なうこと、すなわち、時間、空間、および品質の点でビデオ信号を分割して、（基本層と拡張層とを含む）多層ビットストリームを出力することが可能である。ビデオ再生装置は、基本層を復号することによって基本的なビデオ内容を抽出でき、基本的なビデオ内容は視聴時のユーザ要件およびビデオ再生の最小条件を満たすことができる。しかしながら、基本層のデータのみから得られたビデオ画像は、フレームレート、解像度、および品質がより低い。チャネルが制限されている（ネットワーク帯域幅が小さい）場合、またはチャネル環境が複雑である（データ伝送が不安定である）場合、基本層のみを伝送することは、復号端（ビデオ再生装置）が比較的滑らかなビデオ画像を受信できるということを確実にできる。チャネル環境が良好である（データ伝送が比較的安定している）場合、またはチャネル源が豊富である（ネットワーク帯域幅が大きい）場合、フレームレート、解像度、およびビデオ品質を向上させるために拡張層データを伝送することができる。一方、拡張層が２つ以上ある場合がある。すなわち、チャネル状況（ネットワーク状況）下で伝送可能なビデオ信号の最大伝送ビットレートを上回らない状態でビデオ品質を向上させるよう、それぞれの拡張層を１つずつ基本層に追加することができる。
【０００４】
ＳＶＣを採用しているビデオ伝送装置によるビデオ信号の伝送時、ビデオ品質変動は、ユーザの体験に影響を与える重大要因のうちの１つである。調査によれば、ユーザらは、品質が良かったり悪かったりするビデオ再生よりも、品質がより安定したビデオ再生、すなわち品質があまり変動しないビデオ再生を好む。したがって、ＳＶＣを採用しているネットワークビデオ伝送装置は、ネットワーク帯域幅の具体的な状態に従ってビデオデータの品質を制御する必要がある。ビデオ品質変動を制御するための現在の方法は、データパッケージの遅延フィードバック方法であり、それは、データパッケージの伝送プロセス中に生じた遅延に基づいてビデオ品質を調整することである。既に送信されたデータパッケージの伝送遅延を監視し、これらのデータを受信後、監視されたデータに従って調整を行なうことが必要とされる。ネットワークビデオ伝送装置は、ネットワーク帯域幅に変化が生じた後に１組のデータパッケージを送信するよう要求されており、この１組のデータパッケージの伝送遅延が監視され、その後、この伝送遅延に従った調整が続く。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
この発明を提案する前に、発明者らは、先行技術には少なくとも以下の問題が存在することを見出した。
【０００６】
ビデオ品質変動を制御するための既存の方法は、伝送遅延のフィードバックを待つ必要があるため、より受動的な実現化例を有しており、それは、ネットワーク帯域幅の急変により生じる品質変動に対処するには適していない。加えて、ビデオ品質変動の制御の精度がより低く、このためユーザの体験は良好ではない。
【０００７】
発明の概要
この発明は、ユーザの体験を向上させるよう、帯域幅の急変により生じるビデオ品質変動に対処し、ビデオ品質変動をより精密に制御することができる、スケーラブルビデオ符号化に基づいてビデオ品質変動を制御するための方法および装置を提供する。
【課題を解決するための手段】
【０００８】
上述の目的を達成するために、この発明は以下の技術的解決策を採用している。
一局面では、この発明は、ビデオ品質変動を制御するための方法であって、
伝送すべきビデオデータにスケーラブルビデオ符号化を行ない、１つの基本層および少なくとも１つの拡張層を生成するステップと、
スケーラブルビデオ符号化後の伝送すべきビデオデータを端末装置に送信するステップと、
現在使用されているチャネルによって端末装置に送信されたビデオデータの伝送状態に従って、現在予期されるビットレートを判断するステップとを含み、前記現在予期されるビットレートは、現在使用されているチャネルによって伝送可能な予測される最大データ伝送ビットレートであり、前記方法はさらに、
前記現在予期されるビットレートに従って、現在最も高い拡張層を取得するステップを含み、前記現在最も高い拡張層の下のビデオデータを伝送する際にかかる全ビットレートの合計は、前記現在予期されるビットレートより大きくなく、前記方法はさらに、
前記現在最も高い拡張層の下のビデオデータを端末装置に送信するステップを含む、方法を提供する。
【０００９】
好ましくは、現在使用されているチャネルによって伝送すべき前記ビデオデータの伝送状態に従って、現在予期されるビットレートを判断するプロセスは、周期的であり、
現在予期されるビットレートを周期的に判断するための方法は、
設定時間内に現在使用されているチャネルによって送信されたデータ量を取得するステップと、
前記設定時間内に送信されたデータ量に従って再生時間を取得するステップとを含み、前記再生時間は、前記設定時間内に送信されたビデオデータに従った、端末装置によるビデオ再生の継続時間であり、前記方法はさらに、
前記設定時間および前記再生時間に従って、前記現在予期されるビットレートを取得するステップを含む。
【００１０】
好ましくは、設定時間内に現在使用されているチャネルによって送信されたデータ量を取得する前記ステップは、
送信されたデータ量をカウントし、カウント開始時間を判断するステップと、
現在の時間を判断し、前記設定時間内に送信されたデータ量を取得するステップとを含み、前記設定時間は、前記カウント開始時間から前記現在の時間までの期間である。
【００１１】
好ましくは、設定時間および再生時間に従って、現在予期されるビットレートを取得する前記ステップは、
再生時間に対する設定時間の比率に従って、システム出力値を取得するステップと、
システム出力値および現在のデータ伝送ビットレートに従って、現在予期されるビットレートを取得するステップとを含む。
【００１２】
好ましくは、前記取得された現在予期されるビットレートは、システム出力値と現在のデータ伝送ビットレートとの積である。
【００１３】
好ましくは、前記現在最も高い拡張層の下のビデオデータは、前記現在最も高い拡張層と、前記現在最も高い拡張層より低い全ての拡張層と、基本層とに対応するビデオデータの合計を含む。
【００１４】
前記現在予期されるビットレートに従って、現在最も高い拡張層を取得するための前記方法は、
１）  まだ抽出されたことがない全ての拡張層から、層番号が最も低い拡張層を抽出するステップと、
２）  前記基本層と抽出された全ての拡張層とに対応するビデオデータの合計を伝送する際にかかるビットレートの合計を取得するステップと、
３）  前記ビットレートの合計が前記現在予期されるビットレートより大きいか否かを検出するステップと、
前記ビットレートの合計が前記現在予期されるビットレートより大きくない場合、前記ビットレートの合計が前記現在予期されるビットレートより大きいことが検出されるまで、ステップ１）〜ステップ３）を周期的に繰返すステップと、
４）  前記ビットレートの合計が前記現在予期されるビットレートより大きい場合、最後の周期においてまだ抽出されたことがない全ての拡張層から抽出された、層番号が最も低い拡張層が、現在最も高い拡張層として選択されるステップとを含む。
【００１５】
好ましくは、前記現在予期されるビットレートに従って、現在最も高い拡張層を取得するための方法はさらに、まだ抽出されたことがない全ての拡張層のうち層番号が最も低い拡張層の層番号を１として設定するステップを、ステップ１）の前に含む。
【００１６】
別の局面では、この発明は、ビデオ品質変動を制御するための装置であって、
伝送すべきビデオデータにスケーラブルビデオ符号化を行ない、１つの基本層および少なくとも１つの拡張層を生成するための符号化モジュールと、
スケーラブルビデオ符号化後の伝送すべきビデオデータを端末装置に送信するための第１の伝送モジュールと、
現在使用されているチャネルによって端末装置に送信されたビデオデータの伝送状態に従って、現在予期されるビットレートを判断するための分析モジュールとを含み、前記現在予期されるビットレートは、現在使用されているチャネルによって伝送可能な予測される最大データ伝送ビットレートであり、前記装置はさらに、
前記現在予期されるビットレートに従って、現在最も高い拡張層を取得するための取得モジュールを含み、前記現在最も高い拡張層の下のビデオデータを伝送する際にかかる全ビットレートの合計は、前記現在予期されるビットレートより大きくなく、前記装置はさらに、
前記現在最も高い拡張層の下のビデオデータを端末装置に送信するための第２の伝送モジュールを含む、装置を提供する。
【００１７】
好ましくは、現在使用されているチャネルによって伝送すべき前記ビデオデータの伝送状態に従って、現在予期されるビットレートを分析モジュールによって判断するプロセスは、周期的であり、
前記分析モジュールは、
設定時間内に現在使用されているチャネルによって送信されたデータ量を取得するための第１の取得ユニットと、
前記設定時間内に送信されたデータ量に従って再生時間を取得するための第２の取得ユニットとを含み、前記再生時間は、前記設定時間内に送信されたビデオデータに従った、端末装置によるビデオ再生の継続時間であり、前記分析モジュールはさらに、
前記設定時間および前記再生時間に従って前記現在予期されるビットレートを取得するための第３の取得ユニットを含む。
【００１８】
好ましくは、前記第１の取得ユニットは、
送信されたデータ量をカウントするプロセスの間、カウント開始時間を判断するための第１のタイミングサブユニットと、
現在の時間を判断するための第２のタイミングサブユニットとを含み、前記設定時間は、前記カウント開始時間から前記現在の時間までの期間であり、前記第１の取得ユニットはさらに、
前記設定時間内に送信されたデータ量を取得するためのカウントサブユニットを含む。
【００１９】
好ましくは、前記第３の取得ユニットは、
再生時間に対する設定時間の比率に従ってシステム出力値を取得するための第１の取得サブユニットと、
前記システム出力値および現在のデータ伝送ビットレートに従って、前記現在予期されるビットレートを取得するための第２の取得サブユニットとを含む。
【００２０】
好ましくは、第２の取得サブユニットによって取得された前記現在予期されるビットレートは、システム出力値と現在のデータ伝送ビットレートとの積である。
【００２１】
好ましくは、前記現在最も高い拡張層の下のビデオデータは、前記現在最も高い拡張層と、前記現在最も高い拡張層より低い全ての拡張層と、基本層とに対応するビデオデータの合計を含み、
前記取得モジュールは、
まだ抽出されたことがない全ての拡張層から、層番号が最も低い拡張層を抽出するための第１の抽出ユニットと、
前記基本層と抽出された全ての拡張層とに対応するビデオデータの合計を伝送する際にかかるビットレートの合計を取得するための第４の取得ユニットと、
ビットレートの合計が前記現在予期されるビットレートより大きいか否かを検出するための検出ユニットとを含み、
前記ビットレートの合計が前記現在予期されるビットレートより大きくない場合、前記ビットレートの合計が前記現在予期されるビットレートより大きいことが検出されるまで、第１の抽出ユニット、第４の取得ユニット、および検出ユニットの動作が周期的に繰返され、前記取得モジュールはさらに、
前記ビットレートの合計が前記現在予期されるビットレートより大きい場合、最後の周期においてまだ抽出されたことがない全ての拡張層から抽出された、層番号が最も低い拡張層を、現在最も高い拡張層として選択するための第２の抽出ユニットを含む。
【００２２】
好ましくは、前記取得モジュールはさらに、第１の抽出ユニットに接続された、まだ抽出されたことがない全ての拡張層のうち層番号が最も低い拡張層の層番号を１として設定するための拡張層番号設定モジュールを含む。
【発明の効果】
【００２３】
この発明によって提供される、スケーラブルビデオ符号化に基づいてビデオ品質変動を制御するための方法および装置は、ビデオ品質を具体的に制御するために、ビデオデータを送信するプロセスの間、設定時間の期間内でデータ伝送状態を監視し、現在使用されているチャネルによって伝送可能な最大ビットレートを具体的な監視結果に従って動的に予測し、対応する調整を伝送可能な現在最も高い拡張層に行なうことが可能である。先行技術と比べると、この発明は、チャネル環境の変化を能動的に予想し、ネットワーク帯域幅の変化の具体的な状態に従って伝送されたビデオ品質を精密に調整することができ、ユーザの体験を向上させるよう、帯域幅の急変により生じるビデオ品質変動に対処し、ビデオ品質変動をより精密に制御する。
【００２４】
図面の簡単な説明
この発明の実施例の技術的解決策をより明瞭に例示するために、実施例のために使用される図面についての簡単な紹介を以下に述べる。明らかに、以下に示す図面はこの発明の実施例の一部に過ぎず、当業者であれば、創意工夫をすることなく、これらの図面から他の図面を得ることができるであろう。
【図面の簡単な説明】
【００２５】
【図１】この発明の第１の実施例に従った、スケーラブルビデオ符号化に基づいてビデオ品質変動を制御するための方法のフローチャートである。
【図２】この発明の第２の実施例に従った、スケーラブルビデオ符号化に基づいてビデオ品質変動を制御するための方法のフローチャートである。
【図３】この発明の第２の実施例に従った、スケーラブルビデオ符号化に基づいてビデオ品質変動を制御するための方法の具体例のフローチャートである。
【図４】この発明の第３の実施例に従った、スケーラブルビデオ符号化に基づいてビデオ品質変動を制御するための装置の構造図である。
【図５】この発明の第４の実施例に従った、スケーラブルビデオ符号化に基づいてビデオ品質変動を制御するための装置の構造図である。
【発明を実施するための形態】
【００２６】
実施例の詳細な説明
以下に、この発明の実施例の技術的解決策の明瞭で完全な説明を、この発明の実施例の添付図面を参照して述べる。明らかに、説明される実施例は、この発明の全ての実施例ではなく、実施例の一部に過ぎない。当業者によって創意工夫をすることなく得られるこの発明の実施例に基づいた他の全ての実施例は、この発明の保護の範囲に該当する。
【００２７】
この発明の技術的解決策の利点をより明瞭にするために、この発明の詳細な説明を、図面および実施例を参照して例示する。
【００２８】
第１の実施例
この発明の実施例は、図１に示すような、スケーラブルビデオ符号化に基づいてビデオ品質変動を制御するための方法を提供する。この方法は、以下のステップを含む。
【００２９】
ステップ１０１：伝送すべきビデオデータにスケーラブルビデオ符号化を行ない、１つの基本層および少なくとも１つの拡張層を生成する。
【００３０】
具体的には、この実施例では、スケーラブルビデオ符号化を採用しているビデオ伝送装置は、送信すべきビデオデータにスケーラブルビデオ符号化を行ない、ビデオデータは１つの基本層および少なくとも１つの拡張層へと符号化され得る。ここで、ビデオデータにスケーラブルビデオ符号化を行なう詳細な実現化例は、当業者には周知であり、ここではさらには説明しない。
【００３１】
ステップ１０２：スケーラブルビデオ符号化後の伝送すべきビデオデータを端末装置に送信する。
【００３２】
具体的には、この実施例では、スケーラブルビデオ符号化を採用しているビデオ伝送装置は、スケーラブルビデオ符号化後のビデオデータを端末装置に送信する。ここで、この発明の実施例では、ビデオデータを送信する実現態様は制限されておらず、それは当業者には公知の任意の実現化例であってもよい。
【００３３】
なお、このステップで送信されるビデオデータは必ずしも、ステップ１０１で生成された基本層および全ての拡張層に対応するビデオデータの全てではなく、それらのほんの一部が選択的に送信される。たとえば、基本層に対応するビデオデータのみを送信することができ、または、基本層と一部の拡張層とに対応するビデオデータの合計を送信することもできる。しかしながら、レベルを飛ばすことは許可されていない。言い換えると、基本層は選択されなければならず、また、複数の拡張層を選択する場合、拡張層の数を最初から、低〜高へと連続分布する態様で選択する必要がある。たとえば、３つの拡張層を選択する場合、拡張層１〜拡張層３のみが選択可能である。当業者は、現在使用されているチャネルの状態に従って、選択すべき拡張層の具体的な量を自ら決定できる。
【００３４】
ステップ１０３：現在使用されているチャネルによって端末装置に送信されたビデオデータの伝送状態に従って、現在予期されるビットレートを判断する。
【００３５】
ここで、前記現在予期されるビットレートは、現在使用されているチャネルによって伝送可能な予測される最大データ伝送ビットレートである。
【００３６】
具体的には、この実施例では、スケーラブルビデオ符号化を採用しているビデオ伝送装置は、ＰＩＤ（比例積分微分）自動制御方法を採用することにより、現在使用されているチャネルでのビデオデータの伝送状態に従って、現在使用されているチャネルによって伝送可能な最大データ伝送ビットレートを取得できる。
【００３７】
ステップ１０４：前記現在予期されるビットレートに従って、現在最も高い拡張層を取得する。
【００３８】
ここで、前記現在最も高い拡張層の下のビデオデータ（すなわち、前記現在最も高い拡張層と、その下の拡張層と、基本層とに対応するビデオデータ）を伝送する際にかかる全ビットレートの合計は、前記現在予期されるビットレートより大きくない。
【００３９】
具体的には、この実施例では、スケーラブルビデオ符号化を採用しているビデオ伝送装置が現在最も高い拡張層の下のビデオデータを伝送する際にかかる全ビットレートの合計は、前記現在予期されるビットレートより大きくない。
【００４０】
前記現在最も高い拡張層の下でのビデオデータは、前記現在最も高い拡張層に対応するビデオデータと、前記現在最も高い拡張層より低い全ての拡張層に対応するビデオデータと、前記基本層に対応するビデオデータとの合計を含む。
【００４１】
前記現在予期されるビットレートに従って、現在最も高い拡張層を取得するステップは、オプションで以下のステップを含む：
ステップ１０４−１：まだ抽出されたことがない全ての拡張層から、層番号が最も低い（すなわち、レベルが最も低い）拡張層を抽出する；
ステップ１０４−２：前記基本層と抽出された全ての拡張層とに対応するビデオデータの合計を伝送する際にかかるビットレートの合計を取得する；
ステップ１０４−３：前記ビットレートの合計が前記現在予期されるビットレートより大きいかどうかを判断する；
ステップ１０４−４：前記ビットレートの合計が前記現在予期されるビットレートより大きくない場合、前記ビットレートの合計が前記現在予期されるビットレートより大きいことが検出されるまで、ステップ１０４−１〜１０４−３を周期的に繰返す；
前記ビットレートの合計が前記現在予期されるビットレートより大きい場合、最後の周期においてまだ抽出されたことがない全ての拡張層のうちから抽出された、層番号が最も低い拡張層（すなわち、最後から２番目に抽出された拡張層）が、現在最も高い拡張層として選択される。
【００４２】
言い換えると、それぞれの拡張層を１つずつ基本層にオーバーレイすることが可能であり、各オーバーレイ後のビデオデータを伝送する際にかかるビットレートの合計がそれぞれ取得され、現在予期されるビットレートと順に比較される。ある時点で、各オーバーレイ後のビデオデータを伝送する際にかかるビットレートの合計が現在予期されるビットレートよりも大きい場合、最後の時点（すなわち、上述の「ある時点」の前の時点）でオーバーレイされた拡張層が、前記現在最も高い拡張層（すなわち、最後から２番目にオーバーレイされた拡張層）である。
【００４３】
ステップ１０５：前記現在最も高い拡張層の下のビデオデータを端末装置に送信する。
具体的には、この実施例では、スケーラブルビデオ符号化を採用しているビデオ伝送装置は、前記現在最も高い拡張層と、前記現在最も高い拡張層より低い全ての拡張層と、基本層とに対応する（すなわち、現在最も高い拡張層の下の）次に伝送すべきビデオデータ（すなわち、伝送すべきビデオデータの次のセグメント）を、端末装置に送信する。ここでのビデオデータを送信する実現化例は、ステップ１０２のものと一致しており、したがって詳細には説明しない。
【００４４】
ステップ１０３〜１０５を行なうことは、現在使用されているチャネルによって端末装置に送信されたビデオデータの伝送状態に従って、現在予期されるビットレートを判断すること、前記現在予期されるビットレートに従って、現在最も高い拡張層を取得すること、および、前記現在最も高い拡張層の下のビデオデータを、次に伝送すべきビデオデータとして端末装置に送信することであることがわかる。また、ステップ１０３〜１０５を繰返すことは、使用されているチャネルによって端末装置に送信された伝送すべきビデオデータのうちの前のセグメントの伝送状態に従って、ビデオデータの前のセグメントを伝送する際の予期されるビットレート（すなわち、ビデオデータの前のセグメントを伝送する際の、使用されているチャネルによって伝送可能な最大データ伝送ビットレート）を判断すること、前記予期されるビットレートに従って、対応する最も高い拡張層を取得すること、および、この対応する最も高い拡張層の下のビデオデータを、次のセグメントの伝送すべきビデオデータとして端末装置に送信することを実現できる。リアルタイムでのビデオ品質調整という目的を達成するために、周期はこのように繰返される。
【００４５】
この発明によって提供される、スケーラブルビデオ符号化に基づいてビデオ品質変動を制御するための方法は、ビデオ品質を具体的に制御するために、ビデオデータを送信するプロセスの間、リアルタイムでビデオデータの伝送状態を監視し、現在使用されているチャネルによって伝送可能な最大ビットレートを詳細な監視結果に従って予測し、対応する調整を伝送可能な現在最も高い拡張層に行なうことが可能である。先行技術と比べると、この発明は、チャネル環境の変化を能動的に予想し、ネットワーク帯域幅の変化の具体的な状態に従って伝送されたビデオ品質を精密に調整することができ、ユーザの体験を向上させるよう、帯域幅の急変により生じるビデオ品質変動に対処し、ビデオ品質変動をより精密に制御する。
【００４６】
第２の実施例
この発明の実施例は、図２に示すような、スケーラブルビデオ符号化に基づいてビデオ品質変動を制御するための方法を提供する。この方法は、以下のステップを含む。
【００４７】
ステップ２０１：伝送すべきビデオデータにスケーラブルビデオ符号化を行ない、１つの基本層および少なくとも１つの拡張層を生成する。
【００４８】
具体的には、この実施例では、スケーラブルビデオ符号化を採用しているビデオ伝送装置は、送信すべきビデオデータにスケーラブルビデオ符号化を行ない、ビデオデータは１つの基本層および少なくとも１つの拡張層へと符号化され得る。たとえば、表１に示すようになっている。
【００４９】
【表１】
0005749857.tif 000002
【００５０】
番号が０の層は基本層であり、番号が１、２、３、４、５、６、７の層は拡張層（それぞれ、拡張層１〜７）である。各拡張層は、自己の前にある拡張層に基づいて、ビデオデータのフレームレート、画像解像度、および信号対雑音比（ＳＮＲ）の少なくとも１つに関して強化される。０は、前の層と比べて強化されていないことを表わし、１は、前の層と比べて強化されていることを表わす。たとえば、拡張層２は、ビデオデータのＳＮＲに関しては拡張層１と比べて強化されているが、解像度およびフレームレートに関しては拡張層１と比べて強化されていない。ＳＶＣでは、ビデオの基本的再生性能を確実にするために、基本層はフレームレート、画像解像度、およびＳＮＲという３つの局面全てにおいて最も低いレベルのままであり、ビデオ画像の品質の強化は、基本層への拡張層のオーバーレイに依存する、ということがわかる。
【００５１】
ここで、ビデオデータにスケーラブルビデオ符号化を行なう実現化例は、当業者には既に周知であり、したがって詳細には説明しない。
【００５２】
ステップ２０２：スケーラブルビデオ符号化後の伝送すべきビデオデータを端末装置に送信する。
【００５３】
具体的には、この実施例では、スケーラブルビデオ符号化を採用しているビデオ伝送装置は、スケーラブルビデオ符号化後のビデオデータを端末装置に送信する。この発明の実施例では、ビデオデータを送信する実現化例は制限されていないが、当業者には公知の任意の実現態様であってもよい。
【００５４】
なお、このステップで送信されるビデオデータは必ずしも、ステップ２０１で生成された基本層および全ての拡張層に対応するビデオデータの合計ではなく、それらのほんの一部が選択的に送信される。たとえば、基本層に対応するビデオデータのみを送信することができ、または、基本層と一部の拡張層とに対応するビデオデータの合計を送信することもできる。しかしながら、レベルを飛ばすことは許可されていない。言い換えると、基本層は選択されなければならず、また、複数の拡張層を選択する場合、拡張層の数を最初から、低〜高へと連続分布する態様で選択する必要がある。たとえば、３つの拡張層を選択する場合、拡張層１〜拡張層３のみが選択可能である。当業者は、現在使用されているチャネルの状態に従って、選択すべき拡張層の具体的な量を自ら決定できる。
【００５５】
ステップ２０３：データ量をカウントし、カウント開始時間を判断する。
具体的には、この実施例では、スケーラブルビデオ符号化を採用しているビデオ伝送装置は、ビデオデータを送信しつつ、ある時点（すなわち、前記カウント開始時間）から開始する送信されたデータ量をカウントできる。たとえば、図３に示すように、ビデオ伝送装置は時間Ａからデータ量をカウントできる。
【００５６】
ステップ２０４：現在の時間を判断し、設定時間内に送信されたデータ量を取得する。
ここで、前記設定時間は、前記カウント開始時間から前記現在の時間までの期間である。
【００５７】
具体的には、図３に示すように、スケーラブルビデオ符号化を採用しているビデオ伝送装置は、送信されたデータ量のカウントを時間Ａで開始できる。データ量をカウントする具体的な方法は、ビデオ伝送装置によって送信されたビデオデータのデータパッケージの量を監視することであってもよい。設定時間の後、監視は時間Ｂで停止され、設定時間内に送信されたデータ量を得るために、設定時間内に送信されたビデオデータのデータパッケージの総量が記録される。
【００５８】
ステップ２０５：前記設定時間内に送信されたデータ量に従って再生時間を取得する。
ここで、前記再生時間は、スケーラブルビデオ符号化を採用しているビデオ伝送装置によって前記設定時間内に送信されたビデオデータに従って、端末装置がビデオを再生する期間である。
【００５９】
具体的には、この実施例では、スケーラブルビデオ符号化を採用しているビデオ伝送装置は、設定時間内に送信されたビデオデータのこれらのデータ量に従って、データ量のビデオデータに基づいて、受信端の端末装置がビデオを再生できる推定再生時間を計算できる。ここで、前記データ量に従って再生時間を取得する実現化例は当業者には周知であり、したがって詳細には説明しない。
【００６０】
また、ビデオデータの伝送中、スケーラブルビデオ符号化を採用しているビデオ伝送装置は、ステップ２０３〜２０５の方法のプロセスを伝送中周期的に繰返し、各周期において得られた設定時間および再生時間を記録してもよい。ここで、隣接する周期間の時間間隔は、具体的な状態に従ってビデオ伝送装置により自動的に設定されてもよく、または技術者により手動で設定されてもよく、ここでは限定しない。
【００６１】
ステップ２０６：再生時間に対する設定時間の比率に従って、システム出力値を取得する。
【００６２】
具体的には、この実施例では、スケーラブルビデオ符号化を採用しているビデオ伝送装置は、設定時間および再生時間に従ってシステム出力値を取得できる。可能な具体的な方法を以下に挙げる。
【００６３】
スケーラブルビデオ符号化を採用しているビデオ伝送装置は、たとえば、以下のように、ＰＩＤ自動制御方法によってシステム出力値を取得できる：
システム出力値＝比例係数*比例部分＋積分係数*積分部分＋微分係数*微分部分
式中、比例部分＝制御変数＝設定時間／再生時間
ＰＩＤ自動制御方法では、比例部分の機能は、この発明に従ってビデオ品質変動の制御結果を目標状態にうまく近付けるよう、現在のネットワーク帯域幅と伝送状態との整合度を予測することである。
【００６４】
積分部分＝累積設定時間／累積再生時間
ここで、累積設定時間または累積再生時間は、ビデオ伝送装置によって実行される再生時間の周期を最初に取得した時点から現在の時点までの全周期の設定時間または再生時間の合計である。たとえば、現時点までに３つの完全な周期が経過し（すなわち、各周期においてステップ２０３〜２０５の方法プロセスが完全に行なわれ）、各周期の設定時間および再生時間がそれぞれ、１０秒および８秒、１０秒および９秒、１０秒および７秒であるとすると、累積設定時間は３０秒、累積再生時間は２４秒であり、積分部分＝累積設定時間／累積再生時間＝３０秒／２４秒＝１．２５となる。
【００６５】
ＰＩＤ自動制御方法では、積分部分の機能は、比較的長期間内の帯域幅の変化状態の平均を取得するためにデータを長期間監視し、それにより品質変動の可能性を減少させることである。
【００６６】
微分部分＝現時点の制御変数／最後の時点の制御変数
ここで、現時点の制御変数は、この周期における設定時間および再生時間に基づいて取得された制御変数（すなわち、現在の制御変数＝現在の周期における設定時間／現在の周期における再生時間）であり、最後の時点の制御変数は、最後の周期における設定時間および再生時間に基づいて取得された制御変数（すなわち、最後の制御変数＝最後の周期における設定時間／最後の周期における再生時間）である。
【００６７】
ＰＩＤ自動制御方法では、微分部分の機能は、帯域幅の変化傾向を予測し、それにより制御変数ができるだけ早く目標状態に近付くことを可能にすることである。
【００６８】
比例係数、積分係数、および微分係数を取得するための詳細な方法は、以下のようであってもよい。まず、スケーラブルビデオ符号化を採用しているビデオ伝送装置が電源オンになった後で、ビデオ伝送装置は積分係数および微分係数を自動的に０として設定し（すなわち、比例項目のみが残されている）、次に、システム出力値の周期的変化（または略周期的な変化）を可能にするよう、比例係数が調整される。システム出力値の変化期間をＴ（前記期間はシステム出力値の分布期間である）、比例係数をＫと仮定すると、最終的な比例係数（すなわち、ビデオ伝送装置の通常動作後に得られた比例係数）は０．６Ｋであり、積分係数は２Ｋ／Ｔであり、微分係数はＫ*Ｔ／８である。ここで、比例係数、積分係数、および微分係数を取得するための詳細な実現化例は当業者には周知であり、したがって詳細には説明しない。
【００６９】
ステップ２０７：前記システム出力値および現在のデータ伝送ビットレートに従って、現在予期されるビットレートを取得する。
【００７０】
ここで、前記取得された現在予期されるビットレートは、現在使用されているチャネルによって伝送可能な最大データ伝送ビットレートである。
【００７１】
具体的には、この実施例では、スケーラブルビデオ符号化を採用しているビデオ伝送装置は、システム出力値および現在のデータ伝送ビットレート（すなわち、現在使用されているチャネルのデータ伝送ビットレート）に従って、前記現在予期されるビットレートを取得する。ここで、現在のデータ伝送ビットレートを取得するための方法は、当業者にはよく知られた任意の方法であってもよく、したがってここでは限定しない。
【００７２】
ここで、現在予期されるビットレート＝システム出力値*現在のデータ伝送ビットレートである。
【００７３】
ステップ２０８：まだ抽出されたことがない全ての拡張層から、層番号が最も低い（すなわち、レベルが最も低い）拡張層を抽出する。
【００７４】
具体的には、この実施例では、スケーラブルビデオ符号化を採用しているビデオ伝送装置は、表１に示すようなまだ抽出されたことがない全ての拡張層から、層番号が最も低い拡張層を抽出する。たとえば、現在抽出されている拡張層がない場合、拡張層１が抽出され、現在拡張層１および拡張層２が抽出されていた場合、拡張層３が抽出される。
【００７５】
ステップ２０９：前記基本層と抽出された全ての拡張層とに対応するビデオデータの合計を伝送する際にかかるビットレートの合計を取得する。
【００７６】
具体的には、この実施例では、スケーラブルビデオ符号化を採用しているビデオ伝送装置により、抽出された拡張層を１つずつ基本層にオーバーレイすることが可能であり、オーバーレイされたビデオデータの伝送中にかかるビットレートの合計が取得される。
【００７７】
ステップ２１０：前記ビットレートの合計が前記現在予期されるビットレートより大きいか否かを検出する。
【００７８】
ここで、前記ビットレートの合計が現在予期されるビットレートより大きくない場合、ステップ２０８〜２１０のプロセスは周期的に繰返され、前記ビットレートの合計が現在予期されるビットレートより大きいことが検出されるまでは、ステップ２１１は行なわれない。
【００７９】
ステップ２１１：前記ビットレートの合計が現在予期されるビットレートより大きい場合、最後の周期（すなわち、最後の時点のステップ２０８〜２１０を行なうプロセス）においてまだ抽出されたことがない全ての拡張層のうち、層番号が最も低い拡張層（すなわち、最後から２番目に抽出された拡張層）が、現在最も高い拡張層である。
【００８０】
ここで、前記現在最も高い拡張層と、前記現在最も高い拡張層より低い全ての拡張層と、基本層とに対応するビデオデータの合計を伝送する際にかかる全ビットレートの合計は、前記現在予期されるビットレートよりも大きくない。
【００８１】
たとえば、表１に示すように、拡張層１〜３（拡張層３は、現在の周期においてまだ抽出されたことがない全ての拡張層のうち、層番号が最も低い拡張層である）を基本層にオーバーレイした後で、伝送中にオーバーレイされたビデオデータが占めるビットレートの合計が現在予期されるビットレートよりも大きい場合、現在最も高い拡張層は拡張層２である（拡張層２は、前の周期においてまだ抽出されたことがない全ての拡張層のうち、層番号が最も低い拡張層である）。
【００８２】
ステップ２１２：前記現在最も高い拡張層と、前記現在最も高い拡張層より低い全ての拡張層と、基本層とに対応する、次に送信すべきビデオデータを、端末装置に送信する。
【００８３】
具体的には、この実施例では、スケーラブルビデオ符号化を採用しているビデオ伝送装置は、前記現在最も高い拡張層と、前記現在最も高い拡張層より低い全ての拡張層と、基本層とに対応する、次に伝送すべきビデオデータ（すなわち、伝送すべきビデオデータの次のセグメント）を、端末装置に送信する。ビデオデータを送信する実現化例は、ステップ１０２のものと一致しており、したがって詳細には説明しない。
【００８４】
また、ステップ２０３〜２１２を繰返すことは、設定時間および再生時間に対応するシステム出力値が取得されるように、対応する設定時間および再生時間を取得するよう、端末装置に送信された伝送すべき前のセグメントのビデオデータのデータ量をカウントすること、前記システム出力値および現在使用されているチャネルのデータ伝送ビットレートに従って、対応する予期されるビットレートを取得すること（この予期されるビットレートは、前のセグメントのビデオデータを送信する際の、使用されているチャネルによって伝送可能な最大データ伝送ビットレートである）、この予期されるビットレートに従って、対応する最も高い拡張層を取得すること、および、伝送すべき次のセグメントのビデオデータとして作用する、対応する最も高い拡張層の下のビデオデータを、端末装置に送信することを実現できる。リアルタイムでのビデオ品質調整という目的を達成するために、周期はこのように繰返される。
【００８５】
なお、ステップ２０３〜２１２を繰返す際、以下のステップをステップ２０７とステップ２０８との間に追加する必要がある。そのステップとは、まだ抽出されたことがない全ての拡張層のうち層番号が最も低い拡張層の層番号を１として設定するステップである。すなわち、最後の周期（すなわち、ステップ２０３〜２１２を行なう最後の時点）においてステップ２０８により抽出された拡張層の層番号を明確にするよう、まだ抽出されたことがない全ての拡張層のうち層番号が最も低い拡張層の層番号を拡張層１として設定する。これにより、次のセグメントのビデオデータを送信する際の現在のチャネル状態が前のセグメントのビデオデータを送信する際のチャネル状態より悪化している場合に、伝送すべき次のセグメントのビデオデータに対応する最も高い拡張層を効果的に取得できないという状況を防止する。
【００８６】
この発明によって提供される、スケーラブルビデオ符号化に基づいてビデオ品質変動を制御するための方法は、ビデオ品質を具体的に制御するために、ビデオデータを送信するプロセスの間、リアルタイムでビデオデータの伝送状態を監視し、現在使用されているチャネルによって伝送可能な最大ビットレートを詳細な監視結果に従って動的に予測し、対応する調整を伝送可能な現在最も高い拡張層に行なうことが可能である。先行技術と比べると、この発明の実施例は、チャネル環境の変化を能動的に予想し、ネットワーク帯域幅の変化の具体的な状態に従って伝送されたビデオ品質を精密に調整することができ、ユーザの体験を向上させるよう、帯域幅の急変により生じるビデオ品質変動に対処し、ビデオ品質変動をより精密に制御する。
【００８７】
第３の実施例
この発明の実施例は、図４に示すような、スケーラブルビデオ符号化に基づいてビデオ品質変動を制御するための装置を提供する。この装置は、符号化モジュール４０１と、第１の伝送モジュール４０２と、分析モジュール４０３と、取得モジュール４０４と、第２の伝送モジュール４０５とを含む。
【００８８】
符号化モジュール４０１は、伝送すべきビデオデータにスケーラブルビデオ符号化を行ない、１つの基本層および少なくとも１つの拡張層を生成するために使用される。
【００８９】
第１の伝送モジュール４０２は、スケーラブルビデオ符号化後の伝送すべきビデオデータを端末装置に送信するために使用される。
【００９０】
なお、第１の伝送モジュール４０２によって端末装置に送信されるビデオデータは必ずしも、符号化モジュール４０１によって生成された基本層および全ての拡張層に対応するビデオデータの合計ではなく、それらのほんの一部が選択的に送信される。たとえば、基本層に対応するビデオデータのみを送信することができ、または、基本層と一部の拡張層とに対応するビデオデータの合計を送信することもできる。しかしながら、レベルを飛ばすことは許可されていない。言い換えると、基本層は選択されなければならず、また、複数の拡張層を選択する場合、拡張層の数を最初から、低〜高へと連続分布する態様で選択する必要がある。たとえば、３つの拡張層を選択する場合、拡張層１〜拡張層３のみが選択可能である。当業者は、現在使用されているチャネルの状態に従って、選択すべき拡張層の具体的な数を自ら決定できる。
【００９１】
分析モジュール４０３は、現在使用されているチャネルによって第１の伝送モジュール４０２によって端末装置に送信されたビデオデータの伝送状態に従って、現在予期されるビットレートを判断するために使用される。
【００９２】
ここで、前記現在予期されるビットレートは、現在使用されているチャネルによって伝送可能な予測される最大データ伝送ビットレートである。
【００９３】
取得モジュール４０４は、分析モジュール４０３によって判断された前記現在予期されるビットレートに従って、現在最も高い拡張層を取得するために使用される。
【００９４】
ここで、前記現在最も高い拡張層の下のビデオデータを伝送する際にかかる全ビットレートの合計は、前記現在予期されるビットレートより大きくない。
【００９５】
第２の伝送モジュール４０５は、取得モジュール４０４によって取得された前記現在最も高い拡張層の下のビデオデータを送信するために使用される。
【００９６】
次に、分析モジュール４０３は、現在使用されているチャネルによって第２の伝送モジュール４０５によって端末装置に送信されたビデオデータの伝送状態に従って、現在予期されるビットレートを判断し、取得モジュール４０４は、分析モジュール４０３によって判断された前記現在予期されるビットレートに従って、現在最も高い拡張層を取得し、第２の伝送モジュール４０５は、取得モジュール４０４によって取得された前記現在最も高い拡張層の下のビデオデータを、端末装置に送信する。リアルタイムでのビデオ品質調整という目的を達成するために、周期はこのように繰返される。
【００９７】
この発明の実施例によって提供される、スケーラブルビデオ符号化に基づいてビデオ品質変動を制御するための装置は、ビデオ品質を具体的に制御するために、ビデオデータを送信するプロセスの間、リアルタイムでビデオデータの伝送状態を監視し、現在使用されているチャネルによって伝送可能な最大ビットレートを詳細な監視結果に従って動的に予測し、対応する調整を伝送可能な現在最も高い拡張層に行なうことが可能である。先行技術と比べると、この発明の実施例は、チャネル環境の変化を能動的に予想し、ネットワーク帯域幅の変化の具体的な状態に従って伝送されたビデオ品質を精密に調整することができ、ユーザの体験を向上させるよう、帯域幅の急変により生じるビデオ品質変動に対処し、ビデオ品質変動をより精密に制御する。
【００９８】
第４の実施例
この発明の実施例は、図５に示すような、スケーラブルビデオ符号化に基づいてビデオ品質変動を制御するための装置を提供する。この装置は、符号化モジュール４０１と、第１の伝送モジュール４０２と、分析モジュール４０３と、取得モジュール４０４と、第２の伝送モジュール４０５とを含み、分析モジュール４０３は、第１の取得ユニット４０３１と、第２の取得ユニット４０３２と、第３の取得ユニット４０３３とを含み、取得ユニット４０３１は、第１のタイミングサブユニット４０３１１と、第２のタイミングサブユニット４０３１２と、カウントサブユニット４０３１３とを含み、第３の取得ユニット４０３３は、第１の取得サブユニット４０３３１と、第２の取得サブユニット４０３３２とを含み、取得モジュール４０４は、第１の抽出ユニット４０４１と、第４の取得ユニット４０４２と、検出ユニット４０４３と、第２の抽出ユニット４０４４とを含む。
【００９９】
符号化モジュール４０１は、伝送すべきビデオデータにスケーラブルビデオ符号化を行ない、１つの基本層および少なくとも１つの拡張層を生成するために使用される。
【０１００】
第１の伝送モジュール４０２は、スケーラブルビデオ符号化後の伝送すべきビデオデータを端末装置に送信するために使用される。
【０１０１】
なお、第１の伝送モジュール４０２によって端末装置に送信されるビデオデータは必ずしも、符号化モジュール４０１によって生成された基本層および全ての拡張層に対応するビデオデータの全てではなく、それらのほんの一部が選択的に送信される。たとえば、基本層に対応するビデオデータのみを送信することができ、または、基本層と一部の拡張層とに対応するビデオデータの合計を送信することもできる。しかしながら、レベルを飛ばすことは許可されていない。言い換えると、基本層は選択されなければならず、また、複数の拡張層を選択する場合、拡張層の数を最初から、低〜高へと連続分布する態様で選択する必要がある。たとえば、３つの拡張層を選択する場合、拡張層１〜拡張層３のみが選択可能である。当業者は、現在使用されているチャネルの状態に従って、選択すべき拡張層の具体的な量を自ら決定できる。
【０１０２】
分析モジュール４０３は、現在使用されているチャネルによって第１の伝送モジュール４０２によって端末装置に送信されたビデオデータの伝送状態に従って、現在予期されるビットレートを判断するために使用される。
【０１０３】
ここで、前記現在予期されるビットレートは、予測される現在使用されているチャネルによって伝送可能な最大データ伝送ビットレートである。
【０１０４】
第１の取得ユニット４０３１は、設定時間内に現在使用されているチャネルによって送信されたデータ量を取得するために使用される。
【０１０５】
ここで、第１の取得ユニット４０３１は、
第１の伝送モジュール４０２によって送信されたデータ量をカウントするプロセスの間、カウント開始時間を判断するために使用される第１のタイミングサブユニット４０３１１と、
現在の時間を判断するために使用される第２のタイミングサブユニット４０３１２とを含み、前記設定時間は、前記カウント開始時間から前記現在の時間までの期間であり、第１の取得ユニット４０３１はさらに、
前記設定時間内に送信されたデータ量を取得するために使用されるカウントサブユニット４０３１３を含む。
【０１０６】
第２の取得ユニット４０３２は、前記設定時間内に送信されたデータ量に従って再生時間を取得するために使用され、前記再生時間は、前記設定時間内に第１の伝送モジュール４０２によって送信されたビデオデータに従った、端末装置によるビデオ再生の継続時間である。
【０１０７】
第３の取得ユニット４０３３は、前記設定時間および前記再生時間に従って前記現在予期されるビットレートを取得するために使用される。
【０１０８】
ここで、第３の取得ユニット４０３３は、
再生時間に対する設定時間の比率に従ってシステム出力値を取得するために使用される第１の取得サブユニット４０３３１と、
前記システム出力値および現在のデータ伝送ビットレートに従って、前記現在予期されるビットレートを取得するために使用される第２の取得サブユニット４０３３２とを含む。
【０１０９】
取得モジュール４０４は、第３の取得ユニット４０３３によって取得された前記現在予期されるビットレートに従って、現在最も高い拡張層を取得するために使用される。
【０１１０】
ここで、前記現在最も高い拡張層の下のビデオデータを伝送する際にかかる全ビットレートの合計は、前記現在予期されるビットレートより大きくない。
【０１１１】
取得モジュール４０４は、
まだ抽出されたことがない全ての拡張層から、層番号が最も低い拡張層を抽出するために使用される第１の抽出ユニット４０４１と、
前記基本層と抽出された全ての拡張層とに対応するビデオデータの合計を伝送する際にかかるビットレートの合計を取得するために使用される第４の取得ユニット４０４２と、
ビットレートの合計が前記現在予期されるビットレートより大きいか否かを検出するために使用される検出ユニット４０４３とを含み、
前記ビットレートの合計が前記現在予期されるビットレートより大きくない場合、前記ビットレートの合計が前記現在予期されるビットレートより大きいことが検出されるまで、上述のプロセスが繰返され（すなわち、第１の抽出ユニット４０４１、第４の取得ユニット４０４２、および検出ユニット４０４３の動作が周期的に繰返され）、取得モジュール４０４はさらに、
前記ビットレートの合計が前記現在予期されるビットレートより大きい場合、最後の周期（すなわち、第１の抽出ユニット４０４１、第４の取得ユニット４０４２、および検出ユニット４０４３の動作が繰返された最後の時点）においてまだ抽出されたことがない全ての拡張層から抽出された、層番号が最も低い拡張層（すなわち、最後から２番目に抽出された拡張層）を、現在最も高い拡張層として選択するために使用される第２の抽出ユニット４０４４を含む。
【０１１２】
第２の伝送モジュール４０５は、前記現在最も高い拡張層と、前記現在最も高い拡張層より低い全ての拡張層と、基本層とに対応する、次に伝送すべきビデオデータ（すなわち、伝送すべき次のセグメントのビデオデータ）を、端末装置に送信するために使用される。
【０１１３】
次に、分析モジュール４０３は、現在使用されているチャネルによって第２の伝送モジュール４０５によって端末装置に送信されたビデオデータの伝送状態に従って、現在予期されるビットレートを判断する。言い換えると、第１の取得ユニット４０３１が、現在使用されているチャネルによって設定時間内に第２の伝送モジュール４０５によって送信されたデータ量を取得し、第２の取得ユニット４０３２が、前記設定時間内に送信されたデータ量に従って再生時間を取得し、第３の取得ユニット４０３２が、前記設定時間および前記再生時間に従って前記現在予期されるビットレートを取得する。取得モジュール４０４は、分析モジュール４０３によって判断された前記現在予期されるビットレートに従って、現在最も高い拡張層を取得する。そして、第２の伝送モジュール４０５は、取得モジュール４０４によって取得された前記現在最も高い拡張層の下のビデオデータを、端末装置に送信する。リアルタイムでのビデオ品質調整という目的を達成するために、周期はこのように繰返される。
【０１１４】
ここで、前記取得モジュールはさらに、拡張層番号設定モジュール（図示せず）を含む。それは第１の抽出ユニット４０４１に接続されており、まだ抽出されたことがない全ての拡張層のうち層番号が最も低い拡張層の層番号を１として設定する。すなわち、まだ抽出されたことがない全ての拡張層のうち層番号が最も低い拡張層の層番号を拡張層１として設定する。次に、第１の抽出ユニット４０４１、第４の取得ユニット４０４２、検出ユニット４０４３、および第２の抽出ユニット４０４４は、最後の周期（すなわち、分析モジュール４０３、取得モジュール４０４、および第２の伝送モジュール４０５の動作を繰返した最後の時点）において抽出された拡張層の層番号を明確にするよう、現在最も高い拡張層の取得を開始する。これにより、次のセグメントのビデオデータを送信する際の現在のチャネル状態が前のセグメントのビデオデータを送信する際のチャネル状態より悪化している場合に、伝送すべき次のセグメントのビデオデータに対応する最も高い拡張層を得られないという状況を防止する。
【０１１５】
この発明の実施例によって提供される、スケーラブルビデオ符号化に基づいてビデオ品質変動を制御するための装置は、ビデオ品質を具体的に制御するために、ビデオデータを送信するプロセスの間、設定時間の期間内でデータ伝送状態を監視し、現在使用されているチャネルによって伝送可能な最大ビットレートを動的に予測し、対応する調整を伝送可能な現在最も高い拡張層に行なうことが可能である。先行技術と比べると、この発明の実施例は、チャネル環境の変化を能動的に予想し、ネットワーク帯域幅の変化の具体的な状態に従って伝送されたビデオ品質を精密に調整することができ、ユーザの体験を向上させるよう、帯域幅の急変により生じるビデオ品質変動に対処し、ビデオ品質変動をより精密に制御する。
【０１１６】
上述の実施例における方法のプロセスの全てまたは一部は、関連ハードウェアに命令するコンピュータプログラムを用いることによって達成可能であり、前記プログラムはコンピュータ読取可能記憶媒体に格納可能である、ということを、当業者であれば理解できる。プログラムを実行する際、上述のようなさまざまな方法の実施例のプロセスが含まれていてもよい。前記記憶媒体は、フロッピー（登録商標）ディスク、コンパクトディスク、読出専用メモリ（ＲＯＭ）、またはランダムアクセスメモリ（ＲＡＭ）などであってもよい。
【０１１７】
上述の事項は、この発明の詳細な実施例に過ぎず、この発明の保護の範囲をそのように限定するために使用されない。この発明により開示される技術的範囲内で当業者が容易に思い付くあらゆる変形または置換えが、この発明の保護の範囲によって網羅されるべきである。したがって、この発明の保護の範囲は、請求項の保護の範囲によって定義されるべきである。
【図１】
0005749857.tif 000003
【図２】
0005749857.tif 000004
【図３】
0005749857.tif 000005
【図４】
0005749857.tif 000006
【図５】
0005749857.tif 000007