(57)【要約】可変帯域幅を有するネットワーク上で、エンハンスメントレイヤのビデオフレームデータをストリーミングするための方法は、オリジナルの非符号化ビデオデータを非スケーラブルなコーデックで符号化して、Ｉ及びＰベースレイヤフレームを生成するステップ、該オリジナルの非符号化ビデオデータと該ベースレイヤのフレームデータとから、残余の時間的なＢフレーム、並びに残余のＳＮＲのＩ及びＰフレームを生成するステップ、該残余の時間的フレームデータ及び該残余のＳＮＲフレームデータをスケーラブルなコーデックで符号化して、該スケーラブルに符号化された残余の時間的ビデオフレームデータ及び該スケーラブルに符号化された残余のＳＮＲビデオフレームデータを有する該エンハンスメントレイヤのビデオフレームデータを生成するステップ、該可変帯域幅を有するネットワークの利用可能な帯域幅を決定するステップ、該利用可能な帯域幅が、ベースレイヤのフレームデータのみを伝送するために割当てられた最小ビットレートと、該ネットワークの最大ビットレート以下の所定のビットレートとの間の範囲にある第１の帯域幅であるとき、該スケーラブルに符号化された残余の時間的フレームの少なくとも一部を伝送するステップ、及び追加的に、該利用可能な帯域幅が、該所定のビットレートと該ネットワークの最大ビットレートとの間の範囲にある第２の帯域幅であるとき、該スケーラブルに符号化された残余の時間的フレームの残りの部分と、該スケーラブルに符号化されたＳＮＲフレームの少なくとも一部を送信するステップを備える。
2004509574.tif 000002
【特許請求の範囲】
【請求項１】
可変帯域幅を有するネットワーク上で、スケーラブルに符号化された残余の時間的なビデオフレームデータとスケーラブルに符号化された残余の信号対雑音比（ＳＮＲ）に関する品質のビデオフレームデータとを有するエンハンスメントレイヤのビデオフレームデータをストリーミングするための方法であって、
オリジナルの非符号化ビデオデータを非スケーラブルなコーデックで符号化して、ベースレイヤのフレームデータを生成するステップと、
前記オリジナルの非符号化ビデオデータと前記ベースレイヤのフレームデータとから、残余の時間的なビデオフレームデータ及び残余のＳＮＲビデオフレームデータを生成するステップと、
前記残余の時間的なビデオフレームデータ及び前記残余のＳＮＲビデオフレームデータをスケーラブルなコーデックで符号化して、前記スケーラブルに符号化された残余の時間的ビデオフレームデータ及び前記スケーラブルに符号化された残余のＳＮＲビデオフレームデータを有する前記エンハンスメントレイヤのビデオフレームデータを生成するステップと、
前記可変帯域幅を有するネットワークの利用可能な帯域幅を決定するステップと、
前記利用可能な帯域幅が、ベースレイヤのフレームデータのみを伝送するために割当てられた最小ビットレートと、前記ネットワークの最大ビットレート以下の所定のビットレートとの間の範囲にある第１の帯域幅であるとき、前記スケーラブルに符号化された残余の時間的ビデオフレームデータの少なくとも一部を伝送するステップと、
を備える方法。
【請求項２】
前記利用可能な帯域幅が、前記所定のビットレートと前記ネットワークの最大ビットレートとの間の範囲にある第２の帯域幅であるとき、前記スケーラブルに符号化された残余の時間的ビデオフレームデータの残りの部分と、前記スケーラブルに符号化された残余のＳＮＲビデオフレームデータの少なくとも一部を送信するステップをさらに備える、
請求項１記載の方法。
【請求項３】
前記第２の帯域幅は、前記可変帯域幅を有するネットワークの前記最大の利用可能な帯域幅まで拡がる、
請求項２記載の方法。
【請求項４】
前記ベースレイヤのフレームデータは、ＩフレームとＰフレームについてのみのデータを含む、
請求項１記載の方法。
【請求項５】
前記スケーラブルに符号化された残余の時間的ビデオフレームデータは、Ｂフレームについてのみのデータを含む、
請求項４記載の方法。
【請求項６】
前記スケーラブルに符号化された残余のＳＮＲビデオフレームデータは、ＩフレームとＰフレームについてのみのデータを含む、
請求項５記載の方法。
【請求項７】
前記スケーラブルに符号化された残余の時間的ビデオフレームデータは、Ｂフレームについてのみのデータを含む、
請求項１記載の方法。
【請求項８】
前記スケーラブルに符号化された残余のＳＮＲビデオフレームデータは、ＩフレームとＰフレームについてのみのデータを含む、
請求項１記載の方法。
【請求項９】
可変帯域幅を有するネットワーク上で、スケーラブルに符号化された残余の時間的なビデオフレームデータとスケーラブルに符号化された残余の信号対雑音比（ＳＮＲ）に関する品質のビデオフレームデータとを有するエンハンスメントレイヤのビデオフレームデータをストリーミングするための方法であって、
オリジナルの非符号化ビデオデータを非スケーラブルなコーデックで符号化して、ベースレイヤのフレームデータを生成するための手段と、
前記オリジナルの非符号化ビデオデータと前記ベースレイヤのフレームデータとから、残余の時間的なビデオフレームデータ及び残余のＳＮＲビデオフレームデータを生成するための手段と、
前記残余の時間的ビデオフレームデータ及び前記残余のＳＮＲビデオフレームデータをスケーラブルなコーデックで符号化して、前記スケーラブルに符号化された残余の時間的ビデオフレームデータ及び前記スケーラブルに符号化された残余のＳＮＲビデオフレームデータを有する前記エンハンスメントレイヤのビデオフレームデータを生成するための手段と、
前記可変帯域幅を有するネットワークの利用可能な帯域幅を決定するための手段と、
前記利用可能な帯域幅が、ベースレイヤのフレームデータのみを伝送するために割当てられた最小ビットレートと、前記ネットワークの最大ビットレート以下の所定のビットレートとの間の範囲にある第１の帯域幅であるとき、前記スケーラブルに符号化された残余の時間的ビデオフレームデータの少なくとも一部を伝送するための手段と、
を備えるシステム。
【請求項１０】
前記利用可能な帯域幅が、前記所定のビットレートと前記ネットワークの最大ビットレートとの間の範囲にある第２の帯域幅であるとき、前記スケーラブルに符号化された残余の時間的ビデオフレームデータの残りの部分と、前記スケーラブルに符号化された残余のＳＮＲビデオフレームデータの少なくとも一部を送信するための手段をさらに備える、
請求項９記載のシステム。
【請求項１１】
前記第２の帯域幅は、前記可変帯域幅を有するネットワークの前記最大の利用可能な帯域幅まで拡がる、
請求項１０記載のシステム。
【請求項１２】
可変帯域幅を有するネットワークの利用可能な帯域幅を決定するための手段と、
前記利用可能な帯域幅が、ベースレイヤのフレームデータのみを伝送するために割当てられた最小ビットレートと、前記ネットワークの最大ビットレート以下の所定のビットレートとの間の範囲にある第１の帯域幅であるとき、スケーラブルに符号化された残余の時間的なビデオフレームデータの少なくとも一部を伝送するための手段と、
を備えるビデオレートコントローラ。
【請求項１３】
前記利用可能な帯域幅が、前記所定のビットレートと前記ネットワークの最大ビットレートとの間の範囲にある第２の帯域幅であるとき、前記スケーラブルに符号化された残余の時間的ビデオフレームデータの残りの部分と、スケーラブルに符号化された残余のＳＮＲビデオフレームデータの少なくとも一部を送信するための手段をさらに備える、
請求項１２記載のビデオレートコントローラ。
【請求項１４】
可変帯域幅を有するネットワーク上で、スケーラブルに符号化された残余の時間的なビデオフレームデータとスケーラブルに符号化された残余の信号対雑音比（ＳＮＲ）に関する品質のビデオフレームデータとを有するエンハンスメントレイヤのビデオフレームデータをストリーミングするための記憶媒体であって、
オリジナルの非符号化ビデオデータを非スケーラブルなコーデックで符号化して、ベースレイヤのフレームデータを生成するためのコードと、
前記オリジナルの非符号化ビデオデータと前記ベースレイヤのフレームデータとから、残余の時間的ビデオフレームデータ及び残余のＳＮＲビデオフレームデータを生成するためのコードと、
前記残余の時間的ビデオフレームデータ及び前記残余のＳＮＲビデオフレームデータをスケーラブルなコーデックで符号化して、前記スケーラブルに符号化された残余の時間的ビデオフレームデータ及び前記スケーラブルに符号化された残余のＳＮＲビデオフレームデータを有する前記エンハンスメントレイヤのビデオフレームデータを生成するためのコードと、
前記可変帯域幅を有するネットワークの利用可能な帯域幅を決定するためのコードと、
前記利用可能な帯域幅が、ベースレイヤのフレームデータのみを伝送するために割当てられた最小ビットレートと、前記ネットワークの最大ビットレート以下の所定のビットレートとの間の範囲にある第１の帯域幅であるとき、前記スケーラブルに符号化された残余の時間的ビデオフレームデータの少なくとも一部を伝送するためのコードと、
を備える記憶媒体。
【請求項１５】
前記利用可能な帯域幅が、前記所定のビットレートと前記ネットワークの最大ビットレートとの間の範囲にある第２の帯域幅であるとき、前記スケーラブルに符号化された残余の時間的ビデオフレームデータの残りの部分と、前記スケーラブルに符号化された残余のＳＮＲビデオフレームデータの少なくとも一部を送信するためのコードをさらに備える、
請求項１４記載の記憶媒体。
【発明の詳細な説明】
【０００１】
［発明の分野］
本発明は、ビデオ符号化に関し、より詳細には、インターネットのような可変帯域幅を有するコンピュータネットワーク上で、エンハンスメントレイヤの残余の時間的なビデオフレームデータと信号対雑音比（ＳＮＲ）に関する品質のビデオフレームデータとをストリーミングするための方法に関する。
【０００２】
［本発明に関連すする出願］
本出願は、２０００年９月２２日に提出された米国仮出願第６０／２３４，６０６号の利点を特許請求するものである。
２０００年６月９日に提出された“Ｈｙｂｒｉｄ Ｔｅｍｐｏｒａｌ−ＳＮＲ Ｆｉｎｅ Ｇｒａｎｕｌａｒ Ｓｃａｌａｂｉｌｉｔｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ”と題された継続中の米国特許出願第０９／５９０，８２５号は、本発明の譲渡人に譲渡されている。
【０００３】
［発明の背景］
スケーラブルビデオ符号化は、インターネットのような可変帯域幅を有するコンピュータネットワークを通して伝送されるビデオを圧縮するために使用されている。かかるビデオ符号化スキームの１つは、ファイングラニュラスケーラブル（エンベッド）ビデオ符号化（Ｆｉｎｅ Ｇｒａｎｕｌａｒ Ｓｃａｌａｂｌｅ （ｅｍｂｅｄｄｅｄ） ｖｉｄｅｏ ｃｏｄｉｎｇ）である。ファイングラニュラスケーラブル（ＦＧＳ）ビデオ符号化は、ＭＰＥＧ−４ストリーミングビデオプロファイルのためのコアとなるビデオ符号化方法として、ＩＳＯ ＭＰＥＧ−４標準により適用されている。
【０００４】
図１に示されているように、ＦＧＳビデオ符号化スキームは、非スケーラブルなコーデックで符号化され、ビットレートＲＢＬでＩ，Ｐ及びＢを含む動き補償ベースレイヤ１０と、ＦＧＳのようなスケーラブルなコーデックで符号化され、ビットレートＲｍａｘで信号対雑音比（ＳＮＲ）に関する品質のＩ，Ｐ及びＢの残余のフレームを含むエンハンスメントレイヤ１１とを含んでいる。
【０００５】
伝送時間では、ビットレートＲＥＬに対応するエンハンスメントレイヤ１１の一部は、利用可能な帯域幅Ｒ＝ＲＢＬ＋ＲＥＬとなるように、ＦＧＳ符号化ビットストリームから「切り取られる」。
【０００６】
たとえば、エンハンスメントレイヤのストリームが、１００ｋｂｉｔ／ｓと１Ｍｂｉｔ／ｓの間の範囲にあるビットレートでクライアントを収容することが必要な場合、ＲＢＬは１００ｋｂｉｔ／ｓに設定され、Ｒｍａｘは１Ｍｂｉｔ／ｓに設定される。したがって、１００ｋｂｉｔ／ｓで符号化されるベースレイヤのＩ，Ｐ及びＢフレームは、常に伝送されるが、より広い帯域幅が利用可能である場合、エンハンスメントレイヤの残余のＩ，Ｐ及びＢフレームの少なくとも１部もまた伝送される。
【０００７】
図２Ａ及び図２Ｂは、先に述べた、本発明の譲渡人に譲渡され、継続中の米国特許出願第０９／５９０，８２５号に記載された例示的なＦＧＳハイブリッドテンポラル−ＳＮＲビデオ符号化スキームを示している。
【０００８】
図２Ａのビデオ符号化スキームでは、ベースレイヤ１２は、非スケーラブルなコーデックで符号化されてＩ，Ｐ及びＢフレームを含み、エンハンスメントレイヤ１３は、ＦＧＳのようなスケーラブルなコーデックで符号化され、残余のＢフレーム、すなわち、時間的フレーム（ＦＧＳ符号化が使用されるときはＦＧＳＴフレーム）、及び残余の信号対雑音比に関する品質のＩ及びＰフレーム、すなわち、信号雑音比（ＳＮＲ）に関する品質のフレーム（ＦＧＳ符号化が使用されるときはＦＧＳフレーム）を含む。
【０００９】
図２Ｂのビデオ符号化スキームでは、ベースレイヤ１４は、非スケーラブルなコーデックで符号化され、Ｉ及びＰフレームのみを含む。すなわち、Ｂフレームは、ベースレイヤ１４において符号化されない。エンハンスメントレイヤ１５は、ＦＧＳのようなスケーラブルコーデックで図２Ａの符号化スキームと同様に符号化され、残余のＢフレーム、すなわちＦＧＳＴフレームと、ＳＮＲの残余のＩ及びＰフレーム、すなわちＦＧＳフレームを含んでいる。
【００１０】
サーバにより伝送される間、ベースレイヤのＩ，Ｐ及びＢフレーム（図２Ａの符号化スキーム）、又はベースレイヤのＩ及びＰフレーム（図２Ｂの符号化スキーム）は、ビットレートＲＢＬにまで符号化され、常に伝送される。より広い帯域幅が利用可能である場合、図２Ａ及び図２Ｂの符号化スキームにおけるエンハンスメントレイヤ１３，１５を伝送するための現在のアプローチは、レート制御手法を使用して、エンハンスメントレイヤのビットＲＥＬをＦＧＳフレームとＦＧＳＴフレームの間に等しく割当てている。
【００１１】
ＦＧＳ符号化に関連する１つの問題点は、非スケーラブルなコーデックと比較して、符号化効率が低下することである。この効率の不利益は、ＦＧＳで達成される、時間的に相関しないこと（非相関）が不十分であることによるものであり（時間的な相関は、ベースレイヤでのみ使用される）、エンハンスメントレイヤのエンベッド符号化によるものではない。
【００１２】
エンハンスメントレイヤにおける時間的な相関は、ベースレイヤにおける時間的な非相関を改善することにより低減することができる。これは、多数のビットをベースレイヤに割当てることにより達成することができる。しかし、このことは、常時クライアントが利用可能であると保証される最小の帯域幅にＲＢＬが対応するために不可能である。ＲＢＬが増加する場合、これらクライアントの中には、ＭＰＥＧ−４標準とは逆に、所定の時間でベースレイヤのフレームを復号化することができないクライアントがある。
【００１３】
［発明の概要］
本発明は、可変帯域幅を有するネットワーク上で、エンハンスメントレイヤのビデオフレームデータをストリーミングするための方法を提供する。ここで、エンハンスメントレイヤのビデオフレームデータは、スケーラブルに符号化された残余の時間的なビデオフレームデータとスケーラブルに符号化された残余の信号対雑音比（ＳＮＲ）に関する品質のビデオフレームデータとを有する。
【００１４】
本発明の１態様は、オリジナルの非符号化ビデオデータを非スケーラブルなコーデックで符号化して、ベースレイヤのフレームデータを生成するステップ、該オリジナルの非符号化ビデオデータと該ベースレイヤのフレームデータとから、残余の時間的なビデオフレームデータ及び該残余のＳＮＲビデオフレームデータを生成するステップ、該残余の時間的ビデオフレームデータ及び該残余のＳＮＲビデオフレームデータをスケーラブルなコーデックで符号化して、該スケーラブルに符号化された残余の時間的ビデオフレームデータ及び該スケーラブルに符号化された残余のＳＮＲビデオフレームデータを有する該エンハンスメントレイヤのビデオフレームデータを生成するステップ、該可変帯域幅を有するネットワークの利用可能な帯域幅を決定するステップ、該利用可能な帯域幅が、ベースレイヤのフレームデータのみを伝送するために割当てられた最小ビットレートと、該ネットワークの最大ビットレート以下の所定のビットレートとの間の範囲にある第１の帯域幅であるとき、該スケーラブルに符号化された残余の時間的ビデオフレームデータの少なくとも一部を伝送するステップ、及び追加的に、該利用可能な帯域幅が、該所定のビットレートと該ネットワークの最大ビットレートとの間の範囲にある第２の帯域幅であるとき、該スケーラブルに符号化された残余の時間的ビデオフレームデータの残りの部分と、該スケーラブルに符号化された残余のＳＮＲビデオフレームデータの少なくとも一部を送信するステップとを備える方法によるものである。
【００１５】
本発明の別の態様は、オリジナルの非符号化ビデオデータを非スケーラブルなコーデックで符号化して、ベースレイヤのフレームデータを生成するための手段、該オリジナルの非符号化ビデオデータと該ベースレイヤのフレームデータとから、残余の時間的ビデオフレームデータ及び該残余のＳＮＲビデオフレームデータを生成するための手段、該残余の時間的ビデオフレームデータ及び該残余のＳＮＲビデオフレームデータをスケーラブルなコーデックで符号化して、該スケーラブルに符号化された残余の時間的ビデオフレームデータ及び該スケーラブルに符号化された残余のＳＮＲビデオフレームデータを有する該エンハンスメントレイヤのビデオフレームデータを生成するための手段、該可変帯域幅を有するネットワークの利用可能な帯域幅を決定するための手段、該利用可能な帯域幅が、ベースレイヤのフレームデータのみを伝送するために割当てられた最小ビットレートと、該ネットワークの最大ビットレート以下の所定のビットレートとの間の範囲にある第１の帯域幅であるとき、該スケーラブルに符号化された残余の時間的ビデオフレームデータの少なくとも一部を伝送するための手段、及び追加的に、該利用可能な帯域幅が、該所定のビットレートと該ネットワークの最大ビットレートとの間の範囲にある第２の帯域幅であるとき、該スケーラブルに符号化された残余の時間的ビデオフレームデータの残りの部分と、該スケーラブルに符号化された残余のＳＮＲビデオフレームデータの少なくとも一部を送信するための手段とを備えるシステムによるものである。
【００１６】
本発明の更なる態様は、可変帯域幅を有するネットワークの利用可能な帯域幅を決定するための手段、該利用可能な帯域幅が、ベースレイヤのフレームデータのみを伝送するために割当てられた最小ビットレートと、該ネットワークの最大ビットレート以下の所定のビットレートとの間の範囲にある第１の帯域幅であるとき、スケーラブルに符号化された残余の時間的なビデオフレームデータの少なくとも一部を伝送するための手段、及び追加的に、該利用可能な帯域幅が、該所定のビットレートと該ネットワークの最大ビットレートとの間の範囲にある第２の帯域幅であるとき、該スケーラブルに符号化された残余の時間的ビデオフレームデータの残りの部分と、該スケーラブルに符号化された残余のＳＮＲビデオフレームデータの少なくとも一部を送信するための手段とを備えるビデオレートコントローラによるものである。
【００１７】
本発明の更なる態様は、オリジナルの非符号化ビデオデータを非スケーラブルなコーデックで符号化して、ベースレイヤのフレームデータを生成するためのコード、該オリジナルの非符号化ビデオデータと該ベースレイヤのフレームデータとから、残余の時間的なビデオフレームデータ及び残余のＳＮＲビデオフレームデータを生成するためのコード、該残余の時間的ビデオフレームデータ及び該残余のＳＮＲビデオフレームデータをスケーラブルなコーデックで符号化して、該スケーラブルに符号化された残余の時間的ビデオフレームデータ及び該スケーラブルに符号化された残余のＳＮＲビデオフレームデータを有する該エンハンスメントレイヤのビデオフレームデータを生成するためのコード、該可変帯域幅を有するネットワークの利用可能な帯域幅を決定するためのコード、該利用可能な帯域幅が、ベースレイヤのフレームデータのみを伝送するために割当てられた最小ビットレートと、該ネットワークの最大ビットレート以下の所定のビットレートとの間の範囲にある第１の帯域幅であるとき、該スケーラブルに符号化された残余の時間的ビデオフレームデータの少なくとも一部を伝送するためのコード、及び追加的に、該利用可能な帯域幅が、該所定のビットレートと該ネットワークの最大ビットレートとの間の範囲にある第２の帯域幅であるとき、該スケーラブルに符号化された残余の時間的ビデオフレームデータの残りの部分と、該スケーラブルに符号化された残余のＳＮＲビデオフレームデータの少なくとも一部を送信するためのコードとを備える記憶媒体によるものである。
【００１８】
［発明の実施の形態］
本発明の効果、特徴及び様々な追加機能は、添付図面を参照してより詳細に記載される例示的な実施の形態を十分に考慮することにより明らかになるであろう。図面を通して、同じ参照符号は同じ構成要素を示している。
【００１９】
本発明の概念による方法は、インターネットのような可変帯域幅を有するコンピュータネットワーク上で、エンハンスメントレイヤの残余の時間的なビデオフレームデータ、及び信号対雑音比（ＳＮＲ）に関する品質のビデオフレームデータ（ＦＧＳ符号化の場合にはＦＧＳＴ及びＦＧＳフレームデータ）をストリーミングするために記載される。
【００２０】
本方法は、図２Ｂのハイブリッドテンポラル−ＳＮＲスケーラブルビデオ符号化スキームを利用して、エンハンスメントレイヤにおける時間的な相関における大幅な改善が達成される。したがって、本発明の譲渡人に譲渡された継続中の米国特許出願第０９／５９０，８２５号の全体的な開示は、参照により本実施の形態に組込まれる。
【００２１】
図２Ｂのビデオ符号化スキームは、ＳＮＲフレームの間の１つの時間的なフレームのみを示しているが、ＳＮＲフレームの間の２つ以上の時間的なフレームを有するテンポラル−ＳＮＲスケーラブルビデオ符号化スキームも本方法で使用される場合がある。
【００２２】
図３は、本発明の概念による方法を説明するフローチャートである。ステップＡＡ〜ＤＤは、米国特許出願第０９／５９０，８２５号に記載されたシステムのエンコーダ側で行われ、ステップＥＥ〜ＨＨは、米国特許出願第０９／５９０，８２５号に記載されたシステムのサーバ側で行われる。
【００２３】
ステップＡＡでは、オリジナルの符号化されていないビデオデータは、非スケーラブルなコーデックで符号化され、図２Ｂに示されるようなＩ及びＰフレームのみを有するベースレイヤ１４を生成する。Ｂフレームは、ベースレイヤでは符号化されない。
【００２４】
図２Ｂのビデオ符号化スキームの使用は、Ｉ及びＰフレームのみが時間的な相関に大きく寄与する事実を利用している。したがって、ベースレイヤにおけるＢフレームを符号化しないことは、より多くのビットＲＢＬがＩ及びＰフレームの符号化について利用することができるとき、高品質のベースレイヤのＩ及びＰフレームを提供する。高品質のベースレイヤのＩ及びＰフレームは、ベースレイヤにける時間的な非相関を改善する。
【００２５】
ステップＢＢでは、動き補償又は時間的に残余のＢフレームは、オリジナルのビデオデータとベースレイヤの参照のＩ及びＰフレームフレームの間の差を計算することにより予測される。２つの時間的に隣接するベースレイヤの参照フレームは、それぞれの時間的な残余のＢフレームを予測するために使用される。Ｂフレームは、改善された品質のベースレイヤの参照Ｉ及びＰフレームからより正確に予測されるので、この符号化スキームにおいて利益を与える。
【００２６】
ステップＣＣでは、改善された品質又は信号対雑音比（ＳＮＲ）の残余のＩ及びＰフレームは、オリジナルのビデオデータとベースレイヤフレームの基準フレームの間の差を計算することにより生成される。残余のＳＮＲのＩ及びＰフレームは、減少された時間的な相関により符号化されるので、この符号化スキームにおいて利益を与える。このことは、スケーラブルコーデックによる符号化が更に行われるときに、改善された性能をもたらすことになる。
【００２７】
ステップＤＤでは、残余の時間的なフレーム及び残余のＳＮＲフレームは、ＦＧＳのような適切なスケーラブルコーデックで符号化され、スケーラブルに符号化された時間的なＢフレーム及びスケーラブルに符号化されたＳＮＲのＩ及びＰフレームを有するエンハンスメントレイヤを生成する。図２Ｂに示される実施の形態では、残余の時間的フレーム及び残余のＳＮＲフレームは、ＦＧＳで符号化されており、したがって、ＦＧＳフレームにより示されるエンハンスメントレイヤの時間的なＢフレームが生成される。
【００２８】
ステップＥＥでは、ＲＢＬまでのビットレートは、高品質のベースレイヤのＩ及びＰフレームに割当てられ、ＲＢＬとＲＢＬ＋ｋ（ｋは、ＲＢＬより小さいか、ＲＢＬに等しい）の間のビットレートは、エンハンスメントレイヤの時間的なフレームに割当てられ、ＲＢＬ＋ｋとＲｍａｘの間のビットレートは、時間的なフレームとＳＮＲフレームの間に一様に割当てられる。
ステップＦＦでは、ベースレイヤのＩ及びＰフレームは、帯域幅ＲＢＬで常に伝送される。
【００２９】
ステップＧＧでは、利用可能な帯域幅がＲＢＬとＲＢＬ＋ｋ（ｋはＲＢＬより小さいか、ＲＢＬに等しい）の間であると判定されたときに、エンハンスメントレイヤの時間的なフレームの少なくとも１部が伝送される。これは、時間的なフレームの少なくとも１部を１つずつ徐々に伝送することにより達成されることが好ましい。時間的なフレームのどの部分をはじめに伝送すべきかを判定するための手法は、最も大きなモーションアクティビティを有する時間的なフレーム部分がはじめに伝送される符号化の間に、エンコーダによりこの情報が既に決定されているときに、モーションアクティビティに基づく場合がある。
【００３０】
ステップＨＨでは、エンハンスメントレイヤの時間的なフレームの残りの部分、及びエンハンスメントレイヤのＳＮＲフレームの少なくとも１部は、利用可能な帯域幅がＲＢＬ＋ｋとＲｍａｘの間にあると決定されたときに、追加的に伝送される。
【００３１】
図４は、図２Ｂの構造に適用される方法を例示している。
先に述べたように、本方法は、先に言及した米国特許出願第０９／５９０，８２５号で記載されたシステムを使用して実行される場合があり、該システムは図５に示されている。エンコーダでは、ビデオソース２０からの符号化されていないビデオデータは、ベースレイヤエンコーダ２１及びハイブリッドテンポラル−ＳＮＲスケーラブルビデオエンコーダ２２の両者に入力される。
【００３２】
ベースレイヤエンコーダ２１は、標準的なフレーム予測符号化技法を使用して、オリジナルのビデオデータの一部を符号化する。ベースレイヤエンコーダ２１は、所定のビットレートＲＢＬで圧縮する。関連する可変帯域幅のネットワーク２４の現在の帯域幅に基づいて、計算ブロック２３を使用してＲＢＬが決定されることが好ましい。
【００３３】
計算ブロック２３は、最小ビットレートＲｍｉｎ、最大ビットレートＲｍａｘ及びネットワーク２４の現在利用可能な帯域幅Ｒを測定する。次いで、計算ブロック２３は、ＲＢＬを好ましくはＲｍｉｎに設定して、その最小の帯域幅であっても、ネットワーク２４が符号化されたビデオデータを収容することができることを保証することができる。
【００３４】
ビデオソース２０からのオリジナルのビデオデータ、及びベースレイヤのエンコーダ２１により提供される符号化ビデオデータ（すなわち、ベースレイヤ）は、ハイブリッドエンコーダ２２における残像（ＲＩ）計算ブロック２５及び動き補償残像（ＭＣＲＩ）計算ブロック２６の両者に経路付けされる。
【００３５】
ＲＩ計算ブロック２５及びＭＣＲＩ計算ブロック２６は、オリジナルビデオデータと符号化ビデオデータを使用して、残像２７及び動き補償（ＭＣ）残像２８を生成する。より詳細には、ＲＩ計算ブロック２５は、ベースレイヤエンコーダ２１から符号化ビデオデータを受け、次いで、該符号化ビデオデータを復号化する。その後、残像２７は、この復号化ビデオデータにおける画素とオリジナルビデオデータにおける画素との間の差に基づいて生成される。
【００３６】
ＭＣＲＩ計算ブロック２６は、ベースレイヤエンコーダ２１から符号化ビデオデータを受け、次いで、該符号化ビデオデータを復号化する。その後、ＭＣ残像２８は、復号化されたビデオデータから、動き補償アプローチに基づいて生成される。次いで、この動き補償ピクチャは、対応するオリジナルピクチャから差し引かれる。
【００３７】
また、ハイブリッドエンコーダ２２は、ＭＣＲＩエンハンスメントレイヤエンコーダ２８、及び残像のエンハンスメントレイヤエンコーダ３０を含んでおり、その両者は、ＦＧＳのようなスケーラブルコーデックを利用する。動作の間、ＭＣＲＩエンハンスメントレイヤエンコーダ２９、及び残像のエンハンスメントレイヤエンコーダ３０は、スケーラブルコーデックを使用して、ＭＣ残像２２及び残像１２をそれぞれ符号化する。
【００３８】
ＭＣＲＩエンハンスメントレイヤエンコーダ２９は、圧縮された時間的なフレーム３１からなるデータストリームを生成し、ＲＩエンハンスメントレイヤエンコーダ３０は、ＳＮＲフレーム３２からなるデータストリームを生成する。データストリーム３１，３２は結合され、１つのエンハンスメントレイヤのデータストリームを生成することができ、２つの個別のストリームとして維持することもできる。いずれのケースであっても、結果的に得られるストリームは、リアルタイムで記憶又は伝送することができる。
【００３９】
サーバでは、リアルタイムのスケーラブルビデオレートコントローラ３４は、（ベースレイヤエンコーダ２１により生成されたベースレイヤのフレームデータストリーム３３と共に）時間的データストリーム３１及びＳＮＲフレームデータストリーム３２を受信し、上述した方法のステップＥＥ〜ＨＨをリアルタイムで実行する。
【００４０】
レートコントローラ３４は、メモリ（図示せず）との通信可能なプロセッサを典型的に含んでいる。このプロセッサは、上記方法のステップＥＥ〜ＨＨを実行することができる特定用途向けプロセッサ又は汎用プロセッサである場合がある。このプロセッサは、実行されたときに、上記方法のステップＥＥ〜ＨＨを実行するコードを含んでいる。このコードは、メモリに記憶されている場合がある。
【００４１】
レートコントローラ３４は、計算ブロック２３、ＦＧＳレートコントローラ３５及びオプション的なユーザ入力３６から受けた、入力Ｒ、ＲＢＬ及びＲｍａｘに基づいて、ステップＥＥ〜ＨＨを実行する。ＲＢＬまでのビットレートは、ベースレイヤのＩ及びＰフレームに割当てられているので、ベースレイヤのフレームは、これら入力に基づいて常に伝送される。
【００４２】
レートコントローラ３４は、時間的及びＳＮＲフレーム（Ｒ−ＲＢＬ）を伝送するために残されている利用可能な帯域幅を決定する。この情報に基づいて、レートコントローラ３４は、エンハンスメントレイヤのストリーム３１とストリーム３２の間のビットレートを本方法のステップＥＥに従い割当てる。
【００４３】
フレームデータストリーム間のビットレートを割当てた後、レートコントローラ３４は、ベースレイヤのストリームとエンハンスメントレイヤのストリームとして、可変帯域幅を有するネットワーク２４に、本方法のステップＦＦ〜ＨＨに従いデータストリームを伝送する。
【００４４】
良好な時間的な非相関の一方で、本発明は、ＢフレームはＦＧＳＴで常に符号化され、たった１つの残余（ＭＣ残余）が計算される必要があり、したがって、符号が１度だけ符号化される必要があるので複雑さを低くすることができ、良好な効率が実現されるという２次的な利点を有する。また、ベースレイヤは、Ｉ及びＰフレームのみを含むので、その複雑さは適度なものとなる。計算及びメモリトラフィックがより複雑になると、Ｂフレームはエンハンスメントレイヤのみに導入される。
【００４５】
本発明の方法は、図６に示されるハイブリッドテンポラル−ＳＮＲスケーラブルビデオ符号化スキームを採用する場合があり、該スキームは、Ｉ及びＰフレームで符号化されるベースレイヤ４０、２つのエンハンスメントレイヤ、すなわち、時間的なＢフレームで符号化されるテンポラルレイヤ４１、及びＳＮＲのＩ及びＰフレームで符号化されるＳＮＲレイヤ４２を含んでいる。この符号化スキームの詳細は、上述した米国特許出願第０９／５９０，８２５号で説明されている。
【００４６】
上述した発明は、上記実施の形態を参照して記載されてきたが、本発明の精神を逸脱することなしに、様々な変更及び変形を行うことができる。したがって、すべてのかかる変更及び変形は、特許請求の範囲に包含されることが考慮されている。
【図面の簡単な説明】
【図１】
従来のエンハンスメントレイヤのビデオ符号化スキームを示す図である。
【図２Ａ】
本発明で使用される例示的なＦＧＳハイブリッドテンポラル−ＳＮＲビデオ符号化スキームを示す図である。
【図２Ｂ】
本発明で使用される例示的なＦＧＳハイブリッドテンポラル−ＳＮＲビデオ符号化スキームを示す図である。
【図３】
本発明の概念による方法のステップを説明するフローチャートである。
【図４】
図２Ｂの構造に適用される方法を例示する図である。
【図５】
本発明のハイブリッドスケーラブル符号化スキームを利用した、例示的な実施の形態によるシステムを示す図である。
【図６】
本発明で使用される場合がある、別の例示的なＦＧＳハイブリッドテンポラル−ＳＮＲビデオ符号化スキームを示す図である。
【図１】
2004509574.tif 000003
【図２Ａ】
2004509574.tif 000004
【図２Ｂ】
2004509574.tif 000005
【図３】
2004509574.tif 000006
【図４】
2004509574.tif 000007
【図５】
2004509574.tif 000008
【図６】
2004509574.tif 000009
【国際公開パンフレット】
2004509574.tif 000010
2004509574.tif 000011
2004509574.tif 000012
2004509574.tif 000013
2004509574.tif 000014
2004509574.tif 000015
2004509574.tif 000016
2004509574.tif 000017
2004509574.tif 000018
2004509574.tif 000019
2004509574.tif 000020
2004509574.tif 000021
2004509574.tif 000022
2004509574.tif 000023
2004509574.tif 000024
2004509574.tif 000025
2004509574.tif 000026
2004509574.tif 000027
2004509574.tif 000028
2004509574.tif 000029
2004509574.tif 000030
【国際公開パンフレット（コレクトバージョン）】
2004509574.tif 000031
【国際公開パンフレット（コレクトバージョン）】
2004509574.tif 000032
【国際調査報告】
2004509574.tif 000033
2004509574.tif 000034
2004509574.tif 000035
2004509574.tif 000036
2004509574.tif 000037
2004509574.tif 000038