(57)【要約】データのストリームを復号化するための方法であって、復号化画像の品質及び画像を復号化するためのビットレートとの間の関係を確認する段階と、データのストリームから復号化される画像の好ましい品質を選択する段階と、関係を用いて、前記の好ましい品質に対応するビットレートを決定する段階と、データのストリームから決定されたビットレートに対応するビットプレーンの最小数を復号化する段階と、を有する方法。
2005531240.tif 000002
【特許請求の範囲】
【請求項１】
データのストリームを復号化するための方法であって：
（ａ）復号化画像の品質と前記画像を復号化するためのビットレートとの間の関係を確認する段階；
（ｂ）前記のデータのストリームから復号化される画像の好ましい品質を選択する段階；
（ｃ）前記関係を用いて、前記の好ましい品質に対応するビットレートを決定する段階；並びに
（ｄ）前記のデータのストリームから前記の決定されたビットレートに対応するビットプレーンの最小数を復号化する段階；
を有することを特徴とする方法。
【請求項２】
請求項１に記載の方法であって、前記関係は次式により規定され、
Ｑ（Ｒ）＝ＱＢＬ＋（Ｒ−ＲＢＬ）／ｃ
ここで、Ｑ（Ｒ）はビットレートＲにおける前記画像の前記品質、ＱＢＬは前記データベースストリームのベースレイヤの品質目安、ＲＢＬは前記ベースレイヤの伝送に対応するビットレート及びｃは定数である、ことを特徴とする方法。
【請求項３】
請求項１に記載の方法であって：
（ｅ）前記関係における変化を確認する段階；並びに
（ｄ）前記の好ましい品質及び前記の変化した関係に対応するように復号化されたビットプレーンの数を動的に調整する段階；
を更に有する、ことを特徴とする方法。
【請求項４】
請求項３に記載の方法であって、段階（ｆ）は、低詳細度を有する画像シーケンスに対して比較的小さいビットレートを用いる手順を有する、ことを特徴とする方法。
【請求項５】
請求項３に記載の方法であって、段階（ｅ）及び（ｆ）は、シーン変化が検出されたとき、実行される、ことを特徴とする方法。
【請求項６】
請求項１に記載の方法であって、段階（ｂ）の前に、少なくとも２つの画像品質の値の各々に対する画像を復号化するために必要な資源のそれぞれの目安及び少なくとも２つの画像品質の値を表示する段階を有する、ことを特徴とする方法。
【請求項７】
請求項１に記載の方法であって、前記のデータのストリームのソースに前記の決定されたビットレートを伝送するための段階であって、前記のデータのストリームの前記ソースが前記の決定されたビットレートにおけるデータの将来のストリームのみを伝送するために要求される、ことを特徴とする方法。
【請求項８】
符合化されたコンピュータプログラムコードを有するコンピュータ読み取り可能媒体であって、
前記コンピュータプログラムコードがプロセッサにより実行されるとき、該プロセッサはデータのストリームを復号化するための方法を実行するコンピュータ読み取り可能媒体であり：
（ａ）復号化画像の品質及び前記画像を復号化するためのビットレートとの間の関係を確認する段階；
（ｂ）前記のデータのストリームから復号化される画像の好ましい品質を選択する段階；
（ｃ）前記関係を用いて、前記の好ましい品質に対応するビットレートを決定する段階；並びに
（ｄ）前記のデータのストリームから前記の決定されたビットレートに対応するビットプレーンの最小数を復号化する段階；
を有することを特徴とするコンピュータ読み取り可能媒体。
【請求項９】
請求項８に記載のコンピュータ読み取り可能媒体であって、前記関係は次式により規定され、
Ｑ（Ｒ）＝ＱＢＬ＋（Ｒ−ＲＢＬ）／ｃ
ここで、Ｑ（Ｒ）はビットレートＲにおける前記画像の前記品質、ＱＢＬは前記データベースストリームのベースレイヤの品質目安、ＲＢＬは前記ベースレイヤの伝送に対応するビットレート及びｃは定数である、ことを特徴とするコンピュータ読み取り可能媒体。
【請求項１０】
請求項９に記載のコンピュータ読み取り可能媒体であって、ｃはＲＢＬに略等しい、ことを特徴とするコンピュータ読み取り可能媒体。
【請求項１１】
請求項９に記載のコンピュータ読み取り可能媒体であって、前記データストリームのソースからＱＢＬの値を受信する段階を更に有する、ことを特徴とするコンピュータ読み取り可能媒体。
【請求項１２】
請求項９に記載のコンピュータ読み取り可能媒体であって、量子化ステップと、動きベクトルと、マクロブロック予測タイプとを有する１つ又はそれ以上の群に基づくＱＢＬを計算する段階を更に有する、ことを特徴とするコンピュータ読み取り可能媒体。
【請求項１３】
請求項８に記載のコンピュータ読み取り可能媒体であって、前記のビットプレーンの最小数は、段階（ｃ）において決定された前記ビットレートに対応する実数を有する群の１つであり、段階（ｃ）において決定された前記ビットレートに等しいか又はそれより大きい最小の整数である、ことを特徴とするコンピュータ読み取り可能媒体。
【請求項１４】
請求項８に記載のコンピュータ読み取り可能媒体であって：
（ｅ）前記関係における変化を確認する段階；並びに
（ｄ）前記の好ましい品質及び前記の変化した関係に対応するように復号化されたビットプレーンの数を動的に調整する段階；
を更に有する、ことを特徴とするコンピュータ読み取り可能媒体。
【請求項１５】
請求項１４に記載のコンピュータ読み取り可能媒体であって、段階（ｆ）は、高詳細度及び低移動度を有する画像シーケンスに対して比較的大きいビットレートを用いる手順を有する、ことを特徴とするコンピュータ読み取り可能媒体。
【請求項１６】
請求項１４に記載のコンピュータ読み取り可能媒体であって、段階（ｆ）は、比較的低い詳細度を有する画像シーケンスに対して比較的小さいビットレートを用いる手順を有する、ことを特徴とするコンピュータ読み取り可能媒体。
【請求項１７】
請求項１４に記載のコンピュータ読み取り可能媒体であって、段階（ｅ）及び（ｆ）は、シーン変化が検出されたとき、実行される、ことを特徴とするコンピュータ読み取り可能媒体。
【請求項１８】
請求項８に記載のコンピュータ読み取り可能媒体であって、段階（ｂ）の前に、少なくとも２つの画像品質の値の各々に対する画像を復号化するために必要な資源のそれぞれの目安及び少なくとも２つの画像品質の値を表示する段階を有する、ことを特徴とするコンピュータ読み取り可能媒体。
【請求項１９】
請求項１８に記載のコンピュータ読み取り可能媒体であって、前記資源の前記目安は前記それぞれの画像品質を有する前記のデータのストリームを復号化する時間を有する群の１つであって、バッテリ充電の割合は前記それぞれの画像品質においてデータのストリームを復号化するために用いられ、ビットレートは前記それぞれの画像品質において前記のデータのストリームを復号化するために用いられる、ことを特徴とするコンピュータ読み取り可能媒体。
【請求項２０】
請求項８に記載のコンピュータ読み取り可能媒体であって、前記方法は、前記のデータのストリームのソースに前記の決定されたビットレートを伝送する段階を更に有し、前記のデータのストリームの前記ソースは前記の決定されたビットレートにおいて将来のデータのストリームを伝送するためにのみ要求される、ことを特徴とするコンピュータ読み取り可能媒体。
【請求項２１】
データのストリームを復号化するための復号化器であって：
前記のデータのストリームから復号化される画像の好ましい品質の選択を受信するための手段；
復号化された画像の品質に基づいて前記画像を復号化するためにビットレートを決定するための手段であって、前記決定のための手段は前記の好ましい品質に対応する好ましいビットレートを提供する、手段；並びに
前記のデータのストリームから前記好ましいビットレートに対応する１つ又はそれ以上の画像を生成するようにビットプレーンの最小数が復号化されるように、復号化されるビットプレーンの数を制御するための手段；
を有することを特徴とする復号化器。
【請求項２２】
請求項２１に記載の復号化器であって：
前記復号化された画像の品質と前記ビットレートとの間の関係における変化を確認するための手段；及び
前記の変化した関係と前記好ましい品質に対応するように復号化されたビットレートの数を動的に調整するための手段；
を更に有する、ことを特徴とする復号化器。
【請求項２３】
請求項２２に記載の復号化器であって、前記調整手段は、比較的低い詳細度を有する画像シーケンスに対して比較的小さいビットレートを用いる、ことを特徴とする復号化器。
【請求項２４】
請求項２２に記載の復号化器であって、前記変化確認手段は、シーケンス変化が検出されるとき、前記関係における変化を確認する、ことを特徴とする復号化器。
【請求項２５】
請求項２１に記載の復号化器であって、該検出器は、画像品質の少なくとも２つの値の各々に対して前記画像を復号化するために必要な資源のそれぞれの目安と画像品質の少なくとも２つの値とを表示するモバイル装置に含まれる、ことを特徴とする復号化器。
【請求項２６】
請求項２５に記載の復号化器であって、前記資源の前記目安は、前記のそれぞれの画像品質を有する前記のデータノストリームを復号化する時間を有する群の１つであって、バッテリ充電の割合は前記それぞれの画像品質においてデータのストリームを復号化するために用いられ、ビットレートは前記それぞれの画像品質において前記のデータのストリームを復号化するために用いられる、ことを特徴とする復号化器。
【請求項２７】
請求項２１に記載の復号化器であって、前記復号化器は、前記のデータのストリームの前記ソースは前記の決定されたビットレートにおいて将来のデータのストリームのみを伝送することを要求するように、前記のデータのストリームのソースに前記の決定されたビットレートを伝送するモバイル装置に含まれる、ことを特徴とする復号化器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、微粒子スケーラビリティの実施に関する。
【背景技術】
【０００２】
インターネットプロトコル（ＩＰ）ネットワークに対する映像ストリーミングは広い領域のマルチメディアアプリケーションを可能にしてきている。インターネット映像ストリーミングは、インターネットに対するサービス品質（Ｑｕａｌｉｔｙ−ｏｆ−Ｓｅｒｖｉｃｅ）保証の欠如を補償する一方、連続メディアコンテンツをリアルタイムに提供する。ＩＰネットワークに対する帯域幅及び他の性能パラメータ（例えば、パケット損失レート）が変化することと予測不可能であることとのために、一般に、殆どの提供されたストリーミング解決方法は、あるタイプの階層型（又は、スケーラブル）映像符合化に基づいている。
【０００３】
幾つかのビデオスケーラビリティ方法は、ＭＰＥＧ−２、ＭＰＥＧ−４及びＨ．２６３のようなビデオ圧縮規格により採用されてきた。時間的、空間的及び品質（ＳＮＲ）スケーラビリティタイプはこれらの規格において規定されてきた。これらのタイプのスケーラブルビデオ全ては、ベースレイヤ（ＢＬ）及び１つ又はそれ以上のエンハンスメントレイヤ（ＥＬ）を有する。スケーラブルビデオストリームのＢＬ部分は、一般に、そのストリームを復号化するために必要な最小データ量を表す。ストリームのＥＬ部分は付加情報を表し、それ故、受信器により復号化されたとき、ビデオ信号表現をエンハンスする。微粒子スケーラビリティ（ＦＧＳ）は、アプリケーションをストリーミングするためにＭＰＥＧ−４規格により最近採用された新しいビデオ圧縮フレームワークである。ＦＧＳは、特に、ＩＰベースのネットワークであって、一般に、インターネットを特徴付ける帯域幅変化シナリオの広い領域を支援することができる。このタイプのスケーラビリティを用いて符合化された画像は次第に復号化されることができる。即ち、復号化器は、非常に少ない量のデータを受信した後、復号化及び表示を開始することができる。復号化器が更にデータを受信するにつれ、復号化画像の品質は、完全な情報が受信され、復号化され、そして表示されるまで、次第にエンハンスされる。先導的国際的規格の中で、次第に画像を復号化することは、ＪＰＥＧにおいて支持されるモードの１つ及びＭＰＥＧ−４ビデオにおける静止画、テクスチャ符合化ツールである。
【０００４】
ＥＬは、プログレッシブ（埋め込み）コーデックを用いて、ＳＮＲ及び一時的に残ったデータを圧縮する。このようにして、ＦＧＳの残りの信号はビットプレーン毎に圧縮され、最上位のビットプレーンから開始し、最下位のビットプレーンで終了する（図５参照）。従来技術の復号化器においては、受信されたビットプレーンの全数が復号化される。図５は、全フレームに亘って最上位のビット（ＭＳＢ）から最下位のビット（ＬＳＢ）へのプログレッシブ（ビットプレーン毎の）符合化を用いる、そのようなＦＧＳエンハンスメントレイヤビットプレーンの例を示している。
【０００５】
代替として、複雑さを低減させるために、復号化器は、所定数のビットプレーンが受信され、復号化された後、復号化を停止することができる。例えば、データレートの制限Ｒ及びフレームレートｆｒが与えられる場合、フレーム当たりＲ／ｆｒビットを復号化した後、復号化器を停止することができる。しかしながら、復号化器の複雑さを低減するためにビットプレーンを捨てることは不所望の視覚的品質につながることとなる。更に、所定のビットレートが正確に実行されたときに復号化が停止する（即ち、正確には、Ｒ／ｆｒビットはフレーム毎に送信され、復号化される）場合、ビット数は、ビットプレーンの非整数の数に最もよく対応する。例えば、画像の開始には３つのビットプレーンを有することが可能である一方、画像の終了には２つのビットプレーンを有し、同じ画像又はシーケンスにおいて非一貫性品質に導く。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
改善された復号化器が望ましい。
【課題を解決するための手段】
【０００７】
本発明は、データのストリームを復号化するための方法及び復号化器を有する。
画像を復号化するためにビットレートと復号化画像の品質との間における関係が特定される。データのストリームから復号化されるべき画像の好ましい品質が選択される。その関係を用いて、好ましい品質に対応するビットレートが決定される。決定されたビットレートに対応する最小数はデータのストリームから復号化される。
【発明を実施するための最良の形態】
【０００８】
結果として得られた可視画像品質を考慮することなく、復号化器の複雑さを低減させるために、ビットプレーンの固定数（たぶん、整数）を捨てることは、不所望の視覚的品質の低下につながることとなる。
【０００９】
更に、ビットプレーンの固定数を捨てることにより得られる画像品質における効果シーケンス特性に依存する。例えば、高詳細度及び低移動度のシーケンスは、多くのビットを有するＦＧＳにより符合化され、それ故、例えば、２つのビットプレーンを捨てることは、高移動度及び低周波数詳細度を有する画像に対して、例えば、４つのビットプレーンを捨てることより、画像品質に関して著しく大きい影響を有している。従って、このことは、コンテンツが変化するにつれて、大きい品質変動をもたらし得る。図１乃至４の代表的な例において、復号化の複雑さを捨てるためにビットプレーンを捨てる前に、復号化器は画像品質に関するビットプレーンを捨てる効果を考慮に入れる。
【００１０】
図１乃至４の実施形態は、それらの図のストリームを復号化するために、低能力の復号化装置の複雑さを低減する。それらの図の復号化器は、より低い複雑度はより少ない数のビットプレーンに関連するため、固有の複雑度スケーラビリティ特徴を有している。しかしながら、全体のビットプレーンの固定数が常に捨てられる場合、結果として復号化される画像品質は予測できない。図１乃至４の実施形態において、ベースレイヤ品質タグ（例えば、ＰＳＮＲ）を用いることにより、ビットプレーンの特定数の復号化に関連した視覚的品質（例えば、ピークの信号対ノイズ比、即ち、ＰＳＮＲ）を評価する方法及び復号化器について説明している。このことはスケーラビリティの複雑さの低減を可能にする一方、好ましい品質のコンテンツを実現する。
【００１１】
代表的な例において、ＦＧＳ復号化画像の品質は復号化器側において決定され（オリジナル画像は存在しない）、次いで、好ましい品質レベル以下に画像品質を低下させることなく、その複雑さを低減するためにどれ位多くのビットプレーンを捨てることができるかを決定するために、復号化器は計算された品質を用いる。
【００１２】
図１は、本発明の代表的な実施形態のフロー図である。図１は、データノストリームを復号化するための方法及び装置を示している。
【００１３】
段階１００において、復号化画像の品質とその画像を復号化するためのビットレートとの間の関係を特定する。そのような関係の例について、“品質とビットレートとの関係”と題した節において、下で更に説明する。段階１０２においては、ベースレイヤのビットレートＲＢＬにおいてベースレイヤ品質ＱＢＬがデータストリームに含まれる場合、段階１０４において、ＱＢＬの値は、復号化器によるサイド情報（ユーザデータフィールドにおける）として受信されることができる。代替として、ＱＢＬが段階１０２においてデータストリームにない場合、段階１０６において、ＱＢＬは、復号化器に対して利用可能である復号化情報に基づいて、即ち、量子化ステップ、動きベクトル、マクロブロック予測タイプ又はそれら３つの組み合わせに基づいて、計算されることができる。ＱＢＬは、ＰＳＮＲに関して又は他の主観的メトリック（即ち、画像品質の主観的評価と関連付けられ、表形式にされた客観的メトリック）を用いて、表現されることができる、ことに留意されたい。他のメトリックは、ブロッキネス、シャープネス、フリッカノイズを有するが、これらに限定されるものではない。段階１０８において、画像品質計算において用いられる他のパラメータが決定される。例えば、下で更に説明する関係に対して、付加パラメータは、ベースレイヤビットレート及び品質対ビットレート曲線の勾配を有する。
【００１４】
段階１１０において、データストリームから復号化されるべき画像の好ましい品質、用いられるべき処理速度又は復号化時間についての選択がなされる。代表的な選択プロセスは、図３を参照して下で説明する。
【００１５】
段階１１２において、好ましい品質、速度又は復号化時間に対応するビットレートが、それらの関係を用いて、決定される。
【００１６】
段階１１６において、データストリームから決定されたビットレートに対応して、最小数のビットプレーンの復号化が開始する。最小数のビットプレーンは、計算されたビットレート、若しくは計算されたビットレートに等しいか又はそれより大きい最小整数に一致する実数であることが可能である。
【００１７】
一部の実施形態において、復号化されたビットプレーンの数は、高詳細度であるときにフレームのシーケンスの間に増加し、低詳細度であるときにフレームのシーケンスの間に減少するように、単一のビデオシーケンスの範囲内において動的に調整される。例えば、好適には、新しいシーン変化が検出される（例えば、動きベクトル等に基づいて）度に、ベースレイヤ品質ＱＢＬは評価され、ビットレートの復号化における変化が適切であるかどうかの決定がなされる。高移動度及び低周波数詳細度であるとき、固定数のビットプレーンが全体のビデオシーケンスに対して用いられる場合に、これらの実施形態において、捨てられたものより多くのビットプレーンを捨てることができる、ことが検討される。
【００１８】
図２は、代表的な実施形態におけるビットレートの任意の動的調整を示すフロー図である。図２の各段階は、例えば、シーン変化の検出の際の、適切な時間に自動的に実行されることが可能である。段階２００において、シーン変化が検出される。検出は、例えば、動きベクトルに基づくことが可能である。
【００１９】
段階２０２において、画像品質とビットレートとの間の関係における変化が確認される。例えば、ＱＢＬにおける変化が確認されることが可能である。
【００２０】
段階２０４において、画像における詳細度の値が考慮される。画像における詳細度の値が増加する場合、段階２０６及び２０８が実行される。画像における詳細度の値が減少する場合、段階２０７及び２０９が実行される。これらの段階は、好ましい品質及び変化した関係に対応するように復号化されるビットプレーンの数を動的に調整する。
【００２１】
高詳細度を有する画像シーケンスのための段階２０６において、復号化されるビットプレーンの数は増加する（捨てられる数は減少する）。段階２０８においては、比較的大きいビットレートが用いられる。
【００２２】
低詳細度を有する画像シーケンスのための段階２０７において、復号化されるビットプレーンの数は減少する（捨てられる数は増加する）。段階２０９においては、比較的小さいビットレートが用いられる。
【００２３】
図２は動的調整技術について示しているが、他の実施形態においては、動的調整はないことが可能であって、捨てられるべきビットプレーンの数は、各々の画像シーケンスに対して、一度、決定されることが可能であり、そのシーケンスを通して一定に保たれることが可能である。そのような場合、ＱＢＬの値は、そのシーケンスの最初のフレーム又はある平均のタイプに基づくことが可能である。ＱＢＬの平均値に対して、続くフレーム間の動きベクトルは、シーケンス内の動きの値を決定するために用いられることができる。
【００２４】
図３は、復号化プロセス及び復号化器との代表的な任意のユーザインタラクションについてのフロー図である。
【００２５】
段階３００において、ユーザは、画像品質のメニュー又は複雑さを復号化するオプションを必要とする。ユーザは、高レベルの復号化器を含む特定の装置における制御及び機能のメニューからメニューを選択することにより、そのように要求することが可能である。段階３０２において、復号化器を有する装置は、画像品質の少なくとも２つの値の各々に対して画像を復号化するために必要な資源のそれぞれの目安及び少なくとも２つの画像品質の値を表示する。品質のいずれの数であって、資源の目安の対が表示されることが可能であるが、好適には、可能な組み合わせのみが表示される必要がある。例えば、復号化器を有する装置のバッテリの能力を上回る復号化時間に相当する画像品質値は、オプションとして表示される必要はない。表示された資源の目安は、それぞれの画像品質と共にデータストリームを復号化するための時間、それぞれの画像品質におけるデータストリームを復号化するために用いられるバッテリ変化の割合、又はそれぞれの画像品質におけるデータストリームを復号化するために用いられるビットレートであることが可能である。
【００２６】
段階３０６において、ユーザは、復号化ビットレートの選択をもたらす対の１つを選択する（たとえ、段階３０２において、ビットレートがユーザに対して表示される資源の目安でないとしても）。
【００２７】
段階３０８において、復号化器は、データストリームのソースに決定されたビットレートを任意に伝送することが可能であり、データストリームのソースは決定されたビットレートにおいて将来のデータストリームのみを伝送することを要求することが可能である。このようなオプションが含まれる場合、段階３１０において、データストリームのソースは、復号化器により要求されるビットレートに伝送されたビットレートを設定することができる。
【００２８】
代替として、捨てられたいずれのビットプレーンがユーザにより復号化されるように所望されないように復号化器は段階３０８を省略することができる。
【００２９】
図３の技術を用いて、ユーザ又は端子は（自動的に）、好ましい品質又は好ましい処理パワーを選択することができる。ユーザは、例えば、残りのバッテリ時間を長くするため又は画像品質を改善するために、ＱＦＩＸを設定する固定品質をマニュアル操作で調整することができる。装置は、ユーザの要求又は所定の品質合意に基づいて、バッテリ時間に対する画像品質を容易に交換することができる、又は、ＱＢＬと同じくらい画像品質を低下させることにより（即ち、ＲＢＬまでビットレートを低下させることにより）バッテリ時間を最大化することができる。
【００３０】
例えば、選択された品質に基づいて、装置が、ＦＧＳを用いてアプリケーションをストリーミングするためにどれ位多くのバッテリ時間が尚も残っているについてユーザに情報提供することができるモバイル端子に、そのような特徴を設けることができる。モバイル装置におけるデータの所定量を復号化するための平均時間が評価されることができる（この平均は、両方のベースレイヤ及び時間を復号化するエンハンスメントレイヤの合成として評価されることが可能である）。伝送レートＲを指定することにより、ユーザは、復号化されたデータ量を、それ故、モバイル装置が所定のストリームを復号化するために費やす時間量を制御する。モバイルユニットは、どちらかのレートにおいてストリームを復号化するために必要な時間の予測量とバッテリにおいて残された動作時間量を比較することができ、分で又は全バッテリ能力の割合として、ユーザに対して情報を提供することができる。ユーザは、次いで、この情報に基づいて、レートを選択することができる。
【００３１】
図４は、復号化器４００を特徴付ける代表的な実施形態のブロック図である。復号化器４００は、ベースレイヤ（ＢＬ）復号化器４１０とエンハンスメントレイヤ復号化器４５０とを有している。ＢＬ復号化器４１０は、ＢＬビットストリームを受信するデマルチプレクサを有し、ＢＬ可変長復号化器（ＶＬＤ）に符合化された離散的コサイン変換（ＤＣＴ）係数のデータを提供し、そして、動き補償ブロック４２２にＢＬ動きベクトル（ＭＶ）を提供する。ＢＬ  ＶＬＤ４１４は逆量子化ブロック４１６に復号化データを提供し、その逆量子化ブロック４１６はＤＣｔ係数データを出力する。逆ＤＣＴブロック４１８は逆ＤＣＴ演算を実行し、加算器４２４にビデオフレームを提供する。動き補償ブロック４２２はＢＬフレームメモリ４２０からＢＬ  ＭＶ及びＢＬフレームを受信し、加算器４２４に付加フレームを提供するためにメモリ４２０においてＢＬフレームにおいて動き補償を実行する。復号化ＢＬデータストリームは、加算器４２４からＢＬフレームメモリ４２０及びＥＬ復号化部４５０に出力される。
【００３２】
ＥＬ復号化器４５０は、ＥＬビットストリームを受信し、逆ＤＣＴブロック４５４にＤＣＴ係数データを提供するＦＧＳビットプレーンＶＬＤ４５２を有している。逆ＤＣＴブロック４５４は、逆ＤＣＴ演算を実行し、エンハンスビデオストリームを提供するために加算器４５６におけるＢＬデータに加算されるＥＬフレームデータを出力する。
【００３３】
復号化器４００は、どれ位多くのビットプレーンを復号化するべきかを決定する付加ブロック４６０を有している。ブロック４６０は、逆量子化ブロック４１６からの情報、ＢＬ動きベクトル及びＥＬビットストリームを受信し、ＦＧＳビットプレーンＶＬＤに復号化されるべきビットプレーンの数を提供する。ブロック４６０の動作は図１乃至３に示されていて、上記のようなものである。
【００３４】
種々のレート歪曲線について、同じビットレートの範囲内において符合化された種々のシーケンス６０２、６０４及び６０６に対して図６に示している。図６における各々曲線において、最も左のポイントはベースレイヤのビットレートに対応し、対応する品質はＱＢＬである。図６から、次のような２つの観測がなされることができる。
（１）  ベースレイヤ品質ＱＢＬはＦＧＳストリームの全体的品質に大きな影響を及ぼす。
（２）  ＦＧＳ品質はビットレートの関数として殆ど線形に向上する。
【００３５】
ベースレイヤ品質及びベースレイヤ画像レートが与えられる場合の、好ましい画像品質を提供するビットレートを決定するために用いられることができる代表的な関数について、下で説明する。この関数は、少数の算術的演算を用いて瞬時に実行される品質計算を提供するために半経験的観測をうまく利用する。
【００３６】
他の関数は、好ましいビットレートを計算するために、当業者により決定されることが可能である。
【００３７】
レートＲにおけるＦＧＳシステムの品質を、次式によりモデル化することができ、
Ｑ（Ｒ）＝ＱＢＬ＋（Ｒ−ＲＢＬ）／ｃ
ここで、ＱＢＬはベースレイヤ品質、ＲＢＬはベースレイヤのビットレート、ｃはＲＢＬに等しいことが実験的に見つけ出される定数である（即ち、ＦＧＳレート歪関数の勾配は、約４５°の勾配を有することが実験的に分かる）。
【００３８】
典型的には、項（Ｒ−ＲＢＬ）／ｃの値は１０より小さい。ベースレイヤ品質ＱＢＬは、ベースレイヤビットレートＲＢＬに強く依存している。例えば、高詳細度に対して、ＣＩＦ解像度の低移動度シーケンスは、ＲＢＬ＝１００ｋｂｐｓを用いて、それ故、ＱＢＬ（ＰＳＮＲにおいて）〜２５−２８ｄＢを用いて画像化される。それ故、全体的な画像品質への大きい影響が明らかとなる。
【００３９】
次いで、復号化器の複雑さ／パワー消費が、（シーケンス特性から独立して）常に一定値ＱＦＩＸにおいて品質Ｑ（Ｒ）を保ちながら、減少される場合、レートＲ１に対応するビットプレーンの数のみが復号化される必要がある。Ｒ１は、次式により計算することができる。
ＱＦＩＸ＝Ｑ（Ｒ１）＝ＱＢＬ＋（Ｒ１−ＲＢＬ）／ｃ＝ＱＢＬ＋（Ｒ１−ＲＢＬ）／ＲＢＬ
予め設定されたＱＦＩＸに対応する値Ｒ１は、レートＲにおけるＦＧＳストリームＱの品質（上記のような）は線形関数であるため、容易に計算されることができる。この方法に関連する複雑さの低減は又、多くのシーケンスの集合に対して、概して、事前に平均するように計算されることができる。次いで、品質対平均複雑さのテーブルを（専有的）復号化器において用いれ、それに記憶することができる。いずれの所定の品質ＱＦＩＸ、ベースレイヤビットレートＲＢＬ、符合化フレームレート及び空間解像度に対して、このテーブルは平均複雑さ因数を与える
例えば、複雑さは、シーケンスを復号化するために必要な平均ＣＰＵ時間（フレーム当たりミリ秒のオーダーで）で判定される。これは特定の実行プラットフォームと最適なアルゴリズムとに強く依存するため、計算プラットフォーム全てに対する単一の複雑さ因数関係は存在しない。しかしながら、典型的には、複雑さは、シーケンス特性に依存しないが、正しくは、ビットレートＲにのみに依存する。
【００４０】
図７は、３つの異なる画像シーケンスを用いた例を示している。複雑さは、ビットレートの関数として、シーケンスを復号化するためにフレーム当たりのミリ秒数として示されている。複雑さはビットレートを用いて高度に補正され、その関係は略線形である。シーケンス間で僅かなばらつきが存在する。
【００４１】
代表的な実施形態は、例えば、携帯電話、パーソナルコンピュータ、テレビジョンセットトップボックス、記憶装置、デジタルビデオカメラ、（社内）コード変換ゲートウェイ等の無線端末のようなプロダクトに対して特に有用である。その代表的な実施形態は、例えば、ビデオ会議、リアルタイムのビデオ復号化／ストリーミング、ストレージアプリケーション等のようなサービスにおいて用いられることが可能である。このようなリストは専用のものではなく、代表的な復号化技術に対する他のアプリケーションが又考慮されている。
【００４２】
本発明は、それらのプロセスを実施するためのコンピュータ実行型プロセスの方式で具現されることが可能である。本発明は又、例えば、ランダムアクセスメモリ（ＲＡＭ）、フロッピー（登録商標）ディスケット、読み出し専用メモリ（ＲＯＭ）、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ハードドライブ、高密度（例えば、“ＺＩＰ（登録商標）”又は“ＪＡＺＺ（登録商標）”）取り出し可能ディスク又はいずれの他のコンピュータ読み出し可能記憶媒体のような具体的な媒体において実施されるコンピュータプログラムコードの方式で具現されることが可能であり、コンピュータプログラムコードがコンピュータにロードされ、コンピュータにより実行されるとき、コンピュータは本発明を実行するための装置となる。本発明は又、例えば、記憶媒体に記憶され、コンピュータにロードされ及び／又はコンピュータにより実行され、若しくは、例えば、電気配線又はケーブル、光ファイバ又は電磁放射等のある伝送媒体により伝送されるに拘らず、コンピュータプログラムコードの方式で具現されることが可能であり、コンピュータプログラムコードがコンピュータにロードされ、コンピュータにより実行されるとき、コンピュータは本発明を実行するための装置になる。一般目的のプロセッサにおいて実行されるとき、コンピュータプログラムコードセグメントは、特定の回路を生成するためにプロセッサから構成される。代替的に、復号化器は特定の論理回路において実施されることが可能である。
【００４３】
本発明について、代表的な実施形態に関して説明してきたが、本発明はそれに限定されるものではない。正しくは、本発明の他の変形及び実施形態を有するように、同時提出の特許請求の範囲は広く解釈される必要があり、本発明に相当の範囲及び主旨から逸脱することなく、当業者により実施されることが可能である。
【図面の簡単な説明】
【００４４】
【図１】本発明の代表的な実施形態を示すフロー図である。
【図２】図１の実施形態におけるビットレートの動的変化を示すフロー図である。
【図３】図１の実施形態の制御とのユーザインタラクションを示すフロー図である。
【図４】本発明の特徴を実施する復号化器のブロック図である。
【図５】最上位ビットから最下位ビットへのビットプレーンの復号化を示す図である。
【図６】種々の画像シーケンスに対して画像品質がビットレートによりどのように変化するかについて示す図である。
【図７】種々の画像シーケンスに対して、復号化されるストリームのビットレートにより復号化の複雑さがどのように変化するかについて示す図である。
【図１】
2005531240.tif 000003
【図２】
2005531240.tif 000004
【図３】
2005531240.tif 000005
【図４】
2005531240.tif 000006
【図５】
2005531240.tif 000007
【図６】
2005531240.tif 000008
【図７】
2005531240.tif 000009
【国際調査報告】
2005531240.tif 000010
2005531240.tif 000011
2005531240.tif 000012