(57)【要約】  適応的なフォールバックアーキテクチャにおける方法及び装置は、ＭＰＥＧデコーダが、例えば、ＭＰＥＧデコードの計算、メモリ記憶、及び／又はメモリ帯域幅要件を減少するための動作のモードに切り換えられる又は前記動作のモードから切り換えられることができる（２０８）ときの決定を可能にするように、ＭＰＥＧエンコードされたビデオストリームのプレパーズ（２０４）を提供する。プレパーサ１０４は、ＭＰＥＧストリームの一部のデコードの前に、前記ＭＰＥＧストリームにおける動きベクトルの量、種類、及び長さの少なくとも１つを評価し（３０４）、ＭＰＥＧデコーダ（１０６）への通信のための少なくとも１つの制御信号を生成し、ＭＰＥＧデコーダ（１０６）は、前記少なくとも１つの制御信号に応じて、所定のしきい値よりも下であるピークメモリ帯域幅要件を提供するデコードモードに切り換わる。
2008532405.tif 000002
【特許請求の範囲】
【請求項１】
ビデオデコーダのためのシステム負荷を減少する方法であって、エンコードされたビデオストリームを受け取るステップと、前記エンコードされたビデオストリームをプレパーズするステップと、前記エンコードされたビデオストリームの前記のようなプレパーズに少なくとも部分的に基づいて、前記エンコードされたビデオストリームの第１ピクチャの少なくとも第１部分をデコードするためのシステム負荷の要件を決定するステップと、決定された前記システム負荷の要件が所定の値を超えている場合、ビデオストリームデコーダの動作のモードを、フォールバックモードに切り換えるステップとを有する方法。
【請求項２】
前記プレパーズするステップが、前記エンコードされたビデオストリームをデコードする前に、前記エンコードされたビデオストリームにおける１つ以上の動きベクトルを評価するステップを有する、請求項１に記載の方法。
【請求項３】
前記システム負荷の要件を決定するステップが、プレパーズされた前記動きベクトルの量、種類及び長さの少なくとも１つを評価するステップを有する、請求項２に記載の方法。
【請求項４】
前記システム負荷の要件がメモリ帯域幅の要件を含んでいる、請求項３に記載の方法。
【請求項５】
前記メモリ帯域幅の要件はピークメモリ帯域幅の要件である、請求項４に記載の方法。
【請求項６】
前記エンコードされたビデオストリームは、ＭＰＥＧエンコードされたビデオストリームであり、前記デコーダはＭＰＥＧデコーダであり、前記フォールバックモードの動作は、減少された前記システム負荷の要件を生じる、請求項３に記載の方法。
【請求項７】
減少された前記システム負荷の要件は、減少されたメモリ帯域幅の要件である、請求項６に記載の方法。
【請求項８】
前記フォールバックモードの動作は、Ｂピクチャの２つの予測のうちの一方のみを使用する、請求項７に記載の方法。
【請求項９】
予め決定されている前記ピークメモリ帯域幅は、第２ピクチャの少なくとも第２部分をデコードすることによっては超えられないと判断された場合、前記ＭＰＥＧデコーダの前記動作のモードを、フォールバックモードから非フォールバックモードに切り換えるステップを更に有する、請求項８に記載の方法。
【請求項１０】
前記第１ピクチャと前記第２ピクチャとが異なるピクチャである、請求項９に記載の方法。
【請求項１１】
前記ＭＰＥＧデコーダのための前記システム負荷を減少する方法であって、ＭＰＥＧエンコードされたビデオストリームをＭＰＥＧデコーダに供給する前に、前記ＭＰＥＧエンコードされたビデオストリームをプレパーサに供給するステップと、前記ＭＰＥＧエンコードされたビデオストリームにおける複数の動きベクトルの量、種類及び長さの少なくとも１つを評価するステップと、前記ＭＰＥＧエンコードされたビデオストリームの少なくとも第１ピクチャ部分をデコードするために非フォールバックモードで動作する前記ＭＰＥＧデコーダによって必要とされるピークメモリ帯域幅を、前記ＭＰＥＧエンコードされたビデオストリームの前記のような評価に少なくとも部分的に基づいて、決定するステップと、決定された前記ピークメモリ帯域幅の要件が所定の値を超えている場合、前記ＭＰＥＧデコーダの動作のモードを、前記非フォールバックモードからフォールバックモードへ切り換えるステップと、前記ＭＰＥＧエンコードされたビデオストリームを前記ＭＰＥＧデコーダに供給するステップとを有する方法。
【請求項１２】
前記動作の前記フォールバックモードは、Ｂピクチャの前記２つの予測のうちの一方のみを使用する、請求項１１に記載の方法。
【請求項１３】
前記ＭＰＥＧデコーダの前記動作のモードの前記フォールバックモードへ切り換えるステップは、前記第１ピクチャ部分のデコードの間の減少されたピークメモリ帯域幅の用件を生じる、請求項１２に記載の方法。
【請求項１４】
前記ＭＰＥＧエンコードされたビデオストリームをデコードするステップと、前記フォールバックモードから前記非フォールバックモードに切り換わるステップを更に有する、請求項１３に記載の方法。
【請求項１５】
エンコードされたビデオストリームのデコードのシステム負荷の要件を減少する装置であって、第１データストリームを受け取り、第２データストリームを出力として生成するデマルチプレクサと、前記第２データストリームを受け取るように結合されており、かつ、第３データストリームを第１出力として生成するように動作可能であり、少なくとも１つの制御信号を第２出力として生成するのに更に動作可能なプレパーサと、前記第３データストリームと前記プレパーサからの前記少なくとも１つの制御信号とを受け取り、前記第２データストリームの時間遅延されたバージョンのデコードされたバージョンを生成するように結合されたデコーダであって、各モードの動作が異なるシステム負荷要件を有する、動作の少なくとも２つのデコードモードにおいて動作することができるデコーダとを有する装置において、前記第１データストリームは、エンコードされたピクチャデータを含んでおり、前記デコーダの動作のモードは、前記少なくとも１つの制御信号に応じて選択可能なものである、装置。
【請求項１６】
前記第１データストリームはトランスポートストリームであり、前記第２データストリームはエレメンタリストリームであり、前記第３データストリームは、前記エレメンタリストリームの時間遅延されたバージョンであり、前記プレパーサは、少なくとも１つの所定のデコーダのリソース制限に少なくとも部分的に基づいて、前記少なくとも１つの制御信号を生成するように動作可能である、請求項１５に記載の装置。
【請求項１７】
前記デコーダはＭＰＥＧデコーダであって、前記ＭＰＥＧデコーダの動作の１つのモードは、デコードに必要な前記メモリ帯域幅を減少するために、Ｂピクチャの２つの予測の一方のみを使用する、請求項１６に記載の装置。
【請求項１８】
前記ＭＰＥＧデコーダは、ピクチャベースによるピクチャに関する前記少なくとも１つの制御信号を前記プレパーサから受け取る、請求項１７に記載の装置。
【請求項１９】
前記ＭＰＥＧデコーダは、前記少なくとも１つの制御信号に応じて、動作の複数のフォールバックモードのうちの１つを選択するように動作可能である、請求項１７に記載の装置。
【請求項２０】
前記のような所定のリソース制限は、所定のフレームドロップレートに基づいて設定される、請求項１９に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般には、ＭＰＥＧエンコードされた入力ストリームのデコードに関し、より詳細には、ＭＰＥＧデコードのタスクの少なくとも一部に対する計算及びメモリ要件を減少する方法及び装置に関する。
【背景技術】
【０００２】
半導体技術及びデジタルシステムアーキテクチャにおける進歩は、計算能力を大幅させると同時に、前記のような計算能力のコストを減少してきた。低コスト高パフォーマンスの計算リソースは、幅広い様々な民生用電子製品の実施化を可能にしてきた。
【０００３】
一般的な民生用電子製品の間で、ビデオデータを表示すると共に、典型的には音声も再生することができるものがある。前記民生用電子製品は、例えば、ワイヤレス伝送によって、又は予め記録されたビデオデータを検索することによって、表示されるべきビデオデータを受け取ることができる。ビデオデータに関して、ビデオデータの圧縮と解凍に関する様々な産業規格仕様が、開発されている。前記ビデオデータの圧縮及び解凍は、それぞれ符号化及びデコードともしばしば称される。記憶及び／又は伝送用にビデオデータを圧縮することにより、そうでない場合に必要とされる記憶及び伝送容量の量が、減少されることができる。音声／ビデオ圧縮及び解凍のために最も一般に使用されている規格のファミリーの一つは、ＭＰＥＧと称されるものである。
【０００４】
ＭＰＥＧ圧縮（即ちエンコード）は、ビデオ信号を単純にデジタル化することにより、元のビデオ信号が必要としていたものよりも少量のデータによって前記ビデオ信号を表すように、入力ビデオ信号に対して複数の変換を実施する。ＭＰＥＧエンコードは、典型的にはフレームからフレームへと、前記フレームの全てのデータが変化するよりも少なく、データが変化する事実を利用している。フレーム間の様々な変化は、ベース画像フレームに適用される動きベクトルとしてエンコードされることができる。ＭＰＥＧデコードは、本質的には、元のビデオ入力を再生するように、前記のようなエンコード過程を逆行するものである。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ＭＰＥＧデコードに必要な計算、メモリ記憶及びメモリ帯域幅のリソースの要件は、かなり重要である。
【０００６】
求められているのは、ＭＰＥＧデコードに必要な、必要とされる前記計算、メモリ記憶及びメモリ帯域幅のリソースうちの１つ以上を、たとえ一時的にであっても、減少する方法及び装置である。
【課題を解決するための手段】
【０００７】
即ち、適応的なフォールバックアーキテクチャにおいて、ＭＰＥＧエンコードされたビデオストリームのプレパーズによって、例えば、ＭＰＥＧデコードの、計算、メモリ記憶及び／又はメモリ帯域幅の要件を減少するように、ＭＰＥＧデコーダが、動作のモードに切り換えられる又は動作のモードから切り換えられることができるときを決定することができる。プレパーサは、ＭＰＥＧストリームの一部をデコードする前に、該ＭＰＥＧストリーム内の動きベクトルの量、種類及び長さの１つ以上を評価し、ＭＰＥＧデコーダへの通信のための少なくとも１つの制御信号を生成し、該ＭＰＥＧデコーダは、前記少なくとも１つの制御信号に応じて、所定のしきい値よりも低いピークメモリ帯域幅要件を提供するデコードモードに切り換わる。
【発明を実施するための最良の形態】
【０００８】
概ね、本発明は、ＭＰＥＧビデオストリームのデコードの少なくとも一部の間、前記ＭＰＥＧビデオストリームの様々なパラメータに依存して、ＭＰＥＧデコードのためのシステム負荷を減少する装置及び方法に関する。より詳細には、本発明は、ＭＰＥＧデコード過程が、ＭＰＥＧデコーダに、所定のピークメモリ帯域幅のような限界を超えるように要求することがないように、前記ＭＰＥＧデコードの過程を動的に適応化させる方法及び装置に関する。
【０００９】
本明細書における「一実施例」、「実施例」又は「類似の定式化」とは、前記のような実施例と関連して記載されている特定のフィーチャ、構造、動作又は特性を意味し、本発明の実施例の少なくとも１つに含まれている。従って、本明細書における前記のような語句又は定式化の出現は、必ずしも全て同じ実施例を参照しているわけではない。更に、様々な特定のフィーチャ、構造、動作又は特性が、１つ以上の実施例において、何らかの適切な態様で組み合わされることができる。
【００１０】
ＭＰＥＧビデオストリームをデコードする際、前記計算、メモリ記憶及びメモリ帯域幅の要件は、前記ＭＰＥＧストリームの内容に大きく依存する。前記のようなストリームにおける前方を見ることによって、前記要件に関する情報が、実際のＭＰＥＧデコードが行われる前に判断されることができる。この情報は、前記システム負荷（例えば、計算、メモリ記憶及びメモリ帯域幅）を一時的に減少するために、ＭＰＥＧデコーダ内に組み込まれることができる又はＭＰＥＧデコーダ内に設けられることができるフォールバックモードを、オン／オフに動的に切り換えるのに使用されることができる。
【００１１】
フォールバックシナリオ、又は動作モードは、前記システムに対する負荷を減少する近道を提供するために、ＭＰＥＧデコーダ内に設けられることができる。これらの近道は、主にソフトウェアのＭＰＥＧデコーダにおいて使用されている。しかしながら、前記ＭＰＥＧデコーダは、前記ＭＰＥＧデコーダのシステムに対して到来する負荷を判定するように、到来するビデオストリームをプレパーズしていない。
【００１２】
本発明の実施例は、ＭＰＥＧストリームにおける前方を見ると共に、次いで、フォールバックシナリオが前記ＭＰＥＧデコーダにおいて稼動されるべきかどうかを、ＭＰＥＧストリームの１つ以上のシステムパラメータの値に依存して決定する機能を含んでいる。本発明によって提供される前方を見る（即ち、プレパーズする）前記機能がない場合、前記ＭＰＥＧデコーダにおける動作のフォールバックモードへ切り換わるための決定は、いくつかのパラメータについて、常に、遅すぎるであろう（例えば、帯域幅が、調整される必要がある場合）。
【００１３】
使用される際、本発明の実施例は、典型的には、ＭＰＥＧストリームの受信と、前記動きベクトルを調べるための前記ＭＰＥＧストリームのプレパーズと、前記動きベクトルの量、種類及び長さに、少なくとも部分的に基づく、前記ＭＰＥＧデコーダが所与のピクチャ又はピクチャの一部のために消費する前記ピークメモリ帯域幅の決定と、決定された前記ピークメモリ帯域幅が所定の値を超えている場合における、前記ＭＰＥＧデコーダの、前記所与のピクチャ又はピクチャの一部についての動作のフォールバックモードへの切り換えとを含むいくつかの動作を実施する。一実施例において、動作の前記フォールバックモードはＢピクチャの２つの予測のうちの一方のみを使用し、この結果、それぞれの前記ピクチャ又は前記ピクチャの一部のためのメモリ帯域幅に対する要件が減少される。
【００１４】
図１を参照すると、本発明による、デマルチプレクサと、プレパーサと、ハードウェアＭＰＥＧエンコーダとを含む例示的な装置のハイレベルなブロック図が示されている。デマルチプレクサ１０２は、トランスポートストリームを受け取り、出力としてエレメンタリストリームを生じるように結合されている。この場合、前記トランスポートストリームは、エンコードされたピクチャデータを含んでいる。プレパーサ１０４は、前記エレメンタリストリームを受け取るように、デマルチプレクサ１０２に結合されている。本明細書において参照される前記ビデオストリームは、「高解像度」ＭＰＥＧストリーム、又は何らかの他のビデオストリームであってもよいことが分かるであろう。プレパーサ１０４は、前記エレメンタリストリームの内容を評価し、例えば、前記動きベクトルの量、種類及び長さに基づいて、前記ビデオストリームのこの部分をデコードするメモリ帯域幅要件のプロファイルを決定する。前記メモリ帯域幅要件が、所定の値を超えている場合、プレパーサ１０４は、動作のフォールバックモードが前記ビデオストリームのこの特定の部分のデコードにおいて使用されるべきであることを示す制御信号を出力する。この所定の値は、限界又はしきい値とも称される。プレパーサ１０４は、前記エレメンタリストリームの時間遅延されたバージョンも出力する。デコーダ１０６は、前記エレメンタリストリームの前記時間遅延されたバージョンと、前記制御信号との両方を、プレパーサ１０４から受け取るように結合されている。デコーダ１０６は、プレパーサ１０４によってデコーダ１０６に供給された制御信号の状態に依存して、所定のメモリ帯域幅要件内に残るのに適切なモードで動作する。一実施例において、デコーダ１０６は、プレパーサ１０４が、前記デコードの動作が、そうでない場合に、所定のメモリ帯域幅要件を超えるであろうと判断した場合、Ｂピクチャの２つの予測のうちの一方のみを使用する。デコーダ１０６は、デコードされた系列を出力するように更に適応化される。ＭＰＥＧエンコードされたビデオのような、エンコードされたビデオ系列のデコードは、よく知られており、このようなデコードの詳細は、本明細書においては更に記載されない。
【００１５】
上述の前記所定の値に関して、様々な実施例において、前記所定の値とは、固定された値か又はプログラム可能な値かのいずれであっても良い。概ね、前記所定の値は、例えば、ピークメモリ帯域幅のような、前記ＭＰＥＧデコーダのリソース限界に関するものである。しかしながら、前記ＭＰＥＧデコーダが、何らかの特定のフォールバックモードにおいて動作すべきであるかどうかについての決定において、いかなるいリソース限界も、考慮に入れられることができる。前記所定の値がプログラム可能である実施例において、この限界は、ユーザの嗜好、到来するビデオストリーム、又は何らかの考慮もしくは考慮の組み合わせに応じて、動的に設定されることができる。前記所定の値がピークメモリ帯域幅に関するものである、１つの例示的な実施例において、この値は、フレームが、前記ＭＰＥＧデコーダによってドロップされないように、選択されることもできる。代替的な実施例において、前記値は、ドロップレートからの平均を保持するように、選択されることもできる。更に他の代替的な実施例において、前記所定の値は、何らかの適切な設計の考慮又は設計の考慮の組み合わせに基づいて選択されることもできる。本発明は、前記所定の値を設定する何らかの特定の方式に制限されるものではない。更に他の代替的な実施例において、２つ以上のリソース限界（例えば、利用可能なメモリの記憶容量、及びピークメモリ帯域幅の利用可能性）に関する２つ以上の所定の値があっても良く、プレパーサ１０４は、フォールバックモードにおいて動作する前記ＭＰＥＧデコーダに関する決定を、前記のような２つ以上の値に基づいて、することができる。
【００１６】
図２を参照すると、本発明による方法を示している流れ図が示されている。図２に示されている方法は、ビデオデコーダのための前記システム負荷を減少するものであり、エンコードされたビデオストリームを受け取るステップ２０２と、前記エンコードされたビデオストリームをプレパーズするステップ２０４と、前記エンコードされたビデオストリームにおける第１ピクチャの少なくとも第１部分のデコードに対するシステム負荷の要件を、前記エンコードされたビデオストリームの前記のようなプレパーズに少なくとも部分的に基づいて、決定するステップ２０６と、決定された前記システム負荷の要件が所定の値を超えている場合、ビデオストリームデコーダの動作モードをフォールバックモードに切り換えるステップ２０８とを含んでいる。前記プレパーズは、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアとの組み合わせにおいて、実施化されることができることが分かるであろう。
【００１７】
図３を参照すると、本発明による方法を説明している流れ図が、示されている。図３に示されている方法は、ＭＰＥＧデコーダのための前記システム負荷を減少するものであり、ＭＰＥＧエンコードされたビデオストリームをＭＰＥＧデコーダに供給する前に、前記ＭＰＥＧエンコードされたビデオストリームをプレパーサに供給するステップ３０２と、前記ＭＰＥＧエンコードされたビデオストリームにおける複数の動きベクトルの量、種類及び長さの少なくとも１つを評価するステップ３０４と、前記ＭＰＥＧエンコードされたビデオストリームにおける少なくとも第１ピクチャ部分をデコードするために、非フォールバックモードで動作する前記ＭＰＥＧデコーダによって必要とされるピークメモリ帯域幅を、前記ＭＰＥＧエンコードされたビデオストリームの前記のような評価に少なくとも部分的に基づいて決定するステップ３０６と、前記所定のピークメモリ帯域幅の要件が、所定の値を超える場合、前記ＭＰＥＧデコーダの動作モードを、前記非フォールバックモードからフォールバックモードに切り換えるステップ３０８と、前記ＭＰＥＧエンコードされたビデオストリームをＭＰＥＧデコーダに供給するステップ３１０とを含んでいる。前記動きベクトルの評価は、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの組み合わせによって実施化されることができることが分かるであろう。
【００１８】
本発明の様々な実施例は、エンコードされたビデオストリームの一部をデコードする前に、前記エンコードされたビデオストリームの前記一部を評価し、前記のような評価に基づいて、前記エンコードされたビデオストリームの前記一部のデコードのための前記システム負荷要件を、所定の値よりも低く保持するように、ビデオデコーダを動作の第１モードから動作の第２モードに切り換える方法及び装置を含んでいる。
【００１９】
本発明のいくつかの実施例の利点は、前記ビデオストリームのリアルタイムのデコードが、ピークメモリ帯域幅のような、システム負荷要件を、所定の値より下に減少することによって保持されることができることにある。
【００２０】
本発明は、上述の実施例に限定されるものではなく、添付請求項の範囲内のいかなる及び全ての実施例も含むことを理解されたい。
【図面の簡単な説明】
【００２１】
【図１】本発明による、デマルチプレクサ、プレパーサ及びハードウェアＭＰＥＧデコーダを含むシステムのハイレベルなブロック図である。
【図２】本発明による方法を説明している流れ図である。
【図３】本発明による方法を説明している流れ図である。
【図１】
2008532405.tif 000003
【図２】
2008532405.tif 000004
【図３】
2008532405.tif 000005
【国際調査報告】
2008532405.tif 000006
2008532405.tif 000007
2008532405.tif 000008