(57)【要約】  本発明は、連続したフレームからなるビデオデータを含む、データのストリームを処理するための、データ処理の分野に関する。通常、該データは、オーディオデータと、任意に、対話機能に関係するデータなどの、さらなるマルチメディアデータとを含む。本発明は、復号され、かつ連続したフレームでユーザに表示されるビデオデータを含むマルチメディアディジタルデータストリームを再生する方法及びシステムを提供する。これは、ビデオデータを受信し復号するステップと、復号パラメータを監視するステップと、後処理アルゴリズムを復号されたビデオフレームに適用するステップと、この結果生じたフレームを表示装置に表示するのを補助するステップとを含み、適用される後処理アルゴリズムが前記復号パラメータに従って連続的に適応させられる。
2008500752.tif 000002
【特許請求の範囲】
【請求項１】
復号され、かつ連続したフレームでユーザに表示されるビデオデータを含む、マルチメディアデジタルデータストリームを再生する方法であって、
前記ビデオデータを復号するステップと、
復号パラメータを監視するステップと、
後処理アルゴリズムを復号されたビデオフレームに適用するステップと、
この結果生じたフレームを表示装置に表示するステップとを含み、
前記適用された後処理アルゴリズムが、前記復号パラメータに従って連続的に適応させられる方法。
【請求項２】
復号された時点で前記フレームをバッファに渡すステップを含み、
前記復号パラメータが、前記バッファ内に格納されている前記フレームの数に関係する、請求項１に記載の方法。
【請求項３】
前記復号パラメータが、それぞれのフレームを復号するのにかかる時間の長さである、請求項１に記載の方法。
【請求項４】
前記後処理アルゴリズムが、１つ以上のフィルタを前記復号されたビデオデータに適用するステップを含み、前記アルゴリズムを適応させる前記ステップが、前記復号パラメータに従って、適用されるフィルタリングのレベル及び／又はフィルタの数を減少させることを含む、請求項１〜３のいずれか一項に記載の方法。
【請求項５】
前記復号パラメータが第１の規定値に達すると、前記適用された後処理がゼロに減少して、後処理アルゴリズムが適用されなくなる、請求項４に記載の方法。
【請求項６】
前記復号パラメータが第２の規定値に達したことに応じて、総フレームのある割合のみが、十分に復号され、表示のために前記ビデオバッファに渡され、前記フレームの割合は前記復号パラメータの値に依存して表示されないステップを含む、請求項５に記載の方法。
【請求項７】
表示のために前記ビデオバッファに渡される前記フレームの数が、復号されるビデオフレームのための色空間変換プロセスを選択的に動作可能にする及び／又は動作不能にすることによって制御される、請求項６に記載の方法。
【請求項８】
前記マルチメディアデジタルデータストリームがまた、復号され、かつユーザに提供されるオーディオデータを含み、ビデオデータの連続したフレームが、提供される前記オーディオデータと時間的に同期して表示され、
前記復号パラメータが一定の規定値に達すると、前記時間同期が適用されず、それぞれのフレームが、前記復号ステップから利用可能になると表示されるステップを含む、請求項５に記載の方法。
【請求項９】
選択されたフレームがドロップされる、請求項８に記載の方法。
【請求項１０】
前記マルチメディアデジタルデータストリームが、前記ビデオデータ内にキーフレームデータを含み、前記復号パラメータが前記第２の値に達すると、次のキーフレームが検出されるまで、すべてのビデオフレームがドロップされる、請求項１〜９のいずれか一項に記載の方法。
【請求項１１】
連続したフレームでユーザに表示されるビデオデータを含む、符号化されたマルチメディアデジタルデータストリームを処理するためのシステムであって、
復号パラメータモニタを含む復号モジュールと、
ポストプロセッサモジュールと、
この結果生じたフレームを表示装置に渡すための表示モジュールとを含み、
前記ポストプロセッサモジュールが、前記復号パラメータモニタの出力に従って動作するよう構成されるシステム。
【請求項１２】
いくつかの復号されたフレームを格納するためのビデオバッファを含み、
前記復号パラメータモニタが、前記バッファ内に格納されているフレームの数を評価する手段を備える、請求項１１に記載のシステム。
【請求項１３】
前記復号パラメータモニタが、前記フレームを復号するのにかかる時間を評価する手段を備える、請求項１１に記載のシステム。
【請求項１４】
復号され、かつ連続したフレームでユーザに表示されるビデオデータを含む、マルチメディアデジタルデータストリームを再生するためのコンピュータソフトウェア製品であって、
前記ソフトウェア製品が、実行される場合に、
前記ビデオデータを復号する工程、
復号パラメータを監視する工程、
後処理アルゴリズムを復号されるビデオフレームに適用する工程、
この結果生じたフレームを表示装置に表示する工程を行う、コンピュータプログラムコードを含み、
前記適用される後処理アルゴリズムが、前記復号パラメータに従って連続的に適応させられる、コンピュータソフトウェア製品。
【請求項１５】
実行される場合に、復号された時点で前記フレームをバッファに渡す工程を行うコンピュータプログラムコードをさらに含み、前記復号パラメータが、バッファ内に格納されている前記フレームの数に関係する、請求項１４に記載のコンピュータソフトウェア製品。
【請求項１６】
前記復号パラメータが、それぞれのフレームを復号するのにかかる時間の長さである、請求項１４に記載のコンピュータソフトウェア製品。
【請求項１７】
前記後処理アルゴリズムが、１つ以上のフィルタを前記復号されたビデオデータに適用し、前記アルゴリズムを適応させることが、前記復号パラメータに従って適用されるフィルタリングのレベル及び／又はフィルタの数を減少させることを含む、請求項１４〜１６のいずれか一項に記載のコンピュータソフトウェア製品。
【請求項１８】
前記復号パラメータが第１の規定値に達すると、前記適用された後処理がゼロに減少して、後処理アルゴリズムが適用されなくなる請求項１７に記載のコンピュータソフトウェア製品。
【請求項１９】
実行される場合に、前記復号パラメータが第２の規定値に達したことに応じて、総フレームのある割合のみを十分に復号し、表示のため該フレームを前記ビデオバッファに渡す工程であって、前記フレームの割合は前記復号パラメータの値に依存して表示されない、工程を行うコンピュータプログラムコードをさらに含む、請求項１４に記載のコンピュータソフトウェア製品。
【請求項２０】
表示のため前記ビデオバッファに渡される前記フレームの数が、復号されたビデオフレーム用の色空間変換プロセスを選択的に動作可能にする及び／又は動作不能にすることによって制御される、請求項１９に記載のコンピュータソフトウェア製品。
【請求項２１】
前記マルチメディアデジタルデータストリームがまた、復号され、かつユーザに提供されるオーディオデータを含み、ビデオデータの連続したフレームが、提供される前記オーディオデータと時間的に同期して表示され、
前記コンピュータソフトウェア製品が、実行される場合に、前記復号パラメータが一定の規定値に達した場合、時間同期を適用せず、それぞれのフレームが、復号された後利用可能になると表示される工程を行うコンピュータプログラムコードを含む、請求項１４に記載のコンピュータソフトウェア製品。
【請求項２２】
選択されたフレームがドロップされる、請求項２１に記載のコンピュータソフトウェア製品。
【請求項２３】
前記マルチメディアデジタルデータストリームが、前記ビデオデータ内にキーフレームデータを含み、前記復号パラメータが前記第２の値に達すると、次のキーフレームが検出されるまで、すべてのビデオフレームがドロップされる、請求項１４〜２２のいずれか一項に記載のコンピュータソフトウェア製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データストリーム内のビデオデータの復号に関し、特に、ビデオデータの適応型復号の実現、又はビデオ復号プロセスの動的調整に関する。本発明は、マルチメディアウェブストリーミングアプリケーションに対する特定のアプリケーションを有する。
【背景技術】
【０００２】
本明細書では、文献、動作、又は知識について言及する又は説明するが、これらについての言及又は説明は、その文献、動作、又は知識、又はこれらの組合せが、優先日における共通の一般的知識の一部であると認めるものではなく、また本明細書の課題を解決する試みに関連する公知のものと認めるものでもない。
【０００３】
本発明は、概して、ビデオデータ（及び、通常はオーディオデータや、任意に、対話機能（interactive functionality）に関係するデータなどのさらなるマルチメディアデータ）を含むデータのストリームを処理するための、データ処理の分野に関するものであり、このビデオデータは、連続したフレームから構成される（the video data comprised in a sequence of frames）。
【０００４】
オーディオデータとビデオデータとの間の同期を保つためには、データのストリームの転送速度を調整して、指定されたビデオプレゼンテーション時間が、関連付けられたオーディオストリームの時間の正確な瞬間などの（such as the correct moment in time of the associated audio stream）基準時間と同期している必要がある。データストリームは、処理装置を通じて送られるデータのフレームで編成され、処理装置内の処理ユニットには、同期を決める手段が設けられる。
【０００５】
（Ｍｏｔｉｏｎ  Ｐｉｃｔｕｒｅｓ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐによる）ＭＰＥＧ標準は、オーディオ及びビデオ放送のディジタル送受信に使用するために、オーディオ及びビデオの圧縮及び復元アルゴリズム用に確立された標準である。これにより、高品質のサウンド及びビデオ画像のリアルタイム伝送、復元、及び同報通信を可能にするよう確立された音響心理学モデルによるデータの効率的な圧縮が実現される。ディジタルテレビジョンシステム用のデータなどの、ディジタルフォーマットで伝送されるオーディオ及びビデオデータの符号化及び復号のための、他のオーディオ標準も確立されている。
【０００６】
圧縮標準は、人間の知覚についての音響心理学に基づいている。一般に、ビデオ及びオーディオは、見る人にとって容認できるものであるためには、１秒の１／２０よりも悪くない精度で合致している必要がある。１秒の１／１０よりも悪い精度の場合は、通常、見る人に気づかれ、１秒の１／５より悪い精度の場合は、殆ど常に気づかれる。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
ストリームが、１つのビデオ／オーディオソースを使用して統合され再生される場合、ビデオデータとオーディオデータとの同期を維持することは造作ないことである。ディジタルビデオの場合はこうはいかない。何故なら、オーディオデータとビデオデータとは分離されて、別々に復号され、処理され、再生されるからである。さらに、コンピュータのユーザは、コンピュータネットワークから情報を送信する又は受信するなどの、コンピュータ内の他のタスク又は機能を遂行しながら、ディジタルビデオを観なければならないことがある。これは、マルチタスク計算環境においては相当起こりうることであるが、オーディオデータとビデオデータとのマルチメディア同期という重大な課題を生じさせ得る。
【０００８】
ＭＰＥＧなどの圧縮技術の使用は、マルチメディアデータを再生できるようにする前にまず復号することが必要となり、これは、特にビデオデータについては、しばしば非常にコンピュータ集中的なタスク（computer-intensive task）となる。その上、競合プロセスが、中央処理装置の処理サイクルを奪ってしまうことがあり、機械の処理能力に明らかに動的な影響を及ぼす。この結果、処理中に、マルチメディアデータを読み取る、復号する、処理する、及び再生する能力にばらつきが生じ、マルチメディアデータをユーザに同期して提示する能力に影響を及ぼし得る。
【０００９】
先行技術においては、この課題に対処するためのいくつかの方法が開発されてきた。１つの簡単な解決方法は、ビデオデータの速度に合致するようにオーディオデータの速度を修正することである。しかし、オーディオのハードウェアは、一般に、オーディオレートの簡単な修正をサポートしておらず、いかなる場合においても、オーディオレートのばらつきは、一般に、ピッチの修正が不安定になる、音声が劣化するなどの、見る人にとって不愉快な結果を生じさせる。このため、オーディオデータは、一般に、プレーヤータイムの標準を提供するように扱われ（the audio data is generally taken as providing the standard of player time）、ビデオは、これに歩調を合わせるようにされる。
【００１０】
さらなる手法は、ハードウェアの性能レベルを上げて、集中的な演算の必要性に合うようにして、オーディオとビデオとの同期が維持され得るようにすることである。しかし、クライアントブラウザへのマルチメディアストリーミングのアプリケーションにおいては、システムは、個々の機械の処理能力（又は同時に存在する競合ニーズ）を制御しない。したがって、同期プロセスは、できる限り性能に対する耐性（performance-tolerant）があることが重要である。
【００１１】
先行技術による他の解決方法には、オーディオデータとの同期を維持するためにビデオデータのフレームをドロップすることが含まれていた。しかし、見る人側の体験的には、この技術はかなりの妥協策であり、結果として、通常、画面の動きがギクシャクし得る。
【００１２】
サウンドストリームにおける邪魔な好ましくない中断（ポップ及び沈黙）を回避するために、オーディオの復号及び再生プロセスに十分なプロセッサ時間を充てることもまた重要である。
【００１３】
マルチメディア通信は、勿論、急速に開発の進んでいる分野である。コンピュータ業界及び電気通信分野の最近の進歩は、ＩＳＤＮ、衛星／ワイヤレスネットワーク、及びディジタル地上放送チャネルなどの、ディジタルチャネルの可用性によってサポートされて、ディジタルビデオ及びオーディオを、画像通信にとって経済的に採算がとれるものとしてきた。これにより、テレビ電話、テレビ会議システム、ディジタル放送ＴＶ／ＨＤＴＶ、リモートセンシング、医学診断、カスタマサポート、及び監視などの通信ベースのアプリケーション、及び教育、ビデオオンデマンドの娯楽、及び広告などのサーバ／クライアントベースのシステムにおける視聴覚アプリケーションなどのアプリケーションが増加してきた。ウェブストリーミングアプリケーションにおいては、サーバに格納されているビデオクリップからのビデオデータストリームがクライアントマシンに提供され、クライアントでは表示する前にデータを格納する必要がない。
【００１４】
ビデオ信号及びオーディオ信号は、信号内に統計上かなりの冗長性があることに起因して圧縮に適しており、効果的なディジタル圧縮及び復元技術が開発され、高品質の出力を出すことができるようになってきた。上述したＭＰＥＧ標準は、このような圧縮技術の１つである。良く理解されているように、このような圧縮技術は、１つのビデオフレーム内の隣接するサンプルと、ある時間に渡って連続するサンプルとの間の相関関係、それぞれ「空間的な相関関係」及び「時間的な相関関係」に基づく。
【００１５】
ディジタルビデオフレームは、通常、オーディオストリームに遅れるのを回避するために、１／２５秒で復号され、復元され、処理され、表示されなければならない。この処理は、一般に、非常にＣＰＵ集中的であり、したがって、（上に述べたように）このオペレーションの速度は、利用可能な機械のリソースの能力に依存するものであり、まず第一にそれぞれの個々のフレームのデータ量によって、第二に使用される機械における競合要求によって、かなりの動的なばらつきを受けやすいものとなる。
【００１６】
マルチメディアプロセッサにおいては、ユーザの機械で再生するためにディジタル信号をアナログシステムに変換するコーデック装置が使用される。通常、ビデオを再生するために、コーデックは、復号アルゴリズムによって生じたアーティファクトを減少させるための、それぞれのビデオフレームの後処理をする手段を含む。後処理を実施しないと、アーティファクトは、表示画像の品質に恐らく知覚できる程の影響を及ぼす。このステップに適した、一般に使用されている様々な後処理アルゴリズムがあるが、通常、後処理は画素毎に適用されるものであり、したがって、このプロセスは、取り扱われるそれぞれのフレーム内の画素数に依存する。
【課題を解決するための手段】
【００１７】
本発明は、上述した先行技術の不都合に少なくとも一部分対処することを目的とし、このため、復号され、かつ連続したフレームでユーザに表示されるビデオデータを含む、マルチメディアデジタルデータストリームを再生する方法が実現される。本方法は、
復号パラメータを監視するステップと、
後処理アルゴリズムを復号されたビデオフレームに適用するステップと、
この結果生じたフレームを表示装置に表示するステップとを含み、
適用される後処理アルゴリズムは、前記復号パラメータに従って連続的に適応させられる。
【００１８】
本方法は、復号された時点でフレームをバッファに渡すことを含むことが好ましく、この復号パラメータは、バッファ内に格納されているフレームの数を表す。
【００１９】
後処理アルゴリズムは、１つ以上のフィルタを、復号されたビデオデータに適用することを伴うことが好ましく、アルゴリズムを適応させるステップは、バッファ内に格納されているフレームの数に従って適用されるフィルタリングのレベル及び／又はフィルタの数を減少させることを含む。
【００２０】
復号パラメータが一定の第１の値に達した（たとえば、バッファ内のフレームの数が一定の第１の数まで減少した）場合には、適用される後処理は、ゼロに減少する、つまり後処理アルゴリズムが適用されないことが好ましい。復号パラメータがさらに変化した（たとえば、バッファ内のフレームの数がこの第１の数を超えて減少した）場合には、本方法は、一定のフレームのみを復号するステップを含み、ドロップされるフレームの割合は、復号パラメータの値（たとえば、バッファ内に格納されているフレームの数）に依存する。
【００２１】
マルチメディアデジタルデータストリームはまた、復号され、かつユーザに提供されるオーディオデータを含むことが好ましく、表示されるビデオデータの連続したフレームは、提供される前記オーディオデータと時間的に同期しており、本方法は、復号パラメータが一定の第２の値に達した（たとえば、バッファ内のフレームの数が一定の第２の数までさらに減少した）場合には、時間同期は適用されず、それぞれのフレームが、復号ステップから利用可能になると表示されるステップを含む。
【００２２】
好ましい実施形態においては、復号パラメータが前記第２の値に達すると、２つ毎に１つのフレームがドロップする。
【００２３】
マルチメディアデジタルデータストリームは、前記ビデオデータ内にキーフレームデータを含むことが好ましく、復号パラメータがさらに変化する（たとえば、バッファ内のフレームの数がこの第２の数を超えて減少する）と、次のキーフレームが検出されるまで、すべてのビデオフレームがドロップする。
【００２４】
代替の復号パラメータは、フレームを復号するのにかかる時間の長さ（a measure of the time taken to decode a frame）であり、上記に定義した累進的な動作が、その時間の増加に従って実施される。
【００２５】
次いで、本発明に従って、連続したビデオフレームに適用される後処理が、如何に首尾良くビデオ表示がディジタルメディアストリームに合わせられるかという程度に応じて、動的に変更される。通常、メディアプレーヤーは、たとえば１０フレームの、バッファを動作させる。バッファが減少してくると、機械のフレームを十分に素早く処理する能力不足により、後処理の能力が縮小され、最終的に、バッファが再び確立されるまで、連続するフレームの後処理ステップが完全に省略される。
【００２６】
後処理が省略された後も、フレーム復号速度がまだ好ましくない程低い場合には、１つ以上の完全なフレームが省かれ得る。キーフレームを含むビデオデータストリームについては、ビデオ再生は、次のキーフレームで再同期され得ることが好ましい。
【００２７】
本発明のさらなる態様によれば、連続したフレームでユーザに表示されるビデオデータを含む、符号化されたマルチメディアデジタルデータストリームを処理するためのプロセッサが設けられ、本プロセッサは、
復号パラメータモニタを含む復号モジュールと、
ポストプロセッサモジュールと、
この結果生じたフレームを表示装置に渡すための表示モジュールとを含み、
ポストプロセッサモジュールは、前記復号パラメータモニタの出力に従って動作するよう構成される。
【００２８】
本プロセッサは、いくつかの復号されたフレームを格納するためのビデオバッファを含み、復号パラメータモニタは、前記バッファ内に格納されているフレームの数を評価する手段を備えることが好ましい。
【００２９】
以下、添付図面を参照しながら、本発明についてさらに説明し例示する。図１及び図２は、本発明による方法を概略的に例示している。
【発明を実施するための最良の形態】
【００３０】
本発明は、ディジタルオーディオ及びビデオデータストリームを復号し再生するのに必要なハードウェア及びソフトウェアリソースを備えた、任意の好適な計算装置において実践される。このような装置は、パーソナルコンピュータ（ＰＣ）、ハンドヘルドデバイス、マルチプロセッサシステム、携帯電話送受話器、ＤＶＤプレーヤー、及び地上、衛星、又はケーブルのディジタルテレビジョンセットトップボックスを含む。再生されるデータは、ストリームされたデータとして提供されることもあれば、好適な形態で再生のために格納されることもある。
【００３１】
本発明は、ユーザの体験という観点から、マルチメディアデータを復号し再生するのに、機械のリソースが不十分であるという課題を解決しようとするものである。再生されたオーディオ／ビデオの歪みがユーザにとって目立つ順は、
１  上記に説明したように、非常に好ましくないポップ及びギャップ及び不連続を引き起こす、オーディオスキッピング、
２  オーディオ再生とビデオ再生との同期の損失、
３  フレームの損失（１つのみ又は２、３のフレームが時折ドロップする）、
４  フレーム品質、の順である。
【００３２】
ビデオメディアは、時間的に及び空間的に圧縮されて、効率的に格納され分散される。ビデオメディアは、符号化され、次いで一定のビットレートで生成される。そのメディア及び復号器が作り得る最高の品質で、そのメディアを復号し提示するためには、再生装置が最小量の処理能力を有する必要がある。
【００３３】
本発明は、規定された基準がコーデック装置によって遂行される復号及びレンダリングが遅れている又は遅れそうであることを示した場合、第１の選択肢として、フレーム品質を動的に調整する新規な手法を提供する。復号及びレンダリングは、再生装置のリソースが他のタスクに使用されているために、又は機械が単に十分な計算リソースを欠いているために、遅れることがある。
【００３４】
本発明による技術を試験した結果、再生されたオーディオ／ビデオストリームの全ユーザ体験（the overall user experience）は、維持され得る、場合によっては著しく改良され得るが、表示される画像の品質はやや低下することが示されている。
【００３５】
本発明は、最適なビデオ表示のためのすべての計算をリアルタイムで遂行することができないという復号装置の制限がある場合に、所与のビデオファイルから最高品質のユーザ体験を抽出できるという目的を有する。
【００３６】
マルチメディア再生は、２つの主要属性、即ちオーディオとビデオとから構成される。最適な品質の要件を以下に定義する。これらは、ユーザの知覚に対する重要性の順に列挙されている。
１  高品質ビデオ。これは、単に高品質の視覚印象を与える。
２  高いフレーム率。これは、滑らかな品質の視覚印象を与える。
３  同期されるオーディオ及びビデオ。これは、実際に「ビデオ」を見ているという印象を与える。
４  連続したオーディオ。これは、プレゼンテーションを見ているという印象を与える。
【００３７】
再生アーキテクチャは、この方法をサポートするために、以下の機能を含まなければならない。
【００３８】
後処理
（空間圧縮を用いる）最新のビデオコーデックは、公知の歪み（aberration）を有する、復号されたフレームを作成する。これらの歪みは、アーティファクトとして表現され、通常、より低いビットレート符号化によって生じる。アーティファクトは、意図的に生じるものではない。つまり、符号化アルゴリズム及び復号アルゴリズムの公知かつ予想される結果であり、「ブロッキング」又は「リンギング」などの画像効果を作る。通常、これらが存在する場合には、これらの効果を検出してろ過するよう、復号されたフレームに様々なフィルタを適用することによって最小限に抑えられ得る。ポストプロセッサは、通常、いくつかの層のフィルタから構成され、デリンギング、デブロッキング、又はスムージングなどの、様々な機能を順次に遂行する。
【００３９】
フィルタリングは多くの計算を必要とする（computationally expensive）。ＶＰ６などのいくつかのビデオコーデックについては、デブロッキング及びデリンギングのフィルタリングは、実際にビデオフレームを復号するのに費やされる７％とは対照的に、ビデオ処理時間全体の９０％以上を占めると推定される。
【００４０】
事前バッファリング
通常、ビデオフレームは、前もって復号され、バッファリングされる。これは、滑らかな品質の再生にとっての基本要件である。何故なら、所与の機械がビデオのフレームを完全に復号するのに必要な処理時間は、（それがキーフレームであるかどうかなどの、フレーム自体の複雑さに反映される）復号されるデータの量と、実行される後処理の量と、機械が他の競合タスクを遂行するのに費やす時間の量とに依存するからである。
【００４１】
非同期ビデオ再生
ビデオレンダリング装置は、バッファリング装置と非同期で動作し得る。ビデオレンダリング装置は、フレームがバッファ内で利用可能な場合にのみ、バッファからのフレームを再生し表示する。そうでない場合には、再生及び表示が効率的に省かれる。
【００４２】
用いられる特定の方法は、以下を伴う。即ち、
１  連続的に検査され調整される復号品質パラメータ、
２  オーディオ復号を最高の優先度、つまりビデオより高い優先度に設定すること、
３  復号品質パラメータのレベルによって、ビデオ性能に対して以下の調整を行う。即ち、
【００４３】
ａ）復号品質が低下すると、後処理のレベルも低下する。これは、バッファ内の復号されたビデオフレームの量に合わせるために、したがって滑らかな品質の再生を維持するために、プロセッサの使用をフィルタリングから復号に移す効果を有する。この技術は、ビデオ画像品質と、滑らかなビデオ再生の配信を助けるために、復号されたフレームの連続したストリームを維持することとの、トレードオフのように思われる。
【００４４】
コーデック内で起きるフィルタプロセスは、（当業者なら理解されるであろう）明確に定義されたインターフェースを通じて（ＶＰ６などの）コーデックにフックすることによって選択的に制御される。
【００４５】
ｂ）後処理のレベルが、後処理が遂行されない状態まで減少した後、復号品質パラメータがさらに低下すると、完全に復号されてビデオバッファ内に配置されるフレームの数が減少する。これは、整数の形で減少する。即ち、最初に５つのうち４つが、次いで４つのうち３つが、次いで３つのうち２つが、次いで２つのうち１つが（即ち、２つのフレーム毎に）表示される。この技術は、ビデオフレームの数と同期の維持とのトレードオフのように思われる。
【００４６】
フレームをビデオバッファ内に配置することは、コーデック内で起きる色空間変換プロセスの操作によって制御される。繰り返すが、これは、定義されたインターフェースを通じてコーデックにフックすることによって制御される。当業者には公知であるように、一定のビデオ圧縮アルゴリズムは、ビデオ表示ハードウェアに使用されるものとは異なる色空間を用いる。たとえば、ＭＰＥＧ−２標準に用いられる圧縮アルゴリズムは、ＹＵＶ色空間を利用し、パーソナルコンピュータのグラフィックスハードウェアは、ＲＧＢ又はＵＹＵＶ色空間を利用する傾向がある。
【００４７】
復号されたビデオフレームを表示できるようにする前に、その色空間は、表示ハードウェアで利用されるものに変換しなければならない。変換されないと、フレームはビデオバッファ内に配置されない。したがって、カラーフレーム変換プロセスを選択的に動作不能にしたり動作可能にしたりする（selective disabling and enabling of the colour frame conversion process）ことにより、ビデオバッファ内に配置されるビデオフレームの数を制御することが可能となる。
【００４８】
ｃ）復号装置が、２つ毎に１つのフレームの復号／表示レートをそれでも維持できない場合、プログラムは、（正しいビデオフレームが、利用可能な場合、正しい時間に表示され、したがってオーディオ信号と同期する）時間同期モードから、（（上記のように）ビデオバッファが２つ毎のフレームを十分に復号し、ビデオレンダラが利用可能になるとそれぞれのフレームを表示する）復号レート依存モードに切り換える。この技術は、ビデオとオーディオとの同期と、視覚結果（ビデオプレゼンテーションを実際に見ているという望ましい様子）とのトレードオフのように思われる。
【００４９】
この後者のモード（ｃ）を達成し、オーディオとビデオとの間の時間差を制限するために、フレームのブロック全体がドロップされる。次のビデオフレームが、キーフレーム（先のフレームに依存しない、即ち時間圧縮されないフレーム）であることに起因して落ちる場合には、ビデオバッファリングは、前にジャンプし、そのフレームを復号し、現在の復号フレーム位置とこのキーフレームとの間の中間フレームを廃棄する。
【００５０】
復号品質を調整する刺激
初期条件は、以下のように設定される。復号パラメータの初期値は、復号装置のＣＰＵ周波数を評価することによって決まる。周波数が低ければ低い程、初期復号品質パラメータの値も低くなる。
【００５１】
ハードリミット（the hard limits）は、以下のように設定される。予めバッファリングされたビデオフレームの数が減少すると、復号品質パラメータの値が強制的に下げられる。これは、ヒステリシスの形で取り扱われる。つまり、予めバッファリングされたフレームが一定数未満である場合、復号品質は、一定の数値以上になり得ない。逆に、バッファ内に一定数の予めバッファリングされたフレームがある場合、復号品質は、一定の値以下になり得ない。復号品質パラメータにヒステリシスフロート（hysteresis of float）がある。
【００５２】
ソフト調整（the soft adjustments）は、以下のように設定される。バッファが一杯である場合、又はかなり遅れが生じて上記のステップ（ｃ）を行ったため、システムが新しいキーフレームにジャンプした場合、復号品質は徐々に増加する。
【００５３】
本発明の技術構造により、ビデオ再生性能を向上させるための設定を任意に調整する能力が実現されることに留意されたい。
【００５４】
添付図１は、本発明の方法を概略的に示しており、バッファ内のフレームの数が減少するにつれてビデオ処理が徐々に調整されることを示している。バッファ内に１０のフレーム（格納されている９つのフレームと、現在表示されているフレームのコピー）がある場合、最大の後処理（Ｍａｘ  Ｐ．Ｐ．）が適用され、オーディオ信号とビデオ信号とが同期され、すべてのフレームが表示される。ビデオバッファ内のフレームの数が５フレームまで減少するとき、後処理の層又はフィルタを徐々に省略することにより、バッファリングされる５つのフレームで後処理が行われなくなるまで、適用される後処理のレベルが連続的に減少される。バッファリングされるフレームの数が引き続きさらに減少すると、（たとえば）５つのうち１つのフレームがドロップする状態から、２つのうち１つのフレームのみが表示される状態まで、フレームが徐々にドロップする。ビデオバッファが完全に空になると、同期がなくなり、次いでオーディオがビデオに先行するようになる。最後に、ビデオは、添付図２に示されているように、次のキーフレームＫＦにジャンプし、同期を再び確立する。
【００５５】
当業者には、本発明の修正形態及び改良形態が容易に明らかとなろう。このような修正形態及び改良形態は、本発明の範囲内に包含されるものとする。
【図面の簡単な説明】
【００５６】
【図１】本発明による方法を概略的に例示している。
【図２】本発明による方法を概略的に例示している。
【図１】
2008500752.tif 000003
【図２】
2008500752.tif 000004
【国際調査報告】
2008500752.tif 000005
2008500752.tif 000006