(57)【要約】圧縮データストリームの変更装置２７０を開示する。このストリーム変更装置は、例えば、ＭＰＥＧまたはＡＶＣのような、周知のビデオ圧縮規格のいずれか１つに適合する、オーディオまたはビデオデータストリームを含むことができる入力データストリームを変更する。入力されたストリームを、まず、単一のビデオ・エレメンタリ・ストリームを得るべく逆多重化する。その後、ビデオ・エレメンタリ・ストリームを、可変長デコーダを用いてデコードし、データストリーム変更装置へと送信する。各フレームのデコードの複雑度を、推定器２１０で推定し、制御器２５０に送信する。制御器は、幾つかのサイコビジュアル基準に基づいて各フレームから複数の領域を選択して、それらの領域の変更方法が、デコードの複雑度をデコーダの処理能力の範囲内に収まるようにする。このようにして、デコードの複雑度を処理能力に適合させる、有効な手段を得ることができる。
2008526077.tif 000002
【特許請求の範囲】
【請求項１】
ピクセル領域から成る画像シーケンスをエンコードして得られ、デコーダでデコードすべき圧縮データストリームを変更する装置であって、
‐前記圧縮データストリームからの画像をデコードするのに要するデコードの複雑度を推定する推定手段と、
‐前記画像のデコードの複雑度が前記デコーダの処理能力に近づく場合に、前記圧縮データストリームを変更する変更手段と、
を具えている装置において、
前記圧縮データストリームに指示されたデコード方法を変更するように、前記変更手段を構成していることを特徴とする、圧縮データストリーム変更装置。
【請求項２】
請求項１に記載の装置において、
前記デコードの複雑度が、前記画像をデコードするための、計算負荷またはメモリアクセスの帯域幅に基づく装置。
【請求項３】
請求項１に記載の装置において、
ヒューリスティクスなサイコビジュアル基準に基づいて領域を選択し、さらに、前記領域に対するデコード方法を変更するように、前記変更手段を構成している装置。
【請求項４】
請求項３に記載の装置において、
前記選択の基準が、前記画像の境界の近傍の領域である装置。
【請求項５】
請求項３に記載の装置において、
前記選択の基準が、前記領域の移動速度である装置。
【請求項６】
請求項３に記載の装置において、
前記選択の基準が、前記領域のテクスチャの大きさである装置。
【請求項７】
請求項１に記載の装置において、
画像の領域の動き補償予測の方法を双方向予測から一方向予測に変更するように、前記変更手段を構成している装置。
【請求項８】
請求項１に記載の装置において、
前記圧縮データストリーム内にある量子化変換係数を変更するように、前記変更手段を構成している装置。
【請求項９】
請求項３に記載の装置において、
長方形の領域を選択するように、前記変更手段を構成している装置。
【請求項１０】
請求項３に記載の装置において、
前記画像内のオブジェクトに適合する形状の領域を選択するように、前記変更手段を構成している装置。
【請求項１１】
画像シーケンスの圧縮および解凍のためのビデオ処理システムであって、
‐前記画像シーケンスをエンコードし、圧縮データストリームを出力するエンコーダと、
‐前記圧縮データストリームを変更する、請求項１に記載の装置と、
‐画像シーケンスを得るために、前記変更された圧縮データストリームをデコードするデコーダと、
を具えるビデオ処理システム。
【請求項１２】
ビデオ処理装置であって、
‐画像シーケンスに対応する圧縮データストリームから成る信号を受信する受信手段と、
‐前記圧縮データストリームを変更する、請求項１に記載の装置と、
を具えるビデオ処理装置。
【請求項１３】
ピクセル領域から成る画像シーケンスをエンコードして得られ、デコーダでデコードすべき圧縮データストリームを変更する方法であって、
‐前記圧縮データストリームから、画像のデコードに要するデコードの複雑度を推定するステップと、
‐前記画像のデコードの複雑度が、前記デコーダの処理能力に近づく場合に、前記ストリームを変更するステップと、
を含む、圧縮データストリーム変更方法において、
前記圧縮データストリームを変更するステップは、前記ストリームで指示されたデコード方法を変更するステップを含むことを特徴とする方法。
【請求項１４】
請求項１３に記載の圧縮データストリームの変更方法をプロセッサに実行させるコードを含む、コンピュータプログラム製品であって、
‐前記圧縮データストリームから、画像のデコードに要するデコードの複雑度を推定するためのコードと、
‐前記画像のデコードの複雑度が、前記デコーダの処理能力に近づく場合に、前記ストリームを変更するためのコードと、
を含むプログラム製品において、
前記圧縮データストリームを変更するためのコードは、前記ストリームに指示されたデコード方法を変更するためのコードを含むことを特徴とする、コンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ピクセル領域から成る画像シーケンスをエンコードして得られ、デコーダにてデコードすべき圧縮データストリームを変更するための装置であって、
‐圧縮データストリームから画像をデコードするのに要するデコードの複雑度を推定する推定手段と、
‐前記画像のデコードの複雑度が、前記デコーダの処理能力に近づく場合に、前記圧縮データストリームを変更する変更手段と、
を具える圧縮データストリーム変更装置に関する。
【０００２】
本発明はさらに、そのような装置を含む、画像シーケンスを圧縮および解凍（圧縮解除）するためのビデオ処理システムにも関する。
【０００３】
本発明はさらに、そのような装置を含むビデオ処理装置にも関する。
【０００４】
本発明はさらに、ピクセル領域から成る画像シーケンスをエンコードして得られる、デコーダにてデコードすべき圧縮データストリームを変更するための方法であって、
‐圧縮データストリームから画像をデコードするのに要するデコードの複雑度を推定するステップと、
‐前記画像のデコードの複雑度が、前記デコーダの処理能力に近づく場合に、前記圧縮データストリームを変更するステップと、
を含む圧縮データストリーム変更方法にも関する。
【０００５】
本発明はさらに、ピクセル領域から成る画像シーケンスをエンコードして得られる、デコーダにてデコードすべき圧縮データストリームを変更するための方法をプロセッサに実行させるコードを含む、コンピュータプログラム製品であって、
‐圧縮データストリームから画像をデコードするのに要する、デコードの複雑度を推定するためのコードと、
‐前記画像のデコードの複雑度が、前記デコーダの処理能力に近い場合に、前記圧縮データストリームを変更するためのコードと、
を含むコンピュータプログラム製品にも関する。
【背景技術】
【０００６】
一般に、一連の画像フレームから成るビデオ情報は、圧縮して、蓄積および伝送用のデジタルデータストリームを形成することができる。ビデオのエンコードおよびデコード用のＭＰＥＧ（Moving Pictures Expert Group）標準は、ビデオ情報の圧縮および解凍用の圧縮規格として普及しているものの一部であり、その中でも特に、ＭＰＥＧ−２が普及している。ＭＰＥＧ標準は、光学式記憶システム、デジタル多用途ディスク（ＤＶＤ）技術、およびデジタルテレビ放送（ＤＴＶ）のような、ビデオ情報を蓄積、伝送、および表示する様々なアプリケーションに用いられている。ＭＰＥＧデータストリームをデコードする間に、デコードの複雑度は、フレーム毎に変化することがある。デコードの複雑度は、デコーダが一般に、ピーク負荷に対処する能力を備えていないので、デコーダの処理能力よりも高くなり得る。このような場合、デコーダは、画像を完全にデコードすることができなくなる。その結果、出力画像の品質が、不意に劣化してしまうことがある。従来技術には、ビデオ情報の圧縮データストリームのデコードの複雑度をデコーダの処理能力に適応させ、出力端に最適な画像品質を得るための、幾つかの解決策が提案されている。
【０００７】
米国特許第６６３１１６３号から既知の、ビデオデータストリームをデコードする方法及びシステムは、変更されたデコード処理をデコーダにて行って、複雑度を動的に適応させている。この特許には、ＭＰＥＧ−２のビデオデコーダシステムにおけるスケーラブルなモジュールに対する、閾値を動的に設定する方法が記載されている。この従来技術の一実施例では、スケーリングアプリケーションを具え、これにより、所定の閾値を満たす双方向予測が可能なブロックのみを選択的にデコードし、その閾値を満たさない双方向予測が可能なブロックは廃棄している。この閾値は、システムで生じるリソースレベルの変動および入力データの変動に、動的に適合させている。第１の画像グループ（ＧＯＰ）に基づいて調整した閾値は、第２のＧＯＰのデコードに用いられる。
【０００８】
上述した従来技術において、閾値は、デコーダシステム内のスケーラブルなモジュールに対して動的に設定される。遅延型反応で、複雑度を推定し、デコーダでのデコード方法を変更している。しばしば、画像の主要部で領域の抜けが生じて、視聴者にとって気障りなアーチファクトの原因となる。さらに、現行のＧＯＰをデコードするのに、以前のＧＯＰに基づく閾値を用いると、出力画像シーケンスにおける予期せぬ領域が歪むおそれがある。すなわち従来技術は、ビデオ出力の品質を著しく劣化させる。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明の目的は、圧縮データストリームのデコードの複雑度をビデオデコーダの処理能力に適応させて、ビデオ出力の品質を改善することにある。
【課題を解決するための手段】
【００１０】
本発明の目的は、圧縮データストリームに指示されたデコード方法を変更するように、冒頭で述べたような圧縮データストリーム変更装置の変更手段を構成することによって達成される。
【００１１】
本発明が提案する装置は、圧縮データストリームに指示されたデコード方法を変更する。本装置は、圧縮データストリームからデコードの複雑度を推定する。本装置は、推定した複雑度がデコーダの処理能力に近づく場合にのみ動作するように設計する。本装置は、デコーダにおける処理能力についての知識を事前に有する。本装置は、幾つかの方法でこの知識を取得することができる。本装置は、好適には、デコード能力がこの複雑度に近づく場合に、先制的処置を取る。本装置は、推定した複雑度が処理能力の１００％に近づく場合に、デコードの複雑度を限度内に収めることができる。例えば、複雑度がデコーダの処理能力の１００％に近づくにつれて、またはそれを上回るにつれて、変更処理、好適には画像の比較的複雑な部分に対する変更量を増加させる。これにより、円滑に、段階的にかつ先制的に、デコード負荷が確実に減少する。最適な画像品質は、固定のデコーダ処理能力に対して得られる。デコーダ処理能力が固定の場合には、どんな状況でも、かついずれの圧縮データストリームに対しても、最適の画像品質を得ることができる。
【００１２】
圧縮データストリームを変更する判定は、現行の画像に基づいて行うことができ、さらにその処理は、同一の画像に対して実施することができる。結果的に、前の画像シーケンスに基づいて現行の画像シーケンスを変更する従来技術よりも、出力での画像品質が良好になると予測される。
【００１３】
デコーダ方法をデコーダの段階で変更する従来方法は、通常あまりに時間がかかり、画像の主要部分に影響を及ぼすおそれがある。デコーダがリソースを割当てられない場合には、出力画像の主要部分に、空白の領域やアーチファクトが現れることになる。本発明の利点は、各画像のデコードの複雑度を、処理可能な複雑度の範囲内に収めて、同時に、より良好なビデオ出力品質を得ることである。デコーダの処理能力に対して、出力での最適な画像品質を保証することができる。
【００１４】
圧縮データストリームを変更する本装置の好適例では、デコードの複雑度が、画像をデコードするための計算負荷またはメモリアクセスの帯域幅に基づくようにする。
【００１５】
エンコードされたビデオデータのデコードの複雑度は、１つ以上の数値、例えば、算術命令の数、および／またはメモリ読取り／書込み操作の回数から推定することができる。これらの値は、圧縮データストリームから入手し得る多数のパラメータ、例えば、処理すべきＤＣＴ係数、画像内のマクロブロックの位置、（全くないか、１つか、または２つの）アンカーフレームに対する参照数、および／または、動き予測のための予測ベクトル長から、順に得ることができる。デコーダは、特に２つの値、すなわち、計算負荷およびメモリアクセス帯域幅によって、過負荷となり得る。本発明の好適例において、デコードの複雑度は、圧縮データストリームから直に推定する。従って、ストリームに指示されたデコード方法の変更は、計算負荷またはメモリアクセスの低減を目指している。
【００１６】
圧縮データストリームを変更する本装置の好適例は、変更手段を、ヒューリスティクスなサイコビジュアル選択基準（heuristic psycho-visual selection criterion）に基づいて領域を選択し、その領域に対するデコード方法を変更するように構成したことを特徴とする。
【００１７】
好適には、本発明による装置はまず、ヒューリスティクスなサイコビジュアル選択基準に基づく少なくとも１つの領域を選択するように構成する。選択処理を簡易化するために、画像から少なくとも１つの領域をランダムに選択することも可能である。しかしながら、以下の利点により、所定のヒューリスティクスな規則に基づいて選択するのが好適である。
【００１８】
デコード方法を変更する領域を選択しながら、出力での画像品質が顕著に劣化しないように、サイコビジュアル基準を有利に適用することができる。好適には、変更されたデコード画像を見ている視聴者の視覚体系モデルにとって、アーチファクトが気にならないか、あるいは、その視覚体系モデルにとってアーチファクトが目立たたないように、基準を指定する。そのような基準を適用することによって、人間の視覚体系が気付く領域の歪みが生じる可能性を最小にするように、複数の領域を選択することができる。
【００１９】
好適な選択基準は、例えば、画像の境界に近い領域とする。
【００２０】
画像の境界、またはその近傍の領域の歪みは、画像の中心における領域の歪みと比べ、人間の視覚体系にとって気付きにくい。
【００２１】
別の好適な選択基準は、例えば、領域の動く速度とする。
【００２２】
動きベクトルは、領域の動く速度を好適に表す。動きが速い場合、すなわち動きベクトルが大きい場合、対応する移動領域における歪みは、動きの小さい領域と比べて気付きにくくなり得る。従って、動きの速い領域は、デコードの複雑度を低減するのにより好適であり、デコード方法の変更のために、動きの緩い領域と比べより有利に選択することができる。
【００２３】
さらに別の好適な選択基準は、例えば、複雑なテクスチャを表す領域とする。
【００２４】
粗いテクスチャを有する領域は、滑らかなテクスチャを有する領域と比べて、歪みを容認できそうであり、従って、それら粗いテクスチャを有する領域を、デコード方法の変更のために選択するのが好適である。
【００２５】
好適には、変更手段は、双方向予測から一方向の予測へと、画像の領域の動き補償予測の方法を変更するように構成する。より好適には、所定のサイコビジュアル選択基準を適用して選択した領域に、動き補償予測の変更を行う。
【００２６】
双方向予測から一方向の予測へと動き補償予測の方法を変えることによって、アクセスすべき参照画像は、双方向予測の場合の２画像に代わり、１画像のみになる。従って、双方向予測を適用してデコードすべき領域に対するメモリアクセスを、有利に削減することができる。
【００２７】
さらに、圧縮データストリーム内に在る量子化変換係数を変更するように、変更手段を構成する。
【００２８】
量子化変換係数を変更する好適な方法は、高周波成分の変換係数をゼロにすることである。量子化ステップを細かいステップから粗いステップへと変えることで、変換係数を変更することもできる。量子化ステップの変更は、階段状変化または段階的変化で行うことができる。
【００２９】
変更手段は、好適には、長方形の領域を選択するように構成する。
【００３０】
正方形および長方形の規則的な形は、ＭＰＥＧ標準、例えば、ＭＰＥＧ−２標準に従うブロック、マクロブロック、またはスライスに準拠する。好適例による装置では、ＭＰＥＧ−２標準によって特定されるようなマクロブロックを、特に効率的な方法で処理することができる。
【００３１】
変更手段は、好適には、画像内のオブジェクトに適合する形状の領域を選択するように構成する。
【００３２】
本装置は、例えばＭＰＥＧ−４およびＡＶＣのようなより最新のＭＰＥＧ標準に一致させるべく、不規則な形状の領域を処理するように構成するのが好適である。このような場合、多数の領域または１つの領域が、画像内に在る１つのオブジェクトに対応することができる。あるいは、領域は、当該画像における多数のオブジェクトに対応することができる。このことは、画像の領域の幾つかは、他の領域よりも視聴者の注意をより多く引き付けるために、好都合である。例えば、人間の顔を含む領域は、背景を含む領域よりも、視聴者からより多くの注意を引き付ける。
【００３３】
本発明の他の目的は、冒頭で述べたような種類の、画像シーケンスの圧縮および解凍のためのビデオ処理システムであって、デコーダで処理可能な複雑度に圧縮データストリームを適合させるための、比較的効率のよい手段を有するビデオ処理システムを提供することにある。本発明による装置を、特に、上述した好適例の１つにおける装置も含めて、以下「変更装置」と称する。
【００３４】
ビデオ処理システムは、圧縮データストリームを変更するために、本発明による変更装置を含む。この変更装置と協働させるのに、デコーダのアーキテクチャを変える必要がないため、任意の多数のデコーダに対して適応性のある、効率的なシステムとなる。本発明による変更装置とデコーダとは、互いに分離させる。変更装置は、デコーダで処理できる負荷能力を考慮した入力と共に、あるいはその入力なしで、機能することができる。結果として、変更装置を、多数の位置に有利に配置することができる。変更装置は、データ圧縮器の一部としても、または、データ圧縮器として構成してもよく、もしくは、ビデオ配信システムの内部のどこにでも配置してもよいため、その多用性を向上させることができる。変更装置は、スタンドアローン様式で機能することもできるし、あるいは、完全なシステムの内部に一体化させることもできる。変更装置は、ハードウェア、ソフトウェア、または、ハードウェアとソフトウェアの任意の組み合わせで、完全に実現することができる。
【００３５】
１つまたは複数の、以下の種類のビデオ関連処理を行うことができるビデオ処理装置は、
‐ビデオのデコード、エンコードおよびトランスコード処理
‐ビデオの表示処理
‐ビデオの記録処理
‐ビデオコンテンツの解析およびコンテンツの認証処理、
用の変更装置を有利に含むことができる。
【００３６】
ビデオ処理装置は、受信ユニット、処理ユニット、および／または表示ユニットのような追加のユニットを具えてもよい。ビデオ処理装置は、例えば、デジタルテレビ、セットトップボックス、パーソナルビデオレコーダー、デジタル多用途ディスク（ＤＶＤ）プレーヤー、ブルーレイプレーヤーまたはレコーダー、衛星放送チューナー、ケーブルサービスプロバイダのヘッドエンド装置、ビデオ解析システム、もしくはビデオ要約システムとすることができる。
【００３７】
変更装置は、例えばＭＰＥＧまたはＡＶＣ規格に適合する圧縮ビデオストリームを受信し、さらに、同じ規格に適合するビデオストリームを出力するように構成する。このストリームは、変更されてもなお、当該規格への完全な適合性を保持する。言い換えれば、変更装置は、ＭＰＥＧ規格に準拠するエンコーダからの圧縮ビデオストリームを受信でき、さらに、ＭＰＥＧ規格に準拠するデコーダへと圧縮ビデオストリームを出力できるように構成することができる。従って、変更装置は、既存のエンコーダおよびデコーダと協働させることができる。
【００３８】
本発明の別の目的は、冒頭で示した、デコーダで処理可能な複雑度に圧縮データストリームを適応させる、比較的効率的な手段を有する方法を提供することにある。
【００３９】
本発明のこの目的は、圧縮データストリームを変更させるステップが、例えば、デコード中に考慮すべきアンカーフレームの数を示す参照数の変更など、ストリームに指示されたデコード方法を変更するようにして、達成することができる。
【００４０】
本発明のこれら及び他の態様を、これ以降に述べる実施例を参照しての説明につき明らかにする。
【００４１】
これら及び他の、圧縮データストリーム変更装置、画像処理装置、および本発明による方法も、これ以降に述べる実施例を参照して、並びに添付の図面を参照しての説明につき明らかにする。図面は、本発明の多数の実施例のうち１つを概略的に示したものである。
【発明を実施するための最良の形態】
【００４２】
本発明は、概して、画像シーケンスに対応する圧縮データストリームを、デコーダの処理能力に動的に適合させるための装置および方法に関する。本発明の実施例は、圧縮データストリームを解析することができ、最大メモリおよび必要帯域幅の観点からデコードの複雑度を推定し、デコーダの処理能力の範囲内に収まるように、データストリームそれ自体の複雑度を低減すべく、ストリームに指示されたデコード方法を適合させる。一実施例においては、双方向画像の領域を単一の参照画像で予測できるように圧縮データストリームを変更し、これにより、メモリ帯域幅を、元の帯域幅の半分に削減させる。別の実施例では、双方向画像の領域の選択組に対するデコード方法を変更し、その選択は、それらの領域の一組のサイコビジュアル基準に従って行う。
【００４３】
図１は、一般的なビデオ圧縮および解凍システムの構成要素を示す、概略的な機能ブロック図である。ビデオ圧縮システム１１０は、ビデオエンコーダ１２０を具える。エンコーダ１２０は、外部ソースから画像シーケンス１を受信する。画像シーケンスは、例えばＤＶＤプレーヤーにおけるように、内部的に生成することもできる。画像圧縮システムの出力信号１２１は、例えばＭＰＥＧ−２標準のような、ビデオ圧縮規格の１つに準拠する圧縮データストリームを含む。出力信号１２１は、有線または無線の媒体によって伝送することができ、デコーダ１４０を具えるビデオ解凍システム１３０にて受信される。デコーダへの入力は、圧縮データストリーム１２１であり、デコーダ出力１４１は、元の画像シーケンス１とほぼ同様の画像シーケンスを含む。
【００４４】
図２は、本発明による圧縮データストリーム変更装置２７０の一実施例の構成要素を示す、概略的な機能ブロック図である。入力データストリームは、多数のオーディオおよびビデオデータストリームを含むことができる。入力ストリームは、まず、既知の技術によって逆多重化されて、単一のビデオエレメンタリ・ストリーム（ＥＳ）を得る。単一のビデオＥＳは、図２に示す本発明による装置の実施態様によって、好適に受信および処理することができる。ビデオＥＳは、例えばＭＰＥＧやＡＶＣのような、任意の周知のビデオ圧縮標準の１つに準拠し、可変長デコーダ（ＶＬＤ）２００の入力部にて受信される。
【００４５】
ＶＬＤの出力は、データストリーム２０１であり、これを解析して、デコードの複雑度を推定することができる。推定器２１０は、データストリーム２０１に基づき、フレーム毎にデコードの複雑度を推定する。簡単な形式の推定器は、例えば、双方向に予測した領域の数をカウントして、それら個々のフレームに対してデコーダが要するメモリ帯域幅を推定する。より複雑な形式の推定器は、例えば、多数の処理すべきＤＣＴ係数、総計算負荷およびメモリ帯域幅のような、多数のパラメータに基づいて、複雑度を推定することができる。複雑度の推定値２１２は、制御器２５０に提供される。領域の予測可能性に関する追加のデータおよびそれらの動き情報は、制御器２５０に提供される。データストリームにて得られる、例えば、ビデオ形式、ビットレート、量子化レベル、フィールド／フレームコード、および、各領域の予測のための参照画像の数のような追加のヘッダデータも、制御器に提供することができる。制御器は、画像の各領域に対するアレイを、好適に保持することができる。このアレイの要素は、領域の様々な特性、例えば、その位置、動きベクトル、参照画像の数等に好適に関連付けることができる。これらのデータは、さらに別のサイコビジュアル基準に基づく判定基準への入力として用いることもできる。
【００４６】
本発明による多様な所定の実施態様において、制御器２５０は、簡単なシステムから複雑なシステムに変えることができる。簡単な例の実施例における制御器２５０は、メモリ帯域幅の推定値を受信し、それを利用可能なデコーダの帯域幅と比較して、多数の双方向予測可能な領域を選択し、選択した領域の識別子を変更手段２３０へ送信するように構成する。複雑な例の実施態様において、制御器２５０は、知識ベースシステムを用いて領域を識別および選択するための手段を具える。サイコビジュアル基準形式の知識は、推定器２１０が供給する各領域のデータに作用させることができる。基準形式の知識は、制御器２５０に組み入れることができる。領域は、デコード方法の変更によるアーチファクトまたは歪みが、人間の視覚体系に殆ど知覚できなくなるように選択する。基準は、好適には、画像内の領域の位置、その領域の動く速さ、および／またはその領域のテクスチャコンテンツに基づかせることができる。推定器２１０は、テクスチャの大きさも推定することができ、そのテクスチャの大きさは、制御器２５０に提供される。選択した多数の領域の位置情報は、変更手段２３０へと伝達される。各領域に対する格納したデータの量、知識ベースにおける多数の基準、および判定メカニズムの観点で、様々な複雑度の度合いを有するように制御器２５０を設計および構築することも可能である。さらに、制御器２５０は、データストリームの変更方法を決定し、そのコマンドを、データストリーム変更装置２１０に送信することができる。データストリームの変更方法は、例えば、領域の双方向予測から一方向予測への変更、および／または量子化変換係数の変更とすることができる。制御器２５０の出力は、変更するために選択した領域の位置情報、および、変更手段２３０へと送信される各領域の変更方法を含むコマンド指示２５１の形式とする。
【００４７】
追加的な知識ベース２６０は、データストリーム変更装置２７０にとって既知の、デコーダシステムのデコード処理能力に関する知識を有する。あるいは、ストリーム変更装置は、外部入力２を介して、デコーダの処理能力に関する情報を受信することができる。
【００４８】
変更手段２３０は、例えば、制御器２５０における、処理遅延を補償するための遅延線またはメモリのような遅延手段２２０によって充分に遅延された、圧縮データストリーム２２１を受信することもできる。従って、コマンド指示２５１は、自動的に、時間遅延されたデータストリーム２２１と同期する。変更手段２３０は、コマンド指示２５１に従って、時間遅延されたデータストリーム２２１のデコード方法を変更する。変更されたデータストリーム２３１は、可変長エンコーダ（ＶＬＥ）２４０の入力部で受信される。ＶＬＥの出力２４１は、元のデータストリームの圧縮標準に完全に従う、変更されたビデオＥＳである。
【００４９】
１つの実施例において、推定器２１０は、デコーダでのデコードに要するメモリ帯域幅を推定する。帯域幅がデコーダの処理能力に近づく場合に、制御器２５０は、一組の双方向予測領域から、サブセット領域を選択することになる。制御器２５０はさらに、ストリーム変更手段２３０にコマンド指示を送信して、選択した領域組に対するデコード方法を、双方向予測から一方向予測へ変更する。従って、必要なメモリ帯域幅を、元の必要帯域幅の半分に削減することができる。他の実施例は、サイコビジュアル基準の一組の基準を、知識ベース２６０に格納する。従って制御器２５０は、リンク２６１を介して適用可能な基準を得ることができ、その基準組に基づいて、デコード方法の変更のための一組の領域を選択する。他の様々な実施例は、推定器、制御器、ストリーム変更手段、またはストリーム遅延手段等の各要素の複雑度の度合いを変えることによって実現することができ、さらに、それら変形形態の各々または幾つかを組み合わせることによっても実現することができる。
【００５０】
図３は、本発明による圧縮データストリームの変更方法のステップを示すフローチャートの概略図である。第１のステップ３００では、一連の画像に対応するビデオエレメンタリ・ストリーム（ＥＳ）１を受信し、周知の方法の１つによって可変長デコードを実行する。ステップ３１０では、フレームの、デコードの複雑度を推定する。ステップ３２０では、このデコードの複雑度を、デコーダの処理能力と比較する。複雑度がデコード能力の所望の限度内であれば、ストリームは変更しない。この場合、ステップ３３０，３４０および３５０はバイパスされて、次の画像フレームが、ステップ３６０および３００にて実行されるべく検討されることになる。
【００５１】
デコーダの複雑度が処理能力に近づくか、またはそれを超過する場合には、ステップ３３０，３４０および３５０にて、デコード方法の変更の形式にて、予防処置が実行されることになる。出力画像の品質が、突然または不意に消失するのを避けるために、例えば、複雑度の推定値がデコーダの処理能力の８０％に到達した場合に、変更処置を開始させることができる。必要な変更量は、推定した複雑度が９０％に到達し、さらに１００％を超える場合に、徐々に増やすことができる。ステップ３３０では、デコード方法の変更を行うべき領域を、１つ以上のサイコビジュアル基準に基づいて選択する。この場合、デコードの複雑度を所望の範囲内に収めるように複数の領域を選択する。例えば、双方向予測から一方向予測への指示のような、行うべき変更のタイプは、ステップ３４０にて決定する。ステップ３５０では、デコード方法の変更を実行する。この処理は、画像シーケンスの最後に到達するまで続行し、それは、ステップ３６０にてチェックする。ステップ３７０にて、処理を終了する。
【００５２】
１つの実施態様では、ステップ３１０にて、デコーダでのデコードに要するメモリ帯域幅を推定する。その後、ステップ３３０にて、予測の方法が双方向予測から一方向予測へと変更される、一組の双方向画像の領域を選択する。好適には、ステップ３３０において、画像の境界領域の近傍、領域の動く速度、領域の動く方向、および領域のテクスチャコンテンツのような一組のサイコビジュアル基準を、どの領域に対してデコード方法を変更すべきかの判定に用いることができる。そのような多数の実施例は、各機能ステップに対して変化している複雑度の度合いを選択することによって可能となる。
【００５３】
図４は、本発明によるビデオ圧縮システムの実施態様の概略図であり、このビデオ圧縮システムは、
‐画像シーケンス１を圧縮する圧縮システム４００と、
‐圧縮データストリームを変更する装置４１０と、
‐変更されたデータストリームを解凍する解凍システム４２０と
を具える。
【００５４】
ビデオ圧縮システムは、画像シーケンスおよび関連するオーディオデータを、ビデオソースから受信する。データ圧縮システム４００は、周知の技術を適用して画像シーケンスをエンコードすることによって、データ量を削減する。圧縮システムの出力は、例えばＭＰＥＧまたはＡＶＣのような周知の標準の１つに準拠する、圧縮データストリーム４０１を含む。単一のデータストリームを得るのには、多数のそのようなデータストリームを組み合わせることができる。
【００５５】
本発明の実施態様にかかるビデオストリーム変更装置４１０は、圧縮データストリーム４０１を受信する。ＭＰＥＧ標準によるデータストリーム４０１は、エレメンタリ・ビデオ・ストリーム（ＶＳ）およびオーディオストリームを得るべく、逆多重化手段を用いて逆多重化することができる。エレメンタリ・ビデオ・ストリームは、図２および図３を参照して述べたようなデコード方法の変更を受ける。好適には、変更された圧縮データストリーム４１１は、変更後も元のエレメンタリ・ビデオ・ストリームの標準に準拠する。変更されたデータストリーム４１１は、圧縮システムの元の出力に対応するデータストリームを得るために、対応する音声ストリームと多重化することができる。
【００５６】
変更されたデータストリーム４１１は、画像シーケンス４２１を得るべく、解凍システム４２０を用いて解凍することができる。ストリーム変更装置４１０は、例えば、ローカルサービスプロバイダのヘッド・エンドにおけるような、圧縮または解凍システムとは別個の、ビデオ配信システムに配置することができる。
【００５７】
図５は、本発明によるビデオ処理装置５００の実施態様の概略図である。本発明による圧縮データストリーム変更装置５１０は、圧縮データストリームを含む信号５０１を受信し、出力データストリーム５１１を元のデータストリーム５０１の規格に適合させる。データストリーム５１１は、デコーダ５２０でデコードすることができる。デコーダ５２０の出力は、画像シーケンス５２１を含み、表示装置に表示することができる。また、データストリームは、有線または無線の分配系を介して再送信することができ、あるいは、記録媒体に記録することもできる。本発明による圧縮データストリーム変更装置は、多目的に使用することができ、例えば、ホームネットワークの中央コンピュータや、移動通信ネットワークの分配点のヘッドエンドにおけるような、機器にビデオ配信サービスを提供するための、多数の考えられる場所の１つに、配置することができる。
【００５８】
請求項にて用いた「具える」という動詞およびその活用形は、多数の要素またはステップの存在を排除するものではない。複数の手段を列挙している装置クレームにおいて、それらの手段の幾つかを、同一のハードウェアによって実現してもよい。本発明は、幾つかの異なる要素を具えるハードウェアによって、および、適切にプログラムしたコンピュータによって実現することができる。実際には、本明細書に記載したアルゴリズム要素は、ハードウェア（例えば、アプリケーション特有のＩＣパーツ）として、もしくは、特有のデジタル信号プロセッサまたは汎用プロセッサ等で実行するソフトウェアとして、（全体を、または一部を）実現することができる。
【００５９】
コンピュータプログラム製品は、本発明の特徴的な機能部のいずれかを実行すべく、プロセッサ内にコマンドを引き込む一連の読込みステップ（中間言語および最終的なプロセッサ言語への翻訳のような、中間変換ステップを含み得る）の後に、プロセッサの一般的または特有の目的を実現可能にするコマンドの集合であると理解されたい。特に、コンピュータプログラム製品は、ディスク、テープまたは紙上のプログラムコードのような、媒体上のデータとして実現することができる。プログラムコードとは別の、プログラムに要する特徴的なデータも、コンピュータプログラム製品として実現することができる。
【００６０】
データの入力および出力ステップのような、本方法の実行に要するステップの幾つかは、コンピュータプログラム製品の記述ではなく、プロセッサの機能に既存のものであってもよい。
【００６１】
上述の実施態様は、本発明を制限するものではないことに留意されたい。請求の範囲において組み合わされた本発明の要素の組み合わせとは別に、要素の他の組み合わせも可能である。要素の任意の組み合わせは、単一の専用の要素において実現してもよい。
【図面の簡単な説明】
【００６２】
【図１】一般的なビデオ圧縮および解凍システムの構成部を示す概略的な機能ブロック図である。
【図２】本発明による圧縮データストリーム変更装置の一実施例の構成部を示す概略的な機能ブロック図である。
【図３】本発明による圧縮データストリームの変更方法のステップを示す概略的なフローチャートである。
【図４】本発明によるビデオ圧縮システムの実施例を示す概略図である。
【図５】本発明によるビデオ処理装置の実施例を示す概略図である。
【図１】
2008526077.tif 000003
【図２】
2008526077.tif 000004
【図３】
2008526077.tif 000005
【図４】
2008526077.tif 000006
【図５】
2008526077.tif 000007
【国際調査報告】
2008526077.tif 000008
2008526077.tif 000009
2008526077.tif 000010