(57)【要約】符号化フレームに基づくビデオ情報を含むビデオストリームは、第１フレームと、第２フレームとを含む。第２フレームの符号化は、第１フレームの符号化に依存する。符号化は、第２フレームの領域と、第１フレームの対応する領域との間の位置の差を示す動作ベクトルを含み、動作ベクトルは、第２フレームの領域と、第１フレームの領域との間の対応関係を定義する。第１フレームは、復号され、復号された第１フレームのビデオ強化のための再マッピング手法が、領域ベースの分析を用いて決定される。決定された第１フレームのためのビデオ強化再マッピング手法に従って、復号された第１フレームの領域が再マップされ、第１フレームを強化する。第２フレームの動作ベクトルが、ビデオストリームから取り出され、第２フレームが、復号される。
2006511160.tif 000002
【特許請求の範囲】
【請求項１】
符号化第１フレームと、符号化第２フレームとを含む符号化フレームに基づく情報を含むビデオストリームを受信するステップであって、前記第２フレームの符号化は、前記第１フレームの符号化に依存し、前記第２フレームの符号化は、前記第２フレームの領域と、前記第１フレームの対応する領域との間の位置の差を示す動作ベクトルを含み、前記動作ベクトルは、前記第２フレームの領域と、前記第１フレームの対応する領域との間の対応関係を定義している、ステップと、
前記第１フレームを復号するステップと、
前記復号第１フレームのビデオ強化のための再マッピング手法を、領域ベースの分析を用いて決定するステップと、
前記復号第１フレームの領域を、決定された、前記第１フレームのための前記ビデオ強化再マッピング手法に従って再マップして、前記第１フレームを強化するステップと、
前記ビデオストリームから、前記第２フレームの前記動作ベクトルを取り出すステップと、
前記第２フレームを復号するステップと、
前記第１フレームの領域に対応する前記第２フレームの領域を、前記第１フレームのためのビデオ強化再マッピング手法を用いて再マップして、前記第２フレームを強化するステップと、
を備えることを特徴とする方法。
【請求項２】
前記第１フレームは、Ｉフレームであり、前記第２フレームは、後続の非Ｉフレームである、ことを特徴とする請求項１に記載の方法。
【請求項３】
前記ビデオストリームは、パケットのＭＰＥＧストリームであり、
前記非Ｉフレームは、ＰフレームまたはＢフレームである、ことを特徴とする請求項２に記載の方法。
【請求項４】
前記第１フレームのための前記ビデオ強化再マッピング手法は、コントラストを調整して前記第１フレームを強化するために、輝度値を再マップすることを含む、ことを特徴とする請求項１に記載の方法。
【請求項５】
前記第２フレームの復号は、復元ループを用いて実行され、
前記第２フレームのビデオ強化再マップは、前記復元ループの内部で完全に行われ、前記動作ベクトルを格納する必要がない、ことを特徴とする請求項１に記載の方法。
【請求項６】
前記方法は、前記第２フレームの１つまたは複数の領域を、前記第２フレームの前記領域と、前記第１フレームの対応する領域との間の類似性が、類似基準を満たすかどうかに応じて選択するステップであって、前記類似基準は、類似性の尺度のほかに、前記第１フレームおよび前記第２フレームの領域間の対応関係を含む、ステップをさらに備え、
前記第１フレームのための前記ビデオ強化再マッピング手法に基づく前記第２フレームの前記領域の再マップは、前記第２フレームの前記選択領域に対してのみ実行される、ことを特徴とする請求項１に記載の方法。
【請求項７】
前記方法は、前記第２フレームのＤＣ係数の値を前記ビデオストリームから取り出すステップであって、前記ＤＣ係数値は、前記第１フレームと、前記第２フレームとの間の動作補正後の画像ブロックの予測値の差であり、動作補正は、復号の間に動作ベクトルに応じて領域を再マップすることである、ステップ、をさらに備え、
前記方法は、前記第２フレームの領域を、前記領域の前記ＤＣ係数の値が類似基準を満たすかどうかに応じて選択するステップをさらに備え、
前記第１フレームのための前記ビデオ強化再マッピング手法に基づく前記第２フレームの前記領域の再マップは、前記第２フレームの前記選択領域に対してのみ実行される、ことを特徴とする請求項１に記載の方法。
【請求項８】
前記第１フレームのための前記ビデオ強化再マッピング手法に基づいて再マップする、前記第２フレームの領域の選択は、前記第２フレームの前記領域のブロックの前記ＤＣ係数の前記値と、所定の、または計算されたＤＣ係数閾値との間の関係に依存する、ことを特徴とする請求項７に記載の方法。
【請求項９】
前記方法は、前記第２フレームの領域を、前記領域の動作ベクトルのそれぞれの前記値に応じて選択するステップをさらに備え、
前記第１フレームのための前記ビデオ強化再マッピング手法に基づく前記第２フレームの領域の再マップは、前記第２フレームの前記選択領域に対してのみ実行される、ことを特徴とする請求項１に記載の方法。
【請求項１０】
前記方法は、前記第２フレームの領域の選択を、前記領域の前記動作ベクトルの特性と、それぞれの前記領域に隣接する領域の前記動作ベクトルの特性との間の類似性に応じた類似基準を、前記領域が満たすかどうかに応じて行うステップをさらに備え、
前記第１フレームのための前記ビデオ強化再マッピング手法に基づく前記第２フレームの前記領域の再マップは、前記第２領域の前記選択領域に対してのみ実行される、ことを特徴とする請求項１に記載の方法。
【請求項１１】
前記類似基準を満たすかどうかが依存する前記動作ベクトルの前記特性は、ある領域の前記動作ベクトルおよび隣接する領域の前記動作ベクトルの値の間の類似性を含む、ことを特徴とする請求項１０に記載の方法。
【請求項１２】
前記類似基準を満たすかどうかが依存する前記動作ベクトルの前記特性は、ある領域の前記動作ベクトルおよび隣接する領域の前記動作ベクトルの値の間の直交性を含む、ことを特徴とする請求項１０に記載の方法。
【請求項１３】
前記第１フレームは、Ｉフレームであり、前記第２フレームは、後続の非Ｉフレームであり、
前記ビデオストリームは、パケットのＭＰＥＧストリームであり、前記非Ｉフレームは、ＰフレームまたはＢフレームであり、
前記第１フレームのための前記ビデオ強化再マッピング手法は、輝度値を再マップすることを含み、コントラストを調整して前記第１フレームを強化し、
前記方法は、前記第２フレームの１つまたは複数の領域を、前記第２フレームの前記領域と、前記第１フレームの対応する領域との間の類似性が、類似基準を満たすかどうかに応じて選択するステップをさらに備え、前記第１フレームのための前記ビデオ強化再マッピング手法に基づいて前記第２フレームの前記領域を再マップするステップは、前記第２フレームの前記選択領域に対してのみ実行され、
前記方法は、前記第２フレームのＤＣ係数の値を前記ビデオストリームから取り出すステップをさらに備え、前記ＤＣ係数値は、前記第１フレームと、前記第２フレームとの間の動作補正後の画像ブロックの予測値の差であり、動作補正は、復号の間に前記動作ベクトルに応じて領域を再マップすることであり、前記類似基準を満たすかどうかは、前記ＤＣ係数の前記値に依存し、
前記類似基準を満たすかどうかは、前記領域およびそれぞれの領域に隣接する領域の動作ベクトルの前記特性を比較することに依存し、
前記類似基準を満たすかどうかが依存する前記動作ベクトルの前記特性は、ある領域の前記動作ベクトルおよび隣接する領域の前記動作ベクトルの値の間の前記類似性を含み、
前記類似基準を満たすかどうかが依存する前記動作ベクトルの前記特性は、ある領域の前記動作ベクトルおよび隣接する領域の前記動作ベクトルの値の間の前記直交性を含む、ことを特徴とする請求項１に記載の方法。
【請求項１４】
符号化第１フレームと、符号化第２フレームとを含む符号化フレームに基づくビデオ情報を含むビデオストリームを受信する入力であって、前記第２フレームの符号化は、前記第１フレームの符号化に依存し、前記第２フレームの符号化は、前記第２フレームの領域と、前記第１フレームの対応する領域との間の位置の差を示す動作ベクトルを含み、前記動作ベクトルは、前記第２フレームの領域と、前記第１フレームの対応する領域との間の対応関係を定義している、入力と、
前記フレームを復号するための復号ユニットであって、前記第２フレームの前記動作ベクトルを取り出す、復号ユニットと、
前記復号第１フレームのビデオ強化のための再マッピング手法を、領域ベースの分析を用いて決定し、前記再マッピング手法を用いて前記第１フレームを再マップし、前記第２フレームの１つまたは複数の領域を、前記第１フレームの対応する領域のための再マッピング手法に応じて再マップするための処理手段と、
を備えることを特徴とするビデオデコーダ。
【請求項１５】
前記デコーダは、バッファをさらに備え、
前記復号ユニットは、前記第１フレームを復号し、前記第１フレームを前記バッファに格納し、
前記処理手段は、前記格納された第１フレームを、前記ビデオ強化再マッピング手法に従って再マップし、前記強化された第１フレームを送信し、
前記デコーダは、コンバイナをさらに備え、
前記復号ユニットは、前記第２フレームを復号して、前記第１フレームと、前記第２フレームとの間の差を決定し、前記差をコンバインナに送信し、
前記プロセッサは、前記第１フレームの輝度値を、前記第２フレームの前記動作ベクトルに応じてふたたび再マップし、ふたたび再マップされた前記第１フレームを前記コンバイナに送信し、
前記コンバイナは、ふたたび再マップされた前記第１フレームに、前記第１フレームと、前記第２フレームとの間の前記差を組み合わせて、強化された復号第２フレームを生成する、ことを特徴とする請求項１４に記載のデコーダ。
【請求項１６】
前記処理手段は、前記第２フレームの１つまたは複数の領域を、前記第２フレームの前記領域と、前記第１フレームの対応する領域との間の類似性が、類似基準を満たすかどうかに応じて選択し、
前記処理手段は、前記第２フレームの前記領域を、前記第１フレームのための前記ビデオ強化再マッピング手法に基づいて、前記第２フレームの前記選択領域についてのみ、再マップする、ことを特徴とする請求項１４に記載のデコーダ。
【請求項１７】
前記処理手段は、前記復号ユニットを作動させる、ことを特徴とする請求項１４に記載のデコーダ。
【請求項１８】
セットトップボックスであって、
再生されるビデオプログラムのビデオスストリームを、多数のビデオプログラムのための複数のビデオストリームから選択するためのチューナと、
選択された前記ビデオストリームを復号するための、請求項１４に記載のビデオデコーダと、
復号された前記プログラムをビデオディスプレイに供給するための出力と、
を備えることを特徴とするセットトップボックス。
【請求項１９】
ビデオディスクプレーヤであって、
ディスクを回転させるためのモータと、
照射ビームを生成するためのレーザと、
ビデオディスクの情報層を、前記照射ビームを用いてスキャンするための光学システムであって、前記情報層は、前記ビームに作用をもたらす、光学システムと、
前記光学システムの位置決めをするためのサーボと、
ビームを、前記情報層によって作用をもたらされた後に検知するための照射検知器と、
前記サーボおよびモータを制御し、画像グループ（ＧＯＰ）のための符号化情報を含むビデオストリームを、前記検知に応じて生成するためのプロセッサ手段と、
請求項１３に記載のビデオデコーダと、
を備えることを特徴とするビデオディスクプレーヤ。
【請求項２０】
テレビジョンであって、
再生されるビデオプログラムのビデオストリームを、多数のビデオプログラムのための複数のビデオストリームから選択するためのチューナと、
選択された前記ビデオストリームを復号するための、請求項１４に記載のビデオデコーダと、
選択された前記ビデオプログラムの前記復号フレームを表示するためのビデオディスプレイと、
を備えることを特徴とするテレビジョン。
【請求項２１】
画像グループ（ＧＯＰ）のための符号化情報を含むビデオストリームを受信するステップであって、ＧＯＰにおける前記第１画像は、Ｉフレームであり、前記ＧＯＰにおける後続画像は、非Ｉフレームである、ステップと、
前記Ｉフレームを復号するステップと、
領域ベースの輝度分析を用いて、コントラストを変化させて前記復号Ｉフレームを強化するための、輝度値の再マッピング手法を決定する、ステップと、
前記復号Ｉフレームの前記輝度値を、決定された、前記再マッピング手法に従って再マップするステップと、
前記ビデオストリームから、前記後続の非Ｉフレームの動作ベクトルを取り出すステップであって、前記動作ベクトルは、前記Ｉフレーム内の領域および前記非Ｉフレーム内の対応する領域の位置の差である、ステップと、
前記後続の非Ｉフレームを復号するステップと、
対応する領域間の前記類似性が、類似基準を満たすかどうかを決定するステップと、
前記非Ｉフレームの１つまたは複数の領域を、前記非Ｉフレームの前記領域と、前記Ｉフレームの対応する前記領域との間の類似性が、類似基準を満たすかどうかに応じて選択するステップと、
前記非Ｉフレームの前記選択領域の前記輝度値を、前記Ｉフレームの対応する前記領域の前記再マッピング手法に基づいて再マップして、前記コントラストを変化させて前記非Ｉフレームを強化させるステップと、
を備えることを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ画像処理の分野に関し、より具体的には、フレームが先行フレームに基づいて符号化されるビデオストリームの後続画像を、予測および動作推定を用いて強化することに関する。
【背景技術】
【０００２】
当業者は、ビデオ画像の強化を記載する米国特許第６，２５９，４７２号および米国特許第５，８６２，２５４号に導かれる。これらの引用は、参照されることにより、すべて本明細書に組み込まれる。
【発明の開示】
【課題を解決するための手段】
【０００３】
本発明において、符号化フレームに基づくビデオ情報を含むビデオストリームが、受信される。ビデオストリームは、符号化第１フレームと、符号化第２フレームとを含む。第２フレームの符号化は、第１フレームの符号化に依存する。より具体的には、第２フレームの符号化は、第２フレームの領域と、第１フレームの対応する領域との間の位置の差を示す動作ベクトルを含み、動作ベクトルは、第２フレームの領域と、第１フレームの領域との間の対応関係を定義する。
【０００４】
第１フレームが、復号され、復号された第１フレームのビデオ強化のための再マッピング手法が、領域ベースの分析を用いて決定される。復号された第１フレームの領域は、決定された、第１フレームのためのビデオ強化再マッピング手法に従って再マップされ、第１フレームを強化する。
【０００５】
第２フレームの動作ベクトルが、ビデオストリームから取り出され、第２フレームが復号される。そして、第１フレームの領域に対応する第２フレームの領域は、第１フレームの領域のための再マッピング手法で、領域ベースのビデオ強化を用いて再マップされて、第２フレームを強化する。
【０００６】
先行フレームのビデオ強化再マッピング手法を後続フレームに再利用することは、ビデオ強化を提供するために必要な処理を大幅に減少させる。
【０００７】
本発明のさらなる態様において、第２フレームの１つまたは複数の領域が、第２フレームの領域と、第１フレームの対応する領域との間の類似性が類似基準を満たしているかどうかに応じて選択される。そして、第１フレームのための、領域ベースのビデオ強化の再マッピング手法に基づく、第２フレームの領域の再マッピングは、第２フレームの選択領域に対してのみ実行される。
【０００８】
先行フレームのビデオ強化再マッピング手法の再利用を、先行フレームに十分類似している後続フレームの領域のみに限定することは、後続フレームが強化される可能性を高める。
【０００９】
本発明のデコーダを使用するセットトップボックスは、強化されたビデオ画像を、最小限の追加ハードウェア費用で提供する。本発明のデコーダをビデオディスクプレーヤに使用することは、画像グループを同じ知覚品質でビデオディスク上へ高圧縮することを可能にする。本発明のデコーダを使用するテレビジョンは、より高品質のビデオ画像を表示することができるか、または、より高圧縮のビデオ信号を利用しながら、より低圧縮の信号と同じ品質を提供することができる。
【発明を実施するための最良の形態】
【００１０】
以下の図面の説明において、異なる図での同一の符号は、類似の装置を表す。都合上、このような装置は、それらが現れる最初に説明した図に関してのみ詳細に説明される。
【００１１】
図１は、本発明の方法の特定の実施形態１００を示す。１０２において、ビデオストリームが受信される。ストリームは、画像グループ（ＧＯＰ）のための符号化した情報を含み、ＧＯＰにおける第１画像は、イントラコードフレーム（Ｉフレーム）であり、ＧＯＰにおける後続画像は、非Ｉフレームである。後続の非Ｉフレームの復号は、Ｉフレームの符号化に依存する。ビデオストリームは、例えば、パケットのＭＰＥＧIIストリームであってもよく、この場合、非Ｉフレームは、例えば、プレディクトフレーム（Ｐフレーム）および／または両方向フレーム（Ｂフレーム）であってもよい。しかしながら、他の任意の型のＧＯＰに基づくビデオストリームも、先行フレームに基づいて符号化される後続フレームを含む限り、用いられてよい。１０４において、Ｉフレームが復号される。Ｉフレームの復号は、当該技術において良く知られている。
【００１２】
１０６において、輝度値を再マップしてコントラストを調整するための再マッピング手法が決定され、これにより復号Ｉフレームを強化する。再マッピング手法は、領域ベースの輝度分析を用いてもよい。このような分析を用いて復号フレームの領域のための再マッピング手法を決定する方法は、良く知られており、当業者は、このような輝度値の再マッピングを開示する米国特許第６，２５９，４７２号および米国特許第５，８６２，２５４号に導かれる。１０８において、復号Ｉフレームの輝度値は、決定された再マッピング手法に従って再マップされる。
【００１３】
１０８において、当該技術において良く知られるように、後続の非Ｉフレームの動作ベクトルが、ビデオストリームから取り出される。一般に、動作ベクトルは、Ｉフレーム内の領域と、Ｉフレームに応じて符号化される非Ｉフレーム内の対応する領域との間の位置の差である。領域は、類似した輝度の領域もしくは類似したテクスチャの領域であってもよく、または、フレーム間の他の任意の所定の類似性を用いて領域を定義してもよい。
【００１４】
１１０において、当該技術においてよく知られるように、後続の非ＩフレームのＤＣ係数が、ビデオストリームから取り出される。一般に、ＤＣ係数は、Ｉフレームの画像ブロックの値と、非Ｉフレームの対応する画像ブロックの動作推定後の予測値との間の差である。動作推定は、一般に、復号の間に動作ベクトルに応じて領域を再マップすることである。
【００１５】
１１２において、非Ｉフレームの領域内の輝度値が、Ｉフレームの対応する領域の再マッピング手法に応じて再マップされ、これによりコントラストを調整して非Ｉフレームを強化する。領域間の対応関係は、動作ベクトルから決定される。
【００１６】
後続の非Ｉフレームの領域が、（非Ｉフレームの復号が依存する）Ｉフレームの対応する領域に、より類似している場合には、対応するＩフレーム領域の輝度を再マップするために開発された再マッピング手法を用いて非Ｉフレーム領域の輝度値を再マップすることが、非Ｉフレームを強化するのに適当である。一方、非Ｉフレームの領域が、Ｉフレームの対応する領域と実質的に異なる場合には、Ｉフレームの対応する領域のための輝度値再マッピング手法を用いて非Ｉフレームの領域の輝度値を再マップすることは、非Ｉフレームを強化するのに不適当であり、実際に、非Ｉフレームの品質を低下させるおそれすらある。
【００１７】
コントラストを強化するためにＩフレームを再マップする手法を用いて、後続フレームを再マップすることは、コントラストの強化のために求められる費用を大幅に削減する。一般に、Ｉフレームの品質を改善させるための、領域ベースの任意のビデオ処理を、後続の非Ｉフレームの対応する領域に同じように適用することが可能である。
【００１８】
非Ｉフレームの輝度値の再マッピングは、非Ｉフレームの復号が依存する非Ｉフレームの領域のブロックのＤＣ係数にも依存しても良い。一般に、ある領域のＤＣ係数の値が小さいことは、その領域が、動作補正後に、Ｉフレーム内の対応する領域に類似する可能性が高いことを示している。したがって、ＤＣ係数が比較的大きいと決定されたとき、非Ｉフレームの輝度値を再マップするために、Ｉフレームの輝度値のための再マッピング手法は、用いられない。これは、ＤＣ係数の閾値を用いて決定することができ、閾値は、一定の所定の値または領域ごとに計算された可変値とすることができ、その後、ＤＣ係数の値が閾値未満のときのみ、Ｉフレーム再マッピング手法を用いて、ある領域の輝度値を再マップする。当業者は、フレーム内の領域の標準的な所定ＤＣ係数閾値、またはフレーム内の各領域のＤＣ係数閾値を計算する方法、のいずれを用いてフレームを強化できるかを、容易に決定することができる。有益なＤＣ係数閾値は、例えば、異なる閾値または閾値計算方法が適用された、フレームを比較する単純な試行錯誤の過程によって決定することができる。
【００１９】
また、非Ｉフレームの輝度値の再マッピングは、動作ベクトルの特性にも依存しても良い。上述したように、動作補正と呼ばれる過程において、動作ベクトルを用いて、Ｉフレームの領域に対応する、後続の非Ｉフレームの領域を識別する。しかしながら、動作ベクトルの特性は、動作補正での使用に加えて、非Ｉフレームの領域がＩフレームの対応する領域に類似する可能性を決定するためにも、用いることができる。
【００２０】
各動作ベクトルは、値と、方向とを有する。隣接する領域の動作ベクトル間の関係は、値の差と、直交性と呼ばれる方向の差とを含む。一般に、非Ｉフレームにとって、ある領域の動作ベクトルの値が小さいこと、ある領域およびその隣接する領域の動作ベクトル値間の差が小さいこと、ならびにある領域およびその隣接する領域の動作ベクトル方向間の差が小さいことは、それぞれ、その領域が、対応するＩフレーム領域により類似しそうであることを示す。
【００２１】
一般に、非Ｉフレームのある領域の動作ベクトルの値が小さいことは、その領域が、その復号が依存するＩフレーム内の対応する領域により類似しそうであるいことを示す。動作ベクトル値が比較的大きいと決定されたとき、非Ｉフレームの輝度値を再マップするために、Ｉフレームの輝度値のための再マッピング手法は、用いられない。これは、動作ベクトル値の閾値を用いて決定することができ、閾値は、一定の所定値または領域ごとに計算された可変値とすることができる。そして、領域のそれぞれの動作ベクトルの値が閾値未満である場合のみ、Ｉフレーム再マッピング手法を用いてそれらの領域の輝度値を再マップする。ここでもまた、当業者は、非Ｉフレーム内の領域の標準的な所定動作ベクトル値閾値、または非Ｉフレーム内の領域の動作ベクトル値閾値を計算する方法、のいずれを用いて非Ｉフレームを強化できるかを、容易に決定することができる。有益な動作ベクトル値閾値は、例えば、異なる閾値または閾値計算方法が適用された、非Ｉフレームを比較する単純な試行錯誤の過程によって決定することができる。
【００２２】
また、非Ｉフレームの領域および非Ｉフレーム内の隣接する領域の間の動作ベクトルの値に一貫性があることは、その領域が、非Ｉフレームの復号が依存するＩフレーム内の対応する領域により類似しそうであることを示す。隣接する領域の動作ベクトル値が、領域内の動作ベクトル値と実質的に一貫性がないか、または相違していると決定されたとき、非Ｉフレームの輝度値を再マップするために、Ｉフレームの輝度値のための再マッピング手法は、用いられない。この決定は、例えば、領域の動作ベクトルの値と、隣接する領域の動作ベクトルの値との間の平均差を決定し、次に値の平均差を値一貫性閾値と比較することにより、行われる。値一貫性閾値は、一定の所定値または領域ごとに計算された可変値とすることができる。そして、動作ベクトルの値の平均差が、値一貫性閾値未満である場合のみ、Ｉフレーム再マッピング手法を用いて、領域の輝度値を再マップする。同様に、値の差の平方、値の差の他の組み合わせ、または他の良く知られる統計的アプローチを用いて、値の一貫性を決定することができる。ここでもまた、当業者は、フレーム内の領域の標準的な所定値一貫性閾値、または非Ｉフレーム内の領域の値一貫性閾値を計算する方法、のいずれを用いて非Ｉフレームを強化できるかを、容易に決定することができる。有益な値一貫性閾値は、例えば、それぞれ異なる値一貫性閾値または閾値計算方法が適用された、非Ｉフレームを比較する単純な試行錯誤の過程によって、決定してもよい。
【００２３】
また、非Ｉフレーム内の、ある領域および隣接する領域の間の動作ベクトル方向に一貫性があることは、非Ｉフレームが、その復号が依存するＩフレーム内の対応する領域により類似しそうであることを示す。隣接する領域の動作ベクトル方向が、領域内の動作ベクトル方向と実質的に一貫性がないか、または相違していると決定されたとき、非Ｉフレーム領域の輝度値を再マップするために、その領域のＩフレームの輝度値のための再マッピング手法は、用いられない。これは、例えば、領域の動作ベクトルの方向と、隣接する領域の動作ベクトルの方向との間の平均差を決定し、次に方向の平均差を方向一貫性閾値と比較することにより、決定される。方向一貫性閾値は、一定の所定値または領域ごとに計算された可変値とすることができる。そして、動作ベクトルの値の平均差が方向一貫性閾値未満である場合のみ、Ｉフレーム再マッピング手法を用いて、領域の輝度値を再マップする。同様に、方向の差の平方、方向差の他の組み合わせ、または他の良く知られる統計的アプローチを用いることができる。ここでもまた、当業者は、方向一貫性閾値の所定値、またはフレーム内の領域ごとにそのような閾値を計算する方法、のいずれを用いて非Ｉフレームを強化できるかを、容易に決定することができる。有益な方向一貫性閾値またはそのような閾値を計算する方法は、例えば、異なる閾値または閾値計算方法が適用された、フレームを比較する単純な試行錯誤の過程によって、容易に決定することができる。
【００２４】
類似性の多指標を適用して、Ｉフレームに応じて復号する後続の非Ｉフレームに、Ｉフレームの再マッピング手法を適用するかどうかを決定してもよい。当業者は、類似性の多指標を組み合わせてIフレーム再マッピング手法を非Ｉフレームに適用するかどうかを決定する機能を開発する方法を、知るであろう。例えば、当業者は、類似性のすべての指標がそれぞれの閾値条件を満たすときにのみ、Ｉフレームのコントラスト再マッピング手法を用いることができる。代替として、または、それに加えて、当業者は、類似性の指標と、それぞれの閾値との間の、差または相対差を決定することができ、差もしくは相対差の合計（または、差もしくは相対差の平方）が、さらなる閾値未満であるときのみ、Ｉフレームコントラスト再マッピング手法を非Ｉフレームに適用する。
【００２５】
当業者は、先行する非Ｉフレームに復号が依存し、その非Ｉフレームの復号はＩフレームに依存する、後続の非Ｉフレームのようなフレーム間の、より複雑な従属関係にこの過程を適用する方法を知るであろう。例えば、当業者は、Ｉフレームのコントラスト強化再マッピング手法を、そのような後続の非Ｉフレームに単に適用することができる。あるいは、当業者は、例えば、先行する非Ｉフレームのための第２コントラスト強化再マッピング手法を開発することができ、その再マッピング手法は、後続の非Ｉフレームに適用することができる。
【００２６】
非Ｉフレームの復号は、多くの他フレームに依存することがある。当業者は、多フレームのコントラスト強化再マッピング手法を非Ｉフレームに適用させる機能の開発方法を知るであろう。
【００２７】
図２は、本発明のビデオデコーダ１２０の基本コンポーネントを示す。
【００２８】
画像グループ（ＧＯＰ）を含むパケットのビデオストリームが、入力１２２で受信され、ＧＯＰにおける第１画像は、Ｉフレームであり、ＧＯＰにおける後続画像は、非Ｉフレームである。ビデオストリームは、上述したようにＭＰＥＧストリームであってもよい。
【００２９】
復号ユニット１２４が、ＧＯＰのフレームを復号する。復号ユニットは、復号Ｉフレームをバッファ１２６、処理ユニット１２８に供給する。
【００３０】
プロセッサ１２８は、領域ベースの輝度分析を用いて、輝度値を再マップしてコントラストを変えてＩフレーム画像を強化する方法を決定するとともに、再マッピング手法を用いてバッファ１２６におけるＩフレームの輝度値を再マップする。そして、バッファは、コントラストを強化したＩフレームを、積算ユニット１３０を介して出力１３２に送る。
【００３１】
復号ユニットは、ＧＯＰの後続の非ＩフレームのＤＣ係数および動作ベクトルを取り出し、これらをバッファ１２６およびプロセッサ１２８に供給する。プロセッサ１２８は、元のＩフレームおよびコントラストを強化したＩフレームを、動作ベクトルに従って再マップする。
【００３２】
復号ユニットは、Ｉフレームと、後続の非Ｉフレームとの間の復号差を、積算ユニット１３０に供給する。選択基準に応じて、各領域について、バッファ１２６は、動作ベクトル再マップＩフレームまたは動作ベクトル再マップコントラスト強化Ｉフレームのいずれかを、積算ユニット１３０に供給する。積算ユニットは、復号差および再マップ強化Ｉフレームを組み合わせて、復号された後続の非Ｉフレームを生成する。
【００３３】
この特定の例での、ある領域の選択基準は、以下のとおりである。
ＤＣ＜Ｔ１；およびＭＶＶ＜Ｔ２；およびＭＶＳ＜Ｔ３；およびＭＶＯ＜Ｔ４；および
ａ１（ＤＣ−Ｔ１）２＋ａ２（ＭＶＶ−Ｔ２）２＋ａ３（ＭＶＳ−Ｔ３）２＋ａ４（ＭＶＯ−Ｔ４）２＜Ｔ５
ここでは、ＤＣは、領域のＤＣ係数の値であり、ＭＶＶは、領域の動作ベクトル値であり、ＭＶＳは、動作ベクトルの値と、領域の上下および両側の領域の動作ベクトルの値との間の平均差であり、ＭＶＯは、領域の動作ベクトルの、その領域に面する領域の動作ベクトルに対する直交性であり、Ｔ１〜Ｔ５は、所定閾値であり、ａ１〜ａ４は、定数である。定数および閾値は、観察者により結果の比較に基づいて統計的に選ばれ、結果の画像を最も一貫的に強化する。
【００３４】
図３は、本発明のセットトップボックス１４０を示す。チューナ１４２は、入力１４４で供給される幾つかの異なるビデオプログラムのための多ストリームの中から、ビデオプログラムのためのビデオストリームを選択する。図２のビデオデコーダ１２０は、ビデオプログラムを復号し、復号プログラムを出力１４６に供給し、出力１４６は、例えばテレビジョンセットのようなビデオディスプレイに向けることができる。
【００３５】
図４は、本発明のＤＶＤプレーヤ１５０を示す。ビデオプレーヤは、ビデオディスク１５４を回転させるモータ１５２を有する。レーザ１５６は、照射ビーム１５８を生成する。サーボ１６０は、光学システム１６２の位置を制御して、照射ビームの焦点スポットを用いてビデオディスクの情報層をスキャンさせる。情報層は、ビームに作用をもたらし、ビームを照射検知器１６４に反射または送信し、ビームが情報層によって作用をもたらされた後にビームを検知させる。プロセッサ１６６は、サーボおよびモータを制御し、検知に応じて画像グループ（ＧＯＰ）のための復号情報を含むビデオストリームを生成する。そして、図のビデオデコーダは、ビデオストリームを復号し、復号ビデオストリームを、ディスプレイに接続するための出力１６８に供給する。
【００３６】
プロセッサ１６６は、図２のデコーダ内のものと同一のプロセッサ１２８とするか、または追加のプロセッサを図示のように設けることができる。
【００３７】
図５は、本発明のテレビジョン２００を示す。チューナ１４２は、再生されるビデオプログラムのビデオストリームを、入力１４４に供給されるそれぞれのビデオプログラムのための複数のビデオストリームから選択する。図２のデコーダ１２０は、選択したビデオプログラムを復号し、ディスプレイ２０６に供給する。テレビジョンは、図４のＤＶＤプレーヤのコンポーネントを有して、格納したビデオプログラム（または録画プログラム）を、ＤＶＤコンポーネントを用いて再生させてもよい。
【００３８】
本発明は、特定の実施例に関して上記に説明された。当業者は、これらの実施例を、本明細書における本発明の範囲内で修正する方法を知るであろう。本発明の範囲は、添付される請求項によってのみ限定される。
【図面の簡単な説明】
【００３９】
本発明の追加の態様および利点は、以下の図面を参照した上記の詳細な説明から、当業者に容易に明らかになるであろう。
【図１】図１は、後続ビデオ画像の領域ベースの強化のための、本発明の方法の一例を示す。
【図２】図２は、領域ベースで強化された後続ビデオ画像を提供するための、本発明のデコーダの一例の一部を示す。
【図３】図３は、図２のデコーダを使用するセットトップボックスの一例の一部を示す。
【図４】図４は、図２のデコーダを使用するＤＶＤプレーヤの一例の一部を示す。
【図５】図５は、図２のデコーダを使用するテレビジョンの一例の一部を示す。
【図１】
2006511160.tif 000003
【図２】
2006511160.tif 000004
【図３】
2006511160.tif 000005
【図４】
2006511160.tif 000006
【図５】
2006511160.tif 000007
【国際調査報告】
2006511160.tif 000008
2006511160.tif 000009
2006511160.tif 000010