(57)【要約】ＭＰＥＧ又はＭＰＥＧ２アルゴリズム等の損失のあるＤＣＴに基づくアルゴリズムに基づいて圧縮されたデータは、ＤＣＴ係数の動的に選択されたセットに基づいて復元され、このとき用いられない係数はマスクアウトされる。ほとんど動作を示さないデータのマクロブロックはＤＣＴ係数の小さなサブセットにより復元される一方、より多くの動作を示すマクロブロックはＤＣＴ係数の完全なセットを最高としてＤＣＴ係数のより大きなサブセットを用いて復元される。よって平均の計算複雑性は低く保持され、劣化を最小にしながらも安価な装置の使用を可能にする。
2004519954.tif 000002
【特許請求の範囲】
【請求項１】
データ信号のＤＣＴ符号化ブロックを復号化する方法であって、
（ａ）  ＤＣＴ係数位置の複数のサブセットを予め決定するステップと、
（ｂ）  データ信号の対応する部分をＤＣＴ符号化して得られるＤＣＴ係数のセットを入力するステップと、
（ｃ）  前記入力されたＤＣＴ係数の所定の１つの係数の値に基づいてＤＣＴ係数位置の前記サブセットの１つを選択するステップと、
（ｄ）  前記データ信号の前記対応する部分を復号するためにＤＣＴ係数の前記選択されたサブセットに対してＩＤＣＴ復号化を実行するステップと、
（ｅ）  ＤＣＴ係数の連続するセットに対してステップ（ｂ）、（ｃ）及び（ｄ）を繰り返すステップと、
により特徴付けられる方法。
【請求項２】
前記データ信号がＭＰＥＧアルゴリズムに基づいて符号化されたビデオデータであることを更に特徴とする請求項１に記載の方法。
【請求項３】
前記データ信号がＭＰＥＧ２アルゴリズムに基づいて符号化されたビデオデータであることを更に特徴とする請求項１に記載の方法。
【請求項４】
前記データ信号が８ｘ８ピクセルのマクロブロックであり、前記入力されたＤＣＴ係数の前記所定の係数が第５７番目のＤＣＴ係数であることを更に特徴とする請求項３に記載の方法。
【請求項５】
前記データ信号が８ｘ８ピクセルのマクロブロックであり、前記入力されたＤＣＴ係数の前記所定の係数が第６４番目のＤＣＴ係数であることを更に特徴とする請求項３に記載の方法。
【請求項６】
前記データ信号が８ｘ８ピクセルのマクロブロックであり、前記入力されたＤＣＴ係数の前記所定の係数が第８番目のＤＣＴ係数であることを更に特徴とする請求項３に記載の方法。
【請求項７】
請求項３に記載の方法であって、
ＤＣＴ係数の前記複数の所定のサブセットは２つのサブセットから構成され、
第１サブセットは、第１、第２、第３、第４、第９、第１０、第１１、第１２、第１７、第１８、第１９、第２０、第２５、第２６、第２７及び第２８の位置から構成され、
第２サブセットは、第１、第２、第３、第４、第９、第１０、第１１、第１２、第１７、第１８、第１９、第２０、第２５、第２６、第２７、第２８、第３３、第３４、第３５、第３６、第４１、第４２、第４３、第４４、第４９、第５０、第５１、第５２、第５７、第５８、第５９及び第６０番目の位置から構成され、
前記ＤＣＴ係数の所定の１つの係数の値が所定の閾値より下のときにＩＤＣＴ復号化が係数位置の前記第１サブセットに対して実行され、
前記ＤＣＴ係数の所定の１つの係数の値が所定の閾値以上のときにＩＤＣＴ復号化が係数位置の前記第２サブセットに対して実行される
ことを更に特徴とする方法。
【請求項８】
データ信号のＤＣＴ符号化ブロックを復号化する装置であって、
ＤＣＴ係数位置の所定の複数のサブセットを記憶するデータ記憶装置と、
前記データ信号の一部をＤＣＴ符号化して得られるＤＣＴ係数のセットを入力するための受信器と、
ＤＣＴ係数位置の前記サブセットの１つを前記入力されたＤＣＴ係数の所定の１つの係数の値に基づいて選択し、
前記データ信号の前記対応する部分を復号するためにＤＣＴ係数の前記選択されたサブセットに対してＩＤＣＴ復号化を実行する
計算手段と、
前記受信器及び計算手段を通じてＤＣＴ係数の連続的なセットを転送する制御ロジックと、
により特徴付けられる装置。
【請求項９】
請求項８に記載の装置であって、前記データ信号がＭＰＥＧアルゴリズムに基づいて符号化されたビデオデータであるときの使用のために該装置が構成されることを更に特徴とする装置。
【請求項１０】
請求項８に記載の装置であって、前記データ信号がＭＰＥＧ２アルゴリズムに基づいて符号化されたビデオデータであるときの使用のために該装置が構成されることを更に特徴とする装置。
【請求項１１】
請求項１０に記載の装置であって、前記データ信号が８ｘ８ピクセルのマクロブロックであり、前記所定の前記入力されたＤＣＴ係数が第５７番目のＤＣＴ係数であるときの使用のために該装置が構成されることを更に特徴とする装置。
【請求項１２】
請求項１０に記載の装置であって、前記データ信号が８ｘ８ピクセルのマクロブロックであり、前記所定の前記入力されたＤＣＴ係数が第６４番目のＤＣＴ係数であるときの使用のために該装置が構成されることを更に特徴とする装置。
【請求項１３】
請求項１０に記載の装置であって、前記データ信号が８ｘ８ピクセルのマクロブロックであり、前記所定の前記入力されたＤＣＴ係数が第８番目のＤＣＴ係数であるときの使用のために該装置が構成されることを更に特徴とする装置。
【請求項１４】
請求項１０に記載の装置であって、
ＤＣＴ係数の前記複数の所定のサブセットは２つのサブセットから構成され、
第１サブセットは、第１、第２、第３、第４、第９、第１０、第１１、第１２、第１７、第１８、第１９、第２０、第２５、第２６、第２７及び第２８番目の位置から構成され、
第２サブセットは、第１、第２、第３、第４、第９、第１０、第１１、第１２、第１７、第１８、第１９、第２０、第２５、第２６、第２７、第２８、第３３、第３４、第３５、第３６．第４１、第４２、第４３、第４４、第４９、第５０、第５１、第５２、第５７、第５８、第５９及び第６０番目の位置から構成され、
前記計算手段は、前記ＤＣＴ係数の所定の１つの係数の値が所定の閾値より下のときにＩＤＣＴ復号化を係数位置の前記第１サブセットに対して実行し、
前記計算手段は、前記ＤＣＴ係数の所定の１つの係数の値が所定の閾値以上のときにＩＤＣＴ復号化を係数位置の前記第２サブセットに対して実行する、
ことを更に特徴とする装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、デジタルデータのための圧縮アルゴリズムの復号化に関し、特に、逆離散コサイン変換を採用する復号化アルゴリズムに関する。
【０００２】
【従来の技術】
デジタルデータストリームは記憶及び伝送のためにしばしば圧縮される。英数字のデータを含むデータストリームは、通常圧縮及び復元の後に完全に不変であることが必要とされるが、音声又は画像データを扱うときは、多少の細部は失われる又は変更される可能性はあるが人間の観察者は出力がオリジナルと実質的に類似していると知覚するような、「損失のある（ｌｏｓｓｙ）」圧縮を用いることも許容されるかもしれない。
【０００３】
音声記録のためのＭＰ３（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ｌａｙｅｒ−３ Ａｕｄｉｏ）、静止画像のためのＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）、ビデオ記録のためのＭＰＥＧ（Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）及びＭＰＥＧ２等、損失のある圧縮アルゴリズムが多く考案されてきた。説明される本発明の実施例は、主にＭＰＥＧ２圧縮に適用されるが、他のアルゴリズムにも適用可能である。
【０００４】
ＭＰＥＧ２圧縮では、伝送されるべきビデオフレームは８ｘ８ピクセルのマクロブロック（ＭＢ）に分割される。離散コサイン変換（ＤＣＴ）がＭＢ上でランされ、係数の８ｘ８配列が得られる。量子化され、ことによると更にハフマン木符号化により圧縮された係数は、再生装置による回復のために記憶又は伝送される。
【０００５】
【発明が解決しようとする課題】
再生装置は係数の各８ｘ８配列上で逆離散コサイン変換（ＩＤＣＴ）を実行し、オリジナルフレームからピクセルの８ｘ８配列の等価物を再構成する。最大のディテール及び正確さを得るためには、６４個全ての係数が処理されるべきである。（たとえ６４個全ての係数が用いられても、上述の量子化のためディテールの幾らかの損失は依然存在する。）消費者娯楽等の多くのアプリケーションにおいて、ユーザはより低価格の再生装置を得るために多少の画像品質を犠牲にしようと思っているかもしれない。従来技術の解決策では、画像品質の使用可能又は許容可能なレベルは全６４個の係数よりも少ない係数を用いることで得られ、より低い能力の計算素子の使用を許容している。逆ＤＣＴで用いられる係数の数は、特定の計算素子に対する所望の品質レベルに基づいて決定される。ほとんどカメラの移動及び対象の移動がないような均一な場面については画像品質はかなり良くなることが可能だが、高度に変化がある場面又は高速なカメラの移動若しくは高速な対象の移動があるようなときには劣化する。画像の劣化は、劣化は容認されるが可能な限り目立たないように処理されることを意味する用語である「グレースフル（ｇｒａｃｅｆｕｌ）」デグラデーション（劣化）の限度を超えるかもしれない。このため、画像品質の適切な劣化を保持しつつも全ＤＣＴ係数よりも少ないＤＣＴ係数を処理する能力を持つＭＰＥＧ２再生システムに対する需要がある。
【０００６】
【課題を解決するための手段】
上述の従来技術における制約を克服するために、また、本明細書を読んで理解することにより明らかになるであろう他の制約を克服するために、本発明は、ＤＣＴブロックの水平高周波成分を動的に評価し、高周波成分の現在のレベルに基づいて動的に選択された複数のＤＣＴ係数を用いて復号化するシステム及び方法を提供する。
【０００７】
本発明の１つの側面によると、水平周波数を表すＤＣＴ成分の最高周波数を表すＤＣＴ成分が評価され、これに従ってＤＣＴ係数のマスキングが選択される。
【０００８】
本発明の他の目的及び特徴は、添付の図面と共に考慮される以下の詳細な説明から明らかになる。しかし、当然のことながら、図面は説明の目的のみのために描かれたものであって、本発明の範囲の規定のために描かれたのではなく、このためには添付の請求項を参照するべきである。更に、当然のことながら、図面は縮尺どおりに描かれている必要はなく、そうでないと示されない限り、ここで説明される構造及び工程を概念的に説明することのみを意図されている。
【０００９】
図面中では、類似の参照番号は類似の要素を示す。
【００１０】
【発明の実施の形態】
ビデオストリームのＭＰＥＧ又はＭＰＥＧ２データ圧縮等の典型的なデータ圧縮方式では、８ｘ８ピクセル配列（マクロブロック又はＭＢ）がビデオフレームから抽出され、ＤＣＴ係数のセットを得るために離散コサイン変換（ＤＣＴ）が前記ＭＢに対して実行され、これは通常ＤＣＴ係数の８ｘ８配列を生成するために量子化される。
【００１１】
公知の技術であるＤＣＴアルゴリズムがここで参照のため与えられる。ｉが０〜Ｎ−１の整数であるとき、データＡ（ｉ）が与えられると、（例えばエンコーダにより用いられる）順方向ＤＣＴは、
【数１】
2004519954.tif 000003
であり、ここでデルタはクロネッカーのデルタである。Ｂ（ｋ）は周波数空間変数ｋの全値に対して規定されるが、ここでは０〜Ｎ−１の範囲の整数ｋのみを考える。
（例えばデコーダにより用いられる）逆ＤＣＴは、
【数２】
2004519954.tif 000004
である。
【００１２】
図１は、６４個の係数位置が００から６３までと名前を付けられるこのような配列の典型的なレイアウトを示す。この配列に適用されるＤＣＴアルゴリズムでは、Ｎは６４の値を持つ。位置００はＭＢの最低垂直周波数及びＭＢの最低水平周波数を表すＤＣＴ係数を含む。より高い水平周波数を表す係数は図１に示される配列の「縦」の連続位置を占め、より高い垂直周波数を表す係数は示されるように配列の「横」の連続位置を占める。よって、位置７の係数は水平周波数に関係なく最高垂直周波数を表し、位置５６の係数は垂直周波数に関係なく最高水平周波数を表し、位置６３の係数は最高水平周波数及び最高垂直周波数の両方を表す。図１Ａは配列位置における相対周波数を図式的に示す。
【００１３】
再生のためのオリジナルフレームを再現するためには、オリジナルフレームから８ｘ８ＭＢの近似を回復するために逆離散コサイン変換（ＩＤＣＴ）をコサイン係数の８ｘ８配列に対して実行する必要がある。本来的にＭＰＥＧ等の圧縮アルゴリズムは「損失のある」圧縮アルゴリズムなので、これは近似であり、幾らかのディテールは本来的に失われるか又は変更される。しかし、ディテールの損失は閲覧者には知覚できないほどであるかもしれない。更に、閲覧者にとって不快でないような出力ビデオストリームを依然生成しながらも（再生装置を簡略化し、よってコストを削減するために）ディテールの損失を増加させることも可能かもしれない。
【００１４】
図２Ａは、完全に線影を付けられているので、ＤＣＴ係数の８ｘ８配列の全位置がＩＤＣＴ復号化に用いられることを示す。これはＭＢを再構成するための計算複雑度の１００％である。図２Ｂから２ＨはそれぞれＩＤＣＴ復号化に用いられる係数００〜６３の典型的なサブセットを示す。線影を付けられた正方形は、図１で識別される対応する位置からの対応するＤＣＴ係数がＩＤＣＴ復号化において用いられることを示す。線影を付けられていない正方形は、対応するＤＣＴ係数がゼロに設定され、用いられないということを示す。図２Ｂ〜２Ｈそれぞれに、結果の計算複雑度の相対（例えばパーセント）表示がある。ＤＣＴ係数のサブセットを用いることにより画像品質が劣化する程度は、ＭＢの周波数複雑度に依存する。一定の平らなバックグラウンドの一部であるようなＭＢは、例えば、図２Ｈの３８％という複雑度においてすら知覚可能な劣化をおそらく示さない。他方で、カメラが右から左へパンしているときに場面を左から右へ走って横切っている人物のチェック柄のシャツの一部であるようなＭＢは、図２Ｈの３８％という複雑度ではかなりひどく劣化し、それぞれのより高いレベルの複雑度でより少なく劣化する。
【００１５】
同様の考察が、崖から飛び降りる人物のチェック柄のシャツ等、垂直方向に高い複雑度を示すＭＢについて適用される。通常のビデオプログラム素材においては、垂直複雑度よりも水平複雑度のほうがずっと多く見られる。本発明の好適な実施例は、水平複雑度の劣化を垂直複雑度よりも多く低減させるが、当然本発明の技術は、垂直複雑度を重視するようにされることも可能であり、又は、水平及び垂直複雑度を等価に扱うことも可能である。
【００１６】
連続的に１００％の計算能力を提供することのできない低コストの再生装置において名目上の視聴品質を提供するための従来技術の解決策は、この再生装置の計算能力に基づいて選択された１つの所定のＤＣＴ係数のサブセットを用いて常に復号化することである。例えば、１００ＭＨｚ Ｉｎｔｅｌ Ｐｅｎｔｉｕｍ（登録商標）チップに基づく再生装置に対しては、図２Ｇの５５％という複雑度が常に用いられるかもしれないが、３５０ＭＨｚ Ｉｎｔｅｌ Ｐｅｎｔｉｕｍ−ＩＩ（登録商標）チップに基づく再生装置に対しては、図２Ｃの８６％という複雑度が常に用いられるかもしれない。後者の装置はよりよい結果を生じさせるが、これでさえも、高度の垂直複雑度を有するＭＢに対しては目に見えて分かる目障りな劣化を伴う結果を生じさせ得る。
【００１７】
本発明は、各ＭＢの水平複雑度を評価し、これに従って複雑度を選択する。よって、場面を走って横切るチェック柄のシャツを着た人物の例では、速く移動している人物のチェック柄のシャツ又は他の部分からのＭＢに対しては、劣化を低減させるように高複雑度の復号化が用いられる。しかし、フレームからの他のＭＢはずっと低い複雑度を示し（走っている人物の背景は均一なビルの壁又は均一な青い空であるかも知れない）、これらのＭＢに対しては不快な劣化を導入すること無しに低複雑度の復号化を用いることが可能であるかもしれない。
【００１８】
再び図１を参照すると、係数５６の大きさは最高水平周波数における現在のＭＢの水平複雑度の表示であり、よって、係数５６は現在のＭＢに対して適用される処理の複雑度を選択する先行指標として用いられる。この選択は、ビデオデータがインターリーブされていれば（ほとんどのＴＶ信号はそうである）非常に重要である。データがインターリーブされており、インターリーブ後にＤＣＴ符号化をされる場合は、（インターリーブされていないＭＢで実行されるフィールド型ＤＣＴの反対である）フレーム型ＤＣＴとして知られる。インターリーブされたデータでは、上部フィールドは下部フィールドよりも大きく異なっていてよく、この場合、係数５６は非常に高い値を持つ。固定された復号化の複雑度をむやみに用いるという従来技術の解決策は、このような場合において不快な劣化を生じさせることが多い。視聴者はこのような出力を見ることによって眩暈を起こすと報告されている。高い垂直複雑度は典型的なプログラム素材においてずっと少なく起こることが多い。（他の実施例は、水平及び垂直劣化を等価に最小化することが所望ならば係数６３（又は配列の主要な対角線に沿った他の係数）を用いるか、垂直劣化のみを最小化することが所望ならば係数０７を用いてよい。）
【００１９】
（例えば均一な背景からの）低い平行複雑度を有するＭＢに対しては、係数５６の大きさは非常に小さく、従って、図２Ｈの低複雑度の符号化が、大きな劣化を導入すること無しに用いられることが可能である。より高いレベルの符号化の複雑度が係数５６のより高い値に対して用いられ、これにより、劣化を許容可能な値に低く保持する。係数５６が所定の閾値を超えるようなＭＢに対しては、全６４個のＤＣＴ係数が用いられる図２Ａの１００％という複雑度が適用されることができる。事実上全ての典型的なフレームにおいて、フレームを有するＭＢの幾つかに対して複雑度が１００％の復号化が用いられる場合でさえも平均計算複雑度は１００％を大きく下回る。
【００２０】
本発明のこの実施例では、係数５６に対してただ１つの閾値が規定され、閾値よりも低い値に対しては、相対複雑度が５５％の図２Ｇに示される係数サブセットが採用され、閾値以上の値に対しては、相対複雑度が８６％の図２Ｃに示される係数サブセットが採用される。
【００２１】
本発明の実施例が図３でフローチャート形式で説明される。各フレームの各ＭＢに対し、典型的には記憶手段又は伝送手段から、ＤＣＴ係数の８ｘ８配列が入力される（ブロック３０２）。ブロック３０４では、係数５６の値が評価される。上述のとおり係数５６は水平動作の最高周波数と関連しており、本実施例は、典型的なプログラム素材において垂直劣化はずっと低い頻度で起こるため、垂直劣化を許容しつつ水平劣化を最小化することを目標とする。
【００２２】
ブロック３０６では、係数５６の値を持つＤＣＴ係数のサブセット（図２）のためのマスキングの所定の関連に基づいて、マスキングの所定の１つが選択される。ブロック３０８では、ＤＣＴ係数の選択されたサブセットが逆ＤＣＴ操作で用いられ、元のマクロブロックの近似を回復する。係数５６の値に基づく係数サブセットの動的な選択により、水平動作が多くないときはより低い複雑度が用いられ、水平動作がより多いときは劣化を最小化するためにより高い複雑度が用いられる。本実施例は２つのサブセット選択肢の内１つを採用する。これら選択肢は、所定の閾値より低い係数５６の値のための図２Ｇの複雑度５５％のサブセットと、所定の閾値以上の値のための図２Ｃの複雑度８６％のサブセットと、である。
【００２３】
ブロック３１０は、フレームの各ＭＢが処理されるようにブロック３０２に発送される。ブロック３１２は、ビデオストリーム中の各フレームを処理するようにブロック３０２に発送される。
【００２４】
ここで説明された操作を実行するための装置は、設計選択の問題として、特殊用途ハードウェアで構築されるか、又は、適切なファームウェア又はソフトウェアによりプログラムされる一般目的デジタルロジックハードウェアで構築されることができる。このような装置４００は図４にブロック図として示される。この装置は、インプットデータを入力するための受信器４０２と、コンピュータ命令及びデータ（入力データ、中間データ、処理された出力データ、及び、所定のＤＣＴサブセット等の作業データ）を記憶するためのデータ記憶装置４０４と、計算手段４０６と、制御ロジック４０８と、データを出力するためのデータ伝送器４１０と、を含む。
【００２５】
このように、本発明の原理的な新規な特徴を好適な実施例に適用されたように示し、説明し、指摘したが、当業者は本発明の精神から離れることなく、図示された装置の形式及び詳細並びに本装置の動作に、種々の省略、置換及び変更を行うことが可能であることが理解されるであろう。例えば、同一の結果を得るためにほぼ同一の方法でほぼ同一の機能を実行する要素及び／又は方法ステップの全結合は、本発明の範囲内であることが特に意図されている。更に、本発明の開示された形式又は実施例と共に示され、及び／又は、説明された構造及び／又は要素及び又は方法ステップは、設計選択の一般的な問題として、いかなる開示された又は説明された又は示唆された形式又は実施例にも組み込まれてよいことが分かるであろう。従って、ここに添付の請求項の範囲に示されたようにのみ制限されることが意図されている。
【図面の簡単な説明】
【図１】本発明の１つの実施例による８ｘ８配列のＤＣＴ係数位置の構成。
【図１Ａ】図１に与えられるＤＣＴ係数位置により表される相対的な周波数の模式図。
【図２Ａ】図１に基づいてＤＣＴ係数に符号化された信号を復号化するために適用されてよい、各々に対する相対計算複雑度を示す典型的なマスキング。
【図２Ｂ】図１に基づいてＤＣＴ係数に符号化された信号を復号化するために適用されてよい、各々に対する相対計算複雑度を示す典型的なマスキング。
【図２Ｃ】図１に基づいてＤＣＴ係数に符号化された信号を復号化するために適用されてよい、各々に対する相対計算複雑度を示す典型的なマスキング。
【図２Ｄ】図１に基づいてＤＣＴ係数に符号化された信号を復号化するために適用されてよい、各々に対する相対計算複雑度を示す典型的なマスキング。
【図２Ｅ】図１に基づいてＤＣＴ係数に符号化された信号を復号化するために適用されてよい、各々に対する相対計算複雑度を示す典型的なマスキング。
【図２Ｆ】図１に基づいてＤＣＴ係数に符号化された信号を復号化するために適用されてよい、各々に対する相対計算複雑度を示す典型的なマスキング。
【図２Ｇ】図１に基づいてＤＣＴ係数に符号化された信号を復号化するために適用されてよい、各々に対する相対計算複雑度を示す典型的なマスキング。
【図２Ｈ】図１に基づいてＤＣＴ係数に符号化された信号を復号化するために適用されてよい、各々に対する相対計算複雑度を示す典型的なマスキング。
【図３】本発明の実施例のためのフローチャート。
【図４】図３の流れを実行するために適切な装置のブロック図。
【図１】
2004519954.tif 000005
【図３】
2004519954.tif 000006
【図４】
2004519954.tif 000007
【国際公開パンフレット】
2004519954.tif 000008
2004519954.tif 000009
2004519954.tif 000010
2004519954.tif 000011
2004519954.tif 000012
2004519954.tif 000013
2004519954.tif 000014
2004519954.tif 000015
2004519954.tif 000016
2004519954.tif 000017
2004519954.tif 000018
2004519954.tif 000019
2004519954.tif 000020
2004519954.tif 000021
2004519954.tif 000022
2004519954.tif 000023
【国際公開パンフレット（コレクトバージョン）】
2004519954.tif 000024
【国際調査報告】
2004519954.tif 000025
2004519954.tif 000026
2004519954.tif 000027