(57)【要約】【課題】ブロックとして構成されたフレームを含む符号化された圧縮ビットストリームとして符号化されているビデオを復号する方法。【解決手段】ビットストリームを可変長復号及び逆量子化して該ビットストリームのブロックの運動ベクトル及びＤＣＴ係数を求める。該ＤＣＴ係数を逆離散コサイン変換する。各再生ブロック毎に低解像度のブロックを生成し、再生ブロックを低解像度ブロックで運動補償してビデオを復号する。
2005525056.tif 000002
【特許請求の範囲】
【請求項１】
複数のブロックとして符号化された圧縮ビットストリームとして符号化されているビデオを復号する方法において、
前記ビットストリームを可変長復号及び逆量子化して該ビットストリームのブロックの運動ベクトル及びＤＣＴ係数を求め、
該ＤＣＴ係数を逆離散コサイン変換し、
各再生ブロック毎に低解像度のブロックを発生し、
再生ブロックを低解像度ブロックで運動補償してビデオを復号することを含む方法。
【請求項２】
低解像度ブロックが制約されたサイズを有するフレームメモリに格納される請求項１に記載の方法。
【請求項３】
低解像度ブロックの発生が更に、
フレームメモリの制約されたサイズに従い前記ＤＣＴ係数を離散コサイン変換し、
変換されたＤＣＴ係数をフィルタリング及びインデクシングすることを含む請求項１に記載の方法。
【請求項４】
運動補償が更に、
前記低解像度ブロックの逆インデクシングと、
前記フレームメモリの制約されたサイズに従いインデクシングされた低解像度ブロックの逆離散コサイン変換を行うことを含む請求項３に記載の方法。
【請求項５】
低解像度ブロックのＤＣＴ係数の数が、再生ブロックのＤＣＴ係数の数よりも少ない請求項１に記載の方法。
【請求項６】
低解像度ブロックのＤＣＴ係数が、該ＤＣＴ係数の順序化されたパターンに従って構成される請求項５に記載の方法。
【請求項７】
順序化されるパターンが形状関数によって決定される請求項６に記載の方法。
【請求項８】
各再生ブロックが複数のピクセルを含み、形状関数が再生されたブロックを包覆ピクセル及び非包覆ピクセルに区分けする請求項７に記載の方法。
【請求項９】
形状関数ｆ(u, v）が下記の群
【数１】
2005525056.tif 000019
から選択され、
上式中ｋ及びｃは定数、u及びｖはＤＣＴ係数の座標、そして各ブロックの寸法はＮ×Ｎである請求項７に記載の方法。
【請求項１０】
形状関数が、f (i, i)＝１が成り立つ対称中心を有する請求項９に記載の方法。
【請求項１１】
ＤＣＴ係数の順序化されたパターンが
【数２】
2005525056.tif 000020
である請求項９に記載の方法。
【請求項１２】
最初からＫ番目までの係数が
【数３】
2005525056.tif 000021
である請求項１１に記載の方法。
【請求項１３】
Ｎ×Ｎブロックに対する制約ＣＤＣＴが
【数４】
2005525056.tif 000022
で与えられ、上式中、(uk, vk)＝P(k) 及び１≦ｋ≦Ｋである請求項１２に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に圧縮ビデオビットストリームを符号化する技術分野に係わり、特に、圧縮ビデオビットストリームを復号する際に低域解像度を用いる圧縮ビデオビットストリームの復号に関する。
【背景技術】
【０００２】
離散コサイン変換
離散コサイン変換（以下、ＤＣＴとも略称する）は、フーリエ変換と同様に、分離可能な正規直交周波数をベースとする。ＤＣＴの導入は画像圧縮にとって重要な進歩であった。ＤＣＴ、即ち離散コサイン変換は、離散フーリエコサイン変換（以下、ＤＦＴとも略称する）の離散−時間バージョンと見なすことができる。ＤＦＴとは異なり、ＤＣＴは実数値を扱い、少ない数の係数で信号の良好な近似を行う。ＤＣＴでは、画像の各ブロックが係数のブロックに変換される。
【０００３】
ＤＣＴは画像圧縮用途で広汎に用いられている。例えば、二次元ＤＣＴ、即ち2D DCTは、静止画像の圧縮、動画像の圧縮及びビデオ電話での符号化技術に利用されている。画像圧縮規格については後に詳細に述べる。ＤＣＴのエネルギー圧縮性は、多くの画像において、エネルギーは人間の視覚系が一層敏感である低周波数乃至中周波数に集中すると言う理由から画像圧縮に良く適している。
【０００４】
ＤＣＴは、画像の視覚品質に関し異なった重要度のスペクトル副帯域に画像を分離するのを容易にする。ＤＣＴは、信号又は画像を空間ドメインから周波数ドメインに変換する点でＤＦＴに類似している。
【０００５】
Ｍ×Ｎ入力画像ｙに対して、出力Ｙの二次元ＤＣＴ係数は次のように定義される。
【０００６】
【数１】
2005525056.tif 000003
【０００７】
上記式において、乗数は次式で与えられる。即ち、
【０００８】
【数２】
2005525056.tif 000004
及び
【０００９】
【数３】
2005525056.tif 000005
【００１０】
上式中、
Ｍ＝入力データセットにおける行数、
Ｎ＝入力データセットにおける列数、
ｍ＝空間ドメインにおける行インデックスであって０≦ｍ≦Ｍ−１、
ｎ＝空間ドメインにおける列インデックスであって０≦ｎ≦Ｎ−１、
ｙ(m, n)＝空間ドメインデータ、
u＝周波数ドメインにおける行インデックス、
v＝周波数ドメインにおける列インデックス、
Y(u, v)＝周波数ドメイン係数。
【００１１】
上式中、y（m, n）は空間ドメインにおける入力信号又は元の画像を表し、Y（u, v）は周波数ドメインにおける出力信号または変換画像を表す。関数 F(.) は表記法を簡略化するのに用いている。
【００１２】
上式における関数の逆数を用いて空間ドメインにおける信号を再生（reconstruct）することができる。従って、二次元逆離散コサイン変換（2D IDCT）は下記のように定義される。
【００１３】
【数４】
2005525056.tif 000006
【００１４】
関心のある多くの用途に対して、Ｍ及びＮは同じ値を有する。最初に述べた式でＭ＝Ｎの置換を行えば、次式が得られる。
【００１５】
【数５】
2005525056.tif 000007
【００１６】
上式は、Ｎ×Ｎ点ＤＣＴ関数を定義する。ビデオ圧縮のような多くの用途において、入力ビデオ信号は通常基本的な矩形ブロックに分割もしくは区分され、ＤＣＴはこれらデータブロックに対して行われる。画像圧縮用途においては８×８ブロックＤＣＴが最も普通に用いられている。その理由は、計算上の複雑さと圧縮効率との間に合理的な妥協が得られるからである。最後に述べた式（３）においてＮ＝８の置換を行えば次式が得られる。
【００１７】
【数６】
2005525056.tif 000008
【００１８】
上記のコサイン関数Ｆ(.) は、入力データの次元には依存するが、データ自体には依存しない点に留意されたい。８×８の固定入力ブロックサイズの場合には、特定の用途に用いられるＤＣＴプロセスに依存して、コサイン値を予め計算して置くことができる。
【００１９】
ビデオ圧縮規格
ビデオ圧縮は、より小数の記憶装置、ネットワーク及びプロセッサ資源を用いて可視情報の記憶、伝送及び処理が可能にする。国際標準化機構（International Standards Organization、略してISO）の動画エキスパートグループ（Moving Pictures Experts Group、略してＭＰＥＧ）がデジタルビデオ圧縮、即ち画像または「フレーム」の時間シーケンス及びオーディオ圧縮に関する規格を作成している。特に、ＭＰＥＧは、陰的に符号化器もしくはエンコーダ、復号器もしくはデコーダ及びトランスコーダを定める標準圧縮ビットストリームについての定義をしている。
【００２０】
ＭＰＥＧ圧縮によれば、ビデオ信号に対して、ビデオフレーム内の空間的冗長性並びにビデオフレーム間の時間的冗長性が取り除かれる。静止画像圧縮用のＪＰＥＧ規格の場合と同様に、上述のようなＤＣＴベースの圧縮は、空間的冗長性を低減もしくは縮減するのに用いられる。時間的冗長性を利用するのに運動補償が用いられる。ビデオストリームにおける画像は、通常、短い時間間隔中に大きく変化することはない。この運動補償という考え方は、ビデオフレームの符号化を他の時間的に隣接するフレームに基づかせるためのものである。
【００２１】
最も広汎に用いられているビデオ圧縮規格には動画の記憶及び検索のためのＭＰＥＧ−１が含まれる。このＭＰＥＧ−１によれば、入力信号の複雑さ及び所望の品質に依存し、アナログビデオ及びオーディオ信号を、５０：１乃至１００：１の範囲内の比率で圧縮することができる。ディジタルテレビジョン用にはＭＰＥＧ−２が用いられる。ＭＰＥＧ−２によれば、ＭＰＥＧ−１よりも高いデータレートで高品質のビデオ圧縮が可能になる。ビデオ会議用には、H.263 規格が採用されている。これら規格に関しては、ＩＳＯ/ＩＥＣ 11172-2：1993，「Information Technology−Coding of Moving Pictures and Associated Audio for Digital Storage Media up to about 1.5 Mbit/s Part 2: Video」、D. LeGall,「ＭＰＥＧ: A Video Compression Standard for Multimedia Applications」,  Communications of the ＡＣＭ, Vol.34, No.4, pp.46-58,1991、ＩＳＯ/ＩＥＣ 13818-2：1996「Information Technology−Grneric Coding of Moving Pictures and Associated Audio Information−Part 2: Video」1994、ＩＴＵ-Ｔ ＳＧＸＶ, ＤＲＡＦＴ Ｈ.263「Video Coding for Low Bitrate Communication」1996 及びＩＴＵ-Ｔ ＳＧ ＸＶＩ,ＤＲＡＦＴ13 Ｈ.263+Ｑ15-A-60 rev.0,「Video Coding for Low Bitrate Communication」1997 を参照されたい。
【００２２】
これら規格は、主に画像またはフレームの空間及び時間圧縮並びにフレームのシーケンスの空間及び時間圧縮を取り扱う比較的低レベルの仕様である。共通の特徴として、これら規格では、フレームベースでの圧縮が行われる。これら規格に準拠すれば、広範囲の用途に亙って高い圧縮比を達成することができる。
【００２３】
マルチメディア用のＭＰＥＧ−４のような比較的新しいビデオ符号化規格の出現で、任意の形状のオブジェクトを別のビデオオブジェクト平面（ＶＯＰ）として符号化したり復号することが可能である。MPEG-4に関しては、ＩＳＯ／ＩＥＣ14496-2:1999,「Information technology−coding of audio/visual objects, Part 2: Visual」を参照されたい。この場合、オブジェクトとしては、ビジュアルオブジェクト、オーディオオブジェクト、自然オブジェクト、人工オブジェクト、原始オブジェクト、混成オブジェクト或いはそれらの組み合わせからなるオブジェクトが挙げられる。また、無線チャンネルのようなエラーの起こりがちなチャンネルを介してロバストな、即ち堅牢な伝送を可能にするためにこの規格には相当量の耐エラー対策が採られている。
【００２４】
この最新のＭＰＥＧ−４規格は、自然及び人工マテリアルが統合され然もアクセスが普遍的である対話型ビデオのようなマルチメディア アプリケーションを可能化することを企図している。ビデオ伝送と関連して、これ等の圧縮規格は、ネットワーク帯域幅、メモリ及びプロセッサのような用いられる資源を最小化するのに必要とされる。
【００２５】
デバイスがコンテンツをロバストに、即ち堅実に伝送したりコンテンツの品質を利用可能な資源に適応化することを可能にするシステム及び方法に関して多大な努力が払われている。コンテンツをエンコードもしくは符号化する場合、低ビットレート或いは低空間解像度ビットストリームでネットワークを介しビットストリームを伝送するようにするためには、先ずその前に該ビットストリームを更にトランスコード（符号変換）することが時として必要とされる。
【００２６】
圧縮ビデオビットストリーム
ビデオビットストリームは、ビデオフレームのシーケンスからなる。各フレームは静止画像である。ビデオプレィヤは、通常、毎秒30フレーム（fps）に近いレート、具体的には 23.976、24、25、 29.97 又は 30 fps（フレーム／秒）でフレームを次から次へと表示する。
【００２７】
フレームの画素、即ちピクセルは、２４ビット／ピクセル、即ちレッド（赤）、グリーン（緑）及びブルー（青）チャンネル毎に８ビットの標準のＲＧＢフォーマットでデジタル化されている。ＭＰＥＧ−１は、1.5 M bps（ビット／秒）またはそれ以下のビットレートを発生するように設計されており、24−30 fps(フレーム／秒)で３５２×２８８サイズの画像で用いるように企図されている。この結果、データレートは 55.7 乃至 69.6 M bps（ビット／秒）となる。
【００２８】
ＭＰＥＧ−１は、ＹＵＶ色空間（Ｙ，Ｃｒ，Ｃｂ）で表される画像で動作する。従って、画像がＲＧＢフォーマットで表される場合には、先ず始めに画像をＹＵＶフォーマットに変換しなければならない。ＹＵＶフォーマットでも、画像はピクセル毎に２４ビット、即ちルミナンス（輝度）情報（Ｙ）に対して８ビットで２つのクロミナンス情報（Ｕ及びＶ）に対しそれぞれ８ビットの計２４ビット／ピクセルで表される。ＹＵＶフォーマットはサブサンプリング（二次抽出）される。全てのルミナンス情報は保存される。しかしながら、クロミナンス情報は水平及び垂直両方向において、２：１の割合でサブサンプリングされる。従って、Ｕ及びＶ情報のピクセル毎にそれぞれ２ビットが割り当てられる。このサブサンプリングは、人間の視覚系がクロミナンス情報よりもルミナンス情報に対し大きな感度を有するところから、品質に対してはさほど顕著な影響を与えることはない。サブサンプリングはロス（損失）を伴う圧縮である。２４ビットのＲＧＢ情報は１２ビットのＹＵＶ情報に縮減され、自動的に２：１の圧縮が行われる。専門的に言えば、ＭＰＥＧ−１は４：２：０ ＹＣｒＣｂである。
【００２９】
フレームは１６×１６のピクセルのマクロブロックに分割もしくは区分することができ、この場合各マクロブロックは４つの８×８ルミナンス ブロックと２つの８×８クロミナンス ブロック、即ち、Ｕに対し１ブロック、Ｖに対し１ブロックを有する。マクロブロックは運動補償圧縮用の単位である。ブロックはＤＣＴ圧縮に対して用いられる。
【００３０】
フレームの形式
圧縮ドメインにおいては、フレームは３つの形式もしくはタイプ、即ちイントラ フレーム（Ｉ−フレーム）、順方向予測フレーム（Ｐ−フレーム）及び双方向予測フレーム（Ｂ−フレーム）に従って符号化することができる。
【００３１】
Ｉ−フレーム
Ｉ−フレームは、過去または未来のフレームを参照もしくは基準としない単一のフレームとして符号化される。用いられる符号化方式はＪＰＥＧ圧縮に類似する。各８×８ブロックは、追って述べる１つの例外を除き、互いに独立に符号化される。先ず、ブロックは、信号を独立の周波数帯域で分離するＤＣＴを用いて、空間ドメインから周波数ドメインに変換される。殆どの周波数情報は、得られる８×８ブロックの左上隅部に存在する。しかる後に、データは量子化パラメータ（ＱＰ）に従って量子化される。
【００３２】
量子化
量子化とは、この場合、下位ビットを無視するプロセスと考えることができる。尤も実際には、このプロセスはより複雑ではある。量子化は、全圧縮プロセスのうち、サブサンプリング以外に唯一のロスを伴うプロセスである。得られるデータは次いで、圧縮を最適化するためにジグザグ順序でランレングス符号化（run-length encoding）される。このジグザグ順序化によれば、各ジグザグが、８×８ブロックの左上隅から右下隅に向かって延びるので高周波数情報が殆どない、即ち、大部分は“０”であるという事実からして、長い“０”のランが生ずる。なお、独立性に対する上述の１つの例外とは、ＤＣ係数と呼称されるブロックの左上隅における係数が差動パルス符号変調（ＤＣＰＭ）符号化の場合のように、先行のブロックのＤＣ係数に対して符号化されることである。
【００３３】
Ｐ−フレーム
Ｐ−フレームは、過去の基準フレーム（参照フレームとも称し得る）に関連して符号化される。基準フレームとなるのは、Ｐ−またはＩ−フレームである。ここで、過去の基準フレームとは、時間的に最も近接する先行の基準フレームである。Ｐ−フレーム内の各マクロブロックは、Ｉ−マクロブロック或いはＰ−マクロブロックのいずれかとして符号化することができる。Ｉ−マクロブロックはＩ−フレームにおけるマクロブロックと全く同様に符号化される。Ｐ−マクロブロックは過去の基準フレームの１６×１６エリアにエラー項を加えたものとして符号化される。基準フレームの１６×１６エリアを特定するために運動ベクトルが含まされる。
【００３４】
運動ベクトル
運動ベクトル（０，０）は、１６×１６エリアが、マクロブロックが符号化されつつある位置と同じ位置にあること表す。他の運動ベクトルは、このブロックの位置に対して用いられる。運動ベクトルは、ピクセルが平均化される場合半ピクセル値を含み得る。エラー項は、ＤＣＴ、量子化及びランレングス符号化を用いて符号化される。（０，０）ベクトル及び全べてゼロのエラー項に等価であるマクロブロックはスキップすることもできる。良好な運動ベクトル、即ち小さいエラー項と良好な圧縮を可能にする運動ベクトルのサーチ（検索）はＭＰＥＧビデオ エンコーダ（符号化器）の枢要部である。このサーチはエンコーダ（符号化器）の性能にインパクトを与える一次的もしくは主要な因子である。
【００３５】
Ｂ−フレーム
Ｂ−フレームは、過去の基準フレーム、未来の基準フレーム或いはこれら２つのフレームに対して符号化される。未来の基準フレームとは、最も近い次続の基準フレーム（Ｉ−またはＰ−フレーム）である。Ｂ−フレームに対する符号化は、運動ベクトルが未来の基準フレーム内のエリアを参照する点を除いてＰ−フレームの場合に類似する。過去及び未来の基準フレーム両者を用いるマクロブロックの場合には、２つの１６×１６エリアの平均が取られる。
【００３６】
ビデオ信号の空間解像度を減少もしくは縮減するための従来技術として、数多くの技術が知られている。例えば、米国特許第5,737,019号「Method and apparatus for changing resolution by direct DCT mapping」、米国特許第 5,926,573号「MPEG bit-stream format converter for changing resolution」、米国特許第 6,025,878号「Method and apparatus for decoding both high and standard definition video signals using a single video decoder」、米国特許第 6,005,623号「Image conversion apparatus for transforming compressed image data of different resolutions wherein information is scaled」及び米国特許第6,104,434号「Video coding apparatus and decoding apparatus」を参照されたい。
【００３７】
ＭＰＥＧ−２に関しては、Sun外の論文「Architectures for MPEG compressed bitstream scaling」IEEE Transactions on Circuits and Systems for Video Technology（1996年４月）がある。この論文には、複雑性及びアーキテクチャが異なる４つのレート減少方法が記述されている。また、多くのトランスコーダが、例えば、Vetro外の米国特許願Serial No.09/853,394号「Video Transcoder with Spatial Resolution Deduction」(2001年５月５日出願) に記述されている。また、Assuncao外の論文「A frequency domain video transcoder for dynamic bit-rate reduction of MPEG-2 bitstreams」IEEE Transaction on Circuits and System for Video Technology, pp. 953-957（1998）をも参照されたい。
【００３８】
上述した方法の多くのもので発生されるビットストリームの空間解像度は低く品質が悪い。また、その実施には大きな複雑さが伴う。更にまた、再生マクロブロックの形成する手段に関しては適切な考慮が払われていない。このことは、品質及び複雑さ双方に対してインパクトとなり得る。このことは、「２」とは異なった縮減因子を考慮した場合に特に重要である。更にまた、これら方法のうちの幾つかのものでは、アーキテクチャ（構造）上の詳細が明確にされていない。殆どの関心は、因子「２」での運動ベクトルのスケーリングに関する種々な手段に費やされている。
【発明の開示】
【発明が解決しようとする課題】
【００３９】
従って、従来の空間解像度減少もしくは縮減方法の上記のような問題点を克服するビデオビットストリーム復号化方法を得るのが望まれる。更にまた、デコーダにおける複雑さと品質との間にバランスを実現することも望ましい。
【課題を解決するための手段】
【００４０】
本発明による方法及び装置は、入力として、圧縮されたビデオビットストリームを受け、制限されたサイズのフレームメモリの制約を受容するように、低解像度の参照もしくは基準フレームを用いてビデオを再生（再構成）する。制約された離散コサイン変換（ＣＤＣＴとも略称する）及びインデクシング方法を用いることにより、元のフレームがコサイン変換されてフレームメモリにセイビングされる。
【００４１】
本発明では離散コサイン変換の変更バージョンが用いられる。本発明によるＤＣＴ変更バージョンは、パターン発生器で特定の係数だけを求める。パターン発生器は、形状関数(shape function)に関連して係数の順序化（ordering）を行う。この形状関数は対角線方向に対称になるように設計されており、メモリサイズの制約条件を満たしながら最良の視覚品質が得られるように、垂直及び水平の空間周波数に対応するＤＣＴ係数を選択する。
【００４２】
復号フロセス中に次のフレームを再構成もしくは再生する際には、変換された係数をフレームメモリから読み出し、逆インデクシング及びそれに続く逆離散コサイン変換によって基準フレームを構成する。
【発明の効果】
【００４３】
特に、本方法では、ブロックとして構成されたフレームを含む圧縮ビットストリームとして符号化されているビデオの復号が行われる。
【００４４】
ビットストリームは可変長復号及び逆量子化されて運動ベクトル及びビットストリームのブロックのＤＣＴ係数が求められる。
【００４５】
次いで、ＤＣＴ係数は逆離散コサイン変換される。各再生ブロック毎に低解像度ブロックが生成され、再生されたブロックは低解像度のブロックで運動補償されて、ビデオが復号される。
【発明を実施するための最良の形態】
【００４６】
システム構成
図１は本発明による圧縮ビデオビットストリームを復号するための方法及び装置１００を示す。前処理段階において、高解像度の圧縮ビデオビットストリーム、例えばＭＰＥＧは、個別のオーデオ及びビデオストリーム並びにヘッダにパース（構文解析）される。高解像度のブロック１０１は可変長デコーダ（ＶＬＤ）及び逆量子化器（ＩＱ）１１０を通され、それにより運動ベクトル及びブロック毎のＤＣＴ係数１０２が求められる。ＶＬＤは、ビットストリームの可変長シンボルを一定長さのシンボルに変換する。
【００４７】
入力ビットストリームの符号化中、２つのフレーム間の時間差を表すデータはＤＣＴを用いて変換される。ビデオの高周波成分は量子化を用い制限されている。逆の順序で、逆量子化及び逆離散コサイン変換（ＩＤＣＴ）１２０によりこのデータは復号される。運動補償ブロック１３０は、可変長復号ビットストリームから復号された復号データ及び運動ベクトル情報に基づきビデオフレームの各ブロックを再生し、それにより再生画像ブロック１０３が生成される。後述するように、運動補償１３０ではフレームメモリ１４０に記憶されている低解像度ブロック（ＬＲＢ）１０４が用いられる。再生されたブロック１０３は表示のために出力デバイス１８０に送ることができる。
【００４８】
本発明では、フレームメモリ１４０の大きさもしくはサイズが制約されるところから、現在のブロックの再生には低解像度の基準ブロック１０４が用いられる。低解像度の基準ブロックは制約ＤＣＴ（ＣＤＣＴとも略称する）１５０、フィルタリング及びインデクシング２００により生成される。このことについては追って詳述する。低解像度の基準ブロックは専用のフレームメモリ１４０に格納される。メモリの大きさもしくはサイズに制約があるため、基準ブロックは、従来技術の場合と同様に基準ビデオフレームを変換するのに全解像度画像ブロックを用いる代わりに低解像度フォーマットに変換される。
【００４９】
ビデオフレームのＹＣｂＣｒを用いる従来方法と異なり、本発明ではフレームメモリ１４０に格納されている変換された係数が用いられる。各再生ブロック１０３毎に、対応の制約ＤＣＴ（ＣＤＣＴ）係数が後続のフレームに対する基準として求められる。ここで、ＣＤＣＴ係数の数は元のＤＣＴ係数の数よりも小さい。ＣＤＣＴ１５０は、ＤＣＴと比較して、秩序化された係数の特定のパターンの係数だけが求められＣＤＣＴ係数として割り当てられるという点でＤＣＴの洗練されたバージョンであると言える。。
【００５０】
このように、ＤＣＴの定義もしくはデフィニションには、対応のＤＣＴ係数の秩序化されたパターン並びにこれら係数のインデクシング双方が含まれる。なお、このことに関しては追って詳述する。ＣＤＣＴ１５０では、通常のＤＣＴよりも少数の係数が用いられ、従って、ＣＤＣＴはそれに比例し高速となる。ＣＤＣＴでは全てのＤＣＴ係数が求められるでのはなく、低解像度の基準フレームのブロックを得るのに必要とされるＤＣ係数だけが求められる。
【００５１】
低解像度のフレームは１６０で逆インデクシングされ、そして逆ＣＤＣＴ１７０は運動補償１３０のために行われる。
【００５２】
制約ＤＣＴ及びインデクシング
図２a及び図２bは、ＣＤＣＴ１５０並びに１６×１６マクロブロック２０１をインデクシングするためのインデクシング２００並びにそれぞれパターン２０３及び２０４を用いる４つの８×８ブロック２０２の群を示す。パターン２０３及び２０４は、図３に示すようなパターン発生器３００によって発生される。これらパターンは次いで、インデクシング２００及びそれと相補関係にある逆インデクシング１６０をそれぞれ制御する（３０２及び３０３参照）のに用いることができる。従って、パターンＰは後述のように、ピクセルに対応し順序化された係数位置（u, v）のリストであると定義される。
【００５３】
パターン発生器３００は係数の順序化（ordering）を決定する。フレームメモリ制約条件３０１に加えて、パターン発生器３００では分類のためにすべり形状関数４００が用いられる。
【００５４】
形状関数
図４aは追って詳述する形状関数４００の使用法を示す。ブロック４０１はピクセル４０２を含んでいる。ピクセルの座標フレームは、原点４０５から出発しu軸４０３及びv軸４０４を有する。形状関数４００はブロック４０１を、ハッチングで示してある包覆されたピクセル（包覆ピクセルと称する）４１０並びに包覆されていないピクセル（非包覆ピクセルと称する）４２０に区分けする。
【００５５】
図４bは、追って詳述するように、ジグザグ順序化されたピクセルがパターン発生器３００により、どのようにしてマーキング（４２１）されるか或いはマーキングされない（４２２）かを示している。
【００５６】
ＤＣＴ係数はＹ(u, v）で表され、ここで、（u，v）は、上述のフレームにおける座標である。この座標系の原点４０５は、（u，v）＝（０，０）に対応する左上隅に位置する。ブロックのディメンション、即ち寸法はＮ×Ｎである。即ち、
【００５７】
【数７】
2005525056.tif 000009
【００５８】
水平方向及び垂直方向は、それぞれu軸４０３及びv軸４０４を表す。形状関数 ｆ(u, v)４００は次式により定義することができる。
【００５９】
【数８】
2005525056.tif 000010
【００６０】
上式中Ｓは座標（u, v）上における条件の集合を表す。人間の視覚系は対角線よりも水平線及び垂直線に対して一層敏感であるので、パターン発生器３００は第１の列及び第１の行におけるピクセルの係数を選択する。これらのピクセルは、それぞれ水平画像線及び垂直画像線に対応する。形状関数４００は対角線方向に対称であって、水平空間周波数及び垂直空間周波数を等しく重み付けする。即ち、
【００６１】
【数９】
2005525056.tif 000011
【００６２】
これが集合Ｓの基本的条件である。
【００６３】
図７a乃至図７f は以下の順序で幾つかの形状関数例を示す。
【００６４】
【数１０】
2005525056.tif 000012
【００６５】
上式中ｋ及びｃは定数である。これら形状関数の各々はｆ(i. i) ＝１のような特異点７００を有する。点（i. i）７００は、対称の中心と呼ばれる。
【００６６】
軸４０３及び４０４と形状関数４００との間に画成される領域内にある係数は包覆ピクセル４１０の包覆係数と定義する。
【００６７】
パターンの発生
図５は、ピクセルと呼称される順序化された係数位置（u. v）のリストとしてパターンＰを発生する詳細を示す。この手順は次の通りである。ステップ５０５におて、現在のインデックスを”１”（ｈ＝”１”）にセットする。これは全てのピクセルがマークングされていないこと、即ち未マーキングを表す。形状関数４００の対称中心７００を原点４０５に設定する。ステップ５１０において、形状関数を対角線方向にスライド（滑動）する。ステップ５１５において、マーキングされていない、即ち未マーキングのピクセル４２１の包覆エリア４１０を求める。
【００６８】
ステップ５２０において、複数の未マーキングピクセルが完全に包覆されているか否かを判定する。
【００６９】
ステップ５２０の答えが“真”であるならば、次いで、ステップ５２５において現在のインデックスを原点に最も近い次の包覆された未マーキングピクセルに割り当てる。即ち、Ｐ(ｈ)＝(u, v）とする。ここで（u, v）は原点に最も近い包覆された未マーキングのピクセルである。次にステップ５３０でピクセルをマーキングし、ステップ５３５で現在のインデックス数をｈ＝ｈ＋１に従って増分する。包覆された未マーキングの点が残っている場合には（ステップ５４０）、ステップ５２５に進み、さもなくば（else）ステップ５１０に進む。
【００７０】
ステップ５２０が“偽”であれば、ステップ５５０において、唯１つの未マーキングピクセルが完全に包覆されているか否かを判定し、“偽”ならばステップ５１０に戻る。マーキングされていない場合には、ステップ５５０で次の包覆されている未マーキングピクセルに現在のインデックスを割り当てる。即ち、Ｐ(ｈ）＝（u, v）とする。但し（u, v）は包覆されている未マーキングのピクセルである。次いでステップ５６０でピクセルのマーキングを行い、現在のインデックス数をステップ５６５で増分し（ｈ＝ｈ＋１）、なお、未マーキングのピクセルが存在する場合にはステップ５１０に戻る。
【００７１】
このようにしてパターン発生器は、次式で表すような順序化された係数位置のリストをを生成する。
【００７２】
【数１１】
2005525056.tif 000013
【００７３】
制約されたメモリサイズまで順序化されたＤＣＴ係数を選択してメモリにセービングする。
【００７４】
滑り形状関数
図６は形状関数４００の滑り（滑動）６００を示し、図８a 乃至図８c は滑りにより発生されたジグザグパターンのサンプルを示す。
【００７５】
インデクシング
フレームメモリ１４０の制約されたサイズもしくは大きさをＫとすると、これは、制約されたサイズのフレームメモリに一度に格納することができる係数の総数を表す。これら係数には実施の際のデータ構造に依存し８ビット、１２ビット或いは任意数のビットを割り当てることができる。最初からＫ番目まで係数は次式で与えられる。
【００７６】
【数１２】
2005525056.tif 000014
【００７７】
次いでＮ×Ｎブロックに対しＣＤＣＴを下記のように定義する。
【００７８】
【数１３】
2005525056.tif 000015
【００７９】
上式中、（uk, vk）＝Ｐ(ｋ)であり、且つ１≦ｋ≦Ｋである。
【００８０】
制約されたサイズのフレームメモリ１４０にＣＤＣＴ係数を書き込み前に、これらＣＤＣＴ係数はフレームメモリ１４０の抑制されたサイズに適合、即ちマッチするようにインデクシングされる。普通のメモリ構成ではブロックフォーマットが利用されるので、インデクシング機能をＱとして下記のように表す。
【００８１】
【数１４】
2005525056.tif 000016
【００８２】
逆インデクシングはインデクシングの逆順で行われる。逆インデクシングは、インデクシングされた係数をＤＣＴブロック内の元の位置に転送する。これは次式で表される。
【００８３】
【数１５】
2005525056.tif 000017
【００８４】
係数はフレームメモリ１４０から読み出され、元の位置に逆順でインデクシングされる。参考もしくは基準画像ブロックを再構成するために、逆制約ＤＣＴ１７０が係数ブロックに施される。即ち、
【００８５】
【数１６】
2005525056.tif 000018
【００８６】
復号ループ
図９は、ＭＰＥＧ符号化ビットストリーム用のＣＤＣＴ係数のためのフレームメモリ１４０に対するアクセスを示す図である。Ｉ−フレーム９０１の初期ＣＤＣＴ係数がフレームメモリ１４０に書き込まれる。ビットストリームにおいて、Ｉ−フレームはそれ自身に関してのみ符号化されるだけである。従って、Ｉ−フレーム用のフレームメモリからＣＤＣＴ係数が読み出されることはない。
【００８７】
Ｐ−フレーム９０２は、ビットストリームからパース（解析）されるブロック別の運動ベクトルを用いて推定される。エンコーダもしくは符号化器において、これらフレームは、先行のＩ−映像またはＰ−映像から運動補償予測を用いて符号化される。予測誤差が、現在の映像と先行の基準Ｉ−またはＰ−フレームにおけるブロックとの間で算出される。中間フレームは、フレームメモリ内で現在利用可能であるＣＤＣＴ係数から再生（再構成）される。次いで現在のフレームが、ビデオビットストリームからパースされる運動ベクトル及び中間フレームを用いて運動補償により推定される。ＣＤＣＴ係数をフレームメモリから読み出し、中間フレームを得るために逆ＣＤＣＴを適用する。次のＰ−フレームの復号時には、現在のフレームが基準フレームとして用いられる。現在のフレームに対してＣＤＣＴ係数を計算した後に、これら係数は基準メモリに書き込まれる。
【００８８】
二方向フレームは、即ち、Ｂ−フレーム９０３は、現在及び／または次のＩ−またはＰ−フレームからの運動補償予測を用いて符号化される。しかしながら、復号器もしくはデコーダにおいては、Ｂ−フレームの再生（再構成）に当たりフレームメモリからＣＤＣＴ係数が直接読み出されることはない。その代わりにＩ−またはＰ−フレームが用いられる。
【００８９】
単一の１６×１６マクロブロック及び４重の８×８ブロックでの実施
図１０a及び図１０bは、本発明による単一の１６×１６マクロブロック及び４重の８×８ブロックを用いての空間縮減プロセスを示す図である。なお、本発明はこれに限定されるものではなく、他のブロックサイズをも使用することができる。
【００９０】
ＣＤＣＴ１５０は、離散コサイン変換係数１０００の計算、フィルタリング及びインデクシングの連続したブロックとして表すことができる。単一のマクロブロックの場合（図１０a参照）には、１６×１６ＤＣＴを入力マクロブロック１００１に与えることにより変換係数が求められる。これら係数は特定の形状関数４００により発生されるパターンに関し順序化される。次いで、順序化された係数はメモリサイズ制約条件を満足するようにフィルタリングされる。インデクシングによりフィルタリングされた係数はＮ×Ｎブロック１０１０に配列される。ここでＮ＜１６である。このブロック配列はメモリサイズが制約されているという理由から用いられる。これらの演算は全てＣＤＣＴで統合的に行われる。
【００９１】
ダウンサイジング／アプサイジング プロセスにおける改良は、より小さいＤＣＴカーネルを用いることにより達成することができる。また、インターレース ビデオの場合には、符号化プロセスでより小さい８×８または８×１６ブロックの使用が考えられる。従って、符号化仕様に関し復号プロセスにおいてはマクロブロックの代わりに４重の８×８ブロックのセット１００２が用いられる。この場合、各８×８ブロックに対して８×８ＤＣＴ係数が算出される。８×８ブロックサイズのパターンは、特定の形状関数４００を用いて発生される。各ブロックの係数はパターンに関し個別に順序化される。各順序化された係数リストには同じフィルタリングが適用される。フィルタカットオフ数は、マクロブロックの場合に用いられる元のフィルタカットオフ数の４分の１である。次いで、インデクシングにより４つのブロックの全てのフィルタリングされた係数は、上述のように単一のＮ×Ｎブロック１０１１に配列される。
【００９２】
以上、本発明を好適な実施例を参照し説明したが、本発明の精神及び範囲内で種々な他の適応及び変更が可能であることは理解されるべきである。従って、請求の範囲に記述されている対象は、本発明の真の精神及び範囲内にある限りにおいてこのような変形及び変更を全て包摂するものである。
【図面の簡単な説明】
【００９３】
【図１】本発明によるビデオトランスコーダのブロックダイヤグラムである。
【図２】（ａ）は本発明により１６×１６マクロブロックを変換しインデクシングするプロセスを示すフローダイヤグラムであり、（ｂ）は本発明により８×８の群を変換しインデクシングするプロセスのフローダイヤグラムである。
【図３】本発明によるパターン発生器に混成し組み込まれるフレームメモリサイズ制約、形状関数及びインデクシングに関連するブロックダイヤグラムである。
【図４】（ａ）は図３のパターン発生器で用いられるブロック座標のブロックダイヤグラムであり、（ｂ）はマーキングされたピクセル及びマーキングされていないピクセル、即ち未マーキングピクセルのブロックダイヤグラムである。
【図５】本発明によるパターン発生器のフローダイヤグラムである。
【図６】本発明による係数の順序化を決定する滑り形状関数のブロックダイヤグラムである。
【図７】（ａ）〜（ｆ）は形状関数の例を示すグラフである。
【図８】（ａ）〜（ｃ）はそれぞれ、４×４、８×８及び１６×１６未完成ブロックのブロックダイヤグラムである。
【図９】本発明に従いフレームメモリ内に格納されるフレームのブロックダイヤグラムである。
【図１０】（ａ）、（ｂ）はそれぞれ１６×１６及び８×８ブロックに対する空間縮減プロセスを示すフローダイヤグラムである。
【図１】
2005525056.tif 000023
【図２】
2005525056.tif 000024
【図３】
2005525056.tif 000025
【図４】
2005525056.tif 000026
【図５】
2005525056.tif 000027
【図６】
2005525056.tif 000028
【図７】
2005525056.tif 000029
【図８】
2005525056.tif 000030
【図９】
2005525056.tif 000031
【図１０】
2005525056.tif 000032
【国際調査報告】
2005525056.tif 000033
2005525056.tif 000034
2005525056.tif 000035