(57)【特許請求の範囲】
【請求項１】
圧縮ビットストリームをアップサンプリングする方法であって、
該圧縮ビットストリームを部分的に復号化することにより、複数のマクロブロックをもたらすことであって、各マクロブロックが該マクロブロックの所定次元に従うＤＣＴ係数を有するものであることと、
複数のＤＣＴフィルタを各マクロブロックのＤＣＴ係数に適用することにより、各マクロブロックに対し複数のアップサンプリングされたマクロブロックを生成することであって、各フィルタによって１つのアップサンプルされたマクロブロックが生成され、前記複数のアップサンプリングされたマクロブロックの各アップサンプリングされたマクロブロックが前記所定次元を有するものであることと、
を含み、
前記複数のＤＣＴフィルタを各マクロブロックのＤＣＴ係数に適用することは、
２つのＤＣＴフィルタを各マクロブロックの画素の行に適用することにより、２つの水平に配置されたアップサンプリングされたマクロブロックを生成することと、
前記２つのＤＣＴフィルタを水平に配置されたアップサンプリングされたマクロブロックの各々の画素の列に適用することにより、水平に配置されたアップサンプリングされたマクロブロックの各々について２つの垂直に配置されたアップサンプリングされたブロックを生成することであって、合計４つのアップサンプリングされたマクロブロックになることと、
を含む方法。
【請求項２】
アップサンプルされる前のマクロブロックと前記複数のアップサンプリングされたマクロブロックの各アップサンプリングされたマクロブロックとは、行および列に配置された２Ｎ個の画素を有する請求項１記載の方法。
【請求項３】
前記アップサンプリングされたマクロブロックの画素は、行列乗算によって確定される請求項１記載の方法。
【請求項４】
各フィルタは、ｋが出力画素のインデックスであり、ｑが入力画素のインデックスである場合、フィルタタップのｋ×ｑ行列の形態である請求項３記載の方法。
【請求項５】
圧縮ビットストリームをアップサンプリングする装置であって、
該圧縮ビットストリームを部分的に復号化することにより、複数のマクロブロックをもたらす手段であって、各マクロブロックが該マクロブロックの所定次元に従うＤＣＴ係数を有するものである手段と、
複数のＤＣＴフィルタを各マクロブロックの該ＤＣＴ係数に適用することにより、各マクロブロックに対し複数のアップサンプリングされたマクロブロックを生成する手段であって、各フィルタによって１つのアップサンプリングされたマクロブロックが生成され、前記複数のアップサンプリングされたマクロブロックの各アップサンプリングされたマクロブロックが前記所定次元を有するものである手段と、
を具備し、
前記複数のＤＣＴフィルタを各マクロブロックのＤＣＴ係数に適用することは、
２つのＤＣＴフィルタを各マクロブロックの画素の行に適用することにより、２つの水平に配置されたアップサンプリングされたマクロブロックを生成することと、
前記２つのＤＣＴフィルタを水平に配置されたアップサンプリングされたマクロブロックの各々の画素の列に適用することにより、水平に配置されたアップサンプリングされたマクロブロックの各々について２つの垂直に配置されたアップサンプリングされたブロックを生成することであって、合計４つのアップサンプリングされたマクロブロックになること
である装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、概してビットストリームをトランスコードする技術分野に関し、特に、ビデオビットストリームをトランスコードしている間にアップサンプリングを行うことに関する。
【０００２】
【従来の技術】
ビデオ圧縮は、視覚情報を、記憶域、ネットワークおよびプロセッサリソースをより少ないリソースで格納し、送信し、処理することを可能にする。最も広く使用されるビデオ圧縮規格には、動画の格納および検索のためのＭＰＥＧ−１と、デジタルテレビのためのＭＰＥＧ−２と、ビデオ会議のためのＨ．２６３と、がある。ＩＳＯ／ＩＥＣ  １１１７２−２：１９９３、「Information Technology-Coding of Moving Pictures and Associated Audio for Digital Storage Media up to about 1.5 Mbits/s-Part2:Video」、D.LeGallによる「MPEG:A Video Compression Standard for Multimedia Applications」、Communications of the ACM、Ｖｏｌ．３４、Ｎｏ．４、ｐｐ．４６〜５８、１９９１、ＩＳＯ／ＩＥＣ  １３８１８−２：１９９６、「Information Technology-Generic Coding of Moving Pictures and Associated Audio Information-Part2:Video」、１９９４、ＩＴＵ−Ｔ  ＳＧ  ＸＶ、ＤＲＡＦＴ  Ｈ．２６３、「Video Coding for Low Bitrate Communication」、１９９６、ＩＴＵ−Ｔ  ＳＧ  ＸＶＩ、ＤＲＡＦＴ１３  Ｈ．２６３＋Ｑ１５−Ａ−６０ｒｅｖ．０、「Video Coding for Low Bitrate Communication」、１９９７を参照のこと。
【０００３】
これら規格は、本来、画像またはフレームの空間的圧縮と、フレームのシーケンスの空間的および時間的圧縮とを扱う比較的低レベルの仕様である。共通の特徴として、これら規格は、フレームベース毎で圧縮を実行する。これら規格により、多種多様のアプリケーションに対して高圧縮率を達成することができる。
【０００４】
マルチメディアアプリケーションのためのＭＰＥＧ−４等、より新しいビデオ符号化規格（ＩＳＯ／ＩＥＣ  １４４９６−２：１９９９、「Information technology-coding of audio/visual objects、Part2:Visual」参照）では、任意形状オブジェクトを、別個のビデオオブジェクトプレーン（video object plane（ＶＯＰ））として符号化および復号化することが可能である。オブジェクトは、視覚、音声、自然、合成、基本、複合またはそれらの組合せとすることができる。また、この規格には、無線チャネル等のエラーを起しやすいチャネルに亙る頑強な送信を可能にするために、非常に多くのエラー回復機能が組込まれている。
【０００５】
新しいＭＰＥＧ−４規格は、自然材料と合成材料とが統合されアクセスがユニバーサルであるインタラクティブテレビ等、マルチメディアアプリケーションを可能にすることが意図されている。ビデオ送信のコンテキストでは、これら圧縮規格は、ネットワーク上で帯域幅の量を低減するために必要とされる。ネットワークは、無線であってもインタネットであってもよい。いずれの場合も、ネットワークは容量が制限されており、乏しいリソースに対する競合は最小限にされなければならない。
【０００６】
装置が、コンテンツを強固に送信し、コンテンツの品質を、利用可能なネットワークリソースに適合させることができるようにする、システムおよび方法に対し、非常に多くの努力がなされてきた。コンテンツが符号化される場合、時に、ビットストリームを、低いビットレートまたは解像度でネットワークによって送信することができるようになる前に、更に復号化することが必要な場合がある。
【０００７】
これは、図１に示すように、トランスコーダ１００によって達成することができる。最も単純な実現では、トランスコーダ１００は、カスケード接続されたデコーダ１１０とエンコーダ１２０とを有する。圧縮入力ビットストリーム１０１は、入力ビットレートＲinで完全に復号化され出力ビットレートＲout１０２で符号化されて、出力ビットストリーム１０３をもたらす。通常、出力レートは入力レートより低い。実際には、トランスコーダにおける完全な復号化および完全な符号化は、復号化されたビットストリームを符号化することが非常に複雑であるため行われない。
【０００８】
ＭＰＥＧ−２トランスコーディングに対する初期の研究は、Ｓｕｎ等により、「Architectures for MPEG compressed bitstream scaling」、IEEE Transactions on Circuits and Systems for Video Technology、April 1996において発表されている。そこでは、種々の複雑性およびアーキテクチャによるレート低減の４つの方法が述べられている。
【０００９】
図２は、開ループアーキテクチャと呼ばれる第１の方法例２００を示す。このアーキテクチャでは、入力ビットストリーム２０１は部分的にしか復号化されない。より詳細には、入力ビットストリームのマクロブロックは、可変長復号化（variable-length decoded）（ＶＬＤ）され２１０、精細な量子化器Ｑ1によって逆量子化される２２０ことにより、離散コサイン変換（discrete cosine transform）（ＤＣＴ）係数をもたらす。所望の出力ビットレート２０２が与えられると、ＤＣＴブロックは、量子化器２３０のより粗いレベルの量子化器Ｑ2によって再量子化される。そして、これら再量子化されたブロックは、可変長符号化（variable-length code）（ＶＬＣ）され２４０、より低いレートの新たな出力ビットストリーム２０３が形成される。この方式は、動きベクトルが再使用され逆ＤＣＴ操作が必要でないため、図１に示す方式よりずっと単純である。なお、ここでＱ1およびＱ2の選択は、厳密にビットストリームのレート特性によって決まる。おそらくはビットストリームの空間特性等、他の要素は考慮されない。
【００１０】
図３は、第２の方法例３００を示す。この方法は、閉ループアーキテクチャと呼ばれる。この方法では、入力ビデオビットストリームは、同様に部分的に復号化され、すなわち、入力ビットストリームのマクロブロックは、可変長復号化（ＶＬＤ）され３１０、Ｑ1によって逆量子化される３２０ことにより、離散コサイン変換（ＤＣＴ）係数３２１をもたらす。上述した第１の方法例とは対照的に、入力ＤＣＴ係数３２１に対し補正ＤＣＴ係数３３２が加算される３３０ことにより、再量子化によってもたらされる不一致が補償される。この補正により、最終的に復号化に使用される参照フレームの品質が向上する。補正が加算された後、新たに形成されたブロックは、Ｑ2によって再量子化される３４０ことにより新たなレートを満足し、上述したように可変長符号化される３５０。なお、この場合も、Ｑ1およびＱ2はレートに基づく。
【００１１】
補正成分３３２を取得するため、再量子化されたＤＣＴ係数は、逆量子化され３６０、元の部分的に復号化されたＤＣＴ係数から減算される３７０。この差分は、逆ＤＣＴ（ＩＤＣＴ）３６５を介して空間領域に変換され、フレームメモリ３８０に格納される。そして、動き補償３９０等において、対応する差分ブロックを回復させるために、各入力ブロックに関連する動きベクトル３８１が使用される。そして、対応ブロックがＤＣＴ３３２を介して変換されることにより、補正成分がもたらされる。図３に示す方法の派生は、Assuncao等による「A frequency domain video transcoder for dynamic bit-rate reduction of MPEG-2 bitstreams」、IEEE Transactions on Circuits and Systems for Video Technology、ｐｐ．９５３〜９５７、１９９８に述べられている。
【００１２】
また、Assunca等は、同じタスクに対する代替方法も述べている。代替方法では、彼らは、ドリフト補償のために周波数領域で動作する動き補償（motion compensation）（ＭＣ）ループを使用した。周波数領域におけるＭＣブロックの高速計算のために、近似行列が導出された。トランスコーディングに対し最適な量子化器スケールを計算するために、ラグランジュ最適化が使用された。その代替方法により、ＩＤＣＴ／ＤＣＴコンポーネントが不要となった。
【００１３】
従来技術による圧縮規格よると、テクスチャ情報を符号化するために割付けられるビットの数は、量子化パラメータ（ＱＰ）によって制御される。上記方法は、元のビットストリームに含まれる情報に基づいてＱＰを変更することによりテクスチャビットのレートが低減する、という点で類似している。効率的な実現のために、情報は、通常圧縮領域から直接抽出され、ＤＣＴブロックのマクロブロックかまたはＤＣＴブロックの残差エネルギの動きに関連する基準を含むことができる。上述した方法は、ビットレート低減に対してのみ適用可能である。
【００１４】
ビットレート低減のほかに、他のタイプのビットストリームの変換もまた実行することができる。例えば、オブジェクトベースの変換が、Vetro等により２０００年２月１４日に出願された米国特許出願第０９／５０４，３２３号、「Object-Based Bitstream Transcoder」に述べられている。空間解像度に対する変換は、ShanablehおよびGhanbariより「Heterogeneous video transcoding to lower spatio-temporal resolutions,and different encoding formats」、ＩＥＥＥ  Transaction on Multimedia、June 2000において述べられている。
【００１５】
なお、これら方法は、品質が十分でない低減された空間解像度低減でビットストリームをもたらすか、または非常に複雑に達成される、ということが留意されなければならない。また、再構成されるマクロブロックが形成される際に用いられる手段に対し、適当な考慮がなされてこなかった。これは、品質と複雑性との両方に対して悪影響を与える可能性があり、２以外の低減ファクタを考慮する場合に特に重要である。更に、これらの方法は、いかなるアーキテクチャ上の詳細も指定しない。大抵、ファクタ２により動きベクトルをスケーリングするあらゆる手段が留意される。
【００１６】
図４は、入力ビットストリームをより低い空間解像度の出力ビットストリーム４０２にトランスコードする方法４００の詳細を示す。この方法は、図１に示す方法の拡張であるが、デコーダ１１０およびエンコーダ１２０の詳細が示されており、復号化プロセスと符号化プロセスとの間にダウンサンプリングブロック４１０がある。デコーダ１１０は、ビットストリームの部分的復号化を実行する。ダウンサンプラは、部分的マクロブロックのグループの空間解像度を低減する。デコーダにおける動き補償４２０は、フル解像度動きベクトルｍｖf４２１を使用し、エンコーダにおける動き補償４３０は、低解像度動きベクトルｍｖr４３１を使用する。低解像度動きベクトルは、ダウンサンプリングされた空間領域フレームｙ1n４０３から推定されるかまたはフル解像度動きベクトルからマッピングされる。トランスコーダ４００の更なる詳細については後述する。
【００１７】
図５は、入力ビットストリーム５０１をより低い空間解像度の出力ビットストリーム５０２にトランスコードする開ループ方法５００の詳細を示す。この方法では、ビデオビットストリームは再び部分的に復号化され、すなわち、入力ビットストリームのマクロブロックは、可変長復号化（ＶＬＤ）され５１０、逆量子化される５２０ことにより、離散コサイン変換（ＤＣＴ）係数をもたらす。これらステップは周知である。
【００１８】
そして、ＤＣＴマクロブロックは、１６×１６（２4×２4）マクロブロックにおいて各８×８（２3×２3）輝度ブロックの高周波数係数をマスクすることによってファクタ２でダウンサンプリングされる５３０ことにより、４つの４×４ＤＣＴブロックをもたらす。１９９３年１１月１６日にＮｇに発行された米国特許第５，２６２，８５４号、「Low-resolution HDTV receivers」を参照のこと。言換えれば、ダウンサンプリングは、例えば４つのブロックのグループを、よりサイズの小さい４つのブロックのグループにする。
【００１９】
トランスコーダにおいてダウンサンプリングを実行することにより、トランスコーダは、コンプライアントな１６×１６マクロブロックを再形成する追加のステップを取らなければならず、それは、空間領域へ戻す変換と、その後の更なるＤＣＴ領域への変換と、を含む。ダウンサンプリング後、ブロックは、同じ量子化レベルを用いて再量子化され５４０、その後、可変長符号化される５５０。低減された解像度のブロックに対するレート制御を実行するいかなる方法も述べられていない。
【００２０】
完全な動きベクトル５５９から低減された動きベクトル５６１への動きベクトルマッピング５６０を実行するために、従来技術では、フレームベースの動きベクトルに適したいくつかの方法が述べられている。４つのフレームベースの動きベクトル、すなわち、グループの各マクロブロックに対して１つから、新たに形成された１６×１６マクロブロックに対して１つの動きベクトルにマッピングするために、単純な平均化またはメディアンフィルタを採用することができる。これは、４：１マッピングと呼ばれる。
【００２１】
しかしながら、ＭＰＥＧ−４およびＨ．２６３等のいくつかの圧縮規格は、８×８ブロックに対して１つの動きベクトルを可能にする拡張された予測モードをサポートする。この場合、各動きベクトルは、元の解像度の１６×１６マクロブロックから低減された解像度のマクロブロックにおける８×８ブロックへマッピングされる。これは、１：１マッピングと呼ばれる。
【００２２】
図６は、４つの１６×１６マクロブロックのグループ６０１から１つの１６×１６マクロブロック６０２かまたは４つの８×８マクロブロック６０３への動きベクトルの可能なマッピング６００を示す。通常１：１マッピングを使用することは、４つの動きベクトルを符号化するためにより多くのビットが使用されるため、非効率である。また、概して、インタレースされた画像のフィールドベースの動きベクトルへの拡張は、単純ではない。ダウンサンプリングされたＤＣＴ係数とマッピングされた動きベクトルとが与えられると、データは可変長符号化され、低減された解像度のビットストリームを周知のように形成することができる。
【００２３】
【発明が解決しようとする課題】
空間解像度低減のための従来技術による方法の問題を解決する、ビットストリームをトランスコードする方法を提供することが望ましい。更に、トランスコーダにおいて複雑性と品質との間の均衡を提供することが望ましい。更に、ドリフトを補償し、トランスコーディング中により適切なアップサンプリング技術を提供することが望ましい。
【００２４】
【課題を解決するための手段】
方法は、圧縮ビットストリームをアップサンプリングする。圧縮ビットストリームは、部分的に復号化されることによりマクロブロックをもたらす。各マクロブロックは、マクロブロックの所定次元に従うＤＣＴ係数を有する。各マクロブロックのＤＣＴ係数にＤＣＴフィルタが適用されることにより、各マクロブロックに対するアップサンプリングされたマクロブロックが生成され、各フィルタによって１つのアップサンプリングされたマクロブロックが生成される。生成されたアップサンプリングされたマクロブロックの各々は、所定次元を有する。ＤＣＴフィルタを各マクロブロックのＤＣＴ係数に適用することは、２つのＤＣＴフィルタを各マクロブロックの画素の行に適用することにより、２つの水平に配置されたアップサンプリングされたマクロブロックを生成することと、前記２つのＤＣＴフィルタを水平に配置されたアップサンプリングされたマクロブロックの各々の画素の列に適用することにより、水平に配置されたアップサンプリングされたマクロブロックの各々について２つの垂直に配置されたアップサンプリングされたブロックを生成することであって、合計４つのアップサンプリングされたマクロブロックになる。
【００２５】
【発明の実施の形態】
概論
この発明は、最小ドリフトで、デジタルビデオ信号の圧縮ビットストリームを低減された空間解像度にトランスコードする、システムおよび方法を提供する。まず、この発明によるトランスコーダを使用することができるコンテンツ配信のためのいくつかのアプリケーションを説明する。次に、より低い空間解像度のビットストリームを生成する基本的な方法を分析する。この分析に基づいて、基本的な方法に対するいくつかの代替例と、各代替例に関連する対応するアーキテクチャとを説明する。
【００２６】
第１の代替例（図９参照）は開ループアーキテクチャを使用し、他の３つの代替例（図１０および図１１Ａないし図１１Ｂ）は、ダウンサンプリング、再量子化および動きベクトル打切りによってもたらされるドリフトを補償する手段を提供する閉ループアーキテクチャに対応する。閉ループアーキテクチャのうちの１つは、低減された解像度でこの補償を実行し、他は、よりよい品質のためにＤＣＴ領域において元の解像度でこの補償を実行する。
【００２７】
後により詳細に説明するように、図９の開ループアーキテクチャは複雑性が低い。再構成ループも、ＤＣＴ／ＩＤＣＴブロックも、フレームストアも無く、その品質は、低ピクチャ解像度およびビットレートに対しては妥当である。このアーキテクチャは、インタネットアプリケーションおよびソフトウェア実現に対して適している。図１０の第１の閉ループアーキテクチャもまた、複雑性は中位である。それは、再構成ループと、ＩＤＣＴ／ＤＣＴブロックと、フレームストアと、を含む。ここでは、低減された解像度領域におけるドリフト補償により品質を向上させることができる。図１１Ａの第２の閉ループアーキテクチャは、複雑性が中位である。それは、再構成ループと、ＩＤＣＴ／ＤＣＴブロックと、フレームストアと、を含む。元の解像度領域におけるドリフト補償により品質を向上させることができ、その品質には、低減された解像度のフレームのアップサンプリングが必要である。第３の閉ループアーキテクチャは、低減された解像度領域において取得される補正信号を使用する。
【００２８】
この発明によるアーキテクチャをサポートするために、本来ならば、低減された解像度で「混合(mixed)」モードでのマクロブロックのグループを有することになるブロックを処理する、いくつかの追加の技術もまた説明する。
【００２９】
ダウンサンプリングされる例えば４つのブロックグループ（グループオブブロック、group of blocks）は、ダウンサンプリングされるブロックグループがイントラモードとインターモードとの両方において符号化されるブロックを含む場合、「混合(mixed)」ブロックとみなされる。ＭＰＥＧ規格では、Ｉフレームは、イントラモードに従って符号化されたマクロブロックのみを含み、Ｐフレームは、イントラモードおよびインターモードで符号化されたブロックを含むことができる。これらモードは、特にダウンサンプリング中に考慮される必要があり、そうでなければ出力の品質が劣化する可能性がある。
【００３０】
また、ドリフト補償とＤＣＴベースのデータのアップサンプリングとのための方法を説明する。これら方法は、アップサンプリング後の動作を適当にかつ追加の変換ステップ無しに実行することができるように、第２および第３の閉ループアーキテクチャに対して有用である。
【００３１】
低減された空間解像度のトランスコーディングのアプリケーション
この発明の主なターゲットアプリケーションは、無線電話、ページャおよび携帯情報端末等の低解像度ディスプレイを有する装置に対するデジタルテレビ（ＤＴＶ）放送とインタネットコンテンツの配信である。目下、ＤＴＶ放送およびＤＶＤ記録用の圧縮フォーマットとしてＭＰＥＧ−２が使用されており、インタネットによりＭＰＥＧ−１コンテンツが利用可能である。
【００３２】
移動体ネットワークによるビデオ送信用の圧縮フォーマットとしてＭＰＥＧ−４が採用されてきたため、この発明は、ＭＰＥＧ１／２コンテンツをより解像度の低いＭＰＥＧ−４コンテンツにトランスコードする方法を扱う。
【００３３】
図７は、この発明を使用するマルチメディアコンテンツ配信システム７００の第１の実施例を示す。システム７００は、外部ネットワーク７０３を介してクライアント７０２に接続された適応サーバ７０１を含む。特性として、クライアントは、小型ディスプレイを有するか、または低ビットレートチャネルによって接続されている。従って、クライアント７０２に配信されるいかなるコンテンツも解像度を低減する必要がある。
【００３４】
入力ソースマルチメディアコンテンツ７０４がデータベース７１０に格納される。コンテンツには、特徴抽出およびインデクシングプロセス７２０が行われる。データベースサーバ７４０により、クライアント７０２は、データベース７１０のコンテンツをブラウズし、特定のコンテンツに対する要求を行うことができる。マルチメディアコンテンツの位置を確定するために、検索エンジン７３０を使用することができる。所望のコンテンツの位置が確定された後、データベースサーバ７４０は、この発明によるトランスコーダ７５０にマルチメディアコンテンツを転送する。
【００３５】
トランスコーダ７５０は、ネットワークおよびクライアントの特性を読取る。コンテンツの空間解像度が、クライアントの表示特性より高い場合、この発明による方法を使用して、コンテンツの解像度を低減することによりクライアントの表示特性に一致させる。また、ネットワークチャネル上のビットレートがコンテンツのビットレートより低い場合も、この発明を使用することができる。
【００３６】
図８は、コンテンツ配信システム８００の第２の実施例を示す。システム８００は、ローカル「ホーム」ネットワーク８０１と、外部ネットワーク７０３と、放送ネットワーク８０３と、図７で説明したような適応サーバ７０１と、を有する。このアプリケーションでは、高品質入力ソースコンテンツ８０４を、放送ネットワーク８０３、例えばケーブル、地上波または衛星を介してホームネットワーク８０１に接続されたクライアント８０５に転送することができる。コンテンツは、セットトップボックスまたはゲートウェイ８２０によって受信され、ローカルメモリまたはハードディスクドライブ（ＨＤＤ）８３０に格納される。受信されたコンテンツは、ホーム内のクライアント８０５に配信することが可能である。更に、コンテンツを、フル解像度のコンテンツを復号化／表示する能力を有していないあらゆるクライアントに適応するためにトランスコードする８５０ことができる。これは、高品位テレビ（high-definition）（ＨＤＴＶ）ビットストリームが標準品位テレビセットに対して受信された場合である可能性がある。従って、コンテンツは、ホーム内のクライアントの能力を満足するようトランスコードされなければならない。
【００３７】
更に、ＨＤＤ８３０に格納されるコンテンツに対するアクセスが、外部ネットワーク８０２を介して低解像度の外部クライアント８０６によって望まれる場合もまた、トランスコーダ８５０を使用して、このクライアントに対し低解像度マルチメディアコンテンツを配信することができる。
【００３８】
基本的な方法の分析
種々の複雑性および品質を有するトランスコーダを設計するために、図４の方法によって生成される信号を更に説明し分析する。式における表記法に関し、小文字変数は、空間領域信号を示し、大文字変数は、ＤＣＴ領域における等価な信号をあらわす。変数の下付き文字は時間を示し、１に等しい上付き文字はドリフトを有する信号を示し、２に等しい上付き文字はドリフトのない信号を示す。ドリフトは、再量子化、動きベクトル打切りまたはダウンサンプリング等の損失の多いプロセスによってもたらされる。ドリフト補償の方法については後述する。
【００３９】
Ｉフレーム
Ｉフレームに対する動き補償は無い、すなわち
【数１】
0004209134.tif 000002
であるため、信号はダウンサンプリングされ４１０、
【数２】
0004209134.tif 000003
となる。そして、エンコーダ１２０において、
【数３】
0004209134.tif 000004
となる。
【００４０】
信号ｇ2nは、ＤＣＴ４４０が施され、その後量子化パラメータＱ2を用いて量子化される４５０。量子化された信号ｃoutは、可変長符号化され４６０、トランスコードされたビットストリーム４０２に書込まれる。エンコーダにおける動き補償ループの一部として、ｃoutは逆量子化され４７０、ＩＤＣＴ４８０が施される。低減された解像度の参照信号ｙ2n４８１は、将来のフレーム予測のための参照信号としてフレームバッファ４９０に格納される。
【００４１】
Ｐフレーム
Ｐフレームの場合、恒等式
【数４】
0004209134.tif 000005
により、再構成されたフル解像度ピクチャがもたらされる。Ｉフレームと同様に、この信号はその後、式（２）によりダウンコンバートされる。そして、
【数５】
0004209134.tif 000006
に従って、低減された解像度の残差が生成される。それは、等価に、
【数６】
0004209134.tif 000007
として表現される。
【００４２】
式（６）によって与えられる信号は、この発明によって説明するアーキテクチャが近似を求める参照信号を表す。この参照信号を生成する際の複雑性は高く、大幅な複雑性の低減を達成する一方で、品質を近似させることが望ましい、ということが強調されなければならない。
【００４３】
開ループアーキテクチャ
近似値
【数７ａ】
0004209134.tif 000008
【数７ｂ】
0004209134.tif 000009
が与えられると、式（６）における低減された解像度の残差信号は、
【数８】
0004209134.tif 000010
として表される。上記式は、図９に示すトランスコーダ９００の開ループアーキテクチャを示唆している。
【００４４】
トランスコーダ９００では、入力ビットストリーム９０１信号は、可変長復号化される９１０ことにより、逆量子化ＤＣＴ係数９１１とフル解像度動きベクトルｍｖf９０１とを生成する。フル解像度動きベクトルは、ＭＶマッピング９２０によって低減された解像度の動きベクトルｍｖr９０３にマッピングされる。量子化ＤＣＴ係数９１１は、量子化器Ｑ1９３０を用いて逆量子化され、信号Ｅ1n９３１をもたらす。そして、この信号は、後により詳細に説明するようにブロックグループプロセッサ１３００に処理される。プロセッサ１３００の出力はダウンサンプリングされる９５０ことにより信号Ｇ2n９５１をもたらす。ダウンサンプリング後、信号は、量子化器Ｑ2９６０によって量子化される。最後に、低減された解像度の再量子化されたＤＣＴ係数および動きベクトルは、可変長符号化され９７０、トランスコードされた出力ビットストリーム９０２に書込まれる。
【００４５】
ブロックグループプロセッサ１３００の詳細および好ましい実施の形態を後に説明するが、簡単に、ブロックグループプロセッサの目的は、マクロブロックの選択されたグループを前処理することにより、ダウンサンプリングプロセス９５０が、サブブロックが異なる符号化モード、例えばインターブロックとイントラブロックとの両方を有するマクロブロックのグループを生成しないことを確実にする、ということである。マクロブロック内の混合符号化モードは、いかなる既知のビデオ符号化規格によってもサポートされていない。
【００４６】
低減された解像度でのドリフト補償
式（７ｂ）によって与えられる近似値のみが与えられると、式（６）の低減された解像度の残差信号は、
【数９】
0004209134.tif 000011
として表される。上記式は、低減された解像度でドリフトを補償する、図１０に示す閉ループアーキテクチャ１０００を示唆している。
【００４７】
このアーキテクチャでは、入力信号１００１は、可変長復号化１０１０されることにより、量子化ＤＣＴ係数１０１１とフル解像度動きベクトルｍｖf１０１２とをもたらす。フル解像度動きベクトル１０１２は、ＭＶマッピング１０２０によりマップされることにより、解像度が低減された動きベクトルｍｖr１０２１のセットをもたらす。量子化ＤＣＴ係数は、量子化器Ｑ1によって逆量子化１０３０されることにより、信号Ｅ1n１０３１をもたらす。そして、この信号は、ブロックグループプロセッサ１３００によって処理されダウンサンプリング１０５０される。ダウンサンプリング１０５０後、低減された解像度のドリフト補償信号１０５１は、ＤＣＴ領域において低解像度残差１０５２に加算１０６０される。
【００４８】
信号１０６１は、空間量子化器Ｑ2１０７０によって量子化される。最後に、低減された解像度の再量子化ＤＣＴ係数１０７１と動きベクトル１０２１とが可変長符号化１０８０されることにより、出力トランスコードビットストリーム１００２が生成される。
【００４９】
低減された解像度のドリフト補償信号が生成される元の参照フレームが、再量子化器残差Ｇ2n１０７１の逆量子化１０９０によって取得され、それはその後、ダウンサンプリングされた残差Ｇ1n１０５２から減算１０９２される。この差分信号は、ＩＤＣＴ１０９４によって処理され、フレームストア１０９１に格納されている先のマクロブロックの低解像度予測成分１０９６に加算１０９５される。この新たな信号は、差分（ｙ1n-1−ｙ2n-1）１０９７を表し、現ブロックの低解像度動き補償に対する参照として使用される。
【００５０】
格納された参照信号が与えられると、低解像度動き補償１０９８が実行され、予測値はＤＣＴ１０９９によって処理される。このＤＣＴ領域信号は、低減された解像度のドリフト補償信号１０５１である。この動作は、低解像度動きベクトルｍｖr１０２１のセットを使用してマクロブロック毎に実行される。
【００５１】
元の解像度でのドリフト補償の第１の方法
近似値
【数１０】
0004209134.tif 000012
の場合、式（６）の低減された解像度の残差信号は、
【数１１】
0004209134.tif 000013
として表される。上記式は、元の解像度のビットストリームでドリフトを補償する、図１１に示す閉ループアーキテクチャ１１００を示唆している。
【００５２】
このアーキテクチャでは、入力信号１１０１は、可変長復号化される１１１０ことにより量子化ＤＣＴ係数１１１１とフル解像度動きベクトルｍｖf１１１２をもたらす。量子化ＤＣＴ係数１１１１は、量子化器Ｑ1により逆量子化される１１３０ことにより、信号Ｅ1n１１３１をもたらす。そして、この信号は、ブロックグループプロセッサ１３００によって処理される。ブロックグループ処理１３００後、ＤＣＴ領域において残差１１４１に対し元の解像度のドリフト補償信号１１５１が加算される１１６０。そして、信号１１６２はダウンサンプリングされ１１５０、量子化器Ｑ2によって量子化される１１７０。最後に、低減された解像度の再量子化ＤＣＴ係数１１７１と動きベクトル１１２１とが可変長符号化され１１８０、トランスコードされたビットストリーム１１０２に書込まれる。
【００５３】
元の解像度のドリフト補償信号１１５１が生成される元の参照フレームは、再量子化器残差Ｇ2n１１７１の逆量子化１１９０によって生成され、それはその後アップサンプリングされる１１９１。ここで、アップサンプリング後、アップサンプリングされた信号は、元の解像度の残差１１６１から減算される１１９２。この差分信号は、ＩＤＣＴ１１９４によって処理され、先のマクロブロックの元の解像度の予測成分１１９６に加算される１１９５。この新たな信号は、差分（ｘ1n-1−ｘ2n-1）１１９７を表し、元の解像度での現マクロブロックの動き補償のための参照として使用される。
【００５４】
フレームバッファ１１８１に格納される参照信号が与えられると、元の解像度の動き補償１１９８が実行され、予測値はＤＣＴ１１９９によって処理される。このＤＣＴ領域信号は、元の解像度のドリフト補償信号１１５１である。この動作は、元の解像度の動きベクトルｍｖf１１２１のセットを使用してマクロブロック毎に実行される。
【００５５】
元の解像度におけるドリフト補償の第２の方法
図１１Ｂは、図１１Ａの閉ループアーキテクチャの代替実施の形態を示す。ここでは、再量子化器残差Ｇ2n１１７２の逆量子化１１９０の出力は、アップサンプリング１１９１前に、低減された解像度の信号から減算される１１９２。
【００５６】
元の解像度におけるドリフト補償の両アーキテクチャは、ドリフト補償信号１１５１を生成する際に動きベクトル近似値を使用しない。これは、アップサンプリング１１９１の使用によって達成される。２つの代替アーキテクチャは、主に、差分信号を生成するために使用される信号の選択が異なる。第１の方法では、差分信号は、再量子化と解像度変換とによる誤差を表すが、第２の方法での差分信号は、再量子化による誤差のみを考慮する。
【００５７】
トランスコードされたビットストリームの将来の復号化においてアップサンプリングされた信号が考慮されないため、ドリフト補償信号における連続したダウンサンプリングとアップサンプリングとによって測定されるいかなる誤差も排除することが妥当である。しかしながら、２つの理由により、アップサンプリングはまだ採用される。すなわち、フル解像度動きベクトル１１２１を利用していかなる更なる近似をも避けるためと、ドリフト補償信号が元の解像度であり、ダウンサンプリング１１５０前に入力残差１１６１に加算する１１６０ことができるようにするためである。
【００５８】
混合ブロックプロセッサ
ブロックグループプロセッサ１３００の目的は、選択されたマクロブロックを前処理することにより、ダウンサンプリングプロセスは、サブブロックが異なる符号化モード、例えばインターブロックとイントラブロックとを有するマクロブロックを生成しないことを確実にする、ということである。マクロブロック内の混合符号化モードは、いかなる既知のビデオ符号化規格によってもサポートされていない。
【００５９】
図１２は、トランスコーディング１２０３後、低減された解像度のブロックグループ１２０２になることができるマクロブロックのグループ１２０１の実施例を示す。ここでは、３つのインターモードブロックと１つのイントラモードブロックとがある。なお、イントラモードブロックの動きベクトル（ＭＶ）は０である。特定のブロックグループが混合グループであるか否かを決定することは、マクロブロックモードのみによって決まる。ブロックグループプロセッサ１３００は、低減された解像度の単一のマクロブロック１２０２を形成する４つのマクロブロック１２０１のグループを考慮する。言い換えれば、輝度成分に対し、ＭＢ（０）１２１０は、低減された解像度のマクロブロック１２０２のサブブロックｂ（０）１２２０に対応し、同様に、ＭＢ（１）１２１１はｂ（１）１２２１に対応し、ＭＢ（ｋ）１２１２はｂ（２）１２２２に対応し、ＭＢ（ｋ＋１）１２１３はｂ（３）１２２３に対応する。なお、ｋは、元の解像度の行毎のマクロブロックの番号である。輝度成分は、輝度モードと一貫する同様の方法で処理される。
【００６０】
ＭＢグループモードは、ブロックグループプロセッサ１３００が特定のＭＢを処理すべきか否かを判断する。ブロックグループは、グループが少なくとも１つのイントラモードブロックと少なくとも１つのインターモードブロックとを有する場合に処理される。マクロブロックが選択された後、そのＤＣＴ係数と動きベクトルデータとに対し変更がなされる。
【００６１】
図１３は、ブロックグループプロセッサ１３００のコンポーネントを示す。選択された混合ブロックグループ１３０１に対し、ブロックグループプロセッサは、モードマッピング１３１０と、動きベクトル変更１３２０と、ＤＣＴ係数変更１３３０と、を実行することにより、出力非混合ブロック１３０２をもたらす。ブロックグループ１３０１が識別されたとすると、マクロブロックのモードは、すべてのマクロブロックが同じであるように変更される。これは、低減された解像度のブロックにおける各サブブロックのモードを一致させるために事前指定された戦略に従って行われる。
【００６２】
選択されたモードマッピングにより、ＭＶデータにはその後、変更がなされる１３２０。対応するモードマッピングに合致する可能な変更を、図１４Ａないし図１４Ｃについて下に詳細に説明する。最後に、新たなＭＢモードとＭＶデータとが共に与えられると、対応するＤＣＴ係数もまたマッピングに合致するように変更される１３３０。
【００６３】
図１４Ａに示すブロックグループプロセッサの第１実施の形態では、ブロックグループ１３０１のＭＢモードは、モードマッピング１３１０によってインターモードに変更される。従って、イントラブロックのＭＶデータは、動きベクトル処理によって０にリセットされ、イントラブロックに対応するＤＣＴ係数もまた、ＤＣＴ処理１３３０によって０にリセットされる。このように、変換されたかかるサブブロックは、参照フレームの対応するブロックからのデータを用いて複製される。
【００６４】
図１４Ｂに示すブロックグループプロセッサの第２実施の形態では、混合ブロックグループのＭＢモードは、マッピング１３１０によってインターモードに変更される。しかしながら、第１の好ましい実施の形態とは対照的に、イントラＭＢのＭＶデータが予測される。予測は、テクスチャと動きデータとの両方を含むことができる、近傍ブロックのデータに基づく。この予測された動きベクトルに基づいて、変更されたブロックの新たな残差が計算される。最終ステップ１３２０は、インターＤＣＴ係数をイントラＤＣＴ係数にリセットする。
【００６５】
図１４Ｃに示す第３の実施の形態では、ブロックグループのＭＢモードは、イントラモードに変更される１３１０。この場合、低減された解像度のマクロブロックに関連する動き情報は無く、従って、すべての関連する動きベクトルデータは０にリセットされる１３２０。これは、近傍ブロックの動きベクトルがこのブロックの動きから予測されるため、トランスコーダで実行する必要がある。デコーダにおいて適当な再構成を確実にするために、ブロックグループのＭＶデータは、トランスコーダにおいてゼロにリセットされなければならない。最終ステップ１３３０は、上述したようにインターＤＣＴ係数に取って代るためにイントラＤＣＴ係数を生成する。
【００６６】
なお、上述した第２および第３の実施の形態を実現するために、フル解像度に再構成する復号化ループを使用することができる、ということは留意されなければならない。この再構成されたデータを、ＤＣＴ係数をイントラモードとインターモードかまたはインターモードとイントラモードとの間で変換するための参照として使用することができる。しかしながら、かかる復号化ループの使用は必要ではない。他の実現では、ドリフト補償ループ内で変換を実行することができる。
【００６７】
動きの量がわずかであり詳細が低レベルであるフレームのシーケンスの場合、図１４Ａの複雑性の低い戦略を使用することができる。そうでない場合、図１４ｂかまたは図１４ｃの等しく複雑な戦略が使用されるべきである。図１４ｃの戦略は最良の品質を提供する。
【００６８】
ブロック処理を伴うドリフト補償
ブロックグループプロセッサ１３００を、ドリフトを制御または最小化するために使用することも可能である、ということは留意されなければならない。イントラ符号化されたブロックにはドリフトがもたらされないため、インター符号化ブロックのイントラ符号化への変換により、ドリフトの悪影響が低減される。
【００６９】
図１４Ｃの第１ステップ１３５０として、圧縮ビットストリームにおけるドリフトの量が測定される。閉ループアーキテクチャでは、１０９２および１１９２によって生成される差分信号かまたは１０９１および１１９１において格納されるドリフト補償信号のエネルギに従って、ドリフトを測定することができる。信号のエネルギを計算することは、周知の方法である。計算されるエネルギは、再量子化、ダウンサンプリングおよび動きベクトル打切りを含む、あらゆる近似の根拠となる。
【００７０】
開ループアーキテクチャにも適用可能であるドリフトを計算する他の方法は、打切られた動きベクトルによってもたらされる誤差を推定する。解像度が低減されると、元の解像度の半画素動きベクトルが大きい再構成誤差をもたらす、ということは周知である。フル画素動きベクトルはまだ半画素位置に正確にマッピングされることが可能であるため、それらにはかかる誤差がもたらされない。この場合、ドリフトを測定する１つの可能性は、半画素動きベクトルの割合を記録することである。しかしながら、動きベクトル近似の悪影響は、コンテンツの複雑性によって決まるため、他の可能性は、測定されたドリフトが、半画素動きベクトルを有するブロックに関連する残差成分の関数である、ということである。
【００７１】
ドリフトを測定するために差分信号のエネルギと動きベクトルデータとを使用する方法を、組合せて使用することができ、またフレームのサブ領域に亙って考慮することも可能である。フレームのサブ領域を考慮することは、ドリフト補償方法によって最も利益を得るマクロブロックの位置を識別することができるため有利である。これら方法を組合せで使用するために、ドリフトは、差分信号のエネルギか、または元の解像度の半画素動きベクトルを有するマクロブロックに対するドリフト補償信号によって測定される。
【００７２】
第２のステップとして、ドリフトの測定された値は、ブロックグループプロセッサ１３００に対する入力として使用される「イントラリフレッシュレート」１３５１に変換される。イントラ符号化ブロックの割合を制御することは、エラー回復力のある送信に対するビデオの符号化のための従来技術において考慮されてきた。例えば、Stuhlmuller等による「Analysis of Video Transmission over Lossy Channels」、Journal of Selected Areas of Communications、2000を参照のこと。その論文では、受信機からエンコーダへのバックチャネルが、送信チャネルによってもたらされる損失の量を通信するものと仮定され、イントラ符号化ブロックの符号化は、予測符号化方式においてデータが喪失することによる誤差伝播を防止するために、ソースから直接実行される。
【００７３】
対照的に、この発明は、すでに符号化されたビデオに対し圧縮領域において新たなイントラブロックを生成し、インターモードからイントラモードへの変換は、ブロックグループプロセッサ１３００によって達成される。ドリフトがドリフト閾値量を超える場合、インターモードブロックをイントラモードブロックに変換するために、図１４ｃのブロックグループプロセッサ１３００が呼出される。この場合、変換は、一定の事前指定されたイントラリフレッシュレートで実行される。代替的に、変換を、測定されたドリフトの量に比例するイントラリフレッシュレートで行うことができる。また、イントラリフレッシュレートとイントラおよびインターブロックを符号化するために使用される量子化器との間で適当なトレードオフを行うために、信号のレート歪み特性を考慮することができる。
【００７４】
この発明が圧縮領域において新たなイントラブロックを生成することは留意されなければならず、ドリフト補償のこの形態を、解像度低減の有無に関らずあらゆるトランスコーダで実行することができる。
【００７５】
ダウンサンプリング
この発明によるトランスコーダにより、あらゆるダウンランプリング方法を使用することができる。しかしながら、好ましいダウンサンプリング方法は、引用をもって開示内容がすべて本明細書内に包含されたものとする、Ｓｕｎ等に対し１９９８年１１月１０日に発行された米国特許第５，８５５，１５１号、「Method and apparatus for down-converting a digital signal」による。
【００７６】
このダウンランプリング方法の概念を、図１５Ａに示す。グループは、４つの２N×２NＤＣＴブロック１５０１を含む。すなわち、グループのサイズは、２N+1×２N+1である。「周波数合成」またはフィルタリング１５１０が、ブロックグループに適用されることにより、１つの２N×２NＤＣＴブロック１５１１が生成される。この合成ブロックから、ダウンサンプリングされたＤＣＴブロック１５１２を抽出することができる。
【００７７】
この動作を、２Ｄ演算を使用してＤＣＴ領域について説明したが、別個の１Ｄフィルタを使用して実行することも可能である。また、その演算を、空間領域において完全に実行することも可能である。等価な空間領域フィルタを、引用をもって開示内容がすべて本明細書内に包含されたものとする、Vetro等により１９９８年３月６日に出願された米国特許出願第０９／０３５，９６９号、「Three layer scalable decoder and method of decoding」に述べられている方法を使用することにより、導出することができる。
【００７８】
この発明によるトランスコーダにおいてダウンサンプリング方法を使用する主な利点は、マクロブロックのサブブロックの正確な次元が直接取得される、例えば、４つの８×８ＤＣＴブロックから１つの８×８ブロックを形成することができる、ということである。一方、ダウンサンプリングの代替的な従来技術による方法は、マクロブロックの出力サブブロックの必要な次元と等しくない次元のダウンサンプリングされたデータをもたらし、例えば、４つの８×８ＤＣＴブロックから、４つの４×４ＤＣＴブロックが取得される。そして、１つの８×８ＤＣＴブロックを構成するために追加のステップが必要とされる。
【００７９】
上記フィルタは、アップサンプリングを必要とする、図１１に示すアーキテクチャを効率的に実現するための有用なコンポーネントである。より一般的に、ここで導出されるフィルタを、解像度低減またはドリフト補償の有無に関らず、アップサンプリングされたＤＣＴデータに対する算術演算を必要とするあらゆるシステムに適用することができる。
【００８０】
アップサンプリング
従来技術によるアップサンプリングのあらゆる手段を、この発明において使用することができる。しかしながら、米国特許出願「Three layer scalable decoder and method of decoding」（上記参照）において、Vetro等は、最適なアップサンプリング方法はダウンサンプリングの方法によって決まると述べている。従って、ダウンサンプリングフィルタｘdに対応するアップサンプリングフィルタｘuを使用することが好ましく、その場合、２つのフィルタ間の関係は、
【数１２】
0004209134.tif 000014
によって与えられる。
【００８１】
上記式から導出されるフィルタに関連して２つの問題がある。第１に、ＤＣＴフィルタは反転可能でないため、それらフィルタは空間領域フィルタでしか適用可能でない。しかしながら、対応する空間領域フィルタを導出し、その後ＤＣＴ領域に変換することができるため、これは小さい問題である。
【００８２】
一方、第２の問題は、このように取得されるアップサンプリングフィルタが、図１５Ｂに示すプロセスに対応する、ということである。このプロセスでは、例えば、２N×２Nブロック１５０２が１つの２N+1×２N+1ブロック１５３０にアップサンプリングされる１５２０。アップサンプリングが空間領域において完全に実行される場合、問題はない。しかしながら、アップサンプリングがＤＣＴ領域で実行される場合、扱うべき２N+1×２N+1ＤＣＴブロックがあり、すなわち１つのＤＣ成分がある。これは、アップサンプリングされたＤＣＴブロックが標準ＭＢフォーマットである、すなわち、Ｎが４である場合の４つの２N×２NＤＣＴブロックであることを必要とする動作には、適当ではない。すなわち、アップサンプリングされたブロックは、元のブロックと同じフォーマットまたは次元を有し、元のブロックより非常に多い。
【００８３】
ＤＣＴ領域においてアップサンプリングする上記方法は、この発明において述べるトランスコーダでの使用には適していない。図１１Ａにおいて、アップサンプリングされたＤＣＴデータは、混合ブロックプロセッサ１３００から出力されるＤＣＴデータから減算される。２つのブロックの２つのＤＣＴデータは、同じフォーマットを有していなければならない。従って、図１５Ｃに示されているアップサンプリングを実行することができるフィルタが必要である。ここでは、１つの２N×２Nブロック１５０２が、４つの２N×２Nブロック１５５０にアップサンプリングされる１５４０。かかるフィルタは、今まで考慮されておらず、周知の従来技術において存在しないため、１Ｄの場合の式は、以下のように導出される。以下の式における表記法に関して、小文字の変数は空間領域信号を示し、大文字変数はＤＣＴ領域における等価な信号を表す。
【００８４】
図１６に示すように、Ｃ１６０１は、ＤＣＴ領域においてアップサンプリングされるＤＣＴブロックを表し、ｃ１６０２は、空間領域における等価なブロックを表す。２つのブロックは、Ｎ−ｐｔＤＣＴおよびＩＤＣＴ１６０３の定義を通して互いに関連する。RaoおよびYipによる「Discrete Cosine Transform:Algorithms,Advantages and Applications」、Academic、Boston、1990を参照のこと。また便宜上、式を下に示す。
【００８５】
ＤＣＴ定義は、
【数１３】
0004209134.tif 000015
であり、ＩＤＣＴ定義は、
【数１４】
0004209134.tif 000016
であって、
【数１５】
0004209134.tif 000017
である。
【００８６】
上記式が与えられると、ブロックＥ１６１０は、Ｘu１６１１でのＣのフィルタリングに基づいてアップサンプリングされたＤＣＴブロックを表し、ｅは、式（１２）で与えられたｘu１６２１でのｃのフィルタリングに基づいてアップサンプリングされた空間領域ブロックを表す。なお、ｅおよびＥは、２Ｎ−ｐｔ  ＤＣＴ／ＩＤＣＴ１６３０を通して関連する。フィルタリングされた入力の入出力関係は、
【数１６ａ】
0004209134.tif 000018
【数１６ｂ】
0004209134.tif 000019
によって与えられる。
【００８７】
図１６に示すように、所望のＤＣＴブロックは、Ａ１６１１およびＢ１６１２によって示される。この導出の目的は、Ｃから直接ＡおよびＢをそれぞれ計算するために使用することができるフィルタＸca１６４１およびＸcb１６４２を導出することである。
【００８８】
第１のステップとして、式（１４）が式（１６ｂ）に置換される。結果の表現は、ＤＣＴ入力Ｃの関数としての空間領域出力ｅであり、それは、
【数１７】
0004209134.tif 000020
によって与えられる。式（１７）を使用してＣについてＡおよびＢを表すために、ａ、ｂおよびｅ間の空間領域関係は、
【数１８】
0004209134.tif 000021
であり、上記ｉは空間領域インデックスを示す。ａに対するＤＣＴ領域表現は、
【数１９】
0004209134.tif 000022
によって与えられる。
【００８９】
式（１７）〜（１９）を使用することにより、
【数２０】
0004209134.tif 000023
が得られ、それは、等価に、
【数２１】
0004209134.tif 000024
として表され、この場合、
【数２２】
0004209134.tif 000025
となる。
【００９０】
同様に、
【数２３】
0004209134.tif 000026
であり、それは、等価に、
【数２４】
0004209134.tif 000027
として表され、この場合、
【数２５】
0004209134.tif 000028
となる。
【００９１】
そして、上記フィルタを、所与の次元の１つのブロックを各々が元のブロックと同じ次元を有するより多くのブロックにアップサンプリングするために使用することができる。より一般的には、ここで導出されるフィルタを、アップサンプリングされたＤＣＴデータに対する算術演算を必要とするあらゆるシステムに適用することができる。
【００９２】
式（２２）および（２５）によって与えられるフィルタを実現するために、ｋが出力画素のインデックスであり、ｑが入力画素のインデックスである場合、各表現は、フィルタタップのｋ×ｑ行列を提供する。１Ｄデータの場合、出力画素は、行列乗算として計算される。２Ｄデータの場合、２つのステップがとられる。まず、データは、第１の方向、例えば水平にアップサンプリングされる。そして、水平にアップサンプリングされたデータは、第２の方向、例えば垂直にアップサンプリングされる。アップサンプリングの方向の順序は、結果にいかなる影響を与えることもなく逆転させることができる。
【００９３】
水平アップサンプリングの場合、ブロックの各行は独立して操作され、Ｎ次元入力ベクトルとして扱われる。各入力ベクトルは、式（２１）および（２４）に従ってフィルタリングされる。このプロセスの出力は、２つの標準ＤＣＴブロックとなる。垂直アップサンプリングの場合、各列は、独立して操作され、この場合もＮ次元入力ベクトルとして扱われる。水平アップサンプリングと同様に、各入力ベクトルは、式（２１）および（２４）に従ってフィルタリングされる。このプロセスの出力は、図１５Ｃに示すように４つの標準ＤＣＴブロックとなる。
【００９４】
構文変換
この発明によるトランスコーダの上記アプリケーションについて述べたように、この発明の重要なアプリケーションのうちの１つは、ＭＰＥＧ−２からＭＰＥＧ−４への変換である。これまでは、主に、より低い空間解像度にトランスコードする場合のドリフト補償に使用されるアーキテクチャと、より低い空間解像度への変換をサポートする追加の技術と、に対して焦点が合せられていた。
【００９５】
しかしながら、標準符号化方式間の構文変換は、別の重要な問題である。これは、すでに係属中の特許出願によって述べられていると思われるため、この部分に対しこれ以上詳述しない。
【００９６】
この発明を、好ましい実施の形態を用いて説明したが、他のあらゆる適応および変更を、この発明の精神および範囲内で行うことが可能である、ということが理解されなければならない。従って、併記の特許請求の範囲の目的は、この発明の真の精神および範囲内にあるかかる変形および変更のすべてを包含するということである。
【図面の簡単な説明】
【図１】  従来技術によるカスケード接続されたトランスコーダのブロック図である。
【図２】  ビットレート低減のための従来技術による開ループトランスコーダのブロック図である。
【図３】  ビットレート低減のための従来技術による閉ループトランスコーダのブロック図である。
【図４】  空間解像度低減のための従来技術によるカスケード接続されたトランスコーダのブロック図である。
【図５】  空間解像度低減のための従来技術による開ループトランスコーダのブロック図である。
【図６】  従来技術による動きベクトルマッピングのブロック図である。
【図７】  この発明によりビットストリームを低減された空間解像度にトランスコードする第１のアプリケーションのブロック図である。
【図８】  この発明によりビットストリームを低減された空間解像度にトランスコードする第２のアプリケーションのブロック図である。
【図９】  この発明による空間解像度低減のための開ループトランスコーダのブロック図である。
【図１０】  この発明による低減された解像度におけるドリフト補償を伴う空間解像度低減のための第１の閉ループトランスコーダのブロック図である。
【図１１Ａ】  この発明による元の解像度におけるドリフト補償を伴う空間解像度低減のための第２の閉ループトランスコーダのブロック図である。
【図１１Ｂ】  この発明による元の解像度におけるドリフト補償を伴う空間解像度低減のための第３の閉ループトランスコーダのブロック図である。
【図１２】  マクロブロックモードと、ＤＣＴ係数データと、対応する動きベクトルデータと、を含むマクロブロックのグループの実施例である。
【図１３】  この発明によるブロックグループプロセッサのブロック図である。
【図１４Ａ】  この発明によるブロックグループ処理の第１の方法のブロック図である。
【図１４Ｂ】  この発明によるブロックグループ処理の第２の方法のブロック図である。
【図１４Ｃ】  この発明によるブロックグループ処理の第３の方法のブロック図である。
【図１５Ａ】  ＤＣＴまたは空間領域におけるダウンサンプリングの従来技術による概念を示す。
【図１５Ｂ】  ＤＣＴまたは空間領域における従来技術によるアップサンプリングのブロック図である。
【図１５Ｃ】  この発明によるＤＣＴ領域におけるアップサンプリングのブロック図である。
【図１６】  この発明によるＤＣＴ領域におけるアップサンプリングの図である。
【図１】
0004209134.tif 000029
【図２】
0004209134.tif 000030
【図３】
0004209134.tif 000031
【図４】
0004209134.tif 000032
【図５】
0004209134.tif 000033
【図６】
0004209134.tif 000034
【図７】
0004209134.tif 000035
【図８】
0004209134.tif 000036
【図９】
0004209134.tif 000037
【図１０】
0004209134.tif 000038
【図１１Ａ】
0004209134.tif 000039
【図１１Ｂ】
0004209134.tif 000040
【図１２】
0004209134.tif 000041
【図１３】
0004209134.tif 000042
【図１４Ａ】
0004209134.tif 000043
【図１４Ｂ】
0004209134.tif 000044
【図１４Ｃ】
0004209134.tif 000045
【図１５Ａ】
0004209134.tif 000046
【図１５Ｂ】
0004209134.tif 000047
【図１５Ｃ】
0004209134.tif 000048
【図１６】
0004209134.tif 000049