(57)【要約】【解決手段】ＭＰＥＧ−２ビットストリームをＭＰＥＧ−４ビットストリームに変換するトランスコーダアーキテクチャーは，エラーが些細で複雑さが顕著に低い。トランスコーダは入力ビットストリームからヘッダ情報を読み取り，出力ビットストリームに対して新しいフォーマットで対応するヘッダを与える。複雑さが低い前後トランスコーダが動き補償処理の必要性を回避する。またドリフトエラーを最小化するトランスコーダが提供される。他の実施例ではサイズトランスコーダが提供され，ＭＰＥＧ−２ ＭＰ＠ ＭＬでコード化する，ＩＴＵ−Ｒ６０１インターレース化されたビデオのビットストリームが，ストリーミングビデオの場合に適したＳＩＦプログレッシブビデオを含む，単純なプロファイルＭＰＥＧ−４ビットストリームに変換される。フィールドモードＤＣＴブロックの空間ダウンスケール化に対して，垂直および水平ダウンスケール化技術が計算の減少化のために，疎マトリクスを使用して組み合わされる。
2004504739.tif 000002
【特許請求の範囲】
【請求項１】
第一のビデオコード化フォーマットで与えられる，予め圧縮された入力ビットストリームをトランスコード化する方法であって，
入力ビットストリームのヘッダ情報を修復する工程と，
第二の，異なるビデオコード化フォーマットで，対応するヘッダ情報を与える工程と，
部分的に圧縮が解かれたデータを与えるために，入力ビットストリームの圧縮を部分的に解く工程と，
出力ビットストリームを与えるために，第二のフォーマットでヘッダ情報にしたがって，部分的に圧縮が解かれたデータを再度圧縮する工程と，
を含む方法。
【請求項２】
第一および第二のビデオコード化フォーマットは，それぞれＭＰＥＧ−２フォーマットおよびＭＰＥＧ−４フォーマットからなる，請求項１に記載の方法。
【請求項３】
第一のビデオコード化フォーマットは，メインレベルの主プロファイルからなり，
第二のビデオコード化フォーマットは標準中間フォーマット（ＳＩＦ）プログレッシブ順次ビデオをもつ単純なプロファイルＭＰＥＧ−４ビットストリームからなる，請求項１に記載の方法。
【請求項４】
部分的に圧縮が解かれたデータは，動きベクトルおよび離散コサイン変換（ＤＣＴ）係数を含み，
第二のフォーマットは，新しいモード決定，ＡＣ／ＤＣ予想，および動き補償の少なくとも一つを含む，請求項１に記載の方法。
【請求項５】
少なくとも一つのルックアップテーブルが第二のビデオコード化フォーマットで，対応するヘッダ情報を与えるために使用される，請求項１に記載の方法。
【請求項６】
ダウンスケール化は，ＤＣＴ係数およびその動きベクトルをダウンサンプル化することにより，部分的に圧縮が解かれたデータについて実行される，請求項１に記載の方法。
【請求項７】
２：１のダウンスケール化は，部分的に圧縮が解かれたデータの，四つのフィールドモード離散コサイン変換（ＤＣＴ）ブロックの少なくとも一つのグループについて，二つのフレームモードＤＣＴブロックの対応するグループを得るために，垂直ダウンサンプル化およびデインターレース化を実行することにより，そして一つのフレームモードＤＣＴブロックを得るために，二つのフレームモードＤＣＴブロックに水平ダウンサンプル化を実行することにより，実行される，請求項１に記載の方法。
【請求項８】
垂直ダウンサンプル化はまた，四つのフィールドモードＤＣＴブロックを，ローパスフィルタにかけることも実施する，請求項７に記載の方法。
【請求項９】
垂直及び水平ダウンサンプル化はそれぞれ，疎マトリクスを使用する，請求項７に記載の方法。
【請求項１０】
再度圧縮を行う工程で，量子化器において，変化を特定するコード（ＤＱＵＡＮＴ）が，部分的に圧縮が解かれたデータの量子化パラメータの異なる値にしたがってセットされる，請求項１に記載の方法。
【請求項１１】
内コード化されたマクロブロックを再度圧縮するために，コード化されたブロックパターン（ＣＢＰ）が，部分的に圧縮が解かれたデータの対応する値にしたがってセットされる，請求項１に記載の方法。
【請求項１２】
非内コード化されたマクロブロックを再度圧縮するために，部分的に圧縮が解かれたデータの，スキップされたマクロブロックが，ｎｏｔ ｃｏｄｅｄ ｍａｃｒｏｂｌｏｃｋとしてコード化され，ここで，すべての離散コサイン変換（ＤＣＴ）係数がゼロの値をもつ，請求項１に記載の方法。
【請求項１３】
再度圧縮する工程において，部分的に圧縮が解かれたデータの予想された動きベクトルが，第二のフォーマットにしたがってリセットされる，請求項１に記載の方法。
【請求項１４】
部分的に圧縮が解かれたデータの，二重の主モードがフィールドコード化されたマクロブロックに変換される，請求項１に記載の方法。
【請求項１５】
ビデオデータに２：１のダウンスケール化を実施する方法であって，
ビデオデータから，Ｎ×Ｎ離散コサイン変換（ＤＣＴ）係数の，少なくとも一つの入力マトリクスを，四つのＮ／２×Ｎ／２フィールドモードＤＣＴブロックを組み合わせることにより，形成する工程と，
二つのＮ／２×Ｎ／２フレームモードブロックを得るために，入マトリクスに，垂直ダウンサンプル化およびデインターレース化を実施する工程と，
二つのフレームモードＤＣＴブロックから，Ｎ×Ｎ／２入力マトリクスを形成する工程と，
一つのＮ／２×Ｎ／２フレームモードＤＣＴブロックを得るために，Ｎ×Ｎ／２マトリクスに，水平ダウンサンプル化を実施する工程と，
を含む方法。
【請求項１６】
Ｎ＝１６である，請求項１５に記載の方法。
【請求項１７】
垂直ダウンサンプル化はまた，Ｎ×Ｎ入力マトリクスをローパスフィルタにかける，請求項１５に記載の方法。
【請求項１８】
垂直ダウンサンプル化は，疎ダウンサンプル化マトリクスを使用する，請求項１５に記載の方法。
【請求項１９】
疎ダウンサンプル化マトリクス＝０．５［Ｉ８ Ｉ８］であり，Ｉ８は８×８単位マトリクスである，請求項１８に記載の方法。
【請求項２０】
水平ダウンサンプル化は，奇“Ｏ”および偶“Ｅ”マトリクスからなる疎ダウンサンプル化マトリクスを使用する，請求項１５に記載の方法。
【請求項２１】
偶マトリクスは
Ｅ＝［ｅ（０）　　　 ０　　　　　０　　　　　０
０　　　　ｅ（１）　　　 ０　　　　　ｅ（２）
０　　　　０　　　　　０　　　　　０
０　　　　ｅ（３）　　　 ０　　　　　ｅ（４）
０　　　　０　　　　　ｅ（５）　　　　０
０　　　　ｅ（６）　　　 ０　　　　　ｅ（７）
０　　　　０　　　　　０　　　　　０
０　　　　ｅ（８）　　　 ０　　　　　ｅ（９）］
を有し，ここでｅ（１）からｅ（９）はゼロでない係数であり，
奇マトリクスは，
Ｏ＝［０　　　　０　　　　　０　　　　　０
ｏ（０）　　 ０　　　　　ｏ（１）　　　 ０
０　　　　ｏ（２）　　　 ０　　　　　０
ｏ（３）　　 ０　　　　　ｏ（４）　　　 ０
０　　　　０　　　　　０　　　　　０
ｏ（５）　　 ０　　　　　ｏ（６）　　　 ０
０　　　　０　　　　　０　　　　　ｏ（７）
ｏ（８）　　 ０　　　　　ｏ（９）　　　 ０］
を有し，ここでｏ（１）からｏ（９）はゼロでない係数である，
請求項２０に記載の方法。
【請求項２２】
第一のビデオコード化フォーマットで与えられる，予め圧縮されたビットストリームをトランスコード化する装置であって，
入力ビットストリームのヘッダ情報を修復する手段と，
第二の，異なるビデオコード化フォーマットで，対応するヘッダ情報を与える手段と，
部分的に圧縮が解かれたデータを与えるために，入力ビットストリームの圧縮を部分的に解く手段と，
出力ビットストリームを与えるために，第二のフォーマットでヘッダ情報にしたがって，部分的に圧縮が解かれたデータを再度圧縮する手段と，
を含む装置。
【請求項２３】
ビデオデータに２：１のダウンスケール化を実施する装置であって，
ビデオデータから，Ｎ×Ｎ離散コサイン変換（ＤＣＴ）係数の，少なくとも一つの入力マトリクスを，四つのＮ／２×Ｎ／２フィールドモードＤＣＴブロックを組み合わせることにより，形成する手段と，
二つのＮ／２×Ｎ／２フレームモードブロックを得るために，入マトリクスに，垂直ダウンサンプル化およびデインターレース化を実施する手段と，
二つのフレームモードＤＣＴブロックから，Ｎ×Ｎ／２入力マトリクスを形成する手段と，
一つのＮ／２×Ｎ／２フレームモードＤＣＴブロックを得るために，Ｎ×Ｎ／２マトリクスに，水平ダウンサンプル化を実施する手段と，
を含む装置。
【発明の詳細な説明】
【０００１】
発明の背景
本発明は，マルチメディアデータの圧縮に関し，特に，一般的なＭＰＥＧ−４をＭＰＥＧ−２にデコード化することのできるビデオ・トランスコーダに関する。時間的および空間的サイズ変換（ダウンサイズ化）もまた提供される。
【０００２】
以下の頭文字および用語が使用される。
ＣＢＰ−コード化されたブロックパターン
ＤＣＴ−離散コサイン変換
ＤＴＶ−デジタルテレビ
ＤＶＤ−デジタルビデオディスク
ＨＤＴＶ−高精細度テレビ
ＦＬＣ−固定長コード化
ＩＰ−インターネットプロトコル
ＭＢ−マクロブロック
ＭＥ−動き推定
ＭＬ−メインレベル
ＭＰ−メインプロファイル
ＭＰＳ−ＭＰＥＧ−２プログラムストリーム
ＭＴＳ−ＭＰＥＧ−２トランスポートストリーム
ＭＶ−動きベクトル
ＱＰ−量子化パラメータ
ＰＭＶ−予想動きベクトル
ＲＴＰ−リアルタイムトランスポートプロトコル（ＲＦＣ１８８９）
ＳＤＴＶ−標準的精細度テレビ
ＳＩＦ−標準的中間フォーマット
ＳＶＣＤ−超ビデオコンパクトディスク
ＶＬＣ−可変長コード化
ＶＬＤ−可変長デコード化
ＶＯＰ−ビデオオブジェクトプレーン
【０００３】
ＭＰＥＧ−４（マルチメディアコード化標準）が，メディアのストリーミング，広告，双方ゲーム，仮想旅行などといったインターネットの分野の例を含む種々の応用例をサポートするための豊かな機能性を与える。インターネットによりビデオのストリーミング（マルチキャスト）（インターネットでの一般的な応用例において，期待されている）は，ＭＰＥＧ−４ビジュアル標準（国際標準（ＭＰＥＧ−４）のＩＳＯ／ＩＥＣ１４４９８−２最終ドラフト，“情報技術−オーディオビジュアル化オブジェクトの一般コード化，パート２：ビジュアル”，１９９８年１２月）とともに使用に非常に適している。
【０００４】
ＭＰＥＧ−４ビジュアルは合成ビデオおよび生のビデオの両方を取り扱い，ビデオ，フェース，およびメッシュオブジェクトのような，いくつかビジュアルオブジェクトタイプを受け入れる。ＭＰＥＧ−４はまた，多数のオブジェクトがユーザーにより望まれるとき，シーンにおいて示されまたは操作され得るように，任意に形状付けられたオブジェクトのコード化を可能にする。さらに，ＭＰＥＧ−４ビジュアルは，多数の予備的な（アルファ）プレーン，可変なフレームレート，および幾何学的なトランスフォーメーション（スプライト）のような強化された特徴を含むことにより，コード化および表示配列の点に関して非常に柔軟である。
【０００５】
しかし，ストリーミングビデオの対象である期待されるビデオ題材（たとえば，映画，スポーツ番組，コンサートなど）の大半は，ＭＰＥＧ−２により圧縮され，ＤＶＤ，コンピュータメモリー（たとえば，サーバーハードディスク）のような記憶媒体に記憶されている。ＭＰＥＧ−２システム仕様（“情報技術−動画および関連したオーディオの一般的なコード化：パート２−ビデオ”，１９９５）は，二つのシステムストリームフォーマット（ＭＰＥＧ−２トランスポートシステム（ＭＴＳ）およびＭＰＥＧ−２プログラムストリーム（ＭＰＳ））を定義する。ＭＴＳは，ＭＰＥＧ−２で圧縮されたデータの一つ以上のプログラム，またエラーの生じやすい環境での他のデータの通信または記憶のために作られる。ＭＴＳの典型的な応用例の一つがＤＴＶである。一般的な応用例はＤＶＤおよびＳＶＣＤを含む。
【０００６】
この課題を解決する試みはいまのところ満足のいくものとはなっていない。たとえば，ＭＰＥＧ−４スタジオプロファイルは（Ｏ． Ｓｕｎｏｈａｒａ，Ｙ． Ｙａｇａｓａｋｉらの“ＭＰＥＧ−４ Ｓｔｕｄｉｏ Ｐｒｏｆｉｌｅ Ａｍｅｎｄｍｅｎｔ Ｗｏｒｋｉｎｇ Ｄｒａｆｔ ２．０のドラフト”，ＩＳＯ／ＩＥＣ ＪＴＣ／ＳＣ２９ ９９／５１３５）は，ＭＰＥＧ−２からＭＰＥＧ−４のトランスコーダを提案しているが，そのようなプロセスは他のＭＰＥＧ−４バージョン１プロファイル（ナチュラルビジュアルプロファイル（Ｓｉｍｐｌｅ，Ｓｉｍｐｌｅ Ｓｃａｌｅａｂｌｅ，Ｃｏｒｅ，Ｍａｉｎ，Ｎ−Ｂｉｔ），合成ビジュアルプロファイル（Ｓｃａｌｅａｂｌｅ Ｔｅｘｔｕｒｅ，Ｓｉｍｐｌｅ Ｆａｃｅ Ａｎｉｍａｔｉｏｎ），および合成／ナチュラルハイブリッドビジュアル（Ｈｙｂｒｉｄ，Ｂａｓｉｃ Ａｎｉｍａｔｅｄ Ｔｅｘｔｕｒｅ））に適用できない。スタジオプロファイルは，シンタックスを修正することから，ＭＰＥＧ−４バージョン１のメインプロファイルに適用できず，デコーダプロセスは残りのＭＰＥＧ−４バージョン１と互換性がない。
【０００７】
ＭＰＥＧ標準は，二次元のランキング順序を使用して，限定パラメータのいくつかのセットを指定する。“プロファイル”シリーズといわれている次元の一つが，サポートされたコード化の特徴を特定する。“レベル”といわれる他の次元は，画像の解像度，ビットレートなど（受け入れられるもの）を特定する。
【０００８】
ＭＰＥＧ−２に関し，メインレベルでのメインプロファイル，ＭＰ＠ＭＬは，４：２：０のサブサンプル化比，ならびにＩ，ＰおよびＢピクチャーをサポートする。メインレベルはＩＴＵ−Ｒ６０１ビデオに対して定義される一方，シンプルレベルはＳＩＦビデオに対して定義される。
【０００９】
同様に，シンプルプロフィルはＳＩＦプログレッシブビデオ（Ｂ−ＶＯＰまたはインターレース化されたビデオをもたない）を含む。メインプロファイルはＢ−ＶＯＰおよびインターレース化されたビデオを可能にする。
【００１０】
したがって，ＭＰＥＧ−２ビデオからＭＰＥＧ−４ビデオへのトランスコード化および／またはＭＰＥＧ−４ビデオからＭＰＥＧ−２ビデオへのトランスコード化を使用することにより，端末システムの異なるタイプの間で相互運用ができるようにすることが望まれている。適用させられるべき端末システムの異なるタイプはつぎのものを含む。
【００１１】
送信相互作用ユニット（ＴＩＵ）：在来のＭＴＳ（またはＭＰＳ）からＭＰＥＧ−２ビデオを受信し，ＭＰＥＧ−４にトランスコード化し，在来のＲＴＰベースのシステムそう（ＩＰベースの相互接続ネットワークのようなもの）を使用して，パケットネットワークにより配給する。たとえば，リアルタイムエンコーダ，インターネットへのＭＴＳ衛星リンク，およびＭＰＤエンコード化したソースマテリアルをもつビデオサーバがある。
【００１２】
受信相互作用ユニット（ＲＩＵ）：ＲＴＰベースのネットワークからリアルタイムでＭＰＥＧ−４を受信し，つぎに（必要であれば）ＭＰＥＧ−２ビデオにトランスコード化し，そして在来のＭＴＳ（またはＭＰＳ）環境に送る。たとえば，インターネットベースのビデオサーバからＭＴＳベースのケーブル配給施設までである。
【００１３】
送信インターネット端末システム（ＴＩＥＳ）：インターネット端末システム自ら発生され，もしくは記憶された，またはインターネットベースのコンピュータネットワークから受信されたＭＰＥＧ−２またはＭＰＥＧ−４を送信する。たとえば，ビデオサーバがある。
【００１４】
受信インターネット端末システム（ＲＩＥＳ）：インターネット端末システムでの消費のために，ＲＴＰベースのインターネットにより，ＭＰＥＧ−２またはＭＰＥＧ−４を受信し，伝統的なコンピュータネットワークへと送る。たとえば，トレーニングビデオをみるデスクトップＰＣまたはワークステーションがある。
【００１５】
ＭＰＥＧ−２とＭＰＥＧ−４の間の類似性および相違性を決定し，複雑さが低く，エラーが些細であるトランスコーダアーキテクチャーを提供することが望ましい。
【００１６】
トランスコーダアーキテクチャーは，Ｂフレームが有効であるシステムに提供され，さらにＢフレームが使用できないときのための（単純なプロファイル）単純化されたアーキテクチャーであるべきである。
【００１７】
フォーマット（ＭＰＥＧ−２からＭＰＥＧ−４）および／またはサイズのトランスコード化が提供されるべきである。
【００１８】
ヘッダーのマッピングを含む，ＭＰＥＧ−２からＭＰＥＧ−４シンタックスの有効なマッピングを提供することは望ましい。
【００１９】
システムは，空間および時間トランスコード化を含む，サイズのトランスコード化を含むべきである。
【００２０】
システムは，トランスコーダの入力ビットストリームまたは出力ビットストリームで，サイズの変換を可能にすべきである。
【００２１】
サイズトランスコーダは，ＭＰＥＧ−２ ＭＰ＠ＭＬでコード化され，ＩＴＵ−Ｒ院てーレース化されたビデオのビットストリームを，たとえばストリーミングビデオの応用例に適したＳＩＦプログレッシブビデオを含む，単純なプロファイルのＭＰＥＧ−４ビットストリームに変換する。
【００２２】
システムは，ストリーミングビデオの応用例に対して，実際的な帯域内に適応する出力ビットストリームを提供すべきである。
【００２３】
本発明は上記および他の利点を有するシステムを提供する。
【００２４】
発明の要約
本発明は，フォーマットのトランスコード化（ＭＰＥＧ−２からＭＰＥＧ−４へ）およびサイズ（空間および時間）のトランスコード化に関する。
【００２５】
提案のトランスコーダは，サイズの変換を含むが，これらパラメータは，入力ビットストリームまたは出力ビットストリームでトランスコード化される。しかし，トランスコーダが，互いに処理要素を共有することから（ビットストリームリーダのように），複雑さを軽減するために，トランスコーダの製品バージョンに，あらゆる種類のトランスコード化を含めることが有効である。
【００２６】
本発明は，トランスコーダに対して最も重要な条件，たとえば，システムの複雑さ，およびプロセスで生じた損失に関連する。
【００２７】
一実施例において，提案の前後トランスコーダアーキテクチャーが，動き補償を達成する必要がないことから，複雑さを軽減する。
【００２８】
特定の実施例においては，トランスコーダは，可変５ビットＱＰ表示を使用し，ＡＣ／ＤＣ予想および非線形ＤＣスケーラを除去する。
【００２９】
本発明は，これに代えてレート制御およびサイズの再変更に有効である。
【００３０】
第一のビデオコード化フォーマットで与えられる，予め圧縮された入力ビットストリームをトランスコード化する特別な方法は，対応するヘッダ情報を，第二の異なるビデオコード化フォーマットで与え，入力ビットストリームの圧縮を部分的に解き，部分的に圧縮が解かれたデータを与え，出力ビットストリームを与えるために，第二のフォーマットで，ヘッダ情報にしたがって，部分的に圧縮が解かれたデータを，再度圧縮することを含む。
【００３１】
ビデオデータを２：１でダウンスケール化する方法は，ビデオデータから，Ｎ×Ｎ（たとえばＮ＝１６）の離散コサイン変換（ＤＣＴ）計数の，少なくとも一つの入力マトリクスを，四つのＮ／２×Ｎ／２フィールドモードＤＣＴブロックを組み合わせることにより形成し，二つのＮ／２×Ｎ／２フレームモードＤＣＴブロックを得るために，入力マトリクスの，垂直方向ダウンサンプル化およびデインターレース化を実行し，二つのフレームモードＤＣＴブロックから，Ｎ×Ｎ／２入力マトリクスを形成し，一つのＮ／２×Ｎ／２フレームモードＤＣＴブロックを得るために，Ｎ×Ｎ／２マトリクスの水平ダウンサンプル化を実行することを含む。
【００３２】
好適に，垂直および水平ダウンサンプル化は，それぞれの疎ダウンサンプル化マトリクスを使用する。特に，０．５［Ｉ８ Ｉ８］垂直ダウンサンプル化が使用できるが，このＩ８は８×８の単位マトリクスである。これは，基本的に，垂直画素の平均化である。奇“Ｏ”および偶“Ｅ”の複合した，水平ダウンサンプル化も使用できる。
【００３３】
対応する装置もまた提供される。
【００３４】
本発明は，フォーマットのトランスコード化（ＭＰＥＧ−２からＭＰＥＧ−４）およびサイズ（空間および時間）のトランスコード化に関する。
【００３５】
本発明は，予め圧縮されたビットストリームを，異なるビットレートで，他の圧縮されたビットストリームに，ビットレートのトランスコード化することを提供する。
【００３６】
ビットレートのトランスコード化は，たとえばビデオのストリーミング（ネットワークの帯域は一定でなく，ときに，ビデオサーバはネットワークトラフィック要求に対処するために，ビットレートの減縮を必要とするからである）には重要である。入力ビットストリームからのＭＶを再利用し，したがって動き推定（ＭＥ）を除去する，カスケード式トランスコーダは，最も効率的なビットレートトランスコーダである。カスケード式トランスコーダは，ＭＶを得て，そして参照フレームを形成するために，入力ビットストリームをデコード化する。つぎに，出力ビットストリームを所望のビットレートで生成するために，レート制御機構で，この情報をコード化する。
【００３７】
空間解像度のトランスコード化は，近い将来に，ＨＤＴＶとＳＤＴＶの共存にともなう大きな問題となる。インターネットの帯域が，放送用の品質をもつビデオ用に十分大きくなりそうもないことから，ビデオのストリーミングも非常に有益である。したがって，放送用の品質をもつビットストリームを，処理しやす解像度でダウンサンプル化することは必要なことである。空間解像度のトランスコード化は，システムの複雑を顕著に減少させることから，圧縮された（ＤＣＴ）ドメインで実行される。圧縮されたドメインでのダウンサンプル化のプロセスは，二つのパラメータ，すなわちＤＣＴ係数およびＭＶの処理に関する。ダウンサンプル化フィルタおよびその高速アルゴリズムがＤＣＴ係数ダウンサンプル化を実行するために，提案されている。実際の製品で，ドリフトを回避するために，動き補償の残差は，入力ビットストリームからのＤＣＴ係数を近似化することに代え，再度変換されなければならない。
【００３８】
２．　高レベルの比較
構成，ＭＰＥＧ−２およびＭＰＥＧ−４は同様の圧縮アルゴリズムを利用する。根本的に，両方の標準は，時間相関を活用するために動き予想を採用し，フレーム内で空間相関を使用するために，ＤＣＴドメインにおける量子化を用いる。ここでは，高レベルのＭＰＥＧ−２およびＭＰＥＧ−４デコーダの構成を説明，二つの標準の間の違いを示す。
【００３９】
２．１　ＭＰＥＧ−２
図１はＭＰＥＧ−２の，単純化されたビデオデコード化プロセスを示す。デコーダ１００において，コード化されたビデオデータは，一次元のデータＱＦＳ［ｎ］（ここでｎは０から６３の範囲の係数指数である）を与えるために，可変長デコード化機能１１０に与えられる。逆走査機能１２０で，ＱＦＳ［ｎ］はＱＦ［ｖ］［ｕ］（ここで，アレーインデックスｕおよびｖは０から７の範囲にともにある）で示された係数の二次元アレーに変換される。逆量子化機能１３０が，再構成された，最終的な周波数ドメインのＤＣＴ係数Ｆ［ｖ］［ｕ］を与えるために，適切な逆量子化の計算を行う。逆ＤＣＴ機能１４０が，画素（空間）ドメイン値ｆ［ｙ］［ｘ］を発生する。動き補償機能１５０が，デコード化された画素ｄ［ｙ］［ｘ］を発生するために，フレーム記憶メモリー１６０および値ｆ［ｙ］［ｘ］（ここでｙおよびｘは画素ドメインにおけるデカルト座標である）に応答する。
【００４０】
ＭＰＥＧ−２は，動き補償に対してマクロブロックレベルに，ＤＣＴ変換に対してブロックレベルに，ランレングスおよび損失のないコード化に対して係数レベルに作用する。さらに，ＭＰＥＧ−２は，三つのタイプのピクチャー，すなわち，Ｉピクチャー，ＰピクチャーおよびＢピクチャーを可能にしている。可能になった動き補償モード（前方，後方，両方向）はＰピクチャーおよびＢピクチャーに対して特定される。ＭＰＥＧ−２はインターレース化されたソースをより効率的に扱うために，インターレースされたコード化ツールを使用する。
【００４１】
２．２　ＭＰＥＧ−４
図２は，拡張性のない，ＭＰＥＧ−４のビデオデコード化プロセスを示す。
【００４２】
デコーダ２００において，チャネルからのデータがデマルチプレクサ２１０から出力される。形状データの，コード化されたビットストリームが，ＭＰＥＧ−４用語，ｖｉｄｅｏ　ｏｂｊｅｃｔ　ｌａｙｅｒ　ｓｈａｐｅ（たとえば，現在のイメージが矩形か，バイナリーのみか，またはグレースケールかどうかを示す）とともに，スイッチ２１５に与えられる。ｖｉｄｅｏ　ｏｂｊｅｃｔ　ｌａｙｅｒ　ｓｈａｐｅが“００”に等しいと，バイナリー形状デコード化は必要とされない。そうでないとき，バイナリー形状デコード化は実行される。
【００４３】
バイナリー形状デコード化が実行されると，形状デコード化機能は，前の再構成されたＶＯＰ２３０（メモリーに記憶されてもよい）を受信し，形状デコード化された出力が動き補償機能２４０に与えられる。動き補償機能２４０は動き補償機能２３５（順に，デマルチプレクサ２１０から，コード化された動きビットストリームを受信する）から出力を受信する。動き補償機能２４０はまた，ＶＯＰ再構成機能２４５に出力を与えるために，再構成された前のＶＯＰ２３０を受信する。
【００４４】
ＶＯＰ再構成機能２４５はまた，テクスチャーコード化機能２５０（順に，形状デコード化機能２２０からの出力に加え，デマルチプレクサ２１０から，テクスチャーコード化されたビットデータを受信する）からデータを受信する。テクスチャーデコード化機能２５０は，可変長デコード化機能２５５，逆走査機能２６０，逆ＤＣおよびＡＣ予想機能２７０，逆量子化機能２８０およびＩｎｖｅｒｓｅ（逆）ＤＣＴ機能２９０を含む。
【００４５】
ＭＰＥＧ−２と比較して，いくつかの新しいツールが，特徴および双方方向性，たとえば，スプライトコード化，形状コード化，テクスチャーコード化，拡張性，およびエラー耐性を付加するために，ＭＰＥＧ−４において用いられる。さらに，ＭＰＥＧ−４における動き補償およびテクスチャーコード化ツール（ＭＰＥＧ−２のビデオコード化に似ている）は，コード化の効率，たとえば，直接モードの動き補償，無制限動き補償，および最新予想のようなコードツールを改良するために，修正される。
【００４６】
特に，直接モードの動き補償は，Ｂ−ＶＯＰに対して使用される。とりわけ，ＩまたはＰ−ＶＯＰマクロブロックＭＶを用い，そして，Ｂ−ＶＯＰのマイクロブロックに対してＭＶを進め，後退するように，それらを推定することにより導かれた両方向モード補償を使用する。実際のＭＶは，デルタベクトルおよびその共同で位置を占めるマクロブロックからの，スケール化されたＭＶから計算される。
【００４７】
無制限動き補償は，マクロブロック当たり一つまたは四つのＭＶを可能にする。四つのＭＶモードは直接モードの使用で，Ｂ−ＶＯＰにおいてのみ可能である。クロミナンスマクロブロックに対するＭＶは，関連したルミナンスマクロブロックからの四つのＭＶの平均であることに留意されたい。さらに，無制限動き補償は，ＭＶが参照フレーム（境界の外のテクスチャーがエッジ画素で補充される）から指示することを可能にする。
【００４８】
最新予想は，ＭＶおよびＤＣＴ係数に対し予想方法を定義する。ＭＶ予想子が三つの隣接したＭＶの中央値にしたがってセットされる。内ＤＣＴ係数の予想は，内ＡＣ／ＤＣ予想手順（グラハム則）に従う。
【００４９】
３．　トランスコーダアーキテクチャー
図３は，Ｂフレームは無効とされた，本発明にしたがう複雑性の低い前後トランスコーダを示す。
【００５０】
ＭＰＥＧ−２とＭＰＥＧ−４との構成の間の類似点は，複雑性の低い（前後）トランスコーダを可能にすることである。ＭＰＥＧ−２のビットストリームを空間（画素）ドメインレベルに完全にデコード化することに代えて，前後トランスコーダ３００は，動き推定プロセスを実際に実行することなく，ＭＰＥＧ−４のビットストリームを発生するために，ＤＣＴ係数およびＭＶを使用する。このアーキテクチャーは，再構成されたフレームにドリフトを生じさせるが，ビットレートの制御を不可能にするという，トレードオフの関係がある。しかし，ドリフトの問題は，ＭＰＥＧ−２とＭＥＰＧ−４デコーダの間の違いのほとんどが，損失のないコード化部分にあることから，些細なものでる。
【００５１】
トランスコーダ３０は，ヘッダデコード化機能３０４，ルックアップテーブル３０８および通信経路３１２とともに，ＭＰＥＧ−２ビットストリームリーダ（デコーダ）（３１０−３３０）およびＭＰＥＧ−４ヘッダ，およびテクスチャーコーダ（エンコーダ）（３４０−３７０）のカスケードからなる。トランスコーダ３００は入力ＭＰＥＧ−２ビットストリームを読み取り，機能３１０で，ＤＣＴ係数およびＭＶ残差に基づいて，可変長デコード化（ＶＬＤ）を実行し，つぎにフレーム内の，すべてのブロックのＤＣＴ係数および／またはＭＶを見いだすために，ＭＰＥＧ−２論理にしたがっていく。
【００５２】
ヘッダデコード化機能３０４はＭＰＥＧ−２ヘッダをデコード化し，それらをルックアップテーブル（または類似した機能）（対応するＭＰＥＧ−４ヘッダを得るために，以下詳説するテーブルを使用する）に与える。
【００５３】
ヘッダ，ＤＣＴ係数および／またはＭＶの情報に関して，トランスコーダ３００はこの情報をＭＰＥＧ−４フォーマットにエンコード化する。参照フレームがこのアーキテクチャーでは不要であることに留意されたい。
【００５４】
トランスコーダ３００は，入力ビットストリームからＭＰＥＧ−４ヘッダを読み取り，対応するＭＰＥＧ−４ヘッダを出力ビットストリームの所定の所に書き込む。
【００５５】
ＶＬＤ３１０での処理の後，データは，逆走査機能３１０，そして逆量子化機能３３０に与えられる。つぎに，経路３１２を経て与えられたＭＰＥＧ−４ヘッダ情報を使用して，デコード化されたＤＣＴ係数データはＭＰＥＧ−４ヘッダ，および量子化されたＤＣＴ係数を，差分的にエンコード化するためのＡＣ／ＤＣ予想機能３５０，ならびに量子化機能３４０を含むテクスチャーコーダで処理される。特に，ＡＣ／ＤＣ予想プロセスは，ＤＣ係数，およびＡＣ係数の第一のローか第一のカラムのいずれかを差し引くことにより，内ＭＢのＤＣおよびＡＣ／ＤＣＴ係数の残差を発生させる。予想器は適用するように選択される。ＡＣ／ＤＣ予想機能３５０はＭＰＥＧ−４ヘッダ情報を必要としない。
【００５６】
続いて，走査／ランレングスコード化機能３６０および可変長エンコード化機能３７０はＭＰＥＧ−４ビットストリームを与える。
【００５７】
図４は，本発明にしたがった，Ｂフレームが有効で，ドリフトエラーを最小化するトランスコーダアーキテクチャーを示す。
【００５８】
図において，同様の要素には同じ符号が付されている。
【００５９】
再構成されたフレーム中のドリフトの問題，およびビットレート制御の不足に対応するために，トランスコーダ４００（図３のトランスコーダ３００を延長したもの）のような，より複雑なアーキテクチャーが使用され得る。このアーキテクチャーは実際に，テクスチャー／残差データのＤＣＴ係数を計算し，したがって動き補償が要求される。このトランスコーダのエンコーダは，デコード化プロセスを含むことから，ドリフトエラーは最小化することができる。
【００６０】
さらに，トランスコーダ４００は，ＰＭＥＧ−４がＢフレームに対して内モードを可能にしないことから，Ｂフレームでビットストリームをコードするために使用され得る。トランスコーダ４００は，（ＭＰＥＧ−４の）内モードのゼロＭＶをもつブロックのように，（ＭＰＥＧ−２の）内モードのブロックを処理する。それは，ＭＶがＰＭＶに対して予想してコードされることから，ゼロ残差ＭＶ（ＰＭＶ）か，ゼロＭＶ（ゼロでないＭＶモードを与える）かのいずれかである。
【００６１】
特に，トランスコーダ４００は，残差データをＭＶデコーダ４２５に与え，ＤＣＴ係数データを逆走査機能３２０に与える可変長デコード化機能４０５を含む。ＤＣＴデータは，画素ドメインデータを得るために，逆量子化機能３３０および逆ＤＣＴ機能４２０により処理される。内コード化された画素データは経路４２２を経てバッファに与えられる一方，内コード化された画素データは経路４２４を経て加算器４３５に与えられる。
【００６２】
経路４２４上の画素（差分）データは，内コード化されたデータを，経路４４８を経てバッファ４５０に与えるために，動き補償機能４３０（ＭＶデコーダ４２５に応答して）から参照画素データに加えられる。
【００６３】
たとえば，ＭＰＥＧ−４での再度エンコード化のために，バッファ４５０は，内画素データを直接，ＤＣＴ機能４５５に入力するか，間画素データを減算器４４５（ここで，（ＭＶデコーダ４２５に応答して）動き補償機能４４０からの出力に対する差分はＤＣＴ機能４５５に与えられる）に出力される。
【００６４】
ＤＣＴ係数はＤＣＴ機能４５５を量子化機能３４０に与えられ，量子化されたＤＣＴデータはＡＣ／ＤＣ（ＤＣＴ係数）予想機能３５０（ここで，現在のＭＶのＡＣ／ＤＣ残差は発生する）に与えられる。
【００６５】
ＤＣＴ係数は，ＤＣＴ機能４５５から量子化機能３４０に与えられ，量子化されたＤＣＴデータはつぎに，ＡＣ／ＤＣ（ＤＣＴ係数）予想機能３５０（ここで，現在のＭＢのＡＣおよびＤＣ残差は発生する）に与えられる。ＤＣＴ係数のこれら残差は，エントリピーコード化される。出力データは，走査／ランレングスコード化機能３６０に与えられ，その出力は，ＭＰＥＧ−４に準拠したビットストリームを得るために，可変長エンコード化機能３７０に与えられる。
【００６６】
量子化されたＤＣＴ係数はまた，量子化機能３４０から逆量子化機能４９５へ出力され，その出力は逆ＤＣＴ機能４９０に与えられ，その出力は，動き補償機能４４０の出力とともに，加算器４８５で合計される。
【００６７】
ヘッダデコード化機能３０４およびルックアップテーブル３０８，および経路３１２は，図３に関連して説明したように動作し，機能３０４―３７０で，ＭＰＥＧ−４フォーマットへの再エンコード化を制御する。
【００６８】
４．　フォーマットトランスコーダの実行
このセクションで，たとえば，上記した図３および図４，ならびに以下で説明される図５において実行されるように，フォーマットトランスコード化の実行が説明される。比較的重要でない実行（たとえば，時間スタンプ等の使用のようなシステムに関連した事柄）は，特に説明されるまでもなく，当業者には明らかである。
【００６９】
特に，本発明のトランスコーダは，重要なプロファイル，メインレベル（ＭＰ＠ＭＬ）ＭＰＥＧ−２ビットストリームは，メインプロファイルＭＰＥＧ−４ビットストリームに変換するために使用することができる。ＭＰＥＢＧ−２ビットストリームはフレームピクチャー構成において，Ｂピクチャーコード化（二重の重要な予想ではない）でもってコード化されるとする。一般的に，ＭＰＥＧ−２で使用されたのと同じコード化モードが維持されなければならない。このモードは，ＭＰＥＧ−４において最適である可能性が高く，したがってモード決定プロセスの複雑さを避ける。ＭＰＥＧ−４の透明性パターンは常に１（一つのＶＯＰにおいて，同じサイズのＶＯＰをもつ一つの矩形のオブジェクト）である。つまり，ＭＰＥＧ−４は，ゼロでない透明性パターンにより定義される，任意に形状付けられたオブジェクトを可能にする。この特徴は，トランスコード化オブジェクトのすべての透明性パターンが一つであると安全に仮定できようには，ＭＰＥＧ−２内に存在しない。
【００７０】
４．１　ＭＰＥＧ−２ビットストリームリーダ
本発明にしたがったトランスコーダは，ビットストリームヘッダ，ＤＣＴ係数およびＭＶをＭＰＥＧ−２ビットストリームから得る。この情報は，ビットストリームで一緒に混合される。ＭＰＧＥ−２およびＭＰＥＧ−４ビットストリームの両方は，いくつかの層からなる階層的構造を用いる。各層は，多数のサブ層が続くヘッダで開始する。表１に示されているように，この実行について，ＭＰＥＧ−２層は，ＭＰＥＧ−２のスライス層（これはＭＰＥＧ−４では使用されない）を除き，ＭＰＥＧ−４への直接の翻訳をなす。ＭＰＥＧ−４のＤＣ係数および予想ＭＶはスライス層を開始するブロックにおいてリセットされる。
【００７１】
しかし，いくつかのＭＰＥＧ−４ヘッダはＭＰＥＧ−２と異なり，その逆もある。都合よく，ＭＰＥＧ−２およびＭＰＥＧ−４ヘッダ情報における制限は，ＭＰＥＧ−４ヘッダを特定するのに十分である。表２ないし表６は，ＭＰＥＧ−４，およびＭＰＥＧ−２へのそれらの関係または各層における制限をリストする。
【００７２】
【表１】
2004504739.tif 000003
【００７３】
【表２】
2004504739.tif 000004
【００７４】
【表３】
2004504739.tif 000005
【００７５】
【表４】
2004504739.tif 000006
【００７６】
【表５】
2004504739.tif 000007
【００７７】
【表６】
2004504739.tif 000008
【００７８】
【表７】
2004504739.tif 000009
【００７９】
ＭＶデータはマクロブロック層に記憶される。各マクロブロックに対して四つまでのＭＶが可能である。さらに，ＭＶがフィールド化フレームタイプのいずれかであってもよく，全画素解像度から半分の画素解像度のいずれかをもってもよい。ＭＰＥＧ−２ＭＶデコード化プロセスはｍｏｔｉｏｎｃｏｄｅ（ＶＬＣ）およびｍｏｔｉｏｎ ｒｅｓｉｄｕａｌ（ＦＬＣ），したがってデルタを決定するために用いられる。予想ＭＶとの組み合わせで，デルタはフィールド／フレームＭＶを与える。スキップされたマクロブロックに対するＭＶはゼロにセットされる。
【００８０】
ＤＣＴデータはブロック層に記憶される。それは，まず，ビットストリーム（ＶＬＣ）からデコード化され，ジグザグまたは他の走査パターンを使用して逆走査され，つぎに逆量子化される。内ＤＣ係数はｄｃｔ ｄｃｄｉｆｆｅｒｅｎｔｉａｌおよび予想子（予想子はＭＰＥＧ−２のスペックにしたがってリセットされる）から決定される。スキップされたマクロブロックのＤＣＴ係数はゼロにセットされる。
【００８１】
４．２　テクスチャーコード化
本発明にしたがったトランスコーダはＤＣＴ係数（間フレームに対して）再使用する。以下のガイドラインが使用されるべきである。
１．　ｑ ｓｃａｌｅ ｔｙｐｅ＝１がＭＰＥＧ−２量子化で使用される。
２．　ＭＰＥＧ量子化方法は，ＭＰＥＧ−２とＭＰＥＧ−４フレーム（ドリフト）再構成の不整合を減少するために，ＭＰＥＧ−４量子化においてのみ（Ｈ．２６３ではなく）使用されるべきである。
３．　ＭＰＥＧ−２の差分値がＭＰＥＧ−４のｄｑｕａｎｔを決定する。ｄｑｕａｎｔは，差分値が＋２であるときは＋２にセットされる。ｄｑｕａｎｔはＩおよびＰ−ＶＯＰに対して，量子化器における変化，すなわちｑｕａｎｔを特定する２ビットのコードである。
４．　量子化マトリクスは，ＭＰＥＧ−２ビットストリームのマトリクスの変化に続いて，変化されるべきである。
５．　トランスコーダは，ＶＯＬレベルで，他の垂直走査方法（インターレース化されたシーケンスに対して）を可能にする柔軟性をもつ。
６．　内ＡＣ／ＤＣ予想（現在のブロックのＱＰが予想ブロックのと同じでないときに，基準化することに関する）は，ＡＣ量子化における複雑さおよび不整合を減ずるために，マクロブロックレベルでオフにされるべきである。
７．　より高い効率が，たとえば，量子化パラメータ（ｉｎｔｒａ ｄｃ ｖｌｃｔｈｒが０か７（これらの閾値はＱＰに関わらず内ＤＣまたはＡＣの使用を強いるものである）のいずれかのときを除いて）の関数として，内ＤＣ係数のコード化のために，適切なＶＬＣテーブル（ＡＣ／ＤＣ）を選択すべく，ｉｎｔｒａ ｄｃ ｖｌｃ ｔｈｒの使用でもって得ることができる。
８．　スキップされたマクロブロックがｎｏｔ ｃｏｄｅｄ ｍａｃｒｏｂｌｏｃｋ（すべてのＤＣＴ係数がゼロ）としてコード化される。
９．　ｃｂｐｙおよびｃｂｐｃ（ＣＢＰ）がｃｏｄｅ ｂｌｏｃｋ ｐａｔｔｅｒｎ ４２０（ＣＢＰ ４２０）にしたがってセットされる。内マクロブロックに対して，ＭＰＥＧ−４のＣＢＰとＭＰＥＧ−２のＣＢＰ ４２０との間に僅かな食い違いがあることに留意されたい。特に，ＣＢＰ ４２０がセットされると，そのブロックのＤＣＴ係数の一つがゼロでないことを示す。ＣＢＰは内マクロブロックのＤＣ係数（ｉｎｔｒａ ｄｃ ｖｌｃ ｔｈｒにも依存して）に対応しないことを除き同様の情報を含む。したがって，ＣＢＰ４２０が内マクロブロックにおいてゼロであるとき（この場合はＩ―ＶＯＰおよびＰ―ＶＯＰで起きるが，Ｂ―ＶＯＰでは起きない）ＣＢＰがゼロでないことが可能となる。テクスチャーコード化，すなわち，ＤＣ量子化に対してＱＰコード化，ＤＣ予想および非線形スケーラに，三つの損失のソースがある。ＭＰＥＧ−４はＱＰをコード化するために，差分コード化を使用する。ＭＰＥＧ−２は，５ビットの負担で，全ての可能な３２個のＱＰ値を可能にする。しかし，差分値は＋２（ＱＰ値単位）まで取ることができ，したがって，＋２より大きな差分値が損失となる。この損出は，ＭＰＥＧ−２のレート制御アルゴリズムにおけるマクロブロック間でのＱＰ変動を限定することにより最小化させることができる。全ての内マクロブロックは適応性のあるＤＣ予想（これは，前のマクロブロック（ＭＰＥＧ−２ＤＣ予想）と異なる予想をとり，これにより量子化に対して異なるＤＣ残差を引き起こす）を実行する。ＭＰＥＧ−４の全ての内マクロブロックＤＣ係数がまた，非線形スケーラのため，ＭＰＥＧ−２と異なる方法で量子化される。したがって，ＭＰＥＧ−２およびＭＰＥＧ−４コード化に対する量子化されたＤＣ係数は内マクロブロックに対して異なるようである。
【００８２】
４．３　ＭＶコード化
トランスコーダは，ＭＶをＭＰＥＧ−４のフォーマットにエンコード化する。しかし，ＭＶコード化は損失のないプロセスであることから，ＭＶをＭＰＥＧ−２からＭＰＥＧ−４にトランスコード化することに関してエラーがない。次の制約がＭＰＥＧ−４に課せられる。
１．　制限のない動き補償モードが無効であるが，これは，フレームのバイナリーの外に指定するＭＶがないことを意味する。
２．　最新予想モードが用いられる。異なる予想子（中央値）がＭＰＥＧ−４において使用されるが，しかし８×８画素ブロックに対するＭＶは使用されない。すなわち最新予想器は，８×８ＭＶおよび非線形（中央値フィルタ）予想子を有効にする。唯一，非線形予想子が四つのフォーマットトランスコーダにおいて使用される（１６×１６ＭＶを依然として保持する）。
３．　直接モードはＭＰＥＧ−４ビットストリームにおいては可能とならず，このことは，Ｂ―ＶＯＰに対して，四つのＭＶタイプのみ，すなわち，１６×１６前方および後方ベクトル，ならびに１６×８前方および後方フィールドベクトルがある。
４．　フィールド動き補償が，１６×８フィールドベクトルが使用されるときは（モードを維持する）適用される。
５．　スキップされたマクロブロックがｎｏｔ ｃｏｄｅｄ ｍａｃｒｏｂｌｏｃｋ（ゼロのＭＶをもつ動き補償）としてコード化される。
６．　一つのｆ ｃｏｄｅがＭＰＥＧ−４において有効となる。したがって，二つの方向（垂直，水平）の間で，ＭＰＥＧ−４のより大きなｆ ｃｏｄｅは次の関係，すなわちｆ ｃｏｄｅ（ＭＰＥＧ−４）＝ｆ ｃｏｄｅ（ＭＰＥＧ−２）−１に基づいてＭＰＥＧ−４のｆ ｃｏｄｅに変換される。
７．　全体の参照フレームに対するテクスチャーが知れていることから，パッディングプロセスが使用されない。
８．　フィールド動き補償が，二重の主演算が起動するときは使用される。ベクトルのパリティー（参照のフィールドおよび予想フレームのフィールド）が保存される。フィールドＭＶは，ＭＰＥＧ−２ビットストリームにおいてコード化されるｖｅｃｔｏｒ［０］［０］［１：０］にしたがって発生する。同じパリティーの予想が使用されるとき（たとえば，トップフィールドからトップフィールド，またはボトムフィールドからボトムフィールド），両フィールドＭＶはｖｅｃｔｏｒ［０］［０］［１：０］である。奇パリティーの予想が使用されるとき（たとえば，トップフィールドからボトムフィールド，またはボトムフィールドからトップフィールド），トップフィールドＭＶはｖｅｃｔｏｒ［２］［０］［１：０］を使用し，ボトムフィールドＭＶはｖｅｃｔｏｒ［３］［０］［１：０］を使用する。ｒ＝２，３のｖｅｃｔｏｒ［ｒ］［０］［０：１］は以下のように計算される。
（ａ） ｖｅｃｔｏｒ［ｒ］［０］［０］＝（ｖｅｃｔｏｒ［０］［０］［０］×ｍ［ｐａｒｉｔｙ ｒｅｆ］［ｐａｒｉｔｙ ｐｒｅｄ］／／２）＋ｄｍｖｅｃｔｏｒ［０］
（ｂ） ｖｅｃｔｏｒ［ｒ］［０］［１］＝（ｖｅｃｔｏｒ［０］［０］［１］×ｍ［ｐａｒｉｔｙ ｒｅｆ］［ｐａｒｉｔｙ ｐｒｅｄ］／／２）＋ｅ［ｐａｒｉｔｙ ｒｅｆ］［ｐａｒｉｔｙ ｐｒｅｄ］＋ｄｍｖｅｃｔｏｒ［１］
【００８３】
ｍ［ｐａｒｉｔｙ ｒｅｆ］［ｐａｒｉｔｙｐｒｅｄ］およびｅ［ｐａｒｉｔｙ ｒｅｆ］［ｐａｒｉｔｙｐｒｅｄ］は，ＭＰＥＧ−２仕様（ＩＳＯ／ＩＥＣ１３８１８−２）においてそれぞれ，テーブル７−１１および７−１２に定義されている。
【００８４】
さらに，［ｒ］は，ＭＶのオーダ，たとえば，第一，第二といったオーダを示す。ｒ＝０はＭＶの第一のセットを示し，ｒ＝１はＭＶの第二のセットを示す。二重の主予想は，ＭＶの二つの余分なセットを特定するために，ｒ＝２およびｒ＝３を使用する。
【００８５】
“／／”は最も近い整数に繰り上げた，整数の区分を示す。
【００８６】
４．４　Ｂ―ＶＯＰの内ＭＶのコード化
付加的な変化が，ＭＰＥＧ−２ビットストリームのＢフレームにおける内ＭＶをコード化するとき（図４に示されているように）必要となる。ＭＰＥＧ−４は内モードをＢ―ＶＯＰに対する直接モードで置き換え，したがってＢフレームの内ＭＢがＭＰＥＧ−４シンタックスにおいて，異なってコード化されなければならない。この問題には二つの解決策がある。
【００８７】
第一の解決策は，図３（全体の参照フレームに対してバッファがない）の前後トランスコーダに似たアーキテクチャーを用いることである。ＭＣは，ＭＢがその参照ＭＢ（その補償のないバージョン）に十分に近いことを前提として，同じＶＯＰの前のＭＢ（または，一つのＭＢのサイズをもつ余分なメモリーを費やしてテクスチャー残差を補償することなく前のＭＢ）に対して実行される。内
ＭＢに対するＭＶはＭＢの距離だけずれた前のＭＢのＭＶに等しい。
【００８８】
第二の解決策は，図４に示されたものに似たアーキテクチャーを使用することである。それはすべてのＩおよびＰ―ＶＯＰに対して参照フレームを保持する。ＭＣはこの解決策では，すべてのＰ―ＶＯＰで実行されなければならないことに留意されたい。内ＭＢに対するＭＶは予想されたＭＶ（三つの近傍にあるものの中央値）と同じであり，ＭＣは導出されたＭＶにより指定された参照ＭＢに対して実行される。
【００８９】
５．　圧縮ドメインにおけビデオのダウンスケール化
一般に，ビデオのダウンスケール化とサイズのトランスコード化は同じ意味をもつ。ダウンサンプル化は反エーリアシング（ローパス）フィルタでサブサンプル化を行うことを意味するが，サブサンプル化およびダウンサンプル化はここで，言い換え可能に使用されている。
【００９０】
サイズのトランスコード化は，その入力および出力が圧縮されたドメインにあるときに，コンピュータの使用で強力なものとなる。圧縮されたドメインで操作を制限する（実際上，デコード化およびエンコード化プロセスを避ける）ビデオダウンスケール化プロセスは複雑さを非常に減ずる。しかし，二つの新しい問題が，圧縮されたドメインにおけるダウンスケール化，すなわちＤＣＴ係数およびＭＶデータのダウンサンプル化とともに生じる。
【００９１】
最近，圧縮されたドメインでの，ビデオダウンスケール化アルゴリズムが議論されているが，ＭＰＥＧ−２とＭＰＥＧ−４の間の完全なトランスコード化（フィールド−フレームでインターレース化を含む）に関するものではない。本発明はこの問題を解決する。
【００９２】
サブセクション５．１および５．２はダウンサンプル化プロセスの二つの新しい問題への解決策を与える。本発明にしたがって，提案されたサイズトランスコーダの実施はセクション６ならびに図５および６で記述される。
【００９３】
５．１　ＤＣＴブロックのサブサンプル化
フレームに基づくビデオダウンスケール化において，四つの８×８ＤＣＴブロックを新しい８×８ＤＣＴブロック（フィールドブロックに関する詳細は下述する）に融合することが必要である。さらに，出力ブロックは入力ブロックのローパスバージョンであるべきである。このプロセスは，入力マトリクスにサブサンプル化マトリクス（好適にはローパスフィルタ）を掛けることにより，空間ドメインで実行される。空間ドメインでのサブサンプル化マトリクスによるかけ算は，直交変換の分配特性のため，ＤＣＴドメインでのサンプル化マトリクスのＤＣＴ係数によるかけ算に等しい。しかし，ダウンサンプル化フィルタに対する，ＤＣＴドメインにおけるダウンサンプル化プロセスの操作（計算）の数は，空間ドメインにおける対応する操作の総数と同じに多い。この問題の解決策は，疎であるダウンサンプル化（たてえば，比較的わずかなゼロでない値をもつマトリクス，たとえば３０パーセントかそれ以下）を用いることである。
【００９４】
疎ダウンサンプル化マトリクスがＤＣＴベースのベクトルとＤＣＴベースのベクトルの対称構造との間の直交特性に基づいてもよい。“Ａ Ｆａｓｔ Ｓｃｈｅｍｅ Ｆｏｒ Ｄｏｗｎｓａｍｐｌｉｎｇ Ａｎｄ Ｕｐｓａｍｐｌｉｎｇ Ｉｎ Ｔｈｅ ＤＣＴ Ｄｏｍａｉｎ”（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ （ＩＣＩＰ） ９９ （ここに参考文献として組み込まれる））と題してＲ． ＤｕｇａｄおよびＮ． Ａｈｕｊａにより議論された一つのアプローチは，より低い４×４ＤＣＴ係数を四つの処理ブロックから取り，４×４ＩＤＣＴを各ＤＣＴサブブロックに適用し，新しい８×８画素ブロックを形成し，出力ブロックを得るために８×８ＤＣＴを適用する。ダウンサンプル化マトリクスは，ダウンサンプル化プロセスが固定されていることか，予め計算をすることができる。８×８ＤＣＴマトリクスを左半分と右半分に分けることにより，ダウンサンプル化マトリクス値の約半分が，４×４ＩＤＣＴマトリクスのカラムと左右両方の８×４ＤＣＴマトリクスのローとの間の直交性により，ゼロである。この操作（一次元）は数学的に以下のように書くことができる。
【数１】
2004504739.tif 000010
ここでｂは，８×１空間入力ベクトルであり，Ｂはその対応する８×１ＤＣＴベクトルであり，ｂ１およびｂ２はサブサンプル化された４×１ベクトルで，Ｂ１およびＢ２はより低い４×１ＤＣＴベクトルで，Ｔは８×８ＤＣＴ変換マトリクスで，Ｔ４は４×４ＤＣＴ変換マトリクスで，ＴＬおよびＴＲはＴの左右半分である。添え字“ｔ”はマトリクス転置を示す。Ｄｕｇａｄのアルゴリズムはまた，ダウンサンプル化プロセスの複雑さを減ずるために，ＤＣＴベースのベクトルの対称特性を用いる。ＴＬＴｔ４およびＴＲＴｔ４は，Ｔの奇ローが反対称的で，Ｔの偶ローが対称できであることから，強度（ＴＬＴｔ４＝（−）ｉ＋ｊＴＲＴｔ４（ｉ，ｊ），０＜ｉ＜７，０＜ｊ＜３ の点に関して同じである。“ｉ”はマトリクスのローインデックスで，“ｊ”はマトリクスのカラムインデックスである。ＴＬＴｔ４およびＴＲＴｔ４の両方は，同じ成分，すなわち対称部分Ｅ（ｉ＋ｊが偶数のインデックス）および反対称部分Ｏ（ｉ＋ｊが奇数のインデックス）（ＴＬＴｔ４＝Ｅ＋ＯおよびＴＲＴｔ４＝Ｅ−Ｏ）に基づいて計算することができる。このような準備は，ダウンサンプル化プロセスが次のようになされたとき２の因数で，かけ算の数を減ずる。
Ｂ＝ＴＬＴｔ４Ｂ１＋ＴＲＴｔ４Ｂ２＝（Ｅ＋Ｏ）Ｂ１＋（Ｅ−Ｏ）Ｂ２＝Ｅ（Ｂ１＋Ｂ２）＋Ｏ（Ｂ１−Ｂ２）
【００９５】
四つのフィールドブロックを一つのフィールドブロックに変換するＤｕｇａｄの方法の実行はシンプルでない。このシナリオ（一次元）でのダウンサンプル化プロセスの拡張は次のように書くことができる。
Ｂ＝Ｔ（ＳＴＴｔ４ＢＴ＋ＳＢＴｔ４ＢＢ）
ここで，ＢＴおよびＢＢはより低い４×１フィールドブロック，ＳＴおよびＳＢはその頂部ＳＴおよび底部ＳＢフィールドブロックにそれぞれ対応する８×４でインターレース化されたマトリクスのＤＣＴ値である。ＳＴの成分は，（ｊ＝２ｉ，０＜ｉ＜３）のとき，ＳＴ（ｉ，ｊ）＝１で，他のときはＳＴ（ｉ，ｊ）＝０である。ＳＢの成分は，（ｊ＝２ｉ＋１，０＜ｉ＜３）のとき，ＳＢ（ｉ，ｊ）＝１で，他のときはＳＢ（ｉ，ｊ）＝０である。
【００９６】
これは，本発明にしたがって，ダウンサンプル化およびデインターレース化のためのＤｕｇａｄのアルゴリズムの修正である。
【００９７】
ダウンスケール化およびでインターレース化プロセスの操作は，ＳおよびＴが互いに直交ではないことからより複雑で，ダウンサンプル化マトリクスは疎ではない。Ｃ． ＹｉｍおよびＭ． Ａ． Ｉｓｎａｒｄｉの“Ａｎ Ｅｆｆｉｃｉｅｎｔ Ｍｅｔｈｏｄ Ｆｏｒ ＤＣＴ−Ｄｏｍａｉｎ Ｉｍａｇｅ Ｒｅｓｉｚｉｎｇ Ｗｉｔｈ Ｍｉｘｅｄ Ｆｉｅｌｄ／Ｆｒａｍｅ−Ｍｏｄｅ Ｍａｃｒｏｂｌｏｃｋｓ”（ＩＥＥＥ Ｔｒａｎｓ． Ｃｉｒｃ． ａｎｄ Ｓｙｓｔ． Ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌ．　第９巻，第６９６−７００頁，１９９９年８月（ここに参考文献として組み込まれる））はフィールドブロックのダウンサンプル化の有効な方法を提案している。ローパスフィルタが，ダウンサンプル化マトリクス（Ｓ＝０．５［Ｉ８Ｉ８］）が疎であるように，デインターレース化マトリクスに統合される。
【００９８】
Ｉ８は８×８単位マトリクスを示し，［Ｉ８ Ｉ８］は，二つの単位マトリクスの連結からなる１６×８マトリクスを示す。単位マトリクスはもちろん，対角線上では全て１であり，他はゼロとなるものである。
【００９９】
本方法は，四つの８×８ＩＤＣＴフィールドブロックで開始し，ダウンサンプル化マトリクスを適用し，出力ブロックを得るために，８×８ＤＣＴを実行する。８×８ＩＤＣＴは４×４ＩＤＣＴに代えて，この方法で使用されることに留意されたい。この操作は，数学的に（一次元で）次のように示すことができる。
【数２】
2004504739.tif 000011
【０１００】
５．２　ＭＶデータのサブサンプル化
ＭＥは全ビデオエンコード化プロセスの障害である。したがって，ＭＥ（全てのＭＢが間モードでコード化されるとする）を実際に実行することなく，四つの元々のＭＢのＭＶを使用することにより，サイズが変更したＭＢのＭＶを推定することは望ましい。ＭＰＥＧ−２ビットストリームが想定されると，各ＭＢが一つの入力をもつことから（唯一のＭＰＥＧ−４ビットストリームが全てのブロックに対してＭＶをもつことができる），ＭＶデータのサブサンプル化は四つのＭＢのＭＶをとる。最も単純な解決策は，新しいＭＶを得るために四つのＭＶを一緒にして平均化することであるが，これら四つのＭＶが異なるとき，推定できなくなる。Ｂ． Ｓｈｅｎ，Ｉ． Ｋ． ＳｅｔｈｉおよびＢ． Ｖａｓｕｄｅｖ による“Ａｄａｐｔｉｖｅ Ｍｏｔｉｏｎ−Ｖｅｔｏｒ Ｒｅｓａｍｐｌｉｎｇ ｆｏｒ Ｃｏｍｐｒｅｓｓｅｄ Ｖｉｄｅｏ Ｄｏｗｎｓｃａｌｌｉｎｇ，” （ＩＥＥＥ Ｔｒａｎｓ． Ｃｉｒｃ． ａｎｄ Ｓｙｓｔ． Ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌ． Ｖｏｌ． ９， ｐｐ． ９２９−９３６， １９９９年９月）は，よりよい結果が，最も悪い予想ＭＶにより重みを与えることより得ることができることを示す。各ＭＶの照合精度はそのＭＢのゼロでないＡＣ係数の数により示される。Ｓｈｅｎ等の技術を使用して，ダウンスケール化されたＭＢに対する新しいＭＶは次のように計算することができる。
【数３】
2004504739.tif 000012
【０１０１】
Ｍ． Ｒ． Ｈａｓｈｅｍｉ，Ｌ．ＷｉｎｇｅｒおよびＳ． Ｐａｎｃｈａｎａｔｈａｎによる “Ｃｏｍｐｒｅｓｓｅｄ Ｄｏｍａｉｎ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｓａｍｐｌｉｎｇ Ｆｏｒ Ｄｏｗｎｓｃａｌｉｎｇ Ｏｆ ＭＰＥＧ Ｖｉｄｅｏ”（ＩＣＩＰ ９９）は，サイズが変更されたＭＢのＭＶを推定するための非線形方法を提案している。Ｓｈｅｎ等のアルゴリズムと似て，Ｈａｓｈｅｍｉの技術は，処理ＭＶの空間アクティビティを使用する。最大平均相関（ＭＡＣ）といわれている発見的測定が，出力ＭＶであるべき四つの元々のＭＶの一つを識別するためにＨａｓｈｅｍｉの方法において，用いられる。ＭＡＣを使用することにより，ダウンスケール化されたＭＢの新しいＭＶは次のように計算することができる。
【数４】
2004504739.tif 000013
ここでρは空間相関であり，０．８５とセットされ，ｄｉはＩ番目の入力ＭＶ（ＭＶｉ）と主力ＭＶとの間のユークリッド距離である。
【０１０２】
６．　サイズトランスコーダの実行
図５は，本発明にしたがったサイズトランスコーダを示す。Ｂフレームは入力ビットストリームに存在してもよいが，トランスコーダにより廃棄され，したがって出力には現れない。
【０１０３】
トランスコーダ５００において，ＭＶスケール化機能５１０，ＤＣＴスケール化機能５２０，空間スケール化機能５４０は追加されている。スイッチ５３０および５３５は，最初のセッティングに際して，ＤＣＴ機能４５５の出力が量子化機能３４０に至るようにされ，スイッチ５３５が閉じて，空間スケール化機能５４０の出力が加算器４４５へ入力されるように，調整される。スイッチ５３０および５３５の第二のセッティングに際し，ＤＣＴスケール化機能５２０の出力が量子化機能３４０に至り，スイッチ５３５が開く。
【０１０４】
トランスコーダ５００は，ＭＰＥＧ−２ビットストリームをより小さなサイズのビデオに対応するＭＰＥＧ−４ビットストリームに，たとえば，ＩＴＵ−Ｒ６０１からＳＩＦ（３５２×２４０）に変換する。
【０１０５】
ＭＰＥＧ−４に対する帯域の条件を達成するために，トランスコーダ５００はビデオを，（空間スケール化機能５４０で）水平方向および垂直方向の両方向に，二つサブサンプル化し，（時間スケール化機能５４５および５４６で）すべてのＢフレームをスキップし，これにより時間解像度を低下させる。時間スケール化機能５４６は代りとして，ＤＣＴスケール化機能５２０の後に，与えられていることに留意されたい。ダウンスケール化の実行の前に，Ｂフレームのスキップは複雑を軽減する。
【０１０６】
さらに，サブサンプル化の前の，ローパスフィルタ（時間スケール化機能５４０に設けることができる）により，画像の品質が改善される。
【０１０７】
本発明は，多少の修正をして，他のダウンサンプル化因子，およびＢ―ＶＯＰを含むように拡張できる。特に，ＭＶダウンスケール化およびモード決定に変更が加えられる。Ｂ―ＶＯＰに対するＭＶダウンスケール化は，後方ＭＶを含むために議論されたことの直接の拡張である。Ｂ―ＶＯＰに対するモード決定は，Ｐ―ＶＯＰでのと同じようにして（たとえば，内ＭＢをＰ―ＶＯＰの間ＭＢに変換するように，単一の方向のＭＶを二方向のＭＶに変換することにより），取り扱うことができる。
【０１０８】
以下で，サイズトランスコーダ５００に関連した六つの問題が議論される。また，入力ビデオは７０４×４８０画素解像度で，ＭＰ＠ＭＬ ＭＰＥＧ−２エンコーダでコード化され，所望の出力は，ＳＩＦ順次ビデオ（Ｎだけフレームレートの減少をともなう）を含む，単純なプロファイルのＭＰＥＧ−４ビットストリームであるとしている。
【０１０９】
６．１　ビデオＭＶダウンスケール化（ルミナンス）
この問題は，四つすべてのＭＢが相互のように，コード化され，フレーム予想を使用するときに現れる。これらＭＢの各ＭＶは，ＭＰＥＧ−４（ＭＰＥＧ−４が８×８ブロック当たり一つのＭＶを可能にする）の四つのブロックのＭＶを決定するために，各方向（水平および垂直）で二の率でダウンスケール化される。スケールが決められたＭＶはつぎに，通常のＭＰＥＧ−４の手順を使用して（中央値フィルタを使用して）予想してエンコード化される。
【０１１０】
各ＭＢ（四つのブロックからなる）はＭＰＥＧ−２とＭＰＥＧ−４の両方において，同じモードでコード化されなければならない。ビデオのダウンスケール化でもって，出力ＭＢ（四つのブロック）は四つの入力ＭＢに対応する。
【０１１１】
６．２　インターレース化されたビデオＭＶダウンサンプル化（輝度）
この問題は，四つすべてのＭＢが間のようにコード化され，フィールド予想を使用するときに存在する。サイズが変更されたブロックのフレームＭＶを得るために，各ＭＢの二つのフレームＭＶを組み合わせる必要がある。空間アクティビティに基づいて新しいＭＶをセットすることに代えて，提案のトランスコーダは，近傍のＭＢに基づいて新しいＭＶを取る。取り巻く八つ全てのＭＢのＭＶは予想子（フィールドＭＶがフィールド予想を有するＭＢの場合に平均化される）を見いだすために使用される。これら八つのＭＶからの中央値は予想子となり，現在のＭＢ（ユークリッド距離に関してより接近した）のフィールドＭＶは，新しいＭＶとなるように水平方向で，二の率でサイズの変更がなされる。
【０１１２】
６．３　ＭＶダウンサンプル化（クロミナンス）
この問題は，四つすべてのＭＢが間としてコード化され，フレームまたはフィールド予想（ＭＰＥＧ−４はクロミナンスブロックに対して同じ方法で，両予想モードを処理する）のいずれかを使用したときに生ずる。プロセスは，ルミナンスＭＶからクロミナンスＭＶ（すなわち，クロミナンスＭＶがその四つの対応する８×８ルミナンスＭＶの平均の，ダウンスケール化されたバージョンである）を得るために，ＭＰＥＧ−４の方法に従う。
【０１１３】
６．４　ＤＣＴダウンサンプル化（ルミナンスプログレッシブ，クロミナンス）
この問題は，四つすべてのルミナンスＭＢが内または間としてコード化され，フレームＭＢ構造を使用するときに生じ，それら八つのクロミナンスブロック（Ｃｒに対して四つ，Ｃｂに対して四つ）はフレームかフィールド構想のいずれかを使用する。Ｄｕｇａｄの方法は，各方向に，２の率で，ルミナンスおよびクロミナンスＤＣＴブロックをダウンスケール化するために使用される。
【０１１４】
６．５　インターレース化されたＤＣＴダウンサンプル化（ルミナンス）
この問題は，二つの方法の一方で現れる。第一に，その関連したＭＢはフィールド予想を使用し，第二に，その関連したＭＢはフレーム予想を使用する。いずれの場合も，四つの８×８フィードＤＣＴブロック（頂部フィールドに対して二つ，底部フィールドに対して二つ）を，一つのフレームＤＣＴブロックにダウンスケール化することが望まれる。第一の場合の解決策は，ＭＣに対して選択されたものと同じフィールドＤＣＴブロックを使用することである。第二の場合はデインターレース化に係り，上述した，ＤｕｇａｄおよびＹｉｍの方法の組み合わせが提案される。
【０１１５】
特に，トランスコーダはまず，二つのフレームブロックを得るために，Ｙｉｍアルゴリズムに基づいて，垂直方法に四つのフィールドブロックをダウンスケール化する（同時にデインターレース化を実行する）。トランスコーダはつぎに，Ｄｕｇａｒのアルゴリズムを使用して，出力ブロックを得るために，水平方向に，これら二つのフレームブロックをダウンスケール化する。
【０１１６】
このことは，図６に示されているが，ここで四つの８×８係数フィールドモードＤＣＴブロックは符号６００で示され，二つの８×８フレームモードＤＣＴブロックは符号６１０で示され，一つの８×８フレームモードＤＣＴブロックは符号６２０で示されている。
【０１１７】
本発明にしたがった，ＤＣＴダウンスケール化のための手順は，以下の通りに要約できる。
１．　符号６００で示されているように，四つのフィールドブロックを一緒にして組み合わせることにより，１６×１６係数入力マトリクスを形成する。
２．　垂直ダウンスケール化およびフィルタリング化に対して，Ｙｉｍのアルゴリズムにしたがってローパス（ＬＰ）フィルタＤを入力マトリクスのロー毎に適用する。ＬＰ入力マトリクスは符号６１０で示されているように，今や１６×８画素である。
３．　次のＬＰマトリクスからＢ１およびＢ２ ８×８マトリクスを形成する。
【数５】
2004504739.tif 000014
４．　次のように，出力マトリクス（８×８）（６２０）を得るために，Ｂ１およびＢ２のカラム毎に，Ｄｕｇａｄのアルゴリズムにしたがて，水平ダウンスケール化操作を実行する。
Ｖ＝Ｂ１（ＴＬＴｔ４）ｔ＋Ｂ２（ＴＲＴｔ４）ｔ＝（Ｂ１＋Ｂ２）Ｅ＋（Ｂ１−Ｂ２）Ｏ
ここで，ＥおよびＯは上述した偶数および奇数のローを示す。
【０１１８】
特に，以下のように奇“Ｏ”および偶“Ｅ”マトリクスからなる，水平ダウンサンプル化マトリクスが使用され得る（スケール化率は無視）。
Ｅ＝［ｅ（０）　　　　０　　　　　０　　　　　０
０　　　　ｅ（１）　　　　０　　　　　ｅ（２）
０　　　　０　　　　　 ０　　　　　０
０　　　　ｅ（３）　　　　０　　　　　ｅ（４）
０　　　　０　　　　　 ｅ（５）　　　 ０
０　　　　ｅ（６）　　　　０　　　　　ｅ（７）
０　　　　０　　　　　 ０　　　　　０
０　　　　ｅ（８）　　　　０　　　　　ｅ（９）］
Ｏ＝［０　　　　 ０　　　　　０　　　　　０
ｏ（０）　　　０　　　　　ｏ（１）　　　 ０
０　　　　 ｏ（２）　　　 ０　　　　　０
ｏ（３）　　　０　　　　　ｏ（４）　　　 ０
０　　　　 ０　　　　　０　　　　　０
ｏ（５）　　　０　　　　　ｏ（６）　　　 ０
０　　　　 ０　　　　　０　　　　　ｏ（７）
ｏ（８）　　　０　　　　　ｏ（９）　　　 ０］
次のように係数は使用できる。
ｅ（０）＝ ４　　　　　　　　　ｏ（０）＝ ２．５６９１５４４８
ｅ（１）＝ ０．８３１４６９６１２　　　　ｏ（１）＝−０．１４９１５６６８
ｅ（２）＝ ０．０４５７７４６５４　　　　ｏ（２）＝ ２
ｅ（３）＝ １．５８２１３０１６７　　　　ｏ（３）＝−０．８９９９７６２２３
ｅ（４）＝−０．１９５０９０３２２　　　　ｏ（４）＝ １．０２６５５９９３４
ｅ（５）＝ ２　　　　　　　　　ｏ（５）＝ ０．６０１３４４８８７
ｅ（６）＝−０．７０４８８５９０１　　　　ｏ（６）＝ １．５３６３５５１３
ｅ（７）＝ ０．９８０７８５２８０　　　　ｏ（７）＝ ２
ｅ（８）＝ ０．９０６１２７４４６　　　　ｏ（８）＝−０．５０９７９５５７９
ｅ（９）＝ １．７３１４４５８３５　　　　ｏ（９）＝−０．７５０６６０５５５
【０１１９】
要するに，疎であるＤＣＴマトリクスの積は，ダウンサンプル化するマトリクスとして使用される。
【０１２０】
この技術は，四つのＮ／２×Ｎ／２係数フィールドブロックからなる，Ｎ×Ｎブロックの２：１のダウンサイズ化のために，一般的に拡張できる。他のダウンサイズ化の比も順応できる。
【０１２１】
６．６　特別な場合
特別な場合は，四つ全てのＭＶが同じモード（前の五つの場合のいずれにも収まらない）でコード化されない時に生ずる。どの内または他の間ＭＢの中のスキップしたＭＢは間モードであると，常に想定されている。フィールドＭＶはフレームＭＶを得るために，セクション６．２に基づいて融合され，つぎに，セクション６．１の技術が適用される。ＭＣは内ブロックのテクスチャー（トランスコーダにより，ゼロＭＶをもつ相互ブロックとして処理される）を決定するために，推奨される。
【０１２２】
７．　まとめ
本発明が，エラーが些細で，複雑性が可能な限り低いトランスコーダアーキテクチャーを提供することは分かるであろう。このエラーは，ＭＰＥＧ−４テクスチャーエンコード化プロセス（ＱＰコード化，ＤＣ予想，非線形ＤＣスケーラ）において生ずる。これらプロセスは，ほとんど損失のないトランスコード化システムを形成するために，ＭＰＥＧ−４の今後のプロファイルで，除去されるべきである。
【０１２３】
本発明はまた，ＭＰＥＧ−２ ＭＰ＠ ＭＬでコード化する，ＩＴＵ−Ｒ６０１インターレース化されたビデオを，ストリーミングビデオの場合に対して適したＳＩＦプログレッシブビデオを含む単純なプロファイルＭＰＥＧ−４ビットストリームに変換するために，サイズトランスコーダの完全な詳細を提供する。
【０１２４】
フィールドモードのＤＣＴブロックの空間ダウンスケール化に対して，疎のダウンサンプル化マトリクスが垂直および水平方向に使用され，これによりトランスコーダの計算が減少する新規な方法で，垂直および水平ダウンスケール化技術を組み合わせることが提案された。
【０１２５】
さらに，ＭＶダウンスケール化に対して，八つの近傍のＭＶからの中央値を使用することが提案された。この提案は，本件予想されたＭＶがグローバルＭＶと同調することから，セクション５．２のアルゴリズムよりよりよく働く。
【０１２６】
本発明は，好適実施例に関連して記述されてきたが，種々の修正，適応例が本特許請求の範囲の発明の範囲から逸脱することなくなし得ることは分かるであろう。
【図面の簡単な説明】
【図１】
図１は，ＭＰＥＧ−２ビデオデコーダを示す。
【図２】
図２は，拡張性の特徴をもたないＭＰＥＧ−４ビデオデコーダを示す。
【図３】
図３は，本発明にしたがった，複雑さが低い，前後トランスコーダ（使用禁止になったＢフレームをもつ）を示す。
【図４Ａ】
図４（Ａ）は，本発明にしたがって，ドリフトエラーを最小にした（使用可能なＢフレームをもつ）トランスコーダアーキテクチャーを示す。
【図４Ｂ】
図４（Ｂ）は，本発明にしたがって，ドリフトエラーを最小にした（使用可能なＢフレームをもつ）トランスコーダアーキテクチャーを示す。
【図５Ａ】
図５（Ａ）は，本発明にしたがった，サイズトランスコーダを示す。
【図５Ｂ】
図５Ｂは，本発明にしたがった，サイズトランスコーダを示す。
【図６】
図６は，本発明にしたがった，四つのフィールドモードＤＣＴブロックを一つのフレームモードＤＣＴブロックにダウンサンプル化することを示す。
【図１】
2004504739.tif 000015
【図２】
2004504739.tif 000016
【図３】
2004504739.tif 000017
【図４Ａ】
2004504739.tif 000018
【図４Ｂ】
2004504739.tif 000019
【図５Ａ】
2004504739.tif 000020
【図５Ｂ】
2004504739.tif 000021
【図６】
2004504739.tif 000022
【国際公開パンフレット】
2004504739.tif 000023
2004504739.tif 000024
2004504739.tif 000025
2004504739.tif 000026
2004504739.tif 000027
2004504739.tif 000028
2004504739.tif 000029
2004504739.tif 000030
2004504739.tif 000031
2004504739.tif 000032
2004504739.tif 000033
2004504739.tif 000034
2004504739.tif 000035
2004504739.tif 000036
2004504739.tif 000037
2004504739.tif 000038
2004504739.tif 000039
2004504739.tif 000040
2004504739.tif 000041
2004504739.tif 000042
2004504739.tif 000043
2004504739.tif 000044
2004504739.tif 000045
2004504739.tif 000046
2004504739.tif 000047
2004504739.tif 000048
2004504739.tif 000049
2004504739.tif 000050
2004504739.tif 000051
2004504739.tif 000052
2004504739.tif 000053
2004504739.tif 000054
2004504739.tif 000055
2004504739.tif 000056
2004504739.tif 000057
2004504739.tif 000058
2004504739.tif 000059
2004504739.tif 000060
2004504739.tif 000061
2004504739.tif 000062
2004504739.tif 000063
2004504739.tif 000064
2004504739.tif 000065
2004504739.tif 000066
2004504739.tif 000067
2004504739.tif 000068
2004504739.tif 000069
2004504739.tif 000070
2004504739.tif 000071
2004504739.tif 000072
2004504739.tif 000073
2004504739.tif 000074
2004504739.tif 000075
2004504739.tif 000076
2004504739.tif 000077
2004504739.tif 000078
2004504739.tif 000079
2004504739.tif 000080
2004504739.tif 000081
2004504739.tif 000082
【国際公開パンフレット（コレクトバージョン）】
2004504739.tif 000083
2004504739.tif 000084
【国際調査報告】
2004504739.tif 000085
2004504739.tif 000086
2004504739.tif 000087
2004504739.tif 000088
2004504739.tif 000089
2004504739.tif 000090
2004504739.tif 000091