(57)【特許請求の範囲】
【請求項１】
圧縮ビットストリームを変換するための装置であって、
圧縮入力ビットストリームから複数の画像オブジェクトのそれぞれを第１のビットレートを有する基本入力ビットストリームとして抽出するためのデマルチプレクサと、
各基本入力ビットストリームを第２のビットレートを有する基本出力ビットストリームに変換するためのトランスコーダと、
前記トランスコーダに接続され、前記トランスコーダに対する制御情報を生成するためのトランスコーディング制御ユニットと、
２以上の前記基本出力ビットストリームから１つの圧縮出力ビットストリームを構成するように形成されたマルチプレクサと
を備え、
前記第２のビットレートは、前記第１のビットレートよりも低い値であり、
前記トランスコーダは、前記制御情報に基づいて、各基本入力ビットストリームのビットレートを前記第１のビットレートから第２のビットレートへ低下させ、前記第２のビットレートを有する基本出力ビットストリームに変換する
ことを特徴とする装置。
【請求項２】
前記マルチプレクサに接続され、前記トランスコーディング制御ユニットに対するレートフィードバック情報を生成するための出力バッファをさらに備えた請求項１に記載の装置。
【請求項３】
前記トランスコーダは、多数の基本ビットストリームを並列に変換する請求項１に記載の装置。
【請求項４】
前記トランスコーディング制御ユニットは、前記トランスコーダによって生成されるオブジェクトデータから前記制御情報を生成するための形状分析器、テクスチャ分析器、時間分析器、および空間分析器をさらに有する請求項１に記載の装置。
【請求項５】
前記テクスチャ分析器は、テクスチャモデル
【数１】
0004601889.tif 000006
を用い、ここで、Ｒは、特定の画像オブジェクト（ＶＯ）に対して消費されるテクスチャビットの数を示し、Ｑは、量子化パラメータＱＰを示し、Ｘ１およびＸ２は、第１次および第２次モデルパラメータを示し、Ｓは、符号化複雑度を示す請求項４に記載の装置。
【請求項６】
前記テクスチャモデルは、前のｎフレームからの結果を用いて線形回帰（linear regression）によって更新される請求項５に記載の装置。
【請求項７】
前記符号化複雑度Ｓは、離散コサイン変換を基礎とするとした複雑度測定チルダＳ
【数２】
0004601889.tif 000007
によって定義され、ここで、Ｂｍ（ｉ）は、ブロックのＡＣ係数であり、mは、コード化されたブロックの集合Ｍ内のブロック指数であり、Ｍｃは、前記集合Ｍ内のブロック数であり、ρ（ｉ）は、周波数依存重み付けである請求項５に記載の装置。
【請求項８】
前記テクスチャモデルは、特定の画像オブジェクトの変換前後に更新される請求項５に記載の装置。
【請求項９】
所定時間における第１の画像オブジェクトの第１の時間的品質は、前記所定時間における第２の画像オブジェクトの第２の時間的品質とは異なる請求項１に記載の装置。
【請求項１０】
所定時間における第１の画像オブジェクトの第１の空間的品質は、前記所定時間における第２の画像オブジェクトの第２の空間的品質とは異なる請求項１に記載の装置。
【請求項１１】
各基本ビットストリームは、他の基本ビットストリームとは独立して変換される請求項１に記載の装置。
【請求項１２】
前記トランスコーダは、ビットストリームバスによって互いに接続された画像オブジェクト層／画像オブジェクトプレーンパーサ、形状スケーラ、ヘッダパーサ、モーションパーサ、テクスチャスケーラ、およびビットストリームメモリをさらに有する請求項１に記載の装置。
【請求項１３】
前記画像オブジェクト層／画像オブジェクトプレーンパーサは、特定の画像オブジェクトが形状情報を含むか否かを決定する請求項１に記載の装置。
【請求項１４】
前記形状スケーラは、互いに直列に接続された形状復号化器／パーサ、形状ダウンサンプラ、および形状符号化器をさらに有する請求項１２に記載の装置。
【請求項１５】
前記画像オブジェクトの形状情報は、前記ダウンサンプラによって変換される請求項１４に記載の装置。
【請求項１６】
前記テクスチャスケーラは、前記ビットストリームメモリに対する可変長コードを生成するための部分テクスチャ復号化器、テクスチャダウンサンプラ、コード化ビットパターン再計算ユニット、係数メモリ、および量子化器をさらに有する請求項１２に記載の装置。
【請求項１７】
特定の基本ビットストリームのヘッダにおける前の可変ビット長コードは、前記テクスチャスケーラによって生成される前記可変ビット長コードに置き換えられる請求項１６に記載の装置。
【請求項１８】
前記テクスチャダウンサンプラは、離散コサイン変換ドメィンにおいて動作する請求項１６に記載の装置。
【請求項１９】
前記トランスコーダは、前記テクスチャ分析器によって生成される量子化パラメータに従って、前記画像オブジェクトを量子化するための量子化器を有するテクスチャスケーラを備える請求項４に記載の装置。
【請求項２０】
圧縮ビットストリームを変換するための方法であって、
複数の画像オブジェクトのそれぞれを、圧縮入力ビットストリームから第１のビットレートを有する基本入力ビットストリームとして抽出するステップと、
各基本入力ビットストリームを第２のビットレートを有する基本出力ビットストリームに変換するステップと、
前記変換のための制御情報を生成するステップと、
２以上の前記基本出力ビットストリームから１つの圧縮出力ビットストリームを構成するステップと
を含み、
前記第２のビットレートは、前記第１のビットレートよりも低い値であり、
前記トランスコーダは、前記制御情報に基づいて、各基本入力ビットストリームのビットレートを前記第１のビットレートから第２のビットレートへ低下させ、前記第２のビットレートを有する基本出力ビットストリームに変換する
方法。
【請求項２１】
出力バッファからレートフィードバックを生成するステップをさらに含む請求項２０に記載の方法。
【請求項２２】
前記制御情報は、前記画像オブジェクトの形状データ、テクスチャデータ、時間データ、および空間データを分析することによって生成される請求項２０に記載の方法。
【請求項２３】
前記テクスチャ分析は、テクスチャモデル
【数３】
0004601889.tif 000008
を用い、ここで、Ｒは、特定の画像オブジェクト（ＶＯ）に対して消費されるテクスチャビットの数を示し、Ｑは、量子化パラメータＱＰを示し、Ｘ１およびＸ２は、第１次および第２次モデルパラメータを示し、Ｓは、符号化複雑度
を示す請求項２２に記載の方法。
【請求項２４】
前記テクスチャモデルは、前のｎフレームからの結果を用いて線形回帰によって更新される請求項２３に記載の方法。
【請求項２５】
前記符号化複雑度Ｓが、離散コサイン変換を基礎とするとした複雑度測定チルダＳ
【数４】
0004601889.tif 000009
によって定義され、ここで、Ｂｍ（ｉ）は、ブロックのＡＣ係数であり、mは、コード化されたブロックの集合Ｍ内のブロック指数であり、Ｍｃは、前記集合Ｍ内のブロック数であり、ρ（ｉ）は、周波数依存重み付けである請求項２３に記載の方法。
【請求項２６】
前記テクスチャモデルは、特定の画像オブジェクトの変換前後に更新される請求項２３に記載の方法。
【請求項２７】
所定時間における第１の画像オブジェクトの第１の時間的品質は、前記所定時間における第２の画像オブジェクトの第２の時間的品質とは異なる請求項２０に記載の方法。
【請求項２８】
所定時間における第１の画像オブジェクトの第１の空間的品質は、前記所定時間における第２の画像オブジェクトの第２の空間的品質とは異なる請求項２０に記載の方法。
【請求項２９】
多数の基本ビットストリームは並列に変換される請求項２０に記載の方法。
【発明の詳細な説明】
技術分野
この発明は、一般に、情報配信システムに関し、特に、ネットワークで利用可能なビットレートに、オブジェクトを基礎とするとした圧縮されたビットストリームのように符号化された情報を適応させる配信システムに関する。
背景技術
近年、符号化情報を通信するための数多くの規格が開発されてきた。画像シーケンスで最も広範囲に用いられている規格としては、ＭＰＥＧ−１（動画の格納および取り出し用）、ＭＰＥＧ−２（デジタルテレビ用）、およびＨ．２６３が挙げられる。ＩＳＯ／ＩＥＣ  ＪＴＣ１  ＣＤ１１１７２、ＭＰＥＧ、「Ｉｎｆｏｒｍａｔｉｏｎ  Ｔｅｃｈｎｏｌｏｇｙ  −  Ｃｏｄｉｎｇ  ｏｆ  Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅｓ  ａｎｄ  Ａｓｓｏｃｉａｔｅｄ  Ａｕｄｉｏ  ｆｏｒ  Ｄｉｇｉｔａｌ  Ｓｔｏｒａｇｅ  Ｍｅｄｉａ  ｕｐ  ｔｏ  ａｂｏｕｔ  １．５  Ｍｂｉｔ／ｓ  −  Ｐａｒｔ２：Ｃｏｄｉｎｇ  ｏｆ  Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅｓ  Ｉｎｆｏｒｍａｔｉｏｎ」、１９９１年、ＬｅＧａｌｌ、「ＭＰＥＧ：Ａ  Ｖｉｄｅｏ  Ｃｏｍｐｒｅｓｓｉｏｎ  Ｓｔａｎｄａｒｄ  ｆｏｒ  Ｍｕｌｔｉｍｅｄｉａ  Ａｐｐｌｉｃａｔｉｏｎｓ」、Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ  ｏｆ  ｔｈｅ  ＡＣＭ  第３４巻４号、４６〜５８頁、１９９１年、ＩＳＯ／ＩＥＣ  ＤＩＳ  １３８１８−２、ＭＰＥＧ−２、「Ｉｎｆｏｒｍａｔｉｏｎ  Ｔｅｃｈｎｏｌｏｇｙ  −  Ｇｅｎｅｒｉｃ  Ｃｏｄｉｎｇ  ｏｆ  Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅｓ  ａｎｄ  Ａｓｓｏｃｉａｔｅｄ  Ａｕｄｉｏ  Ｉｎｆｏｒｍａｔｉｏｎ  −  Ｐａｒｔ２：Ｖｉｄｅｏ」、１９９４年、ＩＴＵ−Ｔ  ＳＧ  ＸＶ、ＤＲＡＦＴ  Ｈ．２６３、「Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  ｆｏｒ  Ｌｏｗ  Ｂｉｔｒａｔｅ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ」１９９６年、ＩＴＵ−Ｔ  ＳＧ  ＸＶＩ、ＤＲＡＦＴ１３  Ｈ．２６３＋Ｑ１５−Ａ−６０  ｒｅｖ．０、「Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  ｆｏｒ  Ｌｏｗ  Ｂｉｔｒａｔｅ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ」、１９９７年を参照下さい。
これらの規格は、主に画像シーケンスの空間的および時間的圧縮を取り扱う比較的低レベルの仕様である。一般的な特徴として、これらの規格は、フレーム毎の圧縮を行う。これらの規格によると、広範囲な応用で高い圧縮比を成し遂げることができる。
ＭＰＥＧ−４（マルチメディア応用）などのさらに新しい画像コーディング規格（「Ｉｎｆｏｒｍａｔｉｏｎ  Ｔｅｃｈｎｏｌｏｇｙ  −−  Ｇｅｎｅｒｉｃ  ｃｏｄｉｎｇ  ｏｆ  ａｕｄｉｏ／ｖｉｓｕａｌ  ｏｂｊｅｃｔｓ」ＩＳＯ／ＩＥＣ  ＦＤＩＳ  １４４９６−２（ＭＰＥＧ４  Ｖｉｓｕａｌ）、１９９８年１１月を参照）では、任意の形状のオブジェクトを個別の画像オブジェクトプレーン（ＶＯＰ：Ｖｉｄｅｏ  Ｏｂｊｅｃｔ  Ｐｌａｎｅｓ）として符号化および復号化することができる。オブジェクトは、視覚データ、音声データ、自然データ、合成データ、基本データ、複合データ、またはその組み合わせであり得る。画像オブジェクトは、複合オブジェクトまたは「シーン：ｓｃｅｎｅｓ」を形成するように組み立てられる。
新しく浮上しつつあるＭＰＥＧ−４規格は、自然および合成マテリアルが統合され、アクセスが普遍的であるインタラクティブ画像などのマルチメディア応用を可能にすることを意図している。ＭＰＥＧ−４は、コンテンツを基礎とするとした相互作用を可能にする。
例えば、移動する像またはオブジェクトを１つの画像から他の画像に「カットアンドペースト：ｃｕｔ−ａｎｄ−ｐａｓｔｅ」したい場合がある。このタイプの応用では、マルチメディアコンテンツ内のオブジェクトは、何らかのタイプの分割プロセスを通して識別されてきたと想定される。例えば、１９９９年６月４日付けで出願された、Ｌｉｎ等による米国特許出願第０９／３２６，７５０号「Ｍｅｔｈｏｄ  ｆｏｒ  Ｏｒｄｅｒｉｎｇ  Ｉｍａｇｅ  Ｓｐａｃｅｓ  ｔｏ  Ｓｅａｒｃｈ  ｆｏｒ  Ｏｂｊｅｃｔ  Ｓｕｒｆａｃｅｓ」を参照下さい。
画像伝送のコンテクストにおいて、これらの圧縮規格は、ネットワークで必要とされる帯域幅（利用可能なビットレート）の量を減少させるために必要である。ネットワークは、無線チャネルまたはインターネットを表し得る。いずれにせよ、ネットワークは、限定された容量を有し、そのリソースに対するコンテンションは、コンテンツを送信しなければならない場合に解決されなければならない。
長年の間、デバイスにコンテンツをロバストに送信し、コンテンツの品質を利用可能なネットワークリソースに適応させることが可能なアーキテクチャおよびプロセスに対して多大な努力がなされてきた。コンテンツがすでに符号化されている場合、ネットワークを通してストリームが送信される前に、すでに圧縮されたビットストリームをさらに変換し、例えば、利用可能なビットレートを減少させなければならないことがある。
ビットストリーム変換または「トランスコーディング（ｔｒａｎｓｃｏｄｉｎｇ）」は、ビットレート変換、レゾリューション変換、およびシンタックス変換に分類され得る。ビットレート変換としては、定数ビットレート（ＣＢＲ：ｃｏｎｓｔａｎｔ  ｂｉｔ  ｒａｔｅ）と可変ビットレート（ＶＢＲ：ｖａｒｉａｂｌｅ  ｂｉｔ  ｒａｔｅ）との間のビットレートスケーリングおよび変換が挙げられる。ビットレートスケーリングの基本的な機能は、入力ビットストリームを受け、受信機の新しい負荷制約に合致するスケーリングされた出力ビットストリームを生成することである。ビットストリームスケーラは、トランスコーダまたはフィルタであり、ソースビットストリームと受信負荷とを合致させる。
図１に示すように、通常、スケーリングは、トランスコーダ１００によって成し遂げられ得る。力任せの場合、トランスコーダは、復号化器１１０および符号化器１２０を有する。圧縮された入力ビットストリーム１０１は、入力レートＲｉｎで完全に復号化され、次いで、新しい出力レートＲｏｕｔ１０２で符号化され、出力ビットストリーム１０３が生成される。通常、出力レートは入力レートよりも低い。しかし、実際には、復号化されたビットストリームの符号化は非常に複雑であるため、トランスコーダにおける完全な復号化および完全な符号化はなされない。
ＭＰＥＧ−２トランスコーディングに関する初期の研究については、Ｓｕｎ等によって、「Ａｒｃｈｉｔｅｃｔｕｒｅｓ  ｆｏｒ  ＭＰＥＧ  ｃｏｍｐｒｅｓｓｅｄ  ｂｉｔｓｔｒｅａｍ  ｓｃａｌｉｎｇ」、ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｃｉｒｃｕｉｔｓ  ａｎｄ  Ｓｙｓｔｅｍｓ  ｆｏｒ  Ｖｉｄｅｏ  Ｔｅｃｈｎｏｌｏｇｙ、１９９６年４月において公開されている。この文献では、複雑度およびアーキテクチャが異なる、レートを低下させるための４つの方法が示されている。
図２は、例示的な方法を示している。このアーキテクチャでは、画像ビットストリームは、一部のみが復号化される。具体的には、入力ビットストリーム２０１のマクロブロックは、可変長復号化（ＶＬＤ）２１０される。入力ビットストリームはまた遅延され２２０、逆量子化（ＩＱ）２３０され、離散コサイン変換（ＤＣＴ）係数を形成する。所望の出力ビットレートが与えられると、部分的に復号化されたデータは分析され２４０、２５０において新しい集合の量子化器がＤＣＴブロックに適用される。次に、これらの再量子化されたブロックは、可変長コード化され（ＶＬＣ）２６０、より低いレートの新しい出力ビットストリーム２０３が形成され得る。この方式は、図１に示す方式よりもはるかに簡単である。なぜなら、動きベクトルが再使用され、逆ＤＣＴオペレーションを必要としないからである。
Ａｓｓｕｎｃａｏ等によるさらに最近の研究では、「Ａ  ｆｒｅｑｕｅｎｃｙ  ｄｏｍａｉｎ  ｖｉｄｅｏ  ｔｒａｎｓｃｏｄｅｒ  ｆｏｒ  ｄｙｎａｍｉｃ  ｂｉｔ−ｒａｔｅ  ｒｅｄｕｃｔｉｏｎ  ｏｆ  ＭＰＥＧ−２  ｂｉｔｓｔｒｅａｍ」、ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｃｉｒｃｕｉｔｓ  ａｎｄ  Ｓｙｓｔｅｍｓ  ｆｏｒ  Ｖｉｄｅｏ  Ｔｅｃｈｎｏｌｏｇｙ、９５３〜９５７頁、１９９８年１２月において、同じタスクに関する簡略化されたアーキテクチャが記載されている。ここでは、ドリフト補償のために周波数ドメインにおいて動作する動き補償（ＭＣ）ループが用いられる。近似マトリクスは、周波数ドメイン内のＭＣブロックを迅速に計算するために引き出される。トランスコーディングのための最良の量子化器スケールを計算するためにラグランジュ最適化が用いられる。
Ｓｏｒｉａｌ等「Ｊｏｉｎｔ  ｔｒａｎｓｃｏｄｉｎｇ  ｏｆ  ｍｕｌｔｉｐｌｅ  ＭＰＥＧ  ｖｉｄｅｏ  ｂｉｔｓｔｒｅａｍｓ」、Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｓｙｍｐｏｓｉｕｍ  ｏｎ  Ｃｉｒｃｕｉｔｓ  ａｎｄ  Ｓｙｓｔｅｍｓ、Ｃａｎ  １９９９年による他の研究は、多重ＭＰＥＧ−２ビットストリームを共にトランスコード化する方法を提示している。Ｖｅｔｒｏ等によって１９９９年１０月１日付けで提出された、米国特許出願第０９／４１０，５５２号「Ｅｓｔｉｍａｔｉｎｇ  Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ  Ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ  ｏｆ  Ｂｉｎａｒｙ  Ｓｈａｐｅ  Ｄａｔａ」も参照下さい。
従来の圧縮規格によると、テクスチャ情報を符号化するために割り付けられたビットの数は、定量化パラメータ（ＱＰ：ｑｕａｎｔｉｚａｔｉｏｎ  ｐａｒａｍｅｔｅｒ）によって制御される。上記の文献は、元のビットストリームに含まれる情報に基づいてＱＰを変化させることによってテクスチャビットのレートを低下させるという点では同様である。効率的なインプリメンテーションでは、情報は、通常、圧縮されたドメイン内で直接抽出され、ＤＣＴブロックのマクロブロックまたは残留エネルギーのモーションに関連する測定を含み得る。このタイプの分析は、ビット割り付け分析器において見出され得る。
場合によっては、ビットストリームは予め処理され得るが、トランスコーダがリアルタイムで動作することも重要である。従って、ビットストリームに関する大幅な処理遅延は許容できない。例えば、トランスコーダがフレーム群から情報を抽出し、次いで、このルックアヘッド情報に基づいてコンテンツをトランスコード化することは実現可能ではない。これは、生放送またはビデオ会議では作用しない。より良好なビット割り付けにより、品質に関してはより良好なトランスコーディングを成し遂げることは可能であるが、このようなリアルタイム応用のインプリメンテーションは実用的ではない。
従来のトランスコーディング方法では、ビットレートを低下させる能力が限定されていることに留意することも重要である。換言すると、出力画像のＱＰのみが変化する場合、どのくらいのレート低下が可能であるかには限界がある。低下は、考慮されているビットストリームに依存して限定される。ＱＰから最大値に変更すると、通常、ビットストリームのコンテンツは大幅に低下する。空間的品質を低下させるものとしては、この他に、時間的品質の低下、即ちフレームを落したりまたはスキップすることが挙げられる。あまりに多くのフレームをスキップすることも、品質を大幅に低下させることになる。空間的品質および時間的品質の低下が共に考慮される場合、トランスコーダは、空間的品質対時間的品質におけるトレードオフに直面する。
このような空間−時間トレードオフの概念はまた、符号化器においても考慮され得る。しかし、画像コーディング規格のすべてがフレームスキッピングをサポートしているわけではない。例えば、ＭＰＥＧ−１およびＭＰＥＧ−２では、グループオブピクチャ（ＧＯＰ）構造は予め決定される。即ち、アンカーフレーム間のフレーム内期間および距離は固定される。この結果、すべてのピクチャが符号化されなければならない。この時間的制約を回避するために、シンタックス（ｓｙｎｔａｘ）は、マクロブロックのスキップを可能にする。フレーム内のすべてのマクロブロックがスキップされる場合、そのフレームは実質的にスキップされている。このスキッピングを示すために、フレーム内の各マクロブロックに対して少なくとも１つのビットが用いられる。これは、いくらかのビットレートについては効率が悪くなり得る。
Ｈ．２６３およびＭＰＥＧ−４規格はフレームスキッピングを可能にする。両規格は、参照の特定を可能にするシンタックスをサポートする。しかし、これらのフレームスキッピングは、主に、バッファ制約を満足させるために用いられている。換言すると、バッファ占有率が高すぎ、オーバーフローの危険がある場合、符号化器は、フレームをスキップして、バッファへのビットの流れを減少させ、バッファにその現在のビットを送信するためのいくらかの時間を与える。
このシンタックスのさらに高性能な使用によって、緊急を要しない状況における空間−時間トレードオフがなされ得る。即ち、より低い空間的品質でより多くのフレームがコード化されるか、またはより高い空間的品質でより少ないフレームがコード化される。コンテンツの複雑度に応じて、いずれかの方策を用いることによって、ともすれば、全体としてより良好な品質となり得る。ＭＰＥＧ−４のオブジェクトを基礎とする符号化器におけるこのトレードオフの制御方法は、１９９９年１０月１９日付けで発行された、Ｓｕｎ等の米国特許第５、９６９、７６４号、「Ａｄａｐｔｉｖｅ  ｖｉｄｅｏ  ｃｏｄｉｎｇ  ｍｅｔｈｏｄ」、およびＶｅｔｒｏ等による「ＭＰＥＧ−４  ｒａｔｅ  ｃｏｎｔｒｏｌ  ｆｏｒ  ｍｕｌｔｉｐｌｅ  ｖｉｄｅｏ  ｏｂｊｅｃｔｓ」、ＩＥＥＥ  Ｔｒａｎｓ．ｏｎ  Ｃｉｒｃｕｉｔｓ  ａｎｄ  Ｓｙｓｔｅｍｓ  ｆｏｒ  Ｖｉｄｅｏ  Ｔｅｃｈｎｏｌｏｇｙ、１９９９年２月に記載されている。ここでは、２つの動作モード、即ち、高モードおよび低モードが導入された。出力時間レゾリューションによって決定される現在の動作モードに従って、ビットが割り付けられたように調整がなされた。
上記で参照した研究を除くと、この空間−時間トレードオフの制御方法は最小限の注目しか受けていない。さらに、このような決定をするためのトランスコーダ内で利用可能な情報は、符号化器の情報とはかなり異なる。以下では、トランスコーダにおけるこのようなトレードオフをなす方法について記載する。この結果、トランスコーダは、利用可能なビットレートの低下に適応するように、ビットストリームに含まれる情報を送信する何らかの代替手段を見出さなければならない。
発明の開示
この発明の目的は、低下したビットレートで伝達される情報をそれほど劣化させずに画像ビットストリームのビットレートを低下させることである。さらに、この発明の目的は、ビットストリームの画像オブジェクトを接続様式で個別に操作することによってビットレートを低下させることである。このオブジェクトを基礎とするとした方式はこのようにより微細なレベルのアクセスをするため、ビットストリーム全体の品質にそれほどの衝撃を与えずに、１つのオブジェクトの空間−時間的品質のレベルを低下させることができる。
特に、この発明は、ビットストリームスケーラ、および圧縮ビットストリームの個別のオブジェクトを動作させる方法を提供する。デマルチプレクサは、圧縮入力ビットストリームから第１のビットレートを有する基本入力ビットストリームとして各画像オブジェクトを抽出する。トランスコーダは、各基本入力ビットストリームを、第２のビットレートを有する基本出力ビットストリームに変換する。トランスコーダに接続されたトランスコーディング制御ユニットは、トランスコーダに対する制御情報を生成する。マルチプレクサは、基本出力ビットストリームを第２のビットレートを有する圧縮出力ビットストリームに構成する。通常、第２のビットレートは第１のビットレートよりも低い。スケーラはまた、トランスコーディング制御ユニットに対するレートフィードバック情報を生成する出力バッファを有する。トランスコーディング制御ユニットは、トランスコーダによって生成されるオブジェクトデータから制御情報を生成するための形状分析器、テクスチャ分析器、時間分析器、および空間分析器を有し得る。
発明を実施するための最良の形態
［ビットストリームの品質：Ｑｕａｌｉｔｙ  ｏｆ  Ｂｉｔｓｔｒｅａｍ］
圧縮された入力ビットストリームを、ターゲットレート（即ち、ネットワークで利用可能なビットレート（ＡＢＲ：ａｖａｉｌａｂｌｅ  ｂｉｔ  ｒａｔｅ））で圧縮された出力ビットストリームに変換または「スケーリング：ｓｃａｌｉｎｇ」することが可能なビットストリーム配信システムについて記載する。通常、ターゲットレートは、オリジナルレートよりも小さい。換言すると、我々のトランスコーダのタスクは、通常、ネットワークリソースにおける制約または受信機負荷のために、ビットストリームをさらに圧縮することである。第１にフレームレベル、第２に画像オブジェクトレベルの２つのコンテンツを基礎とするとしたトランスコーディング技術について記載する。
我々のシステムは、従来のトランスコーダの欠点、即ち、特にリアルタイム応用におけるレート変換の制限を克服することができる。従来のトランスコーディング技術は十分にレートを低下させることができるものの、コンテンツの品質は通常、激しく低下する。大抵の場合、ビットレートが低下したビットストリームで伝達される情報は全く失われてしまう。従来、ビットストリーム「品質」は、入力ビットストリームと出力ビットストリームとの間のビット毎の差として測定されてきた。
ビットストリームのコンテンツの品質を維持すると共に、ターゲットレートを成し遂げることができるトランスコーディング技術について記載する。
［連続変換：Ｃｏｎｔｉｎｕｏｕｓ  Ｃｏｎｖｅｒｓｉｏｎ］
従来のフレームを基礎とするトランスコーディング技術は、連続変換と定義され得る。従来の技術は、空間対時間的品質において最良のトレードオフを連続して維持することを試みるため、出力は常に、入力シーケンスを最良に表示するフレームのシーケンスである。レート上の制約を満たすため、特定のフレームがスキップされるとき、スキップされたフレーム内に含まれる情報は考慮されない。十分なフレームがスキップされると、受信されるビットストリームは、ユーザにとって意味のないものになるか、良くても満足のいくものではない。
［品質歪みメトリクス：Ｑｕａｌｉｔｙ  Ｄｉｓｔｏｒｔｉｏｎ  Ｍｅｔｒｉｃｓ］
従来の連続変換トランスコーダは、空間および時間的品質におけるトレードオフに関して、レート歪みの観点で最適な決定を下す。このようなトランスコーダでは、歪みは、通常、ノイズ比に対するピーク信号（ＰＳＮＲ）などの従来の任意の歪みメトリクスとしてとられる。このような変換では、歪みは、ビットストリームのコンテンツがどのくらい良好に伝達されているかの測定ではなく、むしろ元の入力ビットストリームと再構築された出力ビットストリームとの間のビット間の差（即ち、品質）である。
［ビットストリームの忠実度：Ｆｉｄｅｌｉｔｙ  ｏｆ  Ｂｉｔｓｔｒｅａｍ］  低ビットレート制約下でビットシーケンスをトランスコード化するための１つの実施の形態では、少数のフレームを有するビットストリームのコンテンツについて要約する。この方法において、我々は品質に焦点を当てた従来の歪みメトリクスを用いない。むしろ、「忠実度（ｆｉｄｅｌｉｔｙ）」と呼ばれる新しい基準を採用する。忠実度は、コンテンツの意味論を考慮する。意味論は、ビットまたは画素を意味せず、むしろビットで表される人間にとって意味のある概念、例えば、単語、音、画像オブジェクト、画像などを意味する。
忠実度は多くの方法で定義され得る。しかし、忠実度は、ここで定義するように、従来の量的な品質、例えば、ビット間の差には関連しない。むしろ、忠実度は、１つのフレームまたは任意の数のフレームが元の画像シーケンスに含まれる情報を伝達する程度、即ち、伝達される情報のコンテンツまたはより高レベルな意味を測定し、生ビットを測定するのではない。
［離散要約トランスコーダ：Ｄｉｓｃｒｅｔｅ−Ｓｕｍｍａｒｙ  Ｔｒａｎｓｃｏｄｅｒ］
忠実度は、従来の歪みメトリクスに比べ、より主観的または意味論的な測定である。しかし、我々のシステムでは、忠実度は、従来のものではないトランスコーダの性能を評価するための有用な測定である。一実施の形態による我々のトランスコーダの出力は、ビットシーケンス全体の要約を試みる比較的高い品質のフレームの限定された集合であるため、我々は、このタイプのトランスコーダを「離散要約トランスコーダ」と呼ぶ。
例えば、低ビットレートでは、我々は、画像を表示するために少数の高品質なフレームを選択する。このようにして、ビットストリームの意味論上の「意味」が保存される。この離散要約トランスコーダが入力ビットストリームの高レベルな意味論的サンプリングを成し遂げる一方、連続したトランスコーダは、空間および時間ドメインにおいて画素を量的にサンプリングするだけであることに留意されたい。ビットレートがかなり限定されている状況では、我々は、「豊富な（ｒｉｃｈ）」フレームをサンプリングし、ビットストリーム内の符号化されたコンテンツの忠実度を保存する。
豊富なフレームを選択的にサンプリングするため、ビットストリームにおける１つの局面、即ち動画（性能）を失い得る。連続変換トランスコーダのレート歪み性能が激しく低下するか、またはターゲットレートを満足することができない場合にのみ、好ましくは、離散要約トランスコーディングをとる。これらの条件下では、従来の連続変換トランスコーダは、滑らかな動画（性能）を失う。なぜなら、フレームレートが非常に低いため、情報配信レートは画像がぎくしゃくし（ｊｅｒｋｙと呼ぶ現象をきたし）ユーザに不快感を与えるからである。
従来の連続変換トランスコーディングに対する離散要約トランスコーディングの主な利点は、厳しいレート制約下にある連続変換トランスコーダが、情報が豊富なフレームを落とすのに対して、離散要約トランスコーダは情報が豊富なフレームを選択するよう試みることである。
所定の状況に対してどのトランスコーダが最良であるかを制御するために、コンテンツネットワークデバイス（ＣＮＤ）マネージャについて記載する。ＣＮＤマネージャの目的は、どのトランスコーダを用いるかを選択することである。選択は、コンテンツ、ネットワーク、ユーザデバイス特性から得られるデータに基づいている。我々はまた、「オフライン」モードにおけるこれらのデバイス特性をシミュレートし、ビットストリームを変化させ、後に配信することができる。［適応可能なビットストリーム配信システム：Ａｄａｐｔａｂｌｅ  Ｂｉｔｓｔｒｅａｍ  Ｄｅｌｉｖｅｒｙ  Ｓｙｓｔｅｍ］
図３に示すように、適応可能なビットストリーム配信システム３００は、４つの主な構成要素、即ち、コンテンツ分類器３１０、モデル予測器３２０、コンテンツネットワークデバイスマネージャ３３０、および切り換え可能なトランスコーダ３４０を有する。
システム３００の目標は、圧縮されたビットストリーム３０１を情報コンテンツと共にネットワーク３５０を通してユーザデバイス３６０に配信することである。ビットストリームのコンテンツは、視覚データ、音声データ、テキストデータ、自然データ、合成データ、基本データ、複合データ、またはその組み合わせであり得る。ネットワークは、無線、パケット切り換え型であるか、または予測不可能な動作特性を有する他のネットワークであり得る。ユーザデバイスは、画像受信機、固定型または移動型無線受信機、またはビットストリームの品質受信を困難にし得る内部リソース制約を有する同様の他のユーザデバイスであり得る。
利点として、システムは、ビットストリームがネットワークおよびユーザデバイス特性を満足するようにさらに圧縮される必要があるときでさえ、コンテンツの意味論的忠実度を維持する。
入力圧縮ビットストリームは、トランスコーダおよびコンテンツ分類器に向けられる。トランスコーダは、最終的には、ネットワークを通してユーザデバイスに向けられる出力圧縮ビットストリーム３０９のレートを低下させ得る。
コンテンツ分類器３１０は、マネージャ用の入力ビットストリームからコンテンツ情報（ＣＩ）３０２を抽出する。コンテンツ分類器の主な機能は、モーション活動、画像変化情報およびテクスチャなどのコンテンツ特性の意味論的特徴を、コンテンツネットワークマネージャにおいてレート−品質トレードオフをなすために用いられるパラメータの集合にマップすることである。このマッピング機能を補助するために、コンテンツ分類器はまた、メタデータ情報３０３を受け得る。メタデータは、低レベルおよび高レベルであり得る。メタデータの例としては、新しく浮上しつつあるＭＰＥＧ−７規格によって特定される記述子および記述方式が含まれる。
このアーキテクチャでは、モデル予測器３２０は、ネットワーク３５０のダイナミックスに関し、恐らくはユーザデバイス３６０の特性を制約するリアルタイムフィードバック３２１を提供する。例えば、予測器は、ネットワーク輻輳および利用可能なビットレート（ＡＢＲ）を報告する。予測器はまた、ネットワーク内でのパケット損失比に関するフィードバックを受信し、翻訳する。予測器は、現在のネットワーク状態、および長期ネットワーク予測３２１を見積もる。典型的には、ユーザデバイスは、リソースが限定され得る。例えば、処理パワー、メモリ、および表示制約である。例えば、ユーザデバイスがセルラー電話である場合、その表示は、テキスト情報または低レゾリューション画像、またはさらに悪い場合には、単なる音声に制約され得る。これらの特性はまた、トランスコーディング様式の選択にも影響を与え得る。
メタデータ３０３の受信に加えて、マネージャ３３０はまた、コンテンツ分類器３１０およびモデル予測器３２０の両方から入力を受信する。ＣＮＤは、切り換え可能なトランスコーダ３４０に対して最適なトランスコーディング方策が決定されるように、これらの２つの情報源からの出力データを組み合わせる。
［コンテンツ分類器：Ｃｏｎｔｅｎｔ  Ｃｌａｓｓｉｆｉｅｒ］
パターン分析および認識の分野では、分類は、様々なレベルの画像から特徴を抽出することによって成し遂げることができる。例えば、プログラム特徴、ショット特徴、フレーム特徴、およびフレーム内のサブ領域の特徴である。特徴自体は、高性能な変換または簡単ローカルオペレータを用いて抽出され得る。特徴がどのように抽出されるかに関係なく、寸法Ｎの特徴空間が与えられると、各パターンは、この特徴空間内のポイントとして表示され得る。
種々の異なるトレーニングパターンを入力としてこの抽出プロセスにかけ、その結果を特徴空間内でプロットすることはよく行われている。特徴集合およびトレーニングパターンが適切である場合、「クラス」と呼ばれるいくつかのポイントのクラスタが観察される。これらのクラスによって、異なるパターンを識別し、同様のパターンをグループ化することができ、観察されたクラス間の境界を画定することができる。通常、クラス間の境界は、分類ミスのためいくらかのコストは免れないが、全体としてのエラーを最小限にするよう試みる。
適切なクラスが識別され、クラス間の適切な境界線が引かれると、ビットストリーム内の新しいパターンをすばやく分類することができる。問題によっては、これは、ニューラルネットワークまたはサポートベクトル機械などの他の公知の分類技術（Ｃｒｉｓｔｉａｎｉｎｉら、「Ａｎ  Ｉｎｔｒｏｄｕｃｔｉｏｎ  ｔｏ  Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅｓ（および他のカーネルをベースとした学習方法）」、Ｃａｍｂｒｉｄｇｅ  Ｕｎｉｖｅｒｓｉｔｙ  Ｐｒｅｓｓ、２０００を参照）を用いて成し遂げることができる。
コンテンツ分類器３１０は、２ステージ（ＩおよびＩＩ）において動作する。第１に、より高レベルな意味論が推論され得るようにビットストリームコンテンツを分類し、第２に、分類されたコンテンツをネットワークおよびユーザデバイス特性に適応する。
第１のステージ（Ｉ）３１１では、従来の技術を用いて圧縮ビットストリームから多数の低レベルの特徴（例えば、モーション活動、テクスチャ、またはＤＣＴ係数）を抽出する。また、ＭＰＥＧ−７記述子および記述方式などのメタデータ３０３にもアクセスすることができる。メタデータが利用可能である場合、圧縮ビットストリームに対してはそれほどの作用は必要ない。この第１のステージの最終結果として、予め決定されたコンテンツ特徴の集合が意味論的クラスまたは高レベルのメタデータの限定された集合にマップされる。さらに、各意味論的クラス内で、コーディングの複雑度（即ち、複雑度は、意味論的クラスおよびネットワーク特性、ならびに恐らくはデバイス特性を条件とする）に基づいて区別する。
このコンテンツの高レベルの理解は、コンテンツ情報（ＣＩ）３０２としてＣＮＤマネージャ３３０に渡される。ＣＩ３０２は、切り換え可能なトランスコーダの本実施の形態の潜在的な性能を部分的に特徴づける。
上記の分類は、コンテンツ理解、および最終的には離散要約トランスコーディングの観点から有用であるが、中間ステージの結果としても有用である。本質的には、分類の第２ステージＩＩ  ３１２への入力として作用する新しい集合のクラスを有する。分類の第２ステージでは、意味論的なクラスをネットワークの特徴およびデバイス特性にマップする。これらの特徴によって、システムがトランスコーディング方策を開発するのを補助するレート−品質関数の特性を決定するのを助ける。換言すると、特定の意味論的クラスが、オブジェクトの移動または画像の変化のために、バーストデータによって特徴づけられる可能性がある場合、このことは、どのくらいのリソースをネットワークが提供しなければならないかを見積もる際に考慮されなければならない。第３のステージ３１３については、他の実施の形態に関して以下に記載する。
［コンテンツネットワークデバイスマネージャ：Ｃｏｎｔｅｎｔ−Ｎｅｔｗｏｒｋ−Ｄｅｖｉｃｅ  Ｍａｎａｇｅｒ］
コンテンツネットワークデバイス（ＣＮＤ）マネージャ３３０およびトランスコーダ３４０は、図４にさらに詳細に示される。ＣＮＤマネージャは、離散連続制御４３１およびコンテンツネットワークデバイス（ＣＮＤ）インテグレータ４３２を有する。トランスコーダ３４０は、複数のトランスコーダ４４１〜４４３を有する。
制御４３１は、スイッチ４５０を用いて、例えば、離散要約トランスコーダ４４１、連続変換トランスコーダ４４２、または何らかの他のトランスコーダ４４３で、入力圧縮ビットストリーム３０１がどのようにトランスコード化されるべきかを決定する機能を有する。ネットワークコンテンツマネージャはまた、トランスコーダに対するターゲットレートに動的に適応し、ネットワークおよびユーザデバイスの特性を制約するリソースを考慮する。これらの２つの非常に重要な項目は、制御４３１によって決定される。
どのように制御が最適な選択決定をなすかをより良く理解するために、図５は、複数のレート−品質関数をレート５０１および品質５０２のスケールに関してグラフで示している。連続変換トランスコーダ４４２の１つのレート−品質関数は、凸関数５０３によって示される。離散要約トランスコーダ４４１に対するレート−品質曲線は、一次関数５０４によって表される。他のトランスコーダは異なる関数を有し得る。
これらの曲線が単に例示を目的として描かれたものであることに留意されたい。特定のトランスコーダに対する関数の真の形式は、コンテンツ、コンテンツがどのように分類されたか、および恐らくはネットワークおよび特性を制約するデバイスの現在の状態に応じて変化し得る。明らかに、低ビットレートでは、上記の理由のために、連続変換トランスコーダは品質が急速に劣化する。最適な品質関数５０５は太字で示される。この関数は、所定のビットレートおよびユーザデバイスに対して成し遂げられ得る最適な品質を最良にモデル化する。
我々は、レート＝Ｔ５０６においてトランスコーディング技術ではクロスオーバが発生することに留意する。Ｔよりも大きなレートについては、連続変換トランスコーダを用い、Ｔよりも小さいレートについては、離散要約トランスコーダを用いることが最良である。言うまでもなく、クロスオーバポイントは、コンテンツおよびネットワーク特性が変化するにつれて動的に変化する。
上述したように、連続変換トランスコーダは、通常、ＰＳＮＲなどの従来の歪みメトリクスを想定する。このような測定は、我々の離散要約トランスコーダには適用されないため、従来の歪みメトリクスを「忠実度」の測定にマップすることはより妥当である。忠実度は、コンテンツがどのくらい良好に意味論的に要約されるかを測定し、量的なビット間の差は測定しない。同じ品質メトリクスが与えられると、最適なトランスコーディング方策を決定する際の矛盾を避ける。
［コンテンツネットワークデバイスインテグレータ：Ｃｏｎｔｅｎｔ−Ｎｅｔｗｏｒｋ−Ｄｅｖｉｃｅ  Ｉｎｔｅｇｒａｔｏｒ］
図４を再び参照すると、ＣＮＤインテグレータ４３２は、コンテンツ分類器３１０からのコンテンツ情報３０２と、モデル予測器からのネットワークデバイス予測３２１とを共に組み合わせるＣＮＤマネージャの部分である。図５に示されるレート−品質関数、または他の同様の最適化関数として表されるモデルを生成するのはマネージャのこの部分である。最適な動作モデル３２１を形成するために、ＣＮＤインテグレータは、コンテンツ分類器からのマッピングＣＩおよび切り換え可能なトランスコーダ３４０から出力されるビットレートフィードバック３５１を調べる。この情報を用いて、インテグレータは、特定のモデルパラメータを有する最適なモデリング関数５０５を選択する。レートフィードバック３５１は、パラメータを動的に改良するために用いられる。インテグレータが、選択されたモデルが最適でないことを発見する場合、インテグレータは、レート−品質関数を動的に切り換える決定をすることができる。また、インテグレータは、異なるオブジェクトまたは異なるビットストリームに対していくつかの関数を追跡し、関数を個別にまたは一緒に考慮し得る。
［ネットワーク予測の影響：Ｉｍｐａｃｔ  ｏｆ  Ｎｅｔｗｏｒｋ  Ｐｒｅｄｉｃｔｉｏｎｓ］
ネットワーク予測３２１は、最適曲線５０５の特定部分を一方向または他方向に変調することによってこれらの特性関数に影響を与え得る。例えば、より高いビットレートが利用できる場合、最も注意を払う必要がある。ネットワークモデルによって、特定時間で多数のビットを消費することができるが、長期の影響によって、急速に混雑し易いことが分かるため、我々のシステムは、抑制して、より低いレートで動作を続けることを選択し得る。このようにして、利用可能なビットレートの突然の低下に関する問題を回避する。これらのタイプの特性は、トランスコーダの曲線を変調することによって引き起こされ得る。
［デバイス制約の影響：Ｉｍｐａｃｔ  ｏｆ  Ｄｅｖｉｃｅ  Ｃｏｎｓｔｒａｉｎｓ］
また、デバイス特性を考慮する必要がある。移動型デバイスは、固定型デバイスとは異なる動作特性を有する。例えば、ドップラースプレッドは、利用可能なビットレートが高いほど性能が低下し得る。従って、より低いビットレートを選択しなければならない。デバイスは、トランスコーダに影響を与え得る限定された処理、格納、および表示能力を有し得る。例えば、画像をオーディオのみのデバイスに配信することは意味がない。事実、切り換え可能なトランスコーダは、スピーチからテキストまたはデータからスピーチへの変換などを行う他のトランスコーダ４４３を有し得る。重要な点は、この発明の切り換え可能なトランスコーダがビットストリームコンテンツの意味論および目的地デバイスを考慮するのに対して、多くの従来のトランスコーダは利用可能なビットレートを考慮するだけであるということである。
［フレームを基礎とするトランスコーダ：Ｆｒａｍｅ−Ｂａｓｅｄ  Ｔｒａｎｓｃｏｄｅｒ］
フレームを基礎とするトランスコーダのトランスコーディング数の詳細は、従来技術において公知である。例えば、以下の任意の米国特許第５，９９１，７１６号（スピーチのタンデムコーティングを防止するトランスコーダ）、第５，９４０，１３０号（抽出された動き補償データをバイパス転送する画像トランスコーダ）、第５，７６８，２７８号（Ｎ：１トランスコーダ）、第５，７６４，２９８号（緩和された内部復号化器／コーダインタフェースフレームジッタ要件を有するデジタルデータトランスコーダ）、第５，５２６，３９７号（切り換えトランスコーダ）、第５，３３４，９７７号（異なるビット数がコード変換に用いられるＡＤＰＣＭトランスコーダ）、または他の同様の特許を参照のこと。これらの特許のいずれも、ビットストリームの意味論的コンテンツおよびネットワーク特性に応じて特定のトランスコーディング方策を選択する我々の技術を記載していない。以下、選択され得るオブジェクトを基礎とするビットストリームトランスコーダについて記載する。
本実施の形態で強調されるのは、ビットストリームの意味論的コンテンツの最良の配信を提供するトランスコーディング方策の動的選択を可能にすることであり、実際のトランスコーディングがどのように実行されるかではない。
これまで、連続変換トランスコーダおよび離散要約トランスコーダを含む切り換え可能なトランスコーダによってなされ得る異なるタイプのトレードオフについて記載してきた。これらのトランスコーダのそれぞれにおいて、最適なレート−品質曲線が想定される。
［オブジェクトを基礎とするトランスコーディング：Ｏｂｊｅｃｔ−Ｂａｓｅｄ  Ｔｒａｎｓｃｏｄｅｒ］
ここで、連続変換トランスコーダに対するレート−品質曲線がどのように導き出され、ＱＰおよびフレームスキップ量などの適切な符号化パラメータがどのように決定されるかについて詳細に記載する。また、この研究をＭＰＥＧ−４のコンテクストにも広げる。利用可能なビットレートおよび各画像オブジェクトの複雑度に基づいて、画像またはシーンにおいて適応するようにオブジェクトをトランスコード化またはスケーリングするフレームワークについて記載する。
我々の方式は、出力レートに対する入力レートの比に応じて、様々な技術を用いてレートを低下させ得る点において適応できる。我々の目標は、複雑度が変化するオブジェクトに対して最良の全体的な品質を提供することであるため、各オブジェクトの劣化は同じである必要はない。上記のように、ここでは、フレームではなく、オブジェクトをパースする点に留意されたい。
我々のシステムの新規性は、複雑度およびサイズが変化する多数のオブジェクトをトランスコード化することが可能なことであるが、さらに重要なことは、我々のシステムが、画像の全体的な品質を最適化するために、空間−時間トレードオフを行うことができる点である。柔軟性が加えられたために、オブジェクトを基礎とするビットストリームに焦点を当てる。また、特定のオブジェクトの品質を操作するために利用できる様々な手段について記載する。
注目すべき主要な点は、オブジェクト自体が等しい品質でトランスコード化される必要がないことである。例えば、１つのオブジェクトのテクスチャデータは、形状情報に手をつけずに減少され得るのに対して、他のオブジェクトの形状情報はテクスチャ情報に手をつけずに減少される。ドロッピングフレームを含む他の多くの組み合わせもまた考えられ得る。ニュースクリップでは、例えば、前景のニュースキャスターに関連する情報に手をつけずに、背景に関するテクスチャおよび形状ビットと共にフレームレートを低下させることが可能である。
［オブジェクトを基礎とするトランスコーディングのためのビットストリームの品質：Ｑｕａｌｉｔｙ  ｏｆ  ａ  Ｂｉｔｓｔｒｅａｍ  ｆｏｒ  Ｏｂｊｅｃｔ−Ｂａｓｅｄ  Ｔｒａｎｓｃｏｄｅｒ］
上記のように、従来のフレームを基礎とするトランスコーダは、ビットレートを十分に低下させ得る。しかし、コンテンツの品質は激しく劣化し、ビットレートが低下したビットストリームにおいて伝達される情報は全く失われ得る。従来、ビットストリームの「品質」は、入力ビットストリームと出力ビットストリームとの間のビット間の差として測定される。
しかし、この発明によるオブジェクトを基礎とするトランスコーディングでは、画像全体の操作に対してもはや制約はない。意味のある画像オブジェクトに分解されたビットストリームをトランスコード化する。各オブジェクトの配信は、各オブジェクトの品質と共に、全体として異なる影響を品質に与えることが理解される。我々のオブジェクトを基礎とする方式は、このようなより繊細なアクセスレベルを有するため、ストリーム全体の品質にあまり影響を与えずに、１つのオブジェクトの空間−時間的品質のレベルを減少させることが可能となる。これは、従来のフレームを基礎とするトランスコーダによって用いられるのとは全く異なる方策である。
コンテンツに関係なく画像全体のビット間の差を測定する従来のビットストリーム品質とは対照的に、我々は「知覚画像品質」の概念を導入する。知覚画像品質は、目的の情報を伝達する画像内のオブジェクトの品質に関連する。例えば、画像の背景は、さらに重要な前景オブジェクトの知覚画像品質に影響を与えずに完全に失われ得る。
［オブジェクトを基礎とするトランスコーディングフレームワーク：Ｏｂｊｅｃｔ−Ｂａｓｅｄ  Ｔｒａｎｓｃｏｄｉｎｇ  Ｆｒａｍｅｗｏｒｋ］
図６は、この発明の他の実施の形態によるオブジェクトを基礎とするトランスコーダ６００の高レベルブロック図を示す。トランスコーダ６００は、デマルチプレクサ６０１、マルチプレクサ６０２、および出力バッファ６０３を有する。トランスコーダ６００はまた、制御情報６０４に従ってトランスコーディング制御ユニット（ＴＣＵ）６１０によって動作する１つ以上のオブジェクトを基礎とするトランスコーダ８００を有する。ユニット６１０は、形状、テクスチャ、時間、および空間分析器６１１〜６１４を有する。
トランスコーダ６００への入力圧縮ビットストリーム６０５は、１つ以上のオブジェクトを基礎とする基本的なビットストリームを有する。オブジェクトを基礎とするビットストリームは、直列または並列であり得る。ビットストリーム６０５の全ビットレートはＲｉｎである。トランスコーダ６００からの出力圧縮ビットストリーム６０６はＲｏｕｔ＜Ｒｉｎとなるような全ビットレートＲｏｕｔを有する。
マルチプレクサ６０１は、１つ以上の基本的なビットストリームを、オブジェクトを基礎とするトランスコーダ８００のそれぞれに提供し、オブジェクトを基礎とするトランスコーダ８００は、オブジェクトデータ６０７をＴＣＵ６１０に提供する。トランスコーダ８００は、基本的なビットストリームをスケーリングする。スケーリングされたビットストリームは、出力バッファ６０３に渡される前にマルチプレクサ６０２で構成され、そこから受信機に渡される。バッファ６０６はまた、レートフィードバック情報６０８をＴＣＵに提供する。
上記のように、トランスコーダ８００のそれぞれに渡される制御情報６０４は、ＴＣＵによって提供される。図６に示すように、ＴＣＵは、時間および空間レゾリューションだけでなく、テクスチャおよび形状データを分析する機能を有する。これらの新しい自由度はすべて、オブジェクトを基礎とするトランスコーディングフレームワークを、ネットワーク応用に対して非常に特有かつ望ましいものにする。ＭＰＥＧ−２およびＨ．２６３コーディング規格のように、ＭＰＥＧ−４は、動き補償およびＤＣＴを用いて、空間−時間的な画像の冗長性を利用する。その結果、オブジェクトを基礎とするトランスコーダ８００の中核は、上記のＭＰＥＧ−２トランスコーダの適用である。主な相違は、形状情報が、ビットストリーム内に含まれ、テクスチャコーディング関して、ブロック間に対するＤＣおよびＡＣを予測するためのツールが設けられている点である。
テクスチャのトランスコーディングが形状データに依存することに注目することも重要である。換言すると、形状データは、単にパースされ無視されることはない。準拠したビットストリームのシンタックスは、復号化形状データに依存する。
明らかに、我々のオブジェクトを基礎とする入力および出力ビットストリーム６０１〜６０２は、従来のフレームを基礎とする画像プログラムと全く異なる。また、ＭＰＥＧ−２は、動的フレームスキッピングを許容しない。ここでは、ＧＯＰ構造および参照フレームは通常固定される。
［テクスチャモデル：Ｔｅｘｔｕｒｅ  Ｍｏｄｅｌｓ］
符号化器におけるレート制御のためのテクスチャモデルの使用は、従来技術において広範囲に記載されている。例えば、Ｖｅｔｒｏ等による「ＭＰＥＧ−４  ｒａｔｅ  ｃｏｎｔｒｏｌ  ｆｏｒ  ｍｕｌｔｉｐｌｅ  ｖｉｄｅｏ  ｏｂｊｅｃｔｓ」、ＩＥＥＥ  Ｔｒａｎｓ．ｏｎ  Ｃｉｒｃｕｉｔｓ  ａｎｄ  Ｓｙｓｔｅｍｓ  ｆｏｒ  Ｖｉｄｅｏ  Ｔｅｃｈｎｏｌｏｇｙ、１９９９年２月、およびこの中の参考文献を参照のこと。
オブジェクトを基礎とするトランスコーダ８００において用いられるテクスチャモデルでは、変数Ｒは、画像オブジェクト（ＶＯ）に消費されるテクスチャビットを表し、変数Ｑは、量子化パラメータＱＰを示し、変数（Ｘ１、Ｘ２）は、第１次および第２次モデルパラメータを示し、変数Ｓは、平均絶対差などの符号化複雑度を示す。ＲとＱとの間の関係は、
0004601889.tif 000002
によって与えられる。ＶＯに割り当てられるビットのターゲット量、およびＳの現在値が当てられると、Ｑの値は、（Ｘ１、Ｘ２）の現在値に依存する。ＶＯが符号化された後、実際に使用されたビットの数は既知であり、モデルパラメータは更新され得る。これは、前回のｎフレームの結果を用いて、線形回帰によってなされ得る。
［テクスチャ分析：Ｔｅｘｔｕｒｅ  Ａｎａｌｙｓｉｓ］
トランスコーディング問題は、Ｑ、元のＱＰの集合、および実際のビット数がすでに与えられている点で異なる。また、空間ドメインから符号化複雑度Ｓを計算するよりも、新しいＤＣＴを基礎とするとした複雑度の測定チルダＳを定義しなければならない。この測定は、
0004601889.tif 000003
として定義される。ここで、Ｂｍ（ｉ）は、ブロックのＡＣ係数であり、ｍは、コード化ブロックの集合Ｍにおけるマクロブロック指数であり、Ｍｃは、その集合内のブロックの数であり、ρ（ｉ）は、周波数に依存する重み付けである。複雑度測定は、ＡＣ係数のエネルギーを示し、ここで、高周波成分の貢献は、重み付け関数によって減少する。重み付け関数は、ＭＰＥＧ量子化マトリクスの関数を模倣するように選択され得る。
ビットストリームで送信されるデータおよび過去の画像オブジェクトからのデータより、モデルパラメータは決定され、連続して更新され得る。実際、トランスコード化されたＶＯＰ毎にモデルを２度更新し得る。一度は、ビットストリーム内のデータを用いてトランスコード化する前、次は、ＱＰの新しい集合であるＱ’を有するテクスチャをコード化した後である。このデータポイントの数が増加するにつれて、モデルパラメータはより強力になり、より迅速に集まる。
テクスチャ分析の主な目的は、歪みを最小に抑えながら、レート制約を満足するＱ’を選択することである。しかし、最適性はＱに依存することに留意することは重要である。従って、歪みがどのように量子化されるかに注意を払わなければならない。この点から、Ｑに対する依存性のために、この歪みを条件付き歪みと呼ぶ。
Ｑ’を決定するための１つの方法は、レート制御問題で用いたのと同じ方法を用いることである。このように、まず、特定時間定数ですべてのＶＯＰに対する予算を見積もり、ターゲットを調整して、バッファの現在のレベルを考慮し、このビットの合計を各オブジェクトに分配する。これらのオブジェクトを基礎とするターゲットビットレートが与えられると、ＱＰの新しい集合は、テクスチャモデルから決定され得る。このアプローチの主な問題点は、強力になるビットの分配に依存していることである。一般に、分配は強力ではなく、条件付き歪みを制御する能力は失われてしまう。なぜなら、新しいＱＰは元のＱＰとは独立して計算されたからである。
［条件付き歪み：Ｃｏｎｄｉｔｉｏｎａｌ  Ｄｉｓｔｏｒｔｉｏｎ］
この問題を克服し、Ｑに依存するＱ’を何らかの方法で解決するために、動的プログラミングに基づいた方法について記載する。元の品質にできるだけ近い品質を維持するには、各オブジェクトのＱＰができるだけ変化しないことである。この条件下で、条件付き歪みを
0004601889.tif 000004
として定義することができる。ここで、ｋはＶＯＰの集合ＫにおけるＶＯＰ指数を示し、αｋは、オブジェクトｋの視覚的意義または優先度を意味する。Ｄ（Ｑ）は明示的に特定されていないが、Ｑに比例していることは既知であることに留意されたい。視覚的意義は、サイズおよび複雑度に対するオブジェクトの関数であり得る。
［ＱＰサーチ空間：ＱＰ  Ｓｅａｒｃｈ  Ｓｐａｃｅ］
すべてのｋ＞に対してＱ’ｋ≧Ｑｋであることに留意することは重要である。従って、解決空間は、図７に示される有効な解決空間に限定される。図７において、ｘ軸は、画像オブジェクト７０１を示し、ｙ軸はＱＰを示す。図はまた、有効なサーチ空間７１０、制約されたサーチ空間７１１、有効な経路７１２、および無効な経路７１３を示す。
条件付き歪みに対して上記の数量化が与えられると、図７のトレリスを通して最良の経路を検索することによって我々の問題を解決する。ここで、有効なＱＰはトレリス内のノードであり、各ノードは、見積りレートおよび条件付き歪みと関連する。正式には、問題は次のように記載され得る。
0004601889.tif 000005
制約された問題を制約されていない問題に変換することによって、この問題は解決する。ここで、レートおよび歪みは、ラグランジェ乗数λを通して合成される。すべてにλ≧０に対して、最適な解決は常に見出され得る。レート上の制約を満足するλの値を決定するために、周知の二分法（ｂｉｓｅｃｔｉｏｎ  ａｌｇｏｒｉｔｈｍ）が用いられ得る。Ｒａｍｃｈａｎｄｒａｎ  ａｎｄ  Ｖｅｔｔｅｒｌｉ、「Ｂｅｓｔ  ｗａｖｅｌｅｔ  ｐａｃｋｅｔ  ｂａｓｅｓ  ｉｎ  ｔｈｅ  ｒａｔｅ−ｄｉｓｔｏｒｔｉｏｎ  ｓｅｎｓｅ」、ＩＥＥＥ  Ｔｒａｎｓ．Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ、１９９３年４月を参照のこと。
考慮されるサーチ空間が、ＭＰＥＧ−２トランスコーディングアルゴリズムにおいて見出されるものよりもはるかに小さいことを強調することは重要である。ここで、マクロブロック毎に量子化器の最良の集合を見出す試みがなされる。対照的に、オブジェクトを基礎とする量子化器のみ検索する。従って、我々のアプローチは非常に実用的である。
［時間分析：Ｔｅｍｐｏｒａｌ  Ａｎａｌｙｓｉｓ］
一般に、フレームをスキップする目的は、バッファがオーバーフローし、最終的にパケットの損失が防止されるように、バッファ占有レベルを減少させることである。フレームをスキップする他の理由は、空間的品質と時間的品質との間のトレードオフを可能にすることである。このように、より少ないフレームがコード化されるが、これらはより高い品質でコード化される。その結果、バッファがオーバーフローの危険がない場合、フレームをスキップする決定は、ＱＰ選択プロセスに組み込まれる。
ＱＰの集合のための有効な解決空間を検索する、ＱＰ選択のための提案されている技術からの構築によって、解決空間を制約することによってこの空間−時間トレードオフを成し遂げる。図７に示すように、有効な経路は、Ｑ’のすべての要素が制約エリアに入るものである。これらの要素の１つがエリア外に入る場合、経路は、空間的品質の特定化されたレベルを維持しないという点で無効である。空間的品質は、条件付き歪みによって暗示されている。
特定のオブジェクトに対する最大ＱＰを決定するために異なる規格が用いられ得る。例えば、最大値は、オブジェクトの複雑度の関数であるか、または単に入力ＱＰのパーセントであり得る。最大値が複雑度に基づいている場合、トランスコーダは、より高い複雑度を有するオブジェクトをより小さなＱＰに実質的に限定する。なぜなら、空間的品質に対するそれらの効果は最も深刻であるからである。一方、入力ＱＰに基づいて複雑度を制限することは、トランスコーダが元々符号化されたビットストリームと比較して同様のＱＰ分配を維持することを意味する。両アプローチは有効である。各オブジェクトに対してＱＰを限定する最良の方法を決定するトレードオフは、空間的品質と時間的品質との間のトレードオフに依存し得る。
言うまでもなく、オブジェクトを基礎とするデータを取り扱う際の利点の１つは、一方のオブジェクトの時間的品質が他方のオブジェクトとは異なり得ることである。このように、背景オブジェクト、例えば、固定壁をスキップすることによって、例えば、ビットを節約することができる。しかし、オブジェクトは大抵の場合解体されるので、１つのオブジェクトの時間的レゾリューションを減少させることは、構成された画像に穴をあけ得る。すべてのＶＯＰが同じ時間的レゾリューションを有するように制約を与えることによって、この問題は減少し得る。
［形状分析：Ｓｈａｐｅ  Ａｎａｌｙｓｉｓ］
画像オブジェクトの形状データをトランスコード化する際の問題を紹介するために、テクスチャ情報がどのようにしてトランスコード化されるかについて思い出してみよう。テクスチャに対するレートがデータを部分的に復号化することによって低下し得ることは周知である。大抵の場合、この部分的な復号化には、少なくとも可変長復号化（ＶＬＤ）動作が実行されなければならない。逆量子化および逆ＤＣＴは省略され得る。
しかし、形状データについては、これは当てはまらない。ＭＰＥＧ−４では、形状データは、いわゆるコンテクストを基礎とするとした数学符号化アルゴリズムによってブロック毎にコード化される。Ｂｒａｄｙ、「ＭＰＥＧ−４  ｓｔａｎｄａｒｄｉｚａｔｉｏｎ  ｍｅｔｈｏｄｓ  ｆｏｒ  ｔｈｅ  ｃｏｍｐｒｅｓｓｉｏｎ  ｏｆ  ａｒｂｉｔｒａｒｉｌｙ  ｓｈａｐｅｄ  ｏｂｊｅｃｔｓ」、ＩＥＥＥ  Ｔｒａｎｓ  Ｃｉｒｃｕｉｔｓ  ａｎｄ  Ｓｙｓｔｅｍｓ  ｆｏｒ  Ｖｉｄｅｏ  Ｔｅｃｈｎｏｌｏｇｙ、１９９９年１２月を参照のこと。このアルゴリズムでは、各画素に対するコンテクストは、選択されたモードに応じて、９ビットまたは１０ビットの因果テンプレートに基づいて計算される。このコンテクストは、ブロック内の確率シーケンスが数学的符号化器を駆動するように、確率ルックアップテーブルにアクセスするために用いられる。
テクスチャとは対照的に、形状の部分的復号化は可能ではない。なぜなら、画素ドメインとビットストリームとの間の中間表示はないからである。従って、形状データのレゾリューションを操作するためには、データは十分に復号化されなければならない。復号化の後、１９９９年１０月１日付けで提出された、Ｖｅｔｒｏ等による米国特許出願第０９／４１０，５５２号「Ｅｓｔｉｍａｔｉｎｇ  Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ  Ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ  ｏｆ  Ｂｉｎａｒｙ  Ｓｈａｐｅ  Ｄａｔａ」に記載されているようなモデルが、形状のレート−歪み特性を評価するために用いられ得る。
［空間分析：Ｓｐａｔｉａｌ  Ａｎａｌｙｓｉｓ］
レートを低下させる他の手段として、サブサンプリングによってレゾリューションを減少させることが挙げられる。ＭＰＥＧ−４規格のバージョン２では、動的レゾリューション変換（ＤＲＣ）と呼ばれるツールがＭＰＥＧ−４規格に採用されている。このツールにより、１つのオブジェクトのレゾリューション（即ち、空間的品質）を減少させると共に、他のより重要なまたは空間的に活発なオブジェクトのレゾリューションを維持することが可能である。
［アーキテクチャ：Ａｒｃｈｉｔｅｃｔｕｒｅ］
図８は、この発明によるオブジェクトを基礎とするトランスコーダ８００の構成要素を示す。従来技術におけるトランスコーディングアーキテクチャのように、符号化規格のシンタックスは、トランスコーダ８００のアーキテクチャをいくぶんか指図する。ここで、ＭＰＥＧ−４規格に照らして我々のトランスコーダの主な特徴を記載し、これらの特徴と従来のフレームを基礎とするトランスコーディングとを対比させる。
トランスコーダ８００は、ＶＯＬ／ＶＯＰパーサ８１０、形状スケーラ８２０、ＭＢヘッダパーサ８３０、モーションパーサ８４０、およびテクスチャスケーラ８５０を有する。トランスコーダはまた、基本ビットストリーム８０１の様々な部分をビットストリームメモリ８７０に転送するバス８６０を有する。この包括的な格納から、基本ビットストリーム構成ユニット８８０は、ＭＰＥＧ−４規格に従った、レートが低下した圧縮ビットストリームを形成し得る。出力基本ビットストリーム８０９は図６のマルチプレクサに与えられる。
ＭＰＥＧ−４では、各オブジェクトに対する基本ビットストリームは、他のビットストリームとは独立している。その結果、各オブジェクトは、画像オブジェクト層（ＶＯＬ）および画像オブジェクトプレーン（ＶＯＰ）ヘッダに関連づけられる。ＶＯＰヘッダは、オブジェクトを符号化するために用いた量子化パラメータ（ＱＰ）を含む。各オブジェクトに対するＱＰは、テクスチャ情報のモデル化および分析において後に用いられる。他のビットはすべて、図６の出力ビットストリーム６０６を構成する時点まで、ビットストリームメモリ８７０内に格納される。
他の規格との最も著しい差は、ＭＰＥＧ−４がオブジェクトの形状をコード化できることである。ＶＯＰ層から、ＶＯＰが形状情報（二進）含んでいるか否か（方形）８１２を見出す。方形ＶＯＰである場合には、オブジェクトは単に方形フレームであり、形状ビットをパースする必要はない。二進形状である場合には、マクロブロックが透明であるか否かを決定する８１３必要がある。透明なブロックは、オブジェクトの境界ボックス内にあるが、オブジェクトの境界の外側にある。このため、それに関連するモーションまたはテクスチャ情報は存在しない。
形状スケーラ８２０は、３つのサブ構成要素、即ち、形状復号化器／パーサ８２１、形状ダウンサンプラ８２２、および形状符号化器８２３で構成される。ビットストリームの形状情報がスケーリングされていない場合には、形状復号化器／パーサは、単に形状パーサである。これは、トランスコーダ制御ユニット６１０のＲ−Ｄ形状分析６１１から受信される制御情報６０４によって示される。また、この場合、形状ダウンサンプラ８２２および形状符号化器８２３はディスエーブルされる。形状情報がスケーリングされている場合には、形状復号化器／パーサ８２１は、まず、形状情報を画素ドメイン表示に復号化しなければならない。形状のレートを低下させるために、ブロックは形状ダウンサンプラ８２２を用いて２または４の係数でダウンサンプリングされ、形状符号化器８２３を用いて再符号化され得る。変換比は、Ｒ−Ｄ形状分析６１１によって決定される。形状ビットが単にパースされているかまたはスケーリングされているかに関係なく、形状スケーラ８２０の出力は、ビットストリームバス８６０を介してビットストリームメモリ８７０に転送される。
形状ビット以外に、ＭＰＥＧ−４シンタックスの残りは、少数の例外はあるものの、ＭＰＥＧ−２のそれといくぶんか同様である。マクロブロック（ＭＢ）層では、コード化されたブロックパターン（ＣＢＰ）を有するビットが存在する。ＣＢＰは、マクロブロックのうちのどのブロックが少なくとも１つのＡＣ係数を含むかを復号化器に信号で合図するために用いられる。ＣＢＰはビットストリームの構造に影響を与えるだけでなく、ＣＢＰはまたＡＣ・ＤＣ内予測にも影響を与える。トランスコーダがこのパラメータに関連していなければならない理由は、ＣＢＰがＤＣＴブロックの再量子化に応じて変化するからである。このため、ブロックが再量子化された後にＣＢＰを再計算する。テクスチャスケーラのＣＢＰ再計算ユニット８５６はこれを成し遂げる。ユニット８５６は、可変長コード（ＶＬＣ）８５５を、ビットストリームバス８６０を介してビットストリームメモリ８７０に送信し、入力ビットストリーム内に存在していたヘッダを置き換える。
基本ビットストリームをパースし、関連の復号化パラメータを抽出した後、テクスチャブロック８５１を部分的に復号化する。このプロセスの結果は、ＤＣＴブロック係数である。空間（再サイズ）分析がイネーブルされると、オブジェクトは２または４の係数でダウンサンプリングされ得る。ブロックをダウンサンプリングする能力は、トランスコーディング制御ユニット６１０、および空間分析６１４によるダウンサンプリング係数によって示される。さらに、このダウンサンプリングは、ＩＤＣＴ／ＤＣＴ動作を避けることができるように、ＤＣＴドメイン内で実行される。１９９８年１１月１０日付けで提出された、Ｂａｏらの米国特許第５，８５５，１５１号「Ｍｅｔｈｏｄ  ａｎｄ  ａｐｐａｒａｔｕｓ  ｆｏｒ  ｄｏｗｎ−ｃｏｎｖｅｒｔｉｎｇ  ａ  ｄｉｇｉｔａｌ  ｓｉｇｎａｌ」を参照のこと。次に、ＤＣＴブロックは、係数メモリ８５３に一時的に格納される。このメモリから、ブロックは量子化器８５４に送信される。量子化器８５４は、新しいターゲットレートに合致するこの発明に記載の技術を用いて、Ｒ−Ｄテクスチャ分析６１２から送信されるＱＰに従ってブロックを量子化する。
オブジェクトをスキップするために、時間的分析６１３は、どのビットが構成および送信され、どのビットを落とすべきかをビットストリーム構成８８０に示す。このように、このメモリに書き込まれたビットストリームの部分は、次の画像オブジェクトのデータによって単に上書きされる。
［インプリメンテーションおよび処理：Ｉｍｐｌｅｍｅｎｔａｔｉｏｎ  ＆  Ｐｒｏｃｅｓｓｉｎｇ］
特定の実施の形態に関して、トランスコーダ８００のアーキテクチャが単一のオブジェクトに対する構成要素を例示することに留意されたい。極端な場合、多数のオブジェクトは、図６に示すように、多数のトランスコーダでスケーリングされ得る。多重スレッド実行を考慮するソフトウェアインプリメンテーションでは、これは最も効率的な方法になり得る。ソフトウェアインプリメンテーションにおける課題は、考慮される各オブジェクトに対して適切な量のＣＰＵ処理を割り付けることである。
しかし、ハードウェアインプリメンテーションでは、事情は大変異なる。ハードウェア設計者は、通常、特定の機能性を取り扱う１ピースの論理を有することを好む。例えば、受信され得るＭオブジェクトの最大数に対してＭモーションパーサを実行するのではなく、ハードウェア設計は、多数のオブジェクトが所定時間にパースされ得るように、特定の速度で動作する単一のモーションパーサを有する。言うまでもなく、オブジェクトの数がパーサのスループットを上回っている場合、並列パーサは、まだ使用できる。主要な点は、必要なパーサの数が受信されるオブジェクトの合計よりも少なくてよく、計算が並列パーサ間で分配されることである。この概念は、トランスコーダ８００のすべてのサブブロックに適用される。
この発明を好ましい実施の形態の実施例により記載したが、他の様々な適応および改変は、この発明の精神および範囲内であり得ることを理解されたい。従って、添付の請求の範囲の目的は、このような変更および改変のすべてをこの発明の真の精神および範囲内でカバーすることである。
【図面の簡単な説明】
図１は、従来のトランスコーダのブロック図、
図２は、従来の部分復号化器／符号化器のブロック図、
図３は、この発明による適応可能なビットストリーム配信システムのブロック図、
図４は、適応可能なトランスコーダおよびトランスコーダマネージャのブロック図、
図５は、図４のトランスコーダおよびマネージャによって用いられ得るトランスコーディング関数のグラフ、
図６は、オブジェクトを基礎とするビットストリームスケーリングのブロック図、
図７は、検索空間のグラフ、
図８は、この発明によるオブジェクトを基礎とするトランスコーダの詳細を示すブロック図である。
【図１】
0004601889.tif 000010
【図２】
0004601889.tif 000011
【図３】
0004601889.tif 000012
【図４】
0004601889.tif 000013
【図５】
0004601889.tif 000014
【図６】
0004601889.tif 000015
【図７】
0004601889.tif 000016
【図８】
0004601889.tif 000017