(57)【特許請求の範囲】
【請求項１】
圧縮ビデオをトランスコードする方法であって、
該圧縮ビデオを、複数の階層レベルに、時間的に分割するステップと、
該複数の階層レベルの各々から特徴を抽出するステップと、
該複数の階層レベルの各々から抽出された該特徴によってトランスコーダの複数の変換モードのうちの１つを選択するステップと、
該選択された変換モードにしたがって前記圧縮ビデオをトランスコードするステップと、
を備え、
前記複数の階層レベルは、プログラムレベルと、ショットレベルと、フレームレベルと、下位領域レベル、のうちのいずれか１つを含み、
前記圧縮ビデオは、低レベルメタデータを含むものであって、
該圧縮ビデオのコンテントによって該低レベルメタデータをレート−品質特性にマッピングするステップをさらに備えている
ことを特徴とする圧縮ビデオのトランスコーディング方法。
【請求項２】
前記フレームレベルは、ビデオオブジェクトプレーンを含んでいることを特徴とする請求項１記載の方法。
【請求項３】
前記レート−品質特性は、複数のクラスに分割されることを特徴とする請求項１記載の方法。
【請求項４】
空間的品質が時間的品質より低い第１クラスと、空間的品質が時間的品質より高い第２クラスと、空間的品質が時間的品質と等しい第３クラスとを備えたことを特徴とする請求項３記載の方法。
【請求項５】
コンテントの圧縮が容易である第１クラスと、コンテントの圧縮が中程度に困難な第２クラスと、コンテントの圧縮が困難である第３クラスとを含んでいることを特徴とする請求項３記載の方法。
【請求項６】
前記低レベルメタデータは、前記ビデオのコンテントの優先度に基づいていることを特徴とする請求項１記載の方法。
【請求項７】
前記低レベルメタデータは、前記ビデオのコンテントの形状パラメータに基づいていることを特徴とする請求項１記載の方法。
【請求項８】
前記低レベルメタデータは、前記ビデオのコンテントのテクスチャに基づいていることを特徴とする請求項１記載の方法。
【請求項９】
前記低レベルメタデータは、前記ビデオのコンテントの動きアクティビティに基づいていることを特徴とする請求項１記載の方法。
【請求項１０】
前記低レベルメタデータは、前記ビデオのコンテントのＤＣＴ係数に基づいていることを特徴とする請求項１記載の方法。
【請求項１１】
高レベルメタデータは、低レベルメタデータから符号化されることを特徴とする請求項１記載の方法。
【請求項１２】
前記複数のクラスは、数値評価基準でランク付けされることを特徴とする請求項３記載の方法。
【請求項１３】
前記トランスコーディングは、ＣＢＲビットストリームを生成することを特徴とする請求項１記載の方法。
【請求項１４】
前記トランスコーディングは、ＶＢＲビットストリームを生成することを特徴とする請求項１記載の方法。
【請求項１５】
前記低レベルメタデータから記述子方式を生成するステップと、
前記記述子方式にしたがって前記圧縮された入力ビットストリームのバリエーションを生成するステップと
をさらに備えたことを特徴とする請求項１記載の方法。
【請求項１６】
前記トランスコーディングは、前記階層レベルの選択された１つから抽出される特徴に基づいていることを特徴とする請求項１記載の方法。
【発明の詳細な説明】
技術分野
本発明は情報配信システムに関し、特に情報をネットワークの利用可能なビットレートに適用させる配信システムに関する。
背景技術
関連出願の相互参照
これは、Ｖｅｔｒｏ等により２０００年２月１４日に出願された米国特許出願第０９／５０４，３２３号「ｏｂｊｅｃｔ−Ｂａｓｅｄ  Ｂｉｔｓｔｒｅａｍ  Ｔｒａｎｓｃｏｄｅｒ」の一部継続米国特許出願、Ｖｅｔｒｏ等により２０００年２月２日に出願された米国特許出願第０９／４９６，７０６号「Ａｄａｐｔａｂｌｅ  Ｃｏｍｐｒｅｓｓｅｄ  Ｂｉｔｓｒｅａｍ  Ｔｒａｎｓｃｏｄｅｒ」の一部継続米国特許出願である。
発明の背景
近年、符号化された情報を通信するために多数の規格が開発されてきた。ビデオシーケンスに対し、最も広く使用されている規格には、ＭＰＥＧ−１（動画像の格納および検索用）、ＭＰＥＧ−２（デジタルテレビジョン用）およびＨ．２６３がある。ＩＳＯ／ＩＥＣ  ＪＴＣ１  ＣＤ  １１１７２，ＭＰＥＧ、「Ｉｎｆｏｒｍａｔｉｏｎ  Ｔｅｃｈｎｏｌｏｇｙ−Ｃｏｄｉｎｇ  ｏｆ  Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅｓ  ａｎｄ  Ａｓｓｏｃｉａｔｅｄ  Ａｕｄｉｏ  ｆｏｒ  Ｄｉｇｉｔａｌ  Ｓｔｏｒａｇｅ  Ｍｅｄｉａ  ｕｐ  ｔｏ  ａｂｏｕｔ  １．５  Ｍｂｉｔ／ｓ−Ｐａｒｔ  ２：Ｃｏｄｉｎｇ  ｏｆ  Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅｓ  Ｉｎｆｏｒｍａｔｉｏｎ」、１９９１、ＬｅＧａｌｌによる「ＭＰＥＧ：Ａ  Ｖｉｄｅｏ  Ｃｏｍｐｒｅｓｓｉｏｎ  Ｓｔａｎｄａｒｄ  ｆｏｒ  Ｍｕｌｔｉｍｅｄｉａ  Ａｐｐｌｉｃａｔｉｏｎｓ」、Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ  ｏｆ  ｔｈｅ  ＡＣＭ，Ｖｏｌ．３４，Ｎｏ．４，ｐｐ．４６−５８，１９９１、ＩＳＯ／ＩＥＣ  ＤＩＳ  １３８１８−２，ＭＰＥＧ−２、「Ｉｎｆｏｒｍａｔｉｏｎ  Ｔｅｃｈｎｏｌｏｇｙ−Ｇｅｎｅｒｉｃ  Ｃｏｄｉｎｇ  ｏｆ  Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅｓ  ａｎｄ  Ａｓｓｏｃｉａｔｅｄ  Ａｕｄｉｏ  Ｉｎｆｏｒｍａｔｉｏｎ−Ｐａｒｔ  ２：Ｖｉｄｅｏ」、１９９４、ＩＴＵ−Ｔ  ＳＧ  ＸＶ，ＤＲＡＦＴ  Ｈ．２６３、「Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  ｆｏｒ  Ｌｏｗ  Ｂｉｔｒａｔｅ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ」、１９９６、ＩＴＵ−Ｔ  ＳＧ  ＸＶＩ，ＤＲＡＦＴ１３  Ｈ．２６３＋Ｑ１５−Ａ−６０  ｒｅｖ．０、「Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  ｆｏｒ  Ｌｏｗ  Ｂｉｔｒａｔｅ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ」、１９９７を参照のこと。
これらの規格は、本来、ビデオシーケンスの空間的および時間的圧縮を扱う比較的低レベルの仕様である。共通の特徴として、これら規格は、各フレーム単位で圧縮を実行する。これら規格により、広範囲のアプリケーションに対し高圧縮率を達成することができる。
ＭＰＥＧ−４（マルチメディアアプリケーション用）等（「Ｉｎｆｏｒｍａｔｉｏｎ  Ｔｅｃｈｎｏｌｏｇｙ−Ｇｅｎｅｒｉｃ  ｃｏｄｉｎｇ  ｏｆ  ａｕｄｉｏ／ｖｉｓｕａｌ  ｏｂｊｅｃｔｓ」、ＩＳＯ／ＩＥＣ  ＦＤＩＳ  １４４９６−２（ＭＰＥＧ４  Ｖｉｓｕａｌ）、Ｎｏｖ．１９９８を参照）、より新しいビデオ符号化規格により、任意形状のオブジェクトを別々のビデオオブジェクトプレーン（ＶＯＰ）として符号化し復号化することができる。オブジェクトは、ビジュアル、オーディオ、自然、合成、プリミティブ、複合またはそれらの組合せであってよい。ビデオオブジェクトは、組立てられて複合オブジェクトまたは「シーン（ｓｃｅｎｅ）」を形成する。
新たなＭＰＥＧ−４規格は、インタラクティブビデオ等、自然材料と合成材料とが統合されかつアクセスがユニバーサルな、マルチメディアアプリケーションを可能にすることが意図されている。ＭＰＥＧ−４により、コンテントベースのインタラクティビティが可能になる。例えば、あるビデオから他のビデオに、移動している形またはオブジェクトを「カットアンドペースト」したい場合がある。このタイプのアプリケーションにおいて、マルチメディアコンテントにおけるオブジェクトは、あるタイプの分割プロセスを通して識別されたと推定される。例えば、Ｌｉｎ等により１９９９年６月４日に出願された米国特許出願第０９／３２６，７５０号「Ｍｅｔｈｏｄ  ｆｏｒ  Ｏｒｄｅｒｉｎｇ  Ｉｍａｇｅ  Ｓｐａｃｅｓ  ｔｏ  Ｓｅａｒｃｈ  ｆｏｒ  Ｏｂｊｅｃｔ  Ｓｕｒｆａｃｅｓ」を参照のこと。
ビデオ送信のコンテキストにおいて、これら圧縮規格は、ネットワークによって要求される帯域幅の量（利用可能なビットレート）を低減することが必要とされる。ネットワークは、無線チャネルまたはインタネットを表すことができる。いかなる場合も、ネットワークは容量が制限されており、コンテントが送信される必要のある時、その資源に対する競合は解決されなければならない。
何年にも亙って、装置が、コンテントを頑強に送信することができ利用可能なネットワーク資源に対しコンテントの品質を適用させることができるようにする、アーキテクチャおよびプロセスに対し、非常に多くの努力がなされてきた。コンテントが既に符号化されていた場合、ストリームが例えば利用可能なビットレートの低減に適応するよう、ネットワークを通して送信される前に既に圧縮されたビットストリームをさらに変換する必要がある場合がある。
ビットストリーム変換、すなわち、「トランスコーディング（ｔｒａｎｓｃｏｄｉｎｇ）」は、ビットレート変換、解像度変換および構文変換として分類することができる。ビットレート変換には、固定ビットレート（ＣＢＲ）と可変ビットレート（ＶＢＲ）との間のビットレートスケーリングおよび変換を含む。ビットレートスケーリングの基本機能は、入力ビットストリームを受取り、受信機の新たな負荷制約に合うスケーリングされた出力ビットストリームを生成する、ということである。ビットストリームスケーラは、送信側のビットストリームと受信側の負荷とを整合させるトランスコーダまたはフィルタである。
図１に示されているように、一般に、スケーリングはトランスコーダ１００によって実現することができる。ブルートフォース（ｂｒｕｔｅ  ｆｏｒｃｅ）の場合、トランスコーダは、デコーダ１１０とエンコーダ１２０とを含む。圧縮入力ビットストリーム１０１は、入力レートＲｉｎで完全に復号化された後、新たな出力レートＲｏｕｔ１０２で符号化されることによって出力ビットストリーム１０３となる。通常、出力レートは入力レートより低い。しかしながら、実際には、復号化されたビットストリームの符号化の複雑度が高いため、トランスコーダにおいて完全な復号化および完全な符号化は行われない。
ＭＰＥＧ−２トランスコーディングに対する初期の研究は、Ｓｕｎ等により、「Ａｒｃｈｉｔｅｃｔｕｒｅｓ  ｆｏｒ  ＭＰＥＧ  ｃｏｍｐｒｅｓｓｅｄ  ｂｉｔｓｔｒｅａｍ  ｓｃａｌｉｎｇ」、ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｃｉｒｃｕｉｔｓ  ａｎｄ  Ｓｙｓｔｅｍｓ  ｆｏｒ  ｖｉｄｅｏ  Ｔｅｃｈｎｏｌｏｇｙ，Ａｐｒｉｌ  １９９６において発表されている。そこでは、複雑度およびアーキテクチャが可変であるレート低減の４つの方法が提示された。
図２は、一例としての方法を示す。このアーキテクチャにおいて、ビデオビットストリームは部分的にのみ復号化されている。より詳細には、入力ビットストリーム２０１のマクロブロックが、可変長復号化（ＶＬＤ）２１０される。また、入力ビットストリームは、遅延２２０され、逆量子化（ＩＱ）２３０されることにより、離散コサイン変換（ＤＣＴ）係数をもたらす。所望の出力ビットレートが与えられると、部分的に復号化されたデータが分析２４０され、２５０ではＤＣＴブロックに対し新たな量子化器のセットが適用される。そして、これら再量子化されたブロックは可変長符号化（ＶＬＣ）２６０され、低いレートの新たな出力ビットストリーム２０３を形成することができる。この方式は、動きベクトルが再使用され逆ＤＣＴ動作が不要であるため、図１に示す方式よりずっと単純である。
Ａｓｓｕｎｃａｏ等によるより最近の研究は、「Ａ  ｆｒｅｑｕｅｎｃｙ  ｄｏｍａｉｎ  ｖｉｄｅｏ  ｔｒａｎｓｃｏｄｅｒ  ｆｏｒ  ｄｙｎａｍｉｃ  ｂｉｔ−ｒａｔｅ  ｒｅｄｕｃｔｉｏｎ  ｏｆ  ＭＰＥＧ−２  ｂｉｔｓｔｒｅａｍｓ」、ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｃｉｒｃｕｉｔｓ  ａｎｄ  Ｓｙｓｔｅｍｓ  ｆｏｒ  Ｖｉｄｅｏ  Ｔｅｃｈｎｏｌｏｇｙ，ｐｐ．９５３−９５７，Ｄｅｃｅｍｂｅｒ  １９９８において、同じタスクに対する簡略化されたアーキテクチャについて述べている。彼らは、動き補償（ＭＣ）ループを使用して、ドリフト補償を周波数領域において操作する。周波数領域におけるＭＣブロックの高速計算のために近似したマトリックスが導出される。トランスコーディングに対する最適な量子化器スケールを計算するために、ラグランジュ最適化が使用される。
Ｓｏｒｉａｌ等による他の研究は、「Ｊｏｉｎｔ  ｔｒａｎｓｃｏｄｉｎｇ  ｏｆ  ｍｕｌｔｉｐｌｅ  ＭＰＥＧ  ｖｉｄｅｏ  ｂｉｔｓｔｒｅａｍｓ」、ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｓｙｍｐｏｓｉｕｍ  ｏｎ  Ｃｉｒｃｕｉｔｓ  ａｎｄ  Ｓｙｓｔｅｍｓ，Ｃａｎ  １９９９において、複数のＭＰＥＧ−２ビットストリームを合同でトランスコードする方法を提示している。Ｖｅｔｒｏ等により１９９９年１０月１日に出願された米国特許出願第０９／４１０，５５２号「Ｅｓｔｉｍａｔｉｎｇ  Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ  Ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ  ｏｆ  Ｂｉｎａｒｙ  Ｓｈａｐｅ  Ｄａｔａ」もまた参照のこと。
従来技術による圧縮規格によれば、テクスチャ情報を符号化するために割当てられるビットの数は、量子化パラメータ（ＱＰ）によって制御される。上記論文は、元のビットストリームに含まれる情報に基づいてＱＰを変更することでテクスチャビットのレートを低減するという点で、同様である。効率的な実現のために、情報は通常、圧縮領域で直接抽出され、マクロブロックの動きかまたはＤＣＴブロックの残余エネルギに関連する基準を含むことができる。このタイプの分析は、ビット割当てアナライザにおいて行われる。
場合によってはビットストリームを前処理することができるが、それでもトランスコーダがリアルタイムで動作することが重要である。したがって、ビットストリームに対する大幅な処理遅延を許容することができない。例えば、トランスコーダが１群のフレームから情報を抽出し、その後先取り情報に基づいてコンテントをトランスコードすることは、実現不可能である。これは、生放送またはビデオ会議に対して作用することができない。より適切にビット割当てすることにより、品質という意味でより適切なトランスコーディングの結果を得ることは可能であるが、リアルタイムアプリケーションに対しかかる実現は実際的でない。
また、トランスコーディングの古典的な方法はビットレートを低減する能力が制限されている、ということを留意することもまた重要である。言い換えれば、出力ビデオのＱＰのみが変更される場合、どれくらいレートを低減することができるかに対する制限がある。低減の制限は、考慮されているビットストリームに依存する。ＱＰを最大値に変更することは、通常、ビットストリームのコンテントを大幅に劣化させることになる。空間的品質を低減する他の代案は、時間的品質を低減する、すなわちフレームをドロップ（ｄｒｏｐ）またはスキップすることである。この場合も、多くのフレームをスキップしすぎることによってまた品質が大幅に劣化することになる。両方の低減が考慮される場合、トランスコーダは、空間的対時間的品質のトレードオフに直面する。
また、この空間−時間的トレードオフの概念は、エンコーダにおいても考慮される場合がある。しかしながら、すべてのビデオ符号化規格がフレームスキッピングをサポートするとは限らない。例えば、ＭＰＥＧ−１およびＭＰＥＧ−２では、グループオブピクチャ（Ｇｒｏｕｐ  ｏｆ  Ｐｃｔｕｒｅ（ＧＯＰ））構造が予め決定されており、すなわち、アンカフレーム間のフレーム内（Ｉｎｔｒａ  ｆｒａｍｅ）期間および距離が固定である。その結果、すべての画像が符号化されなければならない。この時間的制約に対応するために、構文法によりマクロブロックをスキップすることができる。フレームにおいてすべてのマクロブロックがスキップされた場合、そのフレームは本質的にスキップされている。このスキッピングを示すためにフレームにおける各マクロブロックに対し、少なくとも１ビットが使用される。これは、いくつかのビットレートに対し非効率である可能性がある。
Ｈ．２６３およびＭＰＥＧ−４規格により、フレームスキッピングが可能となる。両規格は、基準の指定を可能にする構文法をサポートしている。しかしながら、フレームスキッピングは主に、バッファ制約を満足させるために使用されてきた。言い換えれば、バッファ占有率が高すぎてオーバフローの危険がある場合、エンコーダはフレームをスキップすることにより、ビットのフローをバッファまで低減し、バッファが適当な時にその現ビットを送出するようにする。
この構文法のより精巧な使用により、非常事態でない時に空間−時間的トレードオフを行う、すなわち、低い空間的品質で多くのフレームを符号化するか、または高い空間的品質で少ないレームを符号化することができる。コンテントの複雑度により、いずれの方法も全体的な品質をよりよくする可能性はある。ＭＰＥＧ−４オブジェクトベースエンコーダにおいてこのトレードオフを制御する方法は、Ｓｕｎ等に対し１９９９年１０月１９日に発行された米国特許第５，９６９，７６４号「Ａｄａｐｔｉｖｅ  ｖｉｄｅｏ  ｃｏｄｉｎｇ  ｍｅｔｈｏｄ」と、Ｖｅｔｒｏ等による「ＭＰＥＧ−４  ｒａｔｅ  ｃｏｎｔｒｏｌ  ｆｏｒ  ｍｕｌｔｉｐｌｅ  ｖｉｄｅｏ  ｏｂｊｅｃｔｓ」、ＩＥＥＥ  Ｔｒａｎｓ．ｏｎ  Ｃｉｒｃｕｉｔｓ  ａｎｄ  Ｓｙｓｔｅｍｓ  ｆｏｒ  Ｖｉｄｅｏ  Ｔｅｃｈｎｏｌｏｇｙ，Ｆｅｂｒｕａｒｙ  １９９９と、において述べられている。ここで、２つの動作モード、すなわちハイモード（ＨｉｇｈＭｏｄｅ）およびローモード（ＬｏｗＭｏｄｅ）が導入された。出力の時間的解像度によって決定された現動作モードによって、ビットが割当てられた方法において調整が行われた。
上述した研究を除けば、この空間−時間的トレードオフを制御する方法に対し最小限の注意しか払われなかった。さらに、トランスコーダにおいてかかる判断を行うために利用可能な情報は、エンコーダにおける情報と非常に異なっている。以下に、トランスコーダにおいてこのようなトレードオフを行うための方法が述べられている。
結果として、トランスコーダは、利用可能なビットレートの低減に適応するために、ビットストリームに含まれている情報を送信するいくつかの代りの手段を見つけなければならない。
ＭＰＥＧ規格委員会によって行われた最近の標準化の努力は、ＭＰＥＧ−７、正式には「マルチメディアコンテントの記述インタフェース（Ｍｕｌｔｉｍｅｄｉａ  Ｃｏｎｔｅｎｔ  Ｄｅｓｃｒｉｐｔｉｏｎ  Ｉｎｔｅｒｆａｃｅ）」のそれである。「ＭＰＥＧ−７  Ｃｏｎｔｅｘｔ，  Ｏｂｊｅｃｔｉｖｅｓ  ａｎｄ  Ｔｅｃｈｎｉｃａｌ  Ｒｏａｄｍａｐ」、ＩＳＯ／ＩＥＣ  Ｎ２８６１，Ｊｕｌｙ  １９９９を参照のこと。本質的に、この規格は、種々のタイプのマルチメディアコンテントを記述するために使用することができる記述子の集合および記述方式を組込むよう計画している。記述子および記述方式は、コンテント自体と関連付けられており、特定のユーザに対して重要な材料の高速かつ有効な探索を可能とする。この規格は先行する符号化規格に取って代ることが意図されたものではなく、むしろ、マルチメディアコンテントを種々のオブジェクトに分解することが可能であり、かつ各オブジェクトを一意の記述子の集合に割当てることが可能であるため、他の規格表現、特にＭＰＥＧ−４表現に基づいている、ということを留意することは重要である。また、この規格は、コンテントが格納される際のフォーマットとは無関係である。
ＭＰＥＧ−７の主なアプリケーションは、探索および検索アプリケーションであることが予想されている。「ＭＰＥＧ−７  Ａｐｐｌｉｃａｔｉｏｎｓ」、ＩＳＯ／ＩＥＣ  Ｎ２８６１，Ｊｕｌｙ  １９９９を参照のこと。単純なアプリケーション環境において、ユーザは特定のオブジェクトのいくつかの属性を指定することができる。この低レベルの表現において、これら属性は、特定のオブジェクトのテクスチャ、動きおよび形状を記述する記述子を含むことができる。形状を表現し比較する方法は、Ｌｉｎ等により１９９９年６月４日に出願された米国特許出願第０９／３２６，７５９号「Ｍｅｔｈｏｄ  ｆｏｒ  Ｏｒｄｅｒｉｎｇ  Ｉｍａｇｅ  Ｓｐａｃｅ  ｔｏ  Ｒｅｐｒｅｓｅｎｔ  Ｏｂｊｅｃｔ  Ｓｈａｐｅｓ」において述べられており、動きアクティビティを記述する方法は、Ｄｉｖａｋａｒａｎ等により１９９９年９月２７日に出願された米国特許出願第０９／４０６，４４４号「Ａｃｔｉｖｉｔｙ  Ｄｅｓｃｒｉｐｔｏｒ  ｆｏｒ  Ｖｉｄｅｏ  Ｓｅｑｕｅｎｃｅｓ」において述べられている。より高レベルの表現を得るために、いくつかの低レベルの記述子を結合するより精巧な記述方式を考慮することができる。事実、これら記述方式は、他の記述方式を含むことさえ可能である。「ＭＰＥＧ−７  Ｍｕｌｔｉｍｅｄｉａ  Ｄｅｓｃｒｉｐｔｉｏｎ  Ｓｃｈｅｍｅｓ  ＷＤ（Ｖ１．０）」、ＩＳＯ／ＩＥＣ  Ｎ３１１３，Ｄｅｃｅｍｂｅｒ  １９９９およびＬｉｎ等により１９９９年８月３０日に出願された米国特許出願第０９／３８５，１６９号「Ｍｅｔｈｏｄ  ｆｏｒ  ｒｅｐｒｅｓｅｎｔｉｎｇ  ａｎｄ  ｃｏｍｐａｒｉｎｇ  ｍｕｌｔｉｍｅｄｉａ  ｃｏｎｔｅｎｔ」を参照のこと。
ＭＰＥＧ−７規格によって提供されるこれら記述子および記述方式により、トランスコーダによって導出され得ないビデオコンテントの特性にアクセスすることが可能になる。例えば、これら特性は、トランスコーダがアクセス不可能であると見なされた先取り情報を表現することができる。トランスコーダがこれら特性にアクセスすることができる唯一の理由は、特性がより早い段階でコンテントから導出されるため、すなわち、コンテントが前処理されその関連するメタデータと共にデータベースに格納されるためである。
情報自体は、構文的であっても意味論的であってもよい。この場合、構文的情報は、コンテントの物理的および論理的信号面を言い、意味論的情報は、コンテントの概念的意味を言う。ビデオシーケンスに対し、構文的要素は、特定のオブジェクトの色、形状および動きを言うことができる。一方、意味論的要素は、ビデオシーケンスにおけるイベントの時間および場所またはある人の名前等、低レベル記述子から抽出されることができない情報を言うことができる。
トランスコーディングの従来の方法に対する背景およびＭＰＥＧ−７規格の現状を考慮すると、両面からの情報を利用する改良されたトランスコーディングシステムを規定する必要がある。
発明の開示
圧縮ビデオをトランスコードする方法は、圧縮ビデオを階層レベルに分割し、その階層レベルの各々から特徴を抽出する。階層レベルから抽出された特徴によって、トランスコーダの多数の変換モードのうちの１つが選択される。そして、圧縮ビデオは、選択された変換モードにしたがってトランスコードされる。
発明を実施するための最良の形態
概論
圧縮された入力ビットストリームを変換、すなわち「スケーリング」することにより、目標レート、すなわちネットワークの利用可能ビットレート（ＡＢＲ）の圧縮された出力ビットストリームにすることができる、ビデオ配信システムについて述べる。また、圧縮された入力ビットストリームのバリエーションを配信する配信システムについて述べる。さらに、ビットストリームの低レベル特徴および識別子方式に基づくトランスコーディングについて述べる。本発明は、レート品質（ｒａｔｅ−ｑｕａｌｉｔｙ（ＲＱ））特性を最大にしながらトランスコーディングを実行することを目的とする。
通常、出力ビットストリームの目標レートは、入力ビットストリームのレートより低い。言い換えれば、本発明によるトランスコーダのタスクは、通常ネットワーク資源またはエンドユーザ装置の受信機負荷における制約のため、ビットストリームをさらに圧縮することである。種々のレベル、すなわち、プログラムレベル、ショットレベル、フレームレベルおよびビデオオブジェクトレベル、並びに下位領域レベルを含む領域のビデオに対する、コンテントベースのトランスコーディング技術について述べる。
本発明によるシステムは、従来からのトランスコーダの欠点、すなわち、特にリアルタイムアプリケーションにおけるレート変換の制限を克服することができる。従来からのトランスコーディング技術は、十分にレートを低減することができるが、コンテントの品質は通常ひどく劣化する。しばしば、ビットレートが低減されたビットストリームで伝送される情報がまったく喪失する。従来から、ビットストリーム「品質」は、入力ビットストリームと出力ビットストリームとの間のビット毎の差として測定される。
ビットストリームのコンテントの品質を維持しながら目標レートに達することができるトランスコーディング技術について述べる。
連続変換
従来からのフレームベースのトランスコーディング技術は、連続変換として定義することができる。従来からの技術は、空間的対時間的品質の最適なトレードオフを連続的に維持するよう試みるため、出力は、常に、入力シーケンスを最もよく表現するフレームのシーケンスである。レートに対する制約に合うために特定のフレームがスキップされると、スキップされたフレーム内に含まれる情報は考慮されない。多くのフレームがスキップされる場合、受信されるビットストリームはユーザにとって無意味であるか、または良くても満足のいかないものとなる。
品質歪み基準
従来からの連続変換トランスコーダは、空間的および時間的品質のトレードオフに関してレート−歪みという意味で最適な判断を行う。かかるトランスコーダでは、歪みは通常、ピーク信号対雑音比（ＰＳＮＲ）等、何れかの古典的な歪み評価基準となっている。かかる変換において、歪みはビットストリームのコンテントがいかに適当に伝送されているかの測度ではなく、むしろ元の入力ビットストリームと再構成された出力ビットストリームとの間のビット対ビットの差、すなわち品質の測度であるということは強調されなければならない。
ビットストリームの忠実性
低ビットレート制約の下でのビットストリームシーケンスをトランスコードする１つの実施の形態において、フレームの数が少ないビットストリームのコンテントを要約する。この場合、品質に焦点を合わせた古典的な歪み評価基準を使用しない。むしろ、「忠実性（ｆｉｄｅｌｉｔｙ）」と呼ぶ新しい評価基準を採用する。忠実性は、コンテントの意味論および構文を考慮する。意味論および構文は、ビットまたは画素を意味せず、例えば語、サウンド、ビデオのユーモアおよびアクションのレベル、ビデオオブジェクト等、ビットによって表される人間にとって意味のある概念を意味する。
忠実性は、多くの方法で定義することができる。しかしながら、忠実性は、本明細書で定義するように、従来からの量的な品質、例えばビット毎の差に関連していない。むしろ、本発明における忠実性は、元の画像シーケンスに含まれる情報、すなわち生のビットではなくコンテントまたは伝送される情報のより高レベルの意味を、１つのフレームまたは複数のフレームが伝送する程度を測定する。離散サマリトランスコーダ
忠実性は、従来からの歪み評価基準より主観的または意味論的測度である。しかしながら、本発明によるシステムでは、忠実性は、非慣用的なトランスコーダの性能を測定するための有用な測度である。１つの実施の形態による本発明のトランスコーダの出力は、ビットのシーケンス全体を要約しようと試みる比較的高品質なフレームの有限なセットであるため、このタイプのトランスコーダを「離散サマリトランスコーダ」と呼ぶ。
例えば、低ビットレートで、ビデオを表現する少数の高品質のフレームを選択する。この場合、ビットストリームの意味論的「意味」が保存される。この離散サマリトランスコーダは、入力ビットストリームの高レベル意味論的サンプリングを実行するが、連続トランスコーダは、空間的および時間的領域において量的に画素をサンプルするのみである、と言うことができる。ここでは、ビットレートが厳密に制限された状態で、ビットストリームにおいて符号化されたコンテントの忠実性を保存するために「リッチな（ｒｉｃｈ）」フレームをサンプルする。
リッチなフレームを選択的にサンプルするため、ビットストリームにおける１つの面、すなわち動きを喪失する可能性がある。好ましくは、離散サマリトランスコーディングに頼るのは、連続変換トランスコーダのレート歪み性能が非常に劣化しているか、または目標レートを達成することができない場合のみである。これらの状況では、従来からの連続変換トランスコーダは、情報配信のレートが安定しなくなりユーザを困惑させるほどフレームレートが低速であるため、流動的な動きを喪失する。
従来からの連続変換トランスコーディングに対する離散サマリトランスコーディングの主な利益は、厳しいレート制約における連続変換トランスコーダが情報の豊かなフレームをドロップする一方、離散サマリトランスコーダが情報の豊かなフレームを選択しようとする、ということである。
いずれのトランスコーダが所定の状況に対して最適であるかを制御するために、コンテントネットワーク装置（ＣＮＤ）マネージャについて説明する。ＣＮＤマネージャの目的は、いずれのトランスコーダを使用するか選択することである。選択は、コンテント、ネットワーク、ユーザ装置特性から取得されるデータに基づく。また、後の配信のためにビットストリームのバリエーションを生成するために、「オフライン（ｏｆｆ−ｌｉｎｅ）」モードにおいてこれら装置特性をシミュレートすることも可能である。
適応可能ビットストリーム配信システム
図３に示されているように、適応可能ビットストリーム配信システム３００は、４つの主な構成要素、すなわち、コンテントクラシファイア（コンテント分類器）３１０、モデルプレディクタ（モデル予測器）３２０、コンテントネットワーク装置マネージャ３３０および切換可能トランスコーダ３４０を含む。
システム３００の目的は、情報コンテントを含む圧縮ビットストリーム３０１をネットワーク３５０を通してユーザ装置３６０に配信することである。ビットストリームのコンテントは、ビジュアル、オーディオ、テキスト、自然、合成、プリミティブ、データ、複合またはそれらの組合せであってよい。ネットワークは、無線、パケット交換、または予測できない動作特性を有する他のネットワークでもよい。ユーザ装置は、ビデオ受信機、据置型または移動型の無線受信機、あるいはビットストリームの高品質受信を困難にする可能性のある内部資源制約がある他の同様のユーザ装置であってよい。
利点として、本システムは、ネットワークおよびユーザ装置特性を満たすためにビットストリームをさらに圧縮する必要がある場合であっても、コンテントの意味論的忠実性を維持する。
入力圧縮ビットストリームは、トランスコーダおよびコンテントクラシファイアに向けられる。トランスコーダは、最終的に、ネットワークを介してユーザ装置に向けられる出力圧縮ビットストリーム３０９のレートを低減することができる。
コンテントクラシファイア３１０は、マネージャのために入力ビットストリームからコンテント情報（ＣＩ）３０２を抽出する。コンテントクラシファイアの主な機能は、動きアクティビティ、ビデオ変化情報およびテクスチャ等、コンテント特性の意味論的特徴を、コンテントネットワークマネージャにおいてレート−品質トレードオフを行うために使用される１組のパラメータにマッピング（対応付け）することである。このマッピング機能を支援するために、コンテントクラシファイアは、メタデータ情報３０３を受入れることも可能である。メタデータは、低レベルおよび高レベルであってよい。メタデータの例には、新たなＭＰＥＧ−７規格で指定される記述子および記述方式が含まれる。
このアーキテクチャにおいて、モデルプレディクタ（モデル予測器）３２０は、ネットワーク３５０のダイナミクスおよびユーザ装置３６０のあり得る制約特性に関するリアルタイムフィードバック３２１を提供する。例えば、プレディクタは、ネットワーク輻輳および利用可能ビットレート（ＡＢＲ）を報告する。また、プレディクタは、ネットワーク内のパケット損失率に対するフィードバックを受信し変換する。プレディクタは、現ネットワーク状態と長期ネットワーク予測３２１とを推定する。典型的に、ユーザ装置は、資源が制限されている可能性がある。例えば、処理電力、メモリおよびディスプレイ制約である。例えば、ユーザ装置が携帯電話である場合、ディスプレイはテキスト情報かまたは低解像度画像に、もしくはより悪いことにはオーディオのみに制約されている可能性がある。また、これら特性は、トランスコーディングモダリティの選択に影響を与える可能性もある。
メタデータ３０３を受信することに加えて、マネージャ３３０はまた、コンテントクラシファイア３１０およびモデルプレディクタ３２０の両方から入力を受信する。ＣＮＤは、切換可能トランスコーダ３４０に対して最適なトランスコーディング戦略が決定されるように、これら２つの情報源からの出力データを共に結合する。
コンテントクラシファイア
パターン分析および認識の分野において、分類は、種々のレベルのビデオから特徴を抽出することによって達成することができる。例えば、プログラム特徴、ショット特徴、フレーム特徴およびフレーム内の下位領域の特徴である。特徴自体は、高性能の変換または単純な局所演算子を用いて抽出することができる。特徴がいかにして抽出されるかに関わらず、次元Ｎの特徴空間が与えられると、各パターンはこの特徴空間の点として表現することができる。
この抽出プロセスに対し入力として種々の異なるトレーニングパターンを与えること、および特徴空間において結果をプロットすることは、慣習的である。特徴セットおよびトレーニングパターンが適当であるとすると、「クラス」と呼ばれる点のいくつかのクラスタを観測する。これらクラスにより、異なるパターンを識別し同様のパターンをグループ化することができ、観測されたクラス間の境界を決定することができる。通常、クラス間の境界が分類誤りに対する損害に密着しており、誤り全体を最小限にするよう試みる。
適当なクラスが識別され、クラス間の適切な境界が引かれた後、ビットストリームにおいて新たなパターンを迅速に分類することができる。問題によって、これは、ニューラルネットワークかまたはサポートベクトルマシン（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ）等の他の周知の分類技術を用いて達成することができる。Ｃｒｉｓｔｉａｎｉｎｉ等による「Ａｎ  Ｉｎｔｒｏｄｕｃｔｉｏｎ  ｔｏ  Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅｓ，（ａｎｄ  ｏｔｈｅｒ  ｋｅｒｎｅｌ−ｂａｓｅｄ  ｌｅａｒｎｉｎｇ  ｍｅｔｈｏｄｓ）」、Ｃａｍｂｒｉｄｇｅ  Ｕｎｉｖｅｒｓｉｔｙ  ｐｒｅｓｓ，２０００を参照のこと。
コンテントクラシファイア３１０は、３段階（Ｉ，ＩＩ，ＩＩＩ  ３１１〜３１３）で動作する。第１に、高レベル意味論を推論することができるようにビットストリームコンテントを分類し、第２に、分類されたコンテントをネットワークおよびユーザ装置特性に適応させる。
第１段階（Ｉ）３１１において、例えば動きアクティビティ、テクスチャまたはＤＣＴ係数等の従来からの技術を用いて、圧縮されたビットストリームから多数の低レベル特徴を抽出する。また、ＭＰＥＧ−７記述子および記述方式等、メタデータ３０３にアクセスすることも可能である。メタデータが入手可能である場合、圧縮されたビットストリームに対して実行される必要のある作業が少なくなる。この第１段階の最終結果として、予め決められたコンテント特徴のセットが、意味論的クラスかまたは高レベルメタデータの有限セットにマッピングされる。さらに、各意味論的クラス内で、符号化の複雑度に基づいて識別を行う。すなわち、複雑度は、意味論的クラスおよびネットワーク特性と、あり得る装置特性とによって決まる。
このコンテントの高レベルな理解は、コンテント情報（ＣＩ）３０２としてＣＮＤマネージャ３３０に渡される。ＣＩ３０２は、部分的に、切換可能トランスコーダのこの実施の形態の潜在的な性能を特徴付ける。
上記分類は、コンテントの理解および最終的に離散サマリトランスコーディングという意味で有用であるが、中間段階の結果としても有用である。本質的に、分類の第２段階ＩＩ３１２への入力としての役割を果たす新たなクラスのセットがある。分類の第２段階では、ネットワークおよび装置特性の特徴に本発明の意味論的クラスをマッピングする。これら特徴は、トランスコーディング戦略を開発する際にシステムを支援するレート−品質関数の特性を決定する助けとなる。言い換えれば、オブジェクトの移動またはビデオの変化のためにある意味論的クラスが爆発的なデータによって特徴付けられていると推定できる場合、これは、どれくらいの資源をネットワークが提供すべきであるかを推定する場合に、説明されなければならない。第３段階３１３は、他の実施の形態に関して後述されている。
コンテントネットワーク装置マネージャ
コンテントネットワーク装置（ＣＮＤ）マネージャ３３０およびトランスコーダ３４０が、図４においてより詳細に示されている。ＣＮＤマネージャは、離散−連続制御４３１とコンテントネットワーク装置（ＣＮＤ）インテグレータ４３２とを含む。トランスコーダ３４０は、複数のトランスコーダ４４１〜４４３を含む。
コントロール４３１は、スイツチ４５０を使用して、入力圧縮ビットストリーム３０１がどのようにトランスコードされるべきであるか、例えば離散サマリトランスコーダ４４１によるか、連続変換トランスコーダ４４２によるか、または他のトランスコーダ４４３によるか、を決定する責任がある。また、ネットワークコンテントマネージャは、トランスコーダの目標レートに動的に適応し、ネットワークおよびユーザ装置の特性を制約する資源を考慮する。これら２つの非常に重要な項目は、コントロール４３１によって決定される。
コントロールがいかに最適な選択決定を行うかをより理解するために、図５は、レート５０１および品質５０２スケールに関連するレート−品質関数をグラフで示している。連続変換トランスコーダ４４２の１つのレート−品質関数は、凸関数５０３によって示されている。離散サマリトランスコーダ４４１のレート−品質曲線は、線形関数５０４によって表されている。他のトランスコーダは異なる関数を有している可能性がある。
なお、これら曲線は、例示の目的のためにのみ描かれているということは留意されるべきである。特定のトランスコーダに対する関数の真の形態は、コンテント、コンテントがいかに分類されたか、および可能性としてネットワークおよび装置の制約する特性の現在の状態によって、変化する可能性がある。明らかに、低ビットレートでは、連続変換トランスコーダは、上述した理由で品質が急速に劣化する。最適品質関数５０５は、太線で示されている。この関数は、所定のビットレートおよびユーザ装置に対して達成することができる最適な品質を最もよくモデル化している。
なお、トランスコーディング技術において、レート＝Ｔ５０６に交差点がある。Ｔより大きいレートは、連続変換トランスコーダを使用するために最適であり、Ｔより小さいレートは、離散サマリトランスコーダを使用するために最適である。当然ながら、交差点は、コンテントおよびネットワーク特性の変化に伴って動的に変化する。
上述したように、連続変換トランスコーダは、通常、ＰＳＮＲ等の古典的な歪み評価基準を想定する。かかる測度は、本発明による離散サマリトランスコーダには適用されないため、古典的な歪み評価基準を「忠実性」の測度にマッピングすることがより意味をなす。忠実性は、量的なビット毎の差ではなく、コンテントがいかに適切に意味論的に要約されるかを測定する。同じ品質評価基準が与えられると、最適なトランスコーディング戦略を決定する際にいかなる矛盾の発生をも防止する。
コンテントネットワーク装置インテグレータ
再び図４を参照すると、ＣＮＤインテグレータ４３２は、コンテントクラシファイア３１０からのコンテント情報３０２とモデルプレディクタからのネットワーク装置予測３２１とを共に結合するＣＮＤマネージャの一部である。図５に示されているレート−品質関数としてまたは他の同様の最適化関数として表現されたモデルを生成するのは、マネージャのこの部分である。最適な動作モデル３２１を形成するために、ＣＮＤインテグレータは、コンテントクラシファイアからのマッピングＣＩと切換可能トランスコーダ３４０から出力されるビットレートフィードバック３５１とを検査する。この情報を用いて、インテグレータは、いくつかのモデルパラメータを有する最適なモデリング関数５０５を選択する。パラメータを動的により精密にするために、レートフィードバック３５１が使用される。インテグレータは、選択されたモデルが最適でないことが分かった場合、レート−品質関数を動的に切替えるよう決定することができる。また、インテグレータは、異なるオブジェクトまたは異なるビットストリームに対しいくつかの関数を追跡し、別々にまたは一緒にそれら関数を考慮することができる。
ネットワーク予測の影響
ネットワーク予測３２１は、何らかの方法で最適曲線５０５のいくつかの部分を調整することにより、これら特性関数に作用することができる。例えば、より高いビットレートが利用可能である場合、最も注意する必要がある。ネットワークモデルにより、特定の瞬間において多数のビットを費やすことができるが、長期の結果によって、輻輳が急速に構築される可能性があることが分かることにより、本システムは、抑制してより低いレートで動作し続けるよう選択することができる。このように、利用可能ビットレートの急降下に関連した問題の発生を防止する。これらタイプの特性は、本発明によるトランスコーダの曲線を調整することによって考慮することができる。
装置制約の影響
また、装置特性も考慮される必要がある。移動型装置は据置型装置とは異なる動作特性を有し、例えば、ドップラ広がりによって高い利用可能ビットレートで性能が劣化する可能性がある。このため、低いビットレートが選択されなければならない。装置は、処理、記憶および表示能力が制限されている可能性があり、それらはトランスコーダに影響を与える可能性がある。例えば、ビデオをオーディオのみの装置に配信しても意味がない。事実、切換可能トランスコーダは、話し言葉をテキストに変換するか、またはデータを話し言葉に変換する等、他のトランスコーダ４４３を含むことができる。重要な点は、本切換可能トランスコーダがビットストリームコンテントの意味論および宛先装置を考慮し、大抵の従来技術によるトランスコーダは単に利用可能なビットレートを考慮するのみである、ということである。
フレームベーストランスコーダ
フレームベースでトランスコーディングを行う多数のトランスコーダの詳細は、従来技術において周知である。例えば、以下の米国特許出願、すなわち第５，９９１，７１６号「Ｔｒａｎｓｃｏｄｅｒ  ｗｉｔｈ  ｐｒｅｖｅｎｔｉｏｎ  ｏｆ  ｔａｎｄｅｍ  ｃｏｄｉｎｇ  ｏｆ  ｓｐｅｅｃｈ」、第５，９４０，１３０号「Ｖｉｄｅｏ  ｔｒａｎｓｃｏｄｅｒ  ｗｉｔｈ  ｂｙ−ｐａｓｓ  ｔｒａｎｓｆｅｒ  ｏｆ  ｅｘｔｒａｃｔｅｄ  ｍｏｔｉｏｎ  ｃｏｍｐｅｎｓａｔｉｏｎ  ｄａｔａ」、第５，７６８，２７８号「Ｎ：１  Ｔｒａｎｓｃｏｄｅｒ」、第５，７６４，２９８号「Ｄｉｇｉｔａｌ  ｄａｔａ  ｔｒａｎｓｃｏｄｅｒ  ｗｉｔｈ  ｒｅｌａｘｅｄ  ｉｎｔｅｒｎａｌ  ｄｅｃｏｄｅｒ／ｃｏｄｅｒ  ｉｎｔｅｒｆａｃｅ  ｆｒａｍｅ  ｊｉｔｔｅｒ  ｒｅｑｕｉｒｅｍｅｎｔｓ」、第５，５２６，３９７号「Ｓｗｉｔｃｈｉｎｇ  ｔｒａｎｓｃｏｄｅｒ」、第５，３３４，９７７号「ＡＤＰＣＭ  ｔｒａｎｓｃｏｄｅｒ  ｗｈｅｒｅｉｎ  ｄｉｆｆｅｒｅｎｔ  ｂｉｔ  ｎｕｍｂｅｒｓ  ａｒｅ  ｕｓｅｄ  ｉｎ  ｃｏｄｅ  ｃｏｎｖｅｒｓｉｏｎ」等の特許のいずれかを参照のこと。これらのいずれも、ビットストリームの意味論的コンテントおよびネットワーク特性によって特定のトランスコーディング戦略を選択する本発明による技術を述べていない。以下、選択することができるオブジェクトベースのビットストリームトランスコーダについて述べる。
この実施の形態の重要さは、実際のトランスコーディングがいかに実行されるかではなく、ビットストリームの意味論的コンテントの最適な配信を与える、トランスコーディング戦略の動的な選択を可能とすることである。
ここまで、連続変換トランスコーダおよび離散サマリトランスコーダを含む切換可能トランスコーダによって行うことができる種々のタイプのトレードオフについて述べてきた。これらトランスコーダの各々において、最適なレート−品質曲線が推定される。
オブジェクトベーストランスコーディング
ここで、連続変換トランスコーダのレート−品質曲線がいかにして導出されるか、およびＱＰおよびフレームスキップの量等、適切な符号化パラメータがいかにして決定されるかの詳細を述べる。また、この作業をＭＰＥＧ−４のコンテキストにまで拡張する。利用可能ビットレートおよび各ビデオオブジェクトの複雑度に基づいて、ビデオまたはシーンにおけるオブジェクトを適応可能にトランスコードまたはスケーリングするフレームワークについて述べる。
本発明による方式は、入力レート対出力レートの率によってレートを低減するために種々の技術が採用され得るという点で、適応性がある。本発明の目的は、複雑度が変化するオブジェクトに対し最適な全体的品質を提供することであるため、各オブジェクトの劣化は同じである必要はない。なお、上述したように、本明細書では、フレームではなくオブジェクトをパースする。
本システムの新規性は、複雑度およびサイズが変化する複数のオブジェクトをトランスコードすることができる、ということであるが、より重要なことは、本システムが、ビデオの全体的品質を最適化するために空間−時間的トレードオフを行うことができる、ということである。柔軟性を付加するために、オブジェクトベースのビットストリームに焦点を当てる。また、特定のオブジェクトの品質を操作するために利用可能な種々の手段について述べる。
留意すべき主な点は、オブジェクト自体が均一な品質でトランスコードされる必要はない、ということである。例えば、あるオブジェクトのテクスチャデータは、その形状情報をそのまま維持して低減することができるが、他のオブジェクトの形状情報は、そのテクスチャ情報をそのまま維持して低減することができる。また、フレームのドロッピングを含む他の多くの組合せを考慮することも可能である。例えば、ニュースクリップにおいて、前景のニュースキャスタに関する情報をそのまま維持して、背景に対しテクスチャおよび形状ビットと共にフレームレートを低減することが可能である。
オブジェクトベーストランスコーディングに対するビットストリームの品質
上述したように、従来からのフレームベーストランスコーダは、ビットレートを十分に低減することができる。しかしながら、コンテントの品質は非常に劣化する可能性があり、ビットレートが低減されたビットストリームで伝送される情報がすべて喪失する可能性がある。慣用的に、ビットストリーム「品質」は、入力ビットストリームと出力ビットストリームとのビット毎の差として測定される。
しかしながら、本発明によるオブジェクトベーストランスコーディングでは、ビデオ全体を操作するように制約されない。意味のあるビデオオブジェクトに分解されたビットストリームをトランスコードする。各オブジェクトの品質と共に、各オブジェクトの配信は、品質に対し異なる全体的な影響を与える、ということが理解される。本発明によるオブジェクトベース方式は、このより精細なアクセスレベルを有し、ストリーム全体の品質に大きく影響を与えることなく、１つのオブジェクトの空間−時間的品質のレベルを低減することが可能となる。これは、従来からのフレームベーストランスコーダによって使用されたものとはまったく異なる戦略である。
コンテントに関係なくビデオ全体のビット毎の差を測定する従来からのビットストリーム品質とは対照的に、「知覚的ビデオ品質（ｐｅｒｃｅｐｔｕａｌ  ｖｉｄｅｏ  ｑｕａｌｉｔｙ）」の概念を導入する。知覚的ビデオ品質は、意図された情報を伝送するビデオにおけるオブジェクトの品質に関連している。例えば、ビデオの背景は、より重要な前景オブジェクトの知覚的ビデオ品質に影響を与えることなく完全に喪失されることが可能である。
オブジェクトベーストランスコーディングフレームワーク
図６は、本発明の代替的な実施の形態によるオブジェクトベーストランスコーダ６００の高レベルブロック図を示す。トランスコーダ６００は、デマルチプレクサ６０１、マルチプレクサ６０２および出力バッファ６０３を含む。また、トランスコーダ６００は、制御情報６０４にしたがってトランスコーディング制御ユニット（ＴＣＵ）６１０によって動作される、１つまたは複数のオブジェクトベーストランスコーダ８００を含む。ユニット６１０は、形状、テクスチャ、時間的および空間的アナライザ６１１〜６１４を含む。
トランスコーダ６００に対する入力圧縮ビットストリーム６０５には、１つまたは複数のオブジェクトベースの基本ビットストリームが含まれる。オブジェクトベースビットストリームは、シリアルであってもパラレルであってもよい。ビットストリーム６０５の合計ビットレートは、Ｒｉｎである。トランスコーダ６００からの出力圧縮ビットストリーム６０６は、Ｒｏｕｔ＜Ｒｉｎとなるような合計ビットレートＲｏｕｔを有する。
マルチプレクサ６０１は、オブジェクトベーストランスコーダ８００の各々に対し１つまたは複数の基本ビットストリームを提供し、オブジェクトベーストランスコーダ８００は、ＴＣＵ６１０に対しオブジェクトデータ６０７を提供する。トランスコーダ８００は、基本ビットストリームをスケーリングする。スケーリングされたビットストリームは、出力バッファ６０３に渡される前にマルチプレクサ６０２によって構成され、出力バッファ６０３から受信機に送信される。また、バッファ６０６は、ＴＣＵに対しレートフィードバック情報６０８を提供する。
上述したように、トランスコーダ８００の各々に渡される制御情報６０４は、ＴＣＵによって提供される。図６に示されているように、ＴＣＵは、時間的および空間的解像度と同様にテクスチャおよび形状データの分析に対して責任がある。これらの新しい自由度すべてにより、オブジェクトベーストランスコーディングフレームワークがネットワークアプリケーションに対して非常に一意でありかつ望ましいものとなる。ＭＰＥＧ−２およびＨ．２６３符号化規格と同様、ＭＰＥＧ−４は、動き補償およびＤＣＴを使用してビデオの空間−時間的冗長性を活用する。結果として、本発明によるオブジェクトベーストランスコーダ８００の中心は、上述されたＭＰＥＧ−２トランスコーダの適応である。主な違いは、ここでは形状情報がビットストリーム内に含まれており、テクスチャ符号化に関連して、ブロック内（Ｉｎｔｒａ  ｂｌｏｃｋｓ）のＤＣおよびＡＣを予測するためにツールが提供されている、ということである。
また、テクスチャのトランスコーディングが実際に形状データに依存している、ということに留意することも重要である。言い換えれば、形状データは、単純にパース（ｐａｒｓｅ）して取除いて無視することができない。すなわち、コンプライアントな（ｃｏｍｐｌｉａｎｔ）ビットストリームの構文は、復号化された形状データによって決まる。
明らかに、本発明によるオブジェクトベースの入力および出力ビットストリーム６０１、６０２は、従来からのフレームベースのビデオプログラムとは完全に異なっている。また、ＭＰＥＧ−２は、動的なフレームスキッピングを可能としない。そこでは、通常、ＧＯＰ構造および基準フレームが固定されている。
テクスチャモデル
エンコーダにおけるレート制御のためのテクスチャモデルの使用は、従来技術において広く述べられてきた。例えば、Ｖｅｔｒｏ等による「ＭＰＥＧ−４  ｒａｔｅ  ｃｏｎｔｒｏｌ  ｆｏｒ  ｍｕｌｔｉｐｌｅ  ｖｉｄｅｏ  ｏｂｊｅｃｔｓ」、ＩＥＥＥ  Ｔｒａｎｓ．ｏｎ  Ｃｉｒｃｕｉｔｓ  ａｎｄ  Ｓｙｓｔｅｍｓ  ｆｏｒ  Ｖｉｄｅｏ  Ｔｅｃｈｎｏｌｏｇｙ，Ｆｅｂｒｕａｒｙ  １９９９およびその参照文献を参照のこと。
オブジェクトベーストランスコーダ８００で使用されるようなテクスチャモデルにおいて、変数Ｒはビデオオブジェクト（ＶＯ）のために費やされるテクスチャビットを表し、変数Ｑは量子化パラメータＱＰを示し、変数（Ｘ１，Ｘ２）は１次および２次モデルパラメータであり、変数Ｓは差分絶対値和等、符号化複雑度を示す。ＲとＱとの関係は以下の式によって与えられる。
0004650868.tif 000002
ＶＯに割当てられる目標のビットの量とＳの現在の値が与えられると、Ｑの値は、（Ｘ１，Ｘ２）の現在の値によって決まる。ＶＯが符号化された後、費やされるビットの実際の数が知られ、モデルパラメータを更新することができる。これは、先行するｎフレームの結果を使用して線形回帰によって行うことができる。テクスチャ分析
Ｑ、すなわち元のＱＰのセットとビットの実際の数とが既に与えられているという点で、トランスコーディング問題は異なる。また、空間的領域から符号化複雑度Ｓを計算するのではなく、新たなＤＣＴベースの複雑度
0004650868.tif 000003
0004650868.tif 000004
ここで、Ｂｍ（ｉ）はブロックのＡＣ係数であり、ｍは符号化ブロックの集合Ｍにおけるマクロブロック指数であり、Ｍｃはその集合におけるブロックの数であり、ρ（ｉ）は周波数依存重みである。複雑度測度は、ＡＣ係数のエネルギを示し、そこでは高周波数成分の寄与は重み関数によって低減される。この重み関数は、ＭＰＥＧ量子化マトリクスのそれをまねるように選択することができる。
ビットストリームで送信されるデータと過去のビデオオブジェクトからのデータとから、モデルパラメータを決定することができ、継続的に更新することができる。実際、トランスコードされたＶＯＰ毎に２回、すなわち、ビットストリームのデータを使用してトランスコードする前に１回、その後ＱＰの新たな集合Ｑ’でテクスチャを符号化した後に再び、モデルを更新することができる。このようにデータ点の数が増大することにより、モデルパラメータはより頑強でかつより早く収束する。
本発明によるテクスチャ分析の主な目的は、歪みを最小限にしながらレート制約を満足させるＱ’を選択することである。しかしながら、最適さはＱによって決まる、ということを留意することは重要である。したがって、いかに歪みが量子化されるかに気を付けなければならない。この点から、Ｑに依存することからこの歪みを条件付き歪みと呼ぶ。
Ｑ’を決定する１つの方法は、レート制御問題で使用されるものと同じ方法論を利用することである。この方法では、まず特定の瞬間ですべてのＶＯＰのバジェットを推定し、パッファの現在のレベルを考慮するよう目標を調整し、各オブジェクトにこのビットの合計を分散させる。これらオブジェクトベースの目標ビットレートが与えられると、本発明によるテクスチャモデルからＱＰの新たな集合を決定することができる。この方法の主な問題は、ビットの分散が頑強であることをあてにする、ということである。概して、分散は頑強でなく、新たなＱＰは元のＱＰとは無関係に計算されているため、本発明による条件付き歪みを制御する能力が喪失する。
条件付き歪み
この問題を克服するため、および、Ｑに依存するある方法でＱ’を解くことを試みるため、動的プログラミングに基づく方法を説明する。元の品質に可能な限り近い品質を維持するために、各オブジェクトのＱＰの変化は可能な限り少なくなければならない。これが与えられると、条件付き歪みは以下のように定義することができる。
0004650868.tif 000005
ここで、ｋはＶＯＰの集合ＫにおけるＶＯＰ指数を示し、αｋはオブジェクトｋの視覚的有意性または優先度を表す。なお、Ｄ（Ｑ）は明示的に指定されていないが、Ｑに比例することが分かっている。視覚的有意性は、オブジェクトの相対的なサイズおよび複雑度の関数とすることができる。
ＱＰ探索空間
すべてのｋ＞に対してＱ’ｋ≧Ｑｋであるということを留意することは重要である。したがって、解空間は、図７に示されている有効解空間に制限される。図７において、ｘ軸は、ビデオオブジェクトを示し、７０１、およびｙ軸はＱＰを示す。また、この図は、有効探索空間７１０、制約された探索空間７１１、有効パス７１２および無効パス７１３を示す。
条件付き歪みに対する上記量子化が与えられると、図７のトレリスを通して最適パスを探索することにより本問題を解決する。図７では、有効ＱＰはトレリスのノードであり、各ノードは推定されたレートおよび条件付き歪みに関連している。公式上、問題は次のように示すことができる。
0004650868.tif 000006
制約された問題を制約されていない問題に収束することでこの問題が解決する。ここでは、レートおよび歪みが、ラグランジェ乗数λを介して併合される。あらゆるλ≧０に対し、常に最適な解を見つけることができる。レートに対する制約を満足するλの値を決定するために、周知の２分探索アルゴリズムを使用することができる。ＲａｍｃｈａｎｄｒａｎおよびＶｅｔｔｅｒｌｉによる「Ｂｅｓｔ  ｗａｖｅｌｅｔ  ｐａｃｋｅｔ  ｂａｓｅｓ  ｉｎ  ｔｈｅ  ｒａｔｅ−ｄｉｓｔｏｒｔｉｏｎ  ｓｅｎｓｅ」、ＩＥＥＥ  Ｔｒａｎｓ．Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ，Ａｐｒｉｌ  １９９３を参照のこと。
考慮された探索空間が、ＭＰＥＧ−２トランスコーディングアルゴリズムで見つかるものよりも非常に小さいということを強調することは重要である。そこでは、すべてのマクロブロックに対し量子化の最適な集合を見つける試みがなされる。ここでは対照的に、オブジェクトベースの量子化のみを探索する。このため、本発明による方法は非常に実際的である。
時間的分析
概して、フレームをスキップする目的は、バッファオーバフローおよび最終的にはパケットの損失が防止されるようにバッファ占有レベルを低減することである。フレームをスキップする他の理由は、空間的品質と時間的品質とのトレードオフを可能にすることである。この方法では、符号化されるフレームが少なくなるが、それらはより高品質に符号化される。したがって、バッファがオーバフローする危険が無い場合、フレームをスキップするための判断はＱＰ選択プロセスに組込まれる。
ＱＰの集合に対し有効解空間を探索する、ＱＰ選択のための提案された技術から構築することで、解空間を制約することによりこの空間−時間的トレードオフに達成する。図７に示されているように、有効パスは、Ｑのすべての要素が制約された領域に入るものである。これら要素の１つがその領域外に出ると、パスは空間的品質のある指定されたレベルを維持していないということで無効である。空間的品質は、条件付き歪みによって暗示される。
特定のオブジェクトの最大ＱＰを決定するために、異なる基準を使用することができる。例えば、最大値は、オブジェクト複雑度の関数または単に入力ＱＰのパーセンテージとすることができる。最大値が複雑度に基づいている場合、トランスコーダは、空間的品質に対するそれらの影響が最も厳密であるため、本質的に高い複雑度を有するそれらオブジェクトをより小さいＱＰに制限する。一方、入力ＱＰに基づく複雑度を制限することは、トランスコーダが最初に符号化されたビットストリームと同様のＱＰ分散を維持する、ということを意味する。両方法が有効である。各オブジェクトに対しＱＰを制限する最適な方法を決定するためのトレードオフは、空間的品質と時間的品質とのトレードオフによって決まる可能性がある。
当然ながら、オブジェクトベースデータを扱う利点の１つは、あるオブジェクトの空間的品質が他と異なってよい、ということである。この方法では、例えば静止した壁等、背景オブジェクトをスキップすることによりビットを節約することができる。しかしながら、オブジェクトはしばしばばらばらであるため、あるオブジェクトの時間的解像度を低減することにより、組立てられたビデオに穴がもたらされる可能性がある。すべてのＶＯＰが同じ時間的解像度を有するという制約を課すことにより、この問題を低減することができる。
形状分析
ビデオオブジェクトの形状データをトランスコードする際の問題を説明するために、テクスチャ情報がいかにしてトランスコードされるかを想起する。テクスチャのためのレートは、データの部分的復号化によって低減することができる、ということは周知である。大抵の場合、この部分的復号化には、少なくとも可変長復号化（ＶＬＤ）動作の実行が必要である。逆量子化および逆ＤＣＴは、省略することができる。
しかしながら、形状データに対し、これは当てはまらない。ＭＰＥＧ−４において、形状データは、いわゆるコンテキストベースの算術符号化によって各ブロック単位で符号化される。Ｂｒａｄｙによる「ＭＰＥＧ−４  ｓｔａｎｄａｒｄｉｚａｔｉｏｎ  ｍｅｔｈｏｄｓ  ｆｏｒ  ｔｈｅ  ｃｏｍｐｒｅｓｓｉｏｎ  ｏｆ  ａｒｂｉｔｒａｒｉｌｙ  ｓｈａｐｅｄ  ｏｂｊｅｃｔｓ」、ＩＥＥＥ  Ｔｒａｎｓ  Ｃｉｒｃｕｉｔｓ  ａｎｄ  Ｓｙｓｔｅｍｓ  ｆｏｒ  Ｖｉｄｅｏ  Ｔｅｃｈｎｏｌｏｇｙ，Ｄｅｃｅｍｂｅｒ  １９９９を参照のこと。このアルゴリズムを用いて、選択されたモードによって、９ビットまたは１０ビットの因果（ｃａｕｓａｌ）テンプレートに基づいて、各画素に対するコンテキストが計算される。このコンテキストは、確率ルックアップテーブルにアクセスするために使用され、それによってブロック内の確率のシーケンスが算術エンコーダを駆動する。
テクスチャとは対照的に、画素領域とビットストリームとの間に中間表現が無いため、形状の部分的復号化は不可能である。したがって、形状データの解像度を操作するために、データは完全に復号化されなければならない。復号化後、Ｖｅｔｒｏ等によって１９９９年１０月１日に出願された米国特許出願第０９／４１０，５５２号「Ｅｓｔｉｍａｔｉｎｇ  Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ  Ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ  ｏｆ  Ｂｉｎａｒｙ  Ｓｈａｐｅ  Ｄａｔａ」において述べられているようなモデルを使用して、形状のレート−歪み特性を評価することができる。
空間的分析
レートを低減する他の手段は、サブサンプリングによって解像度を低減することである。ＭＰＥＧ−４規格のバージョン２において、動的解像度変換（ＤＲＣ）と呼ばれるツールがＭＰＥＧ−４規格に採用されている。このツールを用いて、他のより重要なまたは空間的にアクティブなオブジェクトの解像度を維持しながら、あるオブジェクトの解像度、すなわち空間的品質を低減することが可能である。
アーキテクチャ
図８は、本発明によるオブジェクトベーストランスコーダ８００の構成要素を示す。従来技術におけるトランスコーディングアーキテクチャと同様に、符号化規格の構文は、幾分かトランスコーダ８００のアーキテクチャを述べる。ここで、ＭＰＥＧ−４規格を鑑みて本発明によるトランスコーダの主な特徴を述べ、これら特徴を従来からのフレームベースのトランスコーディングと対比させる。
トランスコーダ８００は、ＶＯＬ／ＶＯＰパーサ８１０、形状スケーラ８２０、ＭＢヘッダパーサ８３０、動きパーサ８４０およびテクスチャスケーラ８５０を含む。また、トランスコーダは、基本ビットストリーム８０１のあらゆる部分をビットストリームメモリ８７０に転送するバス８６０を含む。この大域記憶域から、基本ビットストリーム構成ユニット８８０は、ＭＰＥＧ−４規格に従うレートが低減された圧縮ビットストリームを形成することができる。出力基本ビットストリーム８０９は、図６のマルチプレクサに供給される。
ＭＰＥＧ−４において、各オブジェクトの基本ビットストリームは、他のビットストリームとは無関係である。その結果、各オブジェクトは、ビデオオブジェクトレイヤ（ＶＯＬ）およびビデオオブジェクトプレーン（ＶＯＰ）ヘッダに関連している。ＶＯＰヘッダは、オブジェクトを符号化するために使用された量子化パラメータ（ＱＰ）を含む。各オブジェクトのＱＰは、後に、テクスチャ情報のモデリングおよび分析に使用される。図６の出力ビットストリーム６０６を構成する時間になるまで、他の全てのビットは、ビットストリームメモリ８７０に格納される。
他の規格と最も重大な差は、ＭＰＥＧ−４はオブジェクトの形状を符号化することができる、ということである。ＶＯＰレイヤから、ＶＯＰが形状情報（バイナリ）を含むか含まない（矩形）８１２かが分かる。矩形ＶＯＰである場合、オブジェクトは単純に矩形フレームであり、形状ビットをパースする必要はない。バイナリ形状である場合、マクロブロックが透明であるか否かを決定する８１３必要がある。透明なブロックは、オブジェクトの文字枠内にあるが、オブジェクト境界の外側にあるため、それに関連する動きまたはテクスチャ情報は無い。
形状スケーラ８２０は、３つの下位構成要素、すなわち、形状デコーダ／パーサ８２１、形状ダウンサンプラ８２２および形状エンコーダ８２３からなる。ビットストリームの形状情報がスケーリングされていない場合、形状デコーダ／パーサは、単純に形状パーサである。これは、トランスコーダ制御ユニット６１０のＲ−Ｄ形状分析６１１から受信された制御情報６０４によって示される。また、この場合、形状ダウンサンプラ８２２および形状エンコーダ８２３は、ディスエーブルされる。形状情報がスケーリングされている時、形状デコーダ／パーサ８２１は、まず形状情報を復号化してその画素領域表現にしなければならない。形状のレートを低減するために、ブロックは、形状ダウンサンプラ８２２を用いて２または４の係数によりダウンサンプルされ、その後形状エンコーダ８２３を用いて再符号化されることが可能である。変換の割合は、Ｒ−Ｄ形状分析６１１によって決定される。形状ビットが単純にパースされたがスケーリングされたかに関わらず、形状スケーラ８２０の出力は、ビットストリームバス８６０を介してビットストリームメモリ８７０に転送される。
形状ビットと異なり、ＭＰＥＧ−４構文の残りは、いくつかの例外をもってＭＰＥＧ−２のそれと幾分か類似している。マクロブロック（ＭＢ）レイヤにおいて、符号化ブロックパターン（ＣＢＰ）を含むビットが存在する。ＣＢＰは、マクロブロックのいずれのブロックが少なくとも１つのＡＣ係数を含むかをデコーダに通知するために使用される。ＣＢＰは、ビットストリームの構造に影響を与えるのみでなく、イントラ（Ｉｎｔｒａ）ＡＣ／ＤＣ予測にも影響を与える。トランスコーダがこのパラメータに関係しなければならない理由は、ＣＢＰはＤＣＴブロックの再量子化にしたがって変化するためである。この理由で、ブロックが再量子化された後にＣＢＰを再計算し、すなわち、テクスチャスケーラのＣＢＰ再計算ユニット８５６がこれを達成する。ユニット８５６は、ビットストリームバス８６０を介して可変長符号（ＶＬＣ）８５５をビットストリームメモリ８７０に送信することにより、入力ビットストリームに存在したヘッダを置換える。
適切な復号化パラメータを抽出するために基本ビットストリームをパースした後、続けてテクスチャブロックを部分的に復号化する８５１。このプロセスの結果は、ＤＣＴブロック係数である。空間的（リサイズ）分析が可能である場合、オブジェクトは、２または４の係数によってダウンサンプルすることができる。ブロックをダウンサンプルする能力は、トランスコーディング制御ユニット６１０によって示され、ダウンサンプリング係数は空間分析６１４によって示される。さらに、このダウンサンプリングは、ＩＤＣＴ／ＤＣＴ動作を避けることができるように、ＤＣＴ領域で実行される。Ｂａｏ等に対し１９９８年１１月１０日に発行された米国特許第５，８５５，１５１号「Ｍｅｔｈｏｄ  ａｎｄ  ａｐｐａｒａｔｕｓ  ｆｏｒ  ｄｏｗｎ−ｃｏｎｖｅｒｔｉｎｇ  ａ  ｄｉｇｉｔａｌ  ｓｉｇｎａｌ」を参照のこと。そして、ＤＣＴブロックは、係数メモリ８５３に一時的に格納される。このメモリから、ブロックは量子化器８５４に送信され、量子化器８５４は、Ｒ−Ｄテクスチャ分析６１２から送信されたＱＰにしたがってブロックを量子化する。それは、新たな目標レートに合うように本発明において述べられている技術を用いる。
オブジェクトをスキップするために、空間的分析６１３は、いずれのビットが構成され送出されるか、およびいずれのビットがドロップされるべきであるかをビットストリーム構成８８０ユニットに示す。この方法では、このメモリに書込むことができるビットストリームの部分は、次のビデオオブジェクトのデータにより単純に上書きされる。
実現および処理
特定の実施の形態に関して、トランスコーダ８００のアーキテクチャは１つのオブジェクトに対する構成要素を示す、ということは留意されるべきである。極端な場合、図６に示されるように、複数のトランスコーダにより複数のオブジェクトをスケーリングすることができる。マルチスレッド実行を考慮するソフトウェア実現では、これは最も有効な方法となり得る。ソフトウェア実現での挑戦は、考慮されている各オブジェクトに対し適当な量のＣＰＵ処理を割当てる、ということである。
しかしながら、ハードウェア実現に対しては、場合が非常に異なる。ハードウェア設計者は、通常、特定の機能性を操作する１つのロジックを有することを好む。例えば、ハードウェア設計は、受信することができる最大数のＭオブジェクトに対しＭ個の動きパーサを実現するのではなく、複数オブジェクトが所定の瞬間にパースされることが可能であるよう、ある速度で動作する１つの動きパーサを含む。当然ながら、オブジェクトの数がパーサのスループットを超える場合、並列パーサを使用することも可能である。主な点は、要求されるパーサの数を、受信される総オブジェクトより少なくすることができ、計算が並列パーサ間に分散される、ということである。この概念は、トランスコーダ８００のすべてのサブブロックに対して適用される。
階層的キューレベル
ここで、トランスコーディンダがビデオの種々のレベルから抽出される特徴にしたがっているシステムについて説明する。概して、図９に示されているように、ビデオはｃｏｕｒｓｅ−ｔｏ−ｆｉｎｅ階層９００に分割することができる。ビデオプログラムまたはセッション９１０は、階層９００の最高レベルであるとみなされる。このレベルは、同報通信ネットワークからの３０分ニュースプログラムかまたはまる１日分のプログラミングを表すことができる。プログラム９１０は、ショットＳｈｏｔ−１，…，Ｓｈｏｔ−ｎ９１１〜９１９のシーケンスを含む。
次のレベル９２０は、ショットに分割される。「ショット」は、グループオブフレーム（ＧＯＦ）か、またはグループオブビデオオブジェクトプレーン（ＧＯＶ）９２１〜９２９とすることができる。このレベルは、カメラが回された時に開始しカメラがオフされるまで続くビデオのより小さいセグメントを表す。いかなる混乱も避けるために、このレベルを単純にショットレベル９２０と呼ぶことにする。
ショットは、最も基本の単位、すなわちＧＯＦの場合はフレーム９３０、ＧＯＶの場合はビデオオブジェクトプレーン（ＶＯＰ）９３１からなる。また、この下に他のレベルを考慮することもでき、それはフレームまたはＶＯＰの下位領域９４１〜９４２である。
ビデオプログラム階層９００の各レベルにおいて、レベルの各々におけるビデオデータに対し特徴抽出プロセス９０１〜９０４を適用する。当然ながら、各レベルのデータが異なる方法で配置されており、適当な特徴がレベル毎に変化するため、各レベルに異なる特徴抽出技術が適用される。すなわち、プログラムレベルの特徴は、フレームの特徴とは異なる方法で抽出される。
本発明のトランスコーダのコンテキストにおいて、これらの特徴は、トランスコーディングシステムに適用することができる「ヒント」または「キュー」９０５〜９０８を表す。これらヒントは、意味論的であっても構文的であってもよく、高レベルまたは低レベルのメタデータのいずれも表現することができる。
なお、いかなる所定のレベルにおけるトランスコーディングに対してもメタデータを適用することができる、ということは理解されなければならない。概して、ショットレベル等、より高レベルのデータのメタデータは、その特定のショットについておよび他のショット間での分類、ビット割当ておよびレート−品質を考慮する際に使用される。この場合、メタデータは、トランスコーダに対し使用が限定されているが、全出力コンテント間のトランスコーディング戦略を決定する図３のＣＮＤマネージャ３３０に対して非常に有用である。対照的に、オブジェクトレベル等、低レベルデータのメタデータは、かかる低レベルで出力コンテントを分類し管理することが困難であるため、動的ビット割当てを支援するために，トランスコーダ３４０自体に対してより有用であることが可能である。
以下、低レベル特徴が、いかにクラスタ化（分類）されレート−品質トレードオフに関連する意味のあるパラメータにマッピングされることができるか、について説明する。これらクラスタリング方法を説明する際に、主にコンテントの高レベル分類に焦点を合わせるが，低レベル分類もまた含まれてよい。次に、ハイブリッド離散サマリおよび連続変換トランスコーダについて述べられている。再び、ＣＮＤマネージャにおいて高レベル（ショットレベル）メタデータを使用することに主に焦点を当てて、本技術が説明されている。しかしながら、離散サマリトランスコーダにおいてかかるメタデータを考慮することも可能である。最後に、メタデータを使用していかにトランスコーディングを管理するかについて説明する。述べられているように、これは、管理段階およびトランスコーディング段階の両方に等しく適用可能である。
コンテントクラシファイア：段階ＩＩＩ
図３に対し先に述べられているように、コンテントクラシファイア３１０の主な機能は、アクティビティ、ビデオ変化情報およびテクスチャ等、コンテント特性の特徴を、レート−品質トレードオフを行うために使用するパラメータのセットにマッピングすることである。このマッピング機能を支援するために、コンテントクラシファイアは、メタデータ情報３０３もまた受け入れる。メタデータの例には、新たなＭＰＥＧ−７規格によって指定される記述子および記述方式（ＤＳ）が含まれる。
コンテントクラシファイア３１０の段階ＩＩＩ３１３において、かかる低レベルメタデータは、コンテントのみに依存しているレート−品質特性にマッピングされる。これは、図１０に示されている。レート−品質特性は、図５に示されるレート−品質関数に対し順次影響を与える。
コンテントクラシファイア３１０は、低レベルメタデータ３０３を受信する。段階Ｉ３１１は、高レベルメタデータまたはクラス１００１を抽出する。段階ＩＩ３１２は、予測３２１を使用して、コンテント、ネットワークおよび装置依存のレート−品質（Ｒ−Ｑ）特性を決定する。段階ＩＩＩ３１３は、低レベルメタデータのみに依存するＲ−Ｑ特性１００３を抽出する。
例として、ＭＰＥＧ−７における動きアクティビティ記述子の空間的分散パラメータが、いかにして、プログラムのビデオセグメントの同様な動きアクティビティおよび空間的分散のカテゴリへの分類を可能にするかについて説明する。
ニュースプログラムを考える。ニュースプログラムは、総合司会者およびさらにニュース全体に関係する種々の他のショットを含む。
図１１（ａ）〜（ｂ）、図１２及び図１３に示されている例は、３つのショット１２０１〜１２０３、すなわち総合司会者ショット、シーン上のリポータショットおよび警察追跡ショットを含むニュースプログラム１２００を考慮している。例を簡単にするために、実際に適用する場合はカテゴリの数および種類が異なるということを理解した上で、全ニュースプログラムショットを３つのみのカテゴリに分類する。
第１クラス１１０１は、コンテントの時間的品質が空間的品質より重要でないショットを表す。第２クラス１１０２は、コンテントの空間的品質がより重要であるショットを表し、第３クラス１１０３は、ショットの空間的および時間的品質が等しく重要であるショットを表す。
このクラスのセットは、ＳＥＴ−１  １１１０と呼ばれる。かかるクラスは、明らかにレートおよび品質の特性である。コンテントクラシファイアの段階ＩＩＩ３１３の目的は、低レベル特徴を処理し、これら特徴をこれらクラスの最も適切なものにマッピングすることである。なお、空間的および時間的品質の重要性は、１〜１０の基準かまたは実数間隔０．０〜１．０で評価することもできる、ということは留意されるべきである。
これらレート−品質クラスをさらに説明するために、図１１（ｂ）に示されるような３つの明確なクラスの他のセットを考慮する。第１クラス１１２１は、ショットが圧縮するために非常に単純である、すなわち、所定の歪みに対し大きい圧縮率を容易に達成することができることを示す。第３クラス１１２３は、完全に反対、すなわち、ショットのコンテントが大きい／複雑な動きかまたは空間的にアクティブなシーンのいずれかにより、圧縮することが非常に困難であることを示す。第２クラス１１２２は、第１クラスと第３クラスとの間のどこかである。このクラスのセットは、ＳＥＴ−２  １１２０と呼ばれる。クラスの他のセット１１１０と同様、これらクラス１１２０もまた、コンテント分類が、ＣＮＤマネージャ３３０によって行われるレート−品質判断に対して与える可能性のある影響と、切換可能トランスコーダ３４０がいかに動作することができるかと、を示す。上記のように、圧縮困難性は、数値で表す評価基準によって分類することができる。なお、他のタイプのビデオプログラムに対して他のクラスのセットを定義することができる、ということは理解されるべきである。
ここまで、レート−品質クラスの２つの例、すなわちＳＥＴ−１およびＳＥＴ−２について説明した。コンテントは、低レベルメタデータ３０３から抽出される特徴にしたがってこれらのクラスに分類される。以下、これらクラスを動きアクティビティからいかにして導出することができるかについて説明する。
大抵のニュースプログラムに対し、総合司会者ショットすべてを分析することにより、比較的低い動きを暗示する同様の動きアクティビティパラメータが生成される、ということが期待される。このデータが与えられ、ＳＥＴ−１  １１１０を想定すると、かかるコンテントを第２クラス１１０２（空間的品質の重要性＞時間的品質の重要性）に分類することができる。さらに、全警察追跡および同様のショットすべてが、第１クラス１１０１（時間的品質の重要性＞空間的品質の重要性）に分類されることを期待することができる。最後に、シーン上のリポータの背景アクティビティ次第で、このタイプのショットは、３つの利用可能なクラスのうちのいずれの１つにも分類することができる。例の目的のために、このショットは第３クラスに分類される。
図１２は、ＳＥＴ−１の分類に従うトランスコーディング戦略を示す。総合司会者ショット１２０１は、離散サマリトランスコーダ１２１０を用いてトランスコードされる。図４のブロック４４１を参照のこと。このトランスコーダは、ショット１２０１全体を１つのフレーム１２１１、すなわち総合司会者の静止画像に低減する。ショットの持続時間、話している総合司会者の全オーディオ部分が提供される。
シーンショット上のリポータ１２０２は、見る人に対し背景の動きの意味が失われないように、５フレーム／秒で１２２１フルオーディオで連続的に変換される。
また、警察追跡ショット１２０３は、３０フレーム／秒で１２３１連続的に変換される１２３０。
いかなる場合も、コンテントクラシファイアがコンテントを記述したメタデータにアクセスすることができるか、またはコンテント自体から直接データを導出するかに関わらず、この情報の有用性は、ＣＮＤマネージャが最終的に行わなければならないレート−品質トレードオフを鑑みて直接理解することができる。
上記例と対照的に、代りに同じプログラム１２００とＳＥＴ−２  １１２０分類を想定した場合、図１３に示されるように、分類結果は異なって解釈される可能性がある。ＳＥＴ−２を使用することにより、総合司会者ショット１２０１の動きが無いことにより、セグメントは非常に容易に圧縮することができ、そのため、それはＳＥＴ−２の第１クラス１１２１に分類される。このショットは、３０フレーム／秒で１２４１高圧縮率で連続的に変換される１２４０。しかしながら、警察追跡ショット１２０３は、高い動きを含み、圧縮がより困難である。したがって、それは、ＳＥＴ−２の第３クラス１１２３に分類される。それは、７．５フレーム／秒で１２６１連続的に変換される１２６０。再び、シーン上のリポータを含むショット１２０２の特性次第で、それは、３つのクラスのうちのいずれの１つにも入ることができる。例の目的のために、それは、第２クラス１１２２に割当てられ、１５フレーム／秒で１２５１連続的に変換される１２５０。
なお、ヒントは、固定かまたは可変レートビットストリーム（ＣＢＲまたはＶＢＲ）のいずれをも生成することができる、ということは留意されるべきである。例えば、分類が圧縮困難性に基づいている場合（ＳＥＴ２）、フレームのシーケンスを圧縮する困難性に対し低フレームレートが課されている場合、ＣＢＲビットストリームが生成されることが可能であり、より多くのビットが割当てられる場合、ＶＢＲビットストリームが生成されることが可能である。
以下のパラグラフにおいて、トランスコーディング戦略を生成するためにいかにしてこれら異なる分類を使用することができるかについて述べる。
ハイブリッド連続変換および離散サマリトランスコーディング
各クラスによって意味されるレート−品質マッピングは、特定のアプリケーションによって広く変更することができる、ということは強調されるべきである。上記例において、空間的および時間的品質は、ビデオを圧縮する困難性か、または空間的および時間的品質に割当てられる優先度のレベルによって影響を受ける可能性がある。両分類は、低レベル特徴から導出された。
ＣＮＤマネージャ３３０に対し、これら分類は、コンテントを操作することができる方法を示唆する。実際には、分類は、考慮するシナリオの数を大幅に低減することができる。例えば、ＣＮＤマネージャが、所定の瞬間に複数のビットストリーム（フレームまたはオブジェクト）に対しレート−品質トレードオフを考慮しなければならない場合、ＣＮＤマネージャは、連続変換と離散サマリトランスコーディングとの間でトランスコーディングの責任を分散させる最適な方法を考慮することができる。また、考慮されているすべてのセグメントに対し１つの方法を選択するのではなく、ハイブリッド方式を考慮することも可能である。プログラムの優先度か、またはその低レベル特徴による圧縮困難性は、かかる判断を行うために使用することができる有用なパラメータの例である。
図１２および図１３は、ＳＥＴ−１  １１１０およびＳＥＴ−２  １１２０における分類が、いかにＣＮＤマネージャによって決定される戦略およびトランスコーダが元のデータを操作する方法に影響を与えるかを示している。図１２において特に重要なのは、ハイブリッドトランスコーディング方式が採用されている、ということである。
ニュースプログラム１２００の例に戻り、ＳＥＴ−１分類を考慮すると、警察追跡より総合司会者ショットに低い優先度を割当てることができる。オブジェクトベースビデオを扱っている場合、トランスコードする別の方法は、前景の総合司会者よりもショット１２０１の背景に対しより低い優先度を割当てる、ということである。これはすべて、例えば、オブジェクトレベル動きアクティビティパラメータの分類を通して達成することができる。
ここでは、動きアクティビティを用いてこれら概念を示した。しかしながら、形状パラメータ、テクスチャ情報等、他の低レベル特徴またはＭＰＥＧ−７記述子もまた用いられることが可能である、ということは理解されるべきである。低レベル特徴は、個々に考慮されるか組合せで考慮されるかに関わらず、ビデオコンテントをＣＮＤマネージャおよびトランスコーダを支援する意味のあるパラメータに有効にクラスタ化および分類するために使用することができる。
ＣＮＤクラシファイア３１０およびＣＮＤマネージャ３３０が、図６のＴＣＵ６１０と矛盾するように見えるが、これは事実そうではない。クラシファイアおよびＣＮＤマネージャは，トランスコーダ３４０に対し最適な戦略を予め選択しようとする。マネージャからこの戦略および命令が与えられると、トランスコーダは、可能な最適な方法でコンテントを操作する責任がある。結局、トランスコーダは、誤った予測かまたはＣＮＤマネージャによる選択された戦略により、要求を満たさない場合があり、さらに空間的分析等、かかる状況に対処するためのメカニズムを必要とする。したがって、ＴＣＵにおいて、メタデータがまた使用することができる。しかしながら、ＴＣＵに対するメタデータの目的は、クラシファイアおよびＣＮＤマネージャに対するものとは異なっている。
トランスコーディングに対するメタデータの影響
メタデータがトランスコーディングに影響を与えることができる２つの方法がある。両方とも上述されているビット割当て問題に直接関連している。第１の方法は、戦略、および最終的には離散サマリおよび連続変換トランスコーダ４４１〜４４２によって提供される機能をいかに使用するかに対する判断、を導出するためにビット割当てが使用される、ＣＮＤマネージャ３３０におけるものである。この方法では、判断を行うために図５のレート−品質関数が使用される。第２の方法は、トランスコーダ３４０自体におけるものである。再び、推定のためにメタデータが使用されるが、戦略の判断を行うのではなく、ビットレートの目的を満たすために使用することができる符号化パラメータに対するリアルタイムの判断を行うために、メタデータが使用される。この方法では、トランスコーダが図５の最適なレート−品質関数を達成するよう、符号化パラメータが選択される。
概して、低レベルおよび高レベルメタデータは、離散サマリおよび連続変換トランスコーディングを実行するためのヒントを提供する。これらヒントは、ＣＮＤマネージャとトランスコーダとの両方に対して有用である。例示するために、まず、コンテントに関連する高レベル意味論的情報を考慮する。意味論的情報は、自動的にかまたはマニュアルでの注釈により、コンテントに関連付けられることが可能である。
データベースが多数のビデオプログラムを格納する場合を考える。ビデオは、種々のカテゴリ、例えば「アクション」のレベルにしたがって格付けされる。複数のユーザが種々のショットを同時に要求するアプリケーションにおいて、ＣＮＤマネージャ３３０は、各ショットに対しどれだけのレートが割当てられるかを決定しなければならない。離散サマリトランスコーダ４４１では、このレートは、送信されるフレームの数に対応することができ、連続変換トランスコーダ４４２では、レートは許容可能な目標フレームレートに対応することができる。アクションのレベルが時間的アクティビティのあるレベルを示す場合、ビットは、コンテントの記述にしたがってフレームシーケンス毎に割当てることができる。高アクションのショットに対し、ＣＮＤマネージャは、連続変換トランスコーダでは予め決められたレベルより低いフレームレートが許容不可能であるということと、離散サマリトランスコーダによってコンテントを要約することにより、より良い品質のショットを配信することが可能であるということと、を決定する。
離散サマリトランスコーダ内で、妥当なレベルの知覚的品質に達するために許容可能なフレームの数もまた考慮することができる。低レベル動きアクティビティ記述子に戻ると、低動き強度を意味する関連するアクティビティパラメータを有するビデオシーケンスは、高動き強度を意味するアクティビティパラメータを有するそれらショットより少ないフレームで要約することができる、ということが推論され得る。これに対する拡張として、かかるビット割当てをオブジェクトレベルで同様に適用することができる、ということが容易に理解される。
低レベルメタデータからの高レベルメタデータの生成
低レベルメタデータから高レベルメタデータを生成するプロセスは、メタデータ符号化として定義することができる。かかる符号化プロセスは，本発明によるトランスコーディングシステムのコンテントクラシファイアにおける段階Ｉ３１１において考慮することができる。
さらに、この高レベル生成プロセスは、スタンドアロンシステムにおいて使用することができる。かかるスタンドアロンシステムの例は、ＭＰＥＧ−７規格によって指定される記述方式をインスタンス化するシステムである。かかるシステムを、ＭＰＥＧ−７高レベルメタデータエンコーダと呼ぶことができる。
現行のＭＰＥＧ−７ワーキングドラフトにおいて、種々のタイプのメタデータに対するプレースホルダである高レベル記述方式がある。なお、規格の規範的（ｎｏｒｍａｔｉｖｅ）部分は、実現に不可欠な要件を明示的に定義し、参考情報（ｉｎｆｏｒｍａｔｉｖｅ）部分は可能性のある技術かまたは何かを行う１つの方法を提案するのみである、ということは留意されるべきである。ＭＰＥＧ−２において、適切な動きベクトルかまたは量子化パラメータを決定することは、エンコーダの問題であり、そのため規格の参考情報部分であると考えられる。規格は、動きベクトルのための可変長符号化（ＶＬＣ）テーブルと量子化パラメータのための５ビットフィールドとを指定する。これらフィールドがいかにして使用されるかは、厳密にエンコーダの問題であり、規格、ゆえに参考情報部分には関係がない。
ＭＰＥＧ−７において、種々の記述方式の規範的フィールドおよび参考情報フィールドは、同様の状況にある。それらフィールドは指定されているが、これらフィールドに対しどのようにデータを生成するかは参考情報である。トランスコーディングおよび要約に対し、追加の記述子方式として、ＭＰＥＧ−７ワーキングドラフトにおいて指定された種々の記述方式、例えばサマリ（Ｓｕｍｍａｒｙ）ＤＳ、バリエーション（Ｖａｒｉａｔｉｏｎ）ＤＳ、階層的サマリ（ＨｉｅｒａｒｃｈｉｃａｌＳｕｍｍａｒｙ）ＤＳ、ハイライトセグメント（ＨｉｇｈｌｉｇｈｔＳｅｇｍｅｎｔ）ＤＳ、クラスタ（Ｃｌｕｓｔｅｒ）ＤＳおよびクラシファイア（Ｃｌａｓｓｉｆｉｅｒ）ＤＳを考慮する。ＩＳＯ／ＩＥＣ  ＪＴＣ  Ｎ３１１３、「ＭＰＥＧ−７  Ｍｕｌｔｉｍｅｄｉａ  Ｄｅｓｃｒｉｐｔｏｒ  Ｓｃｈｅｍｅｓ  ＷＤ」、Ｄｅｃｅｍｂｅｒ  １９９９を参照のこと。
例えば、コンテントブラウジングおよびナビゲーションのために最初に使用されるコンテントの視覚的抽象を指定するために、サマリＤＳが使用され、コンテントのバリエーションを指定するためにバリエーションＤＳが使用される。概して、バリエーションは，多数の方法で生成することができ、元のデータの訂正および操作を反映する。しかしながら、サマリＤＳおよびバリエーションＤＳ等の記述方式は、コンテントのバリエーションをいかに要約または生成するかを記述しない。
これら記述方式は、単に、要約されたコンテントまたはバリエーションデータの「特性（ｐｒｏｐｅｒｔｙ）」、「どこで（ｗｈｅｒｅ）」コンテントを見つけることができるか、およびそれに対して「何の（ｗｈａｔ）」動作を行うことができたか、等に関する情報をシステムに提供する、情報のタグまたはフィールドを含む。これは、送信に先立ってすべての操作が行われていることを意味する。かかるフィールドが存在する場合、マネージャには、利用可能な要約かまたは関連する特性を有する事前トランスコードされたデータのリストが渡されるため、ＣＮＤマネージャのタスクは簡略化される。
簡略化されたＣＮＤマネージャおよびトランスコーダ等、この情報を利用可能とすることに利点があるが、２つの主な問題がある。第１の主な問題は、元のビデオに対するいかなる要求にも先立って、これらバリエーションが生成されなければならない、ということである。その結果、コンテントの複数のバリエーションを生成することに関連する遅延が長過ぎるため、リアルタイム送信はオプションではない。第２の主な問題は、ネットワーク特性がある期間で変化する可能性がある、ということである。したがって、現ネットワーク状態の元である瞬間に特定の事前トランスコードされたバリエーションを選択することは、持続時間全体に亙って持続することができない。
これら欠点にも関わらず、規格は、これら記述方式においてフィールドをいかにして満たすかを指定しない。これらは、ＭＰＥＧ−７規格に対するエンコーダ問題である。
非リアルタイム送信アプリケーションを想定し、低レベル記述子を用いて記述方式構文における高レベルフィールドのコンテントを生成するシステムについて述べる。
コンテントのバリエーション
本質的に、リアルタイムトランスコーディングに対して使用される同じ方法は、特定のビデオのサマリおよびバリエーションを生成するためにも使用することができる。オフラインで、種々のネットワーク状態をシミュレートすることができ、プログラムコンテントを種々のシミュレートされた状態にしたがってトランスコードすることができる。結果として得られるコンテントは、データベースに格納することができる。この事前トランスコーディングを実行する際に、利用可能な帯域幅等、ネットワーク状態のみが留意されるべきではなく、システムは、データが操作される方法もまた留意しなければならない。このタイプの情報は、記述方式のフィールドを占めることになる。
ビデオプログラムに対する高レベルメタデータエンコーダ
対応する記述方式の関連するインスタンス化と共にサマリおよびバリエーションデータを生成するエンコーダの一例が、図１４に示されている。エンコーダの構成要素は、図３の適応可能トランスコーディングシステム３００のそれらと似ている。しかしながら、エンコーダは、トランスコーディング中にリアルタイムで送受信するようネットワークに接続されていないという点で異なっている。代りに、エンコーダは、ビデオが格納されるデータベースに接続されている。エンコーダは、後のリアルタイム配信のために、オフラインでビデオの種々のバージョンを生成する。
図１３に示されているように、適応可能ビットストリームビデオ配信システム１３００は、５つの主な構成要素、すなわちコンテントクラシファイア１３１０、ネットワーク装置（ＮＤ）ジェネレータ１３２０、ＣＮＤマネージャ１３３０、切換可能トランスコーダ１３４０およびＤＳインスタンティエータ１３５０を含む。システム１３００は、データベース１３６０に接続された入力および出力を有している。また、システム１３００は、ネットワークおよびデータベース１３６０に接続されたセレクタ１３７０も含んでいる。
配信システム１３００の目的は、元の圧縮されたビットストリーム（ビデオイン）１３０１からバリエーションおよび／またはサマリビットストリーム１３０８を生成することである。ビットストリームのコンテントは、ビジュアル、オーディオ、テキスト、自然、合成、プリミティブ、データ、複合またはそれらの組合せであってよい。
上述されているように、ビデオ配信システム１３００は、適応可能トランスコーダシステム３００に似ている。主な違いは、それが図３のネットワーク３５０を介してユーザ装置３６０に接続されておらず、トランスコーディングがリアルタイムで実行されない、ということである。ＮＤジェネレータ１３５０は、装置およびネットワークの置換えを行う。
本質的に、ジェネレータは、リアルタイム動作に存在するようなネットワークおよび装置（ＮＤ）制約をシミュレートする責任がある。例えば、ＮＤジェネレータは、６４ｋｂｐｓ、１２８ｋｂｐｓおよび５１２ｋｂｐｓのＣＢＲチャネルかまたはＶＢＲチャネルをシミュレートすることができる。さらに、ジェネレータは、利用可能な帯域幅が低減されているチャネルをシミュレートすることができる。この損失は、線形であっても、方形であっても、非常に鋭利であっても良い。他の多くの典型的な状態を同様に考慮することができ、状態によっては、表示能力の制限等、ユーザ装置の制約に関連することができる。
これら種々の状態の各々は、元の入力ビデオ１３０１の異なるバリエーションをもたらす可能性がある。本質的に、データベースは、入力ビットストリーム１３０１の非常に多くのバリエーションを格納することになり、それにより、将来的に、あるリアルタイム動作状態に対するビットストリームがダウンストリームトランスコーダに容易に利用可能となる。バリエーションビットストリームは、ＣＢＲとＶＢＲの両方であることが可能である。
ＮＤジェネレータ１３２０の目的は，種々のネットワーク装置状態をシミュレートすることと、これら状態にしたがって自動的に元のコンテント１３０１のバリエーション／サマリ１３０８を生成することと、である。これを行っている間、システムは、対応する記述方式１３０９のインスタンス化も行う。記述方式（例えば、バリエーションＤＳおよびサマリＤＳ）のフィールドが、バリエーションビットストリーム１３０８の特性およびそれを操作するために課された方法によって満たされる必要があるため、ＣＮＤマネージャは、この情報をＤＳインスタンティエータ１３５０に渡さなければならない。バリエーションがインスタンス化された後、対応する記述方式が、例えば上述されているようなリアルタイムトランスコーダ３００により、アクセスされ使用されることが可能となる。
レート−品質関数
図１５に示されているように、システム１３００によって生成されるバリエーションおよび／またはサマリ１３０８は、最適なレート−品質関数１４０１に対する点Ｖ（１）、…、Ｖ（５）の部分集合である。図１５において、有限数の点が示されている。これら点は、特定のバリエーションに対する最適な動作点を表している。各バリエーションは、関連するインスタンス化された記述方式（ＤＳ）１３０９を有している。バリエーションビットストリーム１３０８とインスタンス化された記述方式１３０９は両方とも、元のビデオストリーム１３０１と共にデータベース１３６０に格納される。
典型的なアプリケーションにおいて、システム１３００のセレクタ１３７０は、特定のビデオプログラムに対する要求を受信する。これに応じて、セレクタは、データベース１３６０に格納された利用可能なバリエーションおよび関連するＤＳに関する情報を提供する。トランスコーダ３００のＣＮＤマネージャは、この事前トランスコードされたデータを利用する。高レベルメタデータにより、トランスコーダは、要求されたビデオの特定のバリエーションに現リアルタイムネットワークおよび装置制約を関連付けることができる。適切な一致が見つかった場合、ＣＮＤマネージャは、セレクタにより特定のバリエーションがネットワーク３５０に亙って送信されるよう要求する。適切な一致が見つかった場合、トランスコーダ３４０はバイパスモードで動作することができる。近似した一致が見つかった場合、トランスコーダ３４０は、より効率的に動作することができる。
産業上の利用可能性
これは、ただの１つの実際的な例のアプリケーションである。現ネットワークおよび装置制約との一致を増加させるために、すでに操作されたビットストリーム１３０８をさらに操作し変更することもまた可能である。これは、最も一般的な状態のいくつかをカバーするわずかな数の事前トランスコードされたビットストリームを生成することに対する、非常に広範囲の状態をカバーする多数の事前トランスコードされたビットストリームを生成すること、の問題となる。概して、緩和された時間制約の元での配信システム１３００によるトランスコーディングにより、より品質の良いビデオがもたらされるため、各方法から種々のレベルの品質を期待することができる。
本発明は、好ましい実施の形態の例として述べられてきたが、本発明の精神および範囲内で他の種々の適用および変更を行うことが可能である、ということは理解されなければならない。したがって、添付の特許請求の範囲の目的は、本発明の真の精神および範囲内にあるバリエーションおよび変更すべてをカバーすることである。
【図面の簡単な説明】
図１は、従来技術によるトランスコーダのブロック図、
図２は、従来技術による部分的なデコーダ／エンコーダのブロック図、
図３は、本発明による適応可能なビットストリーム配信システムのブロック図、
図４は、適応可能なトランスコーダおよびトランスコーダマネージャのブロック図、
図５は、図４のトランスコーダおよびマネージャによって使用することができるトランスコーディング関数のグラフ、
図６は、オブジェクトベースのビットストリームスケーリングのブロック図、
図７は、探索空間のグラフ、
図８は、本発明によるオブジェクトベーストランスコーダの細部のブロック図、
図９は、キューレベルによる特徴抽出のブロック図、
図１０は、３段階のビデオコンテントクラシファイアのブロック図、
図１１は、記述子方式のブロック図、
図１２は、図１１（ａ）の記述子方式によるトランスコーディングのブロック図、
図１３は、図１１（ｂ）の記述子方式によるトランスコーディングのブロック図、
図１４は、コンテントサマリおよびコンテントサマリによるコンテントのバリエーションを生成するシステムのブロック図、
図１５は、図１４のコンテントサマリおよびコンテントバリエーションに基づくトランスコーディング関数のグラフである。
【図１】
0004650868.tif 000007
【図２】
0004650868.tif 000008
【図３】
0004650868.tif 000009
【図４】
0004650868.tif 000010
【図５】
0004650868.tif 000011
【図６】
0004650868.tif 000012
【図７】
0004650868.tif 000013
【図８】
0004650868.tif 000014
【図９】
0004650868.tif 000015
【図１０】
0004650868.tif 000016
【図１１】
0004650868.tif 000017
【図１２】
0004650868.tif 000018
【図１３】
0004650868.tif 000019
【図１４】
0004650868.tif 000020
【図１５】
0004650868.tif 000021