(57)【要約】デジタルビデオ信号の伝送でアドバンスド・データ・パーティショニングとファイン・グラニュラリティ・スケーラビリティとを組み合わせるシステム及び方法が提供される。ビデオエンコーダ４００のベースレイヤ符号化ユニット４１０に位置されるパーティションユニット４４０は、ベースレイヤのビットストリーム３１０、３２０をベースレイヤの第一パーティションのビットストリーム３１０及びベースレイヤの第二パーティションのビットストリーム３２０に区分する。２つのベースレイヤのビットストリーム３１０、３２０のそれぞれは、直接出力されるか、又は出力の前に符号化される場合がある。２つのベースレイヤビットストリーム３１０、３２０は、スケーラブルエンコーダユニット４４２又はノンスケーラブルエンコーダユニット４４４によりエンコードされる場合がある。拡張されたベースレイヤのビットレートを提供することで、ファイン・グラニュラリティ・スケーラビリティが改善される。アドバンスド・データ・パーティショニングのためのビットレートレンジも拡張される。本発明は、改善されたビデオ符号化効率、複雑さのスケーラビリティ、及び空間スケーラビリティを提供する。
2007507927.tif 000002
【特許請求の範囲】
【請求項１】
デジタルビデオ信号の伝送でアドバンスド・データ・パーティショニングとファイン・グラニュラリティ・スケーラビリティとを組み合わせるデジタルビデオ送信機における装置であって、
当該装置は、ベースレイヤのビットストリームを複数のベースレイヤのパーティションのビットストリームに分割するビデオエンコーダのベースレイヤ符号化ユニットでのパーティションユニットを有する、
ことを特徴とする装置。
【請求項２】
前記パーティションユニットの入力に結合される出力を有するパーティションポイント計算ユニットを更に有し、
前記パーティションポイント計算ユニットは、前記ベースレイヤビットストリームウォ前記複数のベースレイヤのパーティションのビットストリームに分割するため、前記ベースレイヤのビットストリームの区分点の情報を前記パーティションユニットに供給する、
請求項１記載の装置。
【請求項３】
前記複数のベースレイヤのパーティションのビットストリームは、ベースレイヤの第一パーティションのビットストリーム、及びベースレイヤの第二パーティションのビットストリームを含む、
請求項１記載の装置。
【請求項４】
当該装置は、前記ベースレイヤの第一パーティションのビットストリーム及び前記ベースレイヤの第二パーティションのビットストリームのうちの１つをエンコードするノンスケーラブルコーダユニットを更に有する、
請求項３記載の装置。
【請求項５】
当該装置は、前記ベースレイヤの第一パーティションのビットストリーム及び前記ベースレイヤの第二パーティションのビットストリームのうちの１つをエンコードするスケーラブルコーダユニットを更に有する、
請求項３記載の装置。
【請求項６】
デジタルビデオ信号の送信でアドバンスド・データ・パーティショニングとファイン・グラニュラリティ・スケーラビリティを組み合わせるためにデジタルビデオ送信機における装置であって、
当該装置は、
シングルレイヤのビットストリームをベースレイヤのビットレートを有するベースレイヤのビットストリーム、及びエンハンスメントレイヤのビットレートを有するエンハンスメントレイヤのビットストリームにコード変換可能なＦＧＳトランスコーダと、
前記ＦＧＳトランスコーダに結合され、前記ＦＧＳトランスコーダから前記ベースレイヤのビットストリームを受信し、前記ベースレイヤのビットストリームにおける可変長コードをデコード可能な可変長デコーダユニットと、
前記可変長デコーダユニットに結合され、前記可変長デコーダユニットから前記可変長コードを受信し、前記可変長コードを使用して前記ベースレイヤビットストリームを複数のベースレイヤのパーティションのビットストリームに分割可能な可変長コードバッファと、
を有することを特徴とする装置。
【請求項７】
前記可変長コードバッファの入力に結合される出力を有するパーティショニングポイント発見ユニットを更に有し、
前記パーティショニングポイント発見ユニットは、前記ベースレイヤのビットストリームを前記複数のベースレイヤのパーティションのビットストリームに分割するための最適な区分点の情報を計算して前記可変長コードバッファに供給可能である、
請求項６記載の装置。
【請求項８】
前記パーティションポイント発見ユニットは、式
【数１】
2007507927.tif 000004
により計算される時間的な相関係数を閾値と比較することで、ベースレイヤの第一パーティションのビットストリームについて最適なビットレートを決定可能であり、
前記Ｗはフレーム／イメージの幅を示し、前記Ｈはフレーム／イメージの高さを示し、前記文字ｆは現在のフレームを示し、前記項Ａｖｅfは現在のフレームの平均画素値を示し、前記文字ｒは文字ｆについて動き補償された基準フレームを示し、前記項Ａｖｅrは動き補償された基準フレームの平均画素値である、
請求項７記載の装置。
【請求項９】
デジタルビデオ送信機でデジタルビデオの伝送におけるアドバンスド・データ・パーティショニングとファイン・グラニュラリティ・スケーラビリティを組み合わせる方法であって、
当該方法は、
ベースレイヤのビットストリームを複数のベースレイヤのパーティションのビットストリームに区分するステップと、
前記複数のベースレイヤのパーティションのビットストリームの少なくとも１つのベースレイヤのパーティションのビットストリームをコーダユニットでエンコードするステップと、
を含むことを特徴とする方法。
【請求項１０】
前記コーダユニットは、スケーラブルコーダユニット及びノンスケーラブルコーダユニットのうちの１つである、
請求項９記載の方法。
【請求項１１】
前記ベースレイヤのビットストリームにおける区分点の情報を表す値を計算するステップと、
前記値を使用して、前記ベースレイヤのビットストリームを複数のベースレイヤのパーティションビットストリームに分割するステップと、
を更に含む請求項９記載の方法。
【請求項１２】
式
【数２】
2007507927.tif 000005
により計算される時間的な相関係数を閾値と比較することで、ベースレイヤの第一パーティションのビットストリームについて最適なビットレートを決定するステップを更に含み、
前記Ｗはフレーム／イメージの幅を示し、前記Ｈはフレーム／イメージの高さを示し、前記文字ｆは現在のフレームを示し、前記項Ａｖｅfは現在のフレームの平均画素値を示し、前記文字ｒは文字ｆについて動き補償された基準フレームを示し、前記項Ａｖｅrは動き補償された基準フレームの平均画素値である、
請求項９記載の方法。
【請求項１３】
ベースレイヤのビットストリームをベースレイヤの第一パーティションのビットストリーム及びベースレイヤの第二パーティションのビットストリームに分割するステップと、
最小のビットレートから最大のビットレートにビッチレートレンジを決定するステップと、
ビデオ装置により許容可能な近似的な複雑さの量を決定するステップと、
前記近似的な複雑さの量に対応するファイン・グラニラリティ・スケーラビリティについてベースレイヤの第二パーティションのビットレートを決定するステップと、
前記ベースレイヤの第二パーティションのビットレートを使用してファイン・グラニュラリティ・スケーラビリティをエンコードするステップと、
アドバンスド・データ・パーティショニングを使用してベースレイヤのビットストリームをエンコードするステップと、
を更に含む請求項９記載の方法。
【請求項１４】
ベースレイヤのビットストリームをベースレイヤの第一パーティションのビットストリーム及びベースレイヤの第二パーティションのビットストリームを区分するステップと、
最小のビットレートから最大のビットレートへのビットレートのレンジを決定するステップと、
ビデオ装置でのそれぞれの解像度がカバーされるべきビットレージのレンジを決定するステップと、
解像度ＸについてＲMINからＲMAX1へのビットレートレンジを決定するステップと、
解像度４ＸについてＲMAX1からＲMINへのビットレートのレンジを決定するステップと、
解像度４ＸでのビットレートＲMAX1でファイン・グラニュラリティ・スケーラビリティビットストリームをエンコードするステップと、
解像度ＸでのビットレートＲMINを有するベースレイヤの第一パーティションによりアドバンスド・データ・パーティショニングを使用してベースレイヤのビットストリームをエンコードするステップと、
を更に含む請求項９記載の方法。
【請求項１５】
ＦＧＳトランスコーダにより、シングルレイヤのビットストリームを、ベースレイヤのビットレートを有するベースレイヤのビットストリーム、及びエンハンスメントレイヤのビットレートにコード変換するステップと、
前記ＦＧＳトランスコーダから可変長エンコーダに前記ベースレイヤのビットストリームを送出するステップと、
前記可変長デコーダにより前記ベースレイヤのビットストリームにおける可変長コードをデコードするステップと、
前記可変長デコーダから可変長コードバッファに前記可変長コードを送出するステップと、
前記可変長コードを使用して、前記ベースレイヤのビットストリームを複数のベースレイヤのパーティションのビットストリームに区分するステップと、
を更に含む請求項９記載の方法。
【請求項１６】
パーティションポイント発見ユニットで、前記ベースレイヤのビットストリームをベースレイヤの第一パーティションのビットストリーム及びベースレイヤの第二パーティションのビットストリームに分割するための最適な区分点を計算するステップと、
前記最適な区分点を前記可変長コードバッファに供給するステップと、
を更に有する請求項１５記載の方法。
【請求項１７】
デジタルビデオ信号の伝送におけるアドバンスド・データ・パーティショニングとファイン・グラニュラリティ・スケーラビリティを組み合わせるための方法により生成されるデジタルエンコードビデオ信号であって、
前記方法は、
ベースレイヤのビットストリームを複数のベースレイヤのパーティションのビットストリームに区分するステップと、
前記複数のベースレイヤのパーティションのビットストリームの少なくとも１つのベースレイヤのパーティションのビットストリームをコーダユニットでエンコードするステップと、
を含むことを特徴とするデジタルエンコードビデオ信号。
【請求項１８】
前記コーダユニットは、スケーラブルコーダユニット及びノンスケーラブルコーダユニットのうちの１つである、
請求項１７記載のデジタルエンコードビデオ信号。
【請求項１９】
前記ベースレイヤのビットストリームにおける区分点の情報を表す値を計算するステップと、
前記値を使用して、前記ベースレイヤのビットストリームを複数のベースレイヤのパーティションのビットストリームに分割するステップと、
を更に含む請求項１７記載のデジタルエンコードビデオ信号。
【請求項２０】
前記方法は、式
【数３】
2007507927.tif 000006
により計算される時間的な相関係数を閾値と比較することで、ベースレイヤの第一パーティションのビットストリームについて最適なビットレートを決定するステップを更に含み、
前記Ｗはフレーム／イメージの幅を示し、前記Ｈはフレーム／イメージの高さを示し、前記文字ｆは現在のフレームを示し、前記項Ａｖｅfは現在のフレームの平均画素値を示し、前記文字ｒは文字ｆについて動き補償された基準フレームを示し、前記項Ａｖｅrは動き補償された基準フレームの平均画素値である、
請求項１７記載のデジタルエンコードビデオ信号。
【請求項２１】
ベースレイヤのビットストリームをベースレイヤの第一パーティションのビットストリーム及びベースレイヤの第二パーティションのビットストリームに分割するステップと、
最小のビットレートから最大のビットレートにビットレートレンジを決定するステップと、
ビデオ装置により許容可能な近似的な複雑さの量を決定するステップと、
前記近似的な複雑さの量に対応するファイン・グラニラリティ・スケーラビリティについてベースレイヤの第二パーティションのビットレートを決定するステップと、
前記ベースレイヤの第二パーティションのビットレートを使用してファイン・グラニュラリティ・スケーラビリティをエンコードするステップと、
アドバンスド・データ・パーティショニングを使用してベースレイヤのビットストリームをエンコードするステップと、
を更に含む請求項１７記載のデジタルエンコードビデオ信号。
【請求項２２】
ベースレイヤのビットストリームをベースレイヤの第一パーティションのビットストリーム及びベースレイヤの第二パーティションのビットストリームを区分するステップと、
最小のビットレートから最大のビットレートへのビットレートのレンジを決定するステップと、
ビデオ装置でのそれぞれの解像度がカバーされるべきビットレージのレンジを決定するステップと、
解像度ＸについてＲMINからＲMAX1へのビットレートレンジを決定するステップと、
解像度４ＸについてＲMAX1からＲMINへのビットレートのレンジを決定するステップと、
解像度４ＸでのビットレートＲMAX1でファイン・グラニュラリティ・スケーラビリティビットストリームをエンコードするステップと、
解像度ＸでのビットレートＲMINを有するベースレイヤの第一パーティションによりアドバンスド・データ・パーティショニングを使用してベースレイヤのビットストリームをエンコードするステップと、
を更に含む請求項１７記載のデジタルエンコードビデオ信号。
【請求項２３】
ＦＧＳトランスコーダにより、シングルレイヤのビットストリームを、ベースレイヤのビットレートを有するベースレイヤのビットストリーム、及びエンハンスメントレイヤのビットレートを有するエンハンスメントレイヤのビットストリームにコード変換するステップと、
前記ＦＧＳトランスコーダから可変長エンコーダに前記ベースレイヤのビットストリームを送出するステップと、
前記可変長デコーダにより前記ベースレイヤのビットストリームにおける可変長コードをデコードするステップと、
前記可変長デコーダから可変長コードバッファに前記可変長コードを送出するステップと、
前記可変長コードを使用して、前記ベースレイヤのビットストリームを複数のベースレイヤのパーティションのビットストリームに区分するステップと、
を更に含む請求項１７記載のデジタルエンコードビデオ信号。
【請求項２４】
パーティションポイント発見ユニットで、前記ベースレイヤのビットストリームをベースレイヤの第一パーティションのビットストリーム及びベースレイヤの第二パーティションのビットストリームに分割するための最適な区分点を計算するステップと、
前記最適な区分点を前記可変長コードバッファに供給するステップと、
を更に有する請求項２３記載のデジタルエンコードビデオ信号。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル信号伝送システム全般に関し、より詳細には、デジタルビデオ信号の伝送における最新のデータパーティショニングとファイン・グラニュラリティ・スケーラビリティとを組み合わせたシステム及び方法に関する。
【背景技術】
【０００２】
デジタルビデオコーディングにおけるアドバンスド・データ・パーティショニング（ＡＤＰ：Advanced  Data  Partitioning）は、チャネル状態における変動を緩和するために小さく品位のある品質の低下を提供するので有効である。最新のデータパーティショニングは、ノンスケーラブルコーディングに比較して非常に制限された符号化のペナルティのみを有する。ファイン・グラニュラリティ・スケーラビリティ（ＦＧＳ：Fine  Granularity  Scalability）は、チャネルの状態における大きな変動にわたる品位のある品質低下及び帯域幅の適合性をも提供することができる。しかし、ファイン・グラニュラリティ・スケーラビリティは、帯域幅の例示が大きいときに著しい符号化のペナルティを被る。
【０００３】
現在の既存のファイン・グラニュラリティ・スケーラビリティのフレームワークは、空間−時間−ＳＮＲスケーラビリティに大きなレンジのビットレートにわたりファイン・グラニュラリティを提供する。ＦＧＳの性能は、ベースレイヤのビットレートが低く、符号化ビデオ系列が高い時間の相関を示すとき、ノンスケーラブルビデオコーディングに比較したとき、著しい符号化ペナルティに苦しむ。リサーチによれば、ベースレイヤのビットレートが低いビットレートレンジをカバーするという犠牲を払って、ベースレイヤのビットレートが増加される場合にＦＧＳの性能が大幅に改善されることが確立されている。代替的に、アドバンスドデータパーティショニング（ＡＤＰ）の性能は、ビットレートの変動が制限されるときに非常に有効である。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
したがって、当該技術分野において、デジタルビデオ信号の伝送においてＦＧＳとＡＤＰの両者の利益を提供可能なシステム及び方法が必要とされている。
【課題を解決するための手段】
【０００５】
先に記載された従来技術の問題点に対処するため、本発明のシステム及び方法は、デジタルビデオ信号の伝送において、アドバンスドデータパーティショニング（ＡＤＰ）及びファイン・グラニュラリティ・スケーラビリティ（ＦＧＳ）の両者を組み合わせる。本発明は、ＡＤＰとＦＧＳの利点を結合する固有かつ斬新な空間−時間−ＳＮＲスケーラブルフレームワークを提供する。これにより、本発明は、ＡＤＰにより達成されるよりも、又はＦＧＳにより達成されるよりも高い符号化効率及び改善された空間スケーラビリティを達成する。
【０００６】
本発明のシステム及び方法は、ビデオエンコーダのベースレイヤの符号化ユニットに位置されるパーティションユニットを有する。パーティションユニットは、ベースレイヤのビットストリームをベースレイヤの第一のパーティションビットストリーム及び１以上のベースレイヤの更なるパーティションビットストリームに区分する。ベースレイヤの第一のパーティションビットストリーム及びベースレイヤの更なるパーティションビットストリームは、直接的に出力されるか、又は出力の前に符号化される場合がある。ベースレイヤの第一のパーティションビットストリーム及びベースレイヤの更なるパーティションビットストリームは、スケーラブルエンコーダユニット又はノンスケーラブルエンコーダユニットでエンコードされる。
【０００７】
本明細書の残りを通して、ベースレイヤが２つのベースレイヤのパーティションビットストリームに区分されるケースが使用される。当業者であれば、２を超えるベースレイヤのパーティションビットストリームが生成される場合がある一般的なケースに本発明の説明を拡張することができる。
【０００８】
ファイン・グラニュラリティ・スケーラビリティは、拡張されたベースレイヤのビットレートを提供することで改善される。アドバンスドデータパーティショニングのビットレートレンジも拡張される。本発明は、改善されたビデオ符号化効率、複雑さのスケーラビリティ、及び空間スケーラビリティを提供する。
【０００９】
本発明のシステム及び方法の１つの有利な実施の形態では、ＦＧＳトランスコーダは、シングルレイヤのビットストリームを、ベースレイヤビットレートＲBを有するベースレイヤのビットストリーム、及びエンハンスメントレイヤビットレートＲEを有するエンハンスメントレイヤのビットストリームにコード変換する。可変長エンコーダは、ベースレイヤビットストリームにおける可変長コードをデコードする。可変長コードバッファは、可変長コードを使用して、ベースレイヤのビットストリームをベースレイヤの第一のパーティションビットストリーム及びベースレイヤの第二のパーティションビットストリームに区分する。パーティショニングポイント発見ユニットは、ベースレイヤのビットストリームを区分するための最適な区分点を提供する。
【００１０】
本発明の目的は、アドバンスドデータパーティショング（ＡＤＰ）及びファイン・グラニュラリティ・スケーラビリティ（ＦＧＳ）の両者を組み合わせるシステム及び方法を提供することにある。
【００１１】
本発明の別の目的は、ビデオ符号化効率における改善を提供するためにＡＤＰとＦＧＳとを組み合わせたシステム及び方法を提供することにある。
【００１２】
また、本発明の目的は、複雑さのスケーラビリティにおける改善を提供するためにＡＤＰ及びＦＧＳ技術を組み合わせたシステム及び方法を提供することにある。
【００１３】
本発明の別の目的は、空間スケーラビリティにおける改善を提供するためにＡＤＰとＦＧＳとを組み合わせたシステム及び方法を提供することにある。
【００１４】
また、本発明の目的は、本発明のベースレイヤの第一のパーティションについて最適なビットレートを選択するシステム及び方法を提供することにある。
【００１５】
上述された内容は、当業者が以下の本発明の詳細な記載を良好に理解するように、本発明の特徴及び技術的な利点をむしろ広く概説している。本発明の請求項の目的を形成する本発明の更なる特徴及び利点は、以下に記載される。当業者であれば、本発明の同じ目的を実行する他の構造を変更又は設計する基礎として開示される概念及び特定の実施の形態を容易に使用する場合があることを理解するはずである。また、当業者であれば、かかる等価な構成は、その広い形式で本発明の精神及び範囲から逸脱しないことを認識するはずである。
【００１６】
発明の詳細な説明を始める前に、本明細書を通して使用される所定の単語及びフレーズの定義を述べることは有利な場合がある。用語「含む“include”」及び「有する“comprise”」並びにその派生語は、制約のない包含を意味する。用語「又は“or”」は、包括的であって、「及び／又は」を意味する。句「〜に関連される“associated  with”及び“associated  therewith”」は、その派生語同様に、「〜に含まれる“included  within”」、「〜と相互接続する“interconnect  with”」、「含む“contain”」、「〜に含まれる“be  contained  within”」、「〜に接続“connect  to”又は〜と接続“connect  with”」、「〜に結合“couple  to”又は〜と結合“couple  with”」、「〜と通信可能である“be  communicable  with”」、「〜と協力する“cooperate  with”」、「〜インタリーブする“interleave”」、「配置する“juxtapose”」、「〜の近くの“be  proximate  to”」、「〜に結合する“be  bound  to”又は〜と結合する“be  bound  with”」、「有する“have”」、「〜の特性を有する“have  a  property  of”」等を含むことを意味する。用語「コントローラ」、「プロセッサ」又は「装置」は、ハードウェア、ファームウェア又はソフトウェア、若しくはこれらの少なくとも２つの組み合わせで実現される装置のような、少なくとも１つの動作を制御する装置、システム又はその一部を意味する。なお、特定のコントローラに関連する機能は、ローカル又はリモートに集約されるか又は分散される場合がある。特に、コントローラは、１以上のアプリケーションプログラム及び／又はオペレーティングシステムプログラムを実行する、１以上のデータプロセッサ、及び関連される入力／出力装置及びメモリを含む場合がある。所定の単語及び句の定義は、本明細書を通して提供される。当業者であれば、多くの大部分の例ではない場合、かかる定義は、かかる定義された単語及び句のこれまでの使用及び将来的な使用に当てはまる。
【発明を実施するための最良の形態】
【００１７】
本発明及びその利点の多くの完全な理解のため、添付図面と共に行われる以下の記載が参照され、ここで同じ符号は同じオブジェクトを示す。
【００１８】
以下に説明される図１〜図６、及び本明細書で本発明の原理を説明するために使用される各種の実施の形態は、例示するためのものであって、本発明の範囲を制限するやり方で解釈されるべきではない。本発明は、デジタルビデオエンコーダ又はトランスコーダで使用される場合がある。
【００１９】
図１は、本発明の好適な実施の形態に係る、ストリーミングビデオ送信機１１０からデータネットワーク１２０を通してストリーミングビデオ受信機１３０へのストリーミングビデオのエンド−エンド間の伝送を例示するブロック図である。アプリケーションに依存して、ストリーミングビデオ送信機１１０は、データネットワークサーバ、テレビジョンステーション、ケーブルネットワーク、デスクトップパーソナルコンピュータ（ＰＣ）等を含む、多様なビデオフレームのソースのうちの１つである場合がある。
【００２０】
ストリーミングビデオ送信機１１０は、ビデオフレームソース１１２、ビデオエンコーダ１１４及びエンコーダバッファ１１６を有する。ビデオフレームソース１１２は、テレビジョンアンテナ及びレシーバユニット、ビデオカセットプレーヤ、ビデオカメラ、ディスクストレージ装置を含む、圧縮されていないビデオフレームの系列を生成可能な装置である場合がある。圧縮されていないビデオフレームは、所与のピクチャレート（又はストリームレート）でビデオエンコーダ１１４に入力し、ＭＰＥＧ−４エンコーダのような公知の圧縮アルゴリズム又は装置に従って圧縮される。次いで、ビデオエンコーダ１１４は、データネットワーク１２０にわたる送信に備えて、バッファリングのためのエンコーダバッファ１１６に圧縮されたビデオフレームを送信する。データネットワーク１２０は、いずれか適切なＩＰネットワークであり、インターネットのようなパブリックデータネットワーク、及び企業が所有するローカルエリアネットワーク（ＬＡＮ）又はワイドエリアネットワーク（ＷＡＮ）のようなプライベートネットワークの両者の部分を含む場合がある。
【００２１】
ストリーミングビデオレシーバ１３０は、デコーダバッファ１３２、ビデオデコーダ１３４及びビデオディスプレイ１３６を有している。デコーダバッファ１３２は、データネットワーク１２０からストリーミング圧縮ビデオフレームを受けて記憶する。デコーダバッファ１３２は、その後、圧縮されたビデオフレームをビデオデコーダ１３４に必要に応じて送信する。ビデオデコーダ１３４は、ビデオフレームがビデオエンコーダ１１４により圧縮されたのと（理想的に）同じレートでビデオフレームを伸張する。ビデオデコーダ１３４は、ビデオディスプレイ１３６のスクリーンでの再生のためにビデオディスプレイ１３６に伸張されたフレームを送出する。
【００２２】
図２は、例示的な従来のビデオエンコーダ２００を例示するブロック図である。ビデオエンコーダ２００は、ベースレイヤ符号化ユニット２１０及びエンハンスメントレイヤ符号化ユニット２５０を有する。ビデオエンコーダ２００は、ベースレイヤのビットストリームの生成のためにベースレイヤ符号化ユニット２１０に転送され、エンハンスメントレイヤのビットストリームの生成のためにエンハンスメントレイヤ符号化ユニット２５０に転送されるオリジナルビデオ信号を受信する。
【００２３】
ベースレイヤ符号化ユニット２１０は、ベースレイヤのビットストリームを生成する、動き予測器２１２、変換回路２１４、量子化回路２１６、エントロピーコーダ２１８及びバッファ２２０を有する主処理のブランチを含む。ベースレイヤの符号化ユニット２１０は、ベースレイヤアロケータ２２２を有し、このアロケータは、ベースレイヤ符号化ユニット２１０の量子化ファクタを調節するために使用される。また、ベースレイヤ符号化回路２１０は、逆量子化回路２２４、逆変換回路２２６及びフレームストア２２８を有するフィードバックブランチを有する。
【００２４】
動き予測器２１２は、オリジナルのビデオ信号を受け、画素特性における変化により表される基準フレームと現在のビデオフレームとの間の動き量を予測する。たとえば、ＭＰＥＧ規格は、動き情報が１６×１６のフレームのサブブロック当たり１から４の空間的な動きベクトルにより表される場合があることを規定している。変換回路２１４は、動き予測器２１２から結果的に得られる動きの差の予測出力を受け、離散コサイン変換（ＤＣＴ）のような公知の逆相関技術を使用して、空間領域から周波数領域に変換する。
【００２５】
量子化回路２６は、変換回路２１４からのＤＣＴ係数出力とベースレイヤレートアロケータ２２２からのスケーリングファクタを受け、公知の量子化技術を使用して動き補償予測情報を更に圧縮する。量子化回路２１６は、変換出力の量子化のために印加される分割ファクタを決定するためにベースレイヤレートアロケータ回路２２からのスケーリングファクタを利用する。つぎに、エントロピーコーダ２１８は、量子化回路２１６から量子化されたＤＣＴ係数を受け、比較的短いコードでの発生の高い確率をもつエリアを表し、比較的長いコードでの発生の低い確率をもつエリアを表す可変長符号化技術を使用してデータを更に圧縮する。
【００２６】
バッファ２２０は、エントロピーコーダ２１８の出力を受け、圧縮されたベースレイヤのビットストリームの出力のための必要なバッファリングを提供する。さらに、バッファ２２０は、ベースレイヤレートアロケータ２２２のための基準入力としてフィードバック信号を提供する。ベースレイヤレートアロケータ２２２は、バッファ２２０からフィードバック信号を受け、量子化回路２１６に供給される分割ファクタを決定するのに使用する。
【００２７】
逆量子化回路２２４は、量子化回路２１６への変換入力を表す信号を生成するために量子化回路２１６の出力を逆量子化する。逆変換回路２２６は、変換及び量子化プロセスにより変更されたようなオリジナルのビデオ信号のフレーム表現を提供する信号を生成するため、逆量子化回路２２４の出力をデコードする。フレームストア回路２２８は、逆変換回路２２６からのデコードされた代表的なフレームを受け、動き予測回路２１２への基準出力としてフレームを記憶する。動き予測回路２１２は、オリジナルビデオ信号における動きの変化を決定するための入力信号として、結果的に得られる記憶されたフレーム信号を使用する。
【００２８】
エンハンスメントレイヤの符号化回路２５０は、残余のカリキュレータ２５２、変換回路２５４、及びファイン・グラニュラー・スケーラビリティ（ＦＧＳ）エンコーダ２５６を有する主処理ブランチを含んでいる。エンハンスメントレイヤ符号化ユニット２５０は、エンハンスメントレートアロケータ２５８を有している。残余のカリキュレータ２５２は、オリジナルのビデオ信号からのフレームを受け、それらをフレームストア２２８におけるデコード（又は再構成された）ベースレイヤフレームと比較して、変換及び量子化プロセスの結果として、ベースレイヤフレームで失われている画像情報を表す残余信号を生成する。残余カリキュレータ２５２の出力は、残余データ又は残余のエラーデータとして知られている。
【００２９】
変換回路２５４は、残余カリキュレータ２５２からの出力を受け、ＤＣＴのような公知の変換技術を試用してこのデータを圧縮する。ＤＣＴはこの実現のために例示的な変換の役割を果たすが、変換回路２５４は、ベースレイヤ変換２１４と同じ変換プロセスを有することが必要とされる。
【００３０】
ＦＧＳフレームエンコーダ回路２５６は、変換回路２５４及びエンハンスメントレート亜ロケータ２５８からの出力を受ける。ＦＧＳフレームエンコーダ回路２５６は、エンハンスメントレートアロケータ２５８により調節されるようにＤＣＴ係数をエンコードして圧縮し、エンハンスメントレイヤのビットストリームのために圧縮された出力を生成する。エンハンスメントレートアロケータ２５８は、変換回路２５４からのＤＣＴ係数を受け、これを利用して、ＦＧＳフレームエンコーダ回路２５６に印加されるレートアロケーションコントロールを生成する。
【００３１】
図２に示される従来の実現は、オリジナルビデオ信号とでコードされたベースレイヤデータとの間の差を表すエンハンスメントレイヤの残余の圧縮された信号を得る。
【００３２】
本発明は、改善された複雑さのスケーラビリティと改善された空間スケーラビリティとを達成するため、アドバンスドデータパーティショニング（ＡＤＰ）とファイン・グラニュラリティ・スケーラビリティ（ＦＧＳ）を結合する。ＡＤＰとＦＧＳとを結合するための多くの方法がある。ＡＤＰとＦＧＳとの組みあわせの最初のアプリケーションは、テクスチャコーディングを参照して記載される。本発明の第一の方法の記載では、ベースレイヤは、２つのパーティションに分割される。それぞれのパーティションには、特定のビットレートが割り当てられる。
【００３３】
図３は、エンハンスメントレイヤ３００及びベースレイヤの第一のパーティション３１０及びベースレイヤの第二のパーティション３２０についてビットレート間の関係を例示している。エンハンスメントレイヤ３００のビットレートは、ＲEで示されている。ビットレートＲB1は、最小のビットレートＲMINに等しい。ベースレイヤの第二のパーティション３２０のビットレートは、ＲB2で示されている。ベースレイヤの全体のビットレートは、ＲBで示されている。ビットレートＲBは、ビットレートＲB1及びＲB2の合計である。エンハンスメントレイヤ及びベースレイヤの全体のビットレートは、ＲMAXで示されている。ビットレートＲMAXは、ビットレートＲE及びＲBの合計である。本発明の方法は２つのベースレイヤパーティションで記載されているが、本発明の他の実施の形態では、ベースレイヤが２を超えるパーティションに区分される場合があることが理解される。
【００３４】
本発明は、ベースレイヤの２つのパーティションを符号化する装置及び方法を提供する。ＡＤＰは、ベースレイヤの２つパーティションは、再符号化することなしに（たとえばＭＰＥＧ−２又はＭＰＥＧ−４といった）ノンスケーラブルビットストリームから可変長コード（ＶＬＣ）を分離することで生成される。本発明（すなわちＡＤＰとＦＧＳとの組み合わせ）では、区分の概念は、可変長コード（ＶＬＣ）の分離を含むのみでなく、再符号化を含むために一般化される。したがって、ベースレイヤの両方のパーティションは、（１）ＭＰＥＧ−２及びＭＰＥＧ−４コーダのようなノンスケーラブルコーダ、及び（２）ＦＧＳコーダのようなスケーラブルコーダを使用してエンコード（又は再符号化）される。
【００３５】
図４は、本発明の原理に係る、例示的なビデオエンコーダ４００を例示するブロック図である。本発明の特徴を除いて、ビデオエンコーダ４００は、従来のビデオエンコーダ２００の構成及び動作に類似している。ビデオエンコーダ４００は、ベースレイヤ符号化ユニット４１０及びエンハンスメントレイヤ符号化ユニット４５０を有している。ビデオエンコーダ４００は、ベースレイヤのビットストリームの生成のためにベースレイヤ符号化ユニット４１０に転送され、エンハンスメントレイヤのビットストリームの生成のためにエンハンスメントレイヤ符号化ユニット４５０に転送されるオリジナルビデオ信号を受ける。
【００３６】
図４のエンハンスメントレイヤ符号化ユニットは、図２の従来のエンハンスメントレイヤ符号化ユニット２５０と同じやり方で動作する。エンハンスメントレイヤ符号化ユニット４５０の残余のカリキュレータ４５２、変換ユニット４５４、ＦＧＳフレームエンコーダ４５６及びエンハンスメントレートアロケータ４５８は、従来のエンハンスメントレイヤ符号化ユニット２５０の残余カリキュレータ２５２、変換回路２５４、ＦＧＳフレームエンコーダ２５６及びエンハンスメントレートアロケータ２５８とそれぞれ同じやり方で動作する。
【００３７】
同様に、ベースレイヤ符号化ユニット４１０の多くのエレメントは、従来のベースレイヤ符号化ユニット２１０のそれぞれの対応する要素と同じやり方で動作する。動き予測器４１２、変換回路４１４、量子化回路４１６、エントロピーコーダ４１８、逆量子化回路４２４、逆変換回路４２６及びフレームストア４２８は、従来のベースレイヤ符号化ユニット２１０の動き予測器２１２、変換回路２１４、量子化回路２１６、エントロピーコーダ２１８、逆量子化回路２２４、逆変換回路２２６及びフレームストア２２８と同じやり方で動作する。
【００３８】
ベースレイヤ符号化ユニット４１０での本発明のエレメントを更に明確に示すため、図４では、バッファ２２０に対応するバッファは示されていない。同様に、図４では、ベースレイヤレートアロケーションユニット２２２に対応するベースレイヤアロケーションユニットが示されていない。バッファ（図示せず）及びベースレイヤレート割り当てユニット（図示せず）は、ベースレイヤ符号化ユニット４１０に存在し、従来のベースレイヤ符号化ユニット２１０におけるそれらの対応する要素と同じ機能を実行する。
【００３９】
本発明のベースレイヤ符号化ユニット４１０は、パーティションポイント計算ユニット４３０及びパーティションユニット４４０を有する。パーティションポイント計算ユニット４３０は、逆変換ユニット４２６の出力からの信号を受け、ベースレイヤのパーティションポイントを計算するために信号を使用する。すなわち、パーティションポイント計算ユニット４３０は、ベースレイヤの第一のパーティション３１０とベースレイヤの第二のパーティション３２０との間のベースレイヤのビットレート（ＲB1とＲB2）をどのように割り当てるかを決定する。本発明の好適な実施の形態では、２つのベースレイヤのビットレートは等しい。ビットレートＢR1及びビットレートＢR2が等しいとき、ベースレイヤの第一のパーティション３１０及びベースレイヤの第二のパーティション３２０は、同じビットレートで動作する。
【００４０】
パーティションポイント計算ユニット４３０は、ベースレイヤを２つのパーティションに区分するための最適な区分点を決定可能である。最適な区分点は、Jong  Chul  Ye及びYingwei  Chenによる“Rate  Distortion  Optimized  Data  Partitioning  for  Single  Layer  Video”と題された文献に更に十分に記載される技術を使用して決定することができ、この文献は、全ての目的のために引用により本明細書に盛り込まれる。
【００４１】
パーティションポイント計算ユニット４３０は、区分ポイント情報をパーティションユニット４４０に提供する。パーティションユニット４４０は、パーティションポイント情報を使用して、ベースレイヤビットストリームをベースレイヤの第一パーティション３１０のビットストリームとベースレイヤの第二パーティション３２０のビットストリームに分割する。
【００４２】
また、パーティションユニット４４０は、スケーラブルコーダ４４２及びノンスケーラブルコーダ４４４を有する。パーティションユニット４４０は、スケーラブルコーダ４４２又はノンスケーラブルコーダ４４４のいずれかを使用して、ベースレイヤの第一パーティションのビットストリーム３１０又はベースレイヤの第二パーティションのビットストリーム３２０をスケーリングする。
【００４３】
図５は、符号化されたビデオフレームがどのようにＦＧＳエンハンスメントレイヤで送信されるかを示すＦＧＳ符号化構造の例示的な従来のシーケンスを説明している。図５に示されるように、エンハンスメントレイヤ５１０の符号化されたビデオフレーム５１２、５１４、５１６、５１８及び５２０は、ベースレイヤ５３０のベースレイヤ符号化フレーム５３２、５３４、５３６、５３８及び５４０と同時に送信される。この構成は、ＦＧＳエンハンスメントレイヤ５１０が対応するベースレイヤ５３０のフレームにおける符号化データを補足するので、高品質のビデオ画像を提供する。
【００４４】
図６は、本発明の好適な実施の形態に従って符号化ビデオフレームがどのように送信されるかを示すＡＤＰ及びＦＧＳ符号化構造の組み合わせのシーケンスを例示している。図６に示されるように、エンハンスメントレイヤ６１０の符号化されたビデオフレーム６１２，６１４，６１８は、ベースレイヤ６３０のベースレイヤの符号化フレーム６３２，６３４，６３６，６３８及び６４０で同時に送信される。ベースレイヤ６３０における符号化ビデオフレーム６３４及びエンハンスメントレイヤ６１０における符号化ビデオフレーム６１４に囲まれるダークラインは、ベースレイヤの第一パーティション３１０及びベースレイヤの第二パーティション３２０の両者を含む拡張されたベースレイヤを表している。同様に、ベースレイヤ６３０における符号化されたビデオフレーム６３８及びエンハンスメントレイヤ６１０における符号化ビデオフレーム６１８を囲んでいるダークラインは、ベースレイヤの第一パーティション３１０及びベースレイヤの第二パーティション３２０の両者を含む。
【００４５】
ＡＤＰ符号化フレーム又はＦＧＳ符号化フレームは、図６に示されるように、全てのフレームタイプ（すなわちＩフレーム、Ｐフレーム、Ｂフレーム）又は幾つかのフレーム（たとえばＩフレーム及びＰフレーム）に含まれる。ＡＤＰとＦＧＳの異なるコンビネーションは、異なるフレームのタイプについて可能である。
【００４６】
図７は、本発明の代替的な好適な実施の形態に係る、ベースレイヤのパーティションを作成する例示的な装置７００を例示するブロック図である。この実施の形態では、ＦＧＳトランスコーダ７１０は、シングルレイヤのビットストリームを受ける。ＦＧＳトランスコーダ７１０は、シングルレイヤのビットストリームを、ベースレイヤのビットレートＲBを有するＦＧＳビットストリーム、及びエンハンスメントレイヤのビットレートＲEを有するエンハンスメントレイヤのビットストリームにコード変換する。ＦＧＳトランスコーダ７１０は、ビットレートＲEをもつエンハンスメントレイヤのビットストリームを出力する。ＦＧＳトランスコーダ７１０は、ビットレートＲBをもつベースレイヤのビットストリームを可変長デコーダ７２０に送出する。
【００４７】
可変長デコーダ７２０は、ベースレイヤのビットストリームを逆走査／量子化ユニット７３０に送出する。逆走査／量子化ユニット７３０は、離散コサイン変換（ＤＣＴ）係数をパーティションポイント発見ユニット７４０に出力する。パーティションポイント発見ユニット７４０は、ベースレイヤビットストリームを２つのベースレイヤのパーティションに分割するための最適な区分点を計算する。パーティションポイント発見ユニット７４０は、区分点の情報を可変長コードのバッファ７５０に送出する。
【００４８】
また、可変長デコーダ７２０は、可変長コードバッファ７５０に結合される。可変長デコーダ７２０は、可変長コード（ＶＬＣ）をデコードし、ＶＬＣコードを可変長コードバッファ７５０に供給する。可変長コードバッファ７５０は、可変長デコーダ７２０からのＶＬＣコード、及びパーティションポイント発見ユニット７４０からのパーティションからなる入力を使用し、ベースレイヤの第一パーティションのビットストリーム及びベースレイヤの第二パーティションのビットストリームを決定及び出力する。
【００４９】
本発明の好適な実施の形態の第一の方法がここで記載される。シングルレイヤの符号化ビットストリームは、ＦＧＳトランスコーダに入力される。ＦＧＳトランスコーダは、シングルレイヤのビットストリームを、エンハンスメントレイヤのビットレートＲEを有するＦＧＳエンハンスメントレイヤのビットストリーム、及びベースレイヤのビットレートＲBを有するベースレイヤのビットストリームにコード変換する。ベースレイヤの第一のパーティションビットストリームがノンスケーラブルテクスチャコーディングを有することの判定が行われる。また、ベースレイヤの第二パーティションビットストリームがノンスケーラブルテクスチャコーディングを有することの判定が行われる。
【００５０】
次いで、ベースレイヤビットストリームは、ビットレートＲB1を有するベースレイヤの第一パーティションビットストリーム、及びビットレートＲB2を有するベースレイヤの第二パーティションビットストリームに分割される。ベースレイヤの第一パーティションビットストリーム及びベースレイヤの第二パーティションのビットストリームは、再符号化されない。ベースレイヤの第一パーティションビットストリーム及びベースレイヤの第二パーティションのビットストリームは、ＦＧＳエンハンスメントレイヤのビットストリームに沿った出力として供給される。これは、本発明の原理に従うＡＤＰ＋ＦＧＳビットストリームを提供する。
【００５１】
入力ビデオ信号が圧縮されていないビデオであるとき、入力ビデオ信号は、エンハンスメントレイヤビットレートＲE及びベースレイヤのビットレートＲBを有するＦＧＳビットストリームにはじめに符号化される。先に記載された第一の方法の残りのステップが次に実行される。
【００５２】
図８は、先に記載された本発明の好適な実施の形態の第一の方法に関するステップを示すフローチャートを例示している。第一のステップでは、シングルレイヤの符号化ビットストリームは、ＦＧＳトランスコーダで受信される（ステップ８１０）。ＦＧＳトランスコーダは、シングルレイヤのビットストリームを、エンハンスメントレイヤのビットレートＲEを有するＦＧＳエンハンスメントレイヤのビットストリーム、及びベースレイヤのビットレートＲBを有するベースレイヤのビットストリームにコード変換する（ステップ８２０）。ベースレイヤの第一パーティションのビットストリームは、ノンスケーラブルテクスチャコーディングを有するように決定される（ステップ８３０）。ベースレイヤの第二パーティションのビットストリームは、ノンスケーラブルテクスチャコーディングを有するように決定される（ステップ８４０）。ベースレイヤビットストリームは、ビットレートＲB1を有するベースレイヤの第一パーティションのビットストリーム及びビットレートＲB2を有するベースレイヤの第二パーティションのビットストリームに分割される（ステップ８５０）。ベースレイヤの第一パーティションのビットストリーム及びベースレイヤの第二パーティションのビットストリームは、ＦＧＳエンハンスメントビットストリームに沿った出力として提供される（ステップ８６０）。
【００５３】
ここで、本発明の好適な実施の形態の第二の方法が記載される。第二の方法では、ベースレイヤの第一パーティションのビットストリームは、ノンスケーラブルテクスチャコーディングを有し、ベースレイヤの第二パーティションのビットストリームは、スケーラブルテクスチャコーディングを有する。シングルレイヤの符号化ビットストリームは、ＦＧＳトランスコーダに入力される。ＦＧＳトランスコーダは、シングルレイヤのビットストリームを、エンハンスメントレイヤのビットレートＲEを有するＦＧＳエンハンスメントレイヤのビットストリーム、及びベースレイヤのビットレートＲBを有するベースレイヤのビットストリームにコード変換する。ベースレイヤの第一パーティションのビットストリームがノンスケーラブルテクスチャコーディングを有することの判定が行われる。また、ベースレイヤの第二パーティションのビットストリームがスケーラブルテクスチャコーディングを有することの判定が行われる。
【００５４】
次いで、ベースレイヤのビットストリームは、ビットレートＲB1を有するベースレイヤの第一パーティションのビットストリーム、及びビットレートＲB2を有するベースレイヤの第二パーティションのビットストリームに分割される。ベースレイヤの第一パーティションのビットストリームは再符号化されない。ベースレイヤの第二パーティションのビットストリームは、ＦＧＳのようなスケーラブルレコーダを使用して再符号化される。ベースレイヤの第一パーティションのビットストリーム及び再符号化されたベースレイヤの第二パーティションのビットストリームは、ＦＧＳエンハンスメントレイヤのビットストリームに沿った出力として供給される。これは、本発明の原理に係る、ＡＤＰ＋ＦＧＳビットストリームを提供する。
【００５５】
入力ビデオ信号が圧縮されていないビデオであるとき、入力ビデオ信号は、エンハンスメントレイヤのビットレートＲE及びベースレイヤのビットレートＲBを有するＦＧＳビットストリームにはじめに符号化される。次いで、先に記載された第二の方法の残りのステップが実行される。
【００５６】
図９は、先に記載された本発明の好適な実施の形態の第二の方法に関するステップを示すフローチャートを例示している。第一のステップでは、シングルレイヤの符号化ビットストリームは、ＦＧＳトランスコーダで受信される（ステップ９１０）。ＦＧＳトランスコーダは、シングルレイヤのビットストリームを、エンハンスメントレイヤのビットレートＲEを有するＦＧＳエンハンスメントレイヤ、及びベースレイヤのビットレートＲBを有するベースレイヤのビットストリームにコード変換する（ステップ９２０）。ベースレイヤの第一パーティションのビットストリームは、ノンスケーラブルテクスチャコーディングを有するように決定される（ステップ９３０）。ベースレイヤの第二パーティションのビットストリームは、スケーラブルテクスチャコーディングを有するように決定される（ステップ９４０）。次いで、ベースレイヤのビットストリームは、ビットレートＲB1を有するベースレイヤの第一パーティションのビットストリーム、及びビットレートＲB2を有するベースレイヤの第二パーティションのビットストリームに区分される（ステップ９５０）。ベースレイヤの第二パーティションのビットストリームは、ＦＧＳのようなスケーラブルレコーダ（scalable  recoder）を使用して再符号化（recoded）される（ステップ９６０）。ベースレイヤの第一パーティションのビットストリーム及び再符号化されたベースレイヤの第二パーティションのビットストリームは、ＦＧＳエンハンスメントレイヤのビットストリームに沿った出力として提供される（ステップ９７０）。
【００５７】
ここで、本発明の好適な実施の形態の第三の方法が記載される。第三の方法では、ベースレイヤの第一パーティションのビットストリームは、スケーラブルテクスチャコーディングを有し、ベースレイヤの第二パーティションのビットストリームは、スケーラブルテクスチャコーディングを有する。シングルレイヤの符号化ビットストリームは、ＦＧＳトランスコーダに入力される。ＦＧＳトランスコーダは、シングルレイヤのビットストリームを、エンハンスメントレイヤのビットレートＲEを有するＦＧＳエンハンスメントレイヤのビットストリーム、及びベースレイヤのビットレートＲBを有するベースレイヤのビットストリームにコード変換する。ベースレイヤの第一パーティションのビットストリームは、スケーラブルテクスチャコーディングを有することの判定が行われる。また、ベースレイヤの第二パーティションのビットストリームがスケーラブルテクスチャコーディングを有することの判定が行われる。
【００５８】
次いで、ベースレイヤのビットストリームは、ビットレートＲB1を有するベースレイヤの第一パーティションのビットストリーム、及びビットレートＲB2を有するベースレイヤの第二パーティションのビットストリームに分割される。
【００５９】
ベースレイヤの第一パーティションのビットストリームは、ＦＧＳのようなスケーラブルレコーダを使用して再符号化される。また、ベースレイヤの第二パーティションのビットストリームは、ＦＧＳのようなスケーラブルレコーダを使用して再符号化される。再符号化されたベースレイヤの第一パーティションのビットストリーム及び再符号化されたベースレイヤの第二パーティションのビットストリームは、ＦＧＳエンハンスメントレイヤのビットストリームに沿った出力として提供される。これは、本発明の原理に従って、ＡＤＰ＋ＦＧＳビットストリームを提供する。
【００６０】
入力ビデオ信号が圧縮されていないビデオであるとき、入力ビデオ信号は、エンハンスメントレイヤのビットレートＲE及びベースレイヤのビットレートＲBを有するＦＧＳビットストリームに始めにエンコードされる。その後、先に記載された第三の方法の残りのステップが実行される。
【００６１】
図１０は、先に記載された本発明の好適な実施の形態の第三の方法に関するステップを示すフローチャートを説明している。第一のステップでは、シングルレイヤの符号化ビットストリームは、ＦＧＳトランスコーダで受信される（ステップ１０１０）。ＦＧＳトランスコーダは、シングルレイヤのビットストリームを、エンハンスメントレイヤのビットレートＲEを有するＦＧＳエンハンスメントレイヤのビットストリーム、及びベースレイヤのビットレートＲBを有するベースレイヤのビットストリームにコード変換する（ステップ１０２０）。ベースレイヤの第一パーティションのビットストリームは、スケーラブルテクスチャコーディングを有するように決定される（ステップ１０３０）。ベースレイヤの第二パーティションのビットストリームは、スケーラブルテクスチャコーディングを有するように決定される（ステップ１０４０）。ベースレイヤのビットストリームは、ビットレートＲB1を有するベースレイヤの第一パーティションのビットストリーム、及びビットレートＲB2を有するベースレイヤの第二パーティションのビットストリームに分割される（ステップ１０５０）。ベースレイヤの第一パーティションのビットストリーム及びベースレイヤの第二パーティションのビットストリームは、ＦＧＳのようなスケーラブルレコーダを使用して再符号化される（ステップ１０６０）。再符号化されたベースレイヤの第一パーティションのビットストリーム及び再符号化されたベースレイヤの第二パーティションは、ＦＧＳエンハンスメントレイヤのビットストリームに沿った出力として供給される（ステップ１０７０）。
【００６２】
特定のアプリケーションの最適なビットレートの選択は、アプリケーションの要件のビットレートのレン時をはじめに決定することで決定される。ビットレートは、最小のビットレートＲMINから最大のビットレートＲMAXの範囲に及ぶ。図３に示されたように、最小のビットレートＲMINは、ベースレイヤの第一のパーティション３１０のビットレートＲB1に等しい。本発明の１つの好適な実施の形態では、ベースレイヤの第二のパーティション３２０のビットレートＲB2は、ベースレイヤの第一のパーティション３１０のビットレートＲB1に等しい。
【００６３】
ビットレートＲB2（ベースレイヤの第二パーティション３２０のビットレート）の選択は、結果的に得られるＡＤＰ＋ＦＧＳ信号のレート、複雑さ、及び歪み性能に影響を及ぼす。異なる最適なビットレートは、アプリケーションの規準に依存して選択される場合がある。
【００６４】
図１１は、最適なビットレートを決定するための本発明の好適な方法のステップを示すフローチャートを説明する。アプリケーション用の（ＲMINからＲMAXへの）ビットレートのレンジがはじめに決定される（ステップ１１１０）。次いで、時間的な相関係数（ＴＣＣ）が決定される（ステップ１１２０）。時間的な相関係数（ＴＣＣ）は、以下のように計算される場合がある。
【００６５】
【数４】
2007507927.tif 000003
ここで、Ｗはフレーム／イメージの幅であり、Ｈはフレーム／イメージの高さである。文字“ｆ”は現在のフレームを示し、用語“Ａｖｅf”は現在のフレームの平均の画素値
である。文字“ｒ”は“ｆ”について動き補償された規準フレームを示し、用語“Ａｖｅr”は動き補償された基準フレームの平均画素値である。
【００６６】
時間的な相関係数（ＴＣＣ）の値が計算された後、ＴＣＣの値が閾値よりも小さいかに関する判定が行われる（ステップ１１３０）。ＴＣＣの値が閾値よりも小さい場合、ビットストリームはＦＧＳを使用して符号化される（ステップ１１４０）。
【００６７】
ＴＣＣの値が閾値よりも大きい場合、エンハンスメントレイヤにおけるＴＣＣの値が閾値よりも低いＲADPの値が決定される（ステップ１１５０）。次いで、ビットストリームは、ＲADPレートでのベースレイヤの第二パーティション３２０のトップでＦＧＳを使用して符号化される（ステップ１１６０）。次いで、ＡＤＰは、ＲADPレートで符号化されるベースレイヤについて実行される（ステップ１１７０）。ベースレイヤの第一のパーティション３１０とベースレイヤの第二のパーティション３２０との間の区分が生成されたとき、ＲMINビットレートについて品質が最適化される。
【００６８】
ここで、本発明の好適な実施の形態の第四の方法が記載される。第四の方法は、複雑さ（complexity）について最適化される。アプリケーションの（ＲMINからＲMAXまで）ビットレートレンジがはじめに決定される。次いで、「ハイエンド」装置により許容することができる複雑さの近似的な量が決定される。次いで、ＦＧＳ（すなわちＲFGS）の対応するベースレイヤの第二パーティションのビットレートが決定される。ビットストリームは、ＲFGSのベースレイヤの第二パーティションのビットレートを使用して符号化される。ＡＤＰを使用したベースレイヤが符号化され、ベースレイヤの第一パーティションの品質は、ＲMINビットレートについて最適化される。
【００６９】
図１２は、先に記載された本発明の好適な実施の形態の第四の方法のステップを示すフローチャートを説明する。第一のステップでは、アプリケーション用の（ＲMINからＲMAXまで）ビットレートレンジが決定される（ステップ１２１０）。「ハイエンド」装置により許容される複雑さの近似的な量が決定される（ステップ１２２０）。ＦＧＳ用の対応するベースレイヤの第二パーティションのビットレートが決定される（ステップ１２３０）。ＦＧＳビットストリームは、ＲFGSのベースレイヤの第二パーティションのビットレートを使用して符号化される（ステップ１２４０）。ベースレイヤは、ＡＤＰを使用して符号化され、ベースレイヤの第一のパーティションの品質は、ＲMINのビットレートについて最適化される（ステップ１２５０）。
【００７０】
ここで、本発明の好適な実施の形態の第五の方法が記載される。第五の方法は、空間スケーラビリティについて最適化される。アプリケーション用の（ＲMINからＲMAXまで）ビットレートレンジがはじめに決定される。次いで、それぞれの解像度によりカバーされるべきビットレートレンジが決定される。解像度Ｘの（ＲMINからＲMAX1まで）第一のビットレートレンジが決定される。解像度４Ｘの（ＲMAX1からＲMINまで）第二のビットレートレンジが次いで決定される。次いで、ＦＧＳレイヤは、解像度４ＸでビットレートＲMAX1にて符号化される。次いで、ＡＤＰは、解像度ＸでビットレートＲMINを有するベースレイヤの第一パーティションによるベースレイヤについて実行される。
【００７１】
図１３は、先に記載された本発明の代替的な実施の形態の第五の方法に関するステップを示すフローチャートを説明する。第一のステップでは、アプリケーション用の（ＲMINからＲMAXまで）ビットレージレンジが決定される（ステップ１３１０）。それぞれの解像度によりカバーされるべきビットレージレンジが決定される（ステップ１３２０）。解像度Ｘの（ＲMINからＲMAX1まで）第一のビットレートレンジが決定される（ステップ１３３０）。解像度４Ｘの（ＲMAX1からＲMINまで）第二のビットレートレンジが決定される（ステップ１３４０）。ＦＧＳレイヤは、次いで、解像度４ＸでビットレートＲMAX1にて符号化される（ステップ１３５０）。ＡＤＰは、次いで、解像度ＸでのビットレートＲMINを有するベースレイヤの第一パーティションによるベースレイヤについて実行される（ステップ１３６０）。
【００７２】
図１４は、異なるビットレートでのピーク信号対ノイズ比の観点で、従来のＦＧＳ符号化ビットストリーム及び２つの従来のＡＤＰ符号化ビットストリームの性能を示すグラフである。図１４は、低いベースレイヤのビットレートを有する１つの従来のＦＧＳ符号化ビットストリーム１４１０の性能を示す。また、図１４は、２つのＡＤＰ符号化ビットストリームの性能を示している。第一のＡＤＰ符号化ビットストリーム１４２０は、適度なベースレイヤのビットレートを有する。第二のＡＤＰ符号化ビットストリーム１４３０は、高いベースレイヤのビットレートを有する。これら従来のビットストリームの性能は、図１５において、本発明の結合されたＡＤＰ＋ＦＧＳ符号化ビットストリームの性能と比較することができるように示されている。
【００７３】
図１５は、異なるビットレートでのピーク信号対ノイズ比の観点で、本発明のＡＤＰ＋ＦＧＳ符号化ビットストリーム１５１０の性能を示すグラフを示す。また、比較のために、図１４から従来のビットストリームが示されている。ＡＤＰ＋ＦＧＳ符号化ビットストリームのパフォーマンスラインは、点線として示されている。
【００７４】
図５に例示されるように、ＡＤＰ＋ＦＧＳビットストリームは、毎秒３メガビット（３．０Ｍｂｐｓ）で符号化されたベースレイヤを有する。ベースレイヤは、毎秒１．５メガビット（１．５Ｍｂｐｓ）のビットレートを有するベースレイヤの第一パーティション、及び毎秒１．５メガビット（１．５Ｍｂｐｓ）のビットレートを有するベースレイヤの第二パーティションに区分される。毎秒３メガビット（３．０Ｍｂｐｓ）のＦＧＳエンハンスメントレイヤのビットレートは、ＡＤＰ＋ＦＧＳのビットストリームについて示されている。これは、ビットレートレンジが毎秒１．５メガビット（１．５Ｍｂｐｓ）から毎秒６メガビット（６．０Ｍｂｐｓ）に及ぶことを意味している。
【００７５】
ＦＧＳのベースレイヤビットレートは、改善された符号化効率について１．５Ｍｂｐｓから３．０Ｍｂｐｓに増加する。この間、ＡＤＰの上限のビットレートは、３．０Ｍｂｐｓから６．０Ｍｂｐｓに拡張される。点線１５１０は、ＡＤＰ＋ＦＧＳ符号化ビットストリームのレート歪み性能を特徴づける。
【００７６】
図１６は、本発明の原理を実現するために使用されるシステム１６００の例示的な実施の形態を示す。システム１６００は、テレビジョン、セットトップボックス、デスクトップ、ラップトップ又はパームトップコンピュータ、パーソナルデジタルアシスタント（ＰＤＡ）、ビデオカセットレコーダ（ＶＣＲ）、デジタルビデオレコーダ（ＤＶＲ）、ＴｉＶＯ装置等のようなビデオ／イメージストレージ装置、これらの装置及び他の装置の一部又は組み合わせを表す場合がある。システム１６００は、１以上のビデオ／イメージソース１６１０、１以上の入力／出力装置１６６０、プロセッサ１６２０及びメモリ１６３０を含んでいる。ビデオ／イメージソース１６１０は、たとえばテレビジョンレシーバ、ＶＣＲ又は他のビデオ／イメージストレージ装置を表す場合がある。ビデオ／イメージソース１６１０は、たとえば、インターネット、ワイドエリアネットワーク、地上波ブロードキャストシステム、ケーブルネットワーク、サテライトネットワーク、ワイヤレスネットワーク又はテレフォンネットワーク、及びこれら及び他のタイプのネットワークの一部又は組み合わせといったグローバルコンピュータコミュニケーションズネットワークにわたり１以上のサーバからビデオを受信するための１以上のネットワークコネクションを代替的に表している。
【００７７】
入力／出力装置１６６０、プロセッサ１６２０及びメモリ１６３０は、通信媒体１６５０にわたり通信する場合がある。通信媒体１６５０は、たとえば、バス、通信ネットワーク、１以上の回路の内部コネクション、回路カード又は他の装置、並びに、これら及び他の通信メディアの一部及び組み合わせを表す場合がある。ソース１６１０からの入力ビデオデータは、メモリ１６３０に記憶され、ディスプレイ装置１６４０に供給される出力ビデオ／イメージを生成するためにプロセッサ１６２０により実行される１以上のソフトウェアプログラムに従って処理される。
【００７８】
好適な実施の形態では、本発明の原理を採用した符号化及び復号化は、システムにより実行されるコンピュータ読取り可能なコードにより実現される場合がある。コードは、メモリ１６３０に記憶されるか、ＣＤ−ＲＯＭ又はフロッピー（登録商標）のようなメモリ媒体から読取り／ダウンロードされる場合がある。他の実施の形態では、ハードウェア回路は、本発明を実現するためのソフトウェア命令の代わりに、又はソフトウェア命令と組み合わせて使用される場合がある。たとえば、本明細書で例示されたエレメントは、ディスクリートなハードウェアとして実現される場合がある。
【００７９】
本発明はその所定の実施の形態に関して詳細に記載されたが、当業者であれば、その広義の形式で本発明の概念及び範囲から逸脱することなしに本発明における様々な変形、置き換え変更、代替及び適合をなすことができることを理解すべきである。
【図面の簡単な説明】
【００８０】
【図１】本発明の好適な実施の形態に係る、ストリーミングビデオトランスミッタからデータネットワークを通してストリーミングビデオレシーバへのストリーミングビデオのエンド−エンド伝送を例示するブロック図である。
【図２】従来技術の実施の形態に係る例示的なビデオエンコーダを例示するブロック図である。
【図３】本発明の好適な実施の形態に係る、ベースレイヤのビットストリームが２つのビットストリームパーティションにどのように区分されるかを例示する図である。
【図４】本発明の好適な実施の形態に係る、例示的なビデオエンコーダを例示するブロック図である。
【図５】エンコードされたビデオフレームがＦＧＳエンハンスメントレイヤでどのように伝送されるかを示すＦＧＳ符号化構造の例示的な従来技術のシーケンスを説明する図である。
【図６】本発明の好適な実施の形態に係る、符号化されたビデオフレームがどのように伝送されたかを示すＡＤＰ及びＦＧＳ符号化構造の組み合わせに関するシーケンスを説明する図である。
【図７】本発明の代替的な好適な実施の形態に係る、ベースレイヤのパーティションを生成するための例示的な装置を説明するブロック図である。
【図８】本発明の好適な実施の形態に関する第一の方法のステップを示すフローチャートを説明する図である。
【図９】本発明の好適な実施の形態に関する第二の方法のステップを示すフローチャートを説明する図である。
【図１０】本発明の好適な実施の形態に関する第三の方法のステップを示すフローチャートを説明する図である。
【図１１】最適なビットレートを決定するための本発明の好適な方法のステップを示すフローチャートを説明する図である。
【図１２】本発明の好適な実施の形態に関する第四の方法のステップを示すフローチャートである。
【図１３】本発明の好適な実施の形態に関する第五の方法のステップを示すフローチャートである。
【図１４】異なるビットレートでのピーク信号対ノイズ比の観点で、従来のＦＧＳ符号化ビットストリームと２つの従来のＡＤＰ符号化ビットストリームの性能を示すグラフである。
【図１５】異なるビットレートでのピーク信号対ノイズ比の観点で、本発明のＡＤＰ＋ＦＧＳ符号化ビットストリームの性能を示すグラフである。
【図１６】本発明の原理を実現するために使用される場合があるデジタル伝送システムの例示的な実施の形態を例示する図である。
【図１】
2007507927.tif 000007
【図２】
2007507927.tif 000008
【図３】
2007507927.tif 000009
【図４】
2007507927.tif 000010
【図５】
2007507927.tif 000011
【図６】
2007507927.tif 000012
【図７】
2007507927.tif 000013
【図８】
2007507927.tif 000014
【図９】
2007507927.tif 000015
【図１０】
2007507927.tif 000016
【図１１】
2007507927.tif 000017
【図１２】
2007507927.tif 000018
【図１３】
2007507927.tif 000019
【図１４】
2007507927.tif 000020
【図１５】
2007507927.tif 000021
【図１６】
2007507927.tif 000022
【国際調査報告】
2007507927.tif 000023
2007507927.tif 000024
2007507927.tif 000025