(57)【要約】【課題】多種のマルチメディア・コンテンツをネットワーク上で、品質の許容レベルが異なる多様なマルチメディアのユーザに伝送する技術を提供する【解決手段】圧縮マルチメディア情報からユーティリティ・ベースの記述子を生成する技法を開示する。好適な方法は、前記圧縮マルチメディア情報の少なくとも１セグメントを受信するステップと、１つ以上の適応演算操作にもとづいて、各々が一意的な目標レート対応する、ユーティリティ・ベースの記述子情報の２つ以上の部分を特定するステップと、前記ユーティリティ・ベースの記述子情報の前記部分の各々によって、前記圧縮マルチメディアのセグメントを適応させて、適応マルチメディア・セグメントを生成するステップと、品質測定法を用いて、前記適応マルチメディア・セグメント毎の品質測定値を生成するステップと、前記ユーティリティ・ベースの記述子情報の前記部分、及びこれに対応する前記品質測定値にもとづいて、ユーティリティ・ベースの記述子を生成するステップとを具えている。
2005525011.tif 000002
【特許請求の範囲】
【請求項１】
圧縮マルチメディア情報からユーティリティ・ベースの記述子を生成する方法であって、この方法が、
(a) 前記圧縮マルチメディア情報の少なくとも１セグメントを受信するステップと；
(b) １つ以上の適応演算操作にもとづいて、ユーティリティ・ベースの記述子情報の２つ以上の部分を特定するステップを具えて、前記部分の各々が、前記１つ以上の適応演算操作のうちの特定のものについての１つ以上のリソース制限に対応し；
(c) 前記方法がさらに、前記ユーティリティ・ベースの記述子情報の前記２つ以上の部分の各々によって、前記受信した圧縮マルチメディア・セグメントを適応させるステップを具えて、２つ以上の適応マルチメディア・セグメントを生成して、前記適応マルチメディア・セグメントの各々が、前記２つ以上の部分の異なるものに対応し；
(d) 前記方法がさらに、品質測定法を用いて、前記２つ以上の適応マルチメディア・セグメント毎の品質測定値を生成するステップと；
(e) 前記ユーティリティ・ベースの記述子情報の前記２つ以上の部分、及びこれらに対応する前記品質測定値にもとづいて、ユーティリティ・ベースの記述子を生成するステップと
を具えていることを特徴とするユーティリティの記述子の生成方法。
【請求項２】
前記圧縮マルチメディア情報が、ＭＰＥＧ−４データから成ることを特徴とする請求項１に記載の方法。
【請求項３】
前記圧縮マルチメディア情報が、ＭＰＥＧ−２データから成ることを特徴とする請求項１に記載の方法。
【請求項４】
前記圧縮マルチメディア情報が、ＭＰＥＧ−１データから成ることを特徴とする請求項１に記載の方法。
【請求項５】
前記リソース制限が、目標レート情報から成ることを特徴とする請求項１に記載の方法。
【請求項６】
前記特定するステップが、１つ以上の適応演算操作にもとづいて、前記ユーティリティ・ベースの記述子情報の５個〜１００個の部分からの特定を行うステップから成ることを特徴とする請求項１に記載の方法。
【請求項７】
前記ユーティリティ・ベースの記述子情報の前記部分が、一様に標本化したデータから成ることを特徴とする請求項６に記載の方法。
【請求項８】
前記ユーティリティ・ベースの記述子情報の前記部分が、非一様に標本化したデータから成ることを特徴とする請求項６に記載の方法。
【請求項９】
前記特定するステップが、２つ以上の適応演算操作にもとづいて、前記ユーティリティ・ベースの記述子情報の１０個以上の部分を特定するステップから成ることを特徴とする請求項６に記載の方法。
【請求項１０】
前記特定するステップが、２つ以上の適応演算操作にもとづいて、前記ユーティリティ・ベースの記述子情報の２つ以上の部分を特定するステップから成ることを特徴とする請求項１に記載の方法。
【請求項１１】
前記１つ以上の適応演算操作が、フレームを落とすことを含むことを特徴とする請求項１に記載の方法。
【請求項１２】
前記フレームが、前記受信したセグメントの各画像サブグループ内の第１のＢフレームから成ることを特徴とする請求項１１に記載の方法。
【請求項１３】
前記フレームが、前記受信したセグメントの各画像グループ内のすべてのＢフレームから成ることを特徴とする請求項１１に記載の方法。
【請求項１４】
前記１つ以上の適応演算操作がさらに、ＤＣＴ係数を落とすことを含むことを特徴とする請求項１１に記載の方法。
【請求項１５】
前記１つ以上の適応演算操作がさらに、ＭＰＥＧ−４ファイン・グラニュラ・スケーラビリティ（ＦＳＧ）のストリームの切り落としを含むことを特徴とする請求項１に記載の方法。
【請求項１６】
前記１つ以上の適応演算操作がさらに、切り落とすべきＭＰＥＧ−４  ＦＳＧフレームのビットプレーンの数を指定することを含むことを特徴とする請求項１５に記載の方法。
【請求項１７】
前記１つ以上の適応演算操作がさらに、切り落とすべきＦＧＳＴフレームのビットプレーンの数を指定することを含むことを特徴とする請求項１５に記載の方法。
【請求項１８】
前記１つ以上の適応演算操作がさらに、切り落とすべきＦＳＧフレーム及びＦＧＳＴフレームのビットプレーンの数を指定することを含むことを特徴とする請求項１５に記載の方法。
【請求項１９】
さらに、ステップ(c)の前に、前記品質測定法を、２つ以上の利用可能な測定法から選択するステップを具えていることを特徴とする請求項１に記載の方法。
【請求項２０】
前記圧縮マルチメディア情報が、記憶しているビデオ情報から成ることを特徴とする請求項１に記載の方法。
【請求項２１】
前記圧縮マルチメディア情報が、ライブビデオ情報から成ることを特徴とする請求項１に記載の方法。
【請求項２２】
さらに、ステップ(e)の前に、前記品質測定値をランク付けするステップを具えていることを特徴とする請求項１に記載の方法。
【請求項２３】
圧縮マルチメディア情報を、各人が１つ以上のリソース制限を有する１人以上のユーザに伝送する方法であって、この方法が、
(a) 前記圧縮マルチメディア情報の少なくとも１セグメント、及びこれに対応するユーティリティ・ベースの記述子を受信するステップと；
(b) 前記ユーティリティ・ベースの記述子を、記述子情報の２つ以上の部分に文法的に分割するステップとを具えて、前記部分の各々が、１つ以上の異なるリソース制限に対応し；
(c) 前記方法がさらに、前記１人以上のユーザ毎に、前記ユーティリティ・ベースの記述子情報の前記２つ以上の部分に、当該ユーザについての前記リソース制限に対応する部分があれば、前記対応する部分のうちの１つを選択するステップと；
(d) 前記１人以上のユーザ毎に、前記ユーティリティ・ベースの記述子情報の前記選択した部分によって、前記受信した圧縮マルチメディア・セグメントを適応させるステップと；
を具えていることを特徴とする圧縮マルチメディア情報の伝送方法。
【請求項２４】
前記圧縮マルチメディア情報が、ＭＰＥＧ−４データから成ることを特徴とする請求項２３に記載の方法。
【請求項２５】
前記圧縮マルチメディア情報が、ＭＰＥＧ−２データから成ることを特徴とする請求項２３に記載の方法。
【請求項２６】
前記圧縮マルチメディア情報が、ＭＰＥＧ−１データから成ることを特徴とする請求項２３に記載の方法。
【請求項２７】
前記リソース制限が、目標レート情報から成ることを特徴とする請求項２３に記載の方法。
【請求項２８】
さらに、前記１人以上のユーザのうち、ステップ(c)で、前記ユーティリティ・ベースの記述子情報の前記２つ以上の部分のうちの１つを選択しなかったユーザ毎に、前記ユーティリティ・ベースの記述子情報の前記２つ以上の部分のうちの連続する２つの部分の間を内挿補間して、内挿補間したユーティリティ・ベースの記述子を生成して、前記内挿補間したユーティリティ・ベースの記述子が、前記選択しなかったユーザについての前記リソース制限におよそ対応することを特徴とする請求項２３に記載の方法。
【請求項２９】
前記分割するステップが、前記受信したユーティリティ・ベースの記述子を、５個〜１００個の部分に分割するステップを具えて、前記部分の各々が、１つ以上のリソース制限の一意的な組に対応することを特徴とする請求項２３に記載の方法。
【請求項３０】
前記ユーティリティ・ベースの記述子情報の前記部分を、一様に標本化することを特徴とする請求項２３に記載の方法。
【請求項３１】
前記ユーティリティ・ベースの記述子情報の前記部分を、非一様に標本化することを特徴とする請求項２３に記載の方法。
【請求項３２】
前記適応させるステップが、フレームを落とすことを含むことを特徴とする請求項２３に記載の方法。
【請求項３３】
前記フレームが、前記受信したセグメントの各画像サブグループ内の第１のＢフレームから成ることを特徴とする請求項３２に記載の方法。
【請求項３４】
前記フレームが、前記受信したセグメントの各画像グループ内のすべてのＢフレームから成ることを特徴とする請求項３２に記載の方法。
【請求項３５】
前記フレームが、前記受信したセグメントの各画像グループの終わりのＰフレームを含むことを特徴とする請求項３２に記載の方法。
【請求項３６】
前記適応させるステップがさらに、ＤＣＴ係数を落とすことを含むことを特徴とする請求項２３に記載の方法。
【請求項３７】
前記適応させるステップがさらに、ＭＰＥＧ−４ファイン・グラニュラ・スケーラビリティのストリームの切り落としを含むことを特徴とする請求項２３に記載の方法。
【請求項３８】
前記リソース制限が目標レート情報から成り、さらに、前記少なくとも１人のユーザからのユーザ性能情報を受信するステップを具えて、前記適応させるステップがさらに、前記ユーザ性能情報を、これに対応する前記ユーザのために用いるステップを含むことを特徴とする請求項２３に記載の方法。
【請求項３９】
前記リソース制限が目標レート情報から成り、さらに、前記１人以上のユーザのうちの少なくとも１人に対応する目標ビットレートのフィードバックをネットワークから受信するステップを具えて、前記適応させるステップがさらに、前記フィードバックを、これに対応する前記ユーザのために用いるステップを含むことを特徴とする請求項２３に記載の方法。
【請求項４０】
前記適応させるステップがさらに、所定のネットワーク帯域幅のパラメータを、前記受信した圧縮マルチメディア・セグメントを適応させるために用いるステップを含むことを特徴とする請求項２３に記載の方法。
【請求項４１】
前記圧縮マルチメディア情報が、記憶しているビデオ情報から成ることを特徴とする請求項２３に記載の方法。
【請求項４２】
前記圧縮マルチメディア情報が、ライブビデオ情報から成ることを特徴とする請求項２３に記載の方法。
【請求項４３】
圧縮マルチメディア情報を、１人以上のユーザの端末に伝送するシステムであって、前記端末の各々が異なる目標ビットレートを有し、このシステムが、
(a)  (i) 前記圧縮マルチメディア情報の少なくとも１セグメント、及びこれに対応するユーティリティ・ベースの記述子を受信して；
(ii) 前記受信したユーティリティ・ベースの記述子を、記述子情報の２つ以上の部分に文法的に分割して、前記部分の各々が、一意的な目標ビットレートに対応して；
(iii) 前記１人以上のユーザ毎に、前記ユーティリティ・ベースの記述子情報の前記２つ以上の部分のうち、当該ユーザについての前記リソース制限に対応する部分があれば、前記対応する部分のうちの１つを選択して；
(iv) 前記１人以上のユーザ毎に、前記ユーティリティ・ベースの記述子情報の前記選択した対応する部分によって、前記受信した圧縮マルチメディア・セグメントを適応させて；
(v) 前記１人以上のユーザ毎に、前記適応させた圧縮マルチメディア・セグメントを出力すべく適応させたコンテンツ伝送コンピュータと、
(b) 前記コンテンツ伝送コンピュータに結合されて、前記出力される適応させた圧縮マルチメディア・セグメントの各々を受信して、前記出力される適応させた圧縮マルチメディア・セグメントを前記１人以上のユーザの端末に伝送するネットワークと；
(c) １つ以上のユーザ端末とを具えて、前記ユーザ端末の各々が、前記ネットワークに結合されて、このユーザ端末に対応する適応させた圧縮マルチメディア・セグメントを受信する
ことを特徴とする圧縮マルチメディア情報の伝送システム。
【請求項４４】
前記コンテンツ伝送コンピュータがさらに、前記１人以上のユーザのうち、前記ユーティリティ・ベースの記述子情報の前記２つ以上の部分うちの１つが選択できなかったユーザ毎に、前記ユーティリティ・ベースの記述子情報の前記２つ以上の部分のうちの連続する２つの部分の間を内挿補間して、内挿補間したユーティリティ・ベースの記述子を生成して、前記内挿補間したユーティリティ・ベースの記述子が、前記選択しなかったユーザについての前記リソース制限におよそ対応することを特徴とする請求項４３に記載のシステム。
【請求項４５】
圧縮マルチメディア情報の、１つ以上のユーザ端末への伝送を指定するユーティリティ・ベースの記述子であって、前記ユーザ端末の各々が１つ以上のリソース制限を受けて、前記記述子が、
(a) １つ以上の適応記述子を具えて、前記適応記述子の各々が、適応方法に関連するユーティリティ関数を記述して；
(b) 前記記述子がさらに、各々が一組の適応演算子を表わす１つ以上のユーティリティ関数記述子を具えて、前記適応演算子が、圧縮マルチメディア情報を１人以上のユーザに伝送するための適応を示し、前記ユーザが、当該ユーザに対応する１つ以上のリソース制限を受ける
ことを特徴とするユーティリティ・ベースの記述子。
【請求項４６】
前記リソース制限が、目標レート情報から成ることを特徴とする請求項４５に記載の記述子。
【請求項４７】
さらに、１つ以上のリソース記述子を具えて、前記リソース記述子が、これに対応する少なくとも１つの制限されたリソースを規定して、前記リソースが、前記１つ以上のユーティリティ関数記述子に関連することを特徴とする請求項４５に記載の記述子。
【請求項４８】
さらに、１つ以上のユーティリティ記述子を具えて、前記ユーティリティ記述子が、これに対応する少なくとも１つの制限されたユーティリティを規定して、前記ユーティリティが、前記１つ以上のユーティリティ関数記述子に関連することを特徴とする請求項４５に記載の記述子。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願のクロスリファレンス）
本願は、米国暫定特許出願番号60/376,129、2002年4月26日出願、及び60/384,939、2002年5月31日出願にもとづくものであり、これらの特許出願はあらゆる目的の参考文献として本明細書に含め、そしてこれらの特許出願にもとづいて優先権を主張する。
【０００２】
（発明の背景）
技術分野：
本発明は、マルチメディア・コンテンツ（内容）をネットワーク間で伝送するための技術に関するものであり、特に、マルチメディア・コンテンツを広範囲のネットワーク間で、透明的かつ適応的に伝送するための技術に関するものである。
【０００３】
背景技術：２１世紀の夜明けには、インターネットが事業者及び消費者の間で、あらゆる形態のマルチメディア情報の交換に広範に利用されるようになった。グラフィックアート、テキスト（文字列）、オーディオ（音声）、ビデオ（映像）、及び他の形態の情報が、絶えずユーザ間で共有されている。帯域幅の要求を管理可能なレベルに低減するために、マルチメディア情報を記憶して、標準的なフォーマットに圧縮したビット流の形で伝送することが多い。例えば、オーディオビジュアル（音響映像）情報の場合には、ＪＰＥＧ、モーション（動画）ＪＰＥＧ、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６１、及びＨ．２６３が広範に利用されている。
【０００４】
【非特許文献１】ISO/IEC JTC1/SC29/WG11/N5231 (2002)  不都合なことに、多数の異なる種類の標準化されたマルチメディア・コンテンツが開発され、そしてインターネット上で利用可能になっているが、こうしたコンテンツのアクセス、伝送、管理、及び保護を制御するための標準的な方法が、現状では存在しない。このことの必要性を認識して、Motion Picture Experts Group（ＭＰＥＧ：動画像符号化方式の標準化団体）は近年、解決法を開発するためのMPEG-21 Multimedia Framework（マルチメディアの枠組）の発議を開始した。International Organization for Standardization（ＩＳＯ：国際標準化機構）の文書ISO/IEC JTC1/SC29/WG11/N5231 (2002)にさらに記述されているように、ＭＰＥＧ−２１の１つの目的は、異なる種類のコンテンツを、統合的かつ調和的な方法で伝送して、これにより、コンテンツ伝送プロセスを広範多様なマルチメディアのユーザに対して完全に透明にするための技術を開発することにある。
【０００５】
こうした技術を達成するために、ＭＰＥＧ−７のpart 7（第７部）は、「Digital Item Adaptation（ディジタル・アイテムの適応）」と称する概念を提案している。この概念は、あらゆる種類の端末及びネットワークからマルチメディア全般への相互運用性があり透明なアクセスを達成するための、リソース（資源）の適応、及びディジタル・アイテムを構成する記述を含む。Digital Item Adaptationを実現することによって、ネットワーク内のユーザは、ネットワーク、及びマルチメディア・コンテンツの伝送に影響することの多い端末特有の問題を意識しなくなり、端末特有の問題は例えば、ネットワークの輻輳、品質の制約、及びサービスの信頼性のようなものである。従って、多様なユーザの共同体が、マルチメディアの体験を共有することができ、このことは、各人が、自分が許容できる品質レベルで行うことができるものと想像される。
【０００６】
異なるネットワーク帯域幅用及び異なる端末用の異なる圧縮フォーマットでコンテンツを記憶する必要性を回避するトランスコーディングは、恐らく、リソース適応の最も一般的な方法の１つである。ＭＰＥＧ−７では、可能な限り品質を保持しつつ計算の複雑性を低減することによって、より良好なトランスコーディングを可能にするための、いわゆる”Transcoding Hints（トランスコーディングのヒント）”が提案されている。
【０００７】
不都合なことに、提案されているＭＰＥＧ−７ Transcoding Hintsは、実現可能なトランスコーディング演算子、及びこれらの演算子が特定の目標速度（レート）に適合するために期待される性能についての情報は提供していない。同様に、ＭＰＥＧ−７ Transcoding Hintsは、透明で適応的なマルチメディア・コンテンツの伝送を保証するために必要な、多くの要求を満たすために有用となり得る解決法も提供していない。従って、多くの種類のマルチメディア・コンテンツをネットワーク上で、品質の許容レベルが異なる広範多様なマルチメディアのユーザに技術の必要性がなお存在する。
【０００８】
（発明の概要）
本発明の目的は、多くの種類のマルチメディア・コンテンツをネットワーク上で、品質の許容レベルが異なる広範多様なマルチメディアのユーザに伝送するための技術を提供することにある。
【０００９】
本発明の他の目的は、いくつかの要求を満たすために有用なマルチメディア・コンテンツの記述技法を提供することにある。
【００１０】
以下のさらなる開示より明らかになる、本発明のこれら及び他の目的を満足するために、本発明は、圧縮マルチメディア情報からユーティリティ（実用性）ベースの記述を生成するための技法を提供する。好適な方法は、前記圧縮マルチメディア情報の少なくとも１セグメントを受信するステップと、１つ以上の適応演算操作にもとづいて、各々が一意的な目標レート（速度）に対応する、ユーティリティ・ベースの記述子情報の２つ以上の部分を特定するステップと、前記ユーティリティ・ベースの記述子情報の前記部分の各々によって、前記圧縮マルチメディア・セグメントを適応させて、適応マルチメディア・セグメントを生成するステップと、品質測定法を用いて、前記適応マルチメディア・セグメント毎の品質測定値を生成するステップと、前記ユーティリティ・ベースの記述子情報の前記部分、及びこれに対応する前記品質測定値にもとづいて、前記ユーティリティ・ベースの記述子を生成するステップとを具えている。
【００１１】
本発明の好適例では、前記圧縮マルチメディア情報がＭＰＥＧ−４データであり、前記ユーティリティ・ベースの記述子情報の、10個〜20個の部分を利用する。前記ユーティリティ・ベースの記述子情報のこれらの部分は、一様または非一様に標本化（サンプリング）することができる。前記適応演算操作は、最初のＢフレームまたはすべてのＢフレームのいずれかを落とすことによるフレーム落とし（フレーム・ドロッピング）を含むことができ、さらに、係数落とし（係数ドロッピング）を含むことができることが有利である。
【００１２】
他の好適例では、本発明は、圧縮マルチメディア情報を、各人の目標ビットレートが異なる２人以上のユーザに伝送するシステム及び方法を提供する。１つの構成では、この方法が、圧縮マルチメディア情報の少なくとも１セグメント、及びこれに対応するユーティリティ・ベースの記述子を受信するステップと、このユーティリティ・ベースの記述子を、文法的に複数部分に分割するステップとを具えて、これらの部分の各々が、ユーザ毎に一意的な目標ビットレートに対応し、前記方法がさらに、ユーザ毎に一意的な目標ビットレートに対応するユーティリティ・ベースの記述子部分を選択するステップと、前記選択したユーザ毎のユーティリティ・ベースの記述子部分によって、前記圧縮マルチメディア・セグメントを適応させるステップとを具えている。この適応のステップでは、ユーザからの、あるいはネットワークからの目標ビットレートのフィードバック情報を利用することができる。
【００１３】
本明細書の開示に含まれ、その一部を構成する図面は、本発明の好適な実施例を例示するものであり、本発明の原理を説明する役割をする。
【００１４】
すべての図面を通して、特に断わりのない限り、同一の参照番号または符号は、例示する実施例の同様の特徴、要素、構成要素、または部分を表わす。さらに、ここでは図面を参照して本発明を詳細に説明し、この説明は図示されている実施例に関連付けて行う。
【００１５】
（好適な実施例の詳細な説明）
図１を参照して、本発明の好適な実施例を説明する。ユーティリティ・ベースの枠組みは、根本的なパラメータ、即ち適応演算操作、リソース（資源）、及びユーティリティの間の関係をモデル化することによる効率的なビデオ適応の体系的（システマティック）な方法を提供する。一般に、適応演算操作は、空間領域の適応、時間領域の適応、及びオブジェクト・ベースの適応の形を取ることができる。空間領域の適応は、空間的な分解能の低減、及び品質または信号対雑音比の適応を含むことができ、例えば再量子化、あるいはＤＣＴ（離散コサイン変換）係数を落とすこと（ドロッピング）である。時間領域の適応は、フレーム落としを含むことができ、そしてオブジェクト・ベースの適応は、ビデオ・オブジェクトの優先度付け、及び／または落とし（ドロッピング）を含むことができる。本明細書では、こうした適応方法のいずれかによって規定される特定の演算操作を、適応演算操作と称する。
【００１６】
リソースは、端末装置から利用可能なサポート（支援）、及び帯域幅、演算能力、電力、表示サイズ、等のようなネットワーク能力を含む。ユーティリティは、特定の適応演算操作から生じるコンテンツの品質を含む。ユーティリティは、例えば信号対雑音比のピーク（ＰＳＮＲ：peak signal-to-noise ratio）を測定することによる客観的な方法、あるいは、例えば主観的な品質得点を用いることによる主観的な方法で測定することができる。図１に、適応、リソース、及びユーティリティの多次元空間、及びＭＰＥＧ−４圧縮ビデオに適用した際の、これらの互いの関係を示す。
【００１７】
適応空間１１０は、選択した１つ以上の適応方法について可能なすべての適応演算操作の概念空間を表わす。適応空間の各次元が、一種類の適応方法を表わし、そして関連する適応演算操作を表わす特定の基本指標を有する。例えば、フレーム落とし及び係数落としを共に利用すれば、適応空間内に２つの次元、即ちフレーム落とし及び係数落としが存在する。フレーム・ドロッピングの次元は、落としたフレームの量によって指標付けすることができ、例えば、落としなし、各画像サブグループ（サブＧＯＰ：sub-Group of Pictures）内で落としたすべてのＢフレーム（サブＧＯＰは、ＩまたはＰフレームで始まり、次のＩまたはＰフレームまで連続する一組のフレームを含む）、各ＧＯＰ（画像グループ）内で落としたすべてのＢ及びＰフレームである。係数落としの次元は、係数落としによって達成すべきレート低減のパーセント割合によって指標付けすることができ、例えば、落としなし、10%、20%、等である。このようにして、適応空間内の一組の離散した点を規定することができ、各点は、フレーム落としと係数落としとの特定の組合わせによって指定される適応演算操作を表わす。
【００１８】
一部のアプリケーション（応用）では、いくつかの種類のリソースをリソース制限に含めることができる。例えば、特定のハンドヘルド（手持ち型）装置にビデオ・ストリーミング・サービスを提供するために、空間的解像度あるいは演算能力のような要素も、帯域幅と共に考慮に入れるべきである。一般に、満足すべきすべての種類のリソースを、多次元リソース空間によって表現する。ユーティリティ（実用性）空間は、多次元の属性を含むことができる。ＰＳＮＲに加えて、平均オピニオン・スケール（ＭＯＳ：mean opinion scale：平均意見尺度）のような主観的な基準、時間的平滑性を、他の次元と共に含めることができる。
【００１９】
図１に示すように、ビデオセグメント１０１は、適応を施す単位であり、各点は、適応空間内の特定の適応演算操作を表わす。適応させたビデオセグメントは、リソース及びユーティリティの結果的な値を有し、これらの値は、それぞれリソース空間及びユーティリティ空間内の対応する点として表わされる。リソース空間１２０内の陰影を付けた立方体は、アプリケーションによって指定されるリソース制限を表わす。なお、同じリソース要求を満足する多数の適応演算操作が存在し得る。リソース空間１２０内の１点にマッピングされている、適応空間１００内の楕円形の領域が、こうした一定リソースの組を示す。また、異なる適応演算子が、同じユーティリティの値を生じさせ得る。適応空間１００内の矩形領域が、こうした一定ユーティリティの組を表わす。
【００２０】
ユーティリティ・ベースの枠組みを用いて、ビデオ適応を次のように公式化することができる：所定のリソース制限が、適応ビデオのユーティリティを最大化するような、最適な適応演算操作を決定する。ＵＭＡ規範内で想定されがちな大部分の適応問題を、このように公式化することができるので、こうしたリソース制限のユーティリティ最大化は、マルチメディア適応の基本的なシナリオと考えることができる。本明細書の開示は、リソース制限のユーティリティ最大化の例として、利用可能な帯域幅を満足すべく、フレーム落とし及び係数落としのトランスコーディングを最適化することに指向しているが、本発明のユーティリティ・ベースの枠組みは、ユーティリティ空間内の制限を直ちに含むことができ、そして、リソース全体の最小化を目指すことができることは、当業者にとって明らかである。
【００２１】
ここで図２を参照して、本発明によるシステムを説明する。サーバー・コンピュータ２１０は、記憶しているビデオ２１１、及び／または生の（ライブ）ビデオ２１２を受信すべく適応されている。サーバーに非圧縮のディジタルビデオを供給して、サーバー上で圧縮を行うことができるが、このビデオは、ＭＰＥＧ−１、ＭＰＥＧ−２、またはＭＰＥＧ−４のような圧縮フォーマットであることが好ましい。サーバー２１０は、受信したビデオにもとづいて、ユーティリティ関数をユーティリティ・ベースの記述子の形で生成するための、利用可能ないずれかのプログラム言語で書かれたソフトウエアを具えている。本発明によれば、以下でさらに詳細に説明するように、前記記述子は、圧縮されたビデオに対する、所定レベルの品質を生じさせる特定の変更を示し、例えば、双方向予測フレーム（Ｂフレーム）の除去による変更である。圧縮領域のビデオ、及びこれに関連するユーティリティ関数は、圧縮されたビデオを伝送するために十分な帯域幅の、インターネットあるいはイントラネットのような伝送ネットワーク２２０上で伝送される。伝送情報は、ネットワーク・コンピュータ２３０によって受信されて、ネットワーク・コンピュータ２３０は、システムのビデオ適応エンジンとして作用する。
【００２２】
特に、ネットワーク・コンピュータ２３０は、入力される圧縮ビデオを、いくつかのクライアント装置２５０、２５１、２５２、２５３の帯域幅要求にためのソフトウエアを具えて、ここでも、このソフトウエアは利用可能ないずれかの言語で書かれ、そしてこれらのクライアント装置は、関連するアクセス・ネットワーク２４０によって情報提供される。本発明によれば、そして以下でさらに詳細に説明するように、ネットワーク・コンピュータ２３０は、サーバー２１０が生成するユーティリティ・ベースの記述を用いて、圧縮ビデオをこうした帯域幅の要求に適応させる。さらに、ネットワーク・コンピュータ２３０は、クライアント・ユーザからの性能情報２４１、及び／またはネットワークからの利用可能な帯域情報２４２を受信して、その適応演算操作を最適化することができる。
【００２３】
アクセス・ネットワーク２４０は、インターネット、イントラネット、あるいは移動セルラー・ユーザ端末２５３をネットワーク・コンピュータ２３０にリンクする無線ネットワークのような専用ネットワークとすることができる。帯域幅を制限されたネットワーク上でビデオ・ストリーミングを行うアプリケーションでは、伝送すべきビデオ・ストリームのビットレートを、適応ツールによってリアルタイム（実時間）で、時間と共に変化する帯域幅に適応させる。
【００２４】
好適な構成では、コンピュータ２１０が、フレーム落としと係数落としとの組合わせを、非スケーラブルの（測定不能な）ビデオを動的な帯域幅に適応させるために用いる。しかし、再符号化、ＤＣＴ係数の再量子化、オブジェクト・ベースのトランスコーディング、及び画像サイズの低減のような他のトランスコーディング技法を利用して、ビデオ・ストリームのビットレートを調整して、動的な帯域幅に適応させることができることは、当業者にとって明らかである。ＭＰＥＧ−４における新たなスケーラブルな符号化ツールとして採用されつつあるファイン・グラニュラ・スケーラビリティ（ＦＧＳ：Fine-Granular-Scalability：微細粒の測定可能性）及びその変形形態の一部も、適切な数のスケーラブル（測定可能）なストリームのビットプレーン（ビット平面）を選択することによって、ＦＧＳストリームを時間と共に変化する帯域幅に動的に適応させることを可能にする。
【００２５】
フレーム落とし及び係数落としは、計算の複雑性を低くしてレートを適応させる簡単な方法である、というのは、これらの落としは、ビット列の特定フレームに対応する部分、及び圧縮領域の処理によって落とされるＤＣＴ係数のシンボルの切捨て短縮化を含むからである。さらに、移動無線ネットワーク上でビデオ・ストリーミングを行うアプリケーションについては、これらの落としは、トランスコーディング・プロキシ（代理装置）において強く求められる低遅延のリアルタイム動作に、より適している。
【００２６】
さらに、フレーム落としと係数落としとの組合わせは、空間的及び時間的な品質を調整することによるビデオ・ストリームのレートの適応を可能にし、即ち、フレーム落としが、一部のフレームを落とすことによってフレームレートを調整し、そして係数落としが、比較的高い周波数成分に関連する一部のＤＣＴ係数を落とすことによって空間的な品質を調整する。レート低減のダイナミックレンジは、２つ以上のトランスコーディング方法を組み合わせることによって増加する。
【００２７】
次に、フレーム落としについて説明する。フレーム落としは、入力されるビデオ・ストリームから一部のフレームを落とすことによってフレームレートを調整する時間的トランスコーディングの代表的な種類である。フレーム落としは、その効率及び簡単さのために、ビデオ・ストリーミングのアプリケーションにおける帯域幅変化への適応によく用いられる。考慮すべき１つの要素は、落とすべきフレームの選択である。例えば、ある画像内符号化フレーム（Ｉフレーム：intra-coded frame）、あるいは特定の予測符号化フレーム（Ｐフレーム：predictively coded frame）を落とせば、落としたフレームを参照するフレームを再符号化する必要がある。
【００２８】
従って、入力されるビデオ・ストリームのシーケンス（順序）構造を考慮に入れることによって、単位画像グループ（単位ＧＯＰ：group of picture）内で、復号化の依存性を有しないＢフレーム及び／またはＰフレームのみを落とすことが好ましい。フレーム落としは、目標レートへの粗い近似を提供するに過ぎない、というのは、除去可能なデータの最小単位がフレーム全体であるからである。従って、可能なフレーム落とし操作は、落としによって達成すべき低減率ではなく、落とすべきフレームの種類を指定することによって規定される。
【００２９】
アンカー・フレーム間に３画像のサブグループを有するＧＯＰについては（Ｍ＝３）、仮定したＧＯＰ構造に依存する一組のフレーム落とし操作を、次のように規定することができる：フレーム落としなし、各サブフレーム内で１つのＢフレームを落とす、すべてのＢフレームを落とす、及びすべてのＢ及びＰフレームを落として、Ｉフレームのみのシーケンスにする。連続する２つのアンカー・フレーム間に１つのＩピクチャのサブグループを有するＧＯＰについては（Ｍ＝１）、各ＧＯＰ内で落とすＰフレームのすべてを通して、各ＧＯＰの終わりからＰフレームを落とし、例えば最終Ｐフレームを落とす、最後２つのＰフレームを落とす、等である。
【００３０】
落とすべきフレームの選択は限られているが、この方法は、ビットレートの低減量及び品質については十分なものであり、あるいは、（以下で説明する）係数落としと組み合わせて、フレーム落としによる所望の時間的適応と係数落としによる空間的適応とを均衡（バランス）させることができる。なお、フレームを落とすことは、フレームの急な動きを生じさせる、というのは、落としたフレームは通常、前のフレームに置き換えられるからである。アンカー・フレーム間に２つ以上の画像がある第１の場合のＧＯＰ構造では（Ｍ＞１）、規定したトランスコーディング操作によって落とされたフレームが、時間的範囲内に均等に分布して、時間的品質がより快適なものとなる。他方では、Ｍ＝１のＧＯＰの場合には、トランスコードされたストリームから復号化したフレーム毎にプレゼンテーション（情報提供、再生）時間を調整して、ＧＯＰフレーム内の非一様なフレーム落としによって生じる煩わしい効果を低減することができる、空間的なダイナミック（動的）・プレーヤが必要になる。
【００３１】
次に、係数落としについて説明する。空間的な適応では、周波数領域内でＤＣＴ係数に対する操作を行う２つの基本的な方法が存在する。第１の方法は再量子化、即ち、ビットレートを低減するためのより粗い量子化レベルを採用することによる量子化した係数の修正である。第２の方法は、画像品質にとって重要度の低い、比較的高い周波数係数を切り捨てる係数落としである。係数落としの方が、記録型アルゴリズムの実現を必要とする再量子化よりも高速処理がし易いので、より好適である。
【００３２】
より詳細には、各ブロックの終わりで一組のＤＣＴ係数ランレングス・コードを取り除くものとすれば、切り捨て後に保たれる各ブロック内のＤＣＴ係数コードの数をブレークポイントと称する。ラグランジュの最適化を用いて、ブロック毎のブレークポイントを決定することができ、ラグランジュの最適化は、係数落としによって生じる歪みを最小化しつつ、フレーム毎のベースで、要求される目標レートを満足させる。レート歪みの公式化の最適化においては、メモリを必要としないアルゴリズムを採用することができ、こうしたアルゴリズムでは、その簡単さのために、動き補償によって生じた累積誤差を無視して、各画像を画像内符号化されたものとして取り扱う。累積誤差を無視することは、品質には大幅に影響せず、本質的に最適な（0.3dB以内の）性能の達成を可能にする。
【００３３】
所定のビデオ・セグメント及び目標レートにおいて、まず、異なるフレームにわたって一様なレート低減をもたらす一様な落としを仮定する。次に、単一のフレーム内で、上述した最適な非一様な落としを実行し、この非一様な落としは、所定フレームの目標レートを満足しつつ、複数ブロック間の異なるブレークポイントについて異なるレート低減をもたらす。
【００３４】
除去可能なデータの最小単位がフレーム全体であるので、低減可能なレートがいくつかの値に限定されるフレーム落としとは異なり、係数落としは、落とす係数の量を調整することによって、利用可能な帯域幅をレート低減の上限内に非常に正確に合わせる能力を有する。ＡＣのＤＣＴ係数のみを落として、すべての係数を落とした際に、これによって生じるいく分複雑なシンタックスの変化を回避して、必要最小限の品質を保証することが好ましい。レート低減の上限は、入力されるビデオ・ストリームに依存する。落とす係数そのものを直接指定するのではなく、達成すべきレート逓減のパーセント割合を指定することによって、多数の係数落としの演算操作を規定することができる。例えば、係数落とし（10%）の演算操作は、係数落としによる、入力されるビデオ・ストリームのビットレートの10%の低減を表わす。
【００３５】
次に、フレーム落としと係数落としとの組合わせについて説明する。より大幅なビットレートの低減のためには、フレーム落としまたは係数落とし単独では、利用可能な帯域幅を提供するには不十分なことがある。さらに、フレーム落としによれば、少数の離散点を達成できるに過ぎないのに対し、係数落としを用いることによって、連続的なレートの適応が可能になる。従って、フレーム落としと係数落としとの組合わせは、低減可能なレートのダイナミックレンジの拡張を可能にする。両者の組合わせは、特に大幅なレート低減については、空間的品質と時間的との間のトレードオフ（両立）を最適化することによって、いずれかの技法単独の場合よりも、より良好な知覚品質を生み出すこともできる。例えば、非常に低いフレームレートにおけるフレームの急な動きを低減するために、同じレート低減を満足しつつ、時間的分解能を空間的品質と引き換えることができる。
【００３６】
次に、図３に、フレーム落としと係数落としとの組合わせによって規定される二次元適応空間を示す。各点は、フレーム落とし／係数落としの組合わせのトランスコーディング演算操作を表わす。なお、係数落としとフレーム落としとの組合わせでは、演算操作の順序の影響を考慮すべきである。例えば、同じ点３１０を達成するために、演算操作の順序が異なる２つの組合せが存在し、即ち、20%の係数落としにＢフレームの落としが続くか、あるいは、Ｂフレームの落としに20%の係数落としが続くかのいずれかである。複数フレームにわたって同一のレート低減を適用するレートベースの一様な係数落としを用いる場合には、両方の場合の結果は同じである。しかし、複数フレーム間に異なる低減レートを割り当てて、レート割り当てにもとづいて全体的に最適な係数落としを達成する場合には、異なる演算操作順序が、異なる低減レート及び品質の結果を生じさせ得る。本開示は前者に指向したものであるが、本発明は両方のシナリオを意図したものである。
【００３７】
次に、ユーティリティ関数の生成について説明する。一般に、図１に示す、適応空間、リソース空間、及びユーティリティ空間の互いの関係は、ユーティリティ関数にもとづいてモデル化することができる。ユーティリティ関数は、ユーザの満足指数をリソースの関数として表わすメディア品質メトリクス（計量）として規定することができる。本発明の関係では、適応空間は、フレーム落としと係数落としとの組合せを規定する二次元空間であり、リソース空間は、時間と共に変化する利用可能な帯域幅を含み、そしてユーティリティ空間は、トランスコードされたビデオ・ストリームの信号対雑音の尺度を含む。
【００３８】
次に、図４に、フレーム落とし／係数落としの組合せのトランスコーディング方法を、事前に記憶しているＭＰＥＧ−４圧縮ビデオデータに適用することによって生成した、代表的なユーティリティ関数を示し、この圧縮ビデオデータは、1.5Mbpsでコーストガード符号化されて、200kbps以下の帯域幅の範囲にわたって適応させたものである。図４は、目標レート（kbit/s）対ＰＳＮＲをプロットしたグラフであり、目標レートとＰＳＮＲ品質との関係を表わす４つの曲線４２０、４３０、４４０、４５０を示し、各々が、代表的なユーティリティ関数内での異なる適応演算操作についてのものである。
【００３９】
この例では、４つの異なるフレーム落とし演算操作及び６種類の係数落とし演算操作を利用している。これらのフレーム落とし演算操作は、フレーム落としなし、各サブＧＯＰ内で１つのＢフレームを落とす、すべてのＢフレームを落とす、及びすべてのＢフレーム及びＰフレームを落とす、から成る。前記６つの係数落とし演算操作は、元のテスト・ビデオ・ストリームのビットレートの0%、10%、20%、30%、40%、及び50%の低減に設定する。このようにして、23個の組合せ演算操作が存在し、これらは、規定のフレーム落とし演算操作と係数落とし演算操作との異なる組合せを用いる。これら２３個の演算操作は、曲線４２０、４３０、４４０、及び４５０中の離散した点として示し、これらの点は、種々の係数落とし演算操作についての点の組を示し、それぞれ、フレーム落としなし４２０、１つのＢフレームを落とす４３０、すべてのＢフレームを落とす４４０、及びすべてのＢフレーム及びＰフレームを落とす４５０である。
【００４０】
図４には、カスケード全符号化（フル・エンコード）及び再符号化によって得られた再符号化の曲線４１０も示し、従って、トランスコーディング演算操作の性能比較用の基準として考えることができる。なお重要なこととして、所定の目標帯域幅に対して、同じ目標レートを満足する複数の適応演算操作が存在する。最高のビデオ・ユーティリティを伴う最適な演算操作を選択する。
【００４１】
図４に示すように、ユーティリティ関数はビデオ・コンテンツの種類、入力されるビデオ・ストリームの選定した符号化パラメータ、及び適用するトランスコード方法に依存する。同じコンテンツの種類及びトランスコーディング方法を共用するビデオ・セグメントが与えられれば、ユーティリティ関数の生成は、規定された適応演算操作の集団について、すべての可能な演算操作をテストすることによる、ＰＳＮＲ品質及びレートの反復計算を必要とする。
【００４２】
次に、ライブビデオ（生のビデオ）に対するユーティリティ関数の生成について説明する。事前に記録したビデオについては、図４の場合のように、サーバー内のオフライン処理によってユーティリティ関数を生成することができ、計算コストは関心事ではない。しかし、ライブビデオについては、こうした広範囲の反復計算の必要があれば、この選択肢は一般に許容できる解決法ではない。従って、コンテンツ（内容）ベースのユーティリティ予測の解決法を用いて、ライブビデオの場合のユーティリティ関数を予測することができる。
【００４３】
一般にビデオは、計算可能な内容の特徴にもとづいて事前に準備した別個のユーティリティ分布クラスにマッピングすることができ、例えば、圧縮ストリームから抽出した動きアクティビティ（活動）及び空間的アクティビティである。従って、ライブビデオについては、想定されるビデオの入力ストリームに対応するユーティリティ関数を事前に準備する。
【００４４】
ライブ・ユーティリティ関数についての予測を形成することは、２ステップのプロセス（処理過程）である。１番目に、適応コンテンツ分類ループを用いて、２番目に、リアルタイム推定径路を利用する。全種類のコンテンツをカバーすることのできる一組のユーティリティ関数を生成して、適応コンテンツ分類ループにおいてオフラインで分類する。その後に、ライブビデオ・ストリームを受信すると、リアルタイム推定径路が、ビデオ・セグメント毎に関連するユーティリティ関数を選択して、同じ種類のコンテンツをリアルタイムで保存する。
【００４５】
次に、ユーティリティ関数について説明する。ユーティリティ・ベースの枠組みでは、適応、リソース、及びユーティリティ空間の分布を表わすユーティリティ関数、並びにこれらの関数間の関係を、関連するビデオ・ストリームと共に、適応エンジン、例えばネットワーク上に位置するコンピュータ２３０に伝送する。記述子の主目的は、３つの空間（適応、リソース、及びユーティリティ）の分布、及びこれらの互いの関係を記述して、種々の使用シナリオを効率的な方法でサポートすることにある。この記述子は、制限されたリソース及びこれに関連するユーティリティを満足する可能な適応演算操作についての十分な情報を、適用エンジンに提供すべきである。
【００４６】
図４のもののようなユーティリティ関数を記述するために、ビットレートの範囲を標本化（サンプリング）して有限個の点の組にし、そして、リソース及びこれに関連するＰＳＮＲの値を達成することができる、すべての実現可能なフレーム落とし−係数落としの組合せの演算操作を、標本化したリソース点を指標として用いて記述する。一般に、多次元リソース空間にわたる有限個の点の組を、記述中の指標として定義することができる。
【００４７】
リソース空間の線形または非線形の標本化は、記述の効率並びに標本化点の数を考慮に入れることによって、適応空間の分布の特性に応じて選択することができる。連続する２つのリソースの点の間の内挿補間、及びこれに対応する適応演算操作及びユーティリティも、線形または非線形に発生し得る。しかし、適応の場合には、内挿補間は、異なるフレーム落としどうしの間では、係数落としどうしの間とは違って実現不可能である。
【００４８】
意図したアプリケーションに従って、特定の適応方法、制限されたリソース、及びユーティリティを指定することによって、記述子は、リソースが制限されたシナリオの大部分をサポートすることができる。
【００４９】
一部の適応演算操作は、品質について一意に規定することができない。例えば、「各フレームのＤＣＴ係数を落とすことによる10%のビットレート低減の演算操作（係数落とし（10%）と表現する）」の演算操作は、落とすべき係数組を正確に指定しない。異なる実現法が異なる組を指定することができ、そして、少しことなるユーティリティ値を生じさせる。その結果、特定の演算操作に関連するユーティリティの値が信頼できないものとなる。
【００５０】
他方では、一部の適応方法は、適応についての明確な表現フォーマットによって、あいまいさの問題を生じさせない。例えば、一部のスケーラブルな圧縮フォーマット、例えばＪＰＥＧ−２０００及びＭＰＥＧ−４  ＦＧＳは、明確に規定されたスケーラブル層を提供する。デコーダが規格に準拠している限りは、これらの層のサブセット（副組）は、同じ結果的な品質に合った方法で切り落とすことができる。
【００５１】
品質のランク付け（ランキング）を用いて、このあいまいさの問題に応えることができる。一部のアプリケーションでは、適応させた各メディアのユーティリティの絶対値は重要ではないが、その代わりに、同じリソースを満足させる異なる適応演算操作どうしの間の、こうした値の相対的なランク付けを厳密にすることができる。こうした場合には、ランク付けの一貫性が達成される可能性は、絶対値の一貫性の可能性よりも高い。この意味で、記述子はユーティリティ値の代わりにランク付けを記述して、あいまいさによって品質値が信頼できない場合にも、品質の概念を提供する。これに加えて、記述子は、異なる実現法にわたるランク付けに一貫性があるか否かを表わすフラグを含むことができる。実際的な実現法どうしの間にある程度の一貫性が存在するものと仮定すれば、フラグの経験的な値を得ることができる。
【００５２】
次に、図５(a)〜５(c)に、一貫性のフラグの値を得るための係数落としの異なる実現法の結果のユーティリティ関数の変化を示す。図５(a)は図４を再現したものであり、図５(b)は、マクロブロック最適化を選択したこと以外は、同じデータに適用した同じ曲線を示し、図５(c)は、純粋なレートベースの一様な係数落としを用いて、ブロック間の最適化がないこと以外は、同じデータに適用した同じ曲線を示す。
【００５３】
図５(a)〜５(c)に示すように、異なる実現法のユーティリティ間には、ユーティリティ値の変化が顕著に存在する。同じビットレートを達成するのに異なる品質を伴う演算操作がいくつか存在し得る。図５(c)中の陰影付のボックスがカバーする範囲を除いたビットレートの範囲のある部分では、こうした等レートの演算操作の、品質についてのランクは、異なる実現法どうしの間で一貫している。陰影付のボックス内でも、演算操作に応じたランクの一貫性が存在する。即ち、すべてのＢフレーム落とし及び係数落としの演算操作が、実現法にかかわらず最悪のユーティリティを有する。この観察にもとづいて、記述子は、演算子毎のランク及び演算操作フラグを記述して、ランクの一貫性を十分に表現する。
【００５４】
次に図６に、代表的なユーティリティ・ベースの記述子を示す。この記述子は、一組の適応記述子６１０を提供し、その各々が、リソース、ユーティリティ、及びユーティリティ関数を含むことによって、適応方法に関連するユーティリティ関数を記述する。この記述子は、例えばフレーム落としと係数落としの組合せのような属性によって列挙されたもののうちの１つを指定することによる、意図したシナリオに従う規定された適応方法の選択を可能にする。
【００５５】
リソース記述子６２０及びユーティリティ記述子６３０は、それぞれ名前及び単位で記述すべきユーティリティ関数６４０に関連する、制限されたリソース及びユーティリティを規定する。特に、リソース・フィールド６２０の複数の例示が、多次元リソース空間を提供することができる。ユーティリティ関数記述子６４０は、一組の可能な適応演算子を表わし、そしてこれに関連するユーティリティをリソース点の関数として表わす。
【００５６】
次に図７に、代表的なユーティリティ記述子６４０を示す。ユーティリティ関数記述子６４０は、一組のリソース点７１０を含み、その各々が、リソース値７３０によって記述される制限されたリソースの標本化値を満足するすべての可能な適応演算操作を記述する一組の適応演算子７２０を含む。特定の適応方法の特定の適応演算操作は、対応する要素を選択することによって記述する。例えば、フレーム係数落とし７４０は、落とすべきフレームの種類及び数、及び係数の切り落としによって低減すべきビットレートのパーセント割合を指定することによって、フレーム落とし／係数落としの組合せのトランスコーディングの特定演算操作を記述するために用いることができる。上述したように、切り落とすべきレベル及びビットプレーンの数を指定することによってウェーブレット低減の特定演算操作を記述するために、ウェーブレット低減７５０のような他の演算操作を用いることができる。適応演算子ＦＧＳ７７０は、拡張層から切り落とすべきＦＧＳフレームのビットプレーン数及び／またはＦＧＳＴフレームのビットプレーン数を指定することによって、ＭＰＥＧ−４のファイン・グラニュラ・スケーラビリティ（ＦＧＳ：Fine-Granular-Scalability）ストリームの特定演算操作を記述するために用いることができる。
【００５７】
適応演算操作に加えて、関連するユーティリティ値をユーティリティ値７６０によって記述する。適応方法は、適応演算操作の指定にあいまいさがあれば、ユーティリティ値の代わりにユーティリティ・ランク情報７６１を例示して、ランクの一貫性を表わす一貫性フラグのオプションの属性に関連する演算操作のランクを記述する。
【００５８】
以上の説明は、本発明の原理の単なる例示である。説明した実施例に対する種々の変形及び代替は、当業者にとって明らかである。従って、当業者は、本明細書に明示的に図示あるいは説明していないが、本発明の原理を具体化し、従って本発明の範囲に入る多数のシステム及び方法を考案することができることは明らかである。
【図面の簡単な説明】
【００５９】
【図１】適応空間、ユーティリティ空間、及びリソース空間の互いの関係を示す機能図である。
【図２】本発明による好適なシステムのブロック図である。
【図３】フレーム・ドロッピング及び係数ドロッピングによって規定される二次元適応空間を例示する図である。
【図４】本発明による好適なユーティリティ関数を示すグラフである。
【図５ａ】図４に示す好適なユーティリティ関数の変化を示すグラフである。
【図５ｂ】図４に示す好適なユーティリティ関数の変化を示すグラフである。
【図５ｃ】図４に示す好適なユーティリティ関数の変化を示すグラフである。
【図６】本発明による好適なユーティリティ・ベースの記述ツールを図式的に示す図である。
【図７】本発明による好適なユーティリティ・ベースの記述子を図式的に示す図である。
【図１】
2005525011.tif 000003
【図２】
2005525011.tif 000004
【図３】
2005525011.tif 000005
【図４】
2005525011.tif 000006
【図５ａ】
2005525011.tif 000007
【図５ｂ】
2005525011.tif 000008
【図５ｃ】
2005525011.tif 000009
【図６】
2005525011.tif 000010
【図７】
2005525011.tif 000011
【国際調査報告】
2005525011.tif 000012